[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPH0736142B2 - 移動指示手段の運動停止を認識する方法および情報処理装置 - Google Patents

移動指示手段の運動停止を認識する方法および情報処理装置

Info

Publication number
JPH0736142B2
JPH0736142B2 JP21688792A JP21688792A JPH0736142B2 JP H0736142 B2 JPH0736142 B2 JP H0736142B2 JP 21688792 A JP21688792 A JP 21688792A JP 21688792 A JP21688792 A JP 21688792A JP H0736142 B2 JPH0736142 B2 JP H0736142B2
Authority
JP
Japan
Prior art keywords
movement
timer
points
point
stop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21688792A
Other languages
English (en)
Other versions
JPH05204533A (ja
Inventor
ジョン・エム・ゼッツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH05204533A publication Critical patent/JPH05204533A/ja
Publication of JPH0736142B2 publication Critical patent/JPH0736142B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、一般的にデータ処理シ
ステム用の入力装置に関するものであり、特に、複数の
異なる種類の指示装置により発生された入力信号の区別
に関連するシステム・オーバーヘッドを低減するための
方法及び装置に関するものである。本発明は、入力信号
間の区別に用いるタイマの制御専用に１つのタスクを用
いるようにしたマルチタスク・コンピュータ・システム
に好適である。
【０００２】
【従来技術】データ処理システムの制御のための「ユー
ザ・フレンドリな」手段を提供するコンピュータ表示装
置の可視面に設けられるタッチ（接触）入力装置の使用
は、当該技術ではよく知られている。米国特許第５、０
２５、４１１号は、ディジタル・オシロスコープの動作
を制御するタッチ・スクリーンを開示している。米国特
許第４、５８７、６３０号は、キーボード入力装置をエ
ミュレートするプログラマブル・タッチ・スクリーンを
開示している。また、米国特許第４、９０３、０１２号
は、コンピュータシステムの座標を校正するためのタッ
チ・スクリーンを開示している。これらの装置は、熟練
していないユーザに長期間のトレーニングをせずにコン
ピュータ・システム上で所望のタスクを実行させるよう
に設計されている。人間要素の研究によると、ユーザが
直接コンピュータ表示装置にデータを入力する入力装置
は、人間と機械との間の最大の密接性と精度とを達成す
るものである。
【０００３】マン／マシン・インターフェースを支援す
るために開発された現在のグラフィッカル・ユーザ・イ
ンターフェースには、ユーザがマウスまたは指を用いる
ことによって最も簡単に選択することができる、メニュ
ー選択、アイコンまたはウインドウ等の多くの項目があ
る。米国特許第４、８８６、９４１号、特開昭６２−８
０７２４号及び特開昭６３−３１１４２６号は、データ
処理システム用の入力装置としてマウス型指示装置を用
いた従来のシステムを開示している。いくつかの先進の
ソフトウエア・アプリケーションの中には、ユーザに複
雑な制御信号を指で入力することができるようにしたも
のがある。例えば、米国特許第４、８９９、１３８号
は、タッチ・パネルを開示しており、これは所定の期間
内に指がパネルに接触した態様（例えば、ジェスチャを
行う）に応じて制御信号を与えるようにしたものであ
る。
【０００４】スタイラスはその精度が高いため、タッチ
感知式入力装置上に情報を入力する際に一層効果的であ
ることがわかっている。スタイラス及び指の接触を検出
することができるタッチ入力システムの利用は一層好都
合である。このようなシステムの一例が米国特許第４、
６８６、３３２号に記載されており、これを本明細書に
援用する。
【０００５】タッチ・センサを表示装置の可視面に配置
したデータ処理システム用のタッチ入力装置（例えばタ
ッチ・ワークパッド）において、スタイラスまたは指の
ような指示装置から発生された入力信号は、マウス入力
信号あるいはジェスチャ即ち手書き入力信号のいずれか
として分類することができる。このような入力信号が、
マウスの挙動をエミュレートすることを意図して、マウ
ス・ボタン・ダウン及びマウス・ボタン・アップのよう
なコマンドを表す場合には、スタイラスまたは指はそれ
ぞれタッチダウンされた後、面からリフトオフ（ｌｉｆ
ｔーｏｆｆ）される。入力装置によりユーザがスタイラ
ス及びタッチ・センサを使用して、ペンと紙をシミュレ
ートし手書き入力信号を生成する場合、英数文字を適切
なアプリケーション・プログラムに入力することができ
る。入力信号がジェスチャの一部である場合、一連のこ
のような入力信号は円、右向きまたは左向きの矢印等の
幾何学的図形に類似し、コンピュータ・システムが行な
うべき動作を示している。スタイラスまたは指をタッチ
入力装置として用いることによって、３種類の入力信号
全てをエミュレートすることができるので、スタイラス
または指を基本としたオペレーティング・システムを、
３種類の入力信号全てを同時に表示装置に入力できるよ
うに設計することが有利である。
【０００６】３種類の入力信号を全て利用するために
は、それ等をデータ処理システムが区別しなくてはなら
ない。これらのタイプの信号を区別する１つの方法はタ
イミングによるものである。ユーザが指示装置とタッチ
・センサとの間の接触を開始した後に、指示装置を所望
の位置まで移動させて、装置とタッチ・センサとの間の
接触を失うこと（以後、「リフトオフ」と呼ぶ）なく所
定時間運動を停止すると、オペレーティング・システム
は、所望位置での入力信号をマウス・コマンドとして認
識する。例えば、ユーザが指示装置を所与の位置で２０
０ミリ秒間移動を停止した場合、その位置におけるマウ
ス・コマンドが認識される。一方、ユーザが任意の場所
で特定の時間遅れの期間停止せず、代りにタッチ・セン
サからリフトオフした場合、入力信号はマウス・コマン
ドの代りに文字またはジェスチャ認識の候補として選択
される。
【０００７】所望の位置における運動の停止を検出する
ために、指示装置が発生した入力信号によって識別され
た位置点が前の位置点から十分にずれる度に、オペレー
ティング・システムは遅延ソフトウエア・タイマを繰り
返しリセットする。このようにしてタイマを繰り返しリ
セットするので、マルチタスク・システムにおいて停止
検出が必要な際に、大量の処理オーバーヘッドが生じる
ことになる。
【０００８】マルチタスク・コンピュータ・システム
は、ジョブ、タスクまたはスレッドとしても知られてい
る複数のコンピュータ処理を同時に実行する錯覚を生
む。この錯覚を生むために、オペレーティング・システ
ムは、１つのプロセッサを多数のスレッドの間で切り換
える。タイマ・スレッドはソフトウエア・タイマの管理
専用に用いられる。プロセッサが現在のスレッドの実行
中に全ての計算をセーブし、タイマ・スレッドに切り戻
すまで、タイマ・スレッドはタイマをリセットすること
ができない。その結果、前記タイマを繰り返しリセット
するには、大量の処理時間を必要とする。
【０００９】
【発明が解決しようとする課題】本発明の目的は、指示
装置により発生されるワークパッド上の点を表す入力信
号が先行の入力信号から十分離れる時毎にリセットされ
る遅延タイマに関連するオーバーヘッドを低減すること
である。
【００１０】本発明の別の目的は、タイマがｎ番目の位
置点毎にリセットされ、指示装置がタイマ・リセットの
間の時点で停止している間の、指示装置の運動の停止期
間の測定精度を維持することである。
【００１１】本発明の更なる目的は、指示装置が発生す
る複数の種類の入力信号間の区別に用いられるタイマの
管理を専ら１つのタスクまたはスレッドに任せるマルチ
タスク・コンピュータにおいて、指示装置により発生さ
れる入力信号を一層効率的に識別することである。
【００１２】また、本発明の目的は、データ処理装置に
おいて、最初の点を発生した時から始まる所与の期間内
に指示装置から点を発生するときに遅延タイマを周期的
にリセットすることによって、この遅延タイマに関連す
るオーバーヘッドを低減することである。
【００１３】
【課題を解決するための手段】本発明のこれらの及びそ
の他の目的及び特徴は、指示装置から入力を受け取るコ
ンピュータのオペレーティング・システムにおける遅延
タイマを次のようにして管理する方法及び装置によって
達成される。タッチダウン時に、指示装置が何であるか
が確定され、指示装置により（入力信号によって表され
る）点が発生される速度が決定される。現在の点で指示
装置の運動が検出されたとしても、発生されるｎ番目の
点毎に遅延タイマがリセットされるように、タイマ・リ
セット分割速度が計算される。タッチ（接触）感知式コ
ンピュータ表示装置を横切って指示装置が移動すると
き、点が収集される。あるいは、例えばマウス、ジョイ
・スティック等の指示装置によってスクリーンに触れる
ことなく表示スクリーンを横切ってカーソルを移動させ
る指示装置から、点が収集される。指示装置から発生さ
れる先行のｎ個の点内に運動が生じたとの決定に応答し
て、所定の時間遅れ期間をもってタイマがリセットされ
る。
【００１４】運動が先行するｎ個の点内に生じ、最後の
数個の点の発生の期間に停止した場合、タイミングの精
度を保持するために、この最後の数個の点に帰せられる
追加の時間量をもってタイマはリセットされる。指示装
置の運動が所定の時間遅れ期間、例えば２００ミリ秒間
停止したと決定された場合、コンピュータ・システムに
よって動作が実行される。好適実施例では、この動作
は、運動が停止した点において発生されるマウス・ボタ
ン・ダウンまたはマウス・ボタン・アップである。指示
装置がこの所定の時間遅れ期間にどの位置にも停止せず
にリフトオフした場合、指示装置によって発生された１
組の点は文字またはジェスチャ認識の候補として文字認
識装置またはジェスチャ認識装置に送られる。
【００１５】本発明の別の実施例では、所与の点が指示
装置から発生され、基準点としてマークされる。その以
後発生される各点は、基準点が発生された時点に対する
期間に関して監視される。後続の点が所与の期間より長
い期間に発生されると、上記実施例と同様に、遅延タイ
マはリセットされる。
【００１６】
【実施例】図１は、米国出願第０７／３５１、２２７号
（発明の名称「データ処理装置用フラット・タッチ・ス
クリーン・ワークパッド」、１９８９年５月１５日出
願）に記載されているものとほぼ同様なタッチ・ワーク
パッドを示している。この米国出願は本明細書に援用さ
れる。ワークパッド１０は、矩形型に窪んだウインドウ
１４を有するハウジング１２を備える。ウインドウ１４
は矩形のタッチ・オーバーレイ１６の縁部を包囲してい
る。オーバーレイ１６は透明で、液晶表示部（ＬＣＤ）
１８上に配置されている。オーバーレイ１６は、接着層
によって互いに積層しているいくつかのプラスチック製
基板層を含む積層構造からなる。また、オーバーレイ１
６は、垂直方向に配置された第１の複数の透明導体１６
Ａと水平方向に配置された第２の複数の透明導体１６Ｂ
とを備えている。垂直方向及び水平方向の導体のいくつ
かは、窪んだウインドウ１４を越えて配置され、ウイン
ドウ１４の縁部におけるオーバーレイ１６上またはその
近傍におけるスタイラス２０または指の位置の決定を一
層正確に行なうことができるようにしている。
【００１７】スタイラス２０はケーブル２２によってタ
ッチ・ワークパッドに接続される。スタイラスは、複数
の導体を介してオーバーレイ１６によって放射された信
号をピックアップするアンテナとして作用し、指のタッ
チ（接触）によって得られるものよりかなり高い解像度
を与える。また、ハウジングのベゼル（ｂｅｚｅｌ）上
には４つのボタン・スイッチ２４−２７があり、ワーク
パッド１０からのデータを受け取るモードを変更するの
に用いることができる。ケーブル２８は、ワークパッド
１０とユーザが交信しているコンピュータとの間の接続
器である。ケーブル２８はワークパッド１０に電力を与
えると共に、ＬＣＤ１８を動作させる表示信号や指タッ
チ・モード及びスタイラス・モードでオーバーレイを動
作させるタッチ信号を提供する。更に、ケーブル２８
は、スタイラス２０が受け取った信号強度の計測及び指
の接触の容量変化に起因する周波数変化の計測のための
コンピュータへの導体である。
【００１８】図２は、指タッチ及びスタイラス検出シス
テムの構成図を示すもので、米国特許第４、６８６、３
３２号のＦｉｇ．９に開示されているものと同様であ
る。タッチ制御プロセッサ３０、ランダム・アクセス・
メモリ３２、リード・オンリ・メモリ及びＩ／Ｏ制御部
３６は、パーソナル・コンピュータ（ＰＣ）のタッチ・
パネル・アダプタ・カード３７上にあり、一方、残りの
接触電子回路はワークパッド１０に一体化される。図１
に関して述べたように、ワークパッド１０はケーブル２
８を介してタッチ・パネル・アダプタ・カード３７と通
信する。垂直方向のＸ導体及び水平方向のＹ導体は夫々
Ｘバス３８及びＹバス４０を介してワイヤ選択マルチプ
レクサ４２に接続される。放射をピックアップするスタ
イラス２０はゲート４４を介して放射ピックアップ計測
装置４６に接続される。更に、ワイヤ選択マルチプレク
サ４２はモード・マルチプレクサ５０を介して、指のタ
ッチを容量的に検出するのに用いられる容量計測装置５
２に接続される。また、ワイヤ選択マルチプレクサ４２
はモード・マルチプレクサ５０を介して、スタイラス検
出動作のためにＸバス３８及びＹバス４０を駆動するの
に用いられる４０ＫＨｚ発振器駆動部５４に接続され
る。モード・マルチプレクサ５０はゲート４４にイネー
ブル入力を与え、スタイラス検出動作のために、スタイ
ラス２０の出力を選択的に放射ピックアップ計測装置４
６に接続する。容量計測装置５２の出力はアナログ−デ
ジタル（Ａ／Ｄ）変換器５６を介してバス５８に接続さ
れる。また、放射ピックアップ計測装置４６の出力はア
ナログ−デジタル変換器４８を介してバス５８に接続さ
れる。ワイヤ選択マルチプレクサ４２の制御入力６０は
バス５８に接続され、モード・マルチプレクサ５０の制
御入力６２もバス５８に接続される。
【００１９】バス５８はインターフェース６４を介して
ケーブル２８に接続され、ケーブル２８は、パーソナル
・コンピュータ（ＰＣ）のタッチ・パネル・アダプタ・
カード３７においてインターフェース６６に接続され
る。ＰＣインターフェース６６は主システム・バス６８
及びアダプタ・カード・バス７０と通信する。Ｉ／Ｏ制
御部３６はＰＣの主システム・バス６８に接続されたＩ
／Ｏバス７２を有する。また、Ｉ／Ｏ制御部３６はアダ
プタ・カード・バス７０にも接続される。アダプタ・カ
ード・バス７０は制御プロセッサ３０をリード・オンリ
・メモリ（ＲＯＭ）３４及びランダム・アクセス・メモ
リ（ＲＡＭ）３２と相互接続する。パーソナル・コンピ
ュータは、ＣＰＵ７４、ＲＯＭ７６、ディスク記憶部７
８、オペレーティング・システム８１及びアプリケーシ
ョン・プログラム８２を記憶するメモリ８０、標準キー
ボード８４及び標準表示装置８６等の当該技術では公知
の標準装置を備えている。標準表示装置８６は典型的に
は陰極線管（ＣＲＴ）であり、好適実施例では、ワーク
パッド１０に設けられたＬＣＤ１８に追加される。
【００２０】制御プロセッサ３０によってバス５８から
制御入力６０及び６２を介して印加される制御信号に応
答して、ワイヤ選択マルチプレクサ４２及びモード・マ
ルチプレクサ５０は、オーバーレイ１６における選択さ
れたパターンの複数の水平方向導体及び垂直方向導体を
容量計測装置５２または４０ｋＨｚ発振器駆動部５４に
接続する。指タッチ動作の期間、制御プロセッサ３０か
らの制御信号に応答して、容量計測装置５２の入力は、
モード・マルチプレクサ５０及びワイヤ選択マルチプレ
クサ４２を介して、オーバーレイ１６の水平方向導体及
び垂直方向導体のアレイにおける選択された信号導体に
結合される。容量計測装置５２の出力はＡ／Ｄ変換器５
６によってデジタル値に変換され、バス５８を介して制
御プロセッサ３０に供給される。制御プロセッサ３０は
一連の記憶されたプログラム命令を実行し、操作者の指
がタッチしているオーバーレイ１６の水平方向導体と垂
直方向導体との導体対を検出する。
【００２１】指タッチ・モード及びスタイラス感知モー
ドは、互いに独立して動作するものであり、検出システ
ムは、指タッチまたはスタイラスを検出するまで、２つ
のモードの間を巡回する。
【００２２】米国出願第０７／３４４、８７９号（発明
の名称「アドバンスド・ユーザ・インターフェース」、
１９８９年４月２８日出願）を本明細書に援用する。こ
こにはオペレーティング・システムの拡張版について記
載されている。このオペレーティング・システムの拡張
版は、別の形式の入力を理解するようには書かれなかっ
た従来のソフトウエア・アプリケーションにより、その
ような別の形式の入力を処理することができるようにし
たものである。例えば、今日までの殆どのアプリケーシ
ョンは、キーボードとマウスの入力のみを受け入れるよ
うに書かれている。ユーザは、アプリケーション・プロ
グラム・コードを全く変更することなく、アドバンスド
・ユーザ・インターフェース（ＡＵＩ）を用いてタッチ
入力装置と共に利用することができる。本発明によれ
ば、ＡＵＩはオペレーティング・システム８１及びアプ
リケーション・プログラム８２と共にＲＡＭ８０に記憶
される。好適実施例では、本発明は、マウス・コマンド
とジェスチャまたは文字データとを一層効率的に区別で
きるようにすることによって、ＡＵＩを改良する。
【００２３】図３は、開放型ソフトウエア・アプリケー
ション・ウインドウ１００を示す図１のタッチ・ワーク
パッドを表す図である。このアプリケーションは「ＭＡ
Ｇ．ＥＸＥ．」と呼ばれる。作業空間領域１０２はウイ
ンドウの典型的な特徴（機構）であり、アプリケーショ
ンの入力のための殆どのデータを生成する領域である。
アクション・バー１０４は１つの選択可能なメニュー項
目「Ｏｐｔｉｏｎｓ」を含む。ユーザが指示装置（例え
ば、スタイラス、指等）を用いて、メニュー項目「Ｏｐ
ｔｉｏｎｓ」にタッチダウンすると、プルダウン・メニ
ューが現われ、多くの使用できるオプションの１つを選
択することができる。
【００２４】また、このウインドウは、指示装置によっ
てなされたジェスチャ１０６を表わす点の組の墨入れさ
れた線を示す。この場合、ジェスチャ１０６は、ＡＵＩ
が認識することができる多くのジェスチャの中の１つで
あり、ユーザがコンピュータ・システムに多くの可能な
動作の中の１つを行わせるために用いることができる
「上向き矢印（ｕｐ ａｒｒｏｗ）」である。「上向き
矢印」ジェスチャがウインドウ１００の作業空間領域に
入力されると、その可能な意味は、ウインドウ１００を
拡大または最大にすることである。
【００２５】また、図３には、指示装置により発生され
た入力点の別の線を表わす長い線１０７が図示されてい
る。この一連の点の場合、ユーザはタッチダウン後に１
２個の点を移動し、それ以上の移動を停止したことにな
る。図３に示すように、ユーザは点１２から点３５まで
指示装置を移動させなかった。したがって時間切れとな
り、プログラムの実行はマウス・エミュレーション・モ
ードに移った。これで、マウス指示装置により発生され
アプリケーション・プログラムに送られた「ファイル
（ｆｉｌｅ）」コマンドとして上記一連の点を認識する
ことによって、「ファイル」コマンド１０８のようなア
プリケーション・コマンドを活動化することができる。
【００２６】本発明は、スタイラスまたは指を基本とし
たオペレーティング・システムの拡張版（ＡＵＩ）内に
コンピュータ・モジュールを備え、マウス・ボタン・ダ
ウン、マウス移動またはマウス・ボタン・アップのよう
なマウス・コマンドをエミュレートすることを意図した
タッチ入力信号と、ジェスチャまたは文字と看做すべき
タッチ入力信号との識別を行う。この識別は、時間遅れ
を用いて、これら２種類のタッチ入力信号を識別するこ
とによって行なわれる。ＡＵＩにより、ユーザは、タッ
チ・センサから受け取られた全ての点をストローク・バ
ッファに置くことによって、アプリケーションにコマン
ドが通知される前に、スクリーンにタッチして所望の位
置に移動することが可能になる。ストローク・バッファ
に記憶された点は「ストローク」と呼ばれる。一旦ユー
ザが所望位置に達し、設定された時間遅れの間移動を停
止すると、ユーザが停止した点でマウス・コマンドが発
生される。ＡＵＩはジェスチャ・コマンドとしてではな
くマウス・エミュレーションとして時間切れを認識する
ので、ストローク・バッファは用いられず、アプリケー
ションにマウス・コマンドが伝えられる。好適実施例で
は、このコマンドはマウス・ボタン・ダウン・メッセー
ジである。例えば、ユーザが指示装置を所望位置で２０
０ミリ秒の間停止させると、該所望位置でのマウス・ア
ップ・ボタン・コマンドのようなマウス・コマンドがア
プリケーション・プログラムへ伝えられる。しかしなが
ら、ユーザが上記設定された期間の終了前に指示装置の
移動を再開すると、ユーザが（リフトオフすることな
く）再度停止し、上記時間遅れの期間待つまで、コマン
ドは発生されない。時間遅れは典型的にはミリ秒（ｍ
ｓ）で定義され、ユーザが相互作用するスクリーン領域
にしたがって変更することもできる。この時間遅れは、
ユーザが指定しても、タッチ入力信号を利用するアプリ
ケーション・プログラムにより変えられるようにしても
よい。
【００２７】一方、特定の点でユーザが指定された時間
遅れ期間停止せず、その代りにタッチ・スクリーンから
リフトオフした場合、ＡＵＩは指示装置により発生され
た１組の入力点（ストローク）を、文字またはジェスチ
ャに対する候補点として選択する。言い替えれば、時間
遅れは、ジェスチャを行なうことができる時間窓を設け
るものである。この時間中、ＡＵＩはジェスチャが行わ
れることのみを許容する。ユーザがこの期間の間待って
からリフトオフすると、指示装置により発生された点は
ジェスチャの候補にはならない。次いで、停止点座標
（即ち、運動停止の検出前に指示装置により発生された
最後の点に対応する座標）がマウス・コマンドに対して
用いられる。時間遅れ期間が過ぎないうちにユーザが指
示装置をリフトオフした場合、発生された１組の点はジ
ェスチャまたは文字として認識する試みがなされる。し
かしながら、点がそのように認識されなかった場合、通
常のマウス・エミュレーション・シーケンスが発生され
る。点が認識されると、ＡＵＩは適切なコマンドを適切
なアプリケーション・プログラムに送る。
【００２８】オーバーレイ１６の面上で指示装置が行な
った円ジェスチャの認識について、図４を参照しなが
ら、以下に説明する。
【００２９】指示装置を用いてジェスチャを行なうこと
によって、ソフトウエア・ユーティリティの起動を希望
することを決定したユーザは、タッチ・センサ１６の面
上で円を描き、設定された時間遅れの終了前に指示装置
をリフトオフする。タッチ・センサ１６は、１１０で、
装置駆動部への一連の割り込みをタッチ・ワークパッド
に対して発生し、１１２で、ワークパッドはこの円の１
組の点に対応する１組の入力信号をＡＵＩに伝える。
【００３０】ＡＵＩは最初のタッチ入力点（即ち、指示
装置のタッチ・センサへのタッチダウン）を発見したと
き、１２０において、ユーザまたはプログラマが選択し
た時間遅れ期間を調べる。１２２において、スタイラス
のリフトオフ事象を検出するまで、指示装置により発生
されたタッチ入力点がストローク・バッファに収集され
る。１２４においてタッチ入力点をＡＵＩが受け取る
と、１２６において、遅延タイマがｎ番目の点毎にリセ
ットされ、タッチ・センサ上でユーザが休止することに
よって開始された指示装置の移動の安定または停止期間
が決定される。時間遅れ期間が経過する前にユーザが指
示装置を移動させた場合、ＡＵＩは１２２において、タ
ッチ入力点をストローク・バッファに受け取り続ける。
しかしながら、上記時間遅れを越える期間内に指示装置
が移動されなかった場合、１３０において、マウス・コ
マンドが認識され発生される。この例では、ユーザは、
指示装置（例えば、スタイラス２０）をリフトオフする
前に休止しないので、１２８において、処理のためにス
トロークは文字認識装置またはジェスチャ認識装置に送
られる。タッチ入力ストロークがジェスチャまたは文字
として認識されなかったなら、マウス・コマンドが１３
０において発生される。
【００３１】入力ストロークがジェスチャ認識装置によ
り円ジェスチャとして認識された場合、ＡＵＩは円ジェ
スチャ信号を適切なコンピュータ・モジュール１３２に
伝える。
【００３２】以下、図５及び図６を参照して、指示装置
の運動停止が発生したか否かを判断するために用いる遅
延タイマのリセットに関連するシステム・オーバーヘッ
ドを低減するための本発明の動作について説明する。
【００３３】図５において、ユーザはまず、１５０にお
いて、指示装置をタッチ・センサにタッチダウンさせ、
点を１つ発生する。１５２において、この最初の点がＡ
ＵＩにより収集された後、その点を発生した指示装置が
識別される。即ち、その指示装置は指、スタイラス、マ
ウス等として識別される。１５４において、点発生速度
が決定される。各指示装置は異なる速度で点を発生す
る。例えば、スタイラスは毎秒１１０個の点を発生する
が、マウスは毎秒４０個の点を発生する。１５６におい
て、システムはユーザ・プロファイルを参照して遅延タ
イマ値を検索する。各指示装置に対して異なる遅延タイ
マ値がある。例えば、スタイラスのタイマ遅れは２００
ｍｓであり、指のタイマ遅れは３００ｍｓである。１５
８において、遅延タイマ値は経験的に得られた定数２．
３で除され、８６ｍｓが求まる（即ち、２００ｍｓ÷
２．３＝８６ｍｓ）。１６０において、この８６ｍｓの
期間に得られると予想される点の数が計算される。毎秒
１１０個の点を発生するスタイラスを用いると、８６ｍ
ｓの期間に約９個の入力点がある。システムはタッチダ
ウン点を記録し、それをアンカーとして用いる。「アン
カー」という用語は、指示装置により発生される次の点
が指示装置の運動とみなされるべきタッチダウン点から
所定の距離のところにになくてはならないことを意味す
る。この所定の距離は、システムの解像度に応じて変え
ることができる。１６４において、点のカウントがゼロ
にされる。点が受け取られると、点がカウントされる。
１６６において、遅延タイマが上記の検索された値を用
いて起動される。この点でセットアップの初期化が完了
する。
【００３４】１８８において、ユーザは指示装置をタッ
チ・センサからリフトオフする。ユーザがリフトオフす
ると、マウス・エミュレーションの検出がなくなり、シ
ステムは指示装置により発生された入力点をジェスチャ
または手書き入力として分類し、タイマをキャンセルす
る。１９２において、遅延タイマが時間切れとなる。遅
延タイマが時間切れとなったのは、ユーザが上記遅れ期
間を越えた時間の間指示装置の移動を停止し、システム
がタイマのリセットを停止したからである。これが起こ
ると、システムはマウス・エミュレーション・モードに
入る。
【００３５】図６について説明する。１６８において、
発生された新たな点がタッチ・センサから収集される。
スタイラスに対しては、毎秒１１０個の割合で点が受け
取られる。１７０において、点のカウントが増分され
る。１７２において最新の入力点のＸ−Ｙ座標が調べら
れ、その点が、アンカー即ち先行する入力点から２画素
（ペル）よりも大きく離れているか否かが確かめられ
る。もしそうならば、システムは指示装置が移動を有す
るものとして分類する。１７４において、新しい点が記
録される。Ｘ−Ｙ座標は新しいアンカーとして用いら
れ、その点のタイムスタンプ（ｔｉｍｅｓｔａｍｐ）が
セーブされる。移動がなければ、最後の２つのステップ
が省略される。１７８において、この時までに受け取っ
た点の数が計算される。この数が分割速度の整数倍であ
れば、システムは１８０に進み、運動が最後のｎ個の点
内に起こったか否かが確かめられる。（この場合、
「ｎ」は９である。）スタイラスに対する分割速度は９
であるので、システムは９の倍数（例えば、９、１８、
２７等）についてチェックを行う。運動が起こったな
ら、最後の運動の点が受け取られた時刻からの経過時間
が決定される。最後の運動の点からの経過時間があれ
ば、その経過時間が元のタイマ値（例えば２００ｍｓ）
から減算される。１８６において、２００ｍｓから運動
の停止とｎ番目の点との間の経過時間を減算した新しい
時間切れ値を用いて、タイマ遅れがリセットされる。１
７８と１８０において、上記のテストのいずれかが否定
の場合、システムは終了する。
【００３６】図７は、タッチダウンと一連の９個の点と
からなるストロークを示す図である。上記のように、ス
タイラスから９個の点を受け取った後、システムは、最
後の９個の点内に移動が起きたか否かを調べる。図で
は、スタイラスの移動は比較的迅速であった。実際の使
用では、点の間隔は互いにもっと密になっている。
【００３７】図７では、最後の９個の点内に運動があ
り、点８から点９までのストロークの部分が墨入れされ
る。９番目の点を受け取った後、遅延タイマは２００ｍ
ｓの安定期間待機してからゼロにリセットされ、ユーザ
が移動を止めるのを再び待ち続ける。
【００３８】図８では、ユーザは、点１０、１１及び１
２へと移動を続けている。点１３−１８は括弧内に示さ
れる。ユーザは点１２に移動した後、スタイラスを停止
状態に保持するので、最後の６個の点は１２番目の点と
同じ位置に発生する。点１８において、システムは前の
９個の点において何等かの運動があったか否かを再決定
する。再び、答えは肯定である。運動は最初の３個の点
（１０−１２）で発生している。しかしながら、最後の
６個の点では運動はなかったので、２００ｍｓがリセッ
トされる。最後の６個の点の間（恐らく５０ｍｓの間）
運動がなかったことを考慮して、タイマは１５０ｍｓ
（＝２００ｍｓ−５０ｍｓ）の値にリセットされる。
【００３９】図９は、ユーザが再びスタイラスを移動さ
せなかった場合を示す。点１２以降、スタイラスは停止
したままであり、点１９−３５は、移動がなく、したが
ってタイマがリセットされないことを示している。点３
５において時間切れが生じた。ユーザが指示装置を２０
０ｍｓの間移動させなかったからである。システムが時
間切れを検出すると、マウス・エミュレーション・モー
ドが始まり、マウス・コマンド入力メッセージが生成さ
れる。
【００４０】ＡＵＩシステムは、指またはスタイラスを
基本としたユーザ・インターフェース装置のための便宜
を与える。ユーザの指の移動またはスタイラスの移動を
追尾することができる装置と共に用いられると、ＡＵＩ
は、結果的に得られるストローク情報の処理のための支
援を提供する。これらの便宜は、スタイラスから流れる
インクをスクリーン上で視覚的に追尾すること、ストロ
ーク情報をアプリケーション・プログラムに送出するこ
と、及び、ストローク情報を更に分析するために認識サ
ブシステムに送出することを含んでいる。
【００４１】ＡＵＩは、ユーザが指示装置の移動を停止
するまで指示装置（スタイラス、指またはマウス）に対
するマウス・エミュレーションを遅らせるようにしたユ
ーザ・インターフェース技術を採用している。移動が停
止する前に完了したストローク（即ち、指示装置がタッ
チ・センサからリフトオフされる）は、ジェスチャまた
は手書き入力として分類される。運動が停止した後、ユ
ーザがマウス入力をエミュレートしようとしていると仮
定し、マウス・エミュレーション・モードが始まる。運
動停止の検出を行なうには、ユーザはタッチダウンし、
指示装置を時間切れ期間の間停止状態に保持しなくては
ならない。「停止状態」はｎ個のペルより大きな位置の
変化がないこととして定義され、「ｎ個のペル」は表示
装置またはセンサの解像度の単位で表すことができる。
一好適実施例では、２つの表示ペルの値が用いられる。
典型的な時間切れ値の例は、スタイラスに対して２００
ｍｓ、指の接触に対して３００ｍｓ、そして、マウスに
対して２００ｍｓである。これらの値は、マウス・エミ
ュレーションに入るための遅れを最少にすることと、ス
トローク期間に不注意に時間切れになることなくジェス
チャを容易にストロークさせることとの間の妥協を表し
ている。
【００４２】本発明は、マルチタスク・コンピュータ・
システムに好適である。上記のように、典型的には、単
一のタスクまたはスレッドが運動停止を決定するための
遅延タイマの管理専用に用いられる。従来、例えば、ス
タイラス指示装置は毎秒１１０個の点、即ち、９ｍｓ毎
に１つの点を発生する。したがって、従来のプロセッサ
は、スタイラスが動いているとき、９ｍｓ毎にタイマ・
スレッドへ及びそこから切り換える必要がある。その結
果、発生された各点に対するデータを処理するのにプロ
セッサが９ｍｓを要するとすると、システムの処理時間
の１００％がタイマの管理で使い尽くされてしまうこと
になる。
【００４３】本発明によれば、このタイマ・スレッド
は、コンピュータ・システムと共に用いられる指示装置
により発生されるｎ番目の点毎にのみリセットされなけ
ればならない。したがって、システム・プロセッサは、
現在実行中のスレッドと移動する指示装置により各点が
発生された後のタイマ・スレッドとの間で切り換えるた
めに処理時間を浪費しなくてもよいことになる。
【００４４】上記の発明を明確にするために、以下の疑
似コードにより論理フローを詳細に示す。
【００４５】when ユーザがタッチダウンする ストローク装置をidentify 点速度をdetermine ユーザ・プロファイルから遅延タイマ値をretrieve 遅延タイマ値を２．３でdivide この期間中に発生されると予測される点の数をcalculat
e 点カウンタをclear 遅延タイマをstart endwhen when センサから新しい点が受け取られる ストローク内の受け取られた点の数をincrement if 最後の運動の点から２ペルより大きい移動を点が示
す、点及び点のタイムスタンプをrecord endif if ストローク点の数が時間分割速度の偶数倍である if 最後のｎ個の点の間に運動が生じた 最後の運動の点を受け取ってからの経過時間をdetermin
e この時間を元の遅延タイマ値からsubtract この新しい時間切れ値を用いて遅延タイマをreset endif endif endwhen when ユーザがリフトオフする 遅延タイマをcancel endwhen when 遅れ時間切れが起こる（非同期的に） マウス・エミュレーション・モードにenter endwhen
【００４６】これまで、本発明をその好適実施例を参照
しながら詳述したが、本発明の精神、範囲及び教示から
逸脱することなく、種々の変更が可能である。例えば、
上記の実施例では、一様な点の発生が指示装置によって
なされるものと仮定され、移動する指示装置の停止を決
定するために用いられるタイマはｎ個の点の発生後に周
期的にリセットされる。しかしながら、指示装置の移動
が散発的で、移動する指示装置により一様な点のストリ
ームが発生されないシステムでは、下記の本発明の別の
実施例にしたがって、タイマはタイミングのとられた間
隔（例えば８６ｍｓ）で周期的にリセットされる。
【００４７】この実施例では、（上述の実施例のよう
に）指示装置により発生される初期点がアンカー点とし
て用いられる。アンカー点の発生に対する全ての以後の
点の発生期間（「タイムスタンプ」と呼ばれる）に関し
て、それらの点が監視される。所与の時間間隔、例えば
８６ｍｓより大きなタイムスタンプで点が発生されたと
き、タイマはリセットされ、その点が新しいアンカー点
として用いられる。本発明のこの実施例によれば、所定
の時間遅れ期間、例えば、２００ｍｓ内に点が発生され
ると、所与の時間間隔でタイマは周期的にリセットされ
る。指示装置により点が発生されず、その移動が検出さ
れないと、時間切れとなり、（上記のように）システム
はマウス・エミュレーション・モードに入る。
【００４８】
【発明の効果】以上、若干の実施例を参照して本発明を
詳細に説明したところから明らかなとおり、本発明は、
最初の点を発生した時から始まる所与の期間内に指示装
置から点を発生するときに遅延タイマを周期的にリセッ
トすることによって、この遅延タイマに関連するオーバ
ーヘッドを低減することができるという格別の効果を奏
する。
【図面の簡単な説明】
【図１】指タッチまたはスタイラスの位置を検出するた
めに用いられるオーバーレイの正面図である。この装置
はフラット・パネル表示装置上に配置され、「タッチ・
ワークバッド」として知られている装置を形成する。
【図２】指タッチ及びスタイラス検出を組み合わせたシ
ステムの構成図である。
【図３】図１のタッチ・ワークパッド上に表示されるウ
インドウを示す図であり、マウス・コマンドとして認識
された、指示装置によってなされたストロークを示す図
である。
【図４】マウス・コマンドの生成を意図するストローク
入力信号と、ジェスチャまたは手書き事象の生成を意図
するストローク入力信号とを区別するための、本発明の
動作を示す流れ図である。
【図５】運動停止の発生を決定するための遅延タイマの
リセットに関連するシステム・オーバーヘッドを低減す
る本発明の動作を示す流れ図である。
【図６】運動停止の発生を判定するための遅延タイマの
リセットに関連するシステム・オーバーヘッドを低減す
る本発明の動作を示す流れ図。
【図７】図１のタッチ・ワークパッド上に表示されるウ
インドウを示す図であり、マウス・コマンドの生成を意
図した墨入れ済みストロークが示されている。
【図８】図１のタッチ・ワークパッド上に表示されるウ
インドウを示す図であり、マウス・コマンドの生成を意
図した墨入れ済みストロークが示されている。
【図９】図１のタッチ・ワークパッド上に表示されるウ
インドウを示す図であり、マウス・コマンドの生成を意
図した墨入れ済みストロークが示されている。
【符号の説明】
１０：ワークパッド １４：ウインドウ １６：オ
ーバーレイ １８：液晶表示部 ２０：スタイラス ２４−２
７：ボタン・スイッチ ２８：ケーブル ３０：タッチ制御プロセッサ ３６：リード・オンリ・メモリ及びＩ／Ｏ制御器 ４２：ワイヤ選択マルチプレクサ ４６：放射ピック
アップ計測装置 ５０：モード・マルチプレクサ ８０：メモリ

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 情報処理システムにおいて移動指示手段
    の運動の停止を認識する方法であって、タッチ・センサ
    に接触する前記移動指示手段の位置を表わす一連の点を
    発生するステップと、前記一連の点を周期的に収集する
    ステップと、前記収集した点に基づいて前記移動指示手
    段の運動を検出するとき、所定の遅れ期間をもってタイ
    マをリセットするステップと、前記タイマによる前記所
    定の遅れ期間内に前記移動指示手段の運動がないとき、
    前記移動指示手段の運動の停止を認識するステップと、
    を含む方法。
  2. 【請求項２】 前記移動指示手段の運動の停止の認識に
    応答して、前記情報処理システムがマウス・エミュレー
    ション・モードに入るようにした請求項１に記載の方
    法。
  3. 【請求項３】 前記移動指示手段がその点の発生を終了
    したとき前記タイマをキャンセルし、次いで、ジェスチ
    ャ認識モードに入るステップを含む請求項１に記載の方
    法。
  4. 【請求項４】 指示手段を用いて、データ処理システム
    に位置点データを入力するための方法であって、前記指
    示手段がタッチ・センサに対して移動して表示装置を制
    御するときに位置点を発生するステップと、所定数の先
    行の位置点に基づいて、前記タッチ・センサに対する前
    記指示手段の運動を検出するステップと、所定の遅れ期
    間を計測するタイマに応答して、前記指示手段の運動停
    止を判断するステップと、を含み、前記指示手段の運動
    が検出されたとき所定数の位置点毎に前記タイマをリセ
    ットするようにした、前記指示手段の運動の停止を検出
    する方法。
  5. 【請求項５】 更に、前記指示手段の種類を識別するス
    テップを含み、前記所定の遅れ期間が前記の識別された
    種類に応じて決定される請求項４に記載の方法。
  6. 【請求項６】 更に、前記指示手段がその点の発生を終
    了したときに前記タイマをキャンセルし、次いで、ジェ
    スチャ認識モードに入るステップを含む請求項４に記載
    の方法。
  7. 【請求項７】 タッチ・センサに接触する前記移動指示
    手段の位置を表わす一連の点を発生する手段と、前記一
    連の点を周期的に収集する手段と、前記収集した点に基
    づいて前記移動指示手段の運動を検出するとき、所定の
    遅れ期間をもってタイマをリセットする手段と、を備
    え、前記タイマによる前記所定の遅れ期間内に前記移動
    指示手段の運動がないとき、前記移動指示手段の運動の
    停止を認識するようにした情報処理装置。
  8. 【請求項８】 前記移動指示手段の運動の停止の認識に
    応答して、マウス・エミュレーション・モードに入るよ
    うにした請求項７に記載の情報処理装置。
JP21688792A 1991-10-10 1992-08-14 移動指示手段の運動停止を認識する方法および情報処理装置 Expired - Fee Related JPH0736142B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US77448891A 1991-10-10 1991-10-10
US774488 1991-10-10

Publications (2)

Publication Number Publication Date
JPH05204533A JPH05204533A (ja) 1993-08-13
JPH0736142B2 true JPH0736142B2 (ja) 1995-04-19

Family

ID=25101405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21688792A Expired - Fee Related JPH0736142B2 (ja) 1991-10-10 1992-08-14 移動指示手段の運動停止を認識する方法および情報処理装置

Country Status (8)

Country Link
US (1) US5404458A (ja)
EP (1) EP0536554B1 (ja)
JP (1) JPH0736142B2 (ja)
KR (1) KR950012489B1 (ja)
CN (1) CN1026732C (ja)
CA (1) CA2076517A1 (ja)
DE (1) DE69225550T2 (ja)
TW (1) TW212236B (ja)

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
CA2089784C (en) * 1992-04-15 1996-12-24 William Joseph Anderson Apparatus and method for disambiguating an input stream generated by a stylus-based user interface
US5673066A (en) * 1992-04-21 1997-09-30 Alps Electric Co., Ltd. Coordinate input device
US5764220A (en) * 1992-09-11 1998-06-09 Mitsubishi Denki Kabushiki Kaisha Method of detecting contact of mouse with surface and mouse unit using this method
US5568604A (en) * 1992-12-31 1996-10-22 U S West Technologies, Inc. Method and system for generating a working window in a computer system
EP0657842B1 (en) * 1993-12-07 1999-03-10 Seiko Epson Corporation Touch panel input device and method of generating input signals for an information processing device
US5570113A (en) * 1994-06-29 1996-10-29 International Business Machines Corporation Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system
US5867106A (en) * 1994-09-02 1999-02-02 Packard Bell Nec Password switch to override remote control
US6092117A (en) * 1994-09-02 2000-07-18 Packard Bell Nec System and method for automatically reconnecting a wireless interface device to a host computer
US6137473A (en) * 1994-09-02 2000-10-24 Nec Corporation System and method for switching control between a host computer and a remote interface device
US5974558A (en) * 1994-09-02 1999-10-26 Packard Bell Nec Resume on pen contact
US6262719B1 (en) 1994-09-02 2001-07-17 Packard Bell Nec, Inc. Mouse emulation with a passive pen
US6292181B1 (en) 1994-09-02 2001-09-18 Nec Corporation Structure and method for controlling a host computer using a remote hand-held interface device
US6209034B1 (en) 1994-09-02 2001-03-27 Nec Corporation Remote keyboard macros activated by hot icons
US5473745A (en) * 1994-12-14 1995-12-05 International Business Machines Corporation Exposing and hiding a title bar behind its window using a visual cue
US5764218A (en) * 1995-01-31 1998-06-09 Apple Computer, Inc. Method and apparatus for contacting a touch-sensitive cursor-controlling input device to generate button values
US5802388A (en) * 1995-05-04 1998-09-01 Ibm Corporation System and method for correction and confirmation dialog for hand printed character input to a data processing system
GB2301217B (en) * 1995-05-26 1999-12-15 Nokia Mobile Phones Ltd Display driver
US5857172A (en) * 1995-07-31 1999-01-05 Microsoft Corporation Activation control of a speech recognizer through use of a pointing device
US5864815A (en) * 1995-07-31 1999-01-26 Microsoft Corporation Method and system for displaying speech recognition status information in a visual notification area
US5761641A (en) * 1995-07-31 1998-06-02 Microsoft Corporation Method and system for creating voice commands for inserting previously entered information
US5748191A (en) * 1995-07-31 1998-05-05 Microsoft Corporation Method and system for creating voice commands using an automatically maintained log interactions performed by a user
US6108727A (en) * 1995-10-16 2000-08-22 Packard Bell Nec System having wireless interface device for storing compressed predetermined program files received from a remote host and communicating with the remote host via wireless link
US7512671B1 (en) * 1995-10-16 2009-03-31 Nec Corporation Computer system for enabling a wireless interface device to selectively establish a communication link with a user selectable remote computer
US6963783B1 (en) 1995-10-16 2005-11-08 Packard Bell Nec Audio compression in a wireless remote interface tablet
US6148344A (en) * 1995-10-16 2000-11-14 Nec Corporation System and method for enabling an IPX driver to accommodate multiple LAN adapters
US5996082A (en) * 1995-10-16 1999-11-30 Packard Bell Nec System and method for delaying a wake-up signal
US6664982B1 (en) 1995-10-16 2003-12-16 Nec Corporation Multi-user on-screen keyboard
US6126327A (en) * 1995-10-16 2000-10-03 Packard Bell Nec Radio flash update
US5990875A (en) * 1995-10-16 1999-11-23 Packard Bell Nec Double pen up event
US6279153B1 (en) 1995-10-16 2001-08-21 Nec Corporation Multi-user flash ROM update
US6005533A (en) * 1995-10-16 1999-12-21 Packard Bell Nec Remote occlusion region
US6018806A (en) * 1995-10-16 2000-01-25 Packard Bell Nec Method and system for rebooting a computer having corrupted memory using an external jumper
US5732283A (en) * 1995-10-24 1998-03-24 International Business Machines Corporation System and method of providing universal support for multiple pointing devices
US5838819A (en) * 1995-11-14 1998-11-17 Lucent Technologies Inc. System and method for processing and managing electronic copies of handwritten notes
US5815407A (en) * 1995-12-14 1998-09-29 Motorola Inc. Method and device for inhibiting the operation of an electronic device during take-off and landing of an aircraft
US5893132A (en) 1995-12-14 1999-04-06 Motorola, Inc. Method and system for encoding a book for reading using an electronic book
US5761681A (en) * 1995-12-14 1998-06-02 Motorola, Inc. Method of substituting names in an electronic book
US5761682A (en) * 1995-12-14 1998-06-02 Motorola, Inc. Electronic book and method of capturing and storing a quote therein
US5818426A (en) * 1996-02-01 1998-10-06 Aztech New Media Corporation Peripheral-computer interfacing system and method
US6049329A (en) * 1996-06-04 2000-04-11 International Business Machines Corporartion Method of and system for facilitating user input into a small GUI window using a stylus
US5864635A (en) * 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US5862256A (en) * 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
EP0985206B1 (en) * 1996-08-12 2012-03-14 Tyco Electronics Coroporation Acoustic touch sensor
KR19990015738A (ko) 1997-08-08 1999-03-05 윤종용 터치패드 입력 제어기능을 갖는 휴대형 컴퓨터
US6610917B2 (en) 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
KR100401197B1 (ko) * 1998-11-20 2003-11-15 삼성전자주식회사 문자인식 처리 속도가 향상된 문자인식 장치 및 그 방법
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
KR100810218B1 (ko) * 1999-03-18 2008-03-06 삼성전자주식회사 디지털 휴대용 단말기에서 사용자에 의해 터치 스크린 패널을 통해 입력된 터치스크린 패널 데이터 처리 장치 및 방법
FR2797077B1 (fr) * 1999-07-27 2001-09-21 Adl Systeme Sa Procede et dispositif de gestion de la transmission de pixels
JP3998376B2 (ja) * 1999-09-10 2007-10-24 富士通株式会社 入力処理方法及びそれを実施する入力処理装置
US20030174125A1 (en) * 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
US20030132950A1 (en) * 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US6724373B1 (en) * 2000-01-05 2004-04-20 Brother International Corporation Electronic whiteboard hot zones for controlling local and remote personal computer functions
JP3580208B2 (ja) 2000-02-04 2004-10-20 ヤマハ株式会社 弦楽器
US6791536B2 (en) * 2000-11-10 2004-09-14 Microsoft Corporation Simulating gestures of a pointing device using a stylus and providing feedback thereto
US6897853B2 (en) * 2000-11-10 2005-05-24 Microsoft Corp. Highlevel active pen matrix
JP2002215146A (ja) * 2001-01-18 2002-07-31 Kawai Musical Instr Mfg Co Ltd 電子楽器の指示入力装置
US20030014674A1 (en) * 2001-07-10 2003-01-16 Huffman James R. Method and electronic book for marking a page in a book
WO2003065192A1 (en) * 2002-01-31 2003-08-07 Nokia Corporation Method, system and device for distinguishing pointing means
ATE373262T1 (de) * 2002-02-06 2007-09-15 Soundtouch Ltd Berührungs-pad
WO2003071411A1 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Multiple input modes in overlapping physical space
US7499033B2 (en) * 2002-06-07 2009-03-03 Smart Technologies Ulc System and method for injecting ink into an application
FR2841022B1 (fr) * 2002-06-12 2004-08-27 Centre Nat Rech Scient Procede pour localiser un impact sur une surface et dispositif pour la mise en oeuvre de ce procede
US20040001101A1 (en) * 2002-06-27 2004-01-01 Koninklijke Philips Electronics N.V. Active window switcher
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
DE10244900A1 (de) * 2002-09-26 2004-04-15 Siemens Ag Verfahren zur automatischen Erkennung von Benutzerbefehlen auf einer als Touchscreen ausgebildeten Benutzeroberfläche
US7069357B2 (en) * 2003-01-29 2006-06-27 Numark Industries, Llc Touch sensor system
JP4111897B2 (ja) * 2003-09-16 2008-07-02 日立ソフトウエアエンジニアリング株式会社 ウインドウの制御方法
AU2003291912A1 (en) * 2003-12-19 2005-07-05 Intel China Ltd. Creating responses for an electronic pen-computer multimedia interactive system
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US7623119B2 (en) * 2004-04-21 2009-11-24 Nokia Corporation Graphical functions by gestures
US20070097084A1 (en) * 2004-06-25 2007-05-03 Hiroyuki Niijima Command input device using touch panel display
US10201753B2 (en) * 2004-07-16 2019-02-12 Universal Entertainment Corporation Gaming machine and program thereof
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
JP4134008B2 (ja) * 2004-11-19 2008-08-13 任天堂株式会社 画像処理装置および画像処理プログラム
US7692637B2 (en) * 2005-04-26 2010-04-06 Nokia Corporation User input device for electronic device
JP2006314349A (ja) * 2005-05-10 2006-11-24 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
US8643605B2 (en) * 2005-11-21 2014-02-04 Core Wireless Licensing S.A.R.L Gesture based document editor
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
JP2008012199A (ja) * 2006-07-10 2008-01-24 Aruze Corp ゲーム装置及びゲーム装置の画像表示制御方法
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US7864163B2 (en) 2006-09-06 2011-01-04 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
EP2067119A2 (en) * 2006-09-08 2009-06-10 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8159457B2 (en) * 2006-09-27 2012-04-17 Yahoo! Inc. Zero-click activation of an application
US20080154573A1 (en) * 2006-10-02 2008-06-26 Microsoft Corporation Simulating new input devices using old input devices
CN101192124B (zh) * 2006-11-17 2010-04-21 中兴通讯股份有限公司 对触摸屏输入信息进行自动区分处理的系统及方法
US7889185B2 (en) * 2007-01-05 2011-02-15 Apple Inc. Method, system, and graphical user interface for activating hyperlinks
US7889184B2 (en) * 2007-01-05 2011-02-15 Apple Inc. Method, system and graphical user interface for displaying hyperlink information
US20110035662A1 (en) 2009-02-18 2011-02-10 King Martin T Interacting with rendered documents using a multi-function mobile device, such as a mobile phone
US10203873B2 (en) 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
US9110590B2 (en) 2007-09-19 2015-08-18 Typesoft Technologies, Inc. Dynamically located onscreen keyboard
US20120075193A1 (en) * 2007-09-19 2012-03-29 Cleankeys Inc. Multiplexed numeric keypad and touchpad
US9489086B1 (en) 2013-04-29 2016-11-08 Apple Inc. Finger hover detection for improved typing
US10126942B2 (en) * 2007-09-19 2018-11-13 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
US9454270B2 (en) 2008-09-19 2016-09-27 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
US8674946B2 (en) * 2007-10-04 2014-03-18 Alpine Electronics, Inc. Method and apparatus for controlling timing of status change of electronics apparatus based on user's finger location and input speed
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
US20090284532A1 (en) * 2008-05-16 2009-11-19 Apple Inc. Cursor motion blurring
KR20100009023A (ko) * 2008-07-17 2010-01-27 (주)마이크로인피니티 움직임을 인식하는 장치 및 방법
US20100164756A1 (en) * 2008-12-30 2010-07-01 Nokia Corporation Electronic device user input
CN102349087B (zh) * 2009-03-12 2015-05-06 谷歌公司 自动提供与捕获的信息例如实时捕获的信息关联的内容
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US20100238123A1 (en) * 2009-03-17 2010-09-23 Ozias Orin M Input Device Gesture To Generate Full Screen Change
JP5427008B2 (ja) * 2009-11-27 2014-02-26 富士通テン株式会社 車載表示システム
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US9310994B2 (en) * 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9367205B2 (en) * 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
CN102402192A (zh) * 2010-09-19 2012-04-04 钰宝科技股份有限公司 无线式荧幕显示控制装置
DE102010048809A1 (de) 2010-10-20 2012-04-26 Hüttinger Elektronik Gmbh + Co. Kg Leistungsversorgungssystem für eine Plasmaanwendung und/oder eine Induktionserwärmungsanwendung
DE102010048810A1 (de) 2010-10-20 2012-04-26 Hüttinger Elektronik Gmbh + Co. Kg System zur Bedienung mehrerer Plasma- und/oder Induktionserwärmungsprozesse
JP5304763B2 (ja) * 2010-10-22 2013-10-02 アイシン・エィ・ダブリュ株式会社 画像表示装置、画像表示方法及びプログラム
EP2665497A2 (en) 2011-01-20 2013-11-27 Cleankeys Inc. Systems and methods for monitoring surface sanitation
US10222974B2 (en) * 2011-05-03 2019-03-05 Nokia Technologies Oy Method and apparatus for providing quick access to device functionality
US9104260B2 (en) 2012-04-10 2015-08-11 Typesoft Technologies, Inc. Systems and methods for detecting a press on a touch-sensitive surface
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
US20140168141A1 (en) * 2012-12-18 2014-06-19 Logitech Europe S.A. Method and system for discriminating stylus and touch interactions
JP6271881B2 (ja) * 2013-06-26 2018-01-31 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
KR20150008620A (ko) * 2013-07-15 2015-01-23 삼성전자주식회사 전자 문서 제공 방법 및 장치
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
US10382012B2 (en) * 2015-01-26 2019-08-13 Pixart Imaging Inc. Navigation device and track smoothing method thereof
US10606457B2 (en) 2016-10-11 2020-03-31 Google Llc Shake event detection system
JP6832725B2 (ja) * 2017-01-31 2021-02-24 シャープ株式会社 表示装置、表示方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01209522A (ja) * 1988-02-17 1989-08-23 Canon Inc 座標入力装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4334266A (en) * 1980-04-21 1982-06-08 Westinghouse Electric Corp. Numerical control system with following error monitor
US4409836A (en) * 1981-11-13 1983-10-18 Motorola, Inc. Apparatus and method for detecting the cessation of motion of a body
US4587630A (en) * 1984-02-15 1986-05-06 Hewlett-Packard Company Intelligent programmable touchscreen system
JPS6280724A (ja) * 1985-10-04 1987-04-14 Hitachi Ltd マウス制御方式
US4760386A (en) * 1986-06-13 1988-07-26 International Business Machines Corporation Automatic hiding and revealing of a pointer during keyboard activity
US5025411A (en) * 1986-12-08 1991-06-18 Tektronix, Inc. Method which provides debounced inputs from a touch screen panel by waiting until each x and y coordinates stop altering
US4763356A (en) * 1986-12-11 1988-08-09 AT&T Information Systems, Inc. American Telephone and Telegraph Company Touch screen form entry system
JPS63172325A (ja) * 1987-01-10 1988-07-16 Pioneer Electronic Corp タツチパネル制御装置
US4903012A (en) * 1987-01-20 1990-02-20 Alps Electric Co., Ltd. Coordinate system input device providing registration calibration and a mouse function
FR2614711B1 (fr) * 1987-04-29 1992-03-13 Photonetics Procede et dispositif d'exploitation du signal d'ecran d'un ecran tactile
US4886941A (en) * 1987-05-19 1989-12-12 Commodore Business Machines, Inc. Circuit for interfacing mouse input device to computer system
JPS63311426A (ja) * 1987-06-15 1988-12-20 Hitachi Ltd マウス制御方式
FR2624997B1 (fr) * 1987-12-16 1990-06-01 France Etat Procede d'estimation multi predictif du mouvement des points d'une image electronique
JP2557077B2 (ja) * 1987-12-21 1996-11-27 エイ・ティ・アンド・ティ グローバル インフォメーション ソルーションズ インターナショナル インコーポレイテッド 同期アクセス方式のキヤラクタ表示システム
US5157384A (en) * 1989-04-28 1992-10-20 International Business Machines Corporation Advanced user interface
US5027109A (en) * 1989-06-08 1991-06-25 Donovan Paul M Apparatus and method for minimizing undesired cursor movement in a computer controlled display system
US5189403A (en) * 1989-09-26 1993-02-23 Home Row, Inc. Integrated keyboard and pointing device system with automatic mode change
US5179368A (en) * 1989-11-09 1993-01-12 Lippincott Douglas E Method and apparatus for interfacing computer light pens
US5187467A (en) * 1991-01-10 1993-02-16 Hewlett Packard Company Universal light pen system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01209522A (ja) * 1988-02-17 1989-08-23 Canon Inc 座標入力装置

Also Published As

Publication number Publication date
EP0536554A1 (en) 1993-04-14
TW212236B (ja) 1993-09-01
CN1026732C (zh) 1994-11-23
JPH05204533A (ja) 1993-08-13
KR930008595A (ko) 1993-05-21
CA2076517A1 (en) 1993-04-11
DE69225550D1 (de) 1998-06-25
CN1071524A (zh) 1993-04-28
DE69225550T2 (de) 1999-02-04
KR950012489B1 (ko) 1995-10-18
EP0536554B1 (en) 1998-05-20
US5404458A (en) 1995-04-04

Similar Documents

Publication Publication Date Title
JPH0736142B2 (ja) 移動指示手段の運動停止を認識する方法および情報処理装置
CA2076506C (en) Apparatus and method for reducing system overhead while inking strokes in a finger or stylus-based input device of a data processing system
EP0690368A2 (en) A pen-based computer system
CN100381986C (zh) 输入处理方法和输入控制装置
KR100259452B1 (ko) 터치스크린용 가상 포인팅 디바이스
KR100255284B1 (ko) 가상 포인팅 디바이스를 생성하기 위한 컴퓨터 장치, 컴퓨터 시스템의 지시 방법 및 컴퓨터 사용가능 매체를 구비한 제조 물품
EP0817000B1 (en) Reshapable pointing device for touchscreens
KR100260867B1 (ko) 터치스크린포인팅디바이스의분리및합체를위한방법및시스템
US6057830A (en) Touchpad mouse controller
US7705831B2 (en) Pad type input device and scroll controlling method using the same
TWI291161B (en) Automatic switching for a dual mode digitizer
US5870083A (en) Breakaway touchscreen pointing device
JP4446369B2 (ja) ペン認識型コンピュータシステムにおけるインク情報を取得および体系化するための方法および装置
US8847904B2 (en) Gesture recognition method and touch system incorporating the same
KR100255285B1 (ko) 가상 포인팅 디바이스를 생성하기 위한 컴퓨터 시스템, 컴퓨터 시스템의 지시 방법, 및 컴퓨터 사용가능 매체를 구비한 제조 물품
US20020190959A1 (en) Data processing apparatus having control element for detecting false touch
CN104951213A (zh) 防止误触发边缘滑动手势的方法及手势触发方法
KR950014984B1 (ko) 입력 장치로부터 고대역폭 데이타를 버퍼링하는 방법 및 데이타 처리 시스템
JP4653297B2 (ja) 制御装置、電子機器、および媒体
WO2013061326A1 (en) Method for recognizing input gestures.
JPS60209832A (ja) 画面入力ポイント指示方式
JPH05216582A (ja) コマンド選択方式
JPH05204535A (ja) 情報処理装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090419

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100419

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110419

Year of fee payment: 16

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110419

Year of fee payment: 16

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120419

Year of fee payment: 17

LAPS Cancellation because of no payment of annual fees