【発明の詳細な説明】
メモリの必要を最小限にするマルチタッチ入力装置、方法およびシステム
本発明は、コンピュータなどの電子装置用の入力装置に関し、より詳細には、
マルチタッチ入力装置に関する。
近年のコンピュータテクノロジーおよび電子テクノロジーの急速な進歩により
、コンピュータ装置や電子装置用の主要な入力装置としてのコンピュータキーボ
ードには限界があることが明らかとなっている。その結果、他の入力装置にます
ます注意が払われるようになっている。
マルチタッチ入力装置用の見込ある技術には、静電容量によるタッチパッドが
ある。タッチパッドは、Cirque社、アップルコンピュータ社、アルプス電気ＵＳ
Ａ、Synaptics社、最近ではLogitech社などの企業によりポピュラーになってい
る。最近製造されたラップトップコンピュータの略８０％のものには、タッチパ
ッドが設けられている。
タッチパッド工業界においては、タッチパッドが単なるポイント以上の機能を
備えるようにするためのトレンドがある。同時に、コンピュータ業界において、
新たな入力装置の必要性を認識し、かつ、さらに、その必要性を満たすためのジ
ェスチャ（キーを用いた単なる指のストロークよりもより豊富な情報をもたらす
手の動き）の可能性を認識しているものも存在する。たとえば、新たな入力装置
の必要性は、最近のテキスト入力システムの出現によりもたらされている。この
テキスト入力システムでは、テレフォンキーパッドが使用され、多数の文字が施
されたキーが押され、その後に、１、２或いは３が押されて、キー上の第１、第
２或いは第３の文字が特定される。異綴(variant)は、同じキーを１回、２回或
いは３回押すことによりなされ、そのキー上の第１、第２或いは第３の文字が特
定される。
新たな入力装置の可能性に関して特に興味深いのは、Logitech社の第２世代Ｔ
Ｐ２（登録商標）タッチパッドである。比較的小さいファームウェアの変更によ
り、タッチパッドは、未加工の静電容量測定データを、外界に提供するようにな
っている。この未加工のデータは、種々の手法にて扱われ、高められた機能を達
成することができる。また、たとえば、米国特許第5,194,862号に記載されたよ
うな種々の表示ベースのタッチセンサ装置も興味深い。上記特許は、引用するこ
とによりここに組み込まれている。
現存する他の従来のマルチタッチ入力システムは、Ｄａｔ０（登録商標）入力
システムとして知られている。この従来の入力システムには、ディジタル電子装
置に、コマンド／コントロール情報および／またはテキストを入力するための、
極めてコンパクトなタッチ検出入力装置を得る目的がある。コンパクトであるこ
とは、小さな携帯用電子装置のための考え方のキーとなる。（これは、www.dato
.comに、より完全に掲載されている。）Ｄａｔ０Ｐａｄ（登録商標）入力システ
ムは、従来のＤａｔ０入力システムを用いたタッチパッドつまり他の装置である
。この従来の入力システムは、米国特許第5,203,704号に記載され、この特許は
引用することによりここに組み込まれている。従来の入力装置のある実施例では
、第１図に示すようなレイアウト１００が設けられている。人差し指（基本イン
ジケータ）は、エリア１〜９のうちの一つを押すことにより、領域１０１内にタ
ッチする。親指（第１の補助インジケータ）は、妥当であれば、領域１０３内に
タッチする。中指（第２の補助インジケータ）は、妥当であれば、領域１０５内
にタッチする。人差し指の各ポジション１〜９に対して、４つの「補助インジケ
ータ」の組み合わせが考えうる。すなわち、親指のみ、中指のみ、親指および中
指の双方、或いは、何も無いが存在するため、全体として、３６の別個のジェス
チャが存在する。
さらに、この従来の入力システムによれば、Ｄａｔ０ｓｅｔ（登録商標）のジ
ェスチャ（身振り）の組は、３６のジェスチャからなる８つのグループの組から
構成される。異なるグループは、単に補助インジケータの異なる組み合わせで、
一度或いは二度叩くことにより選択されるため、２８８モードの別個のジェスチ
ャが得られる。ジェスチャの組は、たとえば、「フォント」の組と考えても良い
。各フォントは、互いに重ね合わされた４つの「三目並べ(tic-tac-toe)」の格
子（グリッド）と考えることもできる。例示として、三目並べの格子（グリッド
）をならべて描く。たとえば、「アルファ」フォントは、第２図に示すように表
される。各三目並べの格子（グリッド）内で、各箱（ボックス）は、１〜９と番
号付けら
れた基本インジケータの位置の一つに対応する。
単語を入力する間、人差し指は、番号付けられた位置から番号付けられた位置
までスライドしながら、パッドとの接触を維持する。スペースは、持ち上げ(lif
ting)により指示される。大文字／小文字(case)や句読点を与えることができる
か、或いは、どのように大文字／小文字や句読点を与えるかに関する詳細は、現
状では利用できない。従来の入力システムによれば、ケースおよび句読点を除き
、「おやまあ、これはすばらしい新型入力装置だ。(Gee,this is a great new i
nputdevice!.)」という文を以下のように入力することができる。ここに、Ｘは
、各キャラクタのために必要な行為を指示するために用いられ、ＭＦは中指を示
している。
従来技術の入力システムにおいて、上記したように、人差し指の位置は重要で
ある。しかしながら、親指および人差し指が、有るか無いか（ポジションではな
い）のみが重要である。ある態様においては、これにより、従来の入力装置を非
常に小さい装置で使用することができる。しかしながら、これにより、ユーザが
、ジェスチャとキャラクタ／コマンドとの間のマッピングを覚え、そうでなくと
も、ユーザは、ディスプレイや参照カードなど外部のリファレンスを参考にする
ことが考えられる。マッピングを表示するには、表示領域を付加する必要がある
。参
照カードを参考にすることは、ユーザにとって不便である。
したがって、従来の入力装置の可能性にもかかわらず、改良された入力システ
ム、特に、ユーザの側での記憶の必要性を最小限にする入力システムが必要であ
る。
一般的には、本発明は、ユーザの側での記憶の必要性を最小限にするマルチタ
ッチ入力装置を提供する。本発明の一態様によれば、パッド面を有し、多数の同
時に生じたタッチを区別するパッドを使用した電子装置に情報を入力する方法は
、以下のステップを備えている。つまり、方法のステップは、パッド面に対して
、原文要素(逐語要素:textual element)を含むマーキングを形成するステップと
、ユーザがその手で、指の一つを、ユーザが入力を希望している所望の原文要素
に対応したマーキングが施されているパッド面の第１の領域にタッチし、略同時
に、その手のうちの他の指で、第１の領域に対して所定の位置を占めることによ
って、ユーザにより特定されるパッド面の第２の領域にタッチするステップと、
ユーザによりタッチされた第１の領域および第２の領域を検出するステップと、
所望の原文要素を入力するステップとを備えている。本発明の他の態様によれば
、電子装置に情報を入力する入力装置は、以下の内部にて関連する組み合わせを
備えている。すなわち、タッチセンサアレイと関連して形成されたタッチパッド
面と、当該パッド面に対して形成されたマーキングであって、原文要素を含むマ
ーキングと、タッチセンサアレイと接続され、当該タッチセンサアレイからの静
電容量測定データを受理する集積回路コントローラと、タッチパッド面上の複数
の領域をタッチしたことによるあるタッチパターンを検出するとともに、当該あ
るタッチパターンに応答して、電子装置に入力するために、当該あるタッチパタ
ーンに対応する原文要素を伝達するための処理手段とを備えている。本発明にか
かる入力システムにおいて用いられるマーキングは、通常の電話にあるキーパッ
ドに施されたものの組み合わせであり、慣れやすくかつ覚えやすいのが好ましく
、かつ、有利である。本発明の他の態様は添付した請求の範囲に記載されている
。
第１図は、従来の入力装置の一例を示すブロックダイヤグラムである。
第２図は、第１図の入力装置の潜在的に存在する、より大きなジェスチャの組
に含まれるジェスチャの組を示すブロックダイヤグラムである。
第３図は、本発明にかかる入力装置の一例のレイアウトを示すブロックダイヤ
グラムである。
第４図は、本発明にて使用され得る第２世代タッチパッドの概略図である。
第５図は、本発明の第１実施例にかかる入力装置のブロックダイヤグラムであ
る。
第６図は、本発明の第２実施例にかかる入力装置のブロックダイヤグラムであ
る。
第７図は、第５図および第６図の処理手段の、より詳細なブロックダイヤグラ
ムである。
第８図は、第７図の処理手段により実行されるワンタッチ処理を示すフローダ
イヤグラムである。
第９図は、第７図の処理手段により実行されるツータッチ処理を示すフローダ
イヤグラムである。
第１０図は、第８図の処理に引き続いてなされる「ワンタッチ」タッチ変形処
理を示すフローダイヤグラムである。
第１１図は、第９図の処理に引き続いてなされる「ツータッチ」タッチ変形処
理を示すフローダイヤグラムである。
本発明にかかる入力装置、方法およびシステムは、商晶名ＴｒａｃＫｅｙ（登
録商標）の下で商品化されている。これは、従来のタッチパッドとして、指示し
た指をトラッキングする能力および情報をキー入力する能力の二つの能力に関連
している。従来の入力装置とは異なり、本発明にかかる入力装置においては、二
つの“インジケータ”すなわち親指と中指（或いは人差し指）が用いられて、ツ
ータッチ(two-touch)パターン或いはコードを形成する。二つのインジケータの
位置は重要である。さらに、キャラクタ／コマンドは、タッチ面に映写つまり表
示され、記憶や外部リファレンスの必要性をなくしている。キャラクタ／コマン
ドは、一度に表示され、独立したモードやキャラクタのグループ分けなどが存在
しないのが好ましい。
本発明にかかる入力装置の外観を第３図に示す。約２．６ｃｍ×２．６ｃｍと
いう従来の入力装置の最小レイアウト領域（基本インジケータの領域のみ）と比
較すると、本発明にかかる入力装置のレイアウトは、約５．２ｃｍ×３．９ｃｍ
を占めている。しかしながら、典型的なコンピュータキーボードに見出される殆
どないし全ての印(indicia)を明瞭にみることができる。
本発明にかかる入力装置においては、ツータッチコードは、単純な取り決めに
したがって形成される。文字に関して、中指は、文字が表されているキーにタッ
チする。文字が、そのキー上の第１の文字、第２の文字或いは第３の文字の何れ
であるかにしたがって、親指は下の第１１、第２或いは第３の列にあるキーにタ
ッチする。最下部の列のキーには文字が存在しない。
句読点およびコマンドに関して、親指は、すぐ下の列のキーにタッチする代わ
りに、一度（或いは二度）離して、ある列の第１、第２或いは第３のキーにタッ
チする。第１の列は第３の列と組になり、第２の列は第４の列と組になり、かつ
、第４の列は第１の列と組になっている。したがって、第３図の例においては、
“！”を入力するためには、指（中指や人差し指）で１を押すとともに、親指で
７を押す。また、“％”を入力するためには、指（中指や人差し指）で５を押す
とともに、親指で０を押す。最下部の列の場合に、“）”を入力するためには、
親指で＃を押して、指（中指や人差し指）で１を押す。
タッチトーンのキーパッドと同様に一つだけタッチすることにより数字が入力
される。
本発明にかかる入力システム（入力装置）の効果の多くは、“タッチ変形(tou
chinflection)”の使用、すなわち、最小限の努力を付加することによりわずか
にタッチを変化させて、付加的な情報を伝達することに起因している。無限に存
在する可能性があるタッチ変形の中で、以下のタッチ変形が特に有用であること
が見出された。すなわち、“プレス(press)、ピック(pick)、ロール(roll)”お
よび“ワッグル(振り：waggle)”である。これらタッチ変形は以下のように用い
られる。
・“キャップをプレスする(Press a Cap)”：これは、通常の圧力より大き
な圧力を加えることによって大文字による文字を特定する。現在のキーパッ
ドは、圧力の程度を検出できるようになっている。同様に、キー上の二番目
の
段にある句読点のシンボルは、圧力を増大させながら加えることにより特
定される。
・“スペースをピックする(Pick a Space)”：これは、コードを解放すると
きに、下向きに、指でパッドをわずかに撫でる(stroke)ことにより生じ、次
にスペースがくることを示す。通常の句読点を示すために、他の同様な変形
を利用しても良い。これら変形には、コードの解放中に、指（中指や人差し
指）でわずかに上向きに撫でたり、親指でわずかに右向きに撫でたり、或い
は、親指でわずかに左向きに撫でたりすることが含まれる。
・“連字（ダイグラフ）をロールする(Roll a Digraph)”（つまりファンク
ションキー）：これは、コードを完全に解放する前に、指（中指や人差し指
）をわずかに右向き或いは左向きに転がすことにより、コード化された文字
から始まる二つの連字の一方を指示する。ダイグラフは、たとえば“ｔｈ”
のような、普通の二文字の組み合わせである。或いは、これは、あるタッチ
を数字０〜９に加えながら、指（中指や人差し指）をわずかに右向きに転が
すことにより対応する機能を指示する。番号＋１０に対応するファンクショ
ンキーを示すには、指（中指や人差し指）をわずかに左向きに転がす。
・“三重字（トライグラフ）をワッグルする(Waggle a Trigraph)”：これ
は、コードを完全に解放する前に、指（中指や人差し指）を右後方に転がし
、或いは、左後方に転がすことにより、コード化された文字から始まる二つ
のトライグラフの一方を指示する。
他のタッチパターンは、リターンやタブを設けるために用いられる。ある実施
例では、親指のみを着けることにより、リターンを入力する。”指紋（中指や人
差し指の指紋）”と比較して、“親指の指紋”は異なるサイズおよび形状を備え
ているため、このジェスチャは、数字を入力するために用いられる単一の指（中
指や人差し指）のタッチとは区別され得る。さらに好ましい実施例においては、
同様に、たとえば、親指を着けて、さらにこの親指で右に撫でることにより、タ
ブを示すことができる。
通常のように、スペースが特定の句読点に続く場合には、スペースを自動的に
入力するのが好ましい。利便のために、二つの別個の“．”キャラクタが、従来
のピリオドのため、および、新たにポピュラーとなった、Ｅメールやウェブペー
ジアドレスに見出される“ドット”のために設けられる。これら二つは、たとえ
ば、ピリオドには黒、ドットには赤というように、色により可視的に識別できる
のが好ましい。第３図の実施例では、赤いドットが５のキーのパッド中央に位置
している。所望であれば、赤色のドットはわずかに持ち上がっており、触感によ
る位置情報をユーザに与えても良い。
また、カーソルキーが設けられていても良い。第３図を参照すると、装置の各
縁部に沿った小さな矢印、各縁部に沿った二つの矢印が現れていることに留意さ
れたい。単一の指が矢印の一方にタッチしたときに、装置は、カーソルキ一入力
としてこのタッチを認識する。矢印の方向にしたがって、カーソルは、上向き、
下向き、右向き或いは左向きに、間隔をなして配置されている。或いは、（テキ
ストカーソルが現在のところ表示されてない場合には）、カーソルの代わりに、
電子装置にて実行されているプログラムの現在の内容にしたがって、カーソルキ
ーによる入力がスクロールボタンの入力として解釈され、ディスプレイの画面を
上向き、下向き、右向き或いは左向きにスクロールしても良い。
カーソルキーの入力は、装置内で、二つの同様なタイプの入力から区別される
。カーソルキーの入力は、単一のタッチを用いる点で、数字の入力に類似してい
る。しかしながら、数字の入力の場合に、単一のタッチの中心(centroid)は、数
字０〜９に対応するキー内に正面に位置するように求められる。また、“境界(b
order)”にある原文要素(逐語要素：textual element)を入力するための準備が
なされる。この要素は、しばしば、独立したタッチのジェスチャによるタッチ変
形により入力されるであろう。第３図において、これら境界原文要素は、スペー
ス、ピリオド、カンマおよびセミコロンを含む。境界原文要素の入力は、タッチ
変形というよりもむしろ直接的でもあり、（矢印には触れずに）所望の原文要素
の境界領域に単一のタッチをなすことにより実現される。したがって、第３図の
例においては、スペースは、スターキー、０キー或いはポンドキーの何れかの下
側中央の境界領域にタッチすることにより入力される。ピリオドは、１キー、２
キーおよび３キーの何れかの上側中央の境界領域にタッチすることにより入力さ
れる。カンマは、右側中央の境界領域にタッチすることにより入力され、セミコ
ロンは、左
側中央の境界領域にタッチすることにより入力される。
好ましい実施例において、本発明にかかる入力装置は、標準の第２世代（Ｇ２
）タッチパッド或いはタッチスクリーン装置と、カスタムドライバソフトウェア
とにより実現される。適切なＧ２タッチパッドの一例は、Logitech社のＴＰ２タ
ッチパッドである。
ＴＰ２タッチパッドの作動の基本原理は、第１世代のものと同じままであり、
これは、特許文献たとえば米国特許第5,543,588号に詳細に記載されている。こ
の特許は引用によりここに取り込まれている。しかしながら、第１世代のタッチ
パッドが幅広くアナログの前処理を用いているのに対して、ＴＰ２タッチパッド
はディジタルアプローチをとっている。したがって、直交アレイの導体からの静
電容量測定データがディジタル化され、マイクロプロセッサやその均等物に直接
入力される。略２インチ×２インチの寸法を有するあるタッチパッドでは、合計
で４２の別個の静電容量が測定され、ディジタル化され、かつ、マイクロプロセ
ッサに入力される。マイクロプロセッサはファームウェアを利用して、種々の平
滑アルゴリズムやトラッキングアルゴリズムなどを実行する。
たとえば米国特許第5,192,862号に記載されたタッチスクリーンのような、他
のＧ２タッチ装置と異なり、ＴＰ２タッチパッドは、ビットマップのタッチ画像
を形成しない。Ｘタッチ座標データおよびＹタッチ座標データが与えられるが、
これらデータはＸおよびＹには関連しない。したがって、あるタッチパターンが
潜在的に混同する可能性がある。第４図を参照すると、Ｘ方向およびＹ方向の各
々に延びる多数の導体を有するタッチセンサアレイの単純な概略が示されている
。タッチセンサアレイには、二つの異なる「ツータッチ」タッチパターンが重ね
られている。その一方を実線にて示し、他方を破線にて示す。タッチパッドの縁
部には二つの波形が示されている。一方はＸ方向の導体を横切る静電容量の変化
を示し、他方はＹ方向の導体を横切る静電容量の変化を示す。二つの異なるタッ
チパターンは潜在的には同一の波形を与えることに留意すべきである。
本発明にかかる入力システムにおいては、「ツータッチ」コードが、指（中指
や人差し指）および親指を用いて形成される。親指にてタッチセンサに与えられ
る静電容量の総計および空間的分布は、指（中指や人差し指）にてタッチセンサ
に与えられる静電容量の総計および空間的分布と異なる。親指によるタッチは、
かなり大きいピークとかなり広いベースとを有するパルス波形により特徴付けら
れる。したがって、二つの異なるタッチパターンは、ソフトウェア／ファームウ
ェアにより、或いは所望であれば、ハードウェアにより識別され得る。
第５図を参照すると、本発明の第１実施例にかかる入力装置５００のブロック
ダイヤグラムが示されている。タッチセンサアレイ５０１は、マイクロプロセッ
サ５０３或いはその均等物に接続されている。また、タッチセンサアレイおよび
マイクロプロセッサは、Ｇ２タッチパッドつまりタッチスクリーン５１０を表し
ている。このタッチパッドつまりタッチスクリーンにおいては、未加工のセンサ
データがディジタル化され、処理され或いは外部装置と通信する場合にマイクロ
プロセッサに入力される。本発明の開示によれば、マイクロプロセッサ５０３に
は、本発明にかかる入カシステムにしたがった種々のタッチのジェスチャを認識
するための処理手段５０５、たとえば、ファームウェアが設けられている。マイ
クロプロセッサ５０３は、電子装置５２０に接続され、位置情報、コマンドおよ
び原文情報(textual information)を含む情報を、電子装置に入力する。第５図
の実施例においては、処理手段５０５は、タッチパッドつまりタッチスクリーン
５１０のマイクロプロセッサ５０３にアクセス可能で、かつ、マイクロプロセッ
サ５０３にて実行されるように配置されている。次いで、処理結果は外部装置５
２０に送信される。
第６図を参照すると、処理手段６２５は、代わりに、電子装置６２０のマイク
ロプロセッサとアクセス可能で、かつ、マイクロプロセッサにて実行できるよう
になっている。たとえば、処理手段６２５は、タッチパッドつまりタッチスクリ
ーン６１０用のカスタムソフトウェアドライバの形態をなすことができる。この
実施例においては、マイクロプロセッサ６０３は、未加工の測定データを、処理
手段６２５にて処理するために電子装置６２０に送信する。次いで、処理手段6
２５は、電子装置６２０内の他の要素に、処理結果を伝える。
処理手段５０５の論理構造を、第７図により詳細に示す。タッチセンサデータ
は、種々のプログラムセグメントに入力される。一方のセグメント７１０は、ワ
ンタッチ処理を実行し、他方のセグメント７２０は、ツータッチ処理を実行する
。
所望であれば、第３のセグメント７３０を、スリータッチ処理を実行するために
設けても良い。ワンタッチおよびツータッチ（所望であればスリータッチ）の処
理結果は、さらに処理を施すためにタッチ変形セグメント７４０に与えられる。
タッチ変形処理の結果が、有効なタッチのジェスチャを認識するものである場合
には、タッチのジェスチャはプロトコルセグメント７５０に伝達され、電子装置
に伝えられる。処理されたトラックデータおよびポインティングデータも、プロ
トコルセグメント７５０に入力される。処理されたトラックデータは、現在の習
慣にしたがって従来の手段７６０により作成され得る。
処理手段６２５の場合には、タッチパッドつまりタッチスクリーン６１０と電
子装置６２０との間のプロトコル層には、電子装置６３０に入力すべき、未加工
の静電容量データおよび処理されたトラッキングデータが与えられる。未加工の
静電容量データおよびトラッキングデータは、電子装置６２０内で処理され、こ
の処理結果が電子装置６２０内の他の要素、たとえば、デバイスオペレーティン
グシステムに伝えられる。
第７図を参照すると、ワンタッチ処理セグメントおよびタッチ変形処理セグメ
ントでは、種々のサブプロセスが呼び出される。より詳細には、ワンタッチ処理
セグメント７１０には、親指のタッチを検出するサブプロセス７１３と、矢印上
のタッチを検出する他のサブプロセス７１５とが示されている。タッチ変形処理
セグメント７４０には、付加的な圧力を検出するサブプロセス７４１と、ロール
(roll)のジェスチャを検出するサブプロセス（７４３）、ワッグル(waggle)のジ
ェスチャを検出するサブプロセス（７４５）がそれそれ示され、また、特に親指
のストロークを検出するサブプロセス７４７および他のストロークの変形を検出
するサブプロセス７４９が示されている。
第８図を参照すると、「ワンタッチ」タッチ処理のフローダイヤグラムが示さ
れている。前述したように、単一のタッチの処理は、親指のみ或いは指（人差し
指や中指）のみによるものを含む。タッチが親指による場合に（８０１）、ルー
チンは、親指が右側に所定の最小量だけ動いたかどうかを調べる（８０３）。こ
のチェックは、親指のタッチが続く限り、続けられる（８０５）。親指が右側に
動いた場合には、タブが入力され（８０７）、ルーチンはリターンする。そうで
ない場合には、キャリッジリターンが入力され（８０９）、ルーチンはリターン
する。
これに対して、タッチが指（人差し指や中指）のタッチであった場合に、ルー
チンは、タッチの中心(centroid)が単一のキーの中央領域内にあるかどうかを調
べる（８１１）。そうであれば、タッチ変形ルーチンにより引き続き変化する場
合を除き、タッチされたキーごとに、数字０〜９、アスタリスク或いはポンドサ
インの何れか一つが入力される（８１３）。これに引き続いてタッチ変形ルーチ
ンの処理がポイントＡから始まる。
タッチが矢印の何れかの上にあった場合に（８１５）、タッチされた矢印ごと
に、カーソルキーコマンドが入力される（８１７）。次いでルーチンはリターン
する。
ブロック８１９に見られるように、タッチが、タッチパッドの境界領域の上（
ただし矢印上ではない）にあった場合に、境界原文要素（たとえば、スペース、
ピリオド、カンマ、セミコロン）が、どの境界領域にタッチしたかにしたがって
入力され得る（８２１）。その後にルーチンはリターンする。
「ツータッチ」タッチ処理は、単純で予想可能なものである。第９図に示すよ
うに、原文要素／コマンドは、タッチ変形ルーチンにより引き続いて変化する場
合を除き、タッチされたキーの組み合わせごとに入力される。これに引き続いて
タッチ変形ルーチンの処理がポイントＢにて始まる。
第１０図を参照すると、「シングルタッチ」タッチ変形処理はポイントＡにて
始まる。まず、ルーチンは、キー０〜９の何れかがタッチされ続けているかどう
かを調べる（１００１）。そうでなければルーチンはリターンする。そうであれ
ば、ルーチンはロールをチェックする。ロールが検出された場合に（１００３）
、タッチされたキーおよびロールの方向（右または左）ごとにファンクションキ
ーコマンドが入力される（１００５）。次いでルーチンはリターンする。最後に
、ロールが検出されない場合、ロールの場合よりも速く動く、および／または、
ロールの場合よりも遠くに動くようなストローク変形を調べる。ストローク変形
が検出された場合に（１００７）、境界原文要素（たとえば、スペース、ピリオ
ド、カンマ、セミコロン）が、タッチされた境界領域にしたがって入力される（
１０
０９）。次いでルーチンはリターンする。ストローク変形が検出されなかった場
合には、もはやタッチされ続けていない状態になるまで、ルーチンは、上述した
処理を繰り返す。
第１１図を参照すると、「ツータッチ（ダブルタッチ）」タッチ変形処理がポ
イントＢにて始まる。まず、ルーチンは、タッチされ続けているかどうかを調べ
る（１１０１）。そうでなければルーチンはリターンする。そうであれば、ルー
チンは押圧（プレス）、すなわち、付加的に増大された圧力が加えられたタッチ
を調べる。押圧（プレス）が検出された場合に（１１０３）、大文字による文字
或いは上側の段の句読点マーク／コマンドが、タッチされた組み合わせごとに入
力され（１１０５）、次いで、ルーチンはリターンする。押圧（プレス）が検出
されなかった場合には、ルーチンはロールを調べる。ロールが検出された場合に
（１１０７）、ルーチンは、さらに、タッチされつづけているかどうかを調べる
（１１０９）。そうでなければ、タッチされたキーおよびロールの方向（右また
は左）ごとに連字（ダイグラフ）が入力され（１１１１）、次いでルーチンはリ
ターンする。タッチされ続けていた場合には、ルーチンはワッグル(waggle)を調
べる。ワッグルが検出された場合に（１１１３）、タッチされたキーおよびワッ
グルの初期方向（右または左）ごとに、三重字が入力され（１１１５）、次いで
ルーチンはリターンする。そうでなければ、タッチされつづけた状態でなくなる
か或いはワッグルが検出されるまで、ルーチンのループは戻る。最後に、ロール
が検出されなかった場合に（１１０７）、ルーチンは、ロールの場合よりも速く
動く、および／または、ロールの場合よりも遠くに動くようなストローク変形を
調べる。ストローク変形が検出された場合に（１１１７）、境界原文要素（たと
えば、スペース、ピリオド、カンマ、セミコロン）が、タッチされた境界領域に
したがって入力される（１１１９）。次いでルーチンはリターンする。ストロー
ク変形が検出されなかった場合には、ルーチンは、再度、タッチされ続けている
かどうかを調べ、もはやタッチされ続けていない状態になるまで、ルーチンは、
上述した処理を繰り返す。
原文情報(textual information)に関する限り、基本的には、本発明は英語の
アルファベットに基づく原文情報を入力するように記載されている。本発明は、
中
国語、日本語、韓国語などの表意言語において用いられる「ストローク」に基づ
き原文情報を入力するために、同様に用いることができる。単一のキーにて異な
る段(tier)の語根、部首(radical)を区別するために、（圧力の代わりに）第２
の指を用いることも有利である。キャラクタの通常の書き順(stroke order)にて
、個々のストロークを入力することにより、キャラクタを入力しても良い。
当業者は、その精神および基本的な特徴から逸脱することなく、他の特定の形
態にて本発明を実施することができるであろう。したがって、本発明の記載は、
すべての意味で例示的であり、限定的ではない。本発明の範囲は請求の範囲にて
示され、その意味および均等物の範囲に含まれるすべての変更は、請求の範囲に
含まれることが意図される。The present invention relates to an input device for an electronic device such as a computer, and more particularly, to a multi-touch input device. The rapid advancement of computer and electronic technology in recent years has revealed the limitations of computer keyboards as the primary input device for computer and electronic devices. As a result, more attention is being paid to other input devices. A potential technology for a multi-touch input device includes a capacitive touchpad. Touchpads have become popular with companies such as Cirque, Apple Computer, Alps Electric USA, Synaptics, and more recently Logitech. Approximately 80% of recently manufactured laptop computers are equipped with a touchpad. There is a trend in the touchpad industry to make touchpads more than just points. At the same time, the computer industry recognizes the need for new input devices, and furthermore, gestures to meet that need (hand movements that provide more information than just finger strokes using keys). Some are aware of the possibilities. For example, the need for new input devices has been driven by the recent emergence of text entry systems. In this text input system, a telephone keypad is used, a key with a large number of characters is pressed, and then 1, 2 or 3 is pressed, and the first, second or third key on the key is pressed. Characters are specified. A variant is made by pressing the same key once, twice or three times, and the first, second or third character on that key is specified. Of particular interest regarding the potential of new input devices is Logitech's second generation TP2® touchpad. With relatively small firmware changes, the touchpad provides raw capacitance measurement data to the outside world. This raw data can be handled in various ways to achieve enhanced functionality. Also of interest are various display-based touch sensor devices, for example, as described in US Pat. No. 5,194,862. The above patents are incorporated herein by reference. Another existing conventional multi-touch input system is known as the Dat0® input system. The purpose of this conventional input system is to provide a very compact touch detection input device for inputting command / control information and / or text into a digital electronic device. Compactness is key to the idea for small portable electronic devices. (This is more fully described at www.dato.com.) The Dat0Pad® input system is a touchpad or other device using a conventional Dat0 input system. This conventional input system is described in US Pat. No. 5,203,704, which is incorporated herein by reference. In one embodiment of the conventional input device, a layout 100 as shown in FIG. 1 is provided. The index finger (basic indicator) touches the area 101 by pressing one of the areas 1 to 9. The thumb (first auxiliary indicator) touches the area 103 if appropriate. The middle finger (second auxiliary indicator) touches the area 105 if appropriate. For each position 1-9 of the index finger, a combination of four "auxiliary indicators" is possible. That is, there are thirty-six separate gestures overall because there are only the thumb, only the middle finger, both the thumb and middle finger, or nothing. Furthermore, according to this conventional input system, a set of gestures (gestures) of Dat0set (registered trademark) is composed of a set of eight groups of 36 gestures. Different groups are selected simply by tapping once or twice, with different combinations of auxiliary indicators, resulting in distinct gestures in 288 mode. The set of gestures may be considered, for example, a set of “fonts”. Each font can also be thought of as a grid of four "tic-tac-toe" superimposed on each other. As an example, a tic-tac-toe grid is drawn. For example, an "alpha" font is represented as shown in FIG. Within each tic-tac-toe grid, each box corresponds to one of the positions of the basic indicators numbered 1-9. While entering a word, the index finger slides from the numbered position to the numbered position while maintaining contact with the pad. Space is indicated by lifting. Details about how case and punctuation can be given, or how to give case or punctuation, are not currently available. According to conventional input systems, except for cases and punctuation, enter the following sentence: "Gee, this is a great new input device !." be able to. Here, X is used to indicate an action required for each character, and MF indicates the middle finger. In prior art input systems, the index finger position is important, as described above. However, it is only important that the thumb and forefinger are present (not position). In some embodiments, this allows conventional input devices to be used on very small devices. However, this may allow the user to memorize the mapping between gestures and characters / commands, and even so, the user may refer to an external reference, such as a display or reference card. To display the mapping, it is necessary to add a display area. Referencing a reference card is inconvenient for the user. Thus, despite the potential of conventional input devices, there is a need for improved input systems, particularly those that minimize the need for storage on the part of the user. In general, the present invention provides a multi-touch input device that minimizes the need for storage on the part of the user. According to one aspect of the present invention, a method for inputting information to an electronic device using a pad having a pad surface and distinguishing a number of simultaneous touches comprises the following steps. In other words, the steps of the method include forming a marking on the pad surface that includes a textual element, wherein the user wants to input one of his fingers with his hand. Touching the first area of the pad surface on which the marking corresponding to the desired original text element is made, and occupying a predetermined position with respect to the first area with another finger of the hand at substantially the same time. Touching a second area of the pad surface specified by the user, detecting the first area and the second area touched by the user, and inputting a desired original text element It has. According to another aspect of the present invention, an input device for inputting information to an electronic device comprises the following internally related combinations. That is, a touch pad surface formed in association with the touch sensor array, a marking formed on the pad surface, a marking including a textual element, and a touch sensor array connected to the touch sensor array. An integrated circuit controller that receives the capacitance measurement data, detects a certain touch pattern by touching a plurality of regions on the touch pad surface, and inputs the electronic device in response to the certain touch pattern. And processing means for transmitting an original sentence element corresponding to the certain touch pattern. The markings used in the input system according to the present invention are a combination of those applied to a keypad of a normal telephone, and are preferably and advantageously easy to use and easy to learn. Other aspects of the invention are set forth in the appended claims. FIG. 1 is a block diagram showing an example of a conventional input device. FIG. 2 is a block diagram showing a set of gestures included in a potentially larger set of gestures of the input device of FIG. FIG. 3 is a block diagram showing a layout of an example of the input device according to the present invention. FIG. 4 is a schematic diagram of a second generation touchpad that can be used in the present invention. FIG. 5 is a block diagram of the input device according to the first embodiment of the present invention. FIG. 6 is a block diagram of an input device according to a second embodiment of the present invention. FIG. 7 is a more detailed block diagram of the processing means of FIGS. 5 and 6. FIG. 8 is a flowchart showing one-touch processing executed by the processing means of FIG. FIG. 9 is a flow diagram showing a two-touch process executed by the processing means of FIG. FIG. 10 is a flow diagram showing "one-touch" touch deformation processing performed subsequent to the processing of FIG. FIG. 11 is a flow diagram showing a “two-touch” touch deformation process performed subsequent to the process of FIG. The input device, method and system according to the present invention are commercialized under the trade name TracKey (registered trademark). This is related to two abilities of a conventional touchpad: the ability to track the indicated finger and the ability to key in information. Unlike conventional input devices, in the input device of the present invention, two "indicators" are used, the thumb and the middle finger (or the index finger) to form a two-touch pattern or code. The position of the two indicators is important. In addition, characters / commands are projected or displayed on the touch surface, eliminating the need for storage and external references. Preferably, the characters / commands are displayed at once and there are no independent modes or character groupings. FIG. 3 shows the appearance of the input device according to the present invention. Compared to the minimum layout area of the conventional input device of about 2.6 cm × 2.6 cm (only the area of the basic indicator), the layout of the input device according to the present invention occupies about 5.2 cm × 3.9 cm 2. . However, most or all indicia found on a typical computer keyboard can be clearly seen. In the input device according to the present invention, the two-touch code is formed according to a simple rule. For characters, the middle finger touches the key on which the character is represented. Depending on whether the character is the first, second or third character on that key, the thumb touches the key in the eleventh, second or third row below. There are no characters in the keys in the bottom row. With respect to punctuation and commands, the thumb separates once (or twice) and touches the first, second or third key in a row, instead of touching the key in the row immediately below. The first column is paired with the third column, the second column is paired with the fourth column, and the fourth column is paired with the first column. Therefore, in the example of FIG. 3, in order to input "!", 1 is pressed by the finger (the middle finger or the index finger), and 7 is pressed by the thumb. To input “%”, press 5 with a finger (middle finger or index finger) and press 0 with a thumb. To enter ")" in the bottom row, press # with your thumb and 1 with your finger (middle finger or index finger). As with a touchtone keypad, a number is entered by touching only one. Many of the effects of the input system (input device) according to the present invention include the use of "tou chinflection", i.e., changing the touch slightly with minimal effort and providing additional information. Is due to the transmission. Among the touch deformations that can exist infinitely, the following touch deformations have been found to be particularly useful. That is, "press, pick, roll" and "waggle". These touch deformations are used as follows. • "Press a Cap": This identifies uppercase letters by applying greater than normal pressure. Current keypads can detect the degree of pressure. Similarly, the punctuation symbol in the second row on the key is identified by applying increasing pressure. • “Pick a Space”: This is caused by a slight stroke of the pad with your finger, downwards, when releasing the chord, indicating that space is next available. Other similar variants may be used to indicate normal punctuation. These deformations include a slight upward stroke with the finger (middle or index finger), a slight upward stroke with the thumb, or a slight upward stroke with the thumb while the cord is released. Is included. • "Roll a Digraph" (or function key): This involves rolling the finger (middle or index finger) slightly to the right or left before releasing the chord completely. Indicates one of the two consecutive characters starting from the coded character. A digraph is an ordinary two-letter combination, for example, "th". Alternatively, it indicates the corresponding function by rolling a finger (middle finger or index finger) slightly right while adding a touch to the digits 0-9. Roll the finger (middle finger or index finger) slightly left to indicate the function key corresponding to number +10. • "Waggle a Trigraph": This is achieved by rolling the finger (middle finger or index finger) to the right back or left back before releasing the cord completely. , One of the two trigraphs starting with the coded character. Other touch patterns are used to provide returns and tabs. In one embodiment, the return is entered by wearing only the thumb. Since “thumbprint” has a different size and shape compared to “fingerprint (fingerprint of middle finger or index finger)”, this gesture can be performed with a single finger (such as middle finger or middle finger) used to enter numbers. It can be distinguished from the touch of the index finger). In a further preferred embodiment, the tabs can likewise be indicated, for example, by putting on a thumb and further stroking the thumb to the right. As usual, if the space follows a particular punctuation mark, it is preferred that the space be entered automatically. For convenience, two separate "." Characters are provided for the traditional period and for the newly popular "dot" found in email and web page addresses. Preferably, these two can be visually distinguished by color, for example, black for periods and red for dots. In the embodiment of FIG. 3, the red dot is located at the center of the pad of the 5th key. If desired, the red dots are slightly raised and the user may be provided with tactile location information. Further, a cursor key may be provided. Referring to FIG. 3, note that a small arrow appears along each edge of the device, and two arrows along each edge. When a single finger touches one of the arrows, the device recognizes this touch as a cursor key input. According to the direction of the arrow, the cursors are spaced upward, downward, rightward or leftward. Alternatively, if the text cursor is not currently displayed, instead of the cursor, the cursor key input is interpreted as scroll button input according to the current content of the program running on the electronic device. Then, the screen of the display may be scrolled upward, downward, rightward, or leftward. Cursor key inputs are distinguished in the device from two similar types of inputs. Cursor key input is similar to numeric input in that it uses a single touch. However, in the case of numeric entry, the center of a single touch is required to be located in front of the keys corresponding to the digits 0-9. Also, a preparation is made for inputting a textual element at the “border”. This element will often be entered by touch deformation with independent touch gestures. In FIG. 3, these boundary text elements include spaces, periods, commas, and semicolons. The input of the boundary source element is also direct, rather than touch deformation, and is achieved by making a single touch on the boundary area of the desired source element (without touching the arrow). Thus, in the example of FIG. 3, the space is entered by touching the lower central border area of either the star key, the zero key, or the pound key. The period is input by touching the upper central boundary area of any of the 1 key, 2 key and 3 key. The comma is input by touching the right center boundary area, and the semicolon is input by touching the left center boundary area. In a preferred embodiment, the input device according to the present invention is implemented by a standard second generation (G2) touchpad or touchscreen device and custom driver software. One example of a suitable G2 touchpad is the Logitech TP2 touchpad. The basic principle of operation of the TP2 touchpad remains the same as that of the first generation, which is described in detail in the patent literature, for example, US Pat. No. 5,543,588. This patent is incorporated herein by reference. However, the TP2 touchpad takes a digital approach, whereas the first generation touchpads use a wide range of analog preprocessing. Thus, capacitance measurement data from the orthogonal array of conductors is digitized and input directly to a microprocessor or equivalent. For some touchpads having dimensions of approximately 2 inches by 2 inches, a total of 42 distinct capacitances are measured, digitized, and input to a microprocessor. The microprocessor executes various smoothing algorithms and tracking algorithms using firmware. Unlike other G2 touch devices, such as the touch screen described in US Pat. No. 5,192,862, the TP2 touchpad does not form a bitmap touch image. X touch coordinate data and Y touch coordinate data are provided, but these data are not related to X and Y. Thus, certain touch patterns can potentially be confused. Referring to FIG. 4, a simple schematic of a touch sensor array having multiple conductors extending in each of the X and Y directions is shown. Two different “two-touch” touch patterns are overlaid on the touch sensor array. One of them is indicated by a solid line, and the other is indicated by a broken line. Two waveforms are shown at the edge of the touchpad. One shows the change in capacitance across the conductor in the X direction, and the other shows the change in capacitance across the conductor in the Y direction. It should be noted that two different touch patterns potentially give the same waveform. In the input system according to the present invention, a "two-touch" code is formed using a finger (middle finger or index finger) and a thumb. The total and spatial distribution of capacitance given to the touch sensor by the thumb is different from the total and spatial distribution of capacitance given to the touch sensor by the finger (middle finger or index finger). Thumb touch is characterized by a pulse waveform having a fairly large peak and a fairly wide base. Thus, the two different touch patterns can be identified by software / firmware or, if desired, by hardware. Referring to FIG. 5, a block diagram of the input device 500 according to the first embodiment of the present invention is shown. Touch sensor array 501 is connected to microprocessor 503 or its equivalent. Also, the touch sensor array and the microprocessor represent a G2 touchpad or touchscreen 510. In this touchpad or touchscreen, raw sensor data is digitized, processed, or input to a microprocessor when communicating with external devices. According to the disclosure of the present invention, the microprocessor 503 is provided with processing means 505, for example firmware, for recognizing various touch gestures according to the input system according to the present invention. The microprocessor 503 is connected to the electronic device 520 and inputs information including position information, commands, and textual information to the electronic device. In the embodiment of FIG. 5, the processing means 505 is accessible to the microprocessor 503 of the touchpad or touchscreen 510 and is arranged to be executed by the microprocessor 503. Next, the processing result is transmitted to the external device 520. Referring to FIG. 6, the processing means 625 is alternatively accessible and executable by the microprocessor of the electronic device 620. For example, processing means 625 can take the form of a custom software driver for touchpad or touchscreen 610. In this embodiment, microprocessor 603 sends the raw measurement data to electronic device 620 for processing by processing means 625. Then, the processing means 625 transmits the processing result to other elements in the electronic device 620. The logical structure of the processing means 505 is shown in more detail in FIG. Touch sensor data is input to various program segments. One segment 710 performs one-touch processing, and the other segment 720 performs two-touch processing. If desired, a third segment 730 may be provided to perform a three-touch process. One-touch and two-touch (three-touch if desired) processing results are provided to the touch deformation segment 740 for further processing. If the result of the touch deformation process is to recognize a valid touch gesture, the touch gesture is communicated to the protocol segment 750 and communicated to the electronic device. The processed track data and pointing data are also input to the protocol segment 750. The processed track data may be created by conventional means 760 according to current practice. In the case of the processing means 625, the touchpad or touch screen 610 and the protocol layer between the electronic device 620 are provided with raw capacitance data and processed tracking data to be input to the electronic device 630. Can be The raw capacitance data and tracking data are processed in the electronic device 620, and the processing result is transmitted to other elements in the electronic device 620, for example, a device operating system. Referring to FIG. 7, in the one-touch processing segment and the touch deformation processing segment, various sub-processes are called. More specifically, the one-touch processing segment 710 includes a sub-process 713 for detecting a thumb touch and another sub-process 715 for detecting a touch on an arrow. The touch deformation processing segment 740 includes a sub-process 741 for detecting an additional pressure, a sub-process for detecting a roll gesture (743), and a sub-process for detecting a waggle gesture (745). In particular, a sub-process 747 for detecting a thumb stroke and a sub-process 749 for detecting other stroke deformations are shown. Referring to FIG. 8, there is shown a flow diagram of the "one touch" touch process. As described above, the processing of a single touch includes processing with only the thumb or only the finger (the index finger or the middle finger). If the touch is with the thumb (801), the routine checks whether the thumb has moved to the right by a predetermined minimum amount (803). This check continues as long as the thumb touch continues (805). If the thumb has moved to the right, a tab is entered (807) and the routine returns. Otherwise, a carriage return is input (809) and the routine returns. If, on the other hand, the touch was a finger (forefinger or middle finger) touch, the routine checks to see if the center of the touch is within the central area of a single key (811). If so, one of the digits 0-9, asterisk or pound sign is entered for each touched key, unless otherwise changed by the touch transformation routine (813). Following this, the processing of the touch transformation routine starts from point A. When the touch is on any of the arrows (815), a cursor key command is input for each touched arrow (817). Then the routine returns. As seen in block 819, if the touch was over a touchpad border area (but not on an arrow), the border text element (eg, space, period, comma, semicolon) is May be input (821). Thereafter, the routine returns. The "two touch" touch process is simple and predictable. As shown in FIG. 9, the original sentence element / command is input for each key combination touched, unless it is subsequently changed by the touch transformation routine. Following this, the processing of the touch transformation routine starts at point B. Referring to FIG. 10, the “single touch” touch transformation process begins at point A. First, the routine checks whether any of the keys 0 to 9 has been touched (1001). Otherwise, the routine returns. If so, the routine checks the role. When a roll is detected (1003), a function key command is input for each of the touched key and the roll direction (right or left) (1005). Then the routine returns. Finally, if a roll is not detected, look for stroke deformations that move faster than the roll and / or move farther than the roll. If a stroke deformation is detected (1007), a boundary text element (eg, space, period, comma, semicolon) is input according to the touched boundary region (1009). Then the routine returns. If a stroke deformation is not detected, the routine repeats the above-described processing until a state where touch is no longer continued. Referring to FIG. 11, the “two-touch (double touch)” touch deformation process starts at point B. First, the routine checks whether the touch is continued (1101). Otherwise, the routine returns. If so, the routine looks for a press, i.e., a touch with an additional increased pressure. If a press is detected (1103), uppercase letters or upper punctuation marks / commands are entered for each touched combination (1105), and then the routine returns. If no press is detected, the routine checks the roll. If a roll is detected (1107), the routine further checks whether the touch is continued (1109). Otherwise, a digraph is entered for each touched key and roll direction (right or left) (1111), then the routine returns. If so, the routine checks the waggle. If a waggle is detected (1113), a triplet is entered (1115) for each key touched and the initial direction (right or left) of the waggle, and then the routine returns. Otherwise, the routine loop returns until the touch is no longer maintained or the waggle is detected. Finally, if no roll is detected (1107), the routine looks for a stroke deformation that moves faster than roll and / or moves farther than roll. If a stroke deformation is detected (1117), a boundary original text element (eg, space, period, comma, semicolon) is input according to the touched boundary area (1119). Then the routine returns. If the stroke deformation is not detected, the routine checks again whether or not the touch is continued, and the routine repeats the above-described processing until the state where the touch is no longer continued. As far as textual information is concerned, basically the invention has been described as inputting textual information based on the English alphabet. The present invention can also be used to input textual information based on "strokes" used in ideographic languages such as Chinese, Japanese, and Korean. It is also advantageous to use a second finger (instead of pressure) to distinguish between different tier roots, radicals with a single key. The character may be input by inputting individual strokes in the character's normal stroke order. Those skilled in the art will be able to implement the invention in other specific forms without departing from its spirit and essential characteristics. Accordingly, the description of the present invention is illustrative in every sense and not restrictive. The scope of the invention is set forth in the appended claims, and all changes that come within the meaning and range of equivalents are intended to be covered by the appended claims.
─────────────────────────────────────────────────────
フロントページの続き
(31)優先権主張番号 ６０／０２５，９８２
(32)優先日 平成８年９月９日(1996．9．9)
(33)優先権主張国 米国（ＵＳ）
(81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，
ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ
Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ，ＵＳ────────────────────────────────────────────────── ───
Continuation of front page
(31) Priority claim number 60 / 025,982
(32) Priority date September 9, 1996 (September 9, 1996)
(33) Priority country United States (US)
(81) Designated countries EP (AT, BE, CH, DE,
DK, ES, FI, FR, GB, GR, IE, IT, L
U, MC, NL, PT, SE), JP, US