JP5705863B2 - マルチタッチスクリーンからのジェスチャ入力を一つのジェスチャ入力に結合する方法、システム及びコンピュータ可読記憶媒体 - Google Patents

Description

［関連出願の相互参照］
本出願は、２００９年１０月１５日に出願され、「マルチパネル電子デバイス」と題された、米国仮出願第６１／２５２，０７５号の優先権を主張し、その開示は、その全体が参照により本明細書に明示的に組み込まれる。

［技術分野］
本開示は、概して、マルチタッチスクリーン電子デバイスに関し、より具体的には、複数のタッチスクリーンからのタッチスクリーン入力を認識するシステム、方法、及びコンピュータ可読記憶媒体に関する。

技術の進歩は、より小さく、より強力なコンピューティングデバイスにつながった。例えば、現在、携帯無線電話、パーソナルデジタルアシスタント（ＰＤＡ）、小型、軽量で、ユーザが容易に持ち運ぶページングデバイス、などのワイヤレスコンピューティングデバイスを含む、様々な携帯型パーソナルコンピューティングデバイスが存在する。より具体的には、携帯電話やインターネットプロトコル（ＩＰ）電話などの携帯無線電話は、ワイヤレスネットワーク上で音声とデータパケットを通信することができる。さらに、多くのそのような携帯無線電話は、そこに組み込まれている他のタイプのデバイスを含む。例えば、携帯無線電話はまた、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、オーディオファイルプレーヤを含むことができる。また、このような無線電話は、インターネットにアクセスするために使用されることができるウェブブラウザアプリケーションなどのソフトウェアアプリケーションを含む実行可能命令を処理することができる。このように、これらの携帯無線電話は、重要なコンピューティング能力を含むことができる。

そのような携帯デバイスは、ソフトウェアアプリケーションをサポートすることができるとは言え、そのような携帯デバイスの有用性は、デバイスの表示スクリーンのサイズによって制限される。一般に、より小さな表示スクリーンは、デバイスが、より容易な携帯性と利便性のためのより小型の形状ファクタを持てるようにする。しかしながら、より小さい表示スクリーンは、ユーザに対して表示されることができるコンテンツの量を制限し、よって、携帯デバイスとのユーザの対話の豊かさを減らすことができる。

一実施形態によれば、マルチタッチスクリーンを含む電子デバイスで使用するための方法が開示されている。この方法は、電子デバイスの第１の表示面での第１のタッチスクリーンジェスチャを検出すること、電子デバイスの第２の表示面での第２のタッチスクリーンジェスチャを検出することと、及び、第１のタッチスクリーンジェスチャ及び第２のタッチスクリーンジェスチャが、第１及び第２の表示面上での一つの表示に影響を及ぼすシングルコマンドを表すことを識別することと、を含む。

別の実施形態によれば、装置が開示されている。この装置は、第１の表示面での第１のタッチスクリーンジェスチャを検出するように構成された第１のタッチセンシティブ入力機構を備える第１の表示面と、及び、第２の表示面での第２のタッチスクリーンジェスチャを検出するように構成された第２のタッチセンシティブ入力機構を備える第２の表示面と、を含む。この装置はまた、第１の表示面及び第２の表示面と通信しているデバイスコントローラを含む。該デバイスコントローラは、上記第１のタッチスクリーンジェスチャと第２のタッチスクリーンジェスチャとを、第１及び第２の表示面での一つの表示に影響を及ぼすシングルコマンドに結合する。

一実施形態によれば、コンピュータプログラムロジックを有形に記憶するコンピュータ可読記憶媒体が開示されている。このコンピュータプログラムロジックは、電子デバイスの第１の表示面での第１のタッチスクリーンジェスチャを認識するためのコードと、電子デバイスの第２の表示面での第２のタッチスクリーンジェスチャを認識するためのコードと、及び、第１のタッチスクリーンジェスチャ及び第２のタッチスクリーンジェスチャが、第１及び第２の表示面に表示された少なくとも一つのビジュアルアイテムに影響を及ぼすシングルコマンドを表すことを判別するためのコードと、を含む。

さらに別の実施形態によれば、電子デバイスが開示されている。この電子デバイスは、当該電子デバイスの第１の表示面での第１のタッチスクリーンジェスチャを検出するための第１の入力手段と、及び、当該電子デバイスの第２の表示面での第２のタッチスクリーンジェスチャを検出するための第２の入力手段と、を備える。この電子デバイスはまた、第１のタッチスクリーンジェスチャと第２のタッチスクリーンジェスチャとを、第１及び第２の表示面上の少なくとも一つの表示されたアイテムに影響を及ぼすシングルコマンドに結合するための、第１の入力手段及び第２の入力手段と通信している、手段を含む。

上記は、以下の詳細な説明が良く理解されるように、本開示の特徴と技術的な効果をかなり広く概説している。本開示の特許請求の範囲の主題を形成する追加の特徴及び効果は、以下に記述されるだろう。開示された概念及び特定の実施形態は、本開示の同じ目的を実施するための他の構造を変更する又は設計するための基礎として容易に利用されることができることは、当業者によって理解されるべきである。また、そのような等価な構造は、添付の特許請求の範囲に示されたような本開示の技術から逸脱しないことは、当業者によって理解されるべきである。その構成と動作の方法との両方に関して、本開示の特徴であると考えられている新規な特徴は、さらなる目的及び効果と一緒に、添付図面と関連して考慮されたとき以下の説明からより理解されるであろう。しかしながら、図面のそれぞれは、単に例示及び説明の目的のためだけに提供されたものであり、本開示の制限の定義として意図されていないことは、明示的に理解されるべきである。

本開示のより完全な理解のために、添付図面と関連してなされる以下の説明への参照が、今なされる。

図１は、電子デバイスの第１実施形態を示す図である。 図２は、完全に広げられた構成における図１の例示電子デバイスを示している。 図３は、図１の例示電子デバイスに含まれる処理ブロックの構成を示すブロック図である。 図４は、一実施形態に従って適合された図３の結合ジェスチャ認識エンジンの例示的な状態図である。 図５は、一実施形態による、シングルコマンドを表わすような、電子デバイスの複数の表示面での複数のタッチスクリーンジェスチャを認識する例示的な処理を示す図である。 図６は、図２のデバイスのマルチスクリーン上でジェスチャを入力する人間ユーザの手の一例を示す図である。

図１を参照すると、電子デバイスの第１の示された実施形態が描かれており、概して１００を振られている。該電子デバイス１０１は、第１のパネル１０２、第２のパネル１０４及び第３のパネル１０６を含む。上記第１のパネル１０２は、第１の折り畳み位置１１０で、第１のエッジに沿って、上記第２のパネル１０４に結合されている。上記第２のパネル１０４は、第２の折り畳み位置１１２で、上記第２のパネル１０４の第２のエッジに沿って、上記第３のパネル１０６に結合されている。上記パネル１０２、１０４及び１０６の各々は、液晶ディスプレイ（ＬＣＤ）スクリーンなどのビジュアル表示を提供するように構成された表示面を含む。上記電子デバイス１０１は、モバイルデバイス（例えば、スマートフォンや測位デバイス）、デスクトップコンピュータ、ノートパソコン、メディアプレーヤ、等々などの、タッチスクリーンデバイスの任意の種類のものでもあることができる。電子デバイス１０１は、ユーザが一つ以上のパネル１０２、１０４及び１０６にまたがる様々なタッチジェスチャを入力したとき、ユーザインターフェイスを自動的に調整したり、画像を表示したりするように構成される。

図１に示されるように、第１のパネル１０２と第２のパネル１０４とは、様々なデバイス構成を可能にするために、第１の折り畳み位置１１０で回転自在に連結されている。例えば、第１のパネル１０２及び第２のパネル１０４は、実質的に平坦な表面を形成するために表示面が実質的に同一平面となるように配置されることができる。別の例として、第１のパネル１０２と第２のパネル１０４とは、第１のパネル１０２の裏面が第２のパネル１０４の裏面に接触するまで第１の折り畳み位置１１０の回りを互いに相対的に回転されることができる。同様に、第２のパネル１０４は、第２のパネル１０４の表示面が第３のパネル１０６の表示面に接触する完全に折り畳まれた、閉じられた構成と、第２のパネル１０４と第３のパネル１０６とが実質的に同一平面となる完全に広げられた構成と、を含む様々な構成を可能にする、第２の位置１１２に沿って第３のパネル１０６に回転自在に結合される。

特定の実施形態では、第１のパネル１０２、第２のパネル１０４及び第３のパネル１０６は、一つ以上の物理的な折り畳まれた状態に手動で構成されることができる。複数の折り畳み可能構成に配置されることを電子デバイス１０１に許すことによって、電子デバイス１０１のユーザは、容易な操縦性と機能性のために小型のフォームファクタを持つように選択することができ、あるいは、リッチコンテンツを表示するため、及び広げられたユーザインターフェイスを介して一つ以上のソフトウェアアプリケーションとのより重要な相互作用を可能にするために、広げられた大型のフォームファクタを選択することができる。

完全に広げられたとき、電子デバイス１０１は、ワイドスクリーンテレビと同様のパノラマビューを提供することができる。完全に閉じた配置に折り畳まれたとき、電子デバイス１０１は、小型のフォームファクタを提供することができ、且つ、携帯電話と同様の簡略化ビューを提供することさえもできる。一般に、複数の構成可能なディスプレイ１０２、１０４及び１０６は、電子デバイス１０１がどのように折り畳まれたか即ち構成されたかに応じて、複数タイプのデバイスとして使用されることを電子デバイス１０１に許すことができる。

図２は、完全に広げた構成２００での図１の電子デバイスを描写している。第１のパネル１０２と第２のパネル１０４とは実質的に同一平面であり、且つ、第２のパネル１０４は第３のパネル１０６と実質的に同一平面である。パネル１０２、１０４及び１０６は、第１のパネル１０２、第２のパネル１０４及び第３のパネル１０６の表示面が広げられた３枚パネルの表示スクリーンを効果的に形成するように、第１の折り畳み位置１１０と第２の折り畳み位置１１２とで、接触していることができる。図示されているように、完全に広げられた構成２００においては、表示面の各々は、より大きな画像の一部分を表示するもので、それぞれ個々の表示面は、ポートレートモードでは上記より大きな画像の一部を表示し、上記より大きな画像は、ランドスケープモードでは有効な３板パネルスクリーンに亘って拡大される。あるいは、ここでは図示しないが、パネル１０２、１０４、１０６のそれぞれは、異なる画像または複数の異なる画像を表示することかでき、表示されるコンテンツは、ビデオ、静止画像、電子文書、等々であることができる。

以下の図に示されるように、パネル１０２、１０４、１０６のそれぞれは、それぞれのコントローラ及びドライバに関連付けられている。パネル１０２、１０４、１０６は、一つまたは複数のタッチジェスチャの形でのユーザからの入力を受け取るタッチスクリーンを含む。例えば、ジェスチャは、タッチスクリーンにより検出されることができ、且つ、ディスプレイ出力を制御するため、ユーザ選択を入力するため、等に使用されることができる、ドラッグ、ピンチ、ポイント、等を含む。様々な実施形態は、複数のパネルからの複数の独立したジェスチャを受け取り、複数パネルからのジェスチャの幾つかをシングルジェスチャに結合する。例えば、一つの指がパネル１０２上にあり且つ別の指がパネル１０４上にある場合のピンチジェスチャは、２つの独立したドラッグではなくて、むしろシングルピンチであるとして解釈される。他の例は、以下でさらに説明される。

本明細書での例示は、３枚パネルを持つデバイスを示しているが、実施形態の範囲はそれに限定されるものではないことに留意すべきである。例えば、本明細書に記載された概念が多種多様なマルチタッチスクリーンデバイスに適用できるように、実施形態は、２つ以上のパネルを持つデバイスで使用するために適合されることができる。

図３は、図１の例示電子デバイス１０１に含められた処理ブロックのブロック図である。該デバイス１０１は、３つのタッチスクリーン３０１〜３０３を含む。タッチスクリーン３０１〜３０３の各々は、それぞれのタッチスクリーンコントローラ３０４〜３０６に関連付けられており、それらタッチスクリーンコントローラ３０４〜３０６は、データ／制御バス３０７及び割り込みバス３０８を介して、デバイスコントローラ３１０と通信している。様々な実施形態は、集積回路間（Ｉ^２Ｃ）バス、または、一方のコンポーネントから他方へ制御及び／またはデータを転送するために既知である又は後に開発されることができるような他の接続のような、一つまたは複数のデータ接続を使用することができる。データ／制御信号は、データ／制御ハードウェアインタフェースブロック３１５を使用してインターフェースされる。

タッチスクリーン３０１は、タッチ、スライドモーション又はドラッグモーション、リリース、その他のジェスチャ、またはそれらの任意の組合せなどの、一つまたは複数のジェスチャに応じた第１の出力を生成するように構成された、タッチセンシティブ入力機構を含む又はそれに対応することができる。例えば、タッチスクリーン３０１は、抵抗性センシング、表面弾性波、容量性センシング、ひずみゲージ、光学的センシング、分散信号検出、等々のような一つまたは複数のセンシングメカニズムを使用することができる。タッチスクリーン３０２及び３０３は、上記タッチスクリーン３０１と実質的に同様の方法で出力を生成するように動作する。

タッチスクリーンコントローラ３０４〜３０６は、対応するタッチセンシティブ入力機構からタッチイベントに関連付けられている電気入力を受信して、座標に該電気入力を変換する。例えば、タッチスクリーンコントローラ３０４は、タッチスクリーン３０１上でのタッチジェスチャに対応するポジション及びロケーション情報を含む出力を生成するように構成されることができる。タッチスクリーンコントローラ３０５、３０６は、それぞれのタッチスクリーン３０２、３０３でのジェスチャに関して出力を同様に提供する。タッチスクリーンコントローラ３０４〜３０６のうちの何れかまたは複数は、シングルタッチスクリーンでの複数の同時ジェスチャに対応するポジション及びロケーション情報を生成するように動作可能である、マルチタッチ制御回路として動作するように構成されることができる。タッチスクリーンコントローラ３０４〜３０６は、接続３０７を介して、デバイスコントローラ３１０に指のロケーション／ポジションデータを個別に報告する。

一例では、タッチスクリーンコントローラ３０４〜３０６は、タッチに応答して、割り込みバス３０８を介してデバイスコントローラ３１０を中断する。上記割り込みを受けると、デバイスコントローラ３１０は、指のロケーション／ポジションデータを検索するために、上記タッチスクリーンコントローラ３０４〜３０６をポーリングする。指のロケーション／ポジションデータは、それぞれ受信したデータをタッチのタイプ（例えば、ポイント、スワイプ、等）と解釈する、ドライバ３１２〜３１４によって解釈される。それらドライバ３１２〜３１４は、ハードウェア、ソフトウェア、またはそれらの組み合わせであることができ、一実施形態では、低レベルのソフトウェアドライバを含むもので、各ドライバ３１２〜３１４は個々のタッチスクリーンコントローラ３０４〜３０６に特化されている。ドライバ３１２〜３１４からの情報は、結合ジェスチャ認識エンジン３１１に渡される。該結合ジェスチャ認識エンジン３１１もまた、ハードウェア、ソフトウェア、またはそれらの組み合わせであることができ、一実施形態では、より高レベルのソフトウェアアプリケーションである。上記結合ジェスチャ認識エンジン３１１は、一つのスクリーン上のシングルジェスチャまたは二つ以上のスクリーン上の結合されたジェスチャなどの情報を認識する。上記結合ジェスチャ認識エンジン３１１は、ズーム、フリップ、回転、等々のような要求された動作を実行するために、電子デバイス１０１上で実行するアプリケーション３２０に該ジェスチャを渡す。一例では、アプリケーション３２０は、実施形態の範囲はそれに限定されるものではないが、デバイスコントローラ３１０によって実行されるプログラムである。したがって、ユーザのタッチ入力は、解釈され、そして、いくつかのインスタンスで、結合されたマルチスクリーンジェスチャとしてユーザ入力を適用することを含む電子デバイス１０１を制御するために使用される。

デバイスコントローラ３１０は、一つまたは複数のプロセッサコア、及び／または、タッチスクリーン３０１〜３０３上に表示されるべきコンテンツに対応する表示データを生成するように構成された専用回路素子、などの一つまたは複数の処理コンポーネントを含むことができる。デバイスコントローラ３１０は、結合ジェスチャ認識エンジン３１１から情報を受信し、タッチスクリーン３０１〜３０３のうちの一つまたは複数に表示された視覚的なデータを修正するように構成されることができる。例えば、反時計回りの回転を示すユーザコマンドに応答して、デバイスコントローラ３１０は、タッチスクリーン３０１〜３０３上に表示されるコンテンツの回転に対応する計算を実行し、一つまたは複数のタッチスクリーン３０１〜３０３に回転されたコンテンツを表示させるために、アプリケーション３２０に更新された表示データを送信することができる。

動作中、結合ジェスチャ認識エンジン３１１は、二つまたはそれ以上の別々のタッチスクリーンからジェスチャ入力を、マルチスクリーンデバイス上のシングルコマンドを示す一つのジェスチャ入力に結合する。マルチスクリーンでユーザによって同時にまたは実質的に同時に提供されたジェスチャ入力を解釈することは、直感的なユーザインターフェイスと強化されたユーザエクスペリエンスを可能にすることができる。例えば、「ズームイン」コマンドや「ズームアウト」コマンドは、一つのパネル上での各スライドジェスチャが他のパネルから実質的に離れる方向の動き（例えば、ズームイン）や他のパネルに実質的に向か方向の動き（例えば、ズームアウト）を示す、隣接した複数パネル上で検出された複数スライドジェスチャから識別されることができる。特定の実施形態では、結合ジェスチャ認識エンジン３１１は、物理的な平行移動、回転、伸縮、またはそれらの組み合わせ、または、図２に示された連続面のような複数の表示面にまたがっているシミュレートされた連続表示面をエミュレートするためのシングルコマンドを認識するように構成される。

一実施形態では、電子デバイス１０１は、ジェスチャの予め定義されたライブラリを含む。言い換えれば、この例の実施形態では、結合ジェスチャ認識エンジン３１１は、その内の幾つかが一つ以上のタッチスクリーン３０１〜３０３上のシングルジェスチャであり、その内の幾つかが結合ジェスチャである、有限数の可能ジェスチャを認識する。ライブラリは、デバイスコントローラ３１０によってアクセスされることができるように、メモリ（図示せず）に格納されることができる。

一例では、結合ジェスチャ認識エンジン３１１は、タッチスクリーン３０１上での一つの指のドラッグとタッチスクリーン３０２上での別の指のドラッグとを見る。二本指のドラッグは、二本の指が、特定のウィンドウ内で、例えば数ミリ秒内で、表示面の上で互いに近づいていることを示す。そのような情報（すなわち、時間ウィンドウ内の二つの相互に近づいていく指）及びその他の関連するコンテキストデータを使用して、結合ジェスチャ認識エンジン３１１は、可能なマッチを求めてライブラリを検索し、最終的にピンチジェスチャに確定する。したがって、幾つかの実施形態では、ジェスチャを結合することは、可能な対応する結合ジェスチャを求めてライブラリを検索することを含む。しかしながら、実施形態の範囲は、様々な実施形態が、現在知られた又は例えば一つ以上のヒューリスティック技術を含むジェスチャを結合するために後に開発される、いかなる技法も使用することができるので、それに限定されない。

さらに、特定のアプリケーションは、可能なジェスチャの合計数のサブセットのみをサポートすることができる。例えば、ブラウザは、サポートされている特定数のジェスチャを持つことができ、写真閲覧アプリケーションは、サポートされているジェスチャの異なるセットを持つことができる。言い換えれば、ジェスチャ認識は、或るアプリケーションと別のアプリケーションでは、異なって解釈されることができる。

図４は、一実施形態に従って適合された図３の結合ジェスチャ認識エンジン３１１の例示的な状態図４００である。該状態図４００は、一実施形態の動作を表しており、他の実施形態は、多少異なる状態図を持つことができることが理解される。状態４０１は、アイドル状態である。入力ジェスチャを受けると、デバイスは、状態４０２で、ジェスチャペアリングモードになっているかどうかを確認する。この例では、ジェスチャペアリングモードは、少なくとも一つのジェスチャがすでに受信されており、デバイスが、当該ジェスチャは、一つ以上の他のジェスチャと結合されねばならないか見るために確認するモードである。デバイスがジェスチャペアリングモードになっていない場合には、デバイスは、状態４０３で、そのジェスチャを格納し、タイムアウトを設定した後、アイドル状態４０１に戻る。タイムアウトが経過すると、デバイスは、状態４０７で、一つのスクリーン上でのシングルジェスチャを通知する。

デバイスがジェスチャペアリングモードになっている場合、デバイスは、状態４０４で、当該受信したジェスチャを別の以前に保存されたジェスチャと結合する。状態４０５で、デバイスは、結合ジェスチャが有効なジェスチャに対応しているかどうか確認する。例えば、一実施形態では、デバイスは、結合ジェスチャ情報、及び他の何れのコンテキスト情報も見て、それをジェスチャライブラリ内の一つ以上のエントリと比較する。結合ジェスチャ情報が有効なジェスチャに対応していない場合には、デバイスは、その無効な結合ジェスチャが破棄されるように、アイドル状態４０１に戻る。

これに対して、結合ジェスチャ情報が有効な結合ジェスチャに対応する場合には、該結合ジェスチャは、状態４０６で、一つ以上のスクリーン上で、通知される。その後、デバイスは、アイドル状態４０１に戻る。

図４で注目すべきは、マルチスクリーンにわたった一つのジェスチャの継続に関するデバイスの動作である。そのようなジェスチャの一例は、少なくとも二つのスクリーンの部分を横切る指スワイプである。そのようなジェスチャは、マルチスクリーン上のシングルジェスチャとして、或いは、人間のユーザに加えられ且つ連続に現れる、それぞれ別のスクリーン上の、マルチジェスチャとして扱われることができる。

図４に示されるように、一実施形態では、このようなジェスチャは、加えられたマルチジェスチャとして扱われる。したがって、マルチスクリーンを横切るドラッグの場合、所定スクリーン上のドラッグは、そのスクリーン上のシングルジェスチャであり、次のスクリーン上でのドラッグは、第１のシングルジェスチャの続きである別のシングルジェスチャである。両方が状態４０７で通知されている。ジェスチャが状態４０６及び４０７で通知された場合、該ジェスチャを示す情報は、表示を制御するアプリケーション（図３のアプリケーション３２０など）に渡される。

図５は、一実施形態による、シングルコマンドを表すような、電子デバイスのマルチ表示面でのマルチタッチスクリーンジェスチャを認識する例示的なプロセス５００を示す図である。特定の実施形態では、プロセス５００は、図１の電子デバイス１０１によって実行される。

プロセス５００は、５０２で、電子デバイスの第１の表示面での第１のタッチスクリーンジェスチャを検出することを含む。例えば、図３を参照して、第１のジェスチャは、タッチスクリーン３０１で検出されることができる。幾つかの実施形態では、ジェスチャは、必要とされるならば、同時のまたは後のジェスチャと比較されることができるように、メモリに格納される。

プロセス５００はまた、５０４で、電子デバイスの第２の表示面での第２のタッチスクリーンジェスチャを検出することを含む。図３の例では、第２のジェスチャは、タッチスクリーン３０２で（及び／またはタッチスクリーン３０３で、しかし図示を容易にするために、この例では、タッチスクリーン３０１、３０２に焦点を当てる）検出されることができる。特定の実施形態では、第２のタッチスクリーンジェスチャは、第１のタッチスクリーンジェスチャと実質的に同時に検出されることができる。別の実施形態においては、第２のジェスチャは、第１のタッチスクリーンジェスチャの後すぐに検出されることができる。いずれにしても、第２のジェスチャもまた、メモリに格納されることができる。第１及び第２のジェスチャは、種々の技術の何れかを使用してロケーションデータから認識されることができる。ブロック５０２、５０４は、行ポジションデータを検出／保存すること、及び／またはジェスチャ自体を示す処理されたデータを格納することを含むことができる。

図６は、図２のデバイスの二つの異なるスクリーン上でジェスチャを実行する手６０１を示している。図６の例では、手６０１は、ディスプレイを操作するために二つの異なるスクリーンにわたってピンチを行っている。様々な実施形態は、上記及び以下に説明するように、ピンチジェスチャに限定されるものではない。

上記プロセス５００は、５０６で、第１のタッチスクリーンジェスチャと第２のタッチスクリーンジェスチャが、シングルコマンドを表している、あるいはそれ以外を示していることを決定することをさらに含む。図３の例に戻ると、結合ジェスチャ認識エンジン３１１は、第１のジェスチャと第２のジェスチャがシングルコマンドを表している、または示していることを決定する。例えば、接近しているが、一方のタッチスクリーンから他方に生じる時間的に連続のしっかりと結合された、２つのシングルジェスチャは、コマンドのライブラリ内の更に別のコマンドと解釈されることができる。結合ジェスチャ認識エンジン３１１は、コマンドのライブラリ内を検索し、当該ジェスチャがマルチタッチスクリーン上を横切るスワイプを含む結合ジェスチャであることを決定する。

ライブラリ内に格納されている結合ジェスチャの例は、以下の実施形態を含むが、それに限定されるものではない。第１の例として、シングルドラッグとシングルドラッグの組み合わせは、三つの可能な候補の一つであることができる。それら二つのドラッグが、互いに離れていく実質的に反対方向である場合、それは、それら二つのドラッグは合わせて、（例えば、ズームアウトのための）結合ピンチアウトジェスチャである可能性がある。上記二つのドラッグが、互いに近づいてく実質的に反対方向にある場合、それは、それら二つのドラッグは合わせて、（例えば、ズームインのための）結合ピンチインジェスチャである可能性がある。上記二つのドラッグが、しっかりと結合され、且つ、連続的に同じ方向であれば、それは、それら二つのドラッグは合わせて、（例えば、スクロールのための）結合マルチスクリーンスワイプである可能性がある。

他の例は、ポイントとドラッグを含む。そのような組み合わせは、ピボットポイントとして機能する指のポイントでドラッグの方向に回転を示すことができる。ピンチとポイントの組み合わせは、ポイントではなくてピンチで、表示されているオブジェクトの寸法に影響を及ぼすスキューを示すことができる。他のジェスチャも可能であり、実施形態の範囲内である。実際、現在知られた又は後に開発される検出可能なタッチスクリーンジェスチャの組み合わせは、様々な実施形態で使用されることができる。さらに、アクセスされ得る様々なコマンドは無制限であり、また、コピー、ペースト、削除、移動、等々のような、明示的に上記した以外のコマンドを含むことができる。

プロセス５００は、５０８で、シングルコマンドに基づいて、第１の表示面での第１の表示と第２の表示面での第２の表示とを変更することを含む。例えば、図３を参照すると、デバイスコントローラ３１０は、タッチスクリーン３０１及び３０２で表示を変更する（例えば、時計回りに回転する、反時計回りに回転する、ズームインする、またはズームアウトする）結合ジェスチャをアプリケーション３２０に送る。特定の実施形態では、第１のディスプレイと第２のディスプレイは、実質的に連続したビジュアル表示を表示するように動作可能である。アプリケーション３２０は、その後、認識されたユーザコマンドに従って、スクリーンの何れかまたは複数の間でビジュアル表示の何れかまたは複数のビジュアル要素を変更する。したがって、結合ジェスチャは、認識され、マルチパネルデバイスによって処理されることができる。もちろん、第３のディスプレイ３０３もまた、第１及び第２のディスプレイ３０１及び３０２に加えて、コマンドに基づいて変更されることができる。

さらに、本明細書で開示された実施形態に関して説明された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップは、上記では概して、それらの機能に関して説明された。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じると解釈されるべきではない。

本明細書で開示される実施形態に関して説明されたプロセスまたはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）などの有形記憶媒体、または当技術分野で知られている任意の他の形態の有形記憶媒体に常駐することができる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体はプロセッサに一体化され得る。プロセッサおよび記憶媒体は特定用途向け集積回路（ＡＳＩＣ）中に常駐することができる。ＡＳＩＣは、コンピューティングデバイスまたはユーザ端末中に常駐することができる。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中に個別構成要素として常駐することができる。

その上、開示された実装形態の前述の説明は、当業者が本開示を実施または使用できるようにするために与えられたものである。これらの実装形態の様々な変更形態は、当業者には容易に明らかになるものであり、本明細書で定義された一般原理は、本開示の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本開示は、本明細書で示された特徴に限定されるものではなく、本明細書で開示された原理および新規の特徴に合致する最も広い範囲が与えられるべきである。

本開示及びその利点が詳細に記載されたが、添付の特許請求の範囲によって定義されるように、上記開示の技術から逸脱することなしに、様々な変更、置換および改変が、ここでなされることができることを理解されるべきである。さらに、本出願の範囲は、本明細書に記載された、プロセス、機械、製造、物質の組成、手段、方法、および手順の特定の実施形態に限定されることを意図するものではない。当業者が上記開示から容易に理解できるだろうように、同一の機能を実質的に実行する又は本明細書に記載された対応する実施形態と同様の結果を実質的に達成する、現存の若しくは将来開発される、プロセス、機械、製造、物質の組成、手段、方法、またはステップが、本開示に従って利用することができる。したがって、添付の特許請求の範囲は、そのようなプロセス、機械、製造、物質の組成、手段、方法、またはステップを、その範囲内に含むことを意図される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
（１） マルチタッチスクリーンを含む電子デバイスで使用するための方法であって、
上記電子デバイスの第１の表示面での第１のタッチスクリーンジェスチャを検出することと、
上記電子デバイスの第２の表示面での第２のタッチスクリーンジェスチャを検出することと、及び、
上記第１のタッチスクリーンジェスチャ及び上記第２のタッチスクリーンジェスチャが、上記第１及び第２の表示面上での一つの表示に影響を及ぼすシングルコマンドを表すことを識別することと、
を備える、方法。
（２） 上記シングルコマンドに基づいて、上記第１の表示面及び上記第２の表示面での上記表示を修正することを更に備える、（１）の方法。
（３） 上記第１のタッチスクリーンジェスチャ及び上記第２のタッチスクリーンジェスチャは、それぞれ、タッチ、スライドモーション、ドラッグモーション及びリリースモーションの内の少なくとも一つである、（１）の方法。
（４） 上記シングルコマンドは、回転コマンド、ズームコマンド及びスクロールコマンドから成るリストから選択される、（１）の方法。
（５） 上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャは、実質的に同時に検出される、（１）の方法。
（６） 携帯電話、ノートパソコン及びデスクトップコンピュータの内の少なくとも一つによって実行される、（１）の方法。
（７） 第１の表示面での第１のタッチスクリーンジェスチャを検出するように構成された第１のタッチセンシティブ入力機構を備える第１の表示面と、
第２の表示面での第２のタッチスクリーンジェスチャを検出するように構成された第２のタッチセンシティブ入力機構を備える第２の表示面と、及び、
上記第１の表示面及び上記第２の表示面と通信しているデバイスコントローラであって、上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャとを、上記第１及び第２の表示面での一つの表示に影響を及ぼすシングルコマンドに結合する、デバイスコントローラと、
を備える、装置。
（８） 上記第１及び第２の表示面は、上記デバイスコントローラと通信しているそれぞれのタッチスクリーンコントローラによって制御される別々のタッチパネルを備える、（７）の装置。
（９） 上記デバイスコントローラは、上記それぞれのタッチスクリーンコントローラからタッチスクリーンポジション情報を受信し、該ポジション情報を上記第１及び第２のタッチスクリーンジェスチャに翻訳する、第１及び第２のソフトウェアドライバを実行する、（８）の装置。
（１０） 上記デバイスコントローラから上記シングルコマンドを受信し、該シングルコマンドに基づいて、上記第１の表示面での第１の表示及び第２の表示面での第２の表示を修正するアプリケーションを更に含む、（７）の装置。
（１１） 上記第１の表示面の第１のエッジ及び上記第２の表示面の第２のエッジに結合された第３の表示面を更に備える、（７）の装置。
（１２） 上記第１のタッチスクリーンジェスチャ及び上記第２のタッチスクリーンジェスチャはそれぞれ、タッチ、スライドモーション、ドラッグモーション及びリリースモーションの内の少なくとも一つ備える、（７）の装置。
（１３） 上記シングルコマンドは、時計回り回転コマンド、反時計回り回転コマンド、ズームインコマンド、ズームアウトコマンド、スクロールコマンド、又はそれらの何れかの組合せを含む、（７）の装置。
（１４） 携帯電話、メディアプレーヤ及びロケーションデバイスの内の一つ又はそれ以上を備える、（７）の上記装置。
（１５） 電子デバイスの第１の表示面での第１のタッチスクリーンジェスチャを認識するためのコードと、
上記電子デバイスの第２の表示面での第２のタッチスクリーンジェスチャを認識するためのコードと、及び、
上記第１のタッチスクリーンジェスチャ及び上記第２のタッチスクリーンジェスチャが、上記第１及び第２の表示面上に表示された少なくとも一つのビジュアルアイテムに影響を及ぼすシングルコマンドを表すことを判別するためのコードと、
を備えるコンピュータプログラムロジックを有形に記憶する、コンピュータ可読記憶媒体。
（１６） 上記コンピュータプログラムロジックは、上記シングルコマンドに基づいて、上記第１の表示面での第１の表示及び上記第２の表示面での第２の表示を修正するためのコードを更に備える、（１５）のコンピュータ可読記憶媒体。
（１７） 電子デバイスであって、
当該電子デバイスの第１の表示面での第１のタッチスクリーンジェスチャを検出するための第１の入力手段と、
当該電子デバイスの第２の表示面での第２のタッチスクリーンジェスチャを検出するための第２の入力手段と、及び、
上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャとを、上記第１及び第２の表示面上の少なくとも一つの表示されたアイテムに影響を及ぼすシングルコマンドに結合するための、上記第１の入力手段及び上記第２の入力手段と通信している、手段と、
を備える、電子デバイス。
（１８） 上記第１の表示面及び上記第２の表示面で画像を表示するための手段と、及び
上記シングルコマンドに基づいて、上記表示された画像を修正するための手段と、
を更に備える、（１７）の電子デバイス。
（１９） 上記第１及び第２の表示面は、上記結合するための手段とそれぞれ通信している、タッチスクリーンポジション情報をそれぞれ生成するための手段それぞれによって制御される、別々のタッチパネルを備える、（１７）の電子デバイス。
（２０） 上記結合するための手段は、上記それぞれの生成するための手段から上記タッチスクリーンポジション情報を受信し、該ポジション情報を上記第１及び第２のタッチスクリーンジェスチャに翻訳するための第１及び第２の手段を含む、（１９）の電子デバイス。

Claims (20)

1. マルチタッチスクリーンを含む電子デバイスで使用するための方法であって、
   上記電子デバイスの第１の表示面での第１のタッチスクリーンジェスチャを検出することと、
   上記電子デバイスの第２の表示面での第２のタッチスクリーンジェスチャを検出することと、及び、
   複数のシングルコマンドの内の一つであるシングルコマンドを、上記シングルコマンドを表す上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャとの組合せを使用して識別することと、
   を備え、
   上記第１及び第２の表示面上での一つの表示に影響を及ぼす上記シングルコマンドの動作は、上記第１及び第２のタッチスクリーンジェスチャの両方の検出の後に開始され、
   上記複数のシングルコマンドのそれぞれは、上記シングルコマンドを示す一つの代表的な第１及び第２のタッチスクリーンジェスチャの組合せを有し、
   上記識別することは、上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャとの上記組合せを使用して、複数の代表的な第１及び第２のタッチスクリーンジェスチャの組合せを有する上記複数のシングルコマンドの中から上記シングルコマンドを識別し、
   上記複数のシングルコマンドの内の一つは、スクロールコマンドである、方法。
2. 上記シングルコマンドに基づいて、上記第１の表示面及び上記第２の表示面での上記表示を修正することを更に備える、請求項１の方法。
3. 上記第１のタッチスクリーンジェスチャ及び上記第２のタッチスクリーンジェスチャは、それぞれ、タッチ、スライドモーション、ドラッグモーション及びリリースモーションの内の少なくとも一つである、請求項１の方法。
4. 上記識別することは、回転コマンド、ズームコマンド及び上記スクロールコマンドから成るリストから上記シングルコマンドを選択する、請求項１の方法。
5. 上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャは、実質的に同時に検出される、請求項１の方法。
6. 携帯電話、ノートパソコン及びデスクトップコンピュータの内の少なくとも一つによって実行される、請求項１の方法。
7. 第１の表示面での第１のタッチスクリーンジェスチャを検出するように構成された第１のタッチセンシティブ入力機構を備える第１の表示面と、
   第２の表示面での第２のタッチスクリーンジェスチャを検出するように構成された第２のタッチセンシティブ入力機構を備える第２の表示面と、及び、
   上記第１の表示面及び上記第２の表示面と通信しているデバイスコントローラであって、複数のシングルコマンドの内の一つであるシングルコマンドを、上記シングルコマンドを表す上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャとの組合せを使用して識別する、デバイスコントローラと、
   を備え、
   上記第１及び第２の表示面上での一つの表示に影響を及ぼす上記シングルコマンドの動作は、上記第１及び第２のタッチスクリーンジェスチャの両方の検出の後に開始され、
   上記複数のシングルコマンドのそれぞれは、上記シングルコマンドを示す一つの代表的な第１及び第２のタッチスクリーンジェスチャの組合せを有し、
   上記デバイスコントローラは、上記複数のシングルコマンドの複数の代表的な第１及び第２のタッチスクリーンジェスチャの組合せに従って、上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャとを組合せ、
   上記複数のシングルコマンドの内の一つは、スクロールコマンドである、装置。
8. 上記第１及び第２の表示面は、上記デバイスコントローラと通信しているそれぞれのタッチスクリーンコントローラによって制御される別々のタッチパネルを備える、請求項７の装置。
9. 上記デバイスコントローラは、上記それぞれのタッチスクリーンコントローラからタッチスクリーンポジション情報を受信し、該ポジション情報を上記第１及び第２のタッチスクリーンジェスチャに翻訳する、第１及び第２のソフトウェアドライバを実行する、請求項８の装置。
10. 上記デバイスコントローラから上記シングルコマンドを受信し、該シングルコマンドに基づいて、上記第１の表示面での第１の表示及び第２の表示面での第２の表示を修正するアプリケーションを更に含む、請求項７の装置。
11. 上記第１の表示面の第１のエッジ及び上記第２の表示面の第２のエッジに結合された第３の表示面を更に備える、請求項７の装置。
12. 上記第１のタッチスクリーンジェスチャ及び上記第２のタッチスクリーンジェスチャはそれぞれ、タッチ、スライドモーション、ドラッグモーション及びリリースモーションの内の少なくとも一つ備える、請求項７の装置。
13. 上記複数のシングルコマンドは、時計回り回転コマンド、反時計回り回転コマンド、ズームインコマンド、ズームアウトコマンド、上記スクロールコマンド、又はそれらの何れかの組合せを含む、請求項７の装置。
14. 携帯電話、メディアプレーヤ及びロケーションデバイスの内の一つ又はそれ以上を備える、請求項７の装置。
15. 電子デバイスの第１の表示面での第１のタッチスクリーンジェスチャを認識するためのコードと、
    上記電子デバイスの第２の表示面での第２のタッチスクリーンジェスチャを認識するためのコードと、及び、
    複数のシングルコマンドの内の一つであるシングルコマンドを、上記シングルコマンドを表す上記第１のタッチスクリーンジェスチャ及び上記第２のタッチスクリーンジェスチャの組合せを使用して識別するためのコードと、
    を備えるコンピュータプログラムロジックを有形に記憶し、
    上記第１及び第２の表示面上に表示された少なくとも一つのビジュアルアイテムに影響を及ぼす上記シングルコマンドの動作は、上記第１及び第２のタッチスクリーンジェスチャの両方の認識の後に開始され、
    上記複数のシングルコマンドのそれぞれは、上記シングルコマンドを示す一つの代表的な第１及び第２のタッチスクリーンジェスチャの組合せを有し、
    上記識別するためのコードは、上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャとの上記組合せを使用して、複数の代表的な第１及び第２のタッチスクリーンジェスチャの組合せを有する上記複数のシングルコマンドの中から上記シングルコマンドを識別し、
    上記複数のシングルコマンドの内の一つは、スクロールコマンドである、コンピュータ可読記憶媒体。
16. 上記コンピュータプログラムロジックは、上記シングルコマンドに基づいて、上記第１の表示面での第１の表示及び上記第２の表示面での第２の表示を修正するためのコードを更に備える、請求項１５のコンピュータ可読記憶媒体。
17. 電子デバイスであって、
    当該電子デバイスの第１の表示面での第１のタッチスクリーンジェスチャを検出するための第１の入力手段と、
    当該電子デバイスの第２の表示面での第２のタッチスクリーンジェスチャを検出するための第２の入力手段と、及び、
    複数のシングルコマンドの内の一つであるシングルコマンドを、上記シングルコマンドを表す上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャとの組合せを使用して識別するための、上記第１の入力手段及び上記第２の入力手段と通信している、手段と、
    を備え、
    上記第１及び第２の表示面上の少なくとも一つの表示されたアイテムに影響を及ぼす上記シングルコマンドの動作は、上記第１及び第２のタッチスクリーンジェスチャの両方の検出の後に開始され、
    上記複数のシングルコマンドのそれぞれは、上記シングルコマンドを示す一つの代表的な第１及び第２のタッチスクリーンジェスチャの組合せを有し、
    上記識別するための手段は、上記複数のシングルコマンドの複数の代表的な第１及び第２のタッチスクリーンジェスチャの組合せに従って、上記第１のタッチスクリーンジェスチャと上記第２のタッチスクリーンジェスチャとを組合せ、
    上記複数のシングルコマンドの内の一つは、スクロールコマンドである、電子デバイス。
18. 上記第１の表示面及び上記第２の表示面で画像を表示するための手段と、及び
    上記シングルコマンドに基づいて、上記表示された画像を修正するための手段と、
    を更に備える、請求項１７の電子デバイス。
19. 上記第１及び第２の表示面は、上記識別するための手段とそれぞれ通信している、タッチスクリーンポジション情報をそれぞれ生成するための手段それぞれによって制御される、別々のタッチパネルを備える、請求項１７の電子デバイス。
20. 上記識別するための手段は、上記それぞれの生成するための手段から上記タッチスクリーンポジション情報を受信し、該ポジション情報を上記第１及び第２のタッチスクリーンジェスチャに翻訳するための第１及び第２の手段を含む、請求項１９の電子デバイス。

Images