JP2014530417A - ユーザインタフェース要素を操作する装置、方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

タッチセンサー式コンポーネントを使用する場合、ユーザインタフェース要素の操作によりグラフィカル表示(例：ウェブサイト、ビデオゲーム、雑誌のレイアウト等)を構築や設計することできるクラッチ及びブームの特徴について本明細書中に記載されている。操作されるユーザインタフェース要素をタッチすると、ユーザインタフェース要素は操作の対象とすることができる。クラッチユーザインタフェース要素の連動に応答して、ターゲットユーザインタフェース要素は、ユーザによる操作(例えば、着色、回転、移動など）が有効となり、対象でないユーザ要素は操作することができない。ブームは、ある実施形態による操作機能の例であり、ターゲットユーザインタフェース要素を正確(例えば、画素毎）に移動するように構成される。【選択図】図５

Description

関連出願の相互参照
本出願は、2011年9月13日に出願された米国仮特許出願第61/534,005号の利益及び優先権を主張する。

技術分野
本発明の実施形態は、概してユーザインタフェースのグラフィックデザインと関連するものである。

背景
ウェブサイトデザインアプリケーション、ビデオゲームデザインプログラム、プレゼンテーション/ドローイングソフトウェア、及びスマートフォンアプリケーション構築ツールなどのソフトウェアアプリケーションは、マウスを使用して、グラフィカルオブジェクトの作成、移動、サイズ決め、色決め及び/又はその他の操作ができるように進化している。ソフトウェア開発のコードを実際に書くということは少なくなってきている。なぜなら、現在では、生成されたグラフィカルレイアウトに基づいてソフトウェアが自動的にコンパイルされるようになっているからである。

タブレットやスマートフォンのようなマルチタッチデバイスの人気増加に伴ってグラフィカルソフトウェア作成が増加している。しかしながら、概してマルチタッチデバイスの精度が (マウスや他のポインタと比較して)高くないために、さらに、ユーザが表示に触れて表示が見えにくくなることによって、上述したようなビジュアルツールを利用してソフトウェアを書くことは困難である。そのため、グラフィカルソフトウェア作成を行うことがさらに難しくなり、大体の場合マルチタッチデバイスに容易には応用されず、通常は、従来のコンピュータデバイス(例マウスやキーボード)が今でも使われている。一方、マルチタッチデバイスは一般的な用途 (例えばウェブサーフィンやメディアの読み込み) に使われる。ここに記載の本発明における実施形態や多くの例に示されるように、努力、創意工夫、及び技術革新により多くの問題が明確化されて解決されている。

簡単な概要
本明細書に例示的な実施形態として記載されているのは、表示画面上で示されたユーザインタフェース要素を操作する手段を備える装置、方法、コンピュータプログラム製品及びその他のシステムである。タッチセンサー式表示画面は、ターゲットユーザインタフェース要素(例えば操作対象に選択されるユーザインタフェース要素）を表示し、クラッチユーザインタフェース要素(例えば操作対象のターゲットユーザインタフェース要素に連動するユーザインタフェース要素）を表示し、選択タッチイベント(例えばユーザが表示画面上でターゲットユーザインタフェース要素の近傍にタッチすること）を検出し、連動タッチイベント(例えば、ユーザが表示画面上でクラッチユーザインタフェース要素の近傍にタッチすること）を検出する、という構成である。

また、ある実施形態において、クラッチユーザインタフェース要素の近傍に連動タッチイベントが存在せず、ターゲットユーザインタフェース要素の近傍に選択タッチイベントが生成したと判断し、選択タッチイベントが生成したという判断に基づいて、操作対象のターゲットユーザインタフェース要素を選択し、連動タッチイベントの生成時点を判断し、連動タッチイベントが生成すると、ターゲットユーザインタフェース要素に関連した操作機能を有効にするように構成されたプロセッサが含まれる。

上記プロセッサは、連動タッチイベントが生成していない時点と判断し、ターゲットユーザインタフェースに関連した操作機能を無効にするようにさらに構成されてもよい。さらに或いは代わりに、上記プロセッサは、連動タッチイベントが存在せず、ユーザインタフェース要素を選択可能となるように選択機能を有効にするようにさらに構成されてもよい。ある実施形態では、上記選択機能は、連動タッチイベントが検出された場合であっても有効にできる。

非一時的記憶媒体及び/又は他のタイプのメモリも備えることができ、選択タッチイベントが生成したという判断に基づいてターゲット要素に関連したターゲット要素識別子を格納するように構成することができる。ターゲット要素識別子はターゲット要素に対して一意的であってもよい。ターゲット要素識別子はランダムに生成されてもよいし、それぞれのユーザインタフェース要素が生成したときに割り当てられてもよいし、及び/又は他の任意の適切な方法で生成されてもよい。

ある実施形態におけるプロセッサは、連動タッチイベントが生成しているという判断に基づいてメモリからターゲット要素識別子を取得し、ターゲットユーザインタフェース要素と操作機能とを関連付けるように構成される。ある実施形態では、操作対象のターゲットユーザインタフェース要素が選択されたという判断に基づいて、プロセッサは選択されたターゲットユーザインタフェースを識別する視覚インジケータを表示するようにさらに構成される。

上記プロセッサは、連動タッチイベントが検出された場合にのみ許可される様式としてユーザがターゲットユーザインタフェースを操作することができるようにさらに構成されてもよい。他の例として、プロセッサは、連動タッチイベントが検出されない場合、ユーザがターゲットユーザインタフェース要素を制限されるような方法で、操作可能となるように構成されてもよい。

上記プロセッサは、マルチタッチデバイスのユーザがユーザインタフェース要素を正確に(例えば画素毎)移動できるブーム機能を有効にするようにさらに構成されてもよい。他のメニューに関する様々なタブを有する1又は複数のオーバーレイを備えることもできる。連動タッチイベントが生成している間に、有効となっている1又は複数の操作機能に関連する1或いは複数の選択可能な仮想ボタンを備え、さらに、オーバーレイ及び/又は他のタイプのメニューにより、構築されたユーザインタフェースの情報(対象となっている或いは他のユーザインタフェース要素及び/又はカーソル(XYZ軸上の)位置情報)を示すこともまた可能となっている。

図面に関するいくつかの視点の簡単な説明
一般的用語で本発明を説明してきたが、ここで添付の図面を参照する。必ずしも一定の縮尺で書かれたものではない。

図1は、本発明のある実施形態に従って動作するように構成されたシステムの概略ブロック図を示す。

図2は、本発明のある実施形態に従って、クライアント及び/又はサーバで動作するように構成された装置の概略ブロック図を示す。

図3は、本発明のある実施形態に係る方法における様々なステップを示すフローチャートを示す。

図4は、本発明のある実施形態に係る方法における様々なステップを示すフローチャートを示す。

図5は、本発明のある実施形態に係る装置として示される表示画面の例を示す。

図６は、本発明のある実施形態に係る装置として示される表示画面の例を示す。

図7は、本発明のある実施形態に係る装置として示される表示画面の例を示す。

図8は、本発明のある例示的な実施形態に係るターゲット表示要素が表示画面上でどのように移動できるかという方法を示す線形関数の例を示す図である。

図9は、本発明のある例示的な実施形態に係るターゲット表示要素が表示画面上でどのように移動できるかという方法を示す非線形関数の例を示す図である。

図10は、本発明のある例示的な実施形態に係るターゲット表示要素が表示画面上でどのように移動できるかという方法を示す非線形関数の例を示す図である。

図11は、本発明のある実施形態に係る装置として示される表示画面の例を示す。

図12は、本発明のある実施形態に係る装置として示される表示画面の例を示す。

図13は、本発明のある実施形態に係る装置として示される表示画面の例を示す。

詳細な説明
本発明の好ましい実施形態として、添付の図面を参照しながら本発明を詳細に説明する。しかし、本発明は多くの異なる形態で具現化することができ、本明細書に記載された実施形態に限定されると解釈されるものではない。例えば、ここには上下左右を含む方向や向きが示されているが、任意の方向及び向きは単に一例であることを理解すべきである。特定の方向又は向きはどれも特定オブジェクト及び/又は特定オブジェクトの向きに応じたものである。同じ数字は全体を通して同じ要素を示す。

ウェブサイト、ビデオゲームや他のグラフィックインターフェースで使用されているようなグラフィックデザインアプリケーションは、より普及してきている。結果として、多くのアプリケーション開発者が例えばソフトウェアコードを書くことに比べて、グラフィックデザインアプリケーションを使ってグラフィックインターフェースを構築することはさらに容易になっている。

タブレット型コンピュータや他のタッチデバイスも普及しつつある。しかしながら、タッチデバイスを使用してグラフィックインターフェースの設計、構築することは、タッチデバイスに関する固有の特性のために、(従来のコンピュータデバイスと比べて）比較的難しい(つまり、広範囲にスイープジェスチャーするのではなく、ユーザは、構築しようとしている表示画面にタッチして、個々の項目だけを選択しなければならない)。これらの問題のいくつかを解決するため、図１に本発明の例示的な実施形態であるシステム10を示す(本明細書で使用される類似の用語、“実施例”、”例示的”は、“例、事例又は例証として提示される”としてのものである）。図で示すように、システムは、ワークステーション12のような1又は複数のクライアントを備え、さらにサーバ14のような1又は複数のサーバを備えることができる。一般に、実施形態の例として示すようにワークステーション12とサーバ14は、1又は複数の携帯型メディアプレーヤー、スマートフォン、携帯型デジタルアシスタント(PDA)、タブレット型コンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、サーバコンピュータ等のような1又は複数の携帯型又は固定型の電子デバイスを(例えば、その中に包含され、及び/又は具現化されることにより)備えることができる。マルチタッチ表示画面を備えているタブレットコンピュータが、本発明のある実施形態の例として示されているが、ここに記載の実施形態は、同様に本発明の精神から逸脱することなく、他のタイプの装置によって実現されてもよい。

ワークステーション12やサーバ14は、例えば、多くの有線又は無線の通信又はネットワーク技術のどれかを備えた多種多様な方法のいずれかで、直接及び/又は間接的に互いに通信するように構成される。そのような技術の例として、とくに制限するものではないが、ユニバーサルシリアルバス(USB）、電波周波数(RF)、ブルートゥース(BT）、赤外線通信(IrDA)、セルラー(ワイヤレス）通信技法の一種(例えば、2G、2.5G、3G又は4G通信技術の一種)、ローカルエリアネットワーク(LAN）、無線LAN( WLAN）、及び/又は他の任意の適切な技法がある。上記技術のそれぞれの手法において、クライアントとサーバは、一つ以上のネットワーク16と接続し、そのネットワークを介して通信できるように構成されていてもよい。ネットワーク(単数又は複数)16は、データ及び/又は音声ネットワークを含む、1つのタイプ或いは複数の種々のタイプのネットワークの多種多様な組み合わせのいずれかを備えてもよい。例えば、ネットワーク(単数又は複数)16は、LAN、メトロポリタンエリアネットワーク(MAN)、及び/又は広域ネットワーク(WAN)(例えばインターネット)のような、1又は複数のデータネットワークを備え、公衆交換電話網(PSTN)のような1又は複数の音声ネットワークを備えることができる。図示していないが、ネットワーク(単数又は複数)16は、ワークステーション12とサーバ14との間でデータ、情報などを中継するようなルータ、スイッチなどの1又は複数の装置を備えてもよい。

ここで本回路のブロック図を示している図2を参照する。本回路の一部又は全部は、ワークステーション12及び/又はサーバ14の1又は複数の機能を操作あるいは実行するように構成可能な装置内に備えられてもよい。図1に別々の装置として示されているが、ある実施形態では本装置はワークステーション12及び/又はサーバ14(論理的に別々であるが同じハウジング内に同時に配置される)の両方あるいはどちらかと関連のある機能をサポートする。本発明の例示的な実施形態における装置は、より具体的に記載されているものを含む、本発明の例示的な実施形態と関連のある1又は複数の機能を実行するために様々な手段を備えている。しかしながら、本発明の精神及び範囲から逸脱することはなく、装置のいずれか又は両方が、1又は複数の類似の機能を実行する代替手段を備えていてもよいと理解されるべきである。

図2に示すように、本装置はメモリ20と接続しているプロセッサ18を備える。ある実施形態によれば、本回路はプロセッサ18、メモリ20、通信モジュール24、及び/又は、入力/出力モジュール28といったさまざまな手段を備えている。ある実施形態においては、本回路がタッチセンサー式インターフェースコンポーネントを使用しているタブレット及び/又は他のデバイスに配置されている場合もある。本明細書で述べられているように、“モジュール”は、1又は複数の特定の機能を実行するように構成されたハードウェア、ソフトウェア、及び又はファームウェアを備えている。この観点において、本明細書に記載されるような回路の手段は、適切に構成された処理装置(例えばプロセッサ18)又はそれらの組合せによって実行可能である。例えば、回路、ハードウェア要素(例えば適切にプログラムされたプロセッサ、組合せ可能な論理回路等)、非一時的なコンピュータ可読媒体(例えばメモリ20)に格納されたコンピュータ読み取り可能なプログラム命令を含むコンピュータプログラム製品として具現化される。

例えば、プロセッサ18は、1又は複数のデジタル信号プロセッサを具備する1又は複数のマイクロプロセッサ、デジタル信号プロセッサを具備しない1又は複数のプロセッサ、1又は複数のコプロセッサ、1又は複数のマルチコアプロセッサ、1又は複数のコントローラ、処理回路、1又は複数のコンピュータ、集積回路を含む様々な他の処理要素、例えば、ASIC(アプリケーション用途向け集積回路)又はFPGA(フィールドプログラマブルゲートアレイ)又は、それらの組合せを備える様々な手段で具現化される。図2には単一プロセッサとして示されているが、ある実施形態では、プロセッサ18は複数のプロセッサを備えることができる。複数のプロセッサは、単一のコンピュータデバイス上で具現化されてもよいし、回路として機能するように構成された集合的回路として複数のコンピューティングデバイス上に分散されてもよい。複数のプロセッサは、互いに通信可能な動作ができてもよいし、本明細書に記載されるような回路の1又は複数の機能を実行するように集合的構成となっていてもよい。 ある実施形態の例において、プロセッサ18はメモリ20に格納された命令を実行するように構成され、又はそれ以外の場合にプロセッサ18にアクセス可能となるように構成されている。プロセッサ18によって実行された場合、これらの命令により回路は本明細書に記載された回路の1又は複数の機能を実行する。

ハードウェア、ファームウェア、ソフトウェア手法又はそれらの組合せで構成を適宜設定することにより、プロセッサ18は本発明の実施形態に係る動作を実行可能な実体を備えることもできる。したがって、例えば、プロセッサ18が、ASIC、FPGA等として具現化されている場合、プロセッサ18は本明細書に記載の1又は複数の動作を行うために特別に構成されたハードウェアを備えてもよい。あるいは、別の例として、プロセッサ18がメモリ20に格納されている命令を実行するものとして具現化されている場合、図3及び4に関連して述べたように、プロセッサ18は命令を解釈し、本明細書に記載の1又は複数のアルゴリズム及び動作を実行するものとして具体的に構成される。

例えば、メモリ20は、揮発性メモリ、不揮発性メモリ、又はそれらの組合せを備えることができる。図2に１つのメモリとして示されているが、メモリ20は複数のメモリコンポーネントを備えていてもよい。複数のメモリコンポーネントは、単一のコンピュータデバイス上あるいは複数のコンピュータデバイスに分散して具現化されることができる。様々な実施形態において、メモリ20は、例えばハードディスク、ランダムアクセスメモリ、キャッシュメモリ、フラッシュメモリ、読み出し専用コンパクトディスク(CD-ROM)、読み出し専用デジタル多用途ディスク(DVD-ROM)、光ディスクに情報を格納するように構成された回路、又はそれらの組み合わせを備えることができる。メモリ20は、回路が実行可能であるような情報、データ、アプリケーション、命令、又は本発明の実施形態に従った様々な機能を格納されるように構成されてもよい。例えば、少なくともある実施形態では、メモリ20はプロセッサ18による処理のために入力データをバッファリングするように構成されている。さらに或いは代わりに、少なくともある実施形態では、メモリ20はプロセッサ18によって実行すべきプログラム命令を格納されるように構成されている。メモリ20は、静的及び/又は動的情報の形式で情報を格納することができる。この格納された情報はその機能の実行する過程で回路によって格納され、及び/又は、使用されてもよい。

通信モジュール24は、別のデバイスの回路から/回路にデータを受信及び/又は送信するように構成される、回路、ハードウェア、コンピュータ可読媒体(例えば、メモリ20)に格納され且つ処理装置(例えば、プロセッサ18)によって実行されるコンピュータ読み取り可能なプログラム命令を備えているコンピュータプログラム製品又はそれらの組み合わせに組込まれている任意のデバイス或いは手段として具現化されてもよい。ある実施形態では、(本明細書で論じる他のコンポーネントのような）通信モジュール24は、少なくとも部分的に、プロセッサ18として具現化され、又は、他の方法でプロセッサ18によって制御され得る。この観点で、通信モジュール24はバスなどを介してプロセッサ18と通信することができる。通信モジュール24は、例えば、アンテナ、送信機、受信機、送受信機、ネットワークインターフェースカード及び/又は補助的なハードウェア及び/又はファームウェア/ソフトウェアであって別のコンピュータデバイスとの通信を可能にするためのものを備えることができる。通信モジュール24は、コンピュータデバイス間通信に用いることが可能な任意のプロトコルを使用して、メモリ20に格納される任意のデータを受信及び/又は送信するように構成されてもよい。つまり、メモリ20の一部又は全部は、プロセッサ18から離れて(例えば、ネットワークドライブ上に)配置されてもよく、これによって、クラウドベースの機能が可能になる。通信モジュール24は、さらに或いは代わりに、メモリ20、入力/出力モジュール28、及び/又は、回路にある任意の他のコンポーネントと、バスなどを介して通信することができる。

入力/出力モジュール28は、ユーザの入力した指示を受信できるように、及び/又は、ユーザに聴覚的出力、視覚的出力、機械的出力、又は他の出力を提供できるように、プロセッサ18との通信が可能となっている。本回路によってユーザに提供されるある視覚的出力の例は、図5-7及び図11-13に示されている。このように、入力/出力モジュール28は、例えばキーボード、マウス、ジョイスティック、タッチセンサー式コンポーネント、マイクロフォン、スピーカ、RFIDリーダ、バーコードリーダ、バイオメトリックスキャナ、及び/又は他のタッチ入力/出力機構などの補助的要素を備えることができる。入力/出力モジュール28は表示画面26を備え、及び/又は、バスなどを介してメモリ20、通信モジュール24及び/又は任意の他の1又は複数のコンポーネントと通信が可能である。複数の入力/出力モジュール及び/又は他のコンポーネントを回路内に備えることが可能であるが、図面が複雑になり過ぎないように、図2には１つのみの記載としている (ここで議論される他のコンポーネントについても同様である）。

上述したように、メモリ20は、本発明の実施形態による装置の動作に関連するステップを実行するプロセッサ18を構成する1又は複数のソフトウェアアプリケーション(例えば、ソフトウェア22)、モジュールなどの形で命令を格納することができる。上述した機能の例としてここに２つ示す。それらは、1又は複数のユーザインタフェース要素の操作と関連している。それらは、特に限定されるものではないが、本明細書では、"クラッチ"と、"ブーム"として記載されている。例えば、以下に説明されているように、プロセッサ18は、ソフトウェア22により、クラッチモジュール18Aとブームモジュール18Bの専用の機能を提供する特別用途機器として機能するように構成されている。ある実施形態であって本明細書で議論されている装置の他の機能とは異なるが、クラッチモジュール18A及び/又はブームモジュール18Bは、ユニバーサルアプリケーションの互換性を持ち、すべてのオペレーティングシステムに依存しないように構成できる。1又は複数のウェブブラウザ、生産性アプリケーション、ゲームアプリケーション、ユーティリティ等を含む他のソフトウェアアプリケーション及び/又は機能の例について以下で述べる。

メモリ20は、装置から送信された及び/又は装置が受信したコンテンツもまた格納できる。本明細書に記載されているように、1又は複数のソフトウェアアプリケーションは、本装置によって動作されるソフトウェアをそれぞれ備えることができる。なお、本明細書に記載される任意の1又は複数のソフトウェアアプリケーションは、本発明の精神及び範囲から逸脱することなく、ファームウェア、ハードウェア又はソフトウェア、ファームウェア及び/又はハードウェアの任意の組合せによって実現されてもよいと理解されるべきである。

メモリ20に加え、プロセッサ18は、データ、コンテンツ等の表示、送信及び/又は受信するための少なくとも1つのインターフェース又は他の手段(例えば、RF、BT、IrDAや無線LAN、LAN、MAN、WAN(例えば、インターネット）、PSTN(公衆網)技術などによるもの)にも接続することができる。この点に関して、1又は複数のインターフェースは、データ、コンテンツ等を送信及び/又は受信するための少なくとも1つの通信インターフェース24又は他の手段を備えることができる。1又は複数の通信インターフェースに加え、1又は複数のインターフェースは、1又は複数のイヤホン及び/又はスピーカを含むことが可能な少なくとも1つのユーザインタフェース、表示画面26 、及び/又はユーザ入力インターフェース28を備えることができる。次に、ユーザ入力インターフェースは、本装置がユーザからのデータを受信できるようにする多くのコンポーネント及び/又はデバイス(例えば、マイクロフォン、キーパッド、(表示画面から一体又は別個の）タッチセンサー式表示画面、ジョイスティック、又は他の入力装置)のいずれかを備えることができる。ある実施形態において、クラッチモジュール18A及び/又はブームモジュール18Bは、マルチタッチ入力インターフェースを介してグラフィックオブジェクトとのより効率的かつ正確なユーザ応答をできるように、及び/又は、グラフィックオブジェクトを制御するように、最適化及び/又は構成することができる。

上述のように、本装置は、プロセッサ18により実行されるソフトウェアアプリケーションを格納することで、特別用途コンピュータとして機能し、本発明の実施形態における装置の動作に関連する専用のステップを実行することができる。このような専用の機能の例としてクラッチとブームの２つを示し、両機能によってプロセッサ18は1又は複数のユーザインタフェース要素を生成する特別用途のマシンとして構成される。図3及び図4は、本発明の実施形態に係るクラッチモジュール18A及びブーム18B のフロントエンド動作(例えば、ユーザインタフェースの対話）とバックエンド動作(例えば、装置）を示すフローチャートである。図 5-11は、クラッチモジュール18Aとブームモジュール18Bを実行する装置上に示される表示画面の例であり、各々についてのユーザインタフェース要素が示されている。本明細書に記載されているように、クラッチモジュール18Aの動作中に示される1又は複数のユーザインタフェース要素は、クラッチユーザインタフェース(UI）要素、クラッチ要素、又は単にクラッチとよばれる。同様に、ブームモジュール18Bの動作中に示される1又は複数のユーザインタフェース要素は、ブームユーザインタフェース(UI）要素、ブーム要素、又は単にブームとよばれる。

図のように、クラッチは、コンピュータ環境の別のソフトウェアアプリケーション(例えば、ウェブブラウザ）内のプログラム機能を連動、連動解除するための独自の機構であり、タッチインターフェース環境において特に有用である。例えば、ある実施形態では、クラッチがタッチインターフェース環境のブラウザ及び/又は他のアプリケーション内のプログラム機能を連動、連動解除するための機構を提供できるように装置を構成することができる。 オペレーティングシステムではなくアプリケーション(アプリケーションプログラム）内で機能することにより、クラッチはすべてのオペレーティングシステムに依存せず、ユニバーサルアプリケーションの互換性を持つことになる。図3及び図5を参照すると、適切なクラッチUI要素30を介してクラッチを連動させることにより、ステップS302においてユーザ(及び/又は任意の他の適切なサービス・プロバイダ）によって1又は複数の機能をクラッチに割り当てつつ、アプリケーション内で複数の機能を使用、制御及び操作することができる。

例えば、図5に示すようにステップS304において、本装置上で動作するアプリケーションのUI要素32は、クラッチとの連動のために選択してもよい。それは、図6,7及び13に示すように、クラッチUI要素30に近接した表示画面をユーザによってシングルタップする、及び/又は、その表示画面に指をホールドすることで可能となる。UI要素32は、タッチセンサー式ディスプレイによって操作され、及び/又は、上記ディスプレイによって表示されるどのような種類のデザイン要素であってもよい。単一のUI要素が図5-7,12及び13に示されているが、ユーザは、クラッチによって、操作対象のアプリケーションにおける種々の要素を切り替えることができ、そうでなければ上記種々の要素を表示させて選択(例えば、ハイライト）することができる。アプリケーションを起動させたままにしつつ、クラッチを連動させ且つユーザ要素を選択した状態で、複数の機能(例えば、移動、着色、太字、グループ化、編集/書式などに関連するもの）を使用しUI要素32を操作することも可能である。

UI要素32の要素識別子(”ID”）は、例えば、UI要素32が表示される場所の近傍で生じたタッチイベントを装置が検出したこと基づいて、ステップS306でメモリに格納される。本明細書で言及したように、UI要素の”近傍”での“タッチイベント”には、タッチセンサー式表示画面の任意で適切なタッチング(例：ユーザの指、スタイラスなどによるもの）が含まれる。この結果、本装置のオペレーティングシステム及び/又は他のシステム構成により、本装置は、ユーザが表示画面に提示される仮想ボタンを”選択”したことを判断する。この点に関して、選択されたUI要素32に基づいて、選択されたUI要素32の視覚的表示の提供が可能となる。例えば、図6に示すように、ユーザ、及び/又は、システムがUI要素32を選択する操作に続いてインジケータ602が提供される。

ステップS308において、ユーザは、本明細書に記載のクラッチの機能として設計され及び/又は関連付けられている、画面の領域及び/又は少なくとも1つの画面上のボタン(例えば、クラッチUI要素30)に触れることができる。クラッチモジュール18Aは、システムに応答して、メモリ(例えば、メモリ20）内に要素IDを配置することでクラッチUI要素30が選択されたことを判断することができる。

S310において、機能は、選択されたUI要素32に割り当てることができる。例えば、クラッチUI要素30が選択されている間に、移動機能、着色機能、及び/又は任意の他の操作可能な機能をUI要素32に割り当てることができる。 ある実施形態では、様々な操作機能を、1又は複数のメニューに関連付けることができる。図11-13に示されているように、パレット、リボン、及び/又は任意の他の適切なフォーマットで表示できる。UI要素32に割り当てられている機能は、(例えば、表示されたパレットオーバーレイにある操作機能のアイコンをタッチすることで）ユーザによって選択され、及び/又は、システムによって自動的に選択され、そして、UI要素32の要素IDがメモリに保存される前後及び/又はクラッチUI要素30がユーザによって選択される前後に決定可能である。

ステップS312では、選択されたUI要素32は、割り当てられた機能(例えば、色の変更、移動可能、回転可能)を表示することができる。ある実施形態では、ユーザとの対話に応答して操作機能が有効となる。例えば、ある実施形態において、ユーザは、クラッチUI要素30にタッチしつつ画面上で別の指をドラッグすることで、UI要素32を画面上で移動させることができる。

ユーザが、クラッチを開放した(例えば、クラッチUI要素30に近接したタッチ画面の一部に触れなくなった）とき、ステップS314において、装置は、UI要素32に関連付けられた操作機能を連動解除するように構成することができる。このように、ユーザは、指で画面上をドラッグする必要があるが、クラッチUI要素30が選択されている場合、UI要素32は、画面上を移動することはできない。ある実施形態では、クラッチUI要素30が連動解除された時、UI要素32はどの方法でも操作されない。ある実施形態では、UI要素32は、クラッチUI要素30の連動時に操作される方法とは異なる方法により操作されてもよい。この点に関して、クラッチUI要素30は操作機能の起動スイッチとして及び/又は利用可能な操作機能のスイッチとして機能することができる。

ある実施形態では、クラッチが操作されている間に起動されるアプリケーションは、クラッチUI要素30を連動/連動解除することによって、操作機能を有効及び/又は無効にすることもできる。例えば、ウェブブラウザは、クラッチUI要素30に関連付けられた操作機能の第一のセットを備えることができ、一方、ビデオゲーム又はアプリケーション設計アプリケーションは、UIクラッチ要素30と関連付けられた操作機能の第二セットを備えることができる。

図3のステップに戻ると、S316では、割り当てられた機能が終了し、選択されたUI要素32から機能を削除することができる。それによって、UI要素30は、操作から連動解除されるか、装置がタッチイベント(例えば、ユーザは、タッチ画面上のさまざまな場所に触れること）を検出した場合に、操作機能を制限する。

オペレーティングシステムではなくアプリケーション内での操作により、ブームが、独立した二次的ユーザインタフェース要素34を作成することで、補助的な機能を装置元来のオペレーティングシステム及び/又は他の機能に追加することができる。上記二次的ユーザインタフェース要素は、タッチ画面内でのアプリケーション要素の正確なアーティキュレーション(articulation)(例えば、ピクセル毎）を支援する。二次元環境で動作している場合に、ブームは、x軸及び/又はy軸上のアプリケーションUI要素32のアーティキュレーション(移動）を可能とし、さらに、三次元環境で動作する場合には、ブームの機能は、z軸上のUI要素のアーティキュレーションがさらに可能となっている。

図4及び図5を参照すると、ステップS402における操作で、ユーザは画面上に焦点を合わせタッチして、ブームUI要素34と連動し且つそれによる操作のためのアプリケーションUI要素(例えば、UI要素32)を選択する。クラッチにおける上記の議論と同様に、UI要素32の要素IDは、ターゲット要素識別子として、ステップS404でメモリに格納される。

ステップS406において、ブームUI要素34は、ユーザが、ブームUI要素34における1又は複数の構成要素を表示している近傍をタッチする、及び/又は、その近傍における任意の他の種類のタッチイベントを適用することによって選択される。プロセッサは、その時点でメモリ内に要素IDを配置させて、選択されたUI要素32にアーティキュレーション機能を割り当てるように構成してもよい。ステップS408に示すように、ユーザは、ブームUI要素34(例えば、タッチ方向指示子）を連動させて、選択されたUI要素32の位置をx、y及び/又はz軸上に明確に示してもよい。

図6及び図7に示すように、クラッチUI要素30はブーム機能が有効となるように連動されなければならない。装置がクラッチUI30内で連動タッチイベントを検出し、さらにブームUI要素34の一部が第2のタッチイベントに接しているとき、選択されたUI要素32は、選択されたブームUI要素34の一部と相関するように、y軸を下方及び/又は上方に移動することができる(それぞれ図6及び図7に示す）。図6及び図7 に示すように、選択されたUI要素32は、y軸上での移動に限定されることはなく、x及び/又はz軸上に移動させてもよい。

移動対象である選択された要素は、例えば装置の構成、UI要素における軸線/複数の軸線の移動に応じて、及び/又は、任意の他の理由に基づいて、線形に及び/又は非線形に加速してもよい。例えば、システムによって適用できる加速機能が複数あってもよい。より高い速度変化が実行されると、ターゲットUI要素32は、所望の通りに(例えば、非線形の加速関数に基づいて)画面上を移動することができる。図 8は、線形関数x+1の例示であり、図9及び図10はそれぞれ、x^0.5及び x³の典型的な非線形関数を示す。ブームを使用した際に、ターゲットUI要素をどのように画面上で移動させたいかに応じてこれらの関数を適用させてもよい。例えば、ブーム機能は、線形及び/又は非線形特性であってもよい。非線形の場合、ユーザがブームボタンをより長くタッチするほど、画面上で対象物体がより速く移動する。 このような例では、時間依存関数は、例えば一旦クラッチが連動されると開始されるタイマを用いて実行することができる。正確なハードウェア最適化タイマは、“クラッチ“が押され/連動された時間をプロセッサから(例えば、ミリ秒単位で）取得して、その値をメモリにあるグローバル変数に格納し、さらに、ある間隔で現在時刻を取得して、ローカル変数に格納することによって作成できる。上記間隔が有効になるたびに、開始時間が現在時刻から減算されて、“クラッチ”が連動してから経過した合計時間が得られる。(クラッチが連動されていようがいまいが）ブームが有効になったときに、類似の及び/又は同様の機能が実行される。

加えて又は代わりに、移動関数(例えば、線形対加速(linear versus acceleratory)）は、指とタッチスクリーンとの間の接触面積に依存して、ブームUI要素34に加えられる力と、選択されたUI要素32の加速度とが関連付けられる。例えば、ブームUI要素34に加えられたより大きな力の結果、指とタッチスクリーンとの間の接触面積がより大きくなることにより、プロセッサは、ブームUI要素34に対して加わる(タッチイベントを生成する指の表面積によって測定される）力が小さい時よりも、選択されたUI要素32をより速く移動させることができる。一旦、要素がその最終位置に到達すると、ステップS410にあるように、ユーザはブームUI要素34を解放することができ、ステップS412にあるように、方向機能は選択された要素から削除することができる。

図11-13は、本発明のある実施形態により表すことが可能な更なるユーザインタフェース表示を図示したものである。ユーザは、グラフィカルユーザインタフェースを作成するために、複数のユーザインタフェース要素の中にある単一のユーザインタフェース要素のための複数の機能を使用、制御及び/又は他の方法で操作する必要がある。これまで単一のユーザインタフェース要素のみを説明してきたが、ウェブページ、ビデオゲーム、雑誌のレイアウト、漫画、及び/又は任意の他のタイプのグラフィック表示を設計する際には、UI要素32とUI要素32Bのように複数のUI要素があってもよい。しかし、UI要素のうちの一つだけを操作する必要が生じる場合がある。例えば、ユーザはターゲットUI要素32を色で塗りつぶしたいかもしれない。他の例として、グラデーションカラーを作成する、外観におけるレイヤーをぼやかしたりシャープにしたりする、選択した領域を暗くしたり明るくしたりする、選択された領域又は選択されたレイヤーを表示画面の周囲に移動させるなどの操作がある。

例えば、図11に示す通り、ユーザは、オンライン設計アプリケーション1102を使ってウェブページを構築したいかもしれない。空白のキャンバス内においてユーザは1又は複数のUI要素を作成することができる。次に、ユーザはUI要素32を色で塗りつぶしたいかもしれない。画面上のオーバーレイで表示されるカラーパレットからの色オプション1104の近傍をタッチして色を選択することができる。カラーオプション1104を選択しさらにその後UI要素32をタッチすると、 UI要素32は、クラッチUI要素30が連動すべきターゲットユーザインタフェース要素として識別される。上述のようにUI要素32をターゲットとする場合、 UI要素32の要素識別子はメモリに格納される。その後、ユーザはクラッチUI要素30を選択することができ、それによって操作対象のUI要素32を分離して連動する。クラッチUI要素30が連動されている間にUI要素32をタッチすると、装置によってUI要素32がオプション1104に関連付けられた色で着色可能となる。その後、ユーザがクラッチUI要素30を連動解除することなく、UI要素32Bを選択した場合、UI要素32Bはそのままの状態であり、操作することはできないだろう。理由は、クラッチUI要素30の連動により操作機能がターゲットUI要素へと分離されるためであり、それによって、マルチタッチ表示装置を用いたグラフィック表示を構築あるいは設計する際の意図しない操作を回避できる。

図12に示すように、ユーザは、灰色に着色した後に、選択したターゲットUI要素32を、UI要素32Bと重なり合う(及びUI要素32Bを隠す)ように拡大させたい場合もある。図13に示すようにUI要素32Bを有していないさらに別の例として、ユーザは指を使用して、クラッチUI要素30を連動させつつブームUI要素34を用いずに、ウェブデザインアプリケーション1102内の方々にUI要素32を自由に移動させることができる。例えば、UI要素32は、クラッチUI要素30を連動させてUI要素32を操作対象としつつ、ユーザの指の動きを追跡することができる。ある実施形態では、図12に示すように、対象となったUI要素の正確なピクセル位置を設けてもよい。例えば、x座標1106及びy座標1108は、グラフィカルユーザインタフェースを構築する際に、座標基準点をユーザに知らせることができる。マルチタッチ表示部品の許容範囲の精度がよくない場合があるにもかかわらず、x座標1106及びy座標1108は、ブームを使用してターゲットUI要素の正確な位置を把握するのに有効である。

特定のUI要素を連動及び連動解除させるクラッチ機能がない場合、一部或いは全てのUI要素は、“タッチムーブ”のような特別なタッチイベントのための機能を割り当てるイベントリスナーを持つことになるという危険性がある。その場合に、ユーザの意図しないUI要素の移動がありえる。クラッチは、一旦クラッチが連動されると、要素に対する機能をイベントリスナーに割り当てるための機構を提供する。本明細書記載の実施形態としてクラッチが連動される順序で説明してきたが、他の実施形態では、クラッチ機能はその要素とクラッチ機能が連動される順序にとらわれることのないように装置上に構成することができる。

本明細書記載の発明におけるある実施形態によれば、上に示した実施例及びディスプレイは、グラフィカルユーザインタフェースを構築するために使用されるものと同じディスプレイに備わるクラッチUI要素30及び/或いは他のUI要素に関するものである一方、ある実施例 (図示せず) では、1又は複数の他のユーザ入力コンポーネント(例えば、クラッチアクチベータとして機能する外部トラックパッド)を(UI要素30とは対照的なものとして、あるいは、それを付加して)使用することができる。同様に、本明細書に記載の1又は複数の他の特徴は、本発明の精神から逸脱することなく、任意の適切な方法で実装することができる。また、上述したように、図3及び図4は、本発明の例示的な実施形態による方法、システム及びコンピュータプログラムを反映したフローチャートである。また、フローチャートの各ブロック或いはステップ及びフローチャートにあるブロックの組み合わせは、様々な手段(例えば、ハードウェア、ファームウェア、及び/或いはソフトウェアであって1又は複数のコンピュータプログラム命令を備えるもの)によって実現されてもよいことは、理解されている。理解されるように、そのようなコンピュータプログラム命令は、コンピュータ或いはマシンを生成する他のプログラム可能な装置上にロードされ、コンピュータ又は他のプログラム可能な装置(例えば、ハードウェア）上で実行される命令により、フローチャートのブロック又はステップで指定された機能を実行する手段が生成される。また、これらのコンピュータプログラム命令は、特定の方法で機能するようにコンピュータ又は他のプログラム可能な装置に指示できるようにコンピュータ可読メモリに格納されてもよい。そのため、コンピュータ可読メモリに格納された命令により、フローチャートのブロック又はステップで指定された機能を実現する命令手段を含む製品(article of manufacture)が生成される。また、コンピュータプログラム命令は、コンピュータ又は他のプログラム可能な装置上にロードして、一連の動作ステップをコンピュータ又は他のプログラム可能な装置上で実行し、コンピュータ実施プロセスを生成してもよい。それにより、コンピュータ或いは他のプログラム可能な装置上で実行される命令が、フローチャートのブロック又はステップで指定された機能を実現するステップを提供する。

したがって、フローチャートのブロック或いはステップは、指定の機能を実行する手段の組合せ、指定の機能を実行するステップの組合せ及び指定の機能を実行するためのプログラム命令手段をサポートしている。フローチャートの1又は複数のブロック又はステップ、及びフローチャートのブロック或いはステップの組み合わせは、指定の機能又はステップ、或いは特別用途のハードウェア及びコンピュータ命令の組合せを実行する特別な用途のハードウェアベースコンピュータシステムによって実現される。

本明細書に記載された本発明に関する多くの改良及び他の実施形態については、これらの発明における前述の説明及び関連する図面を提示することにより、同等の技術分野の当業者にとって理解が容易となる。例えば、上述の多くの例はマルチタッチデバイスの使用に主に関連しているものであり、視覚的な操作、画面上のオブジェクト(例えば、ウェブページのデザイン、ビデオゲームの構築、プレゼンテーションのレイアウト)によってコンテンツを作成している。一方、同様の機能は、例えばマルチタッチデバイスを用いたコンテンツと相互作用する、及び/又は、消費するため使われる。例えば、ビデオゲームは、クラッチUI要素30及び/又はブームUI要素34を用いて再生することができる。例えば、一人用シューティングゲームでは、クラッチUI要素30はトリガボタンとして、ブームUI要素34はキャラクター及び/又は視野の移動制御として使用することができる。タイミング機能(例えば、ユーザがどのくらい長く画面の特定の領域に触れているか)、圧力感度機能(例えば、ユーザがどれくらい強く画面の表面積を押しているか)、及び/又は、加速機能 (例えば、図9及び図10に関連して説明したように、タッチイベントがどのくらいの長さ及び/又は強さで生成したかに基づいて加速度を適用する）は、ビデオゲーム環境に適用することもできる。例えば、ユーザがトリガボタン(例えば、クラッチUI要素30）をより長く及び/又はより強くタッチするほど、より高速にキャラクターの銃器が発射される。別の例として、クラッチUI要素30は、レースカー及び/又は他のタイプのドライビングゲームのスロットルとして機能することができる。ユーザがクラッチUI要素30をより長く及び/又はより強くタッチすれば、車両がより高速に加速していき、ブームUI要素34は、車両(例えば、航空機、ボート、自動車、オートバイなど）を操縦するために使用することができる。さらに別の例として、クラッチUI要素30とブームUI要素34は、文明シミュレーションゲーム、パズルゲーム及び/又は、多くの表示された選択可能なオブジェクト間を(例えば、ブームを使用して)移動し、(例えば、クラッチを使用して)操作を選択するような他のタイプのゲームで使用することができる。さらに、本書に説明した実施形態の構成にとらわれないように、クラッチ、ブーム機能は、ネイティブアプリケーション(例えば、ウェブブラウザ、とりわけ、ウェブベースのコンテンツを閲覧できる他のタイプのソフトウェア)を使用してウェブベースのゲームと対話することが可能となっている。例えば、ビデオゲームは、ネットワーク16を介してサーバ14から提供され、ワークステーション12は、ゲーム固有のソフトウェアをダウンロードすることなく、或いは任意の付加的なユーザインタフェースコンポーネント(例えば、ジョイスティック、ブルートゥース、マウス、等）を使用することなく、単にマルチタッチデバイスにビデオゲームをプレイするように構成できる。

したがって、本発明は開示された特定の実施形態、変形例及び他の実施形態は、ここに記載の特許請求の範囲内に含まれることを意図しており、それに限定されるものではない。特定の用語が本明細書に用いられているが、それらは、限定の用途のためではなく、一般的かつ説明的な意味で使用されるにすぎない。

Claims (30)

1. 表示画面上に示されたユーザインタフェース要素を操作する方法であって、
   タッチセンサー式表示画面上にターゲットユーザインタフェース要素を表示するステップと、
   クラッチユーザインタフェース要素を表示するステップと、
   前記クラッチユーザインタフェース要素の近傍に連動タッチイベントが存在しない一方で、前記ターゲットユーザインタフェース要素の近傍に選択タッチイベントが生成したと判断するステップと、
   前記選択タッチイベントが生成したという判断に基づいて、操作対象の前記ターゲットユーザインタフェース要素を選択するステップと、
   前記連動タッチイベントの生成時点を判断するステップと、
   前記連動タッチイベントが生成すると、前記ターゲットユーザインタフェース要素に関連した操作機能をプロセッサによって有効にするステップと、を備える方法。
2. 前記連動タッチイベントが生成していない時点を判断するステップと、
   前記ターゲットユーザインタフェースに関連した前記操作機能を無効にするステップと、をさらに備える、請求項1に記載の方法。
3. 前記連動タッチイベントが存在しない一方で、ユーザインタフェース要素を選択可能となるように選択機能を有効にするステップをさらに備える、請求項2に記載の方法。
4. 操作対象の前記ターゲットユーザインタフェースを選択するステップは、前記選択タッチイベントが生成したという判断に基づいて、前記ターゲット要素に関連したターゲット要素識別子をメモリに格納するステップを有する、請求項1に記載の方法。
5. 前記連動タッチイベントの生成が開始したという判断に基づいて、メモリから前記ターゲット要素識別子を取得するステップと、前記ターゲットユーザインタフェースと前記操作機能とを関連付けるステップと、をさらに備える、請求項４に記載の方法。
6. 操作対象の前記ターゲットユーザインタフェース要素が選択されたという判断に基づいて、選択された前記ターゲットユーザインタフェースを識別する視覚インジケータを表示するステップをさらに備える、請求項1に記載の方法。
7. 前記操作機能を有効にするステップは、前記連動タッチイベントが検出された場合にのみ許可される様式としてユーザが前記ターゲットユーザインタフェース要素を操作することができる、請求項1に記載の方法。
8. 前記操作機能を有効にするステップは、前記連動タッチイベントが検出されない限り制限される様式としてユーザが前記ターゲットユーザインタフェース要素を操作することができる、請求項1に記載の方法。
9. 前記操作機能を有効にするステップは、前記表示画面上で前記ターゲットユーザインタフェース要素を正確に移動させるため且つ前記ターゲットユーザインタフェース要素の位置に関連するx及びy軸のピクセル位置を表示するためのブーム機能を有効にする、請求項1に記載の方法。
10. 前記連動タッチイベントが生成している間に、有効となっている1又は複数の前記操作機能に関連する複数の選択可能な仮想ボタンを有するオーバーレイを表示するステップをさらに備える、請求項1に記載の方法。
11. 表示画面上に示されるユーザインタフェース要素を操作するように構成される装置であって、
    ターゲットユーザインタフェース要素を表示し、
    クラッチユーザインタフェース要素を表示し、
    選択タッチイベントを検出し、
    連動タッチイベントを検出するように構成されたタッチセンサー式表示画面と、
    前記クラッチユーザインタフェース要素の近傍に前記連動タッチイベントが存在しない一方で、前記選択タッチイベントが前記ターゲットユーザインタフェース要素の近傍に生成したことを判断し、
    前記選択タッチイベントが生成したという判断に基づいて、操作対象の前記ターゲットユーザインタフェース要素を選択し、
    前記連動タッチイベントの生成時点を判断し、
    前記連動タッチイベントが生成すると、前記ターゲットユーザインタフェース要素に関連した操作機能を有効にするように構成されたプロセッサと、を備えている装置。
12. 前記プロセッサは、前記連動タッチイベントが生成していない時点を判断し、前記ターゲットユーザインタフェースに関連した前記操作機能を無効にするようにさらに構成される、請求項11に記載の装置。
13. 前記プロセッサは、前記連動タッチイベントが存在せずに、ユーザインタフェース要素を選択可能となるように選択機能を有効にするようにさらに構成される、請求項12に記載の装置。
14. 前記選択タッチイベントが生成したという判断に基づいて、前記ターゲット要素に関連したターゲット要素識別子を格納するように構成されるメモリをさらに備える、請求項11に記載の装置。
15. 前記プロセッサは、前記連動タッチイベントの生成が開始したという判断に基づいて、メモリから前記ターゲット要素識別子を取得し、及び、前記ターゲットユーザインタフェース要素と前記操作機能を関連付けるようにさらに構成される、請求項14に記載の装置。
16. 操作対象の前記ターゲットユーザインタフェース要素が選択されたという判断に基づいて、前記プロセッサは、選択された前記ターゲットユーザインタフェースを識別する視覚インジケータを表示するようにさらに構成される、請求項11に記載の装置。
17. 前記プロセサは、前記連動タッチイベントが検出された場合にのみ許可される様式としてユーザが前記ターゲットユーザインタフェース要素を操作することができるようにさらに構成される、請求項11に記載の装置。
18. 前記プロセッサは、さらに、前記連動タッチイベントが検出されない限り制限される様式としてユーザが前記ターゲットユーザインタフェース要素を操作することができるようにさらに構成される、請求項11に記載の装置。
19. 前記プロセッサは、ブーム機能を有効にするようにさらに構成される、請求項11に記載の装置。
20. 前記プロセッサは、前記連動タッチイベントが生成している間に、有効となっている1又は複数の前記操作機能に関連する複数の選択可能な仮想ボタンを有するオーバーレイ表示を容易にするようさらに構成される、請求項11に記載の装置。
21. コンピュータ実行可能なプログラムコード部分が格納されている少なくとも1つの非一時的なコンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータ実行可能なプログラムコード部分は、
    タッチセンサー式表示画面上にターゲットユーザインタフェース要素を表示し、
    クラッチユーザインタフェース要素を表示し、
    前記クラッチユーザインタフェース要素の近傍に連動タッチイベントが存在しない一方で、前記ターゲットユーザインタフェース要素の近傍に選択タッチイベントが生成したと判断し、
    前記選択タッチイベントが生成したという判断に基づいて、操作対象の前記ターゲットユーザインタフェース要素を選択し、
    前記連動タッチイベントの生成時点を判断し、そして、
    前記連動タッチイベントが生成すると、前記ターゲットユーザインタフェース要素に関連した操作機能をプロセッサによって有効とする、プログラムコード命令を有する、コンピュータプログラム製品。
22. 前記連動タッチイベントがしていない時点を判断し、
    前記ターゲットユーザインタフェースに関連した前記操作機能を無効にするという命令をさらに備える、請求項21に記載のコンピュータプログラム製品。
23. 前記連動タッチイベントが存在しない一方で、ユーザインタフェース要素を選択可能となるように選択機能を有効にするという命令をさらに備える、請求項22に記載のコンピュータプログラム製品。
24. 操作対象の前記ターゲットユーザインタフェース要素を選択する命令は、前記選択タッチイベントが生成したという判断に基づいて、前記ターゲット要素と関連したターゲット要素識別子をメモリに格納するという命令をさらに備える、請求項21に記載のコンピュータプログラム製品。
25. 前記連動タッチイベントの生成が開始したという判断に基づいて、
    メモリから前記ターゲット要素識別子を取得し、前記ターゲットユーザインタフェース要素と前記操作機能とを関連付けるという命令をさらに備える、請求項24に記載のコンピュータプログラム製品。
26. 操作対象の前記ターゲットユーザインタフェース要素が選択されたという判断に基づいて、選択された前記ターゲットユーザインタフェースを識別する視覚インジケータを表示する命令をさらに備える、請求項21に記載のコンピュータプログラム製品。
27. 前記操作機能を有効にする命令は、前記連動タッチイベントが検出された場合にのみ許可される様式としてユーザが前記ターゲットユーザインタフェース要素を操作することができる、請求項21に記載のコンピュータプログラム製品。
28. 前記操作機能を有効にする命令は、前記連動タッチイベントが検出されない限り制限される様式としてユーザが前記ターゲットユーザインタフェース要素を操作することができる、請求項21に記載のコンピュータプログラム製品。
29. 前記操作機能を有効にする命令は、ブーム機能を有効にすることで、前記表示画面上で前記ターゲットユーザインタフェース要素を正確にさせることができる、請求項21に記載のコンピュータプログラム製品。
30. 前記連動タッチイベントが生成している間に、有効となっている1又は複数の前記操作機能に関連する複数の選択可能な仮想ボタンを有するオーバーレイを表示する命令をさらに備える、請求項21に記載のコンピュータプログラム製品。