JP2008033739A - 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置 - Google Patents

Abstract

【課題】付加された圧力を測定することが可能なタッチスクリーンディスプレイ装置に力覚フィードバックを提供することで、物理的操作手段と同様のインターラクティブな操作をユーザができるようにする。
【解決手段】ディスプレイ／入力部１０は、少なくとも１つのＧＵＩオブジェクトを表示するための視覚表示ユニット１０３、タッチスクリーンとして作用する２Ｄ位置検出ユニット１０４、力覚型フィードバックを生成するための力覚型フィードバック生成ユニット１０２、タッチスクリーンに付加された圧力を検出するための圧力検出ユニット１０５を含んでいる。生成される力覚型フィードバックの形態は、（ｉ）検出されたタッチ位置、（ｉｉ）検出された圧力値および（ｉｉｉ）ＧＵＩオブジェクトの判定された現在の論理状態に応じて判定される。
【選択図】図１

Description

本発明は、タッチスクリーンおよび力覚フィードバックを利用するユーザインタフェースの方法、およびそのユーザインタフェース方法を用いる装置に関する。

特許文献１は、ユーザの指の位置またはディスプレイ装置のタッチスクリーン上のポインティングデバイスを検出するためのユーザインタフェースシステムの例を開示している。このユーザインタフェースシステムでは、ユーザがタッチパネルに表示されたグラフィカルユーザインタフェースオブジェクトのうちの１つに触れる場合、タッチスクリーンを振動させることで力覚フィードバックが提供される。ユーザがタッチスクリーンから指またはポインティングデバイスを放すか（release）または離した（detouch）場合、選択されたグラフィカルユーザインタフェースオブジェクトに割り当てられた機能が作動される。

特許文献２は、ユーザがタッチスクリーンに触れる場合、力覚フィードバックを提供することができるユーザインタフェースシステムの他の例を開示している。このユーザインタフェースシステムでは、ユーザが最初にタッチパネルに触れる場合、初期力覚フィードバックが提供される。さらに、タッチ位置が、グラフィカルユーザインタフェースオブジェクトが表示されるタッチスクリーンの領域に移動された場合、異なる力覚フィードバックが提供される。ユーザが、指またはポインティングデバイスを離すかまたはより長い期間押圧する場合、選択されたグラフィカルユーザインタフェースオブジェクトに割り当てられた機能が作動される。選択されたグラフィカルユーザインタフェースオブジェクトの作動は、力覚フィードバック、グラフィカルユーザインタフェースオブジェクトの色変化、音、またはこれらのコンビネーションの形式でユーザに通知される。

非特許文献３は、タッチスクリーンに付加された圧力を検出するための圧力センサをタッチスクリーンに加えることで、ユーザインタフェース操作中により大きな自由度を与えたユーザインタフェースシステムのさらに他の例を開示している。

特開２００３−０１６５０２号公報 特開２００５−１９０２９０号公報 Minsky, M. Manipulating simulated objects with real-world gestures using force and position sensitive screen. Proceedings of SIGGRAPH'84. 1984: ACM: pp. 195-203

ユーザインタフェース要素の機能を作動せずに、ユーザがタッチスクリーン上でユーザインタフェース要素に触れた場合、力覚通知（tactile notification）を提供することが望ましい。さらに、ユーザインタフェース要素の機能が作動された場合、力覚通知をユーザに提供することが望ましい。

さらに、力覚フィードバックを提供し、タッチスクリーンに付加された圧力を測定することができるタッチスクリーンディスプレイ装置を利用するユーザインタフェースの方法を提供することで、ユーザがボタンまたはキーの押下のような物理的操作手段と同様なインターラクション操作を可能にすることが望ましい。さらに、このようなユーザインタフェース方法を用いる装置を提供することも望ましい。

本発明は、上述された点を考慮してなされた。

本発明の一実施形態においては、タッチスクリーンを有する表示部を含む装置が提供される。前記タッチスクリーンは、少なくとも１つのグラフィカルユーザインタフェースオブジェクトを表示し、該タッチスクリーン上のタッチ位置を検出するよう構成される。前記タッチ位置がユーザの指またはポインティングデバイスで入力される。本装置は、前記タッチスクリーンに装着され力覚型フィードバックを生成する力覚型フィードバック生成ユニットと、前記タッチスクリーンに装着され、前記タッチスクリーンに加えられた圧力を検出する圧力検出ユニットと、前記表示部を制御および駆動するよう構成された制御部とを備える。前記タッチスクリーンに表示された前記グラフィカルユーザインタフェースオブジェクトは複数の論理状態を有している。前記制御部は、前記検出されたタッチ位置の履歴および検出された圧力値の履歴を用いて、前記グラフィカルユーザインタフェースオブジェクトの現在の論理状態を判定する。前記制御部は、（ｉ）前記検出されたタッチ位置、（ｉｉ）前記検出された圧力値および（ｉｉｉ）前記判定された前記グラフィカルユーザインタフェースオブジェクトの現在の論理状態に応じて、生成されるべき前記力覚型フィードバックの形態を決定する。

本発明の他の実施形態において、前記力覚型フィードバック生成ユニットは、前記ＧＵＩオブジェクトの異なる論理状態に対し異なる力覚型フィードバックを生成しても良い。

本発明の他の実施形態において、前記ＧＵＩオブジェクトの論理状態は、選択状態および作動状態を少なくとも含んでいても良い。前記制御部は、押圧イベントが認識された場合、前記グラフィカルユーザインタフェースオブジェクトが前記作動状態であると判定しても良い。前記制御部は、前記検出された圧力値の履歴を用いて、前記押圧イベントを認識してもよい。あるいは、前記制御部が（ｉ）前記タッチ位置が前記ＧＵＩオブジェクトの内部にあると共に、（ｉｉ）前記検出された圧力が予め定められた作動しきい値を超える場合、前記ＧＵＩオブジェクトが前記作動状態であると判定してもよい。他の例においては、前記制御部が（ｉ）前記タッチ位置が前記ＧＵＩオブジェクトの内部にあると共に、（ｉｉ）前記検出された圧力の履歴が予め定められた作動条件を満たす場合、前記ＧＵＩオブジェクトが前記作動状態であることを判定してもよい。本実施形態において、ＧＵＩオブジェクトの前記論理状態は、前記選択状態の後においてのみ、前記作動状態へ変化することが許されている。

本発明の他の実施形態において、前記力覚型フィードバック生成ユニットは、単一または複数の圧電素子を備えていてもよい。前記複数の圧電素子のうち少なくとも１つは、前記力覚型フィードバックの生成およびユーザの加えた圧力の検出のために使用されても良い。あるいは、前記複数の圧電素子のうち少なくとも１つが、前記力覚型フィードバックの生成および前記圧力の検出を時分割方式で行っても良い。

本発明の他の実施形態において、前記力覚型フィードバックの周波数または振幅、あるいは該振幅および周波数の両方が同時に制御されても良い。

本発明の他の実施形態において、前記力覚型フィードバック生成ユニットは、前記タッチ位置が前記ＧＵＩオブジェクトの内部にある限り、連続的な力覚型フィードバックを生成させてもよい。さらに、前記制御部は、前記連続的な力覚フィードバックを前記タッチスクリーンに付加された圧力の変化に応じて変化させる。前記連続的な力覚フィードバックの変化は、前記グラフィカルユーザインタフェースオブジェクトの現在の論理状態に依存する。

本発明の他の実施形態において、前記力覚型フィードバック生成ユニットは、前記タッチ位置が前記グラフィカルユーザインタフェースオブジェクト内の予め定められたホットスポットを横切ったとき、前記力覚型フィードバックのシングルバーストを生成させてもよい。あるいは前記力覚型フィードバック生成ユニットが、前記タッチ位置または前記検出された圧力が予め定められたしきい値よりも大きく変化した場合、前記力覚フィードバックのシングルバーストを生成させても良い。

本発明の他の実施形態において、前記ＧＵＩオブジェクトが複数のサブオブジェクトから構成され、前記力覚型フィードバック生成ユニットが異なる前記サブオブジェクトに対して異なる力覚フィードバックを生成させてもよい。

本発明の他の実施形態において、前記制御部は、複数の圧力しきい値を用いて前記ＧＵＩインタフェースオブジェクトが前記作動状態であると判定してもよい。

本発明の他の実施形態において、前記制御部は、前記タッチスクリーンまたはその回路からの信号のノイズレベルに基づき、より強い押しとより弱い押しとを区別し、該より強い押しが前記押圧イベントに対応し、該より弱い押しがユーザの指またはポインティングデバイスのスライドに対応させてもよい。

本発明の他の実施形態において、前記表示部は、前記力覚型フィードバックと相関させて視覚フィードバックを生成させてもよい。

本発明の他の実施形態において、タッチスクリーンのためのグラフィカルユーザインタフェース方法が提供される。本方法には、複数の論理状態を有するグラフィカルユーザインタフェースオブジェクトを表示し、ユーザの指またはポインティングデバイスが接触している前記タッチスクリーン上のタッチ位置を検出し、前記タッチ位置が検出された時に前記タッチスクリーンに付加される圧力を検出し、および、前記接触に対応して力覚型フィードバックを生成し、該力覚型フィードバックの形態が（ｉ）前記検出されたタッチ位置、（ｉｉ）前記検出された圧力値および（ｉｉｉ）前記グラフィカルユーザインタフェースオブジェクトの現在の論理状態に応じて決定されるものであり、前記グラフィカルユーザインタフェースオブジェクトの現在の論理状態は、前記検出されたタッチ位置の履歴および検出された圧力値の履歴を用いて判定されること、を含む。

本発明の前記実施形態において、前記力覚型フィードバックの形態は、前記タッチ位置、ユーザによって付加された前記圧力および前記グラフィカルユーザインターフェースオブジェクトの前記現在の論理状態に応じて決定される。したがって、さまざまな形態の前記力覚型フィードバックが前記グラフィカルユーザインターフェースオブジェクトの異なる論理状態に対して提供され、前記グラフィカルユーザインターフェースオブジェクトの現在の状態を知ることがユーザにとって容易となる。

本発明によれば、ユーザが、タッチスクリーン上でユーザインタフェース要素に触れた場合にはユーザインタフェース要素の機能を作動せずに力覚通知を提供すると共に、ユーザインタフェース要素の機能が作動された場合には力覚通知を提供することができる。

さらに本発明によれば、力覚フィードバックの提供およびタッチスクリーンに付加された圧力の測定が可能なタッチスクリーンディスプレイ装置を利用するユーザインタフェースの方法が提供される。本方法によれば、ユーザが物理的操作手段と同様のインターラクティブな操作を行なうことができる。さらに本発明によれば、そのユーザインタフェース方法を使用する装置が提供される。

以下、添付図面を参照して本発明の実施形態を説明する。以下の説明において、所定の用語は本発明の所定の特性について説明するために使用される。

用語「タッチスクリーン」は、ユーザの指または任意のポインティングデバイスが触れているスクリーン表面上のタッチ位置を検出することができる透明なスクリーンタイプ位置検出デバイスである。

用語「グラフィカルユーザインタフェースオブジェクトの論理状態」とは、異なる対応動作または処理を始動させる、グラフィカルユーザインタフェースオブジェクトの異なる状態を意味する。論理状態は、グラフィカルユーザインタフェースオブジェクトがユーザによって選択はされているが対応動作または動作が始動されていないことを示す選択状態（selected state）と、対応動作または処理が行なわれる作動状態（actuated state）とを少なくとも含んでいる。

図１は、本発明の一実施形態によるユーザインタフェース方法が適用された装置の一例を示す。装置１は、ディスプレイ／入力部１０、制御部２０およびアプリケーション部３０を有する。

装置１とのインターラクションをユーザ２に促すために、ディスプレイ／入力部１０はそのタッチスクリーン上に、ボタン、キー、スイッチまたは他のグラフィックユーザインタフェース（ＧＵＩ）オブジェクトの画像を表示する。ディスプレイ／入力部１０はさらに、スクリーン上のユーザの指またはポインティングデバイスのタッチ位置、および指またはポインティングデバイスがスクリーンに触れる時に付加された圧力を検出する。ディスプレイ／入力部１０はさらに、ユーザの入力操作に応じて異なるタイプの力覚フィードバックを提供する。

なお、本明細書中において「力覚（tactile）」および「力覚型（haptic）」という単語は、同じ知覚の結果を示し代替可能に使用される。

コントロール部２０は、（ｉ）ユーザの入力操作によって選択されたＧＵＩオブジェクトまたはスクリーン上のタッチ位置、（ｉｉ）ユーザの入力操作によってスクリーンに付加された圧力、および（ｉｉｉ）選択されたＧＵＩオブジェクトの現在の論理状態と、ユーザ２に提示される力覚フィードバックのタイプとの動的相関をとる。

アプリケーション部３０は、ディスプレイ／入力部１０によって検出されたユーザの入力操作に応じて、様々なオペレーションまたは機能を実行する。アプリケーション部３０は、様々なアプリケーションと、ソフトウェアユニットまたはハードウェアとを含んでいても良い。

（１）ディスプレイ／入力部
ディスプレイ／入力部１０は、力覚型フィードバック生成ユニット１０２、視覚表示ユニット１０３、二次元（２Ｄ）位置検出ユニット１０４および圧力検出ユニット１０５を備えている。

視覚表示ユニット１０３はユーザ２に視覚情報を提示する。その視覚情報は、ボタン、スライダ、描画、スクロールバー、ハイパーリンク等の画像のような、ユーザがインターラクション可能な様々な予め定められたＧＵＩオブジェクトを含んでいても良い。力覚型フィードバック生成ユニット１０２、２Ｄ位置検出ユニット１０４および圧力検出ユニット１０５と共に使用することができるものであれば、視覚表示ユニット１０３は、任意のタイプのディスプレイで構成することができる。例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ等が視覚表示ユニット１０３として使用することができる。

力覚型フィードバック生成ユニット１０２は、単一または複数層構造の圧電バイモルフアクチュエータにより構成してもよい。力覚フィードバックを生成するためのそのようなアクチュエータの例は、日本特許出願公開第２００６−４８３０２号に開示されている。あるいは、ディスプレイの寸法／質量および／または利用可能なパワーに応じて、様々なタイプの機械的または電気的若しくは電磁気的アクチュエータ／モータを力覚フィードバックを生成するために使用しても良い。

圧力検出ユニット１０４は、ユーザの入力操作によってタッチスクリーンに付加された圧力を測定することができる。本実施形態では、そのような装置が所定の解像度でユーザのタッチ圧力を測定することができ、他のユニット１０２〜１０４を備えたディスプレイ／入力部１０に組み入れることができるものであれば、様々なタイプの圧力検出ユニットを使用しても良い。例えば、歪みゲージまたは圧力検知抵抗器のような力検知回路素子は、指圧力が部材に印加された場合に、タッチスクリーン部材がタッチスクリーンの各サポートに及ぼす力を検出するために使用することができる。

あるいは、圧電アクチュエータをタッチスクリーンに付加された圧力を測定するために使用しても良い。例えば、圧電アクチュエータをドライバ回路および検出回路と接続することで、アクチュエータのうちのいくつかを力覚フィードバックを生成するために、そして残りを付加された圧力を測定するためにそれぞれ使用してもよい。圧電アクチュエータで構成された圧力検出ユニットの一例は、日本特許出願公開第２００６−４８３０２号に開示されている。あるいは、アクチュエータの駆動および圧力の測定を時分割方式で行なっても良い。より具体的には、圧力測定およびフィードバック生成のために、単一のアクチュエータをスイッチング回路と共に使用してもよい。

２Ｄ位置検出ユニット１０５は、ユーザがタッチスクリーン上で触る場所を検出する。タッチスクリーン／パネルがユーザの指またはポインティングデバイスの二次元位置を測定することができるものであれば、任意のタイプのタッチスクリーンまたはタッチパネル技術を２Ｄ位置検出ユニット１０５に使用しても良い。例えば、抵抗性タッチスクリーン、容量性タッチスクリーン、表面弾性波タッチスクリーン等を使用してもよい。

（２）制御部
制御部２０は、ディスプレイ／入力部１０によって検出されたユーザの入力操作に応じて、ディスプレイ／入力部１０のサブセクションを駆動し制御する。制御部２０は、ディスプレイ／入力部１０を制御して、位置、スクリーンに対するユーザのタッチ圧力およびＧＵＩオブジェクトの現在の論理状態に応じて力覚フィードバックを変化させ、物理的なインタフェースオブジェクトとのインターラクション操作をシミュレートしようとする。したがって、本実施形態の装置によれば、ユーザは、物理的なユーザインタフェースオブジェクトがなくても、容易かつ直観的に入力操作を行なうことができる。

コントロール部２０およびアプリケーション部３０は、コンピュータ（図示せず）により実現しても良く、該コンピュータがＣＰＵ、メモリ、外部データ保存部および入力／出力インタフェースを含んでいても良い。コントロール部２０およびアプリケーション部３０のサブセクションによって行なわれる様々な機能は、コンピュータにインストールした対応ソフトウェアを作動することにより、またはコンピュータに専用回路またはハードウェアを加えることによって実現することができる。アプリケーション部３０は、表示部２０によって検出されたユーザの入力操作に応じてコントロールされ得る、任意のアプリケーションソフトウェアまたはハードウェアを含んでいてもよい。

ソフトウェアは、記録媒体またはキャリア信号を介してコンピュータにインストールしても良い。ソフトウェアはまた、有線または無線接続を介して、ネットワークまたはインターネット上のサーバからダウンロードすることでインストールしても良い。

制御部２０は、信号生成ユニット１０６、ディスプレイコントローラ１０７、二次元（２Ｄ）位置検出ユニットコントローラ１０８、圧力検出ユニットコントローラ１０９、データ保存部１１０、力覚インタフェースコントローラ１１１、およびグラフィカルユーザインタフェース（ＧＵＩ）コントローラ１１２を含んでいる。

信号生成ユニット１０６は、力覚フィードバック生成素子または圧電アクチュエータを駆動するための信号を生成し力覚型フィードバック生成ユニット１０２へ提供する。信号は、ディスプレイ／入力部１０のスクリーン上のユーザの入力操作の位置および／または圧力に応じて変化する振幅、形状および期間と時間との電圧関数でも良い。出力信号の例は、矩形波、正弦波などである、本実施形態では、信号のタイプは上記例に限定されない。ユーザの入力操作に応じて力覚フィードバックを生成変化させることができる信号であれば、他の信号を使用しても良い。

力覚型フィードバック生成ユニット１０２は、入力信号を受け取り、該入力信号を、力覚フィードバック生成素子または圧電アクチュエータとスクリーンを組み合わせる機械的組立を介してユーザ２へ送る力パターンに変換する。ユーザ２がスクリーンに触れている場合、ユーザ２は力パターンを感じとることができる。

ユーザの入力操作のために、ユーザ自身の指の代わりに、ペン型ポインティングデバイスをスクリーン上の画像の選択に使用してもよい。装置１へのユーザ入力は、ａ）ユーザ２がその指でスクリーンに直接触れることができるタッチスクリーン技術、またはｂ）ユーザ２のスクリーンに触れている位置を報告するためにペン型デバイスが使用されるペン入力技術、を用いて検出しても良い。

圧力検出ユニットコントローラ１０９は、ユーザがスクリーン上を触っているとき付加された圧力値を判定する。位置検出ユニットコントローラ１０８は、ユーザ２がスクリーン上を触っている位置を判定する。判定データはＧＵＩコントローラ１１２に伝えられる。

ユーザがスクリーンを押し、同時に力覚フィードバックがユーザに与えられる場合、圧力信号は、力覚フィードバック信号からの成分を有する。信号の正確な形が知られているので、この信号はフィルタすることができる。あるいは、力覚フィードバックが提供されない時点、つまり力覚フィードバック波形が零の値にある場合のみ、圧力を測定しても良い。

ＧＵＩコントローラ１１２は、ユーザ２がどのＧＵＩオブジェクトとインターラクションするつもりであるか判定する。さらに、ａ）ＧＵＩオブジェクトの現在の状態、およびｂ）ＧＵＩオブジェクトに付加された圧力値に応じて、ＧＵＩコントローラ１１２は、ＧＵＩオブジェクトの状態の適切な（appropriate）変化を判定する。例えば、ＧＵＩオブジェクトがグラフィカルなボタンである場合、ＧＵＩコントローラ１１２は、ボタンの状態が「フリー」から「押圧された」へまたは「作動されなかった」から「作動した」へ変化させるために十分な圧力がスクリーン上のグラフィカルなボタンに印加されたかを計算することができる。ＧＵＩオブジェクトの状態を判定した後に、ＧＵＩコントローラ１１２は、ディスプレイコントローラ１０７にコマンドを送ることによって、ＧＵＩオブジェクトの視覚的な状態を変化させる。

あるいは、ＧＵＩオブジェクトの視覚的な状態が変わったとき、ＧＵＩオブジェクトの状態の変化についてユーザ２に通知するために、音声または音響アラームを生成しても良い。

ＧＵＩコントローラ１１２はさらに、力覚信号生成ユニット１０２を駆動するための適切なコマンドを生成する力覚インタフェースコントローラ１１１にコマンドを送る。力覚フィードバック用のデータは、信号生成ユニット１０６によりアルゴリズムで生成されると共にデータ保存部１１０にデータ１１０ａとして格納しても良い。フラッシュメモリー、ＲＯＭ、ハードドライブ、およびネットワーク記憶装置を含む、広く利用可能な任意のデータ保存装置をデータ保存部１１０として用いても良い。どのようなファイルシステムでも、データ保存部１１０のデータを整理するために使用することができる。

本発明の他の実施形態では、これまでの入力履歴およびＧＵＩオブジェクトのこれまでの状態履歴がユーザ２への力覚フィードバックを決定するために使用される。

本発明の実施形態のさらなる詳細について記述する前に、関連技術（related art）のタッチスクリーンインターラクション操作についての短い記述は有用であり得るので以下のとおり提供する。

図２は、関連技術の典型的なタッチスクリーンインターラクションの一例を示す。ユーザ２がスクリーンに触れると（タッチダウンイベントＴ１）、インターラクションがスタートする。ユーザ２はその後、入力スペース（ドラッグまたはスライド状態Ｔ２）を横切って指をドラッグするか、あるいは１つの場所で安定にそれをホールドすることができる（ホールド状態Ｔ３）。さらに、ユーザ２は、スクリーンから指を離すこともできる。これはＧＵＩオブジェクトの内部から（内リフトオフイベントＴ４）、あるいはＧＵＩオブジェクトの外から（外リフトオフイベントＴ５）行うことが可能である。

したがって、各ＧＵＩオブジェクトは次の状態をとることが出来る。１）中立、２）選択（ユーザ２が、例えばＧＵＩオブジェクトの内部に指またはペン型デバイスを置くようにして触れることによりＧＵＩオブジェクトを選択する時）、および３）作動（物理的なボタンの押すことに対応して、ＧＵＩオブジェクトが関連コマンドを作動すべきであることをユーザ２が示す時）。これらの状態に加えて、ＧＵＩオブジェクトは非作動（inactivate）にもなり得る。つまり、それを作動することができないことを意味しているが、それはユーザ入力に応答することもあり得るし、応答しないこともあり得る。

なお、関連技術では、ユーザ２がＧＵＩオブジェクトを選択し、次にそれを作動させるか、またはＧＵＩオブジェクトの外へ指／ペンを動かし持ち上げることにより、ニュートラル状態へＧＵＩオブジェクトを戻すことができる。このような関連技術のインターラクション方法は、ユーザが物理的なボタンに対して典型的に行うこととは異なるものであり、ユーザ２は典型的には物理的なボタンを押して作動させる。

さらに、これらのすべての場合に、ユーザ２はスクリーンに対してある量の圧力を働かせる。１つのＧＵＩオブジェクトにおいて、その付加された圧力に応じて異なるレベルの力覚フィードバックを供給することが望ましい。さらに、物理的なコントローラとのインターラクションに近い、より直感的なインターラクション方法を実現することができるユーザインタフェース機構を提供することが望ましい。

本発明の実施形態では、スクリーンとのインターラクションの２つのモードを分離するために圧力と力覚フィードバックが使用される。
ａ）ユーザは、ＧＵＩオブジェクトを力覚フィードバックで感じ取る。これはアイテムを選択するが作動はさせない。
ｂ）ユーザは、ＧＵＩオブジェクトをより強く押すことでそれらを作動させることができる。この作動にも力覚フィードバックが伴う。

図３および４は、本実施形態におけるスライド操作を示す。

スライド操作では、ユーザ２はスクリーン２０３に表示されたＧＵＩオブジェクト２０３を横切って指２００をスライドさせる。ＧＵＩオブジェクトは、ボタン、スライダ、ハイパーリンクまたは任意の画像である。

２Ｄ位置検出ユニット１０４は、ユーザのタッチを検出すると追跡を始め、スクリーン上でユーザの指またはペン型デバイス位置を追跡する（ステップ２１０）。所定のホットスポット２０３ｂまたはＧＵＩオブジェクトの一部を形成する境界要素２０３ａが、指２００によって横切られる場合（ステップ２１１）、何らかの押圧イベントが認識されたかが判定される（ステップ２１２）。ＧＵＩオブジェクトのホットスポットは、以下で図７と共に詳細に記述する。圧力検出ユニット１０５は、スクリーンに印加されたユーザの指またはペン型デバイスの圧力をモニタする。押圧イベントは、例えば、所定の値より大きな圧力が検出された場合に認識される。

本実施形態中で、押圧イベントが認識されないとしても、ユーザ２がＧＵＩオブジェクト２０３に触れたかまたはこれを選択したことを示すために、力覚型フィードバック生成ユニット１０２がユーザ２に力覚型フィードバック２０１または２０２（ステップ２１４）を提供する。したがって、ユーザ２は、ＧＵＩオブジェクトを作動させることなく、スクリーン上のそれらを感じとることができる。

押圧イベントがステップ２１２で認識された場合、力覚型フィードバック生成ユニット１０２は、非押圧の場合（すなわち、ＧＵＩ要素が単に選択された場合）に提供されたものと異なる、他の力覚型フィードバックを生成し提供する（ステップ２１３、２１５）。したがって、選択されたＧＵＩオブジェクト２０３が力覚型フィードバックで作動されたことを、ユーザ２に知らせることができる。

本実施形態では、ＧＵＩオブジェクトの論理状態、すなわち「選択状態」および「作動状態」を区別するために、異なる力覚型フィードバックが提供される。あるいは、力覚型フィードバックに加えて、視覚的フィードバックを提供しても良い。視覚フィードバックは、選択ＧＵＩオブジェクトの画像の色、明るさ、または形状の変更を含んでも良い。

図５（ａ）〜５（ｃ）は、スクリーンに表示されたボタン型ＧＵＩオブジェクトを用いた作動操作の一例を示す。本例は、ボタンを作動させずにその上をスライドさせる代わりに、ユーザが実際にボタンを作動させること以外については、図３と同じ状況について説明する。

ユーザ２は、初期位置３００からＧＵＩオブジェクト３１０（図５（ａ））へ指をスライドさせる。ユーザ２が、ＧＵＩオブジェクト３１０のホットスポットまたは境界と交差し、圧力値が作動しきい値未満である場合、装置は、ユーザ２がＧＵＩオブジェクト３１０を「感じとる」ことができるように、力覚フィードバック３０２を提供する。スクリーンに付加された圧力は、図５（ａ）で示されるような画像３２０内の作動しきい値の表示３２１により、スクリーン上で視覚的に提示しても良い。

図５（ｂ）では、指がＧＵＩオブジェクト３１０の内部３０３となるまでユーザ２は指をスライドさせ続け、圧力が作動しきい値未満である。ユーザ２はその後、ＧＵＩオブジェクト３１０をより強く押して、図５（ｃ）で示されるような作動しきい値３２１を超えるように圧力値を増加させる。ＧＵＩオブジェクト３１０は作動され、ＧＵＩオブジェクト３１０が選択され作動したことをユーザ２に通知するために、力覚フィードバック３０４および視覚フィードバック３０５が提供される。

あるいは、偶然の作動を回避するために、他の圧力しきい値を加えるか、または指のリリースを検出する等、作動操作がなされたことを確認するための追加ステップを加えても良い。確認用の付加的な圧力しきい値の例は、図１１と共に以下で説明する。

作動イベントに関しては、多くの変形（variation）があり、これらは本実施形態において利用可能である。

作動技術（actuating techniques）の一変形では、装置１が作動を登録する前に、ある程度の時間ユーザ２がＧＵＩオブジェクト３１０内で移動しないように指をホールドすることが必要となるであろう。そのような技術では、ユーザ２は、ＧＵＩオブジェクト３１０内で短時間指を止め、次に、より強く押すことで、ＧＵＩオブジェクト３１０を作動させるべきである。上述したように、指がＧＵＩオブジェクト３１０上をスライドする場合、ＧＵＩオブジェクト３１０の境界上で力覚フィードバックの供給を受けることにより、ユーザ２は容易にＧＵＩオブジェクト３１０を見つけることができる。この技術は、ユーザ２がＧＵＩオブジェクトを横切って指をスライドさせる場合、偶然の作動を分けるのに有用である。

作動技術の他の変形は、既に作動しきい値を超える圧力で、ユーザ２がＧＵＩオブジェクト３１０にスライドする場合を対象とする。この場合、次の可能性（またはそれらのコンビネーション）が考慮され得る。
（ｉ）直ちにＧＵＩオブジェクト３１０は作動される、
（ｉｉ）ＧＵＩオブジェクト３１０は作動されない、および
（ｉｉｉ）ＧＵＩオブジェクト３１０は作動されないが、装置１は作動イベントを認識しようとして圧力値を追跡している。

（ｉｉ）の場合、ＧＵＩオブジェクト３１０は、通常の力覚フィードバックを提供する。ＧＵＩオブジェクト３１０を作動させるために、ユーザ２は、先ずＧＵＩオブジェクト３１０に加えられた圧力を減少させて作動しきい値３２１未満になるようにし、その後作動しきい値３２１を超えてより強く再押下する。

図６は、（ｉｉ）の場合のそのようなインターラクションがどのように実現され得るかのフローチャートを示す。

このフローでは、ユーザ２が圧力ｐ（作動しきい値ｐｔを超えている）でＧＵＩオブジェクト３１０内へ指をスライドさせ（ステップ３３０）、フラグがこの初期条件を示すようセットされる（ステップ３３１）。指の位置が追跡され、指がＧＵＩオブジェクト３１０内にあるかがチェックされる（ステップ３３２、３３４）。指がＧＵＩオブジェクト３１０内にあると判定された場合、指がＧＵＩオブジェクト３１０内にあることをユーザに知らせるために適切な力覚フィードバックが提供されるが、ＧＵＩオブジェクト３１０はまだ作動されない（ステップ３３６）。

（ｉｉ）の場合、圧力が再度検出され、作動しきい値ｐｔを超えているかが確認される（ステップ３３８）。圧力がｐｔ以下であればフラグがクリアされ（ステップ３３９）、押圧イベントを認識するためにフローはステップ３３２に戻る。圧力がｐｔを超えれば、フラグがクリアされたかどうかさらにチェックされる（ステップ３４０）。フラグがまだクリアされていなかった場合、フローはステップ３３２に戻る。フラグがクリアされた場合、装置１は押圧イベントを認識し、それに応じて力覚フィードバックを提供する（ステップ３４２）。押圧イベントに応じて、装置１は適切なイベントのためのコマンドを送り、および／またはＧＵＩオブジェクト３１０に対応する他の適切なアクションを行なう（ステップ３４４）。

（ｉｉｉ）の場合、ＧＵＩオブジェクト３１０は作動されないが、作動イベント、すなわちＧＵＩオブジェクト３１０が作動されるべきであることをユーザが特定できるようにする何らかのジェスチャを認識しようとして、装置１は圧力値を追跡している。そのようなジェスチャのイベントとしては、例えば圧力のインパルス的増加があり得る。つまり、ユーザが、すばやくＧＵＩオブジェクトを押しリリースする。ユーザインタフェースソフトウェアを利用して、ＧＵＩオブジェクト３１０に付加された圧力中のスパイクを認識し、それを作動イベントとして扱っていても良い。

本実施形態においては、ＧＵＩオブジェクトに関連したホットスポットエリアを任意にデザインし、指がこのホットスポットエリアを横切る場合、ユーザ２に力覚フィードバックを提供するようにしても良い。例えば、図７（ａ）で示されるように、ＧＵＩボタン５００の内部にホットスポットエリア５０１を設け、ユーザがＧＵＩボタン５００の内部に指をスライドさせる場合、力覚フィードバックを提示しても良い。

このようなホットスポットの他の例としては、図７（ｂ）で示されるようなＧＵＩオブジェクト５００の境界５０２がある。あるいは、ホットスポットは、図７（ｃ）で示されるエリア５０３のようにどのような任意の形であっても良い。ＧＵＩオブジェクト５００は、いくつかのホットスポットを有していても良い。例えば、図７（ｄ）では２つのホットスポット５０２および５０４がある。第１はＧＵＩオブジェクト５００の境界５０２であり、第２はＧＵＩオブジェクト５００の中心５０４である。したがって、力覚フィードバックは、ユーザ２がＧＵＩオブジェクトに指をスライドさせた場合、そしてユーザが中心に指をスライドさせる場合に提供される。そのようなホットスポットが力覚フィードバックを介して、ＧＵＩオブジェクトの位置または領域をユーザ２に対して直接的または間接的に示すことができるものであれば、他のどのような構成を使用しても良い。

力覚フィードバックを、ユーザがホットスポット内へ指をスライドした場合にのみ提供し、ユーザがホットスポットの外へスライドした場合には提供されないようにしても良い。力覚フィードバックを提示するためのこの変形は、ユーザ２がＧＵＩオブジェクトを越えて指を速くスライドさせた結果、フィードバックが強すぎるかまたは混乱する場合、有用となり得る。

インターラクション技術は、指がホットスポットの内部にある間、ユーザ２に連続的な力覚フィードバックを供給するよう、さらに拡張することができる。例えば、指がホットスポットの内部にある限り、連続波形状の力覚フィードバックを提供しても良い。

力覚フィードバックは、下記のような様々な形式で生成しても良い。
（１）連続で一定の力覚波形。例えば、ユーザの指がＧＵＩオブジェクトの内部にある間、一定の周波数の振動が提供される。力覚フィードバックのパラメータは一定であり、ＧＵＩオブジェクトの内部における指の位置またはユーザによって加えられたＧＵＩオブジェクトに対する圧力には依存しない。

（２）動的な力覚波形。ここでは、力覚フィードバックパラメータ（例えば周波数、振幅、強度など）がＧＵＩオブジェクト上のユーザの加えた圧力の関数である。その依存性は、次のとおりであっても良い。
（ａ）ステップ関数。例えば、ユーザ２がボタン型ＧＵＩオブジェクトを押す場合、力覚フィードバックがデスクリート（discreet）なステップで変化する、または、
（ｂ）フィードバックと印加圧力の間の連続的依存性。例えば、ユーザはボタンを強く押せば押す程、振動の周波数あるいは振動の振幅が高くなる。最も単純な場合、力覚フィードバックの強度は、ユーザがより強く押すにつれて増加する。圧力を力覚フィードバック強度へ対応させることができるものであれば、他のどのような関数を用いても良い。

力覚フィードバックは、他のパラメータまたは力覚波形を定義する複数のパラメータに従って生成しても良い。

ユーザ２がＧＵＩオブジェクト内で圧力を変更する場合、力覚フィードバックの他の変形を提供しても良い。この変形では、ユーザ２がＧＵＩオブジェクトに内部に指を置き、その上で押圧する場合、印加圧力増加分のインクリメント変化毎に力覚フィードバックを提供しても良い。インクリメント変化は、増加でも減少でも良い。

図８は、力覚フィードバックのこのような変形に対するインターラクションフローの一例を供する。この例においてユーザ２は、圧力ｐ０で、ＧＵＩオブジェクトに指をスライドさせる（ステップ８００）。この初期圧力は検出され、変数ｐｓとして格納される（ステップ８０２、８０３）。

装置１は、指の位置／圧力を追跡して、指がＧＵＩオブジェクトの内部にあるかどうかチェックする（ステップ８０４、８０６）。指がＧＵＩオブジェクトの内部にはないと装置１が判定すれば、フローは終了に進む。指がＧＵＩオブジェクトの内部にあれば、装置１は作動イベントが認識されるかをさらに判定する（ステップ８０８）。

作動イベントが認識されなければ、装置はＧＵＩオブジェクトに付加された圧力が予め定められたしきい値ｄよりも変化したかをさらに判定する（ステップ８１０）。圧力がしきい値ｄよりも変化した場合、現在の圧力は登録される（ステップ８１２、８１３）。さらに位置、印加圧力、ＧＵＩオブジェクトの論理状態に応じて、適切な力覚フィードバックが提供される（ステップ８１４）。作動イベントが認識されれば、装置１は作動イベントに対する力覚フィードバックを提供し（ステップ８２０）、次にＧＵＩオブジェクトを作動し、および／または他の適切なアクションを行なうための適切なイベントのためのコマンドを送る（ステップ８２２）。

あるいは、ユーザがＧＵＩオブジェクトの内部で指を動かす場合、力覚フィードバックを提供しても良い。つまり、ｘ−ｙ座標の変化が力覚フィードバックインパルスを生成する。例えば、最も単純な場合、ユーザ２がＧＵＩオブジェクト内で指を動かし、ある距離ｄ分の位置を変更するごとに、力覚のクリック（または他の力覚フィードバック波形）を提供しても良い。さらに、力覚フィードバックもスクリーン上で付加された圧力の量と相関させても良い。この力覚フィードバック生成スキームによれば、ＧＵＩオブジェクトの様々なテクスチャは、距離ｄまたはその方向の変更によりシミュレートすることができる。変化の大きさを評価するためのしきい値ｄは、絶対的または相対的値であってもよい。

図９は、インターラクションフローの他の例を供する。この例においてユーザ２は、ＧＵＩオブジェクトに指をスライドさせる（ステップ９００）。この初期位置は検出され、ｘｓおよびｙｓとして格納される（ステップ９０２、９０３）。

装置１は指の位置／圧力を追跡して、指がＧＵＩオブジェクトの内部にあるかをチェックする（ステップ９０４、９０６）。指がＧＵＩオブジェクトの内部にはないと装置１が判定すれば、フローは終了へ進む。指が内部にあれば、装置１は作動イベントが認識されるかをさらに判定する（ステップ９０８）。

作動イベントが認識されない場合、装置１は、指の位置が予め定められたしきい値ｄよりも変化したかをさらに判定する（ステップ９１０）。しきい値よりも大きな位置変化があれば、現在位置は登録され（ステップ９１２、９１３）、位置、印加圧力、ＧＵＩオブジェクトの状態に応じて適切な力覚フィードバックが提供される（ステップ９１４）。作動イベントがステップ９０８で認識された場合、装置１は、作動イベントに対する力覚フィードバックを提供し（ステップ９２０）、その後ＧＵＩオブジェクトを作動させ、適切なイベントおよび／または他の適切なアクションを行なうためのコマンドを送る（ステップ９２２）。

力覚フィードバックは、位置だけにではなく、ユーザがどのＧＵＩ要素とインターラクションしているかに応じて提供しても良い。図１０は、スライダタイプＧＵＩオブジェクト６００に対するこのような場合の一例を示す。装置１は、力覚フィードバックタイプ１、２および３と呼ぶ３つのタイプの力覚フィードバックをサポートすることができるものと仮定する。

図１０（ａ）においては、ユーザが、スライダオブジェクト６００の背景部分である、部分６０１に触れる。ユーザがその部分を横切って指を動かす際に、力覚フィードバックタイプ１がユーザに提示される。図１０（ｂ）においては、ユーザの指はスライダハンドラ６０２上をスライドさせ、力覚フィードバックはタイプ２に変わり、その後、ユーザがスライダハンドラ６０２上へ移動し、スライダタイプＧＵＩオブジェクト６００の背景へ戻る場合、図１０（ｃ）で示すように、力覚フィードバックはタイプ１に変わる。最後に、ユーザの指がスライダエンドコントロール６０３へ移動し、力覚フィードバックがタイプ３（図１０（ｄ））に変わる。その時点でユーザは、スクロールアクションを作動するために、指をリリースするか、またはより強く押しても良い。ＧＵＩの合成オブジェクトを作動することなく、これらの上を作動した際にユーザが感じ取れるものであれば、他のタイプの力覚フィードバックを用いても良い。本例によれば、ＧＵＩオブジェクトが合成または複雑な構造を持っていたとしても、ユーザは認識し動かすことができる。

ユーザがＧＵＩオブジェクトに触れた後、ユーザは、例えば、それをより強く押すことによって作動させることができる。

あるいは、ＧＵＩオブジェクトがある圧力しきい値または確認しきい値を通過して押された場合、ＧＵＩオブジェクトの作動を認識しても良い。この作動スキームでは、力覚フィードバックは２度、１）作動しきい値を通過した場合および２）確認しきい値を通過した場合に、提供される。

図１１は、いくつかのしきい値が作動に使用されて力覚フィードバックが提供される例を示す。ユーザがＧＵＩオブジェクトに触れ選択しきい値を通過するよう押し込むと、力覚フィードバックはＧＵＩオブジェクトを作動させることなく提供される（カーブ（ａ）のポイント１）。ユーザが作動しきい値を通過するようさらに押し込むと、異なる力覚フィードバックが提供される（ポイント２）。しかしながら、この例においてＧＵＩオブジェクトはまだ作動されない。ＧＵＩオブジェクトを作動させるために、ユーザは、他の力覚フィードバック（ポイント３）を提供する確認しきい値までさらに押す込むことが必要である。

この追加的なしきい値または確認しきい値を設ける理由は、ＧＵＩオブジェクトの偶然の起動を回避するためである。

上述の例において、ユーザがＧＵＩオブジェクトを非常に速く押したならば、複数のフィードバックが提示され、ユーザインターラクションの混乱または妨害になることがある。このような場合、力覚フィードバックを、ユーザがＧＵＩオブジェクトを押した速度にリンクしても良い。言いかえれば、ユーザがＧＵＩオブジェクトを非常に速く押した場合、中間にあるしきい値のうちのいくつかに対応する力覚フィードバックは提示されない。

このような圧力変化の例は、図１１のカーブ（ｂ）として示される。ユーザが速く押すか、圧力変化の時定数がプリセット値より短ければ、選択および作動しきい値のための力覚フィードバックは提示されない。この例において、ユーザ２には、確認レベル（カーブ（ｂ）のポイント４）においてのみ力覚フィードバックが提供される。

上述の実施形態において、ＧＵＩオブジェクト上の視覚フィードバックおよび／またはオーディオフィードバックも提示して良い。さらに、このようなフィードバックも、力覚フィードバックおよび／またはユーザによる押圧入力またはそれらのコンビネーションと相関させてもよい。

前述の例において、ユーザがＧＵＩオブジェクトに達するようスクリーンを横切って指をスライドさせている場合のインターラクション技術が記述された。この代わりに、直接ＧＵＩオブジェクトを操作するか押すことによりインターラクションがスタートする場合がある。この場合、本発明による実施形態のほとんどのインターラクション技術を適用することができ、ＧＵＩオブジェクトの選択状態と作動状態を分離するために力覚フィードバックはユーザに供給されてもよい。

本発明の前述の例は、様々なＧＵＩオブジェクトに適用可能であり、特に、その例としては、ボタン、スライダ、ラジオボタン、チェックボックス、ツールバー、ダイアログボックス、グラフィカルダイヤル、ウィンドウの境界、および他のＧＵＩオブジェクトに関連してもよい。

前の記述では、圧力値を測定する圧力検出ユニット１０５を備える装置１の様々な例が説明された。しかしながら、本発明の例または簡略化した例の多くも、ユーザの入力操作の２つのモードの認識でのみ作動することができる。ａ）強い押し（押圧または作動イベント）、およびｂ）軽い押しまたはスライド（接触または選択イベント）。これらの２つのモードは、ユーザがかけた強い押しと軽い押しを直接または間接的に区別することができれば、どのような圧力センサまたは圧力検出デバイスによっても認識できる。

例えば、２Ｄ位置検出ユニット１０４からの信号中のノイズレベルを測定するために構成された装置を、強い押圧および軽い押圧を区別するために使用しても良い。タッチスクリーンに付加された圧力が低い場合、例えば指の震えおよび／または機器の機械的シャッタリング（shattering）などのために、ノイズレベルは著しく増加する。関連技術のタッチスクリーンでは、これらの人工的な雑音を除去するために単純なローパスフィルタが使用される。言いかえれば、高雑音の状態は、そのようなノイズレベルを測定するどのような信号処理ユニットの使用によっても容易に識別することができる。したがって、本発明の一実施形態では、装置１には、この高雑音の状態を検出するための信号処理ユニットを含む機器を設けていても良い。この高雑音の状態は、ユーザの指によって付加された圧力が低い状態とも考えることができ、これはスライドまたは軽い押圧であることを意味している。このような構成によれば、任意の専用の圧力検出デバイスを使用することなく、上述のインターラクションスキームの例を実施することができる。

上述の装置１は、ユーザに入力を促すためにタッチスクリーンにＧＵＩオブジェクトを表示する携帯電話、ＰＤＡ、その他の小さな携帯機器または端末装置において使用してもよい。

本発明のさらに他の実施形態においては、力覚フィードバックは、タッチスクリーンに力覚フィードバック要素を埋め込むことにより提供される。ユーザ入力にはスクリーンへの付加圧力が含まれており、ユーザに供給される力覚フィードバックは、ＧＵＩオブジェクト上でユーザが加える圧力およびＧＵＩオブジェクトの現在の状態に応じて区別される。

本発明の他の実施形態では、次のものを含む、コンピュータインターラクション型装置（computing interactive apparatus）が提供される。
ａ）スクリーンに触れるユーザの指のＸ−Ｙ位置を計算し、スクリーン上で示されたグラフィカルユーザインタフェースおよびグラフィカル画像とのインターラクションを可能とするタッチ検出スクリーン、
ｂ）ユーザがその指でスクリーン表面に触れた場合、力覚型フィードバックが提供されるように、タッチスクリーンに埋め込まれた力覚アクチュエータ、
ｃ）触れた場合にユーザがスクリーンに印加する圧力を測定する、タッチスクリーンに埋め込まれた圧力検出デバイス、
ｄ）タッチスクリーン上に任意の力覚型感覚を生成する計算および制御部、
ｃ）グラフィカルユーザインタフェース（ＧＵＩ）視覚部およびそれに内在するコントロールソフトウェア、
ｄ）ｉ）タッチスクリーンにより把握されたユーザ入力（すなわち、ユーザがスクリーンに触れたか、ＧＵＩ部材が作動されたか）、ｉｉ）ユーザの指によりスクリーンに付加された圧力、および（ｉｉｉ）インターラクション型のオブジェクトの論理状態と、ユーザに提示された動的な力覚フィードバックを関連させるコントロールソフトウェア技術。

本発明の前記実施形態によれば、ユーザが実際の物理的なボタンでのインターラクションと同様なインターラクション操作を可能とする、ディスプレイデバイスおよびタッチパネルデバイスを含むユーザインタフェース方法および装置が提供される。

本発明の前記実施形態によれば、ユーザがインターラクションしたいものを選ぶ前に、ディスプレイのタッチスクリーンに表示されたグラフィカルユーザインタフェースオブジェクトをユーザが感じ取ることを可能とする、ユーザインタフェース方法および／または装置が提供される。

本発明の前記実施形態によれば、より容易なブラインド式インターラクションと共により自然なインターラクションを可能とする、ユーザインタフェース方法および／または装置が提供される。

本発明は説明用の実施形態を用いて記載されているが、本記載は限定的に解釈しようとしたものではない。当業者に自明な、説明用の実施形態および本発明の他の実施形態の種々の変形は、本発明の要旨内にあるものとみなされる。

本発明の実施形態による装置構成の一例を示すブロック図である。 先行技術のスクリーンに触れるインターラクションの一例を示す概略図である。 ユーザの指がＧＵＩオブジェクトを越えてスライドする場合についての本発明の実施形態によるユーザインタフェース方法の説明図である。 本発明の実施形態によるユーザインタフェース方法のステップを示すフローチャートである。 押圧イベントが認識された場合についての本発明の他の実施形態によるユーザインタフェース方法の説明図である。 本発明の他の実施形態によるユーザインタフェース方法のステップを示すフローチャートである。 ＧＵＩオブジェクト内のホットスポットの一例を示す概略図である。 本発明のさらに他の実施形態によるユーザインタフェース方法のステップを示すフローチャートである。 本発明の他の実施形態によるユーザインタフェース方法のステップを示すフローチャートである。 スライダタイプＧＵＩオブジェクトのための本発明の実施形態によるユーザインタフェース方法の説明図である。 本発明の他の実施形態によるユーザインタフェース方法の押圧イベント中にユーザの加えた圧力の時間変化を示すグラフである。

符号の説明

１０：表示部、２０：制御部、３０：アプリケーション部、１０２：力覚型フィードバック生成ユニット、１０３：視覚表示装置、１０４：２Ｄ位置検出ユニット、１０５：圧力検出ユニット、１０６：信号の生成ユニット、１０７：ディスプレイコントローラ、１０８：２Ｄ位置検出ユニットコントローラ、１０９：圧力検出ユニットコントローラ、１１０：データ保存部、１１１：力覚インタフェースコントローラ、１１２：グラフィカルユーザインタフェースコントローラ。

Claims (20)

1. タッチスクリーンを有する表示部を備え、該タッチスクリーンが少なくとも１つのグラフィカルユーザインタフェースオブジェクトを表示し、該タッチスクリーン上のタッチ位置を検出し、該タッチ位置がユーザの指またはポインティングデバイスで入力されるよう構成された装置において、
   前記タッチスクリーンに装着され、力覚フィードバックを生成するよう構成された力覚型フィードバック生成ユニットと、
   前記タッチスクリーンに装着され、前記タッチスクリーンに加えられた圧力を検出するようにされた圧力検出ユニットと、
   前記表示部を制御および駆動するよう構成された制御部とを備え、
   前記タッチスクリーンに表示された前記グラフィカルユーザインタフェースオブジェクトは複数の論理状態を有しており、
   前記制御部は、前記検出されたタッチ位置の履歴および検出された圧力値の履歴を用いて、前記グラフィカルユーザインタフェースオブジェクトの現在の論理状態を判定し、
   前記制御部はさらに、（ｉ）前記検出されたタッチ位置、（ｉｉ）前記検出された圧力値および（ｉｉｉ）前記判定された前記グラフィカルユーザインタフェースオブジェクトの現在の論理状態に応じて、生成されるべき前記力覚型フィードバックの形態を決定すること
   を特徴とする装置。
2. 前記制御部は、前記力覚型フィードバック生成ユニットを制御し、前記グラフィカルユーザインタフェースオブジェクトの異なる論理状態について、異なる力覚型フィードバックを生成させること
   を特徴とする請求項１に記載の装置。
3. 前記グラフィカルユーザインタフェースオブジェクトの論理状態は、選択状態および作動状態を少なくとも含み、
   前記制御部は、押圧イベントが認識された場合、前記グラフィカルユーザインタフェースオブジェクトが前記作動状態であると判定し、
   前記制御部は、前記検出された圧力値の履歴を用いて、前記押圧イベントを認識すること
   を特徴とする請求項２に記載の装置。
4. 前記グラフィカルユーザインタフェースオブジェクトの論理状態は、選択状態および作動状態を少なくとも含み、
   前記制御部は、（ｉ）前記タッチ位置が前記グラフィカルユーザインタフェースオブジェクトの内部にあると共に、（ｉｉ）前記検出された圧力が予め定められた作動しきい値を超える場合、前記グラフィカルユーザインタフェースオブジェクトが前記作動状態であると判定すること
   を特徴とする請求項２に記載の装置。
5. 前記グラフィカルユーザインタフェースオブジェクトの論理状態は、選択状態および作動状態を少なくとも含み、
   前記制御部は、（ｉ）前記タッチ位置が前記グラフィカルユーザインタフェースオブジェクトの内部にあると共に、（ｉｉ）前記検出された圧力の履歴が予め定められた作動条件を満たす場合、前記グラフィカルユーザインタフェースオブジェクトが前記作動状態であることを判定すること
   を特徴とする請求項２に記載の装置。
6. 前記力覚型フィードバック生成ユニットは、単一または複数の圧電素子を備え、
   前記複数の圧電素子のうち少なくとも１つは、前記力覚型フィードバックの生成およびユーザの加えた圧力の検出のために使用されること
   を特徴とする請求項１に記載の装置。
7. 前記制御部はさらに、前記力覚型フィードバックの周波数、振幅、または、該振幅および周波数の両方を同時に、制御すること
   を特徴とする請求項１に記載の装置。
8. 前記制御部は、前記力覚型フィードバック生成ユニットを制御し、前記タッチ位置が前記グラフィカルユーザインタフェースオブジェクトの内部にある限り、連続的な力覚型フィードバックを生成させ、
   前記制御部は、前記タッチスクリーンに付加された圧力の変更に応じて前記連続的な力覚フィードバックを変化させ、該連続的な力覚フィードバックの変化が前記グラフィカルユーザインタフェースオブジェクトの現在の論理状態に依存すること
   を特徴とする請求項１に記載の装置。
9. 前記制御部は、前記力覚型フィードバック生成ユニットを制御し、前記タッチ位置が前記グラフィカルユーザインタフェースオブジェクト内の予め定められたホットスポットを横切ったとき、前記力覚型フィードバックのシングルバーストを生成させること
   を特徴とする請求項１に記載の装置。
10. 前記制御部は、前記力覚型フィードバック生成ユニットを制御し、前記タッチ位置または前記検出された圧力が予め定められたしきい値よりも変化した場合、前記力覚フィードバックのシングルバーストを生成させること
    を特徴とする請求項１に記載の装置。
11. 前記グラフィカルユーザインタフェースオブジェクトは、複数のサブオブジェクトから構成され、
    前記制御部は、前記力覚型フィードバック生成ユニットを制御し、異なる前記サブオブジェクトに対して、異なる力覚型フィードバックを生成させること
    を特徴とする請求項１に記載の装置。
12. 前記制御部は、複数の圧力しきい値を用いて、前記グラフィカルユーザインタフェースオブジェクトが前記作動状態であると判定すること
    を特徴とする請求項２に記載の装置。
13. 前記制御部は、前記タッチスクリーンからの信号のノイズレベルに基づき、より強い押しとより弱い押しとを区別し、該より強い押しが前記押圧イベントに対応し、該より弱い押しがユーザの指またはポインティングデバイスのスライドに対応すること
    を特徴とする請求項３に記載の装置。
14. 前記制御部は、前記表示部を制御し、前記力覚型フィードバックと相関させて視覚フィードバックを生成させること、
    を特徴とする請求項１に記載の装置。
15. 前記グラフィカルユーザインタフェースオブジェクトの論理状態は、選択状態および作動状態を少なくとも含み、該選択状態は前記グラフィカルユーザインタフェースオブジェクトが選択されているが作動していない状態であり、該作動状態は前記グラフィカルユーザインタフェースオブジェクトが作動している状態であり、
    前記論理状態は、前記選択状態の後に前記作動状態へ変わることができること
    を特徴とする請求項２に記載の装置。
16. タッチスクリーンのためのグラフィカルユーザインタフェース方法において、
    複数の論理状態を有するグラフィカルユーザインタフェースオブジェクトを表示し、
    ユーザの指またはポインティングデバイスが接触している前記タッチスクリーン上のタッチ位置を検出し、
    前記タッチ位置が検出された時に前記タッチスクリーンに付加される圧力を検出し、および、
    前記接触に対応して力覚型フィードバックを生成し、該力覚型フィードバックの形態が（ｉ）前記検出されたタッチ位置、（ｉｉ）前記検出された圧力値および（ｉｉｉ）前記グラフィカルユーザインタフェースオブジェクトの現在の論理状態に応じて決定されるものであり、
    前記グラフィカルユーザインタフェースオブジェクトの現在の論理状態は、前記検出されたタッチ位置の履歴および検出された圧力値の履歴を用いて判定されること
    を特徴とする方法。
17. 異なる力覚フィードバックが、前記グラフィカルユーザインタフェースオブジェクトの異なる論理状態について生成されること
    を特徴とする請求項１６に記載のグラフィカルユーザインタフェース方法。
18. 前記グラフィカルユーザインタラクションオブジェクトの現在の論理状態は、押圧イベントの有無により判定し、該押圧イベントは前記検出された圧力値の履歴を用いて認識され、
    前記押圧イベントが認識された場合、前記グラフィカルユーザインタフェースオブジェクトが作動状態であると判定されること
    を特徴とする請求項１６に記載のグラフィカルユーザインタフェース方法。
19. 前記検出された圧力値の履歴が予め定められたパターンを満たした場合、前記押圧イベントと判定されること
    を特徴とする請求項１８に記載のグラフィカルユーザインタフェース方法。
20. 前記検出されたタッチ位置および／または検出された圧力が予め定められたしきい値よりも変化した場合、前記力覚フィードバックのシングルバーストが生成されること
    を特徴とする請求項１６に記載のグラフィカルユーザインタフェース方法。

Images