JP6220800B2 - 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果 - Google Patents

Description

（関連出願との相互参照）
本出願は、２００９年３月１２日に提出された、「Locating Features Using a Friction Display」（摩擦ディスプレイを用いる特徴物検出）という名称の、米国仮特許出願番号６１／１５９，４８２の優先権を主張するものであり、その全体を本明細書に参照として組み込む。

本出願は、２００９年１１月１７日に提出された、「System and Method for Increasing Haptic Bandwidth in an Electronic Device」（エレクトロニックデバイスにおける触覚帯域幅を増加するためのシステム及び方法）という名称の、米国仮特許出願番号６１／２６２，０４１の優先権を主張するものであり、その全体を本明細書に参照として組み込む。

本出願は、２００９年１１月１７日に提出された、「Friction Rotary Device for Haptic Feedback」（触覚フィードバックのための摩擦回転デバイス）という名称の、米国仮特許出願番号６１／２６２，０３８の優先権を主張するものであり、その全体を本明細書に参照として組み込む。

本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Providing Features In A Friction Display」（摩擦ディスプレイにあって特徴物を提供するためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９６，８９３の優先権を主張するものであり、その全体を本明細書に参照として組み込む。

本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Friction Displays And Additional Haptic Effects」（摩擦ディスプレイ及び付加的な触覚効果のためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９６，９００の優先権を主張するものであり、その全体を本明細書に参照として組み込む。

本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Interfaces Featuring Surface-Based Haptic Effects」（サーフェースベースの触覚効果を特徴として備えているインターフェースのためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９６，９０８の優先権を主張するものであり、その全体を本明細書に参照として組み込む。

本出願は、２０１０年１月２９日に提出された、「Systems And Methods For A Texture Engine」(テクスチャエンジンのためのシステム及び方法)という名称の、米国実用新案出願番号１２／６９７，０１０の優先権を主張するものであり、その全体を本明細書に参照として組み込む。

本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Using Textures In Graphical User Interface Widgets」（グラフィカルユーザインターフェースウィジェットにあってテクスチャを用いるためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９７，０３７の優先権を主張するものであり、その全体を本明細書に参照として組み込む。

本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Using Multiple Actuators To Realize Textures」（テクスチャを実現するために複数アクチュエータを用いるシステム及び方法）という名称の、米国実用新案出願番号１２／６９７，０４２の優先権を主張するものであり、その全体を本明細書に参照として組み込む。

タッチ操作可能デバイスは、人気が高まってきた。例えば、移動可能な及び他のデバイスは、ユーザが接触式表示装置（タッチセンシティブディスプレイ）の一部などにタッチすることによって入力を提供することができるようにタッチセンシティブディスプレイを有して構成される。他の具体例にあって、ディスプレイから独立したタッチ操作可能な表面（サーフェース）は、トラックパッド、マウス、又は他のデバイスのような入力部によって用いられてもよい。

ユーザは、例えば、ボタン又は制御部（コントロール）のようなオンスクリーングラフィカルユーザインターフェースにマップされるディスプレイの一部又はサーフェースの一部に触れる。他の具現化例にあって、一つ以上の接触（タッチ）の配列（シーケンス）、サーフェースを横切るドラッグ又はデバイスによって感知される他の認識パターンのようなジェスチャが提供されてもよい。タッチ操作可能なディスプレイ、又は他のタッチベースのインターフェースはデバイスの機能性を大きく高めては来たけれども、欠点は残っている。例えば、キーボードがスクリーン上に表示されるが、物理的なキーボードに慣れたユーザは、タッチ操作可能なデバイスを用いているとはいえ、物理的なキーボードを体験しているのと同じようには感じないかもしれない。

具現化例は、タッチサーフェース及び一つ以上の他の出力装置の摩擦係数の変化を含む合成触覚効果を提供するためのシステム及び方法を含む。前記サーフェースベースの効果を提供することによって、デバイスは、前記効果がないときに達成された成果よりも、ユーザが納得できる体験を提供することができる。

一つの具現化例にあって、方法は、少なくとも一つのセンサを用いて、物体がタッチサーフェースに接触したときに接触領域（タッチエリア）内に発生するタッチを検出することを含む。前記方法は、前記接触に応答して少なくとも一つのサーフェースベースの触覚効果及び少なくとも一つの効果を含む合成触覚効果を生成するための合成触覚効果を選択することをさらに含む。前記選択された合成触覚効果に基づいて、第１の触覚信号は、第１アクチュエータに、前記タッチサーフェースの摩擦係数を変化するために、送信される。前記方法は、前記選択された合成触覚効果に基づいて、前記摩擦係数の変化に加えて第２触覚出力を、アクチュエータに提供させるように、第２触覚信号を送信することもさらに含む。前記第２触覚信号は第２アクチュエータに送信されるか、或いは摩擦係数を変化するために用いられるのと同じアクチュエータが第２触覚出力を生成できる。他の具現化例は、前記方法を実行するためのコンピューティングシステムによって実行可能なプログラムコードを含む有固体コンピュータ蓄積媒体を含む。

これらの例示された具現化例は、本願の発明の主体を制限するためのものでも、或いは制限を定義するために言及されるものでもなく、本発明の理解を助けるために提供されるだけのものである。付加的な具現化例は、合成触覚効果を提供するために構成されるシステム及びデバイス及び、合成触覚効果を提供するためのプログラムコードを含むコンピュータ蓄積媒体を含む。例示の具現化例は発明の詳細な説明にあって議論され、さらなる記述が発明の詳細な説明にて提供される。様々な具現化例によってもたらされる有利な長所は、本明細書を調査すること及び／又は請求された発明の主体の一つ以上の具現化例を実行することによってさらに理解されるかもしれない。

全ての及び授権的な開示は、本明細書の残りの部分にて、より具体的に明らかにされる。本願明細書は、以下の添付図面を参考にする。

合成触覚効果を提供するように構成された例示的なシステムを示すブロック図である。 合成触覚効果を提供するように構成された付加的な例示システムを示す図である。 合成触覚効果を提供するように構成された付加的な例示システムを示す図である。 合成触覚効果を提供するように構成された他の例示システムを示す図である。 図２Ａに示されたシステムの断面図である。 合成触覚効果を提供するように構成された他の例示システムを示す図である。 図３Ａに示されたシステムの断面図である。 合成触覚効果を提供する方法における例示のステップを示すフローチャートである。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物を示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物を示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物を示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物を示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 合成触覚効果を提供する他の方法の例示的なステップを示すフローチャートである。 合成触覚効果を生成するために用いる参照ファイルの具体例を例示する図である。

参照は、本明細書において、様々なそして代替の実例となる具現化例及び添付の図面において明らかになるであろう。各具体例は、説明のために提供されるのであり、制限としてのものではない。当業者によって改良及び変更が成されることは容易であろう。例えば、一具現化例の部分として例示されるか或いは説明される特徴は、さらなる具現化例を生じるための他の具現化例にも用いられる。したがって、この開示は、添付される特許請求の範囲及びそれらの等価物の範囲内における改良及び変更を含むことを意図している。

合成触覚効果を提供するように構成されたデバイスの例示的な具体例
本発明の一具現化例は、共にCupertino, California のApple Inc.から入手できるｉＰｏｄ（登録商標）携帯音楽デバイス又はｉＰｈｏｎｅ（登録商標）モバイルデバイス、或いはRedmond, WashingtonのMicrosoft Corporationから入手できるＺｕｎｅ（登録商標）携帯デバイスのような、コンピューティングシステムを含む。コンピューティングシステムは、この具体例にて前記デバイスの前記スクリーンに対応するディスプレイ領域に関連する接触（タッチ）の位置を確定するセンサ（例えば、光学的な、抵抗の、又は容量性の）はもとより、加速度計のような一つ以上のセンサを含み、及び／又はそのセンサと通信する。

ユーザが前記デバイスと相互に対話すると、一つ以上のアクチュエータが、合成触覚効果を含む（制限するものではない）ような、触覚効果を提供するために用いられる。合成触覚効果は、摩擦係数の変化との組み合わせにて示される一つ以上の他の触覚効果を伴ったタッチサーフェースの摩擦係数の変化を用いる効果を含む。他の出力は、摩擦係数における変化と同時に、ちょっと速く及び／又はちょっと遅くに現される。前記合成効果は、単一の効果として知覚されるか、或いは複数の関連の効果として知覚される。

例えば、ユーザが指を前記デバイスを横切って動かすと、前記スクリーンの摩擦係数は、指の位置、速度及び／又は加速度に基づいて変化する。前記摩擦がどのように変化するのかに基づいて、ユーザは、特徴物及び／又は手触り（テクスチャ）を知覚する。具体的な実例にあって、前記摩擦は、ユーザが隆起、境界、又はオンスクリーンボタンのエッジに対応する他の障害物を知覚するように変化する。他の具体例にあって、振動ベースの効果は、ユーザが、隆起、境界、又はコントロール領域を定義する障害を知覚するように、前記制御部（コントロール）が選択され／変化されるときに示されるのに用いられる、摩擦係数における変動を伴って生成される。さらにまた、摩擦及び振動触覚効果における変化の組み合わせが、単一のテクスチャ又は他の特徴の知覚を作り出すための組み合わせにて用いられる。

摩擦係数における変動及び他の効果は、同一のアクチュエータによって、又は協力して働く異なるアクチュエータによって、生成される。例えば、摩擦係数はピエゾエレクトリックアクチュエータを用いることによって変動されるが、振動触覚効果は線形共振アクチュエータを用いることによって生成される。摩擦係数における変化に伴って用いられる触角出力の他の具現化例にあって、タッチサーフェースの一部は、上げられたり／下げられたり（例えば、アクチュエータ又は形状記憶合金を用いることで）する。

他の触覚効果と連携して表面ベースの触覚効果を提供する例示のシステム
図１Ａは、合成触覚効果を提供する実例のシステム１００を示す。特に、この具体例にあって、システム１００は、バス１０６を介して他のハードウェアと相互作用されるプロセッサ１０２の特色をなすコンピューティングデバイス１０１を備える。ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭなどのような適切な有固体（及び一時的ではない）の、コンピュータにて読み取りされる媒体を備えることができるメモリ１０４は、コンピューティングデバイスの動作を形成するプログラムコンポーネントを含む。この具体例にあって、コンピューティングデバイス１０１は、一つ以上のネットワークインターフェースデバイス１１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント１１２、及び付加的な蓄積媒体１１４をさらに備える。

ネットワークデバイス１１０は、ネットワークを容易にするいかなるコンポーネントの役割を果たすこともできる。具体例は、制限されるものではないが、イーサネット（登録商標）（Ethernet）、ＵＳＢ、ＩＥＥＥ１３９４のような有線インターフェース、及び／又はＩＥＥＥ８０２．１１、ブルートゥース（Bluetooth（登録商標））のような無線インターフェース、又は携帯電話ネットワークにアクセスするためのラジオインターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ、又は他の移動通信ネットワークにアクセスするためのトランシーバ／アンテナ）を含む。

Ｉ／Ｏコンポーネント１１２は、一つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロフォン、及び／又はデータを入力又は出力するために用いられる他のハードウェアのようなデバイスの接続を容易にするために用いられる。ストレージ１１４は、磁気、光学又はデバイス１０１に含まれる他のストレージメディアのような不揮発性ストレージである。

システム１００は、この具体例の中では、デバイス１０１と一体化されている接触表面（タッチサーフェース）１１６をさらに備える。タッチサーフェース１１６は、ユーザの接触を感知するために構成されるいかなるサーフェースであることもできる。一つ以上のセンサ１０８は、物体がタッチサーフェースに接触するときに接触領域（タッチエリア）における接触（タッチ）を検出し、さらにプロセッサ１０２による使用のために適切なデータを提供する。いかなる適切な数、タイプ、又はセンサの配置が用いられることもできる。例えば、抵抗及び／又は容量性センサがタッチサーフェース１１６に埋め込まれ、タッチの位置を判断（或いは確定）するため、及びタッチ圧力のような他の情報を確定するために用いられる。他の具体例にあって、光学センサが用いられてもよい。

この具体例にあって、プロセッサ１０２と通信する第１アクチュエータ１１８は、タッチサーフェース１１６に接続される。いくつかの具現化例にあって、第１アクチュエータ１１８は、第１触覚信号に応じてタッチサーフェースの摩擦係数を変化する触覚出力を出力するように構成される。他の又は代替にて、第１アクチュエータ１１８は、制御された方法においてタッチサーフェースを動かすことによって触覚出力を提供する。いくつかの触覚出力は、デバイスのハウジングに連結されたアクチュエータを用いるかもしれないし、さらにいくつかの触覚出力は、直列に接続された及び／又は並列に接続された複数のアクチュエータを用いるかもしれない。例えば、摩擦係数は、異なる周波数及び／又は振幅にて前記サーフェースを振動することによって変化される。相違の異なる組み合わせ／順序は、テクスチャ、障害物又は突起のような他の特徴物の存在の感覚をシミュレートするために、或いは他の効果を提供するために用いられる。

単一の第１アクチュエータ１１８がここでは示されるが、具現化例は同一又は異なるタイプの複数のアクチュエータを、タッチサーフェースの摩擦係数を変化するために用いる。例えば、ピエゾ電気アクチュエータが超音波の周波数にて垂直及び／又は水平にタッチサーフェース１１６を部分的又は全体を表現するために、いくつかの具現化例にあって用いられる。

図１Ａは、さらに第２アクチュエータ１１９をも示す。第２アクチュエータ１１９は、第１アクチュエータによって提供された摩擦係数の変動に加えて第２触覚出力を提供するために用いられる。例えば、第２触覚出力は、デバイス及び／又はタッチサーフェース１１６の振動のような振動触感の触覚効果を含む。他の具現化例にて、第２触覚出力は、タッチサーフェース１１６における、温度、色、又はタッチサーフェース１１６にて部分的に上げる／下げることによって発生されるテクスチャにおける変化のような、変化を含む。

アクチュエータ１１８及び１１９は、それぞれ複数のアクチュエータを備え、さらに同一又は異なるタイプである。適切なアクチュエータタイプは、しかし制限されるものではないが、ピエゾエレクトリックアクチュエータ、形状記憶合金、電気活性ポリマー、柔軟性合成ピエゾエレクトリックアクチュエータ（例えば、柔軟性材料を含むアクチュエータ）、電磁アクチュエータ、偏芯回転質量アクチュエータ、線形共振アクチュエータ、ボイスコイルアクチュエータ、静電気アクチュエータ、及び／又は静磁気アクチュエータを備える。別個のエレメント１１８及び１１９として示してはいるが、タッチサーフェース１１６の摩擦係数を変化し、他の触覚効果を生成することができる単一のアクチュエータを、別個の第１及び第２のアクチュエータの代わりに用いることができる。加えて、実際には一つ以上のアクチュエータが、タッチサーフェース１１６に埋め込まれることができる。

メモリ１０４について、例示のプログラムコンポーネント１２４、１２６及び１２８は、いくつかの具現化例にあってはどのようにデバイスが合成触覚効果を提供するように形成されるかを示すように描かれている。この具現化例にあって、検出モジュール１２４はセンサ１０８を介してタッチの位置を確定（判断して確定）するためにタッチサーフェース１１６を監視するのにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの有無を追跡するためにセンサ１０８をサンプルし、タッチがあれば、位置、経路、速度、加速度、圧力及び／又はタッチの他の特徴をある期間にわたって追跡する。

触覚効果判断（確定）モジュール１２６は、生成された合成触覚効果を選択するためタッチ特性についてデータを解析するプログラムコンポーネントとして描かれる。例えば、いくつかの具現化例にあって、一つ以上のタッチの配列を含む入力動作が認識され、一つ以上の合成触覚効果に相互関係があってもよい。他の具現化例にあって、タッチサーフェース１１６のいくつか又は全てのエリアは、グラフィカルインターフェースにマッピングされる。タッチサーフェースの摩擦を変化することによって、さらには一つ以上の触覚出力を提供することによって、スクリーン上に表示される特徴物の存在をシミュレートする。このために、異なる合成触覚効果がタッチの位置に基づいて選択されるので、前記特徴物は、前記特徴物を有するスクリーンの位置をマッピングされたタッチサーフェース１１６の一部が発生されたときに、感じられる。しかし、触覚効果は、対応するエレメントがインターフェースに表示されていなくてもタッチサーフェース１１６を介して提供されてもよい（例えば、触覚効果は、インターフェースの境界、この境界は表示されていないかもしれないが、横切られると、提供されるかもしれない）。

触覚効果生成モジュール１２８は、選択された合成触覚効果を少なくともタッチが生じたときに生成するために、プロセッサ１０２に触覚信号を生成させてアクチュエータ１１８／１１９に送信させるプログラミングの役割を果たす。例えば、触覚効果生成モジュール１２８は、アクチュエータ１１８及び１１９に送信するために格納されている波形又は命令にアクセスする。他の具現化例にあって、触覚効果生成モジュール１２８は、所望される摩擦係数を受け取り、適切な信号を生成してアクチュエータ１１８に送信するために信号処理アルゴリズムを用いる。モジュール１２８は、所望される触覚効果タイプを受け取り、さらにアクチュエータ１１９を選択し、選択されたアクチュエータに所望される触覚効果を提供させる。

他の具現化例にあって、所望されるテクスチャが、そのテクスチャ用のターゲットコーディネィトと調和して示されるかもしれない。適切な波形は、（比較的に）低周波数にてタッチサーフェース（及び／又は他のデバイスコンポーネント）の適切な変位を生成する。このために、一つ以上の振動触覚アクチュエータに送られる他の波形と共に、ピエゾエレクトリック又は高周波の変位を用いる摩擦係数を変化するため、又は特徴物が生じたときに、例えばポン、ポップ（pop）又はピシィッ、ピィング（ping）又は他の効果を提供するために、他のアクチュエータに送信される。

タッチサーフェースは、コンピューティングシステムの特別な構成に依存してディスプレイを覆うかもしれないし、覆わないかもしれない（またはさもなければディスプレイに合致するか、しないかもしれない）。図１Ｂには、コンピューティングシステムの外観が示されている。コンピューティングデバイス１０１は、タッチサーフェースとデバイスのディスプレイを兼ね併せたタッチ−操作可能ディスプレイ１１６を備えている。タッチサーフェースは、ディスプレイの外面又は実際のディスプレイコンポーネントの上の一つ以上の材料層に合致するかもしれない。

この具現化例にあって、合成触覚効果は、この具現化例にあっては、移動通信デバイスによって提供されるような１２個キーのキーパッドを示す、グラフィカルユーザインターフェース１３０の内容に基づいて選択される。特に、各キーは、境界１３２及び内部１３４を備える。合成触覚効果は、内部１３４に対応する摩擦に変化を生成するように選択され、さらに異なる触覚出力がユーザが境界１３２に達したときを示すために用いられる。この具現化例にあって、特徴１３６は、中央のキー（標準数字キーパッドでは「５」キーに相当する）に含まれる。例えば、特徴１３６は、内部１３４のテクスチャとは異なるテクスチャを備えることができるし、「センタリング」特徴として機能する隆起又はギャップのようなシミュレートされる特徴でもよい。ユーザが１本の指をキーパッドを横切って動かすと合成効果がキーの間の境界を示すため、さらには「５」キーに特徴１３６の認識によって達したことを示すのに用いられる。

前述したように、タッチサーフェースは、ディスプレィを覆うことを必要としない。図１Ｃは、タッチ−操作可能なコンピューティングシステム１００Ｃの他の具現化例を示す。この具現化例にあって、コンピューティングデバイス１０１は、デバイス１０１にインターフェースされるコンピューティングシステム１２０に備えられるディスプレイ１２２にあって提供されるグラフィカルユーザインターフェースにマップされるタッチサーフェース１１６を特徴としている。例えば、コンピューティングデバイス１０１は、マウス、トラックパッド、或いは他のデバイスを含むし、他方、システム１２０はデスクトップまたはラップトップコンピュータ、セット−トップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビジョンボックス）、又は他のコンピューティングシステムを含む。他の具現化例にあって、タッチサーフェース１１６及びディスプレイ１２２は、ディスプレイ１２２を特徴としているラップトップコンピュータにおけるタッチ−操作可能なトラックパッドのような同じデバイスに含まれてもよい。

ディスプレイに一体化されているか或いは他の方法であるかにかかわらず、この明細書における具現化例の２次元の方形タッチサーフェースの描写は、制限されるものではない。他の具現化例は、曲面又は、サーフェースベースの触覚効果を提供するためにさらに構成される不規則なタッチ−操作可能なサーフェースを含む。

図１Ｃに戻り、この具現化例にあっては、メニューバー１４０及びボタン１４２、１４４及び１４６を有するグラフィカルインターフェース１３８が示されている。例えば、前記グラフィカルインターフェースは、ホームエンターティンメントデバイス用のオン−スクリーンメニューを含み、他方タッチサーフェース１１６は、リモートコントロール又は周辺機器を備える。１４８で示すように、タッチサーフェースの領域はメニューバー１４０にマップされている。ユーザが領域１４８に接触すると、合成触覚効果がメニューバーが選択されたことを示すために提供される。例えば、摩擦係数は、振動触覚又は、ユーザが領域１４８を介して動き、さらに領域１５０、１５２及び１５４の一つを横切るときに提供される、他のフィードバックを伴って、領域１４８及び、領域１５０、１５２及び１５４（ボタン１４２、１４４及び１４６それぞれに対応する）の間では、異なる。他の具現化例のように、振動触覚又は他の触覚出力が、ボタン１４２、１４４及び／又は１４６が作用されるときに各領域内にて変化される摩擦係数と共に、領域１４８、１５０、１５２及び１５４にあって異なるシミュレートされたテキスチャを生成するために用いられる。

図２Ａは、タッチサーフェースに対応するタッチ−操作可能ディスプレイ２０２を特徴とする他のコンピューティングデバイス２０１を示す。図２Ｂはデバイス２０１の断面を示す。図２Ｂに示されるように、この具現化例にあっては、第２アクチュエータが他の触覚効果をタッチサーフェース２０２を介して提供する間に、二つのアクチュエータ２１８−１及び２１８−２がタッチサーフェース２０２の摩擦係数を変化するために用いられている。例えば、アクチュエータ２１９は、例えばポン（pop）又はピシィッ（ping）のような振動触覚出力をタッチサーフェース２０２を介して提供してもよいし、タッチサーフェース２０２の一つ以上の部分を上げるか／下げるようにしてもよい。さらに、図２Ｂは、他の具現化例のアクチュエータ２２２を示す。例えば、アクチュエータ２２２は、一つ以上のアクチュエータ２１８−１、２１８−２、又は２１９に加えて、又は代わりに用いられる。例えば、アクチュエータ２１９がディスプレイ２０２の一部を持ち上げるか或いは下げると、アクチュエータ２２２は低周波数振動出力を提供するために用いられる。

図２Ａに戻ると、合成効果を提供する具現化例が２２０にて示されている。特に、指２２６がディスプレイに接触し、２２８にて示す位置に移動すると、シミュレートされた特徴物２３０に遭遇する。図２Ｂに示されるように、指が移動し、ディスプレイの第１領域２３２に始めに接触し、その後、第２領域２３４、及び第３領域２３６に接触する。合成触覚効果は、特徴物２３０をシミュレートするために用いられる。例えば、指が領域２３２に遭遇し、さらに領域２３４に移動する間、ディスプレイ２０２の摩擦係数は、アクチュエータ２１８−１／２１８−２の出力を調整することによって高められる。領域２３４が接近され、その後、遭遇すると、アクチュエータ２１９は振動触覚「pop」効果を提供するために用いられる。指が領域２３６を横切って移動すると、ディスプレイ２０２の摩擦係数は減少される。

合成触覚効果は、効果の一つのグループを含む。例えば、ライン２３８及び２４０は、２２６から２２８に動く指により追跡される経路を示す。この一具現化例にあって、合成触覚効果は、指が前記経路の外側を動くと、アクチュエータ２１９及び／又は２２２を用いて生成される出力を含む。例えば、摩擦の変化は、特徴物２３０をシミュレートするために用いられる。このとき、ユーザの指がライン２３８及び２４０の両方を横切るか否かを、特徴物２３０がシミュレートする間、提供される変動出力を伴う。

図３Ａ−３Ｂは、合成触覚効果を提供することができるデバイスのハードウェア構成を示す。この具現化例にあっては、他の透明材料（又は不透明材料）を用いることができるけれども、タッチサーフェースはガラスパネル３０２を備える。例えば、ガラスよりも、タッチパッド（つまりタッチ−センシティブデバイス）が用いられるかもしれない。一対のピエゾエレクトリックベンダ３１８−１及び３１８−２は、前記ガラス上に結合される。ガラス又はピエゾエレクトリックベンダの間の自由空間における他の透明材料の使用は、ディスプレイ（図示せず）の前記ガラスの下での使用を可能にさせる。いくつかの具現化例にあって、ピエゾエレクトリックベンダは、ガラス３０２の静的な摩擦係数を４２％削減するために制御される。いくつかの具現例は、前記摩擦係数を変化するために用いられる振幅を変化して、２４ＫＨｚのバイポーラパルス幅変調信号を用いる。一具現化例にあって、電圧の大きさ（或いは前記電圧の大きさを作り出すためのＰＷＭの大きさ）に応じて０から６０％の摩擦変化を伴って、２０ＫＨｚより上の周波数にて電圧を−８０及び＋８０ボルトの間にて変化する。これらの例示的な電圧、周波数、及び変化範囲は、例示の目的のためのものであって、制限を意図したものではない。

図３Ｂの断面図にあっては、複数の第２アクチュエータ３１９−１、３１９−２及び３１９−３が示されている。例えば、アクチュエータ３１９−２は、パネル３０２に結合され、偏芯回転質量（ＥＲＭ）アクチュエータ及び／又は触覚ポップ、揺動、及び線形共振アクチュエータ（ＬＲＡ）を介した類似物を用いての低周波数振動効果を提供するために用いられる。アクチュエータ３１９−１及び３１９−３は、デバイス３０１のケース又はハウジングに結合され、３１９−２と同じタイプのアクチュエータ或いは３１９−２とは異なるアクチュエータ（及び／又は相互に）を備えてもよい。例えば、一つの具現化例にあって、アクチュエータ３１９−１は、ＥＲＭアクチュエータを含み、アクチュエータ３１９−２はパネル３０２を動かすために用いられる形状記憶合金を含み、さらにアクチュエータ３１９−３はＬＲＡアクチュエータを備える。アクチュエータ３１９−１及び３１９−２のいずれか或いは両方は、パネル３０２及びデバイス３０１のハウジングの両方に結合される。

提供する触覚効果の確定のための実例の方法
図４は、少なくとも一つのサーフェースベースの触覚効果を含む合成触覚効果のインターフェースを提供する実例の方法４００を示すフローチャートである。ブロック４０２は、タッチ領域におけるタッチの位置の判断（確定）を示す。例えば、プロセッサは、埋め込まれた一つ以上のセンサ又は、サーフェース上のタッチ位置を追跡するためにタッチ−操作可能なディスプレイ又はサーフェースを視認することを用いる。現在及び／又は過去のタッチ位置に基づいて、タッチ領域にマップされるグラフィカルインターフェースとの対話が確定される。

前記対話に基づいて、一つ以上の他の触覚出力の提供に応じたタッチサーフェースの摩擦係数の変化により達成される合成効果を伴って、一つ以上の合成触覚効果がブロッグ４０４にて選択される。

例えば、タッチが固有のテクスチャがマップされたタッチサーフェースにおける、ある位置にて発生される。合成触覚効果は、テクスチャ又は特徴物のシミュレーションを含む。追加的に或いは代替的に、合成触覚効果は、環境効果（例えば、テクスチャ／特徴物）及び、特徴物が初期に遭遇されると提供される出力のようなダイナミック効果を含む。

一具現化例にあって、ジェスチャは、スクリーンを大きく横切る方向及び長さ、一つのパターンにあって分離されたタッチの配列、又は他の認識可能な対話（相互作用）に基づくような、一つ以上のタッチの配列又はタッチパターンと認識されることができる。ジェスチャが認識されると、そのジェスチャに対応する合成触覚効果が選択される。例えば、「Ｚ」形状のようなタッチ軌跡は、ジェスチャが進行中の間にデバイスのプロセッサによって実行されるパターン認識に基づいた入力ジェスチャのタイプとして認識されるかもしれない。一つ以上の合成触覚効果が、ジェスチャが進行中及び／又はジェスチャが完了した後に、出力する効果を示すプロセッサにアクセスできるデータにおける「Ｚ」ジェスチャに関係付けられる。例えば、そのデータは、ジェスチャがほぼ完了するとき、テクスチャ又は摩擦の変化を行うためにサーフェースに提供される。付加的に或いは代替的に、ディスプレイのテクスチャ又は摩擦係数は、ジェスチャがジェスチャの入力を確認するために認識された後に、変化する。

ブロック４０６にて、一つ以上の触覚信号が、摩擦係数のバリエーションを提供するため、及び第２の触覚出力（又は複数の触覚出力）を生成するために、アクセスされ、及び／又は生成される。例えば、プロセッサは、メモリ内に格納され、さらには特定の触覚効果に関係しているドライブ信号にアクセスする。他の具体例では、信号は、格納されたアルゴリズムにアクセスし、効果に関連したパラメータを入力することによって生成されるかもしれない。例えば、一つのアルゴリズムは、振幅及び周波数パラメータに基づいたドライブ信号の発生での使用のためデータを出力するかもしれない。他の具現化例では、触覚信号は、アクチュエータによってデコードされるために、アクチュエータに送られるデータを含んでもよい。例えば、アクチュエータは、振幅及び周波数のようなパラメータを規定する命令にアクチュエータ自身で応じるかもしれない。

一つの具現化例では、ギャップ、障害、又はテクスチャのようなシミュレートされた特徴物のため、タッチについての現在の画素位置及び／又はタッチの速度に基づいて予測される画素位置が、様々な画素位置用の合成触覚効果を規定するビットマップに比較される。合成触覚効果に応じて、適切な触覚信号が、ビットマップにあって規定された出力を提供するために、アクセス／生成される。

他の具現化例にあって、タッチの現在の又は予測される位置は、コントロール、テクスチャコンテンツ、境界などのようなグラフィカルユーザインターフェース（ＧＵＩ）特徴物の位置を特定するデータと比較される。その後、ＧＵＩ特徴物が前記位置にて特定されると、一つ以上の合成触覚効果を前記特徴物に関係付けるデータがアクセスされる。例えば、プロセッサは、タッチの位置を追跡し、さらに、タッチが、グラフィカルユーザインターフェースにあって特定の制御（例えば、ボタン）にマップされるタッチ領域における位置にあるか又はその位置に接近していることを確定する。プロセッサは、その後、そのボタンに関連する合成触覚効果（例えば、テクスチャ、摩擦変動）を確定するためインターフェース要素のリストを調べ、そしてその触覚効果に基づいて、合成触覚効果を生成するためのさらなる動作を行う。

ブロック４０８は一つの触覚信号又は複数の触覚信号を、合成触覚信号を実現するために、摩擦係数を変化し、一つ以上の他の触覚出力を提供することによって、一つ以上のアクチュエータに送信する役割を果たす。例えば、アナログドライブ信号が提供されるには、プロセッサは信号を形成するために、オンボードＤ／Ａコンバータを用いる。ディジタルコマンドがアクチュエータに提供されると、適切なメッセージがプロセッサのＩ／Ｏバスによって生成される。触覚効果は、タッチのポイント及び／又は他のポイントにて感じられる。例えば、二本指入力ジェスチャが提供されると、第１の指にて、テクスチャ／摩擦係数が第２の指の動きを認識することに応じて変化される。

いくつかの具現化例にあっては、デバイスが作り出すことのできる潜在的な効果の範囲を増大させるために、選択された触覚効果の不在時であっても、ベースライン触覚信号が、環境触覚効果を生成するためにアクチュエータに送られ得る。このように、触覚信号を伝送することは、適切に強度を低減するために、アクチュエータに「停止」命令、「ゼロ」もしくは最小信号、又は他の信号を送信することを含み得る。

一具現化例では、ピエゾエレクトリックアクチュエータのようなあるアクチュエータの使用は、摩擦係数における増加ではなく、タッチサーフェースの摩擦係数を低減させる。タッチサーフェースが静止のときのタッチサーフェースの「通常」の摩擦レベルが摩擦係数を下回るように、選択の範囲を設けるため、ベースライン信号が提供される。つまり、触覚効果は、静的な、値よりむしろ、ベースラインについて定義される。最大摩擦が所望されると、「ゼロ」信号がサーフェースの動きを止めるためにピエゾエレクトリックに送られる。

サーフェースベースの触覚効果は、いかなる適切な形をとってもよい。例えば、いくつかの触覚効果は、タッチサーフェースの摩擦の複数のバリエーションを含み、例えばいつかの部分は他の部分よりも「滑らか」又は「粗く」される。他の具現化例によれば、振動触覚効果は、振動又は連続振動のような振動を用いる。振動触覚効果及び／又は摩擦におけるバリエーションは、境界又は障害のようなはっきり認識できる特徴物の感覚をシミュレートするために用いられる。例えば、境界又は端部は、摩擦の増加によってシミュレートされるし、いくつかの例では、境界が横切られたときには摩擦が減少してもよい。

図５Ａ−５Ｄは、シミュレートされた特徴物の実例をそれぞれ表している。図５Ａは、非−ゼロ電圧ＰＷＭ信号を用いることによるような、アクチュエータがアクティブにされた領域を白領域で表す簡単な例を示す。例えば、前記白領域は、ユーザの指（又はサーフェースに接触する他の物体）が遭遇するであろう低摩擦領域である、タッチパッドの中間における仮想のボタンに対応する。図５は、逆の状態を示す。前記指／物体は、白領域を自由にナビゲートするが、高摩擦領域（黒）ではゆっくりあるいは停止されるかもしれない。これは、例えば、ユーザに、タッチ領域における、ボタン又は他の位置をより容易に探し出される。

図５Ｃは複数の溝を含むシミュレートされた特徴物を示す。ユーザの指又は他の物体が水平方向に複数のストライプを横切ると、前記指／物体は一連の溝として知覚される増加及び減少する摩擦に遭遇するであろう。

上述したように、サーフェースベースの触覚効果を提供するように構成されたタッチサーフェースを含むコンピューティングシステムは、実時間にて効果及び信号を確定する。例えば、図５Ａ−５Ｄのいずれにとっても、システムは前記タッチがサークルの内部であるか否かを初めに確定し、もしサークルの内部にあるのであれば、適切な出力値（図５Ａ）又は終止出力（図５Ｂ）を提供する。同様に、前記システムは、前記タッチが所望の高摩擦を伴って領域内にて発生したのか否かについて、発生したことを確定すると、前記アクチュエータを駆動することによって図５Ｃの特徴物を提供する。

図５Ｄは、より複雑なパターンを表す。例えば、図５Ｄにおけるパターンは、携帯電話のキー配列、シミュレートされたキーボード、又は他のコントローラのようなキー配列に関連する所望の特徴物に対応する。実時間の表現が、図５Ａ−５Ｄのいずれにあっても用いられるが、より複雑なロジックがパターン中の各特定のサークル／ボタンを表現するために、用いられる。これらのさらにはより任意のパターンは、プログラミングの複雑さ及び計算時間を増加するかもしれない。したがって、いくつかの具現化例にあって、サーフェースベースの触覚効果は、予定より早くに決定され、さらにはファイルに格納されている。実行時に、前記ファイルは、早期の確定と適切な触覚信号の発生を可能とするタッチ位置に基づいてアクセスされる。図５Ｄについて、そのようなファイルはタッチ位置がサークルにマップされるときに第１の触覚効果（例えば、高摩擦）を提供するためにアクチュエータを駆動するデータを含み、前記ファイルは、前記タッチ位置が前記サークルの外側位置にマップされるときに第２の効果（例えば、低摩擦）を提供するためにアクチュエータを駆動するデータを含む。

図５Ａ−５Ｄの特徴物は、ピエゾエレクトリックアクチュエータに加えるか代わりに他のタイプのアクチュエータを用いることによってシミュレートされるかもしれない。例えば、振動触覚アクチュエータは、振動、ポップ、パルス、クリックなどを、図５Ａ、５Ｂ又は５Ｄのサークルに遭遇するか、及び／又は図５Ｃのパターンに遭遇したとき（例えば、黒から白への各遷移でのポップ又はクリック）に、提供するために用いられる。アクチュエータによって生成される触覚効果は、開始時間及び停止時間はもとより、電流、電圧、周波数に依存して変動する。一つの具現化例にあって、複数のアクチュエータが、異なるアプリケーション用の異なる触覚効果を生成するために使用される。例えば、二つのアクチュエータは、前述された、グラフィカルオブジェクト（例えば、キーボードキー）を通りすぎるユーザの指又はタッチペンに応じて振動又はポップを提供するように構成される。

図５Ａ−５Ｄの特徴物は、合成触覚効果を用いることでシミュレートされる。例えば、摩擦の変化は、サーフェースをタッチする物体が黒から白、あるいはその反対に動くときにクリック、ポップ、又は他の反応にしたがって用いられる。

振動触覚効果及び／又は摩擦の変化は、付加的に或いは代替的に、様々なテクスチャをシミュレートするために用いられる。テクスチャの使用及び生成に関する付加される詳細は、「Systems and Methods for a Texture Engine」（テクスチャエンジンのためのシステム及び方法）（Attorney Docket IMM354(51851-383720)）、「Systems and Methods for Using Multiple Actuators to Realize Textures」（テクスチャを実現するための複数のアクチュエータを用いるためのシステム及び方法）（Attorney Docket IMM355(51851-383719)）、及び「Systems and Methods for Using Texture in Graphical User Interface Widgets」（グラフィカルユーザインターフェースウィジェットにあってテクスチャを用いるためのシステム及び方法）（Attorney Docket IMM356(51851-383718)）という名称の米国特許出願番号１２/６９７，０１０、１２/６９７，０４２、及び１２/６９７，０３７の各参照文献にそれぞれ見ることができる。

例えば、摩擦又は振動のパターンを異ならせるパターンは、レンガ、石、砂、草、毛皮、様々な繊維タイプ、水、糖蜜、及び他の流体、皮、木、氷、爬虫類の皮膚、金属及び他のテクスチュアパターンを真似るために提供される。高マグニチュードの振動触覚又は他のフィードバックのような、実世界のテクスチャに類似してない他のテクスチャも、「危険な」テキスチャが所望されるときに、用いられる。

全般的に、テクスチャは、空間的に変化する力として知覚される出力を提供することによってサーフェース特性をシミュレートすることができる。このように、テクスチャは、もちろん振動はテクスチャをシミュレートするのに用いられるのであるが、時間変動力として直接的に知覚されることを意図した振動出力と対比される。

一具現化例として、テクスチャは、スティック又は指が格子を超えて動かされると、感じられる力をシミュレートする。一つの具現化例にあって、テクスチャ力は、マグニチュード及び肌理(grit)を含むパラメータを用いるプログラマ／開発者によって特徴付けられる。マグニチュードは、タッチサーフェース（例えば、格子の各「隆起」）に遭遇する物体に適用される力の量を規定する。肌理は、基本的に力の間の空間である（例えば、格子の隆起のそれぞれの間の空間）。代替的には、付加命令パラメータは、テクスチャフォースの「隆起」の位置を制御するために設けられる。例えば、情報は、急激に距離を変動するため、或いは規定された公式に関して変動するために隆起の間の距離を増加することも含む。付加的に、与えられたテクスチャは、複数の重ねられた肌理及びマグニチュードとして定義される。

図６Ａは、テクスチャエンジンが本発明の一具現化例により生成するテクスチャの一つを例示する。図６Ａに示された具現化例は、レンガを含む。レンガのテクスチャは、モルタルから砂の谷の感覚を伴って断続され、レンガから粗い不定のテクスチャを有することによって特徴付けられる。テクスチャエンジンのシステムは、ユーザの指が動いている間に、媒体のランダム信号を、最大変動とする、ＬＲＡ，ＬＰＡ、又はＦＰＡのような、アクチュエータを駆動することによって粗い不定のレンガのテクスチャを生成する。いくつかの具現化例にあって、この変動は、異なる粗の調整用とされる。いくつかの具現化例にあって、レンガからモルタルへの遷移が、ＥＲＭによって作られる高持続ポップによって示される。付加的には、摩擦係数は、レンガとモルタル部分の間にて変動される。モルタルが厚さ十分であると、細かなテクスチャは、レンガのテクスチャを出力するアクチュエータを駆動するために用いられるよりも、高い変動を伴う低マグネチュード信号にてアクチュエータをドライブすることによって示される。

図６Ｂは、本発明の一具現化例にしたがって、テクスチャエンジンが生成するテクスチャの一つを例示する。図６Ｂに示された具現化例は、石を含む。石のテクスチャは、ユーザが石から石に動かすように、遷移が断続される滑らかなサーフェースによって特徴付けられる。石のテクスチャを出力するため、ＦＰＡ及び／又はピエゾエレクトリックアクチュエータのようなアクチュエータは、低摩擦の継ぎを形成するために用いられる。個々の石は、タッチ−センシティブインターフェースがユーザの動きを検出すると、表示される画像の視認されないエッジマップ、及びＬＲＡ，ＬＰＡ又はＥＲＡなどのようなアクチュエータへの高マグニチュード触覚信号を出力する。例えば、高マグニチュード出力は、タッチ−センシティブインターフェースがユーザの指が一つの石から他の石に遷移することを検出するといつでも、提供される。摩擦係数もまた、石の間にて変化される。

図６Ｃは、本発明の一具現化例により、テクスチャエンジンが生成するテクスチャの一つの例示である。図６Ｃに示される具現化例は、砂又は紙やすりを含む。砂は、ユーザの指の前に造られた砂の粒子の堆積の感覚と同様に、粗く、ざらついた感じによって特徴付けられる。粗い、砂の、ざらついたテクスチャを出力するため、ＬＲＡ、ＬＰＡ又はＦＰＡのようなアクチュエータがユーザの指が動いている間、高い最大変動を伴うランダム信号により駆動される。いくつかの具現化例にあって、プロセッサは異なる粗さの度合いを形成するために信号の変動を調整する。砂の堆積の感じを作り出すため、ＦＰＡのようなアクチュエータが用いられる。そのような具現化例にあって、ユーザが指をタッチスクリーンを横切るように動かすと、プロセッサは、低強度にてスタートし、かつユーザが指を一方向に動かすときに形成する信号により、アクチュエータを駆動する。ピエゾエレクトニクス又は他のアクチュエータは、砂を堆積するのをシミュレートするために摩擦係数を増加するために用いられる。

他の具現化例にあって、図６Ｃに示されるテクスチャは、紙やすりを含む。紙やすりは、粗く、ざらざらした感じを有することによって特徴つけられる。粗い、ざらついた感覚を作り出すために、プロセッサは、ＬＲＡ、ＬＰＡ又はＦＰＡのようなアクチュエータを、高い最大変動を伴うランダム信号により駆動する。いくつかの具現化例にあって、この信号は、ユーザの指がタッチセンシィティブインターフェースのサーフェースを横切って動いている間に出力される。いくつかの具現化例にあって、プロセッサは、粗さのレベルを変化するために信号の変動を調整する。付加的に、粗さは、摩擦係数における急な変化を通して生成され、或いは強調される。

図６Ｄは、本発明の一具現化例によってテクスチャエンジンが生成する一つのテクスチャの例示である。図６Ｄに示される具現化例にあって、テクスチャは、草のテクスチャを含む。草は、ユーザの指をほとんどくすぐる断続的な軽い感覚によって特徴付けられる。草の感覚を作り出すために、プロセッサは、ＦＰＡ又はピエゾエレクトリックアクチュエータのようなアクチュエータを、草の部分を重ねた低摩擦の部分を形成するために構成された信号を用いて駆動する。いくつかの具現化例にあって、プロセッサは、表示される画像の目に見えないエッジマップを有することにより、さらにはユーザインターフェースがシミュレートされた葉の間の動きを検出するときに、ＬＰＡまたはＥＲＭのようなアクチュエータに低マグニチュード信号を出力することによって個々の草の葉を表現する。

図６Ｅは、本発明の一具現化例によりテクスチャエンジンが生成するテクスチャの一つの例示である。図６Ｅに示される具現化例にあって、前記テクスチャは繊維のテクスチャを含む。繊維は、軽い滑らかな感覚によって特徴付けられる。繊維のテクスチャの感覚を作り出すために、プロセッサはＬＰＡ又はＬＲＡのようなアクチュエータを、低マグニチュード高周波数信号にて、ユーザの指がタッチ−センシティブインターフェースのサーフェースを横切って動くときに、駆動する。前記繊維の「性質」は肌理に沿って動くとき、低摩擦を提供するためディスプレイの摩擦レベルを変動することによってシミュレートされる。

図６Ｆは、本発明の一具現化例によりテクスチャエンジンが発生するテクスチャの一つの例示である。図６Ｆに示される具現化例にあって、テクスチャは水又は糖液を含む。水は、ほとんど感覚がないことを特徴としている。しかし、散乱する水は周辺に飛び散り、ユーザの指を打つかもしれない。水のテクスチャをまねるため、プロセッサは、ＦＰＡのようなアクチュエータをタッチセンシティブインターフェースのサーフェース上の摩擦を低減するために駆動する。水がはねるのをまねるため、プロセッサはユーザがスクリーンをタッチしているときだけ、触覚信号を出力する。糖蜜、又はオイルのようなもっと粘性の高い液体をまねるため、プロセッサはユーザの指がタッチセンシティブインターフェースのサーフェースを横切って動くとき、ユーザの指の摩擦を増加するように形成される信号によってアクチュエータを駆動する。

図６Ｇは、本発明の一具現化例によってテクスチャエンジンが生成するテクスチャの一つを例示する。図６Ｇに示された具現化例にあって、テクスチャは皮のテクスチャを含む。皮は、皮の表面の突起及び谷を含む全体的に滑らかな感覚によって特徴付けられる。皮のテクスチャの感覚を作り出すため、プロセッサは、ＦＰＡ又はピエゾエレクトリックアクチュエータのようなアクチュエータをユーザの指がタッチセンシティブインターフェースのサーフェースを横切って動くときに、摩擦を低減する触覚効果を出力するように構成される信号にて、駆動する。プロセッサは、タッチセンシティブインターフェースがユーザの指が動いたことを検出すると直ちに非常に短い低マグニチュード触覚信号によりアクチュエータを駆動することにより裂け目及び隆起を出力できる。

図６Ｈは、本発明の一具現化例によりテクスチャエンジンが生成するテクスチャの一つの例示である。図６Ｅに示された具現化例にあって、テクスチャは木のテクスチャを含む。木は、ユーザが板から板に動いたときに、急な変わり目によって区切られる不定の隆起テクスチャによって特徴つけられる。不定のでこぼこのテクスチャをつくりだすため、プロセッサは、ＬＲＡ、ＬＰＡ、又はＦＰＡのようなアクチュエータを、ユーザの指が動いているときに様々な時間で非常に短い低マグニチュード信号によって、駆動する。板材から板材への遷移を出力するため、プロセッサは、高マグニチュード、短い継続のポップをアクチュエータに生成させるように構成される触覚信号を出力する。タッチサーフェースの摩擦は、板材の間にての動きのときに変動され、木の木目に沿っての動きのときに保持される（或いはわずかに変動される）。

他の具現化例にあって、異なるテクスチャに関連する触覚効果が出力される。例えば、一具現化例にあって、プロセッサは、ユーザに氷のテクスチャに対応されるテクスチャを感じさせるように構成される触覚効果をアクチュエータに出力させるように構成される触覚信号を送信する。氷は、いくつかの具現化例にあっては、氷が完全に滑らかなテクスチャを有するように、他の具現化例にあっては、氷は繊細な低マグニチュードのざらついたテクスチャを備えるように、低摩擦によって特徴つけられる。氷のテクスチャをつくりだすため、プロセッサは、ユーザが指をタッチセンシティブインターフェースのサーフェースを横切って動かしている間にできるだけ、アクチュエータに摩擦を低減させるように構成される触覚信号を確定する。他の具現化例にあって、プロセッサはＬＰＡ又はＬＲＡのようなアクチュエータを、ユーザが指を動かす間に、低マグネニチュード効果を出力するように構成される触覚信号によって駆動する。これらの低マグニチュード効果は、氷のサーフェース上の欠陥又は肌理に対応される。

他の具現化例にあって、プロセッサは、爬虫類の皮のテクスチャとほぼ同じでる触覚効果をアクチュエータに出力させるように構成される信号によってアクチュエータを駆動する。爬虫類の皮膚は、皮膚上の隆起から隆起への遷移によって区切られる全体的に滑らかな感覚によって特徴つけられる。爬虫類の皮膚のテクスチャを含む触覚効果を実行するために、プロセッサは、タッチセンシティブインターフェースのサーフェース上にアクチュエータに低摩擦のパッチをつくりださせるように構成される触覚信号によってアクチュエータを駆動する。プロセッサは、タッチセンシティブインターフェースがユーザの指がタッチセンシティブインターフェースのサーフェースを動いているのを検出すると、高マグニチュード触覚信号を周期的に出力することによって前記爬虫類の皮膚の表面上に裂け目を表現する。これらの高マグニチュード信号は、前記爬虫類の皮膚のサーフェースに裂け目をみせかける。

さらに他の具現化例にあって、プロセッサはアクチュエータを毛皮のテクスチャに似せた触覚効果をアクチュエータに出力させるように構成される信号によって駆動する。毛皮は、非常に柔らかなタッチである周期的な軽い感覚によって特徴つけられる。毛皮のテクスチャを含む触覚効果を実行するために、プロセッサは、アクチュエータを、タッチセンシティブインターフェースのサーフェース上にユーザが感じる摩擦を低減するために構成される触覚効果をアクチュエータに出力させるように構成される触覚信号によって駆動する。プロセッサは、タッチセンシティブインターフェースのサーフェースがユーザの動きを検出すると、低マグニチュードパルス触覚信号を出力して個別の毛をさらに表現する。

さらに、他の具現化例にあって、プロセッサは、金属のテクスチャに似せた触覚効果をアクチュエータに出力させるように構成される信号によって、アクチュエータを駆動する。金属は、いくつかの具現化例にあっては、軽い肌理を含む滑らかな低摩擦サーフェースによって特徴つけられる。金属のテクスチャを含む触覚効果を実行するため、プロセッサはアクチュエータを、タッチセンシティブインターフェースのサーフェース上にユーザが感じる摩擦を弱めるように構成される信号によって駆動する。いくつかの具現化例にあって、プロセッサは、タッチセンシティブインターフェースがユーザのそのサーフェース上における動きを検出すると、高マグニチュードの触覚信号を短時間出力することによって個々の隆起を表現する。これらの短時間の高マグニチュードの信号は、金属のサーフェース上の肌理と同じようにされる。

さらに他の具現化例にあって、プロセッサは、アクチュエータを、他の感覚、例えば、熱を真似た触覚効果をアクチュエータに出力させるように構成される信号によって駆動する。そのような具現化例にあって、プロセッサは、ユーザが熱に関連するディスプレイの要素にタッチすると、高い周波数の揺さぶり効果をアクチュエータに出力させるように構成される触覚信号によって、アクチュエータを駆動する。

図７は、合成触覚信号を提供する他の方法７００における例示的なステップを示すフローチャートである。図７は、基準ファイルを形成し、用いることによってシミュレートされた特徴物を提供するための具現例の方法７００を示すフローチャートである。図８は、画素アレイを含む参照ファイルの具現化例を示す。ブロック７０２及び７０４は、合成触覚効果を確定するための参照ファイルの使用の前に発生するアクティビティであるプリプロセッシングを表現する。この具現化例によれば、単一の基準ファイルが摩擦値及び合成触覚効果の提供における少なくとも一つの他の触覚効果を確定するために用いられる。付加的には、「参照ファイル」は、共に用いられる複数のファイルを含んでもよい。

ブロック７０２は、配置のレイアウトを形成することを表し、ブロック７０４は、ビットマップにおける画素アレイ或いは他の画像ファイルのような、画像ファイルにレイアウトを格納することを表す。例えば、任意の形状は、所望される摩擦値を明確にするために引き延ばされる。図８にあって、白の画素は、摩擦の調整又は他の出力が意図されていないところを示すために表されている、これに対して影の付けられた画素は望まれる摩擦係数の値又はアクチュエータの駆動のために有効な値さえも示している（例えば、所望のＰＷＭ電圧レベル、周波数、など）。代替的に、白の画素は最大駆動を示してもよいし、様々な影の度合いは、黒がゼロ駆動を示すとして、低駆動値を表してもよい。一具現化例にあって、デバイスのアクチュエータの状態のオン／オフに対応する色により、白の画素及び黒の画素のみが用いられる。

この具現化例にあって、陰影の異なる度合いは、クロス−ハッチング（斜影線）によって表している。実際には、各画素は、異なるアクチュエータなどのための異なるレベルのような異なるデータを提供する複数の値を伴う、複数の値を含んでいる（例えば、各画素はＲＧＢ値を有しているかもしれない）。さらに、参照ファイルは、各画素位置用の様々なパラメータを規定するために複数の層を備えてもよい。例えば、一つの層は、振動触覚又は他の触覚出力の出力にあっての使用のための駆動値又は他の情報を定義するために用いられる一つ以上の他の層と共に、摩擦係数の変化を定義するために用いられる。この具体例は、比較的少なく数の画素を示しているが、実際には、画素の配列は、数千又は数百万の画素を含む。

この具体例にあっては、濃い陰影によって示されるボタンの境界を有した３つのボタン８０２、８０４及び８０６が示されている。それぞれの内側８０８、８１０及び８１２は、異なる陰影を有し、異なるテクスチャ、摩擦値、又はボタンの内側に対応する他の効果を表すことを意図されている。メニューバーは、相互に同一の陰影を伴う二つのメニュー命令８１６及び８１８と共に、メニューバーを現し、さらにその後、メニューアイテムを現すことを示すために用いられる異なる触覚効果に対応して、８１４にて異なる陰影を有して示されている。ここには示されないが、低及び高（又は高及び低）摩擦の間の遷移又は他の効果が含まれる。

図７の方法７００に戻り、一旦、参照ファイルが作り出されると、それはメモリに格納され、出力のための合成触覚効果を確定するためにブロック７０６に示されるように読みだされる。例えば、画素配列の一部又は全ては、位置検出及び特徴物シミュレーションルーティンを行うプロセッサのメモリとしての動作を継続する。一具現化例にあって、画素配列は、グラフィカルユーザインターフェースの対応する画素のそばに割り当てられる。他の具現化例にあって、画素配列は、グラフィカルユーザインターフェースイメージの一層又は要素であり、さらに他の具現化例にあって前記画素配列はグラフィカルユーザインターフェースとは関連しない別個のファイルである。

ブロック７０８は、タッチ位置を確定することを表す。例えば、センサはタッチ領域にマップされる画素配列におけるタッチの画素位置を確定するために用いられるデータを提供する。以下のマッピングステップの間に用いられる適切な遷移とともに、タッチの前記位置を識別するために用いられる画素座標はない。

ブロック７１０は、画像ファイルにおける入力（又は複数入力）へのタッチ位置をマッピングすることを示す。例えば、画素（ｘ，ｙ）＝（１０，１２）におけるタッチが画像（ｘ，ｙ）＝（１０，１２）での画像における一つ以上の画素値へのアクセスの結果であるように、タッチ領域は直接的にマップされる。しかし、もっと複雑なマッピングが用いられてもよい。例えば、一つのタッチ位置及び速度は、前記タッチ領域における一つの画素値を前記画像ファイルにおける異なる画素値にマップするために用いられる。例えば、前記タッチ領域のサイズ及び前記画素配列のサイズは、タッチ位置を画素値にマップするために用いられるスケーリングファクタと一緒に、異なる。

ブロック７１２は、前記画像ファイルからの少なくとも一部のデータに基づいたサーフェースベースの触覚効果を提供するための一つ以上のアクチュエータを作動させることを表す。例えば、画像ファイルの画素値は、所望される摩擦係数にマップされる。方法７００を実行するデバイスは、画素位置及び所望の摩擦係数に基づいて、所望の摩擦係数を生成するための一つ以上のアクチュエータに送るための適切な信号又は複数の信号を確定する。他の具現化例にあって、画素値は駆動信号を示す、もっと直接的には、ピエゾエレクトリックアクチュエータに送られるPWM信号のための電圧／振幅／周波数値又はオフセットのような駆動信号を示す。前記画像配列のデータは、他のタイプのアクチュエータ用の駆動信号を生成するのに用いられるようにも構成される。

さらに複雑な具現化例にあって、各画素のアドレスは、３つの彩度値（すなわち、ＲＧＢ）に関連づけられてもよい。前記３つの彩度値のそれぞれは、いくつかの具現化例における対応するアクチェエータ用の単一の彩度／周波数に関連付けられてもよい。他の具現化例にあって、いくつかの値は、再度を規定してもよいし、他の値は同じアクチュエータのための動作の長さを規定してもよい。さらなる具現化例にあって、異なる画素彩度値が単一のテクスチャをシミュレートするためのアクチュエータを駆動するたえに用いられる異なる所望のテクスチャ又は要素と相互に関連つけられてもよい。例えば、テクスチャ８０８、８１０及び８１２は、摩擦変化及び振動の組み合わせを用いるのに実行される。前記領域にマップされる位置にてタッチが生じると、適切なアクチュエータがテクスチャを生成するために用いられる。

方法７００は、前記画像ファイルにおける複数の画素にマップされるタッチ位置を確定してもよい。例えば、広いタッチは、前記画像ファイルにおける画素アドレスの範囲に対応する。画素アドレスの範囲からの値は、一緒に考慮されるか、或いは分析は、タッチ位置の「正確な位置を示す」ため、さらには対応する単一の画素アドレスから値を用いるためになされる。

この具現化例にあって、方法７００は、７１４にて、触覚効果に結び付けられる一つ以上のイベントをチェックする。前述したように、合成触覚効果は、選択を確認するための触覚出力を提供する一つ以上のアクチュエータを使用し、状態の変化を示し、さもなければユーザにフィードバックを提供する。ブロック７１６は、前記イベントに対応する合成出力を提供するための一つ以上のアクチュエータを用い、その後にタッチ位置を確定するために７０８に戻って継続する。

例えば、ユーザは、ボタン８０２にマップされるタッチサーフェースの領域を横切って、ボタン８０４にマップされる領域に指又は他の物体を動かすかもしれない。テクスチャ８０８は、生成されて、その後、指／物体がボタン８０４に動くと、クリック、ポップ、又は他の効果がボタンの境界を示すために出力されるかもしれない。ユーザが所定の時間の間、ボタンの操作を長くするか、及び／又はタッチ操作可能なシステムがタッチ又は圧力の増加を登録すると、クリック又はボタン−押下イベントが登録される。クリックイベントに対応して、クリック、ポップ、又は他の効果が、物理的ボタンの応答（又は他の応答）をシミュレートするために出力される。

いくつかの具現化例にあって、サーフェースベースの触覚効果を伴うタッチサーフェースを特徴つけるコンピューティングデバイスは、入力シーケンスに基づいた異なるサーフェースベースの触覚効果を出力できる。このため、タッチサーフェースのシミュレートされた特徴物は、サーフェースに関連されるデバイスの状態に基づいて変動する。いくつかの具現化例にあって、これは複数層を伴う参照ファイルを用いるのに実行される。ここで、各層は、固有の状態に対応することができる。前記状態は、例えば、様々な入力状態に基づいて変化される。

例えば、タッチサーフェースは、移動可能端末上のようなキーパッドとして作用するように構成されてもよい。前記キーパッドは、番号１−９に対応する３列のキーと、「０」、「＊」、及び「＃」キーからなる４番目の列を特徴とする。初期の状態にあって、タッチサーフェースは、「５」のキーにて、レイアウトの残りよりも、高い摩擦レベルのような、中央の特徴を提供するように構成される。

コンピューティングデバイスは、前記タッチ−センシティブ領域に関連する前記入力の追跡に基づいたユーザ入力に反応する前記タッチサーフェースの状態を変化するために構成される。例えば、一旦前記システムが、ユーザがタッチング、ホバーリング、又は「５」キーが位置されていることを示す他の動作（かならずしも選択されるわけでない）を検出したことを感知すると、前記サーフェースベースの効果は、異なる状態に基づいて提供される。複数層の参照ファイルが用いられると、例えば、異なる層がメモリにロードされる。第２の状態にあって、例えば、キー間の境界は、ユーザが中央から視認されるフィードバックを不要として所望のキーに進むことができるように、提供される（もちろん、視覚による、聴覚による、或いは他のフィードバックが本発明の主題の具現化例については提供されるけれども）。

サーフェースベースの触覚効果の情報提供内容又は意味は、様々な具現化例にて変化する。例えば、効果は、グラフィカルユーザインターフェース内の領域にマップされるタッチサーフェースの特別な部分を特定するために用いられ、キー又は他の制御がシミュレートされ、或いは美的な又は娯楽の目的のために提供される（例えば、デザイン及び／又はゲームの役割）。効果は、通信目的にも提供される。例えば、ブライユ点字（Braille）又は他の触覚ベースの通信方法にも役立つ。

全般的な考察
この明細書にあっての用語「適合される」又は「構成される」の使用は、付加的なタスク又はステップを実行するために適合される、或いは構成されるデバイスに対してのみあてはめることを主張するのではない開放的及び包括的な意味を有する。さらに、用語「基づいて」の使用は、プロセス、ステップ、計算又は、一つ以上の列挙される条件に「基づいた」他のアクション又は値が、実際に、付加的な条件又はそれら列挙された条件を超える値に基づいているということを意味する。この明細書において含まれる、見出し、リスト及び番号は、説明を容易にするためのものであって、制限することを意味するものではない。

本願の発明の主題に対して対応する具現化例は、デジタル電気回路、コンピュータハードウェア、ファームウェア、ソフトウェハ、又はそれらの組み合わせによって実行される。一つの具現化例にあって、コンピュータは、一つのプロセッサ又は複数のプロセッサを備えてもよい。前記プロセッサは、当該プロセッサに接続されるランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ読み取り可能な媒体へのアクセスを含むし、有する。前記プロセッサは、メモリに格納されている、コンピュータにて実行される、センサーサンプリングルーティン、触覚効果選択ルーティン、及び前述された選択される触覚効果を生成するための信号を形成する適切なプログラミングを実行する一つ以上のプログラムのような、プログラム指示を実行する。

前述のようなプロセッサは、マイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、専用集積回路（ＡＳＩＣ），フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ），及びステートマシンを含む。前記プロセッサは、さらにＰＬＣｓ、プログラマブルインターラプトコントローラ（ＰＩＣｓ）、プログラマブルロジックデバイス（ＰＬＤｓ）、プログラマブルリードオンリィメモリ（ＰＲＯＭｓ）、電気的プログラマブルリードオンリィメモリ（ＥＰＲＯＭｓ又はＥＥＰＲＯＭｓ）、或いは同様のデバイスのようなプログラマブルエレクトロニックデバイスを備える。

前記プロセッサは、本明細書にはプロセッサによって実行され、或いは支援されるように記載されているステップをプロセッサに実行させる命令を格納している、例えば有体物のコンピュータ読み取り可能媒体である媒体を含むか、或いは前記媒体と通信する。コンピュータ読取可能な媒体は、制限されるものではないが、全ての電気的、光学的、磁気的、又はウェブサーバ内のプロセッサのようなプロセッサにコンピュータ読取可能な命令を提供することができる他のストレージデバイスを含む。媒体の他の具体例は、制限されるものではないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ，ＲＡＭ，ＡＳＩＣ、プロセッサを構成する、全ての光学媒体、全ての磁気テープ、又は他の磁気媒体、或いはコンピュータプロセッサが読み取ることのできるいかなる他の媒体をも含む。さらに、様々な他のデバイスは、ルータ、プライベート又はパブリックネットワーク、又は他の伝送デバイスのような、コンピュータ読取可能媒体を含む。記述された、前記プロセッサ、及びプロセッシングは、一つ以上の構成であるか、さらには一つ以上の構成を通して分散されていてもよい。プロセッサは、本明細書にあって記載された方法（或いは方法のいくつかの部分）を実行するためのコードを含んでもよい。

本発明の主題は、具体的な例の中で詳細に記述されているが、当業者は、前述の理解を成し遂げることで、容易に代替物、変形、及び前記具現化例の等価物を適切に創造できるであろう。すなわち、本開示は、制限というよりもむしろ具体例の目的のために示されたものであり、当業者にとっては容易に明瞭となり、本発明の主題の改良、変形及び／又は付加の包括を排除するものではない。

Claims (19)

1. i) 特徴物を表示するディスプレイ領域と、
   ii) プロセッサと通信するセンサであって、
   a) 第１の物体がタッチサーフェースに接触すると第１のタッチを検出し、
   b) 第２の物体が前記タッチサーフェースに接触すると第２のタッチを検出し、
   c) センサのデータを前記プロセッサに送信するように構成されるセンサと、
   iii) 前記プロセッサと通信し前記タッチサーフェースに連結される第１アクチュエータであって、２０ｋＨｚより上の周波数を含む第１触覚出力を提供するように構成され、第１触覚信号に応じて前記タッチサーフェースの摩擦係数を変化させるように構成される第１アクチュエータと、を備えるシステムであって、
   前記プロセッサは、
   生成する合成触覚効果を選択し、
   d) 前記第１触覚信号を前記第１アクチュエータに送信し、
   e) 第２触覚信号をアクチュエータに送信して摩擦係数を変化させる前記第１触覚出力とは異なる第２触覚出力を提供し、それによって前記合成触覚効果を生成するように構成され、
   前記プロセッサがさらに、
   前記ディスプレイ中の前記第１のタッチの第１位置に基づいて前記第１触覚出力を決定し、
   前記ディスプレイ中の前記第２のタッチの第２位置の認識に基づいて前記第２触覚出力を決定し、
   前記プロセッサはさらに、
   前記センサデータを用いて、前記ディスプレイ領域中の前記第１のタッチの予測される位置を確定し、
   特徴物の位置を前記予測される位置と比較することにより前記特徴物を特定し、
   前記特徴物が前記予測される位置又はその近くにおいて特定される場合に、前記合成触覚効果及び前記特徴物に関連するデータにアクセスするように構成されることを特徴とするシステム。
2. 前記第１のタッチと前記第２のタッチとが実質的に同時に起こる請求項１に記載のシステム。
3. 前記第１のタッチと前記第２のタッチとが併存して起こる請求項１に記載のシステム。
4. 前記プロセッサと通信し、前記タッチサーフェース及び前記タッチサーフェースを含むハウジングのうちの少なくとも一つと連結される第２アクチュエータをさらに含み、
   前記第２アクチュエータは、前記第２触覚信号を受けて前記第２触覚出力を提供するように構成される、請求項１〜３のいずれかに記載のシステム。
5. 前記第２触覚出力を決定することは、決定された位置又はその近くにおいて前記タッチサーフェース中に前記特徴物の存在をシミュレートする合成触覚効果を決定することをさらに含む、請求項１〜４のいずれかに記載のシステム。
6. 前記第１触覚出力を決定すること及び前記第２触覚出力を決定することは、
   複数の位置のそれぞれを対応する触覚効果にマップするマッピングファイルにアクセスすること、及び
   前記第１のタッチの決定された位置に部分的に基づいて選択された位置である、選択された位置にマップされた、合成触覚効果を特定することを含む、請求項１〜５のいずれかに記載のシステム。
7. 前記マッピングファイルにおける前記位置は、前記第１アクチュエータに送信するための前記第１触覚信号を生成するために用いられる第１の値及び前記第２触覚出力を提供するための信号を生成するために用いられる第２の値を含む複数の値を含む、請求項６に記載のシステム。
8. 前記選択された位置は、前記第１のタッチの位置及び前記第１のタッチの速度に部分的に基づいて決定される、請求項６に記載のシステム。
9. 前記プロセッサは、前記センサのデータに基づいて前記第１のタッチの圧力を決定するようにさらに構成され、前記第１触覚出力は前記第１のタッチの前記圧力に少なくとも部分的に基づいて決定される、請求項１〜８のいずれかに記載のシステム。
10. 特徴物をディスプレイ領域に表示することと、
    第１の物体がタッチサーフェースに接触したときに、少なくとも一つのセンサを用いて第１のタッチを検出することと、
    第２の物体が前記タッチサーフェースに接触したときに、前記少なくとも一つのセンサを用いて第２のタッチを検出することと、
    前記センサを用いてセンサデータを生成することと、
    前記第１のタッチに応じて生成する第１触覚効果を決定し、第１触覚効果は、２０ｋＨｚより上の周波数を含み、前記タッチサーフェースの摩擦係数を変化させるように構成されることと、
    前記第２のタッチに応じて生成する第２触覚効果を決定し、前記第２触覚効果は摩擦係数を変化させる前記第１触覚効果とは異なることと、を含む、コンピュータにて実行される方法であって、
    生成する合成触覚効果を選択し、
    前記ディスプレイ中の前記第１のタッチの第１位置に基づいて前記第１触覚効果を決定するステップ、及び
    前記ディスプレイ中の前記第２のタッチの第２位置の認識に基づいて前記第２触覚効果を決定し、それによって前記合成触覚効果を生成するステップを含み、
    前記センサデータを用いて、前記ディスプレイ領域中の前記第１のタッチの予測される位置を確定する工程、
    特徴物の位置を前記予測される位置と比較することにより前記特徴物を特定する工程、及び
    前記特徴物が前記予測される位置又はその近くにおいて特定される場合に、前記合成触覚効果及び前記特徴物に関連するデータにアクセスする工程をさらに含むことを特徴とする方法。
11. 前記第１のタッチと前記第２のタッチとが実質的に同時に起こる請求項１０に記載の方法。
12. 前記第１のタッチと前記第２のタッチとが併存して起こる請求項１０に記載の方法。
13. 前記第１触覚効果に関連する第１触覚信号をアクチュエータに送信することをさらに含む、請求項１０に記載の方法。
14. 前記第２触覚効果に関連する第２触覚信号をアクチュエータに送信することをさらに含む、請求項１３に記載の方法。
15. 前記第１触覚効果を決定することは、前記タッチサーフェース中で前記特徴物の存在をシミュレートする触覚効果を決定することを含む、請求項１３又は１４に記載の方法。
16. 前記第１触覚信号は、前記特徴物をシミュレートするために第１アクチュエータに摩擦係数を変化させるように形成され、前記第２触覚信号は、前記シミュレートされた特徴物との相互作用に応答して触覚フィードバックを第２アクチュエータに提供させるように形成される、請求項１４記載の方法。
17. 前記第１触覚効果及び前記第２触覚効果に基づいて合成触覚効果を決定することをさらに含み、
    前記第１触覚信号は、特徴物をシミュレートするために第１アクチュエータに摩擦係数を変化させるように形成され、前記第２触覚信号は、前記シミュレートされた特徴物との相互作用に応答して触覚フィードバックを第２アクチュエータに提供させるように形成される、請求項１４記載の方法。
18. 前記合成触覚効果を選択することは、
    複数の位置のそれぞれを対応する複数の触覚効果にマップするマッピングファイルにアクセスすることと、
    前記第１のタッチの決定された位置に基づいて選択された位置である、選択された位置にマップされた複数の触覚効果を特定することと、を含む、請求項１４に記載の方法。
19. 請求項１０〜１８のいずれかに記載の方法を実施するように構成されたコンピューティングシステムによって実行されるプログラムコードを備える、コンピュータストレージ媒体。

Images