JP6900133B2 - ジェスチャー操作装置およびジェスチャー操作方法 - Google Patents

Description

本発明は、ジェスチャー操作装置およびジェスチャー操作方法に関し、特に、操作者にジェスチャー操作を誘導するジェスチャー操作装置およびジェスチャー操作方法に関する。

従来、運転者などの操作者がジェスチャー操作することによって、音量調整または着信応答などを行うジェスチャー操作装置が開発されている。ジェスチャー操作とは、三次元空間における任意の方向に自身の手などを動かすことによって、任意の機能を実行するための操作のことをいう。例えば、任意の機能を実行する際に、操作者が行うべきジェスチャー操作を誘導する情報を表示する技術が開示されている（例えば、特許文献１参照）。

国際公開第２０１２／０１１２６３号

特許文献１では、ジェスチャー操作を誘導する情報を二次元で表示している。従って、三次元方向の動きを伴うジェスチャー操作の場合、当該ジェスチャー操作を誘導する情報は二次元で表現されるため、操作者がジェスチャー操作を正確に理解することができないことがある。この場合、ジェスチャー操作装置は、操作者が行ったジェスチャー操作を精度良く判断することができない可能性がある。

本発明は、このような問題を解決するためになされたものであり、操作者が行ったジェスチャー操作を精度良く判断することが可能なジェスチャー操作装置およびジェスチャー操作方法を提供することを目的とする。

上記の課題を解決するために、本発明によるジェスチャー操作装置は、イベントを検出するイベント検出部と、イベント検出部が検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行う表示制御部とを備え、表示制御部は、操作オブジェクトとともにジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、操作対象オブジェクトを手で操作する態様で操作オブジェクトを表示する制御を行い、操作オブジェクトは、操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、操作者のジェスチャー操作を取得するジェスチャー操作取得部と、ジェスチャー操作取得部が取得したジェスチャー操作が操作オブジェクトに従う動きであるか否かを判断する操作判断部と、操作判断部が判断した結果を操作履歴情報として記憶する操作履歴情報記憶部とをさらに備える。

また、本発明によるジェスチャー操作方法は、イベントを検出し、検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行い、操作オブジェクトとともにジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、操作対象オブジェクトを手で操作する態様で操作オブジェクトを表示する制御を行い、操作オブジェクトは、操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、操作者のジェスチャー操作を取得し、取得したジェスチャー操作が操作オブジェクトに従う動きであるか否かを判断し、判断した結果を操作履歴情報として記憶する。

本発明によると、ジェスチャー操作装置は、イベントを検出するイベント検出部と、イベント検出部が検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行う表示制御部とを備え、表示制御部は、操作オブジェクトとともにジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、操作対象オブジェクトを手で操作する態様で操作オブジェクトを表示する制御を行い、操作オブジェクトは、操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、操作者のジェスチャー操作を取得するジェスチャー操作取得部と、ジェスチャー操作取得部が取得したジェスチャー操作が操作オブジェクトに従う動きであるか否かを判断する操作判断部と、操作判断部が判断した結果を操作履歴情報として記憶する操作履歴情報記憶部とをさらに備えるため、操作者が行ったジェスチャー操作を精度良く判断することが可能となる。

また、ジェスチャー操作方法は、イベントを検出し、検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行い、操作オブジェクトとともにジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、操作対象オブジェクトを手で操作する態様で操作オブジェクトを表示する制御を行い、操作オブジェクトは、操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、操作者のジェスチャー操作を取得し、取得したジェスチャー操作が操作オブジェクトに従う動きであるか否かを判断し、判断した結果を操作履歴情報として記憶するため、操作者が行ったジェスチャー操作を精度良く判断することが可能となる。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

本発明の実施の形態１によるジェスチャー操作装置の構成の一例を示すブロック図である。 本発明の実施の形態１によるジェスチャー操作の一例を示す図である。 本発明の実施の形態１によるジェスチャー操作の一例を示す図である。 本発明の実施の形態１によるジェスチャー操作の一例を示す図である。 本発明の実施の形態１による表示装置の一例を示す図である。 本発明の実施の形態１による表示装置の一例を示す図である。 本発明の実施の形態１による表示装置の一例を示す図である。 本発明の実施の形態１によるジェスチャー操作装置の構成の一例を示すブロック図である。 本発明の実施の形態１によるジェスチャー操作検出装置の構成の一例を示す図である。 本発明の実施の形態１によるジェスチャー操作検出装置の構成の一例を示す図である。 本発明の実施の形態１によるジェスチャー操作装置のハードウェア構成の一例を示すブロック図である。 本発明の実施の形態１によるジェスチャー操作装置の動作の一例を示すフローチャートである。 本発明の実施の形態１によるジェスチャー操作装置の動作の一例を示すフローチャートである。 本発明の実施の形態１による操作オブジェクトの表示の一例を示す図である。 本発明の実施の形態１によるジェスチャー操作装置の動作の一例を示すフローチャートである。 本発明の実施の形態１による操作オブジェクトの表示の一例を示す図である。 本発明の実施の形態１による操作オブジェクトの一例を示す図である。 本発明の実施の形態１による操作オブジェクトの一例を示す図である。 本発明の実施の形態１による操作オブジェクトの一例を示す図である。 本発明の実施の形態１による携帯通信端末の操作画面の表示の一例を示す図である。 本発明の実施の形態１による操作オブジェクトの一例を示す図である。 本発明の実施の形態１による携帯通信端末の操作画面の表示の一例を示す図である。 本発明の実施の形態１による操作オブジェクトの一例を示す図である。 本発明の実施の形態１による階層化された画面の一例を示す図である。 本発明の実施の形態２によるジェスチャー操作装置の構成の一例を示すブロック図である。 本発明の実施の形態１による操作オブジェクトの一例を示す図である。 本発明の実施の形態３によるジェスチャー操作装置の構成の一例を示すブロック図である。 本発明の実施の形態４によるジェスチャー操作装置の構成の一例を示すブロック図である。 本発明の実施の形態４によるジェスチャー操作装置の動作の一例を示すフローチャートである。 本発明の実施の形態４によるジェスチャー操作装置の動作の一例を示すフローチャートである。 本発明の実施の形態５によるジェスチャー操作装置の構成の一例を示すブロック図である。 本発明の実施の形態５による操作オブジェクトの一例を示す図である。 本発明の実施の形態６によるジェスチャー操作装置の構成の一例を示すブロック図である。 本発明の実施の形態６による操作オブジェクトの一例を示す図である。 本発明の実施の形態６による操作オブジェクトの一例を示す図である。 本発明の実施の形態によるジェスチャー操作システムの構成の一例を示すブロック図である。

本発明の実施の形態について、図面に基づいて以下に説明する。

＜実施の形態１＞
＜構成＞
図１は、本実施の形態１によるジェスチャー操作装置１の構成の一例を示すブロック図である。なお、図１では、本実施の形態によるジェスチャー操作装置を構成する必要最小限の構成を示している。また、以下では、操作者が自身の手を動かすことによってジェスチャー操作を行う場合について説明するが、これに限るものではない。

図１に示すように、ジェスチャー操作装置１は、イベント検出部２と、表示制御部３とを備えている。イベント検出部２は、イベントを検出する。イベントしては、後述のように、例えばメール着信、電話着信、車載機器の操作時などが挙げられる。表示制御部３は、表示装置４に接続されており、イベント検出部２が検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行う。

図２〜４は、ジェスチャー操作の一例を示す図である。図２〜４において、Ｘ軸は操作者から見て左右方向を示し、Ｙ軸は操作者から見て上下方向を示し、Ｚ軸は操作者から見て前後方向を示している。

図２に示すように、操作者は、自身の手を前後方向かつ上下方向に回転させるジェスチャー操作を行うことができる。図３に示すように、操作者は、自身の手を前後方向に移動させるジェスチャー操作を行うことができる。図４に示すように、操作者は、自身の手を左右方向に移動させるジェスチャー操作を行うことができる。このように、操作者は、三次元空間における任意の方向に手を動かすことによってジェスチャー操作を行うことができる。

図５〜７は、表示装置４の一例を示す図である。図５〜７において、Ｘ軸は操作者から見て左右方向を示し、Ｙ軸は操作者から見て上下方向を示し、Ｚ軸は操作者から見て前後方向を示している。

図５は、裸眼立体表示を行う表示装置４の一例を示している。裸眼立体表示とは、操作者５が裸眼で表示画面を見たときに画像が立体的に表示されているように、すなわち三次元表示空間において奥行きを感じるように認識させることをいう。具体的には、図５に示すように、操作者５の右目用の表示オブジェクトと左目用の表示オブジェクトとをＸ−Ｙ平面上に交互に表示することによって、操作者５に表示オブジェクトが立体的に表示されているように認識させる。

図６は、ＨＵＤ（Head Up Display）など、虚像表示を行う表示装置４の一例を示している。図６に示すように、虚像である表示オブジェクトの焦点距離を変えることによって、操作者５は表示オブジェクトが立体的に表示されているように認識することができる。

図７は、透過型の表示面をｚ軸方向に複数重ねて構成される表示装置４の一例を示している。一の表示オブジェクトを各表示面に重ねて表示することによって、操作者５は表示オブジェクトが立体的に表示されているように認識することができる。

表示装置４は、図５〜７に示すいずれかまたは任意の組み合わせの表示装置で構成され、表示制御部３の制御によって図２〜４に示すような三次元空間におけるジェスチャー操作を誘導する操作オブジェクトを三次元で表示する。操作オブジェクトの詳細については後述する。

次に、図１に示すジェスチャー操作装置１を含むジェスチャー操作装置の他の構成について説明する。

図８は、他の構成に係るジェスチャー操作装置６の構成の一例を示すブロック図である。

図８に示すように、ジェスチャー操作装置６は、イベント検出部２と、表示制御部３と、通信部７と、ジェスチャー操作取得部８と、操作判断部９と、機器制御部１０とを備えている。

通信部７は、携帯通信端末１２と通信接続可能な端末通信部１１を有している。端末通信部１１は、携帯通信端末１２から、例えばメールを着信した旨の情報、および電話を着信した旨の情報などを受信する。また、端末通信部１１は、操作判断部９の判断結果に従って、携帯通信端末１２に当該携帯通信端末１２を操作する情報を送信する。

イベント検出部２は、端末通信部１１がメールを着信した旨の情報、または電話を着信した旨の情報などを携帯通信端末１２から受信したことをイベントとして検出する。表示制御部３は、表示装置４に対して、イベント検出部２が検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行う。

ジェスチャー操作取得部８は、ジェスチャー操作検出装置１３に接続されており、操作者５のジェスチャー操作をジェスチャー操作検出装置１３から取得する。図９は、ジェスチャー操作検出装置１３の構成の一例を示す図である。図９に示すように、ジェスチャー操作検出装置１３は、例えば車内のフロアコンソールに設置されており、ＴｏＦ（Time of Flight）センサ、画像センサ、および近接センサのうちの少なくとも１つを備えている。ジェスチャー操作空間１７は、ジェスチャー操作検出装置１３による検出範囲に相当する。すなわち、ジェスチャー操作検出装置１３は、ジェスチャー操作空間１７において操作者５が行ったジェスチャー操作を検出する。このとき、ジェスチャー操作検出装置１３が検出するジェスチャー操作は、後述するイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作を行うためのジェスチャー操作だけでなく、その他の手の動きもジェスチャー操作として検出する。

なお、ジェスチャー操作検出装置１３を構成するセンサは、１つでもよい。この場合、ジェスチャー操作検出装置１３は一方向からジェスチャー操作を検出することになる。また、ジェスチャー操作検出装置１３を構成するセンサは、複数でもよい。この場合、例えば図１０に示すように３つのセンサをＡ点、Ｂ点、およびＣ点の３箇所に設ければ、ジェスチャー操作検出装置１３は三方向からジェスチャー操作を検出することになるため、センサが１つの場合よりもジェスチャー操作の検出精度を高めることができる。

図８に戻り、操作判断部９は、ジェスチャー操作取得部８が取得したジェスチャー操作が操作オブジェクトに従う動きであるか否かを判断する。また、操作判断部９は、音声入力装置１４と接続されており、操作者５が音声入力装置１４を介して発話した内容に基づいて、どのような操作をするのかを判断することができる。このように、操作判断部９は、操作者５による音声操作の内容を判断することができる。

機器制御部１０は、操作判断部９が操作オブジェクトに従うジェスチャー操作であると判断した場合、当該ジェスチャー操作に基づいて車載機器１５および音声出力装置１６などの機器を制御する。また、機器制御部１０は、操作判断部９が操作オブジェクトに従うジェスチャー操作であると判断した場合、当該ジェスチャー操作に基づいて、通信部７と通信している携帯通信端末１２を制御する。車載機器１５としては、例えばナビゲーション装置、音響機器、および車両内に設けられた各種制御装置などが挙げられる。音声出力装置１６としては、例えばスピーカなどが挙げられる。

図１１は、ジェスチャー操作装置６のハードウェア構成の一例を示すブロック図である。なお、図１に示すジェスチャー操作装置１についても同様である。

ジェスチャー操作装置６における端末通信部１１、イベント検出部２、表示制御部３、ジェスチャー操作取得部８、操作判断部９、および機器制御部１０の各機能は、処理回路により実現される。すなわち、ジェスチャー操作装置６は、携帯通信端末１２と通信し、イベントを検出し、表示の制御を行い、ジェスチャー操作を取得し、ジェスチャー操作を判断し、機器を制御するための処理回路を備える。処理回路は、メモリ１９に格納されたプログラムを実行するプロセッサ１８（中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）である。

ジェスチャー操作装置６における端末通信部１１、イベント検出部２、表示制御部３、ジェスチャー操作取得部８、操作判断部９、および機器制御部１０の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１９に格納される。処理回路は、メモリ１９に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、ジェスチャー操作装置６は、携帯通信端末１２と通信するステップ、イベントを検出するステップ、表示の制御を行うステップ、ジェスチャー操作を取得するステップ、ジェスチャー操作を判断するステップ、機器を制御するステップが結果的に実行されることになるプログラムを格納するためのメモリ１９を備える。また、これらのプログラムは、端末通信部１１、イベント検出部２、表示制御部３、ジェスチャー操作取得部８、操作判断部９、および機器制御部１０の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、または、今後使用されるあらゆる記憶媒体であってもよい。

＜動作＞
図１２は、図１に示すジェスチャー操作装置１の動作の一例を示すフローチャートである。

ステップＳ１０１において、イベント検出部２は、イベントを検出したか否かを判断する。イベント検出部２は、イベントを検出するまでステップＳ１０１の処理を繰り返し、イベントを検出したと判断するとステップＳ１０２に移行する。

ステップＳ１０２において、表示制御部３は、イベント検出部２が検出したイベントに対して、当該イベントを進行させるために操作者５が行うことが可能な動作に、操作者５の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示するように表示装置４を制御する。具体的には、表示制御部３の制御によって、図２〜４に示すような三次元のジェスチャー操作を誘導する三次元の操作オブジェクトを、三次元で表示可能な表示装置４に表示する。

図１３は、図８に示すジェスチャー操作装置６の動作の一例を示すフローチャートである。なお、図１３では、操作オブジェクトをチュートリアルで表示する場合について、図１４を用いて説明する。本実施の形態において、チュートリアルとは、イベントに対応して操作者５が行うべき一連のジェスチャー操作を操作オブジェクトとして表示装置４に表示することをいう。

ステップＳ２０１において、イベント検出部２は、イベントを検出したか否かを判断する。具体的には、イベント検出部２は、端末通信部１１がメールまたは電話を着信した旨の情報を携帯通信端末１２から受信するまでステップＳ２０１の処理を繰り返す。そして、イベント検出部２は、端末通信部１１がメールまたは電話を着信した旨の情報を携帯通信端末１２から受信したときにイベントを検出したと判断し、ステップＳ２０２に移行する。

例えば、図１４に示すように、端末通信部１１が携帯通信端末１２からメールが着信した旨の情報を受信すると、表示装置４には未読アイコン２０が表示される。図１４の例では、未読のメールが２件あることを示している。

ステップＳ２０２において、表示制御部３は、イベント検出部２が検出したイベントに対応して、当該イベントを進行させるために操作者５行うべき一連のジェスチャー操作を示す操作オブジェクトを三次元で表示するように表示装置４を制御する。

図１４の例では、操作者５が表示装置４に表示されている未読アイコン２０を選択するジェスチャー操作を行うと未読メールの一覧が表示され、さらに操作者５が未読メールの一覧から特定のメールを選択するジェスチャー操作を行うと当該メールの内容を音声で読み上げる旨をチュートリアルで表示する。図１４では、表示装置４には、未読アイコン２０を選択するジェスチャー操作を示す操作オブジェクト２１が三次元で表示されている。このとき、操作オブジェクト２１は、表示装置４の手前から奥へ移動して未読アイコン２０を選択するように動く。また、表示装置４には、「メールを選んで音声で読み上げ可能」の文字が表示されている。

ステップＳ２０３において、ジェスチャー操作取得部８は、ジェスチャー操作検出装置１３から、当該ジェスチャー操作検出装置１３が検出した操作者５によるジェスチャー操作を取得したか、すなわち操作者５がジェスチャー操作をしたか否かを判断する。ジェスチャー操作を取得した場合は、ステップＳ２０５に移行する。一方、ジェスチャー操作を取得していない場合は、ステップＳ２０４に移行する。

ステップＳ２０４において、ジェスチャー操作取得部８は、一定時間が経過したか否かを判断する。なお、この時間は、予め設定された時間であってもよく、ユーザが任意に設定した時間であってもよい。一定時間が経過した場合は、図１３に示す動作を終了する。一方、一定時間が経過していない場合は、ステップＳ２０３に戻る。

ステップＳ２０５において、操作判断部９は、ジェスチャー操作取得部８が取得した操作者５によるジェスチャー操作が、表示装置４に表示されたチュートリアルに従う動きであるか否かを判断する。すなわち、操作判断部９は、操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作であるか否かを判断する。ジェスチャー操作がチュートリアルに従った操作でない場合は、ステップＳ２０６に移行する。一方、ジェスチャー操作がチュートリアルに従った操作である場合は、ステップＳ２０７に移行する。

ステップＳ２０６において、表示制御部３は、ジェスチャー操作が失敗した旨を報知する制御を行う。具体的には、表示制御部３は、操作者５によるジェスチャー操作がチュートリアルに従った操作でない旨を表示装置４に表示する制御を行う。

ステップＳ２０７において、機器制御部１０は、操作者５によるジェスチャー操作がチュートリアルに従った操作であると判断すると、当該ジェスチャー操作に基づいて対象となる機器を制御する。図１４の例では、操作者５がジェスチャー操作で選択したメールの内容を読み上げる。このとき、機器制御部１０は、音声出力装置１６からメールの内容を読み上げるように音声出力装置１６を制御してもよく、携帯通信端末１２からメールの内容を読み上げるように端末通信部１１を制御してもよい。

ステップＳ２０８において、操作判断部９は、操作者５によるジェスチャー操作が終了したか否かを判断する。具体的には、操作判断部９は、ジェスチャー操作取得部８が取得したジェスチャー操作が、表示装置４に表示したチュートリアルに従う全ての操作を行ったか否かを判断する。ジェスチャー操作が終了した場合は、図１３に示す動作を終了する。一方、ジェスチャー操作が終了していない場合は、ステップＳ２０７に戻る。

図１３に示すように、チュートリアルを表示装置４に表示することによって、操作者５は、メールを着信したときにどのようなジェスチャー操作を行えば良いのかを正確に理解することができる。特に、表示装置４が図６に示すようなＨＵＤである場合、操作者５である運転者は、前方から視線を逸らすことなくジェスチャー操作することが可能である。

図１５は、図８に示すジェスチャー操作装置６の動作の一例を示すフローチャートである。なお、図１５では、イベントが生じたときに操作者５が次に行うべき一のジェスチャー操作を誘導する操作オブジェクトを表示する場合について、図１６を用いて説明する。

ステップＳ３０１において、イベント検出部２は、図１３のステップＳ２０１と同様、イベントを検出するまでステップＳ３０１の処理を繰り返す。そして、イベント検出部２がイベントを検出したと判断すると、ステップＳ３０２に移行する。

例えば、図１６に示すように、端末通信部１１が携帯通信端末１２から電話を着信した旨の情報を受信すると、表示装置４には受話器のアイコンとともに、電話の発信元の情報が表示される。図１６の例では、電話の発信元の情報として「岩崎さんからの電話」と表示される。

ステップＳ３０２において、表示制御部３は、イベント検出部２が検出したイベントに対して操作者５が次に行うべき一のジェスチャー操作を示す操作オブジェクトを三次元で表示するように表示装置４を制御する。

図１６の例では、受話器のアイコンに手を掛けた操作オブジェクト２１が表示される。なお、表示制御部３は、受話器のアイコンに手を掛ける動きを表現するように操作オブジェクト２１を表示する制御を行ってもよい。

ステップＳ３０３において、ジェスチャー操作取得部８は、ジェスチャー操作検出装置１３から、当該ジェスチャー操作検出装置１３が検出した操作者５によるジェスチャー操作を取得したか、すなわち操作者５がジェスチャー操作をしたか否かを判断する。図１６の例では、ジェスチャー操作検出装置１３で検出された操作者５の手に対応する検出アイコン２２が表示装置４に表示されている。このとき、表示装置４では、受話器のアイコン、操作オブジェクト２１、および検出アイコン２２を奥から手前に向かって順に表示してもよい。すなわち、表示制御部３は、操作オブジェクト２１を三次元表示空間における奥側に表示し、ジェスチャー操作取得部８が取得した操作者５の手のアイコンである検出アイコン２２を三次元表示空間における手前側に表示する制御を行う。ジェスチャー操作を取得した場合は、ステップＳ３０５に移行する。一方、ジェスチャー操作を取得していない場合は、ステップＳ３０４に移行する。

ステップＳ３０４において、図１３のステップＳ２０４と同様、ジェスチャー操作取得部８は、一定時間が経過したか否かを判断する。一定時間が経過した場合は、図１５に示す動作を終了する。一方、一定時間が経過していない場合は、ステップＳ３０３に戻る。

ステップＳ３０５において、操作判断部９は、ジェスチャー操作取得部８が取得した操作者５によるジェスチャー操作が、表示装置４に表示された操作オブジェクトに従う動きであるか否かを判断する。ジェスチャー操作が操作オブジェクトに従った操作でない場合は、ステップＳ３０６に移行する。一方、ジェスチャー操作が操作オブジェクトに従った操作である場合は、ステップＳ３０７に移行する。

ステップＳ３０６において、図１３のステップＳ２０６と同様、表示制御部３は、ジェスチャー操作が失敗した旨を報知する制御を行う。具体的には、表示制御部３は、操作者５によるジェスチャー操作が操作オブジェクトに従った操作でない旨を表示装置４に表示する制御を行う。

ステップＳ３０７において、機器制御部１０は、操作者５によるジェスチャー操作が操作オブジェクトに従う操作であると判断すると、当該ジェスチャー操作に基づいて対象となる機器を制御する。図１６の例では、検出アイコン２２が受話器のアイコンに重なると、通話が可能となる。このとき、機器制御部１０は、携帯通信端末１２で通話が可能となるように端末通信部１１を制御する。

ステップＳ３０８において、操作判断部９は、操作者５によるジェスチャー操作が終了したか否かを判断する。具体的には、操作判断部９は、ジェスチャー操作取得部８が取得したジェスチャー操作が、表示装置４に表示した操作オブジェクトに従う操作を行ったか否かを判断する。ジェスチャー操作が終了した場合は、図１５に示す動作を終了する。一方、ジェスチャー操作が終了していない場合は、ステップＳ３０２に戻る。

図１５に示すように、イベントが生じたときに操作者５が次に行うべき一のジェスチャー操作を誘導する操作オブジェクトを表示することによって、操作者５は、電話を着信したときにどのようなジェスチャー操作を行えば良いのかを正確に理解することができる。

＜変形例１＞
図１３では操作オブジェクトをチュートリアルで表示する場合の動作を示し、図１５ではイベントが生じたときに操作者５が次に行うべき一のジェスチャー操作を誘導する操作オブジェクトを表示する場合の動作を示しているが、これらの動作を組み合わせてもよい。例えば、操作者５が初めて経験するイベントの場合は図１３の動作を行って操作オブジェクトをチュートリアルで表示し、次回以降に同様のイベントを経験したときは図１５の動作を行って次に行うべき一のジェスチャー操作を誘導する操作オブジェクトを表示するようにしてもよい。操作者５が複数存在する場合は、操作者５ごとに図１３または図１５の動作を行ってもよい。この場合、操作者５を個別に認識する必要がある。

＜変形例２＞
図１３のステップＳ２０２または図１５のステップＳ３０２において、表示制御部３は、例えば図１７または図１８に示すように、操作オブジェクトとともにジェスチャー操作の対象となる機能を表すオブジェクトを表示する制御を行ってもよい。図１７では、時計回りまたは反時計回りのジェスチャー操作を誘導する操作オブジェクト２１とともにダイヤルが表示されている。ダイヤルとしては、例えば音量調整を行うためのダイヤルなどが挙げられる。図１８では、操作者５から見て前後方向に回転させるジェスチャー操作を誘導する操作オブジェクト２１とともにフォルダＡ〜Ｃが表示されている。フォルダとしては、例えば電話帳などが挙げられる。このような表示を行うことによって、操作者５は、物理的な操作ボタンがなくてもどのような操作を行えばよいのかを正確に理解することができる。図１７，１８において、手は表示せず、矢印のみを表示してもよい。

なお、図１７，１８の例は、図１３のステップＳ２０２または図１５のステップＳ３０２において静止画として表示されるが、図１３のステップＳ２０５または図１５のステップＳ３０５において操作者５が実際にジェスチャー操作を行った場合は、実際のジェスチャー操作に合わせてダイヤルが回転し、またはフォルダＡ〜Ｃの順序が変わるように動くことになる。すなわち、操作判断部９が操作者５によるジェスチャー操作が操作オブジェクトに従う動きであると判断した場合、表示制御部３はジェスチャー操作取得部８が取得したジェスチャー操作に合わせて操作オブジェクトが動くように制御する。

また、実際のジェスチャー操作に合わせてフォルダＡ〜Ｃが動くとき、当該動きに合わせて効果音を加えてもよい。これにより、操作者５はより直感的にどのような操作を行えばよいのかを正確に理解することができる。

＜変形例３＞
図１３のステップＳ２０２または図１５のステップＳ３０２において、表示制御部３は、例えば図１９に示すように、操作項目の一覧が手の動きに合わせて回転するように制御してもよい。操作項目の一覧は、例えば車載機器１５の機能に対応している。図１９では、操作項目の一覧が、操作者５から見て前後方向に輪を描くように配置されている。操作者５が「Ｓｅｔｔｉｎｇ」を選択すると各種設定を行うための画面に遷移し、「ＡＭ Ｒａｄｉｏ」を選択するとＡＭラジオを視聴するための機能が実行され、「ＦＭ Ｒａｄｉｏ」を選択するとＦＭラジオを視聴するための機能が実行され、「Ｍｕｓｉｃ」を選択するとＦＭラジオを視聴するための機能が実行され、「Ｎａｖｉｇａｔｉｏｎ」を選択すると目的地までの経路案内などのナビゲーション機能が実行される。このような表示を行うことによって、操作者５は、操作対象の動的な操作感を正確に理解することができる。図１９において、手は表示せず、矢印のみを表示してもよい。

なお、図１３のステップＳ２０５または図１５のステップＳ３０５において操作者５が実際にジェスチャー操作を行った場合は、実際のジェスチャー操作に合わせて操作項目の一覧が動くことになる。また、図１９の例に限らず、図１７においてダイヤルが回転する表示にしてもよく、図１８においてフォルダＡ〜Ｃの順序が変わるように表示してもよい。

また、実際のジェスチャー操作に合わせて操作項目の一覧が動くとき、当該動きに合わせて効果音を加えてもよい。これにより、操作者５はより直感的にどのような操作を行えばよいのかを正確に理解することができる。

＜実施例１＞
操作者５が普段使用している携帯通信端末１２の操作と同様の操作でジェスチャー操作を行うようにしてもよい。

図２０は、携帯通信端末１２の操作画面を表示装置４に三次元で表示する一例を示している。図２０に示す携帯通信端末１２の操作画面は、電話を着信したときに表示される画面である。端末通信部１１は、携帯通信端末１２から電話を着信した旨の情報とともに、電話を着信したときに携帯通信端末１２に表示される操作画面の情報を携帯通信端末１２から取得する。そして、図１３のステップＳ２０２または図１５のステップＳ３０２において、表示制御部３は、例えば図２１に示すように、応答することを示す受話器のアイコンを右方向にスライドさせることを示す操作オブジェクトを表示装置４に表示する制御を行う。操作者５は、図２１に示す操作オブジェクトに従ってジェスチャー操作することによって、電話の着信に応答することができる。このとき、操作者５は、三次元で表示された操作画面を見ながらジェスチャー操作することになるため、操作者５が普段使用している携帯通信端末１２と同様の操作感覚でジェスチャー操作をすることができる。

また、他の例として、携帯通信端末１２が電話を着信したとき、表示装置４に図２２に示すような操作画面を表示してもよい。この場合、表示制御部３は、例えば図２３に示すように、応答することを示す受話器のアイコンを選択することを示す操作オブジェクトを表示装置４に表示する制御を行う。操作者５は、図２２に従ってジェスチャー操作することによって、電話の着信に応答することができる。

なお、図２０〜図２３に示す携帯通信端末１２の操作画面は、上記で説明したように電話の着信時に端末通信部１１が携帯通信端末１２から取得してもよいが、これに限るものではない。例えば、ジェスチャー操作装置６が図示しない記憶部に携帯通信端末１２の操作画面を記憶しておいてもよく、通信部７が外部のサーバなどから携帯通信端末１２に対応する操作画面の情報を取得してもよい。

＜実施例２＞
車載機器１５がラジオおよび音楽を再生する機能を有している場合、これらの機能をジェスチャー操作で実行してもよい。例えば、操作者５が自身の手をかざしながら「音楽」、「ラジオ」、または「携帯の音楽」などと発話すると、イベント検出部２はこれらの動作をイベントとして検出する。

そして、操作者５が「音楽」と発話した場合、表示制御部３は、表示装置４に例えば音楽の再生リストおよび手のアイコンを操作オブジェクトとして表示する。このとき、表示制御部３は、上下方向にフリックするジェスチャー操作を行うと、リストのスクロールが可能であることを示す操作オブジェクトを表示してもよい。

操作者５は、表示装置４に表示された操作オブジェクトに従って上下方向にフリックするジェスチャー操作を行うことによってリストをスクロールし、楽曲名を読み上げることによって特定の楽曲を選択する。なお、楽曲の選択は、ジェスチャー操作によって選択してもよく、表示装置４がタッチパネルを備えている場合はタッチ操作によって選択してもよい。

また、音量調整をする際は、例えば図１７に示すような操作オブジェクトを表示装置４に表示してもよい。この場合、操作者５は、例えば自身の親指、人差し指、および中指でダイヤルを回転させるようなジェスチャー操作を行うことによって、音量調整をすることができる。このとき、操作者５の操作感覚を高めるために、ダイヤルの回転軸が操作者５側に傾いた形状であってもよい。

＜実施例３＞
車載機器１５がナビゲーション機能を有している場合、当該機能をジェスチャー操作で実行してもよい。例えば、操作者５が自身の手をかざしながら「ナビゲーション」、「目的地」、または「地図」などと発話すると、イベント検出部２はこれらの動作をイベントとして検出する。

そして、操作者５が「目的地」と発話した場合、表示制御部３は、例えば目的地のリストおよび手のアイコンを操作オブジェクトとして表示する。このとき、表示制御部３は、上下方向にフリックするジェスチャー操作を行うとリストのスクロールが可能であり、タッチするジェスチャー操作を行うと特定の目的を選択可能であることを示す操作オブジェクトを表示してもよい。操作者５は、表示装置４に表示された操作オブジェクトに従って上下方向にフリックするジェスチャー操作を行うことによってリストをスクロールし、タッチするジェスチャー操作を行うと特定の目的を選択する。なお、目的地の選択は、例えば目的地の地名を読み上げることによって選択してもよい。

操作者５が「地図」と発話した場合、表示制御部３は、例えば地図および手のアイコンを操作オブジェクトとして表示する。このとき、表示制御部３は、ピンチインまたはピンチアウトするジェスチャー操作を行うと地図の拡大または縮小が可能であることを示す操作オブジェクトを表示してもよい。また、手のひらを下に向けたまま前後左右方向に移動させるジェスチャー操作を行うと地図のスクロールが可能であることを示す操作オブジェクトを表示してもよい。

例えば、図２４に示すように、ホーム画面２３、現在地画面２４、および地図スクロール画面２５が階層化されている場合において、表示制御部３は、手のひらを上に向けたまま上方に動かすジェスチャー操作を行う度に、ホーム画面２３、現在地画面２４、および地図スクロール画面２５の順序が変わることを示す操作オブジェクトを表示してもよい。この場合、手を裏返すジェスチャー操作を行うと、ホーム画面２３が最上位に表示されるようにしてもよい。ホーム画面２３において選択可能な項目がある場合、表示制御部３は、例えばタッチするジェスチャー操作を行うと特定の項目を選択することを示す操作オブジェクトを表示してもよい。

以上のことから、本実施の形態１によれば、三次元方向の動きを伴うジェスチャー操作を誘導する操作オブジェクトを三次元で表示しているため、操作者５はどのようなジェスチャー操作を行えばよいのかを正確に理解することができる。従って、ジェスチャー操作装置６は、操作者５が行ったジェスチャー操作を精度良く判断することができる。

＜実施の形態２＞
図２５は、本発明の実施の形態２によるジェスチャー操作装置２６の構成の一例を示すブロック図である。

図２５に示すように、本実施の形態２によるジェスチャー操作装置２６は、機器制御部１０が音像制御部２７を有していることを特徴としている。その他の構成および動作は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。

音像制御部２７は、音声出力装置１６に接続されており、音声出力装置１６から出力される音声の音像を制御する。具体的には、音像制御部２７は、表示制御部３の制御によって表示装置４に表示された操作オブジェクトの表示位置に応じて音像を制御する。

例えば、表示装置４に図２６に示すような操作オブジェクトが表示されている場合について説明する。図２６では、着信メールを保存フォルダとゴミ箱とに分別するときの操作オブジェクトを示している。表示装置４には、左手前には着信メールが表示され、右手前にはゴミ箱が表示され、右奥には保存フォルダが表示されている。操作オブジェクトにおいて、手のアイコンが、着信メールからゴミ箱または保存フォルダに向かう矢印に沿って移動する。このとき、音像制御部２７は、手のアイコンの動きに合わせて音像を制御するため、手のアイコンがゴミ箱に向かって移動するときの音と、手のアイコンが保存フォルダに向かって移動するときの音とが異なる。

なお、音像制御部２７は、操作者５が実際にジェスチャー操作をする際に、当該ジェスチャー操作に合わせて音像を制御してもよい。

以上のことから、本実施の形態２によれば、三次元方向の動きを伴うジェスチャー操作を誘導する操作オブジェクトを三次元で表示するとともに音場を制御しているため、操作者５はどのようなジェスチャー操作を行えばよいのかを直感的かつ正確に理解することができる。従って、ジェスチャー操作装置６は、操作者５が行ったジェスチャー操作を精度良く判断することができる。

＜実施の形態３＞
図２７は、本発明の実施の形態３によるジェスチャー操作装置２８の構成の一例を示すブロック図である。

図２７に示すように、本実施の形態３によるジェスチャー操作装置２８は、状態取得部２９を備えることを特徴としている。その他の構成および動作は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。

状態取得部２９は、状態検出装置３０に接続されており、状態検出装置３０が検出した少なくとも操作者５の目の位置および視線を含む操作者５の状態を取得する。状態検出装置３０は、カメラで構成されており、操作者５の目の位置または視線をカメラで撮影された画像から特定する。表示制御部３は、状態取得部２９が取得した操作者５の状態に基づいて操作オブジェクトの表示位置を制御する。

以上のことから、本実施の形態３によれば、操作者５の状態に基づいて操作オブジェクトの表示位置を制御しているため、操作者５にとって見やすい操作オブジェクトを表示することができる。これにより、操作者５はどのようなジェスチャー操作を行えばよいのかを正確に理解することができる。従って、ジェスチャー操作装置６は、操作者５が行ったジェスチャー操作を精度良く判断することができる。

＜実施の形態４＞
＜構成＞
図２８は、本発明の実施の形態４によるジェスチャー操作装置３１の構成の一例を示すブロック図である。

図２８に示すように、本実施の形態４によるジェスチャー操作装置３１は、操作履歴情報記憶部３２を備えることを特徴としている。その他の構成および動作は、実施の形態３と同様であるため、ここでは詳細な説明を省略する。

操作履歴情報記憶部３２は、例えばハードディスク（Hard Disk Drive：ＨＤＤ）または半導体メモリ等の記憶装置から構成されており、操作判断部９によってジェスチャー操作が操作オブジェクトに従う動きであるか否かが判断された結果を記憶する。

＜動作＞
図２９は、ジェスチャー操作装置３１の動作の一例を示すフローチャートである。なお、図２９のステップＳ４０１〜ステップＳ４０６は図１３のステップＳ２０１〜ステップＳ２０６に対応し、図２９のステップＳ４０８，ステップＳ４０９は図１３のステップＳ２０７，ステップＳ２０８に対応しているため、ここでは説明を省略する。以下では、ステップＳ４０７について説明する。

ステップＳ４０７において、操作履歴情報記憶部３２は、操作判断部９が判断した結果を操作履歴情報として記憶する。具体的には、ステップＳ４０５において操作判断部９が操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作でないと判断すると、当該判断結果が操作履歴情報記憶部３２に記憶される。操作履歴情報記憶部３２に記憶される操作履歴情報は、操作者５ごとに記憶される。なお、各操作者５の識別は、状態検出装置３０が検出した操作者５の顔の画像に基づくものであってもよい。

操作判断部９は、次回以降のステップＳ４０５において、操作履歴情報記憶部３２に記憶された操作履歴情報を用いて、操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作であるか否かを判断することができる。また、操作判断部９は、蓄積された操作履歴情報を用いて機械学習を行うことができる。これにより、操作者５によるジェスチャー操作がチュートリアルで示した操作オブジェクトとは少し異なる場合であっても操作オブジェクトに従った操作であると判断するなど、操作者５によるジェスチャー操作の癖を考慮した判断をすることができる。

図３０は、ジェスチャー操作装置３１の動作の一例を示すフローチャートである。なお、図３０のステップＳ５０１〜ステップＳ５０６は図１３のステップＳ２０１〜ステップＳ２０６に対応し、図３０のステップＳ５０９，ステップＳ５１０は図１３のステップＳ２０７，ステップＳ２０８に対応しているため、ここでは説明を省略する。以下では、ステップＳ５０７，ステップＳ５０８について説明する。

ステップＳ５０７において、状態取得部２９は、操作判断部９が判断した結果に対する操作者５の反応を操作者５の状態として取得する。具体的には、ステップＳ５０５において操作判断部９が操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作でないと判断して、ステップＳ５０６においてジェスチャー操作が失敗した旨を報知したときの操作者５の反応を状態検出装置３０が検出し、当該検出した操作者５の反応を状態取得部２９が取得する。操作者５の反応としては、操作者５の表情、または動きなどが挙げられる。

ステップＳ５０８において、操作履歴情報記憶部３２は、操作判断部９による判断結果と、状態取得部２９が取得した操作者５の反応とを対応付けて操作履歴情報として記憶する。操作履歴情報記憶部３２に記憶される操作履歴情報は、操作者５ごとに記憶される。なお、各操作者５の識別は、状態検出装置３０が検出した操作者５の顔の画像に基づくものであってもよい。

操作判断部９は、次回以降のステップＳ５０５において、操作履歴情報記憶部３２に記憶された操作履歴情報を用いて、操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作であるか否かを判断することができる。また、操作判断部９は、蓄積された操作履歴情報を用いて機械学習を行うことができる。これにより、操作者５によるジェスチャー操作がチュートリアルで示した操作オブジェクトとは少し異なる場合であっても操作オブジェクトに従った操作であると判断するなど、操作者５によるジェスチャー操作の癖を考慮した判断をすることができる。

なお、図２９，３０では、チュートリアルを表示する場合について説明したが、イベントが生じたときに操作者５が次に行うべき一のジェスチャー操作を誘導する操作オブジェクトを表示する場合にも適用可能である。

操作者５がシフトレバーまたは遠隔操作装置などジェスチャー操作以外の他の操作を行った場合、操作判断部９は、図２９のステップＳ４０５または図３０のステップＳ５０５の処理を行わなくてもよい。

以上のことから、本実施の形態４によれば、操作履歴情報記憶部３２に記憶された操作履歴情報を用いて、操作者５によるジェスチャー操作がチュートリアルで示された操作オブジェクトに従った操作であるか否かを判断するため、操作者５によるジェスチャー操作の癖を考慮した判断をすることができる。

＜実施の形態５＞
図３１は、本発明の実施の形態５によるジェスチャー操作装置３３の構成の一例を示すブロック図である。

図３１に示すように、本実施の形態５によるジェスチャー操作装置３３は、通信部７が外部情報取得部３４を有することを特徴としている。その他の構成および動作は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。

外部情報取得部３４は、外部から種々の外部情報を取得する。外部情報としては、例えば、操作者５に関連する情報、交通情報、天候情報などが挙げられる。操作者５に関連する情報としては、例えば、操作者５のスケジュール、連絡先、好みの楽曲、ＳＮＳ（Social Networking Service）の情報、設定した目的地に関する交通情報または天候情報、ＰＯＩ（Point Of Interest）情報、購買行動情報、自宅のネットワークに接続された家電の情報などが挙げられる。

例えば、外部情報取得部３４が操作者５の自宅のネットワークに接続された家電の情報を取得すると、イベント検出部２は外部情報取得部３４が家電の情報を取得したことをイベントとして検出する。そして、表示制御部３は、図３２に示すように、操作者５の自宅の１階に設置されているエアコンの電源をオンまたはオフする動作を示す操作オブジェクト２１を表示装置４に表示するように制御する。例えば、手のアイコンがスイッチのアイコンを押すごとに電源のオンおよびオフが交互に繰り返して表示されるような操作オブジェクトを表示してもよい。これにより、操作者５は、自宅のどの部屋の家電を操作するのかを容易に把握することができるとともに、どのようなジェスチャー操作を行えばよいのかを正確に理解することができる。

以上のことから、本実施の形態５によれば、外部情報を用いて操作オブジェクトを表示しているため、操作者５は例えば自宅に設置された家電を制御するためのジェスチャー操作を正確に理解することができる。従って、ジェスチャー操作装置６は、操作者５が行ったジェスチャー操作を精度良く判断することができる。

＜実施の形態６＞
図３３は、本発明の実施の形態６によるジェスチャー操作装置３５の構成の一例を示すブロック図である。

図３３に示すように、本実施の形態６によるジェスチャー操作装置３５は、機器制御部１０が車両情報取得部３６を有することを特徴としている。その他の構成および動作は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。

車両情報取得部３６は、車載機器１５である車両内に設けられた各種制御装置から車両情報を取得する。車両情報は、車両に関する種々の情報である。

例えば、車両情報取得部３６が車載機器１５から車両のトランクの扉が開いていることを示す情報を取得すると、イベント検出部２は車両情報取得部３６が車両情報を取得したことをイベントとして検出する。そして、表示制御部３は、図３４に示すように、車両のトランクを閉める動作を示す操作オブジェクト２１を表示装置４に表示するように制御する。これにより、操作者５は、車両のトランクを閉めるためのジェスチャー操作を正確に理解することができる。

また、例えば、端末通信部１１が携帯通信端末１２から当該携帯通信端末１２に関する情報を取得すると、イベント検出部２は端末通信部１１が携帯通信端末１２に関する情報を取得したことをイベントとして検出する。そして、表示制御部３は、図３５に示すように、携帯通信端末１２に関する情報の表示の切り替えを行う動作を示す操作オブジェクト２１を表示装置４に表示するように制御する。これにより、操作者５は、携帯通信端末１２に関する情報の表示の切り替えを行うためのジェスチャー操作を正確に理解することができる。

以上のことから、本実施の形態６によれば、車載機器１５または携帯通信端末１２から取得した情報を用いて操作オブジェクトを表示しているため、操作者５は車載機器１５または携帯通信端末１２を制御するためのジェスチャー操作を正確に理解することができる。従って、ジェスチャー操作装置６は、操作者５が行ったジェスチャー操作を精度良く判断することができる。

以上で説明したジェスチャー操作装置は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能なＰＮＤ（Portable Navigation Device）、および車両の外部に設けられるサーバなどを適宜に組み合わせてシステムとして構築されるナビゲーション装置あるいはナビゲーション装置以外の装置にも適用することができる。この場合、ジェスチャー操作装置の各機能あるいは各構成要素は、上記システムを構築する各機能に分散して配置される。

具体的には、一例として、ジェスチャー操作装置の機能をサーバに配置することができる。例えば、図３６に示すように、ユーザ側は、表示装置４、携帯通信端末１２、ジェスチャー操作検出装置１３、音声入力装置１４、車載機器１５、および音声出力装置１６を備えている。サーバ３７は、イベント検出部２、表示制御部３、通信部７、ジェスチャー操作取得部８、操作判断部９、機器制御部１０、および端末通信部１１を備えている。このような構成とすることによって、ジェスチャー操作システムを構築することができる。図２５に示すジェスチャー操作装置２６、図２７に示すジェスチャー操作装置２８、図２８に示すジェスチャー操作装置３１、図３１に示すジェスチャー操作装置３３、および図３３に示すジェスチャー操作装置３５についても同様である。

このように、ジェスチャー操作装置の各機能を、システムを構築する各機能に分散して配置した構成であっても、上記の実施の形態と同様の効果が得られる。

また、上記の実施の形態における動作を実行するソフトウェアを、例えばサーバに組み込んでもよい。このソフトウェアをサーバが実行することにより実現されるジェスチャー操作方法は、イベントを検出し、検出したイベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行うことである。

このように、上記の実施の形態における動作を実行するソフトウェアをサーバに組み込んで動作させることによって、上記の実施の形態と同様の効果が得られる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１ ジェスチャー操作装置、２ イベント検出部、３ 表示制御部、４ 表示装置、５ 操作者、６ ジェスチャー操作装置、７ 通信部、８ ジェスチャー操作取得部、９ 操作判断部、１０ 機器制御部、１１ 端末通信部、１２ 携帯通信端末、１３ ジェスチャー操作検出装置、１４ 音声入力装置、１５ 車載機器、１６ 音声出力装置、１７ ジェスチャー操作空間、１８ プロセッサ、１９ メモリ、２０ 未読アイコン、２１ 操作オブジェクト、２２ 検出アイコン、２３ ホーム画面、２４ 現在地画面、２５ 地図スクロール画面、２６ ジェスチャー操作装置、２７ 音像制御部、２８ ジェスチャー操作装置、２９ 状態取得部、３０ 状態検出装置、３１ ジェスチャー操作装置、３２ 操作履歴情報記憶部、３３ ジェスチャー操作装置、３４ 外部情報取得部、３５ ジェスチャー操作装置、３６ 車両情報取得部、３７ サーバ。

Claims (19)

1. イベントを検出するイベント検出部と、
   前記イベント検出部が検出した前記イベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、前記操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行う表示制御部と、
   を備え、
   前記表示制御部は、前記操作オブジェクトとともに前記ジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、前記操作対象オブジェクトを手で操作する態様で前記操作オブジェクトを表示する制御を行い、
   前記操作オブジェクトは、前記操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、
   前記操作者の前記ジェスチャー操作を取得するジェスチャー操作取得部と、
   前記ジェスチャー操作取得部が取得した前記ジェスチャー操作が前記操作オブジェクトに従う動きであるか否かを判断する操作判断部と、
   前記操作判断部が判断した結果を操作履歴情報として記憶する操作履歴情報記憶部と、
   をさらに備える、ジェスチャー操作装置。
2. 前記表示制御部は、前記イベントに対応して前記操作者が行うべき一連の前記ジェスチャー操作を示す前記操作オブジェクトを表示する制御を行うことを特徴とする、請求項１に記載のジェスチャー操作装置。
3. 前記表示制御部は、前記イベントに対して前記操作者が次に行うべき一の前記ジェスチャー操作を示す前記操作オブジェクトを表示する制御を行うことを特徴とする、請求項１に記載のジェスチャー操作装置。
4. 前記表示制御部は、前記操作オブジェクトを前記三次元表示空間における奥側に表示し、前記ジェスチャー操作取得部が取得した前記操作者の手のアイコンを前記三次元表示空間における手前側に表示する制御を行い、
   前記表示制御部は、前記操作者の手のアイコンが、前記操作対象オブジェクトに対する前記操作者の手の位置に対応する位置に表示する制御を行い、
   前記操作判断部は、前記操作者の手のアイコンが前記操作対象オブジェクトに重なったとき、前記ジェスチャー操作が前記操作オブジェクトに従う動きであると判断することを特徴とする、請求項３に記載のジェスチャー操作装置。
5. 前記操作判断部が前記操作オブジェクトに従う動きであると判断した場合、前記表示制御部は、前記ジェスチャー操作取得部が取得した前記ジェスチャー操作に合わせて前記操作オブジェクトが動くように制御することを特徴とする、請求項１に記載のジェスチャー操作装置。
6. 携帯通信端末と通信接続可能な端末通信部をさらに備え、
   前記表示制御部は、前記端末通信部が通信している前記携帯通信端末の操作画面を前記操作対象オブジェクトとして表示する制御を行い、前記端末通信部を介して取得した前記携帯通信端末の情報に基づいて前記操作オブジェクトを表示する制御を行うことを特徴とする、請求項１に記載のジェスチャー操作装置。
7. 音像を制御する音像制御部をさらに備え、
   前記音像制御部は、前記操作オブジェクトの表示位置に応じて前記音像を制御することを特徴とする、請求項１に記載のジェスチャー操作装置。
8. 少なくとも前記操作者の目の位置および視線を含む前記操作者の状態を取得する状態取得部をさらに備え、
   前記表示制御部は、前記状態取得部が取得した前記操作者の状態に基づいて前記操作オブジェクトの表示位置を制御することを特徴とする、請求項１に記載のジェスチャー操作装置。
9. 前記操作者の状態を取得する状態取得部をさらに備え、
   前記状態取得部は、前記操作判断部が判断した結果に対する前記操作者の反応を取得し、
   前記操作履歴情報記憶部は、前記操作者の反応を前記操作履歴情報に含めて記憶することを特徴とする、請求項１に記載のジェスチャー操作装置。
10. 前記操作判断部は、前記操作者が前記ジェスチャー操作以外の他の操作を行った場合は前記判断を行わないことを特徴とする、請求項１に記載のジェスチャー操作装置。
11. 外部情報を取得する外部情報取得部をさらに備え、
    前記表示制御部は、前記外部情報取得部が取得した前記外部情報に基づいて、前記操作オブジェクトを表示する制御を行うことを特徴とする、請求項１に記載のジェスチャー操作装置。
12. 車両情報を取得する車両情報取得部をさらに備え、
    前記表示制御部は、前記車両情報取得部が取得した前記車両情報に基づいて、前記操作オブジェクトを表示する制御を行うことを特徴とする、請求項１に記載のジェスチャー操作装置。
13. 音像を制御する音像制御部をさらに備え、
    前記音像制御部は、前記操作者の手のアイコンの表示位置に応じて前記音像を制御することを特徴とする、請求項４に記載のジェスチャー操作装置。
14. 前記表示制御部は、裸眼立体表示を行う表示装置、虚像表示を行う表示装置、および透過型の表示面を複数重ねて構成される表示装置のうちの少なくとも１つに前記操作オブジェクトを表示する制御を行うことを特徴とする、請求項１に記載のジェスチャー操作装置。
15. 前記操作判断部が前記操作オブジェクトに従う動きであると判断した場合、前記ジェスチャー操作に基づいて機器を制御する機器制御部をさらに備える、請求項１に記載のジェスチャー操作装置。
16. 前記表示制御部は、前記イベントが進行する前記ジェスチャー操作に対応した動きとなるように前記操作オブジェクトを表示する制御を行うことを特徴とする、請求項１に記載のジェスチャー操作装置。
17. 前記表示制御部は、前記車両情報に基づく車両機構を前記操作対象オブジェクトとして表示する制御を行うことを特徴とする、請求項１２に記載のジェスチャー操作装置。
18. 前記操作オブジェクトは、時間的に奥行きが変化することを特徴とする、請求項１に記載のジェスチャー操作装置。
19. イベントを検出し、
    前記検出した前記イベントに対して、当該イベントを進行させるために操作者が行うことが可能な動作に、前記操作者の意図を示すジェスチャー操作を誘導する操作オブジェクトを三次元で表示する制御を行い、
    前記操作オブジェクトとともに前記ジェスチャー操作の対象となる機能を表す操作対象オブジェクトを表示する制御を行い、
    前記操作対象オブジェクトを手で操作する態様で前記操作オブジェクトを表示する制御を行い、
    前記操作オブジェクトは、前記操作者が裸眼で表示画面を見たときに三次元表示空間において奥行きを有し、
    前記操作者の前記ジェスチャー操作を取得し、
    取得した前記ジェスチャー操作が前記操作オブジェクトに従う動きであるか否かを判断し、
    判断した結果を操作履歴情報として記憶する、ジェスチャー操作方法。

Images