JP7377615B2 - 車両の非接触操作装置、および車両 - Google Patents

Description

本発明は、車両の非接触操作装置に関する。

車両には、各種の操作部材が設けられる。たとえば、車両には、車両の走行を制御するためのスタートスイッチ、ハンドル、シフトレバー、ペダルなどがある。また、車両には、空調装置、ナビゲーション装置、オーディオ装置、映像受信装置、ハンズフリー通話装置、その他の設備機器の操作部材が設けられる。このように、車両には、多数の操作部材が設けられている。これら多数の操作部材は車室の内面に対してレイアウトされるものであるが、近年においては車室のレイアウト面が不足する傾向にある。今後さらに、たとえばゲーム装置、ネットワーク通信装置、エンターテイメント装置などが追加されることを考えた場合、それらの装置の操作部材を増設できなくなる可能性もある。

特に、車両では、自動運転技術の開発が進められており、実際にその開発が進展して乗員が直接に車両の走行を制御しなくても車両が自律的に走行できるようになるとすると、乗員は、たとえばシートを倒した状態で乗車する可能性がある。この場合、乗員は、何かの操作をしようとする場合には、操作のために体を起こして、車室の内面に対してレイアウトされている操作部材まで腕を伸ばして操作をする必要がある。

特開２０１７－０２７４０１号公報

このため、車両では、特許文献１に開示されるように、車両の車室へ投影された映像を操作するような新たな操作装置の開発が求められている。
特許文献１では、映像を提示し、提示した映像に対応する操作に対して超音波場による触覚刺激を乗員の操作部位へ出力する。このため、乗員は、映像に対応する操作をしたとの実感を得ることができる。
しかしながら、特許文献１では、操作部位の移動方向に応じて触覚刺激を強弱させるだけであり、その触覚刺激は映像そのものや映像の変化に対応するものではない。その結果、たとえば映像の変化に対して、触覚刺激の変化が対応しないため、視覚から受ける感覚と触覚から受ける感覚との間に相違やずれによる違和感を生じてしまう可能性がある。

このように、車両では、操作装置を改善することが求められている。

本発明に係る車両の非接触操作装置は、車両の車室の空間へ映像を投影する投影デバイスと、前記投影デバイスにより投影される前記映像を生成および更新する生成部と、前記車室の前記空間に投影されている前記映像に対して操作をする前記車両の乗員の操作部位に対して、超音波場による触覚刺激を前記操作に対する応答として出力する刺激応答出力部と、前記車室の前記空間に投影されている前記映像に対して非接触の操作をする前記乗員の前記操作部位を検出する検出デバイスと、を有し、前記生成部および前記刺激応答出力部は、前記検出デバイスにより検出される前記乗員の前記操作部位の操作情報に応じて、前記映像と前記触覚刺激の出力とを更新する、ものであり、前記刺激応答出力部は、前記映像についての、前記乗員の前記操作部位により操作される接触箇所、前記乗員の前記操作部位の動き方向、および、前記乗員の前記操作部位の動き速度に応じて異なる前記触覚刺激を出力し、前記生成部および前記刺激応答出力部は、前記検出デバイスにより検出される前記乗員の前記操作部位の操作情報に応じて前記映像と前記触覚刺激の出力とを更新する際に、前記乗員の前記操作部位についての前記映像の表面までの距離が変化したか否かを判断し、前記映像の表面までの距離が変化している場合には、さらに、前記乗員の前記操作部位が前記映像の表面と接触したか否かと、前記乗員の前記操作部位がすでに前記映像と接触していたか否かと、を判断し、前記乗員の前記操作部位が前記映像の表面と接触していない場合には、前記映像の表面までの残距離または深さに応じた強度に変更しながら、刺激の出力を維持し、前記乗員の前記操作部位が前記映像の表面と接触しているがすでに前記映像と接触していない場合には、刺激の種類を変更し、前記乗員の前記操作部位が前記映像の表面と接触していて且つすでに前記映像と接触していた場合には、同じ出力を継続する。
好適には、前記生成部により生成される前記映像は、投影する部位ごとに異なる属性を持ち、前記刺激応答出力部は、前記乗員の前記操作部位により操作される接触箇所となる前記部位に応じて異なる前記触覚刺激を出力する、とよい。

好適には、前記刺激応答出力部は、操作に応じて前記生成部が前記映像を更新する際に、前記超音波場による触覚刺激の出力を、更新される前記映像に対応させて変更する、とよい。

好適には、前記生成部は、前記映像についての、前記乗員の前記操作部位により操作される前記接触箇所に応じて、前記映像の前記接触箇所の変形、前記映像の移動、およびそれらの組み合わせ、により、前記映像を更新し、前記刺激応答出力部は、前記生成部が前記映像の前記接触箇所を変形させるように前記映像を更新する場合、前記超音波場による触覚刺激の出力を変化させ、前記生成部が前記映像を移動させるように前記映像を更新する場合、前記超音波場による触覚刺激の出力を、同じ方向へずらす、とよい。

好適には、前記生成部および前記刺激応答出力部は、前記乗員の前記操作部位の動き方向へ沿って、前記映像と前記触覚刺激の出力とを移動させる、とよい。

好適には、前記生成部および前記刺激応答出力部は、前記乗員の前記操作部位の動き速度に応じた量で、前記映像と前記触覚刺激の出力とを移動させる、とよい。

好適には、前記刺激応答出力部は、前記生成部の更新による前記映像の形状の変化に合わせて、前記形状の変化後の前記触覚刺激を、前記形状の変化前の前記触覚刺激から変化させる、とよい。

好適には、前記刺激応答出力部は、前記生成部による前記映像の更新により前記乗員の前記操作部位と前記映像との接触量の変化に合わせて、前記映像の更新後の前記触覚刺激を、前記映像の更新前の前記触覚刺激から増減させる、とよい。

好適には、前記車室へ音を出力する音出力デバイスと、前記車室に投影されている前記映像に対する前記乗員の前記操作部位の動き、および前記映像の前記接触箇所に応じて異なる音を、前記音出力デバイスから出力する音応答出力部と、を有する、とよい。

本発明に係る車両は、上述したいずれかの非接触操作装置と、前記非接触操作装置とネットワークを通じて接続され、車両を制御する被制御装置と、前記非接触操作装置とネットワークを通じて接続され、前記車両の外と通信する通信装置と、を有し、前記非接触操作装置は、前記通信装置が受信するコンテンツを映像として投影する。

本発明では、車両の車室へ投影される映像を生成部により生成し、投影デバイスは、生成された映像を車両の車室へ投影する。また、乗員の操作を検出する検出デバイスは、車室による空間に投影されている映像に対して非接触の操作をする乗員の操作部位を検出する。刺激応答出力部は、車室に投影されている映像に対して操作をする乗員の操作部位に対して、超音波場による触覚刺激を操作に対する応答として出力する。
これにより、乗員は、車室の空間へ投影される映像に対する非接触の操作をすると、その操作をした操作部位に対して、操作に対する応答としての超音波場による触覚刺激が与えられる。乗員は、車室の空間へ投影される映像に対して実際に操作をしたかのような実感を得ることができる。乗員は、実際に操作している感覚を持ちながら、映像を操作することができる。

しかも、乗員は、実際には車室の空間において操作部位を非接触に操作するため、車室のたとえば内面やハンドルなどの操作部材のように直接に構造物に触れて操作する必要はない。車室には、乗員は、実際が操作部位により操作をする空間そのものに、操作部位により直接に接触可能な操作部材を設ける必要はない。
乗員の近くに、乗員の操作部位により直接に操作する操作部材を新たに配置することなく、乗員の操作性を改善できる。
また、表示を変更することにより、複数の装置のそれぞれの操作に適した操作パネルなどを切り替えて投影することができる。

特に、本発明では、生成部および刺激応答出力部は、検出デバイスにより検出される乗員の操作部位の操作情報に応じて、映像と触覚刺激の出力とを更新する。たとえば、操作に応じて生成部が映像を更新する際に、刺激応答出力部は、超音波場による触覚刺激の出力を、更新される映像に対応させて変更する。映像の更新により映像の表面形状または表面位置が変更されると、刺激応答出力部は、変更後の映像の表面形状または表面位置を基準として、超音波場による触覚刺激の出力の仕方または位置を更新する。
しかも、生成部および刺激応答出力部は、車室による空間に投影されている映像に対して非接触の操作をする乗員の操作部位を検出する検出デバイスにより検出される乗員の操作部位の操作情報に応じて、映像と触覚刺激の出力とを更新する。触覚刺激は、映像そのものや映像の変化に対応して変化し得る。たとえば映像の変化に対して、触覚刺激の変化が対応できる。乗員は、視覚から受ける感覚と触覚から受ける感覚との間に相違やずれによる違和感を生じ難くなる。
これにより、本発明では、映像に対して最初の操作をした後においても、操作に応じて映像および触覚刺激が同期するように変更される。
乗員は、映像に対する操作を開始した後の操作中においても、操作に応じて変化する映像に対して実際に操作している感覚を持ちながら、操作に応じて変化する映像の操作を継続することができる。映像と触覚とが同期して変化することにより、乗員は実態が存在しない操作部材を中空で操作しつづけたとしても、実感を持ったままその操作を継続することができる。
これに対し、映像の変化と触覚の変化とが同期して更新されない場合には、最初の映像について乗員は実感を持って操作することができるものの、その後の操作については実感を持って操作することが難しくなる。

図１は、本発明の実施形態に係る自動車の模式的な説明図である。 図２は、図１の自動車の制御系の模式的な説明図である。 図３は、図１の自動車に設けられる非接触操作装置の構成図である。 図４は、図３の非接触操作装置の構成要素の車室での配置の一例を説明する図である。 図５は、第一実施形態での非接触操作処理の流れを示すフローチャートである。 図６は、第二実施形態での非接触操作処理の要部の流れを示すフローチャートである。 図７は、図６のステップＳＴ１９の刺激内容変更処理の流れを示すフローチャートである。 図８は、図６のステップＳＴ２０の映像更新処理の流れを示すフローチャートである。

以下、本発明の実施形態を、図面に基づいて説明する。

［第一実施形態］
図１は、本発明の実施形態に係る自動車１の模式的な説明図である。
図１（Ａ）は上面図、図１（Ｂ）は側面図、図１（Ｃ）は側面図、である。
図１の自動車１は、車両の一例である。自動車１は、乗員が乗車する車室３が設けられる車体２を有する。車室３には、乗員が着座するシート４が設けられる。車室３の前部には、乗員が自動車１の走行を操作するために、ハンドル５、シフトレバー６、ブレーキペダル７、アクセルペダル８、が設けられる。乗員は、図１（Ｂ）に示すように、シート４に着座したまま、これらハンドル５などの操作部材を操作することができる。

図２は、図１の自動車１の制御系１０の模式的な説明図である。図２には、制御系１０を構成する複数の制御装置が、それぞれに組み込まれる制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により代表して示されている。
具体的には、図２には、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３、自動運転／運転支援ＥＣＵ１４、運転操作ＥＣＵ１５、検出ＥＣＵ１６、空調ＥＣＵ１７、乗員監視ＥＣＵ１８、外通信ＥＣＵ１９、非接触操作装置４０の操作ＥＣＵ２０、システムＥＣＵ２１、が図示されている。これら複数の制御ＥＣＵは、自動車１で採用されるたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった車ネットワーク２６により、中継装置としてのセントラルゲートウェイ（ＣＧＷ）２７に接続される。

そして、各制御モジュールにおいて、制御ＥＣＵは、自動車１で用いる電子機器に接続される。起動された制御ＥＣＵは、各種の処理を実行し、車ネットワーク２６から取得する情報（データ）に基づいてそれぞれに接続されている電子機器の動作を制御する。また、制御ＥＣＵは、それぞれに接続されている電子機器の動作状態などの情報（データ）を車ネットワーク２６へ出力する。
たとえば、運転操作ＥＣＵ１５には、乗員が自動車１の走行を制御するために操作するハンドル５、ブレーキペダル７、アクセルペダル８、シフトレバー６などの操作検出センサが接続される。運転操作ＥＣＵ１５は、操作量に応じた制御情報を、車ネットワーク２６へ出力する。駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３は、車ネットワーク２６から情報を取得し、自動車１の走行を制御する。

検出ＥＣＵ１６には、自動車１の速度センサ３１、衝突などによる自動車１の加速度を検出可能な加速度センサ３２、外カメラ３３、などが接続される。検出ＥＣＵ１６には、自動車１の速度センサ３１および加速度センサ３２の値、外カメラ３３の画像などを、車ネットワーク２６へ出力する。検出ＥＣＵ１６は、外カメラ３３の画像に基づいて衝突を予測し、予測結果を車ネットワーク２６へ出力してよい。セントラルゲートウェイ２７は、情報を中継する。操作ＥＣＵ２０は、車ネットワーク２６から情報を取得し、それに接続される図示外の表示デバイスに、これらの情報を表示する。操作ＥＣＵ２０には、表示デバイスとともに、乗員が操作する図示外の操作デバイスが接続される。

乗員監視ＥＣＵ１８には、内カメラ３４、が接続される。乗員監視ＥＣＵ１８は、内カメラ３４の画像、車ネットワーク２６から取得するたとえば衝撃の加速度などの情報に応じて、自動車１に乗車している乗員に関する各種の処理を実行する。乗員監視ＥＣＵ１８は、必要に応じて画像、音、その他の情報（データ）を車ネットワーク２６へ出力する。

外通信ＥＣＵ１９は、たとえば、自動車１の外に存在する通信基地局８１、他の自動車８２の通信装置と無線通信する。通信基地局８１、および他の自動車８２の通信装置は、サーバ装置８３とともに、交通システム８０を構成する。外通信ＥＣＵ１９は、車ネットワーク２６から取得した情報を、通信基地局８１、他の自動車８２の通信装置へ無線送信する。送信された情報は、たとえばサーバ装置８３や他の自動車８２において利用され得る。また、外通信ＥＣＵ１９は、通信基地局８１、他の自動車８２の通信装置から、情報を受信し、車ネットワーク２６へ出力する。これにより、自動車１のたとえば乗員監視ＥＣＵ１８は、外通信ＥＣＵ１９を通じて、車外のサーバ装置８３や他の自動車８２との間で情報（データ）を送受することができる。

また、図２に示す制御系１０は、自動車１に設けられるバッテリ９１から各部へ電力が供給されることにより動作し得る。バッテリ９１から各部への電力供給線は、たとえば車ネットワーク２６の通信ケーブルとともに自動車１に張り巡らされる。制御系１０は、バッテリ９１のほかにも、発電機、受電機から電力が供給されてもよい。

このように操作ＥＣＵ２０は、自動車１において、車ネットワーク２６を通じて他の制御装置と接続される。図２において操作ＥＣＵ２０以外のＥＣＵは、自動車１を制御する被制御装置である。ただし、外通信ＥＣＵ１９は、自動車１の外と通信する通信装置である。

ところで、自動車１には、上述したように各種の装置およびその操作部材が設けられる。たとえば、自動車１には、自動車１の走行を制御するためのスタートスイッチ、ハンドル５、シフトレバー６、ペダルなどがある。また、自動車１には、上述した装置以外にも、ナビゲーション装置、オーディオ装置、映像受信装置、ハンズフリー通話装置、その他の設備機器の操作部材が設けられる。このように、自動車１には、多数の操作部材が設けられている。これら多数の操作部材は車室３の内面に対してレイアウトされるものであるが、近年においては車室３のレイアウト面が不足する傾向にある。今後さらに、たとえばゲーム装置、ネットワーク通信装置、エンターテイメント装置などが追加されることを考えた場合、それらの装置の操作部材を増設できなくなる可能性もある。
特に、自動車１では、自動運転技術の開発が進められており、実際にその開発が進展して乗員が直接に自動車１の走行を制御しなくても自動車１が自律的に走行できるようになるとすると、乗員は、たとえば図１（Ｃ）に示すように、シート４を倒した状態で乗車する可能性がある。この場合、乗員は、何かの操作をしようとする場合には、操作のために体をシート４から起こして、車室３の内面に対してレイアウトされているハンドル５などの操作部材まで腕を伸ばして操作をする必要がある。
このため、自動車１では、たとえば自動車１の車室３へ投影された映像を操作するような新たな操作装置の開発が求められている。
このように、自動車１の操作装置は、さらに改善することが求められている。

図３は、図１の自動車１に設けられる非接触操作装置４０の構成図である。
図３の非接触操作装置４０は、車内通信部４１、タイマ４２、３Ｄ映像投影デバイス４３、操作検出デバイス４４、刺激出力デバイス４５、音出力デバイス４６、メモリ４７、およびこれらが接続される操作ＥＣＵ２０、を有する。
メモリ４７は、たとえば不揮発性メモリである。メモリ４７は、非接触操作用のプログラム、およびデータを記録する。プログラムには、ＡＩにより処理を実行するものであってもよい。プログラムには、ＡＩ処理のための学習プログラムが含まれてよい。データには、非接触操作の際に投影する映像の三次元モデルデータなどが含まれる。三次元モデルデータは、非接触操作のための映像データであり、たとえばモデルの表面を構成する複数のポリゴンデータを有する。

操作ＥＣＵ２０は、たとえば中央処理装置、ＡＳＩＣ、ＤＳＰなどのマイクロコンピュータでよい。操作ＥＣＵ２０は、メモリ４７から非接触操作用のプログラムを読み込んで実行する。これにより、操作ＥＣＵ２０には、非接触操作装置４０の制御部が実現される。非接触操作装置４０の制御部は、非接触操作装置４０の全体の動作を制御し、非接触操作装置４０に非接触操作のための各種の機能を実現する。たとえば、操作ＥＣＵ２０には、非接触操作のための各種の機能として、映像生成部５１、操作判定部５２、刺激応答出力部５３、音応答出力部５４、が実現される。

車内通信部４１は、車ネットワーク２６に接続される。車内通信部４１は、車ネットワーク２６を通じて、たとえば図中に例示するように空調ＥＣＵ１７、自動運転／運転支援ＥＣＵ１４、などの他の制御ＥＣＵとの間で情報（データ）を送受する。たとえば、車内通信部４１は、空調ＥＣＵ１７から空調操作映像の表示指示を取得し、操作ＥＣＵ２０へ出力する。車内通信部４１は、自動運転／運転支援ＥＣＵ１４から、自動運転／運転支援のための設定操作映像の表示指示を取得し、操作ＥＣＵ２０へ出力する。

タイマ４２は、経過時間または時刻を計測する。

映像生成部５１は、表示指示に基づいて、投影する映像のデータを生成するために、メモリ４７または車内通信部４１から三次元モデルデータを取得する。映像生成部５１は、取得した三次元モデルデータから、三次元モデルを生成する。映像生成部５１は、乗員から見た車室３での三次元モデルの投影位置および向きを決定し、三次元モデル（立体モデル）から投影用の映像データを生成する。映像生成部５１は、投影用の映像データを３Ｄ映像投影デバイス４３へ出力する。映像生成部５１は、二次元モデルデータから、二次元モデル（平面モデル）を生成して、投影用の映像データを生成してもよい。なお、映像生成部５１は、表示指示がない場合でも、メモリ４７または車内通信部４１から動画や静止画といったコンテンツの表示データを読み込み、コンテンツの三次元映像（立体映像）または二次元映像（平面映像）の映像データを生成し、３Ｄ映像投影デバイス４３へ出力してもよい。

３Ｄ映像投影デバイス４３は、自動車１の車室３による空間へ３Ｄ（三次元）の映像または２Ｄ（二次元）の映像を、車室３の空間へ投影する。３Ｄ映像投影デバイス４３は、たとえばホログラム方式、ミラー方式により、車室３についての中空の空間に映像を投影してよい。これにより、車室３の投影位置には、乗員が三次元モデルを視認できるように、立体的な映像が投影される。

操作検出デバイス４４は、乗員の所定の操作部位を検出する。操作検出デバイス４４は、たとえば２つの撮像素子が並べて配列されたステレオカメラ６３でよい。この場合、操作検出デバイス４４は、２つの撮像素子の画像により、車室３の中空に投影される映像に対する乗員による操作を検出する。

操作判定部５２は、操作検出デバイス４４からたとえばステレオカメラ６３の画像といった検出情報を取得し、それに基づいて車室３の空間に投影されている映像に対する乗員の操作を判定する。操作判定部５２は、乗員の操作部位の位置や動きを判定する。動きには、移動の方向、速度、加速度などの操作部位の運動の情報が含まれる。操作判定部５２は、たとえばＡＩ処理により画像から乗員の指先の特徴を含む画素位置を取得し、ステレオカメラ６３の画像についての三角測量法により指先の位置情報を生成する。操作判定部５２は、時間をずらした撮像結果から、指先の動き、たとえば移動方向、移動速度、移動の加速度などの情報を生成する。操作判定部５２は、映像の投影位置を基準として乗員の操作部位の位置や動きを判定して、車室３による空間に投影されている映像に対する乗員の操作を判定する。操作判定部５２は、投影される映像への乗員の操作部位の接触の有無、接触までの残距離、接触する深さなどを判定する。操作判定部５２は、判定したこれらの操作情報を、操作ＥＣＵ２０の各部へ出力する。操作判定部５２は、操作情報を、映像生成部５１、刺激応答出力部５３、音応答出力部５４、へ出力する。映像生成部５１は、乗員の操作に応じて投影用の映像データを更新して３Ｄ映像投影デバイス４３へ出力する。これにより、３Ｄ映像投影デバイス４３により車室３に投影される映像は、操作に応答して更新される。
また、操作判定部５２は、操作情報に基づいて、車室３の空間に投影されている映像に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を、車内通信部４１を通じて自動車１の各部へ出力する。操作判定部５２は、たとえば投影される映像の操作ボタンが操作されている場合、操作による入力情報を生成し、車内通信部４１へ出力する。車内通信部４１は、入力情報を、車ネットワーク２６を通じて被制御装置へ出力する。

刺激出力デバイス４５は、たとえば電気信号により、乗員の操作部位に対して触感を与えることができるものであればよい。非接触に触感を与えるデバイスとしては、たとえば超音波の場を生成して、乗員の操作部位へ超音波の場または場の変動を与えることにより、操作部位の皮膚に触感を与えるものがある。刺激出力デバイス４５は、たとえば手の下に離れた平面に、複数の超音波素子６５が配列される素子アレイでよい。複数の超音波素子６５から選択的に超音波を出力することにより、乗員の手のたとえば指先といった局所的な部位に、物体に触れているかのような触感を与えることができる。

刺激応答出力部５３は、刺激出力デバイス４５へ電気信号を出力し、操作に応じた超音波を複数の超音波素子６５から選択的に出力する。これにより、刺激応答出力部５３は、車室３に超音波場を生成することができる。刺激応答出力部５３は、操作判定部５２により映像と接触していると判断される乗員の操作部位へ局所的に超音波の場または場の変動を与える。人は、超音波場にたとえば手を入れると、手の表面の皮膚により超音波場を感じ取ることができる。これにより、刺激応答出力部５３は、車室３による空間に投影されている映像に対して非接触の操作をする乗員の操作部位に対して、超音波場による触感の刺激を操作に対する応答として出力することができる。
この他にもたとえば、刺激応答出力部５３は、複数の圧力出力素子が配列される素子アレイを有してもよい。この場合、刺激応答出力部５３は、複数の圧力出力素子の動作を個別に制御することにより、人の皮膚に対して圧力を作用させることができる。これにより、乗員は、操作に応じた感触を得ることができる。

音出力デバイス４６は、たとえば音信号により駆動されるスピーカでよい。

音応答出力部５４は、音出力デバイス４６へ音信号を出力し、操作に応じた音を音出力デバイス４６から出力する。音応答出力部５４は、メモリ４７に記録されている音声データを選択して取得し、音声データから生成した音信号を音出力デバイス４６としてのスピーカへ出力する。これにより、乗員は、操作に応じた音を聞くことができる。

図４は、図３の非接触操作装置４０の構成要素の車室３での配置の一例を説明する図である。図４には、指先で映像を操作する乗員が併せて示されている。
非接触操作装置４０は、自動車１の車室３に設けられる。
図４には、図３の３Ｄ映像投影デバイス４３、操作検出デバイス４４、および、刺激出力デバイス４５の具体的な組み合わせ例の模式的な説明図である。
図４には、３Ｄ映像投影デバイス４３として、表示スクリーン６１、ハーフミラー６２が図示されている。操作検出デバイス４４として、ステレオカメラ６３が図示されている。刺激出力デバイス４５として、素子アレイが図示されている。

刺激出力デバイス４５は、中空の四角枠体６４を有する。四角枠体６４の４つの面のそれぞれには、複数の超音波素子６５が配列された素子アレイが設けられる。四角枠体６４の上下左右の面の素子アレイを動作させることにより、図示するように四角枠体６４の内へ入れた指先には、超音波場が作用する。これにより、人は指先が触られている触感を得ることができる。

ハーフミラー６２は、刺激出力デバイス４５の中空の四角枠体６４について、人の反対側に設けられる。ハーフミラー６２は、一点鎖線で示す四角枠体６４の軸心に対して４５度で傾けて設けられる。ハーフミラー６２の下側には、三次元映像（立体映像）または二次元映像（平面映像）を表示するための表示スクリーン６１が配置される。これにより、人からは、刺激出力デバイス４５についての中空の四角枠体６４の内側に、三次元映像（立体映像）または二次元映像（平面映像）が視認できる。図中に円で示す三次元映像としての球体を、人は、中空の四角枠体６４の内側に視認することができる。

ステレオカメラ６３は、たとえばハーフミラー６２の後側に設けてよい。これにより、ステレオカメラ６３の２つの撮像素子は、四角枠体６４の軸心に対して対象となる位置に設けられる。これにより、ステレオカメラ６３は、刺激出力デバイス４５の中空の四角枠体６４に入る指などを撮像することができる。以下、必要に応じて、四角枠体６４の軸心に沿った方向をＺ方向とよび、それに垂直な方向をＹ方向およびＸ方向とよぶ。また、通常は、Ｚ方向が自動車１の前後方向とするとよい。

なお、図３の非接触操作装置４０の構成要素は、図４に示すように一か所にまとめて配置される必要はない。

たとえば、刺激出力デバイス４５の中空の四角枠体６４は、乗員の前に配置された場合、乗員がハンドル５などを操作する際に操作の邪魔となる可能性がある。中空の四角枠体６４は、図１に示すように、車体２の外周面に沿って四角枠状に設けられてよい。この場合、乗員が着座するシート４の前に、四角枠体６４などの構造物を設ける必要がない。この場合であっても、図中に点線円で示すように、車室３の空間に映像を投影することができる。また、投影される映像に対応する操作エリアは、四角枠体６４の内側に位置することになる。また、中空の四角枠体６４は、必ずしも正四角形の枠形状でなくてもよい。車体２の外周に沿って素子アレイを配置してもよい。また、車室３の内面に全体的に、素子アレイを配置してもよい。

ハーフミラー６２は、基本的に、刺激出力デバイス４５の中空の四角枠体６４を基準として、乗員の頭部とは反対側に設ければよい。また、映像を四角枠体６４の内側の中空に投影するためだけであれば、ハーフミラー６２の替わりに、フル反射ミラーを用いてよい。また、刺激出力デバイス４５の中空の四角枠体６４を基準として、乗員の頭部とは反対側に表示スクリーン６１そのものを配置してもよい。この場合、ハーフミラー６２またはフル反射ミラーは不要である。このようなハーフミラー６２またはフル反射ミラーおよび表示スクリーン６１は、たとえばトーボードやルーフに配置してよい。

ステレオカメラ６３などの検出デバイスは、ルームミラー、バックミラーなどに配置してよい。また、ＤＭＳなどの乗員監視装置の撮像素子により、車室３を撮像してもよい。ステレオカメラ６３などの検出デバイスは、乗員についての指先などの検出しようとする部位が撮像できるものであればよい。また、画像によらず、たとえば車室３をレーザースキャンして、乗員の指先などを検出してもよい。

図５は、第一実施形態での非接触操作処理の流れを示すフローチャートである。
ステップＳＴ１において、操作ＥＣＵ２０は、映像を投影した非接触操作を開始するか否かを判断する。操作ＥＣＵ２０は、たとえば表示指示がある場合、またはコンテンツを表示する場合、非接触操作を開始と判断し、処理をステップＳＴ２へ進める。それ以外の場合、操作ＥＣＵ２０は、非接触操作を開始しないと判断し、図５の処理を終了する。

ステップＳＴ２において、操作ＥＣＵ２０は、映像生成部５１として、最初の３Ｄ映像を生成して表示する。操作ＥＣＵ２０は、メモリ４７または車内通信部４１から取得する三次元モデルデータから三次元モデルを生成し、さらに投影用の映像データを生成する。操作ＥＣＵ２０は、三次元モデルについてあらかじめ設定された映像の最初の投影位置および表示向きの設定に基づいて、三次元モデルから投影用の映像データを生成する。操作ＥＣＵ２０は、生成した三次元モデルをメモリ４７に一時的に記録してもよい。この場合、操作ＥＣＵ２０は、映像を更新するための次回の生成処理ではメモリ４７から三次元モデルを読み込んで、投影用の映像データを生成することができる。操作ＥＣＵ２０は、生成した投影用の映像データを３Ｄ映像投影デバイス４３へ出力する。３Ｄ映像投影デバイス４３は、投影用の映像データによる映像を、車室３の空間に投影する。これにより、たとえば図４に示すように乗員の前の所定の投影位置には、三次元モデルが所定の表示向きにより表示される。所定の投影位置は、たとえば図１（Ｂ）のようにシート４に着座する乗員がそのまま手を伸ばせば届く範囲となる位置とするとよい。所定の表示向きは、たとえば三次元モデルに向きがある場合にはその正面が乗員へ向かう向きとすればよい。

ステップＳＴ３において、操作ＥＣＵ２０は、操作判定部５２として、映像に対する乗員の操作を検出しているか否かを判断する。操作ＥＣＵ２０は、操作検出デバイス４４からたとえばステレオカメラ６３の画像といった検出情報を取得し、乗員のたとえば指先といった所定の部位を抽出し、所定の操作部位についてのたとえば車室３での位置の変化や動きの有無に基づいて、映像に対する乗員の操作を検出する。この時点での操作検出では、操作ＥＣＵ２０は、乗員の操作部位が映像を操作していなくても、映像に対する乗員の操作を検出したと判断してよい。映像に対する乗員の操作を検出しない場合、操作ＥＣＵ２０は、本ステップの判断処理を繰り返す。映像に対する乗員の操作を検出した場合、操作ＥＣＵ２０は、処理をステップＳＴ４へ進める。

ステップＳＴ４において、操作ＥＣＵ２０は、操作判定部５２として、映像に対する乗員の操作を判定する。操作ＥＣＵ２０は、映像の表面の投影位置を基準として、乗員の操作部位が映像に接触している状態にあるか否かを判定し、操作部位が映像を操作している状態にある場合にはさらに操作部位の接触形状、位置および動き（方向、速度）を判定する。接触形状は、たとえば接触している指の本数、手の位置などでよい。さらに、操作ＥＣＵ２０は、映像の表面の投影位置を基準として、操作部位が映像に接触するまでの残距離、操作部位が映像に対して接触している深さ、などを判定してもよい。
また、操作ＥＣＵ２０は、操作情報に基づいて、車室３の空間に投影されている映像のたとえばボタンといった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。

ステップＳＴ５において、操作ＥＣＵ２０は、操作判定部５２として、判定した乗員の操作についての操作情報および操作による入力情報を、装置の内外へ出力する。操作ＥＣＵ２０は、操作情報を、映像生成部５１、刺激応答出力部５３、音応答出力部５４、へ出力する。操作ＥＣＵ２０は、入力情報を、車内通信部４１を通じて自動車１の各部へ出力する。

ステップＳＴ６において、操作ＥＣＵ２０は、操作情報に基づいて、操作に対する応答を触覚および音により出力する。
操作ＥＣＵ２０は、刺激応答出力部５３として、操作情報に基づいて、映像に接触している状態にある乗員の操作部位の位置を特定し、その位置へ向けて超音波を出力するように、超音波を出力する複数の超音波素子６５を選択し、刺激出力デバイス４５へ電気信号を出力する。刺激出力デバイス４５は、選択された複数の超音波素子６５から超音波を出力する。乗員は、超音波による応答により、映像を操作している触感を得ることができる。
操作ＥＣＵ２０は、音応答出力部５４として、操作情報に基づいて特定される映像に接触している状態にある乗員の操作部位の動き、および映像の接触箇所に応じて、メモリ４７から音声データを選択し、音信号を音出力デバイス４６へ出力する。音出力デバイス４６は、音信号に基づく音を車室３へ出力する。これにより、乗員は、操作の応答音として、乗員の操作部位の動きおよび映像の接触箇所に応じて異なる音を聞くことができる。

ステップＳＴ７において、操作ＥＣＵ２０は、映像生成部５１として、操作情報に基づいて、操作に対する応答のために、投影する３Ｄ映像を更新する。操作ＥＣＵ２０は、メモリ４７に記録してある三次元モデルを読み込んで、投影用の映像データを更新し、３Ｄ映像投影デバイス４３へ出力する。３Ｄ映像投影デバイス４３は、更新された映像を、車室３へ投影する。これにより、乗員は、映像の変化により、映像に対して操作をしていることを視覚的に認識することができる。操作ＥＣＵ２０は、操作検出デバイス４４により検出される同じ乗員の操作部位の操作情報に応じて、映像と刺激の出力とを同期するように更新する。

ステップＳＴ８において、操作ＥＣＵ２０は、非接触操作を終了するか否かを判断する。操作ＥＣＵ２０は、たとえば操作に基づく入力情報を出力し終えている場合、新たな表示指示がない場合、または、表示しているコンテンツが終了する場合、非接触操作を終了と判断し、図５の処理を終了する。それ以外の場合、操作ＥＣＵ２０は、処理をステップＳＴ３へ戻す。操作ＥＣＵ２０は、ステップＳＴ８において非接触操作を終了と判断するまで、ステップＳＴ３からステップＳＴ８の処理を繰り返す。この繰返処理の間、操作ＥＣＵ２０は、映像に対する乗員の操作に応じて、乗員の操作部位に対する刺激の応答、音の応答、映像の更新による応答の処理を繰り返す。すなわち、操作ＥＣＵ２０は、操作に応じて映像を更新する際に、超音波場による刺激の出力を、更新される映像に対応させて変更することになる。

以上のように、本実施形態では、操作ＥＣＵ２０は、自動車１の車室３へ投影される映像を生成し、操作検出デバイス４４は、生成された映像を自動車１の車室３へ投影する。また、乗員の操作を検出する操作検出デバイス４４は、車室３による空間に投影されている映像に対して非接触の操作をする乗員の操作部位を検出する。
刺激応答出力部５３は、複数の超音波素子６５が配列される素子アレイを有し、乗員の操作部位の操作情報に応じて、車室３による空間に投影されている映像に対して非接触の操作をする乗員の操作部位に対して、超音波場による刺激を操作に対する応答として出力する。これにより、乗員は、車室３の空間へ投影される映像に対する非接触の操作をすると、その操作をした操作部位に対して、操作に対する応答としての超音波場による刺激が与えられる。

また、操作ＥＣＵ２０は、操作検出デバイス４４により検出される同じ乗員の操作部位の操作情報に応じて、刺激の出力と同期するように映像を更新する。これにより、乗員は、車室３の空間へ投影される映像に対する非接触の操作をすると、その操作をした映像が、操作に対する応答として変更される。

また、操作ＥＣＵ２０は、操作検出デバイス４４により検出される同じ乗員の操作部位の操作情報に基づいて、乗員の操作部位の動きおよび映像の接触箇所に応じて異なる音を、音出力デバイス４６から車室３へ出力する。これにより、乗員は、車室３の空間へ投影される映像に対する非接触の操作をすると、その操作に応じて異なる音を聞くことができる。

これらの視覚、触覚、および聴覚の組み合わせによる応答により、乗員は、車室３の空間へ投影される映像に対して実際に操作をしたかのような実感を得ることができる。乗員は、実際に操作している感覚を持ちながら、映像を操作することができる。

しかも、乗員は、実際には車室３の空間において操作部位を非接触に操作するため、車室３のたとえば内面やハンドル５などの操作部材のように直接に構造物に触れて操作する必要はない。車室３には、乗員は、実際が操作部位により操作をする空間そのものに、操作部位により直接に接触可能な操作部材を設ける必要はない。乗員の近くに、乗員の操作部位により直接に操作する操作部材を新たに配置することなく、乗員の操作性を改善できる。また、表示を変更することにより、複数の装置のそれぞれの操作に適した操作パネルなどを切り替えて投影することができる。

特に、本実施形態では、生成部および刺激応答出力部５３は、操作検出デバイス４４により検出される同じ乗員の操作部位の操作情報に応じて、映像と刺激の出力とを同期するように更新する。たとえば、操作に応じて生成部が映像を更新する際に、刺激応答出力部５３は、超音波場による刺激の出力を、更新される映像に対応させて変更する。映像の更新により映像の表面形状または表面位置が変更されると、刺激応答出力部５３は、変更後の映像の表面形状または表面位置を基準として、超音波場による刺激の出力の仕方または位置を更新する。しかも、映像生成部５１および刺激応答出力部５３は、車室３による空間に投影されている映像に対して非接触の操作をする乗員の操作部位を検出する検出デバイスにより検出される同じ乗員の操作部位の操作情報に応じて、映像と刺激の出力とを更新する。刺激は、映像そのものや映像の変化に対応して変化し得る。たとえば映像の変化に対して、刺激の変化が対応できる。乗員は、視覚から受ける感覚と触覚から受ける感覚との間に相違やずれによる違和感を生じ難くなる。これにより、映像に対して最初の操作をした後においても、操作に応じて映像および刺激が同期するように変更される。乗員は、映像に対する操作を開始した後の操作中においても、操作に応じて変化する映像に対して実際に操作している感覚を持ちながら、操作に応じて変化する映像の操作を継続することができる。映像と刺激とが同期して変化することにより、乗員は実態が存在しない操作部材を中空で操作しつづけたとしても、実感を持ったままその操作を継続することができる。
これに対し、映像の変化と刺激の変化とが同期して更新されるようになっていない場合、最初の映像に対する操作については、乗員は実感を持って操作することができるものの、その後の操作については実感を持って操作することが難しくなる。

［第二実施形態］
次に、本発明の第二実施形態に係る自動車１の非接触操作装置４０を説明する。本実施形態では、上述した実施形態に対応する構成要素に対してと上述した実施形態と同じ符号を使用して、その説明を省略する。

図６は、第二実施形態での非接触操作処理の要部の流れを示すフローチャートである。図６は、たとえば図５のノードＡの下側の点線枠の内側の処理に置き換えることが可能である。
本実施形態では、通信装置がコンテンツデータを受信し、非接触操作装置４０は、車ネットワーク２６を通じてコンテンツデータを外通信ＥＣＵ１９から取得して、映像を投影する。ユーザは、コンテンツとしての映像に対して操作をする。コンテンツデータを取得して投影する場合、非接触操作装置４０の操作判定部５２は、図５のステップＳＴ５において、操作による入力情報を装置の外へ出力する必要はない。

ステップＳＴ１１において、操作ＥＣＵ２０は、すでに投影を始めているコンテンツの映像に対する乗員の操作の有無を判断する。操作ＥＣＵ２０は、たとえば操作検出デバイス４４からたとえばステレオカメラ６３の画像といった検出情報を取得し、乗員のたとえば指先といった所定の部位を抽出し、所定の操作部位についてのたとえば車室３での位置の変化や動きの有無に基づいて、映像に対する乗員の操作を検出する。操作ＥＣＵ２０は、乗員の操作部位が映像の投影位置の近くにある場合、乗員の操作部位が映像を操作していなくても、操作を検出したと判断する。映像に対する乗員の操作を検出しない場合、操作ＥＣＵ２０は、本ステップの判断処理を繰り返す。映像に対する乗員の操作を検出した場合、操作ＥＣＵ２０は、処理をステップＳＴ１２へ進める。

ステップＳＴ１２において、操作ＥＣＵ２０は、操作判定部５２として、映像に対する乗員の操作を判定し、判定した操作情報を生成する。操作ＥＣＵ２０は、操作情報として、乗員の操作部位による映像操作の有無、操作部位の接触形状、位置および動き（方向、速度）、残距離、深さ、などを判定する。操作ＥＣＵ２０は、判定した操作情報を、映像生成部５１、刺激応答出力部５３、へ出力する。操作ＥＣＵ２０は、必要がある場合、操作情報に基づいて、操作による入力情報を判定して、車ネットワーク２６を通じて装置の外へ出力してよい。通信装置は、操作による入力情報を取得して、自動車１の外へ送信してもよい。

ステップＳＴ１３において、操作ＥＣＵ２０は、操作判定部５２として、乗員の操作部位による映像への操作が、映像の表面またはその近傍での操作であるか否かを判断する。映像の表面またはその近傍での操作でない場合、操作ＥＣＵ２０は、処理をステップＳ１２へ戻す。映像の表面またはその近傍での操作である場合、操作ＥＣＵ２０は、処理をステップＳ１４へ進める。

ステップＳＴ１４において、操作ＥＣＵ２０は、刺激応答出力部５３として、映像の表面またはその近傍での操作についての操作情報に基づいて、乗員の操作部位に与える刺激の種類を選択する。操作ＥＣＵ２０は、メモリ４７において予め複数の操作情報と対応付けて分類されている複数の刺激の中から、今回の操作情報に基づいて１つの刺激の種類を選択する。

ステップＳＴ１５において、操作ＥＣＵ２０は、刺激応答出力部５３として、刺激の出力位置、強度を設定する。操作ＥＣＵ２０は、操作情報に基づいて、映像に接触している状態にある乗員の操作部位の位置を、刺激の出力位置として設定する。操作ＥＣＵ２０は、選択した刺激の種類に基づいて、刺激の出力強度を設定する。

ステップＳＴ１６において、操作ＥＣＵ２０は、刺激応答出力部５３として、刺激の出力を開始する。操作ＥＣＵ２０は、ステップＳＴ１５で選択した位置へ向けて、超音波を出力する複数の超音波素子６５を選択し、刺激の出力強度に対応する超音波を出力するように、刺激出力デバイス４５へ電気信号を出力する。刺激出力デバイス４５は、選択された複数の超音波素子６５から、刺激の出力強度に対応する出力で超音波を出力する。乗員は、選択された刺激により、映像を触って操作している触感を得ることができる。

ステップＳＴ１７において、操作ＥＣＵ２０は、刺激の出力を終了するか否かを判断する。操作ＥＣＵ２０は、たとえばコンテンツにおいて刺激出力の停止が指示されている場合、コンテンツが終了する場合、出力終了と判断し、図６の処理を終了する。それ以外の場合、操作ＥＣＵ２０は、処理をステップＳＴ１８へ進める。

ステップＳＴ１８において、操作ＥＣＵ２０は、操作判定部５２として、たとえばステップＳＴ１１の実行後の新たな操作検出デバイス４４のステレオカメラ６３の画像に基づいて、映像に対する乗員の次の操作を判定して、操作情報を更新する。操作ＥＣＵ２０は、判定した操作情報を、映像生成部５１、刺激応答出力部５３、へ出力する。

ステップＳＴ１９において、操作ＥＣＵ２０は、刺激応答出力部５３として、更新された操作情報に基づいて、刺激の内容を変更する。操作ＥＣＵ２０は、更新された操作情報に基づいて、乗員の操作部位に与える刺激の種類を選択する。また、操作ＥＣＵ２０は、刺激の出力位置、強度を設定して、超音波を出力する複数の超音波素子６５を選択し、刺激出力デバイス４５へ電気信号を出力する。刺激出力デバイス４５は、選択された複数の超音波素子６５から、映像に接触している状態にある乗員の操作部位へ向けて、刺激の出力強度に対応する超音波を出力する。乗員は、映像を触る操作により更新された刺激により、触感の変化を得ることができる。

ステップＳＴ２０において、操作ＥＣＵ２０は、映像生成部５１として、更新された操作情報に基づいて、投影する映像を更新する。操作ＥＣＵ２０は、コンテンツデータから操作された三次元モデルを生成し、操作された三次元モデルから投影用の映像データを生成する。操作ＥＣＵ２０は、更新した投影用の映像データを３Ｄ映像投影デバイス４３へ出力する。３Ｄ映像投影デバイス４３は、更新された投影用の映像データによる映像を、車室３の空間に投影する。これにより、乗員の前に投影される三次元モデルの映像は、乗員の操作部位による映像操作に対応するように変形または移動した映像へ更新される。その後、操作ＥＣＵ２０は、処理をステップＳＴ１７へ戻す。
操作ＥＣＵ２０は、ステップＳＴ１７において出力終了と判断するまで、ステップＳＴ１７からステップＳＴ２０の処理を繰り返す。この繰返処理の間、操作ＥＣＵ２０は、映像に対する乗員の操作に応じて、乗員の操作部位に対する刺激の応答、映像の更新による応答の処理を繰り返す。これにより、操作ＥＣＵ２０は、操作に応じて映像を更新する際に、超音波場による刺激の出力を、更新される映像に対応させて変更することにもなる。

図７は、図６のステップＳＴ１９の刺激内容変更処理の流れを示すフローチャートである。

ステップＳＴ３１において、刺激応答出力部５３としての操作ＥＣＵ２０は、更新された操作情報に基づいて、更新前と比べて、乗員の操作部位についての映像の表面までの距離が変化したか否かを判断する。映像の表面までの距離が変化していない場合、操作ＥＣＵ２０は、図７の処理を終了する。この場合、触感への刺激応答は、操作情報の更新前の状態から変更されない。映像の表面までの距離が変化している場合、操作ＥＣＵ２０は、処理をステップＳＴ３２へ進める。

ステップＳＴ３２において、操作ＥＣＵ２０は、更新された操作情報に基づいて、映像の表面までの距離が変化した乗員の操作部位について、映像の表面と接触したか否かを判断する。更新された操作情報において映像の表面と接触していない場合、操作ＥＣＵ２０は、処理をステップＳＴ３３へ進める。更新された操作情報において映像の表面と接触している場合、操作ＥＣＵ２０は、処理をステップＳＴ３４へ進める。

ステップＳＴ３３において、操作ＥＣＵ２０は、映像の表面と接触していないため、刺激の出力を、同一刺激に維持する。また、操作ＥＣＵ２０は、更新された操作情報での残距離または深さに応じた強度へ変更する。この場合、刺激応答は、更新前のものと同じ刺激であり、その強度のみが操作情報に応じて増減する。その後、操作ＥＣＵ２０は、図７の処理を終了する。

ステップＳＴ３４において、操作ＥＣＵ２０は、更新された操作情報より前の操作情報において、乗員の操作部位がすでに映像と接触していたか否かを判断する。映像と接触していなかった場合、操作ＥＣＵ２０は、処理をステップＳＴ３５へ進める。すでに映像と接触していた場合、操作ＥＣＵ２０は、処理をステップＳＴ３６へ進める。

ステップＳＴ３５において、操作ＥＣＵ２０は、今回更新された操作情報において乗員の操作部位が映像と接触し始めたことから、刺激を変更する。操作ＥＣＵ２０は、更新された操作情報に基づいて、乗員の操作部位に与える刺激の種類を選択する。また、操作ＥＣＵ２０は、刺激の出力位置、強度を設定して、超音波を出力する複数の超音波素子６５を選択し、刺激出力デバイス４５へ電気信号を出力する。刺激出力デバイス４５は、選択された複数の超音波素子６５から、映像に接触している状態にある乗員の操作部位へ向けて、刺激の出力強度に対応する超音波を出力する。乗員は、映像に接触し始めたことにより変更された刺激により、映像に接触していない状態から、映像に接触している状態へ、操作が変化したことを体感することができる。乗員は、接触の前後の触感を得ることができる。その後、操作ＥＣＵ２０は、図７の処理を終了する。

ステップＳＴ３６において、操作ＥＣＵ２０は、乗員の操作部位がすでに映像と接触していることから、同じ出力を継続する。操作ＥＣＵ２０は、刺激出力デバイス４５により、前回と同じ刺激を出力する。乗員は、映像の表面に接触している状態について、一定の触感を得ることができる。その後、操作ＥＣＵ２０は、図７の処理を終了する。

図８は、図６のステップＳＴ２０の映像更新処理の流れを示すフローチャートである。

ステップＳＴ４１において、映像生成部５１としての操作ＥＣＵ２０は、更新された操作情報に基づいて、乗員の操作部位が映像に接触しているか否かを判断する。乗員の操作部位が映像と接触していない場合、操作ＥＣＵ２０は、図８の処理を終了する。この場合、映像は、操作情報の更新前の状態から変更されない。それ以外の場合、操作ＥＣＵ２０は、処理をステップＳＴ４２へ進める。

ステップＳＴ４２において、操作ＥＣＵ２０は、更新された操作情報に基づいて、乗員の操作部位が接触している映像の接触箇所が、映像変化が可能なエリアであるか否かを判断する。接触している映像の接触箇所が映像変化の可能エリアである場合、操作ＥＣＵ２０は、処理をステップＳＴ４３へ進める。映像の接触箇所が映像変化の可能エリアでない場合、操作ＥＣＵ２０は、処理をステップＳＴ４４へ進める。

ステップＳＴ４３において、操作ＥＣＵ２０は、更新された操作情報に基づいて、映像変化可能エリアである映像の接触箇所を、操作に応じて変形させるように、映像を更新する。３Ｄ映像投影デバイス４３は、更新された投影用の映像データによる映像を、車室３の空間に投影する。これにより、乗員の前に投影される三次元モデルの映像の形状は、乗員の操作部位による映像操作に対応するように変形する。投影される映像の形状は、接触している操作に応じて変化する。その後、操作ＥＣＵ２０は、処理をステップＳＴ４４へ進める。

ステップＳＴ４４において、操作ＥＣＵ２０は、更新された操作情報に基づいて、映像の位置や向きを移動させる必要があるか否かを判断する。映像の位置や向きを移動させる必要がない場合、操作ＥＣＵ２０は、図８の処理を終了する。映像の位置や向きを移動させる必要がある場合、操作ＥＣＵ２０は、処理をステップＳＴ４５へ進める。

ステップＳＴ４５において、操作ＥＣＵ２０は、更新された操作情報に基づいて、映像を操作に応じて移動または回転させるように、映像を更新する。３Ｄ映像投影デバイス４３は、更新された投影用の映像データによる映像を、車室３の空間に投影する。
これにより、乗員の前に投影される三次元モデルの映像の位置や向きは、乗員の操作部位による映像操作に対応するように更新される。投影される映像の位置や向きは、接触している操作に応じて変化する。その後、操作ＥＣＵ２０は、図８の処理を終了する。

このような処理により、操作ＥＣＵ２０は、以下のような視覚と触覚とで協調した操作応答を実現できる。

たとえば、操作ＥＣＵ２０は、映像についての、乗員の操作部位により操作される接触箇所に応じて、映像の接触箇所の変形、映像の移動、およびそれらの組み合わせ、により、映像を更新する。そして、映像の接触箇所を変形させるように映像を更新する場合、操作ＥＣＵ２０は、映像の応答に用いたものと同じ操作情報に基づいて、超音波場による刺激の出力レベルまたは出力の仕方を変化させることができる。また、映像を移動させるように映像を更新する場合、操作ＥＣＵ２０は、超音波場による刺激の出力範囲または出力位置を、同じ方向へずらすことができる。たとえば、操作ＥＣＵ２０は、乗員の操作部位の動き方向へ沿って、映像と刺激の出力とを移動させることができる。また、操作ＥＣＵ２０は、乗員の操作部位の動き速度に応じた量で、映像と刺激の出力とを移動させることができる。

この他にもたとえば、操作ＥＣＵ２０は、映像の投影位置と操作情報とに基づいて判定できる、映像についての、乗員の操作部位により操作される接触箇所（エリア）に応じて、異なる刺激を出力することができる。操作ＥＣＵ２０は、操作情報に基づいて判定できる、乗員の操作部位の動き方向および動き速度に応じて、異なる刺激を出力することができる。操作ＥＣＵ２０は、映像に触れる際のジェスチャに応じて、異なる刺激を出力することができる。たとえば、操作ＥＣＵ２０は、映像の更新による形状の変化に合わせて、形状の変化後の刺激を、形状の変化前の刺激から変化させることができる。また、操作ＥＣＵ２０は、映像の更新により乗員の操作部位と映像との接触量の変化に合わせて、映像の更新後の刺激を、映像の更新前の刺激から増減させることができる。

次に、車室３の空間に表示する映像と、それに対する操作および応答との組み合わせの具体例について説明する。

（具体例１）
操作ＥＣＵ２０は、３Ｄ映像投影デバイスにより、車室３のダッシュボードの上となる空間に、犬の３Ｄ映像を投影する。
乗員は、ダッシュボードの上の映像へ手を伸ばして、３Ｄ映像の犬を掌でなでる。
操作ＥＣＵ２０は、操作検出デバイス４４により掌を検出し、３Ｄ映像の犬の表面の位置を基準として３Ｄ映像の犬をなでる掌の位置および動きを判定する。
操作ＥＣＵ２０は、判定した掌のなでる動きについての操作情報に応答するように、刺激出力デバイス４５から掌へ向けて超音波を出力して刺激を与え、音出力デバイス４６から犬の鳴き声を出力する。
また、操作ＥＣＵ２０は、同じ操作情報に基づいて、投影している犬の３Ｄ映像を変化させる。操作ＥＣＵ２０は、掌が接触している映像の接触箇所に応じて、映像を更新する。操作ＥＣＵ２０は、投影する犬の３Ｄ映像を、接触箇所での接触に反応している映像へ変更する。操作ＥＣＵ２０は、投影する犬の３Ｄ映像を、掌の操作方向へ移動させるように更新する。
なお、これらの一連の制御において、操作ＥＣＵ２０は、接触刺激を、投影している犬の表面を基準として、所定距離以内へ乗員の掌が近づくと、刺激出力デバイス４５から掌へ向けて超音波を出力して刺激を与えてもよい。この場合、操作ＥＣＵ２０は、乗員の掌から映像の表面までの距離が短くなるほど、刺激出力デバイス４５から掌へ向けて出力して刺激を強くしてよい。刺激は、映像の表面において極大としてよい。
このように、操作ＥＣＵ２０は、乗員の掌による映像への操作を検出し、その操作に応じて犬の３Ｄ映像と触覚への刺激応答とを同期して更新できる。３Ｄ映像と音波場とは、同期して移動することができる。

（具体例２）
操作ＥＣＵ２０は、３Ｄ映像投影デバイスにより、車室３の空間に、キャラクタの３Ｄ映像を投影する。
乗員は、映像へ手を伸ばして、３Ｄ映像のキャラクタのお腹を指で押す。
操作ＥＣＵ２０は、操作検出デバイス４４により指を検出し、３Ｄ映像の表面位置を基準として指の位置および動きを判定する。
操作ＥＣＵ２０は、判定した指の押す動きについての操作情報に応答するように、投影しているキャラクタの３Ｄ映像を変化させる。操作ＥＣＵ２０は、３Ｄ映像を、指により操作された接触箇所を凹ませた映像へ変更する。
操作ＥＣＵ２０は、同じ操作情報に基づいて、刺激出力デバイス４５から指先へ向けて超音波を出力して刺激を与える。操作ＥＣＵ２０は、３Ｄ映像の押される前の当初の表面位置を基準として、指の先端についての、映像の表面位置からの侵入深さ（映像の凹み量）に応じて増加する超音波を、刺激出力デバイス４５から出力する。これにより、映像が指により弾性変形している触感を、指に与えることができる。

（具体例３）
操作ＥＣＵ２０は、３Ｄ映像投影デバイスにより、車室３の空間に、硬質な部位と、軟質な部位とを有するキャラクタの３Ｄ映像を投影する。
なお、投影する映像についての各部の質のパラメータは、たとえばポリゴンデータに１つの属性として持たせればよい。また、操作ＥＣＵ２０は、３Ｄモデルでの各部の位置に応じて、ＡＩ処理などにより独自に各部の質を判定してもよい。
乗員は、映像へ手を伸ばして、３Ｄ映像のキャラクタを指で押す。
操作ＥＣＵ２０は、操作検出デバイス４４により指を検出し、３Ｄ映像の表面位置を基準として指の位置および動きを判定する。
操作ＥＣＵ２０は、判定した指の押す動きについての操作情報に応答するように、投影しているキャラクタの３Ｄ映像を変化させる。
映像についての指で押された部位が硬質な部位である場合、操作ＥＣＵ２０は、指により操作された映像を、指の操作方向へ移動させる。操作ＥＣＵ２０は、指の押しの速度および量に応じた移動量で、映像を移動させる。
映像についての指で押された部位が軟質な部位である場合、操作ＥＣＵ２０は、指により操作された接触箇所を、指の操作方向へ凹ませる。操作ＥＣＵ２０は、指の押しの速度および量に応じた凹み量で、映像を変形させる。
操作ＥＣＵ２０は、同じ操作情報に基づいて、刺激出力デバイス４５から指先へ向けて超音波を出力して刺激を与える。
映像についての指で押された部位が硬質な部位である場合、操作ＥＣＵ２０は、３Ｄ映像の前回の表面位置を基準として、指の先端についての、映像の表面位置からの侵入量に応じて急激に増加する超音波を、指の先端部位のみへ、刺激出力デバイス４５から出力する。
映像についての指で押された部位が軟質な部位である場合、操作ＥＣＵ２０は、３Ｄ映像の前回の表面位置を基準として、指の先端についての、映像の表面位置からの侵入量に応じてゆっくりと増加する超音波を、指の全体へ、刺激出力デバイス４５から出力する。
これにより、映像の各部の質感を、指の触感により乗員に与えることができる。
たとえば投影されるキャラクタの固い部分を操作すると、キャラクタは、少ない凹みで変形しつつ、速いスピードで大きく移動する。操作ＥＣＵ２０は、この変形および移動に応じた刺激を、乗員の指先のみへ出力できる。
また、キャラクタの柔らかい部分を操作すると、映像は、大きな凹みで変形しつつ、遅いスピードで少しだけ移動する。操作ＥＣＵ２０は、この変形および移動に応じた刺激を、乗員の指の全体へ出力できる。
このように、３Ｄ映像への乗員の接触箇所と、操作部位の動き（操作方向、操作速度および操作量）とに基づいて、映像の変形と移動とを切り換え、さらに触覚への刺激を異ならせるように切り替えることにより、乗員に映像の各部の質感の違いを認識させることができる。

（具体例４）
操作ＥＣＵ２０は、３Ｄ映像投影デバイスにより、車室３の空間に、キャラクタの頭部の３Ｄ映像を投影する。
なお、投影する映像についての頭部の眼、鼻、口、耳、頬、毛髪などの各部の属性は、たとえばポリゴンデータに持たせればよい。また、操作ＥＣＵ２０は、３Ｄモデルでの各部の位置に応じて、ＡＩ処理などにより独自に各部の質を判定してもよい。
乗員は、映像へ手を伸ばして、掌で３Ｄ映像の頭部を触る。
操作ＥＣＵ２０は、操作検出デバイス４４により掌を検出し、３Ｄ映像の表面位置を基準として掌の位置および動きを判定する。
操作ＥＣＵ２０は、判定した掌の動きについての操作情報に応答するように、投影しているキャラクタの３Ｄ映像を変化させる。
たとえば掌で毛髪をなでている場合、操作ＥＣＵ２０は、なでられた毛髪の映像を、頭部の表面に沿った曲面内で揺らすように、映像を更新する。
指で頬を押している場合、操作ＥＣＵ２０は、押された頬が凹むように、映像を更新する。
操作ＥＣＵ２０は、同じ操作情報に基づいて、刺激出力デバイス４５から掌へ向けて超音波を出力して刺激を与える。
頭部の表面に沿った曲面に沿って毛髪を掌でなでている場合、操作ＥＣＵ２０は、刺激出力デバイス４５から弱く変動する超音波を掌の全体へ向けて出力する。これにより、乗員は、揺れる毛髪についてのさらさらして滑らかな触感を得ることができる。
頬の部位を、頭部の表面に対して略垂直に指で押している場合、操作ＥＣＵ２０は、頭部の当初の表面位置を基準として、表面位置からの侵入量に応じて変動しながら増加する強い超音波を、刺激出力デバイス４５から指の先端へ向けて出力する。超音波は、指の先端の全周へ向けて圧迫感を与えるように出力されてよい。超音波は、映像に進入した指や拳の体積などに応じて無段階で強くしてよい。超音波は、映像の形状の変化に応じて変動させてよい。これにより、乗員は、押した頬についての揺れながら凹むような触感を得ることができる。
このようにキャラクタの頭部についての接触箇所と、操作部位の接触速度、接触方向の組合せに応じて刺激を異ならせることにより、乗員は、本当の頭部を触っているかのような触感を得ることができる。
操作ＥＣＵ２０は、頭部の各部ごとに複数のジェスチャ（操作の仕方）を分類したパターンをメモリ４７から取得し、これに基づいて、頭部の各部に対する操作の種別を判断してもよい。また、肌、髪、服、固定物といった接触箇所を分類してもよい。
また、操作ＥＣＵ２０は、操作の仕方などのジェスチャに応じて、超音波を出力する期間や、超音波の減衰速度などを異ならせてもよい。これにより、素早い接触と、長い接触の場合とのそれぞれにおいて刺激の更新のされ方を異ならせることができる。叩くような強くて短い刺激には、インパルス的に大きく増減する刺激を応答出力しつつ、なでるような弱くて長い刺激には、ゆっくりと小さく増減する刺激を応答出力することができる。
このように、３Ｄ映像への乗員の接触箇所と、操作部位の動き（操作方向、操作速度および操作量）とに基づいて、映像の変形と移動とを切り換え、さらに触覚への刺激を異ならせるように切り替えることにより、乗員に映像の各部の質感の違いや操作の内容を認識させることができる。

（具体例５）
操作ＥＣＵ２０は、３Ｄ映像投影デバイスにより、車室３の空間に、キャラクタの腕の３Ｄ映像を投影する。
なお、投影する映像についての腕の可動範囲などの属性は、たとえばポリゴンデータに持たせればよい。また、操作ＥＣＵ２０は、３Ｄモデルでの各部の位置に応じて、ＡＩ処理などにより独自に各部の属性を判定してもよい。
乗員は、映像へ手を伸ばして、映像の腕を手で持って動かす。
操作ＥＣＵ２０は、操作検出デバイス４４により乗員の手を検出し、３Ｄ映像の表面位置を基準として手の位置および動きを判定する。
操作ＥＣＵ２０は、判定した手の動きについての操作情報に応答するように、投影しているキャラクタの３Ｄ映像を変化させる。
たとえば手で映像の腕を持って動かしている場合、操作ＥＣＵ２０は、手の位置や動きに合わせて腕の映像を動かすように、映像を更新する。操作ＥＣＵ２０は、可動範囲において、腕の映像を動かすように、映像を更新する。
操作ＥＣＵ２０は、同じ操作情報に基づいて、刺激出力デバイス４５から手へ向けて超音波を出力して刺激を与える。
腕が可動範囲において動かされている場合、操作ＥＣＵ２０は、腕の重さや腕を抑える抵抗に応じた超音波を手へ向けて出力する。これにより、乗員は、重さのある腕を持っているような触感、または抵抗する腕を持っているような触感、を得ることができる。
腕が可動範囲を超えて動かされている場合、操作ＥＣＵ２０は、可動範囲で出力するものより大きい超音波を手へ向けて出力する。これにより、乗員は、可動範囲を超えて腕を動かそうとする場合に作用するような強い反力の触感、を得ることができる。
このように３Ｄ映像への乗員の接触箇所と、操作部位の動き（操作方向、操作速度および操作量）とに基づいて、映像の変形と移動とを切り換え、さらに触覚への刺激を異ならせるように切り替えることにより、乗員に映像の各部の質感の違いや操作の内容を認識させることができる。

（具体例６）
操作ＥＣＵ２０は、３Ｄ映像投影デバイスにより、車室３の空間に、指で押したら凹むことができる人や動物といったキャラクタ、または指で押しても凹まないスイッチなどの構造物の３Ｄ映像を投影する。
なお、投影する映像についての、キャラクタや構造物といった種別の属性は、たとえばポリゴンデータに持たせればよい。また、操作ＥＣＵ２０は、３Ｄモデルに基づいて、ＡＩ処理などにより独自に種別を判定してもよい。
乗員は、映像へ手を伸ばして、映像を指で押す。
操作ＥＣＵ２０は、操作検出デバイス４４により乗員の指を検出し、３Ｄ映像の表面位置を基準として指の位置および動きを判定する。
操作ＥＣＵ２０は、判定した指の動きについての操作情報に応答するように、表示する映像の種別に応じて、投影しているキャラクタの３Ｄ映像を変化させる。
たとえばキャラクタを表示している場合、操作ＥＣＵ２０は、指の位置や動きに合わせてキャラクタの３Ｄ映像が操作箇所において凹むように、映像を更新する。
スイッチなどの構造物を表示している場合、操作ＥＣＵ２０は、指の位置や動きによって構造物の３Ｄ映像が操作箇所において凹むことがないように、映像を更新する。操作ＥＣＵ２０は、スイッチの色などを変更するように、映像を更新する。この場合、操作する指先は、３Ｄ映像の表面の裏側へ入り込むことになる。操作ＥＣＵ２０は、指先が映像の裏側へ入り込んだ場合、スイッチの色を薄くして半透過とし、構造物の内部構造をスケルトン表示するようにしてもよい。操作ＥＣＵ２０は、指の動きに応じて、構造物の３Ｄ映像を移動させてもよい。
操作ＥＣＵ２０は、同じ操作情報に基づいて、刺激出力デバイス４５から指へ向けて超音波を出力して刺激を与える。
たとえばキャラクタを表示している場合、操作ＥＣＵ２０は、キャラクタの当初の投影位置を基準として、指が入り込んだ量に応じた強さの超音波を、指先の周囲へ向けて出力する。
スイッチなどの構造物を表示している場合、操作ＥＣＵ２０は、一定の強さの超音波を、指先へ向けて出力する。
このように３Ｄ映像により投影する物に応じて、映像の変形を切り換え、さらに触覚への刺激を異ならせるように切り替えることにより、乗員には投影される映像の種別に応じた操作感の違いを認識することができる。

以上のように、本発明の実施形態では、車室３の空間に投影される映像に対して乗員が操作をすると、その操作情報に基づいて、投影する映像を更新し、操作部位へ超音波を出力し、音を出力する。これにより、車室３の空間に投影される映像に対して非接触の操作をした乗員は、視覚、触覚、聴覚により操作内容に応じた応答を受け、リアルな操作感を得ることができる。
このような非接触操作装置４０は、たとえば車室３内で図１（Ｃ）のようにくつろいで横たわる乗員に対して、単に操作部材の映像による良好なユーザインタフェースを提供できるだけでなく、高いエンターテインメント性を有するコンテンツを提供する場合に好適に利用することができる。乗員などのユーザは、操作内容に応じて異なる応答を受け取ることにより、多彩な操作をそれぞれの操作について操作の実感を持ちながら、連続的に操作をすることができる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるのもではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上記実施形態では、非接触操作装置４０は、自動車１といった車両に設けられている。
この他にもたとえば、非接触操作装置４０は、ユーザが使用する家具や家電製品に設けられてもよい。また、非接触操作装置４０は、車両、家具または家電製品と別体に設けられ、ユーザが自ら車両、家具または家電製品に対して設置できるものでもよい。

１…自動車（車両）、２…車体、３…車室、４…シート、１０…制御系、１９…外通信ＥＣＵ、２０…操作ＥＣＵ、４０…非接触操作装置、４１…車内通信部、４２…タイマ、４３…３Ｄ映像投影デバイス、４４…操作検出デバイス、４５…刺激出力デバイス、４６…音出力デバイス、４７…メモリ、５１…映像生成部、５２…操作判定部、５３…刺激応答出力部、５４…音応答出力部、６１…表示スクリーン、６２…ハーフミラー、６３…ステレオカメラ、６４…四角枠体、６５…超音波素子

Claims (10)

1. 車両の車室の空間へ映像を投影する投影デバイスと、
   前記投影デバイスにより投影される前記映像を生成および更新する生成部と、
   前記車室の前記空間に投影されている前記映像に対して操作をする前記車両の乗員の操作部位に対して、超音波場による触覚刺激を前記操作に対する応答として出力する刺激応答出力部と、
   前記車室の前記空間に投影されている前記映像に対して非接触の操作をする前記乗員の前記操作部位を検出する検出デバイスと、
   を有し、
   前記生成部および前記刺激応答出力部は、前記検出デバイスにより検出される前記乗員の前記操作部位の操作情報に応じて、前記映像と前記触覚刺激の出力とを更新する、ものであり、
   前記刺激応答出力部は、前記映像についての、前記乗員の前記操作部位により操作される接触箇所、前記乗員の前記操作部位の動き方向、および、前記乗員の前記操作部位の動き速度に応じて異なる前記触覚刺激を出力し、
   前記生成部および前記刺激応答出力部は、前記検出デバイスにより検出される前記乗員の前記操作部位の操作情報に応じて前記映像と前記触覚刺激の出力とを更新する際に、
   前記乗員の前記操作部位についての前記映像の表面までの距離が変化したか否かを判断し、前記映像の表面までの距離が変化している場合には、さらに、前記乗員の前記操作部位が前記映像の表面と接触したか否かと、前記乗員の前記操作部位がすでに前記映像と接触していたか否かと、を判断し、
   前記乗員の前記操作部位が前記映像の表面と接触していない場合には、前記映像の表面までの残距離または深さに応じた強度に変更しながら、刺激の出力を維持し、
   前記乗員の前記操作部位が前記映像の表面と接触しているがすでに前記映像と接触していない場合には、刺激の種類を変更し、
   前記乗員の前記操作部位が前記映像の表面と接触していて且つすでに前記映像と接触していた場合には、同じ出力を継続する、
   車両の非接触操作装置。
   
2. 前記生成部により生成される前記映像は、投影する部位ごとに異なる属性を持ち、
   前記刺激応答出力部は、前記乗員の前記操作部位により操作される接触箇所となる前記部位に応じて異なる前記触覚刺激を出力する、
   請求項１記載の車両の非接触操作装置。
   
3. 前記刺激応答出力部は、操作に応じて前記生成部が前記映像を更新する際に、前記超音波場による触覚刺激の出力を、更新される前記映像に対応させて変更する、
   請求項１または２記載の車両の非接触操作装置。
   
4. 前記生成部は、前記映像についての、前記乗員の前記操作部位により操作される前記接触箇所に応じて、前記映像の前記接触箇所の変形、前記映像の移動、およびそれらの組み合わせ、により、前記映像を更新し、
   前記刺激応答出力部は、
   前記生成部が前記映像の前記接触箇所を変形させるように前記映像を更新する場合、前記超音波場による触覚刺激の出力を変化させ、
   前記生成部が前記映像を移動させるように前記映像を更新する場合、前記超音波場による触覚刺激の出力を、同じ方向へずらす、
   請求項１から３のいずれか一項記載の車両の非接触操作装置。
   
5. 前記生成部および前記刺激応答出力部は、前記乗員の前記操作部位の動き方向へ沿って、前記映像と前記触覚刺激の出力とを移動させる、
   請求項４記載の車両の非接触操作装置。
   
6. 前記生成部および前記刺激応答出力部は、前記乗員の前記操作部位の動き速度に応じた量で、前記映像と前記触覚刺激の出力とを移動させる、
   請求項４または５記載の車両の非接触操作装置。
   
7. 前記刺激応答出力部は、前記生成部の更新による前記映像の形状の変化に合わせて、前記形状の変化後の前記触覚刺激を、前記形状の変化前の前記触覚刺激から変化させる、
   請求項１から６のいずれか一項記載の車両の非接触操作装置。
   
8. 前記刺激応答出力部は、前記生成部による前記映像の更新により前記乗員の前記操作部位と前記映像との接触量の変化に合わせて、前記映像の更新後の前記触覚刺激を、前記映像の更新前の前記触覚刺激から増減させる、
   請求項１から７のいずれか一項記載の車両の非接触操作装置。
   
9. 前記車室へ音を出力する音出力デバイスと、
   前記車室に投影されている前記映像に対する前記乗員の前記操作部位の動き、および前記映像の前記接触箇所に応じて異なる音を、前記音出力デバイスから出力する音応答出力部と、
   を有する、
   請求項１から８のいずれか一項記載の車両の非接触操作装置。
   
10. 請求項１から９のいずれか一項記載の非接触操作装置と、
    前記非接触操作装置とネットワークを通じて接続され、車両を制御する被制御装置と、
    前記非接触操作装置とネットワークを通じて接続され、前記車両の外と通信する通信装置と、
    を有し、
    前記非接触操作装置は、前記通信装置が受信するコンテンツを映像として投影する、
    車両。
    

Images