JP2001216069A - 操作入力装置および方向検出方法 - Google Patents

Abstract

(57)【要約】 【課題】車載機器などで、運転者が装置を注視せずに安
全に操作が行えるような、操作入力装置および方法を提
供する。 【解決手段】形状ジェスチャと方向ジェスチャなどの２
種類のジェスチャを検出し、一方のジェスチャによっ
て、操作モードを選択し、他方のジェスチャによって、
その操作モード内におけるパラメータの変更を行えるよ
うに構成した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は車載情報機器を始め
とする各種の情報機器に対し、操作入力を行う操作入力
装置および方法に関する。

【０００２】

【従来の技術】近年、自動車の中には、カー・ナビゲー
ションを始め、オーディオ装置、ＴＶ、ビデオ装置、携
帯電話、エアコンなど数多くの情報機器、電装機器が搭
載されるようになっている。車内で電話をかけるだけで
なく、電子メールの読み書き、インターネットへのアク
セスさえ可能である。この傾向は今後もますます進み、
自動料金収受システムや安全走行支援システムなども導
入され、車はまさに走るコンピュータになろうとしてい
る状況である。

【０００３】また、それらの様々な機器の操作パネルを
全て用意するのは困難で、操作部を共有するようになり
つつある。現在は、カー・オーディオ用の操作ボタンが
あり、エアコン用の操作ボタンがあり、カー・ナビゲー
ション用の操作ボタンあるいはリモコンがあり、それぞ
れを使って操作を行うという状況が一般的である。

【０００４】しかし、一部の車載機器では、１つのディ
スプレイに全ての機器の状態が表示され、また、共通の
入力装置によって操作を行うことができる。例えば、デ
ィスプレイにタッチパネル機能が搭載されており、画面
に表示されるメニューに触れることで操作が行える。デ
ィスプレイには、状況に応じて異なった画面を表示でき
るため、全ての機器の操作が可能である。例えば、ディ
スプレイに「エアコン」、「オーディオ」「カーナビ」
などのメニューアイコンがあり、「オーディオ」に触れ
ると、オーディオの操作パネルが表示され、その中の
「音量を上げる」ボタンに触れると音量が大きくなる。

【０００５】また、表示されたメニュー画面に対し、タ
ッチパネルではなくリモコンのような装置を使って操作
を行う製品も多い。その場合には、典型的にはリモコン
に４方向を指示するボタンが付いており、これを操作す
ることで、メニューを選択していくものもある。

【０００６】このように、車載機器の種類が増えていく
中で、運転者が行う操作の種類は飛躍的に増大してい
る。特にカー・ナビゲーションの登場によって、操作の
種類は大幅に増えたと言って良い。このため、運転者が
運転中に、あるいは信号待ちなどのわずかな時間に操作
を行うというケースが増えている。

【０００７】従来ならば、オーディオ操作（音量調整、
選曲）やエアコン操作（温度調整、風量調整）程度しか
行っていなかったが、近年では、カー・ナビゲーション
の表示画面を切り替えたり、現在地近辺の施設を探すた
めに地図をスクロールしたり、携帯電話を使うこともあ
る。

【０００８】このような操作が増えることにより、運転
中の注意力が散漫し、事故などの原因になりやすい。事
実、運転中の携帯電話の使用によって事故が急増し、道
路交通法の改正により、運転中の携帯電話の使用が禁止
された。ただし、手に電話機を持たずに通話できるハン
ズフリー装置を用いている場合は、運転中での使用は許
可されている。

【０００９】この例に見られるように、運転者の視線を
動かさずに他のこと（この場合は電話）を行えるように
することは安全上重要である。

【００１０】一方、車載機器の操作について述べると、
通常は操作パネルを見ながら操作を行うために、運転者
の注意が前方よりそれることになる。そのような操作が
増えると言うことは、運転中の危険が増大していること
を示している。

【００１１】また、前述したひとつの例のように、機器
の操作がディスプレイと共通の入力装置に集約している
と、例えば、従来ならば、エアコンの温度を上げるのに
は、温度つまみを回すか、温度上昇ボタンを押せばよか
ったものが、メインメニューから「エアコン」を選び、
エアコンの操作パネルが表示されてから、「温度上昇」
ボタンを押すことになり、運転者の視線の動きが増え、
危険度が増してしまう。

【００１２】これらの問題を解決するために、手振りを
使うことが考えられ、いくつかの装置が提案されてい
る。特願平９−１９９６４７および特願平８−３０６１
０２では、光センサを使った手振り検出装置を用いて、
手振りで方向を入力し、操作を行う装置を提案してい
る。しかし、通常、人が手の動きを入力するとき、例え
ば「右」「右」と繰り返し手振りを行うとき、その間に
手は「左」に戻る動作をする。この提案によるとそのよ
うな動きをしたときに、「右」「左」「右」と入力され
てしまうことになる。

【００１３】

【発明が解決しようとする課題】本発明は自動車を運転
する運転者が、前方を注視したままで、安定して車載機
器の操作を行うことが難しかった現状を解決しようとす
るものである。また、その際に有効である、形状ジェス
チャ、方向ジェスチャをより効率的に安定して入力でき
るようにすることを目的とする。

【００１４】さらに、これは運転者だけでなく、助手席
者も操作することも想定し、画面を見ながら操作する際
の効果的な操作方法を発明する。また、車載という特殊
な環境の中でより安全に、安定して動作させることも目
的とする。また、車載に限らず、さまざまな機器で用い
ることのできる、汎用的なジェスチャ入力方法の確立を
目的とする。

【００１５】

【課題を解決するための手段】本願発明は、検出すべき
対象物の形状や動きを検出するための第１の検出手段
と、この第１の検出手段によって検出される形状や動き
とは異なる前記対象物の形状や動きを検出するための第
２の検出手段と、前記第１の検出手段の検出結果をもと
に、特定の操作を選択する操作選択手段と、この操作選
択手段によって選択された操作における変更可能なパラ
メータを、前記第２の検出手段の検出結果をもとに、変
更するパラメータ変更手段を有することを特徴とする。

【００１６】また、検出すべき対象物の形状を検出する
形状検出手段と、前記対象物の動きの方向を検出する方
向検出手段と、前記形状検出手段の検索結果をもとに、
特定の操作を選択する操作選択手段と、この操作選択手
段によって選択された操作における変更可能なパラメー
タを、前記方向検出手段の検出結果をもとに、変更する
パラメータ変更手段を有することを特徴とする。

【００１７】また、前記操作選択手段は、対象物の形状
に対し複数の操作を対応づけおき、前記形状検出手段が
同一の形状ジェスチャを連続して検出したときに、前記
形状に対応づけられた複数の操作を順番に切り替えて選
択することを特徴とする。

【００１８】また、前記形状検出手段は、対象物の動き
が一定時間以上静止あるいは動きの小さい状態であるこ
とを検出したときに、対象物の形状の検出を行うことを
特徴とする。

【００１９】また、選択可能な操作あるいは変更可能な
パラメータの情報を表示するための表示手段を有し、こ
の表示手段は、選択可能な操作モードとそれを選択する
ための形状ジェスチャを表す画像，あるいは変更可能な
パラメータとそれを変更するための方向を表す画像を併
せて表示することを特徴とする。

【００２０】また、選択可能な操作あるいは変更可能な
パラメータの情報を音声で提示するための音声提示手段
を有することを特徴とする。

【００２１】また、前記形状検出手段または前記方向検
出手段の処理が滞ったときに音声提示を行うことを特徴
とする。

【００２２】また、形状検出手段による検出開始，検出
終了，検出失敗、および方向検出手段による方向検出が
起こったときに、音で操作者に提示するために音提示手
段を有することを特徴とする。

【００２３】また、前記音提示手段は、操作の種類や検
出された方向の種類によって、異なる音を提示すること
を特徴とする。

【００２４】また、検出すべき対象物の位置情報の軌跡
を解析して前記対象物の方向を検出する方法であって、
前記対象物が所定の方向に所定の距離だけ動き、前記方
向と反対側の方向に所定の距離だけ動いたとき、前記方
向への動きとして検出することを特徴とする。

【００２５】また、検出すべき対象物の位置情報の軌跡
を解析して前記対象物の方向を検出する方法であって、
前記対象物が所定の範囲に所定の時間内静止または動き
の少ない状態でとどまった後、所定の方向に所定の距離
だけ動き、前記方向と反対側の方向に所定の距離だけ動
き、再び所定の時間内だけ静止または動きの少ない状態
でとどまったときに、前記方向への動きとして検出する
ことを特徴とする。

【００２６】また、前記方向検出手段は、前記対象物が
所定の方向に所定の距離だけ動き、前記方向と反対側の
方向に所定の距離だけ動いたとき、前記方向への動きと
して検出することを特徴とする。

【００２７】また、前記方向検出手段は、前記対象物が
所定の範囲に所定の時間内静止または動きの少ない状態
でとどまった後、所定の方向に所定の距離だけ動き、前
記方向と反対側の方向に所定の距離だけ動き、再び所定
の時間内だけ静止または動きの少ない状態でとどまった
ときに、前記方向への動きとして検出することを特徴と
する。

【００２８】また、前記音提示手段は、所定方向に動い
たときに第１の音を提示し、前記方向の反対側に動いて
戻り、前記方向への動きとして検出されたときに、第２
の音を提示することを特徴とする。

【００２９】また、前記音提示手段は、第１の音は動い
た方向によって異なる音を提示し、第２の音は方向によ
らず同じ音を提示することを特徴とする。

【００３０】また、前記方向検出手段は、意図的に動か
している動作と、意図せずに生じてしまう動作を識別す
ることを特徴とする。

【００３１】また、前記方向検出手段は、所定の複数方
向のうち、いずれかの方向に動いたかを検出する手段
と、連続する同じ方向への動きの間に発生する戻る動作
を除去する手段を有することを特徴とする。

【００３２】また、前記方向検出手段は、動いた対象物
のセンサからの距離を検出する手段を有し、所定の方向
への連続した動きの間に、前記方向とは反対方向の距離
が遠い動きを検出したときに、戻る動きであると判定
し、除去することを特徴とする。

【００３３】また、前記方向検出手段は、対象物の動き
の間の時間間隔を測定する手段を有し、所定の方向への
連続した動きの間に、前記方向と反対方向の動きが検出
され、所定の長さ以下の時間間隔の場合、この間の動き
を戻る動きであると判定し、除去することを特徴とす
る。

【００３４】また、検出された方向に対し異なる音を提
示する音提示手段を持つことを特徴とする。

【００３５】また、前記方向検出手段は、対象物の動き
の始点と終点が近い位置に来るような軌跡を検出するこ
とを特徴とする。

【００３６】また、検出すべき対象物の形状を検出する
ための形状検出手段と、この形状検出手段によって検出
される形状と対応づけられた操作メニューを表示するた
めのメニュー表示手段と、前記形状検出手段によって検
出された形状に応じて、前記操作メニューを選択するた
めのメニュー選択手段とを有することを特徴とする。

【００３７】また、前記メニュー選択手段は、前記操作
メニューを階層的にメニューを辿っていくときに、異な
る形状を提示することを特徴とする。

【００３８】また、検出すべき対象物の動きの方向を検
出する方向検出手段と、この方向検出手段によって検出
される動き方向と対応づけられた操作メニューを表示す
るため表示するメニュー表示手段と、前記方向検出手段
によって、動き方向を連続して検出されたときには、１
回だけ検出されたときとは異なる操作メニューを選択す
るメニュー選択手段とを有することを特徴とする。

【００３９】また、検出すべき対象物の形状を検出する
ための形状検出手段と、検出すべき対象物の動きの方向
を検出する方向検出手段と、検出される形状および動き
方向と対応づけられた操作メニューを表示するため表示
するメニュー表示手段と、検出された形状および動き方
向に対応づけて、操作メニューを選択するメニュー選択
手段とを有することを特徴とする。

【００４０】

【発明の実施の形態】以下、図面に従い本発明の実施の
形態を説明する。

【００４１】＜概要＞ 図１は、本発明の実施形態の一
例である。第１のジェスチャ検出部１と第２のジェスチ
ャ検出部２は、異なる種類のジェスチャを検出するもの
である。そして、操作種類選択部３は、第１のジェスチ
ャ検出部１の検出結果に従い、操作の種類を選択する。
パラメータ変更部４は、操作種類選択部３で選択された
操作の中で、変更可能なパラメータを第２のジェスチャ
検出部２の結果に従って変更する。

【００４２】操作入力処理部５は、操作種類選択部３と
パラメータ変更部５の結果に従い、どのような操作が行
われたかを決定する。操作実行部６は決定された操作を
実行する。操作入力処理部５は、第１、第２のジェスチ
ャ検出部および操作種類選択部３、パラメータ変更部４
を制御し、これらが動作しないようにすることもでき
る。従って、状況に応じて、どちらか一方のジェスチャ
検出のみを行わせたりすることができる。

【００４３】＜詳しい構成＞ 図１をより具体的に示し
たのが図２である。ここでは第１のジェスチャ検出部
は、形状ジェスチャを検出する、形状ジェスチャ検出部
７であり、第２のジェスチャ検出部は方向ジェスチャを
検出する方向ジェスチャ検出部８である。

【００４４】ここで、「形状ジェスチャ」とは「手の形
で表されるジェスチャ」であり、「方向ジェスチャ」と
は「動いた方向を示すジェスチャ」である。この中で、
形状ジェスチャの場合には、必ずしも手が動いていなく
ても良く、その意味で「ジェスチャ」という言葉が当て
はまりにくいこともあるが、ここでは広く捉えて、形状
の提示もジェスチャのひとつとして扱う。

【００４５】＜検出手段の詳述＞ ここで、２つのジェ
スチャ検出部について、詳述する。具体例として、上記
の形状ジェスチャとは、「グー」「チョキ」「パー」と
いったじゃんけんで提示するような手の形状である。あ
るいは、「５本の指のうちどの指を伸ばすか」、あるい
は「人差し指と親指で丸を作る」など手によって表現さ
れるさまざまな形のことを指す。

【００４６】形状ジェスチャの例を図３に示す。本来
「ジェスチャ」とは動きを伴う意味を含んでおり、必ず
しも静止した手形状をジェスチャとは呼ばないこともあ
るが、これらの形状を提示する際には、操作者は、他の
形からこれらの形へ、手の形を変形させているのである
から、その意味で広義のジェスチャとして扱う。また、
検出処理方法を考えると、これらを静止形状として扱う
のが比較的容易であるが、実際にはこれらの形状の時系
列的な組み合わせ、形状と動きを伴うものなどもあり得
る。

【００４７】具体的に、手の形状を捉えるための手段と
しては、小型ＣＣＤカメラなどを用いて手を撮像し、そ
の画像を解析することで形状を検出することが可能であ
る。しかし、特に車載機器応用を考えた場合、車内は昼
間明るく、夜は暗いと外光状態の変動が大きく、カメラ
で得られる画像が大きく変動してしまうため、検出精度
が低下してしまうという問題がある。カメラの前方を人
やものが横切る毎に誤認識するおそれがある。

【００４８】発明者らは、特開平１０−１７７４４９に
あるように、発光手段と、これと同期して動作するイメ
ージセンサによって、物体形状を高速に検出できる画像
入力装置を開発した。これは、物体に典型的には赤外光
を照射し、これと同期した動作をするイメージセンサを
用いて、物体反射光のみを画像として取り出す装置であ
る。反射光の強さは一般的に物体までの距離の２乗に反
比例するため、近くの物体が遠くの背景から容易に切り
出すことができる。

【００４９】この入力装置を使うと、装置自体が発光手
段を持っているため、夜などの通常のＣＣＤカメラでは
撮像が難しい条件下でも、検出が行える。また、発光手
段は人間の目に見えない近赤外光を用いるので、運転者
の妨げにならない。また、距離のある背景の物体は、反
射光が届かず写らないため、関係ない動きなどによる誤
動作は小さくできる。

【００５０】これらの画像入力装置から得られた、手の
形状を認識して、あらかじめ決められた形状ジェスチャ
に合致するかどうかを決定する方法について述べる。例
えば、指をのばした本数による形状の違いを検出する場
合、伸ばした指が横切るであろう領域を設定し、横切っ
ている指の数を数えることによって形状の違いを検出す
ることができる。

【００５１】別の方法として、手の形状の輪郭線を考え
ると、指先は山状に出っ張っており、指の間は谷状にへ
こんでいる、それらの輪郭線形上を解析して、伸ばして
いる指の数を知ることができる。指先がカメラに向いて
いるような場合は、指先はカメラへの距離が周りに比べ
近い点となり、反射光量が極大となる。その極大点の数
をカウントすることで、カメラに向いている指の数を検
出することができる。

【００５２】また、自由な手の形状を認識するために、
パタンマッチングという技術を使うことができる。これ
はあらかじめ認識したい形状をパタンとして登録してお
き、入力された形状との相違度を計算し、近い形状があ
ればそれが入力されたと判断するものである。相違度の
計算の仕方としては、単純にパタンを重ね合わせ、その
重なり具合を計算するものや特徴空間へ写像し、そこで
の距離で判断する方法もある。

【００５３】＜静止してから形状認識開始＞ 形状の認
識をする場合、精度よく行おうとすればするほど、処理
に時間がかかる。従って、入力される画像のフレーム毎
に認識処理を行うと、処理コストが増大してしまう。形
状を提示する場合は、操作者が形状を提示して一定時間
静止している場合に、認識処理を開始するのが望まし
い。これは操作者が意志を持って形状を出す場合は、静
止させるという動作は自然であるからである。

【００５４】また、静止状態を見つけたときのみ認識処
理を行えばよいから、計算コストを下げることができ
る。また、ジェスチャを提示する意志無しに、動かした
動作は、それが静止しない限り、ジェスチャ提示と誤認
識してしまうことがない。

【００５５】一方、方向ジェスチャは、このような画像
入力装置から得られる画像から、手の動き方向を抽出す
ることによって行える。例えば、特開平１０−１７７４
４９における画像入力装置を用いた場合、画像には背景
は写らず、手の形状のみが写っているので、この画像の
重心計算を行えば、手の位置が求められる。その軌跡を
追跡することで基本的な動きを検出することが可能であ
る。

【００５６】手首付近はほとんど動かさず、指先だけを
動かすような場合には、手全体の重心計算を行うと、検
出される動きの精度が悪いことがある。このような場合
は、手の形状を細かく考慮した処理を行うことが考えら
れる。

【００５７】例えば、カメラに向かって指を伸ばしてい
る場合、指の先端はカメラに最も近く、したがって反射
光が最も大きく、画像中で極大点ととなっていることが
多い。このような点を検出し、それらの最も近いもの、
あるいは極大点の平均などを求めることで、手全体の重
心点を求めるのに比べ、実際の動きに対し感度のよい評
価値として、位置情報を得ることができる。この場合、
複数ある極大点の画像フレーム間の対応関係などを求め
ておくと、画像の端のほうに存在していた極大点が画像
外に出てしまった場合などの位置の挙動がおかしくなる
のを防ぐことができる。

【００５８】いずれにしても、得られた手形状データか
ら、位置の情報を取り出し、その軌跡を解析することに
よって動きジェスチャを検出するのがよい。通常のＣＣ
Ｄカメラを使った場合でも色情報などにより、手の形状
がきちんと切り出すことができれば、そこから位置情報
を取り出すことが可能である。方向ジェスチャを検出す
る方法については、実施例の後の方で詳しく述べる。

【００５９】＜操作状態遷移＞ この２種類のジェスチ
ャ検出を用いて、構成した操作における、状態遷移図を
図４に示す。まず始めは何も行っていない状態である。
ここで第１のジェスチャ検出部で検出する。いずれかの
ジェスチャを提示すると、それが検出され、操作モード
の１つに入る。例えば、ジェスチャ１が提示されるとカ
ー・ナビゲーションのビューを操作するモードに入り、
ジェスチャ２が提示されるとエアコンの操作モードに入
り、ジェスチャ３が提示されるとオーディオ操作のモー
ドに入る。各操作モード内では、４方向の方向ジェスチ
ャによっていくつかのパラメータが調整できるようにな
っている。

【００６０】例えばオーディオ操作モードにおいては、
上方向のジェスチャの提示により音量が大きくなり、下
方向のジェスチャの提示により音量が小さくなる。ま
た、右方向のジェスチャ提示により音楽ＣＤなどの次曲
選択、左方向のジェスチャ提示により前曲選択が行え
る。また、オーディオ関係だけ考えても、操作対象とし
て、音楽ＣＤ、音楽ＭＤ、カセットテープ、ラジオ、場
合によってＴＶなど様々ある。始めにジェスチャ３を提
示することによりオーディオ操作モードになったが、そ
のときは現在動いている対象の操作が行えるようになっ
ている。

【００６１】例えば、音楽ＣＤが流れていれば、ＣＤの
選曲、音量調整ができるようになっている。ジェスチャ
３を繰り返し提示することでこの操作対象を切り替える
ことができる。例えば、２回繰り返すと音楽ＭＤ、もう
１度提示するとラジオというように順に切り替わってい
く。このとき操作の対象によって、方向ジェスチャによ
る変更パラメータが変わることがある。

【００６２】例えば、ＣＤやＭＤの場合は、右，左の方
向ジェスチャで次曲，前曲を選択したが、ラジオの場合
にはラジオ局を登録した順に次局、前局を選択するよう
になる。音量調整はどの操作対象に関しても頻繁に使う
ので、上下の方向ジェスチャに関してはどの場合でも音
量調整を行うようにする。

【００６３】形状ジェスチャと操作対象の対応付けを覚
えておけば、運転者は操作パネルを見ずに、操作モード
を選ぶことができる。また、選んだ操作モード内の操作
も、上下の方向ジェスチャで、音量の大小、というよう
に非常に覚えやすいものであるため、一連の操作全て
が、視線を前方に維持したまま、操作パネルを見ずに行
うことができる。

【００６４】例えば、カー・ナビゲーションを利用して
いるときには画面にはマップが表示されていることが多
いが、このときオーディオの操作を行いたければ、表示
のジェスチャを提示することで直ちにオーディオ操作パ
ネルが表示される。通常であれば一旦メインメニューを
表示し、メインメニューの中からオーディオ操作の項目
を探し、それを選択してはじめてオーディオ操作パネル
が表示される。

【００６５】このように比較すれば、ジェスチャ提示に
よって、頻繁に用いる機能に素早くアクセスできること
の効果は大きい。

【００６６】＜ジェスチャ・アイコン＞ これらのジェ
スチャによる操作は非常に簡便であり、よく使用する形
状ジェスチャは容易に記憶することができる。また、方
向ジェスチャに関しては動きと効果（音量を上げる、下
げるなど）が上手く関連づけられているので、覚えやす
い。しかしながら、使用を始めたばかりの使用者や、長
期間使用をしていなかった後などにおいて、どのような
ジェスチャを行えば、何を制御できたか、ということを
忘れてしまうことがある。そのような場合に、わざわざ
取扱説明書を取り出して読まなくてはならないとした
ら、非常に不便である。

【００６７】ここではさらに、ジェスチャを表示したア
イコンを画面上に同時に表示することで、操作を忘れた
場合も、容易に行うべきジェスチャを知ることができ
る。これを図５に示す。この図では画面下部にジェスチ
ャの形状を示すアイコン９とそのジェスチャを提示した
ときに行える操作を一緒に表示してある。このように、
実行できる形状ジェスチャとそれで何を操作できるかを
表示しておけば、忘れた場合はこの画面を見ることです
ぐに思い出せる。

【００６８】操作ごとにこの画面のジェスチャ・アイコ
ンを見るようでは、操作パネルを見るのと同じであり、
運転者の注意が逸れることになるが、この場合は、操作
を忘れたときに見るだけなので、安全性は保たれてい
る。むしろ、操作を忘れてしまい、取扱説明書を見る方
がよほど危険である。

【００６９】＜音声フィードバック＞ 画面を見ずに操
作をしていると、時として今、どのような操作モードに
入っていて、今何が操作できるのかが分からなくなって
しまう。これは前述した、ジェスチャを忘れてしまうの
とは異なり、ちょっとしたことで気を取られることによ
って起こりうる。例えば、ラジオからＣＤに切り替えよ
うとして、オーディオ操作のためのジェスチャを提示し
たところで、突然、最近気に入っているヒット曲がかか
ったり、操作の途中で急に話しかけられたりして、気を
取られることによって起こりやすい。

【００７０】そのような状況に対処するために、本発明
では、状況に応じて、音声を用いて、使用者に現在の状
況を知らせる、音声によるフィードバック機能を付加す
る。例えば、前述の例で、オーディオ操作ジェスチャを
提示した後、何かに気を取られて、分からなくなったと
き、「オーディオ操作です」と音声でフィードバックす
る。あるいは、現在ラジオがかかっているのなら「ラジ
オ操作です」、ＣＤがかかっているのなら「ＣＤ操作で
す」と状況に応じて音声フィードバックを変えても良
い。操作を行うたびに、音声フィードバックを行うのも
よい。

【００７１】しかし、操作に慣れると、オーディオ操作
ジェスチャと続く方向ジェスチャ（音量を上げるなど）
は連続して提示されることが多くなり、そのたびに音声
フィードバックが起こると煩わしくなる。そこで、オー
ディオ操作ジェスチャが提示されてからしばらく次の操
作が無いときに、使用者が状況を忘れたと判断し、音声
フィードバックを返すのが望ましい。また、同様に、音
声フィードバックを返した後さらに、一定時間経過した
場合、方向ジェスチャによって何が操作できるかを音声
フィードバックで返してもよい。例えば「上下で音量調
整、左右で選局してください」と言った具合に音声をフ
ィードバックする。

【００７２】この機構をブロック図で示したものが、図
６である。操作入力処理部１０は、形状ジェスチャが入
力されるとタイマー１２を起動する。タイマー１２は一
定時間経過すると操作入力処理部１０にそのことを伝
え、それに従い、操作入力処理部１０は音声フィードバ
ック部１３に音声フィードバックを行うよう指示を出
す。

【００７３】また、この処理をフローチャートで示した
のが図７である。はじめの状態では、形状ジェスチャの
検出のみを行っており（Ｓ１４）、形状ジェスチャが検
出されると（Ｓ１５）、操作モードを変更し（Ｓ１
６）、ここでタイマーを起動する（Ｓ１７）。続いて方
向ジェスチャの検出（Ｓ１８）を始めるが、このループ
の中で、タイマーが起動してから一定時間経過したかど
うかを判断し（Ｓ２０）、経過したと判断されたら音声
フィードバックを発生させる（Ｓ１９）。

【００７４】このフローチャートでは、形状ジェスチャ
を検出する初期状態へ戻る経路を省いているが、これ
は、さらに一定時間が経った後、あるいは、特定のジェ
スチャを行ったときなどに、戻るように構成できる。

【００７５】＜音のフィードバック＞ 操作に迷ったと
きなどに、音声で現在の状態をフィードバックすると効
果があることを述べたが、これ以外にも、操作が実行さ
れたときに音でフィードバックするとさらに効果があ
る。従来のボタンによる操作パネルでは、操作者はボタ
ンに触ったことが分かり、またボタンを押すことによっ
て手に戻ってくる感触を手がかりにきちんとボタンが押
せたかどうかが分かるし、さらには音量が変わる、曲が
変わるなどの効果を実際に感じることによって、操作が
実際に行われたことを知ることができる。

【００７６】しかし、ジェスチャによって操作を行う場
合は、どこにも触れないことから、操作感に乏しいとい
う問題がある。同様のことが例えば、コンピュータにお
ける操作が上げられる。

【００７７】例えば、マウスでデスクトップのアイコン
をダブルクリックし、あるアプリケーションを起動する
とき、通常起動するには、ハードディスクなどの記憶装
置からプログラムをロードし、画面に表示する時間がか
かるため、ダブルクリックした後、瞬時には起動しな
い。従って、ダブルクリックした後、本当に起動画面が
表示されるまでは操作が成功したかどうか分からずに不
安である。

【００７８】多くのコンピュータおよびソフトウエアで
は、この問題に対処するために、ダブルクリックしてプ
ログラムを起動させると、直ちにマウスカーソルの表示
を変化させ、起動が行われていることを知らせるように
している。例えば、矢印状のカーソルが砂時計の形に変
わり、起動のための準備をしていることを示したりす
る。この事実は、なんらかのフィードバックが重要であ
ることを示している。

【００７９】一方、車載機器を運転者が運転中に操作す
ることを考えると、このようにカーソルの形状を変える
など、画面上の変化でフィードバックを行うことは適切
でない。なぜならば、フィードバックを確認するため
に、前方から注意を逸らさなくてはならないからであ
る。音でフィードバックを返すことは、運転者が前方か
ら注意を逸らさずに確認することができ、特に本発明の
ような、ジェスチャによる操作入力装置には極めて有効
である。音声によるフィードバックには時間がかかるた
め、毎回聞かされると煩わしく感じるが、音によるフィ
ードバックは瞬時に行われるため、煩わしさはなく、む
しろ操作が完了したことを確認できて安心するという効
果がある。

【００８０】さらに、ジェスチャの種類によって音を変
えると、正しいジェスチャが行われたどうかも判断する
ことができる。例えば、「ビュー」のジェスチャを提示
したときは「ピッ」、「エアコン」のジェスチャを提示
したときは「プッ」、「オーディオ」のジェスチャを提
示したときは「ポッ」という音をフィードバックするよ
うにすると、「オーディオ」操作を選択したつもりで
も、「ピッ」という音が聞こえれば、操作が正しく行わ
れなかったと知ることができる。

【００８１】実際には使用者は、「オーディオ」と「ポ
ッ」という音が関係していると明確に記憶することは少
ないかも知れないが、「オーディオ」のジェスチャに対
し、常に「ポッ」という音を聞いていると、たまに異な
る音が鳴ると違和感を覚えるものである。従って、明確
に何を間違ったかまでは分からなくとも、「正しく行わ
れなかった」ことを知ることはできる。

【００８２】また、形状認識を行う際には、静止状態が
検出されたときのみ形状認識処理を行うのが望ましいと
述べた。そのような処理を行う場合は、静止形状を見つ
けた時点で音を鳴らし、ジェスチャが検出されたらジェ
スチャに応じてまた音を鳴らす。例えば、静止状態を検
出し、形状認識を開始したら、「ピー」という音を鳴ら
し、形状検出が成功したら、前述の「ピッ」「プッ」
「ポッ」のいずれかの音が鳴り、検出に失敗したら「ブ
ー」という音が鳴る。これで認識が失敗したことがわか
り、また、意図しないのにジェスチャが認識されてしま
ったときでもそのことを知ることができる。

【００８３】なお、このように２段階で音を鳴らした方
がよいかどうかは、認識処理にどのくらい時間がかかる
かに依存する。例えば、0.2 秒静止状態が合ったときに
認識を開始し、認識処理が0.1 秒で終了するなら、操作
者が形状を提示してから0.3秒でジェスチャが検出され
る。この場合なら、２段階の音提示は必要ないかも知れ
ない。逆に0.2秒静止状態が合ったときに認識を開始
し、認識処理が1秒で終了するなら、操作者が形状を提
示してから1.2秒経たないとジェスチャが検出されたか
どうかわからない。この場合には、２段階の音提示が有
効である。

【００８４】この例で述べた、「ピッ」「プッ」「ポ
ッ」などの表現はあくまで音の種類が違うことを表現し
たのみで、短時間の音であれば制限はない。ただし、３
つの形状ジェスチャで出す音は、ある程度違いがすぐ分
かる程度に違っていた方が望ましいし、例えば認識が失
敗したときの音は「ブー」などの比較的、習慣、文化的
に「失敗」と結びつきやすい音を採用するのが望まし
い。

【００８５】＜他のジェスチャ＞ 本実施例において
は、第１のジェスチャ検出部は形状ジェスチャを検出
し、第２のジェスチャ検出部は方向ジェスチャを検出と
いう例で説明した。しかし、実施例はこれに限らず、あ
らゆる種類のジェスチャから、異なるカテゴリに属する
ジェスチャを２群選び、それを使って操作モード選択と
パラメータ調整を行うものでもよい。

【００８６】またその特殊な例として、第１と第２のジ
ェスチャ検出部が同じ種類のジェスチャを検出する場合
も含まれる。例えば、はじめに方向ジェスチャで４つの
操作モードを選び、次に方向ジェスチャでパラメータを
変更する方法がある。

【００８７】この場合、同じ方向ジェスチャが検出され
たときにそれがどちらを制御するジェスチャなのかの判
断は、現在操作モードが選択されているかどうかで決ま
る。操作モードが選択されていなければ、ジェスチャは
操作選択のためのジェスチャであると判断され、既に操
作モードが選択されていれば、ジェスチャはパラメータ
変更のためのジェスチャであると判断される。

【００８８】また、上述の例では、方向ジェスチャは、
どちらかの方向へのジェスチャがあったかどうかだけを
判定した。そうではなく、手を上下左右に動かすことで
連続的に値を変えることも可能である。例えば前述した
実施例では、上方向ジェスチャを１回行う毎に、音量が
少しずつ大きくなり、大幅に大きくしたいときには何度
も上方向ジェスチャを提示しなくてはならない。これを
手の上下方向に動かすとそれに従って音量が変わる。そ
して、一定時間静止させるか、左右方向の動きを検出す
ると、その音量で固定する。素早くパラメータを変えた
いものにはこのような方法も適している。

【００８９】また、上下左右の方向のみ述べたが、奥行
き方向の動きも利用することができる。特開平１０−１
７７４４９で発明された画像入力装置を使うと、物体距
離に依存する反射光の強さが画像として得られるため、
奥行き方向の位置を安定して求めることができるため、
このような使い方には適している。

【００９０】＜回転ジェスチャ＞ 他の例として、方向
ジェスチャではなく、回転ジェスチャを使うこともでき
る。つまり、つまみを持つような手の形状を提示し、つ
まみを回すような手の動きをすることにより、その動き
の回転量が検出されるので、それをパラメータとして設
定する。ちょうど音調調節つまみを回すような感覚が実
現できる。

【００９１】＜方向ジェスチャの入力方法＞ ここから
は、上記に述べた実施例の一要素となっている、方向ジ
ェスチャの入力方法について詳細に述べる。方向ジェス
チャの入力を実現する際に重要な点がある。それは繰り
返し同じ方向のジェスチャが入力されうることであり、
そのときに安定して検出できることが重要である。例え
ば、特願平９−１９９６４７で提案されている手振り入
力装置では、装置の前を手が横切ることで入力を行って
いる。

【００９２】しかし、このような装置で、同じ方向のジ
ェスチャを繰り返すと誤動作を起こす可能性がある。す
なわち、例えば、「右」、「右」と繰り返して入力する
際には、２回の右方向ジェスチャの間で、手が一旦左側
に戻らなくてはならない。この際に、これが左方向ジェ
スチャと誤認識され、「右」、「右」と入力したつもり
が、「右」、「左」、「右」と入力されてしまうことに
なる。これを防ぐには、左に戻すときには、センサに検
知されないような位置を通って手が戻ることが必要であ
る。そのような動作をしなければならないとすると、繰
り返し同じ方向のジェスチャを入力するのは至極面倒く
さいものになってしまう。

【００９３】＜動いて、戻って、方向入力とする＞ そ
れを解決するための方向ジェスチャ入力方法を図８に示
す。これは、安定して方向ジェスチャを取得するための
処理をフローチャートで表している。

【００９４】まず、使用者が手をカメラセンサの前に出
したとき、直ちに動き情報を検出してしまうと、誤動作
の原因になる。従って、まず使用者はカメラセンサの前
に手を出し、静止させることによって、これから方向ジ
ェスチャを入力することを知らせる。装置は、物体が画
面中央の所定の領域内で一定時間静止したことを検出す
ることによって（Ｓ２３，Ｓ２４）、使用者が方向ジェ
スチャを入力しようとしていると判断し、方向ジェスチ
ャの検出を開始する。

【００９５】手の位置の軌跡を追跡し、いずれかの方向
に一定量だけ動いたことを検出する（Ｓ２５，Ｓ２
６）。検出する方向の数は、例えば４方向のジェスチャ
検出であれば４つであるし、８方向であれば斜め方向も
含め８つである。また、動きが上下左右だけでなく、奥
行き方向であっても検出する場合もある。

【００９６】ある方向に一定量動いたことが検出された
ら、次は反対方向、すなわち戻る方向に、一定量移動す
るかどうかを監視する（Ｓ２７）。そして、反対方向に
一定量移動し（Ｓ２８）、そこでさらに一定時間静止し
たことを検出したとき（Ｓ２９，Ｓ３０）、方向ジェス
チャがあったと判断する（Ｓ３１）。ここで述べている
「静止」した状態とは、厳密には静止していなくとも、
動きが小さいときを含む。

【００９７】この方法の良いところは、同じ方向のジェ
スチャを連続して入力する場合、そのあいだの戻る動作
が、反対方向のジェスチャとして誤認識されることが無
いことである。それは、常にジェスチャが中央付近から
開始され、その付近に戻ることによってジェスチャが終
了するからである。

【００９８】また、方向ジェスチャを次々と連続して入
力したい場合に、一つひとつのジェスチャのつながりが
スムーズなので、操作者にとって、作業がし易いという
利点がある。

【００９９】＜音のフィードバック＞ また、方向ジェ
スチャを入力する際にも、音をフィードバックさせ、操
作者に入力が受け付けられたことを知らせるのは有効で
ある。図８の場合は、最後の静止状態で方向ジェスチャ
の検出が完了した時点で音を発生させる。また、入力さ
れた方向によって異なる音を発生させると、使用者は正
しい入力が行われたことを確実に知ることができる。

【０１００】＜２度の音でフィードバック＞ 音をフィ
ードバックさせるときに、２段階で音を発生させると、
さらに効果的な場合がある。図８中で、いずれかの方向
に一定量動いたことを検出した時点で、一つ目の音を鳴
らし、戻って静止して、方向ジェスチャが検出されたと
き２つ目の音を鳴らす。

【０１０１】このときに、いずれかの方向に動いた音
と、戻って方向ジェスチャが検出されたときの音を変え
ておく。すると、万一、戻る動作が、はじめのいずれか
の方向に動く動作と誤って認識されたときでも、使用者
にはそれがすぐに判る。また、一つ目の音は、方向によ
って異ならせても良いが、戻る音は、いずれの場合でも
同じにしたほうがよい。

【０１０２】例えば、上下左右の一つ目の音を「パ」
「ピ」「プ」「ペ」、２つ目の音を全て「ポ」にする
と、上下左右の音フィードバックとして、使用者には、
「パポ」「ピポ」「プポ」「ペポ」と聞こえることにな
る。スムーズに操作が行えるようになれば、これらはそ
れぞれひとつの効果音のようにも聞こえ、使用者にとっ
て、違和感はない。

【０１０３】＜戻らないとキャンセル＞ いずれかの方
向に一定量動かした後、あるいは動かそうとしていると
きに、間違いに気づいたり、気が変わったりした場合
に、キャンセルしたいことがある。上記の方法を採って
いれば、キャンセルしたい場合は、その動きのままカメ
ラの視野外に手を出してしまうことによりキャンセルで
きる。

【０１０４】あるいは、途中で、動きを止めてしまうこ
とで、キャンセルすることもできる。図８のフローチャ
ートでは、一定時間経つと初期状態に戻るようになって
いる。

【０１０５】＜元に戻るジェスチャ＞ 上記の例では、
方向ジェスチャだけについて述べたが、一般的に、位置
の軌跡によって情報を提示する場合、「ある領域から始
まり、その領域に到達して終わる」一連のジェスチャと
いうのは、連続して入力するのに非常に適している。例
えば、図９に示すようなジェスチャはいずれもそうであ
り、これにより方向だけでなく、様々なジェスチャを入
力することができる。図９において、矢印が位置の軌跡
を示している。

【０１０６】＜距離の違いで戻る時の動きを除く＞ 上
記のような構成により、戻るときの動作が誤動作を引き
起こさないようにしながら連続的な方向ジェスチャの提
示が可能になった。しかし、場合によっては、やはり一
方向に動かす動きで方向ジェスチャとしたいこともあ
る。そのような戻す動きをするときには、やや手を引い
た感じで戻すことが多い。

【０１０７】例えば、机の上を右方向へ２回なでること
を考えると、まず机の表面を１回、右方向へ撫で、机か
ら少し手を浮かせて左側に戻り、再度右方向に撫でる、
という動作を通常行う。この「少し浮かせた状態」とい
うのは、空中のジェスチャで考えると、「少し引いた状
態」となる。

【０１０８】ところで、特開平１０−１７７４４９に記
載の画像入力装置では、手の相対的な距離情報を取得す
ることができる。従って、左に戻す動きが、右に動かす
動きより、「少し引いた状態」で行われていることを検
出することができる。これを行う構成を図１０に示す。

【０１０９】画像入力部３２から入力される画像は、動
き検出部３４と距離検出部３３に入力され、各々で、動
き情報３９と距離情報３８が求められる。判定部３５
は、これらの情報から、動き検出部３４から入力された
動き情報が、動き入力なのか、戻るための動作なのかを
判定する。

【０１１０】より具体的には、ある方向の方向ジェスチ
ャが検出された直後に、反対方向の動きが検出され、し
かもそのときの距離情報が、前回の方向ジェスチャに比
べ遠い場合、これは戻るための動作であると判断する。
方向ジェスチャと判定されれば、操作実行部３６に方向
ジェスチャの情報を伝達し、必要に応じて音でフィード
バックを発生させる。戻りの動きであると判定されれ
ば、操作実行部には何も伝達せず、また音フィードバッ
クも発生させない。

【０１１１】音フィードバックに関しては、右、左で音
を変え、戻りが音を発生させないようにすれば、戻り動
作が誤って、方向ジェスチャとして検出されてしまった
場合は、使用者はすぐに気づくことができる。

【０１１２】＜２回目の動きを戻り動作と判定する＞
距離情報を取得できない画像センサを用いても、このよ
うな処理は必ずしも不可能ではない。動き情報しか取得
できない画像センサの場合、動きの時系列を見て、戻り
動作が何であるかを判断することができる。

【０１１３】例えば、「右」「左」「右」「左」「右」
という入力があれば、これは右方向に３回の入力を行
い、中の２つの左ジェスチャは戻り動作であると判定す
る。しかし、単純にこれだけだと、途中で左ジェスチャ
に変えることができない。それはそれぞれの動いている
間の時間間隔、いわゆる「間（ま）」を上手く利用する
ことで、判定できる。

【０１１４】例えば、「右」「左」「右」（間）「左」
「右」「左」という入力があった場合は、「右」「右」
の入力の後、「左」「左」という入力がされたと判定で
きる。

【０１１５】＜メニュー階層をたどる＞ これまで、主
に、形状を提示するジェスチャ、方向を入力するジェス
チャについて述べてきたが、これらのジェスチャを用い
て、メニュー階層をたどっていくことが可能である。機
能が非常に多い装置を操作するインタフェースは、しば
しば、機能をカテゴリに分け、階層構造にし、上から順
にたどっていくことで機能に到達するようにしているも
のが多い。

【０１１６】例えば、コンピュータでは、マウスでカー
ソルを動かしながら、画面上のメニューを順に選択して
いく方法を採ることが多いし、カー・ナビゲーションな
どの車載機器であれば、タッチパネルやリモコンの十字
ボタンで、順にメニューを選択していく方法を採ってい
ることが多い。

【０１１７】メニューを選択する場合に、方向キーなど
を使わずに、方向ジェスチャで入力したり、ファンクシ
ョンキーを押す替わりに、形状ジェスチャを提示したり
するのは、有効な方法である。図１１は、その構成図を
表す。画像入力部４０より入力された画像は、ジェスチ
ャ検出部４１で処理され、ジェスチャが提示された際に
はそれを検出する。メニュー制御部４２は、検出された
ジェスチャによりメニューをどう辿っているかを判定
し、新しいメニューをメニュー表示部４３に表示させ
る。

【０１１８】また、ジェスチャが検出された際には、フ
ィードバック部４４から使用者に音や音声でフィードバ
ックする。このときのメリットとして、操作がジェスチ
ャであるため、ある機能に到達するまでの操作を記憶し
やすいということがある。例えば、形状ジェスチャを用
いて、「グー」「チョキ」「パー」と提示すれば、エア
コンの温度設定になるという具合である。使用者はこれ
らの全てを覚える必要はなく、使用頻度の高いものだけ
をジェスチャの時系列で覚えてしまえばよい。

【０１１９】実際は、ジェスチャの時系列、というのは
やはりジェスチャであり、その点でこのインタフェース
は、全ての機能をジェスチャと１対１に対応づけている
とも言える。このとき、同じ形状が続く場合、それが２
回続いていることを示すのは難しい。従って、「パー」
を出して次のメニュー階層に移った場合、その階層では
「パー」を提示するメニューが存在しないようにすると
都合がよい。つまり、どの機能を選択する場合でも、同
じジェスチャを２回提示することが無いようにメニュー
のジェスチャを構成すると良い。

【０１２０】＜方向ジェスチャでメニュー階層を辿る＞
形状ジェスチャの提示でメニュー階層を辿る方法につ
いて述べたが、方向ジェスチャを用いても同様に可能で
ある。方向ジェスチャを用いる場合、人間の手の動かし
易さを考えると、４方向ジェスチャを用いるのが比較的
望ましいが、４方向ジェスチャだと、４つまでのメニュ
ー選択肢しか表示できないという欠点がある。これを解
決するためのいくつかの実現方法がある。

【０１２１】＜繰り返し入力＞ 例えば、「右に１回」
だけ動かす場合と、「右に２回」動かす場合では、異な
る選択肢を選択できるように構成すればよい。これは、
前述した方向ジェスチャ入力方法のうち、いずれかの方
向に手を動かし元の位置に戻る一連の動作で、方向ジェ
スチャとする場合に適している。

【０１２２】例えば、右方向に一定量動き、元の位置ま
で動いて静止すると、「右」が入力されるが、静止せず
に、さらにもう一度右に動き、元の位置まで戻って静止
すると、「右２」が入力されるようにする。

【０１２３】これを繰り返し行えば、基本的には無限の
選択肢を選べるが、現実的には、２回もしくは３回程度
の繰り返しに限定するのが妥当である。これは、マウス
のクリックが通常シングルクリックとダブルクリックの
２つであり、一部の専門家向けコンピュータで、トリプ
ルクリックが実現されているぐらいである。逆に、一般
ユーザでもダブルクリックは当然のように使われてお
り、２回ぐらいの連続入力は問題ない。

【０１２４】方向ジェスチャでメニュー階層を辿ってい
く場合、例えば図１２に示すような、メニュー画面が考
えられる。これは、動きの方向に各メニューが配置され
ているので、見やすい構成となっている。

【０１２５】また２回連続入力まで許す場合は、図１３
（ａ）のようなメニュー画面が考えられる。１回の方向
入力で内側のメニューが、２回の方向メニューで外側の
メニューが選択される。また、３回連続入力まで許す
と、テンキーも方向ジェスチャで入力することが可能に
なる（図１３（ｂ））。

【０１２６】＜形状＋方向＞ 方向ジェスチャを入力す
る際、手の形状も変え、形状と方向の組み合わせで選択
肢を選ぶ方法もある。方向を例えば、手全体の重心位置
の移動で求めるとしたら、手の形状に関係なく方向を提
示することができる。そのとき、１本指を伸ばした状態
で左に動かすのと、２本指を伸ばした状態で左に動かし
た場合で、異なる選択肢が選ばれるようにすることがで
きる。方向を繰り返し入力するのは手間がかかるが、形
と方向を組み合わせる場合は、比較的選択肢を増やすの
が容易である。

【０１２７】＜開始指示ボタン＞ ジェスチャを検出す
るのは、ある程度の処理コストがかかり、また、何気な
い動作がジェスチャとして拾われてしまう危険性を常に
持っている。ジェスチャを提示する際に、必ず、ジェス
チャ提示ボタンのようなものを押すようにすれば、これ
らの問題は発生しない。

【０１２８】＜２次元ポインティングでの選択＞ この
ようなジェスチャによる入力インタフェースを例えば車
載機器に搭載することによって、運転中の安全な操作が
実現できる。しかし、これらの操作の中には運転中はま
ず操作しないものも含まれており、また、助手席者が操
作する場合には必ずしも視線を前方に固定している必要
はない。

【０１２９】従って、画面を見ながら行うのが合理的な
操作については、そのように実現すればよい。方向で指
示するというのは、視線を向けないで操作できるという
メリットがある反面、多くの選択肢から選ぶ場合には、
前述のように、繰り返し方向ジェスチャを提示したり、
形状と方向を併用したりする必要があった。視線を画面
に向けることができる状態では、ポイントの位置を使っ
て選択するという方法もよい。

【０１３０】そのときに問題になるのが、選択決定入力
である。例えば、マウスを使って画面上のアイコンを選
択するときには、マウスカーソルをアイコン状に移動さ
せてから、クリックすることによって、選択する。手振
りを使って同様のことを実現する場合、クリックに相当
する決定入力をどうするかが問題になる。パーからグー
へと「掴む」ように手の形を変えたり、ボタンを扱うよ
うに「押す」動作を行ったりして、それを決定入力とす
る方法が考えられる。

【０１３１】しかし、そのような動作をさせると、その
動作の過程で、位置情報の変動が起こり、隣のアイコン
を選択してしまう、ということがよく起こる。これは、
「位置を動かす」という動作と「形状を変える」または
「前後に押す」という動作が独立していないからであ
る。これは人がこれらを独立して制御するのが難しいと
いう場合もあるし、装置の特性としてそれらを分離しに
くいという場合もある。

【０１３２】また、一定時間以上の静止状態で選択トリ
ガとすることもできるが、静止する時間が必要であった
り、迷っている間に静止状態になってしまったりするこ
とがある。人の動きの中で、独立に動かすことが容易で
あり、なおかつそれを独立にセンシングできるような２
つの動きを、「選択」と「決定」に利用することで、よ
り安定した操作を実現することができる。

【０１３３】これを図１４で説明する。画像入力部４６
より入力された画像は、第１の動き検出部４７と第２の
動き検出部４９に伝達され、それぞれの検出部で上述し
たような、それぞれ独立な動き情報を検出する。選択肢
または値の選択部４８は第１の動き検出部４７の出力に
応じて、現在なにが選択されているかを判断する。この
結果は典型的には、図示しない表示部において、反転表
示するなどにより、操作者にフィードバックされる。

【０１３４】決定動作判定部５０は、第２の動き検出部
４９の出力を解析し、決定動作が行われたどうかを判定
する。操作入力処理部５１は、選択肢または値の選択部
４８と決定動作判定部５０の出力を用いて、何が選択決
定されたかを判定し、実際に処理を行う、操作実行部５
２に送る。

【０１３５】＜２つの動きで選択と決定＞ より具体的
には、例えば、左右の動きと上下の動きを組み合わせる
方法である。左右方向の動きで、左右に並んだメニュー
を選ぶ。現在選択されているメニューは例えば反転表示
されるなどして、何が選ばれているかが分かる。この状
態では、仮に選択した段階であり、ここから上下の動き
をすることによって、選択肢を決定する。

【０１３６】上の例では、左右方向で「選択」し、上下
方向で「決定」したが、これには理由がある。一般的に
人は、左右方向の動きの方がより細かく位置を指示する
ことができるため、左右方向を「選択」の方向とした。
上下運動はトリガ入力だけなので、それほど細かく制御
できなくても問題ない。ただし、これは一般論であり、
操作の条件（体の姿勢など）によって逆の場合もあり得
るが、いずれにしろ、細かく制御し易い方向を「選択」
の方向にするのは重要である。

【０１３７】例えば、図１５（ａ）は、この方法で選択
をする場合のメニュー画面の一例であるが、図中に矢印
で示したように、横方向の動きで選択し、縦方向の動き
で決定する。同図（ｂ）は、選択肢が多いため、左右に
スクロールするためのアイコンを配置してある。ここを
選択しているとメニューが次々とスクロールしていく。

【０１３８】＜上下の動きを別々に使う＞ また、上の
例では、上下方向はどちらも単に「決定」であったが、
メニューを上下２段にして、上と下の方向でそれぞれ上
下のメニューを選択することもできる。こうすると倍の
選択肢を一度に表示できる。この場合は、仮の選択状態
（例えば反転表示など）は、上下２つのメニュー同時選
択しておいて、「決定」の入力でどちらかに確定する。

【０１３９】例えば、この選択方法を行うための、メニ
ュー画面例を図１６に示す。例えば茨城県、山梨県のと
ころを選択しておき、上に動かしたら茨城県、下に動か
したら山梨県が選択決定される。ここでは、端の「他の
地域」および「戻る」のアイコンは、上下どちらに動か
しても選択される。

【０１４０】＜上下に動いて戻る＞ これまでの例で
は、上下いずれかに動かして選択したら、手は上か下に
移動してしまうので、連続したメニュー操作を行う場合
には、適していない。上下いずれかに一定量動き、元の
場所に戻ったときに、「決定」されるようにすると、連
続したメニュー選択を行いやすい。ちょうど、前述の例
で、右に動いて、中央に戻ったときに「右」ジェスチャ
と認識させたのと同様である。

【０１４１】＜横、縦、横と連続＞ ５０音表から、文
字を選ぶような場合には、一度に表示したい選択肢の数
が多い。このような場合、まず横の動きで、「ア行」
「カ行」「サ行」といった「行」を選択し、次いで縦の
動きで、５文字のうちひとつを選び、さらに横の動きで
選択するという方法も採れる。また、一旦横の動きで行
を選んだら、次の縦の動きで文字を選んでいるときに、
多少横方向に動いてしまっても、再び違う行を選択して
しまうようなことが合ってはならない。

【０１４２】この場合、一旦横方向を決定したら、次に
縦方向を決定するまでは、横方向の動きは検出しないと
いうような処理を行うとよい。もちろん５０音表の場合
は、単純に、上下左右の位置でカーソルを表示し、直接
選択することもできる。この場合は、奥行き方向の動き
か、静止情報などで決定することになる。さらに、奥行
きを変えると、ひらがな、カタカナにかわると言った具
合に、さらに奥行き情報も利用することも可能である。

【０１４３】また、指すときの指の形で濁点、半濁点な
どを指定することもでき、濁点などを独立して入力する
より効率がよい。例えば、２本指で選択すると濁点、３
本指で選択すると半濁点という具合である。

【０１４４】＜センサの取り付け位置＞ 特開平１０−
１７７４４９で提案した画像入力センサなどを用いて、
車載用の操作入力装置を構成する場合、そのセンサの設
置位置というのは、使い勝手、性能に大きく左右する。

【０１４５】運転者が運転中に安全に操作できることを
最重要視するなら、運転者がハンドルに手を乗せたま
ま、あるいはほとんどハンドルから手を離さずに操作で
きるような場所に、カメラを配置するのがよい。例え
ば、ハンドルの奥側に、ハンドルを持った手の方を向く
ように配置するのが一例である。

【０１４６】また、カーブを切るときには通常操作はし
ないが、緩やかなカーブなど、わずかにハンドルを切っ
ているときに操作を行う場合は想定できる。すると、ハ
ンドルの裏側で、直接ハンドルに取り付けてしまうこと
もできる。そうすると、ハンドルの状態に関わらず、手
とカメラの位置関係（距離、向き）などに変化が無く、
安定した検出性能を得ることができる。

【０１４７】これらの場合、画像入力には、ハンドルな
どの部品が含まれていることが多いので、これらの影響
を受けないような処理を行う。また、このとき、画像を
処理する場合、画像の上下、左右方向の動きを求めるの
は、斜め方向の動きを検出するより、容易であるため、
手の位置とその動き方向に合わせて、カメラの向きを設
置することが重要である。

【０１４８】また、運転者だけでなく、助手席者も操作
する場合は、双方の中間位置に配置するのが望ましい。
この場合は、運転者が無理なく手を伸ばせるところを検
出できるような位置に配置してあることが必要である。
また、ジェスチャ操作を行う場合、特に位置を指示する
ような場合は、肘や手首など腕の一部を、固定するか台
などの上に乗せることにより、安定して操作が行える。

【０１４９】従って、肘や手首を乗せることができる台
を適当な場所に配置しておくのが重要である。また、こ
れは、操作する手のおよその場所を決める役割もあり、
安定した性能を確保するために重要である。例えば、図
１７の５３のような形が考えられる。ここでは、斜め方
向にカメラ５４が配置してあり、手があまりカメラに近
づかないよう、くぼみを設けている。

【０１５０】また、特開平１０−１７７４４９で発明し
た画像入力装置は、自身で発光手段を持っているため、
周りの明るさに寄らず、物体形状を撮像できる。しか
し、極度に明るい外光、例えば直射日光などがある場合
は、影響を受ける可能性がある。特に、画像入力装置の
発光手段が照らす部分に、強力な外光が当たっている
と、画像の劣化を引き起こしやすい。

【０１５１】そこで、画像入力装置が撮像している手の
表面に、強い外光が当たらないような位置関係にセンサ
を配置することは、性能向上や使用する光学ＢＰＦの低
コスト化などの効果がある。

【０１５２】例えば図１７（ｂ）は図１７（ａ）の形状
の断面図を示しているが、手のひら５５は下を向いてい
るため、ここに強力な外光が当たることは少ない。ま
た、操作のしやすさを損なわない程度に、外光を遮蔽す
る手段を持つのも有効である。

【０１５３】＜運転者、助手席者を認識＞ カー・ナビ
ゲーションのような高度な情報機器は、運転者が操作に
集中すると危険なため、運転中は行ってはいけない操作
がある。例えば、目的地を登録するといった操作は、非
常に煩雑であるため、運転中は操作できないようになっ
ている。従って、通常は車速センサの入力を使用し、走
行中はこれらの操作ができないようになっている。

【０１５４】しかし、走行中であっても助手席者が操作
するのは本来危険ではないのに、現状では操作ができな
いようになっている。現在操作を行おうとしている人が
運転者なのか助手席者なのかが検出できれば、運転者の
みの操作を禁止することが可能となる。画像センサを使
って、操作している人全体を撮像することによって、あ
るいは全体ではなくとも、操作している手の上腕程度ま
で撮像すれば、それが運転席、助手席どちらから伸びて
いる手かどうかは判断することができる。

【０１５５】図１８は、これを実現する装置の構成図で
ある。操作者判定部５８は画像入力センサ５７からの入
力画像を用いて、操作者が運転者であるか助手席者であ
るかを判定する。その結果は、操作入力処理部６０に送
られ、操作不可能な機能であれば、実行を拒否し、操作
できない旨を操作者に知らせる。

【０１５６】＜音声認識との併用＞ 本発明で説明して
いる、ジェスチャによる入力と同様に、運転者が運転中
に安全に操作ができる装置として、音声認識を用いた入
力装置がある。これは、運転者が発した音声をマイクで
検出し、その音声データを解析し、使用者の意図を判定
し、操作に結びつけるものである。音声認識を使った装
置は、コマンドを覚えるのが容易でしゃべるだけなので
誰にでも使えるといったメリットがある反面、操作をす
る際にいつもしゃべらなければならない誤認識が多いと
いった問題がある。本発明のジェスチャ入力装置と、音
声認識を組み合わせることにより、より扱いやすいシス
テムを構築できる。

【０１５７】例えば、機能の選択は、音声を使うと階層
を辿らずに即座に行えるので、音声認識を用い、パラメ
ータの入力は、直感的なジェスチャを用いた入力を行
う。例えば、「音量」といった後、手を左右に（あるい
は上下でも奥行き方向でもよい）動かすことで音量がダ
イナミックに調整される。ちょうど良いと思ったところ
で、「ＯＫ」と発声すると決定される。

【０１５８】あるいは、位置の指示を行うときに決定入
力として音声入力を用いることもできる。さらには、ジ
ェスチャによって選択されている対象に対し、複数の実
行可能な操作を、音声入力で指示することができる。

【０１５９】例えば、地図上に表示されているレストラ
ンをジェスチャによって選択し、「電話」「情報」「経
路」などの音声コマンドを発行できる。「電話」と発声
するとそのレストランへ電話をかけ、「情報」と発声す
るとそのレストランに関する情報を表示し、「経路」と
発声するとそのレストランへの経路探索を開始する。

【０１６０】＜接触板＞ 肘や手首などを台などに乗せ
て操作をするとより安定した操作ができることを既に述
べたが、検出する手や指自体を、乗せることのできる台
などを用意することも大きな効果がある。そのような構
成を図１７（ｃ）に示す。ここでは、特開平１０−１７
７４４９に記載の、画像入力装置が画像センサとして配
置されている。

【０１６１】また、操作者の手との間に、透明または半
透明状の板５６が配置してある。これには反射防止加工
を施しておくと、よけいな反射がなくなり安定して画像
を得ることができる。あるいはこの板には、当該画像入
力装置が備えている発光手段による光の波長のみを通過
させるような、光学バンドパス特性を持ったものでも良
い。半透明状の板の場合、通過する光の量が変わるので
感度に影響する他は、基本的に板が無いときと同様に動
作する。板があることによる効果は以下の通りである。

【０１６２】まず、操作者は常にこの板に触れるか触れ
ないかぐらいで操作を行うようにすることで、手とセン
サカメラとの距離がほぼ一定に保たれ、安定して検出で
きるという利点がある。また、特に位置を指示するとき
に顕著であるが、人は空中で指を静止させるよりは、板
の上に置いて静止している方が容易である。

【０１６３】また、方向ジェスチャを入力するときは、
指示する方向に動かすときは、わずかに板に触れるよう
にし、戻るときには触れないようにすることで、確実に
距離の違いを表すことができる。また、板に触れている
ときの検出距離はかなり安定して、小さな幅に収まるた
め、触っているかどうかを距離値（実際には、反射光量
から換算される距離情報）で判定することができる。

【０１６４】これにより、例えば、形状ジェスチャとし
て、１本指で板を触る、２本指で板を触る、というよう
に触る指の数で表すこともかのうである。また、手全体
の形状も検出されているので、触った指がどの指かも検
出することができ、形状ジェスチャの種類を容易に増や
すことができる。

【０１６５】また、カメラの位置は、この図では手の指
方向斜めから手を捉えているが、この位置はここに限ら
ず、例えば、手の真下であったり、手首方向斜めからで
あったりしてもよい。しかし、指先の方の形状がやや重
要であることが多いため、この方向から撮像した方が、
安定した検出が可能になる。

【０１６６】＜形状検出＞ 触った形状のみで、動作を
させようと思えば、さらに異なる構造を持たせることも
できる。画像センサとして、ＣＣＤカメラが配置されて
おり、外部からの光を拡散する拡散板がある。通常外部
からの光が拡散板を通してカメラに入射しているため、
カメラはぼんやりと明るい画像を常に捉えている。操作
者が手や指を、拡散板の上に載せたとき、その部分から
は光が到達しないので、黒い部分として撮像される。

【０１６７】この画像を解析することによって、何ヶ所
指が触れているか、あるいは触れた指がどちらの方向に
動いたかという情報を検出することができる。あるいは
触れてはいないが非常に近い場合は、黒に近い灰色とし
て撮像されるので、これも利用することが可能である。
周りが暗い場合には、外光が利用できないので、その場
合は補助的な光源を外部に持つことで同様の動作を行え
る。

【０１６８】また、本願発明の実施例における処理をコ
ンピュータで実行可能なプログラムで実現し、このプロ
グラムをコンピュータで読み取り可能な記憶媒体として
実現することも可能である。

【０１６９】＜記録媒体＞ なお、本願発明における記
憶媒体としては、磁気ディスク、フロッピーディスク、
ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−
Ｒ，ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メ
モリ等、プログラムを記憶でき、かつコンピュータが読
み取り可能な記憶媒体であれば、その記憶形式は何れの
形態であってもよい。

【０１７０】また、記憶媒体からコンピュータにインス
トールされたプログラムの指示に基づきコンピュータ上
で稼動しているＯＳ（オペレーションシステム）や、デ
ータベース管理ソフト、ネットワーク等のＭＷ（ミドル
ウェア）等が本実施形態を実現するための各処理の一部
を実行してもよい。

【０１７１】さらに、本願発明における記憶媒体は、コ
ンピュータと独立した媒体に限らず、ＬＡＮやインター
ネット等により伝送されたプログラムをダウンロードし
て記憶または一時記憶した記憶媒体も含まれる。

【０１７２】また、記憶媒体は１つに限らず、複数の媒
体から本実施形態における処理が実行される場合も、本
発明における記憶媒体に含まれ、媒体の構成は何れの構
成であってもよい。

【０１７３】なお、本願発明におけるコンピュータは、
記憶媒体に記憶されたプログラムに基づき、本実施形態
における各処理を実行するものであって、パソコン等の
１つからなる装置、複数の装置がネットワーク接続され
たシステム等の何れの構成であってもよい。

【０１７４】また、本願発明におけるコンピュータと
は、パソコンに限らず、情報処理機器に含まれる演算処
理装置、マイコン等も含み、プログラムによって本願発
明の機能を実現することが可能な機器、装置を総称して
いる。

【０１７５】＜まとめ＞ 第１の発明によれば、人の身
体あるいはその一部の形状や動きなどのジェスチャのう
ち、異なる２つの種類のジェスチャを用いて操作を行
い、第１の種類のジェスチャで、操作モードの選択を行
い、第２の種類のジェスチャでその操作モードないでの
パラメータの変更を行うことができる操作入力装置が実
現できる。

【０１７６】第２の発明によれば、形状を提示するとい
う形状ジェスチャで操作モードを選択し、方向を指示す
る方向ジェスチャでパラメータを変更するという極めて
使用者にとって自然な操作入力装置が実現できる。

【０１７７】第３の発明によれば、ひとつの形状ジェス
チャには、ひとつあるいは類似した複数の操作モードが
対応づけられており、形状ジェスチャ検出手段が同一の
形状ジェスチャを連続して検出したときに、その形状ジ
ェスチャに関連づけられた複数の操作モードを順番に選
択していくことができるため、類似の操作モードが複数
ある時、それら全てに異なるジェスチャを割り当てると
いう、使用者にとって負担の大きい手段を採らずに、多
くの類似の操作モードを選択できる。

【０１７８】第４の発明によれば、形状ジェスチャ検出
手段は、人の身体あるいはその一部の動きが一定時間以
上静止あるいは動きの小さい状態であることを検出した
ときに、形状の検出を開始するので、意図しない操作者
の動きが形状ジェスチャとして誤認識されてしまうこと
を防ぐことができる。また、静止したときのみ形状認識
処理を行うので、処理コストを低くすることができる。

【０１７９】第５の発明によれば、表示手段に、選択可
能な操作モードとそれを選択するための形状ジェスチャ
を表す画像、あるいは変更可能なパラメータとそれを変
更するための方向を表す画像を併せて表示するので、操
作者がジェスチャを忘れたときには、わざわざ取扱説明
書を開かなくとも、ジェスチャの種類を知ることができ
る。

【０１８０】第６の発明によれば、現在選択可能な操作
モードあるいは変更可能なパラメータなどの情報を音声
で提示するので、操作者が前方を注視したままで、現在
の操作の状況を知ることができる。

【０１８１】第７の発明によれば、操作の途中で、操作
者によるジェスチャ提示が滞ったときに音声提示を行う
ので、常に音声提示が行われているという煩わしさがな
い。

【０１８２】第８の発明によれば、形状ジェスチャ検出
手段が検出を開始したこと、検出を終了したこと、検出
に失敗したこと、方向ジェスチャ検出手段が方向を検出
したこと、のうちのいくつかまたは全てが起こったとき
に、音で操作者に提示する音提示手段を有するので、自
分の行ったジェスチャが正しく認識されたかどうかを、
画面を見ずに知ることができる。

【０１８３】第９の発明によれば、操作の種類によっ
て、あるいは検出された方向の種類によって、異なる音
が提示されるので、入力しようとした方向、形状と異な
るジェスチャが検出されてしまったときに、知ることが
できる。

【０１８４】第１０の発明によれば、人の身体やその一
部、人が持っているもの、または人が身につけているも
のの位置に対応した位置情報の軌跡を解析して方向ジェ
スチャを検出する方法であって、当該物体が、あらかじ
め決まられた複数の方向のうち、いずれかの方向に、決
められた範囲の量だけ動き、次いで反対側に、決められ
た範囲の量だけ動いたとき、始めに動いた方向への方向
ジェスチャとして検出することを特徴とした、方向ジェ
スチャ検出方法を用いることによって、同じ方向のジェ
スチャを繰り返し提示するときに、あいだに生じる「戻
り」の動作を反対方向のジェスチャと誤って認識するこ
とを防ぐことができる。また、常に同じ場所に戻ってき
て、ジェスチャが終了するため、方向ジェスチャを繰り
返すのに適している。

【０１８５】第１１の発明によれば、人の身体やその一
部、人が持っているもの、または人が身につけているも
のの位置に対応した位置情報の軌跡を解析して方向ジェ
スチャを検出する方法であって、当該物体が、あらかじ
め決められた範囲に決められた範囲の時間だけ静止また
は動きの少ない状態でとどまった後、あらかじめ決まら
れた複数の方向のうち、いずれかの方向に、決められた
範囲の量だけ動き、次いで反対側に、決められた範囲の
量だけ動き、再び決められた範囲の時間だけ静止または
動きの少ない状態でとどまったときに、始めに動いた方
向への方向ジェスチャとして検出することを特徴とし
た、方向ジェスチャ検出方法を用いることにより、操作
者の意図しない動きが方向ジェスチャとして誤検出され
てしまうことを防ぐことができる。

【０１８６】第１２の発明によれば、方向ジェスチャが
検出されたときに、検出されたことを音で提示する、音
提示手段を持つので、方向ジェスチャが正しく検出され
たことを確認できる。

【０１８７】第１３の発明によれば、検出されたジェス
チャの方向によって、ことなる音を提示するため、入力
しようとした方向と異なる方向が誤検出されたときに気
づくことができる。

【０１８８】第１４の発明によれば、はじめにある方向
に動いたときに、ひとつの音を提示し、逆側に動いて戻
り、方向ジェスチャとして検出されたときに、別の音を
提示するので、はじめの動きと戻りの動きを確実に実行
することが可能である。

【０１８９】第１５の発明によれば、ひとつめの音は、
動いた方向によって異なる音を提示し、ふたつめの音
は、方向ジェスチャによらず同じ音を提示するので、方
向ジェスチャが完了したときには常に同じ音が聞こえ
る。したがって、はじめの動きと戻りの動きが逆に検出
されるような事態になったときには、すぐに気づくこと
ができる。

【０１９０】第１６の発明によれば、人の身体やその一
部、人が持っているもの、または人が身につけているも
のの位置に対応した位置情報の軌跡を解析してジェスチ
ャを検出する方法であって、人が意図して動かしている
動作と、意図せずに生じてしまう動作を識別することを
特徴とする、ジェスチャ検出方法を用いる。これによ
り、空中でのジェスチャを行うときに、人が意図して行
っている動作と、その意図している動作同士のあいだに
発生してしまう、意図しない動作を識別し、判定に有効
な動作のみを取り出すことができる。

【０１９１】第１７の発明によれば、人の身体やその一
部、人が持っているもの、または人が身につけているも
のの位置に対応した位置情報の軌跡を解析して方向ジェ
スチャを検出する方法であって、あらかじめ決まられた
複数の方向のうち、いずれかの方向に動いたことを検出
する手段と、連続する同じ方向ジェスチャの間に発生す
る「戻り」の動作を除去する手段を有する方向ジェスチ
ャ検出方法を用いることにより、一方向の動きで、方向
ジェスチャを示すときに問題となる「戻り」動作の誤検
出を防ぐことができる。

【０１９２】第１８の発明によれば、動いたもののセン
サからの距離を検出する手段を持ち、ある方向への連続
した動きの間に、反対方向の距離が遠い動きを検出した
ときに、それは「戻り」の動きであると判定し、除去す
るので、操作者が「戻り」動作を行う際には、カメラセ
ンサより手を遠ざけて戻すようにすることで、「戻り」
動作を除去できる。

【０１９３】第１９の発明によれば、各々の動きの間の
時間間隔を測定する手段を持ち、ある方向への連続した
動きの間に、反対方向の動きが検出され、なおかつそれ
らの間に、あらかじめ定められた長さ以下の時間間隔し
か無かった場合、この間の動きを「戻り」の動きである
と判定し、除去するので、同じ方向ジェスチャを提示す
るときは、時間間隔が空かないように操作し、逆方向の
ジェスチャを提示するときは、一旦停止してから行うよ
うにすることで、「戻り」動作を除去した安定的な操作
が行える。

【０１９４】第２０の発明によれば、検出された方向ジ
ェスチャに対し、それぞれ方向によって異なる音を提示
するため、「戻り」動作を除去せずに方向ジェスチャと
して認識してしまったときに、知ることができる。

【０１９５】第２１の発明によれば、人の身体やその一
部、人が持っているもの、または人が身につけているも
のの位置に対応した位置情報の軌跡を解析してジェスチ
ャとして検出する方法であって、始まりの位置と終わり
の位置が近い位置に来るような軌跡をジェスチャとして
検出するので、さまざまなジェスチャを繰り返し入力す
るのに適している。

【０１９６】第２２の発明によれば、上述したような方
向ジェスチャ検出方法を用いた、操作入力装置が実現で
きる。

【０１９７】第２３の発明によれば、人の身体あるいは
その一部の形状を検出することができる、形状ジェスチ
ャ検出手段と、メニューを表示するメニュー表示手段
と、検出されたジェスチャに対応づけて、メニューを選
択するメニュー選択手段を有する入力装置であって、階
層的にメニューを辿っていくときに、同じ形状の形状ジ
ェスチャを提示することが無いように、ジェスチャとメ
ニューの対応付けがなされたことを特徴とする、操作入
力装置を実現することにより、ジェスチャの組み合わせ
で、階層をまたぐメニュー選択が、あたかもひとつのジ
ェスチャ提示をするかのごとく行えるようになる。

【０１９８】第２４の発明によれば、人の身体あるいは
その一部の動きの方向を検出することができる、方向ジ
ェスチャ検出手段と、メニューを表示するメニュー表示
手段と、検出されたジェスチャに対応づけて、メニュー
を選択するメニュー選択手段を有する入力装置であっ
て、方向ジェスチャを連続して提示したときには、１回
だけ提示したときとは異なるメニューが選択されるよう
にすることによって、単に方向ジェスチャを用いるとき
も多くのメニューを表示することができる。

【０１９９】第２５の発明によれば、人の身体あるいは
その一部の形状を検出することができる形状ジェスチャ
検出手段と、人の身体あるいはその一部の動きの方向を
検出することができる、方向ジェスチャ検出手段と、メ
ニューを表示するメニュー表示手段と、検出されたジェ
スチャに対応づけて、メニューを選択するメニュー選択
手段を有する入力装置であって、検出された方向ジェス
チャと、それと同時に検出された形状ジェスチャとの組
み合わせによって、選択されるメニューが決定されるよ
うにすることによって、単に方向ジェスチャを用いると
きも多くのメニューを表示することができる。

【０２００】第２６の発明によれば、人の身体やその一
部、人が持っているもの、または人が身につけているも
のの位置や動きの情報を用いて、並んだ項目のひとつを
選択する、あるいは値を設定する方法であって、人が容
易に独立して制御できる、または検出手段が容易に独立
して検出しうる、２種類の位置、動き情報を用いて、一
方を用いて項目あるいは値の選択を行い、他方を用いて
決定する、ことを特徴とする、操作入力方法を構成す
る。これにより、画面を見ることができるときには、素
早く項目あるいは値の入力ができる。これらの２種類の
動きは独立性が高いので、互いの動作に影響を与えて、
検出誤差が生じるのを防ぐことができる。

【０２０１】第２７の発明によれば、ひとつの方向に動
かして項目あるいは値の選択を行い、それと異なる方向
の動きを提示することで、決定するので、動き情報のみ
で選択動作が行える。クリックに相当する動作を形状の
変化などで示さなくて良いので、より安定して操作でき
る。

【０２０２】第２８の発明によれば、人が、より細かく
位置を制御できる方向、あるいは検出手段がより精度良
く位置を検出できる方向を、選択の方向として利用する
ので、より精度良く操作が行え、また使用者にとっても
操作しやすい装置を提供することができる。

【０２０３】第２９の発明によれば、決定の方向ジェス
チャを提示する際には、反対向きの２つの方向によっ
て、異なる項目または値を選択決定することにより、よ
り多くの項目を表示し、選択することが可能となる。

【０２０４】第３０の発明によれば、決定の方向ジェス
チャを提示する際には、決定の方向に、定められた範囲
の量だけ移動し、再び定められた範囲の量だけ戻って来
たときに、決定することを特徴とするので、この項目選
択を繰り返し行うときに効率的に操作できる。

【０２０５】第３１の発明によれば、第２６〜第３０の
発明の操作入力方法を用いた操作入力装置が実現でき
る。

【０２０６】第３２の発明によれば、肘、手首など、腕
の一部を置く場所を設けたことにより、より安定して、
楽に操作を行うことができる。

【０２０７】第３３の発明によれば、光学的手段を用い
て、対象物体の位置や形状を検出する、第１〜第９、第
１２〜第１５、第２０、第２２〜第２５、第３１の発明
の操作入力装置であって、画像入力装置側の物体表面
に、強力な外部光が当たらないように、向き、配置を工
夫した、操作入力装置であるため、太陽光のような強力
な外光の影響を受けやすい、光学的手段を用いても安定
した性能を発揮することができる。

【０２０８】第３４の発明によれば、車載機器に使用さ
れる、第１〜第９、第１２〜第１５、第２０、第２２〜
第２５、第３１の発明の操作入力装置であって、運転者
がハンドルから手を離さずにあるいはほとんど離さずに
操作できるように、配置したことを特徴とする、操作入
力装置を実現できるので、運転者が運転中により安全に
操作を行うことができる。

【０２０９】第３５の発明によれば、第１〜第９、第１
２〜第１５、第２０、第２２〜第２５、第３１の発明の
操作入力装置であって、操作しようとしている人が、ど
のカテゴリに属する人なのかを判定する、操作者判定手
段を持ち、操作者の属するカテゴリによって、行える操
作を変更することができる手段を持つことを特徴とす
る、操作入力装置を用いる。これにより、使用者の状態
や位置などの条件によって、操作を許可したり禁止した
りすることが可能になる。

【０２１０】第３６の発明によれば、車載機器に使用さ
れる、第１〜第９、第１２〜第１５、第２０、第２２〜
第２５、第３１の発明の操作入力装置であって、操作し
ようとしているのが運転者なのかそれ以外なのかを判定
する、操作者判定手段を持ち、操作者が運転者である場
合、一定の条件下で一部の操作ができないよう制御する
手段を持つことを特徴とするので、走行中に運転者が操
作してはならない操作でも、助手席者ならば操作できる
ように構成することができる。

【０２１１】第３７の発明によれば、第１〜第９、第１
２〜第１５、第２０、第２２〜第２５、第３１の発明の
操作入力装置であって、さらに音声によって指示が行え
る、音声入力手段を持つことを特徴とするので、音声に
よる簡便な入力方法とパラメータ入力に適したジェスチ
ャ入力を併用したより操作しやすい環境を実現できる。

【０２１２】第３８の発明によれば、第１〜第９、第１
２〜第１５、第２０、第２２〜第２５、第３１の発明の
操作入力装置であって、さらにユーザの意図しない動き
を防ぎ、手や身体の動きを安定させるための安定化手段
を有することを特徴とする操作入力装置を用いること
で、より安定した操作を実現することができる。

【０２１３】第３９の発明によれば、安定化手段は、ユ
ーザが動作の最初や最後あるいは動作中に手や身体を接
触させて操作するための接触板であることを特徴とし
た、第３８の発明の操作入力装置を用いることによっ
て、操作者は板に触ることでより安定的に位置入力が行
え、また、触ることで操作しているという安心感を与え
られる。また、距離が一定に保たれるので、より安定し
た検出性能が実現できる。

【０２１４】第４０の発明によれば、手で触った部分の
形状が検出できる、接触形状検出手段と、この接触形状
を形状ジェスチャとして検出する形状ジェスチャ検出手
段と、動きの方向を検出する、方向ジェスチャ検出手段
と、形状ジェスチャ検出手段の検出結果に応じて、ある
特定の操作が行える複数の操作モードのうちのひとつを
選択する操作モード選択手段と、方向ジェスチャ検出手
段の検出結果に応じて、当該操作モードにおいて変更可
能なパラメータを変更するパラメータ変更手段を有する
操作入力装置を構成することで、確実に触って操作した
ときのみ動作するような操作入力環境が実現できる。こ
の構成では、通常のＣＣＤカメラを用いても安定した動
作が実現できる。

【０２１５】第４１の発明によれば、第１〜第９、第１
２〜第１５、第２０、第２２〜第２５、第３１の発明の
操作入力装置であって、パルス発光する発光手段と発光
手段に同期して動作し、その発光手段から照射される光
の物体反射光のみを撮像する手段を、備えたことを特徴
とする操作入力装置を用いることで、物体の形状を安定
に、高速に得られるため、低い処理コストでジェスチャ
入力が実現できる。

【０２１６】第４２の発明によれば、第１〜第９、第１
２〜第１５、第２０、第２２〜第２５、第３１〜第４１
の発明の操作入力装置を備えた車両が実現できる。

【０２１７】第４３の発明によれば、人の身体やその一
部あるいは物体などの対象物の形状・動き情報を検出
し、この検出結果により、複数の操作モードのうちのひ
とつを選択し、次いで、同じ対象物の、前述とは異なる
種類の形状・動き情報を検出し、この検出結果を用い
て、その操作モードにおける変更可能なパラメータを変
更することを特徴とする操作入力方法により、使用者が
自然な感覚で操作できる、装置が構成できる。

【０２１８】第４４の発明によれば、第１０、第１１、
第１６〜第１９、第２１、第２６〜第３０、第４３の発
明のジェスチャ入力方法あるいは操作入力方法を実行す
るプログラムを収めた記憶媒体は、コンピュータが搭載
されている装置に、実施例で述べたような操作入力環境
を構築することができる。

【０２１９】

【発明の効果】本願発明によれば、人の身体あるいはそ
の一部の形状や動きなどのジェスチャのうち、異なる２
つの種類のジェスチャを用いて操作を行い、第１の種類
のジェスチャで、操作モードの選択を行い、第２の種類
のジェスチャでその操作モード内でのパラメータの変更
を行うことができる操作入力装置が実現できる。

【図面の簡単な説明】

【図１】本発明を実現する全体構成図である。

【図２】本発明を実現するより具体的な全体構成図であ
る。

【図３】本発明で用いる形状ジェスチャの例である。

【図４】本発明で用いる形状ジェスチャと方向ジェスチ
ャを用いた操作の遷移図である。

【図５】本発明で用いるジェスチャ・アイコンの表示例
である。

【図６】本発明で用いる音声フィードバックを行うため
の構成図である。

【図７】本発明で用いる操作が滞ったときに音声フィー
ドバックを行う処理のフローチャート。

【図８】本発明で用いる方向ジェスチャの検出方法を示
すフローチャートである。

【図９】本発明で用いる始まりと終わりの位置が近いジ
ェスチャの例である。

【図１０】本発明で用いる距離を検知して戻りの動作を
除去する構成例である。

【図１１】本発明で用いるジェスチャによって、メニュ
ー階層を辿ることができる装置の構成例。

【図１２】本発明で用いる方向ジェスチャでメニュー選
択をする際の画面例である。

【図１３】本発明で用いる方向ジェスチャの繰り返しで
異なるメニューを選択する画面例である。

【図１４】本発明で用いる独立した２種類の動き情報
で、選択と決定を行う装置の構成図である。

【図１５】本発明で用いる独立した２種類の動き情報
で、選択と決定を行う装置の画面例である。

【図１６】決定を行う動きをさらに分け、選択肢の数を
増やした構成における画面例である。

【図１７】本発明で用いる装置の外観の例である。

【図１８】操作者を判定して、適応的に操作の許可・不
許可を与える装置の構成図である。

【符号の説明】

１…第１のジェスチャ検出部 ２…第２のジェスチャ検出部 ３…操作種類選択部 ４…パラメータ変更部 ５…操作入力処理部 ６…操作実行部 ７…形状ジェスチャ検出部 ８…方向ジェスチャ検出部 ９…ジェスチャ・アイコン １３…音声フィードバック部 ３２…画像入力部 ３３…距離検出部 ３４…動き検出部 ４７…第１の動き検出部 ４８…選択部 ４９…第２の動き検出部 ５０…決定動作判定部 ５３…腕の一部を乗せる台 ５４…カメラ ５６…接触板 ５８…操作者判定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三原 功雄 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 原島 高広 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 山内 康晋 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 森下 明 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5E501 AA20 AA22 AB03 AB06 AC03 BA05 CA02 CA07 CA08 CB14 CC11 CC14 EA33 EB05 FA04 FA05 FA32 FA42

Claims (25)

【特許請求の範囲】
1. 【請求項１】検出すべき対象物の形状や動きを検出する
   ための第１の検出手段と、 この第１の検出手段によって検出される形状や動きとは
   異なる前記対象物の形状や動きを検出するための第２の
   検出手段と、 前記第１の検出手段の検出結果をもとに、特定の操作を
   選択する操作選択手段と、 この操作選択手段によって選択された操作における変更
   可能なパラメータを、前記第２の検出手段の検出結果を
   もとに、変更するパラメータ変更手段を有することを特
   徴とする操作入力装置。
2. 【請求項２】検出すべき対象物の形状を検出する形状検
   出手段と、 前記対象物の動きの方向を検出する方向検出手段と、 前記形状検出手段の検索結果をもとに、特定の操作を選
   択する操作選択手段と、 この操作選択手段によって選択された操作における変更
   可能なパラメータを、前記方向検出手段の検出結果をも
   とに、変更するパラメータ変更手段を有することを特徴
   とする操作入力装置。
3. 【請求項３】前記操作選択手段は、対象物の形状に対し
   複数の操作を対応づけおき、前記形状検出手段が同一の
   形状ジェスチャを連続して検出したときに、前記形状に
   対応づけられた複数の操作を順番に切り替えて選択する
   ことを特徴とする請求項２に記載の操作入力装置。
4. 【請求項４】前記形状検出手段は、対象物の動きが一定
   時間以上静止あるいは動きの小さい状態であることを検
   出したときに、対象物の形状の検出を行うことを特徴と
   する請求項２に記載の操作入力装置。
5. 【請求項５】選択可能な操作あるいは変更可能なパラメ
   ータの情報を表示するための表示手段を有し、 この表示手段は、選択可能な操作モードとそれを選択す
   るための形状ジェスチャを表す画像，あるいは変更可能
   なパラメータとそれを変更するための方向を表す画像を
   併せて表示することを特徴とする請求項２に記載の操作
   入力装置。
6. 【請求項６】選択可能な操作あるいは変更可能なパラメ
   ータの情報を音声で提示するための音声提示手段を有す
   ることを特徴とする請求項２に記載の操作入力装置。
7. 【請求項７】前記形状検出手段または前記方向検出手段
   の処理が滞ったときに音声提示を行うことを特徴とする
   請求項６に記載の操作入力装置。
8. 【請求項８】形状検出手段による検出開始，検出終了，
   検出失敗、および方向検出手段による方向検出が起こっ
   たときに、音で操作者に提示するために音提示手段を有
   することを特徴とする請求項２に記載の操作入力装置。
9. 【請求項９】前記音提示手段は、操作の種類や検出され
   た方向の種類によって、異なる音を提示することを特徴
   とする請求項８に記載の操作入力装置。
10. 【請求項１０】検出すべき対象物の位置情報の軌跡を解
    析して前記対象物の方向を検出する方法であって、 前記対象物が所定の方向に所定の距離だけ動き、前記方
    向と反対側の方向に所定の距離だけ動いたとき、前記方
    向への動きとして検出することを特徴とする方向検出方
    法。
11. 【請求項１１】検出すべき対象物の位置情報の軌跡を解
    析して前記対象物の方向を検出する方法であって、 前記対象物が所定の範囲に所定の時間内静止または動き
    の少ない状態でとどまった後、所定の方向に所定の距離
    だけ動き、前記方向と反対側の方向に所定の距離だけ動
    き、再び所定の時間内だけ静止または動きの少ない状態
    でとどまったときに、前記方向への動きとして検出する
    ことを特徴とする方向検出方法。
12. 【請求項１２】前記方向検出手段は、前記対象物が所定
    の方向に所定の距離だけ動き、前記方向と反対側の方向
    に所定の距離だけ動いたとき、前記方向への動きとして
    検出することを特徴とする請求項２乃至９記載の操作入
    力装置。
13. 【請求項１３】前記方向検出手段は、前記対象物が所定
    の範囲に所定の時間内静止または動きの少ない状態でと
    どまった後、所定の方向に所定の距離だけ動き、前記方
    向と反対側の方向に所定の距離だけ動き、再び所定の時
    間内だけ静止または動きの少ない状態でとどまったとき
    に、前記方向への動きとして検出することを特徴とする
    請求項２乃至９記載の操作入力装置。
14. 【請求項１４】前記音提示手段は、所定方向に動いたと
    きに第１の音を提示し、前記方向の反対側に動いて戻
    り、前記方向への動きとして検出されたときに、第２の
    音を提示することを特徴とする請求項９に記載の操作入
    力装置。
15. 【請求項１５】前記音提示手段は、第１の音は動いた方
    向によって異なる音を提示し、第２の音は方向によらず
    同じ音を提示することを特徴とする請求項１４に記載の
    操作入力装置。
16. 【請求項１６】前記方向検出手段は、意図的に動かして
    いる動作と、意図せずに生じてしまう動作を識別するこ
    とを特徴とする請求項２乃至９記載の操作入力装置。
17. 【請求項１７】前記方向検出手段は、所定の複数方向の
    うち、いずれかの方向に動いたかを検出する手段と、 連続する同じ方向への動きの間に発生する戻る動作を除
    去する手段を有する請求項２乃至９記載の操作入力装
    置。
18. 【請求項１８】前記方向検出手段は、動いた対象物のセ
    ンサからの距離を検出する手段を有し、所定の方向への
    連続した動きの間に、前記方向とは反対方向の距離が遠
    い動きを検出したときに、戻る動きであると判定し、除
    去することを特徴とする請求項１７に記載の操作入力装
    置。
19. 【請求項１９】前記方向検出手段は、対象物の動きの間
    の時間間隔を測定する手段を有し、所定の方向への連続
    した動きの間に、前記方向と反対方向の動きが検出さ
    れ、所定の長さ以下の時間間隔の場合、この間の動きを
    戻る動きであると判定し、除去することを特徴とする請
    求項１７に記載の操作入力装置。
20. 【請求項２０】検出された方向に対し異なる音を提示す
    る音提示手段を持つことを特徴とする請求項１７に記載
    の操作入力装置。
21. 【請求項２１】前記方向検出手段は、対象物の動きの始
    点と終点が近い位置に来るような軌跡を検出することを
    特徴とする請求項２乃至９記載の操作入力装置。
22. 【請求項２２】検出すべき対象物の形状を検出するため
    の形状検出手段と、 この形状検出手段によって検出される形状と対応づけら
    れた操作メニューを表示するためのメニュー表示手段
    と、 前記形状検出手段によって検出された形状に応じて、前
    記操作メニューを選択するためのメニュー選択手段とを
    有することを特徴とする操作入力装置。
23. 【請求項２３】前記メニュー選択手段は、前記操作メニ
    ューを階層的にメニューを辿っていくときに、異なる形
    状を提示することを特徴とする請求項２２記載の操作入
    力装置。
24. 【請求項２４】検出すべき対象物の動きの方向を検出す
    る方向検出手段と、 この方向検出手段によって検出される動き方向と対応づ
    けられた操作メニューを表示するため表示するメニュー
    表示手段と、 前記方向検出手段によって、動き方向を連続して検出さ
    れたときには、１回だけ検出されたときとは異なる操作
    メニューを選択するメニュー選択手段とを有することを
    特徴とする操作入力装置。
25. 【請求項２５】検出すべき対象物の形状を検出するため
    の形状検出手段と、 検出すべき対象物の動きの方向を検出する方向検出手段
    と、 検出される形状および動き方向と対応づけられた操作メ
    ニューを表示するため表示するメニュー表示手段と、 検出された形状および動き方向に対応づけて、操作メニ
    ューを選択するメニュー選択手段とを有することを特徴
    とする操作入力装置。