JP3742951B2

JP3742951B2 - Hand pattern switch device

Info

Publication number: JP3742951B2
Application number: JP2002311290A
Authority: JP
Inventors: 恵一山本; 広充佐藤; 英雄斎藤; 愼治小澤; 弘也五十嵐
Original assignee: Mitsubishi Fuso Truck and Bus Corp; Keio University
Current assignee: Mitsubishi Fuso Truck and Bus Corp; Keio University
Priority date: 2002-10-25
Filing date: 2002-10-25
Publication date: 2006-02-08
Anticipated expiration: 2022-10-25
Also published as: JP2004145722A

Description

【０００１】
【発明の属する技術分野】
本発明は、空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく、また車両の運転を妨げることなしに簡易に操作するに好適なハンドパターンスイッチ装置に関する。
【０００２】
【関連する背景技術】
空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく操作する技術として、カメラを用いて運転者の身体の一部（例えば左手）を撮像し、その画像パターンを認識して上記車両搭載機器に対する操作情報を得ることが提唱されている（例えば特許文献１参照）。また運転者の手指の形状や動きとして示されるジェスチァを検出して車両搭載機器に対する操作情報を得ることも提唱されている（例えば特許文献２参照）。
【０００３】
この種の技術は、例えば手指を撮像した画像から手指の形状を認識するパターン認識処理や、認識した手（掌）の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ハンドパターンスイッチ等と称される。
【０００４】
【特許文献１】
特開平１１−１３４０９０号公報
【特許文献２】
特開２００１−２１６０６９号公報
【０００５】
【発明が解決しようとする課題】
ところで車両には、オーディオ機器や空調機器等の種々の補助機器が搭載されている。しかもこれらの各補助機器における調整機能も多岐に亘る。例えば車両に搭載されるオーディオ機器には、ラジオ、テーププレーヤ、ＣＤプレーヤ等があり、その調整機能として音量、チャネル選択、再生、停止等の機能がある。また空調機器（エアコン）についても、温度、風量、風向等の調整機能がある。
【０００６】
しかしハンドパターンスイッチ装置から入力可能なスイッチ操作情報は、一般的には手指形状の異なりや手の動かし方等に応じた情報として一義的に与えられるだけなので、各種の制御対象をそれぞれ適切に調整することが困難であると言う問題がある。即ち、各種の制御対象の中にはラジオのチャネル選択や風量調整のように連続的、或いはステップ的に大きく調整（変更）した方が好ましいものや、温度や音量等のように連続的に微調整し得るようにした方が好ましいものがある。従ってハンドパターンスイッチ装置から入力可能なスイッチ操作情報を、例えば運転員（スイッチ操作者）の好みや制御対象に応じて変更し、その操作性を高めることが得ることが望ましい。
【０００７】
本発明はこのような事情を考慮してなされたもので、その目的は、各種車両搭載機器の動作を制御する為の操作情報を簡易にして適切に入力することができ、特に制御対象に応じた適切な操作情報を入力するに好適な操作性（取扱い性）の良いハンドパターンスイッチ装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述した目的を達成するべく本発明に係るハンドパターンスイッチ装置は、所定の撮像領域におかれた手指を撮像し、その入力画像から手指形状を認識すると共に上記撮像領域内における掌の動きを検出して所定のスイッチ操作情報を得るものであって、
特に認識した手指の形状および／または予め設定された掌の動きパターンを検出して複数のスイッチ制御対象の中の１つを選択するスイッチ対象設定手段と、選択したスイッチ制御対象に応じて、前記撮像領域内における掌の移動距離を検出して前記スイッチ操作情報とする距離モード、前記撮像領域内において所定距離以上移動した掌の移動位置における停止時間を検出して前記スイッチ操作情報とする時間モード、および前記撮像領域内における掌の僅かな移動時にはその移動量を前記スイッチ操作情報とし、掌が上記所定距離以上移動したときにはその移動位置での掌の停止時間を前記スイッチ操作情報とする距離・時間モードの中の１つを選択的に設定するスイッチ機能変更手段とを備えることを特徴としている。
【０００９】
即ち、本発明に係るハンドパターンスイッチ装置は、スイッチ制御対象に応じて掌の動きに基づくスイッチ操作情報の検出形態（検出対象）を、距離モード、時間モード、および距離・時間モードの中の１つとして選択的に設定し、これによってスイッチ制御対象の調整機能やスイッチ操作者（運転員）の好み等に応じた適切なスイッチ操作情報を簡易に、しかも効率的に入力し得るようにしたことを特徴としている。
【００１０】
ちなみに前記スイッチ対象設定手段については、予め設定された掌の動きパターンを検出する都度、複数のスイッチ制御対象の中の１つを巡回的に選択するように構成することが好ましい。また前記スイッチ機能変更手段については、前記撮像領域内における掌の移動距離を検出して前記スイッチ操作情報とする移動距離検出形態および／または前記撮像領域内において所定距離以上移動した掌の移動位置における停止時間を検出して前記スイッチ操作情報とする停止時間検出形態を、上述した如く選択されたスイッチ制御対象に応じて選択的に設定するように構成することが好ましい。
【００１１】
上述した移動距離検出形態および／または停止時間検出形態と、スイッチ制御対象との対応付けについては予め固定的に定めておいても良いが、スイッチ操作者（運転員）の好み等に応じて変更設定可能としておくことも可能である。
また前記移動距離検出形態における掌の移動距離の検出については、所定の移動距離を検出単位として多段階に行うようにしても良い。この検出単位を規定する所定の移動距離についても、スイッチ操作者（運転員）の好み等に応じて適宜可変設定し得るようにしても良い。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態に係るハンドパターンスイッチ装置について説明する。
図１は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現される装置の機能を示している。運転席には運転員（ドライバ）によって操舵されるステアリングホイール（ハンドル）１やコンビネーションスイッチ（図示せず）等が設けられ、またそのコンソールパネルにはオーディオ機器や空調機器等の操作部２が設けられている。このような運転席上方の天井には、ステアリングホイール１の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手指を撮像するビデオカメラ３が設けられている。このカメラ３は、ＣＣＤカメラ等の小型のものからなる。
【００１３】
ちなみに前記カメラ３による撮像領域３ａは、図２に示すようにステアリングホイール１の側方の、該ステアリングホイール１の外周部から少なくとも５０ｍｍ離れた位置、好ましくは１００ｍｍ程度離れた位置として設定されている。またこの撮像領域３ａは、ステアリングホイール１の側方に腕を伸ばした運転員の手の指先方向に略６００ｍｍ、また手の幅方向に略３５０ｍｍの大きさを有する略長方形状の領域として設定されている。
【００１４】
このようにして設定された撮像領域３ａは、ステアリングホイール１を把持する、或いはそのコラムシャフトに設けられたコンビネーションスイッチ（図示せず）を操作する運転員の手指を撮像することがない領域である。特に運転員が運転席の側部に設けられた腕掛け（アームレスト）５に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部２に手指が触れることのない位置である。
【００１５】
尚、このように設定された撮像領域３ａにギヤシフトレバー（図示せず）が配置されているような場合には、例えばギヤシフトレバーに設けた感圧センサを介して運転員によるギヤシフトレバーの把持を検出するようにしておけば良い。このような工夫を講じておけば、撮像領域３ａに延ばされた手指が、ギヤシフトレバーを操作しているか、或いはハンドパターンスイッチ装置を操作している状態であるかを容易に判別することが可能となり、運転操作をスイッチ操作情報として誤って検出することを確実に防ぐことができる。またカメラ３としてステレオ（立体視）カメラを用いて手指の高さ位置（カメラ３からの距離）を検出し、これによって撮像領域３ａに延ばされた手指がギヤシフトレバーを操作しているか、或いはギヤシフトレバーの上方空間に位置付けられているかを判別するようにしても良い。
【００１６】
さてハンドパターンスイッチ装置は、基本的には上記カメラ３によって撮像される運転員の手指の形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上記操作部２に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。
【００１７】
具体的にはハンドパターンスイッチ装置は、図１に示すようにカメラ３によって撮像された入力画像を２値化処理してその背景画像成分を除去し、手指の画像だけを抽出する２値化処理部１１と、２値化処理によって抽出された画像から手指の形状を認識する形状認識部１２、および認識した手指の形状からその重心位置を求める重心検出部１３を備える。
【００１８】
更にハンドパターンスイッチ装置は、上記形状認識部１２による認識結果、および重心検出部１３により検出された手指の重心位置に従って運転員の手指の形状やその動きにより示されるスイッチ操作を認識する操作指示認識部１４を備える。この操作指示認識部１４は、概略的にはメモリ１５に予め登録された手指形状パターンを参照しながらその手指形状を判定（識別）する形状判定部１６、掌の重心位置の移動を追跡して手指の変位を検出する変位量検出部１７、および掌の動きを時間経過として監視するタイマ１８を備える。そして操作指示認識部１４は、これらの判定・監視結果に基づいて、運転員の手指の形状とその動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を前記オーディオ機器や空調機器等に対して出力するように構成される。
【００１９】
尚、操作指示認識部１４には、上述した判定結果等に従って運転員に対して所定のガイダンス（アナウンス）を行うガイド部１９が設けられている。このガイダンスは、例えばオーディオ機器や空調機器（操作対象機器）、更には音量・チャネル設定、或いは風量・温度等（操作対象機能）を特定する音声メッセージや、そのスイッチ操作を示す「ピッ」や「ピー」等の確認音としてスピーカ２０を介して運転員に報知される。
【００２０】
基本的には上述した如く構成されるハンドパターンスイッチ装置において、この発明が特徴とするところは、図３に例示するスイッチ操作動作の流れに示されるように、選択したスイッチ制御対象に応じてその制御対象に与えるスイッチ操作情報の入力モードを選択的に切り替えるようにした点にある。特にスイッチ操作情報の入力モードとして、ここでは「距離モード」,「時間モード」,「距離・時間モード」の３種類が準備されており、スイッチ制御対象（車両搭載機器）に応じて選択されるようになっている。
【００２１】
このスイッチ操作動作について説明すると、このハンドパターンスイッチ装置においてはスイッチ操作を指定する手指形状として、例えば図４(ａ)〜(ｃ)に示すような手指パターンが用いられる。具体的には図４(ａ)に示すような握り拳形状の手指パターン［手形状１］、図４(ｂ)に示すような人差し指を立てた指差し形状の手指パターン［手形状２］、そして図４(ｃ)に示すような親指を立てた手指形状のパターン［手形状３］が用いられる。
【００２２】
ちなみに指差し形状の手指パターンは、スイッチを押圧操作するイメージを表現している。また握り拳形状の手指パターンは、レバー状のスイッチを把持して前後にシフト操作するイメージを表しており、更に親指を立てた手指形状は、待機指示を表すイメージを表している。このような手指形状のパターンは、その形状的な特徴を示すデータとして前述したメモリ１５に予め登録されている。そして入力画像から認識される手指の形状と上記メモリ１５に登録されたパターンとの一致度（類似度）を計算することにより、手指形状の判別に用いられる。
【００２３】
さて運転員がステアリングホイール１を握って車両を操舵している場合には、動作状態Ａ１に示すように運転員の手指は撮像領域３ａから外れており、そのときの入力画像は車室内の背景として排除処理される画像成分だけであるのでハンドパターンスイッチ装置が作動することはない。これに対して運転員の手指がステアリングホイール１を外れて動作状態Ａ２に示すように撮像領域３ａ内に入り込むと、これによって手指に対する認識処理が開始される。この場合、例えば手指を握り拳形状［手形状１］にすることで、スイッチ操作情報の入力開始を指示することが望ましい。
【００２４】
しかる後、手指の形状がスイッチを押圧操作する指差し形状のパターン［手形状２］に変更されたか否かを判定する。そして指差し形状のパターンが検出された場合には、動作状態Ａ３に示すように選択スイッチを繰り返し押圧操作（プッシュ）して所定の機能・機器を選択指定するものとして、その動きの検出が行われる。具体的には指差し形状の手指が前後に動く（変位する）ことをその掌の重心位置の変化（移動）から検出し、そのプッシュ操作を検出する。この場合、１回のプッシュ動作が検出される都度、例えば図５に示すようにその制御対象を「音量」,「チャネル（ｃｈ）」,「温度」,「風量」等として巡回的に選択指定するようにその制御アルゴリズムを設定しておけば良い。特にこの際、１回のプッシュ動作が検出される都度、「ピッ」等の操作確認音を出力するようにしたり、選択された制御対象を音声メッセージとして報知することも有用である。このようなガイダンスにより、運転員はその操作状態を目で確認することなく認識することが可能となるので運転操作に専念することが可能となる。
【００２５】
そして所望とする制御対象が選択されたならば今までとは異なる手指パターンとして、例えば動作状態Ａ４に示すようにその手指形状を親指を立てたパターン［手形状３］に変更し、機能選択操作の完了とスイッチ操作量の入力開始を指示する。この場合、その確認音として前述した確認音とは異なる「ピー」等の音を発することことが好ましい。
【００２６】
その後、動作状態Ａ５に示すように手指形状を握り拳形状［手形状１］に変更し、手指の前後移動によってスイッチ操作情報を入力する。このとき握り拳形状の手指の動きをその掌の重心位置の変位量等から検出し、その動きに対応したスイッチ操作情報を出力する。具体的にはこのスイッチ操作情報の入力においては、前述したプッシュ操作により選択指定された制御対象に応じて検出すべき情報内容を変更する。即ち、制御対象によってはその制御量（スイッチ操作情報）を大きな変化量で多段階（ステップ的）に変更したいものと、小さい変化量で連続的に細かく変更したいものとがある。従って選択した操作対象に応じて、例えば手指の動き量（変位量）をスイッチ操作情報とする距離モード（動作状態Ａ６ａ）、所定距離だけ変位した手指（掌）の停止時間からそのスイッチ操作情報を求める時間モード（動作状態Ａ６ｂ）、またはこれらのモードを併用した距離・時間モード（動作状態Ａ６ｃ）を選択的に設定する。
【００２７】
ちなみに上記距離モードは、基準位置からの掌の移動量に応じて多段階にスイッチ操作情報を出力するモードであり、ラジオ放送のチャネル選択や空調設備における風量・風向を選択設定する場合に好適である。また時間モードは、基準位置から変位させた掌の停止時間に応じたスイッチ操作情報を出力するモードであり、オーディオ機器の音量や空調機器における温度等を細かく調節する場合等に好適である。更に前記距離・時間モードは、掌の僅かな移動時にはその移動量に応じたスイッチ操作情報を出力し、掌が所定距離以上移動した場合には、その移動位置での掌の停止時間に応じたスイッチ操作情報を出力するモードである。この距離・時間モードは制御対象を粗調整した後、更に微調整する場合等に好適なものである。
【００２８】
前述した操作指示認識部１４は、上述した如く制御対象に応じて選択的に設定される入力モード（距離モード／時間モード／距離・時間モード）に応じて前記撮像領域３ａ内での掌の動きを追跡し、掌の移動量（変位量とその変位方向）や移動が停止した掌の停止時間を計測する。そしてこれらの計測結果に応じたスイッチ操作情報を出力することになる。
【００２９】
ちなみに各種のスイッチ制御対象と上述した各モードとの対応関係や、スイッチ操作量として検出する内容（検出距離や時間）については予め固定的に設定しておけば良い。しかし前述した操作指示認識部１４が備える、例えば図６に示す制御画面１４ａを用いてスイッチ操作者（運転員）の好み等に応じて適宜変更し得るようにしておいても良い。具体的には複数のスイッチ制御対象のそれぞれについてどの入力モードでスイッチ操作情報を入力するかを選択的に指定し、またその検出単位となる掌の変位量（移動距離）や計測時間等をそれぞれ可変設定し得るようにしておけば良い。
【００３０】
図７〜図１１は、上述した処理機能を実現する操作指示認識部１４での概略的な処理手順を示している。この処理手順について説明すると、ハンドパターンスイッチ装置の起動に伴い、先ずカメラ３による撮像領域（認識領域）の設定や２値化処理における閾値の設定等からなるシステム系の初期設定を行う〈ステップＳ１〉。しかる後、手指形状の認識や手指の移動を計測するためのパラメータ値等をクリアすると共に、制御フラグを“０”に設定してスイッチ情報検出に対する初期化を実行する〈ステップＳ２〉。
【００３１】
以上の初期化処理を実行した後、先ず入力画像中の手指形状を認識し〈ステップＳ３〉、その手指形状が前述した［手形状１］,［手形状２］,［手形状３］のいずれであるかを判定する〈ステップＳ４〉。そして手指の形状が指差し型の［手形状２］である場合には、前回検出されている手形状が何であったかを判定する〈ステップＳ５〉。そして前回の手形状が指差し型の［手形状２］以外であるならば、［手形状２］による機能選択のモードが設定されたとしてそのときに検出される掌の重心位置を基準位置Ａとして登録する〈ステップＳ６〉。そして手の移動距離を管理するパラメータＢ’を“０”に設定した後〈ステップＳ７〉、前回の手形状を［手形状２］に更新して〈ステップＳ８〉前述したステップＳ３からの処理を繰り返し実行する。
【００３２】
これに対して前回の手形状が指差し型の［手形状２］であるならば〈ステップＳ５〉、次にそのときに検出される掌の重心位置の前述した基準位置Ａからの変位量（移動量）Ｂを求める〈ステップＳ９〉。そしてパラメータＢ’が判定閾値Ｈ１に満たしてなく、且つ今回検出された変位量（移動量）Ｂが所定の判定閾値Ｈ１を越えていると言う２つの条件が満たされている否かを判定する〈ステップＳ１０〉。そして上記条件が満たされている場合には、［手形状２］の状態で前述した機能選択の為のプッシュ操作がなされたとして、制御対象を１段階変更する〈ステップＳ１１〉。その後、前回の手形状を［手形状２］に更新して〈ステップＳ８〉前述したステップＳ３からの処理を繰り返し実行する。
【００３３】
尚、上記変位量Ｂが所定の判定閾値Ｈ１を越えていない等して条件が満たされていない場合には〈ステップＳ１０〉、前述したパラメータＢ’として上記変位量Ｂをセットした後〈ステップＳ１２〉、前回の手形状を［手形状２］に更新し〈ステップＳ８〉、その後、前述したステップＳ３からの処理を繰り返し実行する。このステップＳ３からステップＳ８に至る処理により、［手形状２］の手指形状で所定の移動量だけプッシュ操作がなされたとき、前述した機能選択が実行されて制御対象が選択的に設定される。
【００３４】
一方、前述したステップＳ４において手指形状が［手形状１］または［手形状３］であることが検出された場合には、次に図８に示すようにその手指形状が［手形状１］であるか、或いは［手形状３］であるかが判定される〈ステップＳ１３〉。そして［手形状３］であるならば、前述した動作待機状態を指定していると判定し、そのときに検出される掌の重心位置を基準位置Ｃとして登録する〈ステップＳ１４〉。また同時に後述する移動距離の計測に用いる制御パラメータＤ’を“０”にセットする〈ステップＳ１５〉。その後、前回の手形状を［手形状３］に更新した後〈ステップＳ１６〉、前述したステップＳ３からの処理を繰り返し実行する。
【００３５】
これに対して手指形状が［手形状１］であることが判定された場合には〈ステップＳ１３〉、次に前回検出されている手形状が何であったかを判定する〈ステップＳ１７〉。そして前回の手形状が［手形状３］であったならば、操作情報の入力モードが設定されたとして制御フラグを“１”に設定すると共に、移動距離の計測パラメータｎと停止時間の計測パラメータｔをそれぞれ“０”にセットする〈ステップＳ１８〉。また前回の手形状が握り拳型の［手形状１］であったならば、制御フラグが“１”であるか否かを判定することで操作情報の入力モードが既に設定されているか否かを調べ〈ステップＳ１９〉、制御フラグが“１”である場合にはそのときに検出される掌の重心位置と、前述した基準位置Ｃとの距離Ｄを検出する〈ステップＳ２０〉。
【００３６】
そして先に機能選択された制御対象に応じて、前述した３種類の入力モードの内のどのモードでスイッチ操作情報を検出するかを判定し〈ステップＳ２１〉、判定された入力モードに従って、スイッチ操作情報の検出処理を実行する。
尚、前回の手形状が［手形状１］または［手形状３］でない場合〈ステップＳ１７〉、或いは制御フラグが“１”でない場合には〈ステップＳ１９〉、前述したステップＳ２に示される初期設定からの処理手順を繰り返し実行する。この処理によって前述した動作状態Ａ２で示したスイッチ操作情報の入力開始が指示されることになる。
【００３７】
ちなみに距離モードによるスイッチ操作情報の検出処理については、図９に例示するように、前述した基準位置Ｃからの距離Ｄと制御パラメータＤ’の値とを比較し〈ステップＳ２２〉、その大小関係に応じて掌が前進しているか、後退しているかを判定する。そして掌を前進移動させている場合には、後述する条件１の下でその移動距離が所定の計測単位距離を上回ったか否かを判定し〈ステップＳ２３〉、所定の計測単位距離を上回っている場合には、制御パラメータｎをインクリメントした後〈ステップＳ２４〉、その設定（スイッチ操作情報）を１段階増加させる〈ステップＳ２５〉。
【００３８】
逆に掌が後退している場合には、後述する条件２の下でその移動距離が所定の計測単位距離を上回ったか否かを判定し〈ステップＳ２６〉、移動距離が所定の計測単位距離を上回っている場合には、制御パラメータｎをデクリメントした後〈ステップＳ２７〉、その設定（スイッチ操作情報）を１段階減少させる〈ステップＳ２８〉。
【００３９】
尚、上記条件１は、距離Ｄと距離Ｃとの差（移動量）が、制御パラメータｎによって可変設定される所定ステップ数の移動距離を上回り、且つ制御パラメータＤ’の値と距離Ｃとの差（移動量）が、制御パラメータｎによって可変設定される所定ステップ数の移動距離未満であるとして設定される。つまり掌の移動量が所定の計測単位距離を所定ステップ数だけ移動したか否かを判定する条件である。また条件２は、掌の移動方向が逆向き（後退）の場合における同様な判定条件である。
【００４０】
以上のようにして掌の移動距離に応じたスイッチ操作情報を得たならば、前記制御パラメータＤ’として距離Ｄを登録し〈ステップＳ２９〉、その判定基準を更新する。そして前回の手形状として［手形状１］を登録した後〈ステップＳ３０〉、前述したステップＳ３からの処理に復帰する。そしてこの処理を繰り返し実行することで、掌の移動量に応じたスイッチ操作情報が、段階的に出力されることになる。
【００４１】
一方、時間モードが設定された場合には、図１０に例示する手順に従ってその検出処理が実行される。この場合には、先ず移動距離Ｄが第３の閾値Ｈ３を越えているか否かが判定される〈ステップＳ３１〉。第３の閾値Ｈ３に至っていない場合には、時間パラメータｔを“０”とし〈ステップＳ３２〉、前回の手形状として［手形状１］を登録した後〈ステップＳ３３〉、前述したステップＳ３からの処理に復帰する。
【００４２】
これに対して移動距離Ｄが第３の閾値Ｈ３を越えている場合には〈ステップＳ３１〉、時間パラメータｔをカウントアップする〈ステップＳ３４〉。そしてカウントアップされた時間パラメータｔが基準時間Ｔ１に至ったとき〈ステップＳ３５〉、その設定（スイッチ操作情報）を１段階増加させる〈ステップＳ３６〉。そして時間パラメータｔを“０”にリセットした後〈ステップＳ３７〉、前回の手形状として［手形状１］を登録し〈ステップＳ３３〉、前述したステップＳ３からの処理に復帰する。
【００４３】
また移動距離Ｄが逆方向に第３の閾値Ｈ３を越えている場合には〈ステップＳ３１〉、時間パラメータｔをカウントアップする〈ステップＳ３８〉。そしてカウントアップされた時間パラメータｔが基準時間Ｔ１に至ったとき〈ステップＳ３９〉、その設定（スイッチ操作情報）を１段階減少させる〈ステップＳ４０〉。そして時間パラメータｔを“０”にリセットした後〈ステップＳ４１〉、前回の手形状として［手形状１］を登録し〈ステップＳ３３〉、前述したステップＳ３からの処理に復帰する。このような一連の処理によって、掌が所定の距離を移動して停止したとき、その停止時間に応じたスイッチ操作情報が出力されることになる。
【００４４】
尚、距離・時間モードは上述した距離モードの処理と時間モードの処理とを、掌の移動距離に応じて使い分けることによって実行される。具体的には図１１に示すように前述した制御パラメータｎの値を判定する〈ステップＳ４２〉。そしてパラメータｎが“−２”から“２”の範囲内であるか、或いは“３”以上または“−３”未満であるかによって、ステップＳ２２ａからステップＳ３３ａに示す距離モードの処理、またはステップＳ２４ａからステップＳ４１ａに示した時間モードの処理をそれぞれ実行すれば良い。尚、ステップＳ２２ａからステップＳ３３ａに示す処理は、前述したステップＳ２２からステップＳ３３に示す処理に相当するものである。またステップＳ２４ａからステップＳ４１ａに示す処理は、前述したステップＳ２４からステップＳ４１に示す処理に相当するものである。
【００４５】
かくして上述した如く機能するハンドパターンスイッチ装置によれば、簡易にして効果的に制御対象とする機器を選択し、その制御対象に応じた入力モードを選択的に設定してスイッチ操作情報を入力することが可能となる。従って制御対象が風量や風向のように、比較的大きな変位量を与えながら設定する方が好ましい場合であっても、或いは逆に音量や温度のように小さな変位量を与えて微調整することが好ましい場合であっても、その制御対象に応じたスイッチ操作量を簡易に入力することができる。特にその入力モードを制御対象に応じて予め設定しておくことだけで、操作意図に応じた適切なスイッチ操作情報を簡単に入力することができる等の実用上多大なる効果が奏せられる。
【００４６】
更には前述したように検出単位距離や検出単位時間等を可変設定し得るように構成しておけば、スイッチ操作者（運転員）の体形や好み、更には癖に応じた設定が可能である。また制御対象の機器特性に応じた設定も可能となる。従って操作負担が少なく、取り扱いの容易なハンドパターンスイッチ装置を実現することができる。
【００４７】
尚、本発明は上述した実施形態に限定されるものではない。実施形態においては右ハンドル車を前提として説明したが、左ハンドル車の場合にも同様に適用可能なことは言うまでもなく、またトラック等の大型車に限らず普通乗用車等にも同様に適用可能である。その制御対象についても、例えばワイパのオン・オフやその作動間隔の調整、サイドミラーの開閉等に拡張することも勿論可能である。
【００４８】
更には各入力モードにおけるスイッチ操作情報の検出形態については、上述した３種類に特定されるものではなく、例えば手指の形状自体をスイッチ操作情報として取り込むようなモードを設けることも可能である。またここでは「音量」,「チャネル」,「温度」,「風量」としてその制御対象を直接選択したが、「ラジオ」,「テープ」,「ＣＤ」,「エアコン」等として制御対象機器を特定し、その上で「音量」,「チャネル」,「再生」,「停止」等の制御対象を特定したり、「風量」,「風向」,「温度」等の制御対象を特定することも可能である。この場合にも、最終的に特定される制御対象に応じてスイッチ操作情報の検出形態を変更設定するようにすれば良い。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。
【００４９】
【発明の効果】
以上説明したように本発明によれば、制御対象の性質や、運転員の好みや癖に応じて、種々の制御対象に与えるスイッチ操作情報の入力形態を適切に設定することができる。従って負担の少ない簡易なスイッチ操作の下で各種車両搭載機器の調整対象を効果的に操作することができる等の実用上多大なる効果が奏せられる。
【００５０】
特に制御対象に応じてスイッチ操作情報の入力形態を変更するので、比較的大きな操作量を段階的に与えることが望ましい場合であっても、逆に小さな操作量を連続的に与えて微調整することが好ましい場合であっても、これらのスイッチ操作情報を制御対象に応じて適切に与えうる等の効果が奏せられる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るハンドパターンスイッチ装置の概略構成を示す図。
【図２】図１に示すハンドパターンスイッチ装置における手指の撮像領域を示す図。
【図３】ハンドパターンスイッチ装置におけるスイッチ操作情報の指示入力動作の概略的な手順を示す図。
【図４】ハンドパターンスイッチ装置に対してスイッチ操作指示を与えるための手指形状の例を示す図。
【図５】手指によるプッシュ操作に伴う制御対象の選択例を示す図。
【図６】制御対象に対応付ける入力モードの設定画面の例を示す図。
【図７】ハンドパターンスイッチ装置におけるスイッチ操作情報入力の為の概略的な処理手順の一部を示す図。
【図８】図７に示す処理手順に続く処理手順を示す図。
【図９】距離モードでのスイッチ操作情報の検出手順を示す図。
【図１０】時間モードでのスイッチ操作情報の検出手順を示す図。
【図１１】距離・時間モードでのスイッチ操作情報の検出手順を示す図。
【符号の説明】
１ステアリングホイール
２オーディオ機器等の操作部
３カメラ
１１２値化処理部
１２形状認識部
１３重心位置検出部
１４操作指示認識部
１５メモリ
１６形状判定部
１７変位量検出部
１８タイマ
１９ガイド部[0001]
BACKGROUND OF THE INVENTION
The present invention provides a hand pattern switch device suitable for easily operating the operation of a vehicle-mounted device such as an air-conditioning device or an audio device without touching the operation panel of the vehicle-mounted device and without disturbing the driving of the vehicle. About.
[0002]
[Related background]
As a technique for operating the operation of vehicle-mounted devices such as air conditioners and audio devices without touching the operation panel of the vehicle-mounted device, a part of the driver's body (for example, the left hand) is imaged using a camera. It has been proposed to recognize image patterns and obtain operation information for the on-vehicle equipment (see, for example, Patent Document 1). It has also been proposed to obtain operation information for on-vehicle equipment by detecting gestures indicated as the shape and movement of the driver's fingers (see, for example, Patent Document 2).
[0003]
This type of technology is realized by, for example, pattern recognition processing for recognizing the shape of a finger from an image obtained by capturing a finger, motion detection processing for detecting movement by tracking the position change of the recognized hand (palm), and the like. It is called a hand pattern switch or the like.
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-134090
[Patent Document 2]
JP 2001-216069 A
[0005]
[Problems to be solved by the invention]
By the way, various auxiliary equipment such as audio equipment and air conditioning equipment is mounted on the vehicle. In addition, there are various adjustment functions in each of these auxiliary devices. For example, audio equipment mounted on a vehicle includes a radio, a tape player, a CD player, and the like, and there are functions such as volume, channel selection, playback, and stop as adjustment functions. The air conditioner (air conditioner) also has adjustment functions such as temperature, air volume, and wind direction.
[0006]
However, the switch operation information that can be input from the hand pattern switch device is generally simply given as information according to the difference in finger shape and how to move the hand. There is a problem that it is difficult to do. That is, among various control objects, it is preferable to make large adjustments (changes) continuously or step by step, such as radio channel selection and air flow adjustment, or continuously, such as temperature and volume. Some of them are preferably adjusted. Therefore, it is desirable to change the switch operation information that can be input from the hand pattern switch device according to, for example, the operator's (switch operator) preference and the control target, and to improve the operability.
[0007]
The present invention has been made in consideration of such circumstances, and its purpose is to easily input operation information for controlling the operation of various on-vehicle equipment in an appropriate manner, particularly depending on the object to be controlled. Another object of the present invention is to provide a hand pattern switch device with good operability (handleability) suitable for inputting appropriate operation information.
[0008]
[Means for Solving the Problems]
To achieve the above-described object, the hand pattern switch device according to the present invention images a finger placed in a predetermined imaging area, recognizes the shape of the finger from the input image, and detects the movement of the palm in the imaging area. To obtain predetermined switch operation information,
In particular, switch object setting means for selecting a recognized finger shape and / or a preset palm movement pattern and selecting one of a plurality of switch control objects, and depending on the selected switch control object, A distance mode that detects the movement distance of the palm in the imaging area and uses the switch operation information, and a time mode that detects a stop time at the movement position of the palm that has moved a predetermined distance or more in the imaging area and uses the switch operation information ,and When the palm moves slightly in the imaging area, the amount of movement is used as the switch operation information, and when the palm moves more than the predetermined distance, the stop time of the palm at the moving position is used as the switch operation information. And switch function changing means for selectively setting one of the distance / time modes.
[0009]
That is, the hand pattern switch device according to the present invention has a switch operation information detection form (detection target) based on palm movement according to the switch control target. , Distance mode, time mode, and selectively set as one of distance / time mode Thus, it is characterized in that it is possible to easily and efficiently input appropriate switch operation information according to the adjustment function of the switch control target, the preference of the switch operator (operator), and the like.
[0010]
Incidentally, it is preferable that the switch object setting means is configured to cyclically select one of a plurality of switch control objects each time a preset palm movement pattern is detected. Further, the switch function changing means detects the movement distance of the palm in the imaging area and uses it as the switch operation information and / or the movement position of the palm moved a predetermined distance or more in the imaging area. It is preferable that the stop time detection mode in which the stop time is detected and used as the switch operation information is configured to be selectively set according to the switch control target selected as described above.
[0011]
The correspondence between the movement distance detection mode and / or stop time detection mode described above and the switch control target may be fixed in advance, but may be changed according to the preference of the switch operator (operator). It can also be settable.
In addition, the detection of the movement distance of the palm in the movement distance detection mode may be performed in multiple stages using a predetermined movement distance as a detection unit. The predetermined moving distance that defines the detection unit may also be variably set according to the preference of the switch operator (operator).
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a hand pattern switch device according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a schematic configuration of a main part of an apparatus according to an embodiment, and shows a driver's seat in a vehicle and functions of the apparatus realized by a microcomputer or the like. The driver's seat is provided with a steering wheel (handle) 1 that is steered by a driver (driver), a combination switch (not shown), and the like, and the console panel is provided with an operation unit 2 such as an audio device or an air conditioner. It has been. On the ceiling above the driver's seat, there is provided a video camera 3 that takes an image of the side of the steering wheel 1 and picks up an operator's fingers with arms extended toward the image pickup area. The camera 3 is a small camera such as a CCD camera.
[0013]
Incidentally, the imaging region 3a by the camera 3 is set as a position at least 50 mm away from the outer peripheral portion of the steering wheel 1 and preferably about 100 mm away from the side of the steering wheel 1 as shown in FIG. . The imaging area 3a is set as a substantially rectangular area having a size of approximately 600 mm in the fingertip direction of the driver's hand with arms extended to the side of the steering wheel 1 and approximately 350 mm in the width direction of the hand. ing.
[0014]
The imaging region 3a set in this way is a region in which the operator's finger that grips the steering wheel 1 or operates a combination switch (not shown) provided on the column shaft is not imaged. . In particular, the operator can extend his arm without breaking his driving posture while putting his arm on an armrest (armrest) 5 provided on the side of the driver's seat. It is a position where fingers do not touch.
[0015]
In the case where a gear shift lever (not shown) is arranged in the imaging region 3a set in this way, for example, the operator holds the gear shift lever via a pressure sensor provided on the gear shift lever. It only has to be detected. If such a contrivance is taken, it is possible to easily determine whether the finger extended to the imaging region 3a is operating the gear shift lever or operating the hand pattern switch device. This makes it possible to reliably prevent erroneous detection of the driving operation as switch operation information. In addition, a stereo (stereoscopic) camera is used as the camera 3 to detect the height position of the finger (distance from the camera 3), and thus the finger extended to the imaging region 3a operates the gear shift lever. You may make it discriminate | determine whether it is located in the upper space of a gear shift lever.
[0016]
The hand pattern switch device basically recognizes the shape and movement of the operator's fingers imaged by the camera 3 from the input image, and obtains predetermined switch operation information based on the recognition result. In addition, it plays a role of giving switch operation information to the above-described audio equipment, air-conditioning equipment and the like in place of the operation section 2.
[0017]
Specifically, as shown in FIG. 1, the hand pattern switch device binarizes the input image captured by the camera 3 to remove the background image component and extract only the finger image. And a shape recognition unit 12 for recognizing the shape of the finger from the image extracted by the binarization process, and a center of gravity detection unit 13 for obtaining the position of the center of gravity from the recognized shape of the finger.
[0018]
Further, the hand pattern switch device recognizes an operation instruction recognition that recognizes the switch operation indicated by the shape of the operator's finger and its movement according to the recognition result by the shape recognition unit 12 and the gravity center position of the finger detected by the gravity center detection unit 13. The unit 14 is provided. The operation instruction recognizing unit 14 roughly tracks the movement of the center of gravity of the palm by determining the shape of the finger while referring to a finger shape pattern registered in advance in the memory 15. A displacement amount detection unit 17 that detects the displacement of the finger and a timer 18 that monitors the movement of the palm over time are provided. The operation instruction recognizing unit 14 obtains predetermined switch operation information specified by the shape of the operator's finger and its movement based on the determination / monitoring results, and obtains the switch operation information from the audio device and the air conditioner. It is configured to output to a device or the like.
[0019]
The operation instruction recognizing unit 14 is provided with a guide unit 19 that performs predetermined guidance (announcement) to the operator according to the determination result described above. This guidance includes, for example, an audio device, an air conditioning device (operation target device), a voice message for specifying volume / channel setting, air volume / temperature, etc. (operation target function), “pip” or “ The operator is informed through the speaker 20 as a confirmation sound such as “peep”.
[0020]
Basically, in the hand pattern switch device configured as described above, the present invention is characterized in that the switch is operated according to the selected switch control object as shown in the flow of the switch operation illustrated in FIG. The input mode of the switch operation information given to the controlled object is selectively switched. In particular, there are three types of switch operation information input modes: “distance mode”, “time mode”, and “distance / time mode”, which are selected according to the switch control target (vehicle-mounted device). It is like that.
[0021]
This switch operation operation will be described. In this hand pattern switch device, for example, finger patterns as shown in FIGS. 4A to 4C are used as finger shapes for designating the switch operation. Specifically, a fist-shaped finger pattern [hand shape 1] as shown in FIG. 4 (a), a finger-shaped finger pattern with a forefinger as shown in FIG. 4 (b) [hand shape 2], and A finger-shaped pattern [hand shape 3] with the thumb as shown in FIG. 4C is used.
[0022]
Incidentally, the finger-shaped finger pattern represents an image of pressing the switch. The fist-shaped finger pattern represents an image in which a lever-like switch is gripped and shifted forward and backward, and a finger shape with a thumb raised represents an image representing a standby instruction. Such a finger-shaped pattern is registered in advance in the memory 15 as data indicating its shape characteristics. Then, by calculating the degree of coincidence (similarity) between the shape of the finger recognized from the input image and the pattern registered in the memory 15, it is used for discrimination of the finger shape.
[0023]
Now, when the driver is holding the steering wheel 1 to steer the vehicle, the operator's fingers are out of the imaging area 3a as shown in the operation state A1, and the input image at that time is the background in the vehicle interior. Therefore, the hand pattern switch device does not operate because only the image components to be excluded are processed. On the other hand, when the operator's finger leaves the steering wheel 1 and enters the imaging area 3a as shown in the operation state A2, recognition processing for the finger is started. In this case, it is desirable to instruct the start of input of the switch operation information, for example, by gripping the fingers and making a fist shape [hand shape 1].
[0024]
Thereafter, it is determined whether or not the shape of the finger has been changed to a finger-pointing pattern [hand shape 2] for pressing the switch. If a pointing pattern is detected, it is assumed that a predetermined function / device is selected and designated by repeatedly pressing (pushing) the selection switch as shown in operation state A3. Is called. Specifically, the movement of the finger of the pointing shape back and forth (displacement) is detected from the change (movement) of the center of gravity of the palm, and the push operation is detected. In this case, every time a single push operation is detected, for example, as shown in FIG. 5, the control object is cyclically selected and designated as “volume”, “channel (ch)”, “temperature”, “air volume”, etc. The control algorithm should be set so that In particular, at this time, it is useful to output an operation confirmation sound such as “beep” each time a single push operation is detected, or to notify the selected control target as a voice message. With such guidance, the operator can recognize the operation state without visually confirming it, and thus can concentrate on the driving operation.
[0025]
If a desired control target is selected, a finger pattern different from the conventional one is changed, for example, to a pattern with a thumb up [hand shape 3] as shown in the operation state A4, and a function selection operation is performed. Instructing the completion of the switch and the input of the switch operation amount. In this case, it is preferable to emit a sound such as “pea” different from the confirmation sound described above as the confirmation sound.
[0026]
After that, as shown in the operation state A5, the finger shape is changed to a fist shape [hand shape 1], and switch operation information is input by moving the finger back and forth. At this time, the movement of the fist-shaped finger is detected from the displacement amount of the center of gravity position of the palm, and switch operation information corresponding to the movement is output. Specifically, in the input of the switch operation information, the information content to be detected is changed according to the control target selected and designated by the push operation described above. In other words, depending on the control target, there are those that want to change the control amount (switch operation information) in multiple steps (stepwise) with a large change amount and those that want to change continuously and finely with a small change amount. Therefore, according to the selected operation target, for example, a distance mode (operation state A6a) in which the amount of movement (displacement) of the finger is switch operation information, and the switch operation information from the stop time of the finger (palm) displaced by a predetermined distance. A desired time mode (operation state A6b) or a distance / time mode (operation state A6c) using these modes in combination is selectively set.
[0027]
By the way, the distance mode is a mode that outputs switch operation information in multiple stages according to the amount of palm movement from the reference position, and is suitable for channel selection for radio broadcasting and for selecting and setting the air volume and direction in air conditioning equipment. is there. The time mode is a mode for outputting switch operation information corresponding to the palm stop time displaced from the reference position, and is suitable for finely adjusting the volume of the audio equipment, the temperature of the air conditioning equipment, and the like. Furthermore, the distance / time mode outputs switch operation information corresponding to the amount of movement when the palm is slightly moved, and corresponds to the stop time of the palm at the movement position when the palm moves more than a predetermined distance. In this mode, switch operation information is output. This distance / time mode is suitable for the case where fine adjustment is performed after coarse adjustment of the control target.
[0028]
The operation instruction recognition unit 14 described above moves the palm in the imaging region 3a according to the input mode (distance mode / time mode / distance / time mode) that is selectively set according to the control target as described above. The movement amount of the palm (displacement amount and its displacement direction) and the stop time of the palm when the movement is stopped are measured. Then, switch operation information corresponding to these measurement results is output.
[0029]
Incidentally, the correspondence between various switch control targets and the above-described modes and the contents (detection distance and time) detected as the switch operation amount may be fixedly set in advance. However, the operation instruction recognition unit 14 provided in the above may be changed as appropriate according to the preference of the switch operator (operator) using, for example, the control screen 14a shown in FIG. Specifically, it is possible to selectively specify the input mode in which to input switch operation information for each of a plurality of switch control targets, and the palm displacement (movement distance), measurement time, etc., which are the detection units, respectively. What is necessary is just to be able to variably set.
[0030]
7 to 11 show a schematic processing procedure in the operation instruction recognition unit 14 that realizes the processing functions described above. This processing procedure will be described. When the hand pattern switch device is activated, first, system system initial setting including setting of an imaging area (recognition area) by the camera 3 and setting of a threshold value in binarization processing is performed <Step S1 〉. Thereafter, parameter values for measuring finger shape recognition and finger movement, etc. are cleared, and the control flag is set to “0” to execute initialization for switch information detection (step S2).
[0031]
After executing the above initialization process, first, the finger shape in the input image is recognized <step S3>, and the finger shape is any of the above-mentioned [hand shape 1], [hand shape 2], and [hand shape 3]. <Step S4>. If the finger shape is a pointing hand [hand shape 2], it is determined what was the previously detected hand shape <step S5>. If the previous hand shape is other than the pointing hand [hand shape 2], the center of gravity position of the palm detected at that time is set as the reference position A assuming that the function selection mode by [hand shape 2] is set. <Step S6>. Then, after setting the parameter B ′ for managing the movement distance of the hand to “0” <Step S7>, the previous hand shape is updated to [Hand shape 2] <Step S8> The processing from Step S3 described above is performed. Run repeatedly.
[0032]
On the other hand, if the previous hand shape is a pointing hand [hand shape 2] <step S5>, then the displacement of the palm center of gravity position detected at that time from the reference position A described above ( (Movement amount) B is obtained <step S9>. Then, it is determined whether or not two conditions that the parameter B ′ does not satisfy the determination threshold value H1 and that the displacement amount (movement amount) B detected this time exceeds the predetermined determination threshold value H1 are satisfied. <Step S10>. If the above condition is satisfied, the control target is changed by one step, assuming that the above-described push operation for function selection is performed in the state of [hand shape 2] <step S11>. Thereafter, the previous hand shape is updated to [hand shape 2] <Step S8> The processing from Step S3 described above is repeatedly executed.
[0033]
If the condition is not satisfied because the displacement amount B does not exceed the predetermined determination threshold value H1 (step S10), after setting the displacement amount B as the parameter B ′ described above, <step S12 >, The previous hand shape is updated to [hand shape 2] <Step S8>, and then the processing from Step S3 described above is repeatedly executed. By the processing from step S3 to step S8, when a push operation is performed by a predetermined movement amount with the finger shape of [hand shape 2], the above-described function selection is executed and the control target is selectively set.
[0034]
On the other hand, if it is detected in step S4 described above that the finger shape is [hand shape 1] or [hand shape 3], then the finger shape is [hand shape 1] as shown in FIG. It is determined whether or not it is [hand shape 3] <step S13>. If it is [hand shape 3], it is determined that the operation standby state described above is designated, and the center of gravity position of the palm detected at that time is registered as the reference position C <step S14>. At the same time, a control parameter D ′ used for measuring a moving distance, which will be described later, is set to “0” (step S15). Thereafter, after updating the previous hand shape to [hand shape 3] <step S16>, the processing from step S3 described above is repeatedly executed.
[0035]
On the other hand, if it is determined that the hand shape is [hand shape 1] <step S13>, then it is determined what was the previously detected hand shape <step S17>. If the previous hand shape is [hand shape 3], the control flag is set to “1” on the assumption that the operation information input mode is set, and the movement distance measurement parameter n and the stop time measurement parameter are set. Each t is set to “0” (step S18). Also, if the previous hand shape is a fist-type [hand shape 1], it is determined whether or not the operation information input mode has already been set by determining whether or not the control flag is "1". In step S19, if the control flag is "1", the distance D between the palm center position detected at that time and the reference position C described above is detected <step S20>.
[0036]
Then, it is determined in which mode of the above-described three types of input modes the switch operation information is to be detected according to the control target whose function has been selected previously (step S21), and the switch operation is performed according to the determined input mode. Execute information detection processing.
If the previous hand shape is not [Hand shape 1] or [Hand shape 3] <Step S17>, or if the control flag is not "1"<StepS19>, the initial setting shown in Step S2 described above is performed. Repeat the procedure from. By this process, the input start of the switch operation information indicated by the operation state A2 described above is instructed.
[0037]
Incidentally, the switch operation information detection process in the distance mode is compared with the distance D from the reference position C and the value of the control parameter D ′ as illustrated in FIG. In response, it is determined whether the palm is moving forward or backward. If the palm is moved forward, it is determined whether or not the movement distance exceeds a predetermined measurement unit distance under condition 1 described later (step S23), and exceeds the predetermined measurement unit distance. In this case, after incrementing the control parameter n <step S24>, the setting (switch operation information) is increased by one step <step S25>.
[0038]
On the other hand, if the palm is retracting, it is determined whether or not the movement distance exceeds a predetermined measurement unit distance under condition 2 described later (step S26), and the movement distance is equal to the predetermined measurement unit distance. If it exceeds, the control parameter n is decremented <step S27>, and the setting (switch operation information) is decreased by one step <step S28>.
[0039]
The above condition 1 is that the difference between the distance D and the distance C (movement amount) exceeds the movement distance of a predetermined number of steps variably set by the control parameter n, and the value of the control parameter D ′ and the distance C The difference (movement amount) is set as being less than a movement distance of a predetermined number of steps variably set by the control parameter n. That is, the palm movement amount is a condition for determining whether or not the palm has moved a predetermined measurement unit distance by a predetermined number of steps. Condition 2 is a similar determination condition in the case where the palm movement direction is reverse (backward).
[0040]
When the switch operation information corresponding to the palm movement distance is obtained as described above, the distance D is registered as the control parameter D ′ (step S29), and the determination criterion is updated. Then, after registering [hand shape 1] as the previous hand shape <step S30>, the processing returns to the above-described step S3. By repeatedly executing this process, switch operation information corresponding to the amount of palm movement is output stepwise.
[0041]
On the other hand, when the time mode is set, the detection process is executed according to the procedure illustrated in FIG. In this case, it is first determined whether or not the movement distance D exceeds the third threshold value H3 <step S31>. If the third threshold value H3 has not been reached, the time parameter t is set to “0” <step S32>, and after registering [hand shape 1] as the previous hand shape <step S33>, the process from step S3 described above is performed. Return to processing.
[0042]
On the other hand, when the moving distance D exceeds the third threshold value H3 (step S31), the time parameter t is counted up (step S34). When the counted time parameter t reaches the reference time T1 (step S35), the setting (switch operation information) is increased by one step (step S36). Then, after resetting the time parameter t to “0” <step S37>, [hand shape 1] is registered as the previous hand shape <step S33>, and the processing returns to the above-described step S3.
[0043]
If the movement distance D exceeds the third threshold value H3 in the reverse direction (step S31), the time parameter t is counted up (step S38). When the counted time parameter t reaches the reference time T1 (step S39), the setting (switch operation information) is decreased by one step (step S40). Then, after resetting the time parameter t to “0” <step S41>, [hand shape 1] is registered as the previous hand shape <step S33>, and the processing returns to the above-described step S3. By such a series of processes, when the palm moves a predetermined distance and stops, switch operation information corresponding to the stop time is output.
[0044]
The distance / time mode is executed by properly using the distance mode processing and the time mode processing described above according to the palm movement distance. Specifically, as shown in FIG. 11, the value of the control parameter n described above is determined <step S42>. Then, depending on whether the parameter n is in the range of “−2” to “2”, or “3” or more or less than “−3”, the processing in the distance mode shown in step S22a to step S33a, or step S24a. To the time mode shown in step S41a. Note that the processing shown in steps S22a to S33a corresponds to the processing shown in steps S22 to S33 described above. Further, the processes shown in steps S24a to S41a correspond to the processes shown in steps S24 to S41 described above.
[0045]
Thus, according to the hand pattern switch device that functions as described above, the device to be controlled is selected simply and effectively, and the switch operation information is input by selectively setting the input mode according to the control target. It becomes possible. Therefore, even if it is preferable to set the control target while giving a relatively large amount of displacement, such as the air volume or direction, or conversely, it is possible to finely adjust by giving a small amount of displacement such as volume or temperature. Even if it is preferable, the switch operation amount corresponding to the control object can be easily input. In particular, just by setting the input mode according to the control target in advance, Operation intention Therefore, it is possible to obtain practically great effects such as easy input of switch operation information corresponding to the above.
[0046]
Further, as described above, if the detection unit distance, the detection unit time, etc. can be variably set, it is possible to set according to the body shape and preference of the switch operator (operator) and also the habit. . Also, setting according to the device characteristics to be controlled is possible. Therefore, it is possible to realize a hand pattern switch device that is light in operation and easy to handle.
[0047]
The present invention is not limited to the embodiment described above. Although the embodiment has been described on the assumption that the vehicle is a right-hand drive vehicle, it is needless to say that the present invention can be similarly applied to a left-hand drive vehicle, and is not limited to a large vehicle such as a truck. is there. Of course, the control object can be extended to, for example, turning on / off the wiper, adjusting the operation interval, and opening / closing the side mirror.
[0048]
Further, the detection mode of the switch operation information in each input mode is not limited to the above-described three types. For example, it is possible to provide a mode in which the finger shape itself is captured as the switch operation information. In addition, although the control target is directly selected as “Volume”, “Channel”, “Temperature”, “Air Volume”, the control target device is specified as “Radio”, “Tape”, “CD”, “Air Conditioner”, etc. On top of that, it is possible to specify control targets such as “volume”, “channel”, “play”, “stop”, etc., and control targets such as “air volume”, “wind direction”, “temperature”, etc. It is. Also in this case, the switch operation information detection mode may be changed and set according to the finally specified control target. In addition, the present invention can be implemented with various modifications without departing from the scope of the invention.
[0049]
【The invention's effect】
As described above, according to the present invention, it is possible to appropriately set the input mode of switch operation information to be given to various control objects in accordance with the property of the control object and the preference and habit of the operator. Therefore, a great practical effect is achieved such that the adjustment target of various on-vehicle equipment can be effectively operated under a simple switch operation with little burden.
[0050]
In particular, since the switch operation information input form is changed according to the control target, even if it is desirable to give a relatively large amount of operation stepwise, on the contrary, a small amount of operation is continuously given to make fine adjustments. Even if it is preferable, such an effect that the switch operation information can be appropriately given according to the control target is obtained.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a hand pattern switch device according to an embodiment of the present invention.
FIG. 2 is a view showing an imaging region of a finger in the hand pattern switch device shown in FIG.
FIG. 3 is a diagram showing a schematic procedure of a switch operation information instruction input operation in the hand pattern switch device.
FIG. 4 is a diagram showing an example of a finger shape for giving a switch operation instruction to the hand pattern switch device.
FIG. 5 is a diagram showing an example of selection of a control target accompanying a push operation with fingers;
FIG. 6 is a diagram showing an example of an input mode setting screen associated with a control target.
FIG. 7 is a diagram showing a part of a schematic processing procedure for inputting switch operation information in the hand pattern switch device.
FIG. 8 is a diagram showing a processing procedure following the processing procedure shown in FIG. 7;
FIG. 9 is a diagram illustrating a procedure for detecting switch operation information in a distance mode.
FIG. 10 is a diagram showing a procedure for detecting switch operation information in a time mode.
FIG. 11 is a view showing a procedure for detecting switch operation information in a distance / time mode.
[Explanation of symbols]
1 Steering wheel
2 Operation unit for audio equipment, etc.
3 Camera
11 Binarization processing unit
12 Shape recognition unit
13 Center of gravity position detector
14 Operation instruction recognition unit
15 memory
16 Shape determination unit
17 Displacement detection unit
18 Timer
19 Guide section

Claims

A hand pattern switch device that captures a finger placed in a predetermined imaging area, recognizes a finger shape from the input image, and detects a palm movement in the imaging area to obtain predetermined switch operation information,
Switch object setting means for detecting a recognized finger shape and / or a preset palm movement pattern and selecting one of a plurality of switch control objects;
According to the selected switch control object, a distance mode in which the palm movement distance in the imaging area is detected and used as the switch operation information, and a stop time at the palm movement position that has moved a predetermined distance or more in the imaging area are detected. The switch operation information is used as the switch operation information when the palm moves slightly in the imaging area, and when the palm moves more than the predetermined distance, the palm stops at the movement position. A hand pattern switch device comprising switch function changing means for selectively setting one of distance / time modes in which time is the switch operation information .

2. The hand pattern switch device according to claim 1, wherein the switch object setting unit cyclically selects one of a plurality of switch control objects every time a preset palm movement pattern is detected.

2. The hand pattern according to claim 1, wherein the switch target setting unit is configured to determine, as input of selection information of a switch control target, when detecting a preset palm movement pattern in a preset finger shape. Switch device.

The hand pattern switch device according to claim 1 , wherein the detection of the palm movement distance in the distance mode is performed in multiple stages with a predetermined movement distance as a detection unit.