JP5136168B2 - 位置検出装置 - Google Patents

Description

本発明は、人間の指などの装置を操作する物体の位置を検出する位置検出装置に関する。

特許文献１のように、タッチパネルを使わずにユーザの指などの操作位置を検出する技術が知られている。この特許文献１においては、操作パネルと、赤外光照射手段と、赤外光撮像手段とを備えている。操作パネルは、ユーザが操作する側の面と、赤外光照射手段と赤外光撮像手段とが配置される側の面とを有する。このものにおいてユーザが操作パネルを触った場合には、光源から赤外光がユーザの指に照射されている時には光がユーザの指で反射され、光源から赤外光がユーザの指に照射されていない場合には光がユーザの指で反射されない。そして、撮像手段で光源から赤外光が照射された場合に撮影した画像と、光源から赤外光が照射されていない場合に撮影した画像との差分を求めることにより、ユーザの指の位置を検出している。

また、表示器上に表示された情報を指で直接触り情報を入力する装置として、タッチパネルディスプレイが知られている。たとえば、特許文献２におけるタッチパネルつき表示器においては，表示器としてＴＦＴ液晶ディスプレイを使い、この液晶ディスプレイの上に半透明のタッチパネルを配置している。そして、ユーザは、液晶ディスプレイに表示された情報を認識し、タッチパネルにおいて液晶ディスプレイの所望の情報が表示された領域を押圧する。このときタッチパネルの４辺には電圧が印加されており、押圧前と押圧中とでこの４辺の電圧が変化するため、ユーザがどの領域を押圧しているかを特定することができる。
特開２００７−２７２５９６号公報 特開２００２−２０７５７１号公報

特許文献１の技術は、操作パネルが赤外線を透明可能な素材である必要があるため、この操作パネルを画像表示可能な表示装置として使用できないという問題があった。

また、特許文献２の技術は、液晶ディスプレイを用いているため、透明ではなかった。液晶ディスプレイには半透明のものも存在はするが、このような液晶ディスプレイは透明度が低く、これをタッチパネルに組み合わせた場合、さらに透明度が低下するという問題があった。

本発明は、上記問題に鑑み、画像を表示可能な透明な構造の位置検出装置を提供することを目的とする。

上記目的を達成するために請求項１に記載の位置検出装置は、表示面に画像を表示すると共に、表示面を操作物体によって操作される透明ＥＬディスプレイと、
表示面の反対面から透明ＥＬディスプレイを撮像する撮像部と、
撮像部にて撮像された画像を処理する画像処理部とを備え、
画像処理部は、撮像部にて撮像された画像の明度が所定の閾値をこえたか否かによって、透明ＥＬディスプレイが操作物体によって操作されたか否かを判定する判定手段と、
判定手段が操作されたと判定した場合、操作物体が操作している透明ＥＬディスプレイの位置を検出する位置検出手段とを備え、
画像処理部は、複数の明度を示す値を閾値として用いて、操作物体と透明ＥＬディスプレイとの距離及び操作物体による透明ＥＬディスプレイに対する押圧力の少なくとも一方を段階的に検出する操作状態検出手段を備え、
位置検出手段は、撮像部にて撮像された画像において所定の閾値をこえた明度の部分が透明ＥＬディスプレイの予め決められた領域に存在するか否かによって位置を検出し、
画像処理部は、透明ＥＬディスプレイが画像を表示しているときの撮像部にて撮像された画像と、透明ＥＬディスプレイが画像を表示していないときの撮像部にて撮像された画像との差分画像処理を実行する差分画像処理手段を備え、
判定手段は、撮像部にて撮像された画像として差分画像処理手段にて差分画像処理された画像を用い、この画像の明度が所定の閾値をこえたか否かによって、透明ＥＬディスプレイが操作物体によって操作されたか否かを判定することを特徴とするものである。

このように、画像を表示する透明ＥＬディスプレイの表示面の反対面から撮像し、その撮像された画像の明度が所定の閾値をこえたか否かによって、透明ＥＬディスプレイが操作物体によって操作されたか否かを判定すると共に、操作物体が操作している透明ＥＬディスプレイの位置を検出することによって、画像を表示可能な透明度の高い構造を有しながら、操作物体の位置検出を行うことができる。また、画像を表示する透明ＥＬディスプレイを用いているため赤外線光源などを別途設ける必要がない。また、画像処理部は、複数の明度を示す値を閾値として用いて、操作物体と透明ＥＬディスプレイとの距離及び操作物体による透明ＥＬディスプレイに対する押圧力の少なくとも一方を段階的に検出する操作状態検出手段を備えるようにしてもよい。また、位置検出手段は、撮像部にて撮像された画像において所定の閾値をこえた明度の部分が透明ＥＬディスプレイの予め決められた領域に存在するか否かによって位置を検出することによって、簡単に操作部材の位置を検出することができる。さらに、請求項１のようにすることによって、撮像部による撮像時に外乱光が入射された場合、この外乱光は、透明ＥＬディスプレイが画像を表示しているとき（発光時）に撮像された画像および透明ＥＬディスプレイが画像を表示していないとき（非発光時）に撮像された画像の両方の場合で明度の高い領域として記録される。そして差分画像を生成した際には、この外乱光により明度が高くなった領域は相殺される。このため外乱光が入射されるような環境下においても、精度良く判定することができる。

操作物体による透明ＥＬディスプレイの操作を検出する場合、操作物体が透明ＥＬディスプレイに近づいたことによっても、操作物体にて透明ＥＬディスプレイが操作されたとみなすことができる。そこで、請求項２に示すように、透明ＥＬディスプレイが操作物体によって操作されたか否かを判定する閾値は、操作物体と透明ＥＬディスプレイとが所定の距離になった場合の明度を示す値を含むようにしてもよい。

このようにすることによって、操作物体が透明ＥＬディスプレイに触らなくても、近づいただけで操作物体によって透明ＥＬディスプレイが操作されたと判定することができ、応答性をよくできる。

また、請求項３に示すように、操作物体はユーザの指であり、透明ＥＬディスプレイが操作物体によって操作されたか否かを判定する閾値は、ユーザの指が透明ＥＬディスプレイを押圧したことによって変化するユーザの指の明度を示す値を含むようにしてもよい。

このようにすることによって、操作物体が透明ＥＬディスプレイを触ったことを検出するこができ、透明ＥＬディスプレイが操作物体によって操作されたか否かを判定する際の精度を向上させることができる。

また、撮像した画像の明度は、夜間と昼間とでは異なるものである。そこで、請求項４に示すように、閾値を夜間と昼間とで変更することによって、時間帯によらず透明ＥＬディスプレイが操作物体によって操作されたか否かを判定する精度を均一にすることができる。

また、請求項５に示すように、撮像部は、透明ＥＬディスプレイのリセット期間に透明ＥＬディスプレイが画像を表示していないときの画像を撮像するようにしてもよい。

このリセット期間においては、透明ＥＬディスプレイは発光していないので、透明ＥＬディスプレイが画像を表示していないときの画像を得ることができる。

また、請求項６に示すように、画像処理部は、撮像部にて撮像された画像の明度が所定の閾値をこえた領域の重心位置を検出する重心位置検出手段を備え、位置検出手段は、この重心位置を用いて操作物体が操作している透明ＥＬディスプレイの位置を検出するようにしてもよい。

撮像部にて撮像された画像の明度が所定の閾値をこえた領域が複数個所にあった場合、つまり、撮像部が撮像した画像を所定の閾値によって２値化した画像において所定の閾値をこえた領域が複数個所にあった場合でも、このようにすることによって複数の操作物体の位置を検出することができる。

また、撮像部にて撮像された画像の明度が所定の閾値をこえた領域が分断されることがある。このような場合、請求項７に示すように、画像処理部は、撮像部にて撮像された画像の明度が所定の閾値をこえた領域を所定回数膨張させた後に所定回数収縮させるクロージング処理を実行するクロージング処理手段を備えるようにしてもよい。このようにクルージング処理を実行することによって、分断された領域を連結することができ、その部分を一本の指で押したことが認識できる。請求項８のように、透明ＥＬディスプレイの少なくとも１辺を配線領域も含めて透明な構造にすることにより，周りの空間との一体感が生まれ、開放感のある操作・表示面を持つシステムが実現できる。

以下、本発明の実施の形態を図に基づいて説明する。

（第１の実施の形態）
まず、第１の実施の形態について図１乃至図１２を用いて説明する。

図１は位置検出装置１の概略構成図である。この図１に示すように、本位置検出装置１は、撮像手段としてＣＭＯＳカメラ１０（撮像部）、表示手段として透明ＥＬパネル２０（透明ディスプレイ）、透明ＥＬパネル２０に表示する画像を処理するとともに透明ＥＬパネル２０を制御する表示画像処理部３０、透明ＥＬパネル２０に表示する画像を記憶する画像メモリ４０、そしてカメラ１０で撮影した撮像を処理し乗員Ａの指位置情報を出力する撮像処理部５０（画像処理部）とを備える。

透明ＥＬパネル２０は、運転席乗員Ａまたは助手席乗員Ａなどが容易に操作可能なように、運転席と助手席との間のセンタコンソール付近に設けられる。そして、この透明ＥＬパネル２０にはボタンやスライダーなどの画像が表示されており、乗員Ａは片手ないし両手の指（操作物体）をもって、この透明ＥＬパネル２０に表示されたボタン画像やスライダー画像を触る、又は指を近づけることにより、例えばカーエアコンやカーナビゲーション装置を操作することができる。なお、以降では、説明の都合上、透明ＥＬパネル２０のうち乗員Ａ側に向けられた側を表面２０ａ、表面２０ａの反対側の面を裏面２０ｂと呼ぶ。なお、透明ＥＬパネル２０の少なくとも１辺を配線領域も含めて透明な構造にすることにより，周りの空間との一体感が生まれ、開放感のある操作・表示面を持つシステムが実現できる。

カメラ１０は、透明ＥＬパネル２０の乗員Ａが操作する側の面（表面２０ａ）とは反対側の面であって、透明ＥＬパネル２０の裏面２０ｂ側の空間に設けられる。そして、このカメラ１０は、裏面２０ｂ側から透明ＥＬパネル２０を通じて、少なくとも透明ＥＬパネル２０の表面２０ａ、すなわち乗員Ａが操作する側の面を撮影している。このカメラ１０は自然光を撮像できるものである。また、このカメラ１０は、後述する撮像処理部５０と、双方向通信可能なように接続されている。

図２は、透明ＥＬパネル２０の断面構造を表すものである。透明ＥＬパネル２０は、ガラス基板３５上に成膜形成されたＥＬ素子２２を内側にして、スペーサで所定の間隔を保って背面板（ガラス板）２４が固定され、空隙部２５に接着剤等が充填され機密封止されている。ＥＬ素子２２は、ＩＴＯ（酸化インジウム・錫）又はＺｎＯ（酸化亜鉛）等の透明導電膜より成る第１透明電極２２ａ、酸化窒化珪素、酸化タンタル等より成る第１絶縁層２２ｂ、母体材料が硫化亜鉛等より成る発光層２２ｃ、酸化窒化珪素、酸化タンタル等より成る第２絶縁層２２ｄ、ＩＴＯ又はＺｎＯ等の透明導電膜より成る第２透明電極２２ｅが順次積層形成されて構成されている。このように、両面の電極を透明導電膜で形成することにより、透明ＥＬパネル２０は高い透明度を備える。なお、透明ＥＬパネル２０は、この透明ＥＬパネル２０のガラス基板側が乗員Ａ側に向くように配置されても良いし、透明な樹脂部材など透明ＥＬパネル２０を保護する部材を介して乗員Ａが触るような配置としても良い。

次に、図３を用いて透明ＥＬパネル２０の平面を鳥瞰した構造を説明する。透明ＥＬパネル２０は、第１透明電極２２ａ（以下、走査電極とも称する）と第２透明電極２２ｅ（以下、データ電極とも称する）が夫々複数本存在し、それらが直交することで各交点にＥＬ素子２２が形成され、マトリクス表示が可能となるように構成されている。そして、各第１透明電極２２ａと各第２透明電極２２ｅとは、一方向（例えばセンタコンソールの車両後方側）に取り出され、ＦＰＣ（フレキシブルプリント基板）を用いて後述のドライバＩＣと電気的に接続している。なお、ＦＰＣが透明で無い場合には、このＦＰＣは、センタコンソールの透明でない箇所に格納されることが意匠上望ましい。また、仮にＦＰＣの代わりにガラス基板や、ＣＶＤなどにより透過可能な程度に薄膜化された回路基板を使う場合には、透明ＥＬパネル２０の一部として、センタコンソールから露出させて、乗員Ａが触ることが可能な領域としても良い。尚、この透明ＥＬパネル２０は透明なものであれば良いため、一般の無機材料のＥＬ素子２２を用いたものの他に、有機材料のＥＬ素子２２を用いて構成することもできる。

図４を用いて、各ＥＬ素子２２と走査ドライバＩＣおよび信号ドライバＩＣとの電気的な構成を説明する。走査ドライバＩＣと信号ドライバＩＣとは、表示画像処理部３０の一部であって、透明ＥＬパネル２０の電気的な制御を行うものである。

前述のように、透明ＥＬパネル２０の各第１透明電極（走査電極）２２ａ（１）〜（ｍ）（ｍは例えば６４）と各第２透明電極（データ電極）２２ｅ（１）〜（ｎ）（ｎは例えば１２８）との各交点には、第１透明電極２２ａ側を陰極、第２透明電極２２ｅ側を陽極としてＥＬ素子２２（１，１）〜（ｍ，ｎ）がマトリクス状に配置されている。ＥＬ素子の等価回路は、無機材料のＥＬ素子の場合はコンデンサで表すことができる。（有機材料のＥＬ素子の場合は，ダイオード特性からなる発光エレメントと、この発光エレメントに並列接続された寄生容量とを用いて表すことができる）。

このＥＬパネル１の表示駆動を行うために、走査電極駆動回路４およびデータ電極駆動回路６が設けられている。走査電極駆動回路４は、画面の走査電極を駆動する上画面走査電極駆動回路であって、シフトレジスタとドライバ部（４２_１ａ〜４２_ｎａ、４２_１ｂ〜４２_ｎｂ、４２_１ｃ〜４２_ｎｃ、４２_１ｄ〜４２_ｎｄ）から構成されている。シフトレジスタは、走査電極を選択するための選択信号をｄatain端子から入力し、順次シフトしてｄataout端子から出力する。ドライバ部は、選択信号のシフトに伴って走査電極に走査電圧を順次印加する。

データ電極駆動回路６は、画面のデータ電極を駆動する画面データ電極駆動回路であって、シフトレジスタとドライバ部（６１_１ａ〜６１_ｍａ、６１_１ｂ〜６１_ｍｂ、６１_１ｃ〜６１_ｍｃ、６１_１ｄ〜６１_ｍｄ）から構成されており、画面表示データに応じ画面のデータ電極に、電圧Ｖｍと接地電圧を選択的に出力する。

なお、走査電極駆動回路４、データ電極駆動回路６におけるそれぞれのシフトレジスタは、制御信号を受けてシフト動作する。透明ＥＬパネル２０と、走査電極駆動回路４およびデータ電極駆動回路６の出力段の構成を示している。走査電極２２ａ（１）〜（ｍ）とデータ電極２２ｅ（１）〜（ｎ）の交差位置に形成されたＥＬ素子２２（１，１）〜（ｍ，ｎ）は容量性の素子であるため、図ではコンデンサの記号で表している。

走査電極駆動回路４とデータ電極駆動回路６の出力段は、ＰチャンネルＦＥＴ（４２_１ａ〜４２_ｎａ、６１_１ａ〜６１_ｍａ）とＮチャンネルＦＥＴ（４２_１ｂ〜４２_ｎｂ、６１_１ｂ〜６１_ｍｂ）とによりプッシュプル動作を行うように構成されており、ＰチャンネルＦＥＴとＮチャンネルＦＥＴのそれぞれには、寄生ダイオード（４２_１ｃ〜４２_ｎｃ、４２_１ｄ〜４２_ｎｄ、６１_１ｃ〜６１_ｍｃ、６１_１ｄ〜６１_ｍｄ）が形成されている。

走査電極駆動回路４には、走査電圧を供給するための電圧供給回路（図示省略）が設けられている。この電圧供給回路８は、スイッチング素子８１、８２と、電圧（Ｖｒ−Ｖｍ）を有する電源８３とから構成されている。正フィールドで動作させる時には、スイッチング素子８１をオフ、スイッチング素子８２をオンさせて、電圧供給線ＨＶＣＣを書き込み電圧Ｖｒ（＝Ｖｒ−Ｖｍ＋Ｖｍ）とし、電圧供給線ＨＧＮＤを電圧Ｖｍとする。電圧供給線ＨＶＣＣは、ＰチャンネルＦＥＴソース側共通線であり、電圧供給線ＨＧＮＤは、ＮチャンネルＦＥＴソース側共通線である。

また、負フィールドで動作させる時には、スイッチング素子８１をオン、スイッチング素子８２をオフさせて、電圧供給線ＨＶＣＣを接地電圧とし、電圧供給線ＨＧＮＤを電圧（−Ｖｒ＋Ｖｍ）とする。上記構成において、ＥＬ素子を発光させるには、走査電極とデータ電極との間に交流のパルス電圧を印加する必要があり、このためフィールド毎に正負に極性反転するパルス電圧を各走査電極に印加している。

以下、正負フィールドでの動作について説明する。

まず、正フィールドに関して説明する。スイッチング素子８１をオフ、スイッチング素子８２をオンにし、データ電極駆動回路６の全てのデータ電極に接続されているＰチャンネルＦＥＴをオフ、ＮチャンネルＦＥＴをオンにする。この時、走査電極駆動回路４の出力段ＦＥＴの寄生ダイオード４２_１ｄ〜４２_ｎｄを通して、全ての走査電極が充電される。画面の最上端の走査電極２２ａ（１）から下方向に順に走査電圧を印加している。まず、画面の１ライン目においては、走査電極２２ａ（１）に接続されているＰチャンネルＦＥＴ４２_１ａをオンにして、走査電極２２ａ（１）の電圧をＶｒにする。他の走査電極に接続されている出力段ＦＥＴを全てオフにしそれらの走査電極をフローティング状態にする。

また、データ電極駆動回路６においては、データ電極のうち発光させたいＥＬ素子のデータ電極に接続されているＰチャンネルＦＥＴをオフ、ＮチャンネルＦＥＴをオンにし、発光させたくないＥＬ素子のデータ電極に接続されているＰチャンネルＦＥＴをオン、ＮチャンネルＦＥＴをオフにする。このことにより、走査電極２２ａ（１）において、発光させたいＥＬ素子のデータ電極の電圧が接地電圧になるため、ＥＬ素子にしきい値電圧以上の電圧ＶｒがかかりＥＬ素子が発光する。また、発光させたくないＥＬ素子のデータ電極の電圧がＶｍになるため、ＥＬ素子には電圧（Ｖｒ−Ｖｍ）が印加される。この電圧（Ｖｒ−Ｖｍ）は、しきい値電圧より低く設定されているため、ＥＬ素子は発光しない。

この後、走査電極２２ａ（１）に接続されているＰチャンネルＦＥＴ４２_１ａをオフにし、ＮチャンネルＦＥＴ４２_１ｂをオンにすることにより、走査電極２２ａ（１）上のＥＬ素子に蓄積した電荷を放電する。このようにして、画面の１ライン目の発光駆動が終了する。

この後、上画面の２ライン目である走査電極２２ａ（２）に対して１ライン目と同様の動作を行う。以後、同様にして、画面の最後の走査電極２２ａ（ｎ）に至るまで上記動作を繰り返す。すなわち、線順次走査を行う。

次に、負フィールドに関して説明する。スイッチング素子８１をオン、スイッチング素子８２をオフにし、データ電極駆動回路６の全てのデータ電極に接続されているＰチャンネルＦＥＴをオン、ＮチャンネルＦＥＴをオフにする。この時、走査電極駆動回路４の出力段ＦＥＴの寄生ダイオード４２_１ｃ〜４２_ｎｃを通して、全ての走査電極が放電される。

この負フィールドの動作においては、電圧供給線ＨＶＣＣの電圧は、接地電圧になり、電圧供給線ＨＧＮＤの電圧は（−Ｖｒ＋Ｖｍ）となる。画面の最上端の走査電極２２ａ（１）から下方向に順に走査電圧を印加している。まず、画面の１ライン目においては、走査電極２２ａ（１）に接続されているＮチャンネルＦＥＴ４２_１ｂをオンにして、走査電極２２ａ（１）の電圧を（−Ｖｒ＋Ｖｍ）にする。他の走査電極に接続されている出力段ＦＥＴを全てオフにしそれらの走査電極をフローティング状態にする。また、データ電極側においては、正フィールドとは逆に、発光させたいデータ電極に電圧Ｖｍを印加し、発光させたくないデータ電極の電圧を接地電圧にする。

従って、電圧（−Ｖｒ＋Ｖｍ）が印加されている走査電極に対し、データ電極に電圧Ｖｍが印加されると、それに対するＥＬ素子に−Ｖｒの電圧が印加されＥＬ素子が発光する。また、データ電極の電圧が接地電圧であると、ＥＬ素子に、しきい値電圧より低い電圧（−Ｖｒ＋Ｖｍ）が印加されるため、ＥＬ素子は発光しない。

この後、走査電極２２ａ（１）に接続されているＮチャンネルＦＥＴ４２_１ｂをオフにし、ＰチャンネルＦＥＴ４２_１ａをオンにすることにより、走査電極２２ａ（１）上のＥＬ素子に蓄積した電荷を放電する。このようにして、画面の１ライン目の発光駆動が終了する。

この後、上画面の２ライン目である走査電極２２ａ（２）に対して１ライン目と同様の動作を行う。以後、同様にして、画面の最後の走査電極２２ａ（ｎ）に至るまで上記動作を繰り返す。すなわち、線順次走査を行う。

さらに、第１透明電極２２ａ（１）〜（ｍ）の全走査が終了した後、次の周期の走査に移行する前に、全ての第１透明電極２２ａ（１）〜（ｍ）と第２透明電極２２ｅ（１）〜（ｎ）とを同じ電位（例えばグランド）に接続し、寄生容量に蓄積された電荷を放電するリセット期間を設けている。

なお、この走査電極駆動回路４およびデータ電極駆動回路６は、全ＥＬ素子２２を一通り走査する時間を表示期間と定義すると、８ミリ秒（１／６０秒の半分）の表示期間と、８ミリ秒の非表示期間とを繰り返すように透明ＥＬパネル２０を制御している。実際には８ミリ秒の非表示期間中は、透明ＥＬパネル２０には画像が表示されていないが、この非表示期間は非常に短い時間であるので、乗員Ａには表示期間中の画像が残像として残り非表示期間があるかのようには見えにくい。

表示画像処理部３０は、表示する画像に応じて、前述の走査電極駆動回路４とデータ電極駆動回路６とを操作することにより、透明ＥＬパネル２０を発光させるものである。なお、図１に示すように、外部から撮像処理部５０への入力は、表示画像処理部３０からの画像の表示・非表示タイミングと、カメラ１０が記録した撮像（画像情報）である。一方、撮像処理部５０から外部への出力は、カメラ１０への撮像指令である。この撮像指令は、表示期間と非表示期間とに応じて、所定周期毎（例えば１６ｍｓｅｃ毎）に設定されている（以下、この撮像指令の周期を撮像周期とする）。なお、カメラ１０のシャッタスピードは、８ミリ秒の表示期間以下に設定されている。

図５は、透明ＥＬパネル２０に表示する画像の一例である。図５においては、図面の都合上、発光している文字や図形を白ヌキで表示し、非発光領域（表示がされていない領域）を黒ベタで表現している。しかしながら、非発光領域（表示がされていない領域）は透明であるため、実際には黒色が表示されているわけではなく、乗員Ａ側からは透明ＥＬパネル２０の裏側（例えばセンタコンソール内部）などが透けて見えている。この図５において、乗員Ａが指で触る、もしくは指を近接させるべき領域は、図６に示す領域Ｃ１〜Ｃ４のいずれかである。透明ＥＬパネル２０の平面において、横方向をｘ軸方向、縦方向をｙ軸方向としたとき、領域Ｃ１はｘ１〜ｘ２およびｙ１〜ｙ２に囲まれた領域、領域Ｃ２はｘ１〜ｘ２およびｙ３〜ｙ４に囲まれた領域、領域Ｃ３はｘ３〜ｘ４およびｙ１〜ｙ２に囲まれた領域、領域Ｃ４はｘ３〜ｘ４およびｙ３〜ｙ４に囲まれた領域である。乗員Ａが、領域Ｃ１を指で触る又は指を近接させた場合は図示しないエアコンの設定温度が下げられ、領域Ｃ２を指で触る又は指を近接させた場合はエアコンの設定温度が上げられ、領域Ｃ３を指で触る又は指を近接させた場合は図示しないエアコンの送風量が増え、領域Ｃ４を指で触る又は指を近接させた場合はエアコンの送風量が減るといった操作が可能となっている。

ここで撮像処理部５０において実行される乗員Ａの指が透明ＥＬパネル２０のどの領域を操作（触る又は近接させる）しているか判定するアルゴリズムについて説明する。図７に示すように、画像が表示された透明ＥＬパネル２０を乗員Ａが指で触る、又は指を近接させたとする。このとき図８に示すように、カメラ１０の撮像において、指で触った又は指を近接させた領域は、ＥＬ素子２２から直接カメラ１０に入力される光と指に反射した反射光をあわせた明度となり、指で触った又は指を近接させていない領域はＥＬ素子２２から直接カメラ１０に入力された光のみの明度となる。すなわち、撮像において、指で触る又は指を近接させた領域は明るく表示され、指で触っていない及び指を近接させていない領域は明るく表示されない。この撮像の例を図９に示す。図９では“ＤＯＷＮ”との発光領域の“ＯＷＮ”の部分を乗員Ａの指が触っている。このため“Ｄ”の部分よりも“ＯＷＮ”の部分の明度が高くなっている。

図１０に、本発明者の実験により得られた透明ＥＬパネル２０を発光させた場合における、指と透明ＥＬパネル２０との距離（横軸、単位ｃｍ）と、撮像の明度（縦軸、範囲は０〜２５５）との関係を表す。なお、この図１０のうち実線が乗員Ａ側に光源（例えば昼間の車内）が存在した場合、破線が乗員Ａ側に光源（例えば夜間の車内）がない場合の関係である。この図１０に示すように、透明ＥＬパネル２０と指との距離が１ｃｍ程度まで近接した時点で、撮像の明度が急激に高まる。すなわち、明度が所定値以上（図１０の場合には１８５以上）の領域は、乗員Ａの乗員Ａの指が透明ＥＬパネル２０を触っている又は指が近接していると推定することができる。

このため撮像処理部５０では、図１１のフローチャートに示す判定処理を行い、乗員Ａの指が透明ＥＬパネル２０を触っているか又は指が近接しているか、触っている又は近接している場合にはどの領域（Ｃ１〜Ｃ４）に触っている又は近接しているかを判定する。

まず、ステップＳ１０１においては、カメラ１０から撮像を取得する。ステップＳ１０１に続くステップＳ１０２では、撮像の各画素に対して明度が閾値以上（図１０の場合には１８５以上）の領域を白領域（明度＝２５５）、閾値未満の領域（図１０の場合には１８５未満）を黒領域（明度＝０）とする２値化処理を行う（判定手段）。図１２は、撮像である図９を２値化処理した結果である。この図１２では、透明ＥＬパネル２０で発光していた領域のうち乗員Ａの指が透明ＥＬパネル２０に触れている又は近接している領域“ＯＷＮ”が白領域となっている。

ステップＳ１０１に続くステップＳ１０３では撮像において、白領域がＣ１〜Ｃ４のいずれかの領域に存在するか否かを判定する分岐処理を行う（位置検出手段）。もし、白領域がＣ１〜Ｃ４のいずれかの領域に存在する場合にはステップＳ１０４へ進み（透明ＥＬパネル２０に指が触れている又は近接している）、白領域がＣ１〜Ｃ４のいずれかの領域に存在しない（透明ＥＬパネル２０に指が近接していない）場合にはステップＳ１０１に戻る。このステップＳ１０４では、Ｃ１〜Ｃ４のうちどの領域に白領域が存在しているかを判定し、その判定結果（どの領域か）を図示しないエアコンＥＣＵに乗員Ａの指位置情報を出力し、ステップＳ１０１に戻る。

以上の構成により、赤外線光源などを別途設けることなく、画像を表示可能な透明度の高い構造を有しながら、乗員Ａの指の位置検出を行うことができる。

なお、２値化時の閾値を明度＝２２０に設定した場合、指と透明ＥＬパネル２０との間の距離が０．２ｃｍ程度と非常に近くなるため、より精度良く指位置の検出を行うことができる。

また、手袋などで乗員Ａの指が被覆されていない場合、透明ＥＬパネル２０を指で押圧すると、指の押圧面の色が白くなる（押圧面の明度が明るい方向に変化する）。具体的には、人間の指の腹の色が肌色である場合、押圧する力が強い程、この肌色がより白くなる。換言すると、人間の指は指の皮膚（肌）の色と指の血管を流れる血液の色とが合わさって、赤みがかかった肌色をしている。ところが、指が押圧された場合、指の血管を流れている血液は、その押圧力によって血管における押圧されている領域から押圧されてない領域へと移動することになる。したがって、指の押圧面は、赤みがかかった肌色から血液の色の色が抜けた白っぽい肌色となる。本発明においては、指の押圧面の色が白くなるとは、このような血液の色の色が抜けた白っぽい肌色になることを示している。

そして指の押圧面が白い（明度が明るい）程、非押圧面に比べて、透明ＥＬパネル２０からの光をより反射しやすい。このため２値化時の閾値を明度＝２４０に設定すると、乗員Ａの指が透明ＥＬパネル２０のどの部分を押圧しているかを判定することが可能である。また、２値化ではなく３値化（例えば第１閾値を２２０とし第２閾値を２４０とする）すれば、指位置だけではなく、押圧力を２段階で検出することが可能である（操作状態検出手段）。図７において、押圧力を検出可能な場合、押圧力が高いと検出された場合にはブロアの風量を大幅に下げる、押圧力が小さいと検出された場合にはブロアの風量を小幅に下げる等の処理をすることができる。なお、２値化する場合であれば撮像処理部５０の処理を簡易化でき、３値化以上とする場合であれば押圧力や透明ＥＬパネル２０と指との距離を検出することができる。

また、図１０において示したように、乗員Ａ側に光源（例えば昼間の車内）が存在した場合と、破線が乗員Ａ側に光源（例えば夜間の車内）が存在した場合とでは、乗員Ａの指と透明ＥＬパネル２０との距離と、カメラ１０の撮像の明度との関係が異なる。そこで、撮像処理部５０においては、図示しない車両の光センサ又は前照灯のＯＮ／ＯＦＦ状態に応じて、２値化の閾値を変更すると、さらに検出精度を向上することができる。具体的には、乗員Ａ側に光源が存在していると推定された場合（例えば光センサの検出値が昼間を示している、又は、前照灯がＯＦＦ）の閾値を、乗員Ａ側に光源が存在していないと推定された場合（例えば光センサの検出値が夜間を示している、又は、前照灯がＯＮ）の閾値よりも低く設定すると良い。なお、光センサを用いる場合には、光センサの出力に比例して、閾値を変化させても良い。この場合、少しずつ暗くなる日没時などであっても、精度良く指位置を検出することができる。

（第２の実施の形態）
実施例２について、図１３〜図１５を用いて説明する。この実施例２は、実施例１で指位置検出に用いた発光時の撮像だけではなく、非発光時の撮像も用いることで、指位置検出の精度を向上している点で実施例１と異なる。なお、前述の実施例１と同等の構成については、実施例１と同様の符号を付し、本実施例２における説明を省略する。

本実施例２において、カメラ１０は透明ＥＬパネル２０に画像が表示されている時点で撮像を記録、次に、透明ＥＬパネル２０に画像が表示されていない時点で撮像を記録という２回の撮像記録を１サイクルとし、このサイクルを繰り返している。

図１３は撮像処理部５０でなされる画像処理の流れを表し、図１４（ａ）〜（ｄ）はこの画像処理中の撮像および処理画像を示している。まず、撮像処理部５０では、同一サイクルの発光時の撮像（図１４（ａ））から、非発光時の撮像（図１４（ｂ））を減算する（差分画像処理手段）。具体的には、発光時の撮像の各画素値（明度）から、対応する非発光時の撮像の各画素値（明度）を減算している。図１４（ｃ）は、この減算処理の結果得られた差分画像である。次にこの差分画像（図１４（ｃ））を２値化することにより、図１４（ｄ）のような乗員Ａの指で押圧、又は透明ＥＬパネル２０に近接することで撮像に透明ＥＬパネル２０からの反射光の明度が高く記録された箇所（白領域）を抽出することができる。そして、前述の実施例１の図１１のステップＳ１０２と同様に、この明度が高く記録された白領域がＣ１〜Ｃ４のいずれかの領域に存在するか否かを判定する分岐処理、および、白領域がＣ１〜Ｃ４のいずれかの領域に存在する場合にはＣ１〜Ｃ４のどの領域に存在するかを判定することで、図示しないエアコンＥＣＵに乗員Ａの指位置情報を出力することができる。

図１５を用いて、２値化画像に複数の白領域が存在する場合の指位置の判定方法について述べる。まず図１５に示す２値化画像の各画素のうち互いに連結（隣接）している白の領域に連番を付与する。具体的には、図１５に示すように２値化により白となった白画素の塊に、Ｄ１、Ｄ２、Ｄ３といったように番号を付与する。なお、白画素の塊にラベリングする方法は、周知の画像処理方法を用いて行うことができる。さらに、このような各塊Ｄ１、Ｄ２、Ｄ３に対して数１のような演算処理を行い、各塊Ｄ１、Ｄ２、Ｄ３の重心位置を演算する（重心位置検出手段）。

但しｎは画素数、ＸｉはＸ軸方向の画素番号、ＹｉはＹ軸方向の画素番号
そして、各塊Ｄ１、Ｄ２、Ｄ３の重心が、白領域がＣ１〜Ｃ４の各領域に存在するか否かを判定することで、複数の白領域が２値化画像に存在する画像から複数の指位置を検出することができる。なお、言うまでも無く前述の実施例１のように、発光時の撮像を２値化して指位置を検出する方法であっても、図１５および数１のような方法を用いれば、同時に複数の指位置を検出することができる。

このように、同一サイクルの発光時の撮像と非発光時の撮像との差分画像を２値化して、指位置を検出する点を最大の特徴とする実施例２は、前述の実施例１よりも精度良く指位置情報を検出可能である。例えば、本実施例２において、カメラ１０に外乱光が入射された場合、この外乱光は発光時の撮像および非発光時の撮像の両方に明度の高い領域として記録される。そして差分画像を生成した際には、この外乱光により明度が高くなった領域は相殺され、発光時の撮像のみに記録された指による反射も白領域のみが明度の高い領域として残る。このため外乱光が入射されるような環境下においても、実施例１の構成よりも精度良く指位置を検出することができる。

（第３の実施の形態）
この実施例３は、透明ＥＬパネル２０のリセット期間に非発光時の撮像を記録する点で、前記の各実施例が透明ＥＬパネル２０の発光時の撮像を表示期間で、非発光時の撮像を非表示期間において記録していた点と異なる。

本実施例３では、非発光時の撮像の記録は、リセット期間に行う。リセット期間においては全ＥＬ素子２２が発光していないため、図１４（ｂ）の撮像を得ることができる。この場合、カメラ１０のシャッタスピードは、リセット期間以下とであることが望ましい。

ここで、シャッタスピードを極端に短くし、例えば走査線１本の走査期間以下とすると、カメラ１０の撮像には１個のＥＬ素子２２の発光状態しか記録することができない。このため、撮像処理部５０にて、発光する全走査線の走査期間中に記録された撮像を合算することにより、図１４（ａ）の撮像を得ることができる。

このようにして得られた２種類の撮像に対して、前述の撮像処理部５０の処理を行うことで、前述の各実施例と同様の作用効果を奏することができる。

さらには、前述の各実施例のように、非表示期間を設ける必要が無いため、透明ＥＬパネル２０に表示された画像がちらつくことを抑制することができる。

なお、カメラ１０のシャッタスピードが変更可能な場合には、非発光時の撮像を行なう際のシャッタスピードはリセット期間よりも短くし、発光時の撮像を行なう際のシャッタスピードはリセット期間よりも長く、かつ、発光する全走査線の走査期間以下としても良い。

（その他の実施例）
以下、図１６〜図１８を用いて、発光時の撮像、または差分画像において、白領域が分断された場合の検出処理について述べる。図１６に示すように、透明ＥＬパネル２０に四角形領域を発光させ、例えば文字などの部分を非発光領域とし、乗員Ａの指がこの文字領域“２”と四角形領域との両方を触った又は指を近接させたとする。この時、発光時の撮像として図１７（ａ）の撮像、非発光時の撮像として図１７（ｂ）の撮像、これらの撮像を減算した差分画像として図１７（ｃ）の画像、差分画像を２値化して得られた画像として図１７（ｄ）の画像を得ることができる。図１７（ｄ）に示すように、乗員Ａの指が発光領域に囲まれた非発光領域“２”を触っている又は指を近接させている為、２値化後の白領域が分断されている。このような場合、図１７（ｄ）の白領域をｎ回（ｎ＝１以上の自然数）膨張させ図１８（ａ）のような画像を得た後、さらに図１８（ａ）の画像をｎ回収縮させる（クロージング処理手段）。このようなクロージング処理を行うことで、図１８（ｂ）のように、分断された白領域を連結することができる。そして、この図１８（ｂ）に基づき、実施例１の図１１のステップＳ１０３以下の処理を行うことで、指位置を検出することができる。

このような処理を行うことで、透明ＥＬパネル２０に表示する画像が発光領域と非発光領域とが混在するような画像であっても、指位置を検出することができる。また、実施例２で述べたような複数本の指を同時に検出する場合にも、本処理を用いることができる。

なお、前述の各実施例では、乗員Ａに提示する画像を表示する領域は透明ＥＬパネル２０に表示すると説明したが、透明ＥＬパネル２０だけではなく例えばインストゥルメンタルパネルやメータパネル、ウィンドシールドディスプレイ等に透明ＥＬパネル２０に表示した画像と同じ画像を表示するとともに、撮像処理部５０により検出された乗員Ａの指位置を表示しても良い。このような構成とした場合、乗員Ａは透明ＥＬパネル２０を見ながら操作を行うことも可能であるし、インストゥルメンタルパネルやメータパネル、ウィンドシールドディスプレイを見ながら操作を行うこともできる。

前述の各実施例で用いた図面では、カメラ１０を透明ＥＬパネル２０の真下に配置していたが、このカメラ１０は透明ＥＬパネル２０の表面２０ａ（乗員Ａ側の面）を撮影できれば良い。このため、例えば乗員Ａから見えないセンタコンソール内（透明ＥＬパネル２０と後部座席との間）に配置し、透明ＥＬパネル２０の表面２０ａを斜めから撮影するように配置しても良い。この場合、撮像内では透明ＥＬパネル２０が台形形状となってしまうが、この台形形状の撮像に対して実施例１または実施例２などの画像処理方法を行う、または台形形状の撮像をアフィン変換する等した後に実施例１または実施例２などの画像処理方法を行っても良い。このように透明ＥＬパネル２０の表面２０ａを斜めから撮影可能な場所にカメラ１０を配置した場合、乗員Ａにカメラ１０を見せずに前述の各実施例と同様の効果を奏することができる。

前述の各実施例では、透明ＥＬパネル２０とカメラ１０との間に特段の部材を設けていなかったが、透明ＥＬパネル２０とカメラ１０との間に反射防止フィルタを設けるなどしても良い。

前述の各実施例では、カメラ１０の撮像を撮像処理部５０にて２値化又は３値化以上に画像処理していたが、この処理はカメラ１０の内部で行っても良い。例えば、カメラ１０から出力される撮像が２値又は３値以上の階調により表現されていても良い。

実施例１に示す位置検出装置の概略構成図である。 実施例１に示すＥＬ素子の断面図である。 実施例１に示すＥＬ素子の鳥瞰図である。 実施例１に示すＥＬ素子とドライバＩＣとの電気的接続を示す回路図である。 実施例１で用いられる透明ＥＬパネルに表示する画像である。 施例１で用いられる透明ＥＬパネルにおける領域Ｃ１〜Ｃ４を示す図である。 実施例１で用いられる透明ＥＬパネルと指位置との関係を示す図である。 実施例１で用いられるカメラに入射される光を示す概念図である。 実施例１で用いられるカメラの撮像である。 実施例１で用いられる乗員の指と透明ＥＬパネルとの距離と、撮像の明度との関係を表す図である。 実施例１で用いられるフローチャートである。 実施例１で用いられる撮像を２値化した後の画像である。 実施例２で用いられる画像処理の流れを示す図である。 実施例２で用いられる撮像・画像であって、図１４（ａ）は発光時の撮像、図１４（ｂ）は非発光時の撮像、図１４（ｃ）は差分画像、図１４（ｄ）は２値化画像である。 実施例２で用いられるラベリングの説明を行う図である。 その他の実施例で用いられる透明ＥＬパネルに表示される画像である。 その他の実施例で用いられる撮像・画像であって、図１７（ａ）は発光時の撮像、図１７（ｂ）は非発光時の撮像、図１７（ｃ）は差分画像、図１７（ｄ）は２値化画像である。 その他の実施例で用いられる撮像・画像であって、図１８（ａ）は２値化画像を膨張させた画像、図１８（ｂ）は図１８（ａ）を収縮させた画像である。

符号の説明

１ 位置検出装置
４ 走査電極駆動回路
６ データ電極駆動回路
１０ カメラ
２０ 透明ＥＬパネル
２０ａ 表面
２０ｂ 裏面
２１ ガラス基板
２２ ＥＬ素子
２２ａ 第１透明電極
２２ｂ 第１絶縁層
２２ｃ 発光層
２２ｄ 第１絶縁層
２２ｅ 第２透明電極
２３ スペーサ
２４ 背面板
２５ 空隙部
３０ 表示画像処理部
４０ 画像メモリ
５０ 撮像処理部

Claims (8)

1. 表示面に画像を表示すると共に、当該表示面を操作物体によって操作される透明ＥＬディスプレイと、
   前記表示面の反対面から前記透明ＥＬディスプレイを撮像する撮像部と、
   前記撮像部にて撮像された画像を処理する画像処理部とを備え、
   前記画像処理部は、前記撮像部にて撮像された画像の明度が所定の閾値をこえたか否かによって、前記透明ＥＬディスプレイが前記操作物体によって操作されたか否かを判定する判定手段と、
   前記判定手段が操作されたと判定した場合、前記操作物体が操作している前記透明ＥＬディスプレイの位置を検出する位置検出手段と、を備え、
   前記画像処理部は、複数の明度を示す値を閾値として用いて、前記操作物体と前記透明ＥＬディスプレイとの距離及び前記操作物体による前記透明ＥＬディスプレイに対する押圧力の少なくとも一方を段階的に検出する操作状態検出手段を備え、
   前記位置検出手段は、前記撮像部にて撮像された画像において前記所定の閾値をこえた明度の部分が前記透明ＥＬディスプレイの予め決められた領域に存在するか否かによって位置を検出し、
   前記画像処理部は、前記透明ＥＬディスプレイが画像を表示しているときの前記撮像部にて撮像された画像と、前記透明ＥＬディスプレイが画像を表示していないときの前記撮像部にて撮像された画像との差分画像処理を実行する差分画像処理手段を備え、
   前記判定手段は、前記撮像部にて撮像された画像として前記差分画像処理手段にて差分画像処理された画像を用い、当該画像の明度が所定の閾値をこえたか否かによって、前記透明ＥＬディスプレイが前記操作物体によって操作されたか否かを判定することを特徴とする位置検出装置。
2. 前記透明ＥＬディスプレイが前記操作物体によって操作されたか否かを判定する閾値は、前記操作物体と前記透明ＥＬディスプレイとが所定の距離になった場合の明度を示す値を含むことを特徴とする請求項１に記載の位置検出装置。
3. 前記操作物体はユーザの指であり、前記透明ＥＬディスプレイが前記操作物体によって操作されたか否かを判定する閾値は、前記ユーザの指が前記透明ＥＬディスプレイを押圧したことによって変化する当該ユーザの指の明度を示す値を含むことを特徴とする請求項１に記載の位置検出装置。
4. 前記閾値は、夜間と昼間とで変更することを特徴とする請求項１乃至請求項３のいずれか一項に記載の位置検出装置。
5. 前記撮像部は、前記透明ＥＬディスプレイのリセット期間に前記透明ＥＬディスプレイが画像を表示していないときの画像を撮像することを特徴とする請求項１乃至４のいずれか一項に記載の位置検出装置。
6. 前記画像処理部は、前記撮像部にて撮像された画像の明度が所定の閾値をこえた領域の重心位置を検出する重心位置検出手段を備え、前記位置検出手段は、この重心位置を用いて前記操作物体が操作している前記透明ＥＬディスプレイの位置を検出することを特徴とする請求項１乃至請求項５のいずれか一項に記載の位置検出装置。
7. 前記画像処理部は、前記撮像部にて撮像された画像の明度が所定の閾値をこえた領域を所定回数膨張させた後に所定回数収縮させるクロージング処理を実行するクロージング処理手段を備えることを特徴とする請求項１乃至請求項６のいずれか一項に記載の位置検出装置。
8. 前記透明ＥＬディスプレイの少なくとも１辺を透過率８０％以下の部分を持たないようにしたことを特徴とする請求項１乃至請求項７のいずれか一項に記載の位置検出装置。

Images