JP2016049260A - 車載用撮像装置 - Google Patents

Abstract

【課題】 車両の走行条件に応じた最適な自動露光制御を行うことができる車載用撮像装置を提供する。【解決手段】 車室内に設定されたカメラで搭乗者の顔画像が取得され、この顔画像の瞳孔の位置と角膜反射光の位置を検出し、瞳孔と角膜反射光とから視線方向が算出される。自動露光制御のための条件を予め決めておき、その露光条件に応じてカメラの露光時間（シャッタ時間）などが制御される。晴れた昼間の走行区間（ｉ）では、自動露光制御のための画像輝度の参照時間を短くし、車内輝度の変動に追従できるようにする。曇りでの走行区間（ｉｉ）と夜間での走行区間（ｉｉｉ）では、自動露光制御のための画像輝度の参照時間を長くして、対向車のヘッドライトの光Ｌ５などで自動露光が反応しないようにする。【選択図】図５

Description

本発明は、車両内に配置されて、搭乗者の目の画像や顔画像などを取得する車載用撮像装置に関する。

特許文献１に瞳孔検出方法に関する発明が記載されている。
この瞳孔検出方法は、人の目に光を与える光源と、撮像すべき光を分離するハーフミラーとを設け、一方の分離光を、波長８５０ｎｍを透過させるバンドパスフィルタに透過させて第１のイメージセンサで取得し、他方の分離光を、波長９５０ｎｍを透過させるバンドパスフィルタに透過させて第２のイメージセンサで取得する。

第１のイメージセンサでは明瞳孔画像を取得でき、第２のイメージセンサでは暗瞳孔画像を取得できるので、その画像差分から瞳孔を検出することができる。また、瞳孔部の内部に角膜反射が存在するときにも、暗瞳孔画像からこの角膜反射を検出でき、瞳孔部の画像と角膜反射の画像とから、視線検出が可能となっている。この発明は、同一の光源を点灯した状態で明瞳孔画像と暗瞳孔画像を得ているため、明瞳孔画像と暗瞳孔画像とをタイミングを一致させて取得できるというものである。

また、この種の瞳孔検出方法では、太陽光などの周囲の光環境によって顔画像を正確に取得できないことがあり、角膜反射も正確に検出できないことがある。そこで、特許文献１に記載の瞳孔検出方法では、明瞳孔画像ならびに暗瞳孔画像の他に無照明画像を取得し、無照明画像を明瞳孔画像と暗瞳孔画像から差分することで、周囲の光環境の影響を低減させて、前記光源から発せられた光の照射で生じる明暗部分だけを取り出そうとしている。

特開２００８−２４６００４号公報

特許文献１に記載された瞳孔検出方法は、周囲の光環境の影響を受けにくいものとされているが、ハーフミラーと２つのイメージセンサを使用した特殊なカメラを使用することが必要になって構造が複雑になる。また、明瞳孔画像と暗瞳孔画像の他に、無照明画像を得なくてはならないため、画像の取得タイミングの設定などが難しくなる。

また、この種の瞳孔検出方法は自動車の車内で行なわれることになるが、車外の外光状態は時間と共に複雑に変化する。例えば、晴れの昼間の走行では、車内に入る外光の光量が多く車内がきわめて明るくなるが、同じ昼間の走行でも天候が曇りになると、車内に入る外光の量がかなり低下する。さらに、夜間の走行になると、車内の光量は昼間とは比較にならないほど低下する。よって、単に無照明画像を使用した補正のみでは、車外の外光の大きな変化に追従させるのが困難であり、正確な画像を取得し続けるのが難しい。

本発明は従来の課題を解決するものであり、従来と同じカメラを使用しながら、自動車の走行時刻や天候などで大幅に変化する車内の光環境に追従して画像を適正な露光状態で検出できるようにした車載用撮像装置を提供することを目的とする。

本発明は、搭乗者の目を含む画像を撮像するカメラと、前記カメラで撮像した画像を処理する制御部と、が設けられた車載用撮像装置において、
前記制御部には、前記カメラの露光を自動制御する露光制御部と、車外の外光状態を判別する外光状態判別部と、複数の露光制御条件を格納する記憶部と、前記外光状態の明るさの変化に基づいていずれかの前記露光制御条件を選択する選択部とが設けられ、
前記露光制御部では、選択された前記露光制御条件に基づいて前記カメラの露光を自動制御することを特徴とするものである。

本発明の車載用撮像装置は、露光制御部によってカメラの露光が自動制御される。このときの露光制御条件が複数に区分されており、外光の状態に応じて、いずれかの露光制御条件が選択されて自動露光制御が行われる。複数の露光制御条件を予め決めておくことにより、車外の外光の変化や、昼間と夜間での外光の大幅な変化に追従するように、カメラの自動露光制御を行うことができる。

本発明の車載用撮像装置は、前記露光制御条件は、外光状態が晴れの昼間と判断されたときに選択される条件（Ａ）と、外光状態が曇りの昼間と判断されたときに選択される条件（Ｂ）と、外光状態が夜間と判断されたときに選択される条件（Ｃ）とを含んでいることが好ましい。

本発明の車載用撮像装置では、前記露光制御条件は、過去の時間Ｔｘの画像の輝度レベルに応じて露光の自動制御を行うものであり、前記外光状態が暗くなるにしたがって前記時間Ｔｘが長くなるように設定されている。

すなわち、外光が明るいときは、車両の走行方位の変化や、太陽光を遮断する建物の存在などにより、車内の明るさが早い周期で変化しやすい。そこで、自動露光制御のためのサンプリング時間を短くすることで、車内の明るさの細かな変化に追従して自動露光制御を行なうことができる。一方、外光があまり明るくないとき、または暗いときは、車内の明るさは大きく変化しないはずである。そこで自動露光のためのサンプリング時間を長くすることにより、他の車両のヘッドライトなどのように瞬時に差し込むような光により自動露光が影響されるのを防止できるようになる。

本発明は、外光状態が明るいときに選択される露光制御条件では、過去のフレームの画像の輝度に応じて、露光ゲインも自動制御されることが好ましい。

本発明の車載用撮像装置は、前記外光状態判別部では、前記カメラで取得された画像に含まれる車外景色の輝度から外光状態を判別する。

あるいは、本発明の車載用撮像装置は、前記外光状態判別部では、車外に設けられた外光検知カメラまたは光センサーで取得された画像の輝度から外光状態が判別される。

さらには、前記外光状態判別部は、ＧＰＳ信号が外光状態の判別に使用され、時計情報が外光状態の判別に使用されることが好ましい。

本発明の車載用撮像装置は、前記カメラで目を含む画像の明瞳孔画像と暗瞳孔画像を撮像し、明瞳孔画像と暗瞳孔画像との差分画像から瞳孔画像が検出されるものとして構成できる。

本発明では、例えば昼間と夜間、晴れの日と曇りの日（雨の日）のように、車外の明るさが大幅に変化しても、車内に入る光の変化に対応させて、カメラの自動露光制御を最適に追従させることができるようになる。

本発明の実施形態の車載用撮像装置の光源とカメラの配置の一例を示す正面図、 本発明の実施の形態の車載用撮像装置の回路ブロック図、 図２の回路ブロック図に含まれる自動露光制御装置の詳細を示す詳細ブロック図、 光源の点灯とカメラによる画像取得のタイミングを示すタイミングチャート図、 車外の外光状態の変化の一例を示す説明図、 人の目の視線の向きと車載用撮像装置との位置関係を示す説明図、 瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図、

（車載用撮像装置の構成）
図２に示すように、本発明の実施の形態の車載用撮像装置１は、一対の照明撮像部１０，２０と演算制御部ＣＣとから構成されている。図１と図６に示すように、照明撮像部１０と照明撮像部２０は、距離Ｌ１だけ離れて配置されている。距離Ｌ１は、例えば人の両目の距離とほぼ同等に設定される。

２つの照明撮像部１０，２０は、それぞれカメラ１３と、複数の第１の光源１１と複数の第２の光源１２とを有している。照明撮像部１０の光軸（カメラ１３の光軸）はＯ１であり、照明撮像部２０の光軸（カメラ１３の光軸）はＯ２である。第１の光源１１の発光光軸は光軸Ｏ１，Ｏ２に近い位置にあり、第２の光源１２の発光光軸は、第１の光源１１よりも、発光光軸Ｏ１，Ｏ２から離れた位置にある。

図６には、照明撮像部１０，２０と人の目４０との相対位置が模式的に示されている。照明撮像部１０，２０は、インストルメントパネルやウインドシールドの上部などに設置され、照明撮像部１０の光軸Ｏ１と照明撮像部２０の光軸Ｏ２が、共に対象者の目４０の付近に向くように設定されている。図６では、照明撮像部１０，２０が片目にのみ対向するように記載されているが、実際は、照明撮像部１０，２０と顔との距離が離れているため、照明撮像部１０，２０で、人の顔の両目の画像を取得できる。

第１の光源１１と第２の光源１２は、ＬＥＤ（発光ダイオード）を有している。第１の光源１１は、検知光として、波長８５０ｎｍまたはこれに近似した波長の赤外光（近赤外光）を発するものであり、第２の光源１２は波長９４０ｎｍの赤外光を発するものである。

８５０ｎｍまたはこれに近似した波長の赤外光（近赤外光）は、眼球内の水分で吸収されにくく、眼球の奥に位置する網膜まで到達して反射される光の量が多くなる。一方、９４０ｎｍの赤外光は、人の目の眼球内の水分で吸収されやすい。そのため、眼球の奥に位置する網膜に到達して反射される光量が少なくなる。なお、検知光としては、８５０ｎｍと９４０ｎｍ以外の波長の光を用いることも可能である。

カメラ１３は、撮像素子とレンズなどから構成されている。撮像素子は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などで構成される。撮像素子は、運転者の目を含む顔画像をレンズを経て取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。

演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、図２に示す各ブロックでは、予めインストールされたソフトウエアを実行することで演算が行われる。

演算制御部ＣＣには、光源制御部２１と画像取得部２２と、瞳孔画像検出部３０と、瞳孔中心算出部３３と、角膜反射光中心検出部３４、ならびに視線方向算出部３５が設けられている。

光源制御部２１は照明撮像部１０，２０のそれぞれにおいて、第１の光源１１の発光と第２の光源１２の発光の切換え、ならびに第１の光源１１と第２の光源１２の発光時間の制御などを行う。

画像取得部２２は、照明撮像部１０と照明撮像部２０にそれぞれ設けられた２のカメラ（撮像部材）からステレオ方式で顔画像をフレームごとに取得する。画像取得部２２で取得された画像は、フレームごとに瞳孔画像検出部３０に読み込まれる。瞳孔画像検出部３０は、明瞳孔画像検出部３１と暗瞳孔画像検出部３２の機能を有している。明瞳孔画像検出部３１で明瞳孔画像が検出され、暗瞳孔画像検出部３２で暗瞳孔画像が取得され、明瞳孔画像と暗瞳孔画像との差分が計算されて、瞳孔画像が明るく表示された画像が生成される。瞳孔中心算出部３３では、この瞳孔画像の中心が算出され、角膜反射光中心検出部３４は、暗瞳孔画像から角膜反射光を抽出し、その中心位置を算出する。そして、視線方向検出部３５では、瞳孔中心と角膜反射光中心とで視線方向が算出される。

演算制御部ＣＣには、自動露光制御装置５０が含まれている。自動露光制御装置５０は、画像取得部２２で取得されるフレーム毎の画像の輝度を検出して、カメラ１３の露光を自動で制御する。カメラ１３の露光の制御は、主に露光時間（シャッタ時間）の制御と、露光ゲインの制御である。

（明瞳孔と暗瞳孔）
図６は、対象者の目４０の視線の向きと照明撮像部１０，２０との関係を模式的に示す平面図である。図７は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。図６（Ａ）と図７（Ａ）は、対象者の視線方向ＶＬが照明撮像部１０の光軸Ｏ１と照明撮像部２０の光軸Ｏ２との中間に向けられている状態を示し、図６（Ｂ）と図７（Ｂ）は視線方向ＶＬが光軸Ｏ１方向へ向けられている状態を示している。

目４０は前方に角膜４１を有し、その後方に瞳孔４２と水晶体４３が位置している。そして最後部に網膜４４が存在している。

波長８５０ｎｍの検知光は、網膜４４に至って反射されやすいため、照明撮像部１０の第１の光源１１が点灯したときに、同じ照明撮像部１０に設けられたカメラ１３で取得される画像では、網膜４４で反射された赤外光が瞳孔４２を通じて検出され、瞳孔４２が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部３１で検出される。同様に、照明撮像部２０の第１の光源１１が点灯したときに、同じ照明撮像部２０に設けられたカメラ１３で取得される画像では、網膜４４で反射された赤外光が瞳孔４２を通じて検出され、瞳孔４２が明るく見える。

これに対して、波長９４０ｎｍの検知光は、網膜４４に至るまでに眼球内で吸収されやすいため、照明撮像部１０，２０のいずれの場合であっても、第２の光源１２が点灯したときにカメラ１３で取得される画像では、網膜４４から赤外光がほとんど反射されず、瞳孔４２が暗く見える。この画像が暗瞳孔画像として、暗瞳孔画像検出部３２で検出される。

一方、波長８５０ｎｍと波長９４０ｎｍの検知光はいずれも、角膜４１の表面で反射され、その反射光が明瞳孔画像検出部３１と暗瞳孔画像検出部３２の双方で検出される。特に暗瞳孔画像検出部３２では、瞳孔４２の画像が暗いため、角膜４１の反射点４５から反射された反射光が明るくスポット画像として検出される。

瞳孔画像検出部３０では、明瞳孔画像検出部３１で検出された明瞳孔画像から暗瞳孔画像検出部３２で検出された暗瞳孔画像の差分が求められ、瞳孔４２の形状が明るくなった瞳孔画像信号が生成される。この瞳孔画像信号が瞳孔中心算出部３３に与えられる。瞳孔中心算出部３３では、瞳孔画像の輝度分布を検出するなどの手法で、瞳孔４２の中心が算出される。

また、暗瞳孔画像検出部３２で検出された暗瞳孔画像信号は、角膜反射光中心検出部３４に与えられる。暗瞳孔画像信号には、角膜４１の反射点４５から反射された反射光による輝度信号が含まれている。角膜４１の反射点４５からの反射光はプルキニエ像を結像するものであり、図７に示すように、カメラ１３の撮像素子には、きわめて小さい面積のスポット画像が取得される。角膜反射光中心検出部３４では、スポット画像が画像処理されて、その輝度部分から、角膜４１からの反射スポット画像の中心が求められる。

瞳孔中心算出部３３で算出された瞳孔中心算出値と角膜反射光中心検出部３４で算出された角膜反射光中心算出値は、視線方向算出部３５に与えられる。視線方向算出部３５では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。

図６（Ａ）では、人の目４０の視線方向ＶＬが、２つの照明撮像部１０，２０の中間部に向けられている。このとき、図７（Ａ）に示すように、角膜４１からの反射点４５の中心が瞳孔４２の中心と一致している。これに対して、図６（Ｂ）では、人の目４０の視線方向ＶＬが、光軸Ｏ１の方向へ向けられている。このとき、図７（Ｂ）に示すように、瞳孔４２の中心と角膜４１からの反射点４５の中心とが位置ずれする。

視線方向算出部３５では、瞳孔４２の中心と、角膜４１からの反射点４５の中心との直線距離αが算出される（図６（Ｂ））。また瞳孔４２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔４２の中心と反射点４５の中心とを結ぶ線とＸ軸との傾き角度βが算出される。前記直線距離αと前記傾き角度βとから、視線方向ＶＬが算出される。

（光源の切換えと撮像タイミング）
次に、第１の光源１１と第２の光源１２の点灯の切換えタイミングと、カメラ１３による露光タイミングとを説明する。

図４には、一方の照明撮像部１０における光源１１，１２の点灯切換えのタイミングと、カメラ１３による露光タイミングが示されている。図４（Ａ）は、照明撮像部１０に設けられた第１の光源１１の点灯タイミングを示し、（Ｂ）は、照明撮像部１０に設けられた第２の光源１２の点灯タイミングを示している。（Ｃ）は、照明撮像部１０に設けられたカメラ１３による露光時間（シャッター時間）を示している。

図４（Ａ）において、タイミングｔ１で第１の光源１１が点灯すると、カメラ１３により明瞳孔画像となる画像Ｓ１が取得され、タイミングｔ２で第２の光源１２が点灯すると、カメラ１３により暗瞳孔画像となる画像Ｓ２が取得される。その後は、タイミングｔ３で第１の光源１１が点灯したときに、カメラ１３により明瞳孔画像Ｓ３が取得され、タイミングｔ４で第２の光源１２が点灯したときに、カメラ１３で暗瞳孔画像Ｓ４が取得され、これが繰り返される。

図４（Ｃ）に示す１回の露光タイミングで１フレーム分（１コマ分）の画像が取得される。１秒間でのフレーム数（コマ数）は３０〜６０程度である。このコマ数により、カメラ１３で撮像される画像は時間的に見てほぼ動画として認識できる。

他方の照明撮像部２０においても、第１の光源１１と第２の光源１２の点灯タイミングと、カメラ１３の露光タイミングを設定することで、明瞳孔画像と暗瞳孔画像とを取得できる。

照明撮像部１０による明瞳孔画像と暗瞳孔画像の取得と、照明撮像部２０による明瞳孔画像と暗瞳孔画像の取得撮像は交互に行われ、２つのカメラ１３，１３を用いたステレオ方式によって、両目の瞳孔画像の中心と角膜反射光の中心とが三次元座標上のデータとして検出される。

（自動露光調整）
図３には、演算制御部ＣＣに含まれている自動露光制御装置５０の詳細が示されている。

自動露光制御装置５０は、輝度検出部５１と露光制御部５２を有している。画像取得部２２で取得されるフレーム毎の画像の輝度が輝度検出部５１で検出され、露光制御部５２では、それ以前に取得された画像の輝度に基づいて、その後の撮像における露光状態が最適となるように、カメラ１３（ならびに画像取得部２２）が制御され、露光時間（シャッタ時間）と露光ゲインとが調整される。

図３に示すように、自動露光制御装置５０に、露光条件判定部５３と外光状態判別部５４が含まれている。外光状態判別部５４によって、走行している車両の車外の外光状態が判別され、露光条件判別部５３では、判別された外光状態に応じて、露光制御部５２で行われる自動露光制御においてどのような露光条件を設定すべきかが判定される。

外光状態判別部５４は、例えば、画像取得部２２で取得された搭乗者の顔を含む画像の中で窓を通して車外の景色が写っている領域を検索し、車外の景色の輝度から、現在の外光状態が判別される。または、自動車の外部に外光検知カメラまたは光センサーが配置されているときには、これらで検知された外光の光強度から、現在の外光状態が判別される。また、時計によりその時刻を参照して外光状態判別部５４で外光状態が判定されてもよい。時刻により、朝の時間帯であるか、昼間であるか、夕暮れ時であるか夜間であるかを判別できる。さらにＧＰＳやその他のナビゲーション情報を使用して、車内の光量を推定することができる。

前記外光状態は、複数種類の判別手段を使用して総合的に判別することができる。例えば、窓から見える景色の輝度や、外光検知カメラまたは光センサーの検知出力から、外光がきわめて明るいと認識されているときに、時計情報を併用することで、昼間で天候が晴れであると判別できる。また、前記いずれかの手段で外光状態が昼間に相当する明るさであると判定されているときに、時計情報によって朝日が当たる時刻または夕日が当たる時刻であると判定されたときに、ナビゲーション情報で車両の走行方位を判定できれば、撮像している顔に朝日または夕日（西日）が当たっている状態であるか否かを判別することができる。

図３に示すように、自動露光制御装置５０には、記憶部５５が設けられ、記憶部５５に複数の露光制御条件（Ａ）〜露光制御条件（Ｃ）を決める条件データが格納されている。露光条件判定部５３は、外光状態判別部５４で判別された車外の外光状態に応じて、露光条件選択部５４を制御する。この制御動作により、露光条件選択部５４は、複数の露光制御条件（Ａ）〜露光制御条件（Ｃ）を決める条件データのいずれかを記憶部５５から読み出して露光制御部５２に与える。

以下、露光制御部５２で実行される自動露光制御について説明する。
自動露光制御では、輝度検出部５１において、過去の所定の参照時間Ｔｘ（例えば１〜１０秒間程度）内に、画像取得部２２で取得された各フレームの画像の輝度の平均値や輝度のピーク値または輝度の標準偏差などが輝度測定値として求められる。露光制御部５２では、予め理想とされる画像の輝度、例えば画像の輝度の平均値や画素毎の画像の分布などの理想値が決められており、前記輝度測定値に基づいて、その後に撮像される画像の輝度が前記理想値となるようにまたは理想値に近づくように、カメラ１３による露光時間（シャッタ時間）が決められる。また、先に取得された１フレーム分または数フレーム分の画像の測定輝度に基づいて、その後に取得される画像の輝度が理想値となりまたは理想値に近づくように露光ゲインも同時に調整することが可能である。

記憶部５５に記録されている複数の露光制御条件（Ａ）〜露光制御条件（Ｃ）とは、露光制御部５２で自動露光制御を行う際の前記参照時間Ｔｘを決め、また露光ゲインを調整すべきか否かを決めるための条件データである。

露光制御条件（Ａ）は、外光状態判別部５４において、車外の外光状態が昼間の晴れ状態であるときに選択される。図５は、横軸に時間を示し縦軸に車内に入る光量（光強度）を示している。図５の区間（ｉ）は、昼間の晴れ状態であるときの車内の光量の変化の一例を示している。昼間の晴れ状態では、車内に入る光量が多いが、車両が移動している場所に応じて車内に入る光量が大幅に変動する。図５に示す区間（ｉ）の例では、車両が木陰を通過しているときの車内光量がＬ１、トンネル内を通過しているときの車内光量がＬ２、陽当たりの良い場所を通過しているときの車内光量がＬ３である。車内光量Ｌ４は、ガード内を通過したときなどのように、短時間だけ車内光量が低下した状態を示している。

このように、晴れの昼間に走行しているときは、車内光の強度の変動幅が大きく、車内光量に変動が与える要素も多くなる。

そこで、露光制御条件（Ａ）では、前記参照時間Ｔｘが短く設定されており、例えば、図４に示す１秒間が参照時間Ｔｘに設定されている。１秒間に輝度検出部５１で検出された各フレームの画像の輝度の平均値や輝度のピーク値または輝度の標準偏差などが輝度測定値として求められ、露光制御部５２では、1秒間で得られた輝度測定値に基づいて、その後に撮像される画像の輝度が理想値となるようにまたは理想値に近づくように、カメラ１３による露光時間（シャッタ時間）が決められる。さらに露光制御条件（Ａ）では、先に取得された１フレーム分の画像の測定輝度（または複数フレーム分の画像の測定輝度）に基づいて、その後に取得される画像の輝度が理想値となるように露光ゲインも同時に調整するようにその条件が決められている。

このように、露光時間を自動制御するための参照時間（サンプリング時間）Ｔｘを短くし、さらに１フレームまたは数フレームの輝度のサンプリングに基づいて露光ゲインの調整も行うことで、図５の区間（ｉ）のように車内光量の変化が速く且つ変動幅が大きい場合であっても、顔画像を既に最適な輝度で取得でき、その結果、明瞳孔画像や暗瞳孔画像も精度良く検知でき、角膜からの反射光も安定して取得できるようになる。

露光制御条件（Ｂ）は、外光状態判別部５４において、車外の外光状態が昼間で天候が曇りと判別されたときに選択される。図５の区間（ｉｉ）は、昼間で曇りのときの車内の光量の変化の一例を示している。外光状態が昼間であっても天候が曇りであると、車内光量のピーク値が低く且つ走行条件に応じた光量の変動も緩やかである。

そこで、露光制御条件（Ｂ）では、前記参照時間Ｔｘがやや長く設定されており、例えば、図４に示す２秒間（あるいは３秒間）が参照時間Ｔｘに設定されている。また露光ゲインは固定値に設定されている。すなわち、２秒間または３秒間に輝度検出部５１で検出された各フレームの画像の輝度の平均値や輝度のピーク値または輝度の標準偏差などが輝度測定値として求められ、露光制御部５２では、この輝度測定値に基づいて、その後に撮像される画像の輝度が理想値となるようにまた理想値に近づくように、カメラ１３による露光時間（シャッタ時間）が決められる。

昼間であっても曇りであると、車内光量の変動が緩やかであるため、露光制御部５２では、車内光量の緩やかな変動に基づいて、露光時間を変化させることができる。露光時間に極端な変化がないため、常に最適な輝度の顔画像を安定して得られるようになる。

露光制御条件（Ｃ）は、外光状態判別部５４において、車外の外光状態が夜間であると判別されたときに選択される。図５の区間（ｉｉｉ）は、夜間の走行時での車内の光量の変化の一例を示している。夜間走行では、車内光量のピーク値が低く且つ走行中に大きく変動することはないが、対向車とすれ違ったときのヘッドライトの照射などに、Ｌ５で示すように、車内光量が瞬時に高くなることが頻繁に生じる。

そこで、露光制御条件（Ｃ）では、前記参照時間Ｔｘがさらに長く設定されており、例えば、５秒間から１０秒間程度が参照時間Ｔｘに設定されている。また露光ゲインは固定値に設定されている。すなわち、５秒間から１０秒間に輝度検出部５１で検出された各フレームの画像の輝度の平均値や輝度のピーク値または輝度の標準偏差などが輝度測定値として求められ、露光制御部５２では、この輝度測定値に基づいて、その後に撮像される画像の輝度が理想値となるようにまたは理想値に近づくように、カメラ１３による露光時間（シャッタ時間）が決められる。

このように、参照時間を長くとることで、対向車のヘッドライトが当たったときなどのような、瞬時に高くなる車内光量の変化Ｌ５が自動露光制御に影響を与えるのを防止できるようになる。

なお、前記露光制御条件（Ａ）（Ｂ）（Ｃ）は一例であり、さらに細かく露光制御条件を決めてもよい。例えば、顔に朝日や夕日（西日）が当たっているときに、参照時間Ｔｘを０．５秒程度に設定し、さらに１フレームの参照輝度ごとに露光ゲインを制御するなどの条件の設定が可能である。

（変形例）
また、前記実施の形態では、第１の光源１１が点灯したときに明瞳孔画像が得られ、第２の光源１２が点灯したときに暗瞳孔画像が得られるものとして説明した。ただし、本発明の他の実施の形態では、照明撮像部１０の第１の光源１１と、照明撮像部２０の第１の光源１１とを交互に点灯させ、いずれかの第１の光源１１が点灯しているときに、照明撮像部１０のカメラ１３と照明撮像部２０のカメラ１３で同時に顔画像を取得することで明瞳孔画像と暗瞳孔画像とを取得することが可能である。

例えば、照明撮像部１０の第１の光源１１を点灯させ、照明撮像部１０のカメラ１３で顔画像を撮影すると、第１の光源１１からの光が網膜４４で反射されてカメラ１３に戻りやすいために明瞳孔画像を取得できる。一方、照明撮像部１０の第１の光源１１を点灯させているときは、照明撮像部２０のカメラ１３では、その撮像光軸Ｏ２が、発光している光の光軸に対して離れた位置となるため、暗瞳孔画像が取得される。

すなわち、照明撮像部１０の第１の光源１１を点灯させたときは、照明撮像部１０のカメラ１３で明瞳孔画像が取得され、照明撮像部２０のカメラ１３で暗瞳孔画像が取得される。他方の照明撮像部２０の第１の光源１１を点灯させたときは、照明撮像部１０のカメラ１３で暗瞳孔画像が取得され、照明撮像部２０のカメラ１３で明瞳孔画像が取得される。

この方式においても、明瞳孔画像と暗瞳孔画像の輝度を検出することにより、前記実施の形態と同様にして、撮像条件を最適に設定することが可能である。

１０，２０ 照明撮像部
１１ 第１の光源
１２ 第２の光源
１３ カメラ（撮像部材）
２１ 光源制御部
２２ 画像取得部
３０ 瞳孔画像検出部
３１ 明瞳孔画像検出部
３２ 暗瞳孔画像検出部
３３ 瞳孔中心算出部
３４ 角膜反射光中心検出部
３５ 視線方向算出部
３６ 輝度検出部
３７ 輝度調整部
４０ 目
４２ 瞳孔
４５ 角膜の反射点
５０ 自動露光制御装置
５１ 輝度検出部
５２ 露光制御部
５４ 外光状態判別部
５３ 露光状態判定部
５５ 記憶部
Ｏ１，Ｏ２ 光軸

Claims (9)

1. 搭乗者の目を含む画像を撮像するカメラと、前記カメラで撮像した画像を処理する制御部と、が設けられた車載用撮像装置において、
   前記制御部には、前記カメラの露光を自動制御する露光制御部と、車外の外光状態を判別する外光状態判別部と、複数の露光制御条件を格納する記憶部と、前記外光状態の明るさの変化に基づいていずれかの前記露光制御条件を選択する選択部とが設けられ、
   前記露光制御部では、選択された前記露光制御条件に基づいて前記カメラの露光を自動制御することを特徴とする車載用撮像装置。
2. 前記露光制御条件は、外光状態が晴れの昼間と判断されたときに選択される条件（Ａ）と、外光状態が曇りの昼間と判断されたときに選択される条件（Ｂ）と、外光状態が夜間と判断されたときに選択される条件（Ｃ）とを含んでいる請求項１記載の車載用撮像装置。
3. 前記露光制御条件は、過去の時間Ｔｘの画像の輝度レベルに応じて露光の自動制御を行うものであり、前記外光状態が暗くなるにしたがって前記時間Ｔｘが長くなるように設定されている請求項１または２記載の車載用撮像装置。
4. 外光状態が明るいときに選択される露光制御条件では、過去のフレームの画像の輝度に応じて、露光ゲインも自動制御される請求項３記載の車載用撮像装置。
5. 前記外光状態判別部では、前記カメラで取得された画像に含まれる車外景色の輝度から外光状態を判別する請求項１ないし４のいずれかに記載の車載用撮像装置。
6. 前記外光状態判別部では、車外に設けられた外光検知カメラまたは光センサーで取得された画像の輝度から外光状態を判別する請求項１ないし４のいずれかに記載の車載用撮像装置。
7. 前記外光状態判別部では、ＧＰＳ信号が外光状態の判別に使用される請求項５または６記載の車載用撮像装置。
8. 前記外光状態判別部では、時計情報が外光状態の判別に使用される請求項５または６記載の車載用撮像装置。
9. 前記カメラで目を含む画像の明瞳孔画像と暗瞳孔画像を撮像し、明瞳孔画像と暗瞳孔画像との差分画像から瞳孔画像が検出される請求項１ないし８のいずれかに記載の車載用撮像装置。

Images