JP7571674B2 - 乗員の顔検出装置及び顔検出プログラム - Google Patents

Description

本発明は、乗員の顔検出装置及び顔検出プログラムに関する。

例えば自動車等の車両において乗員の状態を監視する乗員状態監視システムが供されている。ドライバの状態を監視するドライバ状態監視システムは、ドライバ席のヘッドレスト周辺を撮像する撮像部と、ドライバ席のヘッドレスト周辺に光を照射する照明部とを備える。ドライバ状態監視システムは、ドライバがドライバ席に着座している状態で、光が照射されたドライバの顔周辺を撮像部により撮像し、その撮像した画像に含まれるドライバの顔画像を解析してドライバの状態を監視する（例えば特許文献１参照）。

特許第６３７２３８８号公報

ドライバ状態監視システムは、顔画像から例えば脇見、閉眼、眠気等を判定し、その判定結果によりドライバが運転に適する運転適正状態であるか適さない運転不適状態であるか否かを判定する。ドライバ状態監視システムは、ドライバが運転不適状態であることを確定すると、例えばドライバ異常時対応システム（以下、ＥＤＳＳ（Emergency Driving Stop System）と称する）を発動したり自動運転による走行や高度運転支援システムによる走行を使用不可に設定したりする。

顔画像から運転適正状態であるか運転不適状態であるかを判定するには、乗員の頭部がヘッドレストの前方に存在しており、乗員の顔が正常位置に存在していることが前提となる。しかしながら、ドライバが例えば帽子や眼鏡やマスク等の装着物を装着していたり、手や飲食物等によりドライバの顔が遮られていたり、外乱光の影響が大きかったりすると、ドライバの顔周辺を撮像した画像に顔画像が存在しているにも拘らず、顔画像が存在していないと誤って確定する可能性がある。そうなると、ドライバが運転不適状態であると誤って確定し、ドライバ異常時対応システムを誤って発動したり自動運転による走行や高度運転支援システムによる走行を誤って使用不可に設定したりし、ドライバの安心安全を適切に確保することができなくなる。

本発明は、上記した事情に鑑みてなされたものであり、その目的は、乗員の顔が正常位置に存在しているか否かを適切に確定することができ、乗員の安心安全を適切に確保することができる乗員の顔検出装置及び顔検出プログラムを提供することにある。

請求項１に記載した発明によれば、画像取得部（２１）は、撮像部が乗員の座席のヘッドレスト周辺を撮像した画像の所定領域を取得する。顔画像判定部（２２）は、画像の所定領域に顔の特徴画像が存在しているか否かを判定し、乗員の顔画像が存在しているか否かを判定する。背景画像判定部（２３）は、画像の所定領域に背景画像が存在しているか否かを判定する。顔存在確定部（２６）は、顔画像判定部の判定結果により乗員の顔が正常位置に存在しているか否かを確定する。顔存在確定部は、画像の所定領域に乗員の顔画像が存在していると判定されると、乗員の顔が正常位置に存在していることを確定する。一方、顔存在確定部は、画像の所定領域に乗員の顔画像が存在していないと判定され、且つ画像の所定領域に背景画像が存在していると判定されると、乗員の顔が正常位置に存在していないことの信頼度が相対的に高いと設定し、信頼度が相対的に高いと設定した画像の所定領域の出現頻度が第１頻度以上である場合に、乗員の顔が正常位置に存在していないことを確定し、画像の所定領域に乗員の顔画像が存在していないと判定され、且つ画像の所定領域に背景画像が存在していないと判定されると、乗員の顔が正常位置に存在していないことの信頼度が相対的に低いと設定し、信頼度が相対的に高いと設定した画像の所定領域の出現頻度と信頼度が相対的に低いと設定した画像の所定領域の出現頻度とを合算した合算出現頻度が第１頻度よりも大きい第２頻度以上である場合に、乗員の顔が正常位置に存在していないことを確定する。

画像の所定領域に顔の特徴画像が存在していると判定し、乗員の顔画像が存在していると判定すると、乗員の顔が正常位置に存在していることを確定し、一方、画像の所定領域に乗員の顔画像が存在していないと判定すると、当該画像の所定領域に背景画像が存在しているか否かを判定し、その判定結果に基づいて乗員の顔が正常位置に存在していないことを確定するようにした。乗員の顔画像が存在しているか否かの判定結果に加え、背景画像が存在しているか否かの判定結果を用いることで、乗員の顔が正常位置に存在しているか否かを適切に確定することができ、乗員の安心安全を適切に確保することができる。

一実施形態を示し、ドライバ状態監視システムの機能ブロック図 ヘッドレストにおける枠を模式的に示す図 背もたれにおける枠を模式的に示す図 照明強度及び反射強度を模式的に示す図 照明強度及び反射強度を模式的に示す図 フローチャート フローチャート 信頼度が相対的に高いときの顔不在通知画面を示す図 信頼度が相対的に低いときの顔不在通知画面を示す図 ＥＤＳＳ発動時の警告画面を示す図 レベル２使用不可設定時の警告画面を示す図 レベル２使用不可設定の完了通知画面を示す図 レベル３使用不可設定時の警告画面を示す図 レベル３使用不可設定の完了通知画面を示す図 手動運転継続通知画面を示す図 ＥＤＳＳ発動の完了通知画面を示す図 ドライバ専用カメラにより撮像された画像を示す図 ドライバ専用カメラにより撮像された画像を示す図 乗員カメラにより撮像された画像を示す図 乗員カメラにより撮像された画像を示す図 乗員カメラにより撮像された画像を示す図

以下、一実施形態について図面を参照して説明する。
車両には乗員の状態を監視する乗員状態監視システムとしてドライバステータスモニタ（登録商標）（以下、ＤＳＭ（Driver Status Monitor）と称する）を含むドライバ状態監視システムが搭載されている。ドライバ状態監視システムは、顔画像から瞼の下がり度合、瞳孔の開き度合い、視線方向、視線の移動速度等に基づいて脇見、閉眼、眠気等を判定し、その判定結果によりドライバが運転に適する運転適正状態であるか適さない運転不適状態であるかを判定する。ドライバ状態監視システムは、ドライバが運転不適状態であることを確定すると、例えばＥＤＳＳを発動したり自動運転による走行や高度運転支援システムによる走行を使用不可に設定したりする。

図１に示すように、ドライバ状態監視システム１は、制御装置２と、ドライバ状態認識装置３と、車両情報認識装置４と、走行環境認識装置５と、ＨＭＩ（Human Machine Interface）６とを備える。ドライバの顔検出装置７は、ドライバ状態監視システム１の一部として構成され、制御装置２と、ドライバ状態認識装置３とを備えて構成される。ドライバの顔検出装置７は乗員の顔検出装置に相当する。

ドライバ状態認識装置３は、ドライバカメラ３１と、ＬＥＤ３２と、バックルセンサ３３と、着座センサ３４とを備える。ドライバカメラ３１は撮像部に相当し、ＬＥＤ３２は照明部に相当する。ドライバカメラ３１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを有するカメラであり、インスツルメントパネルの上面、メーターパネル、バックミラー、ステアリングコラム等に配置される。ドライバカメラ３１は、少なくともドライバ席のヘッドレスト周辺を含む方向を撮像方向とし、撮像した画像を制御装置２に出力する。ドライバカメラ３１の個数は複数でも良く、複数のドライバカメラ３１が同期して撮像動作を行う構成でも良い。

ＬＥＤ３２は、近赤外光を少なくともドライバ席のヘッドレスト周辺を含む範囲に出射する。即ち、ドライバがドライバ席に着座した状態では、ＬＥＤ３２から出射された近赤外光がドライバの顔周辺に照射され、近赤外光が照射されたドライバの顔周辺がドライバカメラ３１により撮像される。ＬＥＤ３２の個数は複数でも良く、複数のＬＥＤ３２が同期して照明動作を行う構成でも良い。

バックルセンサ３３は、シートベルト側の凸部形状部分がバックル側の凹部形状部分に刺さっている否かを検出し、その検出結果を制御装置２に出力する。着座センサ３４は、ドライバ席のシートの圧力分布を検出し、その検出した圧力分布を制御装置２に出力する。

車両情報認識装置４は、車速センサ４１と、舵角センサ４２と、アクセルセンサ４３と、ブレーキセンサ４４とを備える。車速センサ４１は、車両速度を検出し、その検出した車両速度を制御装置２に出力する。舵角センサ４２は、ハンドルの操舵角を検出し、その検出した操舵角を制御装置２に出力する。アクセルセンサ４３は、アクセルペダルの操作量を検出し、その検出した操作量を制御装置２に出力する。ブレーキセンサ４４は、ブレーキペダルの操作量を検出し、その検出した操作量を制御装置２に出力する。

走行環境認識装置５は、前方カメラ５１と、後方カメラ５２と、前方センサ５３と、後方センサ５４と、ナビゲーション装置５５と、Ｇセンサ５６とを備える。前方カメラ５１は、道路の路面上にペイントされている区画線等を含む車両前方を撮像方向とし、撮像した画像を制御装置２に出力する。後方カメラ５２は、車両後方を撮像方向とし、撮像した画像を制御装置２に出力する。前方センサ５３は、ミリ波センサ、レーダ、ライダ（ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging））等のセンサであり、車両前方の先行車両や歩行者等の物体を検出し、その検出結果を制御装置２に出力する。後方センサ５４は、ミリ波センサ、レーダ、ライダ等のセンサであり、車両後方の後続車両や歩行者等の物体を検出し、その検出結果を制御装置２に出力する。走行環境認識装置５は、前方センサ５３により検出された前方車両との距離に基づいて前方車両との相対速度を算出し、後方センサ５４により検出された後続車両との距離に基づいて後方車両との相対速度を算出する。

ナビゲーション装置５５は、ＧＰＳ（Global Positioning System）衛星から送信されたＧＰＳ信号に基づいてＧＰＳ位置座標を測位して車両現在位置を確定し、その確定した車両現在位置から目的地までの経路を算出し、その算出した経路を案内する等のナビゲーション処理を行う。尚、衛星測位システムとしては、ＧＰＳに限らず、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、ＢｅｉＤｏｕ、ＩＲＮＳＳ等の多様なＧＮＳＳ（Global Navigation Satellite System）を採用することができる。Ｇセンサ５６は、車両の前後方向、左右方向、上下方向の３次元の加速度を検出し、その検出結果を制御装置２に出力する。Ｇセンサ５６は、ナビゲーション装置５５が備えるセンサでも良いし、他の用途で搭載されているセンサでも良い。

ＨＭＩ６は、ディスプレイ６１と、スピーカ６２と、キャンセルスイッチ６３とを備える。ディスプレイ６１及びスピーカ６２は報知部に相当する。ディスプレイ６１は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等の平板型のディスプレイを有し、その平板型のディスプレイの前面にタッチパネルが形成されている。ディスプレイ６１は、ドライバやパッセンジャからのタッチパネルに対するタッチ操作を検出すると、そのタッチ操作に応じて画面を切換えたり画面にアイコンを表示したりする等の画面制御を行う。

ディスプレイ６１は、表示する情報の一つとしてドライバの姿勢の崩れ度合を示すステータスを５段階で表示する。ステータスは、数値が低いほど崩れ度合が低く、ドライバの姿勢が正常であり、ドライバが運転に適する運転適正状態であることを示し、数値が高いほど崩れ度合が高く、ドライバの姿勢が異常であり、ドライバが運転に適さない運転不適状態であることを示す。制御装置２は、ドライバの状態を示すドライバ状態信号をディスプレイ６１に出力することで、ステータスをディスプレイ６１に表示させる。ドライバは、ディスプレイ６１にステータスが表示されることにより、自分の運転姿勢を把握することができる。

スピーカ６２は、ナビゲーション装置５５やオーディオ装置等と共用されるスピーカである。制御装置２は、ドライバの状態を示すドライバ状態信号をスピーカ６２に出力することで、ステータスをスピーカ６２から音声出力させる。ドライバは、スピーカ６２からステータスが音声出力されることにより、自分の運転姿勢を把握することができる。

キャンセルスイッチ６３は、ドライバの状態の検出を一時的に中止するスイッチである。トリップ前にキャンセルスイッチ６３が操作されると、その操作された直後の１トリップの期間でドライバの状態の検出が中止される。又、トリップ中にキャンセルスイッチ６３が操作されると、キャンセルスイッチ６３が操作されている期間、又はキャンセルスイッチ６３が操作されてから一定時間（数秒程度）、ドライバの状態の検出が中止される。即ち、例えばドライバが物体を取る動作を行う際には予めキャンセルスイッチ６３を操作しておくことで、ドライバの姿勢が崩れても運転不適状態であると誤って検出されなくなる。

制御装置２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＩ／Ｏ（Input／Output）を有するマイクロコンピュータにより構成されている。マイクロコンピュータは、非遷移的実体的記憶媒体に格納されているコンピュータプログラムを実行することで、コンピュータプログラムに対応する処理を実行し、ドライバ状態監視システム１の動作全般を制御する。マイクロコンピュータはプロセッサと同じ意味である。ドライバ状態監視システム１において、非遷移的実体的記憶媒体は、ハードウェアを他のコンピュータ資源と共有していても良い。

制御装置２は、上記したドライバ状態認識装置３、車両情報認識装置４、走行環境認識装置５及びＨＭＩ６とＣＡＮ（Controller Area Network）（登録商標）等の有線接続又は無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続によりデータ通信可能である。

制御装置２は、画像取得部２１と、顔画像判定部２２と、背景画像判定部２３と、照明制御部２４と、露光制御部２５と、顔存在確定部２６と、報知制御部２７とを備える。これらの各部２１～２７は、顔検出プログラムにより実行される機能に相当する。即ち、制御装置２は、顔検出プログラムを実行することで各部２１～２７の機能を行う。

画像取得部２１は、ドライバカメラ３１により撮像された画像を当該ドライバカメラ３１から入力し、ドライバカメラ３１により撮像された画像を取得する。

顔画像判定部２２は、ドライバカメラ３１により撮像された画像が画像取得部２１により取得されると、その取得された画像に顔画像が存在しているか否かを判定する。顔画像判定部２２は、例えばドライバカメラ３１が撮像した画像に顔の特徴画像が存在しているか否かを判定する。顔の特徴画像とは、例えば目、鼻、口、眉毛等の特徴点を示す画像である。顔画像判定部２２は、顔の特徴画像が存在していると判定し、その顔の特徴画像の認識率が所定率以上であると判定すると、ドライバカメラ３１が撮像した画像に顔画像が存在していると判定する。一方、顔画像判定部２２は、例えばドライバカメラ３１が撮像した画像に顔の特徴画像が存在していないと判定すると、又は顔の特徴画像が存在していると判定したが、その顔の特徴画像の認識率が所定率以上でないと判定すると、ドライバカメラ３１が撮像した画像に顔画像が存在していないと判定する。

背景画像判定部２３は、ドライバカメラ３１により撮像された画像が画像取得部２１により取得されると、その取得された画像に背景の特徴画像が存在しているか否かを判定し、背景画像が存在しているか否かを判定する。背景の特徴画像とは、例えばＢピラー、窓枠、ヘッドレスト等である。照明制御部２４は、ＬＥＤ３２の照明制御を行う。露光制御部２５は、ドライバカメラ３１の露光制御を行う。背景画像判定部２３は、背景画像が存在しているか否かを判定する手法として、輝度ヒストグラムに基づいて判定する手法と、エッジヒストグラムに基づいて判定する手法とがある。背景画像判定部２３は、輝度ヒストグラムに基づいて判定する手法及びエッジヒストグラムに基づいて判定する手法において、照明制御部２４による照明制御及び露光制御部２５による露光制御の少なくとも何れか一つを行う。即ち、背景画像判定部２３は、照明制御部２４による照明制御と露光制御部２５による露光制御とを同時に行う場合、照明制御部２４による照明制御を行うが露光制御部２５による露光制御を行わない場合、照明制御部２４による照明制御を行わないが露光制御部２５による露光制御を行う場合の何れかで、背景画像が存在しているか否かを判定する。

輝度ヒストグラムに基づいて判定する手法について図２及び図３を参照して説明する。背景画像判定部２３は、輝度ヒストグラムに基づいて判定する手法では以下の処理１から処理３を行う。背景画像判定部２３は、図２に示すように、ヘッドレスト１０１の中央付近の所定範囲に枠ａを設定し、枠ａを中心とする上下左右の所定範囲に枠ｂ～枠ｅを設定する。

（１）処理１
背景画像判定部２３は、枠ａに自動露出（ＡＥ：Auto Exposure）枠を合わせ、ＬＥＤ３２の照明とドライバカメラ３１の露光を制御して輝度を調整する。
（２）処理２
背景画像判定部２３は、枠ａを中心として上下左右の枠ｂ～枠ｅの輝度を測定し、それぞれ測定した輝度のヒストグラム示す測定値を、予め記憶しているドライバ不在時のヘッドレストの輝度情報を示す初期値と比較する。
（３）処理３
背景画像判定部２３は、枠ａ～枠ｅの全ての測定値が所定範囲内であり、全ての測定値と初期値との差分が相対的に小さい値であれば、ドライバカメラ３１の撮像対象がヘッドレスト１０１であると判定し、背景画像が存在していると判定する。一方、背景画像判定部２３は、枠ａ～枠ｅの少なくとも何れか一つの測定値が所定範囲外であり、何れか一つの測定値と初期値との差分が相対的に大きい値であれば、ドライバカメラ３１の撮像対象がヘッドレスト１０１でないと判定し、背景画像が存在していないと判定する。

尚、背景画像判定部２３は、例えばＣＡＮウェイクアップ信号を検知する都度、ドアが開放された時点から人が乗車して着座する時点までの期間のヘッドレスト１０１の輝度情報を初期値として記憶することで、ヘッドレスト１０１にカバーが装着された場合でも対応可能となる。尚、図２ではヘッドレスト１０１に枠ａ～枠ｅを設定する場合を例示したが、図３に示すように、背もたれ１０２に枠ａ～枠ｅを設定しても良い。

エッジヒストグラムに基づいて判定する手法について図４から図５を参照して説明する。背景画像判定部２３は、エッジヒストグラムに基づいて判定する手法では以下の処理１から処理７を行う。この場合、背景画像判定部２３は、ＬＥＤ３２の照明強度を「弱」、「中」、「強」の３段階で設定可能である。ＬＥＤ３２の照明強度が同じであっても、ドライバがドライバ席に正常に着座している状態では、図４に示すように、ＬＥＤ３２から出射された光がドライバの顔で反射されるので、反射光の反射強度が相対的に高くなり、一方、ドライバがドライバ席に着座していない状態では、ＬＥＤ３２から出射された光がヘッドレストで反射されるので、反射光の反射強度が相対的に低くなる。

（１）処理１
背景画像判定部２３は、ＬＥＤ３２の照明強度を「弱」に設定し、ドライバカメラ３１により撮像する。
（２）処理２
背景画像判定部２３は、ＬＥＤ３２の照明強度を「中」に設定し、ドライバカメラ３１により撮像する。
（３）処理３
背景画像判定部２３は、ＬＥＤ３２の照明強度を「強」に設定し、ドライバカメラ３１により撮像する。
（４）処理４
背景画像判定部２３は、ＬＥＤ３２の照明強度が「弱」、「中」、「強」である３種類の画像から２枚を抽出して絶対差分を演算し、「弱」、「中」、「強」の組み合わせにより３種類の絶対差分画像を取得する。

（５）処理５
背景画像判定部２３は、３種類の絶対差分画像の個々にエッジ抽出フィルタによりフィルタリング処理を行い、３種類のエッジ画像を取得する
（６）処理６
背景画像判定部２３は、３種類のエッジ画像に対し、閾値以上のエッジ強度を有する画素数を積算する。
（７）処理７
背景画像判定部２３は、３種類のエッジ画像を束ね、枠ａ～枠ｅの全ての積算値が所定範囲内であれば、ドライバカメラ３１の撮像対象がヘッドレスト１０１であると判定し、背景画像が存在していると判定する。一方、背景画像判定部２３は、枠ａ～枠ｅの少なくとも何れか一つの積算値が所定範囲外であれば、ドライバカメラ３１の撮像対象がヘッドレスト１０１でないと判定し、背景画像が存在していないと判定する。

顔存在確定部２６は、顔画像判定部２２の判定結果により画像にドライバの顔画像が存在していると判定されると、ドライバが正常に着座しており、ドライバの頭部がヘッドレストの前方に存在しており、ドライバの顔が正常位置に存在していることを確定する。ドライバの顔が正常位置に存在しているとは、ドライバの頭部がヘッドレストの前方に存在している状態であり、顔画像から瞼の下がり度合、瞳孔の開き度合い、視線方向、視線の移動速度等に基づいて脇見、閉眼、眠気等を判定可能であり、運転適正状態であるか運転不適状態であるかを判定可能な状態を意味する。即ち、ドライバが着座していても、身体が傾いていたり突っ伏していたりしてドライバの頭部がヘッドレストの前方から外れていれば、顔画像から瞼の下がり度合、瞳孔の開き度合い、視線方向、視線の移動速度等に基づいて脇見、閉眼、眠気等を判定不能であるので、ドライバの顔が正常位置に存在してないことになる。

一方、顔存在確定部２６は、顔画像判定部２２の判定結果により画像にドライバの顔画像が存在していないと判定されると、背景画像判定部２３の判定結果に基づいてドライバの顔が正常位置に存在しているか否かを確定する。顔存在確定部２６は、画像に背景画像が存在していると判定されると、ドライバの顔が正常位置に存在していないことの信頼度が相対的に高いと設定する。顔存在確定部２６は、その信頼度が相対的に高いと設定した画像の出現頻度が第１頻度以上である場合に、ドライバの顔が正常位置に存在していないことを確定する。

一方、顔存在確定部２６は、顔存在確定部は、画像に背景画像が存在していないと判定されると、ドライバの顔が正常位置に存在していないことの信頼度が相対的に低いと設定する。顔存在確定部２６は、信頼度が相対的に高いと設定した画像の出現頻度と、その信頼度が相対的に低いと設定した画像の出現頻度との和を合算出現頻度として算出する。顔存在確定部２６は、その算出した合算出現頻度が第１頻度よりも大きい第２頻度以上である場合に、ドライバの顔が正常位置に存在していないことを確定する。報知制御部２７は、顔存在確定部２６の確定結果を上記したディスプレイ６１やスピーカ６２からドライバに対して報知させる。

次に、上記した構成の作用について図６から図１８を参照して説明する。
制御装置２は、例えばイグニッションがオフからオンに切り替わったことでドライバの状態監視処理の開始条件が成立すると、ドライバの状態監視処理を開始する。ドライバの状態監視処理の開始条件は、例えばイグニッションがオフからオンに切り替わったことに限らず、ドライバが所定操作を行ったことでも良い。制御装置２は、ドライバの状態監視処理を開始すると、顔検出機能をオフからオンに切り替え、ドライバカメラ３１から画像フレーム（ｎ番目（ｎは自然数））を取得し（Ｓ１、画像取得手順に相当する）、その取得した画像フレームに顔画像が存在しているか否かを判定する（Ｓ２、顔画像判定手順に相当する）。

制御装置２は、画像フレームに顔画像が存在していると判定すると（Ｓ２：ＹＥＳ）、ドライバの顔が正常位置に存在していること、即ち、ドライバの顔存在を確定する（Ｓ３、第１確定手順相当する）。制御装置２は、ドライバの顔が正常位置に存在していることを確定することで、顔画像から瞼の下がり度合、瞳孔の開き度合い、視線方向、視線の移動速度等に基づいて脇見、閉眼、眠気等を判定可能な状態となり、運転適正状態であるか運転不適状態であるかを判定可能な状態となる。

制御装置２は、ドライバの状態監視処理の終了条件の成立を判定する（Ｓ４）。制御装置２は、例えばイグニッションがオンからオフに切り替わったことでドライバの状態監視処理の終了条件が成立したと判定すると（Ｓ４：ＹＥＳ）、顔検出機能をオフに設定し、ドライバの状態監視処理を終了する。ドライバの状態監視処理の終了条件は、例えばイグニッションがオンからオフに切り替わったことに限らず、ドライバが所定操作を行ったことでも良い。制御装置２は、例えばイグニッションがオンのままであり、ドライバの状態監視処理の終了条件が成立していない判定すると（Ｓ４：ＮＯ）、上記したステップＳ１に戻り、ステップＳ１以降を繰り返す。

一方、制御装置２は、画像フレームに顔画像が存在していないと判定すると（Ｓ２：ＮＯ）、顔検出機能をオフに設定し、背景検出機能をオンに設定し、上記した輝度ヒストグラムやエッジヒストグラムに基づいて画像フレームに背景画像が存在しているか否かを判定する（Ｓ５、背景画像判定手順に相当する）。

制御装置２は、画像フレームに背景画像が存在していると判定すると（Ｓ５：ＹＥＳ）、ドライバの顔が正常位置に存在していないことの信頼度が相対的に高いと設定する（Ｓ６）。一方、制御装置２は、画像フレームに背景画像が存在していないと判定すると（Ｓ５：ＮＯ）、ドライバの顔が正常位置に存在していないことの信頼度が相対的に低いと設定する（Ｓ７）。

制御装置２は、所定フレーム数において信頼度が相対的に高いと設定した画像フレームのフレーム数が第１閾値以上であるか否かを判定し、出現頻度が第１頻度以上であるか否かを判定する（Ｓ８）。制御装置２は、第１閾値以上であると判定すると（Ｓ８：ＹＥＳ）、ドライバの顔が正常位置に存在していないこと、即ち、ドライバの顔不在を確定する（Ｓ１０、第２確定手順に相当する）。制御装置２は、例えば所定フレーム数を「３０」と設定し、第１閾値を「１５」と設定すると、例えば「３０」フレーム数において信頼度が相対的に高いと設定した画像フレームのフレーム数が「１５」以上であると判定すると、ドライバの顔不在を確定する。

この場合、制御装置２は、図８に示すように、信頼度が相対的に高い状況でドライバの顔不在を確定したことを示す顔不在通知画面をディスプレイ６１に表示させ、顔不在通知音声をスピーカ６２から音声出力させる。ドライバは、ディスプレイ６１に顔不在通知画面が表示され、スピーカ６２から顔不在通知音声が音声出力されることにより、自分の顔が認識されなかったが背景画像が認識されたことを把握することができ、自分の顔が認識されなかったことに起因する車両制御に準備することができる。

一方、制御装置２は、所定フレーム数において信頼度が相対的に高いと設定した画像フレームのフレーム数が第１閾値以上でないと判定すると（Ｓ８：ＮＯ）、所定フレーム数において信頼度が相対的に高いと設定した画像フレームのフレーム数と信頼度が相対的に低いと設定した画像フレームのフレーム数とを合算して合算画像フレーム数を算出する（Ｓ９）。制御装置２は、その算出した合算画像フレーム数が第２閾値以上であるか否かを判定し、合算出現頻度が第２頻度以上であるか否かを判定する（Ｓ１０）。制御装置２は、第２閾値以上であると判定すると（Ｓ１０：ＹＥＳ）、ドライバの顔が正常位置に存在していないこと、即ち、ドライバの顔不在を確定する（Ｓ１１、第２確定手順に相当する）。制御装置２は、例えば所定フレーム数を「３０」と設定し、第２閾値を「２５」と設定すると、例えば「３０」フレーム数において信頼度が相対的に高いと設定した画像フレームのフレーム数と信頼度が相対的に低いと設定した画像フレームのフレーム数とを合算した合算画像フレーム数が「２５」以上であると判定すると、ドライバの顔不在を確定する。

この場合、制御装置２は、図９に示すように、信頼度が相対的に低い状況でドライバの顔不在を確定したことを示す顔不在通知画面をディスプレイ６１に表示させ、顔不在通知音声をスピーカ６２から音声出力させる。ドライバは、ディスプレイ６１に顔不在通知画面が表示され、スピーカ６２から顔不在通知音声が音声出力されることにより、自分の顔が認識されず且つ背景画像も認識されなかったことを把握することができ、この場合も、自分の顔が認識されなかったことに起因する車両制御に準備することができる。

制御装置２は、このようにしてドライバの顔不在を確定し、ドライバの顔が正常位置に存在していないことを確定すると、背景検出機能をオンからオフに切り替え、ドライバの顔不在に対処する顔不在対処処理に移行する（Ｓ１２）。制御装置２は、顔不在対処処理を開始すると、その時点の状況を判定する（Ｓ２１～Ｓ２３）。制御装置２は、手動運転中であると判定すると（Ｓ２１：ＹＥＳ）、ＥＤＳＳ発動を警告する（Ｓ２４）。制御装置２は、図１０に示すように、ＥＤＳＳ発動の警告を示すＥＤＳＳ発動時の警告画面をディスプレイ６１に表示させ、ＥＤＳＳ発動時の警告音声をスピーカ６２から音声出力させる。ドライバは、ディスプレイ６１にＥＤＳＳ発動時の警告画面が表示され、スピーカ６２からＥＤＳＳ発動時の警告音声が音声出力されることにより、ＥＤＳＳが発動される可能性があることを把握することができる。

制御装置２は、自動運転レベル２を使用中であると判定すると（Ｓ２２：ＹＥＳ）、自動運転レベル２の使用不可設定を警告する（Ｓ２５）。制御装置２は、図１１に示すように、自動運転レベル２使用不可設定の警告を示すレベル２使用不可設定時の警告画面をディスプレイ６１に表示させ、レベル２使用不可設定時の警告音声をスピーカ６２から音声出力させる。ドライバは、ディスプレイ６１にレベル２使用不可設定時の警告画面が表示され、スピーカ６２からレベル２使用不可設定時の警告音声が音声出力されることにより、自動運転レベル２が使用不可に設定されることを把握することができる。

その後、制御装置２は、ドライバの顔不在を確定してから第１所定時間（例えば４秒）の経過後に、自動運転レベル２を使用不可に設定する（Ｓ２６）。制御装置２は、自動運転レベル２の使用不可設定を完了すると、図１２に示すように、自動運転レベル２使用不可設定の完了を示すレベル２使用不可設定の完了通知画面をディスプレイ６１に表示させ、レベル２使用不可設定の完了通知音声をスピーカ６２から音声出力させる。ドライバは、ディスプレイ６１にレベル２使用不可設定の完了通知画面が表示され、スピーカ６２からレベル２使用不可設定の完了通知音声が音声出力されることにより、自動運転レベル２の使用不可設定が完了されたことを把握することができる。

制御装置２は、自動運転レベル３を使用中であると判定すると（Ｓ２３：ＹＥＳ）、自動運転レベル３の使用不可設定を警告する（Ｓ２７）。制御装置２は、図１３に示すように、自動運転レベル３使用不可設定の警告を示すレベル３使用不可設定時の警告画面をディスプレイ６１に表示させ、レベル３使用不可設定時の警告音声をスピーカ６２から音声出力させる。ドライバは、ディスプレイ６１にレベル３使用不可設定時の警告画面が表示され、スピーカ６２からレベル３使用不可設定時の警告音声が音声出力されることにより、自動運転レベル３が使用不可に設定されることを把握することができる。

その後、制御装置２は、ドライバの顔不在を確定してから第２所定時間（例えば１０秒）の経過後に、自動運転レベル３を使用不可に設定する（Ｓ２８）。制御装置２は、自動運転レベル２の使用不可設定を完了すると、図１４に示すように、自動運転レベル３使用不可設定の完了を示すレベル３使用不可設定の完了通知画面をディスプレイ６１に表示させ、レベル３使用不可設定の完了通知音声をスピーカ６２から音声出力させる。ドライバは、ディスプレイ６１にレベル３使用不可設定の完了通知画面が表示され、スピーカ６２からレベル３使用不可設定の完了通知音声が音声出力されることにより、自動運転レベル３の使用不可設定が完了されたことを把握することができる。

制御装置２は、手動運転操作を検出したか否かを判定し（Ｓ２９）、ドライバの顔不在を確定してから第３所定時間（例えば２０秒）が経過したか否かを判定する（Ｓ３０）。制御装置２は、ドライバの顔不在を確定してから第３所定時間が経過する前に手動運転操作を検出したと判定すると（Ｓ２９：ＹＥＳ）、手動運転を継続し（Ｓ３１）、顔不在対処処理を終了する。制御装置２は、図１５に示すように、手動運転の継続を示す手動運転継続通知画面をディスプレイ６１に表示させ、手動運転継続通知音声をスピーカ６２から音声出力させる。ドライバは、ディスプレイ６１に手動運転継続通知画面が表示され、スピーカ６２から手動運転継続通知音声が音声出力されることにより、手動運転が継続されたことを把握することができる。

一方、制御装置２は、手動運転操作を検出する前にドライバの顔不在を確定してから第３所定時間が経過したと判定すると（Ｓ３０：ＹＥＳ）、ＥＤＳＳを発動し（Ｓ３２）、顔不在対処処理を終了する。制御装置２は、ＥＤＳＳの発動を完了すると、図１６に示すように、ＥＤＳＳの発動の完了を示すＥＤＳＳ発動の完了通知画面をディスプレイ６１に表示させ、ＥＤＳＳ発動の完了通知音声をスピーカ６２から音声出力させる。ドライバは、ディスプレイ６１にＥＤＳＳ発動の完了通知画面が表示され、スピーカ６２からＥＤＳＳ発動の完了通知音声が音声出力されることにより、ＥＤＳＳの発動が完了されたことを把握することができる。

以上は、ドライバへの報知として各種画面をディスプレイ６１に表示させ、各種音声をスピーカ６２から音声出力させることを例示したが、各種画面をディスプレイ６１に表示させるのみ、又は各種音声をスピーカ６２から音声出力させるのみであっても良い。

ドライバカメラ３１は、上記したように少なくともドライバ席のヘッドレスト周辺を含む方向を撮像方向とすれば良く、ドライバのみを撮像対象とするドライバ専用カメラ、ドライバを含む複数の乗員を撮像対象とする乗員カメラの何れであっても良い。ドライバ専用カメラとしては狭角カメラが採用される。図１７は、例えば画角が４０～７０度の狭角レンズと、横１２８０画素×縦９６０画素の解像度のイメージャを有する狭角カメラが採用され、メーターパネルに内蔵された場合又はステアリングコラムに配置された場合に、当該挟角カメラにより撮像された画像を示している。図１８は、例えば画角が４０～７０度の狭角レンズと、横１２８０画素×縦９６０画素の解像度のイメージャを有する狭角カメラが採用され、インスツルメントパネルの中央部に配置された場合に、当該狭角カメラにより撮像された画像を示している。

図１７及び図１８では、撮像された画像においてドライバの顔画像が占める面積が大きい。図１７では、画像の全体（破線Ａ１で示す領域）を所定領域とし、顔画像判定部２２は、画像の全体でドライバの顔画像が存在しているか否かを判定し、背景画像判定部２３は、画像の全体で背景画像が存在しているか否かを判定する。図１８では、画像の上半部以上（破線Ａ２で示す領域）を所定領域とし、顔画像判定部２２は、画像の上半部以上でドライバの顔画像が存在しているか否かを判定し、背景画像判定部２３は、画像の上半部以上で背景画像が存在しているか否かを判定する。

一方、乗員カメラとしては中角カメラや広角カメラが採用される。図１９は、例えば画角が７０～１００度の中角レンズと、横１２８０画素×縦９６０画素の解像度のイメージャを有する中角カメラが採用され、メーターパネルに内蔵された場合又はステアリングコラムやサンバイザに配置された場合に、当該中角カメラにより撮像された画像を示している。図２０は、例えば画角が１００～１６０度の広角レンズと、横１２８０画素×縦９６０画素の解像度のイメージャを有する広角カメラが採用され、インスツルメントパネルの中央部やオーバーヘッドコンソールに配置された場合に、当該広角カメラにより撮像された画像を示している。図２１は、例えば画角が１００～１８０度超えの広角レンズと、横１２８０画素×縦９６０画素の解像度のイメージャを有する広角カメラが採用され、インスツルメントパネルの中央部やオーバーヘッドコンソールに配置された場合に、当該広角カメラにより撮像された画像を示している。

図１９から図２１では、撮像された画像においてドライバの顔画像が占める面積が小さい。図１９では、画像の一部（破線Ａ３で示す領域）を所定領域とし、顔画像判定部２２は、画像の一部でドライバの顔画像が存在しているか否かを判定し、背景画像判定部２３は、画像の一部で背景画像が存在しているか否かを判定する。同様に、図２０では、画像の一部（破線Ａ４で示す領域）を所定領域とし、顔画像判定部２２は、画像の一部でドライバの顔画像が存在しているか否かを判定し、背景画像判定部２３は、画像の一部で背景画像が存在しているか否かを判定する。同様に、図２１では、画像の一部（破線Ａ５で示す領域）を所定領域とし、顔画像判定部２２は、画像の一部でドライバの顔画像が存在しているか否かを判定し、背景画像判定部２３は、画像の一部で背景画像が存在しているか否かを判定する。尚、図１７から図２１において、カメラの画角やイメージャ解像度は例示した値に限らない。又、背景画像判定部２３は、ピラーや窓枠等を検出することで、背景画像が存在していると判定しても良く、上記したヘッドレストを検出することと、ピラーや窓枠等を検出することを併用しても良い。

以上に説明したように本実施形態によれば、次に示す作用効果を得ることができる。
ドライバの顔検出装置７において、ドライバカメラ３１により撮像された画像にドライバの顔画像が存在していると判定すると、ドライバの顔存在を確定し、一方、画像にドライバの顔画像が存在していないと判定すると、当該画像に背景画像が存在しているか否かを判定し、その判定結果に基づいてドライバの顔不在を確定するようにした。ドライバの顔画像が存在しているか否かの判定結果に加え、背景画像が存在しているか否かの判定結果を用いることで、ドライバの顔存在であるか顔不在であるかを適切に確定することができ、ドライバの安心安全を適切に確保することができる。

画像に背景画像が存在していると判定すると、ドライバの顔不在の信頼度が相対的に高いと設定し、その信頼度が相対的に高いと設定した画像の出現頻度が第１頻度以上である場合に、ドライバの顔不在を確定するようにした。予め第１頻度を設定しておくことで、信頼度が相対的に高いと設定した画像の出現頻度を第１頻度と比較し、ドライバの顔不在を確定することができる。

画像に背景画像が存在していないと判定すると、ドライバの顔不在の信頼度が相対的に低いと設定し、その信頼度が相対的に高いと設定した画像の出現頻度と当該信頼度が相対的に低いと設定した画像の出現頻度とを合算した合算出現頻度が第２頻度以上である場合に、ドライバの顔不在を確定するようにした。予め第２頻度を設定しておくことで、信頼度が相対的に高いと設定した画像の出現頻度と当該信頼度が相対的に低いと設定した画像の出現頻度とを合算した合算出現頻度を第２頻度と比較し、ドライバの顔不在を確定することができる。

第１頻度の値を第２頻度の値よりも小さく設定しておくことで、ドライバの顔不在の信頼度が相対的に高ければドライバの顔不在を早急に確定することができ、ドライバの顔不在に対して早急に対処することができる。

輝度ヒストグラムに基づいて画像に背景画像が存在しているか否かを判定するようにした。輝度ヒストグラムの手法を用いることでドライバの顔不在の信頼度の高低を設定することができる。エッジヒストグラムに基づいて画像に背景画像が存在しているか否かを判定するようにした。エッジヒストグラムの手法を用いることでドライバの顔不在の信頼度の高低を設定することができる。

本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

状態を監視する対象としてドライバを例示したが、パッセンジャ、リア席の乗員を対象としても良い。即ち、パッセンジャを撮像するカメラを配置し、パッセンジャの顔存在又は顔不在を確定することで、パッセンジャの顔存在又は顔不在に対処することができる。リア席の乗員を撮像するカメラを配置し、リア席の乗員の顔存在又は顔不在を確定することで、パッセンジャの顔存在又は顔不在に対処することができる。又、ドライバを撮像するカメラ、パッセンジャを撮像するカメラ及びリア席の乗員を撮像するカメラを共通し、１つのカメラでドライバ、パッセンジャ、リア席の乗員を撮像する構成でも良い。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。又、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。

図面中、２は制御装置、７はドライバの顔検出装置（乗員の顔検出装置）、２１は画像取得部、２２は顔画像判定部、２３は背景画像判定部、２４は照明制御部、２５は露光制御部、２６は顔存在確定部、２７は報知制御部、３１はドライバカメラ（撮像部）、３２はＬＥＤ（照明部）、６１はディスプレイ（報知部）、６２はスピーカ（報知部）である。

Claims (6)

1. 撮像部が乗員の座席のヘッドレスト周辺を撮像した画像の所定領域を取得する画像取得部（２１）と、
   前記画像の所定領域に顔の特徴画像が存在しているか否かを判定し、乗員の顔画像が存在しているか否かを判定する顔画像判定部（２２）と、
   前記画像の所定領域に背景画像が存在しているか否かを判定する背景画像判定部（２３）と、
   前記顔画像判定部の判定結果により乗員の顔が正常位置に存在しているか否かを確定する顔存在確定部（２６）と、を備え、
   前記顔存在確定部は、前記画像の所定領域に前記乗員の顔画像が存在していると判定されると、前記乗員の顔が正常位置に存在していることを確定し、前記画像の所定領域に前記乗員の顔画像が存在していないと判定され、且つ前記画像の所定領域に前記背景画像が存在していると判定されると、前記乗員の顔が正常位置に存在していないことの信頼度が相対的に高いと設定し、前記信頼度が相対的に高いと設定した画像の所定領域の出現頻度が第１頻度以上である場合に、前記乗員の顔が正常位置に存在していないことを確定し、前記画像の所定領域に前記乗員の顔画像が存在していないと判定され、且つ前記画像の所定領域に前記背景画像が存在していないと判定されると、前記乗員の顔が正常位置に存在していないことの信頼度が相対的に低いと設定し、前記信頼度が相対的に高いと設定した画像の所定領域の出現頻度と前記信頼度が相対的に低いと設定した画像の所定領域の出現頻度とを合算した合算出現頻度が前記第１頻度よりも大きい第２頻度以上である場合に、前記乗員の顔が正常位置に存在していないことを確定する乗員の顔検出装置。
2. 乗員の座席のヘッドレスト周辺に光を照射する照明部の照明制御を行う照明制御部（２４）と、
   前記撮像部の露光制御を行う露光制御部（２５）と、を備え、
   前記背景画像判定部は、前記照明制御部による前記照明制御及び前記露光制御部による前記露光制御の少なくとも何れか一つを行うことで、前記画像の所定領域に前記背景画像が存在しているか否かを判定する請求項１に記載した乗員の顔検出装置。
3. 前記背景画像判定部は、前記画像の所定領域に背景の特徴画像が存在しているか否かを判定し、背景画像が存在しているか否かを判定する請求項２に記載した乗員の顔検出装置。
4. 前記顔存在確定部の確定結果を報知部から乗員に対して報知させる報知制御部（２７）を備える請求項１から３の何れか一項に記載した乗員の顔検出装置。
5. 前記乗員としてドライバを対象とする請求項１から４の何れか一項に記載した乗員の顔検出装置。
6. 乗員の顔検出装置（７）に、
   撮像部が乗員の座席のヘッドレスト周辺を撮像した画像の所定領域を取得する画像取得手順と、
   前記画像の所定領域に顔の特徴画像が存在しているか否かを判定し、乗員の顔画像が存在しているか否かを判定する顔画像判定手順と、
   前記画像の所定領域に背景画像が存在しているか否かを判定する背景画像判定手順と、
   前記顔画像判定手順の判定結果により前記画像の所定領域に前記乗員の顔画像が存在していると判定すると、前記乗員の顔が正常位置に存在していることを確定する第１確定手順と、
   前記顔画像判定手順の判定結果により前記画像の所定領域に前記乗員の顔画像が存在していないと判定し、且つ前記画像の所定領域に前記背景画像が存在していると判定すると、前記乗員の顔が正常位置に存在していないことの信頼度が相対的に高いと設定し、前記信頼度が相対的に高いと設定した画像の所定領域の出現頻度が第１頻度以上である場合に、前記乗員の顔が正常位置に存在していないことを確定し、前記画像の所定領域に前記乗員の顔画像が存在していないと判定し、且つ前記画像の所定領域に前記背景画像が存在していないと判定すると、前記乗員の顔が正常位置に存在していないことの信頼度が相対的に低いと設定し、前記信頼度が相対的に高いと設定した画像の所定領域の出現頻度と前記信頼度が相対的に低いと設定した画像の所定領域の出現頻度とを合算した合算出現頻度が前記第１頻度よりも大きい第２頻度以上である場合に、前記乗員の顔が正常位置に存在していないことを確定する第２確定手順と、を実行させる乗員の顔検出プログラム。

Images