JP2018128974A - ドライバ状態監視装置 - Google Patents

Abstract

【課題】ドライバの運転状態をより適切に検出することができるドライバ状態監視装置を提供する。【解決手段】ドライバの状態を監視するドライバ状態監視装置１は、ドライバを撮像するドライバモニタカメラ１０と、ドライバモニタカメラから送信された画像に基づいてドライバ又はドライバ状態監視装置の状態を診断する異常診断部３３と、異常診断部によってドライバ又は当該ドライバ検出装置に異常が生じていると判定された場合にドライバに異常を警報する警報部４０と、を備える。異常診断部は、ドライバモニタカメラから送信された画像の少なくとも一部について、所定時間における変化量が予め定められた変化量以下であった場合には、ドライバ又はドライバ状態監視装置に異常が生じていると判定するように構成される。【選択図】図３

Description

本発明は、ドライバ状態監視装置に関する。

特許文献１には、ドライバモニタカメラによって撮像された画像に基づいてドライバの状態を検出し、検出したドライバの状態に基づいてドライバが運転不能状態であるか否かを判断する、ドライバ状態監視装置が開示されている。特に、特許文献１では、ドライバの状態として、ドライバの頭部の位置が所定の範囲から外れていないか否か、ドライバの姿勢が崩れていないか否か、ドライバの顔の向きが崩れていないか否か、ドライバの頭部が異常な揺れをしていないか否か、及びドライバが白目をむいた状態でないか否かが検出される。

特許文献２には、運転者の脇見状態の継続時間を計測する脇見時間計測装置と、運転者の居眠り状態の継続時間を計測する居眠り時間計測装置と、計測された脇見時間が第１所定時間以上の場合及び計測された居眠り時間が第２所定時間以上の場合にドライバに警告を行う警告出力装置とを備える、車載警報装置が開示されている。

国際公開第２０１５／１９８５４２号 特開２００８−０９７４４５号公報

特許文献１、２に記載された装置では、ドライバモニタカメラから送信されたドライバの顔画像が変化しない場合、特にドライバの頭部の位置や顔の向き、目の状態が適切な状態のまま変化しない場合には、ドライバの運転状態に異常はないと判定される。

したがって、例えば、ドライバモニタカメラの故障により、ドライバモニタカメラから送信されるドライバの顔画像が変化しなくなってしまうと、ドライバの運転状態を適切に診断することができなくなる。また、特許文献１のようにドライバが白目であるか否かでドライバの異常を診断していたり、特許文献２のように閉眼状態等に基づいて居眠り診断をしていたりした場合には、ドライバが目を開けたまま眠ってしまっていると、ドライバの運転状態を適切に診断することができなくなる。加えて、ドライバが目を覆うようなお面を装着していたりすると、ドライバの目の状態を適切に判断することができなくなり、結果的にドライバの運転状態を適切に診断することができなくなる。

本発明は、上記課題に鑑みてなされたものであって、その目的は、ドライバの運転状態をより適切に検出することができるドライバ状態監視装置を提供することにある。

本発明は、上記課題を解決するためになされたものであり、その要旨は以下のとおりである。

（１）ドライバの状態を監視するドライバ状態監視装置であって、ドライバを撮像する撮像装置と、該撮像装置から送信された画像に基づいてドライバ又は当該ドライバ状態監視装置の状態を診断する異常診断部と、前記異常診断部によってドライバ又は当該ドライバ状態監視装置に異常が生じていると判定された場合にドライバに異常を警報する警報部と、を備え、前記異常診断部は、前記撮像装置から送信された画像の少なくとも一部について、所定時間における変化量が予め定められた変化量以下であった場合には、ドライバ又は当該ドライバ状態監視装置に異常が生じていると判定するように構成される、ドライバ状態監視装置。

（２）前記異常診断部は、前記撮像装置から送信された画像の所定時間における変化量がゼロであった場合には、当該ドライバ状態監視装置に異常が生じていると判定する、上記（１）に記載のドライバ状態監視装置。

（３）前記警報部は、前記異常診断部によって当該ドライバ状態監視装置に異常が生じていると判定された場合には、システムに異常が生じている旨の警報をドライバに対して行う、上記（２）に記載のドライバ状態監視装置。

（４）前記異常診断部は、前記撮像装置から送信された画像のうち少なくともドライバの顔の一部のパーツを示す画像の、所定時間における変化量がゼロよりも大きく且つ予め定められた変化量以下であった場合には、ドライバに異常が生じていると判定する、上記（１）〜（３）のいずれか一つに記載のドライバ状態監視装置。

（５）前記警報部は、前記異常診断部によってドライバに異常が生じていると判定された場合には、ドライバに異常が生じている旨の警報をドライバに対して行う、上記（４）に記載のドライバ状態監視装置。

（６）ドライバによるステアリングの操作を検出する操作検出センサを更に備え、前記異常診断部は、前記撮像装置によって撮像された画像のうち少なくともドライバの顔の一部のパーツを示す画像の、所定時間における変化量がゼロよりも大きく且つ予め定められた変化量以下であった場合であっても、前記所定時間中に前記操作検出センサによってステアリングの操作が検出されたときには、ドライバに異常が生じていないと判定する、上記（４）又は（５）に記載のドライバ状態監視装置。

本発明によれば、ドライバの運転状態をより適切に検出することができるドライバ状態監視装置が提供される。

図１は、本発明の一つの実施形態に係るドライバ状態監視装置の構成を示すブロック図である。 図２は、ドライバ状態監視装置を搭載した車両の内部を概略的に示す図である。 図３は、第一実施形態における異常診断制御の制御ルーチンを示すフローチャートである。 図４は、第二実施形態における異常診断制御の制御ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

＜第一実施形態＞
≪装置の概要≫
図１は、本発明の一つの実施形態に係るドライバ状態監視装置１の構成を示すブロック図である。ドライバ状態監視装置１は、車両に搭載され、車両のドライバの状態を監視する。ドライバ状態監視装置１は、ドライバモニタカメラ１０と、操作検出センサ２０と、電子制御ユニット（ＥＣＵ）３０と、ヒューマン・マシン・インターフェイス（Human Machine Interface（ＨＭＩ））４０を備える。

図２は、ドライバ状態監視装置１を搭載した車両５０の内部を概略的に示す図である。図２に示したように、車両５０は、ステアリングコラム５１を介して取り付けられたステアリング５２及びドライバの前方上方に配置されたルームミラー５３を備える。本実施形態では、ドライバモニタカメラ１０は、ステアリングコラム５１の上部に設けられ、ドライバを、具体的にはドライバの顔及び上半身の一部を撮像することができるようにドライバに向けて配置される。

なお、ドライバモニタカメラ１０は、必ずしもステアリングコラム５１の上部に設けられる必要がなく、車両５０のドライバを撮像することができれば他の位置に設けられてもよい。例えば、ドライバモニタカメラ１０は、車両５０のステアリング５２、ルームミラー５３、メータパネル、メータフード等に設けられてもよい。

ドライバモニタカメラ１０はカメラ及び投光器を備える。例えば、カメラはＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラであり、投光器はＬＥＤ（発光ダイオード）である。また、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができるように、投光器は近赤外ＬＥＤであることが好ましく、またカメラも近赤外線を検知することができることが好ましい。例えば、投光器は、カメラの両側に配置された二個の近赤外ＬＥＤである。また、カメラには可視光カットフィルタのようなフィルタが設けられてもよい。

ドライバモニタカメラ１０は、有線で又は無線でＥＣＵ３０に接続される。したがって、ドライバモニタカメラ１０によって撮像された画像は、画像データとして、ＥＣＵ３０に送信される。

操作検出センサ２０は、ドライバによるステアリング操作を検出するセンサである。本実施形態では、操作検出センサ２０は、ステアリングコラム５１内に配置されて、ドライバからステアリングに加えられた操舵トルクを検出するトルクセンサである。ドライバによって加えられた操舵トルクを検出することによってドライバがステアリングを操作したか否かを検出することができる。操作検出センサ２０も、有線又は無線でＥＣＵ３０に接続される。したがって、操作検出センサ２０の出力はＥＣＵ３０に入力されることになる。

ＥＣＵ３０は、双方向性バスによって相互に接続された中央演算装置（ＣＰＵ）、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入力ポート及び出力ポートを備えたマイクロコンピュータである。本実施形態では、一つのＥＣＵ３０が設けられているが、ＣＡＮ等に準拠したバス等を介して互いに接続された複数のＥＣＵが機能毎に設けられていてもよい。

本実施形態では、ＥＣＵ３０は、ドライバが居眠りをしているか否かを診断する居眠り診断部３１と、ドライバが脇見運転をしているか否かを診断する脇見診断部３２と、ドライバ及びドライバ状態監視装置１の異常を診断する異常診断部３３とを備える。

居眠り診断部３１は、ドライバモニタカメラ１０から入力される画像を処理して、ドライバの瞼の開き量を算出し、算出された瞼の開き量に基づいてドライバの眼が閉じられているか否かを検出する。具体的には、本実施形態では、ドライバモニタカメラ１０によって撮像された顔画像に対して、まず、アファイン変換等により顔の向きや顔の大きさが補正され、次いで、顔の各パーツ（口、鼻、眼）のマッチング処理により各パーツが特定される。その後、眼のパーツの境界線に基づいて上下の瞼間の最大距離、すなわち瞼の開き量が算出される。このようにして算出された瞼の開き量が所定の基準値以下の場合には、現在、瞼が閉じられていると判定される。この基準値は、予め定められた一定値であってもよいし、眼の開いている状態にあるときの瞼の開き量をドライバ毎に予め検出し、この開き量に基づいて最適化された値であってもよい。なお、ドライバモニタカメラ１０から入力される画像を処理してドライバの眼が閉じられているか否かを検出する手法としては、必ずしも上述した手法を用いる必要はなく、任意の適切な手法を用いることができる。

加えて、居眠り診断部３１は、上述した画像処理によって眼が閉じられている状態（閉眼状態）であると検出されている継続時間を算出し、算出された閉眼状態の継続時間が予め定められた所定の居眠り判定時間以上になると、居眠り診断部３１は、ドライバが居眠り運転をしていると判定する。なお、居眠り判定時間は、車両５０の運転状態等に応じて変更される時間であってもよい。例えば、車両５０が停止しているときには走行しているときに比べて、居眠り判定時間が長く設定されてもよい。

脇見診断部３２は、ドライバモニタカメラ１０から入力される画像を処理して、ドライバの顔の向きを算出し、算出された顔の向きに基づいてドライバの顔が正面を向いているか否かを検出する。具体的には、上述したようにマッチング処理によって特定された顔の各パーツの位置又は向きと、予め記憶しておいた各姿勢（例えば、正面を向いているときの姿勢等）における同パーツの位置又は向きとのマッチング度合いを比較することにより、ドライバの現在の顔の向きが算出される。このようにして算出された顔の向きが正面に対して所定基準以上ずれている場合には、ドライバの顔が正面を向いていないと判定される。なお、ドライバモニタカメラ１０から入力される画像を処理してドライバの顔が正面を向いているか否かの検出は、必ずしも上述した手法で行う必要はなく、任意の適切な手法を用いることができる。

加えて、脇見診断部３２は、上述した画像処理によってドライバの顔が正面を向いていない状態（脇見状態）であることが検出されているときには、その継続時間を算出する。算出された脇見状態の継続時間が予め定められた所定の脇見判定時間以上になると、脇見診断部３２は、ドライバが脇見運転をしていると判定する。なお、脇見判定時間は、車両５０の運転状態等に応じて変更される時間であってもよい。例えば、車両５０の速度が遅いときには速いときに比べて脇見判定時間が長く設定されてもよい。

異常診断部３３は、ドライバモニタカメラ１０から送信された画像の少なくとも一部について、所定時間における変化量が予め定められた変化量以下であった場合には、ドライバ又はドライバ状態監視装置１に異常が生じていると判定するように構成される。異常診断部３３の詳細については後述する。

ＨＭＩ４０は、ドライバ又は車両乗員とドライバ状態監視装置１との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ４０は、ドライバに各種情報を提供するための情報提供装置、具体的には文字情報や画像情報を表示するディスプレイや音を発生させるためのスピーカを備える。加えて、ＨＭＩ４０は、ドライバの音声を認識するためのマイクと、ドライバが入力操作を行うためのタッチパネルや操作ボタンなどの入力操作器等を備える。

ＨＭＩ４０は、有線で又は無線でＥＣＵ３０に接続される。したがって、ドライバ等によって入力された情報はＨＭＩ４０からＥＣＵ３０に送信され、また、ＨＭＩ４０の情報提供装置によってドライバに提供すべき情報がＥＣＵ３０からＨＭＩ４０に送信される。例えば、居眠り診断部３１によってドライバが居眠りしていると判定された場合には、居眠り診断部３１からＨＭＩ４０に居眠り警報指令が送信される。このように居眠り警報指令が送信されると、ＨＭＩ４０は、例えば、スピーカによって警報音を発生させると共に、ディスプレイに居眠りに注意すべき旨の警報を表示させる。また、脇見診断部３２によってドライバが脇見していると判定された場合には、脇見診断部３２からＨＭＩ４０に脇見警報指令が送信させる。このように脇見警報指令が送信されると、ＨＭＩ４０は、例えば、スピーカによって警報音を発生させると共に、ディスプレイに居眠りに注意すべき旨の警報を表示させる。このように、ＨＭＩ４０は、ドライバに異常が生じている場合（又は、後述するようにドライバ状態監視装置１に異常が生じている場合）にドライバに異常を警報する警報部として機能する。

なお、本実施形態では、ＥＣＵ３０は、ドライバの運転状態を判定する診断部として、居眠り診断部３１及び脇見診断部３２を備えている。しかしながら、ＥＣＵ３０は、居眠り及び脇見以外のドライバの運転状態についても判定するように構成されてもよい。例えば、ドライバが眼の状態を検出してドライバが白目をむいているときにはドライバに異常が生じていると判定したり、ドライバの動きを検出してドライバが痙攣しているときにはドライバに異常が生じていると判定したり、ドライバの姿勢を検出してドライバが傾いて座っているときにはドライバに異常が生じていると判定したりするようにしてもよい。

≪問題点≫
ところで、上述したように、居眠り診断部３１では、ドライバモニタカメラ１０から入力される画像において、ドライバの眼が開かれた状態で維持されている場合には、ドライバは居眠りしていないと判定される。したがって、この場合、ドライバの運転状態には異常はないと判定される。また、脇見診断部３２では、ドライバモニタカメラ１０から入力される画像において、ドライバの顔が正面を向いた状態で維持されている場合には、ドライバは脇見をしていないと判定される。したがって、この場合にも、ドライバの運転状態には異常はないと判定される。上述したように他の判定を行うように構成されている場合であっても、ドライバが白目をむいていない状態、痙攣していない状態、姿勢が傾いていない状態等が維持されれば、ドライバの運転状態には異常はないと判定される。

一方、ドライバモニタカメラ１０が故障すると、故障の状態によってはドライバモニタカメラ１０からの画像が時間を追って変化することなく、過去の或る画像を出力し続ける場合がある。このようにドライバモニタカメラ１０が故障してしまうと、ドライバモニタカメラ１０から各診断部３１、３２へ送信させる画像が変化しなくなる。この場合、ドライバが居眠り運転や脇見運転等を行ったとしても、ドライバモニタカメラ１０からの画像が変化しないため、居眠りの判定や脇見の判定を行うことができない。

また、例えば、ドライバが眼を覆うようなお面を装着しているような場合、お面の種類によっては、ドライバの眼が開いた状態にあると判定される。このため、この場合には、ドライバの居眠りの判定を適切に行うことができない。

加えて、ドライバが眼を開けたまま眠っていたり、眼は開いているが考え事をしている等により車両５０の前方にドライバの意識が向いていなかったりする場合、ドライバの眼は開いた状態であり且つドライバの顔は正面を向いていると判定される。このため、この場合には、ドライバが居眠りや脇見といった異常な運転状態にあることは検出されない。

このように、ドライバモニタカメラ１０等、ドライバ状態監視装置１の一部に故障が発生したり、ドライバがお面を装着していたりすると、ドライバの運転状態を把握することができなくなり、よってドライバの運転状態を適切に診断することができなくなる。また、ドライバが眼を開けたまま眠っていたりすると、単純に眼を閉じているか否かのみに基づいてドライバの運転状態の異常を判定している場合に、ドライバの運転状態の異常を適切に診断することができなくなる。

≪本実施形態における異常診断≫
このような問題に対して、本実施形態では、ＥＣＵ３０は、主に以下の二つの操作を行う異常診断部３３を備える。すなわち、異常診断部３３は、ドライバモニタカメラ１０から送信された画像について、所定時間における変化量を算出する。そして、このようにして算出された変化量が予め定められた基準値以下であった場合には、ドライバ又はドライバ状態監視装置１に異常が生じていると判定する。

まず、ドライバモニタカメラ１０から送信された画像における変化量の算出方法について説明する。異なる時期に撮像された二つ以上の画像における変化の程度を求める手法としては様々な方法が考えられ、これら画像における変化を適切に求めることができれば如何なる方法が用いられてもよい。

一例として、本実施形態では、各ピクセルの輝度に基づいて画像の変化量を算出する。すなわち、異常診断部３３は、異なる時期に撮像された二つ以上の画像において、各ピクセルの輝度の差を比較する。そして、二つ以上の画像を比較したときに、輝度の差が予め定められた値以上となっている輝度変化の大きいピクセルの数を算出する。このように算出された輝度変化の大きいピクセルの数の、全ピクセル数に対する割合を、画像の変化量として算出する。

その後、このようにして算出された画像の変化量が予め定められた基準値以下であった場合には、ドライバ又はドライバ状態監視装置１に異常が生じていると判定するようにしている。上述したように、画像の変化量として全ピクセル数に対する輝度変化の大きいピクセルの数の割合を用いた場合、この割合が予め定められた基準値（例えば、５％）以下であった場合には、ドライバ又はドライバ状態監視装置１に異常が生じていると判定するようにしている。

ところで、上述したようにして算出される画像の変化量は、発生している異常の種類に応じて変化する。例えば、ドライバモニタカメラ１０が故障して、ドライバモニタカメラ１０から同一の画像が出力され続けるような場合には、異常診断部３３に入力される画像は変化しないため、算出される画像の変化量はゼロである。

一方、ドライバが眼を覆うようなお面を装着しているような場合であっても、ドライバは車両の振動等に応じて動くことから、ドライバモニタカメラ１０から出力される画像は多少なりとも変化する。同様に、ドライバが眼を開けたまま眠っていたりドライバの意識が車両５０の前方に向いていなかったりする場合にも、ドライバは車両の振動等に応じて動くことから、ドライバモニタカメラ１０から出力される画像は多少なりとも変動する。したがって、これらの場合には、算出される画像の変化量は、ゼロよりも大きくなる。

そこで、本実施形態では、異常診断部３３は、上述したようにして算出された画像の変化量がゼロであった場合には、ドライバ状態監視装置１に異常が生じていると判定する。この場合には、ドライバ状態監視装置１に、すなわちシステムに異常が生じている旨のシステム異常警報指令が、異常診断部３３からＨＭＩ４０へ送信される。ＨＭＩ４０では、システム異常警報指令が送信されると、システムに異常が生じている旨の警報をドライバに対して行う。具体的には、ＨＭＩ４０は、例えば、スピーカによって警報音を発生させると共に、ディスプレイにシステムに異常が生じている旨の警報を表示させる。

一方、異常診断部３３は、上述したようにして算出された画像の変化量がゼロよりも大きく且つ上記予め定められた基準値以下であった場合には、ドライバに異常が生じていると判定する。この場合には、ドライバに異常が生じている旨のドライバ異常警報指令が、異常診断部３３からＨＭＩ４０へ送信される。ＨＭＩ４０では、ドライバ異常警報指令が送信されると、ドライバに異常が生じている旨の警報をドライバに対して行う。具体的には、ＨＭＩ４０は、スピーカによってドライバに注意を促す警報を発生させると共に、ディズプレイシステムにも注意を促す表示を行う。

なお、上述した変化量を算出する際の所定時間は、予め定められた一定時間であってもよいし、車両の状況等に応じて変化する値であってもよい。車両の状況に応じて変化させる場合には、例えば、車両が停車しているときには所定時間が長くなるように設定される。

また、上述した実施形態では、ドライバモニタカメラ１０によって撮像された画像全体を比較して、画像の変化量を算出し、その変化量に基づいてドライバ又はドライバ状態監視装置１の異常を診断している。しかしながら、画像の変化量は、ドライバモニタカメラ１０によって撮像された画像全体について算出されずに、ドライバモニタカメラ１０によって撮像された画像の一部について算出されてもよい。この場合、例えば、ドライバモニタカメラ１０によって撮像された画像のうち顔画像のみについて、或いは顔の一部のパーツを示す画像について、変化量が算出される。

したがって、異常診断部３３は、ドライバモニタカメラ１０から送信された画像の少なくとも一部について、所定時間における変化量を算出しているということができる。また、異常診断部３３は、ドライバモニタカメラ１０から送信された画像のうち少なくともドライバの顔の一部のパーツを示す画像の、所定時間における変化量がゼロよりも大きく且つ予め定められた変化量以下であった場合には、ドライバに異常が生じていると判定しているということができる。

また、上述したように、ドライバモニタカメラ１０が故障した場合には、画像は全く変化しない。このため、ドライバモニタカメラ１０から送信される画像の各ピクセルの輝度も全く変化しない。したがって、ディスプレイにシステムの異常を判定するにあたっては、画像の変化量として、全ピクセル数に対する輝度変化の大きいピクセルの数の割合を用いるのではなく、全ピクセルの輝度変化の総計を用いてもよい。

≪フローチャート≫
次に、図３を参照して、ドライバ又はドライバ状態監視装置１の異常を診断する異常診断制御について説明する。図３は、異常診断制御の制御ルーチンを示すフローチャートである。図示した制御ルーチンは、一定時間間隔で実行される。

図４に示したように、まず、ステップＳ１１では、ドライバモニタカメラ１０によって撮像された画像がドライバモニタカメラ１０から異常診断部３３に取り込まれる。次いで、ステップＳ１２では、ステップＳ１１にて取り込まれた画像の解析が行われる。具体的には、例えば、ステップＳ１１にて取り込まれた画像の各ピクセルにおける輝度が算出される。次いで、ステップＳ１３では、ステップＳ１２において行われた画像解析の解析データが保存される。具体的には、例えば、各ピクセルにおける輝度を示すデータが保存される。

次いで、ステップＳ１４では、時間カウンタＮに１が加算される。時間カウンタＮは、制御ルーチンが一回実行される毎に１が加算されると共に制御ルーチンが一定時間間隔で実行されることから、時間経過を表すカウンタとして機能する。

次いで、ステップＳ１５では、ステップＳ１４で算出された時間カウンタＮの値が、上述した変化量を算出する際の所定時間に相当する基準回数Ｎｒ以上になったか否かが判定される。時間カウンタＮが基準回数Ｎｒ未満であることは、今回の異常診断のための画像の取り込み開始から未だ所定時間が経過していないことを意味している。一方、時間カウンタＮが基準回数Ｎｒ以上であることは、今回の異常診断のための画像の取り込み開始から所定時間以上が経過していることを意味している。ステップＳ１５において、時間カウンタＮが基準回数Ｎｒ未満であると判定された場合には、制御ルーチンが終了せしめられる。一方、ステップＳ１５において、時間カウンタＮが基準回数Ｎｒ以上であると判定された場合には、ステップＳ１６へと進む。

ステップＳ１６では、ステップＳ１３において保存された解析データに基づいて画像変化量Ｄが算出される。具体的には、所定時間における輝度の差（最大値と最小値との差）が基準差以上であるピクセルの数が算出される。次いで、変化量の算出を行うために用いられる画像の全ピクセル数に対する輝度変化が基準差以上であるピクセルの数の割合（以下、「変化ピクセル割合」ともいう）が、画像変化量Ｄとして算出される。

次いで、ステップＳ１７では、ステップＳ１６で算出された画像変化量Ｄがゼロであるか否かが判定される。ステップＳ１７において、画像変化量Ｄがゼロであると判定された場合には、ステップＳ１８へと進む。ステップＳ１８では、異常診断部３３においてシステムに異常が生じていると判定される。この結果、異常診断部３３からＨＭＩ４０へシステム異常警報指令が送信される。次いで、ステップＳ２３へと進み、時間カウンタＮがリセットされる。一方、ステップＳ１７にて、画像変化量Ｄがゼロではないと判定された場合には、ステップＳ１９へと進む。

ステップＳ１９では、ステップＳ１６で算出された画像変化量Ｄがゼロよりも大きく且つ予め定められた基準値Ｄｒ以下であるか否かが判定される。ステップＳ１９において、画像変化量Ｄがゼロよりも大きく且つ基準値Ｄｒ以下であると判定された場合には、ステップＳ２０へと進む。ステップＳ２０では、異常診断部３３においてドライバに異常が生じていると判定される。この結果、異常診断部３３からＨＭＩ４０へドライバ異常警報指令が送信される。次いで、ステップＳ２３へと進み、時間カウンタＮがリセットされる。一方、ステップＳ１９にて、画像変化量Ｄが基準値Ｄｒよりも大きいと判定された場合には、ステップＳ２１へと進む。

ステップＳ２１では、異常診断部３３において、システム及びドライバには異常が生じていないと判定される。すなわち、異常診断部３３において、正常判定がなされる。この場合、ＨＭＩ４０へは特に警報指令は送信されない。その後、ステップＳ２３へと進み、時間カウンタＮがリセットされる。

＜第二実施形態＞
次に、図４を参照して、第二実施形態に係るドライバ状態監視装置１について説明する。第二実施形態に係るドライバ状態監視装置１の構成及び制御は基本的に第一実施形態に係るドライバ状態監視装置１の構成及び制御と同様であるため、以下では、第一実施形態に係るドライバ状態監視装置１の構成及び制御と異なる部分を中心に説明する。

ところで、上述したように、ドライバモニタカメラ１０によって撮像された画像における変化量が小さいときには、ドライバに異常が生じていると判断される。しかしながら、例えば長い直線道路を走行しているときや曲率の小さいカーブを走行しているときは、ドライバが眼を開けたまま眠っていたり、ドライバが考え事をしている等により車両５０の前方に意識が向いていなかったりしなくても、ドライバの顔等の変化量は小さい。したがって、走行環境等によっては、ドライバが眼を開けたまま眠っていたり、ドライバの意識が前方に向いていなかったりしなくても、ドライバモニタカメラ１０によって撮像された画像における変化量が小さくなってしまうことがある。

一方、ドライバが眼を開けたまま眠っていたり、ドライバの意識が前方に向いていなかったりせずに、正常な状態で運転している場合には、車両５０の走行中にはステアリング５２を必ず操作することになる。

そこで、本実施形態では、異常診断部３３は、上述したようにして算出された画像の変化量がゼロよりも大きく且つ上記予め定められた基準値以下であった場合であっても、操作検出センサ２０によってドライバがステアリング操作をしたことが検出された場合には、ドライバに異常が生じていないと判定することとしている。この結果、ＨＭＩ４０によるドライバに対して警報は行われない。これにより、ドライバが正常な様態で運転しているにも関わらず、ドライバに異常が生じていると異常診断部３３が誤判定してドライバに対して不要な警報が行われることが抑制される。

なお、上述したように、画像の変化量はドライバモニタカメラ１０によって撮像された画像の一部について算出されてもよいことを考慮すると、本実施形態では、異常診断部３３は、ドライバモニタカメラ１０によって撮像された画像のうち少なくともドライバの顔の一部のパーツを示す画像の、所定時間における変化量がゼロよりも大きく且つ予め定められた変化量以下であった場合であっても、所定時間中に操作検出センサ２０によってステアリングの操作が検出されたときには、ドライバに異常が生じていないと判定しているといえる。

図４は、異常診断制御の制御ルーチンを示すフローチャートである。図示した制御ルーチンは、一定時間間隔で実行される。なお、図４におけるステップＳ３１〜Ｓ４２は、図３のステップＳ１１〜Ｓ２２と同様であるため説明を省略する。

ステップＳ３９において、画像変化量Ｄがゼロよりも大きく且つ基準値Ｄｒ以下であると判定された場合には、ステップＳ４３へと進む。ステップＳ４３では、時間カウンタＮの値が０から基準回数Ｎｒ以上になるまでの期間中にステアリング操作があったか否かが判定される。具体的には、操作検出センサ２０として用いられるトルクセンサによって検出される操舵トルクが上記期間中に所定値以上になったか否かに基づいて、ステアリング装置があったか否かが判定される。

ステップＳ４３において、上記期間中にステアリング操作があったと判定された場合には、ステップＳ４１へと進む。一方、ステップＳ４３においてステアリング操作がなかったと判定された場合にはステップＳ４０へと進む。

１ ドライバ状態監視装置
１０ ドライバモニタカメラ
２０ 操作検出センサ
３０ 電子制御ユニット（ＥＣＵ）
３１ 居眠り診断部
３２ 脇見診断部
３３ 異常診断部
４０ ＨＭＩ
５０ 車両

Claims (6)

1. ドライバの状態を監視するドライバ状態監視装置であって、
   ドライバを撮像する撮像装置と、該撮像装置から送信された画像に基づいてドライバ又は当該ドライバ状態監視装置の状態を診断する異常診断部と、前記異常診断部によってドライバ又は当該ドライバ状態監視装置に異常が生じていると判定された場合にドライバに異常を警報する警報部と、を備え、
   前記異常診断部は、前記撮像装置から送信された画像の少なくとも一部について、所定時間における変化量が予め定められた変化量以下であった場合には、ドライバ又は当該ドライバ状態監視装置に異常が生じていると判定するように構成される、ドライバ状態監視装置。
2. 前記異常診断部は、前記撮像装置から送信された画像の所定時間における変化量がゼロであった場合には、当該ドライバ状態監視装置に異常が生じていると判定する、請求項１に記載のドライバ状態監視装置。
3. 前記警報部は、前記異常診断部によって当該ドライバ状態監視装置に異常が生じていると判定された場合には、システムに異常が生じている旨の警報をドライバに対して行う、請求項２に記載のドライバ状態監視装置。
4. 前記異常診断部は、前記撮像装置から送信された画像のうち少なくともドライバの顔の一部のパーツを示す画像の、所定時間における変化量がゼロよりも大きく且つ予め定められた変化量以下であった場合には、ドライバに異常が生じていると判定する、請求項１〜３のいずれか１項に記載のドライバ状態監視装置。
5. 前記警報部は、前記異常診断部によってドライバに異常が生じていると判定された場合には、ドライバに異常が生じている旨の警報をドライバに対して行う、請求項４に記載のドライバ状態監視装置。
6. ドライバによるステアリングの操作を検出する操作検出センサを更に備え、
   前記異常診断部は、前記撮像装置によって撮像された画像のうち少なくともドライバの顔の一部のパーツを示す画像の、所定時間における変化量がゼロよりも大きく且つ予め定められた変化量以下であった場合であっても、前記所定時間中に前記操作検出センサによってステアリングの操作が検出されたときには、ドライバに異常が生じていないと判定する、請求項４又は５に記載のドライバ状態監視装置。

Images