JP4788624B2 - 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム - Google Patents

Description

本発明には、車両機器を制御して運転者を支援する不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラムに関し、特に誤制御を低減した不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラムに関する。

衝突を未然に防ぎ、また、衝突が起こった場合でもその被害を最小に留めるため車載されるプリクラッシュセイフティシステム（以下、ＰＣＳという）では、進行方向の障害物を検出して障害物との衝突の可能性に応じて車載装置を制御して、衝突被害軽減や更には障害物を回避する運転支援を実行する。また、運転者の脇見又は居眠り（以下、単に不注意状態という）を検知した場合に、運転者に警告することで注意喚起する運転支援が提案されている。

しかしながら、ＰＣＳでは障害物を誤検出する場合がある場合が、不注意状態に対する警告では不注意状態の誤検知により不適切な警告が起こりうることが知られており、これを防ぐ技術が提案されている（例えば、特許文献１参照。）。特許文献１には、運転者の不注意状態を検知した場合に、運転者に警告する警報装置において、操舵角が所定以上の場合にはカーブ走行中等であると判定して警報出力を禁止する制御が記載されている。
特開２００２−２３２５号公報

しかしながら、不注意状態の検知を運転者の顔画像から検知する場合、光の加減などで誤検知することがあり、特許文献１記載の警告装置のように、操舵時のみ警報出力を禁止しても直線走行時の誤警報を防止できないという問題がある。

ところで、ＰＣＳと不注意状態の検知を組み合わせ、障害物との衝突の可能性が検出された場合に運転者が不注意状態であった場合は、警報出力など車載装置の制御を早期に行う技術（以下、早期制御という）が提案されている。

図１は、早期制御の概略を示す図である。不注意状態でない場合、衝突までの時刻Ｔ１に警報音を吹鳴するが、不注意状態が検知された場合は時刻Ｔ１よりも早い時刻Ｔ２で警報音を吹鳴する。

しかしながら、早期制御するためには不注意状態でない場合よりも遠方の障害物との衝突の可能性を判定する必要があるため、ＰＣＳにおける衝突判定閾値を緩和することになる。すなわち、より遠方又は広範囲に障害物が検出された時点で早期制御され得ることになる。この場合、不注意状態が正常に検知されている場合は障害物との衝突の可能性に応じて適切な早期制御が実現されるが、不注意状態が誤検知されていた場合には早期制御により誤制御（警報音の吹鳴など）する時間帯又は可能性が増大してしまう（図ではＴ２とＴ１の時間）という問題がある。また、衝突判定閾値の緩和により、ミリ波レーダ装置などの障害物検出手段が不要な障害物（障害物でない、回避可能）を検出する可能性が増すため、不注意状態の誤検知による誤警報が増すことになる。

本発明は、上記課題に鑑み、不注意状態の誤検知による車両機器の誤制御を低減する不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラムを提供することを目的とする。

上記課題に鑑み、本発明は、閾値時間（例えば、脇見閾値、居眠り閾値）以上の間、継続して運転者の不注意状態を検知した場合に車両機器を制御する不注意警告装置において、車両走行中に、閾値時間よりも長時間の精度判定閾値以上の間、継続して不注意状態となる精度低下状態を検知する不注意検知精度判定手段と、精度低下状態の場合、車両機器の制御を制限する車両制御制限手段と、車両周囲の障害物を検出する障害物検知手段と、 前記障害物を検出した場合であって、不注意状態の場合に不注意状態でない場合よりも早期に前記車両機器を制御する車両制御手段と、を有し、前記精度低下状態の場合、前記車両制御制限手段は早期の前記車両機器の制御を、前記障害物検知手段が先行車両を検出するまで禁止する、を有することを特徴とする。

本発明によれば、車両走行中の運転者が閾値時間よりも長時間、不注意状態を継続する可能性は低いことから、この場合に車両機器の制御を制限することで誤制御を防止することができる。
本発明によれば、障害物との衝突のおそれがある場合に障害物が検出されない場合よりも早期に制御される車両機器において、精度低下状態の場合には、先行車両を検出するまで早期制御を禁止することができる。先行車両に対し、閾値時間よりも長時間、不注意状態を継続する可能性は低く、また、先行車が検出されない場合は車両制御を禁止しなくても誤制御とならない。

また、本発明の一形態において、車両制御制限手段は、所定時間の間、車両機器の制御を制限することを特徴とする。

本発明によれば、光の影響など環境によって不注意状態を誤検知している場合、所定時間経過することで検知可能となる可能性が高いので、所定時間の間だけ車両機器の制御を制限する。

また、本発明の一形態において、車両制御制限手段は、１トリップ（イグニッションオンからオフの間）、車両機器の制御を制限する、ことを特徴とする。

本発明によれば、１トリップ経過すれば不注意状態を検知可能となる可能性が高いので、１トリップの間だけ車両機器の制御を制限することができる。

また、本発明の一形態において、車両制御制限手段は、不注意状態が検知されなくなるまで、前記車両機器の制御を制限する、ことを特徴とする。

本発明によれば、不注意状態が検知されなくなることで、顔向き度又は眼の開度が正常に検出可能となったと判定してよいので、不注意状態が検知されなくなるまで前記車両機器の制御を制限することができる。

また、本発明の一形態において、不注意検知精度判定手段が、所定期間に所定回数以上、精度低下状態を検知した場合、車両制御制限手段、１トリップの間、車両機器の制御を禁止する、ことを特徴とする。

本発明によれば、精度低下状態が頻繁に検知される場合、１トリップの間、車両制御を禁止することで、誤制御を防止することができる。

また、本発明の一形態において、不注意状態を検知するため運転者の顔画像を撮影するカメラに、運転者の腕部が撮影されるおそれがあるか否かを検出する検出手段を有し、検出手段が運転者の腕部が撮影されるおそれがあることを検出した場合、車両制御制限手段は、精度低下状態であるか否かに関わらず車両機器の制御を禁止する、ことを特徴とする。

本発明によれば、顔画像に運転者の腕部が撮影され不注意状態が誤検知されるおそれを検知し、車両機器の誤制御を防止することができる。

不注意状態の誤検知による車両機器の誤制御を低減する不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラムを提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を挙げて説明する。本実施形態の不注意警告装置１０は、脇見又は居眠りなど運転者の不注意状態が検知された場合に警告し、また、ＰＣＳ（プリクラッシュセーフティシステム）などの制御を早期に実行する（早期制御）ものであって、不注意状態の検知精度を判定することで不注意状態の誤検知がもたらす車両機器の誤制御を低減する（以下、警告、ＰＣＳ制御を単に車両制御という）。

図２は、不注意警告装置１０の概略ブロック図を示す。不注意警告装置１０は、顔向き度及び眼の開度を検出する不注意検知装置２０及び不注意が検知された場合に車両制御により警告等の運転支援を実行する車両制御装置３０を有する。

始めに、不注意検知装置２０について説明する。不注意検知装置２０は、カメラ１１、画像処理ＥＣＵ１２、ミリ波レーダ装置１３、ドライビングサポートＥＣＵ（ＤＳＳ
ＥＣＵ（Electronic Control Unit）。以下、単にＤＳＳという。）１４、ステアリングホイール２２の操舵角を検出する操舵角センサ２１を有する。

カメラ１１は、車両の後方の斜め上方を光軸にして、例えばステアリングコラムに運転者の顔を臨むように配置される。カメラ１１はＣＣＤ（Charge Coupled Device）等の光電変換素子を有し、入射した光をその強度に応じて光を光電変換し、所定の輝度階調（例えば、２５６階調）のデジタル画像（顔画像）を出力する。ミリ波レーダ装置１３は、ミリ波レーダを照射し、車両の前方等の障害物に反射して帰ってくるまでの時間により障害物までの距離を、反射波の周波数変化により障害物との相対速度を検出することができる。また、複数設けたアンテナの強度等を演算して障害物の方向を検出する。また、操舵角センサ２１はステアリングホイール２２の操舵角を、例えば直進時の操舵角を基準に検出する非接触なロータリエンコーダである。ステアリングホイール２２は、運転者がステアリングホイール２２のどの部分を把持しているかを、例えばタッチセンサにより検出する把持部検出手段２４を有する。

画像処理ＥＣＵ１２及びＤＳＳ１４は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となりまた一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、データのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するフラッシュメモリ等がバスにより接続されたマイコンにより構成される。

車両制御装置３０のプログラム２５は、フラッシュメモリに記憶された状態でＤＳＳ１４と共に車載されるか、又はＤＳＳ１４が車載された後に車載ＬＡＮを介してダウンロードされる。この車両制御装置３０のプログラム２５をＣＰＵが実行することで、脇見検知手段１４ａ、居眠り検知手段１４ｂ、衝突判定手段１４ｃ、不注意検知精度判定手段１４ｄ及び車両制御制限手段１４ｅが実現される。また、画像処理ＥＣＵ１２のマイコンがプログラムを実行することで顔向き検出手段１２ａ、眼の開閉検出手段１２ｂが実現される。なお、ＤＳＳ１４の例えばＲＡＭには不注意状態の検知精度の判定結果を記憶した不注意検知精度判定記憶部２３が設けられている。

顔画像の処理による顔向き度及び眼の開度の検出について簡単に説明する。図３は顔画像の画像処理例を示す図である。顔向き検出手段１２ａは、順次入力される顔画像から、顔の輪郭と中央線を検出し、また、眼の開閉検出手段１２ｂは、鼻孔位置、眼の位置を含む所定の眼球追跡領域を順に設定し、眼球追跡領域の中の眼の開閉を顔画像毎に検出する。

顔向き検出手段１２ａは、顔画像から顔のおよその位置を決定するため顔の輪郭を検出する。例えば、顔向き検出手段１２ａは、顔画像に対し背景が静止していることを利用して、複数の顔画像間の画素毎に画素値の変化量をカウントし、カウント結果がピークとなる画素位置を顔の横方向の輪郭位置とする。

また、顔向き検出手段１２ａは、エッジ情報から顔の上下方向の輪郭を検出する。エッジ情報により、顔のパーツである、眉、まぶた、鼻孔、口角、上下の唇の境、など、肌に比べ輝度の変化の大きい画素が検出される。人の顔のパーツは左右対称に配置されているので、顔向き検出手段１２ａは左右のエッジ情報の数がほぼ均等になるように顔の中央線を検出する。

そして、得られた顔の中央線から眉と推定される連続黒領域（エッジ情報で囲まれた領域）を、中央線の左右対象に検出し、これを上側の輪郭と決定する。また、眉よりも下側であって顔の中央線を跨ぎ所定以上に連続したエッジ情報を上下の唇の境とみなし、顔の下側の輪郭として決定する。このようにして、顔の輪郭位置が得られる。

得られた中央線を顔画像毎に追跡することで、正面方向に対し運転者が顔を向いている方向を示す顔向き度が検出される。

眼の開閉検出手段１２ｂは、鼻孔位置に基づき眼球追跡領域を設定する。鼻孔位置は、顔の中心線をとおるやや縦長の鼻孔検出領域を２値化して、鼻孔の特徴（形状、大きさ、水平に２つ存在）を備える連続した黒画素の領域を鼻孔位置として決定する。そして、眼の開閉検出手段１２ｂは、鼻孔と眼の位置の関係の統計データを利用して、鼻孔位置を基準に所定の領域を眼球追跡領域として設定する。いったん、眼球追跡領域が設定された後は、その中から眼の開閉を検出することとし、眼の開閉が検出されない状態が継続すると改めて顔の輪郭から検出をやり直す。

そして、眼の開閉検出手段１２ｂは、眼球追跡領域の上瞼と下瞼を監視することで眼の開閉を検出する。眼の開閉検出手段１２ｂは、眼球追跡領域のエッジ情報を検出し、眼球追跡領域の左の画素列から順に、上から下向きに向かってエッジ情報を検索し、エッジ情報が検索できたら１つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、上瞼の画素位置が得られる。同様に、眼球追跡領域を下から上向きに向かって検索することで、下瞼の画素位置が得られる。また、このようにして検出された上瞼の位置が、所定数の顔画像が得られる間に大きく変わるか否かにより上瞼の位置を決定してもよい。

眼の開閉検出手段１２ｂは、上瞼と下瞼の画素位置の差（上下の距離）を左から順に算出し、最大となる画素数を眼の開度とする。なお、運転者が目を閉じている場合も上下の瞼の位置から同様な処理過程により眼の開度が検出される。

脇見検知手段１４ａは、顔向き度を脇見閾値と比較して運転者の脇見を検知する。顔向き度は正面方向に対する顔向き角度であるので、顔向き度が大きいほど脇見の度合いが大きい。このため、脇見検知手段１４ａは例えば所定値Ａ以上の顔向き度が閾値時間Ｋ以上継続した場合に運転者が脇見をしていると判定する。なお、所定値Ａを可変にして、顔向き度が大きいほど継続時間を短くするなど脇見検知の判定基準は設計できる。

居眠り検知手段１４ｂは、眼の開閉を判定するための閾値と眼の開度を比較して、閾値以上であれば開状態、閾値より小さければ閉状態と判定し、計測カウンタにより閉眼が連続した場合は閉眼時間を継続して計測する。そして、居眠り検知手段１４ｂは閉眼時間が居眠り閾値である閾値時間Ｌ以上となると、運転者が居眠り状態であると判定する。なお、運転者が覚醒状態から居眠り状態に移行する過程では、閾値時間Ｌには至らないが閉眼の頻度が徐々に増大するものであるため、所定時間（例えば３０秒）間の閉眼回数をカウントし、閉眼回数が所定値Ｃ以上となった場合に、居眠り又は眠気有りと判定してもよい。また、脳波、脈拍、体温、皮膚電位等により居眠り検知したり、これらにより補足して居眠り検知の精度を向上させてもよい。

衝突判定手段１４ｃは、障害物までの距離・相対速度、障害物の方向を衝突判定閾値と比較して衝突の可能性を判定する。障害物までの距離・相対速度はＴＴＣ（Time To Collision）に置き換えて扱うことができ、衝突判定手段１４ｃはＴＴＣが所定値Ｄ以下であって、車両の正面方向に対し左右に所定角度θ以内に障害物が検出される場合に衝突の可能性があると判定する。なお、ＰＣＳでは、ＴＴＣに応じて、・衝突の可能性がある場合、・衝突の可能性が高い場合、・衝突が不可避の場合、等に場合分けしてそれぞれのタイミングで車両制御を実行する。このため、所定値Ｄは複数の衝突判定閾値を有するものとなるが、本実施形態では例えば衝突の可能性がある場合の衝突判定閾値として用いる。

不注意検知精度判定手段１４ｄは、不注意状態（顔向き度に基づく脇見検知及び眼の開度に基づく居眠り検知）の検知精度が所定以下か否かを、例えば、顔向き度については脇見閾値よりも長時間の所定時間、眼の開度については居眠り閾値よりも長時間の所定時間（以下、これらを精度判定閾値という）継続した場合に、不注意状態の検知精度が所定以下であると判定する。また、車両が直線走行しているか否か、ステアリングホイール２２の把持位置などと組み合わせて判定してもよい。

車両制御制限手段１４ｅは、不注意検知精度判定手段１４ｄの判定結果に基づき車両制御装置３０が実行する車両制御を、禁止を含み、制限解除条件を満たすまで制限する。例えば、脇見閾値又は居眠り閾値による判定基準を満たしていても、不注意検知精度判定手段１４ｄがこれらの検知精度が所定以上でないと判定している場合、制限解除条件を満たすまで制限する。詳しくは実施例において詳述する。

続いて、車両制御装置３０について説明する。車両制御装置３０はブレーキ（ＡＣＴ）アクチュエータ１６を制御するブレーキＥＣＵ１５、及び、警報音を吹鳴するブザー出力器１８や警告ランプ１９を制御するメータＥＣＵ１７を有する。

ブレーキＡＣＴ１６は、運転者のブレーキペダル踏力に応じた油圧を各車輪のホイルシリンダに供給する油圧回路を備えると共に、各輪への油圧回路を開閉する開閉弁及び油圧を生成するポンプを備える。ブレーキＥＣＵ１５は、ブレーキＡＣＴ１６を制御して運転者のブレーキペダル操作に依存せずに各車輪のホイルシリンダ圧を独立に制御する。例えば、ＰＣＳでは、障害物との衝突の可能性が高くなった場合に警報ブレーキとして軽い制動が加えられ、さらに衝突が不可避となると緊急ブレーキとして緊急制動が加えられる。

メータＥＣＵ１７は、各種センサの信号、スイッチ類の信号、及び、各ＥＣＵからの要求に基づき、速度やエンジン回転数などの車両状態、半ドアなど警告をインストルメントパネルのメータ類に表示したり所定のランプを点灯して運転者に知らせる。また、ブザー出力器１８は、ブザーなどの警報音を出力するための音源回路及びスピーカであり、警告ランプ１９は点灯するインストルメントパネル上のランプ又はＨＵＤ（Head Up Display）の投光装置など運転者に視覚的に注意喚起するものである。

脇見検知手段１４ａ若しくは居眠り検知手段１４ｂにより運転者の不注意状態が検知された場合、又は、衝突判定手段１４ｃにより衝突の可能性が有ると判定された場合、メータＥＣＵ１７はＤＳＳ１４の要求によりブザー出力器１８により警報音を吹鳴し、警告ランプ１９を点灯させる。

なお、この他の車両制御として、衝突の可能性に応じてシートベルトを巻き上げるプリクラッシュシートベルト、不注意状態の運転者を注意喚起する振動体などの各種手段を備えていてもよい。

本実施例では、不注意検知装置２０の検知精度を判定し、検知精度が所定以下の場合に車両制御を制限する不注意警告装置１０について説明する。

光の影響による顔向き度又は眼の開度の誤検知について説明する。図４（ａ）は顔画像の一例を、図４（ｂ）はエッジ情報を取得した顔画像の一例をそれぞれ示す。図４（ａ）に示すように、運転者の右側から光が照射されているため、顔画像には背景部を含めエッジの強い陰影が複数存在している。このようなエッジの強い箇所は、図４（ｂ）に示すように窓枠エッジ３１、顔横エッジ３２、鼻横エッジ３３、服装エッジ３４等を生じさせる。このため、顔向き検出手段１２ａは窓枠エッジ３１と顔横エッジ３２を顔の横方向の輪郭と捉えるなど、運転者は正面方向を向いているにも関わらず、大きな顔向き度を検出する場合がある。また、顔向き度（すなわち中央線）が正常に検出されなければ眼球追跡領域も正常に設定されないことになるため、正確な眼の開度の検出も困難になる。したがって、顔向き度又は眼の開度が正常に検出されない状況では、不注意を検知したからといって警告しても誤警告となるおそれが高い。そこで、不注意検知精度判定手段１４ｄは、不注意状態の検知精度を判定し、車両制御制限手段１４ｅは不注意の検知精度が所定以下の場合に警報音の吹鳴などの車両制御を制限する。

〔車両走行中における長期の不注意状態の検知〕
不注意検知に基づく車両制御は、主に走行中の運転者を注意喚起する運転支援であるが、車両走行中にかかる不注意状態が予め定められた脇見閾値又は居眠り閾値よりもさらに所定以上長く継続することは考えにくい。そこで、不注意警告装置１０は、不注意状態が精度判定閾値以上の時間、継続した場合に車両制御を制限する。制限であるので脇見閾値又は居眠り閾値を緩和してもよいし、以下のように不注意状態に基づく制御を禁止してもよい。

図５は、不注意状態が精度判定閾値以上継続した場合に、不注意警告装置１０が車両機器の制御を禁止する制御手順を示すフローチャート図である。

不注意検知精度判定手段１４ｄは、不注意状態が検知されたか否かを判定する（Ｓ１０）。すなわち、脇見検知手段１４ａが、顔画像から検出された顔向き度に基づき例えば所定値Ａ以上の顔向き度が閾値時間Ｋ以上継続したと判定したか、又は、居眠り検知手段１４ｂが、閾値時間Ｌ以上に閉眼時間が継続したと判定したか、を判定する。

不注意状態が検知された場合（Ｓ１０のＹｅｓ）、ＤＳＳ１４は警報音の吹鳴など所定の車両制御を実行する（Ｓ２０）。

ついで、不注意検知精度判定手段１４ｄは、走行中の不注意状態が精度判定閾値以上継続しているか否かを判定する（Ｓ３０）。精度判定閾値は、脇見検知と居眠り検知のそれぞれに適切な時間であるが、脇見検知の場合は閾値時間Ｋより長く（例えば、Ｋ×２以上）、居眠り検知の場合は閾値時間Ｌより長い（例えば、Ｌ×２以上）。

不注意状態が精度判定閾値以上継続していない場合（Ｓ３０のＮｏ）、ＤＳＳ１４は車両制御を終了する（Ｓ４０）。

不注意状態が精度判定閾値以上継続している場合（Ｓ３０のＹｅｓ）、車両走行中に長時間脇見し又は居眠りする可能性は低く、この場合は不注意状態を誤検知していると考えられるため、車両制御制限手段１４ｅは不注意状態の検知に基づく車両制御を禁止する（Ｓ５０）。なお、ステップＳ２０の車両制御が継続していた場合、車両制御の禁止によりこれが終了される。

ついで、車両制御制限手段１４ｅは、車両制御を禁止してから所定時間が経過したか否かを判定する（Ｓ６０）。いつまでも車両制御を禁止していると不注意状態の検知による車両制御ができなくなり、また、光の影響など、走行環境によって不注意状態を誤検知している場合、所定時間の経過により正常に検知可能となる可能性がありためである。

なお、所定時間の経過でなく、１トリップ（イグニッションオンからオフまでの期間。以下同。）の経過まで車両制御を禁止してもよい。

また、所定時間の経過でなく、注意状態が検知されるまで車両制御を禁止してもよい。注意状態とは、脇見であれば正面方向を向いていることを示す顔向き度、居眠りであれば開眼を示す眼の開度、が検出されることである。不注意状態の検知精度が所定以下となった場合、脇見又は居眠り（又は未検知）と判定されることが多いので、正面方向の顔向き度又は開眼の眼の開度が検知された場合は不注意状態を精度よく検知可能となったと判断できるためである。

所定時間経過した場合（Ｓ６０のＹｅｓ）、車両制御制限手段１４ｅは車両制御の禁止を解除する（Ｓ７０）。

不注意状態が精度判定閾値以上継続した場合に車両制御を禁止することで、誤った車両制御を防止することができる。

〔精度判定閾値以上の不注意状態が頻繁に発生した場合の車両制御の禁止〕
不注意状態が精度判定閾値以上に継続した場合に車両制御を禁止しても、禁止の前に車両制御が実行されるため（図５のＳ２０）、不注意状態の検知精度が所定以下であることによる車両制御が頻発した場合、運転者は煩わしさを感じざるを得ない。そこで、頻繁に不注意状態が精度判定閾値以上に継続した場合には、車両制御を禁止する不注意警告装置１０について説明する。

図６は、不注意警告装置１０が、不注意状態が精度判定閾値以上に継続した場合に車両制御を禁止すると共に、頻発した場合は不注意状態の検知に基づく車両制御を禁止する制御手順のフローチャート図を示す。なお、図６において図５と同一ステップには同一の符号を付した。

不注意検知精度判定手段１４ｄは、不注意状態が検知されたか否かを判定する（Ｓ１０）。すなわち、脇見検知手段１４ａが、顔画像から検出された顔向き度に基づき例えば所定値Ａ以上の顔向き度が閾値時間Ｋ以上継続したと判定したか、又は、居眠り検知手段１４ｂが、閾値時間Ｌ以上に閉眼時間が継続したと判定したか、を判定する。

ついで、ＤＳＳ１４はフラグがオンか否かを判定する（Ｓ１５）。このフラグは例えばイグニションオンによりオフとなるフラグであって、不注意状態が検知された場合に車両制御を実行するか否かを判定するフラグとなる。

フラグがオフの場合（Ｓ１５のＹｅｓ）、ＤＳＳ１４は警報音の吹鳴など所定の車両制御を実行する（Ｓ２０）。

ついで、不注意検知精度判定手段１４ｄは、走行中の不注意状態が精度判定閾値以上継続しているか否かを判定する（Ｓ３０）。精度判定閾値は、脇見検知と居眠り検知のそれぞれに適切な時間であるが、脇見検知の場合は閾値時間Ｋより長く（例えば、Ｋ×２以上）、居眠り検知の場合は閾値時間Ｌより長い（例えば、Ｌ×２以上）。

不注意状態が精度判定閾値以上継続していない場合（Ｓ３０のＮｏ）、ＤＳＳ１４は車両制御を終了する（Ｓ４０）。

不注意状態が精度判定閾値以上継続している場合（Ｓ３０のＹｅｓ）、車両走行中に長時間脇見し又は居眠りする可能性は低く、この場合は不注意状態を誤検知していると考えられるため、車両制御制限手段１４ｅは不注意状態の検知に基づく車両制御を禁止する（Ｓ５０）。なお、ステップＳ２０の車両制御が継続していた場合、車両制御の禁止によりこれが終了される。

また、不注意検知精度判定手段１４ｄは、車両制御の禁止をＲＡＭやＥＥＰＲＯＭ等のメモリに記録する（Ｓ５５）。記録内容は、過去の所定期間に生じた車両制御の禁止の日時情報である。

ついで、車両制御制限手段１４ｅは、車両制御の禁止の解除条件が成立したか否かを判定する（Ｓ６１）。解除条件は、例えば、所定時間の経過、又は、脇見若しくは居眠りについて注意状態が検知されることである。

解除条件が成立した場合（Ｓ６１のＹｅｓ）、車両制御制限手段１４ｅは車両制御の禁止を解除する（Ｓ７０）。

ついで、車両制御制限手段１４ｅは、不注意状態が精度判定閾値以上に継続した場合の車両制御の禁止（Ｓ５０）の頻度が所定以上か否かを判定する（Ｓ７１）。車両制御の禁止の頻度は、ステップＳ５５で記録した日時情報に基づき所定時間内に禁止回数が何回あるかにより求められる。

車両制御の禁止の頻度が所定以上の場合（Ｓ７１のＹｅｓ）、車両制御制限手段１４ｅはフラグをオンに設定する（Ｓ７３）。したがって、頻繁に車両制御が禁止される場合、ステップＳ２０の車両制御は実行されない（Ｓ１５）。

車両制御の禁止の頻度が所定以上でない場合（Ｓ７１のＮｏ）、車両制御制限手段１４ｅは１トリップ中か否かを判定する（Ｓ７２）。

そして、１トリップ中でない場合（Ｓ７２のＮｏ）、車両制御制限手段１４ｅはフラグをオフに設定する（Ｓ７４）。この判定がＮｏになるのは、イグニッションをオンした後に１度だけであるので、オンになったフラグは１トリップ中その状態を保つため、頻繁に車両制御が禁止される場合、１トリップ中はステップＳ２０の車両制御が実行されない。

以上の処理により、不注意状態が精度判定閾値以上継続することが頻繁に起こった場合に車両制御を禁止することで、誤った車両制御を防止することができる。

〔ＰＣＳの早期制御において頻繁に不注意状態が精度判定閾値以上に継続した場合の早期制御の禁止〕
これまでは不注意状態に対する車両制御の禁止について説明したが、上記のように障害物を検知した場合、ＰＣＳは警報音の吹鳴などを早期に出力する早期制御を実行するため、この早期制御においても、不注意状態の検知精度が所定以下であることによる早期制御が頻発すると、運転者は煩わしさを感じざるを得ない。そこで、ＰＣＳの早期制御において頻繁に不注意状態が精度判定閾値以上に継続した場合には、車両制御を禁止する不注意警告装置１０について説明する。

図７は、不注意警告装置１０が、不注意状態が精度判定閾値以上に継続した場合に早期制御を禁止すると共に、頻発した場合は不注意状態の検知に基づく早期制御を禁止する制御手順のフローチャート図を示す。なお、図７において図６と同一ステップには同一の符号を付した。

車両の走行中、衝突判定手段１４ｃはミリ波レーダ装置１３からの信号により障害物と衝突のおそれがあるか否かの判定を繰り返す（Ｓ１）。この障害物の検出は、早期制御に対応するため、緩和した衝突判定閾値により行う。すなわち、ＴＴＣが所定値Ｅ（＞Ｄ）以下であって、車両の正面方向に対し左右に所定角度δ（＞θ）以内に障害物が検出される場合に衝突の可能性があると判定する。

障害物と衝突のおそれがある場合（Ｓ１のＹｅｓ）、不注意検知精度判定手段１４ｄは、不注意状態が検知されたか否かを判定する（Ｓ１０）。すなわち、脇見検知手段１４ａが、顔画像から検出された顔向き度に基づき例えば所定値Ａ以上の顔向き度が閾値時間Ｋ以上継続したと判定したか、又は、居眠り検知手段１４ｂが、閾値時間Ｌ以上に閉眼時間が継続したと判定したか、を判定する。

ついで、ＤＳＳ１４はフラグがオンか否かを判定する（Ｓ１５）。このフラグは例えばイグニションオンによりオフとなるフラグであって、不注意状態が検知された場合に早期制御を実行するか否かを判定するフラグとなる。

不注意状態の検知がない場合（Ｓ１０のＮｏ）、又は、フラグがオンの場合（Ｓ１５のＹｅｓ）、ＤＳＳ１４は早期制御を行わない通常の衝突判定閾値（ＴＴＣに対し所定値Ｄ、障害物の方向に対し所定角度θ）に基づきＰＣＳ制御を実行する（Ｓ１７）。

フラグがオフの場合（Ｓ１５Ｎｏ）、ＤＳＳ１４はＰＣＳ制御における警報音の吹鳴など早期制御を実行する（Ｓ１６）。

ついで、不注意検知精度判定手段１４ｄは、走行中の不注意状態が精度判定閾値以上継続しているか否かを判定する（Ｓ３０）。精度判定閾値は、脇見検知と居眠り検知のそれぞれに適切な時間であるが、脇見検知の場合は閾値時間Ｋより長く（例えば、Ｋ×２以上）、居眠り検知の場合は閾値時間Ｌより長い（例えば、Ｌ×２以上）。

不注意状態が精度判定閾値以上継続していない場合（Ｓ３０のＮｏ）、ＤＳＳ１４は車両制御を終了する（Ｓ４０）。

不注意状態が精度判定閾値以上継続している場合（Ｓ３０のＹｅｓ）、車両走行中に長時間脇見し又は居眠りする可能性は低く、この場合は不注意状態を誤検知していると考えられるため、車両制御制限手段１４ｅは不注意状態の検知に基づく早期制御を禁止する（Ｓ５１）。なお、ステップＳ１６の早期制御が継続していた場合、早期制御の禁止によりこれが終了される。なお、早期制御を禁止しても、ＰＣＳ制御は衝突判定閾値に基づき実行される。

また、不注意検知精度判定手段１４ｄは、早期制御の禁止をＲＡＭやＥＥＰＲＯＭ等のメモリに記録する（Ｓ５５）。記録内容は、過去の所定期間に生じた早期制御の禁止の日時情報である。

ついで、車両制御制限手段１４ｅは、先行車が検出されるか否かを判定する（Ｓ６２）。先行車の後ろを走行している場合、運転者は正面方向に顔を向けると考えられるため、長時間にわたり不注意状態が検知されることは考えにくい。先行車の有無の判定は、ステップＳ１の障害物の判定よりも検知範囲を狭めることで不注意状態の検知精度が所定以下であることによる早期制御の禁止を適切に解除できる。先行車が検出されている場合（Ｓ６２のＹｅｓ）、早期制御の禁止を継続する。

先行車が検出されない場合（Ｓ６２のＮｏ）、車両制御制限手段１４ｅは早期制御の禁止を解除する（Ｓ７０）。先行車が検出されない場合は、障害物がないのと同じ状況となるのでＰＣＳ制御が実行されないため、不注意状態の検知が長時間継続していても早期制御又はＰＣＳ制御に影響がない。

ついで、車両制御制限手段１４ｅは、不注意状態が精度判定閾値以上に継続した場合の早期制御の禁止（Ｓ５１）の頻度が所定以上か否かを判定する（Ｓ７１）。早期制御の禁止の頻度は、ステップＳ５５で記録した日時情報に基づき所定時間内に禁止回数が何回あるかにより求められる。

早期制御の禁止の頻度が所定以上の場合（Ｓ７１のＹｅｓ）、車両制御制限手段１４ｅはフラグをオンに設定する（Ｓ７３）。したがって、頻繁に早期制御が禁止される場合、ステップＳ１６の車両制御は実行されない（Ｓ１５）。

早期制御の禁止の頻度が所定以上でない場合（Ｓ７１のＮｏ）、車両制御制限手段１４ｅは１トリップ中か否かを判定する（Ｓ７２）。

そして、１トリップ中でない場合（Ｓ７２のＮｏ）、車両制御制限手段１４ｅはフラグをオフに設定する（Ｓ７４）。この判定がＮｏになるのは、イグニッションをオンした後に１度だけであるので、オンになったフラグは１トリップ中その状態を保つため、頻繁に早期制御が禁止される場合、１トリップ中はステップＳ１６の早期制御が実行されない。

以上の処理により、早期の制御のため衝突判定手段１４ｃが障害物の検知範囲を広く設定しても、不注意状態が精度判定閾値以上継続することが頻繁に起こった場合に早期制御を禁止することで、誤った車両制御を防止し運転者が煩わしさを感じることを防止できる。

本実施例の不注意警告装置１０は、脇見又は居眠りの誤検知による誤った車両制御、PCSの誤った早期制御を低減することができる。

本実施例では、不注意状態の検知精度が所定以下の場合、又は、これにさらに直進走行していることを組み合わせて不注意状態の検知精度を判定し、誤った車両制御を低減する不注意警告装置１０について説明する。

本実施例では、不注意状態の検知精度が所定以下か否かを不注意検知精度判定記憶部２３に記憶しておき、車両制御制限手段１４ｅが不注意検知精度判定記憶部２３を参照して車両制御を実行する。

図８（ａ）（ｂ）は不注意検知精度判定手段１４ｄが不注意状態の検知精度を判定する手順のフローチャート図を示す。図８（ａ）（ｂ）は、例えばイグニッションオンによりスタートする。イグニッションオン時に不注意検知精度判定記憶部２３には不注意状態の検知精度が正常であることを示す「ＯＫ」が記憶される。

まず、不注意検知精度判定手段１４ｄは、精度判定閾値以上、継続して不注意状態が検知されているか否かを判定する（Ｓ１００）。精度判定閾値は例えば、脇見検知の場合は閾値時間Ｋより長い時間（例えば、Ｋ×２以上）、居眠り検知の場合は閾値時間Ｌより長い時間（例えば、Ｌ×２以上）である。

精度判定閾値以上、継続して不注意状態が検知されていない場合（Ｓ１００のＮｏ）は図８（ａ）の処理を繰り返し、精度判定閾値以上、継続して不注意状態が検知された場合（Ｓ１００のＹｅｓ）、不注意検知精度判定手段１４ｄは、不注意検知精度判定記憶部２３に「ＮＧ」を記憶させる（Ｓ１１０）。

そして、不注意状態の検知精度が所定以上に戻ったか否かを判定する解除判定処理に移行する（Ｓ１２０）。

なお、図８（ｂ）のステップＳ１０１に示すように、車両が直進走行しているか否かをさらに判定して不注意状態の検知精度を判定してもよい。ステップＳ１０１において不注意検知精度判定手段１４ｄは、操舵角センサ２１の検出する操舵角に基づき、精度判定閾値以上、不注意状態が検知されるか否かを判定している間、車両が直進走行していたか否かを判定する。したがって、実際には車両がバックやカーブを走行中していたため、精度判定閾値以上の時間の不注意状態が検知された場合に、不注意状態の検知精度を正確に判定することができる。なお、直進走行しているか否かは、ヨーレートセンサ、白線認識情報等をもちいてもよい。

また、所定時間内の「ＮＧ」判定回数が所定回数以上の場合、解除判定処理への移行を禁止してもよい。これにより、１トリップ中は不注意検知精度判定記憶部２３の判定結果が「ＮＧ」固定される。

解除判定処理について図９フローチャート図に基づき説明する。不注意検知精度判定記憶部２３に「ＮＧ」が記憶されると、不注意検知精度判定手段１４ｄは解除判定処理を繰り返す。

不注意検知精度判定手段１４ｄは、「ＮＧ」が記憶されてから所定時間が経過したか否か、又は、注意状態を示す正面の顔向き度若しくは開眼が検知されたか否かを判定する（Ｓ２００）。所定時間の経過により不注意状態を正常に検知可能となる可能性があり、また、正面方向の顔向き度又は開眼状態の眼の開度が検知された場合は不注意状態を精度よく検知可能となったと判断できるためである。

「ＮＧ」が記憶されてから所定時間が経過しておらず、又は、正面の顔向き度若しくは開眼が検知されない場合（Ｓ２００のＮｏ）、不注意検知精度判定手段１４ｄは図９の処理を繰り返し、「ＮＧ」が記憶されてから所定時間が経過したか、又は、正面の顔向き度若しくは開眼が検知された場合（Ｓ２００のＹｅｓ）、不注意検知精度判定手段１４ｄは不注意検知精度判定記憶部２３に「ＯＫ」を記憶させる（Ｓ２１０）。

そして、不注意状態の検知精度が所定以下か否かを判定する不注意検知精度判定処理に移行する（Ｓ２２０）。以上のように、不注意検知精度判定手段１４ｄは不注意検知精度判定処理と解除判定処理を交互に繰り返す。

車両制御制限手段１４ｅは車両制御するに当たり不注意検知精度判定記憶部２３の記憶内容を参照して車両制御を禁止する。すなわち、不注意状態が検知された場合、不注意検知精度判定記憶部２３の記憶内容が「ＮＧ」の場合には、車両制御制限手段１４ｅは警報音の吹鳴などの車両制御を禁止する。また、障害物との衝突の可能性が検出された場合に、不注意検知精度判定記憶部２３の記憶内容が「ＮＧ」の場合、車両制御制限手段１４ｅはＰＣＳの早期制御を禁止する。

ところで、不注意検知精度判定記憶部２３の記憶内容が「ＮＧ」の場合、一律に早期制御を禁止せずに、衝突判定閾値を制御してもよい。衝突判定閾値を制御することで障害物検知範囲を調整できるので、説明のため障害物検知範囲として説明する。

図１０は、衝突判定閾値の制御の一例を示す図である。図１０（ａ）に点線で示したミリ波レーダ装置１３の障害物検知範囲は早期制御のための障害物検知範囲である。しかしながら、このように検知範囲を拡大するとミリ波レーダ装置１３が不要な障害物（障害物でない、回避可能）を検出する可能性が増すため、不注意検知精度判定記憶部２３の記憶内容が「ＮＧ」の場合は、車両の誤制御となりやすい。そこで、例えば、車両制御制限手段１４ｅは早期制御しない場合の障害物検知範囲（衝突判定閾値を大きくする）にてＰＣＳ制御を実行することで、車両の誤制御を低減できる（実質的に早期制御を禁止した場合と同様）。

また、図１０（ｂ）に示すように、顔向き度の方向の障害物検知範囲を狭めてもよい。不注意検知精度判定記憶部２３の記憶内容が「ＮＧ」の場合は、運転者が正面方向を向いているのに脇見の顔向き度が検知された状態であるが、仮に顔向き度の方向を向いていた場合は早期制御の必要はなく、顔向き度と反対方向については障害物検知範囲を早期制御と同程度にすることで安全サイドの制御が可能となる（顔向き方向の衝突判定閾値を大きくする）。なお、顔向き度の大きさに応じて、障害物検知範囲を可変としてもよい。

以上のように、本実施例の不注意警告装置１０は、不注意状態の検知精度が所定以下であることによる車両制御を防止して、運転者が煩わしさを感じることを防止できる。

〔ステアリングホイール把持位置の検出による車両制御の禁止〕
光の影響等による不注意状態の検知精度の低下は不安定な場合が多いが、カメラ１１に顔以外の物が大きく映り込んだ場合も、顔向き度又は眼の開度の検知精度が低下しやすい。

図１１は、運転者の腕が映り込んだ顔画像の一例を示す。カメラ１１がステアリングホイール２２を挟んで運転者の反対側に配置された場合に、運転者がステアリングホイール２２の上部（前方部）を把持していると、図１１のように運転者の腕が顔の顔横に撮影される。この腕は縦長のエッジ情報として処理されるため、誤った顔向き度及び眼の開度が検知される可能性が高まる。そこで、把持部検出手段２４がステアリングホイール２２の上部又はその近辺を把持していることを検知した場合、不注意検知精度判定手段１４ｄは不注意検知精度判定記憶部２３に「ＮＧ」を記憶させる。この場合の「ＯＫ」への解除条件は、把持部検出手段２４がステアリングホイール２２の上部又はその近辺を把持していないことの検知である。

したがって、運転者がステアリングホイール２２の上部等を把持している場合は、車両制御制限手段１４ｅは、不注意状態の検知に基づく警報音の吹鳴などの車両制御を禁止し、また、障害物との衝突の可能性が検出された場合にはＰＣＳの早期制御を禁止する。なお、図１０（ａ）（ｂ）のように衝突判定閾値を制御してもよい。

ステアリングホイール２２の把持位置に基づいた不注意検知精度判定記憶部２３の記憶内容の設定は、不注意状態の検知精度が所定以下である場合の一形態であるので、図８（ａ）（ｂ）の不注意検知精度判定、図９の解除判定と組み合わせて処理することが好適である。この場合、ステアリングホイール２２の把持位置に基づく不注意状態の検知精度の判定を優先とすることで、ステアリングホイール２２の把持位置に基づく不注意状態の検知精度の低下を確実に検出できる。

以上のように、顔画像に運転者の腕が撮影されたことによる誤った車両制御を防止して、運転者が煩わしさを感じることを防止できる。

本実施形態の不注意警告装置１０によれば、不注意状態の検知精度を判定することで、不注意状態の誤検知による車両機器の誤制御を低減することができる。

不注意状態における早期制御の概略を示す図である。 不注意警告装置の概略ブロック図である。 顔画像の画像処理例を示す図である。 顔画像とエッジ情報を取得した顔画像の一例を示す図である。 不注意状態が精度判定閾値以上継続した場合に、不注意警告装置が車両機器の制御を制限する制御手順を示すフローチャート図である。 不注意警告装置が、不注意状態が精度判定閾値以上に継続した場合に車両制御を制限すると共に、頻発した場合は不注意状態の検知に基づく車両制御を禁止する制御手順のフローチャート図である。 不注意警告装置が、不注意状態が精度判定閾値以上に継続した場合に早期制御を制限すると共に、頻発した場合は不注意状態の検知に基づく早期制御を禁止する制御手順のフローチャート図である。 不注意検知精度判定手段が不注意状態の検知精度を判定する手順のフローチャート図である。 不注意状態の検知精度が解除したか否かを判定する解除判定処理のフローチャート図である。 衝突判定閾値の制御の一例を示す図である。 運転者の腕が映り込んだ顔画像の一例を示す図である。

符号の説明

１０ 不注意警告装置
１１ カメラ
１２ 画像処理ＥＣＵ
１２ａ 顔向き検出手段
１２ｂ 眼の開閉検出手段
１３ ミリ波レーダ装置
１４ ドライバーズサポート（ＤＳＳ）ＥＣＵ
１４ａ 脇見検知手段
１４ｂ 居眠り検知手段
１４ｃ 衝突判定手段
１４ｄ 不注意検知精度判定手段
１４ｅ 車両制御制限手段
１５ ブレーキＥＣＵ
１６ ブレーキアクチュエータ
１７ メータＥＣＵ
１８ ブザー出力器
１９ 警告ランプ
２０ 不注意検知装置
２１ 操舵角センサ
２２ ステアリングホイール
２３ 不注意検知精度判定記憶部
２４ 把持部検出手段
２５ 車両制御装置のプログラム
３０ 車両制御装置

Claims (8)

1. 閾値時間以上の間、継続して運転者の不注意状態を検知した場合に車両機器を制御する不注意警告装置において、
   車両走行中に、前記閾値時間よりも長時間の精度判定閾値以上の間、継続して不注意状態となる精度低下状態を検知する不注意検知精度判定手段と、
   前記精度低下状態の場合、前記車両機器の制御を制限する車両制御制限手段と、
   車両周囲の障害物を検出する障害物検知手段と、
   前記障害物を検出した場合であって、不注意状態の場合に不注意状態でない場合よりも早期に前記車両機器を制御する車両制御手段と、を有し、
   前記精度低下状態の場合、前記車両制御制限手段は早期の前記車両機器の制御を、前記障害物検知手段が先行車両を検出するまで禁止する、
   ことを特徴とする不注意警告装置。
2. 前記車両制御制限手段は、所定時間の間、前記車両機器の制御を制限する、
   ことを特徴とする請求項１記載の不注意警告装置。
3. 前記車両制御制限手段は、１トリップの間、前記車両機器の制御を制限する、
   ことを特徴とする請求項１記載の不注意警告装置。
4. 前記車両制御制限手段は、不注意状態が検知されなくなるまで、前記車両機器の制御を制限する、
   ことを特徴とする請求項１記載の不注意警告装置。
5. 前記不注意検知精度判定手段が、所定期間に所定回数以上、前記精度低下状態を検知した場合、前記車両制御制限手段は、１トリップの間、前記車両機器の制御を禁止する、
   ことを特徴とする請求項２記載の不注意警告装置。
6. 不注意状態を検知するため運転者の顔画像を撮影するカメラに、運転者の腕部が撮影されるおそれがあるか否かを検出する検出手段を有し、
   前記検出手段が運転者の腕部が撮影されるおそれがあることを検出した場合、前記車両 制御制限手段は、前記精度低下状態であるか否かに関わらず、前記車両機器の制御を禁止する、
   ことを特徴とする請求項１記載の不注意警告装置。
7. 閾値時間以上の間、継続して運転者の不注意状態を検知した場合に車両機器を制御する不注意警告装置の車両機器制御方法において、
   不注意検知精度判定手段が、車両走行中に、前記閾値時間よりも長時間の精度判定閾値以上の間、継続して不注意状態となる精度低下状態を検知するステップと、
   車両制御制限手段が、前記精度低下状態の場合、前記車両機器の制御を制限するステップと、
   障害物検知手段が、車両周囲の障害物を検出する障害物検知するステップと、
   前記障害物検知手段が前記障害物を検出した場合であって、運転者が不注意状態の場合に、車両制御手段が不注意状態でない場合よりも早期に前記車両機器を制御するステップと、を有し、
   前記精度低下状態の場合、前記車両制御制限手段は早期の前記車両機器の制御を、前記障害物検知手段が先行車両を検出するまで禁止する、
   ことを特徴とする不注意警告装置の車両機器制御方法。
8. 閾値時間以上の間、継続して運転者の不注意状態を検知した場合に車両機器を制御する不注意警告装置に、
   車両走行中に、前記閾値時間よりも長時間の精度判定閾値以上の間、継続して不注意状態となる精度低下状態を検知する不注意検知精度判定ステップと、
   前記精度低下状態の場合、前記車両機器の制御を制限する車両制御制限ステップと、
   車両周囲の障害物を検出する障害物検知する障害物検知ステップと、
   前記障害物検知手段が前記障害物を検出した場合であって、運転者が不注意状態の場合に、不注意状態でない場合よりも早期に前記車両機器を制御する車両制御ステップと、
   前記精度低下状態の場合、早期の前記車両機器の制御を、前記障害物検知手段が先行車両を検出するまで禁止するステップと、
   実行させるプログラム。

Images