JP4186749B2 - 脇見判定装置 - Google Patents

Description

本発明は、車両を運転する運転者が脇見をしているか否かを判定する脇見判定装置に関する。

［特許文献１］に示されるように、車両の運転者が脇見をしているか否かを判定する装置が開発されている。［特許文献１］に記載の装置は、運転者の顔の向きと操舵角とから脇見をしているか否かを判定している。そして、［特許文献１］に記載の装置では、運転状態に応じて判定基準値を変更することで、運転者の個人差に関わらずに脇見判定の精度を向上させることを目的としている。
特開平８−２０７６１７号公報

しかし、通常、運転者は運転している車両が走行している走行路の前方経路を注視しながら操舵するため、前方経路のカーブ曲率が変化する場所（直線からカーブに移行する場合、あるカーブから曲率の異なるカーブに移行する場合、カーブから直線に移行する場合など）では、それぞれ操舵角が異なる。このため、［特許文献１］に記載の装置は車両進行方向の走行経路の変化を考慮していないため、運転者の顔の向きと操舵角とからだけでは十分な判定精度が得られない場合があり、さらなる改良が要望されていた。従って、本発明の目的は、優れた判定精度を実現することのできる脇見判定装置を提供することにある。

本発明による脇見判定装置は、車両進行方向の状況を前方画像として取得する画像取得手段と、画像取得手段によって取得した前方画像に基づいて、車両が走行している走行路の前方経路を検出する前方走行路検出手段と、前方走行路検出手段によって検出された走行路の前方経路に基づいて、運転者が注視すべき注視領域を前方画像上に設定する注視領域設定手段と、運転者の顔の向きを検出し、検出した顔の向きから運転者の注視方向を前方画像上に設定する注視方向検出手段と、注視領域設定手段によって設定された注視領域、及び、注視方向検出手段によって検出された注視方向に基づいて、運転者が脇見をしているか否かを判定する脇見判定手段と、車両の走行速度を検出する車速検出手段とを備え、注視領域設定手段は、車速検出手段によって検出された車速に応じて決定される車両進行方向距離と、走行路検出手段によって検出された走行路のカーブ半径及び走行路幅に応じて決定される横方向所定距離とに基づいて、注視領域を設定するものであり、当該注視領域設定手段は、車速が速い場合には、車速が遅い場合と比較して、長くなるように車両進行方向距離を決定し、走行路のカーブ半径が小さい場合には、走行路のカーブ半径が大きい場合と比較して、カーブの内側からの距離が短くなるように横方向所定距離を決定することを特徴としている。

本発明による脇見判定装置は、車両進行方向の状況を前方画像として取得する画像取得手段と、前記画像取得手段によって取得した前方画像に基づいて、車両が走行している走行路の前方経路を検出する前方走行路検出手段と、前方走行路検出手段によって検出された走行路の前方経路に基づいて、運転者が注視すべき注視領域を前方画像上に設定する注視領域設定手段と、運転者の顔の向きを検出し、検出した顔の向きから運転者の注視方向を前方画像上に設定する注視方向検出手段と、注視領域設定手段によって設定された注視領域、及び、注視方向検出手段によって検出された注視方向に基づいて、運転者が脇見をしているか否かを判定する脇見判定手段とを備え、注視方向検出手段は、運転者の頭部運動と眼球運動との関係から、運転者が無理なく注視が可能である範囲として注視安定視野角を前方画像上に設定し、脇見判定手段は、注視方向及び注視安定視野角によって決まる範囲内に注視領域が収まっている場合に、運転者が脇見をしていると判定することを特徴としている。

本発明による脇見判定装置は、車両進行方向の状況を前方画像として取得する画像取得手段と、画像取得手段によって取得した前方画像に基づいて、車両が走行している走行路の前方経路を検出する前方走行路検出手段と、前方走行路検出手段によって検出された走行路の前方経路に基づいて、運転者が注視すべき注視領域を前方画像上に設定する注視領域設定手段と、運転者の顔の向きを検出し、検出した顔の向きから運転者の注視方向を前方画像上に設定する注視方向検出手段と、車両進行方向の存在する物体を検出し、該物体の位置を前方画像上に設定する物体位置設定手段と、注視領域設定手段によって設定された注視領域、注視方向検出手段によって検出された注視方向、及び、物体位置設定手段によって設定された物体位置に基づいて、運転者が不要な脇見をしているか否かを判定する脇見判定手段と、車両及び物体の間の相対速度を検出する相対速度検出手段と、前記物体位置設定手段によって検出された前記物体の種類を判別し、前記物体の種類、及び、前記相対速度検出手段によって検出された相対速度に基づいて、前記物体に対する危険度を検出する危険度検出手段と、を備え、前記脇見判定手段は、脇見判定に際して用いる前記物体位置として、前記危険度検出手段によって検出した危険度のうち最も高い危険度を有する前記物体の位置を用いることを特徴としている。

また、判別された物体の種類に基づいて、物体の質量を推定又は検出する物体質量検出手段をさらに備えており、危険度検出手段は、相対速度検出手段によって検出された相対速度、及び、物体質量検出手段よって検出された物体質量に基づいて、物体に対する危険度を検出することが好ましい。

本発明の脇見判定装置によれば、車両進行方向の前方経路に基づいて注視領域を設定し、この注視領域と運転者の顔の向きとに基づいて脇見をしているか否かを判定するため、脇見の判定精度を向上させることができる。さらに、車速が遅いときほど手前に注視領域を設定し、車速が速いときほど遠くに注視領域を設定することができるため、現実的なドライバーモデルに合わせて精度良く注視領域を設定することができる。また、走行路のカーブ半径がきついときほどカーブ内側に注視領域を設定し、走行路のカーブ半径がゆるいほど走行路中央に注視領域を設定することができるため、現実的なドライバーモデルに合わせて精度良く注視領域を設定することができる。その結果、精度良く設定された注視領域に基づいて脇見判定を行うことができ、判定精度を向上させることができる。

なお、ここに言う脇見とは、車両の前方経路に基づいて注視しているべき領域を設定したときに、この領域を見ていないことをいう。運転中には、前方経路以外にも注視する対象が存在する（例えば、交通標識やルームミラーやメーター類など）。これらの対象を見ることがすぐに危険な運転につながるわけではない。本発明では、これらの対象を見ることも脇見であると判断され得る。また、前方画像は、モニタなどの表示装置上に画像として表示されることが必須ではなく、画像データとして取り扱われればよい。

本発明の脇見判定装置によれば、車両進行方向の前方経路に基づいて注視領域を設定し、この注視領域と運転者の顔の向きとに基づいて脇見をしているか否かを判定するため、脇見の判定精度を向上させることができる。さらに、運転者の頭部運動と眼球運動との関係から設定された注視安定視野角、及び、運転者の頭部方向である注視方向に基づいて脇見判定を行うため、判定精度を向上させることができる。

本発明の脇見判定装置によれば、車両進行方向の前方経路に基づいて注視領域を設定し、この注視領域と運転者の顔の向きとに基づいて脇見をしているか否かを判定するため、脇見の判定精度を向上させることができる。さらに、このとき、前方経路上及びその近傍に存在する物体を考慮して、不要な脇見をしているか否かを判定することで、脇見判定をより実際的に行うことができる。

上述したように、脇見の中には、前方経路以外に見ることが必要な対象を注視する場合、即ち、脇見として必要な脇見と言えるものも存在する。例えば、上述したものの他、前方経路近傍の歩行者などは、その行動を注視して安全を期する必要があり、このような歩行者を見ること（歩行者を見る脇見）は必要な脇見と言える。このような必要な脇見以外の不要な脇見を検出（判定）することで、脇見判定をより実際的なものとすることができる。

また、本発明の脇見判定装置によれば、物体ごとに危険度を検出（設定）し、これに基づいて上述した脇見判定を行うことで、実際的な脇見判定の精度をより一層向上させることができる。

本発明の脇見判定装置の実施形態について以下に説明する。まず、本発明の脇見判定装置の第一実施形態について説明する。本実施形態の脇見判定装置は車両に搭載されたものであり、その構成図を図１に示す。図１に示されるように、本実施形態の脇見判定装置は、脇見判定を司るコントロールユニット１を中心に、これに接続された各種センサ類からなる。コントロールユニット１は、ＣＰＵ・ＲＯＭ・ＲＡＭなどからなる電子制御ユニットである。このコントロールユニット１には、車両進行方向の状況を画像データとして取得する前方カメラ２が接続されている。本実施形態の前方カメラ２は、ルームミラーの背面側やインストルメントパネル上面などに取り付けられたＣＣＤカメラであり、車両進行方向の画像を前方画像として取得する。即ち、前方カメラ２は、画像取得手段として機能している。

なお、取得した前方画像は、車室内に設置したモニタなどに表示しても良いし、モニタなどの表示装置によって表示されずに画像データとしてコントロールユニット１内で取り扱われるだけであっても構わない。コントロールユニット１は、前方カメラ２によって取得した前方画像に基づいて、車両が走行している走行路の前方経路を検出する。ここでは、画像上の車線を区切る白線などを検出し、これに基づいて前方経路の状況を検出している。即ち、コントロールユニット１は、前方画像に基づいて前方経路を検出する前方走行経路検出手段として機能している。

さらに、コントロールユニット１は、検出した前方経路に基づいて、この前方経路をこれから車両が走行する上で、運転者が注視するべき領域（注視領域）を前記画像上に設定する。この設定方法については、追って詳しく説明するが、コントロールユニット１は、注視領域を前方画像上に設定する注視領域設定手段としても機能している。

なお、コントロールユニット１は、前方カメラ２によって取得した前方画像に基づいて、前方経路上又は前方経路近傍に位置する物体（歩行者、他車など）とその位置も検出する。物体が何であるかは、画像上の物体の形態から判別している。また、コントロールユニット１には、前方ミリ波レーダ３も接続されている。前方ミリ波レーダ３は、フロントグリル中央部に取り付けられており、車両前方にミリ波を照射すると共に、照射されたミリ波が物体にあたってはね返ってきた電波を受信している。これにより、車両進行方向に存在する物体の位置と、その物体の車両に対する相対速度とを検出することができる。本実施形態ではミリ波レーダに基づいて説明しているが、ミリ波に限定されることはなく、レーザを用いても良い。

前方このミリ波レーダ３の検出結果はコントロールユニット１内で処理され、上述した前方画像上での物体の位置特定に用いられる。即ち、ここでは、コントロールユニット１は、前方カメラ２と前方ミリ波レーダ３との検出結果の双方を協調させて、車両進行方向に存在する物体の位置を前方画像上に設定する物体位置設定手段として機能している。ここで前方カメラでステレオ視し、物体の距離を検出しても良いし、レーダ検出結果で双方補完して距離を検出してもよい。また、前方ミリ波レーダ３の検出結果から、車両に対する物体の相対速度も検出するため、コントロールユニット１及び前方ミリ波レーダ３は相対速度検出手段としても機能している。

さらに、コントロールユニット１には、運転者の顔を映す運転者顔カメラ４も接続されている。運転者顔カメラ４は、車室内の運転席の前側に設置されており、運転者の顔を画像として取得する。取得した画像は、コントロールユニット１において画像データとして処理され、運転者の顔の向きが検出される。顔の向きの検出には、顔の輪郭線や眉や目や鼻（鼻の穴）の位置から判定される。そして、コントロールユニット１は、検出した顔の向きに基づいて前方画像上に運転者が注視している方向を設定する。即ち、コントロールユニット１や運転者顔カメラ４が注視方向検出手段として機能している。

さらに、コントロールユニット１には、車両の車速を検出する車速センサ５、ウインカーの操作状況を検出するためにウインカースイッチ６、操舵量を検出するために操舵角センサ７、及び、脇見判定時にブザー音を発する警報ブザー８も接続されている。以下、上述した構成の脇見判定装置による脇見判定制御について説明する。この制御のフローチャートを図２に示す。また、脇見判定時の車両・運転者の顔の向き・前方経路などの様子を模式的に示した図を図３に示す。ここでは、前方走行路が右カーブである場合を例に説明する。

まず、図２のフローチャートに示されるように、まず、前方カメラ２によって、車両９前方の状況を画像として取得する（ステップ２００）。この画像には、車両９前方の走行路の状況が写されており、上述したように走行路両側の白線をもとに、走行路の状況が決定される（ステップ２０５）。走行路の前方の状況とは、カーブであるか否か、カーブである場合は右カーブか左カーブか、また、その曲率半径Ｒはいくつか、などが画像処理によって算出される。

次に、車両に関する情報が検出される（ステップ２１０）。ここに言う車両９に関する情報とは、車速センサ５によって算出される車速Ｖや、ウインカースイッチ６の操作状況、操舵角センサ７によって検出される操舵角などである。ここでは、分岐のない右カーブを例にして説明しているが、複数の分岐する走行路（交差点など）が認識された場合などは、目的としている走行路を特定するためのウインカースイッチ６の操作状況や操舵角センサ７の検出結果も用いられ得る。

次に、注視領域が演算され、上述した前方画像上に設定される（ステップ２１５）。注視領域は図３中の点Ａである。ここでは、便宜上車両９を基準に座標軸を設定している（図３にはこの座標軸のうちの平面視二軸が示されている）。この座標軸のうちの一つは、車両９の車体前方に一致している。点Ａは、この車体前方に一致する座標軸から角度γの方向にある。注視領域はこのように点として設定されても良いし、ある範囲を持つ領域として設定されても良い。ここで、点Ａは、走行路面上に位置し、図中のＬ及びｄによって決定される。Ｌは車両９から前方にどの程度の距離であるかを示し、ｄは走行路の一方の側部（ここではカーブ内側）からの横方向の距離を示している。なお、注視領域を決定するに際しては、上述したｄのように一方の側部のみに基づいて決定するのではなく、走行路の両側部からの道幅方向の距離で決定しても良い。

Ｌはここでは車速Ｖの関数として次式（Ｉ）に基づいて求められる。
Ｌ＝ａ×Ｖ＋ｂ［ａ，ｂは定数］ …（Ｉ）
なお、車速Ｖは、車速センサ５によって検出される。運転者は、前方走行路の曲率変化を捉えて遅れずに操舵を切ろうとするため、速度が遅いほど手前を、速いほど遠くを見るという現実的なドライバーモデルに合わせるため、一例としてこのような式によってＬを設定した。

一方、ｄはカーブ半径Ｒ及び走行路幅Ｗの関数として例えば次式（ＩＩ）より求められる。
ｄ＝（Ｗ／２）−（Ｋ／Ｒ）［Ｋは定数］ …（ＩＩ）
なお、カーブ半径Ｒ及び走行路幅Ｗは、前方カメラによって取得した前方画像から（ここでは白線を基準にして）画像処理によって求められている。ここで、前方走行路が直線である場合は、上式においてＲ→∞とすることにより、ｄ＝Ｗ／２となり、ｄは走行路の中央を示すこととなる。

運転者は、直線であればその中央を、カーブの場合は曲率の変化を捉えようとしてできるだけ先を見ようとするため、カーブ半径Ｒがきついほど走行路中央からカーブ内側に視線が移動することとなる。これを式で表したものが例えば（ＩＩ）式となる。このように、Ｌ及びｄによって決定された点Ａについては、上述した前方画像上に注視領域として設定される。注視領域が設定されたので、運転者の注視している方向として注視方向を算出するべく、まず、運転者顔カメラ４によって運転者の顔を映した画像を取得し（ステップ２２０）、運転者の顔方向（注視方向）を画像処理によって決定する（ステップ２２５）。

運転者の顔方向の算出は、上述したように顔の構成要素（眉や目など）などから算出する。図３中に、車両前方方向を示す座標軸から角度α傾いた方向が注視方向である。この注視方向は上述した前方画像上に設定される。なお、ここでは、注視方向に対して注視安定視野角βを適用する。注視安定視野角βとは、頭部の方向がある角度にあるとき、頭部運動と眼球運動との関係から、頭部方向を中心にして左右に±（β／２）の範囲は無理なく注視が可能な範囲として設定されるものである。

そして、上述したように得られた注視領域及び注視方向に基づいて、脇見をしているか否かを判定する（ステップ２３０）。ここでは、前方画像上において、図３中の角度γで示される点Ａによる注視領域（運転者が見るべき領域・方向）が、注視方向（運転の頭部方向）及び注視安定視野角によって決まる範囲内に収まっているか否かで脇見を判定している。収まっていれば脇見はしておらず、収まっていない場合は脇見をしていると判定する。運転者は眼球運動だけで対象を見るのではなく、ある対象を見るときには頭部運動を伴うことがほとんどである。従って、ここではこのように、頭部方向（注視方向）と注視安定視野角βに基づいて脇見を判定している。

図３中の各角度で説明すれば、α−（β／２）≦γ≦α＋（β／２）であれば脇見ではないとする。脇見をしていないと判定された場合は、後述するカウンタをリセットして（ステップ２５０）、このフローチャートの制御を一旦抜ける。一方、脇見をしていると判定された場合は、脇見状態がどの程度継続しているかをカウントするためのカウンタをインクリメントし（ステップ２３５）、このインクリメントされたカウンタ値が所定値（例えば、１〜２秒）を超えたか否かを判定する（ステップ２４０）。

カウンタ値が所定値を超えた場合は、脇見がある程度の時間継続されており、注視方向以外のもの（信号やルームミラーなど）を一瞥するような脇見ではないと判断し、運転者に対して警告する警告処理が行われる（ステップ２４５）。本実施形態では、警報ブザー８の吹鳴によって警告する。警告は、聴覚に訴えるもの以外に、視覚に訴えるようなものでも良いし、両者を併用しても良い。あるいは、フロントウインドウシールドの車室側表面をヘッドアップディスプレイ化し、本来見るべき注視領域をヘッドアップディスプレイ上に示すなどしても良い。警告処理を行った後は、カウンタをリセットして（ステップ２５０）このフローチャートの制御を一旦抜ける。

本実施形態によれば、車両９の前方経路の状態を反映させて脇見判定を行うので、脇見判定の精度を向上させることができる。また、注視領域や注視方向の設定・決定に際して、車速などの情報も反映させるため、より一層の判定精度向上を図ることができる。

次に、本発明の第二実施形態について説明する。本実施形態は、前方経路上、あるいは、前方経路近傍の物体（歩行者や他車）に関しても考慮し、脇見を判定するものである。装置の構成は、上述した第一実施形態と同一であるため、ここでの詳しい説明は省略する。本実施形態の制御のフローチャートを図４〜図６に示す。また、本実施形態の図３相当図を図７に示す。ここでも、前方走行路が右カーブである場合を例に説明する。

本実施形態における脇見判定制御は、上述した第一実施形態の制御に対して、物体ごとに危険度を算出し、これをも考慮して脇見が必要な脇見であるか不要な脇見であるかまで判定する制御を加えたものである。具体的には、図４〜図６に示されるフローチャートにおいて、図５に示される部分（ステップ５００〜ステップ５３５）が第一実施形態の制御に対して加えられている。

まず、図４に示されるステップ４００〜ステップ４２５については、第一実施形態の図２のフローチャートにおけるステップ２００〜ステップ２２５に対応するものであり、ここでの詳しい説明は省略する。次に、ステップ４２５の後、図５に示されるように、前方画像を画像処理することによって、車両９の前方に走行に関係しそうな物体が存在するか否かを判定する（ステップ５００）。走行に関係しそうな物体とは、歩行者１０、（自車９の走行経路上に進入する可能性のある）他車１１，１２、又は、二輪車（自動車・自動二輪車など）である。

本実施形態では、前方カメラ２によって取得した前方画像の画像処理、及び、前方ミリ波レーダ３による検出結果に基づいて、物体を把握する。前方ミリ波レーダ３によっては、自車９に対する物体１０，１１，１２の相対速度も検出できる。この際、前方画像の画像処理や前方ミリ波レーダ３による検出結果によって、対向車線の他車や複数車線で併走する他車を対象から除外することも可能である。ステップ５００において、前方画像上に制御対象とすべき物体が存在しないと判定された場合は、図６のステップ６００に移行する。

図６中のステップ６００〜ステップ６２０は、図２のフローチャートのステップ２３０〜ステップ２５０にほぼ等しいので、ここではステップ６００以降についての詳しい説明は省略する。なお、ステップ６２０に関してだけは、カウンタだけでなく後述するサブカウンタもリセットされる。これについては追って詳しく説明する。

一方、ステップ５００において、制御対象とする物体（図７の歩行者１０・他車１１，１２など）が存在する場合、即ち、ステップ５００が肯定される場合は、次に、各物体ごとに危険度を算出する（ステップ５０５）。本実施形態では、物体との距離・自車９と物体との相対速度・物体の質量に基づいて危険度を算出している。なお、物体の質量に関しては、画像処理によって、歩行者であるか車両であるか（あるいは二輪車であるか）を判定し、それぞれの場合の代表質量を適用することとしている。車両などに関しては、その大きさなどで代表質量を何通りか用意しても良い。

危険度算出後、制御対象となる物体のうち、最も高い危険度を有するものに関して、上述した注視安全視野角内にあるかどうかを判定する（ステップ５１０）。ここで、最も高い危険度を有する物体が注視安全視野角内にない場合は、その物体の危険度が所定の危険度を超えているか否かを判定する（ステップ５１５）。この所定値は、その物体を目視しなければいけないと思われる閾値として設定される。即ち、危険度がこの所定値を超えていなければ、目視（認知する）する必要はない（必要度が低い）と言える。

ステップ５１５において、最も危険度の高い物体の危険度が所定値を超えている場合は運転者がその危険度の高い物体に気づいていない、即ち、その物体を注視安全視野角内におさめていないと判断できる。この場合は、運転者がその物体に視線を移すような誘導警報処理が行われる（ステップ５２０）。視線誘導警報処理としては、ブザーやランプ、ヘッドアップディスプレイによるウインドシールド上への表示などが考えられる。ブザーは、フロントウインドシールド周囲に複数のブザーを配設しておき、注視すべき物体の方向に位置するものを吹鳴させることが考えられる。ランプに関しても同様で、フロントウインドシールド周囲に複数のランプ（ＬＥＤなど）を配設しておき、注視すべき物体の方向に位置するものを点灯又は点滅させることが考えられる。ブザーとランプを併用しても良い。

ステップ５２０の視線誘導警報処理の後は、ステップ２００に戻り、再度同様の制御が実行される。次回判定時に運転者の視線が誘導され、危険度の高い物体を注視することとなっていれば、ステップ５１０は肯定されることとなる。なお、ステップ５１５において、最も危険度の高い物体の危険度が所定値を超えていない場合は、上述したようにその物体を目視（認知する）する必要はない（必要度が低い）ので、前方経路上に設定される注視領域を見ているか否かを判定する通常の脇見判定を行うべく、ステップ６００に移行する。

次に、ステップ５１０が肯定される場合について説明する。ステップ５１０が否定され場合、即ち、運転者が最も危険度の高い物体を見ていない（視野におさめていない＝注視安定視野角外にある）場合については既に説明した。ここでは、ステップ５１０が肯定され、運転者が最も危険度の高い物体を見ている（少なくとも視野におさめている＝注視安定視野角内にある）場合について説明する。この場合は、ステップ５１０に続いて、危険度の高い物体に加えて、前方画像から決定された注視領域も上述した注視安全視野角内にあるかどうかを判定する（ステップ５２５）。

ステップ５２５が否定される場合、即ち、図７に示されるように、最大危険度物体（ここでは他車１１とする）を視野におさめているが、注視領域（角度γで示される点Ａ）を視野におさめていないような場合は、サブカウンタをインクリメントする。なお、図７において角度αの向きが図３と異なるが、角度の符号の取り方などは演算時に適宜処理される。前方経路の状況のみを考慮すれば本来は注視領域（点Ａ）を見るべきであるが、このようにステップ５２５が否定される場合は、危険度の高い物体があるためこれを見ている状況である、即ち、必要な脇見をしている状況であると判断できる。このような脇見は、短時間であればむしろ運転上有効であるといえる。

そこで、この場合は、この必要な脇見の時間をカウントするためのサブカウンタをインクリメントする（ステップ５３０）。そして、ステップ５３０に続いて、このサブカウンタが所定値を超えているか否かを判定する（ステップ５３５）。このサブカウンタが所定値以下であれば、即ち、ステップ５３５が否定される場合は、必要な脇見をしているため、脇見であっても警告などは行われず、ステップ４００に戻る。

一方、ステップ５３５が肯定され、危険度の高い物体を見ているとしてもその時間が長過ぎると判断できる場合は、既に必要な脇見の状況を超えているとして、不要な脇見が継続されているか否かを判定するためのカウンタをインクリメントすべく、図６のステップ６０５に移行する。ステップ６０５の後は、上述したカウンタ値に基づいて脇見警告を行うか否か判定し（ステップ６１０）、必要であれば運転者に対して警告を行い（ステップ６１５）、カウンタ・サブカウンタをリセットして図４〜図６のフローチャートを一旦抜ける。

なお、ステップ５２５が肯定される場合は、最も危険度の高い物体と注視領域の双方が注視安全視野角内にある、即ち、双方を視野におさめているといえる状況であると判断し、カウンタ・サブカウンタをリセットして図４〜図６のフローチャートを一旦抜ける。本実施形態では、ステップ６１０が肯定される場合が不要な脇見である。一方、前方経路から決定される注視領域を見ていない場合、即ち、脇見をしている場合でも、ステップ５３５が否定されるような場合は必要な脇見である。このように、前方経路上、あるいは、前方経路近傍の物体（歩行者や他車）も考慮して脇見を判定（必要な脇見を考慮し、不要な脇見であるか否かを判定）することで、より実際的で精度の高い脇見判定を行うことができる。

なお、ここでの説明では、図３又は図７のように平面視に基づいて説明しているが、上下方向（顔の向きの俯角［仰角］）については、対象となる点との距離で決まるものと考える。また、このときも、上述した注視安定視野角と同じ考え方が上下方向に関しても適用される。注視安定視野角の具体的数値に関しては、左右にそれぞれ３０〜４５°（６０°＜β＜９０°）程度、上側に２０〜３０°程度、下側に２５〜４５度程度であるといわれている。なお、視野範囲は、車速が大きいほど狭くなるので、注視安定視野角βを速度Ｖの関数として扱っても良い。

本発明は、上述した実施形態に限定されるものではない。例えば、上述した実施形態では、注視領域を点（で表される領域）として設定し、注視方向に対してある範囲を持つ注視安定視野角を設定することで脇見を判定した。これとは逆に、注視領域をある範囲を持つ領域として設定し、これに対して注視方向を点（方向）で設定し、注視方向が注視領域内にあるか否かで脇見を判定しても良い。また、前方画像の画像処理時には、ある時点での静止画に基づいて画像処理を行っても良いが、時間の経過をも考慮して（連続する静止画、又は、動画）画像処理しても良いことは言うまでもない。さらに、図３や図７のような空間（三次空間）を前方画像として扱っても良い。

本発明の脇見判定装置の実施形態の構成を示すブロック図である。 第一実施形態の脇見判定装置による制御のフローチャートである。 本発明の脇見判定装置の第一実施形態での制御時の状況を示す模式図である。 第二実施形態の脇見判定装置による制御のフローチャート（前半部分）である。 第二実施形態の脇見判定装置による制御のフローチャート（中間部分）である。 第二実施形態の脇見判定装置による制御のフローチャート（後半部分）である。 本発明の脇見判定装置の第二実施形態での制御時の状況を示す模式図である。

符号の説明

１…コントロールユニット（前方走行路検出手段：注視領域設定手段：脇見判定手段：物体位置設定手段：質量検出手段）、２…前方カメラ（画像取得手段）、３…ミリ波レーダ、３…前方ミリ波レーダ（相対速度検出手段）、４…運転者顔カメラ（注視方向検出手段）、５…車速センサ（車速検出手段）、６…ウインカースイッチ、７…操舵角センサ、８…特開平、８…警報ブザー、９…自車、１０…歩行者（物体）、１１，１２…他車（物体）。

Claims (4)

1. 車両進行方向の状況を前方画像として取得する画像取得手段と、
   前記画像取得手段によって取得した前記前方画像に基づいて、車両が走行している走行路の前方経路を検出する前方走行路検出手段と、
   前記前方走行路検出手段によって検出された走行路の前方経路に基づいて、運転者が注視すべき注視領域を前記前方画像上に設定する注視領域設定手段と、
   運転者の顔の向きを検出し、検出した顔の向きから運転者の注視方向を前記前方画像上に設定する注視方向検出手段と、
   前記注視領域設定手段によって設定された注視領域、及び、前記注視方向検出手段によって検出された注視方向に基づいて、前記運転者が脇見をしているか否かを判定する脇見判定手段と、
   前記車両の走行速度を検出する車速検出手段とを備え、
   前記注視領域設定手段は、前記車速検出手段によって検出された車速に応じて決定される車両進行方向距離と、前記走行路検出手段によって検出された前記走行路のカーブ半径及び走行路幅に応じて決定される横方向所定距離とに基づいて、前記注視領域を設定するものであり、
   当該注視領域設定手段は、
   前記車速が速い場合には、前記車速が遅い場合と比較して、長くなるように前記車両進行方向距離を決定し、
   前記走行路のカーブ半径が小さい場合には、前記走行路のカーブ半径が大きい場合と比較して、前記カーブの内側からの距離が短くなるように前記横方向所定距離を決定することを特徴とする脇見判定装置。
2. 車両進行方向の状況を前方画像として取得する画像取得手段と、
   前記画像取得手段によって取得した前記前方画像に基づいて、車両が走行している走行路の前方経路を検出する前方走行路検出手段と、
   前記前方走行路検出手段によって検出された走行路の前方経路に基づいて、運転者が注視すべき注視領域を前記前方画像上に設定する注視領域設定手段と、
   運転者の顔の向きを検出し、検出した顔の向きから運転者の注視方向を前記前方画像上に設定する注視方向検出手段と、
   前記注視領域設定手段によって設定された注視領域、及び、前記注視方向検出手段によって検出された注視方向に基づいて、前記運転者が脇見をしているか否かを判定する脇見判定手段とを備え、
   前記注視方向検出手段は、運転者の頭部運動と眼球運動との関係から、運転者が無理なく注視が可能である範囲として注視安定視野角を前記前方画像上に設定し、
   前記脇見判定手段は、前記注視方向及び前記注視安定視野角によって決まる範囲内に前記注視領域が収まっている場合に、前記運転者が脇見をしていると判定することを特徴とする脇見判定装置。
3. 車両進行方向の状況を前方画像として取得する画像取得手段と、
   前記画像取得手段によって取得した前記前方画像に基づいて、車両が走行している走行路の前方経路を検出する前方走行路検出手段と、
   前記前方走行路検出手段によって検出された走行路の前方経路に基づいて、運転者が注視すべき注視領域を前記前方画像上に設定する注視領域設定手段と、
   運転者の顔の向きを検出し、検出した顔の向きから運転者の注視方向を前記前方画像上に設定する注視方向検出手段と、
   車両進行方向の存在する物体を検出し、該物体の位置を前記前方画像上に設定する物体位置設定手段と、
   前記注視領域設定手段によって設定された注視領域、前記注視方向検出手段によって検出された注視方向、及び、前記物体位置設定手段によって設定された物体位置に基づいて、前記運転者が不要な脇見をしているか否かを判定する脇見判定手段と、
   車両及び前記物体の間の相対速度を検出する相対速度検出手段と、
   前記物体位置設定手段によって検出された前記物体の種類を判別し、前記物体の種類、及び、前記相対速度検出手段によって検出された相対速度に基づいて、前記物体に対する危険度を検出する危険度検出手段と、を備え、
   前記脇見判定手段は、脇見判定に際して用いる前記物体位置として、前記危険度検出手段によって検出した危険度のうち最も高い危険度を有する前記物体の位置を用いることを特徴とする脇見判定装置。
4. 判別された前記物体の種類に基づいて、前記物体の質量を推定又は検出する物体質量検出手段をさらに備えており、
   前記危険度検出手段は、前記相対速度検出手段によって検出された相対速度、及び、前記物体質量検出手段よって検出された物体質量に基づいて、前記物体に対する危険度を検出する請求項３に記載の脇見判定装置。
   

Images