JP7501598B2 - 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム - Google Patents

Description

本発明は、運転支援装置、運転状況情報取得システム、運転支援方法及びプログラムに関する。

運転支援に関して、運転者の視線の方向が適切か否かを判定する技術が提案されている。
例えば、特許文献１に記載の脇見検出装置は、ドライバの顔の向きが自車の前方から所定範囲内であるか否か、および、ドライバの視線から算出される視野が、自車の前方から所定の範囲を含むか否かを判定する。いずれかの条件が満たされない場合、この脇見検出装置はドライバが脇見をしていると判定する。

また、特許文献２に記載の運転支援装置は、運転者の実際の視線分布と理想の視線分布との一致度合いに基づいて安全運転支援情報を生成するか否かを決定する。この運転支援装置は、安全運転支援情報として、車両の前方風景を含む画像に実際の視線分布を重畳した情報を生成し、表示器に表示させる。

特開２００９－１５５５０号公報 再公表ＷＯ２０１６／１６６７９１号公報

運転者が注視すべき方法は、運転の状況に応じて変化することが考えられる。例えば、長いカーブを走行している場合、運転者が注視すべき方向は、車両の正面からカーブの方向へずれることが考えられる。このように、運転の状況に応じて運転者が注視すべき方向が変化した場合でも、運転者が見ている方向を評価できることが好ましい。

本発明は、上述の課題を解決することのできる運転支援装置、運転状況情報取得システム、運転支援方法及びプログラムを提供することを目的としている。

本発明の第１の態様によれば、運転支援装置は、移動体の運転者の顔の画像を撮影する撮影装置が撮影した前記運転者の顔の画像に基づいて、前記運転者の顔の向きを検出する顔向き検出部と、前記運転者の顔の画像に基づいて前記運転者の視線の向きを検出する視線向き検出部と、前記運転者の顔の向きと、前記運転者の視線の向きとに基づいて、前記運転者が見ている方向を評価する注意喚起処理部と、前記運転者の顔の向きに基づく第一の注視領域、および、前記運転者の視線の向きに基づく第二の注視領域を含む画像を出力する出力部と、を備える。

本発明の第２の態様によれば、運転状況情報取得システムは、移動体に搭載される車載システムと、前記車載システムと通信を行う運転状況情報取得装置とを備え、前記車載システムは、前記移動体の運転者の顔の画像を撮影する撮影装置を備え、前記運転状況情報取得装置は、前記運転者の顔の画像に基づいて前記運転者の顔の向きを検出する顔向き検出部と、前記運転者の顔の画像に基づいて前記運転者の視線の向きを検出する視線向き検出部と、前記運転者の顔の向きと、前記運転者の視線の向きとに基づいて、前記運転者が見ている方向を評価する注意喚起処理部と、前記運転者の顔の向きに基づく第一の注視領域、および、前記運転者の視線の向きに基づく第二の注視領域を含む画像を出力する出力部と、を備える。

本発明の第３の態様によれば、運転支援方法は、コンピュータが、移動体の運転者の顔の画像を撮影する撮影装置が撮影した前記運転者の顔の画像に基づいて、前記運転者の顔の向きを検出することと、前記運転者の顔の画像に基づいて前記運転者の視線の向きを検出することと、前記運転者の顔の向きと、前記運転者の視線の向きとに基づいて、前記運転者が見ている方向を評価することと、前記運転者の顔の向きに基づく第一の注視領域、および、前記運転者の視線の向きに基づく第二の注視領域を含む画像を出力することと、を含む。

本発明の第４の態様によれば、プログラムは、コンピュータに、移動体の運転者の顔の画像を撮影する撮影装置が撮影した前記運転者の顔の画像に基づいて、前記運転者の顔の向きを検出することと、前記運転者の顔の画像に基づいて前記運転者の視線の向きを検出することと、前記運転者の顔の向きと、前記運転者の視線の向きとに基づいて、前記運転者が見ている方向を評価することと、前記運転者の顔の向きに基づく第一の注視領域、および、前記運転者の視線の向きに基づく第二の注視領域を含む画像を出力することと、を実行させるためのプログラムである。

この発明によれば、運転の状況に応じて運転者が注視すべき方向が変化した場合でも、運転者が見ている方向を評価することができる。

本発明の第１実施形態に係る運転支援システムの機能構成を示す概略ブロック図である。 同実施形態に係る運転支援装置が運転者の顔の向きおよび視線の向きを検出して注意喚起の処理を行う手順の例を示すフローチャートである。 本発明の第２実施形態に係る運転支援システムの機能構成を示す概略ブロック図である。 同実施形態に係る外向きカメラが撮影した画像に画像合成部が注視領域を合成した画像の例を示す図である。 同実施形態に係る運転支援装置が運転者の顔の向きおよび視線の向きを検出して注意喚起の処理を行い、また、顔の向きおよび視線の向きを表示する手順の例を示すフローチャートである。 本発明の第３実施形態に係る運転状況情報取得システムの機能構成を示す概略ブロック図である。 本発明に係る運転支援装置の最小構成の例を示す図である。 本発明に係る運転状況情報取得システムの最小構成の例を示す図である。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る運転支援システムの機能構成を示す概略ブロック図である。図１に示すように、運転支援システム１は、内向きカメラ１１０と、運転支援装置２００と、表示装置３１０と、音声出力装置３２０とを備える。運転支援装置２００は、通信部２１０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、顔向き検出部２９１と、視線向き検出部２９２と、注意喚起処理部２９３とを備える。
以下では、運転支援システム１は自動車９００に搭載されている場合を例に説明する。但し、運転支援システム１を適用する移動体は自動車に限定されず、運転者が適切な方向を見ながら運転する必要があるいろいろな乗物とすることができる。

運転支援システム１は、運転者が見ている方向を評価するシステムである。特に、運転支援システム１は、運転者の顔の向きと視線の向きとの相違に基づいて、所定の閾値以上の相違が所定時間以上継続する場合に、運転者に対して注意喚起を行う。運転支援システム１は、顔の正面方向を顔の向きとして用いる。顔の向きは、１つ以上の顔のパーツの向きまたは配置から求めることができる。例えば、運転支援システム１が、鼻の向きに基づいて顔の向きを検出するようにしてもよいし、目と耳の位置関係に基づいて顔の向きを検出するようにしてもよい。

内向きカメラ１１０は、運転者の顔を正面側から撮影する。内向きカメラ１１０が撮影する画像は、運転者の顔の向きおよび運転者の視線の向きを検出するために用いられる。
運転支援装置２００は、内向きカメラ１１０が撮影した画像に基づいて運転者が見ている方向を評価し、運転者に注意喚起を行うか否か、あるいは、注意喚起の程度または態様を決定する。
運転支援装置２００は、例えば車載コンピュータ等のコンピュータを用いて構成される。あるいは、運転支援装置２００がクラウド内など車外に設けられていてもよい。この場合、運転支援装置２００は、自動車９００から内向きカメラ１１０の画像を受信して運転者が見ている方向を評価し、評価結果を自動車９００へ送信するようにしてもよい。

通信部２１０は、他の機器と通信を行う。特に、通信部２１０は、内向きカメラ１１０が撮影した画像を画像データにて受信する。
記憶部２８０は、各種データを記憶する。記憶部２８０は、運転支援装置２００が備える記憶デバイスを用いて構成される。

制御部２９０は、運転支援装置２００の各部を制御して各種処理を行う。制御部２９０は、例えば、運転支援装置２００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が記憶部２８０からプログラムを読み出して実行することで構成される。
また、制御部２９０は、自動車９００の移動速度および移動方向のうち少なくとも何れか一方に基づいて、自動車９００の運転の場面が所定の場面に該当するか否かを判定する。所定の場面に該当すると判定した場合、制御部２９０は、運転者への注意喚起を抑制する。

例えば、運転者が自動車９００をバックさせている場合、および、運転者が自動車９００を駐車している場合、運転者が適切な方向を注視していても、顔の向きと視線の向きとがずれることが考えられる。そこで、制御部２９０は、自動車９００がバックしていることを検出した場合、運転者への注意喚起を抑制する。また、制御部２９０は、自動車９００の速度が低速で、前進と後進とが短時間で切り替わる場合、運転者が自動車９００を駐車していると判定して、運転者への注意喚起を抑制する。

顔向き検出部２９１は、内向きカメラ１１０が撮影した運転者の顔の画像に基づいて、運転者の顔の向きを検出する。上記のように、顔の向きは、１つ以上の顔のパーツの向きまたは配置から求めることができる。例えば顔向き検出部２９１が、鼻の向きに基づいて顔の向きを検出するようにしてもよいし、目と耳の位置関係に基づいて顔の向きを検出するようにしてもよい。顔向き検出部２９１が顔の向きを検出するアルゴリズムとして、公知のアルゴリズムを用いることができる。

視線向き検出部２９２は、内向きカメラ１１０が撮影した運転者の顔の画像に基づいて、運転者の視線の向きを検出する。例えば、視線向き検出部２９２が、内向きカメラ１１０が撮影した運転者の顔の画像における黒目の位置を検出し、顔向き検出部２９１が検出した顔の向きと、顔における黒目の位置とに基づいて視線の向きを検出するようにしてもよい。視線向き検出部２９２が視線の向きを検出するアルゴリズムとして、公知のアルゴリズムを用いることができる。

注意喚起処理部２９３は、顔向き検出部２９１が検出する顔の向きと、視線向き検出部２９２が検出する視線の向きとの相違の程度に基づいて、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する。具体的には、注意喚起処理部２９３は、顔の向きと視線の向きとの相違の程度が所定の閾値以上相違する状態が所定時間以上継続した場合、運転者に対して通常時よりも強い注意喚起を行うことに決定する。

ここで、内向きカメラ１１０の撮影方向（光軸の方向）に対する運転者の顔の向きによっては、顔向き検出部２９１が顔の向きを検出できない場合や、視線向き検出部２９２が視線の向きを検出できない場合が生じ得る。顔向き検出部２９１が顔の向きを検出できない場合、および、視線向き検出部２９２が視線の向きを検出できない場合を、顔の向きと前記視線の向きとの相違の程度が前記閾値以上相違する場合と同じ扱いとしてもよい。具体的には、注意喚起処理部２９３が、顔の向きと前記視線の向きとの相違の程度が前記閾値以上相違する場合と同じ扱いとして、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定するようにしてもよい。

表示装置３１０および音声出力装置３２０は、運転者に対する注意喚起に用いられる。
表示装置３１０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode）パネル等の表示画面を有し、各種画像を表示する。特に、表示装置３１０は、運転支援装置２００の制御に従って、運転者に対する注意喚起メッセージを表示する。

音声出力装置３２０は、スピーカを備え、音を出力する。特に、音声出力装置３２０は、運転支援装置２００の制御に従って運転者に対する注意喚起の音声メッセージまたは報知音を出力する。
表示装置３１０および音声出力装置３２０は、運転支援システム１専用に設けられたものであってもよい。あるいは、表示装置３１０および音声出力装置３２０は、カーナビゲーションシステムなど他のシステムまたは装置と共用であってもよい。

次に、図２を参照して運転支援装置２００の動作について説明する。
図２は、運転支援装置２００が運転者の顔の向きおよび視線の向きを検出して注意喚起の処理を行う手順の例を示すフローチャートである。ここでの注意喚起の処理には、運転者に注意喚起を行うか否かの決定が含まれていてもよい。
運転支援装置２００は、例えば図２の処理を繰り返し行う。

図２の処理で、制御部２９０は、自動車９００の運転の場面を判定し（ステップＳ１１１）、運転者への注意喚起の対象外の場面に該当するか否かを判定する（ステップＳ１１２）。例えば、制御部２９０は、上記のように、運転者が自動車９００をバックさせているか否か、および、運転者が自動車９００を駐車中か否かを判定する。
対象外の場面に該当すると判定した場合（ステップＳ１１２：ＹＥＳ）、図２の処理を終了する。

一方、対象外の場面に該当しないと判定した場合（ステップＳ１１２：ＮＯ）、通信部２１０が、内向きカメラ１１０から運転者の顔の画像を取得（受信）する（ステップＳ１２１）。
そして、顔向き検出部２９１は、内向きカメラ１１０が撮影した運転者の顔の画像に基づいて、運転者の顔の向きを検出する（ステップＳ１２２）。また、視線向き検出部２９２は、内向きカメラ１１０が撮影した運転者の顔の画像に基づいて、運転者の視線の向きを検出する（ステップＳ１２３）。

そして、注意喚起処理部２９３は、顔向き検出部２９１が検出した顔の向きと、視線向き検出部２９２が検出した視線の向きとの相違の程度を算出する（ステップＳ１２４）。注意喚起処理部２９３が、顔の向きと視線の向きとの間の角度の大きさを算出するようにしてもよい。あるいは、図４を算出して後述するように、注意喚起処理部２９３が、ある平面での顔の向き、視線の向きそれぞれ応じた注視領域の距離を算出するようにしてもよい。

次に、注意喚起処理部２９３は、ステップＳ１２４で算出した相違の程度が所定の閾値より大きいか否かを判定する（ステップＳ１２５）。
相違の程度が閾値以下であると判定した場合（ステップＳ１２５：ＮＯ）、図２の処理を終了する。
一方、相違の程度が閾値より大きいと判定した場合（ステップＳ１２５：ＹＥＳ）、注意喚起処理部２９３は、この相違の程度が閾値より大きい状態が、所定の閾値（閾値時間）以上継続しているか否かを判定する（ステップＳ１３１）。

相違の程度が閾値より大きい状態の継続時間が閾値時間未満であると判定した場合（ステップＳ１３１：ＮＯ）、図２の処理を終了する。
一方、相違の程度が閾値より大きい状態が、閾値時間以上継続していると判定した場合（ステップＳ１３１：ＹＥＳ）、注意喚起処理部２９３は、危険検出時処理として定められている処理を行う（ステップＳ１４１）。
例えば、注意喚起処理部２９３は、表示装置３１０を制御して周囲の目視確認を促すメッセージを表示させ、音声出力装置３２０を制御して報知音を出力させる。
ステップＳ１４１の後、図２の処理を終了する。
図２は、注意喚起処理部２９３が運転者への注意喚起を行うか否かを決定する場合の例を示している。これに限らず、注意喚起処理部２９３が運転者への注意喚起の強弱を決定するなど、注意喚起の態様を決定するようにしてもよい。例えば、注意喚起処理部２９３が、表示装置３１０を制御してメッセージを常時表示させていてもよい。この場合、ステップＳ１４１で注意喚起処理部２９３が、表示装置３１０に表示させるメッセージを変化させ、音声出力装置３２０に報知音を出力させるようにしてもよい。

以上のように、顔向き検出部２９１は、運転者の顔の向きを検出する。視線向き検出部２９２は運転者の視線の向きを検出する。注意喚起処理部２９３は、顔向き検出部２９１が検出した顔の向きと、視線向き検出部２９２が検出した視線の向きとの相違の程度に基づいて、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する。

運転者が自動車９００をバックさせるために後ろを向いている場合など特定の運転の場面を除いて、運転者が注視すべき方向がいずれの方向でも、通常は、運転者の顔の向きと視線の向きとがおおよそ一致すると考えられる。運転者の顔の向きと視線の向きとがおおよそ一致しない場合、例えば、運転者が道端の風景に気をとられているなど、余所見等をしていることが考えられる。

そこで、運転者の顔の向きと視線の向きとが所定の条件以上相違している場合に、注意喚起処理部２９３は、運転者に注意喚起する。このように、運転支援装置２００によれば、運転の状況に応じて運転者が注視すべき方向が変化した場合でも、運転者が見ている方向を評価することができる。

また、注意喚起処理部２９３は、顔の向きと視線の向きとの相違の程度が所定の閾値以上相違する状態が所定時間以上継続した場合、運転者に対して注意喚起を行う。
ここで、運転者が注視する向きを変化させる場合、まず視線を動かした後、顔を動かすなど、一旦、顔の向きと視線の向きとがずれた後、おおよそ一致するようになることが考えられる。
注意喚起処理部２９３が、顔の向きと視線の向きとの相違の継続時間を判定することで、顔の向きと視線の向きとの短時間のずれで運転者に注意喚起することを防止できる。この点で、注意喚起が頻発して運転者にわずらわしい思いをさせることを回避できる。

また、注意喚起処理部２９３は、顔の向きおよび視線の向きのうち少なくとも何れか一方を検出できない場合を、顔の向きと視線の向きとの相違の程度が閾値以上相違する場合と同じ扱いとして、運転者への注意喚起の処理を行う。
顔向き検出部２９１が顔の向きを検出できない場合、および、視線向き検出部２９２が視線の向きを検出できない場合、運転者が通常の顔の位置および向きから大きくずらしていると考えられる。この場合、通常の注視（例えば、自動車９００の正面への注視を中心として、周囲にも注視する）とは異なる注視をしていることが考えられ、危険性が高まる可能性がある。

そこで、注意喚起処理部２９３が、顔の向きおよび視線の向きのうち少なくとも何れか一方を検出できない場合を、顔の向きと視線の向きとの相違の程度が閾値以上相違する場合と同じ扱いとする。これにより、例えば顔向き検出部２９１が顔の向きを検出できない状態、または、視線向き検出部２９２が視線の向きを検出できない状態が所定時間以上継続した場合、運転者に注意喚起することができる。

また、制御部２９０は、自動車９００の移動速度および移動方向のうち少なくとも何れか一方に基づいて、自動車９００の運転の場面が所定の場面に該当すると判定した場合、運転者への注意喚起を抑制する。
これにより、注意喚起が適切でない場面で注意喚起を抑制することができ、運転者にわずらわしい思いをさせることが防止できる。

＜第２実施形態＞
運転支援システム１が、顔の向きと視線の向きとのずれを表示することで、運転者が注意喚起の内容を理解するための参考となる。第２実施形態では、運転支援システム１が、顔の向きと視線の向きとのずれを表示する場合について説明する。それ以外は、第１実施形態の場合と同様である。

図３は、本発明の第２実施形態に係る運転支援システムの機能構成を示す概略ブロック図である。図３に示すように、運転支援システム１は、内向きカメラ１１０と、外向きカメラ１２０と、運転支援装置２００と、表示装置３１０と、音声出力装置３２０とを備える。運転支援装置２００は、通信部２１０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、顔向き検出部２９１と、視線向き検出部２９２と、注意喚起処理部２９３と、画像合成部２９４とを備える。
図３に示す各部のうち、図１に示す各部に対応して同様の機能を有する部分には、同一の符号（１、１１０、２００、２１０、２８０、２９０、２９１、２９２、２９３、３１０、３２０、９００）を付して説明を省略する。図３では、図１に示す各部に加えて、外向きカメラ１２０と、画像合成部２９４とが示されている。

外向きカメラ１２０は、自動車９００の内部から外部に向けて撮影を行う。特に、外向きカメラ１２０は、運転者が運転席に向かって前を向いた場合と同様の向きで撮影を行う。
画像合成部２９４は、外向きカメラ１２０が撮影した画像に、運転者の顔の向きから想定される注視領域、および、運転者の視線の向きから想定される注視領域を合成する。

図４は、外向きカメラ１２０が撮影した画像に画像合成部２９４が注視領域を合成した画像の例を示す図である。図４の例で、画像合成部２９４は、円形の注視領域を画像に合成している。領域Ａ１１は、運転者の顔の向きから想定される注視領域を示す。領域Ａ１２は、運転者の視線の向きから想定される注視領域を示す。
また、点Ｐ１１、Ｐ１２は、それぞれ領域Ａ１１、Ａ１２の中心（円の中心）を示す。距離Ｄ１１は、点Ｐ１１と点Ｐ１２との距離を示す。

例えば、画像合成部２９４は、運転席から自動車９００の前方の所定の位置に垂直な面を設定し、この面と、運転者の顔の向きを示す直線、運転者の視線の向きを示す直線との交点を求める。図４の例では、これらの交点は点Ｐ１１、Ｐ１２として求められる。
そして、画像合成部２９４は、得られた交点を中心として、設定した面上に位置して予め定められている半径の円を、外向きカメラ１２０の画像に合成する。これにより、画像合成部２９４は、外向きカメラ１２０の画像に注視領域（図４の例では領域Ａ１１およびＡ１２）を合成する。
このように、運転支援システム１が、顔の向きに基づく注視領域と、視線の向きに基づく注視領域とを表示することで、顔の向きと視線の向きとのずれ（例えば、距離Ｄ１１）を表示することができる。顔の向きと視線の向きとのずれを表示することで、運転者が注意喚起の内容を理解するための参考となる。

次に、図５を参照して、運転支援装置２００の動作について説明する。
図５は、運転支援装置２００が運転者の顔の向きおよび視線の向きを検出して注意喚起の処理を行い、また、顔の向きおよび視線の向きを表示する手順の例を示すフローチャートである。
図５の処理では、運転支援装置２００は、図２の処理に加えて注視領域を表示する処理を行う。ステップＳ２１１～Ｓ２２３は、図２のステップＳ１１１～Ｓ１２３と同様である。ステップＳ２３１～Ｓ２３２は、図２のステップＳ１２４～Ｓ１２５と同様である。ステップＳ２４１～Ｓ２５１は、図２のステップＳ１３１～Ｓ１４１と同様である。

ステップＳ２２３の後、ステップＳ２３１～Ｓ２５１の処理と並列して、画像合成部２９４が、ステップＳ２６１～Ｓ２６３の処理を行う。運転支援装置２００が、ステップＳ２３１～Ｓ２５１の処理とＳ２６１～Ｓ２６３の処理とを並行処理するようにしてもよいし、時分割処理するようにしてもよい。

ステップＳ２６１～Ｓ２６３の処理で、顔向き検出部２９１が検出した顔の向き、および、視線向き検出部２９２が検出した視線の向きの座標を、外向きカメラ１２０の座標に変換する（ステップＳ２６１）。
ここで、顔の向きおよび視線の向きは、内向きカメラ１１０の画像に基づいて検出されており、内向きカメラ１１０と外向きカメラ１２０とは、おおよそ反対を向いている。これらの撮影方向（光軸）に基づいて座標を設定すると、内向きカメラ１１０における座標と、外向きカメラ１２０における座標とは、おおよそ反対の座標になる。画像合成部２９４は、内向きカメラ１１０の座標で示されている顔の向きおよび視線の向きを、外向きカメラ１２０の座標での表示に変換する。

次に、画像合成部２９４は、外向きカメラ１２０の画像における注視領域を特定する（ステップＳ２６２）。例えば図４を参照して説明したように、画像合成部２９４は、例えば、画像合成部２９４は、運転席から自動車９００の前方の所定の位置に垂直な面を設定し、この面と、運転者の顔の向きを示す直線、運転者の視線の向きを示す直線との交点を求める。そして、画像合成部２９４は、得られた交点を中心として、設定した面上に位置して予め定められている半径の円を、注視領域として特定する。

次に、画像合成部２９４は、外向きカメラ１２０の画像に、ステップＳ２６２で特定した注視領域を重畳表示する（ステップＳ２６３）。これにより、図４の例のように注視領域を合成した画像が得られる。
ステップＳ２６３の後、画像合成部２９４は処理を終了する。

以上のように、外向きカメラ１２０は、自動車９００の内側から自動車９００の前方に向けて撮影を行って画像を生成する。画像合成部２９４は、運転者の顔の向きから想定される注視領域、および、運転者の視線の向きから想定される注視領域を、外向きカメラ１２０が撮影した画像に合成する。
運転者は、運転支援システム１に注意喚起された場合、注視領域が合成された画像を、注意喚起の内容を理解するための参考とすることができる。

なお、上記のように、運転支援装置２００の設置場所は自動車９００内に限定されない。運転支援装置２００がクラウドシステムとして構成され、自動車９００と通信を行うようにしてもよい。
また、そとかめが撮影した画像に、自動車９００にとっての障害物（例えば、歩行者または他の車両）が映っている場合、画像合成部２９４が合成する注視領域に障害物の像が服慣れているか否かを判定することができる。

顔の向きの基づく注視領域、および、視線の向きに基づく注視領域のうち、少なくとも何れか一方が対象（障害物）を向いている状態、かつ、図５のステップＳ２３２～Ｓ２４１で、ステップＳ２５１の処理が必要と判定されていなければ、運転者は大きく顔や視線を動かしておらず、この点で、危険な運転を行っていないと判断できる。

顔の向きと視線の向きとの相違に基づく判定に関して、運転者が視線のみを動かす場面は、主にサイドミラー等での確認の場面と考えられる。この場合、視線の動き幅の限界の中での視線移動となり、短時間で視線を戻すことが考えられる。また、運転者が視線および顔を動かす場合、顔と視線とは同じ方向を向くと考えられ、顔の向きと視線の向きとの相違は大きくならない。これらの何れの場合も、図２の処理および図５の処理で対応可能である。

例えば、交差点等で右左折するなど顔の向きと視線の向きとが大きく離れたときの距離を（図２のステップＳ１２５および図５のステップＳ２３２での）閾値とすれば、視線のみを動かす運転者、視線の向きと顔の向きとの両方を動かす運転者の双方に対応可能と考えられる。
顔の向きに基づく注視領域と視線の向きに基づく注視領域との距離の閾値（図２のステップＳ１２５および図５のステップＳ２３２）を、顔向きの角度の大きさに応じて可変としてもよい。例えば、自動車９００の正面に対する顔の向きの角度が小さいときは閾値を大きく設定し、角度が大きいときは閾値を小さく設定するようにしてもよい。この設定は、特に視線のみで安全確認する運転者に有効と考えられる。

＜第３実施形態＞
上述したように、運転支援装置がクラウド内など車外に設けられていてもよい。第３実施形態では、この点について説明する。
図６は、本発明の第３実施形態に係る運転状況情報取得システムの機能構成を示す概略ブロック図である。

図６に示す運転状況情報取得システム２は、運転状況情報取得装置２０１と、車載システム４００とを備える。車載システム４００は、内向きカメラ１１０と、外向きカメラ１２０と、表示装置３１０と、音声出力装置３２０と、通信装置４１０とを備える。運転状況情報取得装置２０１は、通信部２１０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、顔向き検出部２９１と、視線向き検出部２９２と、運転状況情報取得部４９３と、画像合成部２９４とを備える。車載システム４００と、運転状況情報取得装置２０１とは、ネットワーク９１０を介して通信を行う。

ネットワーク９１０は、運転支援装置２００の通信部２１０と車載システムの通信装置４１０との通信を中継できる通信ネットワークであればよい。自動車９００の可動性からは、ネットワーク９１０が、通信装置４１０と無線通信を行うことが好ましい。例えば、ネットワーク９１０は、インターネットと携帯電話網（通信事業者がスマートフォンまたは携帯電話機等の携帯端末向けに提供する通信ネットワーク）との組み合わせにて構成されていてもよい。
運転状況情報取得システム２でデータ収集対象となる自動車９００の数は、１台以上であればよい。

図６の各部のうち図３の各部に対応して同様の機能を有する部分には同一の符号（１１０、１２０、２１０、２８０、２９０、２９１、２９２、２９４、３１０、３２０，９００）を付して説明を省略する。図６では、運転状況情報取得装置２０１が車外に設置されており、車内（自動車９００内）の各装置と運転支援装置との間で通信を行うために、車内に通信装置４１０が設置されている。

運転状況情報取得部４９３は、運転者の顔の向きと視線の向きとの相違の程度を算出する。運転状況情報取得部４９３が運転者の顔の向きと視線の向きとの相違の程度を算出する方法は、図３の注意喚起処理部２９３の場合と同様である。運転者の顔の向きと視線の向きとの相違の程度は、運転者の目視が適切か否かを判断する指標値となる。この点で、運転者の顔の向きと視線の向きとの相違の程度は、一種の運転状況情報であると言える。ここでいう運転状況情報は、運転の状況を示す情報である。

運転状況情報取得部４９３が、さらに、図３の注意喚起処理部２９３と同様に、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定するようにしてもよい。但し、運転状況情報取得部４９３は、車外の運転状況情報取得装置２０１に位置することから、運転状況情報取得部４９３自らは運転者への注意喚起を行わない。このため、注意喚起処理部との名称に代えて運転状況情報取得部との名称を付している。

運転状況情報取得部４９３が運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する場合、決定内容を示す情報、すなわち、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を示す情報を生成する。そして、運転状況情報取得部４９３は、通信部２１０およびネットワーク９１０を介して、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を示す情報を車載システム４００へ送信する。車載システム４００では、表示装置３１０および音声出力装置３２０のうち何れか一方または両方が、運転状況情報取得装置２０１からの情報に従って運転者に注意喚起を行う。

運転状況情報取得装置２０１を車外に設置して車載システム４００に対するサーバとして機能させることで、第１実施形態および第２実施形態の場合と同様の運転者への運転支援に加えて、あるいは代えて、運転状況情報取得装置２０１が車載システム４００から情報を収集することができる。例えば、運転状況情報取得部４９３が、上記のように注意喚起のための情報を車載システム４００へ送信することに加えて、あるいは代えて、記憶部２８０に運転状況を示す情報を記憶させるようにしてもよい。

ここでいう運転状況を示す情報は、運転者の顔の向きと視線の向きとの相違の程度を示す情報、および、運転者への注意喚起の要否および程度を示す情報のうち何れか一方または両方であってもよい。あるいは更に、自動車９００の周囲の障害物の位置情報など自動車９００の周囲の情報、自動車９００の速度など自動車９００の状態を示す情報、運転者の瞬きの頻度など運転者の状態を示す情報の何れか、あるいはそれらの組合せを含んでいてもよい。

このように、第３実施形態では運転者への注意喚起を行うとは限らないことから、運転状況情報取得システムおよび運転状況情報取得装置との名称を用いている。
運転者への注意喚起を行わない場合、車載システム４００の表示装置３１０および音声出力装置３２０は必須ではない。
一方、運転状況情報取得システム２が運転者への注意喚起を行う場合、運転状況情報取得システムを運転支援システムと称することができる。また、運転状況情報取得装置を、運転支援装置と称することができる。

図６では、車載システム４００が自動車９００に搭載されている場合の例を示しているが、図１の場合と同様、車載システム４００を搭載する移動体は自動車に限定されず、運転者が適切な方向を見ながら運転する必要があるいろいろな乗物とすることができる。
また、図６では、図３の構成における運転支援装置を車外に配置する場合の例を示しているが、図１の構成における運転支援装置を車外に配置するようにしてもよい。

上記のように、図６に示す構成では、図３の場合と同様に、運転者に注意喚起を行えることに加えて、各自動車９００における運転状況の記録を運転状況情報取得装置２０１に集約することができる。
例えば、車載システム４００が、運転者に対して注意喚起を行うとともに、注意喚起の記録とそのときの運転状況を運転状況情報取得装置２０１へ送信するようにしてもよい。これにより、運転状況情報取得装置２０１にて運転状況を確認することができ、また、運転状況の情報を蓄積することができる。

図３に示す構成のように運転支援装置２００を車載する構成では、リアルタイムで注意喚起を行うことができるが、注意喚起の対象となった運転が本当に危険な運転だったか否かまでは判定できない。
これに対し、図６のようにサーバクライアント形式で運転状況情報取得システム２を構成することで、運転状況情報取得装置２０１のユーザ（例えば、運転支援サービスを提供する事業者）は、リモートで運転の状況を確認することができ、危険な運転だったか否かを判断することができる。
さらには、運転状況情報取得装置２０１のユーザは、危険な運転と判断されたシーンを用いて運転者に運転安全指導をすることができる。その際、危険と判断された運転を行った運転者本人だけでなく、他の運転者にも情報提供するなど安全運転指導を行うことができる。

次に、図７および図８を参照して本発明の最小構成について説明する。
図７は、本発明に係る運転支援装置の最小構成の例を示す図である。図７に示す運転支援装置１０は、顔向き検出部１１と、視線向き検出部１２と、注意喚起処理部１３とを備える。
かかる構成にて、顔向き検出部１１は、運転者の顔の向きを検出する。視線向き検出部１２は、運転者の視線の向きを検出する。注意喚起処理部１３は、顔の向きと視線の向きとの相違の程度に基づいて、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する。
運転者が移動体をバックさせるために後ろを向いている場合など特定の運転の場面を除いて、運転者が注視すべき方向がいずれの方向でも、通常は、運転者の顔の向きと視線の向きとがおおよそ一致すると考えられる。運転者の顔の向きと視線の向きとがおおよそ一致しない場合、例えば、運転者が道端の風景に気をとられているなど、余所見等をしていることが考えられる。

そこで、運転者の顔の向きと視線の向きとが所定の条件以上相違している場合に、注意喚起処理部１３は、運転者に注意喚起する。このように、運転支援装置１０によれば、運転の状況に応じて運転者が注視すべき方向が変化した場合でも、運転者が見ている方向を評価することができる。

図８は、本発明に係る運転状況情報取得システムの最小構成の例を示す図である。図８に示す運転状況情報取得システム２０は、車載システム２１と、運転状況情報取得装置２３とを備える。車載システム２１は、撮影装置２２を備える。運転状況情報取得装置２３は、顔向き検出部２４と、視線向き検出部２５と、運転状況情報取得部２６とを備える。
かかる構成にて、車載システム２１は、移動体に搭載される。撮影装置２２は、移動体の運転者の顔の画像を撮影する。運転状況情報取得装置２３は、車載システム２１と通信を行う。顔向き検出部２４は、運転者の顔の画像に基づいて運転者の顔の向きを検出する。視線向き検出部２５は、運転者の顔の画像に基づいて運転者の視線の向きを検出する。運転状況情報取得部２６は、顔の向きと視線の向きとの相違の程度に基づいて、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を示す運転状況情報を生成する。

運転者が移動体をバックさせるために後ろを向いている場合など特定の運転の場面を除いて、運転者が注視すべき方向がいずれの方向でも、通常は、運転者の顔の向きと視線の向きとがおおよそ一致すると考えられる。運転者の顔の向きと視線の向きとがおおよそ一致しない場合、例えば、運転者が道端の風景に気をとられているなど、余所見等をしていることが考えられる。

そこで、運転者の顔の向きと視線の向きとが所定の条件以上相違している場合に、運転状況情報取得部２６は、運転者への注意喚起が必要であることを示す運転状況情報、あるいは、運転者への注意喚起の程度が強いことを示す運転状況情報を生成する。このように、運転状況情報取得システム２０によれば、運転の状況に応じて運転者が注視すべき方向が変化した場合でも、運転者が見ている方向を評価することができる。

なお、制御部２９０が行う処理の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 運転支援システム
２、２０ 運転状況情報取得システム
１０、２００ 運転支援装置
２１、４００ 車載システム
２２ 撮影装置
２３、２０１ 運転状況情報取得装置
１１、２４、２９１ 顔向き検出部
１２、２５、２９２ 視線向き検出部
１３、２９３ 注意喚起処理部
２６ 運転状況情報取得部
１１０ 内向きカメラ
１２０ 外向きカメラ
２１０ 通信部
２８０ 記憶部
２９０ 制御部
２９４ 画像合成部
３１０ 表示装置
３２０ 音声出力装置
４１０ 通信装置
９００ 自動車

Claims (6)

1. 移動体の運転者の顔の画像を撮影する撮影装置が撮影した前記運転者の顔の画像に基づいて、前記運転者の顔の向きを検出する顔向き検出部と、
   前記運転者の顔の画像に基づいて前記運転者の視線の向きを検出する視線向き検出部と、
   前記運転者の顔の向きと、前記運転者の視線の向きとに基づいて、前記運転者が見ている方向を評価する注意喚起処理部と、
   前記運転者の顔の向きに基づく第一の注視領域、および、前記運転者の視線の向きに基づく第二の注視領域を含む画像を出力する出力部と、
   を備える運転支援装置。
2. 前記第一の注視領域と前記第二の注視領域とは異なる表示態様の輪郭線で示されていることを特徴とする、
   請求項１に記載の運転支援装置。
3. 前記第一の注視領域は、前記第二の注視領域より大きいことを特徴とする、
   請求項１に記載の運転支援装置。
4. 移動体に搭載される車載システムと、
   前記車載システムと通信を行う運転状況情報取得装置とを備え、
   前記車載システムは、前記移動体の運転者の顔の画像を撮影する撮影装置を備え、
   前記運転状況情報取得装置は、
   前記運転者の顔の画像に基づいて前記運転者の顔の向きを検出する顔向き検出部と、
   前記運転者の顔の画像に基づいて前記運転者の視線の向きを検出する視線向き検出部と、
   前記運転者の顔の向きと、前記運転者の視線の向きとに基づいて、前記運転者が見ている方向を評価する注意喚起処理部と、
   前記運転者の顔の向きに基づく第一の注視領域、および、前記運転者の視線の向きに基づく第二の注視領域を含む画像を出力する出力部と、
   を備える運転状況情報取得システム。
5. コンピュータが、
   移動体の運転者の顔の画像を撮影する撮影装置が撮影した前記運転者の顔の画像に基づいて、前記運転者の顔の向きを検出することと、
   前記運転者の顔の画像に基づいて前記運転者の視線の向きを検出することと、
   前記運転者の顔の向きと、前記運転者の視線の向きとに基づいて、前記運転者が見ている方向を評価することと、
   前記運転者の顔の向きに基づく第一の注視領域、および、前記運転者の視線の向
   きに基づく第二の注視領域を含む画像を出力することと、
   を含む運転支援方法。
6. コンピュータに、
   移動体の運転者の顔の画像を撮影する撮影装置が撮影した前記運転者の顔の画像に基づいて、前記運転者の顔の向きを検出することと、
   前記運転者の顔の画像に基づいて前記運転者の視線の向きを検出することと、
   前記運転者の顔の向きと、前記運転者の視線の向きとに基づいて、前記運転者が見ている方向を評価することと、
   前記運転者の顔の向きに基づく第一の注視領域、および、前記運転者の視線の向
   きに基づく第二の注視領域を含む画像を出力することと、
   を実行させるためのプログラム。

Images