JP2008305283A - 運転支援装置および運転支援方法 - Google Patents

Abstract

【課題】データベースに記録されていない対象物に基づく運転支援を行うこと、特に自車両の周囲の移動体について警告を行うことができなかった。
【解決手段】自車両を運転する運転者の視線方向を検出し、前記自車両の周囲の画像を示す画像情報を取得し、前記画像情報に基づいて前記視線方向に存在する移動体を検出し、当該移動体の動作を検出し、前記移動体の動作に基づいて当該移動体が前記自車両の周囲に設定された警告領域に存在することを検出し、警告を行うための制御を行う。
【選択図】図１

Description

本発明は、自車両の周囲を移動する移動体を警告する運転支援装置、方法およびプログラムに関する。

従来、運転者が注目している対象物を案内するための技術として、画像を撮影して時系列で記憶しておき、運転者が質問を発したタイミングより以前における運転者の視線方向と画像とを取得し、当該画像に基づいて視線方向の対象物を抽出し、データベースを参照して当該対象物の情報を案内する技術が知られている（特許文献１）。
特開２００６−９０７９０号公報

従来の技術においては、データベースに記録されていない対象物に基づく運転支援を行うことができなかった。特に自車両の周囲の移動体について警告を行うことができなかった。
すなわち、特許文献１に開示された技術においては、運転者の視線方向を検出することによって運転を妨げることなく運転者所望の対象物を案内する構成としているが、この技術における案内対象はデータベースとして予め記憶された対象物のみである。従って、移動体など、予めデータベースに記憶し得ない対象について案内を行うことは不可能であり、移動体に関する警告等を行うことは不可能であった。
本発明は、上記課題にかんがみてなされたもので、データベースに記録されていない対象物に基づく運転支援を行うこと、特に自車両の周囲の移動体について警告を行う技術を提供することを目的とする。

上記の目的を達成するため、本発明においては、運転者の視線方向に存在する移動体を検出し、当該移動体の動作を検出し、当該移動体が警告領域に存在するときに警告を行うための制御を行う。すなわち、運転者が注目した移動体は、その画像に基づいてその動作が追跡され、当該追跡によって、移動体が当該移動体に関する警告を行うべき警告領域に存在するか否かが判定される。そして、移動体が警告領域に存在する場合に警告がなされる。従って、自車両の周囲に存在する移動体を運転者が注目した場合には、当該移動体について警告がなされ、運転者の注意を喚起することができる。

視線方向検出手段は、運転者の視線方向を検出することができればよく、運転者の視線の方向を検出するための各種技術によって実現可能である。例えば、運転者の顔の向きや眼の位置、眼球の向き等を自車両の車室内のカメラや各種のセンサによって検出し、当該顔の向きや眼の位置、眼球の向き等に基づいて視線方向を検出すればよい。むろん、運転者の視線方向を検出する際に、一定範囲に一定時間、視線が維持されている場合にその方向を視線方向とする構成を採用してもよい。

また、視線方向は、予め決められた座標系で定義することができればよく、例えば、自車両の基準位置に固定的な原点を定義した座標系等を採用可能である。この場合、視線方向は自車両を基準にして検出されるので、当該視線方向に加えて自車両の位置や向きを路面上で特定すれば、路面上での視線方向を検出することができる。むろん、座標系は上述の構成の他、路面上に設定された基準を原点にした座標や緯度や経度を利用した座標であってもよく種々の構成を採用可能である。

画像情報取得手段は、運転者の注意を喚起すべき移動体を含む画像を取得することができればよく、自車両に搭載されたカメラによって自車両の周囲を撮影する構成等、種々の構成を採用可能である。移動体動作検出手段は、画像情報に基づいて視線方向に存在する移動体を検出し、当該移動体におけるその後の動作を検出することができればよく、視線方向に存在する移動体の検出は、例えば、画像情報が示す画像において、画像内の各位置と視線方向とを予め対応づけておき、視線方向に対応づけられた位置に移動体の画像が存在する場合に当該移動体が視線方向に存在することを検出する構成を採用可能である。

また、時間によって位置が変動するあらゆる物体が移動体に相当し、予め決められた形状を画像から抽出することによって検出してもよいし、異なる時間に撮影した画像を比較することによって移動体を検出してもよく、種々の構成を採用可能である。移動体の動作は、例えば、移動体の位置、移動方向、速度、加速度等を示す情報等に基づいて検出することができればよく、上述のようにして検出した移動体についてこれらの動作を検出できればよい。また、異なる時間に撮影した画像を比較し、各画像の撮影間隔と各画像に基づいて特定される移動体の位置とに基づいてその移動方向と速さとを検出する構成等を採用可能である。むろん、移動体の位置を特定するための座標系は、上述の視線方向を定義する際の座標系との関連を定義できていればよく、異なる座標系でもよいし、同じ座標系であってもよい。

移動体警告手段は、移動体の動作に基づいて当該移動体が前記自車両の周囲に設定された警告領域に存在することを検出し、警告のための制御を行うことができればよい。従って、予め自車両の周囲に警告領域を設定しておき、移動体と自車両との相対関係、例えば、自車両の位置と移動体の位置とから移動体が警告領域に存在することを検出すればよい。警告においては、移動体の存在を運転者に認識させることができればよく、音声案内，画像表示，振動等の各種手段によって当該移動体の存在を運転者に認識させればよい。従って、移動体警告手段においてはこれらの警告を行うスピーカー，表示部，振動体等を制御することができればよい。警告領域は移動体の存在を警告すべき領域として予め設定しておけばよく、例えば、自車両から所定の距離にある領域や自車両の周囲に設定した特定の形状の領域等を警告領域とすることが可能である。

さらに、本発明における視線方向の検出や警告を必要な場面で実施する構成例として、運転者の発する音声を利用する構成を採用してもよい。例えば、運転者の発する音声を示す音声情報を取得し、移動体に対応する音声を検出した場合に前記視線方向を検出する構成を採用可能である。すなわち、この構成においては、移動体に対応する音声を検出しない場合には視線方向を検出することもなく、この結果、移動体が警告領域に存在することに関する警告を行うこともない。この構成によれば、あらゆる移動体について警告がなされることはなくなり、運転者が注目すべき移動体であるとして当該移動体に対応する音声を発した場合にその移動体を警告の対象にすることができる。

さらに、本発明における移動体の検出や警告を必要な場面で実施する構成例として、自車両の進行方向を含む所定範囲を除く範囲に含まれる視線方向に存在する移動体を検出する構成としてもよい。すなわち、自車両の進行方向を含む所定範囲は、ほぼ、常時運転者の視界に含まれる。従って、当該所定範囲に存在する移動体まで警告対象とすると運転者にとっては煩わしく、本来、注意すべき所定範囲外の移動体に対する注意が散漫になり得る。

そこで、当該所定範囲を除く範囲に含まれる視線方向を検出し、当該所定範囲を除く範囲に含まれる視線方向に存在する移動体を検出して警告対象とすることにより、警告が必要とされる領域に存在する移動体については確実に警告対象とすることができる。また、警告が必要とされない領域に存在する移動体については警告対象から除外することができる。なお、当該所定範囲は運転者が常時注意を払える視角であればよく、例えば、進行方向±２０°の範囲など、予め特定しておけばよい。

さらに、ある移動体を注意すべきであったとしても運転者は当該移動体と異なる対象や進行方向など、多方向に視線を向ける必要がある。従って、運転者は、運転中に注意すべき移動体から視線を外すことが当然であるものの、視線を外した移動体を注意し続けるのは運転者にとって大きな負担となる。そこで、運転者の視線方向に少なくとも一回存在したことが検出された移動体について動作を検出する構成としてもよい。

すなわち、ある移動体に関して運転者の視線方向に少なくとも一回存在したことが検出され、その後運転者の視線方向から当該移動体が外れたとしても、その移動体について動作を検出し、警告対象とする。この構成により、運転者が一旦注視した後に視線を外した移動体であっても確実に警告対象とすることができる。

さらに、警告は、移動体が警告領域に存在するときに行うことができればよいが、警告が必要な条件をより明確にして警告を行う構成としてもよい。例えば、移動体の動作と自車両の動作とに基づいて当該移動体と自車両との距離を検出し、移動体が警告領域内で自車両に近づいていることが検出されたときに警告を行う構成を採用可能である。

すなわち、移動体と自車両との距離を検出し、その時間変化を特定すれば、両者の距離の時間変化が判明するので、移動体が自車両に対して相対的に近づいているか否かを判定することができる。そこで、移動体が警告領域内で自車両に近づいているときに警告を行う構成とすれば、警告領域内で自車両から遠ざかっている移動体を警告対象から除外することが可能になり、運転者が注意すべき移動体について確実に注意喚起することができる。

さらに、本発明のように視線方向に存在する移動体の動作を検出し、移動体が自車両の周囲に設定された警告領域に存在する場合に警告を行う手法は、プログラムや方法としても適用可能である。また、以上のような運転支援装置、プログラム、方法は、単独の運転支援装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような運転支援装置を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、運転支援装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ナビゲーション装置の構成：
（２）運転支援処理：
（２−１）警告処理：
（３）他の実施形態：

（１）ナビゲーション装置の構成：
図１は、本発明にかかる運転支援装置を含むナビゲーション装置１０の構成を示すブロック図である。ナビゲーション装置１０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０と記憶媒体３０とを備えており、記憶媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。本実施形態においては、このプログラムの一つとしてナビゲーションプログラム２１を実施可能であり、後述する表示部やスピーカーによって各種情報を出力して自車両の経路案内等を実施する。また、ナビゲーションプログラム２１はその機能の一つとして自車両の周囲に設定された警告領域に存在する移動体に関する警告を行う機能を備えている。

自車両（ナビゲーション装置１０が搭載された車両）は、ナビゲーションプログラム２１によって上述の機能を実現するためにＧＰＳ受信部４０ａと車速センサ４０ｂとジャイロセンサ４０ｃとマイク４１と車内カメラ４２と車外カメラ４３と表示部４４とスピーカー４５とを備えており、これらの各部と制御部２０との信号の授受は図示しないインタフェースによって実現されている。

ＧＰＳ受信部４０ａは、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して自車両の現在位置を算出するための情報を出力する。制御部２０は、この信号を取得して自車両の現在位置を取得する。車速センサ４０ｂは、自車両が備える車輪の回転速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、自車両の速度を取得する。ジャイロセンサ４０ｃは、自車両の角速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、自車両の向きを示す情報を取得する。車速センサ４０ｂとジャイロセンサ４０ｃとは、ＧＰＳ受信部４０ａの出力信号から特定される自車両の現在位置を補正し、また、自車両の向きを検出するために利用される。

マイク４１は、自車両の車室内で発生する音声に対応した電気信号を生成し、図示しないインタフェースを介して出力する。制御部２０は、この信号を取得して音声に対応した音声情報を取得する。車内カメラ４２は、自車両を運転する運転者の顔を視野に含むように自車両に対して取り付けられ、撮影した画像を示す画像情報を出力する。制御部２０は、図示しないインタフェースを介してこの画像情報を取得し、画像に含まれる顔の向きを、自車両の基準位置に固定的な原点を定義した３次元座標系で特定することによって視線方向を検出する。むろん、座標系は上述の構成の他、路面上に設定された基準を原点にした座標や緯度や経度を利用した座標であってもよく、また、路面に平行な平面内で定義された２次元座標系で視線方向を検出してもよく、種々の構成を採用可能である。

車外カメラ４３は、運転者の注意を喚起すべき移動体を含む画像を取得するため、自車両の周囲を視野に含むように自車両に対して取り付けられ、撮影した画像を示す画像情報を出力する。制御部２０は、図示しないインタフェースを介してこの画像情報を取得する。なお、本実施形態においては、自車両の周囲であって、自車両の運転者の視界に含まれ得る範囲を撮影できるように、自車両に対して車外カメラ４３が取り付けられている。

図２は、自車両における車内カメラ４２と車外カメラ４３との配置例を示す説明図である。同図２においては、自車両１００の外周と車室内の様子を運転者Ｄとともに模式的に示している。この例において、車内カメラ４２は自車両１００の車室内におけるバックミラーの周辺に取り付けられており、運転者Ｄの顔を含む範囲を視野にして画像を撮影することができる。なお、図２においては、車内カメラ４２の視野を一点鎖線で示している。また、車外カメラ４３は自車両１００の左右それぞれのサイドミラーＳに取り付けられている。なお、図２においては、車外カメラ４３の視野を二点鎖線で示している。

また、制御部２０は、任意の画像を出力するための信号と任意の音声出力を行うための信号とを図示しないインタフェースを介して出力する。この結果、表示部４４およびスピーカー４５は上述の信号に応じた任意の音声および画像を出力する。本実施形態においては、後述するように、これらの表示部４４やスピーカー４５を利用して移動体に関する警告や自車両の経路案内等を行う。

記憶媒体３０には、ナビゲーションプログラム２１による案内を実施するため地図情報３０ａが記憶されている。地図情報３０ａは、道路上に設定されたノードを示すノードデータやノード同士の連結を示すリンクデータ、目標物を示すデータ等を含み、自車両の位置の特定や目的地への案内等に利用される。また、目標物を示すデータは、当該目標物自体を案内するために使用され、当該目標物に関する情報（例えば、施設名称，施設種類等）を含んでいる。さらに、本実施形態におけるナビゲーションプログラム２１は、目標物を示すデータが存在しない場合に当該データを追加していく機能を備えている。従って、一旦当該データが追加された後には、追加されたデータによる案内がなされる。

本実施形態において、ナビゲーションプログラム２１は、上述の各部と協働することによってナビゲーション装置１０を本発明にかかる運転支援装置として機能させる。このため、ナビゲーションプログラム２１は、ナビゲーション処理部２１ａと音声検出部２１ｂと視線方向検出部２１ｃと画像情報取得部２１ｄと移動体動作検出部２１ｅと移動体警告部２１ｆとを備えている。

ナビゲーション処理部２１ａは、自車両を上述の目標物へ案内するための経路を上述の表示部４４やスピーカー４５から出力する処理や経路探索処理等を行うモジュールであり、その機能の一つとして自車両の位置を検出する自車両動作検出部２１ａ１を備えている。当該自車両動作検出部２１ａ１は、ＧＰＳ受信部４０ａと車速センサ４０ｂとジャイロセンサ４０ｃとが出力する信号および地図情報３０ａに基づいて自車両の現在地を取得し、また、自車両の向きを取得する。なお、当該自車両の位置や向きは路面に対して特定されればよく、路面上の位置や向きを特定する座標系を予め定義してもよいし、緯度および経度が特定されたノードとの相対関係によって路面上の位置や向きを特定してもよく種々の構成を採用可能である。

音声検出部２１ｂは、マイク４１が出力する信号に基づいて音声情報を取得し、当該音声情報に基づいて移動体を指して発した可能性のある言葉を検出する。ここで、移動体を指して発した可能性のある言葉は、移動し得る物体の種類や名称、代名詞等、例えば、「歩行者」，「自転車」，「自動車」等の言葉や「あれ」等の代名詞、「あの自転車」等の組み合わせ等を採用可能である。

視線方向検出部２１ｃは、車内カメラ４２が出力する信号に基づいて、運転者の視線方向を検出する。本実施形態においては運転者の顔の向きによって視線方向を検出する構成を採用しており、視線方向検出部２１ｃにおいては車内カメラ４２の画像からパターンマッチングによって眼と鼻とを検出し、その相対関係から顔の向きを判定し、顔の向きを視線方向とする。

当該視線方向は、自車両に設定された固定的な原点を基準とした座標系で定義されるので、本実施形態においては、路面上で視線方向を特定するため、さらに、自車両の現在地と向きを上述のようにして特定する。そして、自車両に設定された固定的な原点を基準とした座標系における視線方向と、自車両の現在地および向きとに基づいて路面に対する視線方向を検出する。むろん、視線方向を検出するための構成は、上述のような顔の向きに基づく処理に限定されず、眼の位置、眼球の向き等を自車両の車室内のカメラや各種のセンサによって検出し、当該眼の位置、眼球の向き等に基づいて視線方向を検出する構成を採用してもよい。

さらに、本実施形態においては、地図情報３０ａに対して目標物を示すデータを追加するか否かを判定する処理を行うため、視線方向検出部２１ｃは、上述のようにして検出した視線方向に対応する目標物を示すデータが既に地図情報３０ａに記憶済みであるか否かを判定する。

画像情報取得部２１ｄは、車外カメラ４３が出力する画像情報を取得するモジュールであり、特定の時間間隔毎に画像情報を取得して図示しないメモリに保持する。移動体動作検出部２１ｅは、当該メモリに保持された画像情報を取得し、当該画像情報が示す画像を解析することによって上述の視線方向に存在する移動体の動作を検出する。すなわち、本実施形態においては、予め、前記車外カメラ４３にて撮影された画像の各位置と、自車両に設定された基準位置（例えば、運転者の頭の位置）から見た方向とが対応づけられており、画像の位置を特定することによって運転者から見た方向が特定される。

また、本実施形態においては、車外カメラ４３が出力する画像情報を特定の時間間隔毎に取得しているため、異なる時間に撮影された連続する画像同士でフレーム間比較を行うことで、画像内の移動体を検出することができる。そこで、視線方向検出部２１ｃによって検出された視線方向に対応する画像内の位置と、画像内における移動体の位置とを比較することで、移動体動作検出部２１ｅは視線方向に存在する移動体の動作を検出する。なお、本実施形態においては、画像に基づいて移動体の位置を検出することによって当該移動体の動作を検出する構成としている。移動体の位置を特定するための座標系は、上述の３次元座標系等、種々の座標系を利用可能である。

さらに、本実施形態において、移動体動作検出部２１ｅは、自車両の進行方向を含む所定範囲を除く範囲に含まれる視線方向を検出し、当該所定範囲を除く範囲に含まれる視線方向に存在する移動体を検出して警告対象とする。本実施形態においては、上述の３次元座標系において、自車両の進行方向に平行な線であって運転者の視線の原点を通る線が予め規定されており、当該線に対して路面に平行な方向に±α°（例えば、±２０°）の範囲は移動体の検出範囲から除外するように設定されている。すなわち、自車両の進行方向を含む所定範囲は、ほぼ、常時運転者の視界に含まれるため、当該所定範囲に存在する移動体まで警告対象とすると運転者にとっては煩わしく、本来、注意すべき所定範囲外の移動体に対する注意が散漫になり得る。

そこで、本実施形態においては、当該所定範囲を除く範囲に含まれる視線方向に存在する移動体を検出し、当該所定範囲に含まれる視線方向に存在する移動体は検出しない構成とすることにより、警告が必要とされる領域に存在する移動体を確実に警告対象とするように構成している。また、この構成により、警告が必要とされない領域に存在する移動体については警告対象から除外することができる。なお、当該所定範囲は運転者が常時注意をすることが可能な視角であればよく、各種の範囲を当該所定範囲として設定することができる。

さらに、移動体動作検出部２１ｅは、画像情報取得部２１ｄが取得した画像において、視線方向に存在する移動体が検出されなかった場合に、地図情報３０ａに対して目標物を示すデータを追加する処理を行う。すなわち、上述の視線方向検出部２１ｃにおいて上述の視線方向に対応する目標物を示すデータが地図情報３０ａに記憶されていないと判別されており、移動体動作検出部２１ｅにおいて視線方向に存在する移動体が検出されなかった場合には、画像情報取得部２１ｄにて取得した画像情報と当該画像情報が示す画像を撮影した位置とを対応づけ、これらを示す情報を地図情報３０ａに追加する。

移動体警告部２１ｆは、以上のようにして特定された移動体の位置と、上述の自車両動作検出部２１ａ１にて特定された自車両の位置とに基づいて移動体が前記自車両の周囲に設定された警告領域に存在し、移動体が自車両に近づいているか否かを判別する。そして、移動体が警告領域内で自車両に近づいていると判別されたときに警告を行う。

なお、警告領域は上述の３次元座標系で予め決められており、本実施形態においては、自車両に設定された基準位置（例えば、上述の３次元座標系の原点）から一定の距離にある領域を警告領域としている。また、移動体が当該警告領域内に存在するか否かは、上述のようにして検出した移動体の位置によって特定することが可能であり、移動体が自車両に近づいているか否かは、移動体の位置および自車両の位置の時間変化を特定することによって判定することができる。

また、本実施形態においては、表示部４４やスピーカー４５によって警告を実施するように構成している。すなわち、移動体警告部２１ｆは、警告を行う際に当該警告を示す情報（例えば、警告を示す画像情報や「移動体が接近中です」等の音声情報等）を出力するための制御信号を前記表示部４４やスピーカー４５に対して出力し、これらの情報を運転者に対して提供する。

以上の構成において、視線方向に存在する移動体を検出した場合には、その後の移動体の動作が検出され、当該移動体が自車両の周囲に設定された警告領域に存在するときにその警告を行う。従って、自車両の周囲に存在する移動体を運転者が注目した場合には、その移動体について予めデータベースが用意されていない状態であったとしても当該移動体について警告がなされ、運転者の注意を喚起することができる。さらに、運転者が一旦移動体に注目した後、当該移動体に対して常時、注意をしていなくても移動体が自車両に接近した場合には警告がなされるため、運転者に対する負荷は極めて小さく、容易に安産を確保することができる。

（２）運転支援処理：
次に、以上の構成においてナビゲーション装置１０が実施する処理を説明する。ナビゲーション装置１０によってナビゲーションプログラム２１が実行されているときには、一定間隔（例えば、１００ｍｓ）毎に図３に示す処理が音声検出部２１ｂ〜移動体警告部２１ｆによって実行される。なお、ナビゲーション処理部２１ａは図３に示す処理と並行して処理を行っており、ナビゲーション処理部２１ａにおいては、この処理の過程で自車両動作検出部２１ａ１が自車両の位置および向きを検出している。

図３に示す処理においては、まず、移動体に対応する音声の発話が運転者によってなされたか否かを音声検出部２１ｂが判別する（ステップＳ１００）。すなわち、音声検出部２１ｂは、マイク４１の出力信号に基づいて音声情報を特定し、当該音声が予め決められた移動体に対応する音声であるか否か、すなわち、移動体を指して発した可能性のある言葉が含まれるか否かを判別する。

次に、視線方向検出部２１ｃは運転者の視線方向を検出し、移動体動作検出部２１ｅは当該視線方向が所定範囲外であるか否か（すなわち、視線方向が自車両の進行方向を含む所定範囲を除く範囲に含まれるか否か）を判定する（ステップＳ１０５）。図４は、交差点に向けて走行する自車両と視線方向と移動体との例を説明するための説明図である。図４においては、運転者の座席の中心を通る自車両の進行方向に平行な線（図４に示す破線）を視線方向の角度を定義する基準としており、運転者の座席に設定された基準点からみた±α°の範囲（図４に示すハッチング領域）は移動体の検出範囲から除外する。

そこで、視線方向検出部２１ｃは、車内カメラ４２の出力信号を取得して、車内カメラ４２が出力する信号に基づいて、当該車内カメラ４２の撮影画像からパターンマッチングによって眼と鼻とを検出し、その相対関係から顔の向きを判定し、顔の向きを視線方向とする。そして、移動体動作検出部２１ｅは、当該視線方向が上述の所定範囲に含まれるか否かを判別する。ステップＳ１０５にて、視線方向が自車両の進行方向を含む所定範囲に含まれると判別された場合、運転者の視線は通常の運転による視線方向であると考え、視線方向の対象物に関して何ら処理を行うことなく処理を終了する。

ステップＳ１０５にて、視線方向が自車両の進行方向を含む所定範囲を除く範囲に含まれると判別された場合、移動体動作検出部２１ｅは、さらに、当該視線方向に含まれる位置に存在する目標物を示すデータが地図情報３０ａに記憶済みであるか否かを判別する（ステップＳ１１０）。すなわち、地図情報３０ａに含まれる各目標物は、その位置が特定されているため、視線方向検出部２１ｃは、自車両の位置および向きと視線方向とに基づいて路面に対する視線方向に含まれる位置に目標物が存在するか否かを判別する。

ステップＳ１１０にて視線方向に含まれる位置に存在する目標物を示すデータが地図情報３０ａに記憶済みであると判別されたとき、本実施形態において、運転者は移動体ではなく当該目標物に着目したと見なし、ナビゲーション処理部２１ａは当該目標物についての情報を案内する（ステップＳ１１５）。すなわち、ナビゲーション処理部２１ａは、地図情報３０ａを参照して、視線方向に重なる位置における目標物の情報を取得し、表示部４４やスピーカー４５等に対して当該目標物を案内するための信号を出力する。

この結果、運転者が案内等を行うように事前に登録することなく、また、ナビゲーション装置１０に対する操作等をすることなく、単に目標物を視認するのみで当該目標物に関する情報が表示部４４やスピーカー４５等から案内される。従って、運転者は、運転中に煩雑な操作を行わなくても目標物の案合いを行うことが可能になる。

一方、ステップＳ１１０にて、視線方向に含まれる位置に存在する目標物を示すデータが地図情報３０ａに記憶済みであると判別されないとき、運転者が目標物以外の移動体に着目した状況と、運転者が目標物に着目したが地図情報３０ａに当該目標物に関するデータが記憶されていないことによって案内を実行できない状況とを想定し得る。

そこで、本実施形態においては、ステップＳ１１０にて、視線方向に含まれる位置に存在する目標物を示すデータが地図情報３０ａに記憶済みであると判別されない場合には画像情報取得部２１ｄが車外カメラ４３から画像情報を取得する（ステップＳ１２０）。そして、移動体動作検出部２１ｅは、当該画像情報が示す画像に基づいて、運転者の視線方向に移動体が存在するか否かを判別する（ステップＳ１２５）。すなわち、移動体動作検出部２１ｅは、画像情報に基づいてフレーム間比較を行って画像内で移動体を検出し、視線方向検出部２１ｃによって検出された視線方向に対応する画像内の位置と、前記移動体の位置とを比較することで、視線方向に存在する移動体が存在するか否かを判別する。

ステップＳ１２５にて、運転者の視線方向に移動体が存在すると判別された場合には、移動体に関する警告を行うための警告処理が実行される（ステップＳ１３０）。また、ステップＳ１２５にて、運転者の視線方向に移動体が存在すると判別されない場合には、画像情報取得部２１ｄにて取得した画像情報と当該画像情報が示す画像を撮影した位置とを対応づけ、これらを示す情報を地図情報３０ａに追加する登録処理を行う（ステップＳ１３５）。

（２−１）警告処理：
次に、上記ステップＳ１３０にて実施する警告処理の詳細を説明する。運転者の視線方向に移動体が存在すると判別された場合に、まず、移動体動作検出部２１ｅが前記運転者の視線方向に存在する移動体の動作を取得する（ステップＳ２００）。すなわち、画像情報取得部２１ｄが取得した画像情報が示す画像同士でフレーム間比較を行うことで画像内の移動体を検出し、当該移動体の位置を検出する。

なお、本実施形態において、当該ステップＳ２００にて一旦、運転者の視線方向に移動体が存在すると検出され、動作の検出が開始された移動体については、その動作を追跡する。すなわち、本実施形態において、ナビゲーションプログラム２１が実行されているときには、図３に示す処理とともに図４に示す処理も一定間隔（例えば、１００ｍｓ）毎に実施される。このとき、一旦動作の検出が開始された移動体については一定の条件（例えば、自車両の後方において所定距離以上遠ざかった場合）に達しない限り動作の検出を続ける。この結果、運転者の視線方向に少なくとも一回存在したことが検出された移動体については、一定の条件に達するまで動作を検出することになる。

次に、自車両動作検出部２１ａ１は、ナビゲーション処理部２１ａによって取得し続けている自車両の現在位置を示す情報を取得する（ステップＳ２０５）。すなわち、自車両の位置を示す情報を取得する。ステップＳ２００にて取得された移動体の動作を示す情報と、ステップＳ２０５にて取得された自車両の動作を示す情報は、移動体警告部２１ｆに受け渡される。

移動体警告部２１ｆは、当該移動体の動作を示す情報と自車両の動作を示す情報とに基づいて自車両の周囲に設定された警告領域に移動体が存在するか否かを判別する（ステップＳ２１０）。すなわち、移動体の動作を示す情報と自車両の動作を示す情報とに基づいて移動体と自車両との位置を検出し、両者の距離を特定する。そして、自車両に設定された基準位置から一定の距離にある警告領域の境界までの距離と自車両から移動体までの距離とを比較し、自車両に設定された基準位置から一定の距離にある警告領域の境界までの距離が自車両から移動体までの距離より長い場合に移動体が警告領域に存在すると判別する。

ステップＳ２１０にて、自車両の周囲に設定された警告領域に移動体が存在すると判別されないときには、ステップＳ２１５以降の処理をスキップして処理を終了する。一方、ステップＳ２１０にて自車両の周囲に設定された警告領域に移動体が存在すると判別されたとき、移動体警告部２１ｆは各移動体が自車両に接近しているか否かを判別する（ステップＳ２１５）。

すなわち、移動体警告部２１ｆは、上述の移動体の動作を示す情報と自車両の動作を示す情報とに基づいて移動体と自車両との位置を検出し、両者の距離を連続する複数のフレームに渡る画像情報に基づいて検出する。そして、距離の時間変化を検出することにより、移動体と自車両との相対距離が短くなっているか否かを特定する。

ステップＳ２１５にて、自車両に接近していると判別された移動体に関しては警告が行われ（ステップＳ２２０）、自車両に接近していると判別されない移動体に関してはステップＳ２２０がスキップされ警告は行われない。すなわち、自車両に接近していると判別された移動体が存在する場合、移動体警告部２１ｆは、その移動体を検出し、当該移動体の接近を警告する画像情報や音声情報を表示部４４やスピーカー４５に出力する。この結果、表示部４４やスピーカー４５から当該移動体の接近を警告する案内が出力される。従って、運転者が一旦着目した移動体から視線を外したとしても、当該移動体について注意すべき状況になったときには運転者に対する注意が喚起される。

すなわち、ある移動体を注意すべきであったとしても運転者は当該移動体と異なる対象や進行方向など、多方向に視線を向ける必要がある。従って、運転者は、運転中に注意すべき移動体から視線を外すことが当然であるものの、視線を外した移動体を注意し続けるのは運転者にとって大きな負担となる。そこで、本実施形態においては、運転者の視線方向に少なくとも一回存在したことが検出された移動体について動作を検出する構成とする。そして、ある移動体について運転者の視線方向に少なくとも一回存在したことが検出され、その後運転者の視線方向から外れたとしても、その移動体について動作を検出し、警告対象とする。この構成により、運転者が一旦注視した後に視線を外した移動体であっても確実に警告対象とすることができ、運転者の負担を軽減することができる。

図４においては、実線にて示した扇形Ａで警告領域の境界を示しており、さらに、移動体の例として歩行者Ｐ₀〜Ｐ₂を例示している。当該図４に示す例において、歩行者Ｐ₀，Ｐ₁は扇形Ａに示す警告領域に含まれ、歩行者Ｐ₂に含まれない。また、歩行者Ｐ₀，Ｐ₁の移動方向ベクトルをそれぞれＶ₀，Ｖ₁として例示している。当該図４に示す例において、歩行者Ｐ₀は紙面下側に向かって歩行しており、自車両に近づいている。さらに、自車両は紙面上側の交差点に向かって走行している。

従って、歩行者Ｐ₀は、警告領域内で自車両に接近中の移動体である。このため、この例では、当該歩行者Ｐ₁に関して、移動体警告部２１ｆが警告を行うための情報を表示部４４やスピーカー４５に出力する。この結果、例えば、スピーカー４５から「左前方、移動体が接近中です」等の音声情報が出力される。従って、運転者が一旦歩行者Ｐ₀に着目し、その後視線を外したとしても、当該歩行者Ｐ₀が自車両に接近したときには警告され、運転者に対する注意が喚起される。

一方、歩行者Ｐ₁は紙面右側に向かって歩行しており、自車両から遠ざかっている。また、自車両は紙面上側の交差点に向かって走行している。従って、歩行者Ｐ₁は、警告領域内で自車両に接近中ではない。このため、この例では、当該歩行者Ｐ₁に関して、移動体警告部２１ｆが警告を行うための情報を表示部４４やスピーカー４５に出力せず、歩行者Ｐ₁に関する警告は行われない。すなわち、運転者が一旦歩行者Ｐ₁に着目し、その後視線を外したとき、当該歩行者Ｐ₁が自車両の安全性に影響を及ぼさない場合には警告を行わない。このため、無用な警告が頻発されることを防止することができる。

また、上述に実施形態においては、音声検出部２１ｂによって移動体に対応する音声を検出した場合に視線方向を検出するため、運転者が注目すべき移動体であるとして当該移動体に対応する音声を発した場合にその移動体を警告の対象にすることができる。すなわち、移動体に対応する音声を検出しない場合には視線方向を検出せず、移動体が警告領域に存在することに関する警告を行うこともない。このため、あらゆる移動体について警告がなされることはなくなる。例えば、自車両の周りを飛んでいる鳥などの移動体を検出して警告対象としてしまうことを防止することができる。

（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、運転者の視線方向に存在する移動体の動作を検出し、警告領域に存在する場合に警告することができる限りにおいて、他にも種々の実施形態を採用可能である。例えば、上述の実施形態においては、画像情報を取得する前に視線方向を検出して目標物を視認しているか否かを判別していたが、むろん、この判定を画像に基づいて行ってもよい。例えば、画像情報に基づいて視線方向に存在する対象物が静止物、あるいは移動物であることを特定し、静止物であるときに上述の目標物が存在するか否かを判別し、移動体であるときに移動体の動作を検出する構成とする。この構成によれば、目標物と運転者の間に移動体が存在する場合であっても的確に移動体に対する警告を行うことができる。

さらに、視線方向の検出においては、運転者の視線方向を検出することができればよく、運転者の顔の向きを検出する構成の他、眼の位置、眼球の向き等を自車両の車室内のカメラや各種のセンサによって検出し、当該眼の位置、眼球の向き等に基づいて視線方向を検出する構成を採用してもよい。むろん、運転者の視線方向を検出する際に、一定範囲に一定時間、視線が維持されている場合にその方向を視線方向とする構成を採用してもよい。

さらに、上述の歩行者は移動体の例示であり、本発明においては、時間によって位置が変動するあらゆる物体が移動体に相当する。当該移動体を検出するための構成は、異なる時間に撮影した画像を比較することによって移動体を検出する構成の他、予め決められた形状を画像から抽出することによって移動体を検出する構成であってもよく種々の構成を採用可能である。

移動体の動作は、自車両に対する警告を実施すべきであるか否かを特定するための情報となればよく、上述のように移動体の位置を検出する構成の他、移動方向、速度、加速度等を示す情報等に基づいて動作を特定してもよい。なお、異なる時間に撮影した画像を比較すれば、各画像の撮影間隔と各画像に基づいて特定される移動体の位置とに基づいてその移動方向と速さとを検出することができる。むろん、移動体の位置を特定するための座標系は、上述の視線方向を定義する際の座標系との関連を定義できていればよく、異なる座標系でもよいし、同じ座標系であってもよい。

さらに、警告においては、移動体の存在を運転者に認識させることができればよく、音声案内，画像表示の他、振動等の手段によって移動体の存在を運転者に認識させる構成を採用可能である。警告領域は移動体の存在を警告すべき領域として予め設定しておけばよく、自車両から所定の距離にある領域の他、自車両の周囲に設定した特定の形状の領域等を警告領域とすることが可能である。

さらに、上述の実施形態においては、移動体が警告領域に存在し、かつ、自車両に接近している場合に警告する構成としていたが、単に移動体が警告領域に存在することをもって警告する構成であってもよい。この構成であれば、自車両と移動体との相対関係の時間変化を検出する必要がなくなるため、警告を行うか否かの処理負担を低減することができる。

運転支援装置を含むナビゲーション装置のブロック図である。 車内カメラと車外カメラとの配置例を示す説明図である。 運転支援処理のフローチャートである。 自車両と視線方向と移動体との例を説明するための説明図である。 警告処理のフローチャートである。

符号の説明

１０…ナビゲーション装置、２０…制御部、２１…ナビゲーションプログラム、２１ａ…ナビゲーション処理部、２１ａ１…自車両動作検出部、２１ｂ…音声検出部、２１ｃ…視線方向検出部、２１ｄ…画像情報取得部、２１ｅ…移動体動作検出部、２１ｆ…移動体警告部、３０…記憶媒体、３０ａ…地図情報、４０ａ…ＧＰＳ受信部、４０ｂ…車速センサ、４０ｃ…ジャイロセンサ、４１…マイク、４２…車内カメラ、４３…車外カメラ、４４…表示部、４５…スピーカー

Claims (8)

1. 自車両を運転する運転者の視線方向を検出する視線方向検出手段と、
   前記自車両の周囲の画像を示す画像情報を取得する画像情報取得手段と、
   前記画像情報に基づいて前記視線方向に存在する移動体を検出し、当該移動体の動作を検出する移動体動作検出手段と、
   前記移動体の動作に基づいて当該移動体が前記自車両の周囲に設定された警告領域に存在することを検出し、警告を行うための制御を行う移動体警告手段と、
   を備える運転支援装置。
2. 前記運転者の発する音声を示す音声情報を取得して前記移動体に対応する音声を検出する音声検出手段を備え、
   前記視線方向検出手段は、前記移動体に対応する音声を検出したときに前記視線方向を検出する、
   請求項１に記載の運転支援装置。
3. 前記移動体動作検出手段は、前記自車両の進行方向を含む所定範囲を除く範囲に含まれる前記視線方向に存在する移動体を検出する、
   請求項１または請求項２のいずれかに記載の運転支援装置。
4. 前記移動体動作検出手段は、前記運転者の視線方向に少なくとも一回存在したことが検出された移動体について動作を検出する、
   請求項１〜請求項３のいずれかに記載の運転支援装置。
5. 前記移動体動作検出手段は、異なる時間に取得した前記画像の画像情報を比較することによって前記移動体の動作を検出する、
   請求項１〜請求項４のいずれかに記載の運転支援装置。
6. 前記自車両の動作を検出する自車両動作検出手段を備え、
   前記移動体警告手段は、前記移動体の動作と前記自車両の動作とに基づいて、前記移動体と前記自車両との距離を検出し、前記移動体が前記警告領域内で自車両に近づいていることが検出されたときに前記警告を行う、
   請求項１〜請求項５のいずれかに記載の運転支援装置。
7. 自車両を運転する運転者の視線方向を検出する視線方向検出工程と、
   前記自車両の周囲の画像を示す画像情報を取得する画像情報取得工程と、
   前記画像情報に基づいて前記視線方向に存在する移動体を検出し、当該移動体の動作を検出する移動体動作検出工程と、
   前記移動体の動作に基づいて当該移動体が前記自車両の周囲に設定された警告領域に存在することを検出し、警告を行うための制御を行う移動体警告工程と、
   を含む運転支援方法。
8. 自車両を運転する運転者の視線方向を検出する視線方向検出機能と、
   前記自車両の周囲の画像を示す画像情報を取得する画像情報取得機能と、
   前記画像情報に基づいて前記視線方向に存在する移動体を検出し、当該移動体の動作を検出する移動体動作検出機能と、
   前記移動体の動作に基づいて当該移動体が前記自車両の周囲に設定された警告領域に存在することを検出し、警告を行うための制御を行う移動体警告機能と、
   をコンピュータに実現させる運転支援プログラム。

Images