JP7185571B2

JP7185571B2 - 視認方向推定装置、視認方向推定方法、およびプログラム

Info

Publication number: JP7185571B2
Application number: JP2019054401A
Authority: JP
Inventors: 伸洋水野; 顕吉澤; 哲洋林
Original assignee: Denso Corp; Denso IT Laboratory Inc
Current assignee: Denso Corp; Denso IT Laboratory Inc
Priority date: 2019-03-22
Filing date: 2019-03-22
Publication date: 2022-12-07
Anticipated expiration: 2039-03-22
Also published as: JP2020154947A

Description

本発明は、運転者が視認している方向を推定する技術に関する。

従来から、自動車の運転中に運転者が視認した対象を検知する装置が知られている。例えば、特許文献１は、運転者の顔向きと視線とに基づいて運転者が視認した領域を推定する発明を開示している。

特許文献１に記載された発明は、太陽光やイルミネーション等の光源の影響やメガネ等の影響により、運転者の眼球の位置が検出できないときに、視認領域の推定が困難になることを課題としている。特許文献１では、運転者の顔が所定の方向を見ている滞留時間が所定の時間を超えたときに、顔向きから求められる暫定方向を補正して視認領域を推定する発明において、推定に用いる補正値を工夫したものである。

特開２０１５－１０２４９８号公報

顔向きと視線とに基づいて運転者が視認した領域を推定する場合、顔向きと視線を検知するデバイスの設置位置や台数の制限から、顔向きに比べると視線の検知範囲の方が狭くなる。一方、検知範囲の広い顔向きに関しては、運転者は、追突を避けるために注視対象の変更に素早く対応するために、スピードメーターやバックミラーを見る時は、顔をほとんど動かさず、目だけを動かすことが、本発明者らのこれまでの研究からわかっている。

上記した特許文献１では、顔向きから視認領域を推定している。特許文献１では、基本的には、人の動作の傾向に基づいて顔向きから視認領域を推定している。特許文献１では、車速の情報を考慮することも記載しているが、物体を視認するために顔を動かす量は、車両の走行速度と線形の関係にあるわけではない。例えば、前方に注意すべき物体がある場合には、車両速度の大きさにかかわらず、前方から注意をそらすことはできない。逆に、例えば、車線変更する際には、車両の走行速度にかかわらず、側方や後方を確実に確認しなければならない。

本発明は、上記背景に鑑み、運転者が視認している対象を適切に検知できる新規な視認方向推定装置を提供することを目的とする。

本発明の視認方向推定装置は、車両の周辺にある移動物体を検知する周辺監視センサおよび車両に搭載された車載機器と通信する通信部と、前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定する運転シーン特定部と、運転者を撮影するカメラと、前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、運転者の視線または顔向きから運転者が視認している方向を推定する視認方向推定部と、前記視認方向推定部にて推定した視認方向を示す情報を出力する出力部とを備え、前記視認方向推定部は、前記視線検知部にて検知された視線が所定の角度以上のときに、前記顔向き検知部にて検知された顔向きと、前記運転シーン特定部にて特定された前記運転シーンとに基づいて、視認方向を推定する。

本発明者らは、運転者が側方を見る際に運転シーン（すなわち車両または車両周辺の状況）によって、運転者が顔を動かす度合いが異なることを見出した。本発明によれば、顔向きから視認方向を推定する際に、顔向きに加えて運転シーンに基づくことで、視認方向の推定精度を高めることができる。また、視線が所定の角度以上ではないとき、すなわち、正面に近い方向を向いているときには、視線を用いて精度良く視認方向を推定できる。

ここで、角度は、運転者の正面方向を０°として、視線を水平方向（パン方向）へ振った角度で規定される。例えば、正面から右〇〇°、左〇〇°と規定してもよいし、右を正の角度、左を負の角度によって規定してもよい。ただし、右を正、左を負とする場合には、「所定の角度以上」か否かの判断は、絶対値を用いて判断する。

本発明の別の態様の視認方向推定装置は、車両の周辺にある移動物体を検知する周辺監視センサおよび車両に搭載された車載機器と通信する通信部と、前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定する運転シーン特定部と、運転者を撮影するカメラと、前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、運転者の視線または顔向きから運転者が視認している方向を推定する視認方向推定部と、前記視認方向推定部にて推定した視認方向を示す情報を出力する出力部とを備え、前記視認方向推定部は、前記視線検知部による視線検知の精度が所定の閾値以下のときに、前記顔向き検知部にて検知された顔向きと、前記運転シーン特定部にて特定された前記運転シーンとに基づいて、視認方向を推定する。

このように視線検知が行えている間は視線から視認方向を推定し、視線検知の精度が所定の閾値以下のときに、顔向きから視認方向を推定する。このときに、顔向きに加えて運転シーンに基づくことで視認方向の推定精度を高めることができる。

前記視認方向推定部は、前記所定の角度の範囲内に前記移動物体がある運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、前記所定の角度の範囲内に前記移動物体がない運転シーンにおいては、前記顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい構成としてもよい。

所定の角度の範囲内に移動物体がある場合には、当該方向へ注意する必要があるので、側方を視認する際に顔を動かさない傾向があると考えられる。本発明によれば、所定の角度の範囲内に移動物体があるかないかの状況を踏まえ、顔向きから適切に視認方向を推定することができる。なお、移動物体があるか否かは、周辺監視センサの一例である車外カメラにて撮影した車両周辺の映像を画像処理することで移動物体の有無を判定できる。

前記視認方向推定部は、車両が直進している運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、車両が直進していない運転シーンにおいては、顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい構成としてもよい。

車両が直進している場合には、運転者は前方を見る傾向があると考えられる。本発明によれば、車両が直進しているか否かの状況を踏まえ、顔向きから適切に視認方向を推定することができる。なお、車両が直進しているか否かは、車両機器の一例であるステアリングの角度センサからのデータに基づいて検知することができる。

前記視認方向推定部は、車両前方の所定範囲の道路に対する視線が遮られる見通しの良くない運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、見通しが良い運転シーンにおいては、顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい構成としてもよい。

見通しが良くない運転シーンでは、自転車や歩行者の飛び出し等に注意すべく運転者は前方を見る傾向があると考えられる。本発明によれば、見通しが良いか否かの状況を踏まえ、顔向きから適切に視認方向を推定することができる。なお、車両前方の所定範囲の道路に対する視線が遮られる見通しの良くない運転シーンとは、例えば、路肩に駐車している車両がある、カーブしている道路における道路の両脇に建物やブロック塀がある、あるいは交差点などにおいて左右の見通しを遮る建物やブロック塀がある状況である。また、霧や雨の状況や、夜に街灯のない道路を走る状況も見通しが悪い状況である。なお、見通しが良いか否かは、周辺監視センサの一例である車外カメラにて撮影した車両周辺の映像を画像処理することで、見通しの良し悪しに関する基準に該当するか否かにより判定できる。

前記視認方向推定部は、車両が移動している運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、車両が停止している運転シーンにおいては、前記顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい構成としてもよい。

車両が停止しているときには車両が何かに衝突するおそれがないので、目だけではなく、顔を動かして視認する傾向がある。本発明によれば、車両が停止しているか移動しているかを踏まえ、顔向きから適切に視認方向を推定することができる。なお、「停止」とは、車両がエンジンを切っている状態だけでなく、エンジンを入れているが信号や横断歩道で一時停止している状態を含む。なお、車両が移動しているか停止しているか否かは、車両機器の一例である速度センサからのデータに基づいて検知することができる。

本発明の視認方向推定方法は、車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、車両に搭載された車載機器からデータを取得するステップと、前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、カメラにて運転者を撮影するステップと、前記カメラにて撮影した画像から運転者の顔向きを検知するステップと、前記カメラにて撮影した画像から運転者の視線を検知するステップと、運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、推定した視認方向を示す情報を出力するステップとを備え、前記視認方向を推定するステップは、検知された視線が所定の角度以上のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定する。

本発明の別の態様の視認方向推定方法は、車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、車両に搭載された車載機器からデータを取得するステップと、前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、カメラにて運転者を撮影するカメラするステップと、前記カメラにて撮影した画像から運転者の顔向きを検知するステップと、前記カメラにて撮影した画像から運転者の視線を検知するステップと、運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、推定した視認方向を示す情報を出力するステップとを備え、前記視認方向を推定するステップは、視線検知の精度が所定の閾値以下のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定する。

本発明のプログラムは、運転者の視認方向を推定するためのプログラムであって、コンピュータに、車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、車両に搭載された車載機器からデータを取得するステップと、前記周辺監視センサから取得したデータまたは前記車載機器から取得したデータに基づいて運転シーンを特定するステップと、カメラにて撮影した画像を取得するステップと、前記画像から運転者の顔向きを検知するステップと、前記画像から運転者の視線を検知するステップと、運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、推定した視認方向を示す情報を出力するステップとを実行させ、前記視認方向を推定するステップは、検知された視線が所定の角度以上のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定させる。

本発明の別の態様のプログラムは、運転者の視認方向を推定するためのプログラムであって、コンピュータに、車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、車両に搭載された車載機器からデータを取得するステップと、前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、カメラにて撮影した画像を取得するステップと、前記画像から運転者の顔向きを検知するステップと、前記画像から運転者の視線を検知するステップと、運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、推定した視認方向を示す情報を出力するステップとを実行させ、前記視認方向を推定するステップは、視線検知の精度が所定の閾値以下のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定させる。

本発明によれば、顔向きから視認方向を推定する際に、顔向きに加えて運転シーンに基づくことで、視認方向の推定精度を高めることができる。

実施の形態の視認方向推定装置の構成を示す図である。（ａ）運転シーンと補正の関係を示す図である。（ｂ）運転シーン補正テーブルの例を示す図である。運転シーン別に、顔向きと視線方向との関係を計測した結果を示す図である。第１の実施の形態の視認方向推定装置の動作を示す図である。第２の実施の形態の視認方向推定装置の動作を示す図である。

以下、本発明の実施の形態の視認方向推定装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の視認方向推定装置１の構成を示す図である。視認方向推定装置１は、自動車の運転者が視認している方向を推定する装置である。視認方向推定装置１にて、視認方向を検知することにより、運転者が脇見をしていないかどうか、例えば、車線変更や右左折をするときに運転者が適切な安全行動をとったかどうかを判断することができる。

第１の実施の形態の視認方向推定装置１は、車両に備えられた周辺監視センサ２０や車載機器２１と接続されている。周辺監視センサ２０は、車両周辺を撮影するカメラ１０、ＬＩＤＡＲ、超音波センサ等である。車載機器２１は、走行速度や加速度を検知するセンサ、ステアリングの角度を検知するセンサ、ブレーキペタルの踏み込み量を検知するセンサ、現在位置を検出するＧＰＳ等である。周辺監視センサ２０および車載機器２１のいずれも、ここで列挙した装置に限定されるものではない。

第１の実施の形態の視認方向推定装置１は、カメラ１０と、顔向き検知部１１と、視線検知部１２と、通信部１３と、運転シーン特定部１４と、視認方向推定部１５と、運転シーン補正テーブル１６と、出力部１７とを備えている。

カメラ１０は近赤外線カメラであり、車室内が暗くなっても安定して運転者を撮影することができる。カメラ１０は、運転者を正面から撮影する位置、例えば、メーターバイザーの下に搭載される。株式会社デンソーが開発した「ドライバーステータスモニタ」のカメラを用いることとしてもよい。

顔向き検知部１１は、カメラ１０にて撮影した運転者の顔画像に基づいて、運転者の顔向きを検知する機能を有する。視線検知部１２は、カメラ１０にて撮影した運転者の目の画像から運転者の視線を検知する機能を有する。視線検知部１２は、運転者の黒目の向いている方向を検知することで運転者の顔に対する視線の方向に、運転者の顔の向きを加味して、運転者の視線がどの方向を向いているかを検知する。

視認方向推定部１５は、運転者の顔向きおよび視線に基づいて、運転者が視認している対象物を推定する機能を有する。視認方向推定部１５は、運転者の視線が所定の角度より小さいときには、視線に基づいて視認対象を推定する。所定の角度は、視認方向推定に、顔向きデータを用いるかどうかを切り替える閾値であり、この閾値は車両に設置されている顔向き検知部１１、視線検知部１２の性能や設置位置によって適切に定められる。本実施の形態において、所定角度は４０°である。

視認方向推定部１５は、運転者の視線が所定の角度以上のときには、顔向きと運転シーンとに基づいて視認方向を推定する。視認方向推定装置１は、顔向きから視認方向を推定する。具体的には、顔向きの角度を視認方向とみなす推定をするか、あるいは顔向きの角度から角度を増加させる補正を行い、視認方向を推定する。顔向きの角度から角度を増加させるのは、人は、側方を視認する際には顔の動きに加えて目を動かすので、視認方向は顔の角度よりも大きくなる傾向があるからである。また、視認方向推定部１５は、運転シーンによって推定の仕方を変える。

図２（ａ）は、顔向きから視認方向を推定する考え方を示す図である。図２（ａ）では運転シーンとして５つの例を示している。第１の例では、（Ａ）前方に、例えば、前方車両や横断者等の移動物体があるか、（Ｂ）移動物体がないかという観点で運転シーンを判定し、各運転シーンに応じて補正を行う。具体的には、前方に移動物体がある場合には、顔向きの角度を補正せずにそのまま視認方向とするかあるいは角度を大きくする補正を行う。逆に、前方に移動物体がない場合には、前方に移動物体がある場合よりも顔向きの角度を大きくする補正を行う。

第２の例では、（Ａ）車両が直進している、（Ｂ）直進していない、のいずれの運転シーンであるかを判定し、直進しているときの方が直進していないときよりも補正の程度を小さくする。第３の例では、（Ａ）見通しが悪い、（Ｂ）見通しが良い、のいずれの運転シーンかを判定し、見通しが悪いときの方が見通しが良いときよりも補正の程度を小さくする。ここで、見通しの良し悪しは、所定の基準によって規定することができる。一例としては、車両前方の所定範囲（例えば、前方５０ｍ、左右４０°の範囲）にある道路に対する視線を遮る建物や街路樹などの物体がある場合には見通しが悪いと判定し、そうした物体がない場合には見通しが良いと判定することができる。道路に対する視線を遮るのは、物体だけではなく、霧や雨などによって視界を遮られている場合、あるいは、街灯のない道路を夜に走行する場合等も見通しが悪いと判定してもよい。要するに、「見通しが悪い」とは、車両や人の出現に気が付きにくい状況である。

第４の例では、（Ａ）車両が移動中、（Ｂ）停止中、のいずれの運転シーンかを判定し、移動中のときの方が停止中のときよりも補正の程度を小さくする。第５の例では、（Ａ）道路のガードレールがある、（Ｂ）ガードレールがない、のいずれの運転シーンかを判定し、ガードレールがないときの方がガードレールがあるときよりも補正の程度を小さくする。図２（ａ）では、５つの例を示したが、視認方向推定装置１が適用し得る運転シーンは図２（ａ）で示す例に限定されない。例えば、運転シーンとして昼夜の別を用いてもよい。

図２（ａ）にいくつかの運転シーンの分類例を示したが、これらをより広い概念で総括すると、（Ａ）運転者が前方に深い注意を払うべき運転シーン、（Ｂ）比較的安全と考えられるか特に周囲に注意を払うべき運転シーン、に大別できる。（Ａ）は注意していないと事故が起きやすい運転シーンと言ってもよい。（Ａ）運転者が前方に深い注意を払うべき運転シーンにおいては、顔向きと視認方向の乖離が小さく、小さい補正で視認方向を推定でき、（Ｂ）比較的安全と考えられる運転シーンでは、顔向きと視認方向の乖離が大きく、大きい補正で視認方向を推定するということがいえる。

なお、図２（ａ）に示した各例において、（Ａ）のシーンでは、いずれも「補正なし、又は小さい補正」、（Ｂ）のシーンでは、「大きい補正」と記載しているが、これは５つの例のいずれにおいても同じ補正を行うという意味ではない。図２（ａ）は顔向きから視認方向の推定の考え方を示すものであり、（Ｂ）のシーンより（Ａ）のシーンの方が補正が小さいということを説明するものである。具体的な補正量は各シーンによって異なることは言うまでもない。

視認方向推定部１５は、運転シーン補正テーブル１６に接続されている。運転シーン補正テーブル１６は、図２（ａ）に示す考え方に基づき、運転シーンごとの適切な補正量を記憶している。この補正量は、顔向きの角度と視線の角度とを運転シーンごとに計測した結果に基づき、生成する。

図３は、移動物体があるときと移動物体がないときというそれぞれの運転シーンにおいて、顔向きと視線方向との関係を計測した結果を示す図である。図３に示すように、移動物体がないときには、視線方向と顔向きは比例に近い関係にある。これに対し、前方に移動物体があるときには、運転者は、側方を見る際にもあまり顔を動かしていないことが分かる。これは上述したとおり、前方に移動物体がある場合には、前方に深い注意を払わなくてはならないので、前方に顔向きが固定されるからと考えられる。

本実施の形態では、図３に点線で示しているように、視線方向が正面から左右に４０°の範囲は、視線方向の検出可能範囲であるとして、視線検知部１２による視線の検知結果に基づいて視認方向を推定する。運転者は、正面から左右に４０°以上の方向を見る場合には顔を動かすことが多く、視線のデータを検知できなくなる傾向があるので、視線方向が左右に４０°以上となった場合に、顔向きから視認方向を推定する。

なお、図３では、移動物体があるときと移動物体がないときという運転シーンの違いについて、顔向きと視線方向の計測結果を示したが、車両が直進しているときとそうでないときという運転シーンの違い（図２（ａ）の例２）、見通しの良し悪しという運転シーンの違い（図２（ａ）の例３）、車両が移動中か停止中かという運転シーンの違い（図２（ａ）の例４）、ガードレールの有無という運転シーンの違い（図２（ａ）の例５）についても、運転シーンの違いにより、顔向きと視線方向との関係性が異なってくることが確認された。

図２（ｂ）は、運転シーン補正テーブル１６の例を示す図である。この例では、移動物体があるシーンにおいては、顔向きに対して２０°を加算した角度を視認方向として推定とする。移動物体がないシーンにおいては、顔向きに対して４０°を加算した角度を視認方向として推定する。ここでは、顔向きの角度に対して所定の角度を加算することで補正を行う例を挙げたが、補正の仕方は定数を加算する方法に限られず、顔向きの角度に応じた変数を加算してもよいし、顔向きの角度に何らかの変数を乗じてもよい。具体的にどのような補正が適切かは、図３に示すような計測結果をもとに、顔向きの角度と視認方向との関係性に基づいて求めればよい。

視認方向推定部１５は、視線方向が４０°以上の場合には、運転シーン補正テーブルから運転シーンに対応する補正の情報を読み出し、運転シーンに応じて顔向きの角度を補正して運転者の視認方向を推定する。出力部１７は、視認方向推定部１５にて推定された視認方向を示すデータを、脇見判定装置等の運転支援装置に対して出力する。

以上、本実施の形態の視認方向推定装置１の構成について説明したが、上記した視認方向推定装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した顔向き検知部１１、視線検知部１２、運転シーン特定部１４と、視認方向推定部１５の各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した視認方向推定装置１の機能が実現される。このようなプログラムも本発明の範囲に含まれる。また、出力部１７の一例は、通信インターフェースである。

図４は、第１の実施の形態の視認方向推定装置１の動作を示す図である。第１の実施の形態の視認方向推定装置１は、周辺監視センサ２０および車載機器２１からデータを受信する（Ｓ１０）。また、視認方向推定装置１は、カメラ１０によって運転者を撮影する（Ｓ１２）。続いて、視認方向推定装置１は、撮影で得られた画像に基づいて、顔向き検知部１１にて運転者の顔向きを検知すると共に、視線検知部１２にて運転者の視線を検知する（Ｓ１４）。

顔向き検知部１１および視線検知部１２は、顔向きデータおよび視線データを視認方向推定部１５に渡す。視認方向推定部１５は、視線データに基づいて、視線方向が所定の角度（本例では４０°）以上であるか否かを判定する（Ｓ１６）。視線方向が所定の角度以上ではないと判定された場合には（Ｓ１６でＮＯ）、視認方向推定部１５は、視線データに基づいて視認方向を推定する。

視線方向が所定の角度以上であると判定された場合には（Ｓ１６でＹＥＳ）、運転シーン推定部は、周辺監視センサ２０のデータまたは車載機器２１のデータに基づいて運転シーンを特定する（Ｓ２０）。一例としては、周辺監視センサ２０の一つである車外撮影用のカメラ１０から取得した車外周辺の画像に基づいて、車両の前方に、先行車両や歩行者等の移動物体があるか否かという運転シーンを特定する。

次に、視認方向推定部１５は、運転シーン補正テーブル１６から運転シーンに対応する補正の情報を読み出し、運転者の顔向きデータに対して補正を行って、運転者の視認方向を推定する（Ｓ２２）。視認方向推定装置１は、推定した視認方向のデータを脇見運転の警報装置等の他の装置に対して出力する（Ｓ２４）。

以上、第１の実施の形態の視認方向推定装置１の構成および動作について説明した。第１の実施の形態の視認方向推定装置１は、視線方向が所定の角度以上ではないとき、すなわち、正面に近い角度を向いているときには、視線を用いて精度良く視認方向を推定できる。視線方向が所定の角度以上の場合には、顔向きに加えて運転シーンに基づいて視認方向を推定することにより、運転シーンによる顔向きの動きの違いにかかわらず、適切に視認方向を推定できる。

先行文献１では、人の動作の傾向に基づいて、顔の角速度レベルや滞留時間、顔方向ゾーン等の情報から視認方向を推定する方法を採用しているが、本実施の形態の視認方向推定装置１は、運転シーンに着目するという全く異なるアプローチにより、顔向きから視認方向を精度良く推定する。

（第２の実施の形態）
次に、第２の実施の形態の視認方向推定装置について説明する。第２の実施の形態の視認方向推定装置の基本的な構成は第１の実施の形態と同じであるが（図１参照）、視認方向推定部１５が、視認方向の推定に視線データを用いるか顔向きデータを用いるかの判定の処理が異なる。

図５は、第２の実施の形態の視認方向推定装置の動作を示す図である。第２の実施の形態の視認方向推定装置は、周辺監視センサ２０および車載機器２１からデータを受信する（Ｓ１０）。また、視認方向推定装置は、カメラ１０によって運転者を撮影する（Ｓ１２）。続いて、視認方向推定装置は、撮影で得られた画像に基づいて、顔向き検知部１１にて運転者の顔向きを検知すると共に、視線検知部１２にて運転者の視線を検知する（Ｓ１４）。この際、視線検知部１２は、視線の検知精度も測定する。視線の検知精度のデータとしては、運転者の視線を検知できたかどうかを示すフラグであってもよい。

顔向き検知部１１および視線検知部１２は、顔向きデータおよび視線データとその検知精度のデータを視認方向推定部１５に渡す。視認方向推定部１５は、視線の検知精度のデータが所定の閾値以上か否かを判定する（Ｓ１７）。視線の検知精度が所定の閾値より高いと判定された場合には（Ｓ１７でＮＯ）、視認方向推定部１５は、視線データに基づいて視認方向を推定する（Ｓ１８）。視線の検知精度が視線を検知できたかどうかのフラグである場合には、フラグが視線が検知できたことを示す値のときに、視線データに基づいて視認方向を推定する。

視線の検知精度が所定の閾値以下と判定された場合には（Ｓ１７でＹＥＳ）、運転シーン推定装置は、周辺監視センサ２０のデータまたは車載機器２１のデータに基づいて運転シーンを特定し（Ｓ２０）、顔向きデータと運転シーンに基づいて視認方向を推定する（Ｓ２２）。この処理は、第１の実施の形態の視認方向推定装置１と同じである。視認方向推定装置は、推定した視認方向のデータを脇見運転の警報装置等の他の装置に対して出力する（Ｓ２４）。

以上、第２の実施の形態の視認方向推定装置の構成及び動作について説明した。第２の実施の形態の視認方向推定装置は、視線の検知精度が所定の閾値より高いときには、視線を用いて精度良く視認方向を推定できる。視線の検知精度が所定の閾値以下のときには、顔向きに加えて運転シーンに基づいて視認方向を推定することにより、運転シーンによる顔向きの動きの違いにかかわらず、適切に視認方向を推定できる。

以上、本発明の視認方向推定装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。上記した実施の形態では、図２（ｂ）に示すように、運転シーンを前方に移動物体があるかないかという２つの場合に分けて、顔向きから視認方向の推定の仕方を変えたが、例えば、前方に先行車両がある場合、前方に歩行者がいる場合、前方に移動物体がない場合のように、３つに分けて補正の仕方を変えてもよい。もちろん、４つ以上に場合分けして補正の仕方を変えてもよい。

図２（ａ）では、運転シーンの５つの例を紹介したが、これらの運転シーンが重なる場合がある。例えば、見通しが悪い道路において前方に移動物体がある場合等である。このような場合にいずれの運転シーンに基づいて視認方向を推定するかを予め決定しておいてもよい。

Claims

車両の周辺にある移動物体を検知する周辺監視センサおよび車両に搭載された車載機器と通信する通信部と、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定する運転シーン特定部と、
運転者を撮影するカメラと、
前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
運転者の視線または顔向きから運転者が視認している方向を推定する視認方向推定部と、
前記視認方向推定部にて推定した視認方向を示す情報を出力する出力部と、
を備え、
前記視認方向推定部は、
前記視線検知部にて検知された視線が所定の角度以上のときに、前記顔向き検知部にて検知された顔向きと、前記運転シーン特定部にて特定された前記運転シーンとに基づいて、視認方向を推定し、所定の角度の範囲内に前記移動物体がある運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、前記所定の角度の範囲内に前記移動物体がない運転シーンにおいては、前記顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい視認方向推定装置。
車両の周辺にある移動物体を検知する周辺監視センサおよび車両に搭載された車載機器と通信する通信部と、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定する運転シーン特定部と、
運転者を撮影するカメラと、
前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
運転者の視線または顔向きから運転者が視認している方向を推定する視認方向推定部と、
前記視認方向推定部にて推定した視認方向を示す情報を出力する出力部と、
を備え、
前記視認方向推定部は、
前記視線検知部による視線検知の精度が所定の閾値以下のときに、前記顔向き検知部にて検知された顔向きと、前記運転シーン特定部にて特定された前記運転シーンとに基づいて、視認方向を推定し、所定の角度の範囲内に前記移動物体がある運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、前記所定の角度の範囲内に前記移動物体がない運転シーンにおいては、前記顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい視認方向推定装置。
車両の周辺にある移動物体を検知する周辺監視センサおよび車両に搭載された車載機器と通信する通信部と、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定する運転シーン特定部と、
運転者を撮影するカメラと、
前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
運転者の視線または顔向きから運転者が視認している方向を推定する視認方向推定部と、
前記視認方向推定部にて推定した視認方向を示す情報を出力する出力部と、
を備え、
前記視認方向推定部は、
前記視線検知部にて検知された視線が所定の角度以上のときに、前記顔向き検知部にて検知された顔向きと、前記運転シーン特定部にて特定された前記運転シーンとに基づいて、視認方向を推定し、車両が直進している運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、車両が直進していない運転シーンにおいては、顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい視認方向推定装置。
車両の周辺にある移動物体を検知する周辺監視センサおよび車両に搭載された車載機器と通信する通信部と、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定する運転シーン特定部と、
運転者を撮影するカメラと、
前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
運転者の視線または顔向きから運転者が視認している方向を推定する視認方向推定部と、
前記視認方向推定部にて推定した視認方向を示す情報を出力する出力部と、
を備え、
前記視認方向推定部は、
前記視線検知部による視線検知の精度が所定の閾値以下のときに、前記顔向き検知部にて検知された顔向きと、前記運転シーン特定部にて特定された前記運転シーンとに基づいて、視認方向を推定し、車両が直進している運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、車両が直進していない運転シーンにおいては、顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい視認方向推定装置。
車両の周辺にある移動物体を検知する周辺監視センサおよび車両に搭載された車載機器と通信する通信部と、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定する運転シーン特定部と、
運転者を撮影するカメラと、
前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
運転者の視線または顔向きから運転者が視認している方向を推定する視認方向推定部と、
前記視認方向推定部にて推定した視認方向を示す情報を出力する出力部と、
を備え、
前記視認方向推定部は、
前記視線検知部にて検知された視線が所定の角度以上のときに、前記顔向き検知部にて検知された顔向きと、前記運転シーン特定部にて特定された前記運転シーンとに基づいて、視認方向を推定し、車両前方の所定範囲の道路に対する視線が遮られる見通しの良くない運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、見通しが良い運転シーンにおいては、顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい視認方向推定装置。
車両の周辺にある移動物体を検知する周辺監視センサおよび車両に搭載された車載機器と通信する通信部と、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定する運転シーン特定部と、
運転者を撮影するカメラと、
前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
運転者の視線または顔向きから運転者が視認している方向を推定する視認方向推定部と、
前記視認方向推定部にて推定した視認方向を示す情報を出力する出力部と、
を備え、
前記視認方向推定部は、
前記視線検知部による視線検知の精度が所定の閾値以下のときに、前記顔向き検知部にて検知された顔向きと、前記運転シーン特定部にて特定された前記運転シーンとに基づいて、視認方向を推定し、車両前方の所定範囲の道路に対する視線が遮られる見通しの良くない運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、見通しが良い運転シーンにおいては、顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい視認方向推定装置。
車両の周辺にある移動物体を検知する周辺監視センサおよび車両に搭載された車載機器と通信する通信部と、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定する運転シーン特定部と、
運転者を撮影するカメラと、
前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
運転者の視線または顔向きから運転者が視認している方向を推定する視認方向推定部と、
前記視認方向推定部にて推定した視認方向を示す情報を出力する出力部と、
を備え、
前記視認方向推定部は、
前記視線検知部にて検知された視線が所定の角度以上のときに、前記顔向き検知部にて検知された顔向きと、前記運転シーン特定部にて特定された前記運転シーンとに基づいて、視認方向を推定し、車両が移動している運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、車両が停止している運転シーンにおいては、前記顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい視認方向推定装置。
車両の周辺にある移動物体を検知する周辺監視センサおよび車両に搭載された車載機器と通信する通信部と、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定する運転シーン特定部と、
運転者を撮影するカメラと、
前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
運転者の視線または顔向きから運転者が視認している方向を推定する視認方向推定部と、
前記視認方向推定部にて推定した視認方向を示す情報を出力する出力部と、
を備え、
前記視認方向推定部は、
前記視線検知部による視線検知の精度が所定の閾値以下のときに、前記顔向き検知部にて検知された顔向きと、前記運転シーン特定部にて特定された前記運転シーンとに基づいて、視認方向を推定し、車両が移動している運転シーンにおいては、前記顔向き検知部にて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、車両が停止している運転シーンにおいては、前記顔向き検知部にて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さい視認方向推定装置。
運転者の視認方向を推定するためのプログラムであって、コンピュータに、
車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、
車両に搭載された車載機器からデータを取得するステップと、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、
カメラにて撮影した画像を取得するステップと、
前記画像から運転者の顔向きを検知するステップと、
前記画像から運転者の視線を検知するステップと、
運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、
推定した視認方向を示す情報を出力するステップと、
を実行させ、
前記視認方向を推定するステップは、検知された視線が所定の角度以上のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定させ、所定の角度の範囲内に前記移動物体がある運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、前記所定の角度の範囲内に前記移動物体がない運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さいものとするプログラム。
運転者の視認方向を推定するためのプログラムであって、コンピュータに、
車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、
車両に搭載された車載機器からデータを取得するステップと、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、
カメラにて撮影した画像を取得するステップと、
前記画像から運転者の顔向きを検知するステップと、
前記画像から運転者の視線を検知するステップと、
運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、
推定した視認方向を示す情報を出力するステップと、
を実行させ、
前記視認方向を推定するステップは、視線検知の精度が所定の閾値以下のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定させ、所定の角度の範囲内に前記移動物体がある運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、前記所定の角度の範囲内に前記移動物体がない運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さいものとするプログラム。
運転者の視認方向を推定するためのプログラムであって、コンピュータに、
車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、
車両に搭載された車載機器からデータを取得するステップと、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、
カメラにて撮影した画像を取得するステップと、
前記画像から運転者の顔向きを検知するステップと、
前記画像から運転者の視線を検知するステップと、
運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、
推定した視認方向を示す情報を出力するステップと、
を実行させ、
前記視認方向を推定するステップは、検知された視線が所定の角度以上のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定させ、車両が直進している運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、車両が直進していない運転シーンにおいては、顔向きを検知するステップにて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さいものとするプログラム。
運転者の視認方向を推定するためのプログラムであって、コンピュータに、
車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、
車両に搭載された車載機器からデータを取得するステップと、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、
カメラにて撮影した画像を取得するステップと、
前記画像から運転者の顔向きを検知するステップと、
前記画像から運転者の視線を検知するステップと、
運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、
推定した視認方向を示す情報を出力するステップと、
を実行させ、
前記視認方向を推定するステップは、視線検知の精度が所定の閾値以下のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定させ、車両が直進している運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、車両が直進していない運転シーンにおいては、顔向きを検知するステップにて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さいものとするプログラム。
運転者の視認方向を推定するためのプログラムであって、コンピュータに、
車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、
車両に搭載された車載機器からデータを取得するステップと、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、
カメラにて撮影した画像を取得するステップと、
前記画像から運転者の顔向きを検知するステップと、
前記画像から運転者の視線を検知するステップと、
運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、
推定した視認方向を示す情報を出力するステップと、
を実行させ、
前記視認方向を推定するステップは、検知された視線が所定の角度以上のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定させ、車両前方の所定範囲の道路に対する視線が遮られる見通しの良くない運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、見通しが良い運転シーンにおいては、顔向きを検知するステップにて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さいものとするプログラム。
運転者の視認方向を推定するためのプログラムであって、コンピュータに、
車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、
車両に搭載された車載機器からデータを取得するステップと、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、
カメラにて撮影した画像を取得するステップと、
前記画像から運転者の顔向きを検知するステップと、
前記画像から運転者の視線を検知するステップと、
運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、
推定した視認方向を示す情報を出力するステップと、
を実行させ、
前記視認方向を推定するステップは、視線検知の精度が所定の閾値以下のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定させ、車両前方の所定範囲の道路に対する視線が遮られる見通しの良くない運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、見通しが良い運転シーンにおいては、顔向きを検知するステップにて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さいものとするプログラム。
運転者の視認方向を推定するためのプログラムであって、コンピュータに、
車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、
車両に搭載された車載機器からデータを取得するステップと、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、
カメラにて撮影した画像を取得するステップと、
前記画像から運転者の顔向きを検知するステップと、
前記画像から運転者の視線を検知するステップと、
運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、
推定した視認方向を示す情報を出力するステップと、
を実行させ、
前記視認方向を推定するステップは、検知された視線が所定の角度以上のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定させ、車両が移動している運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、車両が停止している運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さいものとするプログラム。
運転者の視認方向を推定するためのプログラムであって、コンピュータに、
車両の周辺にある移動物体を検知する周辺監視センサからデータを取得するステップと、
車両に搭載された車載機器からデータを取得するステップと、
前記周辺監視センサのデータまたは前記車載機器のデータに基づいて運転シーンを特定するステップと、
カメラにて撮影した画像を取得するステップと、
前記画像から運転者の顔向きを検知するステップと、
前記画像から運転者の視線を検知するステップと、
運転者の視線または顔向きから運転者が視認している視認方向を推定するステップと、
推定した視認方向を示す情報を出力するステップと、
を実行させ、
前記視認方向を推定するステップは、視線検知の精度が所定の閾値以下のときに、運転者の顔向きと当該顔向きを検知したときの前記運転シーンとに基づいて、視認方向を推定させ、車両が移動している運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きを視認方向とするかまたは顔向きに対して第１の補正を行って視認方向とし、車両が停止している運転シーンにおいては、前記顔向きを検知するステップにて検知された顔向きに対して第２の補正を行って視認方向とし、前記第１の補正がされた視認方向の角度は前記第２の補正がされた視認方向よりも角度が小さいものとするプログラム。