JP6587776B1 - 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 - Google Patents

Abstract

車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示制御方法において、車両の周辺に位置する注意対象に関する検出情報に基づいて危険度を算出し、算出された危険度に基づいて複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせ、算出された危険度に基づいて音声出力装置に注意喚起音を発生させる。注意喚起音として、注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる。運転者の視線を、注視すべき情報を表示している表示器に速やかに向けさせることができ、運転者に、認識すべき情報を迅速に与えることができる。

Description

本発明は情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体に関する。

車両の運転操作の支援のための情報を表示する情報提示装置が知られている。近年車両用の表示器の電子化が進み、情報提示方法が多様化している。表示器の例としては電子インストルメントパネル、ヘッドアップディスプレイ、電子ミラーがある。これらの表示器を用いることで、運転に必要な情報を運転者に見やすく、わかりやすく提供することが可能である。ここで言う運転に必要な情報には、接近している他の車両を示す映像が含まれる。一方、提供される情報の増加に伴い、運転者は複数の情報の中でどの情報が、緊急に認識すべき情報であるかを判断することが困難で、運転操作に支障を来たす可能性がある。

電子インストルメントパネル上に表示されている複数の映像のうち、運転者に対して注視させるべき注視映像を選択し、運転者の視線を注視映像に誘導するようマーカを移動させて表示させるとともに、マーカの移動位置に対応した定位の音を再生可能な再生手段を備えた車両表示器が提案されている（特許文献１）。

特開２０１２−１１３６７２号公報（段落００１４、００２０、図４） 特許第５９３００６７号明細書 特許第６３８１７３６号明細書 特許第６２８９７８８号明細書

特許文献１では、ディスプレイ上に表示されるマーカを用いて視線誘導を行っており、目的の映像に視線が誘導されるのに時間を要する。また、マーカの位置が時々刻々変化することがあり、マーカの移動位置に対応した定位の音を再生することが困難である。

本発明の情報提示制御装置は、
車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示制御装置であって、
前記車両の周辺に位置する注意対象に関する検出情報に基づいて危険度を算出する情報解析部と、
前記車両の内部の状況を検出することで得られた情報に基づいて、運転者の状態を判定する搭乗者監視部と、
前記情報解析部で算出された危険度に基づいて前記複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせる映像処理部と、
前記情報解析部で算出された危険度に基づいて前記音声出力装置に注意喚起音を発生させる音声処理部とを有し、
前記音声処理部は、前記注意喚起音として、前記注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させ、
前記音声処理部は、前記搭乗者監視部による判定結果に基づいて、前記注意喚起音の出力を制御し、
前記車両の内部の状況を検出することで得られた情報が、カメラで運転者を撮像することで得られた情報を含み、
前記搭乗者監視部は、前記カメラで運転者を撮像することで得られた情報に基づき、運転者の顔の向き、又は視線の向きを解析し、前記情報解析部が前記危険度を算出した注意対象の接近に運転者が気付いているかを判断し、
前記音声処理部は、前記情報解析部が前記危険度を算出した注意対象であって、前記車両の周辺に位置する、危険度が大きい注意対象に運転者が既に気付いているのであれば、注意喚起音の発生を停止し、又は注意喚起音の音量を小さくする。

本発明の情報提示装置は、
車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示装置であって、
前記車両の周辺に位置する注意対象を検出する外部状況検出部と、
前記車両の内部の状況を検出して、検出情報を出力する内部状況検出部と、
前記外部状況検出部による検出で得られた前記注意対象に関する検出情報に基づいて危険度を算出し、算出された危険度に基づいて前記複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせ、算出された危険度に基づいて前記音声出力装置に注意喚起音を発生させる情報提示制御装置とを有し、
前記情報提示制御装置は、前記注意喚起音として、前記注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させ、
前記内部状況検出部は、運転者を撮像するカメラを有し、
前記情報提示制御装置は、前記内部状況検出部から出力された前記検出情報に基づいて、前記注意喚起音の出力を制御し、
前記内部状況検出部から出力された前記検出情報が、前記カメラで運転者を撮像することで得られた情報を含み、
前記情報提示制御装置は、前記カメラで運転者を撮像することで得られた情報に基づき、運転者の顔の向き、又は視線の向きを解析し、前記外部状況検出部が検出した注意対象の接近に運転者が気付いているかを判断し、
前記情報提示制御装置は、前記外部状況検出部が検出した注意対象であって、前記車両の周辺に位置する、危険度が大きい注意対象に運転者が既に気付いているのであれば、注意喚起音の発生を停止し、又は注意喚起音の音量を小さくする。

本発明によれば、運転者の視線を、注視すべき情報を表示している表示器に速やかに向けさせることができ、運転者に、認識すべき情報を迅速に与えることができる。

本発明の実施の形態１の情報提示装置を備えた運転支援装置の構成例を示す機能ブロック図である。 図１に示される運転支援装置が搭載された車両を示す概略図である。 図１に示される処理回路の機能をソフトウェアで実現するために用いられるコンピュータの構成例を示す機能ブロック図である。 図１に示される外部状況検出部の構成例を示す機能ブロック図である。 図４に示される撮像部を構成するカメラの撮像方向を示す概略図である。 図１に示される表示器群を構成する表示器の配置の一例を示す概略図である。 図６に示される表示器の各々の構成例を示す機能ブロック図である。 図１に示される音声出力装置の構成例を示す機能ブロック図である。 図１に示される処理回路の構成例を示す機能ブロック図である。 図９に示される処理回路の動作の一例を示すフローチャートである。 図１に示される情報提示装置の動作の例を概念的に示す図である。 図９に示される処理回路の動作の他の例を示すフローチャートである。 本発明の実施の形態２で用いられる処理回路の構成を示す機能ブロック図である。 本発明の実施の形態３の情報提示装置を備えた運転支援装置の構成例を示す機能ブロック図である。 図１４に示される内部状況検出部の構成例を示す機能ブロック図である。 図１４に示される処理回路の構成例を示す機能ブロック図である。

実施の形態１．
図１は、本発明の実施の形態１の情報提示装置を備えた運転支援装置１０の構成例を示す。
図示の運転支援装置１０は、例えば図２に示されるように、車両１０２に搭載されるものであり、外部状況検出部１と、車両情報取得部２と、処理回路３と、表示器群５と、音声出力装置６とを有する。外部状況検出部１と、車両情報取得部２と、処理回路３とで情報提示装置が構成されている。

図１に示される処理回路３は、情報提示装置の制御部としての機能を有するものであり、情報提示制御装置とも呼ばれる。
処理回路３の機能は、ハードウェアで実現することもできるが、ソフトウェアで、即ちプログラムされたコンピュータで実現することもできる。ソフトウェアで実現する場合に用いられるコンピュータの構成例を図３に示す。図３のプロセッサ３１とプログラムメモリ３２とで図１の処理回路３が構成されており、プロセッサ３１がプログラムメモリ３２に記憶されたプログラムに従って動作を行うことで図１の処理回路３として動作する。

処理回路３は、記憶装置４に接続されている。
記憶装置４は、ＨＤＤ（ハードウェアドライブ）、ＳＳＤ（ソリッドステートドライブ）等で構成されていても良い。記憶装置４は、処理回路３に直接接続されていても良く、ネットワークを介して接続されていても良い。

外部状況検出部１は、車両１０２の周辺の状況を表す情報を取得し、注意対象についての検出情報Ｄａを出力する。注意対象には、車両１０２の周辺に位置する他の車両、人、固定された構造物が含まれる。他の車両には、自動四輪車（乗用車、トラック、バス等）、自動二輪車、自転車が含まれる。「他の車両」との区別のため、運転支援装置１０が搭載されている車両１０２を「自車両」と言うことがある。

外部状況検出部１は、図４に示されるように、撮像部１１と、検知部１２と、通信器１３と、検知情報処理部１４とを有する。

撮像部１１は、車両１０２の周辺を撮像し、撮像により得られた映像を表す映像信号を出力する。撮像部１１は、車両１０２の周辺の複数の異なる方向の映像を取得する。撮像部１１は、例えば、それぞれ上記の複数の方向を撮像する複数のカメラを含む。
撮像部１１は、例えば、図５に示すように、車両１０２の右前方を撮像する第１のカメラ１１ａ、車両１０２の左前方を撮像する第２のカメラ１１ｂ、車両１０２の右後方を撮像する第３のカメラ１１ｃ、及び車両１０２の左後方を撮像する第４のカメラ１１ｄを含む。

検知部１２は、車両１０２の周辺に位置する注意対象を検知する。検知部１２は、例えば、ライダー（ＬＩＤＡＲ：Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ミリ波レーダー、超音波センサのいずれか一つ以上のものを含んでいても良い。検知部１２は、注意対象の存在を検出し、或いはこれらの注意対象までの距離を検出する。

通信器１３は、車両１０２の外部から提供される、他の車両に関する情報を受信する。他の車両に関する情報は、当該他の車両の位置並びに移動の方向及び速度を示す情報を含んでいても良い。車両１０２の外部からの提供は、他の車両からの直接の通信による提供であっても良く、基地局を介しての通信による提供であっても良い。

検知情報処理部１４は、撮像部１１での撮像で得られた映像を表す映像信号、検知部１２での検知で得られた情報、及び通信器１３で受信した情報に基づいて、検出情報Ｄａを生成して、出力する。

検知情報処理部１４から出力される検出情報Ｄａには、車両１０２の周辺の状況の映像を表す情報、車両１０２の周辺に位置する注意対象に関する情報が含まれる。そのような注意対象に関する情報には、当該注意対象までの距離を示す情報、当該注意対象の位置並びに移動の方向及び速度を示す情報が含まれていても良い。

車両情報取得部２は、車両１０２に関する情報（自車両情報）Ｄｂを取得する。自車両情報Ｄｂには、自車両の位置並びに移動の方向及び速度を示す情報が含まれていても良い。自車両の位置並びに自車両の移動の方向及び速度を示す情報は例えばナビゲーション・システムから得られるものであっても良い。

処理回路３は、外部状況検出部１から出力される検出情報Ｄａ、及び車両情報取得部２から出力される自車両情報Ｄｂに基づいて、表示器群５及び音声出力装置６を制御する。具体的には、映像信号Ｄｃを生成して表示器群５に供給することで表示器群５において表示される映像を制御し、音声信号Ｄｄを生成して音声出力装置６に供給することで音声出力装置６における音声出力を制御する。

表示器群５は、処理回路３により制御されて、映像を表示する。即ち、処理回路３が、表示器群５に映像信号Ｄｃを供給し、表示器群５は、処理回路３からの映像信号Ｄｃに応じて映像を表示する。
表示器群５で表示される映像は、例えば、外部状況検出部１により取得され、処理回路３で必要に応じて強調処理された映像である。

表示器群５は、例えば図６に示すように、ダッシュボード１０４上に設けられた第１乃至第４の表示器５ａ〜５ｄを備える。
第１乃至第４の表示器５ａ〜５ｄの各々（符号５ｉで表す）は、例えば図７に示すように、表示部５１と、該表示部５１における表示を制御する表示制御部５２とを有するものであっても良い。
表示器５ｉの表示制御部５２には、映像信号Ｄｃのうちの、表示器５１ｉの表示部５１で表示されるべき映像信号Ｄｃｉが供給される。

例えば、第１の表示器５ａは、車両１０２の右前方の映像を表示し、第２の表示器５ｂは、車両１０２の左前方の映像を表示し、第３の表示器５ｃは、車両１０２の右後方の映像を表示し、第４の表示器５ｄは、車両１０２の左後方の映像を表示する。

例えば、第１乃至第４の表示器５ａ〜５ｄは、第１乃至第４のカメラ１１ａ〜１１ｄに対応して設けられたものであり、それぞれ第１乃至第４のカメラ１１ａ〜１１ｄでの撮像で得られた映像を表示する。

第１の表示器５ａは、運転者から見て、車両１０２の右前方を見る方向、又はそれに近い方向に位置するように設けられているのが望ましい。
第２の表示器５ｂは、運転者から見て、車両１０２の左前方を見る方向、又はそれに近い方向に位置するように設けられているのが望ましい。

第３の表示器５ｃは、運転者から見て、右のサイドミラー１１２を見る方向、又はそれに近い方向に位置するように設けられているのが望ましい。右のサイドミラー１１２は、運転者が車両１０２の右後方の状況を確認する際に目視されるものである。
第４の表示器５ｄは、運転者から見て、左のサイドミラー１１４を見る方向、又はそれに近い方向に位置するように設けられているのが望ましい。左のサイドミラー１１４は、運転者が車両１０２の左後方の状況を確認する際に目視されるものである。

図６に示される例では、第１乃至第４の表示器５ａ〜５ｄは、ダッシュボード１０４上に右から、第３の表示器５ｃ、第１の表示器５ａ、第２の表示器５ｂ、第４の表示器５ｄの順に並べられている。

音声出力装置６は、処理回路３により制御されて、注意喚起音を出力する。即ち、処理回路３が、音声出力装置６に音声信号Ｄｄを供給し、音声出力装置６は、処理回路３からの音声信号Ｄｄに応じて注意喚起音を出力する。

注意喚起音は、第１乃至第４の表示器５ａ〜５ｄのうちのいずれを注視すべきかを認識させるものである。注意喚起音は、その仮想音源が第１乃至第４の表示器５ａ〜５ｄのいずれかの位置に定位されるように音像が制御されたものであり、仮想音源の定位により、第１乃至第４の表示器５ａ〜５ｄのうちのいずれを注視すべきかを認識させる。

音声出力装置６は、例えば、図８に示すように、複数のスピーカ６ａ〜６ｄと、該スピーカ６ａ〜６ｄにおける音声出力を制御する音声出力制御部６ｅとを有するものであっても良い。ここでいう音声出力制御部６ｅには、増幅器が含まれる。音声出力装置６は、表示器５ａ〜５ｄとは別に、即ち別体として、設けられたものであっても良い。

図９は、図１の処理回路３の構成を示す機能ブロック図である。図示の処理回路３は、情報解析部３０２と、映像処理部３０４と、音声データ記憶部３０６と、音声処理部３０８とを有する。

情報解析部３０２は、外部状況検出部１からの検出情報Ｄａを取得する。
情報解析部３０２は、外部状況検出部１からの検出情報Ｄａに基づいて、車両１０２の周辺に位置する注意対象、例えば、他の車両、人、構造物等を検出する。ここでは、注意対象が一つだけ検出されたものとして説明する。

車両１０２の周辺に位置する注意対象の検出の方法としては、例えば以下の方法のいずれを用いても良い。
（ａ１） 映像を用いた方法。例えば、特許文献２（特許第５９３００６７号明細書）に示される方法。
（ａ２） ライダー（ＬＩＤＡＲ）での検出結果に基づく方法。例えば、特許文献３（特許第６３８１７３６号明細書）に示される方法。
（ａ３） 超音波センサでの検出結果に基づく方法。例えば、特許文献４（特許第６２８９７８８号明細書）に示される方法。

情報解析部３０２は、注意対象に関する検出情報Ｄａ及び自車両に関する情報から危険度を算出する。
危険度の算出は、例えば、注意対象の位置並びに移動の方向及び速度、並びに自車両の位置並びに移動の方向及び速度から、自車両がそのまま（自車両が移動の方向及び速度を変えることなく）走行を続けたと仮定したときに衝突するまでの時間を求め、求めた時間の逆数を危険度として算出しても良い。注意対象又は自車両が移動の向きを変えつつある場合には、そのことを考慮に入れても良い。注意対象が固定された構造物である場合、注意対象の移動の速度をゼロとし、自車両の位置並びに移動の方向及び速度から危険度の算出を行なえば良い。

外部状況検出部１からの検出情報Ｄａに、注意対象の位置並びに移動の方向及び速度を示す情報が含まれる場合には、該情報に示される注意対象の位置並びに移動の方向及び速度を危険度の算出に用いることができる。

外部状況検出部１からの検出情報Ｄａに、注意対象の位置並びに移動の方向及び速度を示す情報が含まれない場合には、検出情報Ｄａに含まれる情報に基づいて、注意対象の位置並びに移動の方向及び速度を算出しても良い。例えば、検出情報Ｄａに注意対象までの距離及び注意対象を含む映像が含まれる場合には、これらを元にして注意対象の位置並びに移動の方向及び速度を算出しても良い。

危険度の算出のための自車両の位置並びに移動の方向及び速度としては、車両情報取得部２からの自車両情報Ｄｂで示されるものを用いることができる。

情報解析部３０２はまた、注意対象について算出された危険度が閾値以上であれば、運転者に対し注意喚起を行うべきと判断し、注意喚起表示を行うべき表示器を選択する。

表示器の選択においては、検出した注意対象を含む映像を表示している表示器を選択することとしても良い。

情報解析部３０２は、選択した表示器を示す情報を映像処理部３０４及び音声処理部３０８に供給する。

映像処理部３０４は、撮像部１１のカメラ１１ａ〜１１ｄでの撮像で得られた映像をそれぞれ対応する表示器５ａ〜５ｄに供給する。映像処理部３０４は、強調処理部３１４を含む。

強調処理部３１４は、選択された表示器で表示される映像に対し、強調処理を施す。強調処理は、衝突の危険度が閾値以上と判断された注意対象が目立つようにする処理である。強調処理の方法としては、例えば以下の方法のいずれを用いても良い。
（ｂ１） 注意対象を色つきの線で囲む。
（ｂ２） 注意対象以外の映像をぼやかす、又は消す。

強調処理部３１４で強調処理を施された映像は、選択された表示器に供給される。これにより、選択された表示器で、注意喚起表示が行われる。

音声処理部３０８は、音声出力装置６に注意喚起音を発生させる。音声処理部３０８は、音声データ記憶部３０６から、音声データを受け、音声データで表される音を注意喚起音として出力させる。

音声処理部３０８は、音像制御部３１８を含む。音像制御部３１８は、上記の注意喚起音として、注意喚起表示を行う表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる。音声処理部３０８は、音声データに対し、音像が制御された音を発生させるための信号処理を行う。

音声データは運転者の注意を喚起するものであれば如何なるものでも良い。音声データとしては、例えば以下の音声のいずれかを表すものを用いることができる。
（ｃ１） 純音(単一の正弦波で表される音)
（ｃ２） 人の声（音声メッセージ）
（ｃ３） 不協和音（雑音と感じられるもの）
（ｃ４） 効果音

また、音像制御の方法としては、例えば以下の方法のいずれを用いても良い。
（ｄ１） 選択された表示器を挟む二つのスピーカを用いた振幅パニング処理
（ｄ２） 複数のスピーカを用いたクロストークキャンセル処理
（ｄ３） 複数のスピーカを用いた波面合成法（Ｗａｖｅ Ｆｉｅｌｄ Ｓｙｎｔｈｅｓｉｓ）

以下、処理回路３による情報提示のための処理を図１０のフローチャートを参照して説明する。
ステップＳＴ１１では、情報解析部３０２は、外部状況検出部１から出力される検出情報Ｄａを用いて注意対象の検出を行う。

ステップＳＴ１２で、情報解析部３０２が、ステップＳＴ１１で検出された注意対象に関する情報を取得する。
ステップＳＴ１３で、情報解析部３０２が、車両情報取得部２から自車両に関する情報を取得する。
ステップＳＴ１２の処理と、ステップＳＴ１３の処理とは平行して行い得る。
ステップＳＴ１２及びステップＳＴ１３の次に、ステップＳＴ１４で、情報解析部３０２が、注意対象に関する情報及び自車両に関する情報から注意対象についての危険度を算出する。

ステップＳＴ１５で、情報解析部３０２が、危険度が予め定められた閾値よりも大きいか否かの判定を行う。
閾値よりも大きいと判断した場合、注意喚起表示を行うべきと判断し、該判断の結果を示す情報を出力する（ＳＴ１６）。注意喚起表示を行うべきとの判断の結果を示す情報は例えば注意喚起フラグとして出力される。

注意喚起フラグが出力されると、ステップＳＴ１７で、情報解析部３０２が、注意喚起表示を行うべき表示器を選択し、選択した表示器を、映像処理部３０４及び音声処理部３０８に通知する。
注意喚起表示を行うべき表示器としては、危険度が閾値よりも大きいと判定された注意対象を含む映像を表示している表示器が選択される。

ステップＳＴ１７の次に、ステップＳＴ１８の処理とステップＳＴ１９の処理とが行われる。
ステップＳＴ１８では、映像処理部３０４の強調処理部３１４が、ステップＳＴ１６で生成された情報と、ステップＳＴ１７での選択結果を示す情報に基づき、選択された表示器で表示される映像に対する強調処理を行う。
ステップＳＴ１９では、音声処理部３０８の音像制御部３１８が、ステップＳＴ１６で生成された情報と、ステップＳＴ１７での選択結果を示す情報に基づき、選択された表示器の位置に仮想音源が定位されるように音像を制御するための信号処理を行う。
強調処理を施された映像は選択された表示器で表示され、信号処理の結果生成された音声は、音声出力装置６で再生される。

上記の処理を行う場合の動作の一例を、図１１に概念的に示す。
例えば、左前方に接近車両１０８があり（ＡＴ１）、この車両１０８と自車両１０２との衝突の危険度が閾値以上と判断された場合、車内の表示器のうち、左前方の映像を表示する表示器５ｂが選択され、選択された表示器５ｂで表示される映像のうち、接近車両１０８ａの部分が強調され（ＡＴ２）、同時に当該表示器５ｂの位置に仮想音源が定位された音像の注意喚起音が発生される（ＡＴ３）。

注意喚起音に応じて、運転者１０６は、仮想音源の位置にある表示器５ｂに視線を向ける（ＡＴ４）。
表示器５ｂに表示された映像中では、接近車両１０８ａが強調のための線Ｅｍで囲まれており、視線を向けた運転者は、接近車両１０８ａをいち早く認識することができる。
このようにして運転者は、表示器５ｂに表示された接近車両１０８ａに気付き、その結果実際の接近車両１０８にも気付き、衝突回避のための運転操作（ブレーキを掛ける操作、ハンドルを回す操作等）をとることが可能である。

このような情報提示の処理は、例えば、接近車両１０８が運転者にとって死角に位置する場合に、例えば自車両１０２のピラー１０３の陰に隠れている場合に、特に有効である。運転者にとって死角の位置にある注意対象は、直視によっては認識し難く、気付くのが遅れる傾向があるのに対し、注意喚起音によって、注視すべき表示器５ｂを示すことで、運転者１０６が当該表示器５ｂに視線を向け、強調処理（ＡＴ２）された接近車両１０８ｂを認識することができるためである。

なお、強調処理を省略しても良い。その場合も、注意喚起音によって、注視すべき表示器を示すことで、運転者が当該表示器に視線を向け、表示された接近車両を認識することができる。

上記の例では、第１乃至第４の表示器５ａ〜５ｄが第１乃至第４のカメラでの撮像で得られた映像を常時表示しているが、ステップＳＴ１５で危険度が閾値よりも大きいと判断されたときにのみ、映像の表示を行うこととしても良い。
この場合、注意対象の位置する方向（運転者から見た方向）又は注意対象を映すミラーの位置する方向、又はこれらの方向に最も近い方向に位置する表示器で撮像映像の表示を行うようにしても良い。

例えば、前方のやや右寄りに位置する注意対象の危険度が閾値よりも大きいと判断された場合、右前方に位置する表示器５ａで映像表示を行う。
同様に、後方のやや右寄りに位置する注意対象の危険度が閾値よりも大きいと判断された場合、右のサイドミラー１１２（右後方の注意対象を映す）の位置する方向（運転者から見た方向）に最も近い方向に位置する表示器５ｃで映像表示を行う。

また、通常は表示を行わず、ステップＳＴ１１で注意対象が検出されてから注意対象の映像表示を開始することとしても良い。この場合の処理の手順を図１２に示す。

図１２は、図１０と概して同じであるが、ステップＳＴ２１及びＳＴ２２が付加されている。
ステップＳＴ２１では、情報解析部３０２が、注意対象の検出の結果に基づいて検出対象の表示を行うべき表示器を選択し、選択した表示器を、映像処理部３０４に通知する。

この場合の表示器の選択も、上記と同様に、検出された注意対象の位置する方向（運転者から見た方向）又は注意対象を映すミラーの位置する方向、又はこれらの方向に最も近い方向に位置する表示器で撮像映像の表示を行うようにしても良い。
例えば、前方のやや右寄りの方向に注意対象が検出された場合、右前方に位置する表示器５ａを選択する。同様に、後方のやや右寄りの方向に注意対象が検出された場合、右のサイドミラー１１２（右後方の注意対象を映す）の位置する方向（運転者から見た方向）に最も近い方向に位置する表示器５ｃを選択する。
ステップＳＴ２２では、映像処理部３０４が、検出対象の映像表示を開始する。

このような構成である場合、表示器５ａ〜５ｄは、通常他の映像の表示を行うものであっても良い。例えばナビゲーション・システムの表示器を、表示器５ａ〜５ｄのいずれかとして用いても良い。

上記の構成では、外部状況検出部１が、互いに異なる方向を撮像する第１乃至第４のカメラ１１ａ〜１１ｄを有し、第１乃至第４の表示器５ａ〜５ｄは、それぞれ第１乃至第４のカメラ１１ａ〜１１ｄに対応し、それぞれ対応するカメラ１１ａ〜１１ｄでの撮像で得られた映像を表示する。

代わりに、表示器５ａ〜５ｄの各々で表示される映像は、いずれかのカメラの撮像方向とは異なる方向を見たときの映像を表示するものであっても良い。例えば、第１の表示器５ａで車両１０２の右前方の映像を表示する場合、同じ方向を撮像するカメラを用いず、異なる方向を撮像する複数のカメラでの撮像で得られた映像から、右前方の映像を生成しても良い。
例えば前方向を撮像するカメラでの撮像で得られた映像と、右側方を撮像するカメラでの撮像で得られた映像を合成して、右前方の映像を生成しても良い。

要するに、外部状況検出部１は、第１乃至第４の表示器５ａ〜５ｄで表示される、複数の異なる方向の映像を生成するものであれば良い。
この場合、複数のカメラでの撮像で得られた映像を、検知情報処理部１４で合成し、所望の方向の映像を生成するように構成すれば良い。表示器はそれぞれカメラに対応するものでなくても良い。また、カメラの数は表示器の数と同じでなくても良い。

実施の形態２．
図１３は、本発明の実施の形態２で用いられる処理回路３ｂの構成を示す機能ブロック図である。
図１３に示される処理回路３ｂは、図９に示される処理回路３と概して同じであるが、優先度決定部３２２が付加されている。また、情報解析部３０２の代わりに情報解析部３０２ｂが設けられ、映像処理部３０４の代わりに映像処理部３０４ｂが設けられている。

情報解析部３０２ｂは、複数の注意対象を検出した場合、それぞれの注意対象について危険度を算出する。

優先度決定部３２２は、情報解析部３０２ｂで複数の注意対象について危険度が算出されたら、算出された危険度を元に、優先度を付ける。優先度としては、運転者がより速やかに認識すべき注意対象ほど、より高い優先度が付けられる。

優先度の付け方としては、例えば以下の方法のいずれを用いても良い。
（ｅ１） 情報解析部３０２が算出する危険度が大きいほど優先度を高くする。
（ｅ２） 注意対象の種類（車両、人、構造物）に応じてそれぞれ優先度（優先順位）を予め与えておく。

優先度決定部３２２は、決定した優先度を映像処理部３０４ｂに通知し、決定した優先度が最も高い表示器を示す情報を音声処理部３０８に通知する。

映像処理部３０４ｂの強調処理部３１４ｂは、通知された優先度に基づいて注意対象の強調処理を行う。

優先度に基づいた強調処理の方法としては、例えば以下の方法のいずれを用いても良い。
（ｆ１） 優先度が最も高い注意対象を含む映像を表示している表示器でのみ強調処理を行なう。
（ｆ２） 注意対象を含む映像を表示しているすべての表示器で強調表示は行う。但し、優先度に応じて異なる強調を行う。

優先度に応じて異なる強調としては、映像中の注意対象を囲む線の色又は太さを変えることが考えられる。この場合、優先度がより高い注意対象を囲む線をより目立つ色に、或いはより太い線にすることが考えられる。

音声処理部３０８の音像制御部３１８は、通知された優先度が最も高い表示器を示す情報に基づいて音像制御を行う。具体的には、優先度が最も高い表示器の位置に仮想音源が定位されるように音像制御を行なう。

本実施の形態により得られる効果について述べる。自車両の周囲に複数の注意対象が検出された場合、優先度に応じて互いに異なる強調表示を行うことで、複数の表示器のうちのどの表示器を優先して注視すべきかが認識しやくなり、運転者は速やかに適切な運転操作をすることが可能となる。

また、優先度が最も高い表示器の位置に仮想音源が定位されるように音像を制御することで、最優先で注視すべき表示器の認識が容易となり、差し迫った危険に対する迅速な対応が可能となる。

実施の形態３．
図１４は、本発明の実施の形態３の情報提示装置を備えた運転支援装置１０ｃの構成例を示す。
図１４に示される運転支援装置１０ｃは、図１に示される運転支援装置１０と概して同じであるが、内部状況検出部７が付加されており、処理回路３の代わりに処理回路３ｃが設けられている。

内部状況検出部７は、図１５に示されるように、撮像部７１と、検知部７２と、検知情報処理部７３とを含む。

撮像部７１は１又は２以上のカメラを含む。カメラは、車内の搭乗者を撮像する。搭乗者には、運転者及びそれ以外の搭乗者（同乗者）が含まれる。

検知部７２は、車内の搭乗者の状態を検知する。検知部７２には、生体センサ又は音声検出器（マイクロホン）を含んでいても良い。生体センサは、搭乗者、例えば運転者の心拍数を検出するものであっても良い。音声検出器は、搭乗者が発する音声を検出するものであれば良い。

検知情報処理部７３は、撮像部７１での撮像で得られた情報及び検知部７２での検知で得られた情報を検出情報Ｄｅとして処理回路３ｃに供給する。

図１６は、図１４の処理回路３ｃの構成例を示す。
図１６の処理回路３ｃは、図９の処理回路３と概して同じであるが、搭乗者監視部３３２が付加されており、音声処理部３０８の代わりに音声処理部３０８ｃが設けられている。

搭乗者監視部３３２としては、一般にドライバ・モニタリング・システム（ＤＭＳ）と呼ばれるものを用いることができる。搭乗者監視部３３２は、内部状況検出部７での検出で得られた検出情報Ｄｅから搭乗者の状態を判断する。

搭乗者の状態の判断の方法としては、例えば以下の方法のいずれを用いても良い。
（ｇ１） 車内カメラで搭乗者の顔の向き、又は視線の向きを解析し、搭乗者が注意対象の接近に気付いているかを判断する。
（ｇ２） 生体センサで心拍数を検出することで、運転者の運転に対する注意力の度合いを評価する。
（ｇ３） 運転者以外の搭乗者が、危険に気付き、発話、仕草で運転者に危険を知らせている場合、そのことを検出する。

音声処理部３０８ｃは、図９の音声処理部３０８と概して同じであるが、音量制御部３３８が付加されている。音量制御部３３８は、搭乗者監視部３３２で判断された自車両の搭乗者の状態に基づいて、注意喚起音の音量を制御する。

音声処理部３０８ｃは音量制御部３３８により制御された音量で、音声出力装置６に音を発生させる。

音量制御部３３８は、例えば以下のような音量制御のいずれかを行なう。
（ｈ１） 運転者が車両１０２の周辺に位置する、危険度が大きい注意対象に既に気付いているのであれば、注意喚起音の発生を停止し、又は注意喚起音の音量を小さくする。
（ｈ２） 運転者以外の搭乗者が、車両１０２の周辺に位置する、危険度が大きい注意対象に気付き、運転者に危険を知らせている場合、そのことを検出して、注意喚起音の発生を停止し、又は注意喚起音の音量を小さくする。
（ｈ３） 運転者の注意力が低い状態であれば音量を大きくする。

上記の例では、音声処理部３０８ｃが、音量制御部３３８を備え、搭乗者の状態に応じて音量を制御する。代わりに、音像制御部３１８が、仮想音源が定位される位置を変えるように音像制御を行うこととして良い。例えば、上記（ｈ３）の処理の代わりに、
（ｈ４） 運転者の注意力が低い状態であれば、運転者の耳元に仮想音源が定位されるよう注意喚起音の音像を制御する
こととしても良い。

要するに、音声処理部３０８ｃは、運転者の注意力が低い状態であれば、運転者に対し注意喚起音による注意喚起の度合いがより強くなるように制御すれば良い。

本実施の形態により得られる効果について述べる。
注意喚起音は搭乗者（特に運転者）にとって必要な情報を伝えるためのものだが、搭乗者に不快感を与える可能性がある。
そこで、搭乗者の状況から注意喚起音の発生が不要と判断されたら音を停止し或いは小さくすることで、搭乗者に不快感を与えないようにすることが可能である。
また、運転者の注意力が低下している場合には、音量を大きくし、或いは仮想音源が耳元に定位されるように音像を制御することで、注意喚起の度合いを高め、危険度を速やかに認識させることが可能となる。

上記の実施の形態１〜３では、検知情報処理部１４が外部状況検出部１の一部であるとして説明したが、処理回路３の一部として構成しても良い。その場合、検知情報処理部１４の機能を、ソフトウェアで、即ち図３に示される、プログラムされたコンピュータで実現しても良い。

上記の実施の形態３では、検知情報処理部７３が内部状況検出部７の一部であるとして説明したが、処理回路３ｃの一部として構成しても良い。その場合、検知情報処理部７３の機能を、ソフトウェアで、即ち図３に示される、プログラムされたコンピュータで実現しても良い。

以上、本発明に係る情報提示装置及び情報提示制御装置について説明したが、情報提示装置で実施される情報提示方法、及び情報提示制御装置で実施される情報提示制御方法も本発明の一部を成す。また、これらの装置又は方法における処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録したコンピュータで読取可能な記録媒体も本発明の一部を成す。

１ 外部状況検出部、 ２ 車両情報取得部、 ３，３ｂ，３ｃ 処理回路、 ４ 記憶装置、 ５ 表示器群、 ５ａ〜５ｄ 表示器、 ６ 音声出力装置、 ６ａ〜６ｄ スピーカ、 ６ｅ 音声出力制御部、 ７ 内部状況検出部、 １０ 情報提示装置、 １１ 撮像部、 １１ａ〜１１ｄ カメラ、 １２ 検知部、 １３ 通信部、 １４ 検知情報処理部、 ３１ プロセッサ、 ３２ プログラムメモリ、 ５１ 表示部、 ５２ 表示制御部、 ７１ 撮像部、 ７２ 検知部、 ７３ 検知情報処理部、 １０２ 車両、 １０４ ダッシュボード、 １０６ 運転者、 １１２ サイドミラー、 １１４ サイドミラー、 ３０２，３０２ｂ 情報解析部、 ３０４，３０４ｂ 映像処理部、 ３０６ 音声データ記憶部、 ３０８，３０８ｂ，３０８ｃ 音声処理部、 ３１４ 強調処理部、 ３１８ 音像制御部、 ３２２ 優先度決定部、 ３３２ 搭乗者監視部、 ３３８ 音量制御部。

Claims (14)

1. 車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示制御装置であって、
   前記車両の周辺に位置する注意対象に関する検出情報に基づいて危険度を算出する情報解析部と、
   前記車両の内部の状況を検出することで得られた情報に基づいて、運転者の状態を判定する搭乗者監視部と、
   前記情報解析部で算出された危険度に基づいて前記複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせる映像処理部と、
   前記情報解析部で算出された危険度に基づいて前記音声出力装置に注意喚起音を発生させる音声処理部とを有し、
   前記音声処理部は、前記注意喚起音として、前記注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させ、
   前記音声処理部は、前記搭乗者監視部による判定結果に基づいて、前記注意喚起音の出力を制御し、
   前記車両の内部の状況を検出することで得られた情報が、カメラで運転者を撮像することで得られた情報を含み、
   前記搭乗者監視部は、前記カメラで運転者を撮像することで得られた情報に基づき、運転者の顔の向き、又は視線の向きを解析し、前記情報解析部が前記危険度を算出した注意対象の接近に運転者が気付いているかを判断し、
   前記音声処理部は、前記情報解析部が前記危険度を算出した注意対象であって、前記車両の周辺に位置する、危険度が大きい注意対象に運転者が既に気付いているのであれば、注意喚起音の発生を停止し、又は注意喚起音の音量を小さくする
   情報提示制御装置。
2. 前記危険度は、前記車両と、前記注意対象との衝突の危険度である
   ことを特徴とする請求項１に記載の情報提示制御装置。
3. 前記映像処理部は、前記注意喚起表示として、前記車両の周辺を撮像することで得られた映像であって、前記危険度が大きい注意対象が強調された映像を表示させる
   ことを特徴とする請求項１又は２に記載の情報提示制御装置。
4. 前記情報解析部は、前記車両の周囲に複数の危険度が大きい注意対象を検出した場合に、前記複数の危険度が大きい注意対象に対してそれぞれ優先度を決定し、
   前記映像処理部は、それぞれ前記複数の危険度が大きい注意対象を含む映像を前記少なくとも一つの表示器に表示させ、それぞれの注意対象について、前記優先度に応じた注意喚起表示を行わせる
   ことを特徴とする請求項１から３のいずれか１項に記載の情報提示制御装置。
5. 前記音声処理部は、前記注意喚起音として、前記注意喚起表示を行う表示器のうちの前記優先度が最も高い検出対象を含む映像を表示している表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる
   ことを特徴とする請求項４に記載の情報提示制御装置。
6. 車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示装置であって、
   前記車両の周辺に位置する注意対象を検出する外部状況検出部と、
   前記車両の内部の状況を検出して、検出情報を出力する内部状況検出部と、
   前記外部状況検出部による検出で得られた前記注意対象に関する検出情報に基づいて危険度を算出し、算出された危険度に基づいて前記複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせ、算出された危険度に基づいて前記音声出力装置に注意喚起音を発生させる情報提示制御装置とを有し、
   前記情報提示制御装置は、前記注意喚起音として、前記注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させ、
   前記内部状況検出部は、運転者を撮像するカメラを有し、
   前記情報提示制御装置は、前記内部状況検出部から出力された前記検出情報に基づいて、前記注意喚起音の出力を制御し、
   前記内部状況検出部から出力された前記検出情報が、前記カメラで運転者を撮像することで得られた情報を含み、
   前記情報提示制御装置は、前記カメラで運転者を撮像することで得られた情報に基づき、運転者の顔の向き、又は視線の向きを解析し、前記外部状況検出部が検出した注意対象の接近に運転者が気付いているかを判断し、
   前記情報提示制御装置は、前記外部状況検出部が検出した注意対象であって、前記車両の周辺に位置する、危険度が大きい注意対象に運転者が既に気付いているのであれば、注意喚起音の発生を停止し、又は注意喚起音の音量を小さくする
   情報提示装置。
7. 前記外部状況検出部は、前記車両の周辺を撮像する１又は２以上のカメラを有する
   請求項６に記載の情報提示装置。
8. 前記情報提示制御装置は、前記注意喚起表示として、前記カメラによる撮像で得られた映像であって、前記車両との衝突の危険が高い注意対象が強調された映像を表示させる
   ことを特徴とする請求項７に記載の情報提示装置。
9. 前記複数の表示器の各々は、表示部と、前記表示部による表示を制御する表示制御部とを有する
   ことを特徴とする請求項６から８のいずれか１項に記載の情報提示装置。
10. 前記音声出力装置は、
    複数のスピーカと、前記複数のスピーカによる音声の出力を制御する音声出力制御部とを有する
    ことを特徴とする請求項６から９のいずれか１項に記載の情報提示装置。
11. 前記音声出力装置は、前記表示器とは別に設けられた複数のスピーカを備える
    ことを特徴とする請求項６から１０のいずれか１項に記載の情報提示装置。
12. 車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示制御方法であって、
    前記車両の周辺に位置する注意対象に関する検出情報に基づいて危険度を算出し、
    前記車両の内部の状況を検出することで得られた情報に基づいて運転者の状態を判定し、
    算出された危険度に基づいて前記複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせ、
    算出された危険度に基づいて前記音声出力装置に注意喚起音を発生させ、
    前記注意喚起音として、前記注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させ、
    前記運転者の状態についての判定の結果に基づいて、前記注意喚起音の出力を制御し、
    前記車両の内部の状況を検出することで得られた情報が、カメラで運転者を撮像することで得られた情報を含み、
    前記カメラで運転者を撮像することで得られた情報に基づき、運転者の顔の向き、又は視線の向きを解析し、前記危険度を算出した注意対象の接近に運転者が気付いているかを判断し、
    前記危険度を算出した注意対象であって、前記車両の周辺に位置する、危険度が大きい注意対象に運転者が既に気付いているのであれば、注意喚起音の発生を停止し、又は注意喚起音の音量を小さくする
    情報提示制御方法。
13. 請求項１２に記載の情報提示制御方法における処理をコンピュータに実行させるプログラム。
14. 請求項１３に記載のプログラムを記録したコンピュータで読取り可能な記録媒体。

Images