JP2009211628A - 障害物警告装置、障害物警告方法及びコンピュータプログラム - Google Patents

Abstract

【課題】車両周辺にある障害物を運転者に正確に把握させることを可能とした障害物警告装置、障害物警告方法及びコンピュータプログラムに関するものである。
【解決手段】車両周辺において障害物を検出した場合に、自車と検出した障害物との位置関係を取得するとともに、運転者の顔向きを検出し、自車に対する障害物の方位と運転者の顔向きとから音像の定位パターンを選択し、選択した音像の定位パターンに基づいて１段階又は複数段階に区分して運転席の所定方向に音像を定位させることにより、障害物の位置を特定させる為の音像を運転者の顔向きを考慮した方位に定位させるように構成する。
【選択図】図９

Description

本発明は、音を用いて車両周辺の障害物の警告を行う障害物警告装置、障害物警告方法及びコンピュータプログラムに関する。

近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示したり、障害物の接近を音で警告する運転支援システムを搭載する車両が増加している。このようなシステムによれば、運転者の死角方向から接近する障害物等の運転中の運転者が把握し難い障害物を運転者に事前に把握させ、安全に走行させることが可能となる。

また、このような運転支援システムでは、接近する障害物の位置する方位を運転者に把握させることが重要である。しかしながら、車両の周辺の状況を車室内の表示装置に表示するシステムでは、障害物がどの方位に位置するのかを一見して運転者に把握させることは難しい。また、運転中の運転者に表示装置を注視させることは、逆に運転者に車両周辺への注意を怠らせる結果となってしまう。

そこで、例えば特開２００４−３２２７７１号公報には、車両内に複数のスピーカを設け、車両周辺に障害物を検出した場合に、１又は複数のスピーカから音を出力することによって、運転者に対して検出した障害物の方向に音像を定位させるように構成することにより、障害物の方位を運転者に把握させることが可能な障害物警告装置について記載されている。
特開２００４−３２２７７１号公報（第３頁〜第５頁、図１）

ここで、前記特許文献１に記載の障害物警告装置では、運転者に対して検出した障害物の方向のみに音像を定位させる。しかしながら、このような構成とすると、運転者の左右方向に障害物が位置する場合には問題が生じないが、左右方向以外の方向（例えば、運転者の背後方向、右前方向等）に障害物が位置する場合には以下の問題が生じていた。
即ち、人は音を聞く際には左右の耳でそれぞれ音を聞き、右の耳で聞いた音と左の耳で聞いた音の音量と時間の微妙な差を認識して音の出力方向を判断する。従って、運転者の左右方向に音像を定位させた場合には、右の耳で聞いた音と左の耳で聞いた音の音量と時間の差が大きくなるので、音像の定位方向（即ち、スピーカ又は仮想音源からの音の出力方向）を判断することができるが、それ以外の方向に音像を定位させた場合には、右の耳で聞いた音と左の耳で聞いた音の音量と時間の差が微小となるので、音像の定位方向を正確に判断することが難しかった。
以上より、従来のように運転者の顔向きを考慮せずに障害物の位置する一方向のみに音像を定位させる構成では、運転者が音像の定位方向（即ち、障害物の方位）を誤って認識してしまう虞があった。

本発明は前記従来における問題点を解消するためになされたものであり、運転者の顔向きを考慮した方位に音像を定位させるので、車両周辺にある障害物の位置を運転者に正確に把握させることを可能とした障害物警告装置、障害物警告方法及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本願の請求項１に係る障害物警告装置（１）は、運転者の顔向きを検出する顔向き検出手段（３）と、車両（２）周辺の障害物を検出する障害物検出手段（３）と、前記障害物検出手段によって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得手段（３）と、前記顔向き検出手段により検出された運転者の顔向きと前記車両位置関係取得手段により取得された位置関係とに基づいて、車両内において音像を定位させる方位を選択する方位選択手段（３）と、前記方位選択手段により選択された方位に音像を定位させる音像定位手段（３）と、を有することを特徴とする。

また、請求項２に係る障害物警告装置（１）は、請求項１に記載の障害物警告装置において、前記音像定位手段（３）は、運転者の顔向きに対して左右方向に音像を定位させる第１音像定位手段（３）と、前記第１音像定位手段により音像を定位させた後に、第１音像定位手段による音像の定位後の運転者の顔向きに対して左右方向に音像を定位させる第２音像定位手段（３）と、を備えることを有することを特徴とする。

また、請求項３に係る障害物警告装置（１）は、請求項２に記載の障害物警告装置において、前記第１音像定位手段（３）は、運転者の顔向きに対して左右方向に位置する音源（９〜１２）の内、運転席から前記検出された障害物への方位と近い方位に位置する音源から音を出力することにより音像を定位させ、前記第２音像定位手段は（３）、第１音像定位手段による音像の定位後の運転者の顔向きに対して左右方向に位置する音源の内、運転席から前記検出された障害物への方位と近い方位に位置する音源から音を出力することにより音像を定位させることを特徴とする。
尚、ここで「音源」とは、スピーカなどの実音源に加えて、音の合成により形成する仮想音源も含む。

また、請求項４に係る障害物警告装置（１）は、請求項２又は請求項３に記載の障害物警告装置において、前記音像定位手段（３）は、前記第１音像定位手段（３）により音像を定位させた後であって、前記顔向き検出手段（３）で運転者の顔向きが前記第１音像定位手段により音像を定位させた方位となったことを検出した際に、前記第２音像定位手段（３）により音像を定位させることを特徴とする。

また、請求項５に係る障害物警告方法は、運転者の顔向きを検出する顔向き検出ステップ（Ｓ１２、Ｓ１６）と、車両（２）周辺の障害物を検出する障害物検出ステップ（Ｓ４）と、前記障害物検出ステップによって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得ステップ（Ｓ１１）と、前記顔向き検出ステップにより検出された運転者の顔向きと前記車両位置関係取得ステップにより取得された位置関係とに基づいて、車両内において音像を定位させる方位を選択する方位選択ステップ（Ｓ１３）と、前記方位選択ステップにより選択された方位に音像を定位させる音像定位ステップ（Ｓ１４、Ｓ１７、Ｓ１８）と、を有することを特徴とする。

更に、請求項６に係るコンピュータプログラムは、コンピュータに搭載され、運転者の顔向きを検出する顔向き検出機能（Ｓ１２、Ｓ１６）と、車両（２）周辺の障害物を検出する障害物検出機能（Ｓ４）と、前記障害物検出機能によって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得機能（Ｓ１１）と、前記顔向き検出機能により検出された運転者の顔向きと前記車両位置関係取得機能により取得された位置関係とに基づいて、車両内において音像を定位させる方位を選択する方位選択機能（Ｓ１３）と、前記方位選択機能により選択された方位に音像を定位させる音像定位機能（Ｓ１４、Ｓ１７、Ｓ１８）と、を実行させることを特徴とする。

前記構成を有する請求項１に記載の障害物警告装置によれば、障害物の位置を特定させる為の音像を運転者の顔向きを考慮した方位に定位させるので、車両周辺にある障害物の位置を運転者に正確に把握させることが可能となる。従って、乗員の死角方向に障害物が存在する場合でも、それらの障害物の存在を乗員に事前に把握させ、安全に走行させることが可能となる。

また、請求項２に記載の障害物警告装置によれば、第１段階において音像を運転者の顔向きに対して左右方向に定位させ、その後の運転者の顔向きの変化を検出し、第２段階においてその変化した運転者の顔向きに対して左右方向に音像を定位させる。従って、各段階で定位させる音像を常に運転者の左右方向とすることができ、段階的に変化する音像の定位位置に従って運転者の顔向きを移動させることができる。

また、請求項３に記載の障害物警告装置によれば、異なる方位に配置された複数の音源から音を出力することにより、運転者の左右方向に音源を定位させ、車両周辺にある障害物の位置を運転者に正確に把握させることが可能となる。

また、請求項４に記載の障害物警告装置によれば、第１段階において音像を運転者の顔向きに対して左右方向に定位させ、運転者の顔向きが左右方向へと向いた後に、第２段階で音像を再び運転者の顔向きに対して左右方向に定位させる。従って、実際の運転者の顔向きの変化に合わせて音像の定位位置を変えることが可能となる。

また、請求項５に記載の障害物警告方法によれば、障害物の位置を特定させる為の音像を運転者の顔向きを考慮した方位に定位させるので、車両周辺にある障害物の位置を運転者に正確に把握させることが可能となる。従って、乗員の死角方向に障害物が存在する場合でも、それらの障害物の存在を乗員に事前に把握させ、安全に走行させることが可能となる。

更に、請求項６に記載のコンピュータプログラムによれば、障害物の位置を特定させる為の音像を運転者の顔向きを考慮した方位に定位させるので、車両周辺にある障害物の位置を運転者に正確に把握させることが可能となる。従って、乗員の死角方向に障害物が存在する場合でも、それらの障害物の存在を乗員に事前に把握させ、安全に走行させることが可能となる。

以下、本発明に係る障害物警告装置を具体化した一実施形態について図面を参照しつつ詳細に説明する。先ず、本実施形態に係る障害物警告装置１の概略構成について図１及び図２を用いて説明する。図１は本実施形態に係る障害物警告装置１を搭載した車両２の外観図、図２は本実施形態に係る障害物警告装置１の制御系を模式的に示すブロック図である。

図１及び図２に示すように、本実施形態に係る障害物警告装置１は、車両２に対して設置された運転支援ＥＣＵ（顔向き検出手段、障害物検出手段、車両位置関係取得手段、方位選択手段、音像定位手段、第１音像定位手段、第２音像定位手段）３と、障害物検出カメラ４〜７と、車内カメラ８と、スピーカ９〜１２と、車両ＤＢ１３と、ナビＤＢ１４と、運転支援ＥＣＵ３に接続されたＧＰＳ１６、車速センサ１６、ステアリングセンサ１７、ジャイロセンサ１８、シフトレバーセンサ１９等の各種センサから構成されている。

また、運転支援ＥＣＵ（エレクトロニック・コントロール・ユニット）３は、車両周辺に位置する障害物を検出するとともに、検出した障害物の方位に基づいて各スピーカ９〜１２から音を出力する障害物警告処理（図４、図５参照）等を行う電子制御ユニットである。尚、運転支援ＥＣＵ３はナビゲーション装置の制御に使用するＥＣＵと兼用してもよい。また、運転支援ＥＣＵ３の詳細な構成については後述する。

障害物検出カメラ４〜７は、例えばＣＣＤ等の固体撮像素子を用いるとともに、広角レンズを備えたカメラである。また、図１に示すように障害物検出カメラ４〜７は車両２の右前方の角、右後方の角、左前方の角、左後方の角にそれぞれ設置され、光軸方向を水平より所定角度下方に向けて設置される。そして、障害物検出カメラ４の光軸方向は車両２の右前方に向けられ、光軸方向を中心とした所定範囲内を障害物検出カメラ４により周辺環境を撮像可能な撮像領域２１とする。また、障害物検出カメラ５の光軸方向は車両２の右後方に向けられ、光軸方向を中心とした所定範囲内を障害物検出カメラ５により周辺環境を撮像可能な撮像領域２２とする。また、障害物検出カメラ６の光軸方向は車両２の左前方に向けられ、光軸方向を中心とした所定範囲内を障害物検出カメラ６により周辺環境を撮像可能な撮像領域２３とする。更に、障害物検出カメラ７の光軸方向は車両２の左後方に向けられ、光軸方向を中心とした所定範囲内を障害物検出カメラ７により周辺環境を撮像可能な撮像領域２４とする。
そして、障害物検出カメラ４〜７は走行時及び停車時に車両２の周囲の各撮像領域２１〜２４を撮像し、その撮像された撮像画像に基づいて運転支援ＥＣＵ３は車両周辺に位置する障害物（例えば、他車両、自転車、歩行者、ブロック塀等）を検出する。尚、障害物を検出する手段としては、カメラの代わりにミリ波レーダ、超音波レーダ等を用いても良い。

また、車内カメラ８は、例えばＣＣＤ等の固体撮像素子を用いたものであり、インストルメントパネルの上面に取り付けられ、視線方向を運転席に向けて設置される。そして、運転席に座った運転者の顔を撮像する。また、運転支援ＥＣＵ３は後述するように撮像された撮像画像から運転者の顔向きを検出する。

また、図１及び図３に示すように車両２の車両内には、運転席２５（即ち、運転席２５に着座する運転者２６）に対してそれぞれ異なる方位に４つのスピーカ９〜１２を備える。図３は運転席２５とスピーカ９〜１２との位置関係を示した模式図である。

ここで、右前スピーカ９は、車両２の室内のセンターコンソールの右側に備え付けられ、運転席２５に対して右前方に位置する。また、右後スピーカ１０は、車両２の室内の右後方のバックピラー付近に備え付けられ、運転席２５に対して右後方に位置する。また、左前スピーカ１１は、車両２の室内のセンターコンソールの左側に備え付けられ、運転席２５に対して左前方に位置する。また、左後スピーカ１２は、車両２の室内の左後方のバックピラー付近に備え付けられ、運転席２５に対して左後方に位置する。そして、運転支援ＥＣＵ３は、後述のように運転席２５からの方位がそれぞれ上記のように異なる各スピーカ９〜１２の出力を制御することにより、仮想音源２７〜３０を形成し、各仮想音源２７〜３０から音が出力されるように音像を定位させる。尚、仮想音源２７は運転席２５に対してＸ１方向（右方向）に位置し、仮想音源２８は運転席２５に対してＸ２方向（左方向）に位置し、仮想音源２９は運転席２５に対してＸ３方向（前方向）に位置し、仮想音源２７は運転席２５に対してＸ４方向（後方向）に位置する。

具体的に、この音像定位を実現するために運転支援ＥＣＵ３は、各スピーカ９〜１２のそれぞれに入力する音声信号のタイミングを制御する。また、この音声信号を入力するタイミングの制御は、音声信号の時間遅れ（位相遅れ）特性、音量、周波数特性等を調整することにより行う。その結果、仮想音源２７〜３０の位置に音像を定位させることができる。尚、上記音源定位に関する技術は既に公知の技術であるので、詳細については省略する。

また、車両ＤＢ１３は、車両２の形状設計値やカメラ設計値等の車両に関する各種パラメータ情報が記憶された記憶手段である。例えば車両ＤＢ１３には、車両２に対する各スピーカ９〜１２の設置位置、障害物検出カメラ４〜７の光軸方向や車両２に対する障害物検出カメラ４〜７の設置位置等について記憶されている。
そして、運転支援ＥＣＵ３は後述するように車両ＤＢ１３に記憶された各種パラメータ情報を用いることによって、検出した障害物の位置の特定やスピーカ９〜１２の出力制御を行う。

また、ナビＤＢ１４は、道路網や施設に関する地図データが記録されている。具体的に地図データは、駐車場等の施設に関する施設データ、道路（リンク）形状に関するリンクデータ、ノード点に関するノードデータ、各交差点に関する交差点データ等から構成されている。

また、ＧＰＳ１６は、人工衛星によって発生させられた電波を受信することにより、自車の現在地及び現在時刻を検出可能とする。

また、車速センサ１６は、車両の移動距離や車速を検出する為のセンサであり、車両２の車輪の回転に応じてパルスを発生させ、パルス信号を運転支援ＥＣＵ３に出力する。そして、運転支援ＥＣＵ３は発生するパルスを計数することにより車輪の回転速度や移動距離を算出する。

また、ステアリングセンサ１７は、ステアリング装置の内部に取り付けられており、ステアリングの回動角を検出可能とするセンサである。
ジャイロセンサ１８は、車両２の旋回角を検出可能とするセンサである。また、ジャイロセンサ１８によって検出された旋回角を積分することにより、自車方位を検出することができる。
シフトレバーセンサ１９は、シフトレバー（図示せず）に内蔵され、シフト位置が「Ｐ（パーキング）」、「Ｎ（ニュートラル）」、「Ｒ（リバース）」、「Ｄ（ドライブ）」、「２（セカンド）」、「Ｌ（ロー）」のいずれの位置となっているかを検出可能とする。

次に、運転支援ＥＣＵ３の詳細について図２を用いて説明すると、運転支援ＥＣＵ３はＣＰＵ３１を核として構成されており、ＣＰＵ３１には記憶手段であるＲＯＭ３２及びＲＡＭ３３が接続されている。そして、ＲＯＭ３２には障害物検出カメラ４〜７やスピーカ９〜１２等の制御上必要な各種のプログラム等が格納されている。また、ＲＡＭ３３は後述の障害物警告処理プログラム（図４、図５参照）や音出力テーブル（図７参照）の他、ＣＰＵ３１で演算された各種データを一時的に記憶しておくメモリである。

続いて、前記構成を有する本実施形態に係る障害物警告装置１の運転支援ＥＣＵ３が実行する障害物警告処理プログラムについて図４に基づき説明する。図４は本実施形態に係る障害物警告装置１において実行される障害物警告処理プログラムのフローチャートである。ここで、障害物警告処理プログラムは、イグニションがＯＮされた後に実行され、車両周辺に位置する障害物を検出するとともに、検出した障害物の方位と運転者の顔向きに基づいて各スピーカ９〜１２の出力を制御し、障害物への警告を行うプログラムである。尚、以下の図４及び図５にフローチャートで示されるプログラムは運転支援ＥＣＵ３が備えているＲＯＭ３２やＲＡＭ３３に記憶されており、ＣＰＵ３１により実行される。

障害物警告処理プログラムでは、先ずステップ（以下、Ｓと略記する）１において、ＣＰＵ３１はメモリ等を初期化する初期化処理を行う。

次に、Ｓ２においてＣＰＵ３１は、運転者の駐車意思を検出し、運転者の駐車意思があるか否か判定する。尚、具体的に運転者の駐車意思がある場合とは、例えば、シフト位置が「Ｒ」に変更された場合、駐車場内に車両が進入した場合、運転者によって駐車支援を希望する旨の所定の操作が行われた場合等が該当する。ここで、特に駐車場内に車両が進入したことを検出する際には、先ず各種センサ１５〜１９により自車の現在位置を検出し、ナビＤＢ１４に記憶された地図データに対してマップマッチング処理を行うことにより、駐車場内に車両が進入したか否かを判定する。

続いて、Ｓ３でＣＰＵ３１は自車に関する自車情報を各種センサ１５〜１９の検出結果に基づいて取得する。ここで、前記Ｓ３で取得される自車情報としては、例えば自車の現在位置、車両方位、車速等がある。

その後、Ｓ４でＣＰＵ３１は自車の周囲に位置する障害物（例えば、他車両、自転車、歩行者等）を障害物検出カメラ４〜７の撮像画像に基づいて検出し、障害物が検出された場合にはその障害物に関する障害物情報を取得する。ここで、前記Ｓ４で取得される障害物情報としては、例えば、障害物の種類、自車からの障害物の相対方位、自車から障害物までの距離、障害物が移動している場合にはその進行速度及び進行方向等がある。

ここで、以下に前記Ｓ４における障害物の検出方法及び障害物情報の取得方法について簡単に説明する。先ず、ＣＰＵ３１は、障害物検出カメラ４〜７で撮像した撮像画像中にある障害物を検出する為に、路面と障害物を輝度差に基づいて輝度補正を行う。その後、障害物を画像から分離する２値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と障害物との境界線を検出する。また、障害物検出カメラ４〜７によって撮像された撮像画像中で検出された障害物の位置（具体的には下縁や右縁からの画素数）に基づいて、車両２から障害物までの距離や方位を算出する。
その後、ＣＰＵ３１は、撮像画像から検出された障害物の画像サイズを障害物の距離に応じて定まる拡大率または縮小率で、拡大又は縮小を行う。そして、サイズを調整した障害物の画像を、ＲＯＭ３２に記憶された各テンプレート画像とのパターンマッチングを施すことにより、撮像画像中に検出された障害物の種類を算定する。更に、所定時間後の障害物の撮像画像における移動方向と移動速度から、障害物の進行速度及び進行方向を算出することができる。尚、上記Ｓ４が障害物検出手段の処理に相当する。

次に、Ｓ５でＣＰＵ３１は前記Ｓ３で取得した自車情報と前記Ｓ４で取得した障害物情報とに基づいて、自車に対して相対的に接近する障害物（例えば、他車両、自転車、歩行者、ブロック塀等）があるか否か判定する。

その結果、自車に対して相対的に接近する障害物があると判定された場合（Ｓ５：ＹＥＳ）には、Ｓ６へと移行する。一方、自車に対して相対的に接近する障害物がないと判定された場合（Ｓ５：ＮＯ）には、障害物に関する案内は行わずにＳ７へと移行する。

Ｓ６でＣＰＵ３１は、後述の音像定位処理（図５）を行う。尚、音像定位処理は、自車と障害物との位置関係と運転者の顔向きとに基づいて、スピーカ９〜１２を制御し、所定位置に音像を定位させる処理である。

次に、Ｓ７においてＣＰＵ３１は、自車が駐車を完了したか否か判定する。具体的には、シフト位置が「Ｐ」に変更された場合に自車が駐車を完了したと判定する。そして、自車が駐車を完了したと判定された場合（Ｓ７：ＹＥＳ）には、当該障害物警告処理プログラムを終了する。

一方、自車が駐車を完了していないと判定された場合（Ｓ７：ＮＯ）にはＳ３へと戻り、再度障害物の検出を行う。

次に、上記Ｓ６の音像定位処理のサブ処理について図５に基づき説明する。図５は音像定位処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ１１においてＣＰＵ３１は、前記Ｓ３で取得した自車情報と前記Ｓ４で取得した障害物情報とに基づいて、自車と障害物との位置関係を取得する。より具体的には、自車に対する相対的な障害物の方位が取得される。また、本実施形態では、障害物の方位を『左』、『左前方』、『左後方』、『右』、『右前方』、『右後方』のいずれかに特定する。例えば、図６に示すように、自車に対して（１）のエリアに障害物が位置する場合には、障害物の方位を『左』と特定する。また、自車に対して（２）のエリアに障害物が位置する場合には、障害物の方位を『左前方』と特定する。また、自車に対して（３）のエリアに障害物が位置する場合には、障害物の方位を『左後方』と特定する。また、自車に対して（４）のエリアに障害物が位置する場合には、障害物の方位を『右』と特定する。また、自車に対して（５）のエリアに障害物が位置する場合には、障害物の方位を『右前方』と特定する。また、自車に対して（６）のエリアに障害物が位置する場合には、障害物の方位を『右後方』と特定する。尚、上記Ｓ１１が車両位置関係取得手段の処理に相当する。

次に、Ｓ１２においてＣＰＵ３１は、車内カメラ８によって運転席２５に座った運転者２６の顔を撮像し、撮像画像に所定の画像処理を施すことによって運転者の顔の向きを検出する。

続いて、Ｓ１３においてＣＰＵ３１は、前記Ｓ１１で取得した自車に対する障害物の方位と、前記Ｓ１２で取得した運転者の顔向きとに基づいて、音出力テーブルから該当する音像定位パターンを選択する。尚、音像定位パターンとは、障害物の警告を行う為に１段階又は複数段階の音像を定位させる方向を定義したパターンである。
ここで、図７は本実施形態に係る音出力テーブルを示した図である。図７に示すように、音出力テーブルは『障害物の方位』と『運転者の顔向き』との組合せに対して、一の音像定位パターンが対応する。

例えば、『障害物の方位』が運転席の左方向（図６の（１）エリア）であり、『運転者の顔向き』が運転席の前方向である場合には、運転席の左方向に音像を定位させるパターンが選択される。
また、『障害物の方位』が運転席の左方向（図６の（１）エリア）であり、『運転者の顔向き』が運転席の左方向である場合には、運転席の左方向に音像を定位させるパターンが選択される。
また、『障害物の方位』が運転席の左方向（図６の（１）エリア）であり、『運転者の顔向き』が運転席の右方向である場合には、第１段階として運転席の前方向に音像を定位させ、第２段階として運転席の左方向に音像を定位させるパターンが選択される。
また、『障害物の方位』が運転席の左前方向（図６の（２）エリア）であり、『運転者の顔向き』が運転席の前方向である場合には、第１段階として運転席の左方向に音像を定位させ、第２段階として運転席の前方向に音像を定位させるパターンが選択される。
また、『障害物の方位』が運転席の左前方向（図６の（２）エリア）であり、『運転者の顔向き』が運転席の左方向である場合には、運転席の前方向に音像を定位させるパターンが選択される。
また、『障害物の方位』が運転席の左前方向（図６の（２）エリア）であり、『運転者の顔向き』が運転席の右方向である場合には、運転席の前方向に音像を定位させるパターンが選択される。
また、『障害物の方位』が運転席の左後方向（図６の（３）エリア）であり、『運転者の顔向き』が運転席の前方向である場合には、第１段階として運転席の左方向に音像を定位させ、第２段階として運転席の後方向に音像を定位させるパターンが選択される。
また、『障害物の方位』が運転席の左後方向（図６の（３）エリア）であり、『運転者の顔向き』が運転席の左方向である場合には、運転席の後方向に音像を定位させるパターンが選択される。
また、『障害物の方位』が運転席の左後方向（図６の（３）エリア）であり、『運転者の顔向き』運転席の右方向である場合には、運転席の後方向に音像を定位させるパターンが選択される。
以下同様にして、各『障害物の方位』と『運転者の顔向き』との組合せに応じて、一の音像定位パターンが選択される（図７参照）。尚、上記Ｓ１３が方位選択手段の処理に相当する。

次に、Ｓ１４でＣＰＵ３１は、前記Ｓ１３で選択した音像定位パターンに基づいて、先ず第１段階の音像定位処理を行う。具体的には、ＣＰＵ３１は、各スピーカ９〜１２の出力を制御することにより、選択された音像定位パターンに基づく運転席２５の所定方向（図７参照）に音像を定位させる。尚、前記Ｓ１４における音像の定位方向はそのときの運転者の顔向きに対して必ず左右方向となる。
例えば、運転席２５の前方向に音像を定位させる場合には、ＣＰＵ３１は右前スピーカ９と左前スピーカ１１へと所定のタイミングで音声信号を入力し、運転席２５の前方向に位置する仮想音源２９（図３参照）を形成する。その結果、運転者２６は仮想音源２９から（即ち、運転席の前方向から）音が出力されたように認識する。
例えば、運転席２５の後方向に音像を定位させる場合には、ＣＰＵ３１は右後スピーカ１０と左後スピーカ１２へと所定のタイミングで音声信号を入力し、運転席２５の後方向に位置する仮想音源３０（図３参照）を形成する。その結果、運転者２６は仮想音源３０から（即ち、運転席の後方向から）音が出力されたように認識する。
また、運転席２５の左方向に音像を定位させる場合には、ＣＰＵ３１は左前スピーカ１１と左後スピーカ１２へと所定のタイミングで音声信号を入力し、運転席２５の左方向に位置する仮想音源２８（図３参照）を形成する。その結果、運転者２６は仮想音源２８から（即ち、運転席の左方向から）音が出力されたように認識する。
更に、運転席２５の右方向に音像を定位させる場合には、ＣＰＵ３１は右前スピーカ９と右後スピーカ１０へと所定のタイミングで音声信号を入力し、運転席２５の右方向に位置する仮想音源２７（図３参照）を形成する。その結果、運転者２６は仮想音源２７から（即ち、運転席の右方向から）音が出力されたように認識する。

その後、Ｓ１５においてＣＰＵ３１は、前記Ｓ１３で２段階警告を行う音像定位パターンが選択されたか否か判定する。そして、２段階警告を行う音像定位パターンが選択されたと判定された場合（Ｓ１５：ＹＥＳ）には、Ｓ１６へと移行する。一方、１段階のみの警告を行う音像定位パターンが選択されたと判定された場合（Ｓ１５：ＮＯ）には後述のＳ１６〜Ｓ１８の処理を行うことなく、Ｓ７へと移行する。

Ｓ１６においてＣＰＵ３１は車内カメラ８によって運転席２５に座った運転者２６の顔を撮像し、撮像画像に所定の画像処理を施すことによって運転者の顔の向きを検出する。尚、上記Ｓ１２及びＳ１６が顔向き検出手段の処理に相当する。

その後、Ｓ１７においてＣＰＵ３１は前記Ｓ１４で検出した運転者の顔向きが前記Ｓ１４で音像を定位させた方向（即ち、音を出力中の仮想音源の方向）となったか否か判定する。そして、運転者の顔向きが音像を定位させた方向となったと判定された場合（Ｓ１７：ＹＥＳ）には、Ｓ１８へと移行する。一方、運転者の顔向きが音像を定位させた方向となっていないと判定された場合、即ち、前記Ｓ１２で検出された顔向き方向に継続して顔が向いていると判定された場合（Ｓ１７：ＮＯ）にはＳ１４へと戻り、継続して第１段階の音像定位処理が行われる。尚、Ｓ１７の判定は運転者の顔向きではなく、第１段階の音像定位処理が行われてからの経過時間によって判定しても良い。その場合には、第１段階の音像定位処理が行われてから所定時間（例えば３ｓｅｃ）経過したと判定された場合にＳ１８へと移行する。

次に、Ｓ１８でＣＰＵ３１は、前記Ｓ１３で選択した音像定位パターンに基づいて、第２段階の音像定位処理を行う。具体的には、ＣＰＵ３１は、各スピーカ９〜１２の出力を制御することにより、選択された音像定位パターンに基づく運転席２５の所定方向（図７参照）に音像を定位させる。尚、処理内容の詳細については前記Ｓ１４と同様であるので、説明は省略する。その後、Ｓ７へと移行する。また、前記Ｓ１８における音像の定位方向は第１段階による音像定位後の運転者の顔向きに対して必ず左右方向となる。尚、上記Ｓ１４、Ｓ１７、Ｓ１８が音像定位手段の処理に相当し、上記Ｓ１４が第１音像定位手段の処理に相当し、上記Ｓ１８が第２音像定位手段の処理に相当する。

ここで、前記Ｓ１３〜Ｓ１８の処理について具体例を挙げてより詳細に説明する。
例えば、図８では自車両５１が駐車場５２内で空きスペース５３への駐車を開始した後に、左方向から他車両５４が接近し、且つそのときの運転者の顔向きが前方向である場合に行われる音像の定位処理を示す。
図８に示す状況では、前記Ｓ１３で運転席の左方向に音像を定位させる音像定位パターンが選択される。そして、前記Ｓ１４で仮想音源２８を形成し、運転席２５の左方向に音像を定位させる。それにより、運転者は他車両５４が左方向から接近することを明確に識別することが可能となる。尚、出力する音の内容としては、「ピー、ピー、・・・」といった電子音や、「障害物が接近しています」との音声案内等がある。また、音の出力は自車の駐車が完了するまで、或いは障害物との接触の虞がなくなるまで継続して行われる。

次に、図９では自車両５１が駐車場５２内で空きスペース５３への駐車を開始した後に、左前方向から他車両５４が接近し、且つそのときの運転者の顔向きが前方向である場合に行われる音像の定位処理を示す。
図９に示す状況では、前記Ｓ１３で第１段階として運転席の左方向に音像を定位させ、第２段階として運転席の前方向に音像を定位させるパターンが選択される。そして、前記Ｓ１４で先ず仮想音源２８を形成し、運転席２５の左方向に音像を定位させる。それにより、先ず運転席２５の左方向へと運転者の顔向きを移動させる。その後、前記Ｓ１８で仮想音源２９を形成し、運転席２５の前方向に音像を定位させる。それにより、運転者２６は運転席２５の前方向→左方向→前方向の順に顔向きを移動させることとなり、左前方に位置する他車両５４の存在を確実に認識することが可能となる。

次に、図１０では自車両５１が駐車場５２内で空きスペース５３への駐車を開始した後に、左後方向から他車両５４が接近し、且つそのときの運転者の顔向きが左方向である場合に行われる音像の定位処理を示す。
図１０に示す状況では、前記Ｓ１３で運転席の後方向に音像を定位させる音像定位パターンが選択される。そして、前記Ｓ１４で仮想音源３０を形成し、運転席２５の後方向に音像を定位させる。それにより、運転者２６は運転席２５の左方向→後方向の順に顔向きを移動させることとなり、左後方に位置する他車両５４の存在を確実に認識することが可能となる。

次に、図１１では自車両５１が駐車場５２内で空きスペース５３への駐車を開始した後に、右方向から他車両５４が接近し、且つそのときの運転者の顔向きが左方向である場合に行われる音像の定位処理を示す。
図１１に示す状況では、前記Ｓ１３で第１段階として運転席の前方向に音像を定位させ、第２段階として運転席の右方向に音像を定位させるパターンが選択される。そして、前記Ｓ１４で先ず仮想音源２９を形成し、運転席２５の前方向に音像を定位させる。それにより、先ず運転席２５の前方向へと運転者の顔向きを移動させる。その後、前記Ｓ１８で仮想音源２７を形成し、運転席２５の右方向に音像を定位させる。それにより、運転者２６は運転席２５の左方向→前方向→右方向の順に顔向きを移動させることとなり、右方に位置する他車両５４の存在を確実に認識することが可能となる。

次に、図１２では自車両５１が駐車場５２内で空きスペース５３への駐車を開始した後に、右前方向から他車両５４が接近し、且つそのときの運転者の顔向きが右方向である場合に行われる音像の定位処理を示す。
図１２に示す状況では、前記Ｓ１３で運転席の前方向に音像を定位させる音像定位パターンが選択される。そして、前記Ｓ１４で仮想音源２９を形成し、運転席２５の前方向に音像を定位させる。それにより、運転者２６は運転席２５の右方向→前方向の順に顔向きを移動させることとなり、右前方に位置する他車両５４の存在を確実に認識することが可能となる。

次に、図１３では自車両５１が駐車場５２内で空きスペース５３への駐車を開始した後に、右後方向から他車両５４が接近し、且つそのときの運転者の顔向きが前方向である場合に行われる音像の定位処理を示す。
図１３に示す状況では、前記Ｓ１３で第１段階として運転席の右方向に音像を定位させ、第２段階として運転席の後方向に音像を定位させるパターンが選択される。そして、前記Ｓ１４で先ず仮想音源２７を形成し、運転席２５の右方向に音像を定位させる。それにより、先ず運転席２５の右方向へと運転者の顔向きを移動させる。その後、前記Ｓ１８で仮想音源３０を形成し、運転席２５の後方向に音像を定位させる。それにより、運転者２６は運転席２５の前方向→右方向→後方向の順に顔向きを移動させることとなり、右後方に位置する他車両５４の存在を確実に認識することが可能となる。

以上のように、運転者の現在の顔向きと障害物の方位に基づいて、常に運転者の顔向きに対して左右方向に音源を定位させ、その結果、障害物の方位へと顔向きを変位させることにより、障害物の存在を運転者に案内することが可能となる。

以上詳細に説明した通り、本実施形態に係る障害物警告装置、障害物警告方法及び障害物警告装置で実行されるコンピュータプログラムによれば、車両周辺において障害物を検出した場合に、自車と検出した障害物との位置関係を取得するとともに（Ｓ１１）、運転者の顔向きを検出し（Ｓ１２）、自車に対する障害物の方位と運転者の顔向きとから音像の定位パターンを選択し（Ｓ１３）、選択した音像の定位パターンに基づいて１段階又は複数段階に区分して運転席の所定方向に音像を定位させる（Ｓ１４、Ｓ１８）ことにより、障害物の位置を特定させる為の音像を運転者の顔向きを考慮した方位に定位させるので、車両周辺にある障害物の位置を運転者に正確に把握させることが可能となる。従って、乗員の死角方向に障害物が存在する場合でも、それらの障害物の存在を乗員に事前に把握させ、安全に走行させることが可能となる。
また、特に２段階で障害物の警告を行う場合には、第１段階において音像を運転者の顔向きに対して左右方向に定位させ、その後の運転者の顔向きの変化を検出し、運転者の顔向きが左右方向へと向いた後に、第２段階においてその変化した運転者の顔向きに対して左右方向に音像を定位させる。従って、実際の運転者の顔向きの変化に合わせて音像の定位位置を変えることが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では障害物検出カメラ４〜７によって車両周辺に位置する障害物を検出することとしているが、カメラの代わりにミリ波レーダ、超音波レーダ等を用いて障害物を検出することとしても良い。

また、本実施形態では運転者の駐車意思を検出した場合に、車両に接近する障害物に対する警告処理（Ｓ３〜）を行うこととしているが、例えば、車両が駐車スペースから退出する場合や、車両がスクールゾーンに進入した場合や、交差点に接近した場合等に車両に接近する障害物に対する警告処理（Ｓ３〜）を行うこととしても良い。

また、本実施形態では、例えば運転席の『左』に音像を定位させる場合に、運転席２５の左方向に位置する仮想音源２８を形成することとしているが、運転者の左右方向にスピーカが設置されている場合には、それぞれのスピーカから音を出力させる構成としても良い。また、左前スピーカ１１と左後スピーカ１２とから同時に音を出力する構成としても良い。運転席の『右』、『前』、『後』に音像を定位させる場合についても同様である。

また、車内に設置するスピーカの数は４個に限られることなく、２個以上であれば本願発明を適用することが可能である。

本実施形態に係る障害物警告装置の概略構成図である。 本実施形態に係る障害物警告装置の制御系を模式的に示すブロック図である。 運転席と車内に設置された各スピーカ及び仮想音源の位置関係を示した模式図である。 本実施形態に係る障害物警告処理プログラムのフローチャートである。 本実施形態に係る音像定位処理のサブ処理プログラムのフローチャートである。 車両からの障害物の方位区分を示した説明図である。 音出力テーブルを示した図である。 運転者の顔向きが前向きであって、車両が左方向から接近する障害物を検出した際の音像の定位処理を示した説明図である。 運転者の顔向きが前向きであって、車両が左前方向から接近する障害物を検出した際の音像の定位処理を示した説明図である。 運転者の顔向きが左向きであって、車両が左後方向から接近する障害物を検出した際の音像の定位処理を示した説明図である。 運転者の顔向きが右向きであって、車両が右方向から接近する障害物を検出した際の音像の定位処理を示した説明図である。 運転者の顔向きが右向きであって、車両が右前方向から接近する障害物を検出した際の音像の定位処理を示した説明図である。 運転者の顔向きが前向きであって、車両が右後方向から接近する障害物を検出した際の音像の定位処理を示した説明図である。

符号の説明

１ 障害物警告装置
２ 車両
３ 運転支援ＥＣＵ
４〜７ 障害物検出カメラ
８ 車内カメラ
９〜１２ スピーカ
２５ 運転席
２６ 運転者
２７〜３０ 仮想音源
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ

Claims (6)

1. 運転者の顔向きを検出する顔向き検出手段と、
   車両周辺の障害物を検出する障害物検出手段と、
   前記障害物検出手段によって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得手段と、
   前記顔向き検出手段により検出された運転者の顔向きと前記車両位置関係取得手段により取得された位置関係とに基づいて、車両内において音像を定位させる方位を選択する方位選択手段と、
   前記方位選択手段により選択された方位に音像を定位させる音像定位手段と、を有することを特徴とする障害物警告装置。
2. 前記音像定位手段は、
   運転者の顔向きに対して左右方向に音像を定位させる第１音像定位手段と、
   前記第１音像定位手段により音像を定位させた後に、第１音像定位手段による音像の定位後の運転者の顔向きに対して左右方向に音像を定位させる第２音像定位手段と、
   を備えることを有することを特徴とする請求項１に記載の障害物警告装置。
3. 前記第１音像定位手段は、
   運転者の顔向きに対して左右方向に位置する音源の内、運転席から前記検出された障害物への方位と近い方位に位置する音源から音を出力することにより音像を定位させ、
   前記第２音像定位手段は、
   第１音像定位手段による音像の定位後の運転者の顔向きに対して左右方向に位置する音源の内、運転席から前記検出された障害物への方位と近い方位に位置する音源から音を出力することにより音像を定位させることを特徴とする請求項２に記載の障害物警告装置。
4. 前記音像定位手段は、前記第１音像定位手段により音像を定位させた後であって、前記顔向き検出手段で運転者の顔向きが前記第１音像定位手段により音像を定位させた方位となったことを検出した際に、前記第２音像定位手段により音像を定位させることを特徴とする請求項２又は請求項３に記載の障害物警告装置。
5. 運転者の顔向きを検出する顔向き検出ステップと、
   車両周辺の障害物を検出する障害物検出ステップと、
   前記障害物検出ステップによって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得ステップと、
   前記顔向き検出ステップにより検出された運転者の顔向きと前記車両位置関係取得ステップにより取得された位置関係とに基づいて、車両内において音像を定位させる方位を選択する方位選択ステップと、
   前記方位選択ステップにより選択された方位に音像を定位させる音像定位ステップと、を有することを特徴とする障害物警告方法。
6. コンピュータに搭載され、
   運転者の顔向きを検出する顔向き検出機能と、
   車両周辺の障害物を検出する障害物検出機能と、
   前記障害物検出機能によって障害物が検出された場合に、前記検出された障害物と前記車両との位置関係を取得する車両位置関係取得機能と、
   前記顔向き検出機能により検出された運転者の顔向きと前記車両位置関係取得機能により取得された位置関係とに基づいて、車両内において音像を定位させる方位を選択する方位選択機能と、
   前記方位選択機能により選択された方位に音像を定位させる音像定位機能と、
   を実行させることを特徴とするコンピュータプログラム。

Images