JP2020013369A - 運転支援装置、運転支援システム、及び運転支援プログラム - Google Patents

Abstract

【課題】車両の周囲に運転者が警戒すべき警戒対象が複数ある場合、優先順位の高い警戒対象を強調して表示する。【解決手段】警戒対象検出部１１は、少なくとも車両の周囲が撮像された撮像画像を用いて、車両の運転者が警戒すべき警戒対象を２つ以上検出し、検出した各警戒対象の優先順位を判定する。画像生成部１２は、撮像画像のうちの各警戒対象に対応する撮像画像を抽出すると共に優先順位が高い警戒対象に対応する撮像画像を強調して表示用画像を生成する。【選択図】図１

Description

この発明は、車両における運転支援装置、運転支援システム、及び運転支援プログラムに関するものである。

従来、車両周囲における警戒すべき箇所の情報を運転者に提供する手段として、車両後方を撮像するバックカメラ若しくは車両周囲を撮像するアラウンドビューカメラの映像表示、又は超音波センサを利用した警戒すべき方向の警告等が挙げられる。前者は、映像表示機能はあるが、警戒すべき箇所を指示する機能はないことが多い。後者は、車両周囲における警戒すべき方向と距離とを警告する機能はあるが、障害物と接触しそうな箇所の表示及び脱輪の警告等の機能がない。

特許文献１に係る車両周辺監視装置は、車両周囲の側溝、縁石及び障害物等の警戒対象を撮像映像から抽出し、抽出した警戒対象と車両との位置関係を示す簡略化された図形を表示する。

特開２００７−１４２７６５号公報

従来の運転支援装置は以上のように構成されているので、警戒対象が複数ある場合、運転者が総合的に警戒すべき箇所を判断した上で車両を運転する必要があるため、運転者の技術及び経験が求められるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、車両の周囲に運転者が警戒すべき警戒対象が複数ある場合、優先順位の高い警戒対象を強調して表示することを目的とする。

この発明に係る運転支援装置は、少なくとも車両の周囲が撮像された撮像画像を用いて、車両の運転者が警戒すべき警戒対象を２つ以上検出し、検出した各警戒対象の優先順位を判定する警戒対象検出部と、撮像画像のうちの各警戒対象に対応する撮像画像を抽出すると共に優先順位が高い警戒対象に対応する撮像画像を強調して表示用画像を生成する画像生成部とを備えるものである。

この発明によれば、撮像画像のうちの各警戒対象に対応する撮像画像を抽出すると共に優先順位が高い警戒対象に対応する撮像画像を強調して表示用画像を生成するようにしたので、車両の周囲に運転者が警戒すべき警戒対象が複数ある場合、優先順位の高い警戒対象を強調して表示することができる。

実施の形態１に係る運転支援システムの構成例を示すブロック図である。 実施の形態１における画面表示の一例を示す図である。 実施の形態１における画面表示の別の例を示す図である。 実施の形態１に係る運転支援装置の動作例を示すフローチャートである。 実施の形態１に係る運転支援装置のハードウェア構成の一例を示す図である。 実施の形態１に係る運転支援装置のハードウェア構成の別の例を示す図である。

実施の形態１．
図１は、実施の形態１に係る運転支援システムの構成例を示すブロック図である。運転支援システムは、車両周囲を撮像するカメラ、運転支援装置１０、表示装置４、及びスピーカを含む。運転支援装置１０は、警戒対象検出部１１、画像生成部１２、及び音声制御部１３を含む。

カメラは、図１の例では車両の右側方を撮像する右サイドカメラ１ａと、車両の左側方を撮像する左サイドカメラ１ｂと、車両の前方を撮像するフロントカメラ１ｃと、車両の後方を撮像するバックカメラ１ｄとを含むが、これらに限定されるものではなく、アラウンドビューカメラ等であってもよい。表示装置４は、ダッシュボード又はインスツルメントパネルに設置されたディスプレイ、又は電子ミラーのディスプレイ等である。スピーカは、図１の例では車両の右前方ドア付近に設置された右フロントスピーカ５ａと、左前方ドア付近に設置された左フロントスピーカ５ｂと、右後方ドア付近に設置された右リアスピーカ５ｃと、左後方ドア付近に設置された左リアスピーカ５ｄとを含むが、これらに限定されない。

また、図１の例では、運転支援システムは、車両周囲の障害物を検出する障害物検出装置２と、車両の状態を検出する車両センサ３とを含む。障害物検出装置２は、例えば、車両前後に設置された複数の超音波センサを用いて、車両周囲に存在する壁、他車両、及び縁石等の障害物を検出し、検出した障害物の高さ及び車両から障害物までの距離を検出する。車両センサ３は、車両の速度、シフトポジション、操舵角、又はサイドミラー角度のうちの少なくとも１つを検出する。

警戒対象検出部１１は、右サイドカメラ１ａ、左サイドカメラ１ｂ、フロントカメラ１ｃ、及びバックカメラ１ｄにより撮像された画像を用いて、車両の運転者が警戒すべき警戒対象を１つ以上検出する。なお、警戒対象検出部１１は、警戒対象を２つ以上検出した場合、検出した各警戒対象の警戒すべき優先順位を判定する。警戒対象検出部１１は、撮像画像と、撮像画像における警戒対象の位置を示す情報と、警戒対象の優先順位とを、画像生成部１２へ出力する。また、警戒対象検出部１１は、優先順位が最も高い警戒対象の位置を示す情報を、音声制御部１３へ出力する。

警戒対象は、車両が接触する可能性がある壁及び他車両等、並びに、車両が脱輪する可能性がある側溝及び縁石等である。警戒対象検出部１１は、例えば、ピントをずらした複数の画像を比較することにより被写体までの距離を検出する空間認識技術を用いて、警戒対象を検出すると共に車両から警戒対象までの距離を検出する。

また、警戒対象検出部１１は、右サイドカメラ１ａ、左サイドカメラ１ｂ、フロントカメラ１ｃ、及びバックカメラ１ｄにより撮像された画像に加えて、障害物検出装置２により検出された障害物の高さ及び障害物までの距離を用いて、車両が接触する可能性がある警戒対象及び車両が脱輪する可能性がある警戒対象を検出してもよい。

また、警戒対象検出部１１は、車両との距離が近い警戒対象ほど優先順位を高くする。警戒対象検出部１１は、優先順位を判定する際、車両センサ３により検出される操舵角又はサイドミラー角度を用いてもよい。例えば、警戒対象検出部１１は、操舵角に基づき、車両が遠ざかる方向に位置する警戒対象の優先順位を低くし、車両が近づく方向に位置する警戒対象の優先順位を高くする。また、警戒対象検出部１１は、車両が近づく方向に複数の警戒対象が位置する場合、車両により近い警戒対象の優先順位をより高くする。また、例えば、警戒対象検出部１１は、サイドミラー角度に基づき、車体からのサイドミラー最外部を求め、サイドミラー最外部と当該サイドミラーと同じ高さに位置する警戒対象との間の距離を補正する。

また、警戒対象検出部１１は、車両センサ３により検出される車速又はシフトポジションに基づき、車両が走行している間だけ警戒対象の検出を行い、車両が停止している間は警戒対象の検出を停止してもよい。また、警戒対象検出部１１は、車両センサ３により検出されるシフトポジションに基づき、車両が前方に進む場合は車両後方の警戒対象の検出を停止し、車両が後方に進む場合は車両前方の警戒対象の検出を停止してもよい。

画像生成部１２は、撮像画像と、撮像画像における警戒対象の位置を示す情報と、警戒対象の優先順位とを、警戒対象検出部１１から受け取る。画像生成部１２は、警戒対象検出部１１から受け取ったこれらの情報に基づき、撮像画像の中から各警戒対象に対応する撮像画像を抽出し、抽出した撮像画像を合成し、１つの表示用画像を生成する。また、画像生成部１２は、表示用画像のうちの優先順位が高い警戒対象に対応する撮像画像を強調する。画像生成部１２は、生成した表示用画像を表示装置４へ出力し、表示装置４に表示させる。なお、画像生成部１２は、警戒対象が２つ以上ある場合、２つ以上の警戒対象に対応する２つ以上の撮像画像を表示用画像として抽出し、抽出した２つ以上の撮像画像を同時に、かつ、並べた状態に、表示装置４に表示させるようにしてもよい。

画像生成部１２は、優先順位が高い警戒対象に対応する撮像画像を色付き枠で囲う、当該色付き枠を点滅させる、又は優先順位が高い警戒対象に対応する撮像画像を優先順位が低い警戒対象に対応する画像より大きくするといった方法により、優先順位が高い警戒情報に対応する撮像画像を強調する。また、画像生成部１２は、優先順位が最も高い警戒対象に対応する撮像画像をカラー画像にし、その他の撮像画像をグレースケール画像にしてもよい。強調方法は、優先順位が高い警戒対象の撮像画像が、優先順位が低い警戒対象の撮像画像よりも強調される方法であればよい。

図２は、実施の形態１における画面表示の一例を示す図である。図２の表示用画像は、右サイドカメラ１ａの撮像画像から優先順位が最も高い警戒対象が検出され、左サイドカメラ１ｂ及びバックカメラ１ｄの撮像画像から優先順位が低い警戒対象が検出され、一方、フロントカメラ１ｃの撮像画像からは警戒対象が検出されなかった場合の表示用画像である。この表示用画像において、優先順位が最も高い警戒対象に対応する右サイドカメラ１ａの撮像画像が、他の撮像画像より大きくなっており、強調されている。

図３は、実施の形態１における画面表示の別の例を示す図である。図３の表示用画像は、右サイドカメラ１ａの撮像画像から優先順位が最も高い警戒対象が検出され、バックカメラ１ｄの撮像画像から優先順位が低い警戒対象が検出され、一方、左サイドカメラ１ｂ及びフロントカメラ１ｃの撮像画像からは警戒対象が検出されなかった場合の表示用画像である。この表示用画像において、優先順位が最も高い警戒対象に対応する右サイドカメラ１ａの撮像画像が、色付き枠で囲われており、強調されている。この色付き枠は、赤色のような目立つ色であることが好ましい。

また、画像生成部１２は、接触及び脱輪等の警戒の種別に応じて、撮像画像の強調方法を変更してもよい。例えば、画像生成部１２は、優先順位が最も高い警戒対象の種別が接触である場合、図２に示される強調方法の表示用画像を生成し、優先順位が最も高い警戒対象の種別が脱輪である場合、図３に示される強調方法の表示用画像を生成する。また、画像生成部１２は、接触及び脱輪等の警戒の種別に応じて、色付き枠の色を変更してもよい。

音声制御部１３は、優先順位が最も高い警戒対象の位置を示す情報を、警戒対象検出部１１から受け取る。音声制御部１３は、警戒対象検出部１１から受け取った情報に基づき、右フロントスピーカ５ａ、左フロントスピーカ５ｂ、右リアスピーカ５ｃ、及び左リアスピーカ５ｄの中から優先順位が最も高い警戒対象の位置に最も近いスピーカを選択する。そして、音声制御部１３は、選択したスピーカから警告音を出力させる。例えば、優先順位が最も高い警戒対象が車両の右後方で検出された場合、音声制御部１３は、右リアスピーカ５ｃから警告音を出力させる。また、例えば、優先順位が最も高い警戒対象が車両の前方中央で検出された場合、音声制御部１３は、右フロントスピーカ５ａと左フロントスピーカ５ｂとから警告音を出力させる。

また、音声制御部１３は、接触及び脱輪等の警戒の種別に応じて、警告音の種類を変更してもよい。また、音声制御部１３は、車両と警戒対象との間の距離に応じて、警告音の種類を変更してもよい。

次に、運転支援装置１０の動作を説明する。
図４は、実施の形態１に係る運転支援装置１０の動作例を示すフローチャートである。例えば、警戒対象検出部１１は、車両が走行を開始した場合、図４のフローチャートに示される動作を開始し、車両が走行している間、図４のフローチャートに示される動作を繰り返す。

ステップＳＴ１において、警戒対象検出部１１は、少なくとも、右サイドカメラ１ａ、左サイドカメラ１ｂ、フロントカメラ１ｃ、及びバックカメラ１ｄの撮像画像を用いて、車両周囲の警戒対象を検出する。警戒対象検出部１１は、警戒対象を１つ以上検出した場合（ステップＳＴ１“ＹＥＳ”）、ステップＳＴ２へ進み、それ以外の場合（ステップＳＴ１“ＮＯ”）、ステップＳＴ１を繰り返す。

ステップＳＴ２において、警戒対象検出部１１は、ステップＳＴ１で検出した警戒対象が１つである場合（ステップＳＴ２“ＹＥＳ”）、ステップＳＴ３へ進み、ステップＳＴ１で検出した警戒対象が２つ以上である場合（ステップＳＴ２“ＮＯ”）、ステップＳＴ５へ進む。

ステップＳＴ３において、画像生成部１２は、警戒対象検出部１１により検出された１つの警戒対象に対応する撮像画像を、表示用画像として表示装置４に表示させる。

ステップＳＴ４において、音声制御部１３は、警戒対象検出部１１により検出された１つの警戒対象の位置に最も近いスピーカを選択し、選択したスピーカから警告音を出力させる。

ステップＳＴ５において、警戒対象検出部１１は、ステップＳＴ１で検出した２つ以上の警戒対象の優先順位を判定する。

ステップＳＴ６において、画像生成部１２は、警戒対象検出部１１により検出された２つ以上の警戒対象のそれぞれに対応する２つ以上の撮像画像を抽出して合成した表示用画像を生成する。また、画像生成部１２は、表示用画像において、優先順位が高い警戒対象に対応する撮像画像を、優先順位が低い警戒対象に対応する撮像画像より強調する。そして、画像生成部１２は、表示用画像を表示装置４に表示させる。なお、上述したように、画像生成部１２は、抽出した２つ以上の撮像画像を合成して１つの表示用画像を生成してもよいし、抽出した２つ以上の撮像画像を表示用画像として並べて同時に表示装置４に表示させてもよい。

ステップＳＴ７において、画像生成部１２は、警戒対象検出部１１により検出された２つ以上の警戒対象のうち、優先順位が最も高い警戒対象に最も近いスピーカを選択し、選択したスピーカから警告音を出力させる。

ステップＳＴ８において、警戒対象検出部１１は、ステップＳＴ１で検出した全警戒対象が非警戒対象になった場合、警戒解除の通知を画像生成部１２及び音声制御部１３へ出力する。画像生成部１２は、警戒解除の通知を警戒対象検出部１１から受け取ると、表示用画像の表示を停止する。音声制御部１３は、警戒解除の通知を警戒対象検出部１１から受け取ると、警告音の出力を停止する。

図５及び図６は、実施の形態１に係る運転支援装置１０のハードウェア構成例を示す図である。運転支援装置１０における警戒対象検出部１１、画像生成部１２、及び音声制御部１３の機能は、処理回路により実現される。即ち、運転支援装置１０は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。

図５に示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。警戒対象検出部１１、画像生成部１２、及び音声制御部１３の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。

図６に示されるように、処理回路がプロセッサ１０１である場合、警戒対象検出部１１、画像生成部１２、及び音声制御部１３の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、運転支援装置１０は、プロセッサ１０１により実行されるときに、図４のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、警戒対象検出部１１、画像生成部１２、及び音声制御部１３の手順又は方法をコンピュータに実行させるものであるとも言える。

ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性若しくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

なお、警戒対象検出部１１、画像生成部１２、及び音声制御部１３の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、運転支援装置１０における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。

以上のように、実施の形態１に係る運転支援装置１０は、警戒対象検出部１１及び画像生成部１２を備える。警戒対象検出部１１は、少なくとも車両の周囲が撮像された撮像画像を用いて、車両の運転者が警戒すべき警戒対象を２つ以上検出し、検出した各警戒対象の優先順位を判定する。画像生成部１２は、撮像画像のうちの各警戒対象に対応する撮像画像を抽出すると共に優先順位が高い警戒対象に対応する撮像画像を強調して表示用画像を生成する。これにより、運転支援装置１０は、車両の周囲に運転者が警戒すべき警戒対象が複数ある場合、優先順位の高い警戒対象を強調して表示することができる。従来は、警戒対象が複数ある場合、運転者が総合的に警戒すべき箇所を判断する必要があったため、運転者の運転技術及び経験が求められた。これに対し、実施の形態１では、警戒対象が複数ある場合、優先順位が高い警戒対象が強調されるので、運転者の判断が不要となり、運転者に求められていた運転技術及び経験のハードルが下がる。結果、運転者は、より直観的に警戒対象の把握ができ、かつ、警戒対象回避のための運転へ意識を集中させることができる。

また、実施の形態１の画像生成部１２は、優先順位が高い警戒対象に対応する撮像画像を色付き枠で囲う、当該色付き枠を点滅させる、又は優先順位が高い警戒対象に対応する撮像画像を優先順位が低い警戒対象に対応する撮像画像より大きくする。これにより、画像生成部１２は、優先順位が高い警戒対象に対応する撮像画像を強調することができる。

また、実施の形態１に係る運転支援装置１０は、車両に搭載された複数のスピーカの中から、優先順位が最も高い警戒対象の位置に近いスピーカを選択して警告音を出力するよう制御する音声制御部１３を備える。これにより、運転支援装置１０は、警戒対象の位置を、運転者に直観的に通知することができる。

また、実施の形態１の警戒対象検出部１１は、車両との距離が近い警戒対象ほど優先順位を高くする。これにより、運転支援装置１０は、早急に回避が必要な警戒対象を、優先して運転者に通知することができる。

なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、又は実施の形態の任意の構成要素の省略が可能である。

１ａ 右サイドカメラ、１ｂ 左サイドカメラ、１ｃ フロントカメラ、１ｄ バックカメラ、２ 障害物検出装置、３ 車両センサ、４ 表示装置、５ａ 右フロントスピーカ、５ｂ 左フロントスピーカ、５ｃ 右リアスピーカ、５ｄ 左リアスピーカ、１０ 運転支援装置、１１ 警戒対象検出部、１２ 画像生成部、１３ 音声制御部、１００ 処理回路、１０１ プロセッサ、１０２ メモリ。

Claims (6)

1. 少なくとも車両の周囲が撮像された撮像画像を用いて、前記車両の運転者が警戒すべき警戒対象を２つ以上検出し、検出した各警戒対象の優先順位を判定する警戒対象検出部と、
   前記撮像画像のうちの前記各警戒対象に対応する撮像画像を抽出すると共に優先順位が高い警戒対象に対応する撮像画像を強調して表示用画像を生成する画像生成部とを備える運転支援装置。
2. 前記画像生成部は、優先順位が高い警戒対象に対応する撮像画像を色付き枠で囲う、当該色付き枠を点滅させる、又は優先順位が高い警戒対象に対応する撮像画像を優先順位が低い警戒対象に対応する撮像画像より大きくすることを特徴とする請求項１記載の運転支援装置。
3. 前記車両に搭載された複数のスピーカの中から、優先順位が最も高い警戒対象の位置に近いスピーカを選択して警告音を出力するよう制御する音声制御部を備える請求項１記載の運転支援装置。
4. 前記警戒対象検出部は、前記車両との距離が近い警戒対象ほど優先順位を高くすることを特徴とする請求項１記載の運転支援装置。
5. 請求項１から請求項４のうちのいずれか１項記載の運転支援装置と、
   前記運転支援装置により生成された表示用画像を表示する表示装置とを備えることを特徴とする運転支援システム。
6. 少なくとも車両の周囲が撮像された撮像画像を用いて、前記車両の運転者が警戒すべき警戒対象を２つ以上検出し、検出した各警戒対象の優先順位を判定する警戒対象検出手順と、
   前記撮像画像のうちの前記各警戒対象に対応する撮像画像を抽出すると共に優先順位が高い警戒対象に対応する撮像画像を強調して表示用画像を生成する画像生成手順とを、コンピュータに実行させる運転支援プログラム。

Images