JP2018076019A - 画像処理装置 - Google Patents

Abstract

【課題】運転者の視線移動を小さくできる画像処理装置を提供する。【解決手段】画像処理装置は、移動体の運転者の顔または視線の向き、または、方向指示部材が指示する前記移動体の進行方向を検出する検出部と、前記移動体の進行方向を変更する操舵部よりも前に設けられて画像を表示する表示装置に表示されている前記移動体の後方の周辺の画像を含む周辺画像のうち、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記方向指示部材が指示する前記進行方向側の前記周辺画像の表示形態を変更する画像生成部と、を備える。【選択図】図３

Description

本発明は、画像処理装置に関する。

車両等の移動体の周辺の画像を移動体に設けられた装備に表示させる技術が知られている。

特開２０１０−１６５０８７号公報

しかしながら、移動体の後方の周辺の画像を見る場合、運転者の視線移動が大きいといった課題がある。

本発明は、上記に鑑みてなされたものであって、車両の後方の周辺の画像を見る場合において、運転者の視線移動を小さくできる画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、移動体の運転者の顔または視線の向き、または、方向指示部材が指示する前記移動体の進行方向を検出する検出部と、前記移動体の進行方向を変更する操舵部よりも前に設けられて画像を表示する表示装置に表示されている前記移動体の後方の周辺の画像を含む周辺画像のうち、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記方向指示部材が指示する前記進行方向側の前記周辺画像の表示形態を変更する画像生成部と、を備える。

このように、画像処理装置では、画像生成部が、操舵部よりも前に設けられた表示装置に移動体の後方の周辺の画像を含む周辺画像を表示させている。これにより、画像処理装置は、当該周辺画像によって後方を見る際の運手者の視線移動を小さくできる。また、画像生成部が、運転者の視線方向上の周辺画像または移動体の進行方向側の周辺画像の表示形態を変更するので、画像処理装置は、運転手が見ている周辺画像または運転手が進行方向を変える際に見る周辺画像を、見やすく提供できる。

また、本発明の画像処理装置の前記画像生成部は、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記進行方向側の前記周辺画像を拡大して前記表示形態を変更してもよい。

このように、画像処理装置は、周辺画像を拡大しているので、移動体の周辺の小さい物体（例えば他の移動体）を含む周辺画像を、運転者により見やすく提供できる。

また、本発明の画像処理装置の前記画像生成部は、前記周辺画像の拡大に伴って、前記顔または前記視線が向けられていない領域の前記周辺画像または前記進行方向と異なる側の前記周辺画像を、縮小して空いた領域に前記移動体に関する計測値を示す前記計器画像を前記表示装置に表示させてもよい。

これにより、画像処理装置は、周辺画像とともに、計器画像も見やすくすることができる。

また、本発明の画像処理装置の前記画像生成部は、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記進行方向側の前記周辺画像を明るくして前記表示形態を変更してもよい。

このように、画像処理装置は、周辺画像を明るくすることによって、暗い場所でも運転者により見やすい周辺画像を提供できる。

図１は、実施形態の車両の車室内のダッシュボード近傍の図である。 図２は、車両の制御系を示すブロック図である。 図３は、画像処理装置として機能するＥＣＵの機能を説明するブロック図である。 図４は、制御部が実行する画像処理のフローチャートである。 図５は、通常状態の表示画像の一例を示す図である。 図６は、周辺画像を拡大して表示形態を変更した表示画像の例を示す図である。 図７は、周辺画像を拡大して表示形態を変更した表示画像の他の例を示す図である。 図８は、周辺画像を明るくして表示形態を変更した表示画像の他の例を示す図である。

以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。

＜実施形態＞
図１は、実施形態の車両１０の車室内のダッシュボード近傍の図である。車両１０は、移動体の一例である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

図１に示すように、車両１０は、操舵部１２と、方向指示部材１４と、モニタ装置１６と、表示装置の一例である計器表示装置１８と、車内撮像部２０とを備える。

操舵部１２は、車輪を転舵させて車両１０の進行方向を変更させるために運転者が操作する部材である。操舵部１２の一例は、運転席の前方に設けられたステアリングホイールまたはハンドルである。

方向指示部材１４は、車両１０の側部（例えば、ドアミラー２２）に設けられた方向指示器（即ち、ウィンカー）２４を点灯させて、車両１０の進行方向を示すために運転者が操作する部材である。方向指示部材１４は、方向指示レバーまたは方向指示スイッチとも呼ばれる。方向指示部材１４は、運転者によって左右方向のいずれかに回転させられると、当該回転方向に応じた方向指示器２４を点滅させる。

モニタ装置１６は、画像及び音声を出力するとともに、運転者を含む乗員からの入力を受け付ける。モニタ装置１６は、中央表示装置２６と、音声出力装置２８と、操作入力部３０とを有する。中央表示装置２６は、操舵部１２よりも前に設けられている。中央表示装置２６は、例えば、画像を表示可能な液晶表示装置である。中央表示装置２６は、ナビゲーションシステムの道案内等の画像を表示する。音声出力装置２８は、例えば、スピーカである。音声出力装置２８は、道案内等の音声を出力する。操作入力部３０は、例えば、中央表示装置２６の画像を透過可能なタッチパネルである。操作入力部３０は、中央表示装置２６の表面に設けられている。操作入力部３０は、運転者を含む乗員からの入力を受け付ける。

計器表示装置１８は、ダッシュボード３２の内部であって、操舵部１２よりも前に設けられている。計器表示装置１８は、例えば、画像を表示可能な液晶表示装置である。計器表示装置１８は、車両１０に関する計測値を示す計器画像ＭＰを表示する。計器画像ＭＰの一例は、車両１０の速度を示すスピードメータの画像である。計器画像ＭＰの他の例は、車両１０のエンジンの回転数を示すタコメータの画像である。また、計器表示装置１８は、少なくとも車両１０の後方の周辺の画像を含む周辺画像ＣＰを表示する。これにより、計器表示装置１８は、車両１０の後方を映す電子ミラーとしての機能を有する。尚、周辺画像ＣＰは、車両１０の斜め後方、及び、車両１０の側方の状況を示す画像を含んでもよい。計器表示装置１８は、後述する条件に従って、周辺画像ＣＰの表示形態を変更する。以下の説明において、計器表示装置１８が表示する計器画像ＭＰ及び周辺画像ＣＰを含む画像を表示画像ＤＰと記載する。

車内撮像部２０は、例えば、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等を有するデジタルカメラである。車内撮像部２０は、例えば、操舵部１２の前方のダッシュボード３２の上面に設置されている。車内撮像部２０は、後方に向けられている。これにより、車内撮像部２０は、操舵部１２の後方に着座している運転者の少なくとも眼の部分を含む顔を撮像して、運転者の撮像画像（以下、顔画像）の撮像画像データを生成する。尚、車内撮像部２０は、運転者の顔画像（好ましくは、運転者の顔の正面の画像）を撮像できれば、いずれの位置（例えば、操舵部１２、コンソールの前方、フロントガラスの上部等）に配置されていてもよい。

図２は、車両１０の制御系を示すブロック図である。図２に示すように、車両１０は、１または複数の周辺撮像部３４と、車輪速センサ３６と、回転数センサ３８と、位置センサ３９と、ＥＣＵ（Electronic Control Unit）４０と、車内ネットワーク４２とを更に備える。ＥＣＵ４０は、画像処理装置５０の一例である。例えば、車内撮像部２０、周辺撮像部３４、計器表示装置１８、方向指示部材１４、及び、ＥＣＵ４０は、画像処理システム５２として機能する。

周辺撮像部３４は、例えば、ＣＣＤまたはＣＭＯＳセンサ等を有するデジタルカメラである。周辺撮像部３４は、広角レンズまたは魚眼レンズを有し、水平方向で１４０°〜１９０°の範囲を撮影することができる。周辺撮像部３４は、車両１０の外周部に設けられている。例えば、周辺撮像部３４は、車両１０の後端の中央部に設けられている。これにより、周辺撮像部３４は、車両１０の後方の周辺を広角で撮像して、車両１０の後方及び後方の左右近傍の画像を含む周辺画像の撮像画像データを生成する。周辺撮像部３４は、周辺画像の撮像画像データをＥＣＵ４０へ出力する。

方向指示部材１４は、運転者によって操作されると、操作の方向（または方向指示部材１４の位置）を示す方向信号を、車内ネットワーク４２を介して、ＥＣＵ４０へ出力する。

車輪速センサ３６は、車両１０の速度を算出するための車輪の回転量または単位時間当たりの回転数を検出するセンサである。車輪速センサ３６は、例えば、ホール素子などを用いて構成される。車輪速センサ３６は、検出した回転数を示す車輪速パルス数を示すセンサ値を、車内ネットワーク４２を介して、ＥＣＵ４０へ出力する。

回転数センサ３８は、エンジンまたはモータ等の駆動源によって回転される駆動軸の回転数を検出するセンサである。回転数センサ３８は、例えば、ロータリーエンコーダー等によって検出した駆動軸の回転数を、車内ネットワーク４２を介して、ＥＣＵ４０へ出力する。

位置センサ３９は、操舵部１２の近傍に設けられている。位置センサ３９は、操舵部１２の回転位置を検出する。位置センサ３９は、検出した操舵部１２の回転位置を、車内ネットワーク４２を介して、ＥＣＵ４０へ出力する。

ＥＣＵ４０は、例えば、コンピュータである。本実施形態では、ＥＣＵ４０は、ハードウェアとソフトウェア（即ち、プログラム）が協働することにより、車両１０の制御全般を司る。

ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）４０ａと、ＲＯＭ（Read Only Memory）４０ｂと、ＲＡＭ（Random Access Memory）４０ｃと、表示制御部４０ｄと、音声制御部４０ｅと、ＳＳＤ（Solid State Drive）４０ｆとを備える。ＣＰＵ４０ａ、ＲＯＭ４０ｂ及びＲＡＭ４０ｃは、同一パッケージ内に集積されていてもよい。

ＣＰＵ４０ａは、ハードウェアプロセッサの一例であって、ＲＯＭ４０ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。ＲＯＭ４０ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ４０ｃは、ＣＰＵ４０ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部４０ｄは、ＥＣＵ４０での演算処理のうち、主として、車内撮像部２０及び周辺撮像部３４で得られた画像の画像処理、及び、計器表示装置１８及び中央表示装置２６に表示させる表示用の画像のデータ変換等を実行する。音声制御部４０ｅは、ＥＣＵ４０での演算処理のうち、主として、音声出力装置２８に出力させる音声の処理を実行する。ＳＳＤ４０ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ４０の電源がオフされた場合にあってもデータを維持する。

車内ネットワーク４２は、例えば、ＣＡＮ（Controller Area Network）である。車内ネットワーク４２は、方向指示部材１４と、車輪速センサ３６と、回転数センサ３８と、位置センサ３９と、ＥＣＵ４０と、操作入力部３０とを制御信号及び操作内容等の信号及び情報を送受信可能に電気的に接続する。

図３は、画像処理装置５０として機能するＥＣＵ４０の機能を説明するブロック図である。

図３に示すように、ＥＣＵ４０は、制御部５４と、記憶部５６とを有する。制御部５４は、ＣＰＵ４０ａ、表示制御部４０ｄ、及び、音声制御部４０ｅの機能として実現される。記憶部５６は、ＲＯＭ４０ｂ、ＲＡＭ４０ｃ、及び、ＳＳＤ４０ｆの機能として実現される。

制御部５４は、検出部６０と、画像生成部６２とを有する。制御部５４は、画像処理用のプログラムを読み込むことによって、検出部６０及び画像生成部６２として機能する。検出部６０及び画像生成部６２の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）を含む回路等のハードウェアによって構成してもよい。

検出部６０は、車両１０の運転者の少なくとも眼を含む顔を撮像した撮像画像のデータを車内撮像部２０から取得する。検出部６０は、取得した撮像画像内の顔画像に基づいて、車両１０の運転者の顔または視線の向きとともに、運転者の顔または眼の位置を検出する。尚、以下の説明において、顔または眼の位置を“基準点”と記載し、顔または視線の向きを“視線方向”と記載する。検出部６０は、検出した基準点及び視線方向を画像生成部６２へ出力する。検出部６０は、方向指示部材１４が操作されると、方向指示部材１４が操作された方向（または、方向指示部材１４の位置）を示す方向信号から、方向指示部材１４が指示する車両１０の進行方向を検出する。検出部６０は、検出した車両１０の進行方向を画像生成部６２へ出力する。検出部６０は、方向指示部材１４が操作された後、操舵部１２の回転位置を位置センサ３９から取得して、画像生成部６２へ出力する。

画像生成部６２は、計器表示装置１８に表示する表示画像ＤＰを生成して、計器表示装置１８に表示させる。例えば、画像生成部６２は、表示画像ＤＰに含める車両１０に関する計測値を示す計器画像ＭＰを生成する。具体的には、画像生成部６２は、車輪速センサ３６から取得したセンサ値から算出した車両１０の速度を示すスピードメータの画像である計器画像ＭＰを生成する。車両１０の速度は、計測値の一例である。画像生成部６２は、回転数センサ３８から取得した回転数を示すタコメータの画像である計器画像ＭＰを生成する。回転数は、計測値の一例である。また、画像生成部６２は、表示画像ＤＰに含める周辺画像ＣＰを生成する。具体的には、画像生成部６２は、周辺撮像部３４から取得した周辺画像ＣＰに歪み除去またはトリミング等の画像処理を実行して、表示画像ＤＰに含める周辺画像ＣＰを生成する。

画像生成部６２は、予め設定された条件に基づいて、表示画像ＤＰの計器画像ＭＰまたは周辺画像ＣＰの表示形態を変更する。表示形態は、例えば、画像の大きさ、及び、画像の明度等である。以下の説明において、画像生成部６２が表示形態を変更する前の表示画像ＤＰの状態を通常状態とする。画像生成部６２が表示形態を変更した後の表示画像ＤＰの状態を変更状態とする。例えば、画像生成部６２は、表示画像ＤＰに含まれる周辺画像ＣＰのうち、検出部６０から取得した基準点から視線方向上の領域（以下、変更領域）の周辺画像ＣＰの表示形態を変更する。画像生成部６２は、例えば、強調表示によって表示形態を変更する。視線方向上の領域である変更領域は、顔または視線が向けられた領域の一例である。画像生成部６２は、表示画像ＤＰが複数の周辺画像ＣＰを含む場合、複数の周辺画像ＣＰのうち視線方向と交差する周辺画像ＣＰの全域を変更領域としてよい。また、画像生成部６２は、視線方向が表示画像ＤＰと交差する位置を含む予め定められた範囲を変更領域としてもよい。

例えば、画像生成部６２は、当該変更領域の周辺画像ＣＰを拡大することによって、表示形態を変更してよい。また、画像生成部６２は、変更領域の周辺画像ＣＰの拡大に伴って、顔または視線が向けられていない領域、即ち、変更領域以外の領域の周辺画像ＣＰを縮小してもよい。この場合、画像生成部６２は、周辺画像ＣＰを縮小して空いた領域に計器画像ＭＰを表示してもよい。

画像生成部６２は、当該変更領域の周辺画像ＣＰを明るくして表示形態を変更してもよい。更に、画像生成部６２は、当該変更領域の周辺画像ＣＰを拡大かつ明るくすることによって変更してもよい。

画像生成部６２は、検出部６０から取得した方向指示部材１４が指示する車両１０の進行方向側の領域を変更領域として、当該変更領域の周辺画像ＣＰの表示形態を変更してもよい。例えば、画像生成部６２は、表示画像ＤＰが複数の周辺画像ＣＰを含む場合、進行方向側の周辺画像ＣＰを変更してよい。具体的には、画像生成部６２は、進行方向側の周辺画像ＣＰを拡大することによって表示形態を変更してよい。この場合、画像生成部６２は、周辺画像ＣＰの拡大に伴って、進行方向側と異なる側の周辺画像ＣＰを縮小してもよい。画像生成部６２は、周辺画像ＣＰを縮小して空いた領域に計器画像ＭＰを表示してもよい。

画像生成部６２は、進行方向側の周辺画像ＣＰを明るくして表示形態を変更してよい。また、画像生成部６２は、進行方向側の周辺画像ＣＰを拡大かつ明るくすることによって変更してよい。

画像生成部６２は、周辺画像ＣＰを変更した後、視線方向が移動して表示形態を変更した周辺画像ＣＰから外れた場合、または、操舵部１２が基準範囲に戻った場合、変更した計器画像ＭＰ及び周辺画像ＣＰを含む表示画像ＤＰを通常状態に戻す。操舵部１２の基準範囲とは、点灯している方向指示器２４を消灯させる範囲であって、車両１０を略前方に進行させる範囲である。

記憶部５６は、制御部５４が実行する画像処理用のプログラム、プログラムの実行に必要なデータ、及び、プログラムの実行によって生成されるデータ等を記憶する。例えば、記憶部５６は、画像処理用のプログラムの実行に必要な撮像部２０、３４が撮像した撮像画像のデータ等を記憶する。また、記憶部５６は、画像処理の実行によって生成された周辺画像ＣＰと、計器画像ＭＰと、周辺画像ＣＰ及び計器画像ＭＰを含む表示画像ＤＰのデータ等を記憶する。記憶部５６は、ネットワーク上の記憶装置（いわゆる、クラウド）等によって実現してもよい。

図４は、制御部５４が実行する画像処理のフローチャートである。制御部５４は、画像処理用のプログラムを読み込むことによって、画像処理を実行する。

図４に示すように、画像処理では、制御部５４の画像生成部６２が、通常状態の表示画像ＤＰを生成して計器表示装置１８に表示させる（Ｓ１０２）。画像生成部６２が表示させる表示画像ＤＰの一例は、動画である。

図５は、通常状態の表示画像ＤＰの一例を示す図である。図５に示すように、画像生成部６２は、計器表示装置１８の下部の中央部の計器画像領域（太点線の下側の領域）に計器画像ＭＰａ、ＭＰｂを表示させる。画像生成部６２は、計器表示装置１８の上部に計器画像領域を囲むように設定した周辺画像領域（太点線の上側の領域）に複数の周辺画像ＣＰａ、ＣＰｂ、ＣＰｃを表示させる。

本実施形態では、画像生成部６２は、周辺画像領域に３個の周辺画像ＣＰａ、ＣＰｂ、ＣＰｃを表示させる。具体的には、画像生成部６２は、車両１０の右方及び後方の周辺を撮像した周辺画像ＣＰａを、周辺画像領域の右側に表示させる。画像生成部６２は、周辺撮像部３４から取得した撮像画像の一部（例えば、右側）をトリミングして、周辺画像ＣＰａを生成してよい。これにより、画像生成部６２は、右側のドアミラー２２に映る周辺を周辺画像ＣＰａとして表示させる。画像生成部６２は、車両１０を含む鳥瞰図の画像を周辺画像ＣＰｂとして周辺画像領域の中央部に表示させる。画像生成部６２は、車両１０の左方及び後方の周辺を撮像した周辺画像ＣＰｃを、周辺画像領域の左側に表示させる。画像生成部６２は、周辺撮像部３４から取得した撮像画像の一部（例えば、左側）をトリミングして、周辺画像ＣＰｃを生成してよい。これにより、画像生成部６２は、左側のドアミラー２２に映る周辺を周辺画像ＣＰｃとして表示させる。以下の説明において、周辺画像ＣＰａ、ＣＰｂ、ＣＰｃを区別する必要がない場合、周辺画像ＣＰと記載する。

検出部６０は、通常状態の表示画像ＤＰが表示されると、基準点及び視線方向を検出して、画像生成部６２へ出力する（Ｓ１０４）。例えば、検出部６０は、車内撮像部２０から運転者の顔画像を取得して、当該顔画像に基づいて、基準点及び視線方向を検出する。

画像生成部６２は、検出部６０から視線方向を取得すると、基準点を起点として視線方向上に周辺画像ＣＰが存在するか否かを判定する（Ｓ１０６）。換言すれば、画像生成部６２は、運転者の顔を起点として顔の向きに周辺画像ＣＰが存在するか否か、または、運転者の眼の位置を起点として視線の向きに周辺画像ＣＰが存在するか否かを判定する。

画像生成部６２は、視線方向上に周辺画像ＣＰが存在すると判定すると（Ｓ１０６：Ｙｅｓ）、視線方向上の領域の周辺画像ＣＰの表示形態を変更して変更状態にする（Ｓ１０８）。

周辺画像ＣＰａが視線方向上にある場合の表示形態が変更された表示画像ＤＰについて図６から図８を参照して説明する。

図６は、周辺画像ＣＰを拡大して表示形態を変更した表示画像ＤＰの例を示す図である。画像生成部６２は、例えば、図６に示すように、視線方向上の周辺画像ＣＰａを拡大して表示形態を変更してよい。この場合、画像生成部６２は、計器画像ＭＰａ、ＭＰｂ、及び、視線方向上でない周辺画像ＣＰｂ、ＣＰｃを縮小する。

図７は、周辺画像ＣＰを拡大して表示形態を変更した表示画像ＤＰの他の例を示す図である。画像生成部６２は、例えば、図７に示すように、視線方向上の周辺画像ＣＰａを拡大して表示形態を変更してよい。この場合、画像生成部６２は、視線方向上でない周辺画像ＣＰｂ、ＣＰｃを縮小する。画像生成部６２は、周辺画像ＣＰｂ、ＣＰｃを縮小することによって空いた領域に、計器画像ＭＰａ、ＭＰｂを縮小することなく表示させる。

図８は、周辺画像ＣＰを明るくして表示形態を変更した表示画像ＤＰの他の例を示す図である。画像生成部６２は、例えば、図８に示すように、視線方向上の周辺画像ＣＰａを明るくして表示形態を変更してよい。この場合、画像生成部６２は、周辺画像ＣＰａを拡大して、周辺画像ＣＰｂ、ＣＰｃ及び計器画像ＭＰａ、ＭＰｂを縮小してもよい。

検出部６０は、周辺画像ＣＰの表示形態が変更された後、基準点及び視線方向を検出して、画像生成部６２へ出力する（Ｓ１１０）。

画像生成部６２は、取得した視線方向上から拡大した周辺画像ＣＰが外れたか否かを判定する（Ｓ１１２）。画像生成部６２は、視線方向上から拡大した周辺画像ＣＰが外れていないと判定すると（Ｓ１１２：Ｎｏ）、検出部６０は、再度、基準点及び視線方向を検出する（Ｓ１１０）。これにより、画像生成部６２は、視線方向上から拡大した周辺画像ＣＰが外れるまで、変更状態の表示画像ＤＰの表示を維持する。

画像生成部６２は、視線方向上から拡大した周辺画像ＣＰが外れたと判定すると（Ｓ１１２：Ｙｅｓ）、画像処理のスタートに戻って、ステップＳ１０２以降を繰り返す。これにより、画像生成部６２は、変更した周辺画像ＣＰの表示形態を、図５に示す通常状態に戻して計器表示装置１８に表示させる。尚、画像生成部６２は、視線方向上から拡大した周辺画像ＣＰが外れてから所定時間経過してから表示画像ＤＰを通常状態に戻してもよい。

画像生成部６２が視線方向上に周辺画像ＣＰがないと判定すると（Ｓ１０６：Ｎｏ）、検出部６０は、運転者が方向指示部材１４を操作したか否かを判定する（Ｓ１１４）。検出部６０は、方向指示部材１４が操作されていないと判定すると（Ｓ１１４：Ｎｏ）、ステップＳ１０２以降を繰り返す。即ち、画像生成部６２は、視線方向上に周辺画像ＣＰがなく、かつ、方向指示部材１４が操作されていない間、通常状態の表示画像ＤＰの表示を継続する。

検出部６０は、運転者が方向指示部材１４を操作したと判定すると（Ｓ１１４：Ｙｅｓ）、方向指示部材１４が操作された方向を車両１０の進行方向として画像生成部６２へ出力する。

画像生成部６２は、検出部６０から進行方向を取得すると、進行方向側の周辺画像ＣＰの表示形態を変更する（Ｓ１１６）。ステップＳ１１６における表示形態の変更は、図６、図７、及び、図８のいずれかと同様である。

検出部６０は、周辺画像ＣＰの表示形態が変更されると、操舵部１２の回転位置を位置センサ３９から取得することによって検出して、画像生成部６２へ出力する（Ｓ１１８）。

画像生成部６２は、検出部６０から取得した操舵部１２の回転位置に基づいて、当該回転位置が基準範囲か否かを判定する（Ｓ１２０）。画像生成部６２は、操舵部１２の回転位置が基準範囲でないと判定すると（Ｓ１２０：Ｎｏ）、検出部６０は、再度、操舵部１２の回転位置を検出する（Ｓ１１８）。

画像生成部６２は、操舵部１２の回転位置が基準範囲と判定すると（Ｓ１２０：Ｙｅｓ）、画像処理のスタートに戻って、ステップＳ１０２以降を繰り返す。これにより、画像生成部６２は、変更状態の周辺画像ＣＰの表示形態を、図５に示す元の通常状態に戻して、計器表示装置１８に表示させる。

上述したように、ＥＣＵ４０、即ち、画像処理装置５０では、画像生成部６２が、操舵部１２よりも前に配置された計器表示装置１８に車両１０の後方の周辺を含む周辺画像ＣＰを表示させている。これにより、画像処理装置５０は、車両１０の前方と後方の周辺画像ＣＰとの間の距離を小さくすることができ、車両１０の前方から後方の周辺画像ＣＰを見る際の運手者の視線移動を小さくできる。

画像処理装置５０では、画像生成部６２が、運転者の視線方向上の周辺画像ＣＰまたは車両１０の進行方向側の周辺画像ＣＰの表示形態を変更している。これにより、画像処理装置５０は、運転手が見ている周辺画像ＣＰまたは運転手が進行方向を変える際に見る周辺画像ＣＰを、運転者に見やすく提供できる。例えば、画像処理装置５０は、周辺画像ＣＰを拡大することによって、車両１０の周辺の小さい物体（例えば他の車両）を含む周辺画像ＣＰを、運転者により見やすく提供できる。画像処理装置５０は、周辺画像ＣＰを明るくすることによって、暗い場所でも運転者により見やすい周辺画像ＣＰを提供できる。これにより、画像処理装置５０は、運転者が後方確認を正確かつ短時間で行える環境を提供でき、後方の確認不足及び後方の注視しすぎ等の状況を低減できる。

画像処理装置５０では、画像生成部６２が、視線方向上または進行方向側の周辺画像ＣＰを拡大した場合、視線方向以外または進行方向と異なる側の周辺画像ＣＰを縮小して空いた領域に計器画像ＭＰを拡大して表示する。これにより、画像処理装置５０は、周辺画像ＣＰとともに、計器画像ＭＰも見やすくすることができる。

上述の各実施形態の構成の機能、接続関係、配置、個数及び形状等は適宜変更してよい。また、上述のフローチャートの各ステップの処理内容及び順序は適宜変更してよい。

上述の実施形態では、検出部６０が運転者の視線方向及び車両１０の進行方向の両方を検出する例を示したが、これに限定されない。検出部６０が運転者の視線方向、または、車両１０の進行方向のいずれか一方を検出してもよい。この場合、画像生成部６２は、検出部６０が検出した情報に基づいて、表示画像ＤＰの表示形態を変更してよい。

上述の実施形態では、周辺撮像部３４が１個の例を示したが、これに限定されない。例えば、複数の周辺撮像部３４が車両１０のドアミラー２２、車体の後方の左右両端部等に設けられていてもよい。この場合、画像生成部６２は、複数の周辺撮像部３４が車両１０の周辺を撮像した複数の撮像画像から生成した複数の周辺画像ＣＰを合成して表示画像ＤＰを生成してもよい。

上述の実施形態では、視線方向上の周辺画像ＣＰを拡大する場合、視線方向上でない周辺画像ＣＰを縮小する例を示したが、視線方向上でない周辺画像ＣＰを縮小せずに表示領域の一部を削除して、当該削除した表示領域に拡大した周辺画像ＣＰを重畳させてもよい。

上述の実施形態では、計器表示装置１８が少なくとも車両１０の後方の周辺の画像を含む周辺画像ＣＰを表示する例を示したが、これに限定されない。例えば、中央表示装置２６が、周辺画像ＣＰを表示してもよい。この場合、画像生成部６２は、中央表示装置２６が表示する表示画像ＤＰを生成して、中央表示装置２６に表示させる。中央表示装置２６は、ナビゲーションシステムの道案内等の画像とともに、周辺画像ＣＰを表示してもよい。この場合、中央表示装置２６が、表示装置の一例となる。

本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…車両
１２…操舵部
１４…方向指示部材
１８…計器表示装置
５０…画像処理装置
５２…画像処理システム
６０…検出部
６２…画像生成部
ＣＰ…周辺画像
ＤＰ…表示画像
ＭＰ…計器画像

Claims (4)

1. 移動体の運転者の顔または視線の向き、または、方向指示部材が指示する前記移動体の進行方向を検出する検出部と、
   前記移動体の進行方向を変更する操舵部よりも前に設けられて画像を表示する表示装置に表示されている前記移動体の後方の周辺の画像を含む周辺画像のうち、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記方向指示部材が指示する前記進行方向側の前記周辺画像の表示形態を変更する画像生成部と、
   を備える画像処理装置。
2. 前記画像生成部は、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記進行方向側の前記周辺画像を拡大して前記表示形態を変更する
   請求項１に記載の画像処理装置。
3. 前記画像生成部は、前記周辺画像の拡大に伴って、前記顔または前記視線が向けられていない領域の前記周辺画像または前記進行方向と異なる側の前記周辺画像を、縮小して空いた領域に前記移動体に関する計測値を示す計器画像を前記表示装置に表示させる
   請求項２に記載の画像処理装置。
4. 前記画像生成部は、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記進行方向側の前記周辺画像を明るくして前記表示形態を変更する
   請求項１から３のいずれか１項に記載の画像処理装置。

Images