JP2011131678A - 画像処理装置、画像処理システム、および、画像処理方法 - Google Patents

Abstract

【課題】車両のドアミラーの開閉状態に応じて、カメラで撮影した画像の所定範囲を選択し、表示装置へ画像情報を出力することのできる技術を提供する。
【解決手段】車両のドアミラーの格納または展開の状態に応じて、カメラで撮影した画像のうちドアミラーの格納状態または展開状態のそれぞれに予め対応付けられた前記画像の一部の範囲を選択する。この選択された画像情報を表示装置へ出力する。これにより、車両の運転の際にユーザにとって確認しにくい箇所の画像情報をユーザに提供できる。
できる。
【選択図】図９

Description

本発明は、車両に搭載された表示装置に画像を表示する技術に関する。

一般に、車両のサイドミラーに搭載した複数のカメラにより車両の周辺の画像を取得し、自動的にまたはユーザの操作により表示装置に表示する技術がある。また、サイドミラーの格納時には、後方の視界が確保されにくい。このため、サイドミラーが展開された位置から格納位置へ移動することに応じて、ミラーハウジングに設けられたサイドカメラに撮影した車両後方の画像が、使用位置にある場合のミラーに映る車両後方の画像と実質的に同じとなるようにサイドカメラのレンズの向きを微調整することが提案されている（例えば、特許文献１参照。）。

特開２００９−６９７４号公報

しかしながら、特許文献１に記載の技術では、ユーザに対して常に良好な画像を提供し続けるためには、サイドミラーの開閉の都度カメラの向きの調整が必要となったり、経年劣化に伴うギヤ駆動のメンテナンスが必要となるという問題があった。

本発明は、上記課題に鑑みてなされたものであり、車両のドアミラーの開閉状態に応じて、カメラで撮影した画像の所定範囲を選択し、表示装置へ画像情報を出力することのできる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、前記車両のドアミラーに備えられたカメラで撮影した画像を取得する画像取得手段と、前記車両のドアミラーの格納または展開の状態に応じて、前記カメラで撮影した画像のうち前記ドアミラーの格納状態または展開状態のそれぞれに予め対応付けられた前記画像の一部の範囲を選択する画像選択手段と、前記選択された所定範囲の画像情報を前記表示装置へ出力する画像情報出力手段と、を備える。
と、を備える。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記画像選択手段は、前記車両のドアミラーが格納されている場合は、前記ドアミラーが展開している際にドアミラーに映る範囲と略同一の画像範囲を選択する。

また、請求項３の発明は、請求項１に記載の画像処理装置において、前記画像選択手段は、前記車両のドアミラーが格納されている場合は、前記車両の側方領域のうちの後方を示す画像範囲を選択する。

また、請求項４の発明は、請求項１に記載の画像処理装置において、前記画像選択手段は、前記車両のドアミラーが展開されている場合は、前記車両のフロントフェンダの外側を含む画像範囲を選択する。

また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像処理装置において、前記画像処理装置は前記車両の少なくとも前進、または、後退に応じて動作モードを切替える動作モード切替え手段をさらに備え、前記車両が後退する状態に対応した動作モードの際に、前記画像情報出力手段により前記画像情報を前記表示装置へ出力する。

また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像処理装置において、前記ドアミラーに備えられたカメラを含む前記車両の備えられた複数のカメラで撮影して得られる複数の画像に基づいて、任意の仮想視点からみた合成画像を生成する合成画像生成手段をさらに有し、前記画像情報出力手段は、前記合成画像生成手段により生成された合成画像情報が前記表示装置へ出力された後に、前記車両のユーザによる所定の操作がなされると、前記画像情報を前記表示装置へ出力する。

また、請求項７の発明は、車両に搭載される画像処理システムであって、請求項１ないし６のいずれかに記載の画像処理装置と、前記車両の周辺を撮影する前記車両のドアミラーに備えられたカメラと、を備える。

さらに、さらに請求項８の発明は、車両に搭載された表示装置に表示させる画像を生成する画像処理方法であって、前記車両のドアミラーに備えられたカメラで撮影した画像を取得する画像取得工程と、前記車両のドアミラーの格納または展開の状態に応じて、前記カメラで撮影した画像のうち前記ドアミラーの格納状態または展開状態のそれぞれに予め対応付けられた前記画像の一部の範囲を選択する画像選択工程と、前記選択された所定範囲の画像情報を前記表示装置へ出力する画像情報出力工程と、を備える。

請求項１ないし８の発明によれば、車両のドアミラーの格納状態または展開状態のそれぞれに予め対応付けられた前記画像の一部の範囲を選択して表示装置へ出力することで、車両の運転の際にユーザにとって確認しにくい箇所の画像情報をユーザに提供できる。

また、特に請求項２の発明によれば、車両のドアミラーが格納されている場合に、ドアミラーが展開している際にドアミラーに映る範囲と略同一の画像範囲を選択して出力することで、車両が狭い場所を通過する場合などにドアミラーを格納した状態であっても、ユーザはドアミラーが展開している場合と略同一の範囲の画像を確認できる。

また、特に請求項３の発明によれば、車両のドアミラーが格納されている場合は、車両の側方領域のうちの後方を示す画像範囲を選択することで、ドアミラーを格納した状態でもドアミラーを展開している場合にユーザが確認可能な車両の後方画像を確認できる。

また、特に請求項４の発明によれば、車両のドアミラーが展開されている場合は、車両のフロントフェンダの外側を含む画像範囲を選択することで、ユーザは道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。

また、特に請求項５の発明によれば、画像処理装置が車両の少なくとも前進、または、後退に応じて動作モードを切替える動作モード切替え手段をさらに備え、車両が後退する状態に対応した動作モードの際に、画像情報出力手段により前記画像情報を前記表示装置へ出力することで、ユーザが車両後退時に確認しにくい箇所の画像を提供できる。

さらに、特に請求項６の発明によれば、合成画像生成手段により生成された合成画像情報が表示装置へ出力された後に、車両のユーザによる所定の操作がなされると、画像情報出力手段が画像情報を表示装置へ出力することで、ユーザが車両のドアミラーの開閉に応じて確認したい車両の所定箇所を確認できる。

図１は、画像処理システムの構成を示した図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、車両の左側のサイドカメラがハウジング内に収容されたサイドカメラユニットの外観構成を示す図である。 図４は、合成画像を生成する手法を説明するための図である。 図５は、画像処理システムの動作モードの遷移を示す図である。 図６は、車両の周辺を周回するように仮想視点が連続的に移動されることを示す図である。 図７は、車両を見下ろした状態で車両の周囲を周回することを示す図である。 図８は、フロントモードにおける表示モードの遷移を示す図である。 図９は、バックモードにおける表示モードの繊維を示す図である。 図１０は、ドアミラー格納時の光軸の方向を示す図である。 図１１は、画像処理システムの制御部の処理の流れについて示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１−１．システム構成＞
図１は、画像処理システム１２０の構成を示すブロック図である。この画像処理システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像処理システム１２０のユーザ（代表的にはドライバ）は、この画像処理システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。

図１に示すように、画像処理システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。

ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。

ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。

画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。

画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。

ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像処理装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。

画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１、画像範囲選択部３２、及び、画像情報出力部３３を主な機能として備えている。

合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。

画像範囲選択部３２は、撮影部５のサイドカメラ５３で取得された撮影画像に基づいて、画像の所定範囲を選択して切り出す。ここで画像の所定範囲とは、ドアミラーが収納されている場合は、ドアミラーが展開している際にドアミラーに映る範囲と略同一の被写体の像が含まれる画像範囲である。換言すれば、画像の所定範囲とは、車両の側方領域のうちの後方を示す画像範囲である。これにより、車両が狭い場所を通過する場合などにドアミラーを格納した状態であっても、ユーザはドアミラーが展開している場合と略同一の範囲の画像を確認できる。

また、ドアミラー９３が展開されている場合、画像の所定範囲とは車両９のフロントフェンダの外側を含む画像範囲である。これにより、ユーザは道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。

画像情報出力部３３は、画像範囲選択部３２で選択された画像情報をナビ通信部４２を介してナビゲーション装置２０に出力する。なお、画像情報の出力は制御部１に基づいて行われる。また、画像の所定範囲を選択する場合に、後述する不揮発性メモリ４０に記憶されている車種ごとのパラメータ（車種ごとに左右のドアミラーに取り付けられたサイドカメラ５３のドアミラーの開閉に応じて変化する位置、および、ドアミラーの開閉に応じて変化する光軸の角度のデータなど）を用いる。

また、画像情報出力部３３は合成画像生成部３１において生成された合成画像情報をナビゲーション装置２０へ出力する。これにより、車両の周辺を示す周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。

画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。また、画像範囲選択部３２がサイドカメラ５３により撮影した画像の所定範囲を選択するための指示をドアミラーの開閉状態、および、車種ごとのパラメータの情報に基づいて行う。
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータや、画像範囲選択部３２が画像の所定範囲を選択する際に必要となる車種ごとに左右のドアミラーに取り付けられたサイドカメラ５３のドアミラーの開閉に応じて変化する位置、および、ドアミラーの開閉に応じて変化する光軸の角度のデータなどである。

カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。

メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＣに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像処理システム１２０を異なる種別の車両に対応させることも可能である。

また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、方向指示器８３、及び、ミラー駆動装置８４などから、各種情報を示す信号が制御部１に入力される。

シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。

方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。

また、ミラー駆動装置８４は、ドライバの操作に応答して車両のドアミラーを格納／展開（開閉）する。ミラー駆動装置８４からは、ドアミラーの状態（格納／展開）が入力される。

＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。

撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。

図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。

フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。

図３は、車両９の左側のサイドカメラ５３がハウジング内に収容されたサイドカメラユニット７０の外観構成を示す図である。なお、サイドカメラユニット７０の構成や配置は車両９の左右で対称としているため、以降の説明では車両９の左側を例に具体的に説明するが、右側についても同様である。図に示すように、サイドカメラユニット７０は、ブラケット７９を介してドアミラー９３の下側に配置される。

サイドカメラ５３は、レンズと撮像素子とを備えて構成されている。サイドカメラ５３は、ハウジング内に配置され、光軸が車両９の外側に向けられている。サイドカメラ５３は、この光軸の方向が鉛直方向に対して所定の角度（例えば、約４５度）となるようにハウジングに固定される。

＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図４は、合成画像を生成する手法を説明するための図である。

撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。

次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。

撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。

また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。

例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

＜１−４．動作モード＞
次に、画像処理システム１２０の動作モードについて説明する。図５は、画像処理システム１２０の動作モードの遷移を示す図である。画像処理システム１２０は、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、及び、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ドライバの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。

ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。

これに対して、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３は、画像処理装置１００の機能を利用して、車両９の周辺の状況をリアルタイムで示す表示用画像をディスプレイ２１に表示する動作モードである。

周囲確認モードＭ１は、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す表示用画像を表示する動作モードである。

画像処理システム１２０は起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの所定の指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。

また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。

車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。

また、ナビモードＭ０の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。そして、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にもとのモードであるナビモードＭ２に切り替える。

また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。

一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。

以下、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３のそれぞれにおける、車両９の周辺の表示態様について詳細に説明する。

＜１−５．周囲確認モード＞
まず、周囲確認モードＭ１における車両９の周辺の表示態様について説明する。周囲確認モードＭ１においては、図６に示すように、車両９を見下ろすように仮想視点ＶＰが設定され、車両９の周辺を周回するように仮想視点ＶＰが連続的に移動される。仮想視点ＶＰは、最初に車両９の後方に設定された後、右回りで車両９の周辺を周回する。このようにして仮想視点ＶＰが、車両９の左側、前方及び右側を経由して再び後方まで移動すると、車両９の直上まで移動する。

このように仮想視点ＶＰが移動されている状態で、複数の合成画像が時間連続して生成される。生成された複数の合成画像は、ナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間連続して表示される。

これにより、図７に示すように、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現がなされることになる。図７の示す例では、状態ＳＴ１〜ＳＴ６の順で合成画像ＲＰが順次に表示される。各合成画像ＲＰにおいては、車両９は画像の中心付近に配置されており、車両９とともに車両９の周辺の様子を確認できるようになっている。

ユーザは、周囲確認モードＭ１のこのようなアニメーション表現を視認することで、車両９を目の前にした視点から車両９の全周囲の状況を確認することができ、直感的に車両９の全周囲の障害物と車両９との位置関係を把握できることになる。

＜１−６．フロントモード＞
次に、フロントモードＭ２における車両９の周辺の表示態様について詳細に説明する。図８は、フロントモードＭ２における表示モードの遷移を示す図である。フロントモードＭ２では、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３、および、ナビモードＭ２４の４つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面のうちＭ２１、Ｍ２２、および、Ｍ２３の画面には、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示されるようになっている。また、ナビモードＭ２４では、車両９の周辺の地図画像が表示され、車両９の現在位置の表示なども行われる。

これらの表示モードは、ユーザが切替スイッチ４３を押下するごとに、走行俯瞰モードＭ２１、自車確認モードＭ２２、サイドカメラモードＭ２３、ナビモードＭ２４の順で制御部１の制御により切り替えられる。ナビモードＭ２４の場合に切替スイッチ４３を押下すると、再び、走行俯瞰モードＭ２１に戻るようになっている。

走行俯瞰モードＭ２１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＦＰ１と、フロントカメラ５１での撮影により得られるフロント画像ＦＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、走行俯瞰モードＭ２１では、車両９の周辺全体を示す合成画像ＦＰ１と、車両９の前方を示すフロント画像ＦＰ２との二つの画像が同一画面上に示される。

走行俯瞰モードＭ２１においては、このような二つの画像ＦＰ１，ＦＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である前方の状況を一目で確認できる。走行俯瞰モードＭ２１は、前進中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。

また、自車確認モードＭ２２は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ３と、車両９の後方の仮想視点ＶＰからみた車両９の様子を示す合成画像ＦＰ４とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、自車確認モードＭ２２では、車両９の前方を示すフロント画像ＦＰ３と、車両９の側方を示す合成画像ＦＰ４との二つの画像が同一画面上に示される。

自車確認モードＭ２２のフロント画像ＦＰ３は、走行俯瞰モードＭ２１のフロント画像ＦＰ２と比較して、左右方向の視野範囲が広く設定されている。このため、見通しの悪い交差点に進入する場合に死角となりやすい車両９の前端より前方かつ左右方向に存在する物体を確認できる。

また、自車確認モードＭ２２の合成画像ＦＰ４は、走行俯瞰モードＭ２１の合成画像ＦＰ１と比較して仮想視点ＶＰの位置が車両９の後方に移動されているため、車両９の後方を示す領域は狭くなるものの、車両９の側方が確認しやすくなっている。このため、対向車とすれ違う場合などに、対向車とのクリアランスを容易に確認できる。

自車確認モードＭ２２においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、見通しの悪い交差点に進入する場合や対向車とすれ違う場合などの慎重な運転を必要とする状況において、確認すべき領域の状況を一目で確認できる。

また、サイドカメラモードＭ２３は、左右のサイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２１に表示する表示モードである。サイド画像ＦＰ５，ＦＰ６は、運転席から死角となりやすいフロントフェンダ９４の外側のみを示している。

サイドカメラモードＭ２３においては、このような二つの画像ＦＰ３，ＦＰ４を閲覧することができるため、ユーザは、道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。

ナビモードＭ２４は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ２４では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。

＜１−７．バックモード＞
次に、バックモードＭ３における車両９の周辺の表示態様について詳細に説明する。図９は、バックモードＭ３における表示モードの遷移を示す図である。バックモードＭ３では、駐車俯瞰モードＭ３１、前方ドアミラーモードＭ３２、および、後方ドアミラーモードＭ３３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの画面にも、各表示態様における視野範囲を示す視野ガイド９０が表示され、ユーザに対して車両９の周辺のいずれの領域を表示しているかが示されるようになっている。

前方ドアミラーモードＭ３２、および、後方ドアミラーモードＭ３３の表示モードは、ミラー駆動装置８６から入力されるドアミラー９３の状態に応じて制御部１の制御により駐車俯瞰モードＭ３１から切り替えられる。具体的には、シフトレバーの位置が”Ｒ（後退）”の位置に操作されているときには、駐車俯瞰モードＭ３１となる。駐車俯瞰モードＭ３１の状態で、ドアミラー９３が通常状態に展開されており、車両９の車速が１０ｋｍ/ｈ未満の場合に、ユーザにより切替えスイッチ４３が押下されると、前方ドアミラーモードＭ３２となる。そして、以下に説明するようにドアミラーの格納状態または展開状態のそれぞれに予め対応付けられた画像の一部の範囲を選択して、選択された所定範囲の画像情報を前記表示装置へ出力する。

前方ドアミラーモードＭ３２では、ドアミラー９３に備えられたサイドカメラ５３によって撮影された画像のうち、車両９のフロントフェンダの外側を含む画像範囲が画像生成部３の画像範囲選択部３２により選択される。そして、画像情報出力部３３により画像情報がナビ通信部４２を介して出力され、ナビゲーション装置２０に表示される。これにより、ユーザは道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。

また、駐車俯瞰モードＭ３１の状態で、ドアミラー９３が格納されており、車両９の車速が１０ｋｍ／ｈ未満の場合に、ユーザにより切替えスイッチ４３が押下されると、後方ドアミラーモードＭ３３となる。

後方ドアミラーモードＭ３３では、ドアミラー９３に備えられたサイドカメラ５３によって撮影された画像のうち、ドアミラーが展開している際にドアミラーに映る範囲と略同一の画像範囲が選択される。具体的には、車両の側方領域のうちの後方を示す画像範囲が選択される。これにより、車両が狭い場所を通過する場合などにドアミラーを格納した状態であっても、ユーザはドアミラーが展開している場合と略同一の範囲の画像（被写体の様子）を確認できる。

また、駐車俯瞰モードＭ３１は、車両９の直上の仮想視点ＶＰからみた車両９の様子を示す合成画像ＢＰ１と、バックカメラ５２での撮影により得られるバック画像ＢＰ２とを並べて含む画面をディスプレイ２１に表示する表示モードである。すなわち、駐車俯瞰モードＭ３１では、車両９の周辺全体を示す合成画像ＢＰ１と、車両９の後方を示すバック画像ＢＰ２との二つの画像が同一画面上に示される。

さらに、駐車俯瞰モードＭ３１においては、このような二つの画像ＢＰ１，ＢＰ２を閲覧することができるため、ユーザは、車両９の周囲全体とともに、車両９の進行方向である後方の状況を一目で確認できる。駐車俯瞰モードＭ３１は、後退中のさまざまな場面で汎用性高く利用できる表示モードであるといえる。

なお、バックモードＭ３では上記の駐車俯瞰モードＭ３１の他に、車両９が縦列駐車を行う際の車両後方の所定の仮想視点からみた合成画像を表示する縦列ガイドモード、車両９の後方を示すバック画像ＢＰ２に駐車ガイド線を表示したバックガイドモードなどのその他のモードを設け、これらのいずれかのモードから、ドアミラーの開閉状態に応じて前方ドアミラーモードＭ３２、および、後方ドアミラーモードＭ３３に切替えがなされるようにしてもよい。

また、前方ドアミラーモードＭ３２は、左右サイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＦＰ５，ＦＰ６を並べて含む画面をディスプレイ２１に表示する表示モードである。前方ドアミラーモードＭ３２においては、一画面でこのような二つの画像Ｆ５，ＦＦ６を閲覧することができるため、ユーザは、車両後退の際にユーザが車両を後退させる場合に、衝突の危険性のある左右のフロントフェンダの外側を含む画像を確認できる。

また、後方ドアミラーモードＭ３３は、左右のサイドカメラ５３での撮影によりそれぞれ得られるサイド画像ＢＰ３，ＢＰ４を並べて含む画面をディスプレイ２１に表示する表示モードである。後方ドアミラーモードＭ３３においては、このような二つの画像ＢＰ３，ＢＰ４を閲覧することができるため、車両９の後方左右を同一画面上で確認しながら、車両の後退が可能となる。

図１０に示すように、サイドカメラ５３はドアミラー９３に設けられるため、ドアミラー９３が格納された状態となると、その光軸５３ａの方向が車両９の後方に向けられることになる。この状態では、サイドカメラ５３において車両９の側方全体を示す画像を取得できないため、任意の仮想視点からみた合成画像を生成することは難しくなる。しかしながら、光軸５３ａが車両９の後方へ移動するため、車両９の側方領域の後方については比較的歪が少ない撮影画像を取得することができる。ドアミラーモードＭ３２では、このようなサイドカメラ５３で取得された撮影画像を利用して、車両９の側方領域の後方を示す二つの画像ＢＰ３，ＢＰ４を生成して表示する。

後方ドアミラーモードＭ３３においては、このような二つの画像ＢＰ３，ＢＰ４を閲覧することができるため、ユーザは、駐車環境によってドアミラー９３を格納せざるを得ない場合であっても、ドアミラー９３に映る範囲とほぼ同様の範囲を確認することができる。

＜２．動作＞
次に、上記のようなドアミラー９３の開閉状態に応じて撮影画像の画像範囲を選択して画像情報を出力する処理の流れについて説明する。図１１は画像処理システム１２０の制御部１の処理の流れについて示す図である。最初に画像処理システムのモードがバックモードか否かを判定するために、シフトレバーの操作位置が”Ｒ（後退）”のシフトポジションとなっているか否かを判定する（ステップＳ１０１）。

シフトレバーの操作位置が”Ｒ（後退）”となっている場合（ステップＳ１０１がＹｅｓ）は、バックモードＭ３の制御部１は画像生成部３に駐車俯瞰モードＭ３１の画像の生成、および、その画像情報をナビゲーション装置２０へ出力するための指示信号を画像生成部３に送信する。なお、シフトレバーの操作の位置が”Ｒ（後退）”のシフトポジションとなっていない場合（ステップＳ１０１がＮｏ）は、処理を終了する。

そして、ナビゲーション装置２０に駐車俯瞰モードＭ３１の画像が表示されている場合にユーザが切替スイッチ４３を押下した場合（ステップＳ１０３がＹｅｓ）は、車速度センサ８２を用いて、車両９の車速が１０ｋｍ／ｈ未満か否かを判定する（ステップＳ１０４）。なお、ユーザが切替スイッチ４３を押下しなかった場合（ステップＳ１０３がＮｏ）は、制御部１はナビゲーション装置２０に駐車俯瞰モードＭ３１を表示するための処理を継続して行う（ステップＳ１０９）。

ステップＳ１０４において、車速が１０ｋｍ／ｈ未満の場合（ステップＳ１０４がＹｅｓ）の場合は、車両９のドアミラー９３が展開しているか否かを判定する（ステップＳ１０５）。そして、以下の処理でドアミラーの格納状態または展開状態のそれぞれに予め対応付けられた画像の一部の範囲を選択して、選択された所定範囲の画像情報を前記表示装置へ出力する。

換言すると、ステップＳ１０５において、ドアミラー９３が展開している場合（ステップＳ１０５がＹｅｓ）、制御部１は前方ドアミラーモードＭ３２の処理を行う指示信号を画像生成部３に送信し（ステップＳ１０６）、次の処理に進む。具体的には、サイドカメラ５３を用いて撮影された画像のうち、フロントフェンダの外側を含む画像範囲を選択して、この選択した範囲の画像情報を出力する指示信号を画像生成部３に送信する。これにより、ユーザは道路の端に車体を寄せる幅寄せを行う場合などにおいて、確認すべき領域の状況を容易に確認できる。

なお、車両９の車速が１０ｋｍ／ｈ未満ではない場合（ステップＳ１０４がＮｏ）は、制御部１はナビゲーション装置２０に駐車俯瞰モードＭ３１を表示するための処理を継続して行う（ステップＳ１０９）。

また、ドアミラー９３が収納されている場合（ステップＳ１０５がＮｏ）、制御部１は後方ドアミラーモードＭ３３の処理を行う指示信号を画像生成部３に送信し（ステップＳ１０７）、次の処理に進む。サイドカメラ５３を用いて撮影された画像のうち、車両９のドアミラーが展開している際にドアミラーに映る範囲と略同一の画像範囲を選択する指示信号を送信して、選択した範囲の画像情報を出力する指示信号を画像生成部３に送信する。具体的には、車両の側方領域のうちの後方を示す画像範囲が選択する指示信号を送信して、この選択した範囲の画像情報を出力する指示信号を画像生成部３に送信する。これにより、車両が狭い場所を通過する場合などにドアミラーを格納した状態であっても、ユーザはドアミラーが展開している場合と略同一の範囲の画像（被写体の様子）を確認できる。

次に、ステップＳ１０８において、切替スイッチ４３が押下されていなければ、ステップＳ１０５の処理に戻って、ドアミラー９３の開閉状態に応じて、前方ドアミラーモードＭ３２、または、後方ドアミラーモード３３のいずれかのモードに対応した画像選択と画像情報出力の処理を画像生成部３に指示する信号を送信する。

なお、切替スイッチ４３がユーザにより押下された場合（ステップＳ１０８がＹｅｓ）は、ステップＳ１０２で述べた処理と同様に、制御部１は、駐車俯瞰モードＭ３１の画像を生成し、その画像情報をナビゲーション装置２０へ出力するための指示信号を画像生成部３に送信する（ステップＳ１０９）。

なお、上記処理では、ステップＳ１０３の切替スイッチの押下判定の後に、ステップＳ１０４の車両９の車速が１０ｋｍ／ｈ未満か否かの判定を行ったが、これとは逆に最初に車両９の車速が１０ｋｍ／ｈ未満か否かの判定を行い、その後に切替スイッチの押下判定を行ってもよい。

また、本実施形態では、画像処理システム１２０のモードがバックモードの場合、つまり、車両９が後退する際にドアミラー９３の開閉状態に応じて、前方ドアミラーモードＭ３２と後方ドアミラーモードＭ３３とのいずれかを表示する場合について述べたが、画像処理システム１２０のモードがフロントモードの場合、つまり車両９が前進する場合にドアミラー９３の開閉状態に応じて、前方ドアミラーモードＭ３２と後方ドアミラーモードＭ３３とのいずれかを表示するようにしてもよい。
＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。

また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。

また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。

また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。

また、上記実施の形態では、車両９のドライバが意図する方向指示を方向指示器８５から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するようなものであってもよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１ 制御部
３ 画像生成部
５ 撮影部
２０ ナビゲーション装置
４０ 不揮発性メモリ
４１ 信号入力部
４２ ナビ通信部
８１ シフトセンサ
８２ 車速度センサ
８３ 方向指示器
８４ ミラー駆動装置

Claims (8)

1. 車両に搭載された表示装置に表示させる画像を生成する画像処理装置であって、
   前記車両のドアミラーに備えられたカメラで撮影した画像を取得する画像取得手段と、
   前記車両のドアミラーの格納または展開の状態に応じて、前記カメラで撮影した画像のうち前記ドアミラーの格納状態または展開状態のそれぞれに予め対応付けられた前記画像の一部の範囲を選択する画像選択手段と、
   前記選択された所定範囲の画像情報を前記表示装置へ出力する画像情報出力手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像選択手段は、前記車両のドアミラーが格納されている場合は、前記ドアミラーが展開している際にドアミラーに映る範囲と略同一の画像範囲を選択すること、
   を特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記画像選択手段は、前記車両のドアミラーが格納されている場合は、前記車両の側方領域のうちの後方を示す画像範囲を選択すること、
   を特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記画像選択手段は、前記車両のドアミラーが展開されている場合は、前記車両のフロントフェンダの外側を含む画像範囲を選択すること、
   を特徴とする画像処理装置。
5. 請求項１ないし４のいずれかに記載の画像処理装置において、
   前記画像処理装置は前記車両の少なくとも前進、または、後退に応じて動作モードを切替える動作モード切替え手段をさらに備え、
   前記車両が後退する状態に対応した動作モードの際に、前記画像情報出力手段により前記画像情報を前記表示装置へ出力すること、
   を特徴とする画像処理装置。
6. 請求項１ないし５のいずれかに記載の画像処理装置において、
   前記ドアミラーに備えられたカメラを含む前記車両の備えられた複数のカメラで撮影して得られる複数の画像に基づいて、任意の仮想視点からみた合成画像を生成する合成画像生成手段をさらに有し、
   前記画像情報出力手段は、前記合成画像生成手段により生成された合成画像情報が前記表示装置へ出力された後に、前記車両のユーザによる所定の操作がなされると、前記画像情報を前記表示装置へ出力すること、
   を特徴とする画像処理装置。
7. 車両に搭載される画像処理システムであって、
   請求項１ないし６のいずれかに記載の画像処理装置と、
   前記車両の周辺を撮影する前記車両のドアミラーに備えられたカメラと、
   を備えることを特徴とする画像処理システム。
8. 車両に搭載された表示装置に表示させる画像を生成する画像処理方法であって、
   前記車両のドアミラーに備えられたカメラで撮影した画像を取得する画像取得工程と、
   前記車両のドアミラーの格納または展開の状態に応じて、前記カメラで撮影した画像のうち前記ドアミラーの格納状態または展開状態のそれぞれに予め対応付けられた前記画像の一部の範囲を選択する画像選択工程と、
   前記選択された所定範囲の画像情報を前記表示装置へ出力する画像情報出力工程と、
   を備えることを特徴とする画像処理方法。