JP2021118435A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】仮想視点画像の見栄えを向上させることができる画像処理技術を提供する。【解決手段】画像処理装置は、移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像生成部と、前記仮想視点画像内に映り込んでいる前記移動体を隠すマスクの領域を前記撮影画像に基づいて調整する調整部と、前記仮想視点画像に前記マスクをスーパーインポーズする合成部と、を備える。【選択図】図１

Description

本発明は、移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像処理技術に関する。

従来、移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像処理技術が種々に開発されている（例えば特許文献１参照）。上述した仮想視点画像は、例えば移動体の運転を支援するため等に用いられる。

特許文献１で開示されている画像処理装置では、車両に搭載されるカメラによって撮影された撮影画像における車両が映り込んでいる領域を黒色で塗りつぶすことで、画像内に映り込んでいる車両を隠している。画像内に映り込んでいる車両のボディが車両の近くに存在する障害物と誤認されることを防止するためである。

国際公開第００／６４１７５号（図３７及び図３８）

特許文献１には、車両のボディの映り込み領域は、カメラの仕様と向き及びカメラを搭載する車両の形状が定まれば、予め一意に決定することができると記載されている。

しかしながら、車両のボディの映り込み領域を予め一意に決定してしまうと、例えば、ユーザーが車両の納車後にエアロパーツ等を取り付けた場合、経年変化や事故等によりバンパー等の形状が変化した場合、経年変化や事故等により車両を基準としたカメラの向き（姿勢）が変化した場合等に、画像内に映り込んでいる車両のボディを隠しきれないおそれがある。

本発明は、上記課題に鑑みて、仮想視点画像の見栄えを向上させることができる画像処理技術を提供することを目的とする。

本発明に係る画像処理装置は、移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像生成部と、前記仮想視点画像内に映り込んでいる前記移動体を隠すマスクの領域を前記撮影画像に基づいて調整する調整部と、前記仮想視点画像に前記マスクをスーパーインポーズする合成部と、を備える構成（第１の構成）である。

上記第１の構成の画像処理装置において、前記調整部は、前記移動体が移動中に異なる時刻に撮影された複数の前記撮影画像に基づいて前記マスクの領域を調整する構成（第２の構成）であってもよい。

上記第１又は第２の構成の画像処理装置において、前記調整部は、前記撮影画像内に映り込んでいる白線の端部位置に基づいて前記マスクの領域を調整する構成（第３の構成）であってもよい。

上記第１〜第３いずれかの構成の画像処理装置において、前記調整部は、前記マスクの領域を変更する際に、ユーザー操作による承認を得てから前記マスクの領域の変更を実行する構成（第４の構成）であってもよい。

上記第１〜第４いずれかの構成の画像処理装置において、前記調整部は、ユーザー操作によるリセット要求に応じて、前記マスクの領域を初期設定に戻す構成（第５の構成）であってもよい。

上記第１〜第５いずれかの構成の画像処理装置において、前記マスクの領域の少なくとも一部が所定範囲を超えたら異常を報知する報知部を備える構成（第６の構成）であってもよい。

本発明に係る画像処理方法は、移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像生成工程と、前記仮想視点画像内に映り込んでいる前記移動体を隠すマスクの領域を前記撮影画像に基づいて調整する調整工程と、前記仮想視点画像に前記マスクをスーパーインポーズする合成工程と、を備える構成（第７の構成）である。

本発明に係る画像処理技術によると、仮想視点画像の見栄えを向上させることができる。

車両周辺監視システムの構成を示すブロック図 ４つのカメラが配置された車両を示す模式図 画像処理装置の動作を示すフローチャート 画像生成部が仮想視点画像を生成する手法を説明するための図 合成画像における車両の像が配置される部分を拡大して示した図 バックカメラで撮影された撮影画像を示す模式図 バックカメラで撮影された他の撮影画像を示す模式図 画像処理装置の動作の変形例を示すフローチャート 画像処理装置の動作の他の変形例を示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、移動体として車両を例にとり説明するが、移動体は車両に限定される趣旨ではない。車両には、例えば自動車、電車、無人搬送車等の車輪を有する乗り物が広く含まれる。車両以外の移動体として、例えば船舶や航空機等が挙げられる。

また以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。

＜システムの構成＞
図１は、本発明の実施の形態に係る車両周辺監視システムＳＹＳ１の構成を示すブロック図である。車両周辺監視システムＳＹＳ１は、車両ごとに搭載される。車両周辺監視システムＳＹＳ１は、当該システムを搭載する車両の周辺状況を監視する機能を有する。図１に示すように、車両監視システムＳＹＳ１は、画像処理システムＳＹＳ２と、表示装置３と、を備える。

画像処理システムＳＹＳ２は、車両の周辺を撮影して画像を生成し、生成した画像を表示装置３に出力する機能を有する。また、画像処理システムＳＹＳ２は、車両の周辺を撮影して得られた画像に基づいて、検出対象を検出する機能も有する。本実施の形態では、検出対象には駐車枠が含まれる。なお、これは例示であり、検出対象には、移動体等が含まれてよい。検出した駐車枠情報は、例えば駐車支援等を行う運転支援装置（不図示）によって使用される。画像処理システムＳＹＳ２は、車両の周囲を撮影する撮影部１と、画像処理装置２とを備える。

撮影部１は、車両に搭載される４つのカメラ１１〜１４を備える。すなわち、画像処理システムＳＹＳ２は、車両に搭載されるカメラ１１〜１４を備える。図２は、４つのカメラ１１〜１４が配置された車両４を示す模式図である。本実施の形態において、車両４は自動車である。撮影部１が備えるカメラの数は例示であり、カメラの数は適宜変更されてよい。各カメラ１１〜１４は、有線又は無線で画像処理装置２に接続されており、撮影画像を画像処理装置２に送信する。

図２に示すように、カメラ１１は車両４の前端に設けられる。このため、カメラ１１をフロントカメラ１１とも呼ぶ。フロントカメラ１１の光軸１１ａは平面視で車両４の前後方向に沿っている。フロントカメラ１１は車両４の前方向を撮影する。カメラ１４は車両４の後端に設けられる。このため、カメラ１４をバックカメラ１４とも呼ぶ。バックカメラ１４の光軸１４ａは平面視で車両４の前後方向に沿っている。バックカメラ１４は車両４の後方向を撮影する。フロントカメラ１１及びバックカメラ１４の取付け位置は、車両４の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

カメラ１２は車両４の左側ドアミラー４１に設けられる。このため、カメラ１２を左サイドカメラ１２とも呼ぶ。また自車両がいわゆるドアミラーレス車である場合には、左サイドカメラは、左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。左サイドカメラ１２の光軸１２ａは平面視で車両４の左右方向に沿っている。左サイドカメラ１２は車両４の左方向を撮影する。カメラ１３は車両４の右側ドアミラー４２に設けられる。このため、カメラ１３を右サイドカメラ１３とも呼ぶ。また自車両がいわゆるドアミラーレス車である場合には、右サイドカメラは、右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。右サイドカメラ１３の光軸１３ａは平面視で車両４の左右方向に沿っている。右サイドカメラ１３は車両４の右方向を撮影する。

各カメラ１１〜１４のレンズとしては、例えば魚眼レンズが使用される。各カメラ１１〜１４の水平方向の画角θは１８０度以上である。このため、４つのカメラ１１〜１４を利用することで、車両４の水平方向における全周囲を撮影することが可能になっている。

画像処理装置２は、撮影部１によって撮影された撮影画像を取得して、当該撮影画像の処理を行う。また、画像処理装置２は、撮影画像を処理して得られた処理画像を表示装置３に出力する。また、画像処理装置２は、撮影画像を処理して、撮影画像中から検出対象（例えば駐車枠）を検出する。画像処理装置２は、車両４の所定の位置に配置される。すなわち、画像処理装置２は、車両において用いられる。画像処理装置２の詳細については後述する。

表示装置３は、例えばタッチパネル等の操作機能を有する液晶等のディスプレイを備え、画像処理システムＳＹＳ２による処理で得られた表示画像を表示する。表示装置３は、車両４の乗員（代表的には運転者）がディスプレイの表示画面を視認できる位置に設けられる。例えば、表示装置３は、車両４のインストルメントパネルに設置される。

＜画像処理装置の構成＞
画像処理装置２は、ＥＣＵ（Electronic Control Unit）として構成される。図１に示すように、画像処理装置２は、画像生成部２１と、制御部２２と、合成部２３と、通信部２４と、記憶部２５と、を備える。

画像生成部２１は、撮影部１で撮影された撮影画像を処理して表示用画像を生成する。本実施の形態では、画像生成部２１は、各種の画像処理が可能なハードウェア回路として構成されている。本実施の形態では、画像生成部２１は、車両４に搭載されるカメラ１１〜１４による撮影画像に基づいて、仮想視点から見た車両４の周辺を示す仮想視点画像を生成する。仮想視点画像を生成する手法の詳細については後述する。

仮想視点画像は、合成部２３によってマスクがスーパーインポーズされた後、通信部２４によって表示装置３に出力され、表示装置３の表示画面に表示される。

制御部２２は、画像処理装置２の全体を制御する。制御部２２は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータである。本実施の形態では、制御部２２は、画像制御部２２１と、表示制御部２２２と、調整部２２３と、検出部２２４と、を備える。制御部２２が備えるこれらの各部は、例えばＲＯＭに格納されるプログラムに従ってＣＰＵが演算処理を行うことによって実現される機能である。

画像制御部２２１は、画像生成部２１によって実行される画像処理及び合成部２３によって実行される画像処理を制御する。例えば、画像制御部２２１は、画像生成部２１に対して、仮想視点画像を生成するために必要となる各種のパラメータ等の指示を行い、合成部２３に対して、合成画像を生成するために必要となる各種のパラメータ等の指示を行う。

表示制御部２２２は、主に画像処理装置２の処理によって得られた画像情報を表示装置３で表示させるための制御を行う。例えば、表示制御部２２２は、合成部２３で生成された合成画像を表示装置３に出力する際の制御を行う。

調整部２２３は、仮想視点画像内に映り込んでいる車両を隠すマスクの領域を撮影画像に基づいて調整する。

検出部２２４は、撮影画像に映り込んでいる車両の駐車領域を区画する駐車枠線を検出し、検出された２つの駐車枠間の領域を駐車枠として検出する。駐車枠の検出処理は、適宜実施される。

通信部２４は、表示装置３との間で通信を行う。通信部２４は、例えば、合成部２３で生成された合成画像を表示装置３に出力する。また、通信部２４は、運転者等が表示装置３の操作を行った場合に操作部（タッチパネル等）から送信される信号を受信する。

記憶部２５は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部２５は、例えば、ファームウェアとしてのプログラム、画像生成部２１が仮想視点画像を生成するための各種のデータを記憶する。また、記憶部２５は、調整部２２３及び検出部２２４が処理を実行するために必要となる各種のデータを記憶する。

＜画像処理装置の構成＞
図３は、画像処理装置２の動作を示すフローチャートである。

まず、画像制御部２２１の指示に従って、画像生成部２１が、仮想視点から見た車両４の周辺の様子を示す仮想視点画像を生成する画像生成処理を実行する。（ステップＳ１０）。仮想視点画像を生成する手法の詳細については後述する。

次に、調整部２２３が、仮想視点画像内に映り込んでいる車両を隠すマスクの領域を撮影画像に基づいて調整する調整処理を実行する（ステップＳ２０）。マスクを調整する手法の詳細については後述する。

最後に、画像制御部２２１の指示に従って、合成部２３が、仮想視点画像にマスクをスーパーインポーズする合成処理を実行する（ステップＳ３０）。合成処理を実行することで得られる合成画像の詳細については後述する。なお、ステップＳ３０の後に適宜、駐車枠の検出処理、表示装置３との間で通信を行う通信処理等が実行される。

＜仮想視点画像の生成処理＞
画像生成部２１が、仮想視点から見た車両４の周辺の様子を示す仮想視点画像を生成する手法について説明する。図４は、画像生成部２１が仮想視点画像を生成する手法を説明するための図である。画像生成部２１は、仮想視点画像の生成に仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある仮想視点画像を生成する。

フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、及び、バックカメラ１４によって、車両４の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１１〜Ｐ１４が同時に取得される。これら４つの撮影画像Ｐ１１〜Ｐ１４には、車両４の全周囲のデータが含まれている。画像生成部２１は、これら４つの撮影画像Ｐ１１〜Ｐ１４を取得する。４つの撮影画像Ｐ１１〜Ｐ１４内のベタ塗り部分は、撮影画像に映り込んでいる車両４のボディである。

画像生成部２１は、これら４つの撮影画像Ｐ１１〜Ｐ１４に含まれるデータ（画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心部（お椀の底部分）が車両４の位置として定められている。撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められている。この対応関係を示すテーブルデータは、記憶部２５に記憶されている。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の値とに基づいて決定できる。なお、図２に示す斜線領域に対応する投影面ＴＳの領域では、２つのカメラからの撮影画像が投影される。図２に示す斜線領域に対応する投影面ＴＳの領域では、例えば２つのカメラからの撮影画像を所定の割合でブレンドすればよい。

次に、画像生成部２１は、画像制御部２２１の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２１は、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部２１は、設定された仮想視点ＶＰに応じて投影面ＴＳにおける必要な領域を切り出す。これにより、任意の仮想視点ＶＰから見た仮想視点画像が生成される。

例えば、図４に示すように、視点位置を車両４の真上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両４及び車両４の周辺を俯瞰する仮想視点画像（俯瞰画像）に図５を用いて後述するマスク及び車両４の像をスーパーインポーズした合成画像ＣＰａを得ることができる。また、視点位置を車両４の左後方、視線方向を車両４の前方とした仮想視点ＶＰｂを想定した場合、車両４の左後方から見た車両４及び車両４の周辺を示す仮想視点画像にマスク及び車両４の像をスーパーインポーズした合成画像ＣＰｂを得ることができる。

なお、仮想視点画像ＣＰ中に示す車両４の像は、予めビットマップなどのデータとして用意され、記憶部２５に記憶されている。合成画像の生成の際には、仮想視点画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両４の像のデータが読み出されて、マスクが既にスーパーインポーズされている仮想視点画像に車両４の像がスーパーインポーズされる。

図５は、合成画像における車両４の像が配置される部分を拡大して示した図である。なお、図５では、上述の仮想視点ＶＰａによる仮想視点画像を想定している。図５に示すように、仮想視点画像にマスク５がスーパーインポーズされている。図５において、マスク５は斜線を施した部分である。本実施の形態において、マスク５の領域は、車両４のボディが映り込む可能性がある領域である。詳細には、マスク５の外縁（境界）は、図５に示すように矩形状である。マスク５は、表示装置３においては、例えば黒色等で表示される。これにより、撮影画像内に映り込んでいる車両が車両の近くに存在する障害物と合成画像を見たユーザーに誤認されることを防止することができる。

マスク５の領域の初期設定は、車両４のボディ形状及びカメラ１１〜１４の搭載位置によって決まる。このために、マスク５の領域の初期設定は、例えば車種ごと、又は、グレードごとに設定することができる。本実施の形態では、マスク５の領域の初期設定は、カメラ１１〜１４の取付誤差及びキャリブレーション誤差を考慮して設定されている。詳細には、マスク５の領域の初期設定は、誤差によって車両４のボディが映り込む範囲が最大となる場合でも、車両４のボディ画像が合成画像中に表示されないような設定になっている。マスク５の領域の初期設定に関するデータは、記憶部２５に記憶されている。マスク５は、合成画像の生成の際に、仮想視点画像の仮想視点ＶＰの視点位置と視線方向とに応じて仮想視点画像にスーパーインポーズされる。

＜マスク領域の調整処理＞
調整部２２３は、例えば画像処理装置２が起動する度に調整処理を実施してもよく、運転者等が表示装置３に対して調整処理の実施を指示する操作を行う度に調整処理を実施してもよい。

調整部２２３は、マスク５の領域を撮影画像に基づいて調整する。詳細には、調整部２２３は、撮影画像に基づいて、仮想視点画像内の車両４のボディが映り込んでいる領域を推定し、マスク５がボディの映り込み推定領域を全て覆い、且つ、ボディの映り込み推定領域以外の領域を極力覆わないように、マスク５の領域を調整する。したがって、ボディの映り込み推定領域が広ければ、マスク５の領域も広くなり、ボディの映り込み推定領域が狭ければ、マスク５の領域も狭くなる。

したがって、例えばユーザーが車両の納車後にエアロパーツ等を取り付けた場合、経年変化や事故等によりバンパー等の形状が変化した場合、経年変化や事故等により車両を基準としたカメラの向き（姿勢）が変化した場合等でも、調整部２２３によってマスク５の領域が調整された後は仮想視点画像内に映り込んでいる車両を隠すことができるので、仮想視点画像の見栄えを向上させることができる。

また、上述した通りマスク５の領域の初期設定では、誤差によって車両４のボディが映り込む範囲が最大となる場合でも、車両４のボディ画像が合成画像中に表示されないようになっている。画像処理装置２によると、調整部２２３によってマスク５の領域が調整された後は、個々の車両においてマスク５の領域を最適化することができる。つまり、初期設定よりも、仮想視点画像の見栄えを向上させることができる。

また画像処理装置２によると、マスク５の領域を最適化することができるので、マスク５の領域の初期設定を例えば車種ごと、又は、グレードごとに分けて設定せず、共通設定にすることができる。また画像処理装置２によると、マスク５の領域を最適化することができるので、マスク５の領域の初期設定を大雑把な設定することができ、車両のボディ形状に関する詳細なデータを用いることなくマスク５の領域の初期設定が可能となる。

なお、調整部２２３は、俯瞰画像においてマスク５の外縁（境界）が矩形状を保ちつつ、マスク５の領域を調整する。

また、画像生成部２１は、図２に示す斜線領域に対応する投影面ＴＳの領域において、一方のカメラからの撮影画像ではボディの映り込み推定領域でなく、他方のカメラからの撮影画像ではボディの映り込み推定領域である箇所では、上述したブレンド処理を実施せず、一方のカメラからの撮影画像のみを投影させる。

調整部２２３は、例えば車両が走行中に異なる時刻に撮影された複数の撮影画像に基づいて、仮想視点画像内の車両４のボディが映り込んでいる領域を推定すればよい。車両４のボディはカメラ１１に対して常に静止し、撮影画像において同じ画素位置に映っているため、複数の撮影画像間で画素値の変化が少なく、形状も変化しないのに対し、景色はカメラ１１〜１４に対して動いているので、複数の撮影画像間で画素値の変化が激しく、形状も変化する。よって、車両が走行中に異なる時刻にカメラ１１で撮影された２フレームの撮影画像の差分、車両が走行中に異なる時刻にカメラ１２で撮影された２フレームの撮影画像の差分、車両が走行中に異なる時刻にカメラ１３で撮影された２フレームの撮影画像の差分、及び車両が走行中に異なる時刻にカメラ１４で撮影された２フレームの撮影画像の差分から、形状や画素値の変化がない領域を仮想視点画像内の車両４のボディが映り込んでいる領域として推定することができる。この推定手法によると、路面に白線がない場合でも仮想視点画像内の車両４のボディが映り込んでいる領域を推定することができる。なお、カメラのレンズに付着した泥などもカメラに対して静止することになるため、例えば、色相や撮影画像内の場所によって調整部２２３がレンズ付着物と車両４のボディとを識別することが望ましい。具体的には、車両４のボディは図４のＰ１１〜Ｐ１４に示すように、撮影画像の下辺に沿って映っているため、静止している領域が撮影画像の下辺に沿っている場合は車両４のボディであると推定することができる。

なお、２フレームの撮影画像の差分だけでは、車両４のボディと景色との区別ができない画素も存在し得るので、３フレーム以上の撮影画像の各画素で画素値の分散を算出し、分散が所定値以上であれば景色に分類し、分散が所定値未満であればボディに分類するようにしてもよい。これにより、推定精度が向上する。

また、画像処理装置２が、例えば車両の速度、車両の位置、車両周辺の明るさ等の情報を取得するようにし、同じ条件下で撮影された撮影画像のみを推定処理に利用することで、さらに推定精度が向上する。

調整部２２３は、例えば撮影画像内に映り込んでいる白線の端部位置に基づいて、仮想視点画像内の車両４のボディが映り込んでいる領域を推定すればよい。この推定手法では、撮影画像において車両４のボディが白線の一部を隠している場合、車両４のボディが映り込んでいる領域に応じて白線の端部位置が変化することを利用している。例えば、バックカメラ１４によって撮影された図６及び図７に示す撮影画像では、車両４のボディが映り込んでいる領域Ｒ１によって白線ＷＬ１の一部が隠れているため、撮影画像上での白線ＷＬ１の端部位置Ｅ１は、領域Ｒ１と白線ＷＬ１との境界となる。図６に示す撮影画像と図７に示す撮影画像とでは、領域Ｒ１の形状が互いに異なっているため、撮影画像上での白線ＷＬ１の端部位置Ｅ１も互いに異なっている。つまり、撮影画像上での白線ＷＬ１の端部位置Ｅ１と領域Ｒ１の形状との間に相関関係があるため、上述したような撮影画像内に映り込んでいる白線の端部位置に基づく仮想視点画像内の車両４のボディが映り込んでいる領域の推定が可能となる。この推定手法によると、車両が走行していない場合でも仮想視点画像内の車両４のボディが映り込んでいる領域を推定することができる。この場合も、画像処理装置２が、例えば車両の位置、車両周辺の明るさ等の情報を取得するようにし、同じ条件下で撮影された撮影画像のみを推定処理に利用することで、推定精度が向上する。

また、調整部２２３は、マスク５の領域を変更する際に、運転者等が表示装置３に対して変更の承認を示す操作をしてからマスク５の領域の変更を実行するようにしてもよい。これにより、運転者等の意に反してマスク５の領域が調整されることを防止することができる。例えば、エアロパーツ等を取り付けや事故の覚えが無い場合に、運転者等はマスク５の領域が調整されることを承認しないようにすることができる。

また、調整部２２３は、運転者等が表示装置３に対してリセット要求変更の承認を示す操作をすると、その操作に応じてマスク５の領域を初期設定に戻すようにしてもよい。これにより、マスク５の領域の調整によって不具合が生じた場合でも、元の状態に戻すことができるので、利便性が向上する。

また、調整部２２３による調整の結果、マスク５の領域の少なくとも一部が所定範囲を超えたら、制御部２２が、表示装置３に異常を報知させる報知部として機能するようにしてもよい。これにより、運転者等が気付いていないカメラ１１〜１４の位置ずれなどを運転者等に気付かせることができる。この場合、例えば図８に示すフローチャートのように、ステップＳ２０とステップＳ３０との間にステップＳ２１及びＳ２２を追加するとよい。なお、図８に示すフローチャートとは異なり、ステップＳ３０の後にステップＳ２１及びＳ２２を追加してもよい。ステップＳ２１において、制御部２２は、マスク５の領域の少なくとも一部が所定範囲を超えた否かを判定する。マスク５の領域の少なくとも一部が所定範囲を超えた場合、制御部２２が、表示装置３に異常を報知させる報知処理を実行する（ステップＳ２２）。一方、マスク５の領域の少なくとも一部が所定範囲を超えていない場合、ステップＳ２２の報知処理は実行されない。

また、制御部２２が、調整部２２３の最新の調整結果と一つ前の調整結果とを比較した結果を表示装置３に表示させるようにしてもよい。これにより、マスク５の領域が変更したか否かを運転者等に知らせることができる。この場合、例えば図９に示すフローチャートのように、ステップＳ２０とステップＳ３０との間にステップＳ２３及びＳ２４を追加するとよい。なお、図９に示すフローチャートとは異なり、ステップＳ３０の後にステップＳ２３及びＳ２４を追加してもよい。ステップＳ２３において、制御部２２は、調整部２２３の最新の調整結果と一つ前の調整結果とを比較する比較処理を実行する。そして、ステップＳ２４において、制御部２２が、調整部２２３の最新の調整結果と一つ前の調整結果とを比較した結果を表示装置３に表示させる表示処理を実行する。調整部２２３の最新の調整結果と一つ前の調整結果との間に変化が無い場合にステップＳ２４の表示処理が実行されないようにしてもよい。

＜留意事項＞
本明細書における実施形態や実施例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。

２ 画像処理装置
４ 車両
１１ フロントカメラ
１２ 左サイドカメラ
１３ 右サイドカメラ
１４ バックカメラ
２１ 画像生成部
２３ 合成部
２２３ 調整部

Claims (7)

1. 移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像生成部と、
   前記仮想視点画像内に映り込んでいる前記移動体を隠すマスクの領域を前記撮影画像に基づいて調整する調整部と、
   前記仮想視点画像に前記マスクをスーパーインポーズする合成部と、
   を備える、画像処理装置。
2. 前記調整部は、前記移動体が移動中に異なる時刻に撮影された複数の前記撮影画像に基づいて前記マスクの領域を調整する、請求項１に記載の画像処理装置。
3. 前記調整部は、前記撮影画像内に映り込んでいる白線の端部位置に基づいて前記マスクの領域を調整する、請求項１または請求項２に記載の画像処理装置。
4. 前記調整部は、前記マスクの領域を変更する際に、ユーザー操作による承認を得てから前記マスクの領域の変更を実行する、請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記調整部は、ユーザー操作によるリセット要求に応じて、前記マスクの領域を初期設定に戻す、請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記マスクの領域の少なくとも一部が所定範囲を超えたら異常を報知する報知部を備える、請求項１〜５のいずれか一項に記載の画像処理装置。
7. 移動体に搭載されるカメラによって撮影された撮影画像に基づいて、仮想視点から見た移動体の周辺を示す仮想視点画像を生成する画像生成工程と、
   前記仮想視点画像内に映り込んでいる前記移動体を隠すマスクの領域を前記撮影画像に基づいて調整する調整工程と、
   前記仮想視点画像に前記マスクをスーパーインポーズする合成工程と、
   を備える、画像処理方法。

Images