JP2013020308A - 車両周囲画像撮像システム - Google Patents

Abstract

【課題】車両周囲画像撮像システムにおいて、高性能な演算処理装置を必要とせず、かつ適正に周囲画像を補正する。
【解決手段】カメラ傾斜角センサ２０（第１の検出器）によって検出されたカメラ１０の傾き角度αｉと車両傾斜角センサ４０（第２の検出器）によって検出された車両２００の傾き角度βとの差γｉ（傾き角度差分値）が、予め設定された基準値Γｉ（初期値や設計値等）から変化したときは、その変化量Δγｉ（ずれ量）に応じて俯瞰画像（周囲画像）の補正を行うものであり、差γｉを算出する演算処理は軽負荷であるため高性能な演算処理装置を必要とせず、また、カメラ１０の傾き角度αｉの変化のみに応じて俯瞰画像の補正を行うのではなく、車両２００の傾き角度βとの相対的な関係γｉの変化に応じて補正を行うため、適正に俯瞰画像を補正する。
【選択図】図１

Description

本発明は、車両に設けられた複数の撮像手段で撮像された画像を合成して車両周囲画像を得る車両周囲画像撮像システムに関する。

車両に搭載されたカメラで撮影された車両後方の画像を車載モニタに表示することで、運転者の死角になり易い車両後方の状況を、車載モニタに表示された画像として視認させ、車両後退時の視認性を向上させることが行われている。

また、互いに異なる方向に向けた複数のカメラで撮影された画像を、例えば車両の上方に仮想的に設けられた視点から見下ろした画像に変換（視点変換）するとともに、これらの画像を一つの画像に合成して、車両の周囲画像（俯瞰画像等とも称する）を得ることも行われている。

このような周囲画像を得るための視点変換および合成の処理は、各カメラが車両に設置された状態で、その姿勢（傾き角度）が予め設定された設計値の通りにセットされていることが必要であり、姿勢が設計値からずれていると、視点変換および合成の処理によって得られる周囲画像は不正確なものとなる。

カメラの姿勢は、そのカメラが車両に設置された初期の段階においては略設計値通りの姿勢となっているが、車両の振動等の影響により経時的に徐々に変化したり、カメラへの接触や車両の事故などによって変化することがある。

ところで、カメラの傾きではなく車両が走行する路面に傾斜が有った場合も、その路面の傾斜によって、周囲画像が不正確なものとなるが、その場合の周囲画像を調整する技術が提案されている（特許文献１）。

この技術は、車両に取り付けられたジャイロセンサによって車両の傾きを検出し、得られた周囲画像の画像認識結果およびジャイロセンサによる車両の傾きに応じて、周囲画像を補正するものである。

特開２０１０−２４５８２１号公報

しかし、この技術は路面の傾きに対応したものであり、カメラの傾きに対応したものではない。

また、この技術は走行している路面の傾斜に対応して即時に画像の補正を行う必要があるため、その画像の調整等に要する演算速度が速い高性能の演算処理装置が必要である。

しかも、車両が走行する路面の傾きは刻々と変化するが、この変化に対応して画像を表示させるためには、画像の補正を常時行い続ける必要があり、この観点からも演算処理装置が高性能であることが要求される。

本発明は上記事情に鑑みなされたもので、高性能な演算処理装置を必要とせず、かつカメラの姿勢変化によって周囲画像を補正する必要が生じた場合に、適正に周囲画像を補正することができる車両周囲画像撮像システムを提供することを目的とする。

本発明に係る車両周囲画像撮像システムは、第１の検出器によって検出されたカメラの傾き角度と第２の検出器によって検出された車両の傾き角度との差（傾き角度差分値）が、予め設定された基準値（車両にカメラを設置した当初の値である初期値や設計値等）から変化したときは、その変化量（ずれ量）に応じて周囲画像の補正を行うものであり、傾き角度差分値を算出する演算処理は軽負荷であるため高性能な演算処理装置を必要としない。

また、カメラの傾き角度の変化のみに応じて周囲画像の補正を行うのではなく、車両の傾き角度との相対的な関係（差分）の変化に応じて補正を行うため、適正に周囲画像を補正するものである。

すなわち、本発明に係る車両周囲画像撮像システムは、車両に取り付けられた複数のカメラと、前記複数のカメラによって得られた複数の画像を視点変換して合成した単一の周囲画像を生成する画像処理部と、前記複数のカメラのそれぞれの傾きの角度を検出する第１の検出器と、前記車両の傾きの角度を検出する第２の検出器と、前記第１の検出器によって検出されたカメラ傾きの角度と前記第２の検出器によって検出された車両傾きの角度との差である傾き角度差分値を求め、求められた傾き角度差分値の、前記傾き角度差分値について予め設定された基準値に対する差であるずれ量に応じて、前記画像処理部による視点変換および合成の処理を変化させる制御部と、を備えたことを特徴とする。

本発明に係る車両周囲画像撮像システムによれば、高性能な演算処理装置を必要とせず、かつ車載カメラの姿勢変化によって周囲画像を補正する必要が生じた場合に、適正に周囲画像を補正することができる。

本発明の一実施形態に係る車両周囲画像撮像システムを示すブロック図である。 フラッシュメモリに記憶されている、ずれ量とマッピングデータとの対応関係を示すテーブル（表）である。 図１に示した実施形態の車両周囲画像撮像システムの作用を示すフローチャートである。

以下、本発明に係る車両周囲画像撮像システムの実施の形態について、図面を参照して説明する。

図１は、本発明の一実施形態である車両周囲画像撮像システム１００の構成を示すブロック図である。

図示の車両周囲画像撮像システム１００は、車両２００の一部を含んだ車両２００の周囲の領域を撮影する４つのカメラ１０（車両２００の前方を撮影する前カメラ１１、車両２００の後方を撮影する後カメラ１２、車両２００の右側方を撮影する右カメラ１３、車両２００の左側方を撮影する左カメラ１４）と、各カメラ１１〜１４にそれぞれ搭載された、各カメラ１１〜１４のそれぞれの傾きの角度α１〜α４を検出するカメラ傾斜角センサ２０（第１の検出器の一例：前カメラ１１用のカメラ傾斜角センサ２１、後カメラ１２用のカメラ傾斜角センサ２２、右カメラ１３用のカメラ傾斜角センサ２３、左カメラ１４用のカメラ傾斜角センサ２４）と、各カメラ１１〜１４によって撮影された画像を視点変換（例えば、車両２００の真上から見下ろす視点での画像に変換）して合成した単一の俯瞰画像（周囲画像の一例）を生成する視点変換モジュール３０（画像処理部の一例）と、車両２００の傾きの角度βを検出する車両傾斜角センサ４０（第２の検出器の一例）と、各カメラ傾斜角センサ２１〜２４によって検出された、対応するカメラ１１〜１４の傾きの角度α１〜α４と車両傾斜角センサ４０によって検出された車両２００の傾きの角度βとの差である傾き角度差分値γ１〜γ４（γ１＝α１−β、γ２＝α２−β、γ３＝α３−β、γ４＝α４−β）を求め、求められた傾き角度差分値γ１〜γ４の、傾き角度差分値γ１〜γ４についてそれぞれ予め設定された基準値Γ１〜Γ４に対する差であるずれ量Δγ１〜Δγ４（Δγ１＝γ１−Γ１、Δγ２＝γ２−Γ２、Δγ３＝γ３−Γ３、Δγ４＝γ４−Γ４）に応じて、視点変換モジュール３０による視点変換および合成の処理を変化させる表示制御モジュール５０（制御部の一例）と、画像を表示する表示装置９０（表示部の一例）と、表示装置９０に対する表示の制御を行う映像表示モジュール６０（制御部の一部機能（警告を表示する機能）を実現する構成の一例）と、各種データを記憶したフラッシュメモリ７０とを備えた構成である。

ここで、前カメラ１１は車両２００の前部に設置され、後カメラ１２は車両２００の後部に設置され、右カメラ１３は車両２００の右側部に設置され、左カメラ１４は車両２００の左側部に設置されている。

また、視点変換モジュール３０、車両傾斜角センサ４０、表示制御モジュール５０、映像表示モジュール６０およびフラッシュメモリ７０は、単一のカメラ電子制御ユニット８０として、車両２００の車室内で乗員の目につきにくい場所に設置されている。

これに対して表示装置９０は、カメラ電子制御ユニット８０とは別体に、車室内で乗員の目に付きやすい場所（例えば、インストルメントパネルやダッシュボード等）に設定されている。

各カメラ傾斜角センサ２１〜２４および車両傾斜角センサ４０としては、例えばジャイロセンサを適用することができるが、本発明の車両周囲画像撮像システムにおいては、第１の検出器および第２の検出器としてジャイロセンサ以外のものであっても、傾きの角度を検出する機能を有するものであれば如何なるものを適用してもよい。

カメラ電子制御ユニット８０における車両傾斜角センサ４０が検出する車両２００の傾き角度βは、カメラ電子制御ユニット８０内での車両傾斜角センサ４０の設置姿勢と車両２００に対するカメラ電子制御ユニット８０の設置姿勢とが組み合わされたものとなる。

一方、各カメラ１１〜１４に設置されたカメラ傾斜角センサ２１〜２４が検出する各カメラ１１〜１４の傾き角度α１〜α４は、対応するカメラ１１〜１４に対するカメラ傾斜角センサ２１〜２４の設置姿勢と車両２００に対する各カメラ１１〜１４の設置姿勢とが組み合わされたものとなる。

ここで、表示制御モジュール５０は、上述した視点変換および単一の画像への合成の処理を、予め設定されたマッピングテーブルを用いた変換により行うものであり、このマッピングテーブルは、フラッシュメモリ７０にマッピングデータ７１として記憶されている。

マッピングデータ７１としてフラッシュメモリ７０に記憶されているマッピングテーブルは、通常は、各カメラ１１〜１４のそれぞれ基準となる傾き角度（設計値または車両２００に各カメラ１１〜１４を設置した際の初期的な傾き角度である初期値）に対応した標準の１つだけである。

しかし、本実施形態の車両周囲画像撮像システム１００は、上述した標準のマッピングデータ７１（後述するマッピングデータ７１ｇ）の他に、互いに異なる複数のマッピングデータ７１をフラッシュメモリ７０に記憶している。

これら複数のマッピングデータ７１は、互いに異なるものとして設定されているため、視点変換モジュール３０の視点変換および合成の処理に適用するマッピングデータ７１を入れ替えることによって、視点変換モジュール３０による視点変換および合成の処理の内容を変化させることができる。

標準のマッピングデータ７１ｇ以外のマッピングデータ７１は、各カメラ１１〜１４のうち１つ以上が上述した基準となる傾き角度からずれている場合（厳密には、車両２００に対するカメラ１１〜１４の相対的な傾き角度（傾き角度差分値γｉ（ｉ＝１〜４）が基準値Γｉ（ｉ＝１〜４）からずれている場合）、そのずれを補正して、ずれが無かった（傾き角度差分値γｉが基準値Γｉの場合）としたら得られるであろう俯瞰画像に変換するマッピングテーブルである。

そして、これら複数のマッピングデータ７１のうち１つが、表示制御モジュール５０によって選択されてフラッシュメモリ７０から読み出され、視点変換モジュール３０に送られて、視点変換モジュール３０は、その送られてきた１つのマッピングデータ７１に基づいて視点変換および合成の処理を行う。

表示制御モジュール５０による特定のマッピングデータ７１の選択は、カメラ傾斜角センサ２１〜２４によって検出されたカメラ１１〜１４の傾きの角度α１〜α４と車両傾斜角センサ４０によって検出された車両２００の傾きの角度βとの差である傾き角度差分値γ１〜γ４と、傾き角度差分値γ１〜γ４について予め設定された基準値Γ１〜Γ４との差であるずれ量Δγ１〜Δγ４に応じたものとなる。

ここで、傾きの角度α１〜α４はカメラ１１〜１４の傾きの角度であるため、単純にカメラ１１〜１４自体が傾いた場合にも、その傾きの角度α１〜α４は当然に変化するが、カメラ１１〜１４自体が車両２００に対して傾いていない場合であっても、例えば車両２００が坂道にあるときは、車両２００自体が傾くとともに、傾きの角度α１〜α４も変化する。

したがって、傾きの角度α１〜α４が、製造時の初期的な値や設計値等の基準値から変化したとしても、必ずしも、車両２００に対するカメラ１１〜１４の設置状態が変化したとは限らない。

一方、傾き角度差分値γ１〜γ４は、車両２００に対するカメラ１１〜１４の相対的な傾き角度であるため、車両２００が平地にあるときであっても坂道にあるときであっても、同じ値を示すものである。

一方、傾き角度差分値γ１〜γ４が、これら傾き角度差分値γ１〜γ４について設定された基準値Γ１〜Γ４（カメラ１１〜１４およびカメラ電子制御ユニット８０が車両２００に設置された際の傾き角度差分値の初期値、または、その傾き角度差分値の設計値等）と同一でなくなったとき（ずれ量Δγ１〜Δγ４がゼロでなくなったとき）は、そのずれ量Δγがゼロでなくなったカメラ１１〜１４については、車両２００に対する傾き角度が変化したと、表示制御モジュール５０は判定することができる。

そして、表示制御モジュール５０は、そのずれ量Δγ１〜Δγ４の大きさに対応する１つのマッピングデータ７１を、フラッシュメモリ７０に記憶されている複数のマッピングデータ７１のうちから選択するように構成されている。

ここで、ずれ量Δγｉの大きさに対応する１つのマッピングデータ７１の特定させるためには、ずれ量Δγｉの値ごとに１つのマッピングデータ７１を対応させて記憶させていてもよいが、この場合、記憶させておくマッピングデータの数量が膨大なものとなる。

そこで、本実施形態の車両周囲画像撮像システム１００は、マッピングデータ７１は、ずれ量Δγｉを所定の数値範囲ごとに区切った範囲ごとにひと纏まりとし、その範囲ごとに１つのマッピングテーブルを対応づけてフラッシュメモリ７０に記憶されており、これにより、フラッシュメモリ７０に記憶させておくマッピングデータ７１の数量を低減し、フラッシュメモリ７０の記憶容量を節約している。

具体的には、図２の一覧表に示すように、
（１）ずれ量Δγｉが−０．５〜＋０．５［ｄｅｇ］の範囲のときは、カメラ１０の姿勢に変化がない標準のマッピングデータ７１ｇ（ずれ量Δγｉを０としたときのマッピングデータ）が対応づけられている。
（２）ずれ量Δγｉが−１．０〜−０．５［ｄｅｇ］の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度−０．５［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｆが対応づけられている。
（３）ずれ量Δγｉが＋０．５〜＋１．０［ｄｅｇ］の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度＋０．５［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｈが対応づけられている。
（４）ずれ量Δγｉが−１．５〜−１．０［ｄｅｇ］の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度−１．０［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｅが対応づけられている。
（５）ずれ量Δγｉが＋１．０〜＋１．５［ｄｅｇ］の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度＋１．０［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｉが対応づけられている。
（６）ずれ量Δγｉが−２．０〜−１．５［ｄｅｇ］の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度−１．５［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｄが対応づけられている。
（７）ずれ量Δγｉが＋１．５〜＋２．０［ｄｅｇ］の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度＋１．５［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｊが対応づけられている。
（８）ずれ量Δγｉが−２．５〜−２．０［ｄｅｇ］の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度−２．０［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｃが対応づけられている。
（９）ずれ量Δγｉが＋２．０〜＋２．５［ｄｅｇ］の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度＋２．０［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｋが対応づけられている。
（10）ずれ量Δγｉが−３．０〜−２．５［ｄｅｇ］の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度−２．５［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｂが対応づけられている。
（11）ずれ量Δγｉが＋２．５〜＋３．０［ｄｅｇ］の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度＋２．５［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｌが対応づけられている。
（12）ずれ量Δγｉが−３．０［ｄｅｇ］以下の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度−３．０［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ａが対応づけられている。
（13）ずれ量Δγｉが＋３．０［ｄｅｇ］以上の範囲のときは、カメラ１０の姿勢が標準よりも傾き角度＋３．０［ｄｅｇ］だけずれた状態での画像に対して俯瞰画像を得るためのマッピングデータ７１ｍが対応づけられている。

なお、マッピングデータ７１は、４つのカメラ１１〜１４から得られた４つの画像を単一の俯瞰画像に変換するために設定されているものであり、４つのカメラ１１〜１４のうち、ずれ量Δγがゼロでない（図２に示した対応表においては、ずれ量Δγ１が−０．５〜０．５の範囲以外の）カメラ１０が１つでも存在するときは、標準のマッピングデータ７１ｇ以外のマッピングデータ７１が適用されるのであり、図２に示した対応表では、単純に１つのカメラ１０についてのずれ量Δγに、マッピングデータ７１が１つ対応づけられているものとして記載しているが、実際には、各カメラ１１〜１４の各ずれ量Δγ１〜Δγ４組み合わせに応じて１つのマッピングデータ７１が対応づけられている。

しかも、各カメラ１１〜１４の傾きの角度α１〜α４は、それぞれ３次元の空間における傾きの角度を一意に特定するために、互いに直交する３つの軸（鉛直方向に延びた鉛直軸（ｚ軸、ヨー軸）に対する傾きの角度（ヨー角）、車両の前後方向に沿って水平に延びた前後軸（ｘ軸、ロール軸）に対する傾きの角度（ロール角）、車両の左右方向に沿って水平に延びた左右軸（ｙ軸、ピッチ軸））に対する傾きの角度（ピッチ角）として規定されるため、カメラ１１の傾きの角度α１は、ｘ軸に対する傾きの角度αｘ１、ｙ軸に対する傾きの角度αｙ１およびｚ軸に対する傾きの角度αｚ１によって規定され、カメラ１２の傾きの角度α２は、ｘ軸に対する傾きの角度αｘ２、ｙ軸に対する傾きの角度αｙ２およびｚ軸に対する傾きの角度αｚ２によって規定され、カメラ１３の傾きの角度α３は、ｘ軸に対する傾きの角度αｘ３、ｙ軸に対する傾きの角度αｙ３およびｚ軸に対する傾きの角度αｚ３によって規定され、カメラ１４の傾きの角度α４は、ｘ軸に対する傾きの角度αｘ４、ｙ軸に対する傾きの角度αｙ４およびｚ軸に対する傾きの角度αｚ４によって規定される。

これに伴い、傾き角度差分値γ１〜γ４、基準値Γ１〜Γ４およびずれ量Δγ１〜Δγ４も、それぞれ上記３軸のそれぞれについて規定されている。

すなわち、車両２００に対するカメラ１１の傾き角度差分値γ１のうちｘ軸に対する傾き角度差分値γｘ１、ｙ軸に対する傾き角度差分値γｙ１、ｚ軸に対する傾き角度差分値γｚ１、基準値Γ１のうちｘ軸に対する基準値Γｘ１、ｙ軸に対する基準値Γｙ１、ｚ軸に対する基準値Γｚ１、ずれ量Δγ１のうちｘ軸に対するずれ量Δγｘ１、ｙ軸に対するずれ量Δγｙ１、ｚ軸に対するずれ量Δγｚ１が規定され、車両２００に対するカメラ１２の傾き角度差分値γ２のうちｘ軸に対する傾き角度差分値γｘ２、ｙ軸に対する傾き角度差分値γｙ２、ｚ軸に対する傾き角度差分値γｚ２、基準値Γ２のうちｘ軸に対する基準値Γｘ２、ｙ軸に対する基準値Γｙ２、ｚ軸に対する基準値Γｚ２、ずれ量Δγ２のうちｘ軸に対するずれ量Δγｘ２、ｙ軸に対するずれ量Δγｙ２、ｚ軸に対するずれ量Δγｚ２が規定され、車両２００に対するカメラ１３の傾き角度差分値γ３のうちｘ軸に対する傾き角度差分値γｘ３、ｙ軸に対する傾き角度差分値γｙ３、ｚ軸に対する傾き角度差分値γｚ３、基準値Γ３のうちｘ軸に対する基準値Γｘ３、ｙ軸に対する基準値Γｙ３、ｚ軸に対する基準値Γｚ３、ずれ量Δγ３のうちｘ軸に対するずれ量Δγｘ３、ｙ軸に対するずれ量Δγｙ３、ｚ軸に対するずれ量Δγｚ３が規定され、車両２００に対するカメラ１４の傾き角度差分値γ４のうちｘ軸に対する傾き角度差分値γｘ４、ｙ軸に対する傾き角度差分値γｙ４、ｚ軸に対する傾き角度差分値γｚ４、基準値Γ４のうちｘ軸に対する基準値Γｘ４、ｙ軸に対する基準値Γｙ４、ｚ軸に対する基準値Γｚ４、ずれ量Δγ４のうちｘ軸に対するずれ量Δγｘ４、ｙ軸に対するずれ量Δγｙ４、ｚ軸に対するずれ量Δγｚ４が規定される。

この結果、図２に示した対応表では、単純に１つのカメラ１０について１つの軸（例えば、ピッチ軸）についてのずれ量Δγに対して、マッピングデータ７１が１つ対応づけられているものとして記載しているが、実際には、各カメラ１１〜１４の各軸に対するずれ量Δγｘ１、Δγｙ１、Δγｚ１、Δγｘ２、Δγｙ２、Δγｚ２、Δγｘ３、Δγｙ３、Δγｚ３、Δγｘ４、Δγｙ４、Δγｚ４の組み合わせごとに、マッピングデータ７１が１つずつ対応づけられている。

なお、基準値Γ１（Γｘ１、Γｙ１、Γｚ１）、Γ２（Γｘ２、Γｙ２、Γｚ２）、Γ３（Γｘ３、Γｙ３、Γｚ３）、Γ４（Γｘ４、Γｙ４、Γｚ４）の他、各カメラ１１〜１４の傾きの角度α１〜α４についての基準となる値（カメラ１１〜１４が車両２００に設置された際の傾き角度α１〜α４の初期値、または、その傾き角度α１〜α４の設計値等。以下、カメラ傾き角度基準値Α１、Α２、Α３、Α４という。）および車両２００の傾きの角度βについての基準となる値（カメラ電子制御ユニット８０が車両２００に設置された際の傾き角度βの初期値、または、その傾き角度βの設計値等。以下、車両傾き角度基準値Βという。）も、フラッシュメモリ７０に記憶されている。

本実施形態は説明の煩雑さを避けるために、１つのカメラ１０について１つの軸についてのずれ量Δγに対してマッピングデータ７１が１つ対応づけられているものとして説明するが、本発明の現実の実施にあたっては、上述したように各カメラ１１〜１４の各軸に対するずれ量Δγｘ１、Δγｙ１、Δγｚ１、Δγｘ２、Δγｙ２、Δγｚ２、Δγｘ３、Δγｙ３、Δγｚ３、Δγｘ４、Δγｙ４、Δγｚ４の組み合わせごとに、マッピングデータ７１が１つずつ対応づけられているものとし、そのうちの１つが選択されるものとすればよい。

フラッシュメモリ７０に記憶されているＯＳＤデータ７２は、映像表示モジュール６０が有するオンスクリーンディスプレイ（On-Screen Display）機能により、表示装置９０に俯瞰画像に重畳表示される警告を表す可視情報であり、例えば、「カメラの取り付け角度にずれがあります」等の文字情報を適用することができる。

この警告は、例えば図２に示したずれ量Δγｉが−３．０以下または３．０以上のときに表示されるものである。

すなわち、検出されたずれ量Δγｉが予め設定されているずれ量Δγｉの上限値（閾値、ずれ量として想定された最大値）である３．０を上回った場合は、表示制御モジュール５０が、その上限値のずれ量Δγｉ＝３．０に対応するマッピングデータ７１ｍを選択して、視点変換モジュール３０がその選択されたマッピングデータ７１ｍにしたがって各カメラ１１〜１４で得られた４つの画像を視点変換および合成処理して俯瞰画像を得、映像表示モジュール６０が、フラッシュメモリ７０に記憶されているＯＳＤデータ７２を読み出して、視点変換モジュール３０で得られた俯瞰画像にそのＯＳＤデータ７２を重畳させて表示装置９０に表示出力させる。

同様に、検出されたずれ量Δγｉが予め設定されているずれ量Δγｉの下限値（閾値、ずれ量として想定された最大値（絶対値として））である−３．０を下回った場合は、表示制御モジュール５０が、その下限値のずれ量Δγｉ＝−３．０に対応するマッピングデータ７１ａを選択して、視点変換モジュール３０がその選択されたマッピングデータ７１ａにしたがって各カメラ１１〜１４で得られた４つの画像を視点変換および合成処理して俯瞰画像を得、映像表示モジュール６０が、フラッシュメモリ７０に記憶されているＯＳＤデータ７２を読み出して、視点変換モジュール３０で得られた俯瞰画像にそのＯＳＤデータ７２を重畳させて表示装置９０に表示出力させる。

検出されたずれ量Δγｉが予め設定されているずれ量Δγｉの下限値である−３．０と上限値である３．０との間の範囲の値の場合は、表示制御モジュール５０が、検出されたずれ量Δγｉの値に対応する範囲（図２の表の最上段に記載の範囲）に対応するマッピングデータ７１（マッピングデータ７１ｂ〜７１ｌのうちいずれか１つ）を選択して、視点変換モジュール３０がその選択されたマッピングデータ７１にしたがって各カメラ１１〜１４で得られた４つの画像を視点変換および合成処理して俯瞰画像を得、映像表示モジュール６０が、視点変換モジュール３０で得られた俯瞰画像を表示装置９０に表示出力させる。

次に、本実施形態の車両周囲画像撮像システム１００の作用を、図３に示したフローチャートにしたがって説明する。

まず、各カメラ１１〜１４から、各カメラ１１〜１４によって撮影された画像が視点変換モジュール３０に入力される（Ｓ１）。

すなわち、前カメラ１１によって撮影された車両前方の画像と、後カメラ１２によって撮影された車両後方の画像と、右カメラ１３によって撮影された車両右側方の画像と、左カメラ１４によって撮影された車両左側方の画像とが、カメラ電子制御ユニット８０の視点変換モジュール３０に入力される。

一方、各カメラ１１〜１４にそれぞれ取り付けられたカメラ傾斜角センサ２１〜２４が、対応するカメラ１１〜１４の傾きの角度α１〜α４を検出し、これらの傾きの角度α１〜α４がカメラ電子制御ユニット８０の表示制御モジュール５０に入力される（Ｓ２）。

ここで、各カメラ傾斜角センサ２１〜２４は、各カメラ１１〜１４ごとに３つの傾きの角度（ヨー角、ロール角、ピッチ角）を検出しているが、以下の説明では、前述したように説明の簡略化のために、各カメラ１１〜１４の傾きの角度をそれぞれ単一の傾きの角度α１〜α４で代表させている。

カメラ傾斜角センサ２１〜２４がカメラ１１〜１４の傾きの角度α１〜α４を検出して結果を表示制御モジュール５０に入力するタイミングは、カメラ１１〜１４によって撮影された画像が視点変換モジュール３０に入力されるタイミングと同期しているのが好ましいが、必ずしも同期していなくてもよい。

また、カメラ電子制御ユニット８０の車両傾斜角センサ４０が車両２００の傾きの角度βを検出し、この傾きの角度βも表示制御モジュール５０に入力される（Ｓ３）。この傾きの角度βの表示制御モジュール５０への入力タイミングも、傾きの角度α１〜α４の表示制御モジュール５０への入力タイミングと同期しているのが好ましいが、必ずしも同期していなくてもよい。

表示制御モジュール５０は、カメラ傾き角度基準値Α１〜Α４をフラッシュメモリ７０から読み出して、入力されたカメラ１１〜１４の傾きの角度α１〜α４とカメラ傾き角度基準値Α１〜Α４との差分Δα１（＝α１−Α１）、Δα２（＝α２−Α２）、Δα３（＝α３−Α３）、Δα４（＝α４−Α４）を算出する（Ｓ４）。

また、表示制御モジュール５０は、車両傾き角度基準値Βをフラッシュメモリ７０から読み出して、入力された車両２００の傾きの角度βと車両傾き角度基準値Βとの差分Δβを算出する（Ｓ５）。

次いで、表示制御モジュール５０は差分Δα１、Δα２、Δα３、Δα４と差分Δβとを大小比較する（Ｓ６）。

ここで、各カメラ１１〜１４についての差分Δα１〜Δα４と差分Δβとが全て同じ値のとき（Ｓ６においてＮｏの場合）は、全てのカメラ１１〜１４が、特付け状態における傾き角度に異常がないことを示していて、この場合は、表示制御モジュール５０は、フラッシュメモリ７０に記憶されているマッピングデータ７１のうち、標準のマッピングデータ７１ｇを選択し（Ｓ７）、その選択したマッピングデータ７１ｇを視点変換モジュール３０に入力する。

視点変換モジュール３０は、入力されたマッピングデータ７１ｇにしたがって、カメラ１１〜１４から入力された画像に対して視点変換処理と合成処理とを併せて行い、単一の俯瞰画像を生成し（Ｓ８）、生成された俯瞰画像を映像表示モジュール６０に入力する。

映像表示モジュール６０は、入力された俯瞰画像を表示装置９０において可視画像として表示されるように、その表示装置９０に対応したエンコードを俯瞰画像に施して、その俯瞰画像を表示装置９０に表示させる（Ｓ９）。

一方、ステップ６（Ｓ６）の差分Δα１、Δα２、Δα３、Δα４と差分Δβとの大小比較において、いずれかのカメラ１１〜１４についての差分Δα１、Δα２、Δα３、Δα４が車両２００についての差分Δβと一致しないとき（Ｓ６においてＹｅｓの場合）は、表示制御モジュール５０は、各カメラ１１〜１４についての傾き角度差分値γ１〜γ４を算出する（Ｓ１０）。

さらに、表示制御モジュール５０は、各カメラ１１〜１４についてのずれ量Δγ１〜Δγ４を算出する（Ｓ１１）。

そして、表示制御モジュール５０は、各カメラ１１〜１４についてのずれ量Δγ１〜Δγ４の組み合わせに対応する１つのマッピングデータ７１を、図２に示した対応表から選択し（Ｓ１２）、その選択したマッピングデータ７１を視点変換モジュール３０に入力する。

ここで、図２に示した表は、１つのずれ量Δγに対して１つのマッピングデータ７１が対応して記載されているが、既述したように、実際には、４つのずれ量Δγ１〜Δγ４の組み合わせ、さらに各ずれ量Δγｉには３軸（ヨー軸、ロール軸、ピッチ軸）回りのずれ量Δγｘｉ、Δγｙｉ、Δγｚｉが設定されているため、厳密には１２個のずれ量Δγｘ１、Δγｙ１、Δγｚ１、Δγｘ２、Δγｙ２、Δγｚ２、Δγｘ３、Δγｙ３、Δγｚ３、Δγｘ４、Δγｙ４、Δγｚ４の組み合わせに対応して、１つのマッピングデータ７１が設定されている。

また、表示制御モジュール５０は、算出されたずれ量Δγｉが想定されている上限値の３．０を上回った場合や想定されている下限値の−３．０を下回った場合（Ｓ１３においてＹｅｓの場合）は、その旨を表す警告フラグを立てて（Ｓ１４）、その警告フラグを、選択されたマッピングデータ（この警告フラグが立てられたときに選択されたマッピングデータはマッピングデータ７１ａまたはマッピングデータ７１ｍである。）とともに視点変換モジュール３０に入力する。

算出されたずれ量Δγｉが想定されている上限値３．０と下限値−３．０の間のときは（Ｓ１３においてＮｏの場合）は、選択されたマッピングデータ７１を視点変換モジュール３０に入力する。

視点変換モジュール３０は、入力されたマッピングデータ７１にしたがって、カメラ１１〜１４から入力された画像に対して視点変換処理と合成処理とを併せて行い、単一の俯瞰画像を生成し（Ｓ８）、生成された俯瞰画像を映像表示モジュール６０に入力する。

警告フラグがたてられているとき（Ｓ１４）は、警告フラグも映像表示モジュール６０に入力する。

映像表示モジュール６０は、入力された俯瞰画像を表示装置９０において可視画像として表示されるように、その表示装置９０に対応したエンコードを俯瞰画像に施して、その俯瞰画像を表示装置９０に表示させる（Ｓ９）。

ここで、警告フラグが立てられているとき（Ｓ１５においてＹｅｓの場合）は、映像表示モジュール６０が、フラッシュメモリ７０に記憶されているＯＳＤデータ７２を読み出して、視点変換モジュール３０で得られた俯瞰画像にそのＯＳＤデータ７２を重畳させて表示装置９０に表示出力させる（Ｓ１６）。

警告フラグが立てられていないときは、表示装置９０にＯＳＤデータ７２を重畳表示させることなく処理を終了する。

以上、詳細に説明したように、本実施形態に係る車両周囲画像撮像システム１００によれば、各カメラ１１〜１４に設けたカメラ傾斜角センサ２１〜２４により検出されたカメラ１１〜１４の傾きの角度α１〜α４と車両２００に設けた車両傾斜角センサ４０によって検出された車両２００の傾きの角度βとの差分である傾き角度差分値γ１〜γ４を算出し、これらと基準値Γ１〜Γ４との差であるずれ量Δγ１〜Δγ４に応じて、予め設定されたマッピングデータ７１の１つを選択するだけの簡単な演算で、カメラ１１〜１４の姿勢変化（傾きの角度の変化）によって生じた誤差を補正した状態の俯瞰画像を得ることができる。

したがって、先行技術のような高度の演算処理を行う必要が無いため、高性能の演算処理装置を必要としない。

しかも、俯瞰画像の生成は、予め設定されたマッピングデータ７１を用いた変換により行うものであり、俯瞰画像を得るための演算処理の負荷を軽減することができる。

また、本実施形態の車両周囲画像撮像システム１００によれば、カメラ１１〜１４の姿勢（傾きの角度α１〜α４）の変化のみによって俯瞰画像を補正する必要があるか否かを判定するのではなく、車両２００の傾きの角度βとの相対的な関係の大きさに基づいて、補正をする必要性を判定していることになるため、車両２００に対するカメラ１１〜１４の設置姿勢には問題がないにも拘わらず、例えば車両２００が坂道を走行している状況等において、カメラ１１〜１４の設置姿勢に変化が生じた等の誤った判定を行うことがなくなり、真に俯瞰画像の補整が必要な場合に、適正に俯瞰画像を補正することができる。

さらに、ずれ量Δγｉが予め設定された閾値である上限値（３．０）を上回ったときは、複数のマッピングデータ７１のうち、ずれ量Δγｉとして想定された最大値３．０に対応したマッピングデータ７１ｍを選択するとともに、または、ずれ量Δγｉが予め設定された閾値である下限値（−３．０）を下回ったときは、複数のマッピングデータ７１のうち、ずれ量Δγｉとして想定された最小値−３．０に対応したマッピングデータ７１ａを選択するととも、選択されたマッピングデータ７１ｍまたは７１ａに基づいて生成され、表示装置９０に表示された俯瞰画像に、警告を表す可視情報であるＯＳＤデータ７２が併
せて表示されるため、カメラ１１〜１４の設置姿勢が基準値から大きくずていることを、表示装置９０に可視的に表示されたＯＳＤデータ７２によって、車両２００の使用者に視認させることができ、これによってカメラ１１〜１４の設置状態の点検や修理を早期に促すことができる。

なお、表示装置９０は、オンスクリーンディスプレイ（On-Screen Display）機能を有し、上述した警告を表す可視情報をオンスクリーンディスプレイ機能によって、俯瞰画像に重畳して表示することで、画像データ上での重畳的処理を行う必要がなく、簡単に重畳表示を行うことができる。

本実施形態の車両周囲画像撮像システム１００は、上述した処理のうちステップ２（Ｓ２）〜ステップ１６（Ｓ１６）の補正を行うタイミングは、カメラの傾きの角度αｉに物理手的なずれが有る場合（例えば、接触等によってカメラ１０が物理的に、その傾き角度αｉが変化した場合等）や、車両２００の傾きの角度βとの関係で、相対的に傾きの角度が変化したように見える場合（車両２００が走行する道路が傾いているために、表示装置９０に表示される画像がずれているように見える場合等）を想定して、以下のタイミングに設定されている。

すなわち、下記（１）から（３）のうち少なくとも１つのタイミングで行うように設定されている。
（１）カメラ電子制御ユニット８０への電源投入時
（２）低速走行時に、予め定めた周期でカメラ１０の傾きの角度αｉを検出し、一定時間内にその傾きの角度αｉが変化しなかったとき
（３）停車時に、予め定めた周期でカメラ１０の傾きの角度αｉを検出し、一定時間内にその傾きの角度αｉが変化しなかったとき
そして、本実施形態の車両周囲画像撮像システム１００は、上述したタイミングでのみ補正を行うため、常時補正のための処理を行っている先行技術のものと比べて、処理の負荷を軽減することができる。

（実施例１）
上述した実施形態において、カメラ傾き角度基準値Αｉが例えば２０［度］、車両傾き角度基準値Βが例えば５［度］であり、検出されたカメラ１０の傾きの角度αｉが例えば２５［度］、車両２００の傾きの角度βが例えば１０［度］であったとき、カメラ１０についての差分Δαも車両２００についての差分Δβも、ともに５［度］であるため、図３に示した処理におけるステップ６（Ｓ６）では、差が無いとの判定となり、標準のマッピングデータ７１ｇが選択されて（Ｓ７）、そのマッピングデータ７１ｇで規定される俯瞰画像が表示される（Ｓ９）。

このとき、ＯＳＤデータ７２の重畳表示（Ｓ１６）はない。

（実施例２）
上述した実施形態において、カメラ傾き角度基準値Αｉが例えば２０［度］、車両傾き角度基準値Βが例えば５［度］であり、検出されたカメラ１０の傾きの角度αｉが例えば２６［度］、車両２００の傾きの角度βが例えば１０［度］であったとき、カメラ１０についての差分Δαは６［度］、車両２００についての差分Δβは５［度］であるため、図３に示した処理におけるステップ６（Ｓ６）では、差が有るとの判定となり、ステップ７（Ｓ７）において傾き角度差分値γｉを算出し、算出結果として１６［度］を得る（Ｓ１０）。

次いで、ずれ量Δγｉを算出するが、基準値Γｉはカメラ傾き角度基準値Αｉと車両傾き角度基準値Βとの差である１５［度］であるから、ずれ量Δγｉは１［度］と算出される（Ｓ１１）。

この結果、マッピングデータ７１は、図２に示した表にしたがって、１［度］のずれ量Δγｉに対応したマッピングデータ７１ｉが選択されて（Ｓ１２）、そのマッピングデータ７１ｉで規定される俯瞰画像が表示される（Ｓ９）。

このときも、ＯＳＤデータ７２の重畳表示（Ｓ１６）はない。

１０，１１，１２，１３，１４ カメラ
２０，２１，２２，２３，２４ カメラ傾斜角センサ
３０ 視点変換モジュール
４０ 車両傾斜角センサ
５０ 表示制御モジュール
６０ 映像表示モジュール
７０ フラッシュメモリ
７１，７１ａ〜７１ｍ マッピングデータ
７２ ＯＳＤデータ
８０ カメラ電子制御ユニット
９０ 表示装置
１００ 車両周囲画像撮像システム
２００ 車両

Claims (5)

1. 車両に取り付けられた複数のカメラと、
   前記複数のカメラによって得られた複数の画像を視点変換して合成した単一の周囲画像を生成する画像処理部と、
   前記複数のカメラのそれぞれの傾きの角度を検出する第１の検出器と、
   前記車両の傾きの角度を検出する第２の検出器と、
   前記第１の検出器によって検出されたカメラ傾きの角度と前記第２の検出器によって検出された車両傾きの角度との差である傾き角度差分値を求め、求められた傾き角度差分値の、前記傾き角度差分値について予め設定された基準値に対する差であるずれ量に応じて、前記画像処理部による視点変換および合成の処理を変化させる制御部と、を備えたことを特徴とする車両周囲画像撮像システム。
2. 前記画像処理部は、前記視点変換および合成の処理を、マッピングテーブルを用いた変換により行うものであり、
   前記マッピングテーブルとして、前記ずれ量に対応して互いに異なる複数のマッピングテーブルを備え、
   前記制御部は、前記画像処理部による視点変換および合成の処理に用いられるマッピングテーブルを、前記複数のマッピングテーブルのうちから、前記ずれ量に対応したマッピングテーブルを選択することにより、前記視点変換および合成の処理を変化させるものであることを特徴とする請求項１に記載の車両周囲画像撮像システム。
3. 前記マッピングテーブルは、前記ずれ量の範囲ごとに対応して設定されていて、前記制御部は、前記ずれ量の範囲に対応したマッピングテーブルを選択することを特徴とする請求項２に記載の車両周囲画像撮像システム。
4. 前記画像処理部により生成された前記周囲画像を表示する表示部を備え、
   前記制御部は、前記ずれ量が予め設定された閾値を超えたときは、前記複数のマッピングテーブルのうち、前記ずれ量として想定された最大値に対応したマッピングテーブルを選択するとともに、前記選択されたマッピングテーブルに基づいて生成され、前記表示部に表示された周囲画像に、警告を表す可視情報を併せて表示させることを特徴とする請求項２または３に記載の車両周囲画像撮像システム。
5. 前記表示部は、オンスクリーンディスプレイ（On-Screen Display）機能を有し、前記警告を表す可視情報を前記オンスクリーンディスプレイ機能によって、前記周囲画像に重畳して表示することを特徴とする請求項４に記載の車両周囲画像撮像システム。