JP5634643B2 - 画像処理装置 - Google Patents

Description

本発明は、車両の運転時に生じる死角領域をカメラで撮影して画像を生成し、運転者による車両周囲の確認を補助する車載画像処理装置に関するものである。

運転者が車両を運転する際には、視覚により車両周囲の状況確認を行う。しかし、自車の車体や障害物の存在により、運転者から視覚で認識できない死角領域が発生する場合がある。「死角」とは、ある角度からはどうしても見えない範囲である。ここでは、運転者から見えない範囲である。「自車」とは、運転者が乗車している車である。このような死角領域の運転者による認識を補助するために、車体に取り付けたカメラによって車両周囲の画像を撮影し、車内に設置された表示装置の画面に表示する技術が提案されている。このような技術として以下に挙げるようなものがある。

特許文献１には、側方カメラと後方カメラを用い、それぞれのカメラ画像から画像を切り出し、張り合わせを行なって表示する技術が記載されている。車速に応じて画像の切出し範囲を変えている。車速が早くなると側方カメラの画像をより広い範囲で切り出す。これにより、張り合わせた表示画像の表示領域が広がり、死角領域の削減を図ることができる。「側方カメラ」とは、車両の左右方向を撮影するカメラである。「後方カメラ」とは、車両の後ろ方向を撮影するカメラである。「車速」とは、車両の速さである。

また特許文献２には、複数のカメラで撮影した車両の周辺画像を表示装置に表示させ、表示装置の画面中に占める表示面積の割合を変化させて合成する方式が記載されている。ハンドル操作の状態により表示割合を変化させることで、同一画面に表示された複数の撮像画像の中から注目すべき画像を目立たせることができる。

特開２００４−３１２５２３号公報（段落００２１〜００２４、図２） 特開２００５−１９８１６０号公報（段落００３０〜００３８、図１）

しかしながら、上記特許文献１に示された従来技術には、複数のカメラ画像の貼り合わせを行う際に、視点変換を行う方法について具体的に示されていない。各カメラ画像からの領域の切出しと視点変換とを独立して行なった場合には、カメラ画像間の接合部分で直線が折れ曲がって表示され、視覚的に被写体の形状を認識しづらい不自然な形状となる問題があった。

また、上記特許文献２に示された従来技術も、同様にハンドル操作等に応じて表示するカメラ画像の表示割合を切り替えるものである。しかし、画像の視点変換については、同時に表示される画像同士で車両の進行方向が同一となるように向きを揃える観点でのみ記載されている。つまり、特許文献２に示された従来技術は、画像間の接合については考慮されていない。そのため、複数のカメラの境界領域に存在する被写体に対しては、形状が正しく把握できず、運転者が被写体を認識しづらくなる問題があった。

そこで本発明の課題は、運転者が容易に車両の周辺状況の画像を確認するための画像処理装置を提供することにある。つまり、複数のカメラの画像の境界部分においても、被写体の形状の折れ曲がりの程度を低減する。また、被写体が二重に表示されることを抑える。また、被写体の表示が欠けることを抑える。これらにより、本発明の課題は、実際に運転者が視認する場合に近い形状で画面が表示される画像処理装置を提供することである。

上記課題を解決するため、本願発明に係る画像処理装置は、それぞれ異なる位置に配置された複数のカメラで撮影された共通の被写体の複数の撮影画像上での位置を基に基準位置から前記共通の被写体までの第１の被写体距離を算出し、前記第１の被写体距離を基にそれぞれの前記撮影画像における被写体の距離情報を算出する距離情報取得部と、前記被写体の距離情報に基づいて前記基準位置を視点とした投影面の位置を補正し、複数の前記撮影画像から前記投影面に投影した画像に変換して繋ぎ合わせる画像合成部とを備える。

本願発明は、カメラ間の画像の境界部分においても、被写体の形状の折れ曲がりの程度を低減し、視認性を向上できる。

実施の形態１における運転支援装置を示すブロック図である。 実施の形態１における車両へのカメラの取り付け位置を示す図である。 実施の形態１における合成された画像例を示す図である。 実施の形態１におけるハンドルの舵角と画像切り出し位置の対応を示す図である。 実施の形態２における運転支援装置を示すブロック図である。 実施の形態２における被写体のマッチング方法を示す図である。 実施の形態２における複数のカメラ画像を合成する際に生じる被写体位置のずれを示す図である。 実施の形態２における投影面の補正方法について示す図である。 実施の形態２における投影面の補正方法について示す図である。 実施の形態３における運転支援装置を示すブロック図である。 実施の形態３におけるハンドルの舵角と車両後方画像の切り出し位置の対応について示す図である。 実施の形態３における車両前方画像および車両後方画像の表示方法を示す図である。

実施の形態１．
図１は実施の形態１における運転支援装置１００の構成を示したブロック図である。本発明に係る運転支援装置１００は、カメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、画像切出し部３２および表示部４０を有する。また、運転支援装置１００は、メモリ３１をさらに有することができる。実施の形態１に係る画像処理装置８０は、画像合成部３０を有する。また、画像処理装置８０は、画像切出し部３２を有することができる。画像処理装置８０は、メモリ３１を有することができる。

カメラ１０，１１，１２，１３は、車両の周辺を撮影する。舵角検出部２０は、車両のハンドル切り角を検出する。「ハンドル切り角」とは、ハンドルを切る角度である。「ハンドルを切る」とは、ハンドルを回す操作で車両の進行方向を変えることである。つまり、「ハンドル切り角」とは、ハンドルを回す角度で、車両の進行方向を変える程度を表す角度である。

画像合成部３０は、カメラ１０，１１，１２，１３からの入力画像を合成し、車両の周囲を全周にわたって表した画像を生成する。ここで「合成」とは、各カメラ１０，１１，１２，１３の撮影した画像を繋ぎ合わせることである。そのため、「合成」は、各カメラ１０，１１，１２，１３の撮影した画像を１つの画像上に重ね合わせることを含まない。なお、後述する方向ＦＲ，ＦＬ，ＲＲ，ＲＬのように、隣接するカメラの両方が撮影している領域では、各カメラから生成する画像の領域を予め定めておき、その領域の設定に基づいて、どちらか１つのカメラの画像を選択する。また、画像合成部３０は、カメラ１０，１１，１２，１３からの入力画像を合成し、車両の周囲の一部を表した画像を生成することもできる。

メモリ３１は、画像合成部３０から出力された画像データを記録する。画像切出し部３２は、メモリ３１に格納された画像を参照し、舵角検出部２０の出力値に応じて切出し領域を決定し、画像の切出しを行う。表示部４０は、画像切出し部３２が切り出した画像を表示する。表示部４０は、運転者の位置よりも車両の前方側に配置されている。「画像の切出し」とは、画像の一部を抜き出すことである。「切出し領域」とは、画像を切出す領域である。

カメラ１０，１１，１２，１３は、車両の前後左右に取り付けられている。カメラ１０，１１，１２，１３は、４つのカメラ１０，１１，１２，１３のカメラ画角が車両の周囲の全方向を含むように配置される。「車両の周囲の全方向」とは、車両の周囲の３６０度の方向である。図２は、車両を上から見た図である。そして、図２は、カメラ１０，１１，１２，１３の取り付け位置を示した模式図である。

画像合成部３０は、画像の視点変換と合成とを行う。これにより、画像合成部３０は、４つのカメラ１０，１１，１２，１３の画像が水平方向にすべて繋がるような画像を生成する。複数のカメラ画像を合成し、一点を中心とした水平方向３６０度の全周画像を生成するためには、各カメラ画像を、一つの共通した仮想の面（投影面）に投影する必要がある。

図２において太い実線は、各カメラ１０，１１，１２，１３の画像を投影するための共通した投影面５の例を示している。投影面５は、画像が合成されたときの投影面である。図２に示すように、例えば、投影面５は、車両の上から見て、車両の中心を中心Ｏとする円形をしている。投影面５は、車両を取り巻くような円筒形状の面である。

図２において、カメラ１０は、車両の前方の面の中央に取り付けられている。カメラ１１は、車両の左側面の中央に取り付けられている。カメラ１２は、車両の後方の面の中央に取り付けられている。カメラ１３は、車両の右側面の中央に取り付けられている。カメラの画角範囲５１０は、カメラ１０の画角範囲である。カメラの画角範囲５１１は、カメラ１１の画角範囲である。カメラの画角範囲５１２は、カメラ１２の画角範囲である。カメラの画角範囲５１３は、カメラ１３の画角範囲である。カメラの画角範囲５１０，５１１，５１２，５１３は、破線で示している。「画角」とは、カメラで撮影される範囲を角度で表したものである。つまり、「画角範囲」とは、カメラで撮影される範囲である。

例えば、カメラ１０で撮影した被写体Ｂは、まずカメラ１０と被写体Ｂの位置とを結ぶ直線５３と投影面５が交わる位置Ａにあるものとみなされる。位置Ａにある被写体Ｂに対して視点位置がカメラ１０の位置から車両の中心位置Ｏに移動した場合のカメラ画像内における被写体位置の変動を求めることにより視点位置の変換を行う。つまり、視点位置をカメラ１０の位置から車両の中心位置Ｏに移動する場合には、位置Ａにある被写体Ｂのカメラ画像内における被写体の位置の変動を求める。「被写体位置の変動」とは、画像内で被写体の位置が移動することである。画像合成部３０は、各カメラ１０，１１，１２，１３の画像を繋ぎ合わせる際に、視点位置の変換を行う。これは、各カメラ１０，１１，１２，１３の視点位置が異なるからである。

視点位置の変換は、視点位置がカメラ１０，１１，１２，１３の位置から車両の中心Ｏに移動した場合の変換である。例えば、画像合成部３０は、位置Ａにある被写体Ｂに対して、視点位置がカメラ１０の位置から車両の中心Ｏに移動した場合のカメラ画像内における被写体Ｂの位置の変動を求める。つまり、位置Ａに被写体Ｂがあるものとして、車両の中心Ｏから位置Ａの方向に被写体Ｂがあると視点位置の変換を行う。

カメラ１１、カメラ１２及びカメラ１３で撮影した画像についても同様の視点位置の変換を行う。例えば、各カメラの画像の重なる領域では、事前にどちらかのカメラの画像を採用するように決めておく。

これにより、車両の中心Ｏを視点とした、車両の前後左右４方向の画像を生成する。このように生成された４枚の画像を、カメラ間の画像が切り替わる部分を境界として接合させる。カメラ１０，１１，１２，１３間の画像が切り替わる部分は、車両の斜め方向の部分である。

これにより、車両の中心から３６０度の視点を持つ画像を生成することができる。「車両の斜め方向」とは、車両の前後方向に対して、前方の右側４５度の方向、前方の左側４５度の方向、後方の右側４５度の方向及び後方の左側４５度の方向である。つまり、後述する図８に示す４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬである。

図３は、このような投影方法を用いて生成される画像を示した図である。投影面５は、なだらかな曲面から構成される。上述のように、図２では、投影面は、車両の上方向から見て円形をしている。これにより、カメラ１０，１１，１２，１３の画像間の境界部分において被写体の形状が折れ曲がることなく、全周にわたって運転者が直接視認する場合に近い被写体形状が保たれた合成画像を得ることが可能である。投影面５は、なだらかな曲面であれば図２に示すような円形でなくても構わない。なぜなら、「なだらかな面」であれば、被写体の形状が折れ曲がることが無いからである。

画像切出し部３２は、舵角検出部２０からの出力信号を受け取る。図１では、メモリ３１を介して舵角検出部２０からの出力信号を受け取っている。画像切出し部３２は、直接、舵角検出部２０からの出力信号を受け取っても構わない。そして、画像切出し部３２は、ハンドルの舵角に応じて、画像の切出し範囲６２（図４参照）を切り替える処理を行う。つまり、ハンドルの舵角に応じて画像切出し位置の変更を行う。「舵角」とは、ハンドルを切る角度のことである。

図４は、ハンドルの舵角と画像切り出し位置の対応を示した図である。図４（Ａ）は、ハンドルの舵角が０度の場合を示す。図４（Ｂ）は、ハンドルの舵角が左側に１０度の場合を示す。図４（Ｃ）は、ハンドルの舵角が右側に１０度の場合を示す。図４に示すように、ハンドルを切らない状態（図４（Ａ））では、画像切出し部３２は、車両の正面に対応する合成画像６の中心６１から左右等距離の画像切出しを行う。「左右等距離」とは、左側からの距離と右側からの距離とが等しいことである。ハンドルを左に切ったとき（図４（Ｂ））には、画像切出し部３２は、画像の切出し範囲６２を左側に移動させる。ハンドルを右に切ったとき（図４（Ｃ））には、画像切出し部３２は、画像の切出し範囲６２を右側に移動させる。

ハンドルの舵角と切出し位置の対応は、ハンドルの舵角に比例して連続的に切出し位置が移動するように演算式で求めても良い。また、ハンドルの舵角と切出し位置の対応は、一定の範囲内のハンドルの舵角に特定の切出し位置を対応させるような場合分け処理を用いても良い。演算式を用いた場合には、画像の切出し位置は連続的に移動する。しかし、場合分け処理を用いた場合には、画像の切出し位置は不連続に移動する。しかし、場合分け処理を用いた場合には、処理量は演算式を用いた場合より低減することができる。運転者の視認性を妨げない場合には、場合分け処理を用いた場合の方が、処理が早くなるという利点がある。

表示部４０は、切り出した画像を表示画面に表示して、前方画像を運転者に提示する。

このように構成された運転支援装置１００は、ハンドルの舵角に応じて、車両の進行方向前方の画像を表示することができる。また、運転支援装置１００は、自車両のセンターピラー等に遮られて確認しづらい車両の斜め後方の障害物又は他の車両の有無の視認性を向上できる。「自車両」とは、運転者が乗車している車両である。「ピラー」とは、自動車のドアなどにある窓の柱である。「センターピラー」とは、自動車のドアの中柱である。

また、カメラ１０，１１，１２，１３の画像間の境界部分においても被写体の形状が折れ曲がることを抑え、運転者が直接視認する場合に近い被写体の形状が保たれた画像を表示できる。これにより、運転者の車両の周辺状況に対する視認性を向上させることが可能である。

実施の形態２．
図５は、実施の形態２における運転支援装置１１０の構成を示したブロック図である。本発明に係る運転支援装置１１０は、カメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、画像切出し部３２、距離情報取得部３５および表示部４０を有する。また、運転支援装置１１０は、メモリ３１をさらに有することができる。実施の形態２に係る画像処理装置８１は、画像合成部３０及び距離情報取得部３５を有する。また、画像処理装置８１は、画像切出し部３２を有することができる。画像処理装置８１は、メモリ３１を有することができる。

運転支援装置１１０は、運転支援装置１００に対して、距離情報取得部３５を有する点で異なる。運転支援装置１１０のカメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、画像切出し部３２、表示部４０およびメモリ３１は、運転支援装置１００のカメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、画像切出し部３２、表示部４０およびメモリ３１と同様の機能を有する。このため、特に説明をしない場合には、運転支援装置１００で説明した内容と同様である。また、用語の定義に関しても、特に説明をしない場合は、実施の形態１と同様である。

カメラ１０，１１，１２，１３は、車両周辺を撮影する。舵角検出部２０は、車両のハンドル切り角を検出する。画像合成部３０は、カメラ１０，１１，１２，１３からの入力画像を合成し、車両の周囲を全周にわたって表した画像を生成する。メモリ３１は、画像合成部３０から出力された画像データを記録する。画像切出し部３２は、メモリ３１に格納された画像を参照し、舵角検出部２０の出力値に応じて切出し領域を決定し、画像の切出しを行う。距離情報取得部３５は、隣接するカメラ１０，１１，１２，１３の画像の同一の被写体部分を参照し、カメラ１０，１１，１２，１３の画像上での被写体の位置を基にして被写体までの距離を算出する。表示部４０は、切り出した画像を表示する。

カメラ１０，１１，１２，１３は、実施の形態1と同様に車両の前後左右に取り付けられる。カメラ１０，１１，１２，１３は、４つのカメラ１０，１１，１２，１３のカメラ画角が車両の周囲の全方向を含むように配置される。「車両の周囲の全方向」とは、車両の周囲の３６０度の方向である。

距離情報取得部３５は、隣接する２つのカメラの画像について被写体のマッチングを行う。そして、距離情報取得部３５は、被写体距離を算出する。距離情報取得部３５は、車両の周辺を撮影する複数のカメラ１０，１１，１２，１３で撮影された共通の被写体Ｂの複数の撮影画像上での位置を基に共通の被写体Ｂまでの距離を算出する。図６は、被写体のマッチング方法を示す説明図である。図６（Ａ）は、画像を合成する際の左側のカメラの画像である。図６（Ｂ）は、画像を合成する際の右側のカメラの画像である。

距離情報取得部３５は、カメラ画像の歪みおよび被写体距離を考慮して、２つのカメラ画像の中で、同一の被写体が撮影される複数の領域を候補として指定する。図６において枠で囲った部分がカメラ画像に対するマッチング枠の例を示している。マッチング枠の中の画像情報を基に、マッチング処理を行う。マッチング枠で示した領域をマッチング領域とする。左カメラの画像６４Ｌでは、距離情報取得部３５は、１つのマッチング領域６３Ｌを指定している。一方、右カメラの画像６４Ｒでは、距離情報取得部３５は、３つのマッチング領域６３Ａ，６３Ｂ，６３Ｃを指定している。

距離情報取得部３５は、マッチング領域６３Ｌに対して指定した複数の位置（マッチング領域６３Ａ，６３Ｂ，６３Ｃ）でマッチングを行う。そして、距離情報取得部３５は、マッチング結果が一番大きい領域に対応する被写体距離を正しい被写体距離と判定する。「マッチング結果が一番大きい領域」とは、最もマッチングした領域である。図６においては、右カメラの画像６４Ｒのマッチング領域６３Ｂが最もマッチングした領域である。また、「被写体距離」とは、マッチング領域に写った被写体Ｂの車両の中心Ｏからの距離を示す。マッチング領域６３Ａ、マッチング領域６３Ｂ及びマッチング領域６３Ｃに対応する被写体距離の値は予め計算されたものを保持しておくものとする。

すなわち、マッチング領域６３Ｂの位置で撮影された被写体Ｂが、マッチング領域６３Ｌの位置で撮影された被写体Ｂと同一である場合には、カメラの画像６４Ｌ，６４Ｒ上での被写体Ｂの位置を基にして、各カメラ（左カメラ及び右カメラ）の光軸と各カメラの位置を起点とした被写体Ｂの方向とのなす角度が求められる。つまり、左カメラと被写体Ｂとを結ぶ直線が、左カメラの光軸に対してなす角度が求められる。また、右カメラと被写体Ｂとを結ぶ直線が、右カメラの光軸に対してなす角度が求められる。マッチング領域６３Ｂは、右カメラの画像６４Ｒのマッチング領域である。マッチング領域６３Ｌは、左カメラの画像６４Ｌのマッチング領域である。

後述する図８のカメラ１０，１３を例として説明する。カメラ１０は、左カメラである。カメラ１３は、右カメラである。被写体Ｂを被写体Ｂ_１として示している。カメラ１０の光軸は光軸ＯＡ_１０である。「左カメラの光軸」は、光軸ＯＡ_１０である。「左カメラと被写体Ｂとを結ぶ直線が、左カメラの光軸に対してなす角度」は、角度αである。つまり、カメラ１０の光軸ＯＡ_１０とカメラ１０の位置を起点とした被写体Ｂ_１の方向とのなす角度は角度αである。カメラ１３の光軸は光軸ＯＡ_１３である。「右カメラの光軸」は、光軸ＯＡ_１３である。「右カメラと被写体Ｂとを結ぶ直線が、右カメラの光軸に対してなす角度」は、角度βである。つまり、カメラ１３の光軸ＯＡ_１３とカメラ１３の位置を起点とした被写体Ｂ_１の方向とのなす角度は角度βである。

位置Ｃ_１０は、カメラ１０の画像上の被写体Ｂ_１の位置を示している。被写体Ｂ_１は、カメラ１０と位置Ｃ_１０とを結ぶ直線Ｓ_１０上にある。このため、位置Ｃ_１０から角度αを求めることができる。同様に、位置Ｃ_１３は、カメラ１３の画像上の被写体Ｂ_１の位置を示している。被写体Ｂ_１は、カメラ１３と位置Ｃ_１３とを結ぶ直線Ｓ_１３上にある。このため、位置Ｃ_１３から角度βを求めることができる。

二つのカメラ（左カメラ及び右カメラ）の光軸から被写体までの角度に基づいて被写体の距離を算出することができる。ここで、「被写体の距離」は、車両の中心Ｏから被写体Ｂまでの距離である。後述する図８のカメラ１０，１３を例として説明する。「被写体の距離」は、車両の中心Ｏから被写体Ｂ_１までの距離である。上述のように、右カメラの画像６４Ｒ及び左カメラの画像６４Ｌを基に、角度α，βが求められる。

被写体Ｂ_１の位置は、直線Ｓ_１０と直線Ｓ_１３との交点の位置となる。カメラ１０，１３の位置及び車両の中心Ｏの位置は分かっている。また、光軸ＯＡ_１０，ＯＡ_１３も分かっている。このため、カメラ１０，１３の位置の座標、車両の中心Ｏの位置の座標、光軸ＯＡ_１０，ＯＡ_１３及び角度α，βを基にして被写体Ｂ１の位置の座標を求めることができる。カメラ１０の座標、光軸ＯＡ_１０及び角度αを基に、カメラ１０の座標の位置から直線Ｓ_１０を引くことができる。同様に、カメラ１３の座標、光軸ＯＡ_１３及び角度βを基に、カメラ１３の座標の位置から直線Ｓ_１３を引くことができる。直線Ｓ_１０と直線Ｓ_１３との交点が被写体Ｂ_１の位置となる。直線Ｓ_１０と直線Ｓ_１３とから、直線Ｓ_１０と直線Ｓ_１３との交点の座標を求めることができる。

距離情報取得部３５は、複数のカメラ１０，１１，１２，１３の位置、複数のカメラ１０，１１，１２，１３の各々の基準となる方向及び基準となる方向に対する共通の被写体Ｂの位置する方向の角度を基に被写体Ｂの位置を求める。

マッチング領域がマッチング領域６３Ａ又はマッチング領域６３Ｃである場合も同様である。そこで、マッチング領域６３Ｌを固定して、左カメラ６４Ｌのマッチング領域６３Ｌに対する右カメラ６４Ｒの各マッチング領域６３Ａ，６３Ｂ，６３Ｃのそれぞれに対応する被写体距離ＤＡ，ＤＢ，ＤＣを予め算出し保持しておく。そうすると、各マッチング領域に対応する距離を算出する演算を、その都度行わなくとも被写体距離を算出することができる。ここでの被写体距離ＤＡ，ＤＢ，ＤＣは、車両の中心Ｏから被写体Ｂまでの距離である。上述の例では、マッチング領域６３Ｌを１つに固定しているが、複数のマッチング領域を設定することもできる。

上記の方法により、マッチングを行う領域が、同一の被写体が撮影される領域に限定されるため、演算量を削減することが可能である。マッチング方法としては、テンプレートマッチング方法が挙げられる。また、画像のエッジ又は頂点といった特徴点を抽出して特徴点の一致度を計測する方法などが挙げられる。

画像合成部３０は、画像の視点変換と合成を行う。これにより、画像合成部３０は、４つのカメラ１０，１１，１２，１３の画像が水平方向にすべて繋がるような画像を生成する。複数のカメラ画像を合成し、一点を中心とした水平方向３６０度の全周画像を生成するためには、各カメラ画像を、一つの共通した仮想の面（投影面）に投影する必要がある。画像合成部３０は、画像合成を行う際に、距離情報取得部３５で算出された被写体距離情報を参照することにより、合成精度を向上させる。

図７は、複数のカメラの画像を合成する際に生じる被写体の位置のずれについて示した図である。ここでの被写体の位置ずれは、被写体Ｂと投影面７３との位置関係により、投影面７３上に投影される被写体Ｂの位置が異なることである。図７において、図７（Ａ）は、被写体位置７４にある被写体Ｂが被写体位置７４に近い位置にある被写体の投影面７３に投影される場合の視点変換方法を示す。また、図７（Ｂ）は、被写体位置７４にある被写体Ｂが被写体位置７４から遠い位置にある被写体の投影面７３に投影される場合の視点変換方法を示す。被写体の投影面７３は、被写体位置７４よりカメラ位置７２に近い位置にある。被写体の投影面７３は、被写体位置７４より画像合成時の中心の位置７１に近い位置にある。位置Ａは、被写体Ｂを投影面７３に投影した位置を示している。

カメラの位置７２と被写体の位置７４とをつなぐ直線５４は、カメラで撮影した画像内での被写体の方向を示している。つまり、直線５４は、カメラの位置７２から被写体Ｂの方向を示している。また、画像合成時の中心位置７１と被写体の位置７４とをつなぐ直線５５は、視点変換処理を実施後の画像合成時の中心位置７１から見た画像内での被写体方向を示している。つまり、直線５５は、中心位置７２から被写体Ｂの方向を示している。

画像合成部３０は、複数のカメラ１０，１１，１２，１３に対する共通の基準位置を基準として投影面を生成し、基準位置と被写体Ｂとを結ぶ直線が投影面に交わる位置に被写体を投影する。画像合成部３０は、共通の被写体Ｂまでの距離を基に複数の撮影画像を１つの投影面上に繋ぎ合わせる。画像合成部３０は、共通の被写体Ｂまでの距離を基に、投影面上の被写体の位置Ａを修正する。

図７に示した通り、複数のカメラの画像を合成して、一点を中心とした水平方向３６０度の全周画像を生成するためには、各カメラ画像を、一つの共通した面に投影する必要がある。その際、カメラ位置７２と投影面の中心位置７１とが異なる。つまり、カメラ位置７２と画像合成時の中心位置７１とが異なる。このため、カメラ上で同一の位置に写っている被写体であっても、被写体距離によって正しい投影位置が異なる。

例えば、図７（Ａ）のように被写体が近い場合には、被写体Ｂの投影位置Ａは直線５４から近い位置にある。しかし、図７（Ｂ）のように被写体が遠い場合には、被写体Ｂの投影位置Ａは直線５４から遠い位置にある。このような、被写体Ｂの投影位置の違いにより、合成画像のカメラ間の境界部分では、被写体が欠けるという現象が発生する。または、合成画像のカメラ間の境界部分では、二重写しとなる現象が発生する。このため、投影面７３の中心の位置７１から被写体Ｂまでの距離を算出して、被写体Ｂの投影面７３上での位置を決める。

距離情報取得部３５で算出された被写体距離情報を参照することにより、隣接するカメラ間の画角が重複する方向の被写体について、被写体距離の情報を得ることができる。つまり、隣接するカメラ間の画角の重複する部分に位置する被写体から、被写体距離の情報を得ることができる。つまり、４つのカメラ１０，１１，１２，１３が車両の前後左右に取り付けられている場合には、車両に対して前方右側の方向ＦＲ、前方左側の方向ＦＬ、後方右側の方向ＲＲおよび後方左側の方向ＲＬに関しては、被写体距離の情報を得ることができる。方向ＦＲ，ＦＬ，ＲＲ，ＲＬは、車両の中心Ｏを基点とした方向である。

これに対して、前方右側の方向ＦＲと前方左側の方向ＦＬとの間の方向、前方左側の方向ＦＬと後方左側の方向ＲＬとの間の方向、後方左側の方向ＲＬと後方右側の方向ＲＲとの間の方向および後方右側の方向ＲＲと前方右側の方向ＦＲとの間の方向は、被写体距離の情報を得ることができない。このため、隣接するカメラ間の４箇所の方向ＦＲ，ＦＬ，ＲＲ，ＲＬの被写体距離情報を用いて、中間の角度については内挿した距離となるような投影面を生成して画像の投影を行う。「内挿」とは、二つの点の間の任意の点に対する関数値あるいは近似値を求めることである。

「中間の角度」とは、車両の中心Ｏから見て、距離情報取得部３５によって被写体距離情報が得られる４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬ以外の角度を示す。つまり、中間の角度は、前方右側の方向ＦＲと前方左側の方向ＦＬとの間の角度、前方左側の方向ＦＬと後方左側の方向ＲＬとの間の角度、後方左側の方向ＲＬと後方右側の方向ＲＲとの間の角度および後方右側の方向ＲＲと前方右側の方向ＦＲとの間の角度である。

「内挿した距離」とは、ある角度における被写体の距離を求める場合に、その被写体に最も近い距離情報が得られている二つの被写体の距離情報から角度と距離との対応を線形補間で求めることを示す。つまり、「中間の角度については内挿した距離となるような投影面を生成する」とは、距離情報取得部３５によって得られる４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬに存在する被写体の被写体距離情報に基づき、それ以外の方向での被写体距離を求めることである。

方向ＦＲ，ＦＬ，ＲＲ，ＲＬ以外の方向にある被写体の被写体距離の求め方を以下に示す。まず、被写体距離を求める被写体に最も近い２つの方向を方向ＦＲ，ＦＬ，ＲＲ，ＲＬの中から選択する。次に、選択された２つの方向に存在する距離情報の分かっている被写体の距離情報から、被写体距離が角度と線形関係にあるとみなし、線形補間を用いて求める。ここで、「角度」とは、被写体の方向を示す角度である。これにより、カメラの境界で、被写体が欠ける現象を抑えることができる。または、カメラの境界で、二重写しとなる現象を抑えることができる。

図８は、投影面の補正方法について示した図である。図８は、車両を上から見た図である。図８において太い実線で示した面は、各カメラ１０，１１，１２，１３の画像を投影するための共通した投影面の例を示している。

図８において、カメラ１０は、車両の前方の面の中央に取り付けられている。カメラ１１は、車両の左側面の中央に取り付けられている。カメラ１２は、車両の後方の面の中央に取り付けられている。カメラ１３は、車両の右側面の中央に取り付けられている。

カメラの画角範囲５１０は、カメラ１０の画角範囲である。カメラの画角範囲５１１は、カメラ１１の画角範囲である。カメラの画角範囲５１２は、カメラ１２の画角範囲である。カメラの画角範囲５１３は、カメラ１３の画角範囲である。カメラの画角範囲５１０，５１１，５１２，５１３は、破線で示している。

投影面５１，５２は、画像が合成されたときの投影面である。補正前の投影面５１は、後述する処理により補正後の投影面５２に補正される。投影面５１，５２は、例えば、車両の上から見て、車両の中心Ｏを中心とする円形をしている。

画像合成部３０は、距離情報取得部３５から得られた被写体の距離情報を用いて、隣接するカメラ間の画角が重複する部分について、カメラ画像を投影する面（投影面）の補正を行う。補正された投影面は、上述の投影面のように車両の中心Ｏを中心とする円形ではない。投影面の補正により、実際の被写体距離を反映した投影面を設定できる。つまり、補正後の投影面は、４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬに存在する被写体距離の算出された被写体に応じて、投影面の形状を変化させたものである。

このため、複数のカメラで撮影した画像に対して視点変換を行い合成する際に、実際の被写体距離と投影面の距離が異なることによる合成画像の境界での被写体の欠けの発生や二重写しの発生を抑えることができる。なお、４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬに存在する被写体が変わると、補正された投影面の形状及び位置はその都度変化する。

図８では、補正前の投影面５１に対して、補正後の投影面５２は、車両の前方右側の方向ＦＲを手前側に補正されている。同様に補正後の投影面５２は、車両の後方右側の方向ＲＲの画像を手前側に補正されている。また、補正前の投影面５１に対し、補正後の投影面５２は、車両の前方左側の方向ＦＬを奥側に補正されている。同様に補正後の投影面５２は、車両の後方左側の方向ＲＬの画像を奥側に補正している。中間の角度については、被写体までの距離を補間して求めることによって、投影面を補正する。ここで、「手前側」とは、車両に近い方向を示す。また、「奥側」とは、車両から遠い方向を示す。

１つのカメラで撮影された２つの共通の被写体の間に撮影された距離の不明な被写体までの距離は、距離の不明な被写体を挟む２つの共通の被写体までの距離及び角度の対応を線形補間して求める。

被写体までの距離を補間する際に、角度に対して線形補間をする場合には、中間の角度の被写体までの距離Ｌの算出式は下記の式（１）の通りである。図８では、中間の角度の被写体を被写体Ｂ_２で示している。
Ｌ＝Ｌ_１＋（Ｌ_２−Ｌ_１）×（ｋ_２−ｋ_１）／（ｋ−ｋ_１） ・・・（１）

ただし、角度ｋは、距離Ｌを求める被写体Ｂの方向を示す角度である。つまり、車両の中心Ｏと被写体Ｂとを結ぶ直線が、車両の中心Ｏを通る基準軸となす角度である。角度ｋ_１は、角度ｋより被写体Ｂに向かって右側で角度ｋに最も近い被写体距離情報が既知の方向を示す角度である。角度ｋ_２は、角度ｋより被写体に向かって左側で角度ｋに最も近い被写体距離情報が既知の方向を示す角度である。つまり、角度ｋ_１，ｋ_２は、車両の中心Ｏと既知の位置とを結ぶ直線が、車両の中心Ｏを通る基準軸となす角度である。

図８では、例として、カメラ１０の光軸ＯＡ_１０を基準軸としている。また、被写体Ｂを被写体Ｂ_２として示している。「被写体距離情報が既知の方向」とは、例えば、４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬである。距離Ｌは、角度ｋに対応する被写体までの距離を示す。図８では、車両の中心Ｏから被写体Ｂ_２までの距離である。距離Ｌ_１は、角度ｋ_１に対応する被写体までの距離を示す。図８では、車両の中心Ｏから被写体Ｂ_１までの距離である。距離Ｌ_２は、角度ｋ_２に対応する被写体までの距離を示す。図８では、車両の中心Ｏから被写体Ｂ_３までの距離である。

図８に示すように、方向ＦＲに存在する被写体Ｂ_１の距離は、方向ＦＬに存在する被写体Ｂ_３の距離より短い。このため、車両の前方右側の方向ＦＲを手前側に補正されている。車両の前方左側の方向ＦＬを奥側に補正されている。このように投影面５１は、投影面５２に補正される。

また、中間の角度を補間する際には、投影面を滑らかに接続するために、被写体の距離情報が既知の方向を基にして、左側の投影面と右側の投影面とで角度の変換量に対する距離の変化量が一致するような補間方法を行うことも可能である。図８では、被写体Ｂ１と被写体Ｂ３とを滑らかに繋いだ曲線に対応するように投影面を移動させる。このような補間を行う際には、補間する角度に対して左右の各２方向での被写体の距離情報を参照し、三次関数による補間を行う。

この場合の距離の演算式を式（２）に示す。
Ｌ＝ａｋ^３＋ｂｋ^２＋ｃｋ＋ｄ ・・・（２）
なお、係数ａ，ｂ，ｃ，ｄは、下記の式（３）（４）（５）（６）を満たすように決定する。
Ｌ_１＝ａｋ_１ ^３＋ｂｋ_１ ^２＋ｃｋ_１＋ｄ ・・・（３）
Ｌ_２＝ａｋ_２ ^３＋ｂｋ_２ ^２＋ｃｋ_２＋ｄ ・・・（４）
Ｌ_３＝ａｋ_３ ^３＋ｂｋ_３ ^２＋ｃｋ_３＋ｄ ・・・（５）
Ｌ_４＝ａｋ_４ ^３＋ｂｋ_４ ^２＋ｃｋ_４＋ｄ ・・・（６）

ここで、角度ｋは、距離Ｌを求める被写体の方向を示す角度である。角度ｋ_１は、角度ｋより右側で角度ｋに最も近い被写体距離情報が既知の方向を示す角度である。図８では、方向ＦＲの基準軸ＯＡ_１０に対する角度である。角度ｋ_２は、角度ｋより左側で角度ｋに最も近い被写体距離情報が既知の方向を示す角度である。図８では、方向ＦＬの基準軸ＯＡ_１０に対する角度である。角度ｋ_３は、角度ｋより右側で角度ｋに二番目に近い被写体距離情報が既知の方向を示す角度である。図８では、方向ＲＲの基準軸ＯＡ_１０に対する角度である。角度ｋ_４は、角度ｋより左側で角度ｋに二番目近い被写体距離情報が既知の方向を示す角度である。図８では、方向ＲＬの基準軸ＯＡ_１０に対する角度である。「被写体距離情報が既知の方向」とは、例えば、４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬである。

距離Ｌは、角度ｋに存在する被写体の車両の中心Ｏから被写体までの距離を示す。距離Ｌ_１は、角度ｋ_１に存在する被写体の車両の中心Ｏから被写体までの距離を示す。距離Ｌ_２は、角度ｋ_２に存在する被写体の車両の中心Ｏから被写体までの距離を示す。距離Ｌ_３は、角度ｋ_３に存在する被写体の車両の中心Ｏから被写体までの距離を示す。距離Ｌ_４は、角度ｋ_４に存在する被写体の車両の中心Ｏから被写体までの距離を示す。

また、被写体の距離情報が既知の方向を示す角度を用いて補正を行う際には、投影面が常に円形となるようにすることが可能である。このとき、投影面の中心位置及び半径は、例えば、距離情報が既知の被写体の方向を示す角度及び距離情報が既知の被写体の被写体距離の組み合わせを用いて、最小二乗法で算出する。

この場合の距離の計算方法について、図９を用いて説明する。図９は、投影面の補正方法について示す図である。図９において、補正前の投影面５１は、中心Ｏを中心とする円形をしている。中心Ｏは、車両の中心位置を示している。補正前の投影面５１は、破線で示している。補正後の投影面５２は、中心Ｐを中心とする円形をしている。半径Ｒは補正後の投影面５２の半径を示す。補正後の投影面５２は、実線で示している。点２０１、２０２、２０３、２０４は、被写体の距離情報が既知の被写体の位置を示している。点２０１、２０２、２０３、２０４は、被写体の方向及び距離情報が既知である。

最小二乗法を用いて投影面となる円を決定する際の指標値を値Ｘとする。値Ｘは、位置２０５，２０６，２０７，２０８の距離及び距離情報が既知の点２０１，２０２，２０３，２０４の距離に基づき、位置２０５と点２０１との距離の差の値、位置２０６と点２０２との距離の差の値、位置２０７と点２０３との距離の差の値及び位置２０８と点２０４との距離の差の値をそれぞれ二乗して加算した値である。位置２０５，２０６，２０７，２０８の距離は、車両の中心Ｏから位置２０５，２０６，２０７，２０８までの距離である。点２０１，２０２，２０３，２０４の距離は、車両の中心Ｏから点２０１，２０２，２０３，２０４までの距離である。位置２０５，２０６，２０７，２０８は、車両の中心Ｏと距離情報が既知の点２０１，２０２，２０３，２０４とを結ぶ直線５６，５７上において、補正後の投影面５２が各直線５６，５７と交わる位置である。値Ｘが最も小さくなるように、補正後の投影面５２の中心Ｐおよび半径Ｒを決定する。

画像切出し部３２は、実施の形態1と同様に舵角検出部２０からの出力信号を受け取る。図５では、メモリ３１を介して画像合成部３０からの出力信号を受け取っている。画像切出し部３２は、直接、画像合成部３０からの出力信号を受け取っても構わない。そして、画像切出し部３２は、ハンドルの舵角に応じて、画像の切出し範囲を切り替える処理を行う。ハンドルを切らない状態では、画像切出し部３２は、車両の正面に対応する合成画像の中心から左右等距離の画像切出しを行う。ハンドルを右に切ったときには、画像切出し部３２は、画像の切出し範囲を右側に移動させる。ハンドルを左に切ったときには、画像切出し部３２は、画像の切出し範囲を左側に移動させる。

ハンドルの舵角と切出し位置の対応は、ハンドルの舵角に比例して連続的に切出し位置が移動するように演算式で求めても良い。また、ハンドルの舵角と切出し位置の対応は、一定の範囲内のハンドル舵角に特定の切出し位置を対応させるような場合分け処理を用いても良い。演算式を用いた場合には、画像の切出し位置は連続的に移動する。しかし、場合分け処理を用いた場合には、画像の切出し位置は不連続に移動する。しかし、場合分け処理を用いた場合には、処理量は演算式を用いた場合より低減することができる。運転者の視認性を妨げない場合には、場合分け処理を用いた場合の方が、処理が早くなるという利点がある。

表示部４０は、切り出した画像を表示画面に表示して、前方画像を運転者に提示する。

上述のように、距離情報取得部３５は、車両の周辺を撮影する複数のカメラ１０，１１，１２，１３で撮影された共通の被写体Ｂの複数の撮影画像上での位置を基に車両の基準位置Ｏから共通の被写体Ｂまでの被写体距離（第１の被写体距離）を算出し、この被写体距離（第１の被写体距離）を基に複数のカメラ１０，１１，１２，１３の内の１つのカメラで撮影された被写体までの被写体距離（第２の被写体距離）を算出している。

また、画像合成部３０は、第１の被写体距離（基準位置Ｏから共通の被写体Ｂまでの被写体距離）及び第２の被写体距離（１つのカメラで撮影された被写体までの被写体距離）を基に複数のカメラ１０，１１，１２，１３を視点とした撮影画像を、基準位置Ｏを視点とした画像に変換して１つの投影面の上に繋ぎ合わせている。

また、距離情報取得部３５は、カメラ１０，１１，１２，１３の位置、当該カメラ１０，１１，１２，１３の基準となる方向、当該カメラ１０，１１，１２，１３の画角及び共通の被写体の撮影画像上の位置を基に、当該カメラ１０，１１，１２，１３に対する共通の被写体の方向を求め、２つ以上のカメラに対する共通の被写体の方向から求められる共通の被写体の位置を基に第１の被写体距離（基準位置Ｏから共通の被写体Ｂまでの被写体距離）を算出している。

また、画像合成部３０は、基準位置Ｏと被写体Ｂとを結ぶ直線が投影面に交わる位置に被写体Ｂを配置している。

また、距離情報取得部３５は、第２の被写体距離（１つのカメラで撮影された被写体までの被写体距離）を、第２の被写体距離（１つのカメラで撮影された被写体までの被写体距離）を有する被写体を挟む２つの共通の被写体の第１の被写体距離（基準位置Ｏから共通の被写体Ｂまでの被写体距離）及び基準位置Ｏの基準となる方向に対する角度を基に、被写体距離及び角度の対応を線形補間して求めている。

また、画像合成部３０は、複数の共通の被写体の基準位置Ｏから投影面までの距離と第１の被写体距離（基準位置Ｏから共通の被写体Ｂまでの被写体距離）との差の値を二乗した値を加算して、当該加算した値が最も小さくなるように、投影面を変更している。

このように構成された運転支援装置１１０は、被写体までの距離を測定して画像の合成を行っている。これにより、運転支援装置１１０は、隣接するカメラ間の画像合成部分において、被写体の二重写し又は被写体の欠落を低減した高画質な合成画像を生成できる。そして、運転支援装置１１０は、運転者の車両の周辺状況に対する視認性を向上させることが可能である。

実施の形態３．
図１０は、実施の形態３における運転支援装置１２０の構成を示したブロック図である。本発明に係る運転支援装置１２０は、カメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、前方画像切出し部３３、後方画像切出し部３４および表示部４０を有する。また、運転支援装置１２０は、メモリ３１をさらに有することができる。

実施の形態３に係る画像処理装置８２は、画像合成部３０を有する。また、画像処理装置８２は、前方画像切出し部３３及び後方画像切出し部３４を有することができる。画像処理装置８２は、メモリ３１を有することができる。

運転支援装置１２０は、運転支援装置１００に対して、画像切出し部３２が前方画像切出し部３３及び後方画像切出し部３４を有する点で異なる。運転支援装置１２０のカメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、表示部４０およびメモリ３１は、運転支援装置１００のカメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、表示部４０およびメモリ３１と同様の機能を有する。このため、特に説明をしない場合には、運転支援装置１００で説明した内容と同様である。また、用語の定義に関しても、特に説明をしない場合は、実施の形態１と同様である。また、実施の形態２の運転支援装置１１０に実施の形態３の前方画像切出し部３３及び後方画像切出し部３４を採用することもできる。

運転支援装置１２０の画像切出し部３２は、前方画像切出し部３３および後方画像切出し部３４を有する。カメラ１０，１１，１２，１３は、車両周辺を撮影する。舵角検出部２０は、車両のハンドル切り角を検出する。画像合成部３０は、カメラ１０，１１，１２，１３からの入力画像を合成し、車両の周囲を全周にわたって記録した画像を生成する。メモリ３１は、画像合成部３０から出力された画像データを記録する。前方画像切出し部３３は、メモリ３１に格納された画像を参照し、舵角検出部２０の出力値に応じて切出し領域を決定し、車両の前方に対応する画像の切出しを行う。後方画像切出し部３４は、メモリ３１に格納された画像を参照し、舵角検出部２０の出力値に応じて切出し領域を決定し、車両の後方に対応する画像の切出しを行う。表示部４０は、切り出した画像を表示する。

カメラ１０，１１，１２，１３は、実施の形態1と同様に車両の前後左右に取り付けられる。カメラ１０，１１，１２，１３は、４つのカメラ１０，１１，１２，１３のカメラ画角が車両の周囲の全方向を含むように配置される。「車両の周囲の全方向」とは、車両の周囲の３６０度の方向である。

画像合成部３０は、実施の形態1と同様に画像の視点変換と合成を行うことにより、４つのカメラ１０，１１，１２，１３の画像が水平方向にすべて繋がるような画像を生成する。

前方画像切出し部３３は、舵角検出部２０からの出力信号を受け取る。図１０では、メモリ３１を介して舵角検出部２０からの出力信号を受け取っている。そして、前方画像切出し部３３は、ハンドルの舵角に応じて、画像の切出し範囲を切り替える処理を行う。ハンドルを切らない状態では、前方画像切出し部３３は、車両の前方の正面に対応する合成画像の中心から左右等距離の画像を切出す。「左右等距離」とは、左側からの距離と右側からの距離とが等しいことである。ハンドルを右に切った時には、前方画像切出し部３３は、画像の切出し範囲を右側に移動させる。ハンドルを左に切った時には、前方画像切出し部３３は、画像の切出し範囲を左側に移動させる。

ハンドルの舵角と切出し位置の対応は、ハンドルの舵角に比例して連続的に切出し位置が移動するように演算式で求めても良い。また、ハンドルの舵角と切出し位置の対応は、一定の範囲内のハンドル舵角に特定の切出し位置を対応させるような場合分け処理を用いても良い。演算式を用いた場合には、画像の切出し位置は連続的に移動する。しかし、場合分け処理を用いた場合には、画像の切出し位置は不連続に移動する。しかし、場合分け処理を用いた場合には、処理量は演算式を用いた場合より低減することができる。運転者の視認性を妨げない場合には、場合分け処理を用いた場合の方が、処理が早くなるという利点がある。

後方画像切出し部３４は、舵角検出部２０からの出力信号を受け取る。図１０では、メモリ３１を介して舵角検出部２０からの出力信号を受け取っている。そして、後方画像切出し部３４は、ハンドルの舵角に応じて、画像の切出し範囲を切り替える処理を行う。ハンドルを切らない状態では、後方画像切出し部３４は、車両の後方の正面に対応する合成画像の中心から左右等距離の画像を切出す。ハンドルを右に切った時には、後方画像切出し部３４は、画像の切出し範囲を左側に移動させる。ハンドルを左に切った時には、後方画像切出し部３４は、画像の切出し範囲を右側に移動させる。「後方の正面」とは、視点位置から前方の正面を向いた場合に、前方の正面から１８０度後ろ方向のことである。つまり、真後ろのことである。

ハンドルの舵角と切出し位置の対応は、ハンドルの舵角に比例して連続的に切出し位置が移動するように演算式で求めても良い。また、ハンドルの舵角と切出し位置の対応は、一定の範囲内のハンドル舵角に特定の切出し位置を対応させるような場合分け処理を用いても良い。演算式を用いた場合には、画像の切出し位置は連続的に移動する。しかし、場合分け処理を用いた場合には、画像の切出し位置は不連続に移動する。しかし、場合分け処理を用いた場合には、処理量は演算式を用いた場合より低減することができる。運転者の視認性を妨げない場合には、場合分け処理を用いた場合の方が、処理が早くなるという利点がある。

なお、図３に示す合成画像の生成例では、合成後の画像の左端および右端は、画像の後方の正面となる。つまり、運転者が振り返って後方を見たときの正面の画像となる。つまり、「後方の正面」である。運転者が振り返って後方を見たときの正面の画像を生成するために、画像の左端と右端とを接続した画像を生成する。しかし、実施の形態３では、運転者が振り返って後方を見たときの正面の画像とは異なる後方の画像を生成する。前方を向いている運転者の左右方向と後方の画像の左右方向を一致させる。つまり、運転者が振り返って後方を見たときの画像をそのまま表示すると、前方を向いている運転者の左右方向と画像の左右方向とが反対となり一致しない。

画像切出し部３３は、画像の切出しを行うとともに、接続部分でつなぎ合せた画像を生成する処理を行う。また、後方の画像については、運転者が画像を確認する時に混乱することがないよう、運転者からみた左右方向と画像の左右方向を一致させるために画像を左右反転させて接合する処理を行う。「左右反転」とは、左側と右側を入れ替えることである。ここで、「運転者からみた左右方向」とは、運転者が車両の前方を見たときの左右方向と後方の画像の左右方向とが一致するということである。このため、「後方の画像」は、運転者が後方を振り返ったときに見える画像と同一ではない。

図１１は、ハンドルの舵角と車両の後方画像の切り出し位置の対応について説明する図である。図１１に示す通り、ハンドルの舵角に応じて画像の切出し位置の変更を行う。ハンドルを切らない場合（図１１（Ａ））には、画像の左端及び右端から等距離の領域をそれぞれ切出し、左右反転して接合させる。接合された画像６７は、切出し画像６５Ａが左右反転された画像６６Ａと切出し画像６５Ｂが左右反転された画像６６Ｂとが接合されている。つまり、切出し画像６５Ａの左端６５ＡＬと切出し画像６５Ｂの右端６５ＢＲとが繋ぎ合わされる。接合画像６７の右側は、左端６５ＢＬとなり、接合画像６７の左側は、右端６５ＡＲとなる。ここで、「接合」とは、「合成」と同じ意味である。「合成」とは、画像を繋ぎ合わせることである。そのため、「合成」は、各カメラの撮影した画像を１つの画像上に重ね合わせることを含まない。

図１１（Ａ）は、ハンドルの舵角が０度の場合を示している。図１１（Ａ）では、切出し画像６５Ａ，６５Ｂを合成する際には、切出し画像６５Ａ，６５Ｂは左右反転して合成される。図１１（Ａ）の場合には、切出し画像６５Ａと切出し画像６５Ｂとの幅が等しい。図１１（Ｂ）は、ハンドルの舵角が左側に１０度の場合を示している。図１１（Ｂ）では、切出し画像６５Ａ，６５Ｂを合成する際には、切出し画像６５Ａ，６５Ｂは左右反転して合成される。図１１（Ｂ）の場合には、切出し画像６５Ａの幅が広く、切出し画像６５Ｂの幅が狭い。図１１（Ｃ）は、ハンドルの舵角が右側に１０度の場合を示している。図１１（Ｃ）では、切出し画像６５Ａ，６５Ｂを合成する際には、切出し画像６５Ａ，６５Ｂは左右反転して合成される。図１１（Ｃ）の場合には、切出し画像６５Ａの幅が狭く、切出し画像６５Ｂの幅が広い。

ハンドルを左に切った場合（図１１（Ｂ））は、合成画像６７の左端からの切出し領域を広げ、画像右端からの切出し領域を狭める。つまり、画像の切出し範囲を右側に移動させている。逆にハンドルを右に切った場合（図１１（Ｃ））は、合成画像６７の右端からの切出し領域を広げ、画像左端からの切出し領域を狭める。つまり、画像の切出し範囲を左側に移動させている。このように画像の切出し、左右反転および接合を行うことによって、ハンドルの舵角に応じ、車両の進行方向に合致した方向の車両後方画像を得ることが可能である。

画像切出し部３２は、投影面上の画像の一部を切出す。左側は前記車両の前方に対して左側とし、右側は前記車両の前方に対して右側とすると、画像切出し部３２は、車両の後方の画像は、車両の後方で投影面に投影された画像を切断し、その切断された位置の左側の画像６５Ａ及び右側の画像６５Ｂを切出す。画像合成部３０は、左側の画像６５Ａを切出し位置６５ＡＬが左側となるように配置し、右側の画像６５Ｂを切出し位置６５ＢＲが右側となるように配置して、左側の画像６５Ａの左右及び右側の画像６５Ｂの左右を入れ替えて、左側の画像６５Ａ及び右側の画像６５Ｂの切断された位置６５ＡＬ，６５ＢＲを繋ぎ合わせる。

画像切出し部３２は、切出す画像の切出し位置が車両の前方の場合には、前記車両の舵角と同じ方向に前記切出し位置を移動する。画像切出し部３２は、切出し位置が車両の後方の場合には、車両の舵角と逆の方向に切出し位置を移動する。

表示部４０は、切り出した画像の画面表示を行う。表示部４０は、前方の画像および後方の画像を接合して運転者に提示する。図１２は、車両の前方の画像の表示方法および車両の後方の画像の表示方法を示す図である。図１２では、表示部４０の表示画面４１に、車両の前方画像４２と車両の後方画像４３とが同時に表示されている。表示画面４１上の上側に車両の前方画像４２が表示されている。また、表示画面４１上の下側に車両の後方画像４３が表示されている。

前方の画像および後方の画像を縦に並べて表示することにより、車両の前方の障害物と車両の後方の障害物を同時に確認することが可能である。

このように構成された運転支援装置１２０は、ハンドルの舵角に応じて、車両の進行方向前方の画像を確認することができる。そして、運転支援装置１２０は、自車両のピラー等に遮られて確認しづらい車両斜め前方および車両後方の障害物や他車両の有無の視認性を向上できる。

また、車両の前方の画像と反転した車両の後方の画像とを同一画面に表示することで、車両の前方の障害物や他の車両の有無と車両の後方の障害物や他の車両の有無とを一つの画面内で同時に確認することができる。

なお、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

１０，１１，１２，１３ カメラ、 １００，１１０，１２０ 運転支援装置、 ２０ 舵角検出部、 ２０１，２０２，２０３，２０４ 点、 ２０５，２０６，２０７，２０８ 位置、 ３０ 画像合成部、 ３１ メモリ、 ３２ 画像切出し部、 ３３ 前方画像切出し部、 ３４ 後方画像切出し部、 ３５ 距離情報取得手段、 ４０ 表示部、 ４１ 表示画面、 ４２ 車両前方画像、 ４３ 車両後方画像、 ５ 投影面、 ５１０，５１１，５１２，５１３ カメラの画角範囲、 ５１ 補正前の投影面、 ５２ 補正後の投影面、 ５３，５４，５５，５６，５７ 直線、 ６ 合成画像、 ６１ 画像の中心、 ６２ 切出し範囲、 ６３Ａ，６３Ｂ，６３Ｃ，６３Ｌ マッチング領域、 ６４Ｒ 右カメラ画像、 ６４Ｌ 左カメラ画像、 ６５Ａ，６５Ｂ 切出し画像、 ６６Ａ，６６Ｂ 左右反転した切出し画像、 ６７ 接合画像、 ７１ 画像合成時の中心位置、 ７２ カメラ位置、 ７３ 画像合成時の被写体投影面、 ７４ 被写体位置、 ８０，８１，８２ 画像処理装置 Ａ，Ｃ 位置、 Ｂ 被写体、 Ｏ，Ｐ 中心、 Ｒ 半径、 Ｓ 直線、 Ｌ 距離、 Ｘ 値、 ＯＡ 光軸、 ｋ，ｋ１，ｋ２，α，β 角度、 ａ，ｂ，ｃ，ｄ 係数、 ＦＲ 前方右側の方向、 ＦＬ 前方左側の方向、 ＲＲ 後方右側の方向、 ＲＬ 後方左側の方向、 ＤＡ，ＤＢ，ＤＣ 被写体距離。

Claims (7)

1. それぞれ異なる位置に配置された複数のカメラで撮影された共通の被写体の複数の撮影画像上での位置を基に基準位置から前記共通の被写体までの第１の被写体距離を算出し、前記第１の被写体距離を基にそれぞれの前記撮影画像における被写体の距離情報を算出する距離情報取得部と、
   前記被写体の距離情報に基づいて前記基準位置を視点とした投影面の位置を補正し、複数の前記撮影画像から前記投影面に投影した画像に変換して繋ぎ合わせる画像合成部と
   を備える画像処理装置。
2. 前記距離情報取得部は、前記カメラの位置、当該カメラの基準となる方向、当該カメラの画角及び前記共通の被写体の撮影画像上の位置を基に、当該カメラに対する前記共通の被写体の方向を求め、２つ以上の前記カメラに対する前記共通の被写体の方向から求められる前記共通の被写体の位置を基に前記第１の被写体距離を算出する請求項１に記載の画像処理装置。
3. 前記画像合成部は、前記基準位置と前記撮影画像内での被写体とを結ぶ直線が前記投影面に交わる位置に前記被写体を配置する請求項１又は２に記載の画像処理装置。
4. 前記距離情報取得部は、前記複数のカメラのうち隣接する２つの前記カメラ間の画角の重複部分ごとに前記第１の被写体距離を算出するものであり、それぞれの前記撮影画像における被写体の距離情報について、当該撮影画像を含む重複部分から得られた２つの前記第１の被写体距離及び各前記第１の被写体距離に対応する前記共通の被写体の方向を示す角度を基に、被写体距離及び角度の対応を線形補間したものを前記撮影画像における被写体の距離情報として求めることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画像合成部は、前記複数の共通の被写体の前記基準位置から前記投影面までの距離と前記第１の被写体距離との差の値を二乗した値を加算して、当該加算した値が最も小さくなるように、前記投影面を変更させる請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記複数のカメラは車両に設けられるものであり、
   前記投影面上の画像の一部を切出す画像切出し部をさらに有し、
   左側は前記車両の前方に対して左側とし、右側は前記車両の前方に対して右側とすると、
   前記画像切出し部は、前記車両の後方の画像は、前記車両の後方で前記投影面に投影された画像を切断し、当該切断された位置の左側の画像及び右側の画像を切出し、
   前記画像合成部は、前記左側の画像を前記切出し位置が左側となるように配置し、前記右側の画像を前記切出し位置が右側となるように配置して、前記左側の画像の左右及び前記右側の画像の左右を入れ替えて、前記左側の画像及び前記右側の画像の前記切断された位置を繋ぎ合わせる請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画像切出し部は、切出す画像の切出し位置が前記車両の前方の場合には、前記車両の舵角と同じ方向に前記切出し位置を移動し、
   前記切出し位置が前記車両の後方の場合には、前記車両の舵角と逆の方向に前記切出し位置を移動する請求項６に記載の画像処理装置。

Images