JP2013239015A - 駐車支援装置、駐車支援方法およびプログラム - Google Patents

Abstract

【課題】障害物と車両のどの部位が互いに衝突する危険があるのかを運転者が的確に認識できるようにする。
【解決手段】駐車支援装置は、車両の周囲の障害物を三次元座標により示す障害物情報と、車両の形状を三次元座標により示す車両形状情報を取得し、これらの取得した障害物情報と車両形状情報とに基づいて、車両と障害物とで衝突する危険の有る部位を判定する。そして、駐車支援装置は、衝突する危険が有ると判定された部位を反映した内容の駐車支援画像を表示部に表示させる。
【選択図】図１

Description

本発明は、駐車支援装置、駐車支援方法およびプログラムに関する。

駐車の際に車両が障害物と衝突しないように支援するために、以下の車両周囲表示装置が知られている。つまり、この車両周囲表示装置は、車両の周囲を撮像するとともに車両の周囲に存在する立体物の高さを検知し、立体物の高さが車両にとって危険な高さにある場合に、画像に含まれる危険な障害物を特徴付けて表示するというものである（例えば、特許文献１参照）。

特開２０１１−１０９１７０号公報

しかし、特許文献１に記載の構成においては、単に、車両に設けた障害物センサから障害物までの距離と障害物の高さとに基づいて、車両と障害物との衝突の危険を判断していることから、ある障害物に対して衝突する危険性の有無はわかるものの、その危険性の内容についての具体的な情報を知ることができなかった。このために、車両の操縦者は、車両のどの部位が障害物と衝突する危険があるのかを認識することができず、この点で駐車支援としては万全ではないということがいえる。

本発明は、このような事情に鑑みてなされたもので、障害物と車両のどの部位が互いに衝突する危険があるのかを運転者が的確に認識できるようにすることを目的とする。

上述した課題を解決するために、本発明の一態様としての駐車支援装置は、車両の周囲の障害物を三次元座標により示す障害物情報を取得する障害物情報取得部と、前記車両の形状を三次元座標により示す車両形状情報を取得する車両形状情報取得部と、前記障害物情報と前記車両形状情報とに基づいて、前記車両と前記障害物とで衝突する危険の有る部位を判定する衝突危険部位判定部と、衝突する危険が有ると判定された部位を反映した内容の画像を表示部に表示させる表示制御部とを備える。

また、本発明の駐車支援装置において、前記表示制御部は、前記障害物に衝突する危険のある前記車両の部位を示す画像を表示させる。

また、本発明の駐車支援装置において、前記表示制御部は、前記障害物に衝突する危険のある前記車両の部位を所定形状の枠部により示す画像を表示させる。

また、本発明の駐車支援装置において、前記表示制御部は、前記車両と衝突する危険のある前記障害物の部位を示す画像を表示させる。

また、本発明の駐車支援装置において、前記車両形状情報取得部は、前記車両において開閉する開閉部が開閉するときの軌跡を前記車両の形状に含む前記車両形状情報を取得する。

また、本発明の駐車支援装置において、前記表示制御部は、前記開閉部が閉じている状態において前記車両と衝突する危険のある前記障害物の部位と、前記開閉部が開くときに前記車両と衝突する危険のある前記障害物の部位とを区別して視認できるように表示する。

また、本発明の駐車支援装置は、前記障害物情報に基づいて地面からの障害物の高さを検出する障害物高さ検出部をさらに備え、前記衝突危険部位判定部は、検出された高さが一定未満の障害物は、車両と衝突する危険の有る部位としての判定対象から除外する。

また、本発明の駐車支援装置において、前記衝突危険部位判定部は、前記車両の進行方向に対して垂直な断面における二次元座標が同一である前記車両の部位と前記障害物の部位との距離を閾値と比較することで衝突の危険の有無を判定し、前記車両の部位と前記障害物の部位との接近速度に基づいて前記閾値を変更する。

また、本発明の駐車支援装置において、前記衝突危険部位判定部は、車両が左右のいずれかに向かっていくように移動しているときには、その移動方向に応じて、前記車両形状情報が示す前記車両の形状を水平方向へ拡大する。

また、本発明の駐車支援装置において、前記衝突危険部位判定部は、車両が移動している際に傾斜が変化するときには、前記車両形状情報が示す前記車両の形状を少なくとも垂直方向へ拡大する。

また、本発明の駐車支援装置において、前記車両形状情報取得部は、前記車両形状情報を記憶する車両形状情報記憶部と、前記車両形状情報記憶部から前記車両形状情報を読み出す車両形状情報読出部とを備える。

また、本発明の駐車支援装置において、前記車両形状情報取得部は、それぞれが異なる視点により前記車両を撮像するように設けられる複数の車両形状対応撮像部と、前記複数の撮像部のそれぞれにより撮像された画像間の視差を算出する車両形状対応視差算出部と、算出された視差に基づいて前記車両の三次元座標を算出する車両対応三次元座標算出部とを備える。

また、本発明の駐車支援装置において、前記障害物情報取得部は、それぞれが異なる視点により前記車両の周囲を撮像するように設けられる複数の撮像部と、前記複数の撮像部のそれぞれにより撮像された画像間の視差を算出する視差算出部と、算出された視差に基づいて障害物の三次元座標を算出する三次元座標算出部とを備える。

また、本発明の一態様としての駐車支援方法は、車両の周囲の障害物を三次元座標により示す障害物情報を取得する障害物情報取得ステップと、前記車両の形状を三次元座標により示す車両形状情報を取得する車両形状情報取得ステップと、前記障害物情報と前記車両形状情報とに基づいて、前記車両と前記障害物とで衝突する危険の有る部位を判定する衝突危険部位判定ステップと、衝突する危険が有ると判定された部位を反映した内容の画像を表示部に表示させる表示制御ステップとを備える。

また、本発明の一態様としてのプログラムは、コンピュータに、車両の周囲の障害物を三次元座標により示す障害物情報を取得する障害物情報取得ステップと、前記車両の形状を三次元座標により示す車両形状情報を取得する車両形状情報取得ステップと、前記障害物情報と前記車両形状情報とに基づいて、前記車両と前記障害物とで衝突する危険の有る部位を判定する衝突危険部位判定ステップと、衝突する危険が有ると判定された部位を反映した内容の画像を表示部に表示させる表示制御ステップとを実行させるためのものである。

以上説明したように、この発明によれば、障害物と車両のどの部位が互いに衝突する危険があるのかを車両の運転者が的確に認識できるという効果が得られる。

本発明の第１の実施形態における駐車支援装置の構成例を示す図である。 本実施形態における第１撮像部と第２撮像部の車両への取り付け態様例を示す図である。 本実施形態の撮像部により撮像された撮像画像の座標設定例を示す図である。 本実施形態の撮像部の撮像系における光学中心を原点とする三次元直交座標系を示す図である。 本実施形態における車両形状情報の例を示す図である。 本実施形態における駐車支援画像の例を示す図である。 第１の実施形態における駐車支援装置が実行する処理手順例を示す図である。 第１の実施形態における駐車支援装置が実行する衝突危険部位判定のための処理手順例を示す図である。 第１の実施形態における駐車支援装置が実行する車両形状座標範囲設定のための処理手順例を示す図である。 第２の実施形態における駐車支援装置の構成例を示す図である。 第２の実施形態における駐車支援装置が実行する処理手順例を示す図である。 第３の実施形態における駐車支援装置の構成例を示す図である。 本実施形態において撮像部を車両の左右前方および左右後方に設ける場合の配置パターン例を示す図である。

＜第１の実施形態＞
［駐車支援装置の構成］
図１は、本発明の第１の実施形態における障害物支援装置の構成例を示している。本実施形態の駐車支援装置は、例えば、自動車などの車両に備えられ、運転者が駐車する際において周囲の障害物と車両が衝突する危険がある場合に、そのことを運転者に通知するように支援を行うものである。

図１に示す駐車支援装置は、障害物情報取得部１１０、車両形状情報取得部１２０、衝突危険部位判定部１３０、表示制御部１４０および表示部１５０を備える。

障害物情報取得部１１０は、車両の周囲の障害物を三次元座標により示す障害物情報を取得する。このために、障害物情報取得部１１０は、第１撮像部１１１−１、第２撮像部１１１−２、視差算出部１１２、表示制御部１４０および表示部１５０を備える。

第１撮像部１１１−１と第２撮像部１１１−２は、それぞれが異なる視点により前記車両の周囲を撮像するように設けられる。より具体的には、第１撮像部１１１−１と第２撮像部１１１−２は、互いのレンズなどの光学系の特性やイメージセンサの特性などが同一である。そのうえで、第１撮像部１１１−１と第２撮像部１１１−２は、図２（ａ）の背面図に示すように、例えば車両２００の後方において、ともに水平方向に沿った直線Ｌｈ上に位置するように設けられる。つまり、第１撮像部１１１−１と第２撮像部１１１−２は、左右における高さが同じ状態で設けられる。かつ、第１撮像部１１１−１と第２撮像部１１１−２は、図２（ｂ）の平面図に示すように、互いの光軸Ａｘ１とＡｘ２とが平行となるように設けられる。また、この図の第１撮像部１１１−１と第２撮像部１１１−２は、車両２００の後方を撮像するように設けられる。
なお、以降において、第１撮像部１１１−１と第２撮像部１１１−２とを特に区別しない場合には、撮像部１１１と記載する。

視差算出部１１２は、複数の撮像部１１１のそれぞれにより撮像された画像間の視差を算出する。
視差算出部１１２は、視差の算出のために、第１撮像パラメータ記憶部１１２ａ、第１座標変換部１１２ｂ、第２撮像パラメータ記憶部１１２ｃ、第２座標変換部１１２ｄおよびマッチング部１１２ｅを備える。

第１撮像パラメータ記憶部１１２ａは、第１撮像部１１１−１についての所定のパラメータを記憶する。第１撮像パラメータ記憶部１１２ａが記憶するパラメータは、例えば、焦点距離、レンズ歪、主点位置などの内部パラメータと、車両２００に取り付けられた第１撮像部１１１−１の姿勢などを示す外部パラメータを含む。これらのパラメータは、例えば既知のキャリブレーションパターンを第１撮像部１１１−１と第２撮像部１１１−２の各々により複数枚撮像して得られる画像に基づいて求めることができる。
第１座標変換部１１２ｂは、第１撮像パラメータ記憶部１１２ａが記憶するパラメータを利用して、第１撮像部１１１−１により撮像された第１撮像画像について、第１撮像部１１１−１における個体差や取り付け誤差などに対応する補正を行う。この補正のために、第１座標変換部１１２ｂは、第１撮像画像における画素の座標値の変換（すなわち、画素の移動に相当する）を行う。

第２撮像パラメータ記憶部１１２ｃは、第２撮像部１１１−２についての所定のパラメータとして、例えば第１撮像パラメータ記憶部１１２ａと同じ種別のパラメータを記憶する。
第２座標変換部１１２ｄは、第２撮像パラメータ記憶部１１２ｃが記憶するパラメータを利用して、第２撮像部１１１−２により撮像された第２撮像画像について、第２撮像部１１１−２における個体差や取り付け誤差などに対応する補正（座標変換）を行う。

上記のように、第１座標変換部１１２ｂと第２座標変換部１１２ｄは、それぞれ、第１撮像画像と第２撮像画像についての撮像時の誤差をキャンセルするための補正を行う。これにより、補正後の第１の画像と第２撮像画像は、相互における画素ごとのエピポーラ線が一致する。

上記のように、第１座標変換部１１２ｂにより補正された第１撮像画像と第２座標変換部１１２ｄにより補正された第２撮像画像のエピポーラ線が一致していることで、第１撮像画像における被写体は、第２撮像画像においては垂直座標（ｙ座標）が同じで、水平座標（ｘ座標）が異なるように存在する。

マッチング部１１２ｅは、第１座標変換部１１２ｂにより補正された第１撮像画像と第２座標変換部１１２ｄにより補正された第２撮像画像とについてステレオマッチングを行うことで、第１撮像画像と第２撮像画像の被写体間の視差を算出する。ここでのステレオマッチングは、第１撮像画像と第２撮像画像のうち、第１撮像画像を基準として行うものとする。
なお、第１座標変換部１１２ｂにより補正された第１撮像画像と第２座標変換部１１２ｄにより補正された第２撮像画像は、エピポーラ線が一致している。したがって、マッチング部１１２ｅにより求められる視差は、第１撮像画像と第２撮像画像の対応点についての基線方向のずれ量に相当する。

本実施形態においては、図２に示したように、第１撮像部１１１−１と第２撮像部１１１−２は、水平方向に沿って設けられていることから、基線方向も水平方向に沿っている。したがって、本実施形態におけるステレオマッチングでは、水平方向のみを探索する処理によって視差を求めることができる。これにより、例えば、水平と垂直の両方向を探索して視差を求める場合と比較して演算量を抑制することができる。

具体的に、マッチング部１１２ｅは、ステレオマッチングにおける基準画像である第１撮像画像における各画素に対して求められた第２撮像画像との間の視差の値を、第１撮像画像における各画素の値（階調値）とする画像データを生成する。このように生成した画像データについては、例えば視差マップ、デプスマップなどともいわれる。マッチング部１１２ｅは、このように視差を算出した結果として、視差マップを生成する。
なお、以降において特にことわりのない場合、ステレオマッチングにおける基準画像である第１撮像画像を単に「撮像画像」という。また、第１撮像画像を基準に求められた視差の値を画素値とする画像データについては「視差マップ」という。また、ステレオマッチングにおける基準画像は、上記とは反対に第２撮像画像であってもよい。この場合、「撮像画像」が第２撮像画像であり、「視差マップ」は、第２撮像画像を基準に求められた視差の値を画素値とする画像データである。

三次元座標算出部１１３は、視差算出部１１２（マッチング部１１２ｅ）により求められた視差（視差マップ）に基づいて障害物の三次元座標を算出する。このように算出された障害物の三次元位置を表す情報が、障害物情報である。また、三次元座標算出部１１３は、障害物情報は座標値のみではなく、さらに、障害物の移動方向や移動速度を表すベクトル情報を含めるようにしてもよい。
障害物情報に障害物の移動に関するベクトル情報が含まれることで、障害物が時間の経過に伴って移動する方向や移動距離を予測可能になる。そして、衝突危険部位判定部１３０が後述の衝突危険についての判定を行うにあたり、障害物の移動方向および移動距離などの情報を利用することで、安全性をさらに高めることが可能となる。
ただし、障害物情報にベクトル情報を含める場合、三次元座標算出部１１３が算出する三次元直交座標系は、それ自体が車両２００の動きに伴って移動するため、その座標値は車両を基準とした相対的な値となる。このように車両２００自体が動いている可能性があることから、車両２００を基準とする相対的な座標の変化のみによっては、その障害物が移動しているかどうかを判断することは難しい。
そこで、三次元座標算出部１１３は、車両２００の動きを考慮して、例えば車両２００に設けられた速度センサやハンドルの状態を監視するなどして、車両の移動速度や移動方向を検出するようにする。そして、三次元座標算出部１１３は、車両の移動による三次元座標系自体の動きを検出し、この検出した動きと障害物の座標の動きとの差分に基づいて、障害物の絶対的な移動方向や移動速度をベクトル情報として求めるようにすればよい。

ここで、図３および図４を参照して、視差マップと三次元座標との関係について説明する。
マッチング部１１２ｅにより求められる視差をｄとし、撮像部１１１の光学中心を原点として光軸方向に進行する座標軸上の座標値をｚとすると、視差ｄと座標値ｚは反比例の関係にある。そして、この座標値ｚと視差ｄの関係は、撮像部１１１の焦点距離をｆ、基線長（第１撮像部１１１−１と第２撮像部１１１−２の各光軸間の距離）をｂｌ、撮像部１１１におけるイメージセンサの画素のピッチをｐとすると、三角測量の原理に基づいて、
ｚ＝（ｆ×ｂｌ）／（ｄ×ｐ）・・・（式１）
のように表すことができる。
三次元座標算出部１１３は、（式１）により、撮像画像における各画素が表す被写体のｚ座標を算出する。

図３は、撮像部１１１により撮像された撮像画像６００の座標を示している。この図に示す撮像画像６００における座標は、二次元座標により表現される。具体的に、図示するように、撮像画像６００上の座標（ａ，ｂ）は、その左上が原点Ａ（０，０）（この場合、ａ＝０、ｂ＝０）として規定される。そのうえで、撮像画像６００の水平解像度をｈ、垂直解像度をｖとする。ここでは、撮像画像６００の中心座標をＣ（ａ_０，ｂ_０）と表している。この場合、ａ_０，ｂ_０の各座標値は、下記の式のように表すことができる。
ａ_０＝（ｈ−１）／２・・・（式２）
ｂ_０＝（ｖ−１）／２・・・（式３）

図４は、第１撮像部１１１−１の撮像系における光学中心を原点とする三次元直交座標系を示している。
この図におけるｚ軸は、第１撮像部１１１−１の光軸Ａｘ１と一致する。ここでは、第１撮像部１１１−１においてレンズの光軸Ａｘ１（ｚ軸）とイメージセンサの中心が一致しているものであり、したがって、光軸Ａｘ１（ｚ軸）上の被写体は、撮像画像６００の中心座標（ａ_０，ｂ_０）にて存在する。
また、ｘ軸は撮像画像６００の水平軸と平行であり、ｙ軸は撮像画像６００の垂直軸と平行である。
上記のように設定した座標軸において、第１撮像部１１１−１の光軸Ａｘ１上の点は、実数ｔを用いて（０，０，ｔ）と表される。例えば、この座標（０，０，ｔ）から、水平方向にｉだけ平行移動した点は（ｉ，０，ｔ）と表される。また、同じく座標（０，０，ｔ）から、垂直方向にｊだけ並行移動した点は（０，ｊ，ｔ）と表される。
なお、以降において、特にことわりのない場合、三次元座標と表記する際は、第１撮像部１１１−１の撮像系における光学中心を原点とする三次元直交座標系における座標を表すものとする。

三次元座標算出部１１３は、上記図４に示す三次元直交座標系を撮像画像に対して設定する。
図４における撮像平面７００−１、７００−２、７００−３は、それぞれ、ｚ軸に対して垂直で、三次元直交座標系の原点Ｏからの距離が異なる平面ごとの画角に収まる範囲を模式的に示している。

これらの撮像平面７００−１、７００−２、７００−３は、いずれもｚ軸との交点を中心とする相似な長方形であり、その辺の長さは原点Ｏからの距離、つまりｚの座標値に比例する。これは、撮像平面上での被写体の移動量に対するｘ、ｙ座標の変化量も、ｚの大きさに比例することを意味する。
具体的に、撮像部１１１の水平画角をα、垂直画角をβとして、距離がｚのときに図３の座標Ａ（０，０）と座標Ｂ（ｈ−１，ｖ−１）にて撮像された被写体は、図４の三次元直交座標系では、それぞれ、座標Ａ_ｚ（−ｚ＊ｔａｎ（α／２），ｚ＊ｔａｎ（β／２），ｚ）と、座標Ｂ_ｚ（ｚ＊ｔａｎ（α／２），−ｚ＊ｔａｎ（β／２），ｚ）に存在する。
なお、上記座標は、説明を簡単にする便宜上、撮像部１１１におけるイメージセンサの水平画素ピッチと垂直画素ピッチが同一である場合に対応したものである。
図４に示す三次元座標系において、座標Ａ_ｚと座標Ｂ_ｚの二点間のｘ軸方向の距離がｈで、ｙ軸方向の距離がｖとなるｚ座標の値ｚ_０が存在する。このｚ_０を利用して、距離がｚとなる視差ｄを有して撮像画像６００の座標（ａ，ｂ）にて撮像された被写体は、三次元直交座標系では下記のように表される。
（（ａ−ａ_０）＊ｚ／ｚ_０，（ｂ−ｂ_０）＊ｚ／ｚ_０，ｚ）・・・（式４）。

三次元座標算出部１１３は、上記の式４による演算を行うことにより、撮像画像６００の二次元座標上に撮像された被写体を三次元座標に変換する。ここでの撮像画像６００における被写体は、すなわち障害物である。したがって、三次元座標算出部１１３により変換された被写体の三次元座標は、障害物の三次元位置を表す障害物情報である。
また、これまでの説明から理解されるように、この三次元座標の原点は、第１撮像部１１１−１の光学中心である。したがって、この障害物情報は、第１撮像部１１１−１と障害物との三次元的な位置関係を示す。

車両形状情報取得部１２０は、車両の形状を三次元座標により示す車両形状情報を取得する。
このために、車両形状情報取得部１２０は、車両形状情報記憶部１２１と、車両形状情報読出部１２２を備える。

車両形状情報記憶部１２１は、車両形状情報を記憶する。
図５を参照して車両形状情報について説明する。図５（ａ）、（ｂ）、（ｃ）は、それぞれ、車両形状情報記憶部１２１が記憶する車両形状情報３００を模式的に示している。
車両形状情報３００は、例えば図５（ａ）に示すように、車両２００を後方視点より見た二次元映像に対し、車両２００の各部位の三次元座標を対応付けたものである。
なお、車両形状情報で使用する座標系は、図４に示したのと同じく、第１撮像部１１１−１の光学中心を原点とする三次元座標系である。つまり、障害物情報において示される障害物の三次元座標系と、車両形状情報において示される三次元座標系とは共通である。

また、車両形状情報３００は、その開閉により車両２００の外形形状が変化する部位については、開いている状態と閉じている状態のそれぞれに対応する形状情報を有する。一例として、図５（ａ）と図５（ｂ）に示すように、車両形状情報３００は、例えば、左右のドアミラー２１０Ｌ、２１０Ｒが開いた状態（図５（ａ））と、閉じた状態（図５（ｂ））のそれぞれに対応する形状情報含む。
また、車両形状情報３００は、図５（ｃ）に示すように、例えばトランクドア２２０や左右の座席ドア２２０Ｌ、２２０Ｒについても、開いている状態と閉じている状態のそれぞれに対応する形状情報を有する。

そのうえで、車両形状情報３００は、これらのドアミラー２１０Ｌ、２１０Ｒ、トランクドア２２０、および、座席ドア２２０Ｌ、２２０Ｒなどについての開いた状態の形状情報として、閉じた状態から最大可動範囲までの軌跡の形状を含む。

上記のような車両形状情報３００は、車両の設計情報や撮像部の取り付け位置の情報などに基づいて予め決定した内容のものを用意し、車両形状情報記憶部１２１に記憶させておけばよい。
また、上記のように、本実施形態では、車両２００において開閉する部位についての軌跡の形状を車両形状情報３００に含めることとしている。これにより、駐車のために車両を移動させているときだけでなく、駐車後に車両２００から降車するために座席ドアを開けたり、トランクドアを開けたりしたときに衝突する危険のある部位の判定を行うことが可能になり、より安全性が高まる。

図１の車両形状情報取得部１２０において、車両形状情報読出部１２２は、車両形状情報記憶部１２１から図５に示した車両形状情報３００を読み出す。第１の実施形態において、車両形状情報取得部１２０は、このように、予め記憶されている車両形状情報を読み出すことにより車両形状情報を取得する。

衝突危険部位判定部１３０は、障害物情報取得部１１０により取得された障害物情報と、車両形状情報取得部１２０により取得された車両形状情報とに基づいて、車両２００と障害物とで衝突する危険のある部位を判定する。
このために、衝突危険部位判定部１３０は、例えば障害物情報が示す障害物の三次元座標値と、車両形状情報が示す車両２００の形状の三次元座標値とを照合し、この照合結果に基づいて、車両２００におけるどの部位が障害物におけるどの部位と衝突する危険があるのかを判定する。
例えば、車両２００が水平な地面を直進している場合において、（ｘ_１，ｙ_１，ｚ_１）の三次元座標に存在する車両２００の部位と衝突する可能性がある障害物は、ｘ座標がｘ_１で、かつ、ｙ座標がｙ_１の位置に存在するものとなる。つまり、車両の進行方向であるｚ軸に対して垂直な断面であるｘｙ平面における二次元座標が同一な車両２００の部位と障害物とが、衝突する可能性がある。そこで、この場合の衝突危険部位判定部１３０は、座標（ｘ_１，ｙ_１，＊）（＊は任意の実数）で表される直線上に存在している車両２００の部位と障害物の部位とのｚ座標値の差分を監視する。この差分が小さくなるのに応じて、この直線上に存在している車両２００の部位と障害物の部位との距離は短くなり、両者が衝突する可能性が高まっていく。
そこで、衝突危険部位判定部１３０は、このｚ座標値の差分が閾値未満となったのであれば、上記の直線上に位置している車両２００の部位と障害物の部位とが衝突する危険が有ると判定する。

これまでに説明したように、衝突危険の有無は、ｘ座標およびｙ座標が車両２００と同一となる直線上に存在する車両２００の部位と障害物の部位とのｚ座標の差分、すなわち距離と閾値とを比較した結果に基づいて判定することができる。しかし、車両２００が比較的高い速度で移動していたり、逆に、障害物が車両２００に向かって移動してきているような状況では、より早期に衝突する危険性が生じる。
そこで、本実施形態の衝突危険部位判定部１３０は、ｘ座標とｙ座標が同一の直線上に存在する車両２００の部位と障害物の部位との接近速度に基づいて、衝突の危険の有無を判定するための車両２００の部位と障害物の部位についての距離に対する閾値を変更する。
具体的には、衝突危険部位判定部１３０は、車両２００の部位と障害物の部位との接近速度が大きくなるのに応じて、閾値が大きい値となるように変更することができる。なお、上記の接近速度は、同じｘ、ｙ座標における車両２００の部位と障害物の部位との単位時間における距離の変化量に基づいて求めることができる。
このように閾値を変更することで、車両２００が比較的速い速度で動いていたり、逆に、障害物が車両２００に向かって移動してきているような状況において、より速い段階で衝突する危険の有ることを通知できることになり、安全性がさらに高まる。

また、駐車に際して運転者がハンドルを切りながら車両２００を移動させているときには、車両２００の後部が水平方向へ移動することになる。そして、これに伴って起こる三次元直交座標系の座標軸の回転によって、障害物の座標は、ｚ軸方向だけでなく水平方向であるｘ軸方向へも変化する。すなわち、ハンドルを切ることによって、それまで衝突の可能性がなかったｘ軸座標の異なる障害物が、車両２００と衝突の可能性がある座標へと移動してくる。
そこで、本実施形態の衝突危険部位判定部１３０は、車両が左右のいずれかに向かっていくように移動しているときには、衝突の危険性を判定する対象となる障害物の条件を拡大する。つまり、衝突危険部位判定部１３０は、車両２００の移動方向に応じて、車両２００とｘ座標およびｙ座標が同じ直線上にある障害物に加え、ｘ座標を一定量拡大した平面内に存在する障害物にまで判定対象を拡大させる。なお、拡大する量は、ハンドルが切られた量に応じて変更するようにしてもよい。
また、車両２００が直進を続けている場合であっても、次の瞬間にはハンドルが切られる可能性があり、このことについては予測が難しい。このようなことを考慮して、衝突危険部位判定部１３０は、ハンドルが切られていないときであっても、車両２００が対応するｘ座標に対して一定量拡大したｘ座標に存在する障害物にまで判定対象を拡大してもよい。このようにすることで、さらに安全性を高めることができる。
あるいは、衝突危険部位判定部１３０は、車両２００の特定座標に対する危険性の判定対象を拡大するのに代えて、ハンドルが切られるのに応じて変化する車両２００の進行方向に対応させるように、車両２００の形状を拡大させるようにしてもよい。このように拡大された車両２００とｘ座標およびｙ座標が同じ直線上にある障害物を対象として危険性判定を行うことによっても、上記の車両２００の特定座標に対する判定対象を拡大する手法と同様の効果が得られる。さらに、この場合には、拡大された車両２００の一つの位置座標に対する危険性判定は一回行えばよいことから、上記の手法と比較すると、例えば危険性判定を行う回数が減少傾向になるという点で有利である。

また、例えば車両２００が坂道を登り始めるときのように、車両２００の移動に伴って地面の傾斜が変化する場合にも三次元直交座標系の座標軸の回転が生じるため、地面の傾斜の変化に応じて垂直方向であるｙ軸方向の座標が変化する。さらに、傾斜の状態によっては、水平方向であるｘ軸方向についても障害物の座標が変化する。
そこで、衝突危険部位判定部１３０は、車両２００が進行する地面の傾斜が変化するときには、危険性判定を行う対象となる障害物の条件を以下のように拡大してもよい。つまり、衝突危険部位判定部１３０は、車両２００とｘ座標およびｙ座標が同じ直線上の障害物だけでなく、その傾斜変化が生じた方向に応じて、ｘ座標およびｙ座標のそれぞれを一定量拡大した空間内にある障害物を危険性判定の対象としてもよい。
なお、車両２００が移動している際の地面の傾斜が変化しているか否かは、例えば車両２００に設けられるジャイロセンサの検出信号に基づいて判定することができる。
また、先と同様に、車両２００の特定座標に対する危険性判定の対象を拡大させるのではなく、車両２００の形状自体を地面の傾斜変化に応じた方向へ拡大するようにして、拡大された車両２００とｘ座標およびｙ座標が同じ直線上にある障害物を危険性判定の対象としてもよい。この手法も、車両２００の特定座標に対する危険性の判定対象を拡大させる手法と比較した場合には、例えば危険性判定の回数が減少傾向となる点で有利である。

このように、本実施形態の駐車支援装置は、例えば、車両２００が直進せずに曲がるように移動する場合や地面の傾斜が変化するような状態の坂道を移動しているような場合には、危険性判定を行う対象となる障害物の範囲を拡大することで、より高い安全性を確保することができる。

また、例えば、さらに安全を確保するために、衝突危険部位判定部１３０は、車両形状情報が示す車両２００の実寸に応じた形状を、ｘ軸、ｙ軸、ｚ軸の各方向において所定量拡大したサイズによる形状を利用して、衝突危険部位の判定を行うようにしてもよい。

［駐車支援画像の表示態様例］
図６（ａ）は、表示制御部１４０により表示部１５０に表示される駐車支援画像の一例を示している。この図に示す駐車支援画像は、障害物表示エリアＡＲ１と車両画像表示エリアＡＲ２とを含む。

障害物表示エリアＡＲ１は、車両２００の周囲（後方）に存在する障害物を撮像した画像が表示される領域である。具体的には、障害物表示エリアＡＲ１にて表示される画像は、例えば第１撮像部１１１−１により撮像された第１画像である。なお、第２撮像部１１１−２により撮像された第２画像を障害物表示エリアＡＲ１に表示させてもよい。
そのうえで、障害物表示エリアＡＲ１においては、そのまま車両２００が現在の進路および進行方向により進行し続けると車両と衝突してしまう障害物の部位が第１次衝突危険部位４１０として表示される。
この第１次衝突危険部位４１０は、他の障害物の部位と区別して運転者が視認可能なように表示される。一例として、障害物表示エリアＡＲ１における全体は、撮像されたままのカラー画像またはモノクロ画像であるのに対して、第１次衝突危険部位４１０は、赤色などの特定の色が着色された状態で強調して表示される。

また、車両画像表示エリアＡＲ２においては、車両画像５００が表示される。この車両画像５００は、車両２００を後方から見た画像である。そのうえで、この車両画像５００においては、障害物表示エリアＡＲ１において表示される第１次衝突危険部位４１０と衝突する危険の有る衝突危険部位５１０が表示される。

この衝突危険部位５１０は、車両画像５００における他の部位と区別して運転者が視認できるように表示されるのである。この図では、衝突危険部位５１０は、衝突の危険が有る部位を含む方形の枠部として表示されている。
この図において、衝突危険部位５１０と衝突する危険の有る障害物側の第１次衝突危険部位４１０は、木の枝とされている。これに応じて、衝突危険部位判定部１３０により障害物と衝突する危険が有ると判定された車両２００の部位は相当に小さい。このため、例えば衝突危険部位判定部１３０により衝突の危険有りと判定された車両２００の部位を、そのまま衝突危険部位５１０として表示したとすると、その表示部分も相当に小さいものとなってしまい、運転者が確認しにくい場合がある。
そこで、表示制御部１４０は、図６（ａ）のように、衝突危険部位５１０として、障害物に衝突する危険のある車両２００の部位を所定形状の枠部により示す画像を表示させる。これにより、運転者は、車両画像５００において衝突危険性の有る部位を明確に認識することができる。

また、図６（ａ）の障害物表示エリアＡＲ１においては、第１次衝突危険部位４１０の他に、第２次衝突危険部位４２０も表示されている。この第２次衝突危険部位４２０は、車両２００の座席ドアやトランクドアやドアミラーなどを開いたときに衝突する危険の有る障害物の部位を示す。この図では、木の幹の部分が第２次衝突危険部位４２０として表示されているが、これは、例えば車両２００の右側の座席ドアを開けたときに、この座席ドアと衝突する危険の有る部分であることを示している。

そして、この第２次衝突危険部位４２０は、例えば障害物表示エリアＡＲ１において、第１次衝突危険部位４１０と区別して視認可能な所定の態様により表示される。一例として、第１次衝突危険部位４１０が赤色により表示されるのに対して、第２次衝突危険部位４２０は例えば青色などの赤色以外の所定の色により表示される。
運転者は、この第２次衝突危険部位４２０の表示を見ることで、例えば、降車時において予め木の幹にぶつからないように注意しながら右側の座席ドアを開けることができる。または、このままでは右側の座席ドアが開けにくいことを予見して、車両２００の位置をずらして駐車させることができる。

なお、図６（ａ）においては図示を省略しているが、例えば、車両画像表示エリアＡＲ２において、第２次衝突危険部位４２０に対応する衝突危険部位の表示を行うようにしてもよい。この場合には、第１次衝突危険部位４１０に対応する衝突危険部位５１０と第２次衝突危険部位４２０に対応する衝突危険部位とで、運転者が区別して視認可能なように、例えば色分けなどして表示することが好ましい。
また、以降において、表示部１５０に表示される第１次衝突危険部位４１０と第２次衝突危険部位４２０とについて一括して言及する際には衝突危険部位４００ということにする。

また、図６（ａ）の障害物表示エリアＡＲ１に表示されるように、撮像部１１１により撮像される障害物の画像と、同じ図６（ａ）の車両画像表示エリアＡＲ２に示すように車両２００を後方から見た車両画像５００とでは、互いの左右が反転する。このままでは運転者が感覚的に衝突危険性の有る部位を即座に把握することが難しい場合がある。
そこで、例えば図６（ｂ）に示すように、障害物表示エリアＡＲ１の画像の左右を反転させれば、運転者が観察する障害物と車両画像５００の左右が一致することとなり、運転者は、衝突危険性の有る障害物と車両の部位の対応関係を感覚的に把握しやすくなる。なお、図６（ｂ）とは逆に、例えば、図６（ａ）の状態から、車両画像表示エリアＡＲ２における車両画像５００の左右を反転させてもよい。

また、上記図６の表示では、車両画像５００は、車両２００とほぼ同じ高さにより後方から見た状態に対応するが、例えば車両２００の形状がより認識しやすいように、後方より鳥瞰図的に見た態様としてもよい。

また、座席ドアやトランクドアなどの開閉部を対象とする衝突危険部位の判定については、不要な場合もあると考えられるので、例えば運転者の所定操作に応じて判定の可否を切り替えられるようにしてもよい。
また、座席ごとに重量計または人感センサなどを備えたり、車内を撮像する撮像装置を備えるなどして、座席ごとの乗員の有無を検出できるようにして、乗員が座っている座席に対応する座席ドアのみを対象として衝突危険部位の判定対象としてもよい。
また、例えばトランクにも重量計やセンサなどを備えて、トランク内の荷物の有無を判定できるようにしておき、トランク内に荷物が入っている場合においてのみ、ドアトランクを衝突危険部位の判定対象とするようにしてもよい。
また、座席ドアやトランクドアなどの開閉部位について衝突危険性があると判定した場合については、例えば表示による通知の他に、その開閉部位が運転者や乗員によって開けることができないようにロック状態を設定したり、運転者等に注意を促す警告音などを出力するようにしてもよい。

［処理手順例］
図７のフローチャートは、図１に示した第１の実施形態における駐車支援装置が実行する処理手順例を示している。
まず、障害物情報取得部１１０の視差算出部１１２において、第１座標変換部１１２ｂと第２座標変換部１１２ｄは、それぞれ、第１撮像部１１１−１と第２撮像部１１１−２により撮像された第１撮像画像と第２撮像画像を入力する（ステップＳ１０１）。

次に、第１座標変換部１１２ｂと第２座標変換部１１２ｄは、それぞれ、入力した第１撮像画像と第２撮像画像について補正（座標変換）を行う（ステップＳ１０２）。前述のように、第１座標変換部１１２ｂと第２座標変換部１１２ｄは、この補正（座標変換）の処理にあたり、それぞれ、第１撮像パラメータ記憶部１１２ａと第２撮像パラメータ記憶部１１２ｃに記憶されているパラメータを利用する。

次に、視差算出部１１２におけるマッチング部１１２ｅは、第１座標変換部１１２ｂと第２座標変換部１１２ｄにより補正された第１撮像画像と第２撮像画像とについてステレオマッチング処理を行うことで、画素ごとに視差を算出する（ステップＳ１０３）。なお、前述のように、第１座標変換部１１２ｂと第２座標変換部１１２ｄにより補正された第１撮像画像と第２撮像画像は、エピポーラ線が一致していることから、マッチング部１１２ｅは、水平方向のみの視差を求めればよく、この点で演算処理の負荷が軽減されている。

次に、障害物情報取得部１１０における三次元座標算出部１１３は、ステップＳ１０３により算出された視差を利用して、例えば第１撮像画像における障害物の三次元座標を算出する（ステップＳ１０４）。これにより、障害物を三次元座標により示す障害物情報が取得される。

また、車両形状情報取得部１２０は、車両形状情報を取得する（ステップＳ１０５）。第１の実施形態においては、前述のように、車両形状情報取得部１２０において、車両形状情報読出部１２２が車両形状情報記憶部１２１から車両形状情報を読み出すことにより、車両形状情報を取得する。

衝突危険部位判定部１３０は、ステップＳ１０４により取得された障害物情報と、ステップＳ１０５により取得された車両形状情報とに基づいて衝突危険部位を判定する（ステップＳ１０６）。つまり、車両２００と障害物とで互いに衝突する危険の有る部位を判定する。
そして、表示制御部１４０は、ステップＳ１０６により判定された部位を反映した駐車支援画像を生成し、生成した駐車支援画像を表示部１５０に表示させる（ステップＳ１０７）。

図８のフローチャートは、図７のステップＳ１０６として示した衝突危険部位判定のための処理手順例を示している。
まず、衝突危険部位判定部１３０は、例えば車両２００の進行方向や車両２００が移動している場所の傾斜などに応じて車両形状情報の座標範囲を設定するための処理を実行する（ステップＳ２０１）。このステップＳ２０１としての車両形状情報の座標範囲設定のための処理手順例については後述する。

次に、衝突危険部位判定部１３０は、障害物情報が示す障害物の三次元座標と車両形状情報が示す車両形状の三次元座標とを照合する（ステップＳ２０２）。そして、その照合結果から、障害物と車両形状とで、三次元座標のｘ座標とｙ座標から成る二次元座標（ｘ、ｙ）が一致する部位が有るか否かについて判定する（ステップＳ２０３）。

障害物と車両の二次元座標（ｘ、ｙ）が一致する部位が有る場合（ステップＳ２０３−ＹＥＳ）、衝突危険部位判定部１３０は、二次元座標（ｘ、ｙ）が一致する障害物の部位と車両の部位との間の接近速度を算出する（ステップＳ２０４）。そして、衝突危険部位判定部１３０は、算出した接近速度に応じて閾値ｔｈを設定する（ステップＳ２０５）。この際、衝突危険部位判定部１３０は、接近速度が高くなるのに応じて閾値ｔｈも大きくするように設定する。

そのうえで、衝突危険部位判定部１３０は、障害物と車両の二次元座標（ｘ、ｙ）が一致する部位ごとに、両者の距離、すなわち、両者のｚ座標値の差分が閾値ｔｈ未満であるか否かについて判定する（ステップＳ２０６）。

ｚ座標値の差分が閾値ｔｈ未満である場合（ステップＳ２０６−ＹＥＳ）、衝突危険部位判定部１３０は、衝突危険部位有りと判定する。つまり、衝突危険部位判定部１３０は、そのｚ座標値の差分が閾値ｔｈ未満の障害物と車両の両部位について、衝突危険部位であると判定する（ステップＳ２０７）。

これに対して、ｚ座標値の差分が閾値ｔｈ以上である場合（ステップＳ２０６−ＮＯ）、衝突危険部位判定部１３０は、衝突危険部位は無いと判定する（ステップＳ２０８）。つまり、衝突危険部位判定部１３０は、そのｚ座標値の差分が閾値ｔｈ以上である障害物と車両の両部位は、衝突危険部位ではないと判定する。また、衝突危険部位判定部１３０は、障害物と車両とで二次元座標（ｘ、ｙ）が一致する部位が全く無い場合（ステップＳ２０３−ＮＯ）にも、衝突危険部位は無いと判定する（ステップＳ２０８）。

図９のフローチャートは、図８のステップＳ２０１としての車両形状座標範囲設定のための処理手順例を示している。
まず、衝突危険部位判定部１３０は、車両形状情報が示す車両形状についての三次元座標の値をリセットする（ステップＳ３０１）。この処理は、例えば前回の車両形状座標範囲設定の処理により車両形状についての三次元座標の値が変更されていることに応じて、一旦、この変更された値を初期化することを目的として行われる。なお、初期化された値は、例えば、車両形状情報取得部１２０により取得された際の車両形状についての三次元座標値である。

次に、衝突危険部位判定部１３０は、車両２００における現在のハンドル角度の情報を入力する（ステップＳ３０２）。そして、衝突危険部位判定部１３０は、入力したハンドル角度の情報が示す値に応じて、ｘ軸における＋方向または−方向へ車両２００の形状を拡大する（ステップＳ３０３）。一例として、車両後方が右（運転者基準）に曲がっていくようなハンドル角度で車両を進行させた場合、車両２００を基準とした三次元直交座標系において、静止状態にある障害物の座標は相対的にｘ軸の＋方向へ移動するように変化する。したがって、このようにハンドルを切った状態では、車両のｘ座標よりも−方向の座標にある障害物に対して、衝突の危険が生じることとなる。この場合、衝突危険部位判定部１３０は、ｘ軸の−方向へ車両形状を拡大する。一方、車両後方が左に曲がっていくようなハンドル角度で車両を進行させた場合、衝突危険部位判定部１３０は、ｘ軸の＋方向へ車両形状を拡大する。なお、車両形状を拡大する値については、例えばハンドルが切られた方向が左右のいずれであるのかに応じて、＋方向と−方向のいずれかにおいて一定値により行うようにしてもよい。または、ハンドル角度の絶対値が大きくなるのに応じて、車両形状を拡大する値が大きくなるように変更してもよい。

また、衝突危険部位判定部１３０は、例えば車両２００が備えるジャイロセンサなどの検出出力に基づいて、車両２００が位置している地面の傾斜が変化しているか否かについて判定する（ステップＳ３０４）。
ここで、傾斜が変化していないと判定した場合（ステップＳ３０４−ＮＯ）、衝突危険部位判定部１３０は、特に車両形状の座標範囲を変更すること無く、この図に示す処理を終了する。
これに対して、傾斜が変化していると判定した場合（ステップＳ３０４−ＹＥＳ）、衝突危険部位判定部１３０は、車両形状を示す三次元座標におけるｙ座標のみの範囲、あるいはｘ座標およびｙ座標の両方の範囲を拡大する（ステップＳ３０５）。この場合において、衝突危険部位判定部１３０は、例えば地面の傾斜の変化量を検出したうえで、検出される傾斜の変化量に応じてｘ座標やｙ座標の範囲の拡大率を変更するようにしてもよい。

＜第２の実施形態＞
［駐車支援装置の構成］
図１０は、第２の実施形態における駐車支援装置の構成例を示している。なお、この図において図１と同一部分には同一符号を付して説明を省略する。
この第２の実施形態における駐車支援装置は、障害物高さ検出部１６０をさらに備える。障害物高さ検出部１６０は、障害物情報に基づいて地面からの障害物の高さを検出する。

例えば、障害物が地面の近くに存在しているような場合、車両２００との二次元座標（ｘ、ｙ）が一致しているとしても、その障害物が低ければ、車両がその障害物を問題なく乗り越えることができる。このことを考慮すれば、地面の近くに存在する障害物のうちで、高さが一定以下のものについては衝突危険部位の対象から除外し、駐車支援画像において衝突危険部位４００などとして表示されないようにすることが好ましい。

そこで、第２の実施形態においては、障害物高さ検出部１６０により障害物の地面からの高さを検出する。そして、衝突危険部位判定部１３０は、検出された高さが一定未満のものについては、車両と衝突する危険の有る部位としての判定対象から除外する。
これにより、例えば車両が乗り越えられる程度のものまで駐車支援画像において衝突危険部位４００として表示されることが無くなり、運転者が過度な注意を払ってしまうことが防止される。

以下に、障害物高さ検出部１６０による障害物の地面からの高さの検出手法例について説明する。
障害物高さ検出部１６０は、障害物情報取得部１１０（三次元座標算出部１１３）から入力した障害物情報が示す障害物の三次元座標を、画面下側の方向からスキャンして、地面形状を取得するとともに、地面形状とその上の障害物とを弁別を行う。

例えば、撮像部１１１の撮像方向はその取り付け姿勢に応じて既知である。撮像部１１１の撮像範囲はこの取り付け姿勢からも既知であるから、地面が水平である場合、地面とこれ以外の領域との水平方向における境界に対応するｙ座標も既知である。したがって、地面が水平である場合においては、障害物高さ検出部１６０は、障害物の三次元座標における特定のｙ座標を地面とこれ以外の領域との境界として弁別すればよい。

一方、地面が水平ではなく傾斜がある場合、その傾斜は、坂道としての傾斜である場合と、障害物としての傾斜である場合との２つの可能性がある。地面に傾斜がある場合、地面が水平である場合と比較すると、三次元座標情報における地面のｙ座標は、傾斜に応じて上下方向（ｙ軸方向）に変化する。

そこで、障害物高さ検出部１６０は、この地面の傾斜に応じたｙ軸方向の変動成分が奥行き方向の変化に対してどれだけの量であるのかを求める。これにより、地面の奥行き方向（すなわち、車両２００の進行方向）における傾斜角が算出される。

この場合において、算出した傾斜角が例えば０°〜３０°程度と比較的小さく、かつ、その求められた傾斜角を持つ領域が、ｘ軸方向（水平方向）において車両２００の幅を越える範囲に及んでいたとする。この場合、障害物高さ検出部１６０は、地面自体が傾斜している、つまり、坂道であって障害物ではないと判定する。
これに対して、傾斜が６０度を超えるような場合や、ｘ軸方向に沿って狭い範囲において傾斜が存在する場合、障害物高さ検出部１６０は、地面上に障害物が存在していると判定する。

そして、このように障害物が存在すると判定した場合、障害物高さ検出部１６０は、再度、障害物情報が示す障害物の三次元座標を下側からスキャンし、地面とこれ以外の領域との境界のｙ座標を特定する。そして、障害物高さ検出部１６０は、この地面とこれ以外の領域との境界のｙ座標と、障害物として判定した物体のｙ座標とを比較することにより、障害物と判定した対象についての高さを求める。このように、障害物高さ検出部１６０は、障害物の有無を判定したうえで、障害物が有ると判定した場合には、その障害物の高さを求める。障害物高さ検出部１６０は、このように求めた障害物の高さの情報を、例えば三次元座標における位置の情報とともに、衝突危険部位判定部１３０に出力する。

そして、衝突危険部位判定部１３０は、その高さが一定未満の障害物については、衝突危険部位の判定対象には含めないようにする。これにより、例えば車両２００が乗り越えられてしまう程度の地面の凹凸などについては、駐車支援画像において衝突危険部位４００などとして表示されることがない。

なお、また轍や雪道なども地面の上で比較的急峻な傾斜を形成する場合があるが、これらについては車両が乗り越えられるものであることから、衝突危険部位から除外することが好ましい。例えば、轍や雪道などの上を車両が移動中である場合、車両２００が備えるジャイロセンサなどによっては、轍や雪道の形状に応じて、比較的細かな動きのパターンを検出する。
そこで、例えば上記のようなパターンの動きがジャイロセンサにより検出されているとき、障害物高さ検出部１６０は、急峻な角度の傾斜については障害物として検出しないようにすればよい。

また、タイヤの空気圧の経時変化や、タイヤの交換などによって車高には変化が生じるが、これが地面とこれ以外の領域の弁別に影響を及ぼす可能性がある。そこで、車両がほぼ水平とみてよい地面上に停車している状態である場合に、例えばエンジン開始時などのタイミングで、障害物情報が示す三次元座標における地面境界のｙ軸を求めるというようにキャリブレーションを行うようにしてもよい。

また、例えば縁石など、地面からの高さがある程度あるようなものは、低速であれば乗り越えられるが、高速では車両２００に大きな衝撃を与えてしまう。そこで、障害物高さ検出部１６０は、この程度の高さの物体については、車両２００の移動速度に応じて、障害物として検出する際の傾斜角度や高さなどの閾値を変更してもよい。
また、例えば撮像部１１１について高解像度のイメージセンサを利用したような場合には、雨や雪などを障害物として認識してしまい、本来の障害物の検出に影響をおよぼす可能性があるので、一定サイズ以下の物体は障害物として判定しないようにしてもよい。

［処理手順例］
図１１のフローチャートは、第２の実施形態の駐車支援装置が実行する処理手順例を示している。なお、この図において、図７と同一のステップについては同一符号を付してその説明については省略する。

この図に示す処理においては、ステップＳ１０６の衝突危険部位判定部１３０による衝突危険部位の判定に先立って、障害物高さ検出部１６０が、障害物の地面からの高さを検出する（ステップＳ１０５Ａ）。
そして、衝突危険部位判定部１３０は、ステップＳ１０６において、衝突危険部位の判定を行うにあたり、前述のように、検出された地面からの高さが一定未満の障害物については、同じ二次元座標（ｘ、ｙ）の車両の部位が存在するとしても、衝突危険判定の対象から除外する。

＜第３の実施形態＞
［概要］
続いて、第３の実施形態について説明する。先に説明した第１の実施形態と第２の実施形態では、予め記憶された車両形状情報を取得している。例えば座席ドアやトランクドアなどは、開閉による形状変化が既知であることから、車両形状情報にこれらの開閉軌跡に応じた形状を予め記憶させておくことができる。

しかし、例えば車両２００の屋根にルーフキャリアやスノーキャリアなどを取り付けて荷物を運ぶ場合や、トラックなどとしての車両２００の荷台に荷物を積んで運ぶ場合には、荷物を含む車両２００の形状はその荷物の積まれ方によって変化する。つまり、この場合の車両２００の形状は不確定である。
この場合において、予め記憶させた車両形状情報に基づいて衝突危険部位についての判定を行ったとしても、車両形状と障害物との衝突危険性の判定にとどまり、荷物と障害物との衝突危険性については判定することが難しい。
第３の実施形態の駐車支援装置は、上記の問題を解消するものであり、荷物の積載により車両の外形形状が変化する場合にも対応して衝突危険性を的確に判定可能となるように、以下の構成を採る。

［駐車支援装置の構成例］
図１２は、第３の実施形態としての駐車支援装置の構成例を示している。なお、この図において、図１と同一部分については同一符号を付して説明を省略することとし、ここでは図１との相違点について説明する。

図１２に示す駐車支援装置は、図１の車両形状情報取得部１２０に代えて車両形状情報取得部１２０Ａを備える。
車両形状情報取得部１２０Ａは、車両形状対応第１撮像部１２３−１、車両形状対応第２撮像部１２３−２、視差算出部（車両形状対応視差算出部）１２４および三次元座標算出部（車両形状対応三次元座標算出部）１２５を備える。

また、視差算出部１２４は、車両形状対応第１撮像パラメータ記憶部１２４ａ、車両形状対応第１座標変換部１２４ｂ、車両形状対応第１撮像パラメータ記憶部１２４ｃ、車両形状対応第２座標変換部１２４ｄおよびマッチング部１２４ｅを備える。
つまり、第３の実施形態における車両形状情報取得部１２０Ａは、障害物情報取得部１１０と同様の部位により構成される。
ただし、車両形状情報取得部１２０Ａにおいて、車両形状対応第１撮像部１２３−１と車両形状対応第２撮像部１２３−２は、それぞれ、例えば互いの光軸が並行、かつ、同じ水平線上に位置するようにされたうえで、車両２００自体を異なる視点により撮像するように設けられる。
また、車両形状対応第１撮像部１２３−１と車両形状対応第２撮像部１２３−２は、それぞれ、第１撮像部１１１−１と第２撮像部１１１−２と干渉することがない位置に配置される。
また、車両形状対応第１撮像部１２３−１と車両形状対応第２撮像部１２３−２は自車両の状態を確認可能な位置に取り付けられることが望ましい。例えば、車両形状対応第１撮像部１２３−１と車両形状対応第２撮像部１２３−２は、車両２００のトランクの上部において車両の前方に向かって取り付けることができる。
そして、上記構成による視差算出部１２４は、車両２００の形状についての視差を求めてその視差マップを生成する。ここでは、車両形状対応第１撮像部１２３−１の撮像画像を基準として視差マップを生成したものとする。

三次元座標算出部（車両形状対応三次元座標算出部）１２５は、車両２００の形状についての三次元座標を算出し、さらにこの算出した三次元座標についてその座標系の変換を行う。以下、この点について説明する。

車両２００の形状の三次元座標の算出手法については、第１の実施形態と同様でよい。ただし、第３の実施形態において三次元座標算出部１２５が求める三次元座標は、ステレオマッチングでの基準である車両形状対応第１撮像部１２３−１の光軸中心を原点とし、車両形状対応第１撮像部１２３−１の光軸がｚ軸と一致する三次元直交座標系である。この車両形状情報は、障害物情報とは異なる座標系の情報である。このような座標系に基づく車両形状情報をそのまま利用しても衝突危険部位判定を正しく行うことはできない。

そこで、三次元座標算出部（車両形状対応三次元座標算出部）１２５は、座標系変換の処理を実行するものである。なお、障害物情報取得部１１０における三次元座標算出部１１３については、上記のような座標系変換の処理を実行する必要はない。

車両形状対応第１撮像部１２３−１と第１撮像部１１１−１とでは、取り付け位置が異なるため、両者の光学中心の座標や、各軸の方向が異なっている。ただし、車両形状対応第１撮像部１２３−１による撮像画像と第１撮像部１１１−１による撮像画像は、それぞれ、第１座標変換部１１２ｂと車両形状対応第１座標変換部１２４ｂによる座標変換によって補正されているため、長さ情報は一致している状態にある。したがって、車両形状情報の座標系は、その座標系の回転と平行移動によって障害物情報の座標系に一致するように変換させることができる。

具体的には、車両形状情報の三次元座標に対して回転行列の乗算を行えばよい。この演算にあたり、回転行列の各要素については、以下のパラメータから求めることができる。つまり、車両形状対応第１撮像部１２３−１と第１撮像部１１１−１との光学中心（原点）の相対的な位置関係、各々の光軸（ｚ軸）の向き、車両形状対応第１撮像部１２３−１の光学中心と車両形状対応第２撮像部１２３−２の光学中心を通過する水平線（ｙ軸）と、第１撮像部１１１−１の光学中心と第２撮像部１１１−２の光学中心を通過する水平線（ｙ軸）との位置関係から求めることができる。これらのパラメータは、車両形状対応第１撮像部１２３−１および車両形状対応第１撮像部１２３−２を車両へ取り付けたことにより確定されるので、予め求めておくことができる。

第３の実施形態においては、上記のように算出された障害物情報と同じ座標系に変換された車両２００の形状についての三次元座標が車両形状情報として扱われる。この車両形状情報は、例えば車両２００に荷物が積載されたことによりその外形形状が変化している場合には、その形状変化を反映している。

図１２の衝突危険部位判定部１３０は、上記のように荷物を積載した車両形状を反映した車両形状情報と障害物情報とに基づくことにより、車両２００の本体だけではなく、積載された荷物と障害物との衝突の危険性についても判定する。そして、表示制御部１４０は、例えば荷物と障害物とが衝突する危険性が有ると判定された場合には、図示は省略するが、その衝突危険性の有る荷物の部位と障害物の部位とを、それぞれ衝突危険部位として表示する。これにより、第３の実施形態においては、車両２００に積載された荷物についても障害物との衝突が回避されるように駐車支援が行われる。

また、車両形状情報取得部１２０Ａを走行中においても継続して動作させてもよい。このように動作させれば、例えば走行中に荷物が落下したような場合、三次元座標算出部１１３が算出する車両形状の三次元座標は、落下した荷物に応じて変化する。そこで、衝突危険部位判定部１３０は、走行中において車両形状の三次元座標が変化した場合には、荷物が落下したものと判定する。そして、表示制御部１４０は、この判定にしたがって、例えば荷物が落下したことを通知するメッセージを表示部１５０に表示させるようにする。

なお、第３の実施形態において、車両形状情報取得部１２０Ａは、障害物情報取得部１１０が兼用することができる。この場合には、例えば第１撮像部１１１−１および第２撮像部１１１−２の撮像方向（光軸の方向）を変更することのできる回転機構などを設ける。そのうえで、例えば駐車支援装置が、車両２００自体を撮像できる方向に第１撮像部１１１−１および第２撮像部１１１−２が向くように回転機構を駆動し、このときの第１および第２撮像画像を利用して車両形状情報を取得させる。また、例えば車両２００が駐車のために移動しているときには、駐車支援装置は、第１撮像部１１１−１および第２撮像部１１１−２の撮像方向を図２に示したように車両２００の後方に向け、障害物情報を取得させる。そして、駐車支援装置は、上記のように取得した車両形状情報と障害物情報とを利用して、車両と障害物との間で衝突危険性の有る部位を判定する。

また、障害物情報取得部１１０と第３の実施形態における車両形状情報取得部１２０Ａについては、例えば２つの撮像装置に代えて、１つの撮像装置と、距離センサとを備えることにより、映像と距離情報をそれぞれ個別に取得して障害物情報または車両形状情報を取得するように構成してもよい。

また、第１〜第３の実施形態においては、２つの撮像部を同じ水平線上に配置することとしたが、例えば、２つの撮像部を同じ垂直線上に配置させてもよい。この場合にも、例えばエピポーラ線が一致するように座標変換（補正）を行うことで、視差を求めるにあたっては垂直方向のみの探索を行えばよく、演算量を削減することができる。

また、ステレオマッチングの原理上、基線長が長いほど視差の分解能は高くなるが、基線長を長くすると撮像系の配置場所の問題が生じやすい。撮像部を同一平面上に配置使用とする場合、例えば図２に示したように車両の後方のみ（または前方のみ）に配置しようとする場合には、水平方向に沿って配置した方が有利である。
しかし、例えば車両の全方位を衝突判定対象とするために、撮像部を車両２００の左右前方および左右後方の４箇所に配置しようとする場合、各箇所において、ステレオマッチングを行う対の撮像画像を撮像する２つの撮像部を設けることになる。この場合において、各箇所において同じ水平線上に２つの撮像部を配置することは、車両の形状などの問題で、十分な基線長（２つの撮像部の距離）を確保することが難しい。
そこで、この場合には、各箇所において、ステレオマッチングを行う対の撮像画像を撮像する２つの撮像部を同じ垂直線に沿って配置する。垂直方向であれば、撮像部の距離を離しやすくなるので、基線長も確保することが可能になる。

具体的には、図１３に示すように、例えば車両２００の右後方のコーナー部に２つの第１撮像部１１１ａ−１と第２撮像部１１１ａ−２を配置する。この際、例えば同じ垂直線上において、一定の距離を隔てて、第１撮像部１１１ａ−１が上側で第２撮像部１１１ａ−２が下側となるように配置する。
同様に、車両２００の左後方のコーナー部に２つの第１撮像部１１１ｂ−１と第２撮像部１１１ｂ−２を配置する。この際、同じ垂直線上において、一定の距離を隔てて、第１撮像部１１１ｂ−１が上側で第２撮像部１１１ｂ−２が下側となるように配置する。
同様に、車両２００の右前方のコーナー部に２つの第１撮像部１１１ｃ−１と第２撮像部１１１ｃ−２を配置する。この際、同じ垂直線上において、一定の距離を隔てて、第１撮像部１１１ｃ−１が上側で第２撮像部１１１ｃ−２が下側となるように配置する。
同様に、車両２００の左前方のコーナー部に２つの第１撮像部１１１ｄ−１と第２撮像部１１１ｄ−２を配置する。この際、同じ垂直線上において、一定の距離を隔てて、第１撮像部１１１ｄ−１が上側で第２撮像部１１１ｄ−２が下側となるように配置する。

または、３つの撮像部のうち２つを同じ水平線上に配置し、さらに、水平線上に配置した２つの撮像部のうちの１つと同じ垂直線上に残る１つの撮像部を配置するというように、Ｌ字型の配置としてもよい。
例えば、ステレオマッチングにあたり、一方の撮像部によってしか撮像されない被写体が存在するために正しい対応点を特定できないというオクルージョンといわれる領域が発生する。ただし、水平方向において生じるオクルージョンは垂直方向では生じにくく、同様に垂直方向において生じるオクルージョンは水平方向では生じにくい性質がある。そこで、上記のように３つの撮像部をＬ字型の配置として、同じ水平線上に配置された２つの撮像部による撮像画像のステレオマッチングの結果と、同じ垂直線上に配置された２つの撮像部による撮像画像のステレオマッチングの結果とを統合すればよい。これにより、水平方向と垂直方向における各オクルージョンの発生が、他方のステレオマッチングの結果により補填されることとなり、オクルージョンによる影響を有効に抑制することが可能である。

なお、図１、図１０および図１２などにおける各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより駐車支援を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１１０ 障害物情報取得部
１１１−１、１１１−２ 第１撮像部、第２撮像部
１１２ 視差算出部
１１３ 三次元座標算出部
１２０ 車両形状情報取得部
１３０ 衝突危険部位判定部
１４０ 表示制御部
１５０ 表示部
１６０ 障害物高さ検出部
２００ 車両
３００ 車両形状情報
４００ 衝突危険部位
５００ 車両画像
５１０ 衝突危険部位

Claims (15)

1. 車両の周囲の障害物を三次元座標により示す障害物情報を取得する障害物情報取得部と、
   前記車両の形状を三次元座標により示す車両形状情報を取得する車両形状情報取得部と、
   前記障害物情報と前記車両形状情報とに基づいて、前記車両と前記障害物とで衝突する危険の有る部位を判定する衝突危険部位判定部と、
   衝突する危険が有ると判定された部位を反映した内容の画像を表示部に表示させる表示制御部と、
   を備えることを特徴とする駐車支援装置。
2. 前記表示制御部は、
   前記障害物に衝突する危険のある前記車両の部位を示す画像を表示させる、
   ことを特徴とする請求項１に記載の駐車支援装置。
3. 前記表示制御部は、
   前記障害物に衝突する危険のある前記車両の部位を所定形状の枠部により示す画像を表示させる、
   ことを特徴とする請求項２に記載の駐車支援装置。
4. 前記表示制御部は、
   前記車両と衝突する危険のある前記障害物の部位を示す画像を表示させる、
   ことを特徴とする請求項１から３のいずれか一項に記載の駐車支援装置。
5. 前記車両形状情報取得部は、
   前記車両において開閉する開閉部が開閉するときの軌跡を前記車両の形状に含む前記車両形状情報を取得する、
   ことを特徴とする請求項１から４のいずれか一項に記載の駐車支援装置。
6. 前記表示制御部は、
   前記開閉部が閉じている状態において前記車両と衝突する危険のある前記障害物の部位と、前記開閉部が開くときに前記車両と衝突する危険のある前記障害物の部位とを区別して視認できるように表示する、
   ことを特徴とする請求項５に記載の駐車支援装置。
7. 前記障害物情報に基づいて地面からの障害物の高さを検出する障害物高さ検出部をさらに備え、
   前記衝突危険部位判定部は、
   検出された高さが一定未満の障害物は、車両と衝突する危険の有る部位としての判定対象から除外する、
   ことを特徴とする請求項１から６のいずれか一項に記載の駐車支援装置。
8. 前記衝突危険部位判定部は、
   前記車両の進行方向に対して垂直な断面における二次元座標が同一である前記車両の部位と前記障害物の部位との距離を閾値と比較することで衝突の危険の有無を判定し、前記車両の部位と前記障害物の部位との接近速度に基づいて前記閾値を変更する、
   ことを特徴とする請求項１から７のいずれか一項に記載の駐車支援装置。
9. 前記衝突危険部位判定部は、
   車両が左右のいずれかに向かっていくように移動しているときには、その移動方向に応じて、前記車両形状情報が示す前記車両の形状を水平方向へ拡大する、
   ことを特徴とする請求項１から８のいずれか一項に記載の駐車支援装置。
10. 前記衝突危険部位判定部は、
    車両が移動している際に傾斜が変化するときには、前記車両形状情報が示す前記車両の形状を少なくとも垂直方向へ拡大する、
    ことを特徴とする請求項１から９のいずれか一項に記載の駐車支援装置。
11. 前記車両形状情報取得部は、
    前記車両形状情報を記憶する車両形状情報記憶部と、
    前記車両形状情報記憶部から前記車両形状情報を読み出す車両形状情報読出部と、
    を備えることを特徴とする請求項１から１０のいずれか一項に記載の駐車支援装置。
12. 前記車両形状情報取得部は、
    それぞれが異なる視点により前記車両を撮像するように設けられる複数の車両形状対応撮像部と、
    前記複数の撮像部のそれぞれにより撮像された画像間の視差を算出する車両形状対応視差算出部と、
    算出された視差に基づいて前記車両の三次元座標を算出する車両対応三次元座標算出部と、
    を備えることを特徴とする請求項１から１０のいずれか一項に記載の駐車支援装置。
13. 前記障害物情報取得部は、
    それぞれが異なる視点により前記車両の周囲を撮像するように設けられる複数の撮像部と、
    前記複数の撮像部のそれぞれにより撮像された画像間の視差を算出する視差算出部と、
    算出された視差に基づいて障害物の三次元座標を算出する三次元座標算出部と、
    を備えることを特徴とする請求項１から１２のいずれか一項に記載の駐車支援装置。
14. 車両の周囲の障害物を三次元座標により示す障害物情報を取得する障害物情報取得ステップと、
    前記車両の形状を三次元座標により示す車両形状情報を取得する車両形状情報取得ステップと、
    前記障害物情報と前記車両形状情報とに基づいて、前記車両と前記障害物とで衝突する危険の有る部位を判定する衝突危険部位判定ステップと、
    衝突する危険が有ると判定された部位を反映した内容の画像を表示部に表示させる表示制御ステップと、
    を備えることを特徴とする駐車支援方法。
15. コンピュータに、
    車両の周囲の障害物を三次元座標により示す障害物情報を取得する障害物情報取得ステップと、
    前記車両の形状を三次元座標により示す車両形状情報を取得する車両形状情報取得ステップと、
    前記障害物情報と前記車両形状情報とに基づいて、前記車両と前記障害物とで衝突する危険の有る部位を判定する衝突危険部位判定ステップと、
    衝突する危険が有ると判定された部位を反映した内容の画像を表示部に表示させる表示制御ステップと、
    を実行させるためのプログラム。

Images