JP5003395B2 - 車両周辺画像処理装置及び車両周辺状況提示方法 - Google Patents

Description

本発明は、車両周辺を撮像した画像を処理する車両周辺画像処理装置及び車両周辺状況提示方法に関する。

従来から、車両周囲を複数のカメラにより撮影し、得られた画像を座標変換して仮想視点から車両を眺めたような画像を生成して運転者に提示する車両周辺画像提供装置が知られている。このような車両周辺画像提供装置は、座標変換の基準面を地面とし、俯瞰画像を生成し、当該俯瞰画像を運転者に提示する。これによって、地面上の白線等と自車両との位置関係を運転者に客観的に認識させて、駐車運転や幅寄運転を支援している。（例えば下記の特許文献１参照）。
特開２００３−１６９３２３号公報

しかしながら、従来の車両周辺画像提供装置では、俯瞰画像を作成するための基準面を地面とするため、空中に存在する物体については俯瞰画像上において正確に表現されない。したがって、運転者にとっては、空中に存在する物体と地面に存在する白線等との区別が付き難くなってしまう。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、車両周辺の空中に存在する物体を検出して報知することができる車両周辺画像処理装置及び車両周辺状況提示方法を提供することを目的とする。

本発明は、車両周囲の状況を運転者に提供するに際して、車両周辺を撮影した車両周辺画像を撮影手段によって生成し、当該撮影手段の撮影位置の高さよりも高い水平面を基準面とし、撮影手段の撮像位置よりも高い範囲の画像を座標変換して当該基準面に投影した俯瞰画像データを作成する。そして、作成された俯瞰画像データに特徴点を設定し、自車両が移動した場合に、当該自車両の移動量と設定された特徴点の俯瞰画像データにおける変化とを求め、俯瞰画像データに設定した特徴点が、撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されているか否かを判断して、立体物が存在するか否かを運転者に報知する。特徴点が、撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されていると判断した場合に、撮影手段の撮像位置の高さと、自車両の移動量と、特徴点の俯瞰画像データにおける移動量とから、特徴点の高さを求めて、立体物の高さに応じた情報の提示を行う。特徴点が、撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されていると判断した場合に、自車両の移動量と、特徴点の俯瞰画像データにおける移動量と、特徴点と撮影手段の撮像位置との俯瞰画像データにおける距離とから、車両と立体物との実際の距離を求めて、立体物との実際の距離に応じた情報の提示を行う。

本発明によれば、自車両が移動した時に、実際の自車両の移動量と俯瞰画像データにおける特徴点の変化とを求めて、車両周辺の空中に存在する物体を検出して報知することができる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明は、例えば図１に示すように、車両周辺の画像を運転者に提供する車両周辺画像提供装置に適用される。車両周辺画像提供装置は、画像処理装置１に、カメラモジュール（撮影手段）２ａ，２ｂ，２ｃ，２ｄ（以下、総称するときには単に「カメラモジュール２」と呼ぶ。）と、車速センサ３と、操舵角センサ４と、シフト位置センサ５と、モニタ（表示手段、報知手段）６と、スピーカ（音声出力手段、報知手段）７とが接続されている。

カメラモジュール２は、車両周辺を撮影するものであり、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラが用いられる。このカメラモジュール２は、カメラモジュール２ａ，２ｂ，２ｃ，２ｄの４つからなっている。それぞれのカメラモジュール２が撮影により得られた画像データは、画像処理装置１に送信される。なお、車両を上空から眺めたような俯瞰画像（第２俯瞰画像データ）を表示させる場合にはカメラモジュール２は４つ存在することが望ましいが、後述するように一方向における空中の物体を検出するためには、少なくとも１つのカメラモジュール２が設けられていればよい。

車速センサ３は、自車両の車速を検出するものである。この車速センサ３によって検出された車速信号は、画像処理装置１に供給される。操舵角センサ４は、自車両の操舵角を検出するものである。この操舵角センサ４によって検出された操舵角信号は、画像処理装置１に供給される。シフト位置センサ５は、自車両のシフト位置（ギヤポジションの位置）を検出するものである。このシフト位置センサ５によって検出されたシフト位置信号は、画像処理装置１に供給される。

画像処理装置１は、カメラモジュール２により撮影された車両周辺の画像を処理するものである。画像処理装置１は、コンピュータによるハードウエアで構成されているが、図１においては便宜的に機能ブロック毎に分けて、説明を行っている。

この画像処理装置１は、バス状の通信ライン１０に、カメラモジュール２ａ，２ｂ，２ｃ，２ｄのそれぞれに対応した入力バッファ１１ａ，１１ｂ，１１ｃ，１１ｄ（以下、総称する場合には単に「入力バッファ１１」と呼ぶ。）と、ＣＰＵ１２と、画像処理部１３と、テーブル記憶部１４と、出力バッファ１５とが接続されて構成されている。

入力バッファ１１は、カメラモジュール２からの画像データを入力して記憶しておくものである。入力バッファ１１は、カメラモジュール２の個数に対応して設けられ、入力バッファ１１ａはカメラモジュール２ａと接続され、入力バッファ１１ｂはカメラモジュール２ｂと接続され、入力バッファ１１ｃはカメラモジュール２ｃと接続され、入力バッファ１１ｄはカメラモジュール２ｄと接続される。入力バッファ１１は、画像データを一旦格納し、ＣＰＵ１２の制御に従って、画像処理部１３による画像変換タイミングで画像データが読み出される。

出力バッファ１５は、後述する画像処理部１３によって座標変換された表示用の俯瞰画像（第２俯瞰画像データ）を記憶するものである。この出力バッファ１５は、記憶した俯瞰画像の情報をモニタ６に出力する。

モニタ６は、出力バッファ１５から出力された俯瞰画像を表示する。また、モニタ６は、後述するように画像処理部１３によって特徴点が立体物に設定されていると判断された場合、その立体物について強調表示する。また、モニタ６は、検出した車両端（カメラ取り付け位置）と空中物体の間の実距離に基づいて、俯瞰画像における立体物を強調表示しても良い。強調表示の方法としては、俯瞰画像上の物体が立体物であることを運転者に知らせる情報画像を、当該俯瞰画像に重畳して表示する。

スピーカ７は、後述の画像処理部１３によって特徴点が立体物に設定されていると判断された場合、その立体物の存在を所定の音声にて運転者に知らせる構成となっている。具体的には、スピーカ７は、「ピッ、ピッ、ピッ」といったピープ音や、「左側方に障害物があります」などの会話音で立体物の存在を運転者に知らせる。

ＣＰＵ１２は、画像処理装置１の全体を制御するものである。ＣＰＵ１２は、主として、入力バッファ１１ａ，１１ｂ，１１ｃ，１１ｄから画像データを取り出すタイミング、画像処理部１３の画像処理タイミング、出力バッファ１５から俯瞰画像をモニタ６に送信するタイミングを制御する。ＣＰＵ１２は、例えばＡＳＩＣ（Application Specific Integrated Circuit）や、ＬＳＩ（Large Scale Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）や、ＤＳＰ（Digital Signal Processor）等のデバイスから構成されている。

テーブル記憶部１４は、カメラモジュール２により撮影された車両周辺の画像データを座標変換するアドレス変換テーブルを記憶したものである。テーブル記憶部１４は、アドレス変換テーブルとして、カメラモジュール２の撮影位置の高さよりも高い水平面を基準面として画像データの座標変換をするための第１アドレス変換テーブル１４ａと、地面を基準面として画像データの座標変換をするための第２アドレス変換テーブル１４ｂとを記憶している。

画像処理部１３は、画像データを用いて座標変換を行って俯瞰画像を作成する第１画像変換部（第１の画像変換手段）１３ａ及び第２画像変換部（第２の画像変換手段）１３ｂと、座標変換された俯瞰画像に特徴点を設定する特徴点設定部（特徴点設定手段）１３ｃと、車両の移動量を検出する移動量検出部（移動量検出手段）１３ｄと、特徴点が立体物に設定されているか否かを判定する立体判断部（立体判断手段）１３ｅとを有する。

第１画像変換部１３ａは、テーブル記憶部１４に記憶された第１アドレス変換テーブル１４ａを参照して、画像データを座標変換する。この第１画像変換部１３ａは、入力バッファ１１から得た画像データのうち、カメラモジュール２の撮像位置（取付位置）よりも高い範囲の画像データを用い、カメラモジュール２の撮影位置の高さよりも高い水平面を基準面として座標変換をして、カメラモジュール２の撮像位置よりも高い立体物を検出するための第１俯瞰画像データを作成する。この第１俯瞰画像データは、カメラモジュール２の撮像位置よりも低い位置から上空の基準面を見るような俯瞰画像となる。

第２画像変換部１３ｂは、テーブル記憶部１４に記憶された第２アドレス変換テーブル１４ｂを参照して、画像データを座標変換する。この第２画像変換部１３ｂは、入力バッファ１１から得た画像データのうち、カメラモジュール２の撮像位置（取付位置）よりも低い範囲の画像データを用い、地面を基準面として座標変換をして、表示用の第２俯瞰画像データを作成する。この第２俯瞰画像データは、自車両を上空から眺めたような俯瞰画像であり、画像処理部１３によって出力バッファ１５に格納された後に、モニタ６に出力される。

特徴点設定部１３ｃは、第１画像変換部１３ａにより作成された第１俯瞰画像データに第１特徴点を設定する。また、この特徴点設定部１３ｃは、第２画像変換部１３ｂにより作成された第２俯瞰画像データにも、第２特徴点を設定する。この特徴点設定部１３ｃは、先ず、第１，第２俯瞰画像データを構成する各画素の色情報又は明るさ情報を検出して、第１，第２俯瞰画像データに含まれるエッジを検出して、当該エッジが配列したエッジ線分を検出する。次に特徴点設定部１３ｃは、検出したエッジ線分又は当該エッジ線分によって囲まれる領域内に特徴点を設定する。

移動量検出部１３ｄは、車速センサ３から出力された車速信号と、操舵角センサ４から出力された操舵角信号と、シフト位置センサ５から出力されたシフト位置信号とに基づいて、自車両の移動量を検出する。

立体判断部１３ｅは、移動量検出部１３ｄによって自車両の移動が検出された場合に、当該移動量検出部１３ｄにより検出された自車両の移動量と特徴点設定部１３ｃにより設定された第１特徴点の第１俯瞰画像データにおける変化とから、第１特徴点が、カメラモジュール２の撮影位置の高さよりも高い位置に存在する立体物に設定されているか否かを判断する。また、立体判断部１３ｅは、移動量検出部１３ｄによって自車両の移動が検出された場合に、当該移動量検出部１３ｄにより検出された自車両の移動量と特徴点設定部１３ｃにより設定された第２特徴点の第２俯瞰画像データにおける変化とから、第２特徴点が地上の立体物に設定されているか否かを判断する。

立体判断部１３ｅは、第１特徴点が複数設定されていた場合には、自車両の移動量と全ての第１特徴点の第１俯瞰画像データ上における移動量とを比較して、各第１特徴点が立体物上に設定されているか否かを判定する。また、立体判断部１３ｅは、第２特徴点が複数設定されていた場合には、自車両の移動量と全ての第２特徴点の第２俯瞰画像データ上における移動量とを比較して、各第２特徴点が立体物上に設定されているか否かを判定する。

そして、第１特徴点、第２特徴点が立体物上に存在する場合には、車両周辺画像提供装置は、当該第１特徴点、第２特徴点が設定された物体が立体物であることを運転者に報知するために、当該物体を強調表示させる画像処理や、当該物体の存在を音声通知する動作を行う。

このような第２俯瞰画像データを作成する第２画像変換部１３ｂの処理を図２を参照して説明する。なお、この第２画像変換部１３ｂの処理は、自車両の周囲に立体物が存在しない場合である。

第２画像変換部１３ｂによって俯瞰画像１０１を作成する座標変換処理は、カメラモジュール２ａによって撮影された車両前方の車両周辺画像１０２ａと、カメラモジュール２ｂによって撮影された車両後方の車両周辺画像１０２ｂと、カメラモジュール２ｃによって撮影された車両左側方の車両周辺画像１０２ｃと、カメラモジュール２ｄによって撮影された車両右側方の車両周辺画像１０２ｄとを用いる。図２に示す車両周辺画像１０２ａ〜１０２ｄ、および後述する部分画像１０４ａ〜１０４ｄには、車両周辺の地面上に引かれた白線１０３が表示されている。

第２画像変換部１３ｂは、各車両周辺画像１０２ａ〜１０２ｄを、第２アドレス変換テーブル１４ｂを参照してそれぞれ座標変換する。すなわち、第２画像変換部１３ｂは、車両前方の車両周辺画像１０２ａを座標変換して自車両前方を上空から眺めた部分画像１０４ａを生成し、車両後方の車両周辺画像１０２ｂを座標変換して自車両後方を上空から眺めた部分画像１０４ｂを生成し、車両左側方の車両周辺画像１０２ｃを座標変換して車両左側方を上空から眺めた部分画像１０４ｃを生成し、車両右側方の車両周辺画像１０２ｄを座標変換して車両右側方を上空から眺めた部分画像１０４ｄを生成する。そして、第２画像変換部１３ｂは、座標変換して得た部分画像１０４ａ〜１０４ｄを合成して、自車両周辺を上空から眺めた表示用の俯瞰画像１０１を生成する。なお、第２画像変換部１３ｂは、車両周囲と自車両との位置関係を運転者に提示するために、俯瞰画像１０１の中央部に自車両を示すマーク１０５を配置（インポーズ）する。

このように、第２画像変換部１３ｂは、カメラモジュール２によって撮影された車両周辺画像に座標変換をして俯瞰画像１０１を生成し、当該俯瞰画像１０１を出力バッファ１５に出力する。

また、第１画像変換部１３ａも、第２画像変換部１３ｂと同様に、カメラモジュール２ａ，２ｂ，２ｃ，２ｄのそれぞれによって撮影されて入力バッファ１１ａ，１１ｂ，１１ｃ，１１ｄに記憶された画像データを座標変換する。この第１画像変換部１３ａによって作成された第１俯瞰画像データは、カメラモジュール２の撮像位置よりも下方から、カメラモジュール２の撮像位置よりも高い位置の基準面を眺めた画像となる。この第１俯瞰画像データは、モニタ６には表示させずに一時的に画像処理部１３のメモリ（図示せず）に保持される。

つぎに、自車両の周囲の地上又は空中に立体物が存在する時における、カメラモジュール２の撮像位置と、立体物の位置と、俯瞰画像の状態との関係について、図３を参照して説明する。なお、図３には、その上段及び下段に、自車両３０１を表す自車両の画像３０１’と立体障害物３０３Ａ，３０３Ｂを表す画像３０３Ａ’，３０３Ｂ’との俯瞰画像上の位置関係を示している。

図３に示すように、自車両３０１の後方の地面上に高さｈの立体障害物３０３Ａが存在する場合、カメラモジュール２が、高さＨの撮像位置３０２（＝設置位置）から、当該撮像位置３０２よりも低い位置に存在する高さｈの立体障害物３０３Ａを撮像した場合を考える。この場合、カメラモジュール２の撮像ラインＬ１が立体障害物３０３Ａの上端部と交差し、カメラモジュール２の撮像ラインＬ２が立体障害物３０３Ａの接地点と交差する。このようにカメラモジュール２の撮像位置３０２から立体障害物３０３Ａを撮像した映像を、地面を基準面として座標変換して俯瞰画像を作成した場合、図３中の下段に示すように、立体障害物の画像３０３Ａ’が描画される。この俯瞰画像（第２俯瞰画像データ）には、自車両３０１から距離ａの位置Ｐ１として、立体障害物３０３Ａの接地点を表す立体障害物の画像３０３Ａ’が描画され、自車両３０１から距離ｂの位置Ｐ２として、立体障害物３０３Ａの上端部を表す立体障害物３０３の画像３０３Ａ’が描画される。

また、自車両３０１の後方の空中に高さｈの立体障害物３０３Ｂが存在する場合、カメラモジュール２が、高さＨの撮像位置３０２（＝設置位置）から、当該撮像位置３０２よりも高い位置に存在する高さｈの立体障害物３０３Ｂを撮像した場合を考える。この場合、カメラモジュール２の撮像ラインＬ１’が立体障害物３０３Ａの下端部と交差し、カメラモジュール２の撮像ラインＬ２’が立体障害物３０３Ｂの上端点と交差する。このようにカメラモジュール２の撮像位置３０２から立体障害物３０３Ｂを撮像した映像を、当該カメラモジュール２の撮像位置３０２よりも高く立体障害物３０３Ｂの上端部に接触する空中の水平基準面３０４を基準として座標変換して俯瞰画像を作成すると、図３中の上段に示すように、立体障害物の画像３０３Ｂ’が描画される。この俯瞰画像（第１俯瞰画像データ）には、自車両３０１から距離ａの位置Ｐ１として、立体障害物３０３Ｂの上端部を表す画像３０３Ｂ’が描画され、自車両３０１から距離ｂの位置Ｐ２として、立体障害物３０３Ｂの下端部を表す画像３０３Ｂ’が描画される。

このように、撮像位置３０２と、立体障害物３０３Ａ，３０３Ｂとの高さが異なり、更に、立体の高さｈという立体障害物３０３Ａ，３０３Ｂを撮像すると、俯瞰画像を作成するための基準面と接している立体障害物３０３Ａ，３０３Ｂの部分は、実際の自車両３０１からの距離ａの位置Ｐ１として描画される。しかし、基準面から離れた立体障害物３０３Ａ，３０３Ｂの部分は、実際の自車両３０１からの距離とは異なって、立体障害物３０３Ａ，３０３Ｂが倒れ込んだような形態で描画されてしまう。

したがって、この車両周辺画像提供装置は、障害物が立体物である場合には、後述する処理を行うことによって、その旨を運転者に提示する。

このように、自車両の周辺に立体物が存在する場合において、運転者に提示する俯瞰画像について説明する。運転者に提示する表示用の俯瞰画像は、図３において、地面を基準面として座標変換した俯瞰画像（第２の俯瞰画像データ）である。

自車両周囲に立体障害物及び他車両が存在する場合には、例えば図４に示すように、車両周辺画像提供装置によって表示される俯瞰画像４０１には、自車両画像４０２の周囲にある白線画像４０３、ポール画像４０４、他車両画像４０５が含まれる。ここで座標変換の基準面である地面上にある白線画像４０３は、俯瞰画像４０１上において自車両４０２と相対的に正しい位置に描画される。しかし、先に説明したように、地面である基準面から立体的に存在していて高い位置にあるポール画像４０４や他車両画像４０５、すなわち立体物画像は、俯瞰画像４０１上では地面に倒れ込んでいるかのように描画される。そのため、運転者は、俯瞰画像４０１を見ても、自車両から立体物までの距離感がつかみづらいと感じてしまう。また、立体物が地面上のもののように見えてしまうため、実際に地面上にある白線等との区別がつきづらく感じてしまう。

そこで、車両周辺画像提供装置は、画像処理部１３の特徴点設定部１３ｃ、移動量検出部１３ｄ及び立体判断部１３ｅによって、第２俯瞰画像データに含まれる物体が立体物か否かを判定する。

図４に示す俯瞰画像４０１に対して、特徴点設定部１３ｃによってエッジ検出する処理を施すと、図５に示すようなエッジ画像５０１を得ることができる。このエッジ画像５０１には、自車両画像５０２の周辺に、白線画像４０３から得られた白線エッジ５０３、ポール画像４０４から得られたポールエッジ５０４、他車両画像４０５から得られた他車両エッジ５０５を検出することができる。そして、特徴点設定部１３ｃは、エッジ線分上又はエッジ線分によって囲まれる領域内に特徴点を設定する。すなわち、特徴点設定部１３ｃは、白線エッジ５０３、ポールエッジ５０４、他車両エッジ５０５の縁部分または内側に特徴点を設定する。なお、特徴点設定部１３ｃは、特徴点を１つだけでなく複数設定することで、立体物である可能性がある部分のすべてに対して特徴点を設定することが望ましい。

そして、画像処理部１３は、立体判断部１３ｅによって、第２俯瞰画像データ上に設定された特徴点が立体物上に設定されているか否かを判断する。移動量検出部１３ｄは、自車両が移動した場合に、特徴点設定部１３ｃにより設定された特徴点の第２俯瞰画像データにおける移動量の変化を求める。そして、立体判断部１３ｅは、この移動量と、移動量検出機能により検出された自車両の移動量とを比較して、特徴点が立体物上に設定されているか否かを判断する。

このときの立体判断部１３ｅの動作について図６乃至図８を参照して説明する。なお、図６乃至図８には、その下段に、自車両３０１を表す自車両の画像３０１’と立体障害物３０３を表す画像３０３’との俯瞰画像上の位置関係を図示している。

図６は、時刻ｔがｔ０である時の自車両３０１と立体障害物３０３Ａとの関係を示し、図７は、時刻ｔがｔ１（＞ｔ０）である時の自車両３０１と立体障害物３０３Ａとの関係を示し、図８は、時刻ｔ＝ｔ０〜ｔ＝ｔ１への変化を示す図である。

図６に示すような時刻ｔ＝ｔ０の状況において、自車両３０１の後方の地面上から高さｈの立体障害物３０３（ｔ０）が存在し、カメラモジュール２は、高さＨの撮像位置３０２（＝設置位置）から、当該撮像位置３０２よりも低い位置に存在する立体障害物３０３（ｔ０）を撮像する。この場合、カメラモジュール２の撮像ラインＬ１（ｔ０）が立体障害物３０３（ｔ０）の上端部（高さｈ）と交差し、カメラモジュール２の撮像ラインＬ２（ｔ０）が立体障害物３０３（ｔ０）の下端部と交差する。このようにカメラモジュール２の撮像位置３０２から立体障害物３０３（ｔ０）を撮像した映像を、地面を基準面として座標変換して俯瞰画像を作成すると、図６中の下段に示すように、立体障害物の画像３０３’（ｔ０）が描画される。この俯瞰画像（第２俯瞰画像データ）には、実際距離Ｒ（ｔ０）よりも遠い距離Ｎの位置Ｐ１として立体障害物３０３（ｔ０）の下端部が描画され、位置Ｐ２として立体障害物３０３（ｔ０）の上端部が描画される物体映像３０３’（ｔ０）が描画される。

この後に時刻ｔ＝ｔ１となった時に、図７に示すように、時刻ｔ＝ｔ０よりも、自車両３０１が後退して立体障害物３０３（ｔ１）との実際距離がＲ（ｔ１）まで接近した場合、俯瞰画像には、実際距離Ｒ（ｔ１）よりも遠い距離Ｍの位置Ｐ１として立体障害物３０３（ｔ１）の下端部が描画され、位置Ｐ２として立体障害物３０３（ｔ１）の上端部が描画される物体映像３０３’（ｔ１）が描画される。

図８に示すように、時刻ｔ０〜ｔ１に亘る自車両３０１の移動距離Ｓと俯瞰画像上での空中の立体障害物３０３の移動距離Ｌ（＝Ｎ−Ｍ）とを比較すると、実際の移動距離Ｓよりも俯瞰画像上での移動距離Ｌの方が長くなり、実際の移動量と俯瞰画像上での移動量とに相違が発生している。これは、地面上の物体は自車両３０１の移動量分だけ移動するが、俯瞰画像の原理上、空中の立体障害物３０３の下端部の俯瞰画像上での位置は、自車両３０１の実際の移動量よりも、大きく移動してしまう。

したがって、立体判断部１３ｅは、図８に示すように、自車両３０１の実際の移動量よりも、俯瞰画像上に設定した特徴点の移動量が大きいか否かに基づいて、特徴点が空中に設定されているか否かが判断でき、すなわち、特徴点が立体物に設定されているか否かを判断することができる。

立体判断部１３ｅは、特徴点が立体物に設定されていると判断した場合、予め記憶しておいたカメラモジュール２の撮像位置Ｈ、移動量検出部１３ｄによって求められた移動距離Ｓ及び俯瞰画像における特徴点の移動距離Ｌを用いて、下記の式の演算を行うことによって、特徴点を含む立体障害物３０３の高さｈを求める。

ｈ＝Ｈ（１−Ｓ／Ｌ）
また、立体判断部１３ｅは、実際の移動距離Ｓ、俯瞰画像における移動後の立体障害物３０３（ｔ１）までの距離Ｍ及び俯瞰画像における特徴点の移動距離Ｌを用いて、下記の式の演算を行うことによって、自車両３０１の後端（カメラモジュール２の撮像位置）と空中の立体障害物３０３との間の実際の距離Ｒを求める。

Ｒ＝Ｓ×Ｍ／Ｌ
なお、上記のようにカメラモジュール２の撮像位置と立体障害物３０３の下端部との実際の距離Ｒを求めたが、立体障害物３０３の上端部であっても同様に距離を求めることができる。

以上のように、この車両周辺画像提供装置によれば、基準面を地面として作成された俯瞰画像に含まれる物体が立体物であることを検出することができる。

また、図３を参照して説明したように、車両周辺画像提供装置は、カメラモジュール２の撮影位置の高さよりも高い水平面を基準面とし、カメラモジュール２の撮像位置よりも高い範囲の部分画像６０３を座標変換して、当該基準面に投影した第１俯瞰画像データを作成する。この車両周辺画像提供装置は、例えば、カメラモジュール２によって図９に示すような地上の部分画像６０２と空中の部分画像６０３とを含む画像データ６０１を撮像した場合に、空中の部分画像６０３を用いて、第２俯瞰画像データを作成する。この空中の部分画像６０３は、カメラモジュール２の撮像位置、カメラモジュール２の撮像方向（取付向き）、及びディストーション（歪曲収差）データに基づいて予めカメラモジュール２が撮像する画像データのうちの所定の範囲であることが決定されている。したがって、第１画像変換部１３ａは、入力バッファ１１から取り出した画像データのうち所定の範囲の画像データを取り出すことによって、空中の部分画像６０３を得ることができる。

例えば自車両が車庫などの屋根付きの駐車場に進入した場合、空中の部分画像６０３には、屋根などの障害物が含まれ、第２俯瞰画像データには、空中の障害物が描画されることになる。そして、車両周辺画像提供装置は、第２俯瞰画像データに対してエッジ検出処理を行い、エッジ線分上又はエッジ線分に囲まれる領域内に特徴点（第２の特徴点）を設定して、自車両の移動量と第２俯瞰画像データにおける特徴点の変化とから、当該特徴点が空中の立体物に設定されているかを判断する。

つぎに、図６乃至図８を参照して説明したように、時刻ｔ＝ｔ０〜ｔ＝ｔ１に亘って自車両３０１が空中の立体障害物３０３に向けて後退移動した時の俯瞰画像の変化を、図１０乃至図１２を参照して説明する。

図１０乃至図１２に示すように、空中の水平基準面７０４は、カメラモジュール２の撮像位置７０２から高さＨだけ高い位置に設定される。そして、この車両周辺画像提供装置は、カメラモジュール２の撮影位置の高さよりも高い位置から空中の水平基準面７０４よりも低い位置の範囲に存在する立体障害物７０３を検出する。

図１０に示すような時刻ｔ＝ｔ０の状況において、自車両７０１の後方の地面上から高さｈ’だけ上方且つ空中の水平基準面７０４から高さｈだけ下方に立体障害物７０３（ｔ１）が存在する場合、カメラモジュール２は、撮像位置４０２（＝設置位置）から、当該撮像位置７０２よりも高い範囲に存在する立体障害物７０３を撮像する。この場合、カメラモジュール２の撮像ラインＬ１（ｔ０）が立体障害物７０３（ｔ０）の下端部と交差し、カメラモジュール２の撮像ラインＬ２（ｔ０）が立体障害物７０３（ｔ０）の上端部と交差する。このようにカメラモジュール２の撮像位置７０２から立体障害物７０３（ｔ０）を撮像した映像を、空中の水平基準面７０４を基準として座標変換して俯瞰画像を作成すると、俯瞰画像には、図１０中の上段に示すような立体障害物の画像７０３’が含まれる。この俯瞰画像（第１俯瞰画像データ）には、実際距離Ｒ（ｔ０）よりも遠い距離Ｎの位置Ｐ２として立体障害物７０３（ｔ０）の上端部が描画され、位置Ｐ１として立体障害物７０３（ｔ０）の下端部が描画される物体映像７０３’（ｔ０）が描画される。

この後に時刻ｔ＝ｔ１となった時に、図１１に示すように、時刻ｔ＝ｔ０よりも、自車両７０１が後退して立体障害物７０３（ｔ１）との実際距離がＲ（ｔ１）まで接近した場合、俯瞰画像には、実際距離Ｒ（ｔ１）よりも遠い距離Ｍの位置Ｐ１として立体障害物７０３（ｔ１）の上端部が描画され、位置Ｐ２として立体障害物７０３（ｔ１）の下端部が描画される物体映像７０３’（ｔ１）が描画される。

図１０乃至図１２の説明においては、空中の立体障害物７０３の上端を第１特徴点として計算を行ったが、立体障害物７０３の下端に第１特徴点を設定して、距離Ｒを計測しても良い。

図１２に示すように、自車両７０１の移動距離Ｓと俯瞰画像上での空中の立体障害物７０３の移動距離Ｌ（＝Ｎ−Ｍ）とを比較すると、実際の移動距離Ｓよりも俯瞰画像上での移動距離Ｌの方が長くなり、実際の移動量と俯瞰画像上での移動量とに相違が発生している。これは、地面上の物体は自車両７０１の移動量分だけ移動するが、俯瞰画像の原理上、空中の立体障害物７０３の上端部の俯瞰画像上での位置は、自車両７０１の実際の移動量よりも、大きく移動してしまう。

したがって、立体判断部１３ｅは、図１２に示すように、自車両７０１の実際の移動量よりも、俯瞰画像上に設定した特徴点の移動量が大きいか否かに基づいて、特徴点が空中の水平基準面７０４よりも下方に設定されているか否かが判断でき、すなわち、特徴点が立体物に設定されているか否かを判断することができる。

このとき、立体判断部１３ｅは、地面を基準面として場合と同様に、空中の水平基準面７０４とカメラモジュール２の撮像位置との高さ（＝Ｈ）、移動量検出部１３ｄによって求められた移動距離Ｓ及び俯瞰画像における特徴点の移動距離Ｌを用いて、下記の式の演算を行うことによって、特徴点を含む立体障害物７０３の地面からの高さｈ’を求めることができる。

ｈ’＝２Ｈ−Ｈ（１−Ｓ／Ｌ）＝Ｈ（１＋Ｓ／Ｌ）
なお、空中の水平基準面７０４をカメラモジュール２の撮像位置７０２から高さＨに設定していなく、カメラモジュール２の撮像位置７０２から高さＨ’に設定している場合には、立体障害物７０３の地面からの高さｈ’は、
ｈ’＝（Ｈ＋Ｈ’）−Ｈ（１−Ｓ／Ｌ）＝Ｈ’（１＋Ｓ／Ｌ）
となる。したがって、例えば、自車両７０１が後退した時に自車両７０１が衝突する可能性がある立体障害物７０３を検出したい場合には、白線画像７０３の高さＨ’を、自車両７０１の高さに余裕代を加算した程度の、自車両の高さと略同じような地面からの高さ（Ｈ＋Ｈ’）に設定する。

また、立体判断部１３ｅは、実際の移動距離Ｓ、俯瞰画像における移動後の立体障害物７０３（ｔ１）までの距離Ｍ及び俯瞰画像における特徴点の移動距離Ｌを用いて、下記の式の演算を行うことによって、自車両７０１の後端（カメラモジュール２の撮像位置）と空中の立体障害物７０３との間の実際の距離Ｒを求める。

Ｒ＝Ｓ×Ｍ／Ｌ
以上のように、この車両周辺画像提供装置によれば、図１３（ａ）に示すように、カメラモジュール２の撮像位置８０２を含む水平面よりも下方の範囲８１０において地面から立体的に存在する立体障害物８０３Ａについては、第２画像変換部１３ｂによって第２俯瞰画像データを作成して、特徴点設定部１３ｃ、移動量検出部１３ｄ及び立体判断部１３ｅによって検出できる。しかし、カメラモジュール２の撮像位置３０２を上回る高さ部分８０３ａを有する立体障害物８０３Ｂについては、当該高さ部分８０３ａまでを検出することはできない。そこで、この車両周辺画像提供装置によれば、図１３（ｂ）に示すように、カメラモジュール２の撮像位置８０２を含む水平面よりも高い範囲８１１に存在する立体障害物８０３Ｂがある場合であっても、第１画像変換部１３ａによって第１俯瞰画像データを作成して、特徴点設定部１３ｃ、移動量検出部１３ｄ及び立体判断部１３ｅによって、立体障害物８０３Ｂの全体を検出することができる。

また、この車両周辺画像提供装置は、図１０乃至図１２に示したように、空中の水平基準面７０４の高さを、カメラモジュール２の撮像位置７０２の高さＨの２倍としたので、自車両７０１から立体障害物７０３までの距離Ｒを計測するための換算式（Ｒ＝Ｓ×Ｍ／Ｌ）を、地面上の立体障害物７０３までの距離Ｒを計測するための換算式（Ｒ＝Ｓ×Ｍ／Ｌ）と共通化することができる。

つぎに、上述したように構成された車両周辺画像提供装置によって、自車両周辺に存在する立体物を検出する処理手順について、図１４のフローチャートを参照して説明する。なお、図１４に示す処理は、カメラモジュール２によって撮影した画像から表示用の俯瞰画像を作成して出力バッファ１５に記憶させた時点で開始するものとする。

まず、ステップＳ１においては、画像処理装置１によって、車速センサ３から出力された車速信号に基づいて、自車両が移動したか否かを判断する。自車両が移動していないと判断した場合には、移動したと判断するまでこの処理を繰り返す。一方、自車両が移動したと判断した場合には、ステップＳ２に処理を進める。

次のステップＳ２においては、画像処理部１３の移動量検出部１３ｄによって、自車両の挙動をモニタする。このとき、移動量検出部１３ｄは、自車両の移動量及び移動方向を随時検出する。この処理において、画像処理部１３は、例えば「車両が前方にｓ〔ｍｍ〕移動」といった情報を検出することができる。

次のステップＳ３においては、第１画像変換部１３ａによって第１俯瞰画像データを作成すると共に、第２画像変換部１３ｂによって第２俯瞰画像データを作成する。このとき、画像処理部１３は、カメラモジュール２ａ，２ｂ，２ｃ，２ｄによって撮像された各方向の画像データを入力バッファ１１ａ，１１ｂ，１１ｃ，１１ｄから取り出して、第１画像変換部１３ａによって空中の水平基準面を基準とした座標変換を行い、第２画像変換部１３ｂによって地面を基準とした座標変換を行う。第２画像変換部１３ｂによって作成された第２俯瞰画像データは、出力バッファ１５に一旦格納された後に、モニタ６に表示されることとなる。

次のステップＳ４においては、画像処理部１３によって、ステップＳ３にて作成された第１俯瞰画像データ、第２俯瞰画像データに対してエッジ検出を行う。エッジ検出処理は、第１俯瞰画像データ、第２俯瞰画像データ上において隣り合う画素同士の色信号（ＲＧＢ）、色差信号（Ｃｂ，Ｃｒ）または輝度信号（Ｙ）を比較して、所定値以上の差分がある場合に当該画素間をエッジであると判定する。なお、例えば、図１３に示したように、カメラモジュール２の撮像位置８０２よりも高い物体が存在しない場合など、画像データのうちの空中の部分画像に立体物が存在しない場合には、第１特徴点は設定されない。

そして、画像処理装置１は、エッジ検出の結果をもとに、特徴点設定部１３ｃによって、第１俯瞰画像データには第１特徴点を設定すると共に第２俯瞰画像データには第２特徴点を設定する。

次のステップＳ５においては、立体判断部１３ｅによって、移動量検出部１３ｄによって検出された自車両の移動と、ステップＳ４に検出したエッジに基づいて設定した第１特徴点、第２特徴点との移動とが合致しているか否かを判定する。ここで、自車両の移動とエッジに基づいて設定した第２特徴点の移動とが合致していると判断した場合には、第２特徴点が立体物ではない地面に設定されていると判定する。また、自車両の移動と第２特徴点の移動とが合致していない場合には、地面上の立体物に第２特徴点が設定されていると判定してステップＳ６に処理を進める。更に、自車両の移動と第１特徴点の移動とが合致していない場合には、カメラモジュール２の撮像位置よりも上方に存在する障害物が存在するために、ステップＳ６に処理を進める。

より具体的に説明すると、例えば車両が俯瞰画像上に換算して３画素分に相当する距離だけ前進した場合に、上記白線等のラインに設定された特徴点は、自車両の移動量と同様に３画素分に相当する距離だけ移動する。これに対し、別の特徴点が６画素分に相当する距離だけ移動した場合、立体判断部１３ｅは、当該特徴点が設定されている物体が白線等ではなく立体物であると判断する。さらに、画像処理装置１は、第２特徴点が設定された立体物の高さｈ、及び車両端（カメラモジュール２の撮像位置）から該立体物までの距離Ｒ、第１特徴点が設定された立体物の高さｈ及び車両端（カメラモジュール２の撮像位置）から該立体物までの距離Ｒを計算する。

次のステップＳ６においては、画像処理部１３によって、ステップＳ５にて立体物と判定された第２俯瞰画像データ内の立体物画像を強調する情報画像を、当該第２俯瞰画像データに重畳する。このとき、画像処理部１３は、検出された立体物の高さｈ又はｈ’及び立体物までの距離Ｒに応じた強調表示をしても良い。例えば、モニタ６によって、自車両が接触するような高さであるほど、又は、自車両との距離が近いほど運転者に強調する強調表示を行わせる。また、車両周辺画像提供装置は、スピーカ７によって、立体物の存在を所定の音声にて運転者に通知する。

なお、カメラモジュール２の撮像位置よりも下方の立体物については、モニタ６に表示させている第２俯瞰画像データに含まれているが、カメラモジュール２の撮像位置よりも高い位置に存在する立体物については第２俯瞰画像データに含まれていない場合がある。この場合、画像処理装置１は、第１俯瞰画像データから検出された立体物の自車両に対する相対位置などを第２俯瞰画像データによって強調表示しても良い。

その後、車両周辺画像提供装置は、自車両のイグニッションスイッチがオフされたか否かを判断し、イグニッションスイッチがオフされていないと判断した場合には、ステップＳ１に移行し、イグニッションスイッチがオフされたと判断した場合には、処理を終了する。

以上詳細に説明したように、本発明を適用した車両周辺画像提供装置によれば、カメラモジュール２の撮影位置の高さよりも高い水平面を基準面として座標変換した第２俯瞰画像データを作成して当該第１俯瞰画像データに第１特徴点を設定し、自車両の移動量と第１特徴点の第１俯瞰画像データにおける変化とから、第１の特徴点が、カメラモジュール２の撮像位置よりも高い空中の立体物に設定されているか否かを判断することができる。したがって、この車両周辺画像提供装置によれば、カメラモジュール２の撮像位置よりも高い位置に存在する立体物の有無を判定できる。

また、この車両周辺画像提供装置によれば、自車両の移動量と第１特徴点の第１の俯瞰画像データにおける移動量とから、第１特徴点が、カメラモジュール２の撮像位置よりも高い空中の立体物に設定されているか否かを判断するので、実際の自車両の移動量と、俯瞰画像内における立体物の移動量との差異から、第１特徴点が立体物に設定されているかを判定できる。

更に、この車両周辺画像提供装置によれば、第１特徴点が、カメラモジュール２の撮像位置よりも高い空中の立体物に設定されていると判断した場合に、カメラモジュール２の撮像位置の高さと、自車両の移動量と、第１特徴点の第１俯瞰画像データにおける移動量とから、第１特徴点の高さを求めることができるので、立体物の高さに応じた表示又は音声出力を行うことができる。

更にまた、この車両周辺画像提供装置によれば、第１特徴点が、カメラモジュール２の撮像位置よりも高い空中の立体物に設定されていると判断した場合に、自車両の移動量と、第１特徴点の第１俯瞰画像データにおける移動量と、第１特徴点とカメラモジュール２の撮像位置との第１俯瞰画像データにおける距離とから、車両と立体物との実際の距離を求めることができるので、当該実際の距離に応じて立体物を報知する表示又は音声出力を行うことができる。

更にまた、この車両周辺画像提供装置によれば、空中の水平基準面７０４の高さを自車両の高さと略同じに設定して第１俯瞰画像データを作成するので、カメラモジュール２の撮像位置から空中の水平基準面７０４までに存在する立体物の有無を判定して、自車両が接触する可能性のある立体物が存在することを報知できる。

更にまた、この車両周辺画像提供装置によれば、地面を基準面として座標変換した第２俯瞰画像データによって車両周囲に表示を行い、且つ地面上に立体物が存在することを判定できるので、当該地面を基準面とした第２俯瞰画像データにおける立体物が座標変換によって倒れ込んだ形態として表示されていることを表示することができる。また、この車両周辺画像提供装置によれば、地面からカメラモジュール２の撮像位置までの高さの範囲及びカメラモジュール２の撮像位置から空中の水平基準面７０４までの高さの範囲といった広い範囲において立体物の有無を判定できる。

更にまた、この車両周辺画像提供装置によれば、空中の水平基準面７０４をカメラモジュール２の撮像位置の２倍の高さにして、第１俯瞰画像データを作成するので、地面上の物体と自車両との距離を求める演算と同じ演算によってカメラモジュール２の撮像位置よりも高い位置に存在する立体物と自車両との距離を求めることができ、処理負荷を低減できる。

更にまた、この車両周辺画像提供装置によれば、第１，第２俯瞰画像データ上の各画素の色情報または明るさ情報から俯瞰画像データ内のエッジ線分を検出し、検出したエッジ線分上または検出したエッジ線分によって囲まれる領域内に第１，第２特徴点を設定するので、地面に描かれる白線等のラインや立体物の縁または内側に第１，第２特徴点を設定することとなる。従って、立体物である可能性がある箇所に第１，第２特徴点を確実に設定することができる。

更にまた、この車両周辺画像提供装置によれば、第１俯瞰画像データから立体物の存在を判定した場合には、当該立体物について強調表示するため、立体物を分かりやすく運転者に提示できる。また、表示している第２俯瞰画像データに第１俯瞰画像データの立体物が表示されていない場合であっても、第１俯瞰画像データの立体物を運転者に対して分かり易く通知することができる。

更にまた、この車両周辺画像提供装置によれば、第１特徴点又は第２特徴点が立体物に設定されていると判断された場合に、その立体物の存在を所定の音声にて運転者に知らせるので、モニタ６を運転者が見ていなくても、立体物の存在を運転者に提示できる。また、表示している第２俯瞰画像データに第１俯瞰画像データの立体物が表示されていない場合であっても、第１俯瞰画像データの立体物を運転者に対して分かり易く通知することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明を適用した車両周辺画像提供装置の構成を示すブロック図である。 本発明を適用した車両周辺画像提供装置の座標変換によって得られる俯瞰画像の一例を示す図である。 本発明を適用した車両周辺画像提供装置によって地面上の立体物、空中の立体物を撮影した時の俯瞰画像データについて説明する図である。 本発明を適用した車両周辺画像提供装置によって作成された第２俯瞰画像データを示す図である。 本発明を適用した車両周辺画像提供装置によって作成された第２俯瞰画像データに対してエッジ検出処理を施した後の画像を示す図である。 本発明を適用した車両周辺画像提供装置において、地面上の立体物を撮影した時の俯瞰画像データについて説明する図である。 本発明を適用した車両周辺画像提供装置において、自車両が地面上の立体物に近づいた時の俯瞰画像データについて説明する他の図である。 本発明を適用した車両周辺画像提供装置において、自車両が地面上の立体物に対して移動した時の処理について説明する図である。 本発明を適用した車両周辺画像提供装置によって撮影される画像データを示す図である。 本発明を適用した車両周辺画像提供装置において、空中の立体物を撮影した時の俯瞰画像データについて説明する図である。 本発明を適用した車両周辺画像提供装置において、空中の立体物に近づいた時の俯瞰画像データについて説明する図である。 本発明を適用した車両周辺画像提供装置において、自車両が空中の立体物に対して移動した時の処理について説明する図である。 本発明を適用した車両周辺画像提供装置において、（ａ）はカメラモジュールの撮像位置よりも下方の立体物が検出できることの説明図であり、（ｂ）はカメラモジュールの撮像位置下方及び上方の立体物が検出できることの説明図である。 本発明を適用した車両周辺画像提供装置において、自車両周辺に存在する立体物を検出する処理手順を示すフローチャートである。

符号の説明

１ 画像処理装置
２ａ，２ｂ，２ｃ，２ｄ カメラモジュール
３ 車速センサ
４ 操舵角センサ
５ シフト位置センサ
６ モニタ
７ スピーカ
１０ 通信ライン
１１ａ，１１ｂ，１１ｃ，１１ｄ 入力バッファ
１２ ＣＰＵ
１３ 画像処理部
１３ａ 第１画像変換部
１３ｂ 第２画像変換部
１３ｃ 特徴点設定部
１３ｄ 移動量検出部
１３ｅ 立体判断部
１４ テーブル記憶部
１４ａ 第１アドレス変換テーブル
１４ｂ 第２アドレス変換テーブル
１５ 出力バッファ
１０１ 俯瞰画像
１０２ａ〜１０２ｄ 車両周辺画像
１０３ 白線
１０４ａ〜１０４ｄ 部分画像
１０５ 自車両マーク
３０１，７０１，８０１ 自車両
３０２，７０２，８０２ 撮像位置
３０３，７０３，８０３ 立体障害物
３０４，７０４ 水平基準面
４０１ 俯瞰画像
４０２ 自車両画像
４０３ 白線画像
４０４ ポール画像
４０５ 他車両画像
５０１ エッジ画像
５０２ 自車両画像
５０３ 白線エッジ
５０４ ポールエッジ
５０５ 他車両エッジ
６０１ 画像データ
６０２ 地上の部分画像
６０３ 空中の部分画像

Claims (11)

1. 車両周辺を撮影する撮影手段と、
   前記撮影手段の撮影位置の高さよりも高い水平面を基準面とし、前記撮影手段の撮像位置よりも高い範囲の画像を座標変換して当該基準面に投影した第１の俯瞰画像データを作成する第１の画像変換手段と、
   前記第１の画像変換手段により作成された第１の俯瞰画像データに第１の特徴点を設定する第１の特徴点設定手段と、
   自車両の移動量を検出する移動量検出手段と、
   自車両が移動した場合に、前記移動量検出手段により検出された自車両の移動量と前記第１の特徴点設定手段により設定された第１の特徴点の第１の俯瞰画像データにおける変化とから、前記第１の特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されているか否かを判断する立体判断手段と、
   前記立体判断手段により、前記第１の特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されていると判断された場合に、報知を行う報知手段とを備え、
   前記立体判断手段は、前記第１の特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されていると判断した場合に、前記撮影手段の撮像位置の高さと、前記移動量検出手段により検出された自車両の移動量と、前記第１の特徴点設定手段により設定された第１の特徴点の第１の俯瞰画像データにおける移動量とから、前記第１の特徴点の高さを求めることを特徴とする車両周辺画像処理装置。
2. 車両周辺を撮影する撮影手段と、
   前記撮影手段の撮影位置の高さよりも高い水平面を基準面とし、前記撮影手段の撮像位置よりも高い範囲の画像を座標変換して当該基準面に投影した第１の俯瞰画像データを作成する第１の画像変換手段と、
   前記第１の画像変換手段により作成された第１の俯瞰画像データに第１の特徴点を設定する第１の特徴点設定手段と、
   自車両の移動量を検出する移動量検出手段と、
   自車両が移動した場合に、前記移動量検出手段により検出された自車両の移動量と前記第１の特徴点設定手段により設定された第１の特徴点の第１の俯瞰画像データにおける変化とから、前記第１の特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されているか否かを判断する立体判断手段と、
   前記立体判断手段により、前記第１の特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されていると判断された場合に、報知を行う報知手段とを備え、
   前記立体判断手段は、前記第１の特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されていると判断した場合に、前記移動量検出手段により検出された自車両の移動量と、前記第１の特徴点設定手段により設定された第１の特徴点の第１の俯瞰画像データにおける移動量と、前記第１の特徴点設定手段により設定された第１の特徴点と前記撮影手段の撮像位置との第１の俯瞰画像データにおける距離とから、前記車両と前記立体物との実際の距離を求めることを特徴とする車両周辺画像処理装置。
3. 前記立体判断手段は、前記移動量検出手段により検出された自車両の移動量と前記第１の特徴点設定手段により設定された第１の特徴点の第１の俯瞰画像データにおける移動量とから、前記第１の特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されているか否かを判断することを特徴とする請求項１又は請求項２に記載の車両周辺画像処理装置。
4. 前記第１の画像変換手段は、前記基準面の高さを、前記車両の高さと略同じに設定して、前記第１の俯瞰画像データを作成することを特徴とする請求項１乃至請求項３の何れか一項に記載の車両周辺画像処理装置。
5. 地面を基準面として前記撮影手段により撮影された画像を座標変換した第２の俯瞰画像データを作成する第２の画像変換手段を更に備え、
   前記特徴点設定手段は、前記第２の画像変換手段により作成された第２の俯瞰画像データに第２の特徴点を設定し、
   前記立体判断手段は、自車両が移動した場合に、前記移動量検出手段により検出された自車両の移動量と前記第２の特徴点の第２の俯瞰画像データにおける変化とから、前記第２の特徴点が地面上の立体物に設定されているか否かを判断することを特徴とする請求項１乃至請求項４の何れか一項に記載の車両周辺画像処理装置。
6. 前記第１の画像変換手段は、前記基準面の高さを、前記撮影手段の撮像位置の２倍の高さにして、前記第１の俯瞰画像データを作成することを特徴とする請求項５に記載の車両周辺画像処理装置。
7. 前記特徴点設定手段は、前記第１の俯瞰画像データ又は前記第２の俯瞰画像データ上の各画素の色情報又は明るさ情報を参照して前記第１の俯瞰画像データ又は前記第２の俯瞰画像データ内のエッジ線分を検出し、検出したエッジ線分上又は検出したエッジ線分によって囲まれる領域内に前記第１の特徴点又は前記第２の特徴点を設定することを特徴とする請求項１乃至請求項６の何れか一項に記載の車両周辺画像処理装置。
8. 前記第２の画像変換手段によって座標変換して得られた第２の俯瞰画像データを表示する表示手段をさらに備え、
   前記表示手段は、前記立体判断手段により前記第１の特徴点又は前記第２の特徴点が立体物に設定されていると判断された場合に、当該立体物を強調表示することを特徴とする請求項５乃至請求項７の何れか１項に記載の車両周辺画像処理装置。
9. 前記報知手段は、所定の音声にて運転者に知らせる音声出力手段をさらに備えることを特徴とする請求項１乃至請求項７の何れか１項に記載の車両周辺画像処理装置。
10. 車両周辺を撮影した車両周辺画像を撮影手段によって生成し、当該撮影手段の撮影位置の高さよりも高い水平面を基準面とし、前記撮影手段の撮像位置よりも高い範囲の画像を座標変換して当該基準面に投影した俯瞰画像データを作成し、前記作成された俯瞰画像データに特徴点を設定し、
    自車両が移動した場合に、当該自車両の移動量と前記設定された徴点の俯瞰画像データにおける変化とから、前記特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されているか否かを判断して、立体物が存在するか否かを運転者に提供し、
    前記特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されていると判断した場合に、前記撮影手段の撮像位置の高さと、前記自車両の移動量と、前記特徴点の俯瞰画像データにおける移動量とから、前記特徴点の高さを求めて、立体物の高さに応じた情報の提示を行うこと
    を特徴とする車両周辺状況提示方法。
11. 車両周辺を撮影した車両周辺画像を撮影手段によって生成し、当該撮影手段の撮影位置の高さよりも高い水平面を基準面とし、前記撮影手段の撮像位置よりも高い範囲の画像を座標変換して当該基準面に投影した俯瞰画像データを作成し、前記作成された俯瞰画像データに特徴点を設定し、
    自車両が移動した場合に、当該自車両の移動量と前記設定された特徴点の俯瞰画像データにおける変化とから、前記特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されているか否かを判断して、立体物が存在するか否かを運転者に提供し、
    前記特徴点が、前記撮影手段の撮影位置の高さよりも高い位置に存在する立体物に設定されていると判断した場合に、前記自車両の移動量と、前記特徴点の俯瞰画像データにおける移動量と、前記特徴点と前記撮影手段の撮像位置との俯瞰画像データにおける距離とから、前記車両と前記立体物との実際の距離を求めて、立体物との実際の距離に応じた情報の提示を行うこと
    を特徴とする車両周辺状況提示方法。

Images