JP2009188635A - 車両周辺画像処理装置及び車両周辺状況提示方法 - Google Patents

Abstract

【課題】 車両周辺に存在する立体物の状態を識別して当該立体物までの正確な距離を提示する。
【解決手段】 車両周辺を撮影する複数のカメラモジュール１２と、各カメラモジュール１２により撮像された画像を地面に投影した座標変換画像を合成して俯瞰画像を作成する画像変換部２３ａと、俯瞰画像に含まれる座標変換画像の境界線を跨いだ物体画像の状態に基づいて、車両周辺に存在する立体物の状態を識別する立体物識別部２３ｂと、立体物の状態に基づいて、当該車両から立体物までの距離を演算する距離計算部２３ｃと、車両から立体物までの距離に基づいて加工した俯瞰画像を表示する表示加工部２３ｄとを備える。
【選択図】 図２

Description

本発明は、車両周辺を撮像した画像を処理する車両周辺画像処理装置及び車両周辺状況提示方法に関する。

従来から、車両周囲を複数のカメラにより撮影し、得られた画像を座標変換して仮想視点から車両を眺めたような画像を生成して運転者に提示する車両周辺画像提供装置が知られている。このような車両周辺画像提供装置は、座標変換の基準面を地面として俯瞰画像を生成し、当該俯瞰画像を運転者に提示する。これによって、地面上の白線等と自車両との位置関係を運転者に客観的に認識させて、駐車運転や幅寄運転を支援している。（例えば下記の特許文献１参照）。

この特許文献１に記載された技術は、運転状況に応じた最適な運転支援情報を俯瞰画像に加えて表示している。具体的には、車両の移動に伴って得られる俯瞰画像の差分に基づいて立体物を識別して、当該立体物に関する情報を表示している。
特開２００６−２５３８７２号公報

しかしながら、上述したように俯瞰画像を作成する差異には、路面上に各物体が配置されているものとして座標変換の基準面を地面としているために、路面よりも高い位置にある物体は、カメラ位置と当該物体とを結ぶ直線を路面まで延長した位置に存在するものとして描画されてしまう。このため、空中に存在する物体は、画面上において実際の位置よりも遠くにあるように表示が行われる。したがって、上述した特許文献１に記載されているように車両の移動に伴う俯瞰画像の差分を用いても、物体の位置が正確に表示されないという問題がある。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、車両周辺に存在する立体物の状態を識別して当該立体物までの正確な距離を提示することができる車両周辺画像処理装置及び車両周辺状況提示方法を提供することを目的とする。

本発明では、車両周辺を撮影した画像を地面に投影した座標変換画像を合成した俯瞰画像に含まれる座標変換画像の境界線を跨いだ物体画像の状態に基づいて、車両周辺に存在する立体物の状態を識別し、識別された立体物の状態に基づいて演算した当該車両から立体物までの距離に基づいて加工した俯瞰画像を表示することにより、上述の課題を解決する。

本発明によれば、車両周辺に存在する立体物の状態を識別することができるので、路面よりも高い位置にある物体が存在する場合でも当該立体物までの正確な距離を提示することができる。

以下、本発明の実施の形態について図面を参照して説明する。

［第１実施形態］
本発明は、例えば図１及び図２に示すように構成された車両周辺画像処理装置に適用される。

［車両周辺画像処理装置の構成］
この車両周辺画像処理装置は、車両周辺の画像を運転者に提供するものである。これによって、車両周辺画像処理装置は、例えば駐車場面において運転者の運転操作を支援する。

この車両周辺画像処理装置は、図１に機能的に示すように、車両周辺を撮影する撮影部１と、俯瞰画像を作成する画像変換部２と、車両周辺の立体物の状態を識別する立体物識別部３と、車両から立体物までの距離を計算する距離計算部４と、立体物を提示するように俯瞰画像を加工する表示加工部５と、俯瞰画像を表示する表示部６とを備えている。このような機能的な各部は、具体的には、図２に示すように構成される。

なお、図１及び図２においては、車両周辺画像処理装置における画像変換部２，立体物識別部３，距離計算部４，表示加工部５はＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたコンピュータによるハードウエアで構成されているが、図１においては便宜的に機能ブロック毎に分けて、説明を行っている。

撮影部１は、複数台のＣＣＤカメラやＣＭＯＳカメラからなる。この撮影部１は、図２に示すように、例えば、それぞれが異なる方向を撮影する４台のカメラモジュール１２ａ，１２ｂ，１２ｃ，１２ｄ（以下、総称する場合には単に「カメラモジュール１２」ともいう。）からなる。これらカメラモジュール１２ａ，１２ｂ，１２ｃ，１２ｄによって得られた画像データは、画像処理部１１に送信される構成となっている。

この画像処理部１１は、バス状の通信ライン２０に、カメラモジュール１２ａ，１２ｂ，１２ｃ，１２ｄのそれぞれに対応した入力バッファ２１ａ，２１ｂ，２１ｃ，２１ｄ（以下、総称する場合には単に「入力バッファ２１」と呼ぶ。）と、ＣＰＵ２２と、演算部２３と、テーブル記憶部２４と、出力バッファ２５とが接続されて構成されている。

入力バッファ２１は、カメラモジュール１２からの画像データを入力して記憶しておくものである。入力バッファ２１は、カメラモジュール１２の個数に対応して設けられている。入力バッファ２１ａはカメラモジュール１２ａと接続され、入力バッファ２１ｂはカメラモジュール１２ｂと接続され、入力バッファ２１ｃはカメラモジュール１２ｃと接続され、入力バッファ２１ｄはカメラモジュール１２ｄと接続される。入力バッファ２１は、画像データを一旦格納し、ＣＰＵ２２の制御に従って、演算部２３による画像変換タイミングで画像データが読み出される。

出力バッファ２５は、後述する演算部２３によって座標変換された表示用の俯瞰画像を記憶するものである。この出力バッファ２５は、記憶した俯瞰画像の情報を、表示部６に相当するモニタ１４に出力する。

モニタ１４は、出力バッファ２５から出力された俯瞰画像を表示する。また、モニタ１４は、後述するように演算部２３によって立体物が識別されている場合には、当該立体物を示すように加工された俯瞰画像を表示する。

スピーカ１３は、後述の演算部２３によって車両周辺に立体物が存在すると判断された場合、その立体物の存在を所定の音声にて運転者に知らせる構成となっている。具体的には、スピーカ７は、「ピッ、ピッ、ピッ」といったピープ音や、「左側方に障害物があります」などの会話音で立体物の存在を運転者に知らせる。

ＣＰＵ２２は、画像処理部１１の全体を制御するものである。ＣＰＵ２２は、主として、入力バッファ２１ａ，２１ｂ，２１ｃ，２１ｄから画像データを取り出すタイミング、演算部２３の画像処理タイミング、出力バッファ２５から俯瞰画像をモニタ１４に送信するタイミングを制御する。ＣＰＵ２２は、例えばＡＳＩＣ（Application Specific Integrated Circuit）や、ＬＳＩ（Large Scale Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）や、ＤＳＰ（Digital Signal Processor）等のデバイスから構成されている。

テーブル記憶部２４は、カメラモジュール１２により撮影された車両周辺の画像データを座標変換するアドレス変換テーブルを記憶したものである。テーブル記憶部２４は、アドレス変換テーブルとして、地面を基準面として画像データの座標変換をするためのアドレス変換テーブル２４ａを記憶している。

演算部２３は、画像データを用いて座標変換を行って俯瞰画像を作成する画像変換部２３ａと、座標変換された俯瞰画像を用いて立体物の状態を識別する立体物識別部２３ｂと、立体物までの距離を計算する距離計算部２３ｃと、立体物を提示するように俯瞰画像を加工する表示加工部２３ｄとを備える。なお、立体物識別部２３ｂは図１における立体物識別部３に相当し、距離計算部２３ｃは図１における距離計算部４に相当し、表示加工部２３ｄは図１における表示加工部２３ｄに相当する。

画像変換部２３ａは、カメラモジュール１２ａ，１２ｂ，１２ｃ，１２ｄにより撮影された車両周辺の画像それぞれを座標変換した画像を生成するものである。また、生成した座標変換画像を合成して自車両を上空から眺めたような俯瞰画像を生成する。

画像変換部２３ａは、テーブル記憶部２４に記憶されたアドレス変換テーブル２４ａを参照して、画像データを座標変換する。この画像変換部２３ａは、入力バッファ２１から得た画像データを用い、地面を基準面として座標変換をして、表示用の俯瞰画像データを作成する。この俯瞰画像データは、自車両を上空から眺めたような俯瞰画像であり、演算部２３によって出力バッファ２５に格納された後に、モニタ１４に出力される。

立体物識別部２３ｂは、画像変換部２３ａにより作成された俯瞰画像に含まれる座標変換画像の境界線を跨いだ物体画像の状態に基づいて、車両周辺に存在する立体物の状態を識別する。立体物識別部２３ｂは、立体物の状態として、車両周辺に存在する立体物が地面に接した立体物か地面から離間した立体物かを識別する。具体的には、地面に設けられた縁石やポールといった立体物と、ガードレールのガード部分といった空中に存在する立体物とを識別する。なお、詳細は後述するが、立体物識別部２３ｂは、画像変換部２３ａによって作成された俯瞰画像に含まれる境界線を変更させて、当該境界線を変更させた時における物体画像の状態に基づいて立体物の識別も行う。

距離計算部２３ｃは、立体物識別部２３ｂにより識別された立体物の状態に基づいて、当該車両から立体物までの距離を演算する。距離計算部２３ｃは、画像変換部２３ａによって作成された俯瞰画像内における物体画像の位置から、当該物体画像の立体物から車両までの距離を計算する。距離計算部２３ｃは、立体物識別部２３ｂによって俯瞰画像における境界線の位置が変更されて立体物の識別が行われた場合、当該変更された境界線の位置ごとの立体物の状態に基づいて車両から立体物までの距離を演算する。

表示加工部２３ｄは、距離計算部２３ｃによって計算された車両から立体物までの距離に基づいて、車両が移動可能な領域を、画像変換部２３ａにより作成された俯瞰画像に重畳させて表示する表示データを作成する。この表示データは、出力バッファ２５に供給されて、モニタ１４によって表示される。また、表示加工部２３ｄは、距離計算部２３ｃにより距離が演算された立体物から、車両に対して離間する方向に含まれる領域を車両が移動できない領域として俯瞰画像に重畳させる表示データを作成しても良い。

このような演算部２３において、画像変換部２３ａが俯瞰画像データを作成する処理を図３を参照して説明する。なお、この画像変換部２３ａの処理は、自車両の周囲に立体物が存在しない場合である。ここで、カメラモジュール１２ａ，１２ｂ，１２ｃ，１２ｄは車両前方、両側方および後方にそれぞれ１つずつ設けられて４方向を撮影可能となっているものとする。

画像変換部２３ａによって俯瞰画像１０１を作成する座標変換処理は、カメラモジュール１２ａによって撮影された車両前方の車両周辺画像１０２ａと、カメラモジュール１２ｂによって撮影された車両後方の車両周辺画像１０２ｂと、カメラモジュール１２ｃによって撮影された車両左側方の車両周辺画像１０２ｃと、カメラモジュール１２ｄによって撮影された車両右側方の車両周辺画像１０２ｄとを用いる。図３に示す車両周辺画像１０２ａ〜１０２ｄ、および後述する部分画像１０４ａ〜１０４ｄには、車両周辺の地面上に引かれた白線１０３が表示されている。

画像変換部２３ａは、各車両周辺画像１０２ａ〜１０２ｄを、アドレス変換テーブル２４ａを参照してそれぞれ座標変換する。すなわち、画像変換部２３ａは、車両前方の車両周辺画像１０２ａを座標変換して自車両前方を上空から眺めた部分画像１０４ａを生成し、車両後方の車両周辺画像１０２ｂを座標変換して自車両後方を上空から眺めた部分画像１０４ｂを生成し、車両左側方の車両周辺画像１０２ｃを座標変換して車両左側方を上空から眺めた部分画像１０４ｃを生成し、車両右側方の車両周辺画像１０２ｄを座標変換して車両右側方を上空から眺めた部分画像１０４ｄを生成する。そして、画像変換部２３ａは、座標変換して得た部分画像１０４ａ〜１０４ｄを合成して、自車両周辺を上空から眺めた表示用の俯瞰画像１０１を生成する。なお、画像変換部２３ａは、車両周囲と自車両との位置関係を運転者に提示するために、俯瞰画像１０１の中央部に自車両を示すマーク１０５を配置（インポーズ）する。

このように、画像変換部２３ａは、カメラモジュール１２によって撮影された車両周辺画像に座標変換をして俯瞰画像１０１を生成し、当該俯瞰画像１０１を出力バッファ２５に出力する。

このように作成された俯瞰画像を用いて、立体物識別部２３ｂは、当該俯瞰画像内に含まれている物体画像から立体物の識別を行う。立体物識別部２３ｂは、エッジ検出機能によって、画像変換部２３ａにより生成された俯瞰画像１０１に対してエッジ検出を行う。このエッジ検出機能は、俯瞰画像１０１上の各画素の色情報又は明るさ情報からエッジ検出を行う。

例えば図４に示すように、俯瞰画像１０１のうちの車両前方側画像２０１には、物体画像として壁２０１ａとポール２０１ｂと縁石２０１ｃとが含まれている。これらの物体画像のうち縁石２０１ｃについては、縁石２０３ｂとして右側方画像２０３にも含まれている。

また、後方側画像２０２には、白線２０２ａとガードレール２０２ｂと他車両２０２ｃとが物体画像として含まれている。これらの物体画像うち、ガードレール２０２ｂについては右側方画像２０３にもガードレール２０３ａとして含まれており、更に、後方側画像２０２のうちの白線２０２ａと他車両２０２ｃについては、左側方画像２０４にも白線２０４ｂ、他車両２０４ａとして含まれている。

このような俯瞰画像１０１に対してエッジ検出を行うことによって、立体物識別部２３ｂは、俯瞰画像１０１に含まれる物体画像を検出することができる。そして、立体物識別部２３ｂは、各画像２０１の境界線に跨って位置している物体画像の間にずれがあることを検出する。立体物識別部２３ｂは、物体を表す直線上のエッジ群のうち、俯瞰画像１０１に含まれる境界線ａ，ｂ，ｃ，ｄを跨いで段階的にずれているエッジ群を検出する。

具体的には、立体物識別部２３ｂは、車両前方側画像２０１と右側方画像２０３との境界線ｂに跨って位置している縁石を表す縁石２０１ｃと縁石２０３ｂとの間にずれがあることを検出する。また、立体物識別部２３ｂは、右側方画像２０３と後方側画像２０２との境界線ｄに跨って位置しているガードレールを表すガードレール２０３ａとガードレール２０２ｂとの間にずれがあることを検出する。更に立体物識別部２３ｂは、左側方画像２０４と後方側画像２０２との境界線ｃに跨って位置している他車両を表す他車両２０４ｃと他車両２０２ｃとの間にずれがあることを検出する。なお、立体物識別部２３ｂは、地面に描かれている白線については、境界線ｄ、境界線ｂを跨っているものの、例えば白線２０４ｂと白線２０２ａといったようにずれは検出できない。

立体物識別部２３ｂは、このような処理によって検出した物体画像から、境界線に跨ってエッジのずれが検出された物体については立体物であることを識別する。また、立体物識別部２３ｂは、境界線に跨ってずれが検出された立体物のうち、車両に近い側のエッジが境界線においてずれが検出されたか否かによって、当該立体物が地面上の立体物か否かを識別する。

具体的には、図５に示すように立体物が地面上に存在するか、図６に示すように立体物が地面から離間して存在するかによって、境界線を跨いだ物体画像のずれ状態が変わる。ここで、図５及び図６に示すように、車両に設置された複数のカメラモジュール１２は、それぞれ高さが異なっている。これは、車両の形状などによってカメラモジュール１２の設置場所に制約を受けることなどに起因する。図５及び図６に示す場合には、第１カメラモジュール３０１が第２カメラモジュール３０２よりも上方に設置されているとする。

このような車両周辺画像処理装置において、地面に接して存在する縁石といった地上立体物３０３は、各第１カメラモジュール３０１，第２カメラモジュール３０２から見た相対位置が異なる。したがって、第１カメラモジュール３０１によって地上立体物３０３を撮影した画像と、第２カメラモジュール３０２によって地上立体物３０３を撮影した画像とは、異なるものとなる。

第１カメラモジュール３０１，第２カメラモジュール３０２は、地上立体物３０３の下端位置を地点Ｐ３として認識できる画像を撮影する。この画像内の物体位置と、車両から物体までの距離とは、一意に決定できる。

第１カメラモジュール３０１は、当該第１カメラモジュール３０１の設置位置と地上立体物３０３の上端位置とを結ぶラインが地面と接触する地点Ｐ２に、地上立体物３０３の上端位置が存在すると認識する。すなわち、画像内において、第１カメラモジュール３０１によって撮像された地上立体物３０３の上端位置は、地点Ｐ２に接して存在する物体位置と同位となる。

一方、第２カメラモジュール３０２は、当該第２カメラモジュール３０２の設置位置と地上立体物３０３の上端位置とを結ぶラインが地面と接触する地点Ｐ１に、地上立体物３０３の上端位置が存在すると認識する。すなわち、画像内において、第２カメラモジュール３０２によって撮像された地上立体物３０３の上端位置は、地点Ｐ１に接して存在する物体位置と同位となる。

このように、第１カメラモジュール３０１で地上立体物３０３を撮像した画像よりも、第２カメラモジュール３０２で地上立体物３０３を撮像した画像の方が、遠くに地上立体物３０３が存在するように見える画像となる。すなわち、図５に示したように、一方の座標変換画像では地上立体物３０３が地点Ｐ３から地点Ｐ２までの距離Ｘ２（以下、変換誤差距離Ｘ２という）の物体として表現され、他方の座標変換画像では地上立体物３０３が地点Ｐ３から地点Ｐ１までの距離Ｘ１（＞Ｘ２、以下、変換誤差距離Ｘ１という）の物体として表現されてしまう。

そして、第１カメラモジュール３０１によって撮像した画像と、第２カメラモジュール３０２によって撮像した画像とをそれぞれ画像変換部２３ａによって座標変換して合成すると、当該双方の座標変換画像の境界線にて、物体のずれが発生する。なお、地上立体物３０３の下端位置は地面に接しているため、当該双方の座標変換画像の境界線においてズレは生じない。

また、車両周辺画像処理装置において、図６に示すように、例えばガードレールといった地面から離間して存在する空中立体物３０４についても、各第１カメラモジュール３０１，第２カメラモジュール３０２から見た相対位置が異なる。したがって、第１カメラモジュール３０１によって空中立体物３０４を撮影した画像と、第２カメラモジュール３０２によって空中立体物３０４を撮影した画像とは、異なるものとなる。

第１カメラモジュール３０１は、当該第１カメラモジュール３０１の設置位置と空中立体物３０４の上端位置とを結ぶラインが地面と接触する地点Ｐ２に、空中立体物３０４の上端位置が存在すると認識する。すなわち、画像内において、第１カメラモジュール３０１によって撮像された空中立体物３０４の上端位置は、地点Ｐ２に接して存在する物体位置と同位となる。また、第１カメラモジュール３０１は、当該第１カメラモジュール３０１の設置位置と空中立体物３０４の下端位置とを結ぶラインが地面と接触する地点Ｐ４に、空中立体物３０４の下端位置が存在すると認識する。すなわち、画像内において、第１カメラモジュール３０１によって撮像された空中立体物３０４の下端位置は、地点Ｐ４に接して存在する物体位置と同位となる。

一方、第２カメラモジュール３０２は、当該第２カメラモジュール３０２の設置位置と空中立体物３０４の上端位置とを結ぶラインが地面と接触する地点Ｐ１に、空中立体物３０４の上端位置が存在すると認識する。すなわち、画像内において、第２カメラモジュール３０２によって撮像された地上立体物３０３の上端位置は、地点Ｐ１に接して存在する物体位置と同位となる。また、第２カメラモジュール３０２は、当該第２カメラモジュール３０２の設置位置と地上立体物３０３の下端位置とを結ぶラインが地面と接触する地点Ｐ５に、地上立体物３０３の下端位置が存在すると認識する。すなわち、画像内において、第２カメラモジュール３０２によって撮像された空中立体物３０４の下端位置は、地点Ｐ５に接して存在する物体位置と同位となる。

このように、第１カメラモジュール３０１で空中立体物３０４を撮像した画像よりも、第２カメラモジュール３０２で空中立体物３０４を撮像した画像の方が、遠くに空中立体物３０４が存在するように見える画像となる。すなわち、図６に示したように、一方の座標変換画像では空中立体物３０４が地点Ｐ４から地点Ｐ２までの変換誤差距離Ｘ２の物体として表現され、他方の座標変換画像では空中立体物３０４が地点Ｐ５から地点Ｐ１までの変換誤差距離Ｘ１（＞変換誤差距離Ｘ２）の物体として表現されてしまう。

そして、第１カメラモジュール３０１によって撮像した画像と、第２カメラモジュール３０２によって撮像した画像とをそれぞれ画像変換部２３ａによって座標変換して合成すると、当該双方の座標変換画像の境界線にて、物体のずれが発生する。

立体物識別部２３ｂは、以上ように説明した座標変換画像である車両前方側画像２０１、後方側画像２０２、右側方画像２０３、左側方画像２０４間の境界線を跨ぐ物体のズレを識別して、当該物体が立体物であるか否かを判断する。さらに、立体物識別部２３ｂは、物体が立体物のものであると判断した場合には、車両から近い方に存在する物体のエッジがずれているか否かを判断する。これによって、立体物識別部２３ｂは、当該立体物が地面から存在する立体物であるか、地面よりも高い位置にある立体物であるかを判断できる。

このように立体物識別部２３ｂによって立体物の識別が行われた後、演算部２３は、距離計算部２３ｃによって、俯瞰画像１０１に含まれる立体物ごとに、立体物識別部２３ｂで判断された立体物の種別に従って、カメラモジュール１２から立体物までの実際の距離を計算する。ここで、カメラモジュール１２の位置は、俯瞰画像１０１内における位置である。具体的には、図４において、右側方のカメラモジュール１２と縁石（２０１ｃ，２０３ｂ）との距離は、自車両を示すマーク１０５におけるドアミラー相当部分からの距離となる。

図５に示すように立体物識別部２３ｂによって地面から存在する地上立体物３０３と判断された場合、距離計算部２３ｃは、俯瞰画像１０１においてカメラモジュール１２が設置されている位置と地上立体物３０３の下端位置との間の距離を実際の距離とする。また、図６に示すように地面よりも高い位置にある空中立体物３０４と判断された場合、距離計算部２３ｃは、俯瞰画像１０１の境界線近傍の物体の映り方の差異から、カメラモジュール１２と空中立体物３０４との実際の距離を計算する。なお、この空中立体物３０４とカメラモジュール１２との距離を計算する処理については後述する。

表示加工部２３ｄは、画像変換部２３ａによって作成された俯瞰画像１０１に、距離計算部２３ｃによって計算されたカメラモジュール１２と立体物との距離情報を重畳する画像加工処理を行う。表示加工部２３ｄによって加工された画像データは、出力バッファ２５に一旦格納された後にモニタ１４に出力される。

これによって、車両周辺画像処理装置は、車両周辺に存在する物体が地上立体物であるか空中立体物であるかによって計算された距離情報を含む俯瞰画像１０１を運転者に提示することができる。

また、この車両周辺画像処理装置は、車両周辺に立体物があることが判断された場合、報知手段としてのスピーカ１３によって、その存在を所定の音声にて運転者に知らせる構成となっている。具体的には、「ピッ、ピッ、ピッ」といったピープ音や、「左前方に立体物があります」、「表示画面で立体物の位置を確認してください」などの会話音でその存在及び距離を運転者に知らせる。

［車両周辺画像処理装置の動作］
つぎに、上述したように構成された車両周辺画像処理装置の動作について、図７のフローチャート等を参照して説明する。

車両周辺画像処理装置は、カメラモジュール１２ａ，１２ｂ，１２ｃ，１２ｄのそれぞれによって撮影された画像データが入力バッファ２１ａ，２１ｂ，２１ｃ，２１ｄに格納されると、ＣＰＵ２２の制御に従って、それぞれの画像データを演算部２３によって読み込む。そして、演算部２３の画像変換部２３ａは、それぞれの画像データを座標変換して座標変換画像を作成し、テーブル記憶部２４に格納されたアドレス変換テーブル２４ａに従って座標変換画像を合成する。

なお、以下の説明では、画像変換部２３ａによって、図４に示した俯瞰画像１０１が作成された場合について説明する。ここで、図４に示した俯瞰画像１０１を構成する車両前方側画像２０１、後方側画像２０２、右側方画像２０３、左側方画像２０４及び境界線ａ〜ｄのパターンは、アドレス変換テーブル２４ａによって設定されている。

俯瞰画像１０１の作成が行われると、演算部２３は、ステップＳ１において、立体物識別部２３ｂによって、ある境界線ａ〜ｄのパターンの俯瞰画像１０１に対してエッジ検出処理を行う。

次のステップＳ２においては、立体物識別部２３ｂによって、ステップＳ１にて検出された直線上に連続するエッジのうち、エッジ処理後の俯瞰画像１０１内の境界線ａ〜ｄを跨いで連続しないエッジ、すなわち境界線ａ〜ｄを跨いでズレが生じているエッジを抽出する。これにより、立体物識別部２３ｂは、俯瞰画像１０１に含まれる立体物を検出する。

例えば図８に示すように、ステップＳ２のエッジの抽出処理によって、縁石（２０１ｃ、２０３ｂ）、ガードレール（２０３ａ、２０２ｂ）及び他車両（２０２ｃ、２０４ｃ）から検出されたエッジが検出される。ここで、図４に示す俯瞰画像１０１と比較すると明らかなように、壁２０１ａ、及びポール２０１ｂは、境界線ａ〜ｄを跨いで存在していないため、ステップＳ２の処理では抽出されない。また、図４の俯瞰画像１０１に含まれている白線（２０４ｂ、２０２ａ）、白線２０３ｃは、境界線ｃ，ｄを跨いでいる。しかし、境界線ｃ，ｄ間においてエッジにズレが生じていないため、ステップＳ２において抽出されないこととなる。

次のステップＳ３においては、立体物識別部２３ｂによって、ステップＳ２にて抽出されたエッジ及び境界線で囲まれる検出領域を検出し、当該境界線を介して隣接した検出領域同士の輝度又は色情報を比較する。具体的には、立体物識別部２３ｂは、車両前方側画像２０１に含まれている縁石２０１ｃのエッジと境界線ｂとで囲まれている検出領域と、右側方画像２０３に含まれている縁石２０３ｂのエッジと境界線ｂとで囲まれている検出領域とが、当該境界線ｂを介して隣接することを検出する。次に立体物識別部２３ｂは、縁石２０１ｃのエッジと境界線ｂとで囲まれている検出領域の輝度又は色情報と、縁石２０３ｂのエッジと境界線ｂとで囲まれている検出領域の輝度又は色情報との差異が、同一物体と見なせるほど近似しているか否かを判定する。これによって、立体物識別部２３ｂは、輝度又は色情報との差異が、同一物体と見なせるほど近似している場合には、境界線を介して同一の物体が存在すると判定してステップＳ４に処理を進め、そうではない場合にはステップＳ７に処理を進める。これにより、異なる立体物のエッジが偶然に境界線ａ〜ｄを跨ぐように俯瞰画像１０１に含まれていても、異なる立体物を同一物体と判定してしまうことを防止することとなる。

次のステップＳ４においては、立体物識別部２３ｂによって、ステップＳ３にて同一物体と判定された立体物から得られたエッジのうち、車両に近い側のエッジのみが、境界線を跨いで連続しているか否かを判定する。車両に近い側のエッジのみが境界線を跨いで連続していると判定した場合には、ステップＳ５にて、図５に示した地上立体物３０３であると判定する。図８においては、縁石（２０１ｃ、２０３ｂ）が地上立体物３０３であることが判定される。一方、車両から離れたエッジのみならず車両に近い側のエッジが境界線を跨いで連続していないと判定した場合には、ステップＳ６にて、図６に示した空中立体物３０４であると判定する。図８においては、ガードレール（２０３ａ、２０２ｂ）、他車両（２０２ｃ、２０４ｃ）の車体部分が空中立体物３０４であることが判定される。

次のステップＳ７においては、立体物識別部２３ｂによって、俯瞰画像１０１に含まれる境界線ａ〜ｄの全てについてステップＳ１〜ステップＳ６の処理を行ったか否かを判定し、境界線ａ〜ｄの全てについてステップＳ１〜ステップＳ６の処理を行っていない場合にはステップＳ１からの処理を繰り返し、そうである場合にはステップＳ８に処理を進める。具体的には、図８に示す各座標変換画像２０１〜２０４を跨ぐ縁石（２０１ｃ、２０３ｂ）、ガードレール（２０３ａ、２０２ｂ）及び他車両（２０２ｃ、２０４ｃ）について、ステップＳ１〜ステップＳ６の処理を行って、ステップＳ７からステップＳ８に処理を進める。

また、立体物識別部２３ｂは、ステップＳ７において、図９に示すように、境界線ａ〜ｄを９０度の角度範囲で移動させて、全ての境界線パターンにてステップＳ１〜ステップＳ６の処理を行っても良い。具体的には、図９に示すように、境界線ａをａ１〜ａ２の範囲で移動させ、境界線ｂをｂ１〜ｂ２の範囲で移動させ、境界線ｃをｃ１〜ｃ２の範囲で移動させ、境界線ｄをｄ１〜ｄ２の範囲で移動させる。ここで、カメラモジュール１２ａ，１２ｂ，１２ｃ，１２ｄといった車両周辺の４方向を撮影するカメラモジュール１２の水平画角を約１８０度とした場合である。

このように境界線ａ〜ｄのパターンを変えた俯瞰画像１０１を画像変換部２３ａによって作成させて、立体物識別部２３ｂは、ステップＳ１〜Ｓ６の処理を行う。これにより、立体物識別部２３ｂは、各カメラモジュール１２ａ，１２ｂ，１２ｃ，１２ｄが重畳して撮影する領域３０１ａ〜３０１ｄに存在する立体物を検出し、当該立体物が地上立体物３０３か空中立体物３０４かを識別できる。なお、俯瞰画像１０１の境界線の位置を変えることは立体物を検出するためのだけのものであり、運転者に表示する俯瞰画像１０１を変更する必要はない。

次に、距離計算部２３ｃによって、車両と立体物との距離を計算する処理に移行する。

ステップＳ８においては、距離計算部２３ｃによって、地上立体物３０３が車両周辺に存在するか否かを判定し、存在する場合にはステップＳ９に処理を進め、存在しない場合にはステップＳ１０に処理を進める。

ステップＳ９においては、距離計算部２３ｃによって、カメラモジュール１２の設置位置から地上立体物３０３までの距離を、俯瞰画像１０１上の位置関係から計算する。このステップＳ９においては、車両周辺に存在する立体物が地上立体物３０３であるので、当該地上立体物３０３を表すエッジのうちで車両に近い側のエッジとの距離を求めることによって、カメラモジュール１２と地上立体物３０３との実際の距離を求める。

例えば、俯瞰画像１０１のうちの車両前方側画像２０１に地上立体物３０３が含まれている場合、車両前方側画像２０１内における地上立体物３０３のうちの車両に近い側のエッジ位置に基づいて、当該地上立体物３０３と、車両前方を撮像方向とするカメラモジュール１２との距離を計算する。ここで、俯瞰画像１０１内の位置と、車両から地上立体物３０３までの距離とは、一意に決定されているものとする。

次のステップＳ１０においては、距離計算部２３ｃによって、空中立体物３０４が車両周辺に存在するか否かを判定し、存在する場合にはステップＳ１１に処理を進め、存在しない場合にはステップＳ１３に処理を進める。

ステップＳ１１においては、距離計算部２３ｃによって、カメラモジュール１２から空中立体物３０４までの距離を、俯瞰画像１０１における境界線近傍における空中立体物３０４の映り方から計算する。

ここで、図１０に示すように、俯瞰画像１０１内の自車両を示すマーク１０５に対し、前方を撮像方向とするカメラモジュール１２ａ、右側方を撮像方向とするカメラモジュール１２ｂが設けられており、車両の右斜め前に空中立体物３０４が存在している場面を考える。また、カメラモジュール１２ａの取付高さよりも、カメラモジュール１２ｂの取付高さの方が高いものとする。

この場合、俯瞰画像１０１においては、カメラモジュール１２ａによって撮像して座標変換された車両前方側画像２０１と、カメラモジュール１２ｂによって撮像して座標変換された右側方画像２０３との境界線ｂを跨いで、空中立体物３０４ａ及び空中立体物３０４ｂとして空中立体物３０４が描画されることとなる。また、俯瞰画像１０１において、カメラモジュール１２ｂと右側方画像２０３に含まれる空中立体物３０４ａの車両側エッジとの距離はＤ１であり、カメラモジュール１２ａと車両前方側画像２０１に含まれる空中立体物３０４ｂの車両側エッジとの距離はＤ２である。ここで、Ｄ１，Ｄ２は、俯瞰画像１０１内の距離から推定される実際距離であり、以下では画像内推定距離と呼ぶ。

ここで、空中立体物３０４ａの車両側エッジまでの画像内推定距離Ｄ１と空中立体物３０４ｂの車両側エッジまでの画像内推定距離Ｄ２との差であるエッジズレ量Ａは、カメラモジュール１２ａの取付高さと、カメラモジュール１２ｂの取付高さとの差に起因する。

具体的には、図１１に示すように、カメラモジュール１２ｂの取付高さはＨ１であり、カメラモジュール１２ａの取付高さはＨ２であり、Ｈ１＞Ｈ２なる関係である。また、空中立体物３０４は、地面から高さｈに下端位置が存在するようになっている。このような位置関係である場合、カメラモジュール１２ｂによって撮像された右側方画像２０３には、空中立体物３０４の下端位置が実際の空中立体物３０４の存在位置から変換誤差距離Ｘ１だけ遠くに描画され、カメラモジュール１２ａによって撮像された車両前方側画像２０１には、空中立体物３０４の下端位置が実際の空中立体物３０４の存在位置から変換誤差距離Ｘ２だけ遠くに描画される。換言すれば、図１０に示す俯瞰画像１０１においては、カメラモジュール１２ｂから空中立体物３０４は画像内推定距離Ｄ１となっているが実際には変換誤差距離Ｘ１だけ手前に空中立体物３０４が存在することとなり、カメラモジュール１２ａから空中立体物３０４は画像内推定距離Ｄ２となっているが実際には変換誤差距離Ｘ２だけ手前に空中立体物３０４が存在することとなる。

ここで、図１１における変換誤差距離Ｘ２と変換誤差距離Ｘ１の差を、図１０のエッジズレ量Ａとして近似することで以下の計算を行う。

右側方を撮像方向とするカメラモジュール１２ｂと境界線ｂ上に存在する空中立体物３０４の実際の距離を求める。図１１より、カメラモジュール１２ｂと空中立体物３０４との実際距離は画像内推定距離Ｄ１−変換誤差距離Ｘ１となる。この画像内推定距離Ｄ１は、図１０に示す俯瞰画像１０１のうちのカメラモジュール１２ｂによって撮像されて座標変換された座標変換画像から求めることができる。このため、変換誤差距離Ｘ１がわかれば、カメラモジュール１２ｂから空中立体物３０４までの画像内推定距離Ｄ１−変換誤差距離Ｘ１を求めることができる。

また、カメラモジュール１２ｂの取付高さＨ１＞カメラモジュール１２ａの取付高さＨ２のため、カメラモジュール１２ｂの変換誤差距離Ｘ１＜カメラモジュール１２ａの変換誤差距離Ｘ２となり、以下の計算を行う。

図１１より、三角形の相似から、
Ｘ１：ｈ＝Ｄ１：Ｈ１ （式１）
Ｘ２：ｈ＝Ｄ２：Ｈ２ （式２）
となる。この式１、式２より、ｈを消去すると
Ｘ１・Ｈ１／Ｄ１＝Ｘ２・Ｌ２／Ｄ２
となり、カメラモジュール１２ｂの変換誤差距離Ｘ１は、
Ｘ１＝（Ｄ１・Ｈ２／Ｄ２・Ｈ１）・Ｘ２ （式３）
と表現される。ここで、カメラモジュール１２ａの変換誤差距離Ｘ２＝変換誤差距離Ｘ１＋エッジズレ量Ａと近似すると、式３は、以下のように変形できる。

Ｘ１＝｛Ｄ１・Ｈ２／（Ｄ２・Ｈ１−Ｄ１・Ｈ２）｝・Ａ （式４）
以上より、俯瞰画像１０１上での画像内推定距離Ｄ１から式４で求めた変換誤差距離Ｘ１を引くことで、右側方を撮像方向とするカメラモジュール１２ｂと境界線ｂ上に存在する空中立体物３０４の実際の距離である画像内推定距離Ｄ１−変換誤差距離Ｘ１を求めることができる。

また、距離計算部２３ｃは、同様に、車両前方を撮像方向とするカメラモジュール１２ａと境界線ｂ上における空中立体物３０４との距離を求めても良い。更に、カメラモジュール１２ｂを基準とした実際の距離である画像内推定距離Ｄ１−変換誤差距離Ｘ１とカメラモジュール１２ａを基準とした実際の距離である画像内推定距離Ｄ２−変換誤差距離Ｘ２の線分が、俯瞰画像１０１上で交わる点を空中立体物３０４の実際の位置としてもよい。

次に、演算部２３は、ステップＳ１２に処理を進め、全ての境界線パターンで立体物までの距離計算を行ったか否かを判定する。このとき、距離計算部２３ｃは、図９で示したように、境界線ａ〜ｄを９０度の角度範囲で移動させて、全ての境界線パターンにてステップＳ１１の距離計算処理を行ったか否かを判定する。全ての境界線パターンにてステップＳ１１の距離計算処理を行っていない場合には境界線パターンを変更してステップＳ１１の距離計算処理を繰り返し、全ての境界線パターンにてステップＳ１１の距離計算処理を行ったと判定した場合にはステップＳ１３に処理を進める。

次のステップＳ１３においては、表示加工部２３ｄによって、ステップＳ９又はステップＳ１１にて計算された立体物までの距離に従って俯瞰画像１０１を加工する。具体的には、表示加工部２３ｄは、図１２に示すように、俯瞰画像１０１に対して、立体物までの実際の距離を加味した移動可能範囲４０１を重畳する加工処理をする。この移動可能範囲４０１は、俯瞰画像１０１においては格子模様で表しているが、その他の形態であっても良い。移動可能範囲４０１は、縁石、ガードレールや他車両といった立体物などの走行の障害になる物体がなく、車両が移動可能である領域を示している。

この俯瞰画像１０１において、自車両左前方には立体物が存在しない。このため、前方を撮像方向とするカメラモジュール１２と左側方を撮像方向とするカメラモジュール１２との双方が重畳して撮影する地面の全体が移動可能範囲４０１ａとなっている。

また、この俯瞰画像１０１において、自車両右前方には縁石がある。このため、前方を撮像方向とするカメラモジュール１２と右側方を撮像方向とするカメラモジュール１２との双方が重畳して撮影する地面のうち、縁石（２０１ｃ、２０３ｂ）のうち自車両を示すマーク１０５に近いエッジ部分までが移動可能範囲４０１ｂとなっている。

更に、この俯瞰画像１０１において、自車両左後側方には、空中立体物３０４である他車両（２０２ｃ、２０４ｃ）がある。このため、後方を撮像方向とするカメラモジュール１２と左側方を撮像方向とするカメラモジュール１２との双方が重畳して撮影する地面のうち、他車両（２０２ｃ、２０４ｃ）のエッジよりも車両側にシフトした位置が移動可能範囲４０１ｃの境界となっている。すなわち、距離計算部２３ｃによって、実際の車両と他車両との距離が、俯瞰画像１０１に描画されている他車両（２０２ｃ、２０４ｃ）の位置よりも近く計算されているため、当該計算結果としての距離を移動可能範囲４０１ｃによって表現することとなる。

更に、この俯瞰画像１０１において、自車両右後側方には、空中立体物３０４であるガードレール（２０３ａ、２０２ｂ）がある。このため、後方を撮像方向とするカメラモジュール１２と右側方を撮像方向とするカメラモジュール１２との双方が重畳して撮影する地面のうち、ガードレール（２０３ａ、２０２ｂ）のエッジよりも車両側にシフトした位置が移動可能範囲４０１ｄの境界となっている。すなわち、距離計算部２３ｃによって、実際の車両とガードレールとの距離が、俯瞰画像１０１に描画されているガードレール（２０３ａ、２０２ｂ）の位置よりも近く計算されているため、当該計算結果としての距離を移動可能範囲４０１ｄによって表現することとなる。なお、移動可能範囲４０１を運転者に提示する他の加工処理としては、立体物の実際位置を強調表示する線分を俯瞰画像１０１に重畳して表示しても良く、立体物が存在する部分のみを塗りつぶして表示してもよい。

このような俯瞰画像１０１において、縁石（２０１ｃ、２０３ｂ）、及びガードレール（２０３ａ、２０２ｂ）のカメラモジュール１２から離間する方向の領域４０１ｂ’、４０１ｄ’は、表示加工部２３ｄによって移動不能領域として認識されることとなる。表示加工部２３ｄは、このような移動不能領域４０１ｂ’、４０１ｄ’については加工処理を施さないこととする。

そして、演算部２３は、表示加工部２３ｄによって加工された俯瞰画像１０１を出力バッファ２５を介してモニタ１４に表示させることとなる。

［第１実施形態の効果］
以上詳細に説明したように、本発明を適用した第１実施形態に係る車両周辺画像処理装置によれば、俯瞰画像１０１に含まれる座標変換画像の境界線を跨いだ立体物の画像状態に基づいて、車両周辺に存在する立体物の状態を識別して車両から立体物までの距離を提示することができる。これにより、車両周辺画像処理装置によれば、俯瞰画像１０１によって車両周辺を提示する場合であっても、車両周辺に存在する立体物の状態を識別して当該立体物までの正確な距離を提示することができる。

具体的には、車両周辺画像処理装置は、立体物識別部２３ｂによって、立体物の状態として、車両周辺に存在する立体物が地面に接した地上立体物３０３か地面から離間した空中立体物３０４かを識別し、空中立体物３０４であっても俯瞰画像１０１上にて正確な車両との距離を提示することができる。したがって、空中立体物３０４のように地面に接していなく俯瞰画像１０１上における近い側が、俯瞰画像１０１上の距離よりも実際距離よりも遠くなっていても、接触する可能性を低減することができる。

また、この車両周辺画像処理装置によれば、立体物識別部２３ｂによって立体物識別を行う時に、俯瞰画像１０１に含まれる座標変換画像の境界線の位置を変更して、当該変更した境界線を跨ぐ物体画像の状態に基づいて状態を識別して、距離計算部２３ｃによって立体物までの距離を求める。したがって、この車両周辺画像処理装置によれば、各カメラモジュール１２が重畳して撮影する領域を、立体物を識別する領域とすると共に立体物に応じて距離を計算する領域とすることができる。また、異なる物体（白線等）のエッジが偶然に境界線を跨ぐように俯瞰画像１０１に含まれていても、それらを立体物と判定してしまう可能性を低減させることができる。更に、異なる立体物のエッジが偶然に境界線をまたぐように俯瞰画像で表現されていたとしても、それらを同一物体と判定して種別を判断してしまう可能性を低減させることができる。

更に、この車両周辺画像処理装置によれば、距離計算部２３ｃにより演算された車両から立体物までの距離に基づく車両が移動可能な領域を、俯瞰画像１０１に重畳させて表示する。また、この車両周辺画像処理装置によれば、距離計算部２３ｃにより距離が演算された立体物から、車両に対して離間する方向に含まれる領域を車両が移動できない領域としている。これにより、この車両周辺画像処理装置によれば、運転者に対して立体物の正確な位置を俯瞰画像１０１によって提示することができる。

更にまた、この車両周辺画像処理装置によれば、識別された立体物の存在を音声により通知するので、運転者に対して車両と接触する可能性の高い立体物の存在を聴覚的に通知することができる。

［第２実施形態］
つぎに、本発明を適用した第２実施形態について説明する。なお、上述した第１実施形態と同様の部分については同一符号を付することによってその詳細な説明を省略する。

この車両周辺画像処理装置は、車両の走行状態として車両が走行しているか否かを取得する。そして、車両周辺画像処理装置は、車両が走行したことが取得された場合に、車両の移動前における移動可能範囲４０１と、車両の移動後における移動可能な領域とを、俯瞰画像１０１に重畳させて表示する。また、この車両周辺画像処理装置は、車両が走行したことが取得された場合に、新たに俯瞰画像１０１に含まれることとなった立体物の状態を識別する。そして、車両周辺画像処理装置は、新たに俯瞰画像１０１に含まれることとなった立体物の状態に基づいて当該車両から立体物までの距離を演算し、車両の移動前における移動可能範囲４０１と、車両の移動後における移動可能な領域とを、俯瞰画像１０１に重畳させて表示する。

具体的には、第２実施形態に係る車両周辺画像処理装置は、例えば図１２に示すような状況から、車両が前進走行した場合に、図１３に示すように、図１２の時点での移動可能範囲４０１に加えて、新たな移動可能領域５０１を表示するものである。

このような車両周辺画像処理装置は、図１４に示すように、画像処理部１１に車速センサ１５と、操舵角センサ１６及びシフト位置センサ１７が接続されている点で、上述した車両周辺画像処理装置とは異なる。

車速センサ１５は、自車両の車速を検出するものである。この車速センサ１５によって検出された車速信号は、画像処理部１１に供給される。操舵角センサ１６は、自車両の操舵角を検出するものである。この操舵角センサ１６によって検出された操舵角信号は、画像処理部１１に供給される。シフト位置センサ１７は、自車両のシフト位置（ギヤポジションの位置）を検出するものである。このシフト位置センサ１７によって検出されたシフト位置信号は、画像処理部１１に供給される。

そして、車速信号、操舵角信号及びシフト位置信号は、画像処理部１１の演算部２３に供給される。画像処理部１１は、車速信号、操舵角信号及びシフト位置信号に基づいて、自車両の移動方向及び移動量を検出する。そして、演算部２３は、新たにカメラモジュール１２によって撮像されて俯瞰画像１０１に含まれることとなった領域における立体物の識別処理、当該立体物までの距離計算処理を行う。これにより、演算部２３は、移動可能範囲４０１に加えて、新たな移動可能領域５０１を求めることができる。

具体的には、演算部２３は、車両の移動方向及び移動量に従って、移動前の移動可能範囲４０１ａと移動後の移動可能領域５０１ａ、移動前の移動可能範囲４０１ｂと移動後の移動可能領域５０１ｂ、移動前の移動可能範囲４０１ｃと移動後の移動可能領域５０１ｃを俯瞰画像１０１に重畳して、運転者に提示することができる。

これにより、車両周辺画像処理装置は、車両の走行状態として車両が走行しているか否かを取得し、車両が走行したことが取得された場合に、車両の移動前における移動可能範囲４０１と、車両の移動後における移動可能領域５０１とを俯瞰画像１０１に重畳させて表示する。また、この車両周辺画像処理装置は、車両が走行したことが取得された場合に、新たに俯瞰画像１０１に含まれることとなった立体物の状態を識別し、距離計算部２３ｃによって、新たに俯瞰画像１０１に含まれることとなった立体物の状態に基づいて当該車両から立体物までの距離を演算して、移動前における移動可能範囲４０１と、車両の移動後における移動可能領域５０１とを俯瞰画像１０１に重畳させて表示する。これにより、車両周辺画像処理装置は、第１実施形態の車両周辺画像処理装置と比較して広い移動可能領域を運転者に提示することができる。

また、この車両周辺画像処理装置は、車両の移動に伴って、過去の移動可能範囲４０１と比較して新たに加わった移動可能領域５０１のみについて、立体物の識別及び立体物までの距離計算を行うこととすることが望ましい。具体的には、過去の移動可能範囲４０１に新たに加わった移動可能範囲５０１を加えて俯瞰画像上に表示する。これにより、車両周辺画像処理装置によれば、結果として少ない計算量で運転者により広い移動可能領域４０１を表示できる。

このような車両周辺画像処理装置によれば、車両が走行した時に、車両の移動前における移動可能範囲４０１と、車両の移動後における移動可能領域５０１とを俯瞰画像１０１に重畳させて表示するので、運転者に対して、より広い移動可能範囲を表示することができる。

また、この車両周辺画像処理装置によれば、車両が走行した時に、新たに俯瞰画像に含まれることとなった立体物の状態を識別して立体物までの距離を演算し、車両の移動前における移動可能範囲４０１と車両の移動後における移動可能領域５０１とを俯瞰画像１０１に重畳させて表示するので、少ない計算量で運転者に対して、より広い移動可能領域を表示できる。

［第３実施形態］
つぎに、本発明を適用した第３実施形態について説明する。なお、上述した実施形態と同様の部分については同一符号を付することによってその詳細な説明を省略する。

第３実施形態に係る車両周辺画像処理装置は、車両の走行状態として走行速度を取得する。車両周辺画像処理装置は、車速センサ１５によって取得された車両の速度が所定速度よりも低い場合には車両近傍を立体物の検出対象領域とし、車両の速度が所定速度よりも高い場合には車両近傍の立体物の検出対象領域よりも車両から離れた領域を立体物の検出対象領域とする。

一般的な運転行動において、運転者は、駐車等車両を低速で走らせる場合には車両近傍を注視し、ある任意の速度よりも車速が速い場合には、車両近傍よりも離れた領域を注視している。そこで、立体物識別部２３ｂは、図１０に示すように、車速センサ１５より取得した車速を検出し、現在の車速が所定速度よりも遅いときは俯瞰画像１０１中における車両近傍領域６０１ａ、６０１ｂ、６０１ｃ、６０１ｄを検出対象とし、車速が任意の速度よりも速いときは俯瞰画像１０１中において車両から離れた領域６０２ａ、６０２ｂ、６０２ｃ、６０２ｄを検出対象とする。車両近傍領域６０１ａ、６０１ｂ、６０１ｃ、６０１ｄ、領域６０１ａ、６０２ｂ、６０２ｃ、６０２ｄは、車両から所定距離の範囲内といった固定範囲である必要はなく車速に応じて変化させても良い。

また、車両周辺画像処理装置は、車両の進行方向を立体物の検出領域として設定しても良い。すなわち、運転行動において、運転者は、車両が通過する箇所に立体物等の障害物があるか否かを注視すべきであるので、当該注視すべき領域を立体物の検出対象領域とする。

具体的には、車両周辺画像処理装置は、車両の走行状態として車両が前進又は後退するかを示すシフト情報をシフト位置センサ１７によって取得すると共に操舵角情報を操舵角センサ１６によって取得することもできる。そして、車両周辺画像処理装置は、立体物識別部２３ｂによって、シフト情報及び操舵角情報に基づく車両の進行方向を立体物の検出対象領域とする。これにより、車両周辺画像処理装置の立体物識別部２３ｂは、図１６に示すように、俯瞰画像１０１中の車両の進行方向及び車体が通過するであろう検出対象領域７０１を検出対象とする。なお、検出対象領域７０１は、車両から所定距離の範囲内といった固定範囲である必要はなく車速に応じて変化させても良い。例えば、現在の車速が低いほど検出対象領域７０１を狭くし、現在の車速が高い場合ほど検出領域７０１を広くする。

このような車両周辺画像処理装置によれば、車両の速度が所定速度よりも低い場合には車両近傍を立体物の検出対象領域とし、前記走行状態取得手段によって取得された車両の速度が所定速度よりも高い場合には車両近傍の立体物の検出対象領域よりも車両から離れた領域を立体物の検出対象領域とすることができる。また、この車両周辺画像処理装置によれば、車両の進行方向を立体物の検出対象領域とすることができる。これにより、少ない計算量で運転者に対して車両を運転する上で問題のある立体物の存在を通知することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明を適用した車両周辺画像処理装置の機能的な構成を示すブロック図である。 本発明を適用した車両周辺画像処理装置の具体的な構成を示すブロック図である。 本発明を適用した車両周辺画像処理装置によって俯瞰画像を作成する処理を説明する図である。 本発明を適用した第１実施形態に係る車両周辺画像処理装置において作成された俯瞰画像の一例を示す図である。 本発明を適用した第１実施形態に係る車両周辺画像処理装置の複数のカメラモジュールによって地上立体物を撮影して、座標変換を行うことを説明する図である。 本発明を適用した第１実施形態に係る車両周辺画像処理装置の複数のカメラモジュールによって空中立体物を撮影して、座標変換を行うことを説明する図である。 本発明を適用した第１実施形態に係る車両周辺画像処理装置による処理手順を示すフローチャートである。 本発明を適用した第１実施形態に係る車両周辺画像処理装置において、俯瞰画像の境界線を跨いだ立体物のエッジを示す図である。 本発明を適用した第１実施形態に係る車両周辺画像処理装置において、境界線を移動させて立体物を識別し、当該立体物までの距離を演算する処理を説明する図である。 本発明を適用した第１実施形態に係る車両周辺画像処理装置において、俯瞰画像の境界線を跨いで物体の車両側エッジが異なる位置となることを説明する図である。 本発明を適用した第１実施形態に係る車両周辺画像処理装置において、空中立体物の下端位置を求める処理を説明する図である。 本発明を適用した第１実施形態に係る車両周辺画像処理装置において、俯瞰画像に移動可能範囲を重畳した図である。 本発明を適用した第１実施形態に係る車両周辺画像処理装置において、俯瞰画像に、車両移動前及び車両移動後の移動可能範囲を重畳した図である。 本発明を適用した第２実施形態に係る車両周辺画像処理装置の構成を示す図である。 本発明を適用した第３実施形態に係る車両周辺画像処理装置において、俯瞰画像に車両速度に応じて車両近傍領域及び車両近傍ではない領域を重畳した図である。 本発明を適用した第３実施形態に係る車両周辺画像処理装置において、俯瞰画像に車両の進行方向に応じた領域を重畳した図である。

符号の説明

１ 撮影部
２ 画像変換部
３ 立体物識別部
４ 距離計算部
５ 表示加工部
６ 表示部
７ スピーカ
１１ 画像処理部
１２ａ，１２ｂ，１２ｃ，１２ｄ カメラモジュール
１３ スピーカ
１４ モニタ
１５ 車速センサ
１６ 操舵角センサ
１７ シフト位置センサ
２０ 通信ライン
２１ 入力バッファ
２１ａ，２１ｂ，２１ｃ，２１ｄ 入力バッファ
２２ ＣＰＵ
２３ 演算部
２３ａ 画像変換部
２３ｂ 立体物識別部
２３ｃ 距離計算部
２３ｄ 表示加工部
２４ テーブル記憶部
２４ａ アドレス変換テーブル
２５ 出力バッファ

Claims (12)

1. 車両周辺を撮影する複数の撮影手段と、
   各撮像手段により撮像された画像を地面に投影した座標変換画像を合成して俯瞰画像を作成する画像変換手段と、
   前記画像変換手段により作成された俯瞰画像に含まれる座標変換画像の境界線を跨いだ物体画像の状態に基づいて、車両周辺に存在する立体物の状態を識別する立体物識別手段と、
   前記立体物識別手段により識別された立体物の状態に基づいて、当該車両から立体物までの距離を演算する距離演算手段と、
   前記距離演算手段により演算された車両から立体物までの距離に基づいて加工した前記俯瞰画像を表示する表示手段と
   を備えることを特徴とする車両周辺画像処理装置。
2. 前記立体物識別手段は、前記俯瞰画像に含まれる座標変換画像の境界線の位置を変更して、当該変更した境界線を跨ぐ物体画像の状態に基づいて状態を識別し、
   前記距離演算手段は、前記立体物識別手段により識別された境界線の位置ごとの立体物の状態に基づいて車両から立体物までの距離を演算すること
   を特徴とする請求項１に記載の車両周辺画像処理装置。
3. 前記立体物識別手段は、前記立体物の状態として、車両周辺に存在する立体物が地面に接した立体物か地面から離間した立体物かを識別することを特徴とする請求項１に記載の車両周辺画像処理装置。
4. 前記撮影手段は、それぞれの取付高さが異なるカメラモジュールからなり、
   前記立体物識別手段は、各カメラモジュールの取付高さの差に起因して発生する俯瞰画像内における立体物の車両側位置までの距離差に基づいて、車両周辺に存在する立体物が地面に接した立体物か地面から離間した立体物かを識別することを特徴とする請求項３に記載の車両周辺画像処理装置。
5. 前記表示手段は、前記距離演算手段により演算された車両から立体物までの距離に基づく車両が移動可能な領域を、前記画像変換手段により作成された俯瞰画像に重畳させて表示することを特徴とする請求項１に記載の車両周辺画像処理装置。
6. 前記表示手段は、前記距離演算手段により距離が演算された立体物から、車両に対して離間する方向に含まれる領域を車両が移動できない領域としたことを特徴とする請求項５に記載の車両周辺画像処理装置。
7. 車両の走行状態として車両が走行しているか否かを取得する走行状態取得手段を更に備え、
   前記表示手段は、前記走行状態取得手段によって車両が走行したことが取得された場合に、前記車両の移動前における移動可能な領域と、前記車両の移動後における移動可能な領域とを、前記画像変換手段により作成された俯瞰画像に重畳させて表示することを特徴とする請求項６に記載の車両周辺画像処理装置。
8. 車両の走行状態として車両が走行しているか否かを取得する走行状態取得手段を更に備え、
   前記立体物識別手段は、前記走行状態取得手段によって車両が走行したことが取得された場合に、新たに俯瞰画像に含まれることとなった立体物の状態を識別し、
   前記距離演算手段は、前記立体物識別手段により識別された新たに俯瞰画像に含まれることとなった立体物の状態に基づいて当該車両から立体物までの距離を演算し、
   前記表示手段は、前記車両の移動前における移動可能な領域と、前記車両の移動後における移動可能な領域とを、前記画像変換手段により作成された俯瞰画像に重畳させて表示することを特徴とする請求項６に記載の車両周辺画像処理装置。
9. 車両の走行状態として走行速度を取得する走行状態取得手段を更に備え、
   前記立体物識別手段は、前記走行状態取得手段によって取得された車両の速度が所定速度よりも低い場合には車両近傍を立体物の検出対象領域とし、前記走行状態取得手段によって取得された車両の速度が所定速度よりも高い場合には車両近傍の立体物の検出対象領域よりも車両から離れた領域を立体物の検出対象領域とすることを特徴とする請求項１乃至請求項８の何れか一項に記載の車両周辺画像処理装置。
10. 車両の走行状態として車両が前進又は後退するかを示すシフト情報及び操舵角情報を取得する走行状態取得手段を更に備え、
    前記立体物識別手段は、前記走行状態取得手段により取得されたシフト情報及び操舵角情報に基づく車両の進行方向を立体物の検出対象領域とすることを特徴とする請求項１乃至請求項６の何れか一項に記載の車両周辺画像処理装置。
11. 前記立体物識別手段により識別された立体物の存在を音声により通知する報知手段を備えることを特徴とする請求項１乃至請求項１０の何れか一項に記載の車両周辺画像処理装置。
12. 車両周辺を撮影した画像を地面に投影した座標変換画像を合成した俯瞰画像に含まれる座標変換画像の境界線を跨いだ物体画像の状態に基づいて、車両周辺に存在する立体物の状態を識別し、識別された立体物の状態に基づいて演算した当該車両から立体物までの距離に基づいて加工した前記俯瞰画像を表示することを特徴とする車両周辺状況提示方法。

Images