JP2011070593A - 車両周辺監視装置 - Google Patents

Abstract

【課題】俯瞰映像上の障害物を強調して表示し、前記俯瞰映像上で歪んで表示される障害物の把握を容易にした車両周辺監視装置を提供すること。
【解決手段】一定の時間間隔ごとに俯瞰映像を取り込み、特徴点抽出処理部３において特徴点Ｐを抽出する。そして、前記抽出した特徴点Ｐの動きを特徴点追跡処理部４において追跡処理する。この特徴点Ｐの追跡処理では、特徴点Ｐのオプティカルフローを計算することでその動きベクトルを求める。次に、三次元計測処理部５において俯瞰映像上の特徴点Ｐの位置の変化から自車両と特徴点Ｐとの相対運動情報と、前記特徴点Ｐの三次元座標情報を算出する。さらに、前記算出した前記相対運動情報と前記三次元座標情報とから障害物検知処理部６において障害物を検知し、前記検知した障害物を含む前記俯瞰映像上の領域を強調領域描画処理部８において決定し強調し、表示部１０により表示出力する。
【選択図】図１

Description

本発明は、自車両に対する障害物の俯瞰映像上の領域を表示する車両周辺監視装置に関する。

従来、自動車に複数の撮像装置を設け、各撮像装置により撮像した画像を合成し、自動車の周囲全周の俯瞰画像を生成し運転席のモニタに表示することで、駐車場などにおける運転操作を容易かつ安全に行えるようにした車両周辺監視装置がある。
このような従来の車両周辺監視装置では、車両に前方カメラ、後方カメラ、右カメラおよび左カメラが取り付けられている。
そして、それら前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成して俯瞰映像を生成する。
このようにして生成された俯瞰映像は俯瞰映像表示画面へ表示され、運転操作の支援に
活用される。

このような車両周辺監視装置として、撮像部と、運転者に情報を提供する表示部とを有し、始動シーン選択部と、車速センサと、シフト位置検出部と、ウインカー検出部と、操舵角センサと、画面モード切替部とを備えたものが提供されている。
そして、この車両周辺監視装置は、ウインカーの情報やハンドル操舵角の情報により後側方の見せる領域を変更することが可能であり、特に、高速モード時にウインカー入力を検出した場合、ウインカー方向の合成画像を拡大表示する。
なお、前記撮像部は、車両に設置した複数のカメラ設置部に取り付けられた個々のカメラにより車両周囲を撮像し、前記表示部は運転者に情報を提供するものである。
また、前記始動シーン選択部は、複数の運転シーンの中からエンジン始動時に通常走行シーンを選択し、前記車速センサでは車速を検出し、前記シフト位置検出部ではシフト位置を検出するものである。
前記ウインカー検出部は、ウインカーの方向を検出し、前記操舵角センサはハンドルの操舵角を検出し、前記画面モード切替部では各センサおよび各検出部により検出された情報より表示画面構成を切り替える。（特許文献１参照）。

特開２００２−１０９６９７号公報

したがって、従来の車両周辺監視装置では、着目したい目標物、特に立体的な目標物に関しては、その映像は視点変換され画像合成された処理段階で画像が歪んでしまい、俯瞰映像表示画面へ表示される目標物の距離感がつかみにくいという課題があった。

本発明は、このような事情に鑑みてなされたものであり、俯瞰映像上の障害物を強調して表示し、前記俯瞰映像上で歪んで表示される障害物の把握を容易にした車両周辺監視装置を提供することを目的とする。

請求項１に記載の発明は、車両に搭載された複数の撮像装置により撮像した前記車両周囲の俯瞰映像を表示する車両周辺監視装置において、前記車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰映像を合成する映像合成手段と、前記映像合成手段により合成した俯瞰映像上の画像のコーナまたは画像のエッジまたは画像の画像信号レベルが変化する箇所または画像の色相が変化する箇所を特徴点として抽出する特徴点抽出処理部と、前記俯瞰映像の時系列映像から前記特徴点抽出処理部で抽出した前記特徴点の前記俯瞰映像上での位置の変化を追跡する特徴点追跡処理部と、前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰映像上での位置の変化をもとに前記特徴点の三次元座標における高さを含む特徴点情報を算出する三次元計測処理部と、前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、前記映像合成手段により合成された俯瞰映像を表示する表示部と、前記障害物検知処理部で障害物と判定した前記画像を含む領域を、前記障害物と判定した画像の撮像位置に応じて決定し、該決定した領域を強調して強調領域として描画する強調領域描画処理部と、前記強調領域を前記俯瞰映像に重畳して前記表示部に表示させる強調領域加算部とを備えたことを特徴とする。

本発明によれば、俯瞰映像上の障害物が前記俯瞰映像上で歪んで表示される特性に従って、前記俯瞰映像上の障害物を強調して表示できるため、前記俯瞰映像上の障害物の歪んでいる状態が明確化されて前記俯瞰映像上で歪んで表示される障害物を容易に把握できる車両周辺監視装置を提供できる効果がある。

本発明の実施の形態である車両周辺監視装置の構成を示すブロック図である。 本発明の実施の形態の車両周辺監視装置の各カメラの撮像範囲と、これら撮像範囲の映像を視点変換し画像合成して生成された俯瞰映像を示す説明図である。 本発明の実施の形態の車両周辺監視装置のカメラ位置と俯瞰映像の歪みを示す説明図である。 本発明の実施の形態の車両周辺監視装置の俯瞰映像における強調領域の決定方法を示す説明図である。 本発明の実施の形態の車両周辺監視装置の俯瞰映像における強調領域を示す枠表示の一例を示す説明図である。 本発明の実施の形態の車両周辺監視装置の俯瞰映像における強調領域を示す枠の他の表示形態の一例を示す説明図である。 本発明の実施の形態の車両周辺監視装置における障害物検知を説明するための対象物の三次元空間座標と俯瞰映像上の位置との関係を示す説明図である。 本発明の実施の形態の車両周辺監視装置における障害物検知を説明するための時刻ｔにおける俯瞰映像と時刻ｔ＋ＦΔｔにおける俯瞰映像との一例を示す説明図である。 本発明の実施の形態の車両周辺監視装置における俯瞰映像から抽出した特徴点の動きをベクトルで示した説明図である。 本発明の実施の形態の車両周辺監視装置の動作を示すフローチャートである。 本発明の実施の形態の車両周辺監視装置における俯瞰映像上の画像の一例を示す説明図である。 本発明の実施の形態の車両周辺監視装置における距離による障害物エリアＡと、衝突予想時間による障害物エリアＢとを示す説明図である。 本発明の実施の形態の車両周辺監視装置における三次元計測処理部および障害物検知処理部の動作を示すフローチャートである。 拘束行列に関する数式および行列を示す図である。 偏微分Ａ、Ｂの説明図である。

以下、本発明の実施の形態について説明する。図１は、本発明の実施の形態である車両周辺監視装置の構成を示すブロック図である。この車両周辺監視装置は、俯瞰映像１の時系列映像取り込み部２、取り込んだ俯瞰映像をフレーム単位で一時的に記憶するフレームメモリ３、特徴点抽出処理部４、特徴点追跡処理部５、三次元計測処理部６、障害物検知処理部７、強調領域描画処理部８、強調領域加算部９および表示部１０を備えている。
俯瞰映像１は、車両に取り付けられた前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成して生成したものである。

図２は、車両１１に取り付けられた前方カメラ１１４、後方カメラ１１２、右カメラ１１１および左カメラ１１３により撮像される撮像範囲と、これら撮像範囲の映像を視点変換し画像合成して生成された、自車両を中心としてモニタ装置に表示される俯瞰映像を示す説明図である。
前方カメラ１１４は、例えば車両１１前部のフロントグリル中央に取り付けられて自車両の前方を撮像するカメラである。
後方カメラ１１２は、例えばリアウィンドウが設けられた車両１１後部に取り付けられて自車両の後方を撮像するカメラである。
右カメラ１１１は、例えば右側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両１１の右側方を撮像するカメラである。
左カメラ１１３は、例えば左側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両１１の左側方を撮像するカメラである。
符号１２は前方カメラ１１４による撮像範囲、符号１３は右カメラ１１１による撮像範囲、符号１４は後方カメラ１１２による撮像範囲、符号１５は左カメラ１１３による撮像範囲を示す。
また、符号２２は前方カメラ１１４の撮像範囲１２の映像から図示していない視点変換手段により視点変換され前記モニタ装置に表示された前方部分俯瞰映像を示す。符号２３は右カメラ１１１の撮像範囲１３の映像から同様に視点変換され前記モニタ装置に表示された右側方部分俯瞰映像を示す。符号２４は後方カメラ１１２の撮像範囲１４の映像から同様に視点変換され前記モニタ装置に表示された後方部分俯瞰映像を示す。符号２５は左カメラ１１３の撮像範囲１５の映像から同様に視点変換され前記モニタ装置に表示された左側方部分俯瞰映像を示す。
これら前方部分俯瞰映像２２、右側方部分俯瞰映像２３、後方部分俯瞰映像２４および左側方部分俯瞰映像２５は、自車両１１を中心としてその上方から自車両周囲を俯瞰したときの俯瞰映像として図示していない画像合成手段により画像合成される。

図１に戻り、時系列映像取り込み部２は、図２で説明した前記画像合成手段により画像合成された俯瞰映像を所定の時間間隔で時系列映像１として取り込む。
フレームメモリ３は、取り込んだ俯瞰映像をフレーム単位で一時的に記憶するメモリである。
特徴点抽出処理部４は、前記俯瞰映像の時系列映像１に対し、たとえば画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点として抽出する。
特徴点追跡処理部５は、前記俯瞰映像上で時刻変化に伴う特徴点の移動位置の変化を追跡する。
三次元計測処理部６は、前記俯瞰映像上における前記特徴点の移動位置の変化からその特徴点の相対運動情報および三次元座標情報を算出する。
この相対運動情報および三次元座標情報は、次に示す俯瞰画像上の対象物体の動きをモデル化した式（１）、（２）を用いて算出する。

そして、この運転支援装置では、単眼のカメラ映像の俯瞰画像では視点つまりカメラの高さに応じて対象物体の動きが異なるため、カメラの高さに応じた俯瞰画像上の対象物体の動きをモデル化し、実映像に対しモデル推定することで、対象物体の三次元計測を行い障害物を検知する。

障害物検知処理部７は、前記算出した相対運動情報および三次元座標情報をもとに障害物を判定する。この障害物の判定は、自車両に対する距離による障害物エリアと、衝突予想時間による障害物エリアとにおける特徴点から障害物の検知を行う。
強調領域描画処理部８は、障害物検知処理部７で障害物と判定した画像を含む領域を、前記障害物と判定した画像の撮像位置に応じて決定し、該決定した領域を強調して強調領域として描画するための処理を行う。
強調領域加算部９は、強調領域を俯瞰映像に重畳して表示部１０に表示させる。
前記視点変換手段および前記画像合成手段と、時系列映像取り込み部２、特徴点抽出処理部４、特徴点追跡処理部５、三次元計測処理部６および障害物検知処理部７、強調領域描画処理部８および強調領域加算部９は、各部を制御するマイクロコンピュータにより構成されたＥＣＵにより実現される。
このＥＣＵは、前方カメラ１１４、後方カメラ１１２、右カメラ１１１および左カメラ１１３により撮像した映像の視点変換処理および画像合成処理を含む、この車両周辺監視装置特有の機能を実現するための各種処理を行う。
表示部１０は、前記映像合成手段により合成された俯瞰映像を表示する。

次に動作について説明する。
図３において、符号２０１は取り付け位置Ｈの高さに取り付けられているカメラを示している。同図（Ａ）は、カメラ２０１から撮像された立体物２０２の画像の一例を示す。また同図（Ｂ）は、同図（Ａ）に示した画像を俯瞰映像として視点変換したときの画像を示しており、同図（Ａ）に示した画像の立体物には歪みが顕著に表れている。
図７に示すように、カメラ２０１はｚ軸上の高さＨの位置に配置されている。図７において、符号３００は対象物を示しその三次元空間座標は［Ｘ_ｐ ，Ｙ_ｐ ，Ｚ_ｐ ］^Ｔ である。また、符号３０１は俯瞰映像上の対象物映像であり、その三次元空間座標は［ｘ_ｐ ，ｙ_ｐ ，０］^Ｔ である。符号３０２は撮像された対象物が含まれた平面的な俯瞰映像を示している。
この実施の形態の車両周辺監視装置の動作を図１０に示すフローチャートを参照して説明すると、対象物と自車両とが相対速度［Ｖ_Ｘ，Ｖ_Ｙ］^Ｔ 、ヨーレートωで相対運動をしていたとき、上述した式（２）で示す関係が成立する。
式（２）のベクトルｍ（ｔ＋Δｔ）、ｎ（ｔ＋Δｔ）は相対速度とヨーレートとを格納する相対運動であり、ベクトルＳ_Ｐは上述した式（１）から、特徴点Ｐの三次元座標への変換が一意に可能である。
この実施の形態では、式（１）および式（２）の関係を用いて、俯瞰映像上の特徴点Ｐを三次元座標へ変換し、自車両に対する立体物を判定して障害物の検知を行う。そして、前記検知した障害物の画像を撮像したカメラ位置をもとに俯瞰映像上で強調領域を決定し、前記俯瞰映像上へ前記決定した強調領域を重畳して描画する。

以下、図１０に示すフローチャートを参照しながら障害物の検知と、前記検知した障害物について俯瞰映像上での強調領域の決定、描画について動作を説明する。
図２に示すように視点変換され画像合成された俯瞰映像は、一定の時間間隔Δｔごとに時系列映像取り込み部２から取り込まれる（ステップＳ１）。時系列映像取り込み部２から取り込まれた俯瞰映像はフレームメモリ３へ一時的に格納される。
そして、特徴点抽出処理部４において前記俯瞰映像から特徴点Ｐを抽出する（ステップＳ２）。特徴点抽出処理部４における特徴点Ｐの抽出は、たとえば画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点Ｐとして抽出する。

図１１は、俯瞰映像上の画像の一例を示す説明図である。
例えばカメラによって撮像された俯瞰映像上の画像が図１１に示すように画像データの左上を原点として横軸をｘ軸、縦軸をｙ軸と定めた座標上にあるものとする。
特徴点抽出処理部４は、図１５に示すように画像Ｉのｘ軸およびｙ軸方向に対する偏微分Ａおよび偏微分Ｂをそれぞれ求める。次いでこの画像Ｉでの全ての画素における空間配列行列を求める。
そして特徴点抽出処理部４は、空間配列行列に対する固有値を計算し、特徴を有すると認められる所定の値を抽出して特徴点と定める。次いで、上述したようにして得られた俯瞰映像上の画像における特徴点の時間変化を特徴点追跡処理部５が追跡する。

図８は、この実施の形態の車両周辺監視装置における時系列映像取り込み部２から取り込まれる時系列映像１である時刻ｔにおける俯瞰映像と時刻ｔ＋ＦΔｔにおける俯瞰映像との一例を示す説明図である。
図８（Ａ）、（Ｂ）に示されているように、特徴点抽出処理部４において抽出された特徴点Ｐがどのような動きをするかを特徴点追跡処理部５において追跡処理する。
この特徴点追跡処理部５の追跡処理は次のように行う。
つまり、図８（Ａ）に示す時刻ｔにおける俯瞰映像上の特徴点Ｐと、同図（Ｂ）に示す時刻ｔ＋ＦΔｔにおける俯瞰映像上の特徴点Ｐとの位置関係から、特徴点Ｐがどのような動きをしてどのような位置へ移動したかを追跡処理する（ステップＳ３）。
この特徴点Ｐの追跡処理では、特徴点Ｐのオプティカルフローを計算することで、その動きベクトルを求める。
図９は、図８に示すこの実施の形態の車両周辺監視装置における俯瞰映像から抽出した特徴点の動きベクトルを示す説明図である。
特徴点Ｐのオプティカルフローの計算処理は次のように行う。
所定の周期、時間間隔で撮像された前記俯瞰映像上の、互いに共通する特徴点Ｐの座標変化を検出し、その特徴点Ｐが移動しているか否か、座標が変化している場合には、特徴点Ｐの移動、座標変化の向きとその大きさがどの程度かをそれぞれ計算する。

次に、三次元計測処理部６において、式（１）、（２）を用いて俯瞰映像上の特徴点Ｐの位置の変化から自車両と特徴点Ｐとの相対運動情報と、前記特徴点Ｐの三次元座標情報を算出する（ステップＳ４）。

さらに、障害物検知処理部７において、前記三次元計測処理部６で算出した前記相対運動情報と前記三次元座標情報とから障害物を検知する（ステップＳ５）。そして、前記検知した障害物について俯瞰映像上で障害物検知処理部７において障害物領域を決定する。さらに、前記決定された障害物領域に対し、強調領域描画処理部８は前記障害物領域の画像を撮像したカメラ位置をもとに強調領域を決定し強調して描画する。そして、強調領域加算部９は前記強調領域を前記俯瞰映像へ重ねて描画し、表示部１０により表示する（ステップＳ６）。
図４は、この実施の形態の車両周辺監視装置の俯瞰映像における強調領域の決定方法を示す説明図である。
図４では、符号３１１がカメラ位置を示し、符号３１２はカメラと障害物との距離、奥行を示している。また、符号３１３は障害物領域を示し、符号３１４は障害物を含む強調域を示している。この強調領域３１４は枠３１５により囲まれて表示される。この強調領域３１４の決定方法は次のようにして行われる。
まず、障害物検知処理部７において俯瞰映像上での障害物領域３１３を決定する。
次に、俯瞰映像上でカメラ位置３１１を端点として障害物領域３１３に対する２本の外接線５０１，５０２を決定する。
さらに、俯瞰映像上でカメラ位置３１１に対する障害物の奥行３１２、つまりカメラ位置３１１と障害物領域３１３の障害物との間の距離の最小値を決定する。
次に、前記決定した２本の外接線５０１，５０２と、前記カメラ位置３１１と障害物領域３１３の障害物との間の距離の最小値とから、強調領域３１４を囲む枠３１５を決定する。このとき、前記枠３１５の表示は、図５に示すように、カメラ位置３１１と障害物領域３１３の障害物との間の距離に応じてその表示色を異ならせて表示出力する。例えば、奥行が大（車両から離間）であれば、オレンジ、奥行が小（車両に近接）であれば、赤で表示する。
図５は、この実施の形態の車両周辺監視装置の俯瞰映像における強調領域３１４を示す枠表示の一例を示す説明図である。
なお、図５に示すように、強調領域３１４全体を囲むように枠３１５を決定し表示出力するのではなく、図６に示すように強調領域３１４のカメラ側の枠部分のみを表示するようにしてもよい。図６は、強調領域３１４を示す枠３１５の他の表示形態の一例を示す説明図である。

次に、カメラの高さに応じた俯瞰画像上の対象物体の動きをモデル化し、実映像に対しモデル推定することで、対象物体の三次元計測を行い、障害物を検知するときの俯瞰映像上の３次元物体の動きモデルを示す式（２）の導出と、式（２）からの式（３）の導出を説明する。

図３に示すように、特徴点ｐの３次元実空間上の位置ベクトルＸｐを［Ｘ_ｐ ，Ｙ_ｐ ，Ｚ_ｐ ］^Ｔ とし、時刻ｔにてカメラは[０，０，Ｈ]の位置にあるとする。ここで，Ｈはカメラの路面に対する高さである。
特徴点ｐの俯瞰映像上の位置ベクトルｘ_ｐ を［ｘ_ｐ ，ｙ_ｐ ，０］^Ｔ としたとき、ベクトルＸｐ＝［Ｘ_ｐ ，Ｙ_ｐ ，Ｚ_ｐ ］^Ｔ とベクトルｘ_ｐ ＝［ｘ_ｐ ，ｙ_ｐ ，０］^Ｔ との間には式（１）が成立する。
ここでｋ_ｐ ＝Ｈ/（Ｈ−Ｚ_ｐ ）とおけば、式(1)は以下に示す式（４）のように書き換えることができる。

一方、真の俯瞰映像とはカメラは無限の高さにあるときで（Ｈ＝∞）、ｋ_ｐ ＝１となり、式(４)より、式（５）のようになる。

つまり、俯瞰映像に映る特徴点位置ベクトルｘ_ｐ ＝［ｘ_ｐ ，ｙ_ｐ ，０］^Ｔ は、真の俯瞰映像の位置［Ｘ_ｐ ，Ｙ_ｐ ，０］^Ｔ に対して、カメラ高と特徴点の高さに応じた係数ｋ_ｐ だけ乗じたものである。
今、対象物ｐはカメラに対して、時刻ｔにおいて３次元実空間ではベクトルＸｐ＝［Ｘ_ｐ ，Ｙ_ｐ ，Ｚ_ｐ ］^Ｔ の位置にあり、ヨーレートω、相対速度Ｖ_Ｘ 、Ｖ_Ｙ の相対運動で移動していたとする。なお、バウンシング・ロール・ピッチング運動はなかったとする。
このとき、時刻ｔ+Δｔでの対象物ｐの３次元実空間上の位置ベクトルＸｐ（ｔ+Δｔ）＝［Ｘ_ｐ （ｔ+Δｔ），Ｙ_ｐ （ｔ+Δｔ），Ｚ_ｐ （ｔ+Δｔ）］^Ｔ は、以下のように式（６）で与えられる。

式(６)より、バウンシング・ロール・ピッチング運動がなかったとすれば、Ｚ_ｐ （ｔ）＝Ｚ_ｐ （ｔ+Δｔ）であり、ｋ_ｐ ＝Ｈ/（Ｈ−Ｚ_ｐ ）より、係数ｋ_ｐ は時間によらず一定となる。式(６)は以下のように式（７）のように書き換えることができる。

ところで、時刻ｔとｔ＋Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘ_ｐ ＝［ｘ_ｐ （ｔ），ｙ_ｐ （ｔ），０］^Ｔ 、ベクトルｘ_ｐ ＝［ｘ_ｐ （ｔ+Δｔ），ｙ_ｐ （ｔ+Δｔ），０］^Ｔ は、係数ｋ_ｐ は時間によらず一定となるため、式(５)より以下の式（８）のように与えられる。

時刻ｔ+Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘ_ｐ （ｔ+Δｔ）＝［ｘ_ｐ （ｔ+Δｔ），ｙ_ｐ （ｔ+Δｔ），０］^Ｔ を、式(７),(８)に代入すると、式（９）に示すようになる。

この結果、時刻ｔとｔ+Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘ_ｐ （ｔ）＝［ｘ_ｐ （ｔ），ｙ_ｐ （ｔ），０］^Ｔ 、ベクトルｘ_ｐ （ｔ+Δｔ）＝［ｘ_ｐ （ｔ+Δｔ），ｙ_ｐ （ｔ+Δｔ），０］^Ｔ には、以下の関係式（１０）が成立する。

さて、対象物ｐのカメラに対する相対運動は、実際には対象物ｐは静止物であり、カメラが移動して生じたものとする。つまり、自車両の動きによって生じたものとする。また、俯瞰映像に映る静止物中の特徴点は、対象物ｐの他に、全部でＰ個あったとする。
このとき、静止物に対する相対運動は共通であるため、時刻ｔとｔ+Δｔでの特徴点の俯瞰映像上の位置ベクトルｘ_ｐ （ｔ）＝［ｘ_ｐ （ｔ），ｙ_ｐ （ｔ），０］^Ｔ 、ベクトルｘ_ｐ （ｔ+Δｔ）＝［ｘ_ｐ （ｔ+Δｔ），ｙ_ｐ （ｔ+Δｔ），０］^Ｔ 、１＜ｐ＜Ｐは式(１０)より以下のように式（１１）で与えられる。

式(１１)は以下のように式(１２)に書き換えることができる。

ここで、次に示す式（１３）、式（１４）であり、ベクトルｍ（ｔ+Δｔ）、ｎ（ｔ+Δｔ）およびｃ_ｘ （ｔ+Δｔ）、ｃ_ｙ （ｔ+Δｔ）は時刻ｔから時刻ｔ+Δｔでのカメラと対象物との回転運動と併進運動の相対運動を示し、ベクトルｓ_ｐ （ｔ）は式（４）から実質上は時刻ｔでの特徴点ｐの３次元実空間上の位置と見なすことができる。

ところで、時刻ｔから時刻ｔ+２Δｔでのカメラと対象物との相対運動情報ｍ（ｔ+２Δｔ）、ｎ（ｔ+２Δｔ）、ｃ_ｘ （ｔ+２Δｔ）、ｃ_ｙ （ｔ+２Δｔ）を得たならば、時刻ｔ+２Δｔでの、俯瞰映像上の特徴点の位置ベクトルｘ_ｐ （ｔ+２Δｔ）＝［ｘ_ｐ （ｔ+２Δｔ），ｙ_ｐ （ｔ+２Δｔ），０］^Ｔ 、１＜ｐ＜Ｐは式（１２）より、以下のように式（１５）で与えられる。

式(１２)、(１５)をまとめると、次に示す式（１６）となる。

今、時間間隔Δｔで時刻ｔからｔ+ＦΔｔにわたり、俯瞰映像上において、全部でＰ個の特徴点の位置が観測されたとする。なお、この観測は特徴点抽出・追跡にて行う。すると式(１６)を拡張して、以下の関係式（１７）が得られる。

式(１７)が俯瞰映像上の３次元物体の動きの数式モデルである。
なお、式(１７)は以下に示す式（１８）のように行列の積として書き換えることができる。

ここで、行列Ｗ、Ｍ、Ｓは以下に示す式（１９）のように与えられ、行列Ｗは特徴点抽出・追跡で得られた時刻ｔからｔ+ＦΔｔの俯瞰映像上の各特徴点の位置を示し、行列Ｍは時刻ｔからｔ+ＦΔｔの相対運動を示し、行列Ｓは時刻ｔでの各特徴点の３次元実空間上の位置を示す。

式(１８)の関係式を利用して、俯瞰映像上の特徴点の位置の変化から、相対運動と３次元実空間の位置を得る。

次に、モデル推定方法の概略について説明する。
式（１８）に示すＷ＝ＭＳより、俯瞰映像上の特徴点の位置の変化を示す行列Ｗから、相対運動を示す行列Ｍと３次元形状を示す行列Ｓに分割するには以下の手順で行う。
式（１９）より、行列Ｗは２Ｆ×Ｐの大きさの行列である。行列Ｍは、ベクトルｍ、ｎ
が２次元であるため２Ｆ×３の大きさの行列であり、行列Ｓはベクトルｓが３次元であるため３×Ｐの大きさの行列である。つまり、行列Ｗは階数３の行列である。そこで、以下のように、一旦、行列Ｗに対して特異値分解を行う。

ここで、Ｕは２Ｆ×Ｈの直交行列、ΣはＨ×Ｈの対角行列、Ｖ^Ｔ はＨ×Ｐの直交行列であり、ＨはＨ＝ｍｉｎ｛２Ｆ，Ｐ｝と与えられる。また、Σの対角要素は
σ_１ ＞σ_２ ＞…σ_ｐ と降順に並んでいるとする。
行列Ｗは階数３の行列となるため、σ_４ 以降はノイズ成分とみなせることより、式（２１）に示すように行列Ｕの３列分を抽出する。

ここから、式（２２）に示すように仮の分解結果を得ることができる。

次に拘束行列の計算を行う。式（２２）の分解結果は図１４の（式１）を満たすが、得られた図１４の行列（１）は、一般には図１４の（式２）を満たさない。例えば、適当な３×３の大きさの行列Ａを用いて、図１４の（行列１）を以下に示す式（２３）のように変換しても、Ｗ＝ＭＳを満たしてしまう。つまり、行列Ａを適切に選択する必要がある。

行列Ａを適切に選択するため、以下の拘束条件を導入する。
（ａ）回転成分の拘束条件
式（１９）より行列Ｍは以下の式（２４）で示すように構成される。

ここで、ベクトルｍｎは式（１３）を例に示すとおり、回転成分を示すため、以下の拘束条件が存在する。

（ｂ）路面の拘束条件
式（１９）より行列Ｓは以下のように構成される。

また、ベクトルＳ_Ｐ （ｔ）は式（１４）よりＳ_Ｐ （ｔ）＝［ｘ_ｐ （ｔ） ｙ_ｐ （ｔ）
ｋ_ｐ ］^Ｔ であり、ｋ_ｐ はｋ_ｐ ＝Ｈ/（Ｈ-Ｚ_ｐ ）と与えられる。ここで、ｋ_ｐ はＺ_ｐ ＜Ｈの条件で、Ｚ_ｐ が増加すれば、ｋ_ｐ も増加する。つまり対象物がカメラより下にある限り、対象物が高ければ高いほど、ｋ_ｐ は大きな値を有する。
ｋ_ｐ が最小となるのは、対象物が路面にあるとき、つまりＺ_ｐ ＝０であり、そのときｋ_ｐ ＝１となる。俯瞰映像は常時路面を撮影しているため、俯瞰映像上には、ｋ_ｐ ＝１
を満たす特徴点が必ず存在する。すなわち、ｋ_ｐ に対して以下の拘束条件が存在する。

以上、式（２５）および式（２７）を満たすように、行列Ａを定めればよい。

次に、三次元計測処理部６の三次元計測処理および障害物検知処理部７の障害物検知処理についてさらに説明する。
図１２は、俯瞰映像から得られた立体物の三次元情報と相対運動情報とから検知した自車両１１に対する距離による障害物エリアＡと、衝突予想時間による障害物エリアＢとを示す説明図である。
図１３は、この実施の形態の車両周辺監視装置における三次元計測処理部６および障害物検知処理部７の動作を示すフローチャートである。
三次元計測処理部６の三次元計測処理では、俯瞰映像上の特徴点の三次元座標情報と、前記特徴点と自車両１１との相対運動情報とを前述したように式（１）および式（２）から算出する（ステップＳ４１）。
この特徴点の三次元座標情報は、三次元位置行列Ｓとして求められ（ステップＳ４２）
、また前記特徴点と自車両１１との相対運動情報とは、相対運動行列Ｍとして求められる（ステップＳ４３）。
そして、三次元位置行列Ｓとして求めた特徴点の三次元座標情報に対してはｚ軸方向の高さによる閾値処理を行う（ステップＳ４４）。
この閾値処理では、ｚ軸方向の高さ情報が零でなくある値を有している特徴点を所定の高さ基準値をもとに障害物候補特徴点とし（ステップＳ４５）、またｚ軸方向の高さ情報が零である特徴点を非障害物特徴点とする（ステップＳ４６）。
そして、前記障害物候補特徴点については、その特徴点の三次元座標情報をもとに自車両１１との間の距離が明らかになることから、自車両１１と障害物候補特徴点との間の距離に対し所定の距離基準値をもとに閾値処理を行う（ステップＳ４７）。そして、遠距離障害物特徴点と近距離障害物特徴点とに識別を行う（ステップＳ４８、ステップＳ４９）
。
近距離障害物特徴点として識別した特徴点は、例えば図１２に示す障害物エリアＡに含まれる特徴点である。
また、遠距離障害物特徴点として識別した特徴点については、ステップＳ４３において求めた相対運動行列Ｍをもとに、衝突予想時間に対し所定の衝突予想時間基準値をもとに閾値処理を行う（ステップＳ５１）。そして、低危険度障害物特徴点と早期到達障害物特徴点とに識別する（ステップＳ５２、ステップＳ５３）。
早期到達障害物特徴点は、例えば図１２に示す障害物エリアＢに含まれる特徴点である
。

以上説明したように、この実施の形態の車両周辺監視装置では、前記識別した低危険度障害物特徴点、早期到達障害物特徴点をもとに障害物を検知する。そして、強調領域描画処理部８は、低危険度障害物であるか、あるいは早期到達障害物であるかに応じて、前記障害物を含む強調領域を囲む枠の表示色を異ならせ、前記強調領域を俯瞰映像上へ表示出力することが可能である。

また、この実施の形態によれば、俯瞰映像上の障害物が歪んで表示される特性に従って前記俯瞰映像上の障害物領域を強調して表示できるため、前記俯瞰映像上の障害物の歪んでいる状態が明確化されて前記俯瞰映像上で歪んで表示される障害物を容易に把握できる車両周辺監視装置を提供できる効果がある。
また、俯瞰映像上で歪んで表示される障害物を枠で囲むようにして明確化し強調して表示するため、前記俯瞰映像上の障害物の歪んで表示される個所や状態が容易に把握できる車両周辺監視装置を提供できる効果がある。
また、カメラ位置３０１と障害物との間の距離、前記障害物が低危険度障害物であるか、あるいは早期到達障害物であるかに応じて、強調領域３０４を囲む枠３０５の表示色を異ならせて表示出力できる。このため、俯瞰映像上で歪んで表示される障害物が明確化され強調されるだけでなく、障害物が自車両に対し近い距離にあるか離れた位置にあるかを俯瞰映像上で直観的に把握できる車両周辺監視装置を提供できる効果がある。また、障害物と自車両との相対運動を考慮した障害物と自車両との位置関係を俯瞰映像上で直観的に把握できる車両周辺監視装置を提供できる効果がある。

４……特徴点抽出処理部、５……特徴点追跡処理部、６……三次元計測処理部、７……障害物検知処理部、８……強調領域描画処理部、９……強調領域加算部、１０……表示部、１１……自車両、１１４……前方カメラ（撮像装置）、１１２……後方カメラ（撮像装置）、１１１……右カメラ（撮像装置）、１１３……左カメラ（撮像装置）。

Claims (8)

1. 車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、
   前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰映像を合成する映像合成手段と、
   前記映像合成手段により合成した俯瞰映像上の画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点として抽出する特徴点抽出処理部と、
   前記俯瞰映像の時系列映像から前記特徴点抽出処理部で抽出した前記特徴点の前記俯瞰映像上での位置の変化を追跡する特徴点追跡処理部と、
   前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰映像上での位置の変化をもとに前記特徴点の三次元座標における高さを含む特徴点情報を算出する三次元計測処理部と、
   前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、
   前記映像合成手段により合成された俯瞰映像を表示する表示部と、
   前記障害物検知処理部で障害物と判定した前記画像を含む領域を、前記障害物と判定した画像の撮像位置に応じて決定し、該決定した領域を強調して強調領域として描画する強調領域描画処理部と、
   前記強調領域を前記俯瞰映像に重畳して前記表示部に表示させる強調領域加算部と、
   を備えたことを特徴とする車両周辺監視装置。
2. 前記強調領域は、前記障害物検知処理部で前記障害物と判定した画像を撮像するカメラ位置から前記障害物と判定した画像領域に対する外接線と、前記画像領域と前記カメラ位置との間の前記俯瞰映像上の距離である奥行をもとに決定されることを特徴とする請求項１記載の車両周辺監視装置。
3. 前記強調領域描画処理部が前記外接線と前記奥行とをもとに決定した前記強調領域は、前記外接線と前記奥行とをもとに、その強調領域周囲の少なくとも一部、あるいは全部が枠で規定されて強調されていることを特徴とする請求項２記載の車両周辺監視装置。
4. 前記強調領域を規定する枠は、前記奥行に応じて異なる表示色を有していることを特徴とする請求項３記載の車両周辺監視装置。
5. 前記三次元計測処理部は、前記撮像装置の高さに応じた俯瞰画像上の対象物体の動きを前記特徴点をもとにモデル化し、実映像に対しモデル推定することで、前記特徴点の三次元座標における高さを含む特徴点情報を算出することを特徴とする請求項１記載の運転支援装置。
6. 前記障害物検知処理部が行う障害物であるか否かの判定は、前記特徴点の三次元座標における高さについての情報から所定の高さ基準値をもとに障害物候補となる障害物候補特徴点を識別し、前記識別した障害物候補特徴点をもとに前記特徴点を抽出した画像が障害物であるか否かを判定することを特徴とする請求項１記載の車両周辺監視装置。
7. 前記障害物検知処理部が行う障害物であるか否かの判定は、前記特徴点の三次元座標における高さについての情報から所定の高さ基準値をもとに障害物候補となる障害物候補特徴点を識別し、前記識別した障害物候補特徴点と前記車両との距離が前記車両に対し近距離の障害物範囲に含まれる距離であるか、あるいは遠距離の障害物範囲に含まれる距離であるかを所定の距離基準値をもとに判定し、前記判定結果から前記障害物候補特徴点を遠距離障害物特徴点と近距離障害物特徴点とに識別し、前記近距離障害物特徴点を抽出した画像が前記車両に対する近距離の障害物であるか否かを前記識別結果をもとに判定することを特徴とする請求項１記載の車両周辺監視装置。
8. 前記三次元計測処理部が算出する特徴点情報は、前記車両と前記特徴点との前記俯瞰映像上での相対運動情報を含み、前記障害物検知処理部が行う障害物であるか否かの判定は、前記特徴点の三次元座標における高さについての情報から所定の高さ基準値をもとに障害物候補となる障害物候補特徴点を識別し、前記識別した障害物候補特徴点と前記車両との距離が前記車両に対し近距離の障害物範囲に含まれる距離であるか、あるいは遠距離の障害物範囲に含まれる距離であるかを所定の距離基準値をもとに判定し、前記判定結果から前記障害物候補特徴点を遠距離障害物特徴点と近距離障害物特徴点とに識別し、前記識別した遠距離障害物特徴点に対し、前記三次元計測処理部で算出した前記相対運動情報と所定の衝突予想時間基準値とをもとに衝突予想時間について判定し、前記判定結果から低危険度障害物特徴点と早期到達障害物特徴点とに識別し、前記早期到達障害物特徴点を抽出した画像が前記車両に早期に達する障害物であるか否かを、前記識別結果をもとに判定することを特徴とする請求項１記載の車両周辺監視装置。

Images