JP2012071635A5

JP2012071635A5 -

Info

Publication number: JP2012071635A5
Application number: JP2010216349A
Authority: JP
Filing date: 2010-09-28
Publication date: 2013-01-17

Description

駐車支援装置

本発明は、駐車時における自車両周囲の状況を運転者に認識させるための俯瞰画像を表示することで運転者の運転操作を支援する駐車支援装置に関する。

従来、自車両（以下単に自車と略称する）の死角領域の確認のために車両上方の仮想視点から見下ろした俯瞰画像をモニタ表示して、運転者を支援する技術が知られている。この俯瞰画像は、複数の車載カメラで車両周囲を撮影し、これら複数の車載カメラで取得された撮影画像を車両上方の仮想視点から見下ろした画像に視点変換して繋ぎ合わせることにより得られる。その際、自車を表す自車イメージをモニタ表示される俯瞰画像の中心に合成することで、自車周囲の様子が運転者に容易に認識させる工夫がなされている。

そのような俯瞰画像を用いた従来の駐車支援装置の１つとして、自車の周囲の画像を取得する撮像手段と、自車の画像のデータを予め格納すると共に、撮像手段により取得された画像のデータを格納する記憶手段と、前記自車の周囲の画像及び自車の画像から前記自車を上方の仮想視点から見た俯瞰画像を生成する画像変換手段と、自車の周囲の障害物を検出し、障害物情報として障害物の自車からの距離及び相対速度を算出する障害物検出手段と、この障害物情報に基づいて障害物が移動体であると判定したとき、当該障害物が俯瞰画像の端に表示されるように縮尺を変更してモニタ表示させる装置が知られている（例えば、特許文献１参照）。この装置では、俯瞰画像の表示において、自車と周囲の障害物とが接近したとき、自車を中心として障害物が俯瞰画像の端になるように縮尺を変更して俯瞰画像が拡大して表示される。これにより、自車と障害物とが明確に表示されるが、障害物が検知されることが拡大表示のトリガーとなっているので、障害物が検知されなければ拡大表示はされない。そのため、運転者には拡大表示だけに頼るわけにはいかないという不安が生じる。

また、自車イメージが画面中央に固定されて自車周囲俯瞰画像が自車の移動に伴い変化する第１俯瞰画像表示形態と、自車周囲俯瞰画像が画面上で固定されて自車イメージの位置が自車の移動に伴い変化する第２俯瞰画像表示形態とをそのときの状況などに応じて選択的に切り替えながらモニタ表示する駐車支援装置も知られている（例えば、特許文献２参照）。この装置では、第１俯瞰画像表示形態と第２俯瞰画像表示形態とでは自車イメージの表示俯瞰画像中の位置は異なっているが、状況に応じて拡大表示されるわけではないので、自車が特別に注意を払うべき位置にいることが特別に示されるわけではない。

特開２００９‐１１１９４６号公報（段落番号〔００１１−００５７〕、図４）特開２００７‐１８３８７７号公報（段落番号〔０００６−００２１〕、図５）

上記実情に鑑みて、本発明の目的は、駐車走行時に注意すべき領域が明確にモニタ表示される表示俯瞰画像が生成される駐車支援装置を提供することにある。

本発明による駐車支援装置の特徴は、自車周辺を撮影するカメラによって取得された撮影画像から視点変換を通じて俯瞰画像を生成する俯瞰画像生成部と、設定された駐車目標位置への駐車経路を生成する駐車経路生成部と、前記駐車経路に沿った経路進行に伴う曲率の変動に基づき、注意領域を決定する注意領域決定部と、前記俯瞰画像生成部によって生成された俯瞰画像における前記注意領域を含む俯瞰画像をモニタに表示する自車周辺の表示画像として入力し、当該入力した俯瞰画像における自車位置に自車イメージを合成して表示俯瞰画像を生成する画像合成部とを備えた点にある。

駐車目標位置を設定することで生成される駐車経路に沿った走行において自車が他の駐車自車や障害物との接触事故や脱輪などを起こしやすい領域は、例えば統計的に想定することができる。このことから、注意領域決定部によって決定された駐車経路に沿った駐車走行時に注意すべき注意領域がモニタに表示される表示俯瞰画像に含まれるように、撮影画像から生成された俯瞰画像を調整する。これにより、注意領域のモニタでの視認が可能となる。
さらに、この注目すべき注意領域が表示俯瞰画像に含まれるように調整する際に、自車イメージを表示俯瞰画像の中心に配置するという制約条件をなくすると好適である。これにより、モニタに注意領域と自車イメージが無駄なく表示され、駐車走行時に注意すべき領域を運転者が確認しやすい。しかも注意領域の確認が容易であり、自車イメージを中心からオフセットした俯瞰画像の表示のために、障害物検知といったイベントの発生をトリガーとしないので、より安定した駐車支援が可能となる。

注意領域のモニタでの視認を可能にする具体的な構成として、本発明による駐車支援装置では、自車周辺を撮影するカメラによって取得された撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての俯瞰画像を生成する俯瞰画像生成部と、設定された駐車目標位置への駐車経路を生成する駐車経路生成部と、前記俯瞰画像を前記モニタにおける俯瞰画像表示領域に表示するために前記俯瞰画像をトリミングする画像トリミング部と、前記俯瞰画像における自車位置に自車イメージを合成して表示俯瞰画像を生成する画像合成部と、前記駐車経路に沿った駐車走行時に注意すべき注意領域を決定する注意領域決定部と、前記注意領域を前記表示俯瞰画像に含めるために前記自車イメージが前記表示俯瞰画像の中心からオフセットされるトリミング条件情報を生成して画像トリミング部に与えるトリミング条件情報生成部とが備えられている点にある。

この構成では、注意領域決定部によって決定された駐車経路に沿った駐車走行時に注意すべき注意領域がモニタに表示される表示俯瞰画像に含まれるように、撮影画像から生成された俯瞰画像をトリミングする。さらに、この注目すべき注意領域が表示俯瞰画像に含まれるようにトリミングする際に、自車イメージを表示俯瞰画像の中心に配置するという制約条件をなくする。これにより、自車イメージを表示俯瞰画像の中心からオフセットするようなトリミングを行うこと可能となり、モニタに注意領域と自車イメージが無駄なく表示され、駐車走行時に注意すべき領域を運転者が確認しやすい。しかも注意領域の確認が容易であり、自車イメージを中心からオフセットした俯瞰画像の表示のために、障害物検知といったイベントの発生をトリガーとしないので、より安定した駐車支援が可能となる。
なお、注意領域が複数存在している場合、自車位置に応じて最も重要な注意領域つまりもっとも逼迫度の高い注意領域を注目すべき注意領域とするとよい。つまり、前記注意領域が複数存在する場合、高逼迫度の注意領域が前記表示俯瞰画像に含められる構成が好都合である。

複数の注意領域のなかからトリミング時に注目すべき高逼迫度の注意領域を選ぶための好適な具体例の１つとして、本発明では、前記自車と前記注意領域とが所定距離内である場合に当該注意領域に前記高逼迫度を設定する、つまり注目注意領域として設定することが提案される。自車が設定された駐車経路に沿って走行しているので、自車の駐車経路での走行距離を算定することで簡単に自車と注意領域との間の距離が得られるので演算処理的に好都合である。

高逼迫度の注意領域と自車イメージとが含まれるように俯瞰画像から表示俯瞰画像をトリミングする際に、前記高逼迫度の注意領域と前記自車イメージとを含むことになる最小領域で前記俯瞰画像がトリミングされるようにすると、そのトリミングされた表示俯瞰画像は通常の表示俯瞰画像に比べて拡大された画像となる可能が高くなる。これにより、危険性がより明確な俯瞰画像がモニタ表示されることになる。

自動車等の操向特性から駐車時に実行されるカーブ走行では、車体のコーナ端部が大きく振れ、このコーナ端部が他の車両や障害物に接触する可能性が高い。従って、本発明の好適な実施形態の１つでは、前記注意領域決定部は、前記駐車経路に沿った駐車走行時において自車の端部が駐車経路から大きく振れる領域を前記注意領域として決定するように構成されている。

自車に障害物を検出する機能が備わっている場合、その障害物検出部で生成された自車周辺の障害物の存在に関する障害物情報に基づいて追加的な注意領域を設定することができる。従って、そのような車両においては、前記注意領域決定部は、自車周辺の障害物の存在に関する障害物情報に基づいて、前記駐車経路における自車と前記障害物とが所定距離内に接近する接近領域を求め、当該接近領域を特別注意領域として追加的に決定する好適な構成を採用することができる。このような障害物情報に基づく注意領域はより緊急度が高いとみなされるので、先の注意領域に比べ優先的に処理するようにすると好都合である。

本発明による駐車支援装置を搭載した車両の一部を切り欠いた車両斜視図である。複数の車載カメラの撮影範囲を示す平面図である。駐車支援制御ユニットを含む車両制御システムの一部を模式的に示す機能ブロック図である。駐車経路と注意領域とを模式的に示す説明図である。駐車支援制御ユニットの入力画像処理モジュールと出力画像処理モジュールの機能ブロック図である。撮影画像から俯瞰画像を経て表示俯瞰画像が生成される工程を模式的に示す説明図である。適正な表示画像を生成するために俯瞰画像を通常トリミングとオフセットトリミングでトリミングして表示する様子を示す模式図である。オフセットされた領域の拡大画像を表示するための拡大オフセットトリミングを示す模式図である。駐車支援制御のメインルーチンを示すフローチャートである。俯瞰画像に対するトリミング形式の選択を決定するルーチンを示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、自車に備えられた複数のカメラの撮影画像を元にして、自車を上方から見下ろした形態となる俯瞰画像を生成してモニタに表示することが可能な駐車支援装置が例示されている。

図１及び図２に示すように、左右の前輪１１ａと１１ｂが操舵輪として、左右の後輪１２ａと１２ｂが非操舵輪として構成されている車両に、複数の車載カメラが設置されている。車両後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドアに備えられた左サイドミラー９２の下部には左サイドカメラ１ｂが備えられ、右前部ドアに備えられた右サイドミラー９３の下部には右サイドカメラ１ｃが備えられている。また、車両前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ〜１ｄを総称してカメラ１（車載カメラ）と称する。

カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両に設置され、車両からおおよそ８ｍ程度までの領域を撮影可能である。左サイドカメラ１ｂ及び右サイドカメラ１ｃはサイドミラー９２及び９３の底部に光軸を下方に向けて設置され、車両側面の一部と路面（地面）とがその被写体となる。図２に示すように、車両前部と後部の左右コーナ端部の外方位置には２つのカメラの撮影画像における重複領域Ｗ（図２を参照）が形成される。カメラ１による４つの撮影画像からの俯瞰画像の生成時にはこの重複領域Ｗを区分けする境界線を目立たなくするような画像処理が実施される。
駐車支援においては、カメラ１による撮影画像ないしは当該撮影画像を用いて生成された駐車支援用画像がモニタ２１に表示される。また、駐車出発点から目標とする駐車領域までの駐車経路に基づく音声による駐車案内もスピーカ２２から発せられる。駐車領域の確認やその他の操作入力はモニタ２１に装着されたタッチパネル２１Ｔを通じて行われる。

車両内部には、本発明の駐車支援装置の中核をなす駐車支援制御ユニット（以下単にＥＣＵと称する）２０が配置されている。このＥＣＵ２０は、図３に示すように、情報の入出力を行う入出力インターフェースとしてセンサ入力インターフェース２３や通信インターフェース８０などを備えると共に、入出力インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。また、入出力インターフェースの一部又は全てがこのようなプロセッサに含まれていてもよい。

センサ入力インターフェース２３には、運転操作や移動状態を検出するための車両状態検出センサ群が接続されている。車両状態検出センサ群には、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ２４、シフトレバーのシフト位置を判別するシフト位置センサ２５、アクセルペダルの操作量を計測するアクセルセンサ２６、ブレーキペダルの操作量を検出するブレーキセンサ２７、自車の走行距離を検出する距離センサ２８などが含まれている。
また、通信インターフェース８０は、車載ＬＡＮを採用しており、タッチパネル２１Ｔやモニタ２１だけでなく、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。

ＥＣＵ２０には、報知出力機能部として、ＤＳＰで構成される出力画像処理モジュール６０と音声処理モジュール７０が備えられている。出力画像処理モジュール６０で生成されたＧＵＩ用の各種画像情報や車両誘導のための補助画像を含む撮影画像情報はモニタ２１に表示される。音声処理モジュール７０で生成された車両誘導のための音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。さらに、ＥＣＵ２０には、入力画像処理モジュール５０と、駐車目標位置設定部３１と、注意領域決定部３２と、駐車経路生成部３３と、誘導制御部３４と、位置情報算定部３５とである。この実施形態では障害物検出部３６も備えられている。

入力画像処理モジュール５０は、カメラ１によって取得された撮影画像を処理して得られた処理済み画像を、他の機能部や出力画像処理モジュール６０に転送するが、入力画像処理モジュール５０と出力画像処理モジュール６０の機能は後で詳しく説明する。

駐車目標位置設定部３１は、入力画像処理モジュール５０で前処理を終えた撮影画像に基づいて画像処理的にまたは人為操作的にあるいはその両方で、図４で示すような、自車を駐車させるための目標駐車領域Ｐaを設定するとともにその駐車走行の到達点となる目標駐車位置としての駐車完了位置Ｐeを設定する。また、駐車目標位置設定部３１は、この駐車のために停止した自車位置を駐車走行の出発点となる駐車出発点Ｐｓとして設定する機能も有する。なお、図４に示す例では、目標駐車領域Ｐaとして、路面に作り出される１つ、または２つの区画線Ｙ（駐車区画線または路肩境界線）を境界基準とする領域が設定されている。図４の（ａ）は、区画線Ｙとしての駐車白線によって境界付けられた目標駐車領域Ｐaへの車庫入れ駐車を示しており、図４の（ｂ）は、路肩境界線と自車幅によって境界付けられた目標駐車領域Ｐaへの縦列駐車を示している。

駐車経路生成部３３は、図４で例示するような、駐車経路Ｋを生成する。この駐車経路Ｋは、駐車出発点Ｐｓから駐車目標位置である駐車完了位置Ｐeまでを結ぶ経路であり、部分的に直線が含まれたり、または全体として直線であったりしてもよいが、実質的には１つ以上の曲線で示すことができる。なお駐車経路Ｋの生成アルゴリズムは、従来から知られており、特開２００３‐２３７５１１号公報や特開２００８‐２８４９６９号公報などを参照することができる。

注意領域決定部３２は、駐車経路生成部３３によって生成された駐車経路Ｋに沿った駐車走行時に注意すべき注意領域Ｚを決定する。図４の（ａ）に示す例では、車庫入れ駐車時の駐車経路Ｋ1とＫ2に沿って現れる４つの注意領域Ｚ（Ｚ1,Ｚ2,Ｚ3,Ｚ4）が決定されている。また、図４の（ｂ）に示す例では、縦列駐車時の駐車経路Ｋに沿って現れる３つの注意領域Ｚ（Ｚ1,Ｚ2,Ｚ3）が決定されている。これらの注意領域Ｚは、自車の中心が駐車経路Ｋに沿って移動した際に、自車のコーナ端部が駐車経路から大きく振れることにより他の駐車車両や障害物などに接触する可能性が大きくなる領域である。注意領域決定部３２は、決定した注意領域Ｚに関する座標位置等を含む注意領域Ｚ1・・・のリスト情報である注意領域情報を生成して、出力画像処理モジュールに送る。

位置情報算定部３５は、自車の移動時に、自車の誘導に必要な現在の車両位置と、自車に対する目標駐車領域Ｐaの位置とを取得する。つまり、位置情報算定部３５では自車の移動に伴って変化する自車の位置情報を検出する車両位置検出処理と、自車の移動に伴って変化する目標駐車領域Ｐaとの相対的な位置関係を検出する駐車目標位置検出処理とを行う。これらの処理はカメラ１で取得された撮影画像と、距離センサ２８で取得する車両移動量と、ステアリングセンサ２４で計測されるステアリングホイールの操舵量とに基づいて行われる。

誘導制御部３４は、駐車経路生成部３３によって生成された直接駐車経路Ｋに基づく駐車を誘導する。その際、位置情報算定部３５からの位置情報が参照される。誘導制御部３４は、位置情報算定部３５からの位置情報を参照しながら、駐車経路Ｋに沿うように誘導制御によって自車を走行させる制御を実現することができる。しかしながら、誘導制御部３４がパワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫを制御する自動操舵は後進走行だけに限定して、前進走行は人為操舵とするといったように、部分的に人為操舵を組み込んでもよい。いずれにせよ、この誘導制御部３４が、誘導情報を出力画像処理モジュール６０や音声処理モジュール７０に送ることで操舵方向や操舵量をモニタ２１に表示させたり、操舵方向や操舵量をスピーカ２２から出力させたりすることが好ましい。

障害物検出部３６は、それ自体はよく知られているので詳しい説明は省略するが、距離計測処理及び画像認識処理を用いて車両周辺近傍に存在する物体（障害物）を検出する。このため、ここでは図示されていない、車両前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置された複数の超音波センサが接続されている。なお、超音波センサに代えてレーザレーダ等の他の物体検出センサを用いても良い。障害物検出部３６は、各超音波センサにおける反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサの検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。障害物検出部３６は車両周辺の障害物の存在に関する障害物情報を生成して注意領域決定部３２に送る。前記注意領域決定部３２は、この障害物情報に基づいて、駐車経路Ｋにおける自車と障害物とが所定距離内に接近する接近領域を抽出して当該接近領域を特別注意領域として追加的に決定して優先的に処理される注意領域情報を生成することができる。

図５に、ＥＣＵ２０の入力画像処理モジュール５０と出力画像処理モジュール６０の機能ブロック図が示されている。入力画像処理モジュール５０は、自車周辺を撮影するカメラによって取得された撮影画像から自車上方を視点とする視点変換によって俯瞰画像を生成する機能を有している。出力画像処理モジュール６０は、入力画像処理モジュール５０によって生成された俯瞰画像を上述した注意領域情報に基づいてトリミングしてモニタの俯瞰画像表示領域に合わせた表示俯瞰画像を生成する。

入力画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、表示用画像メモリ５７を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２は４つのカメラ１ａ〜１dによって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整して、適切な画像境界線で区分けする。画像生成部５３には、通常画像生成部５４と俯瞰画像生成部５５とマッピングテーブル５６が含まれている。通常画像生成部５４は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像はカメラ１ａ〜１ｄ毎に独立しており、そのモニタ表示を任意に選択することができる。

俯瞰画像生成部５５は、撮影画像メモリ５１に展開されている撮影画像を、マッピングテーブル５６に記録されている変換情報に基づいて自車の周囲を上方から見たときの俯瞰画像に変換し表示用画像メモリ５７に格納する。マッピングテーブル５６は種々の形態で構築することができるが、撮影画像の画素データと俯瞰画像の画素データとの対応関係が記述されたテーブルとして構築し、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたものとするのが好都合である。図６には、縦列駐車時の４つの撮影画像から俯瞰画像への変換の様子が模式的に示されている。後方カメラ１ａによる撮影画像はマッピングテーブル５６によって後方撮影画像を俯瞰画像の後方領域画像に座標変換される。前方カメラ１ｄによる撮影画像はマッピングテーブル５６によって前方撮影画像を俯瞰画像の前方領域画像に座標変換される。左サイドカメラ１ｂによる撮影画像はマッピングテーブル５６によって左サイド撮影画像を俯瞰画像の左領域画像に座標変換される。右サイドカメラ１ｃによる撮影画像はマッピングテーブル５６によって右サイド撮影画像を俯瞰画像の右領域画像に座標変換される。このため、マッピングテーブル５６は各カメラの撮影画像を俯瞰画像に変換するために４つの異なる俯瞰画像マッピングテーブルを備えている。このような４つの撮影画像を用いた俯瞰画像生成は、自車が駐車経路Ｋに沿って走行する間逐次行われ、適切にトリミングされた形態でモニタ表示される。

出力画像処理モジュール６０は、表示用画像メモリ６１、トリミング情報生成部６２、画像トリミング部６３、自車イメージ生成部６４、報知イメージ生成部６５、画像合成部６６、フレームメモリ６７を含んでいる。表示用画像メモリ６１は入力画像処理モジュール５０からの俯瞰画像を一時的に格納するメモリであるが、入力画像処理モジュール５０の表示用画像メモリ５７と兼用してもよい。画像トリミング部６３は、俯瞰画像をモニタ２１における俯瞰画像表示領域に表示するために表示用画像メモリ６１に展開されている俯瞰画像をトリミングする。画像合成部６６は、自車イメージ生成部６４で用意された自車イメージと、報知イメージ生成部６５で駐車案内メッセージなどの報知情報をイメージ化した報知イメージとをトリミングされた俯瞰画像に合成して表示俯瞰画像を生成する。トリミング情報生成部６２は、注意領域決定部３２から送られてきた注意領域情報に基づいて自車位置の所定距離内に入っている注意領域Ｚを表示俯瞰画像に含めるようにトリミングするトリミング条件情報（特殊トリミング処理の実行内容）を生成して画像トリミング部６３に与える。その際に、注意領域Ｚと前記自車イメージとが含まれるできる限り最小領域でトリミングすることで拡大表示が可能となる拡大トリミング条件情報の生成も可能である。

注意領域Ｚが所定距離内に入っている自車位置での俯瞰画像のトリミングの様子が図７に模式的に示されているが、図７の（ａ）は比較目的で、自車イメージを表示俯瞰画像の中心に位置させている従来のトリミング処理（ここでは通常トリミング処理と称している）を示している。この通常トリミング処理は、注目すべき注意領域Ｚつまり自車位置の所定距離内に入っている注意領域Ｚがない場合のトリミング処理である。図７の（ｂ）は、自車位置の所定距離内に注意領域Ｚが入っている場合のトリミング処理（特殊トリミング処理）を示しており、ここでは、注目すべき注意領域Ｚが左下隅に自車イメージが右上端にくるようなトリミング領域でトリミングされている。つまり、点線で示されているトリミング枠が俯瞰画像の中心、つまり自車位置から注意領域が存在する方向にオフセットされている。これにより、最終的にモニタ表示される表示俯瞰画像では自車とともに注意領域、場合によっては接触可能性のある障害物（他車両など）が表示されることになり、運転者にとって好都合である。さらに、図８に示す例では、注意領域Ｚと自車位置とが含まれるできる限り最小領域となるように縮小されたトリミング枠が使用されている。その結果、モニタに表示される表示俯瞰画像は拡大画像となっており、運転者により精密な注意領域の情報を与えることができる。
なお、図７と図８で示すように、モニタ２１の画面は、表示俯瞰画像を表示する俯瞰画像表示領域と、カメラ１による撮影画像（例えば自車進行方向の撮影画像）を表示する撮影画像領域とに区分けされている。

次に、上述のように構成された駐車支援装置による駐車支援制御の流れを図８と図９のフローチャートを用いて説明する。図８は駐車支援制御のメインルーチンを示すフローチャートであり、図９は俯瞰画像に対するトリミング形式の選択を決定するルーチンを示すフローチャートである。
駐車支援制御によって後進駐車を行う場合には、駐車スペースの近傍位置で自車を停車し、停車した自車位置を駐車出発位置として読み込み（＃０２）、この駐車スペースを駐車目標位置として指定する（＃０４）。駐車出発位置と駐車目標位置との間の駐車経路を演算する（＃０６）。駐車経路が求められると、この駐車経路の形態、特に経路進行に伴う曲率の変動に基づいて、自車の一部が障害物と接触する可能性が高い箇所などを注意領域とする判定処理を行う（＃０８）。例えば、自車が駐車経路を移動する際にその周辺に障害物などが存在した場合に、当該障害物に自車が接触する可能性が高い領域は統計学的に推定することができる。もちろん、より高い信頼度でもって推定を行うためには、後進と前進のどちらで走行しているかという条件や、その車両特性、特に操向特性も考慮する必要がある。いずれにしても、予め多数の駐車経路パターンを想定して、その各駐車経路パターンにおける自車経路位置での接触可能性から、注意すべき周囲領域を推定し、その周囲領域を割り当てておくことで、簡単に注意領域の決定が実現できる。この判定処理で決定された注意領域は、その位置や大きさとともに注意領域リストに記録される。

注意領域が決定すると（＃０８）、撮影画像が取り込まれ（＃１０）、この撮影画像から俯瞰画像が生成される（＃１２）。次いで、生成された俯瞰画像に対してトリミング処理を施して、生成された俯瞰画像全体をモニタ画面に表示すると、限られたモニタ画面サイズからさらに割り当てられている俯瞰画像の表示エリアに表示された俯瞰画像は小さすぎて見づらいという問題が生じる。これを解消するために、本発明では、俯瞰画像に対してトリミング処理を施す。利用されるトリミング処理タイプは、後で図１０を用いながら詳しく説明されるトリミング選択フラグに書き込まれているので、このトリミング選択フラグ内容がチェックされる（＃１４）。この実施形態では、トリミング選択フラグの内容が「特殊」であるときに実行される特殊トリミング処理（＃１６）と、トリミング選択フラグの内容が「通常」であるときに実行される通常トリミング処理（＃１８）とが組み込まれている。なお、特殊トリミング処理を行う場合の対象となる注意領域は注意領域リストにおいて識別可能にマーキングされているので、そのマーキングされた注意領域が明確に表示されるようなトリミング処理が行われる。

いずれかのトリミング処理が終了すると、トリミングされた俯瞰画像を用いて表示俯瞰画像が生成され（＃２０）、モニタ２１に表示される（＃２２）。車両誘導が始まると、モニタ２１には駐車支援としての車両誘導メッセージなどの報知メッセージも表示される。所定距離の走行が行われると、自車が駐車目標点に到達したかどうかチェックされる（＃２４）。自車が駐車目標点に到達していなければ（＃２６No分岐）、新たな撮影画像での俯瞰画像を生成し、これをモニタ表示しながら車両誘導を続行するためにステップ＃１０に戻る。自車が駐車目標点に到達すれば（＃２６Yes分岐）、自車は停止し、この駐車支援ルーチンは終了する。

次に、図１０のフローチャートを参照して、前述したトリミング選択フラグにトリミング処理タイプを設定するトリミング選択決定ルーチンを説明する。
まず、トリミング選択フラグに通常トリミング処理の実行を表す「通常」が代入される（＃５０）。さらに、障害物検出部３６で障害物情報が生成され出力されているかどうかチェックされる（＃５２）。障害物情報があれば（＃５２Yes分岐）、障害物情報に含まれている障害物の領域を逼迫度の高い注意領域とみなして、重要注意領域として注意領域リストに加えられる（＃５４）。その後、または障害物情報がない場合（＃５２No分岐）、現在の自車位置が読み込まれる（＃５６）。さらに注意領域リストから注意領域が読み出され、その位置が所定の変数に代入される（＃５８）。

通常は、注意領域リストから複数の注意領域が読み出されるので、以下の判定処理を行うために、１つずつ順番に注目注意領域として指定する（＃６０）。まずは、自車と注意領域との最短の間隔：Δｘが算出される（＃６２）。さらに、その間隔：Δｘが所定のしきい値：ΔＸs未満(Δｘ＜ΔＸs)であるかどうかチェックされる（＃６４）。なお、注意領域が重要注意領域の場合は、しきい値：ΔＸsを大きくしておくことが好都合である。
Δｘ＜ΔＸsが成立している場合（＃６４Yes分岐）、トリミング選択フラグに特殊トリミング処理の実行を表す「特殊」が代入され（＃６６）、その注目注意領域が注意領域リストにおいて特殊トリミング対象としてマーキングされる。

なお、１つの自車位置において、特殊トリミング対象となる注意領域が1つだけと限定すれば、トリミング選択フラグに「特殊」が代入された段階で、この判定処理を終了することができる。しかしながら、１つの自車位置において、特殊トリミング対象となる注意領域が複数決定されることも考慮するなら、注意領域リストにおいて特殊トリミング対象としてマーキングされる段階で、そのリミング選択フラグに「特殊」が代入された段階で間隔：Δｘを注意領域リストに書き込んでおく。そして、新しく。Δｘ＜ΔＸsが成立する注意領域が見つかった場合には、その間隔：Δｘが短い方を上書きして、特殊トリミング対象としてマーキングするようにするとよい。また、重要注意領域は、優先的に特殊トリミング対象としてマーキングするようにしてもよい。

Δｘ＜ΔＸsが成立しない場合（＃６４No分岐）、さらに次の処理すべき注意領域が存在しないかどうかチェックする（＃６８）。次の処理すべき注意領域があれば（＃６８No分岐）、ステップ＃６０に戻って、次の注意領域を注目注意領域として同様な処理を行う。次の処理すべき注意領域がなければ（＃６８Yes分岐）、このルーチンを繰り返すためにステップ＃５０に戻る。

〔別実施の形態〕
上述した実施の形態では、注意領域として検知された障害物の存在領域を含ませているが、本発明はそのような障害物検知の機能を有する車輌に限定されているわけではなく、障害物検知機能のない車輌においても、上述したような注意領域を予め駐車経路から推定することで、より優れた駐車支援画像をモニタ表示することができることが重要である。

本発明は、駐車時における自車両周囲の状況を運転者に認識させるための俯瞰画像を表示することで運転者の運転操作を支援する駐車支援装置に利用することができる。

１：カメラ
３１：駐車目標位置設定部
３２：注意領域決定部
３３：駐車経路生成部
３４：誘導制御部
３５：位置情報算定部
３６：障害物検出部
５０：入力画像処理モジュール
５１：撮影画像メモリ
５３：画像生成部
５７：表示用画像メモリ
６０：出力画像処理モジュール
６２：トリミング情報生成部
６３：画像トリミング部
６４：自車イメージ生成部
６５：報知イメージ生成部
６６：画像合成部
６７：フレームメモリ

Claims

自車周辺を撮影するカメラによって取得された撮影画像から視点変換を通じて俯瞰画像を生成する俯瞰画像生成部と、
設定された駐車目標位置への駐車経路を生成する駐車経路生成部と、
前記駐車経路に沿った経路進行に伴う曲率の変動に基づき、駐車走行時に注意すべき注意領域を決定する注意領域決定部と、
前記俯瞰画像生成部によって生成された俯瞰画像における前記注意領域を含む俯瞰画像をモニタに表示する自車周辺の表示画像として入力し、当該入力した俯瞰画像における自車位置に自車イメージを合成して表示俯瞰画像を生成する画像合成部と、
を備えた駐車支援装置。
自車周辺を撮影するカメラによって取得された撮影画像から視点変換を通じてモニタに表示する自車周辺の表示画像としての俯瞰画像を生成する俯瞰画像生成部と、
設定された駐車目標位置への駐車経路を生成する駐車経路生成部と、
前記俯瞰画像を前記モニタにおける俯瞰画像表示領域に表示するために前記俯瞰画像をトリミングする画像トリミング部と、
前記俯瞰画像における自車位置に自車イメージを合成して表示俯瞰画像を生成する画像合成部と、
前記駐車経路に沿った駐車走行時に注意すべき注意領域を決定する注意領域決定部と、
前記注意領域を前記表示俯瞰画像に含めるために前記自車イメージが前記表示俯瞰画像の中心からオフセットされるトリミング条件情報を生成して画像トリミング部に与えるトリミング条件情報生成部と、
を備えた駐車支援装置。
前記注意領域が複数存在する場合、高逼迫度の注意領域が前記表示俯瞰画像に含められる請求項１または２に記載の駐車支援装置。
前記高逼迫度は前記自車と前記注意領域とが所定距離内である場合に設定される請求項３に記載の駐車支援装置。
前記表示俯瞰画像が拡大画像となるように前記高逼迫度の注意領域と前記自車イメージとを含むことになる最小領域で前記俯瞰画像がトリミングされる請求項３または４に記載の駐車支援装置。
前記注意領域決定部は、前記駐車経路に沿った駐車走行時において自車の端部が駐車経路から大きく振れる領域を前記注意領域として決定する請求項１から５のいずれかに記載の駐車支援装置。
前記注意領域決定部は、自車周辺の障害物の存在に関する障害物情報に基づいて、前記駐車経路における自車と前記障害物とが所定距離内に接近する接近領域を求め、当該接近領域を特別注意領域として追加的に決定する請求項１から６のいずれかに記載の駐車支援装置。