JP6838340B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、航空写真で取得した画像と高さ情報を含む位置情報とを用いて、立体視可能な地図を作成する技術が提案されている。

特開２００３−９８９５７号公報

しかしながら、上述したような地図作成技術は、主に広範囲を表示対象とするもので、例えば、車載の表示装置で車両周辺の限定的な領域を表示するのには向いていない場合が多い。また、車載の表示装置の場合、配置スペースが限られるため画面サイズの大型化は困難であり、表示内容を立体画像としている場合でも、その立体感が利用者に伝わり難いという問題があった。

そこで、本発明の課題の一つは、車室内に配置された表示装置に車両の周辺状況を示す周辺画像を表示する場合に、画像内容の立体感がより明確になり、車両の周辺状況の把握がより容易な表示が可能な周辺監視装置を提供することである。

本発明の実施形態にかかる周辺監視装置は、例えば、車両の進行方向の路面を含む周辺画像を撮像する撮像部から出力された撮像画像データと、上記周辺画像に表された上記路面の領域ごとの高さを示した高さデータと、を含む上記路面の凹凸状態を示す三次元モデル画像を取得する取得部と、取得した上記三次元モデル画像に含まれている上記領域ごとに上記高さデータに基づく上記路面の高さを示す指標を重畳して表示装置に表示する制御部と、を備え、上記制御部は、上記指標とともに、上記三次元モデル画像に上記車両の舵角に基づく進行推定方向を示す進路指標を重畳する場合、上記進路指標を重畳する領域と他の領域とで、上記指標の表示態様を異ならせる。この構成によれば、三次元モデル画像に含まれている領域ごとに路面の高さを示す指標が重畳表示されるので、例えば、路面の高さを直感的に把握させやすくなる。また、舵角に基づく進行推定方向を示す進路指標を重畳することで、例えば、車両の進行推定方向の路面の高さ（高低差）の把握が容易になり、走行しやすい進路の選択をより容易に行わせることができる。この場合、進路指標を重畳する領域と他の領域とで、指標の表示態様を異ならせることにより、車両の進行予定方向の路面の高さ情報をより詳細に提供できるととともに、進行予定方向以外の領域は、高さ情報の表示が、例えば簡略化できるので、演算処理の負荷を軽減できるとともに、画面全体の視認性を向上させることができる。

本発明の実施形態にかかる周辺監視装置の上記指標は、例えば、上記路面の上記凹凸状態を示すワイヤーフレームでもよい。この構成によれば、高さの変化はワイヤーフレームを構成するワイヤの傾きの変化で表現されるので、例えば、高さの変化がより顕著に表現され、路面の高さをより直感的に把握させやすくなる。

本発明の実施形態にかかる周辺監視装置の上記指標は、例えば、上記路面の所定の面を基準に同じ高さの複数の位置をつなぐ等高線でもよい。この構成によれば、例えば、路面の同程度の高さ部分が明確になるので、路面の高さ構成をより直感的に把握させやすくなる。

本発明の実施形態にかかる周辺監視装置の上記指標は、例えば、上記三次元モデル画像の上記領域ごとの勾配方向に応じて移動可能な複数の移動マークであり、上記制御部は、上記領域ごとの勾配状態に応じて上記移動マークの移動速度を異ならせてもよい。この構成によれば、例えば、移動する移動マークの存在により路面の凹凸がより明確になるとともに、移動マークの移動速度により路面の勾配を表現するので、路面の勾配構成をより直感的に把握させやすくなる。

本発明の実施形態にかかる周辺監視装置の上記指標は、例えば、上記高さデータに基づく上記路面の高さを示す、上記三次元モデル画像上で所定の方向に移動する走査線でもよい。この構成によれば、路面の形状に応じて、走査線の形状が変化しながら三次元モデル画像上を所定の方向に移動するので、例えば、部分的な路面形状を把握させやすくなる。なお、走査線は、例えば、一本でも複数本でもよく、走査線の本数を少なくすることで、三次元モデル画像で示される路面画像の視認性を向上させることができる。

本発明の実施形態にかかる周辺監視装置の上記制御部は、例えば、上記指標を、上記三次元モデル画像に上記指標を重畳する領域の上記路面の色の補色で表示してもよい。この構成によれば、指標の表示色を三次元モデル画像に含まれる路面の表示色の補色で表示することにより、例えば、指標の識別性がより向上して、路面の形状把握をより容易に行わせやすくなる。

本発明の実施形態にかかる周辺監視装置の上記制御部は、例えば、上記指標の表示態様を上記路面の高さに応じて異ならせてもよい。この構成によれば、例えば、路面の高さの把握をより容易に行わせることができる。

図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。 図３は、実施形態にかかる周辺監視装置を含む周辺監視システムの一例が示されたブロック図である。 図４は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される指標を表示するため制御部（ＣＰＵ）の構成の一例を示すブロック図である。 図５は、実施形態にかかる周辺監視装置において、指標としてワイヤーフレームを三次元モデル画像に重畳した例を説明する表示例である。 図６は、実施形態にかかる周辺監視装置において、指標が重畳されていない三次元モデル画像の例を説明する画像例である。 図７は、実施形態にかかる周辺監視装置において、三次元モデル画像に重畳する高さ情報を含むワイヤーフレームの態様を説明する画像例である。 図８は、実施形態にかかる周辺監視装置において、三次元モデル画像に、路面の高さを示す指標の一例として、路面の高さにしたがう等高線を重畳した場合の表示例である。 図９は、実施形態にかかる周辺監視装置において、指標としてワイヤーフレームが重畳された三次元モデル画像に、勾配方向に応じて移動可能な複数の移動マークを表示する表示例である。 図１０は、実施形態にかかる周辺監視装置において、指標として三次元モデル画像上を第一の方向に移動する走査線の表示例を説明する図である。 図１１は、実施形態にかかる周辺監視装置において、指標として三次元モデル画像上を第二の方向に移動する走査線の表示例を説明する図である。 図１２は、実施形態にかかる周辺監視装置において、指標の表示色を決定する場合に参照されるデータに対応する色相環の例を示す図である。 図１３は、実施形態にかかる周辺監視装置において、路面の高さに応じて指標の表示態様を変化させた表示例であり、ワイヤーフレームで囲まれた領域のうち所定高さを超える領域の表示色を変化させた例を示す図である。 図１４は、実施形態にかかる周辺監視装置において、路面の高さに応じて指標の表示態様を変化させた表示例であり、ワイヤーフレームで囲まれた領域の表示色を路面の高さごとに変化させた場合を示す図である。 図１５は、実施形態にかかる周辺監視装置において、進路指標を表示する場合に、進路指標の表示部分のみにワイヤーフレームによる路面の高さを示す指標を重畳した例を示す表示例である。 図１６は、実施形態にかかる周辺監視装置において、車両の進路方向の領域のみにワイヤーフレームによる路面の高さを示す指標を重畳した例を示す表示例である。 図１７は、実施形態にかかる周辺監視装置において、車両の進路方向の領域のワイヤーフレームのワイヤ密度（ピッチ）を「密」にして、それ以外の領域のワイヤーフレームのワイヤ密度を「疎」にした表示例である。 図１８は、実施形態にかかる周辺監視装置において、指標を表示する場合の処理手順の前半部分を説明するフローチャートである。 図１９は、実施形態にかかる周辺監視装置において、指標を表示する場合の処理手順の後半部分を説明するフローチャートである。 図２０は、実施形態にかかる周辺監視装置において、指標としてワイヤーフレームを三次元モデル画像に重畳した例で、車両の前方の離間距離を示すようにワイヤーフレームで囲む領域の一部の表示色を変化させた表示例である。 図２１は、実施形態にかかる周辺監視装置において、指標を表示する場合の表示装置における表示領域の他のレイアウト例を説明する説明である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態において、周辺監視装置（周辺監視システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。車両１は、例えば、いわゆる「オンロード」（主として舗装された道路やそれと同等の道路）の走行に加え、「オフロード」（主として舗装されていない不整地路等）の走行も好適に行える車両である。駆動方式としては、４つある車輪３すべてに駆動力を伝え、４輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

本実施形態の周辺監視装置（周辺監視システム）は、一例として、車両１の進行方向を含む周辺領域を撮像する撮像部１５から出力された撮像画像データに基づく画像と、その画像に表された路面の領域ごとの高さを示した高さデータと、を含む路面の凹凸（起伏）状態を示す三次元モデル画像を取得する。なお、路面の領域とは、適宜設定可能な広さを示す領域であり、例えば画面を構成する画素ごとに規定される領域でもよいし、隣接する所定数の画素の集合として規定される領域でもよい。また、画面を複数に分割することによって規定される領域でもよい。そして、この三次元モデル画像に含まれている領域ごとに路面の高さを示す指標（例えば、高さを示す高さデータに基づき起伏状態が変化するワイヤーフレーム）を重畳して表示装置８に表示する。周辺監視装置は、三次元モデル画像に含まれる領域ごとに、路面の高さを示す指標（例えば、ワイヤーフレーム）を重畳表示することにより、路面の高さを直感的に利用者（ユーザ、運転者）に把握させやすくすることができる。

図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面やその周辺の物体（障害物、岩、窪み等）を含む外部環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。なお、撮像部１５ｃは、車室２ａの内部の例えばルームミラーの裏面（フロントガラスに対向する面）に配置してもよい。この場合、撮像部１５ｃの撮像範囲は、ワイパーの払拭領域内に入るように設置することが望ましい。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。周辺監視システム１００を構成するＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータに演算処理や画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したり、特定の領域のみが強調されたような画像データを生成したりする。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる視点（仮想視点）から撮像したような仮想画像データに変換（視点変換）することができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の右側方や左側方の安全確認、車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供することができる。

上述したように、本実施形態のＥＣＵ１４は、路面の領域ごとの高さ示す高さデータに基づき、路面の凹凸状態（三次元形状）を示す三次元モデル画像を取得して、その三次元モデル画像を路面の領域ごとの高さを示す指標（例えば、ワイヤーフレーム）とともに表示装置８に表示する。路面の凹凸状態の検出は、種々の手法によって可能である。例えば、ステレオカメラを用いて、２台の撮像部（カメラ）で物体を同時に撮影し、各カメラで得られた物体の画像上での位置の違い（視差）から、その物体の位置や立体的な形状を検出する。したがって、車両１の前方の路面の凹凸情報を取得する場合には、撮像部１５ｃをステレオカメラとしてもよい。この場合、撮像部１５ｃは、指標を重畳する周辺画像を撮像するとともに、その周辺画像に含まれる路面の形状情報（三次元情報）を取得することができる。また、その路面の形状情報（三次元情報）を用いて、指標としての例えばワイヤーフレームの態様を決定することができる。

なお、路面の凹凸状態（立体情報、三次元情報）を検出する他の実施例としてレーザスキャナ２８を利用することができる。この場合、撮像部１５ｃは単眼のカメラとしてもよく、指標（例えば、ワイヤーフレーム）を重畳するための周辺画像（二次元画像）を撮像する。そして、単眼カメラである撮像部１５ｃが取得した二次元画像にレーザスキャナ２８が取得した路面の三次元情報（凹凸情報）を与えて三次元モデル画像とする。また、レーザスキャナ２８が取得した路面の形状情報（三次元情報）を用いて、指標としての例えばワイヤーフレームの態様を決定する。なお、路面の三次元情報（凹凸情報）を用いて三次元モデル画像を生成する場合、路面の一部を三次元表示としてもよいし、全体を三次元表示としてもよい。また、車両１の後方の路面の凹凸状態（立体情報、三次元情報）を検出する場合は、撮像部１５ａをステレオカメラにしたり、車両１の後方を検出範囲とするレーザスキャナ２８を設けたりすればよい。また、レーザスキャナ２８とステレオカメラとを併用してもよく、この場合、路面の凹凸状態をより高精度で検出できる。

図３に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６（２６ａ，２６ｂ）等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果や、操作入力部１０等の操作信号を、受け取ることができる。なお、撮像部１５ｃを単眼カメラとする場合は、車内ネットワーク２３にレーザスキャナ２８を接続し、ＥＣＵ１４は、レーザスキャナ２８の検出結果に基づき路面の凹凸状態の検出を行いうる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理として、三次元モデル画像の生成処理やその三次元モデル画像に重畳する指標としてのワイヤーフレーム等の生成や指標の表示態様の決定処理等を行う。またＣＰＵ１４ａは、車両１の進行推定方向を示す進路指標の算出処理や、路面の凹凸状態に対して注意喚起を行うための案内（報知）処理等の各種演算や各種処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合であってもデータを記憶することができる。なお、ＣＰＵ１４ａ、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、周辺監視用のＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部（例えば、ブレーキペダル）の位置を検出するセンサである。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。なお、舵角センサ１９の検出結果は、進路指標を表示する場合、進路指標の方向を決定する際にも利用される。

アクセルセンサ２０は、例えば、加速操作部５の可動部（例えば、アクセルペダル）の位置を検出するセンサである。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、各車輪３に配置され、各車輪３で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。ＥＣＵ１４は、各車輪速センサ２２のセンサ値に基づいて車両１の車速を算出する場合、４輪のうち最も小さなセンサ値の車輪３の速度に基づき車両１の車速を決定し、各種制御を実行する。また、ＥＣＵ１４は、４輪の中で他の車輪３に比べてセンサ値が大きな車輪３が存在する場合、例えば、他の車輪３に比べて単位期間（単位時間や単位距離）の回転数が所定数以上多い車輪３が存在する場合、その車輪３はスリップ状態（空転状態）であると見なし、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

加速度センサ２６（２６ａ，２６ｂ）は、例えば車両１に２個設けられている。ＥＣＵ１４は、加速度センサ２６（２６ａ，２６ｂ）からの信号に基づき、車両１の前後方向の傾き（ピッチ角）や左右方向の傾き（ロール角）を算出する。ピッチ角は、車両１の左右軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ピッチ角が０度となる。また、ロール角は、車両１の前後軸周りの傾きを示した角度であり、水平な面（地面、路面）上に車両１が存在する場合に、ロール角が０度となる。つまり、車両１が、水平な路面に存在するか否か、傾斜面（上り勾配の路面または下り勾配の路面）に存在するか否か等が検出できる。なお、車両１がＥＳＣを搭載する場合、ＥＳＣに従来から搭載されている加速度センサを用いてもよい。本実施形態は、加速度センサ２６を制限するものではなく、車両１の前後左右方向の加速度を検出可能なセンサであればよい。

路面の凹凸状態を検出するために、レーザスキャナ２８を備える場合がある。レーザスキャナ２８は、例えば、車体２の前側の車体（車両前後方向の前方側の端部２ｃ）に設けられ、車両１の進行方向における路面の状態を示す状態情報を取得する。レーザスキャナ２８は、センサ内部の光源（レーザダイオード等）から照射されたレーザ光が、測定対象物（例えば、路面や立体物）にあたると反射され、受光素子で受光される。このとき受光した反射光を評価、演算することで、レーザ光が反射した位置までの距離を算出する。その結果、ＥＣＵ１４は、路面の状態、例えば凹凸（勾配）の有無や凹凸が存在する位置（凹凸位置）、凹凸の大きさ（勾配値）、凹凸（勾配）の状態（上り勾配、下り勾配）等の車両１が存在する路面を基準として当該車両１の前方の路面の相対的な状態情報（凹凸情報、相対的な傾き等）を取得する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような三次元モデル画像に高さを示す指標（ワイヤーフレーム、等高線、移動マーク、走査線等）を重畳表示することを実現するために、図４に示されるような各種モジュールを備える。ＣＰＵ１４ａは、モジュールとして、周辺情報取得部３０、舵角取得部３２、モデル画像取得部３４、指標制御部３６、案内処理部３８、出力部４０等を含む。そして、指標制御部３６は、ワイヤーフレーム取得部４２、等高線取得部４４、移動マーク設定部４６、走査線設定部４８、表示態様設定部５０、進路指標取得部５２、重畳部５４等を含む。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。ＣＰＵ１４ａは、各種モジュールによる処理を実行することにより、図５に示すようなに三次元モデル画像で表示された路面６０に指標の一例であるワイヤーフレーム６２を重畳した状態の画面８ａを表示装置８に表示させる。

図５に示すように、ワイヤーフレーム６２は、複数のワイヤをメッシュ状に配列した扁平な基準ワイヤーフレームを三次元情報にしたがう方向に変形させることにより三次元情報を二次元画面上で視覚化するものである。具体的には、基準ワイヤーフレームは、例えば第一の方向(例えば車幅方向に対応する方向)に等間隔で複数本配置された第１ワイヤ６２ａと、第一の方向とは異なる第二の方向（例えば、車両前後方向に対応する方向）に複数本配置された第２ワイヤ６２ｂとがそれぞれ例えば直交するように配列して形成される。そして、例えば、第１ワイヤ６２ａと第２ワイヤ６２ｂとの交点を三次元情報にしたがい上下方向や左右方向に移動させることにより、第１ワイヤ６２ａと第２ワイヤ６２ｂとで囲まれた複数の矩形の領域７２の形状が三次元情報にしたがってそれぞれ変形する。この変形した複数の矩形の領域７２で構成されるワイヤーフレーム６２を全体的に見ることにより二次元画面上で三次元情報が視覚化される。また、図５に示すように、三次元モデル画像に三次元化されたワイヤーフレーム６２を重畳することにより、三次元モデル画像をより立体的に見えるようにすることができる。

周辺情報取得部３０は、車両１の進行方向における周辺領域に関する情報を取得し、例えば、ＲＡＭ１４ｃ等に一時的に保持する。車両１の前方に配置される撮像部１５ｃがステレオカメラの場合、周辺情報取得部３０は表示制御部１４ｄを介して撮像部１５ｃから周辺画像を示す撮像画像データおよび撮像領域に含まれる三次元情報を取得する。このとき、周辺情報取得部３０は、ステレオカメラで撮像された視差を有する二枚の二次元画像（撮像画像データ）を取得するとともに、二枚の二次元画像の視差に基づいて撮像領域の三次元情報を取得する。また、撮像部１５ｃが単眼カメラであり、レーザスキャナ２８を備える場合、周辺情報取得部３０は、表示制御部１４ｄを介して撮像部１５ｃから二次元画像（撮像画像データ）を取得するとともに、車内ネットワーク２３を介してレーザスキャナ２８から車両１の前方の検出領域における三次元情報を取得する。なお、表示装置８に車両１の周囲の画像を表示するのみの場合、表示制御部１４ｄは、撮像部１５で撮像した撮像画像データをそのままの状態で表示装置８に出力してもよい。また、ＣＰＵ１４ａは、操作入力部１０や操作部１４ｇ等の入力装置を用いて利用者に希望する表示内容を選択させるようにしてもよい。つまり、表示制御部１４ｄは、操作入力部１０や操作部１４ｇの操作により選択された画像を表示することができる。例えば撮像部１５ａで撮像した車両１の後方画像を表示装置８に表示させたり、撮像部１５ｄで撮像した左側方画像を表示させたりすることができる。

舵角取得部３２は、舵角センサ１９から出力される操舵部４（ステアリングホイール）の操作状態に関する情報（舵角）を取得する。つまり、運転者がこれから車両１を走行させようとしている方向の舵角を取得する。

モデル画像取得部３４は、周辺情報取得部３０の取得した撮像画像データと三次元情報とに基づき、図６に示すように路面６０等が立体的に見える三次元モデル画像３ＤＧを取得する。撮像部１５ｃがステレオカメラの場合、二つあるカメラのうちいずれか一方のカメラで撮像した撮像画像データに基づく二次元画像の各画素または所定数の画素で構成される領域ごとに周辺情報取得部３０が取得した三次元情報を付与して、三次元モデル画像３ＤＧを生成する。なお、この場合、遠景部分（図６では山等）に関しては、近景と同様に三次元化を施してもよいし、三次元化を省略してもよい。三次元化の処理を実行する領域を限定的にすることにより、演算負荷を軽減することができる。

指標制御部３６は、モデル画像取得部３４で生成された三次元モデル画像３ＤＧに重畳する指標の取得および指標とともに表示する各種付随情報の設定や処理を行う。指標は、三次元モデル画像３ＤＧに含まれている領域ごとに路面の高さを示す高さデータに基づき、当該路面の高さを視覚化して表示するものである。指標としては、例えば、図５、図７に示すような複数の第１ワイヤ６２ａおよび第２ワイヤ６２ｂで構成されるワイヤーフレーム６２や、図８に示すような同じ高さの複数の位置をつなぐ等高線６４がある。また、別の指標として、図９に示すように、領域ごとの勾配方向に応じて移動可能な複数の移動マーク６６や、図１０，図１１に示すように、三次元モデル画像３ＤＧ上で所定の方向、例えば第一の方向に移動する第１走査線６８または第一の方向とは異なる第二の方向に移動する第２走査線７０等がある。

ワイヤーフレーム取得部４２は、指標としてワイヤーフレーム６２を表示する旨の要求がなされた場合、扁平でメッシュ状の基準ワイヤーフレームの第１ワイヤ６２ａと第２ワイヤ６２ｂとが交わる各交点に周辺情報取得部３０が取得した三次元情報を付与して、路面６０の三次元形状に倣う態様の三次元態様のワイヤーフレーム６２を取得する（図７参照）。また、別の実施形態では、モデル画像取得部３４で取得した三次元モデル画像３ＤＧに扁平な態様の基準ワイヤーフレームを重ね合わせて、三次元モデル画像が備える三次元情報に倣うように基準ワイヤーフレームを変形させて、三次元態様のワイヤーフレーム６２を取得してもよい。重畳部５４は、ワイヤーフレーム取得部４２が取得したワイヤーフレーム６２をモデル画像取得部３４が取得した三次元モデル画像３ＤＧに重畳することで、図５に示すような画面８ａを生成する。なお、画面８ａの下端に車両１を示す自車画像Ｊが表示されるため、車両１（自車）と路面６０の凹凸部分の位置関係とを認識しやすくすることができる。

等高線取得部４４は、指標として等高線６４を表示する旨の要求がなされた場合、周辺情報取得部３０が取得した三次元情報に基づき、同じ高さ情報が示す位置または同じ高さ範囲に属する位置をつなぎ、図８に示すような複数の等高線６４を取得する。図８の場合、等高線６４として、路面６０の高さに応じて等高線６４ａ，６４ｂ，６４ｃが形成されている。重畳部５４は、等高線取得部４４が取得した等高線６４をモデル画像取得部３４が取得した三次元モデル画像３ＤＧに重畳することで、図８に示すような画面８ａを生成する。なお、重畳部５４は、等高線６４を三次元モデル画像３ＤＧに重畳するのみでもよいが、より高さの変化を認識しやすくするために、表示態様設定部５０は、等高線６４ａ，６４ｂ，６４ｃごとに表示態様を変化させてもよい。例えば、各等高線６４ａ，６４ｂ，６４ｃを高さに応じて、「赤色」、「黄色」「緑色」等に色分けして表示してもよい。また、図８に示すように、等高線６４ａ，６４ｂ，６４ｃで囲まれた領域を着色してもよい。例えば、等高線６４ａより高い領域を「赤色」、等高線６４ａと等高線６４ｂとの間の領域を「黄色」、等高線６４ｂと等高線６４ｃとの間の領域を「緑色」等で表示する。なお、このように、領域に着色する場合、その領域の透過度を高く設定することにより、三次元モデル画像３ＤＧの内容の視認性を確保することができる。また、図８の場合も画面８ａの下端に車両１を示す自車画像Ｊが表示されるため、車両１（自車）と路面６０の凹凸部分の位置関係とを認識しやすくすることができる。

移動マーク設定部４６は、指標として移動マーク６６を表示する旨の要求がなされた場合、周辺情報取得部３０が取得した三次元情報に基づき、モデル画像取得部３４が取得した三次元モデル画像３ＤＧに設定される領域ごとの勾配方向に応じて移動可能な複数の移動マーク６６を設定する。移動マーク６６は、三次元情報で高い位置を示す位置からより低い位置に移動する。例えば、三次元情報が三次元モデル画像３ＤＧを構成する画素ごとに高さ情報を有する場合、隣接する画素の高さ情報を逐次比較して、より低い高さの方向に移動するような移動マーク６６が設定される。また、三次元情報が三次元モデル画像３ＤＧを構成する複数の画素で規定される領域ごとに高さ情報を有する場合、隣接する領域の高さ情報を逐次比較して、より低い高さの方向に移動するような移動マーク６６が設定される。重畳部５４は、移動マーク設定部４６が取得した移動マーク６６をモデル画像取得部３４が取得した三次元モデル画像３ＤＧに重畳することで、図９に示すような画面８ａを生成する。また、図９の場合も画面８ａの下端に車両１を示す自車画像Ｊが表示されるため、車両１（自車）と路面６０の凹凸部分の位置関係とを認識しやすくすることができる。

図９は、一例として、ワイヤーフレーム取得部４２が取得したワイヤーフレーム６２に沿って移動マーク６６が移動する例を示している。この場合、ワイヤーフレーム６２の第１ワイヤ６２ａおよび第２ワイヤ６２ｂの交点に三次元情報の高さ情報が反映されているので、移動マーク設定部４６は、ワイヤーフレーム６２の各交点の高さ情報を比較することにより、移動マーク６６の移動方向を設定している。なお、図９の場合、移動方向を明確にするため、矢印付きの円形の移動マーク６６としているが、移動マーク６６は低い方向に向かい常時移動するように表示されるので動的な変化が認識し易い。そのため、移動マーク６６は、矢印等を省略した円形またはその他の形状のマークのみで構成されてもよい。このように、移動マーク６６は、移動距離が長い部分ほど、移動距離は短い部分より路面６０の高さが高いということを動的に示すことができる。なお、移動マーク６６は、先行して移動する移動マーク６６に追従するように一定間隔で複数個の移動マーク６６を表示することにより、「粒子」が流れるように見せることが可能で、路面６０の形状や高さをより明確に表現することができる。また、移動マーク６６は、領域ごとの勾配状態に応じて移動速度を異ならせてもよい。例えば、勾配が急な程、移動速度が大きくなるようにしてもよい。路面６０の勾配状態に応じて移動マーク６６の移動速度を変化させることにより、路面６０の起伏が変化している部分をより明確に表示可能となり、路面６０の形状をより直感的に把握させやすくなる。なお、図９の場合、移動マーク６６はワイヤーフレーム６２の各第１ワイヤ６２ａ上および各第２ワイヤ６２ｂ上を移動する例を示したが、別の実施形態では、ワイヤーフレーム６２の表示を省略してもよい。この場合、移動マーク６６は、例えば三次元モデル画像３ＤＧ上で水が高い部分から低い部分に向かい流れ落ちるように表示され、より路面６０の形状を際立たせることが可能になり、路面６０の起伏状態を認識させやすくすることができる。

走査線設定部４８は、指標として第１走査線６８または第２走査線７０を表示する旨の要求がなされた場合、周辺情報取得部３０が取得した三次元情報に基づき、三次元モデル画像３ＤＧ上で所定の方向、例えば第一の方向に移動する第１走査線６８または第一の方向と異なる第二の方向に移動する第２走査線７０を設定する。

第１走査線６８は、モデル画像取得部３４が取得した三次元モデル画像３ＤＧ上を第一の方向、例えば、車両１の車幅方向に所定速度で移動する線である。図１０の場合、第１走査線６８は、画面８ａの例えば左端から右端に向かい一本の第１走査線６８が移動する例が示されている。第１走査線６８は、ワイヤーフレーム取得部４２が取得するワイヤーフレーム６２の第１ワイヤ６２ａの一本に相当する線であってもよい。第１走査線６８は、周辺情報取得部３０の取得した三次元情報に基づき第一の方向における走査位置に対応する路面６０の凹凸形状に倣うような形状に決定される。重畳部５４は、走査線設定部４８が取得した第１走査線６８をモデル画像取得部３４が取得した三次元モデル画像３ＤＧに重畳することで、図１０に示すような画面８ａを生成する。つまり、路面６０の凹凸に倣うように変形しながら第１走査線６８が画面８ａの左端から右端に向かい移動する。右端に移動した第１走査線６８は一旦非表示となり、再度左端に表示されて右端に向かい移動を再開する。第１走査線６８の移動方向は逆でもよい。また、図１０の場合も画面８ａの下端に車両１を示す自車画像Ｊが表示されるため、車両１（自車）と路面６０の凹凸部分の位置関係とを認識しやすくすることができる。

第２走査線７０は、モデル画像取得部３４が取得した三次元モデル画像３ＤＧ上を第一の方向とは異なる第二の方向、例えば、車両１の前後方向に所定速度で移動する線である。図１１の場合、第２走査線７０は、画面８ａの例えば下端から上端に向かい一本の第２走査線７０が移動する例が示されている。第２走査線７０は、ワイヤーフレーム取得部４２が取得するワイヤーフレーム６２の第２ワイヤ６２ｂの一本に相当する線であってもよい。第２走査線７０は、周辺情報取得部３０の取得した三次元情報に基づき第二の方向における走査位置に対応する路面６０の凹凸形状に倣うような形状に決定される。重畳部５４は、走査線設定部４８が取得した第２走査線７０をモデル画像取得部３４が取得した三次元モデル画像３ＤＧに重畳することで、図１１に示すような画面８ａを生成する。つまり、路面６０の凹凸に倣うように変形しながら第２走査線７０が画面８ａの下端から上端に向かい移動する。上端に移動した第２走査線７０は一旦非表示となり、再度下端に表示されて上端に向かい移動を再開する。第２走査線７０の移動方向は逆でもよい。また、図１１の場合も画面８ａの下端に車両１を示す自車画像Ｊが表示されるため、車両１（自車）と路面６０の凹凸部分の位置関係とを認識しやすくすることができる。

移動しながら表示される第１走査線６８および第２走査線７０の本数は一本でもよいし、所定間隔離間して表示される複数本、例えば三本でもよい。この場合、三本の第１走査線６８（第２走査線７０）は、所定間隔が維持された状態で、第一の方向（第二の方向）に移動する。このように、少数本（例えば一本〜三本）の第１走査線６８（第２走査線７０）を表示することにより、三次元モデル画像３ＤＧの視認性を低下させることなく、第１走査線６８（第２走査線７０）が表示されている部分の路面６０の凹凸形状を把握させることができる。また、第１走査線６８（第２走査線７０）は、残像を残しながら表示するようにしてもよい。この場合、三次元モデル画像３ＤＧの視認性を担保するために第１走査線６８（第２走査線７０）の表示本数は、少数、例えば一本で表示することが望ましい。第１走査線６８（第２走査線７０）は、残像を残しながら表示することにより、路面６０の凹凸状況を詳細に示す範囲が広くなり、路面６０の形状をより把握しやすくすることができる。また、他の実施形態としては、第１走査線６８（第２走査線７０）の走査速度を路面６０の状態に応じて早くしたり遅くしたりしてもよい。例えば、車両１の現在の位置を基準とした場合の路面６０の高さが所定値以上の場合に、第１走査線６８（第２走査線７０）の走査速度を路面６０の高さが所定値未満の場合より遅くする。逆に、路面６０の高さが所定値未満の場合に、第１走査線６８（第２走査線７０）の走査速度を路面６０の高さが所定値以上の場合より早くする。このように、走査速度を変化させることにより、注意が必要な路面６０の部分の形状をより認識しやすくすることができる。

表示態様設定部５０は、指標を三次元モデル画像３ＤＧ上に重畳表示する場合に、その表示態様を設定する。例えば、指標の表示色や表示範囲等を決定したり、指標の注目度を向上するために表示態様を決定したりする。例えば、路面６０の高さに応じて、指標の表示色や輝度を変化させたり、指標を点滅表示させたりすることができる。

表示態様設定部５０は、例えば、三次元モデル画像３ＤＧの表示色（路面６０の色）と重畳する指標の表示色との識別性を向上するために、指標を重畳する位置の路面６０の色に応じて指標の表示色を決定する。例えば、ＲＯＭ１４ｂには、図１２に示すような色相環に対応するデータが保持されている。表示態様設定部５０は、周辺情報取得部３０が取得した路面６０の撮像画像データの色情報に基づき、指標の表示色を路面６０の補色で表示するように設定する。図１２は、一例として、色相を「Ｃ１」〜「Ｃ１２」の１２等分で示したＲＧＢタイプの色相環が示されている。例えば、路面６０において、指標を重畳する部分の色が図中符号「Ｃ６」に対応する場合、表示態様設定部５０は、指標の表示色を「Ｃ１２」の色に設定する。このように、指標の表示色を路面６０の色の補色で表示することにより、例えばワイヤーフレーム６２、第１走査線６８、第２走査線７０等のように細線で表示される指標や、移動マーク６６のように粒子のような態様で表示される指標でも、路面６０との識別が容易で、路面６０の凹凸形状を認識させやすくすることができる。なお、図１２に示す色相環は、一例であり、例えばマンセルタイプやＲＹＢタイプでもよい。なお、路面６０の色は不規則に連続的に変化しているので、指標の表示色も重畳される路面６０の色に応じて変化する。したがって、例えば、ワイヤーフレーム６２の場合、当該ワイヤーフレーム６２を構成する第１ワイヤ６２ａ（第２ワイヤ６２ｂ）は、単一色ではなく、一本の第１ワイヤ６２ａ（第２ワイヤ６２ｂ）でも部分的に表示色が異なる。しかしながら三次元モデル画像３ＤＧ上に重畳されたワイヤーフレーム６２全体を見た場合、三次元モデル画像３ＤＧの表示色との識別が容易に行われ、第１ワイヤ６２ａや第２ワイヤ６２ｂの認識および路面６０に倣うような凹凸形状に認識が容易にできる。指標として、第１走査線６８や第２走査線７０を表示する場合も同様であり、表示態様設定部５０は、走査位置に対応する三次元モデル画像３ＤＧの表示色に対して第１走査線６８や第２走査線７０の表示色を補色で決定し、ワイヤーフレーム６２を表示する場合と同様に識別性を向上する効果を得ることができる。

指標として、移動マーク６６を表示する場合も同様であり、表示態様設定部５０は、移動する移動マーク６６の表示色を移動した位置の三次元モデル画像３ＤＧの表示色の補色になるように決定する。移動マーク６６の場合も、表示色が変化しながら三次元モデル画像３ＤＧ上を移動することになる。その結果、三次元モデル画像３ＤＧの表示色との識別が容易に行われ、移動マーク６６の認識および路面６０の起伏状態の変化の認識を容易に行うことができる。

また、表示態様設定部５０は、三次元モデル画像３ＤＧ上で注意を必要とする部分を強調表示するように、指標の表示態様を変化させてもよい。例えば、図１３に示すように、車両１（自車）が現在存在する位置を基準に所定閾値以上の高さの領域の表示態様を変化させる。図１３の場合、例えば、車両１の車高値より大きな高低差がある路面６０の位置を明示するために、ワイヤーフレーム６２の第１ワイヤ６２ａおよび第２ワイヤ６２ｂで囲まれる領域７２のうち、注意すべき高低差がある部分を含む領域７２ａ（所定閾値以上の高さの部分を含む領域）に着色している。なお、領域７２ａに着色を施す場合、注意喚起させやすい色、例えば「赤色」で着色するとともに、透過度を高めて、三次元モデル画像３ＤＧ上の路面６０の状態認識を妨げないようにすることができる。また、別の実施形態では、逆に着色した領域７２ａの透過度を下げて、通過不可であることを強調するようにしてもよい。このように、路面６０の凹凸（起伏）状態を強調する指標（ワイヤーフレーム６２）を表示するとともに、特に注意が必要な部分の表示態様を変化させることにより、路面６０の凹凸（起伏）状態の認識をより直感的に行わせやすくなる。なお、図１３の場合も画面８ａの下端に車両１を示す自車画像Ｊが表示されるため、車両１（自車）と路面６０の凹凸部分の位置関係や注目すべき領域７２ａとの位置関係を認識しやすくすることができる。

同様に、図１４の場合、表示態様設定部５０は、例えば、車両１（自車）が現在存在する位置を基準に、路面６０の高さに応じて段階的に領域の表示態様を変化させる。例えば、表示態様設定部５０は、ワイヤーフレーム６２の第１ワイヤ６２ａおよび第２ワイヤ６２ｂで囲まれる領域７２のうち、注意喚起「大」の第１領域７４と、注意喚起「中」の第２領域７６とを例えば異なる表示色で表示している。このように、路面６０の凹凸（起伏）の高さに応じて複数の表示態様で表示することにより、路面６０の凹凸（起伏）状態の認識をより直感的に行わせやすくなる。なお、図１４の場合も画面８ａの下端に車両１を示す自車画像Ｊが表示されるため、車両１（自車）と路面６０の凹凸部分の位置関係や注目すべき領域７２ａとの位置関係を認識しやすくすることができる。図１４の場合、注意喚起する領域を二段階で示したが、これに限定されず、例えば三段階以上でもよい。また、図１３、図１４の例において、表示態様設定部５０は、表示態様を変化させる部分について、表示色の変化の他、領域７２ａや第１領域７４、第２領域７６の輝度を変化させることにより強調するようにしてもよい。同様に、領域７２ａや第１領域７４、第２領域７６を点滅させることにより強調するようにしてもよい。

また、表示態様設定部５０は、指標としてワイヤーフレーム６２を表示する場合、当該ワイヤーフレーム６２を三次元モデル画像３ＤＧ上の必要な部分のみに表示するように設定してもよい。

例えば、図１５に示されるように、ＥＣＵ１４が進路指標として、前輪３Ｆの向いている方向に延びるタイヤ進路線７８（左の前輪３Ｆ用のタイヤ進路線７８Ｌと右の前輪３Ｆ用のタイヤ進路線７８Ｒ）の表示要求を受けた場合、進路指標取得部５２は、舵角取得部３２が取得した舵角情報に基づきタイヤ進路線７８を取得する。表示態様設定部５０は、三次元モデル画像３ＤＧ上でタイヤ進路線７８が重畳される領域のワイヤーフレーム８０を設定する。重畳部５４は、進路指標取得部５２が取得したタイヤ進路線７８と表示態様設定部５０が設定したワイヤーフレーム８０をモデル画像取得部３４が取得した三次元モデル画像３ＤＧに重畳することで、図１５に示すような画面８ａを生成する。この場合、表示態様設定部５０は、ワイヤーフレーム取得部４２が取得したワイヤーフレーム６２に対して、タイヤ進路線７８に対応する部分を切り出してワイヤーフレーム８０として表示することができる。利用者が操舵部４を操作して舵角を変更した場合、進路指標取得部５２は，その変更方向に対応するタイヤ進路線７８を取得する。その結果、表示態様設定部５０もタイヤ進路線７８の重畳位置に対応するワイヤーフレーム８０をワイヤーフレーム６２から切り出して表示する。このように、タイヤ進路線７８とともに当該タイヤ進路線７８に対応する部分のワイヤーフレーム８０を表示することにより、画面８ａ全体の表示内容をシンプル化して画面８ａの視認性を向上するとともに、車両１が向かう可能性のある方向の路面６０の凹凸形状を明確化することができる。その結果、車両１を走行させるために必要となる部分の路面６０の状態を直感的に利用者に理解させやすくすることができる。なお、図１５の場合、画面８ａの下端に車両１を示す自車画像Ｊが表示されるため、車両１（自車）と路面６０の凹凸部分の位置関係やタイヤ進路線７８との関係を認識しやすくすることができる。

なお、図１５の場合、タイヤ進路線７８は、路面６０の凹凸状態に倣うような表示態様で表示する例を示した。このようにタイヤ進路線７８を路面６０の凹凸状態に倣うような表示態様で表示することにより、当該タイヤ進路線７８の形状によっても路面６０の凹凸形状をより際だたせることが可能で、ワイヤーフレーム８０の表示との相乗効果により、路面６０の凹凸形状をより認識しやすいようにすることができる。また、他の実施形態においては、タイヤ進路線７８は、路面６０の凹凸状態に拘わらず、直線で表示されてもよい。この場合、ワイヤーフレーム８０により路面６０の凹凸形状を認識させやすくするとともに、タイヤ進路線７８を簡易的に表示することで表示のための算出処理の負荷が軽減できる。さらに他の実施形態では、ワイヤーフレーム取得部４２は、タイヤ進路線７８を重畳する部分のみ、ワイヤーフレーム６２（８０）を取得して表示するようにしてもよい。また、表示態様設定部５０は、図１３、図１４で説明したように、路面６０の高さに応じて、ワイヤーフレーム８０の一部に着色したり、輝度を変化させたり、点滅表示したりすることにより、注意喚起するようにしてもよい。

図１６に示すように、進路指標取得部５２は、進路指標として、車両１が容易に走行できる推奨経路Ｇを取得することもできる。この場合、進路指標取得部５２は、周辺情報取得部３０が取得した三次元情報に基づき、例えば、車両１を走行させた場合に当該車両１の所定角度以上の傾きの回数や揺れの回数が最小になるような推奨経路Ｇを算出する。そして、表示態様設定部５０は、推奨経路Ｇが示す方向にワイヤーフレーム８２を設定する。重畳部５４は、表示態様設定部５０が設定したワイヤーフレーム８２をモデル画像取得部３４が取得した三次元モデル画像３ＤＧに重畳することで、図１６に示すような画面８ａを生成する。図１６の場合、表示態様設定部５０は、ワイヤーフレーム取得部４２が取得したワイヤーフレーム６２から車両１（自車画像Ｊ）の車幅と同等または少し広い幅のワイヤーフレーム８２を切り出して表示している例である。このように、推奨経路Ｇが示す方向にワイヤーフレーム８２を表示することにより、画面８ａ全体の表示内容をシンプル化して画面８ａの視認性を向上するとともに、車両１が向かう可能性のある方向の路面６０の凹凸形状を明確化することができる。その結果、車両１を走行させるために必要となる部分の路面６０の状態を直感的に利用者に理解させやすくすることができる。なお、図１６の場合、推奨経路Ｇは一例として直進方向を示しているが、推奨経路Ｇが左方向または右方向に曲がっている場合、ワイヤーフレーム８０もその方向にしたがって曲がった態様で表示される。また、図１６の場合、画面８ａの下端に車両１を示す自車画像Ｊが表示されるため、車両１（自車）と路面６０の凹凸部分の位置関係や推奨経路Ｇとの関係を認識しやすくすることができる。他の実施形態では、ワイヤーフレーム取得部４２は、推奨経路Ｇが示す方向の車幅に対応する領域のみ、ワイヤーフレーム６２（ワイヤーフレーム８２）を取得して表示するようにしてもよい。また、表示態様設定部５０は、図１３、図１４で説明したように、路面６０の高さに応じて、ワイヤーフレーム８２の一部に着色したり、輝度を変化させたり、点滅表示したりすることにより、注意喚起するようにしてもよい。なお、表示態様設定部５０は、車両１推奨経路Ｇの取得の有無に拘わらず、車両１の前方に延びるワイヤーフレーム８２を設定するようにしてもよい。

図１７は、図１６に示す例の変形例であり、表示態様設定部５０は、路面６０のうち注目させたい領域とそれ以外の領域とで指標（ワイヤーフレーム６２）の表示態様を異ならせている。具体的には、ワイヤーフレーム取得部４２は、推奨経路Ｇを含む領域のワイヤーフレーム６２のワイヤ密度を「密」にして、より詳細に路面６０の凹凸形状に倣い、凹凸形状を際だたせるワイヤーフレーム８４を取得する。一方、ワイヤーフレーム取得部４２は、推奨経路Ｇを含まない領域のワイヤーフレーム６２のワイヤ密度をワイヤーフレーム８４より「疎」にしたワイヤーフレーム８６を取得する。図１７の例では、ワイヤーフレーム８４のワイヤ密度はワイヤーフレーム６２のワイヤ密度の二倍であり、ワイヤーフレーム８６のワイヤ密度はワイヤーフレーム６２の半分である。この場合、ワイヤーフレーム取得部４２は、ワイヤ密度が「密」のワイヤーフレーム８４とワイヤ密度が「疎」のワイヤーフレーム８６とを取得し、表示態様設定部５０が推奨経路Ｇによって示される方向にしたがいそれぞれの領域を切り出し、ワイヤーフレーム８４とワイヤーフレーム８６とを設定する。そして、重畳部５４は、表示態様設定部５０が設定したワイヤーフレーム８４とワイヤーフレーム８６をモデル画像取得部３４が取得した三次元モデル画像３ＤＧに重畳することで、図１７に示すような画面８ａを生成する。なお、図１７の場合も画面８ａの下端に車両１を示す自車画像Ｊが表示されるため、車両１（自車）と路面６０の凹凸部分の位置関係や注目すべきワイヤーフレーム８４との関係や、それより注目度をさげてもよいワイヤーフレーム８６との関係を認識しやすくすることができる。

このように、車両１が進む可能性の高い領域と車両１が進む可能性の低い領域とでワイヤ密度が異なるワイヤーフレーム８４とワイヤーフレーム８６を三次元モデル画像３ＤＧに重畳表示することで、車両１が進む可能性の高い領域の路面６０の形状をより把握しやすくすることができるとともに、図１６の例の場合より、画面８ａの路面６０全体の凹凸状態を把握させやすくできる。また、三次元モデル画像３ＤＧ全体に対してメッシュ密度を高める場合に比べて、画面８ａがシンプルになり見やすくなるとともに、ワイヤーフレーム６２（ワイヤーフレーム８４，ワイヤーフレーム８６）を算出するための処理負荷を軽減することができる。なお、図１７に示す場合も、推奨経路Ｇは一例として直進方向を示しているが、推奨経路Ｇが左方向または右方向に曲がっている場合、ワイヤーフレーム８４やワイヤーフレーム８６の表示領域も推奨経路Ｇにしたがって変化する。他の実施形態では、ワイヤーフレーム取得部４２は、推奨経路Ｇに拘わらず、車両１の前方で車幅と同等幅の領域に関して、ワイヤ密度が「密」のワイヤーフレーム８４を取得し、それ以外の領域でワイヤ密度が「疎」のワイヤーフレーム８６を取得するようにしてもよい。また、表示態様設定部５０は、図１３、図１４で説明したように、路面６０の高さに応じて、ワイヤーフレーム８４、ワイヤーフレーム８６の一部に着色したり、輝度を変化させたり、点滅表示したりすることにより、注意喚起するようにしてもよい。なお、ワイヤーフレーム６２（ワイヤーフレーム８４，ワイヤーフレーム８６）のワイヤ密度の程度は適宜設定可能である。また、表示態様設定部５０は、標準表示として、ワイヤ密度が「疎」のワイヤーフレーム８６を設定しておき、利用者が例えば操作入力部１０や操作部１４ｇで指定した領域のみ、ワイヤ密度が「密」のワイヤーフレーム８４を設定するようにしてもよい。この場合、三次元モデル画像３ＤＧ上で、利用者が特に気になる部分のみ詳細な路面６０の凹凸情報を提供できる。

案内処理部３８は、指標が表示される際に注意喚起が必要なときに表示するメッセージや出力する音声メッセージ、警告音等に関するデータを例えばＲＯＭ１４ｂやＳＳＤ１４ｆから選択する。また、進路指標（タイヤ進路線７８）にしたがい走行を行わせる場合や、逆に案内指標とは異なる経路で走行することを推奨する場合等の車両１の操作方法（操舵部４、加速操作部５、制動操作部６等の操作指示等）を出力するためのデータを例えばＲＯＭ１４ｂやＳＳＤ１４ｆから選択する。また、案内処理部３８は、表示態様設定部５０による強調表示が実行された場合、例えば、通過を避けた方がよい領域が提示された場合、その領域より容易に通過できる領域を示すようなマーク、またはその領域の方向を示すようなマーク（例えば、矢印）を表示してもよい。このようなマークを表示することで、走行可能な経路の探索がより容易になる。

出力部４０は、重畳部５４による重畳結果（三次元モデル画像３ＤＧと指標の重畳）や、表示態様設定部５０により設定された表示態様、案内処理部３８による注意を喚起するメッセージや操作手順情報等を表示制御部１４ｄに向けて出力する。また、案内処理部３８が音声によるメッセージを選択した場合は、音声制御部１４ｅに向けてメッセージデータを出力する。

上述したような指標の表示処理の一例を図１８および図１９のフローチャートを用いて説明する。なお、図１８は、処理の前半部分を説明するフローチャートで、図１９が処理の後半部分を説明するフローチャートである。

まず、ＣＰＵ１４ａは、指標（ワイヤーフレーム６２、等高線６４、移動マーク６６、第１走査線６８、第２走査線７０等）に関する情報提供を許可する条件が成立していることを示す信号の有無を検出する（Ｓ１００）。例えば、表示装置８の表示モードとして、ナビゲーション表示モードやオーディオ画面表示モードが選択されている場合や、車両１の速度が所定速度以上（例えば２０ｋｍ／ｈ以上）の場合、指標の表示要求はされていない、または指標の表示が望ましくない走行状態であると判定して、ＣＰＵ１４ａは、一旦このフローを終了する（Ｓ１００のＮｏ）。なお、情報提供条件は、利用者等によって適宜変更可能とすることができる。

情報提供条件が満たされた場合（Ｓ１００のＹｅｓ）、例えば、利用者が操作入力部１０や操作部１４ｇを操作して指標を表示することを要求し、かつ車両１の車速が所定速度未満の場合、周辺情報取得部３０は車両１の進路方向の情報を取得する（Ｓ１０２）。例えば、周辺情報取得部３０は、変速操作部７が「後退」を示す位置以外の場合、撮像部１５ｃにより車両１の前方の周辺領域を撮像範囲とする撮像画像データを取得する。撮像部１５ｃがステレオカメラの場合、同時に撮像範囲の三次元情報も取得する。また、撮像部１５ｃが単眼カメラの場合、周辺情報取得部３０は撮像部１５ｃから車両１の前方の周辺領域を撮像範囲とする撮像画像データを取得するとともに、レーザスキャナ２８から車両１前方の三次元情報を取得する。続いて、ＣＰＵ１４ａは、指標の表示とともに、進路指標（例えばタイヤ進路線７８）の表示を要求する旨の信号を取得した場合（Ｓ１０４のＹｅｓ）、舵角取得部３２を介して舵角センサ１９の検出結果から現在の車両１の舵角を取得するとともに、進路指標取得部５２を介して現在の舵角に基づく進路指標（例えばタイヤ進路線７８）を取得する（Ｓ１０６）。なお、ＣＰＵ１４ａは、進路指標（例えばタイヤ進路線７８）の表示を要求する旨の信号を所定期間内に取得できない場合（Ｓ１０４のＮｏ）、Ｓ１０６の処理をスキップする。

続いて、ＣＰＵ１４ａは、周辺情報取得部３０が取得した車両１の前方の周辺領域を撮像範囲とする撮像画像データと三次元情報とに基づき、モデル画像取得部３４に三次元モデル画像を生成させる（Ｓ１０８）。そして、ＣＰＵ１４ａは、操作入力部１０または操作部１４ｇを介して利用者から指標として「ワイヤーフレーム」の表示を要求する信号を取得した場合（Ｓ１１０のＹｅｓ）、ワイヤーフレームの表示態様を操作入力部１０または操作部１４ｇを介して利用者から受け付ける処理を実行する（Ｓ１１２）。このとき、ワイヤーフレーム取得部４２では、図５、図１５、図１６、図１７のいずれの表示態様でワイヤーフレーム（６２，８０，８２，８４，８６）を表示するかが決定される。ワイヤーフレーム取得部４２は、Ｓ１１２で決定された表示態様のワイヤーフレーム（６２，８０，８２，８４，８６）を生成する処理を実行する（Ｓ１１４）。

Ｓ１１０において、ＣＰＵ１４ａは、操作入力部１０または操作部１４ｇを介して指標として「ワイヤーフレーム」の表示を要求する信号を所定期間内に取得しない場合で（Ｓ１１０のＮｏ）、「等高線」の表示を要求する信号を取得した場合（Ｓ１１６のＹｅｓ）、等高線取得部４４は、等高線６４を生成する処理を実行する（Ｓ１１８）。

Ｓ１１６において、ＣＰＵ１４ａは、操作入力部１０または操作部１４ｇを介して指標として「等高線」の表示を要求する信号を所定期間内に取得しない場合で（Ｓ１１６のＮｏ）、「移動マーク」の表示を要求する信号を取得した場合（Ｓ１２０のＹｅｓ）、移動マーク設定部４６は、移動マーク６６を生成する処理を実行する（Ｓ１２２）。

Ｓ１２０において、ＣＰＵ１４ａは、操作入力部１０または操作部１４ｇを介して指標として「移動マーク」の表示を要求する信号を所定期間内に取得しない場合（Ｓ１２０のＮｏ）、「走査線」を表示する旨を表示装置８に表示するとともに、表示装置８上で走査線を横方向に走査するか縦方向に走査するかを例えば操作入力部１０または操作部１４ｇを介して選択させる（Ｓ１２４）。走査線の走査方向として横方向（車幅方向）が選択された場合（Ｓ１２６のＹｅｓ）、走査線設定部４８は、第１走査線６８を生成する処理を実行する（Ｓ１２８）。また、Ｓ１２６で走査線の走査方向として縦方向（車両前後方向）が選択された場合（Ｓ１２６のＮｏ）、走査線設定部４８は、第２走査線７０を生成する処理を実行する（Ｓ１３０）。なお、表示する指標の種類を選択させる過程で、第１走査線６８または第２走査線７０を直接選択させる場合は、Ｓ１２４のステップは省略し得る。

三次元モデル画像３ＤＧに重畳表示される指標が決定された場合、表示態様設定部５０は、モデル画像取得部３４が取得した三次元モデル画像３ＤＧの路面６０の表示色の補色になるように指標の表示色を決定する。

続いて、ＣＰＵ１４ａは、路面６０の高さが車両１の現在の位置を基準として所定閾値以上高い場合等を示す注目領域の表示要求を示す信号を操作入力部１０や操作部１４ｇを介して取得した場合（Ｓ１３２のＹｅｓ）、表示態様設定部５０は表示色決定処理を実行する（Ｓ１３４）。例えば、図１３や図１４に示すように注目させる領域７２を着色する処理を実行する。そして、重畳部５４は、三次元モデル画像３ＤＧに決定された表示態様の指標を重畳し、出力部４０を介して表示装置８に表示する（Ｓ１３６）。なお、Ｓ１３２で、ＣＰＵ１４ａは、注目領域の表示要求を示す信号を取得しなかった場合（Ｓ１３２のＮｏ）、Ｓ１３４の処理をスキップする。

ＣＰＵ１４ａは、三次元モデル画像３ＤＧに指標を重畳表示している間、情報提供解除条件が成立していることを示す信号の有無を検出する（Ｓ１３８）。例えば、表示装置８の表示モードとして、ナビゲーション画面表示モードやオーディオ画面表示モードが選択された場合や、車両１の速度が所定速度以上（例えば２０ｋｍ／ｈ以上）になった場合、指標の表示要求が解除、または指標の表示が望ましくない走行状態に移行して情報提供解除条件が成立したと判定する（Ｓ１３８のＹｅｓ）。そして、ＣＰＵ１４ａは、表示装置８の表示を要求されたナビゲーション画面やオーディオ画面、または走行中に表示されていても特に支障のない通常画面を表示して（Ｓ１４０）、このフローを一旦終了する。

また、Ｓ１３８において、ＣＰＵ１４ａが、情報提供解除条件が成立していないと判定した場合（Ｓ１３８のＮｏ）、利用者が案内指標の表示の継続を要求していると判定して、Ｓ１００に移行して、指標の表示（更新）処理を実行する。

このように、本実施形態の周辺監視システム１００は、路面６０の凹凸状態がより立体的に見えるように、またその立体感をより把握しやすいように、取得した三次元モデル画像３ＤＧに含まれている領域ごとに路面６０の高さデータに基づく路面６０の高さを示す指標を重畳する。その結果、車両１がこれから走行する路面６０の状態がより把握しやすくなり、例えば、より走行しやすい経路を容易に選択させ、効率的な走行を実現させることができる。また、本実施形態の周辺監視システム１００によれば、路面６０の凹凸形状がより把握しやすくなるので、例えば、険しい経路（悪路）を意図的に選択して、不整地路（オフロード）の走行を楽しませるという走行形態も提供することができる。また、その際にも路面６０の凹凸状態に応じた経路を適宜選択させることができるので、オフロード走行の楽しさを向上させることができる。

図２０は、ワイヤーフレーム６２の強調表示の変形例である。図２０に示す例の場合、三次元モデル画像３ＤＧにワイヤーフレーム６２を重畳表示することにより、路面６０の凹凸状態をより立体的に鮮明に見えるようにしつつ、車両１（自車画像Ｊ）からの距離感を理解しやすくするために、表示態様設定部５０が距離指標８８を設定する例である。図２０の場合、自車画像Ｊの前方に距離指標８８ａ、距離指標８８ｂ、距離指標８８ｃが表示されている。ワイヤーフレーム６２を構成する第２ワイヤ６２ｂには、三次元情報として、Ｘ方向（例えば車幅方向）、Ｙ方向（例えば車両前後方向）、Ｚ方向（例えば高さ方向）の情報が含まれているので、ＣＰＵ１４ａは、車両１（自車画像Ｊ）からの距離を検出することができる。したがって、表示態様設定部５０は、車両１から、例えば、１．０ｍの位置に対応する三次元モデル画像３ＤＧ上の位置に距離指標８８ａを表示する。また車両１から３．０ｍの位置に対応する三次元モデル画像３ＤＧ上の位置に距離指標８８ｂを表示する。さらに、また車両１から５．０ｍの位置に対応する三次元モデル画像３ＤＧ上の位置に距離指標８８ｃを表示する。このように、距離指標８８を表示することにより立体的に見える三次元モデル画像３ＤＧの奥行き感をさらに明確にして、路面６０の凹凸状態の把握をより正確にできるようにすることができる。なお、距離指標８８の表示本数は適宜変更可能であり、三本未満でも三本より多くてもよい。また、図２０の場合、ワイヤーフレーム６２を構成する第１ワイヤ６２ａと第２ワイヤ６２ｂで囲まれた領域７２を着色して距離指標８８を表示しているが、第２ワイヤ６２ｂの表示色を他の表示色と異ならせたり、輝度を変化させたり、第２ワイヤ６２ｂを点滅表示したりして距離指標８８を表示してもよい。

図２１には、表示装置８において、他の付加情報が含まれる表示例が示されている。上述した各表示例では、画面８ａが車両１の前方領域（一領域のみ）の情報を示している。一方、図２１に示す変形例の場合、表示装置８は、表示領域を複数に分割して種々の方向の画像や車両１の姿勢を示す傾斜計９０等を表示している。例えば、表示装置８の表示領域の中央上部に前方表示領域ＦＶが配置され、その左斜め下に左側表示領域ＳＶＬ、前方表示領域ＦＶの右斜め下に右側表示領域ＳＶＲが配置されている。また、前方表示領域ＦＶの下方に、傾斜計９０を表示する姿勢表示領域ＰＶが配置されている。前方表示領域ＦＶには、図５、図８、図９〜図１１、図１３〜図１７、図２０の表示例のうちいずれか一つ（図２１の場合、図５）または複数が表示可能である。左側表示領域ＳＶＬには、撮像部１５ｄで取得した撮像画像データに基づく車両１の左側方画像（例えば、左側方見下ろし画像）が表示され、右側表示領域ＳＶＲには、撮像部１５ｂで取得した撮像画像データに基づく車両１の右側方画像（例えば、右側方見下ろし画像）が表示される。左側方画像および右側方画像には、車両１の側方の路面６０とそれぞれの車輪３の一部を映り込ませることができる。また、左側表示領域ＳＶＬ、右側表示領域ＳＶＲには車体２の前方側の端部２ｃからの距離の目安を示す前方参考線Ｑａや車体２の側方の端部２ｄ，２ｆからの距離の目安を示す側方参考線Ｐａ等が重畳表示されることができる。

このような表示により、車両１の周囲の路面６０の状態はより理解しやすくなる。また、前方表示領域ＦＶと左側表示領域ＳＶＬおよび右側表示領域ＳＶＲとの対応関係がより理解しやすいように表示される。なお、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲの側方参考線Ｐａには、前輪３Ｆの接地位置を示す接地線Ｐａｂが付され、前輪３Ｆの位置が容易に理解できるようになっている。

傾斜計９０は、加速度センサ２６（２６ａ、２６ｂ）からの信号に基づき、車両１の左右方向の傾き（ロール角）や前後方向の傾き（ピッチ角）をシンボル９２の姿勢で表示する。シンボル９２の姿勢と指標（ワイヤーフレーム６２等）とを同一画面に表示することにより、車両１の周囲の路面６０の状況をより把握させやすくすることができる。

図２１に示す表示装置８の標示領域のレイアウトは一例であり、種々のレイアウトが採用できる。例えば、左側表示領域ＳＶＬおよび右側表示領域ＳＶＲの上下方向のサイズを拡大して、前方表示領域ＦＶの側方まで延ばしてもよい。このように、前方表示領域ＦＶを囲むように左側表示領域ＳＶＬおよび右側表示領域ＳＶＲを配置することにより、運転席を中心とする車両１の周囲の状況がより把握しやすい状態で表示装置８に表示できる。

また、撮像部１５ｃをステレオカメラで構成している場合、二つ設けられたカメラのうち片方のカメラに不都合が生じた場合、三次元情報を取得できなくなる。この場合、周辺情報取得部３０は、撮像部１５ｃを周辺画像取得専用とし、少なくとも車両１の周辺画像（二次元画像）を提供できるように切り替えてもよい。

また、図１７では、推奨経路Ｇの方向を含む領域のワイヤ密度を「密」とし，それ以外の領域のワイヤ密度を「疎」とする例を示した。別の実施形態では、路面６０の勾配の大きさに応じてワイヤ密度を変化させてもよい。例えば、路面６０の勾配が所定値以上の場合、ワイヤ密度を「密」として、所定値未満の場合にワイヤ密度を「疎」としてもよい。この場合、ワイヤ密度によって、路面６０の勾配状態が把握しやすくなり、路面６０の形状の直感的な把握が容易になる。

また、図１５、図１６では、進路指標が示す方向にワイヤーフレーム６２（ワイヤーフレーム８０，ワイヤーフレーム８２）を重畳する例を示した。別の実施形態では、車両１の車体２の底面が接触する可能性のある部分のみにワイヤーフレーム６２を重畳するようにしてもよい。この場合、ワイヤーフレーム６２の表示量を最小限とすることができるため、路面６０上で注意を払うべき部分を明確にしつつ、画面８ａの表示内容をシンプル化して三次元モデル画像３ＤＧの視認性を向上することができる。

また、上述した実施形態では、車両１の速度が所定速度未満であることを、三次元モデル画像３ＤＧおよび指標を表示するために条件とする例を示した。他の実施形態では、車両１が停止しているときに三次元モデル画像３ＤＧおよび指標を表示して、車両１が走行を開始した場合指標を非表示として、所定速度までは三次元モデル画像３ＤＧは表示したままにしてもよい。この場合、指標が非表示になった分、画面８ａの表示内容がシンプル化され、路面６０の状況を把握させつつ、低速走行時の運転操作の集中力向上に寄与することができる。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、３…車輪、３Ｆ…前輪、４…操舵部、８…表示装置、８ａ…画面、１０…操作入力部、１１…モニタ装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１５…撮像部、１９…舵角センサ、２６…加速度センサ、３０…周辺情報取得部、３２…舵角取得部、３４…モデル画像取得部(取得部)、３６…指標制御部（制御部）、３８…案内処理部、４０…出力部、４２…ワイヤーフレーム取得部、４４…等高線取得部、４６…移動マーク設定部、４８…走査線設定部、５０…表示態様設定部、５２…進路指標取得部、５４…重畳部、６０…路面、６２，８２，８４，８６…ワイヤーフレーム、６２ａ…第１ワイヤ、６２ｂ…第２ワイヤ、６４，６４ａ，６４ｂ，６４ｃ…等高線、６６…移動マーク、６８…第１走査線、７０…第２走査線、７８…タイヤ進路線（進路指標）、３ＤＧ…三次元モデル画像。

Claims (7)

1. 車両の進行方向の路面を含む周辺画像を撮像する撮像部から出力された撮像画像データと、前記周辺画像に表された前記路面の領域ごとの高さを示した高さデータと、を含む前記路面の凹凸状態を示す三次元モデル画像を取得する取得部と、
   取得した前記三次元モデル画像に含まれている前記領域ごとに前記高さデータに基づく前記路面の高さを示す指標を重畳して表示装置に表示する制御部と、
   を備え、
   前記制御部は、前記指標とともに、前記三次元モデル画像に前記車両の舵角に基づく進行推定方向を示す進路指標を重畳する場合、前記進路指標を重畳する領域と他の領域とで、前記指標の表示態様を異ならせる、周辺監視装置。
2. 前記指標は、前記路面の前記凹凸状態を示すワイヤーフレームである請求項１に記載の周辺監視装置。
3. 前記指標は、前記路面の所定の面を基準に同じ高さの複数の位置をつなぐ等高線である請求項１に記載の周辺監視装置。
4. 前記指標は、前記三次元モデル画像の前記領域ごとの勾配方向に応じて移動可能な複数の移動マークであり、
   前記制御部は、前記領域ごとの勾配状態に応じて前記移動マークの移動速度を異ならせる請求項１に記載の周辺監視装置。
5. 前記指標は、前記高さデータに基づく前記路面の高さを示す、前記三次元モデル画像上で所定の方向に移動する走査線である請求項１に記載の周辺監視装置。
6. 前記制御部は、前記指標を、前記三次元モデル画像に前記指標を重畳する領域の前記路面の色の補色で表示する請求項１から請求項５のいずれか１項に記載の周辺監視装置。
7. 前記制御部は、前記指標の表示態様を前記路面の高さに応じて異ならせる請求項１から請求項６のいずれか１項に記載の周辺監視装置。