JP6060910B2 - 周辺監視装置、及びプログラム - Google Patents

Description

本発明の実施形態は、周辺監視装置、及びプログラムに関する。

従来、車両の駐車を支援する技術として、車両に設置されたカメラで、車両の周辺環境を撮像し、撮像結果である撮像画像データを表示することで、運転者に対して運転を支援する技術が提案されている。

特開２００２−３５４４６７号公報 特開２００７−１０２７９８号公報 特開２００３−９１４１号公報

しかしながら、従来技術では、車両に設置されたカメラで撮像された撮像画像データを表示する場合の表示方法には改善の余地があり、ユーザが認識し易い表示態様の提供が望まれている。

本発明の実施形態にかかる周辺監視装置は、一例として、車両の周囲の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを取得する取得部と、前記取得部が取得した前記撮像画像データを、短辺を画面下方とする略台形表示領域に表示させるように表示装置に出力する出力部と、を備え、前記撮像部は、前記車両の前方または後方を斜め視点から撮像する第１撮像部と、前記斜め視点とは異なる前記車両の側方を見下ろすような視点から撮像する第２撮像部とを含み、前記出力部は、前記第１撮像部で撮像した撮像画像データに基づく画像を前記略台形表示領域に表示させ、さらに、前記第２撮像部で撮像した撮像画像データに基づく画像を前記表示装置の２つの略長方形表示領域に表示させ、２つの前記略長方形表示領域は、車幅方向の車両左側を撮像した画像を表示する、前記略台形表示領域の前記画面下方よりも下方に延びた第１略長方形表示領域と、前記車幅方向の車両右側を撮像した画像を表示する、前記略台形表示領域の前記画面下方よりも下方に延びた第２略長方形表示領域であり、前記第１略長方形表示領域および前記第２略長方形表示領域の形状は、前記第１略長方形表示領域および前記第２略長方形表示領域に表示された前記車両の車両前後方向を長辺とし、前記略台形表示領域は、前記第１略長方形表示領域および前記第２略長方形表示領域に挟まれる態様で前記表示装置に表示される。よって、一例としては、略台形表示領域を挟む第１略長方形表示領域および第２略長方形表示領域の画面下方が略台形表示領域の画面下方よりも下方に延びていることにより、略台形表示領域の視認性を向上させることができるとともに、略台形表示領域の表示内容をより奥行き感があるように見せることができるという効果を奏する。また、車両の前方または後方を表示する起立画像の表示領域と車両の側方を表示する見下ろし画像の表示領域とが視覚的に識別し易くなるという効果を奏する。

また、上記周辺監視装置では、一例として、上記周辺監視装置では、一例として、前記略長方形表示領域には、当該略長方形表示領域に表示された前記車両の進行方向前側に位置する車輪と地面との接地点が表示されてもよい。よって、一例としては、側方画像の表示内容を理解し易いようにして車両周囲の状況把握の容易性を向上させている。

また、本発明の実施形態にかかるプログラムでは、一例として、車両の周囲の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを取得する取得ステップと、前記取得ステップで取得した前記撮像画像データを、短辺を画面下方とする略台形表示領域に表示させるように表示装置に出力する出力ステップを、を備え、前記撮像部は、前記車両の前方または後方を斜め視点から撮像する第１撮像部と、前記斜め視点とは異なる前記車両の側方を見下ろすような視点から撮像する第２撮像部とを含み、前記第１撮像部は、前記表示装置の前記略台形表示領域に表示する撮像画像データを撮像し、前記第２撮像部は、前記表示装置の２つの略長方形表示領域に表示する撮像画像データを撮像し、２つの前記略長方形表示領域は、車幅方向の車両左側を撮像した画像を表示する、前記略台形表示領域の前記画面下方よりも下方に延びた第１略長方形表示領域と、前記車幅方向の車両右側を撮像した画像を表示する、前記略台形表示領域の前記画面下方よりも下方に延びた第２略長方形表示領域であり、前記第１略長方形表示領域および前記第２略長方形表示領域の形状は、前記第１略長方形表示領域および前記第２略長方形表示領域に表示された前記車両の車両前後方向を長辺とし、前記出力ステップは、前記第１撮像部で撮像した撮像画像データに基づく画像を前記略台形表示領域に表示させ、さらに、前記第２撮像部で撮像した撮像画像データに基づく画像を２つの前記略長方形表示領域に表示させるとともに、前記略台形表示領域は、前記第１略長方形表示領域および前記第２略長方形表示領域に挟まれる態様で前記表示装置に表示させる処理を、コンピュータに実行させる。よって、一例としては、略台形表示領域を挟む第１略長方形表示領域および第２略長方形表示領域の画面下方が略台形表示領域の画面下方よりも下方に延びていることにより、略台形表示領域の視認性を向上させることができるとともに、略台形表示領域の表示内容をより奥行き感があるように見せることができるという効果を奏する。また、車両の前方または後方を表示する起立画像の表示領域と車両の側方を表示する見下ろし画像の表示領域とが視覚的に識別し易くなるという効果を奏する。

図１は、第１の実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両の一例が示された平面図（俯瞰図）である。 図３は、第１の実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。 図４は、第１の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図５は、第１の実施形態にかかる車両の撮像部による撮像領域を示した図である。 図６は、第１の実施形態にかかるオプティカルフロー算出部により算出されるオプティカルフローの概念を示した図である。 図７は、第１の実施形態にかかるリングバッファの構造を示した図である。 図８は、第１の実施形態にかかる表示処理部により表示処理された通常の画面例を示した図である。 図９は、第１の実施形態にかかる表示処理部により表示処理される、床下表示の際の画面例を示した図である。 図１０は、第１の実施形態にかかる画像選択部が選択する撮像画像データを説明する図である。 図１１は、第１の実施形態にかかる周辺監視部における、撮像画像データの保存処理の手順を示すフローチャートである。 図１２は、第１の実施形態にかかる周辺監視部における、表示処理の手順を示すフローチャートである。 図１３は、第１の実施形態にかかる周辺監視部における、床下表示処理の手順を示すフローチャートである。 図１４は、第２の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図１５は、第２の実施形態にかかる車両が後退している場合に、表示処理部により表示処理された通常の画面例を示した図である。 図１６は、第２の実施形態にかかる表示処理部により表示処理される、床下表示の際の画面例を示した図である。 図１７は、第１の実施形態にかかる表示処理部により表示処理された画面の変形例を示した図である。

後述する実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

（第１の実施形態）
図１に示されるように、第１の実施形態にかかる車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。

また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。

また、図１，２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１２は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１２は、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、車輪３Ｆを操舵する。なお、別の実施例において、操舵システム１２は、図３に示すように、前輪と後輪が独立または関連して操舵されるように構成してもよい。この場合、前輪操舵システム１２と後輪操舵システム１３で構成される。そして、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。

また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には例えば１４０°〜２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。

本実施形態では、一例として、第１撮像部として機能する撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。第２撮像部として機能する撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。第１撮像部として機能する撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。第２撮像部として機能する撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両に対してフロント方向の画像データ、左右サイド方向の画像データ、リア方向の画像データを取得できるように設置されればよい。

周辺監視ＥＣＵ１４は、複数の撮像部１６で得られた画像データに基づいて演算処理や画像処理を実行し、当該画像処理がなされた画像データを表示装置８に表示できる。

また、本実施形態では、一例として、図３に示されるように、周辺監視システム（周辺監視装置）１００では、周辺監視ＥＣＵ１４（electronic control unit）や、モニタ装置１１等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（electronic stability control）搭載車両とする。そして、ＥＳＣ（electronic stability control）搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。

周辺監視ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。

図４は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部４００の構成を示すブロック図である。図３の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、図４に示される、取得部４０１と、角度算出部４０２と、保存処理部４０３と、受付部４０５と、表示処理部４０６と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。また、周辺監視部４００は、ＲＡＭ１４ｃ上にリングバッファ４０４を実現する。

図５は、本実施形態にかかる車両１の撮像部１６ａによる撮像領域を示した図である。図５に示されるように、撮像部１６ａは、車両１の進行方向の路面と、当該路面から上方（重力方向の反対方向）の領域であり、少なくとも地平線を含む領域を撮像している。しかしながら、車両１の前輪３Ｆ付近の路面５０１は、撮像部１６ａが現在撮像している撮像領域５０２に含まれていない。また、撮像領域を前輪３Ｆ付近の床下まで含めるのも、車両１のバンパーの配置等の影響（車両１の構造的に）で難しい。

このため、運転者は、現在撮像されている撮像画像データを視認しても、車両１の前輪３Ｆ付近に障害物等が存在するか否かを確認するのが難しい。そこで、本実施形態にかかる周辺監視部４００は、運転者の要望に応じて、撮像部１６ａが過去に撮像した撮像画像データを表示可能とした。過去に撮像した撮像画像データとは、換言すれば、車両１の現在の位置より後方の位置で撮像した撮像画像データを意味する。

例えば、周辺監視部４００が、車両１の後方の位置で撮像部１６ａが撮像した撮像画像データとして、撮像領域５０３を撮像した撮像画像データを、運転者に提示することが考えられる。撮像領域５０３には、路面５０１が含まれているため、運転者は前輪３Ｆ付近の路面５０１を確認することができる。これにより、運転者は路面５０１の状況を確認した上で運転できるため、運転の負担を軽減できる。次に、図４に戻り、周辺監視部４００の構成について説明する。

取得部４０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部４０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ〜１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。取得部４０１は、取得した情報を角度算出部４０２及び保存処理部４０３に出力する。

また、取得部４０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。

角度算出部４０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸周りの傾きを示した角度とし、ロール角とは、車両１の前後軸周りの傾きを示した角度とする。

また、角度算出部４０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。

保存処理部４０３は、回転制御部４１１と、鳥瞰図画像生成部４１２と、オプティカルフロー算出部４１３と、位置推定部４１４と、保存部４１５と、を備え、表示装置８に表示するための撮像画像データを生成、保存する。

回転制御部４１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対して、回転補正を行う。

本実施形態にかかる回転制御部４１１は、撮像部１６ａが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。

鳥瞰図画像生成部４１２は、回転制御された後の撮像画像データに基づいて、車両１の進行方向の地面であり且つ当該車両１周辺の地面を上方から俯瞰した鳥瞰図画像データを生成する。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルを用いて変換しても良い。

鳥瞰図画像データの生成は、撮像画像データを取得する毎に行われる。換言すれば、鳥瞰図画像生成部４１２は、回転制御部４１１により回転制御された第１の撮像画像データに基づいて第１の鳥瞰図画像データを生成した後に、当該第１の撮像画像データを撮影してから車両１が移動した後に撮像部１６により撮像され且つ回転制御部４１１により回転制御された第２の撮像画像データに基づいて、第２の鳥瞰図画像データを生成する。

オプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により算出された鳥瞰図画像データに基づいて、オプティカルフローを算出する。オプティカルフローは、鳥瞰図画像データに映っている物体の動きをベクトルで示した情報とする。オプティカルフローを算出することで、車両１の移動量を推定することができる。

本実施形態にかかるオプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により生成された鳥瞰図画像データと、前回更新した際に用いた鳥瞰図画像データとを比較して、オプティカルフローを算出する。

しかしながら、鳥瞰図画像データ全体で比較を行うと処理負担が大きくなる。そこで、本実施形態にかかるオプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により生成された鳥瞰図画像データ内の予め定められたエリアについて比較を行うこととした。

具体的には、本実施形態にかかるオプティカルフロー算出部４１３は、前回更新した際に用いた第１の鳥瞰図画像データ及び、第１の鳥瞰図画像データより後に生成された第２の鳥瞰図画像データのそれぞれから、予め定められたエリア（表示範囲）を切り出して、オプティカルフローを算出する。

図６は、オプティカルフロー算出部４１３により算出されるオプティカルフローの概念を示した図である。図６の（Ａ）を、前回更新した際に用いた第１の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとし、図６の（Ｂ）を、今回、鳥瞰図画像生成部４１２により生成された第２の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとする。

そして、オプティカルフロー算出部４１３は、図６の（Ａ）で示した画像データと、図６の（Ｂ）で示した画像データとの間で、表示された物体（の特徴点）の遷移をベクトルで示したオプティカルフローを算出する。図６の（Ｃ）が算出されたオプティカルフローの例を示している。図６の（Ｃ）で示す例では、図６の（Ａ）内で示された特徴点（“×”で示される）が、図６の（Ｂ）内で示された特徴点（“×”で示される）まで移動したベクトルの長さが示されている。

そして、位置推定部４１４は、オプティカルフロー算出部４１３により算出されたオプティカルフローの平均値から、車両１の移動量を算出し、車両１の現在の位置を推定する。

ところで、本実施形態では、オプティカルフローで車両１の現在の位置を推定している。これは、車両１の前輪３Ｆ付近などの車両１の床下の状況を把握したい場合、オフロード走行していることが多い。オフロード走行では、荒れた路面等の影響により車輪３の空転等が生じることが考えられる。この場合、車輪３の回転数に基づいて車両１の移動量を推定すると誤差が生じる可能性が大きい。そこで、本実施形態では、オプティカルフローに基づいて車両１の移動量、及び位置を推定することとした。

保存部４１５は、前回保存してから車両１の移動量が所定の距離以上、及び車両１の移動角が所定の角度以上のいずれか１つの条件を満たした場合に、回転制御部４１１に回転制御された後の撮像画像データを、車両１の位置情報と共に、リングバッファ４０４に保存する。本実施形態は、所定の距離を制限するものではないが、例えば、０．３ｍ、０．５ｍが考えられる。所定の角度は、例えば、２ｄｅｇ等が考えられる。

リングバッファ４０４は、撮像部１６ａから出力された現在の撮像画像データを、撮像時の情報と対応付けて保存する。図７は、リングバッファ４０４の構造を示した図である。図７に示されるように、リングバッファ４０４は、撮像画像データと、当該撮像画像データの撮像時の車両１の傾き（進行方向）、及び車両１の位置情報と、を対応付けて記憶する。

図７に示されるように、リングバッファ４０４は、論理的にリング状に配置されたバッファとする。そして、リングバッファ４０４においては、保存部４１５の保存要求に応じて、最も古く更新された領域に対して、当該保存要求の撮像画像データ等を上書き保存していく。

受付部４０５は、操作入力部１０等の指示信号（制御信号）を受け付ける。本実施形態にかかる受付部４０５は、これら指示信号から、現在の撮像部１６ａが撮像した撮像画像データ、及びリングバッファ４０４に記憶されている過去の撮像画像データ（換言すれば車両１の床下表示）のうち、どちらを表示装置８に表示するのか切り替え操作を受け付ける。

表示処理部４０６は、画像選択部４２１と、出力部４２２と、を備え、受付部４０５が受け付けた操作に従って、表示装置８に対する表示処理を行う。

図８は、表示処理部４０６により表示処理された通常の画面例を示した図である。図８に示す様に、通常の画面例では、撮像部１６ａが撮像している撮像画像データ８０１の他に、撮像部１６ｄより撮像された、車両１の右側の前輪３Ｆ周辺の撮像画像データ８０２と、撮像部１６ｂより撮像された、車両１の左側の前輪３Ｆ周辺の撮像画像データ８０３と、が映っている。さらには、表示領域８０４には、車両１のピッチ角及びロール角が認識可能な情報として表示されている。つまり、車両１を示したアイコン８１１の傾きでロール角を示す一方、当該アイコン８１１を通る中心線と、水平線との間の距離でピッチ角を示している。本実施形態ではこのような表示態様で、ロール角及びピッチ角を認識可能に示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。

また、撮像画像データ８０１には、舵角センサ１９から取得した操舵角に応じた前輪３Ｆの進行方向を示した軌跡８５１、８５２が表示される。これにより、運転者は、車両１の進行方向を確認した上で運転することが可能となる。

しかしながら、図８に示す画面例では、車両１の床下付近の状況を確認するのは難しい。そこで、本実施形態にかかる周辺監視部４００では、車両１の床下付近の表示に切り替えることができる。本実施形態は、切り替え手法を制限するものではないが、例えば車両１が停止してから、受付部４０５が、表示切り替えのボタンの押下を受け付けた場合に、表示処理部４０６が表示を切り替える等が考えられる。

図９は、表示処理部４０６により表示処理される、床下表示の際の画面例を示した図である。図９に示す例では、右側の前輪３Ｆ周辺の撮像画像データ８０２と、車両１の左側の前輪３Ｆ周辺の撮像画像データ８０３と、ロール角及びピッチ角を認識可能に表示している表示領域８０４と、は、現在の車両１の状況を表しているため、図８と同様とする。

撮像画像データ９０１は、車両１の撮像部１６ａにより過去に撮像された撮像画像データとする。撮像画像データ９０１を撮像してからの算出された車両１の移動量により、撮像画像データ９０１上の現在の車両１の位置を推定できる。そこで、表示処理部４０６は、車両１の現在の所定部位を特定可能な情報を表示する。図９に示す例では、車両１の所定部位を特定可能な識別情報の一例として車両１の外形を示す輪郭線９１１と、車両１の前輪３Ｆの外形を示す輪郭線９１２、９１３と、が表示されている。

前輪３Ｆの外形を示す輪郭線９１２、９１３が、舵角センサ１９により検出された現在の操舵角に基づいた輪郭線とする。これにより、運転者は、輪郭線９１２、９１３を視認することで、車両１の現在のタイヤ角と位置を認識できる。撮像画像データ９０１では、外形を示す輪郭線９１１と、前輪３Ｆの外形を示す輪郭線９１２、９１３と、が重畳表示されているため、運転者は、路面と、車両１の前輪３Ｆ付近を含む床下の路面状況を認識できる。これにより、周辺監視部４００は、運転手に対して、前輪３Ｆ付近の障害物を避ける等の運転を行うための環境を提供できる。このように、本実施形態は、運転負担の軽減、及び運転する際の利便性を向上させることができる。

また撮像画像データに重畳する情報は、車両１の所定部位を特定可能な識別情報（例えば、輪郭線９１１、９１２、９１３）に制限するものではない。本実施形態にかかる表示処理部４０６は、運転者の要求に応じて、撮像画像データに対して、車両１の現在の操舵角による進行方向の軌跡等を表示しても良い。

図４に戻り、次に表示処理部４０６の構成について説明する。画像選択部４２１は、受付部４０５により、床下表示への切り替えを受け付けた場合に、表示する撮像画像データを、リングバッファ４０４に記憶されている撮像画像データから選択する。

本実施形態にかかる画像選択部４２１は、リングバッファ４０４から、撮像部１６ａにより過去に撮像された撮像画像データであり、且つ現在の車両１に対応する路面を含む撮像画像データを選択する。つまり、撮像されている路面に、現在の車両の位置として考えられる（に対応する）路面が含まれている撮像画像データを表示すれば、車両１の床下表示を実現できる。

図１０は、本実施形態にかかる画像選択部４２１が選択する撮像画像データを説明する図である。図１０に示す例では、車両１は、位置１００１、位置１００２、位置１００３、位置１００４の順に移動しているものとし、現在の車両１は位置１００４に存在している。そして、位置１００４で、運転者から、床下表示への切り替えを受け付けたものとする。

この場合、本実施形態にかかる画像選択部４２１は、現在の車両１の後輪３Ｒ間の中心１０６１を基準に、リングバッファ４０４に記憶されている撮像画像データから、表示する撮像画像データを選択する。本実施形態では、画像選択部４２１は、撮影された際の撮像部１６ａの位置が、中心１０６１付近若しくは中心１０６１より後方で有り、現在の車両１の進行方向と比べて、撮影時の車両１の傾き（進行方向）が所定の角度内となる条件を満たす撮像画像データを選択する。このような条件を満たす位置として、画像選択部４２１は、位置１００２で撮像された撮像画像データを選択する。位置１００２で撮像された撮像画像データの撮像領域１０５１には、現在の車両１の前輪３Ｆ付近の路面も含まれている。このため、表示処理部４０６が、当該撮像画像データに、現在の車両１の位置を示した輪郭線を重畳表示することで、運転者は現在の車両１の前輪３Ｆ付近の路面状況を認識できる。

なお、本実施形態は、撮像画像データの選択手法をこのような手法に制限するものではなく他の手法を用いても良い。例えば、画像選択部４２１は、車両１の傾き（進行方向）が、現在の車両１の進行方向から所定の角度内であって、リングバッファ４０４に記憶されている撮像画像データのうち、最も古い撮像画像データを選択しても良い。

出力部４２２は、床下表示の選択を受け付けた場合に、画像選択部４２１により選択された撮像画像データを、表示装置８に出力する。これにより、出力部４２２は、リングバッファ４０４に記憶された撮像画像データのうち、撮像部１６ａにより過去に撮像された撮像画像データであり、且つ現在の車両１が位置する領域を含む撮像画像データを、表示装置８に出力できる。さらに、出力部４２２は、右側の前輪３Ｆ周辺の撮像画像データ８０２と、車両１の左側の前輪３Ｆ周辺の撮像画像データ８０３と、ロール角及びピッチ角を認識可能に表示している表示領域８０４と、を表示装置８に出力する。

次に、本実施形態にかかる周辺監視部４００における、撮像画像データの保存処理について説明する。図１１は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。

まず、撮像部１６が、車両１の周辺環境を撮像する（ステップＳ１１０１）。特に撮像部１６ａは、車両１の進行方向のうち、路面と地平線とを含む領域を撮像する。

次に、取得部４０１が、撮像部１６から撮像画像データを、加速度センサ２６から加速度データを取得する（ステップＳ１１０２）。

そして、角度算出部４０２が、加速度データから、車両１のロール角及びピッチ角を算出する（ステップＳ１１０３）。

そして、回転制御部４１１が、撮像画像データに対して、ロール角に応じた回転制御を行う（ステップＳ１１０４）。

次に、鳥瞰図画像生成部４１２が、回転制御をした後の撮像画像データから、車両１の進行方向であり且つ当該車両１の周辺に存在する所定の領域を俯瞰的に示した鳥瞰図画像データを生成する（ステップＳ１１０５）。

そして、オプティカルフロー算出部４１３が、生成された鳥瞰図画像データに基づいて、オプティカルフローを算出する（ステップＳ１１０６）。

次に、位置推定部４１４が、算出されたオプティカルフローに基づいて、車両１の移動量を算出すると共に、車両１の現在位置を推定する（ステップＳ１１０７）。

そして、保存部４１５は、前回保存した位置から、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度（例えば２ｄｅｇ）のうちいずれか１つ以上変化したか否かを判定する（ステップＳ１１０８）。所定の距離及び所定の角度のいずれも変化していないと判定した場合（ステップＳ１１０８：Ｎｏ）、処理を終了する。なお、本実施形態では、所定の距離及び所定の角度のうちいずれか一つ以上変化した場合に保存を行う例について説明するが、このような保存手法に制限するものではなく、所定時間毎に保存等をおこなっても良い。

一方、保存部４１５が、前回保存した位置から、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度のうちいずれか一つ以上変化したと判定した場合（ステップＳ１１０８：Ｙｅｓ）、保存部４１５が、リングバッファ４０４の最も古くに更新された領域に対して、回転処理した後の現在の撮像画像データを、上書き保存する（ステップＳ１１０９）。その際に、保存部４１５は、当該撮像画像データの撮像時の傾き（進行方向）、及び位置情報を対応付けて保存する。

次に、保存部４１５は、リングバッファ４０４に記憶されている撮像画像データの撮像時の位置情報を、現在の位置を基準（原点）とした位置情報に更新する（ステップＳ１１１０）。当該更新により、リングバッファ４０４をオーバーフローすることなく、継続して位置情報を保持することができる。

そして、本実施形態にかかる周辺監視部４００は、リングバッファ４０４に記憶された撮像画像データを、床下表示の際の画像データとして提供できる。

次に、本実施形態にかかる周辺監視部４００における、表示処理について説明する。図１２は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。

まず、受付部４０５が、床下表示の操作を受け付けたか否かを判定する（ステップＳ１２０１）。受付部４０５が、床下表示の操作を受け付けていないと判定した場合（ステップＳ１２０１：Ｎｏ）、表示処理部４０６は、通常のナビゲーション画面を表示する（ステップＳ１２０２）。

一方、受付部４０５が、床下表示の操作を受け付けたと判定した場合（ステップＳ１２０１：Ｙｅｓ）、表示処理部４０６は、リングバッファ４０４に記憶されている撮像画像データを用いて、床下表示を行う（ステップＳ１２０３）。

次に、図１２のステップＳ１２０３における床下表示について説明する。図１３は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。

まず、画像選択部４２１が、現在の車両１の位置に基づいて、リングバッファ４０４から、表示する撮像画像データを選択する（ステップＳ１３０１）。選択手法は、既に説明した手法を用いれば良いものとして説明を省略する。本実施形態にかかる画像選択部４２１は、現在の車両１が存在する位置を含む領域が撮像されている撮像画像データを選択する。

次に、出力部４２２が、画像選択部４２１により選択された撮像画像データを、表示装置８に出力する（ステップＳ１３０２）。

さらに、出力部４２２は、ステップＳ１３０２で出力した撮像画像データに、現在の車両１の位置等を示したシンボル（例えば車両１の輪郭線、及び車両１の前輪３Ｆの輪郭線）を重畳するように出力する（ステップＳ１３０３）。

さらに、出力部４２２は、表示装置８に表示する意匠等（右側の前輪３Ｆ周辺の撮像画像データと、車両１の左側の前輪３Ｆ周辺の撮像画像データと、ロール角及びピッチ角を認識可能に表示している表示領域と、を含む）を出力する（ステップＳ１３０４）。

上述した処理手順により、車両１が存在する位置を含む撮像画像データに、当該車両１の現在の位置を示す輪郭線が重畳された画面が表示される。

そして、出力部４２２が出力した後、車両１が移動した場合に、出力部４２２は、車両１の移動に併せて、車両１の位置等を示したシンボル（例えば車両１の輪郭線、及び車両１の前輪３Ｆの輪郭線）を変化（アニメーション表示）させる。これにより、運転者は、現在の車両１の位置を認識できる。

また、本実施形態では、出力部４２２が過去の撮像画像データを表示した後、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度のうちいずれか一つ以上変化した場合に、画像選択部４２１は、新たに、現在の車両１の位置に適した撮像画像データをリングバッファ４０４から選択し、出力部４２２が、選択された撮像画像データの表示を行う。これにより、車両１の位置に応じた撮像画像データの表示がなされるため、運転者は、現在の車両１の周辺の状況の把握が容易になる。

また、本実施形態では、リングバッファ４０４に保存された回転処理後の撮像画像データを表示する例について説明した。しかしながら、画像処理を回転処理のみに制限するものではなく、歪み補正、視点変更、形状補正などの他の画像処理を行っても良い。

本実施形態では、上述した撮像画像データの表示処理を行うことで、現在の車両１の位置における死角領域を、表示装置８に表示することができる。これにより、運転者は周辺の状況を把握できるため、運転負担を軽減できる。

本実施形態では、路面と地平線とを含む領域を撮影した、いわゆる斜め視点の撮像画像データを表示することとした。この場合、鳥瞰図画像データを表示する場合と比べて、凹凸がある路面の走行、いわゆるオフロード走行の際に、路面の状況を把握できるため、運転の負担を軽減できる。

本実施形態では、算出されたオプティカルフローに従って車両１の位置を推定することとした。これにより、オフロード等を走行している際に、車輪３が空転した場合でも、車両１の位置を精度良く推定できる。

上述した実施形態では車両１は複数の撮像部１６ａ〜１６ｄを備えている。そこで、上述した実施形態では、任意の位置から同時刻に複数の撮像部で撮像された撮像画像データを合成し、表示しても良い。例えば、前方向の撮像部１６ａと、横方向の撮像部１６ｂ、１６ｄと、で撮影された複数の撮像画像データ（左方向の撮像画像データ、前方向の撮像画像データ、右方向の撮像画像データ）を合成したものを表示しても良い。

また、前方向の撮像部１６ａと、横方向の撮像部１６ｂ、１６ｄと、で撮影された複数の撮像画像データ（左方向の撮像画像データ、前方向の撮像画像データ、右方向の撮像画像データ）の合成は、車両１の複数の位置ではなく、任意の（１つの）位置で撮像された撮像画像データとする。ただし、任意の位置から撮像された撮像画像であれば、同時刻に撮像された撮像画像データでなくとも良い。

上述した実施形態では、出力部４２２が出力する、床下表示用の撮像画像データは、現在の車両１の位置に対応する路面が含まれていれば、撮像を行う車両１の位置を制限するものではなく、任意の位置で撮像されたものでよい。また、床下表示には、任意の（１つの）位置でのみ撮像された撮像画像データを用い、複数の位置で撮像された複数の画像データを合成したものを用いないようにする。これにより、処理負担を軽減できる。

本実施形態においては、リングバッファ４０４に複数の撮像画像データを記憶し、複数の撮像画像データから表示する撮像画像データを選択する例について説明したが、前回撮像した撮像画像データを表示するだけでもよい。この場合、撮像画像データを１つのみ記憶すればよいため、記憶容量を削減できる。

本実施形態では、表示切り替えのボタンの押下により、表示を切り替える例について説明した。しかしながら、表示を切り替えるタイミングを制限するものではない。例えば、車両の移動中に常に、過去に撮像した撮像画像データを表示しても良いし、車両１が停止したことを条件に過去に撮像した撮像画像データの表示に切り替えても良い。

（第２の実施形態）
第１の実施形態では、オプティカルフローに基づいて車両１の位置を推定する例について説明した。しかしながら、オプティカルフローによる位置の推定に制限するものではなく、車輪３の回転数を検出し、移動量を推定するセンサを用いても良い。そこで、第２の実施形態では、車輪３の回転数から移動量を推定する例について説明する。

さらに第１の実施形態では、前進する場合の進行方向側の撮像部１６ａにより撮像された撮像画像データを表示する例について説明した。しかしながら、前進する場合に制限するものではなく後進する場合に、撮像部１６ｃにより過去に撮像された撮像画像データを表示しても良い。

図１４は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部１４００の構成を示すブロック図である。図１４に示されるように、周辺監視部１４００は、第１の実施形態と比べて、取得部４０１と処理が異なる取得部１４０１に変更され、保存処理部４０３と処理が異なる保存処理部１４０２に変更されている。以下の説明では、上述した第１の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。

取得部１４０１は、第１の実施形態と同様に、撮像画像データと、加速度データと、を取得する他、車輪速センサ２２から車輪３の速度、換言すれば所定時間あたりの車輪３の回転数を取得する。取得した車輪３の速度、及び回転数は、保存処理部１４０２に出力される。

保存処理部１４０２は、回転制御部４１１と、鳥瞰図画像生成部４１２と、位置推定部１４１１と、保存部４１５と、を備え、表示装置８に表示するための撮像画像データを生成、保存する。

位置推定部１４１１は、取得部１４０１から入力された、前回位置を推定してからの回転数、及び舵角センサ１９からの操舵角に基づいて、車両１の位置を推定する。

その後、保存部４１５が、リングバッファ４０４に対して、撮像画像データと、現在の車両１の位置情報、及び傾き（進行方向）とを対応付けて記憶する。

本実施形態では、回転数に基づいて車両１の位置を推定することとした。これにより、オンロード走行している際に、車両１の位置を精度良く検出できる。また、車両１が後退している場合に、本実施形態にかかる周辺監視部１４００は、過去の撮像画像データを表示しても良い。

図１５は、車両１が後退している場合に、表示処理部４０６により表示処理された通常の画面例を示した図である。図１５に示す様に、通常の画面例では、車両１が後退している場合に、車両１の周辺領域を確認するために、撮像部１６ｃにより現在撮像されている撮像画像データを、全画面表示している。これにより、運転席から確認しにくい車両１の後方領域を確認できる。しかしながら、図１５に示す例では、車両１の後方の距離間隔を把握しにくい。そこで、本実施形態にかかる周辺監視部１４００では、車両１の床下付近の表示に切り替えることができる。例えば、受付部４０５が、表示切り替えのボタンの押下を受け付けた場合に、表示処理部４０６が表示を切り替える。

図１６は、表示処理部４０６により表示処理される、床下表示の際の画面例を示した図である。図１６に示す例では、撮像部１６ｃが過去に撮像した撮像画像データに、現在の車両１の外形を示す輪郭線１６０１と、車両１の後輪３Ｒの外形を示す輪郭線１６０２、１６０３と、が重畳表示されている。

図１６に示す撮像画像データは、撮像部１６ｃにより撮像されて、リングバッファ４０４に記憶された複数の撮像画像データから、画像選択部４２１により選択された撮像画像データとする。画像選択部４２１による撮像画像データの選択手法は、第１の実施形態と同様に、車両１の現在の位置を含んだ撮像画像データが選択可能であれば、どのような手法を用いても良い。

図１６に示す撮像画像データでは、過去に撮像した撮像画像データに、現在の車両１の所定部位、例えば車両１自体の位置を表す輪郭線１６０１が重畳されているため、車両１と周辺の位置関係を認識できる。さらには、車両１の後輪３Ｒの周辺に障害物等の有無を確認できる。また、車両１が４輪操舵の場合には、後輪３Ｒのタイヤ角に合わせて、輪郭線１６０２、１６０３の表示を切り替えても良い。

本実施形態にかかる周辺監視部１４００は、回転数に基づいて移動量を推定するセンサの検出結果に基づいて、制御を行うこととした。本実施形態ではオンロードにおいて、精度良く移動量を推定することが可能となる。

本実施形態では車両１の移動量を車輪３の回転数に応じて算出する例について説明した。しかしながら、このような手法に制限するものではなく、例えば、ＧＰＳ等から車両１の位置及び移動量を検出しても良い。

上述した各実施形態において、前方領域を示す表示領域（図８，９参照）は、いずれも、中央上段に短辺を下側にした略台形形状（台形形状、略台形表示領域、台形表示領域）としている。このように、短辺を下側にした形状で表示することで、前方表示領域を奥行き感のある起立画面のように見せる表示が可能となる。その結果、実際に利用者（運転者、乗員）が視認する周囲状況に近い表示が可能になる。また、車幅方向の左側および右側を撮影した画像を表示する側方表示領域（各実施形態では、略長方形の表示領域）と前方表示領域の形状を異ならせることにより、同じ画面に表示された側方領域を表示する領域と前方領域を表示する領域とが異なる視点（前方領域は起立画面、側方領域は見下ろし画面）であるように強調できるため、利用者の視認性の向上に寄与することができる。なお、各実施形態において、側方表示領域には、路面から上空の領域を含まないものとなっている。なお、略台形表示領域とは、各辺が直線で構成される台形表示領域でもよいし、いずれかの辺が曲線で構成されていてもよい。例えば、図８における撮像画像データ８０１を表示する領域の長辺側が領域外側に向かい凸の曲線で構成されていてもよい。同様に短辺側が領域外側に向かい凸状の曲線で構成されていてもよい。また、撮像画像データ８０１を表示する領域の側辺（斜辺）が外側に凸の曲線で構成されていてもよい。逆に領域内側に向かい凸の曲線で構成されていてもよい。例えば、長辺側が領域外側に凸の曲線で、短辺側が領域内側に凸の曲線で構成される扇形形状も、本実施形態における略台形形状に含まれるものとする。また、前述したような曲線は略台形形状の一部に採用されてもよいし、複数箇所で採用されていてもよい。略台形形状を構成する辺を曲線とすることで、表示領域の形状に様々な意匠性を持たせることができる。また、側方表示領域の略長方形の表示領域との識別性をさらに向上させることができる。

図１７には、表示処理部４０６により表示処理された画面の変形例が示されている。図１７の場合、撮像画像データ１７００の表示領域（前方表示領域）に対して、撮像画像データ１７０２及び撮像画像データ１７０４の表示領域（側方表示領域）を前方方向に拡大して、側方画像と前方画像との関連の理解を容易にできるようにして車両周囲の状況把握の容易性を向上させている。そして、前方表示領域に表示する撮像画像データ１７００の視認性を向上させるために上述したような「略台形表示領域」を用いて表示している。特に、図１７の例のように、側方表示領域が前方表示領域の横まで伸びている場合は、両者を異なる形状とすることで、その識別性をより向上させることができる。この「略台形表示領域」は、図８や図１７に示すように撮像部１６ａが撮影した現在画像を表示する場合および図９に示すように過去画像を表示する場合の両方に適用可能であり、いずれの場合も視認性を向上させることができる。

なお、図１７に示す例では、周辺監視ＥＣＵ１４は、操舵部４（ステアリングホイール）の操作状態を舵角センサ１９の出力データに基づき取得し、前輪３Ｆの向きを推定して、車両１の進行推定方向を示す進路指標１７０６，１７０８を前方表示領域に重畳表示している。進路指標１７０６，１７０８を前方表示領域に表示することにより、車両１がこれから進もうとしている方向が明確になり、周囲の状況と車両１の関係が把握し易くなる。そして、略台形表示領域により視認性が向上した表示領域を参照しつつ、例えば、スムーズに障害物を回避する運転を容易に行えるような運転支援を提供することができる。

上述した第１〜第２の実施形態においては、現在撮像した撮像画像データと合成を行うことなく、過去に撮像した撮像画像データを表示することとした。時系列の異なる撮像画像データを合成せずに、ある時点で撮影された撮像画像データのみを表示することで、現在の車両１の位置における死角となる領域を、運転者に対して違和感なく表示することができる。

上述した実施形態では、車両１の進行方向の路面及び地平線を含んだ領域を撮像、いわゆる斜め視点から撮像された撮像画像データを表示する例について説明した。しかしながら、撮影する画角及び表示する画像データを制限するものではない。例えば、鳥瞰図（トップビュー）による画像データを表示しても良い。

上述した実施形態にかかる第１〜第２の実施形態にかかる周辺監視部では、過去に撮像された撮像画像データを表示することで、運転者に違和感を与えることになく、車両１周辺で死角となっている領域（例えば車両１の前輪３Ｆ付近）の状況を提示することができる。これにより、運転者の運転の負担を軽減できる。

上述した実施形態にかかる周辺監視部では、過去に撮像された撮像画像データに現在の車両１の位置を示す輪郭線等を表示している。これにより、周囲の状況と車両１との関係の把握が容易になる。

上述した実施形態にかかる周辺監視部では、床下表示の選択を受け付けた場合に、過去のある車両の位置から撮像部１６により撮影された撮像画像データのみを表示している。すなわち、上述した実施形態では、例えば、現在の撮像画像データと、過去の撮像画像データのような、時系列の異なる複数の撮像画像データの合成を行わない例について説明した。このように時系列の異なる複数の画像データの合成を行わないため、処理負担を軽減することが可能となった。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、１６…撮像部、１００…周辺監視システム、４００、１４００…周辺監視部、４０１、１４０１…取得部、４０２…角度算出部、４０３、１４０２…保存処理部、４０４…リングバッファ、４０５…受付部、４０６…表示処理部、４１１…回転制御部、４１２…鳥瞰図画像生成部、４１３…オプティカルフロー算出部、４１４、１４１１…位置推定部、４１５…保存部、４２１…画像選択部、４２２…出力部。

Claims (3)

1. 車両の周囲の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを取得する取得部と、
   前記取得部が取得した前記撮像画像データを、短辺を画面下方とする略台形表示領域に表示させるように表示装置に出力する出力部と、
   を備え、
   前記撮像部は、前車両の前方または後方を斜め視点から撮像する第１撮像部と、前記斜め視点とは異なる前記車両の側方を見下ろすような視点から撮像する第２撮像部とを含み、
   前記出力部は、前記第１撮像部で撮像した撮像画像データに基づく画像を前記略台形表示領域に表示させ、さらに、前記第２撮像部で撮像した撮像画像データに基づく画像を前記表示装置の２つの略長方形表示領域に表示させ、
   ２つの前記略長方形表示領域は、車幅方向の車両左側を撮像した画像を表示する、前記略台形表示領域の前記画面下方よりも下方に延びた第１略長方形表示領域と、前記車幅方向の車両右側を撮像した画像を表示する、前記略台形表示領域の前記画面下方よりも下方に延びた第２略長方形表示領域であり、前記第１略長方形表示領域および前記第２略長方形表示領域の形状は、前記第１略長方形表示領域および前記第２略長方形表示領域に表示された前記車両の車両前後方向を長辺とし、
   前記略台形表示領域は、前記第１略長方形表示領域および前記第２略長方形表示領域に挟まれる態様で前記表示装置に表示される、周辺監視装置。
2. 前記略長方形表示領域には、当該略長方形表示領域に表示された前記車両の進行方向前側に位置する車輪と地面との接地点が表示される、請求項１に記載の周辺監視装置。
3. 車両の周囲の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを取得する取得ステップと、
   前記取得ステップで取得した前記撮像画像データを、短辺を画面下方とする略台形表示領域に表示させるように表示装置に出力する出力ステップを、
   を備え、
   前記撮像部は、前記車両の前方または後方を斜め視点から撮像する第１撮像部と、前記斜め視点とは異なる前記車両の側方を見下ろすような視点から撮像する第２撮像部とを含み、
   前記第１撮像部は、前記表示装置の前記略台形表示領域に表示する撮像画像データを撮像し、前記第２撮像部は、前記表示装置の２つの略長方形表示領域に表示する撮像画像データを撮像し、
   ２つの前記略長方形表示領域は、車幅方向の車両左側を撮像した画像を表示する、前記略台形表示領域の前記画面下方よりも下方に延びた第１略長方形表示領域と、前記車幅方向の車両右側を撮像した画像を表示する、前記略台形表示領域の前記画面下方よりも下方に延びた第２略長方形表示領域であり、前記第１略長方形表示領域および前記第２略長方形表示領域の形状は、前記第１略長方形表示領域および前記第２略長方形表示領域に表示された前記車両の車両前後方向を長辺とし、
   前記出力ステップは、前記第１撮像部で撮像した撮像画像データに基づく画像を前記略台形表示領域に表示させ、さらに、前記第２撮像部で撮像した撮像画像データに基づく画像を２つの前記略長方形表示領域に表示させるとともに、前記略台形表示領域は、前記第１略長方形表示領域および前記第２略長方形表示領域に挟まれる態様で前記表示装置に表示させる処理を、
   コンピュータに実行させるためのプログラム。

Images