JP5113881B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両周辺の移動体を監視する車両周辺監視装置に関する。

カメラにより撮影した画像を表示し、運転者の視界を支援する車両周辺監視装置として、例えば、特許文献１に記載されるように、画角が１８０度（もしくはそれ以上）となる広角レンズを備えたカメラ装置が提案されている。このようなカメラ装置によれば、広い視野範囲を撮影することができる反面、図３に示すように、撮影画像における周囲の物体が小さくなってしまう。特に、後退発進の場合には、左右に駐車された車両とのクリアランスにも注意する必要があり、画面上に小さく表示される物体に運転者は気づきにくい。

そのため、例えば、特許文献２に記載されるように、撮影画像から移動物体を切り出し、移動物体を強調表示するモニタ装置が提案されている。特許文献２では、撮影画像の特徴点のオプティカルフローを計算し、各特徴点の動きベクトルを求めることにより、移動物体の切り出しが可能となる。そして、切り出した移動物体を強調して表示することにより、車両前方の死角に移動物体が存在することを容易に認識することができる。

特開２００５−１１０２０２号 特開２００５−１２３９６８号

しかしながら、特許文献２のようにオプティカルフローにより動きベクトルを抽出する画像処理は、計算量が膨大となる。そのため、移動物体の動きに追従して精度良く切り出しを行うためには、別途専用のプロセッサを設け、処理時間を短くする必要が生じる。

本発明は、このようなオプティカルフローによる画像処理を用いることなく、撮影画像から移動物体を検出し、その移動物体の存在を運転者が容易に気づくことができる車両周辺監視装置を提供することを目的とする。

上記目的を達成するために成された請求項１に記載の発明は、自車両に搭載され、自車両外部の周辺を広角レンズによって撮影する撮影装置と、撮影装置にて撮影された撮影画像に撮影画像の２つの無限遠点を結ぶ広角レンズの歪みに合わせた曲線の検出ラインを設定し、検出ラインに沿って移動する移動物体の移動に伴って生じる検出ライン上の画素の明るさの変化量が所定閾値以上となる位置の時間的変化を監視することにより、移動物体の移動方向を検出する検出手段と、検出手段により検出された結果に応じて、情報表示を生成する生成手段とを有する制御装置と、撮影画像及び情報表示を表示する表示装置とを備えることを特徴とする。このように、請求項１に記載の発明においては、移動物体の移動に伴って生じる検出ライン上の画素の明るさの変化を検出することで、オプティカルフローによる画像処理を用いることなく、少ない計算量で移動物体を検出することができる。そして、その検出結果に応じて情報表示を生成し、表示装置にて撮影画像とともに表示するため、運転者は移動物体を容易に認識することができる。ここで、検出ラインとは、必ずしもライン状である必要はなく、所定幅の領域であればよい。また、広角レンズの歪みに合わせた曲線の検出ラインを設定するため、検出に要する処理負荷を削減でき、実空間の路面上に投影した場合に直線に近づくような検出ラインとすることができ、移動物体の検出率を向上することができる。更に、該曲線の検出ラインは、撮影画像の２つの無限遠点を結ぶものであるため、無限遠点付近の移動物体を精度良く検出することができる。また、検出ラインに沿って移動する移動物体の移動に伴って生じる検出ライン上の画素の明るさの変化量が所定閾値以上となる位置の時間的変化を監視することにより、移動物体の移動方向を検出することができる。

この所定閾値は、常に固定である必要はなく、明るさが増加する場合と減少する場合とで変えてもよいし、昼間と夜間とで変えてもよい。実験等により、好適な所定閾値を定めておけば、移動物体の検出精度を向上することができる。

また、移動物体が、検出ライン上においていずれの方向へ移動しているかを検出することができる。

また、請求項４に記載の発明では、検出ラインの実空間上の距離を算出し、自車両から移動物体の位置までの距離を検出する。すなわち、検出ラインを実空間の路面上に投影した場合の距離を、撮影装置のレンズ画角やレンズ歪み係数に応じて算出する。これにより、移動物体が自車両からどの程度離れた位置に存在するかを検出することができる。

かかる生成手段は、請求項５に記載された発明のように、撮影画像の端点近傍から移動物体の位置に対応する点の近傍まで、第１端部に沿うよう情報表示を生成する。これにより、運転者は、どの位置に移動物体が存在するかを容易に把握することができる。

また、請求項６に記載の発明では、移動物体の移動方向が撮影画像における第２端部から他の端部へ向かう方向である場合、第２端部に沿うよう情報表示を生成する。これにより、運転者は、いずれの方向から移動物体が移動してくるかを瞬時に認識することができる。ゆえに、例えば、広角レンズにより、画像周囲の移動物体が小さく撮影された場合であっても、移動物体に対する注意喚起を運転者へ促すことができ、安全性を向上させることができる。

また、請求項７に記載の発明では、移動物体が自車両に近づくと判断した場合、情報表示の生成を行い、移動物体が自車両から遠ざかると判断した場合、情報表示の生成を行わないよう構成する。移動物体が自車両に近づく場合は運転者への注意喚起の必要性が高いが、自車両から遠ざかる場合には注意喚起の必要性は低い。ゆえに、移動物体が自車両に近づくか遠ざかるかを判断し、遠ざかる場合には情報表示の生成を行わないこととする。これにより、運転者にとって必要性の低い情報表示を抑制することができる。

また、情報表示の態様は、請求項８に記載された発明のように、移動物体の位置もしくは自車両から移動物体までの距離に応じて変化させてもよい。または、請求項９に記載された発明のように、移動物体の移動速度に応じて変化させてもよい。具体的には、請求項１０に記載された発明のように、情報表示の色、太さ、点滅間隔の少なくともいずれか１つを変化させるよう構成する。このように、警告度合いに関係のある検出結果に応じて情報表示の態様を変化させることにより、運転者に対して好適な注意喚起を与えることができる。

ここで、広角レンズで撮影された画像には、２つの無限遠点（消失点とも言う）が存在する。広角レンズの画角によって、撮影画像中に無限遠点が存在する場合と、撮影画像外に仮想的な無限遠点が存在する場合とがあり得るが、本発明はいずれの場合をも含む概念である。

また、請求項９に記載の発明では、自車両の速度が所定値以上となる場合、検出手段による明るさの変化の検出もしくは生成手段による情報表示の生成を中断することを特徴とする。自車両の速度が速くなると、撮影画像における背景の変化量も大きくなり、背景画素の明るさの変化量を移動物体が存在すると誤検出してしまうことがある。そのため、自車両の速度が所定値以上である場合には、移動物体の検出もしくは情報表示の生成を中断することで、運転者に対する誤った注意喚起を防止することができる。

また、請求項１０に記載の発明では、自車両の移動距離が所定値以上となる場合、検出手段による明るさの変化の検出もしくは生成手段による情報表示の生成を中止することを特徴とする。例えば、自車両周辺の見通しが悪い状況であっても、自車両の全長分の距離を移動すれば、運転者が目視にて移動物体を確認できる場面も多い。そのため、移動物体の検出もしくは情報表示の生成を中止することにより、運転者に対する必要性の低い注意喚起を抑制することができる。

また、請求項１１に記載の発明では、自車両のギア位置が後退位置となる場合、検出手段による明るさの変化の検出及び生成手段による情報表示の生成を行うことを特徴とする。これにより、特に後退時のように、運転者が移動物体を目視により確認しづらい状況において、安全性を向上させることができる。

第１の実施形態における車両周辺監視装置の全体構成を示す概略図である。 駐車場において後退発進する様子を示した俯瞰図である。 表示装置における後方画像の表示例を示す図である。 撮影画像において移動物体を検出する領域を示す図である。 昼間における移動物体を撮影した後方画像、及び検出ライン上における画素の明るさの変化を示すグラフである。 夜間における移動物体を撮影した後方画像、及び検出ライン上における画素の明るさの変化を示すグラフである 右方向から移動物体が接近してくる場合の合成画像を示す図である。 左方向から移動物体が接近してくる場合の合成画像を示す図である。 第１の実施形態における車両周辺監視装置の処理を示すフローチャートである。 第１の実施形態の変形例１における車両周辺監視装置の処理を示すフローチャートである。 第１の実施形態の変形例３における車両周辺監視装置の処理を示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。なお、ここで示す実施の形態はあくまでも一実施例であって、本発明は必ずしもこの実施の形態に限定されるものではない。
（第１の実施形態）
第１の実施形態における車両周辺監視装置の構成について、図１乃至図３を用いて説明する。図１は、本実施形態による車両周辺監視装置１００の全体構成を示す概略図である。カメラ装置１１０は、例えば、レンズ面が曲面状に形成されている広角レンズによって構成される。そして、図２に示すように車両後方の端部に配置され、車両の後方１８０度を撮影する。図２は、本実施形態による車両周辺監視装置１００を備えた自車両１が、駐車場において後退発進する様子を示した図である。図２は、車両３と車両４との間に前進駐車された自車両１が後退で発進する状況を示しており、車両１の後方かつ運転者にとって右側（右手側）より、走行車両２が自車両１に接近してくる様子が分かる。自車両１に配置されたカメラ装置１１０は、破線Ｌで示される自車両１の後方１８０度の範囲を撮影する。

制御装置１２０は、図示しないＣＰＵ、後述する各機能を実現するプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成される。ＣＰＵが、ＲＯＭに記憶されるプログラムを実行することにより、各機能が実現される。

制御装置１２０は、その機能により、車両状態取得部１２１（本発明の速度取得手段、ギア位置取得手段に相当）、移動物体検出部１２２（本発明の検出手段に相当）、及び合成画像生成部１２３（本発明の生成手段に相当）のブロックに分けることができる。車両状態取得部１２１は、自車両内の各種センサからギアの位置、車速といった車両の情報を取得し、その情報を移動物体検出部１２２に出力する。移動物体検出部１２２は、カメラ装置１１０から出力される撮影画像から、移動物体を検出し、その検出結果及び撮影画像を合成画像生成部１２３に出力する。また、車両状態取得部１２１から出力されるギアの位置や車速によって、移動物体の検出を中止したり開始したりする。合成画像生成部１２３は、移動物体の検出結果に基づき、撮影画像に対して、運転者が移動物体を認識できるような情報表示を合成し、表示装置１３０に出力する。また、音声出力装置１４０に対し、警告音の出力を指示してもよい。

表示装置１３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。そして、車室内における運転者が視認可能な位置に設けられ、制御装置１２０から出力される画像を逐次表示する。図３は、表示装置１３０における後方画像の表示例である。広角レンズの特性上、走行車両２のように、画像周囲の物体は小さく撮影されることとなる。なお、運転者が視認する都合上、カメラ装置１１０が撮影した後方画像が左右反転され、表示装置１３０に表示される。

音声出力装置１４０は、例えば、スピーカー等を用いて構成することができ、制御装置１２０からの指示に基づき、アラーム音や音声メッセージを出力する。

次に、移動物体検出部１２２における移動物体の検出処理について図４乃至図６を用いて説明する。

移動物体検出部１２２は、まず、撮影画像のうち移動物体を検出する領域を決定する。図４は、移動物体を検出する領域を示す図である。２つの点Ｐｌ、Ｐｒを結ぶ検出ラインＬ１（破線）が、移動物体を検出する領域である。ここで、２つの点Ｐｌ、Ｐｒは、検出したい領域に応じて任意の位置に定めればよく、本実施形態では、左側の無限遠点Ｐｌと右側の無限遠点Ｐｒとに定めることとする。これら無限遠点Ｐｌ、Ｐｒは、カメラ装置１０１を車両に配置した際の高さ、角度、カメラ装置１０１のレンズ画角及びレンズ歪み係数から任意に設計的に計算すればよい。オプティカルフロー等により無限遠点を検出することもできるが、本実施形態では、予め定めた無限遠点を用いる。なお、無限遠点Ｐｌ、Ｐｒをそれぞれ同じ分だけ縦方向にずらした２つの点をＰｌ、Ｐｒと定めてもよい。また、レンズ画角が１８０度より小さい場合は、撮影画像の領域外に仮想的な無限遠点Ｐｌ、Ｐｒを定めておけばよい。

そして、２つの無限遠点Ｐｌ、Ｐｒとを、レンズ歪み係数に基づいた線で結ぶことにより、検出ラインＬ１を設定する。すなわち、検出ラインＬ１を、図４に示すように、実空間の路面上に投影すると直線となるようなレンズの歪みに合わせた線として設定する。この検出ラインＬ１は、必ずしも１ラインとする必要はなく、所定幅の領域としてもよい。そして、このように検出ラインＬ１を決定した後、撮影画像の歪みが緩和されるように、画像に対して歪み補正を行ってもよい。

次に、移動物体検出部１２２は、撮影画像における検出ラインＬ１上の画素の明るさを監視する。図５は、走行車両２が自車両１に接近してきた場合の後方画像と、検出ラインＬ１上における画素の明るさの変化を示すグラフの一例である。後方画像は、表示装置１３０に表示するよう左右反転されている。また、撮影画像の歪みが緩和されるよう、検出ラインＬ１を含めた画像に対し、歪み補正が行われた状態である。ここで、自車両１の画像は、後方画像と自車両１との位置関係を示すべく、後方画像に対して貼付した画像である。

グラフ横軸は検出ラインＬ１上における自車両１からの距離［ｍ］を表しており、画像中心、すなわち自車両１の位置を０として、右方向への距離を正数、左方向への距離を負数で表す。横軸の目盛は５［ｍ］刻みであり、右方向への距離として５０［ｍ］まで、左方向への距離として−５０［ｍ］までを表す。この距離は、実空間における検出ラインＬ１上の距離であり、カメラ装置１０１のレンズ画角及びレンズ歪み係数から計算する。歪み補正が行われた場合には、補正による変化も考慮して計算する。これにより、検出ラインＬ１上の画素の位置と、検出ラインＬ１を実空間の路面上に投影した場合の直線距離との対応づけを図る。なお、予めこのような対応付けを図らず、検出ラインＬ１上における特定の点に対し、それぞれ、実空間における直線距離への変換を行ってもよい。

一方、グラフ縦軸は画素の明るさを表しており、８ビット階調として０〜２５５の輝度レベルを示す。

図５（ａ）は、走行車両２が存在しない場合の明るさを示している。図５（ｂ）及び（ｃ）は、走行車両２が自車両１に接近してきた場合の明るさを示しており、図５（ｃ）は図（ｂ）の１秒後の状況を示している。これらの図から分かるように、走行車両２が存在する位置において、明るさが大きく減少している。具体的には、図５（ｂ）において、楕円Ｄ１で示すように、距離が−７［ｍ］付近で明るさが大きく（輝度レベル１００程度）減少している。また、図（ｃ）においては、楕円Ｄ２で示すように、距離が−２［ｍ］付近で明るさが大きく（輝度レベル１００程度）減少している。図５に示す昼間の例では、検出ラインＬ１と走行車両２のタイヤ部分が交わったことにより、明るさが大きく減少する結果となっている。しかしながら、検出ラインＬ１上にどのような背景が撮影されているか、走行車両２のどの部分が検出ラインＬ１と交わるかによって、明るさが増加する場合もあり得る。従って、昼間の撮影画像であっても、明るさの減少だけでなく、明るさの増加も監視する。

一方、図６は、夜間における後方画像と、検出ラインＬ１上における画素の明るさの変化を示すグラフの一例である。図６（ａ）は、走行車両２が存在しない場合の明るさを示している。図６（ｂ）及び（ｃ）は、走行車両２が自車両１に接近してきた場合の明るさを示しており、図６（ｃ）は図（ｂ）の１秒後の状況を示している。夜間の場合、走行車両２のヘッドライトにより、走行車両２が存在する位置において、明るさが大きく増加する。具体的には、図６（ｂ）において、楕円Ｄ３で示すように、距離が−１０［ｍ］付近で明るさが大きく（輝度レベル２００程度）増加している。また、図（ｃ）においては、楕円Ｄ４で示すように、距離が−５［ｍ］付近で明るさが大きく（輝度レベル２００程度）増加している。

そして、移動物体検出部１２２は、この明るさの変化量（増加量もしくは減少量）が、所定の閾値以上となる場合、その位置に移動物体が存在すると判断する。ここで、所定の閾値は、実験等により予め適切な値を定めておいてもよいが、移動物体が存在しない検出ラインＬ１上の画素の明るさに応じて変更するのが好ましい。例えば、図５のように、移動物体が存在しない検出ラインＬ１上の画素の明るさが２５６階調における中程度（輝度レベル１００〜１５０程度）であれば、閾値を１００とする。また、例えば、図６のように暗かったり（輝度レベル０〜５０程度）、逆に明るかったり（輝度レベル２００〜２５５程度）すれば、閾値を１５０とする。

さらに、移動物体検出部１２２は、移動物体の位置の時間的変化を監視することにより、移動物体の移動方向及び移動速度を算出する。図５の例では、−７［ｍ］付近に存在していた走行車両２が、１秒後には、−２［ｍ］付近に移動していることから、走行車両２は左側から右側へ時速１８［ｋｍ］で移動してくることを算出できる。同様に、図６の例では、−１０［ｍ］付近に存在していた走行車両２が、１秒後には、−５［ｍ］付近に移動していることから、走行車両２は左側から右側へ時速１８［ｋｍ］で移動してくることを算出できる。なお、明るさの変化量が所定の閾値以上となる位置が複数存在する場合、自車両１に接近する移動方向であり、かつ自車両１との距離が最も近い物体のみ、移動物体として検出してもよい。

そして、移動物体検出部１２２は、撮影画像とともに、移動物体の検出結果として、移動物体の位置、移動方向及び移動速度を合成画像生成部１２３に出力する。

続いて、合成画像生成部１２３における情報表示の合成処理について図７乃至図８を用いて説明する。合成画像生成部１２３は、撮影画像に対し、移動物体検出部１２２から出力される検出結果に基づき、情報表示の合成画像を生成する。図７乃至図８は、本実施形態における合成画像の生成例である。

合成画像生成部１２３は、移動物体の移動方向に応じて、撮影画像の左端もしくは右端に沿ってマーカＭ１を合成する。図７は、右方向から左方向へ走行車両２が移動する場合の合成画像である。運転者に対して右方向への注意喚起を促すため、右枠に沿って、赤色のマーカＭ１を合成する。ここで、マーカＭ１の色は、運転者への注意喚起を促す色であればよく、例えば、黄色や橙色にしてもよい。

また、合成画像生成部１２３は、移動物体の位置に応じて、撮影画像の上端及び下端に沿ってマーカＭ２を合成する。図８は、左方向から右方向へ走行車両２が移動する場合の合成画像である。撮影画像の端（もしくはその近傍）から走行車両２の位置（もしくはその近傍）まで、撮影画像の上端及び下端に沿って赤色のマーカＭ２を合成する。このマーカＭ２は、図８（ａ）及び（ｂ）に示すように、自車両１と移動物体との距離が近いほど、上端及び下端のマーカＭ２が長くなる。このマーカＭ２と前述したマーカＭ１とを同時に表示させると、図８のように左方向から右方向へ移動する場合は逆コの字、反対に、右方向から左方向へ移動する場合はコの字状のマーカＭが形成されることとなる。なお、このマーカＭ２は、上端もしくは下端のいずれか一方のみとしてもよい。

そして、左方向から右方向へ移動する走行車両２の位置が０（自車両１の位置）を超えるまでは、自車両に接近してくる移動物体、すなわち警告が必要な移動物体と判断し、マーカＭの合成を継続する。一方、走行車両２の位置が０を越えた場合は、自車両から遠ざかる移動物体、すなわち警告が不要な移動物体と判断し、マーカＭの合成を中止する。

ここで、マーカＭの態様は、走行車両２の位置、すなわち自車両１と走行車両２との距離に応じて変化させてもよい。例えば、自車両１に対して走行車両２が遠くに位置する場合はマーカＭの色を黄色とし、走行車両２が接近するにつれ、橙色、赤色といった警告度合いの強い色に変化させる。また、移動物体が遠くに位置する場合はマーカＭの線を細く、移動物体が接近するにつれて線を太くしたり、移動物体が遠くに位置する場合は点滅なしもしくは点滅間隔を長くし、移動物体が接近するにつれて点滅間隔を短くしたりする。

同様に、走行車両２の移動速度に応じてマーカＭの態様を変化させてもよい。例えば、走行車両２の移動速度が速いほど、マーカＭの色を黄色、橙色、赤色といった警告度合いの強い色にしたり、マーカＭの線を太くしたり、マーカＭの点滅間隔を短くしたりする。なお、マーカＭ１、Ｍ２は同一の表示態様としてもよいし、それぞれ別の表示態様としてもよい。また、マーカＭに代えて、アラーム音や音声メッセージを生成してもよいし、移動物体への注意喚起を高めるべく、マーカＭに加え、アラーム音や音声メッセージを生成してもよい。

このように、合成画像生成部１２３において生成された合成画像は、表示装置１３０にて画面に表示され、生成されたアラーム音や音声メッセージは、音声出力装置１４０にて出力される。なお、移動物体が存在しない場合、撮影画像に対する情報表示の合成は行われず、表示装置１３０は、撮影画像そのものを表示することとなる。

続いて、本実施形態による車両周辺監視装置１００全体の処理フローについて図９用いて説明する。図９は、車両周辺監視装置１００の処理を示すフローチャートである。

まず、ステップＳ１０１で、イグニッション（ＩＧ）がオン（ＯＮ）になると、車両周辺監視装置１００が起動され、制御装置１２０における車両状態取得部１２１は、ギアの位置を監視する。

次に、ステップＳ１０２では、ギアの位置が後退位置（Ｒレンジ）に変化したことを検出すると（ステップＳ１０２：Ｙ）、ステップＳ１０３へ進む。ステップＳ１０３では、カメラ装置１１０から出力される撮影画像の入力を受ける。

そして、ステップＳ１０４で、上述した移動物体の検出処理を行う。移動物体が検出された場合（ステップＳ１０４：Ｙ）、ステップＳ１０５へ進む。ステップＳ１０５では、上述した情報表示の合成処理や、アラーム音や音声メッセージの生成処理を行う。一方、移動物体が検出されなかった場合（ステップＳ１０４：Ｎ）、情報表示の合成処理は行わず、撮影画像そのものを表示装置１３０に出力する。

ステップＳ１０６では、合成画像生成部１２３から出力される画像を表示し、また、音声出力装置１４０は、アラーム音や音声メッセージを出力する。これらステップＳ１０３〜Ｓ１０６の処理は、ギアの位置がＲレンジの間継続される。ギアの位置がＲレンジ以外に変化すると（ステップＳ１０２：Ｎ）、これらステップＳ１０３〜Ｓ１０６の処理は中断される（ステップＳ１０７）。

なお、駐車状態からの後退発進時にのみ移動物体の検出処理を行いたい場合は、イグニッションがオンされた後のギア位置が、Ｐレンジ（駐車位置）からＲレンジへ変化したことを検出すればよい。または、イグニッションがオンされた後の車速が０の間に、Ｒレンジへ変化したことを検出してもよい。

このように、２つの端点Ｐｌ、Ｐｒを結ぶ検出ラインＬ１を設定し、検出ラインＬ１における画素の明るさの変化量を監視することにより、オプティカルフローを用いず、少ない計算量で移動物体を検出することができる。さらに、情報表示としてマーカＭ１、Ｍ２を画面に表示させることで、広角レンズの特性上、小さく撮影される画像周囲の移動物体に対しても、注意喚起を促すことができる。特に、後退発進する場面のように、左右の駐車車両とのクリアランス等に注意しつつ運転する状況では、画面に表示される後方画像を運転者が常に注視することは困難であり、小さく表示される画像周囲の移動物体には気づきにくい。しかしながら、マーカＭ１、Ｍ２が画面に表示されれば、後方画像を常に注視しなくとも、運転者は移動物体の存在を容易に認識することができる。このように、運転者に対して注意喚起することで、運転の安全性を向上させることができる。

また、マーカＭ１の表示により、いずれの方向に移動物体が存在するかが分かるため、運転者は瞬時にその方向に対して注意を払うことができる。加えて、マーカＭ２の表示により、どの位置に移動物体が存在するかを把握することができる。このマーカＭ２は、移動物体が接近するほど長く表示されるため、運転者に対して移動物体の接近度合いを警告することができる。そして、移動物体が自車両に接近してくる場合はマーカＭを合成し、遠ざかる場合は合成しないことにより、運転者にとって必要性の低い情報表示が行われることを抑制することができる。

さらに、移動物体の位置や移動速度に応じてマーカＭ１、Ｍ２の表示態様を変化させることにより、移動物体に対する警告度合いを表し、運転者に対して好適な注意喚起を与えることができる。また、アラーム音や音声メッセージを出力により、運転者に対して聴覚による注意喚起を与えることもできる。

なお、本実施形態では、情報表示としてマーカの合成処理について説明したが、合成を用いない表示方法でもよい。例えば、撮影画像における画素の色を変更したり、液晶ディスプレイに生成される画素の色を変更したりして、情報表示を行ってもよい。
（第１の実施形態の変形例１）
第１の実施形態では、図９のフローチャートに示すように、ギアの位置を監視することにより、移動物体の検出を開始または中断する車両周辺監視装置１００について説明した。本変形例では、ギアの位置に加え、自車両１の速度を監視することにより、移動物体の検出を中断する車両周辺監視装置１００について図１０を用いて説明する。

図１０は、本変形例における車両周辺監視装置１００の処理を示すフローチャートである。第１の実施形態と同一の処理については同一の番号を付し、記載を省略する。

まず、ステップＳ１０１で、イグニッション（ＩＧ）がオン（ＯＮ）になると、車両周辺監視装置１００が起動され、自車両のギア位置及び速度を監視する。そして、ステップＳ１０８で、自車両の速度が所定値α未満である場合（ステップＳ１０８：Ｙ）、上述した移動物体の検出処理を行う。一方、自車両の速度が所定値α以上である場合（ステップＳ１０８：Ｎ）、移動物体の検出処理を中断し、ステップＳ１０９へ進む。

ステップＳ１０９では、移動物体検出処理を中断する旨の合成メッセージを生成する。例えば、「車速が速すぎるため検出を中断します」というメッセージを撮影画像に対して合成し、表示装置１３０にて画面に所定時間表示する（ステップＳ１０６）。

移動物体検出処理は、上述した通り、検出ラインＬ１における画素の明るさの変化量が所定の閾値以上となる場合、移動物体が存在すると判断する。しかし、自車両の速度が速くなると、撮影画像における背景の変化量も大きくなる。そして、検出ラインＬ１上における背景画素の明るさの変化量を、移動物体が存在すると誤検出してしまうことがある。背景のパターンにもよるが、自車両の速度が速くなるにつれて、誤検出の割合も高くなる。そのため、本変形例のように、自車両の速度が所定値α以上である場合には、移動物体の検出処理を中断する。この所定値αは、実験等により好適な値を予め定めておけばよい。

これにより、運転者に対して誤った注意喚起を促すことを抑制することができる。なお、本変形例では、自車両の速度が所定値α以上である場合、移動物体の検出処理を中断したが、合成画像生成部１２３における情報表示の合成処理を中断してもよい。
（第１の実施形態の変形例２）
本変形例では、自車両１の速度から自車両の移動距離を算出することにより、移動物体の検出を中止する車両周辺監視装置１００について説明する。

移動物体検出部１２２は、自車両１の移動距離が所定値β以上となった場合、移動物体の検出処理を中止する。中止にともなう合成メッセージの生成は行わない。ここで、所定値βは、自車両１の全長に相当する距離を設定するとよい。すなわち、図２に示す駐車場のような状況では、自車両１の全長分の距離を後退すれば、運転者が目視にて移動物体を確認できることとなる。ゆえに、移動物体の検出処理を中止し、運転者により必要性の低い注意喚起を促すことを抑制することができる。なお、本変形例では、自車両１の移動距離が所定値β以上となった場合、移動物体の検出処理を中止したが、合成画像生成部１２３における情報表示の合成処理を中止してもよい。
（第１の実施形態の変形例３）
第１の実施形態では、前進駐車された自車両１が後退発進する状況において、後方画像を表示する場合について説明した。本変形例では、前進する自車両１が見通しの悪い交差点等へ進入するときに、前方画像を表示する例について図１１を用いて説明する。

図１１は、本実施形態における車両周辺監視装置１００の処理を示すフローチャートである。上述の実施形態と同一の処理については同一の番号を付し、記載を省略する。

まず、ステップＳ１０１で、イグニッション（ＩＧ）がオン（ＯＮ）になると、車両周辺監視装置１００が起動され、自車両のギア位置及び速度を監視する。

次に、ステップＳ１１０及びＳ１１１で、ギアの位置が前進位置（Ｄレンジ等）かつ自車両１が交差点に進入することを検出すると（ステップＳ１１０：Ｙ、ステップＳ１１１：Ｙ）、ステップＳ１０３〜Ｓ１０６の処理を行う。交差点に進入しているか否かは、自車両１が減速し、停止したことにより判断してもよいし、ナビゲーション装置（図示せず）からの情報を取得して見通しの悪い交差点に進入しているか否かを判断してもよい。また、無線通信装置（図示せず）を備え、路車間通信によって、自車両１が交差点に進入することを検出するようにしてもよい。なお、カメラ装置１１０が自車両１の前方端部に配置され、自車両１の前方１８０度を撮影する点以外は、ステップＳ１０３〜Ｓ１０６の処理は上述した実施形態と同一である。

一方、ギアの位置が前進位置以外に変化した場合（ステップＳ１１０：Ｎ）や、自車両１が交差点に位置しない場合（ステップＳ１１１：Ｎ）は、ステップＳ１０３〜Ｓ１０６の処理を中断する（ステップＳ１０７）。

このように、自車両１が前進し、見通しの悪い交差点等へ進入する場合においても、本発明を適用することができる。そして、オプティカルフローを用いず、少ない計算量で移動物体を検出するとともに、情報表示としてマーカＭ１、Ｍ２を画面に表示させることで運転者に注意喚起を促し、安全性を向上することができる。

なお、上述した各実施形態では、左側と右側に無限遠点を有する撮影画像における移動物体検出処理について説明した。しかしながら、本発明は、上側と下側に無限遠点を有する撮影画像においても適用可能である。さらに、移動物体としては、車両だけでなく、バイク、自転車、及び通行者の検出も可能である。

また、本発明は、上述した実施形態の構成要素を適宜組み合わせることが可能であり、その組み合わせにより多くのバリエーションが可能となる。

１００ 車両周辺監視装置
１１０ カメラ装置
１２０ 制御装置
１２１ 車両状態取得部
１２２ 移動物体検出部
１２３ 合成画像生成部
１３０ 表示装置
１４０ 音声出力装置

Claims (11)

1. 自車両に搭載され、前記自車両外部の周辺を広角レンズによって撮影する撮影装置と、
   前記撮影装置にて撮影された撮影画像に前記撮影画像の２つの無限遠点を結ぶ前記広角レンズの歪みに合わせた曲線の検出ラインを設定し、前記検出ラインに沿って移動する移動物体の移動に伴って生じる前記検出ライン上の画素の明るさの変化量が所定閾値以上となる位置の時間的変化を監視することにより、前記移動物体の移動方向を検出する検出手段と、前記検出手段により検出された結果に応じて、情報表示を生成する生成手段とを有する制御装置と、
   前記撮影画像及び前記情報表示を表示する表示装置と
   を備えることを特徴とする車両周辺監視装置。
2. 前記検出手段は、前記検出ラインの実空間上の距離を算出し、前記自車両から前記移動物体の位置までの距離を検出することを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記生成手段は、前記撮影画像の端点近傍から前記移動物体の位置に対応する点の近傍まで、前記第１端部に沿うよう前記情報表示を生成することを特徴とする請求項１又は２に記載の車両周辺監視装置。
4. 前記生成手段は、前記移動物体の移動方向が前記撮影画像における第２端部から他の端部へ向かう方向である場合、当該第２端部に沿うよう前記情報表示を生成することを特徴とする請求項１乃至３いずれかに記載の車両周辺監視装置。
5. 前記生成手段は、前記検出手段により検出された結果に基づき、前記移動物体が前記自車両に近づくと判断した場合、前記情報表示の生成を行い、前記移動物体が前記自車両から遠ざかると判断した場合、前記情報表示の生成を行わないことを特徴とする請求項１乃至４いずれかに記載の車両周辺監視装置。
6. 前記生成手段は、前記移動物体の位置もしくは前記自車両から前記移動物体までの距離に応じて、前記情報表示の態様を変化させることを特徴とする請求項１乃至５いずれかに記載の車両周辺監視装置。
7. 前記検出手段は、前記移動物体の位置の時間的変化を監視することにより、前記移動物体の移動速度を検出し、
   前記生成手段は、前記移動物体の移動速度に応じて、前記情報表示の態様を変化させることを特徴とする請求項１乃至６いずれかに記載の車両周辺監視装置。
8. 前記生成手段は、前記情報表示の態様として、当該情報表示の色、太さ、点滅間隔の少なくともいずれか１つを変化させることを特徴とする請求項６又は７に記載の車両周辺監視装置。
9. 前記制御装置は、前記自車両の速度を取得する速度取得手段を有し、
   前記速度取得手段にて取得した前記自車両の速度が所定値以上となる場合、前記検出手段による前記明るさの変化の検出もしくは前記生成手段による前記情報表示の生成を中断することを特徴とする請求項１乃至８いずれかに記載の車両周辺監視装置。
10. 前記制御装置は、前記自車両の速度を取得する速度取得手段を有し、
    前記速度取得手段にて取得した前記自車両の速度から移動距離を算出し、当該移動距離が所定値以上となる場合、前記検出手段による前記明るさの変化の検出もしくは前記生成手段による前記情報表示の生成を中止することを特徴とする請求項１乃至９いずれかに記載の車両周辺監視装置。
11. 前記撮影装置は、前記自車両の後方を撮影し、
    前記制御装置は、前記自車両のギア位置を取得するギア位置取得手段を有し、
    前記ギア位置取得手段にて取得した前記自車両のギア位置が後退位置となる場合、前記検出手段による前記明るさの変化の検出及び前記生成手段による前記情報表示の生成を行うことを特徴とする請求項１乃至１０いずれかに記載の車両周辺監視装置。