JP5706874B2 - 車両の周辺監視装置 - Google Patents

Description

この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の対象物を検出して表示する装置に関する。

下記の特許文献１には、赤外線カメラを用いて車両の周辺の対象物を検出し、該対象物が歩行者と判定されたならば、映像と音を用いて運転者に通知するシステムが提案されている。

特開２００３−２８４０５７号公報

上記の文献では、ヘッドアップディスプレイ（ＨＵＤ）を車両に設け、赤外線カメラによって撮像された画像を、該ＨＵＤ上に表示させている。そして、上記のように対象物の存在を通知する場合には、該画像上の該対象物のそれぞれを枠で強調表示することを行っている。

しかしながら、撮像画像から検出された対象物が複数存在する場合に、それぞれの対象物に対して強調表示を行うと、画面が見づらくなる。そのため、運転者がより短時間で判断することができるように、該表示の形態については改良の余地があった。

また、ヘッドアップディスプレイは、運転者の前方に配置されるため、運転者が視認するのに視線移動の量が比較的小さいという利点があるものの、一般的な車両には搭載されていないことも多い。それに対し、ダッシュボードに取り付けられた表示装置の普及は進んでいる。特に、ナビゲーション装置の普及が進むにつれて、ナビゲーション機能によって提供される地図情報等の様々な情報を表示するために装置の普及が進んでいる。

このような一般的な表示装置は、運転者の前方ではなく、左または右側に存在しているため、ヘッドアップディスプレイに比べて、運転者が表示画面を視認するのに必要な視線移動の量が多くなる。そのため、表示装置上に表示される映像は、瞬時に運転者に理解されるものであることが要求される。

したがって、複数の対象物の存在について運転者に通知する場合でも、より短時間で運転者が認識することができるような表示形態とする手法が望まれる。

この発明の一つの側面によると、車両の周辺監視装置は、車両に搭載され、該車両の周辺を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、前記車両の周辺の対象物を検出する検出手段と、前記撮像された画像を表示装置上に表示する手段と、前記検出された対象物の存在について、前記表示される画像上で警報表示を行うことにより、運転者に警報を行う警報手段と、を備える。前記警報手段は、同時に前記検出手段によって検出された対象物の数が所定数以下である場合には、該対象物のそれぞれについて、該対象物が存在する位置に対して強調表示を行う第１の形態の警報表示を行い、同時に前記検出手段によって検出された対象物の数が前記所定数より多い場合には、前記第１の形態の警報表示を行うことなく、前記表示される画像全体に対して１つの所定の強調表示を行う第２の形態の警報表示を行う。

この発明によれば、検出された対象物が比較的小数であれば、該対象物のそれぞれの位置に対して強調表示を行うので、対象物は、個別に強調表示されることとなる。しかしながら、検出された対象物が比較的多数であれば、表示画像全体に対して、１つの強調表示を行う。したがって、検出された対象物が多数である場合に個別の強調表示を行う表示形態に比べて、より見やすく、かつ判断しやすい表示形態とすることができる。運転者は、表示された画像に、１つの所定の強調表示が行われたことにより、車両の周辺に注意すべき対象物が多数存在することを瞬時で認識することができ、よって、表示される画像に惑わされることなく、運転操作に注意を払うことができる。

この発明の一実施形態によると、上記警報手段は、さらに、同時に前記検出手段によって検出された対象物の数が前記所定数より多い場合には、前記表示される画像内の所定位置に、所定の画像を重畳表示させることによって、前記第２の形態による強調表示を行う。

この発明によれば、検出された対象物が所定数より多ければ、画像内の所定位置に所定画像を重畳表示させることによって強調表示を行う。したがって、検出された対象物が多数である場合に個別の強調表示を行う表示形態に比べて、より見やすく、かつ判断しやすい表示形態とすることができる。また、運転者は、表示された画像に、１つの所定の画像が重畳されたことにより、注意すべき対象物が車両の周辺に複数存在することを瞬時で認識することができる。

この発明の他の実施形態によると、上記警報手段は、さらに、同時に前記検出手段によって検出された対象物の数が前記所定数より多い場合には、該所定数より多い対象物全てに対して、警報についての優先度を判定し、最も優先度が高いと判定された対象物が存在する位置に対してのみ強調表示を行うことによって、前記第２の形態による強調表示を行う。

この発明によれば、検出された対象物が所定数より多ければ、該対象物のうち、警報に関して最も優先度の高いと判定された対象物の位置に対してのみ強調表示を行う。したがって、検出された対象物が多数である場合に個別の強調表示を行う表示形態に比べて、より見やすく、かつ判断しやすい表示形態とすることができる。また、最も高い優先度の対象物に対してのみ強調表示が行われるので、運転者は、どの対象物に最も注意すべきかを瞬時に認識することができる。

この発明の一実施形態によると、前記表示装置は、カーナビゲーション装置の表示装置である。この発明によると、車両周辺に存在する対象物の存在を運転者に通知するのに、カーナビゲーション装置の表示装置を有効に利用することができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、表示装置およびカメラの取り付け位置を説明するための図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、車両前方の撮像範囲と各領域の区分を示す図。 この発明の一実施例に従う、警報の表示形態を示す図。 この発明の一実施例に従う、警報の表示形態を示す図。 この発明の一実施例に従う、警報の表示形態を示す図。 この発明の他の実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、実空間の座標系および画像の座標系を示す図。 この発明の一実施例に従う、相対移動ベクトルの算出手法を示す図。 この発明の一実施例に従う、警報判定プロセスを示すフローチャート。 この発明の一実施例に従う、優先度の判定を説明するための図。 この発明の一実施例に従う、警報の表示形態を示す図。

次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、ナビゲーション装置の表示装置を利用した、車両の周辺監視装置の構成を示すブロック図であり、図２は、表示装置とカメラの車両への取り付けを示す図である。

車両には、ナビゲーション装置が搭載されており、該ナビゲーション装置は、ナビゲーションユニット５と、表示装置４とを備えている。表示装置４は、図２の（ａ）に示すように、車両のハンドル（ステアリング・ホイール）２１の中心を通り、かつ車両の前後方向に伸長する線Ｌ１（図には、わかりやすいよう図の垂直方向に伸長するよう示されている）に対して所定距離だけ離れた位置に、運転者が視認可能なように取り付けられている。この実施例では、表示装置４は、車両のダッシュボード２３にはめこまれている。

ナビゲーションユニット５は、中央処理装置（ＣＰＵ）およびメモリを備えたコンピュータで実現される。ナビゲーションユニット５は、たとえば人工衛星を利用して車両１０の位置を測定するためのＧＰＳ信号を、該ナビゲーションユニット５に備えられた通信装置（図示せず）を介して受信し、該ＧＰＳ信号に基づいて、車両１０の現在位置を検出する。ナビゲーションユニット５は、車両の周辺の地図情報（これは、ナビゲーション装置の記憶装置に記憶されることもできるし、該通信装置を介して所定のサーバから受信することもできる）に、該現在位置を示す画像を重畳させて、表示装置４の表示画面２５に表示する。また、表示装置４の表示画面２５はタッチパネルを構成しており、該タッチパネルを介して、またはキーやボタン等の他の入力装置２７を介して、乗員はナビゲーションユニット５に目的地を入力することができる。ナビゲーションユニット５は、該目的地までの車両の最適経路を算出し、該最適経路を示す画像を地図情報に重畳させて、表示装置４の表示画面２５に表示することができる。

なお、最近のナビゲーション装置には、交通情報の提供や車両近傍の施設案内等、他にも様々な機能が搭載されており、この実施形態では、任意の適切なナビゲーション装置を利用することができる。

また、車両の周辺監視装置は、車両１０に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって撮像された画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音または音声で警報を発生するスピーカ３と、を備えている。表示装置４は、カメラ１Ｒまたは１Ｌの撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物の存在を認識させるための表示を行うのに利用される。さらに、該周辺監視装置は、車両のヨーレートを検出するヨーレートセンサ６と、車両の走行速度（車速）を検出する車速センサ７とを備え、これらのセンサの検出結果は、画像処理ユニット２に送られる。

この実施例では、図２の（ｂ）に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号および表示装置４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。

このように、この実施例では、ナビゲーション装置の表示装置４を、カメラ１Ｒおよび１Ｌによる撮像を介して得られた画像の表示、および該画像から検出された所定の対象物の存在を運転者に通知（警報）するための表示に利用する。前述したように、フロントウィンドウ上の、運転者の前方位置に画面が表示されるように設けられたヘッドアップディスプレイ（ＨＵＤ）と異なり、表示装置４は、ハンドル２１から、車幅方向に所定距離だけ離れた位置に設けられているので、ＨＵＤに比べて、運転者が表示装置４の画面を視認するために視線移動量が大きく、よって視認に要する時間も長くなる。したがって、表示装置４を介して対象物の存在を運転者に認識させるためには、ＨＵＤに比べて、よりわかりやすい表示、すなわちより短時間で認識することができる形態での表示が望まれる。この発明は、このような形態の表示を可能としたものであり、端的にいえば、画像中に所定数（たとえば、１）以下の対象物が存在する場合には、該対象物の位置に対して強調表示を行うのに対し、画像中に所定数より多い対象物が存在する場合には、該表示される画像全体に対して１つの強調表示を行う。以下、この具体的な手法を述べる。

図３は、この発明の第１の実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。

ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。

ステップＳ１４において、カメラ１Ｒで撮像された右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。この２値化処理により、たとえば生体のような所定の温度より高い対象物が、白領域として抽出される。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。

ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。

ステップＳ１６およびＳ１７において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出される。

以下では、こうして抽出された対象物が歩行者である場合について述べる。なお、ステップＳ１７の後に、より精度を高めるため、抽出された対象物が、歩行者であるか否かの判定処理を行ってもよい。この判定処理は、任意の適切な手法で実現されることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。このような判定処理の例示として、たとえば特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。

ステップＳ３１において、対象物（前述したように、ここでは歩行者）が、車両から所定の警報範囲内に位置するかどうかを判定する。ここで、所定の警報範囲の一例を、図４に示す。

領域ＡＲ０は、カメラ１Ｒおよび１Ｌによって撮像可能な領域である撮像範囲を示す。撮像範囲ＡＲ０に対応する撮像画像に対して、図３のステップＳ１１からＳ１７の処理は実行される。

領域ＡＲ１は、車両１０の車幅αの両側に余裕β（たとえば、５０〜１００ｃｍ程度とすることができる）を加えた範囲に対応する領域、換言すれば車両１０の車幅方向の中心軸の両側に（α／２＋β）の幅を有する領域であり、対象物がそのまま存在し続ければ衝突の可能性が高い接近判定領域である。領域ＡＲ２およびＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域にある対象物は接近判定領域へと侵入するおそれがある侵入判定領域である。領域ＡＲ１〜ＡＲ３の距離方向の大きさを規定するＺ１は、この実施例ではたとえば所定値に設定されることができる。

この実施例では、接近判定領域ＡＲ１を上記の警報範囲として、ステップＳ３１の判定を行う。ここで、歩行者の足の部分、すなわち画像上の該対象物の底部の少なくとも一部が、該警報範囲内に含まれていれば、該警報範囲内に位置すると判定する。代替的に、対象物の重心の位置を求め、該重心の位置が該警報範囲内に含まれていれば、該対象物が警報範囲内に位置すると判定してもよい。

ステップＳ３１において、いずれの対象物も警報範囲内に位置していなければ、ステップＳ３２に進み、警報出力を禁止する。すなわち、警報を出力することなく、ステップＳ１３で取得されたグレースケール画像を表示装置４上に出力する通常表示を行う。

ステップＳ３１においていずれかの対象物が警報範囲内に位置すると判定されたならば、ステップＳ３２において、警報範囲内に位置すると判定された対象物の数が所定数（たとえば、１）より多いかどうかを判断する。対象物が所定数より多くなければ（すなわち、所定数以下であれば）、ステップＳ３３の判断はＮｏとなり、ステップＳ３４に進み、警報出力を行う。具体的には、グレースケール画像を表示装置４上に表示して、画像中の該警報範囲内のそれぞれの該対象物の位置に対して個別の強調表示を行うことにより、警報出力を実現する。以下、それぞれの対象物の位置を個別に強調表示する形態を、第１の形態と呼ぶ。

ステップＳ３２において、警報範囲内に位置すると判定された対象物の数が所定数より多ければ、ステップＳ３５に進み、警報出力を行う。具体的には、グレースケール画像を表示装置４上に表示して、その表示画像全体に対して１つの強調表示を行うことにより、警報出力を実現する。以下、表示される画像全体に対して１つの強調表示を行う形態を、第２の形態と呼ぶ。

このように、警報出力の形態には２種類あり、第１の形態は、対象物毎に、該対象物の位置に対して強調表示を行う形態（個別強調の形態）で警報を出力するものである。第２の形態は、表示装置４に表示される画像毎に、１つの強調表示を行う形態（全体強調の形態）で警報を出力する形態である。

一例として図５を参照すると、図４のプロセスに従う、表示装置４上に表示される画面の時間的推移の概略的な一例を示す。ライン１０１とライン１０２とに囲まれる領域が、警報範囲を示している。ステップＳ３３の「所定数」は、値１とする。

なお、歩行者は生体であるため、表示装置４上に表示される実際のグレースケール画像では、背景よりも高い輝度で（すなわち、白く）表示されるが、図の上では、わかりやすくするため、このような実際の表示態様に沿ったものではないように描かれている点に注意されたい（よって、図では、歩行者は背景よりも黒く描かれている）。このことは、以下の図においても同様である。

（ａ）の時点ｔ１において、一人の歩行者１１１が警報範囲内に存在すると判定される。警報対象の歩行者の数が１であるため、第１の形態による表示、すなわち個別強調の形態で表示が行われる。したがって、表示画像内において、歩行者１１１が、枠に囲まれて強調表示される。

その後の（ｂ）の時点ｔ２において、５人の歩行者１１１〜１１５が警報範囲内に存在すると判定される。警報対象の歩行者の数が５であるため、第２の形態による表示、すなわち全体強調の形態で表示が行われる。この実施形態では、該全体強調を行うため、表示画像上に、符号１２１で示すような１つのアイコン画像を重畳表示する。該アイコン画像１２１は、表示画像全体に対してなされる１つの強調表示である。アイコン画像１２１では、三角形の中に人が描かれており、これにより、多数の歩行者が周辺に存在することを示している。ここで、アイコン画像１２１は、運転者の注意を引くように表示されるのが好ましい。たとえば、三角形を赤色で表示し、該アイコン画像を点灯させたり点滅させたりすることができる。

その後の（ｃ）の時点ｔ３において、すべての歩行者１１１〜１１５が警報範囲から脱し、その結果、警報範囲内には、一人の歩行者も存在しなくなったため、警報出力は禁止され、強調表示は何ら行われない。

このように、この実施形態では、対象物の数が所定数より多いか否かによって、第１の形態と第２の形態との間で警報出力を切り換える。複数の対象物が存在する場合には、アイコン画像１２１で示すように、表示画像全体に対して１つの強調表示が行われることとなる。従来は、図６に示すように、複数の対象物のそれぞれの位置に対し、枠のような個別の強調表示を行っていた。このような強調表示が多数存在すると、画面全体が見づらくなる。運転者は、どの対象物に注意すべきかを瞬時で判断することが困難となりうる。本願発明によれば、所定数より多い対象物が判定された場合には、表示画像単位に１つの強調表示が行われるので、運転者にとって、より見やすく、かつ判断しやすい表示形態となる。したがって、運転者は、該１つの強調表示を視認することにより、注意すべき対象物が複数周辺に存在することを瞬時に認識することができる。

上記の実施形態では、符号１２１で示すようなアイコン画像を重畳表示させることによって、表示画像全体に対して１つの強調表示を行う第２の形態を実現している。しかしながら、全体的な強調表示は、これに限られるものではなく、他の形態でもよい。

図７には、全体的な強調表示の他の例が示されている。（ａ）では、表示される画像の外縁を囲むように外枠１３１表示することで、第２の形態による全体的な強調を行う。該外枠１３１を、運転者の注意を引くような色（たとえば、赤や黄色）にすることができ、また、該外枠１３１を点灯させたり点滅させることができる。

（ｂ）では、網掛けで示されるように、撮像された画像の全体の輝度を低くし（たとえば、各画素の輝度値を所定値だけ低くする）、コントラストが低い形態で画像を表示するとともに、アイコン画像１２１を重畳表示させている。また、（ｃ）では、撮像された画像を表示することなく、アイコン画像１２１のみを表示させている。（ｂ）および（ｃ）のアイコン画像１２３についても、点灯または点滅させることができる。（ｂ）および（ｃ）のように、アイコン画像１２１の表示と共に、撮像された画像全体を見づらくさせることにより、運転者に、前方を注視するよう促すことができる。

図８は、この発明の第２の実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。

ステップＳ１１〜Ｓ１７は、図３のものと同じであるので、説明を省略する。ステップＳ１８〜Ｓ２６は、対象物の相対移動ベクトルを算出するための処理である。相対移動ベクトル算出処理の詳細は、たとえば特開２００１−６０９６号公報に記載されているので、ここでは簡単に説明する。

ステップＳ１８において、ステップＳ１７で抽出された対象物のそれぞれについて、該対象物の重心Ｇ、面積Ｓ、および、該対象物に外接する四角形すなわち外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出される。重心Ｇの座標は、面積Ｓをｘ方向に二等分する線のｘ座標およびｙ方向に二等分する線のｙ座標として算出される。縦横比ＡＳＰＥＣＴは、外接四角形のｙ方向の長さＤｙとｘ方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出される。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。

ステップＳ１９において、対象物の時刻間追跡（トラッキング）、すなわち、所定のサンプリング周期毎に同一対象物の認識を行う。サンプリング周期は、当該プロセスが実行される周期と同じでもよい。具体的には、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、時刻ｋで対象物Ａを抽出した場合を考えると、該対象物Ａと、次のサンプリング周期である時刻（ｋ＋１）で抽出した対象物Ｂとの間の同一性判定を行う。同一性判定は、所定の条件に従って行うことができる。たとえば、１）対象物ＡとＢの画像上の重心Ｇの位置のｘおよびｙ座標の差が所定の許容値より小さく、２）対象物Ｂの画像上の面積の、対象物Ａの画像上の面積に対する比が所定の許容値より小さく、３）対象物Ｂの外接四角形の縦横比の、対象物Ａの外接四角形の縦横比に対する比が所定の許容値より小さければ、対象物ＡおよびＢを同一と判定することができる。

こうして、各サンプリング周期において、抽出された対象物に関し、該対象物の位置（この実施例では、重心Ｇの位置座標）は、付与されたラベルと共に、時系列データとしてメモリに格納される。

なお、以上のステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（この実施例では、右画像）について実行される。

ステップＳ２０において、車速センサ７により検出される車速ＶＣＡＲおよびヨーレートセンサ６により検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、車両１０が回頭した角度すなわち回頭角θｒを算出する。

一方、ステップＳ２１〜Ｓ２３では、ステップＳ１９およびＳ２０の処理と平行して、車両１０から対象物までの距離ｚを算出する処理を行う。この演算は、ステップＳ１９およびＳ２０よりも長い時間を要するため、ステップＳ１９およびＳ２０より長い周期（たとえば、ステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行されるようにしてもよい。

ステップＳ２１では、基準画像（この実施例では、右画像）の２値化画像によって追跡される対象物のうちの１つを選択し、これを、探索画像Ｒ１（ここでは、外接四角形で囲まれる画像領域を探索画像とする）とする。ステップＳ２２では、左画像において、該探索画像Ｒ１と同じ対象物の画像（以下、対応画像と呼ぶ）を探索する。具体的には、探索画像Ｒ１と該左画像の間で相関演算を実行することにより行われることができる。相関演算は、下記式（１）に従って行われる。この相関演算は、２値画像ではなく、グレースケール画像を用いて行う。

ここで、探索画像Ｒ１は、Ｍ×Ｎ個の画素数を持ち、ＩＲ（ｍ，ｎ）は、探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、左画像内の所定の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。

代替的に、左画像において、探索すべき領域を予め設定し、探索画像Ｒ１と該領域との間で相関演算を実行してもよい。

ステップＳ２３において、探索画像Ｒ１の重心位置と、撮像画像の画像中心線（撮像画像をｘ方向に二分する線）ＬＣＴＲとの距離ｄＲ（画素数）および対応画像の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、式（２）に適用して、車両１０の対象物までの距離ｚを算出する。

ここで、Ｂは、基線長、すなわちカメラ１Ｒの撮像素子の中心位置と、カメラ１Ｌの撮像素子の中心位置とのｘ方向（水平方向）の距離（すなわち、両カメラの光軸の間隔）を示し、Ｆは、カメラ１Ｒおよび１Ｌに設けられたレンズの焦点距離を示し、ｐは、カメラ１Ｒおよび１Ｌの撮像素子の画素間隔を示す。Δｄ（＝ｄＲ＋ｄＬ）は、視差の大きさを示す。

ステップＳ２４において、対象物の位置（前述したように、この実施例では重心Ｇの位置）の画像内の座標（ｘ、ｙ）および式（２）により算出した距離ｚを、式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図９（ａ）に示すように、カメラ１Ｒおよび１Ｌの取り付け位置の中点の位置（車両に固定された位置）を原点Ｏとして、図のように、車両１０の車幅方向にｘ軸、車両１０の車高方向にｙ軸、車両の進行方向にｚ軸を定めた座標系で表される。画像上の座標は、図９（ｂ）に示すように、画像の中心を原点として水平方向をｘ軸および垂直方向をｙ軸とした座標系で表される。

ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と実空間座標系の原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。また、ｆは、焦点距離Ｆと画素間隔ｐとの比である。

ステップＳ２５において、車両が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。時刻ｋから（ｋ＋１）までの期間中に、車両１０がたとえば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、Δｘだけｘ方向（正の方向）にずれる。したがって、これを補正する。

具体的には、式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物ごとに対応づけて時系列にメモリに格納される。なお、以下の説明では、該補正後の座標を、（Ｘ，Ｙ，Ｚ）と示す。

ステップＳ２６において、同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（たとえば、Ｎ＝１０程度）、すなわち時系列データから、対象物の車両に対する相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、式（５）で表される直線を求める。

ここで、ｕは、任意の値を取る媒介変数である。Ｘａｖ、ＹａｖおよびＺａｖは、それぞれ、実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値、およびＺ座標の平均値である。媒介変数ｕを消去することにより、式（５）は、以下の式（５ａ）のように表される。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ
（５ａ）

図１０は、近似直線ＬＭＶを説明するための図である。Ｐ（０）、Ｐ（１）、Ｐ（２）、・・・、Ｐ（Ｎ−２）、Ｐ（Ｎ−１）が、回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の二乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値は、その値が増加するほど過去のデータであることを示す。たとえば、Ｐ（０）は最新の位置座標、Ｐ（１）は、１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＸ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。なお、近似直線ＬＭＶを演算するより詳細な手法は、特開２００１−６０９６号公報に記載されている。

次に、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）前（すなわち、時間ΔＴ前）の位置座標Ｐ（Ｎ−１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を、近似直線ＬＭＶ上の位置に補正する。具体的には、式（５ａ）にＺ座標Ｚ（０）およびＺ（ｎ−１）を適用することにより得た式（６）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））およびＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。

式（６）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルが、相対移動ベクトルとして算出される。

このように、モニタ期間ΔＴ内の複数（Ｎ個）のデータから、対象物の車両に対する相対移動軌跡を近似する近似直線ＬＭＶを算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して、対象物との衝突の可能性をより正確に予測することができる。

次に、ステップＳ２７において、該相対移動ベクトルを利用して、警報判定を行う。

図１１は、ステップＳ２７で実行される警報判定プロセスのフローチャートである。

ステップＳ４１において、上記のように撮像画像から抽出され、相対移動ベクトルが算出された対象物の数が所定数（たとえば、１）より多いかどうかどうかを判断する。この判断がＮｏであれば、ステップＳ４２において、前述した第１の形態で警報出力を行う。すなわち、ステップＳ１３で取得されたグレースケール画像を表示装置４上に表示して、その中のそれぞれの該対象物の位置に対して個別の強調表示を行うことにより、警報出力を実現する。

ステップＳ４１において、対象物の数が所定数より多ければ、ステップＳ４３以下の処理を実行し、これらの対象物のうち、警報について最も優先度の高い対象物を判定する。まず、ステップＳ４３において、それぞれの対象物について、該対象物の車両までの到達時間ＴＴＣと、所定値ＴＴＣ＿ＴＨとを比較する。

対象物の相対移動ベクトルが算出されているので、そのＺｖ値を用いて、式（７）に示すように、Ｚ方向における対象物の自車両に対する相対速度Ｖｓを算出する。該相対速度Ｖｓを用いて、式（８）に示すように到達時間ＴＴＣを算出し、これが、式（９）に示すように所定値ＴＴＣ＿ＴＨ（たとえば、２〜５秒）以下であるかどうかを判断する。
Ｖｓ＝（Ｚｖ（Ｎ−１）―Ｚｖ（０））／ΔＴ （７）
ＴＴＣ＝Ｚｖ（０）／Ｖｓ （８）
ＴＴＣ≦ＴＴＣ＿ＴＨ （９）

ここで、Ｚｖ（０）は、最新の距離検出値（ｖは、近似直線ＬＭＶによる補正後のデータであることを示すために付しているが、Ｚ座標は補正前と同一の値である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。こうして、各対象物について、所定時間ＴＴＣ＿ＴＨ以内に自車両にＺ方向において到達する可能性があるかどうかが判断される。

なお、この実施例では、図４に示す領域ＡＲ１〜ＡＲ３の所定距離Ｚ１は、Ｖｓ×ＴＴＣ＿ＴＨに対応する。したがって、式（９）を満たす対象物は、領域ＡＲ１〜ＡＲ３内に存在する対象物である。

式（９）を満たす対象物が無ければ、所定時間ＴＴＣ＿ＴＨ以内に自車両にＺ方向において到達する可能性のある対象物は存在しないことを示すので、ステップＳ４３の判断はＮｏとなる。ステップＳ４４に進み、高い優先度の対象物は無いと判定する。この場合、ステップＳ４５に進み、警報出力を禁止する。すなわち、警報を出力することなく、ステップＳ１３で取得されたグレースケール画像を表示装置４上に出力する通常表示を行う。

式（９）を満たす対象物が１つでも存在すれば、ステップＳ４３の判断はＹｅｓとなる。ステップＳ４６に進み、式（９）を満たした対象物のそれぞれについて、該対象物の移動方向は、自車両に向かっているか否かを判断する。この判断には、該対象物の相対移動ベクトルのＸｖ値を利用する。前述したように、相対移動ベクトルは、ΔＴの期間内に、Ｘ方向にＸｖ（Ｎ−１）からＸｖ（０）への移動を表している。また、図９に示すように、Ｘ座標値は、自車両の位置を原点としている。したがって、Ｘｖ（０）の絶対値が、Ｘ（Ｎ−１）の絶対値よりも小さければ、自車両に向かって移動していると判断し、Ｘｖ（０）の絶対値が、Ｘ（Ｎ−１）の絶対値以上であれば、自車両に向かっていないと判断することができる。こうして、それぞれの対象物について、該対象物がＸ方向において自車両に向かっているか否かを判断することができる。

自車両に向かっていると判断された対象物が少なくとも１つあれば、ステップＳ４８に進み、該自車両に向かっていると判断された対象物について優先度は高いと判定する。自車両に向かっていると判断されなかった対象物のそれぞれについては、ステップＳ４７の判断がさらに行われ、該対象物のＸｖ（０）が、自車両を中心とした所定範囲（Ｘ＿ＴＨ１〜Ｘ＿ＴＨ２）の間に位置するかどうかを判断する。

Ｘ＿ＴＨ１＜Ｘｖ（０）＜Ｘ＿ＴＨ２が成立すれば、対象物は、自車両に向かってはいないものの、そのまま存在すれば自車両と衝突する可能性があることを示す。したがって、Ｘ＿ＴＨ１＜Ｘｖ（０）＜Ｘ＿ＴＨ２が成立した対象物が少なくとも１つあれば、ステップＳ４８に進み、該対象物について、優先度は高いと判定する。Ｘ＿ＴＨ１＜Ｘｖ（０）＜Ｘ＿ＴＨ２が成立した対象物が全くなければ、ステップＳ４４に進み、高い優先度の対象物は存在しないと判定する。

こうして、ステップＳ４８では、到達時間ＴＴＣが所定値以下であり、かつ自車両に向かっている対象物と、到達時間ＴＴＣが所定値以下であり、かつ自車両を中心とした車幅方向の所定範囲内に存在する対象物とが、高い優先度を持つと判定される。

ステップＳ４９では、ステップＳ４８で優先度が高いと判定された対象物が複数ある場合に、そのうちの最も優先度の高い対象物を決定する。これは、運転者が最も注意すべき対象物を決定するために行われ、そのための手法としては、任意の適切なものを用いることができる。

たとえば、それぞれの対象物について、到達時間ＴＴＣと、最新のＸ値すなわちＸｖ（０）とをパラメータとし、衝突可能性の程度を該パラメータで表す。たとえば、パラメータＴＴＣ値とパラメータＸｖ（０）の絶対値とを乗算した値を、衝突可能性の程度を表す指標と考えることができる。到達時間ＴＴＣが小さいほど、またＸｖ（０）の絶対値が小さいほど、衝突の可能性は高くなるので、該乗算値が小さいほど、衝突可能性の程度が高いことを示す。したがって、最も小さい乗算値となる対象物を、最も優先度の高い対象物と判定することができる。

あるいは、到達時間ＴＴＣと、Ｘｖ（０）と、Ｘ方向の速度とをパラメータとして、衝突可能性の程度を表してもよい。Ｘ方向の速度Ｘｓは、（Ｘｖ（Ｎ−１）―Ｘｖ（０））／ΔＴによって算出されることができる。Ｘ方向の速度Ｘｓが速いほど衝突の可能性は高くなるので、たとえば、パラメータＴＴＣ値と、パラメータＸｖ（０）の絶対値と、Ｘ方向の速度Ｘｓの逆数とを乗算して、衝突可能性の程度を表す値を算出し、該乗算値が最も小さい対象物を、最も優先度の高い対象物と判定することができる。

なお、衝突可能性の程度を判断するのに、上記の到達時間ＴＴＣと、Ｘｖ（０）と、Ｘ方向の速度とのパラメータのうち、任意のものを用いてよく、また、これらのパラメータに加えて、またはこれらのパラメータのうちのいずれかに代えて、他のパラメータ（たとえば、対象物のＺ方向の位置Ｚｖ（０））を用いてもよい。

ここで、一例として図１２を参照すると、複数の対象物１５１〜１５４が、車両１０の撮像範囲ＡＲ０内に存在している様子が示されている。対象物１５１〜１５４に付されている矢印は、該対象物の相対移動ベクトルを示している。これらの対象物１５１〜１５４については、到達時間ＴＴＣが所定値ＴＴＣ＿ＴＨ以下を満たしているものと仮定する。図のＸ軸上のＸ＿ＴＨ１を通るラインとＸ＿ＴＨ２を通るラインとの間の領域は、この例では、図４の接近判定領域ＡＲ１に対応しており、車両１０の進行路を示す領域である。

対象物１５１〜１５３は、それらの相対移動ベクトルの方向からもわかるように、Ｘ方向において自車両に向かって移動している。したがって、これらの対象物について、ステップＳ４６の判断はＹｅｓとなる。また、対象物１５４は、Ｘ方向において自車両に向かって移動してはいないが、ステップＳ４７により、所定範囲Ｘ＿ＴＨ１〜Ｘ＿ＴＨ２内に存在していると判断される。したがって、対象物１５１〜１５４のすべてが、高い優先度の対象物と判定されることとなる。

前述したように、これらの対象物１５１〜１５４のうち、最も優先度の高い対象物を判定する。たとえば、前述したように到達時間ＴＴＣとＸｖ（０）の絶対値とをパラメータとして用い、各対象物について衝突可能性の程度を表す値を算出し、最も衝突可能性の程度が高い値が算出された対象物を、最高優先度の対象物と判定することができる。

図１１に戻り、こうして、最高優先度の対象物が決定されたならば、ステップＳ５０に進み、第２の形態での警報出力を行う。具体的には、グレースケール画像を表示装置４上に表示すると共に、該画像中の最も優先度が高いと決定された対象物の位置に対してのみ、強調表示を行う。こうして、表示される画像全体に対して、１つの強調表示が行われることとなる。

複数の対象物が存在していても、最も優先度の高い、すなわち運転者が最も注意すべき対象物に対してのみ強調表示が行われるので、複数の対象物のそれぞれに個別の強調表示が行われる表示形態に比べて、運転者にとって、より見やすく、かつ判断しやすい表示形態とすることができる。したがって、運転者は、最も注意すべき対象物を瞬時に認識することができる。

図１３は、図１１のプロセスに従う、表示装置４上に表示される画面の時間的推移の概略的な一例を示す。ライン１６１とライン１６２とに囲まれる領域は、ステップＳ４７および図１２に示すＸ＿ＴＨ１およびＸ＿ＴＨ２を示すラインにそれぞれ対応する。また、ステップＳ４１の「所定数」は、値１とする。

（ａ）の時点ｔ１において、検出された歩行者１７１の数が１であるため、ステップＳ４１の判断がＮｏとなり、第１の形態による警報出力が行われる。したがって、該歩行者の位置に対して、枠による強調表示を行うことにより、警報出力を行っている。

その後の（ｂ）の時点ｔ２において、検出された歩行者１７２〜１７５の数は４であるため、第２の形態による警報出力が行われる。ここで、歩行者１７２〜１７５は、図１２の対象物１５１〜１５４にそれぞれ対応しているとする。図１２を参照して説明したように、歩行者１７２〜１７５のすべてが、高い優先度を持つと判定されるが、このうちの一人の歩行者が、最高の優先度を持つと決定される。この例では、対象物１５１（すなわち、歩行者１７２）が、最も優先度の高い対象物であると決定されており、その結果、歩行者１７２の位置のみに対して、枠による強調表示が行われる。

なお、（ａ）の場合の第１の形態による枠と、（ｂ）の場合の第２の形態による枠とを、色や形状等において異ならせてもよい。たとえば、第２の形態による枠を、第１の形態による枠よりも、運転者の注意を喚起するような色および形状にすることができる。たとえば、前者を、赤の細線による枠表示とし、後者を、赤の太線による枠表示としてもよいし、前者を、赤の枠表示を点灯させるものとし、後者を、赤の枠表示を点滅させるものとしてもよい。

また、この実施形態では、警報対象の対象物に枠を付すことにより強調表示を行っているが、枠とは異なる形態でもよい。たとえば、該対象物の位置に、たとえばアイコンのような他の所定の画像を重畳表示させることにより、強調表示を行ってもよい。

さらに、図７の全体的な強調表示と組み合わせもよい。たとえば、ステップＳ５０で第２の警報を出力する際には、最も優先度の高い対象物の強調表示を行うと共に、図７の（ａ）の外枠１３１を表示して点灯ないし点滅させたりしてもよいし、あるいは、図７の（ｂ）のように、最も優先度の高い対象物以外の領域の輝度を低くするようにしてもよい。後者の場合、最も優先度の高い対象物以外の領域の輝度を低くすることにより、高いコントラストで画像が表示されることとなり、該最も優先度の高い対象物への運転者への注意をより強く喚起することができる。

なお、第１および第２の実施形態を部分的に組み合わせてもよい。たとえば、第２の実施形態において、図１０のステップＳ４１がＮｏのとき（すなわち、対象物が所定数以下）、該対象物が、第１の実施形態で前述した所定の警報範囲内に存在するか否かを判断する。該警報範囲内に存在すれば、図３のステップＳ３４で述べたように第１の形態で警報出力を行う。また、図１０のステップＳ４１がＹｅｓであるが（すなわち、対象物が所定数より多い）、ステップＳ４４に示すように高い優先度の対象物が無いと判定された場合、該対象物が所定の警報範囲内に存在するか否かを判断する。該警報範囲内に存在すれば、図３のステップＳ３５で述べたように、図５（ｂ）や図７に示すようなアイコン画像等による１つの強調表示により、第２の形態による警報出力を行う。ステップＳ４１がＹｅｓであり、かつ高い優先度の対象物が存在すると判定された場合には、図１０のステップＳ５０において、図１２（ｂ）に示すような最も優先度の高い対象物のみに対する１つの強調表示により、第２の形態による警報出力を行う。

上で述べたいずれの実施形態においても、上記の「所定数」を値１に設定することにより、表示される画像内での強調表示は常に１箇所となる。したがって、運転者は、瞬時に、表示される画像内で示された警報の内容を認識することができる。該所定数は１に限定されるものではないが、いくつの強調表示を行えば画面が見づらいと感じるかを予め調べ、見づらいと感じ始める強調表示数より少ない数に設定されるのが好ましい。

また、上で述べた実施形態では、表示装置４は、ナビゲーション装置の表示装置を利用している。本願発明では、運転者が短時間で認識できるような表示形態を採用するので、運転者の左または右側に配置された表示装置を利用しても、運転操作への影響を回避するような対象物通知を行うことができる。しかしながら、他の表示装置を使用してもよく、従来の如くヘッドアップディスプレイに、本願発明の表示形態を適用してもよい。

また、図示していないが、図３および図１０のプロセスの警報出力の際に、警報音をスピーカ３を介して出力してもよい。警報音は、任意のものでよく、単なるブザーのような音でもよいし、何らかの音声メッセージでもよい。

さらに、上記の実施形態では、遠赤外線カメラを用いているが、本願発明は、他のカメラ（たとえば、可視カメラ）にも適用可能である。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ 表示装置

Claims (4)

1. 車両に搭載され、該車両の周辺を撮像する撮像手段と、
   前記撮像手段により撮像された画像に基づいて、前記車両の周辺の対象物を検出する検出手段と、
   前記撮像された画像を表示装置上に表示する手段と、
   前記検出された対象物の存在について、前記表示される画像上で警報表示を行うことにより、運転者に警報を行う警報手段と、を備える車両の周辺監視装置であって、
   前記警報手段は、同時に前記検出手段によって検出された対象物の数が所定数以下である場合には、該対象物のそれぞれについて、該対象物が存在する位置に対して強調表示を行う第１の形態の警報表示を行い、同時に前記検出手段によって検出された対象物の数が前記所定数より多い場合には、前記第１の形態の警報表示を行うことなく、前記表示される画像全体に対して一つの所定の強調表示を前記撮像された画像上に重畳表示する第２の形態の警報表示を行う、周辺監視装置。
2. 前記警報手段は、さらに、同時に前記検出手段によって検出された対象物の数が前記所定数より多い場合には、前記表示される画像内の所定位置に、所定の画像を重畳表示させることによって、前記第２の形態による強調表示を行う、
   請求項１に記載の周辺監視装置。
3. 前記警報手段は、さらに、同時に前記検出手段によって検出された対象物の数が前記所定数より多い場合には、該所定数より多い対象物全てに対して、警報についての優先度を判定し、最も優先度が高いと判定された対象物が存在する位置に対してのみ強調表示を行うことによって、前記第２の形態による強調表示を行い、
   前記各対象物の優先度は、対応する前記対象物の前記車両に対する相対位置、相対速度、及び相対的な移動方向に基づいて算出される前記車両との衝突の可能性の程度に基づいて決定される、
   請求項１に記載の周辺監視装置。
4. 前記表示装置は、カーナビゲーション装置の表示装置である、
   請求項１から３のいずれかに記載の周辺監視装置。