JP5689872B2 - 車両の周辺監視装置 - Google Patents

Description

この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の監視に応じて表示の形態を制御する装置に関する。

従来より、車両の周辺を撮像する撮像装置を該車両に搭載し、該撮像装置によって取得された車両の周辺の画像を表示装置上に表示することが行われている。その際、該取得された画像中に所定の対象物が存在する場合には、該対象物について警報を行うことにより、運転者の注意を喚起することが行われる。

上記のような警報が多発すると、運転者に煩わしさを感じさせるおそれがある。これを抑制するため、特許第２９２９９２７号（特許文献１）には、運転者が注視している方向と、運転に必要な情報を得るため注視すべき方向とが一致する頻度を求め、該頻度に基づいて、報知すべき情報の報知レベルを決定することが記載されている。これにより、運転者の煩わしさを低減しつつ、運転者が気づいていない状況については適切な情報を報知するようにしている。

特許第２９２９９２７号

表示装置の位置が運転者の視線方向から遠いほど、表示画面を視認するのに必要な視線移動の量が大きくなるため、運転者が、表示画面に映し出された情報をより短時間で理解するのが望まれる（瞬読性の向上）。瞬読性を高めることにより、運転者の前方への注視を促すことができる。

したがって、この発明の一つの目的は、表示装置の位置に応じて、表示画面内の情報量を制御し、運転者の表示画面への注視と前方への注視を最適化するような表示形態を提供することである。

この発明の一つの側面によると、車両の周辺監視装置は、車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の対象物を検出する手段と、前記撮像画像に基づいて生成される表示画像を表示画面上に表示する表示手段と、前記対象物が検出された場合に、該表示手段を介して該対象物の存在を運転者に警報する警報手段と、を備える。前記表示手段は、前記運転者が目視可能な複数の位置に配置されており、前記警報手段は、正面を向いた該運転者の視線を基準として、該運転者が表示画面を視認するのに必要な視線移動量が大きい表示手段ほど、該表示画面上に表示される情報量を低減させる。

一般に、表示画面内に表示される情報量が多いほど、その瞬読性は低下する。この発明によれば、運転者の視線移動の量が大きい表示手段（表示装置）ほど、情報量が低減された形態で表示が行われるので、視線移動の量が大きい表示手段の表示画面ほど、瞬読性を向上させることができ、よって、運転者の表示画面への注視と前方への注視との最適化を図ることができる。

この発明の一実施形態によると、車両が該対象物に到達するまでの到達時間を算出する手段を備え、該到達時間が長いほど、前記複数の位置に配置された表示手段の表示画面間の情報量の差が小さくなるように設定される。

到達時間が長いほど、対象物を確認する余裕が大きくなる。したがって、このような場合には、いずれの表示手段にも、同様の情報量を表示させるようにして、乗員の利便性を図ることができる。

この発明の一実施形態によると、運転者以外の乗員を検知する手段を備え、該乗員の存在を検知した場合には、前記複数の位置に配置された表示手段のうち、該乗員の位置に近い表示手段について、前記情報量を低減する量を抑制する。

この発明によれば、たとえば助手席に乗員が存在していれば、該乗員に近い表示装置の情報量の低減が抑制されるので、該乗員の利便性の向上を図ることができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、複数の表示装置およびカメラの取り付け位置を示す図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、複数の表示装置への表示形態の一例を示す図。 この発明の一実施例に従う、複数の表示装置への表示形態の他の例を示す図。 この発明の他の実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の他の実施例に従う、複数の表示装置への表示形態の一例を示す図。 この発明のさらなる他の実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明のさらなる他の実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明のさらなる他の実施例に従う、複数の表示装置への表示形態の一例を示す図。

次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、複数の表示装置を備えた、車両の周辺監視装置の構成を示すブロック図であり、図２は、該複数の表示装置とカメラの車両への取り付けを示す図である。ここで、複数の表示装置は、第１〜第３の表示装置３１〜３３として示されており、いずれも、運転者が目視可能な複数の位置に配置されている。

周辺監視装置は、車両に搭載され、遠赤外線を検出可能な赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌからの画像に基づく表示画像を表示するための第１の表示装置３１を備えている。さらに、該周辺監視装置は、車両のヨーレートを検出するヨーレートセンサ６と、車両の走行速度（車速）を検出する車速センサ７とを備え、これらのセンサの検出結果は、画像処理ユニット２に送られる。

この実施例では、図２の（ｂ）に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。

また、図２の（ａ）および（ｂ）に示すように、第１の表示装置３１は、運転者の前方位置に画面が表示されるようにフロントウィンドウに設けられた、いわゆるヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）である。線Ｌ１は、車両のハンドル（ステアリング・ホイール）２１の中心を通り、かつ車両の前後方向に伸長する線（図には、わかりやすいよう図の垂直方向に伸長するよう示されている）であり、運転者が正面を向いたときの該運転者の視線方向を表している。第１の表示装置３１は、その表示画面の車幅方向の中心がほぼ線Ｌ１上に位置付けられるように、配置されている。

この実施例では、ナビゲーション装置が車両に搭載されており、該装置は、ナビゲーションユニット５と、第３の表示装置３３とを備える。第３の表示装置３３は、図２の（ａ）に示すように、車両のダッシュボード上に配置されており、上記の線Ｌ１よりも所定距離離れた位置に設けられている。

ナビゲーションユニット５は、中央処理装置（ＣＰＵ）およびメモリを備えたコンピュータで実現される。ナビゲーションユニット５は、たとえば人工衛星を利用して車両１０の位置を測定するためのＧＰＳ信号を、該ナビゲーションユニット５に備えられた通信装置（図示せず）を介して受信し、該ＧＰＳ信号に基づいて、車両の現在位置を検出する。ナビゲーションユニット５は、車両の周辺の地図情報（これは、ナビゲーション装置の記憶装置に記憶されることもできるし、該通信装置を介して所定のサーバから受信することもできる）に、該現在位置を示す画像を重畳させて、第３の表示装置３３に表示する。

また、第３の表示装置３３の表示画面はタッチパネルを構成しており、該タッチパネルを介して、またはキーやボタン等の他の入力装置（図示せず）を介して、乗員はナビゲーションユニット５に目的地を入力することができる。ナビゲーションユニット５は、該目的地までの車両の最適経路を算出し、該最適経路を示す画像を地図情報に重畳させて、第３の表示装置３３に表示することができる。

ナビゲーションユニット５には、スピーカ３が接続されており、必要に応じて、たとえば一時停止や交差点等の経路案内を行う際に、第３の表示装置３３上への表示だけでなく、スピーカ３を介して音または音声によって乗員に知らせることができる。なお、最近のナビゲーション装置には、交通情報の提供や車両近傍の施設案内等、他にも様々な機能が搭載されており、この実施形態では、任意の適切なナビゲーション装置を利用することができる。

さらに、この実施形態では、第２の表示装置３２が設けられており、これは、図２の（ａ）に示すように、車幅（水平）方向に、第１の表示装置３１と第３の表示装置３３の間であって、インスツルメントパネル上に設けられている。したがって、上記の線Ｌ１からの第２の表示装置３２の距離は、第３の表示装置３３の距離よりも小さい。第２の表示装置３２は、複数の所定の情報を表示可能なように構成された液晶表示器であり、いわゆるマルチインフォメーションディスプレイ（ＭＩＤ）と呼ばれる。たとえば、第２の表示装置３２は、車両の走行状態（車速、回転数、燃費に関する状態）に関する複数の情報を表示することができるよう構成されている。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号および上記の第１〜第３の表示装置３１〜３３に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。

この実施形態では、第１〜第３の表示装置３１〜３３は、いずれも、画像処理ユニット２に接続され、画像処理ユニット２により処理された結果の画像を表示することができるようになっている。ここで、第２および第３の表示装置３３については、たとえば表示する内容に関する切り換え機構を設けることができる。これにより、第２の表示装置３２については、画像処理ユニット２からの画像の表示と、通常の所定の情報の表示とを切り換えることができ、また、第３の表示装置３３については、画像処理ユニット２からの画像の表示と、ナビゲーションユニット５から出力された情報の表示とを切り換えることができる。

このように、最近の車両には、上記のように複数の表示装置が設けられることがある。線Ｌ１からの距離が遠い所に配置された表示装置ほど、運転者がその表示画面を視認する視線移動の量が大きくなるため、その瞬読性を向上させるのが望ましい。

したがって、この発明では、表示装置の位置に応じて、画像処理ユニット２の処理の結果に基づいて生成される表示画像の情報量を制御する。具体的には、表示装置の位置が、運転者が正面を向いたときの視線（上記の線Ｌ１）から水平方向に遠くなるほど、表示画像の情報量を低減させる。これにより、表示装置の位置が運転者から遠ざかるほど、瞬読性の高い表示内容とすることができる。したがって、運転者による表示画像への注視と前方への注視とを最適化する（バランスをとる）ことができる。この具体的な制御手法を、以下に述べる。

図３は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。

ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。

ステップＳ１４において、カメラ１Ｒで撮像された右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。この２値化処理により、たとえば生体のような所定の温度より高い対象物が、白領域として抽出される。

ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。

ステップＳ１６およびＳ１７において、対象物のラベリングを行い、対象物を抽出（検出）する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出（検出）される。

以下では、該抽出された対象物が歩行者である場合について述べる。なお、ステップＳ１７の後に、より精度を高めるため、抽出された対象物が、歩行者であるか否かの判定処理を行ってもよい。この判定処理は、任意の適切な手法で実現されることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。このような判定処理の例示として、たとえば特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。

ステップＳ１８において、検出された対象物を表示することによって、該対象物についての警報出力を行う。具体的には、該対象物が撮像されている上記のグレースケール画像に基づいて、第１〜第３の表示装置３１〜３３のそれぞれに表示する画像（第１〜第３の画像と呼ぶ）を生成し、該生成した第１〜第３の画像を、第１〜第３の表示装置３１〜３３上に表示する。該生成は、第１から第３の画像に向かってその情報量が低減されるように行われる。ここで、情報量は、実際に表示された画像から人が読みとることのできる画像内容を示す。画像内に撮像されているもの（歩行者等の生体に限らず、建物や他の車両等の人工構造物を含む）が多いほど、その情報量は多くなり、瞬時に該画像の内容を読みとることが困難になる（瞬読性の低下）。以下、第１〜第３の画像に向かって情報量が低減されるよう表示される形態を、第１の表示形態と呼ぶ。

第１の表示形態に従う表示画像の生成手法には、いくつかの手法が考えられ、以下では、第１および第２の手法について述べる。

第１の手法では、第１の画像を、上記の検出された対象物以外のものも表示画面上で視認可能な画像とし、第２の画像を、該検出された対象物のみを実質的に表示画面上で視認可能な画像とし、第３の画像を、該検出された対象物についても表示画面上で視認できないような画像とする。

第１の手法の一具体例について説明すると、第１の画像を、上記のグレースケール画像とする。第２の画像を、上記ステップＳ１７で検出された対象物に対応する画像領域（対象物領域と呼ぶ）以外の画像領域（対象物以外の領域と呼ぶ）を、実質的に判読不可能な状態にする。たとえば、該対象物以外の領域の各画素の背景輝度値に対する輝度差を小さくすることにより、該対象物以外の領域のコントラストを低下させて、実質的に判読不可能な状態とすることができる。代替的に、該対象物以外の領域中の各画素の輝度値を、所定値だけ低下させる、もしくは所定の低い輝度値に変更するようにしてもよい。こうすることにより、実質的に、対象物領域のみが判読可能な第２の画像を生成することができる。

また、第３の画像を、該画像中の対象物領域についても判読不可能な状態となるように、該グレースケール画像中のすべての画素の輝度値を、所定値だけ低下させる、もしくは所定の低い輝度値に変更する。これにより、第３の画像は、何も撮像されていないように見え、撮像した画像を実質的に非表示とすることができる。代替的に、このような画素の輝度値の変換処理を行うことなく、第３の表示装置３３への画像表示自体を抑制してもよい（非表示）。

こうして生成された画像の一例を、図４に示す。（ａ１）は第１の画像を示し、（ｂ１）は第２の画像を示し、（ｃ１）は第３の画像を示す。第１の画像は、グレースケール画像であり、歩行者１０１以外にも、他の車両１０３や街灯１０５等が視認可能なように表示されている。第２の画像は、上記のように、対象物以外の領域のコントラストを低下させたものであり、実質的に、歩行者１０１という対象物のみが視認可能な画像となっている。第３の画像は、画像が実質的に非表示となっており、これは、前述したように、グレースケール画像のすべての画素が所定の低い輝度値（この例では、黒の輝度値）に変換された結果の画像である。

これらの画像を比較すると、第１の画像から第３の画像に向けて、表示画像から運転者が読みとれる情報の量が低くなっているのがわかる。第１の画像には、歩行者１０１、他の車両１０３、街灯１０５といった情報が含まれて表示されているため、運転者は、これらの物を認識しようとする。第２の画像には、歩行者１０１しか実質的な情報は含まれていないため、第１の画像に比べて、より短時間で判読可能である。第３の画像には、実質的に何も表示されていないため、情報としては何も受け取らない。表示画像から受け取る情報が少ないほど、前方への注視を促すことができる。

第１の手法の代替例として、第１の画像を、上記のグレースケール画像とし、第２の画像を、該グレースケール画像全体のコントラストを低下させた画像として生成してもよい。たとえば、最大輝度値と最小輝度値の差が小さくなるように、該グレースケール画像中の各画素の輝度値を変更することにより、コントラストの低下した第２の画像を生成することができる。コントラストを低下させるほど、撮像されているすべての対象物の輝度値が背景輝度値に近くなり、全体としてぼけた画像となる。したがって、表示画像から判読可能な情報量が少なくなると言える。しかしながら、好ましくは、第２の画像のコントラストの低下の程度を、検出された対象物が視認可能な程度に設定するのがよい。こうして、対象物領域のみが実質的に視認可能な第２の画像を生成することができる。第３の画像は、実質的に画像の非表示となるように、第２の画像のコントラストをさらに低下させた画像とすることができる。

なお、コントラスト低下に代えて、該グレースケール画像中のすべての画素の輝度値を所定値だけ低くすることにより、暗くした画像を生成するようにしてもよい。この場合も、第２の画像については、対象物領域のみが実質的に視認可能なように該輝度値を低くするのがよい。

図４には、このようなコントラスト低下を行った画像の一形態についても示されている。（ａ２）は、第１の画像を示し、これは、グレースケール画像である。（ｂ２）は、第２の画像を示し、これは、該グレースケール画像全体のコントラストを低下させた画像である。歩行者１０１が撮像されている対象物領域は、グレースケール画像において高い輝度値を持っているため、図に示すように、歩行者は視認可能な状態に維持されている。（ｃ２）は、第３の画像を示し、（ｂ２）よりもさらに画像全体のコントラストを低下させた画像である。コントラストを低下する量を増大することにより、図に示すように、実質的に画像を非表示とすることができる。

なお、さらなる代替例として、第１の画像を、グレースケール画像のコントラストを増加させることによって生成し、第２の画像をグレースケール画像とし、第３の画像を、該グレースケール画像のコントラストを低下させることによって生成するようにしてもよい。しかしながら、コントラストを高めすぎると、中間色が排除されるため、逆に情報量が減るおそれがある。したがって、この場合には、第１の画像から判読可能な情報量が第２の画像よりも大きくなるように、コントラストを増大する量を調整するのが好ましい。

次に、第２の手法では、第１の画像を、ステップＳ１７で検出された対象物に強調的な表示を付加した画像とし、第２の画像を、このような強調的な表示を付加しない画像とし、第３の画像を、該対象物についても表示画面上で視認できないような画像とする。

この表示例を、図５に示す。（ａ３）は、第１の画像を示し、図４の（ａ１）の画像と、検出された対象物（この実施例では、歩行者）を強調的に表示するための枠１１１が設けられている点で異なる。この枠１１１についても、一つの情報として運転者には認識されるため、（ａ３）の第１の画像は、図４の（ａ１）の画像よりも、情報量がさらに増えていると考えることができる。（ｂ３）は、第２の画像を示し、これは、図４の（ａ１）と同じグレースケール画像である。代替的に、図４の（ｂ１）や（ｂ２）の画像に強調枠を重畳したものを、第２の画像としてもよい。（ｃ３）は、第３の画像を示し、これは、図４の（ｃ１）と同じである。代替的に、図４の（ｃ２）のようなコントラストを低下させた画像を第３の画像としてもよい。

図６は、この発明の他の実施形態に従う、画像処理ユニット２により実行される処理のプロセスのフローチャートである。該プロセスは、所定の時間間隔で実行される。図３と異なるのは、対象物までの距離または該対象物までの車両の到達時間に応じて、表示形態を変更する点である。

ステップＳ１１〜Ｓ１７は、図３のものと同じであるので、説明を省略する。ステップＳ２８において、ステップＳ１７で抽出（検出）された対象物までの距離を算出する。これは、周知の任意の手段で行われることができ、たとえば、特開２００１−６０９６号公報に記載されている。代替的に、該対象物までの車両の到達時間を算出してもよい。到達時間は、該距離を、車両の車速センサ７によって検出された車速で除算することにより算出されることができる。

ステップＳ２９において、こうして算出された距離（または到達時間）が所定値より大きいかどうかを判断する。この判断がＮｏであれば、ステップＳ３０において、前述した第１の表示形態に従って第１〜第３の表示画像を生成し、これらを第１〜第３の表示装置３１〜３３にそれぞれ表示することにより、該対象物についての警報出力を行う。この判断がＹｅｓであれば、ステップＳ３１において、第２の表示形態に従って第１〜第３の表示画像を生成し、これらを第１〜第３の表示装置３１〜３３にそれぞれ表示することにより、該対象物についての警報出力を行う。

ここで、第１の表示形態は、図３〜図５を参照して説明したように、第１〜第３の画像に向けてその情報量が低減するように、第１〜第３の表示画像を生成して表示する形態である。第２の表示形態は、第１の表示形態における第１〜第３の画像間の情報量の差を緩和する（小さくする）ように、第１〜第３の表示画像を生成して表示する手法である。

図７の（ａ４）、（ｂ４）および（ｃ４）は第２の表示形態の一例を示し、これは、第１の表示形態が図４の（ａ１）、（ｂ１）および（ｃ１）である場合を想定している。（ａ４）は、第１の画像を示し、これは、図４の（ａ１）と同じである。（ｂ４）は、第２の画像を示し、これは、（ａ１）のグレースケール画像の対象物（ここでは、歩行者１０１）以外の領域のコントラストを低下させたものである。ここで、該コントラストの低下の量は、図４の（ｂ１）の画像を生成したときのコントラストの低下の量よりも小さくしている。結果として、（ｂ４）の画像からは、歩行者１０１以外の他の車両１０３等の情報を読み取ることができ、図４の（ａ１）および（ｂ１）の間の情報量の差に比べ、（ａ４）および（ｂ４）の間の情報量の差は小さくなっている。

（ｃ４）は、第３の画像を示し、これは、（ｂ４）の画像の対象物以外の領域のコントラストをさらに低下させたものであり、図４の（ｂ１）の画像と同じである。（ｃ４）の画像からは、実質的に歩行者１０１のみが判読可能な情報として示されている。図４の（ａ１）および（ｃ１）の間の情報量の差に比べ、（ａ４）および（ｃ４）の間の情報量の差は小さくなっている。

また、図７の（ａ５）、（ｂ５）および（ｃ５）は第２の表示形態の他の例を示し、これは、第１の表示形態が図５の（ａ３）、（ｂ３）および（ｃ３）である場合を想定している。（ａ５）は、第１の画像を示し、これは、図５の（ａ３）と同じである。（ｂ５）は、第２の画像を示し、これは、図５の（ｂ３）と同じである。（ｃ５）は、第３の画像を示し、これは、図４の（ｂ１）と同じである。ここで、（ａ５）および（ｂ５）の間の情報量の差は、図５の（ａ３）および（ｂ３）の間の情報量の差と同じであるが、（ｃ５）の画像では歩行者１０１が実質的に判読可能なようになっているため、（ａ５）または（ｂ５）と、（ｃ５）との間の情報量の差は、図５の（ａ３）または（ｂ３）と、（ｃ３）との間の情報量の差より小さくなっている。このように、第２の表示形態では、複数の表示装置のうちのいずれか任意の２つの表示装置間の情報量の差を小さくするようにすることもできる。

歩行者１０１の距離が所定値より大きいとき、あるいは歩行者１０１までの車両の到達時間が所定値より大きいときには、該対象物に到達するまでに時間的な余裕がある。したがって、このような場合には、情報量の差を小さくして、第２および第３の表示装置３２および３３への注視時間をある程度許容することができる。

なお、図７に示すものは一例にすぎず、第２の表示形態では、第１〜第３の画像を、すべて同じものとしてもよい（この場合、第１〜第３の画像間の情報量の差はなくなる）。また、この例では、対象物領域は視認可能なように第１〜第３の画像を生成しているが、これに限定されるものではなく、たとえば第３の画像については、図４の（ｃ１）および（ｃ２）のように、歩行者１０１を視認できないように生成してもよい。

図８は、この発明のさらなる他の実施形態に従う、車両の周辺監視装置のブロック図を示す。図１と異なるのは、運転者以外の乗員が存在するかどうかを検知するための乗員検知手段９を備えることである。この実施例では、運転者以外の乗員として、助手席に乗員が存在するかを検知する。乗員検知手段９は、任意の適切な手段によって実現されることができる。たとえば、人がシートに着座していることを検知する着座センサを助手席に設け、該センサの検知結果に基づいて判断することができる。代替的に、助手席を撮像するカメラを車両内に設け、撮像された画像内に人が検出されたならば、乗員が存在していると検知することができる。

乗員検知手段９によって乗員が助手席に検知されたならば、図３〜図５を参照して説明した第１の表示形態に代えて、第３の表示形態に従って第１〜第３の画像を生成し、第１〜第３の表示装置３１〜３３に表示する。このプロセスを、図 ９を参照して説明する。

図９は、図８の実施形態に従う、画像処理ユニット２によって処理されるプロセスであり、所定の時間間隔で実行される。ステップＳ１１〜Ｓ１７は、図３のものと同じであるので、説明を省略する。

ステップＳ３８において、乗員検知手段９によって検知された結果を取得する。ステップＳ３９において、該取得した検知結果に基づいて、助手席に乗員が存在するかどうかを判断する。助手席に乗員が存在しなければ、ステップＳ４０に進み、第１の表示形態に従う警報出力を行う。これは、図３のステップＳ１８および図６のステップＳ３０と同じである。

助手席に乗員が存在しなければ、ステップＳ４１に進み、第３の表示形態に従う警報出力を行う。

第３の表示形態は、検知された該乗員に近い表示装置上に表示される画像の情報量の低減の量を、第１の表示形態に比べて抑制する形態である。好ましくは、該乗員に最も近い表示装置が識別され、該識別された表示装置上に表示される画像の情報量については、第１の表示形態のような低減を行わないようにする。

この実施形態では、助手席に最も近い表示装置は第３の表示装置３３であるため、第３の画像の情報量を変更する。具体的な一例としては、第３の画像を、第２もしくは第１の画像と同等の情報量とするよう生成し、これを、第３の表示装置３３上に表示する。

図１０は、第３の表示形態の一例を示す。（ａ６）から（ｃ６）の画像は、それぞれ、第１の画像、第２の画像および第３の画像を示し、これは、第１の表示形態が図４の（ａ１）から（ｃ１）である場合を想定している。（ｃ６）の第３の画像は、（ａ６）の第１の画像と同じであり、第１の表示形態に比べて、第１の画像からの情報量の低減が行われていないことがわかる。また、（ｃ６）の該第３の画像は、（ｂ６）に示す第２の画像からはむしろ情報量が増している。

また、他の例として、（ａ７）から（ｃ７）の画像は、それぞれ、第１の画像、第２の画像および第３の画像を示し、これは、第１の表示形態が図５の（ａ３）から（ｃ３）である場合を想定している。（ｃ７）の第３の画像は、（ｂ７）の第２の画像と同じであり、第１の表示形態に比べて、第２の画像からの情報量の低減は行われていないことがわかる。また、第１の表示形態に比べて、（ａ７）に示す第１の画像からの情報の低減量が小さくなっていることがわかる。

これらの例では、第３の表示形態における第３の画像は、第１または第２の画像と同じよう生成されているが、代替的に、第３の表示形態における第３の画像を、第１または第２の画像ほどの情報量には達しないが、第１の表示形態における第３の画像よりも情報量が多くなるように生成してもよい。たとえば、図１０の（ｃ７）の第３の画像に代えて、図１０の（ｂ６）のような、検出された対象物（この例では、歩行者１０１）のみが実質的に視認可能な画像を、第３の画像として用いてもよい。

こうして、助手席に乗員が存在する場合には、該乗員に近い表示装置上の情報量を低減する量が抑制されるので、該乗員に視認しやすい表示画面を提供することができる。乗員が該表示画面を視認してその内容を運転者に知らせることができる。

当然ながら、第２の表示形態を用いる実施形態（図６）と第３の表示形態を用いる実施形態（図１０）を組み合わせてもよい。この場合、対象物の距離または到達時間が所定値以上であるときには、第１の表示形態に比べて第１〜第３の画像の情報量の差が小さくなるように、該第１〜第３の画像を生成すると共に、検知された乗員に最も近い表示装置の画像については、第１の表示形態のものに比べて情報量の低減を抑制して生成することができる。

なお、この実施形態では、３つの表示装置を用いているが、この発明は、２つ以上の、任意の数の表示装置に適用可能である。また、３つ以上の表示装置を備える場合には、そのうちの少なくとも２つの表示装置について、第１の表示形態における情報量の低減、第２の表示形態における情報量の差の緩和、および第３の表示形態における情報量の低減の抑制を行えばよく、必ずしもすべての表示装置についてこれを行うことは必要とされない。

さらに、上記の実施形態では、遠赤外線カメラを用いているが、本願発明は、他のカメラ（たとえば、可視カメラ）にも適用可能である。さらに、上記の実施形態では、所定の対象物として歩行者を検出するよう構成されているが、歩行者に加え、または歩行者に代えて、動物を検出するよう構成してもよい。

さらに、上記の実施形態では、表示装置を介して、検出された対象物の警報を発行しているが、これに加え、スピーカ３を介して、対象物の存在を運転者に知らせることを行ってもよい。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
３１ 第１の表示装置
３２ 第２の表示装置
３３ 第３の表示装置

Claims (3)

1. 車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の対象物を検出する手段と、前記画像に基づいて生成される表示画像を表示画面上に表示する表示手段と、前記対象物が検出された場合に、該表示手段を介して該対象物の存在を運転者に警報する警報手段と、を備える車両の周辺監視装置であって、
   さらに、前記車両が前記対象物に到達するまでの到達時間を算出する手段を備え、
   前記表示手段は、前記運転者が目視可能な位置に配置されている第１表示手段と、前記運転者が目視可能な位置であり、且つ、正面を向いた前記運転者の視線を基準として、前記運転者が表示画面を視認するのに必要な視線移動量が前記第１表示手段より大きい位置に配置された第２表示手段とを有し、
   前記警報手段は、前記画像に基づいて第１表示画像を生成して前記第１表示手段へ出力し、前記画像中の、前記対象物に対応する画像領域以外の画像領域の情報量を、前記第１表示画像より低減した第２表示画像を生成して前記第２表示手段へ出力し、前記到達時間が長いほど、前記第１表示画像と前記第２表示画像との情報量の差が小さくなるように設定する、
   周辺監視装置。
2. 車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の対象物を検出する手段と、前記画像に基づいて生成される表示画像を表示画面上に表示する表示手段と、前記対象物が検出された場合に、該表示手段を介して該対象物の存在を運転者に警報する警報手段と、を備える車両の周辺監視装置であって、
   さらに、前記車両の運転者以外の乗員を検知する手段を備え、
   前記表示手段は、前記運転者が目視可能な位置に配置されている第１表示手段と、前記運転者が目視可能な位置であり、且つ、正面を向いた前記運転者の視線を基準として、前記運転者が表示画面を視認するのに必要な視線移動量が前記第１表示手段より大きい位置に配置された第２表示手段とを有し、
   前記警報手段は、前記画像に基づいて第１表示画像を生成して前記第１表示手段へ出力し、前記画像中の、前記対象物に対応する画像領域以外の画像領域の情報量を、前記第１表示画像より低減した第２表示画像を生成して前記第２表示手段へ出力し、前記乗員の存在を検知した場合には、前記第１表示手段と前記第２表示手段とのうち、前記乗員の位置に近い表示手段について、前記情報量を低減する量を抑制する、
   周辺監視装置。
3. 前記警報手段は、前記対象物に対応する画像領域以外の画像領域のコントラストを低下させて前記第２表示画像を生成する、
   請求項１または２に記載の周辺監視装置。