JP2016136326A - 情報表示装置および情報表示方法 - Google Patents

Abstract

【課題】車両の前方または周囲の景色に重ねて且つ容易に認識可能に情報を表示する。
【解決手段】車両の運転者から見える前方または周囲の景色に重ねて情報を表示するに際して、景色の中で情報が重ねて表示される領域内の色についての情報（色情報）を検出する。そして、検出した色情報に基づいて情報の表示色を決定して、決定した表示色で情報を出力する。こうすれば、情報が重ねて表示される領域に対して目立ち易い表示色で情報を出力することができるので、運転者が容易に認識可能な態様で情報を表示することが可能となる。
【選択図】図２

Description

本発明は、運転者から見える車両の前方または周囲の景色に重ねて、運転者に対する情報を表示する技術に関する。

車両の運転者は、運転に際して、車両の前方の状況だけでなく、車両の周囲の状況も常に把握しておく必要がある。このため車両には、車両の後側方の景色を視認するためのサイドミラーや、後方の景色を視認するためのバックミラーなどが搭載されている。また、車両の運転者には、運転に関連する様々な情報が提示されるので、これらの情報も確認する必要がある。

そこで、車両の前方や周囲の状況を確認した運転者が、大きく視線を動かすことなく様々な情報を確認可能とする技術が提案されている。例えば、サイドミラーの裏面側にモニターを組み込んで、モニターの画像がサイドミラーを通して透けて見えるようにすることで、車両の後側方の状況と共に様々な情報を確認できるようにする技術が提案されている（特許文献１）。
あるいは、車両の窓ガラスや、窓ガラスの手前側に設けた透明な表示板上に画像を投影して虚像表示することで、運転者が前方の景色を確認しながら、投影された画像の情報を把握できるようにした「ヘッドアップディスプレイ」と呼ばれる技術も開発されている。

特開２０１０−２２１８９９号公報

しかし、上述した従来の技術では、車両の前方または周囲の景色に重ねて情報が表示されるので、表示された情報が背景に紛れてしまい、容易に認識することができない場合があるという問題があった。

この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、車両の前方または周囲の景色に重ねて表示するにも拘わらず、容易に認識可能な態様で情報を表示する技術の提供を目的とする。

上述した課題を解決するために本発明の情報出力装置および情報出力方法は、運転者から見える前方または周囲の景色の中で、情報が重ねて表示される領域内の色についての情報（色情報）を検出する。そして、検出した色情報に基づいて情報の表示色を決定し、決定した表示色を用いて情報を出力する。
こうすれば、情報が重ねて表示される領域に対して目立ち易い表示色で情報を出力することができるので、運転者が容易に認識可能な態様で情報を表示することが可能となる。

本実施例の情報出力装置１００を搭載した車両１を示す説明図である。 情報出力装置１００の大まかな内部構造を示す説明図である。 情報出力装置１００が実行する情報出力処理のフローチャートである。 電子サイドミラー２０Ｒの表示画面２０ａに表示された後側方の景色に重ねて情報が表示される様子を例示した説明図である。 電子サイドミラー２０Ｒの表示画面２０ａに表示された後側方の景色の中で情報が重ねて表示される領域Ｂ１〜Ｂ５を例示した説明図である。 情報が重ねて表示される領域内の色情報についての説明図である。 色立体を複数のブロックに分割して色情報を検出する様子を例示した説明図である。 色情報と表示色とが対応付けられた標準の対応テーブルを例示した説明図である。 警告情報用の対応テーブルに色情報と表示色とが対応付けられた様子を例示した説明図である。 情報が表示される領域内の色情報に応じて異なった表示色で情報が表示される様子を例示した説明図である。 ヘッドアップディスプレイ装置３０で情報が表示される様子を例示した説明図である。 変形例の情報出力装置２００の大まかな内部構造を示す説明図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、情報出力装置１００を搭載した車両１が示されている。図示されるように車両１には、車両１の運転に関する制御を司る運転制御装置４を中心として、各種の機器が車載ネットワーク２を介してデータを通信可能な状態で搭載されている。例えば、車両１の車室内には、前方の状況を撮影する車載カメラ（以下、前方カメラ１０Ｆ）や、後方の状況を撮影する車載カメラ（以下、後方カメラ１０Ｂ）が搭載されており、前方カメラ１０Ｆや後方カメラ１０Ｂは、車載ネットワーク２に接続されている。また、車載ネットワーク２には画像解析装置５も接続されており、画像解析装置５は、前方カメラ１０Ｆや後方カメラ１０Ｂで撮影されたカラー画像を、車載ネットワーク２を介して取得する。そして、歩行者や車両や障害物の検出などの所定の画像処理を施した後、得られた結果を車載ネットワーク２に出力する。

また、車両１の左側面には、左後方の状況を撮影する車載カメラ（以下、左側方カメラ１０Ｌ）が搭載されており、車両１の右側面には、右後方の状況を撮影する車載カメラ（以下、右側方カメラ１０Ｒ）が搭載されている。左側方カメラ１０Ｌおよび右側方カメラ１０Ｒも、撮影したカラー画像の画像データを車載ネットワーク２に出力し、その画像データを画像解析装置５が車載ネットワーク２を介して取得して、歩行者や車両の検出などの所定の画像処理を実行する。
更に、車両１には、車両１の前方に存在する障害物を検出する検出機器（ここでは、ソナー１２Ｒ，１２Ｌ）や、車両１の後方に存在する障害物を検出する検出機器（ここでは、ソナー１３Ｒ，１３Ｌ）も搭載されており、これらも車載ネットワーク２に接続されている。尚、障害物を検出する検出機器としては、ソナー１２Ｒ，１２Ｌ，１３Ｒ，１３Ｌの代わりに、あるいはこれらに加えて、レーダーなどを搭載しても良い。

また、車載ネットワーク２には、車室内の右側に搭載された表示機器２０Ｒや、車室内の左側に搭載された表示機器２０Ｌや、ステアリングハンドル３の奥側に搭載された表示機器２０Ｃも接続されている。更に、車載ネットワーク２には、これらの表示機器２０Ｒ，２０Ｌ，２０Ｃに向かって画像や情報を出力する情報出力装置１００も接続されている。右側方カメラ１０Ｒで撮影した画像は、情報出力装置１００を介して表示機器２０Ｒに供給されて、表示機器２０Ｒの表示画面に表示される。同様に、左側方カメラ１０Ｌで撮影した画像は、情報出力装置１００を介して表示機器２０Ｌに供給されて、表示機器２０Ｌの表示画面に表示される。この結果、表示機器２０Ｒおよび表示機器２０Ｌでは、いわゆる電子サイドミラーが実現される。また、後方カメラ１０Ｂで撮影した画像は、情報出力装置１００を介して表示機器２０Ｃに供給されて、表示機器２０Ｃの表示画面に表示される。この結果、表示機器２０Ｃでは、いわゆる電子バックミラー、あるいは車両１の後進時に使用されるバックモニターが実現される。

右側方カメラ１０Ｒ、左側方カメラ１０Ｌ、後方カメラ１０Ｂ、前方カメラ１０Ｆで撮影された画像は、車載ネットワーク２を介して画像解析装置５に供給され、画像に写った車両や歩行者などの位置や距離などが抽出される。そして画像解析装置５は、抽出したそれらの情報を車載ネットワーク２を介して運転制御装置４に出力する。また、ソナー１２Ｒ，１２Ｌ，１３Ｒ，１３Ｌからの情報は運転制御装置４に供給されて障害物の有無および障害物の大まかな位置が検出される。そして運転制御装置４は、これらの情報を必要に応じて車載ネットワーク２に出力する。
情報出力装置１００は、車載ネットワーク２を介してこれらの情報を取得して、表示機器２０Ｒ、２０Ｌ、２０Ｃに出力する。その結果、表示機器２０Ｒ、２０Ｌ、２０Ｃの表示画面上では、右側方カメラ１０Ｒ、左側方カメラ１０Ｌ、後方カメラ１０Ｂで撮影した画像に重ねて、これらの情報が表示される。

もっとも、撮影した画像に重ねて情報を表示すると、表示された情報が背景に紛れてしまい、運転者が容易に認識することができないことがある。そこで、このような事態を回避するために、本実施例の情報出力装置１００は次のような構成を採用している。

図２には、本実施例の情報出力装置１００の大まかな内部構造が示されている。図示されるように情報出力装置１００は、ネットワーク接続部１０１や、撮影画像取得部１０２、画像出力部１０３、色情報検出部１０４、表示色決定部１０５、情報取得部１０６、情報類別判断部１０７、対応関係記憶部１０８、情報出力部１０９を備えている。
尚、情報出力装置１００は、ＣＰＵを中心として、メモリーや、タイマー、入出力周辺装置などが、バスを介して相互にデータを通信可能に接続されたマイクロコンピューターによって実現されている。従って、これらの「部」は、情報出力装置１００が、表示機器２０Ｒ，２０Ｌ，２０Ｃの表示画面上に撮影画像や情報を表示させる機能に着目して、便宜的に情報出力装置１００の内部構造を分類したものに過ぎず、情報出力装置１００がこれらの部に物理的に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。

ネットワーク接続部１０１は、車載ネットワーク２からデータを取得したり、車載ネットワーク２を介して表示機器２０Ｒ，２０Ｌ，２０Ｃにデータを出力する機能を有している。
撮影画像取得部１０２は、ネットワーク接続部１０１が車載ネットワーク２から取得した各種の情報の中から、右側方カメラ１０Ｒ、左側方カメラ１０Ｌ、後方カメラ１０Ｂで撮影されたカラー画像を取得して、画像出力部１０３および色情報検出部１０４に供給する。
また、情報取得部１０６は、ネットワーク接続部１０１が車載ネットワーク２から取得した各種の情報の中から、表示機器２０Ｒ，２０Ｌ，２０Ｃで表示する情報のデータを取得して、色情報検出部１０４と、情報類別判断部１０７と、情報出力部１０９とに供給する。

色情報検出部１０４は、情報取得部１０６から情報を受け取ると、撮影画像中でその情報が重ねて表示される領域内の色情報を検出する。ここで色情報とは、領域の代表的な色を表す情報である。領域の代表的な色としては、その領域を構成する複数の画素の色を平均した色とすることもできるし、領域内の複数の画素の中で最も出現頻度の高い色とすることもできる。そして、検出した色情報は、表示色決定部１０５に出力する。
一方、情報類別判断部１０７は、情報取得部１０６から受け取った情報の類別（例えば、運転者に対して警告する警告情報であるか否か）を判断し、その結果を表示色決定部１０５に出力する。

そして表示色決定部１０５は、色情報検出部１０４から受け取った色情報と、情報類別判断部１０７から受け取った類別の判断結果に基づいて、情報の表示色を決定する。ここで情報の表示色とは、その情報を表示するために使用する色を言う。例えば、情報の表示色が赤色であった場合には、赤色で情報が表示される。
対応関係記憶部１０８には、色情報と表示色とを対応付けた対応関係が予め記憶されている。また、この対応関係は、警告情報のような特別な情報に対しては特別な対応関係が予め設定されている。そこで、表示色決定部１０５は、情報の類別に対応する対応関係を参照して、色情報に対応する表示色を決定した後、決定した表示色を情報出力部１０９に出力する。

情報出力部１０９は、情報取得部１０６から受け取った情報を、表示色決定部１０５で決定した表示色で、画像出力部１０３に出力する。すると、画像出力部１０３は、撮影画像取得部１０２から供給された撮影画像に、情報出力部１０９から供給された表示色による情報が重ねて表示された画像を生成する。そして、得られた画像を、ネットワーク接続部１０１を介して車載ネットワーク２に出力する。このとき、撮影画像が右側方カメラ１０Ｒから得られた画像であった場合には、表示機器２０Ｒを指定して出力する。また、撮影画像が左側方カメラ１０Ｌから得られた画像であった場合には表示機器２０Ｌを指定して出力し、後方カメラ１０Ｂから得られた画像であった場合には表示機器２０Ｃを指定して出力する。
こうすれば、対応関係記憶部１０８に、色情報と表示色との適切な対応関係を記憶しておくことで、表示された情報が背景に紛れてしまう事態を回避することができ、その結果、表示された情報を運転者が容易に認識することが可能となる。以下では、こうしたことを可能とするために、本実施例の情報出力装置１００が実行する情報出力処理について説明する。

Ｂ．情報出力処理 ：
図３には、情報出力装置１００が、表示機器２０Ｒ，２０Ｌ，２０Ｃの表示画面上に表示するための情報を出力する情報出力処理のフローチャートが示されている。
図示されるように情報出力処理では、先ず始めに、右側方カメラ１０Ｒ、左側方カメラ１０Ｌ、後方カメラ１０Ｂで撮影されたカラー画像の画像データを取得する（Ｓ１０１）。また、これらの画像データは、右側方カメラ１０Ｒ、左側方カメラ１０Ｌ、後方カメラ１０Ｂの何れで撮影された画像データであるかが識別された状態で車載ネットワーク２に出力されるので、情報出力装置１００は、撮影したカメラを識別した状態で取得する。

続いて、取得した撮影画像に重ねて表示する情報があるか否かを判断する（Ｓ１０２）。例えば、画像解析装置５が撮影画像を解析して抽出した情報や、ソナー１２Ｒ，１２Ｌ１３Ｒ．１３Ｌで検出した情報などは、車載ネットワーク２を介して運転制御装置４に供給され、運転制御装置４が必要な情報を、表示機器２０Ｒ，２０Ｌ，２０Ｃを指定して車載ネットワーク２に出力する。そこで、情報出力装置１００は、運転制御装置４からこのような情報が出力されているか否かを判断する。
その結果、運転制御装置４からこのような情報が出力されていない場合は、撮影画像に重ねて表示する情報が無いと判断して（Ｓ１０２：ｎｏ）、受け取った撮影画像の画像データを出力する（Ｓ１１０）。受け取った撮影画像が、例えば右側方カメラ１０Ｒで撮影された画像であれば、表示機器２０Ｒに向けて画像データを出力する。また、受け取った撮影画像が、左側方カメラ１０Ｌで撮影された画像であれば表示機器２０Ｌに向けて画像データを出力し、後方カメラ１０Ｂで撮影された画像であれば表示機器２０Ｃに向けて画像データを出力する。

これに対して、運転制御装置４から情報が出力されている場合は、撮影画像に重ねて表示する情報があると判断して（Ｓ１０２：ｙｅｓ）、表示する情報を車載ネットワーク２から取得する（Ｓ１０３）。
ここでは、図４に例示したように、電子サイドミラーを実現している表示機器２０Ｒの表示画面２０ａに表示される情報として、追走車両の存在を示す強調枠Ａ３と、追走車両の走行速度Ａ２と、追走車両までの距離Ａ４とを取得したものとする。更に、走行レーンの変更ができない旨の警告Ａ１や、前方を注意する旨の警告も取得したものとする。強調枠Ａ３は、図４に示したように追走車両の画像に重ねて表示される。また、追走車両の走行速度Ａ２は強調枠Ａ３の上方に表示され、追走車両までの距離Ａ４は強調枠Ａ３の下方に表示される。更に、走行レーンの変更に関する警告Ａ１は、表示画面２０ａの上部中央に表示され、前方を注意する旨の警告Ａ５は、表示画面２０ａの左下隅に表示される。

続いて情報出力装置１００は、撮影画像中で情報が表示される領域内の色情報を検出する（Ｓ１０４）。例えば、強調枠Ａ３については、図５中に示した領域Ｂ３内の色情報を取得する。また、追走車両の走行速度Ａ２や距離Ａ４については、図５中の領域Ｂ２や領域Ｂ４内の色情報を、更に、警告Ａ１や警告Ａ５については、図５中の領域Ｂ１や領域Ｂ５内の色情報を取得する。
また、色情報としては、次のような情報を取得する。先ず、カラー画像の画像データはＲＧＢ画像データであり、ＲＧＢ画像データは次のようにしてカラー画像を表現する。色彩光学の教える処によれば、人間の感じる色は、光の三原色と呼ばれるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の３色の色成分を組み合わせることによって表現することができる。そこで、画像を微細な複数の画素に分割し、それぞれの画素についてＲＧＢの色成分の階調値を設定する。こうすれば、それぞれの画素について自由に色を設定することができ、こうして色が設定された画素の集まりとしてカラー画像を表現することができる。

また、ＲＧＢの色成分の階調値は、０〜２５５の範囲の値を取る。そこで、直交する３軸をＲ軸、Ｇ軸、Ｂ軸とする色空間を考えて、カラー画像の画素に設定された３つの色成分に対応する座標点をプロットする。すると、それら座標点は、図６に示したように、一辺の長さが２５５の立方体（色立体と呼ばれることがある）の内部にプロットされる。この色立体内での座標値は色を表しており、座標値が近ければ、似た色を表すと考えることができる。例えば、Ｒ成分の階調値が２５５で、Ｇ成分およびＢ成分の階調値が０の座標値は完全な赤色を表すが、その周辺の座標値であれば赤色を表すと考えて良い。また、Ｒ成分およびＧ成分の階調値が２５５で、Ｂ成分の階調値が０の座標値は完全な黄色を表すが、その周辺の座標値であれば黄色を表すと考えて良い。あるいは、Ｒ成分、Ｇ成分、およびＢ成分の階調値が何れも２５５の座標値は完全な白色を表すが、その周辺の座標値であれば白色を表すと考えて良い。更に、Ｒ成分、Ｇ成分、およびＢ成分の階調値が何れも０の座標値は完全な黒色を表すが、その周辺の座標値であれば黒色を表すと考えて良い。
図３に示した情報出力処理のＳ１０４では、領域Ｂ１〜Ｂ５について、それぞれの領域内の画素に設定されたＲＧＢ各成分の階調値を取得する。そして、成分毎にそれらの階調値の平均値を算出することによって、各領域についての色情報を取得する。

あるいは、各領域についての色情報を次のようにして取得しても良い。先ず、図６の色立体を各辺の中央で分割する。すると色立体は、図７（ａ）に示すように、ＲＧＢ各成分の階調値が何れも０〜１２７の範囲となるブロック（以下、ブロックＡ）と、Ｒ成分およびＧ成分の階調値が０〜１２７でＢ成分の階調値が１２８〜２５５の範囲となるブロック（以下、ブロックＢ）、Ｒ成分およびＢ成分の階調値が０〜１２７でＧ成分の階調値が１２８〜２５５の範囲となるブロック（以下、ブロックＣ）、Ｒ成分の階調値が０〜１２７でＧ成分およびＢ成分の階調値が１２８〜２５５の範囲となるブロック（以下、ブロックＤ）、Ｒ成分の階調値が１２８〜２５５でＧ成分およびＢ成分の階調値が０〜１２７の範囲となるブロック（以下、ブロックＥ）、Ｒ成分およびＢ成分の階調値が１２８〜２５５でＧ成分の階調値が０〜１２７の範囲となるブロック（以下、ブロックＦ）、Ｒ成分およびＧ成分の階調値が１２８〜２５５でＢ成分の階調値が０〜１２７の範囲となるブロック（以下、ブロックＧ）、ＲＧＢ各成分の階調値が何れも１２８〜２５５の範囲となるブロック（以下、ブロックＨ）の８つのブロックに分割される。
図７（ｂ）および図７（ｃ）に示されるように、これら８つのブロックのうち、ブロックＡは黒色（および黒に近い色）を表すブロックであり、ブロックＢは青色（および青に近い色）を表すブロックであり、ブロックＣは緑色（および緑に近い色）を表し、ブロックＤはシアン色（およびシアンに近い色）を表し、ブロックＥは赤色（および赤に近い色）を、ブロックＦはマゼンタ色（およびマゼンタに近い色）を、ブロックＧは黄色（および黄に近い色）を、ブロックＨは白色（および白に近い色）を表すブロックである。
続いて、図５に示した領域Ｂ１〜Ｂ５について、領域内の画素を色立体内の対応する座標値にプロットする。そして、最も多くの座標値がプロットされたブロックを選択し、そのブロックの中央の座標値（あるいは、色立体の８つの頂点の中でそのブロックに含まれる頂点の座標値）を、その領域についての色情報として取得しても良い。

こうして領域内の色情報を検出したら（図３のＳ１０４）、今度は、表示する情報が、運転者に対して警告する情報（警告情報）に該当するか否かを判断する（Ｓ１０５）。運転制御装置４は車載ネットワーク２に情報を出力する際に、その情報の類別が警告情報に該当するか否かを示すフラグを付けて出力するので、情報出力装置１００は情報が警告情報に該当するか否かを容易に判断することができる。
その結果、警告情報ではないと判断した場合は（Ｓ１０５：ｎｏ）、標準の対応テーブルを参照することによって、情報の表示色を決定する（Ｓ１０７）。ここで対応テーブルとは、色情報と表示色とを対応付けたテーブルである。従って、対応テーブルを参照すれば、色情報から、対応する表示色を決定することができる。また、本実施例では、上述したように色情報は、色立体内での座標値として求められている。そこで、本実施例の対応テーブルは、色立体の座標値に表示色を対応付けたテーブルとなっている。

図８には、（警告情報ではない）通常の情報の表示色を決定する際に参照される標準の対応テーブルが概念的に示されている。図示されるように標準の対応テーブルは、図７（ａ）と同様に色立体を８つのブロックに分割して、それぞれのブロックに表示色が設定されたテーブルとなっている。
例えば、図８（ａ）に示したように、ブロックＡに対しては表示色として白色が設定されており、ブロックＢに対しては表示色として黄色が設定されている。同様に、ブロックＣに対しては表示色としてマゼンタ色が設定され、ブロックＤに対しては表示色として赤色が設定されている。また、図８（ｂ）に示したように、ブロックＥに対しては表示色としてシアン色が設定されており、ブロックＦに対しては表示色として緑色が設定され、ブロックＧに対しては表示色として青色が、ブロックＨに対しては表示色として黒色が設定されている。

ここで、各ブロックに表示色として設定されている色は、図６に示した色立体の中で、そのブロックの対角に位置するブロックが表す色（以下、反対色と称する）となっている。例えば、ブロックＡについて説明すると、色立体中でブロックＡの対角に位置するブロックは、白色を表すブロックＨである（図７（ｂ）および図７（ｃ）参照）。そこで、ブロックＡの表示色は白色に設定する（図８（ａ）参照）。この白色は、ブロックＡが表す色（黒色）の反対色となっている。
ブロックＢについても同様に、色立体中でブロックＢの対角に位置するブロックは、黄色を表すブロックＧであり、そこで、ブロックＢの表示色は黄色に設定する（図８（ａ）参照）。黄色は、ブロックＢが表す色（青色）の反対色となっている。
図８（ａ）および図８（ｂ）には、このようにして各ブロックに表示色が設定された標準の対応テーブルが例示されている。

図３に示した情報出力処理のＳ１０７では、このような標準の対応テーブルを参照することによって表示色を決定する。例えば、情報を表示しようとする領域の色情報の座標値が、色立体上でブロックＢ中にあった場合には、ブロックＢに設定された黄色を表示色として決定する。

以上では、表示しようとする情報が警告情報ではないと判断した場合に（Ｓ１０５：ｎｏ）、情報の表示色を決定する処理（Ｓ１０７）について説明した。
これに対して、表示しようとする情報が警告情報と判断した場合は（Ｓ１０５：ｙｅｓ）、警告情報用の対応テーブルを参照して表示色を決定する（Ｓ１０６）。

図９には、警告情報用の対応テーブルが概念的に示されている。警告情報用の対応テーブルも、図８に示した標準の対応テーブルと同様に、色立体を８つのブロックに分割して、それぞれのブロックに表示色が設定されたテーブルとなっている。しかし、警告情報用の対応テーブルでは、青色や、緑色、シアン色などのいわゆる寒色系の色は表示色として設定されていない。図９に示した例では、標準の対応テーブルでは、表示色としてシアン色が設定されているブロックＥには、黄色が表示色として設定されている。また、標準の対応テーブルでは表示色として緑色が設定されているブロックＦには、黒色が表示色として設定されており、表示色として青色が設定されているブロックＧや表示色として黒色が設定されているブロックＨには、赤色が表示色として設定されている。
表示しようとする情報が警告情報と判断された場合には（図３のＳ１０５：ｙｅｓ）、このような警告情報用の対応テーブルを参照することによって表示色を決定する（Ｓ１０６）。

以上のようにして情報毎の表示色を決定したら、撮影画像上の情報毎に定められた領域に、決定した表示色を用いてそれぞれの情報を書き込むことによって、撮影画像と情報とを合成する（Ｓ１０８）。
そして、情報が合成された撮影画像を、その撮影画像が得られた車載カメラに対応する表示機器に向かって出力する（Ｓ１０９）。例えば、撮影画像が右側方カメラ１０Ｒから得られたものであった場合には、表示機器２０Ｒに向かって出力する。また、撮影画像が左側方カメラ１０Ｌから得られたものであった場合には、表示機器２０Ｌに向かって出力し、後方カメラ１０Ｂから得られた撮影画像であった場合には、表示機器２０Ｃに向かって出力する。

その後、表示機器２０Ｒ，２０Ｌ，２０ｃでの画像の表示を終了するか否かを判断して（Ｓ１１０）、終了しない場合は（Ｓ１１０：ｎｏ）、処理の先頭に戻って、再び車載ネットワーク２から撮影画像を取得した後（Ｓ１０１）、続く上述した一連の処理（Ｓ１０２〜Ｓ１１０）を繰り返す。こうした処理を繰り返すうちに、画像の表示を終了すると判断したら（Ｓ１１０：ｙｅｓ）、図３の情報出力処理を終了する。

図１０には、電子サイドミラーを実現する表示機器２０Ｒの表示画面２０ａ上に、本実施例の情報出力処理によって情報が表示された様子が例示されている。
図１０（ａ）に示した例と、図１０（ｂ）に示した例とを比較すると、追走車両の車体の色に応じて、追走車両に重ねて表示される強調枠Ａ３の色が変更されている。これは、強調枠Ａ３の背景となる領域（追走車両が写った部分）の色情報が変わったことにより、強調枠Ａ３の表示色が異なる色に決定されたことによる。そして、図８を用いて前述したように、表示色は、領域の代表的な色の反対色に近い色設定されている。このため、強調枠Ａ３は、背景となる追走車両の車体の色に対してハッキリと目に付く色で表示される。その結果、強調枠Ａ３を追走車両の上に重ねて表示しても、強調枠Ａ３が背景の追走車両に紛れることが無く、運転者は表示された強調枠Ａ３を容易に認識することが可能となる。

その他の情報（例えば、追走車両の走行速度Ａ２や、追走車両までの距離Ａ４）についても、全く同様にして表示されている。すなわち、追走車両の走行速度Ａ２は、背景となる空の色の反対色に近い色で表示され、追走車両までの距離Ａ４は、背景となる路面の色の反対色に近い色で表示される。このため、追走車両までの距離Ａ４および追走車両までの距離Ａ４は、それぞれの背景に対してハッキリと目に付く色で表示されるので、これらの情報を運転者は容易に認識することができる。

また、図１０（ａ）と図１０（ｂ）とを比較すれば分かるように、自車両に重ねて表示される警告Ａ５の色も、自車両の車体の色に応じて変更されている。これも、警告Ａ５の背景となる領域の色情報が変わったことにより、表示色が異なる色に決定されたことによる。
もっとも警告情報については、通常の情報とは異なって、図９に示した警告情報用の対応テーブルを参照して表示色が決定されている。そして、警告情報用の対応テーブルでは、標準の対応テーブルでは青色、シアン色、緑色の寒色系の表示色に設定される処を、赤色や黄色の暖色系、あるいは黒色の表示色が設定されている。このため警告情報は、青色、シアン色、緑色の寒色系の色を除いて、白色や黒色、あるいは赤色、マゼンタ色、黄色の暖色系の色を用いて表示される。

一般的に、青色や、シアン色、緑色の寒色系の色には、観察者をリラックスさせる効果があると言われており、また、赤色、マゼンタ色、黄色の暖色系の色には、観察者の注意を惹いたり興奮させたりする効果があると言われている。このことから、運転者に警告するための情報である警告情報は、寒色系の色よりも、暖色系の色を用いて表示した方が望ましい。この点で、本実施例では、警告情報については、寒色系の色ではなく、暖色系の色や白色または黒色で表示されるので、適切な色で警告情報を表示することができる。

また、他の警告情報（図１０に示した例では警告Ａ１）についても、同様にして表示されている。すなわち、警告Ａ１は、背景となる空の色から警告情報用の対応テーブルを参照して決定された表示色で表示される。このため、背景が青空の場合には、黄色や赤色のようにハッキリと目に付く色で表示されるので、運転者は警告Ａ１を容易に認識することができる。また、背景が夕焼け空であった場合でも、黒色あるいは黄色で表示されるので、背景に紛れることなく運転者が警告Ａ１を認識することができる。加えて、赤色の背景に黒色あるいは黄色で警告情報が表示されるので、表示の内容が警告であることも容易に認識することが可能となる。

Ｃ．変形例 ：
上述した実施例では、車載カメラ（ここでは、右側方カメラ１０Ｒ、左側方カメラ１０Ｌ、後方カメラ１０Ｂ）で撮影した画像も、画像に重ねて表示される情報も、情報出力装置１００から表示機器２０Ｒ，２０Ｌ，２０Ｃに出力されるものとして説明した。しかし、情報出力装置１００は、車両１の前方や周辺の景色に重ねて情報を表示することができれば良く、従って、必ずしも車載カメラで撮影した画像を出力する必要は無い。例えば、今日では、運転席の前方の窓ガラスや、窓ガラスの手前側に設けたコンバイナーと呼ばれる透明板に投影した画像を虚像表示する装置（いわゆるヘッドアップディスプレイ装置）も開発されている。本発明は、このようなヘッドアップディスプレイ装置にも適用することができる。

図１１には、ダッシュボード内に組み込まれたヘッドアップディスプレイ装置３０が、窓ガラスに設けられた表示領域３０ａに、自車両の車速や前方車両の車速などの情報を表示する様子が例示されている。これらの情報も、前方の景色に重ねて表示されるので、情報が背景となる景色に紛れることがないように、適切な表示色で表示する必要がある。そこで、ヘッドアップディスプレイ装置３０に対しては、以下のような変形例の情報出力装置２００から情報を出力する。

図１２には、変形例の情報出力装置２００の大まかな内部構造が示されている。変形例の情報出力装置２００は、図２を用いて前述した本実施例の情報出力装置１００に対して、画像出力部１０３を有していない点が大きく異なっている。これは、変形例の情報出力装置２００は、車載カメラ（ここでは前方カメラ１０Ｆ）による撮影画像をヘッドアップディスプレイ装置３０に出力しないことによる。もっとも、ヘッドアップディスプレイ装置３０で表示する情報の表示色を決定するためには、前方カメラ１０Ｆによる撮影画像が必要なので、変形例の情報出力装置２００も撮影画像取得部１０２は備えている。以下、変形例の情報出力装置２００について、前述した本実施例の情報出力装置１００との相違点を中心として簡単に説明する。

図１２に示されるように変形例の情報出力装置２００は、ネットワーク接続部１０１や、撮影画像取得部１０２、色情報検出部１０４、表示色決定部１０５、情報取得部１０６、情報類別判断部１０７、対応関係記憶部１０８、情報出力部１０９を備えている。
ネットワーク接続部１０１は、情報出力装置２００を車載ネットワーク２に接続する機能を有している。また、撮影画像取得部１０２は、車載ネットワーク２を介して、前方カメラ１０Ｆで撮影されたカラー画像を取得し、情報取得部１０６は、車載ネットワーク２を介して、ヘッドアップディスプレイ装置３０で表示する情報を取得する。
色情報検出部１０４は、ヘッドアップディスプレイ装置３０で表示する情報を受け取ると、前方カメラ１０Ｆによる撮影画像中でその情報が重ねて表示される領域を特定し、その領域内の色情報を検出する。そして表示色決定部１０５は、色情報に基づいて情報の表示色を決定する。このとき、表示する情報の類別の判断結果を情報類別判断部１０７から取得して、警告情報でなかった場合には、対応関係記憶部１０８に記憶されている標準の対応関係（対応テーブル）を参照して表示色を決定する。これに対して、表示する情報の類別が警告情報であった場合は、対応関係記憶部１０８に記憶されている警告情報用の対応関係（対応テーブル）を参照して表示色を決定する。
情報出力部１０９は、こうして決定した表示色で、ヘッドアップディスプレイ装置３０に向けて情報を出力する。
こうすれば、ヘッドアップディスプレイ装置３０による表示は、運転者から見てその表示の向こう側に見える景色の反対色で表示されることになる。このため、背景となる景色に紛れることが無く、運転者は表示を容易にハッキリと認識することが可能となる。

以上、本実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

１…車両、 ２…車載ネットワーク、 ４…運転制御装置、
５…画像解析装置、 １０Ｂ…後方カメラ、 １０Ｆ…前方カメラ、
１０Ｌ…左側方カメラ、 １０Ｒ…右側方カメラ、
１２Ｌ，１２Ｒ，１３Ｌ，１３Ｒ…ソナー、
２０Ｃ，２０Ｌ，２０Ｒ…表示機器、 ２０ａ…表示画面、
３０…ヘッドアップディスプレイ装置、 ３０ａ…表示領域、
１００…情報出力装置、 １０１…ネットワーク接続部、
１０２…撮影画像取得部、 １０３…画像出力部、 １０４…色情報検出部、
１０５…表示色決定部、 １０６…情報取得部、 １０７…情報類別判断部、
１０８…対応関係記憶部、 １０９…情報出力部、 ２００…情報出力装置。

Claims (6)

1. 車両（１）の運転者から見える前方または周囲の景色に重ねて表示される情報（Ａ１〜Ａ５）を出力する情報出力装置（１００，２００）であって、
   前記情報が重ねて表示される前記景色の中で該情報の背景となる領域（Ｂ１〜Ｂ５）内の色についての色情報を検出する色情報検出部（１０４）と、
   前記領域に前記情報を表示するための表示色を、前記検出した色情報に応じて決定する表示色決定部（１０５）と、
   前記決定した表示色で前記情報を出力する情報出力部（１０９）と
   を備える情報出力装置。
2. 請求項１に記載の情報出力装置であって、
   前記車両の前方または周囲の景色を撮影する車載カメラ（１０Ｒ，１０Ｌ，１０Ｆ，１０Ｂ）を備え、
   前記色情報検出部は、前記車載カメラによる撮影画像から前記色情報を検出する検出部である
   情報出力装置。
3. 請求項２に記載の情報出力装置（１００）であって、
   前記撮影画像を表示画面上に出力する画像出力部（１０３）を備え、
   前記情報出力部は、前記表示画面上の前記撮影画像に重ねて前記情報を出力する出力部である
   情報出力装置。
4. 請求項１ないし請求項３の何れか一項に記載の情報出力装置であって、
   前記色情報と前記表示色との対応関係を記憶した対応関係記憶部（１０８）を備え、
   前記表示色決定部は、前記対応関係に基づいて前記色情報に対する前記表示色を決定する決定部である
   情報出力装置。
5. 請求項４に記載の情報出力装置であって、
   前記運転者に対して出力される情報の類別が、前記運転者に警告する警告情報に該当するか否かを判断する情報類別判断部（１０７）を備え、
   前記対応関係記憶部は、標準の前記対応関係に加えて、前記警告情報用の前記対応関係を記憶している記憶部であり、
   前記表示色決定部は、前記運転者に対して表示される情報の類別が前記警告情報に該当しない場合には、前記標準の対応関係に基づいて前記表示色を決定し、前記警告情報に該当する場合には前記警告情報用の対応関係に基づいて前記表示色を決定する決定部である
   情報出力装置。
6. 車両（１）の運転者から見える前方または周囲の景色に重ねて表示される情報（Ａ１〜Ａ５）を出力する情報出力方法であって、
   前記情報が重ねて表示される前記景色の中で該情報の背景となる領域（Ｂ１〜Ｂ５）内の色についての色情報を検出する工程（Ｓ１０４）と、
   前記領域に前記情報を表示するための表示色を、前記検出した色情報に応じて決定する工程（Ｓ１０６，Ｓ１０７）と、
   前記決定した表示色で前記情報を出力する工程（Ｓ１０８，Ｓ１０９）と
   を備える情報出力方法。

Images