JP4615536B2

JP4615536B2 - 表示装置

Info

Publication number: JP4615536B2
Application number: JP2007071176A
Authority: JP
Inventors: いずみ近藤; 純司江口; 弘之小池
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2007-03-19
Filing date: 2007-03-19
Publication date: 2011-01-19
Anticipated expiration: 2027-03-19
Also published as: JP2008230358A

Description

この発明は、表示装置に関する。

従来、例えば車両のヘッドライト等の光源の照射領域を可視カメラおよび赤外カメラにより撮影し、各カメラの撮影により得られた可視画像および赤外画像を重畳して表示する視覚装置が知られている（例えば、特許文献１参照）。
特開平０９−３７１４７号公報

ところで、上記従来技術に係る視覚装置においては、例えば夜間等の歩行者を赤外カメラにより撮像し、更に歩行者周辺の走行区分線等を可視カメラにより撮像し、可視画像および赤外画像を重畳して得た重畳画像から歩行者の位置を検出することが可能である。しかしながら、単に、可視画像および赤外画像を重畳して表示するだけでは、重畳画像中の不必要な情報によって歩行者の検出が困難となる虞がある。
本発明は上記事情に鑑みてなされたもので、赤外線カメラおよび可視カメラの撮像により得られた各画像から適切な画像を生成することが可能な表示装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る表示装置は、可視画像を撮像する可視撮像手段（例えば、実施の形態での可視カメラ１１ａ）と、前記可視撮像手段にて撮像する領域の少なくとも一部を含む領域の赤外画像を撮像する赤外撮像手段（例えば、実施の形態で赤外カメラ１２ａ）と、前記可視撮像手段によって撮像された可視画像と前記赤外撮像手段によって撮像された赤外画像とを重畳させる重畳手段（例えば、実施の形態で重畳画像生成部２４）と、前記重畳手段にて重畳させた画像を表示する表示手段（例えば、実施の形態で表示部１４）と、前記重畳手段にて前記赤外画像に重畳させる前記可視画像中の設定領域を設定する領域設定手段（例えば、実施の形態で重畳領域設定部２３）とを備え、前記重畳手段は、前記領域設定手段にて設定された前記設定領域と、前記赤外画像とを重畳させる際に、前記可視画像中で前記赤外画像が重畳される前記設定領域以外の輝度をゼロとする。

さらに、前記領域設定手段は、前記可視画像中の道路領域を抽出する道路領域抽出手段（例えば、実施の形態で道路領域抽出部２２）を備え、前記重畳手段は、前記道路領域抽出手段にて抽出された前記道路領域と、前記赤外画像とを重畳させる。

さらに、前記重畳手段は、前記領域設定手段にて設定された前記設定領域と、前記設定領域以外の領域との境界においてグラデーション処理をして、前記設定領域と前記赤外画像とを重畳させ、前記設定領域の下端から鉛直方向上方に向かうほど輝度が低下するように設定する。

本発明の第１態様に係る表示装置によれば、重畳手段は領域設定手段にて設定された可視画像上の設定領域と赤外画像とを重畳させることから、可視画像上において重畳に適さない不必要な情報を含む領域、例えば路面の上端よりも上方の領域や、例えば他車両のヘッドライトや街灯等の光源により輝度が過剰に高い領域等を除外して、例えば路面等の重要度が相対的に高い情報を含む領域のみを、赤外画像に重畳させることができ、重畳画像の視認性を向上させることができる。

さらに、可視画像上から抽出した道路領域を赤外画像に重畳させることにより、例えば赤外画像上において表示される歩行者等の物体が存在する領域周辺の情報を適切に表示することができ、重畳画像の視認性を向上させることができる。

さらに、領域設定手段にて設定された設定領域と設定領域以外の領域との境界、つまり赤外画像に重畳される領域と重畳されない領域との境界において、例えば輝度等に対してグラデーション処理を行うことで、可視画像上において重畳に適さない不必要な情報（例えば、路面の上端よりも上方の領域や他車両のヘッドライトや街灯等）が過剰に表示されることを防止しつつ、重畳画像上に不必要な境界線が表示されることで車両の乗員が重畳画像に違和感を感じてしまうことを防止することができる。

以下、本発明の一実施形態に係る表示装置について添付図面を参照しながら説明する。
本実施の形態による表示装置１０は、例えば図１に示すように、可視外界センサ１１と、赤外外界センサ１２と、処理装置１３と、表示部１４と、入力装置１５を備えて構成されている。
さらに、処理装置１３は、例えば消失点検知部２１と、道路領域抽出部２２と、重畳領域設定部２３と、重畳画像生成部２４とを備えて構成されている。

可視外界センサ１１は、例えば可視光領域にて撮像可能な可視カメラ１１ａおよび画像処理部１１ｂとを備えて構成されている。
また、赤外外界センサ１２は、例えば赤外線領域にて撮像可能な赤外カメラ１２ａおよび画像処理部１２ｂとを備えて構成され、赤外カメラ１２ａは可視カメラ１１ａにて撮像する領域の少なくとも一部を含む領域を撮像する。
そして、各画像処理部１１ｂ，１２ｂは、各カメラ１１ａ，１２ａにより撮影して得た自車両の進行方向の外界の各画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる各画像のデータを生成して処理装置１３へ出力する。

処理装置１３の消失点検知部２１は、例えば図２（ａ）に示すように、可視外界センサ１１から出力される可視画像のデータに基づき、例えば自車両の走行路上の走行区分線等の複数の直線を検出し、これらの直線同士の交点から消失点を検知する。
道路領域抽出部２２は、例えば図３（ａ）に示すように、可視外界センサ１１から出力される可視画像のデータに基づき、例えば適宜の認識処理等により自車両の走行路の道路領域（つまり路面）を抽出する。

重畳領域設定部２３は、消失点検知部２１から出力される可視画像上の消失点、あるいは、道路領域抽出部２２から出力される可視画像上の道路領域、あるいは、入力装置１５を介して操作者から入力される入力指示に応じて、赤外画像に重畳させる可視画像中の重畳領域を設定する。
例えば図２（ａ），（ｂ）に示すように、重畳領域設定部２３は、消失点検知部２１から出力される可視画像上の消失点を含む直線（例えば、水平線等）を、重畳領域と、この重畳領域以外の領域との境界線（重畳境界線）として設定する。
また、例えば図３（ａ），（ｂ）に示すように、重畳領域設定部２３は、道路領域抽出部２２から出力される可視画像上の道路領域の上端を、重畳領域と、この重畳領域以外の領域との境界線（重畳境界線）として設定する。
また、例えば図４（ａ），（ｂ）に示すように、重畳領域設定部２３は、入力装置１５を介して操作者から入力される入力指示に応じた可視画像上の直線を、重畳領域と、この重畳領域以外の領域との境界線（重畳境界線）として設定する。

重畳画像生成部２４は、赤外外界センサ１２から出力される赤外画像と、可視外界センサ１１から出力される可視画像とを重畳して、重畳画像を生成する。
重畳画像生成部２４は、重畳画像を生成する際に、可視画像上の重畳領域のみを赤外画像に重畳するようにして、例えば図２（ｂ），図３（ｂ），図４（ｂ）に示すように、可視画像上の重畳領域以外の領域、例えば重畳境界線と可視画像の上端との間の領域の輝度をゼロとする。
さらに、重畳画像生成部２４は、グラデーション処理として、赤外画像に重畳する可視画像上の重畳領域に対して、例えば下記数式（１）に示す減衰率ｇ（ｙ）に応じた輝度を設定し、重畳領域の下端から鉛直方向上方に重畳境界線位置ｙ_ｂへと向かうことに伴い、重畳領域の輝度がゼロに向かい低下傾向に変化するように設定する。
なお、下記数式（１）において、減衰率ｇ（ｙ）は、重畳境界線位置ｙ_ｂと、鉛直方向座標ｙと、所定係数ａ（例えば、ａ＝０．０５）とに基づき記述されている。

そして、重畳画像生成部２４は、生成した重畳画像を、モニター等からなる表示部１４に出力する。

本実施の形態による表示装置１０は上記構成を備えており、次に、この表示装置１０の動作について説明する。

先ず、図５に示すステップＳ０１においては、自車両の進行方向前方の外界領域の可視画像および赤外画像を取得する。
次に、ステップＳ０２においては、可視画像上で重畳領域の重畳境界線を設定する。
次に、ステップＳ０３においては、可視画像上で重畳領域以外の領域の輝度をゼロに設定する。
次に、ステップＳ０４においては、可視画像上で重畳領域に対してグラデーション処理を行う。
次に、ステップＳ０５においては、赤外画像と可視画像とを重畳して重畳画像を生成し、重畳画像を表示部１４により表示し、一連の処理を終了する。

上述したように、本実施の形態による表示装置１０によれば、消失点検知部２１から出力される可視画像上の消失点、あるいは、道路領域抽出部２２から出力される可視画像上の道路領域、あるいは、入力装置１５を介して操作者から入力される入力指示に応じて設定した可視画像中の重畳領域と、赤外画像とを重畳させることから、可視画像上において重畳に適さない不必要な情報を含む領域、例えば他車両のヘッドライトや街灯等の光源により輝度が過剰に高い領域等を除外して、例えば路面等の重要度が相対的に高い情報を含む領域のみを、赤外画像に重畳させることができ、重畳画像の視認性を向上させることができる。
例えば図６（ａ）に示す実施例での重畳画像、つまり可視画像上の重畳境界線位置ｙ_ｂよりも鉛直方向下方の重畳領域のみを赤外画像に重畳して得た重畳画像では、例えば図６（ｂ）に示す比較例での重畳画像のように、可視画像全体（つまり、重畳領域に加えて、重畳領域以外の非重畳領域）を赤外画像に重畳して得た重畳画像に比べて、対向車両のヘッドライトや街灯等の輝度が過剰に高い領域が除外されることから、赤外画像上において表示される歩行者等の物体に対する視認性を向上させることができる。

しかも、グラデーション処理によって重畳領域の輝度は徐々に変化するように設定されていることから、重畳領域と、重畳領域以外の非重畳領域との境界において、例えば重畳画像上に境界線が現れる等の違和感が生じることを防止することができる。
例えば図７（ａ）に示す実施例での重畳画像、つまり重畳領域の下端から鉛直方向上方に重畳境界線位置ｙ_ｂへと向かうことに伴い、可視画像の輝度の減衰率がゼロから１００％に向かい増大傾向に変化（つまり、可視画像の輝度がゼロに向かい減少傾向に変化）する重畳画像では、例えば図７（ｂ）に示す比較例での重畳画像のように、重畳領域全体に亘って輝度の減衰率がゼロとなる重畳画像に比べて、可視画像上の重畳境界線位置ｙ_ｂにおいて輝度がステップ状に変化することに起因して、重畳画像の上の重畳境界線位置ｙ_ｂに不必要な境界線が現れることが防止される。

本発明の実施の形態に係る表示装置の構成図である。図２（ａ）は本発明の実施の形態に係る可視画像上の重畳境界線の一例を示す図であり、図２（ｂ）は本発明の実施の形態に係る可視画像の輝度と輝度の減衰率の一例を示す図である。図３（ａ）は本発明の実施の形態に係る可視画像上の重畳境界線の一例を示す図であり、図３（ｂ）は本発明の実施の形態に係る可視画像の輝度と輝度の減衰率の一例を示す図である。図４（ａ）は本発明の実施の形態に係る可視画像上の重畳境界線の一例を示す図であり、図４（ｂ）は本発明の実施の形態に係る可視画像の輝度と輝度の減衰率の一例を示す図である。本発明の実施の形態に係る表示装置の動作を示すフローチャートである。本発明の実施の形態に係る実施例および比較例での重畳画像の一例を示す図である。本発明の実施の形態に係る実施例および比較例での重畳画像の一例を示す図である。

符号の説明

１０表示装置
１１ａ可視カメラ（可視撮像手段）
１２ａ赤外カメラ（赤外撮像手段）
１４表示部（表示手段）
１５入力装置（操作者設定手段）
２２道路領域抽出部（道路領域抽出手段）
２３重畳領域設定部（領域設定手段、操作者設定手段）
２４重畳画像生成部（重畳手段）

Claims

可視画像を撮像する可視撮像手段と、
前記可視撮像手段にて撮像する領域の少なくとも一部を含む領域の赤外画像を撮像する赤外撮像手段と、
前記可視撮像手段によって撮像された可視画像と前記赤外撮像手段によって撮像された赤外画像とを重畳させる重畳手段と、
前記重畳手段にて重畳させた画像を表示する表示手段と、
前記重畳手段にて前記赤外画像に重畳させる前記可視画像中の設定領域を設定する領域設定手段とを備え、
前記重畳手段は、前記領域設定手段にて設定された前記設定領域と、前記赤外画像とを重畳させる際に、前記可視画像中で前記赤外画像が重畳される前記設定領域以外の輝度をゼロとし、
前記領域設定手段は、前記可視画像中の道路領域を抽出する道路領域抽出手段を備え、
前記重畳手段は、前記道路領域抽出手段にて抽出された前記道路領域と、前記赤外画像とを重畳させ、
前記重畳手段は、前記領域設定手段にて設定された前記設定領域と、前記設定領域以外の領域との境界においてグラデーション処理をして、前記設定領域と前記赤外画像とを重畳させ、前記設定領域の下端から鉛直方向上方に向かうほど輝度が低下するように設定することを特徴とする表示装置。