JP7199562B2 - 画像表示装置、表示制御装置、及び表示制御方法、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、画像表示装置、表示制御装置、及び表示制御方法に関する。本発明は特に、車両内に搭載された画像表示部に表示される画像の視認性の向上に関する。本発明はまた、プログラム及び記録媒体に関する。

近年、バックミラー、サイドミラーとして用いられる物理鏡の代わりとして、電子ミラー装置が提案されている。電子ミラー装置は、車両の後方等に向けられたカメラでの撮像で得られた画像を表示装置で表示するものである。

そのような表示装置においては、表示の輝度をどのように調整するかが一つの課題である。
例えば特許文献１には、ドライバモニタリングシステム（ＤＭＳ）で得られた運転者の画像から、運転者の瞳孔径を取得し、取得した瞳孔径と予め記憶された径との差に基づいて表示の輝度を制御する技術が提案されている。

特開２０１８－４３７２４号公報

特許文献１の技術では、表示の輝度が適切に制御されない場合がある。例えば、昼間など照度が高い環境下で運転者が車両内の表示画面を見ている場合、運転者の目に外光が入って、眩しく感じる場合がある。同様に夜間での運転中に、対向車のライト等が運転者の目に入って、眩しく感じる場合がある。このような場合、特許文献１の教示に従って表示の輝度を下げると、表示画像の視認性が低下してしまう。

以上、画像表示装置により、車両の周辺の画像が表示される場合について述べたが、車両の周辺の画像以外の画像、例えばカーナビゲーション装置から供給される画像が表示される場合にも同様の問題がある。

本発明の目的は、運転者の目に外光が入って眩しいと感じる場合にも、表示画像の視認性を高め得るようにすることである。

本発明の一つの態様の画像表示装置は、
車両内に搭載され、画像を表示する画像表示部と、
前記車両の運転者を撮像する運転者撮像部と、
前記運転者撮像部での撮像で得られた画像から、前記運転者の画像を取得し、前記運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているか否かを判定し、前記運転者の画像から前記運転者が感じている眩しさを検出し、前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定する表示制御装置とを備え、
前記画像表示部は、前記表示制御装置で決定された輝度レベルで、画像を表示する。
本発明の他の態様の画像表示装置は、
車両内に搭載され、画像を表示する画像表示部と、
前記車両の運転者を撮像する運転者撮像部と、
前記運転者撮像部で得た前記運転者の画像から検出される前記運転者の視線の情報を用いて判定される、前記運転者が前記画像表示部又は前記画像表示部の外部のいずれを見ているかの情報、並びに、前記運転者の画像から検出される、前記運転者が感じている眩しさの情報、に基づいて、前記画像表示部における表示画像の輝度レベルを決定する表示制御装置とを備え、
前記画像表示部は、前記表示制御装置で決定された輝度レベルで、画像を表示する。

本発明の表示制御装置は、
車両内に搭載され、画像を表示する画像表示部における表示画像の輝度を調整する表示制御装置において、
撮像で得られた運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているかを判定する視線検出部と、
前記運転者の画像から前記運転者が感じている眩しさを検出する眩しさ検出部と、
前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定する輝度制御部と
を備え、
前記画像表示部に、前記輝度制御部で決定された輝度レベルで、画像を表示させる。

本発明によれば、運転者の目に外光が入って眩しいと感じる場合にも、表示画像の視認性を高めることができる。

本発明の実施の形態１に係る画像表示装置の構成を示すブロック図である。 図１の画像表示部の構成例を示すブロック図である。 図１の眩しさ検出部の構成例を示すブロック図である。 （ａ）及び（ｂ）は、瞳孔径の変化を示す図である。 実施の形態１における輝度レベル調整の規則の組の一例を示す表である。 比較例における、輝度レベル調整の規則の組を示す表である。 眩しさ検出部の他の構成例を示すブロック図である。 眩しさ検出部のさらに他の構成例を示すブロック図である。 実施の形態１の表示制御装置の機能を実現するコンピュータを、画像表示部、周辺撮像部、及び運転者撮像部とともに示すブロック図である。 図１の表示制御装置がコンピュータで構成される場合の、プロセッサによる処理の手順を示すフローチャートである。 本発明の実施の形態２に係る画像表示装置の構成を示すブロック図である。 図１１の制限値決定部で決定される上限値及び下限値の例を示す図である。 図１１の表示制御装置がコンピュータで構成される場合の、プロセッサによる処理の手順を示すフローチャートである。 本発明の実施の形態３に係る画像表示装置の構成を示すブロック図である。 図１４の表示制御装置がコンピュータで構成される場合の、プロセッサによる処理の手順を示すフローチャートである。 本発明の実施の形態４で用いられる画像表示部の構成例を示すブロック図である。 本発明の実施の形態５で適用される輝度レベル調整の規則の組の例を示す表である。 本発明の実施の形態６で適用される輝度レベル調整の規則の組の例を示す表である。

実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置の構成を示す図である。
図示の画像表示装置は、画像表示部２と、周辺撮像部３と、運転者撮像部４と、表示制御装置５とを有する。

画像表示部２は、車両内に搭載されており、運転者が表示画面を見るのに適した位置に配置されている。運転者は運転席に座っている人である。
以下、画像表示部２が搭載された車両を自車両と言うことがある。
画像表示部２は、例えば図２に示されるように、表示パネル２１及びバックライト２２を有する。表示パネル２１は、例えば透過型の表示パネル、例えば透過型のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネルで構成されている。バックライト２２は、表示パネル２１の背面側に設けられている。

周辺撮像部３は、例えば１以上のカメラを含み、自車両の周辺を撮像して、撮像で得られた画像Ｅａを出力する。

運転者撮像部４は、例えば１以上のカメラを含み、運転者を撮像して、撮像で得られた画像Ｄａを出力する。

表示制御装置５は、周辺撮像部３から出力される画像Ｅａを受け、該画像又はこれを処理することで得られる画像を画像表示部２に表示させる。
表示制御装置５は、運転者撮像部４から出力される画像Ｄａに基づいて、運転者が感じている眩しさを検出するとともに、運転者が画像表示部２を見ているか、画像表示部２の外部を見ているかを判定し、上記の検出の結果及び上記の判定の結果に基づいて輝度レベルを決定し、画像表示部２で表示される画像の輝度レベルを制御する。

表示制御装置５は、周辺画像取得部１１、運転者画像取得部１２、視線検出部１３、眩しさ検出部１４、及び輝度制御部１５を備える。

周辺画像取得部１１は、周辺撮像部３から出力される画像Ｅａを受け、自車両の周辺の状況を表す画像（周辺画像）Ｅｂを取得し、出力する。
周辺撮像部３が１個のカメラで構成される場合、周辺画像取得部１１は、該カメラでの撮像で得られた画像をそのまま周辺画像Ｅｂとして出力しても良く、該カメラでの撮像で得られた画像の一部を切り出して、周辺画像Ｅｂとして出力しても良い。

周辺撮像部３が２以上のカメラで構成される場合、周辺画像取得部１１は、２以上のカメラのいずれかでの撮像で得られた画像を選択し、選択した画像をそのまま周辺画像Ｅｂとして出力しても良く、選択した画像の一部を切り出して周辺画像Ｅｂとして出力しても良い。また、周辺画像取得部１１は、２以上のカメラでの撮像で得られた画像に基づいて合成画像を生成して、生成した合成画像を周辺画像Ｅｂとして出力しても良い。

周辺画像取得部１１は、自車両の固定された方向の画像を、周辺画像Ｅｂとして出力しても良い。代わりに、自車両の運転状況に応じて異なる方向の画像を周辺画像Ｅｂとして出力しても良い。例えば、右折を行うとき、左折を行うとき、車線を変更するとき、後進するときなど、各々の場合に運転における必要性の程度の高い方向の画像を周辺画像Ｅｂとして出力することとしても良い。

画像表示部２は周辺画像取得部１１から出力される周辺画像Ｅｂを表示パネル２１に表示する。

運転者画像取得部１２は、運転者撮像部４から出力される画像Ｄａを受け、運転者の画像（運転者画像）Ｄｂを取得し、出力する。運転者画像Ｄｂは、運転者の顔を含む画像である。
運転者撮像部４が１個のカメラで構成される場合、運転者画像取得部１２は、該カメラでの撮像で得られた画像をそのまま運転者画像Ｄｂとして出力しても良く、該カメラでの撮像で得られた画像の一部を切り出して、運転者画像Ｄｂとして出力しても良い。
例えば、カメラでの撮像で得られる画像は、運転者のみならず、運転者の周囲をも含むものであり、そのような画像の一部を切り出すことで得られた画像を運転者画像Ｄｂとして出力しても良い。

運転者撮像部４が２以上のカメラで構成される場合、運転者画像取得部１２は、２以上のカメラのいずれかでの撮像で得られた画像を選択し、選択した画像をそのまま運転者画像Ｄｂとして出力しても良く、選択した画像の一部を切り出して運転者画像Ｄｂとして出力しても良い。また、２以上のカメラを用い、運転者を異なる方向から撮像することで得られた、２以上の画像を、それぞれ運転者画像Ｄｂとして出力しても良く、そのような２以上の画像を合成することで得られる画像を運転者画像Ｄｂとして出力しても良い。

視線検出部１３は、運転者画像取得部１２から出力される運転者画像Ｄｂから視線を検出する。視線の検出は、視点の位置の検出及び視線の方向の検出を含む。
視線検出部１３は運転者の顔の向きと運転者の左右の目の瞳孔の位置とから視線を算出しても良い。

視線検出部１３はさらに、上記の視線検出の結果と、図示しない内部のメモリに予め記憶されている画像表示部２の位置を示す情報ＰＬとから、運転者が画像表示部２を見ているか、画像表示部２の外部を見ているかを判定し、判定結果を示す情報（視線判定情報）ＬＳを出力する。

画像表示部２を見ているか、画像表示部２の外部を見ているかの判定においては、画像表示部２の特定の部分、例えば表示画面の中央部を見ている時に限り、画像表示部２を見ていると判定しても良いし、画像表示部２より少し広い範囲内のいずれかの点を見ている時も画像表示部２を見ていると判定しても良い。

画像表示部２の外部を見ているとの判定を行なうに当たっては、運転者が画像表示部２の外部の特定の方向を見ているとき、例えば運転者が前方を見ている時のみ、「画像表示部２の外部を見ている」と判定しても良い。また、「画像表示部２を見ている時」に該当しない場合は全て「画像表示部２の外部を見ている」と判定しても良い。後者の場合、「画像表示部２の外部を見ている時」には、視点が定まらず格別どこも見ていない時が含まれる。

眩しさ検出部１４は、運転者画像取得部１２から出力される運転者画像Ｄｂから運転者が感じている眩しさレベルを検出し、検出した眩しさレベルを示す情報（眩しさ情報）ＧＺを出力する。

眩しさ検出部１４は、例えば、図３に示すように、瞳孔径情報取得部４１、表情筋情報取得部４２、及び眩しさ算出部４３を有する。

瞳孔径情報取得部４１は、瞳孔径Ｄｐを測定し、測定された瞳孔径Ｄｐを示す情報（瞳孔径情報）を取得し、出力する。
表情筋情報取得部４２は、運転者の顔の画像から表情筋の特徴量Ｆｍを検出し、検出された特徴量Ｆｍを示す情報（表情筋情報）を取得し、出力する。
眩しさ算出部４３は、瞳孔径情報取得部４１から出力される瞳孔径情報で表される瞳孔径Ｄｐと、表情筋情報取得部４２から出力される表情筋情報で表される特徴量Ｆｍとから、運転者にとっての眩しさを算出する。

図４（ａ）及び（ｂ）は、人の目の瞳孔ＰＰ及びその周囲の虹彩ＩＲを示す。一般的に網膜に投射する光量を調節するために、虹彩ＩＲの伸縮により瞳孔ＰＰの大きさが変えられる。瞳孔径Ｄｐは、眩しい状況では図４（ａ）に示すように小さくなり、暗い場所では図４（ｂ）に示すように大きくなる。
瞳孔径情報取得部４１は運転者の顔の画像の目の領域から瞳孔径Ｄｐを測定し、測定結果を眩しさ算出部４３へ出力する。

また、眩しさに応じて目を細めると、目の周辺を含む顔の表情筋の状態も変化する。表情筋情報取得部４２は運転者の顔の画像から表情筋の特徴量Ｆｍを検出し、検出結果を眩しさ算出部４３へ出力する。ここで言う表情筋の特徴量Ｆｍは、眩しさのために目を細める際の表情筋の状態の変化によって大きくなる量であり、各時点における表情筋の状態を表す量であっても良く、時間の経過に伴う変化に基づいて算出される量、例えば、上記の変化の量を積算することで求められる量であっても良い。

眩しさ算出部４３では瞳孔径Ｄｐと表情筋の特徴量Ｆｍとから眩しさレベルを算出し、算出した眩しさレベルを示す情報（眩しさ情報）ＧＺを出力する。
例えば、瞳孔径Ｄｐが小さいほど眩しさの程度は大きく、瞳孔径Ｄｐが大きければ眩しさの程度は小さいと判定する。また、表情筋の特徴量Ｆｍが大きいほど眩しさの程度が大きいと判定する。眩しさ算出部４３は、これらの判定結果を統合して、眩しさを判定する。
例えば、眩しさが大きさに応じて、眩しさレベルが「高」、「中」、「低」のいずれであるかを判定する。

眩しさレベルは、「高」、「中」、「低」の３段階としたが段階の数は２であっても良く３より多くても良い。例えば、１０段階程度であっても良い。

輝度制御部１５は、視線検出部１３から出力される視線判定情報ＬＳと、眩しさ検出部１４から出力される眩しさ情報ＧＺとに基づいて、画像表示部２における表示画像の輝度レベルを決定する。

表示画像の輝度レベルは、視線判定情報ＬＳ及び眩しさ情報ＧＺ以外の要因（以下、「他の要因」と言い、符号ＦＣで示す。）をも考慮して決定される。例えば、ユーザによる明るさの設定を表す信号、画像表示部２に入力される画像の明るさに基づく信号にも基づいて定められる。
視線判定情報ＬＳ及び眩しさ情報に基づく輝度レベルの決定は、他の要因ＦＣに基づいて決定された輝度レベルに対する調整乃至変更として行われる。

輝度レベルの決定は、例えばバックライト２２の発光輝度の決定により行われる。
表示画像の各画素の輝度は、バックライト２２の発光輝度と、表示パネル２１の各画素の駆動に用いられる信号の値（画素値）とによって決まる。

表示画像の輝度レベルの調整は以下のように行われる。
輝度制御部１５は、各時点で、視線判定情報ＬＳに基づいて、各時点で運転者が画像表示部２を見ているか画像表示部２の外部を見ているかの判断をする。
輝度制御部１５は、図示しない内部のメモリに、画像表示部２を見ている時の眩しさレベルと、画像表示部２の外部を見ている時の眩しさレベルとを格納する。
格納されている眩しさレベルは、眩しさレベルを表すデータが新たに取得されると更新される。データの取得は、処理周期毎に行われる。

例えば、「運転者が画像表示部２を見ている」と判断された時に検出された眩しさレベルは、「画像表示部２を見ている時の眩しさレベル」として格納される。同様に、「運転者が画像表示部２の外部を見ている」と判断された時に検出された眩しさレベルは、「画像表示部２の外部を見ている時の眩しさレベル」として格納される。

輝度制御部１５は、現時点において、運転者が画像表示部２を見ているか画像表示部２の外部を見ているかの判定結果と、画像表示部２を見ている時の眩しさレベルと、画像表示部２の外部を見ている時の眩しさレベルとから、輝度レベルの調整を行う必要があるか否か、及び調整を行う場合には調整をどのように行うかを決定する。

現時点で運転者が画像表示部２を見ている場合、「画像表示部２を見ている時の眩しさレベル」は、現時点での眩しさ検出部１４にて検出されている眩しさのレベルを意味し、「画像表示部２の外部を見ている時の眩しさレベル」は、輝度制御部１５内に格納されている、現時点より前の、「画像表示部２の外部を見ていた時の眩しさのレベル」を意味する。

現時点で運転者が画像表示部２の外部を見ている場合、「画像表示部２の外部を見ている時の眩しさレベル」は、現時点で眩しさ検出部１４で検出されている眩しさのレベルを意味し、「画像表示部２を見ている時の眩しさレベル」は、輝度制御部１５内に格納されている、現時点より前の、「画像表示部２を見ていた時眩しさのレベル」を意味する。

調整をどのように行うかには、調整の程度が含まれる。
調整の程度は、調整の幅、或いは調整に用いる係数を意味する。
調整の幅が用いられる場合、他の要因ＦＣで決定されている輝度レベルに対して、調整の幅が加算又は減算される。輝度レベルを上昇させる場合には、調整の幅が加算され、輝度レベルを低下させる場合には、調整の幅が減算される。上昇させる場合の調整の幅と低下させる場合の調整の幅とが互いに異なっていても良い。
調整の係数が用いられる場合、他の要因ＦＣで決定されている輝度レベルに対して、調整の係数が乗算される。輝度レベルを上昇させる場合には、１より大きい係数が用いられ、輝度レベルを低下させる場合には、１より小さい係数が用いられる。

本実施の形態では、調整の程度は一定であり、予め定められており、輝度レベルの調整に関する決定においては、輝度レベルを上昇させるべきか、低下させるべきか、或いは維持すべきか、の決定が行われる。

輝度レベルの調整に関する決定は、例えば図５に示される規則の組に従って行われる。図５に示される規則の組に含まれる規則は以下の通りである。

（ａ） 現時点で運転者が画像表示部２を見ている場合には以下のように処理する。
（ａ１１） 画像表示部２の外部を見ている時の眩しさレベルが「高」、画像表示部２を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを上昇させる。
（ａ１２） 画像表示部２の外部を見ている時の眩しさレベルが「高」、画像表示部２を見ている時の眩しさレベルが「中」の場合、表示画像の輝度レベルを維持する。
（ａ１３） 画像表示部２の外部を見ている時の眩しさレベルが「高」、画像表示部２を見ている時の眩しさレベルが「低」の場合、表示画像の輝度レベルを上昇させる。
（ａ２１） 画像表示部２の外部を見ている時の眩しさレベルが「中」、画像表示部２を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させる。
（ａ２２） 画像表示部２の外部を見ている時の眩しさレベルが「中」、画像表示部２を見ている時の眩しさレベルが「中」の場合、表示画像の輝度レベルを維持する。
（ａ２３） 画像表示部２の外部を見ている時の眩しさレベルが「中」、画像表示部２を見ている時の眩しさレベルが「低」の場合、表示画像の輝度レベルを上昇させる。
（ａ３１） 画像表示部２の外部を見ている時の眩しさレベルが「低」、画像表示部２を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させる。
（ａ３２） 画像表示部２の外部を見ている時の眩しさレベルが「低」、画像表示部２を見ている時の眩しさレベルが「中」の場合、表示画像の輝度レベルを維持する。
（ａ３３） 画像表示部２の外部を見ている時の眩しさレベルが「低」、画像表示部２を見ている時の眩しさレベルが「低」の場合、表示画像の輝度レベルを上昇させる。
（ｂ） 現時点で運転者が画像表示部２の外部を見ている場合、画像表示部２を見ている時の眩しさレベルと画像表示部２の外部を見ている時の眩しさレベルに関わらず表示画像の輝度レベルを維持する。

輝度制御部１５は、上記の規則の組に従って輝度レベルの調整を行い、調整後の輝度レベルを示す輝度制御信号ＢＡを出力する。

画像表示部２は輝度制御部１５からの輝度制御信号ＢＡに応じてバックライト２２の輝度を制御する。
輝度制御信号ＢＡで指示される輝度レベルは、画像表示部２の眩しさと外光の眩しさの両方に基づいて調整されたものであるので、画像表示部２における表示画像は、画像表示部２の眩しさ及び外光の眩しさの如何を問わず、視認性が高いものとなる。

ここで画像表示部２の外光の眩しさレベルを考慮しない構成（比較例）の動作を説明する。図６は比較例における輝度レベル調整の規則の組を示す。図６に示される例では、現時点で運転者が画像表示部２を見ている場合、眩しさレベルが「高」の時には輝度レベルを低下させ、眩しさレベルが「中」の時には輝度レベルを維持し、眩しさレベルが「低」の時には輝度レベルを上昇させる。

例えば、画像表示部２を見ていても、運転者が外光の影響を強く受けてしまうことがある。例えば夏の晴れた日の昼などは非常に照度が高くて、画像表示部２を見ていても運転者の目に外光が多く入る。また、前方の車両からの反射光、夜の対向車のハイビーム、夕方の夕日など、画像表示部２を見ていても運転者の目に外光が多く入る場合がある。このような状況では外光の影響で画像表示部２の視認性が低下する。この場合、比較例では、画像表示部２を見ている時の眩しさレベルは「高」となるため、輝度レベルを低下させることになり、その結果視認性がさらに低くなる。

これに対し、図５に示される規則の組に従って行われる調整では、外光による眩しさレベルが高い場合には、表示画像の輝度レベルを上昇させる。その結果、表示画像の視認性を高くすることができる。

なお、図３の眩しさ検出部１４は、瞳孔径情報取得部４１と表情筋情報取得部４２とを備えているが、これらのうちの一方のみを備える眩しさ検出部を用いても良い。即ち、図７のように、瞳孔径情報取得部４１と眩しさ算出部４３ｂとを備える眩しさ検出部１４ｂを用いても良く、図８のように、表情筋情報取得部４２と眩しさ算出部４３ｃとを備える眩しさ検出部１４ｃを用いても良い。図７の眩しさ算出部４３ｂは、瞳孔径情報取得部４１から出力される瞳孔径Ｄｐに基づいて眩しさ判定を行なう。図８の眩しさ算出部４３ｃは、表情筋情報取得部４２から出力される特徴量Ｆｍに基づいて眩しさ判定を行なう。

要するには、眩しさ検出部は、瞳孔径の測定結果及び表情筋の特徴量の検出結果の少なくとも一方に基づいて、眩しさを検出するものであれば良い。

図１の表示制御装置５は、その一部又は全部を処理回路で構成し得る。
例えば、表示制御装置５の各部分の機能をそれぞれ別個の処理回路で実現しても良いし、複数の部分の機能を纏めて１つの処理回路で実現しても良い。
処理回路はハードウェアで構成されていても良く、ソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
表示制御装置５の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。

図９は、表示制御装置５の全ての機能を実現するコンピュータ９を、画像表示部２、周辺撮像部３、及び運転者撮像部４とともに示す。
図示の例ではコンピュータ９は、プロセッサ９１及びメモリ９２を有する。
メモリ９２には、表示制御装置５の各部の機能を実現するためのプログラムが記憶されている。

プロセッサ９１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を用いたものである。

メモリ９２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。

プロセッサ９１は、メモリ９２に記憶されているプログラムを実行することにより、表示制御装置５の機能を実現する。
表示制御装置５の機能には、画像表示部２における表示の制御（表示パネル２１への信号の供給及びバックライト２２の発光輝度の制御）が含まれる。

図９のコンピュータは単一のプロセッサを含むが、２以上のプロセッサを含んでいても良い。

上記した表示制御装置５が図９のコンピュータで構成されている場合の、プロセッサ９１による処理の手順を図１０を参照して説明する。図１０の処理は処理周期毎に行われる。

ステップＳＴ１では、周辺画像Ｅｂの取得及び出力が行われる。この処理は、図１の周辺画像取得部１１における処理と同様である。
出力された周辺画像Ｅｂは、画像表示部２に供給され、画像表示部２で表示される。

ステップＳＴ３では、運転者画像の取得及び出力が行われる。この処理は、図１の運転者画像取得部１２における処理と同様である。
ステップＳＴ４では、視線検出が行われる。この処理は、図１の視線検出部１３における処理と同様である。
ステップＳＴ５では、眩しさ検出が行われる。この処理は、図１の眩しさ検出部１４、図７の眩しさ検出部１４ｂ又は図８の眩しさ検出部１４ｃにおける処理と同様である。
ステップＳＴ６では輝度の制御が行われる。この処理は、図１の輝度制御部１５における処理と同様である。

なお、ステップＳＴ１と、ステップＳＴ３～ＳＴ６とは異なる処理周期で実行されても良い。

実施の形態１によれば、運転者の目に外光が入って眩しく感じる場合にも、表示画像の輝度レベルを適切に制御することができ、表示画像の視認性が向上する。

実施の形態２．
図１１は、本発明の実施の形態２に係る画像表示装置の構成を示す図である。
実施の形態２に係る画像表示装置は、図１に示される実施の形態１の画像表示装置と概して同じである。但し、照度検出部６が付加されており、表示制御装置５の代わりに、表示制御装置５ｂを備える。
表示制御装置５ｂは、図１の表示制御装置５と概して同じであるが、照度取得部１６及び制限値決定部１７が付加されており、図１の輝度制御部１５の代わりに輝度制御部１５ｂを備える。

照度検出部６は、自車両内の画像表示部２の周辺又は運転者の周辺の照度を検出し、検出信号Ｌａを出力する。例えば、照度検出部６は、画像表示部２と同じ筐体内に設けられていても良い。以下では、運転者の周辺の照度を検出するものとする。

照度取得部１６は、照度検出部６からの検出信号Ｌａを受けて、照度を示すデータ（照度データ）Ｌｂを取得し、出力する。
制限値決定部１７は、照度取得部１６から出力される照度データＬｂに基づいて、上限値ＣＵ及び下限値ＣＬを決定する。

図１２は制限値決定部１７で決定される上限値ＣＵ及び下限値ＣＬの一例を示す図である。制限値決定部１７は、図示しない内部のメモリに、照度と上限値及び下限値との関係を示すテーブル（制限値テーブル）を予め格納しており、入力の照度から上限値ＣＵ及び下限値ＣＬを決定し、輝度制御部１５ｂへ出力する。

制限値テーブルは、検出される照度が取り得る値の各々に対して、上限値ＣＵ及び下限値ＣＬを持つものであっても良いが、これに限定されない。即ち、照度の値に対し、離散的に上限値及び下限値を持ち、上限値及び下限値を持たない照度については、補間によって対応する上限値及び下限値を求めても良い。この補間は、例えば、上限値及び下限値を持つ照度の値（テーブル点）に対応する上限値及び下限値を用いて行うことができる。

輝度制御部１５ｂは、視線検出部１３から出力される視線判定情報ＬＳと、眩しさ検出部１４から出力される眩しさ情報ＧＺと、上記の他の要因ＦＣと、制限値決定部１７からの上限値ＣＵ及び下限値ＣＬとに基づいて、画像表示部２における表示画像の輝度レベルを決定する。具体的には、バックライトの発光輝度を決定する。
視線判定情報ＬＳ、眩しさ情報ＧＺ、及び他の要因ＦＣに基づく輝度レベルの決定は、実施の形態１で述べたのと同様に行われる。

輝度制御部１５ｂは、視線判定情報ＬＳ、眩しさ情報ＧＺ、及び他の要因ＦＣに基づいて決定される輝度レベル、即ちバックライト２２の発光輝度が、上限値ＣＵを上回る場合は上限値ＣＵを上回らないようにし、下限値ＣＬを下回る場合は下限値ＣＬを下回らないようにする。
この処理は例えばクリッピングにより行われる。即ち、上限値ＣＵを上回る値は上限値ＣＵに一致するように変更され、下限値ＣＬを下回る値は下限値ＣＬに一致するように変更される。

図１１の表示制御装置５ｂも、図１の表示制御装置５と同様に、その一部又は全部を処理回路で構成し得る。処理回路は例えば、図９と同様のコンピュータで構成されていても良い。
上記した表示制御装置５ｂが同様のコンピュータで構成されている場合の、プロセッサ９１による処理の手順を図１３を参照して説明する。

図１３に示される処理の手順は、図１０に示される処理の手順と概して同じである。
但し、ステップＳＴ１１及びＳＴ１２が付加されており、ステップＳＴ６がステップＳＴ６ｂに置き換えられている。

ステップＳＴ１１では、照度を示すデータの取得及び出力が行われる。この処理は、図１１の照度取得部１６における処理と同様である。
ステップＳＴ１２では、上限値ＣＵ及び下限値ＣＬの決定が行われる。この処理は、図１１の制限値決定部１７における処理と同様である。
ステップＳＴ６ｂでは、輝度の制御が行われる。この処理は、図１１の輝度制御部１５ｂにおける処理と同様である。

実施の形態２でも実施の形態１と同様の効果が得られる。
また、輝度制御部１５ｂが、照度に応じた上限値ＣＵ及び下限値ＣＬを決定し、表示画像の輝度レベルが上限値ＣＵを上回らず、かつ下限値ＣＬを下回らないように制御を行なうので、表示画像の輝度が過度に高くなったり、低くなったりすることを防ぐことができる。

なお、上記の例では、上限値ＣＵ及び下限値ＣＬの双方を用いるが、上限値ＣＵ及び下限値ＣＬの一方のみを用いても良い。即ち、制限値決定部１７が上限値ＣＵ及び下限値ＣＬの一方のみを決定し、表示画像の輝度レベルが上限値ＣＵを上回らないように、又は下限値ＣＬを下回らないように、輝度制御部１５ｂが制御を行なうこととしても良い。

実施の形態３．
図１４は、本発明の実施の形態３に係る画像表示装置の構成を示す図である。
実施の形態３に係る画像表示装置は、図１に示される実施の形態１の画像表示装置と概して同じである。但し、図１の周辺撮像部３が設けられておらず、代わりに画像供給源７が設けられ、表示制御装置５の代わりに表示制御装置５ｃが設けられている。
表示制御装置５ｃは、図１の表示制御装置５と概して同じであるが、周辺画像取得部１１が設けられておらず、代わりに画像受信部１８を備える。

画像供給源７は、周辺画像以外の画像Ｇａを供給する。周辺画像以外の画像は、例えば、カーナビゲーションの画像、計器を表す画像等である。ここで言う計器は、例えば車両の計器盤に含まれる計器、例えば速度計、燃料計等である。

画像受信部１８は、画像供給源７から供給された画像Ｇａを受信して、画像表示部２での表示に適した形態に変換して、変換で得られた画像Ｇｂを出力する。

画像表示部２は画像受信部１８から出力された画像Ｇｂを表示パネル２１に表示する。画像表示部２はまた、輝度制御部１５から出力された輝度制御信号ＢＡに応じてバックライト２２の輝度を制御する。従って運転者にとっての、画像表示部２の眩しさと外光の眩しさの両方に応じて、表示画像の視認性を向上させることができる。

図１４の表示制御装置５ｃも、図１の表示制御装置５と同様に、その一部又は全部を処理回路で構成し得る。処理回路は例えば、図９と同様のコンピュータで構成されていても良い。
上記した表示制御装置５ｃが同様のコンピュータで構成されている場合の、プロセッサ９１による処理の手順を図１５を参照して説明する。

図１５に示される処理の手順は、図１０に示される処理の手順と概して同じである。
但し、図１０のステップＳＴ１が設けられておらず、代わりにステップＳＴ２１が設けられている。
ステップＳＴ２１では、画像Ｇａの受信及び変換、並びに変換後の画像Ｇｂの出力が行われる。この処理は、図１４の画像受信部１８における処理と同様である。

実施の形態３では、周辺画像以外の画像が画像表示部２に表示される場合にも、実施の形態１と同様の効果が得られる。

実施の形態４．
実施の形態１～３では、図２に示される画像表示部２が用いられている。代わりに、図１６に示される画像表示部２ｂを用いても良い。
図１６に示される画像表示部２ｂは、自発光表示パネル２３及びゲイン乗算部２４を有する。自発光表示パネル２３は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルで構成されている。

ゲイン乗算部２４は、輝度制御信号ＢＡに応じてゲインを決定し、決定したゲインを画像Ｅｂ又はＧｂを表す画像データに乗算する。輝度レベルを上昇させるときは、より大きいゲインが用いられ、輝度レベルを低下させるときは、より小さいゲインが用いられる。
自発光表示パネル２３は、ゲイン乗算部２４における乗算の結果得られた画像データに基づき、画像の表示を行う。

このように、画像表示部２ｂは、輝度制御信号ＢＡに応じてゲインを決定することで、表示画像の輝度レベルを制御する。
実施の形態４でも、実施の形態１～３と同様の効果が得られる。

実施の形態５．
輝度制御部１５又は１５ｂにおける輝度レベルの調整に関する規則の組について、以下のような変形が可能である。

例えば、図５を参照して説明した規則の組の代わりに図１７に示す規則の組を用いることができる。
図１７に示す規則の組は図５に示す規則の組と概して同じである。
但し、上記の規則（ａ１１）～（ａ１３）の代わりに、下記の規則（ａ１）を用いる。

（ａ１） 画像表示部２の外部を見ている時の眩しさレベルが「高」の場合、画像表示部２を見ている時の眩しさレベルに関わらず、表示画像の輝度レベルを最高にする。

実施の形態１～３のようにバックライトを備えた画像表示部２が用いられる場合、表示画像の輝度レベルを最高にする処理は、バックライト２２の発光輝度を最大にすることで行われる。
但し、実施の形態２に規則（ａ１）を適用する場合、上記の「最大」は、上限値ＣＵを意味する。クリッピングが行われるためである。

実施の形態４のように、ゲイン乗算部２４を備えた画像表示部２ｂが用いられる場合には、表示画像の輝度レベルを最高にする処理は、ゲイン乗算部２４での乗算の結果得られる画像データの最大階調値が、表示パネルで受付可能な値の範囲内の最大の値になるようにすることを意味する。
但し、実施の形態２に実施の形態４の変形を加えることで得られる構成に規則（ａ１）を適用する場合、上記の「最大の値」は、上限値ＣＵを意味する。クリッピングが行われるためである。

実施の形態５によれば、上記の規則（ａ１）により、画像表示部２の外部を見ている時の眩しさレベルが「高」の場合、画像表示部２を見ている時の眩しさレベルに関わらず、画像表示部２の輝度を最高にするので、運転者が外光が眩しいと感じる場合にも、表示画像の視認性を高くすることができる。

実施の形態６．
図５を参照して説明した規則の組の代わりに図１８に示す規則の組を用いることもできる。
図１８に示す規則の組は図５に示す規則の組と概して同じである。
但し、上記の規則（ａ１１）の代わりに、以下の規則（ａ１１ｂ）を用いる。
（ａ１１ｂ） 画像表示部２の外部を見ている時の眩しさレベルが「高」、画像表示部２を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させる。

実施の形態６は、運転者が画像表示部から受ける光が、外光から受ける光よりも強い場合を想定している。

実施の形態６によれば、輝度が高い画像表示部が用いられる場合、上記の規則（ａ１１ｂ）により、画像表示部２の外部を見ている時の眩しさレベルが「高」、画像表示部２を見ている時の眩しさレベルが「高」の場合、表示画像の輝度レベルを低下させるので、画像表示部２の眩しさを低減することができ、表示画像の視認性が向上する。

変形例．
本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではなく、種々の変形が可能である。
例えば、実施の形態１に関し、図１の眩しさ検出部１４の代わりに、図７の眩しさ検出部１４ｂ又は図８の眩しさ検出部１４ｃを用い得る旨述べたが、実施の形態２及び実施の形態３においても同様である。
また、実施の形態３を実施の形態１に対する変形として説明したが、実施の形態２にも同様の変形を加えることができる。

以上画像表示装置が１つの画像表示部を備える場合について説明した。２以上の画像表示部が設けられている場合には、それぞれ画像表示部に対応する２以上の表示制御装置を設け、各表示制御装置で対応する画像表示部における表示の制御を行なっても良い。この場合、周辺撮像部３、運転者撮像部４、照度検出部６、及び画像供給源７の少なくとも一部を共用しても良い。また、２以上の表示制御装置の一部を共用しても良い。例えば、運転者画像取得部１２及び眩しさ検出部１４、並びに視線検出部１３のうち視線を検出する部分を共用しても良い。また、上記の共用部分と、個々の画像表示部に対応して設けられた部分とを有する単一の表示制御装置を構成しても良い。

以上本発明の画像表示装置について説明したが、画像表示装置を構成する表示制御装置、画像表示装置で実施される画像表示方法、表示制御装置で実施される表示制御方法もまた本発明の一部を成す。さらに、上記の表示制御装置又は表示制御方法における処理をコンピュータに実行させるプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体、例えば非一時的記録媒体もまた本発明の一部を成す。

２，２ｂ 画像表示部、 ３ 周辺撮像部、 ４ 運転者撮像部、 ５，５ｂ，５ｃ 表示制御装置、 ６ 照度検出部、 ７ 画像供給源、 １１ 周辺画像取得部、 １２ 運転者画像取得部、 １３ 視線検出部、 １４，１４ｂ，１４ｃ 眩しさ検出部、 １５，１５ｂ 輝度制御部、 １６ 照度取得部、 １７ 制限値決定部、 １８ 画像受信部、 ２１ 表示パネル、 ２２ バックライト、 ２３ 自発光表示パネル、 ２４ ゲイン乗算部、 ４１ 瞳孔径情報取得部、 ４２ 表情筋情報取得部、 ４３，４３ｂ，４３ｃ 眩しさ算出部。

Claims (14)

1. 車両内に搭載され、画像を表示する画像表示部と、
   前記車両の運転者を撮像する運転者撮像部と、
   前記運転者撮像部での撮像で得られた画像から、前記運転者の画像を取得し、前記運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているか否かを判定し、前記運転者の画像から前記運転者が感じている眩しさを検出し、前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定する表示制御装置とを備え、
   前記画像表示部は、前記表示制御装置で決定された輝度レベルで、画像を表示する
   画像表示装置。
2. 車両内に搭載され、画像を表示する画像表示部と、
   前記車両の運転者を撮像する運転者撮像部と、
   前記運転者撮像部で得た前記運転者の画像から検出される前記運転者の視線の情報を用いて判定される、前記運転者が前記画像表示部又は前記画像表示部の外部のいずれを見ているかの情報、並びに、前記運転者の画像から検出される、前記運転者が感じている眩しさの情報、に基づいて、前記画像表示部における表示画像の輝度レベルを決定する表示制御装置とを備え、
   前記画像表示部は、前記表示制御装置で決定された輝度レベルで、画像を表示する
   画像表示装置。
3. 前記表示制御装置は、前記画像表示部を見ている時の眩しさが大きく、かつ前記画像表示部の外部を見ている時の眩しさが大きい場合、前記表示画像の輝度レベルをより高くする
   ことを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記表示制御装置は、前記画像表示部の外部を見ている時の眩しさが大きい場合、前記表示画像の輝度レベルを最高にする
   請求項１から３のいずれか１項に記載の画像表示装置。
5. 前記表示制御装置は、前記車両内の照度に基づいて前記表示画像の輝度の上限値及び下限値を決定し、前記表示画像の輝度レベルが、前記上限値を上回らず、かつ前記下限値を下回らないように制御する
   請求項１から４のいずれか１項に記載の画像表示装置。
6. 前記表示制御装置は、
   前記運転者の画像から、瞳孔径の測定及び表情筋の特徴量の検出の少なくとも一方を行ない、前記測定及び検出の少なくとも一方の結果から前記眩しさを検出する
   請求項１から５のいずれか１項に記載の画像表示装置。
7. 前記表示制御装置は、前記車両の周辺の状況を表す周辺画像を取得し、
   前記画像表示部は、前記表示制御装置で取得された周辺画像を表示する
   請求項１から６のいずれか１項に記載の画像表示装置。
8. 前記表示制御装置は、画像供給源からの画像を取得し、
   前記画像表示部は、前記表示制御装置で取得された画像を表示する
   る
   請求項１から６のいずれか１項に記載の画像表示装置。
9. 前記画像表示部は、透過型の表示パネルと、前記表示パネルの背面側に設けられたバックライトとを有し、前記表示制御装置で決定された輝度レベルに基づいて、前記バックライトの発光輝度を調整する
   請求項１から８のいずれか１項に記載の画像表示装置。
10. 前記画像表示部は、前記画像表示部に入力された、画像を表す画像データに対してゲインを乗算するゲイン乗算部と、前記ゲイン乗算部でゲインが乗算された画像データに基づいて表示を行う表示パネルとを有し、前記表示制御装置で決定された輝度レベルに基づいて、前記ゲイン乗算部のゲインを決定する
    請求項１から８のいずれか１項に記載の画像表示装置。
11. 車両内に搭載され、画像を表示する画像表示部における表示画像の輝度を調整する表示制御装置において、
    撮像で得られた運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているかを判定する視線検出部と、
    前記運転者の画像から前記運転者が感じている眩しさを検出する眩しさ検出部と、
    前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定する輝度制御部と
    を備え、
    前記画像表示部に、前記輝度制御部で決定された輝度レベルで、画像を表示させる
    表示制御装置。
12. 車両内に搭載され、画像を表示する画像表示部における表示画像の輝度を調整する表示制御方法において、
    撮像で得られた運転者の画像から前記運転者の視線を検出し、検出された視線と、前記画像表示部の位置を示す情報とから前記運転者が前記画像表示部を見ているか、前記画像表示部の外部を見ているか否かを判定し、
    前記運転者の画像から前記運転者が感じている眩しさを検出し、
    前記画像表示部を見ている時の眩しさと前記画像表示部の外部を見ている時の眩しさとから前記画像表示部における表示画像の輝度レベルを決定し、
    前記画像表示部に、前記決定された輝度レベルで、画像を表示させる
    表示制御方法。
13. 請求項１２に記載の表示制御方法における処理をコンピュータに実行させるためのプログラム。
14. 請求項１３に記載のプログラムが記録された、コンピュータで読み取り可能な記録媒体。

Images