JP7314848B2 - 表示制御装置、画像補正方法及びプログラム - Google Patents

Description

本発明は、内装面に投影される画像を制御するための表示制御装置、画像補正方法及びプログラムに関する。

特許文献１には、車両のインストルメントパネルの曲面上に、インパネ内部の投影機から画像を投影する表示装置としてのリアプロジェクション装置が開示されている。

特開２０１８－０７９８３８号公報

ところで、特許文献１の表示装置は、インストルメントパネルの形状のバラつきや、プロジェクタ組付時のバラつきに起因する投影画像の歪みを補正する点につき改善の余地がある。

本発明は、内装面に投影される画像の歪みの補正に要する時間を短縮可能な表示制御装置、画像補正方法及びプログラムを提供することを目的とする。

請求項１に記載の表示制御装置は、車両の内装面に画像を投影する投影部に対して画像を出力する出力部と、前記車両の乗員の視覚情報を取得する取得部と、前記乗員が前記内装面に投影された１つ以上の特徴点を含む目標画像を注視している間に前記取得部により取得された、前記乗員が前記内装面上の前記特徴点を注視した場合の注視点の位置情報である前記視覚情報に基づき、前記内装面に投影された前記目標画像の設計状態とのずれを検出する検出部と、前記検出部によって検出された前記ずれに基づいて、前記投影部によって投影される画像を補正する補正部と、を備え、前記検出部は、前記特徴点の設計上の位置と前記特徴点に対応する前記注視点の位置とを比較して前記ずれを検出し、前記出力部は、前記車両に前記投影部を組み付ける場合に、前記内装面の複数の異なる位置に表示される複数の前記特徴点を含む前記目標画像を、複数の前記特徴点を前記内装面に順番に表示させるように前記投影部に出力する。

請求項１に記載の表示制御装置は、内装面に画像を投影する投影部を備えた車両に対して適用される。当該表示制御装置は、出力部が投影部に対して画像を出力し、取得部が乗員の視覚情報を取得可能に形成されている。ここで、乗員が内装面に投影された目標画像を注視している場合、検出部は取得された視覚情報に基づき内装面に投影された目標画像の設計状態とのずれを検出し、補正部が検出されたずれに基づいて投影部によって投影される画像を補正する。ここで、目標画像とは、点や丸枠等のマーカが付された画像、縦線横線の組合せであるクロスパターンが付された画像等、乗員が特定の場所を注視可能な画像をいう。また、設計状態とは、目標画像が設計どおりに内装面に対して投影された場合の目標画像の表示状態をいう。当該表示制御装置によれば、乗員が目標画像を注視することにより、内装面に投影される画像の歪みが補正されるため、補正に要する時間が短縮される。

また、請求項１に記載の表示制御装置では、視覚情報は内装面上の特徴点に対応する乗員の注視点の位置情報であって、検出部は、特徴点の設計上の位置と特徴点に対応する注視点の位置とを比較してずれを検出する。ここで、特徴点とは、目標画像において乗員が注視可能な点である。当該表示制御装置によれば、乗員の注視点を取得することで投影されている目標画像上の特徴点の位置を把握することができ、これにより、設計上の位置とのずれを検出することができる。

さらに、請求項１に記載の表示制御装置では、車両に前記投影部を組み付ける場合に目標画像上の複数の点を乗員が注視することにより、内装面における表示のずれを精度よく検知することができる。

内装面上に複数の特徴点を同時に表示させた場合、乗員が複数の特徴点のうちどの特徴点を注視しているか装置側で判別する必要がある。これに対し、請求項１に記載の表示制御装置によれば、内装面に対して特徴点を１つずつ順番に表示させることで、どの特徴点を注視しているかの判別を簡略化することができる。

請求項２に記載の表示制御装置は、請求項１に記載の表示制御装置において、前記目標画像は、前記内装面の所定の領域の内側に表示される少なくとも１つの前記特徴点と、前記領域の外縁の少なくとも４箇所に表示される前記特徴点を含む。

請求項２に記載の表示制御装置では、目標画像において、少なくとも内側に１つの特徴点と外周に４つの特徴点を設けることにより、内装面に投影される画像の傾きや、内装面の歪みを検知することができる。

請求項３に記載の表示制御装置は、請求項２～５の何れか１項に記載の表示制御装置において、前記車両が前記乗員に利用される場合に、前記目標画像に含まれる前記特徴点は１つであって、前記ずれが補正を許容する許容範囲以下であった場合に前記補正部は補正を行い、前記ずれが前記許容範囲を超えた場合に所定の通知を行う通知部を備える。

請求項３に記載の表示制御装置によれば、車両の利用時における補正においては、特徴点を１つとすることで、画像の補正を目的として乗員に画像を注視させる場合の違和感を抑制しつつ、画像の表示位置の並進移動によるずれを検出することができる。また、当該表示制御装置によれば、表示位置が大きくずれた場合、外部に通知を行うことができる。

請求項４に記載の表示制御装置は、請求項３に記載の表示制御装置において、前記出力部は前記特徴点として、虹彩認証を行う認証部が前記乗員の虹彩の情報を取得するためのターゲットを前記投影部に出力し、前記検出部は、前記ターゲットを前記乗員が注視して前記認証部が取得された前記虹彩に基づく虹彩認証を行っている間に前記ずれを検出する。

請求項４に記載の表示制御装置によれば、虹彩認証を行う間に画像の補正を行うことができる。

請求項５に記載の表示制御装置は、請求項１～４の何れか１項に記載の表示制御装置において、前記補正部は、前記検出部によって検出された前記ずれが解消するように前記投影部が投影する画像を変形させる補正を行い、前記出力部は、補正された前記画像を前記投影部に出力する。

請求項５に記載の表示制御装置によれば、ハード的な構成を追加することなく、表示の補正を行うことができる。

請求項６に記載の画像補正方法は、車両の内装面に画像を投影する投影部に対して画像を出力する出力ステップと、前記車両の乗員の視覚情報を取得する取得ステップと、前記乗員が前記内装面に投影された１つ以上の特徴点を含む目標画像を注視している間に取得された、前記乗員が前記内装面上の前記特徴点を注視した場合の注視点の位置情報である前記視覚情報に基づき、前記内装面に投影された前記目標画像の設計状態とのずれを検出する検出ステップと、検出された前記ずれに基づいて投影される画像を補正する補正ステップと、を含み、前記検出ステップは、前記特徴点の設計上の位置と前記特徴点に対応する前記注視点の位置とを比較して前記ずれを検出し、前記出力ステップは、前記車両に前記投影部を組み付ける場合に、前記内装面の複数の異なる位置に表示される複数の前記特徴点を含む前記目標画像を、複数の前記特徴点を前記内装面に順番に表示させるように前記投影部に出力する。

請求項６に記載の画像補正方法は、内装面に画像を投影する投影部を備えた車両に対して適用される。当該画像補正方法は、出力ステップにより投影部に対して画像が出力され、取得ステップにより乗員の視覚情報が取得される。ここで、乗員が内装面に投影された目標画像を注視している場合、検出ステップでは取得された視覚情報に基づき内装面に投影された目標画像の設計状態とのずれが検出され、補正ステップにおいて検出されたずれに基づいて画像が補正される。なお、目標画像及び設計状態とは、上述のとおりである。当該画像補正方法によれば、乗員が目標画像を注視することにより、内装面に投影される画像の歪みが補正されるため、補正に要する時間が短縮される。また、請求項６に記載の画像補正方法では、視覚情報は内装面上の特徴点に対応する乗員の注視点の位置情報であって、検出部は、特徴点の設計上の位置と特徴点に対応する注視点の位置とを比較してずれを検出する。ここで、特徴点とは、目標画像において乗員が注視可能な点である。当該表示制御装置によれば、乗員の注視点を取得することで投影されている目標画像上の特徴点の位置を把握することができ、これにより、設計上の位置とのずれを検出することができる。さらに、請求項６に記載の画像補正方法では、車両に前記投影部を組み付ける場合に目標画像上の複数の点を乗員が注視することにより、内装面における表示のずれを精度よく検知することができる。内装面上に複数の特徴点を同時に表示させた場合、乗員が複数の特徴点のうちどの特徴点を注視しているか装置側で判別する必要がある。これに対し、請求項６に記載の画像補正方法によれば、内装面に対して特徴点を１つずつ順番に表示させることで、どの特徴点を注視しているかの判別を簡略化することができる。

請求項７に記載のプログラムは、車両の内装面に画像を投影する投影部に対して画像を出力する出力ステップと、前記車両の乗員の視覚情報を取得する取得ステップと、前記乗員が前記内装面に投影された１つ以上の特徴点を含む目標画像を注視している間に取得された、前記乗員が前記内装面上の前記特徴点を注視した場合の注視点の位置情報である前記視覚情報に基づき、前記内装面に投影された前記目標画像の設計状態とのずれを検出する検出ステップと、検出された前記ずれに基づいて投影される画像を補正する補正ステップと、を含む処理をコンピュータに実行させ、前記検出ステップは、前記特徴点の設計上の位置と前記特徴点に対応する前記注視点の位置とを比較して前記ずれを検出し、前記出力ステップは、前記車両に前記投影部を組み付ける場合に、前記内装面の複数の異なる位置に表示される複数の前記特徴点を含む前記目標画像を、複数の前記特徴点を前記内装面に順番に表示させるように前記投影部に出力する。

請求項７に記載のプログラムは、内装面に画像を投影する投影部を備えた車両において、コンピュータが次の処理を実行する。すなわち、当該プログラムでは、出力ステップにより投影部に対して画像が出力され、取得ステップにより乗員の視覚情報が取得される。ここで、乗員が内装面に投影された目標画像を注視している場合、検出ステップでは取得された視覚情報に基づき内装面に投影された目標画像の設計状態とのずれが検出され、補正ステップにおいて検出されたずれに基づいて画像が補正される。なお、目標画像及び設計状態とは、上述のとおりである。当該プログラムによれば、乗員が目標画像を注視することにより、内装面に投影される画像の歪みが補正されるため、補正に要する時間が短縮される。また、請求項７に記載のプログラムでは、視覚情報は内装面上の特徴点に対応する乗員の注視点の位置情報であって、検出部は、特徴点の設計上の位置と特徴点に対応する注視点の位置とを比較してずれを検出する。ここで、特徴点とは、目標画像において乗員が注視可能な点である。当該表示制御装置によれば、乗員の注視点を取得することで投影されている目標画像上の特徴点の位置を把握することができ、これにより、設計上の位置とのずれを検出することができる。さらに、請求項７に記載のプログラムでは、車両に前記投影部を組み付ける場合に目標画像上の複数の点を乗員が注視することにより、内装面における表示のずれを精度よく検知することができる。内装面上に複数の特徴点を同時に表示させた場合、乗員が複数の特徴点のうちどの特徴点を注視しているか装置側で判別する必要がある。これに対し、請求項７に記載のプログラムによれば、内装面に対して特徴点を１つずつ順番に表示させることで、どの特徴点を注視しているかの判別を簡略化することができる。

本発明によれば、内装面に投影される画像の歪みの補正に要する時間を短縮することができる。

第１の実施形態に係る表示装置１０の外観を示す図である。 第１の実施形態の車両及びセンタサーバの概略構成を示す図である。 第１の実施形態の表示装置のハードウェア構成を示すブロック図である。 第１の実施形態の表示制御装置であって、ストレージの構成の例を示すブロック図である。 第１の実施形態の表示制御装置の機能構成の例を示すブロック図である。 第１の実施形態の投影面に表示されるテスト画像の例である。 第１の実施形態の投影面に表示される認証用画像の例である。 第１の実施形態の表示装置と乗員の目の位置関係を示す図である。 第１の実施形態の表示制御装置において実行される組付処理の流れを示すフローチャートである。 第１の実施形態の表示制御装置において実行される調整処理の流れを示すフローチャートである。 第２の実施形態の表示装置と乗員の目の位置関係を示す図である。

［第１の実施形態］
第１の実施形態の表示装置１０が搭載された車両１２について説明する。図１に示されるように、本実施形態に係る車両１２には、乗員Ｐが着座する前席シート１３の車両前方側に配置されるダッシュボード１４に対して表示装置１０が設けられている。表示装置１０は、各前席シート１３に対してそれぞれ設けられている。表示装置１０はダッシュボード１４に画像が表示される表示部としての投影面１６を有している。投影面１６は内装面の一例である。

本実施形態では、ダッシュボード１４の裏側に設置されたプロジェクタ２４（図２参照）が、ダッシュボード１４の裏側から投影面１６に対して画像を投影する。これにより、乗員Ｐは投影面１６の表側から画像を視認することが可能とされている。また、左右のダッシュボード１４の間には、入力装置としてのタッチパネル２６が設けられている。

図２に示されるように、表示装置１０は、画像を投影面１６に対して投影する投影部としてのプロジェクタ２４と、プロジェクタ２４に出力する画像を制御する表示制御装置２０と、を含んで構成されている。

また、本実施形態に係る車両１２は、表示装置１０の他に、視線計測システム３０と、認証システム４０と、ＤＣＭ（Ｄａｔａ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｍｏｄｕｌｅ）５０と、を含んで構成されている。

視線計測システム３０には、車室内に設置され、かつ乗員Ｐを撮像する車内カメラ３２が電気的に接続されている。これにより、視線計測システム３０は、車内カメラ３２が撮像した乗員Ｐの画像を取得可能とされている。なお、視線計測システム３０は、専用の装置として設けてもよいし、ドライブレコーダやＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）グラスと兼用される装置として設けてもよい。

認証部としての認証システム４０は、乗員Ｐの目Ｅ（図１参照）の虹彩を取得し、虹彩認証を可能に構成されている。

通信システムとしてのＤＣＭ５０は、車両１２の外部との通信を行うための通信装置として機能する。本実施形態のＤＣＭ５０はネットワークＮを介してセンタサーバ６０と接続されている。これにより、センタサーバ６０は車両１２から情報を取得することができ、車両１２に対して情報を提供することができる。本実施形態のＤＣＭ５０は、例えば、５Ｇ、ＬＴＥ等による通信を可能に構成されている。

表示制御装置２０、視線計測システム３０、認証システム４０及びＤＣＭ５０は外部バス２２を通じて相互に接続されている。外部バス２２を通じた通信方法には、ＣＡＮ（ｃｏｎｔｒｏｌｌｅｒ ａｒｅａ ｎｅｔｗｏｒｋ）プロトコルによる通信規格が用いられる。なお、通信方法はこれに限らず、イーサネット（登録商標）等のＬＡＮ規格を採用してもよい。

図３は、本実施形態の車両１２に搭載される表示装置１０のハードウェア構成を示すブロック図である。

表示制御装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｅ及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、内部バス２０Ｈを介して相互に通信可能に接続されている。

ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂやストレージ２０Ｄからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。本実施形態では、ストレージ２０Ｄに制御プログラム１００が記憶されている（図４参照）。ＣＰＵ２０Ａが制御プログラム１００を実行することで、表示制御装置２０は、図５に示す、出力部２００、取得部２１０、検出部２２０、補正部２３０及び通知部２４０として機能する。

図３に示されるように、ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。

ストレージ２０Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、各種プログラム及び各種データを記憶している。

通信Ｉ／Ｆ２０Ｅは、視線計測システム３０、認証システム４０及びＤＣＭ５０と通信を行うためのインタフェースである。通信Ｉ／Ｆ２０Ｅは外部バス２２に対して接続されている。

入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載される各装置と通信するためのインタフェースである。本実施形態の表示制御装置２０には、入出力Ｉ／Ｆ２０Ｆを介してプロジェクタ２４及びタッチパネル２６が接続されている。なお、プロジェクタ２４及びタッチパネル２６は、内部バス２０Ｈに対して直接接続されていてもよい。

図４は、ストレージ２０Ｄの構成を示すブロック図である。ストレージ２０Ｄには、制御プログラム１００、画像情報１１０、表示位置情報１２０、ずれ情報１３０及び補正情報１４０、が記憶されている。

制御プログラム１００は、後述する組付処理及び調整処理を実行するためのプログラムである。

画像情報１１０には、プロジェクタ２４に表示される画像である目標画像８０が記憶されている。この目標画像８０は、図６に示すテスト画像８１と、図７に示す認証用画像８２とを含んでいる。テスト画像８１は後述する組付処理において出力される画像である。図６に示されるように、テスト画像８１は、投影面１６の複数の異なる位置に表示される複数の特徴点であるマーカ８４を含んでいる。ここで、特徴点とは、目標画像８０において乗員Ｐが注視可能な点である。具体的にマーカ８４は、投影面１６の上下左右中央と、矩形の投影面１６の各角部寄りの合計５か所に設けられている。また、図７に示されるように、認証用画像８２は後述する調整処理において出力される画像である。認証用画像８２は、虹彩認証を行う認証システム４０が乗員Ｐの虹彩の情報を取得するために乗員Ｐの目Ｅを車内カメラ３２に向けるための１つのマーカ８４を含んでいる。このマーカ８４は投影面１６の上下左右中央に設けられている。

さらに、画像情報１１０には、設計情報として各マーカ８４の設計上の３次元座標が記憶されている。本実施形態では、車両１２に対して表示装置１０が設計どおりに組み付けられていれば、各マーカ８４の座標は投影面１６上に存在することになる。

表示位置情報１２０には、視線計測システム３０において計測された乗員Ｐの注視点の座標が記憶されている。ここで、注視点とは、図８に示されるように、乗員Ｐがマーカ８４を注視している場所に相当する。すなわち、表示位置情報１２０には、テスト画像８１の５箇所のマーカ８４に対応する乗員Ｐの注視点の座標が記憶可能であり、認証用画像８２の１箇所のマーカ８４に対応する注視点の座標が記憶可能である。

ずれ情報１３０には、組付処理及び調整処理が実行される際、各マーカ８４の設計点９２の位置（図６及び図７参照）と、投影面１６における各マーカ８４の位置、とのずれに係る情報が記憶されている。ここで、設計点９２は、設計どおりに表示装置１０が組み付けられた場合、マーカ８４と座標が一致する。上述のとおり投影面１６における各マーカ８４の位置は、乗員Ｐの注視点の座標として、表示位置情報１２０に記憶されている。そのため、ずれ情報１３０には、設計点９２に係る座標と対応するマーカ８４の注視点の座標との差分、換言すると設計点９２に対するマーカ８４の注視点の相対座標が記憶されている。

補正情報１４０には、各マーカ８４の位置における画像の補正量が記憶されている。具体的には、ずれ情報１３０として記憶されている各マーカ８４の設計点９２に対する相対位置が０となるように、後述する出力部２００が出力する画像を変形加工する。

図５は、表示制御装置２０の機能構成の例を示すブロック図である。図５に示されるように、表示制御装置２０は、出力部２００、取得部２１０、検出部２２０、補正部２３０及び通知部２４０を有している。

出力部２００は、プロジェクタ２４に対して目標画像８０を含む各種画像を出力する機能を有している。プロジェクタ２４は、出力部２００から出力された画像を車両１２の内装面１４Ａにある投影面１６に投影する。

本実施形態の出力部２００は、組付処理においてテスト画像８１をプロジェクタ２４に出力する。また、出力部２００は、調整処理において認証用画像８２をプロジェクタ２４に出力する。

取得部２１０は、車両１２の乗員Ｐの視覚情報を取得する機能を有している。本実施形態の視覚情報は、乗員Ｐが投影面１６上の各マーカ８４を注視した際の注視点の位置情報である。この視覚情報は視線計測システム３０において車内カメラ３２が撮像した撮像画像に基づいて生成され、取得部２１０は視線計測システム３０から視覚情報を取得する。

検出部２２０は、取得部２１０により取得された視覚情報に基づき、投影面１６に投影された目標画像８０の設計状態とのずれを検出する機能を有している。本実施形態では、乗員Ｐが投影面１６に投影された目標画像８０を注視している間に、検出部２２０が投影面１６に投影された目標画像８０の設計状態とのずれを検出する。設計状態とは、目標画像８０が設計どおりに投影面１６に対して投影された場合の目標画像８０の表示状態をいう。

検出部２２０は、後述する組付処理においてプロジェクタ２４が投影面１６にテスト画像８１を投影している間に、テスト画像８１における各マーカ８４の設計点９２の座標と各マーカ８４に対応する乗員Ｐの目Ｅの注視点の座標とを比較してずれを検出する。また検出部２２０は、後述する調整処理において、認証用画像８２のターゲットである中央のマーカ８４を乗員Ｐが注視して認証システム４０が取得された目Ｅの虹彩に基づく虹彩認証を行っている間にずれを検出する。詳しくは、認証用画像８２におけるマーカ８４の設計点９２の座標とマーカ８４に対応する乗員Ｐの目Ｅの注視点の座標とを比較してずれを検出する。

補正部２３０は、検出部２２０によって検出されたずれの情報に基づいて、プロジェクタ２４によって投影される画像を補正する機能を有している。具体的に、補正部２３０は、検出部２２０によって検出されたずれが解消するようにプロジェクタ２４が投影する画像を変形させる。この変形には、傾きの変更、スケールの変更、並進移動等が含まれる。

なお、後述する調整処理において、補正部２３０は、検出されたずれが補正を許容する許容範囲以下であった場合に補正を行う。図７に示されるように、この許容範囲は、例えば、中央の設計点９２に対してマーカ８４が投影されていても補正が可能とされる上下左右の枠９４で表される。

通知部２４０は、検出部２２０により検出されたずれが許容範囲（図９の枠９４）を超えた場合に所定の通知を行う機能を有している。本実施形態の通知部２４０は、ずれが許容範囲を超えた場合に、センタサーバ６０に対してサポート依頼の通知を出力する。これにより、通知を受けたセンタサーバ６０は、車両１２の表示装置１０において表示制御装置２０の機能では調整不可能なずれが発生していることが把握される。そして、センタサーバ６０側からプロジェクタ２４の設定を変更することで表示装置１０のずれを解消させたり、センタサーバ６０から車両１２に対してディーラでの修理を促す情報を送信したりすることができる。

（制御の流れ）
次に本実施形態の表示制御装置２０において実行される処理の例についてフローチャートを用いて説明する。

まず、車両１２に表示装置１０を組み付ける際、例えば、ダッシュボード１４やプロジェクタ２４を組み付ける際に実行される組付処理の流れについて、図９を用いて説明する。なお、組付処理は、車両１２に乗車した作業者がマーカ８４を注視することにより実行される。つまり、組付処理においては、車両１２に乗車した作業者が乗員Ｐに相当する。

図９のステップＳ１００において、ＣＰＵ２０Ａは画像情報１１０に記憶されているテスト画像８１をプロジェクタ２４に出力する。これにより、図６に示されるように、投影面１６に対してテスト画像８１が表示される。

ステップＳ１０１において、ＣＰＵ２０Ａは視覚情報を取得する。すなわち、ＣＰＵ２０Ａは、視線計測システム３０から視覚情報として、乗員Ｐが注視したマーカ８４の座標を取得する。ここで、本実施形態のテスト画像８１には５つのマーカ８４がある。そのため、乗員Ｐは注視しているマーカ８４をタッチパネル２６で指定することによりその位置を特定する。

ステップＳ１０２において、ＣＰＵ２０Ａは、各設計点９２と、各設計点９２に対応するマーカ８４とのずれを検出する。

ステップＳ１０３において、ＣＰＵ２０Ａは全マーカ８４のずれを検出したか否かの判定を実行する。ＣＰＵ２０Ａは全マーカ８４のずれを検出したと判定した場合、ステップＳ１０４に進む。一方、ＣＰＵ２０Ａは全マーカ８４のずれを検出していないと判定した場合にステップＳ１０１に戻る。

ステップＳ１０４において、ＣＰＵ２０Ａは各マーカ８４のずれの量に基づく補正情報を生成する。例えば、左上のマーカ８４が設計点９２に対して右に２ｍｍ、下に３ｍｍずれ、右上のマーカ８４が設計点９２に対して左に１ｍｍ、下に２ｍｍずれている場合が有ったとする。この場合、画像情報１１０に記憶されている画像を拡大、回転、移動させることで、左上のマーカ８４は左に２ｍｍ、上に３ｍｍ、右上のマーカ８４は右に１ｍｍ、上に２ｍｍ移動させる補正情報が生成される。

ステップＳ１０５において、ＣＰＵ２０Ａは補正されたテスト画像８１をプロジェクタ２４に出力する。具体的に、ＣＰＵ２０Ａは画像情報１１０に記憶されているテスト画像８１に対して補正情報を適用することで、補正されたテスト画像８１を出力する。これにより、投影面１６に対して補正されたテスト画像８１が表示される。

ステップＳ１０６において、ＣＰＵ２０Ａは視覚情報を取得する。すなわち、ＣＰＵ２０Ａは、視線計測システム３０から視覚情報として、乗員Ｐが注視したマーカ８４の座標を取得する。

ステップＳ１０７において、ＣＰＵ２０Ａは、各設計点９２と、各設計点９２に対応するマーカ８４とのずれを検出する。

ステップＳ１０８において、ＣＰＵ２０Ａは全マーカ８４が設計点９２にあるか否かの判定を行う。ＣＰＵ２０Ａは全マーカ８４が設計点９２にある、つまり、全てのマーカ８４にずれがない場合、組付処理を終了させる。一方、ＣＰＵ２０Ａは全マーカ８４が設計点９２にない、つまり、何れかのマーカ８４にずれがある場合、ステップＳ１０４に戻る。したがって、全てのマーカ８４のずれが解消されるまで組付処理は実行される。

組付処理により、投影面１６に投影される画像は、補正情報に基づく補正が行われ、設計した場所に表示される。

続けて、車両１２において、表示装置１０の使用の過程で実行される調整処理の流れについて、図１０を用いて説明する。この調整処理は、認証システム４０が虹彩認証を実行する際に実行される。

図１０のステップＳ２００において、ＣＰＵ２０Ａは画像情報１１０に記憶されている認証用画像８２をプロジェクタ２４に出力する。これにより、図９に示されるように、投影面１６に対して認証用画像８２が表示される。乗員Ｐは認証用画像８２の中央のマーカ８４を注視することで、認証システム４０は車内カメラ３２が撮像した乗員Ｐの目Ｅの虹彩を取得し、虹彩認証を実行する。

ステップＳ２０１において、ＣＰＵ２０Ａは視覚情報を取得する。すなわち、ＣＰＵ２０Ａは、視線計測システム３０又は認証システム４０から視覚情報として、乗員Ｐが注視したマーカ８４の座標を取得する。

ステップＳ２０２において、ＣＰＵ２０Ａは、設計点９２とマーカ８４とのずれを検出する。

ステップＳ２０３において、ＣＰＵ２０Ａはマーカ８４のずれが補正許容範囲内か否かの判定を実行する。ＣＰＵ２０Ａはマーカ８４のずれが補正許容範囲内であると判定した場合、ステップＳ２０４に進む。一方、ＣＰＵ２０Ａはマーカ８４のずれが補正許容範囲内にはない場合、つまり、補正許容範囲外である場合、ステップＳ２０５に進む。

ステップＳ２０４において、ＣＰＵ２０Ａはマーカ８４のずれの量に基づく補正情報を生成する。例えば、中央のマーカ８４が設計点９２に対して右に３ｍｍ、上に１ｍｍずれている場合が有ったとする。この場合、画像情報１１０に記憶されている並進移動させることで、中央のマーカ８４は左に３ｍｍ、下に１ｍｍ移動させる補正情報が生成される。そして、調整処理は終了する。

ステップＳ２０５において、ＣＰＵ２０Ａはサポートの依頼をセンタサーバ６０に通知する。そして、調整処理は終了する。

調整処理により、補正情報が生成された場合、投影面１６に投影される画像は補正情報に基づく補正が行われて設計した場所に表示される。

（第１の実施形態のまとめ）
本実施形態の表示制御装置２０は、ダッシュボード１４の投影面１６に画像を投影するプロジェクタ２４を備えた車両に対して適用される。表示制御装置２０は、出力部２００がプロジェクタ２４に対して画像を出力し、取得部２１０が乗員Ｐの視覚情報を取得可能に形成されている。ここで、乗員Ｐが投影面１６に投影された目標画像８０を注視している場合、検出部２２０は取得された視覚情報に基づき投影面１６に投影された目標画像８０の設計状態とのずれを検出する。そして、補正部２３０が検出されたずれに基づいてプロジェクタ２４によって投影される画像を補正する。本実施形態の表示制御装置２０によれば、乗員Ｐが目標画像８０を注視することにより、投影面１６に投影される画像の歪みが補正されるため、補正に要する時間が短縮される。

また、本実施形態における視覚情報は投影面１６上のマーカ８４に対応する乗員Ｐの注視点の位置情報であって、検出部２２０は、マーカ８４の設計上の位置とマーカ８４に対応する注視点の位置とを比較してずれを検出する。本実施形態の表示制御装置２０によれば、乗員Ｐの注視点を取得することで投影されている目標画像８０上のマーカ８４の位置を把握することができ、これにより、設計上の位置とのずれを検出することができる。

また、本実施形態では車両１２に表示装置１０を組み付ける場合、組付処理において投影面１６に対して複数のマーカ８４を有するテスト画像８１を投影させる。そのため、本実施形態によれば、組付処理においてテスト画像８１上の複数の点を乗員Ｐが注視することにより、投影面１６における表示のずれを精度よく検知することができる。

特に本実施形態では、テスト画像８１において、少なくて内側に１つのマーカ８４と外周に４つのマーカ８４を設けることにより、投影面１６に投影される画像の傾きや、内装面の歪みを検知することができる。

また、本実施形態では車両１２が乗員Ｐに利用される場合、調整処理において投影面１６の中央に一のマーカ８４を有する認証用画像８２が投影される。本実施形態によれば、調整処理において認証用画像８２上のマーカ８４を１つとすることで、画像の補正を目的として乗員Ｐに画像を注視させる場合の違和感を抑制しつつ、画像の表示位置の並進移動によるずれを検出することができる。また、本実施形態の表示制御装置２０によれば、表示位置が大きくずれた場合、車両１２の外部にあるセンタサーバ６０に通知を行うことができる。

特に、本実施形態では、認証システム４０により虹彩認証を行う間に調整処理が実行される。すなわち、本実施形態によれば、虹彩認証を行う間に画像の補正を行うことができる。

本実施形態では、補正部２３０が検出部２２０によって検出されたずれに基づいてプロジェクタ２４が投影する画像を変形させることを特徴としている。そのため、本実施形態の表示制御装置２０によれば、ハード的な構成を追加することなく、表示の補正を行うことができる。

（第１の実施形態の変形例）
組付処理を行う際に投影面１６に投影されるテスト画像８１は５つのマーカ８４を有している。そのため、乗員Ｐである作業者は注視しているマーカ８４をタッチパネル２６で指定することによりその位置を特定させる必要がある。これに対し、第１の実施形態の変形例では、出力部２００が複数のマーカ８４を投影面１６に順番に表示させるようにテスト画像８１が出力される。

投影面１６上に複数のマーカ８４を同時に表示させた場合、乗員Ｐは複数のマーカ８４のうちどのマーカ８４を注視しているか判別する必要がある。これに対し、本実施形態によれば、投影面１６に対してマーカ８４を１つずつ順番に表示させることで、どのマーカ８４を注視しているかの判別を簡略化することができる。

［第２の実施形態］
第２の実施形態の表示制御装置２０は、乗員Ｐの目Ｅの位置に基づいて画像の補正を可能に構成されている。以下、第１の実施形態との相違点について説明する。なお、第１の実施形態と同一の構成には同一の符号を付しており、詳細な説明については割愛する。

本実施形態の表示制御装置２０では、乗員Ｐの目Ｅの位置に相当する立脚点に係る視点情報及び投影面１６の形状に基づいて乗員Ｐに対して表示させる目標画像８０の見た目の形状が特定される。具体的に、取得部２１０が乗員Ｐの立脚点を取得し、検出部２２０が取得した目Ｅの位置から見た投影面１６に投影された目標画像８０の形状を特定する。例えば、図１１に示されるように、乗員Ｐの目Ｅが位置Ｐ１にある場合、検出部２２０は、目標画像８０の各マーカ８４を基に目標画像８０の見た目の形状である表示形状１７Ａを特定する。

また、本実施形態では、画像情報１１０に目標画像８０の設計上の形状が記憶されている。例えば、乗員Ｐの目Ｅが位置Ｐ２にある場合の目標画像８０の形状である設計形状１７Ｂが記憶されている。

そして、検出部２２０が、目標画像８０の設計形状１７Ｂと表示形状１７Ａとを比較する。これにより、補正部２３０は、目Ｅが位置Ｐ１にある場合であっても、予め設計された設計形状１７Ｂによる目標画像８０を乗員Ｐに対して見せることができる。本実施形態によれば、乗員Ｐの目Ｅの位置によって生じる表示領域や角度に相違に起因するずれを検出することができる。

［備考］
なお、上記実施形態では、組付処理及び調整処理においてマーカ８４を特徴点とする目標画像８０を使用しているが、これに限らない。例えば、目標画像８０は、縦線横線の組合せであるクロスパターンが付された画像等、乗員Ｐが特定の場所を注視可能な画像であればよい。

上記実施形態の表示制御装置２０は、乗員Ｐの注視点や立脚点に係る視覚情報を視線計測システム３０から取得している。しかしこれに限らず、表示制御装置２０が車内カメラ３２から直接取得した撮像画像を基に視覚情報を生成してもよい。

なお、上記実施形態でＣＰＵ２０Ａがソフトウェア（プログラム）を読み込んで実行した各処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態において、プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、表示制御装置２０において制御プログラム１００は、ストレージ２０Ｄに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

１２ 車両
２０ 表示制御装置
１６ 投影面（内装面）
１７Ａ 表示形状（見た目の形状）
１７Ｂ 設計形状（設計上の形状）
２４ プロジェクタ（投影部）
４０ 認証システム（認証部）
８０ 目標画像
８１ テスト画像（目標画像）
８２ 認証用画像（目標画像）
８４ マーカ（特徴点）
１００ 制御プログラム（プログラム）
２００ 出力部
２１０ 取得部
２２０ 検出部
２３０ 補正部
２４０ 通知部
Ｐ 乗員
Ｅ 目

Claims (7)

1. 車両の内装面に画像を投影する投影部に対して画像を出力する出力部と、
   前記車両の乗員の視覚情報を取得する取得部と、
   前記乗員が前記内装面に投影された１つ以上の特徴点を含む目標画像を注視している間に前記取得部により取得された、前記乗員が前記内装面上の前記特徴点を注視した場合の注視点の位置情報である前記視覚情報に基づき、前記内装面に投影された前記目標画像の設計状態とのずれを検出する検出部と、
   前記検出部によって検出された前記ずれに基づいて、前記投影部によって投影される画像を補正する補正部と、を備え、
   前記検出部は、前記特徴点の設計上の位置と前記特徴点に対応する前記注視点の位置とを比較して前記ずれを検出し、
   前記出力部は、前記車両に前記投影部を組み付ける場合に、前記内装面の複数の異なる位置に表示される複数の前記特徴点を含む前記目標画像を、複数の前記特徴点を前記内装面に順番に表示させるように前記投影部に出力する、
   表示制御装置。
2. 前記目標画像は、前記内装面の所定の領域の内側に表示される少なくとも１つの前記特徴点と、前記領域の外縁の少なくとも４箇所に表示される前記特徴点を含む請求項１に記載の表示制御装置。
3. 前記車両が前記乗員に利用される場合に、前記目標画像に含まれる前記特徴点は１つであって、
   前記ずれが補正を許容する許容範囲以下であった場合に前記補正部は補正を行い、
   前記ずれが前記許容範囲を超えた場合に所定の通知を行う通知部を備える請求項１又は２に記載の表示制御装置。
4. 前記出力部は前記特徴点として、虹彩認証を行う認証部が前記乗員の虹彩の情報を取得するためのターゲットを前記投影部に出力し、
   前記検出部は、前記ターゲットを前記乗員が注視して前記認証部が取得された前記虹彩に基づく虹彩認証を行っている間に前記ずれを検出する請求項３に記載の表示制御装置。
5. 前記補正部は、前記検出部によって検出された前記ずれが解消するように前記投影部が投影する画像を変形させる補正を行い、
   前記出力部は、補正された前記画像を前記投影部に出力する請求項１～４の何れか１項に記載の表示制御装置。
6. 車両の内装面に画像を投影する投影部に対して画像を出力する出力ステップと、
   前記車両の乗員の視覚情報を取得する取得ステップと、
   前記乗員が前記内装面に投影された１つ以上の特徴点を含む目標画像を注視している間に取得された、前記乗員が前記内装面上の前記特徴点を注視した場合の注視点の位置情報である前記視覚情報に基づき、前記内装面に投影された前記目標画像の設計状態とのずれを検出する検出ステップと、
   検出された前記ずれに基づいて投影される画像を補正する補正ステップと、を含み、
   前記検出ステップは、前記特徴点の設計上の位置と前記特徴点に対応する前記注視点の位置とを比較して前記ずれを検出し、
   前記出力ステップは、前記車両に前記投影部を組み付ける場合に、前記内装面の複数の異なる位置に表示される複数の前記特徴点を含む前記目標画像を、複数の前記特徴点を前記内装面に順番に表示させるように前記投影部に出力する、
   画像補正方法。
7. 車両の内装面に画像を投影する投影部に対して画像を出力する出力ステップと、
   前記車両の乗員の視覚情報を取得する取得ステップと、
   前記乗員が前記内装面に投影された１つ以上の特徴点を含む目標画像を注視している間に取得された、前記乗員が前記内装面上の前記特徴点を注視した場合の注視点の位置情報である前記視覚情報に基づき、前記内装面に投影された前記目標画像の設計状態とのずれを検出する検出ステップと、
   検出された前記ずれに基づいて投影される画像を補正する補正ステップと、を含む処理をコンピュータに実行させ、
   前記検出ステップは、前記特徴点の設計上の位置と前記特徴点に対応する前記注視点の位置とを比較して前記ずれを検出し、
   前記出力ステップは、前記車両に前記投影部を組み付ける場合に、前記内装面の複数の異なる位置に表示される複数の前記特徴点を含む前記目標画像を、複数の前記特徴点を前記内装面に順番に表示させるように前記投影部に出力する、
   プログラム。