JP5326328B2 - 情報表示装置 - Google Patents

Description

本発明は、情報表示装置に関する。

従来より、カメラから得られる撮像画像に基づいて、車両周辺を監視する装置が知られている（例えば、特許文献１参照）。この装置によれば、広い視野角の画像を提示するため、カメラから得られる撮像画像を処理対象として、画像が複数の領域に区分けされるとともに、区分毎に縮小または拡大といった処理が施される。具体的には、画像の縦方向に延在する２つの区切り線を境に、画像が左右の処理範囲および中央の処理範囲の３つに区分けされる。そして、例えば、左右の処理範囲は水平方向に拡大処理され、中央の処理範囲は水平方向に縮小処理される。これにより、左右の処理範囲の視認性の向上が図られる。
特開２００５−１１０２０２号公報

しかしながら、特許文献１に開示された手法によれば、画像を水平方向に縮小および拡大するため、画像に基づく方向認識または距離認識において、実際の位置との間に誤差が生じるという不都合がある。

本発明はかかる事情に鑑みてなされたものであり、その目的は、認識性に優れる情報表示装置を提供することである。

かかる課題を解決するために、本発明は、三次元形状を有する提示面の面形状を設定し、提示面の面形状と対応させて後方画像を変形させるとともに、変形させた撮像画像を提示画像として表示手段に表示する。

本発明によれば、ユーザが、提示画像における物体から想像する実空間上の位置を、物体の実際の実空間上の位置と概ね同じ位置に認識することができる。そのため、提示画像に基づいて、方向認識または距離認識を精度よく行うことができ、認識性の向上を図ることができる。

（第１の実施形態）
図１は、本発明の実施形態にかかる情報表示装置が適用された車両の運転席前方を模式的に示す説明図であり、図２は、本実施形態にかかる情報表示装置のシステム構成を示すブロック図である。この情報表示装置は、ユーザであるドライバーに情報を表示する車両用の装置であり、コントロールユニット１０と、表示部（表示手段）２０とを主体に構成される。

コントロールユニット１０は、システム全体を統合的に制御する機能を担っている。コントロールユニット１０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータを用いることができる。このコントロールユニット１０には、車速センサ１、ウィンカセンサ２、シフトポジションセンサ３、後方カメラ４およびナビゲーション装置５からの情報が入力される。

車速センサ１は、車両の速度（車速）を検出する。ウィンカセンサ２は、ウィンカの動作を検出する。シフトポジションセンサ３は、シフトレバーのポジションを検出する。後方カメラ（撮像手段）４は、図３に示すように、車両（ユーザ）の後方および側方を含むモニタリング領域の景色を撮像し、撮像画像である後方画像を出力する。本実施形態において、後方カメラ４は、概ね１８０°の撮影範囲を有する広角カメラであり、ルーフの中央に取り付けられている。後方カメラ４には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵される。

また、コントロールユニット１０は、ナビゲーション装置５の情報も読み込むことができる。ナビゲーション装置５は、ナビゲーション情報に基づいて、ドライバーに地理的な情報等を提示する装置である。ナビゲーション情報は、例えば、ナビゲーション装置５と一体化されたハードディスク装置に格納される。ナビゲーション情報は、経路検索や経路案内に用いられる情報であり、ノードデータおよび道路データを主体に構成される。ナビゲーション情報において、各道路は、交差・分岐・合流等の地点に対応するノードによって分割されており、個々のノード間の接続が道路リンクとして規定される。そのため、個々のノードを介して道路リンクを接続することにより、一連の道路形状が規定される。ノードデータは、個々のノード毎に、ノードを識別する識別番号（ノードＩＤ）、緯度および経度を用いた絶対位置情報、ノードに接続する道路リンクの固有番号（リンクＩＤ）などが互いに関連付けられたデータである。道路データは、個々の道路リンク毎に、道路リンクを識別する固有番号（リンクＩＤ）、道路リンクに該当する道路の長さ、幅、勾配、路面状態、曲率半径、種別（高速道路、自動車専用道路、一般道路）などが関連付けられたデータである。なお、ナビゲーション装置５は、道路側に設けられた道路側インフラと路車間通信を行うことにより、ナビゲーション情報を把握してもよい。

本実施形態との関係において、コントロールユニット１０は、三次元形状を有する提示面の面形状を設定する（面設定手段）。また、コントロールユニット１０は、設定される提示面の面形状と対応させて、後方カメラ４から出力される後方画像を変形させるとともに、変形させた後方画像を提示画像として表示部２０に表示する（制御手段）。

また、コントロールユニット１０は、ドライバーの運転シーンに基づいて、モニタリング領域において方向認識が重要となる領域を方向領域として設定する（領域設定手段）。この場合、コントロールユニット１０は、設置される方向領域と位置的に対応する提示画像の領域において、方向認識誤差が小さくなるように提示面の面形状を最適化する。また、コントロールユニット１０は、方向認識誤差を評価する評価関数を有し、この評価関数が最小となるように提示面の面形状を設定する。この評価関数は、提示画像の三次元形状に起因する誤差と、提示画像の両端および中央までの距離および面の反射角度に起因する誤差とを評価する。

さらに、コントロールユニット１０は、ドライバーの運転シーンに基づいて、モニタリング領域において距離認識が重要となる領域を距離領域として設定する（領域設定手段）。この場合、コントロールユニット１０は、設定される距離領域と位置的に対応する提示画像の領域が相対的に拡大表示されるように、提示面の面形状を設定する。

表示部２０は、図１に示すように、ドライバーの前方のコンソールボックスに配置されている。この表示部２０は、コントロールユニット１０に制御され、ドライバーに種々の情報を表示する。表示部２０は、液晶ディスプレイなどの周知の表示装置を用いることができる。

図４は、本発明の第１の実施形態にかかる後方画像の表示処理の手順を示すフローチャートである。このフローチャートに示す処理は、所定の周期で呼び出され、コントロールユニット１０によって実行される。

ステップ１（Ｓ１）において、運転シーンが検出される。コントロールユニット１０は、ナビゲーション装置５から情報を読み込む。そして、コントロールユニット１０は、ナビゲーション装置５の情報に基づいて、現在の走行環境が、高速道路であるか、市街地であるか、それともそれら以外であるかを判定する。また、コントロールユニット１０は、シフトポジションセンサ３からシフトレバーのポジションを読み込む。そして、コントロールユニット１０は、シフトレバーのポジションに基づいて、前進状態にあるのかそれとも後進状態にあるのかを判定する。

さらに、コントロールユニット１０は、右折、左折、右車線へのレーンチェンジ、または、左車線へのレーンチェンジが行われるか否か判定する。具体的には、コントロールユニット１０は、ナビゲーション装置５から経路情報を読み込む。この経路情報は、始点から終点までの一連の経路における案内誘導を示す情報であり、始点および終点は、ドライバーによって設定される。コントロールユニット１０は、この経路情報を参照し、右左折またはレーンチェンジが行われるか否かを判定する。なお、コントロールユニット１０は、ウィンカセンサ２の検出信号を読み込み、この検出信号に基づいて、右左折またはレーンチェンジが行われるか否かを判定してもよい。

コントロールユニット１０は、これらの判定結果に基づいて、シーン１からシーン８に予め分類された８つの運転シーンの中から、現在の運転シーンを検出する。シーン１は、高速道路および市街地以外の走行環境における前進であり、シーン２は、後進である。シーン３は、高速道路において直進である。シーン４は、高速道路で右車線にレーンチェンジであり、シーン５は、高速道路で左車線にレーンチェンジである。シーン６は、市街地において直進である。シーン７は、市街地において右車線にレーンチェンジまたは右折であり、シーン８は、市街地において左車線にレーンチェンジまたは左折である。

ステップ２（Ｓ２）において、コントロールユニット１０は、運転シーンに基づいて、方向領域および距離領域を設定する。ここで、方向領域は、モニタリング領域において、方向の認識が重要となる領域である。距離領域は、モニタリング領域において、距離の認識が重要となる領域である。

図５および図６は、方向領域および距離領域の説明図である。図５および図６に示すように、モニタリング領域において、方向領域および距離領域は、後方カメラ４を起点とする４つのライン、具体的には、カメラライン、αライン、α’ライン、γラインおよびγ’ラインによって定義される。ここで、カメララインは、車両後方に延在する。αラインは、カメララインに対して交角αとなるラインであり、カメララインよりも左側に設定される。α’ラインは、αラインに対して交角α’となるラインであり、αラインよりも左側に設定される。γラインは、カメララインに対して交角γとなるラインであり、カメララインよりも右側に設定される。γ’ラインは、γラインに対して交角γ’となるラインであり、γラインよりも左側に設定される。モニタリング領域は、αラインとγラインとに挟まれて主として車両後方を含む領域、αラインとα’ラインとに挟まれて左後方を含む領域、および、γラインとγ’ラインとに挟まれて右後方を含む領域に区分される。

これらのラインを規定する角度α，α’，γ，γ’は、実験やシミュレーションを通じて、運転シーン毎に、シーンに対応する最適値が予め設定される。例えば、自車両が高速道路で直進する場合、自車両の後方領域（自車両と同じ走行レーン）は、後続車両に対する距離認識の重要度が高い傾向を有する。また、このケースでは、自車両の右後方領域または左後方領域（隣の走行レーン）は、他車両に対する方向認識の重要度が高い傾向を有する。一方で、自車両が右車線にレーンチェンジを行おうとする場合、自車両の後方領域は、方向認識の重要度が高くなる一方、距離認識の重要度が低くなる傾向を有する。また、このケースでは、右後方領域は、方向認識に加え距離認識の重要度が高くなる傾向を有する。

図５に示すように、運転シーンがシーン１である場合、αラインとγラインと間の領域、αラインとα’ラインと間の領域およびγラインとγ’ラインと間の領域が、方向領域Ａかつ距離領域Ｂにそれぞれ設定される。一方、運転シーンがシーン２である場合、αラインとγラインとの間の領域が、距離領域Ｂに設定される。また、αラインとα’ラインとの間の領域およびγラインとγ’ラインとの間の領域が、方向領域Ａおよび距離領域Ｂにそれぞれ設定される。ここで、シーン１およびシーン２において、角度α，γは互いに同じ角度であり、角度α’，γ’は互いに同じ角度である。

図６に示すように、運転シーンがシーン３である場合、αラインとγラインとの間の領域が、距離領域Ｂに設定される。αラインとα’ラインとの間の領域およびγラインとγ’ラインとの間の領域が、方向領域Ａにそれぞれ設定される。ここで、角度α，γは互いに同じ角度であり、角度α’，γ’は互いに同じ角度である。シーン３における角度α，γは、シーン１の角度α，γよりも小さな角度に設定され、また、シーン３における角度α’，γ’は、シーン１の角度α’，γ’よりも小さな角度に設定される。

運転シーンがシーン４である場合、αラインとγラインとの間の領域が、方向領域Ａおよび距離領域Ｂに設定される。αラインとα’ラインとの間の領域が、領域Ｃ、すなわち、方向領域Ａまたは距離領域Ｂに属さない領域に設定される。γラインとγ’ラインとの間の領域が、距離領域Ｂに設定される。ここで、角度γは、シーン３の角度γよりも小さな角度に設定される。角度γ’は、γ’ラインとカメララインとの交角が、シーン３におけるγ’ラインとカメララインとの交角よりも大きくなるように設定される。また、角度α，α’は、シーン３の角度α，α’と同じ角度に設定される。

運転シーンがシーン５である場合、αラインとγラインとの間の領域が、方向領域Ａおよび距離領域Ｂに設定される。γラインとγ’ラインとの間の領域が、領域Ｃに設定される。αラインとα’ラインとの間の領域が、距離領域Ｂに設定される。ここで、角度αは、シーン３の角度αよりも小さな角度に設定される。角度α’は、α’ラインとカメララインとの交角が、シーン３におけるα’ラインとカメララインとの交角よりも大きくなるように設定される。また、角度γ，γ’は、シーン３の角度γ，γ’と同じ角度に設定される。

運転シーンがシーン６である場合、αラインとγラインとの間の領域が、距離領域Ｂに設定される。αラインとα’ラインとの間の領域およびγラインとγ’ラインとの間の領域が、方向領域Ａに設定される。ここで、角度α，γは互いに同じ角度であり、角度α’，γ’は互いに同じ角度である。また、角度α，γは、シーン３の角度α，γよりも大きな角度に設定される。角度α’，γ’は、シーン３の角度α’，γ’よりも小さな角度に設定される。この場合、角度α’は、α’ラインとカメララインとの交角が、シーン３におけるα’ラインとカメララインとの交角と同じになるように、角度が設定される。

運転シーンがシーン７である場合、αラインとγラインとの間の領域が、方向領域Ａおよび距離領域Ｂに設定される。αラインとα’ラインとの間の領域が、領域Ｃに設定され、γラインとγ’ラインとの間の領域が、距離領域Ｂに設定される。ここで、角度γは、シーン３の角度γよりも小さな角度に設定される。角度γ’は、γ’ラインとカメララインとの交角が、シーン４におけるγ’ラインとカメララインとの交角よりも大きくなるようにが設定される。また、角度α，α’は、シーン３の角度α，α’と同じ角度に設定される。

運転シーンがシーン８である場合、αラインとγラインとの間の領域が、方向領域Ａおよび距離領域Ｂに設定される。γラインとγ’ラインとの間の領域が、領域Ｃに設定され、αラインとα’ラインとの間の領域が、距離領域Ｂに設定される。ここで、角度αは、シーン３の角度αよりも小さな角度に設定される。角度α’は、α’ラインとカメララインとの交角が、シーン５におけるα’ラインとカメララインとの交角よりも大きくなるように設定される。また、角度γ，γ’は、シーン３の角度γ，γ’と同じ角度に設定される。

コントロールユニット１０は、運転シーン毎に、シーンにおいて設定される角度α，γ，α’，γ’と、各ラインによって規定される領域の種別（方向領域Ａ，距離領域Ｂおよび領域Ｃ）とを定義したテーブルを保持している。そして、コントロールユニット１０は、ステップ２において検出された運転シーンに基づいて、距離領域Ａまたは方向領域Ｂを設定する。

ステップ３（Ｓ３）において、コントロールユニット１０は、提示形状を算出する。コントロールユニット１０は、後方カメラ４からの後方画像を表示部２０に表示させる場合、三次元形状を有する仮想的な提示面の面形状と対応させて、後方カメラ４からの後方画像を変形させる。これにより、変形させた後方画像が表示部２０に表示される。換言すれば、コントロールユニット１０は、後方カメラ４からの後方画像を提示面に貼り付けた上で、これを表示部２０に表示させる。すなわち、提示面の面形状を設定することにより、後方画像の提示形状が算出される。

図７は、提示面Ｓの説明図である。ここで、Ｚ軸は、車両の前後方向に対応し、Ｘ軸は、車両の横方向に対応し、Ｙ軸は、車両の高さ方向に対応する。提示面Ｓは、ＺＸ平面において規定される曲線であるコントロールカーブＣを、Ｙ方向に延ばすことによって定義される。換言すれば、コントロールカーブＣの算出が、提示面Ｓの算出となる。提示面Ｓは、後述するように、表示部２０に表示される後方画像が、ドライバーに向かって凸となるような三次元形状を有している。

図８は、コントロールカーブＣの説明図である。本実施形態において、コントロールカーブＣは、６つの特徴点Ｐ１〜Ｐ６を用いて形状が定義される。ここで、特徴点Ｐ１〜Ｐ６は、Ｘ軸の増加方向に沿って、Ｐ１，Ｐ３，Ｐ５，Ｐ６，Ｐ４，Ｐ２，Ｐ１の順番で配置されている。同図（ａ）に示すコントロールカーブＣは、カーブが特徴点Ｐ１〜Ｐ６をそれぞれ通るようにコントロール点が配置される二次のスプライン曲線である（以下「純スプラインカーブ」という）。一方、同図（ｂ）に示すコントロールカーブＣは、複合カーブである。具体的には、この複合カーブは、特徴点Ｐ１から特徴点Ｐ３を経由して特徴点Ｐ５へ至る範囲が、純スプラインカーブのそれと形状的に対応するとともに、特徴点Ｐ２から特徴点Ｐ４を経由して特徴点Ｐ６へ至る範囲が、純スプラインカーブのそれと形状的に対応する。また、複合カーブは、特徴点Ｐ５とＰ６との間が直線となる。すなわち、複合カーブは、純スプラインカーブと、直線とによって構成される複合的なカーブである。本実施形態において、６つの特徴点Ｐ１〜Ｐ６のうち、特徴点Ｐ１，Ｐ５の間に位置する特徴点Ｐ３と、特徴点Ｐ２，Ｐ６の間に位置する特徴点Ｐ４とは、変極点として機能する。これらの特徴点Ｐ１〜Ｐ６は、後述するルールにしたがって、コントロールユニット１０によってその配置が設定される。

図９は、特徴点Ｐ１〜Ｐ６とモニタリング領域との対応関係を示す説明図である。特徴点Ｐ１は、最も左端と対応し、ＸＺ平面（その座標（Ｘ，Ｚ））において、座標（−Ｒ，０）に配置される。一方、特徴点Ｐ２は、最も右端と対応し、ＸＺ平面において、座標（Ｒ，０）に配置される。

これに対して、特徴点Ｐ５，Ｐ６は、運転シーンに応じて設定される角度α，γおよび後述するパラメータｋ１，ｋ２に基づいて、配置される。具体的には、特徴点Ｐ５は、角度αに基づいて、ＸＺ平面において、座標（−Ｒ×sin（α）×ｋ１，Ｒ×cos（α））に配置される。一方、特徴点Ｐ６は、角度γに基づいて、ＸＺ平面において、座標（Ｒ×sin（γ）×ｋ２，Ｒ×cos（γ））に配置される。

図１０は、運転シーンとパラメータｋ１，ｋ２との対応関係を示す説明図である。ｋ１，ｋ２は、Ｘ軸方向への大きさを調整するパラメータである。図１０に示すように、パラメータｋ１，ｋ２は、運転シーン毎に、その値が予め設定されている。具体的には、パラメータｋ１，ｋ２は、自車両の後方領域において、距離認識の重要度が高い程大きな値になる傾向を有する。また、パラメータｋ１，ｋ２は、自車両の左後方領域または右後方領域において距離認識の重要度が高い程小さな値になる傾向を有する。このような傾向を考慮して、パラメータｋ１，ｋ２は、実験やシミュレーションを通じて、最適値が設定されている。ここで、図９において、パラメータｋ１，ｋ２は、「１」にそれぞれ設定されている。

図１１は、変極点Ｐ３，Ｐ４の説明図である。３次元形状の提示面Ｓに対応して変形された後方画像に基づいて、モニタリング領域における方向認識を行う場合、ドライバーが安定的に方向認識を行うためには、提示面Ｓは滑らかな形状に設定されることが好ましい。すなわち、コントロールカーブＣは、滑らかな曲線形状に設定されることが好ましい。そこで、変極点Ｐ３は、変極点Ｐ３用のカーブＣＰ3上に配置し、変極点Ｐ４は、変極点Ｐ４用のカーブＣＰ4上に配置する。

変極点Ｐ３，Ｐ４の配置は、評価関数ＥＥ（Ｐ）に基づいて設定される。

（数式１）
ＥＥ（Ｐ）＝ＩＥ（Ｐ）×ＲＡ（Ｐ）
評価関数ＥＥ（Ｐ）は、コントロールカーブＣ上の任意の点Ｐにおいて、方向認識誤差を評価する関数である。

方向認識誤差は、後方画像上の点Ｐに表示される物体に基づいてドライバーが想像する物体の実空間上の位置と、その物体が実際に存在する実空間上の位置との間の開き角である。人間は、平面形状の鏡を眺めた場合、鏡に映った物体の位置を実際に存在する位置よりも遠くにあると錯覚する傾向がある。そのため、平面形状の鏡を眺めた場合と同様に、凸面形状の鏡を眺めた場合も、自分よりも外側に映っている物体（すなわち、人間の左右後方に存在する物体）について、実際の位置よりも外側の位置に存在すると感じると考えられる。これにより、物体の実際の位置とドライバーが想像する物体の位置との間に誤差が生じる。したがって、これと同様に、提示面Ｓの三次元形状に対応して後方カメラ４からの後方画像を変形させた場合にも、実際の位置と想像の位置との間に誤差が生じる。この誤差が、数式１に示す評価関数ＥＥ（Ｐ）によって表される。

図１２は、数式１における関数ＩＥ（Ｐ）と点Ｐの角度θとの関係を示す説明図である。同図（ａ）に示すように、角度θは、ＺＸ座標において、変形された後方画像上の点Ｐと原点とを結ぶ線分と、Ｚ軸との角度である。ここで、角度θは、点ＰのＸ座標が負の値である場合、負の値をとり、点ＰのＸ座標が正の値である場合、正の値をとる。コントロールユニット１０は、同図（ｂ）に示すような関数ＩＥ（Ｐ）と角度θとの対応関係を保持しており、角度θに基づいて、関数ＩＥ（Ｐ）の値を読み込む。この関数ＩＥ（Ｐ）は、提示面Ｓに対応して変形された後方画像である提示画像の三次元形状に起因する誤差を評価する機能を担っている。

そして、実空間の位置が実際に分かっている点、すなわち、原点（０，０）、特徴点Ｐ１（−Ｒ，０）、特徴点Ｐ２（Ｒ，０）を利用して、点Ｐの表面の角度（ドライバーから見た反射角度）による修正を行う。なお、端部に対応する特徴点Ｐ１，Ｐ２、または、中心に対応する原点から離れる程、修正しにくくなる。

図１３は、数式１における関数ＲＡ（Ｐ）と角度θとの対応関係を示す説明図である。同図（ａ）は、変極点Ｐ３に関する関数ＲＡ（Ｐ）と点Ｐの角度θとの対応関係を示し、同図（ｂ）は、変極点Ｐ４に関する関数ＲＡ（Ｐ）と角度θとの対応関係を示す。ここで、同図（ａ）に示すように、関数ＲＡ（Ｐ）と角度θとの対応関係は、変極点Ｐ３が特徴点Ｐ１から離れる程、矢印方向にシフトする。また、同図（ｂ）に示すように、関数ＲＡ（Ｐ）と角度θとの対応関係は、変極点Ｐ４が特徴点Ｐ２から離れる程、矢印方向にシフトする。

コントロールユニット１０は、変極点Ｐ３用のカーブＣＰ3上に変極点Ｐ３を配置し、そして、特徴点Ｐ１，Ｐ３，Ｐ５を通るコントロールカーブＣ上の点Ｐに対する関数ＲＡ（Ｐ）を、図１３（ａ）に示す関数ＲＡ（Ｐ）と角度θとの対応関係から読み出す。また、コントロールユニット１０は、変極点Ｐ４用のカーブＣＰ4上に変極点Ｐ４を配置し、そして、特徴点Ｐ２，Ｐ４，Ｐ６を通るコントロールカーブＣ上の点Ｐに対する関数ＲＡ（Ｐ）を、図１３（ｂ）に示す関数ＲＡ（Ｐ）と角度θとの対応関係から読み出す。この際、変極点Ｐ３，Ｐ４は、カーブＣＰ3，ＣＰ4上に設定され、かつ、図１４に示す角度範囲となるように設定される。この関数ＲＡ（Ｐ）は、提示画像の両端および中央までの距離および表面の反射角度に起因する誤差を評価する機能を担っている。

コントロールユニット１０は、関数ＩＥ（Ｐ）の値と、関数ＲＡ（Ｐ）の値とに基づいて、ＥＥ（Ｐ）を算出することができる。そして、コントロールユニット１０は、変極点Ｐ３，Ｐ４を通る生成可能なコントロールカーブＣの中から、ＥＥ（Ｐ）の積分が最小となる変極点Ｐ３，Ｐ４を選択（設定）する。この変極点Ｐ３，Ｐ４の設定により、方向認識の重要度が高い領域における方向認識誤差が小さくなるように、提示面Ｓの形状が最適化される。

このようにして、変極点を含む特徴点Ｐ１〜Ｐ６が決定されると、コントロールユニット１０は、これらの特徴点Ｐ１〜Ｐ６に基づいて、コントロールカーブＣを設定する。これにより、提示面Ｓの面形状が設定される。

ステップ４（Ｓ）において、コントロールユニット１０は、画像表示を行う。具体的には、コントロールユニット１０は、算出された提示面Ｓの面形状と対応させて、後方カメラ４から得られた後方画像を変形させ、これにより、提示画像を作成する。

図１５は、モニタリング領域を示す説明図である。モニタリング領域には、黒点示すように、後方カメラ４を中心とする所定半径の円周上に、等ピッチでパイロンが配置されている。図１６は、後方カメラ４からの後方画像と、特徴点Ｐ１〜Ｐ６およびコントロールカーブＣとの位置的な関係を示す説明図である。コントロールユニット１０は、提示画像の作成にあたり、後方画像の左端を特徴点Ｐ１の位置に貼り付け、後方画像の右端を特徴点Ｐ２の位置に貼り付ける。また、コントロールユニット１０は、カメララインとの交角が角度αとなるαラインに対応する画像上の位置（以下「α位置」という）を、特徴点Ｐ５に貼り付け、カメララインとの交角が角度γとなるγラインに対応する画像上の位置（以下「γ位置」という）を、特徴点Ｐ６に貼り付ける。さらに、コントロールユニット１０は、リニアマッピングにより、後方画像の左端からα位置までの画像を、特徴点Ｐ１から特徴点Ｐ５までのコントロールカーブＣに貼り付け、後方画像の右端からγ位置までの画像を、特徴点Ｐ２から特徴点Ｐ６までのコントロールカーブＣに貼り付ける。同様に、コントロールユニット１０は、リニアマッピングにより、α位置からγ位置までの画像を、特徴点Ｐ５から特徴点Ｐ６までのコントロールカーブＣに貼り付ける。

そして、コントロールユニット１０は、作成された提示画像が表示されるように、表示部２０を制御する。図１７は、図１５に示すモニタリング領域を後方カメラ４で撮像した場合における、表示部２０に表示される画像（提示画像）を示す説明図である。同図において、（ａ）は、運転シーンとしてシーン３が検出されたケースにおける提示画像を示し、（ｂ）は、運転シーンとしてシーン７が検出されたケースにおける提示画像を示す。

このように本実施形態によれば、情報表示装置は、三次元形状を有する提示面の面形状を設定し、提示面の面形状と対応させて後方画像を変形させるとともに、変形させた後方画像を提示画像として表示部２０に表示する。これにより、ドライバーが、提示画像における物体から想像する実空間上の位置と、物体の実際の実空間上の位置とを概ね同じ位置に認識することができる。そのため、提示画像に基づいて、方向認識または距離認識を精度よく行うことができる。

また、本実施形態によれば、変極点Ｐ３，Ｐ４の設定により、方向領域と位置的に対応する提示画像の領域において方向認識誤差が小さくなるように、提示面の面形状が最適化される。これにより、提示画像に基づく方向認識において、誤差が抑制されるので、精度よく方向認識を行うことができる。また、本実施形態によれば、方向認識誤差を評価する評価関数ＥＥ（Ｐ）が最小となるように、提示面の面形状が設定される。これにより、方向認識誤差が最小化されるので、方向認識を精度よく行うことができる。

また、本実施形態によれば、パラメータｋ１，ｋ２により、距離領域と位置的に対応する提示画像の領域が相対的に拡大表示されるように、提示面の面形状が設定される。これにより、距離認識を安定して行うことができる。そのため、多少の認識誤差があっても、ドライバーの誤差に対する補正がしやすくなる。

（第２の実施形態）
図１８は、第２の実施形態にかかる情報表示装置のシステム構成を示すブロック図である。この第２の実施形態にかかる情報表示装置が、第１の実施形態のそれと相違する点は、提示画像によりドライバーへの注意喚起を行うことである。なお、本実施形態にかかる情報表示装置において、システム構成および画像表示の処理手法は、第１の実施形態と基本的に同じであり、以下、相違点を中心に説明を行う。

本実施形態では、コントロールユニット１０には、視線カメラ６からの情報（撮像画像）が入力される。視線カメラ６は、眼部を中心としたドライバーの顔を含む景色を撮像するカメラであり、例えば、インストルメントパネルに取り付けられている。視線カメラ６には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。

本実施形態において、コントロールユニット１０は、モニタリング領域において、ドライバーに急接近する物体を検出する（物体検出手段）。この場合、コントロールユニット１０は、ドライバーに急接近する物体が検出された場合、提示画像において、物体が表示される位置と位置的に対応する箇所の面形状を経時的に揺動変化させるように、提示面の面形状を設定する。また、コントロールユニット１０は、ユーザの視線を検出する（視線検出手段）。この場合、コントロールユニット１０は、視線検出の検出結果に基づいて、ユーザが表示部２０を視認したことを判断した場合、揺動変化を終了させる。

図１９は、本実施形態にかかる後方画像の表示処理の手順を示すフローチャートである。このフローチャートに示す処理は、所定の周期で呼び出され、コントロールユニット１０によって実行される。

まず、第１の実施形態と同様に、ステップ１において、コントロールユニット１０は、運転シーンを検出し、ステップ２において、コントロールユニット１０は、運転シーンに基づいて、方向領域および距離領域を設定する。

ステップ２に続くステップ５（Ｓ５）において、コントロールユニット１０は、自車両に急接近する物体を検出したか否かを判断する。具体的には、コントロールユニット１０は、後方カメラ４から後方画像を読み込む度に、画像処理により、物体認識を行う。そして、コントロールユニット１０は、時系列的に認識される物体の変化（例えば、後方画像に占める物体の大きさ変化、または、画像処理により得られる物体までの相対距離の変化）に基づいて、物体が自車両に急接近するか否かを判断する。

このステップ５において肯定判定された場合、すなわち、物体が急接近する場合には、ステップ６（Ｓ６）に進む。これに対して、ステップ５において否定判定された場合、すなわち、物体が急接近しない場合には、ステップ７（Ｓ７）に進む。

ステップ６において、コントロールユニット１０は、視線カメラ６からの撮像画像に基づいて、ドライバーの視線方向を検出する。

そして、ステップ７において提示形状が算出され、ステップ８（Ｓ８）において画像表示が行われる。ステップ７において、コントロールユニット１０は、提示形状を算出する。提示形状の算出処理、および、画像の表示処理は、第１の実施形態におけるステップ３，４の処理と基本的に同様である。しかしながら、ステップ５において肯定判定されたケースでは、処理の内容が、以下の点において相違する。具体的には、コントロールユニット１０は、第１の実施形態に示す特徴点Ｐ１〜Ｐ６（変極点Ｐ３，４を含む）に加え、新たな変極点ＤＰを配置する。ここで、変極点ＤＰは、急接近している物体が表示されるであろう位置に配置される。

図２０は、変極点ＤＰを例示する説明図である。コントロールユニット１０は、画像表示において、変極点ＤＰをＺ軸と平行に振動させることにより、急接近する物体を強調的に表示する。コントロールユニット１０は、検出された視線方向に基づいて、ドライバーが表示部２０を視認している場合には、変極点ＤＰの振動を停止させるとともに、変極点ＤＰを削除する。

このように本実施形態によれば、変極点ＤＰにより、急接近する物体が表示される位置と位置的に対応する箇所の面形状を経時的に揺動変化させるように、提示面の面形状が設定される。これにより、ドライバーに急接近する物体を早期に認識させることができる。

また、本実施形態によれば、ドライバーが表示部を視認したことを判断した場合、揺動変化を終了させる。これにより、画像の変形を最適に行うことができる。

以上、本発明の実施形態にかかる情報表示装置について説明したが、本発明は上述した実施形態に限定されることなく、その発明の範囲内において種々の変形が可能である。例えば、情報表示装置は、車両用としてだけでなく、種々の用途で適用することができる。このケースでは、情報を表示する表示手段は、ユーザの前方に配置されている。また、撮像手段は、ユーザの後方および側方を含むモニタリング領域の景色を撮像する。

情報表示装置が適用された車両の運転席前方を模式的に示す説明図 第１の実施形態にかかる情報表示装置のシステム構成を示すブロック図 モニタリング領域の説明図 第１の実施形態にかかる後方画像の表示処理の手順を示すフローチャート 方向領域および距離領域の説明図 方向領域および距離領域の説明図 提示面Ｓの説明図 コントロールカーブＣの説明図 特徴点Ｐ１〜Ｐ６とモニタリング領域との対応関係を示す説明図 運転シーンとパラメータｋ１，ｋ２との対応関係を示す説明図 変極点Ｐ３，Ｐ４の説明図 数式１における関数ＩＥ（Ｐ）と点Ｐの角度θとの関係を示す説明図 数式１における関数ＲＡ（Ｐ）と角度θとの対応関係を示す説明図 角度範囲の説明図 モニタリング領域を示す説明図 後方カメラ４からの後方画像と特徴点Ｐ１〜Ｐ６およびコントロールカーブＣとの位置的な関係を示す説明図 表示部２０に表示される画像（提示画像）を示す説明図 第２の実施形態にかかる情報表示装置のシステム構成を示すブロック図 第２の実施形態にかかる後方画像の表示処理の手順を示すフローチャート 変極点ＤＰを例示する説明図

符号の説明

１ 車速センサ
２ ウィンカセンサ
３ シフトポジションセンサ
４ 後方カメラ
５ ナビゲーション装置
６ 視線カメラ
１０ コントロールユニット
２０ 表示部

Claims (6)

1. 車両に搭載される情報表示装置において、
   ユーザの前方に配置されており、情報を表示する表示手段と、
   ユーザの後方および側方を含むモニタリング領域の景色を撮像し、撮像画像を出力する撮像手段と、
   三次元形状を有する提示面の面形状を設定する面設定手段と、
   前記面設定手段によって設定される提示面の面形状と対応させて、前記撮像手段から出力される撮像画像を変形させるとともに、当該変形させた撮像画像を提示画像として前記表示手段に表示する制御手段と、を有し、
   前記面設定手段は、前記提示画像に含まれる物体に基づいてユーザが想像する実空間上の位置と、前記物体の実際の実空間上の位置との開き角を方向認識誤差として評価する評価関数を有し、
   更に、前記面設定手段は、前記評価関数にて表される方向認識誤差が小さくなるように前記提示面の面形状を設定すること
   を特徴とする、情報表示装置。
2. 前記面設定手段は、前記評価関数にて表される方向認識誤差が最小となるように前記提示面の面形状を設定することを特徴とする請求項１に記載された情報表示装置。
3. 前記評価関数は、前記提示画像の三次元形状に起因する誤差と、前記提示画像の両端および中央までの距離および表面の反射角度に起因する誤差とを評価することを特徴とする請求項２に記載された情報表示装置。
4. 前記モニタリング領域内の、方向認識が重要となる領域を方向領域として設定する領域設定手段を更に備え、
   前記面設定手段は、前記方向領域と位置的に対応する前記提示画像の領域において、方向認識誤差が小さくなるように、前記提示面の面形状を設定し、
   更に、
   前記領域設定手段は、前記モニタリング領域において距離認識が重要となる領域を距離領域として設定し、
   前記面設定手段は、前記領域設定手段によって設定される前記距離領域と位置的に対応する前記提示画像の領域が相対的に拡大表示されるように、前記提示面の面形状を設定することを特徴とする請求項１から３のいずれか一項に記載の情報表示装置。
5. 前記モニタリング領域において、ユーザに急接近する物体を検出する物体検出手段をさらに有し、
   前記面設定手段は、前記物体検出手段によってユーザに急接近する物体が検出された場合、前記提示画像において、前記物体検出手段によって検出される物体が表示される位置と位置的に対応する箇所の面形状を経時的に揺動変化させるように、前記提示面の面形状を設定することを特徴とする請求項１から４のいずれか一項に記載された情報表示装置。
6. ユーザの視線を検出する視線検出手段をさらに有し、
   前記面設定手段は、前記視線検出手段の検出結果に基づいて、ユーザが前記表示手段を視認したことを判断した場合、前記揺動変化を終了させることを特徴とする請求項５に記載された情報表示装置。

Images