JP6343629B2 - 表示制御装置、表示制御方法、および表示制御プログラム - Google Patents

Description

本発明は、表示制御装置、表示制御方法、および表示制御プログラムに関する。

一般的に車両には、ドライバーが後方および後側方を確認するためのドアミラーが前席ドアに取り付けられている。ドアミラーは、車体から飛び出しているため、例えば、狭い場所では人と接触する場合がある。そこで、近年、ドアミラーの代わりとして、カメラとディスプレイ装置とを組み合わせた電子ドアミラーが提案されている。

また、平坦部と該平坦部から左右に延びた湾曲部とから構成されるミラー面が形成されたミラー部材と、ミラー面を撮像する撮像装置と、を備える後方視認装置が知られている（例えば、特許文献１参照）。

特開２００８−１００５５４号公報

特許文献１記載の装置は、ミラー部材による反射映像を使用するため、広視野を実現する場合、装置のサイズが大きくなる。サイズの大きい装置は空気抵抗が大きくなるため、燃費が悪化するという問題がある。

本発明は、広視野を実現しつつ光学系を小さくすることを目的とする。

実施の形態に係る表示制御装置は、車両の後側方を撮影し、光学系を介して撮影対象からの光を受光する撮像素子を含むカメラの制御を行う。

前記制御装置は、算出部、位置制御部、および表示処理部を備える。
前記算出部は、前記光学系の光軸に対する前記撮像素子の基準位置のシフト量を算出する。

前記位置制御部は、前記シフト量に応じて、前記撮像素子の前記基準位置を前記光軸から遠ざかる方向に移動させる制御を行う。

前記表示処理部は、前記カメラにより撮影された画像に基づく表示画像を生成し、表示部に表示させる。

実施の形態に係る表示制御装置によれば、広視野を実現しつつ光学系を小さくすることができる。

実施の形態に係るシステムの構成図である。 車両へのカメラの設置例を示す図である。 通常時の撮影画像と死角領域を示す図である。 シフト時の撮影画像を示す図である。 車内から見た表示部の設置例を示す図である。 通常時のセンサの位置を示す図である。 通常時の撮影範囲を示す図である。 通常時の撮影画像を示す図である。 シフト時のセンサの位置を示す図である。 シフト時の撮影範囲を示す図である。 シフト時の撮影画像を示す図である。 センサと光軸の位置の関係を示す図である。 通常時のセンサの位置を示す図である。 通常時の撮影画像を示す図である。 シフト時のセンサの位置を示す図である。 シフト時の撮影画像を示す図である。 カメラにより撮影された画像を表示部に表示する処理の流れを示す図である。 車外の状況および自車の状態に基づいてセンサを移動させる処理の流れを示す図である。 車内の状況および自車の状態に基づいてセンサを移動させる処理の流れを示す図である。 ドライバーからの入力に基づいてセンサを移動させる処理の流れを示す図である。 実施の形態に係るセンサ移動処理のフローチャートである。 撮影画像に対する画像処理と表示部への表示処理の流れを示す図である。 撮影画像の補正領域を示す図である。 実施の形態に係る画像処理のフローチャートを示す図である。 情報処理装置（コンピュータ）の構成図である。

以下、図面を参照しながら実施の形態について説明する。
図１は、実施の形態に係るシステムの構成図である。

システム１０１は、カメラ２０１−ｉ（ｉ＝１，２）、表示制御部３０１、車外センシング部４０１、車内センシング部５０１、入力装置６０１、および表示部７０１−ｉを備える。

システム１０１は、例えば、車両に搭載される。
カメラ２０１−ｉは、車両の車外前席ドアに取り付けられ、車両の後方および後側方を撮影する。カメラ２０１−ｉにより撮影された画像（撮影画像と称する）は、表示制御部３０１に出力される。カメラ２０１−ｉは、画角を変更することが出来る。

カメラ２０１−ｉは、レンズ群２１１−ｉ、センサ２２１−ｉ、およびセンサ駆動部２３１−ｉを備える。

レンズ群２１１−ｉは、撮影対象（被写体）からの光を屈折させて、センサ２１１−ｉ上に像をつくる。レンズ群２１１−ｉは、例えば、複数のレンズを組み合わせることにより構成される。レンズ群２１１−ｉに含まれる複数のレンズそれぞれの光軸は一致している。また、レンズ群２１１−ｉの光軸は、レンズ群２１１−ｉを１つのレンズと見なしたときの光軸である。レンズ群２１１−ｉは、光学系の一例である。

センサ２２１−ｉは、レンズ群２２１−ｉを通して入力された光を電気信号に変換し、撮影画像を生成する。センサ２２１−ｉは、例えば、Charge Coupled Device（ＣＣＤ）イメージセンサ、またはComplementary Metal Oxide Semiconductor（ＣＭＯＳ）イメージセンサ等である。センサ２２１−ｉは、撮像素子の一例である。

センサ駆動部２３１−ｉは、センサ位置制御部３１１により制御され、センサ２２１−ｉの位置を移動させる。

図２は、車両へのカメラの設置例を示す図である。
図２は、カメラ２０１−ｉが取り付けられた車両（４輪自動車）１００を上から見た場合の図を示している。図２の矢印は車両１００の前方方向を示す。

カメラ２０１−１は、車両１００の前席左ドアの外側（車外）に取り付けられ、カメラ２０１−２は、車両１００の前席右ドアの外側に取り付けられる。カメラ２０１−１は、車両１００の左後方および左後側方を撮影し、カメラ２０１−２は、車両１００の右後方および右後側方を撮影する。

実施の形態において、カメラ２０１−１の画角は、通常時、光軸を中心として左側２５度、右側２５度の計５０度である。カメラ２０１−１は、センサ２２１−１を移動（シフト）させることにより、カメラ２０１−１の撮影方向の右側（車両１００を基準とすると左側）の画角を増加させることが出来る。例えば、センサ２２１−１を移動させた時（シフト時）のカメラ２０１−１の撮影方向の右側の画角は、通常時より１５度増加して、カメラ２０１−１の画角は６５度となる。尚、画角の増加値は、一例であり、１５度より大きくても小さくてもよい。

図３は、通常時の撮影画像と死角領域を示す図である。
図４は、シフト時の撮影画像を示す図である。

例えば、通常時には、図３に示すような撮影画像８０１がカメラ２０１−１により撮影され、シフト時には、図４に示すような撮影画像８０２がカメラ２０１−１により撮影さる。

通常時の撮影画像８０１には、画角５０度の範囲に含まれる家が写っている。しかしながら、カメラ２０１−１の通常時の撮影範囲より右側の死角領域８０３に存在する木は、撮影画像８０１には写らない。

一方、シフト時には、カメラ２０１−１の撮影方向の右側の画角が増加し、通常時には撮影されなかった死角領域も撮影され、撮影画像８０１に写っていた家に加えて、死角領域に存在していた木も撮影画像８０２に写っている。撮影画像８０２に左側には、画角２５度の範囲が写っており、右側には、画角２５度と１５度の範囲が写っている。

このように、カメラ２０１−１はシフト時に、通常時にカメラ２０１−１には映らない死角領域も撮影することが可能となる。

また、カメラ２０１−２も同様に、センサ２２１−２を移動させることにより、カメラ２０１−２の撮影方向の左側（車両１００を基準とすると右側）の画角を増加させることが出来る。これにより、カメラ２０１−２はシフト時に、通常時にカメラ２０１−２には映らない死角領域も撮影することが可能となる。

図１に戻り説明を続ける。
表示制御部３０１は、車外センシング部４０１、車内センシング部５０１、および入力装置６０１からの入力に基づいて、カメラ２０１−ｉの制御を行う。表示制御部３０１は、センサ２２１−ｉの位置を制御し、広視野の表示画像を表示部７０１−ｉに表示させる。

表示制御部３０１は、センサ位置制御部３１１、画像処理部３２１、センシング情報処理部３３１、自車情報収集部３４１、算出部３５１、および表示処理部３６１を備える。表示制御部３０１は、例えば、Electronic Control Unit（ＥＣＵ）により実現される。また、センサ位置制御部３１１、画像処理部３２１、センシング情報処理部３３１、自車情報収集部３４１、算出部３５１、および表示処理部３６１のそれぞれがＥＣＵにより実現され、互いにネットワークを介して接続していてもよい。

センサ位置制御部３１１は、算出部３５１から受信したシフト量に基づいて、センサ駆動部２３１−ｉを制御する制御信号を出力し、センサ２２１−ｉを移動させる。センサ位置制御部３１１は、シフト量に応じて、センサ２２１−ｉの基準位置をレンズ群２１１−ｉの光軸から遠ざかる方向に移動させる制御を行う。

画像処理部３２１は、カメラ２０１−ｉにより撮影された撮影画像に対して、補正処理等の画像処理を行う。

センシング情報処理部３３１は、車外センシング部４０１および車内センシング部５０１から、車外センシング部４０１および車内センシング部５０１がそれぞれ検出した情報を受信し、受信した情報から算出部３５１で利用可能な情報を算出し、算出部３５１に出力する。

自車情報収集部３４１は、自車の情報を不図示のElectronic Control Unit（ＥＣＵ）や自車に取り付けられているセンサ等から収集する。自車の情報は、例えば、自車の速度、操舵角、アクセルペダルの角度、またはブレーキペダルの角度等である。

算出部３５１は、センシング情報処理部３３１、自車情報収集部３４１、および入力装置６０１から情報を受信し、当該情報に基づいて、センサ２２１−１のシフト量を算出し、センサ位置制御部３１１に出力する。

表示処理部３６１は、表示部７０１−ｉの制御を行う。表示処理部３６１は、カメラ２０１−１により撮影された撮影画像の左右を反転した画像（表示画像と称する）を生成し、表示部７０１−１に出力し、表示部７０１−１に表示画像を表示させる。表示処理部３６１は、カメラ２０１−２により撮影された撮影画像の左右を反転した表示画像を生成し、表示部７０１−２に出力し、表示部７０１−２に表示画像を表示させる。

車外センシング部４０１は、車両の近くにいる人の有無等の車外の状況を検出するセンサである。車外センシング部４０１は、例えば、ソナー、レーダー、またはカメラ等である。

車内センシング部５０１は、ドライバーの状態（例えば、視線方向）等の車内の状況を検出するセンサである。車内センシング部５０１は、例えば、ドライバーの視線方向を検出する視線センサ、カメラ、または赤外線センサ等である。

入力装置６０１は、ドライバーからの指示や情報が入力される。入力装置６０１は、例えば、ナビゲーション装置、車両のインストルメント・パネルに取り付けられた可変つまみやスイッチ等である。

表示部７０１−ｉは、カメラ２０１−ｉにより撮影され、表示制御部３０１により処理された画像を表示する。表示部７０１−ｉは、例えば、液晶ディスプレイである。

図５は、車内から見た表示部の設置例を示す図である。
表示部７０１−ｉは、運転手の視野に入る位置に設置される。さらに、ドライバー（運転席）を中心として、車両の左後方および左後側方の画像はドライバー（運転席）の左側、車両の右後方および右後側方の画像はドライバー（運転席）の右側に表示されるように、表示部７０１−ｉは設置される。図５において、表示部７０１−１は、ドライバー（運転席）を中心として、ドライバー（運転席）の正面方向の左側に配置され、表示部７０１−２は、ドライバー（運転席）の正面方向の右側に配置される。また、図５において、表示部７０１−ｉは、ステアリングホイールの中央よりやや上部に左右に並べて配置されている。

表示部７０１−１には、車両の左後方および左後側方の画像が表示され、表示部７０１−２には、車両の右後方および右後側方の画像が表示される。詳細には、表示部７０１−１は、カメラ２０１−１により撮影された撮影画像の左右を反転した画像を表示し、表示部７０１−２は、カメラ２０１−２により撮影された撮影画像の左右を反転した画像を表示する。表示部７０１−ｉに表示する画像をカメラ２０１−ｉにより撮影された撮影画像の左右を反転した画像とするのは、ドライバーが通常の光学ミラーで見る状態と同様の配置とするためである。また、表示部７０１−ｉに表示される画像は、表示画像と称する。

また、表示部７０１−ｉは、メーターパネル内またはステアリングホイールの上部に配置してもよい。また、表示部７０１−ｉとしてプロジェクタを用いて、画像をフロントガラスに投影して表示してもよい。

次に、カメラ２０１−１の構造とセンサ２２１−１の位置に対応する撮影画像について説明する。

図６は、通常時のセンサの位置を示す図である。
図６は、図２と同様に車両１００に取り付けたカメラ２０１−１を上から見た場合の図である。

センサ２２１−１の撮像面は、レンズ群２１１−１の光軸および地面に対して垂直に配置されている。

実施の形態において、レンズ群２１１−１の光軸上にセンサ２２１−１の基準位置がある場合を通常時と称する。また、レンズ群２１１−１の光軸上にセンサ２２１−１の基準位置がない場合をシフト時と称する。実施の形態において、基準位置は、例えば、センサ２２１−１の中心である。センサ２２１−１の中心は、例えば、センサ２２１−１が長方形である場合、長辺それぞれの中間を結んだ線と短辺それぞれの中間を結んだ線の交点である。

図６のカメラ２０１−１において、センサ駆動部２３１−１は、ラック２３２−１、ピニオンギア２３３−１、およびモータ２３４−１を備える。

ラック２３２−１は、平板状の棒に歯を刻んだものであり、センサ２２１−１の背面に取り付けられている。

ピニオンギア２３３−１は、ラック２３２−１と噛合し、モータ２３４−１により回転する。

モータ２３４−１は、ピニオンギア２３３−１を回転させ、それによりセンサ２２１−１をレンズ群２１１−１の光軸に対して垂直方向に移動させる。また、センサ２２１−１が移動する方向は、地面に対して水平方向である。

また、センサ２２１−１の位置は、上記のようなラック２３２−１やピニオンギア２３３−１等を用いた機械制御により制御されるだけでなく、センサ駆動部２３１−１としてリニアモータ等を用いて電子制御により制御されてもよい。

ここで、カメラ２０１−１は、撮影対象として升目が記載されたテストチャート８１１を撮影する。通常時のカメラ２０１−１の撮影範囲は、図７のテストチャート８１１の太線で囲まれた領域となり、図８に示すような撮影画像８１２が撮影される。尚、テストチャート８１１の升目が記載された面は、レンズ群２１１−１の光軸に対して垂直になっている。よって、図６におけるテストチャート８１１は、上部からではなく、カメラ２０１−１の撮影方向から見た場合の状態を示す。

図６において、レンズ群２１１−１を通ってテストチャート８１１とセンサ２２１−１を結ぶ線は、撮影対象の各位置が結像するセンサ２２１−１の位置を示す。

次に、センサ２２１−１を移動させた場合について説明する。
図９は、シフト時のセンサの位置を示す図である。

図９は、図６のセンサ２２１−１を移動させた場合の図である。図９において、センサ２２１−１は、通常時と比較して、シフト量だけレンズ群２１１−１の光軸に対して垂直方向且つ車両１００に近づく方向に移動している。また、センサ２２１−１が移動する方向は、地面に対して水平方向である。尚、通常時のセンサ２２１−１上のレンズ群２１１−１の光軸の位置（基準位置）と、シフト時のセンサ２２１−１上のレンズ群２１１−１の光軸の位置との差分をシフト量と称する。シフト量は、レンズ群２１１−１の光軸に対するセンサ２２１−１の基準位置の移動量を示す。センサ駆動部２３１−１は、通常時よりシフト量だけセンサ２２１−１の基準位置がレンズ群２１１−１の光軸から遠ざかる方向にセンサ２２１−１を移動させる。

センサ２２１−１が移動することにより、通常時にはカメラ２０１−１に写らなかった領域が写るようになる。

図６と同様にテストチャート８１１を撮影すると、シフト時のカメラ２０１−１の撮影範囲は、図１０のテストチャート８１１の太線で囲まれた領域となり、点線で示される通常時の撮影範囲より広く（広視野に）なっている。詳細には、シフト時の撮影範囲は、通常時の撮影範囲より、右側、右上、および右下の範囲が広くなっている。

シフト時には、図１１に示すような撮影画像８１３が撮影され、撮影画像８１３の右側は、通常時よりも広くなった撮影範囲が圧縮されて写っている。

図１２は、センサと光軸の位置の関係を示す図である。
図１２は、図９においてレンズ群２１１−１からセンサ２２１−１の方向にセンサ２２１−１を見た場合の図である。

図１２において、センサ２２１−１は長方形であり、センサ２２１−１の中心は、長辺それぞれの中間を結んだ線と短辺それぞれの中間を結んだ線の交点である。尚、センサ２２１−１の長辺（図１２において、センサ２２１−１の上下の辺）は、地面に対して水平であり、センサ２２１−１の短辺（図１２において、センサ２２１−１の左右の辺）は、地面に対して垂直であるとする。水平方向は、地面に対して平行な方向である。

図６に示す通常時には、レンズ群２１１−１の光軸はセンサ２２１−１の中心の位置にある。図９に示すシフト時には、レンズ群２１１−１の光軸は、センサ２２１−１の中心より水平方向左側にセンサ２２１−１の長辺の４分の１の長さだけ移動した場所に位置している。すなわち、シフト時にはセンサ２２１−１は、レンズ群２１１−１からセンサ２２１−１の方向を見た場合、水平方向右側にセンサ２２１−１の長辺の４分の１の長さだけ移動する。

図１２の光軸を中心とした２つの点線で示された円のうち、内側の円は画角２５度の範囲を示し、外側の円は画角１０５度の範囲を示す。通常時には、カメラ２０１−１の画角は、図３に示すように５０度であるが、図１２に示すようにシフト時には、センサ２２１−１の右端は、光軸を中心として画角１０５度の範囲の右端まで写すことができ、センサ２２１−１の左端は、光軸を中心として画角２５度の範囲の左端まで写すことができる。よって、シフト時には、図４に示すような撮影画像８０２が得られ、左側には、画角２５度の範囲が写っており、右側には、画角２５度と１５度の範囲が写る。

このように、センサ２２１−１を、レンズ群２１１−１からセンサ２２１−１の方向を基準とした場合の水平方向右側（言い換えれば、カメラ２０１−１の撮影方向を基準とした場合の水平方向左側）に移動すると、右側の画角が増加し、通常時の撮影領域の右側の死角領域を撮影可能となる。同様にセンサ２２１−２を、レンズ群２１１−２からセンサ２２１−２の方向を基準とした場合の水平方向左側（言い換えれば、カメラ２０１−２の撮影方向を基準とした場合の水平方向右側）に移動すると、左側の画角が増加し、通常時の撮影領域の左側の死角領域を撮影可能となる。

次に、テストチャート８１１の代わりに車外の風景を写した場合の通常時とシフト時のそれぞれの撮影画像について説明する。

図１３は、通常時のセンサの位置を示す図である。
図１３は、図６と同様に車両１００に取り付けたカメラ２０１−１を上から見た場合の図である。尚、図１３において、車両１００およびセンサ駆動部２３１−１の記載は省略している。図１３において、車両の左後側方に家と木がある。また、車両を基準として木は家より左側に存在する。すなわち、カメラ２０１−１から見ると、木は家より右側に存在する。

通常時において、カメラ２０１−１の撮影範囲内には家のみが存在し、木は死角領域に存在する。それにより、通常時には、図１４に示す撮影画像８２１が撮影され、撮影画像８２１には家のみが写っている。

図１５は、シフト時のセンサの位置を示す図である。
図１５は、図１３のセンサ２２１−１を移動させた場合の図である。図１５において、センサ２２１−１は、通常時と比較して、算出部３５１で算出されたシフト量だけレンズ群２１１−１の光軸に対して垂直方向且つ車両１００に近づく方向（レンズ群２１１−１からセンサ２２１−１の方向を基準とした場合の右側方向）に移動している。また、センサ２２１−１が移動する方向は、地面に対して水平方向である。

センサ２２１−１が移動することにより、カメラ２０１−１の撮影方向の右側の画角が増加し、通常時には撮影されなかった死角領域も撮影される。それにより、図１６に示す撮影画像８２２が撮影され、撮影画像８２２には家と木が写っている。また、撮影画像８２２の左側は、レンズ群２１１−１の中心付近を通った光により得られた像であるため高解像であり、高解像部分と称する。また、撮影画像８２２の右側は、レンズ群２１１−１の周辺部の歪曲収差を利用して得られた通常時よりも広視野の領域であり、広視野部分と称する。また、広視野部分は、高解像部分よりも低解像である。

車両１００の左後方および左後側方が写った撮影画像８２２は左右反転され、左右反転された画像（表示画像）がドライバーの中心より左側に設置された表示部７０１−１に表示される。よって、表示部７０１−１に表示画像が表示されたときに、表示画像のドライバーに近い側（中央部）が高解像部分となり、表示画像のドライバーから遠い側（周辺部）が広視野部分となる。

図１７は、カメラにより撮影された画像を表示部に表示する処理の流れを示す図である。図１７では、カメラ２０１−１により撮影された画像を表示部７０１−１に表示する場合を説明する。

撮影範囲からの光がレンズ群２１１−１を通って、センサ２２１−１に入力される。センサ２２１−１は、入力された光を電気信号に変換し、撮影画像８２２を生成する。センサ２２１−１は、撮影画像８２２を画像処理部３２１に出力する。

画像処理部３２１は、入力された撮影画像８２２を表示処理部３６１に出力する。表示処理部３６１は、入力された撮影画像８２２の左右を反転した表示画像８２３を生成し、表示部７０１−１に出力する。表示部７０１は、入力された表示画像８２３を表示する。尚、画像処理部３２１は、補正処理を入力された撮影画像８２２に対して行い、補正した撮影画像を表示処理部３６１に出力してもよい。

また、カメラ２０１−２により撮影された画像を表示部７０１−２に表示する場合の処理も上述の処理と同様である。

図１８は、車外の状況および自車の状態に基づいてセンサを移動させる処理の流れを示す図である。図１８では、センサ２２１−１を移動させる場合を説明する。

車外センシング部４０１は、車外の状況を検出し、車外の状況を示す情報をセンシング情報処理部３３１に送信する。車外の状況を示す情報は、例えば、カメラによる画像、またはソナーやレーダーの測定結果等である。

センシング情報処理部３３１は、車外センシング部４０１から検出した情報を受信し、検出した情報から算出部３５１で利用可能な情報（車外センシング情報と称する）を算出し、算出部３５１に送信する。車外センシング情報は、例えば、車両の近くの人や障害物の有無、車両の近くの人の人数、車両と人や障害物との距離等である。例えば、センシング情報処理部３３１は、カメラによる画像またはソナーやレーダーの測定結果を用いて、車両の近くの人や障害物の有無、車両の近くの人の人数、車両と人や障害物との距離等を算出する。

自車情報収集部３４１は、自車の情報を不図示のＥＣＵや自車に取り付けられているセンサ等から収集する。自車の情報は、例えば、自車の速度、操舵角、アクセルペダルの角度、またはブレーキペダルの角度等である。自車情報収集部３４１は、収集した自車の情報を算出部３５１に送信する。

算出部３５１は、車外センシング情報および自車の情報に基づいて、センサ２２１−ｉのシフト量を算出する。例えば、算出部３５１は、センサ２２１−１のシフト量と、車外センシング情報および自車情報収集部３４１に入力される情報と、を対応付けたテーブルを格納し、当該テーブルを参照して、入力された情報に対応するセンサ２２１−１のシフト量を算出する。算出部３５１は、算出したセンサ２２１−ｉのシフト量をセンサ位置制御部３１１に送信する。

例えば、算出部３５１は、車両の近くの人の人数が多い場合には、センサ２２１−１のシフト量を大きくし、広視野範囲の拡大を実現する。

センサ位置制御部３１１は、センサ２２１−１のシフト量を受信し、受信したシフト量に対応する位置にセンサ２２１−１を移動させる制御信号をセンサ駆動部２３１−１に送信する。センサ駆動部２３１−１は、受信した制御信号に応じて、算出部３５１で算出されたシフト量に対応する位置にセンサ２２１−１を移動する。

図１９は、車内の状況および自車の状態に基づいてセンサを移動させる処理の流れを示す図である。図１９では、センサ２２１−１を移動させる場合を説明する。

車内センシング部５０１は、車内の状況を検出し、車内の状況を示す情報をセンシング情報処理部３３１に送信する。車内の状況を示す情報は、例えば、ドライバーの視線方向を示すベクトル等である。

センシング情報処理部３３１は、車内センシング部５０１から車内センシング部５０１が検出した情報を受信し、車内センシング部５０１が検出した情報から算出部３５１で利用可能な情報（車内センシング情報）を算出し、算出部３５１に送信する。車内センシング情報は、例えば、ドライバーの視線方向や視線の範囲である。

自車情報収集部３４１は、自車の情報を不図示のＥＣＵや自車に取り付けられているセンサ等から収集する。自車の情報は、例えば、自車の速度、操舵角、アクセルペダルの角度、またはブレーキペダルの角度等である。自車情報収集部３４１は、収集した自車の情報を算出部３５１に送信する。

算出部３５１は、車内センシング情報および自車の情報に基づいて、センサ２２１−ｉのシフト量を算出する。例えば、算出部３５１は、センサ２２１−１のシフト量と、車内センシング情報と自車の情報と、を対応付けたテーブルを格納し、当該テーブルを参照して、入力された情報に対応するセンサ２２１−１のシフト量を算出する。算出部３５１は、算出したセンサ２２１−ｉのシフト量をセンサ位置制御部３１１に送信する。

例えば、算出部３５１は、ドライバーの視線が広視野範囲を見ている場合には、センサ２２１−１のシフト量を大きくし、広視野範囲の拡大を実現する。

センサ位置制御部３１１は、センサ２２１−１のシフト量を受信し、受信したシフト量に対応する位置にセンサ２２１−１を移動させる制御信号をセンサ駆動部２３１−１に送信する。センサ駆動部２３１−１は、受信した制御信号に応じて、算出部３５１で算出されたシフト量に対応する位置にセンサ２２１−１を移動する。

図２０は、ドライバーからの入力に基づいてセンサを移動させる処理の流れを示す図である。図２０では、センサ２２１−１を移動させる場合を説明する。

入力装置６０１は、ドライバーにより入力された情報（入力情報と称する）を算出部３５１に送信する。入力情報は、例えば、表示部７０１−ｉの表示画像の通常時と広視野時の切り替え指示や、カメラ２０１−ｉの撮影範囲を広げるまたは狭める等の指示である。

自車情報収集部３４１は、自車の情報を不図示のＥＣＵや自車に取り付けられているセンサ等から収集する。自車の情報は、例えば、自車の速度、操舵角、アクセルペダルの角度、またはブレーキペダルの角度等である。自車情報収集部３４１は、収集した自車の情報を算出部３５１に送信する。

算出部３５１は、入力情報および自車の情報に基づいて、センサ２２１−ｉのシフト量を算出する。例えば、算出部３５１は、センサ２２１−１のシフト量と、入力情報および自車の情報と、を対応付けたテーブルを格納し、当該テーブルを参照して、入力された情報に対応するセンサ２２１−１のシフト量を算出する。算出部３５１は、算出したセンサ２２１−ｉのシフト量をセンサ位置制御部３１１に送信する。

例えば、算出部３５１は、入力情報が広視野に切り替えを示す場合、センサ２２１−１のシフト量を大きくし、広視野範囲の拡大を実現する。

センサ位置制御部３１１は、センサ２２１−１のシフト量を受信し、受信したシフト量に対応する位置にセンサ２２１−１を移動させる制御信号をセンサ駆動部２３１−１に送信する。センサ駆動部２３１−１は、受信した制御信号に応じて、算出部３５１で算出されたシフト量に対応する位置にセンサ２２１−１を移動する。

尚、図１８〜２０の制御の説明は一例であり、車外センシング部４０１、車内センシング部５０１、入力装置６０１、および自車情報収集部３４１からのそれぞれの情報を任意に組み合わせて、センサのシフト量を算出してもよい。また、カメラ２０１−２のセンサ２２１−２を移動させる場合も図１８〜２０の制御の説明と同様である。

図２１は、実施の形態に係るセンサ移動処理のフローチャートである。
ステップＳ９０１において、センシング情報処理部３３１は、車外センシング部４０１から車外センシング部４０１が検出した情報を受信し、検出した情報から算出部３５１で利用可能な情報（車外センシング情報と称する）を算出し、算出部３５１に送信する。また、センシング情報処理部３３１は、車内センシング部５０１から車内センシング部５０１が検出した情報を受信し、車内センシング部５０１が検出した情報から算出部３５１で利用可能な情報（車内センシング情報と称する）を算出し、算出部３５１に送信する。

ステップＳ９０２において、自車情報収集部３４１は、自車の情報を不図示のＥＣＵや自車に取り付けられているセンサ等から収集する。自車の情報は、例えば、自車の速度、操舵角、アクセルペダルの角度、またはブレーキペダルの角度等である。自車情報収集部３４１は、収集した自車の情報を算出部３５１に送信する。

ステップＳ９０３において、算出部３５１は、入力情報として、ドライバーにより入力された指示や情報を入力装置６０１から受信する。尚、入力装置６０１からの入力が無い場合、ステップＳ９０３の処理は省略してもよい。

尚、ステップＳ９０１〜Ｓ９０３の処理は、それぞれ独立に並列に実行されても良いし、任意の順序で直列に実行されてもよい。

ステップＳ９０４において、算出部３５１は、車外センシング情報、車内センシング情報、自車の情報、および入力情報に基づいて、センサ２２１−ｉのシフト量を算出する。例えば、算出部３５１は、センサ２２１−ｉのシフト量と、車外センシング情報、車内センシング情報、自車の情報、および入力情報と、を対応付けたテーブルを格納し、当該テーブルを参照して、入力された情報に対応するセンサ２２１−ｉのシフト量を算出する。

ステップＳ９０５において、算出部３５１は、算出したセンサ２２１−ｉのシフト量をセンサ位置制御部３１１に送信する。

ステップＳ９０６において、センサ位置制御部３１１は、センサ２２１−ｉのシフト量を受信し、受信したシフト量に対応する位置にセンサ２２１−ｉを移動させる制御信号をセンサ駆動部２３１−ｉに送信する。センサ駆動部２３１−ｉは、受信した制御信号に応じて、算出部３５１で算出されたシフト量に対応する位置にセンサ２２１−ｉを移動する。

次に、撮影画像に対する画像処理について説明する。例えば、図１６に示す撮影画像８２２において、広視野部分には解像度の劣化、歪曲収差、および色収差等が存在する。そこで、以下で説明するような画像処理により、ドライバーが見やすい画像を生成する。

図２２は、撮影画像に対する画像処理と表示部への表示処理の流れを示す図である。
図２２では、カメラ２０１−１により撮影された画像を補正し、補正した画像を表示部７０１−１に表示する場合を説明する。

撮影範囲からの光がレンズ群２１１−１を通って、センサ２２１−１に入力される。センサ２２１−１は、入力された光を電気信号に変換し、撮影画像を生成する。センサ２２１−１は、撮影画像を画像処理部３２１に出力する。

画像処理部３２１は、センサ位置制御部３１１から撮影画像の撮影時のセンサ２２１−１の位置情報を取得する。センサ２２１−１の位置情報は、例えば、センサ２２１−１のシフト量である。

画像処理部３２１は、センサ２２１−ｉの位置情報に基づいて、補正領域を算出する。画像処理部３２１は、例えば、補正領域とシフト量とが対応付けられたテーブルを格納し、当該テーブルを参照して、補正領域を算出する。また、画像処理部３２１は、シフト量を所定の式に当てはめて、補正領域を算出してもよい。また、補正領域は、シフト量の大きさに応じて大きくなる。

図２３は、撮影画像の補正領域を示す図である。
図２３の撮影画像８２２の右側の広視野部分に解像度の劣化や歪曲収差等が存在する。

画像処理部３２１は、例えば、シフト量がＸｍｍのとき、撮影画像８２２の右側Ｙ％を補正領域として算出する。撮影画像８２２の点線より右側が補正領域を示す。

画像処理部３２１は、センサ２２１−１の位置情報に基づいて、補正内容と補正量を算出する。画像処理部３２１は、例えば、センサ２２１−ｉのシフト量と補正内容と補正量とを対応付けたテーブルを格納し、当該テーブルを参照して、センサ２２１−１のシフト量に対応する補正内容と補正量を算出する。補正内容は、例えば、エッジ強調、歪曲収差補正、または色収差補正等である。補正量は、例えば、エッジ強調、歪曲収差補正、または色収差補正等の補正処理で行われる補正の度合いである。画像処理部３２１は、例えば、シフト量が大きいほど、エッジ強調の強調量（補正量）、歪曲収差補正や色収差補正における補正量を大きくする。

画像処理部３２１は、算出した補正領域、算出した補正内容、および算出した補正量に従って、撮影画像８２２に対して補正処理を行い、補正された撮影画像（補正画像と称する）を生成する。画像処理部３２１は、補正画像を表示処理部３６１に送信する。表示処理部３６１は、補正画像を受信し、補正画像の左右を反転し、反転された補正画像（表示画像８２３と称する）を表示部７０１−１に送信し、表示部７０１−１に表示させる。

図２４は、実施の形態に係る画像処理のフローチャートを示す図である。
ステップＳ９１１において、画像処理部３２１は、センサ２２１−ｉから撮影画像を受信する。

ステップＳ９１２において、画像処理部３２１は、センサ位置制御部３１１から撮影画像の撮影時のセンサ２２１−ｉの位置情報を取得する。センサ２２１−ｉの位置情報は、例えば、センサ２２１−ｉのシフト量である。

ステップＳ９１３において、画像処理部３２１は、センサ２２１−ｉの位置情報に基づいて、補正領域を算出する。例えば、画像処理部３２１は、所定の変換式を用いて、センサ２２１−ｉのシフト量から補正領域を算出する。また、画像処理部３２１は、センサ２２１−ｉのシフト量と補正領域とを対応付けたテーブルを格納し、当該テーブルを参照して、センサ２２１−ｉのシフト量に対応する補正領域を算出してもよい。尚、補正領域は、センサ２２１−ｉのシフト量に応じて大きくなる。

ステップＳ９１４において、画像処理部３２１は、センサ２２１−ｉの位置情報に基づいて、補正内容と補正量を算出する。画像処理部３２１は、例えば、センサ２２１−ｉのシフト量と補正内容と補正量とを対応付けたテーブルを格納し、当該テーブルを参照して、センサ２２１−ｉのシフト量に対応する補正内容と補正量を算出する。

ステップＳ９１５において、画像処理部３２１は、算出した補正領域、算出した補正内容、および算出した補正量に従って、撮影画像に対して画像処理を行い、補正された撮影画像（補正画像）を生成する。

ステップＳ９１６において、画像処理部３２１は、補正画像を表示処理部３６１に送信する。表示処理部３６１は、補正画像を受信し、補正画像の左右を反転し、反転された補正画像（表示画像）を表示部７０１−ｉに送信し、表示部７０１−ｉに表示させる。尚、表示処理部３６１は、受信した補正画像がカメラ２２１−１により撮影された撮影画像を補正した画像である場合、表示画像を表示部７０１−１に送信する。また、表示処理部３６１は、受信した補正画像がカメラ２２１−２により撮影された撮影画像を補正した画像である場合、表示画像を表示部７０１−２に送信する。表示部７０１−ｉは、受信した表示画像を表示する。

実施の形態に係るシステム１０１によれば、特許文献１記載のような広視野を得るためのミラー部材を使用していないため、広視野を実現しつつ光学系を小さくすることができる。それにより、カメラのサイズを小さく出来、走行時の空気抵抗を減少させ、燃費を向上させることが出来る。

実施の形態に係るシステム１０１によれば、センサの移動により広視野を実現するので、画像処理によって広視野を実現する場合に比べて、表示遅延を少なくすることが出来る。

図２５は、情報処理装置（コンピュータ）の構成図である。
実施の形態のシステム１０１および表示制御部３０１は、例えば、図２５に示すような情報処理装置（コンピュータ）１によって実現可能である。また、センサ位置制御部３１１、画像処理部３２１、センシング情報処理部３３１、自車情報収集部３４１、算出部３５１、および表示処理部３６１のそれぞれ、またはこれらの任意の組み合わせが情報処理装置１によって実現可能である。情報処理装置１は、例えば、Electronic Control Unit（ＥＣＵ）である。

情報処理装置１は、ＣＰＵ２、メモリ３、入力装置４、出力装置５、記憶部６、記録媒体駆動部７、及びネットワーク接続装置８を備え、それらはバス９により互いに接続されている。

ＣＰＵ２は、情報処理装置１全体を制御する中央処理装置である。ＣＰＵ２は、センサ位置制御部３１１、画像処理部３２１、センシング情報処理部３３１、自車情報収集部３４１、算出部３５１、および表示処理部３６１として動作する。

メモリ３は、プログラム実行の際に、記憶部６（あるいは可搬記録媒体１０）に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ＲＯＭ)やRandom Access Memory(ＲＡＭ)等のメモリである。ＣＰＵ２は、メモリ３を利用してプログラムを実行することにより、上述した各種処理を実行する。

この場合、可搬記録媒体１０等から読み出されたプログラムコード自体が実施の形態の機能を実現する。

入力装置４は、ドライバーからの指示や情報の入力、情報処理装置１で用いられるデータの取得等に用いられる。入力装置４は、例えば、キーボード、マウス、タッチパネル、カメラ、ソナー、レーダー、視線センサ、または車両の状態を検出するセンサ等である。入力装置４は、車外センシング部４０１、車内センシング部５０１、または入力装置６０１に対応する。

出力装置５は、ドライバーへの問い合わせや処理結果を出力したり、ＣＰＵ２による制御により動作する装置である。出力装置５は、例えば、ディスプレイ装置等である。出力装置は、表示部７０１−ｉに対応する。

記憶部６は、例えば、磁気ディスク装置、Solid State Drive（ＳＳＤ）等である。情報処理装置１は、記憶部６に、上述のプログラムとデータを保存しておき、それらをメモリ３に読み出して使用することができる。

記録媒体駆動部７は、可搬記録媒体１０を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(ＣＤ−ＲＯＭ)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体１０に上述のプログラムとデータを格納しておき、それらをメモリ３に読み出して使用することができる。

ネットワーク接続装置８は、ネットワークに接続され、通信に伴うデータ変換を行う通信インターフェースである。ネットワーク接続装置８は、ネットワークを介して接続された装置へデータの送信またはネットワークを介して接続された装置からデータを受信する。

なお、情報処理装置１が図２５のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ドライバーからの指示や情報の入力を行わない場合は、入力装置４を省略してもよい。入力装置４は、情報処理装置１に着脱可能であってもよい。情報処理装置１が可搬記録媒体１０にアクセスしない場合は、記録媒体駆動部７を省略してもよい。情報処理装置１がネットワークに接続しない場合は、ネットワーク接続装置８を省略してもよい。

以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
車両の後側方を撮影し、光学系を介して撮影対象からの光を受光する撮像素子を含むカメラの制御を行う表示制御装置であって、
前記光学系の光軸に対する前記撮像素子の基準位置のシフト量を算出する算出部と、
前記シフト量に応じて、前記撮像素子の前記基準位置を前記光軸から遠ざかる方向に移動させる制御を行う位置制御部と、
前記カメラにより撮影された画像に基づく表示画像を生成し、表示部に表示させる表示処理部と、
を備えることを特徴とする表示制御装置。
（付記２）
前記基準位置は、前記撮像素子の中心であり、前記位置制御部は、前記撮像素子の中心が前記光軸から遠ざかる方向に前記撮像素子を移動させることを特徴とする付記１記載の表示制御装置。
（付記３）
前記算出部は、前記車両の車外の状況を検出する車外センサの情報に基づいて、前記撮像素子のシフト量を算出することを特徴とする付記１または２記載の表示制御装置。
（付記４）
前記算出部は、前記車両の走行状況に基づいて、前記撮像素子のシフト量を算出することを特徴とする付記１または２記載の表示制御装置。
（付記５）
前記算出部は、前記車両のドライバーの状況を検出する車内センサの情報に基づいて、前記撮像素子のシフト量を算出することを特徴とする付記１または２記載の表示制御装置。
（付記６）
前記カメラにより撮影された画像を補正する画像処理部をさらに備え、
前記画像処理部は、前記シフト量に基づいて、前記カメラにより撮影された画像に対する補正処理の内容、前記カメラにより撮影された画像に対する補正処理の範囲、および前記カメラにより撮影された画像に対する補正処理における補正量を算出することを特徴とする付記３から５のいずれか１項に記載の表示制御装置。
（付記７）
車両の後側方を撮影し、光学系を介して撮影対象からの光を受光する撮像素子を含むカメラの制御を行う表示制御装置の制御方法であって、
前記光学系の光軸に対する前記撮像素子の基準位置のシフト量を算出し、
前記シフト量に応じて、前記撮像素子の前記基準位置を前記光軸から遠ざかる方向に移動させる制御を行い、
前記カメラにより撮影された画像に基づく表示画像を生成し、表示部に表示させる、
処理を備えることを特徴とする表示制御方法。
（付記８）
前記基準位置は、前記撮像素子の中心であり、
前記移動させる制御を行う処理は、前記撮像素子の中心を前記光軸から遠ざかる方向に前記撮像素子を移動させることを特徴とする付記７記載の表示制御方法。
（付記９）
前記算出する処理は、前記車両の車外の状況を検出する車外センサの情報に基づいて、前記撮像素子のシフト量を算出することを特徴とする付記７または８記載の表示制御方法。
（付記１０）
前記算出する処理は、前記車両の走行状況に基づいて、前記撮像素子のシフト量を算出することを特徴とする付記７または８記載の表示制御方法。
（付記１１）
前記算出する処理は、前記車両のドライバーの状況を検出する車内センサの情報に基づいて、前記撮像素子のシフト量を算出することを特徴とする付記７または８記載の表示制御方法。
（付記１２）
前記画像処理部は、前記シフト量に基づいて、前記カメラにより撮影された画像に対する補正処理の内容、前記カメラにより撮影された画像に対する補正処理の範囲、および前記カメラにより撮影された画像に対する補正処理における補正量を算出し、
前記カメラにより撮影された画像に対する補正処理の内容、前記カメラにより撮影された画像に対する補正処理の範囲、および前記カメラにより撮影された画像に対する補正処理における補正量に基づいて、前記カメラにより撮影された画像を補正する、
処理をさらに備えることを特徴とする付記９から１１のいずれか１項に記載の表示制御方法。
（付記１３）
車両の後側方を撮影し、光学系を介して撮影対象からの光を受光する撮像素子を含むカメラの制御を行うコンピュータに、
前記光学系の光軸に対する前記撮像素子の基準位置のシフト量を算出し、
前記シフト量に応じて、前記撮像素子の前記基準位置を前記光軸から遠ざかる方向に移動させる制御を行い、
前記カメラにより撮影された画像に基づく表示画像を生成し、表示部に表示させる、
処理を実行させるための表示制御プログラム。
（付記１４）
前記基準位置は、前記撮像素子の中心であり、
前記移動させる制御を行う処理は、前記撮像素子の中心を前記光軸から遠ざかる方向に前記撮像素子を移動させることを特徴とする付記１３記載の表示制御プログラム。
（付記１５）
前記算出する処理は、前記車両の車外の状況を検出する車外センサの情報に基づいて、前記撮像素子のシフト量を算出することを特徴とする付記１３または１４記載の表示制御プログラム。
（付記１６）
前記算出する処理は、前記車両の走行状況に基づいて、前記撮像素子のシフト量を算出することを特徴とする付記１３または１４記載の表示制御プログラム。
（付記１７）
前記算出する処理は、前記車両のドライバーの状況を検出する車内センサの情報に基づいて、前記撮像素子のシフト量を算出することを特徴とする付記１３または１４記載の表示制御プログラム。
（付記１８）
前記画像処理部は、前記シフト量に基づいて、前記カメラにより撮影された画像に対する補正処理の内容、前記カメラにより撮影された画像に対する補正処理の範囲、および前記カメラにより撮影された画像に対する補正処理における補正量を算出し、
前記カメラにより撮影された画像に対する補正処理の内容、前記カメラにより撮影された画像に対する補正処理の範囲、および前記カメラにより撮影された画像に対する補正処理における補正量に基づいて、前記カメラにより撮影された画像を補正する、
処理をさらに前記コンピュータに実行させることを特徴とする付記１５から１７のいずれか１項に記載の表示制御プログラム。

１０１ システム
２０１ カメラ
２１１ レンズ群
２２１ センサ
２３１ センサ駆動部
３０１ 表示制御部
３１１ センサ位置制御部
３２１ 画像処理部
３３１ センシング情報処理部
３４１ 自車情報収集部
３５１ 算出部
３６１ 表示処理部
４０１ 車外センシング部
５０１ 車内センシング部
６０１ 入力装置
７０１ 表示部

Claims (7)

1. 車両の後側方を撮影し、光学系を介して撮影対象からの光を受光する撮像素子を含むカメラの制御を行う表示制御装置であって、
   前記光学系の光軸に対する前記撮像素子の基準位置のシフト量を算出する算出部と、
   前記シフト量に応じて、前記撮像素子の前記基準位置を前記光軸から遠ざかる方向に移動させる制御を行う位置制御部と、
   前記カメラにより撮影された画像を補正する画像処理部と、
   前記カメラにより撮影された画像に基づく表示画像を生成し、表示部に表示させる表示処理部と、
   を備え、
   前記画像処理部は、前記シフト量に基づいて、前記カメラにより撮影された画像に対する補正処理の内容、前記カメラにより撮影された画像に対する補正処理の範囲、および前記カメラにより撮影された画像に対する補正処理における補正量を算出し、前記補正処理の範囲は前記シフト量に応じて大きくなることを特徴とする表示制御装置。
2. 前記基準位置は、前記撮像素子の中心であり、前記位置制御部は、前記撮像素子の中心が前記光軸から遠ざかる方向に前記撮像素子を移動させることを特徴とする請求項１記載の表示制御装置。
3. 前記算出部は、前記車両の車外の状況を検出する車外センサの情報に基づいて、前記撮像素子のシフト量を算出することを特徴とする請求項１または２記載の表示制御装置。
4. 前記算出部は、前記車両の走行状況に基づいて、前記撮像素子のシフト量を算出することを特徴とする請求項１または２記載の表示制御装置。
5. 前記算出部は、前記車両のドライバーの状況を検出する車内センサの情報に基づいて、前記撮像素子のシフト量を算出することを特徴とする請求項１または２記載の表示制御装置。
6. 車両の後側方を撮影し、光学系を介して撮影対象からの光を受光する撮像素子を含むカメラの制御を行う表示制御装置の制御方法であって、
   前記光学系の光軸に対する前記撮像素子の基準位置のシフト量を算出し、
   前記シフト量に応じて、前記撮像素子の前記基準位置を前記光軸から遠ざかる方向に移動させる制御を行い、
   前記カメラにより撮影された画像を補正し、
   前記カメラにより撮影された画像に基づく表示画像を生成し、表示部に表示させる、
   処理を備え、
   前記補正する処理において、前記シフト量に基づいて、前記カメラにより撮影された画像に対する補正処理の内容、前記カメラにより撮影された画像に対する補正処理の範囲、および前記カメラにより撮影された画像に対する補正処理における補正量を算出し、前記補正処理の範囲は前記シフト量に応じて大きくなることを特徴とする表示制御方法。
7. 車両の後側方を撮影し、光学系を介して撮影対象からの光を受光する撮像素子を含むカメラの制御を行うコンピュータに、
   前記光学系の光軸に対する前記撮像素子の基準位置のシフト量を算出し、
   前記シフト量に応じて、前記撮像素子の前記基準位置を前記光軸から遠ざかる方向に移動させる制御を行い、
   前記カメラにより撮影された画像を補正し、
   前記カメラにより撮影された画像に基づく表示画像を生成し、表示部に表示させる、
   処理を実行させ、
   前記補正する処理において、前記シフト量に基づいて、前記カメラにより撮影された画像に対する補正処理の内容、前記カメラにより撮影された画像に対する補正処理の範囲、および前記カメラにより撮影された画像に対する補正処理における補正量を算出し、前記補正処理の範囲は前記シフト量に応じて大きくなることを特徴とする表示制御プログラム。