JP4583883B2 - 車両用周囲状況表示装置 - Google Patents

Description

本発明は、車両周辺の像を撮影する複数の撮像手段と、前記撮像手段によって得られる画像に基づいて運転を支援する画像情報を表示する表示手段とを備える車両用周囲状況表示装置に関する。

車両上でそれを運転する運転者が直接見ることのできる範囲は限られている。従って、運転者は視野を広くするために車両に備わっているルームミラーやドアミラーを活用して広い範囲に渡って車両の周囲の状況を確認しながら運転を行っている。しかし、車両には一般的なルームミラーやドアミラーを利用しても運転席からは見ることのできない死角となる箇所が多数存在する。例えば、車両後方を見た場合の運転者の視界の一部はトランクや後部ピラーで遮られるし、車両前方を見た場合の運転者の視界の一部はボンネットや前方ピラーによって遮られるため、それらの先にある障害物などを運転席から確認することができない。
そこで、車両周囲の状況を画像として撮影するカメラを車両に搭載して、画像の表示によって運転者の状況確認を支援する装置が提案されている。

例えば、特許文献１に開示された技術では、映像を撮影するカメラとその撮影により得られた画像を表示するモニタとをそれぞれ複数搭載し、各種センサで検出された信号に基づいて認識される車両の状態に応じて画像の切り替えを行ったり画像処理の内容を変更することを提案している。また、特許文献２に開示された技術では、車両のフロントガラス両端部に具備されるピラーの近傍にカメラを設置し、これらのカメラの撮影により得られた画像を表示装置で表示すると共に、ピラー部分で遮られた部分の車両外側の像がフロントガラスやサイドガラスを通して見える実際の像と合うように表示することを提案している。また、特許文献３に開示された技術では、車両の後部に設置された後方カメラで撮影された画像を後部座席背もたれ部に投射して表示し、車両後方窓を通して見える像と後部座席背もたれ部に表示される像とが一致するように表示することを提案している。更に、運転者の位置とカメラの位置との違いにより表示される画像の見え方に問題が生じるが、これを補正するために、入力された画像信号を処理して画像の距離抽出，画像分解及び画像合成を行うことを提案している。
特開２００１−５５１００号公報 実用新案登録第３０９２７１９号公報 特開平５−１３９２１０号公報

しかしながら、特許文献１の技術を採用する場合には、窓を通して見える実際の像とモニタに表示される画像との位置関係や大きさなどが全く異なるので、運転者は運転中にモニタの画像を注視しなければ状況を正確に把握することができず、安全運転上の問題が生じる。また、特許文献２の技術では、窓から見える実際の像とピラー部に表示される画像とがシームレスにつなげるように表示することを意図しているが、実際には運転者の視点とカメラを設置した位置との違いの影響があるので、車両から十分に遠方に存在する対象物でない限り、シームレスにつながる画像を表示することはできない。また、特許文献３の技術では、運転者の位置とカメラの位置とが違うことによって生じる画像の見え方の問題を解消するために、画像を補正することを提案しているが、実際にどのような処理を行うのかは開示されていない。

例えば、図６に示すように車両の後部に設置したカメラ２を用いてその近傍に存在する障害物１を撮影し、撮影により得られた画像を後部座席背もたれ部に表示する場合には、カメラから実際の障害物１を見た方向３と運転者４から実際の障害物１を見た方向５とが大きく異なるため、撮影した画像をそのまま表示すると、表示される障害物の位置と実際の障害物との位置が異なるため、運転者は位置関係を把握しにくい。仮に両者の位置が合うように表示される画像の位置を補正できたとしても、特定の障害物以外の像の位置や大きさがずれたりするので、自然な画像を表示するのは難しい。すなわち、表示装置の画面上に表示される画像においては、図７に示すように障害物１が像５７として表示されるが、運転者４から実際の障害物１を見た場合は像５８の位置に存在するので、これらの位置の違いに相当する矢印５９のような移動の補正を行う必要があるが、補正量が大きいため補正後の画像は不自然な画像になってしまう。

更に、運転者の座高の違いや座席の姿勢などの影響によって運転者の視点が変化するので、表示装置に表示される画像と実際に運転者に見える像とが一致するように表示するのは難しい。また、運転者がバックミラーを利用して後方を確認する場合と運転者が振り返って直接見る場合とでは実際の像や画面上の画像の見え方が異なるという課題もある。また、カメラで撮影してから画面に表示されるまでの間に１フレーム分以上の時間遅れが発生するので、車両が高速で移動する場合にはこの時間遅れによって実際の像と画面に表示される画像との間に位置ずれが発生する可能性がある。

本発明は、車両を運転する運転者が自車両の周囲の状況を確認するのに役立つ画像を表示すると共に、表示される画像と実際の像とが運転者から見て自然につながるように一体的に表示可能な車両用周囲状況表示装置を提供することを目的とする。

本発明は、車両周辺の像を撮影する複数の撮像手段と、前記撮像手段によって得られる画像に基づいて運転を支援する画像情報を表示する表示手段とを備える車両用周囲状況表示装置であって、前記複数の撮像手段のそれぞれの位置，画角及び姿勢を含む第１の情報と、前記表示手段の少なくとも表示面の位置を表す第２の情報と、運転者の視点の位置を表す第３の情報とを利用して、運転者の視点の位置を表す前記第３の情報と表示面の位置を表す前記第２の情報から、運転者の視点と表示装置の各画素を結ぶ線分方向を算出し、前記複数の撮像手段のそれぞれの位置，画角及び姿勢を含む前記第１の情報に基づいて、複数の撮像手段から得られる画像データの中から、前記各画素を結ぶ線分方向にもっとも近い画素データを抽出し、表示装置に表示する画像全体を合成することによって、前記複数の撮像手段でそれぞれ得られた複数の画像を加工して運転者の視点から前記表示手段の表示面を見た方向の合成画像を生成する画像合成手段を具備することを特徴とする。この構成によれば、複数の撮像手段のそれぞれの位置，画角及び姿勢を含む第１の情報と、前記表示手段の少なくとも表示面の位置を表す第２の情報と、運転者の視点の位置を表す第３の情報とを利用することにより、運転者の視点から前記表示手段の表示面を見た方向の自然な画像を合成画像として得ることが可能であるため、運転者は表示画像だけを注視しなくても車両周囲の死角になる領域の状況を表示画像から認識することができ、本発明は安全運転に役立つ情報を運転者に提供できる。

本発明において、前記画像合成手段は、前記視点の位置から所定の半径の位置にある車両外側の仮想球面を想定し、各々の撮像手段で得られた画像を前記仮想球面上に投影した状態で、互いに隣接する画像間の重なりがなくなる位置にそれぞれ境界を割り当て、各々の撮像手段で得られた画像から前記境界の内側にある画像領域をそれぞれ抽出し、抽出された画像領域を互いに連結して構成した合成画像を、前記視点と前記仮想球面と前記表示手段の表示面との位置関係に基づいて座標変換し、少なくとも大きさ及び表示位置を修正して前記表示手段に出力することを特徴とする。この構成によれば、前記仮想球面上で複数の画像を重なりがなくなるようにつなぎ合わせるので、実際に見える画像と一致する自然な画像を合成することができる。また、合成された画像を座標変換して表示手段に出力するので、運転者の視点から実際に見える車両外の像と位置や大きさが一致する画像を表示手段上に表示できる。

本発明において、前記画像合成手段は、少なくとも１つの障害物を検出した場合には、前記複数の撮像手段で得られた画像の重なり部分の情報に基づいて、障害物までの距離に関する測定を実施し、前記障害物が含まれる画像については、前記仮想球面の代わりに前記障害物の位置を基準とした特定面を想定し、前記特定面上で互いに隣接する画像間の重なりがなくなる位置に前記境界を割り当てることを特徴とする。この構成によれば、前記仮想球面の位置からずれた位置に実際に障害物が存在する場合に、表示手段に表示される画像上で障害物の位置がずれたり、画像の重複あるいは欠落が生じるのを防止することができる。

本発明において、運転者の実際の視点の位置を検出する視点検出手段を備え、前記画像合成手段は、前記視点検出手段の検出結果に基づいて修正した前記第３の情報を利用して前記合成画像を生成することを特徴とする。この構成によれば、運転者が座高の違う他の人と交代したり、同じ運転者が姿勢を変えたような場合であっても、実際に運転する人の視点から見て自然な画像を表示することができる。

本発明において、前記画像合成手段は、近傍に配置されるバックミラーで反射して前記視点から見える前記仮想球面上の合成画像を座標変換して前記表示手段に出力することを特徴とする。この構成によれば、運転者はバックミラーを見ることにより、車両周囲の死角になる領域の像も含めて自然な画像で確認することが可能になる。

本発明において、前記画像合成手段は、前記視点から前記バックミラーで反射し、車両後部の窓を透過して直接見える第１の領域とそれ以外の第２の領域とを識別し、前記第１の領域に相当する画像はマスクして、前記第２の領域に相当する画像だけを前記表示手段に出力することを特徴とする。この構成によれば、車両後部の窓を透過して直接見える第１の領域については画像が表示されず、ピラーなどに遮られて死角になる見えない部分に相当する領域だけに画像が表示されるので、より安全性の高い表示を実現できる。

本発明において、前記画像合成手段は、前記各撮像手段が像を撮影してから画像が前記表示手段に表示されるまでの遅れ時間の情報を利用し、前記遅れ時間によって発生する表示画像の位置ずれを計算して前記表示手段に出力する画像を補正することを特徴とする。 この構成によれば、車両が高速で移動している場合であっても、死角になる領域の像を運転者の視点からみて正しい位置に表示することができ、自然な画像を表示できる。

本発明において、前記画像合成手段は、撮影された画像のフレーム間の違いに基づいて画像内各部の単位時間当たりの動き量を検出し、その検出結果から前記遅れ時間によって発生する表示画像の位置ずれを求めることを特徴とする。この構成によれば、画像上のフレーム間の変化を利用して動きを検出するので、近くに存在する像と遠方に存在する像との両方について、正しい位置に画像を表示することが可能になる。

本発明によれば、運転者の視点から表示手段の表示面を見た方向の自然な画像を合成画像として得ることが可能であるため、運転者は表示画像だけを注視しなくても車両周囲の死角になる領域の状況を表示画像から認識することができ、本発明は安全運転に役立つ情報を運転者に提供できる。

（第１の実施の形態）
図１は本発明の第1の実施の形態を示すブロック図である。また、図２は第1の実施の形態の各構成要素の位置関係を示す平面図である。第1の実施の形態の車両用周囲状況表示装置は、図１に示すように、複数のカメラ１１〜１６と、画像合成部１７，表示手段１８及びデータ保持部９とを備えている。カメラ１１〜１６は、それぞれテレビカメラと同様に一定の周期で映像の撮影を繰り返し、撮影により得られた２次元画像の信号を出力する。この例では、図２に示すようにカメラ１１〜１６は車両の後部に後方を撮影できる向きで、かつほぼ一定の間隔で設置されている。また、各カメラ１１〜１６の撮影範囲（画角及び位置で決まる）２１〜２６については、互いに隣接する撮影範囲の一部分が重なるように調整してある。例えば、カメラ１１の撮影範囲２１とカメラ１２の撮影範囲２２とは図中にハッチングで表した重複領域８が重なっている。

表示手段１８は、所定の平面あるいは所定の曲面（表示面）上に２次元画像を表示することが可能な表示装置であり、例えば液晶表示器やプロジェクターを利用することができる。この例では、表示手段１８は車両の後部座席部１９に設置してあり、図２に示すように運転者の視点２９から見える位置に配置してある。従って、運転者は運転席から車両の後方を確認するときには、車両後部の窓と表示手段１８の表示面とを同時に見ることができる。表示手段１８の表示面の範囲は、図２に示すように、視点２９から見て車両後部の窓の周辺にある車体フレーム（ピラーなど）やトランクが見える位置まで広がっている。 但し、視点２９から車両後部の窓が見える範囲については、表示手段１８の表示面が存在しないかもしくは光が透過するように構成してあるので、車両後部の窓から見える視界については運転者は表示手段１８の表示画像とは無関係に窓を通して直接見ることができる。

画像合成部１７に接続されたデータ保持部９には、カメラパラメータ，運転者視点位置，表示手段位置及び路面・仮想球面のデータが保持されている。カメラパラメータには、カメラ１１〜１６のそれぞれの画角，撮影方向及び設置位置の情報が含まれている。運転者視点位置としては、この例では、特定の運転者が特定の方向（後方）を向いたときの視点の位置（３次元座標）が定数として保持されている。表示手段位置としては、表示面上の各部の３次元位置の情報が含まれている。路面・仮想球面のデータとしては、路面の位置（車両に対する相対位置）及び仮想球面の位置（例えば視点からの半径Ｒ）が定数として保持されている。画像合成部１７は、マイクロプロセッサなどを内蔵したディジタル処理装置であり、カメラ１１〜１６でそれぞれ撮影された画像を、データ保持部９に保持されているデータに基づいて加工し、複数の画像を合成した合成画像を生成し、この合成画像を表示手段１８の表示面に表示する。画像合成部１７が合成画像を作成する際には、視点２９から見て表示手段１８で表示される画像と車両の窓から見える実際の像とがほぼ一致するように工夫する。具体的には、次に説明するような処理を画像合成部１７が行う。

まず、図２に示すような位置にある仮想球面２７を想定し、この面に投影された合成画像を作成する。この仮想球面２７は、視点２９を中心として所定半径Ｒの面であり、車両の外側にあるものとする。前述のようにカメラ１１〜１６の撮影範囲２１〜２６は比較的大きく、隣接する範囲同士が部分的に重なっているので、カメラ１１〜１６で撮影された画像を仮想球面２７上でつなぎ合わせようとすれば当然ながら隣接する画像同士の間で重なる部分が生じる。そこで、撮影範囲２１〜２６のそれぞれの一部分である画像抽出範囲３１〜３６の画像をそれぞれ抽出し、抽出された画像を仮想球面２７上でつなぎ合わせる。つまり、互いに隣接するカメラの抽出された画像が仮想球面２７上の各境界位置を挟んで互いに隣接するように画像抽出範囲３１〜３６を決定する。画像合成部１７は、仮想球面２７上の各画像抽出範囲３１〜３６で抽出された画像を、隣接するもの同士で連結して合成画像を作成する。実際には、全ての画像を仮想球面２７に投影するのではなく、路面によって光が遮られる領域については路面上に画像を投影してこれを合成画像とする。

次に、この合成画像を表示手段１８の表示面で表示するための座標変換を行う。すなわち、視点２９と仮想球面２７との位置関係と、視点２９と表示手段１８の表示面との位置関係とを考慮して、視点２９から仮想球面２７上の像を見た方向や大きさと視点２９から表示手段１８の表示面上の画像を見た方向や大きさとが一致するように座標変換する。例えば、表示手段１８の表示面が仮に視点２９から半径Ｒ２の球面である場合を想定すると、仮想球面２７上の前記合成画像を（Ｒ２／Ｒ）の倍率で縮小すれば、表示手段１８上に投影可能な画像になる。表示手段１８上の画像の表示位置については、視点２９と仮想球面２７上の各点とを結んだ線分を想定し、前記線分と表示手段１８上の表示面との交点の位置に合わせればよい。表示手段１８の表示面が球面でない場合や面に傾きがあるような場合であっても、前記線分と表示面との交点の位置を考慮して座標変換を行い、画像を変形すれば、視点２９から仮想球面２７を見た場合の像の位置及び大きさと視点２９から表示手段１８の表示画像を見た場合の像の位置や大きさとが一致するように表示することができる。なお、仮想球面２７上に投影された画像から表示手段１８の表示面上の画像に座標変換する際に、像の方向などを補正することになるが、複数のカメラで撮影された画像を合成しているため、比較的車両の近くに存在する障害物を撮影した場合であっても、補正量は比較的小さくなり、自然に近い画像を表示できる。

（第２の実施の形態）
図３は本発明の第2の実施の形態を示すブロック図である。また、図４はこの形態の各構成要素の位置関係を示す平面図である。また、図５は表示画面に表示される画像の具体例を示す正面図である。第2の実施の形態は第１の実施の形態の変形例であり、各図において第１の実施の形態と対応する要素には同一の符号を付けて示してある。第１の実施の形態と異なる部分について以下に説明する。図３に示すように、この形態の車両用周囲状況表示装置には補正処理部６が追加されている。この補正処理部６は、複数のカメラで撮影された画像を用いて障害物の距離の測定を行い、障害物が存在する場合に前述の仮想球面２７を補正するための処理を行う。図４に示すように複数のカメラ１１〜１６の互いに隣接するもの同士の撮影範囲２１〜２６は一部分が重なっているので、同じ像を複数のカメラで同時に撮影することができる。補正処理部６は、同じ像を複数のカメラで同時に撮影した複数の画像を用いて公知の画像処理（ステレオ測距）を行うことにより、像に含まれる障害物までの距離を測定する。例えば、図４（ａ）に示すように、仮想球面２７の前後に２つの障害物（実体）２８，７が存在する場合に、第１の実施の形態で説明したような処理を行って、仮想球面２７上で合成画像を生成すると、運転者の視点２９から見える像は図５（ａ）に示すようになる。なお、図５においては表示手段１８の表示面の表示画像と窓から見える実体の像とを重ねて示してある。

図５（ａ）に示すように、仮想球面２７の手前に存在する障害物２８については、表示される合成画像５１において、継ぎ目５５の部分で部分的な画像の欠落が発生し、更に実際の像よりも若干大きく表示される。つまり、図４（ｂ）に示すように障害物２８の前面の領域６１の部分は互いに隣接するカメラの画像抽出範囲３１，３２のいずれにも含まれていないので、表示画像から欠落することになる。また、図５（ａ）に示すように、仮想球面２７の後ろ側に存在する障害物７については、表示される合成画像５２において、継ぎ目５６の近傍で部分的に同じ画像が重複し、更に実際の像よりも若干小さく表示される。つまり、図４（ｂ）に示すように障害物７の前面の領域６２の部分は互いに隣接するカメラの画像抽出範囲３２，３３の両方に含まれているので、同じ画像が重複して表示されることになる。そこで、障害物を検出した場合には、その部分について仮想球面２７の補正を行う。例えば、図４（ａ）において、仮想球面２７よりも近い障害物２８を含む画像を撮影しているカメラ１１，１２の画像については、投影面を仮想球面２７よりも手前の障害物２８の前面に移動し、移動後の特定の投影面上に隣接する画像抽出範囲３１，３２の境界ができるように画像抽出範囲３１，３２を修正する。また、図４（ａ）において、仮想球面２７よりも遠い障害物７を含む画像を撮影しているカメラ１２，１３の画像については、投影面を仮想球面２７よりも後方の障害物７の前面に移動し、移動後の特定の投影面上に隣接する画像抽出範囲３２，３３の境界ができるように画像抽出範囲３２，３３を修正する。なお、矢印４３，４４は面位置の変化を表している。この面位置の移動量については、補正処理部６が画像から検出した各障害物までの距離に基づいて計算する。

このような面位置の補正を行ってから画像の合成を実施することにより、図５（ｂ）に示すような合成画像が得られる。つまり、画像の部分的な欠落や重複がなくなり、画像の大きさも実際の像と同等になるので、非常に自然な画像が表示される。なお、複数画像に基づくステレオ測距を行う場合には、画像にエッジが存在しない部分では距離情報が得られないという課題がある。しかし、エッジが存在しない画像については面の補正をせずに仮想球面２７上で画像を合成しても自然な画像が得られる場合が多いため問題は生じない。なおこの形態では、障害物までの距離を検出することができるので、車両から各障害物までの距離が所定以下になった場合に警報を発するように構成してある。

（第３の実施の形態）
図８は第3の実施の形態の構成を示すブロック図である。図９及び図１０はこの形態の各構成要素の位置関係を示す平面図である。この形態は第１の実施の形態の変形例であり、各図において第１の実施の形態と対応する要素には同一の符号を付けて示してある。第１の実施の形態と異なる部分について以下に説明する。図８に示すように、この形態の車両用周囲状況表示装置は運転者視点位置センサ７１を備えている。運転者視点位置センサ７１は、図９に示すように運転者の視点２９の周囲に配置された複数のカメラ７２，７３及び７４を備えている。カメラ７２，７３及び７４はいずれも撮像面を運転者の顔の方向に向けてあり、視点２９の近傍の像を常時撮影する。また、運転者視点位置センサ７１に内蔵された画像処理装置は、カメラ７２，７３及び７４が撮影した画像を処理することにより、実際の視点２９の３次元位置を測定し、同時に運転者が前を向いているか、後ろを振り返っているかを識別し、その結果を画像合成部１７に知らせる。

画像合成部１７は、運転者視点位置センサ７１が出力する情報を利用して合成画像を生成する際の計算のパラメータを修正する。例えば、図９（ａ），（ｂ）に示すように視点の動き８７が発生した場合には、図９（ａ）に示す各カメラ１１〜１６の画像抽出範囲３１〜３６は、図９（ｂ）に示す修正後の画像抽出範囲８１〜８６のように視点の動き８７に合わせて修正される。また、運転者が前を向いていることを検出した場合には、図１０に示すようにバックミラー（ルームミラー）７５を通して自然な像が見えるように計算を行う。すなわち、視点２９から仮想球面２７までの半径Ｒ、並びに視点２９から表示手段１８の表示面までの距離については、いずれも視点２９からバックミラー７５の面で反射して仮想球面２７又は表示手段１８に至る光路の距離として計算される。このように、実際の視点２９の位置を検出して表示画像の計算に反映するので、運転者が座高の違う他の運転者と交代した場合であっても自然な画像を表示できるし、同じ運転者が頭を大きく動かした場合でも同様である。従って、表示画像だけを注視する必要もなく、死角になる領域の像を含む表示画像により運転者は広い視界を確保でき、安全な運転に役立つ。

（第４の実施の形態）
図１１は第4の実施の形態の構成を示すブロック図である。図１２はこの形態の各構成要素の位置関係を示す平面図である。図１３はこの形態におけるバックミラーの構造を示す斜視図である。この形態は第３の実施の形態の変形例であり、各図において第３の実施の形態と対応する要素には同一の符号を付けて示してある。第３の実施の形態と異なる部分について以下に説明する。図１１に示すように、この形態の車両用周囲状況表示装置においては表示手段１８がバックミラー９１に内蔵されている。また、このバックミラー９１にはステレオカメラ９２が搭載されている。更に、マスク画像９３を保持する機能が備わっている。また、画像合成部１７はバックミラー９１上の表示手段１８に自然な画像が映るように前述の合成画像を生成する。

バックミラー９１は図１３に示すように構成されている。すなわち、バックミラー９１の反射面に設けられたハーフミラー１１１の裏側に表示手段１８が配置されている。表示手段１８は発光ダイオードのような発光素子を多数組み合わせて構成してある。従って、表示手段１８で表示される画像はハーフミラー１１１の裏から光の像として鏡面の反射像と重なって表示される。表示手段１８上の画像表示が不要な領域については画像合成部１７の処理によってマスクがかけられるため発光しない。従って、画像表示が不要な領域ではバックミラー９１には鏡面の反射像だけが映ることになる。バックミラー９１に搭載されているステレオカメラ９２は、撮影用の複数のカメラと画像処理部を備えている。そして、バックミラー９１側から車両後部の窓及びその周辺の映像を撮影し得られた画像を処理する。この画像処理により、バックミラー９１の位置から後部窓の視界を遮る物体である運転者本人，後部座席の乗員，荷物などを認識し、それらの領域を周期的に検出する。そして、後部窓の視界を遮る物体が存在しない領域だけがマスク画像９３として保持され、画像合成部１７に入力される。画像合成部１７は、マスク画像９３を用いてその領域だけは画像が表示されないようにマスクする。従って、後部窓の視界を遮る物体が存在しない領域についてはバックミラー９１上に画像は表示されず、後部窓を透過して見える実際の像だけがバックミラー９１上に映る。

この形態では、運転者自身や後部座席の乗員，荷物などによってバックミラー９１の死角となる領域が車内で発生する場合であっても、その領域の状況を自然な画像としてバックミラー９１に表示できるので、運転者の死角を減らすことができる。なお、表示手段１８を第１の実施の形態と同様に後部座席部１９にも設けてもよい。これにより、運転者が前を向いているときと後ろを振り返ったときのいずれの状況においても画像の表示により運転者の死角を減らすことが可能になる。

（第５の実施の形態）
図１４は第5の実施の形態の構成を示すブロック図である。図１５はこの形態の各構成要素の位置関係を示す平面図である。図１６は表示画面に表示される画像の具体例を示す正面図である。この形態は第１の実施の形態の変形例であり、各図において第１の実施の形態と対応する要素には同一の符号を付けて示してある。第１の実施の形態と異なる部分について以下に説明する。この形態の車両用周囲状況表示装置は、図１４に示すように４つのカメラ１２１〜１２４を備えている。また、表示手段１８は車両前方のピラー部１２５に左右一対として配置されている。また、動き解析部１２６が設けてある。

図１５に示すように、２つのカメラ１２１，１２２は車両右側のドアミラー近傍に間隔をあけ撮像面を外側に向けて設置してあり、残り２つのカメラ１２３，１２４は車両左側のドアミラー近傍に間隔をあけ撮像面を外側に向けて設置してある。この形態の装置は、車両前方左右のピラー部１２５によって遮られ死角となる運転者の視野の一部をピラー部１２５に設置した表示手段１８に表示する画像によって補助するために設けられる。表示のための画像処理の基本的な動作については前述の実施の形態と同様であるが、動き解析部１２６の処理が追加されている。車両が高速で移動しているような場合には、運転者の目に映る車両前側方の像は車両の進行方向と逆の方向に流れるように移動する。一方、カメラ１２１〜１２４で像を撮影してから得られた像を表示手段１８で表示するまでには少なくとも画像走査の１フレーム相当以上の時間遅れが生じる。従って、仮にカメラ１２１〜１２４で撮影した画像をそのまま表示手段１８に表示すると実際の像と表示される画像との間に位置ずれが生じる。この位置ずれの量は、前記時間遅れと、車両の移動速度及び各像までの距離とによって変化する。

そこで、この形態においては、動き解析部１２６が撮影された画像に基づいて画像の各領域毎に、例えば図１６に示すような各部の動き１４１〜１４４を検出し、単位時間当たりの各部の動き（オプティカルフロー）１４１〜１４４と前記時間遅れの量とをパラメータとして計算を行い、この結果に基づいて領域毎に位置ずれの補正を行い、位置ずれの補正された領域毎の像を合成して予測画像を生成し、この予測画像を運転者の視点２９から見て自然な画像となるように表示手段１８上に表示する。動き解析部１２６は、各部の動き１４１〜１４４を検出するために、同じカメラで撮影された最新フレームの画像と１つ前のフレームの画像とを領域毎に比較してそれらの差分を調べて移動量を求める。例えば、前記時間遅れの量が３フレーム相当の場合には、各部の動き１４１〜１４４をそれぞれ３倍した移動量の補正を領域毎に行うことになる。この形態では、車両が高速で移動中の場合であっても、表示手段１８によって表示される画像が実際に見える像の位置と一致するように表示することができる。

（第６の実施の形態）
図１７は第6の実施の形態の装置の構成を示すブロック図である。図１８はこの形態の各構成要素の位置関係を示す平面図である。この形態は第５の実施の形態の変形例であり、各図において第５の実施の形態と対応する要素には同一の符号を付けて示してある。第５の実施の形態と異なる部分について以下に説明する。この形態では、図１７及び図１８に示すように多数のカメラ１５０１〜１５１２が車両の外側に設置してあり、これらのカメラ１５０１〜１５１２が撮影した画像を画像合成部１７が合成して表示手段１８に表示する。表示手段１８は、この形態ではダッシュボード・ピラー部１５１に設置されている。すなわち、左右両側のピラー部だけでなくダッシュボードの部分にも表示手段１８が設置されている。従って、ピラーによって遮られる死角領域だけでなく、ボンネットやダッシュボードに遮られて死角領域となる車両周辺の状況についても、撮影された画像を合成して表示することにより運転者の視点２９から確認できるようになる。従って、この車両用周囲状況表示装置を搭載することにより、仮にピラーが太くなったり、ダッシュボードやボンネットの位置が高くなっても運転者の視界を十分に確保することが可能になるので、車両をデザインする上で自由度が高くなり、車両強度の点でも利点が生じる。また、特殊環境で使用される作業車のように窓を大きくできない車両に搭載すれば大きな利点がある。

ところで、図１８に示すように互いに隣接するカメラの間隔１６１が比較的大きい場合には、車両のすぐ近くに存在する障害物１６２が子供のように小さい場合には、この障害物１６２がいずれのカメラにも全く写らない可能性が高くなる。そこで、例えば人物の最小の直径を４０ｃｍと考えて、前方を撮影するカメラの間隔を４０ｃｍ以下にするのが望ましい。これにより、非常に近い障害物１６２であっても人物が全く写らないという状況をほぼ回避できる。また、車両前側方などの場合には、図１８に示すように運転者の視点から見たカメラの距離の投影面上で間隔１６４が４０ｃｍ以下であれば、人物である障害物１６３が全く写らないという状況を回避でき、この場合の実際のカメラの間隔１６５は４０ｃｍよりも大きくても良い。このようなカメラの間隔の設定については、前述の実施の形態のように車両の後方を撮影する場合にも同様に適用できる。

なお、表示手段１８を設置する位置については、後部座席部１９の代わりに運転席と後部座席との間であってもよい。その場合には、例えば運転席と後部座席との間に薄い煙幕を発生し、この部分に映像をプロジェクターを使って投射しても良い。また、実際に使用する表示手段１８については、座席やダッシュボードやピラー部に一定間隔で埋め込んで配置した多数の発光ダイオードで構成しても良いし、座席やダッシュボードやピラー部にプロジェクターで投射するように構成しても良い。また、カメラの配置については、水平方向だけでなく垂直方向に複数のカメラを配置しても良い。

本発明の車両用周囲状況表示装置は、運転者の視点から表示手段の表示面を見た方向の自然な画像を合成画像として得ることが可能であるため、運転者は表示画像だけを注視しなくても車両周囲の死角になる領域の状況を表示画像から認識することができ、本発明は安全運転に役立つ情報を運転者に提供できるという効果を有し、運転を支援する画像情報を表示する車両用周囲状況表示装置等として有用である。

第１の実施の形態の構成を示すブロック図である。 第１の実施の形態の各構成要素の位置関係を示す平面図である。 第２の実施の形態の構成を示すブロック図である。 第２の実施の形態の各構成要素の位置関係を示す平面図である。 表示画面に表示される画像の具体例を示す正面図である。 視点とカメラと障害物との位置関係の例を示す平面図である。 表示画面に表示される画像の具体例を示す正面図である。 第３の実施の形態の構成を示すブロック図である。 第３の実施の形態の各構成要素の位置関係を示す平面図である。 第３の実施の形態の各構成要素の位置関係を示す平面図である。 第４の実施の形態の構成を示すブロック図である。 第４の実施の形態の各構成要素の位置関係を示す平面図である。 第４の実施の形態におけるバックミラーの構造を示す斜視図である。 第５の実施の形態の構成を示すブロック図である。 第５の実施の形態の各構成要素の位置関係を示す平面図である。 表示画面に表示される画像の具体例を示す正面図である。 第６の実施の形態の構成を示すブロック図である。 第６の実施の形態の各構成要素の位置関係を示す平面図である。

符号の説明

６ 補正処理部
７，２８ 障害物
８ 重複領域
９ データ保持部
１１〜１６ カメラ
１７ 画像合成部
１８ 表示手段
１９ 後部座席部
２１〜２６ 撮影範囲
２７ 仮想球面
２９ 視点
３１〜３６ 画像抽出範囲
４１，４２ 検知された障害物
４３，４４ 面位置の変化
５１，５２，５３，５４ 合成画像
５５，５６ 継ぎ目
６１，６２ 領域
７１ 運転者視点位置センサ
７２，７３，７４ カメラ
７５ バックミラー
８１〜８６ 修正後の画像抽出範囲
８７ 視点の動き
９１ バックミラー
９２ ステレオカメラ
９３ マスク画像
１１１ ハーフミラー
１２１〜１２４ カメラ
１２５ ピラー部
１２６ 動き解析部
１４１〜１４４ 各部の動き
１５１ ダッシュボード・ピラー部
１５０１〜１５１２ カメラ
１６１，１６４，１６５ 間隔
１６２，１６３ 障害物

Claims (8)

1. 車両周辺の像を撮影する複数の撮像手段と、前記撮像手段によって得られる画像に基づいて運転を支援する画像情報を表示する表示手段とを備える車両用周囲状況表示装置であって、
   前記複数の撮像手段のそれぞれの位置，画角及び姿勢を含む第１の情報と、前記表示手段の少なくとも表示面の位置を表す第２の情報と、運転者の視点の位置を表す第３の情報とを利用して、
   運転者の視点の位置を表す前記第３の情報と表示面の位置を表す前記第２の情報から、運転者の視点と表示装置の各画素を結ぶ線分方向を算出し、前記複数の撮像手段のそれぞれの位置，画角及び姿勢を含む前記第１の情報に基づいて、複数の撮像手段から得られる画像データの中から、前記各画素を結ぶ線分方向にもっとも近い画素データを抽出し、表示装置に表示する画像全体を合成することによって、
   前記複数の撮像手段でそれぞれ得られた複数の画像を加工して運転者の視点から前記表示手段の表示面を見た方向の合成画像を生成する画像合成手段を具備することを特徴とする車両用周囲状況表示装置。
2. 請求項１に記載の車両用周囲状況表示装置において、
   前記画像合成手段は、前記視点の位置から所定の半径の位置にある車両外側の仮想球面を想定し、各々の撮像手段で得られた画像を前記仮想球面上に投影した状態で、互いに隣接する画像間の重なりがなくなる位置にそれぞれ境界を割り当て、各々の撮像手段で得られた画像から前記境界の内側にある画像領域をそれぞれ抽出し、抽出された画像領域を互いに連結して構成した合成画像を、前記視点と前記仮想球面と前記表示手段の表示面との位置関係に基づいて座標変換し、少なくとも大きさ及び表示位置を修正して前記表示手段に出力することを特徴とする車両用周囲状況表示装置。
3. 請求項２に記載の車両用周囲状況表示装置において、
   前記画像合成手段は、少なくとも１つの障害物を検出した場合には、前記複数の撮像手段で得られた画像の重なり部分の情報に基づいて、障害物までの距離に関する測定を実施し、前記障害物が含まれる画像については、前記仮想球面の代わりに前記障害物の位置を基準とした特定面を想定し、前記特定面上で互いに隣接する画像間の重なりがなくなる位置に前記境界を割り当てることを特徴とする車両用周囲状況表示装置。
4. 請求項１に記載の車両用周囲状況表示装置において、
   運転者の実際の視点の位置を検出する視点検出手段を備え、
   前記画像合成手段は、前記視点検出手段の検出結果に基づいて修正した前記第３の情報を利用して前記合成画像を生成することを特徴とする車両用周囲状況表示装置。
5. 請求項２に記載の車両用周囲状況表示装置において、
   前記画像合成手段は、近傍に配置されるバックミラーで反射して前記視点から見える前記仮面上の合成画像を座標変換して前記表示手段に出力することを特徴とする車両用周囲状況表示装置。
6. 請求項５に記載の車両用周囲状況表示装置において、
   前記画像合成手段は、前記視点から前記バックミラーで反射し、車両後部の窓を透過して直接見える第１の領域とそれ以外の第２の領域とを識別し、前記第１の領域に相当する画像はマスクして、前記第２の領域に相当する画像だけを前記表示手段に出力することを特徴とする車両用周囲状況表示装置。
7. 請求項２に記載の車両用周囲状況表示装置において、
   前記画像合成手段は、前記各撮像手段が像を撮影してから画像が前記表示手段に表示されるまでの遅れ時間の情報を利用し、前記遅れ時間によって発生する表示画像の位置ずれを計算して前記表示手段に出力する画像を補正することを特徴とする車両用周囲状況表示装置。
8. 請求項７に記載の車両用周囲状況表示装置において、
   前記画像合成手段は、撮影された画像のフレーム間の違いに基づいて画像内各部の単位時間当たりの動き量を検出し、その検出結果から前記遅れ時間によって発生する表示画像の位置ずれを求めることを特徴とする車両用周囲状況表示装置。

Images