JP4606322B2 - 車両運転支援装置 - Google Patents

Description

本発明は、魚眼レンズが取り付けられたカメラを用いて車両周辺を撮影して画面に表示することにより車両の運転を支援する車両運転支援装置に関する。

従来から、複数台のカメラを用いて車両周辺を撮影して車内に設けられた表示装置に撮影画像を表示するようにした車両周辺監視装置が知られている（例えば、特許文献１参照。）。この装置では、隣接する２台のカメラによって撮影された画像の境界と、これら２台のカメラの撮影方向とがほぼ一致するように各カメラの設置位置が工夫されており、境界近傍において撮影された物体の画像が表示の際に消失することを防止している。
特開２００３−２０４５４７号公報（第４−１２頁、図１−１８）

ところで、上述した特許文献１に開示された装置では、画像の境界とカメラの撮影方向とをほぼ一致させる必要があるため、カメラ設置の自由度が少ないという問題があった。例えば、車両周辺を撮影しようとした場合には、必ず車体の四隅にカメラを設置する必要があるが、車両の四隅部分は車庫入れなどにおいて壁等に最も接触しやすい場所でもあり、他の場所にカメラを設置することができるのであればその方が望ましい。

本発明は、このような点に鑑みて創作されたものであり、その目的は、カメラ設置の自由度を確保することができ、撮影された物体の画像が表示の際に消失することを防止することができる車両運転支援装置を提供することにある。

上述した課題を解決するために、本発明の車両運転支援装置は、自車両から路面を含む周辺を撮影する複数のカメラと、複数のカメラによって撮影された第１の画像のそれぞれに基づいて路面投影を行って路面に投影された複数の第２の画像を生成する路面投影処理手段と、路面投影処理手段によって生成された複数のカメラのそれぞれに対応する複数の第２の画像を合成する画像合成手段と、画像合成手段によって合成された第２の画像を表示する表示手段と、２台のカメラの撮影範囲の一部が重複する場合に、この重複領域に対応する第２の画像の内容に基づいて、画像合成手段によって第２の画像を合成する際の重複領域における境界位置を可変に設定する合成境界設定手段とを備えている。これにより、路面投影された画像を合成する際に、合成対象となる一方の画像のみに含まれる物体の画像を確実に合成後の画像に含ませることが可能であり、撮影された物体の画像が表示の際に消失することを防止することができる。また、合成対象となる画像が部分的に重複するように複数のカメラの設置位置を決めればよいため、カメラ設置の自由度を確保することができる。

また、上述した重複領域に対応する２つの第２の画像において特徴抽出を行う特徴抽出手段をさらに備え、合成境界設定手段は、重複領域に対応して特徴抽出手段によって抽出された特徴に基づいて境界位置を設定する。具体的には、上述した特徴抽出手段は、重複領域に対応する２つの第２の画像においてエッジ抽出を行い、抽出されたエッジ形状およびこのエッジ形状で区画される部分画像を構成する画素データの少なくとも一方を特徴として抽出することが望ましい。これにより、重複領域における一方の画像のみに物体の画像が含まれていることを容易かつ確実に検出することができる。

また、上述した合成境界設定手段は、特徴抽出手段によって抽出された特徴で特定される複数の部分画像が、重複領域に対応する２つの第２の画像の一方のみであってそれぞれの第２の画像に分散して含まれる場合に、画像合成手段によって合成された後の第２の画像にこれらの部分画像が含まれる割合（例えば部分画像の面積比）が等しくなるように境界位置を設定する。このように合成の境界を設定することにより、一方の画像のみに含まれる物体の部分画像を最大限表示に含ませることが可能になり、境界近傍に存在する物体の視認性を向上させることができる。

以下、本発明を適用した一実施形態の車両運転支援装置について、図面を参照しながら説明する。図１は、一実施形態の車両運転支援装置の構成を示す図である。図１に示す車両運転支援装置１００は、カメラ１０ａ〜１０ｄ、撮影画像格納部１２ａ〜１２ｄ、トップビュー画像変換部２０、トップビュー画像格納部２２、特徴抽出部３０、合成境界設定部３２、画像合成部４０、表示処理部４２、表示装置４４を含んで構成されている。

カメラ１０ａ〜１０ｄは、自車両の周囲を広角レンズとしての魚眼レンズを通して撮影する。図２は、４台のカメラ１０ａ〜１０ｄの設置位置を示す図である。自車両である車両２００の右側のドアミラーにカメラ１０ａが設置されている。また、左側のドアミラーにカメラ１０ｂが設置されている。後部のトランクドアにカメラ１０ｃが設置されている。前部のバンパー近傍にカメラ１０ｄが設置されている。これらのカメラ１０ａ〜１０ｄのそれぞれは、１８０度の視野角を有する魚眼レンズを通して車両２００の周辺を撮影する。したがって、隣接した２台のカメラ（例えばカメラ１０ａとカメラ１０ｄ）の撮影範囲の一部が重複しており、本実施形態ではこの重複領域における画像合成時の境界位置が可変に設定される。これらのカメラ１０ａ〜１０ｄによって、車両２００に対して地面を含む水平方向のサイドビュー画像（第１の画像）が得られる。カメラ１０ａ〜１０ｄのそれぞれから出力されるサイドビュー画像データは、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納される。

トップビュー画像変換部２０は、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納されたサイドビュー画像に基づいて、視点位置を車両上空に設定して路面投影処理を行ってトップビュー画像（第２の画像）を生成する。上述したように、カメラ１０ａ〜１０ｄのそれぞれは１８０度の視野角を有するため、それぞれのサイドビュー画像に対応するトップビュー画像にも部分的に互いに重複した領域が存在する。トップビュー画像変換部２０によって生成されたカメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像は、トップビュー画像格納部２２に格納される。

特徴抽出部３０は、トップビュー画像格納部２２に格納された４台のカメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像の重複領域を用いて特徴抽出を行う。具体的には、特徴抽出部３０は、重複領域に対応する２つのトップビュー画像においてエッジ抽出を行い、抽出されたエッジ形状およびこのエッジ形状で区画される部分画像を構成する画素データの少なくとも一方を特徴として抽出する。これにより、撮影範囲に含まれる物体（この物体には立体物だけでなく路面に描かれた道路標識等の平面的な模様等も含まれる）に対応する部分画像がこの重複領域に含まれる場合に、エッジ形状あるいはエッジ形状で区画される部分の色や輝度等を示す画素データの少なくとも一方を用いてこの部分画像を認識することが可能となる。

合成境界設定部３２は、重複領域に対応して特徴抽出部３０によって抽出された特徴、すなわちこの特徴によって識別される部分画像に基づいて、カメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像を合成する際の重複領域における境界位置を可変に設定する。

図３は、境界位置設定の具体例を示す図である。合成境界設定部３２は、特徴抽出部３０による特徴抽出によって特定された部分画像が、重複領域に対応する一方のトップビュー画像のみに含まれる場合に、合成後のトップビュー画像にこの部分画像が含まれるように重複領域における境界位置を設定する。図３に示す例では、カメラ１０ａに対応するトップビュー画像のみに部分画像Ａ１が含まれており、カメラ１０ｄに対応するトップビュー画像にはこの部分画像Ａ１が含まれていない。したがって、合成境界設定部３２は、合成後の画像にこの部分画像Ａ１が含まれるように境界Ｂの角度θを設定する。なお、このようにして設定された角度θが基準値以下になる場合には、予め決められている固定値を用いて角度θを設定するようにしてもよい。例えば、部分画像が含まれるように設定された角度θが４５度未満の場合にこの角度θを可変設定する代わりに固定値としての４５度に設定するようにしてもよい。また、重複領域に対応する２つのトップビュー画像のいずれにも部分画像が含まれない場合も固定値を用いて角度θが設定される。また、図３では（以下で示す図４についても同様）、重複領域に対応する両方のトップビュー画像に含まれる共通の部分画像（同じ物体を２つのカメラのそれぞれを用いて撮影して得られたと考えられる部分画像）には特に言及しなかったが、このような部分画像は境界設定の判断対象から除外される。

図４は、境界位置設定の他の具体例を示す図である。合成境界設定部３２は、特徴抽出部３０による特徴抽出によって特定された複数の部分画像のそれぞれが、重複領域における一方のトップビュー画像のみであってそれぞれのトップビュー画像に分散して含まれる場合に、合成後のトップビュー画像にこれらの部分画像が含まれる割合（例えば重複領域における面積比）が等しくなるように重複領域における境界位置を設定する。図４に示す例では、カメラ１０ａに対応するトップビュー画像のみに部分画像Ａ１が含まれ、カメラ１０ｄに対応するトップビュー画像のみに部分画像Ａ２が含まれている。したがって、合成境界設定部３２は、合成後の画像にこれらの部分画像Ａ１、Ａ２が含まれる割合が等しくなるように境界Ｂの角度θを設定する。

画像合成部４０は、トップビュー画像格納部２２に格納された４つのカメラ１０ａ〜１０ｄのそれぞれに対応する４つのトップビュー画像を、合成境界設定部３２で設定された境界として合成する。４つのトップビュー画像は、互いに重複領域を有しているが、合成境界設定部３２によって設定された境界を境としていずれか一方のトップビュー画像のみが用いられる。合成後の画像を構成する各画素データは、表示処理部４２内のＶＲＡＭ（ビデオＲＡＭ）に書き込まれる。このＶＲＡＭは、表示用のメモリであり、格納位置と表示位置とが対応付けられている。表示処理部４２は、ＶＲＡＭに格納されたデータを読み出して、所定形式の映像信号（例えばＮＴＳＣ方式の映像信号）に変換する。この映像信号は表示装置４４に向けて出力され、その画面上に路面投影された画像が表示される。表示装置４４は、例えば液晶表示装置（ＬＣＤ）を用いて構成されており、運転者が容易に目視可能な車室内位置に設置されている。

図５は、合成後のトップビュー画像の表示例を示す図である。図４に示した部分画像Ａ１、Ａ２が含まれるトップビュー画像が境界Ｂで合成された場合の部分的な表示例が示されている。

上述したトップビュー画像変換部２０が路面投影処理手段に、画像合成部４０が画像合成手段に、表示処理部４２、表示装置４４が表示手段に、合成境界設定部３２が合成境界設定手段に、特徴抽出部３０が特徴抽出手段にそれぞれ対応する。

本実施形態の車両運転支援装置はこのような構成を有しており、次にその動作を説明する。図６は、重複領域における境界位置を可変設定する場合の動作手順を示す流れ図である。カメラ１０ａ〜１０ｄによって所定の時間間隔で車両２００の周辺が撮影される（ステップ１００）。この撮影によって得られたサイドビュー画像は撮影画像格納部１２ａ〜１２ｄに格納される。次に、トップビュー画像変換部２２は、撮影画像格納部１２ａ〜１２ｄに格納されているサイドビュー画像に基づいてトップビュー画像を生成する（ステップ１０１）。

また、特徴抽出部３０は、トップビュー画像格納部２２に格納された４台のカメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像の重複領域を用いてエッジ抽出（特徴抽出）を行う（ステップ１０２）。抽出されたエッジによって部分画像が特定される。次に、合成境界設定部３２は、重複領域の一方のトップビュー画像のみに部分画像が含まれるか否かを判定する（ステップ１０３）。ここで、一方のトップビュー画像のみに部分画像が含まれる場合とは、図３に示したように、重複領域における一方のトップビュー画像のみに部分画像が含まれており、他方のトップビュー画像にはこの部分画像以外に他の部分画像が含まれていない場合と、図４に示したように、重複領域における一方のトップビュー画像のみに第１の部分画像が含まれるとともに、他方のトップビュー画像のみに別の第２の部分画像が含まれている場合の両方が該当する。これらのいずれかの場合にはステップ１０３において肯定判断が行われ、合成境界設定部３２は、重複領域におけるトップビュー画像の内容（部分画像の配置や面積）に基づいて合成の境界を設定する（ステップ１０４）。なお、重複領域の２つのトップビュー画像のいずれにも部分画像が含まれない場合にはステップ１０３の判定において否定判断が行われ、予め決められた固定の境界が用いられる。

その後、画像合成部４０は、４つのカメラ１０ａ〜１０ｄのそれぞれに対応する４つのトップビュー画像を、設定された境界を用いて合成し（ステップ１０５）、表示処理部４２は、合成された画像を表示装置４４の画面上に表示する（ステップ１０６）。

このように、本実施形態の車両運転支援装置１００では、路面投影されたトップビュー画像を合成する際に、重複領域において合成対象となる一方のトップビュー画像のみに含まれる部分画像を確実に合成後のトップビュー画像に含ませることが可能であり、撮影された物体の画像が表示の際に消失することを防止することができる。また、合成対象となる画像が部分的に重複するように複数のカメラ１０ａ〜１０ｄの設置位置を決めればよいため、カメラ設置の自由度を確保することができる。

特に、一方のトップビュー画像のみに部分画像が含まれる場合にはこの部分画像が含まれるように境界を設定し、両方のトップビュー画像に別々の部分画像が含まれる場合にはそれぞれの部分画像の割合（例えば面積比）が等しくなるように境界を設定することにより、一方のトップビュー画像のみに含まれる部分画像を最大限画像合成後の表示に含ませることが可能になり、境界近傍に存在する物体の視認性を向上させることができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、図３および図４に示したように、重複領域における境界Ｂを直線形状としたが、直線形状以外の形状を有する境界を設定してもよい。例えば、図７に示すように、重複領域における一方のトップビュー画像のみに含まれる部分画像Ａ１と他方のトップビュー画像のみに含まれる部分画像Ａ３の表示位置（描画位置）が重複しない場合には、これらの部分画像Ａ１、Ａ３のいずれもが含まれるように変形した複雑な形状を有する境界Ｂを設定するようにしてもよい。

一実施形態の車両運転支援装置の構成を示す図である。 ４台のカメラの設置位置を示す図である。 境界位置設定の具体例を示す図である。 境界位置設定の他の具体例を示す図である。 合成後のトップビュー画像の表示例を示す図である。 重複領域における境界位置を可変設定する場合の動作手順を示す流れ図である。 直線形状以外の境界の例を示す図である。

符号の説明

１０ａ〜１０ｄ カメラ
１２ａ〜１２ｄ 撮影画像格納部
２０ トップビュー画像変換部
２２ トップビュー画像格納部
３０ 特徴抽出部
３２ 合成境界設定部
４０ 画像合成部
４２ 表示処理部
４４ 表示装置
１００ 車両運転支援装置

Claims (3)

1. 自車両から路面を含む周辺を撮影する複数のカメラと、
   前記複数のカメラによって撮影された第１の画像のそれぞれに基づいて路面投影を行って路面に投影された複数の第２の画像を生成する路面投影処理手段と、
   前記路面投影処理手段によって生成された前記複数のカメラのそれぞれに対応する複数の前記第２の画像を合成する画像合成手段と、
   前記画像合成手段によって合成された前記第２の画像を表示する表示手段と、
   ２台の前記カメラの撮影範囲の一部が重複する場合に、この重複領域に対応する前記第２の画像の内容に基づいて、前記画像合成手段によって前記第２の画像を合成する際の前記重複領域における境界位置を可変に設定する合成境界設定手段と、
   前記重複領域に対応する２つの前記第２の画像において特徴抽出を行う特徴抽出手段と、
   を備え、前記特徴抽出手段によって抽出された特徴で特定される複数の部分画像が、前記重複領域に対応する２つの前記第２の画像の一方のみであってそれぞれの前記第２の画像に分散して含まれる場合に、前記画像合成手段によって合成された後の前記第２の画像にこれらの部分画像が含まれる割合が等しくなるように前記境界位置を設定することを特徴とする車両運転支援装置。
2. 請求項１において、
   前記特徴抽出手段は、前記重複領域に対応する２つの前記第２の画像においてエッジ抽出を行い、抽出されたエッジ形状およびこのエッジ形状で区画される部分画像を構成する画素データの少なくとも一方を特徴として抽出することを特徴とする車両運転支援装置。
3. 請求項１または２において、
   前記割合は、前記部分画像の面積比であることを特徴とする車両運転支援装置。

Images