JP2009100261A - 車両周囲画像提供装置及び広角画像の補正方法 - Google Patents

Abstract

【課題】車両の周囲を撮影した広角画像を違和感なく表示することができる「車両周囲画像提供装置及び広角画像の補正方法」を提供すること。
【解決手段】車両周囲画像取得装置１０は、画面を通して情報を提供する表示手段１６と、自車両の一部を含めて車両周囲の画像を取得する撮像手段１１と、自車両の標準画像のデータを予め格納すると共に、撮像手段により取得された画像のデータを格納する記憶手段１７と、記憶手段に格納されている自車両の標準画像データ及び撮像手段により撮像された自車両の画像データから画像データ変換規則を生成する制御手段１４とを備える。制御手段１４は、撮像手段１１により撮像された自車両及び自車両周囲の広角画像を画像データ変換規則に基づいて標準画像に変換してフレームデータを生成し、表示手段１６の画面に表示させる。
【選択図】図１

Description

本発明は、車両周囲画像提供装置及び広角画像補正方法に関し、特に広角カメラによって撮像された車両周辺の画像を人間の感覚に合った画像に変換して違和感のない画像提供に好適な車両周囲画像提供装置及び広角画像補正方法に関する。

車両周囲画像提供装置は、多くの場合、ナビゲーション装置を搭載した車両に搭載されている。典型的な車載用ナビゲーション装置には、ナビゲーションに係る一切の処理を制御するＣＰＵ、地図データを格納したＤＶＤ−ＲＯＭやＨＤＤ等の記憶装置、画面を通して案内情報を提供するディスプレイ装置、自車の現在位置を検出するためのＧＰＳ(Global Positioning System)受信機、自車の進行方位や走行速度等を検出するためのジャイロや車速センサ等が設けられている。そして、ＣＰＵにより、自車の現在位置を含む地図データを記憶装置から読み出し、この地図データに基づいて自車位置の周囲の地図画像をディスプレイ画面に描画すると共に、自車の現在位置を指示する自車位置マークをディスプレイ画面に重ね合わせて表示し、自車の移動に応じて地図画像をスクロール表示したり、あるいは地図画像を画面に固定して自車位置マークを移動させたりして、自車が現在何処を走行しているのかを一目で判るようにしている。さらにナビゲーション装置には、ユーザが設定した目的地に向けて道路を間違うことなく容易に走行できるように案内する機能（経路誘導機能）が搭載されている。

通常走行の場合にはナビゲーション装置の指示に従って走行していれば目標地点まで目標時間で到着することが可能である。しかし、走行途中には一時的に駐車が必要になり、バック走行をする場合や、車両の死角領域での他の車両や人の存在が認識できずに右左折時等に危険が伴う場合がある。これらの危険を回避するために、車両の周辺を監視する技術が実用化されている。車両の周辺を監視する技術として、車両のドアミラーやナンバープレート近傍にカメラを設置し、カメラにより撮像された画像をモニタ画面に表示する装置が実用化されている。

車両の周囲の状況として、例えば、他車の位置や障害物の状況、さらに、左折時における車両後方からの車両の状況等がある。これらの周囲の状況を広範囲に取得するために、使用されるカメラは広範囲な視野角の画像を撮像可能な広角レンズが使用されている。

これに関連する技術として、特許文献１には、広角カメラを車両後部に設置し、レンズ歪みを除去して車両後方を広範囲に撮像する手法が記載されている。
特開２００４−１４７２１０号公報

上記したように、広角レンズの撮像装置を利用することにより、視野角が確保されて広範囲の画像を得ることが可能となる。この撮像装置を車両に設置することにより、少ない数の撮像装置で車両の全周囲を撮像することが可能になり、運転者からの死角領域の状況を把握することができる。

しかし、広角レンズの撮像装置を利用した場合には、視野角は確保されて広範囲の画像が得られるものの、遠近感が強調されており、ユーザにとって画像を認識しづらいという問題がある。そのため、例えば、後方の他車が実際には自車の近くに接近しているにもかかわらず、運転者はその他車がまだ距離的に離れていると錯覚してしまい、車線変更等を行うときに接近しすぎる等、安全走行に支障をきたすおそれがある。

なお、特許文献１では、地面上に描かれた格子模様のライン間の距離の比を１：０．９１程度とするように広角画像を補正しているが、車両の後方に他の車両等、地面上に物体が存在する場合は考慮されていない。

本発明は、かかる従来技術の課題に鑑みなされたものであり、車両の周囲を撮影した広角画像を違和感なく表示することができる車両周囲画像提供装置及び広角画像の補正方法を提供することを目的とする。

周知のように被写体の距離に応じて被写体の倍率を変換する事で遠近感（パースペクティブ）を変えることができる。このためには各被写体との距離を知る必要がある。本発明は広角カメラで自車の一部も含めて撮像し、その自車の一部はカメラからの距離が既知であることを利用し、被写体の倍率変換の設定に利用するものである。３５ｍｍ換算の焦点距離５０ｍｍの撮像画像（以下、標準画像と記す）が人間の感覚に近い遠近感と考えられており、変換後の遠近感はこれを目安とする。

上述した従来技術の課題を解決するため、本発明の一形態によれば、画面を通して情報を提供する表示手段と、自車両の一部を含めて車両周囲の広角画像を取得する撮像手段と、前記自車両の標準画像のデータを予め格納すると共に、前記撮像手段により取得された画像のデータを格納する記憶手段と、前記記憶手段に格納されている前記自車両の標準画像データ及び前記撮像手段により撮像された自車両の画像データから画像データ変換規則を生成する制御手段とを備え、前記制御手段は、前記撮像手段により撮像された自車両及び自車両周囲の広角画像を前記画像データ変換規則に基づいて標準画像に変換してフレームデータを生成し、前記表示手段の画面に表示させることを特徴とする車両周囲画像提供装置が提供される。

この形態に係る車両周囲画像提供装置において、前記制御手段は、前記画像データ変換規則を画素毎に生成してマッピングテーブルを作成し、前記広角画像を標準画像に変換するようにしてもよく、前記マッピングテーブルの画像データ変換規則は、各画素毎に前記広角画像の各画素の位置と前記標準画像の各画素の位置との対応関係が記述されるようにしてもよい。

また、前記自車両の一部の広角画像は、前記撮像手段からの距離に応じて自車両の広角画像をそれぞれ含む複数の領域に分割され、各領域毎に広角画像から標準画像へ変換する拡大又は縮小倍率が定義されるようにしてもよく、前記各領域内の自車両の近傍の各画素に対する画像データ変換規則は、自車両の画像データ変換規則による変換後の位置と、各画素の位置に前記拡大又は縮小倍率を乗じた距離により算出されるようにしてもよく、前記各領域内の自車両の近傍の各画素に対する拡大又は縮小倍率は、当該領域内で連続的に変化するようにしてもよい。

この形態に係る車両周囲画像提供装置では、自車の一部を撮像した広角画像とそれに対応する標準画像から、画素単位の変換規則を求めてマッピングテーブルを生成している。

このマッピングテーブルを使用し、広角カメラで撮像された車両周囲の画像を標準画像に変換している。これにより、広角画像で強調された遠近感を人間の間隔に近い遠近感になるようにでき、違和感のない画像を提供することが可能になる。

また、マッピングテーブルは、広角画像画素データと標準画像の画素データとの対応関係を示すものであり、自車を被写体として撮像している。また、自車の近傍の画像はその自車の部分と同じように画素データが変換されるものとしている。これにより、自車以外の撮像画像について被写体までの距離を測定することなく、自車の撮像画像に基づいて容易に変換規則を生成することが可能になる。

また、広角画像を撮像装置から所要の距離毎に複数の領域に分割し、領域毎に広角画像から標準画像への変換倍率を規定するとともに、領域内で変換倍率を変化させるようにしている。これにより、領域間で画像が不連続になることを防止でき、ユーザにとって違和感のない標準画像を提供することが可能となる。

また、本発明の他の形態によれば、上述した車両周囲画像提供装置において実施される広角画像の補正方法が提供される。その一形態に係る広角画像の補正方法は、車両に設置された広角撮像手段によって車両の一部を撮像した広角画像と、当該広角撮像手段の位置から同じ車両の一部の標準画像を取得するステップと、前記広角画像と前記標準画像との対応する画素データから、画素毎に画像データ変換規則を生成し、各画素に対して当該変換規則を記述したマッピングテーブルを生成するステップと、車両に設置された広角撮像装置によって車両の一部を含んだ車両外部を撮像して広角画像を取得するステップと、 前記マッピングテーブルに基づいて新たな画像フレームデータを生成するステップと、を有する。

また、この形態に係る広角画像の補正方法において、前記標準画像を取得するステップの後に、前記広角画像を前記撮像手段からの距離に応じて自車両の広角画像をそれぞれ含む複数の領域に分割するステップと、前記複数の領域の各領域毎に広角画像から標準画像へ変換する拡大又は縮小倍率を算出するステップと、を含んでもよく、前記マッピングテーブルを生成するステップは、自車両の広角画像と標準画像とが対応する画素データから座標変換値を算出して前記マッピングテーブルのマッピングデータとして記述するステップと、前記各領域内の自車両の近傍の各画素に対する画像データ変換規則を、自車両の画像データ変換規則による変換後の位置と、各画素の位置に前記拡大又は縮小倍率を乗じた距離とから算出して前記マッピングテーブルのマッピングデータとして記述するステップとを含んでもよい。

以下、本発明の実施形態について、添付の図面を参照しながら説明する。

図１は、本発明の一実施形態に係る車両周囲画像提供装置１０の構成を概略的に示したものである。本実施形態では、本発明に係る車両周囲画像提供装置１０を車載用ナビゲーション装置の一部として組み込んだ場合の構成例を示している。

本実施形態に係る車両周囲画像提供装置１０は、図１に示すように、基本的に、車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄと、画像処理部１２と、マッピングテーブル１３と、制御部１４と、操作部１５と、ディスプレイ装置１６とを備えている。

各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を継続的に取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、前方カメラ１１ａは車両の前部に、後方カメラ１１ｂは車両の後部に、左方カメラ１１ｃ及び右方カメラ１１ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）に設置されている。

また、各車載カメラ１１ａ〜１１ｄは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｄが協働して自車両の全周囲（車両周囲）を撮影できるように配置されている。また、これらの車載カメラ１１ａ〜１１ｄのうち、左方カメラ１１ｃ及び右方カメラ１１ｄは、自車両の一部（車体）の画像を取得できるように設置されており、自車両の側部の後方の一部を含んだ側方の状況から自車両の側部の前方の一部を含んだ側方の状況までを撮像することが可能である。

各車載カメラ１１ａ〜１１ｄは、例えば、ＣＣＤ(Charge Coupled Device)センサを内蔵している。特に図示はしないが、このＣＣＤセンサは、受光部として機能するフォトダイオード（光電変換素子）と、その光電変換された信号（電荷）を転送するためのＣＣＤを有しており、フォトダイオードは２次元に配列され、各フォトダイオード上にマイクロレンズが設けられている。

画像処理部１２は、撮影画像メモリ１７、画像変換部１８、及び表示画像メモリ１９を備えている。

撮影画像メモリ１７には、制御部１４からの制御に基づき、各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄで継続的に撮影して得られた画像（自車両の前方、後方、左方及び右方の周囲の画像と、自車両の一部の画像）のデータが一画面分（１フレーム）毎に逐次格納されるようになっている。その際、撮影画像データを順次上書きしながら格納する。

画像変換部１８は、車載カメラで撮影された広角画像を、人間にとって違和感のない標準の画像に変換するものである。画像変換は、マッピングテーブル１３を参照して行われ、標準画像に変換された画像データは、表示画像メモリ１９に格納される。

マッピングテーブル１３は、撮影画像の画素データと表示画像の画素データとの対応関係が記述されたテーブルであり、１フレームメモリの各画素毎に、マッピングデータとして、座標の変換規則が記述されている。また、マッピングテーブル１３は、左方カメラ１１ｃ及び右方カメラ１１ｄの設置角度に応じて複数用意される。

ディスプレイ装置１６は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のセンターコンソールのほぼ中間位置に設置されている。このディスプレイ装置の表示画面には、本発明に関連する情報として、左方カメラまたは右方カメラで撮影された広角画像を変換した標準画像が表示される。さらにこの表示画面には、ナビゲーションに係る案内情報（自車の現在位置の周囲の地図、出発地から目的地までの誘導経路、自車の現在位置を示すマーク等）も表示される。

制御部１４は、例えば、マイクロコンピュータ等により構成され、後述するように車載カメラによる画像の取得及びそれに基づいて変換された画像の表示に係る処理を制御する機能を有している。さらに制御部１４は、ナビゲーションに係る種々の処理（ＧＰＳ受信機の出力から自車の現在位置を検出したり、自立航法センサの出力から自車の方位や走行速度を検出したり、地図データベースを参照して設定された探索条件で出発地（自車の現在位置）から目的地までの誘導経路を探索するなど）を制御する機能も有している。

操作部１５は、ユーザが指示した情報を入力するためのものであり、本発明に関連する入力指示として「標準画像表示」の指示を与えるものである。この操作部１５は、例えば、リモコン送信機の形態を有しており、特に図示はしないが、ディスプレイ装置の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどが適宜設けられている。

このように構成された車両周囲画像提供装置１０において、運転者が操作部を操作して「標準画像表示」を選択すると、左方又は右方カメラで撮像された広角画像信号は１フレーム毎に撮影画像メモリ１７に記憶される。画像変換部１８は、撮影画像メモリ１７に記憶された撮像画像を読み出し、マッピングテーブル１３を参照しながら画像変換部１８で標準画像に変換し、変換後の標準画像を表示画像メモリ１９へ格納する。この標準画像は、人間にとって違和感のない歪みが補正された画像である。表示画像メモリ１９に格納された画像データに従って、ディスプレイ装置１６に出力され、標準画像が表示される。この一連の処理が制御部１４によって制御される。なお、運転者が「標準画像表示」を選択しない場合であっても、標準機能として広角画像が標準画像に変換されるようにしてもよい。

このようにして、遠近感が強調された広角画像を、マッピングテーブルを用いて標準画像に変換した後、表示画面に表示するようにしている。これにより、人間の遠近感に合った画像が表示されることになり、車両周辺の状況を正しく把握することが可能になる。

以下、本実施形態に係る車両周囲画像提供装置１０において行う車載カメラにより取得した広角画像から標準画像への変換に係る処理について、図３〜図７を参照しながら説明する。

図３（ａ）は、広角（１８０度以上）車載カメラで撮影された画像の一部を切り出して自車両の一部を模式化して示したものである。この図３（ａ）では、左方のドアミラーに設置された車載カメラで車両の前方の側面が撮像されている例を示している。図３（ａ）に示すように、広角カメラで撮像した自車両の一部の広角画像３１は、カメラから遠い位置ほど小さく、カメラに近い位置ほど大きく撮像され、遠近感が強調されている。なお、図３（ａ）は、広角カメラで撮像した画像に対して歪曲歪を補正した後の画像を示している。また、図３（ｂ）は、標準のカメラで撮影された自車両の一部を模式化してしめしたものである。図３（ｂ）の自車両の一部の標準画像３２は、図３（ａ）の広角画像３１に対応している。この標準画像としては、例えば、３５ｍｍフィルム換算で焦点距離が５０ｍｍのレンズを使用して撮影した画像を想定している。

本実施形態の車両周囲画像提供装置では、図３（ａ）に示すような広角カメラで撮像された広角画像を、補正用のマッピングテーブル１３を使用して、図３（ｂ）に示すような標準画像に変換して表示部に表示させている。そこで、まず補正用のマッピングテーブル１３について説明する。

マッピングテーブル１３は、広角画像の画素データと標準画像の画素データとの対応関係が記述されたものである。この対応関係を求めるために、本実施形態では、基準となる被写体として「自車の一部」を利用している。

広角カメラと、標準カメラとを用いて、それぞれ自車の一部を共通の被写体として撮影する。例えば、ドアミラーに所要の角度で広角カメラを設置して、自車の一部を含むように撮影し、一フレーム分の撮像画像をメモリに記憶する。同様に、標準カメラをドアミラーに設置して、同じ自車の一部の画像を撮像する。

標準カメラで撮影された標準画像データと、広角カメラで撮影された広角画像データとを比較して、対応する画素を求め、広角画像から標準画像への変換規則を生成する。すなわち、広角画像の各画素の座標位置が、変換後には標準画像のどの座標位置に対応するかを示す座標変換値を各画素毎に求め、マッピングテーブル１３のマッピングデータとして記述する。

図４（ａ）は、撮影画像の画素の座標系を示している。１フレームの左上の座標を原点（０，０）とし、Ｘ座標値は図面の右方向、Ｙ座標値は図面の下方向に大きくなるものとする。図４（ｂ）は、標準画像の座標系を示しており、図４（ａ）と同様に１フレームの左上の座標を原点としている。

例えば、広角画像の画素Ｐ１（１００，５０）が、標準画像の画素Ｑ１（１５０，７０）に変換されるものとする。この場合、図４（ｃ）に示すように、マッピングテーブルのＰ１（１００，５０）の位置に変換後の座標位置（１５０，７０）が記述される。

このように、自車が撮影された部分について対応する画素を検出し、画素毎に座標変換値を求め、マッピングテーブル１３のマッピングデータとして記述する。これにより、自車の画像部分については、広角画像から標準画像への変換が可能となる。

次に、自車画像の座標変換値データから、自車の近傍の画像の座標変換規則の算出について説明する。

本実施形態では、自車の近傍の画像も、その自車の部分とほぼ同じように座標変換がされるものと仮定している。従って、自車の座標変換値を基準値とし、基準値からの変位量を考慮して自車の近傍の画素に対する座標変換規則を算出する。変換後の変位量は、広角画像に対する標準画像の倍率を変位量に乗じた値となる。ただし、この倍率は一定ではなく、図３（ａ）に示すような画像に対して、図３（ｂ）の標準画像に近づけるためには、カメラから遠い位置ほどその画像を拡大し、カメラから近い位置は遠い位置ほど画像の拡大率を大きくしない。このように、部分的に倍率が異なる。そこで、広角画像を所要の単位で複数の領域に分割し、各領域毎に倍率を規定する。

図５（ａ）は、広角画像の領域分割を説明する図である。図５（ａ）に示すように、広角カメラで撮像した自車の一部の画像データに対して、カメラ設置位置からの所要の距離毎に複数の領域ＡＲ１〜ＡＲ４に分割する。

各領域ＡＲ１〜ＡＲ４には自車の一部が含まれるようにし、かつ、遠方に設定した領域はそれよりもカメラに近い側の領域に含まれるように領域を設定する。最もカメラに近い領域ＡＲ４は一フレーム全体と一致している。例えば、図５（ａ）では、領域ＡＲ１は領域ＡＲ２に、領域ＡＲ２は領域ＡＲ３に、領域ＡＲ３は領域ＡＲ４にそれぞれ含まれている。

標準カメラで撮像した標準画像に対しても同様に（図５（ｂ）参照）、カメラからの距離に応じて複数の領域に分割する。この距離は、広角画像を分割する際に規定した距離と同じである。ただし、領域のサイズは、図５（ａ）の領域ＡＲ１が図５（ｂ）の領域ＴＡＲ１に変化するように、広角画像から標準画像へ変換する際の倍率に応じて変化する。

図５（ａ）において、領域ＡＲ１に着目する。この領域の中心に自車の一部であるラインＬ１が位置するようにする。このラインＬ１を標準画像（図５（ｂ））と比較すると、倍率がＴＬ１／Ｌ１となる。この倍率を領域ＡＲ１のｙ方向の中心倍率とする。また、領域ＡＲ１内に含まれる自車の一部のｘ方向成分については、標準画像と比較すると倍率がＴＨ１／Ｈ１となる。この倍率を領域ＡＲ１のｘ方向の中心倍率とする。

図６は、自車の近傍の画像の画素に対する座標変換規則の生成を説明する図である。図６に示す領域ＡＲ１全体としてのｘ方向、ｙ方向の倍率がそれぞれＡｘ，Ａｙと求められたとする。

座標（ｘ₁、ｙ₁）の画素を基準点ｇとし、この基準点ｇが座標（Ｘ₁，Ｙ₁）に変換されるものとする。この変換される点を変換基準点Ｇとする。

広角画像の基準点ｇからｘ方向に「−１」の点ｈ（ｘ₁−１、ｙ₁）に着目すると、ｙ座標は基準点ｇと同じであり、ｘ座標は基準点よりも「−１」の位置に存在する。従って、座標変換後の座標は、変換基準点Ｇからｘ方向に「−Ａｘ」だけ移動した位置になる。すなわち、点ｈは座標（Ｘ₁，Ｙ₁）＋（（ｘ₁−ｘ₁−１）Ａｘ、（ｙ₁−ｙ₁）Ａｙ）の位置に変換されることとなる。なお、変換後の座標値が小数を含む場合は、小数点以下の四捨五入により整数値に変換する。

このようにして、自車画像の近傍の画素について変換規則を算出し、算出された座標位置の変換規則をマッピングテーブルの各画素にデータとして記述する。また、自車両の画像がｘ方向、ｙ方向に変化する場合は、その比率に応じて座標変換位置をマッピングテーブルに記述する。上記説明では、領域ＡＲ１について説明したが、他の領域についても同様に各画素に対する変換規則を算出する。

以上のような座標変換において、領域内で倍率を一定にすると、領域間で画像が不連続になってしまう場合が発生する。例えば、図５で説明した例では、領域ＡＲ１に対してｙ方向の倍率をＴＬ１／Ｌ１として算出していた。この場合、領域ＡＲ２の近傍では中心部と倍率が異なるにもかかわらずＴＬ１／Ｌ１としたため、理想値よりも−ｙ方向にずれ、また、領域ＡＲ２に対して領域ＡＲ１の近傍の画素の位置を変換するとき、倍率をＴＬ２／Ｌ２とすると、＋ｙ方向にずれて座標変換される場合がある。このように、領域の境界付近で画像が不連続になってしまう。

これに対処するため、図７に示すように、領域ＡＲ１内において、ｙ方向の倍率を中心付近の倍率（ＴＬ１／Ｌ１）と領域ＡＲ２付近の倍率（ＴＬ２／Ｌ２）の両倍率を考慮し、中心から隣接領域まで、倍率を変化させるようにする。

すなわち、中心から±ｙ方向の隣接領域までの画素数をｄ１とし、中心におけるｙ方向の倍率をＡ１，領域境界付近のｙ方向の倍率をＡ２としたとき、中心からｃ１番目の画素に対するｙ方向の倍率は次式で算出される。

Ａ１＋（（Ａ２−Ａ１）／ｄ１）×ｃ１
図７の例では、倍率Ａ１はＴＬ１／Ｌ１に対応し、倍率Ａ２はＴＬ２／Ｌ２に対応している。

また、ｘ方向についても同様な現象が発生する場合があるため、ｘ方向についても領域内で倍率を変化させるようにする。

例えば、図７において、中心から±ｘ方向の隣接領域までの画素数をｄ２とし、中心におけるｘ方向の倍率をＡ３，領域境界付近のｘ方向の倍率をＡ４としたとき、中心からｃ２番目の画素に対するｘ方向の倍率は次式で算出される。

Ａ３＋（（Ａ４−Ａ３）／ｄ２）×ｃ２
図７の例では、倍率Ａ３はＴＬ４／Ｌ４に対応し、倍率Ａ４はＴＬ５／Ｌ５に対応している。

このようにして算出した拡大・縮小倍率を用い、近傍の自車の画素を基準点として、各画素毎の座標変換規則を生成する。

以上説明したマッピングテーブル１３を、左方カメラ１１ｃ又は右方カメラ１１ｄの設置角度毎に用意する。

次に、広角画像を標準画像に補正する方法について図８及び図９のフローチャートを用いて説明する。

図８は、広角画像の補正処理の一例を示すフローチャートである。

まず、ステップＳ１１において、マッピングテーブル１３を作成する。マッピングテーブル１３は広角画像の画素データと標準画像の画素データとの対応関係を示すものであり、その生成については図９を用いて後述する。

次のステップＳ１２において、車両に設置された広角撮像装置によって車両の一部を含んだ車両外部の広角画像を取得する。

次のステップＳ１３において、広角画像の１フレーム毎に画素単位に座標変換規則が記述されたマッピングテーブル１３を参照して、ステップＳ１２で取得した広角画像を標準画像に変換する。

次のステップＳ１４では、表示画像メモリ１９にステップＳ１３で変換した１フレーム分の標準画像データを格納する。

次のステップＳ１５では、表示画像メモリ１９に格納された標準画像データに従って、ディスプレイ装置１６の表示画面に変換された標準画像を表示する。

上記のステップＳ１２からステップＳ１５までを繰り返し行い、標準画像を表示画面に表示する。

次に、図９を参照しながらマッピングテーブル１３の生成処理について説明する。

まず、ステップＳ２１において、車両に設置された広角撮像装置によって、車両の一部を含む広角画像を取得する。

次のステップＳ２２において、広角画像に対応する標準画像を生成する。例えば、撮像画面内の自車の中心部を基準とし、自車手前部および自車後端部の倍率が標準画像となるように、画像処理を行う。基準は任意に選択してよい。

次のステップＳ２３において、広角画像及び標準画像のそれぞれを所要の距離で区切った複数の領域に分割する。この領域は、撮像装置から遠いほど、領域の面積が小さく、撮像装置に近い領域が遠い領域を含むように設定される。

次のステップＳ２４において、ステップＳ２３で設定した領域毎に広角画像から標準画像への変換倍率を算出する。この倍率は、ｘ方向、ｙ方向のそれぞれに対して算出する。例えば、領域の境界部分の倍率を求めて、その領域の中心倍率とする。また、各画素毎に領域内で倍率を変えて、隣り合う領域と連続性が保てるように倍率を算出する。

次のステップＳ２５において、広角画像と標準画像との対応する画素データから、各画素に対する座標変換値を生成し、画素データの変換値をマッピングテーブル１３に画像データの各画素毎に記述する。

次のステップＳ２６において、ステップＳ２５で生成した画素データの変換値及びステップＳ２４で算出した倍率を基に、自車の画像の近傍の画素に対する変換規則を生成し、自車の画像以外の画素データの変換規則を、マッピングテーブル１３に画素データの各画素毎に記述する。

以上説明したように、本実施形態の車両周囲画像提供装置では、自車の一部を撮像した広角画像とそれに対応する標準画像から、画素単位の変換規則を求めてマッピングテーブルを生成している。

このマッピングテーブルを使用し、広角カメラで撮像された車両周囲の画像を標準画像に変換している。これにより、広角画像で強調された遠近感を人間の感覚に近い遠近感になるようにでき、違和感のない画像を提供することが可能になる。

また、本実施形態のマッピングテーブルは、広角画像画素データと標準画像の画素データとの対応関係を示すものであり、自車を被写体として撮像している。また、自車の近傍の画像はその自車の部分と同じように画素データが変換されるものとしている。

なお、図５に示すように、広角画像から標準画像に変換する際に、例えば、ライン１の長さが長くなるように変換されている。この場合、対応する画素の数が異なるため、標準画像にしたときに画素値が定義されない画素が存在することになり、画質が多少粗くなってしまう。これに対して、表示画面の画素数を多くすることにより、粗さが感じられないようにすることが可能である。

また、画素値が定義されない画素が存在することのないように、画素を補間するようにしてもよい。たとえば、ｙ方向に２倍の倍率で標準画像に変換される場合、広角画像の画素をｙ方向に連続して２画素分変換するようにする。このような変換を可能にするために、広角画像の位置Ｐの画素に対して、ｘ方向及びｙ方向の画素の倍率をｍ（Ｐ，ｘ、ｙ）と定義し、ｍ（Ｐ、０，２）のとき、標準画像に変換する際、変換先の座標位置（Ｘ，Ｙ）および（Ｘ，Ｙ−１）にＰの画素を記述するようにする。これにより、補間処理を行わない場合よりも画質を向上させることができる。

また、自車の一部については上記したように座標変換データを取得している。従って、広角画像を取得した後、自車の部分についてはマッピングテーブルを用いて変換することなく、既知データとして標準画像に表示するようにしてもよい。ただし、その場合、車体に映る周辺の画像や太陽の光に応じた色を反映することはできないが、画像表示の処理速度の向上を図ることが可能となる。

また、上記説明では、実際に標準のカメラを用いて撮像した標準画像を基にして変換テーブルを作成する一例を示したが、これに限らず、自車両が撮像された広角画像を基に標準画像を算出して変換テーブルを作成するようにしてもよい。

また、上記説明では、広角画像に対して歪曲歪を補正した後の遠近感の補正について対象としたが、上記のマッピングテーブルを用いた補正の方法において、歪曲歪が含まれた状態の画像に対して補正を行うようにしてもよい。

本発明の一実施形態に係る車両周囲画像提供装置の構成を概略的に示すブロック図である。 図１の装置における各車載カメラの設置例を模式的に示す図である。 車両の一部を撮像した一例を示す模式図である。 マッピングテーブルを説明する図である。 画像の領域分割を説明する図である。 自車の近傍の画像の画素に対する座標変換規則の生成を説明する図である。 領域内でｘ方向、ｙ方向の倍率を変化させる方法を説明する図である。 広角画像の補正処理の一例を示すフローチャートである。 マッピングテーブルの生成処理の一例を示すフローチャートである。

符号の説明

１０…車両周囲画像提供装置、
１１ａ、１１ｂ、１１ｃ、１１ｄ…車載カメラ（撮像手段）、
１２…画像処理部、
１３…マッピングテーブル、
１４…制御部（制御手段）、
１５…操作部、
１６…ディスプレイ装置（表示手段）、
１７…撮影画像メモリ（記憶手段）、
１８…画像変換部、
１９…表示画像メモリ（記憶手段）。

Claims (19)

1. 画面を通して情報を提供する表示手段と、
   自車両の一部を含めて車両周囲の広角画像を取得する撮像手段と、
   前記自車両の標準画像のデータを予め格納すると共に、前記撮像手段により取得された画像のデータを格納する記憶手段と、
   前記記憶手段に格納されている前記自車両の標準画像データ及び前記撮像手段により撮像された自車両の画像データから画像データ変換規則を生成する制御手段とを備え、
   前記制御手段は、前記撮像手段により撮像された自車両及び自車両周囲の広角画像を前記画像データ変換規則に基づいて標準画像に変換してフレームデータを生成し、前記表示手段の画面に表示させることを特徴とする車両周囲画像提供装置。
2. 前記撮像手段は、自車両の左方及び右方をそれぞれ撮影する車載カメラであり、各車載カメラは、それぞれ広角範囲で画像を取得可能に、かつ、少なくとも一方の車載カメラにより前記自車両の一部の画像を取得することを特徴とする請求項１に記載の車両周囲画像提供装置。
3. 前記制御手段は、前記画像データ変換規則を画素毎に生成してマッピングテーブルを作成し、前記広角画像を標準画像に変換することを特徴とする請求項１に記載の車両周囲画像提供装置。
4. 前記マッピングテーブルの画像データ変換規則は、各画素毎に前記広角画像の各画素の位置と前記標準画像の各画素の位置との対応関係が記述されてなることを特徴とする請求項３に記載の車両周囲画像提供装置。
5. 前記自車両の一部の広角画像は、前記撮像手段からの距離に応じて自車両の広角画像をそれぞれ含む複数の領域に分割され、各領域毎に広角画像から標準画像へ変換する拡大又は縮小倍率が定義されていることを特徴とする請求項３に記載の車両周囲画像提供装置。
6. 前記各領域内の自車両の近傍の各画素に対する画像データ変換規則は、自車両の画像データ変換規則による変換後の位置と、各画素の位置に前記拡大又は縮小倍率を乗じた距離により算出されることを特徴とする請求項５に記載の車両周囲画像提供装置。
7. 前記各領域内の自車両の近傍の各画素に対する拡大又は縮小倍率は、当該領域内で連続的に変化していることを特徴とする請求項５に記載の車両周囲画像提供装置。
8. 前記マッピングテーブルは、前記撮像手段の設置角度に応じて複数定義されていることを特徴とする請求項３に記載の車両周囲画像提供装置。
9. 前記標準画像は、３５ｍｍフィルム換算で焦点距離が５０ｍｍのレンズを使用して撮影した場合の画像であることを特徴とする請求項１に記載の車両周囲画像提供装置。
10. 前記マッピングテーブルの各画像データ変換規則は、広角画像の歪曲歪に対する補正データが含まれていることを特徴とする請求項１に記載の車両周囲画像提供装置。
11. 車両に設置された広角撮像手段によって車両の一部を撮像した広角画像と、当該広角撮像手段の位置から同じ車両の一部の標準画像を取得するステップと、
    前記広角画像と前記標準画像との対応する画素データから、画素毎に画像データ変換規則を生成し、各画素に対して当該変換規則を記述したマッピングテーブルを生成するステップと、
    車両に設置された広角撮像装置によって車両の一部を含んだ車両外部を撮像して広角画像を取得するステップと、
    前記マッピングテーブルに基づいて新たな画像フレームデータを生成するステップと、
    を有することを特徴とする広角画像の補正方法。
12. 前記撮像手段は、自車両の左方及び右方をそれぞれ撮影する車載カメラであり、各車載カメラは、それぞれ広角範囲で画像を取得可能に、かつ、少なくとも一方の車載カメラにより前記自車両の一部の画像を取得することを特徴とする請求項１１に記載の広角画像の補正方法。
13. 前記マッピングテーブルの画像データ変換規則は、各画素毎に前記広角画像の各画素の位置と前記標準画像の各画素の位置との対応関係が記述されてなることを特徴とする請求項１１に記載の広角画像の補正方法。
14. 前記標準画像を取得するステップの後に、
    前記広角画像を前記撮像手段からの距離に応じて自車両の広角画像をそれぞれ含む複数の領域に分割するステップと、
    前記複数の領域の各領域毎に広角画像から標準画像へ変換する拡大又は縮小倍率を算出するステップと、
    を含むことを特徴とする請求項１１に記載の広角画像の補正方法。
15. 前記マッピングテーブルを生成するステップは、
    自車両の広角画像と標準画像とが対応する画素データから座標変換値を算出して前記マッピングテーブルのマッピングデータとして記述するステップと、
    前記各領域内の自車両の近傍の各画素に対する画像データ変換規則を、自車両の画像データ変換規則による変換後の位置と、各画素の位置に前記拡大又は縮小倍率を乗じた距離とから算出して前記マッピングテーブルのマッピングデータとして記述するステップと、
    を含むことを特徴とする請求項１４に記載の広角画像の補正方法。
16. 前記マッピングテーブルを生成するステップは、
    自車両の広角画像と標準画像とが対応する画素データから座標変換値を算出して前記マッピングテーブルのマッピングデータとして記述するステップと、
    前記各領域内の自車両の近傍の各画素に対して当該領域内で連続的に変化する拡大又は縮小倍率を算出するステップと、
    前記各領域内の自車両の近傍の各画素に対する画像データ変換規則を、自車両の画像データ変換規則による変換後の位置と、各画素の位置に当該拡大又は縮小倍率を乗じた距離とから算出して前記マッピングテーブルのマッピングデータとして記述するステップと、
    を含むことを特徴とする請求項１４に記載の広角画像の補正方法。
17. 前記マッピングテーブルは、前記撮像手段の設置角度に応じて複数定義されることを特徴とする請求項１１に記載の広角画像の補正方法。
18. 前記標準画像は、３５ｍｍフィルム換算で焦点距離が５０ｍｍのレンズを使用して撮影した場合の画像であることを特徴とする請求項１１に記載の広角画像の補正方法。
19. 前記マッピングテーブルの各画像データ変換規則には、広角画像の歪曲歪に対する補正データが含まれることを特徴とする請求項１１に記載の広角画像の補正方法。

Images