JP4339749B2 - 画像生成方法および画像生成装置 - Google Patents

Description

本発明は画像生成方法および画像生成装置に係り、特に複数の撮像手段で撮像した画像を元にして、仮想視点画像を生成して表示する場合に好適な画像生成方法および画像生成装置に関する。

ある特定エリアを監視等の目的のためモニタ画面上に表示するには、複数台のカメラで広範囲を撮影し得られた画像を１つの画面上に分割表示したり、時間毎に撮像した画像を順次切り替えて表示したりしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。

しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまう。また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗く表示画像が見にくくなり、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１には、車両周囲の状況表示に関して、車両に設置した複数台のカメラで車両周囲を撮影し、任意の視点による合成画像を表示するようにした技術が提案されている。これは各カメラの映像出力を画素単位で仮想視点から見た二次元平面上に座標変換して展開し、複数のカメラ画像を仮想視点から見た１つの画像に合成してモニタ画面に表示するようにしたものである。これにより、一枚の仮想視点画像から車両の全周囲にわたってどのような物体が存在するかを運転者が瞬時に把握することができるようになる。

また、双曲面ミラーを用いた全方位撮像手段による撮像画像を用いて画像表示する方法がある（例えば特許文献２，特許文献３）。図６（１）に車両頂部に設置した全方位撮像手段による撮像画像を示す。図示のように結像レンズ撮像素子からなる撮像装置で、双曲面円錐ミラーを撮像することで、円周状の周囲画像を撮像することができる。そして同図（２）に示すように、撮像画像を路面と単純な円筒座標上に座標変換した画像を幾何変換して生成し、その一部を切り出してディスプレイ上に表示するように構成されている。
特許第３２８６３０６号公報 特許第２９３９０８７号公報 特開２０００−１１８２９８号公報

しかしながら特許文献１による合成画像の生成の場合、当然のことながら、カメラで撮影できない死角領域には画素データそのものがないため、このカメラ画像を用いた合成画像には、仮想視点画像の死角に相当する領域に欠落部が発生する。このため、従来の合成画像では、死角領域に対応する画素欠落部分は、周囲の点の色を用いて補間した色や、あるいは物体が存在しない部分として黒色に置き換えて画面表示している。このような置き換えによる補色が存在すると補色部分が画面上で穴の開いた表示画像となって見にくくなり、車両周囲の状況把握の際に適用した場合には安全な運転に支障を来たすなど種々の問題が生じていた。

また、従来の視点変換画像の生成においては、中心の１視点からの画像を幾何変換して、画像を切り出して歪みを除去した画像を生成するだけであり、カメラのパン，チルトの機能を代替するだけであった。また、全周画像は広い画角を単一の素子に結像するため、単位被写体あたりの画素数が小さくなり、障害物の認識を詳細に行うことが困難であった。

そこで本発明は上記従来技術の問題点を解決すべく、複数の撮像手段からの画像による仮想視点画像の生成において、表示画面上に単色で補間した穴明き部分がなく、死角の少ない仮想視点画像を生成する画像生成方法および画像生成装置を提供することを目的としている。

本発明に係る画像生成方法は、複数の撮像手段により供給される画像情報に基づいて視点変換画像を生成する際、前記撮像手段による視点変換画像の死角領域を画角が相対的に広い撮像に適合する広画角撮像手段による画像情報を用いて補間することにより、死角領域の少ない視点変換画像を生成することを特徴としている。

さらに、本発明に係る画像生成方法は、撮像手段配置物体の周辺を第１の画角で撮像する１または複数の撮像手段によって撮影された撮影情報によって視点変換画像を生成する画像生成方法であって、該生成された画像によっては表出されない欠落画像領域を、前記撮像手段配置物体の頂部側から当該撮像手段配置物体の周囲を見渡すような第２の画角で撮像した広画角撮影情報を用いて補間し、実撮像情報による視点変換画像を生成することを特徴としている。

本発明に係る画像生成装置は、画角が相対的に狭い撮像に適合する複数の狭画角撮像手段と、この狭画角撮像手段によって取得した画像情報を任意の３次元空間に展開する合成画像生成手段と、画角が相対的に広い撮像に適合する少なくとも１つの広画角撮像手段と、この広画角撮像手段の画像情報を前記合成画像生成手段により生成された合成画像によっては表出されない補間領域を含む領域に展開する死角補間手段とを備えてなることを特徴としている。この場合において、前記死角補間手段により補間された３次元空間の画像を任意の視点位置から見込んだ画像に変換する視点変換手段を備えてなることを特徴としている。また、前記狭画角撮像手段は撮像手段配置物体側周部位の各所定の周辺撮像位置に各々配置されたものであり、前記広画角撮像手段は撮像手段配置物体頂部の周辺全体を撮像可能な位置に配置されたものであることを特徴としている。さらに、前記撮像手段配置物体は、車両であることを特徴としている。

上記構成による画像生成方法および画像生成装置によれば、主たる生成画像となる狭画角画像の死角となる部分の生成画像を、主たる生成画像とは異なる画角の他の撮像手段を用いて補間するので、表示画面上に死角となる部分がなくなり、仮想視点による現実に近い画像を表示することが可能となる。また、主たる生成画像外の領域を画角が相対的に広い撮像に適合する広画角撮像手段による画像情報で補間するので、主たる生成画像となる狭画角撮像手段の設置台数を低減化することができる。
特に撮像手段配置物体を車両に適用した場合、表示画面上に死角部分がなく車両周囲状況が確認できるので安全性を大幅に向上させることができる。

以下、本発明に係る画像生成方法および画像生成装置の実施形態を添付した図面に基づいて詳細に説明する。本実施形態では撮像手段配置物体を車両とし、周囲を監視する撮像手段を設置して撮像手段で取得した画像をモニタに表示する画像生成装置を対象に説明する。図１は実施形態に係る画像生成装置の構成を示したシステム構成ブロック図である。

実施形態に係る画像生成装置１０は、主に画角が相対的に狭い撮像に適合する複数の狭画角撮像手段と、この狭画角撮像手段によって取得した画像情報を任意の３次元空間に展開する合成画像生成手段と、画角が相対的に広い撮像に適合する少なくとも１つの広画角撮像手段と、この広画角撮像手段の画像情報を前記合成画像生成手段により生成された合成画像によっては表出されない補間領域を含む領域に展開する死角補間手段とを備えている。

画像生成装置１０の各構成要素について説明する。撮像対象領域を撮像する撮像手段を複数台設置する。この撮像手段は狭画角撮像手段となる狭画角カメラ１２と、広画角撮像手段となる全周カメラ１６とから構成されている。狭画角カメラ１２は、車両等の周囲の状況を撮り込む画角が標準画角に比べ相対的に狭い撮像に適するカメラである。もちろん、狭画角カメラ１２として標準画角のカメラを用いても良い。また、全周カメラ１６は画角が広く、広い範囲を撮像可能なカメラであり、例えば、パノラマカメラ等を用いることができる。図５に実施形態に係る全周カメラの構成概略図を示す。図５（１）に示すように、全周カメラ１６は透明円筒１６ａ内部の下部に撮像素子１６ｂを配置している。撮像素子１６ｂの上部には結合レンズ１６ｃ、および双曲面円錐ミラー１６ｄが配置され、同図（２）に示すように車両の頂部に設置してある。また、１６ｅは円周カメラの撮像領域を示す。なお、全周カメラ１６は必ずしも高解像度である必要はなく、補間するのに十分であれば低解像度とすることができる。図２は実施形態に係る撮像手段の構成図を示す。図示のように、全周カメラ１６は自車両１５ａ頂部の周辺全体を撮像可能な位置に少なくとも１台配置している。本実施形態では車両中心位置の頂上部に１台配置している。また、狭画角カメラ１２は撮像手段配置物体側周部位の各所定の周辺撮像位置に各々配置されている。本実施形態では車両のフロント前方１２ａ、リア後方１２ｂ，フロント側方１２ｃ，リア側方１２ｄにそれぞれ左右２台ずつ設置している。

全周カメラの画像とその他のカメラの画像は通信回線２１を介して画像選択装置２２にパケット送信される。画像選択装置２２の画像データは、画像整列装置３２で複数のカメラからの撮像画像をＩＤ情報に基づいて時系列に整理される。また、その実写画像データ３４を時系列に記憶している。
画像整列装置３２の画像データは測距装置３６により車両周囲に存在する障害物までの距離を計測している。

キャリブレーション装置１８は３次元の実世界に配置された撮像手段についての、その３次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータ１７として格納される。

合成画像生成手段となる空間モデル生成装置１３は画像データ、測距装置３６による測距画像データ３７、キャリブレーションデータ１７を用いて空間モデル２４を生成する。

空間再構成装置１４は、撮像手段から得られた画像を構成する各々の画素と、３次元座標系の点との対応関係を計算し、空間データ２６を生成する。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。空間データ２６を生成する場合、死角補間手段は、主たる生成画像を画角が相対的に狭い撮像に適合する狭画角カメラ１２で撮像した画像情報により生成し、主たる生成画像外の領域を画角が相対的に広い撮像に適合する全周カメラ１６による画像情報で補間するように構成している。すなわち、狭画角カメラ１２間で撮像されない死角となる部分を、広い範囲を撮像可能な全周カメラ１６による画像情報を用いて不足部分を補うようにしている。この際、表示画像に貼り付ける全周カメラ１６による画像情報は、必ずしも高解像度である必要はなく、低解像度であっても補間して表示するのに十分な解像度であればよい。

視点変換手段となる視点変換装置１９は、空間再構成装置１４の空間データ２６を任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記３次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。また、前記視点からの画像を、前記空間データ２６から再現し、表示手段となる表示装置２０に表示する。

次に、上記構成による本発明に係る画像生成装置１０を用いた画像生成方法を説明する。車両に設置した複数の狭画角カメラ１２及び全周カメラ１６によって車両周囲の画像を撮像し、撮像した画像データにはＩＤ等が付されて通信回線２１を介して画像選択装置２２にパケット送信される。

画像選択装置２２の画像データは、キャリブレーション装置１８により、空間モデル生成に用いるキャリブレーションを実施し、キャリブレーションデータ１７を選択し、空間モデル生成装置１３に出力する。

図３（１）に示すように、自車両１５ａ前方に他車両１５ｂがある場合、自車両１５ａに設置した撮像手段の全周カメラ１６と一部の狭画角カメラ１２の撮像範囲は同図（２）に示す範囲となる。図示のように、自車両１５ａの前方の他車両１５ｂは全周カメラ１６で撮像できるとともに、狭画角カメラ１２ａで詳細に撮像することができる。

図４に空間モデル再構成の模式図を示す。空間再構成装置１４に狭画角カメラ１２の空間モデルと、全周カメラ１６の空間モデルが入力される。同図（１）に示すように、自車両を座標系中心として円筒状の空間モデル（背景）と、平面状の空間モデル（路面）を生成する。次に、自車両の前方に位置する移動物体の空間モデルを生成した空間モデル（背景）、空間モデル（路面）上にマッピングする。この場合、同図（２）に示すように、空間モデルにマッピングする画像として、狭画角カメラ１２撮像範囲（Ｃ）を用いることができる部分はそれを用い、画像として解像度の高いものを得ることができる。一方、狭画角カメラ１２からの画像が無い部分は、全周カメラ１６撮像範囲（Ｄ）からの画像領域を用いることができる部分の画像をマッピングする。このように全周カメラ１６の撮像画像は、解像度は低いが狭画角カメラ１２による空間モデル（他車両）周囲を表示する画像データとしては情報量が多く、視認性も十分となる。

そして空間モデル２４に、対応する実写画像データ３４をキャリブレーションデータ１７に従ってマッピングすることで、３次元形状上にテクスチャマッピングが施された空間データ２６が生成される。そしてこの空間データ２６を任意視点からの画像として、視点変換装置１９で再変換することで視点変換画像を生成することができる。この視点変換画像を、一旦、視点変換画像データ４２に格納した後、表示装置２０に表示することによって運転者に対して、任意視点から、例えば、死角になっている領域の画像を表示することで運転の支援を実施することができる。

なお、本実施形態に係る他の撮像手段から供給される画像情報を用いてする補間は、主たる生成画像外の領域のみを補間するものに限定されるものではなく、主たる画像領域とオーバーラップするように他の撮像手段からの画像情報を利用してその画像生成が賄われ得る。

この実施形態では、広画角のカメラとして、ミラー式の全周カメラを用いて説明したが、この他にも、魚眼レンズによる広角カメラや、超広角レンズを用いた広角カメラ、又はその組み合わせにより全周カメラと同様の作用を持たせても良い。

なお、自車両周辺に移動障害物がある場合、これを運転席の表示装置２０に迅速に表示させて回避動作をさせるよう促す必要がある。よって、測距装置３６あるいはカメラに搭載した距離センサ機能を利用して障害物が認識された場合、画像生成装置１０に、物体認識装置３８を設けておき、視点変換画像において認識された障害物を表示可能な撮像手段を特定し、当該カメラの実写画像データ３４を優先的に読み出して、表示装置２０へ出力するようにしてもよい。

また、各撮像手段から取得すべき画像データは、設定される仮想視点によって一義的に決定するので、任意に設定される仮想視点と、あらかじめ設定してある仮想視点とのそれぞれに迅速に対応できるようにしている。前者は、画像選択装置２２によって任意の撮像手段から入力してくる画像データパケットをオペレータが直接仮想視点を設定し、この設定された仮想視点に対応する画像データパケットを選択できる。後者の場合は、あらかじめ設定してある仮想視点に対応する合成画像に必要な画像データパケットは特定されるので、規定仮想視点単位に仮想視点データ４０として一旦格納し、これから規定された仮想視点に対応する画像データをまとめて視点選択装置４１によって優先取得できるようにしてもよい。

このような画像生成方法および画像生成装置によれば、複数の撮像手段から供給される画像情報に基づいて画像を生成する画像生成において、前記撮像手段により生成した主たる生成画像外の領域を前記撮像手段とは異なる画角の他の撮像手段から供給される画像情報を用いて補間して画像を生成するようにしているため、仮想視点画像上に死角となる部分が少なくなり、より現実に近い画像を表示することができる。

また、複数の撮像手段により供給される画像情報に基づいて視点変換画像を生成する際、前記撮像手段による視点変換画像の死角領域を画角が相対的に広い撮像に適合する広画角撮像手段による画像情報を用いて補間することにより、死角領域の少ない視点変換画像を生成することができる。

撮像手段配置物体となる車両の周辺を第１の画角で撮像する１または複数の狭画角カメラ１２によって撮影された撮影情報によって視点変換画像を生成する場合、生成された画像によっては表出されない欠落画像領域を、車両の後部側から車両の周囲を見渡すような第２の画角で撮像した広画角撮影情報を用いて補間して実撮像情報による視点変換画像を生成することができる。

生成した仮想視点画像を車両のモニタに表示すれば車両周辺状況を広範囲で確認することが可能となり、安全性を大幅に向上させることができる。
また、空間モデルを生成するための手段として、レーザレーダ、ミリ波レーダ、もしくはステレオ測距等を用いても良い。

上述した各例において、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等）。特に複数カメラを２方向の基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ測距が可能となる。

なお、カメラなど撮像手段を設置する対象物は車両に装着した例を示しているが、撮像装置配置物体として例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適応が可能となる。

本発明に係る画像生成方法および画像生成装置は、撮像手段配置物体として車両に撮像手段を設置して表示させることができ、このほかにも監視カメラを配置した部屋、建物等についても利用することができる。

実施形態に係る画像生成装置のシステム構成ブロック図を示す。 実施形態に係る撮像手段の構成図を示す。 実施形態に係る撮像手段の撮像範囲を示す図である。 空間モデル再構成の模式図を示す。 実施形態に係る全周カメラの構成概略図を示す。 従来の全方位撮像手段による画像表示を示す図である。

符号の説明

１０………画像生成装置、１２………狭画角カメラ、１３………空間モデル生成装置、１４………空間再構成装置、１６………全周カメラ、１７………キャリブレーションデータ、１８………キャリブレーション装置、１９………視点変換装置、２０………表示装置、２１………通信回線、２２………画像選択装置、２４………空間モデル、２６………空間データ、３２………画像整列装置、３４………実写画像データ、３６………測距装置、３７………距離画像データ、３８………物体認識装置、４０………仮想視点データ、４１………視点選択装置、４２………視点変換画像データ。

Claims (6)

1. 複数の撮像手段により供給される画像情報に基づいて視点変換画像を生成する際、前記撮像手段による視点変換画像の死角領域を画角が相対的に広い撮像に適合する広画角撮像手段による画像情報を用いて補間することにより、死角領域の少ない視点変換画像を生成することを特徴とする画像生成方法。
2. 撮像手段配置物体の周辺を第１の画角で撮像する１または複数の撮像手段によって撮影された撮影情報によって視点変換画像を生成する画像生成方法であって、該生成された画像によっては表出されない欠落画像領域を、前記撮像手段配置物体の頂部側から当該撮像手段配置物体の周囲を見渡すような第２の画角で撮像した広画角撮影情報を用いて補間し、実撮像情報による視点変換画像を生成することを特徴とする画像生成方法。
3. 画角が相対的に狭い撮像に適合する複数の狭画角撮像手段と、この狭画角撮像手段によって取得した画像情報を任意の３次元空間に展開する合成画像生成手段と、画角が相対的に広い撮像に適合する少なくとも１つの広画角撮像手段と、この広画角撮像手段の画像情報を前記合成画像生成手段により生成された合成画像によっては表出されない補間領域を含む領域に展開する死角補間手段とを備えてなる画像生成装置。
4. 前記死角補間手段により補間された３次元空間の画像を、任意の視点位置から見込んだ画像に変換する視点変換手段を備えてなることを特徴とする請求項３に記載の画像生成装置。
5. 前記狭画角撮像手段は撮像手段配置物体側周部位の各所定の周辺撮像位置に各々配置されたものであり、前記広画角撮像手段は撮像手段配置物体頂部の周辺全体を撮像可能な位置に配置されたものであることを特徴とする、請求項３に記載の画像生成装置。
6. 前記撮像手段配置物体は、車両であることを特徴とする請求項５に記載の画像生成装置。

Images