JP2006229802A - 画像合成装置及び撮像システム - Google Patents

Abstract

【課題】
複数の撮影装置を使用して広視野角または高解像度の映像を得る従来の撮像システムに
おいては、複数の撮影装置の投影中心位置が異なることに起因する見え隠れの矛盾が原理
的に生じるため、映像品質が劣化していた。また、鏡面反射の状態など指向性を持つ光学
特性に関する矛盾も原理的に発生し、それによっても映像品質が劣化していた。
【解決手段】
基準となる画像データを撮影する１つの全体撮影装置と、該全体撮影装置の撮影範囲の
一部分を含むような範囲を撮影する詳細撮影装置を備えた。前記全体撮影装置の撮影した
画像データと前記詳細撮影装置が撮影した画像データとに幾何学的な変換を施した後、該
変換後の画像において両者の差異が所定の許容範囲内に収まる画素に関しては詳細撮影装
置の撮影した画像データから画素値を決定し、その他の画素に関しては全体撮影装置の撮
影した画像データから画素値を決定するようにした。
【選択図】 図１

Description

本発明は、複数の撮影装置を使用して広視野角または高解像度の映像を得る撮像システム、及び、そのような撮像システムで使用する画像合成装置に関する。

複数の撮影装置を使って広視野角または高解像度の映像を得る撮影システムとして、ビデオモザイキング技術として知られる技術や、特許文献１に記載の技術がある。特許文献１に記載の技術は、１つの広画角撮影装置と複数の通常画角撮影装置を備え、１つの広画角撮影装置を基準として各々の通常画角撮影装置の映像を合成した映像を生成するものである。これらの技術は、いずれも、複数の撮影装置の内部パラメタ（焦点距離など）及び外部パラメタ（位置や姿勢など）を推定し、各々の撮影映像に該パラメタに基づいた変換を施した上で合成処理を行うことで、一見なめらかにつながった広視野角または高解像度の映像の生成を行うものである。

特開２００４−１３５２０９号公報

従来の技術においては、複数の撮影装置の投影中心位置が異なることに起因する見え隠れの矛盾が原理的に生じるため、それによる画質の劣化が避けられなかった。同様に、鏡面反射の状態など、指向性を持つ光学特性に関する矛盾も原理的に発生するため、それによる画質の劣化も避けられなかった。

本発明では、前記の課題を解決するため、基準となる画像データを撮影する１つの全体撮影装置と、該全体撮影装置の撮影範囲の一部分を含むような範囲を撮影する詳細撮影装置を備え、さらに、前記全体撮影装置の撮影した画像データに幾何学的な変換を施して全体画像データを生成する手段と、前記詳細撮影装置が撮影した画像データに幾何学的な変換を施して詳細画像データを生成する手段と、前記全体画像データと前記詳細画像データを比較することで画素毎の整合性の有無を判定する手段と、出力する画像データの画素値を前記判定結果が「整合性なし」となった画素については前記全体画像データを使って決定し前期判定結果が「整合性あり」となった画素については前記詳細画像データを使って決定する手段と、を備えるようにした。また、前記整合性の有無については、前記全体画像データの画素値と前記詳細画像データの画素値との差異が所定の許容範囲内に収まっている場合に「整合性あり」、そうでない場合に「整合性なし」と判定するようにした。

なお、上記所定の許容範囲は、例えば、以下に例示するように、画素値の差異の種々の評価方法に応じて決めた適当な値を使用すればよい。

例えば、モノクロ画像であれば、各画素を８ビットの値で扱っている場合に、各々の画素値（０〜２５５）の差の絶対値を差異として評価する場合には、例えば「５以下」等を所定の許容範囲として使用してもよい。

また、カラー画像であれば、各々の画像を所定の変換式に基づいてモノクロ画像に変換した上で各々の画素値の差の絶対値を差異として評価する場合には、ある閾値Ｔを用いて「Ｔ以下」等を所定の許容範囲として使用してもよいし、ＵＣＳ表色系に変換した場合の色度点間の距離とＸＹＺ表色系に変換した場合のＹ値の差の絶対値とに基づいて差異を評価する場合には、ある閾値Ｔ１と別の閾値Ｔ２とを用いて「色度点間の距離がＴ１以下かつＹ値の差の絶対値がＴ２以下」等を所定の許容範囲として使用してもよい。

本発明によれば、１つの撮影装置で撮影した画像データと整合性のある画像データが撮像されることを保証しつつ、複数の撮影装置を使って高解像度の画像データを生成することが可能となる。

以下、本発明の実施の形態について、実施例を用いて説明する。

以下、図１〜図２２及び図６０を用いて、第１の実施の形態について説明する。

図１は、効果を説明するための概念図である。

図１において、画像データ１１０は全体撮影装置２０１で撮影した画像データであり、画像データ１２０は左面撮影装置２０２で撮影した画像データであり、画像データ１３０は右面撮影装置２０３で撮影した画像データであり、画像データ１１１は、本実施例の画像合成装置２００に画像データ１１０と画像データ１２０と画像データ１３０を入力した場合に出力される画像データである。全体撮影装置２０１と左面撮影装置２０２と右面撮影装置２０３と画像合成装置２００に関しては、図２において説明する。

画像合成装置は、基本的に画像データ１１０から画像データ１１１を生成するが、その際、画像データ１１０と整合し得る範囲において、画像データ１２０に基づいて生成した画像データ１２１を画像データ１１１に合成し、画像データ１３０に基づいて生成した画像データ１３１を画像データ１１１に合成することで、画像データ１１１の一部分または全体の解像度を上げることを実現するものである。

ここで「画像データ１１０と整合し得る範囲において」と限定しているのは、例えば、画像データ１１０と画像データ１３０において、人物１４０と人物１４１の重なり具合が互いに異なって見えているが、そのような不整合がある場合には、画像データ１１０における見え方を優先して画像データ１１１を生成する、ということである。なお、画像データ１１１の具体的な生成方法については、図２以降にて説明する。

なお、図１は、効果を説明するための概念図であり、高精細領域１２１及び高精細領域１３１の実際の形状は、図１で示した形とは大きく異なる場合もある。

図２は、本実施例のシステムのシステム構成図である。

図２において、全体撮影装置２０１の撮影した画像データは、映像入力部２１０を介して画像合成装置２００に入力され、入力データ記憶部２２０に格納される。同様に、左面撮影装置２０２及び右面撮影装置２０３の撮影した画像データは、映像入力部２１０を介して画像合成装置２００に入力され、入力データ記憶部２２０に格納される。全体撮影装置２０１の撮影画角は左面撮影装置２０２の撮影画角及び右面撮影装置２０３の撮影画角よりも広くなるように構成し、左面撮影装置２０２及び右面撮影装置２０３は全体撮影装置２０１の撮影している範囲内を撮影する。また、全体撮影装置２０１の撮像素子密度と、左面撮影装置２０２の撮像素子密度と、右面撮影装置２０３の撮像素子密度は、同程度となるように構成する。このように構成することにより、左面撮影装置２０２の撮影した画像データや右面撮影装置２０３の撮影した画像データは、全体撮影装置２０１の撮影した画像データの一部分をより詳細に撮影したものに近い画像データとなる。

画像合成装置２００は、全体撮影装置２０１及び左面撮影装置２０２及び右面撮影装置２０３の撮影した画像データを取得する映像入力部２１０と、該取得した画像データを格納する入力データ記憶部２２０と、入力データ記憶部２２０及び中間データ記憶部２６０に格納されたデータに対してパラメタ記憶部２４０に格納されたパラメタを必要に応じて読み込みながら画像処理を行う画像処理部２３０と、パラメタ記憶部２４０に格納するパラメタを取得するパラメタ設定部２５０と、画像処理部２３０の処理によって出力される中間データを格納する中間データ記憶部２６０と、生成した画像データまたはデフォルトの画像データを出力する映像出力部２７０と、映像入力部２１０及び画像処理部２３０及び映像出力部２７０の各々の処理のタイミング制御を行う全体制御部２８０とを備えるように構成する。

なお、入力データ記憶部２２０に格納するデータに関しては図３を用いて、全体制御部２８０に格納するデータに関しては図４を用いて、パラメタ記憶部２４０に格納するデータに関しては図５を用いて、中間データ記憶部２６０に格納するデータに関しては図６を用いて、それぞれ説明する。

図３は、本実施例のシステムにおいて入力データ記憶部２２０に格納するデータの説明図である。

入力データ記憶部２２０は、全体制御部２８０からの制御信号にしたがって、全体撮影装置２０１の撮影した画像データを全体入力画像データ２２１に、左面撮影装置２０２の撮影した画像データを左面入力画像データ２２２に、右面撮影装置２０３の撮影した画像データを右面入力画像データ２２３に、それぞれ格納するように構成する。時系列画像データが入力される場合には、例えば、フレームバッファを２画面分用意して、一方が画像処理部２３０が処理するための処理用のフレームバッファ、他方が映像入力部２１０が画像データを書き込むための入力用フレームバッファとなるように、１フレーム毎に切り替えながら使用できるように構成すればよい。

図４は、本実施例のシステムにおいて全体制御部２８０に格納するデータの説明図である。

全体制御部２８０は、全体入力状態フラグ２８１と、左面入力状態フラグ２８２と、右面入力状態フラグ２８３と、状態モードフラグ２８４と、デフォルト画像データ２８５とを格納できるように構成する。

全体入力状態フラグ２８１は、全体撮影装置２０１から画像データが入力されているか否かの状態を保持するフラグであり、全体撮影装置２０１からの画像データの入力の有無を映像入力部２１０を介して検出し、逐次更新するものである。同様に、左面入力状態フラグ２８２は左面撮影装置２０２から画像データが入力されているか否かの状態を保持するフラグであり、左面撮影装置２０２からの画像データの入力の有無を映像入力部２１０を介して検出し、逐次更新するものである。同様に、右面入力状態フラグ２８３は右面撮影装置２０３から画像データが入力されているか否かの状態を保持するフラグであり、右面撮影装置２０３からの画像データの入力の有無を映像入力部２１０を介して検出し、逐次更新するものである。また、状態モードフラグ２８４は画像合成装置２００の初期化を完了したか否かの状態を保持するフラグであり、初期値は「初期化未済」である。

デフォルト画像データ２８５は、全体撮影装置２０１から画像データが入力されていない場合に画像合成装置２００の出力する画像データである。本実施例においてはデフォルト画像データ２８５を全体制御部２８０に格納するものとしたが、中間データ記憶部２６０または映像出力部２７０に格納するように構成してもよい。

図５は、本実施例のシステムにおいてパラメタ記憶部２４０に格納するデータの説明図である。

パラメタ記憶部２４０は、内部パラメタデータ２４１と、外部パラメタデータ２４２と、色調補正用データ２４３と、出力パラメタデータ２４４とを格納するように構成する。

内部パラメタデータ２４１は、全体撮影装置２０１と左面撮影装置２０２と右面撮影装置２０３のそれぞれの内部パラメタを保持するデータである。具体的には、投影方法や、焦点距離、レンズ歪みのパラメタ、軸の非直交性歪み、撮像面と光軸の交点の画像上での座標値、撮像素子の配置、などの撮影装置単体に関するパラメタのうち、必要なものを格納する。ここで、投影方法とは、等距離魚眼レンズ等を用いているのか、一般の透視投影で表されるレンズを用いているのか、といった情報のことである。

外部パラメタデータ２４２は、全体撮影装置２０１と左面撮影装置２０２との相対関係及び、全体撮影装置２０１と右面撮影装置２０３との相対関係を表すパラメタである。具体的には、例えば、全体撮影装置２０１の投影中心位置を座標原点にとった場合の左面撮影装置２０２の投影中心位置の３次元位置座標及び右面撮影装置２０３の投影中心位置の３次元位置座標と、全体撮影装置２０１の撮影姿勢を基準とした場合の左面撮影装置２０２の撮影姿勢を表す３次の回転行列及び全体撮影装置２０１の撮影姿勢を基準とした場合の右面撮影装置２０３の撮影姿勢を表す３次の回転行列と、を格納する。

色調補正用データ２４３は、全体撮影装置２０１と左面撮影装置２０２と右面撮影装置２０３の色調を合わせるためのデータである。周辺輝度の低下を補正するためのデータや色空間の違いを補正するためのデータ、異なる露出で撮影した画像データを基準露出で撮影した場合の画像データに変換するためのデータ、などのうち必要なものを格納する。

出力パラメタデータ２４４は、画像合成装置２００の出力画像データの生成方法を定義するデータである。投影中心位置を全体撮影装置２０１の投影中心位置に等しくとり、座標系に関しても全体撮影装置２０１の座標系と等しくとった場合の、投影方法や画角などのパラメタを格納する。

図６は、本実施例のシステムにおいて中間データ記憶部２６０に格納するデータの説明図である。

中間データ記憶部２６０は、マップ画像データ６１０と、変換画像データ６２０と、参照画像データ６３０と、変化画像データ６４０と、出力画像データ６５０と、を格納するように構成する。

マップ画像データ６１０は、入力画像データをサンプリング処理して新たな画像データを生成するための情報を備えた画像データであり、全体マップ画像データ６１１と、左面マップ画像データ６１２と、右面マップ画像データ６１３と、左面マップ修正画像データ６１４と、右面マップ修正画像データ６１５と、合成マップ画像データ６１６とで構成する。ここで、全体マップ画像データ６１１と左面マップ画像データ６１２と右面マップ画像データ６１３と左面マップ修正画像データ６１４と右面マップ修正画像データ６１５と合成マップ画像データ６１６の解像度は、出力画像データ６５０の解像度と等しくなるように構成する。マップ画像データ６１０に含まれる各種マップ画像データの画素値のデータ形式に関しては、図７を用いて説明する。

変換画像データ６２０は、全体入力画像データ２２１を全体マップ画像データ６１１に基づいて変換したデータである全体変換画像データ６２１と、左面入力画像データ２２２を左面マップ画像データ６１２に基づいて変換したデータである左面変換画像データ６２２と、右面入力画像データ２１３を右面マップ画像データ６１３に基づいて変換したデータである右面変換画像データ６２３とで構成する。ここで、全体変換画像データ６２１と左面変換画像データ６２２と右面変換画像データ６２３の解像度は、出力画像データ６５０の解像度と等しくなるように構成する。

参照画像データ６３０は、時刻Ｔにおける処理を行う際に、時刻（Ｔ−１）における状態から変化した部分を検出するために、時刻（Ｔ−１）の処理の終了時の状態を表現したデータであり、全体参照画像データ６３１と、左面参照画像データ６３２と、右面参照画像データ６３３とで構成する。ここで、全体参照画像データ６３１と左面参照画像データ６３２と右面参照画像データ６３３の解像度は、出力画像データ６５０の解像度と等しくなるように構成する。

変化画像データ６４０は、時刻Ｔにおける処理において、時刻（Ｔ−１）における状態から変化した部分を表現した２値の画像データであり、全体変化画像データ６４１と、左面変化画像データ６４２と、右面変化画像データ６４３とで構成する。ここで、全体変化画像データ６４１と左面変化画像データ６４２と右面変化画像データ６４３の解像度は、出力画像データ６５０の解像度と等しくなるように構成する。

図７は、本実施例のシステムにおける各種マップ画像データの画素値のデータ形式を説明する図である。

データ形式７１０は、全体マップ画像データ６１１と左面マップ画像データ６１２と右面マップ画像データ６１３と左面マップ修正画像データ６１４と右面マップ修正画像データ６１５とで使用する画素値のデータ形式である。サンプリング処理を行うための、参照元Ｘ座標値７１１と参照元Ｙ座標値７１２とを備えるように構成する。

データ形式７２０は、合成マップ画像データ６１６で使用する画素値のデータ形式である。参照元の画像として全体入力画像データ２２１と左面入力画像データ２２２と右面入力画像データ２２３のどの画像データを使用するかを定める入力データ識別子７２１と、サンプリング処理を行うための、参照元Ｘ座標値７２２と参照元Ｙ座標値７２３とを備えるように構成する。

なお、データ形式７１０及びデータ形式７２０のいずれの形式においても、適切な参照元座標値が存在しない場合には、参照元座標値として例外値を格納しておく。また、例外値である参照元座標値に基づいてサンプリングされた画素の画素値に関しては、やはり例外値であるとして処理を行い、２つの画素値の差が許容範囲内にあるか否かの判定においては、常に「許容範囲外」であるものとして扱う。

図８は、本実施例のシステムにおける画像合成処理の動作を説明するための状況説明図である。

全体撮影装置２０１が会議室８１０の全体を撮影し、左面撮影装置２０２と右面撮影装置２０３が各々その一部分を撮影するように構成されている場合に、時刻（Ｔ−１）において右面撮影装置２０３の撮影範囲内の位置８２０にいた人物が、時刻Ｔにおいて右面撮影装置２０３の撮影範囲外の位置８２１へ移動した場合の動作について、図９を用いて説明する。

図９は、本実施例のシステムにおける画像合成処理の動作を説明するための概念図である。図９の概念図は、図８の状況における処理を表したものである。

画像データ９１０は時刻（Ｔ−１）における全体入力画像データ２２１であり、画像データ９２０は時刻（Ｔ−１）における右面入力画像データ２２３である。また、画像データ９１１は時刻Ｔにおける全体入力画像データ２２１であり、画像データ９２１は時刻Ｔにおける右面入力画像データ２２３である。時刻（Ｔ−１）に位置８２０にいた人物が、時刻Ｔにおいて位置８２１へ移動した様子がわかる。

画像データ９１２は更新前の全体参照画像データ６３１であり、画像データ９２２は更新前の右面参照画像データ６３３である。

画像データ９１３は全体変換画像データ６２１であり、画像データ９２３は右面変換画像データ６２３である。位置８２０にいた人物がいなくなってしまったにもかかわらず、時刻（Ｔ−１）における状態に基づいたサンプリングを行っているため、画像データ９２３の該当部分が白く抜けてしまっているのがわかる。

画像データ９１４は全体変化画像データ６４１であり、画像データ９２４は右面変化画像データ６４３である。画像データ９１４は画像データ９１２と画像データ９１３とで差がある部分を検出して生成したものであり、画像データ９２４は画像データ９２２と画像データ９２３とで差がある部分を検出して生成したものである。

画像データ９１５は更新後の全体参照画像データ６３1であり、画像データ９２５は更新後の右面参照画像データ６３３である。状態が変化した部分のサンプリング用のデータを時刻Ｔにおける状態に基づいて更新することにより、期待する画像データが生成されていることがわかる。

図１０は、本実施例のシステムにおける画像合成処理のフローチャートである。図１０の画像合成処理は、全体制御部２８０において所定の時間間隔毎に実施する処理である。

ステップ１０００において画像合成処理が開始されると、まず、ステップ１００１において全体映像入力の有無を判定する。この判定は全体入力状態フラグ２８１を参照することによって行う。ステップ１００１における判定で全体映像入力がないと判定された場合には、ステップ１００２に進んで状態モードフラグ２８４を「初期化未済」に設定し、続いてステップ１００３に進んで映像出力部２７０からデフォルト画像データ２８５を出力した上で、ステップ１００４に進んで画像合成処理を終了する。

ステップ１００１における判定で全体映像入力があると判定された場合には、ステップ１００５において入力画像データ更新処理を行う。ステップ１００５の入力画像データ更新処理は、入力データ記憶部２２０を制御して、全体撮影装置２０１の撮影した画像データを全体入力画像データ２２１に、左面撮影装置２０２の撮影した画像データを左面入力画像データ２２２に、右面撮影装置２０３の撮影した画像データを右面入力画像データ２２３に、それぞれ格納する処理である。

左面撮影装置２０２からの入力がないことは左面入力状態フラグ２８２を参照することによって、右面撮影装置２０３からの入力がないことは右面入力状態フラグ２８３によって、それぞれ検出できるため、実際に図１１以降の処理を実施する場合においては、左面入力状態フラグ２８２あるいは右面入力状態フラグ２８３に基づいて、適宜、左面入力画像データ２２２あるいは右面入力画像データ２２３に関する処理をスキップするように構成すればよいが、フローチャートが煩雑になるのを避けるため、本明細書中においては、便宜上、映像入力がない場合にはすべての画素値が「黒」であるような画像データを格納することとする。

次に、ステップ１００６において、初期化完了モードか否かを判定する。この判定は状態モードフラグ２８４を参照することによって行う。状態モードフラグ２８４が「初期化完了」である場合にはステップ１００７の中間データ更新処理に進み、状態モードフラグ２８４が「初期化未済」である場合にはステップ１００８の中間データ生成処理に進む。ステップ１００８の中間データ生成処理に進んだ場合には、続いてステップ１００９で状態モードフラグ２８４を「初期化完了」に設定する。なお、ステップ１００７の中間データ更新処理に関しては図２０を用いて、ステップ１００８の中間データ生成処理に関しては図１１を用いて、それぞれ説明する。

ステップ１００７またはステップ１００９の終了後、ステップ１０１０において合成画像データ出力処理を行う。これは、中間データ記憶部２６０に格納されている出力画像データ６５０を映像出力部２７０から出力する処理である。
ステップ１０１０の合成画像データ出力処理の終了後、ステップ１００４に進んで画像合成処理を終了する。

図１１は、本実施例のシステムにおける中間データ生成処理のフローチャートである。
ステップ１１００で中間データ生成処理が開始されると、まず、ステップ１１０１においてマップ画像データ初期化処理を行う。マップ画像データ初期化処理の詳細は、図１２を用いて説明する。

次に、ステップ１１０２において、色調補正処理を行う。色調補正処理は、色調補正用データ２４３に基づいて、全体入力画像データ２２１と左面入力画像データ２２２と右面入力画像データ２２３のそれぞれに画像補正を施した上で、あらためて、全体入力画像データ２２１、左面入力画像データ２２２、右面入力画像データ２２３として格納しなおす処理である。

次に、ステップ１１０３において、変換画像データ生成処理を行う。変換画像データ生成処理は、全体変換画像データ生成処理と、左面変換画像データ生成処理と、右面変換画像データ生成処理とで構成する。このうち、全体変換画像データ生成処理の詳細を図１３を用いて説明する。左面変換画像データ生成処理は、全体変換画像データ生成処理において使用される全体マップ画像データ６１１の代わりに左面マップ画像データ６１２を、全体入力画像データ２２１の代わりに左面入力画像データ２２２を、全体変換画像データ６２１の代わりに左面変換画像データ６２２を、それぞれ使用すればよい。右面変換画像データ生成処理に関しても、同様である。

次に、ステップ１１０４において、各面マップ画像データ生成処理を行う。各面マップ画像データ生成処理は、左面マップ画像データ生成処理と、右面マップ画像データ生成処理とで構成する。このうち、左面マップ画像データ生成処理の詳細を図１４を用いて説明する。右面マップ画像データ生成処理に関しても、同様の処理で実施することができる。
次に、ステップ１１０５において、参照画像データ生成処理を行う。参照画像データ生成処理は、全体参照画像データ生成処理と、左面参照画像データ生成処理と、右面参照画像データ生成処理とで構成する。このうち、全体参照画像データ生成処理の詳細を図１６を用いて説明する。左面参照画像データ生成処理は、全体参照画像データ生成処理において使用される全体入力画像データ２２１の代わりに左面入力画像データ２２２を、全体マップ画像データ６１１の代わりに左面マップ画像データ６１２を、全体参照画像データ６３１の代わりに左面参照画像データ６３２を、それぞれ使用すればよい。右面参照画像データ生成処理に関しても、同様である。

次に、ステップ１１０６において、合成マップ画像データ生成処理を行う。合成マップ画像データ生成処理の詳細は、図１７及び図１８を用いて説明する。

次に、ステップ１１０７において、出力画像データ生成処理を行う。出力画像データ生成処理の詳細は、図１９を用いて説明する。

上記の処理を終了後、ステップ１１０８において中間データ生成処理を終了する。
図１２は、本実施例のシステムにおけるマップ画像データ初期化処理のフローチャートである。

ステップ１２００でマップ画像データ初期化処理が開始されると、まず、ステップ１２０１において内部パラメタデータ２４１を読み込み、続いてステップ１２０２において出力パラメタデータ２４４を読み込む。

次に、ステップ１２０３において、全体用初期値生成処理を行う。全体用初期値生成処理は、出力画像データ６５０を生成するためには、出力画像データ６５０の各画素は、全体入力画像データ２２１のどの座標の画素値をサンプリングしてくればよいかを算出し、該参照元の座標値を全体マップ画像データ６１１に格納する処理である。参照元座標値の算出処理は、内部パラメタデータ２４１と出力パラメタデータ２４４とを用いて、公知の技術により容易に実施することができる。

次に、ステップ１２０４において、外部パラメタデータ２４２を読み込む。

次に、ステップ１２０５において、左面用初期値生成処理を行う。左面用初期値生成処理は、出力画像データ６５０を生成するためには、出力画像データ６５０の各画素は、左面入力画像データ２２２のどの座標の画素値をサンプリングしてくればよいかを算出し、該参照元の座標値を左面マップ画像データ６１２に格納する処理である。ただしその際、被写体の立体形状等は分かっていないため、所定の曲面上にすべての被写体があるものと仮定して、参照元座標値の算出を行う。この参照元座標値の算出は、所定の曲面が与えられている場合に、内部パラメタデータ２４１と外部パラメタデータ２４２と出力パラメタデータ２４４とから容易に実施することができる。

次に、ステップ１２０６において右面用初期値生成処理を行う。右面用初期値生成処理は、左面用初期値生成処理と同様の処理によって実施することができる。

上記の処理を終了した後、ステップ１２０７においてマップ画像データ初期化処理を終了する。

図１３は、本実施例のシステムにおける全体変換画像データ生成処理のフローチャートである。

ステップ１３００で全体変換画像データ生成処理が開始されると、まず、ステップ１３０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
次に、ステップ１３０２において、全体マップ画像データ６１１のｎ番目の画素の画素値を読み込む。

次に、ステップ１３０３において、全体入力画像データ２２１上の、ステップ１３０２で読み込んだ参照元座標値に対応する位置の画素値を算出し、全体変換画像データ６２１のｎ番目の画素の画素値として設定する。ここで、参照元座標値は一般には整数値ではないが、画素値の算出は双線形補間などの公知の方法によって実施すればよい。
次に、ステップ１３０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ１３０５において、全体変換画像データ６２１中のすべての画素について処理が終了したか否かを判定する。全体変換画像データ６２１中のすべての画素について処理が終了している場合にはステップ１３０６に進んで全体変換画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ１３０２に進んで処理を続ける。

図１４は、本実施例のシステムにおける左面マップ画像データ生成処理のフローチャートである。

ステップ１４００で左面マップ画像データ生成処理が開始されると、まず、ステップ１４０１において全体変換画像データ６２１を読み込み、続いてステップ１４０２において左面変換画像データ６２２を読み込む。

次に、ステップ１４０３において、左面マップ修正画像データ生成処理を行う。左面マップ修正画像データ生成処理は、全体変換画像データ６２１と左面変換画像データ６２２とに基づいて、左面マップ画像データ６１２の誤差分を修正するための左面マップ修正画像データ６１４を生成する処理である。全体変換画像データ６２１の各画素位置について、左面変換画像データ６２２のどの座標位置からサンプリングしてくればよいかを算出すればよく、パターンマッチング等の公知の技術を用いて実施することができる。なお、対応が求まらない画素に関しては、例外値を格納し、以降の処理を適宜スキップできるようにしておけばよい。

次に、ステップ１４０４において、左面マップ画像データ合成処理を行う。左面マップ画像データ合成処理の詳細は、図１５を用いて説明する。

上記処理を終了した後、ステップ１４０５において左面マップ画像データ生成処理を終了する。

図１５は、本実施例のシステムにおけるマップ画像データの合成方法の説明図である。
左面マップ修正画像データ１５１０上の画素１５１１の参照元座標値が、左面マップ画像データ１５２０上の座標値１５２１であり、座標値１５２１の参照元座標値が、左面入力データ１５３０の座標値１５３１であるとき、左面マップ修正画像データ１５１０上の画素１５１１の参照元座標値を、座標値１５３１に更新する。この更新を左面マップ修正画像データ１５１０のすべての画素に対して実施した後、左面マップ修正画像データ１５１０を、あらためて、左面マップ画像データ１５２０として保存する。

ここで、座標値１５２１は一般に画素中心の位置に一致しないため、双線形補間などによって座標値１５３１を算出する必要がある。すなわち、図１５において、座標値１５２１の参照元座標値を求める代わりに、画素中心の位置にある座標値１５２２及び座標値１５２３及び座標値１５２４及び座標値１５２５のそれぞれに対して左面マップ画像データ１５２０の画素値を参照して参照元座標値を求め、それらの双線形補間を行うことで座標値１５２１に対応する座標値１５３１を算出する。

図１６は、本実施例のシステムにおける全体参照画像データ生成処理のフローチャートである。

ステップ１６００で全体参照画像データ生成処理が開始されると、まず、ステップ１６０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
次に、ステップ１６０２において、全体マップ画像データ６１１のｎ番目の画素の画素値を読み込む。

次に、ステップ１６０３において、全体入力画像データ２２１上の、ステップ１６０２で読み込んだ参照元座標値に対応する位置の画素値を算出し、全体参照画像データ６３１のｎ番目の画素の画素値として設定する。ここで、参照元座標値は一般には整数値ではないが、画素値の算出は双線形補間などの公知の方法によって実施すればよい。

次に、ステップ１６０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ１６０５において、全体参照画像データ６３１中のすべての画素について処理が終了したか否かを判定する。全体参照画像データ６３１中のすべての画素について処理が終了している場合にはステップ１６０６に進んで全体参照画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ１６０２に進んで処理を続ける。

図１７は、本実施例のシステムにおける合成マップ画像データ生成処理のフローチャートである。

ステップ１７００において合成マップ画像データ生成処理が開始されると、まず、ステップ１７０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
次に、ステップ１７０２において、全体参照画像データ６３１のｎ番目の画素の画素値ＶＴと、左面参照画像データ６３２のｎ番目の画素の画素値ＶＬと、右面参照画像データ６３３のｎ番目の画素の画素値ＶＲとを読み込む。

次に、ステップ１７０３において、採用画素決定処理を行う。採用画素決定処理の詳細については、図１８を用いて説明する。

次に、ステップ１７０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ１７０５において、合成マップ画像データ６１６中のすべての画素について処理が終了したか否かを判定する。合成マップ画像データ６１６中のすべての画素について処理が終了している場合にはステップ１７０６に進んで合成マップ画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ１７０２に進んで処理を続ける。

図１８は、本実施例のシステムにおける採用画素決定処理のフローチャートである。

ステップ１８００において採用画素決定処理が開始されると、まず、ステップ１８０１において所定の閾値に基づいてＶＴとＶＬの差が許容範囲内にあるか否かを判定する。ステップ１８０１において許容範囲内であると判定された場合には、ステップ１８０２に進み、合成マップ画像データ６１６のｎ番目の画素の画素値として、入力データ識別子７２１には「左面入力画像データ」を設定し、参照元Ｘ座標値７２２には左面マップ画像データ６１２のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には左面マップ画像データ６１２のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定する。

ステップ１８０１において許容範囲外であると判定された場合には、ステップ１８０３の処理に進む。ステップ１８０３では、所定の閾値に基づいてＶＴとＶＲの差が許容範囲内にあるか否かを判定する。ステップ１８０３において許容範囲内であると判定された場合には、ステップ１８０４に進み、合成マップ画像データのｎ番目の画素の画素値として、入力データ識別子７２１には「右面入力画像データ」を設定し、参照元Ｘ座標値７２２には右面マップ画像データ６１３のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には右面マップ画像データ６１３のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定する。

ステップ１８０３において許容範囲外であると判定された場合には、ステップ１８０５に進み、合成マップ画像データのｎ番目の画素の画素値として、入力データ識別子７２１には「全体入力画像データ」を設定し、参照元Ｘ座標値７２２には全体マップ画像データ６１１のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には全体マップ画像データ６１１のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定する。

以上、ステップ１８０２、ステップ１８０４、ステップ１８０５、のいずれかの処理の終了後、ステップ１８０６において採用画素決定処理を終了する。

図１９は、本実施例のシステムにおける出力画像データ生成処理のフローチャートである。

ステップ１９００において出力画像データ生成処理が開始されると、まず、ステップ１９０１において、処理すべき画素のシリアル番号であるｎを０に初期化し、続いてステップ１９０２において、合成マップ画像データ６１６のｎ番目の画素の画素値を読み込む。
次に、ステップ１９０３において、ステップ１９０２で読み込んだ画素値の入力データ識別子７２１で表される入力データ上で、参照元Ｘ座標値７２２と参照元Ｙ座標値７２３で表される座標の画素値を算出し、出力画像データ６５０のｎ番目の画素の画素値として設定する。ここで、参照元Ｘ座標値７２２及び参照元Ｙ座標値７２３は一般には整数値ではないが、画素値の算出は双線形補間などの公知の方法により実施すればよい。

次に、ステップ１９０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ１９０５において、出力画像データ６５０中のすべての画素について処理が終了したか否かを判定する。出力画像データ６５０中のすべての画素について処理が終了している場合にはステップ１９０６に進んで出力画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ１９０２に進んで処理を続ける。

図２０は、本実施例のシステムにおける中間データ更新処理のフローチャートである。

ステップ２０００において中間データ更新処理が開始されると、まず、ステップ２００１において色調補正処理を行う。ステップ２００１における色調補正処理は、ステップ１１０２における色調補正処理と同一の処理である。

次に、ステップ２００２において、変換画像データ生成処理を行う。ステップ２００２における変換画像データ生成処理は、ステップ１１０３における変換画像データ生成処理と同一の処理である。

次に、ステップ２００３において、変化画像データ生成処理を行う。変化画像データ生成処理は、全体変化画像データ生成処理と、左面変化画像データ生成処理と、右面変化画像データ生成処理とで構成する。このうち、全体変化画像データ生成処理の詳細を図２１を用いて説明する。左面変化画像データ生成処理は、全体変化画像データ生成処理において使用される全体参照画像データ６３１の代わりに左面参照画像データ６３２を、全体変換画像データ６２１の代わりに左面変換画像データ６２２を、全体変化画像データ６４１の代わりに左面変化画像データ６４２を、それぞれ使用すればよい。右面変化画像データ生成処理に関しても、同様である。

次に、ステップ２００４において、各面マップ画像データ更新処理を行う。各面マップ画像データ更新処理は、左面マップ画像データ更新処理と、右面マップ画像データ更新処理とで構成する。このうち、左面マップ画像データ更新処理の詳細を図２２を用いて説明する。右面マップ画像データ更新処理に関しても、同様の処理で実施することができる。

次に、ステップ２００５において、参照画像データ生成処理を行う。ステップ２００５における参照画像データ生成処理は、ステップ１１０５における参照画像データ生成処理と同一の処理である。

次に、ステップ２００６において、合成マップ画像データ生成処理を行う。ステップ２００６における合成マップ画像データ生成処理は、ステップ１１０６における合成マップ画像データ生成処理と同一の処理である。

次に、ステップ２００７において、出力画像データ生成処理を行う。ステップ２００７における出力画像データ生成処理は、ステップ１１０７における出力画像データ生成処理と同一の処理である。

以上の処理を終了後、ステップ２００８において中間データ更新処理を終了する。
図２１は、本実施例のシステムにおける全体変化画像データ生成処理のフローチャートである。

ステップ２１００において全体変化画像データ生成処理が開始されると、まず、ステップ２１０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
次に、ステップ２１０２において、全体参照画像データ６３１のｎ番目の画素の画素値Ｖ０を読み込み、続いてステップ２１０３において、全体変換画像データ６２１のｎ番目の画素の画素値Ｖ１を読み込む。

次に、ステップ２１０４において、所定の閾値に基づいてＶ０とＶ１の差が許容範囲内であるか否かを判定する。ステップ２１０４で許容範囲内であると判定された場合には、ステップ２１０５に進んで全体変化画像データ６４１のｎ番目の画素の画素値を０にする。ステップ２１０４で許容範囲外であると判定された場合には、ステップ２１０６に進んで全体変化画像データ６４１のｎ番目の画素の画素値を１にする。

ステップ２１０５またはステップ２１０６の終了後、ステップ２１０７において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ２１０８において、全体変化画像データ６４１中のすべての画素について処理が終了したか否かを判定する。全体変化画像データ６４１中のすべての画素について処理が終了している場合にはステップ２１０９に進んで全体変化画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ２１０２に進んで処理を続ける。

図２２は、本実施例のシステムにおける左面マップ画像データ更新処理のフローチャートである。

ステップ２２００において左面マップ画像データ更新処理が開始されると、まず、ステップ２２０１において全体変換画像データ６２１と左面変換画像データ６２２とを読み込み、続いてステップ２２０２において、全体変化画像データ６４１及び左面変化画像データ６４２を読み込む。

次に、ステップ２２０３において左面マップ修正画像データ更新処理を行う。左面マップ修正画像データ更新処理は、全体変化画像データ６４１または左面変化画像データ６４２のいずれかにおいて画素値が１であるような画素に関しては、図１４のステップ１４０３で説明した左面マップ修正画像データ生成処理と同様にして左面マップ修正画像データ６１４の画素値を決定し、全体変化画像データ６４１及び左面変化画像データ６４２の両方で画素値が０であるような画素に関しては、該画素の座標値をそのまま該画素の参照元座標値として設定する処理である。変化画像データを使用することで、状態が変化した領域があらかじめ分かるため、パターンマッチング等の処理の高速化・頑健化が期待できる。また、状態の変化がない部分に関する計算量の削減が図れるため、処理の高速化が期待できる。

次に、ステップ２２０４において左面マップ画像データ合成処理を行う。ステップ２２０４における左面マップ画像データ合成処理は、図１４のステップ１４０４で説明した左面マップ画像データ合成処理と同じ処理である。
以上の処理を終了後、ステップ２２０５において左面マップ画像データ更新処理を終了する。
図６０は、ハードウェア構成図である。

画像合成装置６０００は、ＵＳＢインターフェース６０１１と、ＵＳＢインターフェース６０１２と、ＵＳＢインターフェース６０１３と、ＣＰＵ６０２０と、メモリ６０２１と、ハードディスク６０２２と、画像ボード６０２３と、ネットワークカード６０２４とで構成する。
ハードディスク６０２２には、これまでに説明した各種処理に対応する各種プログラムと、全体制御部２８０に格納されるべき各種データ、及び、パラメタ記憶部２４０に格納されるべき各種データ、を格納しておく。

本実施例のシステムは、図６０に示すハードウェア構成で、ハードディスク６０２２からメモリ６０２１にロードされた各種プログラムが、ＣＰＵ６０２０によって実行されることにより実現される。
入力データ記憶部２２０と中間データ記憶部２６０の機能は、メモリ６０２１によって実現され、映像入力部２１０の機能は、ＵＳＢインターフェース６０１１と、ＵＳＢインターフェース６０１２と、ＵＳＢインターフェース６０１３によって実現され、映像出力部２７０の機能は画像ボード６０２３によって実現され、パラメタ設定部２５０の機能はネットワークカード６０２４によって実現される。

また、全体撮影装置２０１、左面撮影装置２０２、右面撮影装置２０３の機能は、それぞれ、ＵＳＢカメラ６００１、ＵＳＢカメラ６００２、ＵＳＢカメラ６００３によって実現される。

なお、ハードディスク６０２２が備えるべき機能としては、記憶した情報が電源断などによって失われないものであればよく、不揮発性のメモリでも代用可能であるし、ＣＤ−ＲＯＭやフロッピー（登録商標）ディスクのようなメディアと該メディアを読み込むためのインターフェースとの組で代用することもできる。

また、ＵＳＢインターフェース６０１１と、ＵＳＢインターフェース６０１２と、ＵＳＢインターフェース６０１３が備えるべき機能は、画像合成装置２００への入力信号をデジタル画像データとしてメモリ６０２１に書き込むことであり、入力信号に応じてＵＳＢインターフェースの代わりに適切なものを使用すればよい。例えば、入力信号がアナログ信号である場合にはＡ／Ｄ変換機能を有するキャプチャカードを使用すればよいし、入力信号がネットワークを介して送られてくるデジタルデータである場合にはネットワークカードを使用すればよい。

また、画像ボード６０２３が備えるべき機能は、合成した画像データを外部に出力することであり、Ｄ／Ａ変換機能の有無は、出力先に応じて変更すればよい。さらに、合成したデータをハードディスク等の記憶媒体に記憶する場合には該媒体に対応するインターフェースを使用すればよいし、ネットワークを介して伝送する場合にはネットワークカードを使用すればよい。さらに、該ネットワークカードとしてＭＰＥＧ２エンコード機能などのデータ圧縮機能を有するものを使用するようにしてもよい。

また、ネットワークカード６０２４が備えるべき機能は、パラメタ記憶部２４０に格納されるべき各種データをハードディスク６０２２に書き込めることであり、ＣＤ−ＲＯＭやフロッピー（登録商標）ディスクのようなメディアと該メディアを読み込むためのインターフェースとの組で代用してもよいし、キーボードなどの外部入力インターフェースで代用するようにしてもよい。 なお、本ハードウェア構成は、他の実施例にも適用可能である。

以上、本実施例によれば、１つの撮影装置で撮影した画像データと整合性のある画像データが撮像されることを保証しつつ、複数の撮影装置を使って高解像度の画像データを生成することが可能となる。

なお、本実施例においては、処理速度及び頑健性の観点から変化画像データを使用するように構成したが、本発明の実施の形態はこれに限るものではなく、常にすべての画素に対して処理を行うようにしてもよいことは明らかである。

以下、図２３〜図３３を用いて、第２の実施の形態について説明する。

本実施例は、実施例１に記載の例に対して、より単純な処理の組み合わせによって中間データを更新できるようにした例である。
図２３は、本実施例のシステムのシステム構成図である。図２３において、図２と同じ符号は、図２と同じものを表す。また、図６と同じ符号は、図６と同じものを表す。
本実施例の画像合成装置２３００は、画像合成装置２００に対して、中間データ記憶部２３６０を、デプス画像データ２３６０と探索用デプス集合データ２３７０とを格納できるように構成し、さらに、画像処理部２３３０で実施する中間データ生成処理及び中間データ更新処理に変更を加えたものである。

ここで、デプス画像データ２３６０は、全体デプス画像データ２３６１と背景デプス画像データ２３６２とで構成する。ここで、全体デプス画像データ２３６１と背景デプス画像データ２３６２の解像度は、出力画像データ６５０の解像度と等しくなるように構成する。

また、探索用デプス集合データ２３７０は、所定のデプス値の集合である規定探索デプス集合データ２３７１と、臨時探索距離集合データ２３７２と、最大探索距離集合データ２３７３とで構成する。規定探索デプス集合データ２３７１の構成方法については図２６を用いて、臨時探索距離集合データ２３７２と最大探索距離集合データ２３７３の構成方法については図３１を用いて、それぞれ説明する。

図２４は、本実施例のシステムにおける中間データ生成処理のフローチャートである。図２４において、図１１と同じ符号は、図１１と同じ処理を表す。
ステップ２４０１のデプス画像データ生成処理の詳細については、図２５を用いて説明する。

ステップ２４０２の各面マップ画像データ生成処理は、左面マップ画像データ生成処理と、右面マップ画像データ生成処理とで構成する。このうち、左面マップ画像データ生成処理の詳細を図２７を用いて説明する。右面マップ画像データ生成処理に関しても、同様の処理で実施することができる。

図２５は、本実施例のシステムにおけるデプス画像データ生成処理のフローチャートである。

ステップ２５００においてデプス画像データ生成処理が開始されると、まず、ステップ２５０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。

次に、ステップ２５０２において、出力パラメタデータ２４４と出力画像データ６５０のｎ番目の画素位置とで規定される、投影中心位置を基点として画素位置方向を向くような３次元方向に関して、所定の適合率評価関数に基づいて、各々の規定デプス集合データに含まれるデプス値ごとに、デプス値が当該デプス値の場合の適合率を算出する。

次に、ステップ２５０３において、ステップ２５０２で算出した適合率が最も高いデプス値を選択し、全体デプス画像データ２３６１のｎ番目の画素値として設定する。

次に、ステップ２５０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ２５０５において、全体デプス画像データ２３６１中のすべての画素について処理が終了したか否かを判定する。全体デプス画像データ２３６１中のすべての画素について処理が終了している場合にはステップ２５０６に進み、未だ処理が終了していない画素が存在する場合にはステップ２５０２に進んで処理を続ける。

ステップ２５０６において背景デプス画像データ２３６２の各画素の画素値を全体デプス画像データ２３６１の同位置の画素の画素値と同じ値に設定した後、ステップ２５０７においてデプス画像データ生成処理を終了する。

図２６は、本実施例のシステムにおける規定探索デプス集合データ２３７１の構成方法を説明するための図である。

図２６において、白丸が、各々１つのデプス値を表す。本実施例においては、所定の最小デプス値２６１０及び最大デプス値２６１１に対して、デプス集合データ２６２０のようにデプス値を等間隔に配置してもよいし、「画像データ上でのずれの量が概ね等しくなるように」という観点から、デプス集合データ２６２１のようにデプス値が小さい領域ほど密に配置してもよい。

図２７は、本実施例のシステムにおける左面マップ画像データ生成処理のフローチャートである。

ステップ２７００において左面マップ画像データ生成処理が開始されると、まず、ステップ２７０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
次に、ステップ２７０２において、出力パラメタデータ２４４と出力画像データ６５０のｎ番目の画素位置とで規定される、投影中心位置を基点として画素位置方向を向くような３次元方向に関して、全体デプス画像データ２３６１上のデプス値から三次元空間上での位置Ｐを決定する。

次に、ステップ２７０３において、ステップ２７０２で決定した位置Ｐと内部パラメタデータ２４１と外部パラメタデータ２４２に基づいて、左面入力画像データ２２２上の対応する位置を決定し、左面マップ画像データ６１２のｎ番目の画素の画素値として設定する。

次に、ステップ２７０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ２７０５において、左面マップ画像データ６１２中のすべての画素について処理が終了したか否かを判定する。左面マップ画像データ６１２中のすべての画素について処理が終了している場合にはステップ２７０６に進んで左面マップ画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ２７０２に進んで処理を続ける。

図２８は、本実施例のシステムにおける中間データ更新処理のフローチャートである。図２８において、図２０と同じ符号は、図２０と同じ処理を表す。
ステップ２８０１の全体デプス画像データ更新処理の詳細に関しては、図２９を用いて説明する。

ステップ２８０２の背景デプス画像データ更新処理の詳細に関しては、図３２を用いて説明する。

ステップ２８０３の各面マップ画像データ更新処理は、左面マップ画像データ更新処理と、右面マップ画像データ更新処理とで構成する。このうち、左面マップ画像データ更新処理の詳細を図３３を用いて説明する。右面マップ画像データ更新処理に関しても、同様の処理で実施することができる。

図２９は、本実施例のシステムにおける全体デプス画像データ更新処理のフローチャートである。

ステップ２９００において全体デプス画像データ更新処理が開始されると、まず、ステップ２９０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。

次に、ステップ２９０２において、全体デプス画像データ２３６１のｎ番目の画素について、画素値優先デプス決定処理を行う。画素値優先デプス決定処理の詳細については、図３０及び図３１を用いて説明する。

次に、ステップ２９０３において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ２９０４において、全体デプス画像データ２３６１中のすべての画素について処理が終了したか否かを判定する。全体デプス画像データ２３６１中のすべての画素について処理が終了している場合にはステップ２９０５に進んで全体デプス画像データ更新処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ２９０２に進んで処理を続ける。

図３０は、本実施例のシステムにおける画素値優先デプス決定処理のフローチャートであり、図３１は、本実施例のシステムにおける臨時探索距離集合データ２３７２及び最大探索距離集合データ２３７３の構成方法を説明するための図である。図３１において、図２６と同じ符号は、図２６と同じものを表す。

ステップ３０００において画素値優先デプス決定処理が開始されると、まず、ステップ３００１において全体デプス値近傍探索処理を行う。これは、全体デプス画像データ２３６１のｎ番目の画素の画素値である全体デプス値を読み込み、所定の間隔と所定の適合率評価関数に基づいて、全体デプス値の近傍のデプス値と、該デプス値における適合率と、の組を算出する処理である。例えば、図３１において、全体デプス値３１０１とその近傍のデプス値３１０２及びデプス値３１０３に対して、各々の適合率の算出をステップ３００１において行う。

次に、ステップ３００２において、背景デプス値近傍探索処理を行う。これは、背景デプス画像データ２３６２のｎ番目の画素の画素値である背景デプス値を読み込み、所定の間隔と所定の適合率評価関数に基づいて、背景デプス値の近傍のデプス値と、該デプス値における適合率と、の組を算出する処理である。例えば、図３１において、背景デプス値３１１１とその近傍のデプス値３１１２及びデプス値３１１３に対して、各々の適合率の算出をステップ３００２において行う。

次に、ステップ３００３において、規定デプス値探索処理を行う。これは、規定探索デプス集合データ２３７１に含まれるデプス値に対して、所定の適合率評価関数に基づいて適合率を求める処理である。

次に、ステップ３００４において、最適デプス値選択処理を行う。これは、ステップ３００１及びステップ３００２及びステップ３００３において処理を行ったデプス値のうち、適合率が最も高いデプス値を選択し、全体デプス画像データ２３６１のｎ番目の画素の画素値として設定する処理である。結果として、デプス集合データ３１２１に含まれるデプス値のそれぞれに対して、所定の適合率評価関数に基づいて適合率を求めた上で、適合率が最も高いデプス値を選択したことと等価な処理となる。

ステップ３００４の処理が終了した後、ステップ３００５において画素値優先デプス決定処理を終了する。

図３２は、本実施例のシステムにおける背景デプス画像データ更新処理のフローチャートである。

ステップ３２００において背景デプス画像データ更新処理が開始されると、まず、ステップ３２０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。

次に、ステップ３２０２において、全体デプス画像データ２３６１のｎ番目の画素の画素値Ｖ０を読み込み、続いてステップ３２０３において背景デプス画像データ２３６２のｎ番目の画素の画素値Ｖ１を読み込む。

次に、ステップ３２０４において、Ｖ０とＶ１の値の比較を行い、Ｖ０の方が大きいと判定された場合には、ステップ３２０５に進んで背景デプス画像データ２３６２のｎ番目の画素の画素値をＶ０に設定する。

以上の処理が終了した後、ステップ３２０６において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ３２０７において、背景デプス画像データ２３６２中のすべての画素について処理が終了したか否かを判定する。背景デプス画像データ２３６２中のすべての画素について処理が終了している場合にはステップ３２０８に進んで背景デプス画像データ更新処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ３２０２に進んで処理を続ける。

背景デプス画像データ２３６２をこのように更新することによって、背景デプス画像データ２３６２の各画素は、該画素に関して過去に選択されたデプス値のうちでもっとも値の大きなものを保持することができる。

図３３は、本実施例のシステムにおける左面マップ画像データ更新処理のフローチャートである。

ステップ３３００において左面マップ画像データ更新処理が開始されると、まず、ステップ３３０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。

次に、ステップ３３０２において、被写体が変わったと判定される画素か否かを判定する。これは、全体変化画像データ６４１及び左面変化画像データ６４２を参照することによって実施すればよい。ステップ３３０２の判定において「変化なし」と判定された場合には、ステップ３３０５に進む。

ステップ３３０２の判定において「変化あり」と判定された場合には、ステップ３３０３において、出力パラメタデータ２４４と出力画像データ６５０のｎ番目の画素位置とで規定される、投影中心位置を基点として画素位置方向を向くような３次元方向に関して、全体デプス画像データ２３６１上のデプス値から三次元空間上での位置Ｐを決定する。

次に、ステップ３３０４において、ステップ３３０３で決定した位置Ｐと内部パラメタデータ２４１と外部パラメタ２４２とから、左面入力画像データ２２２上の対応する座標値を決定して、左面マップ画像データ６１２のｎ番目の画素の画素値として設定する。
以上の処理を終了した後、ステップ３３０５において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ３３０６において、左面マップ画像データ６１２中のすべての画素について処理が終了したか否かを判定する。左面マップ画像データ６１２中のすべての画素について処理が終了している場合にはステップ３３０７に進んで左面マップ画像データ更新処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ３３０２に進んで処理を続ける。

以上、本実施例によれば、実施例１のシステムに対して、より単純な処理の組み合わせによって中間データを更新することが可能である。

以下、図３４と図３５を用いて、第３の実施の形態について説明する。

本実施例は、実施例２に記載の例に対して、移動体の検出を行うことでデプス値の探索を効率的かつ頑健に行えるようにした例である。

なお本実施例におけるシステムでは、実施例２のシステム構成において、中間データ記憶部２３６０の代わりに、図３４及び図３５で説明するデータをさらに格納できるようにした中間データ記憶部３４６０を備えるように構成する。

図３４は、本実施例のシステムにおける全体デプス画像データ更新処理のフローチャートである。図３４において、図２９と同じ符号は、図２９と同じ処理を表す。

図３４の全体デプス画像データ更新処理と、図２９の全体デプス画像データ更新処理との違いは、ステップ３４０１、ステップ３４０２、ステップ３４０３、ステップ３４０４である。

ステップ３４０１の全体デプス画像データ複製処理は、全体デプス画像データ２３６１を複製して、複製全体デプス画像データ３４１０を生成する処理である。生成した複製全体デプス画像データ３４１０は、中間データ記憶部３４６０に格納する。全体デプス画像データ複製処理は、図３５で説明するフロー優先デプス決定処理において、処理している画素位置以外の位置における全体デプス画像データ中の画素値が必要となるため、全体デプス画像データ２３６１が画素毎の処理によって更新されてしまう前に、あらかじめ前の時刻におけるデータを保存しておくための処理である。

ステップ３４０２のオプティカルフロー推定処理は、時刻（Ｔ−１）に撮影した画像データと、時刻Ｔに撮影した画像データとから、どの画素に写っていた被写体がどの画素に写るようになったかを推定する処理であり、公知の技術を用いて実施することが可能である。本実施例に適用する場合の具体的な入力データとしては、時刻（Ｔ−１）に撮影した画像データとして全体参照画像データ６３１を、時刻Ｔに撮影した画像データとして全体変換画像データ６２１を用いる。該オプティカルフロー推定処理の結果は、フローの信頼度と移動元の座標値との組を画素値として持つ、オプティカルフロー画像データ３４２０として、中間データ記憶部３４６０に記憶しておく。

ステップ３４０３では、オプティカルフロー画像データ３４２０の該当画素の画素値を読み込み、所定の閾値に基づいて、該画素のフローが信頼できるか否かを判定する。信頼できると判定した場合には、ステップ３４０４でフロー優先デプス決定処理を行い、信頼できないと判定した場合には、実施例２の場合と同様にステップ２９０２に進んで画素値優先デプス決定処理を行う。フロー優先デプス決定処理の詳細については、図３５を用いて説明する。

図３５は、本実施例のシステムにおけるフロー優先デプス決定処理のフローチャートである。

ステップ３５００でフロー優先デプス決定処理が開始されると、まず、ステップ３５０１において移動元デプス値近傍探索処理を行う。移動元デプス値近傍探索処理とは、次のような処理である。

まず、オプティカルフロー画像データ３４２０から現在処理を行っている画素の移動元座標値を読み込む。次に、複製全体デプス画像データ３４１０の該移動元座標値に対応する画素値を読み込んで、移動元デプス値とする。その上で、所定の間隔と所定の適合率評価関数に基づいて、移動元デプス値とその前後のデプス値に対して適合率を算出し、デプス値と適合率の組を中間データ記憶部３４６０に格納する。

続いてステップ３５０２において、最適デプス値選択処理を行う。これは、ステップ３５０１において格納されたデプス値と適合率の組から、適合率がもっとも高い組を選択する処理である。このとき選択された組のデプス値をフロー最適デプス値３５１０、このとき選択された組の適合率をフロー最適適合率３５１１とする。

ステップ３５０３において、フロー最適適合率３５１１が適合率として十分か否かを、所定の閾値に基づいて判定する。

ステップ３５０３において適合率が十分であると判定された場合には、ステップ３５０４において、フロー最適デプス値３５１０を全体デプス画像データ２３６１の現在処理を行っている画素の画素値として書き込む。

ステップ３５０３において適合率が十分でないと判定された場合には、ステップ３５０５において候補付き画素値優先デプス決定処理を行う。候補付き画素値優先デプス決定処理とは、図３０で説明した画素値優先デプス決定処理のステップ３００４において、最適デプス値の選択肢として前記フロー最適デプス値３５１０を加え、選択の際の基準となる適合率としては前記フロー最適適合率３５１１を用いたものである。

以上の処理を終了した後、ステップ３５０６においてフロー優先デプス決定処理を終了する。

以上、本実施例によれば、実施例２に記載の例に対して、デプス値の探索を、より効率的かつ頑健に行うことができる。

以下、図３６〜図３９を用いて、第４の実施の形態について説明する。

本実施例は、実施例２に記載の例に対して、さらに、ユーザが指定した投影中心から撮影した画像データに擬似的に近くなるような出力画像データを生成するようにしたものである。これは例えば、遠隔会議システムなどにおいて、表示装置の画角に合わせて撮影した画像データを歪ませて表示するような場合に好適な例である。

図３６は、本実施例のシステムのシステム構成図である。図３６において、図２３と同じ符号は、図２３と同じものを表す。

本実施例の画像合成装置３６００は、画像合成装置２３００に対して、パラメタ記憶部３６４０を、所定の映像生成視点データ３６４５を格納できるように構成し、中間データ記憶部３６６０を、環境再構築データ３６８０を格納できるように構成した上で、画像合成処理の処理内容を変更した画像処理部３６３０を備えるように構成した。

映像生成視点データは、画像合成装置３６００の出力画像データの生成方法を定義するデータである。投影中心位置を全体撮影装置２０１の投影中心位置に等しくとり、座標系に関しても全体撮影装置２０１の座標系と等しくとった場合の、投影方法や画角などのパラメタを格納する。

また、環境再構築データ３６８０は、本システムで撮影している空間領域の、どこにどのような色のものがあるかを表現したデータであり、具体的には、各頂点が３次元座標を有するような三角形メッシュデータと、各頂点の色情報とで構成したデータである。

環境再構築データ３６８０の生成方法に関しては図３９を用いて、また、変更後の画像合成処理の処理内容に関しては、図３７と図３８を用いて説明する。

図３７は、本実施例のシステムにおける画像合成処理のフローチャートである。図３７において、図１０と同じ符号は、図１０と同じ処理を表す。

本実施例の画像合成処理は、図１０で説明した画像合成処理に対して、合成画像データ出力処理１０１０の前に出力画像データ更新処理３７０１を加えただけのものである。出力画像データ更新処理３７０１の詳細は、図３８を用いて説明する。

図３８は、本実施例のシステムにおける出力画像データ更新処理のフローチャートである。

ステップ３８００で出力画像データ更新処理が開始されると、ステップ３８０１において全体デプス画像データ２３６１を読み込み、続いてステップ３８０２において出力画像データ６５０を読み込む。

次に、ステップ３８０３において、全体デプス画像データ２３６１と出力画像データ６５０とに基づいて、環境再構築データ３６８０を生成する。環境再構築データ３６８０を生成するための具体的な処理については、図３９を用いて説明する。

次に、ステップ３８０４において、映像生成視点データ３６４５を読み込む。

次に、ステップ３８０５において、出力画像データ６５０の再描画を行う。映像生成視点データ３６４５と環境再構築データ３６８０とから透視変換の原理によって出力画像データ６５０を生成しなおせばよく、公知の技術によって実施することができる。

以上の処理を終了した後、ステップ３８０６において、出力画像データ更新処理を終了する。

図３９は、本実施例のシステムにおける環境再構築データの生成方法を説明するための図である。

環境再構築データ３６８０の各頂点には、出力画像データ６５０の各画素を割り当てる。各頂点の３次元座標値に関しては、出力パラメタデータ２４４と出力画像データ６５０の各々の画素位置とで規定される、投影中心位置を基点として画素位置方向を向くような３次元方向に関して、全体デプス画像データ２３６１上の対応する画素に格納されているデプス値に基づいて決定すればよい。また、三角形メッシュデータとするための頂点同士の繋ぎ方に関しては、図３９に表されるように、各画素によって作られる単位格子に対して、対角線を挿入する向きをあらかじめ決めておき、その向きにしたがって規則的に繋いでいくことで実施すればよい。

具体的には、頂点間を正方格子状に繋いだ上で、頂点３９００、頂点３９０１、頂点３９０２、頂点３９０３に対して、頂点３９００と頂点３９０３、あるいは、頂点３９０１と頂点３９０２、のいずれを繋ぐかの規則を決めておき、該規則にしたがって規則的に繋いでいく。図３９は頂点３９００と頂点３９０３とを対角線３９１０によって繋いだ例である。なお、各頂点の色情報に関しては、出力画像データ６５０の該当画素の画素値をそのまま使用すればよい。

以上、本実施例によれば、見え隠れの違いや指向性を持つ光学特性に関する違いはあるものの、実施例２に記載の例に対して、さらに、ユーザが指定した投影中心から撮影した画像データに擬似的に近くなるような出力画像データを生成することができる。

なお、本実施例と公知技術との違いは、複数の撮影装置の投影中心が異なることによる画質の劣化は発生していない点である。

以下、図４０〜図４４を用いて、第５の実施の形態について説明する。

本実施例は、実施例１に記載の例に対して、さらに、左面撮影装置と右面撮影装置の撮影範囲が重複することができるようにした例であり、出力画像データ中の広い領域を高精細な画像データを接続して表現する場合に適した例である。

図４０は、本実施例のシステムにおける各撮影装置の撮影範囲と出力画像の生成範囲との関係を表す図である。

図４０において、撮影範囲４０００は全体撮影装置２０１の撮影範囲であり、撮影範囲４０１０は左面撮影装置２０２の撮影範囲であり、撮影範囲４０１１は右面撮影装置２０３の撮影範囲である。また、出力画像生成範囲４０２０は出力画像の生成範囲である。図４０は、本実施の形態を適用する場合の条件について説明するためのものであり、各々の範囲の実際の形状は図４０に記載のものと大きく異なっていてもよい。

本実施例は、撮影範囲４０００が出力画像生成範囲４０２０を含んでいる場合について適用するに好適な例である。撮影範囲４０１０と撮影範囲４０１１とに共通して含まれる範囲がある場合でも対応が可能であるようにした例ではあるが、撮影範囲４０１０と撮影範囲４０１１とに共通して含まれる範囲が存在することは、必ずしも本実施の形態に必要な条件ではない。

図４１は、本実施例のシステムにおける合成マップ画像データ６１６の画素値のデータ形式を説明する図である。

本実施例においては、データ形式７２０の代わりに、データ形式４１２０を用いる。データ形式４１２０は、全体サンプリング用データ４１００と、左面サンプリング用データ４１０１と、右面サンプリング用データ４０１２とで構成したものである。

全体サンプリング用データ４１００は、重み値ＷＴと、参照元Ｘ座標地ＸＴと、参照元Ｙ座標値ＹＴとで構成する。重み値ＷＴと参照元Ｘ座標値ＸＴと参照元Ｙ座標値ＹＴはいずれも実数値であり、参照元Ｘ座標地ＸＴと参照元Ｙ座標値ＹＴは全体入力画像データ２２１上の座標値を表す。

同様に、左面サンプリング用データ４１０１は、重み値ＷＬと、参照元Ｘ座標値ＸＬと、参照元Ｙ座標値ＹＬとで構成する。重み値ＷＬと参照元Ｘ座標値ＸＬと参照元Ｙ座標値ＹＬはいずれも実数値であり、参照元Ｘ座標値ＸＬと参照元Ｙ座標値ＹＬは左面入力画像データ２２２上の座標値を表す。

同様に、右面サンプリング用データ４１０２は、重み値ＷＲと、参照元Ｘ座標値ＸＲと、参照元Ｙ座標値ＹＲとで構成する。重み値ＷＲと参照元Ｘ座標値ＸＲと参照元Ｙ座標値ＹＲはいずれも実数値であり、参照元Ｘ座標値ＸＲと参照元Ｙ座標値ＹＲは右面入力画像データ２２３上の座標値を表す。

図４２は、本実施例のシステムにおける重み値の算出方法を説明するための図である。

図４２を用いて、参照元座標値が入力画像データ４２１０の座標値４２２０である場合の重みの算出方法を説明する。まず、Ｘ方向の算出基準距離ＤＸを算出する。これは、図４２のＸ方向距離ＤＸ１とＸ方向距離ＤＸ２のうち小さい方の値である。次に、同様に、Ｙ方向の算出基準距離ＤＹを算出する。すなわち、図４２のＹ方向距離ＤＹ１とＹ方向距離ＤＹ２のうち小さい方の値とする。Ｘ方向の算出基準距離ＤＸ及びＹ方向の算出基準距離ＤＹを算出した上で、重み値ＷをＤＸとＤＹの積として決定する。

図４３は、本実施例のシステムにおける採用画素決定処理のフローチャートである。
ステップ４３００で採用画素決定処理が開始されると、まず、ステップ４３０１においてＷＴとＷＬとＷＲの値を初期化する。具体的には、「ＷＴ＝１」とし、ＷＬとＷＲの値に関しては、合成マップ画像データ６１６に格納されている参照元Ｘ座標値と参照元Ｙ座標値とに基づいて、図４２で説明した方法によって初期化する。

次に、ステップ４３０２において、所定の閾値に基づいて、ＶＴとＶＬの差が許容範囲内か否かを判定し、許容範囲外と判定された場合には、ステップ４３０３においてＷＬの値を０とする。

次に、ステップ４３０４において、所定の閾値に基づいて、ＶＴとＶＲの差が許容範囲内か否かを判定し、許容範囲外と判定された場合には、ステップ４３０５においてＷＲの値を０とする。

次に、ステップ４３０６において、「ＷＬ＋ＷＲ＞０」、すなわち、ＷＬとＷＲの値の少なくとも一方は０でないか否かを判定する。ＷＬとＷＲの値の少なくとも一方が０でない場合には、ステップ４３０７でＷＴの値を０とする。

続いて、ステップ４３０８でＷＴとＷＬとＷＲの値を正規化する処理を行う。具体的には、ＷＴとＷＬとＷＲのそれぞれを、それらの値の総和（ＷＴ＋ＷＬ＋ＷＲ）で割ることにより、ＷＴとＷＬとＷＲの値の和が１となるようにする。

以上の処理が終了した後、ステップ４３０９において採用画素決定処理を終了する。

図４４は、本実施例のシステムにおける出力画像データ生成処理のフローチャートである。

ステップ４４００で出力画像データ生成処理が開始されると、まず、ステップ４４０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。

次に、ステップ４４０２において、合成マップ画像データ６１６からｎ番目の画素の画素値を読み込む。

次に、ステップ４４０３において、ステップ４４０２で読み込んだデータに基づいて、各入力画像データの画素値の重み付きの和を取ることにより、出力画像データ６５０のｎ番目の画素の画素値を決定する。

次に、ステップ４４０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ４４０５において、出力画像データ６５０中のすべての画素について処理が終了したか否かを判定する。出力画像データ６５０中のすべての画素について処理が終了している場合にはステップ４４０６に進んで出力画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ４４０２に進んで処理を続ける。

以上、本実施例によれば、実施例１に記載の例に対して、さらに、左面撮影装置と右面撮影装置の撮影範囲が重複する場合にも、適用することができる。

以下、図４５〜図４９を用いて、第６の実施の形態について説明する。

本実施例は、実施例５に記載の例に対して、さらに、全体撮影装置の撮影範囲に課する条件を、左面撮影装置と右面撮影装置が重複して撮影している領域だけを含んでいればよい、という条件に緩めた例であり、遠隔会議システムなどで広視野角の映像を得たい場合に好適な例である。

図４５は本実施例のシステムにおける各撮影装置の撮影範囲を説明するための状況説明図である。図４５において、図８と同じ符号は、図８と同じものを表す。

本実施例は、図８の場合と異なり、図４５にあるように、全体撮影装置２０１の画角が十分に広角ではなく、表示したい領域全体を表示するためには、左面撮影装置２０２が単独で撮影している領域、または、右面撮影装置２０３が単独で撮影している領域、が必要となる例である。

図４６は本実施例のシステムにおける各撮影装置の撮影範囲と出力画像の生成範囲との関係を表す図である。

図４６において、撮影範囲４６００は全体撮影装置２０１の撮影範囲であり、撮影範囲４６１０は左面撮影装置２０２の撮影範囲であり、撮影範囲４６１１は右面撮影装置２０３の撮影範囲である。また、出力画像生成範囲４６２０は出力画像の生成範囲である。図４６は、本実施の形態を適用する場合の条件について説明するためのものであり、各々の範囲の実際の形状は図４６に記載のものと大きく異なっていてもよい。

本実施例は、出力画像生成範囲４６２０の一部が撮影範囲４６００の外側にはみ出している場合について適用するに好適な例である。撮影範囲４６１０と撮影範囲４６１１とに共通して含まれる範囲がある場合でも対応が可能であるようにした例ではあるが、撮影範囲４６１０と撮影範囲４６１１とに共通して含まれる範囲が存在することは、必ずしも本実施の形態に必要な条件ではない。

本実施例の適用に関しては、出力画像生成範囲４６２０の全体が撮影範囲４６００と撮影範囲４６１０と撮影範囲４６１１の和集合に含まれることが必要条件となる。また、撮影範囲４６１０と撮影範囲４６１１と出力画像生成範囲４６２０とに共通して含まれる範囲が存在する場合には、該範囲を撮影範囲４６００が含んでいることが望ましい。

図４７は本実施例のシステムにおいて被写体位置による不整合の発生の仕方の違いを説明するための図である。

図４７において、視点位置４７００は全体撮影装置２０１が画像データを生成する際の投影中心となる位置、すなわち、出力画像データ生成時の投影中心となる位置であり、視点位置４７１０は左面撮影装置２０２が画像データを生成する際の投影中心となる位置であり、視点位置４７１１は右面撮影装置２０３が画像データを生成する際の投影中心となる位置である。

被写体４７３０と被写体４７３１は、視点位置４７００を中心とする円４７２０上に乗っている被写体、すなわち、視点位置４７００に関して等距離にある被写体である。この２つの被写体に対して、視点位置４７１０から見た場合と視点位置４７１１から見た場合の見える方向の差は、被写体４７３０に関しては角度４７４０となり、被写体４７３１に関しては角度４７４１となる。ここで、角度４７４０の方が角度４７４１よりも大きいことは明らかである。

この例から、本撮影システムの撮影領域の中央部に比べ、周辺部の方が不整合が目立ちにくいということが言える。本実施例は、この性質を利用し、中央部に関しては１つの撮影装置で撮影した画像データと整合性のある画像データを生成し、周辺部に関しては、中央部と滑らかに繋がるように別の撮影装置で撮影した画像データを接続しようというものである。本実施例においては、本質的に、１つの撮影装置で撮影した画像データと整合する画像データを撮像することは不可能であるが、そのような画像データに比べて見た目では遜色のない出力画像データを生成する。

図４８は本実施例のシステムにおける採用画素決定処理のフローチャートである。図４８において、図４３と同じ符号は、図４３と同じものを表す。

図４８の採用画素決定処理において、図４３の採用画素決定処理と異なるのは、ステップ４８０１と、ステップ４８０２と、ステップ４８０３と、ステップ４８０４である。以下、これらのステップの詳細について説明する。

ステップ４８０１における初期化処理の違いは、ＷＴの初期化処理である。図４３のステップ４３０１で説明した初期化処理においては、「ＷＴ＝１」となるように初期化を行ったが、本実施例のステップ４８０１においては、図４９で説明するように参照元座標値に依存した初期化を行う。なお、ＷＬとＷＲの初期化については、図４３のステップ４３０１と同じ処理を行う。

ステップ４８０２は、図４３のステップ４３０３に対応する処理である。図４３のステップ４３０３においては、ＷＬの値を０としていたが、本実施例のステップ４８０２においてはＷＬの値をＷ０とする。ここでＷ０は、ＷＴが１である場合には結果に影響しないような非常に小さな数である。具体的には、出力画像データ６５０の画素値の取り得る範囲が０から２５５である場合には、例えばＷ０の値として１／５１２を採用すればよい。

これは、出力画像データ６５０の画素値が離散値であることを利用したものであり、このような処理とするのは、全体サンプリング用データ４１００中の参照元座標値が全体入力画像データ２２１の端に近づくにしたがって、不整合が発生した場合においても、左面入力画像データ２２２または右面入力画像データ２２３の画素値を優先して出力画像データ６５０を生成するようにするためである。これにより、全体入力画像データ２２１に写っている領域から、全体入力画像データ２２１に写っておらず、したがって左面入力画像データ２２２または右面入力画像データ２２３の画素値のみから出力画像データ６５０の画素値を決定しなければならない領域に、滑らかに接続ができるようにする。

同様に、ステップ４８０３は、図４３のステップ４３０５に対応する処理である。図４３のステップ４３０５においては、ＷＲの値を０としていたが、本実施例のステップ４８０３においてはＷＲの値をＷ０とする。

ステップ４８０４は、図４３のステップ４３０６に対応する処理である。図４３のステップ４３０６においては「ＷＬ＋ＷＲ＞０」か否かの判定を行っていたが、本実施例のステップ４８０４では「ＷＬ＋ＷＲ≧１」か否かの判定を行う。これは、全体参照画像データ６３１の画素値と左面参照画像データ６３２の画素値、あるいは、全体参照画像データ６３１の画素値と右面参照画像データ６３３の画素値との間で、整合性がある場合にのみＷＴ＝０とし、その他の場合には、全体入力画像データ２２１の画素値と左面入力画像データ２２２の画素値と右面入力画像データ２２３の画素値とを重みを考慮してブレンドすることによって出力画像データ６５０の画素値を決定するようにするためである。

図４９は本実施例のシステムにおける全体サンプリング用データ４１００の重み値の決定方法を説明するための図である。図４９において、図４６と同じ符号は、図４６と同じものを表す。

ＷＴの初期値は、少なくとも撮影範囲４６１０と撮影範囲４６１１と出力画像生成範囲４６２０とに共通して含まれる範囲においては「ＷＴ＝１」とし、そこから撮影範囲４６００の境界に近づくにしたがって「ＷＴ＝０」となるように連続に変化させる。

具体的には、図４９の断面４９００におけるＷＴの初期値を決定するための関数として、関数４９１０を用いる。関数４９１０は、撮影範囲４６１０と撮影範囲４６１１と出力画像生成範囲４６２０とに共通して含まれる範囲を包含する領域４９２１では「ＷＴ＝１」であり、それ以外の領域となる領域４９２０及び領域４０２２では撮影範囲４６００の境界に近づくにしたがって「ＷＴ＝０」となるような連続関数である。

以上、本実施例によれば、実施例５に記載の例に対して、さらに、全体撮影装置の撮影範囲に課する条件を、左面撮影装置と右面撮影装置が重複して撮影している領域だけを含んでいればよい、という条件に緩めた場合にも、適用することができる。

以下、図５０〜図５５を用いて、第７の実施の形態について説明する。

本実施例は、実施例２に記載の例に対して、さらに、全体撮影装置以外の撮影装置の焦点距離や姿勢の変更ができるようにした例である。これは例えば、遠隔会議システムにおいて、音声認識等によって発言者の位置が特定できる場合に、該発言者が中央に写るように姿勢を制御した上で、該発言者をズームアップして撮影し、該発言者の表情までを細やかに表現する、といったアプリケーションに適用するのに好適な例である。

図５０は本実施例のシステムのシステム構成図である。図５０において、図２３と同じ符号は、図２３と同じものを表す。

本実施例においては、左面撮影装置５０２０は、姿勢制御部５０２１と画角制御部５０２２とを備え、左面撮影装置２０２の機能に加え、撮影装置制御装置５０１０からの制御信号によって撮影姿勢及び撮影画角（あるいは焦点距離）を変更する機能を備える。同様に、右面撮影装置５０３０は、姿勢制御部５０３１と画角制御部５０３２とを備え、左面撮影装置２０３の機能に加え、撮影装置制御装置５０１０からの制御信号によって撮影姿勢及び撮影画角を変更する機能を備える。

撮影装置制御装置５０１０は、外部からの制御信号によって左面撮影装置５０２０及び右面撮影装置５０３０の撮影姿勢や撮影画角を制御し、変更後の左面撮影装置５０２０及び右面撮影装置５０３０の撮影姿勢や撮影画角の情報を、画像合成装置５０００に送信する機能を持つ。

本実施例における画像合成装置５０００は、全体制御部５０８０を、全体入力状態フラグ２８１、左面入力状態フラグ２８２、右面入力状態フラグ２８３、状態モードフラグ２８４、デフォルト画像データ２８５、に加え、動的内部パラメタデータ５０８１及び動的外部パラメタデータ５０８２を格納できるように構成し、撮影装置制御装置５０１より送信された、左面撮影装置５０２０及び右面撮影装置５０３０の撮影画角の情報を動的内部パラメタデータ５０８１に、撮影姿勢の情報を動的外部パラメタデータ５０８２に、それぞれ格納するように構成する。

また、画像処理部５０４０は、画像処理部２３３０に対して、図５３を用いて説明する左面中間データ更新処理と、それに対応する右面中間データ更新処理とをさらに処理できるように構成し、また、中間データ更新処理５１０１の処理内容の一部を変更したものである。具体的には、採用画素決定処理を図５４を用いて説明するものに変更し、また、出力画像データ生成処理２００７の終了後に、図５５を用いて説明する出力画像データ更新処理を実行するようにした。

図５１は、本実施例のシステムにおける画像合成処理のフローチャートである。図５１において、図１０と同じ符号は、図１０と同じ処理を表す。

ステップ５１０１の中間データ更新処理は、図２８で説明した中間データ更新処理に対して、採用画素決定処理を図５４を用いて説明するものに変更し、また、出力画像データ生成処理２００７の終了後に、図５５を用いて説明する出力画像データ更新処理を実行するようにしたものである。

また、ステップ５１０２の撮影パラメタ変更関連処理の詳細については、図５２を用いて説明する。

図５２は、本実施例のシステムにおける撮影パラメタ変更関連処理のフローチャートである。

ステップ５２００で撮影パラメタ変更関連処理が開始されると、まず、ステップ５２０１において、左面撮影装置５０２０の撮影パラメタの変更が完了したか否かを判定する。このとき、左面撮影装置５０２０の撮影パラメタが変化していない場合には「否」であると判定する。

ステップ５２０１において左面撮影装置５０２０の撮影パラメタの変更が完了したと判定された場合には、ステップ５２０２において左面中間データ更新処理を行う。左面中間データ更新処理の詳細については、図５３を用いて説明する。

続いて、ステップ５２０３において、右面撮影装置５０３０の撮影パラメタの変更が完了したか否かを判定する。このとき、右面撮影装置５０３０の撮影パラメタが変化していない場合には「否」であると判定する。

ステップ５２０３において右面撮影装置５０３０の撮影パラメタの変更が完了したと判定された場合には、ステップ５２０４において右面中間データ更新処理を行う。右面中間データ更新処理は、ステップ５２０２における左面中間データ更新処理と同様の処理によって実施することができる。

以上の処理を終了後、ステップ５２０５において、撮影パラメタ変更関連処理を終了する。

図５３は、本実施例のシステムにおける左面中間データ更新処理のフローチャートである。

ステップ５３００で左面中間データ更新処理が開始されると、まず、ステップ５３０１において内部パラメタデータ２４１と外部パラメタデータ２４２を読み込む。

次に、ステップ５３０２において、動的内部パラメタデータ５０８１及び動的外部パラメタデータ５０８２を読み込む。

次に、ステップ５３０３において、再マップ可能領域抽出処理を行う。これは、撮影パラメタの変更の前後で共通に撮影されている領域を出力画像データ６５０の座標上で抽出する処理であり、内部パラメタデータ２４１と外部パラメタデータ２４２と出力パラメタデータ２４４と動的内部パラメタデータ５０８１と動的外部パラメタデータ５０８２に基づいて算出されるものである。

次に、ステップ５３０４において、再マップ可能領域中の画素に関して、中間データ再マップ処理を行う。これは、内部パラメタデータ２４１と外部パラメタデータ２４２と出力パラメタデータ２４４と動的内部パラメタデータ５０８１と動的外部パラメタデータ５０８２とを使い、撮影パラメタの変更前の値に基づいてデプス画像データ２３６０とマップ画像データ６１０と参照画像データ６３０を更新する処理である。

次に、ステップ５３０５において、動的内部パラメタデータ５０８１で内部パラメタデータ２４１を更新し、続いてステップ５３０６において、動的外部パラメタデータ５０８２で外部パラメタデータ２４２を更新する。

次に、ステップ５３０７において、再マップ可能領域以外の領域に存在する画素に関して、中間データ生成処理を行う。これは、処理すべき画素が限定されていることを除いては、図２４で説明した中間データ生成処理と同一の処理である。

以上の処理を終了後、ステップ５３０８において左面中間データ更新処理を終了する。

図５４は、本実施例のシステムにおける採用画素決定処理のフローチャートである。
ステップ５４００において採用画素決定処理が開始されると、まず、ステップ５４０１において左面撮影装置５０２０の撮影パラメタが変更中であるか否かを判定する。左面撮影装置５０２０の撮影パラメタが変更中でないと判定された場合には、ステップ５４０２においてＶＴとＶＬの差が許容範囲内にあるか否かを判定し、許容範囲内であると判定された場合には、ステップ５４０３に進み、合成マップ画像データ６１６のｎ番目の画素の画素値として、入力データ識別子７２１には「左面入力画像データ」を設定し、参照元Ｘ座標値７２２には左面マップ画像データ６１２のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には左面マップ画像データ６１２のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定した後、ステップ５４０４に進んで採用画素決定処理を終了する。

ステップ５４０１において左面撮影装置５０２０の撮影パラメタが変更中であると判定された場合、あるいは、ステップ５４０２においてＶＴとＶＬの差が許容範囲内にないと判定された場合には、ステップ５４０５に進む。

ステップ５４０５では、右面撮影装置５０３０の撮影パラメタが変更中であるか否かを判定する。右面撮影装置５０３０の撮影パラメタが変更中でないと判定された場合には、ステップ５４０６においてＶＴとＶＲの差が許容範囲内にあるか否かを判定し、許容範囲内であると判定された場合には、ステップ５４０７に進み、合成マップ画像データ６１６のｎ番目の画素の画素値として、入力データ識別子７２１には「右面入力画像データ」を設定し、参照元Ｘ座標値７２２には右面マップ画像データ６１３のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には右面マップ画像データ６１３のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定した後、ステップ５４０４に進んで採用画素決定処理を終了する。

ステップ５４０５において右面撮影装置５０３０の撮影パラメタが変更中であると判定された場合、あるいは、ステップ５４０６においてＶＴとＶＲの差が許容範囲内にないと判定された場合には、ステップ５４０８に進み、合成マップ画像データ６１６のｎ番目の画素の画素値として、入力データ識別子７２１には「全体入力画像データ」を設定し、参照元Ｘ座標値７２２には全体マップ画像データ６１１のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には全体マップ画像データ６１１のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定した後、ステップ５４０４に進んで採用画素決定処理を終了する。

図５５は、本実施例のシステムにおける出力画像データ更新処理のフローチャートである。出力画像データ更新処理は、左面撮影装置２０２や右面撮影装置２０３の撮影パラメタが変化している場合に、例えば、出力画像データ６５０中のどの部分をどの程度ズームアップしているのか、が分かるようにするための処理である。

ステップ５５００で出力画像データ更新処理が開始されると、まず、ステップ５５０１において状態変化中撮影領域抽出用データを読み込む。状態変化中撮影領域抽出用データとは、具体的には、全体デプス画像データ２３６１と内部パラメタデータ２４１と外部パラメタデータ２４２と出力パラメタデータ２４４と動的内部パラメタデータ５０８１と動的外部パラメタデータ５０８２である。

次に、ステップ５５０２で、出力画像データ６５０を読み込む。

次に、ステップ５５０３で、出力画像データ６５０に、状態変化中撮影領域の境界線を描き込み、あらためて出力画像データ６５０として格納する。
以上の処理を終了後、ステップ５５０４において、出力画像データ更新処理を終了する。

以上、本実施例によれば、全体撮影装置以外の撮影装置の焦点距離や姿勢を変更し得る場合にも、適用することができる。

以下、図５６〜図５９を用いて、第８の実施の形態について説明する。

本実施例は、実施例５に記載の例に対して、さらに、映像中の背景領域に相当する部分のうち、動きの少ない領域を高精細に表示できるようにした例である。

図５６は、本実施例のシステムのシステム構成図である。図５６において、図２と同じ符号は、図２と同じものを表す。また、図５６において、図６と同じ符号は、図６と同じものを表す。

本実施例の画像合成装置５６００では、まず、実施例５の画像合成装置に対して採用画素決定処理と出力画像データ生成処理の処理内容を変更した画像処理部５６３０を備えるようにした。変更後の採用画素決定処理の処理内容に関しては図５８を用いて、変更後の出力画像データ生成処理の処理内容に関しては図５９を用いて、それぞれ説明する。

本実施例の画像合成装置５６００では、さらに、中間データ記憶部５６６０を、変換画像データ６２０と参照画像データ６３０と変化画像データ６４０と出力画像データ６５０とに加えて、合成マップ画像データの画素値のデータ形式を図４１において説明した形式からさらに変更したマップ画像データ５６１０と、高精細背景画像データ５６９０とを格納できるように構成した。新たに変更した合成マップ画像データの画素値の形式については、図５７を用いて説明する。

高精細背景画像データ５６９０は、全体入力画像データ２２１より高品質な画像データとなるように、全体撮影装置２０１を用いて撮影したものである。

全体撮影装置２０１が特別な機能を備えていない場合には、例えば、撮影を複数回実施して、その平均を取った画像データを生成し、高精細背景画像データ５６９０として格納すればよい。この場合、時間平均の効果により、全体入力画像データ２２１に比べてノイズの少ない高品質な画像を得ることができる。

また、全体入力画像データ２２１が動画モードと静止画モードとの切替機能を備えている場合、一般には、静止画モードで撮影した方が高品質な画像データが撮影できるような仕組みとなっているため、該静止画モードで撮影した画像データを、そのまま高精細背景画像データ５６９０として格納してもよい。

また、全体撮影装置２０１に対して焦点距離の制御や撮影姿勢の制御などが可能である場合には、超解像と呼ばれる技術を用いた画像処理により高精細背景画像データ５６９０を生成して格納してもよい。

図５７は、本実施例のシステムにおける合成マップ画像データ６１６の画素値のデータ形式を説明する図である。図５７において、図４１と同じ符号は、図４１と同じものを表す。

本実施例においては、データ形式４１２０の代わりに、データ形式４１２０に高精細背景サンプリング用データ５７００を加えた形式であるデータ形式５７２０を用いる。高精細背景サンプリング用データ５７００は、重み値ＷＨと、高精細背景画像データのＸ座標値ＸＨと、高精細背景画像データのＹ座標値ＹＨとで構成する。重み値ＷＨとＸ座標値ＸＨとＹ座標値ＹＨは、いずれも実数値である。

ここで、Ｘ座標値ＸＨとＹ座標値ＹＨは、本実施例の撮像システムの撮影領域全体に渡って被写体が静止していると仮定した場合に、合成マップ画像データのすべての画素の画素値において「ＷＴ＝１，ＷＬ＝ＷＲ＝ＷＨ＝０」として図５９で説明する出力画像データ生成処理を実行した場合と、合成マップ画像データのすべての画素の画素値において「ＷＨ＝１，ＷＴ＝ＷＬ＝ＷＲ＝０」として図５９で説明する出力画像データ生成処理を実行した場合とで、出力される画像データが略一致するように、高精細背景画像データ５６９０の生成方法と出力パラメタデータ２４４とに基づいて、あらかじめ計算され格納される値である。

図５８は、本実施例のシステムにおける採用画素決定処理のフローチャートである。
ステップ５８００で採用画素決定処理が開始されると、まず、ステップ５８０１においてＷＴとＷＬとＷＲとＷＨの値を初期化する。具体的には、ＷＴとＷＬとＷＲに関しては図４３のステップ４３０１と同じ値で初期化を行い、ＷＨに関しては１とする。

次にステップ５８０２のＶＬ判定処理において、所定の閾値に基づいて、ＶＴとＶＬの値の差が許容範囲内か否かを判定し、許容範囲外の場合にはＷＬの値を０とする処理を行う。

続いてステップ５８０３のＶＲ判定処理において、所定の閾値に基づいて、ＶＴとＶＲの値の差が許容範囲内か否かを判定し、許容範囲外の場合にはＷＲの値を０とする処理を行う。

続いて、ステップ５８０４において、「ＷＬ＋ＷＲ＞０」、すなわち、ＷＬとＷＲの値の少なくとも一方は０でないか否かを判定する。ＷＬとＷＲの値の少なくとも一方が０でない場合には、ステップ５８０５でＷＴとＷＨの値を０とした上でステップ５８０９へ進み、ＷＬとＷＲの値の両方が０である場合には、そのままステップ５８０６へ進む。

ステップ５８０６では、所定の閾値に基づいて、ＶＴとＶＨの値の差が許容範囲内か否かを判定する。ここで、ＶＨは、合成マップ画像データ６１６のｎ番目の画素の画素値における高精細背景サンプリング用データ５７００と高精細背景画像データ５６９０とから算出される値である。該判定結果が許容範囲内である場合にはステップ５８０７に進んでＷＴの値を０とし、許容範囲外である場合にはステップ５８０８に進んでＷＨの値を０とする。

続いて、ステップ５８０９でＷＴとＷＬとＷＲとＷＨの値を正規化する処理を行う。具体的には、ＷＴとＷＬとＷＲとＷＨのそれぞれを、それらの値の総和（ＷＴ＋ＷＬ＋ＷＲ＋ＷＨ）で割ることにより、ＷＴとＷＬとＷＲとＷＨの値の和が１となるようにする。

以上の処理が終了した後、ステップ５８１０において採用画素決定処理を終了する。

図５９は、本実施例のシステムにおける出力画像データ生成処理のフローチャートである。

ステップ５９００で出力画像データ生成処理が開始されると、まず、ステップ５９０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。

次に、ステップ５９０２において、合成マップ画像データ６１６からｎ番目の画素の画素値を読み込む。

次に、ステップ５９０３において、ステップ５９０２で読み込んだデータに基づいて、高精細背景画像データ５６９０の画素値を含めた各入力画像データの画素値の重み付きの和を取ることにより、出力画像データ６５０のｎ番目の画素の画素値を決定する。

次に、ステップ５９０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ５９０５において、出力画像データ６５０中のすべての画素について処理が終了したか否かを判定する。出力画像データ６５０中のすべての画素について処理が終了している場合にはステップ５９０６に進んで出力画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ５９０２に進んで処理を続ける。

以上、本実施例によれば、実施例５に記載の例に対して、さらに、映像中の背景領域に相当する部分のうち、動きの少ない領域を高精細に表示することができる。また、高精細背景画像データ５６９０はあらかじめ生成しておくことの可能なデータであるため、遠隔会議システムなどのアプリケーションにおいて、ネットワークの負荷を増やすことなく、出力画像データの品質をよくすることができる。

なお、上記実施例においては、高精細背景画像データ５６９０は全体撮影装置２０１を用いて撮影するものとしたが、高精細背景画像データ５６９０の画素に対しても全体参照画像データ６３１との整合性判定を行っているため、実施の形態はこれに限るものではない。左面撮影装置２０２や右面撮影装置２０３を用いて撮影した画像データに対して内部パラメタデータや外部パラメタデータを考慮した幾何変換処理を施して生成してもよいし、新たに備えた別の撮影装置を用いて撮影した画像データに対して同様の幾何変換処理を施して生成してもよい。

なお、上記、実施例１から実施例８までの例においては、全体撮影装置１つとその他の撮影装置２つを備えた場合を例として実施の形態を説明してきたが、実施の形態はこれに限るものではなく、全体撮影装置１つに加えてその他の撮影装置を複数備えるような一般の構成に対して適用可能であることは明らかである。

効果を説明するための概念図である。 実施例１のシステムのシステム構成図である。 実施例１のシステムにおいて入力データ記憶部に格納するデータの説明図である。 実施例１のシステムにおいて全体制御部に格納するデータの説明図である。 実施例１のシステムにおいてパラメタ記憶部に格納するデータの説明図である。 実施例１のシステムにおいて中間データ記憶部に格納するデータの説明図である。 実施例１のシステムにおける各種マップ画像データの画素値のデータ形式を説明する図である。 実施例１のシステムにおける画像合成処理の動作を説明するための状況説明図である。 実施例１のシステムにおける画像合成処理の動作を説明するための概念図である。 実施例１のシステムにおける画像合成処理のフローチャートである。 実施例１のシステムにおける中間データ生成処理のフローチャートである。 実施例１のシステムにおけるマップ画像データ初期化処理のフローチャートである。 実施例１のシステムにおける全体変換画像データ生成処理のフローチャートである。 実施例１のシステムにおける左面マップ画像データ生成処理のフローチャートである。 実施例１のシステムにおけるマップ画像データの合成方法の説明図である。 実施例１のシステムにおける全体参照画像データ生成処理のフローチャートである。 実施例１のシステムにおける合成マップ画像データ生成処理のフローチャートである。 実施例１のシステムにおける採用画素決定処理のフローチャートである。 実施例１のシステムにおける出力画像データ生成処理のフローチャートである。 実施例１のシステムにおける中間データ更新処理のフローチャートである。 実施例１のシステムにおける全体変化画像データ生成処理のフローチャートである。 実施例１のシステムにおける左面マップ画像データ更新処理のフローチャートである。 実施例２のシステムのシステム構成図である。 実施例２のシステムにおける中間データ生成処理のフローチャートである。 実施例２のシステムにおけるデプス画像データ生成処理のフローチャートである。 実施例２のシステムにおける規定探索デプス集合データの構成方法を説明するための図である。 実施例２のシステムにおける左面マップ画像データ生成処理のフローチャートである。 実施例２のシステムにおける中間データ更新処理のフローチャートである。 実施例２のシステムにおける全体デプス画像データ更新処理のフローチャートである。 実施例２のシステムにおける画素値優先デプス決定処理のフローチャートである。 実施例２のシステムにおける臨時探索距離集合データ及び最大探索距離集合データの構成方法を説明するための図である。 実施例２のシステムにおける背景デプス画像データ更新処理のフローチャートである。 実施例２のシステムにおける左面マップ画像データ更新処理のフローチャートである。 実施例３のシステムにおける全体デプス画像データ更新処理のフローチャートである。 実施例３のシステムにおけるフロー優先デプス決定処理のフローチャートである。 実施例４のシステムのシステム構成図である。 実施例４のシステムにおける画像合成処理のフローチャートである。 実施例４のシステムにおける出力画像データ更新処理のフローチャートである。 実施例４のシステムにおける環境再構築データの生成方法を説明するための図である。 実施例５のシステムにおける各撮影装置の撮影範囲と出力画像の生成範囲との関係を表す図である。 実施例５のシステムにおける合成マップ画像データの画素値のデータ形式を説明する図である。 実施例５のシステムにおける重み値の算出方法を説明するための図である。 実施例５のシステムにおける採用画素決定処理のフローチャートである。 実施例５のシステムにおける出力画像データ生成処理のフローチャートである。 実施例６のシステムにおける各撮影装置の撮影範囲を説明するための状況説明図である。 実施例６のシステムにおける各撮影装置の撮影範囲と出力画像の生成範囲との関係を表す図である。 実施例６のシステムにおいて被写体位置による不整合の発生の仕方の違いを説明するための図である。 実施例６のシステムにおける採用画素決定処理のフローチャートである。 実施例６のシステムにおける全体サンプリング用データの重み値の決定方法を説明するための図である。 実施例７のシステムのシステム構成図である。 実施例７のシステムにおける画像合成処理のフローチャートである。 実施例７のシステムにおける撮影パラメタ変更関連処理のフローチャートである。 実施例７のシステムにおける左面中間データ更新処理のフローチャートである。 実施例７のシステムにおける採用画素決定処理のフローチャートである。 実施例７のシステムにおける出力画像データ更新処理のフローチャートである。 実施例８のシステムのシステム構成図である。 実施例８のシステムにおける合成マップ画像データの画素値のデータ形式を説明する図である。 実施例８のシステムにおける採用画素決定処理のフローチャートである。 実施例８のシステムにおける出力画像データ生成処理のフローチャートである。 ハードウェア構成図である。

符号の説明

１１０、１２０、１３０・・・入力画像データ、１１１・・・出力画像データ、９１０・・・時刻（Ｔ−１）における全体入力画像データ、９２０・・・時刻（Ｔ−１）における右面入力画像データ、９１１・・・時刻Ｔにおける全体入力画像データ、９１２・・・更新前の全体参照画像データ、９１３・・・全体変換画像データ、９１４・・・全体変化画像データ、９１５・・・更新後の全体参照画像データ、９２１・・・時刻Ｔにおける右面入力画像データ、９２２・・・更新前の右面参照画像データ、９２３・・・右面変換画像データ、９２４・・・右面変化画像データ、９２５・・・更新後の右面参照画像データ、２６２０、２６２１、３１２１・・・デプス集合データ、４０００、４０１０、４０１１・・・撮影範囲、４０２０・・・出力範囲、４６００、４６１０、４６１１・・・撮影範囲、４６１２・・・重複撮影範囲、４６２０・・・出力範囲、４７００、４７１０、４７１１・・・投影中心位置、４７３０、４７３１・・・被写体位置、４９１０・・・ＷＴの初期値を決定するための関数

Claims (19)

1. 第１の入力画像データと第２の入力画像データを合成して所定の解像度の出力画像データを出力する画像合成装置であって、
   前記出力画像データの各画素位置が前記第１の入力画像データ中のどの位置に対応するかを定義した第１の幾何変換パラメタと、前記出力画像データの各画素位置が前記第２の入力画像データ中のどの位置に対応するかを定義した第２の幾何変換パラメタと、を格納する幾何変換パラメタ記憶部と、
   前記第１の幾何変換パラメタに基づいて前記第１の入力画像データを変換し第１の出力候補画像データを生成する第１の画像変換部と、
   前記第２の幾何変換パラメタに基づいて前記第２の入力画像データを変換し第２の出力候補画像データを生成する第２の画像変換部と、
   前記第１の出力候補画像データと前記第２の出力候補画像データを比較して、画素ごとに両者の差異が所定の許容範囲内にあるか否かを判定することによって整合性の有無を判定する整合性判定部と、
   出力画像データの各画素に対して、前記整合性判定部によって整合性なしと判定された画素の画素値については前記第１の出力候補画像データの画素値に基づいて決定し、前記整合性判定部によって整合性ありと判定された画素の画素値については前記第２の出力候補画像データの画素値に基づいて決定することによって前記出力画像データを生成する出力画像データ生成部と、
   を備えたことを特徴とする画像合成装置。
2. 第１の入力画像データと第２の入力画像データと第３の入力画像データを合成して所定の解像度の出力画像データを出力する画像合成装置であって、
   前記出力画像データの各画素位置が前記第１の入力画像データ中のどの位置に対応するかを定義した第１の幾何変換パラメタと、前記出力画像データの各画素位置が前記第２の入力画像データ中のどの位置に対応するかを定義した第２の幾何変換パラメタと、前記出力画像データの各画素位置が前記第３の入力画像データ中のどの位置に対応するかを定義した第３の幾何変換パラメタと、を格納するパラメタ記憶部と、
   前記第１の幾何変換パラメタに基づいて前記第１の入力画像データを変換し第１の出力候補画像データを生成する第１の画像変換部と、
   前記第２の幾何変換パラメタに基づいて前記第２の入力画像データを変換し第２の出力候補画像データを生成する第２の画像変換部と、
   前記第３の幾何変換パラメタに基づいて前記第３の入力画像データを変換し第３の出力候補画像データを生成する第３の画像変換部と、
   前記第１の出力候補画像データと前記第２の出力候補画像データを比較して、画素ごとに両者の整合性の有無を判定する第１の整合性判定部と、
   前記第１の出力候補画像データと前記第３の出力候補画像データを比較して、画素ごとに両者の整合性の有無を判定する第２の整合性判定部と、
   前記第１の整合性判定部及び前記第２の整合性判定部のいずれによっても整合性ありと判定された画素の画素値を決定するために、前記第２の出力候補画像データの画素値と前記第３の出力候補画像データの画素値の寄与率を決定する寄与率決定部と、
   出力画像データの各画素に対して、
   前記第１の整合性判定部によって整合性なしと判定され、かつ、前記第２の整合性判定部によって整合性なしと判定された画素の画素値については、前記第１の出力候補画像データの画素値に基づいて決定し、
   前記第１の整合性判定部によって整合性ありと判定され、かつ、前記第２の整合性判定部によって整合性なしと判定された画素の画素値については、前記第２の出力候補画像データの画素値に基づいて決定し、
   前記第１の整合性判定部によって整合性なしと判定され、かつ、前記第２の整合性判定部によって整合性ありと判定された画素の画素値については、前記第３の出力候補画像データの画素値に基づいて決定し、
   前記第１の整合性判定部によって整合性ありと判定され、かつ、前記第２の整合性判定部によって整合性ありと判定された画素の画素値については、前記寄与率決定部によって決定された寄与率に基づいて、前記第２の出力候補画像データの画素値と前記第３の出力候補画像データの画素値に基づいて決定することによって、
   出力画像データを生成する出力画像データ生成部と、
   を備えたことを特徴とする画像合成装置。
3. 請求項１に記載の画像合成装置であって、
   さらに、
   前記第１の入力画像データの生成方法を規定する第１のレンダリングパラメタと、
   前記第２の入力画像データの生成方法を規定する第２のレンダリングパラメタと、
   前記第１のレンダリングパラメタの備える第１の投影中心位置と同一の投影中心位置を備え前記出力画像データの生成方法を規定する第３のレンダリングパラメタと、で構成される基本レンダリングパラメタを格納するレンダリングパラメタ記憶部と、 前記第１の幾何変換パラメタを前記第１のレンダリングパラメタと前記第３のレンダリングパラメタに基づいて初期化する第１の幾何変換パラメタ初期化部と、前記第２の幾何変換パラメタを前記第１のレンダリングパラメタと前記第２のレンダリングパラメタと前記第３のレンダリングパラメタに基づいて初期化する第２の幾何変換パラメタ初期化部と、
   前記第２の幾何変換パラメタを前記第１の出力候補画像データと前記第２の出力候補画像データとに基づいて修正する幾何変換パラメタ修正部と、
   該修正後の第２の幾何変換パラメタに基づいて前記第２の出力候補画像データを更新して修正済出力候補画像データを生成する修正済出力候補画像データ生成部と、を備え、
   前記整合性判定部と前記出力画像データ生成部は、前記第２の出力候補画像データの代わりに前記修正済出力候補画像データを用いて処理を行うことを特徴とする画像合成装置。
4. 請求項３に記載の画像合成装置であって、
   さらに、 第１の時系列入力画像データを格納する第１のフレームメモリと、第２の時系列入力画像データを格納する第２のフレームメモリと、時系列出力画像データを格納する第３のフレームメモリと、
   画像処理タイミング制御部とを備え、
   前記画像処理タイミング制御部は、所定の時間間隔ごとに、前記第１のフレームメモリから画像データを取得して前記第１の入力画像データとして入力し、前期第２のフレームメモリから画像データを取得して前記第２の入力画像データとして入力し、出力された前記出力画像データを前記第３のフレームメモリに格納し、前記所定の時間間隔ごとに前記第３のフレームメモリから画像データを取得して出力することを特徴とする画像合成装置。
5. 請求項４に記載の画像合成装置であって、
   さらに、
   前記第１の投影中心位置から前記第１の出力候補画像データの各画素方向に写っている被写体までの距離を推定して推定距離画像データを生成する被写体位置推定部を備え、
   前記幾何変換パラメタ修正部は、前記推定距離画像データ及び前記基本レンダリングパラメタに基づいて前記第２の幾何変換パラメタを修正するようにしたことを特徴とする画像合成装置。
6. 請求項５に記載の画像合成装置であって、
   前記被写体位置推定部は、前記基本レンダリングパラメタと前記第１の出力候補画像データと前記第２の出力候補画像データとに基づいて前記推定距離画像データを生成することを特徴とする画像合成装置。
7. 請求項６に記載の画像合成装置であって、
   さらに、
   探索すべき距離値の集合である探索距離集合データを格納する探索距離集合データ格納部を備え、
   前記被写体位置推定部は、前記推定距離画像データの画素毎に前記探索距離集合データ格納部に格納された前記探索距離集合データに含まれる距離値の中から所定の評価関数に基づいて選択した最適な距離値を設定するように構成されることを特徴とする画像合成装置。
8. 請求項７記載の画像合成装置であって、
   前記探索距離集合データ格納部に格納された前記探索距離集合データは、距離が近いところほど密である距離値の集合として構成されることを特徴とする画像合成装置。
9. 請求項７記載の画像合成装置であって、
   前記探索距離集合データを前記推定距離画像データの画素毎に備え、
   さらに、
   該探索距離集合データを、所定の距離値の集合である規定探索距離集合データと、現在時刻に近い過去の時刻における探索において選択した距離値の集合である臨時探索距離集合データと、現在時刻より過去の時刻における探索において選択した最大の距離値である最大探索距離データと、によって構成し、
   前記被写体位置推定部は、
   前記臨時探索距離集合データに含まれる距離値及びその前後の距離値と、
   前記最大探索距離データの示す距離値及びその前後の距離値と、
   前記規定探索距離集合データに含まれる距離値と、
   の中から所定の評価関数に基づいて選択した最適な距離値を設定するように構成したことを特徴とする画像合成装置。
10. 請求項９記載の画像合成装置であって、さらに、
    移動体の動きを検出する移動体検出部を備え、
    前記被写体位置推定部は、
    前記推定距離画像データの画素のうち、前記第１の出力候補画像データ上で移動体が検出された位置に対応する画素の画素値の決定を、現在時刻に近い過去の時刻において該移動体に対して推定した距離値の集合に基づいて決定した距離値の集合を前記臨時探索距離集合データに加えた上で、所定の評価関数に基づいて選択した最適な距離値を設定するように構成したことを特徴とする画像合成装置。
11. 請求項５に記載の画像合成装置であって、
    前記レンダリングパラメタ記憶部は、前記基本レンダリングパラメタに加えて、前記第１のレンダリングパラメタの備える第１の投影中心位置とは異なる第２の投影中心位置を備えて前記出力画像データの生成方法を規定する第４のレンダリングパラメタを格納可能であり、
    さらに、
    前記出力画像データと前記推定距離画像データから被写体の立体モデルを生成する３次元モデル復元部と、
    前記立体モデルから前記基本レンダリングパラメタと前記第４のレンダリングパラメタに基づいて前記第２の投影中心位置における見え方に近い異視点出力画像データを生成する出力画像データ再生成部とを備え、
    前記出力画像データの代わりに、前記異視点出力画像データを出力するようにしたことを特徴とする画像合成装置。
12. 請求項４に記載の画像合成装置であって、さらに、
    前記第２のレンダリングパラメタを更新するレンダリングパラメタ更新部を備え、
    前記整合性判定部は、前記レンダリングパラメタ更新部で前記第２のレンダリングパラメタが更新中である場合には、すべての画素に対して整合性なしと判定することを特徴とする画像合成装置。
13. 請求項１に記載の画像合成装置であって、
    さらに、
    高品質画像データを格納する高品質画像データ格納部と、 前記第１の出力候補画像データと前記高品質画像データを比較して、画素ごとに両者の整合性の有無を判定する高品質整合性判定部とを備え、
    前記出力画像データ生成部は、出力画像データの各画素に対して、前記整合性判定部によって整合性なしと判定された画素の画素値については、該画素が前記高品質整合性判定部によって整合性ありと判定された画素である場合には前記高品質画像データの画素値に基づいて決定し、該画素が前記高品質整合性判定部によって整合性なしと判定された画素である場合には前記第１の出力候補画像データの画素値に基づいて決定し、前記整合性判定部によって整合性ありと判定された画素の画素値については前記第２の出力候補画像データの画素値に基づいて決定することによって出力画像データを生成するようにしたことを特徴とする画像合成装置。
14. 第１の撮影装置と、前記第１の撮影装置の撮影範囲と重複範囲を有するよう撮影する第２の撮影装置と、請求項１に記載の画像合成装置とを備えた撮像システムであって、
    前記画像合成装置は、
    前記第１の撮影装置の撮影した画像データを前記第１の入力画像データとして入力し、
    前記第２の撮影装置の撮影した画像データを前記第２の入力画像データとして入力するように構成することで、所定の解像度の画像データを出力するようにしたことを特徴とする撮像システム。
15. 請求項１４に記載の撮像システムであって、
    前記第２の撮影装置が前記第１の撮影装置の撮影範囲の内部を撮影するように構成されることを特徴とする撮像システム。
16. 第１の撮影装置と第２の撮影装置と第３の撮影装置と請求項２に記載の画像合成装置とを備えた撮像システムであって、
    前記第２の撮影装置の撮影範囲と前記第３の撮影装置の撮影範囲は互いに重複を持つように構成され、さらに、前記第１の撮影装置の撮影範囲は前記第２の撮影装置と前記第３の撮影装置とが重複して撮影する範囲を含むように構成され、
    前記画像合成装置は、
    前記第１の撮影装置の撮影した画像データを前記第１の入力画像データとして入力し、
    前記第２の撮影装置の撮影した画像データを前記第２の入力画像データとして入力し、
    前記第３の撮影装置の撮影した画像データを前記第３の入力画像データとして入力する
    ように構成することで、所定の解像度の画像データを出力するようにしたことを特徴とする撮像システム。
17. 第１の撮影装置と、前記第１の撮影装置の撮影範囲と重複を持つような範囲を撮影する第２の撮影装置と、請求項３に記載の画像合成装置とを備えた撮像システムであって、
    さらに、
    前記第１の撮影装置の撮影した画像データを前記第１の入力画像データとして入力し、
    前記第２の撮影装置の撮影した画像データを前記第２の入力画像データとして入力する
    ように構成し、
    さらに、
    前記第１の撮影装置の投影方法を規定する第１のカメラパラメタを前記第１のレンダリングパラメタとして格納し、
    前記第２の撮影装置の投影方法を規定する第２のカメラパラメタ、及び、前記第１の撮影装置を基準とした場合の前記第２の撮影装置の位置及び姿勢を表す第３のカメラパラメタを、前記第２のレンダリングパラメタとして格納することで、
    所定の解像度の画像データを出力するようにしたことを特徴とする撮像システム。
18. 第１の撮影装置と、前記第１の撮影装置の撮影範囲と重複を持つような範囲を撮影する第２の撮影装置と、請求項４に記載の画像合成装置とを備えた撮像システムであって、
    前記第１の撮影装置と前記第２の撮影装置は時系列画像データを撮影し、
    前記画像合成装置は、
    前記第１の撮影装置の撮影した時系列画像データを前記第１の時系列入力画像データとして入力し、前記第２の撮影装置の撮影した時系列画像データを前記第２の時系列入力画像データとして入力し、
    前記第１の撮影装置の投影方法を規定する第１のカメラパラメタを前記第１のレンダリングパラメタとして格納し、
    前記第２の撮影装置の投影方法を規定する第２のカメラパラメタ、及び、前記第１の撮影装置を基準とした場合の前記第２の撮影装置の位置及び姿勢を表す第３のカメラパラメタを、前記第２のレンダリングパラメタとして格納することで、
    所定の解像度の時系列画像データを出力するようにしたことを特徴とする撮像システム。
19. 撮影画像データの画質を優先する高品質撮影モードと、撮影画像データの他の特性を優先する通常撮影モードとを備える第１の撮影装置と、前記第１の撮影装置の撮影範囲と重複を持つような範囲を撮影する第２の撮影装置と、請求項１３に記載の画像合成装置とを備えた撮像システムであって、
    さらに、
    前記第１の撮影装置を前記高品質撮影モードに設定して撮影した画像データを前記高品質画像データとして格納する高品質画像初期設定部を備え、
    前記画像合成装置は、
    前記第１の撮影装置を前記通常撮影モードに設定して撮影した画像データを前記第１の入力画像データとして入力し、前記第２の撮影装置の撮影した画像データを前記第２の入力画像データとして入力するように構成することで、
    所定の解像度の画像データを出力するようにしたことを特徴とする撮像システム。
    

Images