JP2006105822A - 三次元画像処理システム及び三次元データ処理装置 - Google Patents

Abstract

【課題】良好な振れ検出及び撮影動作が可能な撮影装置及び撮影システムを実現する。
【解決手段】 物体に対して、それぞれ明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像を順次投影する投影手段（可動光源部４）と、各パターン像が投影された物体を順次撮影して複数の画像を取得する画像取得手段（画像入力部６）と、複数の画像を用いて物体の三次元形状および表面属性に関するデータを生成するデータ生成手段（三次元形状取得部３、表面属性取得部１）とを有する。
【選択図】 図１

Description

本発明は、対象となる実物体の形状、色、質感などをよりリアルに三次元画像として表示する三次元画像処理に関するものである。

従来、実在する物体の三次元情報（形状、表面属性）を入力する画像処理装置として、接触型の位置センサを利用した方法が知られている。この方法は、探針を物体の各点に接触させ、探針の三次元位置座標を位置センサにより検出し、物体の各点の三次元位置情報を入力する方法である。なお、この接触型の位置センサを用いる方法では、探針を物体の各点に接触させる必要があるため、対象となる物体としては、ある程度の強度を持つ物体に限られ、また計測にある程度の時間を要する等の制限がある。

また、非接触型の三次元計測装置も知られている。この非接触型は、接触型に比べて高速の計測が可能であることから、ＣＧシステムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている（特許文献１参照）。

非接触の三次元計測の方法としては、スリット光投影法（光切断法）またはパターン投影法が知られている。これらの方法は、特定の参照光（検出光）を計測対象に照射し、三角測定の原理で距離画像（三次元画像データ、三次元データ、または三次元形状データ）を得る能動的計測方法の一種である（特許文献２参照）。

スリット光投影法では、スリット光を照射しかつ偏向することによって計測対象を走査する。パターン投影法では、複数の２次元パターン光を順次照射する。得られた距離画像は、計測対象上の複数部位の三次元位置を示す画素の集合である（特許文献３参照）。

このような三次元計測装置には、計測対象物体の距離画像を得るための距離計測光学系と、対象物体表面のテクスチャ情報を取得するためのカラー光学系（モニタ光学系）とが設けられる。距離計測光学系には、計測対象物体に参照光を照射する投光部、参照光の計測対象物体による反射光を受光する受光センサなどが含まれる。そして、受光センサからの出力などに基づいて、三次元形状データが演算により求められる（特許文献４参照）。

一方、カラー光学系には、同じ計測対象物体のカラー画像（モニタ画像、２次元画像、２次元データ、または２次元画像データ）を撮像する撮像センサなどが含まれ、カラー光学系により得られるカラー画像は、対象物体表面のテクスチャ情報を取得するために用いられる他に、距離計測光学系による計測を開始する際に、距離計測により得られる距離画像の範囲を予め確認するために用いられる。さらには、得られた距離画像を修正する際に、その修正箇所の特定のために用いられる（特許文献５〜７参照）。
特開平０９−２１０６４６号公報（段落００１９〜００２６、図１等） 特開平１０−０６８６０７号公報（段落００２１、図２１、２２等） 特開２０００−０６５５４７号公報（段落００３０〜００３８、図１等） 特開２００３−１７２６１０号公報（段落００３７〜００４９、図１〜図３等） 特開２００３−１８５４２０号公報（段落００２９〜００３２、図１等） 特開２００４−０３７３１７号公報（段落００１８〜００２７、図１等） 特開２００４−０８５３７１号公報（段落００２２〜００２３、図２〜図４等）

しかしながら、従来の三次元画像処理装置では、対象物体の質感や光沢感を再現することは考慮されていないため、撮影環境と再現環境とで照明器具の形状、位置、色が異なった場合、対象物体における鏡面反射の状態が変化してしまい、見た目にも大きく変わってしまう。したがって、従来の三次元画像処理装置では対象物体の質感や光沢感までを正確に表現してユーザ等に伝えることは困難であった。

本発明の例示的な目的の１つは、物体の質感、光沢感、立体感などを正確に表現することが可能な三次元画像処理システム及び三次元データ処理装置を実現することにある。

さらに、他の例示的な目的の１つは、高速で、かつ良好な三次元画像処理が可能な三次元画像処理システム及び三次元データ処理装置を実現することにある。

本発明の１つの観点としての三次元画像処理システムは、物体に対して、それぞれ明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像を順次投影する投影手段と、各パターン像が投影された物体を順次撮影して複数の画像を取得する画像取得手段と、複数の画像を用いて物体の三次元形状および表面属性に関するデータを生成するデータ生成手段とを有することを特徴とする。

本発明によれば、取得した複数の画像を用いて物体の三次元形状データとともに、表面属性データを生成している。このため、該データにより構築される三次元画像は、該物体の質感、光沢感、立体感などをより正確に表現することが可能となる。

さらに、複数の画像を用いて三次元形状データ及び表面属性データの両データを生成しているので、データ取得の高速化が図れ、最適な三次元画像処理を実現できる。

以下に本発明の実施例について説明する。

図１は、本発明の実施例１に係る三次元画像処理システム（三次元データ処理装置）の構成ブロック図である。

本実施例の三次元画像処理システムは、取得した対象物体の三次元画像を再現する際に、観察に用いる照明環境を任意に設定でき、かつ対象物体の位置および向きを観察空間内で自由に変更することが可能で、所望の観察環境下での対象物体の画像を表示および印刷出力ができるように構成される。

この三次元画像処理システムにおいて、４は対象物体を照明する投影手段である可動光源部、１０はパターンフィルタ部、６はパターンを投影された対象物体の画像を入力する画像入力部、８は対象物体を回転させる対象物回転部、２は可動光源部４、画像入力部６、対象物回転部８及びパターンフィルタ部１０を制御する制御部である。

３は画像入力部６により取得された画像列と制御部２により設定された入力環境パラメータとを用いて対象物体の三次元形状データ（第１のデータ）を取得（生成）する三次元形状取得部、１は画像入力部６により得られた画像列、制御部２により設定された入力環境パラメータ及び三次元形状取得部３により作成された三次元形状データを用いて対象物体の色・光沢・質感などを表面属性に関するデータ（第２のデータ）を取得（生成）する表面属性取得部である。

さらに、５はこれらの三次元データ（第１及び第２のデータ）を統合する三次元データ統合部、９は画像再現時の観察環境を設定する操作部、７は三次元統合データ及び再現時の観察環境データに基づいて対象物体の画像を再構築する任意環境画像生成部であり、１１は表示および印刷出力する画像出力部である。

可動光源部４は、パターンフィルタ部１０の背後に配置され、対象物体の三次元形状データ及び表面属性データの取得に用いる画像列を入力する際の照明として使用され、対象物体の回転軸に平行に移動可能である。パターンフィルタ部１０は、ポジ／ネガ一対の特殊なパターンを切替えられるようになっており、背後から可動光源部４によって照らされることにより、対象物体に対して二次元の広がりを持つ輝度分布を有するパターンを照射できるようになっている。

画像入力部６は、光像を画像データに光電変換して入力する、デジタルカメラ、ビデオカメラ、マルチスペクトルカメラなどの画像入力装置で構成され、可動光源部４およびパターンフィルタ部１０により照明された対象物体の一対の画像を入力する。

対象物回転部８は、対象物体を回転軸まわりに単位ステップ刻みで回転させ、各回転角において、可動光源部４は移動を繰り返す。対象物回転部８の各回転角、可動光源部４の各位置において、可動光源部４、パターンフィルタ部１０及び画像入力部６は随時、パターン照射、画像入力を行う。

三次元形状取得部３は、画像入力部６によって入力された「対象物回転部８の回転刻み数」×「可動光源部４の移動数」分の画像対列と、制御部２から得られる画像入力時の環境パラメータ（可動光源部４、パターンフィルタ部１０、画像入力部６、対象物回転部８の位置、パターン、回転角など）を用いて、対象物体の三次元立体形状モデルを生成する。本実施例における三次元立体形状モデルとしては、例えばポリゴンによる表面モデル、あるいは異なる形状の表面形状要素の集合として表現することができる。

表面属性取得部１は、画像入力部６によって入力された「対象物回転部８の回転刻み数」×「可動光源部４の移動数」分の画像対列においてパターンの明部が投影されている領域と、制御部２から得られる画像入力時の環境パラメータ（可動光源部４、パターンフィルタ部１０、画像入力部６、対象物回転部８の位置、パターン、回転角など）と、三次元形状取得部３により生成された三次元立体形状モデルとを用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。

この表面属性データにより、再現時の対象物体・照明光源・視点の位置関係や照明光源の色・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることが可能となり、対象物体の質感、光沢感、立体感などをよりリアルに表現することができる。

三次元データ統合部５は、三次元形状取得部３により得られた三次元立体形状モデルと、表面属性取得部１により得られた表面属性データとを統合し、対象物体の三次元統合データを作成する。

そして、ユーザが操作部９を操作することにより所望の照明条件・対象物体の位置や向きなどの観察環境の設定が行われ、任意環境画像生成部７は、操作部９により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築する。この再構築された画像は、ＴＶモニタやプリンタなどから構成される画像表示部１１により、表示や印刷出力が行われる。

図２は本実施例の三次元形状データ及び表面属性データの取得する際の三次元画像表示システムの全体概略図である。対象物体５１は、コンピュータ制御可能な対象物回転装置（対象物回転部８）５５の上に配置され、コンピュータ５９から指令された角度で連続的に回転軸５６を中心として回転する。測定環境における回転軸５６の位置は既知とする。

可動光源（可動光源部４）５４は、パターンフィルタ（パターンフィルタ部１０）５７の背後に配置され、対象物体の三次元形状データ取得と表面属性データ取得に用いる画像列を入力する際の照明として使用され、コンピュータ５９からの指令により対象物体５１の回転軸５６に平行に移動し、それぞれの位置においてパターンフィルタ５７を通して対象物体を照明する。

パターンフィルタ５７は、可動光源５４の各位置において、コンピュータ５９からの指令により、ポジ／ネガ一対の特殊なパターンフィルタを切替え、対象物体を照明する。

画像入力装置（画像入力部６）５３は、対象物体５１から離れた位置に配置され、コンピュータ５９からの指令により、画像データ入力を行うことができる。

コンピュータ５９は、対象物回転装置５５、可動光源５４、パターンフィルタ５７に対して制御信号を出力して測定環境を確定した後に、画像入力装置５３に対し指令信号を出力して画像入力を行う。さらに、この画像から三次元形状データおよび表面属性データの取得を行い、三次元統合データを作成する。

次に制御部２の構成を図４を用いて説明する。制御部２は上述のように可動光源部４、パターンフィルタ部１０、画像入力部６、対象物回転部８の制御を行う。そして、その際の入力環境パラメータを表面属性取得部１、三次元形状取得部３へと送信する。図４において、対象物回転部制御部７７は、対象物回転部８の回転角度を連続的に制御する。可動光源部制御部７８は、可動光源部４に対して、測定環境における位置の制御を行う。パターンフィルタ部制御部７４は、パターンフィルタ部１０に対して、ポジ／ネガパターンの切替え制御を行う。画像入力部制御部７６は、対象物回転部８の回転、可動光源部４の移動、パターンフィルタ部１０のポジ／ネガパターン切替えを行うたびに、随時画像データの入力を行う。

次に表面属性取得部１の構成を図３を用いて説明する。表面属性取得部１は、画像データ、入力環境パラメータおよび三次元形状データを用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。図３において、４１は入力された画像データのうち、パターンの暗部が投影されている領域のデータや入力環境パラメータの情報に基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により情報が欠如したり誤差を大きく含むデータを除去し、画像データの取捨選択処理を行う画像データ取捨選択部である。

４３は選別された画像データの中から拡散反射成分のみのデータを抽出する拡散反射領域抽出部、４５は鏡面反射成分を含んだデータから、鏡面反射成分を分離する鏡面反射成分分離部である。表面属性パラメータの推定処理のついては後述する。

次に可動光源部４およびパターンフィルタ部１０によって照射されるポジ／ネガ一対の特殊なパターンについて図７を用いて説明する。図７において、可動光源（可動光源部４）３２は前面に１ラインポジパターンフィルタ３１と１ラインネガパターンフィルタ３３が配置され、いずれかのパターンフィルタ（パターンフィルタ部１０）を通して対象物体を照明する。

１ラインポジパターンフィルタ３１は、対象物体の表面から見て二次元の広がりを持つ輝度分布を有する明暗パターンである。また、測定環境において明部の輝度分布は既知であり、例えばガウス関数で近似される輝度分布を二次元方向に有する。１ラインネガパターンフィルタ３３は、１ラインポジパターンフィルタ３１の明暗を反転した輝度分布を有するパターンである。

さらに、１ラインポジパターンフィルタ３１を照射して得られる入力画像と、１ラインネガパターンフィルタ３３を照射して得られる入力画像とを比較することで、入力画像における１ラインパターンフィルタエッジ３４が明確に検出できるようになっている。このように可動光源部４の前面の同一位置にポジ／ネガのパターン有する一対のフィルタが設けられたパターンフィルタ部１０を配置し、該一対のパターンフィルタを切換えて対象物体に対してパターンを照射し、その都度、画像入力部６により対象物体の画像データが取り込まれることになる。

次に本実施例の三次元画像処理システムにおいて、実測（データ取得）から三次元統合データ作成までの処理について、図２および図６のフローチャートを参照しながら説明する。

まず、パターンフィルタ５７を１ラインポジパターンフィルタに設定し、画像入力装置５３により画像データを入力する（Ｓ１）。続いて、パターンフィルタ５７を１ラインネガパターンフィルタに切替え、画像入力装置５３により画像データを入力する（Ｓ３）。可動光源５４を１ステップ分移動させ（Ｓ２）、ステップ１及びステップ３の処理を繰り返し行い、画像データ入力を行う。

可動光源５４を全ての投射位置に移動させて全位置の画像データ入力が終了すると（Ｓ４）、対象物回転装置５５の設定回転角において、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全域を走査していることになる。

そして、対象物回転装置５５を１ステップ分回転させ（Ｓ５）、ステップ１からステップ４を繰り返し行って画像データ入力を行う。対象物回転装置５５を１回転させて対象物体の全周の画像データ入力が終了すると（Ｓ６）、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全周全域を走査していることになる。

次に、三次元形状取得処理を行う。対象物回転装置５５の各回転角、可動光源５４の各位置におけるポジ画像とネガ画像を比較処理することにより、入力画像における投影パターンのエッジを抽出する（Ｓ７）。この処理を対象物回転装置５５の全ての回転角、可動光源５４の全ての位置におけるポジ／ネガ画像組に対して行う（Ｓ８）。その後、入力環境パラメータと得られた入力画像上のエッジ（境界部）から対象物体の三次元形状データを作成する（Ｓ１０）。

入力環境パラメータには、実測を行った対象物回転装置５５の回転角、画像入力装置５３の位置、可動光源５４の位置、パターンフィルタ５７の位置およびポジ／ネガ各パターンの輝度分布が記述されている。

次に、表面属性推定処理を行う。ここでは、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという２色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した画像データのうち、パターンの明部が投影されている領域のデータにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。

まず、入力した画像（実測）データのうち、パターンの暗部が投影されている領域のデータや、入力環境パラメータの情報および前ステップで作成された三次元形状データに基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、画像データの取捨選択を行う（Ｓ１１）。

続いて、選別された画像データのみを用いて、拡散反射成分のみのデータを抽出する（Ｓ１２）。抽出されたデータから、表面属性パラメータのうち物体色に関するパラメータの推定を行い（Ｓ１４）、鏡面反射成分を含んだデータから鏡面反射成分を分離し（Ｓ１５）、表面属性パラメータのうち反射特性に関するパラメータの推定を行う（Ｓ１６）。以上の処理を各頂点ごとに行うことで各頂点における表面属性パラメータを推定し、対象物体表面全体の推定を行う。

対象物体表面全体の推定が終了した時点で（Ｓ１７）、三次元統合データが作成される（Ｓ１９）。ここでは、対象物体表面の構成単位を頂点として説明したが、頂点の代わりに微小面を用いることも可能である。

図９は、三次元データ統合部５によって作成される三次元統合データの一例を示す図である。１頂点の三次元座標および物体色情報や反射特性情報などの表面属性パラメータを格納する構造を要素とし、この要素を頂点の数分だけ用意した構造となっている。三次元統合情報として新たな頂点が生成、追加されるたびに、三次元統合データの要素数は拡大される。

ここで、構成要素として頂点の代わりに微小面を用いることもできる。この場合、微小面の三次元位置情報および表面属性情報を格納する構造を要素とし、この要素を微小面の数分だけ用意した構造となっている。要素となる微小面は、近傍の頂点あるいは微小面のうち、表面属性情報が類似しているものを統合していくことで生成される。

微小面の三次元位置情報は、例えば三角形の３頂点の座標および法線ベクトルで表現される。微小面の表面属性情報は、物体色情報および反射特性情報から構成されており、パラメータ形式、あるいは微小面に対応する画像形式で表現される。三次元統合情報として新たな微小面が生成、追加されるたびに、三次元統合データの要素数は拡大される。

以上のような三次元統合データは、三次元形状取得および表面属性取得実行中は、三次元画像表示システムの不図示のメモリ上に格納され、三次元形状データおよび表面属性データの取得が終了すると、ハードディスクなどの記憶媒体に保存される。

次に操作部９の構成を図５を用いて説明する。操作部９は、ユーザの入力操作により、所望の照明条件・対象物体の位置や向きなどの観察環境データを作成する。図５において、８１は再現時に対象物体に照射する照明光の色、輝度、位置、形状（点光源、線光源、面光源、平行光など）、個数を設定する照明光源設定部、８３は対象物体に対して上下、左右、手前奥の三次元的な移動、および任意の軸を中心とした回転を設定する対象物体配置設定部である。これらの設定値をもとに再現時に用いる観察環境データを作成する。

次に本実施例の三次元画像処理システムにおいて、ユーザが所望する観察環境下での対象物体の三次元画像を再構築（再現）するための、操作および任意環境画像生成・表示について、図８を参照しながら説明する。

ユーザは、照明光源設定部９７により、対象物体に照射する照明光の色、輝度、位置、形状（点光源、線光源、面光源、平行光など）を設定する。ここで、複数の照明光源を設定することができるようになっている。これにより、観察空間において任意の色、輝度、形状をもつ、一つまたは複数の照明光源を９３に示すように任意の位置に配置することができる。

さらに、ユーザは、対象物体配置設定部９５により、対象物体に対して上下、左右、手前奥の三次元的な移動、および任意の軸を中心とした回転を設定する。これにより、観察空間において、対象物体を９１に示すように任意の方向に移動、回転させることができ、対象物体を所望する方向から観察することができる。

任意環境画像生成部７は、照明光源設定部９７および対象物体配置設定部９５により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築し、表示する。ユーザが設定する対象物体・照明光源・視点の位置関係や照明光源の色・輝度・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることができるので、対象物体の質感、光沢感、立体感などをより正確に表現することが可能となる。

このように本実施例では、対象物体の三次元形状データとともに表面属性データを取得し、三次元統合データとして統合して、ユーザが設定した観察環境下での対象物体の三次元画像を再構築、表現する。このため、ユーザに対象物体の質感、光沢感、立体感などをより正確（リアル）に伝えることが可能となる。

また、三次元形状データ及び表面属性データの取得に用いる照明光源、すなわち可動光源部４を共通化しているので、構成が簡略化される。

さらに、三次元形状データ及び表面属性データの取得に用いる入力画像列を共通化している。具体的には、画像データにおける明領域と暗領域との境界部であるエッジに基づいて三次元形状データを生成し、さらに、該画像データのうち、パターンの明部が投影されている領域のデータ明領域を示す画像データに基づいて表面属性データを生成する。つまり、対象物体の入力画像列から三次元形状データ及び表面属性データの両データを生成する。

このため、画像入力（取得）処理、画像入力操作等を簡素化することができ、画像入力処理等の費やされる時間が短縮することから、データ取得の高速化を図ることができ、最適な三次元画像処理を行うことができる。

また、ポジ／ネガ一対のパターンを用いることにより、投影パターンのエッジをより正確に抽出することが可能となり、対象物体の三次元形状データの精度が向上し、よりリアリティの高い物体描画が可能となる。

また、対象物体表面の全領域において投影パターンを走査させることにより、注目画素に対してより多くの照明環境下でのデータを取得することが可能となり、表面属性データ取得の精度が向上し、よりリアリティの高い物体描画が可能となる。

本実施例では、上記実施例１における可動光源部４およびパターンフィルタ部１０により照射されるポジ／ネガ一対のパターンを以下のように構成する。なお、その他の三次元画像処理システム構成は上記実施例１と同様であるため、説明を省略する。

可動光源部４およびパターンフィルタ部１０によって照射されるポジ／ネガ一対の特殊なパターンについて図１０を用いて説明する。

図１０において、３２は可動光源であり、前面に２ラインポジパターンフィルタ３５と２ラインネガパターンフィルタ３７が配置され、いずれかのパターンフィルタを通して対象物体を照明する。２ラインポジパターンフィルタ３５は、対象物体の表面から見て二次元の広がりを持つ輝度分布を有する明暗パターンである。また、測定環境において明部の輝度分布は既知であり、例えばガウス関数で近似される二次元方向の輝度分布を有する。

２ラインネガパターンフィルタ３７は、２ラインポジパターンフィルタ３５の明暗領域を反転した輝度分布を有するパターンである。さらに、２ラインポジパターンフィルタ３５を照射して得られる入力画像と、２ラインネガパターンフィルタ３７を照射して得られる入力画像とを比較することで、入力画像における２ラインパターンフィルタ３５の第１エッジ３８および第２エッジ３９が明確に検出できるようになっている。可動光源部４の前面の同一位置に２ラインポジパターンフィルタ３５と２ラインネガパターンフィルタ３７を切替えて配置し、対象物体に対してパターンを照射し、その都度、画像入力部６により対象物体の画像データが取り込まれる。

次に本実施例の三次元画像処理システムにおいて、実測から三次元統合データ作成までの処理について、上記実施例１で示した図２及び図６を参照しながら説明する。

まず、本実施例ではパターンフィルタ５７を図１０に示す２ラインポジパターンフィルタ３５に設定し、画像入力装置５３により画像データを入力する（Ｓ１）。続いて、パターンフィルタ５７を２ラインネガパターンフィルタ３７に切替え、画像入力装置５３により画像データを入力する（Ｓ３）。そして、可動光源５４を１ステップ分移動させ（Ｓ２）、ステップ１とステップ３の処理を繰り返し行い、可動光源５４を全ての投射位置に移動させて全位置の画像データ入力が終了すると（Ｓ４）、対象物回転装置５５の設定回転角において、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全域を走査していることになる。

その後ステップ５に移行し、対象物回転装置５５を１ステップ分回転させ、ステップ１からステップ４の各処理を繰り返し行い、対象物回転装置５５を１回転させて対象物体の全周の画像データ入力が終了すると（Ｓ６）、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全周全域を走査していることになる。

次に、三次元形状データの取得処理を行う。対象物回転装置５５の各回転角、可動光源５４の各位置におけるポジ画像とネガ画像を比較処理することにより、入力画像における投影パターンの第１エッジおよび第２エッジを抽出する（Ｓ７）。なお、この投影パターンの第１エッジと第２エッジは、入力画像の走査線上で明領域から暗領域に変化するエッジなのか、それとも暗領域から明領域に変化するエッジなのかによって区別することができる。

そして、この処理を対象物回転装置５５の全ての回転角、可動光源５４の全ての位置におけるポジ／ネガ画像組に対して行い（Ｓ８）、入力環境パラメータ及び得られた入力画像上の第１エッジおよび第２エッジから対象物体の三次元形状データを作成する（Ｓ１０）。この入力環境パラメータは、実測を行った対象物回転装置５５の回転角、画像入力装置５３の位置、可動光源５４の位置、パターンフィルタ５７の位置およびポジ／ネガ各パターンの輝度分布である。本実施例では、注目画素と可動光源５４およびパターンフィルタ５７による投影パターンエッジとの位置関係が２通り存在するので、投影パターンが影になり対象物体表面の注目画素まで届かない問題を軽減している。

続いて、表面属性推定処理が行われる。ここでも上記実施例１と同様に、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという２色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した画像データのうちパターンの明部が投影されている領域のデータにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。

まず、入力した画像データのうち、パターンの暗部が投影されている領域のデータや、入力環境パラメータの情報および前ステップで作成された三次元形状データに基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、画像データの取捨選択を行う（Ｓ１１）。そして、選別された画像データのみを用いて、拡散反射成分のみのデータを抽出し（Ｓ１２）、抽出されたデータから、表面属性パラメータのうち物体色に関するパラメータの推定を行う（Ｓ１４）。

また、鏡面反射成分を含んだデータから、鏡面反射成分を分離し（Ｓ１５）、表面属性パラメータのうち反射特性に関するパラメータの推定を行う（Ｓ１６）。以上の処理を各頂点ごとに行うことで各頂点における表面属性パラメータを推定し、対象物体表面全体の推定を行う。

対象物体表面全体の推定が終了した時点で（Ｓ１７）、三次元統合データが作成される（Ｓ１９）。ここでは、対象物体表面の構成単位を頂点として説明したが、頂点の代わりに微小面を用いることも可能である。

このように本実施例では、対象物体の三次元形状データを作成する際に２本のエッジを有するポジ／ネガ一対のパターンを用いることにより、投影パターンが影になり対象物体表面の注目画素まで届かない問題を軽減することが可能となり、対象物体の三次元形状取得の精度をより向上させることができ、よりリアリティの高い物体描画が可能となる。

図１１は、本発明の実施例３に係る三次元画像処理システム（三次元データ処理装置）の構成ブロック図である。

本実施例の三次元画像処理システムは、取得した対象物体の三次元画像を再現する際に、観察に用いる照明環境を任意に設定でき、かつ対象物体の位置および向きを観察空間内で自由に変更することが可能で、所望の観察環境下での対象物体の画像を表示および印刷出力ができるように構成される。

三次元画像処理システムにおいて、４は対象物体を照明する可動光源部、１４は可動パターンフィルタ部、６はパターンを投影された対象物体の画像を入力する画像入力部、８は対象物体を回転させる対象物回転部、１２は可動光源部４、画像入力部６、対象物回転部８、可動パターンフィルタ部１４を制御するための制御部である。

また、３は画像入力部６により得られた画像列と制御部１２により設定された入力環境パラメータを用いて対象物体の三次元形状データを取得する三次元形状取得部、１は画像入力部６により得られた画像列と制御部１２により設定された入力環境パラメータと三次元形状取得部３により作成された三次元形状データを用いて対象物体の色・光沢・質感などの表面属性データを取得する表面属性取得部である。

５は三次元データを統合する三次元データ統合部、９は画像再現時の観察環境を設定する操作部、７は三次元統合データおよび再現時の観察環境データに基づき対象物体の画像を再構築する任意環境画像生成部、１１は表示および印刷出力する画像出力部である。

可動光源部４は、可動パターンフィルタ部１４の背後に配置され、対象物体の三次元形状データ取得と表面属性データ取得に用いる画像列を入力する際の照明として使用され、対象物体の回転軸に平行に移動可能である。

可動パターンフィルタ部１４は、対象物体の回転軸に平行に移動可能であり、可動光源部４の動きに連動して、可動光源部４の動きと反対方向に移動するようになっている。また、可動パターンフィルタ部１４は、ポジ／ネガ一対の特殊なパターンを切替えられるように構成され、背後から可動光源部４によって照らされることにより、対象物体に対して二次元の広がりを持つ輝度分布を有するパターンを照射できるようになっている。

画像入力部６は、光像を画像データに光電変換して入力する、デジタルカメラ、ビデオカメラ、マルチスペクトルカメラなどの画像入力装置から構成され、可動光源部４および可動パターンフィルタ部１４により照明された対象物体の一対の画像を入力する。

対象物回転部８は、対象物体を回転軸まわりに単位ステップ刻みで回転させ、各回転角において、可動光源部４および可動パターンフィルタ部１４は互いに逆向きの移動を繰り返す。対象物回転部８の各回転角、可動光源部４および可動パターンフィルタ部１４の各位置において、可動光源部４および可動パターンフィルタ部１４、画像入力部６は、随時、パターン照射、画像入力を行う。

三次元形状取得部３は、画像入力部６によって入力された「対象物回転部８の回転刻み数」×「可動光源部４および可動パターンフィルタ部１４の移動数」分の画像対列と、制御部１２から得られる画像入力時の環境パラメータ（可動光源部４、可動パターンフィルタ部１４、画像入力部６、対象物回転部８の位置、パターン、回転角など）を用いて、対象物体の三次元立体形状モデルを生成する。ここで、三次元立体形状モデルとしては、たとえばポリゴンによる表面モデル、あるいは異なる形状の表面形状要素の集合として表現することができる。

表面属性取得部１は、画像入力部６によって入力された「対象物回転部８の回転刻み数」×「可動光源部４および可動パターンフィルタ部１４の移動数」分の画像対列のうちパターンの明部が投影されている領域と、制御部１２から得られる画像入力時の環境パラメータ（可動光源部４、可動パターンフィルタ部１４、画像入力部６、対象物回転部８の位置、パターン、回転角など）と、三次元形状取得部３により生成された三次元立体形状モデルを用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。

この表面属性データにより、再現時の対象物体・照明光源・視点の位置関係や照明光源の色・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることが可能となり、対象物体の質感、光沢感、立体感などをより正確に表現することができる。

三次元データ統合部５は、三次元形状取得部３により得られた三次元立体形状モデルと、表面属性取得部１により得られた表面属性データとを統合し、対象物体の三次元統合データを作成する。
ユーザは、操作部9により所望の照明条件・対象物体の位置や向きなどの観察環境の設定を行う。

そして、ユーザが操作部９を操作することにより所望の照明条件・対象物体の位置や向きなどの観察環境の設定が行われ、任意環境画像生成部７は、操作部９により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築する。この再構築された画像は、ＴＶモニタやプリンタなどから構成される画像表示部１１により、表示や印刷出力が行われる。

図１２は、本実施例の三次元形状データ及び表面属性データの取得する際の三次元画像表示システムの全体概略図である。対象物体５１は、コンピュータ制御可能な対象物回転装置５５の上に配置され、コンピュータ５９から指令された角度で連続的に回転軸５６を中心として回転する。測定環境における回転軸５６の位置は既知とする。

可動光源５４は、可動パターンフィルタ５８の背後に配置され、対象物体の三次元形状データ取得と表面属性データ取得とに用いる画像列を入力する際の照明として使用される。可動光源５４および可動パターンフィルタ５８は、コンピュータ５９からの指令により対象物体の回転軸５６に平行にかつ互いに逆向きに移動（相対移動）し、それぞれの位置において、可動光源５４は可動パターンフィルタ５８を通して対象物体を照明する。

可動パターンフィルタ５８は、各位置において、コンピュータ５９からの指令により、ポジ／ネガ一対の特殊なパターンフィルタを切替え対象物体を照明し、画像入力装置５３は、対象物体５１から離れた位置に配置され、コンピュータ５９からの指令信号により、画像データ入力を行う。コンピュータ５９は、対象物回転装置５５、可動光源５４、可動パターンフィルタ５８に対して制御信号を送信して測定環境を確定した後に、画像入力装置５３に対し指令を送り画像入力を行う。さらに、この画像データから三次元形状データおよび表面属性データの取得を行い、三次元統合データを作成する。

次に制御部１２の構成を図１３を用いて説明する。制御部１２は、可動光源部４、可動パターンフィルタ部１４、画像入力部６、対象物回転部８の制御を行う。そして、その際の入力環境パラメータを表面属性取得部１、三次元形状取得部３に出力する。

図１３において、７７は対象物回転部制御部で、対象物回転部８の回転角度を連続的に制御する。７８は可動光源部制御部であり、可動光源部4に対して、測定環境における位置の制御を行う。７５は可動パターンフィルタ部14に対して、測定環境における位置制御およびポジ／ネガパターンの切替え制御を行う可動パターンフィルタ部制御部、７６は対象物回転部８の回転、可動光源部４の移動、可動パターンフィルタ部１４の移動およびポジ／ネガパターン切替えを行うたびに、随時画像データの入力を行う画像入力部制御部である。

次に本実施例の三次元画像処理システムにおいて、実測から三次元統合データ作成までの処理について、図１２と図１４のフローチャートを参照しながら説明する。

まず、可動パターンフィルタ５８を２ラインポジパターンフィルタに設定し（図１０参照）、画像入力装置５３により画像データを入力する（Ｓ２１）。つづいて、可動パターンフィルタ５８を２ラインネガパターンフィルタに切替え、画像入力装置５３により画像データを入力する（Ｓ２３）。そして、可動光源５４および可動パターンフィルタ５８を１ステップ分だけ互いに逆向きに相対移動させ（Ｓ２２）、ステップ２１及びステップ２３の処理を繰り返し行い、可動光源５４および可動パターンフィルタ５８を全ての投射位置に移動させて全位置の画像データ入力が終了すると（Ｓ２４）、対象物回転装置５５の設定回転角において、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全域を走査していることになる。

続いて、対象物回転装置５５を１ステップ回転させ（Ｓ２５）、ステップ２１からステップ２４の処理を繰り返し行い、対象物回転装置５５を１回転させて対象物体の全周の画像データ入力が終了すると（Ｓ２６）、投影パターンの明部および後述する投影パターンのエッジが対象物体表面の全周全域を走査していることになる。

次に、三次元形状データの取得処理を行う。まず、対象物回転装置５５の各回転角、可動光源５４の各位置におけるポジ画像とネガ画像を比較処理し、入力画像における投影パターンの第１エッジおよび第２エッジを抽出する（Ｓ２７）。ここで、投影パターンの第１エッジと第２エッジは、入力画像の走査線上で明から暗に変化するエッジなのか、それとも暗から明に変化するエッジなのかによって区別することができる。この処理を対象物回転装置５５の全ての回転角、可動光源５４の全ての位置におけるポジ／ネガ画像組に対して行う（Ｓ２８）。

その後、入力環境パラメータと得られた入力画像上の第１エッジおよび第２エッジから対象物体の三次元形状データを作成する（Ｓ３０）。この入力環境パラメータは、実測を行った対象物回転装置５５の回転角、画像入力装置５３の位置、可動光源５４の位置、可動パターンフィルタ５８の位置およびポジ／ネガ各パターンの輝度分布である。なお、本実施例の可動パターンフィルタ58は、上記実施例２の図１０において示した２ラインポジ／ネガパターンフィルタを用いているが、上記実施例１で示した１ラインポジ／ネガパターンフィルタを用いてもよい。

次に、表面属性推定処理を行う。ここでは、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという２色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した画像データのうちパターンの明部が投影されている領域のデータにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。

まず、入力した画像データのうち、パターンの暗部が投影されている領域のデータや、入力環境パラメータの情報および前ステップで作成された三次元形状データに基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、画像データの取捨選択を行う（Ｓ３１）。そして、選別された画像データのみを用いて、拡散反射成分のみのデータを抽出し、（Ｓ３２）、抽出された画像データから、表面属性パラメータのうち物体色に関するパラメータの推定を行う（Ｓ３４）。

また、鏡面反射成分を含んだデータから鏡面反射成分を分離し（Ｓ３５）、表面属性パラメータのうち反射特性に関するパラメータの推定を行う（Ｓ３６）。以上の処理を各頂点ごとに行うことで各頂点における表面属性パラメータを推定し、対象物体表面全体の推定を行う。対象物体表面全体の推定が終了した時点で（Ｓ３７）、三次元統合データが作成される（S３９）。本実施例では対象物体表面の構成単位を頂点として説明したが、頂点の代わりに微小面を用いることも可能である。

このように実施例では、可動光源４および可動パターンフィルタ１４を互いに逆向きに移動（相対移動）させて画像入力を行うことにより、可動光源４および可動パターンフィルタ１４の移動量を小さくすることができ、対象物体の大きさに関する制約を減少させるとともに装置の小型化が可能となる。

なお、本発明を実施し得る形態としては、さらに以下のようなものが挙げられる。

（１）実在物体の三次元情報を入力する三次元画像処理方法にであって、対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する第１のステップと、対象物体に投影される明暗パターンを随時移動させる第２のステップと、対象物体から形状および表面属性を取得するために共通に用いられる実測（画像）データを入力する第３のステップと、この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する第４のステップとを有することを特徴とする三次元画像処理方法。

（２）実在物体の三次元情報を入力する三次元画像処理方法にであって、対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影する第１のステップと、対象物体に投影される明暗パターンを随時移動させる第２のステップと、対象物体を回転軸まわりに随時回転させる第３のステップと、対象物体から形状および表面属性を取得するために共通に用いられる実測データを入力する第４のステップと、この実測データに基づいて対象物体の形状および表面属性に関する三次元統合データを生成し出力する第５のステップとを有することを特徴とする三次元画像処理方法。

（３）前記第１のステップにおいて、光源の前面にパターンフィルタを配置することにより、対象物体の表面から見て二次元の広がりを持つ輝度分布を有しかつ三次元形状取得と表面属性取得に共通して用いられる明暗パターンを対象物体に投影することを特徴とする（１）又は（２）に記載の三次元画像処理方法。

（４）前記第２のステップにおいて、前記光源を対象物体の回転軸に平行に移動させることにより対象物体に投影される明暗パターンを随時移動させることを特徴とする（３）に記載の三次元画像処理方法。

（５）前記第２のステップにおいて、前記光源および前記パターンフィルタを対象物体の回転軸に平行にかつ互いに反対方向に移動させることにより対象物体に投影される明暗パターンを随時移動させることを特徴とする（３）に記載の三次元画像処理方法。

（６）前記パターンフィルタは、明暗パターンの移動方向に平行でない明暗のエッジを１本のみ有する第１のパターンフィルタと、第１のパターンフィルタの明暗を反転した第２のパターンフィルタの二つのパターンフィルタであることを特徴とする（３）から（５）のいずれか１つに記載の三次元画像処理方法。

（７）前記パターンフィルタは、明暗パターンの移動方向に平行でない明暗のエッジを２本有する第１のパターンフィルタと、第１のパターンフィルタの明暗を反転した第２のパターンフィルタの二つのパターンフィルタであることを特徴とする（３）から（５）のいずれか１つに記載の三次元画像処理方法。

（８）前記明暗パターンは、明部の輝度分布がガウス関数で近似されていることを特徴とする（１）から（７）のいずれか１つに記載の三次元画像処理方法。

本発明の実施例１の三次元画像処理システム及び三次元データ処理装置の構成ブロック図。 本発明の実施例１の三次元画像処理システムの三次元形状データ及び表面属性データを取得する際の全体概略図。 本発明の実施例１の三次元画像処理システムの表面属性取得部の構成を示す図。 本発明の実施例１の三次元画像処理システムの制御部の構成を示す図。 本発明の実施例１の三次元画像処理システムの操作部の構成を示す図。 本発明の実施例１の三次元画像処理システムのフローチャート図。 本発明の実施例１の三次元画像処理システムの可動光源およびパターンフィルタを示す図。 本発明の実施例１の三次元画像処理システムの任意環境画像提示例を示す図。 本発明の実施例１の三次元画像処理システムの三次元統合データの一例を示す図。 本発明の実施例２の可動光源およびパターンフィルタを示す図。 本発明の実施例３の三次元画像処理システム及び三次元データ処理装置の構成ブロック図。 本発明の実施例３の三次元画像処理システムの三次元形状データ及び表面属性データを取得する際の全体概略図。 本発明の実施例３の三次元画像処理システムの制御部の構成を示す図。 本発明の実施例３の三次元画像処理システムのフローチャート図。

符号の説明

１ 表面属性取得部
２ 制御部
３ 三次元形状取得部
４ 可動光源部
５ 三次元データ統合部
６ 画像入力部
７ 任意環境画像生成部
８ 対象物回転部
９ 操作部
１０ パターンフィルタ部

Claims (17)

1. 物体に対して、それぞれ明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像を順次投影する投影手段と、
   前記各パターン像が投影された前記物体を順次撮影して複数の画像を取得する画像取得手段と、
   前記複数の画像を用いて前記物体の三次元形状および表面属性に関するデータを生成するデータ生成手段とを有することを特徴とする三次元画像処理システム。
2. 前記データ生成手段は、前記複数の画像を用いて前記三次元形状に関する第１のデータを生成し、さらに該第１のデータを用いて前記表面属性に関する第２のデータを生成することを特徴とする請求項１に記載の三次元画像処理システム。
3. 前記データ生成手段は、前記複数の画像から前記明領域と前記暗領域との境界部を抽出し、該境界部を示す画像データに基づいて前記第１のデータを生成し、さらに前記各画像における前記明領域を示す画像データに基づいて前記第２のデータを生成することを特徴とする請求項２に記載の三次元画像処理システム。
4. 前記複数の画像を取得するごとに、前記物体上における前記パターン像の投影領域を移動させる移動手段を有することを特徴とする請求項１から３のいずれか１つ記載の三次元画像処理システム。
5. 前記投影手段は、光源と該光源からの光に前記パターン像を形成させるフィルタ部材とを相対移動させることにより前記複数のパターン像を順次形成することを特徴とする請求項１から４のいずれか１つに記載の三次元画像処理システム。
6. 前記複数のパターン像は、前記明領域と前記暗領域の境界が略同一位置にあることを特徴とする請求項１から５のいずれか１つに記載の三次元画像処理システム。
7. 前記各パターン像は、前記明領域と前記暗領域の境界を複数有することを特徴とする請求項１から６のいずれか１つに記載の三次元画像処理システム。
8. 前記明領域は、二次元方向に実質的にガウス関数で表される輝度分布を有する領域であることを特徴とする請求項１から７のいずれか１つに記載の三次元画像処理システム。
9. 前記三次元形状および表面属性に関するデータと入力された環境情報とに基づいて、前記物体の三次元画像を生成し、出力する画像出力手段を有することを特徴とする請求項１から８のいずれか１つに記載の三次元画像処理システム。
10. 互いに明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像が順次投影された物体を該パターン像の投影ごとに撮影して得られた複数の画像を入力する入力部と、
    前記複数の画像を用いて前記物体の三次元形状および表面属性に関するデータを生成するデータ生成部とを有することを特徴とする三次元データ生成装置。
11. 前記データ生成部は、前記複数の画像を用いて前記三次元形状に関する第１のデータを生成し、さらに該第１のデータを用いて前記表面属性に関する第２のデータを生成することを特徴とする請求項１０に記載の三次元データ生成装置。
12. 前記データ生成部は、前記複数の画像から前記明領域と前記暗領域との境界部を抽出し、該境界部を示す画像データに基づいて前記第１のデータを生成し、さらに前記各画像における前記明領域を示す画像データに基づいて前記第２のデータを生成することを特徴とする請求項１１に記載の三次元データ生成装置。
13. 前記複数のパターン像は、前記明領域と前記暗領域の境界が略同一位置にあることを特徴とする請求項１０から１２のいずれか１つに記載の三次元データ処理装置
14. 前記各パターン像は、前記明領域と前記暗領域の境界を複数有することを特徴とする請求項１０から１２のいずれか１つに記載の三次元データ処理装置。
15. 前記明領域は、二次元方向に実質的にガウス関数で表される輝度分布を有する領域であることを特徴とする請求項１０から１２のいずれか１つに記載の三次元データ処理装置。
16. 物体に対して、それぞれ明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像を順次投影する投影ステップと、
    前記各パターン像が投影された前記物体を順次撮影して複数の画像を取得する画像取得ステップと、
    前記複数の画像を用いて前記物体の三次元形状および表面属性に関するデータを生成するデータ生成ステップとを有することを特徴とする三次元画像処理方法。
17. 物体に対して、それぞれ明領域と該明領域よりも輝度が低い暗領域の配置が異なる複数のパターン像を順次投影する投影ステップと、
    前記各パターン像が投影された前記物体を順次撮影して複数の画像を取得する画像取得ステップと、
    前記複数の画像を用いて前記物体の三次元形状および表面属性に関するデータを生成するデータ生成ステップとを有することを特徴とするコンピュータ上で実行される三次元画像処理プログラム。

Images