JP5337243B2 - 表面特徴の適応型３次元走査システム - Google Patents

Description

関連出願との相互参照
本出願は、２００８年８月６日出願の米国仮特許出願第６１／０８６５５４号を優先権主張するものであり、本明細書に同明細書を引用している。

以下の記述は一般に、物体の表面形状の３次元走査の分野に関する。

物体の表面の幾何学的モデルを構築すべく距離センサが開発されてきた。これらのセンサは、当該センサと表面における点の集合との距離を測定する。近距離測定の場合、通常は三角形分割に基づくレーザー距離センサが用いられる。次いで、複数の視点から集められた測定値から、物体の一部または全体の表面形状をモデル化することができる。このため、距離測定を共通の大域座標系に統合する前にセンサと物体の間の相対位置を決定しなければならない。外部の測位装置を用いるかまたは検知器内の自動参照機能を統合することができる。Ｐ．Ｈｅｂｅｒｔらによる国際公開第２００６／０９４４０９Ａ１号に、レーザーパターンプロジェクタと、レーザーパターンおよび再帰性反射目標特徴の画像を同時に取得する２つのカメラを一体化した自動参照機能付き携帯用距離センサが開示されている。これらの再帰性反射特徴は自動参照に用いられ、自身のスペクトル帯域がレーザーパターンプロジェクタのスペクトル帯域に合致するＬＥＤを用いて照射される。これらの特徴の観測に基づいて、当該システムはレーザー三角形分割を写真測量の原理と組み合わせて自動参照を行う。

当該システムは携帯操作向けにコンパクトであり、距離センサの現在位置のマッチングおよび計算を行うために対象特徴の表面形状を再現しながら３次元点のモデルを逐次且つ同時に構築する。

このようなシステムを用いても、物体の表面のカラーテクスチャを取得することはできない。最初に物体の表面の３次元モデルを構成し、次いでカラーカメラを用いて、テクスチャ付きモデル表現に統合して一体化する前にモデルに整列配置可能な物体の表面の画像を集めることができる。しかし、このような方法は、走査しながら完全なモデルを逐次構成できないにも拘わらず２つのシステムを必要とする。

公知のシステムの別の制約は復元されたモデルの解像度に関するものである。上記のカメラは測位に用いられるため、広い視野が必要とされる。逆に、物体の表面形状、すなわち形状をより高い解像度で復元すべく、より小さい表面部分を画像内でより多くのピクセルにマッピングする必要がある。従って、形状の測位と復元される解像度との間でトレードオフがある。

表面テクスチャおよび物体の形状という２つの特徴を、操作性の高いレーザー距離センサにより逐次取得可能にするシステムおよび方法を提供する。本システムおよび方法は更に、自動参照能力を維持しつつ微細な解像度でそのような特徴を取得可能にする。

彩色画像を自動的に整列配置させながら、物体の形状と同時に表面テクスチャを取得可能にすべく、カラーカメラを用いる従来技術に記述されているシステムのカメラを代替することが考えられる。ＬＥＤによる視認可能な彩色照明（通常は赤色照明であって、ＬＥＤのスペクトル帯域がレーザーパターンプロジェクタのスペクトル帯域に合致している）を白色光照明で代替すること、走査時における表面ハイライトを最小限に抑えること、およびテクスチャを復元しなければならない箇所の近傍におけるレーザーモノクロ光同士の干渉を含む多くの問題に直面しよう。また、走査中に表面モデルにテクスチャを統合化する逐次的な方式を開発しなければならない。これらの課題を解決する新規なシステムおよび方法を提案した後でさえ、テクスチャおよび形状特徴の解像度は、測位と測定された特徴の解像度との間の上述したトレードオフにより依然として制約される。

物体の３次元表面形状特徴および／またはテクスチャ特徴を取得するシステムおよび方法を提供する。前記物体表面上にパターンを射影し、前記物体の基本２次元画像を取得し、前記物体の２次元特徴画像を取得し、前記物体上での前記射影パターンの反射により、前記基本２次元画像から２次元表面点を抽出し、前記２次元表面点を用いてセンサ座標系内の３次元表面点の集合を計算して、２次元表面形状／テクスチャ特徴の集合を抽出する。

本発明の広範な一態様によれば、物体の表面点を表すデータを取得するシステムを提供する。本システムは、物体表面上に射影パターンを生成するパターンプロジェクタ、当該物体の少なくとも一部の基本２次元画像を表すデータを取得する少なくとも１つの基本カメラ、および当該物体の少なくとも一部の特徴画像を表すデータを取得する特徴カメラを有する検知器であって、射影パターンが基本画像上で明らかであり、センサ座標系内における基本カメラ、パターンプロジェクタ、および特徴カメラの空間関係が既知である検知器と、当該表面上での射影パターンの反射により得られた２次元表面点の少なくとも１つの集合を表すデータを基本２次元画像データから抽出する基本画像プロセッサと、２次元表面点の集合を表すデータを用いてセンサ座標系内の３次元表面点の集合を計算する３次元表面点計算器と、３次元表面点の集合を特徴画像データへ数学的に射影して特徴画像データ内における３次元表面点の位置を取得すると共に、特徴画像データにおける射影された３次元表面点から短い距離にある３次元表面点の集合の特徴データを抽出する特徴画像プロセッサとを含んでいる。

一実施形態において、特徴カメラはテクスチャカメラであり、特徴画像はテクスチャ画像であって、特徴画像プロセッサはテクスチャ画像プロセッサを含み、特徴データはテクスチャパッチ内の得られたテクスチャデータである。

一実施形態において、特徴カメラは高解像度カメラであり、特徴画像は高解像度２次元画像であって、特徴画像プロセッサは高解像度画像プロセッサを含み、特徴データは高解像度２次元表面点である。

本発明の別の広範な態様によれば、物体の表面点を表すデータを取得する方法を提供する。本方法は、少なくとも１つの基本カメラを用いて物体の少なくとも一部の基本２次元画像を表すデータを、射影パターンが基本画像上で明らかな状態で取得するステップと、特徴カメラを用いて物体の少なくとも一部の特徴画像を表すデータを取得するステップと、当該表面上での射影パターンの反射により得られた２次元表面点の少なくとも１つの集合を表すデータを基本２次元画像データから抽出するステップと、２次元表面点の集合を表すデータを用いてセンサ座標系内の３次元表面点の集合を計算するステップと、３次元表面点の集合を特徴画像データへ数学的に射影して特徴画像データ内における３次元表面点の位置を取得するステップと、特徴画像データにおける射影された３次元表面点から短い距離にある３次元表面点の集合の特徴データを抽出するステップとを含んでいる。

一実施形態において、基本２次元画像および特徴画像は、物体の表面へ射影パターンを生成するパターンプロジェクタを有する検知器と、物体の基本２次元画像を取得する少なくとも１つの基本カメラと、物体の特徴画像を取得する特徴カメラを用いて得られ、センサ座標系内の基本カメラ、パターンプロジェクタ、および特徴カメラの空間関係が既知である。

別の態様によれば、距離センサとの密結合された、焦点距離がより長いレンズを有する追加的なカラーカメラを用いて特徴画像を取得するシステムおよび方法を提供する。低解像度形状測定のために距離センサにより取得された基本画像を用いて、特徴画像内の表面テクスチャの抽出を誘導する。当該追加的なカメラはまた、モノクロ（すなわちグレイスケール）であってよく、物体上の高解像度形状を捕捉すべく用いられる。同様に、基本画像を用いて高解像度特徴の抽出を誘導する。より一般的には、２つの特徴を高解像度で取得する場合、物体の表面をモデル化しながら、形状およびカラーテクスチャの解像度の両方を独立に適合させることができる。

別の態様によれば、物体の３次元表面点を取得するシステムを提供する。本システムは、前記物体表面上に射影パターンを生成するパターンプロジェクタ、前記物体上の基本２次元画像を取得する少なくとも１つの基本カメラ、および前記物体上の高解像度２次元画像を取得する特徴カメラを有する検知器を含んでいる。射影パターンが前記基本画像上で明らかであり、前記基本カメラと前記パターンプロジェクタとの間の参照、および前記基本カメラと前記特徴カメラとの間の参照が既知である。本システムは更に、画像プロセッサと、３次元表面点計算器と、高解像度画像プロセッサとを含んでいる。画像プロセッサは、前記表面へ前記射影パターンの反射により得られた少なくとも１つの２次元表面点集合を前記基本２次元画像から抽出する。３次元表面点計算器は、前記２次元表面点の集合を用いてセンサ座標系内の３次元表面点の集合を計算する。高解像度画像プロセッサは、前記３次元表面点の集合を前記高解像度２次元画像上に射影して高解像度２次元画像から少なくとも１つの２次元高解像度表面点集合を計算する。

別の態様によれば、物体の３次元表面点およびテクスチャを取得するシステムを提供する。本システムは、前記物体表面上に射影パターンを生成するパターンプロジェクタ、前記物体上の基本２次元画像を取得する少なくとも１つの基本カメラ、および前記物体上のテクスチャ画像を取得する特徴カメラを有する検知器を含んでいる。射影パターンが前記基本画像上で明らかであり、前記基本カメラと前記パターンプロジェクタとの間の参照、および前記基本カメラと前記特徴カメラとの間の参照が既知である。本システムは更に、画像プロセッサと、３次元表面点計算器と、テクスチャ画像プロセッサとを含んでいる。画像プロセッサは、前記表面へ前記射影パターンの反射により得られた少なくとも１つの２次元表面点集合を前記基本２次元画像から抽出する。３次元表面点計算器は、前記２次元表面点の集合を用いてセンサ座標系内の計算された３次元表面点の集合を計算する。テクスチャ画像プロセッサは、前記テクスチャ画像上に前記３次元表面点の集合を射影してテクスチャ画像から少なくとも１つのテクスチャパッチ集合を計算する。

別の態様によれば、物体の３次元表面点を取得するシステムを提供する。本システムは、前記物体表面上に射影パターンを生成するパターンプロジェクタ、前記物体上の基本２次元画像を取得する少なくとも１つの基本カメラ、および前記物体上の２次元特徴画像を高解像度で取得する特徴カメラを有する検知器を含んでいる。射影パターンが前記基本画像上で明らかであり、前記基本カメラと前記パターンプロジェクタとの間の参照、および前記基本カメラと前記特徴カメラとの間の参照が既知である。本システムは更に、前記表面へ前記射影パターンの反射により得られた少なくとも１つの２次元表面点集合を前記基本２次元画像から抽出する基本画像プロセッサと、前記２次元表面点の集合を用いてセンサ座標系内の３次元表面点の集合を計算する３次元表面点計算器と、前記３次元表面点の集合を前記２次元特徴画像上に射影して２次元特徴画像から少なくとも１つの２次元高解像度表面点集合を計算する高解像度画像プロセッサと、射影された表面点の集合を用いて２次元特徴画像から少なくとも１つのテクスチャパッチ集合を計算するテクスチャ画像プロセッサと、前記大域参照フレーム内における前記検知器の位置を参照すべく前記センサ座標系と大域参照フレームの関係を表す変換パラメータを計算する３次元測位計算器と、前記変換パラメータを用いてセンサ座標系内の前記３次元表面点の集合を前記大域参照フレーム内の変換された３次元表面点の集合に変換する３次元表面点変換器と、大域参照フレーム内の変換された３次元表面点の集合から局所接平面の集合を計算する局所接平面計算器と、テクスチャパッチの集合を局所接平面の集合にマッピングおよび集積して局所テクスチャ付き接平面の集合を生成するテクスチャ積分器と、変換された３次元表面点の集合を集積して前記物体の３次元表面モデルを生成すると共に局所テクスチャ付き接平面の集合を３次元表面モデルにマッピングする表面再構成装置とを含んでいる。

別の態様によれば、物体の３次元表面点を取得する方法を提供する。前記物体の表面上に射影パターンを生成する。前記物体の基本２次元画像を取得する。射影パターンは前記画像上で明らかであり、前記基本２次元画像と前記射影パターンとの間の参照が既知である。前記物体の高解像度２次元画像を取得する。前記基本２次元画像と前記高解像度２次元画像との間の参照が既知である。前記表面上での前記射影パターンの反射により前記基本２次元画像から少なくとも１つの２次元表面点集合を抽出する。前記２次元表面点の集合を用いてセンサ座標系内の３次元表面点の集合を計算する。３次元表面点の集合を前記高解像度２次元画像に射影して少なくとも１つの２次元高解像度表面点集合を高解像度２次元画像から計算する。

別の態様によれば、物体の３次元表面点およびテクスチャを取得する方法を提供する。前記物体の表面上に射影パターンを生成する。前記物体の基本２次元画像を取得する。射影パターンは前記画像上で明らかであり、前記基本２次元画像と前記射影パターンとの間の参照が既知である。前記物体のテクスチャ２次元画像を取得する。前記基本２次元画像と前記テクスチャ２次元画像との間の参照が既知である。前記表面上での前記射影パターンの反射により少なくとも１つの２次元表面点集合を前記基本２次元画像から抽出する。前記２次元表面点の集合を用いてセンサ座標系内の３次元表面点の集合を計算する。３次元表面点の集合を前記テクスチャ２次元画像に射影して少なくとも１つの２次元テクスチャパッチをテクスチャ画像集合から計算する。

３次元表面走査用装置の構成図である。 使用時における図１の装置の構成を、取得する間に測定対象物体と共に示す。 ３次元表面走査用システムを示すブロック図である。 レーザートレースの近傍でテクスチャが抽出される物体表面の領域を示す。 特徴画像の微細解像度レーザートレースの誘導された抽出の詳細を示す。 例示的な携帯検知器をケースと共に示す。

各図面において同一特徴は同一参照番号により識別されることに注意されたい。

図１、２における適合される装置の構成を説明した後で、図３に示すブロック図によりシステム全体について述べる。

図１に、図３のシステムで用いる検知器４０の例示的な実施形態の模式的な正面図を示す。装置４０は２つの基本物体および本明細書において基本カメラ４６と呼ぶ光検知器を含んでいる。本実施形態において、基本カメラ４６は、進化した走査デジタルカメラである。当業者には容易に理解されるように、このようなカメラに加え、広範な種類の物体・光検知器が本発明の実装に適していて、今後間違いなく他のものも開発されるであろう。２つの基本カメラ４６は、距離Ｄ１（５２）だけ離れた射影中心すなわちベースラインを有していて、１対の受動型ステレオカメラを構成している。これらの基本カメラ４６の視野は、例えば６０度であってよく、且つこれらはモノクロカメラであってよい。

レーザーパターンプロジェクタ４２は通常、ステレオペアのベースラインから距離Ｄ３（５６）の位置に置かれ、各々が左側カメラおよびレーザーパターンプロジェクタの第一のケースおよび右側カメラおよびレーザーパターンプロジェクタの第２のケースに収められた２つの追加的な動作中のセンサが得られるコンパクトな三角形構造をなしている。これら２つの追加的な動作中のステレオペアについて、ベースラインＤ２（５４）を図１に示す。レーザーパターンプロジェクタ４２は、目に安全なクラスＩＩのレーザーであってよい。これは、赤い十字パターンを射影することができる。レーザーパターンプロジェクタ４２のファン角は４５度であってよい。

図１の構成において、検知器は光源５０を更に含んでいる。光源は、基本カメラ４６の周辺に分散配置された２つのＬＥＤ集合を含んでいてよい。本実施形態において、光源５０は、再帰性反射目標からより強い信号を取得すべくカメラ４６の光軸になるべく近く配置されている。通常、光源５０は基本カメラ４６を囲むリング光として提供される。例えば、色走査器において、８つの白色ＬＥＤを含むリング光を用いてよい。高解像度走査器において、４つの赤色ＬＥＤを含むリング光を用いてよい。光源５０は、物体６２（図２参照）に配置されて測位特徴として用いられる再帰性反射目標６０を照射する。再帰性反射目標６０は、物体上に約１０ｃｍ間隔で配置されていてよい。光源５０は更に、彩色テクスチャを観測できるように物体の表面を照射することができる。

本明細書で特徴カメラ５９と呼ぶ第２の物体・光検知器が、物体６２の表面の高解像度形状および／またはカラーテクスチャを取得する検知器に追加されている。一実施形態において、特徴カメラ５９は、物体６２のズームイン画像、すなわち基本カメラ４６により得られたる画像と比較してズームインされた画像を取得する高解像度光検知器を備えている。この高解像度特徴カメラ５９は、１３度の視野を有し、且つモノクロであってよい。別の実施形態において、特徴カメラ５９は、物体６２のカラーテクスチャ画像を取得するカラーカメラを備えている。このテクスチャ特徴カメラ５９は、２０度の視野を有し、且つカラーカメラであってよい。特徴カメラ５９は、２つの基本カメラのベースライン軸から距離Ｄ４（５８）の位置に置かれている。従って、全てのカメラ４６および５９とレーザーパターンプロジェクタ４２との間に３次元測定用のベースラインが存在する。

しかし、更なる実施形態において、モノクロカメラを用いて物体のカラーテクスチャ画像ではなくグレイスケールテクスチャ画像を取得する点に注意されたい。線形偏光フィルタ４８が、特徴カメラ５９の前部且つ光源５０の前部に取り付けられている。光源５０上の、および特徴カメラ５９におけるこのようなフィルタの組合せにより、鏡面ハイライトが低減または除去されて拡散反射が維持される。

基本カメラおよびレーザーパターンプロジェクタ４２の三角形構成が特に興味深いのは、Ｄ３（５６）により当該三角形が２つの４５度の角度および十字パターン４４の２つのレーザー平面間に９０度の角度を有する二等辺三角形をなす場合である。この特定の構成により十字パターンは、各平面が画像の中心だけでなく各カメラの両方の射影中心に整列する向きに配置される。これは、１つのレーザー平面（非動作平面）が、観測されたシーンとは独立に、常に画像内の同じ位置で直線として撮像されることが主な利点である中心エピポーラ線に対応する。次いで関連する３次元情報を２つの画像の各々における歪んだ第２の光面から抽出することができる。

基本検知器全体はこのように再帰性反射目標６０を同時に取得すべく、２つのレーザー表面形状測定装置４６Ａ−４２および４６Ｂ−４２、１つの受動型ステレオペア４６Ａ−４６Ｂ、および２つのモジュール４６Ａ−５０および４６Ｂ−５０を含んでいる。各レーザー表面形状測定装置４６Ａ−４２および４６Ｂ−４２は、基本カメラ４６のうち１つとレーザーパターンプロジェクタ４２の組合せにより定義される。受動型ステレオペア４６Ａ−４６Ｂは２つの基本カメラ４６Ａ−４６Ｂの組合せにより定義される。各モジュール４６Ａ−５０および４６Ｂ−５０は基本カメラ４６のうち１つとその各々の光源５０の組合せにより定義される。この構成はコンパクトなものであってよい。特徴カメラ５９は、３つのステレオペア（すなわち５９−４６Ａ、５９−４６Ｂおよび５９−４２）を加える。しかし、特徴カメラ５９は、ズームイン高解像度形状またはカラーテクスチャ画像取得のために用いられる。２つの特徴の測定はここに記述する実施形態で統合される。

この例示的な検知器４０は、ベースラインＤ１（５２）は通常、検知器４０と物体６２との間のスタンドオフ距離が３００〜４００ｍｍの場合、誤差１ミリメートル未満で約１９０ｍｍである。Ｄ３（５６）の値はＤ１の半分に設定されている。Ｄ１を拡大縮小することにより、距離Ｄ２は自動的に追随する。距離Ｄ４（５８）は通常、小型化のためＤ３以下である。Ｄ４の典型的な値は５５ｍｍである。

検知器４０は通常、物体６２に配置された測位特徴を用いて自動参照される携帯機器である点に注意されたい。しかし、検知器４０は必ずしも携帯ではなく、例えば機械式アクチュエータに取り付けられていてもよく、外部参照センサまたはその他の任意の測位機器を用いて別途参照を実行してもよい。検知器４０が携帯機器である場合、手で簡単に操作できるケース内に作られていることが好適である。携帯検知器４０の全体的な重量は従って、典型的なユーザーの力を考慮すべきであって、例えば１．５ｋｇに制約されてよい。同様に、携帯検知器４０の寸法は、走査中に検知器の操作ができるものであって、例えば２０ｃｍ×３０ｃｍ×２５ｃｍに制約されていてよい。

図２に、測定対象の物体６２を観測すべく配置された検知器４０の３次元図を示す。２つの基本カメラ４６および十字レーザーパターンプロジェクタ４２を含む上述のコンパクトな三角形アーキテクチャを見ることができる。検知器４０は、射影パターン４４および測位特徴６０の集合を含む画像を取得する。測位特徴６０は、孤立したレーザー点または円形の再帰性反射目標のトレースを含んでいてよい。本実施形態において、特徴カメラ５９は物体の表面のズームイン画像を取得する。

図６に、ユーザーが携帯するのに適したケース内の検知器４０の例を示す。ケース９０はハンドル部９１を含んでいる。基本カメラ４６Ａ、４６Ｂ、特徴カメラ５９、およびレーザーパターンプロジェクタ４２の相対位置は上で述べた通りである。ハンドル部９１は、リング光４８およびレーザーパターンプロジェクタ４２のライト５０を起動させるトリガースイッチ９３を含んでいる。携帯検知器４０は、例えばパソコンにインストールされた取得用ソフトウェアモジュールに導線９４を用いて連結されている。容易に理解されるように、当業者が無線走査器を提供してもよい。

図３を参照するに、検知器４０での利用に適した３次元表面走査システムを一般的に１０で示す。検知器４０を含むシステム全体の統合の他に、特徴画像プロセッサ１５およびその３次元表面点計算器１８とのやり取り３８が特に注目されよう。特徴画像プロセッサ１５は、センサ座標系内の計算された３次元低解像度表面点の集合により誘導されて、テクスチャ、すなわちこの場合はカラーテクスチャ、および／または形状をより微細な解像度で抽出することができる。また、各特徴画像１３において抽出されたテクスチャパッチ７４（図４参照）を大域座標系内の復元された部分形状にマッピングするテクスチャ積分器２５もまた特に注目されよう。

図３の３次元表面走査システム１０は、テクスチャ撮像および高解像度形状撮像機能の両方を実装する。図３の３次元表面走査システム１０において、テクスチャおよび形状の両方が同時に得られる。しかし、別の実施形態では、テクスチャ撮像だけが実装されて高解像度形状撮像は除外される点に注意されたい。更に別の実施形態では、高解像度形状撮像だけが実装される。後者の場合、特徴カメラ５９は通常、非彩色、すなわちグレイスケールカメラであって、テクスチャ積分器２５は除外されている。また、図３の３次元表面走査システムは通常、ユーザーによるテクスチャ撮像および高解像度形状撮像機能の起動および停止を許すオプションを有している点にも注意されたい。

検知器
システム１０は、図１、２に関して上でより詳細に述べた検知器４０等の検知器１１を含んでいる。検知器１１は、観測されたシーンの基本画像の集合１２を収集して画像プロセッサ１４に送信する。これらの画像は、異なる視点を有する２つの基本カメラ４６（図１参照）から収集することができ、これらの視点の各々は自身の射影中心を有している。基本画像１２に含まれる関連情報は、他のフレーム取得に関して検知器１１の相対位置の計算に利用できる測位特徴６０と共に、物体の表面で反射されたレーザーパターン４４の反射から生じる場合がある。所与のフレーム内の全ての画像が同時に取得されて、測位および表面測定の両方が含まれるため、測位と表面測定の同期化は暗黙的に行われる。

検知器１１はまた、追加的なカメラ、すなわち特徴カメラ５９（図１参照）を統合しており、その目的は特徴画像１３を取得することである。特徴カメラ５９の視点は既知、すなわち基本カメラ４６の視点に関して参照され、基本カメラ４６と特徴カメラ５９は全て互いに同期化されている。通常、特徴画像１３は、例えば高解像度画像またはカラー画像のいずれかである。

図３において、検知器１１を、少なくとも１つの基本カメラ４６および少なくとも１つの特徴カメラ５９、基本画像の集合１２を生成する基本カメラ４６、および特徴画像１３を生成する特徴カメラ５９を含むものとして示す。

当業者には留意され容易に理解されるように、１対のカメラから立体視を生成するのではなく、「動作から立体視」または「動作から３次元」を生成して、測位に単一のカメラを用いてもよい。

画像プロセッサ
画像プロセッサ１４は、各基本画像１２から測位特徴および表面点を抽出する。各基本画像１２に対して、２次元表面点の集合１６と共に観測された２次元測位特徴の集合２０が、それらの連結性を含めて出力される。これらの集合の各々の連結性が実際に２次元曲線セグメントを定義する。表面点および特徴は、それらの固有特徴に基づいて基本画像１２内で識別される。これらの特徴と関連付けられた画素は、背景と対照をなしていて、重心または楕円フィッティング（Ｅ．Ｔｒｕｃｃｏ ａｎｄ Ａ．Ｖｅｒｒｉ，“Ｉｎｔｒｏｄｕｃｔｏｒｙ ｔｅｃｈｎｉｑｕｉｅｓ ｆｏｒ ３−Ｄ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ”，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，１９９８参照）を用いてそれらの位置を推定する前に、簡単な画像処理技術により分離することができる。円形の目標を用いることにより、フィッティングされた楕円の方程式から表面法線方向の情報を抽出することができ、センサ測位が容易になる。レーザーパターンプロジェクタが画像内の対照的な曲線セグメントを生成することにより異なる２次元形状を提示するため、表面点の集合が測位特徴から区別される。画像の曲線セグメントは単一ブロブとして分離され、これらのブロブの各々について、曲線セグメントが解析されてサブピクセル精度で曲線に沿った点の集合が抽出される。これは、曲線セグメント全体にわたり微分演算子を畳み込んで、その応答のゼロ交差点を補間することにより実現される。後者の動作は通常、ピーク検知と呼ばれる。

十字レーザーパターンの場合、本明細書に記述する装置のアーキテクチャの利点がある。２つの基本カメラ４６および十字パターンプロジェクタ４２を有する構成において、２つのレーザー平面のうち一方が各基本カメラ４６内の一定の位置で１本の直線を生成するように基本カメラ４６が整列配置されている。これは、所与のカメラ４６に対する非動作レーザー平面である。これらの非動作レーザー平面は、両方のカメラ４６に対して対向している。Ｈｅｂｅｒｔ（Ｐ．Ｈｅｂｅｒｔ“Ｓｅｌｆ−Ｒｅｆｅｒｅｎｃｅｄ Ｈａｎｄ−Ｈｅｌｄ Ｒａｎｇｅ Ｓｅｎｓｏｒ”，ｉｎ ｐｒｏｃ． ｏｆ ｔｈｅ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ（３ＤＩＭ ２００１），２８Ｍａｙ−１Ｊｕｎｅ２００１，Ｑｕｅｂｅｃ Ｃｉｔｙ，Ｃａｎａｄａ，ｐｐ．５−１２参照）により提案された本構成により画像処理タスクが大幅に簡素化される。これはまた、曲線セグメントを定義するそれらの３次元連結性と共に、十字レーザー平面への２次元表面点の各集合の割り当てを簡素化する。

２次元表面点の集合１６が表面形状全体の走査を復元すべくシステム内の１本の経路を辿る間に、観測された２次元測位特徴の集合２０は第２の経路を辿り、物体の表面に関する検知器１１の相対位置を復元するために用いられる。しかし、これら２種類の集合は、後述するように大域座標系と共にセンサ座標系内の３次元情報を取得すべく更に処理される。

３次元表面点計算器
３次元表面点計算器１８は、第１の入力として抽出された２次元表面点の集合１６を取り込む。これらの点は、レーザー射影パターンのセグメント、例えば十字パターン４４の２平面のうちの１つに関連付けられていてよい。関連付けが既知の場合、各々の２次元点は対応する照射光線とレーザー平面方程式を交差することによりセンサ座標系内の３次元点に変換することができる。光線の方程式は、関連付けられたカメラの射影行列から得られる。レーザー平面方程式は、較正済み手順（Ｐ．Ｈｅｂｅｒｔ，“Ａ Ｓｅｌｆ−Ｒｅｆｅｒｅｎｃｅｄ Ｈａｎｄ−Ｈｅｌｄ Ｒａｎｇｅ Ｓｅｎｓｏｒ”，ｉｎ ｐｒｏｃ． ｏｆ ｔｈｅ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ（３ＤＩＭ ２００１），２８Ｍａｙ−１Ｊｕｎｅ２００１，Ｑｕｅｂｅｃ Ｃｉｔｙ，Ｃａｎａｄａ，ｐｐ．５−１２参照）を用いて得られる。また、例えば正確な変換段階によりセンサ１１を較正した後で参照テーブルを利用することにより、２次元点から直接３次元点を取得することも可能である。どちらの方式を用いてもよい。最初のケースでは、手順は簡単であって、高度な機器を必要としないが、カメラ固有および外部パラメータを極めて良好に推定する必要がある。

各２次元点をレーザーパターンの特定の構造に関連付けることを回避することも可能である。これは特に、より複雑または一般的なパターンの場合に興味深い。この場合、基本行列を使用し、エピポーラ制約を用いて点のマッチングを行うことにより３次元表面点を計算することが依然として可能である。曖昧性を排除してこれが行えるならば、カメラの既知の射影行列から三角形分割を計算してセンサ座標系内の３次元点を取得することができる。

３次元表面点計算器１８は、後述するように、特徴画像プロセッサ１５による高解像度２次元点の抽出を容易にすべくセンサ座標系内におけるこれらの計算された３次元低解像度表面点の集合１９を特徴画像プロセッサ１５に送る。計算された３次元表面点の集合は、センサ座標系内におけるこれらの３次元低解像度表面点の集合１９とセンサ座標系内の高解像度表面点の集合１７を含むセンサ座標系内における出力された計算済み３次元表面点の全ての集合２１内でこれらを区別すべく低解像度であると言われる。

高解像度表面点の集合を計算すべく、３次元表面点計算器１８は更に、入力として高解像度２次元表面点の集合１７を取り込む。上述の低解像度３次元表面点の計算に用いたのと同じ手順を用いる。この手順は、特徴カメラ固有および外部パラメータの極めて良好な推定または参照テーブルの利用のいずれかを必要とする。

３次元表面点計算器１８は、センサ座標系内の計算された３次元表面点の全ての集合２１を出力する。これらの集合は組織化されていない集合であっても、または画像内の連結セグメントに関連付けられた３次元点が微分により３次元曲線の接線を推定するためにグループ化されるような仕方で組織化されていてよい。これらのセグメントは更に、そのソース画像に応じて高いかまたは低い解像度のセグメントにグループ化されていてよい。この情報は、復元された表面モデル３５の品質を局所的に適合させるべく局所接平面計算器２９または表面再構成装置３４により利用できる。

特徴画像プロセッサ
特徴画像プロセッサ１５は、より長い焦点距離のレンズが通常取り付けられた特徴カメラ５９（図１参照）から得られた画像である特徴画像１３を入力として取り込む。通常、特徴画像１３は（より良い解像度のために）、測位特徴または物体に反射された全てのパターンを必ずしも含んでいる訳ではない走査の小部分をカバーするに過ぎない。従って、参照は基本画像１２から知られ、特徴画像１３と基本画像１２との間の空間関係はカメラ較正から知られる。特徴画像１３は、モノクロまたは彩色であってよい。前者の場合、抽出された特徴は本質的に形状またはモノクロテクスチャであるのに対し、後者の場合は更に色テクスチャ特徴を含んでいる。

高解像度形状情報、すなわち高解像度特徴２次元表面点の集合を計算すべく、特徴画像プロセッサ１５は、センサ座標系内の３次元低解像度表面点の集合１９を、固有パラメータが較正済みであってセンサ座標系に関する空間関係、すなわちその外部パラメータもまたカメラ較正を介して得られた特徴カメラ５９の座標系に射影する。連結された３次元点の射影集合は、セグメントの集合を特徴画像１３に射影する。特徴画像座標系内におけるこれらの取得された近似位置から、局所画像処理が適用されて、撮像されたレーザートレースから２次元の対応する点を抽出する。

これを行うべく、射影から得られた被連結２次元点の各集合は曲線セグメント、すなわち多角形８０の区分線形近似を与える。図５に、特徴画像内におけるレーザートレース８８の誘導された抽出の詳細を示す。区分線形近似、すなわち多角形８０は、最初に基本画像から得られた、計算された３次元低解像度表面点の対応する連結集合の射影の後で特徴画像１３上に重畳される。これらの点の射影は多角形８０の頂点８２である。多角形８０は次いで再サンプリングされる。図５において、１つの部分を、線形部分毎に４つの追加的な位置８４が得られる５つのサンプリング係数と共に示す。多角形８０に沿った各々の点８２、８４において、特徴画像が法線方向８６に沿ってサンプリングされる。通常、２０〜３０の画像サンプルがこれらの方向に沿って計算されて、１次元信号が得られる。サンプル間の距離は１画素の幅である。この１次元曲線から、サブ画素ピーク位置が推定されて、高解像度２次元表面点が得られる。最後に、これらの信号を用いて特徴画像内のレーザートレース８８のピークが検知される。低解像度多角形が射影するピークの精度が向上した位置が取得される。各々の連結集合についてこれらの２次元表面点を集めるにより、高解像度２次元表面点の集合１７が出力される。

局所特徴画像信号から局所法線方向を推定することも可能である点に注意されたい。

形状は、物体表面の一特徴である。独立に処理可能な他の特徴としてグレイスケールテクスチャおよびカラーテクスチャがある。以下の記述においてカラーテクスチャの取得および処理を想定しているが、グレイスケールテクスチャの取得および処理もまた可能である点に注意されたい。原理は、同じままである。すなわち、局所特徴の抽出は、センサ座標系内の３次元低解像度表面点の初期集合１９の射影を用いて誘導される。多角形の近傍にレーザートレースが存在すれば、画素の色がレーザートレースの両側付近の領域で集められる。図４に、特徴画像内のレーザートレースの近傍で復元されたテクスチャパッチ７４を示す。図の右側部分においてセグメントがズームインされている。レーザートレースからの２つの距離τ１（７２）およびτ２（７０）が、レーザートレースの近傍で復元されたテクスチャの幅を区切る。色は、τ１（７２）〜τ２（７０）の範囲の間の距離で復元される。τ７２はレーザー照明との色の干渉を避けるように設定されている。一実施形態において、τ１（７２）に対する典型的な値は１０画素、およびτ２（７０）に対しては２５画素である。局所テクスチャを構成するこれらの画素の各々に対して、復元された曲線セグメントで、または形状が改良されていない場合は多角形で最も近い表面の（ｘ、ｙ、ｚ、ｒ、ｇ、ｂ）座標が割り当てられている。特徴画像プロセッサ１５は、センサ座標系内の３次元座標により拡張されたテクスチャビットマップとして、画像テクスチャパッチの集合を出力する。所与のフレームにおいて、全ての視点から集められた全ての画像テクスチャパッチを合体する役割を有するテクスチャ積分器２５に画像テクスチャパッチ７４の集合が送られる。テクスチャ積分器２５については局所接平面計算器の後で記述する。

３次元測位計算器
３次元測位計算器２３のタスクは、計算された３次元表面点の各集合２１および画像テクスチャパッチの集合に対して変換パラメータ２６を提供することである。これらの変換パラメータ２６により、構造を維持しながら、画像テクスチャパッチの各画素２２の３次元表面点２１または座標（ｘ、ｙ、ｚ）を単一の大域座標系に変換することが可能になり、すなわち剛体変換である。本実施形態においてこれは、大域座標系内の参照３次元測位特徴の集合３０を構築および維持することにより実現される。測位特徴は、３次元点の集合、付随する表面法線または他の任意の表面特徴を有する３次元点の集合であってよい。本実施形態において、測位特徴を利用した自動参照を用いているが、別の実施形態では他の測位システムを用いてもよい点に注意されたい。例えば、外部参照センサまたはその他の測位装置を用いてもよい。

図３の実施形態において、全ての測位特徴が、３座標軸に沿って点の位置を示す３つの要素を含む列ベクトル［ｘ、ｙ、ｚ］^Tとして表された３次元点であると仮定する。

検知器１１が較正されているため、基本カメラ４６の視点間で合致した測位特徴を用いてそれらの３次元点を推定する。観測された２次元測位特徴の集合は、エピポーラ制約を用いてマッチングされて曖昧でない合致を取得する。エピポーラ線は、基本カメラ４６の較正された射影行列から計算された基本行列を用いて計算する。次いで、カメラ４６の既知の射影行列から三角形分割が適用されて各フレームに対してセンサ座標系内の３次元測位特徴の単一集合を計算する。

走査セッションの開始時点では参照３次元測位特徴の集合３０は空である。検知器１１が第１の測定値の集合を与えるに従い、識別変換を用いて特徴が参照３次元測位特徴３０の集合にコピーされる。当該集合は従って、参照３次元機能の全ての後続する集合に対する参照集合になり、当該第１のセンサ位置は全ての３次元表面点が整列配置された大域座標系を定義する。

参照３次元測位特徴の初期集合が生成された後で、後続する測位特徴の計算された集合が最初に参照集合３０とマッチングされる。マッチング動作は、２つのタスクに分割される。すなわち、ｉ）現行フレームのセンサ座標系内の計算された３次元測位特徴の集合と、大域座標系内の参照３次元特徴の集合との間で対応する特徴を見出して、ｉｉ）２つの集合を最適に整列配置する最適な３次元剛体変換の変換パラメータ２６を計算する。パラメータが計算されたならば、これを現行フレームの計算された３次元測位特徴、センサ座標系内の計算された３次元表面点２１、および画像テクスチャパッチ２２の変換に用いることによりこれら全てを大域座標系に整列配置させる。

参照３次元測位特徴の集合Ｒを計算した後で、現行フレーム内の計算された３次元測位特徴の集合Ｏを、カメラ１、２から得られた、観測された２次元測位特徴の集合２０Ｐ₁、Ｐ₂から計算する。３次元座標は三角形分割により得られる。３次元測位特徴のこれらの集合のマッチングは、全ての点（ｏ_i，ｒ_i）、但しｏ_i∈Ｏ_m且つｒ⊆_iＲ_m、の対が同じ物理的特徴を表すような各々Ｎ個の特徴を含む２つの部分集合Ｏ_m⊆Ｏ且つＲ_m⊆Ｒを見出す問題である。これらの部分集合の発見は、次式を満たすような点

のセグメントの最大数を見出すことにより実現される。

ここに、εは検知器の精度に対応すべく設定された所定の閾値である。この制約により、２つの集合内の対応する１対の点の間の距離の差が無視できる。

このマッチング動作は、集合Ｏからの点の各セグメントが集合Ｒ内の点の各セグメントと漸次的にマッチングされる組合せ最適化問題として解かれる。各々のマッチングされたセグメントは次いで、２つの集合の各々で残った点を用いて追加的なセグメントを形成することにより拡張される。２つのセグメントが制約（１）を満たすならば、第３のセグメントが形成され、制約が満たされる限り以下同様である。さもなければ当該対は廃棄されて次の対が調べられる。解は、（１）を満たすセグメントの最も大きい集合である。他のアルゴリズム（例えばＭ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｂｏｌｌｅｓ，（１９８１）“Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：Ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ”，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ Ａｓｓｏｃ．ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ，（Ｊｕｎｅ １９８１），ｖｏｌ．２４，ｎｏ．６，ｐｐ．３８１−３９５参照）を同じ目的に用いることができる。

参照３次元測位特徴の集合３０の要素の数が比較的少ない（通常は１５未満）限り、上述の方法による計算の複雑度は実時間動作に受容可能である。しかし実際には、参照特徴の数は簡単に数百個もの測位特徴に達し得る。計算の複雑度は特徴の数に対して指数的に増大するため、対応する特徴の計算は実時間アプリケーションには遅くなり過ぎる恐れがある。当該問題は、検知器１１の視野の有限性に制限されるため、どの特定の視点からも見える測位特徴の数が少ない点に注目して解かれる。

これは、所与のフレームについて計算された特徴が参照特徴３０にマッチングできる場合、参照集合からのマッチングされた特徴が、計算された特徴の集合の大きさにより大きさが決定される小近傍内で特定されなければならないことを意味する。これはまた、当該近傍内の点の数も少なくなければならない（通常１５未満）ことを意味する。この特性をマッチングの高速化に利用すべく、上述の方法を以下のように修正する。マッチングに先立って、各参照特徴に対して隣接する特徴の集合［Ｎ_i］を生成する。点の初期セグメントがマッチングされた後で、最初にマッチングされた特徴の近傍集合［Ｎ_i］内の点だけを用いて追加的なセグメントを加えることにより拡張される。これにより、マッチングに用いられた点の数は参照集合３０の大きさによらず少ないままであり、従って計算の複雑度が指数関数的に増大することを防ぐ。

あるいは、検知器の位置および向きの空間相互関係を利用することにより、マッチング速度を向上させることができる。検知器の位置ずれが測位特徴の集合の大きさに対して小さいと仮定すれば、各々の観測された測位特徴に最も近い参照特徴を見出すことによりマッチングを実現することができる。同じ原理を２次元において、すなわち最も近い２次元測位特徴を見出すことに利用できる。

マッチングがなされたならば、２つの集合は、次式のコスト関数が最小化されるように最小２乗法の意味で最適変換パラメータ［Ｍ Ｔ］を計算することにより整列配置する必要がある。

変換パラメータは、３×３回転行列Ｍおよび３×１変換ベクトルＴからなる。そのような変換は、Ｍ．Ｗ．Ｗａｌｋｅｒ，Ｌ．Ｓｈａｏａｎｄ Ｒ．Ａ．Ｖｏｌｚ，“Ｅｓｔｉｍａｔｉｎｇ ３−Ｄ ｌｏｃａｔｉｏｎ ｐａｒａｅｔｅｒｓ ｕｓｉｎｇ ｄｕａｌ ｎｕｍｂｅｒ ｑｕａｔｅｒｎｉｏｎｓ”，ＣＶＧＩＰ：Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，ｖｏｌ．５４，ｎｏ．３，Ｎｏｖｅｍｂｅｒ，１９９１，ｐｐ．３５８−３６７に記述されているように、双対四元数を用いて見出すことができる。この変換を計算すべく、少なくとも３つの共通測位特徴を見出しなければならない。さもなければ、現行フレームについて測位特徴と表面点の両方が廃棄される。

剛体変換を計算する代替方式は、観測された２次元測位特徴２０と参照３次元測位特徴３０の射影との間の距離を最小化するものである。透視射影変換Πを用いて、最小二乗法の意味で最適且つ剛体変換［Ｍ Ｔ］は次式を最小化する変換である。

ここに、ｐ_i⊆Ｐ₁またはｐ_i⊆Ｐ₂は観測された３次元特徴ｏ_i⊆Ｏ_mに対応する観測された２次元特徴である。剛体変換［Ｍ Ｔ］は、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法等の最適化アルゴリズムを用いて上述のコスト関数を最小化することにより見出される。

剛体変換が計算されたならば、計算された３次元測位特徴の集合はセンサ座標系から大域座標系に変換される。変換された３次元測位特徴を用いて２通りの方法で参照３次元測位特徴の集合３０が更新される。第一は、観測された特徴の部分集合だけが参照特徴の集合とマッチングされた場合、合致しなかった観測済み特徴は参照集合に加えられた新たに観測された特徴を表す。再び観測されて合致した特徴は（既に参照集合に存在するため）廃棄しても、または改良すなわち既存の特徴のフィルタリングに利用してもよい。例えば、平均的な特徴位置を計算すべく同一特徴の全ての観測を合算することができる。これにより、測定ノイズの分散が減少して測位システムの精度が向上する。

３次元表面点変換器
３次元測位計算器２３により変換パラメータ２６が得られたならば、表面点の処理ステップは簡単である。３次元表面点計算器１８により得られたセンサ座標系内の計算された３次元表面点の集合２１は次いで、３次元表面点変換器２４により剛体変換パラメータ２６ＭおよびＴを用いて変換される。その結果得られた大域座標系内の変換された３次元表面点の集合２７は従って、同一座標系において参照３次元測位特徴の集合３０と自然に整列配置されている。最終的な大域座標系内の変換された３次元表面点の集合２７は視覚化されるか、または表面再構成装置３４の前に局所接平面計算器２９に送られてもよい。表面再構成装置は、オプションとして参照３次元測位特徴３０の重畳された集合と共に表示される、連続的な非冗長且つ恐らくはフィルタリングされた表面モデル３５表現を推定する。

局所接平面計算器
局所接平面計算器２９は、大域座標系内の変換された３次元表面点の集合２７を入力として取り込み、物体表面上の３次元接平面の局所的推定を行う。この処理は表面再構成装置３４内に統合できるが、物体表面上の局所接平面の推定に連続面表現が必要とされないことをより分かりやすく示すべく、ここでは分離されている。局所接平面の推定を実時間で行う一つの可能性は、規則的な体積格子を定義して、各ボクセル内の３次元表面点を集積することにある。集積された３次元点から、ボクセル内またはボクセルを囲む体積内にある３次元点に基づいて各ボクセル毎に接平面を計算することができる。この種のアプローチはＴ．Ｐ．Ｋｏｎｉｎｃｋｘ，Ｐ．Ｐｅｅｒｓ，Ｐ．Ｄｕｔｒe，Ｌ．Ｊ．Ｖａｎ Ｇｏｏｌ，“Ｓｃｅｎｅ−Ａｄａｐｔｅｄ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ”，ｉｎ ｐｒｏｃ．ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ ２００５），ｖｏｌ．２，Ｓａｎ Ｄｉｅｇｏ，ＵＳＡ，２００５，ｐｐ．６１１−６１８，およびＳ．Ｒｕｓｉｎｋｉｅｗｉｃｚ，Ｏ．Ａ．Ｈａｌｌ−Ｈｏｌｔ，Ｍ．Ｌｅｖｏｙ，“Ｒｅａｌ−ｔｉｍｅ ３Ｄ ｍｏｄｅｌ ａｃｑｕｉｓｉｔｉｏｎ” ｉｎ ｐｒｏｃ．ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨ ２００２、Ｓａｎ Ａｎｔｏｎｉｏ，ＵＳＡ，ｐｐ．４３８−４４６，またはＤ．Ｔｕｂｉｃ，Ｐ．Ｈｅｂｅｒｔ、Ｄ．Ｌａｕｒｅｎｄｅａｕ，“３Ｄ ｓｕｒｆａｃｅ ｍｏｄｅｌｉｎｇ ｆｒｏｍ ｃｕｒｖｅｓ”，Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，Ａｕｇｕｓｔ ２００４，ｖｏｌ．２２，ｎｏ．９，ｐｐ．７１９−７３４で用いられている。

この初期非連続形状が局所的に安定した、すなわち例えば３次元点共分散行列の２つの最小固有値が同様である一方で第３の固有値がボクセル内で大幅に小さい場合、局所平面のパラメータをそれらの共分散行列の２つの１次モーメントから計算する。各局所接平面の幅は通常、直径が１乃至２ボクセル分の斜辺長の間にある円である。局所接平面計算器は、２７からコピーされた大域座標系内の変換済み３次元表面点の集合３１と共に、パラメータおよび幅を含む局所接平面の集合２８を出力する。

局所接平面計算器２９は、局所接平面の集合の計算の解像度を調整する接平面解像度調整器を含んでいてよい。当該調整器は、局所接平面計算器２９の解像度パラメータの変更を可能にする手動または自動調整器であってよい。

テクスチャ積分器
テクスチャ積分器２５は、全てのフレームで復元された画像テクスチャパッチの集合２２を収集し、更に安定化された局所接平面の集合２８を入力として取り込む。局所接平面が、利用可能になった時点で独立に与えられることを述べておく。これにより、表面が走査されるにつれて逐次的に当該処理を適用することが可能になり、フレームの集合が全て揃うまで進行を待つ必要が無い。

各局所接平面セグメントは、形状解像度とは独立に設定可能な選択された解像度で局所画像としてモザイク状にされる。これらのセルをテクセルと呼ぶ。テクスチャ積分器は更に、３次元測位計算器２３から変換パラメータ２６を入力として取り込む。これらの変換パラメータを用いて、現行のセンサ座標系と大域座標系との空間関係が既知であることにより、画像テクスチャパッチの集合２２を再度射影することにより局所接平面にマッピングすることができる。テクスチャ画像パッチの集合内の各画素は、対応する局所接平面の更新に寄与する。このため、局所接平面内の全てのテクセルは局所平面にマッピングする画素から更新される。各画素は、距離に応じて減少する重みに基づいて全てのテクセルに寄与する。テクセルは、全てのフレームからの全ての寄与する画素の加重平均として得られる。

テクスチャ積分器２５はまた、色強度補償を適用する。実際、テクセルに統合化する前に安定した色の測定値を取得することが好ましい。色強度は通常、光源５０までの距離の２乗および光源５０と接平面法線との間の角度の余弦に応じて変化する。一実施形態において、２つの基本カメラ４６の被写体の周辺に８つの光源５０が分散配置されている。更に、光源５０および特徴カメラ５９の正面の偏光フィルタ４８の使用により、鏡面反射が除去されて拡散反射が維持される。従って光源５０と表面がなす角度だけを考慮すればよく、色強度補償において表面と特徴カメラ５９がなす角度は無視してよい。センサ設計または較正から、センサ座標系における光源位置が既知である。更に、各光源が加法的に組み合わさるため、光源が同一と仮定するかまたは強度を調整することにより、各テクセルへの色の照射をフレーム間で正規化できる。当該補償処理はまた、Ｐ．Ｅ．Ｄｅｂｅｖｅｃ ａｎｄ Ｊ．Ｍａｌｉｋ，“Ｒｅｃｏｖｅｒｉｎｇ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｒａｄｉａｎｃｅ Ｍａｐｓ ｆｒｏｍ Ｐｈｏｔｏｇｒａｐｈｓ”，ｉｎ ｐｒｏｃ． ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨ １９９７，Ｌｏｓ Ａｎｇｅｌｓ，ＵＳＡ，ｐｐ．３６９−３７８に提案されている較正のような測光カメラ較正を用いる。テクスチャ積分器２５により局所テクスチャ付き接平面３２が生成される。

あるいは、テクスチャ積分器２５により、対応する表面座標マッピング情報を有する２次元テクスチャマップ３６を用意して表面再構成装置３４に提供することができる。表面再構成装置３４からのフィードバックとして三角形分割データ３７を用いて２次元テクスチャマップ３６を生成することができる。

表面再構成装置
表面再構成装置３４は、大域座標系内の変換された３次元表面点の集合３１および局所テクスチャ付き接平面の集合３２を入力として取り込み、表面モデルを計算する。あるいは、対応する表面座標マッピング情報と共に２次元テクスチャマップ３６を用いることができる。局所接平面が再構成された表面からも得られることに注意されたい。表面点の集合から、米国特許第７，４８７，０６３号明細書またはＢ．Ｃｕｒｌｅｓｓ，Ｍ．Ｌｅｖｏｙ，“Ａ Ｖｏｌｕｍｅｔｒｉｃ Ｍｅｔｈｏｄ ｆｏｒ Ｂｕｉｌｄｉｎｇ Ｃｏｍｐｌｅｘ Ｍｏｄｅｌｓ ｆｒｏｍ Ｒａｎｇｅ Ｉｍａｇｅｓ”ｉｎ ｐｒｏｃ． ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨ １９９６，Ｎｅｗ Ｏｒｌｅａｎｓ，ＵＳＡ，ｐｐ．３０３−３１２に記述されている方法を用いて表面形状の連続表現を計算することができる。これら２通りのアプローチは体積表現を利用する。前者のアプローチは、効率化を目指す局所接平面に関する知見から利益が得られる。体積表現は次いで、三角形分割面表現に変換される。このため、マーチングキューブアルゴリズムを用いることができる（例えば、Ｗ．Ｅ．Ｌｏｒｅｎｓｅｎ ａｎｄ Ｈ．Ｅ．Ｃｌｉｎｅ，“Ｍａｒｃｈｉｎｇ Ｃｕｂｅｓ：Ａ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ ３Ｄ Ｓｕｒｆａｃｅ Ｃｏｎｓｔｒｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ”，ｉｎ ｐｒｏｃ．ｏｆ ｔｈｅ ＡＣＭ ＳＩＧＧＲＡＰＨ ８７，Ｌｏｓ Ａｎｇｅｌｅｓ，ＵＳＡ，ｖｏｌ．２１，ｎｏ．４，ｐｐ．１６３−１７０参照）。三角形分割面が得られたならば、重なり合う領域が混ざった状態で局所テクスチャ付き平面の集合が三角形分割面にマッピングされて連続面テクスチャが得られる。

表面再構成装置３４は、変換された３次元表面点の集合の集積の解像度を調整するモデル解像度調整器を含んでいてよい。当該調整器は、表面再構成装置３４用の解像度パラメータの変更を可能にする手動または自動調整器であってよい。

走査器４０をテクスチャ走査に用いる場合、１インチ当たり２００〜２５０ドット（ＤＰＩ）のビットマップを局所接平面に関連付けることができる。テクスチャカラーをｓＲＧＢ較正された２４ビットで与えることができる。フィールドの深さは、例えば３０ｃｍであってよい。テクスチャ検知器４０は、例えば形状解像度が０．１ｍｍで毎秒約１８，０００回の測定を行うことができる。

走査器４０を高解像度走査に用いる場合、高解像度ボクセル解像度は０．２５ｍｍであってよい。対照的に、高解像度能力を備えていない走査器４０のボクセル解像度は１ｍｍであってよい。フィールドの深さは、例えば３０ｃｍであってよい。高解像度検知器４０は、例えば、ｘ、ｙ、ｚ方向の解像度が０．０５ｍｍで毎秒約２５，０００回の測定を行うことができる。

例えば基本カメラ４８、レーザープロジェクタ４２、および特徴カメラ５９等のセンサを含む各種の機器および構成要素を用いて図３に示す各種プロセッサが使用できる入力データを生成することができる。

ブロック図では好適な実施形態が異なるデータ信号連結を介して互いに通信する離散的構成要素のグループとして示されているが、これらがハードウェアおよびソフトウェア構成要素の組合せにより提供でき、いくつかの構成要素がハードウェアまたはソフトウェアシステムの所与の機能または動作により実装され、データ経路の多くがコンピュータアプリケーションまたはオペレーティングシステム内でのデータ通信により実装されているか、または任意の適当な公知または将来開発される有線および／または無線による方法および機器を用いて通信すべく接続可能であることが当業者には理解されよう。センサ、プロセッサおよび他の機器は、同一箇所に、あるいは互いの１つ以上から遠隔地に設置されていてもよい。図に示す構造は従って、現在の好適な実施形態を効率よく提示するものである。

多くの変更例が生じ得ることが当業者には理解されよう。従って、上の記述および添付の図面は本発明を例示するものであって限定を意図していないものと解釈されたい。更に、一般に本発明の原理に従うと共に、本発明が関わる技術分野における既知または慣習的な実施に含まれ、本明細書に開示した本質的な特徴に適用され、また以下に添付する請求項の範囲に含まれる本質的な特徴に適用されることによる本開示からの相違を含めて、本発明の任意の変型、用途、または適用が包含されるものと理解されたい。

１０ ３次元表面走査システム
１２ 基本画像の集合
１３ 特徴画像
１４ 画像プロセッサ
１５ 特徴画像プロセッサ
１６ ２次元表面点の集合
１７ 高解像度表面点の集合
１８ ３次元表面点計算器
１９ ３次元低解像度表面点の集合
２０ ２次元測位特徴の集合
２１ ３次元表面点の全ての集合
２２ 画像テクスチャパッチの各画素
２３ ３次元測位計算器
２４ ３次元表面点変換器
２５ テクスチャ積分器
２６ 変換パラメータ
２７ ３次元表面点の集合
２８ 局所接平面の集合
２９ 局所接平面計算器
３０ 大域座標系内の参照３次元測位特徴の集合
３１ 大域座標系内の変換済み３次元表面点の集合
３２ 局所テクスチャ付き接平面
３４ 表面再構成装置
３５ 表面モデル
３７ 三角形分割データ
４６ 基本カメラ
５２ ベースラインＤ１
５３ ベースラインＤ３
５４ ベースラインＤ２
５６ 距離Ｄ３
５８ 距離Ｄ４
５９ 特徴カメラ
６２ 物体
７０ 距離τ２
７２ 距離τ１
７４ テクスチャパッチ
８０ 多角形
８２ 頂点
８４ 追加的な位置
８６ 法線方向
８８ レーザートレース
９０ ケース
９１ ハンドル部
９３ トリガースイッチ
９４ 導線

米国特許第７４８７０６３号明細書 国際公開第２００６／０９４４０９号

Claims (18)

1. 物体の表面点を表すデータを取得するシステムであって、
   前記物体表面上に射影パターンを生成するパターンプロジェクタ、前記物体の少なくとも一部の基本２次元画像を表す基本２次元画像データを基本解像度で取得する少なくとも１つの基本カメラ、および前記物体の少なくとも一部の特徴画像を表す特徴画像データを取得する特徴カメラを有する検知器であって、前記特徴カメラがテクスチャカメラおよび高解像度カメラの少なくとも一方であり、前記テクスチャカメラが前記物体の前記一部に関する特徴テクスチャ情報を取得すべく適合されたカメラであり、前記高解像度カメラが前記物体の前記一部に関する高解像度情報を高解像度で取得すべく適合されたカメラであり、
   前記投影パターンの少なくとも一部が前記特徴画像上で明らかであり、前記高解像度が前記基本解像度より高く、前記射影パターンが前記基本画像上で明らかであり、センサ座標系内における前記基本カメラ、前記パターンプロジェクタ、および前記特徴カメラの空間関係が既知であり、前記特徴カメラと前記基本カメラが同期化されて、該基本カメラと該特徴カメラが、それぞれ、前記基本２次元画像データと前記特徴画像データを取得すると同時に、前記パターンが前記パターンプロジェクタによって前記物体の表面に投影されている、検知器と、
   前記表面上での前記射影パターンの反射により得られた２次元表面点の少なくとも１つの集合を表す２次元点データを前記基本２次元画像データから抽出する基本画像プロセッサと、
   ２次元表面点の集合を表す前記２次元点データを用いて前記センサ座標系内の３次元表面点の集合を計算する３次元表面点計算器と、
   前記３次元表面点の集合を前記特徴画像データへ数学的に射影して前記特徴画像データ内における前記３次元表面点の位置を取得すると共に、前記特徴画像データにおける前記射影された３次元表面点を用いて前記３次元表面点の集合の特徴データの抽出を誘導する特徴画像プロセッサとを含み、
   前記特徴カメラが前記高分解能カメラならば、前記抽出の誘導は局所画像処理を含み、前記特徴カメラが前記テクスチャカメラならば、前記誘導は、前記抽出された特徴データ上の投影パターンによる干渉を避け、
   前記抽出の誘導の特徴データを用いて、前記特徴カメラが前記高分解能カメラならば前記３次元表面点の精度が向上した位置を取得し、前記特徴カメラが前記テクスチャカメラならば前記３次元表面点のテクスチャを取得する、システム。
2. 変換パラメータを取得し、前記変換パラメータが前記センサ座標系と大域座標系との空間関係を表す測位システムと、
   前記変換パラメータを用いて前記３次元表面点の集合を前記大域座標系内の変換された３次元表面点の集合に変換する３次元表面点変換器と
   を更に含む、請求項１に記載のシステム。
3. 前記測位システムが、
   前記物体上の目標測位特徴の集合、すなわち前記目標測位特徴の各々が前記物体上の固定位置に置かれていて、大域座標系が前記目標測位特徴を用いて定義され、前記目標測位特徴の集合の少なくとも一部が前記基本２次元画像において明らかであって、前記目標測位特徴の集合が前記画像プロセッサにより前記基本２次元画像から抽出されている集合を含み、
   前記システムが更に、
   前記測位システムを用いて前記変換パラメータを計算する３次元測位計算器を含む、請求項２に記載のシステム。
4. 前記変換された３次元表面点の集合および前記３次元表面点の前記特徴データを集積して前記物体の３次元表面モデルを生成する表面再構成装置を更に含む、請求項３に記載のシステム。
5. 前記表面再構成装置が、前記変換された３次元表面点の集合の前記集積の解像度を調整するモデル解像度調整器を含む、請求項４に記載のシステム。
6. 前記大域座標系内の前記変換された３次元表面点の集合から、局所接平面の集合を計算する局所接平面計算器を更に含み、
   前記表面再構成装置が前記局所接平面を用いて前記物体の前記３次元表面モデルを生成する、請求項４および５のいずれか一項に記載のシステム。
7. 前記局所接平面計算器が、前記局所接平面の集合の計算の解像度を調整する接平面解像度調整器を含む、請求項６に記載のシステム。
8. 前記特徴カメラがテクスチャカメラであり、前記特徴画像がテクスチャ画像であって、前記特徴画像プロセッサがテクスチャ画像プロセッサを含んでいて、前記特徴データがテクスチャパッチ内で得られたテクスチャデータである、請求項１〜５のいずれか一項に記載のシステム。
9. 前記特徴カメラがテクスチャカメラであり、前記特徴画像がテクスチャ画像であって、前記特徴画像プロセッサがテクスチャ画像プロセッサを含んでいて、前記特徴データが画像テクスチャパッチ内で得られたテクスチャデータである、請求項６〜７のいずれか一項に記載のシステム。
10. 前記テクスチャパッチの集合を前記局所接平面の集合にマッピングおよび集積して、２次元テクスチャマップの集合および局所テクスチャ付き接平面の集合を生成するテクスチャ積分器を更に含む、請求項９に記載のシステム。
11. 前記特徴カメラが高解像度カメラであり、前記特徴画像が高解像度２次元画像であって、前記特徴画像プロセッサが高解像度画像プロセッサを含んでいて、前記特徴データが高解像度２次元表面点である、請求項１〜１０のいずれか一項に記載のシステム。
12. 前記特徴カメラが高解像度テクスチャカメラであり、前記特徴画像が高解像度テクスチャ画像であって、前記特徴画像プロセッサがテクスチャ画像プロセッサおよび高解像度画像プロセッサを含んでいて、前記特徴データが高解像度２次元表面点および画像テクスチャパッチ内で得られたテクスチャデータを含む、請求項１〜１１のいずれか一項に記載のシステム。
13. 物体の表面点を表すデータを取得する方法であって、
    少なくとも１つの基本カメラを基本解像度で用いて、前記物体の少なくとも一部の基本２次元画像を表す基本２次元画像データを、前記物体の表面へ射影された射影パターンが前記基本画像上で明らかな状態で取得するステップと、
    特徴カメラを用いて前記物体の少なくとも一部の特徴画像を表す特徴画像データを取得するステップであって、前記物体の前記表面に投影された前記投影パターンの少なくとも一部が、前記特徴画像上で明らかであり、前記特徴カメラがテクスチャカメラおよび高解像度カメラの少なくとも一方であり、前記テクスチャカメラが前記物体の前記一部に関する特徴テクスチャ情報を取得すべく適合されたカメラであり、前記高解像度カメラが前記物体の前記一部に関する高解像度情報を高解像度で取得すべく適合されたカメラであって、前記高解像度が前記基本解像度より高いステップと、
    前記表面上での前記射影パターンの反射により得られた２次元表面点の少なくとも１つの集合を表す２次元点データを前記基本２次元画像データから抽出するステップと、
    センサ座標系内における前記基本カメラ、前記パターンプロジェクタ、および前記特徴カメラの空間関係が既知であり、２次元表面の集合を表す前記２次元点データを用いてセンサ座標系内の３次元表面点の集合を計算するステップと、
    前記３次元表面の集合を前記特徴画像データへ数学的に射影して前記特徴画像データ内における前記３次元表面点の位置を取得するステップと、
    前記特徴画像データにおける前記射影された３次元表面点を用いて前記３次元表面点の集合の特徴データの抽出を誘導するステップとを含み、
    前記特徴カメラが前記高分解能カメラならば、前記誘導は局所画像処理を含み、前記特徴カメラが前記テクスチャカメラならば、前記誘導は、前記抽出された特徴データ上の投影パターンによる干渉を避け、
    前記抽出の誘導の特徴データを用いて、前記特徴カメラが前記高分解能カメラならば前記３次元表面点の精度が向上した位置を少なくとも一つ取得し、前記特徴カメラが前記テクスチャカメラならば前記３次元表面点のテクスチャを取得する、方法。
14. 前記基本２次元画像および前記特徴画像が、前記物体の前記表面上に前記射影パターンを生成するパターンプロジェクタ、前記物体の基本２次元画像を取得する少なくとも１つの基本カメラ、および前記物体の特徴画像を取得する特徴カメラを有する検知器を用いて得られ、センサ座標系内における前記基本カメラ、前記パターンプロジェクタ、および前記特徴カメラの空間関係が既知であり、
    前記特徴カメラと前記基本カメラが同期化されて、該基本カメラと該特徴カメラが、それぞれ、前記基本２次元画像データと前記特徴画像データを取得すると同時に、前記パターンが前記パターンプロジェクタによって前記物体の表面に投影されている、請求項１３に記載の方法。
15. 前記センサ座標系と大域座標系との空間関係を表す変換パラメータを取得するステップと、
    前記変換パラメータを用いて前記３次元表面点の集合を前記大域座標系内の変換された３次元表面点の集合に変換するステップと
    を更に含む、請求項１３および１４のいずれか一項に記載の方法。
16. 前記変換された３次元表面点の集合を集積して前記物体の３次元表面モデルを生成するステップを更に含む、請求項１５に記載の方法。
17. 前記大域座標系内の前記変換された３次元表面点の集合から局所接平面の集合を計算するステップと、
    前記局所接平面を用いて前記物体の前記３次元表面モデルを生成するステップとを更に含む、請求項１６に記載の方法。
18. 前記検知器のパターンプロジェクタが、レーザーパターンプロジェクタである、請求項１に記載のシステム。

Images