JP5001286B2

JP5001286B2 - 対象物再構成方法およびシステム

Info

Publication number: JP5001286B2
Application number: JP2008535179A
Authority: JP
Inventors: ザレブスキ，ゼーブ; シュプント，アレクサンダー; マイゼルズ，アビアド; ガルシア，ハビエール
Original assignee: プライムセンスリミティド
Priority date: 2005-10-11
Filing date: 2006-03-14
Publication date: 2012-08-15
Anticipated expiration: 2026-03-14
Also published as: US20190319036A1; US20130155195A1; US20170287923A1; KR20080056721A; KR101264955B1; US20100177164A1; EP1934945A4; US9704249B2; US9066084B2; CN101288105B; US10340280B2; JP2009511897A; US10608002B2; CN101288105A; US9437006B2; US20170004623A1; US8400494B2; US20150287205A1; WO2007043036A1; EP1934945A1

Description

関連出願に関するリファレンス
本出願は、２００５年３月３０日に出願された米国暫定出願第60/666,184号および２００５年１０月１１日に出願された米国暫定出願第60/724,903号の優先権を主張するものであり、ここに参考文献として組み込まれる。

発明の分野
本発明は、対象物の再構成の方法およびシステムに関し、高解像度で実時間の３次元情報を取り出すことを可能にする。

参考文献
１．S.Avidan and A.Shashua, "Trajectory triangulation: 3D reconstruction of
moving points from amonocular image sequence," PAMI, 22, 348-357 (2000).
２．Y.G.Leclerc and A.F.Bobick, "The direct computation of height from shading," CVPR, 552-558 (1991).
３．R.Zhang and M.Shah, "Shape from intensity gradient," SMC-A, 29, 318 (1999).
４．R.Zhang and M.Shah, "Height recovery from intensity gradients," CVPR, 508-513 (1994).
５．B.K.P.Horn, "Height and gradient from shading," IJCV, 5,37-76 (1990).
６．A.M.Bruckstein, "On shape from shading," CVGIP, 44, 139-154 (1988).
７．L.Zhang, B.Curless and S.M.Seitz, "Rapid shape acquisition using color
structured light and multi pass dynamic programming," 1st International
Symposium on 3D data processing visualization and transmission (3DPVT), July
2002, Padova, Italy.
８．P.Besl, "Active optical range imaging sensors," Machine vision and
applications, 1, 127-152 (1988).
９．E.Horn and N.Kiryati, "Toward optimal structured light patterns," Proc.
Int. Conf. On Recent advances in 3-D Digital Imaging and Modeling, 28-37, Ottawa Canada, May 1997.
１０．M.Asada, H.Ichikawa, S.Tjuli, "Determining of Surface Properties by
Projecting a Stripe Pattern," IEEE Proc. of ICPR, 86 (1986).
１１．M.Asada, H.Ichikawa, S.Tjuli, "Determining Surface Orientation by
Projecting a Stripe Pattern," IEEE Transact. on PAMI, vol.10, no.5 (1988).
１２．S.Winkelbach and F.M.Wahl "Shape from Single Stripe Pattern Illumination," Luc Van Gool (Editor), (DAGM 2002) Pattern Recognition, Lecture Notes in
Computer Science 2449, Springer 2002, page 240-247.
１３．T.P.Konickx and L.Van Gool "Efficient, Active 3D Acquisition, Based on a Pattern-Specific Snake," Luc Van Gool (Editor), (DAGM 2002) Pattern
Recognition, Lecture Notes in Computer Science 2449, Springer 2002, page 557-565.
１４．R.Kimmel, N.Kiryati, and A.M.Bruckstein, "Analyzing and synthesizing
images by evolving curves with the Osher-Sethian method," International Journal of Computer Vision, 24(1), 37-56 (1997); G.Zigelman, R.Kimmel, and N.Kiryati,
"Texure mapping using surface flattening via multi-dimensional scaling," IEEE
Trans. on Visualization and Computer Graphics, 8(2), 198-207(2002).
１５．J.C.Dainty, Laser Speckle and Related Phenomena, 2^nd ed. (Springer-
Verlag, Berlin, 1989).
１６．D.Mendlovic, Z.Zalevsky, I.Kiryuschev and G.Lebreton, "Composite
harmonic filters for scale, projection and shift invariant pattern recognition," Appl. Opt. 34, 310-316 (1995).

発明の背景
対象物の再構成は、代表的には対象物の３次元テクスチャ（すなわち、３次元マップ）を評価することに基づく。この分野で各種の技術が開発されてきた。
そのようなアプローチの１つは、同一の対象物を観察する２個のカメラを使用する三角測量を利用する（参考文献１）。カメラにより取得された画像内の同一の事項の相対的なずれ（シフト）は、それらの事項に対する距離にそれぞれ関係する。この技術は、人間の視覚システムにおける３次元の評価に類似している。このアプローチの主たる欠点は、その低い３次元分解能であり、それは、両方のカメラにおける画像の個数、光景に存在する詳細（例えばテクスチャ）、およびカメラの相対的な方向（角度およびそれらの間の距離）に強く依存する。更に、このアプローチは、３次元情報の抽出が分類および合わせのような高レベルの処理動作を必要とするため、対象物の実時間マッピングを提供できない。このアプローチの更なる問題は、通常得られる３次元情報が対象物の深さの相対的にまばらな標本のみを有することである。

この種の特別な既知のほかの技術は、対象物の３次元マップを演算するために、単一の捕捉した画像内のエッジの影の利用に基づいた数値アルゴリズムを利用する（参考文献２−６）。しかしながら、この技術は、高レベルの処理を必要とし、エッジの影は画像のもっとも雑音のある領域であるため不正確である。更に、このアプローチは、最初の影が全体画像内の演算の基準として利用されるため、エラーが累積する。

３次元評価のさらにほかのアプローチは、パターンの投影に基づいている。このアプローチに基づくいくつかの技術は、対象物上への線（ライン）の投影および対象物をこのラインで走査することを利用する。ライン画像で発生される湾曲は、対象物の３次元マップを示す。しかしながら、この技術は、対象物の再構成の実時間処理を提供しない。それは対象物をラインで走査するのに時間を要し、対象物が移動する場合には評価は一層歪められたものになる。

この形式のいくつかのほかの技術は、特別なコードの投影を利用する（参考文献７−９）。取得された画像におけるコードの変化は、対象物の３次元マップの演算を可能にする。いくつかの投影が必要であるため、これらの技術も実時間ではない。さらに、良好な３次元分解能を得るためには、非常に大きく複雑なコードが必要であり、このために投影システムは非常に高価になり、現実的でなくなる。

パターンの投影に基づくさらにほかの技術は、２次元周期パターンの単一投影を含む（参考文献１０−１４）。この場合、対象物の３次元的な詳細は、捕捉した画像における周期的なパターンのラインをずらす。これらのラインの相対的なずれは、対象物の３次元情報に関係する。これらの技術では走査は必要でなく、３次元情報は実時間で得ることができるが、これらの技術は、投影パターンの周期より大きな相対移動を識別できないため、３次元情報が隠蔽されるということが問題で、このために得られたずれが実際に生じたのか周期サイズだけ拡大された整数が付加されたのか識別できない。このアプローチのほかの欠点は、投影パターンの焦点深度に関係する。パターンがある距離だけ焦点を外されると、周期の相対的なずれを数値的に抽出するは非常に難しい。

発明の要約
従って、従来技術においては、３次元対象物の実時間および高精度のマッピングを、非常に簡単な高価でない光装置で実現可能にする新規な技術を提供することにより、対象物の再構成を容易にすることが要望されていた。

本発明はこのようなマッピング技術を提供し、それは例えばゲームやフィットネスなどの３次元のマン・マシーン・インターフェース、（内視鏡のような）バイオ医療への応用、セルラー装置内のカメラ、車両と近接警報の間の距離評価、侵入警報などに入力されるデータを提供するのに有効に使用できる。
ここでは、用語「対象物再構成」は、対象物の外側表面の一部または全体の３次元情報の取得を指し、画像、レンジ（距離）またはほかの検出データからの３次元対象物モデル（対象物形状モデルを含む）の再構成をも含む。用語「実時間」は、仕事（タスク）の反応及び動作時間の組合せが動作外の状況から見て、許容される最大遅延より短い動作を指す。
用語のカメラ、画像化ユニット及び画像化装置は、相互に交換可能に使用され、すべて、光を検出してそれを示す画像データを発生させる同一機能を指す。用語の投影器、投影システム及び照明ユニットも相互に交換可能に使用される。

本発明の主たる着想は、３次元表面データが再構成される対象物上へのレーザランダムスペックルパターンの投影を利用することで構成される（参考文献１５）。好ましくは、パターンは一定であるが、区切られてもまたはＺ軸に沿って（すなわちスペックルの伝播軸に沿って）変化するほかのタイプでもよい。ここで使用される用語「一定スペックルパターン」は、３次元測定が行われる領域内では、パターンはＺ軸に沿って実質的に変化しないということを示す。さらに、このようなパターンの焦点深度は、相対的に大きく、例えば数メートルの程度であり、また特別な応用により必要とされるように、拡散器上のレーザスポットサイズおよびレーザ波長を変化させることにより制御可能である。これにより、レーザランダムスペックルパターンの使用は、マップ可能な大きな縦方向のレンジ（距離）を提供し、投影システムの設計における光的な複雑さおよび後処理の複雑さの両方を著しく低減することを可能にし、実時間の対象物再構成を可能にする。
一般的に、光システムでは、スペックルパターンは部分的にコヒーレントなビームの相互の部分的な干渉により生じる場強度パターンである。

本発明のアプローチによれば、対象物の３次元マップは、レーザランダムパターン（コード）の相対的なずれ（シフト）を調べることにより評価される。このパターンは、周期的でなく、従って隠蔽の問題は存在せず、参照平面からのレンジの決定および対象物の３次元マッピングの両方を可能にする。レーザパターンは焦点はずれにほとんど依存しないから、３次元情報は大きな体積に渡って得ることができる。

光装置（投影モジュール）は、非常に簡単で安価にできる。それは非常に小さなコヒーレント光源（レーザ）および光拡散器（例えば、ランダム移動を付加することにより入射した光を拡散するすりガラス片）の形をしたパターン発生器のみを有するが、または例えばレーザ光の光路内に収容され一定のおよびランダムスペックルパターンの形で対象物上に散乱するホログラフィックに記憶されたランダム化された表面凹凸構造の形でもよい。本発明は、投影されたランダムパターンを有する対象物の単一画像のみを取得し（いわゆる単一スナップショット解決法）、例えば画像処理アルゴリズムに基づいた相関のような単一画像マッチングアルゴリズムを使用することを可能にし、それが演算の複雑さを低くすることに注目することが重要である。さらに、本発明は、１つ以上の画像を利用する時でも、単一の安定して取り付けられた（一般に単一視野を有する）カメラでの動作が可能であることに注目するのが重要である。これらの特性は３次元マッピングの実時間処理の実現を可能にする。

本発明によれば、いわゆる「１次スペックル」はマップされる対象物上に投影されるスペックルであり、対象物の表面粗さおよび／または画像化レンズの開口に関係する典型的なスペックルである「２次スペックル」ではないと理解されるべきである。従って、画像化レンズは小さくてよい。
このように、本発明の１つの広い態様によれば、対象物の再構成で使用するシステムが提供され、システムは、コヒーレント光源と、光源から対象物へ伝播する照明光の光路内に収容されたランダムスペックルパターン発生器（例えば、拡散器ユニット）と、を備え、対象物上へコヒーレントなランダムスペックルパターンを照射する照明ユニット、および照明領域の光応答を検出して、画像データを発生する画像化ユニットを備え、画像データは、照射されたスペックルパターンを有する対象物を示し、それにより対象物の画像におけるパターンの参照画像に対するパターンのずれを示し、システムはそれにより対象物の三次元マップの実時間再構成を可能にする。

好ましくは、システムは、スペックルパターンの参照画像を示す参照データを記憶するように構成された制御ユニットを備える。参照データは、照明光の伝播光路に実質的に垂直である向きの参照平面で、パターン発生器および画像化ユニットから実質的に同一距離である位置で取得されたスペックルパターンの画像を示すことが望ましい。制御ユニットは、参照データを利用して対象物と参照の画像間の相関を決定するように、画像データを処理および解析するようにプログラムされている。制御ユニットは、画像を示すデータを、メリンおよび／または対数分解に分割するようにプログラムされ、それによりスペックルパターンのスケーリングおよび投影の歪に対して不変である相関を得る。

システムは、照明光の伝播と画像化ユニットの光収集の間の交差により形成される測定体積を規定するように構成され、拡散ユニットからレイリー距離より大きい距離で対象物の画像化を行う。測定体積内の各点は照明と収集された光伝播路の間の交差角度を定義する。三角測量技術を考えれば、これはあるゼロでない角度が選択され、三角測量の適当な精度を提供する。
好ましくは、システムの構成は、画像化ユニットの画素面上の平均スペックル特徴サイズの最小値Δｘ_ｃａｍが、少なくとも２画素であるようにされる。

好ましくは、拡散器ユニットおよび画像化ユニットは、拡散器ユニットおよび画像化ユニットから対象物まで実質的に同一距離であるように向きが設定される。この場合、画像化ユニットの画素面上の平均スペックル特徴サイズの最小値Δｘ_ｃａｍは、次の式で決定できる。

ここで、Ｆは画像化レンズの焦点長であり、φ_Ｄはパターン発生器の照明スポットサイズであり、λは照明光の波長である。

マッチングアルゴリズムは、平均スペックル特徴サイズΔｘ_ｃａｍにおける所定の可視性を可能にし、すなわち、制御ユニットは、Δｘ_ｃａｍが所定の範囲内にある場合に、異なる平均スペックル特徴サイズΔｘ_ｃａｍの画像部分または画像の処理および解析のためにプログラムされている。Δｘ_ｃａｍは対象物の異なる部分から反射されたスペックルパターンの部分で異なるので（Δｘ_ｃａｍのスケーリングは後述の式（９ａ）−（９ｄ）の式で与えられる）、対象物の画像化が意味ある結果になる領域が決定される。

好ましくは、拡散器ユニット及び画像化ユニットは、レイリー距離の数分の一（例えば２０％）以内に互いに近接して配置される。
好ましくは、システムは、画像化ユニットの視野の異なる領域間の照明の明るさの変化を低減するように構成された調整器を有する。このような調整器は、回折光要素を有する。回折光要素は、拡散器内に一体化されるかまたはそれに付けられ、または拡散器に向かう照明光伝播の光路内に配置される。回折光要素は、拡散器と一緒に動作して、照明光の伝播光路に対する横平面内の明るさを調整する。

いくつかの構成では、調整器は、照明強度を調整して、例えば反射係数(albedo)、距離、および表面特性における差に起因する効果のような、画像化ユニットで受けられる明るさレベルにおけるマップされる対象物の効果を部分的に相殺または平滑化するように制御される。このような調整器は、画像化／制御ユニットから入力を受けて、照明光伝播光路に対して横方向の平面内に投影される強度分布を調整する。
ほかの例によれば、回折光要素は、照明光の伝播と実質的に平行な軸に沿って明るさ変化の低減を可能にするように構成されている。回折光要素は、照明光の伝播についてパターン発生器の下流に収容される位相のみの要素である。

照明ユニットは、４−Ｆフーリエ変換器として構成される。この場合、遠視野内の光視野は、最初に投影されるパターンの遠視野分布と２個の集束レンズの間に収容される回折光要素のフーリエ変換との間のコンボルーションである。例えば、回折光要素は、そのフーリエ変換が強度の楕円断面を生成し、２個の集束レンズの間に収容される位相のみの要素として構成されたものが使用される。
好ましくは、画像化ユニットは、安定視野を規定する単一光検出器を有する。

本発明のほかの広い態様によれば、対象物の実時間再構成に使用する方法が提供され、この方法は、照明コヒーレント光により形成されたランダムスペックルパターンを対象物に照射し、対象物からの光応答を検出して照射されたスペックルパターンを有する対象物の画像データを発生し、画像データを処理して、対象物の画像におけるパターンの参照画像に対するパターンのずれを決定し、それにより対象物の三次元マップを決定する。

発明を理解し、実際にどのように実行されるかが分かるように、好適な実施例を付属の図面を参照して説明するが、これらは範囲を限定するものではない。
図１を参照すると、対象物の３次元マッピングで使用する本発明のシステム１０の例の概略が示されている。システム１０は、対象物１３上にランダムスペックルパターン（望ましくは一定パターン）を投影するように構成された照明ユニット１２と、画像化装置１４と、を有する光マッピングシステムである。

照明ユニット１２は、コヒーレント光源１２Ａと、照明光の光路内に収容され、光源出力に非常に近接している（例えば物理的に接触している）ことが望ましい一定ランダムスペックルパターンの発生器１２Ｂと、を有している。光源１２Ａは、光放射アッセンブリ（レーザ）および／または遠隔光放射アッセンブリに関係する光ガイド配置（例えば、光ファイバ）により構成できる。パターン発生器１２Ｂは、例えばすりガラスのような光拡散器である。

画像化装置１４は、画像レンズ配置１４Ｂを備えた光検出器１４Ａ（ピクセルマトリクス、例えばＣＣＤ）を有する。画像レンズ配置１４Ｂは、光検出器の一部に統合された部分または検出器の前の別のユニットである。好ましくは、対象物からの光反射が検出される。
システム１０の構成的な一部であってもそうでなくてもよい制御システム１６が、画像化装置の出力に（配線または無線信号送信を介して）接続されている。制御システム１６は、メモリ部１６Ａ、データ処理および解析部１６Ｂ、および入力／出力部１６Ｃ（例えば表示装置のようなデータ提示部）を有するコンピュータシステムである。

本発明の装置は、携帯電話装置に関係するかまたはそれを含む。例えば、画像化ユニットは、携帯電話に組み込まれるか、携帯電話またはほかの携帯型コンピュータ装置に接続可能である。さらに、本発明は、侵入アラームと共に、車両と近辺のアラームとの間の距離評価のための３次元機能を使用することができる。

上記のように、スペックルは、散乱光の部分的な干渉により発生されるランダムパターンである。より明るいスポットは光が同位相で散乱されたところに位置し、暗いスポットは光が逆位相で散乱されたところに位置する。本発明の実施例によれば、投影スペックルパターンは、Ｚ方向（対象物を通過する軸方向の軸線）に一定であり、パターンはＺ軸方向には変化しない。しかしながら、パターン倍率はＺ軸に沿って変化すること、すなわち異なる画像面でのパターンの画像は異なる倍率であることが理解されるべきである。照明された３次元対象物は、横方向の面（検出面）内のランダムパターンの特徴のずれ（シフト）を生じる。パターンは非常にランダムであるから、隠蔽問題は存在しない。

本発明の方法における主ステップを示す図２を参照する。
スペックルパターンの画像を示す参照データ（すなわち、対象物の無いパターンの画像）が、制御システム１６のメモリ部内に提供されて記憶される（ステップＩ）。このため、スペックルパターンは（マップされる対象物が配置される）ある領域に投影され、スペックルパターンの参照画像が得られる。この参照画像は一度だけ捕らえられる。
その領域に位置している対象物の画像（単一画像）が取得され（ステップII）、それを示す測定データが発生される（ステップIII ）。このため、対象物はスペックルパターンを搬送する光により照明され、対象物からの光応答（反射）が画像化レンズにより収集され、光検出器により検出される。本発明が単一の画像データで動作し、対象物の３次元マップを再構成するための画像処理の複雑さが著しく低減されることに注目すべきである。

測定データは、参照データを使用して処理され（ステップIV）、参照画像内のパターンに対する対象物の画像内のランダムパターンの特徴の相対的なずれを決定する（ステップＶ）。これは、適当なマッチング（例えば相関）アルゴリズムを使用して実現される。相関アルゴリズムは、捕捉した画像を走査する小さな移動ウインドウに基づき、それを参照画像と相関させることに基づいている。相関のピークは、３次元情報に関係する相対的なずれを示す。
相関演算の複雑さは相対的に低く、高速フーリエ変換（ＦＦＴ）に基づいた例であればよい。さらに、投影パターンは投影器（レーザ）と対象物の間の距離に比例した倍率であるから、相関はメモリで投影は一定である。これは、相関を開始する前に、参照画像に対して適用される調和分解および／または適当な座標変換を使用して得ることができる（参考文献１６）。

重要なパラメータは、次のような横方向のスペックルの大きさ（サイズ）（すなわち、横平面内の平均スペックルサイズ）Δｘである。

ここで、Ｌは散乱器１２Ｂと対象物１３の間の距離であり、λは照明光の波長であり、φ_Ｄは散乱器１２Ｂの照明サイズである。平均のスペックル特徴サイズは、３次元分解能を決定するファクタの１つである。式（１）によれば、このサイズは、散乱器におけるレーザスポットの直径φ_Ｄおよび／またはレーザ波長λを変化させることにより制御可能である。

スペックルパターンの軸線サイズΔｚは、次の式で表される。

参照面に対するスペックルの横方向のずれのマッチングは、（光投影経路に対してほぼ垂直な）スペックルパターン投影の横平面にほぼ平行な面の対象物ではより容易である。従って、好適な構成では、スペックルパターン伝播の横平面は、対象物上に投影される。言い換えれば対象物に入射する光は、照明領域の大部分に対してほぼ垂直であることが好ましい。

一般的に、２つのスペックルパターンがＣＣＤ上に現れ、一方は散乱器から来る（すなわち対象物上に投影される）一次のスペックルであり、他方は画像化中に形成されたレンズ開口および／または対象物の材料の粗さによる二次のスペックルである。１つの一次スペックルパターンのみに集中するため、次に条件：φ_Ｌ＞＞φ_Ｄが考慮される。ここで、φ_Ｌは画像化レンズのサイズである。

制御システム１６は、測定データに数値アルゴリズムを適用することにより、測定データを処理するように動作して、３次元情報を抽出する。ここで説明するように、本発明のアルゴリズムは、既知の数学的な処理の新規の組合せを含む。本発明は、このアルゴリズムを特異な光装置と合わせて利用し、実時間の３次元マッピングを可能にする。
使用するアルゴリズムは、演算の複雑さが低く、実時間の動作が可能である。以下の説明は、本発明におけるデータ処理の一部として使用されるのに適したアルゴリズムのよい例である。

１つの特別な深さ点を得るために、参照パターンからのその近辺の横ずれを見つける必要がある。このマッチングの１つの可能な実現方法は、相関のピークを探すことであり、画像から１つ以上のウインドウを取り出し、検査点の統計／近辺を再現し、そして例えばそのウインドウと参照画像との相関などのマッチングを演算することにより、実現される。ウインドウは、重なり（オーバーラップ）の量で決められる。カメラの各画素について、深さのサンプルが得られる。達成可能な深さ（３次元）の分解能（Ｚ軸に沿ったδＺ）は、Ｚに応じて変化し、光装置（すなわち、レーザとカメラの相対配置）、スペックル特性（スペックルパターンの特徴）および（カメラの物理的なパラメータである）カメラの解像度にのみ依存する。

３次元再構成が画像マッチングアルゴリズムに基づく上でのアルゴリズムの進め方は、非常に基本的な無駄なラスタ調査から、より複雑な予測に基づく領域成長方法を経て、より高レベルの最大近似またはほかの複雑な画像マッチングアルゴリズムまで進む。各種の進め方は多くのファクタが互いに異なり、より複雑な進め方は、単純なものより正確で雑音の少ないデータを生成するが、演算の複雑さがより大きくなる。

予測に基づく領域の成長方法は、複雑さと性能の間の良好なトレードオフを提供し、次のようなことが分かる。１つの対象物上の２つの近接した点は通常はそれらの間の高さの差が小さいことが特徴であり、いわゆる「対象連続性の仮定」である。従って、ある点の同じ領域（対象物）上の近傍の点からのＺ値（深さ）は、近似的に予測可能である。予測は、検査されて改良され、それが適切であることが分かった場合に、その点は所定の領域に組み合わされる。もし予測／改良が参照との不適切な一致を示していれば、これはＺ差が無視できず検査中の点がその近傍（親）の点から異なる領域に属していることを示す。
さらに、相関のウインドウは部分的なスペックル／エッジ／対象物特性に従って一定であっても（例えば、１６×１６画素ウインドウ）、変化してもよいことに注目すべきである。

以下は、一定のウインドウサイズを有する予測に基づく領域成長アルゴリズムの１つの可能な実現方法の例である。アルゴリズムは次のステップを有する。
（１）関連性／影準備ステップ
ピクチャ（対象物の画像）に渡って（解像度を乗じたＭおよびＮに等しいサンプリング点で（ここでＭとＮは整数である））分解能ステップを行い、サンプリング点が影とマークされる「影」であるか、不明とマークされる関連スペックルウインドウであるかを決定する。さらに、各出力点の状態は維持され、この第１ステージでいくつかの点が不明状態に、ほかが影状態になる。

（２）「新しい領域アンカー（碇）を得る」ステップ
不明の点の個数が全体の出力点の所定の割合より大きい場合に、ランダムな点が現時点で不明状態を有するものとして選択され、参照画像に対するマッチングが実行され、例えば選択された点の回りのＷ_ｘ×Ｗ_ｙのウインドウ画素が参照画像と相関される。
ウインドウサイズＷ_ｘ×Ｗ_ｙは最適化されることに注目すべきであり、一方では「十分な統計／識別」、他方では複雑さと小さな対象物の損傷というトレードオフがある。さらに、幾何的な制約のため、適切な画像化ユニット／投影システムのキャリブレーションで（すなわち、画像化ユニットのＸ軸が画像化レンズの光学的中心と分散器上のレーザスポットの中心を結ぶ線に平行な時）、スペックルパターンの可能な側方ずれは、現在の点から上下に数画素、および現在の点から左右にピクチャの幅の既知の割合を覆う四角形に限定できる（図１に示した実験装置では、カメラはレーザの右側にあり、従ってスペックルずれは、もしマップされる対象物が参照画像より近ければ右に、そうでなければ左に生じる。）

さらに、上記の幾何的な制約内で、調査がある閾値より高い正規化された相関の値を有する点について実行される。もし調べた相関のいずれも閾値に達しないならば、最適な相関の値はそれがより低い閾値を通過するか調べるように選択され、もし通過するのであればこれはスペックルのずれであると判定され、もし通過しなければさらなる調査が必要であると理解され、説明するステップ（２ａ）以下が新しい領域を開始するための決定のために実行される。もし低い閾値より高い相関の点が見つかれば、そのような点が領域アンカーと称され、領域成長がその周りで試みられる。領域を成長させるため、以下のステップ（３）が実行される。

（２ａ）成長領域の決定
マッチに失敗したら、その領域は、この位置での成長可能な領域の存在／不在の十分な証拠を探す試みによりさらに調べられる。十分な証拠を収集することにより、領域成長ステップ（３）が試みられ、その領域内にアンカー（十分に強力な点）が見つかるか、または領域上にある量の一致した点が見つかる正当な領域を表す成長部分が決定される。このようにして、多数決が実行されて領域が残される。十分な証拠が得られない場合には、領域は除かれ、アンカー（第１）点は不良（ＢＡＤ）とマークされ、新しい領域を成長させるための正当なアンカー点を見つけるためにステップ（２）が繰り返される。

（３）領域成長
領域成長は、４接続（左／右／上／下）を使用して成される。現在の例では、領域成長の実現は、非常に単純である。複数のアクティブ点のＦＩＦＯ（先入れ先出し）が使用され、そのような点のそれぞれはすでに参照画像と相関されており、成功したことが証明されている相関である。それぞれに場合で、ＦＩＦＯの組みからの１点が取り込まれ、その４つの近傍が調べられる。不明とマークされた近傍のそれぞれについて、Ｗ_ｘ×Ｗ_ｙ（例えば１６×１６）の参照に対する相関が決定され、スペックルの予測されるずれ付近の小さな四角形（例えば、（０，０）、（−１，０）、（１，０）、（０，−１）および（０，１）のオフセットを有する５点）内について調べられる。予測されるずれは、その開始アクティブ点（「親」クラス点と称する）のずれである。もし良好な相関があれば、その点はアクティブとマークされ、ＦＩＦＯ組に加えられる。もし良好な相関がなければ、その点はエッジとマークされる（その高さは親点の高さに等しく設定される）。ＦＩＦＯが空の時には、領域のエッジがマークされ、処理はステップ（２）に戻り、新しい領域を成長させる。

（４）領域競合
領域競合は、領域エッジの品質を著しく改善するために実行できる。良好な結果をもたらし演算も高価にならない１つの可能な方法は、領域を不明点空間内に成長させるだけでなく、たとえば異なる領域に属する深さが不連続な点空間に成長させるように試みることである。競合の判定基準は相関値であり、点ごとの成功者全取り方法が良好な結果になることが分かっている。

予測および不良点の検出に基づく相関方法の即時停止に基づいて、領域成長アルゴリズムは、深さ回復のための実時間の信頼性の高いツール（道具）を提供するが、その複雑さと品質の間に明確なトレードオフ関係がある。
投影装置（照明ユニット）と投影面（対象物面）の間の距離が長くなると、投影面で得られるスペックルは大きくなることに注目することが重要である。一方、画像化装置の画素サイズは異なるルールの組みに応じて変化する。さらに、スペックルパターンは、傾いた対象物平面に投影されると歪む。スケーリングおよびスペックルパターンの投影歪が不変である相関を得るための方法（アルゴリズム）は、参照スペックルパターンのメリン(Mellin)および対数分解を含む（参考文献１６）。

メリン分解は、スケーリング（尺度）の式を提供する。

ここで、ｆ（ｒ，θ；ｘ_０、ｙ_０）は、ｘ_０，ｙ_０座標の回りで分解された対象物であり、ｆ_Ｎはメリン調和周波数であり、Ｎは調和の次数であり、ｒ_０は分解対象物の最小半径であり、Ｒはその最大半径であり、Ｔ＝ｅｘｐ（ｒ_０／Ｒ）である。もし１つの調和振動が選択されたら、相関の結果はスケーリング不変である。

対数分解が次に説明される。

対象物は、ｘの絶対値がｘ_０より大きくかつＸより小さい範囲内ではゼロでなく、そしてＴ＝ｅｘｐ（ｘ_０／Ｘ）である。１つの調和振動選択は、相関の時に投影歪を不変にする。

スペックルサイズは、投影システムに応じて変化し、画像化システムは光装置により相互に補償ことも可能である。これが実行される方法を理解するために、スペックルパターンのスケーリングの詳細についてここで検討する。
照明ビームをガウスビームとしてモデル化する場合、回折式は、距離Ｚにおけるビーム半径Ｗ（ｚ）の次の依存性を示す。

式（５）において、λはビームの波長であり、Ｗ_０はビームウエストの半径であり（拡散器を照明するビームの直径の半分φ_Ｄ／２に等しく）、Ｚ_Ｒはレイリー距離である。式（５）の近似で、Ｚ＞＞Ｚ_Ｒであると仮定する。
対応するフレネル積分における２次位相ファクタは１より小さいので、レイリー距離は遠視野近似が有効である距離でもあることに注目すべきである。

さらに、本発明の技術では、対象物は各三期からレイリー距離より離れた距離Ｌに位置することが望ましいことにも注目すべきである。ビームウエストからそれぞれのレイリー距離において、（回折限界ビームについての）ビーム面積は２倍になる（この距離は、ウエスト半径、屈折率、および材料内の波長で決定され、空気中における画像化については屈折率はほぼ自由空間の屈折率、すなわち１．０である）。

カメラ１４における光強度Ｉは、（投影器（照明器）１２と対象物１３の間の距離）Ｌと（対象物１３とカメラ１４の間の距離）ｄに、１／Ｌ^２ｄ^２のように依存している。

式（６）の１／Ｌ^２の部分は、スペックルパターンを搬送する投影ビームの発散による。
ガウスビームのモデルは、ビームを全体として表していることに注目すべきである。光ビームの半径Ｗ（ｚ）は、Ｚに比例して増加し、強度密度は１／Ｚ^２に従って減少する。その結果、対象物に照射される光の強度は、１／Ｌ^２に比例する。式（６）の１／ｄ^２の部分は、対象物からカメラに向かって反射されるコヒーレントビームの分散による。

一方、スペックルパターンのより小さい部分は、対象物が光源ユニットからさらに遠い時には、対象物（または対象部分）の上に投影される。対象物のサイズにより定義される間隔に入るスペックルの暗と明のスポット（スペックルパターン特徴）の個数は、対象物のサイズｓの平均スペックルサイズΔｘに比率により次の式で決定される。

対象物からの光が光検出器に反射される時、それはサイズＳ_ＬＤのスポットを形成する（すなわち、Ｓ_ＬＤはフォトディテクタ面上への対象物の投影のサイズである）。

ここで、Ｆは集束（画像化）レンズの焦点距離である。

フォトディテクタ上に投影される平均特徴サイズは、式（８）の式（７）に対する比率で決定される。

好適な構成では、拡散面および検出面（より正確には画像化レンズ１４Ｂの面）は、Ｌ（拡散器と対象物間の距離）とｄ（カメラと対象物間の距離）を実質的に等しくするように配置される。

一方、光装置は、主対物面へ入射する照明光の伝播軸とそこから光検出器へ戻る光の軸の間のゼロでないある角度αを保証し、三角測量を可能にするように構成される。３次元再構成の精度は、δＺ＝δｘ_ＬＤｄ／（Ｆｔａｎα）である（δＺは３次元分解能であり、δｘ_ＬＤは、相関アルゴリズムにより得られる画素面におけるずれの分解能であり、例えばカメラの画素である）。角度αは、Ｌ’／Ｌにほぼ等しく、ここでＬ’は投影器とカメラの間の距離である。

本願発明者による実験的な装置では、マッピングシステムは、次のパラメータを有していた。Ｌ’＝２０ｃｍ、Ｌ≒２ｍ、δｘ_ＬＤ＝６μｍ、およびＦ＝８ｍｍであり、これによりδＺ＝１５ｍｍである。上記から、投影器とカメラの間の距離Ｌ’は、マッピングシステムが所望の分解能、たとえば数ミリメートルで動作するのを可能にするようにあらかじめ選択できることが分かる。

上記のように、実際には拡散器面とレンズ１４Ｂの面は、Ｌ（拡散器と対象物間の距離）とｄ（カメラと対象物間の距離）を実質的に等しくするように配置される。Ｌ＝ｄおよび投影器から画像化ユニットまでの最小距離Ｌ’の両方の要求を考慮するために、Ｌとｄの変化に伴う画像化ユニット（カメラ）上のスペックルサイズの変化を考慮すべきである。
Ｌがｄに等しくない場合のカメラ面上のスペックルサイズは、次の式で表される。

好適な構成では、カメラ面上のスペックルサイズは、対象物のいろいろな部分から反射されるスペックルと同じである。可視の（すなわちカメラ面上での）スペックルの大きさスケーリングは、Ｌ＝ｄであれば抑制される。後者の条件は拡散器とカメラレンズを互いに非常に近接して配置することにより全３次元空間でほとんど保証されるが、実際にはカメラと投影器の間にはある距離Ｌ’が存在する。
Ｌとｄがレイリー距離ＺＲの端数だけ異なることを考慮すると、次の式になる。

ｄでのスペックルのスケーリングのサイズは、次の式になる。

使用するマッチングアルゴリズムは、最大スケーリングファクタγについて、次の式で表される最大可能な可視スペックルサイズと結び付けるのを可能にする。

ここで、Ｌとｄの差、およびそれによるεとＬ’が制限される。

式（９ａ）−（９ｄ）から導かれるように、Ｌがｄに近い、すなわちＬ’が所定のγに対する式（９ｄ）により限界が定められるという事実は、画像化装置に記録されるスペックルの異なる部分に渡る最大でも１＋γのファクタだけ異なるスケーリング（平均特徴サイズ）を提供する。これらのスペックルパターン部分は、画像化装置に関係する異なる位置で対象物から反射され、３次元対象物表面の異なる部分すなわち異なる距離部分に照射された。いずれの場合も、これらの部分の画像は、フォトディテクタの画素で測定した時に、実質的に（１＋γのファクタまでの）同一の特徴サイズを有する。この平均特徴サイズは、参照画像の特徴サイズに実質的に等しい。

このように、対象物画像と参照画像をこれら両方の画像において同一のウインドウを使用して相関させることは正当である。これは、ほかのマッチング操作と同様に相関は、本質的に特定の歪部分に対して有効であり、スペックル特徴サイズ、この有効性に含まれるスケーリングの量に依存しているからである。許容される特別なパラメータγは、特別な装置パラメータおよびパターン特性が与えられるならば、（１＋γ）でスケール（縮尺）されたマッチング基準およびパターンのスケールでないバージョンを考慮することにより、当業者であれば容易に決定可能である。

相関は、対象物の３次元トポグラフィと（スペックル参照パターンを生成する）（平面）参照板の間の差に起因するスペックルパターン部分のずれの決定を可能にする。
Ｌとｄの必要な近似性は、システムの拡散器ユニットと画像化ユニットを、互いの距離が照明光のレイリー距離の係数ε（例えば、０．５）に等しい距離に配置することにより可能になる。

光装置の上で説明したマッチングは、例えばメリン変換などのほかの手段を配置する必要無しに、スケーリング不変にすることを可能にする。傾いた表面に入射するスペックルは、投影の形で最大限歪を生じる。光装置の好適な構成におけるスペックルの照射は、主対物面上の垂直光入射にもっとも近くなることを保証するようにされ、スペックルパターンは歪のある量に本来耐えることが可能であるから、好適な構成では例えば対数変換のようなほかの手段を設ける必要はない。

ほかの好適な構成では、拡散器１２Ｂ、レンズ１４Ｂおよび光検出器１４Ａは、必要な解像度にマッチする画像化スペックルパターンの平均特徴サイズを提供するように構成される。特別な手段を設ける必要無しに、平均スペックル特徴サイズは好ましい約２画素である。カメラ上での平均スペックル特徴サイズΔｘｃａｍは、上記の式（１）および（８）により決定され、ここでは式（８）におけるｓは式（１）のΔｘであり、次のようになることに、注目すべきである。

このような画像化装置は、最大情報が各画素信号で得られるので、最大分解能を得ることを可能にする。

さらに、本発明の光装置は、対象物までの距離の最大範囲を可能にすることに注目すべきである。最小可能距離は、レイリー距離であり（例えば、特別には０．５ｍであるが、本願発明者により使用された例ではこれに限定されない）、最大距離は対象物のサイズおよび対象物でのスペックルサイズで決定される。対象物上に投影されるスペックルの個数は、画素における平均スペックル特徴サイズにより除算された相関ウインドウのサイズより十分に小さくはない。

レーザスペックルに固有の特性の１つは、対象物上への投影が高いコントラストの画像を生じることである。これは、レーザスペックルパターンが高いコントラストで生成されるためであり、レーザスペックルパターンが自己再生により伝播するため、この高いコントラストがレーザスペックルパターンの焦点深度の間維持される。高コントラスト画像は、各画素に対して１または１の値を取る光強度により表すことができ、この高コントラストはほかの方法でも利用可能である。このように、レーザスペックルパターンの高コントラスト特性は、処理データの低減および画像再構成の高速化を可能にする。

式（２）から分かるように、スペックルパターンはＺ方向（縦軸）に沿って変化することに注目すべきである。このように、一定のランダム参照パターン（拡散器）により、参照画像の組みは、投影装置に対する投影面が異なる配置で行われ（これによりこれらの画像はスペックルパターンの縦の変化に従って異なる）、３次元相関が実行される。この場合、得られたアプローチは、無限の３次元マッピングレンジ（奥行き）を可能にする。

ここで、本発明の有利な特徴を確認するいくつかの実験結果を示す図３Ａと図３Ｂおよび図４Ａから図４Ｊを参照する。これらの実験では、画像再構成は図１の装置を使用してビデオレートの実時間で実行された。
図３Ａと図３Ｂは、コーヒーカップの画像再構成を示す。画像化ユニット（図１では１２）は、光源１２Ａとして緑色Ｎｄ：ＹＡＧレーザを利用し、一定ランダムスペックルパターンを投影するためにすりガラス（拡散器）の片（ピース）１２Ｂを利用した。制御システムは、１６×１６画素のスライドするウインドウを利用した相関アルゴリズムでプログラムした。図３Ａは、参照画像（例えば、対象物無しの投影されたスペックルパターン）を表し、図３Ｂは得られた３次元再構成のメッシュを示す。

図４Ａと図４Ｂは、手の３次元マッピングを示す。図４Ａは投影されたスペックルパターンを有する手を示し、図３Ｂは３次元再構成を示す。
図４Ｃと図４Ｄは傾いた平面の投影とマッピングを示す。図４Ｃは投影されたスペックルパターンを有する平面画像であり、図４Ｄは３次元再構成を示す。図４Ｅから図４Ｇはバスケットボールの３次元マッピングを示し、図４Ｅはボールの画像であり、図４Ｆは投影されたスペックルパターンを有するボールであり、図４Ｇは３次元再構成である。図４Ｈから図４Ｊは象のおもちゃの投影およびマッピングを示す。図４Ｈはおもちゃの画像であり、図４Ｉは投影されたスペックルパターンを有するおもちゃであり、図４Ｊは３次元再構成である。表示された再構成の異なる色は、３次元の得られた情報を示すことに注目すべきである。

このように、本発明は、３次元マッピングの新規な方法およびシステムを提供し、そこではランダムスペックルパターンが、対象物の３次元情報をマップするために、およびある参照平面に対するレンジを評価するために、使用される。この技術は、高分解能および実時間３次元情報を抽出することを可能にする。３次元情報は、捕捉した画像内のランダムパターンの参照画像との比較における部分的で相対的な横方向のずれを抽出することにより得られる。この技術は、演算の複雑さが低く、周期的なパターン投影を使用するほかの技術で現れる隠蔽問題がない。使用する光システムは非常に単純である。

本発明は、光検出の明るさを改善可能であることに注目すべきである。これに関連して、以下のことに注目すべきである。
明るさレベルは、光源および／または光検出器から異なる距離にある対象物および／または対象部分で異なる。光検出器アレイの各画素は、直径Δｘ_ｚのスポットからの光を捕らえる。

ここで、δｘは画素サイズである。
検出されたスペックルパターンの明るさは、光検出器の単一画素に到達する信号強度により決定される。

ここで、Ｄは画像化レンズの直径であり、放射が対象物から反射される立体角Ｓｔｒに関係する。
式（１２）から分かるように、検出器で受光される明るさレベルは、１／Ｌ^２に比例し、従って近対象物領域および遠対象物領域は、検出器により距離に応じて異なる明るさレベルで見られ、３次元再構成性能に影響する。付加的なファクタが、対象物の異なる領域の間の異なる反射係数(albedo)の差である。

制御システムは、所定の閾値で明るさレベルを比較することにより、スペックルパターンにおける光スポットを特定できる。しかしながら、このようなアルゴリズムは光源により近接して位置する対象物（または対象部分）のより明るいスポットを特定する。さらに、光スポットは、光源により近接して位置する対象物に対して、より大きな面積で異なる形状を有する。一方、この効果は３次元再構成およびレンジ（距離）決定に利用できる。他方では、この効果は相関方法の間またはその前に考慮することが望ましい。

図５を参照すると、そこにはブロック図で、本発明のマッピングシステム６０のほかの例が示されている。理解を容易にするために、同一の参照番号は本発明のすべての例で共通の要素を示すのに使用される。システム６０は、対象物１３上にレーザランダムスペックルパターンを照射するように構成された照明ユニット１２と、画像化装置１４と、明るさ制御器（調整器）２５と、を有する。調整器２５は、カメラの視野内の明るさ変化およびシステムによるこの変化の認識を制御するように構成されている。調整器２５は、マップ可能なレンジを増加させる機構を構成する。マッピングシステムでは１個以上の調整器が使用されるものと理解される。

図５の例では、調整器２５は制御ユニットのデータ処理および解析部１６Ｂ内のサブ部として実現される。このようなサブ部は上記のメリン変換を実行する。
いくつかの実施例では、明るさ調整器２５は、カメラの視野の異なる領域間の照明明るさの変化を低減するように構成され、光伝播経路内のどこかに配置される光ユニットとして実現される。例えば、調整器は光ユニットとして実現され、光源１２Ａまたは拡散器１２Ｂと一体にされるか、または拡散器１２Ｂの照明経路の下流または光源１２Ａと拡散器１２Ｂの間に配置される別のユニットでもよい。

同様に、調整器２５は、光検出器と制御ユニットの間に位置するアナログ処理ユニットとして、または光検出器１４Ａまたは制御システム１６の一部として実現できる。１つの例では、明るさレベルは、自動利得制御（ＡＧＣ）の部分調整により、すなわち各画素または画素群でのアナログ読み出しの増幅制御により制御される。これは、より一様の明るさレベルを有するデジタル画像を受けることを可能にする。これにより、ある固定ダイナミックレンジを有する光検出器でマップ可能なレンジを広げることを可能にする。
調整器２５は、明るさレベルを制御するように構成される（光プロセッサまたはデジタルプロセッサである）か、明るさレベルの再現を制御するように構成される（検出器出力に関係づけられる）。例えば、光プロセッサとして構成された調整器２５は、デジタルサンプリングの前に光座標変換を実行できる。このような光座標変換は、サドル点積分技術または多重面アプローチを使用して、直交座標（ｘ、ｙ）を極座標（ｌｏｇｒ，θ）に変換するステップを含む（例えば、Zeev Zalevsky, David Mendlovic "Optical implementation of the Bode transform", Applied Optics, Vol. 34, Issue 5, pp. 828-(February 1995)。

以下の説明は、本発明に従って構成され動作する光マッピングシステムのある特別な例を示すが、これに限定されるものではない。
図６Ａは、回折要素１２Ｄが対象物へのスペックルパターンの伝播光路内に収容されたマッピングシステム８０を示す。回折光要素は、光源から異なる距離にある平面に対するコントラスト（相対的な明るさ）を低減する調整器２５として構成できる。この例では、調整器２５は、拡散器と一緒にされるかまはたそれに付けられる。調整器２５は、減少するビーム発散の非回折ビーム（縦方向において）を生成する。これは、例えば放射軸に沿ってランダム分布を角度軸に沿って対称性を有する（リング構造を有する）特別な半ランダム化位相光要素と、それに付けられたランダムパターン発生器の広げた焦点深度を提供する円錐状要素であるＡｘｉｃｏｎ（図示せず）を組み合わせて実現される。Ａｘｉｃｏｎ無しのリングベースの拡散器のようなものでも焦点深度を広げられることに注目すべきである。

図６Ｂは、このような円錐状回折要素２５の動作原理の概略を示す。要素２５は、拡散器１２Ｂに近接して配置され（例えば拡散器に付けられ）、ビームスポットに対する非回折ビームを生成するように構成されて動作し、スペックルがスポット内に現れるようにする。要素２５を光が通過することにより、３つの異なる連続領域が生成される。その１つは一定の回折領域である光伝播領域Ｒ_１であり、別の１つは目標が現れる対象の体積である光伝播領域Ｒ_２であり、さらに別の１つはやはり一定の回折が得られる領域である光伝播領域Ｒ_３である。典型的なＡｘｉｃｏｎ動作を考慮すると、対象物は領域Ｒ_２に配置されるので、反射光は領域Ｒ_３に現れるように一定の回折法則を満たす。断面は、裏面と裏面が合わされた２個のプリズムに類似していると考えることが可能であり、これにより断面領域を照明するビームは、干渉が発生し回折ビームが形成されない中心に向かって方向を変えられる。回折要素２５は、領域Ｒ_２内にレーザスペックルパターンを搬送するビームのより小さい発散を行う。これにより、光強度は、光源から距離Ｌで、上記の式（１２）の強度よりさらにゆっくり変化する。これは、明るさレベルの光源からの距離への依存を小さくしてより一様にする。

図６Ａの例では、回折要素１２Ｄは、明るさ調整を含むまたは含まない各種の機能を実行するように構成されていることに注目すべきである。もし回折光要素（ＤＯＥ）が拡散器に（物理的に接触するまで）近接して配置されている場合、拡散器の後のレーザビームの光路内では、遠視野における光視野は、スペックル遠視野分布とＤＯＥのフーリエ変換の間のコンボルーションである。これにより、各種の機能（例えばスペックル整形）は、図６Ａの光装置で達成可能である。ほかのアプローチは、Ｚ軸に沿ったΔｚのセグメントの分離を可能にする３次元マッピング分解能を提供する。観察される対象物がマッピング分解能Δｚより大きなＺ軸に沿った変化を有する場合、歪（例えば、対象物として傾いた表面）が生じる。それらの歪は、主として参照探索のための領域が十分に横にずれているために生じる。歪は対象物の歪を刈り取ることにより特定できる。このため、スペックルの整形が使用できる。例えばスペックルが楕円形を有するならば、刈り取ったスペックルは元のスペックル形状における変化に従って検出できる。この装置で使用される回折光要素１２Ｄは、フーリエ変換が例えば強度の楕円形の断面（例えば傾いた線）を生成するような位相だけの要素である。このようなＤＯＥは、例えば以下の文献に開示された技術に基づいて設計できる。Z.Zalevsky, D.Mendlovic and R.G.Dorsch, "The Gerchberg-Saxton Algorithm Applied in the Fractional Fourier of the Fresnel Domains," Opt. Let. 21, 842-844 (1996); ほかの公知の方法が使用できる。

図７を参照すると、本発明のマッピングシステムで使用するのに適した投影モジュール９０のほかの例が示されている。装置９０は、レーザ源１２Ａ、拡散器１２Ｂ、第１集束レンズ１２Ｃ、回折光要素１２Ｄ、および第２集束レンズ１２Ｅを有する。これらの要素は、いわゆる４−Ｆフーリエ変換器として配置されている。拡散器１２Ｂは、レンズ１２Ｃの後方焦平面にあり、解説要素１２Ｄはレンズ１２Ｃの前方焦平面におよびレンズ１２Ｅの後方焦平面にあり、レンズの焦点長は等しい。レンズ１２Ｃは、拡散器１２Ｂにより発生されたスペックルパターンのフーリエ変換を印加する。回折要素では、その移送機能がスペックルパターンのフーリエ変換で拡大される。そして、レンズ１２Ｅは、拡大により得られる積関数の逆フーリエを生成する。これにより、対象物が配置される（Ｚがレイリー距離より大きい）遠視野近似では、スペックルランダム分布は要素１２Ｄで拡大される。

１つの例では、要素１２Ｄは、要素１２Ｄは強度等化マスクとして実現できる。強度マスクは、遠視野内に所定の光強度を提供するように、透明機能が選択される。例えば、要素１２Ｄは、その中心より周辺領域がより透明であるマスクである。投影光は、マスクの透明度およびスペックルパターンで決定される。この方法で、光強度分布は、横方向平面内で特により一様にすることができる。要するに、この要素は投影されたスペックルパターンのエネルギ分布の均質化に寄与できる。

このように、本発明は、３点測量の原理に基づいて、簡単で安価な光装置を使用して効果的な３次元対象物再構成技術を提供する。本発明は、単一画像のみを使用でき、単一の固定して取り付けられたカメラで動作可能で、対象物までの可能な距離の範囲を大きくすることが可能である。

図１は、３次元対象物を再構成するための、本発明の光システムの例を示す概略図である。図２は、本発明の方法における主ステップのフロー図である。図３Ａは、実験結果を示し、参照画像（例えば、投影スペックルパターン）を示す。図３Ｂは、実験結果を示し、３次元再構成を示す。図４Ａは、さらなる実験結果を示し、手の投影を示す。図４Ｂは、さらなる実験結果を示し、手のマッピングを示す。図４Ｃは、さらなる実験結果を示し、傾いた平面の投影を示す。図４Ｄは、さらなる実験結果を示し、傾いた平面のマッピングを示す。図４Ｅは、さらなる実験結果を示し、バスケットボールの投影を示す。図４Ｆは、さらなる実験結果を示し、バスケットボールのマッピングを示す。図４Ｇは、さらなる実験結果を示し、バスケットボールのマッピングを示す。図４Ｈは、さらなる実験結果を示し、象のおもちゃの投影を示す。図４Ｉは、さらなる実験結果を示し、象のおもちゃのマッピングを示す。図４Ｊは、さらなる実験結果を示し、象のおもちゃのマッピングを示す。図５は、明るさ調整器を利用する本発明のシステムの例の概略を示す。図６Ａは、明るさ調整器を利用する本発明のシステムの例の概略を示す。図６Ｂは、明るさ調整器を利用する本発明のシステムの例の概略を示す。図７は、明るさ調整器を利用する本発明のシステムの例の概略を示す。

Claims

対象物の再構成に使用するシステムであって、
（ａ）コヒーレント光源と、前記光源から対象物へ伝播する照明光の光路内に収容されたランダムスペックルパターン発生器とを備え、そして、前記対象物上へコヒーレントなランダムスペックルパターンを照射する照明ユニット、
（ｂ）照明領域の光応答を検出する画像化ユニットであって、単一の固定視野を有する単一の固定据え付けのカメラが実装され、前記照射されたスペックルパターンを有する前記対象物を示す画像データを発生する画像化ユニット、および
（ｃ）前記パターンの参照画像に対する前記対象物の前記画像内の前記パターンのずれを検出し、前記参照画像に対する前記対象物上の前記パターンの前記ずれに基づいて、三角測量法を使用して前記対象物の三次元マップを再構築するように動作可能な制御ユニット、を備え、
前記パターン発生器および前記画像化ユニットは、前記パターン発生器および前記画像化ユニットから前記対象物までに実質的に等しい距離になるように向けられており、互いに前記照明光のレイリー距離の数分の一以内に位置しているシステム。
前記パターン発生器は、ランダム位相を付加することにより入射する光を拡散する光拡散器を備える請求項１に記載のシステム。
前記制御ユニットは、前記参照画像を示す前記データを利用して前記画像間の相関を決定するように、前記画像を処理および解析するようにプログラムされている請求項１に記載のシステム。
前記照明光の伝播と前記画像化ユニットの光収集の間の交差により形成される測定体積を規定するように構成され、前記パターン発生器からレイリー距離より遠い距離にある前記対象物の画像化を可能にし、前記測定体積内の各点は前記照明光の伝播光路と前記光収集の伝播光路との間の交差角度を規定する請求項１に記載のシステム。
前記画像化ユニットの画素面上の平均スペックル特徴サイズの最小値Δｘ_ｃａｍが、

により決定されるように構成され、ここでＦは画像化レンズの焦点長であり、φ_Ｄは前記パターン発生器の照明スポットサイズであり、λは前記照明光の波長である請求項１に記載のシステム。
前記画像化ユニットの視野の異なる領域間の照明明るさの変化を低減するように構成された調整器を備える請求項１に記載のシステム。
前記調整器は、回折光要素を備える請求項６に記載のシステム。
前記回折光要素は、前記パターン発生器と一緒に動作して、前記照明光の伝播光路に対する横平面内の明るさを調整するように構成されている請求項７に記載のシステム。
前記回折光要素は、前記照明光の伝播に対して前記パターン発生器の下流に収容される位相のみの要素であり、前記照明光の伝播光路に対する横平面内の明るさを調整するように構成されている請求項７に記載のシステム。
前記照明ユニットは、４−Ｆフーリエ変換器として構成される請求項９に記載のシステム。
対象物の実時間再構成に使用する方法であって、
（ｉ）照明コヒーレント光により形成されたランダムスペックルパターンを前記対象物に照射すること、
（ii）単一の固定視野を有する単一の固定据え付のカメラを使用して、前記対象物からの光応答を検出し、前記照射されたスペックルパターンを有する前記対象物の画像データを発生すること、および
（iii ）前記パターンの参照画像に対する前記対象物の画像内の前記パターンのずれを決定し、そして、前記参照画像に対する前記対象物上の前記パターンの前記ずれに基づいて、三角測量法を使用して前記対象物の三次元マップを再構築するように前記画像データを処理すること、を含み、
前記対象物は、パターン発生器から、前記対象物と光検出器の間の距離に実質的に等しい距離に配置され、前記パターン発生器および前記光検出器は、互いに前記照明光のレイリー距離の数分の一以内に位置している方法。
前記処理は、前記画像と前記参照画像の間の相関の決定を備える請求項１１に記載の方法。
前記照明光の伝播と光収集の間の交差は測定体積を規定し、前記測定体積はスペックルパターン発生器からレイリー距離以上離れた距離の前記測定体積内の前記対象物の画像化を可能にし、前記測定体積内の各点は前記照明光の伝播光路と前記光収集の伝播光路との間の交差角度を規定する請求項１１に記載の方法。
光検出器の画素面上の平均スペックル特徴サイズの最小値Δｘ_ｃａｍが、

により決定され、ここでＦは画像化レンズの焦点長であり、φ_Ｄは前記パターンを発生する拡散器上の照明スポットサイズであり、λは前記照明光の波長である請求項１１に記載の方法。
前記光検出器の視野の異なる領域間の照明明るさの変化を低減することを備える請求項１１に記載の方法。
回折光要素を通して前記パターンを投影することを備える請求項１５に記載の方法。
前記光応答の前記検出は、安定視野を規定する単一の光検出器により実行される請求項１１に記載の方法。
前記対象物の３次元マップを示すデータをマン・マシーン・インターフェースに入力することを備える請求項１１に記載の方法。