JP2016514984A - ３次元の画像形成を行うための方法及びシステム - Google Patents

Abstract

３次元の画像形成方法が提供される。この方法では、手持ち式スキャニング装置で被写体の第１の３次元図が取り込まれる第１の位置での前記スキャニング装置の視域の第１の２次元画像を記憶し、前記スキャニング装置が前記第１の位置から第２の位置に移動する間に、前記第１の画像に対する前記第２の位置での前記スキャニング装置の視域の第２の２次元画像の位置測定値を推定し、前記位置測定値に基づいて、フィードバックをユーザに提供するための命令を生成する。尚、前記フィードバックは、第２の３次元図を取り込むために前記第２の位置が適しているかどうかを示すために提供される。３次元の画像形成システムも同様に提供される。

Description

本発明は、物理的被写体の３次元（３Ｄ）の画像形成に関し、より具体的には、ユーザが自由に操作する手持ち式スキャニング装置を用いて、３次元の画像形成を行うための方法及びシステムに関する。

映画及びビデオゲームの製作、コンピュータ支援工業設計、矯正器具及び義肢、リバースエンジニアリング及び試作モデルの作成、品質管理及び検査、文化財の文書化などの幅広い応用範囲において、３次元（３Ｄ）の画像形成技術はますます重要な役割を果たすようになってきた。一般の人による３次元の画像形成技術の幅広い使用を促進するために、結像光学系を備えて構成された電子型手持ち式３Ｄカメラの製品が開発されてきた。その携帯性により、ユーザはこのようなカメラ装置を容易に操作して、実在の被写体又は環境を必要に応じて分析することが可能となる。

一般的に言えば、３Ｄカメラの製品は、被写体の形状及びおそらくはその外観のデータを収集し、データポイントとしてそのデータを３次元空間内に記録するよう設計されている。被写体の表面上の幾何学的サンプルのポイントクラウドが取得されると、これらのポイントを用いて、被写体の形状を推定することができる。例えば、これらのポイントは三角形状のメッシュに変換され、コンピュータ支援設計のモデルとなる。ほとんどの状況で、完全な被写体のモデルを作成するためには、様々な方向からの複数回のスキャニングが必要であり、通常は、特定の透視図での１回のスキャニングで少なくとも１つの３Ｄ図が得られる。次いで、複数の３Ｄ図は、完全な３次元モデルに組み立てられる。この処理は、通常「スティッチング」処理と呼ばれる。

様々なスティッチング・アルゴリズムが開発されており、それらのほとんどで、最後に取得した画像と、その前に取得した画像とを適切に重ね合わせて、良好で効率的なスティッチングを保証し、それに伴って、３Ｄモデルの質を向上させることを必要としている。ユーザが自由に操作可能な、すなわち、被写体に対してほとんどランダムな方向又は位置から被写体の３次元図を収集することができる、手持ち式３Ｄカメラ、すなわち、スキャニング装置の製品の場合、スティッチング処理に関する特有の問題が生じるおそれがある。というのも、ランダムに取り込まれる画像は、所望の結果を導くことなく、単に再現をかく乱させ、計算に対して余分な負荷を与えるだけであり得るためである。従来技術では、スティッチング処理に関して有用な情報が、取り込まれる３Ｄ図に含まれ得るよう、３Ｄ図の取り込みの途中で、どのようにスキャニング装置を適切に配置させるかに関するガイダンスがユーザに提供されていない。それどころか、操作者が現場において自分で判断しなければならず、それにより、余分なスキャニングが行われ、膨大な計算時間が必要となり得、その一方で、その結果は正確さに欠けていることがたびたび発生する。

したがって、本発明の目的は、手持ち式スキャニング装置を用いて個々の３Ｄ図を自由に取り込む間に、３次元画像の形成手順に対するリアルタイムのフィードバックを提供する方法及びシステムを提供し、これにより、この汎用タイプの既知の装置における上記の欠点を克服し、より効率的で正確な３Ｄの再現を可能にすることである。

上述の目的及びその他の目的を鑑み、３次元画像形成の方法が提供される。この方法では、手持ち式スキャニング装置で被写体の第１の３次元図が取り込まれる第１の位置での前記スキャニング装置の視域の第１の２次元画像を記憶し、前記スキャニング装置が前記第１の位置から第２の位置に移動する間に、前記第１の画像に対する前記第２の位置での前記スキャニング装置の視域の第２の２次元画像の位置測定値を推定し、前記位置測定値に基づいて、フィードバックをユーザに提供するための命令を生成する。尚、前記フィードバックは、前記第２の位置が第２の３次元図を取り込むために適しているかどうかを示すために提供される。

本発明の別の態様では、３次元の画像形成を行うシステムも提供される。前記システムは、ユーザが自由に操作して被写体の３次元図を取り込む手持ち式スキャニング装置と、被写体の第１の３次元図が取り込まれる第１の位置でのスキャニング装置の視域の第１の２次元画像を記憶し、前記スキャニング装置が前記第１の位置から第２の位置に移動する間に、前記第１の画像に対する前記第２の位置での前記スキャニング装置の視域の第２の２次元画像の位置測定値を推定し、前記位置測定値に基づいて、フィードバックをユーザに提供するための命令を生成するよう構成される処理ユニットと、前記処理ユニットからの前記命令に従って、前記フィードバックをユーザに提供するよう構成されるフィードバックユニットと、を含む。尚、前記フィードバックは、前記第２の位置が第２の３次元図を取り込むために適しているかどうかを示すために提供される。

本発明では、新しく取り込まれる３Ｄ図に対する、その前に取得された３Ｄ図の位置に関する、直接認知可能なフィードバックが提供され、これにより、ユーザは、新しい３Ｄ図に関して自分で配置したスキャニング装置の位置が３Ｄモデリングに対して適しているかどうかを完全に認識することができる。このフィードバックは、３Ｄ図に対応するスキャニング装置のファインダー内での２次元画像の追跡に基づく。このフィードバックは、３次元空間における、いずれのスティッチング・アルゴリズムとも関係がないため、顕著な処理コスト及び処理時間の増加が、本発明によって引き起こされることはない。それどころか、スキャニング装置の操作者が、効果的なスキャニングがどこで行われるかを知ることができるため、３Ｄスティッチング処理が速度と品質の両方に関して大幅に向上する。

その他の本発明の特徴、その特質及び種々の利点は、添付図面とそれに続く特定の好ましい実施形態の詳細な説明によって明らかにしていく。

下記の添付図面に示される通り、本発明の上記の目的及びその他の目的、特徴、並びに利点は、以下の好ましい実施形態に関する、より具体的な説明により明らかにする。

本発明の一実施形態による、３次元の画像形成を行うシステムを示す図である。 本発明の一実施形態による、３次元の画像形成処理を示すフローチャートである。 もう一方の２次元画像に対する、スキャニング装置の視域の一方の２次元画像の位置測定値を推定するための処理を示すフローチャートである。 本発明の一実施形態による、ユーザにフィードバックを提供するための画像を示す図である。 本発明の一実施形態による、ユーザにフィードバックを提供するための画像を示す図である。 本発明の一実施形態による、ユーザにフィードバックを提供するための画像を示す図である。 本発明の別の実施形態による、ユーザにフィードバックを提供するための画像を示す図である。

本発明は、種々の修正形態及び代替的な構造にまで及んでいるが、本発明の実施形態を図面に示し以下に詳細に説明する。しかし、具体的な説明及び図面により、本発明を開示された特定の形態に限定することを意図していないことは理解されよう。それどころか、特許請求されている発明の範囲は、添付されている請求項で示される本発明の範囲内の全ての修正形態及び代替的な構造を含むことを意図する。

本明細書の文脈において定義されない限り、本明細書中で使用される全ての技術用語及び科学用語は、本発明が属する技術分野の当業者が理解することと同じことを意味する。

３次元の画像形成のために３次元スキャニング装置を操作するユーザにリアルタイムのフィードバックを提供する技術を以下に説明するが、本明細書で開示する発明の概念は、このような用途には限定されず、様々な画像形成の用途で有効に用いられることは言うまでもない。例えば、本明細書に記載されているシステム及び方法は、リアルタイムのフィードバックを行うことによって画像形成が向上し得る、２次元画像形成システム又はその他の用途で有効に用いられ得る。このような全ての変更形態及び代替的実施形態は当業者には明らかであり、本開示の範囲内であることを意図する。

さらに、非限定的な実施例として、歯科インプラントの画像形成での使用を例として、本開示の方法及び装置は説明され得る。しかし、スキャニング装置を用いてユーザの自由な制御の元で被写体に対する任意の方向から取り込まれるいくつかの３Ｄ図のスティッチングに基づいて、３次元における被写体表面の生成が行われる、同様の３Ｄ画像の形成手順にも本開示の教示が適用可能であるということは理解されよう。

図１は、本発明の一実施形態による、３次元の画像形成を行うシステムを示す図である。システム１００は、口腔内に義歯を移植するために設計された補綴歯科の手順に適応可能であり、歯冠などの補綴物を作成するための３次元モデリング結果を提供する。図１に示される実施形態によると、システム１００は、手持ち式スキャニング装置１０１、処理ユニット１０２、及びフィードバックユニット１０３を少なくとも含むことができる。

図１に示す通り、この手持ち式スキャニング装置は、プローブの形状を有し、ユーザにより自由に操作可能である（すなわち、配置可能である）。しかし、その可搬性及び操作性における十分な利便性をユーザに提供する限り、この種の手持ち式スキャニング装置（本明細書では、単にハンドピースとも呼ばれる）は、あらゆる形態で構成可能である。基本的に、この手持ち式スキャニング装置１０１はユーザにより操作されて、様々な位置から被写体の３次元図を取り込むことが可能であるが、例えば、取り込まれる３Ｄ図の順序には、通常、ルールは存在しない。例えば、例示している実施形態では、ハンドピース１０１は口腔内カメラとして機能可能であり、被写体は患者の顎、歯、又は歯茎でよい。

この処理ユニット１０２は、図２に示すステップを実行するよう構成され得、この図２には本発明の一実施形態による３次元の画像形成処理が示されている。具体的には、被写体の第１の３次元図が取り込まれる第１の位置でのスキャニング装置１０１の視域の第１の２次元画像を記憶し（Ｓ２０１）、スキャニング装置１０１が第１の位置から第２の位置に移動する間に、第１の画像に対する第２の位置におけるスキャニング装置１０１の視域の第２の２次元画像の位置測定値を推定し（Ｓ２０２）、この位置測定値に基づいて、フィードバックをユーザに提供するための命令を生成する（Ｓ２０３）ように、この処理は構成されている。本発明の実施形態では、このフィードバックは、３次元の画像形成手順におけるスティッチング処理を行うための第２の３次元図を取り込むために第２の位置が適切であるかどうかを示すために提供される。

処理ユニット１０２は、図１ではパーソナルコンピュータとして示されている。この処理ユニット１０２は、例えば、全ての好適な処理プラットフォーム、コンピュータプラットフォーム、コンピュータ装置、処理装置、コンピュータシステム、処理システム、コンピュータ、プロセッサ等で実装可能であり、特定の用途に関して好適な、あるいは特定の設計の要求事項に従った、ハードウェア、及び／又はソフトウェアの全ての好適な組合せを用いて実装可能であることは理解されよう。

上述した通り、被写体の表面全体の図を取得するために、異なる視野から複数の３Ｄ図を連続して取り込み、種々のスティッチング・アルゴリズムを用いて、同時に各図の３次元データを１つに「スティッチング」する、あるいは、既存の３次元のモデルにスティッチングすることができる。どちらにしても、良好で効率的なスティッチング処理を行い、モデリング結果の質を高めるために、取り込まれる３Ｄ図どうしの間での適切な重なり合いが重要である。ユーザは手持ち式装置を自由に制御することによる恩恵は得ているが、３Ｄモデリング手順の効率及び正確さを向上させるために、どこにハンドピースを配置させるかについては完全には認識していない。スキャニング装置の視域の視覚画像を供給するよう構成される３Ｄ画像形成システムでは、大抵の場合、スキャニング装置の移動後、現在表示されている画面上のビデオ画像に対して、最後の３Ｄ図が取り込まれる位置に関する手がかりはユーザには与えられない。

２つの３Ｄ図の取り込みと取り込みとの間（すなわち、一方の３Ｄ図が取り込まれ、他方のスキャニングが実行されるまでの間）で、ユーザにフィードバックを提供するための命令を生成するよう処理ユニット１０２は構成されている。このようなリアルタイムのフィードバックのおかげで、スキャニング装置１０１の現在の配置が、別の３Ｄ図を取り込むために適しているかどうかを、ユーザは警告され、あるいは知ることができ、このことがこのスティッチング処理の強みとなる。

上述した通り、最後の３Ｄ図が取り込まれる前の位置での、スキャニング装置１０１の視域の記憶画像（すなわち、第１の画像）に対する、スキャニング装置１０１の現在の位置での視域の２Ｄ画像（すなわち、第２画像）の推定位置測定値に基づいて、フィードバックをユーザに提供するための命令が生成される。例えば、この位置測定値は、第１の画像と第２の画像との間の重複部として、あるいは第１の画像と第２の画像との間の回転角度として推定される。本発明の一実施形態では、重複部が３０％を超えて推定された場合、あるいは回転角度が３０度未満で推定された場合、フィードバックが提供されて、新しい３Ｄ図が取り込まれる、第２の位置がスティッチング処理に対して許容可能であることが示される。

３Ｄ画像の形成手順が確実にうまくいくように、最後のスキャニングで取得されるメッシュ面を伴う新しい３Ｄ図の重複部を推定することを目指す。スキャニング装置の移動中に取り込まれるデータの３Ｄ再現図に基づくユーザガイダンスによって、より安定した結果が提供されるが、これにはリアルタイムの制約、及びアルゴリズムの複雑さという問題もあり、ほとんど恩恵を得られない。これとは対称的に、本発明の実施形態では、スキャニング装置の配置によりフィードバックが行われるため、３Ｄ再現アルゴリズムとは関係がない。対応する２Ｄ画像どうしの重複部により、３Ｄ図どうしの重複部が反映され得ることを想定して、単に対応する２次元画像どうしの相対位置を測定することにより、新しい３Ｄ図に関する位置の候補が評価される。遠近的に見ることで被写体の表面が遮断される可能性のあることと、３Ｄ図の一部の欠けること（例えば、低い反射率領域の信号の欠如による）がこの想定が有効ではない２つの理由である。しかし、本発明の目的は、単に操作者をガイドし、参考情報を提供するだけであり、この測定の精度が極端に高い必要はない。次に、図３に関して、位置測定値を推定する処理の一例を説明する。

フィードバックユニット１０３は、処理ユニット１０２からの命令に従って機能するよう設計されている。すなわち、処理ユニット１０２により生成される命令に従って、前記フィードバックをユーザに提供するよう設計されている。

図１に示す実施形態では、フィードバックユニット１０３はモニタとして実装され、スキャニング装置１０１の視域のライブビデオ画像がこのモニタに写し出され、操作者が被写体に対してスキャニング装置を配置する際の手助けとなる。本発明の一実施形態では、この場合、ライブビデオ画像に重ねられる第１の画像の描写の表示も、フィードバックを提供するための命令の中に含むことができる。このように第１の画像にサインを重ね合わせることにより、スキャニング装置１０１が現在どこに配置されているか、最後のスキャニングが行われた位置に対してスキャニング装置がどのように移動しているか、の両方の情報がユーザに示される。リアルタイムの追跡による効果を得るために、スキャニング装置１０１が最後のスキャニングが行われた位置から移動している様子をユーザがはっきりと見ることができるよう、描写の位置及び外観は前記スキャニング装置の移動によって変化するよう構成され得る。

図４ａ、図４ｂ、及び図４ｃには一実施例が示されており、この実施例では第１の画像の描写は、内部に十字を有する長方形である。図４ａには、最後の３Ｄ図が取り込まれたときの、第１の位置でのスキャニング装置１０１の視域、すなわち、長方形及び十字が全く変形していない状態で画面の真ん中に配置された第１の画像が示されている。図４ｂには、スキャニング装置１０１が第２の位置に配置されているときのスキャニング装置１０１の視域が示されており、この第２の位置では、画面上の長方形及び十字が変形し移動することにより、最後のスキャニングが行われた位置に対して、スキャニング装置が回転、平行移動、傾いていることを反映することができる。フレームを色分けすることにより、３Ｄ図を取得するための好適な位置を示している。図４ｃには、スキャニング装置１０１が別の第２の位置に配置されたときのスキャニング装置１０１の視域が示され、この位置が３Ｄ図の取得には推薦できない位置であることがオレンジ色のフレームにより示されている。いくつかのケースでは、スキャニング装置が最初の位置から遠く離れてしまうため、第１のフレームの描写は部分的にしか表示されない。

現在の位置が別の３Ｄ図を取り込むために適しているかどうかを直接認知可能な表示を提供するために、第１のフレームの描写は、第１の色、例えば、第２の位置が適していることを示すグリーン（図４ｂ）と、第２の色、例えば、第２の位置が適していないことを示すオレンジ（図４ｃ）と、を提示するよう構成されていることが好ましい。

本発明の別の実施形態では、スキャニング装置１０１に統合される、例えば、本体のスキャニング装置の一側面に取り付けられる発光要素としてフィードバックユニット１０３を実装することができる。例えば、この発光要素には、全ての光プロジェクタ、及び発光ボタンすなわち発光ダイオードが含まれ得る。本発明の一実施形態では、ハンドピースの取り込み用のボタンの周りにＬＥＤリングが備えられ得、このＬＥＤリングが光の色を変化させる。この発光要素は、第１の色、例えば、第２の位置が適していることを示すグリーン、及び第２の色、例えば、第２の位置が適していないことを示すレッドを発光することができる。この場合、処理ユニットの表示を見ることなくハンドピースから直接発光されている色を見ることにより、取り込み画像の全てのライブ映像が供給されているかどうかにかかわらず、ユーザはスキャニング装置をどのように配置させるかを確認することができる。

本発明のさらに別の実施形態では、フィードバックユニット１０３はイメージプロジェクタとして実装され得る。スキャニング装置１０１が移動したときのフィードバックはイメージプロジェクタを介した被写体上の投影画像により提供され得る。

図５には、被写体が患者の歯である歯科の用途において、イメージプロジェクタを介したフィードバックを提供するための例示的な図が示されている。この投影画像は、コンピュータ画面上に映し出された、変形した長方形と十字でよい。あるいは、既に取り込まれている３Ｄ図投影像でよい。右側の３Ｄ面は、第１の位置で取り込まれたものである。第１の画像に対する第２の画像の推定位置測定値に基づくと、グリーンで示され得る長方形の内側のビデオフレームに３Ｄ面を右側から配置するための情報を十分に得ることができる。すなわち、このイメージプロジェクタは、現在の図に対して適切な位置で、右側の３Ｄ面を歯の表面に直接投影するよう構成されている。このライブ映像は、説明のため、左側に映し出されているが、実際には、ユーザはこの口の中の３Ｄ面を、画面を見ることなしに、自分の目で見ることができる。

２回の取り込みの間で適切なフィードバックを行うことにより、スキャニング装置を任意の位置及び方向で配置することで生じる、かく乱情報すなわち無駄な情報が大幅に削減されるため、計算リソースをある程度まで節約することが可能である。３Ｄ画像形成のためのスティッチング処理を、より円滑に、かつ、効率的に実行することができ、それに伴い、最終的な結果の精度も向上する。

図１に示すシステム１００の構造は、例示する目的でのみ提供されていることは、当業者には理解されよう。スキャニング装置１０１、処理ユニット１０２、及びフィードバックユニット１０３は、別々のユニットとして示されているが、これらを一体型として実装することも可能である。例えば、処理ユニット１０２は、ハンドピース装置内に統合可能であり、このハンドピース装置が、リアルタイムのフィードバックを提供するための画面をさらに備えることができる。別の実装形態では、スキャニング装置１０１と通信するためにラップトップコンピュータが用いられる場合などは、フィードバックユニット１０３も処理装置に組み込むことができる。通常、本発明の実施形態では、互いに分離され得る、あるいは全体的又は部分的に組み合わされ得るユニット及び／又はサブユニットを含むことができ、これらは専用プロセッサ、多目的プロセッサすなわち汎用プロセッサ、又は制御装置、あるいは当技術分野では既知の装置を用いて実装され得る。

尚、２次元でのスティッチングは、３Ｄのスティッチング手順と比べると、それ程複雑ではない。スティッチングされる２つの画像上の対応する画素間の空間変換に関する情報を含む変換行列が２次元のスティッチングにより提供される。このような変換行列は、通常、正方行列として作成され、この正方行列により、一方の画像上の２Ｄポイントと第２の画像上の対応２Ｄポイントとの間の線形関係が提供される。本発明の分野では、２Ｄポイント（ｘ，ｙ）は、同次座標（ｘ，ｙ，１）を用いて表される。同次座標に関して、このような変換行列は射影変換行列として規定される。コンピュータビジョンの分野では、空間内の同じ平面のいずれの２画像も、射影変換行列により関連付けられる。２Ｄ画素の座標を（ｘ_２，ｙ_２）から（ｘ_１，ｙ_１）に変換するための通常の３×３の射影変換行列Ｈは、以下のように表すことができる。：
となるような
但し、「ｗ」は遠近パラメータであり、その等式により決定される。

ｈ_３１＝ｈ_３２＝０、かつｈ_３３＝１の擬似変換の場合、擬似変換から残された６つの自由度に関して、下記のより古典的な表現形式である同等物を用いて書き直すことができる。：
但し、「θ」は２つの画像間の回転角度を表し、（ｓ_ｘ，ｓ_ｙ）はそれぞれ２の画像のｘ軸とｙ軸に沿った２次元における縮尺の測定値を表し、「ｗ」は２つの画像間の傾きを表し、（ｔ_ｘ，ｔ_ｙ）はそれぞれ第２の画像のｘ軸とｙ軸に沿った２次元における平行移動の測定値を表す。

本発明の一実施形態においては、一方の画像を他方の画像とスティッチングして変換行列を得る処理では、１．各画像内の特徴ポイントを検知し、２．特徴の数を限定し、３．特徴位置の画像毎に特徴記述子を抽出し、４．第２の画像に対して第１の画像で実行可能（その逆も同様）なランダムサンプルコンセンサス（ＲＡＮＳＡＣ）などの全数探索アルゴリズムを用いて、画像の記述子どうしを照合し、５．対称的に一致したものだけを残す（すなわち、第１の画像内の特徴ｆ１に最も良く一致している特徴が第２の画像内の特徴ｆ２であり、特徴ｆ２に最も良く一致している特徴が特徴ｆ１である）。ＲＡＮＳＡＣアルゴリズムの１回の繰り返しにより、上記の対称的一致の中から３つ特徴ポイントのペアがランダムに抽出されて、変換行列の候補が算出され、次いで、変換されるその一致の第１のポイントと、目標となるその一致の第２のポイントとの間の距離を算出することにより、どのくらいの数のその他の一致がこの変換行列候補と合うかを判定する。この距離が所定の閾値より短い場合、その一致は変換と合うと判定される。続いて、ＲＡＮＳＡＣアルゴリズムを繰り返し、所定の数の回数に達したら終了する。その変換行列と合う一致の数が最も多い変換行列の候補が変換行列として選択される。

画像をスティッチングするための、この特徴ベースのアプローチは、単に一実施例として記載されており、本発明の実施形態では、コンピュータビジョン内の変換を算出するための全ての他の方法を使用することができる。

第１の画像と第２の画像との間での位置測定値の推定は、これらの画像の間で直接行うことも、あるいは基準画像を用いて間接的に行うこともできる。第１のフレームに続く、スキャニング装置１０１からの視域の画像シーケンスの始まりでは、スティッチングがうまくいくよう、第１の画像と第２の画像との間の重複部が十分でなくてはならないが、ハンドピースが遠くに移動してしまうため、これら２つのフレーム間の重複部が正確な位置測定値を得るために十分でなくなるおそれがある。したがって、視域の画像シーケンス内で選択される基準画像を用いることが望ましい。第１の画像と第２の画像がもはや重なり合わない場合でも、この基準画像は中間点の役割を果たし、これにより、第１の画像に対する第２の画像の位置測定値を決定することができる。

図３には、一方の２次元画像に対する、スキャニング装置の視域のもう一方の２次元画像の位置測定値を推定するための処理を示すフローチャートが示されている。上記で議論した通り、第２の位置が新しい３Ｄ図を取り込むために好ましいかどうかを示すフィードバックは、第１の画像に対する第２の画像の推定された位置測定値に基づく。図３に示す通り、前記位置測定値を推定するために、処理ユニット１０２は、最初に、ステップ３０１で、スキャニング装置１０１の視域の２次元画像のシーケンスから基準画像を選択するよう構成され得、その際その基準画像から第１のフレームまでの変換行列Ｈ_１は有効と判定されている。例えば、基準画像は５００ｍｓ毎などの特定の時間間隔で取り込むことができる。

ステップ３０２で、第２の画像を基準画像にスティッチングして、変換行列Ｈ_２を取得する。

ステップ３０３で、Ｈ_２とＨ_１とを乗算して、第３の変換行列Ｈ_３を算出し、このＨ_３が第１の画像と第２の画像との間の変換を表しているものと想定される。

一般化による損失を伴うことなく、基準画像は第１の画像と同等であり得、この場合、Ｈ_１が同一の行列と等しく、数値的に評価する必要はない。上記に記載した通り、これは第１のフレームと第２のフレームの間における変換を直接評価したことと同じである。

２つの画像間における変換行列の算出が不可能であり得る状況も存在し得る。例えば、特徴の数又は特徴の一致の数が、全ての変換を判定するために十分でない場合があり得る。そのような場合はスティッチングが失敗に終わり、そうでない場合にはスティッチングは成功する。

ステップ３０４で、スティッチングが成功した場合、取得した変換行列Ｈ_３を評価して、有効かどうかをチェックし、第１の画像と第２の画像との間の空間関係の測定値を判定する。Ｈ_１、Ｈ_２及びＨ_３が擬似変換行列である本発明の一実施形態では、変換行列Ｈ_３の有効性の判定では、Ｈ_３を分解して、第２の画像内の画素と第１の画像内の画素との間の空間的対応関係を記述する少なくとも１つのパラメータを取得すること、つまり、「θ」、「ｗ」、（ｓ_ｘ，ｓ_ｙ）、（ｔ_ｘ，ｔ_ｙ）などのパラメータを抽出することが含まれ得る。Ｈ_３が有効であるかどうかを判定するために、この抽出されたパラメータが所定の閾値と比較され得る。例えば、ｘ軸とｙ軸に関する縮尺値（ｓ_ｘ，ｓ_ｙ）が両方とも［０．５，２］の範囲内にある場合、Ｈ_３は許容可能であると見なされ得る。他のパラメータでも同様である。

本発明の別の実施形態では、変換行列Ｈ_３の有効性の評価には、Ｈ_３を第２の画像に適用して中間画像を取得すること、つまりＨ_３を第２の画像の画素行列で乗算することと、次いで、中間画像と第１の画像の間における類似性を算出することと、が含まれ得る。類似性の測定値は、［−１，１］の範囲内の中間画像と、［０，１］の範囲における第１の画像の間の正規化相互相関（ＮＣＣ）、すなわち正規化相互情報量を計算することにより算出することができる。この類似性が所定の閾値と比較されて、Ｈ_３が有効であるかどうかが判定され得る。

ステップ３０５で、Ｈ_３が有効であると判定された場合、第１の画像に対する第２の画像の位置測定値は、この行列から推定される。上述した通り、位置測定値は、例えば、２つの画像間における重複部の測定値又は回転角度であり得る。第２の画像と第１の画像との間のＨ_３が有効であるという分解結果により、回転角度などの位置測定値の立体的な推定値が提供される。変換行列を３×３の回転行列及び３×１の平行移動ベクトルへ分解するには、カメラ固有のパラメータ情報が必要となり得、この情報はコンピュータビジョンの分野におけるカメラの校正手順を通して得ることができる。回転θの回転角度の行列は、回転行列Ｒにおける以下の関係を用いて算出可能である。：
ｔｒａｃｅ（Ｒ）＝１＋２ｃｏｓ（θ）
第２の画像からの情報を含む中間画像内の画素の割合により、２つの画像間における重複部の推定値が提供される。

実際には、処理ユニットは、スキャニング装置が移動する間にいくつかの基準画像を記憶するよう構成され、基準フレームが特定の間隔でサンプリングされ得る。記憶するデータ量を制限するために、基準画像の総数も制限され得る、したがって、いくつかの基準画像は、しばらくすると、新しいものと交換される。複数の基準画像を使用することにより、現在のフレームを用いた追跡が、もはやうまく機能しない場合、別の基準画像に切り替えることにより、追跡を継続することができる。あるいは、より速く追跡を回復させることができる。この追跡は限定した履歴を有する。基準画像が記憶されると、対応する変換行列Ｈ_１もこの基準画像と共に記憶される。このように、Ｈ_１が再度算出される必要はない。同じ選択された基準フレームは、取り込まれた画像シーケンス内のそれに続く第２の画像に関しても再使用され得る。

画像間の変換行列は、マッピング方向には関係なく単一の行列で示されるが、より精度を上げるために、変換行列Ｈが第２の画像の画素座標から第１の画像の画素座標へのマッピングに対応する場合は、変換行列Ｈを逆にすることで、第１の画像の画素座標から第２の画像の画素座標への反対の関係を取得することができる。

この点において本発明の実施形態は限定されていないが、本明細書で使用される用語「複数（ｐｌｕｒａｌｉｔｙ）」及び「ある複数（ａ ｐｌｕｒａｌｉｔｙ）」には、例えば、「複数の（ｍｕｌｔｉｐｌｅ）」又は「２つ以上（ｔｗｏ ｏｒ ｍｏｒｅ）」という意味が含まれ得る。用語「複数（ｐｌｕｒａｌｉｔｙ）」及び「ある複数（ａ ｐｌｕｒａｌｉｔｙ）」は、本明細書を通して、２つ以上の構成部品、装置、要素、ユニット、パラメータなどを示すために用いられ得る。

尚、前述の実施形態は本発明を限定するものでなく説明するものであり、下記の請求項の範囲を逸脱することなく、代替的な実施形態が当業者により設計され得る。「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、及び「含む（ｃｏｍｐｒｉｓｉｎｇ）」などの言葉は、存在するが明細書及び請求項に記載されていない要素又はステップを除外しないものとする。また、本明細書及び付随の請求項で使用される、単数形「ある（ａ）」、「ある（ａｎ）」、及び「その（ｔｈｅ）」は、文脈により明らかに示されている場合を除き、複数の言及も含むものとする。本発明は、いくつかの異なる要素を含むハードウェアにより、あるいは適切にプログラムされたコンピュータにより実現可能である。いくつかの手段が記載されている装置の請求項では、これらの手段のうちのいくつかは、特に同じハードウェアのアイテムで具体化することが可能である。第１、第２、第３という言葉の使用は、いかなる順番も示しておらず、これらは単に名前として説明され得る。

Claims (28)

1. ３次元の画像形成方法であって、
   ユーザにより自由に操作される手持ち式スキャニング装置により、被写体の第１の３次元図が取り込まれた位置である第１の位置における、前記スキャニング装置の視域の第１の２次元画像を記憶し、
   前記スキャニング装置が前記第１の位置から第２の位置に移動する間に、前記第１の２次元画像に対する前記第２の位置での前記スキャニング装置の視域の第２の２次元画像の位置測定値を推定し、
   前記位置測定値に基づいて、前記ユーザにフィードバックを提供するための命令を生成し、
   前記フィードバックが、第２の３次元図を取り込むために前記第２の位置が適しているかどうかを示すために提供される、
   ことを特徴とする方法。
2. 前記位置測定値が、前記第１の２次元画像と前記第２の２次元画像との間の重複部、及び前記第１の２次元画像と前記第２の２次元画像との間の回転角度、のうちの一方として推定される、
   ことを特徴とする、請求項１に記載の方法。
3. 前記重複部が３０％を超えた場合、あるいは前記回転角度が３０度未満の場合、前記第２の３次元図を取り込むために前記第２の位置が適していることを示すフィードバックを提供する、
   ことを特徴とする、請求項２に記載の方法。
4. 前記フィードバックの提供は、画面上の前記スキャニング装置の視域のライブビデオ画像に重ねられた前記第１の２次元画像の描写を表示し、
   前記画面上の前記描写の位置と外観が、前記スキャニング装置の移動に合わせて変化するよう構成され、
   前記描写が、前記第２の位置が適していることを示す第１の色と、前記第２の位置が適していないことを示す第２の色と、を提示するよう構成される、
   ことを特徴とする、請求項１に記載の方法。
5. 前記第１の２次元画像の前記描写が、内側に十字を有する長方形として構成される、
   ことを特徴とする、請求項４に記載の方法。
6. フィードバックの提供では、第１の色で前記被写体に発光して、前記第２の位置が適していることを示し、第２の色で発光して、前記第２の位置が適していないことを示す、
   ことを特徴とする、請求項１に記載の方法。
7. フィードバックの提供では、前記被写体上に画像を投影する、
   ことを特徴とする、請求項１に記載の方法。
8. 前記第１の２次元画像に対する前記第２の２次元画像の位置測定値の推定では、
   ａ）前記第１の２次元画像に対する基準画像の変換行列Ｈ_１が有効であると判定された場合に、２次元画像のシーケンスが前記第１の位置から前記第２の位置に移動する間に取り込まれる前記２次元画像のシーケンスから基準画像を選択し、
   ｂ）前記第２の２次元画像を前記基準画像にスティッチングして、変換行列Ｈ_２を取得し、
   ｃ）Ｈ_１とＨ_２とを乗算して、変換行列Ｈ_３を取得し、
   ｄ）変換行列Ｈ_３の有効性を評価し、
   ｅ）変換行列Ｈ_３が有効であると判定された場合、変換行列Ｈ_３から前記第１の２次元画像に対する前記第２の２次元画像の前記位置測定値を推定する、
   ことを特徴とする、請求項１に記載の方法。
9. 変換行列Ｈ_１、Ｈ_２、及びＨ_３が、擬似変換行列である、
   ことを特徴とする、請求項８に記載の方法。
10. 前記擬似変換行列Ｈ_３の有効性の評価では、
    Ｈ_３を分解して、前記第２の２次元画像内の画素と前記第１の２次元画像内の画素との間の空間的対応関係を記述する少なくとも１つのパラメータを取得し、
    前記少なくとも１つのパラメータを所定の閾値と比較して、前記擬似変換行列Ｈ_３が有効かどうかを判定し、
    前記少なくとも１つのパラメータは、前記第２の２次元画像と前記第１の２次元画像との間の、ｘ軸とｙ軸の両軸に関する縮尺、回転角度、ｘ軸とｙ軸の両軸に関する傾き及び平行移動から成る群から選択される、
    ことを特徴とする、請求項９に記載の方法。
11. 一方の画像を他方の画像にスティッチングして、変換行列を取得するには、前記第１の及び第２の２次元画像の間で少なくとも３つの特徴ポイントのペアを一致させる、
    ことを特徴とする、請求項９に記載の方法。
12. 変換行列Ｈ_３の有効性の評価では、
    変換行列Ｈ_３を前記第２の２次元画像に適用して、中間画像を取得し、
    前記中間画像と前記第１の２次元画像との間の類似性を算出し、
    前記類似性を所定の閾値と比較して、変換行列Ｈ_３が有効であるかどうかを判定する、
    ことを特徴とする、請求項８に記載の方法。
13. 前記手持ち式スキャニング装置が口腔内カメラである、
    ことを特徴とする、請求項１に記載の方法。
14. 前記被写体が、患者の顎、歯又は歯茎、移植物又は標本である、
    ことを特徴とする、請求項１に記載の方法。
15. ３次元の画像形成を行うためのシステムであって、
    ユーザにより自由に操作されて、被写体の３次元図を取り込む手持ち式スキャニング装置と、
    処理ユニットと、
    前記処理ユニットからの命令に従って、前記ユーザにフィードバックを提供するよう構成されるフィードバックユニットと、
    を備え、
    前記処理ユニットは、
    前記被写体の第１の３次元図が取り込まれる第１の位置での前記スキャニング装置の視域の第１の２次元画像を記憶し、
    前記スキャニング装置が前記第１の位置から第２の位置に移動する間に、前記第１の２次元画像に対する前記第２の位置での前記スキャニング装置の視域の第２の２次元画像の位置測定値を推定し、
    前記位置測定値に基づいて、前記ユーザにフィードバックを提供するための命令を生成するよう構成され、
    前記フィードバックが、第２の３次元図を取り込むために前記第２の位置が適しているかどうかを示すために提供される、
    ことを特徴とするシステム。
16. 前記位置測定値が、前記第１の２次元画像と前記第２の２次元画像との間の重複部、及び前記第１の２次元画像と前記第２の２次元画像との間の回転角度、のうちの一方として推定される、
    ことを特徴とする、請求項１５に記載のシステム。
17. 前記重複部が３０％を超えた場合、あるいは前記回転角度が３０度未満の場合、前記第２の３次元図を取り込むために前記第２の位置が好ましいことを示すフィードバックを提供する、
    ことを特徴とする、請求項１６に記載のシステム。
18. 前記フィードバックユニットが、前記スキャニング装置の視域のライブビデオ画像を表示するモニタを含み、
    フィードバックを提供するための前記命令には、前記ライブビデオ画像に重ねられた前記第１の２次元画像の描写を表示することが含まれ、
    前記描写の位置及び外観が、前記スキャニング装置の移動に合わせて変化するよう構成され、
    前記描写が、前記第２の位置が適していることを示す第１の色と、前記第２の位置が適していないことを示す第２の色と、を提示するよう構成される、
    ことを特徴とする、請求項１５に記載のシステム。
19. 前記第１の２次元画像の前記描写が、内側に十字を有する長方形として構成される、
    ことを特徴とする、請求項１８に記載のシステム。
20. 前記フィードバックユニットが、前記スキャニング装置上に発光要素を含み、
    フィードバックを提供するための前記命令では、第１の色で前記被写体に発光して、前記第２の位置が好ましいことを示し、第２の色で発光して前記第２の位置が好ましくないことを示す、
    ことを特徴とする、請求項１５に記載のシステム。
21. 前記フィードバックユニットが、前記スキャニング装置に統合されたイメージプロジェクタを含み、
    フィードバックを提供するための前記命令では、前記被写体に画像を投影する、
    ことを特徴とする、請求項１５に記載のシステム。
22. 前記第１の２次元画像に対する前記第２の２次元画像の位置測定値の推定では、
    ａ）前記第１の２次元画像に対する基準画像の変換行列Ｈ_１が有効であると判定された場合に、２次元画像のシーケンスが前記第１の位置から前記第２の位置に移動する間に取り込まれる前記２次元画像のシーケンスから基準画像を選択し、
    ｂ）前記第２の２次元画像を前記基準画像にスティッチングして、変換行列Ｈ_２を取得し、
    ｃ）Ｈ_１とＨ_２とを乗算して、変換行列Ｈ_３を取得し、
    ｄ）変換行列Ｈ_３の有効性を評価し、
    ｅ）変換行列Ｈ_３が有効であると判定された場合、変換行列Ｈ_３から前記第１の２次元画像に対する前記第２の２次元画像の前記位置測定値を推定する、
    ことを特徴とする、請求項１５に記載のシステム。
23. 変換行列Ｈ_１、Ｈ_２、及びＨ_３が、擬似変換行列である、
    ことを特徴とする、請求項１５に記載のシステム。
24. 前記擬似変換行列Ｈ_３の有効性の評価では、
    Ｈ_３を分解して、前記第２の２次元画像内の画素と前記第１の２次元画像内の画素との間の空間的対応関係を記述する少なくとも１つのパラメータを取得し、
    前記少なくとも１つのパラメータを所定の閾値と比較して、前記擬似変換行列Ｈ_３が有効かどうかを判定し、
    前記少なくとも１つのパラメータは、ｘ軸とｙ軸の両軸に関する縮尺、回転角度、画素のｘ軸とｙ軸の両軸に関する傾き及び平行移動から成る群から選択される、
    ことを特徴とする、請求項２３に記載のシステム。
25. 一方の画像を他方の画像にスティッチングして、変換行列を取得するには、前記第１の及び第２の２次元画像の間で少なくとも３つの特徴ポイントを一致させる、
    ことを特徴とする、請求項２３に記載のシステム。
26. 変換行列Ｈ_３の有効性の評価では、
    変換行列Ｈ_３を前記第２の２次元画像に適用して、中間画像を取得し、
    前記中間画像と前記第１の２次元画像との間の類似性を算出し、
    前記類似性を所定の閾値と比較して、変換行列Ｈ_３が有効であるかどうかを判定する、
    ことを特徴とする、請求項２２に記載のシステム。
27. 前記手持ち式スキャニング装置が、口腔内カメラである、
    ことを特徴とする、請求項１５に記載のシステム。
28. 前記被写体が、患者の顎、歯又は歯茎、移植物又は標本である、
    ことを特徴とする、請求項１５に記載のシステム。