JP2023509137A - パノラマ３次元画像をキャプチャ及び生成するシステム及び方法 - Google Patents

Abstract

装置であって：ハウジング；上記装置を水平に移動させるためにモータに結合されるよう構成されたマウント；広角レンズであって、上記広角レンズは、上記マウントの上方に位置決めされ、従って回転軸に沿っており、上記回転軸は上記装置がそれに沿って回転する軸である、広角レンズ；上記ハウジング内の画像キャプチャデバイスであって、上記画像キャプチャデバイスは、環境の、上記広角レンズを通した２次元画像を受信するよう構成される、画像キャプチャデバイス；並びに上記ハウジング内のＬｉＤＡＲデバイスであって、上記ＬｉＤＡＲデバイスは上記環境に基づいて深度データを生成するよう構成される、ＬｉＤＡＲデバイスを備える、装置。【選択図】図３

Description

本発明の実施形態は一般に、ある物理的環境のシーンのパノラマ画像のキャプチャ及びスティッチングに関する。

現実世界の３次元（３Ｄ）パノラマ画像を提供することが人気になったことにより、２次元（２Ｄ）画像をキャプチャし、キャプチャされた２Ｄ画像に基づいて３Ｄ画像を作成する機能を有する多くのソリューションが生み出されている。複数の２Ｄ画像をキャプチャし、これらをスティッチングしてパノラマ画像にすることができる、ハードウェアソリューション、及びソフトウェアアプリケーション（即ち「アプリ」）が存在している。

建造物から３Ｄデータをキャプチャ及び生成するための技術が存在している。しかしながら、既存の技術は一般に、明るい光のあるエリアの３Ｄレンダリングをキャプチャ及び生成することはできない。日光が差し込む窓、又は明るい光が当たる床若しくは壁のエリアは通常、３Ｄレンダリングでは穴として現れ、これを埋めるための追加のポストプロダクション作業が必要となり得る。これによって、３Ｄレンダリングのターンアラウンド時間が増大し、信頼性が向上する。更に、構造化照明を３Ｄ画像のキャプチャに利用できないため、屋外環境もまた既存の多くの３Ｄキャプチャデバイスに課題をもたらす。

３Ｄデータのキャプチャ及び生成のための既存の技術の他の限界としては、３Ｄパノラマ画像の生成に必要なデジタル画像のキャプチャ及び処理に必要な時間の量が挙げられる。

ある例示的な装置は：ハウジング、及び上記装置を水平に移動させるためにモータに結合されるよう構成されたマウント；上記ハウジングに結合された広角レンズであって、上記広角レンズは、上記マウントの上方に位置決めされ、従って回転軸に沿っており、上記回転軸は、上記モータに結合されたときに上記装置がそれに沿って回転する軸である、広角レンズ；上記ハウジング内の画像キャプチャデバイスであって、上記画像キャプチャデバイスは、環境の、上記広角レンズを通した２次元画像を受信するよう構成される、画像キャプチャデバイス；並びに上記ハウジング内のＬｉＤＡＲデバイスであって、上記ＬｉＤＡＲデバイスは上記環境に基づいて深度データを生成するよう構成される、ＬｉＤＡＲデバイスを備える。

画像キャプチャデバイスは、ハウジング、第１のモータ、広角レンズ、画像センサ、マウント、ＬｉＤＡＲ、第２のモータ、及びミラーを備えてよい。上記ハウジングは前面及び背面を有してよい。上記第１のモータは、上記ハウジングの上記前面と上記背面との間の第１の位置において、上記ハウジングに結合されていてよく、上記第１のモータは、上記画像キャプチャデバイスを垂直軸の周りで略２７０°水平にターンさせるよう構成される。上記広角レンズは、上記垂直軸に沿った上記ハウジングの上記前面と上記背面との間の第２の位置において、上記ハウジングに結合されていてよく、上記第２の位置は無視差点であり、上記広角レンズは上記ハウジングの上記前面から離れた視野を有する。上記画像センサは、上記ハウジングに結合されていてよく、上記広角レンズが受信した光から画像信号を生成するよう構成されていてよい。上記マウントは、上記第１のモータに結合されていてよい。上記ＬｉＤＡＲは第３の位置において上記ハウジングに結合されていてよく、上記ＬｉＤＡＲは、レーザパルスを生成し、深度信号を生成するよう構成される。上記第２のモータは、上記ハウジングに結合されていてよい。上記ミラーは、上記第２のモータに結合されていてよく、上記第２のモータは、上記ミラーを水平軸の周りで回転させるよう構成されていてよく、上記ミラーは、上記ＬｉＤＡＲから上記レーザパルスを受信して、上記レーザパルスを上記水平軸の周りに向けるよう構成された、角度付き表面を含む。

いくつかの実施形態では、上記画像センサは、上記画像キャプチャデバイスが静止して第１の方向を向いているときに、異なる複数の露出で第１の複数の画像を生成するよう構成される。上記第１のモータは、上記第１の複数の画像の生成後に、上記画像キャプチャデバイスを上記垂直軸の周りでターンさせるよう構成されていてよい。様々な実施形態において、上記画像センサは、上記第１のモータが上記画像キャプチャデバイスをターンさせている間は画像を生成せず、上記ＬｉＤＡＲは、上記第１のモータが上記画像キャプチャデバイスをターンさせている間に、上記レーザパルスに基づいて深度信号を生成する。上記画像センサは、上記画像キャプチャデバイスが静止して第２の方向を向いているときに、上記異なる複数の露出で第２の複数の画像を生成するよう構成されていてよく、上記第１のモータは、上記第２の複数の画像の生成後に、上記画像キャプチャデバイスを上記垂直軸の周りで９０°ターンさせるよう構成される。上記画像センサは、上記画像キャプチャデバイスが静止して第３の方向を向いているときに、上記異なる複数の露出で第３の複数の画像を生成するよう構成されていてよく、上記第１のモータは、上記第３の複数の画像の生成後に、上記画像キャプチャデバイスを上記垂直軸の周りで９０°ターンさせるよう構成される。上記画像センサは、上記画像キャプチャデバイスが静止して第４の方向を向いているときに、上記異なる複数の露出で第４の複数の画像を生成するよう構成されていてよく、上記第１のモータは、上記第４の複数の画像の生成後に、上記画像キャプチャデバイスを上記垂直軸の周りで９０°ターンさせるよう構成される。

いくつかの実施形態では、上記システムは更に、上記画像センサが上記第２の複数の画像を生成する前に、上記第１の複数の画像のフレームをブレンドするよう構成された、プロセッサを備えてよい。リモートデジタルデバイスは、上記画像キャプチャデバイスと通信してよく、また上記第１、第２、第３、第４の複数の画像と、上記深度信号とに基づいて、３Ｄビジュアライゼーションを生成するよう構成されていてよく、上記リモートデジタルデバイスは、上記第１、第２、第３、第４の複数の画像以外の画像を用いずに、上記３Ｄビジュアライゼーションを生成するよう構成される。いくつかの実施形態では、上記第１、第２、第３、第４の複数の画像は、上記画像キャプチャデバイスを上記垂直軸の周りで２７０°ターンさせる複数のターンを組み合わせたターンの間に生成される。上記水平軸の周りでの上記ミラーの速度又は回転は、上記第１のモータが上記画像キャプチャデバイスをターンさせる際に上昇する。上記ミラーの上記角度付き表面は９０°であってよい。いくつかの実施形態では、上記ＬｉＤＡＲは、上記ハウジングの上記前面と反対の方向に、上記レーザパルスを放出する。

ある例示的な方法は：画像キャプチャデバイスの広角レンズから光を受信するステップであって、上記広角レンズは上記画像キャプチャデバイスのハウジングに結合され、上記光は上記広角レンズの視野において受信され、上記視野は上記ハウジングの前面から離れて延在する、ステップ；上記広角レンズからの上記光を用いて、画像キャプチャデバイスの画像センサによって第１の複数の画像を生成するステップであって、上記画像センサは上記ハウジングに結合され、上記第１の複数の画像は、異なる複数の露出でのものである、ステップ；第１のモータによって、上記画像キャプチャデバイスを、垂直軸の周りで略２７０°水平にターンさせるステップであって、上記第１のモータは、上記ハウジングの上記前面と上記背面との間の第１の位置において、上記ハウジングに結合され、上記広角レンズは上記垂直軸に沿った第２の位置にあり、上記第２の位置は無視差点である、ステップ；第２のモータによって、角度付き表面を有するミラーを水平軸の周りで回転させるステップであって、上記第２のモータは上記ハウジングに結合される、ステップ；ＬｉＤＡＲによってレーザパルスを生成するステップであって、上記ＬｉＤＡＲは第３の位置において上記ハウジングに結合され、上記レーザパルスは、上記画像キャプチャデバイスが水平にターンしている間、回転する上記ミラーに向いている、ステップ；及び上記レーザパルスに基づいて、上記ＬｉＤＡＲによって深度信号を生成するステップを含む。

上記画像センサによって上記第１の複数の画像を生成する上記ステップは、上記画像キャプチャデバイスが水平にターンする前に行ってよい。いくつかの実施形態では、上記画像センサは、上記第１のモータが上記画像キャプチャデバイスをターンさせている間は画像を生成せず、上記ＬｉＤＡＲは、上記第１のモータが上記画像キャプチャデバイスをターンさせている間に、上記レーザパルスに基づいて上記深度信号を生成する。

上記方法は更に：上記画像キャプチャデバイスが静止して第２の方向を向いているときに、上記画像センサによって、上記異なる複数の露出で第２の複数の画像を生成するステップ；及び上記第２の複数の画像の生成後に、上記第１のモータによって、上記画像キャプチャデバイスを上記垂直軸の周りで９０°ターンさせるステップを含んでよい。

いくつかの実施形態では、上記方法は更に：上記画像キャプチャデバイスが静止して第３の方向を向いているときに、上記画像センサによって、上記異なる複数の露出で第３の複数の画像を生成するステップ；及び上記第３の複数の画像の生成後に、上記第１のモータによって、上記画像キャプチャデバイスを上記垂直軸の周りで９０°ターンさせるステップを含んでよい。上記方法は更に、上記画像キャプチャデバイスが静止して第４の方向を向いているときに、上記画像センサによって、上記異なる複数の露出で第４の複数の画像を生成するステップを含んでよい。上記方法は、上記第１、第２、第３、第４の複数の画像を用い、また上記深度信号に基づいて、３Ｄビジュアライゼーションを生成するステップを含んでよく、上記３Ｄビジュアライゼーションを生成する上記ステップは、他のいかなる画像も使用しない。

いくつかの実施形態では、上記方法は更に、上記画像センサが上記第２の複数の画像を生成する前に、上記第１の複数の画像のフレームをブレンドするステップを含んでよい。上記第１、第２、第３、第４の複数の画像は、上記画像キャプチャデバイスを上記垂直軸の周りで２７０°ターンさせる複数のターンを組み合わせたターンの間に生成できる。いくつかの実施形態では、上記水平軸の周りでの上記ミラーの速度又は回転は、上記第１のモータが上記画像キャプチャデバイスをターンさせる際に上昇する。

図１ａは、いくつかの実施形態による、家等の例示的な環境のドールハウスビューを示す。 図１ｂは、いくつかの実施形態による、家の１階の間取り図を示す。 図２は、仮想ウォークスルーの一部となり得る、リビングルームの目の高さからの例示的な図を示す。 図３は、いくつかの実施形態による環境キャプチャシステムの一例を示す。 図４は、いくつかの実施形態における環境キャプチャシステムの見取り図を示す。 図５は、いくつかの実施形態における、環境キャプチャシステムの周りのＬｉＤＡＲからのレーザパルスの図である。 図６ａは、環境キャプチャシステムの側面図を示す。 図６ｂは、いくつかの実施形態における、環境キャプチャシステムの上からの図を示す。 図７は、いくつかの実施形態による環境キャプチャシステムの一例の構成部品の見取り図を示す。 図８ａは、いくつかの実施形態における例示的なレンズの寸法を示す。 図８ｂは、いくつかの実施形態における例示的なレンズの設計仕様を示す。 図９ａは、いくつかの実施形態による環境キャプチャシステムの一例のブロック図を示す。 図９ｂは、いくつかの実施形態による環境キャプチャシステムの、例示的なＳＯＭ ＰＣＢＡのブロック図を示す。 図１０ａ～１０ｃは、いくつかの実施形態における、画像を撮影するための環境キャプチャシステムのプロセスを示す。 図１１は、いくつかの実施形態による、画像をキャプチャ及びスティッチングして３Ｄビジュアライゼーションを形成できる例示的な環境のブロック図を示す。 図１２は、いくつかの実施形態による、位置合わせ・スティッチングシステムの一例のブロック図である。 図１３は、いくつかの実施形態による、３Ｄパノラマ画像キャプチャ・生成プロセスのフローチャートを示す。 図１４は、いくつかの実施形態による、３Ｄ及びパノラマキャプチャ・スティッチングプロセスのフローチャートを示す。 図１５は、図１４の３Ｄ及びパノラマキャプチャ・スティッチングプロセスの１つのステップの更なる詳細を示すフローチャートを示す。 図１６は、いくつかの実施形態による例示的なデジタルデバイスのブロック図を示す。

本明細書に記載されるイノベーションの多くは、図面を参照して行われる。同様の参照番号は、同様の要素を指すために用いられる。以下の記述では、説明を目的として、多数の具体的な詳細を示すことで、完全な理解を提供する。しかしながら、これらの具体的な詳細を用いることなく、異なるイノベーションを実践できることは明らかであり得る。他の例では、イノベーションの説明を容易にするために、公知の構造及び構成要素をブロック図の形式で示す。

装置の様々な実施形態は、ユーザに屋内及び屋外環境の３Ｄパノラマ画像を提供する。いくつかの実施形態では、装置は、単一の広視野（ｆｉｅｌｄ‐ｏｆ‐ｖｉｅｗ：ＦＯＶ）レンズ及び単一の光検出・測距センサ（ｌｉｇｈｔ ａｎｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ ｓｅｎｓｏｒ：ＬｉＤＡＲセンサ）を用いて、ユーザに屋内及び屋外環境の３Ｄパノラマ画像を効率的かつ迅速に提供できる。

以下は、本明細書に記載の例示的な装置の例示的な使用例である。以下の使用例は、複数の実施形態のうちの１つである。本明細書に記載されているように、上記装置の異なる実施形態は、この使用例と類似した１つ以上の特徴及び機能を含んでよい。

図１ａは、いくつかの実施形態による、家等の例示的な環境のドールハウスビュー１００である。ドールハウスビュー１００は、（本明細書に記載の）環境キャプチャシステムがキャプチャする上記例示的な環境の全体図を提供する。ユーザは、この例示的な環境の異なる複数のビューを切り替えることによって、ユーザシステム上でドールハウスビュー１００と対話できる。例えばユーザは、エリア１１０と対話して、図１ｂに示されているような家の１階の間取り図をトリガできる。いくつかの実施形態では、ユーザはドールハウスビュー１００内のアイコン、例えばアイコン１２０、１３０、１４０と対話して、それぞれ（例えば３Ｄウォークスルーのための）ウォークスルービュー、間取り図、又は測定ビューを提供できる。

図１ｂは、いくつかの実施形態による、家の１階の間取り図を示す。この間取り図は、家の１階を上から見た図である。ユーザはこの間取り図のエリア、例えばエリア１５０と対話して、リビングルームといったこの間取りの特定の部分の目の高さからの図をトリガできる。リビングルームの目の高さからの図の一例は図２で確認でき、これは仮想ウォークスルーの一部となり得る。

ユーザは、図１ｂのエリア１５０に対応する、間取り２００の一部分と対話してよい。ユーザは、あたかもユーザが実際にこのリビングルーム内に居るかのように、ビューを部屋中に移動させることができる。リビングルームの水平な３６０℃のビューに加えて、ユーザはリビングルームの床又は天井を視認又は操作することもできる。更にユーザは、間取り２００の上記一部分の特定のエリア、例えばエリア２１０、２２０と対話することによって、上記家の他の部分に向かってリビングルームを通過できる。ユーザがエリア２２０と対話すると、環境キャプチャシステムは、エリア１５０が示す家の領域に略対応する家のエリアと、エリア２２０が示す家の領域に略対応する家のエリアとの間の、歩いているような遷移を提供できる。

図３は、いくつかの実施形態による環境キャプチャシステム３００の一例を示す。環境キャプチャシステム３００は、レンズ３１０、ハウジング３２０、マウントアタッチメント３３０、及び可動式カバー３４０を含む。

使用時には、環境キャプチャシステム３００を部屋等の環境の中に位置決めしてよい。環境キャプチャシステム３００を支持体（例えば三脚）上に位置決めしてもよい。可動式カバー３４０を動かして、ＬｉＤＡＲ及び高速回転可能なミラーを露出させてよい。起動されると、環境キャプチャシステム３００は画像のバーストを撮影でき、その後モータを用いてターンできる。環境キャプチャシステム３００はマウントアタッチメント３３０上でターンできる。ターン時、ＬｉＤＡＲは測定を実施してよい（ターン中、環境キャプチャシステムは画像を撮影できない）。新たな方向を向くと、環境キャプチャシステムは画像のバーストを撮影した後、次の方向へとターンできる。

例えば位置決め後、ユーザは環境キャプチャシステム３００に、スイープを開始するように命令してよい。スイープは、以下のようなものであってよい：
（１）露出の推定、及びそれに続くＨＤＲ ＲＧＢ画像の撮影
９０°回転、深度データのキャプチャ
（２）露出の推定、及びそれに続くＨＤＲ ＲＧＢ画像の撮影
９０°回転、深度データのキャプチャ
（３）露出の推定、及びそれに続くＨＤＲ ＲＧＢ画像の撮影
９０°回転、深度データのキャプチャ
（４）露出の推定、及びそれに続くＨＤＲ ＲＧＢ画像の撮影
９０°回転（合計３６０°）、深度データのキャプチャ

各バーストについて、異なる複数の露出でいずれの数の画像があってもよい。環境キャプチャシステムは、別のフレームの待機中、及び／又は次のバーストの待機中に、１つのバーストのいずれの数の画像を１つにブレンドできる。

ハウジング３２０は、環境キャプチャシステム３００の電子部品を保護してよく、またユーザとの対話のためのインタフェースに電源ボタン、スキャンボタン等を設けることができる。例えばハウジング３２０は可動式カバー３４０を含んでよく、これはＬｉＤＡＲのカバーを解除するために移動可能であってよい。更にハウジング３２０は、電源アダプタ及びインジケータライトといった電子インタフェースを含んでよい。いくつかの実施形態では、ハウジング３２０は成形プラスチック製ハウジングである。様々な実施形態において、ハウジング３２０は、プラスチック、金属、及びポリマーのうちの１つ以上の組み合わせである。

レンズ３１０はレンズアセンブリの一部であってよい。レンズアセンブリの更なる詳細を、図７の記述において説明できる。レンズ３１０は、環境キャプチャシステム３００の回転軸３０５の中心に、戦略的に配置される。この例では、回転軸３０５はｘ‐ｙ平面上にある。レンズ３１０を回転軸３０５の中心に配置することによって、視差効果を排除又は低減できる。視差とは、非視差点（ｎｏｎ‐ｐａｒａｌｌａｘ ｐｏｉｎｔ：ＮＰＰ）の周りでの画像キャプチャデバイスの回転によって生じる誤差である。この例では、ＮＰＰはレンズの入射瞳の中心に確認できる。

例えば、物理的環境のパノラマ画像を、環境キャプチャシステム３００がキャプチャした４つの画像を用いて生成すると仮定し、ここで該パノラマ画像の画像間には２５％のオーバラップが存在する。視差がない場合、ある画像の２５％が、この物理的環境の同一エリアの別の画像と、正確に重なることができる。画像センサがレンズ３１０を介してキャプチャした複数の画像の視差効果の排除又は低減は、複数の画像を２Ｄパノラマ画像へとスティッチングするのを支援できる。

レンズ３１０は広い視野を含んでよい（例えばレンズ３１０は魚眼レンズであってよい）。いくつかの実施形態では、レンズは、少なくとも１４８°の水平ＦＯＶ（ＨＦＯＶ）及び少なくとも９４°の垂直ＦＯＶ（ＶＦＯＶ）を有してよい。

マウントアタッチメント３３０は、環境キャプチャシステム３００を、マウントに取り付けることができるようにすることができる。上記マウントは、環境キャプチャシステム３００を、三脚、平坦面、又は（例えば環境キャプチャシステム３００を移動させるための）電動マウントに結合できるようにすることができる。いくつかの実施形態では、上記マウントは、環境キャプチャシステム３００を水平軸に沿って回転できるようにすることができる。

いくつかの実施形態では、環境キャプチャシステム３００は、環境キャプチャシステム３００をマウントアタッチメント３３０の周りで水平にターンさせるためのモータを含んでよい。

いくつかの実施形態では、電動マウントが、環境キャプチャシステム３００を、水平軸、垂直軸、又はこれら両方に沿って移動させてよい。いくつかの実施形態では、上記電動マウントは、ｘ‐ｙ平面内で回転又は移動できる。マウントアタッチメント３３０を用いると、環境キャプチャシステム３００を電動マウント、三脚等に結合して環境キャプチャシステム３００を安定させることによって、揺れを削減又は最小化できるようにすることができる。別の例では、マウントアタッチメント３３０を、３Ｄ環境キャプチャシステム３００を安定した既知の速度で回転させることができる電動マウントに結合してよく、これは、ＬｉＤＡＲの各レーザパルスの（ｘ，ｙ，ｚ）座標の決定においてＬｉＤＡＲを支援する。

図４は、いくつかの実施形態における、環境キャプチャシステム４００の見取り図を示す。この見取り図は、（図３の環境キャプチャシステム３００の一例となり得る）環境キャプチャシステム４００を、多様なビュー、例えば正面図４１０、上面図４２０、側面図４３０、及び背面図４４０から示す。これらの見取り図において、環境キャプチャシステム４００は、側面図４３０に示されている任意の中空部分を含んでよい。

いくつかの実施形態では、環境キャプチャシステム４００は、７５ｍｍの幅、１８０ｍｍの高さ、及び１８９ｍｍの深さを有する。環境キャプチャシステム４００はいかなる幅、高さ、又は深さを有してよいことが理解されるだろう。様々な実施形態において、第１の例における幅と深さとの比は、具体的な測定に関係なく維持される。

３Ｄ環境キャプチャシステム４００のハウジングは、環境キャプチャシステム４００の電子部品を保護してよく、またユーザとの対話のためのインタフェース（例えば背面図４４０のスクリーン）を提供できる。更にハウジングは、電源アダプタ及びインジケータライトといった電子インタフェースを含んでよい。いくつかの実施形態では、ハウジングは成形プラスチック製ハウジングである。様々な実施形態において、ハウジングは、プラスチック、金属、及びポリマーのうちの１つ以上の組み合わせである。環境キャプチャシステム４００は可動式カバーを含んでよく、これはＬｉＤＡＲのカバーを解除するため、及び非使用時にＬｉＤＡＲを複数の要素から保護するために、移動可能であってよい。

正面図４１０に図示されているレンズはレンズアセンブリの一部であってよい。環境キャプチャシステム３００と同様に、環境キャプチャシステム４００のレンズは、回転軸３０５の中心に戦略的に配置される。レンズは広い視野を含んでよい。様々な実施形態において、正面図４１０に図示されているレンズは凹状であり、ハウジングはフレア状になっていることにより、広角レンズがちょうど無視差点（例えばマウント及び／又はモータの中点の真上）となるものの、依然としてハウジングからの干渉なしに画像を撮影できる。

環境キャプチャシステム４００のベースにあるマウントアタッチメントは、環境キャプチャシステムを、マウントに取り付けることができるようにすることができる。上記マウントは、環境キャプチャシステム４００を、三脚、平坦面、又は（例えば環境キャプチャシステム４００を移動させるための）電動マウントに結合できるようにすることができる。いくつかの実施形態では、上記マウントは、環境キャプチャシステム４００をマウントの周りでターンさせるための、内部モータと結合されていてよい。

いくつかの実施形態では、上記マウントは、環境キャプチャシステム４００を、水平軸に沿って回転できるようにすることができる。様々な実施形態において、電動マウントが、環境キャプチャシステム４００を、水平軸、垂直軸、又はこれら両方に沿って移動させてよい。マウントアタッチメントを用いると、環境キャプチャシステム４００を電動マウント、三脚等に結合して環境キャプチャシステム４００を安定させることによって、揺れを削減又は最小化できるようにすることができる。別の例では、マウントアタッチメントを、環境キャプチャシステム４００を安定した既知の速度で回転させることができる電動マウントに結合してよく、これは、ＬｉＤＡＲの各レーザパルスの（ｘ，ｙ，ｚ）座標の決定においてＬｉＤＡＲを支援する。

ビュー４３０では、ミラー４５０が露出している。ＬｉＤＡＲは、レーザパルスをミラーへと（レンズのビューと反対の方向に）放出してよい。上記レーザパルスは、（例えば９０°の角度で）角度を付けられていてよいミラー４５０に当たることができる。ミラー４５０は内部モータと結合されていてよく、この内部モータはミラーをターンさせ、これによってＬｉＤＡＲのレーザパルスは、環境キャプチャシステム４００の周りの多数の異なる角度で放出及び／又は受信され得る。

図５は、いくつかの実施形態における、環境キャプチャシステム４００の周りの、ＬｉＤＡＲからのレーザパルスの図である。この例では、レーザパルスは高速回転するミラー４５０において放出される。レーザパルスは、環境キャプチャシステム４００の水平軸６０２（図６を参照）に対して垂直に放出及び受信されてよい。ＬｉＤＡＲからのレーザパルスが環境キャプチャシステム４００から離れる方向を向くように、ミラー４５０に角度がつけられていてよい。いくつかの例では、ミラーの角度付き表面の角度は、９０°であってよく、又は６０°、１２０°、若しくは６０°～１２０°であってよい。

いくつかの実施形態では、環境キャプチャシステム４００が静止しておりかつ動作中であるとき、環境キャプチャシステム４００はレンズを通して画像のバーストを撮影できる。環境キャプチャシステム４００は、画像のバーストとバーストの間に、水平モータ上でターンしてよい。マウントに沿ってターンする間に、環境キャプチャシステム４００のＬｉＤＡＲは、高速回転するミラー４５０に当たるレーザパルスを放出及び／又は受信してよい。ＬｉＤＡＲは、受信したレーザパルスの反射から深度信号を生成してよく、及び／又は深度データを生成してよい。

いくつかの実施形態では、深度データを、環境キャプチャシステム４００に関する座標と関連付けてよい。同様に、画像のピクセル又は部分を、環境キャプチャシステム４００に関する座標と関連付けることによって、画像及び深度データを用いた３Ｄビジュアライゼーション（例えば異なる複数の方向からの画像、３Ｄウォークスルー等）の作成が可能となる。

図５に示されているように、ＬｉＤＡＲのパルスは、環境キャプチャシステム４００の底部によって遮断され得る。環境キャプチャシステム４００がマウントの周りで移動している間、ミラー４５０は継続的に高速回転でき、又は環境キャプチャシステム４００が移動を開始するとき、及び環境キャプチャシステム４００が再び減速して停止するとき、ミラー４５０はよりゆっくりと高速回転できる（例えばマウントモータの始動と停止との間では一定の速度を維持できる）ことが理解されるだろう。

ＬｉＤＡＲは、上記パルスから深度データを受信できる。環境キャプチャシステム４００の移動及び／又はミラー４５０の速度の増減によって、環境キャプチャシステム４００に関する深度データの密度は一貫していない（例えば一部のエリアでは密度が高く、他のエリアでは密度が低い）場合がある。

図６ａは、環境キャプチャシステム４００の側面図を示す。この図にはミラー４５０が図示されており、このミラー４５０は水平軸の周りで高速回転できる。パルス６０４は、高速回転するミラー４５０においてＬｉＤＡＲによって放出されてよく、また水平軸６０２に対して垂直に放出されてよい。同様に、パルス６０４は同様の様式でＬｉＤＡＲによって受信されてよい。

ＬｉＤＡＲパルスは水平軸６０２に対して垂直であるものとして説明されているが、ＬｉＤＡＲパルスは水平軸６０２に対していずれの角度であってよい（例えばミラーの角度は６０～１２０°を含むいずれの角度であってよい）ことが理解されるだろう。様々な実施形態において、ＬｉＤＡＲは、環境キャプチャシステム４００の正面側（例えば正面側６０４）の反対側に（例えばレンズの視野の中心と反対の方向、又は背面６０６に向かう方向に）、パルスを放出する。

本明細書に記載されているように、環境キャプチャシステム４００は垂直軸６０８の周りでターンしてよい。様々な実施形態において、環境キャプチャシステム４００は画像を撮影した後９０°ターンすることにより、環境キャプチャシステム４００が第１の画像のセットを撮影した元の開始位置から２７０°のターンを完了する際には、第４の画像のセットが撮影される。従って環境キャプチャシステム４００は、（例えば第１の画像のセットが、環境キャプチャシステム４００の最初のターンの前に撮影されたと仮定すると）合計２７０°の複数回のターンの間に、画像の４つのセットを生成できる。様々な実施形態において、（例えば垂直軸の周りでの１回転又は２７０°の回転中に撮影される）環境キャプチャシステム４００の単一のスイープからの画像（例えば画像の４つのセット）は、同じスイープの間に取得された深度データと共に、環境キャプチャシステム４００の更なるスイープ又はターンを用いずに３Ｄビジュアライゼーションを生成するために十分なものである。

この例では、ＬｉＤＡＲパルスは放出されて、環境キャプチャシステム４００の回転点から離れた位置で高速回転するミラーによって方向転換されることが理解されるだろう。この例では、マウントの回転点からの距離は６０８である（例えばレンズは無視差点にあってよいが、レンズは環境キャプチャシステム４００の正面に対してレンズの背後の位置にあってよい）。ＬｉＤＡＲのパルスは、回転点から離れた位置のミラー４５０によって方向転換されるため、ＬｉＤＡＲは、環境キャプチャシステム４００の上から環境キャプチャシステム４００の下まで延在する円柱からは深度データを受信できない。この例では、上記円柱（例えばこの円柱には深度情報が欠けている）の半径は、モータマウントの回転点の中心から、ミラー４５０がＬｉＤＡＲパルスを方向転換する点までで測定できる。

更に図６ａには、キャビティ６１０が示されている。この例では、環境キャプチャシステム４００は、環境キャプチャシステム４００のハウジングの本体内に、高速回転するミラーを含む。ハウジングからの切り欠きセクションが存在する。レーザパルスをミラーによってハウジングの外へと反射させた後、反射をミラーによって受信して、ＬｉＤＡＲに戻るように方向転換でき、これによってＬｉＤＡＲが深度信号及び／又は深度データを作成できるようにする。キャビティ６１０の下方の環境キャプチャシステム４００の本体のベースは、レーザパルスの一部を遮断し得る。キャビティ６１０は、環境キャプチャシステム４００のベースと回転するミラーとによって画定できる。図６ｂに示されているように、角度付きミラーと、ＬｉＤＡＲを含む環境キャプチャシステム４００のハウジングとの間には、依然として空間が存在してよい。

様々な実施形態において、ＬｉＤＡＲは、ミラーの回転速度が回転安全閾値未満に低下した場合（例えばミラーを高速回転させるモータが故障した場合、又はミラーが所定の位置に保持されている場合）に、レーザパルスの放出を停止するよう構成される。これによって、ＬｉＤＡＲを安全のために構成でき、レーザパルスが同一方向に（例えばユーザの眼に）放出され続ける可能性を低減できる。

図６ｂは、いくつかの実施形態による、環境キャプチャシステム４００の上からの図を示す。この例では、環境キャプチャシステム４００の正面は、レンズと共に凹状に、回転点の中心の真上に（例えばマウントの中心の真上に）図示されている。カメラの正面はレンズのために凹状となっており、ハウジングの正面は、画像センサの視野をハウジングが遮ることがないように、フレア状になっている。ミラー４５０は上を向いた状態で図示されている。

図７は、いくつかの実施形態による環境キャプチャシステム３００の構成部品の見取り図を示す。環境キャプチャシステム７００は、フロントカバー７０２、レンズアセンブリ７０４、構造フレーム７０６、ＬｉＤＡＲ７０８、フロントハウジング７１０、ミラーアセンブリ７１２、ＧＰＳアンテナ７１４、リアハウジング７１６、垂直モータ７１８、ディスプレイ７２０、バッテリパック７２２、マウント７２４、及び水平モータ７２６を含む。

様々な実施形態において、環境キャプチャシステム７００は、晴天の屋外及び屋内で３Ｄメッシュのスキャン、位置合わせ、及び作成を行うように構成できる。これにより、屋内専用ツールである他のシステムを採用する際の障壁がなくなる。環境キャプチャシステム７００は、広い空間を他のデバイスよりも迅速にスキャンできる。いくつかの実施形態では、環境キャプチャシステム７００は、９０ｍでの単一スキャン深度精度を改善することにより、改善された深度精度を提供できる。

いくつかの実施形態では、環境キャプチャシステム７００の重さは１ｋｇ又は約１ｋｇであってよい。ある例では、環境キャプチャシステム７００の重さは１～３ｋｇであってよい。

フロントカバー７０２、フロントハウジング７１０、及びリアハウジング７１６は、ハウジングの一部を構成する。ある例では、フロントカバーの幅ｗは７５ｍｍであってよい。

レンズアセンブリ７０４は、光を画像キャプチャデバイス上に集束させるカメラレンズを含んでよい。画像キャプチャデバイスは、物理的環境の画像をキャプチャできる。ユーザは、図１の第２の建造物４２２のような建造物のフロアの一部分をキャプチャして、上記フロアの上記一部分のパノラマ画像を得るために、環境キャプチャシステム７００を配置してよい。環境キャプチャシステム７００を上記建造物の上記フロアの別の部分に移動させることによって、上記フロアの別の部分のパノラマ画像を得ることができる。ある例では、画像キャプチャデバイスの被写界深度は、０．５メートルから無限大である。図８ａは、いくつかの実施形態における例示的なレンズの寸法を示す。

いくつかの実施形態では、画像キャプチャデバイスは、相補型金属酸化膜半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ‐ｏｘｉｄｅ‐ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）画像センサ（例えばＮＶｉｄｉａ Ｊｅｔｓｏｎ Ｎａｎｏ ＳＯＭを備えたＳｏｎｙ ＩＭＸ２８３ ～２０ Ｍｅｇａｐｉｘｅｌ ＣＭＯＳ ＭＩＰＩセンサ）である。様々な実施形態において、画像キャプチャデバイスは電荷結合素子（ｃｈａｒｇｅｄ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ：ＣＣＤ）である。ある例では、画像キャプチャデバイスは赤色‐緑色‐青色（ｒｅｄ‐ｇｒｅｅｎ‐ｂｌｕｅ：ＲＧＢ）センサである。一実施形態では、画像キャプチャデバイスは赤外線（ＩＲ）センサである。レンズアセンブリ７０４は、画像キャプチャデバイスに広い視野を与えることができる。

画像センサは多くの異なる仕様を有してよい。ある例では、画像センサは以下を含む：

例示的な仕様は、以下の通りであってよい：

様々な実施形態において、Ｆ０相対視野（即ち中心）でのＭＴＦを見ると、焦点シフトは０．５ｍにおける＋２８マイクロメートルから無限遠点での－２５マイクロメートルまで変化し得、全体を通した焦点シフトは５３マイクロメートルとなる。

図８ｂは、いくつかの実施形態における例示的なレンズの設計仕様を示す。

いくつかの例では、レンズアセンブリ７０４は、少なくとも１４８°のＨＦＯＶ、及び少なくとも９４°のＶＦＯＶを有する。ある例では、レンズアセンブリ７０４は、１５０°、１８０°、又は１４５°～１８０°の視野を有する。環境キャプチャシステム７００の周りでの３６０°のビューの画像キャプチャを、ある例では、環境キャプチャシステム７００の画像キャプチャデバイスからの３回又は４回の別個の画像キャプチャによって得ることができる。様々な実施形態において、画像キャプチャデバイスは、１°あたり少なくとも３７ピクセルの解像度を有してよい。いくつかの実施形態では、環境キャプチャシステム７００は、非使用時にレンズアセンブリ７０４を保護するためのレンズキャップ（図示せず）を含む。レンズアセンブリ７０４の出力は、物理的環境のあるエリアのデジタル画像であってよい。レンズアセンブリ７０４がキャプチャした複数の画像を１つにスティッチングすることによって、上記物理的環境の２Ｄパノラマ画像を形成できる。３Ｄパノラマは、ＬｉＤＡＲ７０８がキャプチャした深度データを、レンズアセンブリ７０４からの複数の画像を１つにスティッチングすることによって生成された２Ｄパノラマ画像と組み合わせることによって、生成できる。いくつかの実施形態では、環境キャプチャシステム４０２がキャプチャした複数の画像は、画像処理システム４０６によって１つにスティッチングされる。様々な実施形態において、環境キャプチャシステム４０２は、２Ｄパノラマ画像の「プレビュー」又は「サムネイル」バージョンを生成する。２Ｄパノラマ画像のプレビュー又はサムネイルバージョンは、ｉＰａｄ、パーソナルコンピュータ、スマートフォン等といったユーザシステム１１１０上で提示できる。いくつかの実施形態では、環境キャプチャシステム４０２は、物理的環境のあるエリアを表す、上記物理的環境のミニマップを生成してよい。様々な実施形態において、画像処理システム４０６は、上記物理的環境のあるエリアを表すミニマップを生成する。

レンズアセンブリ７０４がキャプチャした画像は、２Ｄ画像のキャプチャ場所を特定する又は示す、キャプチャデバイス場所データを含んでよい。例えばいくつかの実装形態では、キャプチャデバイス場所データは、２Ｄ画像と関連付けられた全地球測位システム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ：ＧＰＳ）座標を含むことができる。他の実装形態では、キャプチャデバイス場所データは、キャプチャデバイス（例えばカメラ及び／又は３Ｄセンサ）の、その環境に対する相対位置、例えばキャプチャデバイスの、上記環境内のあるオブジェクト、上記環境内の別のデバイス等に対する、相対位置又は較正位置を示す、位置情報を含むことができる。いくつかの実装形態では、このタイプの場所データは、キャプチャデバイス（例えばカメラ、並びに／又は位置決め用ハードウェア及び／若しくはソフトウェアを備えたカメラに動作可能に結合されたデバイス）によって、画像のキャプチャに関連して決定でき、画像と共に受信できる。レンズアセンブリ７０４の配置は、設計によるものだけではない。レンズアセンブリ７０４を回転軸の中心又は略中心に配置することによって、視差効果を低減できる。

いくつかの実施形態では、構造フレーム７０６は、レンズアセンブリ７０４及びＬｉＤＡＲ７０８をある特定の位置に保持し、この例の環境キャプチャシステムの構成部品の保護に役立つことができる。構造フレーム７０６は、ＬｉＤＡＲ７０８のしっかりとした設置を支援し、ＬｉＤＡＲ７０８を固定位置に配置する役割を果たすことができる。更に、レンズアセンブリ７０４及びＬｉＤＡＲ７０８の固定された位置により、深度データを画像情報と位置合わせして３Ｄ画像の作成を支援するための、固定された関係が可能となる。上記物理的環境でキャプチャされた２Ｄ画像データ及び深度データを、共通の３Ｄ座標空間に対して位置合わせすることによって、上記物理的環境の３Ｄモデルを生成できる。

様々な実施形態において、ＬｉＤＡＲ７０８は、物理的環境の深度情報をキャプチャする。ユーザが環境キャプチャシステム７００を、第２の建造物のあるフロアの一部分に置くと、ＬｉＤＡＲ７０８はオブジェクトの深度情報を得ることができる。ＬｉＤＡＲ７０８は、光学感知モジュールを含んでよく、これは、レーザからのパルスを利用して標的又はシーンを照射し、光子が標的まで移動してＬｉＤＡＲ７０８に戻るのにかかる時間を測定することによって、標的又はシーン内のオブジェクトまでの距離を測定できる。続いて、環境キャプチャシステム７００の水平駆動列から導出された情報を用いて、測定値を格子座標系に変換してよい。

いくつかの実施形態では、ＬｉＤＡＲ７０８は、１０マイクロ秒毎に、深度データ点を１０マイクロ秒毎に（内部クロックの）タイムスタンプ付きで返すことができる。ＬｉＤＡＲ７０８は、（上部及び底部に小さな穴がある）部分的な球体を０．２５°毎にサンプリングできる。１０マイクロ秒及び０．２５°毎のデータ点で、いくつかの実施形態では、複数の点の「ディスク」１つあたり１４．４０ミリ秒となり得、名目上２０．７秒である球体をなすために１４４０個のディスクが存在し得る。各ディスクは前後にキャプチャするため、球体は１８０°のスイープでキャプチャできる。

ある例では、ＬｉＤＡＲ７０８の仕様は以下の通りであってよい：

ＬｉＤＡＲを利用する１つの利点は、ＬｉＤＡＲを比較的低い波長（例えば９０５ｎｍ、９００～９４０ｎｍ等）で用いることで、環境キャプチャシステム７００が、屋外環境又は光が明るい屋内環境に関する深度情報を決定できることである。

レンズアセンブリ７０４及びＬｉＤＡＲ７０８の配置によって、環境キャプチャシステム７００又はデジタルデバイスを環境キャプチャシステム７００と通信させて、ＬｉＤＡＲ７０８及びレンズアセンブリ７０４からの深度データを用いて３Ｄパノラマ画像を生成できる。いくつかの実施形態では、２Ｄ及び３Ｄパノラマ画像は環境キャプチャシステム４０２で生成されない。

ＬｉＤＡＲ７０８の出力は、ＬｉＤＡＲ７０８が送信する各レーザパルスに関連付けられた属性を含んでよい。上記属性としては：レーザパルスの強度；戻り回数；現在の戻りの番号；分類点；ＲＧＣ値；ＧＰＳ時間；スキャン角度；スキャン方向；又はこれらのいずれの組み合わせが挙げられる。被写界深度は、（０．５ｍ；無限大）、（１ｍ；無限大）等であってよい。いくつかの実施形態では、被写界深度は０．２ｍ～１ｍ及び無限大である。

いくつかの実施形態では、環境キャプチャシステム７００は、環境キャプチャシステム７００が静止している間に、レンズアセンブリ７０４を用いて４つの別個のＲＢＧ画像をキャプチャする。様々な実施形態において、ＬｉＤＡＲ７０８は、環境キャプチャシステム７００が移動中であり、あるＲＢＧ画像キャプチャ位置から別のＲＢＧ画像キャプチャ位置へと移動している間に、４つの異なるインスタンスの深度データをキャプチャする。ある例では、３Ｄパノラマ画像は、画像キャプチャシステム７００の３６０°の回転によってキャプチャされ、この回転をスイープと呼ぶ場合がある。様々な実施形態において、３Ｄパノラマ画像は、環境キャプチャシステム７００の３６０°未満の回転によってキャプチャされる。スイープの出力はスイープリスト（ｓｗｅｅｐ ｌｉｓｔ：ＳＷＬ）であってよく、これは、レンズアセンブリ７０４からの画像データと、ＬｉＤＡＲ７０８からの深度データと、ＧＰＳの場所及びスイープが実施された時点のタイムスタンプを含むスイープの特性とを含む。様々な実施形態において、単一のスイープ（例えば環境キャプチャシステム７００の単一の３６０°のターン）は、（例えば環境キャプチャシステム７００から画像及び深度データを受信して、単一のスイープでキャプチャされた環境キャプチャシステム７００からの上記画像及び深度データのみを用いて３Ｄビジュアライゼーションを作成する、環境キャプチャシステム７００と通信するデジタルデバイスによって）３Ｄビジュアライゼーションを生成するために十分な、画像及び深度情報をキャプチャする。

いくつかの実施形態では、以下で説明される画像スティッチング・処理システムによって、環境キャプチャシステム４０２がキャプチャした複数の画像をブレンドし、１つにスティッチングし、ＬｉＤＡＲ７０８からの深度データと組み合わせることができる。

様々な実施形態において、環境キャプチャシステム４０２、及び／又はユーザシステム１１１０上のアプリケーションは、３Ｄパノラマ画像のプレビュー又はサムネイルバージョンを生成してよい。３Ｄパノラマ画像のプレビュー又はサムネイルバージョンは、ユーザシステム１１１０上で提示でき、画像処理システム４０６が生成する３Ｄパノラマ画像より低い画像解像度を有してよい。レンズアセンブリ７０４及びＬｉＤＡＲ７０８が物理的環境の画像及び深度データをキャプチャした後、環境キャプチャシステム４０２は、環境キャプチャシステム４０２がキャプチャした物理的環境のあるエリアを表す、ミニマップを生成してよい。いくつかの実施形態では、画像処理システム４０６は、上記物理的環境のあるエリアを表すミニマップを生成する。環境キャプチャシステム４０２を用いて、家のリビングルームの画像及び深度データをキャプチャした後、環境キャプチャシステム４０２は、物理的環境の上からの図を生成できる。ユーザはこの情報を用いて、ユーザが３Ｄパノラマ画像をキャプチャ又は生成していない、上記物理的環境のエリアを決定できる。

一実施形態では、環境キャプチャシステム７００は、レンズアセンブリ７０４の画像キャプチャデバイスによる画像キャプチャの間に、ＬｉＤＡＲ７０８による深度情報キャプチャを挟むことができる。例えば、画像キャプチャデバイスは、図１６に見られるような物理的環境のセクション１６０５の画像をキャプチャしてよく、その後、ＬｉＤＡＲ７０８がセクション１６０５から深度情報を得る。ＬｉＤＡＲ７０８がセクション１６０５から深度情報を得ると、画像キャプチャデバイスは別のセクション１６１０の画像をキャプチャするために移動してよく、続いてＬｉＤＡＲ７０８がセクション１６１０から深度情報を得る。このようにして、画像キャプチャと深度情報キャプチャとを交互に行う。

いくつかの実施形態では、ＬｉＤＡＲ７０８は少なくとも１４５°の視野を有してよく、環境キャプチャシステム７００の３６０°のビューの全てのオブジェクトの深度情報は、環境キャプチャシステム７００によって、３回又は４回のスキャンで得ることができる。別の例では、ＬｉＤＡＲ７０８は、少なくとも１５０°、１８０°、又は１４５°～１８０°の視野を有してよい。

レンズの視野の増大によって、環境キャプチャシステム７００の周りの物理的環境の視覚及び深度情報を得るために必要な時間量が削減される。様々な実施形態において、ＬｉＤＡＲ７０８は０．５ｍの最小深度範囲を有する。一実施形態では、ＬｉＤＡＲ７０８は８メートルを超える最大深度範囲を有する。

ＬｉＤＡＲ７０８は、ミラーアセンブリ７１２を利用して、レーザを異なるスキャン角度に向けることができる。一実施形態では、任意の垂直モータ７１８は、ミラーアセンブリ７１２を垂直に移動させる機能を有する。いくつかの実施形態では、ミラーアセンブリ７１２は、疎水性コーティング又は層を有する誘電体ミラーであってよい。ミラーアセンブリ７１２は、使用時にミラーアセンブリ７１２を回転させる垂直モータ７１８に結合されていてよい。

ミラーアセンブリ７１２のミラーは例えば、以下の仕様を有してよい：

ミラーアセンブリ７１２のミラーは例えば、材料及びコーティングに関して以下の仕様を有してよい：

ミラーアセンブリ７１２のミラーの疎水性コーティングは例えば、１０５°を超える接触角を有してよい

ミラーアセンブリ７１２のミラーは、以下の品質仕様を有してよい：

垂直モータは例えば以下の仕様を有してよい：

ＲＧＢキャプチャデバイス及びＬｉＤＡＲ７０８によって、環境キャプチャシステム７００は、晴天の屋外で、又は光が明るい若しくは窓からの日光が眩しい屋内で、画像をキャプチャできる。異なるデバイス（例えば構造化照明デバイス）を利用するシステムでは、屋内であるか屋外であるかにかかわらず、明るい環境では動作できない場合がある。これらのデバイスは多くの場合、光を制御するために、屋内のみ、及び夜明け若しくは日没の間のみに使用するよう制限されている。そうしなければ、室内の明るいスポットによって画像にアーティファクト又は「穴」が作成され、これを埋める又は修正する必要がある。しかしながら、環境キャプチャシステム７００は、屋内及び屋外両方の、明るい日光の下で利用できる。キャプチャデバイス及びＬｉＤＡＲ７０８は、眩しい光又は明るい光によって引き起こされるアーティファクト又は穴を伴わずに、明るい環境で画像及び深度データをキャプチャできる。

一実施形態では、ＧＰＳアンテナ７１４は全地球測位システム（ＧＰＳ）データを受信する。ＧＰＳデータを用いて、いずれの所与の時点における環境キャプチャシステム７００の場所を決定できる。

様々な実施形態において、ディスプレイ７２０によって、環境キャプチャシステム７００は、アップデート中、ウォームアップ中、スキャン中、スキャン完了、エラー等といったシステムの現在の状態を提供できる。

バッテリパック７２２は環境キャプチャシステム７００に電力を供給する。バッテリパック７２２は着脱可能かつ再充電可能であってよく、これによってユーザは、枯渇したバッテリパックを充電する間、新しいバッテリパック７２２を入れることができる。いくつかの実施形態では、バッテリパック７２２は再充電前に、少なくとも１０００ＳＷＬ又は少なくとも２５０ＳＷＬの連続使用が可能であってよい。環境キャプチャシステム７００は再充電のためにＵＳＢ‐Ｃプラグを利用してよい。

いくつかの実施形態では、マウント７２４は、環境キャプチャシステム７００を三脚又はマウント等のプラットフォームに接続するためのコネクタを提供する。水平モータ７２６は環境キャプチャシステム７００を、ｘ‐ｙ平面に関して回転させることができる。いくつかの実施形態では、水平モータ７２６は、各レーザパルスに関連付けられた（ｘ，ｙ，ｚ）座標を決定するために、格子座標系に情報を提供してよい。様々な実施形態において、レンズの広い視野、回転軸の周りでのレンズの位置決め、及びＬｉＤＡＲデバイスによって、水平モータ７２６は、環境キャプチャシステム７００がスキャンを迅速に実施できるようにすることができる。

水平モータ７２６は一例として、以下の仕様を有してよい：

様々な実施形態において、マウント７２４は、クイックリリースアダプタを含んでよい。保持トルクは例えば２．０Ｎｍ超であってよく、キャプチャ操作の耐久性は最高７０，０００サイクル、又は７０，０００サイクル超であってよい。

例えば環境キャプチャシステム７００は、８ｍを超えるスイープ間距離で、標準的な家の３Ｄメッシュの構築が可能であってよい。屋内でのスイープのキャプチャ、処理、及び位置合わせのための時間は、４５秒未満とすることができる。ある例では、スイープのキャプチャの開始から、ユーザが環境キャプチャシステム７００を移動させることができる時点までの時間枠は、１５秒未満とすることができる。

様々な実施形態において、これらの構成部品は、環境キャプチャシステム７００に、屋外及び屋内の複数のスキャン位置を位置合わせすることによって、屋内と屋外との間のシームレスなウォークスルー体験を作成する能力を提供する（これは、ホテル、民泊施設、不動産、建設業における考証、ＣＲＥ、並びに完成時のモデリング及び検証にとって、高い優先度を有し得る）。環境キャプチャシステム７００は、「屋外ドールハウス」又は屋外ミニマップも作成できる。ここで示されているように、環境キャプチャシステム７００はまた、主に測定の観点から、３Ｄ再構成の精度を向上させることもできる。スキャンの密度に関して、ユーザがこれを微調整できることもプラスになる可能性がある。これらの構成部品はまた、環境キャプチャシステム７００が、何もない広い空間（例えば比較的長い範囲）をキャプチャできるようにすることができる。何もない広い空間の３Ｄモデルを生成するためには、環境キャプチャシステムが、より小さな空間の３Ｄモデルの生成よりも大きな距離範囲から、３Ｄデータ及び深度データをスキャン及びキャプチャする必要があり得る。

様々な実施形態において、これらの構成部品は、環境キャプチャシステム７００が、屋内及び屋外での使用に関して同様の方法で、複数のＳＷＬを位置合わせして３Ｄモデルを再構成できるようにする。これらの構成部品はまた、環境キャプチャシステム７００が、３Ｄモデルの地理的位置特定を実施できるようにすることもできる（これは、Ｇｏｏｇｌｅストリートビューへの統合を容易にし、必要に応じて複数の屋外パノラマを位置合わせするのに役立ち得る）。

環境キャプチャシステム７００の画像キャプチャデバイスは、７０°のＶＦＯＶに関して８．５インチ×１１インチで印刷可能な品質、及びＲＧＢ画像スタイルを有する、ＤＳＬＲのような画像を提供できるものであってよい。

いくつかの実施形態では、環境キャプチャシステム７００は、画像キャプチャデバイスによって（例えば広角レンズを用いて）ＲＧＢ画像を撮影し、レンズを移動させた後、次のＲＧＢ画像を撮影できる（モータを用いて合計４回移動させる）。水平モータ７２６が環境キャプチャシステムを９０°回転させる間に、ＬｉＤＡＲ７０８は深度データをキャプチャできる。いくつかの実施形態では、ＬｉＤＡＲ７０８はＡＰＤアレイを含む。

いくつかの実施形態では、画像及び深度データをその後、キャプチャアプリケーション（例えば、ネットワーク上のスマートデバイス又は画像キャプチャシステムといった、環境キャプチャシステム７００と通信するデバイス）に送ってよい。いくつかの実施形態では、環境キャプチャシステム７００は、処理、及び２Ｄパノラマ画像又は３Ｄパノラマ画像の生成のために、画像及び深度データを画像処理システム４０６に送ることができる。様々な実施形態において、環境キャプチャシステム７００は、環境キャプチャシステム７００の３６０°の回転からキャプチャされたＲＧＢ画像及び深度データのスイープリストを生成してよい。このスイープリストを、スティッチング及び位置合わせのために画像処理システム４０６に送ることができる。スイープの出力はＳＷＬであってよく、これは、レンズアセンブリ７０４からの画像データと、ＬｉＤＡＲ７０８からの深度データと、ＧＰＳの場所及びスイープが実施された時点のタイムスタンプを含むスイープの特性とを含む。

様々な実施形態において、システムの再較正を必要とすることなくハウジングを開けることができるように、ＬＩＤＡＲ、垂直ミラー、ＲＧＢレンズ、三脚マウント、及び水平ドライブは、ハウジング内にしっかりと設置される。

図９ａは、いくつかの実施形態による環境キャプチャシステムの一例のブロック図９００を示す。ブロック図９００は、電源９０２、電力コンバータ９０４、入出力（Ｉ／Ｏ）プリント回路基板アセンブリ（ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ ａｓｓｅｍｂｌｙ：ＰＣＢＡ）、システム・オン・モジュール（ｓｙｓｔｅｍ ｏｎ ｍｏｄｕｌｅ：ＳＯＭ）ＰＣＢＡ、ユーザインタフェース９１０、ＬｉＤＡＲ９１２、ミラーブラシレス直流（ｂｒｕｓｈｌｅｓｓ ｄｉｒｅｃｔ ｃｕｒｒｅｎｔ：ＢＬＣＤ）モータ９１４、駆動列９１６、ワイド（ｗｉｄｅ ＦＯＶ：ＷＦＯＶ）レンズ９１８、及び画像センサ９２０を含む。

電源９０２は、図７のバッテリパック７２２であってよい。電源は、環境キャプチャシステムに電力を供給できる、リチウムイオンバッテリ（例えば４×１８６５０ Ｌｉ‐Ｉｏｎ電池）等の着脱可能かつ再充電可能なバッテリであってよい。

電力コンバータ９０４は、電源９０２からの電圧レベルを、環境キャプチャシステムの電子部品が利用できるように、より低い又はより高い電圧に変換できる。環境キャプチャシステムは、４Ｓ１Ｐ構成、即ち４つの直列接続及び１つの並列接続の構成の、４×１８６５０ Ｌｉ‐Ｉｏｎ電池を利用してよい。

いくつかの実施形態では、Ｉ／Ｏ ＰＣＢＡ９０６は、ＩＭＵ、Ｗｉ‐Ｆｉ、ＧＰＳ、Ｂｌｕｅｔｏｏｔｈ、慣性計測装置（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ：ＩＭＵ）、モータドライブ、及びマイクロコントローラを提供する要素を含んでよい。いくつかの実施形態では、Ｉ／Ｏ ＰＣＢＡ９０６は、水平モータを制御して水平モータの制御をエンコードするため、並びに垂直モータを制御して垂直モータの制御をエンコードするための、マイクロコントローラを含む。

ＳＯＭ ＰＣＢＡ９０８は、中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）及び／又は画像演算処理装置（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＧＰＵ）、メモリ、及びモバイルインタフェースを含んでよい。ＳＯＭ ＰＣＢＡ９０８は、ＬｉＤＡＲ９１２、画像センサ９２０、及びＩ／Ｏ ＰＣＢＡ９０６を制御できる。ＳＯＭ ＰＣＢＡ９０８は、ＬｉＤＡＲ９１２の各レーザパルスに関連付けられた（ｘ，ｙ，ｚ）座標を決定し、上記座標をＳＯＭ ＰＣＢＡ９０８のメモリ構成部品に保存できる。いくつかの実施形態では、ＳＯＭ ＰＣＢＡ９０８は、環境キャプチャシステム４００の画像処理システムに上記座標を保存できる。各レーザパルスに関連付けられた座標に加えて、ＳＯＭ ＰＣＢＡ９０８は、レーザパルスの強度、戻り回数、現在の戻りの番号、分類点、ＲＧＣ値、ＧＰＳ時間、スキャン角度、及びスキャン方向を含む、各レーザパルスに関連付けられた更なる属性を決定してよい。

いくつかの実施形態では、ＳＯＭ ＰＣＢＡ９０８は、ＣＰＵ／ＧＰＵ、ＤＤＲ、ｅＭＭＣ、Ｅｔｈｅｒｎｅｔを備えたＮｖｉｄｉａ ＳＯＭ ＰＣＢＡを含む。

ユーザインタフェース９１０は、ユーザが対話できる物理的なボタン又はスイッチを含んでよい。上記ボタン又はスイッチは、環境キャプチャシステムのオン及びオフの切り替え、物理的環境のスキャン等の機能を提供できる。いくつかの実施形態では、ユーザインタフェース９１０は、図７のディスプレイ７２０等のディスプレイを含んでよい。

いくつかの実施形態では、ＬｉＤＡＲ９１２は、物理的環境の深度情報をキャプチャする。ＬｉＤＡＲ９１２は光学感知モジュールを含み、これは、標的又はシーンに光を照射することによって、標的又はシーン内のオブジェクトまでの距離を測定できる。ＬｉＤＡＲ９１２の光学感知モジュールは、光子が上記標的又はオブジェクトまで移動して、反射した後にＬｉＤＡＲ９１２のレシーバに戻るのにかかる時間を測定することによって、上記標的又はオブジェクトからのＬｉＤＡＲの距離を与える。ＳＯＭ ＰＣＢＡ９０８は上記距離と共に、各レーザパルスに関連付けられた（ｘ，ｙ，ｚ）座標を決定できる。ＬｉＤＡＲ９１２は、幅５８ｍｍ、高さ５５ｍｍ、及び深さ６０ｍｍの範囲内に収まるものとすることができる。

ＬｉＤＡＲ９１２は、範囲（１０％反射率）が９０ｍ、範囲（２０％反射率）が１３０ｍ、範囲（１００％反射率）が２６０ｍ、範囲精度（１σ＠９００ｍ）が２ｃｍ、波長が１７０５ｎｍ、ビーム発散が０．２８×０．０３°であってよい。

ＳＯＭ ＰＣＢＡ９０８は、駆動列９１６の場所に基づいて座標を決定してよい。様々な実施形態において、ＬｉＤＡＲ９１２は１つ以上のＬｉＤＡＲデバイスを含んでよい。複数のＬｉＤＡＲデバイスを利用することによって、ＬｉＤＡＲの解像度を向上させることができる。

ミラーブラシレス直流（ＢＬＣＤ）モータ９１４は、図７のミラーアセンブリ７１２を制御できる。

いくつかの実施形態では、駆動列９１６は、図７の水平モータ７２６を含んでよい。駆動列９１６は、環境キャプチャシステムが三脚等のプラットフォームに設置されているときに、環境キャプチャシステムの回転を提供できる。駆動列９１６は、ステッピングモータＮｅｍａ１４、ウォーム及びプラスチック歯車駆動列、クラッチ、ブッシングベアリング、及びバックラッシュ防止機構を含んでよい。いくつかの実施形態では、環境キャプチャシステムは、１回のスキャンを１７秒未満で完了できる。様々な実施形態において、駆動列９１６は、６０°／秒の最高速度、３００°／秒^２の最高加速度、０．５ｎｍの最大トルク、０．１°未満の角度位置精度、及び１回転あたり約４０９６カウントのエンコーダ解像度を有する。

いくつかの実施形態では、駆動列９１６は垂直モノゴンミラー及びモータを含む。この例では、駆動列９１６は、ＢＬＤＣモータ、外部ホール効果センサ、（ホール効果センサと対になった）磁石、ミラーブラケット、及びミラーを含んでよい。この例の駆動列９１６は、４，０００ＲＰＭの最高速度及び３００°／秒＾２の最高加速度を有してよい。いくつかの実施形態では、上記モノゴンミラーは誘電体ミラーである。一実施形態では、上記モノゴンミラーは、疎水性コーティング又は層を含む。

環境キャプチャシステムの構成部品の配置は、レンズアセンブリ及びＬｉＤＡＲが回転軸の略中心に配置されるようなものである。これによって、画像キャプチャシステムが回転軸の中心に配置されていない場合に発生する画像の視差を低減できる。

いくつかの実施形態では、ＷＦＯＶレンズ９１８は、図７のレンズアセンブリ７０４のレンズであってよい。ＷＦＯＶレンズ９１８は、光を画像キャプチャデバイス上に集束させる。いくつかの実施形態では、ＷＦＯＶレンズは、少なくとも１４５°のＦＯＶを有してよい。このような広いＦＯＶによって、環境キャプチャシステムの周りの３６０°の画像キャプチャを、画像キャプチャデバイスの３回の別個の画像キャプチャによって得ることができる。いくつかの実施形態では、ＷＦＯＶレンズ９１８は、約６０ｍｍの直径、及び約８０ｍｍのトータルトラック長（ＴＴＬ）を有してよい。ある例では、ＷＦＯＶレンズ９１８は、１４８．３°以上の水平視野、及び９４°以上の垂直視野を有してよい。

画像キャプチャデバイスは、ＷＦＯＶレンズ９１８及び画像センサ９２０を含んでよい。画像センサ９２０は、ＣＭＯＳ画像センサであってよい。一実施形態では、画像センサ９２０は電荷結合素子（ＣＣＤ）である。いくつかの実施形態では、画像センサ９２０は、赤色‐緑色‐青色（ＲＧＢ）センサである。一実施形態では、画像センサ９２０はＩＲセンサである。様々な実施形態において、画像キャプチャデバイスは、１°あたり少なくとも３５ピクセル（ＰＰＤ）の解像度を有してよい。

いくつかの実施形態では、画像キャプチャデバイスは：ｆ／２．４のＦ値；１５．８６ｍｍのイメージサークル直径；２．４μｍのピクセルピッチ；１４８．３°超のＨＦＯＶ；９４．０°超のＶＦＯＶ；３８．０ＰＰＤ超の１°あたりのピクセル数；３．０°の全高での主光線入射角度；１３００ｍｍの最短撮影距離；無限遠の最長撮影距離；１３０％超の相対光量；９０％未満の最大歪み；及び５％以下のスペクトル透過率の変動を有してよい。

いくつかの実施形態では、レンズは：２．８のＦ値；１５．８６ｍｍのイメージサークル直径；３７超の１°あたりのピクセル数；３．０の、全高のセンサにおける主光線入射角度；６０ｍｍ未満のＬ１直径；８０ｍｍ未満のＴＴＬ；及び５０％超の相対光量を有してよい。

レンズは、８５％超の５２ｌｐ／ｍｍ（軸上）、６６％超の１０４ｌｐ／ｍｍ（軸上）、４５％超の２０８ｌｐ／ｍｍ（軸上）、７５％超の５２ｌｐ／ｍｍ（視野の８３％）、４１％超の１０４ｌｐ／ｍｍ（視野の８３％）、及び２５％超の２０８ｌｐ／ｍｍ（視野の８３％）を有してよい。

環境キャプチャシステムは、２０ＭＰ超の解像度、１．７Ｖ／ルクス＊秒超の緑色の感度、６５ｄＢ超のＳＮＲ（１００ルクス、１倍ゲイン）、及び７０ｄＢ超のダイナミックレンジを有してよい。

図９ｂは、いくつかの実施形態による環境キャプチャシステムのＳＯＭ ＰＣＢＡ９０８の一例のブロック図を示す。ＳＯＭ ＰＣＢＡ９０８は、通信用構成部品９２２、ＬｉＤＡＲ制御用構成部品９２４、ＬｉＤＡＲ配置用構成部品９２６、ユーザインタフェース構成部品９２８、分類用構成部品９３０、ＬｉＤＡＲデータストア９３２、及びキャプチャ済み画像データストア９３４を含んでよい。

いくつかの実施形態では、通信用構成部品９２２は、ＳＯＭ ＰＣＢＡ１００８の構成部品のうちのいずれと、図９ａの環境キャプチャシステムの構成部品との間で、リクエスト又はデータを送受信できる。

様々な実施形態において、ＬｉＤＡＲ制御用構成部品９２４は、ＬｉＤＡＲの様々な様相を制御できる。例えばＬｉＤＡＲ制御用構成部品９２４は、はＬｉＤＡＲ９１２に、レーザパルスの送出を開始するための制御信号を送ってよい。ＬｉＤＡＲ制御用構成部品９２４によって送られる上記制御信号は、レーザパルスの周波数に対する命令を含んでよい。

いくつかの実施形態では、ＬｉＤＡＲ配置用構成部品９２６はＧＰＳデータを利用して、環境キャプチャシステムの場所を決定できる。様々な実施形態において、ＬｉＤＡＲ配置用構成部品９２６はミラーアセンブリの位置を利用して、各レーザパルスに関連付けられたスキャン角度及び（ｘ，ｙ，ｚ）座標を決定する。ＬｉＤＡＲ配置用構成部品９２６はＩＭＵを利用して、環境キャプチャシステムの配向を決定することもできる。

ユーザインタフェース構成部品９２８は、環境キャプチャシステムとのユーザの対話を容易にすることができる。いくつかの実施形態では、ユーザインタフェース構成部品９２８は、ユーザが対話できる１つ以上のユーザインタフェース要素を提供してよい。ユーザインタフェース構成部品９２８が提供するユーザインタフェースは、ユーザシステム１１１０に送ることができる。例えばユーザインタフェース構成部品９２８はユーザシステム（例えばデジタルデバイス）に、建造物の間取りのあるエリアの視覚的表現を提供できる。ユーザが環境キャプチャシステムを建造物の１つの階の異なる複数の部分に配置して、３Ｄパノラマ画像をキャプチャ及び生成すると、環境キャプチャシステムは間取りの視覚的表現を生成できる。ユーザは、環境キャプチャシステムを物理的環境のあるエリアに配置して、家の該領域の３Ｄパノラマ画像をキャプチャ及び生成できる。該エリアの３Ｄパノラマ画像が画像処理システムによって生成された後、ユーザインタフェース構成部品は、図１ｂに示されているようなリビングルームのエリアの上からの図を用いて、間取り図を更新できる。いくつかの実施形態では、間取り図２００は、１つの家の、又はある建造物のあるフロアの２回目のスイープをキャプチャした後で、ユーザシステム１１１０によって生成できる。

様々な実施形態において、分類用構成部品９３０は、物理的環境のタイプを分類できる。分類用構成部品９３０は、画像内のオブジェクト又は画像内のオブジェクトを分析して、環境キャプチャシステムによってキャプチャされた物理的環境のタイプを分類できる。いくつかの実施形態では、画像処理システムは、環境キャプチャシステム４００によってキャプチャされた物理的環境のタイプを分類する役割を果たすことができる。

ＬｉＤＡＲデータストア９３２は、キャプチャされたＬｉＤＡＲデータに好適ないかなる構造及び／又は複数の構造（例えばアクティブデータベース、リレーショナルデータベース、自己参照データベース、テーブル、マトリックス、アレイ、フラットファイル、ドキュメント指向のストレージシステム、非リレーショナルＮｏ‐ＳＱＬシステム、Ｌｕｃｅｎｅ／Ｓｏｌａｒ等のＦＴＳ管理システム等）であってよい。画像データストア４０８は、キャプチャされたＬｉＤＡＲデータを保存できる。しかしながらＬｉＤＡＲデータストア９３２は、通信ネットワーク４０４が機能していない場合に、キャプチャされたＬｉＤＡＲデータをキャッシュするために利用できる。例えば、環境キャプチャシステム４０２及びユーザシステム１１１０が、セルラーネットワークのない離れた場所、又はＷｉ‐Ｆｉのない領域にある場合、ＬｉＤＡＲデータストア９３２は、キャプチャされたＬｉＤＡＲデータを、画像データストア９３４に転送できるようになるまで保存できる。

ＬｉＤＡＲデータストアと同様に、キャプチャ済み画像データストア９３４は、キャプチャされた画像に好適ないかなる構造及び／又は複数の構造（例えばアクティブデータベース、リレーショナルデータベース、自己参照データベース、テーブル、マトリックス、アレイ、フラットファイル、ドキュメント指向のストレージシステム、非リレーショナルＮｏ‐ＳＱＬシステム、Ｌｕｃｅｎｅ／Ｓｏｌａｒ等のＦＴＳ管理システム等）であってよい。画像データストア９３４は、キャプチャされた画像を保存できる。

図１０ａ～１０ｃは、いくつかの実施形態における、画像を撮影するための環境キャプチャシステム４００のプロセスを示す。図１０ａ～１０ｃに示されているように、環境キャプチャシステム４００は、異なる複数の露出で画像のバーストを撮影できる。画像のバーストは、それぞれ異なる露出の複数の画像のセットであってよい。第１の画像バーストは時点０．０のものである。環境キャプチャシステム４００は、第１のフレームを受信して、このフレームを、第２のフレームの待機中に評価できる。図１０ａは、第２のフレームの到着後に第１のフレームがブレンドされることを示している。いくつかの実施形態では、環境キャプチャシステム４００は各フレームを処理して、ピクセル、色等を識別してよい。次のフレームが到着すると、環境キャプチャシステム４００は、最も新しく受信したフレームを処理し、２つのフレームを１つにブレンドしてよい。

様々な実施形態において、環境キャプチャシステム４００は、画像処理を実施して第６のフレームをブレンドし、更に、ブレンドされたフレーム（例えばいずれの個数の画像バーストのフレームからの要素を含んでよいフレーム）中のピクセルを評価する。環境キャプチャシステム４００の移動（例えばターン）の前又は間の、この最後のステップ中に、環境キャプチャシステム４００は任意に、ブレンドされた画像を、画像演算処理装置からＣＰＵメモリへと転送してよい。

プロセスは図１０ｂで続行される。図１０ｂの初めでは、環境キャプチャシステム４００は別のバーストを実行する。環境キャプチャシステム４００は、ブレンドされたフレーム、及び／又はキャプチャされたフレームの全て又は一部を、ＪＸＲを用いて圧縮してよい。図１０ａと同様に、画像のバーストは、それぞれ異なる露出の複数の画像のセットであってよい（上記セットの各フレームの露出の長さは、同一であってよく、また図１０ａ、１０ｃに包含される他のバーストと同じ順序であってよい）。第２の画像バーストは２秒の時点のものである。環境キャプチャシステム４００は、第１のフレームを受信して、このフレームを、第２のフレームの待機中に評価できる。図１０ｂは、第２のフレームの到着後に第１のフレームがブレンドされることを示している。いくつかの実施形態では、環境キャプチャシステム４００は各フレームを処理して、ピクセル、色等を識別してよい。次のフレームが到着すると、環境キャプチャシステム４００は、最も新しく受信したフレームを処理し、２つのフレームを１つにブレンドしてよい。

様々な実施形態において、環境キャプチャシステム４００は、画像処理を実施して第６のフレームをブレンドし、更に、ブレンドされたフレーム（例えばいずれの個数の画像バーストのフレームからの要素を含んでよいフレーム）中のピクセルを評価する。環境キャプチャシステム４００の移動（例えばターン）の前又は間の、この最後のステップ中に、環境キャプチャシステム４００は任意に、ブレンドされた画像を、画像演算処理装置からＣＰＵメモリへと転送してよい。

ターンした後、環境キャプチャシステム４００は、およそ３．５秒の時点で（例えば１８０°のターン後に）別のカラーバーストを実行することによって、プロセスを継続できる。環境キャプチャシステム４００は、ブレンドされたフレーム、及び／又はキャプチャされたフレームの全て又は一部を、ＪＸＲを用いて圧縮してよい。画像のバーストは、それぞれ異なる露出の複数の画像のセットであってよい（上記セットの各フレームの露出の長さは、同一であってよく、また図１０ａ、１０ｃに包含される他のバーストと同じ順序であってよい）。環境キャプチャシステム４００は、第１のフレームを受信して、このフレームを、第２のフレームの待機中に評価できる。図１０ｂは、第２のフレームの到着後に第１のフレームがブレンドされることを示している。いくつかの実施形態では、環境キャプチャシステム４００は各フレームを処理して、ピクセル、色等を識別してよい。次のフレームが到着すると、環境キャプチャシステム４００は、最も新しく受信したフレームを処理し、２つのフレームを１つにブレンドしてよい。

様々な実施形態において、環境キャプチャシステム４００は、画像処理を実施して第６のフレームをブレンドし、更に、ブレンドされたフレーム（例えばいずれの個数の画像バーストのフレームからの要素を含んでよいフレーム）中のピクセルを評価する。環境キャプチャシステム４００の移動（例えばターン）の前又は間の、この最後のステップ中に、環境キャプチャシステム４００は任意に、ブレンドされた画像を、画像演算処理装置からＣＰＵメモリへと転送してよい。

最後のバーストは、図１０ｃの５秒の時点で行われる。環境キャプチャシステム４００は、ブレンドされたフレーム、及び／又はキャプチャされたフレームの全て又は一部を、ＪＸＲを用いて圧縮してよい。画像のバーストは、それぞれ異なる露出の複数の画像のセットであってよい（上記セットの各フレームの露出の長さは、同一であってよく、また図１０ａ、１０ｂに包含される他のバーストと同じ順序であってよい）。環境キャプチャシステム４００は、第１のフレームを受信して、このフレームを、第２のフレームの待機中に評価できる。図１０ｃは、第２のフレームの到着後に第１のフレームがブレンドされることを示している。いくつかの実施形態では、環境キャプチャシステム４００は各フレームを処理して、ピクセル、色等を識別してよい。次のフレームが到着すると、環境キャプチャシステム４００は、最も新しく受信したフレームを処理し、２つのフレームを１つにブレンドしてよい。

様々な実施形態において、環境キャプチャシステム４００は、画像処理を実施して第６のフレームをブレンドし、更に、ブレンドされたフレーム（例えばいずれの個数の画像バーストのフレームからの要素を含んでよいフレーム）中のピクセルを評価する。環境キャプチャシステム４００の移動（例えばターン）の前又は間の、この最後のステップ中に、環境キャプチャシステム４００は任意に、ブレンドされた画像を、画像演算処理装置からＣＰＵメモリへと転送してよい。

画像キャプチャデバイスのダイナミックレンジは、画像センサがキャプチャできる光の量の尺度である。ダイナミックレンジは、画像の最も暗いエリアと最も明るいエリアとの間の差である。画像キャプチャデバイスのダイナミックレンジを向上させる方法は多数存在し、そのうちの１つは、同一の物理的環境の複数の画像を、異なる複数の露出を用いてキャプチャすることである。短い露出でキャプチャされた画像は、物理的環境の最も明るいエリアをキャプチャすることになり、長い露出は、物理的環境のより暗いエリアをキャプチャすることになる。いくつかの実施形態では、環境キャプチャシステムは、６つの異なる露出時間で複数の画像をキャプチャしてよい。環境キャプチャシステムがキャプチャした画像の一部又は全てを用いて、高ダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ：ＨＤＲ）の２Ｄ画像を生成する。キャプチャされたイメージのうちの１つ以上は、光の検出、フリッカーの検出等といった他の機能のために使用してよい。

物理的環境の３Ｄパノラマ画像は、画像キャプチャデバイスの４回の別個の画像キャプチャ、及び環境キャプチャシステムのＬｉＤＡＲデバイスの４回の別個の深度データに基づいて生成できる。４回の別個の画像キャプチャはそれぞれ、異なる複数の露出時間の一連の画像キャプチャを含んでよい。ブレンド用アルゴリズムを用いて、異なる複数の露出時間の上記一連の画像キャプチャをブレンドして、４つのＲＧＢ画像キャプチャのうちの１つを生成でき、これを利用して２Ｄパノラマ画像を生成できる。例えば環境キャプチャシステムを用いて、キッチンの３Ｄパノラマ画像をキャプチャしてよい。このキッチンの１つの壁の画像は、窓を含んでよく、短い露出でキャプチャされた画像は、窓の外のビューを提供できるが、キッチンの残りの部分は露出アンダーのままとなり得る。対称的に、長い露出でキャプチャされた別の画像は、キッチンの内部のビューを提供できる。ブレンド用アルゴリズムは、ある画像からのキッチンの窓の外のビューと、別の画像からのキッチンのビューの残りとをブレンドして、ブレンド済みＲＧＢ画像を生成できる。

様々な実施形態において、３Ｄパノラマ画像は、画像キャプチャデバイスの３回の別個の画像キャプチャ、及び環境キャプチャシステムのＬｉＤＡＲデバイスの４回の別個の深度データに基づいて生成できる。いくつかの実施形態では、画像キャプチャの回数と深度データキャプチャの回数とは、同一であってよい。一実施形態では、画像キャプチャの回数と深度データキャプチャの回数とは、異なっていてよい。

ある露出時間で第１の一連の画像をキャプチャした後、ブレンド用アルゴリズムは上記第１の一連の画像を受信し、上記画像に関する初期強度重みを計算し、上記画像を、それ以降に受信する画像を組み合わせるためのベースライン画像として設定する。いくつかの実施形態では、ブレンド用アルゴリズムは、画像演算処理装置（ＧＰＵ）の画像処理ルーチン、例えば「ｂｌｅｎｄ＿ｋｅｒｎｅｌ」ルーチンを利用してよい。ブレンド用アルゴリズムは後続の画像を受信でき、これらは、それ以前に受信した画像とブレンドできる。いくつかの実施形態では、ブレンド用アルゴリズムは、ｂｌｅｎｄ＿ｋｅｒｎｅｌ ＧＰＵ画像処理ルーチンのバリエーションを利用してよい。

一実施形態では、ブレンド用アルゴリズムは、ベースライン画像の最も暗い部分と最も明るい部分との間の差、即ちコントラストを決定して、ベースライン画像が露出オーバーであるか露出アンダーであるかを判断する等の、複数の画像をブレンドする他の方法を利用する。例えば、所定のコントラスト閾値未満のコントラスト値は、ベースライン画像が露出オーバー又は露出アンダーであることを意味する。一実施形態では、ベースライン画像のコントラストは、画像の、又は画像のサブセットの、光強度の平均を得ることによって計算できる。いくつかの実施形態では、ブレンド用アルゴリズムは、画像の各行又は列に関する平均光強度を計算する。いくつかの実施形態では、ブレンド用アルゴリズムは、画像キャプチャデバイスから受信した各画像のヒストグラムを決定し、このヒストグラムを分析することによって、各画像を構成するピクセルの光強度を決定してよい。

様々な実施形態において、ブレンドは、オブジェクト及び継ぎ目に沿ったものを含む、同じシーンの２つ以上の画像内の色を、サンプリングするステップを含んでよい。（例えば色、色相、輝度、彩度等の所定の閾値内において）２つの画像間に色の有意な差がある場合、（例えば環境キャプチャシステム４００又はユーザデバイス１１１０上の）ブレンドモジュールは、上記差が存在する位置に沿って、所定のサイズの両方の画像をブレンドしてよい。いくつかの実施形態では、画像のある位置における色又は画像の差が大きくなるほど、該位置付近のより多量の空間をブレンドしてよい。

いくつかの実施形態では、ブレンド後、（例えば環境キャプチャシステム４００又はユーザデバイス１１１０上の）ブレンドモジュールは、１つ以上の画像に沿って色を再スキャン及びサンプリングして、画像又は色に、色、色相、輝度、彩度等の上記所定の閾値を超える他の差が存在するかどうかを判定してよい。存在する場合、ブレンドモジュールは上記１つ以上の画像内の該部分を特定して、画像の該部分のブレンドを継続してよい。ブレンドモジュールは、ブレンドするべき画像の更なる部分が存在しなくなる（例えば色の差が１つ以上の所定の閾値未満となる）まで、継ぎ目に沿って画像をリサンプリングし続けてよい。

図１１は、いくつかの実施形態による、画像をキャプチャ及びスティッチングして３Ｄビジュアライゼーションを形成できる例示的な環境１１００のブロック図を示す。この例示的な環境１１００は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２、通信ネットワーク１１０４、画像スティッチング・プロセッサシステム１１０６、画像データストア１１０８、ユーザシステム１１１０、及び物理的環境１１１２の第１のシーンを含む。３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２及び／又はユーザシステム１１１０は、環境（例えば物理的環境１１１２）の画像のキャプチャに使用できる画像キャプチャデバイス（例えば環境キャプチャシステム４００）を含んでよい。

３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２及び画像スティッチング・プロセッサシステム１１０６は、環境キャプチャシステム４００と通信可能に結合された１つのシステムの一部（例えば１つ以上のデジタルデバイスの一部）であってよい。いくつかの実施形態では、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２及び画像スティッチング・プロセッサシステム１１０６の構成部品の機能のうちの少なくとも１つは、環境キャプチャシステム４００によって実施できる。同様に、又はあるいは、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２及び画像スティッチング・プロセッサシステム１１０６は、ユーザシステム１１１０及び／又は画像スティッチング・プロセッサシステム１１０６によって実施できる。

ユーザは３Ｄパノラマキャプチャ・スティッチングシステム１１０２を利用して、建造物の内側及び／又は建造物の外側といった環境の、複数の２Ｄ画像をキャプチャできる。例えばユーザは、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２を利用して、環境キャプチャシステム４００によって提供される物理的環境１１１２の第１のシーンの複数の２Ｄ画像をキャプチャしてよい。３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、位置合わせ・スティッチングシステム１１１４を含んでよい。あるいは、ユーザシステム１１１０が位置合わせ・スティッチングシステム１１１４を含んでよい。

位置合わせ・スティッチングシステム１１１４は、画像キャプチャシステムのユーザに（例えば３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２、若しくはユーザシステム１１１０についての）ガイダンスを提供する、並びに／又は（スティッチング、位置合わせ、クロップ等によって）改善されたパノラマ写真の作成を可能にするために画像を処理するよう構成された、ソフトウェア、ハードウェア、又は両方の組み合わせであってよい。位置合わせ・スティッチングシステム１１１４は、（本明細書に記載の）コンピュータ可読媒体上にあってよい。いくつかの実施形態では、位置合わせ・スティッチングシステム１１１４は、機能を実施するためのプロセッサを含んでよい。

物理的環境１１１２の第１のシーンの例は、何らかの部屋、不動産等（例えばリビングルームの表現）であってよい。いくつかの実施形態では、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２を利用して、屋内環境の３Ｄパノラマ画像を生成する。いくつかの実施形態では、３Ｄパノラマキャプチャ・スティッチングシステム１１０２は、図４に関連して説明される環境キャプチャシステム４００であってよい。

いくつかの実施形態では、３Ｄキャプチャ・スティッチングシステム１１０２は、画像及び深度データをキャプチャするためのデバイス、並びにソフトウェア（例えば環境キャプチャシステム４００）と通信できる。ソフトウェアの全体又は一部は、３Ｄパノラマキャプチャ・スティッチングシステム１１０２、ユーザシステム１１１０、環境キャプチャシステム４００、又はこれら全てにインストールされ得る。いくつかの実施形態では、ユーザはユーザシステム１１１０を介して３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２と対話できる。

３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２、又はユーザシステム１１１０は、複数の２Ｄ画像を得ることができる。３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２、又はユーザシステム１１１０は、（例えばＬｉＤＡＲデバイス等から）深度データを得ることができる。

様々な実施形態において、ユーザシステム１１１０（例えばスマートフォン若しくはタブレットコンピュータといった、ユーザのスマートデバイス）上のアプリケーション、又は環境キャプチャシステム４００上のアプリケーションは、環境キャプチャシステム４００を用いて画像を撮影するために、ユーザに視覚的又は聴覚的なガイダンスを提供できる。グラフィックによるガイダンスとしては例えば、画像キャプチャデバイスを位置決めする及び／又は向ける場所についてユーザをガイドするための、環境キャプチャシステム４００のディスプレイ上（例えば環境キャプチャシステム４００の背面のファインダー又はＬＥＤスクリーン上）の、自由に動く矢印が挙げられる。別の例では、上記アプリケーションは、画像キャプチャデバイスを位置決めする及び／又は向ける場所に関する音声ガイダンスを提供できる。

いくつかの実施形態では、上記ガイダンスによって、ユーザは、三脚等の安定化のためのプラットフォームの助けを借りずに、物理的環境の複数の画像をキャプチャできるようになる。ある例では、画像キャプチャデバイスは、スマートフォン、タブレット、メディアタブレット、ラップトップ等といった個人向けデバイスであってよい。上記アプリケーションは、画像キャプチャデバイスの位置、画像キャプチャデバイスからの場所情報、及び／又は画像キャプチャデバイスの過去の画像に基づいて、無視差点を近似するために、各スイープの位置に関する方向を提供できる。

いくつかの実施形態では、視覚的及び／又は聴覚的なガイダンスによって、三脚を用いずに、また（例えばセンサ、ＧＰＳデバイス等からのカメラの場所、位置、及び／又は配向を示す）カメラ位置情報を用いずに、１つにスティッチングすることでパノラマを形成できる複数の画像のキャプチャが可能となる。

位置合わせ・スティッチングシステム１１１４は、（例えばユーザシステム１１１０又は３Ｄパノラマキャプチャ・スティッチングシステム１１０２がキャプチャした）２Ｄ画像を位置合わせ又はスティッチングして、２Ｄパノラマ画像を得ることができる。

いくつかの実施形態では、位置合わせ・スティッチングシステム１１１４は、機械学習アルゴリズムを利用して、複数の２Ｄ画像を位置合わせ又はスティッチングして２Ｄパノラマ画像とする。機械学習アルゴリズムのパラメータは、位置合わせ・スティッチングシステム１１１４によって管理できる。例えば、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２及び／又は位置合わせ・スティッチングシステム１１１４は、２Ｄ画像内のオブジェクトを認識することによって、これらの画像を位置合わせして２Ｄパノラマ画像にするのを支援できる。

いくつかの実施形態では、位置合わせ・スティッチングシステム１１１４は、深度データ及び２Ｄパノラマ画像を利用して、３Ｄパノラマ画像を得ることができる。３Ｄパノラマ画像は、３Ｄ及びパノラマスティッチングシステム１１０２又はユーザシステム１１１０に提供されてよい。いくつかの実施形態では、位置合わせ・スティッチングシステム１１１４、３Ｄパノラマ画像内で認識されたオブジェクトに関連付けられた３Ｄ・深度測定値を決定し、及び／又は１つ以上の２Ｄ画像、深度データ、１つ以上の２Ｄパノラマ画像、１つ以上の３Ｄパノラマ画像を画像スティッチング・プロセッサシステム１１０６に送り、これによって、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２によって提供された２Ｄパノラマ画像又は３Ｄパノラマ画像よりも高いピクセル解像度を有する２Ｄパノラマ画像又は３Ｄパノラマ画像を得る。

通信ネットワーク１１０４は、１つ以上のコンピュータネットワーク（例えばＬＡＮ、ＷＡＮ等）又は他の伝送媒体を表してよい。通信ネットワーク１１０４は、システム１１０２、１１０６～１１１０、及び／又は本明細書に記載の他のシステムの間での通信を提供できる。いくつかの実施形態では、通信ネットワーク１０４は、１つ以上のデジタルデバイス、ルート、ケーブル、バス、及び／又は他のネットワークトポロジ（例えばメッシュ等）を含む。いくつかの実施形態では、通信ネットワーク１１０４は、有線及び／又は無線であってよい。様々な実施形態において、通信ネットワーク１１０４は：インターネット；１つ以上の広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＡＮ）又はローカルエリアネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ：ＬＡＮ）；パブリック、プライベート、ＩＰベース、非ＩＰベース等であってよい１つ以上のネットワークを含んでよい。

画像スティッチング・プロセッサシステム１１０６は、画像キャプチャデバイス（例えば環境キャプチャシステム４００、又はスマートフォン、パーソナルコンピュータ、メディアタブレット等のユーザデバイス）がキャプチャした２Ｄ画像を処理して、これらを２Ｄパノラマ画像へとスティッチングしてよい。画像スティッチング・プロセッサシステム１１０６が処理した２Ｄパノラマ画像は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２によって得られたパノラマ画像より高いピクセル解像度を有してよい。

いくつかの実施形態では、画像スティッチング・プロセッサシステム１１０６は、３Ｄパノラマ画像を受信してこれを処理し、受信した３Ｄパノラマ画像より高いピクセル解像度を有する３Ｄパノラマ画像を作成する。ピクセル解像度がより高いこのパノラマ画像を、ユーザシステム１１１０より高いスクリーン解像度を有する出力デバイス、例えばコンピュータスクリーン、プロジェクタスクリーン等へと供給できる。いくつかの実施形態では、ピクセル解像度がより高いこのパノラマ画像は、出力デバイスに、より詳細なパノラマ画像を提供でき、また拡大可能である。

画像データストア１１０８は、キャプチャされた画像及び／又は深度データに好適ないかなる構造及び／又は複数の構造（例えばアクティブデータベース、リレーショナルデータベース、自己参照データベース、テーブル、マトリックス、アレイ、フラットファイル、ドキュメント指向のストレージシステム、非リレーショナルＮｏ‐ＳＱＬシステム、Ｌｕｃｅｎｅ／Ｓｏｌａｒ等のＦＴＳ管理システム等）であってよい。画像データストア１１０８は、ユーザシステム１１１０の画像キャプチャデバイスがキャプチャした画像を保存できる。様々な実施形態において、画像データストア１１０８は、ユーザシステム１１１０の１つ以上の深度センサがキャプチャした深度データを保存する。様々な実施形態において、画像データストア１１０８は、画像キャプチャデバイスに関連付けられた特性、又は２Ｄ若しくは３Ｄパノラマ画像の決定に使用される複数の画像キャプチャ若しくは深度キャプチャそれぞれに関連付けられた特性を保存する。いくつかの実施形態では、画像データストア１１０８は、２Ｄ又は３Ｄパノラマ画像を保存する。２Ｄ又は３Ｄパノラマ画像は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２又は画像スティッチング・プロセッサシステム１０６によって決定できる。

ユーザシステム１１１０は、ユーザと他の関連付けられたシステムとの間で通信を実施できる。いくつかの実施形態では、ユーザシステム１１１０は、１つ以上の移動体デバイス（例えばスマートフォン、携帯電話、スマートウォッチ等）であってよく、又はこれらを含んでよい。

ユーザシステム１１１０は、１つ以上の画像キャプチャデバイスを含んでよい。１つ以上の画像キャプチャデバイスは例えば、ＲＧＢカメラ、ＨＤＲカメラ、ビデオカメラ、ＩＲカメラ等を含むことができる。

３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２、及び／又はユーザシステム１１１０は、２つ以上のキャプチャデバイスを含んでよく、これらは、これらを合わせた視野が３６０°に及ぶような、同一のモバイルハウジング上又は同一のモバイルハウジング内での互いに対する相対位置に配設されていてよい。いくつかの実施形態では、ステレオ画像のペアを生成できる、（例えばわずかにオフセットされているものの部分的には重なった視野を有する）画像キャプチャデバイスの複数のペアを用いることができる。ユーザシステム１１１０は、垂直ステレオ画像のペアをキャプチャできる、垂直ステレオオフセット視野を有する２つの画像キャプチャデバイスを含んでよい。別の例では、ユーザシステム１１１０は、垂直ステレオ画像のペアをキャプチャできる、垂直ステレオオフセット視野を有する２つの画像キャプチャデバイスを備えることができる。

いくつかの実施形態では、ユーザシステム１１１０、環境キャプチャシステム４００、又は３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、画像キャプチャ位置及び場所情報を生成及び／又は提供できる。例えば、ユーザシステム１１１０又は３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、複数の２Ｄ画像をキャプチャする１つ以上の画像キャプチャデバイスに関連付けられた位置データの決定を支援するために、慣性計測装置（ＩＭＵ）を含んでよい。ユーザシステム１１１０は、１つ以上の画像キャプチャデバイスがキャプチャした複数の２Ｄ画像に関連付けられたＧＰＳ座標情報を提供するために、全地球測位センサ（ＧＰＳ）を含んでよい。

いくつかの実施形態では、ユーザは、ユーザシステム１１１０にインストールされたモバイルアプリケーションを用いて、位置合わせ・スティッチングシステム１１１４と対話してよい。３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、画像をユーザシステム１１１０に提供してよい。ユーザは、ユーザシステム１１１０上の位置合わせ・スティッチングシステム１１１４を利用して、画像及びプレビューを確認してよい。

様々な実施形態において、位置合わせ・スティッチングシステム１１１４は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２及び／又は画像スティッチング・プロセッサシステム１１０６に対して、１つ以上の３Ｄパノラマ画像を送受信するよう構成されていてよい。いくつかの実施形態では、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２がキャプチャした、建造物の間取りの一部分の視覚的表現を、ユーザシステム１１１０に提供してよい。

システム１１１０のユーザは、上述のエリアの周辺の空間をナビゲートして、家の異なる複数の部屋を見ることができる。いくつかの実施形態では、ユーザシステム１１１０のユーザは、画像スティッチング・プロセッサシステム１１０６が３Ｄパノラマ画像の生成を完了すると、例示的な３Ｄパノラマ画像等の３Ｄパノラマ画像を表示させることができる。様々な実施形態において、ユーザシステム１１１０は、３Ｄパノラマ画像のプレビュー又はサムネイルを生成する。３Ｄパノラマ画像のプレビューは、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２が生成した３Ｄパノラマ画像よりも低い画像解像度を有してよい。

図１２は、いくつかの実施形態による位置合わせ・スティッチングシステム１１１４の例のブロック図である。位置合わせ・スティッチングシステム１１１４は、通信モジュール１２０２、画像キャプチャ位置モジュール１２０４、スティッチングモジュール１２０６、クロップモジュール１２０８、画像切り取りモジュール１２１０、ブレンドモジュール１２１１、３Ｄ画像生成器１２１４、キャプチャ済み２Ｄ画像データストア１２１６、３Ｄパノラマ画像データストア１２１８、及びガイダンスモジュール２２０を含む。本明細書で説明されるような１つ以上の異なる機能を実施する、位置合わせ・スティッチングシステム１１１４のいずれの個数のモジュールが存在し得ることを、理解できる。

いくつかの実施形態では、位置合わせ・スティッチングシステム１１１４は、１つ以上の画像キャプチャデバイス（例えばカメラ）から画像を受信するよう構成された、画像キャプチャモジュールを含む。位置合わせ・スティッチングシステム１１１４は、利用可能な場合は、ＬｉＤＡＲ等の深度デバイスから深度データを受信するように構成された深度モジュールを含んでもよい。

通信モジュール１２０２は、位置合わせ・スティッチングシステム１１１４のモジュール又はデータストアのうちのいずれと、図１１の例示的な環境１１００の構成要素との間で、リクエスト、画像、又はデータを送受信できる。同様に、位置合わせ・スティッチングシステム１１１４は、通信ネットワーク１１０４を介していずれのデバイス又はシステムに対して、リクエスト、画像、又はデータを送受信できる。

いくつかの実施形態では、画像キャプチャ位置モジュール１２０４は、画像キャプチャデバイス（例えばスタンドアロン型カメラであってよいカメラ、スマートフォン、メディアタブレット、ラップトップ等）の、画像キャプチャデバイス位置データを決定できる。画像キャプチャデバイス位置データは、画像キャプチャデバイス及び／又はレンズの位置及び配向を示すものであってよい。ある例では、画像キャプチャ位置モジュール１２０４は、ユーザシステム１１１０、カメラ、カメラを備えたデジタルデバイス、又は３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２のＩＭＵを利用して、画像キャプチャデバイスの位置データを生成できる。画像キャプチャ位置モジュール１２０４は、１つ以上の画像キャプチャデバイス（又はレンズ）の現在の方向、角度、又は傾斜を決定できる。画像キャプチャ位置モジュール１２０４は、ユーザシステム１１１０又は３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２のＧＰＳを利用してもよい。

例えば、ユーザがリビングルーム等の物理的環境の３６０°のビューをキャプチャするためにユーザシステム１１１０を使用したいとき、ユーザは、ユーザシステム１１１０を自身の正面の目の高さに保持して、最終的に１つの３Ｄパノラマ画像となる複数の画像のうちの１つのキャプチャを開始してよい。画像に対する視差の量を低減して、３Ｄパノラマ画像のスティッチング及び生成により好適な画像をキャプチャするためには、１つ以上の画像キャプチャデバイスが回転軸の中心で回転すれば好ましい場合がある。位置合わせ・スティッチングシステム１１１４は、（例えばＩＭＵから）位置情報を受信して、画像キャプチャデバイス又はレンズの位置を決定できる。位置合わせ・スティッチングシステム１１１４は、レンズの視野を受信して保存できる。ガイダンスモジュール１２２０は、画像キャプチャデバイスの推奨初期位置に関する視覚及び／又は音声情報を提供できる。ガイダンスモジュール１２２０は、後続の画像に対する画像キャプチャデバイスの位置決めの推奨を行うことができる。ある例では、ガイダンスモジュール１２２０は、画像キャプチャデバイスが回転の中心の付近で回転するように、画像キャプチャデバイスを回転させる及び位置決めするためのガイダンスを、ユーザに提供できる。更にガイダンスモジュール１２２０は、後続の画像が視野及び／又は画像キャプチャデバイスの特徴に基づいて概ね位置合わせされるように、画像キャプチャデバイスを回転させる及び位置決めするためのガイダンスを、ユーザに提供できる。

ガイダンスモジュール１２２０は、ユーザに視覚的ガイダンスを提供してよい。例えばガイダンスモジュール１２２０は、ユーザシステム１１１０又は３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２上のビューワー又はディスプレイに、マーカー又は矢印を配置してよい。いくつかの実施形態では、ユーザシステム１１１０は、ディスプレイを備えたスマートフォン又はタブレットコンピュータであってよい。１つ以上の写真を撮影するとき、ガイダンスモジュール１２２０は、１つ以上のマーカー（例えば異なる色のマーカー又は同一のマーカー）を、出力デバイス上及び／又はファインダー内に位置決めしてよい。その後、ユーザは出力デバイス及び／又はファインダー上のこれらのマーカーを用いて、次の画像を位置合わせしてよい。

ユーザシステム１１１０又は３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２のユーザをガイドして、複数の画像を、これらの画像を１つのパノラマに容易にスティッチングできるように撮影する、多数の技法が存在する。複数の画像からパノラマを得るとき、これらの画像を１つにスティッチングしてよい。アーティファクト又は位置ずれの補正の必要を低減しながら、画像を１つにスティッチングする時間、効率、及び有効性を改善するために、画像キャプチャ位置モジュール１２０４及びガイダンスモジュール１２２０は、所望のパノラマのための画像のスティッチングの品質、時間効率、及び有効性を改善する位置で、複数の画像を撮影することにおいて、ユーザを支援できる。

例えば第１の写真の撮影後、ユーザシステム１１１０のディスプレイは、円等の２つ以上のオブジェクトを含んでよい。２つの円は環境に対して静止しているように見えるものであってよく、２つの円はユーザシステム１１１０と共に移動できる。２つの静止した円を、ユーザシステム１１１０と共に移動する円と位置合わせすると、画像キャプチャデバイス及び／又はユーザシステム１１１０を次の画像のために位置合わせできる。

いくつかの実施形態では、画像キャプチャデバイスで画像を撮影した後、画像キャプチャ位置モジュール１２０４は、画像キャプチャデバイスの位置の（例えば配向、傾斜等を含む）センサ測定値を得ることができる。画像キャプチャ位置モジュール１２０４は、上記センサ測定値に基づいて視野の縁部の場所を計算することによって、撮影された画像の１つ以上の縁部を決定できる。更に、又はあるいは、画像キャプチャ位置モジュール１２０４は、画像キャプチャデバイスによって撮影された画像をスキャンし、該画像内のオブジェクトを（例えば本明細書に記載の機械学習モデルを用いて）特定し、画像の１つ以上の縁部を決定し、オブジェクト（例えば円又は他の形状）をユーザシステム１１１０上のディスプレイの縁部に位置決めすることによって、画像の１つ以上の縁部を決定できる。

画像キャプチャ位置モジュール１２０４は、次の写真のための視野の位置決めを示すユーザシステム１１１０のディスプレイ内に、２つのオブジェクトを表示できる。これら２つのオブジェクトは、環境内の、最後の画像の縁部が存在する場所を表す位置を示すことができる。画像キャプチャ位置モジュール１２０４は、画像キャプチャデバイスの位置のセンサ測定値を受信し続け、視野内の２つの更なるオブジェクトを計算できる。これら２つの更なるオブジェクトは、前の２つのオブジェクトと同じ幅だけ離れていてよい。最初の２つのオブジェクトは、撮影された画像のある縁部（例えば該画像の右端の縁部）を表してよいが、視野の縁部を表す次の２つの更なるオブジェクトは、反対側の縁部（例えば視野の左端の縁部）にあってよい。ユーザに、画像の縁部の最初の２つのオブジェクトと、視野の反対側の縁部の更なる２つのオブジェクトとを、物理的に位置合わせさせることにより、画像キャプチャデバイスを、三脚を用いることなくより効果的に１つにスティッチングできる別の画像を撮影するために、位置決めできる。このプロセスは、所望のパノラマがキャプチャされたとユーザが判断するまで、各画像に関して継続できる。

本明細書では複数のオブジェクトについて説明したが、画像キャプチャ位置モジュール１２０４は、画像キャプチャデバイスの位置決めのために、１つ以上のオブジェクトの位置を計算してよいことが理解されるだろう。上記オブジェクトは、いずれの形状（例えば円、楕円、正方形、絵文字、矢印等）であってよい。いくつかの実施形態では、上記オブジェクトは異なる形状のものであってよい。

いくつかの実施形態では、キャプチャされた画像の縁部を表すオブジェクトの間は距離が存在していてよく、また、視野のオブジェクトの間に距離が存在していてよい。ユーザは、オブジェクトの間に十分な距離を存在させることができるように、前方へと離れるように移動するよう、ガイドされ得る。あるいは、視野内のオブジェクトのサイズは、（例えば、画像のスティッチングを改善する位置で次の画像を撮影できるようにする位置に近づく、又は該位置から遠ざかることによって）画像キャプチャデバイスが正しい位置に近づくと、キャプチャされた画像の縁部を表すオブジェクトのサイズと一致するように変化してよい。

いくつかの実施形態では、画像キャプチャ位置モジュール１２０４は、画像キャプチャデバイスがキャプチャした画像内のオブジェクトを利用して、画像キャプチャデバイスの位置を推定できる。例えば画像キャプチャ位置モジュール１２０４は、ＧＰＳ座標を利用して、画像に関連付けられた地理的な場所を決定してよい。画像キャプチャ位置モジュール１２０４は、この位置を用いて、画像キャプチャデバイスによってキャプチャされ得るランドマークを特定できる。

画像キャプチャ位置モジュール１２０４は、２Ｄ画像を２Ｄパノラマ画像に変換するための２Ｄ機械学習モデルを含んでよい。画像キャプチャ位置モジュール１２０４は、２Ｄ画像を３Ｄ表現に変換するための３Ｄ機械学習モデルを含んでよい。ある例では、３Ｄ表現を利用して、屋内及び／又は屋外環境の３次元ウォークスルー又はビジュアライゼーションを表示できる。

２Ｄ機械学習モデルは、２つ以上の２Ｄ画像をスティッチングすることによる２Ｄパノラマ画像の形成を行うよう、又はこれを支援するよう、訓練されていてよい。２Ｄ機械学習モデルは例えば、画像内に物理的なオブジェクトを含む２Ｄ画像、及びオブジェクト識別情報を用いて訓練でき、これによって２Ｄ機械学習モデルは、後続の２Ｄ画像内のオブジェクトを特定するように訓練される。２Ｄ画像内のオブジェクトは、２Ｄ画像内の１つ以上の位置の決定を支援でき、これによって、この２Ｄ画像の縁部の決定、この２Ｄ画像内でのワープ変形、及び画像の位置合わせを支援できる。更に、２Ｄ画像内のオブジェクトは、２Ｄ画像内のアーティファクトの決定、２つの画像観のアーティファクト若しくは境界のブレンド、画像を切り取る位置の決定、及び／又は画像をクロップする位置の決定を支援できる。

いくつかの実施形態では、２Ｄ機械学習モデルは例えば２Ｄ画像で訓練されたニューラルネットワークであってよく、上記２Ｄ画像は、（例えばユーザシステム１１１０又は３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２のＬｉＤＡＲデバイス又は構造化照明デバイスからの）環境の深度情報を含み、かつ画像内に物理的オブジェクトを含み、これによって物理的オブジェクト、上記物理的オブジェクトの位置、及び／又は画像キャプチャデバイス／視野の位置を特定する。２Ｄ機械学習モデルは、物理的オブジェクト、及び２Ｄ画像の他の側面に対する上記物理的オブジェクトの深度を特定することによって、スティッチングのための２つの２Ｄ画像の位置合わせ及び位置決めを支援できる（又は２つの画像をスティッチングできる）。

２Ｄ機械学習モデルは、いずれの個数の機械学習モデル（例えばいずれの個数の、ニューラルネットワーク等によって生成されたモデル）を含んでよい。

２Ｄ機械学習モデルは、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２、画像スティッチング・プロセッサシステム１１０６、及び／又はユーザシステム１１１０に保存されていてよい。いくつかの実施形態では、２Ｄ機械学習モデルは、画像スティッチング・プロセッサシステム１１０６によって訓練されてよい。

画像キャプチャ位置モジュール１２０４は、スティッチングモジュール１２０６からの２つ以上の２Ｄ画像の間の継ぎ目、クロップモジュール１２０８からの画像のワープ変形、及び／又は画像切り取りモジュール１２１０からの画像切り取りに基づいて、画像キャプチャデバイス（画像キャプチャデバイスの視野の一部分）の位置を推定できる。

スティッチングモジュール１２０６は、スティッチングモジュール１２０６からの２つ以上の２Ｄ画像の間の継ぎ目、クロップモジュール１２０８からの画像のワープ変形、及び／又は画像切り取りに基づいて、２つ以上の２Ｄ画像を組み合わせて２Ｄパノラマを生成でき、これは、上記２つ以上の画像それぞれの視野より大きな視野を有する。

スティッチングモジュール１２０６は、同じ環境の異なる視点を提供する２つの異なる２Ｄ画像を位置合わせする、又は「１つにスティッチングする（ｓｔｉｔｃｈ ｔｏｇｅｔｈｅｒ）」ことによって、該環境のパノラマ２Ｄ画像を生成するよう構成されていてよい。例えばスティッチングモジュール１２０６は、各２Ｄ画像のキャプチャ位置及び配向に関する既知の情報又は（例えば本明細書の技法を用いて）導出された情報を用いて、２つの画像を１つにスティッチングするのを支援できる。

スティッチングモジュール１２０６は、２つの２Ｄ画像を受信してよい。第１の２Ｄ画像は、第２の２Ｄ画像の直前に、又は所定の期間内に、撮影されたものであってよい。様々な実施形態において、スティッチングモジュール１２０６は、第１の画像に関連付けられた画像キャプチャデバイスの位置決め情報、そして第２の画像に関連付けられた位置決め情報を受信してよい。これらの位置決め情報は、画像の撮影時点における、ＩＭＵ、ＧＰＳ、及び／又はユーザによって提供された情報からの位置決めデータに基づいて、上記画像に関連付けることができる。

いくつかの実施形態では、スティッチングモジュール１２０６は、２Ｄ機械学習モジュールを利用して、両方の画像をスキャンして両方の画像内のオブジェクトを認識でき、上記オブジェクトは、両方の画像が共有している可能性があるオブジェクト（又はオブジェクトの一部）を含む。例えばスティッチングモジュール１２０６は、両方の画像の対向する縁部において共有されている、隅、壁のパターン、家具等を特定できる。

スティッチングモジュール１２０６は、共有されているオブジェクト（又はオブジェクトの一部）の位置決め、ＩＭＵからの位置決めデータ、ＧＰＳからの位置決めデータ、及び／又はユーザによって提供された情報に基づいて、２つの２Ｄ画像の縁部を位置合わせして、これらの画像の上記２つの縁部を組み合わせる（即ちこれらを１つに「スティッチング」する）ことができる。いくつかの実施形態では、スティッチングモジュール１２０６は、互いに重なった２Ｄ画像の一部分を特定し、これらの画像を、（例えば位置決めデータ及び／又は２Ｄ機械学習モデルの結果を用いて）重なった位置においてスティッチングできる。

様々な実施形態において、２Ｄ機械学習モデルは、ＩＭＵからの位置決めデータ、ＧＰＳからの位置決めデータ、及び／又はユーザによって提供された情報を用いて、画像の２つの縁部を組み合わせる、又はスティッチングするように、訓練されていてよい。いくつかの実施形態では、２Ｄ機械学習モデルは、両方の２Ｄ画像内の共通するオブジェクトを特定することによって、これらの２Ｄ画像を位置合わせ及び位置決めし、これらの画像の２つの縁部を組み合わせる、又はスティッチングするように、訓練されていてよい。更なる実施形態では、２Ｄ機械学習モデルは、位置決めデータ及びオブジェクトの認識を用いて２Ｄ画像を位置合わせ及び位置決めして、これらの画像の２つの縁部を１つにスティッチングすることにより、パノラマ２Ｄ画像の全体又は一部を形成するように、訓練されていてよい。

スティッチングモジュール１２０６は、各画像（例えば各画像内のピクセル、各画像内のオブジェクト等）に関する深度情報を利用して、環境の単一の２Ｄパノラマ画像の生成に関連付けられた、各２Ｄ画像の互いに対する位置合わせを容易にすることができる。

クロップモジュール１２０８は、２Ｄ画像のキャプチャ時に画像キャプチャデバイスが同一位置に保持されなかった場合の、２つ以上の２Ｄ画像による問題を解決できる。例えば、ある画像のキャプチャ中には、ユーザはユーザシステム１１１０をある垂直位置に位置決めできる。しかしながら、別の画像のキャプチャ中、ユーザは上記ユーザシステムを、ある角度で位置決めする場合がある。結果として得られる画像は位置合わせされていない可能性があり、視差効果に悩まされる恐れがある。視差効果は、前景オブジェクトと背景オブジェクトとが、第１の画像及び第２の画像において同じように整列していない場合に発生し得る。

クロップモジュール１２０８は、（位置決め情報、深度情報、及び／又はオブジェクトの認識を適用することによって）２Ｄ機械学習モデルを利用して、２つ以上の画像における画像キャプチャデバイスの位置の変化を検出し、画像キャプチャデバイスの位置の変化の量を測定できる。クロップモジュール１２０８は、１つ又は複数の２Ｄ画像をワープ変形させて、これらの画像のスティッチング時にこれらの画像が１列に並んで１つのパノラマ画像を形成できるようにすることができ、また同時に、直線を真っ直ぐのまま維持するなど、画像の特定の特性を保存できる。

クロップモジュール１２０８の出力は、画像の各ピクセルをオフセットして画像を真っ直ぐにするための、ピクセル列及び行の数を含んでよい。各画像に関するオフセットの量は、画像の各ピクセルをオフセットするためのピクセル列及びピクセル行の数を表す行列の形式で出力できる。

いくつかの実施形態では、クロップモジュール１２０８は、ユーザシステム１１１０の画像キャプチャデバイスがキャプチャした複数の２Ｄ画像のうちの１つ以上に対して実施するべき画像のワープ変形の量を、画像キャプチャ位置モジュール１２０４からの１つ以上の画像キャプチャ位置、又はスティッチングモジュール１２０６からの２つ以上の２Ｄ画像の間の継ぎ目、画像切り取りモジュール１２１０からの画像切り取り、又はブレンドモジュール１２１１からの色のブレンドに基づいて、決定できる。

画像切り取りモジュール１２１０は、画像キャプチャデバイスがキャプチャした２Ｄ画像のうちの１つ以上を切り取る又はスライスするべき位置を決定できる。例えば画像切り取りモジュール１２１０は、２Ｄ機械学習モデルを利用して、両方の画像内のオブジェクトを特定し、これらが同一のオブジェクトであることを決定してよい。画像キャプチャ位置モジュール１２０４、クロップモジュール１２０８、及び／又は画像切り取りモジュール１２１０は、これらの２つの画像を、仮にワープ変形させても位置合わせできないことを決定してよい。画像切り取りモジュール１２１０は、２Ｄ機械学習モデルからの情報を利用して、２つの画像の、（例えば位置合わせ及び位置決めを支援するために、一方又は両方の画像の一部を切り取ることによって）１つにスティッチングできるセクションを特定してよい。いくつかの実施形態では、２つの２Ｄ画像は、画像内に表されている現実世界の少なくとも一部分において、重なっている場合がある。画像切り取りモジュール１２１０は、両方の画像内で１つのオブジェクト、例えば同一の椅子を特定できる。しかしながら、この椅子の画像は、画像キャプチャの位置決め及びクロップモジュール１２０８による画像のワープ変形の後でさえ、歪んでいないパノラマを生成するために１列にならない場合があり、現実世界の上記一部分を正しく表さないものとなる。画像切り取りモジュール１２１０は、椅子の２つの画像のうちの一方を、（例えば他方と比較した場合の一方の画像の位置ずれ、位置決め、及び／又はアーティファクトに基づいて）正しい表現として選択して、位置ずれ、位置決めのエラー、及びアーティファクトを有する画像から、椅子を切り取ることができる。スティッチングモジュール１２０６はその後、２つの画像を１つにスティッチングできる。

画像切り取りモジュール１２１０は、両方の組み合わせ、例えば椅子の画像を第１の画像から切り取って、第１の画像から椅子を除いたものを、第２の画像にスティッチングすることを試して、どちらの画像切り取りがより精密なパノラマ画像を生成するかを決定できる。画像切り取りモジュール１２１０の出力は、より精密なパノラマ画像を生成する画像切り取りに対応する、複数の２Ｄ画像のうちの１つ以上を切り取る場所であってよい。

画像切り取りモジュール１２１０は、画像キャプチャ位置モジュール１２０４からの１つ以上の画像キャプチャ位置；スティッチングモジュール１２０６からの、２つ以上の２Ｄ画像の間のスティッチング又は継ぎ目；クロップモジュール１２０８からの画像のワープ変形；及び画像切り取りモジュール１２１０からの画像切り取りに基づいて、画像キャプチャデバイスがキャプチャした２Ｄ画像のうちの１つ以上をどのように切り取る又はスライスするかを決定できる。

ブレンドモジュール１２１１は、２つの画像の間の継ぎ目（例えばスティッチング）を、上記継ぎ目が視認できなくなるように着色できる。照明及び影の変化によって、同一のオブジェクト又は表面がわずかに異なる色又は陰影で出力される可能性がある。ブレンドモジュールは：画像キャプチャ位置モジュール１２０４からの１つ以上の画像キャプチャ位置；スティッチング；２つの画像からの、継ぎ目に沿った画像の色；クロップモジュール１２０８からの画像のワープ変形；及び／又は画像切り取りモジュール１２１０からの画像切り取りに基づいて、必要な色のブレンドの量を決定できる。

様々な実施形態において、ブレンドモジュール１２１１は、２つの２Ｄ画像の組み合わせからパノラマを受信し、２つの２Ｄ画像の継ぎ目に沿って色をサンプリングしてよい。ブレンドモジュール１２１１は、画像キャプチャ位置モジュール１２０４から継ぎ目の場所の情報を受信してよく、これによってブレンドモジュール１２１１は、継ぎ目に沿って色をサンプリングして、差を決定できる。（例えば色、色相、輝度、彩度等の所定の閾値内において）２つの画像の間の継ぎ目に沿った色の有意な差がある場合、ブレンドモジュール１２１１は、上記差が存在する位置において、継ぎ目に沿って所定のサイズの両方の画像をブレンドしてよい。いくつかの実施形態では、継ぎ目に沿った色又は画像の差が大きくなるほど、２つの画像の継ぎ目に沿った、より多量の空間をブレンドしてよい。

いくつかの実施形態では、ブレンド後、（ブレンドモジュール１２１１は、継ぎ目に沿って色を再スキャン及びサンプリングして、画像又は色に、色、色相、輝度、彩度等の上記所定の閾値を超える他の差が存在するかどうかを判定してよい。存在する場合、ブレンドモジュール１２１１は継ぎ目に沿った該部分を特定して、画像の該部分のブレンドを継続してよい。ブレンドモジュール１２１１は、ブレンドするべき画像の更なる部分が存在しなくなる（例えば色の差が１つ以上の所定の閾値未満となる）まで、継ぎ目に沿って画像をリサンプリングし続けてよい。

３Ｄ画像生成器１２１４は、２Ｄパノラマ画像を受信して３Ｄ表現を生成できる。様々な実施形態において、３Ｄ画像生成器１２１４は３Ｄ機械学習モデルを利用して、２Ｄパノラマ画像を３Ｄ表現に変換する。３Ｄ機械学習モデルは、２Ｄパノラマ画像、及び（例えばＬｉＤＡＲセンサ又は構造化照明デバイスからの）深度データを用いて、３Ｄ表現を作成するように、訓練されていてよい。３Ｄ表現は、キュレーション及びフィードバックのために試験及びレビューされる場合がある。いくつかの実施形態では、３Ｄ機械学習モデルを２Ｄパノラマ画像及び深度データと共に使用することによって、３Ｄ表現を生成できる。

様々な実施形態において、３Ｄ画像生成器１２１４によって生成される３Ｄ表現の精度、レンダリングの速度、及び品質は、本明細書に記載のシステム及び方法を利用することによって大幅に改善される。例えば、本明細書に記載の方法を用いて（例えば：ハードウェアによって提供される位置合わせ及び位置決め情報によって；画像キャプチャ中にユーザに提供されるガイダンスによって生じる改善された位置決めによって；画像のクロップ、及びワープ変形の変更によって；アーティファクトを回避してワープ変形を克服するための画像の切り取りによって；画像のブレンドによって；並びに／又はこれらの組み合わせによって）位置合わせ、位置決め、及びスティッチングされた２Ｄパノラマ画像から、３Ｄ表現をレンダリングすることによって、３Ｄ表現の精度、レンダリングの速度、及び品質が改善される。更に、本明細書に記載の方法を用いて位置合わせ、位置決め、及びスティッチングされた２Ｄパノラマ画像を利用することによって、３Ｄ機械学習モデルの訓練を（例えば速度及び精度の点で）大幅に改善できることが理解されるだろう。更にいくつかの実施形態では、３Ｄ機械学習モデルはより小さく、より複雑でないものとすることができる。これは、位置ずれ、位置決めのエラー、ワープ変形、不十分な画像切り取り、不十分なブレンド、アーティファクト等を克服して、合理的な精度の３Ｄ表現を生成するために用いられる、処理及び学習が削減されるためである。

訓練された３Ｄ機械学習モデルは、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２、画像スティッチング・プロセッサシステム１０６、及び／又はユーザシステム１１１０に保存できる。

いくつかの実施形態では、３Ｄ機械学習モデルは、ユーザシステム１１１０及び／又は３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２の画像キャプチャデバイスからの、複数の２Ｄ画像及び深度データを用いて訓練されていてよい。更に３Ｄ画像生成器１２１４は：画像キャプチャ位置モジュール１２０４からの、複数の２Ｄ画像それぞれに関連付けられた画像キャプチャ位置情報；スティッチングモジュール１２０６からの、複数の２Ｄ画像それぞれを位置合わせ若しくはスティッチングするための継ぎ目の場所；クロップモジュール１２０８からの、複数の２Ｄ画像それぞれに関するピクセルの１つ以上のオフセット；及び／又は画像切り取りモジュール１２１０からの画像切り取りを用いて、訓練されていてよい。いくつかの実施形態では、３Ｄ機械学習モデルを：２Ｄパノラマ画像；深度データ；画像キャプチャ位置モジュール１２０４からの、複数の２Ｄ画像それぞれに関連付けられた画像キャプチャ位置情報；スティッチングモジュール１２０６からの、複数の２Ｄ画像それぞれを位置合わせ若しくはスティッチングするための継ぎ目の場所；クロップモジュール１２０８からの、複数の２Ｄ画像それぞれに関するピクセルの１つ以上のオフセット；及び／又は画像切り取りモジュール１２１０からの画像切り取りと共に用いて、３Ｄ表現を生成できる。

スティッチングモジュール１２０６は、複数の２Ｄ画像を２Ｄパノラマ又は３Ｄパノラマ画像に変換する３Ｄモデルの一部であってよい。いくつかの実施形態では、３Ｄモデルは、３Ｄ・フロム・２Ｄ（３Ｄ‐ｆｒｏｍ‐２Ｄ）予測ニューラルネットワークモデル等の、機械学習アルゴリズムである。クロップモジュール１２０８は、複数の２Ｄ画像を２Ｄパノラマ又は３Ｄパノラマ画像に変換する３Ｄモデルの一部であってよい。いくつかの実施形態では、３Ｄモデルは、３Ｄ・フロム・２Ｄ予測ニューラルネットワークモデル等の、機械学習アルゴリズムである。画像切り取りモジュール１２１０は、複数の２Ｄ画像を２Ｄパノラマ又は３Ｄパノラマ画像に変換する３Ｄモデルの一部であってよい。いくつかの実施形態では、３Ｄモデルは、３Ｄ・フロム・２Ｄ予測ニューラルネットワークモデル等の、機械学習アルゴリズムである。ブレンドモジュール１２１１は、複数の２Ｄ画像を２Ｄパノラマ又は３Ｄパノラマ画像に変換する３Ｄ機械学習モデルの一部であってよい。いくつかの実施形態では、３Ｄモデルは、３Ｄ・フロム・２Ｄ予測ニューラルネットワークモデル等の、機械学習アルゴリズムである。

３Ｄ画像生成器１２１４は、画像キャプチャ位置モジュール１２０４、クロップモジュール１２０８、画像切り取りモジュール１２１０、及びブレンドモジュール１２１１それぞれに対する重み付けを生成してよく、これはモジュールの信頼度、即ち「強さ（ｓｔｒｅｎｇｔｈ）」又は「弱さ（ｗｅａｋｎｅｓｓ）」を表すことができる。いくつかの実施形態では、これらのモジュールの重み付けの合計は１に等しい。

複数の２Ｄ画像に関して深度データが利用可能でない場合、３Ｄ画像生成器１２１４は、ユーザシステム１１１０の画像キャプチャデバイスがキャプチャした複数の２Ｄ画像中の１つ以上のオブジェクトに関する深度データを決定できる。いくつかの実施形態では、３Ｄ画像生成器１２１４は、ステレオ画像ペアがキャプチャした画像に基づいて深度データを導出してよい。３Ｄ画像生成器は、パッシブステレオアルゴリズムから深度データを決定するのではなく、ステレオ画像ペアを評価して、様々な深度での画像間の測光一致品質（より中間的な結果）に関するデータを決定できる。

３Ｄ画像生成器１２１４は、複数の２Ｄ画像を２Ｄパノラマ又は３Ｄパノラマ画像に変換する３Ｄモデルの一部であってよい。いくつかの実施形態では、３Ｄモデルは、３Ｄ・フロム・２Ｄ予測ニューラルネットワークモデル等の、機械学習アルゴリズムである。

キャプチャ済み２Ｄ画像データストア１２１６は、キャプチャされた画像及び／又は深度データに好適ないかなる構造及び／又は複数の構造（例えばアクティブデータベース、リレーショナルデータベース、自己参照データベース、テーブル、マトリックス、アレイ、フラットファイル、ドキュメント指向のストレージシステム、非リレーショナルＮｏ‐ＳＱＬシステム、Ｌｕｃｅｎｅ／Ｓｏｌａｒ等のＦＴＳ管理システム等）であってよい。キャプチャ済み２Ｄ画像データストア１２１６は、ユーザシステム１１１０の画像キャプチャデバイスがキャプチャした画像を保存できる。様々な実施形態において、キャプチャ済み２Ｄ画像データストア１２１６は、ユーザシステム１１１０の１つ以上の深度センサがキャプチャした深度データを保存する。様々な実施形態において、キャプチャ済み２Ｄ画像データストア１２１６は、画像キャプチャデバイスに関連付けられた画像キャプチャデバイス特性、又は２Ｄパノラマ画像の決定に使用される複数の画像キャプチャ若しくは深度キャプチャそれぞれに関連付けられたキャプチャ特性を保存する。いくつかの実施形態では、画像データストア１１０８は、２Ｄパノラマ画像を保存する。２Ｄパノラマ画像は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２又は画像スティッチング・プロセッサシステム１０６によって決定できる。画像キャプチャデバイスパラメータとしては、照明、色、画像キャプチャレンズの焦点距離、最大口径、傾斜角等が挙げられる。キャプチャ特性としては、ピクセル解像度、レンズの歪み、照明、及び他の画像メタデータが挙げられる。

３Ｄパノラマ画像データストア１２１８は、３Ｄパノラマ画像に好適ないかなる構造及び／又は複数の構造（例えばアクティブデータベース、リレーショナルデータベース、自己参照データベース、テーブル、マトリックス、アレイ、フラットファイル、ドキュメント指向のストレージシステム、非リレーショナルＮｏ‐ＳＱＬシステム、Ｌｕｃｅｎｅ／Ｓｏｌａｒ等のＦＴＳ管理システム等）であってよい。３Ｄパノラマ画像データストア１２１８は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２によって生成された３Ｄパノラマ画像を保存できる。様々な実施形態において、３Ｄパノラマ画像データストア１２１８は、画像キャプチャデバイスに関連付けられた特性、又は３Ｄパノラマ画像の決定に使用される複数の画像キャプチャ若しくは深度キャプチャそれぞれに関連付けられた特性を保存する。いくつかの実施形態では、３Ｄパノラマ画像データストア１２１８は、３Ｄパノラマ画像を保存する。２Ｄ又は３Ｄパノラマ画像は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２又は画像スティッチング・プロセッサシステム１０６によって決定できる。

図１３は、いくつかの実施形態による３Ｄパノラマ画像キャプチャ・生成プロセスのフローチャート１３００を示す。ステップ１３０２では、画像キャプチャデバイスは、図９の画像センサ９２０及びＷＦＯＶレンズ９１８を用いて、複数の２Ｄ画像をキャプチャしてよい。より広いＦＯＶは、３６０°のビューを得るために環境キャプチャシステム４０２が必要とするスキャンが少なくなることを意味する。ＷＦＯＶレンズ９１８はまた、水平及び垂直により広いものであってよい。いくつかの実施形態では、画像センサ９２０はＲＧＢ画像をキャプチャする。一実施形態では、画像センサ９２０は黒色画像及び白色画像をキャプチャする。

ステップ１３０４では、環境キャプチャシステムは、キャプチャされた２Ｄ画像を画像スティッチング・プロセッサシステム１１０６に送ってよい。画像スティッチング・プロセッサシステム１１０６は、３Ｄモデリングアルゴリズムを上記キャプチャされた２Ｄ画像に適用することによって、パノラマ２Ｄ画像を得ることができる。いくつかの実施形態では、３Ｄモデリングアルゴリズムは、キャプチャされた２Ｄ画像をスティッチングして１つのパノラマ２Ｄ画像とするための、機械学習アルゴリズムである。いくつかの実施形態では、ステップ１３０４は任意のものであってよい。

ステップ１３０６では、図９のＬｉＤＡＲ９１２及びＷＦＯＶレンズ９１８は、ＬｉＤＡＲデータをキャプチャしてよい。より広いＦＯＶは、３６０°のビューを得るために環境キャプチャシステム４００が必要とするスキャンが少なくなることを意味する。

ステップ１３０８では、ＬｉＤＡＲデータを画像スティッチング・プロセッサシステム１１０６に送ってよい。画像スティッチング・プロセッサシステム１１０６は、ＬｉＤＡＲデータ及びキャプチャされた２Ｄ画像を３Ｄモデリングアルゴリズムに入力して、３Ｄパノラマ画像を生成できる。３Ｄモデリングアルゴリズムは機械学習アルゴリズムである。

ステップ１３１０では、画像スティッチング・プロセッサシステム１１０６は３Ｄパノラマ画像を生成する。３Ｄパノラマ画像は、画像データストア４０８に保存されてよい。一実施形態では、３Ｄモデリングアルゴリズムによって生成された３Ｄパノラマ画像は、画像スティッチング・プロセッサシステム１１０６に保存される。いくつかの実施形態では、３Ｄモデリングアルゴリズムは、環境キャプチャシステムを利用して物理的環境の様々な部分をキャプチャするため、物理的環境の間取りの視覚的表現を生成できる。

ステップ１３１２では、画像スティッチング・プロセッサシステム１１０６は、生成された３Ｄパノラマ画像の少なくとも一部分をユーザシステム１１１０に提供してよい。画像スティッチング・プロセッサシステム１１０６は、物理的環境の間取りの視覚的表現を提供できる。

フローチャート１３００の１つ以上のステップの順序は、３Ｄパノラマ画像の最終的な産物に影響を及ぼすことなく、変更できる。例えば環境キャプチャシステムは、画像キャプチャデバイスによる画像キャプチャの間に、ＬｉＤＡＲ９１２によるＬｉＤＡＲデータ又は深度情報キャプチャを挟むことができる。例えば画像キャプチャデバイスは、物理的環境のセクションの画像をキャプチャしてよく、その後、ＬｉＤＡＲ９１２がこのセクション１６０５から深度情報を得る。ＬｉＤＡＲ９１２がこのセクションから深度情報を得ると、画像キャプチャデバイスは別のセクションの画像をキャプチャするために移動してよく、続いてＬｉＤＡＲ９１２がこのセクションから深度情報を得る。このようにして、画像キャプチャと深度情報キャプチャとを交互に行う。

いくつかの実施形態では、本明細書に記載のデバイス及び／又はシステムは、１つの画像キャプチャデバイスを用いて２Ｄ入力画像をキャプチャする。いくつかの実施形態では、１つ以上の画像キャプチャデバイス１１１６は、単一の画像キャプチャデバイス（又は画像キャプチャレンズ）を表すことができる。これらの実施形態のうちのいくつかによると、画像キャプチャデバイスを収容する移動体デバイスのユーザは、軸の周りで回転して、環境に対して異なる複数のキャプチャ配向で画像を生成するよう構成でき、これらの画像を合わせた視野は、水平方向に最大３６０°まで広がる。

様々な実施形態において、本明細書に記載のデバイス及び／又はシステムは、２つ以上の画像キャプチャデバイスを用いて２Ｄ入力画像をキャプチャしてよい。いくつかの実施形態では、２つ以上の画像キャプチャデバイスは、これらを合わせた視野が３６０°に及ぶような、同一のモバイルハウジング上又は同一のモバイルハウジング内での互いに対する相対位置に配設できる。いくつかの実施形態では、ステレオ画像のペアを生成できる、（例えばわずかにオフセットされているものの部分的には重なった視野を有する）画像キャプチャデバイスの複数のペアを用いることができる。例えばユーザシステム１１１０（例えば２Ｄ入力画像をキャプチャするために使用される１つ以上の画像キャプチャデバイスを備えるデバイス）は、ステレオ画像のペアをキャプチャできる、水平ステレオオフセット視野を有する２つの画像キャプチャデバイスを備えることができる。別の例では、ユーザシステム１１１０は、垂直ステレオ画像のペアをキャプチャできる、垂直ステレオオフセット視野を有する２つの画像キャプチャデバイスを備えることができる。これらの例のいずれかによると、各カメラは、３６０°に及ぶ視野を有することができる。この点に関して、一実施形態では、ユーザシステム１１１０は、（垂直ステレオオフセットを有する）ステレオペアを形成するパノラマ画像のペアをキャプチャできる、垂直ステレオオフセットを有する２つのパノラマカメラを使用できる。

位置決め用構成部品１１１８は、ユーザシステム位置データ及び／又はユーザシステム場所データをキャプチャするよう構成された、いずれのハードウェア及び／又はソフトウェアを含んでよい。例えば位置決め用構成部品１１１８は、複数の２Ｄ画像をキャプチャするために使用されるユーザシステム１１１０の１つ以上の画像キャプチャデバイスに関連付けられた、ユーザシステム１１１０の位置データを生成するために、ＩＭＵを含む。位置決め用構成部品１１１８は、１つ以上の画像キャプチャデバイスがキャプチャした複数の２Ｄ画像に関連付けられた、ＧＰＳ座標情報を提供するために、ＧＰＳユニットを含んでよい。いくつかの実施形態では、位置決め用構成部品１１１８は、ユーザシステムの位置データ及び場所データを、ユーザシステム１１１０の１つ以上の画像キャプチャデバイスを用いてキャプチャされた各画像と相関させることができる。

装置の様々な実施形態は、ユーザに屋内及び屋外環境の３Ｄパノラマ画像を提供する。いくつかの実施形態では、装置は、単一の広視野（ＦＯＶ）レンズ及び単一の光検出・測距センサ（ＬｉＤＡＲセンサ）を用いて、ユーザに屋内及び屋外環境の３Ｄパノラマ画像を効率的かつ迅速に提供できる。

以下は、本明細書に記載の例示的な装置の例示的な使用例である。以下の使用例は、複数の実施形態のうちの１つである。本明細書に記載されているように、上記装置の異なる実施形態は、この使用例と類似した１つ以上の特徴及び機能を含んでよい。

図１４は、いくつかの実施形態による３Ｄ及びパノラマキャプチャ・スティッチングプロセス１４００のフローチャートを示す。図１４のフローチャートは、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２を、画像キャプチャデバイスを含むものとしているが、いくつかの実施形態では、データキャプチャデバイスはユーザシステム１１１０であってよい。

ステップ１４０２では、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、少なくとも１つの画像キャプチャデバイスから複数の２Ｄ画像を受信してよい。３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２の画像キャプチャデバイスは、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサであってよく、又はこれを含んでよい。様々な実施形態において、画像キャプチャデバイスは電荷結合素子（ＣＣＤ）である。ある例では、画像キャプチャデバイスは赤色‐緑色‐青色（ＲＧＢ）センサである。一実施形態では、画像キャプチャデバイスはＩＲセンサである。複数の２Ｄ画像はそれぞれ、上記複数の２Ｄ画像のうちの少なくとも１つの他の画像と部分的に重なった視野を有してよい。いくつかの実施形態では、複数の２Ｄ画像のうちの少なくともいくつかを組み合わせて、物理的環境（例えば屋内、屋外、又は両方）の３６０°のビューを作成する。

いくつかの実施形態では、複数の２Ｄ画像は全て、同一の画像キャプチャデバイスから受信される。様々な実施形態において、複数の２Ｄ画像の少なくとも一部分は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２の２つ以上の画像キャプチャデバイスから受信される。ある例では、複数の２Ｄ画像は、ＲＧＢ画像のセット及びＩＲ画像のセットを含み、ＩＲ画像は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２に深度データを提供する。いくつかの実施形態では、各２Ｄ画像を、ＬｉＤＡＲデバイスから提供された深度データと関連付けることができる。いくつかの実施形態では、各２Ｄ画像を位置決めデータと関連付けることができる。

ステップ１４０４、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、受信した複数の２Ｄ画像それぞれに関連付けられた、キャプチャパラメータ及び画像キャプチャデバイスパラメータを受信してよい。画像キャプチャデバイスパラメータとしては、照明、色、画像キャプチャレンズの焦点距離、最大口径、視野等が挙げられる。キャプチャ特性としては、ピクセル解像度、レンズの歪み、照明、及び他の画像メタデータが挙げられる。３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、位置決めデータ及び深度データも受信してよい。

ステップ１４０６では、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、ステップ１４０２、１４０４から受信した情報を、上記２Ｄ画像をスティッチングして２Ｄパノラマ画像を形成するために用いてよい。２Ｄ画像をスティッチングするプロセスについては、図１５のフローチャートに関連して更に説明する。

ステップ１４０８では、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は３Ｄ機械学習モデルを適用して、３Ｄ表現を生成してよい。３Ｄ表現は、３Ｄパノラマ画像データストアに保存されてよい。様々な実施形態において、３Ｄ表現は、画像スティッチング・プロセッサシステム１１０６によって生成される。いくつかの実施形態では、３Ｄ機械学習モデルは、環境キャプチャシステムを利用して物理的環境の様々な部分をキャプチャするため、物理的環境の間取りの視覚的表現を生成できる。

ステップ１４１０では、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、生成された３Ｄ表現又はモデルの少なくとも一部分をユーザシステム１１１０に提供してよい。ユーザシステム１１１０は、物理的環境の間取りの視覚的表現を提供できる。

いくつかの実施形態では、ユーザシステム１１１０は、複数の２Ｄ画像、キャプチャパラメータ、及び画像キャプチャパラメータを、画像スティッチング・プロセッサシステム１１０６に送ってよい。様々な実施形態において、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２は、複数の２Ｄ画像、キャプチャパラメータ、及び画像キャプチャパラメータを、画像スティッチング・プロセッサシステム１１０６に送ってよい。

画像スティッチング・プロセッサシステム１１０６は、ユーザシステム１１１０の画像キャプチャデバイスがキャプチャした複数の２Ｄ画像を処理して、これらを２Ｄパノラマ画像へとスティッチングしてよい。画像スティッチング・プロセッサシステム１１０６が処理した２Ｄパノラマ画像は、３Ｄ及びパノラマキャプチャ・スティッチングシステム１１０２によって得られた２Ｄパノラマ画像より高いピクセル解像度を有してよい。

いくつかの実施形態では、画像スティッチング・プロセッサシステム１０６は、３Ｄ表現を受信し、受信した３Ｄパノラマ画像より高いピクセル解像度を有する３Ｄパノラマ画像を出力してよい。ピクセル解像度がより高いこのパノラマ画像を、ユーザシステム１１１０より高いスクリーン解像度を有する出力デバイス、例えばコンピュータスクリーン、プロジェクタスクリーン等へと供給できる。いくつかの実施形態では、ピクセル解像度がより高いこのパノラマ画像は、出力デバイスに、より詳細なパノラマ画像を提供でき、また拡大可能である。

図１５は、図１４の３Ｄ及びパノラマキャプチャ・スティッチングプロセスの１つのステップの更なる詳細を示すフローチャートを示す。ステップ１５０２では、画像キャプチャ位置モジュール１２０４は、画像キャプチャデバイスがキャプチャした各画像に関連付けられた画像キャプチャデバイス位置データを決定してよい。画像キャプチャ位置モジュール１２０４は、ユーザシステム１１１０のＩＭＵを利用して、画像キャプチャデバイスの位置データ（又は画像キャプチャデバイスのレンズの視野）を決定してよい。上記位置データは、１つ以上の２Ｄ画像の撮影時の、１つ以上の画像キャプチャデバイスの方向、角度、又は傾斜を含んでよい。クロップモジュール１２０８、画像切り取りモジュール１２１０、及びブレンドモジュール１２１２のうちの１つ以上は、複数の２Ｄ画像それぞれに関連付けられた方向、角度、又は傾斜を利用して、これらの画像をどのようにワープ変形させる、切り取る、及び／又はブレンドするかを決定してよい。

ステップ１５０４では、クロップモジュール１２０８は、複数の２Ｄ画像のうちの１つ以上をワープ変形させて、これら２つの画像が１列に並んで１つのパノラマ画像を形成できるようにすることができ、また同時に、直線を真っ直ぐのまま維持するなど、画像の特定の特性を保存できる。クロップモジュール１２０８の出力は、画像の各ピクセルをオフセットして画像を真っ直ぐにするための、ピクセル列及び行の数を含んでよい。各画像に関するオフセットの量は、画像の各ピクセルをオフセットするためのピクセル列及びピクセル行の数を表す行列の形式で出力できる。この実施形態では、クロップモジュール１２０８は、複数の２Ｄ画像それぞれの画像キャプチャポーズ推定に基づいて、複数の２Ｄ画像それぞれが必要とするワープ変形の量を決定してよい。

ステップ１５０６では、画像切り取りモジュール１２１０は、複数の２Ｄ画像のうちの１つ以上を切り取る又はスライスするべき位置を決定する。この実施形態では、画像切り取りモジュール１２１０は、複数の２Ｄ画像それぞれの画像キャプチャポーズ推定及び画像ワープ変形に基づいて、複数の２Ｄ画像それぞれを切り取る又はスライスするべき位置を決定してよい。

ステップ１５０８では、スティッチングモジュール１２０６は、画像の縁部及び／又は画像の切り取りを用いて、２つ以上の画像を１つにスティッチングしてよい。スティッチングモジュール１２０６は、画像内で検出されたオブジェクト、ワープ変形、画像の切り取り等に基づいて、画像を位置合わせ及び／又は位置決めしてよい。

ステップ１５１０では、ブレンドモジュール１２１２は、継ぎ目（例えば２つの画像のスティッチング）、又は別の画像に接触する若しくは接続されるある画像の場所を調整してよい。ブレンドモジュール１２１２は：画像キャプチャ位置モジュール１２０４からの１つ以上の画像キャプチャ位置；クロップモジュール１２０８からの画像のワープ変形；及び／画像切り取りモジュール１２１０からの画像切り取りに基づいて、必要な色のブレンドの量を決定できる。

３Ｄ及びパノラマキャプチャ・スティッチングプロセス１４００の１つ以上のステップの順序は、３Ｄパノラマ画像の最終的な産物に影響を及ぼすことなく、変更できる。例えば環境キャプチャシステムは、画像キャプチャデバイスによる画像キャプチャの間に、ＬｉＤＡＲデータ又は深度情報キャプチャを挟むことができる。例えば画像キャプチャデバイスは、物理的環境の図１６のセクション１６０５の画像をキャプチャしてよく、その後、ＬｉＤＡＲ６１２がセクション１６０５から深度情報を得る。ＬｉＤＡＲがセクション１６０５から深度情報を得ると、画像キャプチャデバイスは別のセクション１６１０の画像をキャプチャするために移動してよく、続いてＬｉＤＡＲ６１２がセクション１６１０から深度情報を得る。このようにして、画像キャプチャと深度情報キャプチャとを交互に行う。

図１６は、いくつかの実施形態による例示的なデジタルデバイス１６０２のブロック図を示す。ユーザシステム１１１０、３Ｄパノラマキャプチャ・スティッチングシステム１１０２、及び画像スティッチング・プロセッサシステムのうちのいずれかは、デジタルデバイス１６０２のインスタンスを含んでよい。デジタルデバイス１６０２は、プロセッサ１６０４、メモリ１６０６、ストレージ１６０８、入力デバイス１６１０、通信ネットワークインタフェース１６１２、出力デバイス１６１４、画像キャプチャデバイス１６１６、及び位置決め用構成部品１６１８を備える。プロセッサ１６０４は、実行可能な命令（例えばプログラム）を実行するよう構成される。いくつかの実施形態では、プロセッサ１６０４は、実行可能な命令を処理できる回路又はいずれのプロセッサを含む。

メモリ１６０６はデータを保存する。メモリ１６０６のいくつかの例としては、ＲＡＭ、ＲＯＭ、ＲＡＭキャッシュ、仮想メモリ等といったストレージデバイスが挙げられる。様々な実施形態において、作業データはメモリ１６０６内に保存される。メモリ１６０６内のデータはクリアされるか、又は最終的にストレージ１６０８に転送されてよい。

ストレージ１６０８は、データを取得して保存するよう構成された、いずれのストレージを含む。ストレージ１６０８のいくつかの例としては、フラッシュドライブ、ハードドライブ、光学ドライブ、及び／又は磁気テープが挙げられる。メモリ１６０６及びストレージ１６０８はそれぞれ、コンピュータ可読媒体を含み、これはプロセッサ１６０４が実行可能な命令又はプログラムを保存する。

入力デバイス１６１０は、データを入力するいずれのデバイス（例えばタッチキーボード、スタイラス）である。出力デバイス１６１４はデータを出力する（例えばスピーカー、ディスプレイ、仮想現実ヘッドセット）。ストレージ１６０８、入力デバイス１６１０、及び出力デバイス１６１４が理解されるだろう。いくつかの実施形態では、出力デバイス１６１４は任意のものである。例えば、ルータ／スイッチャは、プロセッサ１６０４及びメモリ１６０６、並びにデータを受信して出力するためのデバイス（例えば通信ネットワークインタフェース１６１２及び／又は出力デバイス１６１４）を備えてよい。

通信ネットワークインタフェース１６１２は、通信ネットワークインタフェース１６１２を介してネットワーク（例えば通信ネットワーク１０４）に結合されていてよい。通信ネットワークインタフェース１６１２は、イーサネット接続、直列接続、並列接続、及び／又はＡＴＡ接続を介した通信をサポートできる。通信ネットワークインタフェース１６１２はまた、無線通信（例えば８０２．１６ ａ／ｂ／ｇ／ｎ、ＷｉＭＡＸ、ＬＴＥ、Ｗｉ‐Ｆｉ）もサポートできる。通信ネットワークインタフェース１６１２が有線規格及び無線規格をサポートできることは明らかであろう。

構成部品は、ハードウェア又はソフトウェアであってよい。いくつかの実施形態では、構成部品は、１つ以上のプロセッサを、該構成部品に関連付けられた機能を実施するように構成できる。本明細書中では様々な構成部品が説明されているが、サーバシステムは、本明細書に記載されているあらゆる機能を実施するいずれの個数の構成部品を含んでよいことが理解されるだろう。

デジタルデバイス１６０２は、１つ以上の画像キャプチャデバイス１６１６を含んでよい。１つ以上の画像キャプチャデバイス１６１６は例えば、ＲＧＢカメラ、ＨＤＲカメラ、ビデオカメラ等を含むことができる。１つ以上の画像キャプチャデバイス１６１６は、いくつかの実施形態に従ってビデオをキャプチャできるビデオカメラも含むことができる。いくつかの実施形態では、１つ以上の画像キャプチャデバイス１６１６は、相対的に標準的な視野（例えば約７５°）を提供する画像キャプチャデバイスを含むことができる。他の実施形態では、１つ以上の画像キャプチャデバイス１６１６は、魚眼カメラ等の、相対的に広い視野（例えば約１２０°～３６０°）を提供するカメラを含むことができる（例えばデジタルデバイス１６０２は、環境キャプチャシステム４００を含んでも、又は環境キャプチャシステム４００に含まれていてもよい）。

構成部品は、ハードウェア又はソフトウェアであってよい。いくつかの実施形態では、構成部品は、１つ以上のプロセッサを、該構成部品に関連付けられた機能を実施するように構成できる。本明細書中では様々な構成部品が説明されているが、サーバシステムは、本明細書に記載されているあらゆる機能を実施するいずれの個数の構成部品を含んでよいことが理解されるだろう。

Claims (23)

1. 画像キャプチャデバイスであって：
   ハウジングであって、前記ハウジングは前面及び背面を有する、ハウジング；
   前記ハウジングの前記前面と前記背面との間の第１の位置において、前記ハウジングに結合された、第１のモータであって、前記第１のモータは、前記画像キャプチャデバイスを垂直軸の周りで略２７０°水平にターンさせるよう構成される、第１のモータ；
   前記垂直軸に沿った前記ハウジングの前記前面と前記背面との間の第２の位置において、前記ハウジングに結合された、広角レンズであって、前記第２の位置は無視差点であり、前記広角レンズは前記ハウジングの前記前面から離れた視野を有する、広角レンズ；
   前記ハウジングに結合され、前記広角レンズが受信した光から画像信号を生成するよう構成された、画像センサ；
   前記第１のモータに結合された、マウント；
   第３の位置において前記ハウジングに結合された、ＬｉＤＡＲであって、前記ＬｉＤＡＲは、レーザパルスを生成し、深度信号を生成するよう構成される、ＬｉＤＡＲ；
   前記ハウジングに結合された、第２のモータ；並びに
   前記第２のモータに結合された、ミラーであって、前記第２のモータは、前記ミラーを水平軸の周りで回転させるよう構成されていてよく、前記ミラーは、前記ＬｉＤＡＲから前記レーザパルスを受信して、前記レーザパルスを前記水平軸の周りに向けるよう構成された、角度付き表面を含む、ミラー
   を備える、画像キャプチャデバイス。
2. 前記画像センサは、前記画像キャプチャデバイスが静止して第１の方向を向いているときに、異なる複数の露出で第１の複数の画像を生成するよう構成される、請求項１に記載の画像キャプチャデバイス。
3. 前記第１のモータは、前記第１の複数の画像の生成後に、前記画像キャプチャデバイスを前記垂直軸の周りでターンさせるよう構成される、請求項２に記載の画像キャプチャデバイス。
4. 前記画像センサは、前記第１のモータが前記画像キャプチャデバイスをターンさせている間は画像を生成せず、前記ＬｉＤＡＲは、前記第１のモータが前記画像キャプチャデバイスをターンさせている間に、前記レーザパルスに基づいて深度信号を生成する、請求項３に記載の画像キャプチャデバイス。
5. 前記画像センサは、前記画像キャプチャデバイスが静止して第２の方向を向いているときに、前記異なる複数の露出で第２の複数の画像を生成するよう構成され、前記第１のモータは、前記第２の複数の画像の生成後に、前記画像キャプチャデバイスを前記垂直軸の周りで９０°ターンさせるよう構成される、請求項３に記載の画像キャプチャデバイス。
6. 前記画像センサは、前記画像キャプチャデバイスが静止して第３の方向を向いているときに、前記異なる複数の露出で第３の複数の画像を生成するよう構成され、前記第１のモータは、前記第３の複数の画像の生成後に、前記画像キャプチャデバイスを前記垂直軸の周りで９０°ターンさせるよう構成される、請求項５に記載の画像キャプチャデバイス。
7. 前記画像センサは、前記画像キャプチャデバイスが静止して第４の方向を向いているときに、前記異なる複数の露出で第４の複数の画像を生成するよう構成され、前記第１のモータは、前記第４の複数の画像の生成後に、前記画像キャプチャデバイスを前記垂直軸の周りで９０°ターンさせるよう構成される、請求項６に記載の画像キャプチャデバイス。
8. 前記画像センサが前記第２の複数の画像を生成する前に、前記第１の複数の画像のフレームをブレンドするよう構成された、プロセッサを更に備える、請求項７に記載の画像キャプチャデバイス。
9. 前記画像キャプチャデバイスと通信し、また前記第１、第２、第３、第４の複数の画像と、前記深度信号とに基づいて、３Ｄビジュアライゼーションを生成するよう構成された、リモートデジタルデバイスを更に備え、前記リモートデジタルデバイスは、前記第１、第２、第３、第４の複数の画像以外の画像を用いずに、前記３Ｄビジュアライゼーションを生成するよう構成される、請求項７に記載の画像キャプチャデバイス。
10. 前記第１、第２、第３、第４の複数の画像は、前記画像キャプチャデバイスを前記垂直軸の周りで２７０°ターンさせる複数のターンを組み合わせたターンの間に生成される、請求項９に記載の画像キャプチャデバイス。
11. 前記水平軸の周りでの前記ミラーの速度又は回転は、前記第１のモータが前記画像キャプチャデバイスをターンさせる際に上昇する、請求項４に記載の画像キャプチャデバイス。
12. 前記ミラーの前記角度付き表面は９０°である、請求項１に記載の画像キャプチャデバイス。
13. 前記ＬｉＤＡＲは、前記ハウジングの前記前面と反対の方向に、前記レーザパルスを放出する、請求項１に記載の画像キャプチャデバイス。
14. 方法であって：
    画像キャプチャデバイスの広角レンズから光を受信するステップであって、前記広角レンズは前記画像キャプチャデバイスのハウジングに結合され、前記光は前記広角レンズの視野において受信され、前記視野は前記ハウジングの前面から離れて延在する、ステップ；
    前記広角レンズからの前記光を用いて、画像キャプチャデバイスの画像センサによって第１の複数の画像を生成するステップであって、前記画像センサは前記ハウジングに結合され、前記第１の複数の画像は、異なる複数の露出でのものである、ステップ；
    第１のモータによって、前記画像キャプチャデバイスを、垂直軸の周りで略２７０°水平にターンさせるステップであって、前記第１のモータは、前記ハウジングの前記前面と前記背面との間の第１の位置において、前記ハウジングに結合され、前記広角レンズは前記垂直軸に沿った第２の位置にあり、前記第２の位置は無視差点である、ステップ；
    第２のモータによって、角度付き表面を有するミラーを水平軸の周りで回転させるステップであって、前記第２のモータは前記ハウジングに結合される、ステップ；
    ＬｉＤＡＲによってレーザパルスを生成するステップであって、前記ＬｉＤＡＲは第３の位置において前記ハウジングに結合され、前記レーザパルスは、前記画像キャプチャデバイスが水平にターンしている間、回転する前記ミラーに向いている、ステップ；及び
    前記レーザパルスに基づいて、前記ＬｉＤＡＲによって深度信号を生成するステップ
    を含む、方法。
15. 前記画像センサによって前記第１の複数の画像を生成する前記ステップは、前記画像キャプチャデバイスが水平にターンする前に行われる、請求項１４に記載の方法。
16. 前記画像センサは、前記第１のモータが前記画像キャプチャデバイスをターンさせている間は画像を生成せず、前記ＬｉＤＡＲは、前記第１のモータが前記画像キャプチャデバイスをターンさせている間に、前記レーザパルスに基づいて前記深度信号を生成する、請求項１５に記載の方法。
17. 前記画像キャプチャデバイスが静止して第２の方向を向いているときに、前記画像センサによって、前記異なる複数の露出で第２の複数の画像を生成するステップ；及び
    前記第２の複数の画像の生成後に、前記第１のモータによって、前記画像キャプチャデバイスを前記垂直軸の周りで９０°ターンさせるステップ
    を更に含む、請求項１６に記載の方法。
18. 前記画像キャプチャデバイスが静止して第３の方向を向いているときに、前記画像センサによって、前記異なる複数の露出で第３の複数の画像を生成するステップ；及び
    前記第３の複数の画像の生成後に、前記第１のモータによって、前記画像キャプチャデバイスを前記垂直軸の周りで９０°ターンさせるステップ
    を更に含む、請求項１７に記載の方法。
19. 前記画像キャプチャデバイスが静止して第４の方向を向いているときに、前記画像センサによって、前記異なる複数の露出で第４の複数の画像を生成するステップを更に含む、請求項１８に記載の方法。
20. 前記第１、第２、第３、第４の複数の画像を用い、また前記深度信号に基づいて、３Ｄビジュアライゼーションを生成するステップを更に含み、前記３Ｄビジュアライゼーションを生成する前記ステップは、他のいかなる画像も使用しない、請求項１９に記載の方法。
21. 前記画像センサが前記第２の複数の画像を生成する前に、前記第１の複数の画像のフレームをブレンドするステップを更に含む、請求項１７に記載の方法。
22. 前記第１、第２、第３、第４の複数の画像は、前記画像キャプチャデバイスを前記垂直軸の周りで２７０°ターンさせる複数のターンを組み合わせたターンの間に生成される、請求項１９に記載の方法。
23. 前記水平軸の周りでの前記ミラーの速度又は回転は、前記第１のモータが前記画像キャプチャデバイスをターンさせる際に上昇する、請求項１に記載の方法。

Images