JP2016038889A - モーション感知を伴う拡張現実 - Google Patents

Abstract

【課題】装着者を取り囲む環境を反映した実時間イメージストリームへの、仮想（例えば、計算の）情報の統合を正確に提供する。【解決手段】ヘッドマウント装置２０１は、ユーザに周囲の環境或いは仮想環境を表示する光学組立品２０３を備える。ヘッドマウント装置２０１にモーションキャプチャシステム２００を組み込むことで、ユーザは、表示された環境をインタラクティブに制御可能となる。システム２００は、感知処理システム２０６と接続するカメラ１０２，１０４を備える。対象領域２１２内で動く対象物２１４を含むとともに、種々の仮想物体２１６を含む仮想的に描写または仮想的に拡張された対象領域２１２の光景を見るために、カメラ１０２，１０４は、装置２０１の動きによって、対象領域２１２の一部に向けられる。１以上のセンサ２０８、２１０が装置２０１の動きを捉える。【選択図】図２

Description

開示する技術は、イメージセンサまたは他のセンサを用いて３次元（３Ｄ）感知空間内でのジェスチャを検出し、３Ｄ拡張現実をユーザに提示することのできる装着型の感知システムにおいて使用するための高機能且つ高精度の感知及びイメージング装置に関する。

グーグルグラス等の分類の装置は、ユーザが装着したシースルー型スクリーン上に情報を重畳して提示する能力を提供する。オキュラス・リフト等の他の分類の装置は、ユーザを取り囲む実世界からの情報の無いユーザに対して仮想現実表示を提供する。しかしながら、当該両分類の装置は、装着者を取り囲む環境を反映した実時間イメージストリームへの、仮想（例えば、計算の）情報の統合を正確に提供することができない。それゆえ、景色（ｓｃｅｎｅ）のイメージ情報を取得し、少なくともほぼ実時間（ｎｅａｒ ｒｅａｌ ｔｉｍｅ）のイメージ情報のパススルー（ｐａｓｓ−ｔｈｒｏｕｇｈ）をユーザに提供することのできる高機能の感知及びイメージング装置が必要とされる。当該感知及びイメージング装置は、理想的には、仮想化または創出された情報の提示（ｐｒｅｓｅｎｔａｉｏｎ）とともに、拡張されたイメージ情報を装着者に提示可能な装着型感知システムを作り出す装着型装置または可搬装置と接続され得る。このような能力を提供する装置は、これまで知られていない。

本開示技術の実施は、景色のイメージ情報を取得し、少なくともほぼ実時間のイメージ情報のパススルーをユーザに提供することのできるモーション感知及びイメージング装置を提供することにより、上記問題及びその他の問題に対処する。該モーション感知及びイメージング装置は、単独で、或いは、仮想化または創出された情報とともに、拡張されたイメージ情報を装着者に提示可能な装着型感知システムを作り出す装着型装置または可搬装置と接続して使用される。

モーション感知及びイメージング装置の一実施態様では、該装置は、眺められている景色の立体的なイメージ情報を提供するように配置された複数のイメージセンサと、前記イメージセンサの周辺に配置された１または複数の照明源と、前記イメージセンサ及び前記照明源に接続して、前記イメージセンサ及び前記照明源の動作を制御するコントローラを備える。前記コントローラは、前記装置が、前記景色のイメージ情報を取得し、少なくともほぼ実時間のイメージ情報のパススルーをユーザに提供することを可能にする。前記装置は、装着型装置と接続して、仮想化または創出された情報とともに、拡張されたイメージ情報を装着者に提示可能な装着型感知システムを作り出すことができる。

一実施態様では、モーション感知及びイメージング装置は、イメージセンサの見える範囲内の制御物体（人間の手などの制御物体を含む）ためのイメージ情報を取り込む。当該制御物体のための前記イメージ情報が、制御下の機械に対するコマンドを指示するジェスチャ情報を決定するために使用される。実施態様では、前記装置は、サブミリメートルの精度で、該装置の装着者の周りの物体の位置、姿勢、及び、動きを検出し、この情報を、該装着者に提供される提示に統合するために提供することができる。

一実施態様では、モーション感知及びイメージング装置は、赤外光に感応する画素から受信した情報を、可視光、例えば、ＲＧＢ（赤、緑、青）に感応する画素から受信した情報と分離すること、ジェスチャの認識に使用するために、ＩＲ（赤外）センサからの情報を処理すること、及び、提示インターフェース（ｐｒｅｓｅｎｔａｔｉｏｎ ｉｎｔｅｒｆａｃｅ）を介してライブビデオ供給として提供するために、ＲＧＢセンサからの情報を処理することが可能である。例えば、実世界中の景色の一連のイメージを含むビデオストリームが、ＲＧＢ画素の集合及びＩＲ（赤外）画素の集合を備えたカメラを用いて取り込まれる。赤外光に感応する画素から受信した情報は、ジェスチャを認識する処理のために分離される。ＲＧＢに感応する画素から受信した情報は、提示出力へのライブビデオ供給として、装着型装置（ＨＵＤ、ＨＭＤ等）の提示インターフェースに提供される。該提示出力は、装着型装置のユーザに対して表示される。前記提示出力を形成するために、１以上の仮想物体が、前記ビデオストリームイメージと統合され得る。従って、前記装置は、ジェスチャの認識、パススルービデオ供給を介して実世界物体の実世界提示、及び／または、実世界ビューと統合された仮想物体を含む拡張現実の何れを提供することも可能である。

一実施態様では、モーション感知及びイメージング装置は、前記カメラのＲＧＢ画素とＩＲ画素を組み合わせて用い、前記装置自体の動きを探知するために使用できる。特に、このことは、ＲＧＢ画素を用いて、実世界空間の全体または粗い特徴、及び、対応する特徴値を取得すること、及び、ＩＲ画素を用いて、実世界空間の細かなまたは正確な特徴、及び、対応する特徴値を取得することと関連する。一旦取得されると、前記景色の少なくとも１つの特徴に対する前記装着型感知システムのモーション情報が、異なる時間インスタンスで検知された特徴値の比較に基づいて決定される。例えば、実世界空間の特徴は、該実世界空間内の所定位置の物体であり、そして、その特徴値は、該実世界空間内の該物体の位置の３次元（３Ｄ）座標であり得る。何対かのイメージフレームまたは他のイメージボリュームの間で、位置座標の値が変化した場合、これは、イメージフレーム間で位置が変化した物体に対する装着型感知システムのモーション情報を決定するのに使用できる。

別の例として、実世界空間の特徴は、実世界空間内の壁であり、その対応する特徴値は、装着型感知システムで動作するビューアによって感知される前記壁の方向である。この例では、前記壁の方向の変化が、該装着型感知システムに電気的に接続するカメラによって取り込まれた連続するイメージフレーム間で登録された場合、このことは、前記壁を見る該装着型感知システムの位置の変化を示していると言える。

一実施態様に応じて、カメラのＲＧＢ画素からの情報が、実世界内の物体の輪郭、形状、容積モデル、骨格モデル、シルエット、全体的な配置、及び／または、構造等のイメージまたは一連のイメージから得られる物体の顕著な、或いは、全体の特徴とともに、実世界内の物体を識別するのに使用できる。このことは、領域の平均的な画素強度または領域の性状変化を測定することによって達成できる。つまり、ＲＧＢ画素によって、実世界または実世界内の物体の粗い評価を得ることができる。

更に、ＩＲ画素からのデータは、実世界空間の細かなまたは正確な特徴を取り込むのに使用することができ、ＲＧＢ画素から抽出されたデータを強調する。細かな特徴の例として、実世界空間及び実世界空間内の物体の表面性状、エッジ、湾曲（ｃｕｒｃａｔｕｒｅｓ）、及び、他のかすかな特徴が含まれる。一実施例において、ＲＧＢ画素が手の立体モデルを取り込む一方で、ＩＲ画素が、その手の静脈及び／または動脈パターンまたは指紋を取り込むのに用いられる。

他の幾つかの実施態様には、ＲＧＢ画素とＩＲ画素を異なる組み合わせ及び順列で使用してイメージデータを取り込むことが含まれる。例えば、一実施態様では、ＲＧＢ画素とＩＲ画素を同時に起動し、粗い特徴と細かな特徴を区別せずに、イメージデータの全体規模での収集を実行することが含まれる。他の実施態様では、ＲＧＢ画素とＩＲ画素を間欠的に用いることが含まれる。更に他の実施態様では、２次関数またはガウス関数に基づいてＲＧＢ画素とＩＲ画素を起動することが含まれる。幾つかの他の実施態様では、最初にＩＲ画素を用いてスキャンを行い、引き続きＲＧＢ画素を用いたスキャンを行うこと、及び、その逆順でのスキャンの実行が含まれる。

一実施態様では、周囲の照明条件が決定され、当該条件を出力の表示の調整に使用することができる。例えば、ＲＧＢ画素集合からの情報は通常の照明条件で表示され、ＩＲ画素集合からの情報は暗い照明条件で表示される。代替または追加として、ＩＲ画素集合からの情報は、微小光条件でのＲＧＢ画素集合からの情報を強調するのに使用できる、また、その逆も可能である。幾つかの実施態様では、ＲＧＢ画素からのカラーイメージの１つ及びＩＲ画素からのＩＲイメージ、または、これらの組み合わせから選択された好ましい表示を示す選択をユーザから受け取る。更に、代替または追加として、前記装置自らが、周囲の条件、ユーザの選択、状況認識、他の要因、または、これらの組み合わせに応じて、表示用に、ＲＧＢに感応する画素を用いて取り込んだビデオ情報と、赤外光に感応する画素から取り込んだビデオ情報を、動的にスイッチしても良い。

一実施態様では、赤外光に感応する画素からの情報は、ジェスチャを認識する処理用に分離され、一方で、ＲＧＢに感応する画素からの情報は、ライブビデオ供給として出力に提供され、その結果、ジェスチャ認識に対する帯域幅を確保できる。ジェスチャ処理では、実世界内の物体に対応するイメージの特徴を検出できる。ジェスチャモーションと相関のある前記物体の特徴は、変化を決定するために、複数のイメージに亘って相互に関連付けられる。ジェスチャモーションは、制御下の機械、そこに内蔵されたアプリケーション、または、これらの組み合わせに対するコマンド情報を決定するのに使用できる。

一実施態様では、モーションセンサ、及び／または、他のタイプのセンサがモーションキャプチャシステムと接続して、モーションキャプチャシステムが、例えば、ユーザの接触に起因する少なくともモーションキャプチャシステムの前記センサの動作をモニタする。モーションセンサからの情報は、第１及び第２の時間に、固定点に対する前記センサの第１及び第２の位置情報を決定するのに使用できる。第１及び第２の位置情報の間の差分情報が決定される。固定点に対する前記装置についての動き情報が、前記差分情報に基づいて計算される。前記装置についての動き情報は、前記センサによって検出された見かけ上の環境情報に提供され、前記センサの動きが該見かけ上の環境情報から差し引かれて実際の環境情報が得られ、該実際の環境情報が伝達され得る。制御情報は、可搬型装置を介して仮想現実または拡張現実経験を提供するように構成されたシステム、及び／または、前記センサから生成され、センサ自体の動きを除去するために調整された空間内を動く物体についてのモーションキャプチャ情報い基づいて期間等を制御するシステムに、伝達され得る。幾つかの応用では、触覚、オーディオ、及び／または、視覚プロジェクタを追加して、仮想装置経験を拡張できる。

或る実施態様において、見かけ上の環境情報は、前記モーションキャプチャシステムのセンサを用いて、第１及び第２の時間における物体の部分の位置情報から得られる。前記第１及び第２の時間における前記固定点と相対的な物体部分の動き情報が、前記差分情報と前記センサの動き情報に基づいて計算される。

更なる実施態様では、一連の時間において、モーションセンサを用いて前記センサの動き情報を、前記センサを用いて前記物体の部分を、繰り返し決定し、前記固定点に対する前記物体の部分の経路を決定するために一連の動き情報を解析することにより、前記物体の経路が計算される。当該経路は、軌跡を識別するためのテンプレートと対照することができる。身体部位の軌跡はジェスチャとして識別される。ジェスチャは、システムに対して伝達されるコマンド情報を指し示すことができる。幾つかのジェスチャは、システムの動作モード（例えば、ズームイン、ズームアウト、パン（ｐａｎ）、より詳細に見せる、次表示ページ、等）を変化させるコマンドを伝達する。

幾つかの実施態様では、有利に、装着型装置のユーザに対して改良されたユーザ体験、より大きな安全性、及び、改良された機能性を可能とする。幾つかの実施態様は、更に、ユーザが仮想物体に対する仮想化された接触を伴う直感的なジェスチャを実行できるようにして、モーションキャプチャシステムに対して、ジェスチャを認識できる能力を提供する。例えば、正確なジェスチャ認識を促進するために、装置自体のモーションから物体のモーションを区別する能力が該装置に提供される。幾つかの実施態様では、種々の可搬型または装着型の機械（例えば、スマートフォン、ラップトップコンピュータを含むポータブル演算システム、タブレット型演算装置、パーソナルデータアシスタンツ、例えば飛行機や自動車で使用されるヘッドアップディスプレイ（ＨＵＤ）を含む特定用途向け視覚化演算機構、グーグルグラス等の装着型の仮想及び／または拡張現実システム、グラフィックプロセッサ、内蔵型マイクロコントローラ、ゲーム機、等、及び、これらの１以上の有線または無線で結合したネットワーク、及び／または、これらの組み合わせ）との改良されたインターフェースを提供することができ、当該改良されたインターフェースによって、マウス、ジョイスティック、タッチパッド、または、タッチスクリーン等の接触型の入力装置の必要性を除去または削減できる。幾つかの実施態様は、演算及び／またはその他の機構とのインターフェースとして、従来技術により可能であったものより、更に改良されたインターフェースを提供することができる。幾つかの実施態様では、より豊富なヒューマン・マシーン・インターフェースが提供され得る。

本技術の他の態様及び利点は、以下に示す図面、詳細な説明、及び、特許請求の範囲の説明により明らかになる。

モーション感知及びイメージング装置の一実施例を示す図。

モーション感知及びイメージング装置に基づく装着型感知システムの一実施例を示す図。

コンピュータシステムの簡略化したブロック図。

モーションキャプチャ及びイメージ解析に伴う基本操作及び機能ユニットを示す図。

モーション感知及びイメージング可能な装置により提示される拡張現実パススルーの一例を示す図。

開示する本技術は、真の実時間またはほぼ実時間の景色を取り込み、３Ｄ感知空間内のジェスチャを検出し、該ジェスチャを制御下のシステムまたは機械に対するコマンドとして解釈し、適切な場合には取り込んだイメージ情報と該コマンドを提供することのできるモーション感知及びイメージング装置に関する。

実施態様は、仮想現実装置のユーザに対して、その中でライブビデオが提供される「パススルー」を、該ユーザが実世界を直接知覚できるようにして、単独で、或いは、１以上の仮想物体の表示を伴って提供することを含む。例えば、前記ユーザは、仮想アプリケーションまたはそこに混在する物体と同様に、実際の机の環境を見ることが可能となる。ジェスチャの認識及び感知は、仮想物体（例えば、ユーザの実際の机の表面上方に浮かぶ仮想書類）と並んで、実際の物体（例えば、ユーザのコーラの缶）を把持またはやり取りする能力をユーザに提供する実施態様を可能とする。幾つかの実施態様では、異なるスペクトル源からの情報が、一または他の体験の様子を駆動するのに選択的に使用される。例えば、赤外光に感応するセンサからの情報は、ユーザの手の動きを検出して、ジェスチャを認識するのに用いることができる。一方、可視光領域からの情報は、現実及び仮想の物体の実世界提示を作り出して、パススルービデオ提示を駆動するのに用いることができる。更なる例として、複数のソースからのイメージ情報の組み合わせを用いることができ、システムまたはユーザが、状況、条件、環境、その他の要因、または、これらの組み合わせに基づいて赤外イメージと可視光イメージを選択する。例えば、装置は、周囲の光条件が保証されている場合には、可視光イメージから赤外イメージに切り替えることができる。ユーザが同様にイメージングソースを制御する能力を備えることも可能である。更に別の例として、１つのタイプのセンサからの情報を、他のタイプのセンサからの情報を拡張、訂正、或いは、補強するのに使用することができる。赤外センサからの情報は、可視光に感応するセンサからの導出されるイメージ表示を訂正するのに使用することができ、また、その逆も可能である。光学イメージを導出できない微小光または他の状況、つまり、自由形式のジェスチャを十分な信頼度で光学的に認識できない状況において、オーディオ信号または振動波を検出して、物体の方向や位置を提供するのに使用できる。この点に関しては、更に説明する。

開示する本技術は、装着型感知システムを用いて、没入型仮想現実環境におけるユーザ体験の向上に応用できる。開示される実施態様に基づくシステム、装置、及び、方法の実施例を、「装着型感知システム」という事情（ｃｏｎｔｅｘｔ）において説明する。「装着型感知システム」の実施例は、開示する本技術を理解する上での事情（ｃｏｎｔｅｘｔ）及び手掛かりを追加するためだけの理由で提供される。他の例では、自動車、ロボット、または、他の機械等の他の事情におけるジェスチャに基づく相互作用の実施例が、仮想ゲーム、仮想アプリケーション、仮想プログラム、仮想オペレーティングシステム等に応用され得る。他の応用も可能であるが、以下に示す実施例は、適用範囲、事情、または、設定の何れにおいても確定的または限定的に扱われるべきではない。よって、実施態様は、「装着型感知システム」という事情の範囲内及び外において実行でき得ることは、当業者にとって明らかである。

先ず、モーション感知装置１００の一例を示す図１を参照する。図１に示すように、モーション感知装置１００は、ネジ固定部品またはその他の方法でメインボード１８２と結合可能な照明ボード１７２を備える。ケーブルの布線（明瞭性のため図１には示していない）によって、照明ボード１７２とメインボード１８２の間の電気的接続を行い、信号及び電力の交換が可能となっている。メインボード１８２（第１部分）と照明ボード１７２（第２部分）を接合する前記固定部品は、更に、これらのボードを、装着型または可搬型の電子装置（例えば、ＨＭＤ、ＨＵＤ、スマートフォン）の取り付け面Ａに固定することができる。取り付け面Ａは、装着型または可搬型の電子装置の（内部或いは外部の）面とすることができる。更に、装置は、装着型または可搬型の電子装置の空洞や容器内に、嵌合、ネジ止め、または、これらの組み合わせによって、設置されても良い。装置１００は、広範な用途の設計要求に適合するように、任意の種々の装着型または可搬型の電子装置に組み込むことが可能である。

照明ボード１７２は、当該ボード上に組み込まれたＬＥＤまたは他の光源である個別に制御可能な多くの照明源１１５，１１７を有する。図示された実施例では、２つのカメラ１０２，１０４が、装置１００のメインボード１８２上に設けられ、眺められている景色の立体的イメージ型の検知を提供する。メインボード１８２は、更に、基本的な画像処理、及び、カメラ１０２，１０４及びボード１７２のＬＥＤの制御を行うプロセッサを有する。図１に示す設計に対して種々の変更が可能である。例えば、ＬＥＤ、光検知器、及び、カメラの個数及び配置は変更されても良い。また、スキャニング及びイメージング用のハードウェアは１つのボードに一体化しても良い。或いは、これらの変更は、特定の用途の必要に応じて適宜行える。

カメラ１０２，１０４によって提供された立体的イメージ情報は、選択的或いは連続的に、ユーザが装着或いは携行している装着型または可搬型の電子装置に提供される。装置１００は、生の「実時間」またはほぼ実時間のカメラからのイメージ情報の供給、コンピュータによって生成されたグラフィック、情報、アイコン、または他の仮想化提示等によって拡張された実時間またはほぼ実時間のイメージ情報、眺めている景色の仮想化された表示、これらから選択された時間的に変化する組み合わせを提供できる。ユーザによるジェスチャは、感知装置１００のカメラ１０２，１０４によって検知され、その結果生成されるイメージ情報は、ジェスチャから制御される如何なるシステム（装着型または可搬型装置を含む）に対する命令を確認及び決定するために、モーションキャプチャに提供され得る。単一のモーション感知装置１００にイメージング能力を備えたジェスチャ認識を一体化することで、高機能で適応性が有り、しかも、装着型または可搬型の電子装置等に設置するのに適した小型の装置を、有利に、提供できる。

幾つかの実施態様において、照明源１１５，１１７の幾つかは付属の集束光学系（明瞭性のため図１には示していない）を有することができる。ボード１７２，１８２の何れかは、明瞭性のため図１に示していない光検知器（またはその他のセンサ）と結合するためのソケットを更に備えていても良い。光検知器が反射率の変化を検知して得られる情報は、照明源例えばＬＥＤが空間領域をスキャニングする間に、該照明源が光を出射する当該空間領域に、物体が存在するか存在しないかを示す。

図２に、開示する本技術の一実施態様に従ってイメージデータを取り込むシステム２００を示す。システム２００は、好ましくは、装着型装置２０１と接続している。装着型装置２０１は、図２に示すようなグーグルフォームファクター、ヘルメットフォームファクターを備えるヘッドマウントディスプレイ（ＨＭＤ）であっても良く、或いは、時計、スマートフォン、その他の可搬型装置に組み込まれるか或いは接続して、装着型感知システムを形成することもできる。

種々の実施態様では、ここに説明する物体の３Ｄモーションを取り込むシステム及び方法は、ヘッドマウント装置或いは携帯型装置等の他のアプリケーションと一体化することができる。図２に示すように、ヘッドマウント装置２０１は、ユーザに周囲の環境或いは仮想環境を表示する光学組立品２０３を備えることができる。ヘッドマウント装置２０１にモーションキャプチャシステム２００を組み込むことで、ユーザは、表示された環境をインタラクティブに制御可能となる。例えば、仮想環境は、モーションキャプチャシステム２００で追跡されるユーザの手のジェスチャで操作可能な仮想物体を含むことができる。一実施態様では、ヘッドマウント装置２０１と一体化したモーションキャプチャシステム２００は、ユーザの手の位置及び形を検出して、ユーザがその手を見て、仮想環境内の物体をインタラクティブに制御できるように、検出した手をヘッドマウント装置２０１のディスプレイ上に投影する。このことは、例えば、ゲームやインターネットブラウジングに応用できる。

システム２００は、感知処理システム２０６と接続するカメラ１０２，１０４を備える。カメラ１０２，１０４は、可視光スペクトルに感応するカメラ、または、限定的な波長域（例えば、赤外域または紫外域）に強化された感度を有するカメラを含む如何なるタイプのカメラであっても良い。また、より一般的に、ここでは、「カメラ」という用語は、物体のイメージを捕えて、そのイメージをディジタルデータ形式で表示できる任意の装置（または、当該装置の組み合わせ）を参考とする。例えば、従来の２次元（２Ｄ）イメージを取り込む従来型カメラに代えて、ラインセンサ或いはラインカメラを採用することもできる。用語「光」は、一般的に、任意の電磁放射を意味し、可視光であっても或いはなくても良く、広帯域光（例えば、白色光）或いは狭帯域光（例えば、単一波長光、狭帯域波長光）であっても良い。

カメラ１０２，１０４は、好ましくは、ビデオイメージ（つまり、約毎秒１５フレーム等の実質的に一定レートで連続するイメージフレーム）を取り込む能力を備える。但し、特定のフレームレートに限定されるものではない。カメラ１０２，１０４の能力は、本開示技術に対して重要ではない。該カメラは、フレームレート、イメージ解像度（例えば、イメージ当たりの画素数）、色または強度分解能（例えば、画素当たりの強度データのビット数）、レンズの焦点距離、被写界深度、等に関して変更可能である。一般に、特定の用途に対して、関心のある空間的な大きさ内で被写体に焦点を合わせることのできる如何なるカメラも使用可能である。例えば、手以外は静止している人の手の動きを取り込むには、当該大きさは、一辺約１メートルの立方体で規定することができる。

図示するように、対象領域２１２内で動く対象物２１４（本実施例では、１以上の手）を含むとともに、種々の仮想物体２１６を含むことのできる仮想的に描写または仮想的に拡張された対象領域２１２の光景を見るために、カメラ１０２，１０４は、装置２０１の動きによって、対象領域２１２の一部に向けられる。１以上のセンサ２０８，２１０が装置２０１の動きを捉える。幾つかの実施態様では、１以上の照明源１１５，１１７が対象領域２１２を照明するように配置される。幾つかの実施態様では、１以上のカメラ１０２，１０４が、検知すべき動作に向かい合って、例えば、手２１４が動くと予期される場所に配置される。手に関して記録される情報量は、手がカメライメージ内で占有する画素数に比例し、手の「指示方向」に対するカメラの角度が直角に近い程、手の占有する画素数は多くなるため、上述の位置が最良の位置である。例えば、コンピュータシステム等である感知処理システム２０６は、対象領域２１２のイメージを取り込むためにカメラ１０２，１０４の動作を制御し、装置２０１の動きを捉えるためにセンサ２０８，２１０の動作を制御することができる。センサ２０８，２１０からの情報は、装置２０１の動きの影響を相殺するために、カメラ１０２，１０４が取得したイメージのモデルに適用され、装置２０１によって描写される仮想体験に対してより大きな正確さが提供される。取り込まれたイメージと装置２０１の動きに基づいて、感知処理システム２０６が物体２１４の位置及び／または動きを決定し、組立品２０３を介してユーザにそれらの表示を描写する。

例えば、物体２１４の動きを決定する動作として、感知処理システム２０６がカメラ１０２，１０４によって取り込まれた種々のイメージのどの画素が物体２１４の部分を含んでいるかを判断する。幾つかの実施態様では、イメージ内の如何なる画素も、画素が物体２１４の部分を含んでいるか否かによって、「物体」画素か「背景」画素の何れかに分類される。従って、物体画素は、明るさに基づいて容易に背景画素と区別され得る。更に、物体のエッジは、隣接する画素間の明るさの差に基づいて容易に検出され、各イメージ内の物体の位置が判断できるようになる。幾つかの実施態様では、物体のシルエットが１以上の物体のイメージから抽出され、異なる視点から見える物体に関する情報を明らかにする。幾つかの実施態様では、シルエットは多くの異なる手法を用いて取得できるが、当該シルエットは、物体のイメージを取り込むカメラを用い、該イメージを解析して物体のエッジを検出することで得られる。カメラ１０２，１０４のイメージ間で物体の位置の相関を取り、センサ２０８，２１０から取得した装置２０１の動きを相殺することで、感知処理システム２０６が物体２１４の３Ｄ空間内の位置を決定できるようになり、一連のイメージを解析することで、感知処理システム２０６が、既存のモーションアルゴリズム或いは他の手法を用いて物体２１４の３Ｄモーションを再構築できるようになる。例えば、米国出願１３／４１４，４８５（２０１２年３月７日出願）、米国仮出願６１／７２４，０９１（２０１２年１１月８日出願）、及び、米国仮出願６１／５８７，５５４（２０１２年１月１７日出願）を参照されたい。また、当該全ての開示は本願に引用して援用する。

提示インターフェース２２０は、装置のユーザに個人的な仮想体験を提供するために装置２０１の光学組立品２０３に、ロード可能な、或いは、協同して実施されるアプリケーションによって作成された仮想（或いは仮想化された現実の）物体（視覚、オーディオ、触覚等）を表示するために、センサに基づく追跡と共に、投影技術を採用する。投影は、物体のイメージまたは他の視覚表示を含むことができる。

一実施態様では、実環境内のモーションをモニタするために、モーションセンサ及び／または他のタイプのセンサを使用する。実環境の拡張された描写内に一体化された仮想物体は、可搬型装置２０１のユーザに対して投影される。ユーザの身体部分のモーション情報は、少なくともある程度は、イメージセンサ１０２，１０４または音響センサまたは他のセンサ装置から受信した感知情報に基づいて、決定することができる。制御情報は、可搬型装置２０１のモーションと、イメージセンサ１０２，１０４または音響センサまたは他のセンサ装置から受信した感知情報から決定されるユーザのモーションの組み合わせに少なくともある程度基づいて、システムに伝達される。視覚装置による経験は、幾つかの実施態様では、触覚、オーディオ、及び／または、他の感知情報プロジェクタによって、拡張され得る。例えば、図５を参照すると、視覚投影組立品５０４は、ライブビデオ供給を介してユーザに表示される実世界物体、例えば、机２１６に重畳された仮想の本の物体からのページイメージ（例えば、仮想装置５０１）を投影することができる。その結果、たとえ本や電子読み取り機が存在していなくても、本物の本、或いは、物理的な電子読み取り機上の電子書籍を読んでいる仮想装置経験を作り出す。触覚プロジェクタ５０６は、読み手の指に、当該本の「仮想の紙」の性状の感触を投射することができる。オーディオプロジェクタ５０２は、ページをめくるための読み手のスワイプ（ｓｗｉｐｅ）操作を検出してページをめくる音を投射する。それは拡張現実世界であるので、手２１４の裏側はユーザに投影され、ユーザには、あたかもユーザが自身の手を見ているように景色が見える。

再び図２を参照すると、複数のセンサ２０８，２１０が、装置２０１のモーションを取り込むために、感知処理システム２０６と接続している。センサ２０８，２１０は、モーションの種々のパラメータ（加速度、速度、角加速度、角速度、位置／場所（ｐｏｓｉｔｉｏｎ／ｌｏｃａｔｉｏｎ））から信号を得るために有用な如何なるセンサでも良い。より一般的には、用語「モーション検出器」は、機械的なモーションを電気的な信号に変換する能力を有する任意の装置（または、装置の組み合わせ）を参考とする。当該装置は、単独或いは種々の組み合わせにおいて、加速度計、ジャイロスコープ、及び、磁気計を含み、方向、磁気、または、重力の変化を通してモーションを検知するように設計されている。多くのタイプのモーションセンサが存在し、別の実施態様は変化に富んでいる。

図示したシステム２００は、装置２０１のユーザに提供される仮想体験を増強するために、明瞭性のため図２には示されていない種々の他のセンサの何れかを、単独或いは種々に組み合わせて含むことができる。例えば、システム２０６は、自由形式のジェスチャを十分な信頼度で光学的に認識できない微小光の状況では、音響または振動センサに基づいてタッチ（接触）ジェスチャが認識されるタッチモードに切り替える。或いは、システム２０６は、音響または振動センサからの信号が検知された場合に、該タッチモードに切り替えるか、タッチ検知処理を行うとともに、補完的にイメージキャプチャ処理を行うようにしても良い。更に、他の動作モードとして、タップまたはタッチジェスチャは、「ウェークアップ（目覚まし）」信号として振る舞い、イメージ及び音響の解析システム２０６を、スタンバイモードから動作モードに推移させる。例えば、システム２０６は、閾値間隔より長い間、カメラ１０２，１０４からの光学的な信号が無い場合には、スタンバイモードに推移できる。

当然のことながら、図２に示す事項は一例である。幾つかの実施態様では、システム２００を別形状の筐体に収容すること、或いは、より大きな構成要素や組立品内に内蔵することも好ましい。更に、イメージセンサ、モーション検出器、照明源等の個数及びタイプは、明瞭性のための図解したもので、大きさ或いは数量は全ての実施態様において同じではない。

次に、図３を参照して説明する。図３は、本技術の実施態様に基づいて感知処理システム２０６を実現するためのコンピュータシステム３００の簡略化したブロック図である。コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、モーション検出器及びカメラのインターフェース３０６、提示インターフェース２２０、スピーカ３０９、マイクロフォン３１０、及び、無線インターフェース３１１を備える。メモリ３０４は、プロセッサ３０２によって実行される命令、及び、当該命令の実行に関連する入力データ及び／または出力データを格納するために使用される。特に、メモリ３０４は、概念的に一群のモジュールとして説明され（詳細は後述する）、プロセッサ３０２の動作及び他のハードウェア部品との相互作用を制御する命令を格納している。オペレーティングシステム（ＯＳ）は、メモリ割り当て、ファイル管理、大容量記憶装置の操作等の低レベルで基本的なシステム機能を監督する。オペレーティングシステムは、下記に列挙する種々のオペレーティングシステムで構成されるか、または、当該オペレーティングシステムを含んで構成される。当該種々のオペレーティングシステムとして、例えば、マイクロソフト社のＷＩＮＤＯＷＳ（登録商標）オペレーティングシステム、ＵＮＩＸ（登録商標）オペレーティングシステム、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｘｅｎｉｘオペレーティングシステム、ＩＢＭ社のＡＩＸオペレーティングシステム、ヒューレット・パッカード社のＵＸオペレーティングシステム、Ｎｏｖｅｌｌ社のＮＥＴＷＡＲＥオペレーティングシステム、サンマイクロシステムズ社のＳＯＬＡＲＩＳオペレーティングシステム、ＯＳ／２オペレーティングシステム、ＢｅＯＳオペレーティングシステム、ＭＡＣＩＮＴＯＳＨ ＯＳオペレーティングシステム、ＡＰＡＣＨＥオペレーティングシステム、ＯＰＥＮＡＣＴＩＯＮオペレーティングシステム、ｉＯＳやＡｎｄｒｏｉｄ等のモバイルオペレーティングシステム、或いは、その他のオペレーティングシステムまたはプラットフォームが想定される。

コンピューティング環境は、更に、その他の取り外し可能／不可能な、揮発性／不揮発性のコンピュータ記憶媒体を備えることができる。例えば、ハードディスクドライブは、取り外し不可能な不揮発性の磁気記憶媒体の読み出し及び書き込みができる。磁気ディスクドライブは、取り外し可能な不揮発性の磁気記憶媒体からの読み出し、または、同磁気記憶媒体への書き込みができ、光ディスクドライブは、取り外し可能な不揮発性のＣＤ−ＲＯＭ等の光ディスクからの読み出し、または、同光ディスクへの書き込みができる。模範的な操作環境で使用可能な他の取り外し可能／不可能な、揮発性／不揮発性のコンピュータ記憶媒体は、これらに限定されないが、磁気テープカセット、フラッシュメモリカード、ディジタル多用途ディスク（ＤＶＤ）、ディジタルビデオテープ、半導体ＲＡＭ、半導体ＲＯＭ、等を含む。記憶媒体は、典型的には、取り外し可能／不可能なメモリインターフェースを介してシステムバスに接続している。

プロセッサ３０２は、汎用のマイクロプロセッサを使用できるが、実施態様によっては、代替的に、マイクロコントローラ、周辺集積回路素子、ＣＳＩＣ（特定カスタマ向けＩＣ）、ＡＳＩＣ（特定用途向けＩＣ）、論理回路、ディジタル信号プロセッサ、ＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、ＰＬＡ（プログラマブル論理アレイ）等のプログラマブル論理デバイス、ＲＦＩＤプロセッサ、スマートチップ、或いは、任意の他のデバイス、或いは、本技術の処理動作を実行できるデバイスの配置等が使用できる。

モーション検出器及びカメラのインターフェース３０６は、コンピュータシステム３００と、センサ２０８，２１０（図２参照）と同様にカメラ１０２，１０４間の通信を可能にするハードウェア、及び／または、ソフトウェアを含む。従って、例えば、モーション検出器及びカメラのインターフェース３０６は、プロセッサ３０２で実行されるモーションキャプチャ（“ｍｏｃａｐ”）プログラム３１４への入力として信号が提供される前の前記カメラ及びモーション検出器から受信したデータ信号を変更（例えば、ノイズ低減、データの再フォーマット等）するハードウェア、及び／または、ソフトウェアの信号プロセッサと同様に、カメラ、照明源、及び、モーション検出器が（従来のプラグ及びジャックを介して）接続可能な１以上のカメラデータポート３１６，３１８、照明源ポート３１３，３１５、及び、モーション検出器ポート３１７，３１９を含むことができる。幾つかの実施態様では、モーション検出器及びカメラのインターフェース３０６は、更に、カメラ、照明源、及び、センサに信号を送信し、例えば、これらを活性化或いは非活性化する、カメラの設定（フレームレート、画質、感度等）を制御する、照明源の設定（強度、照明時間等）を制御する、センサの設定（キャリブレーション、感度レベル等）を制御すること等ができる。当該信号は、例えば、プロセッサ３０２からの制御信号に応答して送信される。尚、プロセッサ３０２からの制御信号は、ユーザ入力、または、他の検知されたイベントに応答して順番に生成され得る。

ｍｏｃａｐプログラム３１４を規定する命令はメモリ３０４に格納され、当該命令は、実行されると、カメラから供給されるイメージ、及び、モーション検出器及びカメラのインターフェース３０６に接続するセンサから供給されるオーディオ信号に対して、モーションキャプチャ解析を実行する。１つの実施態様では、ｍｏｃａｐプログラム３１４は、物体解析モジュール３２２、及び、経路解析モジュール３２４等の種々のモジュールを有する。物体解析モジュール３２２は、イメージ（例えば、インターフェース３０６を介して取り込まれたイメージ）内の物体のエッジ、及び／または、物体の位置に関する他の情報を検知するために、当該イメージを解析することができる。幾つかの実施態様では、物体解析モジュール３２２は、例えば、当該物体の到着の時間距離（所要時間）、マルチラテレーション等による当該物体の局所化のために、音声信号（例えば、インターフェース３０６を介して取り込まれた音声信号）も解析することができる。尚、マルチラテレーションとは、既知の位置から既知の時間に信号を発信する２以上の基地との距離差の測定を基礎とするナビゲーション技術である（例えば、ウィキペディア（Ｗｉｋｉｐｅｄｉａ：http://en.wikipedia.org/w/index.php?title=Multilateration&oldid=523281858, on Nov. 16, 2012, 06:07 UTC）参照）。経路解析モジュール３２４は、カメラを介して得られた情報に基づいて３Ｄでの物体の動きを追跡及び予測できる。幾つかの実施態様では、仮想現実／拡張現実環境マネージャー３２６が、個人的な仮想体験２１３を提供する提示インターフェース２２０を介して、装置２０１のユーザに対して提示するための合成物体２１６と同様に、実物体（例えば、手２１４）を反映する仮想物体の統合を提供することを含む。１以上のアプリケーション３２８は、装置２０１の機能を拡張またはカスタマイズして、システム２００がプラットフォームとして機能させるために、メモリ３０４内にロード（或いは、他の方法でプロセッサ３０２に対して利用可能に）することができる。一連のカメライメージは、物体の動き及び速度を抽出するために、画素レベルで解析される。オーディオ信号は、既知の面上の物体を判別し、当該信号の強度及び変化は、当該物体の存在を検出するのに利用できる。オーディオ及びイメージ情報の両方が同時に利用可能な場合、両タイプの情報は、解析され、且つ、より詳細な及び／または正確な経路解析を提供するために調整され得る。ビデオ供給インテグレータ３２９は、カメラ１０２，１０４からのライブビデオ供給と、１以上の仮想物体（例えば、図５の５０１）との統合を提供する。ビデオ供給インテグレータ３２９は、異なるタイプのカメラ１０２，１０４からのビデオ情報の処理を管理する。例えば、赤外光に感応する画素及び可視光（例えば、ＲＧＢ）に感応する画素から受け取った情報は、インテグレータ３２９によって分離され、異なって処理され得る。ＩＲセンサからのイメージ情報は、ジェスチャ認識に用いることができ、一方、ＲＧＢセンサからのイメージ情報は、提示インターフェース２２０を介してライブビデオ供給として提供され得る。１つのタイプのセンサからの情報は、別のセンサからの情報を強調、訂正、及び／または、補強するのに使用することができる。１つのタイプのセンサからの情報は、幾つかのタイプの状況または環境条件（例えば、微小光、霧、明るい光、等）において有利となる場合がある。本装置は、１つまたは他のタイプのイメージ情報に基づく提示出力を、自動的に提供するか、或いは、ユーザからの選択を受け付けて提供するかを選択できる。インテグレータ３２９は、ＶＲ／ＡＲ環境マネージャー３２６と共に、提示インターフェース２２０を介してユーザに提示される環境の作成を制御する。

提示インターフェース２２０、スピーカ３０９、マイクロフォン３１０、及び、無線インターフェース３１１は、ユーザの装置２０１を介するコンピュータシステム３００との相互作用を容易にするために用いることができる。これらの構成要素は、一般的に、従来設計のもの、或いは、任意のタイプのユーザ相互作用の提供に望ましく変更されたものが使用できる。幾つかの実施態様では、モーション検出器及びカメラのインターフェース３０６とｍｏｃａｐプログラム３１４を用いたモーションキャプチャの結果は、ユーザ入力として解釈される。例えば、ｍｏｃａｐプログラム３１４を用いて解析される手のジェスチャ或いは表面を横切る動きを実行でき、その解析結果は、プロセッサ３０２上で実行している他のプログラム（例えば、ウェブブラウザ、ワードプロセッサ、または、他のアプリケーション）に対する命令として解釈することができる。つまり、実例として、ユーザは、提示インターフェース２２０を介して装置２０１のユーザに対して現在表示されているウェブページを「スクロール」するために、上向きまたは下向きに手を大きく動かすジェスチャ、スピーカ３０９からのオーディオ出力のボリュームを大きくまたは小さくするために、手を回すジェスチャ、等を用いても良い。経路解析モジュール３２４は、例えば、動きを予想して、提示インターフェース２２０による装置２０１上の動作の描写を改良するために、検出された経路をベクトルとして表示し、該経路を予測するために外挿することができる。

コンピュータシステム３００は、一例であり、種々の変形及び変更が可能であると理解される。コンピュータシステムは、サーバシステム、デスクトップシステム、ラップトップシステム、タブレット、スマートフォン、または、パーソナルディジタルアシスタンツ等の種々のフォームファクターで実現できる。特定の実施態様は、例えば、有線及び／または無線ネットワークインターフェース、メディア再生及び／または記録機能等のここに記載していない他の機能、を含むこともできる。幾つかの実施態様では、１以上のカメラ及び１以上のマイクロフォンは、別部品として供給されるのではなく寧ろコンピュータ内に組み込まれても良い。更に、イメージまたはオーディオアナライザは、コンピュータシステムの部品の一部（例えば、プログラムコードを実行するプロセッサ、ＡＳＩＣ、または、機能が固定されたディジタル信号プロセッサと、イメージデータの受信と解析結果の出力に適したＩ／Ｏインターフェース）だけでも実現できる。

コンピュータシステム３００は、特定のブロックを参照して説明されているが、当該ブロックは説明の便宜上規定されたもので、構成部品の特定の物理的な配置を意図するものではない。更に、当該ブロックは、必ずしも、物理的に別個の構成部品と対応している必要はない。物理的に別個の構成部品が使用されている場合、当該部品間の接続（例えば、データ通信のための接続）は、その要請に応じて有線及び／または無線での接続が可能である。従って、例えば、プロセッサ３０２による物体解析モジュール３２２の実行に起因して、イメージ及び／またはオーディオデータを解析することで物体の入場を検出するための面を横切って移動し、接触する物体のイメージ及び／またはオーディオ信号を取り込むように、プロセッサ３０２がモーション検出器及びカメラのインターフェース３０６を操作するようにできる。

図４は、本技術の実施態様に基づくモーションキャプチャ及びイメージ解析において関係する基本操作及び機能的ユニット４００を示す。図４に示されるように、カメラ４０２，４０４は景色のディジタルイメージ４１０を記録する。各ディジタルイメージは、関連するカメラのイメージセンサによって、画素値のアレイとして取り込まれ、当該ディジタルイメージは、生（ｒａｗ）データのまま、或いは、在来式の前処理に続いて、１以上のフレームバッファ４１５に転送される。フレームバッファは、イメージを記録したカメラによる出力としてイメージの画素値に対応する「ビットマップ」のイメージフレーム４２０を格納する揮発性メモリの区画または専用のセグメントである。当該ビットマップは、一般には、概念的に格子として、各画素が表示装置の出力要素に１対１または別の方法でマッピングされて、構成される。しかしながら、フレームバッファ４１５内でメモリセルが物理的にどのように編成されるかというトポロジーは、概念的な編成に対して重要ではなく、直接一致する必要もない点は重視すべきである。

システム内に含まれるフレームバッファの数は、一般的に、解析システムまたは解析モジュール４３０（詳細は後述する）によって同時に解析されるイメージの数を反映する。簡単に言えば、解析モジュール４３０は、そこに物体を置いて、それらの動きを、時間をかけて追跡するために（符号４４０で示す）、一連のイメージフレーム４２０の夫々の画素データを解析する。この解析は種々の形式を取ることができ、当該解析を実行するアルゴリズムは、イメージフレーム４２０の画素をどのように扱うかを指示する。例えば、解析モジュール４３０により実行されるアルゴリズムは、各フレームバッファの画素を１ライン毎に処理できる。つまり、画素グリッドの各行は逐次的に解析される。他のアルゴリズムは、列、タイル状の領域、或いは、他の組織的な形式で画素を解析する。

様々な実施態様では、一連のカメライメージ内に取り込まれたモーションは、ディスプレイ２２０上へ表示するために連続する対応する出力イメージを計算するのに使用される。例えば、動いている手のカメライメージは、プロセッサ３０２によって、手のワイヤーフレーム表示または他のグラフィック表示に変換することができる。或いは、手のジェスチャは、別個の視覚出力を制御するために使用される入力として解釈され得る。実例として、ユーザは、現在表示されているウェブページまたは他のドキュメントをスクロールするために、上向きまたは下向きに手を大きく動かすジェスチャ、或いは、当該ウェブページをズームインまたはズームアウトするために手を開いたり閉じたりジェスチャを使用することができる。如何なる場合でも、出力イメージは、一般的にフレームバッファ、例えば、フレームバッファ４１５の１つの中に画素データ形式で格納される。ビデオ表示コントローラはフレームバッファを読み出して、組立品２０３にイメージを出力するために、データストリーム及び関連する制御信号を生成する。提示インターフェース２２０によって提供されるビデオ表示コントローラは、プロセッサ３０２とメモリ３０４とともに、コンピュータ３００のマザーボード上に搭載して提供でき、更に、プロセッサ３０２と共に一体化され得るか、或いは、分離したビデオメモリを操作するコプロセッサとして実施され得る。上述したように、コンピュータシステム３００は、組立品２０３への出力イメージの供給の生成を助ける個別のグラフィックまたはビデオカードを備えることができる。一実施態様では、ビデオカードは、一般的に、グラフィック処理ユニット（ＧＰＵ）とビデオメモリを備え、特に、複雑且つコンピュータ処理上高価なイメージ処理及びレンダリングに有用である。グラフィックカードは、フレームバッファとビデオ表示コントローラの機能（オンボードビデオ表示コントローラは無効にできる）を含むことができる。一般に、システムのイメージ処理及びモーションキャプチャ機能は、ＧＰＵとメインプロセッサ３０２間に、種々の方法で分配できる。

モーションキャプチャプログラム３１４に適したアルゴリズムは以下で説明するが、更に詳しくは、例えば、２０１２年１月１７日、２０１２年３月７日、２０１２年１１月８日、２０１２年１２月２１日、及び、２０１３年１月１６日に夫々出願された米国出願６１／５８７，５５４、１３／４１４，４８５、６１／７２４，０９１、１３／７２４，３５７、及び、１３／７４２，９５３に開示されており、当該全ての開示は本願に引用して援用する。種々のモジュールは、例えば、Ｃ、Ｃ＋＋、Ｃ＃、ＯｐｅｎＧＬ、Ａｄａ、Ｂａｓｉｃ、Ｃｏｂｒａ、ＦＯＲＴＲＡＮ、Ｊａｖａ（登録商標）、Ｌｉｓｐ、Ｐｅｒｌ、Ｐｙｔｈｏｎ，Ｒｕｂｙ、または、Ｏｂｊｅｃｔ Ｐａｓｃａｌ、または、低レベルアッセンブリ言語等を含む、高レベル言語に限定されない任意の適したプログラミング言語でプログラムされ得る。

再度図４を参照すると、モーション感知制御装置に備えられた装置の動作モードは、イメージ解析モジュール４３０に提供されるデータの粗さ、解析の粗さ、または、その両方を、性能データベースの登録に基づいて、判定する。例えば、広域モードの動作の間、イメージ解析モジュール４３０は、全てのイメージフレーム上で動作することができ、更に、フレーム容量制限内の全てのデータ上で、フレームバッファ４１５の各データが一連のデータラインとして構成されている場合、フレーム当たりのイメージデータの削減量（つまり、解像度）の解析、または、幾つかのフレームを全て捨てることを指示できる。データが解析から欠落する手法は、イメージ解析アルゴリズム、または、モーションキャプチャ出力を加えて行う使用に依存する可能性がある。幾つかの実施態様では、データは、例えば、１ラインおき、２ラインおき等のように、対称或いは一様に欠落し、イメージ解析アルゴリズムまたはその出力を利用するアプリケーションの許容限度まで捨てられる。他の実施態様では、ライン欠落の頻度は、フレームの端部に向けて増加する。更に別の変化し得るイメージ取得パラメータは、フレームサイズ、フレーム解像度、及び、１秒当たりに取得されるフレーム数を含む。特に、フレームサイズは、例えば、端部の画素を捨てる、より低い解像度で再サンプリングする（及び、フレームバッファ容量の一部のみを使用する）等により、削減できる。イメージデータの取得に関連するパラメータ（例えば、サイズ、フレームレート、及び、特性）は、集合的に「取得パラメータ」と称し、一方、イメージ解析モジュール４３０の動作（例えば、物体の輪郭の規定）に関連するパラメータは、集合的に「イメージ解析パラメータ」と称する。上述の取得パラメータ及びイメージ解析パラメータは、代表的なものだけであり、これだけに限定されるものではない。

取得パラメータは、カメラ４０２，４０４及び／またはフレームバッファ４１５に供給され得る。例えば、カメラ４０２，４０４は、カメラ４０２，４０４の操作における取得パラメータに応答して、指示されたレートでイメージを取得し、或いは、それに代えて、フレームバッファ４１５に（単位時間当たりに）転送される取得フレーム数を制限することができる。イメージ解析パラメータは、輪郭規定アルゴリズムの動作に影響を与える数量として、イメージ解析モジュール４３０に、供給され得る。

利用可能な資源の所定のレベルに好適な取得パラメータ及びイメージ解析パラメータの望ましい値は、例えば、イメージ解析モジュール４３０の特性、ｍｏｃａｐ出力を利用するアプリケーションの種類、及び、設計上の優先事項に依存し得る。幾つかのイメージ処理アルゴリズムが、広帯域に亘って、入力フレーム解像度に対して輪郭概算の解像度をトレードオフできるのに対して、別のイメージ処理アルゴリズムは、大きな許容を全く提示しない場合もあり得、例えば、それ以下ではアプリケーションが一緒に機能しなくなる最小のイメージ解像度を要求する。

幾つかの実施態様は、仮想現実アプリケーションまたは拡張現実アプリケーションに適用可能である。例えば、図５を参照すると、図５では、実物体の光景を含む仮想装置の拡張現実体験２１３、例えば、机の表面媒体５１６と本技術の一実施態様に基づく１以上の仮想物体（例えば、物体５０１）を投影するためのシステム５００が図示されている。システム５００は、種々のセンサ及びプロジェクタ、例えば、１以上のカメラ１０２，１０４（または、他のイメージセンサ）及びイメージングシステムを備える任意の幾つかの照明源１１５，１１７等を制御する処理システム２０６を備える。随意的に、机５１６への接触を感知する複数の振動センサ（または、音響センサ）５０８，５１０が含まれていても良い。更に、随意的に、システム２０６が制御するプロジェクタとして、例えば、オーディオフィードバックを提供する任意のオーディオプロジェクタ５０２、任意のビデオプロジェクタ５０４、例えば、拡張現実のユーザに触覚フィードバックを提供する任意の触覚プロジェクタ５０６がある。プロジェクタに関する更なる情報に関して、“Ｖｉｓｉｏ−Ｔａｃｔｉｌｅ Ｐｒｏｊｅｃｔｏｒ” Ｙｏｕｔｕｂｅ (https://www.youtube.com/watch?v=Bb0hNMxxewg：２０１４年１月１５日検索)が参考になる。動作では、センサ及びプロジェクタは、少なくとも机５１６の一部、または、対象物体２１４（本例では、手）が指示された経路に沿って動く自由空間を含むことのできる対象となる領域２１２に向けられる。１以上のアプリケーション５２１，５２２が、拡張現実２１３の表示内に統合された仮想物体として提供できる。これにより、ユーザ（例えば、手２１４の持ち主）は、例えば、仮想物体５０１と同じ環境内で、机５１６、コーラ５１７等の実物体との相互作用が可能となる。

幾つかの実施態様では、仮想物体はユーザに対して投射される。投射には、物体のイメージ、その他の視覚表示が含まれ得る。例えば、例えば、図５の視覚プロジェクション機構５０４は、ページ（例えば、仮想装置５０１）を本から読み手の拡張現実環境２１３内（例えば、表面部分５１６及び／または周囲の空間２１２）に投影することができる。その結果、たとえ本や電子読み取り機が存在していなくても、本物の本、或いは、物理的な電子読み取り機上の電子書籍を読んでいる仮想装置経験を作り出す。幾つかの実施態様では、任意の触覚プロジェクタ５０６が、読み手の指に、当該本の「仮想の紙」の性状の感触を投射することができる。幾つかの実施態様では、任意のオーディオプロジェクタ５０２が、ページをめくるための読み手のスワイプ（ｓｗｉｐｅ）操作を検出してページをめくる音を投射する。

Claims (17)

1. 眺められている景色の立体的なイメージ情報を提供するように配置された複数のイメージセンサと、
   前記イメージセンサの周辺に配置された１または複数の照明源と、
   前記イメージセンサ及び前記照明源に接続して、前記イメージセンサ及び前記照明源の動作を制御するコントローラと、を備え、
   景色のイメージ情報を取得し、少なくともほぼ実時間のイメージ情報のパススルーをユーザに提供することを特徴とするモーション感知及びイメージング装置。
2. 前記コントローラが、更に、前記イメージセンサの見える範囲内の制御物体のためのイメージ情報を取り込むことを提供し、
   当該制御物体のための前記イメージ情報が、制御下の機械に対するコマンドを指示するジェスチャ情報を決定するために使用されることを特徴とする請求項１に記載の装置。
3. 前記イメージ情報を取り込むことが、更に、
   赤外光に感応する画素から受信した情報を、可視光（例えば、ＲＧＢ）に感応する画素から受信した情報と分離すること、
   ジェスチャの認識に使用するために、赤外センサからの情報を処理すること、及び、
   提示インターフェースを介してライブビデオ供給として提供するために、ＲＧＢセンサからの情報を処理すること、
   を含むことを特徴とする請求項２に記載の装置。
4. 前記ＲＧＢセンサからの情報を処理することが、更に、前記景色内の照明の赤、緑、及び、青要素を各別に取り込むＲＧＢ画素を用いて、実世界空間の全体の特徴を抽出することを含むことを特徴とする請求項３に記載の装置。
5. 前記赤外センサからの情報を処理することが、更に、前記景色内の照明の赤外要素を取り込む赤外画素を用いて、実世界空間の細かな特徴を抽出することを含むことを特徴とする請求項３に記載の装置。
6. 前記実世界空間の細かな特徴が、前記実世界空間の表面性状を含むことを特徴とする請求項５に記載の装置。
7. 前記実世界空間の細かな特徴が、前記実世界空間のエッジを含むことを特徴とする請求項５に記載の装置。
8. 前記実世界空間の細かな特徴が、前記実世界空間の湾曲を含むことを特徴とする請求項５に記載の装置。
9. 前記実世界空間の細かな特徴が、前記実世界空間内の物体の表面性状を含むことを特徴とする請求項５に記載の装置。
10. 前記実世界空間の細かな特徴が、前記実世界空間内の物体のエッジを含むことを特徴とする請求項５に記載の装置。
11. 前記実世界空間の細かな特徴が、前記実世界空間内の物体の湾曲を含むことを特徴とする請求項５に記載の装置。
12. 前記コントローラが、更に、
    周囲の照明条件を決定すること、及び、前記決定された条件に基づいて出力の表示を調整することを提供し、
    第１及び第２の時間に、固定点に対する前記センサの第１及び第２の位置情報を決定することを特徴とする請求項１に記載の装置。
13. モーションセンサを更に備え、
    前記コントローラが、更に、
    前記モーションセンサからの第１及び第２の位置情報の間の差分情報を決定すること、及び、前記差分情報に基づいて、固定点に対する前記装置についての動き情報を計算することを提供することを特徴とする請求項１に記載の装置。
14. 装着型提示装置の取り付け面に前記イメージセンサと前記照明源を取り付ける１以上の固定部材を、更に備えることを特徴とする請求項１に記載の装置。
15. 装着型提示装置の空洞部分に前記イメージセンサと前記照明源を取り付ける１以上の固定部材を、更に備えることを特徴とする請求項１に記載の装置。
16. 可搬提示装置の取り付け面に前記イメージセンサと前記照明源を取り付ける１以上の固定部材を、更に備えることを特徴とする請求項１に記載の装置。
    ことを特徴とする請求項１に記載の装置。
17. 可搬提示装置の空洞部分に前記イメージセンサと前記照明源を取り付ける１以上の固定部材を、更に備えることを特徴とする請求項１に記載の装置。