JP6168577B2 - マイクロレンズアレイを有する画像化システムの基準線を調節するシステムおよび方法 - Google Patents

Description

開示される複数の実施形態は概して、デジタル画像化に関し、より具体的には、マイクロレンズアレイを有する画像化システムの基準線を調節するための複数のシステムおよび方法に関する。

デジタル画像技術、特にドローン技術の開発と共に、屋内および屋外の両方の用途のために自動的な同時位置推定および地図生成（ＳＬＡＭ）を可能とすることが重要な技術となっている。しかし、的確なＳＬＡＭは常に、困難な課題である。

ＳＬＡＭは、よく知られていない環境地図の構築または更新を、それを用いて同時にエージェントの所在の追跡をし続けながら行うことに関する計算上の課題を扱う。典型的なＳＬＡＭは、複数の立体フレームを構築しそれらフレームを結合して、途切れない地図を形成することを扱う。

現在、主流の複数のＳＬＡＭシステムは通常、複数の単眼カメラまたは双眼カメラを用いて、立体的な環境地図生成機能および位置推定機能を実現する。いくつかの新たに開発された研究方法は、複数の深度カメラを用い、すなわち、複数の単眼または両眼カメラを、構造化光または飛行時間（ＴＯＦ）深度センサと置き換える。しかし、これらのアプローチは、それらの現在の適用可能な状況、およびそれらの比較的高いコストにより大いに制限される。

加えて、いくつかの現在の主流のＳＬＡＭアプローチは通常、複数の視覚的な測定と組み合わせることにより実施される。現在のポピュラーな複数の視覚測定方法は、受動的な単眼または両眼レンズを用いることが多い。人間の一対の目と同様に、視覚的な測定の基本的な原理は、異なる複数の視野角の視差を用いて関心対象の被写体の３次元的な構造を計算し、位置推定を実現するということである。単眼レンズの場合、視差は並進によってのみ生成され得る。ゆえに、その３次元環境を検出する能力は、その動き特性に依存し、比較的制限される。

双眼カメラの視差は、第１レンズと第２レンズとの間の基準線により生じさせられる。ゆえに、その画像立体環境の能力は、基準線の長さに関連している。長さが固定されているとき、近すぎる、または遠すぎる被写体は、死角の存在が原因となり検出可能ではない。能動的な深度センサ（構造化光、ＴＯＦ）の開発に伴い、能動的な深度センサに基づくＳＬＡＭは新たな研究のホットスポットとなっている。しかし、それらの性能の限界、それら能動的なセンサの設計構造およびコストに起因して、それらの適用可能な状況は小規模の屋内の場面である。例えば、太陽光のスペクトル全体が原因となり、構造化光に基づく深度センサは屋外では適用可能ではない。さらに、ＴＯＦ深度センサは、屋外で用いられたとき、特定の放射光の比較的強いエネルギー、および比較的洗練されたセンサ設計等に依存する。ゆえに、それらは小規模の飛行プラットフォームには適切ではない。

他方、それらの物理的な原理の限界に起因して、いくつかの他の技術、例えば、慣性測定ユニット（ＩＭＵ）、気圧計、および他のセンサを正確にＳＬＡＭシステムにおいて用いて、的確であり、かつ広く適用可能なＳＬＡＭシステムを構築することは困難である。

以上のことを鑑みて、様々な状況下で正確であり、かつより実用的なＳＬＡＭシステムおよび方法の必要性がある。

本明細書に開示される第１態様によると、マイクロレンズアレイを有する立体画像化システムの基準線を設定する方法であって、

マイクロレンズアレイと関心対象の被写体との間の被写体距離を取得するステップと、

被写体距離を取得するステップに基づきマイクロレンズアレイから２つのレンズを動的に選択するステップと
を備える方法が明記される。

開示されている複数の方法の例示的実施形態において、２つのレンズを動的に選択するステップは、マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するステップを有する。

開示されている複数の方法の例示的実施形態において、被写体距離を取得するステップは、マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離を繰り返し取得するステップを有し、

マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するステップは、変化する被写体距離を繰り返し取得するステップに基づく。

開示されている複数の方法の複数の例示的実施形態は、第１レンズおよび第２レンズを選択するステップに基づき基準線を設定するステップをさらに備える。

開示されている複数の方法の複数の例示的実施形態は、マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離に基づき基準線を自動的に調節するステップをさらに備える。

開示されている複数の方法の例示的実施形態において、被写体距離を取得するステップは、

第１レンズを介して関心対象の被写体の第１画像を取得するステップと、

第２レンズを介して関心対象の被写体の第２画像を取得するステップと、

第１画像と第２画像との間の両眼視差を決定するステップと
を有し、

被写体距離を取得するステップは、両眼視差を決定するステップに基づき被写体距離を計算するステップを有する。

開示されている複数の方法の例示的実施形態において、被写体距離を取得するステップは、両眼視差を決定するステップの前に第１レンズおよび第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するステップをさらに有する。

開示されている複数の方法の例示的実施形態において、被写体距離を取得するステップは、

第１画像上の複数の特徴点を取得するステップと、

第１画像の複数の特徴点の、第２画像の複数の点とのマッチングを行うステップと
を有する。

開示されている複数の方法の例示的実施形態において、複数の特徴点は、第１画像または第２画像のうち一方の複数の画素を含む。

開示されている複数の方法の例示的実施形態において、両眼視差を決定するステップは、少なくとも５画素および画像の幅の５分の１またはそれより短い両眼視差を決定するステップを含む。

開示されている複数の方法の例示的実施形態において、複数の特徴点のマッチングを行うステップは、

第２画像を走査して、第１画像の選択された特徴点に一致する第２画像の点を識別するステップと、

第１画像の選択された特徴点と点との間の類似性を計算するステップと
を含む。

開示されている複数の方法の例示的実施形態において、類似性を計算するステップは、第１画像の選択された特徴点を、第２画像上の点を中心とした３×３画素のエリアと比較するステップを含む。

開示されている複数の方法の例示的実施形態において、３×３画素のエリアを比較するステップは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するステップを含む。

開示されている複数の方法の例示的実施形態において、被写体距離を取得するステップは、

マイクロレンズアレイと複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定するステップと、

複数の特徴距離を用いて被写体距離を決定するステップと
をさらに有する。

開示されている複数の方法の例示的実施形態において、被写体距離を決定するステップは、複数の特徴距離の平均に基づき被写体距離を取得するステップを含む。

開示されている複数の方法の例示的実施形態において、被写体距離を決定するステップは、複数の特徴点のうち１または複数を選択するステップと、選択された特徴点の特徴距離に基づき被写体距離を取得するステップとを含む。

開示されている複数の方法の例示的実施形態において、特徴点を選択するステップは、マイクロレンズアレイに最も近い予め定められた割合の複数の特徴点を選択するステップと、マイクロレンズアレイから最も遠い選択された特徴点の特徴距離として被写体距離を取得するステップとを含む。

開示されている複数の方法の例示的実施形態において、第１レンズおよび第２レンズを選択するステップは、

マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、被写体距離の検出範囲を推定するステップと、

被写体距離の推定された検出範囲に基づき基準線範囲を計算するステップと、

被写体距離の推定された検出範囲に基づき基準線範囲を計算するステップと、

予め定められたレベルより大きい視差を確かなものにしながら最小基準線により選択するステップと
を含む。

開示されている複数の方法の例示的実施形態において、第１レンズおよび第２レンズを選択するステップは、

Ｚ＝ｆ×（Ｔ／（ｘ_ｌ−ｘ_ｒ））［Ｚは被写体距離であり、ｆは、複数の選択されたレンズの修正された焦点距離であり、Ｔは、２つの最も近いレンズ間の基準線であり、（ｘ_ｌ−ｘ_ｒ）は、２つの一致した点の視差である］により被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定するステップと、

Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘ_ｌ−ｘ_ｒ）は視差である］により利用可能な複数の基準線の範囲を計算するステップと、

視差ｄ＞１０の関係が満たされることを確保しながら最小基準線Ｔにより第１レンズおよび第２レンズを選択するステップと
を含む。

開示されている複数の方法の例示的実施形態において、第１レンズおよび第２レンズを選択するステップは、第１レンズの視野が少なくとも５０％だけ第２レンズの視野と重なるまで基準線を大きくするステップを含む。

開示されている複数の方法の複数の例示的実施形態は、基準線の自動調節の後に立体画像化システムの複数の外部パラメータを較正するステップをさらに備える。

開示されている複数の方法の例示的実施形態において、較正するステップは、立体画像化システムの並進に関する外部パラメータおよび／または回転に関する外部パラメータのうち少なくとも１つを較正するステップを有する。

開示されている複数の方法の例示的実施形態において、較正するステップは、２つのレンズを選択するステップに従って、複数の並進に関する外部パラメータを最初に較正するステップを有する。

開示されている複数の方法の例示的実施形態において、較正するステップは、最初に較正するステップの後に、外部パラメータを較正して外部パラメータを最適化するステップをさらに有する。

開示されている複数の方法の例示的実施形態において、立体画像化システムは、モバイルプラットフォームに乗せて設置され、自動的に調節するステップは、モバイルプラットフォームの移動モードに依存する。

開示されている複数の方法の例示的実施形態において、モバイルプラットフォームは無人航空機（ＵＡＶ）であり、移動モードはＵＡＶの飛行モードである。

本明細書に開示されている他の態様によると、上記の複数の方法の何れか１つに従って自動的な基準線調節を実行するよう構成された立体画像化システムが明記される。

本明細書に開示されている他の態様によると、上記の複数の方法の何れか１つに従って、マイクロレンズアレイを有する立体画像化システムの基準線を自動的に調節するための複数の命令を備えるコンピュータプログラムプロダクトが明記される。

開示されている装置の例示的実施形態において、装置は、

個別に、または１または複数の他のレンズとの組み合わせで画像を取得するようそれぞれが構成された複数のレンズを有するマイクロレンズアレイと、

マイクロレンズアレイと関心対象の被写体との間の取得された被写体距離に基づき２つのレンズを動的に選択するよう構成されたコントローラと
を備える。

開示されている装置の例示的実施形態において、コントローラは、マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離を取得し、変化する被写体距離の繰り返しの取得に基づき、マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、第１レンズおよび第２レンズに基づき基準線を設定するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離に基づき基準線を動的に調節するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、

第１レンズを介して関心対象の被写体の第１画像を取得し、

第２レンズを介して関心対象の被写体の第２画像を取得し、

第１画像と第２画像との間の両眼視差を決定し、

両眼視差の決定に基づき被写体距離を計算する
ことにより、被写体距離を取得するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、両眼視差の決定の前に第１レンズおよび第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、第１画像上の複数の特徴点を取得し、第１画像の複数の特徴点の、第２画像の複数の点とのマッチングを行うよう構成される。

開示されている装置の例示的実施形態において、複数の特徴点は、第１画像または第２画像のうち一方の複数の画素を含む。

開示されている装置の例示的実施形態において、コントローラは、少なくとも５画素および画像の幅の５分の１またはそれより短い両眼視差を決定するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、第２画像を走査して、第１画像の選択された特徴点に一致する第２画像の点を識別し、第１画像の選択された特徴点と点との間の類似性を計算するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、第１画像の各選択された特徴点を、第２画像上の点を中心とした３×３画素のエリアと比較するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、マイクロレンズアレイと複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定し、複数の特徴距離を用いて被写体距離を決定するよう構成される。

開示されている装置の例示的実施形態において、被写体距離は、複数の特徴距離の平均である。

開示されている装置の例示的実施形態において、コントローラは、複数の特徴点のうち１または複数を選択し、選択された特徴点の特徴距離に基づき被写体距離を取得するよう構成される。

開示されている装置の例示的実施形態において、複数の特徴点は、マイクロレンズアレイに最も近い、またはマイクロレンズアレイから最も遠い予め定められた割合の複数の特徴点が選択される。

開示されている装置の例示的実施形態において、コントローラは、

マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、被写体距離の検出範囲を推定し、

被写体距離の推定された検出範囲に基づき基準線範囲を計算し、

視差が予め定められたレベルより大きいことを確保しながら最小基準線により選択する
ことにより、第１レンズおよび第２レンズを選択するよう構成される。

開示されている装置の例示的実施形態において、第１レンズおよび第２レンズは、

Ｚ＝ｆ×（Ｔ／（ｘ_ｌ−ｘ_ｒ））［Ｚは被写体距離であり、ｆは、選択された第１レンズおよび第２レンズの修正された焦点距離であり、Ｔは、２つの最も近いマイクロレンズ間の基準線であり、（ｘ_ｌ−ｘ_ｒ）は、２つの一致した点の視差である］により被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定し、

Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘ_ｌ−ｘ_ｒ）は視差である］により利用可能な複数の基準線の範囲を計算し、

視差ｄ＞１０の関係を確かなものにしながら最小基準線Ｔにより第１レンズおよび第２レンズを選択する
ことにより選択される。

開示されている装置の例示的実施形態において、コントローラは、第１レンズの視野が少なくとも５０％だけ第２レンズの視野と重なるまで基準線を大きくするよう構成される。

開示されている装置の例示的実施形態において、コントローラは、基準線の調節の後に立体画像化システムの複数の外部パラメータを較正するよう構成される。

開示されている装置の例示的実施形態において、複数の外部パラメータは、立体画像化システムの並進に関する外部パラメータおよび／または回転に関する外部パラメータのうち少なくとも１つを含む。

開示されている装置の例示的実施形態において、複数の並進に関する外部パラメータは、第１レンズおよび第２レンズに従って最初に較正される。

開示されている装置の例示的実施形態において、コントローラは、最初の較正の後に複数の外部パラメータを較正して、外部パラメータを最適化するよう構成される。

開示されている装置の例示的実施形態において、立体画像化システムは無人航空機（ＵＡＶ）であり、基準線の調節は、ＵＡＶの飛行モードに依存する。

開示されている装置の例示的実施形態において、立体画像化システムは赤外線画像化システムである。

開示されている装置の例示的実施形態において、立体画像化システムはＸ線画像化システムである。

本明細書に開示されている他の態様によると、マイクロレンズアレイを有する撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行する方法であって、

上記の方法の何れか１つを通じてマイクロレンズアレイにより第１立体フレームおよび第２立体フレームを取得するステップと、

第１立体フレームに対する第２フレームの複数の回転を慣性測定ユニットＩＭＵにより測定して回転データを生成するステップと、

回転データを第１立体フレームおよび第２立体フレームと組み合わることにより第１立体フレームおよび第２立体フレームのマッチングを行うステップと
を備え、

第１立体フレームは、予め定められた割合だけ第２立体フレームと重なる、方法が明記される。

開示されている複数の方法の例示的実施形態において、第１立体フレームおよび第２立体フレームを取得するステップは、異なる複数の時点において第１立体フレームおよび第２立体フレームを取得するステップを有する。

開示されている装置の例示的実施形態において、異なる複数の時点において第１立体フレームおよび第２立体フレームを取得するステップは、６０分の１秒またはそれより長い、および２０分の１秒またはそれより短い間隔で第１立体フレームおよび第２立体フレームを取得するステップを含む。

開示されている複数の方法の複数の例示的実施形態は、

第１立体フレームに基づき立体点クラウドを取得するステップをさらに備え、

立体点クラウドは複数の立体特徴点のアレイ｛Ｐ_１，Ｐ_２，Ｐ_３…，Ｐ_ｎ｝である。

開示されている複数の方法の複数の例示的実施形態は、

立体点クラウドに基づきｘ−ｙ面における第２投射アレイ

を取得するステップをさらに備える。

開示されている複数の方法の例示的実施形態において、第２投射アレイを取得するステップは、

立体点クラウドに基づきｘ−ｙ面における第１投射アレイ

を取得するステップと、

請求項９から１１の何れか一項に記載の方法を用いて、第２立体画像に対して第１投射アレイの複数の点のマッチングを行って、第２投射アレイ

を生成するステップと
を有する。

開示されている複数の方法の複数の例示的実施形態は、

回転データ、立体点クラウド、および第２投射アレイに基づき並進アレイＴを計算するステップをさらに備える。

開示されている複数の方法の例示的実施形態において、並進アレイＴを計算するステップは、関係

［Ｒは、複数の回転測定値のアレイであり、Ｐｊは立体点であり、Ｔは、計算されることになる並進アレイを表し、μは乱数である］を適用するステップを有する。

開示されている複数の方法の例示的実施形態において、

を適用するステップは、立体点クラウドから選択される少なくとも２つの点、およびそれらの、第２投射アレイの一致している２つの点に関して一式の数式を解くことによりＴを計算するステップをさらに含む。

開示されている複数の方法の複数の例示的実施形態は、

立体点クラウドから選択される複数の点、およびそれらの、第２投射アレイの対応する複数の投射点を用いて並進アレイＴを数式

へ導入することによりＴを検証して、一致している複数の点の計数を得るステップと、

一致している複数の点の最大計数を有する並進アレイＴを選択された並進アレイＴとして選択するステップと
をさらに備える。

開示されている複数の方法の複数の例示的実施形態は、

回転データ、選択された並進Ｔ、および関係

を用いて第２フレームに関して立体点クラウドを計算するステップをさらに備える。

開示されている複数の方法の複数の例示的実施形態は、

上記にて述べた方法を介して、マイクロレンズアレイにより他の立体フレームを取得するステップと、

上記の複数のステップを、第２立体フレームを第１立体フレームとし、新たに取得された立体フレームを第２立体フレームとして繰り返すステップと
をさらに備える。

本明細書に開示されている他の態様によると、上記の複数の方法の何れかに従って自動位置推定および地図生成を実行するよう構成された同時位置推定および地図生成システムが明記される。

本明細書に開示されている他の態様によると、マイクロレンズアレイを有する立体画像化システムにより、上記の複数の方法の何れかに従って同時位置推定および地図生成を自動的に実行するための複数の命令を備えるコンピュータプログラムプロダクトが明記される。

本明細書に開示されている他の態様によると、マイクロレンズアレイを有する撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行するための装置であって、

第１時点における第１立体フレームに対する第２時点において取得される第２立体フレームの複数の回転を測定するよう構成された慣性測定ユニットＩＭＵと、

上記にて述べた複数の方法の何れかを通じて、マイクロレンズアレイにより第１立体フレームおよび第２立体フレームを取得し、

ＩＭＵから第２立体フレームの回転データを取得し、

回転データを第１立体フレームおよび第２立体フレームと組み合わせることにより第１立体フレームおよび第２立体フレームのマッチングを行うよう構成されたコントローラと
を備え、

第１立体フレームは、予め定められた割合だけ第２立体フレームと重なる、装置が明記される。

開示されている装置の例示的実施形態において、第１立体フレームおよび第２立体フレームは、異なる複数の時点において取得される。

開示されている装置の例示的実施形態において、異なる複数の時点間の間隔は、６０分の１秒またはそれより長く、および２０分の１秒またはそれより短い。

開示されている装置の例示的実施形態において、コントローラはさらに、第１立体フレームに基づき立体点クラウドを取得するよう構成されており、立体点クラウドは、複数の立体特徴点のアレイ｛Ｐ_１，Ｐ_２，Ｐ_３…，Ｐ_ｎ｝である。

開示されている装置の例示的実施形態において、コントローラはさらに、立体点クラウドに基づきｘ−ｙ面における第２投射アレイ

を取得するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、

立体点クラウドに基づきｘ−ｙ面における第１投射アレイ

を取得し、

請求項１０から１２の何れか一項に記載の方法を用いて、第２立体画像に対して第１投射アレイの複数の点のマッチングを行って、第２投射アレイ

を生成する
ことにより第２投射アレイを取得するよう構成される。

開示されている装置の例示的実施形態において、コントローラはさらに、回転データ、立体点クラウド、および第２投射アレイに基づき並進アレイＴを計算するよう構成される。

開示されている装置の例示的実施形態において、並進アレイＴは、関係

［Ｒは、複数の回転測定値のアレイであり、Ｐｊは、立体点クラウドの立体点であり、Ｔは、計算されることになる並進アレイを表し、μは乱数である］を適用することにより計算される。

開示されている装置の例示的実施形態において、並進アレイＴは、立体点クラウドから選択される少なくとも２つの点、およびそれらの、第２投射アレイの一致している２つの点に関して一式の数式を解くことにより計算される。

開示されている装置の例示的実施形態において、コントローラは、立体点クラウドから選択される複数の点、およびそれらの、第２投射アレイの対応する複数の投射点を用いて並進アレイＴを数式

へ導入することによりＴを検証して、一致している複数の点の計数を得、

一致している複数の点の数が最も多い並進アレイＴを選択された並進アレイＴとして選択するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、回転データ、選択された並進Ｔ、および関係

を用いて第２フレームに関して立体点クラウドを計算するよう構成される。

開示されている装置の例示的実施形態において、コントローラは、マイクロレンズアレイにより、上記の方法を通じて他の立体フレームを取得し、第２立体フレームを第１立体フレームとし、新たに取得された立体フレームを第２立体フレームとするよう構成される。

マイクロレンズアレイとセンサアレイとを含む立体画像化システムの実施形態を示す例示的な最上位のブロック図である。

図１のマイクロレンズアレイの実施形態を示す例示的な詳細図である。

マイクロレンズアレイが立体知覚において用いられる、図１の立体画像化システムの代替的実施形態を示す例示的な詳細図である。

被写体距離が三角測量を介して決定される、図３の立体画像化システムの代替的実施形態を示す例示的な詳細図である。

マイクロレンズアレイのためのコントローラを含む、図１の立体画像化システムの実施形態を示す例示的な最上位のブロック図である。

被写体距離に基づく、図１の立体画像化システムの方法の実施形態を示す例示的な最上位のフローチャートである。

図１の立体画像化システムの基準線を被写体距離に基づき調節する方法の実施形態を示す例示的なフローチャートである。

図７の立体画像化システムの基準線を被写体距離に基づき調節する方法の他の実施形態を示す例示的なフローチャートである。

図８の方法に従って被写体距離を決定する方法の実施形態を示す例示的な図である。

選択された複数のマイクロレンズに関して修正された焦点距離を取得するステップを含む、図８の方法の代替的実施形態を示す例示的な図である。

利用可能な複数の基準線の範囲を用いて基準線が推定される、図６の方法の他の代替的実施形態を示す例示的な図である。

同時位置推定および地図生成（ＳＬＡＭ）のための方法の実施形態を示す例示的な最上位の図である。

複数の対の立体画像のマッチングが行われる、図１０の方法の代替的実施形態を示す例示的な図である。

図面は縮尺通りに描かれていないこと、例示の目的のために、同様の構造または機能の構成要素が概して、複数の図面を通じて同様の参照数詞により表されていることに留意されるべきである。図面が、好ましい実施形態の説明を容易にすることのみを意図されていることにも留意されるべきである。図面は説明されている複数の実施形態のあらゆる態様を示しておらず、本開示の範囲を限定しない。

現在利用可能であるＳＬＡＭシステムは広く適用可能ではなく、正確な位置推定および地図生成が可能ではないので、マイクロレンズアレイを有する画像化システムの基準線を調節して、それらの要求を満たすことが出来るＳＬＡＭシステムおよび方法が望ましいことが分かり、それらＳＬＡＭシステムおよび方法は、ドローンシステムおよび他の複数のモバイルデバイスシステムなどの広い範囲のシステム用途のために基礎を提供し得る。この結果は、図１に開示されている一実施形態に従って達成され得る。

ここで図１を参照すると、関心対象の被写体１９８から反射された光を受光するために、マイクロレンズアレイ１０２を有する例示的な立体画像化システム１００が示されている。マイクロレンズアレイ１０２の（図２に示されている）各マイクロレンズ（またはレンズ）１０２Ａは、センサアレイ１０４のそれぞれのセンサに対応する。マイクロレンズアレイ１０２の複数のレンズ１０２Ａを介して受光された光は、センサアレイ１０４の対応する複数のセンサに提供される。典型的には、立体画像化のために、第１レンズ１０２ｂおよび第２レンズ１０２ｃなどの２つのレンズ１０２Ａが構成される。しかし、マイクロレンズアレイ１０２の任意の適切な数のレンズ１０２Ａが選択され得る。対応する複数のセンサは、センサアレイ１０４により生成される複数の画像を表すデータフロー１３３を生成する。典型的には、生成される画像の数は、マイクロレンズアレイ１０２の選択されるマイクロレンズ１０２Ａの数と等しい。データフロー１３３は、画像信号プロセッサ（ＩＳＰ）１１０に提供される。本例示的実施形態において、データフロー１３３は、センサアレイ１０４により生成される、内部メモリおよび／または外部メモリであり得るメモリ１０６に格納される２つの画像１０６Ａおよび１０６Ｂを表す。例示のみを目的として、複数の対の画像を処理するものとして本明細書においては示され説明されているが、立体画像化システム１００は、任意の適切な数の画像を処理するよう適合され得る。

関心対象の被写体１９８を画像化するとき、選択された各マイクロレンズ１０２Ａおよび対応するセンサにより生成される複数の画像は、選択された視野角からの関心対象の被写体１９８を表し得る。複数のマイクロレンズ１０２Ａを選択することにより、関心対象の被写体１９８は、複数の異なる視野角から画像化され得る。ＩＳＰ１１０は、結果として得られる複数の画像を処理して、データフロー１３７を通じ立体画像１９９を生成し得る。一実施形態において、ＩＳＰ１１０は、ＳＬＡＭシステム（不図示）の一部として、位置推定を目的として、立体画像１９９を生成し得る。図１に示されているように、立体撮像装置１００のマイクロレンズアレイ１０２、センサアレイ１０４、メモリ１０６、および／またはＩＳＰ１１０は、コントローラ１２０の制御の下、動作し得る。追加的に、および／または代替的に、ＩＳＰ１１０は、立体撮像装置１００の全体または一部の制御を提供し得る。

図１に示されるように、例示的な立体撮像装置１００は、オプションの慣性測定ユニット（ＩＭＵ）１５０と通信を行い得る。ＩＭＵ１５０は、２つの時点間の、立体撮像装置１００の複数の回転測定値を提供する役割を担い得る。ＩＳＰ１１０は複数の回転測定値を利用して、立体撮像装置１００の移動経路に沿って、異なる複数の時点の２つの立体フレームを組み合わせて、途切れない複数の地図生成を生成し得る。途切れない複数の地図生成は、複数のＳＬＡＭシステムの第２の部分である。立体撮像装置１００とは別個の（またはその外部の）コンポーネントとして示されているが、ＩＭＵ１５０は、立体撮像装置１００内部に配置されてもよい。

本明細書に開示されている複数のアプローチは、複数のＳＬＡＭシステムが、様々な屋内および／または屋外環境においてより的確に、かつ、より実際的に実行することを可能とする。ゆえに、複数のＳＬＡＭシステムは、構造化光および／または飛行時間（ＴＯＦ）深度センサを用いる従来の複数のシステムと比較してより大きな利用範囲を有し得る。

図２は、図１のマイクロレンズアレイ１０２の実施形態の例示的配置を示す。図２のマイクロレンズアレイ１０２は、４×４のアレイのマイクロレンズであり、合計１６のマイクロレンズ１０２Ａを提供するものとして示されている。複数のマイクロレンズ１０２Ａのそれぞれは、別々に、および／または、マイクロレンズアレイ１０２の任意の数の他のマイクロレンズ１０２Ａと組み合わせて複数の画像を撮像するのに用いられ得る。２つの選択されたマイクロレンズ１０２Ａが複数の画像を生成するのに用いられるとき、例えば、２つのマイクロレンズ１０２Ａ間の距離が、両眼撮像装置の基準線を規定する。すなわち、立体撮像装置１００は、マイクロレンズアレイ１０２の２つの選択されたマイクロレンズ１０２Ａが複数の画像を生成するために用いられるとき、両眼撮像装置を形成する。両眼撮像装置の一実施形態についての例示的な複数の詳細は、図３を参照して以下に述べられている。

再び図２を参照すると、マイクロレンズアレイ１０２の、最長距離を有する第１レンズ１０２ｂおよび第２レンズ１０２ｃなどの２つのレンズ１０２Ａが、両眼撮像装置の最大基準線Ｔ_ｍａｘを規定する。第１レンズ１０２ｄおよび第２レンズ１０２ｅなどの互いに最も近い２つのレンズ１０２Ａが、最小基準線Ｔ_ｍｉｎを規定する。４×４のマイクロレンズアレイ１０２が示されている図２において、Ｔ_ｍａｘは、対角線上に位置付けられている、最も外側の２つのマイクロレンズ１０２Ａ間の距離である。Ｔ_ｍｉｎは、より短い距離を有する何れかの、同じ行または列内の任意の２つの隣接するマイクロレンズ１０２Ａ間の距離である。

立体視の複数の原理に基づき、基準線Ｔの値を下げることにより、検出範囲の下側の閾値および／またはその範囲の上側の閾値が下げられ得る。Ｔを大きくすることにより、逆の効果が得られ得る。ゆえに、従来の両眼撮像装置は、下側の閾値および上側の閾値の両方を考慮に入れられないので、立体撮像装置１００は、固定された基準線を有する従来のデバイスより複数の利点を有し得る。

他方、マイクロレンズアレイ１０２は、図２に示されているように、複数のマイクロレンズ１０２Ａの選択に基づき、予め定められた範囲の異なる複数の基準線を提供し得る。より近い被写体の立体的な位置は、より小さい複数の基準線を有する複数のマイクロレンズ１０２Ａを用いて計算され得、より遠い被写体の立体的な位置は、より大きな複数の基準線を有するマイクロレンズ１０２Ａを用いて計算され得る。ゆえに、立体視の範囲は、図２のマイクロレンズアレイ１０２を介して広められ得る。例示のみを目的として、４×４のアレイの１６のマイクロレンズ１０２Ａを提供するものとして図２を参照して示され説明されているが、マイクロレンズアレイ１０２は、任意の適切な構成またはサイズで提供される任意の適切な数のマイクロレンズ１０２Ａを含み得る。複数のマイクロレンズ１０２Ａにおける複数の行および列のアレイとして提供された場合、マイクロレンズアレイ１０２は、マイクロレンズアレイ１０２の列の数と異なり、またはそれと同じ数の行を含み得る。マイクロレンズアレイ１０２における隣接する複数のマイクロレンズ１０２Ａ間のスペースは、マイクロレンズアレイ１０２における選択された複数の対の隣接するマイクロレンズ１０２Ａに関して同じであり得る、および／または異なり得る。

ここで図３を参照すると、マイクロレンズアレイ１０２と関心対象の被写体１９８との間の被写体距離Ｚを確かなものにするシステムが示されている。図３は、マイクロレンズアレイ１０２の２つの選択されたレンズ１０２Ａ、第１レンズ３１０ａおよび第２レンズ３１０ｂ、を参照し、立体知覚の使用を示している。本明細書の例示においてマイクロレンズアレイ１０２の複数のレンズ１０２Ａが用いられているが、任意の種類のレンズアレイまたはマイクロレンズアレイが適用可能である。ゆえに、複数のレンズ１０２Ａおよびマイクロレンズ１０２Ａは互いに完全に入れ替え可能である。マイクロレンズ３１０ａおよび３１０ｂのそれぞれは同じ関心対象の被写体１９８を知覚するが、座標軸（ｘ_１，ｙ_１，ｚ_１）および（ｘ_２，ｙ_２，ｚ_２）で示される異なる空間座標で知覚する。マイクロレンズ３１０ａおよび３１０ｂは、それらのそれぞれの光軸３３０ａおよび３３０ｂに沿って関心対象の被写体１９８を知覚し、それにより、関心対象の被写体１９８の２つの異なる２次元画像３２０ａおよび３２０ｂを得ることになる。典型的には、マイクロレンズ３１０ａおよび３１０ｂの光軸３３０ａおよび３３０ｂが一致するようにマイクロレンズ３１０ａおよび３１０ｂが位置付けられない限り、異なる複数の位置および／または角度から撮像される２次元画像３２０ａおよび３２０ｂは異なる。したがって、殆どの状況において、図４を参照して以下により詳細に説明されるように、画像３２０ａおよび３２０ｂ間には、（例えば、数式４で表される）両眼視差ｄが見つけられ得る。

ここで図４を参照すると、２次元画像３２０ａおよび３２０ｂが比較されて、一対のマイクロレンズ３１０ａおよび３１０ｂと、関心対象の被写体１９８との間の被写体距離Ｚを確かなものにし得る。画像３２０ａおよび３２０ｂ間の両眼視差ｄを用いて被写体距離Ｚを確かなものにするのに、三角測量法が用いられ得る。具体的に、その座標（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）により表される、インデックスｉを有する関心対象の被写体１９８の位置は、以下のように得られる。

数式（１）

数式（２）

数式（３）
ここで、ｃ_ｘおよびｃ_ｙは、マイクロレンズ３１０ａおよび３１０ｂのそれぞれの中心座標を表し、ｘ_ｉおよびｙ_ｉは、画像３２０ａおよび３２０ｂの一方または両方における関心対象の被写体１９８の複数の座標を表し、Ｔは基準線（言い換えると、マイクロレンズ３１０ａおよび３１０ｂの中心座標間の距離）であり、ｆは、マイクロレンズ３１０ａおよび３１０ｂの修正された焦点距離であり、ｉは、複数の関心対象の被写体１９８に亘る、および／または関心対象の被写体１９８の複数の特徴点３５５に亘るインデックスであり、ｄは、ここで

数式（４）
として表される、画像３２０ａおよび３２０ｂ間の両眼視差である。

図５は、立体画像化システム１００の基準線Ｔを調節するための例示的な方法１００の実施形態を示す。図５において、立体画像化システム１００は、（図１に示される）コントローラ１２０と（図１に示される）マイクロレンズアレイ１０２とを有するものとして示されている。コントローラ１２０は、マイクロレンズアレイ１０２の動作を制御することによりマイクロレンズアレイ１０２とインタラクトする。図５において、コントローラ１２０は、マイクロレンズアレイ１０２から１または複数のマイクロレンズ１０２Ａを選択して、立体画像化のために望ましい基準線を生成し得る。マイクロレンズアレイ１０２は、（図１に示される）マイクロレンズアレイ１０２と（図１に示される）関心対象の被写体１９８との間の被写体距離Ｚを取得および／または推定するための基準として用いられる複数の画像を撮像するのに用いられる。常に変化し得る被写体距離Ｚは、予め定められた時間間隔に従って繰り返し取得または推定され得る。いくつかの実施形態において、時間間隔は、６０分の１秒から２０分の１秒の範囲内に限定され得る。

加えて、コントローラ１２０は、マイクロレンズアレイ１０２から２つのマイクロレンズ３１０ａおよび３１０ｂを選択するために、マイクロレンズアレイ１０２を介して生成された複数の画像の受信を制御し、それら画像に基づき望ましい基準線を計算し得る。望ましい基準線の計算、および／または、２つのマイクロレンズ３１０ａおよび３１０ｂの選択は、繰り返し取得される、変化する被写体距離に基づき得る。

ここで図６を参照すると、立体画像化システム１００の基準線Ｔを調節するための例示的な方法２００の実施形態が示されている。方法２００の一実施形態は、基準線Ｔが自動的に、および／または手動で調節されることを可能とする。６１０で、（図１に示される）立体画像化システム１００またはマイクロレンズアレイ１０２と（図１に示される）関心対象の被写体１９８との間の被写体距離Ｚが取得される。被写体距離Ｚは、所望に応じて、いくつかの様々な方法の何れかを用いて取得され得る。いくつかの実施形態において、被写体距離Ｚは、立体視を介して、（図１に示される）マイクロレンズアレイ１０２から選択される（図２に示される）複数のマイクロレンズ１０２Ａを用いて取得され得る。例えば、２つのマイクロレンズ１０２Ａはそれぞれ、関心対象の被写体１９８の（図３から４に示される）それぞれの画像３２０ａ、３２０ｂを取得し得る。取得された画像３２０ａ、３２０ｂの重複する複数の部分が解析されて、関心対象の被写体１９８までの被写体距離Ｚを評価し得る。代替的に、および／または追加的に、被写体距離Ｚは、レーザーを用いる、および／または超音波を用いるなどの複数の非立体視方法を用いて取得され得る。６８０で、被写体距離Ｚに従って基準線Ｔを得るよう、一対のレンズ１０２Ａが自動的に選択される。レンズの選択は、図１１を参照してより詳細に説明される。

方法３００の代替的実施形態は図７に示されている。ここで、方法３００は、立体視に基づき、第１レンズ３１０ａおよび第２レンズ３１０ｂを用いて被写体距離Ｚを取得する。６１１Ａで、（図３および４に示される）関心対象の被写体１９８の（図３および４に示される）第１画像３２０ａが第１レンズ３１０ａを用いて取得される。６１１Ｂで、関心対象の被写体１９８の（図３および４に示される）第２画像３２０ｂが第２レンズ３１０ｂを用いて取得される。第１および第２画像３２０ａ、３２０ｂは、同時に、および／または連続的に行うことを含む任意の従来のやり方で取得され得る。好ましい実施形態において、第１および第２画像３２０ａ、３２０ｂは有利には、関心対象の被写体１９８および／または立体画像化システム１００の経時的なずれに起因するエラーを減らすよう同時に取得される。

６１４で、第１画像３２０ａと第２画像３２０ｂとの間の両眼視差ｄが計算される。代替的に、および／または追加的に、マイクロレンズ３１０ａ、３１０ｂの一方（または両方）の焦点距離が、６１４で両眼視差ｄを決定するのに用いられ得る。視差ｄを計算するための例示的実施形態は、図７を参照して以下により詳細に説明される。

６１９で、被写体距離Ｚが計算される。被写体距離Ｚは、任意の適切なやり方で計算され得る。例示的なやり方は、計算された両眼視差ｄを用いることを含む。例えば、被写体距離Ｚは、両眼視差ｄ、第１レンズ３１０ａおよび第２レンズ３１０ｂ間の基準線Ｔ、および６１５に明記されているように修正された焦点距離ｆの関数として見つけられ得る。そのような関数は、

数式（５）
として表され得る。ここで、Ｔは基準線（言い換えると、マイクロレンズ３１０ａおよび３１０ｂの中心座標間の距離）であり、ｆは、マイクロレンズ３１０ａおよび３１０ｂの修正された焦点距離であり、

は、関心対象の被写体１９８の画像３２０ａおよび３２０ｂ間の両眼視差であり、

は、

により表される第１画像３１０ａ上の点に一致する、第２画像３１０ｂ上の点である。

システム４００の他の実施形態は図８に示されている。図８において、新たなステップが導入されていることを除き、全てのステップが図７に示されているシステム３００と同じである。図８において、代替的実施形態が、修正された焦点距離ｆが２つの選択されたマイクロレンズ３１０ａ、３１０ｂの焦点距離に基づき計算され得る６１５におけるステップを有するものとして示されている。第１レンズ３１０ａおよび第２レンズ３１０ｂの焦点距離は通常同じであり得るが、またそれらは異なり得る。修正された焦点距離を計算する全ての方法が本明細書において適用され得る。実施形態において、「Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ」（Ｍａｒｋｕｓ Ｍａｎｎ，Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ，（Ｄｅｃｅｍｂｅｒ １０，２００４），ａｖａｉｌａｂｌｅ ａｔ ｈｔｔｐ：／／ｃｓ．ｎｙｕ．ｅｄｕ／ｃｏｕｒｓｅｓ／ｆａｌｌ１４／ＣＳＣＩ−ＧＡ．２２７１−００１／０６ＳｔｅｒｅｏＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎ．ｐｄｆ）に示される修正された焦点距離を計算する複数の方法が本明細書において用いられ得る。

図７および図８に関する説明に基づき、

が知られている要素なので、視差ｄが、第２画像３２０ｂ上の一致している点

を用いて計算され得る。図９において、第２画像３２０ｂ上の一致している点

の位置を確認する例示的実施形態が、例示のみを目的として明記されている。図９において、Ｉ^Ｌは第１画像３２０ａを表し、Ｉ^Ｒは、同じ関心対象の被写体１９８の第２画像３２０ｂを表す。第１画像３２０ａ上の点

は知られており、第２画像３２０ｂ上の一致している点

は、以下の数式

数式（６）
により表され得る、第１画像３２０ａの点

と「類似性の最も高い」点として定義され得、ここで、ｄは、（図３および図４に示される）２つの選択されたマイクロレンズ３１０ａ、３１０ｂの視差を表し、Ｉ^Ｌは第１画像３２０ａであり、Ｉ^Ｒは、同じ関心対象の被写体１９８の第２画像３２０ｂを表し、

は、第１画像３２０ａの点

である。

起こり得るマッチングのエラーが原因となり、マッチングの的確性および視野範囲を確かなものにするには、視差ｄは特定の予め定められた複数の値より小さくてはならず、またはより大きくてはならない。本開示に係る好ましい実施形態において、視差ｄは、５画素より大きく、第１画像３２０ａと同じサイズであり得る第２画像３２０ｂの幅の５分の１未満である。例示的な例として、ｆ＝４８０、Ｔ＝０．１５ｍであり、画像解像度が３２０×２４０画素であるとすると、有効視野範囲は１．５ｍから１５．４ｍが差し引かれ得る。

類似性の決定において、画像３１０ａ、３１０ｂのそれぞれから、それぞれが中心に比較点を有する３×３画素のブロックが取り上げられる。第１および第２画像３２０ａおよび３２０ｂがカラー画像であるとき、複数の色成分の複数の値が、３×３画素のブロックの各画素に関して比較され得る。逆に、画像３２０ａおよび３２０ｂが白黒画像であるとき、各画素に関する複数のグレースケール値が比較され得る。数式６に基づき、９つの画素全てに関する複数の値の差の合計が最も小さい点が一致している点として選択される。この処理は、第１画像３１０ａ上の選択された特徴点全てに関して繰り返され得る。

ここで図１０を参照すると、関心対象の被写体１９８の複数の特徴点３５５を用いて、被写体距離Ｚを取得する方法６００の他の代替的実施形態が示されている。９２２で、関心対象の被写体１９８上の複数の特徴点３５５が取得される。特徴点３５５は、様々な異なる方法のうち１または複数を用いて選択され得る。１つの例示的実施形態において、複数の特徴点３５５は、関心対象の被写体１９８の事前定義された複数の形状として識別され得る。他の実施形態において、複数の特徴点３５５は、特定の色または輝度を有する関心対象の被写体１９８の１または複数の部分として認識され得る。他の実施形態において、複数の特徴点３５５は、関心対象の被写体１９８の無作為な複数の部分として選択され得る。他の実施形態において、複数の特徴点３５５は、関心対象の被写体１９８上の規則的に隔てられた複数の間隔をおいて、例えば、１画素毎、１画素おき、２画素おき、３画素おき、などで選択され得る。複数の特徴点３５５は、所望に応じて、変化する複数の形状およびサイズであり得る。いくつかの実施形態において、上記にて説明された複数の方法の組み合わせを用いて複数の特徴点３５５が選択され得る。

９２４で、選択された複数の特徴点３５５の、第１画像３１０ａから第２画像３１０ｂへのマッチングが行われ得る。好ましい実施形態において、複数の特徴点のマッチングは２つのステップから成る。９２４Ａで、第１画像の特徴点３５５が選択される。計算された点から開始して、マイクロレンズ３１０ａ、３１０ｂの中央の線と平行な線に沿って、一致している点が走査される。マッチングの開始点は、第１画像３１０ａ上の点の複数の座標、基準線の方向および／または長さに基づき計算され得る。好ましくは、選択された線に沿った１方向のみに限定されるが、走査は、１または複数の予め定められた方向の何れかの方向に実行され得る。

９２４Ｂで、各点に関して走査を行いつつ、図８を参照して本明細書においてより詳細に説明されている方法により、２つの点間の類似性が計算され、第１画像３１０ａの特徴点との複数の差の合計が最小の第２画像３１０ｂの点が選択される。

９２６で、各特徴点３５５と立体画像化システム１００との間の特徴距離ｚが見つけられる。各特徴距離ｚは、（図３および４に示される）第１レンズ３１０ａにより取得される（図３および４に示される）第１画像３２０ａにおける特徴点３５５の位置と、（図３および４に示される）第２レンズ３１０ｂにより取得される（図３および４に示される）第２画像３２０ｂの特徴点３５５の位置との間の両眼視差ｄを用いることを含む任意の適切なやり方で見つけられ得る。両眼視差ｄを用いて、特徴距離ｚが、上記にて説明されたやり方で数式１から４を介して見つけられ得る。

９２８で、被写体距離Ｚが、９２６で見つけられた複数の特徴距離ｚを用いて見つけられる。関心対象の被写体１９８の個別の複数の特徴距離ｚに基づき被写体距離Ｚを決定するのに、様々な方法の何れかが用いられ得る。一実施形態において、被写体距離Ｚは、複数の特徴距離ｚの平均に基づき見つけられる。例示的な種類の平均は、算術平均、幾何平均、メジアン、および／または最頻値を含み得るが、これらに限定されない。他の実施形態において、被写体距離Ｚは、複数の特徴点３５５のうち１または複数を選択し、選択された特徴点３５５の複数の特徴距離ｚに基づき、被写体距離Ｚを取得することにより見つけられ得る。

図１１は、マイクロレンズアレイ１０２から異なるレンズ１０２Ａを選択する方法７００の実施形態を示す。第１画像３２０ａが取得された後短い時間間隔をおいて第２画像３２０ｂが取得されるとする。いくつかの実施形態において、時間間隔は、６０分の１秒から２０分の１秒の範囲内に限定され得る。時間間隔の短さが原因となり、典型的に、被写体距離Ｚの変化は無視出来る程度であり、したがって、被写体距離Ｚ、およびその対応基準線の計算において無視され得る。言い換えると、被写体距離Ｚの変化は方法７００の実行に実質的に影響を与えない可能性が高い。しかし、被写体距離Ｚの急な、または突然の変化は、以下の段落において説明されている例示的な方法のより長い計算を引き起こし得る。そのような急な、または突然の変化が稀であることが原因となり、計算の合計量は実質的に影響を受けない。

基準線を推定するとき、９５２で、被写体距離Ｚの検出範囲（ＺｍｉｎからＺｍａｘ）が以下の数式を用いて推定される。

数式（７）
ここで、Ｚは、マイクロレンズアレイ１０２Ａと関心対象の被写体１９８との間の被写体距離であり、ｆは、第１レンズ３１０ａおよび第２レンズ３１０ｂの修正された焦点距離であり、Ｔは、２つの第１レンズおよび第２レンズ３１０Ａ、３１０Ｂ間の基準線であり、ｘ_ｌは第１画像３２０ａ上の特徴点であり、ｘ_ｒは、ｘ_ｌに対応する一致している点である。修正された焦点距離ｆの計算は、図８を参照して説明される。ここで、特徴点ｘ_ｌおよびｘ_ｒは、図１０を参照して上記にてより詳細に述べられているやり方で選択され得る。いくつかの実施形態において、ｘ_ｌおよびｘ_ｒは、最小被写体距離を有する、および／または最大被写体距離を有する点から選択され得る。好ましくは、ｘ_ｌおよびｘ_ｒは、平均的な被写体距離を有する点から選択され得る。平均的な被写体距離は、算術平均、幾何平均、メジアン、および／または最頻値を決定することを含むがこれらに限定されない任意の従来のやり方で決定され得る。好ましい実施形態において、マイクロレンズアレイ１０２上で利用可能な２つの最も近いレンズ３１０ａ、３１０ｂが、最短の基準線Ｔを提供するよう選択される。

検出範囲（ＺｍｉｎからＺｍａｘ）が推定されるとき、基準線Ｔは予め定められた視差ｄ、修正された焦点距離ｆ、および検出範囲（ＺｍｉｎからＺｍａｘ）に基づき計算され得る。基準線Ｔを計算するために、９５６で、第１レンズ３１０ａおよび第２レンズ３１０ｂの選択を取得するのに以下の数式が適用され得る。

数式（８）
ここで、ｄは、第１レンズ３１０ａおよび第２レンズ３１０ｂにより生成される視差であり、Ｚは被写体距離であり、ｆは、第１レンズ３１０ａおよび第２レンズ３１０ｂの修正された焦点距離である。いくつかの好ましい実施形態において、ｄは、１０またはそれより多くのの画素であるよう選択される。いくつかの他の実施形態において、被写体距離Ｚは、上記にて計算された最小被写体距離Ｚｍｉｎであり得る。好ましい実施形態において、基準線Ｔは、数式８において条件ｄ＞１０が満たされつつ、マイクロレンズアレイの任意の２つのレンズによる最小である利用可能な距離として選択される。２つのレンズ３１０ａ、３１０ｂの最初の選択の後、異なる複数のレンズ１０２Ａを選択することにより視差が大きく、または小さくされ得る。好ましい実施形態において、視差は大きくさえすればよい。

図１２は、同時位置推定および地図生成（ＳＬＡＭ）を実行する方法８００の例示的実施形態を示す。図１２において、８１０で、（図１に示される）立体撮像装置１００が複数の画像の２つの立体フレームを取得する。２つのフレームは、図１から図１１を参照して上記にて説明された複数の方法の何れかに従うことを含む任意の適切なやり方で取得され得る。８２０で、関心対象の被写体１９８の被写体距離Ｚが計算され得る。被写体距離Ｚは、図１から図１１を参照して上記にて説明された複数の方法の何れかに従うことを含む任意の適切なやり方で計算され得る。８３０で、第１および第２フレーム上の複数の特徴点のマッチングを行うことにより２つのフレームのマッチングが行われる。８４０で、取得された複数のフレームを用いて、３つの並進移動および３つの回転における６つの動きが推定される。複数の回転は、回転データを得る慣性測定ユニット（ＩＭＵ）１５０により取得され得、複数の並進は、回転データに基づき計算される。

複数の回転および複数の並進が取得されたとき、以下のセクションに説明されるように、８５０のように複数の測定値が複数のフレームに適用される。また８５０で、画像の次のフレームが取得され、システムは、新たに取得されたフレームを計算するために処理を繰り返す。処理は、途切れのない地図生成を実現するために何度も継続される。

図１３は、（図１２に示される）方法８００の代替的実施形態を示す。図１２に示されるように、８１１で、２つの立体フレーム、１つの第１立体フレームおよび第２立体フレームが、図１から図１１を参照して説明されている複数の方法の何れかにより取得される。図１から図１１を参照して説明されるように、複数の立体フレームは、複数の立体点から成り、それらの点のそれぞれは、ｘ、ｙおよびｚの座標値により表される。本明細書に説明されている２つのフレームは、（図１に示される）立体撮像装置１００の移動経路と共に、異なる複数の時点において取得される。

８３１における第１フレームおよび第２フレームのマッチングは２つのステップから成る。８３１の第１ステップとして、８３２で、第１フレーム｛Ｐ_１，Ｐ_２，Ｐ_３…，Ｐ_ｎ｝に基づき立体点クラウドが取得される。各Ｐは、第１フレームの特徴点である。ｘ−ｙ面において、立体点クラウドは、

により表され得る。取得される特徴点の数は、処理速度、フレームのサイズ、フレームの解像度、並びに、コントローラ１２０の計算能力等に基づき異なる。本明細書に開示される典型的な実施形態において、例として点の数は、１００から２００の範囲内であり得る。

８３１の複数のフレームのマッチングの第２ステップとして、８３４で、第２投射アレイが第２フレーム

において計算される。第２投射アレイの点

のそれぞれは、ｘ−ｙ面に投射された、第１フレームの点クラウドの点Ｐ_ｊまたは

に対応する一致している点を表す。クラウドアレイ｛Ｐ_１，Ｐ_２，Ｐ_３…，Ｐ_ｎ｝の全ての点が第２フレームに対してマッチングが行われた場合、第２投射アレイのサイズは、クラウドアレイのサイズと同じであり得る。しかし、殆どの場合、全ての点が第２フレームに対してマッチングが行われ得るわけではないので、第２投射アレイのサイズは、クラウドアレイ｛Ｐ_１，Ｐ_２，Ｐ_３…，Ｐ_ｎ｝のサイズ未満である。第１フレームの点クラウドの第２フレームに対するマッチングは、図９を参照して説明されている、２つの点の類似性を決定するのに３×３画素が比較される方法により達成され得る。

次に、８４１で、第１立体フレームに対する第２立体フレームの動きが測定される。８４１は３つのステップから成る。８４２で、ＩＭＵ１５０は、複数の回転測定値を測定するよう構成され、それらはコントローラ１２０に渡される。複数の回転測定値は、３次元アレイＲにより表される。回転測定値アレイＲにより、第１フレームの点クラウドアレイと第２フレームの投射された点アレイとの間の関係は

数式（９）
として表され得、ここで、Ｒは、複数の回転測定値を表す３次元アレイであり、Ｐｊは、第１フレームの立体点であり、Ｔは、計算されることになる第２フレームの並進の３次元アレイを表し、μは、因数としての働きをする乱数である。

ＩＭＵ１５０により測定される相対的な回転アレイの的確性を保証すべく、第１フレームが撮像された時点と第２フレームが撮像された時点との間の間隔は比較的短い。第１フレームおよび第２フレーム間の間隔は通常、実際の用途の要求に依存して、２０分の１から６０分の１秒の範囲内であり得る。

数式９には３つの知られていない値（Ｔｘ，Ｔｙ，Ｔｚ）がある。ゆえに、数学の原理によると、８４４でそれら３つの知られていない値を有するアレイＴを一緒に解くには３つの数式が必要とされる。しかし、投射された複数の点のそれぞれは、ｘ_ｉおよびｙ_ｉにおいて２つの値のみを有する。したがて、Ｔにおける３つの知られていない値を解くために、２つのそのような点に関して利用可能な４つの数式のうち３つの数式を組み合わせる必要がある。

現実的には、第１立体フレームと第２立体フレームとの間の複数の点のマッチングにおけるエラーおよび／または不的確性が原因となり、計算されたＴが的確ではないかもしれない。８４６で、計算された並進アレイＴが数式９に導入され、数式において定義されている関係に適合する点の数を決定するよう計算が行われる。そして、８４４でＴを解くのに他の一対の点が用いられ得、それはその後、８４６で数式９の関係に適合する点の数を決定するよう計算するのに用いられる。この処理は予め定められた数の複数の対の点に関して繰り返され、その結果として、各Ｔの数式９に適合する点の数と共に予め定められた数の複数のＴが得られる。

５４８で、適合する複数の点の複数の数が比較され、適合する点の数が最も多いＴが選択される。

８５１で、計算されたＴおよび測定されたＲを用いて、修正された数式９

数式（１０）を用いて第２立体フレームに関する立体点クラウドを取得し得る。

８６１で、第２立体フレームの計算された立体点クラウドが、第１立体フレームの立体点クラウドと融合される。第１立体フレームは第２立体フレームと置き換えられ、新たな第２立体フレームが次の時点において取得される。図１３を参照して説明された処理が何度も繰り返され、途切れない位置推定および地図生成が実行され得る。

説明されている複数の実施形態は、様々な複数の変更及び代替的な複数の形態の対象であり得るものであり、これらの複数の具体例は、複数の図面において、例として示されたものであり、本明細書において詳細に説明されている。しかしながら、説明されている複数の実施形態は、開示された特定の複数の形態または複数の方法に限定されるものではなく、反対に、本開示は、全ての変更、均等物及び代替物を包含するものであることが理解されるべきである。
［項目１］
マイクロレンズアレイを有する立体画像化システムの基準線を設定する方法であって、
前記マイクロレンズアレイと関心対象の被写体との間の被写体距離を取得するステップと、
前記被写体距離を取得する前記ステップに基づき前記マイクロレンズアレイから２つのレンズを動的に選択するステップと
を備える方法。
［項目２］
前記２つのレンズを動的に選択する前記ステップは、前記マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するステップを有する、項目１に記載の方法。
［項目３］
前記被写体距離を取得する前記ステップは、前記マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離を繰り返し取得するステップを有し、
前記マイクロレンズアレイの複数のレンズから前記第１レンズおよび前記第２レンズを選択する前記ステップは、前記変化する被写体距離を繰り返し取得する前記ステップに基づく、項目２に記載の方法。
［項目４］
前記第１レンズおよび前記第２レンズを選択する前記ステップに基づき前記基準線を設定するステップをさらに備える、項目２または項目３に記載の方法。
［項目５］
前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離に基づき前記基準線を自動的に調節するステップをさらに備える、項目４に記載の方法。
［項目６］
前記被写体距離を取得する前記ステップは、
前記第１レンズを介して前記関心対象の被写体の第１画像を取得するステップと、
前記第２レンズを介して前記関心対象の被写体の第２画像を取得するステップと、
前記第１画像と前記第２画像との間の両眼視差を決定するステップと
を有し、
前記被写体距離を取得する前記ステップは、前記両眼視差を決定する前記ステップに基づき前記被写体距離を計算するステップを有する、項目２に記載の方法。
［項目７］
前記被写体距離を取得する前記ステップは、前記両眼視差を決定する前記ステップの前に前記第１レンズおよび前記第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するステップをさらに有する、項目６に記載の方法。
［項目８］
前記被写体距離を取得する前記ステップは、
前記第１画像上の複数の特徴点を取得するステップと、
前記第１画像の前記複数の特徴点の、前記第２画像の複数の点とのマッチングを行うステップと
を有する、項目６または項目７に記載の方法。
［項目９］
前記複数の特徴点は、前記第１画像または前記第２画像のうち一方の複数の画素を含む、項目８に記載の方法。
［項目１０］
前記両眼視差を決定する前記ステップは、少なくとも５画素および画像の幅の５分の１またはそれより短い前記両眼視差を決定するステップを含む、項目８または項目９に記載の方法。
［項目１１］
前記複数の特徴点のマッチングを行う前記ステップは、
前記第２画像を走査して、前記第１画像の選択された特徴点に一致している前記第２画像の点を識別するステップと、
前記第１画像の前記選択された特徴点と前記点との間の類似性を計算するステップと
を含む、項目８から１０の何れか一項に記載の方法。
［項目１２］
前記類似性を計算する前記ステップは、前記第１画像の前記選択された特徴点を、前記第２画像上の前記点を中心とした３×３画素のエリアと比較するステップを含む、項目１１に記載の方法。
［項目１３］
３×３画素のエリアを比較する前記ステップは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するステップを含む、項目１２に記載の方法。
［項目１４］
前記被写体距離を取得する前記ステップは、
前記マイクロレンズアレイと前記複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定するステップと、
複数の前記特徴距離を用いて前記被写体距離を決定するステップと
をさらに有する、前記項目の何れか一項に記載の方法。
［項目１５］
前記被写体距離を決定する前記ステップは、前記複数の特徴距離の平均に基づき前記被写体距離を取得するステップを含む、項目１４に記載の方法。
［項目１６］
前記被写体距離を決定する前記ステップは、前記複数の特徴点のうち１または複数を選択するステップと、選択された前記特徴点の前記特徴距離に基づき前記被写体距離を取得するステップとを含む、項目１４または項目１５に記載の方法。
［項目１７］
前記特徴点を選択する前記ステップは、前記マイクロレンズアレイに最も近い予め定められた割合の複数の特徴点を選択するステップと、前記マイクロレンズアレイから最も遠い選択された前記特徴点の前記特徴距離として前記被写体距離を取得するステップとを含む、項目１６に記載の方法。
［項目１８］
前記２つのレンズを動的に選択する前記ステップは、
前記マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、前記被写体距離の検出範囲を推定するステップと、
前記被写体距離の推定された前記検出範囲に基づき基準線範囲を計算するステップと、
予め定められたレベルより大きい視差を確かなものにしながら最小基準線により選択するステップと
を有する、前記項目の何れか一項に記載の方法。
［項目１９］
前記第１レンズおよび前記第２レンズを選択する前記ステップは、
Ｚ＝ｆ×（Ｔ／（ｘ _ｌ −ｘ _ｒ ））［Ｚは前記被写体距離であり、ｆは、前記複数の選択されたレンズの前記修正された焦点距離であり、Ｔは、２つの最も近いレンズ間の前記基準線であり、（ｘ _ｌ −ｘ _ｒ ）は、２つの一致した点の視差である］により前記被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定するステップと、
Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘ _ｌ −ｘ _ｒ ）は前記視差である］により利用可能な複数の基準線の範囲を計算するステップと、
前記視差ｄ＞１０の関係が満たされることを確保しながら最小基準線Ｔにより前記第１レンズおよび前記第２レンズを選択するステップと
を含む、項目２から１８の何れか一項に記載の方法。
［項目２０］
前記第１レンズおよび前記第２レンズを選択する前記ステップは、前記第１レンズの視野が少なくとも５０％だけ前記第２レンズの視野と重なるまで前記基準線を大きくするステップを含む、項目２から１９の何れか一項に記載の方法。
［項目２１］
前記基準線の前記自動調節の後に前記立体画像化システムの複数の外部パラメータを較正するステップをさらに備える、項目５に記載の方法。
［項目２２］
較正する前記ステップは、前記立体画像化システムの並進に関する外部パラメータおよび／または回転に関する外部パラメータのうち少なくとも１つを較正するステップを有する、項目２１に記載の方法。
［項目２３］
較正する前記ステップは、前記２つのレンズを選択する前記段階に従って、複数の前記並進に関する外部パラメータを最初に較正するステップを有する、項目２２に記載の方法。
［項目２４］
較正する前記ステップは、最初に較正する前記段階の後に、前記外部パラメータを較正して前記外部パラメータを最適化するステップをさらに有する、項目２３に記載の方法。
［項目２５］
前記立体画像化システムは、モバイルプラットフォームに乗せて設置され、自動的に調節する前記ステップは、前記モバイルプラットフォームの移動モードに依存する、項目５から２３の何れか一項に記載の方法。
［項目２６］
前記モバイルプラットフォームは無人航空機（ＵＡＶ）であり、前記移動モードは前記ＵＡＶの飛行モードである、項目２４に記載の方法。
［項目２７］
項目１から２６の何れか一項に従って自動的な基準線調節を実行するよう構成された、立体画像化システム。
［項目２８］
項目１から２６の何れか一項に従って、マイクロレンズアレイを有する立体画像化システムの基準線を自動的に調節するための複数の命令を備える、コンピュータプログラムプロダクト。
［項目２９］
個別に、または１または複数の他のレンズとの組み合わせで画像を取得するようそれぞれが構成された複数のレンズを有するマイクロレンズアレイと、
前記マイクロレンズアレイと関心対象の被写体との間の取得された被写体距離に基づき２つのレンズを動的に選択するよう構成されたコントローラと
を備える、立体画像化システムの基準線を設定するための装置。
［項目３０］
前記コントローラは、前記マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するよう構成される、項目２９に記載の装置。
［項目３１］
前記コントローラは、前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離を取得し、前記変化する被写体距離の繰り返しの前記取得に基づき、前記マイクロレンズアレイの複数のレンズから前記第１レンズおよび前記第２レンズを選択するよう構成される、項目３０に記載の装置。
［項目３２］
前記コントローラは、前記第１レンズおよび前記第２レンズに基づき前記基準線を設定するよう構成される、項目３１に記載の装置。
［項目３３］
前記コントローラは、前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離に基づき前記基準線を動的に調節するよう構成される、項目３２に記載の装置。
［項目３４］
前記コントローラは、
前記第１レンズを介して前記関心対象の被写体の第１画像を取得し、
前記第２レンズを介して前記関心対象の被写体の第２画像を取得し、
前記第１画像と前記第２画像との間の両眼視差を決定し、
前記両眼視差の前記決定に基づき前記被写体距離を計算する
ことにより、前記被写体距離を取得するよう構成される、項目３１から３３の何れか一項に記載の装置。
［項目３５］
前記コントローラは、前記両眼視差の前記決定の前に前記第１レンズおよび前記第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するよう構成される、項目３４に記載の装置。
［項目３６］
前記コントローラは、前記第１画像上の複数の特徴点を取得し、前記第１画像の前記複数の特徴点の、前記第２画像の複数の点とのマッチングを行うよう構成される、項目３４または３５に記載の装置。
［項目３７］
前記複数の特徴点は、前記第１画像または前記第２画像のうち一方の複数の画素を含む、項目３６に記載の装置。
［項目３８］
前記コントローラは、少なくとも５画素および画像の幅の５分の１またはそれより短い前記両眼視差を決定するよう構成される、項目３６または３７に記載の装置。
［項目３９］
前記コントローラは、前記第２画像を走査して、前記第１画像の選択された特徴点に一致する前記第２画像の点を識別し、前記第１画像の前記選択された特徴点と前記点との間の類似性を計算するよう構成される、項目３８に記載の装置。
［項目４０］
前記コントローラは、前記第１画像の各選択された特徴点を、前記第２画像上の前記点を中心とした３×３画素のエリアと比較するよう構成される、項目３９に記載の装置。
［項目４１］
前記コントローラは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するよう構成される、項目４０に記載の装置。
［項目４２］
前記コントローラは、前記マイクロレンズアレイと前記複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定し、複数の前記特徴距離を用いて前記被写体距離を決定するよう構成される、項目３６から４１の何れか一項に記載の装置。
［項目４３］
前記被写体距離は、前記複数の特徴距離の平均である、項目４２に記載の装置。
［項目４４］
前記コントローラは、前記複数の特徴点のうち１または複数を選択し、選択された前記特徴点の前記特徴距離に基づき前記被写体距離を取得するよう構成される、項目４２または４３に記載の装置。
［項目４５］
前記複数の特徴点は、前記マイクロレンズアレイに最も近い、または前記マイクロレンズアレイから最も遠い予め定められた割合の複数の特徴点が選択される、項目４４に記載の装置。
［項目４６］
前記コントローラは、
前記マイクロレンズアレイのために利用可能な最小基準線と、修正された焦点距離と、予め定められた視差範囲とに基づき、前記被写体距離の検出範囲を推定し、
前記被写体距離の推定された前記検出範囲に基づき基準線範囲を計算し、
視差が予め定められたレベルより大きいことを確保しながら最小基準線により選択する
ことにより、前記第１レンズおよび前記第２レンズを選択するよう構成される、項目３０から４５の何れか一項に記載の装置。
［項目４７］
前記第１レンズおよび前記第２レンズは、
Ｚ＝ｆ×（Ｔ／（ｘ _ｌ −ｘ _ｒ ））［Ｚは前記被写体距離であり、ｆは、選択された前記第１レンズおよび前記第２レンズの前記修正された焦点距離であり、Ｔは、２つの最も近いマイクロレンズ間の前記基準線であり、（ｘ _ｌ −ｘ _ｒ ）は、２つの一致した点の視差である］により前記被写体距離の検出範囲（ＺｍｉｎからＺｍａｘ）を推定し、
Ｔ＝Ｚｄ／ｆ［ｄ＝（ｘ _ｌ −ｘ _ｒ ）は前記視差である］により利用可能な複数の基準線の範囲を計算し、
前記視差ｄ＞１０の関係を確かなものにしながら最小基準線Ｔにより前記第１レンズおよび前記第２レンズを選択する
ことにより選択される、項目３０から４６の何れか一項に記載の装置。
［項目４８］
前記コントローラは、前記第１レンズの視野が少なくとも５０％だけ前記第２レンズの視野と重なるまで前記基準線を大きくするよう構成される、項目３０から４７の何れか一項に記載の装置。
［項目４９］
前記コントローラは、前記基準線の前記調節の後に前記立体画像化システムの複数の外部パラメータを較正するよう構成される、項目３３から４８の何れか一項に記載の装置。
［項目５０］
前記複数の外部パラメータは、前記立体画像化システムの並進に関する外部パラメータおよび／または回転に関する外部パラメータのうち少なくとも１つを含む、項目４９に記載の装置。
［項目５１］
複数の前記並進に関する外部パラメータは、前記第１レンズおよび前記第２レンズに従って最初に較正される、項目５０に記載の装置。
［項目５２］
前記コントローラは、最初の前記較正の後に前記複数の外部パラメータを較正して、前記外部パラメータを最適化するよう構成される、項目５１に記載の装置。
［項目５３］
前記立体画像化システムは無人航空機（ＵＡＶ）であり、前記基準線の前記調節は、前記ＵＡＶの飛行モードに依存する、項目５２に記載の装置。
［項目５４］
前記立体画像化システムは赤外線画像化システムである、項目３０から５３の何れか一項に記載の装置。
［項目５５］
前記立体画像化システムはＸ線画像化システムである、項目３０から５４の何れか一項に記載の装置。
［項目５６］
マイクロレンズアレイを有する撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行する方法であって、
項目２から２６の何れか一項に記載の方法を通じて前記マイクロレンズアレイにより第１立体フレームおよび第２立体フレームを取得する段階と、
第１立体フレームに対する前記第２フレームの複数の回転を慣性測定ユニットＩＭＵにより測定して回転データを生成する段階と、
前記回転データを前記第１立体フレームおよび前記第２立体フレームと組み合わることにより前記第１立体フレームおよび前記第２立体フレームのマッチングを行う段階と
を備え、
前記第１立体フレームは、予め定められた割合だけ前記第２立体フレームと重なる、方法。
［項目５７］
前記第１立体フレームおよび前記第２立体フレームを取得する前記段階は、異なる複数の時点において前記第１立体フレームおよび前記第２立体フレームを取得する段階を有する、項目５６に記載の同時位置推定および地図生成のための方法。
［項目５８］
異なる複数の時点において前記第１立体フレームおよび前記第２立体フレームを取得する前記段階は、６０分の１秒またはそれより長い、および２０分の１秒またはそれより短い間隔で前記第１立体フレームおよび前記第２立体フレームを取得する段階を含む、項目５７に記載の同時位置推定および地図生成のための方法。
［項目５９］
前記第１立体フレームに基づき立体点クラウドを取得する段階をさらに備え、
前記立体点クラウドは複数の立体特徴点のアレイ｛Ｐ _１ ，Ｐ _２ ，Ｐ _３… ，Ｐ _ｎ ｝である、項目５８に記載の同時位置推定および地図生成のための方法。
［項目６０］
前記立体点クラウドに基づきｘ−ｙ面における第２投射アレイ

を取得する段階をさらに備える、項目５９に記載の同時位置推定および地図生成のための方法。
［項目６１］
前記第２投射アレイを取得する前記段階は、
前記立体点クラウドに基づきｘ−ｙ面における第１投射アレイ

を取得する段階と、
項目１１から１３の何れか一項に記載の方法を用いて、前記第２立体画像に対して前記第１投射アレイの複数の点のマッチングを行って、前記第２投射アレイ

を生成する段階と
を有する、項目６０に記載の同時位置推定および地図生成のための方法。
［項目６２］
前記回転データ、前記立体点クラウド、および前記第２投射アレイに基づき並進アレイＴを計算する段階をさらに備える、項目６１に記載の同時位置推定および地図生成のための方法。
［項目６３］
前記並進アレイＴを計算する前記段階は、関係

［Ｒは、複数の回転測定値のアレイであり、Ｐｊは立体点であり、Ｔは、計算されることになる並進アレイを表し、μは乱数である］を適用する段階を有する、項目６２に記載の同時位置推定および地図生成のための方法。
［項目６４］

を適用する前記段階は、前記立体点クラウドから選択される少なくとも２つの点、およびそれらの、前記第２投射アレイの一致している２つの点に関して一式の数式を解くことによりＴを計算する段階をさらに含む、項目６３に記載の同時位置推定および地図生成のための方法。
［項目６５］
前記立体点クラウドから選択される複数の点、およびそれらの、前記第２投射アレイの対応する複数の投射点を用いて前記並進アレイＴを数式

へ導入することによりＴを検証して、一致している複数の点の計数を得る段階と、
一致している複数の点の最大計数を有する並進アレイＴを選択された並進アレイＴとして選択する段階と
をさらに備える、項目６２から６４の何れか一項に記載の同時位置推定および地図生成のための方法。
［項目６６］
前記回転データ、前記選択された並進Ｔ、および前記関係

を用いて前記第２フレームに関して立体点クラウドを計算する段階をさらに備える、項目６５に記載の同時位置推定および地図生成のための方法。
［項目６７］
項目２から２６の何れか一項に記載の方法を通じて、前記マイクロレンズアレイにより他の立体フレームを取得する段階と、
項目５６から６６に規定される複数の前記段階を、前記第２立体フレームを前記第１立体フレームとし、新たに取得された前記立体フレームを前記第２立体フレームとして繰り返す段階と
をさらに備える、項目５６から６６の何れか一項に記載の同時位置推定および地図生成のための方法。
［項目６８］
項目５６から６７の何れか一項に従って自動位置推定および地図生成を実行するよう構成された同時位置推定および地図生成システム。
［項目６９］
マイクロレンズアレイを有する立体画像化システムにより、項目５６から６７の何れか一項に従って同時位置推定および地図生成を自動的に実行するための複数の命令を備える、コンピュータプログラムプロダクト。
［項目７０］
マイクロレンズアレイを有する撮像装置により同時位置推定および地図生成（ＳＬＡＭ）を実行するための装置であって、
第１時点における第１立体フレームに対する第２時点において取得される第２立体フレームの複数の回転を測定するよう構成された慣性測定ユニットＩＭＵと、
項目２から２６の何れか一項の方法を通じて、前記マイクロレンズアレイにより前記第１立体フレームおよび前記第２立体フレームを取得し、前記ＩＭＵから前記第２立体フレームの回転データを取得し、前記回転データを前記第１立体フレームおよび前記第２立体フレームと組み合わせることにより前記第１立体フレームおよび前記第２立体フレームのマッチングを行うよう構成されたコントローラと
を備え、
前記第１立体フレームは、予め定められた割合だけ前記第２立体フレームと重なる、装置。
［項目７１］
前記第１立体フレームおよび前記第２立体フレームは、異なる複数の時点において取得される、項目７０に記載の同時位置推定および地図生成のための装置。
［項目７２］
前記異なる複数の時点間の間隔は、６０分の１秒またはそれより長く、および２０分の１秒またはそれより短い、項目７１に記載の同時位置推定および地図生成のための装置。
［項目７３］
前記コントローラはさらに、前記第１立体フレームに基づき立体点クラウドを取得するよう構成され、
前記立体点クラウドは、複数の立体特徴点のアレイ｛Ｐ _１ ，Ｐ _２ ，Ｐ _３… ，Ｐ _ｎ ｝である、項目７２に記載の同時位置推定および地図生成のための装置。
［項目７４］
前記コントローラはさらに、前記立体点クラウドに基づきｘ−ｙ面における第２投射アレイ

を取得するよう構成される、項目７３に記載の同時位置推定および地図生成のための装置。
［項目７５］
前記コントローラは、
前記立体点クラウドに基づきｘ−ｙ面における第１投射アレイ

を取得し、
項目１１から１３の何れか一項に記載の方法を用いて、前記第２立体画像に対して前記第１投射アレイの複数の点のマッチングを行って、前記第２投射アレイ

を生成する
ことにより前記第２投射アレイを取得するよう構成される、項目７４に記載の同時位置推定および地図生成のための装置。
［項目７６］
前記コントローラはさらに、前記回転データ、前記立体点クラウド、および前記第２投射アレイに基づき並進アレイＴを計算するよう構成される、項目７５に記載の同時位置推定および地図生成のための装置。
［項目７７］
前記並進アレイＴは、関係

［Ｒは、複数の回転測定値のアレイであり、Ｐｊは、前記立体点クラウドの立体点であり、Ｔは、計算されることになる前記並進アレイを表し、μは乱数である］を適用することにより計算される、項目７６に記載の同時位置推定および地図生成のための装置。
［項目７８］
前記並進アレイＴは、前記立体点クラウドから選択される少なくとも２つの点、およびそれらの、前記第２投射アレイの一致している２つの点に関して一式の数式を解くことにより計算される、項目７７に記載の同時位置推定および地図生成のための装置。
［項目７９］
前記コントローラは、
前記立体点クラウドから選択される複数の点、およびそれらの、前記第２投射アレイの対応する複数の投射点を用いて前記並進アレイＴを数式

へ導入することによりＴを検証して、一致している複数の点の計数を得、
一致している複数の点の数が最も多い並進アレイＴを選択された並進アレイＴとして選択するよう構成される、項目７０から７８の何れか一項に記載の同時位置推定および地図生成のための装置。
［項目８０］
前記コントローラは、前記回転データ、前記選択された並進Ｔ、および前記関係

を用いて前記第２フレームに関して立体点クラウドを計算するよう構成される、項目７９に記載の同時位置推定および地図生成のための装置。
［項目８１］
前記コントローラは、前記マイクロレンズアレイにより、項目２から２６の何れか一項に記載の方法を通じて他の立体フレームを取得し、前記第２立体フレームを前記第１立体フレームとし、新たに取得された前記立体フレームを前記第２立体フレームとするよう構成される、項目７０から８０の何れか一項に記載の同時位置推定および地図生成のための装置。

Claims (51)

1. マイクロレンズアレイを有する立体画像化システムの基準線を設定する方法であって、
   前記マイクロレンズアレイと関心対象の被写体との間の被写体距離を取得するステップと、
   前記被写体距離を取得する前記ステップに基づき、前記マイクロレンズアレイから２つのレンズを動的に選択するステップと
   を含み、
   前記マイクロレンズアレイから２つのレンズを動的に選択するステップは、
   前記被写体距離及び２つのレンズの修正された焦点距離に基づき、予め定められたレベルより大きい視差が得られ、かつ、基準線が最小となる２つのレンズを、前記マイクロレンズアレイから選択するステップ
   を有する、
   方法。
2. マイクロレンズアレイを有する立体画像化システムの基準線を設定する方法であって、
   前記マイクロレンズアレイと関心対象の被写体との間の被写体距離を取得するステップと、
   前記被写体距離を取得する前記ステップに基づき、前記マイクロレンズアレイから２つのレンズを動的に選択するステップと
   を含み、
   前記マイクロレンズアレイから２つのレンズを動的に選択するステップは、
   Ｔ＝Ｚｄ／ｆ［Ｚは前記被写体距離であり、ｆは２つのレンズの修正された焦点距離であり、ｄは視差であり、Ｔは２つのレンズの基準線である］に基づいて、ｄ＞１０を満たし、かつ、Ｔが最小となる２つのレンズを、前記マイクロレンズアレイから選択するステップ
   を有する、方法。
3. 前記２つのレンズを動的に選択するステップは、前記マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択するステップを有する、請求項１または請求項２に記載の方法。
4. 前記被写体距離を取得するステップは、前記マイクロレンズアレイと関心対象の被写体との間の変化する被写体距離を繰り返し取得するステップを有し、
   前記第１レンズおよび前記第２レンズを選択するステップは、前記変化する被写体距離を繰り返し取得する前記ステップに基づき、前記マイクロレンズアレイの複数のレンズから前記第１レンズおよび前記第２レンズを選択する、請求項３に記載の方法。
5. 前記第１レンズおよび前記第２レンズを選択するステップに基づき前記基準線を設定するステップをさらに含む、請求項３または請求項４に記載の方法。
6. 前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離に基づき、前記基準線を自動的に調節するステップをさらに含む、請求項５に記載の方法。
7. 前記被写体距離を取得するステップは、
   前記第１レンズを介して前記関心対象の被写体の第１画像を取得するステップと、
   前記第２レンズを介して前記関心対象の被写体の第２画像を取得するステップと、
   前記第１画像と前記第２画像との間の両眼視差を決定するステップと
   を有し、
   前記被写体距離を取得するステップは、前記両眼視差を決定するステップに基づき前記被写体距離を計算するステップを有する、請求項４から請求項６の何れか一項に記載の方法。
8. 前記被写体距離を取得する前記ステップは、前記両眼視差を決定する前記ステップの前に前記第１レンズおよび前記第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算するステップをさらに有する、請求項７に記載の方法。
9. 前記被写体距離を取得するステップは、
   前記第１画像上の複数の特徴点を取得するステップと、
   前記第１画像の前記複数の特徴点の、前記第２画像の複数の点とのマッチングを行うステップと
   を有する、請求項７または請求項８に記載の方法。
10. 前記複数の特徴点は、前記第１画像または前記第２画像のうち一方の複数の画素を含む、請求項９に記載の方法。
11. 前記両眼視差を決定するステップは、少なくとも５画素および画像の幅の５分の１またはそれより短い前記両眼視差を決定するステップを含む、請求項９または請求項１０に記載の方法。
12. 前記複数の特徴点のマッチングを行うステップは、
    前記第２画像を走査して、前記第１画像の選択された特徴点に一致している前記第２画像の点を識別するステップと、
    前記第１画像の前記選択された特徴点と前記点との間の類似性を計算するステップと
    を含む、請求項９から請求項１１の何れか一項に記載の方法。
13. 前記類似性を計算する前記ステップは、前記第１画像の前記選択された特徴点を、前記第２画像上の前記点を中心とした３×３画素のエリアと比較するステップを含む、請求項１２に記載の方法。
14. 前記３×３画素のエリアを比較するステップは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較するステップを含む、請求項１３に記載の方法。
15. 前記被写体距離を取得するステップは、
    前記マイクロレンズアレイと前記複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定するステップと、
    複数の前記特徴距離を用いて前記被写体距離を決定するステップと
    をさらに有する、請求項９から請求項１４の何れか一項に記載の方法。
16. 前記被写体距離を決定するステップは、前記複数の特徴距離の平均に基づき前記被写体距離を取得するステップを含む、請求項１５に記載の方法。
17. 前記被写体距離を決定するステップは、前記複数の特徴点のうち１または複数を選択するステップと、選択された前記１または複数の特徴点の前記特徴距離に基づき前記被写体距離を取得するステップとを含む、請求項１５または請求項１６に記載の方法。
18. 前記１または複数の特徴点を選択するステップは、前記マイクロレンズアレイに最も近い予め定められた割合の複数の特徴点を選択するステップと、前記マイクロレンズアレイから最も遠い選択された特徴点の前記特徴距離として前記被写体距離を取得するステップとを含む、請求項１７に記載の方法。
19. 前記基準線を前記自動的に調節するステップの後に前記立体画像化システムの複数の外部パラメータを較正するステップをさらに含む、請求項６に記載の方法。
20. 前記較正するステップは、前記立体画像化システムの並進に関する外部パラメータおよび回転に関する外部パラメータのうち少なくとも１つを較正するステップを有する、請求項１９に記載の方法。
21. 前記較正するステップは、複数の前記並進に関する外部パラメータを最初に較正するステップを有する、請求項２０に記載の方法。
22. 前記較正するステップの後には、前記外部パラメータを較正して前記外部パラメータを最適化するステップをさらに有する、請求項２１に記載の方法。
23. 前記立体画像化システムは、モバイルプラットフォームに乗せて設置され、自動的に調節する前記ステップは、前記モバイルプラットフォームの移動モードに依存する、請求項６、請求項１９から請求項２２の何れか一項に記載の方法。
24. 前記モバイルプラットフォームは無人航空機（ＵＡＶ）であり、前記移動モードは前記ＵＡＶの飛行モードである、請求項２３に記載の方法。
25. 請求項１から請求項２４の何れか一項に記載の方法に従って自動的な基準線調節を実行するよう構成された、立体画像化システム。
26. 請求項１から請求項２４の何れか一項に記載の方法に従って、マイクロレンズアレイを有する立体画像化システムの基準線を自動的に調節するための複数の命令を備える、コンピュータプログラム。
27. １または複数の他のレンズとの組み合わせで画像を取得する複数のレンズを有するマイクロレンズアレイと、
    前記マイクロレンズアレイと関心対象の被写体との間の取得された被写体距離に基づき２つのレンズを動的に選択するコントローラと
    を備え、
    前記コントローラは、前記被写体距離及び２つのレンズの修正された焦点距離に基づき、予め定められたレベルより大きい視差が得られ、かつ、基準線が最小となる２つのレンズを、前記マイクロレンズアレイから選択する、
    立体画像化システムの基準線を設定する装置。
28. １または複数の他のレンズとの組み合わせで画像を取得する複数のレンズを有するマイクロレンズアレイと、
    前記マイクロレンズアレイと関心対象の被写体との間の取得された被写体距離に基づき２つのレンズを選択するコントローラと
    を備え、
    前記コントローラは、Ｔ＝Ｚｄ／ｆ［Ｚは前記被写体距離であり、ｆは２つのレンズの修正された焦点距離であり、ｄは視差であり、Ｔは２つのレンズの基準線である］に基づいて、ｄ＞１０を満たし、かつ、Ｔが最小となる２つのレンズを、前記マイクロレンズアレイから選択する、
    立体画像化システムの基準線を設定する装置。
29. 前記コントローラは、前記マイクロレンズアレイの複数のレンズから第１レンズおよび第２レンズを選択する、請求項２７または請求項２８に記載の装置。
30. 前記コントローラは、前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離を取得し、前記変化する被写体距離の繰り返しの前記取得に基づき、前記マイクロレンズアレイの複数のレンズから前記第１レンズおよび前記第２レンズを選択する、請求項２９に記載の装置。
31. 前記コントローラは、前記第１レンズおよび前記第２レンズに基づき前記基準線を設定する、請求項２９または請求項３０に記載の装置。
32. 前記コントローラは、前記マイクロレンズアレイと前記関心対象の被写体との間の変化する被写体距離に基づき前記基準線を調節する、請求項３１に記載の装置。
33. 前記コントローラは、
    前記第１レンズを介して前記関心対象の被写体の第１画像を取得し、
    前記第２レンズを介して前記関心対象の被写体の第２画像を取得し、
    前記第１画像と前記第２画像との間の両眼視差を決定し、
    前記両眼視差の前記決定に基づき前記被写体距離を計算する
    ことにより、前記被写体距離を取得する、請求項３０から請求項３２の何れか一項に記載の装置。
34. 前記コントローラは、前記両眼視差の前記決定の前に前記第１レンズおよび前記第２レンズの複数の焦点距離に基づき、修正された焦点距離を計算する、請求項３３に記載の装置。
35. 前記コントローラは、前記第１画像上の複数の特徴点を取得し、前記第１画像の前記複数の特徴点の、前記第２画像の複数の点とのマッチングを行う、請求項３３または請求項３４に記載の装置。
36. 前記複数の特徴点は、前記第１画像または前記第２画像のうち一方の複数の画素を含む、請求項３５に記載の装置。
37. 前記コントローラは、少なくとも５画素および画像の幅の５分の１またはそれより短い前記両眼視差を決定する、請求項３５または請求項３６に記載の装置。
38. 前記コントローラは、前記第２画像を走査して、前記第１画像の選択された特徴点に一致する前記第２画像の点を識別し、前記第１画像の前記選択された特徴点と前記点との間の類似性を計算する、請求項３５から請求項３７の何れか一項に記載の装置。
39. 前記コントローラは、前記第１画像の各選択された特徴点を、前記第２画像上の前記点を中心とした３×３画素のエリアと比較する、請求項３８に記載の装置。
40. 前記コントローラは、複数のカラー画像の各画素の各色成分に関する複数の差の合計、または複数の白黒画像の各画素の複数のグレースケール値の複数の差の合計を比較する、請求項３９に記載の装置。
41. 前記コントローラは、前記マイクロレンズアレイと前記複数の特徴点のそれぞれとの間の複数のそれぞれの特徴距離を決定し、複数の前記特徴距離を用いて前記被写体距離を決定する、請求項３５から請求項４０の何れか一項に記載の装置。
42. 前記被写体距離は、前記複数の特徴距離の平均である、請求項４１に記載の装置。
43. 前記コントローラは、前記複数の特徴点のうち１または複数を選択し、選択された前記１または複数の特徴点の前記特徴距離に基づき前記被写体距離を取得する、請求項４１または請求項４２に記載の装置。
44. 前記複数の特徴点は、前記マイクロレンズアレイに最も近い、または前記マイクロレンズアレイから最も遠い予め定められた割合の複数の特徴点が選択される、請求項４３に記載の装置。
45. 前記コントローラは、前記基準線の前記調節の後に前記立体画像化システムの複数の外部パラメータを較正する、請求項３２に記載の装置。
46. 前記複数の外部パラメータは、前記立体画像化システムの並進に関する外部パラメータおよび回転に関する外部パラメータのうち少なくとも１つを含む、請求項４５に記載の装置。
47. 複数の前記並進に関する外部パラメータは、前記第１レンズおよび前記第２レンズに従って最初に較正される、請求項４６に記載の装置。
48. 前記コントローラは、最初の前記較正の後に前記複数の外部パラメータを較正して、前記外部パラメータを最適化するよう構成される、請求項４７に記載の装置。
49. 前記立体画像化システムは無人航空機（ＵＡＶ）であり、前記基準線の前記調節は、前記ＵＡＶの飛行モードに依存する、請求項３２、請求項４５から請求項４８の何れか一項に記載の装置。
50. 前記立体画像化システムは赤外線画像化システムである、請求項２７から請求項４９の何れか一項に記載の装置。
51. 前記立体画像化システムはＸ線画像化システムである、請求項２７から請求項４９の何れか一項に記載の装置。

Images