JP6648147B2

JP6648147B2 - 距離センサ

Info

Publication number: JP6648147B2
Application number: JP2017540972A
Authority: JP
Inventors: 丈夫宮沢; 昭輝木村; トマソポッジオ
Original assignee: マジックアイインコーポレイテッド
Priority date: 2014-10-24
Filing date: 2015-10-22
Publication date: 2020-02-14
Anticipated expiration: 2035-10-22
Also published as: TW201621349A; US20160117561A1; US10268906B2; EP3209523A4; EP3209523A1; CN107407553A; JP2020024234A; KR20170072319A; WO2016065130A1; JP2017532580A; CN107407553B; JP6876776B2; TWI700508B; HK1247272A1

Description

本開示は、一般的なコンピュータビジョンシステムに関し、より詳細には、車両と物体又は点との間の距離を空間内で測定するためのセンサに関する。

関連出願の相互参照
本出願は、２０１４年１０月２４日出願の米国特許仮出願第６２／０６８，２５０号及び２０１５年５月１０日出願の米国特許仮出願第６２／１５９，２８６号の利益を主張するものである。これらの出願のいずれも全体的に本願に引用して援用する。

ロボット車両及びドローンなどの無人車両は、通常、周囲環境における妨害物検出及びナビゲーションのためにコンピュータビジョンシステムを利用する。これらのコンピュータビジョンシステムは、さらに、通常、周囲環境から視覚データを取得するさまざまなセンサを使用し、コンピュータビジョンシステムは、周囲環境についての情報を集めるためにこれらのデータを処理する。例えば、１つ以上の撮像センサを介して取得されたデータは、車両から周囲環境内の特定の物体又は点までの距離を決定するために使用され得る。

１つの実施形態では、距離センサは、視野の画像を取り込むように配置された画像取り込みデバイスと、画像取り込みデバイスの第１のレンズ周りに配置された第１の複数の投影点であって、第１の複数の投影点の各々の投影点は、複数の投影ビームを視野内で異なる方向に発するように構成される、第１の複数の投影点とを含む。

別の実施形態では、物体までの距離を算出するための方法は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームの各々のビームは、視野内で異なる方向に向けられる、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームによって生成された投影パターンもまた、画像内に見ることができる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。

別の実施形態では、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに物体までの距離を算出するための動作を実行させる複数の命令を記憶する。動作は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームの各々のビームは、視野内で異なる方向に向けられる、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームによって生成された投影パターンもまた画像内に見ることができる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。

別の実施形態では、物体までの距離を算出するための方法は、複数の光点を視野上に複数の投影点から投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の光点によって形成された投影パターンもまた画像内に見ることができる、取り込むステップと、複数の光点のうち少なくとも２つ間の位置関係にしたがって物体までの距離を算出するステップであって、複数の光点のうち少なくとも２つは、複数の投影点のうち少なくとも２つの異なる投影点によって発せられる、算出するステップとを含む。

別の実施形態では、コンピュータ可読記憶デバイスは、サーバのプロセッサによって実行されたとき、プロセッサに物体までの距離を算出するための動作を実行させる複数の命令を記憶する。動作は、複数の光点を視野上に複数の投影点から投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の光点によって形成された投影パターンもまた画像内に見ることができる、取り込むステップと、複数の光点のうち少なくとも２つの間の位置関係にしたがって物体までの距離を算出するステップであって、複数の光点のうち少なくとも２つは、複数の投影点のうち少なくとも２つの異なる投影点によって発せられる、算出するステップとを含む。

本開示の教示は、添付の図に関連して以下の詳細な説明を考慮することによって容易に理解され得る。

本開示の距離センサの１つの実施形態の断面図である。図１Ａの距離センサの上面図である。図１Ａ及び１Ｂの距離センサの例示的な視野を示す図である。約３６０度の視野を有する距離センサの１つの実施形態を示す図である。センサから物体又は点までの距離を空間内で算出するための方法の流れ図である。センサから物体又は点までの距離が、算出され得る三角法技術を示す図である。本明細書に説明する機能を実行する際に使用するのに適した汎用コンピュータの高レベルブロック図である。リング形状のパターンを投影するように構成された距離センサの１つの簡易化された例を示す図である。図７Ａの距離センサによって発せられ得る投影パターンのさらに三次元の図である。傾斜角度の概念を見ることができる図７Ａの距離センサの別の図である。図７Ａ〜７Ｃのセンサを使用して物体までの距離を算出するための簡単なアルゴリズムを導き出すことができる概念を示す図である。図７Ａ〜７Ｃのセンサを使用して物体までの距離を算出するための簡単なアルゴリズムを導き出すことができる概念を示す図である。例示的な距離センサに拡張される図８Ａ〜８Ｂの概念を示す図である。本開示の距離センサの別の実施形態を示す図である。本開示の距離センサの別の実施形態を示す図である。本開示の距離センサの別の実施形態を示す図である。本開示の距離センサの別の実施形態を示す図である。

理解を容易にするために、同一の参照番号が、可能な場合に、図に共通する同一の要素を示すために使用されている。

１つの実施形態では、本開示は、距離センサに関する。距離センサは、コンピュータビジョンシステムが車両から周囲環境内の特定の物体又は点までの距離を決定するのを助けるために無人車両において使用され得る。例えば、距離センサは、１つ以上の光ビームを物体又は点上に投影し、次いで、飛行時間（ＴＯＦ）、反射された光（例えばレーダ）の分析又は他の手段にしたがって距離を算出することができる。しかし、このタイプの従来の距離センサは、かさばる傾向があり、したがって小型車両に使用するには適さないことがある。さらに、センサは、製造するのが非常に高価であり、限定された視野を有する傾向があり得る。例えば、複数の従来の撮像センサの配置を使用しても、３６０度未満の視野しか提供されない。

本開示の実施形態は、小型の距離センサであって、製造が経済的であり、少ししか又は全く可動部材を含まず、最大３６０度の視野内で距離を測定することができる、小型の距離センサを提供する。１つの実施形態では、センサは、回折光学素子（ＤＯＥ）の配列などのビーム分割手段のセットを使用して、広角レンズの周りに複数の投影点を生成する。複数の投影点の各々は、複数のビームを視野内に発する。ビームの外観から、センサは、１８０度の半球視野内で距離を測定することができる。２つのそのようなセンサを背中合わせに装着することにより、距離は、３６０度の視野内で測定され得る。ＤＯＥは、単一光源（例えばレーザ）によって生成されたビームを複数の投影ビームに分割することを可能にし、この複数の投影ビームは、視野内の物体又は点上に投影される。しかし、他の実施形態では、複数光源によって発せられたビームが、ＤＯＥによって分割される。センサから物体又は点までの距離が、次いで、投影及び複数の投影からの画像の取り込みの１回のサイクルで算出され得る。

図１Ａ及び１Ｂは、本開示の距離センサ１００の１つの実施形態を示す。特に、図１Ａは、距離センサ１００の断面図を示し、一方で図１Ｂは、図１Ａの距離センサ１００の上面図を示す。距離センサ１００は、例えば、無人車両に装着され得る。

図１Ａでは、距離センサ１００は、小型のハウジング１０２内に配置された複数の構成要素を備える。構成要素は、少なくとも１つの光源１０４と、これ以後第１の回折光学素子１０６と称される第１のビーム分割手段と、これ以後第２の回折光学素子１０８_１〜１０８_ｎと称される（さらに、これ以後集合的に「第２の回折光学素子１０８”」と称される）第２のビーム分割手段の配列と、広角レンズ１１２を含む撮像センサ１１０とを備える。

構成要素は、中央軸Ａ−Ａ’の周りにほぼ対称的に配置される。１つの実施形態では、中央軸Ａ−Ａ’は、撮像センサ１１０の光学軸と一致する。１つの実施形態では、光源１０４は、中央軸Ａ−Ａ’の第１の端部に配置される。１つの実施形態では、光源１０４は、中央軸Ａ−Ａ’に沿って光の単一ビームを発するレーザ光源である。これ以後、光源１０４によって発せられた単一ビームはまた、「一次ビーム」と称され得る。１つの実施形態では、光源１０４は、人間の視覚に対して比較的安全であることが知られている波長の光を発する（例えば赤外線）。別の実施形態では、光源１０４は、その出力の強度を調整するための回路を含むことができる。別の実施形態では、光源１０４は、パルス式に光を発し、それによって画像取り込みに対する周囲光の影響を軽減することができる。

第１の回折光学素子（ＤＯＥ）１０６は、光源１０４の近位（例えば光源１０４によって発せられた光が伝播する方向に対して、光源１０４の「正面」）に中央軸Ａ−Ａ’に沿って配置される。特に、第１のＤＯＥ１０６は、光源１０４によって発せられた単一の光ビームをとらえ、単一又は一次ビームを複数の二次ビームに分割するように配置される。１つの実施形態では、中央軸Ａ−Ａ’と二次ビームの各々との間の角度は等しい。第１のＤＯＥ１０６は、一次ビームを、異なる方向に一次ビームから分岐する複数の二次ビームに分割することができる任意の光学構成要素である。例えば、１つの実施形態では、第１のＤＯＥ１０６は、円すい鏡又はホログラフィフィルムを含むことができる。この場合、複数の二次ビームは、円錐形状で配置される。別の実施形態では、一次ビームは、回折以外の手段によって分割され得る。

二次ＤＯＥ１０８の配列は、第１のＤＯＥ１０６の近位（例えば光源１０４によって発せられた光が伝播する方向に対して、ＤＯＥ１０６の「前」）に中央軸Ａ−Ａ’に沿って配置される。特に、第２のＤＯＥ１０８の配列は、第１のＤＯＥ１０６が、光源１０４と、第２のＤＯＥ１０８の配列との間に配置されるように配置される。図１Ｂにより明確に示すように、１つの実施形態では、第２のＤＯＥ１０８は、リング形状配列で配置され、このとき中央軸Ａ−Ａ’は、リングの中心を通り抜け、第２のＤＯＥ１０８はリング周りに定間隔で離間される。例えば、１つの実施形態では、第２のＤＯＥ１０８は、リング周りに約３０度離して離間される。１つの実施形態では、第２のＤＯＥ１０８の配列は、光源１０４によって発せられた光が伝播する方向に対して、撮像センサ１１０の主点（すなわち光学軸Ａ−Ａ’が画像平面と交差する点）の「後方」に配置される。

各々の第２のＤＯＥ１０８は、第１のＤＯＥ１０６によって生み出された二次ビームの１つをとらえ、この二次ビームを複数の（例えば、２つ又はそれ以上の）三次ビームに分割し、この三次ビームは、第２のＤＯＥ１０８から離れるように径方向に向けられる。したがって、各々の第２のＤＯＥ１０８は、センサ１００の投影点を画定し、この投影点から、投影ビーム（又は三次ビーム）のグループが、視野内に発せられる。１つの実施形態では、各々それぞれの複数の三次ビームは、約１００度の範囲を対象とするように広がる。第２のＤＯＥ１０８は、それぞれの二次ビームを、異なる方向に二次ビームから分岐する複数の三次ビームに分割することができる任意の光学構成要素である。例えば、１つの実施形態では、各々の第２のＤＯＥは、円すい鏡又はホログラフィフィルムを含むことができる。しかし、他の実施形態では、二次ビームは、回折以外の他の手段によって分割される。

１つの実施形態では、各々複数の三次ビームは、ファンパターン又は径方向パターンで配置され、このときビームの各々の間に等しい角度を有する。１つの実施形態では、第２のＤＯＥ１０８の各々は、表面上に異なる視覚パターンを作り出す三次ビームを投影するように構成される。例えば、１つの二次ＤＯＥ１０８は、ドットのパターンを投影することができ、一方で別の第２のＤＯＥ１０８は、線又は「ｘ」のパターンを投影することができる。

撮像センサ１１０は、第２のＤＯＥ１０８の配列の中央に（例えば、光源１０４によって発せられた光が伝播する方向に対して、第２のＤＯＥ１０８の配列の少なくとも部分的に「前」）に中央軸Ａ−Ａ’に沿って配置される。１つの実施形態では、撮像センサ１１０は、静止カメラ又はビデオカメラなどの画像取り込みデバイスである。上記で論じたように、撮像センサ１１０は、半球視野を作り出す、魚眼レンズなどの広角レンズを含む。１つの実施形態では、撮像センサ１１０は、距離センサ１００から物体又は点までの距離を算出するための回路を含む。別の実施形態では、撮像センサは、取り込まれた画像をネットワークを介してプロセッサに送るためのネットワークインタフェースを含み、この場合プロセッサは、距離センサ１００から物体又は点までの距離を算出し、次いで、算出された距離を距離センサ１００に戻す。

したがって、１つの実施形態では、距離センサ１００は、単一光源（例えば光源１０４）を使用して、投影ビーム（例えばドット又は線のパターンを含む）のセットがそこから発せられる複数の投影点を生み出す。距離センサ１００から物体までの距離は、視野内の投影ビームの外観から算出され得る（これは、以下でより詳細に論じられる）。特に、第１及び第２のＤＯＥの使用は、光源によって発せられた光の単一ビームから、レンズ周りに複数の投影点を生成することを可能にする。これにより、距離センサ１００は、広い視野内で距離を測定しながら相対的に小型の物理的形状及び大きさ（form factor）を維持することが可能になる。撮像センサ１１０及び光源１０４はまた、設計をより小型化するために同じ平面内に装着することができるが、１つの実施形態では、第２のＤＯＥ１０８_１−１０８_ｎは、（例えば、視野の深さ角度が、完全な１８０度に近い、又は一部の場合ではさらにそれより大きくなるように）投影ビームによって対象とされ得る視野を増大させるために、撮像センサ１１０の主点の後方に配置される。

さらに、第２のＤＯＥ１０８の各々が異なるパターンの三次ビームを投影するため、撮像センサ内の回路は、取り込まれた画像内のどのビームが、第２のＤＯＥ１０８のどれによって作り出されたかを容易に決定することができる。これは、距離算出を容易にし、これは、以下にさらに詳細に論じられる。

センサ１００が、単一光源１０４だけを含む（センサ１００内の構成要素の総数を低減する）ものとして示されているが、代替の実施形態では、センサは複数光源を含むことができる。この場合、第１のＤＯＥ１０６は、必要ではない。その代わり、１つの実施形態では、複数光源の各々の光源が、（図１Ａ及び図１Ｂ内の第２のＤＯＥ１０８の配列などの）ＤＯＥの配列内の１つのＤＯＥに対応することができる。とりわけ、この構成は、（例えば、配列内の各々のＤＯＥによって画定された１つの投影点などの）複数の投影点を撮像センサのレンズ周りに依然として生み出し、そこから、投影ビームのセットが発せられ得る。

図２は、図１Ａ及び１Ｂの距離センサ１００の例示的な視野２００を示す。図２では、距離センサ１００の特定の構成要素もまた、分解図で示される。図示するように、視野２００は、実質的には半球形状である。さらに、距離センサ１００によって生み出された複数の三次光ビームは、光のパターンを「仮想の」半球上に投影する。パターンは、各々の三次ビームが半球と交わるところに示された一連の同心円によって表される。円は、距離センサ１００からの距離が増大するにつれて徐々にサイズが低減するものとして表されて、三次ビームによって作り出されたパターンが、物体距離によって視覚的にどのように変化するかを示す。

図２に示すように、距離センサ１００の視野は、約１８０度を対象とする。１つの実施形態では、視野は、２つの距離センサを背中合わせに装着することによって約３６０度まで拡張され得る。

図３は、例えば、約３６０度の視野を有する距離センサ３００の１つの実施形態を示す。距離センサ３００は、実際には、図１Ａ及び１Ｂの距離センサ１００と同じように構成された２つの距離センサ３０２_１及び３０２_２を備えるが、背中合わせの配置で装着され、すなわち、２つの距離センサ３０２_１及び３０２_２のそれぞれの光源３０４_１及び３０４_２は、隣接するが、その一次ビームは反対方向に投影する（すなわち２つの一次ビームの間に１８０度の相違が存在する）。

図示するように、２つの距離センサ３０２_１及び３０２_２は、図１Ａ及び１Ｂの距離センサ１００と実質的に同じように構成され得る。したがって、各々の距離センサ３０２_１及び３０２_２は、それぞれ光源３０４_１及び３０４_２と、それぞれの撮像センサ３０６_１及び３０６_２と、それぞれの広角レンズ３０８_１及び３０８_２と、それぞれの第１のＤＯＥ３１０_１及び３１０_２と、第２のＤＯＥ３１２_１１〜３１２_１ｎ及び３１２_２１〜３１２_２ｎのそれぞれの円配列とを含む。しかし、撮像センサ３０６_１又は３０６_２は、距離センサ３００から物体又は点までの距離を算出するための回路又はネットワークインタフェースを共有することができる。

とりわけ、第２のＤＯＥ３１２_１１〜３１２_１ｎ及び３１２_２１〜３１２_２ｎは、この実施形態では、そのそれぞれの撮像センサ３０６_１及び３０６_２の主点の後方に配置される。撮像センサ３０６_１及び３０６_２（及び特にレンズ３０８_１及び３０８_２）と、第２のＤＯＥ３１２_１１〜３１２_１ｎ及び３１２_２１〜３１２_２ｎの相対的位置決めは、距離センサ３００によって投影されたビームパターンが、（例えば、各々の距離センサ３０２_１及び３０２_２に対して完全な１８０度により近い、又はセンサ３００全体に対して完全な３６０度により近いなど）より大きな視野を対象とすることを可能にする。

図４は、センサから物体又は点までの距離を空間内で算出するための方法４００の流れ図を示す。１つの実施形態では、方法４００は、（図１Ａに示す撮像センサ１１０などの）撮像センサ内に組み込まれたプロセッサ又は図５に示し、以下に論じる汎用コンピューティングデバイスによって実行され得る。

方法４００は、ステップ４０２において始まる。ステップ４０４では、光源は、光の一次ビームを生成するように作動される。１つの実施形態では、単一の一次ビームが、単一光源によって生成されるが、他の実施形態では、複数の一次ビームが、複数光源によって生成される。１つの実施形態では、光源又は複数光源は、レーザ光源を含む。

任意選択のステップ４０６では、一次ビームは、一次ビームがそれに沿って伝播する経路内に配置された第１のビーム分割手段（例えば回折光学素子）を使用して複数の二次ビームに分割される。第１のビーム分割手段は、例えば、円すい鏡でよい。ステップ４０６は、例えば、（撮像センサがその一部である）距離センサが単一光源のみを含むときに実行される。

ステップ４０８では、複数の二次ビーム内の各々のビームは、ビーム分割手段の配列内の第２のビーム分割手段（例えば第２の回折光学素子）を使用して複数の投影ビーム又は三次ビームに分割される。１つの実施形態では、複数の第２のビーム分割手段は、リングとして配置され、それにより、各々の第２のビーム分割手段は、第２のビームの１つがそれに沿って伝播する経路内に配置される。１つの実施形態では、第２のビーム分割手段の少なくとも一部は、円すい鏡である。１つの実施形態では、距離センサが複数光源を備える場合、方法４００は、ステップ４０４からステップ４０８に直接進むことができる。この場合、（複数光源を使用して生成された）複数の一次ビームの各々の一次ビームは、第２のビーム分割手段の１つによって複数の投影ビームに直接的に分割される。

ステップ４１０では、物体又は点の少なくとも１つの画像が、取り込まれる。画像は、物体又は点上に、及び周囲空間上に投影されるパターンを含む。パターンは、投影ビームの各々が、一連のドット、線又は他の形状を物体、点、又は周囲空間上に投影することによって作り出される。

ステップ４１２では、センサから物体又は点までの距離が、ステップ４１０において取り込まれた画像からの情報を使用して算出される。１つの実施形態では、三角法技術が、距離を算出するために使用される。例えば、センサによって投影されたパターンの部分間の関係が、算出の基礎として使用され得る。

方法４００は、ステップ４１４において終了する。こうして、方法４００は、図１Ａ〜１Ｂ又は図３に示すセンサと組み合わせて、画像取り込み及び算出の単一のサイクルにおいてセンサから物体又は点までの距離を空間内で測定することができる。

図５は、例えば、センサから物体又は点までの距離が、ステップ４１２においてそれによって算出することができる三角法技術を示す。特に、図５は、図１の例示的な撮像センサ１１０と共に、第２の回折光学素子１０８_１及び１０８_２の２つによって画定され得る投影点のうち２つを示す。投影点は、撮像センサ１１０から等しい距離ｘで離間され、それにより、２つの投影点（例えばｘ＝ｓ／２）の間のｓの距離が存在するようになる。投影点の各々は、それぞれの投影ビーム５００_１及び５００_２を発し、これらのビームは、物体上に入射してそれぞれの点５０２_１及び５０２_２（例えばドット又は線）を一パターンとして作り出す。これらの点５０２_１及び５０２_２は、撮像センサ１１０によって検出され、撮像センサ１１０と物体の間の距離Ｄを以下の通りに算出するために使用され得る：
Ｄ＝ｓ／（−ｔａｎα_２＋ｔａｎα_１＋ｔａｎθ_２＋ｔａｎθ_１）（式１）
式中、α_２は、投影ビーム５００_２と第２の回折光学素子１０８_２の中央軸ｃ_２との間に形成された角度であり、α_１は、投影ビーム５００_１と第２の回折光学素子１０８_１の中央軸ｃ_１との間に形成された角度であり、θ_２は、撮像センサ１１０の中央光学軸Ｏと、撮像センサ１１０が投影ビーム５００_２によって作り出された点５０２_２を知覚する角度との間に形成された角度であり、θ_１は、撮像センサ１１０の中央光学軸Ｏと、撮像センサ１１０が、投影ビーム５００_１によって作り出された点５０２_１を知覚する角度との間に形成された角度である。

式１は、以下の関係から導き出される。
Ｄ＊ｔａｎα_１＋Ｄ＊ｔａｎθ_１＝ｘ（式２）
Ｄ＊ｔａｎα_２＋Ｄ＊ｔａｎθ_２＝ｓ−ｘ（式３）

式２及び３は、（例えばドットのパターンを含む）投影パターン源から、投影パターンがその上に投影される物体までの距離を算出することを可能にする。距離は、光点がその源周りの種々の投影点によって発せられたときに投影パターンを形成する光点（例えばドット）間の位置関係に基づいて算出される。この実施形態では、光点間の位置関係は、先験的に知られている（すなわち算出の一部として測定されない）。

図６は、本明細書において説明する機能を実行する際に使用するのに適した汎用コンピュータの高レベルのブロック図を示す。図６に示すように、システム６００は、１つ以上のハードウェアプロセッサ要素６０２（例えば中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、又はマルチコアプロセッサ）と、メモリ６０４、例えばランダムアクセスメモリ（ＲＡＭ）及び／又は読み取り専用メモリ（ＲＯＭ）と、距離を算出するためのモジュール６０５と、さまざまな入力／出力デバイス６０６（例えば、それだけに限定されないが、テープドライブ、フロッピードライブ、ハードディスクドライブ、又はコンパクトディスクドライブを含む記憶装置、受信機、送信機、レンズ及び光学系、出力ポート、入力ポート、及びユーザ入力デバイス（キーボード、キーパッド、マウス、マイクロホンなど））とを備える。１つだけのプロセッサ要素が示されているが、汎用コンピュータは、複数のプロセッサ要素を使用してよいことに留意されたい。さらに、１つだけの汎用コンピュータが図に示されているが、上記で論じた方法が、特定の説明上の例に関して分散式又は並行式に実施される場合、すなわち上記の方法又は方法全体のステップが、複数の又は並行の汎用コンピュータにわたって実施される場合、この図の汎用コンピュータは、これらの複数の汎用コンピュータの各々を表すように意図される。さらに、１つ以上のハードウェアプロセッサは、仮想化された又は共通化されたコンピューティング環境を支持するのに利用され得る。仮想化されたコンピューティング環境は、コンピュータ、サーバ、又は他のコンピューティングデバイスを表す１つ以上の仮想機械を裏付けることができる。そのような仮想化された仮想機械では、ハードウェアプロセッサなどのハードウェア構成要素及びコンピュータ可読記憶デバイスは、仮想化され又は論理的に表され得る。

本開示は、ソフトウェア及び／又はソフトウェア及びハードウェアの組み合わせにおいて、例えば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むプログラマブルロジックアレイ（ＰＬＡ）、又はハードウェアデバイス上に配備されるステートマシンを使用して実施することができ、汎用コンピュータ又は任意の他のハードウェアの等価物、例えば上記で論じた方法に関係するコンピュータ可読命令は、上記で開示した方法のステップ、機能、及び／又は動作を実行するようにハードウェアプロセッサを構成するために使用され得ることに留意されたい。１つの実施形態では、距離を算出するための本発明のモジュール又はプロセス６０５（例えば、コンピュータ可読命令を含むソフトウェアプログラム）のための命令及びデータは、メモリ６０４にロードされ、ハードウェアプロセッサ要素６０２によって実行されて、例示的な方法４００に関連して上記で論じたステップ、機能、又は動作を実施することができる。さらに、ハードウェアプロセッサが命令を実行して「動作」を実行するとき、これは、ハードウェアプロセッサが動作を直接的に実行すること、及び／又は動作を実行するように別のハードウェアデバイス又は構成要素（例えばコプロセッサなど）と共に促し、方向付け、共働することを含むことができる。

上記で説明した方法に関するコンピュータ可読命令又はソフトウェア命令を実行するプロセッサは、プログラムされたプロセッサ又は専用のプロセッサとして認識され得る。したがって、本開示の（関連するデータ構造を含む）距離を算出するための本発明のモジュール６０５は、実体的な又は物理的な（広く言えば非一時的な）コンピュータ可読記憶デバイス又は媒体、例えば、揮発性メモリ、非揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気又は光学ドライブ、デバイス、又はディスケット上などに記憶され得る。より詳細には、コンピュータ可読記憶デバイスは、コンピュータ又はアプリケーションサーバなどのプロセッサ又はコンピューティングデバイスによってアクセスされるデータ及び／又は命令などの情報を記憶する能力を提供する任意の物理的デバイスを備えることができる。

上記で論じたように、例えば回折光学素子（ＤＯＥ）などのビーム分割手段によって画定された投影点のセットは、さまざまなパターンを視野上に投影するように構成され得る。例えば、投影されたパターンの個々の光点の形状は、変動し得る（例えば、光点は、ドット、線などを含むことができる）。加えて、個々の光点は、集合的に、他の潜在的なパターンの中でもとりわけ、リング形状パターン、球状パターン、平行線もしくは平面のパターン、又は三角形パターンを形成することができる。換言すれば、個々の光点のグループは、（例えば、球状もしくは三角形形状又は平行線もしくは平面のパターンを有する投影パターンに合わせて）順序性を有する線又は複数の線を形成することができる。１つの実施形態では、個々の光点間の順序性は、同じであり、又は類似の特徴（例えば線対称、回転一致、部分的一致など）を共有する。さらに個々の光点のグループは、（例えばリング形状を有する投影パターンに合わせて）順序性を有するドットを形成することができる。１つの実施形態では、個々の光点間の順序性は、同じであり、又は類似の特徴（例えば、ドット形状の相違性、間隔関係など）を共有する。

図７Ａは、リング形状のパターンを投影するように構成された距離センサ７００の１つの簡易化された例を示す。距離センサ７００の光学軸は、線Ａ−Ａ’及び撮像センサ７１０の主点７０２（すなわち光学軸Ａ−Ａ’が画像平面と交差する点）によって示される。１つの実施形態では、ビーム分割手段７０４_１〜７０４_ｎ（これ以後集合的に「ビーム分割手段７０４」と称される）のリングは、撮像センサ７１０の主点７０２の後方に配置される。光学軸Ａ−Ａ’から各々のビーム分割手段７０４までの距離は、「ａ」によって示され、一方で各々のビーム分割手段７０４から主点７０２までの（光学軸Ａ−Ａ’に沿った）距離は、「ｂ」によって示される。

図示するように、ビーム分割手段７０４の各々は、ビーム分割手段７０４から複数の方向に径方向に外方向に延びる複数の投影ビーム７０６を発する。集合的に、投影ビーム７０６の各々のセットは、投影線７０８を形成する。図７Ａに示す例では、投影ビーム７０６の各々のセットの投影線７０８は、リングの少なくとも一部分に似ている。

図７Ｂは、図７Ａの距離センサ７００によって発せられ得る投影パターンのさらに三次元の図を示す。図示するように、所与のビーム分割手段７０４によって発せられた（これ以後、集合的に「投影ビーム７０６」と称される）投影ビーム７０６_１〜７０６_ｏの各々のグループは、集合的に、（これ以後、集合的に「ビーム平面７１４」と称される）ビーム平面７１４_１〜７１４_ｍを形成する。１つの実施形態では、所与のビーム平面７１４を形成する投影ビーム７０６は、ビーム平面７１４に対して垂直方向に投影される。投影ビーム７０６の種々のグループによって作り出されたさまざまなビーム平面７１４は、図示するように重複することができる。加えて、各々のビーム平面７１４の視覚的外観は、関連するビーム分割手段７０４によって発せられた投影パターンに基づいて変動し得る。例えば、ビーム平面７１４_１は、投影ビームのそれぞれのグループによって作り出された光点の種々のパターンに基づいて、ビーム平面７１４ｍとは視覚的に異なって現れ得る。

図７Ｃは、傾斜角度の概念を見ることができる、図７Ａの距離センサ７００の別の図を示す。図示するように、投影ビーム７０６ｏを含む投影ビームのグループによって形成された例示的なビーム平面７１４ｍの投影方向は、ビーム平面７１４ｍと、撮像センサの主点から径方向に延びる軸との間に傾斜角度αを形成する。図示する例では、ビーム平面を傾斜角度αで傾斜させることにより、複数のビーム平面の重複が最小限に抑えられ得る。ビーム平面を傾斜させることはまた、表面上に投影された個々光点間を区別することをより容易にし、それによって距離センサ７００から物体までの距離を比較的簡単なアルゴリズムを使用して算出することを可能にする。

図８Ａ及び８Ｂは、例えば、図７Ａ〜７Ｃのセンサを使用して物体までの距離を算出するための簡単なアルゴリズムを導き出すことができる概念を示す。図８Ａを参照すれば、Ｏ_ｐからＤまでのベクトルｒ_０の高さｚ、深さｙ、及び長さｘは、以下の通りに計算され得る。
ｚ＝ｒ_０ｓｉｎθ （式４）
ｙ＝ｒ_０ｃｏｓθ ｓｉｎα （式５）
ｘ＝ｒ_０ｃｏｓθ ｃｏｓα （式６）
したがって、
ｒ_０ ^２＝ｘ^２＋ｙ^２＋ｚ^２（式７）

図８Ｂを参照すれば、高さがｂだけ低減され、長さがａだけ増大されるとき、寸法は以下のように計算され得る。
ｚ−ｂ＝Ｒ_０ｓｉｎφ （式８）
ｙ＝Ｒ_０ｃｏｓφ ｓｉｎβ （式９）
ｘ＋ａ＝Ｒ_０ｃｏｓφ ｃｏｓβ （式１０）
したがって、
Ｒ_０ ^２＝（ｘ＋ａ）^２＋ｙ^２＋（ｚ−ｂ）^２（式１１）

式４及び式８から、
Ｒ０ｓｉｎφ＋ｂ＝ｒ０ｓｉｎθ （式１２）
が、導き出され得る。

式５及び式９から、
Ｒ_０ｃｏｓφ ｓｉｎβ＝ｒ_０ｃｏｓθ ｓｉｎα （式１３）
が、導き出され得る。

式６及び式１０から、
Ｒ_０ｃｏｓφ ｃｏｓβ−ａ＝ｒ_０ｃｏｓθ ｃｏｓα （式１４）
が、導き出され得る。

したがって、
となる。

β及びφは、撮像センサによって取り込まれた画像から測定され、ａ、ｂ、及びαは、撮像センサ／投影構成から知られており、θは、投影パターンから知られている。

図９は、例示的な距離センサ９００に拡張される図８Ａ〜８Ｂの概念を示す。例示的な距離センサ９００は、（ビーム分割手段を含む）光源９０２と、第２のビーム分割手段のリング形状配列９０４と、（広角レンズを含む）撮像センサ９０６とを含む。例示的な距離センサ９００は、仮想球形９０８を形成する光のパターンを投影するように構成される。

図１０Ａ及び１０Ｂは、本開示の距離センサ１０００の別の実施形態を示す。特に、図１０Ａは、距離センサ１０００の簡易化された分解図を示し、一方で図１０Ｂは、図１０Ａの距離センサ１０００の簡易化された断面図を示す。

特に、図１０Ａ及び１０Ｂは、投影ビームを生み出すために使用される構成要素のサブセットのみを示し、例えば、撮像センサ及びハウジングは省いている。したがって、距離センサ１０００は、通常、少なくとも１つの光源（例えばレーザ光源）１００４と、第１のビーム分割手段１００６と、第２のビーム分割手段１００８とを備える。１つの実施形態では、第２のビーム分割手段１００８は、光の個々のビームをビームのグループに分割することができる複数の投影点を有する、ホログラフィフィルム又は他の材料などの単一のリング形状デバイスを備える。加えて、距離センサ１０００は、円すい鏡１００２を含む。

この場合、第１のビーム分割手段１００６は、光源１００４によって発せられた一次ビームを複数の二次ビームに分割する。二次ビームの各々は、次いで、円すい鏡１００２の表面上に入射し、この円すい鏡は、二次ビームの各々を第２のビーム分割手段１００８の方に向け直す。第２のビーム分割手段１００８上の各々の投影点は、二次ビームを、上記で説明したように複数の三次ビーム又は投影ビームに分割する。

図１１Ａ及び１１Ｂは、本開示の距離センサ１１００の別の実施形態を示す。特に、図１１Ａは、距離センサ１１００の簡易化された分解図を示し、一方で図１１Ｂは、図１１Ａの距離センサ１１００の簡易化された断面図を示す。

特に図１１Ａ及び１１Ｂは、投影ビームを生み出すために使用される構成要素のサブセットのみを示し、例えば、撮像センサ及びハウジングは省いている。したがって図１０Ａ及び１０Ｂに示す距離センサ１０００と同様に、距離センサ１１００は、通常、少なくとも１つの光源（例えばレーザ光源）１１０４と、第１のビーム分割手段１１０６と、（これ以後集合的に「第２のビーム分割手段１１０８」と称される）第２のビーム分割手段１１０８_１〜１１０８_ｎの配列とを備える。この場合、複数の個々の第２のビーム分割手段１００８は、リング形状配列で配置される。配列は、ピラミッド形鏡又は多面鏡１１０２の周囲周りに配置される。

この場合、第１のビーム分割手段１１０６は、光源１１０４によって発せられた一次ビームを複数の二次ビームに分割する。二次ビームの各々は、次いで、ピラミッド形鏡１１０２の表面上に入射し、このピラミッド形鏡は、二次ビームの各々を第２のビーム分割手段１１０８の１つの方に向け直す。第２のビーム分割手段１１０８の各々１つは、上記で説明したように二次ビームを複数の三次ビーム又は投影ビームに分割する。

さまざまな実施形態が上記で説明されてきたが、これらは、限定的ではなく例としてのみ提示されていることを理解されたい。したがって、好ましい実施形態の広さ及び範囲は、上記で説明した例示的な実施形態のいずれにも限定されてはならず、以下の特許請求の範囲及びその等価物にしたがってのみ定義されなければならない。

Claims

視野の画像を取り込むように配置された画像取り込みデバイスと、
前記画像取り込みデバイスの第１のレンズ周りに配置された第１の複数の投影点と、
単一の光ビームを発するように構成された光源と、
前記単一の光ビームを複数のビームに分割し、前記複数のビームの各々のビームを前記第１の複数の投影点のうち１つの投影点の方に向けるように配置されたビーム分割手段と、
前記ビーム分割手段と前記第１の複数の投影点との間に配置された円すい鏡と、
前記画像取り込みデバイスの第２のレンズであって、前記第１のレンズが指す方向から１８０度である方向を指す第２のレンズと、
前記第２のレンズの周りに配置された第２の複数の投影点と、
を備え、
前記第１の複数の投影点の各々の投影点が、複数の投影ビームを前記視野内で異なる方向に発するように構成され、
前記第２の複数の投影点の各々の投影点が、複数の投影ビームを前記視野内で異なる方向に発するように構成され、
各々複数の投影ビームの各々の個別投影ビームが、形状の可視パターンを、自装置を取り囲む空間内に投影する、
ことを特徴とする装置。
請求項１に記載の装置であって、
前記複数の第１の投影点が、各々複数の投影ビームが伝播する方向に対して、前記画像取り込みデバイスの主点の後方に配置される、
ことを特徴とする装置。
請求項１に記載の装置であって、
前記光源がレーザ光源である、
ことを特徴とする装置。
請求項１に記載の装置であって、
前記光源がパルス式光源である、
ことを特徴とする装置。
請求項１に記載の装置であって、
前記光源が前記単一の光ビームの強度を調整するための回路を含む、
ことを特徴とする装置。
請求項１に記載の装置であって、
前記光源が複数光源のうちの１つであって、前記複数光源の各光源がそれぞれ単一の光ビームを発し、前記それぞれの単一の光ビームを前記第１の複数の投影点のうち１つの投影点の方に向けるように構成される、
ことを特徴とする装置。
請求項６に記載の装置であって、
前記ビーム分割手段が複数のビーム分割手段を含み、
前記第１の複数の投影点の各々の投影点が、前記複数のビーム分割手段のうち、それぞれの単一の光のビームをそれぞれ複数の投影ビームに分割するように構成されたビーム分割手段を備える、
ことを特徴とする装置。
請求項７に記載の装置であって、
前記複数のビーム分割手段のうち少なくとも１つのビーム分割手段がホログラフィフィルムを備える、
ことを特徴とする装置。
請求項８に記載の装置であって、
前記複数のビーム分割手段が、リング形状配列で配置されている、
ことを特徴とする装置。
請求項６に記載の装置であって、
前記ビーム分割手段が、前記第１の複数の投影点がその周りに配置される単一のリング形状デバイスを備える、
ことを特徴とする装置。
請求項１に記載の装置であって、
一連の形状の前記可視パターンが、前記第１の複数の投影点の各々の投影点によって発せられた前記複数の投影ビームに合わせて変動する、
ことを特徴とする装置。
請求項１に記載の装置であって、
前記第１の複数の投影点が、前記第１の複数の投影点のすべての投影点によって発せられた前記複数の投影ビームによって球状パターンを集合的に作り出すように配置される、
ことを特徴とする装置。
請求項１に記載の装置であって、
前記第１の複数の投影点が、前記第１の複数の投影点のすべての投影点によって発せられた前記複数の投影ビームによってリング形状パターンを集合的に作り出すように配置される、
ことを特徴とする装置。
請求項１に記載の装置であって、
前記第１の複数の投影点が、前記第１の複数の投影点のすべての投影点によって発せられた前記複数の投影ビームによって平行線または平面のパターンを集合的に作り出すように配置される、
ことを特徴とする装置。
請求項１に記載の装置であって、
前記第１の複数の投影点が、前記第１の複数の投影点のすべての投影点によって発せられた前記複数の投影ビームによって三角形パターンを集合的に作り出すように配置される、
ことを特徴とする装置。
請求項１に記載の装置であって、
前記第１のレンズが半球形状を前記視野に与える広角レンズである、
ことを特徴とする装置。
請求項１に記載の装置であって、さらに、
前記画像取り込みデバイスによって取り込まれた画像を使用して、前記装置と前記視野内に配置された物体との間の距離を計算するための回路、
を備えることを特徴とする装置。
物体までの距離を算出するための方法であって、
単一の光ビームを光源によって発するステップと、
前記単一の光ビームをビーム分割手段によって複数のビームに分割するステップと、
前記ビーム分割手段によって、前記複数のビームの第１のサブセットを第１の複数の投影点の方へ向けるステップであって、前記ビーム分割手段が前記光源と前記第１の複数の投影点との間に位置し、前記第１のサブセットの各個別のビームが前記第１の複数の投影点のうちの１つの投影点の方へ向けられる、ステップと、
複数の投影ビームを前記第１の複数の投影点の各々の投影点から投影するステップであって、前記第１の複数の投影点は、画像取り込みデバイスの第１のレンズ周りに配置され、前記複数の投影ビームの各々の投影ビームは、視野内で異なる方向に向けられ、各々複数の投影ビームの各々の個別の投影ビームは、一連の形状の可視パターンを自装置を取り囲む空間内に投影し、前記第１の複数の投影点が前記光源と前記第１のレンズとのあいだに位置する、ステップと、
前記ビーム分割手段によって、前記複数のビームの第２のサブセットを第２の複数の投影点の方へ向けるステップであって、前記ビーム分割手段が前記光源と前記第２の複数の投影点との間に位置し、前記第２のサブセットの各個別のビームが前記第２の複数の投影点のうちの１つの投影点の方へ向けられる、ステップと、
複数の投影ビームを前記第２の複数の投影点の各々の投影点から投影するステップであって、前記第２の複数の投影点は、前記第１のレンズが指す方向から１８０°である方向を指す、画像取り込みデバイスの第２のレンズ周りに配置され、前記複数の投影ビームの各々の投影ビームは、視野内で異なる方向に向けられ、各々複数の投影ビームの各々の個別の投影ビームは、一連の形状の可視パターンを自装置を取り囲む空間内に投影し、前記第２の複数の投影点が前記光源と前記第２のレンズとのあいだに位置する、ステップと、
前記視野の画像を取り込むステップであって、前記物体を前記画像内に見ることができ、前記複数の投影ビームのうちの複数の投影ビームによって集合的に生成された投影パターンもまた、前記画像内に見ることができるステップと、
前記画像内の情報を使用して前記物体までの前記距離を算出するステップと、
を含むことを特徴とする方法。
請求項１８に記載の方法であって、
前記光源が複数光源のうちの１つであり、前記複数光源の各光源がそれぞれ単一の光ビームを発光し、前記それぞれの単一の光ビームが、前記第１の複数の投影点のうち１つの投影点の方に向けられる、
ことを特徴とする方法。
請求項１８に記載の方法であって、
前記視野が半球の形状である、
ことを特徴とする方法。
プロセッサによって実行されたとき、前記プロセッサに物体までの距離を算出するための動作を実行させる複数の命令を記憶するコンピュータ可読記憶デバイスであって、前記動作が、
単一の光ビームを光源によって発するステップと、
前記単一の光ビームをビーム分割手段によって複数のビームに分割するステップと、
前記ビーム分割手段によって、前記複数のビームの第１のサブセットを第１の複数の投影点の方へ向けるステップであって、前記ビーム分割手段が前記光源と前記第１の複数の投影点との間に位置し、前記第１のサブセットの各個別のビームが前記第１の複数の投影点のうちの１つの投影点の方へ向けられる、ステップと、
複数の投影ビームを前記第１の複数の投影点の各々の投影点から投影するステップであって、前記第１の複数の投影点は、画像取り込みデバイスの第１のレンズ周りに配置され、前記複数の投影ビームの各々の投影ビームは、視野内で異なる方向に向けられ、各々複数の投影ビームの各々の個別の投影ビームは、一連の形状の可視パターンを自装置を取り囲む空間内に投影し、前記第１の複数の投影点が前記光源と前記第１のレンズとのあいだに位置する、ステップと、
前記ビーム分割手段によって、前記複数のビームの第２のサブセットを第２の複数の投影点の方へ向けるステップであって、前記ビーム分割手段が前記光源と前記第２の複数の投影点との間に位置し、前記第２のサブセットの各個別のビームが前記第２の複数の投影点のうちの１つの投影点の方へ向けられる、ステップと、
複数の投影ビームを前記第２の複数の投影点の各々の投影点から投影するステップであって、前記第２の複数の投影点は、前記第１のレンズが指す方向から１８０°である方向を指す、画像取り込みデバイスの第２のレンズ周りに配置され、前記複数の投影ビームの各々の投影ビームは、視野内で異なる方向に向けられ、各々複数の投影ビームの各々の個別の投影ビームは、一連の形状の可視パターンを自装置を取り囲む空間内に投影し、前記第２の複数の投影点が前記光源と前記第２のレンズとのあいだに位置する、ステップと、
前記視野の画像を取り込むステップであって、前記物体を前記画像内に見ることができ、前記複数の投影ビームのうち複数の投影ビームによって集合的に生成された投影パターンもまた、前記画像内に見ることができるステップと、
前記物体までの前記距離を前記画像内の情報を使用して算出するステップと、
を含むことを特徴とするコンピュータ可読記憶デバイス。
物体までの距離を算出するための方法であって、
単一の光源によって光を発するステップと、
前記光を複数のビームに分割するステップであって、前記複数のビームの各ビームが、投影点のセットのうちの１つの投影点の方へ向けられ、前記投影点のセットは画像取り込みデバイスの第１のレンズ周りに配置された第１の複数の投影点と、前記第１のレンズが指す方向から１８０度である方向を指す、前記画像取り込みデバイスの第２のレンズの周りに配置された第２の複数の投影点とを含む、ステップと、
複数の光点を視野上に、前記第１の複数の投影点と前記第２の複数の投影点とから投影するステップであって、前記複数の光点は、前記第１の複数の投影点と前記第２の複数の投影点によって、前記複数のビームから生成され、前記投影点のセットのうち各投影点が、前記視野内の異なる方向に前記複数の光点のうちの光点を投影するように構成されているステップと、
前記視野の画像を取り込むステップであって、前記物体を前記画像内に見ることができ、前記複数の光点によって形成された投影パターンもまた、前記画像内に見ることできる、取り込むステップと、
前記複数の光点のうち少なくとも２つの間の位置関係にしたがって前記物体までの前記距離を算出するステップであって、前記複数の光点のうち前記少なくとも２つは、前記投影点のセットのうち少なくとも２つの異なる投影点によって発せられるステップと、
を含むことを特徴とする方法。
請求項２２に記載の方法であって、
前記位置関係が先験的に知られている、
ことを特徴とする方法。
プロセッサによって実行されたとき、前記プロセッサに物体までの距離を算出するための動作を実行させる複数の命令を記憶するコンピュータ可読記憶デバイスであって、前記動作が、
単一の光源によって光を発するステップと、
前記光を複数のビームに分割するステップであって、前記複数のビームの各ビームが、投影点のセットのうちの１つの投影点の方へ向けられ、前記投影点のセットは画像取り込みデバイスの第１のレンズ周りに配置された第１の複数の投影点と、前記第１のレンズが指す方向から１８０度である方向を指す、前記画像取り込みデバイスの第２のレンズの周りに配置された第２の複数の投影点とを含む、ステップと、
複数の光点を視野上に、前記第１の複数の投影点と前記第２の複数の投影点とから投影するステップであって、前記複数の光点は、前記第１の複数の投影点と前記第２の複数の投影点によって、前記複数のビームから生成され、前記投影点のセットのうち各投影点が、前記視野内の異なる方向に前記複数の光点のうちの光点を投影するように構成されているステップと、
前記視野の画像を取り込むステップであって、前記物体を前記画像内に見ることができ、前記複数の光点によって形成された投影パターンもまた、前記画像内に見ることができる、取り込むステップと、
前記複数の光点のうち少なくとも２つの間の位置関係にしたがって前記物体までの前記距離を算出するステップであって、前記複数の光点のうち前記少なくとも２つは、前記投影点のセットのうち少なくとも２つの異なる投影点によって発せられるステップと、
を含むことを特徴とするコンピュータ可読記憶デバイス。