JP6514681B2 - ロボット用多重知覚ステレオ視のための方法、システム、および装置 - Google Patents

Description

関連出願の相互参照

本出願は、米国法典第３５編第１１９条（ｅ）に基づき、２０１３年３月１５日出願の米国仮特許出願第６１／７９２，４６８号明細書、名称“Ｍｅｔｈｏｄｓ，Ｓｙｓｔｅｍｓ，ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｍｕｌｔｉ−Ｓｅｎｓｏｒ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ ｆｏｒ Ｒｏｂｏｔｉｃｓ”からの優先権を主張し、その全体を参照により本明細書に援用する。

本発明は、ロボット用多重知覚ステレオ視のための方法、システム、および装置に関する。

３次元（３Ｄ）感知は、多くの領域および環境において有用である。それは、ロボット、自立走行車両、および遠隔操作車両が木々、構造物、および落下物のような静的障害と、人、動物、および車両のような動的障害とを回避しながら安全に航行して地形を横断できるようにする。３Ｄ感知はまた、ロボットの局所環境のマッピングとより大きな周辺領域のより大きなスケールのマッピングとを可能にする。産業環境では、ここに説明される３次元センサは、機械周囲に静的または適応的安全幕を生成し得、および／あるいは自動組立てまたは製造ラインを通過する部品を計数または検査し得る。

高更新率ステレオデータは、相互作用する近接場障害物、標的、または対象を感知するために利用され得る。ヒューマノイドロボットの「頭」として取付けられれば、ステレオカメラは人間の眼が行うのと全く同じ役割を果たし得、すなわちステレオカメラはヒューマノイドが反応的把握、経路探索、工程計画、対象認識、対象追跡、および多くの他の形式の３Ｄ計算を可能にする前に領域のリアルタイム３Ｄ表現を構築し得る。

本発明の実施形態は、ロボット、ナビゲーション、機械視覚、製造、および他の用途に使用するのに好適なステレオ視（ｓｔｅｒｅｏ−ｖｉｓｉｏｎ）センサ／レーザ距離測定センサの組合せを含む。いくつかのケースでは、これらのセンサは、ビデオ画像、ステレオ画像、およびレーザ距離測定から導出される画像を提供する走査レーザを有するステレオカメラを含む。これらのセンサは、センサがその周囲に対して移動するにつれ（または周囲が変化するにつれ）レーザ画像が世界地図に逐次的に「縫い合わせ」られ得る運動を計算するために使用され得る。加えて、ステレオカメラとレーザ距離計（ｌａｓｅｒ ｒａｎｇｅｆｉｎｄｅｒ）は互いの距離データを「セルフチェック」するために使用され得る。これにより、センサがいくつかのタイプの故障を検出できるようにし、センサがいくつかの状況において自己較正できるようにする。

２つのセンサはオフセット能力を有し得る。レーザ距離計は、長距離（例えば、約０．５ｍ〜約３０ｍ）にわたって高精度で動作し、かなり低いデータ速度（例えば、約４３，０００点／秒）を有し、すべてまたはほとんどすべての面をうまく感知し得るが、埃などの空気中浮遊物（ａｉｒｂｏｒｎｅ ｏｂｓｃｕｒａｎｔｓ）を通して撮像する際にいくつかの問題を有し得る。ステレオカメラは高速であり（例えば、１５，０００，０００点／秒を超える）、短い範囲（例えば、７．０ｃｍ基準線で約０．５ｍ〜約５．０ｍ）にわたって動作し、空気中浮遊物を通して撮像する際にうまく機能し得るが、特徴の無い面までの距離を感知することができないことがあり得る。

いくつかの実施形態では、レーザパルスは幾何学的および時間的に互いに同期されるとともに外部クロックと同期される。加えて、レーザパルスとカメラ画像は互いに精密に時間調節され得る。これにより、較正が補助される。また、センサが動いているときでもレーザデータを使用することにより正確な３Ｄモデルの構築を可能にする。カメラ画像からの運動推定は、レーザ距離計データ点の取得中のセンサ移動の補償を可能にする。

センサの実施形態は、最大熱、機械的衝撃、振動、および湿度を含む環境的な厳しさに対し構築された単一ユニットに組込まれる部品を含み得る。具体的には、カメラ／レンズ設計は、熱変化および／または機械的衝撃に起因する較正からのドリフトに耐えるように構築され得る。同様に、センサデータを処理するために使用されるステレオアルゴリズムおよび制御は、空中の埃および他の微粒子だけでなく劣悪照明と悪天候状況の難しい環境における動作のために調節され得る。

ロボット使用に適したものを含むいくつかの実装形態では、センサは慣性測定ユニット（ＩＭＵ）を含み得るまたはそれに動作可能に結合され得る。このＩＭＵへ結合されるプロセッサは、ナビゲーションなどに使用されるロボットへ姿勢解決策を提供するために姿勢推定ソフトウェアを実行する。この姿勢解決策は、ＩＭＵ、ステレオ（例えば、視認可能オドメータ）、車輪エンコーダ、全地球測位衛星（ＧＰＳ）受信器、および／またはレーザ距離計からのデータから導出され得る。

いくつかの実施形態では、センサ内のまたはセンサへ結合されたプロセッサは、センサユニットがその較正の状態を迅速に評価できるようにする１つまたは複数の較正アルゴリズムを実行する。センサユニットが較正からずれていることを（例えば、自動的に）検出すれば、センサユニットは、「自己回復」として知られる処理において較正を「正す」ためにその較正パラメータを再調整し得る。センサユニットは、ユーザ介在を必要とすることなく自己回復をユーザに通知し得る。

例示的センサユニットは標的無しに較正され得る（例えば、自動的に）。通常、カメラおよびレーザシステムは、場面内に（例えば、三脚上に）立てられた特定標的により較正される。例えば、このシステムは、場面内の機会の１つまたは複数の「好適な」標的を検出し、ステレオカメラおよびレーザ距離計の両方を自動的に較正し得る。

本発明の実施形態は、環境内の１つまたは複数の対象の位置（システム自体の位置を含む）を推定するためのシステムおよび方法を含む。一例では、システムは第１の撮像装置、第２の撮像装置、第１および第２の撮像装置に動作可能に接続されたプロセッサを含む。動作中、第１の撮像装置は第１の観点から環境の少なくとも２つの基準画像を取得し、第２の撮像装置は第２の観点から環境の少なくとも２つの比較画像を取得する。プロセッサは少なくとも２つの基準画像内の第１の基準画像と少なくとも２つの比較画像内の第１の比較画像とから環境の第１の視差マップを合成する。プロセッサはまた、少なくとも２つの基準画像内の第２の基準画像と少なくとも２つの比較画像内の第２の比較画像とから環境の第２の視差マップを合成する。プロセッサは、第１の視差マップに少なくとも部分的に基づき対象の位置の第１の位置推定値を判断し、および第２の視差マップに少なくとも部分的に基づき対象の位置の第２の位置推定値を判断する。

いくつかのケースでは、プロセッサは第１の位置推定値と第２の位置推定値との差を推定し得る。プロセッサはまた、第１の位置推定値と第２の位置推定値との差を補正し得る。例えば、システムは、レーザ光により対象を照射するレーザと、対象により散乱および／または反射されたレーザ光を検出し、検出レーザ光に基づき対象までの距離を表す距離信号を提供するセンサとを含み得る。プロセッサは、距離信号と、第１の位置推定値、第２の位置推定値、または第１および第２の位置推定値の両方とを比較することにより、第１の位置推定値と第２の位置推定値との差を判断し得る。

本発明の他のいくつかの実施形態は、環境内の１つまたは複数の特徴を撮像するためのシステムおよび方法を含む。例示的なシステムは、第１の撮像装置と、第２の撮像装置と、第１および第２の撮像装置とに動作可能に接続されたプロセッサとを含む。動作中、第１の撮像装置は第１の観点から環境の少なくとも２つの基準画像を取得し、第２の撮像装置は第２の観点から環境の少なくとも２つの比較画像を取得する。プロセッサは、少なくとも２つの基準画像内の第１の基準画像と少なくとも２つの比較画像内の第１の比較画像とから環境の第１の視差マップを合成する。プロセッサはまた、少なくとも２つの基準画像内の第２の基準画像と少なくとも２つの比較画像内の第２の比較画像とから環境の第２の視差マップを合成する。プロセッサは、第１の視差マップおよび第２の視差マップ内の特徴を特定し、第１の視差マップと第２の視差マップとの間の特徴の外観の差を推定し得る。

本発明の実施形態はまた、レーザ光の走査ビームの位置ずれを検出するためのシステムおよび方法を含む。例示的なシステムは、レーザと、レーザと光学的に連通したおよび／または機械的に関連付けられたスキャナと、センサと、センサへ動作可能に接続されたプロセッサとを含む。動作中、レーザはレーザビームを供給し、スキャナはレーザ光の走査ビームを供給するようにレーザビームを走査する。センサは、環境内の少なくとも１つの対象により散乱および／または反射されたレーザ光を検出し、検出レーザ光の第１の測定を表す第１の信号と検出レーザ光の第２の測定を表す第２の信号とを提供する。プロセッサは、第１の信号に基づき環境の第１の表現を生成し、第２の信号に基づき環境の第２の表現を生成する。プロセッサは、第１の表現と第２の表現との少なくとも１つの差を推定し、および第１の表現と第２の表現との差に基づき、レーザ、スキャナ、および／またはセンサの位置ずれを判断する。いくつかのケースでは、プロセッサは、位置ずれを判断する際に第１の測定と第２の測定との間のレーザ、スキャナ、および／またはセンサの運動を考慮する。

いくつかの例では、センサはステレオ画像センサを含み、かつプロセッサは第１の表現および／または第２の表現に基づきステレオ画像センサを較正するように構成される。これらの例では、プロセッサは、第１の表現に少なくとも部分的に基づきレーザ、スキャナ、および／またはステレオ画像センサの第１の３次元位置を推定し得る。プロセッサはまた、レーザ、スキャナ、および／またはステレオ画像センサの第２の３次元位置推定値を判断するとともに第１の３次元位置推定値と第２の３次元位置推定値とに基づき差を推定し得る。

本発明の別の実施形態は、ステレオ撮像装置と距離計とを含む多重知覚（ｍｕｌｔｉ−ｓｅｎｓｏｒｙ）ステレオ視システムを較正する方法を含む。一例では、本方法は、好適なプロセッサまたは他のコンピュータ装置を使用して、ステレオ撮像装置により提供される視差マップから視差マップ内に現われる対象の第１の３次元位置推定値を判断する工程を含む。プロセッサはまた、距離計による測定から対象の第２の３次元位置推定値を判断する。プロセッサは、例えば視差マップにより画定されたボリューム上へ第２の３次元位置推定値の座標を投影するとともに第２の３次元位置推定値の座標と第１の３次元位置推定値の座標との間の距離を判断することにより、第１の３次元位置推定値と第２の３次元位置推定値との差を判断する。プロセッサは、第１の３次元位置推定値と第２の３次元位置推定値との差に基づき多重知覚ステレオ視システムを較正する。

いくつかのケースでは、プロセッサは、ステレオ撮像装置により第１の観点から観察された場面の第１の２次元画像とステレオ撮像装置により第２の観点から観察された場面の第２の２次元画像とを取得して第１の３次元位置推定値を判断する。プロセッサは、第１の２次元画像と第２の２次元画像とから視差マップを合成する。

距離計のいくつかの実施形態はレーザ距離計を含む。これらの実施形態では、第２の３次元位置推定値を判断する工程は、レーザ光により対象を照射し、対象により散乱および／または反射されたレーザ光を検出し、検出レーザ光に少なくとも部分的に基づき第２の３次元位置を判断する工程を含む。

本発明のさらに別の実施形態は、画像データに基づき環境の視差マップを生成する処理ユニットを含む。例示的処理ユニットは、少なくとも２つの撮像装置から画像データを受信する少なくとも１つのインターフェースと、画像データを整流（ｒｅｃｔｉｆｙ）するために少なくとも１つのインターフェースへ動作可能に接続された少なくとも１つの整流（ｒｅｃｔｉｆｉｃａｔｉｏｎ）処理ブロックと、画像データに基づき視差マップを生成するために少なくとも１つの整流処理ブロックへ動作可能に接続された少なくとも１つのステレオ処理ブロックとを含む。いくつかのケースでは、整流処理ブロックおよび／またはステレオ処理ブロックはフィールドプログラマブルゲートアレイ内に実現される。

例えば、インターフェースは第１のインターフェースと第２のインターフェースを含み得る。動作中、第１のインターフェースは画像データの第１の部分の第１の直列表現を画像データの第１の部分の第１の並列表現に変換する。第２のインターフェースは画像データの第２の部分の第２の直列表現を画像データの第２の部分の第２の並列表現に変換する。

ステレオ処理ブロックは、準グローバルブロック照合（ＳＧＢＭ）アルゴリズム、準グローバル照合（ＳＧＭ）アルゴリズム、および／またはステレオブロック照合アルゴリズムに従って視差マップを生成し得る。いくつかのケースでは、ステレオ処理ブロックは視差ボリューム（ｄｉｓｐａｒｉｔｙ ｖｏｌｕｍｅ）の動的再構成可能部分を探索する。１つのステレオ処理ブロックは、異なる分解能で画像データを処理するために動的に再構成され得る。処理ユニットはまた、少なくとも２つの撮像装置が画像データを取得するフレームレートを動的に変更し得る。

いくつかの実施形態では、整流ブロックは少なくとも１つのメモリツーメモリ（ｍｅｍｏｒｙ−ｔｏ−ｍｅｍｏｒｙ）ブロックを含む。このメモリツーメモリブロックは、フロントエンド、フロントエンドへ動作可能に接続された遅延線路、および遅延線路へ動作可能に接続されたバックエンドを含み得る。動作中、フロントエンドはメモリから画像データを取り出す。遅延線路は、メモリの遅延以上の期間の間少なくとも１つの画像処理コマンドを記憶する。バックエンドは、メモリから取り出された画像データに少なくとも部分的に基づき整流出力（ｒｅｃｔｉｆｉｅｄ ｏｕｔｐｕｔ）を生成する。

いくつかの処理ユニットはまた、画像データの並列表現を前処理するためにインターフェースへ動作可能に接続された少なくとも１つの前処理ブロックを含み得る。例えば、前処理ブロックは、データの並列表現のフィルタ処理、ヒストグラム生成、線形化、ビネット（ｖｉｇｎｅｔｔｅ）補正、モザイク解除、ホワイトバランス、および／または色空間変換を行い得る。

本発明のさらに別の実施形態はレーザ走査システムおよび方法を含む。例示的レーザ走査システムは、レーザ、レーザへ機械的に結合されたスピンドル、スピンドルへトルクを印加するギヤ、およびギヤとスピンドルとの間に圧縮された滑りクラッチ摩擦パッドを含む。動作中、レーザはレーザビームを生成する。スピンドルは、レーザビームを走査するように第１軸を中心としてレーザを回転させる。ギヤはトルクをスピンドルへ印加する。滑りクラッチ摩擦パッドは、ギヤにより印加されたトルクの少なくとも一部を最大閾値トルクまでスピンドルへ伝達するとともに、ギヤが閾値トルクを超えるトルクでスピンドルに対して滑ることができるようにする。いくつかのケースでは、閾値トルクは、温度とスピンドルに印可される力とに応じて一定のままである。

レーザ走査システムはまた、スピンドル、ギヤ、および滑りクラッチ摩擦パッドの少なくとも一部を含む筐体を含み得る。加えて、レーザ走査システムはまた、筐体に対するスピンドルの位置を測定するためにスピンドルへ機械的に結合されたエンコーダを含み得る。いくつかのケースでは、ギヤは、ワームギヤを駆動するとともにモータへ結合されたワームと噛み合うワームギヤであり、モータはワームギヤを駆動するようにワームを回転させる。レーザ走査システムはまた、モータの軸方向および半径方向運動を許容するためにモータへ機械的に結合されたコンプライアントモータマウントを含み得る。レーザ走査システムは、スピンドルへ機械的に結合されるとともにレーザと電気的に連通する滑りリングと、レーザに給電するために滑りリングを介しレーザと電気的に連通した電源とを含み得る。

本発明のさらに別の実施形態はステレオ視システムおよび方法を含む。例示的ステレオ視システムは、少なくとも１つの実装面を画定するとともに単一材料片で構成され得るユニタリフレームと、実装面へ取付けられる第１の撮像装置と、実装面へ取付けられる第２の撮像装置とを含む。ステレオ視システムはまた、第１の撮像装置と第２の撮像装置とへ動作可能に接続されたプロセッサと第２の撮像装置をプロセッサへ結合する可撓ケーブルとを含み得る。第１および第２の撮像装置は同じ平面、平行面、または交差平面内に配置され得る。第１および第２の撮像装置は、１または複数のボルトおよびピンを使用して実装面へ固定され得る。

動作中、第１の撮像装置は第１の観点から環境の第１の画像を取得し、第２の撮像装置は第１の観点と異なる第２の観点から環境の第２の画像を取得する。プロセッサは第１の画像と第２の画像とからステレオ画像データを生成する。

本発明のさらに別の実施形態はセンサシステムおよび方法を含む。一例では、センサシステムは、少なくとも１つのセンサと、空洞と少なくとも１つの外面とを画定する筐体と、空洞内の内壁であって外面と熱的に連通する内壁と、空洞内に配置されるとともに少なくとも１つのセンサへ動作可能に接続されたプロセッサと、内壁およびプロセッサに熱的に連通する熱伝導性材料とを含む。センサはプロセッサが処理するセンサデータを提供する。熱伝導性材料は、プロセッサにより発生された熱を放散するように内壁を介しプロセッサにより発生された熱を外面へ伝導する。

センサはまた、空洞内に配置され得、その両方が例えばピンおよび／またはボルトを使用して実装面へ取付けられる第１の撮像装置と第２の撮像装置とを含み得る。第１の撮像装置は第１の観点から環境の第１の画像を取得し、第２の撮像装置は第１の観点とは異なる第２の観点から環境の第２の画像を取得する。

別の実施形態では、センサシステムは、センサ、筐体、プロセッサを含む。筐体は、空洞を画定し、少なくとも１つの外面を画定する少なくとも１つの壁を含む。プロセッサは、壁に当接する空洞内に配置され、センサへ動作可能に接続される。動作中、プロセッサは熱を発生し、熱は壁を介し外面へ熱伝導によって放散される。

本発明の実施形態はステレオ視システムおよび方法を含む。一例では、ステレオ視システムは、筐体、筐体内に配置された第１のセンサアレイ、筐体内に配置された第２のセンサアレイ、筐体内に配置された光源を含む。動作中、第１のセンサアレイは、筐体内の第１の開口を介し第１の観点から環境の第１の画像を取得し、第２のセンサアレイは、筐体内の第２の開口を介し第１の観点とは異なる第２の観点から環境の第２の画像を取得する。光源は、筐体内の第３の開口を介し筐体の外の環境を照射する。いくつかの例では、ステレオ視システムはまた、第１の開口内に配置されるとともに第１のセンサアレイと光学的に連通し、環境の第１の部分を第１のセンサアレイ上へ撮像する第１のレンズと、第２の開口内に配置されるとともに第２のセンサアレイと光学的に連通し、環境の第２の部分を第２のセンサアレイ上へ撮像する第２のレンズとを含む。

先の概念と以下にさらに詳細に論述される追加概念とのすべての組合せ（このような概念は互いに矛盾しないという前提で）は本明細書において開示される本発明の主題の一部であるように企図されることを理解すべきである。特に、本開示の終わりに記載される、特許請求される主題のすべての組合せは本明細書において開示される本発明の主題の一部であるように企図される。参照により援用される任意の開示内にも記載され得る本明細書において明示的に採用される用語には本明細書に開示される特定概念に最も一致する意味を与えられるべきであることも理解すべきである。

本特許または出願ファイルは、色彩を付して作成された少なくとも１つの図面を含む。彩色図面が付された本特許または特許出願公開の写しは、請求および所要の手数料の納付により特許商標庁によって提供される。

当業者は、添付図面が主として例示目的のためのものであってここで説明する本発明の主題の範囲を限定するように意図されていないことを理解する。添付図面は必ずしも原寸に比例しない。場合によっては、本明細書で開示される本発明の主題の様々な態様は、様々な特徴の理解を容易にするために添付図面に誇張または拡大されて示されることがある。添付図面では、同様の参照符号は通常、同様の特徴（例えば、機能的に同様、および／または構造的に同様の要素）を指す。

本発明の実施形態による、フレームに取付けられたステレオ視センサとレーザ走査装置に取付けられたレーザ距離計とを備えた多重知覚ステレオ視システムを示す。 本発明の実施形態による図１Ａに示す多重知覚ステレオ視システムのブロック図である。 本本発明の実施形態による多重知覚ステレオ視システムのステレオセンサヘッドの斜視図であり、ステレオセンサヘッドとレーザ距離計および／または他の部品とを位置合わせするドエルピンを示す。 本発明の実施形態によるレーザアセンブリの位置合わせドエルピンまたは他のアタッチメントを含まないステレオセンサヘッドの斜視図である。 本発明の実施形態によるレーザアセンブリの位置合わせドエルピンまたは他のアタッチメントを含まないステレオセンサヘッドの斜視図である。 本発明の実施形態による、ユニタリフレームと、光源およびステレオカメラ用の別々の開口およびレンズと、内部熱伝導壁と、エレクトロニクスから熱を吐き出す熱伝導性パッドとを有するステレオセンサヘッドの断面図である。 本発明の実施形態による、ユニタリフレームと、光源およびステレオカメラ用の別々の開口およびレンズと、内部熱伝導壁と、エレクトロニクスから熱を吐き出す熱伝導性パッドとを有するステレオセンサヘッドの断面図である。 本発明の実施形態による、ユニタリフレームと、光源およびステレオカメラ用の別々の開口およびレンズと、内部熱伝導壁と、エレクトロニクスから熱を吐き出す熱伝導性パッドとを有するステレオセンサヘッドの断面図である。 本発明の実施形態による、ユニタリフレームと、光源およびステレオカメラ用の別々の開口およびレンズと、内部熱伝導壁と、エレクトロニクスから熱を吐き出す熱伝導性パッドとを有するステレオセンサヘッドの断面図である。 本発明の実施形態によるステレオセンサヘッド内部の光学部品列およびセンサアセンブリの断面図である。 本発明の実施形態によるステレオセンサヘッド内部の光学部品列およびセンサアセンブリの断面図である。 本発明の実施形態によるステレオセンサヘッドに使用される電子アセンブリへ嵌合された光学アセンブリの斜視図である。 本発明の実施形態によるステレオセンサヘッドに使用される電子アセンブリへ嵌合された光学アセンブリの斜視図である。 本発明の実施形態によるステレオセンサヘッドに使用される電子アセンブリへ嵌合された光学アセンブリの斜視図である。 本発明の実施形態によるステレオセンサヘッドに使用される電子アセンブリへ嵌合された光学アセンブリの斜視図である。 本発明の実施形態によるステレオセンサヘッドに使用されるエレクトロニクスアセンブリの平面図である。 本発明の実施形態によるステレオセンサヘッドに使用されるエレクトロニクスアセンブリの立面図である。 本発明の実施形態による多重知覚ステレオ視システムに使用するのに好適な別のステレオセンサヘッドの斜視図である。 本発明の実施形態による多重知覚ステレオ視システムに使用するのに好適な別のステレオセンサヘッドの断面図である。 本発明の実施形態によるレーザ走査装置および駆動系の図である。 本発明の実施形態によるレーザ走査装置および駆動系の図である。 本発明の実施形態によるレーザ走査装置および駆動系の図である。 本発明の実施形態によるレーザ走査装置および駆動系の図である。 本発明の実施形態によるグローバルまたは準グローバルブロック照合アルゴリズムを使用してステレオデータを処理するように構成されたプロセッサ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ））を示す。 本発明の実施形態によるグローバルまたは準グローバルブロック照合アルゴリズムを使用してステレオデータを処理するように構成されたプロセッサ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ））を示す。 本発明の実施形態によるグローバルまたは準グローバルブロック照合アルゴリズムを使用してステレオデータを処理するように構成されたプロセッサ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ））を示す。 ステレオセンサ較正のための処理を示すフローチャートである。 レーザセンサ（ライダ（ＬＩＤＡＲ））較正のための処理を示すフローチャートである。 レーザのステレオセンサ較正のための処理を示すフローチャートである。 ステレオ撮像システム内の左カメラにより取得された第１の画像を示す。 ステレオ撮像システム内の右カメラにより取得された第１の画像を示す。 ステレオ撮像システム内の左カメラにより取得された第２の画像を示す。 ステレオ撮像システム内の右カメラにより取得された第２の画像を示す。 図１３Ａおよび１３Ｂに示す画像に基づく視差マップを示す。 図１３Ｃおよび１３Ｄに示す画像に基づく視差マップを示す。 左右画像（上の左と右それぞれ）からの入力イメージ情報（下の左と右それぞれ）を有する視差マップとその情報を有しない視差マップとの合成を示す。 図１４Ａの視差画像上に重ねられた画像データを示す。 図１４Ｂの視差画像上に重ねられた画像データを示す。 図１４Ａに示す視差データの３Ｄ投影を示す。 図１４Ｂに示す視差データの３Ｄ投影を示す。 図１８Ａ−Ｂは、センサを煙で掩蔽した場合のレーザポイントクラウドデータおよびステレオ画像データから合成された画像と、センサを煙で掩蔽しない場合のレーザポイントクラウドデータおよびステレオ画像データから合成された画像とをそれぞれ示す。

今日まで、３Ｄステレオシステムと３Ｄライダシステムは、多くの用途には余りに大きく、余りに重く、余りにも大きな電力を消費してきた。本発明の実施形態は、多くの方法でこれらの課題に対処する。いくつかの例では、その結果として、センササイズ、重量、消費電力に関する制限を有する小さなロボット、車両、ヒューマノイド、および他の環境に採用されるのに十分小さく、十分に軽く、かつ十分に低電力の３Ｄセンサを提供する。従来のセンサと比較して、例示的３Ｄ感知システムは、ほぼ一桁小さくかつほぼ１０倍少ない電力を消費するパッケージ内に同様のまたは拡張された感知能力を提供する。いくつかの実施形態では、消費電力と寸法の低減は、埋込み型ＦＰＧＡ、一体化実装および構造フレーム、小型かつ効率的熱設計、小型かつ低電力かつ自己保護型駆動系の使用により実現される。

本発明のセンサの例は、ライダデータとステレオデータとを大領域マッピングにおいて特に有用な単一データストリームに融合する。ライダデータは、正確である傾向があるが、環境内のレーザの位置の連続的姿勢推定無しにそのデータ同士を縫合するのに十分に密でないことが時にある。ステレオデータは、十分に密な傾向があり、視認可能オドメータまたは３Ｄ特徴照合および追跡のいずれかによって連続的姿勢推測値を提供するのに十分なフレームレートを有する。加えて、ステレオデータはライダデータを検査および補正するために使用される、またその逆の場合も同じであり、スタンドアロン装置として存在し得るより幾何学的に正確で、安定で、かつ頑強なシステムをもたらし得る。

多重知覚ステレオ視システム
図１Ａおよび１Ｂは、小型かつ軽量なレーザ走査機構３００を介しライダへ機械的に結合されたステレオセンサヘッド２００を含む例示的多重知覚ステレオ視システム１００を示す。システム１００はまた、可視光および／または赤外線（ＩＲ）発光ダイオード（ＬＥＤ）４００を含む。図１Ａに示すように、ステレオセンサヘッド２００は、窓２０２ａおよび２０２ｂ（集合的に窓２０２）それぞれの後に取付けられたカメラ２１０ａおよび２１０ｂ（集合的にカメラ２１０）を含む。ステレオセンサヘッド２００はまた、それぞれがそれぞれの窓に取付けられた一対の垂直方向に取付けられたＬＥＤ４００を含む。

図１Ｂは、図１Ａに示すステレオ視システム１００のブロック図である。カメラ２１０に加えて、ステレオ視システム１００はまた、ＬＥＤドライバモジュール４１０と、好適なバスを直接介し互いに動作可能に接続されるとともにコネクタ１０２または他の好適なバスを介し１つまたは複数の外部部品へ動作可能に接続される処理モジュール５００とを含む。ＬＥＤドライバモジュール４１０は、主基板５００へ電力をまとめて供給するヒューズおよびフィルタ４１２と１２ＶのＤＣ／ＤＣ変換器４１４とを含む。複数のＬＥＤドライバ４０２は、それぞれのＬＥＤ４００を駆動するためにヒューズ付きフィルタリング済み電力を引き出す。処理モジュール５００は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）として図１Ｂに示すプロセッサ５１０、メモリ（図示せず）、データ接続５１２、補助入力および出力５１４、慣性測定ユニット（ＩＭＵ）部品５１６、電力監視装置５１８を含む。当業者により容易に理解されるように、処理モジュール５００はまた、ＦＰＧＡの代わりにまたはそれに加えて特定用途向け集積回路（ＡＳＩＣ）などの他の部品を含む。

図１Ｂはまた、各カメラ２１０が、ＣＭＯＳＩＳ ＣＭＶ２０００／４０００センサなどのそれぞれの撮像装置２１２ａおよび２１２ｂ（集合的に撮像装置２１２）と、それぞれの撮像装置プリント回路基板（ＰＣＢ）２１４ａおよび２１４ｂ（集合的に撮像装置ＰＣＢ２１４）と、それぞれの窓２１６ａおよび２１６ｂ（集合的に窓２１６）とを含むことを示す。カメラ２１０は、図１Ｂに示すようなそれぞれのトリガおよび信号線を介し処理ユニット５００内のプロセッサ５１０へ動作可能に接続される。

ステレオカメラアセンブリ
プリント回路基板（ＰＣＢ）とセンサおよび光学素子とのピン止めおよび重ね合わせ（一体型光学フレーム／サブアセンブリ）
ステレオシステムを製作することの難しい一面は、較正モデルの精度を長期にわたって保証することである。レンズまたは撮像装置のいかなるずれも光学的歪みまたはずれを引き起こし得、較正モデルは最早そのユニットの特性に一致しない。これは、左右像の特徴を照合する際の困難と、結果として得られる視差マップの精度と完全性の損失とをもたらす。

伝統的に、ステレオカメラはカメラを共通筐体へ別々に取付けてきた。したがって、これらの２台のカメラ間の位置合わせはボルト、ドエルピンまたはその両方により維持される。撮像装置に対するレンズの各カメラ内の位置合わせもまたボルト、ドエルピンまたはその両方により維持される。これらの場所のそれぞれでは、外部衝撃が部品のずれと較正精度の損失とを引き起こす可能性がある。

独創的ステレオカメラセンサユニットは、撮像装置またはレンズのずれを防止するために多くの設計措置を取り入れる。第１に、個別部品実装の代わりに一体成型光学サブフレームが使用される。これは、両方の撮像装置と両方のレンズが単一機械加工部品へ直接取付けられることを意味する。これにより、従来の個別実装より正確な初期実装と長期にわたる正確な位置合わせとを可能にする。

例えば、両方の撮像装置は、光学サブフレームの単一面へ直接ボルト締めにされるため、互いに同一面内に存在することが保証される。従来の個別実装は、一方の撮像装置が他方の撮像装置の前方または後方に存在することまたはわずかな角度で傾斜されることを許容する。これらの種類の取付け誤差はシステムの較正モデルの要素に入れられ得、それらの影響は結果として得られるデータから除去され得るが、正確なレンズと撮像装置との位置合わせを有するほうが好適であり得る。

加えて、光学サブフレームは個別実装より長期にわたってより良好な較正精度を維持する。これは、レンズと撮像装置と左右レンズ／撮像装置ペアとの間のボルトまたはドエルピンの数の低下による。接続の数が減少するため、システムはより頑丈になり、取付けと位置合わせは長期にわたってより安定する。

図２Ａはステレオセンサヘッド２００の斜視図であり、プラスチック、金属または任意の他の好適な材料で作られ得るセンサヘッド外部筐体２０４を示す。筐体２０４は、単一材料片から成形または機械加工され得るまたは複数の材料片から形成され得る。筐体２０４は、レーザ走査機構３００上にレセプタクル（図示せず）に嵌め込まれたドエルピン２０６ａおよび２０６ｂ（集合的にドエルピン２０６）および／またはステレオセンサヘッド２００をレーザ走査機構３００（図１Ａ）へ位置合わせするための他の機構を含む。筐体２０４はまた、密閉通路２０８、またはセンサヘッド２００から外部電源、プロセッサ、メモリ、アンテナ、通信インターフェースまたは他の電気的および／または機械的部品へのケーブルを走らせるための他の開口を画定し得る。

図２Ｂおよび２Ｃは、位置合わせドエルピンまたはレーザアセンブリ用の他のアタッチメントを含まないステレオセンサヘッド２５０の図を示す。図２Ａに示すステレオセンサヘッド２００のように、ステレオセンサヘッド２５０は、単一材料片から成形または機械加工され得るまたは複数の材料片から形成され得る筐体２５４を含む。組立てられると、筐体２５４は、カメラ２１０および関連エレクトロニクス（図示せず）を保持するための空洞と、カメラ２１０、照明、電力／データコネクタ１０２およびＬＥＤコネクタ用の開口とを画定する。

図７Ａおよび７Ｂは、図２Ａに示す筐体２０４より広い筐体７０４を有する別のステレオ視システム７００を示す。筐体７０４は、静的Ｏ−リング、窒素空気抜き弁、および／またはその後面パネル上の圧力弁により密閉され得る。筐体７０４は、固体キーロックインサート（図２Ｃではより狭い筐体２０４の左右後縁部上にも視認可能）と高精度位置合わせ用ドエルピンとを有するマウント７０６を含む。この筐体７０４はまた、それぞれのカメラ７１０ａ、７１０ｂ（集合的にカメラ７１０）用の一対の窓７０２ａおよび７０２ｂ（集合的に窓７０２）を含む。これらのカメラ７１０は、コネクタ７２０ａおよび７２０ｂと接続する１つまたは複数の可撓リボンケーブルを介しプロセッサへ結合され得る。他の例と同様に、窓７０２は、低光学歪みを有する耐衝撃性ガラスまたはプラスチックで作られ得る。しかし、この場合、窓７０２とカメラ７１０は、より広い基準線を提供するためにより広く分離され、ひいては３Ｄ深さ精度を改善し、利用可能範囲を増加する。加えて、筐体７００は、カメラ７１０間の水平方向に分散されたそれぞれの窓７１４の背後に４つのＬＥＤアレイ７１２を含む。これらのＬＥＤアレイ７１２は、可視光照明、ＩＲ照明、または画像忠実度の改善と高精度なピント調整のための可視光照明とＩＲ照明との組合せを提供し得る。

フィールドプログラマブルゲートアレイから熱を伝導する熱伝導性パッド
システムの最大の発熱体は、主処理フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）を含み得るプロセッサ５１０である。適切に冷却されなければ、プロセッサ５１０は、システムが高周囲温度で動作されれば過熱して物理的障害を受け得る。プロセッサ５１０は密閉筐体内部に存在するため、プロセッサ５１０から熱を除去することは難しい可能性がある。

図３Ａ〜３Ｄは、センサヘッド２００の断面図を示す。これらの図は、処理ユニット５００、撮像装置２１２、撮像装置ＰＣＢ２１４を含むエレクトロニクスアセンブリ６００を示す（図６Ａおよび６Ｂにおいてより詳しく示す）。図３Ａおよび３Ｃに示すように、ユニタリフレーム２４０は撮像装置２１２をそれぞれの光学素子（図４Ａに示すレンズ２３０）に対し適所に保持する。ユニタリフレーム２４０は、温度変動がステレオ撮像精度に影響を与えるのを防止するために撮像装置２１２が互いに位置合わせされたままであることを保証するように比較的低い熱膨張率を有する単一材料片（例えば、プラスチックまたは金属の材料片）から機械加工、成形、またはそうでなければ作製され得る。フレーム２４０は、撮像装置２１２とその実装用ＰＣＢ２１４とがボルト締めされる離散面内実装面２６０または単一連続的実装面を有し得る。撮像装置２１２と撮像装置ＰＣＢ２１４とを単一ユニタリフレーム２４０上の面内実装機構２６０へボルト締めしピン止めすることにより、撮像装置２１２の実装精度と実装安定性とを改善する。これにより、システムの較正が長期にわたって高精度となるため、より高品質の３Ｄデータが得られる。いくつかの実施形態では、エレクトロニクスアセンブリ６００は、撮像装置２１２と光学素子間のより高い位置合わせ精度のためにユニタリフレーム２４０へ直接取付けられる。

図３Ａ〜３Ｄはまた、プロセッサ５１０（例えば、ＡＳＩＣまたはＦＰＧＡ）と筐体２０４内に組込まれる熱伝導壁２８０間の熱伝導性パッド２８２を示す。この内壁２８０は、外部環境へ直接露出されないが、多くの外面を有する筐体２０４の一部である。したがって、プロセッサ５１０からの熱はパッド２８２を通り内壁２８０を加熱する。熱は、壁２８０を貫流し、その多くの外面を介し熱を外界へ放散する筐体２０４の残りの部分へ流れる。いくつかのケースでは、外壁は熱放散を増加するための１つまたは複数のフィン７２４（図７Ｂ）を含み得る。全体として、この設計は、熱源（例えば、プロセッサ５１０）と外界との間に低インピーダンスを有する熱経路を生成する。この設計は、ファンなどのいかなる能動的冷却措置も必要とせず、システムの密閉完全性を維持する。他の実施形態では、筐体２０４は、プロセッサ５１０が外壁と当接してプロセッサ５１０と外部空気間の熱経路の長さを低減するように構成され得る。

ステレオ視用光学アセンブリ
図４Ａ、図４Ｂおよび図５Ａ〜５Ｄは、ステレオセンサ２００内のカメラ２１０のうちの１つのカメラ２１０の光学アセンブリ２２０の様々な図を示す。図４Ａに示すように、光学サブアセンブリ光学素子２２０は１つまたは複数のレンズ２３０および／または撮像装置２１２上に場面を撮像するための他の光学素子を含む。光学サブアセンブリ２２０はまた、Ｏ−リングシール２２２を使用することにより筐体２０４に対して配置されるカスタム窓２０２を含む。フォーム２２６は光を遮断するとともに、画質を低減し得る反射を防止し、フォーカスシム２２８は筐体２０４と撮像装置２１２に対してレンズ２３０を適所に維持する。ドエルピン２６２は各撮像装置２１２をユニタリフレーム２４０に対し位置合わせし、ボルト２６４は撮像装置２１２をユニタリフレーム２４０へ固定する。

ライトとセンサレンズ用の別々の窓
図７Ａおよび７Ｂに示すように、ステレオセンサヘッド７００は撮像装置光学素子とシステム照明用の別々の光学窓を有し得る。出射照明は、窓から、光源（例えば、発光ダイオード）を保持する空洞内へ部分的に反射され得る、または窓自体により吸収され得る。窓内で失われる照明は、埃、水、汚れ、または任意の他の破片粒子（ビーム出射位置から直線的にオフセットされた破片粒子も）を照らし出す。したがって、撮像光学素子と同じ窓の背後の照明がシステムレンズの視野内の破片を照らし出し、照明されない破片より大きな場面干渉を引き起こし得る。失われた照明が画質を劣化させるのを防止するために、本システムはレンズと照明の前に別々の窓を採用する。

照明光源（ＬＥＤ群７１２）の前の窓７１４は照明をある程度拡散するために艶消しされ得る。艶消しは、陰の鮮鋭度を減少させ、放射光をよりソフトにしかつ余り強くさせなく、配光内の「ホットスポット」を低減する。この散乱光は、より均一な照明を提供するとともに陰影を減らすことによりステレオアルゴリズムが左右の特徴を照合するのをより容易にし得る。

照明
システムの照明の視角がレンズと撮像装置の視野を厳密に一致させる。これは、「システムが、ユーザまたはステレオカメラに光学的視認可能でない場面の部分を照らす電力を浪費しない」ことを意味する。その結果、システム電力効率が高くなる。

システムは、可視光照明、赤外線照明、または可視光照明とＩＲ照明の両方を提供する光源を含み得る。撮像装置はＩＲに敏感であり、ＩＲ照明の選択肢は、システムが夜間に可視光照明無しに動作できるようにする。

様々な基準線を可能にする分離可能撮像装置基板
図６Ａおよび６Ｂはエレクトロニクスアセンブリ６００をさらに詳細に示す。エレクトロニクスアセンブリ６００は、画像センサアレイ２１２、イメージセンサＰＣＢ２１４、処理ユニット５００を含む。これらの部品は機械的に、熱的に、電気的に主ロジックＰＣＢ２９０へ結合され、主ロジックＰＣＢ２９０はまた、能動電子部品と様々なデータおよび電源接続２９４とへ電力を供給する電源２９２を支持する。図６Ａに示すように、ＰＣＢ２９０は、長さ約４インチ（１０．１６ｃｍ）、高さ約４２インチ（１０６．６８ｃｍ）と比較的小さくなり得る。

撮像装置プリント回路基板（ＰＣＢ）は主ロジックＰＣＢ２９０およびプロセッサＰＣＢ（処理モジュール）５００とは別であり、これにより新しいシステム基準線（幾何学形状）へのより容易な適応だけでなくより厳しいシステム実装も可能にする。図６Ａ、６Ｂに示すように主ロジックＰＣＢ２９０へ直接差し込む撮像装置ＰＣＢ２１４の代わりに、一方または両方の撮像装置ＰＣＢ２１４は、フレキシブルリボンケーブルまたは他の好適なフレキシブル、拡張可能または伸張可能コネクタを介し主ロジックＰＣＢ２９０へ接続され得る。例えば、図７Ｂは、フレキシブルリボンケーブルを介し撮像装置（符号で示されない）を主ロジックＰＣＢ２９８へ結合するためのコネクタ７２０ａおよび７２０ｂを示す。これらのケーブルは様々な長さで構築され得、システム基準線が数インチから数フィート（例えば、６〜１０フィート（１８２．８８〜３０４．８０ｃｍ））まで変化できるようにする。プロセッサロジック５００はプロセッサ５１０と左右カメラ２１０間の電気的長さの差に若干依存して変わる。電気的長さの差を考慮するために、プロセッサ５１０は、カメラ２１０がそれぞれのトリガ信号を同時に受信するようにトリガ信号をより近いカメラ（例えば、カメラ２１０Ｂ）へ送信する若干前（例えば、数ナノ秒前）に遠いカメラ（例えば、カメラ２１０ａ）のトリガ信号を送信し得る。加えて、プロセッサ（ＦＰＧＡ）５１０上のクロック回復ロジックは同様に、左右カメラ２１０間のクロックオフセットを補償するために修正され得る。撮像装置２１２はまた、このような配置を支援するのに十分広い基準線を有するステレオヘッド内にフレキシブルケーブルおよび／または専用撮像装置ＰＣＢを使用することなく主ロジックＰＣＢ２９０上に直接取付けられ得る。

レーザ距離計とレーザ走査機構
図８Ａ〜８Ｄは、低電力消費（例えば、約２ワット〜約１５ワット）、低回転速度（例えば、０〜６０ｒｐｍ）、低スピンドルバックラシッシュ（例えば、約０．１度〜約０．５度）で動作する小型軽量レーザ走査機構３００を示す。動作中、レーザ走査機構３００は、通常は２Ｄレーザ距離測定センサから３Ｄ範囲の部分的球面を生成するために、レーザ３１０から発射された（例えば、最大約１８０または２７０度の）平面レーザビームを掃引または走査するように第１軸３を中心としてレーザ３１０を振動または連続的回転させる。レーザビームは、危険を生じることなく確実に検出可能な戻り光を生成するのに十分に高い電力において眼に安全な波長（例えば、９５０ｎｍなどスペクトルの近赤外部内の波長）であり得る。スポットサイズとビーム広がり角は、光学技術分野において理解されるように、高精度な距離測定を保証するように選択され得る。

レーザ走査機構３００は、外界と機構空洞３２１間の第１のシール３８０と機構空洞３２１とエレクトロニクス空洞３２３間の第２のシール３３７とを含み、また、電気的開口（図８Ｂの配線通路３６０）により連続的スピンドル回転を与える。走査機構３００とそのギヤ列は外部負荷特には小さなギヤ歯を損傷し得る衝撃から保護される。

一実施形態では、走査機構３００は単一段ワーム減速ギヤを含む。単一噛み合いでの高いギヤ減速比（例えば、５０：１）のために、低バックラシッシュが得られる。フローティングワーム３３０は、アセンブリが適所でボルト締めされる前にギヤ位置の調整を可能にするため、標準的ワーム駆動系を越える改善されたバックラシッシュ（バックラシッシュは機構の部品間の遊びの程度である）を提供する。このフローティングワーム３３０は、モータ３５２、ワーム軸３３１、および密封軸受け３４０を有するサブアセンブリ３３２と、サブアセンブリ３３２と他の部品とを含む筐体３７０とを含む。サブアセンブリ３３２はセンサユニット内に設置され、そのワーム３３０は大きなワームギヤ３２４と噛み合う。バックラシッシュは、サブアセンブリ３３２の左右および上下の小さな動きにより調整され得る。バックラシッシュが低減または最小化されると、サブアセンブリ３３２は１つまたは複数のワーム取付けボルト３３４により適所でロックされる。

走査機構３００は、コンプライアントモータマウント３５０と、軸３３１上の２つの軸受けと、軸３３１内に押し込まれるモータ軸上の２つの軸受けとを含む。動作中、コンプライアントモータマウント３５０は軸３３１の過剰制動を防止する。このコンプライアントモータマウント３５０は、回転に抵抗しながらモータとモータ軸が軸方向および半径方向へ動けるようにし、トルクがワーム軸３３１へ伝達されるようにする。コンプライアントモータマウント３５０は、鋼、プラスチック、または任意の他の好適な材料で作られ得る。

ワーム３３０とワームギヤ３２４を含む機構空洞３２１とモータ３５２を含むエレクトロニクス空洞３２３との間の密閉性を維持するために、走査機構３００は以下のものを含む：主スピンドル３２２上の密封軸受け；フローティングワームサブアセンブリ３３２上の密封軸受け；フローティングワーム筐体３３６内に設計された静的孔シールであって、バックラシッシュ調整を可能にするためにフローティングワームアセンブリ３３２が若干移動されることを依然として可能にする一方で主筐体３７０へ密封される静的孔シール。加えて、電気的開口により連続的機械的回転を可能にするために滑りリング３２６がシステムの中空スピンドル３２２内に埋め込まれる。

ワームギヤ３２４内の滑りクラッチ３２５は、外部からのねじり衝撃または衝撃負荷の場合にワームギヤの歯とワームの歯を機械的損傷から保護する。滑りクラッチ３２５は、スピンドル３２２とワームギヤ３３０間にはさまれた摩擦パッド３２８と、ワームギヤ３２４を摩擦パッド３２８内に押し込む１つまたは複数のばね３８８と、ばね３８８を圧縮する一連のスペーサ（シムスタック３８６）および軸受けとを含む。摩擦パッド３２８は繊維ガラス、Ｇ１０ Ｇａｒｏｌｉｔｅ、ブレーキパット材料、または高摩擦、低圧縮性または非圧縮性、高表面耐久性、強度（摩耗を防止する）を示す任意の他の材料で作られ得る。ワームギヤ３２４、摩擦パッド３２８、スピンドル３２２間の回転抗力未満の回転負荷は、あたかもこれらすべてがまとめて強固にボルト締めされたかのようにこのシステム内を伝達される。しかし、より大きな回転負荷はワームギヤ３２４がスピンドル３２２に対し滑り始めるようにさせ、したがって、ワーム３３０とワームギヤ歯は高負荷（衝撃負荷にも）に晒されない。この滑りクラッチは、システムが動力運動を受けているときとシステムの電源が切られたときに動作する。高負荷条件が除去されると、ギヤ列はあたかもいかなる事象も発生しなかった（いかなる部品も、置換、リセット、修理される必要がない）かのように正常回転を再開する。

図８Ｃおよび８Ｄは、駆動系がまた、エンコーダマウント３９０と、レーザデータを３Ｄ空間へ高精度に投影するためにスピンドル位置を測定する絶対軸位置エンコーダ３９２とを含み得ることを示す。カスタムエンコーダマウント３９０は、スピンドル３２２へボルト締めされ位置合わせされるフランジを含む。絶対軸位置エンコーダ３９２は、カスタムエンコーダマウント３９０とスピンドル３２２間にはさまれた穿孔または印付きリングを含む。動作中、フォトダイオードまたは他のセンサは、スピンドルの角度位置の指標を提供する絶対軸位置エンコーダ３９２上のマーキングを感知する。

プロセッサ実施形態
図９Ａ〜９Ｃは、独創的センサユニットに使用するのに好適なＦＰＧＡまたはＡＳＩＣを利用したプロセッサ５１０の実施形態を示す。このプロセッサ実施形態は、ステレオカメラ２００のイメージセンサ２１０への１つまたは複数の撮像装置インターフェース５２０ａおよび５２０ｂ（集合的にインターフェイス５２０）を含む。前処理ブロック５２２ａおよび５２２ｂ（集合的に前処理ブロック５２２）は、イメージセンサ２１０から低電圧差動信号伝達（ＬＶＤＳ）線上の直列データを受信し、直列データを処理パイプラインの残りのための標準並列表現へ変換する。撮像装置インターフェース５２０は動的クロック／データアライメントを行う。撮像装置インターフェース５２０はまた、既知のフォーマットの入力直列データにロックするとともに直列データ内の誤差を検出する役割を果たす。

図９Ｂに示すように、前処理ブロック５２２はまた、限定しないが以下の多種多様な前処理タスクのうちの任意の１つを行うように構成され得る。
・雑音除去：固定パターン雑音を除去し（ブロック９０２）、ランダム雑音をフィルタ除去する（ブロック９１４）；
・クリッピング、黒レベル検出、自動露光、自動利得などのためのヒストグラム生成（ブロック９０４）；
・線形化：高ダイナミックレンジ（ＨＤＲ）空間（ＨＤＲ撮像が可能にされれば）から線形強度空間へ変換する（ブロック９０６）；
・ビネット補正：レンズに起因する画像のぼやけた端／角を補正する（例えば、参照テーブル内に蓄積されたデータに基づき）（ブロック９０８）；
・モザイク解除：例えば全体として参照により本明細書に援用する“Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｕｓｉｎｇ ａ Ｔｈｒｅｓｈｏｌｄ−ｂａｓｅｄ ｖａｒｉａｂｌｅ ｎｕｍｂｅｒ ｏｆ ｇｒａｄｉｅｎｔｓ”ａｌｇｏｒｉｔｈｍ（ＶＮＧ）：ｈｔｔｐ：／／ｓｃｉｅｎ．ｓｔａｎｆｏｒｄ．ｅｄｕ／ｐａｇｅｓ／ｌａｂｓｉｔｅ／１９９９／ｐｓｙｃｈ２２１／ｐｒｏｊｅｃｔｓ／９９／ｔｉｎｇｃｈｅｎ／ａｌｇｏｄｅｐ／ｖａｒｇｒａ．ｈｔｍｌを使用することによりベイヤカラー画像をフルカラー画像に変換する（ブロック９１０）；
・色空間変換：センサのＲＧＢ色空間をパイプライン使用（例えば、ＲＧＢまたはＣＩＥＬＡＢ）のために標準的色空間に変換する（ブロック９１２）；
・白バランス：場面照度と一致するように色を調整する（ブロック９１２）；
・フィルタ処理／サブサンプリング：平滑化と次にサブサンプリングにより画像解像度を低減する（例えば、ユーザが最高分解能より低い分解能を要求すれば）（ブロック９１６）。

図９Ｃに示すように、プロセッサ５１０はまた、例えば、カメラ毎に別々の整流ブロックを使用することによりまたは左右ステレオカメラにより共有される単一の純粋なメモリツーメモリブロック５２４を使用することによりカメラ２１０からのデータに対して整流を行い得る。この整流メモリツーメモリブロック５２４は、直接メモリアクセス（ＤＭＡ）バス５９０へのそれ自体の接続を有し得る（前処理はまた、ＤＭＡバスへ直接接続し得る）。プロセッサ資源を節約するために、単一の整流ブロック５２４は左右両方の画像経路間で共有される。

整流モジュール５２４は、レンズにより導入されるいかなる歪みも除去するように画像データを変換する。パックコマンドストリーム（ｐａｃｋｅｄ ｃｏｍｍａｎｄ ｓｔｒｅａｍ）は、少数の絶対座標が散りばめられた一連の相対座標として、入力画素座標を効率的にエンコードするために使用される。コマンドデコーダ９５２は、ＤＭＡバス５９０を介しメモリ５１４からこのコマンドストリームを読出し、それを一連の純粋絶対画素座標にデコードする。他の実施形態は、上記コマンドストリームを除去することによりメモリ帯域幅を節約するために、および全コマンドストリームを再生成する必要無く較正を微調整できるようにするために（全コマンドストリーム再生成は高価な処理である）、較正パラメータから直接、座標を動的に生成し得る。

図９Ｃに示す整流モジュール５２４実施形態は、元画像を採取するために双線形補間を利用し、メモリアクセス効率を改善するためにキャッシュに依存する。マルチバンクキャッシュ９６４は、（双線形補間に必要な）４つの入力画素すべてが同時に読出されるようにする。本設計は完全パイプライン式であり、ほぼ１画素周期のスループットを維持し得る。キャッシュタグ参照とキャッシュデータ読出し間の遅延線路は、データが実際に必要とされる前にキャッシュミスが解決されるようにする。

いくつかの実施形態では、遅延線路は、整流ブロック５２４のフロントエンド９５４とバックエンド９５８間に配置されたファーストインファーストアウト（ＦＩＦＯ）コマンドバッファ９６０であり得る。フロントエンド９５４はコマンドデコーダ９５２から画素座標を受信し、所与の出力画素の入力画素を判断し、次に、それらの入力画素が整流ブロックのキャッシュ９６４内に既に存在するかどうかを判断するために整流ブロックのキャッシュタグ９５６をチェックする（キャッシュタグ９５６は、（１）フロントエンド９５４がどの要求をＤＭＡコントローラ９６２へ送信すべきかが分かるように、（２）いつ特定のキャッシュエントリを参照する未発行コマンドが最早存在しなくなったかをＤＭＡコントローラ９６２が知り、したがってそのエントリに安全に上書きできるように、（３）いつＤＭＡコントローラ９６２がキャッシュ９６４内に新しいエントリをフェッチし終えたかをバックエンド９５８が分かるように、キャッシュ９６４内に現在存在するものを追跡する）。それらの入力画素が整流ブロックのキャッシュ内に存在しなければ、フロントエンド９５４は、ＤＭＡバス５９０を介し欠落画素をフェッチするために主メモリ（５１４）へ１つまたは複数の読出し要求を発行するようにＤＭＡコントローラ９６２に指示する。バックエンド９５８は、出力画素を生成するために入力画素（双線形サンプリングのための入力画素のうちの４つ）を使用する。主メモリは遅いことがあり得（例えば、１００サイクルを超える遅延を有することがあり）、バックエンド９５８を停止することは望ましくないことがあり得るため（例えば、所望平均スループットはパイプラインを円滑に動かすために１画素／サイクルに近いことがあり得るため）、主メモリから欠落した画素をフェッチすることに伴う遅延を隠すことが望ましいことあり得る。

いくつかの実施形態では、整流は分岐依存性または画素間依存性の無い極めて逐次的な処理であるため、メモリ遅延を隠すことはフロントエンドからバックエンドへ行く命令を遅らせることにより達成され得る。例えば、コマンドは、バックエンドが新しいデータを必要とする前にメモリ読出しが完了するという合理的確実性を提供するために、遅延線路（ＦＩＦＯバッファ９６０）をワーストケースメモリ遅延以上の期間の間使用することにより遅延され得る。

プロセッサ５１０はまた、カメラから前処理および整流されたデータをステレオ画像に変換するためにステレオアルゴリズムブロック５９２を使用することにより好適なステレオ処理アルゴリズムを実施する。例えば、プロセッサ５１０はオープンソースコアを使用することによりステレオブロック照合（ＳｔｅｒｅｏＢＭ）アルゴリズムを実施し得る（例えば、その全体を参照により本明細書に援用するｈｔｔｐ：／／ｄａｎｓｔｒｏｔｈｅｒ．ｃｏｍ／２０１１／０６／１０／ｆｐｇａ−ｓｔｅｒｅｏ−ｖｉｓｉｏｎ−ｃｏｒｅ−ｒｅｌｅａｓｅｄ／を参照）。プロセッサ５１０はまた、準グローバルブロック照合アルゴリズム、グローバルブロック照合アルゴリズムを実施し得る（例えば、その全体を参照により本明細書に援用するｈｔｔｐ：／／ｗｗｗ．ｄｌｒ．ｄｅ／ｒｍ／ｅｎ／ＰｏｒｔａｌＤａｔａ／３／Ｒｅｓｏｕｒｃｅｓ／ｐａｐｅｒｓ／ｍｏｄｅｌｅｒ／ｃｖｐｒ０５ｈｈ．ｐｄｆを参照）。

いくつかのケースでは、ステレオ処理ブロック５９２は、（図９Ｂに示す前処理パイプラインにより生成された未封止またはスケーリング済み画像（ｕｎｓｅａｌｅｄ ｏｒ ｓｃａｌｅｄ ｉｍａｇｅｓ）を取り扱う要求または必要に応じて）様々な解像度画像入力を処理できるようにするために動的に再構成され得る。より高い分解能入力はより多くの３Ｄ点とより高い深さ精度をもたらすがより多くの処理を必要とする。ステレオ処理ブロック５９２はまた、様々な視差範囲（ボリューム）を探索するために動的に再構成され得る。より大きな視差探索範囲はより大きな奥行き範囲を生じるがより多くの処理を必要とする。ステレオ処理ブロック５９２は、独立調整済み画像幅、像高、視差探索範囲を考慮し得る。画像解像度と視差探索範囲とを動的に調整することができることで、ステレオ処理ブロック５９２が分解能、範囲、フレームレート間のリアルタイムバランシングを行えるようにする。ステレオ処理ブロック５９２自体は必ずしも画像データをスケーリングする役割を果たさないことに留意されたい。画像スケーリングは図９Ｂに示す前処理パイプラインにおいて行われ得る。

探索視差範囲を動的に再構成する能力は、プロセッサ５１０に３Ｄ深さのうちのどれだけが探索されるかを調整できるようにする（より大きな視差探索範囲は、計算の増加を犠牲にしてカメラに近い対象を確実に感知する能力をもたらす）。探索深さ／視差ボリュームは通常、無限後方からセンサ方向に広がる（０の視差は無限大を表し、増加する視差は徐々に近くなる点を表す）。視差探索範囲が増加するにつれて、探索深さボリュームの近端はセンサへより近づく。

加えて、プロセッサ５１０は、標準パイプラインフォーマットを取り、それをイーサーネット接続（イーサーネットＭＡＣ５６０）上で送信する前にユーザ要求フォーマット（例えば、色空間、分解能、バイトフォーマット）へ変換する出力フォーマット化ブロック５７２を含み得る。プロセッサ５１０はまた、中央処理装置（ＣＰＵ）５４２からネットワークパケットの生成をオフロードするネットワークプロトコルオフロードブロック５７０を含み得る。プロセッサ５１０は、ハリスコーナアルゴリズム（Ｈａｒｒｉｓ Ｃｏｒｎｅｒｓ ａｌｇｏｒｉｔｈｍ）または任意の他の好適なアルゴリズムを使用して画像内の「特徴」（例えば、複数フレームにわたって追跡するのに比較的一意的でありかつ好適な点）を検出する特徴検出ブロック（追加アルゴリズムブロック５９４）を含み得る。プロセッサ５１０はまた、特徴検出ブロックへ結合された特徴追跡ブロックを含み得る。特徴追跡ブロックは検出された特徴を取り出しフレーム間でそれらを照合することを試みる。どのように特徴がフレーム間で動いたかを知ることにより、カメラの運動を推定することが可能である。

当業者により理解されるように、ファームウェアはＦＰＧＡロジックで実現される画像処理パイプラインを構成し監視し得る。例示的ファームウェアは、ＦＰＧＡ内の単純なソフトコアＣＰＵ（Ｘｉｌｉｎｘ Ｍｉｃｒｏｂｌａｚｅ）５４２上で実行し得る。標準Ｘｉｌｉｎｘ提供周辺装置は以下のものを含むシステムの残りを構築するために使用され得る：ＤＲＡＭコントローラ５６４、ＡＸＩ ＤＭＡバス５９０、イーサーネットＭＡＣ５６０、および補助Ｉ／Ｏソース（例えば、Ｉ２Ｃ、ＲＳ２３２など）へ結合された低速入／出力（Ｉ／Ｏ）ドライバ５４０。

センサ較正
較正誤差の検出
信頼性の一様相は、システム誤差を検出するとともに適切に応答することができることである。屋外センサ（特には、カメラを含むセンサ）のシステム誤差の源は較正ドリフトである。衝撃、振動、熱効果はすべて、内部部品の相対位置に影響を与え、センサ幾何学形状と撮像パラメータの（場合によっては望ましくない）変化を生じ得る。これらの較正誤差を考慮するために、本システムは以下に述べるような１つまたは複数の組のパラメータを検出し得る：ステレオカメラの投射幾何学形状とレンズ歪みとを記述するパラメータ；スピンドルに対するレーザ走査装置の位置と配向を記述するパラメータ；およびステレオカメラに対するスピンドルの位置と配向を記述するパラメータ。

画像一貫性評価：ステレオカメラの投射幾何学形状とレンズ歪み
独創的センサユニット内のカメラは、観測されている対象の３Ｄ位置と左右画像内に投影される２Ｄ位置との既知関係を設定するように較正され得る。対象の投影位置が期待に合わない場合、同カメラは較正に関する問題を示す。例えば、カメラが正常に較正されると、景色内の対象は左右画像内の同じ走査線上に現われる。右画像内よりむしろ左画像内で異なる走査線上に現われる対象を観察することにより、システムは較正ドリフトを検出し得る。同様に、カメラが正常に較正されると、はるか遠くの対象は各画像内の同じ左右の位置に現われる。対象がカメラに近づくにつれて、対象は２つの画像内のますます異なる左右の位置に現われる。この左右の位置の差はステレオ視差と呼ばれる。較正精度の１回のチェックでは、ユーザはカメラを遠くへ向けるように指示され得、次に、零からかけ離れた視差が較正誤差を示す。ステレオ画像ペアから測定された対象位置（および対象位置の差）はまた、以下に述べるように対象位置のレーザ距離計測定と相関付けられ得る。

図１０は、ステレオカメラを較正する処理１０００を示す。ブロック１００２では、１または複数の静止基準が特定の環境内に配置または識別される。静止基準が適所に存在すると、ブロック１００４において、システムは例えば工業用ロボットのエンドエフェクタを使用することにより一連の位置および配向（「姿勢」と呼ばれる）を通される。各姿勢において、結果として得られるカメラ画像は静止基準の画像位置を判断するために調査される（ブロック１０１０）。姿勢と観察画像位置との各組合せは投影方程式１００８に対応する。

ステレオ較正処理１０００において収集されたデータは、世界座標内の基準位置、ロボットのエンドエフェクタに対するカメラの位置および配向、カメラ投射幾何学形状、およびレンズ歪みを含む未知パラメータを推定するために使用され得る。ステレオ較正処理１０００における既知パラメータは、画像内の観測基準位置と世界座標内のロボットエンドエフェクタの位置および配向である。未知パラメータは、これらの投影方程式の多くを集約するとともに、観察結果にほぼ一致する未知パラメータの値を求める（例えば、非線形最小二乗または同様の最適化を利用することにより）ことにより検出される。

レーザ一貫性評価：スピンドルに対するレーザ走査装置の位置および配向
上述のようにそして図１Ａと図８Ａ〜８Ｄに示すように、例示的独創的センサユニットは、レーザスピンドルを中心に連続的に回転し得るレーザを有するレーザ距離計を含み得る。これは、レーザ距離計が場面の大部分を２回測定することを意味する：すなわちレーザ距離計が走査するにつれてビームの左側による一回目と、次にビームの右側による１８０度後の２回目。レーザの較正が正しければ、これらの２組の測定は互いに一致する。位置ずれは、劣悪な較正を示し、センサユニットを再較正する（直す）ために使用され得る。

図１１は、スピンドルに対するレーザ走査装置の位置および配向を検出するために非線形最適化を採用するライダ較正処理１１００を示す。この場合、システムは固定場面では静止して保持され、レーザデータはスピンドルが回転している間に集められる。スピンドルの一回転中、場面の大部分はレーザにより２回観測される。これを見るために、景色内の特定の対象の左側を走査するレーザを考察する。この走査は第１の組のレーザ範囲値とアジマス値１１０２をもたらす。次に、レーザが第２の組のレーザ範囲値とアジマス値１１１２を得るために同じ対象に対処するようにスピンドルを右側へ約１８０度回転することを考察する。各レーザ観察結果は、スピンドル角度（１１０４と１１１４）と、スピンドルに対するレーザ走査装置の位置および配向の推定値とに基づき計算され得る３Ｄ点（１１０６と１１１６）に対応する。第１の１８０度走査（１１０２）と第２の１８０度走査（１１１２）との一貫性を評価するために、プロセッサは、平面を第１の観察結果に局所的にフィッティングする「較正誤差」関数を定義し（工程１１０８）、次に、一貫性測定（１１２）を得るために第２の観察結果と適切な平面モデル（１１１０）との距離を計算する（１１１８）。この誤差関数の値は、観測レーザ範囲に最も一致する値を発見するために非線形最小二乗最適化、シミュレーテッドアニーリング（ｓｉｍｕｌａｔｅｄ ａｎｎｅａｌｉｎｇ）、または同様の手法を使用することにより回収され得る較正パラメータに依存する。

センサ間一貫性：ステレオカメラに対するスピンドルの位置および配向
レーザとステレオカメラアセンブリの両方は場面の３Ｄモデルを生成し得る。前のチェック結果が良好な較正と一致すれば、これらのモデルはセンサ間の幾何学的関係が正確であることを検証するために互いに比較され得る。残念ながら、ステレオ画像内の測定誤差は、この比較を高精度に行うのを困難にするように３Ｄ空間内に投影される。これは、あたかもレーザモデルがカメラにより見られているかのように画像内にレーザモデルを投影し、次に画像空間内の結果を比較することにより対処され得る。この較正評価に対する手法は、自然な場面または専用の較正標的を使用して実施され得る。

図１２は、レーザスピンドルに対してステレオセンサを較正または記録する処理を示す。レーザ距離計（ライダ）とステレオセンサが例えば図１０と図１１に示す処理を利用することにより較正されていれば、レーザデータは３Ｄレーザポイントクラウド１２０４に変換され得、カメラ画像は、画像内の多数の画素においてステレオ視差マップ１２０２を計算するために使用され得る。プロセッサは、ステレオセンサの視野（ＦＯＶ）に一致するようにレーザポイントクラウド１２０４をトリミングする（１２０６）。プロセッサは、模擬ライダ視差マップ１２１２を生成するためにライダツーステレオ（ＬＩＤＡＲ−ｔｏ−ｓｔｅｒｅｏ）変換パラメータ１２１０を使用して、トリミング済みポイントクラウド１２０８をステレオセンサ座標系へ変換する。次に、プロセッサは、ライダツーステレオ変換パラメータ１２１０を非線形に最適化する（１２１８）ために使用される類似性測定を生成する（１２１６）ために模擬ライダ視差マップ１２１２とステレオ視差マップ１２０２とを比較する（１２１４）。

当業者により理解されるように、ステレオ視差はカメラ画像内の対象の３Ｄ位置に対応する。これらの３Ｄ位置はレーザから３Ｄポイントクラウド１２０４内に反映される。３Ｄレーザ観察結果をステレオカメラの座標系に変換することにより、予測視差画像１２１２を生成し、それをステレオカメラからの実際の視差画像１２０２と比較することが可能である。この変換はステレオカメラに対するスピンドルの位置および配向に依存し、再び、プロセッサは予測視差像と観測視差像との類似性を増加する較正パラメータ１２０８を発見するために非線形最適化を利用する。

レーザ距離計較正
独創的センサユニットは、レーザ距離計を較正するために以下の技術の一方または両方を利用し得る：（１）既知幾何学形状の較正標的がレーザにより測定され、次に、これら既知標的の観察結果はレーザ較正パラメータの値を逆に求めるために利用される；（２）未知幾何学形状または未知位置の較正標的がレーザにより観測され、較正パラメータはレーザ一貫性を増すために調整される（上を参照）。

独創的センサユニットは、既知の対象または較正標的の測定を記録することと観察結果に最も一致する較正パラメータの組を探索することとに係る従来の手法を含むいくつかのタイプのカメラ較正法を支援し得る。例えば、ステレオカメラは、一連の未知位置および／または配向における較正標的の位置を検出し得る。結果画像は較正パラメータと未知位置とを判断するために利用される。これは、較正標的の位置が知られていない場合でも較正標的の既知形状が情報を提供するため、有効である。この手法は、レーザ距離計を使用するとともにステレオ画像データから判断された位置および／または較正パラメータの精度を検証するためにレーザ距離データを使用することにより較正標的の位置と幾何学形状を測定することにより拡張され得る。

本発明のセンサユニットの精密な内部タイミングは別のカメラ較正手法を可能にする。カメラに赤外フィルタが取付けられていない場合、場面内の対象からのレーザビームの反射が画像内の点として現われ得る。この点は画像処理技術を使用することにより検出され得る。その位置は、左右画像内のレーザ測定３Ｄ点と一対の２Ｄ位置との対応関係を提供する。レーザの回転は、カメラ較正を計算するためのまさに入力であるこれらの対応関係の集合を提供する。

以前の手法の一般論は、３Ｄレーザ測定と２Ｄ画像位置との対応関係を利用するが、画像内でレーザスポットが可視であることを必要としない。これは、カメラに赤外フィルタが取付けられている場合またはレーザスポットを見るには場面が余りにも明るく照明された場合でもこの技術がうまく機能するようにする。この場合、カメラと場面はレーザが多数の３Ｄ点を捕捉する間動かない。レーザ反射光がカメラに視認可能であれば、各３Ｄ点は、左右画像内のレーザスポットを検出することにより２Ｄ画像位置に一致され得る。その代りに、一致は、仮の較正パラメータを利用して投影２Ｄ位置が正しいことを装うことにより３Ｄ点をカメラ画像内に投影することにより見出される。仮の較正パラメータが正しくなければ、投影は正しくなく、３Ｄ−２Ｄ対応関係は不正確になり、そして場面が十分にリッチ（ｒｉｃｈ）であると仮定すると、結果として得られる組合せの多くは画像一貫性メトリックに反することになる。較正パラメータはこの違反を低減するように調整され得る。

視差マップ合成と比較
図１３Ａ〜１３Ｄは、ステレオ撮像システム内の左右カメラにより取得された以下の４つの画像を示す：左カメラにより取得された第１の画像（図１３Ａ）；右カメラにより取得された第１の画像（図１３Ｂ）；左カメラにより取得された第２の画像（図１３Ｃ）；右カメラにより取得された第２の画像（図１３Ｄ）。カメラは異なる場所／角度から場面（環境）を観察するため、異なる観点から画像を取得する。当該技術分野において良く理解されているように、プロセッサはステレオ画像と視差マップを生成するためにこれらの画像のペアを使用し得る。ステレオ撮像システムが取得中に移動または変位すれば、ステレオ画像は異なる観点からの場面のステレオ図を示し得る。

図１４Ａは、図１３Ａおよび１３Ｂに示す左右画像に基づく第１の視差マップを示す。図１４Ｂは、図１３Ｃおよび１３Ｄに示す左右画像に基づく第２の視差マップを示す。当業者により良く理解されているように、視差はステレオペアの左右像内の２つの対応点間の距離を指す。この距離は２対の座標（左画像の一対の座標と右画像の別の対の座標）間のベクトルとして表され得る。このベクトルの大きさは時に「視差値」と呼ばれる。ステレオ画像内のあらゆる画素の視差値を計算することで、例えば図１６に示すような視差マップを得る。

図１６はまた、深さデータを含む合成画像を生成するために視差マップが画像データ上に重ねられ得ることを示す。例えば、図１７Ａ、１７Ｂはそれぞれ図１４Ａ、１４Ｂの視差画像上に重ねられた図１３の画像データを示す。深さデータは以下のカラーで現われる、戻り無し（一致無し）に対応する画像の灰色部分、景色内の近点を表す赤／黄色、および景色内の遠い点を表す緑色／青色。

図１７Ａおよび１７Ｂは、それぞれ図１４Ａおよび１４Ｂに示す視差マップの３Ｄ投影である。図１４Ａおよび１４Ｂのあらゆる画素はステレオセンサの較正データを使用して３Ｄ空間に投影され、次に、図１３Ａおよび１３Ｂそれぞれからのデータにより色付けされる。ここでは元画像はモノクロである（黒と白）であるが、元画像もまたカラーであり得、カラー３Ｄ場面を生じる。図１７Ａおよび１７Ｂに示す３Ｄ場面は生の３Ｄデータ（ポイントクラウド）を含み、これらのデータは三角またはメッシュ分割されない。しかし、プロセッサは、環境内の対象の位置および配向（ステレオセンサ自体の位置および配向を含む）の推定値を含む生の３Ｄポイントクラウドから場面とセンサについて多くを判断し得る。

例えば、図１７Ａおよび１７Ｂは、互いに重ねられ、（遠方のパイプ、地面、建物のような）３Ｄ特徴を照合することにより位置合わせされ、次に、２つの場面の差が検出および解析され得る。１つの差は、図１３に示す源撮像装置を捕捉する間のステレオカメラの観点変化である。この前方観点変位は図１７Ａおよび１７Ｂに示すパイプの長さの差を計算することにより測定され得る。加えて、センサのわずかなロールは、平面を地盤データにフィッティングし、地盤面と各元画像の仮想水平線との角度の差を測定することにより検出され得る。センサのヨーは同様に、建物と各元画像の仮想前方軸との角度の差を判断することにより測定され得る。

プロセッサは、視差マップおよび／または３Ｄポイントクラウドが位置合わせされると、視差マップと３Ｄポイントクラウドとのその他の差を検出し得る。例えば、プロセッサは、場面対場面３Ｄ一致が低精度であるまたは大きな誤差を有する領域を識別することにより、場面内の標的または対象の運動を検出し得る。プロセッサは、通りかかる人または遠方で運転中の車両に起因する３Ｄ位置ずれを感知するためにこの運動検出を使用し得る。プロセッサは場面の残り（例えば、場面の静的部分）から移動３Ｄ特徴点を分離および抽出することができる。いくつかのケースでは、プロセッサはまた、動いている対象の３Ｄ位置と３Ｄ軌道（それ自体の運動を含む）を計算し得る。

図１８Ａおよび１８Ｂはそれぞれ、センサを煙で掩蔽したレーザポイントクラウドデータとステレオ画像データから合成された画像と、センサを煙で掩蔽しないレーザポイントクラウドデータとステレオ画像データから合成された画像とを示す。煙が無ければ、レーザポイントクラウドは場面の正確な表現である。煙と埃のような他の浮遊物は標的へおよび／または標的から伝播するにつれてレーザビームを吸収または散乱し得、レーザ距離計データを破壊する。煙が可視光（または場合により赤外線）波長の光を通せば、ステレオセンサは依然として場面の正確な表現を生成することができ得る。

結論
様々な独創的実施形態が本明細書において説明および示されたが、当業者は、機能を行うための、および／または結果および／またはここで説明する利点の１つまたは複数を得るための多種多様な他の手段および／または構造を容易に想定するが、このような変形および／または整流のそれぞれはここで説明する本発明の実施形態の範囲内であると見なされる。より一般的には、当業者は、ここで説明するパラメータ、寸法、材料、構成はすべて例示的であることと、実際のパラメータ、寸法、材料、および／または構成は本発明の教示が利用される特定の用途に依存することとを容易に認識する。当業者は、ここで説明する特定の独創的実施形態に対する通常の実験作業と多くの均等物を使用することを認識することになるまたは確認することができる。したがって、これまでの実施形態は単に一例として提示されたことと、添付された請求項の範囲とその均等物内で独創的実施形態は詳細に記載および請求されたものとは異なる方法で実施され得ることとが理解される。本開示の独創的実施形態は、ここで説明した各個々の特徴、システム、物品、材料、キット、および／または方法に向けられる。加えて、このような特徴、システム、物品、材料、キット、および／または方法が互いに矛盾していなければ、このような特徴、システム、物品、材料、キット、および／または方法の２つ以上の任意の組合せは本開示の本発明の範囲内に含まれる。

上記実施形態は多数の方法のうちの任意の方法で実施され得る。例えば、実施形態はハードウェア、ソフトウェア、またはそれらの組合せを使用して実施され得る。ソフトウェアで実施される場合、ソフトウェアコードは、単一コンピュータ内に提供されるか複数のコンピュータ間で分散されるかにかかわらず、任意の好適なプロセッサまたはプロセッサの集合上で実行され得る。

さらに、コンピュータは、ラックマウントコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータなどの多くの形態のうちの任意の形態で具現化され得ることを理解すべきである。加えて、コンピュータは、通常はコンピュータと見なされない装置であるが個人用デジタル情報処理端末（ＰＤＡ）、スマートフォンまたは任意の他の好適な携帯型または固定電子装置を含む好適な処理能力を有する装置に埋め込まれ得る。

また、コンピュータは１つまたは複数の入出力装置を有し得る。これらの装置はとりわけユーザインターフェースを提供するために利用され得る。ユーザインターフェースを提供するために利用し得る出力装置の例としては、出力の可視提示のためのプリンタまたは表示画面と出力の可聴提示のためのスピーカまたは他の音生成装置が挙げられる。ユーザインターフェースに使用され得る入力装置の例としては、キーボード、およびマウス、タッチパッド、デジタイジングタブレットなどのポインティング装置が挙げられる。別の例として、コンピュータは音声認識によりまたは他の可聴フォーマットで入力情報を受信し得る。

このようなコンピュータは、任意の好適な形式で、ローカルエリアネットワークまたは企業ネットワークなどの広域ネットワーク、インテリジェントネットワーク（ＩＮ）またはインターネットを含む１つまたは複数のネットワークにより相互に連結され得る。このようなネットワークは任意の好適な技術に基づき得、任意の好適なプロトコルに従って動作し得、無線ネットワーク、有線ネットワークまたは光ファイバーネットワークを含み得る。

本明細書で概説された様々な方法または処理は、多種多様なオペレーティングシステムまたはプラットホームのうちの任意の１つを採用する１つまたは複数のプロセッサ上で実行可能なソフトウェアとしてコード化され得る。加えて、このようなソフトウェアは、多くの好適なプログラミング言語および／またはプログラムまたはスクリプトツールのうちの任意のものを使用して書かれ得る、またフレームワークまたはバーチャルマシン上で実行される実行可能機械語コードまたは中間コードとしてコンパイルされ得る。

この点で、様々な発明概念は、１つまたは複数のコンピュータまたは他のプロセッサ上で実行されると上述の本発明の様々な実施形態を実施する方法を行う１または複数のプログラムでエンコードされたコンピュータ可読記憶媒体（または複数のコンピュータ可読記憶媒体）（例えば、コンピュータメモリ、１つまたは複数のフロッピーディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体素子内の回路構成、または他の非一時的媒体または有形コンピュータ記憶媒体）として具現化され得る。１つまたは複数のコンピュータ可読媒体は、その上に格納された１つまたは複数のプログラムが、上述の本発明の様々な態様を実施するために１または複数の異なるコンピュータまたは他のプロセッサ上にロードされ得るように移植可能であり得る。

用語「プログラム」または「ソフトウェア」は、上述の実施形態の様々な様相を実施するようにコンピュータまたは他のプロセッサをプログラムするために採用され得る任意のタイプのコンピュータコードまたは一組のコンピュータ実行可能命令を参照するために一般的な意味で本明細書では使用される。加えて、一態様によると、実行されると本発明の方法を行う１つまたは複数のコンピュータプログラムは、単一コンピュータまたはプロセッサ上に存在する必要はないが、本発明の様々な態様を実施するために多くの異なるコンピュータまたはプロセッサ間でモジュール的な方法で分散され得ることを理解すべきである。

コンピュータ実行可能命令は、１つまたは複数のコンピュータまたは他の装置により実行されるプログラムモジュールなどの多くの形式であり得る。通常、プログラムモジュールは、特定のタスクを行うまたは特定の抽像データ型を実施するルーチン、プログラム、オブジェクト、部品、データ構造などを含む。通常、プログラムモジュールの機能は、様々な実施形態において望まれるように組合せまたは分散され得る。

また、データ構造は任意の好適な形式でコンピュータ可読媒体内に格納され得る。説明を簡単にするために、データ構造はデータ構造内の位置により関係付けられるフィールドを有するように示されることがある。このような関係は同様に、フィールド間の関係を伝えるコンピュータ読取り可能媒体内の位置によりフィールドの記憶場所を割り当てることにより実現され得る。しかし、データ構造のフィールド内の情報間の関係を設定する（データ要素間の関係を設定するポインタ、タグ、または他の機構を使用することにより設定することを含む）ために任意の好適な機構が使用され得る。

また、様々な発明概念は、その例が提供された１つまたは複数の方法として具現化され得る。方法の一部として行われる行為は任意の好適な方法で順序付けられ得る。したがって、例示的実施形態において連続行為として示されたとしても、示されたものとは異なる順序で行為が行われる実施形態であっていくつかの行為を同時に行うことを含み得る実施形態が構築され得る。

本明細書で定義および使用されたすべての定義は、辞書定義、参照により援用された文献における定義、および／または定義された用語の通常の意味に支配されると理解すべきである。

本明細書と特許請求の範囲において使用される不定冠詞は、特に明記しない限り「少なくとも１つ」を意味するものと理解すべきである
本明細書と特許請求の範囲において使用される語句「および／または」は、そのように結合された要素の「いずれかまたは両方」（すなわ、いくつかのケースでは結合して存在し他の場合では分離して存在する要素）を意味するものと理解すべきである。「および／または」により列挙された複数の要素は同様に（すなわち、そのように結合された要素のうちの「１つまたは複数」を意味するものと）解釈されるべきである。「および／または」語句により特に識別された要素以外の他の要素は、特に識別された要素に関係しても関係しなくても任意選択的に存在し得る。したがって、非限定的な例として「Ａおよび／またはＢ」への参照は、「含む」などの開放言語と共に使用されると一実施形態ではＡだけ（Ｂ以外の要素を任意選択的に含む）を、別の実施形態ではＢだけ（Ａ以外の要素を任意選択的に含む）を、さらに別の実施形態ではＡとＢ両方（他の要素を任意選択的に含む）を参照し得る。

本明細書と特許請求の範囲において使用されるように、「または」は上に定義された「および／または」と同じ意味を有するものと理解すべきである。例えば、リスト内の項目を分類する場合、「または」または「および／または」は包括的である、すなわち、多くの要素または要素のリストおよび任意選択的に追加の無記載項目のうちの少なくとも１つ（２つ以上を含む）の包含であると解釈されるものとする。それと反対に、「〜のうちの１つのみ」または「〜のうちの正確に１つ」などの明示された用語、または特許請求の範囲に使用される場合の用語「〜からなる」のみは、多くの要素または要素のリストのうちの正確に１つの要素の包含を指す。一般的に、本明細書で使用される用語「または」は、「いずれか」、「〜のうちの１つ」、「〜のうちの１つのみ」、または「〜のうちの正確に１つ」などの排他的用語により先行されると、排他的代替物（すなわち、「一方または他方であるが両方ではない）を示すものとだけ解釈されるものとする。「〜から本質的になる」は特許請求の範囲において使用されると、特許法の分野で使用されるようにその通常の意味を有するものとする。

本明細書と特許請求の範囲において使用されるように、１つまたは複数の要素のリストを参照した語句「少なくとも１つ」は、要素のリスト内の要素のうちの任意の１つまたは複数から選択された少なくとも１つの要素を意味するが、要素のリスト内に特に列記されたありとあらゆる要素のうちの少なくとも１つを必ずしも含まなく、そして要素のリスト内の要素の任意の組合せを排除しないものと理解すべきである。この定義はまた、要素のリスト内に特に識別された要素（語句「少なくとも１つ」が参照する）以外の要素が特に識別された要素に関係しても関係しなくても任意選択的に存在し得ることを許容する。したがって、非限定的な例として、「ＡとＢの少なくとも１つ」（または、均等に「ＡまたはＢの少なくとも１つ」、または均等に「Ａおよび／またはＢの少なくとも１つ」）は、一実施形態では、Ｂの存在無しに（およびＢ以外の要素を任意選択的に含む）少なくとも１つのＡ（２つ以上を任意選択的に含む）を指し得、別の実施形態では、Ｂの存在無しに（およびＡ以外の要素を任意選択的に含む）少なくとも１つのＢ（２つ以上を任意選択的含む）を指し、さらに別の実施形態では、少なくとも１つのＡ（２つ以上のＡを任意選択的に含む）と少なくとも１つのＢ（２つ以上のＢを任意選択的に含む）（および任意選択的に他の要素を含む）などを指す。

上記本明細書だけでなく特許請求の範囲において、「含む」、「担持する」、「有する」、「含有する」、「係わる」、「保持する」、「〜から構成される」などのすべての移行句は、開放的である、すなわち含むが限定しないことを意味すると理解される。移行句「〜からなる」および「〜から本質的に構成される」のみは、米国特許商標庁の特許審査手順マニュアル（Ｕｎｉｔｅｄ Ｓｔａｔｅｓ Ｐａｔｅｎｔ Ｏｆｆｉｃｅ Ｍａｎｕａｌ ｏｆ Ｐａｔｅｎｔ Ｅｘａｍｉｎｉｎｇ Ｐｒｏｃｅｄｕｒｅｓ）セクション２１１１．０３に記載されるように、それぞれ閉鎖移行句または準閉鎖移行句であるものとする。

Claims (8)

1. 空洞と少なくとも１つの外面とを画定する筐体と、
   前記空洞内にあって、少なくとも１つの実装面を画定するユニタリフレームと、
   空洞内の内壁であって外面と熱的に連通する内壁と、
   第１の観点から環境の複数の画像を取得するために前記少なくとも１つの実装面へ取付けられる第１の撮像装置と、
   前記少なくとも１つの実装面へ取付けられるとともに、前記第１の観点とは異なる第２の観点から前記環境の複数の画像を取得する第２の撮像装置と、
   第１のプロセスユニットと第２のプロセスユニットとを備えるプロセスユニット部であって、
   前記第１のプロセスユニットは前記筐体内の第１の位置に配置され、前記第1の撮像装置及び前記第２の撮像装置によって取得された前記複数の画像に基づいて一つ又は二つ以上の視差マップを生成するように作動可能であり、
   前記第２のプロセスユニットは、前記第１の撮像装置及び前記第２の撮像装置により取得された前記複数の画像と、前記第１のプロセスユニットによって生成された前記視差マップと、に基づいて前記環境についての情報を決定するように作動可能であり、
   前記内壁および前記プロセスユニット部と熱的に連通する熱伝導性材料であって、前記プロセスユニット部により発生された熱を放散するように前記内壁を介し前記少なくとも１つの外面へ前記プロセスユニット部により発生された前記熱を伝導する熱伝導性材料と
   を備えることを特徴とする自立走行車両のためのステレオ視システム。
2. 前記ユニタリフレームは単一材料片からなることを特徴とする請求項１に記載のステレオ視システム。
3. 前記第１の撮像装置と前記第２の撮像装置とは同じ平面内に配置されることを特徴とする請求項１または２に記載のステレオ視システム。
4. 前記第１の撮像装置は第１の平面内に配置され、および前記第２の撮像装置は前記第１の平面と平行な第２の平面内に配置されることを特徴とする請求項１から３のいずれか１項に記載のステレオ視システム。
5. 前記第１の撮像装置は第１の平面内に配置され、および前記第２の撮像装置は前記第１の平面と交差する第２の平面内に配置されることを特徴とする請求項１から４のいずれか１項に記載のステレオ視システム。
6. 前記第１の撮像装置および前記第２の撮像装置のうちの少なくとも１つを前記少なくとも１つの実装面へ固定する少なくとも１つのピンおよび少なくとも１つのボルトのうちの少なくとも１つをさらに含むことを特徴とする請求項１から５のいずれか１項に記載のステレオ視システム。
7. 前記第１の撮像装置及び前記第２の撮像装置を前記第１のプロセスユニットへ結合するフレキシブルケーブルをさらに含むことを特徴とする請求項１から６のいずれか１項に記載のステレオ視システム。
8. 前記第２のプロセスユニットは、前記第１の撮像装置及び前記第２の撮像装置によって取得された前記複数の画像と、前記一つ又は二つ以上の視差マップとに基づいて少なくとも一つの動く対象物の位置を決定するものであり、
   前記環境内の前記少なくとも一つの動く対象物をレーザー光により照明するレーザー部と、前記少なくとも一つの動く対象物に散乱されたレーザー光及び／又は前記少なくとも一つの動く対象物に反射されたレーザー光を検出し、検出された前記レーザー光に基づいて前記少なくも一つの動く対象物への距離に対応する範囲信号指標を提示するセンサー部とをさらに備え、前記レーザー部及び前記センサー部は前記筐体の頂部に搭載されていることを特徴とする請求項１に記載のステレオ視システム。

Images