[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7157054B2 - 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション - Google Patents

整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション Download PDF

Info

Publication number
JP7157054B2
JP7157054B2 JP2019527816A JP2019527816A JP7157054B2 JP 7157054 B2 JP7157054 B2 JP 7157054B2 JP 2019527816 A JP2019527816 A JP 2019527816A JP 2019527816 A JP2019527816 A JP 2019527816A JP 7157054 B2 JP7157054 B2 JP 7157054B2
Authority
JP
Japan
Prior art keywords
lidar
image
camera
output
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019527816A
Other languages
English (en)
Other versions
JP2020507829A (ja
Inventor
トレダノ，エラド
ローゼンブラム，ケビン
ダガン，エレツ
ジッブ，アロン
Original Assignee
モービルアイ ビジョン テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モービルアイ ビジョン テクノロジーズ リミテッド filed Critical モービルアイ ビジョン テクノロジーズ リミテッド
Publication of JP2020507829A publication Critical patent/JP2020507829A/ja
Priority to JP2022161508A priority Critical patent/JP7509501B2/ja
Application granted granted Critical
Publication of JP7157054B2 publication Critical patent/JP7157054B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435—Extracting 3D information
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/646—Following a predefined trajectory, e.g. a line marked on the floor or a flight path

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

関連出願の相互参照
[001] この出願は、２０１７年１月２６日出願の米国仮特許出願第６２／４５０，７５０号、及び２０１７年７月３１日出願の米国仮特許出願第６２／５３８，９２５号の優先権の利益を主張する。前述の出願は、それらの全体において参照により本明細書で援用される。
技術分野
[002] 本開示は、一般に自律車両ナビゲーションに関する。加えて、この開示は、車両に搭載されたカメラによって捕捉された１つ又は複数の画像において識別された対象とＬＩＤＡＲ（ライダ）システム出力（例えば特定のレーザ反射）とを相関させるためのシステム及び方法に関する。
背景情報
[003] 技術が進歩し続けるにつれて、車道でナビゲートできる完全な自律車両の目標が見え始めている。自律車両は、意図した目的地に安全且つ正確に到着するために、様々な要因を考慮し、且つそれらの要因に基づいて適切な決定を行う必要があり得る。例えば、自律車両は、視覚情報（例えばカメラから捕捉された情報）、レーダ又はＬＩＤＡＲからの情報を処理して解釈する必要があり得、且つまた他のソースから（例えばＧＰＳ装置、速度センサ、加速度計、サスペンションセンサ等から）取得された情報を用いてもよい。同時に、目的地にナビゲートするために、自律車両はまた、特定の車道内のその位置（例えば多車線道路内の特定の車線）を識別し、他の車両と並んでナビゲートし、障害物及び歩行者を回避し、交通信号及び標識を遵守し、適切な交差点又はインターチェンジで或る道路から別の道に進み、且つ車両の動作中に発生又は展開するどんな他の状況にも反応する必要があり得る。
概要
[004] 本開示と一致する実施形態は、自律車両ナビゲーション用のシステム及び方法を提供する。開示される実施形態は、自律車両ナビゲーション機能を提供するためにカメラを用いてもよい。例えば、開示される実施形態と一致して、開示されるシステムは、車両の環境を監視する１つ、２つ又はそれを超えるカメラを含んでもよい。開示されるシステムは、例えば、カメラの１つ又は複数によって捕捉された画像の解析に基づいて、ナビゲーション応答を提供してもよい。ナビゲーション応答はまた、例えば、全地球測位システム（ＧＰＳ）データ、センサデータ（例えば加速度計、速度センサ、サスペンションセンサ等からの）及び／又は他の地図データを含む他のデータを考慮してもよい。
[005] 自律車両をナビゲートするためのシステム及び方法が提供される。一実装形態において、ホスト車両用のナビゲーションシステムは、少なくとも１つのプロセッサであって、ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信し、捕捉された画像が、ホスト車両を取り囲む環境を表すように、且つホスト車両に搭載されたＬＩＤＡＲの出力を受信し、ＬＩＤＡＲの出力が、ホスト車両を取り囲む環境の少なくとも一部からの複数のレーザ反射を表すようにプログラムされた少なくとも１つのプロセッサを含んでもよい。少なくとも１つのプロセッサはまた、ＬＩＤＡＲの出力と、カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定するように、ＬＩＤＡＲの出力と、カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断するように、且つホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、起因すると判断されたＬＩＤＡＲ反射情報、及び少なくとも１つの画像において識別された１つ又は複数の対象を用いるように構成されてもよい。
[006] 開示される実施形態はまた、車体と、車体に結合されたカメラと、車体に結合されたＬＩＤＡＲと、少なくとも１つのプロセッサであって、カメラによって捕捉された画像のストリームを受信し、捕捉された画像が、車両を取り囲む環境を表すように、ＬＩＤＡＲの出力を受信し、ＬＩＤＡＲの出力が、車両を取り囲む環境の少なくとも一部からの複数のレーザ反射を表すように、ＬＩＤＡＲの出力と、カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定するように、ＬＩＤＡＲの出力と、カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断するように、且つ車両の環境における道路に関連する高さ又は車両の速度の少なくとも１つを決定するために、起因すると判断されたＬＩＤＡＲ反射情報、及び少なくとも１つの画像において識別された１つ又は複数の対象を用いるようにプログラムされた少なくとも１つのプロセッサと、を含む車両を含んでもよい。
[007] 開示される実施形態はまた、ホスト車両を自律的にナビゲートする方法を含んでもよい。方法は、ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、捕捉された画像が、ホスト車両を取り囲む環境を表すことと、ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、ＬＩＤＡＲの出力が、ホスト車両を取り囲む環境の少なくとも一部からの複数のレーザ反射を表すことと、ＬＩＤＡＲの出力と、カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、ＬＩＤＡＲの出力と、カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、起因すると判断されたＬＩＤＡＲ反射情報、及び少なくとも１つの画像において識別された１つ又は複数の対象を用いることと、を含んでもよい。
[008] 他の開示される実施形態と一致して、非一時的なコンピュータ可読記憶媒体が、プログラム命令を格納してもよく、プログラム命令は、少なくとも１つの処理装置によって実行され、且つ本明細書で説明される方法のいずれかを実行する。
[009] 前述の一般的な説明及び以下の詳細な説明は、単に例示的で説明的であり、請求項を限定するものではない。
図面の簡単な説明
[010] 添付の図面は、この開示に援用され、その一部を構成するが、様々な開示される実施形態を示す。
[011]開示される実施形態と一致する例示的なシステムの概略表示である。 [012]開示される実施形態と一致するシステムを含む例示的な車両の概略側面図表示である。 [013]開示される実施形態と一致する図２Ａに示されている車両及びシステムの概略上面図表示である。 [014]開示される実施形態と一致するシステムを含む車両の別の実施形態の概略上面図表示である。 [015]開示される実施形態と一致するシステムを含む車両の更に別の実施形態の概略上面図表示である。 [016]開示される実施形態と一致するシステムを含む車両の更に別の実施形態の概略上面図表示である。 [017]開示される実施形態と一致する例示的な車両制御システムの概略表示である。 [018]開示される実施形態と一致する車両撮像システム用のバックミラー及びユーザインターフェースを含む車両における内部の概略表示である。 [019]開示される実施形態と一致する、バックミラーの背後に且つ車両フロントガラスに対して配置されるように構成されるカメラ架台の例の実例である。 [020]開示される実施形態と一致する、異なる見方による図３Ｂに示されているカメラ架台の実例である。 [021]開示される実施形態と一致する、バックミラーの背後に且つ車両フロントガラスに対して配置されるように構成されるカメラ架台の例の実例である。 [022]開示される実施形態と一致する、１つ又は複数の動作を実行するための命令を格納するように構成されたメモリの例示的なブロック図である。 [023]開示される実施形態と一致する、単眼画像解析に基づいて１つ又は複数のナビゲーション応答を引き起こすための例示的なプロセスを示すフローチャートである。 [024]開示される実施形態と一致する、画像セットにおいて１つ又は複数の車両及び／又は歩行者を検出するための例示的なプロセスを示すフローチャートである。 [025]開示される実施形態と一致する、画像セットにおいて路面標識及び／又は車線ジオメトリ情報を検出するための例示的なプロセスを示すフローチャートである。 [026]開示される実施形態と一致する、画像セットにおいて交通信号灯を検出するための例示的なプロセスを示すフローチャートである。 [027]開示される実施形態と一致する、車両経路に基づいて１つ又は複数のナビゲーション応答を引き起こすための例示的なプロセスを示すフローチャートである。 [028]開示される実施形態と一致する、先行車両が車線を変更しているかどうかを決定するための例示的なプロセスを示すフローチャートである。 [029]開示される実施形態と一致する、立体画像解析に基づいて１つ又は複数のナビゲーション応答を引き起こすための例示的なプロセスを示すフローチャートである。 [030]開示される実施形態と一致する、３つの画像セットの解析に基づいて１つ又は複数のナビゲーション応答を引き起こすための例示的なプロセスを示すフローチャートである。 [031]開示される実施形態と一致する例示的なシステムの概略表示である。 [032]開示される実施形態と一致するシステムを含む例示的な車両の概略側面図表示である。 [033]例示的な開示される実施形態と一致する、画像及びＬＩＤＡＲの出力情報の整合を表す概念の実例を提供する。 [034]例示的な開示される実施形態と一致する、目標車両又は対象までの距離を決定するための画像ベースの技術を示す。 [035]例示的な開示される実施形態と一致する、整合された画像及びＬＩＤＡＲ情報に基づいて道路高さを決定するための技術を示す。
詳細な説明
[036] 以下の詳細な説明は、添付の図面を参照する。可能な限り、同じ参考番号が、同じ又は類似の部分を指すために、図面及び以下の説明において用いられる。幾つかの実例となる実施形態が、本明細書で説明されるが、修正、適応及び他の実装形態が可能である。例えば、代用、追加又は修正が、図面に示されているコンポーネントに行われてもよく、本明細書で説明される実例となる方法は、開示される方法に対してステップを代用するか、再整理するか、削除するか、又は追加することによって修正されてもよい。従って、以下の詳細な説明は、開示される実施形態及び例に限定されない。代わりに、適切な範囲は、添付の請求項によって定義される。
[037] 自律車両概観
[038] この開示の全体を通して用いられるとき、「自律車両」という用語は、運転者の入力なしに、少なくとも１つのナビゲーション変更を実施できる車両を指す。「ナビゲーション変更」は、車両のステアリング、制動又は加速／減速の１つ又は複数における変更を指す。自律的であるために、車両は、完全に自動的である（例えば、運転者又は運転者の入力なしに完全に運転可能である）必要がない。もっと正確に言えば、自律車両は、或る期間中に運転者の制御下で、且つ他の期間中に運転者の制御なしに動作できる車両を含む。自律車両はまた、（例えば車線の制約の間に車両進路を維持するための）ステアリング、又は或る状況下（しかし全ての状況下ではない）の幾つかのステアリング操作など、車両ナビゲーションの幾つかの態様だけを制御する車両を含んでもよく、他の態様（例えば、制動又は或る状況下の制動）は運転者に任せてもよい。場合によっては、自律車両は、車両の制動、速度制御及び／又はステアリングの幾つか又は全ての態様を扱ってもよい。
[039] 人間の運転者が、典型的には、車両を制御するために、視覚キュー及び観察に頼るので、それに応じて、交通インフラストラクチャは、運転者に視覚情報を提供するように設計された車線区分線、交通標識、及び交通信号灯で構築される。交通インフラストラクチャのこれらの設計特性を考慮して、自律車両は、カメラと、車両の環境から捕捉された視覚情報を解析する処理ユニットと、を含んでもよい。視覚情報は、例えば、運転者によって観察できる交通インフラストラクチャの構成要素（例えば車線区分線、交通標識、交通信号灯等）及び他の障害物（例えば他の車両、歩行者、破片等）を表す画像を含んでもよい。加えて、自律車両はまた、ナビゲートする場合に、車両の環境モデルを提供する情報などの格納された情報を用いてもよい。例えば、車両は、ＧＰＳデータ、センサデータ（例えば加速度計、速度センサ、サスペンションセンサ等からの）、及び／又は車両が走行している間に、その環境と関係する情報を提供する他の地図データを用いてもよく、車両は（他の車両と同様に）、モデル上でそれ自体の位置を特定するために情報を用いてもよい。幾つかの車両はまた、車両の間で通信し、情報を共有し、車両の周囲状況における危険又は変化のピア車両を変更する等のことができる。
[040] システム概観
[041] 図１は、例示的な開示される実施形態と一致するシステム１００のブロック図表示である。システム１００は、特定の実装形態の要件に依存する様々なコンポーネントを含んでもよい。幾つかの実施形態において、システム１００は、処理ユニット１１０、画像取得ユニット１２０、位置センサ１３０、１つ又は複数のメモリユニット１４０、１５０、地図データベース１６０、ユーザインターフェース１７０、及び無線トランシーバ１７２を含んでもよい。処理ユニット１１０は、１つ又は複数の処理装置を含んでもよい。幾つかの実施形態において、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０、又は任意の他の適切な処理装置を含んでもよい。同様に、画像取得ユニット１２０は、特定のアプリケーションの要件に依存する任意の数の画像取得装置及びコンポーネントを含んでもよい。幾つかの実施形態において、画像取得ユニット１２０は、画像捕捉装置１２２、画像捕捉装置１２４及び画像捕捉装置１２６などの１つ又は複数の画像捕捉装置（例えばカメラ、ＣＣＤ、又は任意の他のタイプの画像センサ）を含んでもよい。システム１００はまた、処理ユニット１１０を画像取得ユニット１２０に通信可能に接続するデータインターフェース１２８を含んでもよい。例えば、データインターフェース１２８は、画像取得ユニット１２０によって取得された画像データを処理ユニット１１０に伝送するための任意の有線及び／又は無線リンクを含んでもよい。
[042] 無線トランシーバ１７２は、無線周波数、赤外周波数、磁界又は電界の使用により、１つ又は複数のネットワーク（例えば、セルラー、インターネット等）へのエアインターフェースを通じて伝送を交換するように構成された１つ又は複数の装置を含んでもよい。無線トランシーバ１７２は、データを伝送及び／又は受信するために任意の周知の規格（例えばWi-Fi（登録商標）、Bluetooth（登録商標）、Bluetooth Smart、802.15.4、ZigBee（登録商標）等）を用いてもよい。かかる伝送は、ホスト車両から１つ又は複数の遠隔に位置するサーバまで通信を含むことができる。かかる伝送はまた、（例えばホスト車両の環境における目標車両を考慮して、又はそれらの車両と一緒に、ホスト車両のナビゲーションの協調を容易にするために）ホスト車両と、ホスト車両の環境における１つ又は複数の目標車両との間の通信（１方向若しくは２方向）か、又は伝送している車両の近くにおける不特定の受信者へのブロードキャスト伝送さえ含んでもよい。
[043] アプリケーションプロセッサ１８０及び画像プロセッサ１９０の両方は、様々なタイプのハードウェアベース処理装置を含んでもよい。例えば、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のどちらか又は両方は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサなど）、グラフィックスプロセッサ、中央処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又はアプリケーションの走行並びに画像処理及び解析に適した任意の他のタイプの装置を含んでもよい。幾つかの実施形態において、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、任意のタイプのシングル又はマルチコアプロセッサ、モバイル装置マイクロコントローラ、中央処理装置等を含んでもよい。例えば、Intel（登録商標）、AMD（登録商標）などのメーカから入手可能なプロセッサを含む様々な処理装置が用いられてもよく、且つ様々なアーキテクチャ（例えばx86プロセッサ、ARM（登録商標）等）を含んでもよい。
[044] 幾つかの実施形態において、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、Mobileye（登録商標）から入手可能なプロセッサチップのEyeQシリーズのいずれかを含んでもよい。これらのプロセッサ設計は、それぞれ、ローカルメモリ及び命令セットを備えた多数の処理ユニットを含む。かかるプロセッサは、多数の画像センサから画像データを受信するためのビデオ入力部を含んでもよく、且つまたビデオ出力能力を含んでもよい。一例において、EyeQ2（登録商標）は、３３２Ｍｈｚで動作する９０ｎｍ－マイクロメートル技術を用いる。EyeQ2（登録商標）アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ ＣＰＵ（MIPS32（登録商標）34K（登録商標）コア）、５つのビジョンコンピューティングエンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ（VMP（登録商標））、Denali６４ビットモバイルＤＤＲコントローラ、１２８ビット内部音響相互接続、デュアル１６ビットビデオ入力及び１８ビットビデオ出力コントローラ、１６チャネルＤＭＡ、及び幾つかの周辺機器からなる。ＭＩＰＳ３４Ｋ ＣＰＵは、５つのＶＣＥ、３つのVMP（商標）及びＤＭＡ、第２のＭＩＰＳ３４Ｋ ＣＰＵ及びマルチチャンネルＤＭＡと同様に、他の周辺機器を管理する。５つのＶＣＥ、３つのVMP（登録商標）及びＭＩＰＳ３４Ｋ ＣＰＵは、多機能バンドルアプリケーションによって要求される集中的なビジョン計算を実行することができる。別の例において、第３世代プロセッサである、且つEyeQ2（登録商標）より６倍強力であるEyeQ3（登録商標）が、開示される実施形態において用いられてもよい。他の例において、EyeQ4（登録商標）及び／又はEyeQ5（登録商標）が、開示される実施形態において用いられてもよい。もちろん、任意のより新しい又は将来のEyeQ処理装置が、開示される実施形態と一緒に用いられてもよい。
[045] 本明細書で開示される処理装置のどれも、或る機能を実行するように構成されてもよい。或る機能を実行するための、説明されたEyeQプロセッサ又は他のコントローラ若しくはマイクロプロセッサのいずれかなどの処理装置の構成は、コンピュータ実行可能命令のプログラミング、及び処理装置の動作中の実行のために、処理装置にこれらの命令を利用可能にすることを含んでもよい。幾つかの実施形態において、処理装置の構成は、アーキテクチャ命令で処理装置を直接プログラムすることを含んでもよい。他の実施形態において、処理装置を構成することは、動作中に処理装置にアクセス可能なメモリに実行可能命令を格納することを含んでもよい。例えば、処理装置は、動作中に、格納された命令を取得して実行するために、メモリにアクセスしてもよい。いずれの場合にも、本明細書で開示されるセンシング、画像解析及び／又はナビゲーション機能を実行するように構成された処理装置は、ホスト車両における多数のハードウェアベースのコンポーネントを制御する専門ハードウェアベースのシステムを表す。
[046] 図１は、処理ユニット１１０に含まれる２つの別個の処理装置を表すが、より多数又は少数の処理装置が用いられてもよい。例えば、幾つかの実施形態において、単一の処理装置が、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のタスクを達成するために用いられてもよい。他の実施形態において、これらのタスクは、２つを超える処理装置によって実行されてもよい。更に、幾つかの実施形態において、システム１００は、画像取得ユニット１２０などの他のコンポーネントを含まずに、１つ又は複数の処理ユニット１１０を含んでもよい。
[047] 処理ユニット１１０は、様々なタイプの装置を含んでもよい。例えば、処理ユニット１１０は、コントローラ、画像プリプロセッサ、中央処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又は画像処理及び解析用の任意の他のタイプの装置などの様々な装置を含んでもよい。画像プリプロセッサは、画像センサからの画像を捕捉し、デジタル化し、且つ処理するためのビデオプロセッサを含んでもよい。ＣＰＵは、任意の数のマイクロコントローラ又はマイクロプロセッサを含んでもよい。サポート回路は、キャッシュ、電源、クロック及び入力－出力回路を含む、当該技術分野において一般によく知られている任意の数の回路であってもよい。メモリは、プロセッサによって実行された場合にシステムの動作を制御するソフトウェアを格納してもよい。メモリは、データベース及び画像処理ソフトウェアを含んでもよい。メモリは、任意の数のランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光記憶装置、テープ記憶装置、リムーバブル記憶装置、及び他のタイプの記憶装置を含んでもよい。１つの実例において、メモリは、処理ユニット１１０と別個であってもよい。別の実例において、メモリは、処理ユニット１１０に統合されてもよい。
[048] 各メモリ１４０及び１５０は、プロセッサ（例えばアプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０）によって実行された場合にシステム１００の様々な態様の動作を制御し得るソフトウェア命令を含んでもよい。これらのメモリユニットは、例えば、ニューラルネットワーク又はディープニューラルネットワークなどの、訓練されたシステムや、様々なデータベース及び画像処理ソフトウェアを含んでもよい。メモリユニットは、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光記憶装置、テープ記憶装置、リムーバブル記憶装置、及び／又は任意の他のタイプの記憶装置を含んでもよい。幾つかの実施形態において、メモリユニット１４０及び１５０は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０と別個であってもよい。他の実施形態において、これらのメモリユニットは、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に統合されてもよい。
[049] 位置センサ１３０は、システム１００の少なくとも１つのコンポーネントに関連する位置を決定するのに適した任意のタイプの装置を含んでもよい。幾つかの実施形態において、位置センサ１３０は、ＧＰＳ受信機を含んでもよい。かかる受信機は、全地球測位システム衛星によってブロードキャストされた信号を処理することによって、ユーザ位置及び速度を決定することができる。位置センサ１３０からの位置情報データは、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に利用可能にされてもよい。
[050] 幾つかの実施形態において、システム１００は、車両２００の速度を測定するための速度センサ（例えば速度計）などのコンポーネントを含んでもよい。システム１００はまた、１つ又は複数の軸に沿って車両２００の加速度を測定するための１つ又は複数の加速度計（単軸又は多軸のいずれか）を含んでもよい。
[051] メモリユニット１４０、１５０は、周知のランドマークの位置を示すデータベース又は任意の他の形式で組織されたデータを含んでもよい。環境のセンサ情報（画像、レーダ信号、２つ以上の画像のライダ又はステレオ処理からの奥行き情報など）は、周知のランドマークに対する車両の現在位置を判定し、且つ車両位置を洗練するために、ＧＰＳ座標、車両の自己動作等の位置情報と一緒に処理されてもよい。この技術の或る態様は、REM（商標）として周知の定位技術に含まれ、REM（商標）は、本出願の譲受人によって市場で販売されている。
[052] ユーザインターフェース１７０は、システム１００の１人又は複数のユーザに情報を提供するか又はそのユーザからの入力を受信するのに適した任意の装置を含んでもよい。幾つかの実施形態において、ユーザインターフェース１７０は、例えば、タッチスクリーン、マイクロホン、キーボード、ポインタ装置、トラックホイール、カメラ、ノブ、ボタン等を含むユーザ入力装置を含んでもよい。かかる入力装置を用いれば、ユーザは、命令又は情報をタイプすること、音声コマンドを提供すること、ボタン、ポインタ若しくは視標追跡能力を用いてスクリーン上のメニューオプションを選択することによってか、又は情報をシステム１００に通信するための任意の他の適切な技術を介して、情報入力又はコマンドをシステム１００に提供することができ得る。
[053] ユーザインターフェース１７０は、ユーザに情報を提供し、ユーザから情報を受信し、且つ例えばアプリケーションプロセッサ１８０による使用のためにその情報を処理するように構成された１つ又は複数の処理装置を装備してもよい。幾つかの実施形態において、かかる処理装置は、眼球運動を認識し追跡すること、音声コマンドを受信し解釈すること、タッチスクリーン上でなされた接触及び／又はジェスチャを認識し解釈すること、キーボード入力又はメニュー選択に応答すること等のための命令を実行してもよい。幾つかの実施形態において、ユーザインターフェース１７０は、ディスプレイ、スピーカ、触覚装置、及び／又は出力情報をユーザに提供するための任意の他の装置を含んでもよい。
[054] 地図データベース１６０は、システム１００に有用な地図データを格納するための任意のタイプのデータベースを含んでもよい。幾つかの実施形態において、地図データベース１６０は、道路、水使用施設、地勢、企業、関心のある地点、レストラン、ガソリンスタンド等を含む様々なアイテムの位置に関係する情報を基準座標系に含んでもよい。地図データベース１６０は、かかるアイテムの位置だけでなく、例えば格納された特徴のいずれかに関連する名前を含む、それらのアイテムに関係する記述子も格納してもよい。幾つかの実施形態において、地図データベース１６０は、システム１００の他のコンポーネントと物理的に一緒に置かれてもよい。代替又は追加として、地図データベース１６０又はその一部は、システム１００の他のコンポーネント（例えば処理ユニット１１０）に対して遠隔に位置してもよい。かかる実施形態において、地図データベース１６０からの情報は、ネットワークへの有線又は無線データ接続を通じて（例えばセルラーネットワーク及び／又はインターネット等を通じて）ダウンロードされてもよい。場合によっては、地図データベース１６０は、或る道路特徴（例えば車線区分線）又はホスト車両用の目標軌道の多項式表現を含む疎データモデルを格納してもよい。地図データベース１６０はまた、目標軌道に対するホスト車両の周知の位置を決定又は更新するために利用され得る様々な認識されたランドマークの格納された表現を含んでもよい。ランドマークの表現は、数ある潜在的な識別子の中で、ランドマークタイプ、ランドマーク位置などのデータフィールドを含んでもよい。
[055] 画像捕捉装置１２２、１２４及び１２６は、それぞれ、環境から少なくとも１つの画像を捕捉するのに適した任意のタイプの装置を含んでもよい。更に、任意の数の画像捕捉装置が、画像プロセッサへの入力用の画像を取得するために用いられてもよい。幾つかの実施形態は、単一の画像捕捉装置だけを含んでもよく、一方で他の実施形態は、２つ、３つ、又は４つ以上の画像捕捉装置さえ含んでもよい。画像捕捉装置１２２、１２４及び１２６は、以下で図２Ｂ－２Ｅに関連して更に説明される。
[056] １つ又は複数のカメラ（例えば画像捕捉装置１２２、１２４及び１２６）は、車両に含まれるセンサブロックの一部であってもよい。様々な他のセンサが、センサブロックに含まれてもよく、センサのいずれか又は全てが、車両の感知されたナビゲーション状態を創り出すために依拠され得る。カメラ（前方、側方、後方等）に加えて、ＲＡＤＡＲ、ＬＩＤＡＲなどの他のセンサ、及び音響センサが、センサブロックに含まれてもよい。加えて、センサブロックは、車両の環境に関係する情報を通信し伝送／受信するように構成された１つ又は複数のコンポーネントを含んでもよい。例えば、かかるコンポーネントは、ホスト車両センサベースの情報、又はホスト車両の環境に関係する任意の他のタイプの情報に対して、遠隔に位置するソースから受信し得る無線トランシーバ（ＲＦ等）を含んでもよい。かかる情報は、ホスト車両以外の車両システムから受信されるセンサ出力情報又は関連情報を含んでもよい。幾つかの実施形態において、かかる情報は、遠隔コンピューティング装置、集中型サーバ等から受信される情報を含んでもよい。更に、カメラは、多くの相異なる構成、即ち、単一カメラユニット、多数のカメラ、カメラクラスタ、長ＦＯＶ、短ＦＯＶ、広角、魚眼等を取ってもよい。
[057] システム１００又はその様々なコンポーネントは、様々な相異なるプラットホームに組み込まれてもよい。幾つかの実施形態において、システム１００は、図２Ａに示されているように、車両２００に含まれてもよい。例えば、車両２００は、図１に関連して上記で説明されたように、システム１００の処理ユニット１１０及び他のコンポーネントのいずれかを装備してもよい。幾つかの実施形態において、車両２００は、単一の画像捕捉装置（例えばカメラ）だけを装備してもよいが、図２Ｂ－２Ｅに関連して説明される実施形態などの他の実施形態において、多数の画像捕捉装置が用いられてもよい。例えば、図２Ａに示されているように、車両２００の画像捕捉装置１２２及び１２４のいずれかは、ＡＤＡＳ（高度運転者支援システム）撮像セットの一部であってもよい。
[058] 画像取得ユニット１２０の一部として車両２００に含まれる画像捕捉装置は、任意の適切な位置に配置されてもよい。幾つかの実施形態において、図２Ａ－２Ｅ及び３Ａ－３Ｃに示されているように、画像捕捉装置１２２は、バックミラーの近くに位置してもよい。この位置は、車両２００の運転者の視線に似た視線を提供することが可能であり、それは、運転者に何が見えて何が見えないかを決定することを支援し得る。画像捕捉装置１２２は、バックミラーの近くの任意の位置に配置されてもよいが、しかしミラーの運転者側に画像捕捉装置１２２を配置することは、運転者の視野及び／又は視線を表す画像を取得することを更に支援し得る。
[059] 画像取得ユニット１２０の画像捕捉装置用の他の位置が用いられてもよい。例えば、画像捕捉装置１２４は、車両２００のバンパーの上又は中に位置してもよい。かかる位置は、広視野を有する画像捕捉装置用に特に適切であり得る。バンパーに位置する画像捕捉装置の視線は、運転者の視線と異なることができ、従ってバンパー画像捕捉装置及び運転者は、必ずしも同じ対象を見ることが可能であるとは限らない。画像捕捉装置（例えば画像捕捉装置１２２、１２４及び１２６）はまた、他の位置に置かれてもよい。例えば、画像捕捉装置は、車両２００のサイドミラーの１つ又は両方の上又は中に、車両２００の屋根上に、車両２００のボンネット上に、車両２００のトランク上に、車両２００の側部に位置してもよく、車両２００の窓のいずれかの上に搭載されるか、その背後に配置されるか、又はその前に配置されてもよく、且つ車両２００の前部及び／又は後部における照明器具に又はその近くに搭載されてもよい等である。
[060] 画像捕捉装置に加えて、車両２００は、システム１００の様々な他のコンポーネントを含んでもよい。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）と統合されて、又はそれとは別個に車両２００に含まれてもよい。車両２００はまた、ＧＰＳ受信機などの位置センサ１３０を装備さてもよく、且つまた地図データベース１６０並びにメモリユニット１４０及び１５０を含んでもよい。
[061] 前に論じたように、無線トランシーバ１７２は、１つ又は複数のネットワーク（例えばセルラーネットワーク、インターネット等）を通じてデータを及び／又は受信してもよい。例えば、無線トランシーバ１７２は、システム１００によって収集されたデータを１つ又は複数のサーバにアップロードし、且つ１つ又は複数のサーバからデータをダウンロードしてもよい。無線トランシーバ１７２を介して、システム１００は、地図データベース１６０、メモリ１４０及び／又はメモリ１５０に格納されたデータに対する、例えば周期的な又はオンデマンドの更新を受信してもよい。同様に、無線トランシーバ１７２は、システム１００からの任意のデータ（例えば画像取得ユニット１２０によって捕捉された画像、位置センサ１３０若しくは他のセンサ、車両制御システムによって受信されたデータ等）、及び／又は処理ユニット１１０によって処理された任意のデータを１つ又は複数のサーバにアップロードしてもよい。
[062] システム１００は、プライバシレベル設定に基づいてサーバに（例えばクラウドに）データをアップロードしてもよい。例えば、システム１００は、車両及び／又は車両の運転者／所有者を一意に識別可能な、サーバに送信されるデータ（メタデータを含む）のタイプを規制又は制限するために、プライバシレベル設定を実施してもよい。かかる設定は、例えば、無線トランシーバ１７２を介してユーザによって設定されてもよく、工場出荷時の設定によって初期化されてもよく、又は無線トランシーバ１７２によって受信されたデータによって初期化されてもよい。
[063] 幾つかの実施形態において、システム１００は、「高」プライバシレベルに従ってデータをアップロードしてもよく、設定の設定下でシステム１００は、特定の車両及び／又は運転者／所有者に関するどんな詳細もなしに、データ（例えば、ルートに関する位置情報、取得画像等）を伝送してもよい。例えば、「高」プライバシ設定に従ってデータをアップロードする場合に、システム１００は、車両登録番号（ＶＩＮ）も車両の運転者又は所有者の名前も含まなくてもよく、その代わりに、ルートに関係する捕捉画像及び／又は制限された位置情報などのデータを伝送してもよい。
[064] 他のプライバシレベルが、同様に考えられる。例えば、システム１００は、「中間」プライバシレベルに従ってサーバにデータを伝送してもよく、且つ車両の型及び／又はモデル、及び／又は車種（例えば乗用車、スポーツ用多目的車、トラック等）など、「高」プライバシレベル下で含まれない追加情報を含んでもよい。幾つかの実施形態において、システム１００は、「低」プライバシレベルに従ってデータをアップロードしてもよい。「低」プライバシレベル設定下において、システム１００は、データをアップロードし、特定の車両、所有者／運転者、及び／又は車両が走行するルートの一部又は全体を一意に識別するために十分な情報を含んでもよい。かかる「低」プライバシレベルデータは、例えば、ＶＩＮ、運転者／所有者名、出発前の車両の起点、車両の意図した目的地、車両の型及び／又はモデル、車種等の１つ又は複数を含んでもよい。
[065] 図２Ａは、開示される実施形態と一致する例示的な車両撮像システムの概略側面図表示である。図２Ｂは、図２Ａに示されている実施形態の概略上面図実例である。図２Ｂに示されているように、開示される実施形態は、バックミラーの近辺に及び／又は車両２００の運転者の近くに配置された第１の画像捕捉装置１２２と、車両２００のバンパー領域（例えばバンパー領域２１０の１つ）上又はその中に配置された第２の画像捕捉装置１２４と、処理ユニット１１０と、を備えたシステム１００を自らの車体に含む車両２００を含んでもよい。
[066] 図２Ｃに示されているように、画像捕捉装置１２２及び１２４は、両方とも、車両２００のバックミラーの近辺に及び／又は運転者の近くに配置されてもよい。加えて、２つの画像捕捉装置１２２及び１２４が、図２Ｂ及び２Ｃに示されているが、他の実施形態が、２つを超える画像捕捉装置を含んでもよいことを理解されたい。例えば、図２Ｄ及び２Ｅに示されている実施形態において、第１、第２及び第３の画像捕捉装置１２２、１２４及び１２６が、車両２００のシステム１００に含まれる。
[067] 図２Ｄに示されているように、画像捕捉装置１２２は、車両２００のバックミラーの近辺に及び／又は運転者の近くに配置されてもよく、画像捕捉装置１２４及び１２６は、車両２００のバンパー領域（例えばバンパー領域２１０の１つ）の上又はその中に配置されてもよい。且つ図２Ｅに示されているように、画像捕捉装置１２２、１２４及び１２６は、車両２００のバックミラーの近辺に及び／又は運転席の近くに配置されてもよい。開示される実施形態は、画像捕捉装置のどんな特定の数及び構成にも限定されず、画像捕捉装置は、車両２００の内側に及び／又はその上のいずれかの適切な位置に配置されてもよい。
[068] 開示される実施形態が、車両に限定されず、他の文脈において適用可能であることを理解されたい。また、開示される実施形態が、特定のタイプの車両２００に限定されず、自動車、トラック、トレーラ及び他の車種を含む全ての他の車種に適用可能であることを理解されたい。
[069] 第１の画像捕捉装置１２２は、任意の適切なタイプの画像捕捉装置を含んでもよい。画像捕捉装置１２２は、光学軸を含んでもよい。１つの実例において、画像捕捉装置１２２は、グローバルシャッタを備えたAptina M9V024 WVGAセンサを含んでもよい。他の実施形態において、画像捕捉装置１２２は、１２８０×９６０画素の解像度を提供してもよく、且つローリングシャッタを含んでもよい。画像捕捉装置１２２は、様々な光学素子を含んでもよい。幾つかの実施形態において、１つ又は複数のレンズが、例えば、画像捕捉装置用の所望の焦点距離及び視野を提供するために含まれてもよい。幾つかの実施形態において、画像捕捉装置１２２は、６ｍｍレンズ又は１２ｍｍレンズに関連付けられてもよい。幾つかの実施形態において、画像捕捉装置１２２は、図２Ｄに示されているように、所望の視野（ＦＯＶ）２０２を有する画像を捕捉するように構成されてもよい。例えば、画像捕捉装置１２２は、４６度ＦＯＶ、５０度ＦＯＶ、５２度ＦＯＶ、又はより大きなＦＯＶを含む、４０度～５６度内のような通常のＦＯＶを有するように構成されてもよい。代替として、画像捕捉装置１２２は、２８度ＦＯＶ又は３６度ＦＯＶなど、２３～４０度の範囲における狭ＦＯＶを有するように構成されてもよい。加えて、画像捕捉装置１２２は、１００～１８０度の範囲における広ＦＯＶを有するように構成されてもよい。幾つかの実施形態において、画像捕捉装置１２２は、広角バンパーカメラ又は最大１８０度ＦＯＶを備えたバンパーカメラを含んでもよい。幾つかの実施形態において、画像捕捉装置１２２は、約１００度水平ＦＯＶを備えた約２：１アスペクト比（例えばＨ×Ｖ＝３８００×１９００画素）を備えた７．２Ｍ画素画像捕捉装置であってもよい。かかる画像捕捉装置は、３画像捕捉装置構成の代わりに用いられてもよい。著しいレンズ歪み故に、かかる画像捕捉装置の垂直ＦＯＶは、画像捕捉装置が放射対称レンズを用いる実装形態において、５０度よりかなり小さくなり得る。例えば、１００度水平ＦＯＶと共に５０度より大きい垂直ＦＯＶを可能にするであろうかかるレンズは、放射対称ではなくなり得る。
[070] 第１の画像捕捉装置１２２は、車両２００に関連するシーンに関する複数の第１の画像を取得してもよい。複数の第１の画像のそれぞれは、一連の画像走査線として取得されてもよく、それらは、ローリングシャッタを用いて捕捉されてもよい。各走査線は、複数の画素を含んでもよい。
[071] 第１の画像捕捉装置１２２は、第１の一連の画像走査線のそれぞれの取得に関連する走査レートを有してもよい。走査レートは、画像センサが、特定の走査線に含まれる各画素に関連する画像データを取得できるレートを指してもよい。
[072] 画像捕捉装置１２２、１２４及び１２６は、例えばＣＣＤセンサ又はＣＭＯＳセンサを含む、任意の適切なタイプで任意の数の画像センサを含んでもよい。一実施形態において、ＣＭＯＳ画像センサは、行における各画素が、１つずつ読み取られるように、ローリングシャッタと共に用いられてもよく、行の走査は、全画像フレームが捕捉されるまで、行ごとに進む。幾つかの実施形態において、行は、フレームに対して上端から底部まで連続して捕捉されてもよい。
[073] 幾つかの実施形態において、本明細書で開示される画像捕捉装置（例えば画像捕捉装置１２２、１２４及び１２６）の１つ又は複数は、高解像度イメージャを構成してもよく、５Ｍ画素、７Ｍ画素、１０Ｍ画素、又はより大きな解像度を有してもよい。
[074] ローリングシャッタの使用は、相異なる行における画素が、相異なる時刻に露光され捕捉されることに帰着し得、それは、捕捉画像フレームにおける歪み及び他の画像アーチファクトを引き起こし得る。他方で、画像捕捉装置１２２が、グローバル又は同期シャッタで動作するように構成された場合に、画素の全ては、同じ時間量にわたって、且つ共通露光期間中に露光され得る。その結果、グローバルシャッタを用いるシステムから収集されたフレームにおける画像データは、特定の時刻における全ＦＯＶ（ＦＯＶ２０２など）のスナップ写真を表す。対照的に、ローリングシャッタの適用において、フレームにおける各行が露光され、データは、相異なる時刻に捕捉される。従って、移動している対象は、ローリングシャッタを有する画像捕捉装置において歪められたように見え得る。この現象は、以下でより詳細に説明される。
[075] 第２の画像捕捉装置１２４及び第３の画像捕捉装置１２６は、任意のタイプの画像捕捉装置であってもよい。第１の画像捕捉装置１２２と同様に、画像捕捉装置１２４及び１２６のそれぞれは、光学軸を含んでもよい。一実施形態において、画像捕捉装置１２４及び１２６のそれぞれは、グローバルシャッタを備えたAptina M9V024 WVGAセンサを含んでもよい。代替として、画像捕捉装置１２４及び１２６のそれぞれは、ローリングシャッタを含んでもよい。画像捕捉装置１２２と同様に、画像捕捉装置１２４及び１２６は、様々なレンズ及び光学素子を含むように構成されてもよい。幾つかの実施形態において、画像捕捉装置１２４及び１２６に関連するレンズは、画像捕捉装置１２２に関連するＦＯＶ（ＦＯＶ２０２など）と同じであるか又はより狭いＦＯＶ（ＦＯＶ２０４及び２０６など）を提供してもよい。例えば、画像捕捉装置１２４及び１２６は、４０度、３０度、２６度、２３度、２０度、又はより小さいＦＯＶを有してもよい。
[076] 画像捕捉装置１２４及び１２６は、車両２００に関連するシーンに関する複数の第２及び第３の画像を取得してもよい。複数の第２及び第３の画像のそれぞれは、第２及び第３の一連の画像走査線として取得されてもよく、それらは、ローリングシャッタを用いて捕捉されてもよい。各走査線又は行は、複数の画素を有してもよい。画像捕捉装置１２４及び１２６は、第２及び第３のシリーズに含まれる画像走査線のそれぞれの取得に関連する第２及び第３の走査レートを有してもよい。
[077] 各画像捕捉装置１２２、１２４及び１２６は、車両２００に対する任意の適切な位置及び向きに配置されてもよい。画像捕捉装置１２２、１２４及び１２６の相対的位置決めは、画像捕捉装置から取得される情報を一緒に結合することを支援するように選択されてもよい。例えば、幾つかの実施形態において、画像捕捉装置１２４に関連するＦＯＶ（ＦＯＶ２０４など）は、画像捕捉装置１２２に関連するＦＯＶ（ＦＯＶ２０２など）、及び画像捕捉装置１２６に関連するＦＯＶ（ＦＯＶ２０６など）と部分的に又は完全に重複してもよい。
[078] 画像捕捉装置１２２、１２４及び１２６は、任意の適切な相対的高さで車両２００に位置してもよい。１つの実例において、画像捕捉装置１２２、１２４、及び１２６間に高低差があってもよく、これらの画像捕捉装置は、立体解析を可能にする十分な視差情報を提供し得る。例えば、図２Ａに示されているように、２つの画像捕捉装置１２２及び１２４は、相異なる高さにある。画像捕捉装置１２２、１２４及び１２６間の横変位差もまたあり、例えば、処理ユニット１１０による立体解析用の追加の視差情報を与え得る。横変位における差は、図２Ｃ及び２Ｄに示されているように、ｄｘによって表示されてもよい。幾つかの実施形態において、前後変位（例えば、範囲変位）が、画像捕捉装置１２２、１２４及び１２６間に存在してもよい。例えば、画像捕捉装置１２２は、画像捕捉装置１２４及び／又は画像捕捉装置１２６の０．５～２メートル、又はそれ以上後ろに位置してもよい。この種の変位は、画像捕捉装置の１つが、他の画像捕捉装置の潜在的な盲点をカバーできるようにし得る。
[079] 画像捕捉装置１２２は、任意の適切な解像能力（例えば画像センサに関連する画素数）を有してもよく、画像捕捉装置１２２に関連する画像センサの解像度は、画像捕捉装置１２４及び１２６に関連する画像センサの解像度より高いか、より低いか、又はそれと同じであってもよい。幾つかの実施形態において、画像捕捉装置１２２及び／又は画像捕捉装置１２４及び１２６に関連する画像センサは、６４０×４８０、１０２４×７６８、１２８０×９６０の解像度又は任意の他の適切な解像度を有してもよい。
[080] フレームレート（例えば、画像捕捉装置が、次の画像フレームに関連する画素データを捕捉することに移る前に、１つの画像フレームの画素データセットを取得するレート）は、制御可能であってもよい。画像捕捉装置１２２に関連するフレームレートは、画像捕捉装置１２４及び１２６に関連するフレームレートより高いか、より低いか、又はそれと同じであってもよい。画像捕捉装置１２２、１２４及び１２６に関連するフレームレートは、フレームレートのタイミングに影響し得る様々な要因に依存し得る。例えば、画像捕捉装置１２２、１２４及び１２６の１つ又は複数は、画像捕捉装置１２２、１２４及び／又は１２６の画像センサにおける１つ又は複数の画素に関連する画像データの取得の前又は後に課される選択可能な画素遅延期間を含んでもよい。一般に、各画素に対応する画像データは、装置用のクロックレート（例えばクロックサイクル当たり一画素）に従って取得されてもよい。加えて、ローリングシャッタを含む実施形態において、画像捕捉装置１２２、１２４及び１２６の１つ又は複数は、画像捕捉装置１２２、１２４及び／又は１２６における画像センサの画素行に関連する画像データの取得の前又は後に課される選択可能な水平ブランキング期間を含んでもよい。更に、画像捕捉装置１２２、１２４及び／又は１２６の１つ又は複数は、画像捕捉装置１２２、１２４及び１２６の画像フレームに関連する画像データの取得の前又は後に課される選択可能な垂直ブランキング期間を含んでもよい。
[081] これらのタイミング制御は、画像捕捉装置１２２、１２４及び１２６のそれぞれのライン走査レートが相異なる場合にさえ、画像捕捉装置１２２、１２４及び１２６に関連するフレームレートの同期化を可能にし得る。加えて、以下でより詳細に説明されるように、数ある要因（例えば画像センサ解像度、最大ライン走査レート等）の中で、これらの選択可能なタイミング制御は、画像捕捉装置１２２の視野が、画像捕捉装置１２４及び１２６のＦＯＶと相異なる場合にさえ、画像捕捉装置１２２のＦＯＶが、画像捕捉装置１２４及び１２６の１つ又は複数のＦＯＶと重複するエリアからの、画像捕捉の同期化を可能にし得る。
[082] 画像捕捉装置１２２、１２４及び１２６におけるフレームレートタイミングは、関連する画像センサの解像度に依存し得る。例えば、両方の装置用に同様のライン走査レートを仮定すると、１つの装置が６４０×４８０の解像度を有する画像センサを含み、且つ別の装置が、１２８０×９６０の解像度を備えた画像センサを含む場合に、より多くの時間が、より高い解像度を有するセンサから画像データのフレームを取得するために必要とされる。
[083] 画像捕捉装置１２２、１２４及び１２６における画像データ取得のタイミングに影響し得る別の要因は、最大ライン走査レートである。例えば、画像捕捉装置１２２、１２４及び１２６に含まれる画像センサからの画像データの行の取得は、幾らかの最小時間量を必要とする。画素遅延期間が追加されないと仮定すると、画像データの行の取得用のこの最小時間量は、特定の装置用の最大ライン走査レートと関係する。より高い最大ライン走査レートを提供する装置は、より低い最大ライン走査レートを備えた装置より、高いフレームレートを提供する可能性を有する。幾つかの実施形態において、画像捕捉装置１２４及び１２６の１つ又は複数は、画像捕捉装置１２２に関連する最大ライン走査レートより高い最大ライン走査レートを有してもよい。幾つかの実施形態において、画像捕捉装置１２４及び／又は１２６の最大ライン走査レートは、画像捕捉装置１２２の最大ライン走査レートの１．２５倍、１．５倍、１．７５倍又は２倍以上であってもよい。
[084] 別の実施形態において、画像捕捉装置１２２、１２４及び１２６は、同じ最大ライン走査レートを有してもよいが、画像捕捉装置１２２は、その最大走査レート以下の走査レートで操作されてもよい。システムは、画像捕捉装置１２４及び１２６の１つ又は複数が、画像捕捉装置１２２のライン走査レートと等しいライン走査レートで動作するように構成されてもよい。他の実例において、システムは、画像捕捉装置１２４及び／又は画像捕捉装置１２６のライン走査レートが、画像捕捉装置１２２のライン走査レートの１．２５倍、１．５倍、１．７５倍、又は２倍以上であり得るように構成されてもよい。
[085] 幾つかの実施形態において、画像捕捉装置１２２、１２４及び１２６は、非対称であってもよい。即ち、それらは、相異なる視野（ＦＯＶ）及び焦点距離を有するカメラを含んでもよい。画像捕捉装置１２２、１２４及び１２６の視野は、例えば、車両２００の環境に関する任意の所望のエリアを含んでもよい。幾つかの実施形態において、画像捕捉装置１２２、１２４及び１２６の１つ又は複数は、車両２００の前方、車両２００の背後、車両２００の側方、又はそれらの組み合わせにおける環境から画像データを取得するように構成されてもよい。
[086] 更に、各画像捕捉装置１２２、１２４及び／又は１２６に関連する焦点距離は、各装置が、車両２００に関係する所望の距離範囲で対象の画像を取得するように、（例えば適切なレンズ等を含むことによって）選択可能であってもよい。例えば、幾つかの実施形態において、画像捕捉装置１２２、１２４及び１２６は、車両から数メートル以内のクローズアップの対象の画像を取得してもよい。画像捕捉装置１２２、１２４及び１２６はまた、車両からより離れた範囲（例えば２５ｍ、５０ｍ、１００ｍ、１５０ｍ又はより離れた）で対象の画像を取得するように構成されてもよい。更に、画像捕捉装置１２２、１２４及び１２６の焦点距離は、１つの画像捕捉装置（例えば画像捕捉装置１２２）が、車両に比較的近い（例えば１０ｍ内又は２０ｍ内）対象の画像を取得でき、一方で他の画像捕捉装置（例えば画像捕捉装置１２４及び１２６）が、車両２００からより離れた（例えば２０ｍ、５０ｍ、１００ｍ、１５０ｍ等を超える）対象の画像を取得できるように、選択されてもよい。
[087] 幾つかの実施形態によれば、１つ又は複数の画像捕捉装置１２２、１２４及び１２６のＦＯＶは、広角度を有してもよい。例えば、特に車両２００の近辺のエリアの画像を捕捉するために使用され得る画像捕捉装置１２２、１２４及び１２６用に、１４０度のＦＯＶを有することが有利になり得る。例えば、画像捕捉装置１２２は、車両２００の右又は左の方のエリアの画像を捕捉するために使用されてもよく、かかる実施形態において、画像捕捉装置１２２が広ＦＯＶ（例えば少なくとも１４０度）を有することが望ましくなり得る。
[088] 画像捕捉装置１２２、１２４及び１２６のそれぞれに関連する視野は、それぞれの焦点距離に依存してもよい。例えば、焦点距離が増加するにつれて、対応する視野は減少する。
[089] 画像捕捉装置１２２、１２４及び１２６は、任意の適切な視野を有するように構成されてもよい。１つの特定の例において、画像捕捉装置１２２は、４６度の水平ＦＯＶを有してもよく、画像捕捉装置１２４は、２３度の水平ＦＯＶを有してもよく、画像捕捉装置１２６は、２３～４６度の水平ＦＯＶを有してもよい。別の実例において、画像捕捉装置１２２は、５２度の水平ＦＯＶを有してもよく、画像捕捉装置１２４は、２６度の水平ＦＯＶを有してもよく、画像捕捉装置１２６は、２６～５２度の水平ＦＯＶを有してもよい。幾つかの実施形態において、画像捕捉装置１２４及び／又は画像捕捉装置１２６のＦＯＶに対する画像捕捉装置１２２のＦＯＶの比率は、１．５から２．０まで変化してもよい。他の実施形態において、この比率は、１．２５から２．２５まで変化してもよい。
[090] システム１００は、画像捕捉装置１２２の視野が、画像捕捉装置１２４及び／又は画像捕捉装置１２６の視野と少なくとも部分的に又は完全に重複するように、構成されてもよい。幾つかの実施形態において、システム１００は、例えば画像捕捉装置１２４及び１２６の視野が、画像捕捉装置１２２の視野の内側に入り（例えば、より狭い）、且つ画像捕捉装置１２２の視野と共通の中心を共有するように、構成されてもよい。他の実施形態において、画像捕捉装置１２２、１２４及び１２６は、隣接するＦＯＶを捕捉してもよく、又はそれらのＦＯＶにおいて部分的な重複を有してもよい。幾つかの実施形態において、画像捕捉装置１２２、１２４及び１２６の視野は、より狭ＦＯＶの画像捕捉装置１２４及び／又は１２６の中心が、より広いＦＯＶ装置１２２の視野の下半分に位置し得るように、整列されてもよい。
[091] 図２Ｆは、開示される実施形態と一致する例示的な車両制御システムの概略表示である。図２Ｆに示されているように、車両２００は、スロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０を含んでもよい。システム１００は、１つ又は複数のデータリンク（例えばデータを伝送するための任意の有線及び／又は無線リンク）を通じて、スロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０の１つ又は複数に入力（例えば制御信号）を提供してもよい。例えば、画像捕捉装置１２２、１２４及び／又は１２６によって取得された画像の解析に基づいて、システム１００は、（例えば加速、方向転換、車線変更等を引き起こすことによって）車両２００をナビゲートするための制御信号をスロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０の１つ又は複数に提供してもよい。更に、システム１００は、車両２００の動作条件（例えば、速度、車両２００がブレーキをかけているか及び／又は変更転換しているか等）を示す入力をスロットルシステム２２０、ブレーキシステム２３０、及びステアリングシステム２４の１つ又は複数から受信してもよい。更なる詳細は、以下で図４－７に関連して提供される。
[092] 図３Ａに示されているように、車両２００はまた、車両２００の運転者又は同乗者との対話用のユーザインターフェース１７０を含んでもよい。例えば、車両用途におけるユーザインターフェース１７０は、タッチスクリーン３２０、ノブ３３０、ボタン３４０、及びマイクロホン３５０を含んでもよい。車両２００の運転者又は同乗者はまた、システム１００と対話するために、ハンドル（例えば、方向指示器ハンドルを含む、車両２００のステアリングコラム上に又はその近くに位置する）、ボタン（例えば、車両２００のステアリングホイールに位置する）などを用いてもよい。幾つかの実施形態において、マイクロホン３５０は、バックミラー３１０に隣接して配置されてもよい。同様に、幾つかの実施形態において、画像捕捉装置１２２は、バックミラー３１０の近くに位置してもよい。幾つかの実施形態において、ユーザインターフェース１７０はまた、１つ又は複数のスピーカ３６０（例えば車両オーディオシステムのスピーカ）を含んでもよい。例えば、システム１００は、スピーカ３６０を介して様々な通知（例えば警報）を提供してもよい。
[093] 図３Ｂ－３Ｄは、開示される実施形態と一致する、バックミラー（例えばバックミラー３１０）の背後に且つ車両フロントガラスに対して配置されるように構成された例示的なカメラ台３７０の実例である。図３Ｂに示されているように、カメラ台３７０は、画像捕捉装置１２２、１２４及び１２６を含んでもよい。画像捕捉装置１２４及び１２６は、グレアシールド３８０の背後に配置されてもよく、グレアシールド３８０は、車両フロントガラスに対して水平であり、且つフィルム及び／又は反射防止材料の合成物を含んでもよい。例えば、グレアシールド３８０は、それが、一致する傾斜を有する車両フロントガラスに対して整列するように、配置されてもよい。幾つかの実施形態において、画像捕捉装置１２２、１２４及び１２６のそれぞれは、例えば図３Ｄに表示されているように、グレアシールド３８０の背後に配置されてもよい。開示される実施形態は、画像捕捉装置１２２、１２４及び１２６、カメラ台３７０、並びにグレアシールド３８０のどんな特定の構成にも限定されない。図３Ｃは、図３Ｂに示されているカメラ台３７０の正面斜視図の実例である。
[094] この開示の利益を有する当業者によって認識されるように、多数の変形及び／又は修正が、前述の開示された実施形態に行われ得る。例えば、全てのコンポーネントが、システム１００の動作にとって不可欠であるわけではない。更に、いずれのコンポーネントも、システム１００の任意の適切な部分に位置してもよく、コンポーネントは、開示される実施形態の機能を提供しながら、様々な構成に再配置されてもよい。従って、前述の構成は例であり、上述の構成にかかわらず、システム１００は、車両２００の周囲状況を解析する広範囲の機能を提供し、且つ解析に応じて車両２００をナビゲートすることができる。
[095] 以下で更に詳細に検討され、且つ様々な開示される実施形態と一致するように、システム１００は、自律運転及び／又は運転者支援技術に関係する様々な機能を提供し得る。例えば、システム１００は、画像データ、位置データ（例えばＧＰＳ位置情報）、地図データ、速度データ、及び／又は車両２００に含まれるセンサからのデータを解析してもよい。システム１００は、例えば画像取得ユニット１２０、位置センサ１３０、及び他のセンサからのデータを解析用に収集してもよい。更に、システム１００は、車両２００が、或る行動を取るべきか否かを決定し、次に、人間の介入なしに、決定された行動を自動的に取るために、収集データを解析してもよい。例えば、車両２００が、人間の介入なしにナビゲートする場合に、システム１００は、（例えば、スロットルシステム２２０、ブレーキシステム２３０、及びステアリングシステム２４０の１つ又は複数に制御信号を送信することによって）車両２００の制動、加速、及び／又はステアリングを自動的に制御してもよい。更に、システム１００は、収集データを解析し、且つ収集データの解析に基づいて警告及び／又は警報を車両乗員に発してもよい。システム１００によって提供される様々な実施形態に関する追加の詳細は、以下で提供される。
[096] 前向きマルチ撮像システム
[097] 上記のように、システム１００は、マルチカメラシステムを用いる駆動アシスト機能を提供してもよい。マルチカメラシステムは、車両の前方方向を向いた１つ又は複数のカメラを用いてもよい。他の実施形態において、マルチカメラシステムは、車両の側部又は車両の後部の方を向いた１つ又は複数のカメラを含んでもよい。一実施形態において、例えば、システム１００は、２つのカメラ撮像システムを用いてもよく、第１のカメラ及び第２のカメラ（例えば画像捕捉装置１２２及び１２４）は、車両（例えば車両２００）の前部及び／又は側部に配置されてもよい。他のカメラ構成が、開示される実施形態と一致し、本明細書で開示される構成は、例である。例えば、システム１００は、任意の数のカメラ（例えば１つ、２つ、３つ、４つ、５つ、６つ、７つ、８つ等）の構成を含んでもよい。更に、システム１００は、カメラ「クラスタ」を含んでもよい。例えば、（任意の適切な数のカメラ、例えば１つ、４つ、８つ等を含む）カメラクラスタは、車両に対して前向きであってよく、又は任意の他の方向（例えば後ろ向き、横向き、斜め等）を向いてもよい。従って、システム１００は、多数のカメラクラスタを含んでもよく、各クラスタは、車両の環境の特定の領域から画像を捕捉するために、特定の方向に向けられる。
[098] 第１のカメラは、第２のカメラの視野より大きいか、小さいか、又は部分的に重複する視野を有してもよい。加えて、第１のカメラは、第１のカメラによって提供される画像の単眼画像解析を実行するために、第１の画像プロセッサに接続されてもよく、第２のカメラは、第２のカメラによって提供される画像の単眼画像解析を実行するために、第２の画像プロセッサに接続されてもよい。第１及び第２の画像プロセッサの出力（例えば処理された情報）は、組み合わされてもよい。幾つかの実施形態において、第２の画像プロセッサは、立体解析を実行するために、第１のカメラ及び第２のカメラの両方から画像を受信してもよい。別の実施形態において、システム１００は、カメラのそれぞれが異なる視野を有する３カメラ撮像システムを用いてもよい。従って、かかるシステムは、車両の前方及び側方両方の可変距離に位置する対象に由来する情報に基づく決定を行ってもよい。単眼画像解析への言及は、画像解析が、単一の視点から（例えば単一のカメラから）捕捉された画像に基づいて実行される例を指してもよい。立体画像解析は、画像解析が、捕捉画像パラメータの１つ又は複数の変化を用いて捕捉された２つ以上の画像に基づいて実行される例を指してもよい。例えば、立体画像解析を実行するのに適した捕捉画像は、２つ以上の相異なる位置から補足された画像、相異なる視野から補足された画像、相異なる焦点距離を用いて補足された画像、視差情報を伴って捕捉された画像などを含んでもよい。
[099] 例えば、一実施形態において、システム１００は、画像捕捉装置１２２～１２６を用いる３カメラ構成を実現してもよい。かかる構成において、画像捕捉装置１２２は、狭視野（例えば、３４度、又は約２０～４５度の範囲から選択された他の値等）を提供してもよく、画像捕捉装置１２４は、広視野（例えば、１５０度、又は約１００～約１８０度の範囲から選択された他の値）を提供してもよく、画像捕捉装置１２６は、中間視野（例えば、４６度、又は約３５～約６０度の範囲から選択された他の値）を提供してもよい。幾つかの実施形態において、画像捕捉装置１２６は、主カメラ又は一次カメラとして働いてもよい。画像捕捉装置１２２－１２６は、バックミラー３１０の背後に配置され、且つほぼ並んで（例えば、６ｃｍ離れて）配置されてもよい。更に、幾つかの実施形態において、上記のように、画像捕捉装置１２２－１２６の１つ又は複数は、車両２００のフロントガラスと面一にあるグレアシールド３８０の背後に搭載されてもよい。かかる遮蔽は、画像捕捉装置１２２－１２６に対する車両内部からのどんな反射の影響も最小化するように働き得る。
[0100] 別の実施形態において、図３Ｂ及び３Ｃに関連して上記で説明されたように、広視野のカメラ（例えば上記の例における画像捕捉装置１２４）は、狭視野カメラ及び主視野カメラ（例えば上記の例における画像装置１２２及び１２６）より低く搭載されてもよい。この構成は、広視野カメラからの自由な視線を提供し得る。反射を低減するために、カメラは、車両２００のフロントガラスの近くに搭載されてもよく、且つ反射光を減少させるためにカメラ上に偏光子を含んでもよい。
[0101] ３カメラシステムは、或る性能特性を提供し得る。例えば、幾つかの実施形態は、別のカメラからの検出結果に基づいて、１つのカメラによる対象の検出を検証する能力を含み得る。上記の３カメラ構成において、処理ユニット１１０は、例えば、３つの処理装置（例えば上記のように、プロセッサチップの３つのEyeQシリーズ）を含んでもよく、各処理装置は、画像捕捉装置１２２～１２６の１つ又は複数によって捕捉された画像を処理することに専念する。
[0102] ３カメラシステムにおいて、第１の処理装置は、主カメラ及び狭視野カメラの両方から画像を受信し、且つ例えば、他の車両、歩行者、車線マーク、交通標識、交通信号灯、及び他の路上対象を検出するために、狭ＦＯＶカメラのビジョン処理を実行してもよい。更に、第１の処理装置は、主カメラからの画像と狭カメラとの間の画素の視差を計算し、且つ車両２００の環境の３Ｄ再構成を作成してもよい。次に、第１の処理装置は、３Ｄ再構成を、３Ｄ地図データと、又は別のカメラからの情報に基づいて計算された３Ｄ情報と組み合わせてもよい。
[0103] 第２の処理装置は、主カメラから画像を受信し、且つ他の車両、歩行者、車線マーク、交通標識、交通信号灯、及び他の路上対象を検出するために、ビジョン処理を実行してもよい。加えて、第２の処理装置は、カメラ変位を計算し、且つ変位に基づいて、連続画像間の画素の視差を計算し、シーンの３Ｄ再構成を作成してもよい（例えば、ストラクチャーフロムモーション（structure from motion）。第２の処理装置は、立体３Ｄ画像と組み合わされるように、３Ｄ再構成に基づいたストラクチャーフロムモーションを第１の処理装置に送信してもよい。
[0104] 第３の処理装置は、広ＦＯＶカメラから画像を受信し、且つ車両、歩行者、車線マーク、交通標識、交通信号灯、及び他の路上対象を検出するために画像を処理してもよい。第３の処理装置は、車線を変更している車両、歩行者など、画像において移動している対象を識別するように画像を解析するために、追加の処理命令を更に実行してもよい。
[0105] 幾つかの実施形態において、独立して捕捉され処理された画像ベースの情報ストリームを有することによって、システムにおける冗長性を提供する機会が提供され得る。かかる冗長性は、例えば、少なくとも第２の画像捕捉装置からの画像情報を捕捉し処理することによって取得された情報を検証し及び／又は補足するために、第１の画像捕捉装置及びその装置からの処理された画像を用いることを含んでもよい。
[0106] 幾つかの実施形態において、システム１００は、車両２００用にナビゲーション支援を提供する際に、２つの画像捕捉装置（例えば画像捕捉装置１２２及び１２４）を用い、また、冗長性を提供して、画像捕捉装置１２２及び１２４から受信されたデータの解析を検証するために、第３の画像捕捉装置（例えば画像捕捉装置１２６）を用いてもよい。例えば、かかる構成において、画像捕捉装置１２２及び１２４は、車両２００をナビゲートするためにシステム１００による立体解析用の画像を提供してもよく、一方で画像捕捉装置１２６は、画像捕捉装置１２２及び／又は画像捕捉装置１２４から捕捉された画像に基づいて取得された情報の冗長性及び検証を提供するために、システム１００による単眼解析用の画像を提供してもよい。即ち、画像捕捉装置１２６（及び対応する処理装置）は、（例えば自動非常ブレーキ（ＡＥＢ）システムを提供するために）画像捕捉装置１２２及び１２４に由来する解析に対するチェックを提供するための冗長サブシステムを提供すると考えられてもよい。更に、幾つかの実施形態において、受信データの冗長性及び検証は、１つ又は複数センサから受信された情報（例えばレーダ、ライダ、音響センサ、車両の外部の１つ又は複数のトランシーバから受信された情報等）に基づいて補足されてもよい。
[0107] 当業者は、上記のカメラ構成、カメラ配置、カメラの数、カメラ位置等が、単に例であることを認識されよう。これらのコンポーネント及び全体的なシステムに関連して説明される他のコンポーネントは、開示される実施形態の範囲から逸脱せずに、様々な相異なる構成において組み立てられ、用いられてもよい。運転者支援及び／又は自律車両機能を提供するマルチカメラシステムの使用に関する更なる詳細は、以下に続く。
[0108] 図４は、メモリ１４０及び／又は１５０の例示的な機能ブロック図であり、メモリ１４０及び／又は１５０は、開示される実施形態と一致する１つ又は複数の動作を実行するための命令を格納／プログラムされてもよい。下記は、メモリ１４０に触れるが、当業者は、命令が、メモリ１４０及び／又は１５０に格納されてもよいことを認識されよう。
[0109] 図４に示されているように、メモリ１４０は、単眼画像解析モジュール４０２、立体画像解析モジュール４０４、速度及び加速度モジュール４０６、並びにナビゲーション応答モジュール４０８を格納してもよい。開示される実施形態は、メモリ１４０のどんな特定の構成にも限定されない。更に、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、メモリ１４０に含まれるモジュール４０２－４０８のいずれかに格納された命令を実行してもよい。当業者は、処理ユニット１１０への以下の説明における言及が、アプリケーションプロセッサ１８０及び画像プロセッサ１９０を個々に又は集合的に指してもよいことを理解されよう。従って、以下のプロセスのいずれかにおけるステップは、１つ又は複数の処理装置によって実行されてもよい。
[0110] 一実施形態において、単眼画像解析モジュール４０２は、命令（コンピュータビジョンソフトウェアなど）を格納してもよく、これらの命令は、処理ユニット１１０によって実行された場合に、画像捕捉装置１２２、１２４及び１２６の１つによって取得された画像セットの単眼画像解析を実行する。幾つかの実施形態において、処理ユニット１１０は、単眼画像解析を実行するために、画像セットからの情報を追加のセンサ情報（例えばレーダからの情報）と組み合わせてもよい。以下で図５Ａ－５Ｄに関連して説明されるように、単眼画像解析モジュール４０２は、車線区分線、車両、歩行者、道路標識、ハイウェイ出口ランプ、交通信号灯、危険な対象、及び車両の環境に関連する任意の他の特徴などの画像セット内の特徴セットを検出するための命令を含んでもよい。解析に基づき、（例えば処理ユニット１１０を介して）システム１００は、ナビゲーション応答モジュール４０８に関連して以下で説明されるように、方向転換、車線変更、加速度の変更など、車両２００における１つ又は複数のナビゲーション応答を引き起こしてもよい。
[0111] 一実施形態において、単眼画像解析モジュール４０２は、命令（コンピュータビジョンソフトウェアなど）を格納してもよく、これらの命令は、処理ユニット１１０によって実行された場合に、画像捕捉装置１２２、１２４及び１２６の１つによって取得された画像セットの単眼画像解析を実行する。幾つかの実施形態において、処理ユニット１１０は、単眼画像解析を実行するために、画像セットからの情報を追加のセンサ情報（例えばレーダ、ライダ等からの情報）と組み合わせてもよい。以下で図５Ａ－５Ｄに関連して説明されるように、単眼画像解析モジュール４０２は、車線区分線、車両、歩行者、道路標識、ハイウェイ出口ランプ、交通信号灯、危険な対象、及び車両の環境に関連する任意の他の特徴などの画像セット内の特徴セットを検出するための命令を含んでもよい。解析に基づき、（例えば処理ユニット１１０を介して）システム１００は、ナビゲーション応答の決定に関連して以下で説明されるように、方向転換、車線変更、加速度の変更など、車両２００における１つ又は複数のナビゲーション応答を引き起こしてもよい。
[0112] 一実施形態において、立体画像解析モジュール４０４は、命令（コンピュータビジョンソフトウェアなど）を格納してもよく、これらの命令は、処理ユニット１１０によって実行された場合に、画像捕捉装置１２２、１２４及び１２６のいずれかから選択される画像捕捉装置の組み合わせによって取得された第１及び第２の画像セットの立体画像解析を実行する。幾つかの実施形態において、処理ユニット１１０は、立体画像解析を実行するために、第１及び第２の画像セットからの情報を追加のセンサ情報（例えばレーダからの情報）と組み合わせてもよい。例えば、立体画像解析モジュール４０４は、画像捕捉装置１２４によって取得された第１の画像セット、及び画像捕捉装置１２６によって取得された第２の画像セットに基づいて、立体画像解析を実行するための命令を含んでもよい。以下で図６に関連して説明されるように、立体画像解析モジュール４０４は、車線区分線、車両、歩行者、道路標識、ハイウェイ出口ランプ、交通信号灯、危険な対象などの第１及び第２の画像セット内の特徴セットを検出するための命令を含んでもよい。解析に基づいて、処理ユニット１１０は、ナビゲーション応答モジュール４０８に関連して以下で説明されるように、方向転換、車線変更、加速度の変更などの車両２００における１つ又は複数のナビゲーション応答を引き起こしてもよい。更に、幾つかの実施形態において、立体画像解析モジュール４０４は、訓練されたシステム（ニューラルネットワーク若しくはディープニューラルネットワークなど）又は訓練されていないシステムに関連する技術を実施してもよい。
[0113] 一実施形態において、速度及び加速度モジュール４０６は、車両２００の速度及び／又は加速度の変更を引き起こすように構成される、車両２００における１つ又は複数のコンピューティング及び電気機械装置から受信されたデータを解析するように構成されたソフトウェアを格納してもよい。例えば、処理ユニット１１０は、単眼画像解析モジュール４０２及び／又は立体画像解析モジュール４０４の実行から得られるデータに基づいて、車両２００用の目標速度を計算するために、速度及び加速度モジュール４０６に関連する命令を実行してもよい。かかるデータは、例えば、目標位置と、速度及び／又は加速と、近くの車両、歩行者又は路上対象に対する車両２００の位置及び／又は速度と、道路の車線区分線に対する車両２００用の位置情報と、などを含んでもよい。加えて、処理ユニット１１０は、センサ入力（例えばレーダからの情報）と、車両２００のスロットルシステム２２０、ブレーキシステム２３０及び／又はステアリングシステム２４０など、車両２００用の他のシステムからの入力と、に基づいて、車両２００用の目標速度を計算してもよい。計算された目標速度に基づいて、処理ユニット１１０は、例えば、車両２００のブレーキを物理的に押し込み、アクセルを緩めることによって速度及び／又は加速度の変更を引き起こすために、車両２００のスロットルシステム２２０、ブレーキシステム２３０及び／又はステアリングシステム２４０に電気信号を伝送してもよい。
[0114] 一実施形態において、ナビゲーション応答モジュール４０８は、単眼画像解析モジュール４０２及び／又は立体画像解析モジュール４０４の実行から得られるデータに基づいて、所望のナビゲーション応答を決定するために、処理ユニット１１０によって実行可能なソフトウェアを格納してもよい。かかるデータは、近くの車両、歩行者及び路上対象、車両２００用の目標位置情報などに関連する位置及び速度情報を含んでもよい。加えて、幾つかの実施形態において、ナビゲーション応答は、地図データ、車両２００の所定の位置、及び／又は、車両２００と、単眼画像解析モジュール４０２及び／又は立体画像解析モジュール４０４の実行から検出された１つ又は複数の対象との間の相対的速度若しくは相対的加速度に、（部分的に又は完全に）に基づいてもよい。ナビゲーション応答モジュール４０８はまた、センサ入力（例えばレーダからの情報）と、車両２００のスロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０など、車両２００の他のシステムからの入力と、に基づいて、所望のナビゲーション応答を決定してもよい。所望のナビゲーション応答に基づいて、処理ユニット１１０は、所定の角度の回転を達成するために、例えば車両２００のステアリングホイールを回すことによって所望のナビゲーション応答を引き起こすために、車両２００のスロットルシステム２２０、ブレーキシステム２３０及びステアリングシステム２４０に電気信号を伝送してもよい。幾つかの実施形態において、処理ユニット１１０は、車両２００の速度における変更を計算するための速度及び加速度モジュール４０６の実行への入力として、ナビゲーション応答モジュール４０８の出力（例えば所望のナビゲーション応答）を用いてもよい。
[0115] 更に、本明細書で開示されるモジュール（例えばモジュール４０２、４０４及び４０６）のいずれかは、訓練されたシステム（ニューラルネットワーク又はディープニューラルネットワークなど）又は訓練されていないシステムに関連する技術を実施してもよい。
[0116] 図５Ａは、開示される実施形態と一致する、単眼画像解析に基づいて１つ又は複数のナビゲーション応答を引き起こすための例示的なプロセス５００Ａを示すフローチャートである。ステップ５１０において、処理ユニット１１０は、処理ユニット１１０と画像取得ユニット１２０との間のデータインターフェース１２８を介して複数の画像を受信してもよい。例えば、画像取得ユニット１２０（視野２０２を有する画像捕捉装置１２２など）に含まれるカメラは、車両２００の前方（又は例えば車両の側部又は後部の方）のエリアの複数の画像を捕捉し、データ接続（例えば、デジタル、有線、ＵＳＢ、無線、Bluetooth等）を通じてそれらの画像を処理ユニット１１０に伝送してもよい。処理ユニット１１０は、図５Ｂ－５Ｄに関連して以下で更に詳細に説明されるように、ステップ５２０において複数の画像を解析するために、単眼画像解析モジュール４０２を実行してもよい。解析を実行することによって、処理ユニット１１０は、車線区分線、車両、歩行者、道路標識、ハイウェイ出口ランプ、交通信号灯など、画像セット内の特徴セットを検出してもよい。
[0117] 処理ユニット１１０はまた、例えばトラックタイヤの一部、落ちた道路標識、ルーズカーゴ、小動物など、ステップ５２０において様々な道路危険物を検出するために、単眼画像解析モジュール４０２を実行してもよい。道路危険物は、構造、形状、サイズ及び色において相異なる可能性があり、それらは、かかる危険物の検出をより困難にさせ得る。幾つかの実施形態において、処理ユニット１１０は、道路危険物を検出するように複数の画像に対してマルチフレーム解析を実行するために、単眼画像解析モジュール４０２を実行してもよい。例えば、処理ユニット１１０は、連続画像フレーム間のカメラ動作を評価し、道路の３Ｄ地図を構成するためにフレーム間の画素における視差を計算してもよい。次に、処理ユニット１１０は、路面と同様に路面上に存在する危険物を検出するために３Ｄ地図を用いてもよい。
[0118] ステップ５３０において、処理ユニット１１０は、ステップ５２０で実行された解析及び図４に関連して上記で説明された技術に基づいて、車両２００における１つ又は複数のナビゲーション応答を引き起こすために、ナビゲーション応答モジュール４０８を実行してもよい。ナビゲーション応答は、例えば、方向転換、車線変更、加速度の変更などを含んでもよい。幾つかの実施形態において、処理ユニット１１０は、１つ又は複数のナビゲーション応答を引き起こすために、速度及び加速度モジュール４０６の実行から得られるデータを用いてもよい。加えて、多数のナビゲーション応答が、同時にか、シーケンスでか、又はそれらの任意の組み合わせで行われてもよい。例えば、処理ユニット１１０は、車両２００を一レーンにわたって移動させ、次に、例えば車両２００のステアリングシステム２４０及びスロットルシステム２２０に制御信号を連続して伝送することによって、加速してもよい。代替として、処理ユニット１１０は、例えば車両２００のブレーキシステム２３０及びステアリングシステム２４０に制御信号を同時に伝送することによって、車両２００にブレーキをかけさせ、一方で同時に車線を変更してもよい。
[0119] 図５Ｂは、開示される実施形態と一致する、画像セットにおける１つ又は複数の車両及び／又は歩行者の検出用の例示的なプロセス５００Ｂを示すフローチャートである。処理ユニット１１０は、プロセス５００Ｂを実行するために、単眼画像解析モジュール４０２を実行してもよい。ステップ５４０において、処理ユニット１１０は、可能性がある車両及び／又は歩行者を表す候補対象セットを決定してもよい。例えば、処理ユニット１１０は、１つ又は複数の画像を走査し、画像を１つ又は複数の所定のパターンと比較し、関心のある対象（例えば車両、歩行者又はそれらの一部）を含み得る、可能性がある位置を各画像内で識別してもよい。所定のパターンは、高率の「偽ヒット」及び低率の「見落とし」を達成するような方法で設計されてもよい。例えば、処理ユニット１１０は、可能性がある車両又は歩行者としての候補対象を識別するための所定のパターンとの類似性の低閾値を用いてもよい。そうすることによって、処理ユニット１１０は、車両又は歩行者を表す候補対象を見落とす（例えば識別しない）可能性を低減することが可能になる。
[0120] ステップ５４２において、処理ユニット１１０は、分類基準に基づいて或る対象（例えば無関係な又はそれほど関係のない対象）を除外するために、候補対象セットをフィルタリングしてもよい。かかる基準は、データベース（例えば、メモリ１４０に格納されたデータベース）に格納された対象タイプに関連する様々な特性から導き出されてもよい。特性は、対象の形状、寸法、テクスチャ、位置（例えば車両２００に対する）などを含んでもよい。従って、処理ユニット１１０は、候補対象セットからの誤った対象を拒否するために、１つ又は複数の基準セットを用いてもよい。
[0121] ステップ５４４において、処理ユニット１１０は、候補対象セットにおける対象が、車両及び／又は歩行者を表すかどうかを決定するために、多数の画像フレームを解析してもよい。例えば、処理ユニット１１０は、連続フレームにわたって、検出された候補対象を追跡し、検出された対象に関連するフレームごとのデータ（例えばサイズ、車両２００に対する位置等）を蓄積してもよい。加えて、処理ユニット１１０は、検出された対象用のパラメータを評価し、対象のフレームごとの位置データを予測位置と比較してもよい。
[0122] ステップ５４６において、処理ユニット１１０は、検出された対象用の測定値セットを構成してもよい。かかる測定値は、例えば、検出された対象に関連する（車両２００に対する）位置、速度、及び加速度値を含んでもよい。幾つかの実施形態において、処理ユニット１１０は、カルマンフィルタ又は線形二次推定（ＬＱＥ）などの一連の時間ベースの観察値を用いる推定技術に基づいて、及び／又は相異なる対象タイプ（例えば乗用車、トラック、歩行者、自転車、道路標識等）用の利用可能なモデリングデータに基づいて、測定値を構成してもよい。カルマンフィルタは、対象のスケールの測定に基づいてもよく、スケール測定は、衝突までの時間（例えば車両２００が対象に達する時間量）に比例する。従って、ステップ５４０－５４６を実行することによって、処理ユニット１１０は、捕捉画像セット内に現れる車両及び歩行者を識別し、車両及び歩行者に関連する情報（例えば位置、速度、サイズ）を導き出してもよい。識別及び導き出された情報に基づいて、処理ユニット１１０は、上記で図５Ａに関連して説明されたように、車両２００における１つ又は複数のナビゲーション応答を引き起こしてもよい。
[0123] ステップ５４８において、処理ユニット１１０は、「偽ヒット」の検出及び車両又は歩行者を表す候補対象の見落としの可能性を低減するために、１つ又は複数の画像のオプティカルフロー解析を実行してもよい。オプティカルフロー解析は、例えば、他の車両及び歩行者に関連する１つ又は複数の画像において車両２００に対する、且つ路面の動作とは異なる動作パターンを解析することを指してもよい。処理ユニット１１０は、多数の画像フレームにわたって対象の相異なる位置を観察することによって、候補対象の動作を計算してもよく、多数の画像フレームは、相異なる時刻に捕捉される。処理ユニット１１０は、候補対象の動作を計算するための数学モデルへの入力として、位置及び時間値を用いてもよい。従って、オプティカルフロー解析は、車両２００のすぐ近くの車両及び歩行者を検出する別の方法を提供し得る。処理ユニット１１０は、車両及び歩行者を検出するための冗長性を提供し、且つシステム１００の信頼性を向上させるために、ステップ５４０－５４６と組み合わせてオプティカルフロー解析を実行してもよい。
[0124] 図５Ｃは、開示される実施形態と一致する、画像セットにおける路面標識及び／又は車線ジオメトリ情報を検出するための例示的なプロセス５００Ｃを示すフローチャートである。処理ユニット１１０は、プロセス５００Ｃを実施するために、単眼画像解析モジュール４０２を実行してもよい。ステップ５５０において、処理ユニット１１０は、１つ又は複数の画像を走査することによって、対象セットを検出してもよい。車線区分線、車線ジオメトリ情報、及び他の適切な路面標識のセグメントを検出するために、処理ユニット１１０は、無関係であると判定されたもの（例えば小さな穴、小さな岩等）を除外するために、対象セットをフィルタリングしてもよい。ステップ５５２において、処理ユニット１１０は、ステップ５５０で検出された同じ路面標識又は車線マークに属するセグメントをグループ分けしてもよい。グループ分けに基づいて、処理ユニット１１０は、数学モデルなど、検出されたセグメントを表すモデルを開発してもよい。
[0125] ステップ５５４において、処理ユニット１１０は、検出されたセグメントに関連する測定値セットを構成してもよい。幾つかの実施形態において、処理ユニット１１０は、画像面からの検出されたセグメントの投影を実世界の平面上に作成してもよい。投影は、検出された道路の位置、傾斜、曲率及び曲率導関数などの物理的特性に対応する係数を有する三次多項式を用いて特徴付けられてもよい。投影を生成する際に、処理ユニット１１０は、車両２００に関連するピッチレート及びロールレートと同様に、路面の変化を考慮してもよい。加えて、処理ユニット１１０は、路面に存在する位置及び動作のキューを解析することによって、道路高さをモデル化してもよい。更に、処理ユニット１１０は、１つ又は複数の画像における特徴点セットを追跡することによって、車両２００に関連するピッチレート及びロールレートを推定してもよい。
[0126] ステップ５５６において、処理ユニット１１０は、例えば、検出されたセグメントを連続画像フレームにわたって追跡すること、及び検出されたセグメントに関連するフレームごとのデータを蓄積することによって、マルチフレーム解析を実行してもよい。処理ユニット１１０が、マルチフレーム解析を実行するので、ステップ５５４において構成された測定値セットは、より信頼できるようになり、ますます高い信頼レベルに関連付けられ得る。従って、ステップ５５０－５５６を実行することによって、処理ユニット１１０は、捕捉画像セット内に現れる路面標識を識別し、且つ車線ジオメトリ情報を導き出し得る。識別及び導き出された情報に基づいて、処理ユニット１１０は、上記で図５Ａに関連して説明されたように、車両２００における１つ又は複数のナビゲーション応答を引き起こし得る。
[0127] ステップ５５８において、処理ユニット１１０は、車両２００の周囲状況のコンテクストにおいて車両２００用の安全モデルを更に開発するために、追加の情報源を考慮してもよい。処理ユニット１１０は、システム１００が安全な方法で車両２００の自律制御を実行し得るコンテクストを定義するために安全モデルを用いてもよい。安全モデルを開発するために、幾つかの実施形態において、処理ユニット１１０は、他の車両の位置及び動作、検出された路肩及びバリア、及び／又は地図データ（地図データベース１６０からのデータなど）から抽出された一般的な道路形状の説明を考慮してもよい。追加の情報源を考慮することによって、処理ユニット１１０は、路面標識及び車線ジオメトリを検出するための冗長性を提供し、且つシステム１００の信頼性を向上させてもよい。
[0128] 図５Ｄは、開示される実施形態と一致する、画像セットにおける交通信号灯を検出するための例示的なプロセス５００Ｄを示すフローチャートである。処理ユニット１１０は、プロセス５００Ｄを実施するために、単眼画像解析モジュール４０２を実行してもよい。ステップ５６０において、処理ユニット１１０は、画像セットを走査し、交通信号灯を含みそうな画像の位置に現れる対象を識別してもよい。例えば、処理ユニット１１０は、交通信号灯に対応しそうもない識別された対象を除外した候補対象セットを構成するために、識別された対象をフィルタリングしてもよい。フィルタリングは、形状、寸法、テクスチャ、位置（例えば車両２００に対する）など、交通信号灯に関連する様々な特性に基づいて行われてもよい。かかる特性は、交通信号灯及び交通制御信号の多数の例に基づき、且つデータベースに格納されてもよい。幾つかの実施形態において、処理ユニット１１０は、可能性のある交通信号灯を反映する候補対象セットに対してマルチフレーム解析を実行してもよい。例えば、処理ユニット１１０は、連続画像フレームにわたって候補対象を追跡し、候補対象の実世界の位置を推定し、且つ移動している対象（交通信号灯とは考えられない）を除外してもよい。幾つかの実施形態において、処理ユニット１１０は、候補対象に対して色解析を実行し、且つ可能性のある交通信号灯内に現れる検出された色の相対的位置を識別してもよい。
[0129] ステップ５６２において、処理ユニット１１０は、交差点ジオメトリを解析してもよい。解析は、（ｉ）車両２００の両側において検出された車線の数、（ｉｉ）道路上で検出された標識（矢印標識など）、及び（ｉｉｉ）地図データ（地図データベース１６０からのデータなど）から抽出された交差点の説明の任意の組み合わせに基づいてもよい。処理ユニット１１０は、単眼解析モジュール４０２の実行から得られる情報を用いて解析を実行してもよい。加えて、処理ユニット１１０は、ステップ５６０で検出された交通信号灯と、車両２００の近くに現れる車線との間の一致を判定してもよい。
[0130] 車両２００が、交差点に近づくにつれて、ステップ５６４において、処理ユニット１１０は、解析された交差点ジオメトリ及び検出された交通信号灯に関連する信頼レベルを更新してもよい。例えば、交差点に実際に現れる数と比較された、交差点に現れると推定された交通信号灯の数は、信頼レベルに影響してもよい。従って、信頼レベルに基づいて、処理ユニット１１０は、安全条件を改善するために、車両２００の運転者に制御を委ねてもよい。ステップ５６０－５６４を実行することによって、処理ユニット１１０は、捕捉画像セット内に現れる交通信号灯を識別し、交差点ジオメトリ情報を解析してもよい。識別及び解析に基づいて、処理ユニット１１０は、上記で図５Ａに関連して説明されたように、車両２００における１つ又は複数のナビゲーション応答を引き起こしてもよい。
[0131] 図５Ｅは、開示される実施形態と一致する、車両経路に基づいて、車両２００における１つ又は複数のナビゲーション応答を引き起こすための例示的なプロセス５００Ｅを示すフローチャートである。ステップ５７０において、処理ユニット１１０は、車両２００に関連する初期車両経路を構成してもよい。車両経路は、座標（ｘ、ｚ）で表現された点集合を用いて表されてもよく、点集合における２点間の距離ｄｉは、１～５メートルの範囲に入ってもよい。一実施形態において、処理ユニット１１０は、左及び右の道路多項式などの２つの多項式を用いて、初期車両経路を構成してもよい。処理ユニット１１０は、２つの多項式間の幾何学的な中間点を計算し、且つもしあれば（ゼロのオフセットは、車線の真中を移動していることに対応してもよい）、所定のオフセット（例えばスマートレーンオフセット）だけ、結果としての車両経路に含まれる各点をオフセットしてもよい。オフセットは、車両経路における任意の２点間のセグメントに垂直な方向であってもよい。別の実施形態において、処理ユニット１１０は、推定車線幅の半分＋所定のオフセット（例えばスマートレーンオフセット）だけ車両経路の各点をオフセットするために、１つの多項式及び推定車線幅を用いてもよい。
[0132] ステップ５７２において、処理ユニット１１０は、ステップ５７０で構成された車両経路を更新してもよい。処理ユニット１１０は、車両経路を表す点集合における２点間の距離ｄｋが、上記の距離ｄｉ未満であるように、より高い解像度を用いて、ステップ５７０で構成された車両経路を再構成してもよい。例えば、距離ｄｋは、０．１～０．３メートルの範囲に入ってもよい。処理ユニット１１０は、放物線スプラインアルゴリズムを用いて、車両経路を再構成してもよく、放物線スプラインアルゴリズムは、車両経路の全長（即ち、車両経路を表す点集合に基づいた）に対応する累積距離ベクトルＳを生じてもよい。
[0133] ステップ５７４において、処理ユニット１１０は、ステップ５７２において構成された更新車両経路に基づいて、（（ｘｌ、ｚｌ）として座標で表現される）前方注視点を決定してもよい。処理ユニット１１０は、累積距離ベクトルＳから前方注視点を抽出してもよく、前方注視点は、前方注視距離及び前方注視時間に関連付けられてもよい。前方注視距離は、１０～２０メートルに及ぶ下限を有してもよいが、車両２００の速度及び前方注視時間の積として計算されてもよい。例えば、車両２００の速度が低下するにつれて、前方注視距離もまた、（例えばそれが下限に達するまで）低下してもよい。前方注視時間は、０．５～１．５秒に及んでもよいが、進路誤差追跡制御ループなど、車両２００におけるナビゲーション応答を引き起こすことに関連する１つ又は複数の制御ループの利得に反比例してもよい。例えば、進路誤差追跡制御ループの利得は、ヨーレートループ、ステアリングアクチュエータループ、自動車横方向力学などの帯域幅に依存し得る。従って、進路誤差追跡制御ループの利得が高ければ高いほど、それだけ前方注視時間は短い。
[0134] ステップ５７６において、処理ユニット１１０は、ステップ５７４において決定された前方注視点に基づいて、進路誤差及びヨーレートコマンドを決定してもよい。処理ユニット１１０は、前方注視点のアークタンジェント、例えばａｒｃｔａｎ（ｘｌ／ｚｌ）を計算することによって、進路誤差を決定してもよい。処理ユニット１１０は、進路誤差及び高レベル制御利得の積としてヨーレートコマンドを決定してもよい。高レベル制御利得は、前方注視距離が下限にない場合に、（２／前方注視時間）に等しくてもよい。下限にある場合に、高レベル制御利得は、（２＊車両２００の速度／前方注視距離）と等しくてもよい。
[0135] 図５Ｆは、開示される実施形態と一致する、先行車両が車線を変更しているかどうかを決定するための例示的なプロセス５００Ｆを示すフローチャートである。ステップ５８０において、処理ユニット１１０は、先行車両（例えば車両２００の前方を走行する車両）に関連するナビゲーション情報を決定してもよい。例えば、処理ユニット１１０は、上記で図５Ａ及び５Ｂに関連して説明した技術を用いて、先行車両の位置、速度（例えば方向及びスピード）及び／又は加速度を決定してもよい。処理ユニット１１０はまた、上記で図５Ｅに関連して説明した技術を用いて、１つ又は複数の道路多項式、前方注視点（車両２００に関係する）、及び／又はスネイルトレイル（snail trail）（例えば先行車両によって取られた経路を示す点集合）を決定してもよい。
[0136] ステップ５８２において、処理ユニット１１０は、ステップ５８０で決定されたナビゲーション情報を解析してもよい。一実施形態において、処理ユニット１１０は、スネイルトレイルと道路多項式（例えばトレイルに沿った）との間の距離を計算してもよい。トレイルに沿ったこの距離の変動が、所定の閾値（例えば直線道路上で０．１～０．２メートル、適度に曲がった道路上で０．３～０．４メートル、及び急カーブの道路上で０．５～０．６メートル）を超える場合に、処理ユニット１１０は、先行車両が車線を変更しそうであると判定してもよい。車両２００の前方を走行している多数の車両が検出された場合に、処理ユニット１１０は、各車両に関連するスネイルトレイルを比較してもよい。比較に基づいて、処理ユニット１１０は、スネイルトレイルが他の車両のスネイルトレイルと一致しない車両が、車線を変更しそうであると判定してもよい。処理ユニット１１０は、加えて、（先行車両に関連する）スネイルトレイルの曲率を先行車両が走行している道路セグメントの予想される曲率と比較してもよい。予想される曲率は、地図データ（例えば地図データベース１６０からのデータ）から、道路多項式から、他の車両のスネイルトレイルから、及び、道路に関する事前知識などから抽出されてもよい。スネイルトレイルの曲率及び道路セグメントの予想される曲率の差が、所定の閾値を超える場合に、処理ユニット１１０は、先行車両が車線を変更しそうであると判定してもよい。
[0137] 別の実施形態において、処理ユニット１１０は、特定の期間（例えば０．５～１．５秒）にわたって、先行車両の瞬間的位置を前方注視点（車両２００に関連する）と比較してもよい。先行車両の瞬間的位置と前方注視点との間の距離が、特定の期間中に変化し、且つ変化の累積合計が、所定の閾値（例えば直線道路上で０．３～０．４メートル、適度に曲がった道路上で０．７～０．８メートル、及び急カーブの道路上で１．３～１．７メートル）を超える場合に、処理ユニット１１０は、先行車両が車線を変更しそうであると判定してもよい。別の実施形態において、処理ユニット１１０は、トレイルに沿って走行される横方向距離をスネイルトレイルの予想される曲率と比較することによって、スネイルトレイルのジオメトリを解析してもよい。予想される曲率半径は、計算（δｚ ２＋δｘ ２）／２／（δｘ）によって決定されてもよく、この式でδｘは、走行される横方向距離を表し、δｚは、走行される前後方向距離を表す。走行される横方向距離と予想される曲率との間の差が、所定の閾値（例えば５００～７００メートル）を超える場合に、処理ユニット１１０は、先行車両が車線を変更しそうであると判定してもよい。別の実施形態において、処理ユニット１１０は、先行車両の位置を解析してもよい。先行車両の位置が道路多項式を不明瞭にする場合（例えば、先行車両が、道路多項式の上にオーバーレイされる）に、処理ユニット１１０は、先行車両が車線を変更しそうであると判定してもよい。別の車両が先行車両の前に検出され、且つ２つの車両のスネイルトレイルが平行でないように先行車両の位置がなる場合に、処理ユニット１１０は、（より近い）先行車両が、車線を変更しそうであると判定してもよい。
[0138] ステップ５８４において、処理ユニット１１０は、ステップ５８２で実行される解析に基づいて、先行車両２００が、車線を変更しているかどうかを決定してもよい。例えば、処理ユニット１１０は、ステップ５８２で実行される個別の解析の加重平均に基づいて決定を行ってもよい。かかる方式下において、例えば、特定のタイプの解析に基づく先行車両が車線を変更しそうであるという処理ユニット１１０による決定は、「１」（及び先行車両が、車線を変更しそうにないという決定を表す「０」）の値を割り当てられてもよい。ステップ５８２で実行される相異なる解析は、相異なる重みを割り当てられてもよく、開示される実施形態は、解析及び重みのどんな特定の組み合わせにも限定されない。更に、幾つかの実施形態において、解析は、訓練されたシステム（例えば機械学習又はディープラーニングシステム）を利用してもよく、訓練されたシステムは、例えば、現在の位置で捕捉された画像に基づいて、車両の現在の位置の前方の将来の経路を推定してもよい。
[0139] 図６は、開示される実施形態と一致する、立体画像解析に基づいて１つ又は複数のナビゲーション応答を引き起こすための例示的なプロセス６００を示すフローチャートである。ステップ６１０において、処理ユニット１１０は、データインターフェース１２８を介して第１及び第２の複数の画像を受信してもよい。例えば、画像取得ユニット１２０（視野２０２及び２０４を有する画像捕捉装置１２２及び１２４など）に含まれるカメラは、車両２００の前方エリアの第１及び第２の複数の画像を捕捉し、デジタル接続（例えばＵＳＢ、無線、Bluetooth等）を通じて処理ユニット１１０にそれらの画像を伝送してもよい。幾つかの実施形態において、処理ユニット１１０は、２つ以上のデータインターフェースを介して、第１及び第２の複数の画像を受信してもよい。開示される実施形態は、どんな特定のデータインターフェース構成にもプロトコルにも限定されない。
[0140] ステップ６２０において、処理ユニット１１０は、車両の前方の道路の３Ｄ地図を作成し、車線区分線、車両、歩行者、道路標識、ハイウェイ出口ランプ、交通信号灯、道路危険物など、画像内の特徴を検出するように第１及び第２の複数の画像の立体画像解析を実行するために、立体画像解析モジュール４０４を実行してもよい。立体画像解析は、上記で図５Ａ－５Ｄに関連して説明されたステップに似た方法で実行されてもよい。例えば、処理ユニット１１０は、第１及び第２の複数の画像内の候補対象（例えば車両、歩行者、路面標識、交通信号灯、道路危険物等）を検出し、様々な基準に基づいて候補対象のサブセットを除外し、マルチフレーム解析を実行し、測定値を構成し、且つ残っている候補対象用の信頼レベルを決定するために、立体画像解析モジュール４０４を実行してもよい。上記のステップを実行する際に、処理ユニット１１０は、一画像セットだけからの情報ではなく、第１の複数の画像及び第２の複数の画像の両方からの情報を考慮してもよい。例えば、処理ユニット１１０は、第１及び第２の複数の画像の両方に現れる候補対象のために、画素レベルデータ（又は捕捉画像の２つのストリームの間からの他のデータサブセット）における差を解析してもよい。別の例として、処理ユニット１１０は、対象が複数の画像の一方に現れ、もう一方には現れないことを観察するか、又は２つの画像ストリームに現れる対象に関して相対的に存在し得る他の差異に対して観察することによって、（例えば車両２００に対する）候補対象の位置及び／又は速度を推定してもよい。例えば、車両２００に関係する位置、速度及び／又は加速度は、画像ストリームの一方又は両方に現れる対象に関連する特徴の軌道、位置、動作特性等に基づいて決定されてもよい。
[0141] ステップ６３０において、処理ユニット１１０は、ステップ６２０で実行される解析及び図４に関連して上記で説明した技術に基づいて、車両２００における１つ又は複数のナビゲーション応答を引き起こすために、ナビゲーション応答モジュール４０８を実行してもよい。ナビゲーション応答は、例えば、方向転換、車線変更、加速度の変更、速度の変更、制動などを含んでもよい。幾つかの実施形態において、処理ユニット１１０は、１つ又は複数のナビゲーション応答を引き起こすために、速度及び加速度モジュール４０６の実行から得られるデータを用いてもよい。加えて、多数のナビゲーション応答は、同時にか、シーケンスでか、又はそれらの任意の組み合わせで行われてもよい。
[0142] 図７は、開示される実施形態と一致する、３つの画像セットの解析に基づいて１つ又は複数のナビゲーション応答を引き起こすための例示的なプロセス７００を示すフローチャートである。ステップ７１０において、処理ユニット１１０は、データインターフェース１２８を介して、第１、第２及び第３の複数の画像を受信してもよい。例えば、画像取得ユニット１２０（視野２０２、２０４及び２０６を有する画像捕捉装置１２２、１２４及び１２６など）に含まれるカメラは、車両２００の前方の且つ側方のエリアの第１、第２及び第３の複数の画像を捕捉し、デジタル接続（例えばＵＳＢ、無線、Bluetooth等）を通じて処理ユニット１１０にそれらの画像を伝送してもよい。幾つかの実施形態において、処理ユニット１１０は、３つ以上のデータインターフェースを介して、第１、第２及び第３の複数の画像を受信してもよい。例えば、画像捕捉装置１２２、１２４、１２６のそれぞれは、処理ユニット１１０にデータを伝えるための関連データインターフェースを有してもよい。開示される実施形態は、どんな特定のデータインターフェース構成又はプロトコルにも限定されない。
[0143] ステップ７２０において、処理ユニット１１０は、車線区分線、車両、歩行者、道路標識、ハイウェイ出口ランプ、交通信号灯、道路危険物など、画像内の特徴を検出するために、第１、第２及び第３の複数の画像を解析してもよい。解析は、上記で図５Ａ－５Ｄ及び６に関連して説明されたステップに似た方法で実行されてもよい。例えば、処理ユニット１１０は、第１、第２及び第３の複数の画像のそれぞれに対して、（例えば、単眼画像解析モジュール４０２の実行を介した、且つ上記で図５Ａ－５Ｄに関連して説明されたステップに基づいた）単眼画像解析を実行してもよい。代替として、処理ユニット１１０は、第１及び第２の複数の画像、第２及び第３の複数の画像、及び／又は、第１及び第３の複数の画像に対して、（例えば、立体画像解析モジュール４０４の実行を介した、且つ上記で図６に関連して説明されたステップに基づいた）立体画像解析を実行してもよい。第１、第２及び／又は第３の複数の画像の解析に対応する処理された情報は、組み合わされてもよい。幾つかの実施形態において、処理ユニット１１０は、単眼及び立体画像解析の組み合わせを実行してもよい。例えば、処理ユニット１１０は、第１の複数の画像に対して、（例えば単眼画像解析モジュール４０２の実行を介した）単眼画像解析を、且つ第２及び第３の複数の画像に対して、（例えば立体画像解析モジュール４０４の実行を介した）立体画像解析を実行してもよい。画像捕捉装置１２２、１２４及び１２６の構成－それぞれの位置及び視野２０２、２０４及び２０６を含む－は、第１、第２及び第３の複数の画像に対して行われる解析タイプに影響を及ぼす。開示される実施形態は、画像捕捉装置１２２、１２４及び１２６の特定の構成にも、第１、第２及び第３の複数の画像に対して行われる解析タイプにも限定されない。
[0144] 幾つかの実施形態において、処理ユニット１１０は、ステップ７１０及び７２０で取得され解析された画像に基づいて、システム１００に対して試験を実行してもよい。かかる試験は、画像捕捉装置１２２、１２４及び１２６の或る構成用にシステム１００の全体的性能のインジケータを提供してもよい。例えば、処理ユニット１１０は、「偽ヒット」（例えばシステム１００が、車両又は歩行者の存在を不正確に判定した場合）及び「見落とし」割合を決定してもよい。
[0145] ステップ７３０において、処理ユニット１１０は、第１、第２及び第３の複数の画像の２つから得られた情報に基づいて、車両２００における１つ又は複数のナビゲーション応答を引き起こしてもよい。第１、第２及び第３の複数の画像における２つの選択は、例えば複数の画像のそれぞれにおいて検出された対象の数、タイプ及びサイズなどの様々な要因に依存してもよい。処理ユニット１１０はまた、画質及び解像度と、画像において反映される有効視野と、捕捉されたフレームの数と、関心のある１つ又は複数の対象が、フレームに実際に現れる程度（例えば、対象が現れるフレームのパーセンテージ、各かかるフレームに現れる対象の割合等）と、などに基づいて選択を行ってもよい。
[0146] 幾つかの実施形態において、処理ユニット１１０は、１つの画像ソースから得られる情報が、他の画像ソースから得られる情報と一致する程度を決定することによって、第１、第２及び第３の複数の画像における２つから得られる情報を選択してもよい。例えば、処理ユニット１１０は、画像捕捉装置１２２、１２４及び１２６のそれぞれから得られる処理された情報を組み合わせてもよく（単眼解析によるにせよ、立体解析によるにせよ、又はこれら２つの任意の組み合わせによるにせよ）、且つ画像捕捉装置１２２、１２４及び１２６のそれぞれから捕捉された画像にわたって一致する視覚的インジケータ（例えば車線区分線、検出された車両及びその位置及び／又は経路、検出された交通信号灯等）を決定してもよい。処理ユニット１１０はまた、捕捉画像にわたって一致しない情報（例えば車線を変更している車両、車両２００に接近しすぎている車両を示す車線モデル等）を除外してもよい。従って、処理ユニット１１０は、一致する情報及び一致しない情報の判定に基づいて、第１、第２及び第３の複数の画像における２つから得られる情報を選択してもよい。
[0147] ナビゲーション応答は、例えば、方向転換、車線変更、加速度の変更などを含んでもよい。処理ユニット１１０は、ステップ７２０で実行される解析及び図４に関連して上記で説明された技術に基づいて、１つ又は複数のナビゲーション応答を引き起こしてもよい。処理ユニット１１０はまた、１つ又は複数のナビゲーション応答を引き起こすために、速度及び加速度モジュール４０６の実行から得られるデータを用いてもよい。幾つかの実施形態において、処理ユニット１１０は、車両２００と、第１、第２及び第３の複数の画像のいずれかの内で検出された対象との間の相対的位置、相対的速度、及び／又は相対的加速度に基づいて、１つ又は複数のナビゲーション応答を引き起こしてもよい。多数のナビゲーション応答が、同時にか、シーケンスでか、又はそれらの任意の組み合わせで行われてもよい。
[0148] ＬＩＤＡＲ及び画像整合
[0149] 図８は、例示的な開示される実施形態と一致するシステム８００のブロック図表示である。システム８００は、特定の実装形態の要件に依存する様々なコンポーネントを含んでもよい。幾つかの実施形態において、システム８００は、上記のセクションで説明された処理ユニット１１０、画像取得ユニット１２０、位置センサ１３０、１つ又は複数のメモリユニット１４０、１５０、地図データベース１６０、ユーザインターフェース１７０、及び無線トランシーバ１７２を含んでもよい。加えて、システム８００は、１つ又は複数のＬＩＤＡＲユニット８１２、８１４及び８１６を含むＬＩＤＡＲシステム８１０を含んでもよい。
[0150] ３つのＬＩＤＡＲユニットが、ＬＩＤＡＲシステム８１０に示されているが、より多数又は少数のＬＩＤＡＲユニットが、特定の用途の要件に依存して用いられてもよい。更に、ＬＩＤＡＲユニット８１２、８１４及び８１６のいずれか、又はＬＩＤＡＲシステム８１０における任意の他の利用可能なＬＩＤＡＲユニットが、車両上の任意の適切な位置に配置されてもよい。例えば、図９の例示的な実施形態に示されているように、車両９００は、上記のセクションで説明された画像捕捉装置１２２及び１２４（例えばカメラ）を含んでもよい。車両９００はまた、ＬＩＤＡＲユニット８１２及び／又はＬＩＤＡＲユニット８１４を含むＬＩＤＡＲシステム８１０を装備されてもよい。画像捕捉装置１２２及び１２４と同様に、ＬＩＤＡＲユニット８１２及び８１４によって提供される出力は、処理ユニット１１０に直接又は間接的に供給されてもよい。示されているように、ＬＩＤＡＲユニット８１２は、ホスト車両９００の屋根に配置されてもよい。かかるユニットは、車両９００のまわりの３６０度の視野内の、又は３６０度の視野の任意のサブセグメント（例えばそれぞれ３６０度未満を表す１つ又は複数のＦＯＶ）からのＬＩＤＡＲ反射情報を収集するように構成された回転ユニットを含んでもよい。幾つかの実施形態において、ＬＩＤＡＲユニット８１４は、車両９００の前方位置に（例えばヘッドライトの近くに、フロントグリルに、フォグランプの近くに、前方のバンパーに、又は任意の他の適切な位置に）配置されてもよい。場合によっては、車両９００の前方部分に設置されたＬＩＤＡＲユニットは、車両９００の前方の環境における視野から反射情報を収集してもよい。示されていないが、他のＬＩＤＡＲユニットが、車両９００配置されてもよい。例えば、１つ又は複数のＬＩＤＡＲユニットが、車両９００の側部に隣接する領域から反射情報を収集するために、車両９００の側部に配置されてもよい。代替又は追加として、１つ又は複数のＬＩＤＡＲユニットが、ホスト車両９００の背後の領域から反射情報を収集するために、車両９００の後方部分（例えば後部バンパーに、尾灯の近くに等）に配置されてもよい。
[0151] 任意の適切なタイプのＬＩＤＡＲユニットが、ホスト車両９００に含まれてもよい。場合によっては、ＬＩＤＡＲシステム８１０は、ＬＩＤＡＲ視野（ＦＯＶ）全体が単一のレーザパルスで照射される１つ又は複数のフラッシュＬＩＤＡＲユニット（例えば３ＤフラッシュＬＩＤＡＲ）と、フライト／奥行き情報の戻り光強度及び時間を記録する画素の行及び列を含むセンサと、を含んでもよい。かかるフラッシュシステムは、毎秒何度もシーンを照射し、ＬＩＤＡＲ「画像」を収集し得る。走査ＬＩＤＡＲユニットもまた用いられてもよい。かかる走査ＬＩＤＡＲユニットは、特定のＦＯＶにわたってレーザビームを分散させるための１つ又は複数の技術に依存してもよい。場合によっては、走査ＬＩＤＡＲユニットは、ＦＯＶ内の対象の方へレーザビームを偏向させ誘導する走査ミラーを含んでもよい。走査ミラーは、完全な３６０度を通って回転してもよく、又は所定のＦＯＶの方へレーザを誘導するために、３６０度未満にわたって単軸若しくは多軸に沿って回転してもよい。場合によっては、ＬＩＤＡＲユニットは、１つの水平ラインを走査してもよい。他の場合に、ＬＩＤＡＲユニットは、ＦＯＶ内の多数の水平ラインを走査し、毎秒何度も特定のＦＯＶを効果的にラスタライズしてもよい。
[0152] ＬＩＤＡＲシステム８１０におけるＬＩＤＡＲユニットは、任意の適切なレーザ源を含んでもよい。幾つかの実施形態において、ＬＩＤＡＲユニットは、連続レーザを用いてもよい。他の場合に、ＬＩＤＡＲユニットは、パルスレーザ発光に頼ってもよい。加えて、任意の適切なレーザ波長が用いられてもよい。場合によっては、約６００ｎｍ～約１０００ｎｍの波長が用いられてもよい。
[0153] ＬＩＤＡＲシステム８１０におけるＬＩＤＡＲユニットはまた、任意の適切なタイプのセンサを含み、且つ任意の適切なタイプの出力を提供してもよい。場合によっては、ＬＩＤＡＲユニットのセンサは、１つ又は複数のフォトダイオード又は光電子増倍管などのソリッドステート光検出器を含んでもよい。センサはまた、任意の数の画素を含む１つ又は複数のＣＭＯＳ又はＣＣＤ装置を含んでもよい。これらのセンサは、ＬＩＤＡＲ ＦＯＶ内のシーンから反射されたレーザ光に敏感であってもよい。センサは、ＬＩＤＡＲユニットからの様々なタイプの出力を可能にし得る。場合によっては、ＬＩＤＡＲユニットは、各センサか、各画素か、又は特定のセンサのサブコンポーネントにおいて収集された反射レーザ光を表すフライト情報の生の光強度値及び時間を出力してもよい。追加又は代替として、ＬＩＤＡＲユニットは、各収集点に対する光強度及び奥行き／距離情報を含み得る点クラウド（例えば３Ｄ点クラウド）を出力してもよい。ＬＩＤＡＲユニットはまた、視野内の点への光反射振幅及び距離を表す様々なタイプの奥行き地図を出力してもよい。ＬＩＤＡＲユニットは、ＬＩＤＡＲ光源からの光が、ＦＯＶの方へ最初に投影された時刻に注目すること、及び入射レーザ光が、ＬＩＤＡＲユニットにおけるセンサによって受信される時刻を記録することによって、ＦＯＶ内の特定の点に対する奥行き又は距離情報を提供してもよい。時間差は、フライトの時間を表してもよく、フライト時間は、入射レーザ光が、レーザ源から反射対象へ且つＬＩＤＡＲユニットへ戻る往復距離と直接関係し得る。ＬＩＤＡＲ ＦＯＶの個別のレーザスポット又は小さなセグメントに関連するフライト情報の時間を監視することによって、ＦＯＶ内の複数の点のための正確な距離情報（例えばＦＯＶ内の対象の非常に小さな特徴に対するマッピングさえ）が提供され得る。場合によっては、ＬＩＤＡＲユニットは、レーザ反射が取得された元となる対象タイプと１つ又は複数のレーザ反射を相関させる分類情報などのより多くの複合情報を出力してもよい。
[0154] ＬＩＤＡＲシステム８１０からの出力は、ホスト車両９００に関連する１つ又は複数の処理ユニットに提供されてもよい。例えば、図８に示されているように、ＬＩＤＡＲユニット８１２、８１４及び８１６のいずれかからの出力は、処理ユニット１１０に提供されてもよい。場合によっては、ＬＩＤＡＲユニットの出力は、以下のセクションで説明される機能を実行するためのアプリケーションプロセッサ１８０に提供されてもよい。代替又は追加として、ＬＩＤＡＲユニットの出力は、以下のセクションで説明される機能を実行するための画像プロセッサ１９０に提供されてもよい。
[0155] 画像取得ユニット１２０及びＬＩＤＡＲシステム８１０の両方とも、強みを有する。例えば、対象認識及び分類は、少なくとも或る条件下で、ＬＩＤＡＲ情報から取得したものよりカメラ用に取得された画像に関連してより容易に実行され得る。他方で、カメラベースの画像は、直接決定される距離情報を欠いている。従って、カメラベースの画像の解析に基づいた距離決定又は推定は、場合によっては、スケーリング、画像間のオプティカルフロー等の観察に依存し得る。幾つかのＬＩＤＡＲシステムにおいて、対象分類又は認識は、カメラから取得された画像に基づいて実行され得るほど容易には実行されない可能性がある。しかしながら、ＬＩＤＡＲユニットは、ホスト車両の環境に位置する対象の微細でさえある特徴に対する正確な距離情報を提供し得る。
[0156] カメラベースの画像技術の対象認識及び分類能力をＬＩＤＡＲシステムの奥行き測定能力と組み合わせることによって、例えば、自律車両のナビゲーション及び動作を含む広範囲の用途における機能向上の可能性が提供され得る。しかしながら、画像ベース及びＬＩＤＡＲシステムのこれらの能力又は他の態様を組み合わせることは、様々なシステムの出力の相関を必要とする可能性がある。例えば、ＬＩＤＡＲ ＦＯＶにおける特定の対象に対する奥行き情報は、特定の対象が、カメラベースのシステムから取得された画像内で位置を特定され得ず、認識もされ得ない場合に、幾つかの用途において役立たない可能性がある。重複領域又はＦＯＶからの、取得画像とＬＩＤＡＲシステム出力との間の小程度の不整合さえ、ＬＩＤＡＲシステム出力と一緒の取得画像の適用又は有用性に著しく影響する可能性がある。
[0157] 自律車両の開発に取り組む多くの自動車メーカは、車両上に搭載されたセンサのどんな構成も、ＬＩＤＡＲシステムに加えてカメラシステムを含むべきであるという考えを採用した。結果として、組み合わされたシステムが提供し得る可能性を実現するために、これらの相異なるセンサを較正する必要性がある。開示される実施形態は、重複するカメラ及びＬＩＤＡＲセンサ（例えば、互いに少なくとも部分的に重複するＦＯＶを有するもの）を較正するように設計された特徴及び機能を含んでもよい。多くの状況において、システムが、動作中に（例えば運転中の制御されない環境において）、前の較正妥当性を再較正又は検証することが望ましくなり得る。
[0158] このタスクを解決する際の１つの困難は、相異なる形式の２つのセンサからの表示値又は出力を関連付け、相関させ、及び／又は整合する際の困難さに起因し得る。例えば、特定のＬＩＤＡＲ反射を与えられると、ＬＩＤＡＲ反射が取得された元となる環境における同じ位置を含む取得画像における特定の画素を決定する際に困難があり得る。取得画像情報をＬＩＤＡＲ反射情報と効果的に整合させる潜在的な１つのアプローチは、ＬＩＤＡＲの出力と１つ又は複数の取得画像との間の整合（alignment）を含んでもよい。場合によっては、かかる整合は、各タイプの出力の実際の特徴の整合（例えば、ＬＩＤＡＲの出力の点クラウド、奥行き地図又は任意の他のタイプなど、ＬＩＤＡＲに含まれる対応するＬＩＤＡＲ反射情報との、１つ又は複数の画像における画素領域の整合）を含んでもよい。他の場合において、整合は、より複雑であり得、且つ例えば、動作技術からの構造を用い、取得画像に基づいて導き出された道路平面推定と、道路から取得された反射などのＬＩＤＡＲの出力との整合を例えば含んでもよい。
[0159] 場合によっては、１つ又は複数の取得画像とＬＩＤＡＲの出力との間の整合は、画像空間において実行されてもよい。即ち、ＬＩＤＡＲ ＦＯＶと少なくとも部分的に重複するＦＯＶから画像が取得される場合に、２次元取得画像は、ＬＩＤＡＲの出力の対応する領域と整合されてもよい。画像空間におけるかかる整合は、回転及び平行移動を含む２自由度を含んでもよい。従って、少なくとも１つの取得画像及びＬＩＤＡＲの出力は、両方における対応する領域が重複するように、互いに対して回転され及び／又は平行移動されてもよい。この技術は、ＬＩＤＡＲの出力と少なくとも１つの画像との整合に帰着する１つ又は複数の変換動作の決定を含んでもよい。正式の用語の意味で、ＬＩＤＡＲの出力における対応する領域と取得画像における領域とを整合させる回転行列及び平行移動行列が決定されてもよい。
[0160] ここで、整合行列Ｒ（回転）及びＴ（平行移動）を決定するための例示的な技術を説明する。ｐが、ＬＩＤＡＲ座標系における３Ｄ点であると仮定すると、目標は、
Figure 0007157054000001
が、カメラ座標系における同じ点であるように、較正行列Ｒ、Ｔを見つけることである。ここで、
Figure 0007157054000002
が、道路から反射されたと仮定するすると、それは、
Figure 0007157054000003
が、道路平面上にあることを意味する（外観ベースのエゴモーションを備えた走行距離計を使用して、ＬＩＤＡＲグラブ時刻と道路平面を整合させた後で）。（ｎ、ｄ）によって道路平面を定義することは、次の式につながる。
Figure 0007157054000004
[0161] 点が、道路から反射されたかどうかを判定するために、粗較正が達成されたと仮定することができ、画像ベースの技術が、運転可能なエリアを決定するために用いられてもよい（例えば、ホスト車両の環境における運転可能な空き空間を画像解析を通して認識する）。マージンが、較正誤差に対処するために用いられてもよい。
[0162] 式ｎＴ（Ｒｐ＋Ｔ）＝ｄ
は、単一の観察の結果である。回転及び平行移動変換行列Ｒ及びＴを計算するために、最小二乗法が用いられてもよい。この技術において、この式は、形式
Figure 0007157054000005
に再配置されてもよい。かかる再配置は、次のように実行されてもよい。
Figure 0007157054000006
[0163] これは、
Figure 0007157054000007
につながる。
[0164] ｍ観察のバッチ用に、ｍ×３行列が、ｍ×１行列ｂ＝（ｂ１．．．ｂｍ）Ｔと共に構成され得（Ａ＝（ａ１│．．．│ａｍ）Ｔ）、目的は、次のように定義されてもよい。
Figure 0007157054000008
[0165] 最適化出力は、
Figure 0007157054000009
であり、次にそれは、
Figure 0007157054000010
に分解されてもよい。
[0166] 出力ベクトルｗから回転行列を再構成するために、次のプロセスが用いられてもよい。
Figure 0007157054000011
[0167] 回転は、非線形変換であり、その結果、基本的問題は、非線形的である。しかしながら、上記の最小二乗最適化目標は、線形である。相違の理由は、線形近似が、回転用に用いられたということである。問題は、ひとたび（Ｉ＋［ｗ］ｘ）が用いられると線形になることであり、それは、軸を中心とした３Ｄ回転の一次テーラー近似である。
θ＝｜｜ｗ｜｜の角度において、
Figure 0007157054000012
[0168] 問題の線形化は、精度損失を引き起こし得る。この潜在的損失を克服するために、上記のプロセスは、反復方式で数回繰り返されてもよい。各反復は、事前に決定された行列で初期化されてもよく、新しい結果は、次のように較正行列を更新するために用いられてもよい。
Ｒ（ｔ＋１）＝ＲＲ（ｔ）
Ｔ（ｔ＋１）＝ＲＴ（ｔ）＋Ｔ
[0169] 幾つかの実施形態において、計算における異常値は、拒否されてもよい。実際に異常値を拒否するために、ＩＲＬＳ（反復重み付き最小二乗）法が、上記の最小二乗最適化プロセスの代わりに、各反復において用いられてもよい。
[0170] 幾つかの実施形態において、他の方法が、回転及び平行移動行列、又は取得画像における領域とＬＩＤＡＲの出力における対応する領域との間の任意の他の変換を計算するために用いられてもよい。更に、幾つかの実施形態において、例えば１つ又は複数の処理技術を用いる他の技術が、回転及び／又は平行移動行列の利用なしに用いられてもよい。
[0171] Ｒ及びＴ行列の決定は、ＬＩＤＡＲユニットの出力と１つ又は複数の取得画像との整合を画像空間において可能にし得る。その結果、ＬＩＤＡＲの出力から利用可能な奥行き又は距離情報は、１つ又は複数の画像に現れる対象と相関され得る。画像情報のかかる相関及び結果としての強化は、ホスト車両に関連する多数の相異なるナビゲーション特性の決定を可能にし得る。以下でより詳細に説明されるように、かかるナビゲーション特性は、数ある潜在的な利用の中で、道路に沿った様々な点に関連する高さ値の決定、ホスト車両速度の決定、（直線道路、バンク路、又は曲線道路等に沿った）ホスト車両に対する道路平面位置の決定を含んでもよい。
[0172] 実際に、取得画像とＬＩＤＡＲの出力との間のＲ及びＴ行列又は任意の他の適切な変換は、車両９００に搭載された少なくとも１つのプロセッサ（例えばプロセッサユニット１１０）によって決定されてもよい。少なくとも１つのプロセッサは、ホスト車両に搭載された１つ又は複数のカメラ（例えばカメラ１２２、１２４）によって捕捉された画像のストリームを受信してもよく、捕捉画像は、ホスト車両を取り囲む環境を表す。少なくとも１つのプロセッサはまた、ホスト車両に搭載されてＬＩＤＡＲユニット（例えばＬＩＤＡＲユニット８１２又は８１４）の出力を受信してもよい。ＬＩＤＡＲの出力は、ホスト車両を取り囲む環境の少なくとも一部からの複数のレーザ反射を表してもよい。少なくとも１つのプロセッサは、ＬＩＤＡＲの出力とカメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを画像空間において決定してもよい。場合によっては、上記のように、ＬＩＤＡＲの出力とカメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータは、画像空間に平行移動変換（例えば平行移動行列Ｔ）を含む。場合によっては、ＬＩＤＡＲの出力とカメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータは、画像空間に回転変換（例えば回転行列Ｒ）を含んでもよい。
[0173] 決定された整合を用いて、少なくとも１つのプロセッサは、ＬＩＤＡＲの出力と、カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断してもよい。また、起因すると判断されたＬＩＤＡＲ反射情報、及び少なくとも１つの画像において識別された１つ又は複数の対象は、ホスト車両に関連する少なくとも１つのナビゲーション特性（例えば道路高さ、車両速度等）を決定するために用いられてもよい。
[0174] 図１０は、上記の整合技術の単純化され概念例を提供する。例えば、図１０は、ホスト車両の環境から捕捉された１つ又は複数のカメラ画像の一部として取得され得る、破線のハイウェイ車線区分線１００１を含む単一の特徴を示す。図１０はまた、同じ破線のハイウェイ車線区分線のＬＩＤＡＲ表現１００３を含む。反射捕捉ＬＩＤＡＲユニットとの少なくとも或る程度の不整合を示す取得カメラの結果として、カメラ取得車線区分線１００１は、画像空間において、ＬＩＤＡＲ取得車線区分線１００３と最初は整合されない可能性がある。概念を明確にすると、どんな程度の不整合もあり得るが、図１０に示されている不整合の程度は、正常な動作条件において期待されるであろうよりも著しい可能性がある。この現在の不整合状態において、ＬＩＤＡＲの出力は、まるで２つの出力が整合されるようには有用でないかもしれない。例えば、点Ｐ’用にＬＩＤＡＲユニットによって取得された奥行き情報は、取得画像における点Ｐの位置に対応しないであろうし、むしろ画像空間において、点Ｐから遠くに平行移動された別の点に対応するように「見える」であろう。この不一致の結果として、ＬＩＤＡＲの奥行き情報は、車線区分線１００１の取得画像に基づくどんな解析を増強する際にもほとんど助けにならないであろう。
[0175] しかしながら、上記の技術の実装形態を通して、ＬＩＤＡＲの出力は、取得画像情報と整合又は相関され得る。例えば、ＬＩＤＡＲ取得車線区分線１００３における部分と、カメラ取得車線区分線１００１の、ＬＩＤＡＲの部分に対応する相当部分との重複に帰着するであろう画像空間において、変換が決定されてもよい。場合によっては、上記のように、例えば幾らかの回転１０１０及び／又は平行移動１０１２を通してＬＩＤＡＲ取得車線区分線１００３を移動させることが、点Ｐ’と点Ｐとの間の重複に帰着するであろうように、回転行列Ｒ及び平行移動行列Ｔが決定されてもよい。場合によっては、ＬＩＤＡＲ取得車線区分線１００３上のほとんど又は全ての他の点が、決定された変換の動作を通してカメラ取得車線区分線１００１上のそれらの相手の点と重複することになろう。
[0176] 一例において、路面は、カメラだけの方法論を用いて検出されてもよい。かかる方法論は、複数の画像にわたる動作フローの使用を含んでもよい。様々な特徴が、カメラ画像において観察されてもよく、特徴のオプティカルフローは、画像に基づいて決定されてもよい。この解析から、観察された対象の位置が、３Ｄにおいて取得されてもよく、道路を表す平面の計算／推定が決定されてもよい。ＬＩＤＡＲユニットの出力から、一連の点反射が取得されてもよい。上記で言及したように、回転及び平行移動誤差は、ＬＩＤＡＲの出力とカメラ画像を整合させることによって低減又は除去されてもよい。かかるプロセスにおいて、カメラ画像データ及び関連する道路平面式に基づいて決定された道路平面が、ＬＩＤＡＲの出力用に有効である（道路に関連するエリアからの点反射もまた、計算された道路平面上にある）と仮定されてもよい。平面式が、ＬＩＤＡＲの点に一致しない場合に、ＬＩＤＡＲの点とカメラ画像点との間の誤差を低減するか、最小化するか、又は除去さえする回転及び／又は平行移動パラメータ値が、決定されてもよい。上記の方法におけるように、回転は、線形動作によって近似されてもよく、線形動作は、回転不一致が小さい場合に正確であり、そうなるはずである。次に、回転変換は、最小二乗又は任意の他の適切な方法を反復的に用いて決定されてもよく、異常値は、拒否されてもよい。同様のアプローチが、画像空間における整合を提供するための平行移動パラメータ値を決定するために用いられてもよい。しかしながら、平行移動問題は、既に線形であり、従って、適切な技術を用いる前に線形化する必要はなくてもよい。
[0177] 幾つかの実施形態において、ＬＩＤＡＲの出力と、カメラによって経時的に捕捉された少なくとも１つの画像との間の相対的な整合の変動が誤差を示す場合に、エラーが検出され得る。例えば、かかる期間は、カメラ－ＬＩＤＡＲが何度か再較正される短期間（例えば１マイクロ秒以上、１秒、２秒等）を含んでもよい。
[0178] もちろん、変換決定方法が、最小２乗フィッティング、反復推定などのような推定技術に依存するので、変換は、全ての点の完全な重複に帰着しない可能性がある。しかしながら、変換は、ＬＩＤＡＲ取得車線区分線１００３上の様々な点用の、ＬＩＤＡＲユニットを介して取得された奥行き又は距離情報が、カメラ取得車線区分線１００１上で観察された点又は特徴と相関されるか又はそれらと一緒に用いられてもよい十分な整合及び相関を提供してもよい。加えて、整合は、１つ又は複数の整合されたカメラベースの画像におけるＬＩＤＡＲ検出対象の相手との比較を通して、ＬＩＤＡＲ検出対象の分類を可能にし、それを支援し得る。カメラベースの画像解析は、例えば、道路であるもの及び道路でないものを決定する場合に、ＬＩＤＡＲよりも優れている可能性がある。多くの場合において、カメラ取得画像からの豊富な視覚情報は、ＬＩＤＡＲシステム出力に基づいて利用可能な情報を増強するために用いられ得る。
[0179] ＬＩＤＡＲの出力と、カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の決定されたインジケータ（例えば場合によっては変換行列）は、ＬＩＤＡＲ及びカメラ情報の整合より多くのものに用いられてもよい。例えば、幾つかの実施形態において、相対的な整合のかかるインジケータは、搭載されたカメラ及び／又はＬＩＤＡＲユニットを用いて動作誤差を検出するために用いることができる。相対的な整合の決定されたインジケータが、予想範囲の外に入る相対的な整合を示唆する変動と関連付けられる場合に、プロセッサユニット１１０は、例えば、取得カメラ又は取得ＬＩＤＡＲユニットのいずれかが、誤差を経験したと判定してもよい。かかる誤差は、ホスト車両からの完全な又は部分的な機械的な分離、カメラ又はＬＩＤＡＲユニットの意図しない移動（例えばピッチ、ロール若しくはヨー）、カメラ又はＬＩＤＡＲに関連する１つ又は複数の光学コンポーネントの故障等を含み得る。
[0180] カメラとＬＩＤＡＲとの間の相対的な整合のインジケータはまた、物理空間におけるカメラ及びＬＩＤＡＲユニットの相対的な整合を指すことができる。例えば、カメラは、カメラ光学装置から、ホスト車両の環境へ延びる光学軸を含んでもよい。同様に、ＬＩＤＡＲユニットもまた、類似の中心軸に関連付けられてもよい。場合によっては、カメラの光学軸及びＬＩＤＡＲの中心軸は、それらのそれぞれの視野の中心を通って延びてもよい。カメラとＬＩＤＡＲとの間の整合変動は、ピッチ（例えばカメラの光学軸とＬＩＤＡＲの中心軸との間の上下変動）及びヨー（例えばカメラの光学軸とＬＩＤＡＲの中心軸との間の左右変動）における差に帰着し得る。カメラとＬＩＤＡＲとの間の整合変動はまた、ロール角度（例えば、それぞれのＦＯＶにおける角回転差に帰着するそれぞれの装置の光学／中心軸のまわりのそれぞれの装置の回転）における差を含み得る。
[0181] 物理空間における整合差を理解することによって、ＬＩＤＡＲの出力と、１つ又は複数のカメラ画像との間の相関関係を取得するための基礎が提供され得る。例えば、適用された場合に、取得画像及びＬＩＤＡＲの出力の対応する特徴間の最も多くの重複に帰着するピッチ、ロール及びヨー整合値が、決定されてもよい。実際に、第１のステップは、（特定の時刻における又は期間にわたる）取得画像とＬＩＤＡＲの出力との間の最も近い整合を提供するピッチ及びロール変換を試験することであってもよい。次のステップとして、プロセッサ１１０は、ピッチ及びロール変換だけに基づいて取得された整合を洗練するために、ヨー変換を推定してもよい。このプロセスの最後に、プロセッサ１１０は、取得されたカメラ画像を相手のＬＩＤＡＲの出力と効果的に整合させるピッチ、ロール及びヨー変換のセットを有してもよい。
[0182] 上記のプロセスは、画像及びＬＩＤＡＲ情報を相関させるための動作中にシステムが依存し得る初期較正プロセスの一部として実行されてもよい。しかしながら、ホスト車両の動作中に、様々な条件が、カメラとＬＩＤＡＲユニットとの間の相対的な整合における変動に帰着し得る。物理的な整合のかかる変動は、例えば、温度変化、衝撃、振動などの結果として発生し得る。従って、ホスト車両の動作中に、開示される実施形態の整合較正プロセスを反復することが望ましくなり得る。例えば、システムは、車両の動作中に、周期的にか、必要に応じてか、又は所定の間隔（例えば、毎分１回、１０秒ごと、１秒ごと、又は毎秒何回も）で、（例えばＬＩＤＡＲとカメラとの間、又はそれらのそれぞれの出力間の相対的な整合を決定するために）上記の較正プロセスを実行してもよい。
[0183] ＬＩＤＡＲとカメラとの間の整合における空間変動に加えて、ＬＩＤＡＲ／カメラ較正技術はまた、時間変動を説明することができる。例えば、カメラが、ローリングシャッタを用いる状況において、データラインは、全て、同じ時刻に画像センサから捕捉されるわけではない。データラインが画像センサによって捕捉される時刻は、カメラに対してＬＩＤＡＲを較正する場合に考慮されてもよい。例えば、画像の中心行が捕捉された時刻として定義される特定の時刻に、その時刻における道路フレームパラメータを計算するために、システムは、中心線の上で捕捉されたライン用の、また中心線の下で捕捉されたライン用の、ローリングシャッタ捕捉時刻を考慮してもよい。幾つかの実施形態において、システムは、ＬＩＤＡＲとカメラとの間の整合変換を表す行列を決定する場合に、ＬＩＤＡＲ走査速度／走査時間とカメラ走査速度との間の差さえ考慮してもよい。
[0184] カメラとＬＩＤＡＲとの間の整合情報は、ホスト車両のナビゲーションを支援し得る。例えば、場合によっては、カメラとＬＩＤＡＲとの間の較正された整合は、曲線道路、バンク路、又は障害物が車道の一部を不明瞭にしている道路に沿ってナビゲートする際に支援し得る。かかる場合に、道路に対するカメラベースの画像情報を取得することが、より難しくなり得るか、又は取得されたカメラベースの画像情報は、例えば、カメラが、水平で直線の車道（それは、画像だけ基づいて、正確な道路平面決定を可能にし得る）の画像を取得する場合ほど有用ではなくなり得る。かかる予め整合された状況において、システムは、カメラを介して取得された情報を補足するためにＬＩＤＡＲの出力を用いてもよく、ナビゲーションは、カメラ画像が、独力では、或るタイプのナビゲーションに不十分な情報を提供する可能性がある状況にさえ、ＬＩＤＡＲ情報に基づいて進み得る。かかる処理フローは、次のように進んでもよい。カメラは、道路平面を検出するために依拠されてもよく、カメラに対するＬＩＤＡＲシステムの整合は、（例えば上記のプロセスのいずれかによる）決定された道路平面に基づいて、決定されてもよい。次に、道路平面が、カメラ画像データだけに基づいて検出するにはより難しい（例えば、曲線道路又はバンク路）状況において、較正されたＬＩＤＡＲの出力が、道路平面の決定を助けるために、一層大きく依拠されてもよい。例えば、少なくとも１つのプロセッサ１１０は、ホスト車両が、道路に起因すると判断されたＬＩＤＡＲ反射情報に基づいて、走行する道路に関連する道路平面の位置を決定してもよい。この決定はまた、搭載カメラによって取得された１つ又は複数の画像において識別された道路の少なくとも一部に基づいてもよい。かかるプロセスは、画像ベースの道路平面が、それほど認識可能でない場合にさえ、道路平面上の対象までの距離を決定することを支援し得る。例えば、幾つかの実施形態において、曲線道路に起因すると判断されたＬＩＤＡＲ情報は、曲線道路に関連する道路平面の位置であって、少なくとも１つの画像において識別された曲線道路の少なくとも一部に基づいた道路平面の位置を決定することを助けるために用いられてもよい。曲線道路から取得されたＬＩＤＡＲ情報は、曲線道路に沿った１つ又は複数の車線区分線からの反射を含んでもよく、この情報は、実世界座標における車線区分線（カメラ画像解析だけに基づいては困難になり得るもの）の位置を特定するために用いられてもよい。
[0185] ＬＩＤＡＲユニットの出力に基づいて取得された情報を用いて、カメラ画像の解析を通して取得された情報を強化することもまた可能であり得る。例えば、幾つかの実施形態において、少なくとも１つのプロセッサ１１０は、搭載カメラによって取得された１つ又は複数の画像の解析を通して、ホスト車両が走行する道路に関連する第１の複数の点を決定してもよい。これは、例えば、１つ又は複数の追跡可能な特徴を画像において識別すること、及び複数の画像にわたってオプティカルフローを計算することによって達成され得る。かかるプロセスにおいて、路面は、静止したままであり、次にその位置は、３Ｄ世界座標において推測することができる。３Ｄ世界点のリストが、カメラベースの画像解析に基づいて決定された路面に割り当てられてもよい。１つ又は複数のＬＩＤＡＲユニットの整合された出力は、カメラベースの画像において観察された同じ路面に対応する反射点を含んでもよい。これらの反射点は、観察された路面上の点に対する奥行き／距離情報を含んでもよいが、カメラ画像から得られた３Ｄ点を強化するために用いられてもよい。例えば、幾つかの実施形態において、少なくとも１つのプロセッサ１１０は、少なくとも１つの画像（例えば画像解析を通して取得された３Ｄ世界点）において識別された道路の少なくとも一部に関連する第１の複数の点を決定してもよく、且つＬＩＤＡＲ反射情報から得られた第２の複数の点と第１の複数の点とを交互に配置してもよい。第２の複数の点は、ホスト車両（又はホスト車両に対して周知の位置を有し得るＬＩＤＡＲユニット）と路上の複数の位置との間の距離を示してもよい。
[0186] 場合によっては、整合されたＬＩＤＡＲ及びカメラ出力は、ホスト車両の速度を判定するために用いられてもよい。例えば、ＬＩＤＡＲは、対象までの絶対距離を測定する能力を有する。整合されたシステムにおいて、ＬＩＤＡＲの出力は、搭載カメラによって収集された１つ又は複数の画像において識別可能な特定の対象（例えば実世界座標における静止した対象）までの距離表示値を提供してもよい。距離測定値及び画像収集レートの変化を監視することによって、観察可能な対象までの距離における変化率が決定されてもよく、変化率は、ホスト車両の速度を示し得る。かかる速度決定は、様々なナビゲート状況に役立つことができる。多くの状況において、正確な車両速度は、ナビゲーションアンカー（例えば、地図に入れられた認識されたランドマーク）間の推測航法にとって、また所定の経路（例えば道路セグメントに沿った好ましい軌道を表すスプライン）に従うことにとって、重要であり得る。特定の例として、かかる情報は、例えば、ＲＥＭ地図生成、及びＲＥＭ道路モデル（例えば特定の道路セグメント又は道路セグメントの車線に沿ったホスト車両用の目標軌道を表す３次元スプライン）に沿ったナビゲーションにおいて有用であり得る。車両速度を決定するためにＬＩＤＡＲ及びカメラを使用することによって、例えば、場合によってはタイヤ圧力、タイヤサイズなどの要因によって影響される可能性がある車両速度計に、より正確な代替が提供され得る。
[0187] １つの例示的なプロセスにおいて、プロセッサ１１０は、少なくとも１つの画像において対象（例えば世界座標において固定される対象）の表現を検出するために、搭載カメラからの少なくとも１つの画像を解析してもよい。カメラ出力と整合されたＬＩＤＡＲの出力に基づいて、検出された対象までの距離が決定されてもよい。ＬＩＤＡＲの出力からの距離情報が、経時的に（例えば、２４ｆｐｓ、３０ｆｐｓ等であってもよいカメラの捕捉画像速度で）どのように変化するかを監視することによって、プロセッサ１１０は、検出された対象が、車両に接近しているように見える速度を決定してもよい。この速度は、車両速度に対応してもよい（又は車両速度を計算するための基礎を提供してもよい）。整合されたＬＩＤＡＲ／カメラ出力に基づいて、ひとたび決定されると、ホスト車両速度はまた、ホスト車両と、例えばカメラによって取得された画像において検出された他の対象との間の相対的速度を決定するために用いられてもよい。
[0188] 整合されたカメラ及びＬＩＤＡＲの出力はまた、特定の点における路面の高さを決定するために用いられてもよい。水平な道路において、道路と接触している対象が（例えばカメラを取得画像において）観察される道路上の点までの距離が決定されてもよい。カメラ及びＬＩＤＡＲの出力が整合される場合に、かかる技術はまた、道路高さの決定を可能にし得る。
[0189] 最初に、画像解析だけに基づいて距離を決定するための例示的なプロセスが説明される。単一のカメラだけが用いられる場合に、特定の点までの距離は、遠近法のキューに基づいて決定されてもよい。例えば、２つのキューが用いられてもよい。これらは、取得画像において観察される目標車両のサイズと、画像における目標車両の底部の位置と、を含んでもよい。未知のタイプの車両（乗用車、バン、トラック等）の幅が、１．５ｍ～３ｍくらいで変化する可能性があるので、幅だけに基づいた距離推定は、単に約３０％の精度であり得る。かかる推定は、粗チェック用に（又は恐らく較正のレベルをチェックするために）に適している可能性があるが、それは、車両作動制御には適していない可能性がある。
[0190] より優れた推定が、道路ジオメトリ、及び、道路と接触している目標車両が観察される取得画像上の点を用いて達成され得る。図１１に示されている例において、路面が平面であること、及びカメラの光学軸が路面と平行であるように、カメラが、点Ｐ（それは、路面上の高さＨにある）でホスト車両１１０１に搭載されることが仮定されてもよい。この例において、目標車両１１０５及び目標車両１１１１までの距離は、目標車両１１０５及び１１１１が道路平面と接触する観察された点１１２１及び１１２３に基づいて、決定されてもよい。例えば、カメラの前方の距離Ｚにおける路上の点は、高さｙで画像面Ｉに投影され、ｙは、次の式で与えられる。
Figure 0007157054000013
[0191] この式でＨは、メートル単位のカメラ高さである。図１１の例において、点Ｐにおけるカメラは、ｆの焦点距離を有する。この状況において、目標車両１１０５が道路と交差する点１１２１は、カメラから距離（Ｚ１）である。目標車両１１０５と道路との間の接触点１１２１は、位置ｙ１で画像面Ｉ上に投影される。上記の式は、三角形の相似性：ｙｆ＝ＨＺから導き出すことができる。より離れた目標車両１１１１と道路との間の接触点１１２３は、（ｙ１）より小さい位置（ｙ２）で画像面Ｉ上に投影される。
[0192] カメラ電子機器は、画像座標をｍｍから画素に変換し、処理用の直立位置に画像を逆に反転させてもよい。ホスト車両の前方の目標車両までの距離を決定するために、水平な道路を仮定すると、目標車両と道路との間の接触点（例えばタイヤが道路と接触する）が、取得画像において検出され得る。次に、接触点までの距離は、次のように計算されてもよい。
Figure 0007157054000014
[0193] 画像解析だけに基づいて目標車両までの距離を決定する技術は、道路が水平でない状況において制限され得る。かかる場合に、整合されたＬＩＤＡＲ及びカメラ出力は、目標車両までの距離を決定することだけでなく、道路高さなどの他の特性を決定することを支援することができる。例えば、図１２に示されている状況において、目標車両１２０１は、目標車両１２０３の背後で道路に沿って走行する。しかしながら、この例において、道路は、水平ではない。もっと正確に言えば、ホスト車両１２０１に対して、目標車両は、ホスト車両１２０１が走行する路面に対して、量ｄだけ高さが高い道路１２０５の傾斜を上へ走行している。目標車両１２０３までの距離が、取得画像において、目標車両１２０３のタイヤが道路１２０５と接触する点１２１０の検出に基づいて推定される場合に、それは、不正確な距離につながる可能性がある。何故なら、画像面Ｉにおけるこの点ｙの投影は、目標車両１２０３が、水平な道路に沿ったより離れた位置に（例えば図１２に示されている車両１２０３’の図示された位置に）位置する場合に作成される投影に似ているように見え得るからである。
[0194] 整合されたＬＩＤＡＲの出力に対する信頼は、画像解析だけに基づいた場合に存在するスケール不定性を解決することによって、この問題への解決法を提供し得る。例えば、接触点１２１０までの距離は、点１２１０を表すカメラ画像表現と整合されるように決定されたＬＩＤＡＲ反射に基づいて決定されてもよい。従って、正確な距離情報は、例えば、路面が、高さ、バンク、曲率等の変化を含む状況において点１２１０用に決定されてもよい。場合によっては、依拠されるＬＩＤＡＲの出力は、接触点１２１０以外の位置からの１つ又は複数の反射を含み得る。例えば、特に、接触点１２１０に対応する正確なＬＩＤＡＲ反射が利用可能ではない可能性がある場合に、目標車両１２０３の後部から（又は目標車両１２０３の任意の他のＬＩＤＡＲ反射面から）取得された１つ又は複数のＬＩＤＡＲ反射が、接触点１２１０までの距離を決定するために用いられてもよい。例えば、ＬＩＤＡＲ反射が、目標車両１２０３の後面から取得される場合（それは、ＬＩＤＡＲユニットと目標車両１２０３の後面との間の距離を提供し得る）に、適切なオフセットが、目標車両１２０３の後面と接触点１２１０との間の距離の差を説明するために、決定された距離に追加されてもよい。このオフセットは、（例えば観察された相対的スケール等に基づいて）、例えば目標車両１２０３の表現を含む１つ又は複数の観察画像の解析に基づいて決定されてもよい。
[0195] 場合によっては、整合されたＬＩＤＡＲ及びカメラ出力の利用は、接触点１２１０における道路１２０５の高さｄを決定するために用いられ得る。例えば、上記の技術に基づいて、視距離Ｚｉｍａｇｅは、カメラ焦点距離、カメラ高さ、及び投影ｙ（例えば画像面Ｉ上の目標車両１２０３の少なくとも一部によって占められた画素数）に基づいて決定されてもよい。接触点１２１０までの実際の距離は、整合されたＬＩＤＡＲの出力から決定されていてもよい。また、ジオメトリ及び相似三角形を用いて、接触点１２１０における道路１２０５の高さｄが決定されてもよい。かかる情報は、ホスト車両をナビゲートするために有用であり得るだけでなく、目標車両によって走行される道路セグメント用の地図情報（例えばＲＥＭ地図及び道路モデル生成）を生成し、増強し及び／又は検証する際に特に有用になり得る。
[0196] 幾つかの実施形態において、システムは、１つを超えるカメラ（例えば１～３つのカメラ、少なくとも３つのカメラ、３～８つのカメラ、少なくとも８つのカメラ、９～１２のカメラ、１～１２のカメラ、少なくとも１２のカメラ等）を用いてもよく、また代替又は追加として、システムは、１つを超えるＬＩＤＡＲ（例えば１～３つのＬＩＤＡＲ、少なくとも３つのＬＩＤＡＲ、３～８つのＬＩＤＡＲ、少なくとも８つのＬＩＤＡＲ、９～１２のＬＩＤＡＲ、１～１２のＬＩＤＡＲ、少なくとも１２のＬＩＤＡＲ等）を用いてもよい。かかる実施形態において、カメラ及び／又はＬＩＤＡＲの視野（ＦＯＶ）（例えば１つ若しくは複数の重複するカメラＦＯＶ及び／又は１つ若しくは複数の重複するＬＩＤＡＲ ＦＯＶ）に幾らかの冗長性があってもよい。例えば、現実空間における或る点をカバーする２つ以上のセンサ（ＬＩＤＡＲ及び／又はカメラ）が存在する場合に、多数決システムが用いられてもよい。更に、幾つかの実施形態において、相対的な整合は、２つ以上のセンサ（例えば１つのカメラ及び１つのＬＩＤＡＲ、２つのカメラ及び単一のＬＩＤＡＲ、２つのカメラ及び２つのＬＩＤＡＲなど、例えばカメラ及びＬＩＤＡＲペア）の各１つのために解決されてもよい。
[0197] 従って、幾つかの実施形態において、少なくとも１つのプロセッサは、ホスト車両に搭載された複数のカメラによって捕捉された画像ストリームを受信するように更にプログラムされる。代替又は追加として、少なくとも１つのプロセッサは、ホスト車両に搭載された複数のＬＩＤＡＲの出力を受信するようにプログラムされてもよい。更に、かかる実施形態において、複数のカメラ及び複数のＬＩＤＡＲの少なくとも２つは、少なくとも部分的に重複する視野を有する。
[0198] 前述の説明は、実例のために提示された。それは、包括的ではなく、開示される形態又は実施形態に正確には限定されない。修正及び適応が、開示される実施形態の仕様及び実施を考察することから、当業者に明らかになろう。加えて、開示される実施形態の態様が、メモリに格納されるように示されているが、当業者は、これらの態様がまた、二次記憶装置、例えばハードディスク若しくはＣＤ ＲＯＭ、ＲＡＭ若しくはＲＯＭの他の形式、ＵＳＢ媒体、ＤＶＤ、Blu-ray（登録商標）、4K Ultra HD Blu-ray、又は他の光ドライブ媒体などの他のタイプのコンピュータ可読媒体上に格納できることを認識されよう。
[0199] 記載された説明及び開示される方法に基づいたコンピュータプログラムは、経験を積んだ開発者のスキル内にある。様々なプログラム又はプログラムモジュールが、当業者に周知の技術のいずれかを用いて作成され得るか、又は既存のソフトウェアに関連して設計され得る。例えば、プログラムセクション又はプログラムモジュールは、.Net Framework、.Net Compact Framework（及びVisual Basic、Ｃ等の関係言語）、Java（登録商標）、C++、Objective-C、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸ組み合わせ、ＸＭＬ、又は同梱のJavaアプレットを備えたＨＴＭＬにおいて、又はそれらによって設計することができる。
[0200]更に、実例となる実施形態が、本明細書で説明されたが、等価な要素、修正、省略、組み合わせ（例えば様々な実施形態にわたる態様の）、適応、及び／又は変更を有するいずれか且つ全ての実施形態の範囲は、本開示に基づいて当業者によって認識されるであろう。請求項における限定は、請求項で用いられる言語に基づいて広く解釈されるべきであり、本明細書で、又は出願の遂行中に説明される例に限定されるべきではない。例は、非排他的であると解釈されるべきである。更に、開示される方法のステップは、ステップを再配置すること、及び／又はステップを挿入若しくは削除することを含む任意の方法で修正されてもよい。従って、本明細書及び例が、実例としてのみ考えられることが意図されており、真の範囲及び趣旨は、以下の特許請求の範囲及びそれらの完全な範囲の均等物によって示される。
［項目１］
ホスト車両用のナビゲーションシステムであって、
少なくとも１つのプロセッサであって、
前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサを含むナビゲーションシステム。
［項目２］
前記少なくとも１つの画像において識別された前記１つ又は複数の対象が、実世界座標における静止対象の表現を含み、前記静止対象に起因すると判断された前記ＬＩＤＡＲ反射情報が、前記ホスト車両と前記静止対象との間の距離を示し、前記少なくとも１つのナビゲーション特性が、前記ホスト車両の速度を含み、前記少なくとも１つのプロセッサが、
前記ホスト車両と、前記少なくとも１つの画像において識別された前記静止対象に起因すると判断された前記ＬＩＤＡＲ反射情報によって示された前記静止対象との間の距離の変化を経時的に監視することによって、前記ホスト車両の前記速度を決定するように更にプログラムされる、項目１に記載のナビゲーションシステム。
［項目３］
前記少なくとも１つの画像において識別された前記１つ又は複数の対象が、前記ホスト車両の前記環境における道路上の対象の表現を含み、前記道路上の前記対象に起因すると判断された前記ＬＩＤＡＲ反射情報が、前記ホスト車両と、前記対象が前記道路と接触するエリアとの間の距離を示し、前記少なくとも１つのナビゲーション特性が、前記道路の高さを含み、前記少なくとも１つのプロセッサが、
前記道路上の前記対象に起因すると判断された前記ＬＩＤＡＲ反射情報、及び前記ホスト車両に搭載された前記カメラの少なくとも１つの特性に基づいて、前記道路の前記高さを決定するように更にプログラムされる、項目１に記載のナビゲーションシステム。
［項目４］
前記カメラの前記少なくとも１つの特性が、前記カメラの焦点距離又は前記道路上の前記カメラの高さの少なくとも１つを含む、項目３に記載のナビゲーションシステム。
［項目５］
前記少なくとも１つのプロセッサが、少なくとも１つの捕捉された画像における前記対象の画像表現の少なくとも一部によって占められた画素の数にも基づいて、前記道路の前記高さを決定するように更にプログラムされる、項目３に記載のナビゲーションシステム。
［項目６］
前記少なくとも１つのプロセッサが、前記道路上の前記対象に対する少なくとも１つのＬＩＤＡＲにより決定された距離にオフセットを追加することによって、前記ホスト車両と、前記対象が前記道路と接触する前記エリアとの間の前記距離を決定するように更にプログラムされる、項目３に記載のナビゲーションシステム。
［項目７］
前記対象が、前記ホスト車両の前記環境における目標車両を含む、項目３に記載のナビゲーションシステム。
［項目８］
前記少なくとも１つの画像において識別された前記１つ又は複数の対象が、前記ホスト車両の前記環境における道路の少なくとも一部の表現を含み、前記道路に起因すると判断された前記ＬＩＤＡＲ反射情報が、前記ホスト車両と前記道路上の複数の位置との間の距離を示し、前記少なくとも１つのプロセッサが、
前記道路に起因すると判断された前記ＬＩＤＡＲ反射情報に基づいて、且つ前記少なくとも１つの画像において識別された前記道路の前記少なくとも一部に基づいて、前記道路に関連する道路平面の位置を決定するように更にプログラムされる、項目１に記載のナビゲーションシステム。
［項目９］
前記少なくとも１つのプロセッサが、前記少なくとも１つの画像において識別された前記道路の前記少なくとも一部に関連する第１の複数の点を決定し、且つ前記ホスト車両と前記道路上の複数の位置との間の距離を示す前記ＬＩＤＡＲ反射情報に由来する第２の複数の点と前記第１の複数の点とを交互に配置するように更にプログラムされる、項目８に記載のナビゲーションシステム。
［項目１０］
前記少なくとも１つの画像において識別された前記１つ又は複数の対象が、前記ホスト車両の前記環境における曲線道路の少なくとも一部の表現を含み、前記曲線道路に起因すると判断された前記ＬＩＤＡＲ反射情報が、前記ホスト車両と前記曲線道路上の複数の点との間の距離を示し、前記少なくとも１つのプロセッサが、
前記曲線道路に起因すると判断された前記ＬＩＤＡＲ反射情報に基づいて、且つ前記少なくとも１つの画像において識別された前記曲線道路の前記少なくとも一部に基づいて、前記曲線道路に関連する道路平面の位置を決定するように更にプログラムされる、項目１に記載のナビゲーションシステム。
［項目１１］
前記少なくとも１つの画像において識別された前記曲線道路の前記少なくとも一部が、前記曲線道路に沿った１つ又は複数の車線区分線を含む、項目１０に記載のナビゲーションシステム。
［項目１２］
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータが、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の、画像空間における整合に基づく、項目１に記載のナビゲーションシステム。
［項目１３］
前記少なくとも１つのプロセッサが、実世界座標における前記カメラと前記ＬＩＤＡＲとの間の整合変動を決定するために、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータを用いるように更にプログラムされる、項目１に記載のナビゲーションシステム。
［項目１４］
実世界座標における前記カメラと前記ＬＩＤＡＲとの間の前記整合変動が、前記カメラと前記ＬＩＤＡＲとの間のピッチ、ロール又はヨーの変動の少なくとも１つで決定される、項目１３に記載のナビゲーションシステム。
［項目１５］
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータが、画像空間における平行移動変換を含む、項目１２に記載のナビゲーションシステム。
［項目１６］
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータが、画像空間における回転変換を含む、項目１２に記載のナビゲーションシステム。
［項目１７］
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータが、予想される範囲外の変動と関連付けられる場合に、前記少なくとも１つのプロセッサが、前記カメラ又は前記ＬＩＤＡＲの少なくとも１つが動作誤差を経験していると判定するように更にプログラムされる、項目１に記載のナビゲーションシステム。
［項目１８］
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、時間について周期的に実行される、項目１に記載のナビゲーションシステム。
［項目１９］
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、毎秒少なくとも１回実行される、項目１に記載のナビゲーションシステム。
［項目２０］
前記カメラが、ローリングシャッタを含み、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、前記ローリングシャッタに関連する走査タイミングを決める主な要因である、項目１に記載のナビゲーションシステム。
［項目２１］
前記ＬＩＤＡＲが、走査レートに関連付けられ、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、前記ＬＩＤＡＲの前記走査レートを決める主な要因である、項目１に記載のナビゲーションシステム。
［項目２２］
前記少なくとも１つのプロセッサが、
前記ホスト車両に搭載された複数のカメラによって捕捉された画像のストリームを受信するように、且つ
前記ホスト車両に搭載された複数のＬＩＤＡＲの出力を受信するように更にプログラムされる、項目１に記載のナビゲーションシステム。
［項目２３］
前記複数のカメラ及び前記複数のＬＩＤＡＲの少なくとも２つが、少なくとも部分的に重複する視野を有する、項目２２に記載のナビゲーションシステム。
［項目２４］
車両であって、
車体と、
前記車体に結合されたカメラと、
前記車体に結合されたＬＩＤＡＲと、
少なくとも１つのプロセッサであって、
前記カメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記車両を取り囲む環境を表すことと、
前記ＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
前記車両の環境における道路に関連する高さ又は前記車両の速度の少なくとも１つを決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサと、を含む車両。
［項目２５］
ホスト車両を自律的にナビゲートする方法であって、
前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることと、を含む方法。

Claims (24)

  1. ホスト車両用のナビゲーションシステムであって、
    少なくとも１つのプロセッサであって、
    前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
    前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサを含み、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータが、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の、画像空間における整合に基づいており、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、時間について周期的に実行される、ナビゲーションシステム。
  2. ホスト車両用のナビゲーションシステムであって、
    少なくとも１つのプロセッサであって、
    前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
    前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサを含み、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータが、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の、画像空間における整合に基づいており、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、毎秒少なくとも１回実行される、ナビゲーションシステム。
  3. ホスト車両用のナビゲーションシステムであって、
    少なくとも１つのプロセッサであって、
    前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
    前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサを含み、
    前記少なくとも１つの画像において識別された前記１つ又は複数の対象が、実世界座標における静止対象の表現を含み、前記静止対象に起因すると判断された前記ＬＩＤＡＲ反射情報が、前記ホスト車両と前記静止対象との間の距離を示し、前記少なくとも１つのナビゲーション特性が、前記ホスト車両の速度を含み、前記少なくとも１つのプロセッサが、
    前記ホスト車両と、前記少なくとも１つの画像において識別された前記静止対象に起因すると判断された前記ＬＩＤＡＲ反射情報によって示された前記静止対象との間の距離の変化を経時的に監視することによって、前記ホスト車両の前記速度を決定するように更にプログラムされる、ナビゲーションシステム。
  4. 前記少なくとも１つの画像において識別された前記１つ又は複数の対象が、前記ホスト車両の前記環境における道路上の対象の表現を含み、前記道路上の前記対象に起因すると判断された前記ＬＩＤＡＲ反射情報が、前記ホスト車両と、前記対象が前記道路と接触するエリアとの間の距離を示し、前記少なくとも１つのナビゲーション特性が、前記道路の高さを含み、前記少なくとも１つのプロセッサが、
    前記道路上の前記対象に起因すると判断された前記ＬＩＤＡＲ反射情報、及び前記ホスト車両に搭載された前記カメラの少なくとも１つの特性に基づいて、前記道路の前記高さを決定するように更にプログラムされる、請求項１から３のいずれか一項に記載のナビゲーションシステム。
  5. 前記カメラの前記少なくとも１つの特性が、前記カメラの焦点距離又は前記道路上の前記カメラの高さの少なくとも１つを含む、請求項４に記載のナビゲーションシステム。
  6. 前記少なくとも１つのプロセッサが、少なくとも１つの捕捉された画像における前記対象の画像表現の少なくとも一部によって占められた画素の数にも基づいて、前記道路の前記高さを決定するように更にプログラムされる、請求項４又は５に記載のナビゲーションシステム。
  7. 前記少なくとも１つのプロセッサが、前記道路上の前記対象に対する少なくとも１つのＬＩＤＡＲにより決定された距離にオフセットを追加することによって、前記ホスト車両と、前記対象が前記道路と接触する前記エリアとの間の前記距離を決定するように更にプログラムされる、請求項４から６のいずれか一項に記載のナビゲーションシステム。
  8. 前記対象が、前記ホスト車両の前記環境における目標車両を含む、請求項４から７のいずれか一項に記載のナビゲーションシステム。
  9. ホスト車両用のナビゲーションシステムであって、
    少なくとも１つのプロセッサであって、
    前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
    前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサを含み、
    前記少なくとも１つの画像において識別された前記１つ又は複数の対象が、前記ホスト車両の前記環境における道路の少なくとも一部の表現を含み、前記道路に起因すると判断された前記ＬＩＤＡＲ反射情報が、前記ホスト車両と前記道路上の複数の位置との間の距離を示し、前記少なくとも１つのプロセッサが、
    前記道路に起因すると判断された前記ＬＩＤＡＲ反射情報に基づいて、且つ前記少なくとも１つの画像において識別された前記道路の前記少なくとも一部に基づいて、前記道路に関連する道路平面の位置を決定するように更にプログラムされ、
    前記少なくとも１つのプロセッサが、前記少なくとも１つの画像において識別された前記道路の前記少なくとも一部に関連する第１の複数の点を決定し、且つ前記ホスト車両と前記道路上の複数の位置との間の距離を示す前記ＬＩＤＡＲ反射情報に由来する第２の複数の点と前記第１の複数の点とを交互に配置するように更にプログラムされる、ナビゲーションシステム。
  10. 前記少なくとも１つの画像において識別された前記１つ又は複数の対象が、前記ホスト車両の前記環境における曲線道路の少なくとも一部の表現を含み、前記曲線道路に起因すると判断された前記ＬＩＤＡＲ反射情報が、前記ホスト車両と前記曲線道路上の複数の点との間の距離を示し、前記少なくとも１つのプロセッサが、
    前記曲線道路に起因すると判断された前記ＬＩＤＡＲ反射情報に基づいて、且つ前記少なくとも１つの画像において識別された前記曲線道路の前記少なくとも一部に基づいて、前記曲線道路に関連する道路平面の位置を決定するように更にプログラムされる、請求項１から９のいずれか一項に記載のナビゲーションシステム。
  11. 前記少なくとも１つの画像において識別された前記曲線道路の前記少なくとも一部が、前記曲線道路に沿った１つ又は複数の車線区分線を含む、請求項１０に記載のナビゲーションシステム。
  12. 前記少なくとも１つのプロセッサが、実世界座標における前記カメラと前記ＬＩＤＡＲとの間の整合変動を決定するために、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータを用いるように更にプログラムされる、請求項１から１１のいずれか一項に記載のナビゲーションシステム。
  13. 実世界座標における前記カメラと前記ＬＩＤＡＲとの間の前記整合変動が、前記カメラと前記ＬＩＤＡＲとの間のピッチ、ロール又はヨーの変動の少なくとも１つで決定される、請求項１２に記載のナビゲーションシステム。
  14. 前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータが、画像空間における平行移動変換を含む、請求項１から１３のいずれか一項に記載のナビゲーションシステム。
  15. 前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータが、画像空間における回転変換を含む、請求項１から１４のいずれか一項に記載のナビゲーションシステム。
  16. ホスト車両用のナビゲーションシステムであって、
    少なくとも１つのプロセッサであって、
    前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
    前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサを含み、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータが、予想される範囲外の変動と関連付けられる場合に、前記少なくとも１つのプロセッサが、前記カメラ又は前記ＬＩＤＡＲの少なくとも１つが動作誤差を経験していると判定するように更にプログラムされる、ナビゲーションシステム。
  17. ホスト車両用のナビゲーションシステムであって、
    少なくとも１つのプロセッサであって、
    前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
    前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサを含み、
    前記カメラが、ローリングシャッタを含み、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、前記ローリングシャッタに関連する走査タイミングを決める主な要因である、ナビゲーションシステム。
  18. ホスト車両用のナビゲーションシステムであって、
    少なくとも１つのプロセッサであって、
    前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
    前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサを含み、
    前記ＬＩＤＡＲが、走査レートに関連付けられ、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、前記ＬＩＤＡＲの前記走査レートを決める主な要因である、ナビゲーションシステム。
  19. 前記少なくとも１つのプロセッサが、
    前記ホスト車両に搭載された複数のカメラによって捕捉された画像のストリームを受信するように、且つ
    前記ホスト車両に搭載された複数のＬＩＤＡＲの出力を受信するように更にプログラムされる、請求項１から１８のいずれか一項に記載のナビゲーションシステム。
  20. 前記複数のカメラ及び前記複数のＬＩＤＡＲの少なくとも２つが、少なくとも部分的に重複する視野を有する、請求項１９に記載のナビゲーションシステム。
  21. 車両であって、
    車体と、
    前記車体に結合されたカメラと、
    前記車体に結合されたＬＩＤＡＲと、
    少なくとも１つのプロセッサであって、
    前記カメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記車両を取り囲む環境を表すことと、
    前記ＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記車両の環境における道路に関連する高さ又は前記車両の速度の少なくとも１つを決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサと、を含み、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータが、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の、画像空間における整合に基づいており、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、時間について周期的に実行される、車両。
  22. 車両であって、
    車体と、
    前記車体に結合されたカメラと、
    前記車体に結合されたＬＩＤＡＲと、
    少なくとも１つのプロセッサであって、
    前記カメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記車両を取り囲む環境を表すことと、
    前記ＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記車両の環境における道路に関連する高さ又は前記車両の速度の少なくとも１つを決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることとを行うようにプログラムされた少なくとも１つのプロセッサと、を含み、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータが、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の、画像空間における整合に基づいており、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、毎秒少なくとも１回実行される、車両。
  23. ホスト車両を自律的にナビゲートする方法であって、
    前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
    前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることと、を含み、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータが、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の、画像空間における整合に基づいており、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、時間について周期的に実行される、方法。
  24. ホスト車両を自律的にナビゲートする方法であって、
    前記ホスト車両に搭載されたカメラによって捕捉された画像のストリームを受信することであって、前記捕捉された画像が、前記ホスト車両を取り囲む環境を表すことと、
    前記ホスト車両に搭載されたＬＩＤＡＲの出力を受信することであって、前記ＬＩＤＡＲの前記出力が、前記ホスト車両を取り囲む前記環境の少なくとも一部からの複数のレーザ反射を表すことと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の少なくとも１つのインジケータを決定することと、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の前記相対的な整合の前記少なくとも１つのインジケータに基づいて、ＬＩＤＡＲ反射情報が、前記少なくとも１つの画像において識別された１つ又は複数の対象に起因すると判断することと、
    前記ホスト車両に関連する少なくとも１つのナビゲーション特性を決定するために、前記起因すると判断されたＬＩＤＡＲ反射情報、及び前記少なくとも１つの画像において識別された前記１つ又は複数の対象を用いることと、を含み、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータが、前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された前記少なくとも１つの画像との間の、画像空間における整合に基づいており、
    前記ＬＩＤＡＲの前記出力と、前記カメラによって捕捉された少なくとも１つの画像との間の相対的な整合の前記少なくとも１つのインジケータの前記決定が、毎秒少なくとも１回実行される、方法。
JP2019527816A 2017-01-26 2018-01-25 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション Active JP7157054B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022161508A JP7509501B2 (ja) 2017-01-26 2022-10-06 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762450750P 2017-01-26 2017-01-26
US62/450,750 2017-01-26
US201762538925P 2017-07-31 2017-07-31
US62/538,925 2017-07-31
PCT/IB2018/000141 WO2018138584A1 (en) 2017-01-26 2018-01-25 Vehicle navigation based on aligned image and lidar information

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022161508A Division JP7509501B2 (ja) 2017-01-26 2022-10-06 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション

Publications (2)

Publication Number Publication Date
JP2020507829A JP2020507829A (ja) 2020-03-12
JP7157054B2 true JP7157054B2 (ja) 2022-10-19

Family

ID=61526836

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019527816A Active JP7157054B2 (ja) 2017-01-26 2018-01-25 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
JP2022161508A Active JP7509501B2 (ja) 2017-01-26 2022-10-06 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022161508A Active JP7509501B2 (ja) 2017-01-26 2022-10-06 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション

Country Status (5)

Country Link
US (2) US11953599B2 (ja)
EP (2) EP4414748A3 (ja)
JP (2) JP7157054B2 (ja)
CN (1) CN110235026A (ja)
WO (1) WO2018138584A1 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3615955A4 (en) * 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS
USD858381S1 (en) 2017-04-28 2019-09-03 Waymo Llc Fender sensor housing
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
GB201714978D0 (en) * 2017-09-18 2017-11-01 Trw Ltd Detecting misalignment
US10816666B2 (en) 2017-11-21 2020-10-27 Magna Electronics Inc. Vehicle sensing system with calibration/fusion of point cloud partitions
US11163309B2 (en) * 2017-11-30 2021-11-02 Direct Current Capital LLC Method for autonomous navigation
WO2019172118A1 (ja) * 2018-03-05 2019-09-12 株式会社小糸製作所 センサシステム、センサモジュール、およびランプ装置
US20190347808A1 (en) * 2018-05-09 2019-11-14 Ford Global Technologies, Llc Monocular Visual Odometry: Speed And Yaw Rate Of Vehicle From Rear-View Camera
JP7141242B2 (ja) * 2018-05-18 2022-09-22 株式会社小糸製作所 センサシステム
JP2021532382A (ja) * 2018-07-30 2021-11-25 ポニー エーアイ インコーポレイテッド 車載型車両カメラを較正するシステムおよび方法
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
US10551485B1 (en) 2018-08-06 2020-02-04 Luminar Technologies, Inc. Fitting points to a surface
CN109255181B (zh) 2018-09-07 2019-12-24 百度在线网络技术（北京）有限公司 一种基于多模型的障碍物分布仿真方法、装置以及终端
CN109143242B (zh) 2018-09-07 2020-04-14 百度在线网络技术（北京）有限公司 障碍物绝对速度估计方法、系统、计算机设备和存储介质
KR102675522B1 (ko) * 2018-09-07 2024-06-14 삼성전자주식회사 센서들에 대한 정렬 모델 조정 방법 및 그 방법을 수행하는 전자 장치
CN109215135B (zh) 2018-09-07 2019-11-08 百度在线网络技术（北京）有限公司 一种基于统计的障碍物位置仿真方法、装置以及终端
CN111238494B (zh) * 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
US11537811B2 (en) * 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
DK180555B1 (en) * 2018-12-10 2021-06-17 Motional Ad Llc Systems and methods for validating and calibrating sensors
IL270540A (en) 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
KR102647929B1 (ko) * 2019-01-03 2024-03-15 현대모비스 주식회사 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법
WO2020170678A1 (ja) * 2019-02-18 2020-08-27 株式会社小糸製作所 車両用センシングシステム及び車両
CN109703568B (zh) 2019-02-19 2020-08-18 百度在线网络技术（北京）有限公司 自动驾驶车辆行驶策略实时学习的方法、装置和服务器
USD902756S1 (en) 2019-02-20 2020-11-24 Waymo Llc Sensor assembly
USD950404S1 (en) 2019-05-01 2022-05-03 Waymo Llc Roof pod housing
USD957968S1 (en) 2019-02-20 2022-07-19 Waymo Llc Sensor housing
USD915913S1 (en) 2019-05-01 2021-04-13 Waymo Llc Roof pod housing
CN109712421B (zh) 2019-02-22 2021-06-04 百度在线网络技术（北京）有限公司 自动驾驶车辆的速度规划方法、装置和存储介质
JP7118911B2 (ja) * 2019-03-08 2022-08-16 株式会社東芝 画像処理装置
CN110082739B (zh) * 2019-03-20 2022-04-12 深圳市速腾聚创科技有限公司 数据同步方法和设备
USD964908S1 (en) 2019-04-25 2022-09-27 Waymo Llc Perimeter sensor housing
USD965498S1 (en) 2019-04-25 2022-10-04 Waymo Llc Perimeter sensor housing
USD964249S1 (en) 2019-04-25 2022-09-20 Waymo Llc Perimeter sensor housing
USD964909S1 (en) 2019-04-25 2022-09-27 Waymo Llc Perimeter sensor housing
USD927998S1 (en) 2019-04-25 2021-08-17 Waymo Llc Front sensor housing
USD956585S1 (en) 2019-04-25 2022-07-05 Waymo Llc Rear sensor housing
USD954571S1 (en) 2019-04-25 2022-06-14 Waymo Llc Front sensor housing
USD928639S1 (en) 2019-04-25 2021-08-24 Waymo Llc Rear sensor housing
EP3757611A1 (en) * 2019-06-27 2020-12-30 Aptiv Technologies Limited Vertical road profile estimation
US10775175B1 (en) * 2019-06-28 2020-09-15 Rockwell Collins, Inc. Wearable dead reckoning system for GPS-denied navigation
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor
US20210025738A1 (en) * 2019-07-24 2021-01-28 EMC IP Holding Company LLC System and method for device operation monitoring
US20230005364A1 (en) * 2019-09-17 2023-01-05 Mobileye Vision Technologies Ltd. Systems and methods for monitoring traffic lane congestion
CA3152982A1 (en) * 2019-09-17 2021-03-25 Carbon Autonomous Robotic Systems Inc. Autonomous laser weed eradication
WO2021056132A1 (en) * 2019-09-23 2021-04-01 Beijing Voyager Technology Co., Ltd. Systems and methods for calibrating a camera and a lidar
WO2021113147A1 (en) * 2019-12-04 2021-06-10 Waymo Llc Efficient algorithm for projecting world points to a rolling shutter image
GB2594111B (en) * 2019-12-18 2023-06-07 Motional Ad Llc Camera-to-LiDAR calibration and validation
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US20210215798A1 (en) * 2020-01-10 2021-07-15 Continental Automotive Systems, Inc. Lidar system
US12123984B2 (en) * 2020-07-01 2024-10-22 Baidu Usa Llc Point clouds based lidar recalibration system for autonomous vehicles
EP4185924A4 (en) 2020-07-21 2024-08-14 Leddartech Inc BEAM STEERING DEVICE, PARTICULARLY FOR LIDAR SYSTEMS
WO2022016274A1 (en) 2020-07-21 2022-01-27 Leddartech Inc. Beam-steering devices and methods for lidar applications
EP4185894A4 (en) 2020-07-21 2024-07-24 Leddartech Inc SYSTEMS AND METHODS FOR WIDE-ANGLE LIDAR WITH NON-UNIFORM MAGNIFICATION OPTICS
US11250240B1 (en) * 2020-07-27 2022-02-15 Pony Ai Inc. Instance segmentation using sensor data having different dimensionalities
US11940568B2 (en) 2020-08-17 2024-03-26 Argo AI, LLC Enhanced multispectral sensor calibration
CN112184768B (zh) * 2020-09-24 2023-10-31 杭州易现先进科技有限公司 基于激光雷达的sfm重建方法、装置和计算机设备
GB2599380A (en) * 2020-09-30 2022-04-06 Roadmetric Ltd Measuring vehicle speeds with an uncalibrated camera
US20220180541A1 (en) * 2020-12-07 2022-06-09 Faro Technologies, Inc. Three-dimensional coordinate scanner
US12032060B2 (en) * 2021-01-25 2024-07-09 GM Global Technology Operations LLC Ambiguity mitigation based on common field of view of radar systems
US20220269281A1 (en) * 2021-02-23 2022-08-25 Ran Cheng Method and system for generating a topological graph map
CN113096395B (zh) * 2021-03-31 2022-03-25 武汉理工大学 一种基于定位与人工智能识别的道路交通安全评价系统
CN113281617B (zh) * 2021-06-08 2022-09-27 中国民航大学 一种飞机线缆微弱故障诊断方法
WO2022271742A1 (en) * 2021-06-21 2022-12-29 Cyngn, Inc. Granularity-flexible existence-based object detection
WO2023283469A1 (en) * 2021-07-08 2023-01-12 Cyngn, Inc. Multi-channel object matching
WO2023283468A1 (en) * 2021-07-08 2023-01-12 Cyngn, Inc. Flexible multi-channel fusion perception
US11908164B2 (en) * 2021-07-23 2024-02-20 Embark Trucks Inc. Automatic extrinsic calibration using sensed data as a target
US11845439B2 (en) * 2021-09-29 2023-12-19 Canoo Technologies Inc. Prediction of target object's behavior based on world and image frames
CN118265957A (zh) * 2021-10-18 2024-06-28 移动眼视觉科技有限公司 用于车辆导航的雷达-摄像头融合
US20240045041A1 (en) * 2021-10-25 2024-02-08 Commonwealth Scientific And Industrial Research Organisation Multi-sensor navigation
US20230202473A1 (en) * 2021-12-29 2023-06-29 Mobileye Vision Technologies Ltd. Calculating vehicle speed for a road curve
US20230230260A1 (en) * 2022-01-18 2023-07-20 Pony Ai Inc. Hardware-based point-cloud matching
KR20230139560A (ko) * 2022-03-28 2023-10-05 현대자동차주식회사 차량 및 그 제어방법
CN114782447B (zh) * 2022-06-22 2022-09-09 小米汽车科技有限公司 路面检测方法、装置、车辆、存储介质及芯片

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258941A (ja) 2004-03-12 2005-09-22 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP2007218738A (ja) 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
JP2012080517A (ja) 2010-10-01 2012-04-19 Young Wee Jay イメージ獲得ユニット、方法及び連関付けられた制御ユニット｛ｉｍａｇｅａｃｑｕｉｓｉｔｉｏｎｕｎｉｔ、ａｃｑｕｉｓｉｔｉｏｎｍｅｔｈｏｄａｎｄａｓｓｏｃｉａｔｅｄｃｏｎｔｒｏｌｕｎｉｔ｝
WO2013084317A1 (ja) 2011-12-07 2013-06-13 トヨタ自動車株式会社 表示制御装置
JP2013196401A (ja) 2012-03-21 2013-09-30 Hitachi Automotive Systems Ltd 道路環境認識装置
WO2013145015A1 (ja) 2012-03-29 2013-10-03 トヨタ自動車株式会社 路面状態推定装置
JP2016034810A (ja) 2014-08-04 2016-03-17 株式会社デンソーアイティーラボラトリ 車両制御装置
JP2016212630A (ja) 2015-05-08 2016-12-15 トヨタ自動車株式会社 走行制御装置
JP2018535402A (ja) 2016-01-12 2018-11-29 三菱電機株式会社 異なる分解能を有するセンサーの出力を融合するシステム及び方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202776B2 (en) 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
JP3969984B2 (ja) 2001-09-25 2007-09-05 ダイハツ工業株式会社 移動物体の認識方法
JP2007303842A (ja) 2006-05-08 2007-11-22 Toyota Central Res & Dev Lab Inc 車両位置推定装置及び地図情報作成装置
DE102007001103A1 (de) * 2007-01-04 2008-07-10 Siemens Ag Vertikale Ausrichtung eines Lidar-Sensors
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
US8244469B2 (en) 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
JP4775391B2 (ja) * 2008-03-18 2011-09-21 株式会社デンソー 障害物検出装置
JP2010060299A (ja) 2008-09-01 2010-03-18 Omron Corp 物体検出装置
US8284250B2 (en) * 2009-01-16 2012-10-09 Microsoft Corporation Determining trigger rate for a digital camera
CN101698303B (zh) 2009-09-11 2011-02-02 大连理工大学 一种三维激光和单目视觉间的自动标定方法
CN102713989A (zh) * 2010-03-17 2012-10-03 本田技研工业株式会社 车辆周围监测装置
CN101975951B (zh) * 2010-06-09 2013-03-20 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
US9124873B2 (en) * 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US9128185B2 (en) 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
EP2728376A1 (en) * 2012-11-05 2014-05-07 The Chancellor, Masters and Scholars of the University of Oxford Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus
EP2914975B1 (en) * 2012-11-05 2019-03-06 The Chancellor, Masters and Scholars of The University of Oxford Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus
CN103198302B (zh) * 2013-04-10 2015-12-02 浙江大学 一种基于双模态数据融合的道路检测方法
US9207323B2 (en) * 2013-04-11 2015-12-08 Google Inc. Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
CN103559791B (zh) * 2013-10-31 2015-11-18 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
US9378554B2 (en) * 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
US20160209211A1 (en) * 2015-01-16 2016-07-21 GM Global Technology Operations LLC Method for determining misalignment of an object sensor
CN111351495B (zh) 2015-02-10 2024-05-28 御眼视觉技术有限公司 服务器系统、方法及机器可读介质
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US10282591B2 (en) * 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US10137904B2 (en) * 2015-10-14 2018-11-27 Magna Electronics Inc. Driver assistance system with sensor offset correction
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
CN105758426B (zh) 2016-02-19 2019-07-26 深圳市杉川机器人有限公司 移动机器人的多传感器的联合标定方法
CN105818763B (zh) * 2016-03-09 2018-06-22 睿驰智能汽车（广州）有限公司 一种确定车辆周围物体距离的方法、装置及系统
US10884127B2 (en) * 2016-08-02 2021-01-05 Samsung Electronics Co., Ltd. System and method for stereo triangulation
US20180067494A1 (en) * 2016-09-02 2018-03-08 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system
US10652333B2 (en) * 2016-12-27 2020-05-12 Intel Corporation Normalization of sensors
US10838067B2 (en) * 2017-01-17 2020-11-17 Aptiv Technologies Limited Object detection system
US10754035B2 (en) * 2017-01-17 2020-08-25 Aptiv Technologies Limited Ground classifier system for automated vehicles
CN109479088A (zh) * 2017-06-02 2019-03-15 深圳市大疆创新科技有限公司 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法
US10678260B2 (en) * 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
US11062461B2 (en) * 2017-11-16 2021-07-13 Zoox, Inc. Pose determination from contact points

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258941A (ja) 2004-03-12 2005-09-22 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP2007218738A (ja) 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
JP2012080517A (ja) 2010-10-01 2012-04-19 Young Wee Jay イメージ獲得ユニット、方法及び連関付けられた制御ユニット｛ｉｍａｇｅａｃｑｕｉｓｉｔｉｏｎｕｎｉｔ、ａｃｑｕｉｓｉｔｉｏｎｍｅｔｈｏｄａｎｄａｓｓｏｃｉａｔｅｄｃｏｎｔｒｏｌｕｎｉｔ｝
WO2013084317A1 (ja) 2011-12-07 2013-06-13 トヨタ自動車株式会社 表示制御装置
JP2013196401A (ja) 2012-03-21 2013-09-30 Hitachi Automotive Systems Ltd 道路環境認識装置
WO2013145015A1 (ja) 2012-03-29 2013-10-03 トヨタ自動車株式会社 路面状態推定装置
JP2016034810A (ja) 2014-08-04 2016-03-17 株式会社デンソーアイティーラボラトリ 車両制御装置
JP2016212630A (ja) 2015-05-08 2016-12-15 トヨタ自動車株式会社 走行制御装置
JP2018535402A (ja) 2016-01-12 2018-11-29 三菱電機株式会社 異なる分解能を有するセンサーの出力を融合するシステム及び方法

Also Published As

Publication number Publication date
WO2018138584A1 (en) 2018-08-02
US20190353784A1 (en) 2019-11-21
US20240295655A1 (en) 2024-09-05
CN110235026A (zh) 2019-09-13
JP2022185089A (ja) 2022-12-13
EP3545337B1 (en) 2024-07-03
EP4414748A2 (en) 2024-08-14
EP4414748A3 (en) 2024-11-13
JP7509501B2 (ja) 2024-07-02
JP2020507829A (ja) 2020-03-12
US11953599B2 (en) 2024-04-09
EP3545337A1 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
JP7509501B2 (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
US11669102B2 (en) Navigating a vehicle based on a detected barrier
US11960293B2 (en) Systems and methods for navigating lane merges and lane splits
EP3854646B1 (en) Systems and methods for navigating with safe distances
US20220360693A1 (en) Cross field of view for autonomous vehicle systems
EP3548845B1 (en) Navigation based on vehicle activity
EP3614105B1 (en) Controlling host vehicle based on detected parked vehicle characteristics
US20210042539A1 (en) Systems and methods for detecting an object
US20230117253A1 (en) Ego motion-based online calibration between coordinate systems

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191008

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221006

R150 Certificate of patent or registration of utility model

Ref document number: 7157054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150