JP2023514905A

JP2023514905A - 自律型車両のためのビヘイビア・プランニング

Info

Publication number: JP2023514905A
Application number: JP2022525030A
Authority: JP
Inventors: 二スター、デイヴィッド; ワン、エキシュウ; ウン、ジュリア; アヴィブ、ロテム; リー、スンホ; ジョンビアルコウスキー、ジョシュア; リョンリー、ホン; ランカー、ヘルメス; テザノス、ラウルコレアル; チャン、ジェンイー; スモルヤンスキー、ニコライ; カメネフ、アレクセイ; ボーハン、オリンボエール; ヴォロントソブ、アントン; セラ、ミゲルセインツ; ヘンケ、ビルギット
Original assignee: エヌビディアコーポレーション
Priority date: 2020-02-19
Filing date: 2021-02-18
Publication date: 2023-04-12
Also published as: WO2021168058A1; CN115175841A; DE112021000216T5; US20210253128A1; US11981349B2; US20240239374A1

Abstract

本開示の実施例は、自律型車両のためのビヘイビア・プランニングに関する。本明細書に記載の技術は、プランニング・システム内の異なる構成要素によって複数の仮説的軌道の評価に基づいて自律型車両の好ましい軌道を選択する。様々な構成要素は、構成要素の優先度に従って各軌道の最適化スコアを提供し、複数の構成要素からのスコアは、最終最適化スコアを形成し得る。この採点システムは、異なる構成要素の競合する優先度（たとえば、快適性、最小移動時間、燃料経済性）がともに考慮されることを可能にする。実例において、最高の結合されたスコアを有する軌道が、実装するために選択され得る。そのようなものとして、様々なファクタを評価する反復手法が、環境をナビゲートするときに自律型車両の最適な又は好ましい軌道を識別するために使用され得る。

Description

本発明は、自律型車両のためのビヘイビア・プランニングに関する。

監視なしに自律的に及び安全に車両を運転するためのシステムを設計することは極めて難しい。自律型車両は、車両の進路に沿った他の物体又は構造物との衝突を回避するために、注意深い－複雑な環境において移動する及び静的な障害物を識別する及びそれに反応するための驚くべき能力を有する知覚及びアクション・システムを利用する－運転者の機能的等価物として実行する能力を少なくとも有するべきである。したがって、障害物、進路、待機条件、道路若しくは車線ジオメトリ、及び／又は環境に関する他の情報を検出する能力は、しばしば、自律運転知覚システムにとって不可欠である。

運転知覚システムの判定は、ビヘイビア・プランニング－たとえば、車両のルートに沿った軌道を判定すること－のために使用され得る。そのようなものとして、自律型車両のビヘイビア・プランニングは、特に、複雑な都会のシナリオにとって、難しいが不可欠なタスクである。たとえば、自律型車両がその周辺を理解して安全で効果的なビヘイビア決定を行うために、自律型車両は、現在の車両軌道及びルート情報とともにこれらの様々な環境入力を処理して車両の連続する又は未来の軌道を計算しなければならない。しかしながら、ビヘイビア・プランニングのための従来のシステムは、しばしば、環境内の絶えず変化する変数を説明しない柔軟性のない決定に依拠する。たとえば、従来の方法は、最低移動時間を有するルートを選択し、次いで、ルートに従う車線プランを選び得る。しかしながら、この柔軟性のないプランニングは、変化する環境条件に基づいてプランニング・システムが軌道を最適に調整することを可能にしない。たとえば、他の判定－衝突回避などの－とは別個に車両のビヘイビアを決定することによって、現在のプランへの調整は、プロアクティブではなく、反応的であり得る。そのようなものとして、衝突回避の実例では、制御決定が、ビヘイビア・プランナからの出力を使用して、決定され得、そして、衝突が起こり得ると判定したとき、衝突回避機能性が、更新された制御決定を生成し得る。結果として、車両の軌道は、ファクタとして衝突回避を使用して決定されず、寧ろ、車両の衝突回避機能性によって上書きされる。したがって、これらの従来のシステムは、準最適である、及び車両の様々な異なる機能性－たとえば、衝突回避又は車線プランニング－からの動的入力を考慮しない、車両のビヘイビアを決定する。

本開示の実施例は、自律型車両のためのビヘイビア・プランニングに関する。以前の軌道プランニング技術に対するいくつかの優位性を有する自律型車両の軌道のプランニングに関連するシステム及び方法が、開示される。たとえば、従来の技術とは対照的に、本明細書に記載の技術は、複数の仮説的軌道がプランニング・システム内の異なる構成要素によって同時に評価されることを可能にする。これらの様々な構成要素－たとえば、衝突回避、車両操縦タイプ、ルート・プランニング、車線プランニング、イールド情報などに対応する－のそれぞれは、構成要素の優先度に従って各軌道の最適化スコアを提供し得る。そのようなものとして、複数の構成要素からのスコアは、最終最適化スコアを形成し得、最高の結合されたスコアを有する軌道が、実装するために選択され得る。この採点システムは、異なる構成要素の競合する優先度（たとえば、快適性、最小移動時間、燃料経済性、安全性など）がともに考慮されることを可能にする。

前述のものなどの従来のシステムとはさらに対照的に、本明細書に記載の技術は、現在好ましい又は選択された車線プラン又はルートに従わない帰結を数値化するために複数のシステム構成要素によって使用され得る情報を提供することによって、より安全でより効率的なプランニングを可能にする。たとえば、従来の手法は、次の５秒以内に車線を変更することに失敗することはルートを逃す原因となり得ることを認識し得るが、これらの従来の手法が、車両の潜在的な未来の軌道出力を生成するときに、この失敗を数値化又はエンコードすることは知られていない。本開示によれば、この失敗を数値化することによって、好ましい又は最適なルートが、辿るべき軌道を決定するときにプランニング・システムによって生成及び使用され得る。結果として、本開示のビヘイビア・プランニング・システムは、様々なシステム構成要素からの情報を使用して車両の潜在的軌道を決定することができ、環境変数の動的性質、ルート・プランニング情報、及び／又は車線プランニング情報を反映するために各反復又は時間ステップにおいて－たとえば、これらの様々なシステムのそれぞれを考慮して－潜在的軌道を更新することができる。

自律型車両のためのビヘイビア・プランニングのための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。

本開示のいくつかの実施例による、自律型車両のための例示的ビヘイビア・プランニング・アーキテクチャのイラストレーションである。本開示のいくつかの実施例による、例示的レール・プラン及び対応する速度計算のイラストレーションである。本開示のいくつかの実施例による、自律型車両の周りの例示的環境条件のイラストレーションである。本開示のいくつかの実施例による、環境条件に従って調整されるときの例示的レール・プラン及び対応する速度計算のイラストレーションである。本開示のいくつかの実施例による、自律型車両の軌道を選択する方法を示す流れ図である。本開示のいくつかの実施例による、自律型車両の軌道を選択する方法を示す流れ図である。本開示のいくつかの実施例による、自律型車両の軌道を選択する方法を示す流れ図である。本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。本開示のいくつかの実施例による、図８Ａの例示的自律型車両のカメラ位置及び視野の実例である。本開示のいくつかの実施例による、図８Ａの例示的自律型車両の例示的システム・アーキテクチャのブロック図である。本開示のいくつかの実施例による、クラウドベースのサーバと図８Ａの例示的自律型車両との間の通信のシステム図である。本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティングデバイスのブロック図である。本開示のいくつかの実施例の実装において使用するのに適した例示的データ・センタのブロック図である。

本明細書に記載のものなどの、しかしこれらに限定されない、自律型車両又は別のタイプの自律マシンの軌道のプランニングに関して、システム及び方法が、開示される。本開示は、例示的自律型車両８００（その実例は図８Ａ～８Ｄに関して本明細書で説明され、本明細書で別法として「車両８００」又は「自己車両８００」と称される）に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、非自律型車両、半自律型車両（たとえば、１つ又は複数の高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄｄｒｉｖｅｒａｓｓｉｓｔａｎｃｅｓｙｓｔｅｍ）における）、ロボット及びロボットのプラットフォーム、倉庫車両、オフロード車両、飛行船舶、ボート、並びに／又は他の車両タイプによって使用され得る。加えて、本開示は、自律運転に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、ロボット工学（たとえば、ロボットのためのビヘイビア・プランニング）、航空システム（たとえば、ドローン又は他の航空機のためのビヘイビア・プランニング）、船舶システム（たとえば、船のためのビヘイビア・プランニング）、シミュレーション環境（たとえば、仮想シミュレーション環境内の仮想車両のビヘイビア・プランニング・システムを検査又は検証するための）、並びに／又は、たとえば、ルート・プランニング、車線プランニング、ビヘイビア・プランニング、及び／若しくは制御決定のための他の技術分野、において使用され得る。

本明細書に記載の技術は、各プランニング構成要素が最小限の計算資源を使用することを可能にするアーキテクチャを用い得る。いくつかの実施例において、本明細書に記載の軌道プランニング・システムは、それぞれが異なるプランニング・ホリゾンを有する、３つの異なるプランニング構成要素を用い得る。結果として、計算効率は、それぞれのプランニング・ホリゾンを横断する必要なタスクを完遂するのに十分な詳細だけを有するプランニング情報を各プランニング構成要素に提供することによって、改善され得る。少なくとも１つの実施例において、３つの異なるプランニング構成要素は、ルート・プランナ、車線プランナ、及びビヘイビア・プランナを含む。各構成要素は、結果及び／又は結果セットを生み出し、それをプランニング・パイプラインにおいて次の構成要素に通信することができる。ルート・プランナは、ルート・セットを車線プランナに通信することができ、車線プランナは、車線プランをビヘイビア・プランナに通信することができる。ビヘイビア・プランナは、複数の軌道を開発及び評価することができる。車線プランは、グラフ・ノードに関連する時間報酬を有する車線グラフの形を取り得る。このタイプの車線プランは、１つ又は複数の車線シーケンスを含む伝統的車線プランとは異なり得る。選択された又は最適化された軌道は、計画された軌道を実装する責任を有する運動コントローラにビヘイビア・プランナから送られ得る。

ルート・プランナは、大きな地理的エリア（たとえば、大都市圏、州、国、領域）をカバーするが、相対的に少量の詳細（たとえば、車線プランニング及び軌道プランニングのために使用される地理的情報において見つかるのよりも少ない詳細）を有する地理的情報を有し得る。ルート・プランナのプランニング・ホリゾンは、始点（たとえば、現在の位置）と目的地点との間の全エリアでもよい。ルート・プランナは、比較的大きなエリアの低詳細マップを使用して目的地までの複数のルートを計算することができる。たとえば、大きな地理的エリアは、１２９．５平方キロ・メートル（５０平方マイル）超、１２９５平方キロ・メートル（５００平方マイル）超、２５９０平方キロ・メートル（１０００平方マイル）超、又はそれより大きくてもよい。一態様において、単一のルートが最初に最適として選択されず、代わりに、各ルートは、ルート目的地までの移動の推定時間に従って、又は最適な若しくは好ましいルートを数値化する何らかの他の採点機構によって、採点され得る。ほぼ無限数のルートが可能であり得るので、様々な方法が、トップの複数のルートを識別するために使用され得る。たとえば、移動の推定時間及び／又は他のファクタによって測定されるものとしての、５、１０、５０、及び／又は別の数の最良のルートが、識別され得る。これらのルートは、車線プランナに通信され得、ビヘイビア・プランナなどの、他の構成要素に加えて、車線プランナが、その複数の中から好ましいルートを決定し得る。

車線プランナは、ルート・プランナから受信された１つ又は複数のルートに基づいて車線プランを生成することができる。車線プランナは、ルート・プランナによって使用されるマップにおいて見つかるのよりもより多くの詳細を含む第２の地理的マップを使用することができる。第２の地理的マップは、ルート・プランナによって使用されるマップよりも小さい地理的エリアをカバーし得る。たとえば、より小さい地理的エリアは、１２９．５平方キロ・メートル（５０平方マイル）未満でもよい。いくつかの実施例において、車線プランは、数マイルのプランニング・ホリゾンを有することができる注釈付き車線グラフの形を取ることができる。車線グラフは、一般に、ルート（たとえば、道路）上の自律型車両に利用可能な車線を示し得る。車線グラフ上の注釈は、車線グラフ上の様々な位置又は点の一時的スコアを示し得る。たとえば、一時的スコアは、１０メートル、２０メートル、又は何らかの他の間隔ごとに提供され得る。一時的スコアは、自律型車両を車線グラフ上の特定の点に動かす全体的価値を通信することができる。

ビヘイビア・プランニング構成要素は、次いで、様々な軌道を評価するときにこれらのスコアを考慮することができる。たとえば、いくつかの状況では、１つの車線が、任意の他の利用可能な車線と同様に働き得る。イラストレーションのように、ルートによって指示された出口から３２．１９キロメートル（２０マイル）離れた州間幹線道路を下って移動する自律型車両は、移動時間に意味のある影響を及ぼさずに、いずれかの車線を使用し得る。この状況において、各車線の一時的スコアは、非常に類似している又は同じであることすらある。他方で、自律型車両が出口に近付くにつれて、出口車線における一時的スコアは、出口でない車線における一時的スコアよりも出口車線にあることの優先をますます示すことになる。出口において、出口車線における一時的スコアと他の車線における一時的スコアとの差は、出口を逃すことによって被る時間ペナルティに対応し得る。したがって、出口を逃すことが、目的地への移動時間の５分間の増加を引き起こすことになる場合、そのとき、一時的スコアの差は、この５分間の増加を反映し得る。

ビヘイビア・プランニング構成要素は、軌道を計画するときにこれらの異なる一時的スコアを考慮することができる。ビヘイビア・プランナは、ルート・プランナ又は車線プランナよりも小さいプランニング・ホリゾンを有し得る。一般に、ビヘイビア・プランナは、次の０．５秒、１秒、２秒、３秒、４秒、５秒、１０秒、２０秒などに関して、及び／又は距離尺度、たとえば、次の５ｍ、１０ｍ、５０ｍ、１００ｍ、２００ｍ、３００ｍなど、に基づいて、車両の移動を計画することができる。カバーされる距離は、車両の移動速度に応じて変化することになる。ビヘイビア・プランナは、小さいエリアにわたる高レベルの詳細を示すマップを使用し得る。たとえば、小さいエリアは、車線プランナ又はルート・プランナによって使用されるマップ内のエリアより少ないことがある。たとえば、ビヘイビア・プランナによって使用されるマップは、１００平方メートル未満をカバーし得る。より豊富な詳細は、自律型車両に関連するセンサによって検出される物体（たとえば、他の車両、歩行者）を含み得る。一態様において、これらの物体のうちの少なくともいくつかは、車線プランナに利用可能な情報内にないことがある。選択された実際の軌道は、短期間、たとえば、１秒、又は短い距離、たとえば、５メートル、のみの自律型車両の運動を支配し得る。新しい軌道は、自律型車両の環境内の変化する条件（たとえば、移動している車両、移動している歩行者、待機条件など）について調整するために、絶えず評価及び実装され得る。

ビヘイビア・プランナは、取るべき自律型車両の１つ又は複数の望ましいアクションを最初に選択し得る。アクションは、車線プランナによって提供される注釈付き車線グラフに基づき得る。アクション又は選択されたアクションは、注釈付き車線グラフに含まれる一時的スコアによって示される安全な、効率的な、又は最良の結果を達成することに基づき得る。可能なアクションは、車線追従、車線変更速度適合、追い越し、ダブル・レーン・チェンジ、及び車線変更行動を含むが、これらに限定されない。ビヘイビア・プランナは、１つ又は複数の所望のアクションを完遂する複数の可能な又は仮説的軌道を生成し得る。ビヘイビア・プランナ内の様々な構成要素は、仮説的軌道を採点する及び／又は軌道を場合により除外することができる。たとえば、衝突回避構成要素が、仮説的軌道が衝突をもたらすことになる又はもたらす可能性があると判定した場合、次いで、仮説的軌道は、さらなる検討から除外され得る。これに対して、快適性モジュールは、自律型車両に乗っている乗客に快適な乗車を提供することに基づいて、各軌道にスコアを割り当て得る。選択された又は好ましい軌道が、最高の又は最良のスコアを有する複数の軌道から選択されるように、他のモジュール又は構成要素は、スコアを同様に生成する及び割り当てることができる。

結果として、本明細書に記載の技術は、最適な軌道を識別するために反復手法を使用することによって、現在の技術を改良し得る。第１の反復において、初期の複数の仮説的軌道が、評価のために追加の仮説的軌道を生成するためのシードの役割を果たす最高の最適化スコアを有する軌道で評価され得る。第２の反復において、第２の複数の仮説的軌道が、シード軌道の様々なパラメータをわずかに変更することによって、生成され得る。第２の複数の仮説的軌道は、次いで、これらの軌道のうちの１つがシード軌道より高い最適化スコアを有するかを判定するために、評価され得る。最高の最適化スコアを有する仮説的軌道が、実装するために選択され得る。

図１を参照すると、図１は、本開示のいくつかの実施例による、例示的ビヘイビア・プランニング・アーキテクチャ１００である。本明細書に記載のこの及び他の構成は単に実例として記載されていることを理解されたい。他の構成及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ化など）が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。

ビヘイビア・プランニング・アーキテクチャ１００は、異なるプランニング構成要素（たとえば、３つのプランニング構成要素）を使用することができ、それぞれのプランニング構成要素は異なるプランニング・ホリゾンを有する。１つの実施例において、異なるプランニング構成要素は、ルート・プランナ１１０、車線プランナ１２０、及びビヘイビア・プランナ１４０を含む。各構成要素は、結果及び／又は結果セットを生み出し、プランニング・パイプラインにおいて次の構成要素にそれを通信することができる。ルート・プランナ１１０は、ルート・セットを車線プランナ１２０に通信することができ、車線プランナ１２０は、車線プランをビヘイビア・プランナ１４０に通信することができる。ビヘイビア・プランナ１４０は、複数の軌道を開発及び評価することができ、選択された又は好ましい軌道は、計画された軌道を実装する責任を有する運動コントローラ１８０にビヘイビア・プランナから送られ得る。

ルート・プランナ１１０は、実施例において、地理的エリア（たとえば、町、大都市圏、州、国、領域など）をカバーするが、相対的に少量の詳細を有する、地理的情報１１２を使用し得る。ルート・プランナのプランニング・ホリゾンは、始点（たとえば、現在の位置）と目的地点（たとえば、最終位置）との間のエリア全体でもよい。技術は、比較的大きなエリアのより低詳細マップ（たとえば、高精細（ＨＤ：ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ）マップと比較したＧＮＳＳベースのマップ）を使用して目的地までの複数のルートを計算することができる。ルート・プランナ１１０は、比較的大きなエリアの低詳細マップを使用して目的地までの複数のルートを計算することができる。たとえば、大きな地理的エリアは、１２９．５平方キロ・メートル（５０平方マイル）超、１２９５平方キロ・メートル（５００平方マイル）超、２５９０平方キロ・メートル（１０００平方マイル）超、又はそれより大きくてもよい。しかしながら、これは限定を意図しておらず、いくつかの実施例において、任意の詳細レベルのマップが、使用され得る。一態様では、単一のルートが最初に最適又は好ましいとして選択されず、代わりに、複数のルートのうちの各ルートが、ルート目的地までの移動の推定時間に従って又は好ましいルートを数値化する何らかの他の採点機構によって採点され得る。そのようなものとして、そして、ほぼ無限数のルートが可能であり得るので、様々な方法が、複数のルートからいくつかの潜在的ルートを識別するために使用され得る。たとえば、移動の推定時間及び／又は他のファクタによって測定されたものとしての、１０個の最良のルートが、識別され得る。これらのルートは、車線プランナ１２０に通信され得、それにより、複数のルートを車線プランナ１２０に提供する。

１つ又は複数の実施例において、ルート・プランナ１１０は、ドライブ・ミッション１１６を提供又は発行され得る。ドライブ・ミッション１１６は、大きな車線グラフ１３０内のＧＰＳ点及び／又は位置（たとえば、降ろす又は乗せるためにこのバス停で正確に停止する）としてエンコードされ得る、１つ又は複数のウェイポイントのシーケンスとして表現され得る。ドライブ・ミッション１１６はまた、駐車エリア（特定の駐車エリアで駐車するという要求）で終了し得る。１つ又は複数の実施例によれば、駐車エリアは、通常は駐車場の周りのループ構造及びオプションで駐車スペース自体のマップ知識を含む大きな車線グラフ１３０のサブセットである。

ルート・プランナ１１０は、他のプランニング・ステップからモジュール式に分離可能なものとして設計され得る。建築設計は、効率的に長距離ルートをサポートし得る。ルート・プランナ１１０は、結果として生じたルート・プラン並びにいくつかの基本状態情報を車線プランナ１２０に渡すことができる。ルート・プランは、現在の位置からウェイポイント又は駐車エリアに到着するために使用するための潜在的概算ルートであると判定された１つ又は複数のＧＰＳトレースを含み得る。ルート・プランにおけるＧＰＳ点はまた、それらに関する期待時間報酬を有し得る（又は、好ましくは、時間報酬は、目的地までの残された期待時間として表され得る）。ルート・プランニングは、大陸全体にわたるルートについてでも、最短ルートがミリ秒の処理内で判定されることを可能にする、短縮階層１１８を使用して導出され得る。ルート・プランのＧＰＳトレースは、特定の車線又は道路に関する厳格な主張ではなくて、おおよその案内を車線プランナ１２０に与えることができる。ルート・プランナ１１０は、互いの閾値移動時間内にある複数のルート又はルート変化を提供することができ、実施例において、各ルートは、推定される移動時間と関連付けられ得る。１つの実施例において、各ルート・セグメントは、出口を逃すこと及び代替ルートを強いられることのコストを計算するために使用され得る車線プランナ１２０及び他の構成要素情報を与える移動時間を割り当てられる。いくつかの実施例において、移動時間はまた、他の構成要素、たとえば、車線プランナ１２０、によって計算され得、移動時間は、距離及び速度制限を使用して計算され得るが、リアルタイムの交通データ、建設工事データ、気象データ、及び／又は同類のもので精緻化され得る。

ルート・プランナ１１０はまた、基本状態管理に対処するための状態管理構成要素１１４を含み得る。たとえば、状態管理構成要素１１４は、常温起動時に、センサ及び計算が作動及び実行していることと、ローカリゼーションが、自律型車両が動き始める前に（たとえば、ミッション制御システムが自律型車両をナビゲートし始める前に）、それの場所を見つけたことを確認することができる。それまで、ルート・プランナ１１０は、ＳＴＡＲＴ状態にあり得る。その後、自律型車両（又はそれのビヘイビア・プランナ１４０）が、知られている車線グラフ上を移動している場合、ルート・プランナ１１０は、ＤＲＩＶＩＮＧ状態へと切り替えることができる。ルート・プランナ１１０はまた、ドライブ・ミッションにおいて駐車エリアに到着するときにＰＡＲＫ状態に切り替えることができる。特別なＳＵＭＭＯＮ及びＬＩＭＰ（警告）状態もまた存在する。予期せぬ何かが発生し、自律型車両が停車場まで減速する又は慎重に移動しているとき、徐行が生じる、たとえば、ローカリゼーションが、自律型車両がマップを外れた又はローカライズすることができないと宣言した場合、ＬＩＭＰ状態が、開始され得る。

車線プランナ１２０は、ルート・プランナから受信された１つ又は複数のルートに基づいて車線プランを生成することができる。車線プランナ１２０は、ルート・プランナによって使用されるマップにおいて見つかるのよりも多くの詳細を含む第２の地理的マップを使用することができる。第２の地理的マップは、ルート・プランナによって使用されるマップよりも小さい地理的エリアをカバーし得る。たとえば、より小さい地理的エリアは、１２９．５平方キロ・メートル（５０平方マイル）未満でもよい。車線プランは、注釈付き車線グラフの形を取ることができ、注釈付き車線グラフは、数マイルのプランニング・ホリゾンを有することができる。車線グラフは、ルート（たとえば、道路）上の自律型車両に利用可能な車線を表し得る。車線グラフの注釈は、車線グラフ上の様々な位置の一時的スコアを示すことができる。たとえば、一時的スコアは、車線グラフ上で１０メートル、２０メートル、又は何らかの他の間隔ごとに提供され得る。一時的スコアは、潜在的な未来の位置の順次的時間報酬と言うことができる。より大きい又はより優れた報酬が、ルート目的地に向けたより速い進路に関連し得る、或いは、他の実施例では、より低いスコアが、より優れた又はより速い進路を示し得る。報酬のスケールは、時間の単位、たとえば、秒、であり得る。

一時的スコアは、自律型車両を車線グラフ上の特定の点に動かす全体的価値を通信する。ビヘイビア・プランナ１４０は、次いで、様々な軌道を評価するときにこれらのスコアを考慮することができる。たとえば、いくつかの状況では、１つの車線が、任意の他の利用可能な車線と同様に働き得る。イラストレーションのように、ルートによって指示された出口から３２．１９キロメートル（２０マイル）離れて州間幹線道路を下って進む自律型車両は、移動時間に意味のある影響を及ぼさずに、いずれかの車線を使用し得る。この状況において、各車線の一時的スコアは、非常に類似している又は同じであることすらある。他方で、自律型車両が出口に近付くにつれて、出口車線における一時的スコアは、出口でない車線における一時的スコアよりも出口車線にあることの優先をますます示すことになる。出口において、出口車線における一時的スコアと他の車線における一時的スコアとの差は、出口を逃すことによって被る時間ペナルティに対応し得る。したがって、出口を逃すことが、目的地への移動時間の５分間の増加を引き起こすことになる場合、そのとき、一時的スコアの差は、この５分間の増加を反映し得る。

車線プランナ１２０は、車線進行予測子１２２及び駐車車線プランナ１２６を含み得る。車線プランナ１２０は、ルート・プラン及び基本状態情報をルート・プランナ１１０から受信し得る。車線プランニングの目的は、自律型車両の近くの様々な車線内にあることがどれほど有益かに関する情報を提供することでもよい。たとえば、自律型車両が、１つの車線がその他の車線及び出口から分離する位置に近付いている場合、車線プランナは、その出口を逃した場合にどのくらい多くの時間がさらに失われ得るかに関する情報を提供することができる。車線プランナ１２０の出力は、ローカル車線グラフ１３２に関連する大きな車線グラフ１３０上にエンコードされた期待時間報酬として表され得る。このエンコードは、ビヘイビア・プランナ１４０がそこに到着するための操縦の難しさに対する特定の車線内にあることの価値を測ることを可能にするので、単にどの車線内にあるべきかのストレートな命令又は推奨よりも柔軟性を提供し得る。

車線プランナ１２０は、車線位置の軽い表現及びそれらの間で移行するための期待時間に対応し得る、大きな車線グラフ１３０と連動する。車線プランナ１２０は、提案されたルートの周りの大きな車線グラフ１３０の回廊（たとえば、数百メートル幅）を切り取るためにガイドとしてルート・プランナ１１０によって提供されるルート・プランＧＰＳトレースを使用し得る。車線プランナ１２０は、次いで、提案されたルートに沿ったいくらかの距離（たとえば、数マイル）を中心にしたエリアを目標にし、それを一時的プロキシ目的地として使用し得る。プロキシ目的地は、ここで回廊内の大きな車線グラフ１３０内のすべてのノードに伝搬し返され得る、ルート・プランからの期待時間報酬を有し得る。車線プランナ１２０は、車線変更と、それらが直ちに成功しない又は全く成功しない確率とを考慮する。これは、期待時間報酬が確率計算を必要とし得ることを意味する。たとえば、各ノードは、１セットのアクション（たとえば、車線保持、分岐点、車線変更）に関連し得、アクションは、新しい車線位置（たとえば、車線変更が成功したときには異なる車線、車線変更が失敗した場合には同じ車線にさらに沿った）を確率的にもたらす。

いくつかの実施例によれば、この確率は、プロキシ目的地における所与の固定値から開始する任意のノード内にあることの価値について解明される、マルコフ決定過程（ＭＤＰ：ＭａｒｋｏｖＤｅｃｉｓｉｏｎＰｒｏｃｅｓｓ）として表され得る。ＭＤＰは、自律型車両が道路の割れ目に近付くときに時間内に車線変更を行うという増加するプレッシャ、又は異なる車線に入ってから好ましい車線に戻る実行可能性を推定することなどに対処する。

ＭＤＰにおける状態の価値（この場合には大きな車線グラフ内のノードにおける）、たとえばクラシック価値反復、を推定するための多数のアルゴリズムが存在する。効率的であるように、ヒューリスティックが、大きな車線グラフ内のすべてのサイクルを取り除くために使用され得、それは、動的プログラミングの単一のパスへの価値反復を減らす。ヒューリスティックは、サイクル上の自律型車両から最も離れたエッジを取り除くためにサイクルが存在するときに使用され得る。このヒューリスティックは、自律型車両と目的地との最短距離の一部であるが、サイクルの一部である、エッジを取り除くことを回避する。しかしながら、サイクルを断つことは、目的地への途中で不必要なサイクルによって寄与される確率的調整を無視しないことがある。たとえば、自律型車両が、車線変更に失敗し、クローバ型交差点を周回して全く同じ車線変更を再び試みなければならない場合、これは、不必要なサイクルをもたらし得る。サイクルを断つことは、この可能性を取り除くが、不必要なサイクルを使用することは望ましくないことがあるので、これは、許容近似値でもよい。グラフが、指示され得、同じ目的地への複数の進路が、考慮され得る。また、同じノードを指し返す反射的エッジ、たとえば、車線変更を行うために停止して待つこと、もまた、正確に処理され得る（反射的エッジ以外の依存関係を有さないノードが、確定され得る）。

最初に、ダイクストラのアルゴリズム－及び／又は別の最短進路アルゴリズム・タイプ－が、任意のアクションを使用するすべてのノードまでの距離及び最短進路を見つけるために、実行し得る。次いで、ノードの報酬が、確定される、又はサイクル上のエッジが、単一グラフ・トラバーサルで反復して取り除かれる。ダイクストラは、次いで、最短オプティミスティック進路（それらができる場合に車線変更が成功したと仮定する）を見つけるために大きな車線グラフにわたり実行される。それは、それらに到着するためのオプティミスティック時間による車線プランニング範囲内のノードの順序付けを生み出す。また、エッジは、たとえば、対応するエッジの終わりに到着するための時間によって、順序付けされ得、そのようにして、エッジは、それらが指すノードと同じに順番付けされ得る。

後方エッジは、それの期待時間を確定するためにそれがどのノードに依存するか（それのアクション及び失敗したアクションについてそれが指すすべてのノード）を、各ノードについて、追跡を続けるために使用される。同様に、未確定のノードを指すエッジが、追跡され得る。

ゼロ依存関係を有するすべてのノードが、発見及び確定され得る。ノードが確定されるとき、後方エッジは、他のノードの依存関係カウントを減らすために使用され得る。これらの更新が、ゼロ依存関係を有する新しいノードを見つけた場合、新しいノードもまた、キューに入れられ得る。すべての確定されたノード及び確定されたノードを指すエッジもまた、前に計算されたノード及びエッジ順序から取り除かれ得る。

ゼロ依存関係を有するノードが存在しない場合、最も離れた未確定のエッジが、ダイクストラのアルゴリズム（及び／又は別の最短進路アルゴリズム・タイプ）の結果に従って、取り除かれ得る。ノード間の依存関係は、次いで、更新され得る。いくつかの実施例において、１つ又は複数のノードが、他のノードへの接続が存在しないことを意味する、ゼロ依存関係で生み出され得る。これは、行き止まりを表し、これらのノードに関連する時間は、ミッション失敗に相当する時間として決定され得る。すべてのノードが確定されたとき、プロセスは停止する。このアルゴリズムの複雑性は、本質的に、ダイクストラのアルゴリズムに加えた単一グラフ・トラバーサルの複雑性である。

車線プランナ１２０は、車線のローカル車線グラフ１３２にもリンクされる、マップ・データから導出された大きな車線グラフ１３０を使用する。１つ又は複数の実施例において、車線プランナ１２０は、大きな車線グラフ１３０全体の値を導出することができる。しかしながら、ビヘイビア・プランナ１４０は、ローカル車線グラフ１３２上の自律型車両に近い選ばれたものの値を（ただ単に又は主に）使用することができる。車線進行予測子１２２は、ライブ知覚、たとえば、異なる車線における車線速度及び渋滞のレベル及び最も近い車両の速度、に基づいて車線進行推定を生成することができる。進行予測が、一般的期待トラバーサル時間を変更するために使用される。期待トラバーサル時間は、現在速い車線への車線変更が有益であると車線プランナが決定することを可能にする。

車線プランナ１２０は、ルート・プランナ１１０が状態を変更する（たとえば、非限定的実例として、ＰＡＲＫ、ＳＵＭＭＯＮ、又はＬＩＭＰに）とき、機能を変更することができる。駐車に関して、車線プランナ１２０は、駐車車線プランナ１２６を使用して車線プランを生成することができる。駐車車線プランナ１２６は、駐車場の大きな車線グラフ・サイクルを使用して、最も長い間探索されていない駐車場の部分を探索するようにビヘイビア・プランナ１４０に動機を与えることができる。駐車は、任意の数のフェーズを有し得る。フェーズの非限定的実例は、駐車スポットへと徘徊及び操縦する駐車を含む。駐車徘徊は、目的が、スペースが見つかるまで、周期的に運転して回ることであることを除いて、都会エリアにおいて車線グラフの周りを運転することに同様に取り組む。車線プランナは、ループの周りの優れた運転パターンが達成されるように値を設定することによって、これを達成することができる。空のスペースへの視線が確立された後は、駐車操縦が、ビヘイビア・プランナ１４０によって開始される。

同様に、呼び出しは、任意の数のフェーズを同様に有し得る。自律型車両が、知られている車線グラフ上にあれば、次いで、目的地までの車線プランが、通常のＤＲＩＶＩＮＧ状態でのように、実行され得る。しかしながら、自律型車両が、知られている車線グラフ上にまだない、たとえば、マップされた進路を少し外れた駐車スペース内にある、又はマップされた進路を進むための標準的な道を有さない、場合、次いで、駐車車線プランナ１２６は、自律型車両が始動する場所から車線グラフ上の最も近いポーズのうちの１つまでの道を見つけるために使用され得る。単に呼び出し人へのおおよその方向を除いてマップが全く存在しない場合、次いで、そのおおよその方向が、単純に、ビヘイビア・プランナ１４０へと渡される。詳細なマップ情報が入手不可能な場合又は不十分な詳細のマップ情報が入手可能な場合、ＬＩＭＰモードが同様に働き得る。

ビヘイビア・プランナ１４０は、１つ又は複数のアクションを考慮し、それらのアクションのより詳細な実装形態の仮説生成及び評価の１つ又は複数の反復の中を進むことができる。より詳細な実装形態は、正確な運動プラン（未来への数秒の時間にわたるポーズ軌道）として表現され得、運動プランナ１７２によって評価される。ビヘイビア・プランナ１４０は、アクション・ジェネレータ１４２、縦方向事前制限構成要素１５０、仮説生成１６０、及びアクション・プラン・セレクタ１７０を含む。

ビヘイビア・プランナ１４０は、ルート・プランナ又は車線プランナよりも小さいプランニング・ホリゾンを有し得る。一般に、ビヘイビア・プランナ１４０は、次の数秒の車両の移動を計画することができる。カバーされる距離は、車両の移動速度に応じて変化することになる。たとえば、ビヘイビア・プランナは、５０ｍ、１００ｍ、２００ｍ、３００ｍ、又は同類のもののプランニング・ホリゾンを有し得る。ビヘイビア・プランナ１４０は、小さいエリアにわたる高レベルの詳細を示すマップを使用し得る。たとえば、小さいエリアは、車線プランナ１２０又はルート・プランナ１１０によって使用されるマップ内のエリアより少なくてもよい。たとえば、ビヘイビア・プランナによって使用されるマップは、１００平方メートル未満をカバーし得る。より豊富な詳細は、自律型車両に関連するセンサによって検出される物体（たとえば、他の車両、歩行者）を含むことができる。一態様において、これらの物体のうちの少なくともいくつかは、車線プランナ１２０に利用可能な情報内にないことがある。選択された実際の軌道は、短期間、たとえば、１秒、のみの自律型車両の運動を支配し得る。新しい軌道が、自律型車両の環境内の変化する条件（たとえば、移動している車両、移動している歩行者）について調整するために、絶えず評価及び実装され得る。

ビヘイビア・プランナ１４０によって評価される各アクションの計算フローは、アクション・ジェネレータ１４２によって開始され得る。アクション・ジェネレータ１４２は、取るべき自律型車両の１つ又は複数の望ましいアクションを最初に選択し得る。そして、アクションは、車線プランナ１２０によって提供される注釈付き車線グラフに基づき得る。アクション又は選択されるアクションは、注釈付き車線グラフに含まれる一時的スコアによって示される最良の結果を達成することに基づき得る。可能なアクションは、車線追従、車線変更速度適合、追い越し、車線変更行動、路肩に停止、駐車徘徊、駐車終盤、呼び出し、及び徐行を含むが、これらに限定されない。前述の構成要素と同様に、アクション・ジェネレータ１４２は、複数のアクションを選択又は採点し得る。いくつかの実施例において、アクションは公称レールとして表され得る、及び／又は各アクションは複数の公称レールに関連し得る。

アクションのうちの１つ又は複数が、公称横方向レール又は車線によって第１のフェーズにおいて開始され得る。世界モデル１６４は、たとえば、自律型車両が現在その中にある車線のすべての分岐点、並びに自律型車両が１つ又は複数の連続的車線変更でそこに変更することを考慮することができる車線を含む、分解して示したフォーマットですべての車線の明確なリストを提供し得る。自律型車両が現在その中にある車線のそれぞれは、車線追従アクションを提供する。自律型車両が恐らくはそこへ変更することができる車線のそれぞれは、車線変更アクションを提供する。同様に、自律型車両は、近付いてくる交通のでさえあり得る、別の車線内に一時的にありながら自己車線から出る及びそこへと戻る意図を有する追い越しアクションを考慮することができる。自律型車両はまた、世界モデル内の特別な車線である路肩で停車することを考慮することができる。自律型車両はまた、Ｕターンを考慮することができる。これらのアクションのそれぞれは、世界モデルからの公称レール及び車線エッジさえも備えていることがあり、ライブ知覚範囲を超える進路に関する情報を提供するマップにおいて車線にしばしば結び付けられる。

駐車の場合、駐車徘徊状態は、駐車車線プランナ１２６によって提供されるインセンティブを介して車線保持と同じアクション実装形態に立脚する。駐車徘徊している間、ビヘイビア・プランナは、視線内の空いている駐車スペースの存在に関してモニタしている。これは、ライブ知覚（たとえば、駐車スペースを検出するニューラル・ネットワークを使用する）又はマップされた駐車スペースと障害物知覚との組合せ、或いはその両方によって重複して提供され得る。このプロセスは、駐車プランナ１４４によって運動プランへと変換され得る－公称レールとはわずかに異なり得る－空いている駐車スペースが検出されたときに目標四辺形を提供し得る。駐車プランナ１４４は、現在のポーズと障害物干渉のない目標ポーズとの間のポーズの軌道の検索を行い得る。１つ又は複数の実施例において、アルゴリズムのＡ^＊／Ｄ^＊ファミリからの検索アルゴリズムが、ポーズの軌道を検索するために使用され得る。検索アルゴリズムが、スペースは実際に運動学的に到着するのが実現可能であるかを決定し、実現可能な場合、そこに到着するためのポーズの１つ又は複数のシーケンスを決定するために使用され得る。１つ又は複数の実施例において、この検索は、現在の障害物環境（たとえば、特定の時点における）で行われ得る。これは、運動効果、たとえば、自律型車両とそのスペースとの間で自律型車両を迅速に追い越そうとしている自転車運転者など、がまだ完全に考慮されていないことを意味する。この理由から、駐車プランナ１４４からのプランは、自律型車両のアクションが安全であることを確実にするためにこれらの運動効果を考慮することになる（他のアクタは、もちろん、自律型車両がゆっくり運転しているときでも速く移動し得る、ということに留意されたい）、残りのプロセスの公称レールとして考慮される。それでもなお、駐車プランナ１４４は、他の方法では見つからなかったであろう、スペースへと入るための３点ターンなどのことを発見し得るので、強力である。

呼び出し構成要素１４６は、駐車プランナ１４４と類似の方法で、しかし逆に、働き得る。駐車プランナ１４４は、車線グラフの近くの部分へと自律型車両を動かす運動プランを見つけるために使用される。車線グラフ上では、自律型車両は、車線追従アクションを使用していつものように進む。マップがない場合、又は自律型車両がＬＩＭＰモードにある場合、自律型車両は、どのコンパス方位で移動するかの一般的感覚しか有さないことがある。この場合、自律型車両は、単純に、そのコンパス方位を使用して公称レールを形成して残りのプロセスを案内することができる。それぞれのアクションの計算フローが、次いで、同様に進む。後にアクション・ジェネレータ１４２が続くプロセスの最後に、各アクションは、マップからの公称レール並びに／又は車線エッジ及び車線に関連付けられ得る。

縦方向事前制限構成要素１５０は、アクション・ジェネレータ１４２によって生成されたアクションに対応する公称レールを受信し得る。これらの公称レールのそれぞれは、縦方向事前制限構成要素１５０によって評価され得る。縦方向事前制限構成要素１５０は、１車線当たりの（又は１公称レール当たりの）基本的縦方向制約を考慮する。異なる制約が、異なる構成要素によって考慮され得る。縦方向事前制限構成要素１５０の構成要素は、カーブ速度適応１５２、速度調整１５４、距離維持１５６、安全制動１５８、及び／又はイールド・プランナ１５９を含む。縦方向事前制限構成要素１５０の出力は、入力として届いたそれぞれの公称レール／車線に関連する速度を制限する加速制約を含み得る。そのようなものとして、縦方向事前制限構成要素１５０は、加速制限、速度制約、又は距離制約で車線／レールを強化し得る。

カーブ速度適応１５２は、ある特定の速度において所与の車線／レールの湾曲を辿る場合に未来に生じ得る求心力を考慮することによって実行され得る。これは、関連マップ車線で現在起こるが、範囲におけるそれらの湾曲がこのタスクについて十分に正確になるときにライブ知覚車線でも起こり得る。カーブ速度適応１５２の結果は、求心力の許容範囲に基づいて計算された加速制約でもよい。求心力制約は、乗客快適性、安全性、及び／又は他のファクタに基づくことができる。

速度調整１５４は、この車線を使用しているときに速度制限への標準的服従を実装し得る。距離維持１５６及び安全制動１５８は、高速で長距離における車両及び他の競合者に関連するいくつかの縦方向制御職務を実行し得る。距離維持１５６構成要素は、別の移動している物体と自律型車両との距離を強制する加速制約を生成し得る。安全制動１５８構成要素は、異なるモデル化された条件の下で生じ得る潜在的衝突を回避するために制動を介して自律型車両を停止する能力を確保する類似の制約を生成し得る。障害物回避関連の縦方向制御の大部分は、運動プランナ１７２によって処理され得る。高速に関連する長距離を別にすれば、車線内の先導車両の正確な横方向位置及び範囲などのことの知覚粒度は、先導車両の横方向のまわりの運動プランニングを保証するのに十分に細かくないことがある。全速力で近付いてくる交通に関連する最高の距離及び速度において或いは停止した車両又は危険に遭遇する全速力において、自律型車両の現在の車線内に何か遅いものがあるように見えるので、決定の粒度は、減速する又はしないことであり得る。論理は、自律型車両に減速するように促す自律型車両の現在の車線の隣の車線内の遅い交通又は他の状況についても同様である。距離が高いとき、進路内障害物割当て（ＯＩＰＡ：Ｏｂｓｔａｃｌｅ－Ｉｎ－Ｐａｔｈ－Ａｓｓｉｇｎｍｅｎｔ）が、障害物に作用するために使用され得る。障害物が近付くとき、制動の代わりに横方向ナッジングなどの微調整が、運動プランナ１７２によって選択され得る。このアーキテクチャはまた、有意な変更を有さない高速ハイウェイ運転のための既に調整された縦方向リミッタの使用を可能にする。

イールド・プランナ１５９は、いくつかのイールド（譲ること）は、イールドが必要とされていることを知るために自律型車両が車線内で横方向でどこにあるかを正確に考慮する必要はないという意味で、１車線当たり（又は車線対車線ベース）でイールドを処理し得る。これは、他者が先行権を有する停車場又はイールド線の処理を含む。そのような条件のこの存在は、待機条件を介して世界モデル１６４において提供される。待機条件は、入口線と出口線との間の自己進路のセクション、類似の競合セクションを有する競合者進路、並びに先行権状況と考えられ得る待機状態でエンコードされる。世界モデル１６４はまた、それによって自律型車両のビヘイビア及び制御モジュールが他の競合者が先行権を有すること（又は自律型車両が先行権を有すること）を演繹することができる、競合者の進路関連付けを提供し得る。待機条件は、前述のサブセット、たとえば、競合者進路への直接リンクを有さず、それに関連付けられた待機状態を有する停止線のみを有するオンランプを計るための交通信号灯、を含むことができる。待機条件で達成される関心の建築上の分離は、待機条件が期待、ルール、又は慣習をエンコードすることである。そのとき、イールドをモニタ及び実装する並びに実際の運動学的実行可能性又は任意の危険を判定することはビヘイビア・プランナ１４０の職責であり得る。イールド・プランナ１５９は、ＳＴＯＰ＿ＡＴ＿ＥＮＴＲＹ待機状態（たとえば、赤信号によって誘導される）を有する線で停止するために必要な減速を考慮する。イールド・プランナ１４９は、ＴＡＫＥ＿ＷＡＹ＿ＴＲＡＮＳＩＥＮＴ（たとえば、黄色信号によって誘導される）に対処することもでき、線において又はオーバーランのいくらかのマージンの前に停止するためにどんなレベルの減速が必要とされることになるかを計算することができる。これは、イールド・プランナ１４９が、たとえば、停止が必須でない可能性があるような線をほぼ過ぎたときに信号が黄色に変わるシナリオと、停止するのが適切なときのシナリオとの間を決定することを可能にする。

イールド・プランナ１５９はまた、自律型車両は競合進路に譲ることを期待されていることを指示し得る、ＹＩＥＬＤ＿ＣＯＮＴＥＮＴＩＯＮ待機状態に対処する。このケースは、横断する歩行者、競合者が先行権を有する停止標識、イールド標識、保護されていない左折のために近付いてくる交通、ヨーロッパにおける右側優先、及び多数の多くのケースを含む。

これらのケースは、すべて、関連競合者進路上の競合者を考慮する及び自律型車両が彼らを妨げないことを確実にする、そしてまた自律型車両が譲っていることが彼らにとって明らかであることを確実にすることを共通して必要とする。それを行うために、イールド・プランナ１５９は、簡易化された（したがって、計算効率の良い）形の運動プランニングを実行し得る。１つ又は複数の実施例において、イールド・プランナは、自律型車両及び競合アクタが、それぞれの車線に沿って移動し、通過のためにそれぞれの車線に加えたいくらかのマージンの全範囲を必要とする、簡易化されたモデルを使用する。イールド・プランナ１５９は、その未来がロールアウトされる場合に（これについては運動プランニングに関するセクションで後述）請求されるセットが交差することになるかどうかを自律型車両及び競合者の縦方向プロファイルの特定のペアについて計算し得る。要するに、請求セットは、それの停止距離によって「請求される（ｃｌａｉｍｅｄ）」任意のアクタの前の点のセットである。物理的交点が存在しない場合でも、請求される積集合は、制御するのが難しい可能性のある危険な状況が起こっていることを意味し、最低でも他を怒らせる又はイールドの意図を問うことになるので、単純に身体の交点よりも請求される積集合を考慮することが優れており保守的であり得る。請求される積集合（又は実際の物理的交点）をもたらす加速プランが、縦方向制約として出力され得る。

自律型車両がイールド義務を有するケースでは、イールド・プランナ１５９は、縦方向進行の選択が競合者についての妥当な選択のいずれかと干渉するかどうかを分析することができる。すなわち、競合者が減速若しくは加速するか、或いは左折進路を選択するか真っすぐを選択するかなどにかかわらず、自律型車両は、うまく近付かないままでいることになる。

イールド・プランナ１５９はまた、併せて待機条件、待機グループとも呼ばれる、を考慮し得る。たとえば、右からの交差する交通を待つための安全な中間の場所が存在しないので、イールド・プランナ１５９は、左及び右の両方から交差する交通が、第１の交通のみをクリアしようと試みる前に、クリアされ得ることを確実にする必要があり得る。別のそのような実例は、保護されていない左を実行するときの左折の後の横断する歩行者である。この場合、イールド・プランナ１５９は、それが近付いてくる交通及び横断する歩行者の両方を同時にクリアすることができることを確実にしなければならないことがある。これは、それらの待機条件を待機グループへとグループ分けすることによって世界モデルにおいて合図される。

イールド・プランナ１５９はまた、ケースＹＩＥＬＤ＿ＥＮＴＲＹとＹＩＥＬＤ＿ＣＯＮＴＥＮＴＩＯＮとの区別を処理し得る。前者は、自律型車両が遅延なしに競合をクリアするための準備が整うまで自律型車両が入口線においてとどまることを期待する。後者のケースでは、自律型車両は、じりじりと前進することができ、近付いてくる交通を待って間隔を空けながら交差点へと前方へ運転することを可能にして、実際の競合自体によってのみ制約される。この状況において、制約は、じりじりと前進することと矛盾するすべての速度を排除し得る。

イールド・プランナ１５９はまた、ＳＴＯＰＰＥＤ＿ＦＩＲＳＴ＿ＨＡＳ＿ＰＲＥＣＥＤＥＮＣＥ待機状態によって合図された、多方向一時停止交差点に対処し得る。この場合（規準的実例は米国の４方向一時停止交差点である）、先行権は、交差点に向かって誰が最初に停止したかから導出される。これに関して、イールド・プランナ１５９は、交差点に向かって誰が最初に停止したかを分析すること及び短期予測の組合せに依拠する。優先権が決定された後、イールドに関する同じ分析、入口から譲るか道を進むかが適用される。自律型車両及び競合者の両方が、交差点で停止された場合、短期予測は、履歴を使用して競合者の未来の運動を予測する。別の競合者が自律型車両より前に停止した状況では、予測は、それが今動くことになるということ（又は何らかの競合者が動くことになるということ）になるべきである。自律型車両が、すべての競合者のうちで最初に停止された場合、すべての競合者の予測は、彼らは元の場所にとどまるということであるべきである。これは、ポリシが「他に誰も通行していない、通行しない、さもなければ待っていない場合」とほぼ同じくらい単純になることを可能にするので、強力である。それは議論されている関連ケースについて十分な量のトレーニング・データを有することに依存する、ということに留意されたい。この形の短期予測はまた、運動プランニングにおいても使用することができ、体系化されていないケースにおいて譲るかどうかを予測するのを同様に助けることができる。

待機状態ＮＥＧＯＴＩＡＴＥに関して、イールド・プランナ１５９は、目に見える競合者に関する職責を運動プランナ１７２に委任する。この状態に関して、いずれかの当事者の先行権の明らかな期待が存在しないことがあるが、代わりに、何が運動学的に実行可能であり、安全であり、効率的かに従って状況を協議することを期待する。運動プランナ１７２は、予測を所与として運動学的に実行可能で安全なこと及び請求される積集合を回避することを行うことになるが、それに加えて譲らない。これは、可能な限り多くの道を効果的に進んで、押しの強い断定的ビヘイビアを生成することになる。しかしながら、イールド・プランナ１５９は、競合者進路上の目に見えないアクタを考慮する。これは、可視性の簡単な議論を保証する。

世界モデル１６４は、３つの形で可視性を表現する：ラジアル距離マップにおける未知の領域として、ポリゴン閉塞境界線として、及び未知の進路占有として。知覚及びマッピング・システムの完全実装形態において、これらは、すべて、それらの境界線を有して、領域となって現れる閉塞エリアと、無矛盾であり得、矛盾なく、進路占有にも影響し得る。閉塞境界線が、進路占有であるように、終端間のトレーニングされたニューラル・ネットワークによって生み出され得る。しかしながら、これは、いくつかの実装形態において利用不可能なことがあり、したがって、プランニングは、進路占有を使用し得る。代替実施例は、閉塞境界線を使用して運動プランナ１７２の拡大する請求セットを生成し得る。イールド・プランナ１５９が、ＴＡＫＥ＿ＷＡＹ待機状態を有さない及び未知の占有頂点（又は短い距離）を有する競合者進路を発見するとき、それは、それらの頂点における最悪の場合の速度（最低から最高までの全間隔）を有する競合者を推測し、これらの仮想競合者とのイールド・プランニングを実行する。これは、知られている競合者進路をやって来るすべての閉塞競合者に対処する建築上の能力を提供する。

競合者進路は、マップから又はライブ検出によって、或いはその両方で知ることができる。これの１つの実装形態は、マップされた競合者進路、競合者がいると期待される進路の上からの頂点をセンサへと投影することによって可視性を分析すること、及び距離を深度マップと比較することに基づき得る。これは、原則として、静的オクルダ及び動的オクルダの両方からの閉塞に対処することができる。

縦方向事前制限構成要素１５０の様々な構成要素からの結合された出力は、複数の縦方向に制限された公称レールでもよい。アクション・ジェネレータ１４２によって生成されたレールは、レールに沿った多数の軌道を生成するために、複数の異なる加速プランと結合され得る。複数の縦方向に制限された公称レールは、縦方向事前制限構成要素１５０によって計算された様々な制約を満たすレールを含む。複数の縦方向に制限された公称レールは、さらなる精緻化のために仮説生成構成要素１６０に渡され得る。

運動プランニングは、仮説生成及び評価（運動プランナ１７２）を通る。アイディアは、運動プランナ１７２が非常に徹底的に品質について所与の軌道（自律型車両の未来への完全な計画されたポーズ）を評価するということであり、すべての軌道のスペースは、検索するには大きすぎるので、仮説生成１６０は、有望な又は妥当な軌道を提供する。

実施例によれば、高度な変化性が、運動プランナ１７２の仮説生成のために使用され得る。いくつかの実施例において、中心的構成要素は、それの湾曲を維持しながら、縦方向に制限された公称レールから開始する及びその周りの横方向に変化する選択を生成する進路ファン・ジェネレータ１６２である。これは、静的及び動的障害物を通過するためにナッジングして回りながら車線を進むことの意図に適合させられる。縦方向制限内の縦方向変動は、運動プランナの軌道の２Ｄグリッドを生み出して、各横方向選択に追加され得る。これは、標準的車線追従ケース並びにそれを踏まえた駐車徘徊、駐車終盤、呼び出し及び徐行など（たとえば及び制限せずに）のアクションのために使用される。

例示的軌道が、図２に示されている。公称レールは、自律型車両が位置する右車線に対応することができる。図に示すように、一連のコーン２２４は、回避されるべき障害物を提示する。進路ファン・ジェネレータ１６２は、公称レールに関連する異なる横方向に変化する選択を生成し得る。変化する選択は、進路２０２、進路２０４、進路２０６、進路２０８、進路２１０、進路２１２、進路２１４、進路２１６、進路２１８、進路２２０、及び進路２２２を含む。各進路は、プロファイル・グラフ２３０に示すように速度プロファイルに関連し得る。図に示すように、進路２１８、２２０、及び２２２は、短距離内で完全停止する。これに対して、進路２０２は、より高速が維持されることを可能にすることになる。

車線変更は、以下のように表現される、３つの段階において実行され得る：１）他の車線内の隙間を期待しながら現在の車線を辿ること、２）積極的に隙間に入ろうとして速度適応を実行しながら現在の車線を辿ること、及び隙間を使用しようとして又は隙間を作ろうとして最終的に横方向に押し進むこと。仮説生成及び評価にわたる複数の反復が、前のラウンドの結果を踏まえて、使用され得る、ということに留意されたい。車線変更のために、規則的車線追従（進路ファン生成及び運動プランナ評価）の１回の反復が、最初に実行され得る。車線変更の第１の段階について、それは、必要であり得るすべてのものである。速度適応段階について、最良の横方向選択が、決定され若しくは選ばれ、踏まえられる。これは、最良の速度適応の検索を実行するために、最良の横方向選択及び少数の追加の選択を使用して行われ得る（たとえば、最良の選択の左の１つ及び右の１つ）。これは、加速量及び切り替え時間によって一掃される、縦方向Ｓカーブの２次元ファミリを生成することによって、たとえば、Ｓカーブ・ジェネレータ１６３によって、行われ得る。仮説は、次いで、評価するために運動プランナ１７２を通過する。押し進むフェーズの間、最良の結果が、横方向の押し進む量を探るために使用され得る。

図３及び４は、近くの車両によって制約される車線変更のコンテキストにおける仮設生成を示す。図３は、自律型車両のすぐ前の左車線内の車両を示す前方ビュー３０２を含む。運転者側の後ろ向きのビュー３０４は、自律型車両のすぐ後ろの左車線内の車を示す。乗客側の後ろ向きのビュー３０８は、自律型車両が通過したコーンを示す。そして、後方ビュー３１０はまた、自律型車両のすぐ後ろの左車線内の車を示す。これらのビューは、左車線内の後続車と先導車との間のスペースへの車線変更と無矛盾の仮説的軌道を検索するために次に使用することができる、近くの車の位置を判定するために使用することができる。

図４は、進路ファン・ジェネレータ１６２によって生成された公称レール内の可能な進路を示す。これらの進路は、進路４０２、進路４０４、進路４０６、進路４０８、進路４１０、進路４１２、進路４１４、進路４１６、進路４１８、進路４２０、及び進路４２２を含む。速度プロファイル・グラフ４３０は、進路のうちのいくつかに利用可能な速度を示す。

仮説生成１６０は、柔軟であり、動的プログラミング構成要素１６６、又は初期の進路（たとえば、公称レール）を進む及び障害物から離れているようにそれを反復して調整する線形２次調整器（ＬＱＲ：ｌｉｎｅａｒ－ｑｕａｄｒａｔｉｃｒｅｇｕｌａｔｏｒ）／障害物を意識したＭＰＣ制御１６８によって実行される、自由形式の進路を検索するための動的プログラミングなどの他のより構造化されていない手法を使用することができる。これは、運動プランナが、次いで、危険な運動によって誘導される状況を確かめ、回避することになることを信頼して、又は請求セットを検索において直接に使用することによって、運動を無視する静的場面でいずれも行われ得る。

各仮説的軌道は、最高の品質又は最適な軌道を識別するために、プラン評価構成要素１７１によって評価され得る。ここで、品質は、多数の考慮すべき事柄を含むが、最適化スコアによって数値化され得る。異なる品質は、スコアを計算するときに異なる重さを有し得る。高レベルでは、理想的運転が、５カテゴリの期間まで戻ってトレースされ得る。目的は、快適性を最大化すること及び進行すること（時間、資金、燃料及び衣服などの資源の最低限の支出で目的地に到着する）を含み得るが、これらに限定されない。もう１つの目的は、衝突安全性を最大化すること（障害物）、他の事情が同じであれば車線を辿ること（進路）、及び適用可能なルール及び慣習に従いながら動作すること（待機条件）でもよい。これらの優先のうちのいくつかは、有形なやり方で運動プランに結び付けられる。進行及び滑らかさが、運動プランから直接評価され得る。他の態様について、直接に結び付けを行うことは難しいことがある。たとえば、距離維持のための優れた戦略は、まだ近接して見えてすらいない車両からの割り込みを回避するために近付いていることであることがあり、これは、この場面インスタンスにおいて障害物を分析することからは直接に認識可能でない。しかしながら、自律型車両の周りの障害物からの直接的運動学的制約は、短期予測で評価され得る。これについてはさらに後述する。

１つの態様において、最適化スコアは、時間に正規化される。潜在的な未来の位置の順次的時間報酬が、スコアにおいて及び始点として直接に使用され得、一方、スコアに寄与するその他の構成要素は、ペナルティとして時間を追加し得る。たとえば、予測される衝突は、相当な調整又はオフセット（たとえば、ペナルティ）を表し得る及びこの軌道を選択されないようにさせ得る、１００時間を追加することになる。より少ないが、まだ望ましくない条件は、より少ない調整をもたらし得る。調整は、ルート距離又は移動の推定時間に従って、スケール変更又は正規化され得る。このようにして、ルートの望ましくない特徴から生じる調整は、より長いルートでより多くの時間を、そしてより短いルートでより少ない時間を追加することになる。正規化は、目的地までの時間のパーセンテージとして調整を計算することによって、生じ得る。たとえば、ルートに関するいくつかの条件は、目的地に到着するための残りの推定時間の２％の調整をもたらし得る。

運動プランナ１７２はまた、公称レールの近く又は考慮中の車線のエッジの間にとどまることを好む期間を有する。これらの好みは、最適化スコアを計算するために使用され得る。車線追従しているとき、車線エッジが物理的障害物ではない場合でも、車線境界線のエッジに及ばないことが強く好まれることがある。しかしながら、車線境界線のエッジに及ぶことが、衝突を回避するための唯一の妥当な方法である場合、それが、より好ましいことがある。しかしながら、これは、計画された制御された車線変更を行うこととは異なる。具体的には、計画された制御された車線変更では、インジケータ信号を開始する及び信号に気が付くための時間を他に与えるための時間が存在する。そうした理由で、運動プランナ１７２は、それらが同じ軌道である可能性があっても、車線追従及び車線変更のコンテキストの中で軌道を異なって考慮する。軌道の最適化スコアは、より接近して車線中心が辿られるほど、増え得る。軌道が車線境界線と交差するとき、最適化スコアは減り得る。スコア減少の量は、交差する車線のコンテキストに応じて決まり得る。たとえば、破線と交差することは、実線又は二重実線と交差することよりも小さいペナルティを含み得る。近付いてくる交通へと交差することは、非常に大きなペナルティになり得る。

運動プランナ１７２はまた、他のアクタへのイールド要件によって知らされるいくつかの期間を含み得るが、待機条件のうちの少なくともいくつかは、イールド・プランナ１５９によって対処され得る。運動プランナ１７２はまた、隣り合わせで車線を共用しないこと、又は他の車線内の競合者とさえも隣り合わせになることを回避することを好む期間を含み得る。これは、それらの条件を開始しない間に、車線を分け合うオートバイを受け入れること又は競争の激しい低速合流を押して通るときの隣り合った車線の共有などのビヘイビアを助ける。同様に、駐車された車両を通過すること又は誰かの盲点にあることを可能にすること、しかし、可能であればそれらの条件を一時的にさせることを好む。

運動プランニングのコアは、障害物競合者に対する運動プランを分析することを含み得る。分析は、請求セットの間の交点を監視することを含み得る。現在又は未来に、物体間の衝突が存在するかどうかを考慮する代わりに、開示される実施例による運動プランニングは、請求セットの間に交点が存在するかを考慮する。これは、ほぼ瞬間的な停止を可能にしない速度において移動している競合者を有する環境に静的運動プランニングをどのようにしてアップグレードするかに対処するための方法である。請求セットは、安全に停止して道路と横方向に並ぼうと試みながらアクタがトレースすることになる時空における形状である。アクタは、それが衝突安全性を維持することを必要とするので、このセットを仮想的に「請求する」。アイディアは、本体が交差しない場合でも、請求セットの交点は、何らかの形の制御された安全性を維持しながら許すことが難しいことになるということである。反対に、請求セットが、互いに尊重される場合、アクタは、それらの中にとどまることができる。アクタがそうする場合、請求セットは、時空において最後まで実行し、拡張しない。これは、静的運動プランニング問題を運動を有するものにアップグレードすることを可能にする。移動しているアクタは直ちに停止することはできないが、請求セットは、直ちに停止することができる。本手法のもう１つの利益は、珍しい又は遭遇するのが難しい近くの又は実際の衝突状況におけるデータ又は予測のトレーニングに本手法は依拠しないということである。本手法はまた、物理衝突なしに単純に逃げることを超えた衝突安全性を確保する。

１つ又は複数の実施例において、セーフティ・フォース・フィールド１８４の手法は、自律型車両のビヘイビア・プランナ１４０及び制御システム内で作動中でもよく、他の機能によって中断されない。それは、禁じられた瞬間的な制御を反応的に妨げ、それを許可された制御に変更する。しかしながら、設計は、通常動作でそれをトリガさせることになっていない。運動プランナ１７２は、よりプロアクティブなやり方で類似の基礎的制約に対処する。それは、本質的に、質問「私が未来に向けてこのようにして移動し、競合者は、それを条件として予測されるように移動する場合、制約はトリガされることになるか？」を尋ねる。そのとき、未来に制約をトリガしそうにない運動プランが、好ましい可能性がある、或いは未来において後でそれらをトリガする運動プランが、好ましい可能性がある。したがって、自律型車両は、遥かに早くに減速を開始する又は横方向の調整することができ、したがって、よりスムーズに及びより安全に運転することができる。基礎的制約は、自己車両、ひいては動作が非常に断定的になることを可能にする、ということに留意されたい。予測が、自律型車両は危険な状況に陥らないであろうと提案し、イールド・プランナ１５９による事前制限が生じない限り、運動プランナ１７２は、断定的ビヘイビアを生成することができる。

実施例によれば、運動プランナ１７２は、ＣＵＤＡ実装形態を使用して、多数の未来の請求される積集合を評価することができる。ＣＵＤＡは、ＮＶＩＤＩＡＣｏｒｐｏｒａｔｉｏｎによって作成された並列計算プラットフォーム及びアプリケーション・プログラミング・インターフェース・モデルである。ＣＵＤＡは、ソフトウェア開発者及びソフトウェア・エンジニアが多目的処理のためにＣＵＤＡ対応グラフィックス処理ユニットを使用することを可能にする。このＣＵＤＡ実装形態は、並行する軌道の多数の選択、通常は、横方向進路にわたって及び縦方向速度によっての両方で変化する軌道の２次元ファミリの軌道（たとえば、１０ｘ１０グリッド）、を考慮する。運動プランナ１７２は、次いで、予測されるアクタ状態が、自律型車両に関連する請求される積集合につながるかを、それらの未来の軌道のそれぞれについて及び各時間ステップについて、チェックする。これは、時空の請求される積集合よりもわずかに保守的な制約によって、効率的に行われる。代わりに、他のアクタは、自律型車両の進路に沿って縦方向にクリアであるべきである（これは、請求セットは、縦方向及び時間方向を維持する投影のみを見る「横から」見られるとき、交差しないという、簡単な検査に似ている）、或いは、その請求セットは、時間方向を投影する「トップ・ビュー」から見られるとき、分離される。時間を投影するときのすべてのアクタの請求セットの近似値が、使用される（２Ｄ請求セット）。衝突チェックが、次いで、それらの２Ｄ請求セットのポリゴン表現で実行される。静的障害物は、２Ｄ請求セットとして直接使用することができる、ということに留意されたい。前述のプロセスは、衝突チェックが並行して多数の場面構成のポリゴン表現の間で実行されることを意味する。縦方向事前制限が、１アクションごとに運動プランナ１７２に利用可能であり、それは、仮説生成を変更するために運動プランナ１７２評価の前に並びにより速い軌道を回避することを本質的にブロックするように又は非常に好むように評価の後に使用され得る。

最後の安全な到着（ＬＳＡ：ＬａｓｔＳａｆｅＡｒｒｉｖａｌ）プランナ１７４は、運動プランナ１７２とともに働く。ＬＳＡプランナ１７４制約は、慎重であると信じるだけの理由がない又は不規則に振る舞う可能性があると信じるだけの理由がある歩行者に適用され得る、ＳＦＦ１８４より保守的な想定から生じる。それは、競合者（歩行者）は、自律型車両がそれらの進路を文字通りに占有するまで、任意の方法において加速し得る及び減速を開始しないと想定することによって、導出される。これは、瞬間的に且つコア制約より上の未来へと予測するプランナ（ＬＳＡプランナ１７４）の制約として適用される、ＳＦＦ１８４からの請求される積集合と類似の制約をもたらす。かなり保守的であるが、歩行者のための安全な始点である、コア制約と同じ予測が使用される場合、そのとき、これは、現在の又は未来の請求セットのどれも、自律型車両が既に請求していないＬＳＡ時間の後の点を請求しない、ということをチェックすることになる。これは、それぞれの請求セットの最も遠い先に加えて、現在の停止距離次第のそれぞれの到着をチェックすることによって、効率的に行われ得る。これは、同じ軌道セットの運動プランナ評価と並行して実行し、歩行者のみに適用され得る。

短期予測構成要素１６１は、分析的手法とデータ駆動型手法との両方を使用して障害物の予測される位置を生成することができる。分析的手法は、世界モデル１６４によって与えられる障害物フェンスを取得し、それらは、車線構造（左折、右折、Ｕターン、又は直進など、競合者ごとの複数の車線選択が存在し得る、ということに留意されたい）に戻る何らかの段階的調整を与えられたベロシティ・ベクトルに沿って進み続けることになると予測する。分析的予測の強さは、低いがゼロではない確率が、関連していることが知られているがトレーニング・データにおいて稀である可能性がある事柄、たとえば、割り込み又は非常急ブレーキ、とエンコード及び関連付けされ得る、ということである。

データ駆動型手法は、未来がトレーニング・データとして知られているエピソードからトレーニングされる、競合者が何をすることになるかを予測するために、知覚された場面の履歴を使用する。実際のデータは、この形式のトレーニングのために特に有用であり得る。実施例によれば、このタイプのトレーニングは、自動システムの出力で行うことができ、したがって、手動で生み出されたグラウンド・トゥルースなしに大量のデータから利益を得ることができる。

プラン・セレクタ１７５は、プラン評価構成要素１７１によって提供されるレーティング又は採点に基づいてプランを選択する。１つのインスタンスにおいて、最高の品質スコアを有する軌道が、選択される。プラン・セレクタ１７５はまた、縦方向条件付け１７６及び横方向条件付け１７８を提供し得る。これらの両方は、選択された軌道に小さなスムージングを提供する。

選択されたプランは、ＳＦＦ１８４、ＬＳＡ１８６、車線保持アシスタント（ＬＫＡ：ＬａｎｅＫｅｅｐｉｎｇＡｓｓｉｓｔａｎｔ）１８８、及び（自動緊急ブレーキ）ＡＥＢ１９０によって、評価され得る。運動プランナ１７２又は他の構成要素は、軌道又は、少なくとも、これらの構成要素が課す制約の順守を評価するときにこれらの構成要素からの入力を考慮してあることが可能である。たとえば、安全制動構成要素１５８は、自動緊急ブレーキの回避を意図した制約を生成し得る。

本明細書に記載の技術は、反復手法を使用して最適な軌道を識別することによって、現在の技術を改良することができる。第１の反復において、初期の複数の仮説的軌道は、評価のために追加の仮説的軌道を生成するためのシードの役割を果たす最高の最適化スコアを有する軌道で評価され得る。第２の反復において、第２の複数の仮説的軌道が、シード軌道の様々なパラメータをわずかに変更することによって、生成され得る。たとえば、シード軌道は、進路ファン・ジェネレータ１６２に通信され得、公称レールの代わりに入力として使用され得る。進路ファン・ジェネレータは、次いで、小さい横方向変動（公称レールでの第１の反復において使用されるものよりも小さい横方向の凹凸）及び小さい縦方向変動である第２の複数の軌道を生成し得る。第２の複数の仮説的軌道は、次いで、これらの軌道のうちの１つがシード軌道より高い最適化スコアを有するかを判定するために、評価され得る。最高の最適化スコアを有する仮説的軌道が、実装するために選択され得る。

モデル予測コントローラ（ＭＰＣ：ＭｏｄｅｌＰｒｅｄｉｃｔｉｖｅＣｏｎｔｒｏｌｌｅｒ）１８０は、選ばれた軌道を取得し、より精緻化された車両モデルを使用して瞬間的な横方向及び縦方向加速制御１９５を選択する。ＭＰＣ制御は、制御シーケンス及びモデルに基づいて未来への軌道を計算すること、及びコスト関数を最適化するための非線形オプティマイザで制御シーケンスを反復して調整することによって、機能し得る。この場合、コスト関数は、滑らかさと必要な軌道を辿ることとのトレードオフを見つけるように設計され得る（この段階は、障害物を意識していないが、それは、軌道を忠実に辿るようにセットされ得、軌道の滑らかさが、運動プランニング段階によって確保されるべきである）。ＳＦＦ１８４及び他の構成要素はまた、許容できない加速選択をゲートするために使用され得る。

ここで図５～図７を参照すると、本明細書で説明される、方法５００、６００、及び７００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって提供され得る。加えて、方法５００、６００、及び７００は、例として、図１のビヘイビア・プランニング・システム１００に関して、説明されている。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのシステム、又は任意の組合せのシステムによって、追加で又は別法として、実行され得る。

図５は、本開示のいくつかの実施例による、自律型車両の軌道を選択するための方法５００を示す流れ図である。方法５００は、ブロック５０２において、自律マシンの潜在的な未来の位置の第１の一連の時間報酬を含む車線グラフを生成することを含む。方法５００は、ブロック５０４において、自律マシン・アクションを自律マシンが完了することを可能にする複数の可能な軌道を生成することを含む。方法５００は、ブロック５０６において、入力として第１の一連の時間報酬を使用して可能な軌道の最適化尺度を生成することを含む。方法５００は、ブロック５０８において、最適化尺度を使用して実装のための軌道を選択することを含む。方法５００は、ブロック５１０において、自律マシンを使用して軌道を実装することを含む。

ここで図６を参照すると、図６は、本開示のいくつかの実施例による、自律型車両の軌道を選択するための方法６００を示す流れ図である。方法６００は、ブロック６０２において、自律マシンに対応する１つ又は複数のセンサによって検出される物体の予測される未来の物体位置を含む場面予測を生成することを含む；

方法６００は、ブロック６０２において、自律マシン・アクションのための複数の可能な軌道を生成することを含み、複数の可能な軌道は、自律マシン・アクションに対応する公称横方向レール内の複数の縦方向条件及び横方向条件を有する。方法６００は、ブロック６０４において、場面予測及び自律マシンの複数の潜在的な未来の位置に対応する第１の一連の時間報酬を使用して複数の可能な軌道を評価して複数の可能な軌道の最適化尺度を生成することを含む。方法６００は、ブロック６０６において、評価のための追加の軌道を生成するために使用される開始パラメータ・セットの軌道を、最適化尺度を使用して選択することを含む。方法６００は、ブロック６０８において、最適化尺度を使用して追加の軌道から個々の軌道を選択することを含む。方法６００は、ブロック６１０において、自律マシンの個々の軌道を実装することを含む。

図７を参照すると、図７は、本開示のいくつかの実施例による、自律型車両の軌道を選択するための方法７００を示す流れ図である。方法７００は、ブロック７０２において、自律マシン・アクションのための複数の可能な軌道を生成することを含み、複数の可能な軌道は、複数の縦方向条件及び複数の横方向条件を有する。方法７００は、ブロック７０４において、場面予測を使用して複数の可能な軌道内の軌道を評価して、軌道の最適化尺度を生成することを含む。方法７００は、ブロック７０６において、最適化尺度を使用して複数の可能な軌道から個々の軌道を選択することを含む。方法７００は、ブロック７０２において、自律マシンの個々の軌道を実装することを含み、そこで、複数の縦方向条件は、場面予測に少なくとも基づき、そして、複数の横方向条件は、自律マシンの移動方向に対応する公称レールに少なくとも基づく。

例示的自律型車両
図８Ａは、本開示のいくつかの実施例による、例示的自律型車両８００の図である。自律型車両８００（或いは本明細書で「車両８００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：ＮａｔｉｏｎａｌＨｉｇｈｗａｙＴｒａｆｆｉｃＳａｆｅｔｙＡｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：ＳｏｃｉｅｔｙｏｆＡｕｔｏｍｏｔｉｖｅＥｎｇｉｎｅｅｒｓ）「ＴａｘｏｎｏｍｙａｎｄＤｅｆｉｎｉｔｉｏｎｓｆｏｒＴｅｒｍｓＲｅｌａｔｅｄｔｏＤｒｉｖｉｎｇＡｕｔｏｍａｔｉｏｎＳｙｓｔｅｍｓｆｏｒＯｎ－ＲｏａｄＭｏｔｏｒＶｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車８００は、自律運転レベルのレベル３～レベル５のうちの１個又は複数による機能の能力を有し得る。たとえば、移動車８００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。

移動車８００は、移動車のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。移動車８００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム８５０を含み得る。推進システム８５０は、移動車８００の推進力を有効にするために、トランスミッションを含み得る、移動車８００のドライブ・トレインに接続され得る。推進システム８５０は、スロットル／加速装置８５２からの信号の受信に応答して制御され得る。

ハンドルを含み得る、ステアリング・システム８５４は、推進システム８５０が動作しているときに（たとえば、移動車が移動中のときに）移動車８００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム８５４は、ステアリング・アクチュエータ８５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。

ブレーキ・センサ・システム８４６は、ブレーキ・アクチュエータ８４８及び／又はブレーキ・センサからの信号の受信に応答して移動車ブレーキを動作させるために使用され得る。

１個又は複数のシステム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍｏｎＣｈｉｐ）８０４（図８Ｃ）及び／又はＧＰＵを含み得る、コントローラ８３６は、移動車８００の１個若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１個又は複数のブレーキ・アクチュエータ８４８を介して移動車ブレーキを動作させて、１個又は複数のステアリング・アクチュエータ８５６を介してステアリング・システム８５４を動作させて、１個又は複数のスロットル／加速装置８５２を介して推進システム８５０を動作させるために、信号を送ることができる。コントローラ８３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の移動車８００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１個又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ８３６は、自律運転機能のための第１のコントローラ８３６、機能的安全性機能のための第２のコントローラ８３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ８３６、インフォテインメント機能のための第４のコントローラ８３６、緊急状態における冗長性のための第５のコントローラ８３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ８３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ８３６が、単一の機能、及び／又はその任意の組合せを処理することができる。

コントローラ８３６は、１個又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して移動車８００の１個若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ８５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ８６０、超音波センサ８６２、ＬＩＤＡＲセンサ８６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌｍｅａｓｕｒｅｍｅｎｔｕｎｉｔ）センサ８６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン８９６、ステレオ・カメラ８６８、ワイドビュー・カメラ８７０（たとえば、魚眼カメラ）、赤外線カメラ８７２、サラウンド・カメラ８７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ８９８、スピード・センサ８４４（たとえば、移動車８００のスピードを測定するための）、振動センサ８４２、ステアリング・センサ８４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム８４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。

コントローラ８３６のうちの１個又は複数のコントローラは、移動車８００の計器群８３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅｉｎｔｅｒｆａｃｅ）ディスプレイ８３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は移動車８００の他の構成要素を介して提供することができる。出力は、移動車ベロシティ、スピード、時間、マップ・データ（たとえば、図８ＣのＨＤマップ８２２）、位置データ（たとえば、マップ上などの、移動車の８００の位置）、方向、他の移動車の位置（たとえば、占有グリッド）、コントローラ８３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ８３４は、１個又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は移動車が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。

移動車８００はさらに、１個若しくは複数のワイヤレス・アンテナ８２６及び／又はモデムを使用して１個若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース８２４を含む。たとえば、ネットワーク・インターフェース８２４は、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ８２６はまた、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗｐｏｗｅｒｗｉｄｅ－ａｒｅａｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、移動車、モバイル・デバイスなど）の間の通信を可能にすることができる。

図８Ｂは、本開示のいくつかの実施例による、図８Ａの例示的自律型車両８００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１個の例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは移動車８００の異なる位置に置かれ得る。

カメラのカメラ・タイプは、移動車８００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅｓａｆｅｔｙｉｎｔｅｇｒｉｔｙｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄｃｌｅａｒｃｌｅａｒｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄｃｌｅａｒｃｌｅａｒｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄｂｌｕｅｇｒｅｅｎｃｌｅａｒ）カラー・フィルタ・アレイ、ＦｏｖｅｏｎＸ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。

いくつかの実例では、カメラのうちの１個又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄｄｒｉｖｅｒａｓｓｉｓｔａｎｃｅｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１個又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。

カメラのうちの１個又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。

移動車８００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１個若しくは複数のコントローラ８３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい移動車進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（「ＬＤＷ（ＬａｎｅＤｅｐａｒｔｕｒｅＷａｒｎｉｎｇ）」）、自律的クルーズ制御（「ＡＣＣ（ＡｕｔｏｎｏｍｏｕｓＣｒｕｉｓｅＣｏｎｔｒｏｌ）」）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。

様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙｍｅｔａｌｏｘｉｄｅｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ８７０でもよい。図８Ｂにはワイドビュー・カメラは１個だけ示されているが、移動車８００には任意の数のワイドビュー・カメラ８７０が存在し得る。加えて、長距離カメラ８９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ８９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。

１個又は複数のステレオ・カメラ８６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ８６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、移動車の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ８６８は、２個のカメラ・レンズ（左と右に１個ずつ）と、移動車から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ８６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。

移動車８００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ８７４（たとえば、図８Ｂに示されるような４個のサラウンド・カメラ８７４）は、移動車８００上に位置付けられ得る。サラウンド・カメラ８７４は、ワイドビュー・カメラ８７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、移動車の前、後ろ、及び側面に配置され得る。代替配置において、移動車は、３個のサラウンド・カメラ８７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１個又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。

移動車８００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ８９８、ステレオ・カメラ８６８）、赤外線カメラ８７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。

図８Ｃは、本開示のいくつかの実施例による、図８Ａの例示的自律型車両８００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。

図８Ｃの移動車８００の構成要素、特徴、及びシステムのそれぞれは、バス８０２を介して接続されるものとして図示されている。バス８０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロント・ガラス・ワイパなどの作動など、移動車８００の様々な特徴及び機能の制御を助けるために使用される移動車８００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓｐｅｒｍｉｎｕｔｅ）、ボタン位置、及び／又は他の移動車状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬＢ準拠でもよい。

バス８０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス８０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１個若しくは複数のＣＡＮバス、１個若しくは複数のＦｌｅｘＲａｙバス、１個若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１個若しくは複数の他のタイプのバスを含み得る、任意の数のバス８０２が存在し得る。いくつかの実例では、２個以上のバス８０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス８０２は衝突回避機能のために使用されてもよく、第２のバス８０２は作動制御のために使用されてもよい。任意の実例において、各バス８０２は、移動車８００の構成要素のいずれかと通信し得、２個以上のバス８０２が同じ構成要素と通信し得る。いくつかの実例では、移動車内の各ＳｏＣ８０４、各コントローラ８３６、及び／又は各コンピュータは、同じ入力データ（たとえば、移動車８００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。

移動車８００は、図８Ａに関して本明細書で説明されるものなど、１個又は複数のコントローラ８３６を含み得る。コントローラ８３６は、様々な機能のために使用され得る。コントローラ８３６は、移動車８００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、移動車８００、移動車８００の人工知能、移動車８００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。

移動車８００は、システム・オン・チップ（ＳｏＣ）８０４を含み得る。ＳｏＣ８０４は、ＣＰＵ８０６、ＧＰＵ８０８、プロセッサ８１０、キャッシュ８１２、加速装置８１４、データ・ストア８１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ８０４は、様々なプラットフォーム及びシステム内の移動車８００を制御するために使用され得る。たとえば、ＳｏＣ８０４は、１個又は複数のサーバ（たとえば、図８Ｄのサーバ８７８）からネットワーク・インターフェース８２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ８２２を有するシステム（たとえば、移動車８００のシステム）において結合され得る。

ＣＰＵ８０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ８０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ８０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ８０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ８０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ８０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。

ＣＰＵ８０６は、以下の特徴のうちの１個又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ８０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。

ＧＰＵ８０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ８０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ８０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ８０８は、１個又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ８０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ８０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ８０８は、１個若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡＣｏｒｐｏｒａｔｉｏｎのＣＵＤＡ）を使用することができる。

ＧＰＵ８０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ８０８は、ＦｉｎＦＥＴ（Ｆｉｎｆｉｅｌｄ－ｅｆｆｅｃｔｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ８０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ＰＦ３２コア及び３２ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ＦＰ３２コア、８ＦＰ６４コア、１６ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。

ＧＰＵ８０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈｂａｎｄｗｉｄｔｈｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓｄｏｕｂｌｅｄａｔａｒａｔｅｔｙｐｅｆｉｖｅｓｙｎｃｈｒｏｎｏｕｓｒａｎｄｏｍ－ａｃｃｅｓｓｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓｇｒａｐｈｉｃｓｒａｎｄｏｍ－ａｃｃｅｓｓｍｅｍｏｒｙ）が使用され得る。

ＧＰＵ８０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓｔｒａｎｓｌａｔｉｏｎｓｅｒｖｉｃｅ）サポートが、ＧＰＵ８０８がＣＰＵ８０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ８０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙｍａｎａｇｅｍｅｎｔｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ８０６に送信され得る。応答して、ＣＰＵ８０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ８０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ８０６とＧＰＵ８０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ８０８へのアプリケーションのＧＰＵ８０８プログラミング及び移植を単純化する。

加えて、ＧＰＵ８０８は、他のプロセッサのメモリへのＧＰＵ８０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。

ＳｏＣ８０４は、本明細書に記載のものを含む任意の数のキャッシュ８１２を含み得る。たとえば、キャッシュ８１２は、ＣＰＵ８０６とＧＰＵ８０８との両方に利用可能な（たとえば、ＣＰＵ８０６とＧＰＵ８０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ８１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。

ＳｏＣ８０４は、車両８００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）を含み得る。加えて、ＳｏＣ８０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇｐｏｉｎｔｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ８０６及び／又はＧＰＵ８０８内の実行ユニットとして統合された１個又は複数のＦＰＵを含み得る。

ＳｏＣ８０４は、１個又は複数の加速装置８１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ８０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ８０８を補完するために及びＧＰＵ８０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ８０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置８１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。

加速装置８１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐｌｅａｒｎｉｎｇａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒当たり追加の１０兆の動作を提供するように構成することができる１個又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートル当たりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。

ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び移動車所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。

ＤＬＡは、ＧＰＵ８０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ８０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ８０８及び／又は他の加速装置８１４に任せることができる。

加速装置８１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅｖｉｓｉｏｎａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄｄｒｉｖｅｒａｓｓｉｓｔａｎｃｅｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄｉｎｓｔｒｕｃｔｉｏｎｓｅｔｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔｍｅｍｏｒｙａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。

ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅｏｐｅｒａｔｉｎｇｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１個若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。

ＤＭＡは、ＣＰＵ８０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。

ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙｌｏｎｇｉｎｓｔｒｕｃｔｉｏｎｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。

それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒｃｏｒｒｅｃｔｉｎｇｃｏｄｅ）メモリを含み得る。

加速装置８１４（たとえば、ハードウェア加速クラスタ）は、加速装置８１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄｐｅｒｉｐｈｅｒａｌｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。

コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。

いくつかの実例では、ＳｏＣ８０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１個又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅｔｒａｖｅｒｓａｌｕｎｉｔ）が、１個又は複数のレイトレーシング関連動作を実行するために使用され得る。

加速装置８１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。

たとえば、本技術の１個の実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。

いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。処理されたＲＡＤＡＲを提供するために未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用して）ことによる。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。

ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃｅｍｅｒｇｅｎｃｙｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、移動車に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ８６４又はＲＡＤＡＲセンサ８６０）から取得された物体の移動車８００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌｍｅａｓｕｒｅｍｅｎｔｕｎｉｔ）センサ８６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。

ＳｏＣ８０４は、データ・ストア８１６（たとえば、メモリ）を含み得る。データ・ストア８１６は、ＳｏＣ８０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア８１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア８１２は、Ｌ２又はＬ３キャッシュ８１２を備え得る。データ・ストア８１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置８１４に関連するメモリの参照を含み得る。

ＳｏＣ８０４は、１個又は複数のプロセッサ８１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ８１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ８０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ８０４熱及び温度センサの管理、及び／又はＳｏＣ８０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ８０４は、リング発振器を使用してＣＰＵ８０６、ＧＰＵ８０８、及び／又は加速装置８１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ８０４をより低い電力状態に置く及び／又は移動車８００をショーファーの安全停止モードにする（たとえば、移動車８００を安全停止させる）ことができる。

プロセッサ８１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。

プロセッサ８１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。

プロセッサ８１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。

プロセッサ８１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。

プロセッサ８１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。

プロセッサ８１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ８７０で、サラウンド・カメラ８７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、移動車の目的地を変更する、移動車のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。

ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。

ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ８０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ８０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ８０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。

ＳｏＣ８０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅｉｎｄｕｓｔｒｙｐｒｏｃｅｓｓｏｒｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ８０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。

ＳｏＣ８０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ８０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ８６４、ＲＡＤＡＲセンサ８６０など）、バス８０２からのデータ（たとえば、移動車８００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ８５８からのデータを処理するために使用され得る。ＳｏＣ８０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ８０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。

ＳｏＣ８０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ８０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置８１４が、ＣＰＵ８０６と結合されるとき、ＧＰＵ８０８、及びデータ・ストア８１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。

したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、移動車内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。

従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ８２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。

別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを移動車の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を移動車の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ８０８上などで、同時に実行することができる。

いくつかの実例では、顔認識及び移動車所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して移動車８００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近付くときに移動車を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が移動車を離れるときに移動車の動作を停止させるために、使用され得る。このようにして、ＳｏＣ８０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。

別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン８９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ８０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ８５８によって識別されるように、移動車が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ８６２の支援を受けて、移動車を減速する、道の端に停止させる、移動車を駐車する、及び／又は移動車をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。

移動車は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ８０４に連結され得るＣＰＵ８１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ８１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ８１８は、たとえば、ＡＤＡＳセンサとＳｏＣ８０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ８３６及び／又はインフォテインメントＳｏＣ８３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。

移動車８００は、高速相互接続（たとえば、ＮＶＩＤＩＡＣｏｒｐｏｒａｔｉｏｎのＮＶＬＩＮＫ）を介してＳｏＣ８０４に連結され得るＧＰＵ８２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ８２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、移動車８００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。

移動車８００は、１個又は複数のワイヤレス・アンテナ８２６（たとえば、セルラ・アンテナ、ブルートゥース（登録商標）・アンテナなど、異なる通信プロトコルのための１個又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース８２４をさらに含み得る。ネットワーク・インターフェース８２４は、インターネットを介するクラウドとの（たとえば、サーバ８７８及び／又は他のネットワーク・デバイスとの）、他の移動車との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の移動車と通信するために、直接リンクが２個の移動車の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、移動車対移動車通信リンクを使用し、提供され得る。移動車対移動車通信リンクは、移動車８００に近接する移動車（たとえば、移動車８００の前の、横の、及び／又は後ろの移動車）に関する移動車８００情報を提供することができる。この機能は、移動車８００の共同適応クルーズ制御機能の一部でもよい。

ネットワーク・インターフェース８２４は、変調及び復調機能を提供する及びコントローラ８３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース８２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。

移動車８００は、チップ外の（たとえば、ＳｏＣ８０４外の）ストレージを含み得るデータ・ストア８２８をさらに含み得る。データ・ストア８２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１個又は複数の記憶素子を含み得る。

車両８００は、ＧＮＳＳセンサ８５８をさらに含み得る。ＧＮＳＳセンサ８５８（たとえば、ＧＰＳ、支援されたＧＰＳセンサ、ディファレンシャルＧＰＳ（ＤＧＰＳ）センサなど）は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ８５８が、使用され得る。

移動車８００は、ＲＡＤＡＲセンサ８６０をさらに含み得る。ＲＡＤＡＲセンサ８６０は、暗闇及び／又は厳しい気象条件においても、長距離移動車検出のために移動車８００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬＢでもよい。一部の実例では、ＲＡＤＡＲセンサ８６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ８６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス８０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ８６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。

ＲＡＤＡＲセンサ８６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ８６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で移動車８００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、移動車８００のレーンに入る又はこれを去る移動車を迅速に検出することを可能にする。

一実例として、中距離ＲＡＤＡＲシステムは、８６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は８５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、移動車の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。

短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。

移動車８００は、超音波センサ８６２をさらに含み得る。移動車８００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ８６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ８６２が使用され得、異なる超音波センサ８６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ８６２は、ＡＳＩＬＢの機能的安全性レベルにおいて動作することができる。

移動車８００はＬＩＤＡＲセンサ８６４を含み得る。ＬＩＤＡＲセンサ８６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ８６４は、機能的安全性レベルＡＳＩＬＢでもよい。いくつかの実例では、移動車８００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ８６４を含み得る。

いくつかの実例では、ＬＩＤＡＲセンサ８６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ８６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、８００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約８００ｍの広告された範囲を有し得る。いくつかの実例では、１個又は複数の非突出したＬＩＤＡＲセンサ８６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ８６４は、移動車８００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ８６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ８６４は、４５度と１３５度との間の水平視野向けに構成され得る。

いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで移動車の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、移動車から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、移動車８００の各側面に１個ずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ８６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。

移動車は、ＩＭＵセンサ８６６をさらに含み得る。一部の実例では、ＩＭＵセンサ８６６は、移動車８００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ８６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ８６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ８６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。

一部の実施例では、ＩＭＵセンサ８６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－ＡｉｄｅｄＩｎｅｒｔｉａｌＮａｖｉｇａｔｉｏｎＳｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ８６６は、ＧＰＳからＩＭＵセンサ８６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を移動車８００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ８６６及びＧＮＳＳセンサ８５８は、単一の統合されたユニットにおいて結合され得る。

移動車は、移動車８００内及び／又は周囲に置かれたマイクロフォン８９６を含み得る。マイクロフォン８９６は、中でも、緊急車両検出及び識別のために使用され得る。

移動車は、ステレオ・カメラ８６８、ワイドビュー・カメラ８７０、赤外線カメラ８７２、サラウンド・カメラ８７４、長距離及び／又は中距離カメラ８９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、移動車８００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、移動車８００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、移動車８００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、移動車は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：ＧｉｇａｂｉｔＭｕｌｔｉｍｅｄｉａＳｅｒｉａｌＬｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図８Ａ及び図８Ｂに関連して本明細書においてさらに詳しく説明される。

移動車８００は、振動センサ８４２をさらに含み得る。振動センサ８４２は、車軸など、移動車の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ８４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。

移動車８００は、ＡＤＡＳシステム８３８を含み得る。一部の実例では、ＡＤＡＳシステム８３８は、ＳｏＣを含み得る。ＡＤＡＳシステム８３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃｃｒｕｉｓｅｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅａｄａｐｔｉｖｅｃｒｕｉｓｅｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄｃｒａｓｈｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃｅｍｅｒｇｅｎｃｙｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅｄｅｐａｒｔｕｒｅｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅｋｅｅｐａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄｓｐｏｔｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒｃｒｏｓｓ－ｔｒａｆｆｉｃｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎｗａｒｎｉｎｇｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。

ＡＣＣシステムは、ＲＡＤＡＲセンサ８６０、ＬＩＤＡＲセンサ８６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、移動車８００のすぐ前の移動車までの距離を監視及び制御し、前方の移動車からの安全距離を維持するために移動車速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように移動車８００にアドバイスする。横ＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。

ＣＡＣＣは、ワイヤレス・リンクを介して他の動車からネットワーク・インターフェース８２４及び／又はワイヤレス・アンテナ８２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の移動車からの情報を使用する。直接リンクは、移動車対移動車（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対移動車（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の移動車（たとえば、移動車８００と同じレーン内にある、移動車８００のすぐ前の移動車）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。移動車８００の前方の移動車の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。

運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ８６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。

ＡＥＢシステムは、別の移動車又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ８６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。

ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、移動車８００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。

ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、移動車８００が車線をはみ出し始めた場合に移動車８００を修正するためにステアリング入力又はブレーキを提供する。

ＢＳＷシステムは、自動車の死角において移動車の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ８６０を使用することができる。

ＲＣＴＷシステムは、車両８００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１個又は複数の後ろを向いたＲＡＤＡＲセンサ８６０を使用することができる。

従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両８００では、結果が矛盾する場合には、移動車８００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ８３６又は第２のコントローラ８３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム８３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム８３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。

いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。

監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１個を含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ８０４の構成要素を備え得る、及び／又はＳｏＣ８０４の構成要素として含まれ得る。

他の実例において、ＡＤＡＳシステム８３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。

いくつかの実例では、ＡＤＡＳシステム８３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム８３８が、すぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。

移動車８００は、インフォテインメントＳｏＣ８３０（たとえば、移動車内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅｉｎｆｏｔａｉｎｍｅｎｔｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ８３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの移動車関連情報）を移動車８００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ８３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース（登録商標）接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐｄｉｓｐｌａｙ）、ＨＭＩディスプレイ８３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ８３０は、ＡＤＡＳシステム８３８からの情報、計画された移動車操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、移動車情報、道路情報など）、及び／又は他の情報など、移動車のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。

インフォテインメントＳｏＣ８３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ８３０は、バス８０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、移動車８００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ８３６（たとえば、移動車８００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ８３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ８３０は、本明細書に記載のように、移動車８００をショーファーの安全停止モードにすることができる。

移動車８００は、計器群８３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群８３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群８３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ８３０及び計器群８３２の間で表示及び／又は共有され得る。言い換えれば、計器群８３２は、インフォテインメントＳｏＣ８３０の一部として含まれてもよく、逆もまた同様である。

図８Ｄは、本開示のいくつかの実施例による、図８Ａのクラウドベースのサーバと例示的自律型車両８００との間の通信のシステム図である。システム８７６は、サーバ８７８、ネットワーク８９０、及び、移動車８００を含む移動車を含み得る。サーバ８７８は、複数のＧＰＵ８８４（Ａ）～８８４（Ｈ）（本明細書でＧＰＵ８８４と総称される）、ＰＣＩｅスイッチ８８２（Ａ）～８８２（Ｈ）（本明細書でＰＣＩｅスイッチ８８２と総称される）、及び／又はＣＰＵ８８０（Ａ）～８８０（Ｂ）（本明細書でＣＰＵ８８０と総称される）を含み得る。ＧＰＵ８８４、ＣＰＵ８８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡＣｏｒｐｏｒａｔｉｏｎによって開発されたＮＶＬｉｎｋインターフェース８８８及び／又はＰＣＩｅ接続８８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ８８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈＳｏＣを介して接続され、ＧＰＵ８８４及びＰＣＩｅスイッチ８８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ８８４、２個のＣＰＵ８８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ８７８は、任意の数のＧＰＵ８８４、ＣＰＵ８８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ８７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ８８４を含み得る。

サーバ８７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク８９０を介して、移動車から、受信することができる。サーバ８７８は、ニューラル・ネットワーク８９２、更新されたニューラル・ネットワーク８９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報８９４をネットワーク８９０を介して移動車に送信することができる。マップ情報８９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ８２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク８９２、更新されたニューラル・ネットワーク８９２、及び／又はマップ情報８９４は、環境において任意の数の移動車から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ８７８及び／又は他のサーバを使用する）データセンタにおいて実行されたトレーニングに基づいて、生じた可能性がある。

サーバ８７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、移動車によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１個又は複数のクラスのマシン学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、移動車によって使用され得（たとえば、ネットワーク８９０を介して移動車に送信される）、及び／又は、マシン学習モデルは、移動車を遠隔監視するために、サーバ８７８によって使用され得る。

いくつかの実例では、サーバ８７８は、移動車からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ８７８は、ＮＶＩＤＩＡＣｏｒｐｏｒａｔｉｏｎによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ８８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ８７８は、ＣＰＵ電源式データセンタのみを使用する深層学習インフラストラクチャを含み得る。

サーバ８７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して移動車８００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、移動車８００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、移動車８００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、移動車８００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、移動車８００内のＡＩは正常に機能していないという結論を下した場合、サーバ８７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように移動車８００のフェイルセーフ・コンピュータに命じる移動車８００への信号を送信することができる。

推論のために、サーバ８７８は、ＧＰＵ８８４及び１個又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡＣｏｒｐｏｒａｔｉｏｎのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。

例示的計算デバイス
図９は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス９００の一実例のブロック図である。計算デバイス９００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム９０２を含み得る：メモリ９０４、１個又は複数の中央処理装置（ＣＰＵ）９０６、１個又は複数のグラフィック処理ユニット（ＧＰＵ）９０８、通信インターフェース９１０、入力／出力（Ｉ／Ｏ）ポート９１２、入力／出力構成要素９１４、電力供給装置９１６、１個又は複数の提示構成要素９１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット９２０。少なくとも１個の実施例において、計算デバイス９００は、１個又は複数の仮想マシン（ＶＭ）を含み得る、及び／又は、その構成要素のいずれかは、仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例として、ＧＰＵ９０８のうちの１個又は複数は、１個又は複数のｖＧＰＵを含み得、ＣＰＵ９０６のうちの１個又は複数は、１個又は複数のｖＣＰＵを含み得、及び／又は、論理ユニット９２０のうちの１個又は複数は、１個又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス９００は、個別の構成要素（たとえば、計算デバイス９００専用の全ＧＰＵ）、仮想構成要素（たとえば、計算デバイス９００専用のＧＰＵの一部分）、又はその組合せを含み得る。

図９の様々なブロックは、線で相互接続システム９０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素９１８は、Ｉ／Ｏ構成要素９１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ９０６及び／又はＧＰＵ９０８はメモリを含み得る（たとえば、メモリ９０４は、ＧＰＵ９０８、ＣＰＵ９０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図９の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃｃｏｎｔｒｏｌｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図９の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。

相互接続システム９０２は、１個又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム９０２は、１個又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙｓｔａｎｄａｒｄａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄｉｎｄｕｓｔｒｙｓｔａｎｄａｒｄａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏｅｌｅｃｔｒｏｎｉｃｓｓｔａｎｄａｒｄｓａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌｃｏｍｐｏｎｅｎｔｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌｃｏｍｐｏｎｅｎｔｉｎｔｅｒｃｏｎｎｅｃｔｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ９０６は、メモリ９０４に直接接続され得る。さらに、ＣＰＵ９０６は、ＧＰＵ９０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム９０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス９００に含まれる必要はない。

メモリ９０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス９００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。

コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ９０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌｖｅｒｓａｔｉｌｅｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス９００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。

コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１個又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。

ＣＰＵ９０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス９００の１個又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１個又は複数を実行するように構成され得る。ＣＰＵ９０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１個又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ９０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス９００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス９００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：ＲｅｄｕｃｅｄＩｎｓｔｒｕｃｔｉｏｎＳｅｔＣｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄＲＩＳＣＭａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：ＣｏｍｐｌｅｘＩｎｓｔｒｕｃｔｉｏｎＳｅｔＣｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス９００は、計算コプロセッサなど、１個又は複数のマイクロプロセッサ又は補助コプロセッサ内の１個又は複数のＣＰＵ９０６を含み得る。

ＣＰＵ９０６に加えて又はその代わりに、ＧＰＵ９０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス９００の１個又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１個又は複数を実行するように構成され得る。ＧＰＵ９０８のうちの１個若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ９０６のうちの１個又は複数とでもよく、及び／又はＧＰＵ９０８のうちの１個若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ９０８のうちの１個又は複数は、ＣＰＵ９０６のうちの１個又は複数のコプロセッサでもよい。ＧＰＵ９０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス９００によって使用され得る。たとえば、ＧＰＵ９０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－ＰｕｒｐｏｓｅｃｏｍｐｕｔｉｎｇｏｎＧＰＵ）のために使用され得る。ＧＰＵ９０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ９０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ９０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ９０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ９０４の一部として含まれ得る。ＧＰＵ９０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ９０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。

ＣＰＵ９０６及び／又はＧＰＵ９０８に加えて又はその代わりに、論理ユニット９２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス９００のうちの１個又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１個又は複数を実行するように構成され得る。実施例では、ＣＰＵ９０６、ＧＰＵ９０８、及び／又は論理ユニット９２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット９２０のうちの１個若しくは複数は、ＣＰＵ９０６及び／若しくはＧＰＵ９０８のうちの１個若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット９２０のうちの１個若しくは複数は、ＣＰＵ９０６及び／若しくはＧＰＵ９０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット９２０のうちの１個又は複数は、ＣＰＵ９０６のうちの１個若しくは複数及び／又はＧＰＵ９０８のうちの１個若しくは複数のコプロセッサでもよい。

論理ユニット９２０の実例は、１個又は複数の処理コア及び／又はその構成要素、たとえば、テンソル・コア（ＴＣ：ＴｅｎｓｏｒＣｏｒｅ）、テンソル処理ユニット（ＴＰＵ：ＴｅｎｓｏｒＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：ＰｉｘｅｌＶｉｓｕａｌＣｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：ＶｉｓｉｏｎＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＣｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：ＴｅｘｔｕｒｅＰｒｏｃｅｓｓｉｎｇＣｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：ＳｔｒｅａｍｉｎｇＭｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：ＴｒｅｅＴｒａｖｅｒｓａｌＵｎｉｔ）、人工知能加速装置（ＡＩＡ：ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅＡｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：ＤｅｅｐＬｅａｒｎｉｎｇＡｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、入力／出力（Ｉ／Ｏ）エレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。

通信インターフェース９１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス９００が他の計算デバイスと通信することを可能にする、１個又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース９１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。

Ｉ／Ｏポート９１２は、そのうちのいくつかは計算デバイス９００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素９１４、提示構成要素９１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス９００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素９１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素９１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌｕｓｅｒｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス９００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス９００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス９００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｍｅａｓｕｒｅｍｅｎｔｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス９００によって使用され得る。

電力供給装置９１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置９１６は、計算デバイス９００の構成要素が動作することを可能にするために計算デバイス９００に電力を提供することができる。

提示構成要素９１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素９１８は、他の構成要素（たとえば、ＧＰＵ９０８、ＣＰＵ９０６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。

例示的データ・センタ
図１０は、本開示の少なくとも１個の実施例において使用され得る例示的データ・センタ１０００を示す。データ・センタ１０００は、データ・センタ・インフラストラクチャ層１０１０、フレームワーク層１０２０、ソフトウェア層１０３０、及び／又はアプリケーション層１０４０を含み得る。

図１０に示すように、データ・センタ・インフラストラクチャ層１０１０は、資源オーケストレータ１０１２、グループ化された計算資源１０１４、及びノード計算資源（「ノードＣ．Ｒ．」）１０１６（１）～１０１６（Ｎ）を含み得、そこで、「Ｎ」は、任意の整数の、自然数を表す。少なくとも１個の実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）は、任意の数の中央処理装置（「ＣＰＵ」）又は他のプロセッサ（加速装置、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサ若しくはグラフィックス・プロセッシング・ユニット（ＧＰＵ）などを含む）、メモリ・デバイス（たとえば、動的リード・オンリ・メモリ）、記憶デバイス（たとえば、ソリッド・ステート若しくはディスク・ドライブ）、ネットワーク入力／出力（「ＮＷＩ／Ｏ」）デバイス、ネットワーク・スイッチ、仮想マシン（「ＶＭ」）、電力モジュール、及び／又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）のうちの１個又は複数のノードＣ．Ｒ．は、前述の計算資源のうちの１個又は複数を有するサーバに対応し得る。加えて、いくつかの実施例において、ノードＣ．Ｒ．１０１６（１）～１０１６１（Ｎ）は、１個若しくは複数の仮想構成要素、たとえば、ｖＧＰＵ、ｖＣＰＵ、及び／若しくは同類のもの、を含み得る、並びに／又は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）のうちの１個若しくは複数は、仮想マシン（ＶＭ）に対応し得る。

少なくとも１個の実施例において、グループ化された計算資源１０１４は、１個又は複数のラック（図示せず）内に収容された別個のグループのノードＣ．Ｒ．１０１６、或いは様々な地理的場所（やはり図示せず）にあるデータ・センタに収容された多数のラックを含み得る。グループ化された計算資源１０１４内の別個のグループのノードＣ．Ｒ．１０１６は、１個又は複数のワークロードをサポートするように構成する又は割り当てることができる、グループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも１個の実施例において、ＣＰＵ、ＧＰＵ、及び／又は他のプロセッサを含むいくつかのノードＣ．Ｒ．１０１６は、１個又は複数のワークロードをサポートするための計算資源を提供するために、１個又は複数のラック内にグループ化され得る。１個又は複数のラックはまた、任意の組合せで、任意の数の電力モジュール、冷却モジュール、及び／又はネットワーク・スイッチを含み得る。

資源オーケストレータ１０２２は、１個若しくは複数のノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）及び／又はグループ化された計算資源１０１４を構成又は他の方法で制御することができる。少なくとも１個の実施例において、資源オーケストレータ１０２２は、データ・センタ１０００のソフトウェア設計インフラストラクチャ（「ＳＤＩ」）管理エンティティを含み得る。資源オーケストレータ１０２２は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。

少なくとも１個の実施例において、図１０に示すように、フレームワーク層１０２０は、ジョブ・スケジューラ１０３２、構成マネージャ１０３４、資源マネージャ１０３６、及び／又は分散型ファイル・システム１０３８を含み得る。フレームワーク層１０２０は、ソフトウェア層１０３０のソフトウェア１０３２及び／又はアプリケーション層１０４０の１個若しくは複数のアプリケーション１０４２をサポートするためにフレームワークを含み得る。ソフトウェア１０３２又はアプリケーション１０４２は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、アマゾン・ウェブ・サービス、グーグル・クラウド及びＭｉｃｒｏｓｏｆｔＡｚｕｒｅによって提供されるもの、をそれぞれ含み得る。フレームワーク層１０２０は、大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システム１０３８を使用し得るＡｐａｃｈｅＳｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも１個の実施例において、ジョブ・スケジューラ１０３２は、データ・センタ１０００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。構成マネージャ１０３４は、異なる層、たとえば、ソフトウェア層１０３０と、大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム１０３８を含むフレームワーク層１０２０、を構成する能力を有し得る。資源マネージャ１０３６は、分散型ファイル・システム１０３８及びジョブ・スケジューラ１０３２のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも１個の実施例において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層１０１０にグループ化された計算資源７１４を含み得る。資源マネージャ１０３６は、資源オーケストレータ１０１２と調整して、これらのマップされた又は割り当てられた計算資源を管理することができる。

少なくとも１個の実施例において、ソフトウェア層１０３０に含まれるソフトウェア１０３２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）の少なくとも部分、グループ化された計算資源１０１４、及び／又はフレームワーク層１０２０の分散型ファイル・システム１０３８によって使用されるソフトウェアを含み得る。１個又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。

少なくとも１個の実施例において、アプリケーション層１０４０に含まれるアプリケーション１０４２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）の少なくとも部分、グループ化された計算資源１０１４、及び／又はフレームワーク層１０２０の分散型ファイル・システム１０３８によって使用される１個又は複数のタイプのアプリケーションを含み得る。１個又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、マシン学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）、及び／又は１個若しくは複数の実施例と併せて使用される他のマシン学習アプリケーションを含む、マシン学習アプリケーションを含み得るが、これらに限定されない。

少なくとも１個の実施例において、構成マネージャ１０３４、資源マネージャ１０３６、及び資源オーケストレータ１０１２のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと並びにデータ・センタの十分に活用されていない及び／又は実行の不十分な部分を恐らく回避することからデータ・センタ１０００のデータ・センタ・オペレータを解放し得る。

データ・センタ１０００は、１個又は複数のマシン学習モデルをトレーニングする或いは本明細書に記載の１個又は複数の実施例による１個又は複数のマシン学習モデルを使用して情報を予測する又は推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、マシン学習モデルは、データ・センタ１０００に関して前述されたソフトウェア及び／又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも１個の実施例において、１個又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備されたマシン学習モデルは、たとえば、本明細書に記載のものに限定されない、１個又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ１０００に関して前述された資源を使用して情報を推論又は予測するために使用され得る。

少なくとも１個の実施例において、データ・センタ１０００は、前述の資源を使用するトレーニング及び／又は推論の実行のために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、及び／又は他のハードウェア（若しくはそれに対応する仮想計算資源）を使用することができる。さらに、前述の１個又は複数のソフトウェア及び／又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。

例示的ネットワーク環境
本開示の実施例の実装において使用するのに適したネットワーク環境は、１個若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋａｔｔａｃｈｅｄｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図９の計算デバイス９００の１個又は複数のインスタンスで実装され得る－たとえば、各デバイスは、計算デバイス９００の類似の構成要素、特徴、及び／又は機能性を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が、実装される場合、バックエンド・デバイスは、データ・センタ１０００の一部として含まれ得、その実例は、図１０に関して本明細書でさらに詳述される。

ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、１個若しくは複数のワイド・エリア・ネットワーク（ＷＡＮ）、１個若しくは複数のローカル・エリア・ネットワーク（ＬＡＮ）、１個若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び／若しくは公衆交換電話網（ＰＳＴＮ）、並びに／又は１個若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント（並びに他の構成要素）、は、ワイヤレス接続を提供し得る。

互換性のあるネットワーク環境は、１個又は複数のピア・ツー・ピア・ネットワーク環境－その場合、サーバはネットワーク環境に含まれないことがある－と、１個又は複数のクライアント・サーバ・ネットワーク環境－その場合、１個又は複数のサーバがネットワーク環境に含まれ得る－とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。

少なくとも１個の実施例において、ネットワーク環境は、１個又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、１個若しくは複数のコア・ネットワーク・サーバ及び／又はエッジ・サーバを含み得る、サーバのうちの１個又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び／又はアプリケーション層の１個若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの１個又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る（たとえば、１個又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してサービス・ソフトウェア及び／又はアプリケーションにアクセスすることによって）。フレームワーク層は、たとえば大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。

クラウドベースのネットワーク環境は、本明細書に記載の計算及び／又はデータ・ストレージ機能（又は１個若しくは複数のその部分）の任意の組合せを実施するクラウド計算及び／又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、セントラル又はコア・サーバ（たとえば、州、領域、国、世界にわたって分散され得る１個又は複数のデータ・センタなどの）から複数の場所に分散され得る。ユーザ（たとえば、クライアント・デバイス）への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに任じ得る。クラウドベースのネットワーク環境は、プライベート（たとえば、単一の組織に制限される）でもよく、パブリック（たとえば、多数の組織に利用可能）、及び／又はその組合せ（たとえば、ハイブリッド・クラウド環境）でもよい。

クライアント・デバイスは、図９に関して本明細書に記載の例示的計算デバイス９００の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び制限ではなく、クライアント・デバイスは、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ＭＰ３プレイヤ、仮想現実ヘッドセット、全地球測位システム（ＧＰＳ）又はデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス又はシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。

本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。

本明細書では、２個以上の要素に関する「及び／又は」の記述は、１個の要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１個」は、要素Ａの少なくとも１個、要素Ｂの少なくとも１個、或いは、要素Ａの少なくとも１個及び要素Ｂの少なくとも１個を含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１個」は、要素Ａのうちの少なくとも１個、要素Ｂのうちの少なくとも１個、或いは、要素Ａのうちの少なくとも１個及び要素Ｂのうちの少なくとも１個を含み得る。

本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。

Claims

自律マシンの軌道を選択する方法であって、前記自律マシンの潜在的な未来の位置の第１の一連の時間報酬を含む車線グラフを生成するステップと、前記自律マシンが自律マシン・アクションを完了することを可能にする複数の可能な軌道を生成するステップと、入力として前記第１の一連の時間報酬を使用して前記可能な軌道の最適化尺度を生成するステップと、前記最適化尺度を使用して実装のための軌道を選択するステップと、前記自律マシンを使用して前記軌道を実装するステップとを含む、方法。
入力として第１の地理的エリアの地理的データ・セットを使用して始点とルート目的地との間のルートを選択するステップをさらに含む、請求項１に記載の方法。
前記第１の一連の時間報酬が、前記第１の地理的エリアより小さい第２の地理的エリアの車線情報を使用して計算される一連の順次的時間報酬を含む、請求項２に記載の方法。
前記複数の可能な軌道が、前記第２の地理的エリアより小さい第３の地理的エリアの詳細な車線情報を使用して生成される、請求項３に記載の方法。
前記第１の一連の時間報酬が、前記自律マシンでセンサによって検出される物体を表すローカル世界モデルからの場面情報なしに計算される、請求項３に記載の方法。
前記自律マシンでセンサによって検出される物体の予測される未来の物体位置を含む場面予測を生成するステップを含む、請求項１に記載の方法。
前記自律マシン・アクションが、入力として前記第１の一連の時間報酬を使用して選択される、請求項１に記載の方法。
前記車線グラフが、ルートの第２の車線上の前記自律マシンの潜在的な未来の位置の第２の一連の時間報酬を含む、請求項１に記載の方法。
自律マシンの軌道を選択する方法であって、前記自律マシンに対応する１つ又は複数のセンサによって検出された物体の予測される未来の物体位置を含む場面予測を生成するステップと、自律マシン・アクションのための複数の可能な軌道を生成するステップであって、前記複数の可能な軌道が、前記自律マシン・アクションに対応する公称横方向レール内の複数の縦方向条件及び横方向条件を有する、ステップと、前記場面予測及び前記自律マシンの複数の潜在的な未来の位置に対応する第１の一連の時間報酬を使用して前記複数の可能な軌道を評価して、前記複数の可能な軌道の最適化尺度を生成するステップと、評価のための追加の軌道を生成するために使用される開始パラメータ・セットの軌道を、前記最適化尺度を使用して選択するステップと、前記最適化尺度を使用して前記追加の軌道から個々の軌道を選択するステップと、前記自律マシンの前記個々の軌道を実装するステップとを含む、方法。
前記場面予測を使用して前記自律マシン・アクションの縦方向制限を生成する、請求項９に記載の方法。
詳細なプランニングのための追加の自律マシン・アクションを選択するステップと、前記追加の自律マシン・アクションの追加の複数の軌道を生成するステップと、前記追加の軌道の前記最適化尺度を生成するために、前記場面予測及び前記第１の一連の時間報酬を使用して前記追加の複数の軌道において前記追加の軌道を評価するステップとをさらに含む、請求項９に記載の方法。
前記自律マシン・アクションの前記選択が、選択入力データとして車線グラフを使用して実行される、請求項９に記載の方法。
入力として第１の地理的エリアの地理的データ・セットを使用して始点とルート目的地との間のルートを選択するステップをさらに含む、請求項９に記載の方法。
前記第１の一連の時間報酬が、前記第１の地理的エリアより小さい第２の地理的エリアの車線情報を使用して計算される、請求項１３に記載の方法。
前記第１の一連の時間報酬が、前記自律マシンの潜在的な未来の位置の第２の一連の順次的時間報酬を含む注釈付き車線グラフに対応する、請求項９に記載の方法。
前記第１の一連の時間報酬が、前記自律マシンで前記１つ又は複数のセンサによって検出される物体を表すローカル世界モデルからの場面情報なしに計算される、請求項９に記載の方法。
自律マシン・アクションのための複数の可能な軌道を生成することであって、前記複数の可能な軌道が複数の縦方向条件及び複数の横方向条件を有する、生成することと、場面予測を使用して前記複数の可能な軌道内の軌道を評価して、前記軌道の最適化尺度を生成することと、前記最適化尺度を使用して前記複数の可能な軌道から個々の軌道を選択することと、自律マシンの前記個々の軌道を実装することとを行うための１つ又は複数の処理ユニットを備え、前記複数の縦方向条件が、前記場面予測に少なくとも基づき、前記複数の横方向条件が、前記自律マシンの進行方向に対応する公称レールに少なくとも基づく、プロセッサ。
前記１つ又は複数の処理ユニットがさらに、前記自律マシンの前記進行方向の第１の車線上の前記自律マシンの潜在的な未来の位置の第１の一連の時間報酬を含む注釈付き車線グラフを生成するためのものであり、個々の時間報酬が、ルート目的地までの移動時間を表す、請求項１７に記載のプロセッサ。
前記１つ又は複数の処理ユニットがさらに、評価のための追加の軌道を生成するために使用される開始パラメータ・セットの軌道を、前記最適化尺度を使用して選択することと、前記場面予測を使用して前記追加の軌道を評価して、前記追加の軌道の前記最適化尺度を生成することとを行うためのものである、請求項１７に記載のプロセッサ。
前記追加の軌道が、前記複数の可能な軌道において見つからない新しい複数の縦方向条件及び横方向条件の組合せを含む、請求項１９に記載のプロセッサ。