JP2020123334A - 自律走行モードとマニュアル走行モードとの間の走行モードを変更するために自律走行の安全を確認するためのｒｎｎの学習方法及び学習装置、そしてテスト方法及びテスト装置 - Google Patents

Abstract

【課題】自律走行モードとマニュアル走行モードとの間のモード変更のためのＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する方法及び装置を提供する。【解決手段】学習装置は、自律走行自動車の前方及び後方カメラに対応するトレーニングイメージが取得されると、トレーニングイメージのそれぞれのペアを対応するＣＮＮに入力して、トレーニングイメージをコンカチネートして学習用特徴マップを生成する段階と、学習用特徴マップをフォワードＲＮＮのシーケンスに対応するＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）モデルとバックワードＲＮＮのシーケンスに対応するＬＳＴＭに入力して、学習用アップデート特徴マップを生成し、学習用特徴ベクトルをアテンションレイヤに入力して学習用自動走行モード値を生成する段階と、ロスレイヤをもって、ロスを算出させてＬＳＴＭモデルを学習させる段階と、を含む。【選択図】図２

Description

本発明は、自律走行モードとマニュアル走行モードとの間のモード変更のためのＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する方法及び装置、そしてこれを利用してテストする方法及び装置に関し、より詳細には、統合された多数のカメラ情報を利用して自律走行自動車の危険状況を認識して、自律走行モードとマニュアル走行モードとの間の走行モードを変更するために少なくとも一つの自律走行の安全を確認するＲＮＮを学習する方法及び装置、そしてこれを利用してテストする方法及び装置に関する。

自律走行自動車は、一つの場所から他の場所に乗客を輸送するのに役立つ様々なコンピューティングシステムを使用する。一部の自律走行自動車は、パイロット、運転者または乗客のような運営者から一部の初期入力または連続入力を取得することができる。他のシステム、例えばオートパイロットシステムは、運営者がマニュアル走行モードから自動走行モードに変更し得るようにすることができる。

特に、米国登録特許ＵＳ８８１８６０８号には、特定の条件下で自律走行モードをマニュアル走行モードに変更する方法が開示されている。

しかしながら、従来の自律走行自動車において走行モードを変更するためには様々な走行情報が必要である。このために、様々なセンサが従来の自律走行自動車に設置されなければならないため、従来の自律走行自動車の製造費用を増加させる問題点がある。

また、従来の自律走行自動車では、走行モードを変更するために様々なセンサから大量のセンサ情報を処理しなければならないため、莫大なコンピューティングソース（Ｃｏｍｐｕｔｉｎｇ Ｓｏｕｒｃｅ）が必要である。

本発明は、上述した問題点を全て解決することをその目的とする。

本発明は、自律走行自動車の製造費用を増加させずに、走行モード変更のための自律走行の安全を確認し得るようにすることを他の目的とする。

本発明は、自律走行自動車の走行モード変更のための走行情報を取得することができるセンサの数を従来の方法に比べて最小化し得るようにすることをまた他の目的とする。

本発明は、自律走行自動車の走行モード変更のための走行情報を取得するために、センサ情報処理をより少ないコンピューティングソース（Ｃｏｍｐｕｔｉｎｇ Ｓｏｕｒｃｅ）で可能にすることをまた他の目的とする。

前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は下記のとおりである。

本発明の一態様によると、自律走行自動車の走行モードを変更するために使用される、自律走行の安全性を確認するＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する方法において、（ａ）学習用自律走行自動車の学習用前方カメラと学習用後方カメラとにそれぞれ対応するシーケンスイメージである第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとが取得されると、学習装置が、第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージ（前記ｋは整数（ｉｎｔｅｇｅｒ）であり、シーケンスはｎから１に進行する）とで構成されたペア（Ｐａｉｒ）それぞれを、前記ペアそれぞれのシーケンスに対応する第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ないし第ｎＣＮＮにそれぞれ入力して、第ｋＣＮＮをもって、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させた後、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して学習用第１特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）ないし学習用第ｎ特徴マップを生成させる段階；（ｂ）前記学習装置が、（ｉ）前記学習用第１特徴マップないし前記学習用第ｎ特徴マップをフォワードＲＮＮ（Ｆｏｒｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第１＿１ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）モデルないし第１＿ｎＬＳＴＭモデルそれぞれに入力し、バックワードＲＮＮ（Ｂａｃｋｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉ−１）第１＿ｋＬＳＴＭモデルをもって、（ｉ−１−ａ）第１＿（ｋ＋１）ＬＳＴＭモデルから出力される学習用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力される学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第１＿ｋアップデート特徴マップを生成させ、（ｉ−１−ｂ）前記学習用第１＿ｋアップデート特徴マップに対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用した結果である学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させ、（ｉ−２）第２＿ｋＬＳＴＭモデルをもって、（ｉ−２−ａ）第２＿（ｋ−１）ＬＳＴＭモデルから出力される学習用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第２＿ｋアップデート特徴マップを生成させ、（ｉ−２−ｂ）前記学習用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果である学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとをアテンションレイヤ（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）に入力して、前記アテンションレイヤをもって、前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとを参照して、前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとのすべてのシーケンスにおける学習用自律走行モード値（Ａｕｔｏｎｏｍｏｕｓ−Ｄｒｉｖｉｎｇ Ｍｏｄｅ Ｖａｌｕｅ）を生成させるプロセスを遂行する段階；及び（ｃ）前記学習装置が、ロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用自律走行モード値とこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用したバックプロパゲーションを通じて前記ロスを最小化するように前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルと前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルとを学習するプロセスを遂行する段階；を含むことを特徴とする。

一実施例において、前記（ｂ）段階で、前記学習装置は、前記アテンションレイヤをもって、（ｉ）学習用第１＿ｋ特徴ベクトルと学習用第２＿ｋ特徴ベクトルとをコンカチネートさせて、学習用第１コンカチネート済み特徴ベクトルないし学習用第ｎコンカチネート済み特徴ベクトルを生成させ、（ｉｉ）前記学習用第１コンカチネート済み特徴ベクトルないし前記学習用第ｎコンカチネート済み特徴ベクトルに対して加重平均（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）させて、前記学習用自律走行モード値を生成させることを特徴とする。

一実施例において、前記（ａ）段階で、前記学習装置は、前記第１ＣＮＮないし前記第ｎＣＮＮそれぞれをもって、（ｉ）前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをそれぞれコンカチネートさせて第ｋコンカチネート済みトレーニングイメージを生成させ、（ｉｉ）前記第ｋコンカチネート済みトレーニングイメージに対してコンボリューション演算を適用させて前記学習用第１特徴マップないし前記学習用第ｎ特徴マップを生成させる。

一実施例において、前記（ｂ）段階で、前記学習装置は、（ｉ）前記第１＿ｋＬＳＴＭモデルをもって、前記学習用第１＿（ｋ＋１）アップデート特徴マップと前記学習用第１＿ｋ特徴マップとを参照して、学習用走行環境が危険状況（Ｈａｚａｒｄ Ｓｉｔｕａｔｉｏｎ）であるかを前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記第２＿ｋＬＳＴＭモデルをもって、前記学習用第２＿（ｋ−１）アップデート特徴マップと前記学習用第２＿ｋ特徴マップとを参照して、前記学習用走行環境が危険状況であるかを前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することを特徴とする。

一実施例において、前記（ｃ）段階で、前記学習装置は、前記ロスレイヤをもって、ソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを利用して前記学習用自律走行モード値を正規化（Ｎｏｒｍａｌｉｚｅ）するプロセス、及び正規化された前記学習用自律走行モード値と前記原本正解とを参照して前記ロスを算出するプロセスを遂行することを特徴とする。

一実施例において、前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとは、（ｉ）（ｉ−１）前記学習用自律走行自動車の前記学習用前方カメラから撮影される映像を予め設定された時間間隔でサンプリングして第１シーケンスイメージを抽出するプロセス、及び（ｉ−２）抽出された前記第１シーケンスイメージそれぞれに対して自律走行が可能であるか否かをラベリングするプロセス、及び（ｉｉ）（ｉｉ−１）前記学習用自律走行自動車の前記学習用後方カメラから撮影される映像を前記予め設定された時間間隔でサンプリングして第２シーケンスイメージを抽出するプロセス、及び（ｉｉ−２）サンプリングされた前記第２シーケンスイメージそれぞれに対して自律走行が可能であるか否かをラベリングするプロセスを遂行して生成されることを特徴とする。

一実施例において、前記（ｃ）段階で、前記原本正解は、前記シーケンスイメージのうち前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージのネクストシーケンスに対応する第１ネクストシーケンスイメージ（Ｎｅｘｔ Ｓｅｑｕｅｎｃｅ Ｉｍａｇｅ）と、前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとの前記ネクストシーケンスに対応する第２ネクストシーケンスイメージから取得されることを特徴とする。

本発明の他の態様によると、自律走行自動車の走行モード変更のために使用される、自律走行の安全性を確認するＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をテストする方法において、（ａ）学習用自律走行自動車の学習用前方カメラと学習用後方カメラとにそれぞれ対応するシーケンスイメージである第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとが取得されると、学習装置が、（ｉ）第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージ（前記ｋは整数であり、シーケンスはｎから１に進行する）とで構成されたペア（Ｐａｉｒ）それぞれを、前記ペアそれぞれのシーケンスに対応する第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ないし第ｎＣＮＮにそれぞれ入力して、第ｋＣＮＮをもって、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させた後、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して学習用第１特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）ないし学習用第ｎ特徴マップを生成させるプロセス、（ｉｉ）前記学習用第１特徴マップないし前記学習用第ｎ特徴マップをフォワードＲＮＮ（Ｆｏｒｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第１＿１ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）モデルないし第１＿ｎＬＳＴＭモデルそれぞれに入力し、バックワードＲＮＮ（Ｂａｃｋｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉｉ−１）第１＿ｋＬＳＴＭモデルをもって、（ｉｉ−１−ａ）第１＿（ｋ＋１）ＬＳＴＭモデルから出力される学習用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力される学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第１＿ｋアップデート特徴マップを生成させ、（ｉｉ−１−ｂ）前記学習用第１＿ｋアップデート特徴マップに対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用した結果である学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させ、（ｉｉ−２）第２＿ｋＬＳＴＭモデルをもって、（ｉｉ−２−ａ）第２＿（ｋ−１）ＬＳＴＭモデルから出力される学習用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第２＿ｋアップデート特徴マップを生成させ、（ｉｉ−２−ｂ）前記学習用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果である学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセス、（ｉｉｉ）前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと、前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとをアテンションレイヤ（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）に入力して、前記アテンションレイヤをもって、前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとを参照して、前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとのすべてのシーケンスにおける学習用自律走行モード値（Ａｕｔｏｎｏｍｏｕｓ−Ｄｒｉｖｉｎｇ Ｍｏｄｅ Ｖａｌｕｅ）を生成させるプロセス、及び（ｉｖ）ロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用自律走行モード値とこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用したバックプロパゲーションを通じて前記ロスを最小化するように前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルと前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルとを学習するプロセスを遂行した状態で、走行中であるテスト用自律走行自動車のテスト用前方カメラとテスト用後方カメラとから前記テスト用自律走行自動車のテスト用前方映像とテスト用後方映像とが取得されると、テスト装置が、前記テスト用前方映像の現在フレームに対応する第１テストイメージと前記テスト用後方映像の前記現在フレームに対応する第２テストイメージとを前記第１ＣＮＮに入力して、前記第１ＣＮＮをもって、前記第１テストイメージと前記第２テストイメージとのコンカチネーティング結果に対してコンボリューション演算を適用してテスト用第１特徴マップを生成させる段階；及び（ｂ）前記テスト装置が、（ｉ）前記テスト用第１特徴マップないし前記テスト用第ｎ特徴マップを前記フォワードＲＮＮのそれぞれのシーケンスに対応する前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルそれぞれに入力し、前記バックワードＲＮＮのそれぞれのシーケンスに対応する前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉ−１）前記第１＿ｋＬＳＴＭモデルをもって、（ｉ−１−ａ）前記第１＿（ｋ＋１）ＬＳＴＭモデルから出力されるテスト用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力されるテスト用第ｋ特徴マップとをいずれも参照して、前記テスト用第ｋ特徴マップをアップデートした結果であるテスト用第１＿ｋアップデート特徴マップを生成させ、（ｉ−１−ｂ）前記テスト用第１＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果であるテスト用第１＿１特徴ベクトルないしテスト用第１＿ｎ特徴ベクトルを生成させ、（ｉ−２）前記第２＿ｋＬＳＴＭモデルをもって、（ｉ−２−ａ）前記第２＿（ｋ−１）ＬＳＴＭモデルから出力されるテスト用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記テスト用第ｋ特徴マップとをいずれも参照して、前記テスト用第ｋ特徴マップをアップデートした結果であるテスト用第２＿ｋアップデート特徴マップを生成させ、（ｉ−２−ｂ）前記テスト用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果であるテスト用第２＿１特徴ベクトルないしテスト用第２＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記テスト用第１＿１特徴ベクトルないし前記テスト用第１＿ｎ特徴ベクトルと前記テスト用第２＿１特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルとを前記アテンションレイヤに入力して、前記アテンションレイヤをもって、前記テスト用第１＿１特徴ベクトルないし前記テスト用第１＿ｎ特徴ベクトルと前記テスト用第２＿１特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルとを参照して前記第１＿１テストイメージないし前記第１＿ｎテストイメージと前記第２＿１テストイメージないし前記第２＿ｎテストイメージとのすべてのシーケンスにおけるテスト用自律走行モード値を生成させる段階；を含むことを特徴とする。

一実施例において、前記（ｂ）段階で、前記テスト装置は、前記アテンションレイヤをもって、（ｉ）テスト用第１＿ｋ特徴ベクトルとテスト用第２＿ｋ特徴ベクトルとをコンカチネートさせて、テスト用第１コンカチネート済み特徴ベクトルないしテスト用第ｎコンカチネート済み特徴ベクトルを生成させ、（ｉｉ）前記テスト用第１コンカチネート済み特徴ベクトルないし前記テスト用第ｎコンカチネート済み特徴ベクトルに対して加重平均（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）させて、前記テスト用自律走行モード値を生成させるプロセスを遂行することを特徴とする。

一実施例において、前記（ａ）段階で、前記テスト装置は、前記第１ＣＮＮをもって、（ｉ）前記第１テストイメージと前記第２テストイメージとをコンカチネートさせて第１コンカチネート済みテストイメージを生成させ、（ｉｉ）前記第１コンカチネート済みテストイメージに対してコンボリューション演算を適用させて前記テスト用第１特徴マップを生成させるプロセスを遂行することを特徴とする。

一実施例において、前記（ｂ）段階で、前記テスト装置は、（ｉ）前記第１＿１ＬＳＴＭモデルをもって、前記テスト用第１＿２アップデート特徴マップと前記テスト用第１特徴マップとを参照して、テスト用走行環境が危険状況（Ｈａｚａｒｄ Ｓｉｔｕａｔｉｏｎ）であるかを前記第１テストイメージと前記第２テストイメージとのペアを参照して確認するのに使用される特徴に対応する前記テスト用第１＿１特徴ベクトルを生成させるプロセス、（ｉｉ）前記第２＿１ＬＳＴＭモデルをもって、前記テスト用第２＿１アップデート特徴マップを参照して、前記テスト用走行環境が危険状況であるかを前記第１テストイメージと前記第２テストイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記テスト用第２＿１特徴ベクトルを生成させるプロセス、及び（ｉｉｉ）前記第２＿ｍＬＳＴＭモデルをもって、前記テスト用第２＿（ｍ−１）アップデート特徴マップと前記テスト用第ｍ特徴マップとを参照して、前記テスト用走行環境が危険状況であるかを前記第１テストイメージと前記第２テストイメージとの前記ペアを参照して確認するのに使用される特徴に対応するテスト用第２＿２特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することを特徴とする。

本発明のまた他の態様によると、自律走行自動車の走行モード変更のために使用される、自律走行の安全性を確認するＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）学習用自律走行自動車の学習用前方カメラと学習用後方カメラとにそれぞれ対応するシーケンスイメージである第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとが取得されると、第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージ（前記ｋは整数であり、シーケンスはｎから１に進行する）とで構成されたペア（Ｐａｉｒ）それぞれを、前記ペアそれぞれのシーケンスに対応する第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ないし第ｎＣＮＮにそれぞれ入力して、第ｋＣＮＮをもって、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させた後、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して学習用第１特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）ないし学習用第ｎ特徴マップを生成させるプロセス、（ＩＩ）（ｉ）前記学習用第１特徴マップないし前記学習用第ｎ特徴マップをフォワードＲＮＮ（Ｆｏｒｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第１＿１ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）モデルないし第１＿ｎＬＳＴＭモデルそれぞれに入力し、バックワードＲＮＮ（Ｂａｃｋｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉ−１）第１＿ｋＬＳＴＭモデルをもって、（ｉ−１−ａ）第１＿（ｋ＋１）ＬＳＴＭモデルから出力される学習用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力される学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第１＿ｋアップデート特徴マップを生成させ、（ｉ−１−ｂ）前記学習用第１＿ｋアップデート特徴マップに対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用した結果である学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させ、（ｉ−２）第２＿ｋＬＳＴＭモデルをもって、（ｉ−２−ａ）第２＿（ｋ−１）ＬＳＴＭモデルから出力される学習用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第２＿ｋアップデート特徴マップを生成させ、（ｉ−２−ｂ）前記学習用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果である学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとをアテンションレイヤ（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）に入力して、前記アテンションレイヤをもって、前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとを参照して、前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとのすべてのシーケンスにおける学習用自律走行モード値（Ａｕｔｏｎｏｍｏｕｓ−Ｄｒｉｖｉｎｇ Ｍｏｄｅ Ｖａｌｕｅ）を生成させるプロセス、及び（ＩＩＩ）ロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用自律走行モード値とこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用したバックプロパゲーションを通じて前記ロスを最小化するように前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルと前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルとを学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記アテンションレイヤをもって、（ｉ）学習用第１＿ｋ特徴ベクトルと学習用第２＿ｋ特徴ベクトルとをコンカチネートさせて、学習用第１コンカチネート済み特徴ベクトルないし学習用第ｎコンカチネート済み特徴ベクトルを生成させ、（ｉｉ）前記学習用第１コンカチネート済み特徴ベクトルないし前記学習用第ｎコンカチネート済み特徴ベクトルに対して加重平均（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）させて、前記学習用自律走行モード値を生成させることを特徴とする。

一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記第１ＣＮＮないし前記第ｎＣＮＮそれぞれをもって、（ｉ）前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをそれぞれコンカチネートさせて第ｋコンカチネート済みトレーニングイメージを生成させ、（ｉｉ）前記第ｋコンカチネート済みトレーニングイメージに対してコンボリューション演算を適用させて前記学習用第１特徴マップないし前記学習用第ｎ特徴マップを生成させる。

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１＿ｋＬＳＴＭモデルをもって、前記学習用第１＿（ｋ＋１）アップデート特徴マップと前記学習用第１＿ｋ特徴マップとを参照して、学習用走行環境が危険状況（Ｈａｚａｒｄ Ｓｉｔｕａｔｉｏｎ）であるかを前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記第２＿ｋＬＳＴＭモデルをもって、前記学習用第２＿（ｋ−１）アップデート特徴マップと前記学習用第２＿ｋ特徴マップとを参照して、前記学習用走行環境が危険状況であるかを前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することを特徴とする。

一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記ロスレイヤをもって、ソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを利用して前記学習用自律走行モード値を正規化（Ｎｏｒｍａｌｉｚｅ）するプロセス、及び正規化された前記学習用自律走行モード値と前記原本正解とを参照して前記ロスを算出するプロセスを遂行することを特徴とする。

一実施例において、前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとは、（ｉ）（ｉ−１）前記学習用自律走行自動車の前記学習用前方カメラから撮影される映像を予め設定された時間間隔でサンプリングして第１シーケンスイメージを抽出するプロセス、及び（ｉ−２）抽出された前記第１シーケンスイメージそれぞれに対して自律走行が可能であるか否かをラベリングするプロセス、及び（ｉｉ）（ｉｉ−１）前記学習用自律走行自動車の前記学習用後方カメラから撮影される映像を前記予め設定された時間間隔でサンプリングして第２シーケンスイメージを抽出するプロセス、及び（ｉｉ−２）サンプリングされた前記第２シーケンスイメージそれぞれに対して自律走行が可能であるか否かをラベリングするプロセスを遂行して生成されることを特徴とする。

一実施例において、前記（ＩＩＩ）プロセスで、前記原本正解は、前記シーケンスイメージのうち前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージのネクストシーケンスに対応する第１ネクストシーケンスイメージ（Ｎｅｘｔ Ｓｅｑｕｅｎｃｅ Ｉｍａｇｅ）と、前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとの前記ネクストシーケンスに対応する第２ネクストシーケンスイメージから取得されることを特徴とする。

本発明のまた他の態様によると、自律走行自動車の走行モード変更のために使用される、自律走行の安全性を確認するＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をテストするテスト装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）学習用自律走行自動車の学習用前方カメラと学習用後方カメラとにそれぞれ対応するシーケンスイメージである第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとが取得されると、学習装置が、（ｉ）第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージ（前記ｋは整数であり、シーケンスはｎから１に進行する）とで構成されたペア（Ｐａｉｒ）それぞれを、前記ペアそれぞれのシーケンスに対応する第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ないし第ｎＣＮＮにそれぞれ入力して、第ｋＣＮＮをもって、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させた後、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して学習用第１特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）ないし学習用第ｎ特徴マップを生成させるプロセス、（ｉｉ）前記学習用第１特徴マップないし前記学習用第ｎ特徴マップをフォワードＲＮＮ（Ｆｏｒｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第１＿１ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）モデルないし第１＿ｎＬＳＴＭモデルそれぞれに入力し、バックワードＲＮＮ（Ｂａｃｋｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉｉ−１）第１＿ｋＬＳＴＭモデルをもって、（ｉｉ−１−ａ）第１＿（ｋ＋１）ＬＳＴＭモデルから出力される学習用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力される学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第１＿ｋアップデート特徴マップを生成させ、（ｉｉ−１−ｂ）前記学習用第１＿ｋアップデート特徴マップに対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用した結果である学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させ、（ｉｉ−２）第２＿ｋＬＳＴＭモデルをもって、（ｉｉ−２−ａ）第２＿（ｋ−１）ＬＳＴＭモデルから出力される学習用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第２＿ｋアップデート特徴マップを生成させ、（ｉｉ−２−ｂ）前記学習用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果である学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセス、（ｉｉｉ）前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとをアテンションレイヤ（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）に入力して、前記アテンションレイヤをもって、前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとを参照して、前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとのすべてのシーケンスにおける学習用自律走行モード値（Ａｕｔｏｎｏｍｏｕｓ−Ｄｒｉｖｉｎｇ Ｍｏｄｅ Ｖａｌｕｅ）を生成させるプロセス、及び（ｉｖ）ロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用自律走行モード値とこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用したバックプロパゲーションを通じて前記ロスを最小化するように前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルと前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルとを学習するプロセスを遂行した状態で、走行中であるテスト用自律走行自動車のテスト用前方カメラとテスト用後方カメラとから前記テスト用自律走行自動車のテスト用前方映像とテスト用後方映像とが取得されると、前記テスト用前方映像の現在フレームに対応する第１テストイメージと前記テスト用後方映像の前記現在フレームに対応する第２テストイメージとを前記第１ＣＮＮに入力して、前記第１ＣＮＮをもって、前記第１テストイメージと前記第２テストイメージとのコンカチネーティング結果に対してコンボリューション演算を適用してテスト用第１特徴マップを生成させるプロセス、及び（ＩＩ）（ｉ）前記テスト用第１特徴マップないし前記テスト用第ｎ特徴マップを前記フォワードＲＮＮのそれぞれのシーケンスに対応する前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルそれぞれに入力し、前記バックワードＲＮＮのそれぞれのシーケンスに対応する前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉ−１）前記第１＿ｋＬＳＴＭモデルをもって、（ｉ−１−ａ）前記第１＿（ｋ＋１）ＬＳＴＭモデルから出力されるテスト用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力されるテスト用第ｋ特徴マップとをいずれも参照して、前記テスト用第ｋ特徴マップをアップデートした結果であるテスト用第１＿ｋアップデート特徴マップを生成させ、（ｉ−１−ｂ）前記テスト用第１＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果であるテスト用第１＿１特徴ベクトルないしテスト用第１＿ｎ特徴ベクトルを生成させ、（ｉ−２）前記第２＿ｋＬＳＴＭモデルをもって、（ｉ−２−ａ）前記第２＿（ｋ−１）ＬＳＴＭモデルから出力されるテスト用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記テスト用第ｋ特徴マップとをいずれも参照して、前記テスト用第ｋ特徴マップをアップデートした結果であるテスト用第２＿ｋアップデート特徴マップを生成させ、（ｉ−２−ｂ）前記テスト用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果であるテスト用第２＿１特徴ベクトルないしテスト用第２＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記テスト用第１＿１特徴ベクトルないし前記テスト用第１＿ｎ特徴ベクトルと前記テスト用第２＿１特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルとを前記アテンションレイヤに入力して、前記アテンションレイヤをもって、前記テスト用第１＿１特徴ベクトルないし前記テスト用 第１＿ｎ特徴ベクトルと前記テスト用第２＿１特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルとを参照して前記第１＿１テストイメージないし前記第１＿ｎテストイメージと前記第２＿１テストイメージないし前記第２＿ｎテストイメージとのすべてのシーケンスにおけるテスト用自律走行モード値を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記アテンションレイヤをもって、（ｉ）テスト用第１＿ｋ特徴ベクトルとテスト用第２＿ｋ特徴ベクトルとをコンカチネートさせて、テスト用第１コンカチネート済み特徴ベクトルないしテスト用第ｎコンカチネート済み特徴ベクトルを生成させ、（ｉｉ）前記テスト用第１コンカチネート済み特徴ベクトルないし前記テスト用第ｎコンカチネート済み特徴ベクトルに対して加重平均（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）させて、前記テスト用自律走行モード値を生成させるプロセスを遂行することを特徴とする。

一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記第１ＣＮＮをもって、（ｉ）前記第１テストイメージと前記第２テストイメージとをコンカチネートさせて第１コンカチネート済みテストイメージを生成させ、（ｉｉ）前記第１コンカチネート済みテストイメージに対してコンボリューション演算を適用させて、前記テスト用第１特徴マップを生成させるプロセスを遂行することを特徴とする。

一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１＿１ＬＳＴＭモデルをもって、前記テスト用第１＿２アップデート特徴マップと前記テスト用第１特徴マップとを参照して、テスト用走行環境が危険状況（Ｈａｚａｒｄ Ｓｉｔｕａｔｉｏｎ）であるかを前記第１テストイメージと前記第２テストイメージとのペアを参照して確認するのに使用される特徴に対応する前記テスト用第１＿１特徴ベクトルを生成させるプロセス、（ｉｉ）前記第２＿１ＬＳＴＭモデルをもって、前記テスト用第２＿１アップデート特徴マップを参照して、前記テスト用走行環境が危険状況であるかを前記第１テストイメージと前記第２テストイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記テスト用第２＿１特徴ベクトルを生成させるプロセス、及び（ｉｉｉ）前記第２＿ｍＬＳＴＭモデルをもって、前記テスト用第２＿（ｍ−１）アップデート特徴マップと前記テスト用第ｍ特徴マップとを参照して、前記テスト用走行環境が危険状況であるかを前記第１テストイメージと前記第２テストイメージとの前記ペアを参照して確認するのに使用される特徴に対応するテスト用第２＿２特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。

本発明は、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して、多数の統合カメラ情報を分析して危険状況（Ｈａｚａｒｄｏｕｓ Ｓｉｔｕａｔｉｏｎ）を認知し、自律走行の安全性を確認して自律走行自動車の自動走行モードとマニュアル走行モードとの間の走行モード変更によって、従来の多様なセンサを利用することとは異なり、自律走行自動車の製造費用の増加を防止する効果がある。

本発明は、ＲＮＮを利用して、多数の統合カメラ情報を分析して危険状況を認知し、自律走行の安全性を確認して自律走行自動車の自動走行モードとマニュアル走行モードとの間の走行モード変更によって、従来の方法に比べてセンサの個数を最少化することができる他の効果がある。

本発明は、ＲＮＮを利用して、多数の統合カメラ情報を分析して危険状況を認知し、自律走行の安全性を確認して自律走行自動車の自動走行モードとマニュアル走行モードとの間の走行モード変更によって、多数の統合カメラ情報が処理されるため、従来の方法に比べてより少ないコンピューティングソース（Ｃｏｍｐｕｔｉｎｇ Ｓｏｕｒｃｅ）で自律走行自動車の走行モードを変更することができる、また他の効果がある。

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図１は、本発明の一実施例にしたがって、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するために使用されるＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する学習装置を簡略に示したものである。 図２は、本発明の一実施例にしたがって、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するために使用されるＲＮＮを学習する方法を簡略に示したものである。 図３は、本発明の一実施例にしたがって、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するために使用されるＲＮＮを学習するためのトレーニングデータを生成するプロセスを簡略に示したものである。 図４は、本発明の一実施例にしたがって、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するために使用されるＲＮＮをテストするテスト装置を簡略に示したものである。 図５は、本発明の一実施例にしたがって、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するために使用されるＲＮＮを適用した自律走行自動車の走行状態を簡略に示したものである。 図６は、本発明の一実施例にしたがって、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するために使用されるＲＮＮのためのテスト方法を簡略に示したものである。

後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。

さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。

図１は、本発明の一実施例にしたがって、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するために使用されるＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する学習装置を簡略に示したものである。図１を参照すると、学習装置１００は、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するために使用されるＲＮＮを学習するためのインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納するメモリ１１０と、メモリ１１０に格納されたインストラクションに対応して自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するために使用されるＲＮＮを学習するプロセッサ１２０とを含むことができる。

具体的に、学習装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。

また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。

しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又は他のコンピューティング構成要素の何らかの組み合わせを含む統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ）を排除するものではない。

このように構成された本発明の一実施例による学習装置１００を利用して、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するためのＲＮＮを学習する方法を、図２を参照して説明すると次のとおりである。

まず、学習装置１００は、学習用自律走行自動車における少なくとも一つの学習用前方カメラと少なくとも一つの学習用後方カメラとに対応する学習用シーケンスイメージを含むトレーニングデータを取得することができる。本発明全般にわたって、「シーケンス（Ｓｅｑｕｅｎｃｅ）」または「各シーケンス（Ｓｅｑｕｅｎｃｅｓ）」は、その次の名詞が現れずに単独で使用される場合に「タイムシーケンス（Ｓｅｑｕｅｎｃｅ Ｉｎ Ｔｉｍｅ）」または「各タイムシーケンス（Ｓｅｑｕｅｎｃｅｓ Ｉｎ Ｔｉｍｅ）」を表す。すなわち、「シーケンスイメージ（Ｓｅｑｕｅｎｃｅ Ｉｍａｇｅ）」などに使用されている「シーケンス」は、時間の概念を示さないことがあり得る。

この場合、図３を参照すると、トレーニングデータは、学習用自律走行自動車における学習用前方カメラに対応する学習用シーケンスイメージである１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと、学習用自律走行自動車における学習用後方カメラに対応する学習用シーケンスイメージである第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとを含むことができる。この場合、ｎは整数（ｉｎｔｅｇｅｒ）であり、シーケンスはｎから１に進行し得る。

一例として、トレーニングデータを生成するために、学習用自律走行自動車における学習用前方カメラから撮影される映像を予め設定された時間間隔で（一例として１秒ごと）サンプリングして学習用シーケンスイメージを生成し、それぞれの学習用シーケンスイメージに対して自律走行が可能であるか否かをラベリングして第１＿１イメージないし第１＿ｎイメージを生成することができる。そして、学習用自律走行自動車における学習用後方カメラから撮影される映像を予め設定された時間間隔でサンプリングして学習用シーケンスイメージを生成し、それぞれの学習用シーケンスイメージに対して自律走行が可能であるか否かをラベリングして第２＿１イメージないし第２＿ｎイメージを生成する。そして、ｋを１以上であり、ｎ以下の整数であるとする場合、シーケンスに対応する第１＿ｋイメージと第２＿ｋイメージとで構成されたそれぞれのペア（Ｐａｉｒ）を含む少なくとも一つのトレーニングデータを生成することができる。そして、上記のような方法により学習に必要かつ十分なトレーニングデータを生成することができる。

この際、トレーニングデータに含まれる第１＿ｋイメージと第２＿ｋイメージとのペアの個数は、ＲＮＮにおけるＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ Ｎｅｔｗｏｒｋ）の個数に対応するように設定できる。

一方、自律走行が不可能な状況は、自律走行自動車を継続的に自律走行モードで走行させる場合、事故や誤作動が発生する可能性のある走行環境であり得、一例として、トンネル内の走行、豪雨、豪雪、低照度の場合、カメラレンズに異物が付いた場合などのように自律走行のために必要な情報の検出が難しい走行環境と、道路上で事故が発生した場合、加速した自動車が接近する場合、非正常な走行をする近隣の自動車がある場合などのような危険状況であり得る。しかし、本発明がこれに限定されるわけではない。

したがって、自律走行が可能な状況に対応するシーケンスイメージと、自律走行が不可能な状況に対応するシーケンスイメージとを収集して、トレーニングデータを生成することができる。

次に、学習装置１００は、トレーニングデータ上の第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージとのそれぞれのペアをそれぞれのシーケンスに対応する第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ないし第ｎＣＮＮに入力して、ｋが１からｎまでである場合、第ｋＣＮＮ、すなわち、第１ＣＮＮないし第ｎＣＮＮそれぞれをもって、それ自体のシーケンスに対応するペア上の第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージとをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させた後、第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して学習用第１特徴マップないし学習用第ｎ特徴マップを生成させることができる。この際、学習装置１００は、第１ＣＮＮないし第ｎＣＮＮそれぞれをもって、（ｉ）第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージとをそれぞれコンカチネートさせて第ｋコンカチネート済みトレーニングイメージを生成させ、（ｉｉ）第ｋコンカチネート済みトレーニングイメージに対してコンボリューション演算を適用して学習用第１特徴マップないし学習用第ｎ特徴マップを生成させることができる。すなわち、第１ＣＮＮないし第ｎＣＮＮは、多数のカメラ情報をそれぞれ融合して一つの情報として出力することができる。この場合、第１ＣＮＮないし第ｎＣＮＮは予め学習された状態であり得る。

次に、学習装置１００は、学習用第１特徴マップないし学習用第ｎ特徴マップをフォワード（Ｆｏｒｗａｒｄ）ＲＮＮのそれぞれのシーケンスに対応する第１＿１ＬＳＴＭモデルないし第１＿ｎＬＳＴＭモデルに入力して、第１＿ｋＬＳＴＭモデルをもって、（ｉ）第１＿（ｋ＋１）ＬＳＴＭモデルから出力される学習用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と第ｋＣＮＮから出力される学習用第ｋ特徴マップとをいずれも参照して学習用第ｋ特徴マップをアップデートした結果である学習用第１＿ｋアップデート特徴マップを生成させ、（ｉｉ）第１＿ｋアップデート特徴マップに対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用して学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させるプロセスを遂行することができる。

すなわち、学習装置１００は、第１＿ｋＬＳＴＭモデルをもって、学習用第１＿（ｋ＋１）アップデート特徴マップと学習用第１＿ｋ特徴マップとを参照して、学習用走行環境が危険状況（Ｈａｚａｒｄ Ｓｉｔｕａｔｉｏｎ）であるかを第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージとのペアを参照して確認するのに使用される特徴に対応する学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させるプロセスを遂行することができる。

また、学習装置１００は、学習用第１特徴マップないし学習用第ｎ特徴マップをバックワード（Ｂａｃｋｗａｒｄ）ＲＮＮのそれぞれのシーケンスに対応する第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルに入力して、第２＿ｋＬＳＴＭモデルをもって、（ｉ）（ｉ−１）第２＿（ｋ−１）ＬＳＴＭモデルから出力される学習用第２＿（ｋ−１）アップデート特徴マップと（ｉ−２）第ｋＣＮＮから出力される学習用第ｋ特徴マップとをいずれも参照して学習用第ｋ特徴マップをアップデートした結果である学習用第２＿ｋアップデート特徴マップを生成させ、（ｉｉ）第２＿ｋアップデート特徴マップに対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用して学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することができる。

すなわち、学習装置１００は、第２＿ｋＬＳＴＭモデルをもって、学習用第２＿（ｋ−１）アップデート特徴マップと学習用第２＿ｋ特徴マップとを参照して、学習用走行環境が危険状況であるかを第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージとのペアを参照して確認するのに使用される特徴に対応する学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することができる。

次に、学習装置１００は、学習用第１＿１特徴ベクトルないし学習用１＿ｎ特徴ベクトルと学習用２＿１特徴ベクトルないし学習用２＿ｎ特徴ベクトルとをアテンションレイヤ（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）に入力して、アテンションレイヤをもって、学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルと学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルとを参照して学習用第１＿１イメージないし学習用第１＿ｎイメージと学習用第２＿１イメージないし学習用第２＿ｎイメージとの全体シーケンスにおける学習用自律走行モード値（Ａｕｔｏｎｏｍｏｕｓ−Ｄｒｉｖｉｎｇ Ｍｏｄｅ Ｖａｌｕｅ）を生成させることができる。

すなわち、学習装置１００は、第１＿ｋＬＳＴＭと第２＿ｋＬＳＴＭとからそれぞれ出力される自律走行が可能な学習用走行環境であるかを示す学習用特徴ベクトルをコンカチネートし、学習用特徴ベクトルのコンカチネーティング結果を加重平均（Ｗｅｉｇｈｅｄ Ａｖｅｒａｇｅ）して、学習用第１＿１イメージないし学習用第１＿ｎイメージと学習用第２＿１イメージないし学習用第２＿ｎイメージとのそれぞれのペアに対する一定時間の間の走行情報を参照して学習用自律走行自動車が現時点で自律走行が可能であるか否かを示す学習用自律走行モード値を出力させることができる。

次に、学習装置１００は、少なくとも一つのロスレイヤをもって、（ｉ）アテンションレイヤから出力される、自律走行が可能であるか否かについての学習用自律走行モード値と（ｉｉ）これに対応する原本正解とを参照して少なくとも一つのロスを算出させることによって、ロスを利用したバックプロパゲーションを通じてロスが最小化されるようにバックワードＲＮＮの第２＿１ＬＳＴＭないし第２＿ｎＬＳＴＭ及びフォワードＲＮＮの第１＿１ＬＳＴＭないし第１＿ｎＬＳＴＭのうち少なくとも一つのパラメータの少なくとも一部を学習することができる。

この場合、学習装置１００は、ロスレイヤをもって、アテンションレイヤから出力される学習用自律走行モード値をソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを利用して正規化するプロセス、及び正規化された学習用自律走行モード値とこれに対応する原本正解とを参照してロスを算出するプロセスを遂行することができる。そして、学習用自律走行モード値に対応する原本正解は、第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージのネクストシーケンスに対応する第１ネクストシーケンスイメージ（Ｎｅｘｔ Ｓｅｑｕｅｎｃｅ Ｉｍａｇｅ）と、第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージのネクストシーケンスに対応する第２ネクストシーケンスイメージとから取得され得る。

図４は、本発明の一実施例にしたがって、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するために使用されるＲＮＮをテストするテスト装置を簡略に示したものである。図４を参照すると、テスト装置２００は、自律走行モードとマニュアル走行モードとの間の走行モードを変更するために自律走行の安全性を確認するためのＲＮＮをテストするためのインストラクションを格納するメモリ２１０と、メモリ２１０に格納されたインストラクションに対応して自律走行モードとマニュアル走行モードとの間の走行モードを変更するために自律走行の安全性を確認するためのＲＮＮをテストするプロセッサ２２０を含むことができる。

具体的に、テスト装置２００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。

また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。

しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又はその他のコンピューティング構成要素の何らかの組み合わせを含む統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｄｅｖｉｃｅ）を排除するわけではない。

このように構成された本発明の一実施例によるテスト装置２００を利用して、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するのに使用されるＲＮＮをテストする方法を、図５と図６とを参照して説明すると次のとおりである。

図５を参照すると、図２を参照して説明した学習方法により、自律走行モードとマニュアル走行モードとの間における走行モード変更のための自律走行の安全性を確認するのに使用されるＲＮＮが学習された状態であり得る。

すなわち、学習用自律走行自動車の学習用前方カメラと学習用後方カメラとにそれぞれ対応するシーケンスイメージである第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとが取得されると、学習装置は、第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージとで構成されたそれぞれのペアをそれぞれのペアのシーケンスに対応する第１ＣＮＮないし第ｎＣＮＮにそれぞれ入力して、第ｋＣＮＮをもって、第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージとをコンカチネートさせた後、第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して学習用第１特徴マップないし学習用第ｎ特徴マップを生成させるプロセスを遂行することができる。そして、学習装置は、学習用第１特徴マップないし学習用第ｎ特徴マップをフォワードＲＮＮのそれぞれのシーケンスに対応する第１＿１ＬＳＴＭモデルないし第１＿ｎＬＳＴＭモデルに入力し、バックワードＲＮＮのそれぞれのシーケンスに対応する第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉ）第１＿ｋＬＳＴＭモデルをもって、（ｉ−１）第１＿（ｋ＋１）ＬＳＴＭモデルから出力される学習用第１＿（ｋ＋１）アップデート特徴マップと第１＿ｋＣＮＮから出力される学習用第１＿ｋ特徴マップとをいずれも参照して学習用第ｋ特徴マップをアップデートした結果である学習用第１＿ｋアップデート特徴マップを生成させ、（ｉ−２）第１＿ｋアップデート特徴マップに対してＦＣ演算を適用して学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させ、（ｉｉ）第２＿ｋＬＳＴＭモデルをもって、（ｉｉ−１）第２＿（ｋ−１）ＬＳＴＭモデルから出力される学習用第２＿（ｋ−１）アップデート特徴マップと第２＿ｋＣＮＮから出力される学習用第２＿ｋ特徴マップとをいずれも参照して学習用第２＿ｋ特徴マップをアップデートした結果である学習用第２＿ｋアップデート特徴マップを生成させ、（ｉｉ−２）第２＿ｋアップデート特徴マップに対してＦＣ演算を適用して学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することができる。以後、学習装置は、学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルと学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルとをアテンションレイヤに入力して、アテンションレイヤをもって、学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルと学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルとを参照して第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとのすべてのシーケンスにおける学習用自律走行モード値を生成させるプロセス、ロスレイヤをもって、学習用自律走行モード値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させるプロセス、及びロスを利用したバックプロパゲーションを通じてロスを最小化するように第１＿１ＬＳＴＭモデルないし第１＿ｎＬＳＴＭモデルと第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルとを学習するプロセスを遂行した状態であり得る。

このようにＲＮＮが学習された状態で、テスト用自律走行自動車が走行する間、テスト用自律走行自動車のテスト用前方カメラからテスト用前方映像が取得され、テスト用自律走行自動車のテスト用後方カメラからテスト用後方映像が取得されると、テスト装置２００は、テスト用前方映像の現在フレームに対応する第１テストイメージとテスト用後方映像の現在フレームに対応する第２テストイメージとを取得することができる。この際、第１テストイメージと第２テストイメージとは、テスト用自律走行自動車のテスト用前方カメラとテスト用後方カメラとにより撮影されるそれぞれの映像を予め設定された時間間隔（例えば、１秒ごとに１枚ずつ）でサンプリングして生成された現時点におけるテストイメージであり得る。

次に、図６を参照すると、テスト装置２００は、第１テストイメージと第２テストイメージとのペアを第１ＣＮＮに入力して、第１ＣＮＮをもって、第１テストイメージと第２テストイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して少なくとも一つのテスト用第１特徴マップを出力させることができる。

この場合、図２における学習方法では第１ＣＮＮないし第ｎＣＮＮを使用したが、テストプロセスでは以前のフレーム、すなわち、第１イメージと第２イメージとに対応する以前のサンプリングイメージを利用して生成されたテスト用以前特徴マップ、すなわち、テスト用第２特徴マップないしテスト用第ｎ特徴マップが格納されているので、テストプロセスは現時点に対応する一つのＣＮＮを利用して遂行され得る。

また、テスト装置２００は、第１ＣＮＮをもって、（ｉ）第１テストイメージと第２テストイメージとをコンカチネートさせて第１コンカチネート済みテストイメージを生成させ、（ｉｉ）第１コンカチネート済みテストイメージに対してコンボリューション演算を適用させてテスト用第１特徴マップを生成させることができる。

次に、テスト装置２００は、テスト用第１特徴マップを第１＿１ＬＳＴＭモデルに入力して、第１＿１ＬＳＴＭモデルをもって、（ｉ）以前のフレームで生成されたテスト用第１＿２アップデート特徴マップと（ｉｉ）テスト用第１特徴マップとをいずれも参照して前記テスト用第１特徴マップをアップデートした結果であるテスト用第１＿１アップデート特徴マップを生成させ、テスト用第１＿１アップデート特徴マップに対してＦＣ演算を適用してテスト用第１＿１特徴ベクトルを生成させるプロセスを遂行することができる。

すなわち、テスト装置２００は、第１＿１ＬＳＴＭモデルをもって、テスト用第１＿２アップデート特徴マップとテスト用第１特徴マップとを参照して、テスト用走行環境が危険状況（Ｈａｚａｒｄ Ｓｉｔｕａｔｉｏｎ）であるかを第１テストイメージと第２テストイメージとのペアを参照して確認するのに使用されるテスト用第１＿１特徴ベクトルを生成させることができる。

また、テスト装置２００は、テスト用第１特徴マップを第２＿１ＬＳＴＭモデルに入力して、第２＿１ＬＳＴＭモデルをもって、第１ＣＮＮから出力されるテスト用第１特徴マップを参照して、テスト用第１特徴マップをアップデートした結果であるテスト用第２＿１アップデート特徴マップを生成させた後、テスト用第２＿１アップデート特徴マップに対してＦＣ演算を適用してテスト用第２＿１特徴ベクトルを出力させ、第２＿ｍＬＳＴＭモデルをもって、第２＿（ｍ−１）ＬＳＴＭモデルで生成されたテスト用第２＿（ｍ−１）アップデート特徴マップと以前のフレームで第１ＣＮＮにより生成されたテスト用第ｍ特徴マップとをいずれも参照して、テスト用第ｍ特徴マップをアップデートした結果であるテスト用第２＿ｍアップデート特徴マップを生成させた後、テスト用第２＿ｍアップデート特徴マップに対してＦＣ演算を適用してテスト用第２＿２特徴ベクトルないしテスト用第２＿ｎ特徴ベクトルを出力させることができる。この際、ｍは２以上でありｎ以下である整数であり得る。

すなわち、テスト装置２００は、（ｉ）第２＿１ＬＳＴＭモデルをもって、テスト用第２＿１アップデート特徴マップを参照して、テスト用走行環境が危険状況であるかを第１テストイメージと第２テストイメージとのペアを参照して確認するのに使用される特徴に対応するテスト用第２＿１特徴ベクトルを生成させるプロセス、及び（ｉｉ）第２＿ｍＬＳＴＭモデルをもって、テスト用第２＿（ｍ−１）アップデート特徴マップとテスト用第ｍ特徴マップとを参照して、テスト用走行環境が危険状況であるかを第１テストイメージと第２テストイメージとのペアを参照して確認するのに使用される特徴に対応するテスト用第２＿２特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することができる。

この場合、図２における学習方法では第１＿１ＬＳＴＭないし第１＿ｎＬＳＴＭを使用したが、テストプロセスでは以前のフレーム、すなわち、以前のテスト用特徴ベクトルを利用した第１＿１ＬＳＴＭにより生成された以前のテスト用特徴ベクトルが格納されているので、テストプロセスは現時点に対応する一つの第１＿１ＬＳＴＭを利用して遂行され得る。

次に、テスト装置２００は、（ｉ）テスト用第１＿１特徴ベクトル及び（ｉｉ）以前のフレームからの第１＿１ＬＳＴＭモデルにより出力されたテスト用第１＿２特徴ベクトルないしテスト用第１＿ｎ特徴ベクトルとテスト用第２＿１特徴ベクトルないしテスト用第２＿ｍ特徴ベクトルとをアテンションレイヤに入力して、アテンションレイヤをもって、テスト用第１＿１特徴ベクトルないしテスト用第１＿ｎ特徴ベクトルとテスト用第２＿１特徴ベクトルないしテスト用第２＿ｎ特徴ベクトルとを参照して、第１テストイメージと第２テストイメージとに対するテスト用自律走行モード値、すなわち、自律走行モードで自律走行自動車を走行させるのかマニュアル走行モードで自律走行自動車を走行させるのかについて確認する値を出力させることができる。

この際、テスト装置２００は、アテンションレイヤをもって、（ｉ）テスト用第１＿ｋ特徴ベクトルとテスト用第２＿ｋ特徴ベクトルとをコンカチネートさせて、テスト用第１コンカチネート済み特徴ベクトルないしテスト用第ｎコンカチネート済み特徴ベクトルを生成させ、（ｉｉ）テスト用第１コンカチネート済み特徴ベクトルないしテスト用第ｎコンカチネート済み特徴ベクトルを加重平均させて、テスト用自律走行モード値を生成させるプロセスを遂行することができる。

前記で説明したように、本発明は、自律走行自動車の前方カメラと後方カメラから取得される多重視点情報を融合するための方法に関し、ＲＮＮをもって、走行環境が危険状況であるかを判断して自律走行の安全性を確認させて、それに応じて自律走行自動車の走行モードの変更を遂行させるものである。

また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限定されるではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。

したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

１００：学習装置
１１０：メモリ
１２０：プロセッサ
２００：テスト装置
２１０：メモリ
２２０：プロセッサ

Claims (22)

1. 自律走行自動車の走行モード変更のために使用される、自律走行の安全性を確認するＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する方法において、
   （ａ）学習用自律走行自動車の学習用前方カメラと学習用後方カメラとにそれぞれ対応するシーケンスイメージである第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとが取得されると、学習装置が、第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージ（前記ｋは整数（ｉｎｔｅｇｅｒ）であり、シーケンスはｎから１に進行する）とで構成されたペア（Ｐａｉｒ）それぞれを、前記ペアそれぞれのシーケンスに対応する第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ないし第ｎＣＮＮにそれぞれ入力して、第ｋＣＮＮをもって、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させた後、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して学習用第１特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）ないし学習用第ｎ特徴マップを生成させる段階；
   （ｂ）前記学習装置が、（ｉ）前記学習用第１特徴マップないし前記学習用第ｎ特徴マップをフォワードＲＮＮ（Ｆｏｒｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第１＿１ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）モデルないし第１＿ｎＬＳＴＭモデルそれぞれに入力し、バックワードＲＮＮ（Ｂａｃｋｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉ−１）第１＿ｋＬＳＴＭモデルをもって、（ｉ−１−ａ）第１＿（ｋ＋１）ＬＳＴＭモデルから出力される学習用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力される学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第１＿ｋアップデート特徴マップを生成させ、（ｉ−１−ｂ）前記学習用第１＿ｋアップデート特徴マップに対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用した結果である学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させ、（ｉ−２）第２＿ｋＬＳＴＭモデルをもって、（ｉ−２−ａ）第２＿（ｋ−１）ＬＳＴＭモデルから出力される学習用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第２＿ｋアップデート特徴マップを生成させ、（ｉ−２−ｂ）前記学習用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果である学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとをアテンションレイヤ（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）に入力して、前記アテンションレイヤをもって、前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとを参照して、前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとのすべてのシーケンスにおける学習用自律走行モード値（Ａｕｔｏｎｏｍｏｕｓ−Ｄｒｉｖｉｎｇ Ｍｏｄｅ Ｖａｌｕｅ）を生成させるプロセスを遂行する段階；及び
   （ｃ）前記学習装置が、ロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用自律走行モード値とこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用したバックプロパゲーションを通じて前記ロスを最小化するように前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルと前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルとを学習するプロセスを遂行する段階；
   を含むことを特徴とする方法。
2. 前記（ｂ）段階で、
   前記学習装置は、前記アテンションレイヤをもって、（ｉ）学習用第１＿ｋ特徴ベクトルと学習用第２＿ｋ特徴ベクトルとをコンカチネートさせて、学習用第１コンカチネート済み特徴ベクトルないし学習用第ｎコンカチネート済み特徴ベクトルを生成させ、（ｉｉ）前記学習用第１コンカチネート済み特徴ベクトルないし前記学習用第ｎコンカチネート済み特徴ベクトルに対して加重平均（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）させて、前記学習用自律走行モード値を生成させることを特徴とする請求項１に記載の方法。
3. 前記（ａ）段階で、
   前記学習装置は、前記第１ＣＮＮないし前記第ｎＣＮＮそれぞれをもって、（ｉ）前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをそれぞれコンカチネートさせて第ｋコンカチネート済みトレーニングイメージを生成させ、（ｉｉ）前記第ｋコンカチネート済みトレーニングイメージに対してコンボリューション演算を適用させて前記学習用第１特徴マップないし前記学習用第ｎ特徴マップを生成させる請求項１に記載の方法。
4. 前記（ｂ）段階で、
   前記学習装置は、（ｉ）前記第１＿ｋＬＳＴＭモデルをもって、前記学習用第１＿（ｋ＋１）アップデート特徴マップと前記学習用第１＿ｋ特徴マップとを参照して、学習用走行環境が危険状況（Ｈａｚａｒｄ Ｓｉｔｕａｔｉｏｎ）であるかを前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記第２＿ｋＬＳＴＭモデルをもって、前記学習用第２＿（ｋ−１）アップデート特徴マップと前記学習用第２＿ｋ特徴マップとを参照して、前記学習用走行環境が危険状況であるかを前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することを特徴とする請求項１に記載の方法。
5. 前記（ｃ）段階で、
   前記学習装置は、前記ロスレイヤをもって、ソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを利用して前記学習用自律走行モード値を正規化（Ｎｏｒｍａｌｉｚｅ）するプロセス、及び正規化された前記学習用自律走行モード値と前記原本正解とを参照して前記ロスを算出するプロセスを遂行することを特徴とする請求項１に記載の方法。
6. 前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとは、（ｉ）（ｉ−１）前記学習用自律走行自動車の前記学習用前方カメラから撮影される映像を予め設定された時間間隔でサンプリングして第１シーケンスイメージを抽出するプロセス、及び（ｉ−２）抽出された前記第１シーケンスイメージそれぞれに対して自律走行が可能であるか否かをラベリングするプロセス、及び（ｉｉ）（ｉｉ−１）前記学習用自律走行自動車の前記学習用後方カメラから撮影される映像を前記予め設定された時間間隔でサンプリングして第２シーケンスイメージを抽出するプロセス、及び（ｉｉ−２）サンプリングされた前記第２シーケンスイメージそれぞれに対して自律走行が可能であるか否かをラベリングするプロセスを遂行して生成されることを特徴とする請求項１に記載の方法。
7. 前記（ｃ）段階で、
   前記原本正解は、前記シーケンスイメージのうち前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージのネクストシーケンスに対応する第１ネクストシーケンスイメージ（Ｎｅｘｔ Ｓｅｑｕｅｎｃｅ Ｉｍａｇｅ）と、前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとの前記ネクストシーケンスに対応する第２ネクストシーケンスイメージから取得されることを特徴とする請求項１に記載の方法。
8. 自律走行自動車の走行モード変更のために使用される、自律走行の安全性を確認するＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をテストする方法において、
   （ａ）学習用自律走行自動車の学習用前方カメラと学習用後方カメラとにそれぞれ対応するシーケンスイメージである第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとが取得されると、学習装置が、（ｉ）第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージ（前記ｋは整数であり、シーケンスはｎから１に進行する）とで構成されたペア（Ｐａｉｒ）それぞれを、前記ペアそれぞれのシーケンスに対応する第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ないし第ｎＣＮＮにそれぞれ入力して、第ｋＣＮＮをもって、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させた後、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して学習用第１特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）ないし学習用第ｎ特徴マップを生成させるプロセス、（ｉｉ）前記学習用第１特徴マップないし前記学習用第ｎ特徴マップをフォワードＲＮＮ（Ｆｏｒｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第１＿１ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）モデルないし第１＿ｎＬＳＴＭモデルそれぞれに入力し、バックワードＲＮＮ（Ｂａｃｋｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉｉ−１）第１＿ｋＬＳＴＭモデルをもって、（ｉｉ−１−ａ）第１＿（ｋ＋１）ＬＳＴＭモデルから出力される学習用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力される学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第１＿ｋアップデート特徴マップを生成させ、（ｉｉ−１−ｂ）前記学習用第１＿ｋアップデート特徴マップに対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用した結果である学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させ、（ｉｉ−２）第２＿ｋＬＳＴＭモデルをもって、（ｉｉ−２−ａ）第２＿（ｋ−１）ＬＳＴＭモデルから出力される学習用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第２＿ｋアップデート特徴マップを生成させ、（ｉｉ−２−ｂ）前記学習用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果である学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセス、（ｉｉｉ）前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと、前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとをアテンションレイヤ（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）に入力して、前記アテンションレイヤをもって、前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとを参照して、前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとのすべてのシーケンスにおける学習用自律走行モード値（Ａｕｔｏｎｏｍｏｕｓ−Ｄｒｉｖｉｎｇ Ｍｏｄｅ Ｖａｌｕｅ）を生成させるプロセス、及び（ｉｖ）ロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用自律走行モード値とこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用したバックプロパゲーションを通じて前記ロスを最小化するように前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルと前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルとを学習するプロセスを遂行した状態で、走行中であるテスト用自律走行自動車のテスト用前方カメラとテスト用後方カメラとから前記テスト用自律走行自動車のテスト用前方映像とテスト用後方映像とが取得されると、テスト装置が、前記テスト用前方映像の現在フレームに対応する第１テストイメージと前記テスト用後方映像の前記現在フレームに対応する第２テストイメージとを前記第１ＣＮＮに入力して、前記第１ＣＮＮをもって、前記第１テストイメージと前記第２テストイメージとのコンカチネーティング結果に対してコンボリューション演算を適用してテスト用第１特徴マップを生成させる段階；及び
   （ｂ）前記テスト装置が、（ｉ）前記テスト用第１特徴マップないし前記テスト用第ｎ特徴マップを前記フォワードＲＮＮのそれぞれのシーケンスに対応する前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルそれぞれに入力し、前記バックワードＲＮＮのそれぞれのシーケンスに対応する前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉ−１）前記第１＿ｋＬＳＴＭモデルをもって、（ｉ−１−ａ）前記第１＿（ｋ＋１）ＬＳＴＭモデルから出力されるテスト用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力されるテスト用第ｋ特徴マップとをいずれも参照して、前記テスト用第ｋ特徴マップをアップデートした結果であるテスト用第１＿ｋアップデート特徴マップを生成させ、（ｉ−１−ｂ）前記テスト用第１＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果であるテスト用第１＿１特徴ベクトルないしテスト用第１＿ｎ特徴ベクトルを生成させ、（ｉ−２）前記第２＿ｋＬＳＴＭモデルをもって、（ｉ−２−ａ）前記第２＿（ｋ−１）ＬＳＴＭモデルから出力されるテスト用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記テスト用第ｋ特徴マップとをいずれも参照して、前記テスト用第ｋ特徴マップをアップデートした結果であるテスト用第２＿ｋアップデート特徴マップを生成させ、（ｉ−２−ｂ）前記テスト用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果であるテスト用第２＿１特徴ベクトルないしテスト用第２＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記テスト用第１＿１特徴ベクトルないし前記テスト用第１＿ｎ特徴ベクトルと前記テスト用第２＿１特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルとを前記アテンションレイヤに入力して、前記アテンションレイヤをもって、前記テスト用第１＿１特徴ベクトルないし前記テスト用第１＿ｎ特徴ベクトルと前記テスト用第２＿１特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルとを参照して前記第１＿１テストイメージないし前記第１＿ｎテストイメージと前記第２＿１テストイメージないし前記第２＿ｎテストイメージとのすべてのシーケンスにおけるテスト用自律走行モード値を生成させる段階；
   を含むことを特徴とする方法。
9. 前記（ｂ）段階で、
   前記テスト装置は、前記アテンションレイヤをもって、（ｉ）テスト用第１＿ｋ特徴ベクトルとテスト用第２＿ｋ特徴ベクトルとをコンカチネートさせて、テスト用第１コンカチネート済み特徴ベクトルないしテスト用第ｎコンカチネート済み特徴ベクトルを生成させ、（ｉｉ）前記テスト用第１コンカチネート済み特徴ベクトルないし前記テスト用第ｎコンカチネート済み特徴ベクトルに対して加重平均（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）させて、前記テスト用自律走行モード値を生成させるプロセスを遂行することを特徴とする請求項８に記載の方法。
10. 前記（ａ）段階で、
    前記テスト装置は、前記第１ＣＮＮをもって、（ｉ）前記第１テストイメージと前記第２テストイメージとをコンカチネートさせて第１コンカチネート済みテストイメージを生成させ、（ｉｉ）前記第１コンカチネート済みテストイメージに対してコンボリューション演算を適用させて前記テスト用第１特徴マップを生成させるプロセスを遂行することを特徴とする請求項８に記載の方法。
11. 前記（ｂ）段階で、
    前記テスト装置は、（ｉ）前記第１＿１ＬＳＴＭモデルをもって、前記テスト用第１＿２アップデート特徴マップと前記テスト用第１特徴マップとを参照して、テスト用走行環境が危険状況（Ｈａｚａｒｄ Ｓｉｔｕａｔｉｏｎ）であるかを前記第１テストイメージと前記第２テストイメージとのペアを参照して確認するのに使用される特徴に対応する前記テスト用第１＿１特徴ベクトルを生成させるプロセス、（ｉｉ）前記第２＿１ＬＳＴＭモデルをもって、前記テスト用第２＿１アップデート特徴マップを参照して、前記テスト用走行環境が危険状況であるかを前記第１テストイメージと前記第２テストイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記テスト用第２＿１特徴ベクトルを生成させるプロセス、及び（ｉｉｉ）前記第２＿ｍＬＳＴＭモデルをもって、前記テスト用第２＿（ｍ−１）アップデート特徴マップと前記テスト用第ｍ特徴マップとを参照して、前記テスト用走行環境が危険状況であるかを前記第１テストイメージと前記第２テストイメージとの前記ペアを参照して確認するのに使用される特徴に対応するテスト用第２＿２特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することを特徴とする請求項８に記載の方法。
12. 自律走行自動車の走行モード変更のために使用される、自律走行の安全性を確認するＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を学習する学習装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）学習用自律走行自動車の学習用前方カメラと学習用後方カメラとにそれぞれ対応するシーケンスイメージである第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとが取得されると、第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージ（前記ｋは整数であり、シーケンスはｎから１に進行する）とで構成されたペア（Ｐａｉｒ）それぞれを、前記ペアそれぞれのシーケンスに対応する第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ないし第ｎＣＮＮにそれぞれ入力して、第ｋＣＮＮをもって、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させた後、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して学習用第１特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）ないし学習用第ｎ特徴マップを生成させるプロセス、（ＩＩ）（ｉ）前記学習用第１特徴マップないし前記学習用第ｎ特徴マップをフォワードＲＮＮ（Ｆｏｒｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第１＿１ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）モデルないし第１＿ｎＬＳＴＭモデルそれぞれに入力し、バックワードＲＮＮ（Ｂａｃｋｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉ−１）第１＿ｋＬＳＴＭモデルをもって、（ｉ−１−ａ）第１＿（ｋ＋１）ＬＳＴＭモデルから出力される学習用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力される学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第１＿ｋアップデート特徴マップを生成させ、（ｉ−１−ｂ）前記学習用第１＿ｋアップデート特徴マップに対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用した結果である学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させ、（ｉ−２）第２＿ｋＬＳＴＭモデルをもって、（ｉ−２−ａ）第２＿（ｋ−１）ＬＳＴＭモデルから出力される学習用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第２＿ｋアップデート特徴マップを生成させ、（ｉ−２−ｂ）前記学習用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果である学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとをアテンションレイヤ（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）に入力して、前記アテンションレイヤをもって、前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとを参照して、前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとのすべてのシーケンスにおける学習用自律走行モード値（Ａｕｔｏｎｏｍｏｕｓ−Ｄｒｉｖｉｎｇ Ｍｏｄｅ Ｖａｌｕｅ）を生成させるプロセス、及び（ＩＩＩ）ロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用自律走行モード値とこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用したバックプロパゲーションを通じて前記ロスを最小化するように前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルと前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルとを学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする装置。
13. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記アテンションレイヤをもって、（ｉ）学習用第１＿ｋ特徴ベクトルと学習用第２＿ｋ特徴ベクトルとをコンカチネートさせて、学習用第１コンカチネート済み特徴ベクトルないし学習用第ｎコンカチネート済み特徴ベクトルを生成させ、（ｉｉ）前記学習用第１コンカチネート済み特徴ベクトルないし前記学習用第ｎコンカチネート済み特徴ベクトルに対して加重平均（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）させて、前記学習用自律走行モード値を生成させることを特徴とする請求項１２に記載の装置。
14. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記第１ＣＮＮないし前記第ｎＣＮＮそれぞれをもって、（ｉ）前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをそれぞれコンカチネートさせて第ｋコンカチネート済みトレーニングイメージを生成させ、（ｉｉ）前記第ｋコンカチネート済みトレーニングイメージに対してコンボリューション演算を適用させて前記学習用第１特徴マップないし前記学習用第ｎ特徴マップを生成させる請求項１２に記載の装置。
15. 前記（ＩＩ）プロセスで、
    前記プロセッサは、（ｉ）前記第１＿ｋＬＳＴＭモデルをもって、前記学習用第１＿（ｋ＋１）アップデート特徴マップと前記学習用第１＿ｋ特徴マップとを参照して、学習用走行環境が危険状況（Ｈａｚａｒｄ Ｓｉｔｕａｔｉｏｎ）であるかを前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記第２＿ｋＬＳＴＭモデルをもって、前記学習用第２＿（ｋ−１）アップデート特徴マップと前記学習用第２＿ｋ特徴マップとを参照して、前記学習用走行環境が危険状況であるかを前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することを特徴とする請求項１２に記載の装置。
16. 前記（ＩＩＩ）プロセスで、
    前記プロセッサは、前記ロスレイヤをもって、ソフトマックス（Ｓｏｆｔｍａｘ）アルゴリズムを利用して前記学習用自律走行モード値を正規化（Ｎｏｒｍａｌｉｚｅ）するプロセス、及び正規化された前記学習用自律走行モード値と前記原本正解とを参照して前記ロスを算出するプロセスを遂行することを特徴とする請求項１２に記載の装置。
17. 前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとは、（ｉ）（ｉ−１）前記学習用自律走行自動車の前記学習用前方カメラから撮影される映像を予め設定された時間間隔でサンプリングして第１シーケンスイメージを抽出するプロセス、及び（ｉ−２）抽出された前記第１シーケンスイメージそれぞれに対して自律走行が可能であるか否かをラベリングするプロセス、及び（ｉｉ）（ｉｉ−１）前記学習用自律走行自動車の前記学習用後方カメラから撮影される映像を前記予め設定された時間間隔でサンプリングして第２シーケンスイメージを抽出するプロセス、及び（ｉｉ−２）サンプリングされた前記第２シーケンスイメージそれぞれに対して自律走行が可能であるか否かをラベリングするプロセスを遂行して生成されることを特徴とする請求項１２に記載の装置。
18. 前記（ＩＩＩ）プロセスで、
    前記原本正解は、前記シーケンスイメージのうち前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージのネクストシーケンスに対応する第１ネクストシーケンスイメージ（Ｎｅｘｔ Ｓｅｑｕｅｎｃｅ Ｉｍａｇｅ）と、前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとの前記ネクストシーケンスに対応する第２ネクストシーケンスイメージから取得されることを特徴とする請求項１２に記載の装置。
19. 自律走行自動車の走行モード変更のために使用される、自律走行の安全性を確認するＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をテストするテスト装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）学習用自律走行自動車の学習用前方カメラと学習用後方カメラとにそれぞれ対応するシーケンスイメージである第１＿１トレーニングイメージないし第１＿ｎトレーニングイメージと第２＿１トレーニングイメージないし第２＿ｎトレーニングイメージとが取得されると、学習装置が、（ｉ）第１＿ｋトレーニングイメージと第２＿ｋトレーニングイメージ（前記ｋは整数であり、シーケンスはｎから１に進行する）とで構成されたペア（Ｐａｉｒ）それぞれを、前記ペアそれぞれのシーケンスに対応する第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ないし第ｎＣＮＮにそれぞれ入力して、第ｋＣＮＮをもって、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとをコンカチネート（Ｃｏｎｃａｔｅｎａｔｉｎｇ）させた後、前記第１＿ｋトレーニングイメージと前記第２＿ｋトレーニングイメージとのコンカチネーティング結果に対してコンボリューション演算を適用して学習用第１特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）ないし学習用第ｎ特徴マップを生成させるプロセス、（ｉｉ）前記学習用第１特徴マップないし前記学習用第ｎ特徴マップをフォワードＲＮＮ（Ｆｏｒｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第１＿１ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）モデルないし第１＿ｎＬＳＴＭモデルそれぞれに入力し、バックワードＲＮＮ（Ｂａｃｋｗａｒｄ ＲＮＮ）のそれぞれのシーケンスに対応する第２＿１ＬＳＴＭモデルないし第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉｉ−１）第１＿ｋＬＳＴＭモデルをもって、（ｉｉ−１−ａ）第１＿（ｋ＋１）ＬＳＴＭモデルから出力される学習用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力される学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第１＿ｋアップデート特徴マップを生成させ、（ｉｉ−１−ｂ）前記学習用第１＿ｋアップデート特徴マップに対してＦＣ演算（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｏｐｅｒａｔｉｏｎ）を適用した結果である学習用第１＿１特徴ベクトルないし学習用第１＿ｎ特徴ベクトルを生成させ、（ｉｉ−２）第２＿ｋＬＳＴＭモデルをもって、（ｉｉ−２−ａ）第２＿（ｋ−１）ＬＳＴＭモデルから出力される学習用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記学習用第ｋ特徴マップとをいずれも参照して前記学習用第ｋ特徴マップをアップデートした結果である学習用第２＿ｋアップデート特徴マップを生成させ、（ｉｉ−２−ｂ）前記学習用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果である学習用第２＿１特徴ベクトルないし学習用第２＿ｎ特徴ベクトルを生成させるプロセス、（ｉｉｉ）前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとをアテンションレイヤ（Ａｔｔｅｎｔｉｏｎ Ｌａｙｅｒ）に入力して、前記アテンションレイヤをもって、前記学習用第１＿１特徴ベクトルないし前記学習用第１＿ｎ特徴ベクトルと前記学習用第２＿１特徴ベクトルないし前記学習用第２＿ｎ特徴ベクトルとを参照して、前記第１＿１トレーニングイメージないし前記第１＿ｎトレーニングイメージと前記第２＿１トレーニングイメージないし前記第２＿ｎトレーニングイメージとのすべてのシーケンスにおける学習用自律走行モード値（Ａｕｔｏｎｏｍｏｕｓ−Ｄｒｉｖｉｎｇ Ｍｏｄｅ Ｖａｌｕｅ）を生成させるプロセス、及び（ｉｖ）ロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記学習用自律走行モード値とこれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させるプロセス、及び前記ロスを利用したバックプロパゲーションを通じて前記ロスを最小化するように前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルと前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルとを学習するプロセスを遂行した状態で、走行中であるテスト用自律走行自動車のテスト用前方カメラとテスト用後方カメラとから前記テスト用自律走行自動車のテスト用前方映像とテスト用後方映像とが取得されると、前記テスト用前方映像の現在フレームに対応する第１テストイメージと前記テスト用後方映像の前記現在フレームに対応する第２テストイメージとを前記第１ＣＮＮに入力して、前記第１ＣＮＮをもって、前記第１テストイメージと前記第２テストイメージとのコンカチネーティング結果に対してコンボリューション演算を適用してテスト用第１特徴マップを生成させるプロセス、及び（ＩＩ）（ｉ）前記テスト用第１特徴マップないし前記テスト用第ｎ特徴マップを前記フォワードＲＮＮのそれぞれのシーケンスに対応する前記第１＿１ＬＳＴＭモデルないし前記第１＿ｎＬＳＴＭモデルそれぞれに入力し、前記バックワードＲＮＮのそれぞれのシーケンスに対応する前記第２＿１ＬＳＴＭモデルないし前記第２＿ｎＬＳＴＭモデルそれぞれに入力して、（ｉ−１）前記第１＿ｋＬＳＴＭモデルをもって、（ｉ−１−ａ）前記第１＿（ｋ＋１）ＬＳＴＭモデルから出力されるテスト用第１＿（ｋ＋１）アップデート特徴マップ（Ｕｐｄａｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）と前記第ｋＣＮＮから出力されるテスト用第ｋ特徴マップとをいずれも参照して、前記テスト用第ｋ特徴マップをアップデートした結果であるテスト用第１＿ｋアップデート特徴マップを生成させ、（ｉ−１−ｂ）前記テスト用第１＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果であるテスト用第１＿１特徴ベクトルないしテスト用第１＿ｎ特徴ベクトルを生成させ、（ｉ−２）前記第２＿ｋＬＳＴＭモデルをもって、（ｉ−２−ａ）前記第２＿（ｋ−１）ＬＳＴＭモデルから出力されるテスト用第２＿（ｋ−１）アップデート特徴マップと前記第ｋＣＮＮから出力される前記テスト用第ｋ特徴マップとをいずれも参照して、前記テスト用第ｋ特徴マップをアップデートした結果であるテスト用第２＿ｋアップデート特徴マップを生成させ、（ｉ−２−ｂ）前記テスト用第２＿ｋアップデート特徴マップに対してＦＣ演算を適用した結果であるテスト用第２＿１特徴ベクトルないしテスト用第２＿ｎ特徴ベクトルを生成させるプロセス、及び（ｉｉ）前記テスト用第１＿１特徴ベクトルないし前記テスト用第１＿ｎ特徴ベクトルと前記テスト用第２＿１特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルとを前記アテンションレイヤに入力して、前記アテンションレイヤをもって、前記テスト用第１＿１特徴ベクトルないし前記テスト用 第１＿ｎ特徴ベクトルと前記テスト用第２＿１特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルとを参照して前記第１＿１テストイメージないし前記第１＿ｎテストイメージと前記第２＿１テストイメージないし前記第２＿ｎテストイメージとのすべてのシーケンスにおけるテスト用自律走行モード値を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする装置。
20. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記アテンションレイヤをもって、（ｉ）テスト用第１＿ｋ特徴ベクトルとテスト用第２＿ｋ特徴ベクトルとをコンカチネートさせて、テスト用第１コンカチネート済み特徴ベクトルないしテスト用第ｎコンカチネート済み特徴ベクトルを生成させ、（ｉｉ）前記テスト用第１コンカチネート済み特徴ベクトルないし前記テスト用第ｎコンカチネート済み特徴ベクトルに対して加重平均（Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）させて、前記テスト用自律走行モード値を生成させるプロセスを遂行することを特徴とする請求項１９に記載の装置。
21. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記第１ＣＮＮをもって、（ｉ）前記第１テストイメージと前記第２テストイメージとをコンカチネートさせて第１コンカチネート済みテストイメージを生成させ、（ｉｉ）前記第１コンカチネート済みテストイメージに対してコンボリューション演算を適用させて、前記テスト用第１特徴マップを生成させるプロセスを遂行することを特徴とする請求項１９に記載の装置。
22. 前記（ＩＩ）プロセスで、
    前記プロセッサは、（ｉ）前記第１＿１ＬＳＴＭモデルをもって、前記テスト用第１＿２アップデート特徴マップと前記テスト用第１特徴マップとを参照して、テスト用走行環境が危険状況（Ｈａｚａｒｄ Ｓｉｔｕａｔｉｏｎ）であるかを前記第１テストイメージと前記第２テストイメージとのペアを参照して確認するのに使用される特徴に対応する前記テスト用第１＿１特徴ベクトルを生成させるプロセス、（ｉｉ）前記第２＿１ＬＳＴＭモデルをもって、前記テスト用第２＿１アップデート特徴マップを参照して、前記テスト用走行環境が危険状況であるかを前記第１テストイメージと前記第２テストイメージとの前記ペアを参照して確認するのに使用される特徴に対応する前記テスト用第２＿１特徴ベクトルを生成させるプロセス、及び（ｉｉｉ）前記第２＿ｍＬＳＴＭモデルをもって、前記テスト用第２＿（ｍ−１）アップデート特徴マップと前記テスト用第ｍ特徴マップとを参照して、前記テスト用走行環境が危険状況であるかを前記第１テストイメージと前記第２テストイメージとの前記ペアを参照して確認するのに使用される特徴に対応するテスト用第２＿２特徴ベクトルないし前記テスト用第２＿ｎ特徴ベクトルを生成させるプロセスを遂行することを特徴とする請求項１９に記載の装置。