JP6548690B2 - シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法 - Google Patents

Description

本発明は、車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーションシステム、シミュレーションプログラム及びシミュレーション方法に関する。

現在、事故などの可能性を事前に検知し回避するＡＤＡＳ（先進運転システム：advanced driver assistance system）等、自動車の自動運転走行を実現するため、実際に車両に搭載したカメラ映像を、画像認識技術を用いて認識して、他の車両や歩行者、信号機などのオブジェクトを検出し、自動で速度低下、回避などの制御を行うテストが盛んに行われている。上記の実験システムでは、リアルタイム性、高い認識率、全体が同期して制御されていることが特に重要となる。

自動運転支援システムに関する従来例としては、例えば、特許文献１に開示された走行制御システムがある。この特許文献１に開示された走行制御システムでは、自車両周辺に存在する道路のレーン・マーカーや停止位置などの路面標示を検知するとともに、自車両周辺に存在する複数の移動体・障害物などの立体物体を検知し、道路上の走行領域を判定して、信号機や標識などの立体物との衝突を回避しながら、予め設定された走行ルートを走行する自動運転システムを実現することを目的としている。

ところで、車載センサーで外界周辺状況を認識し制御を行うためには、自車両周辺の複数の障害物や複数の移動体の種別である車両、自転車、歩行者を判定し、その位置や速度などの情報を検出する必要がある。さらに、自車両が走行する上で道路上のレーン・マーカーや停止線などのペイントの意味や標識の意味を判定することが必要である。このような自車両周辺の外界情報を検知する車載センサーとしては、カメラのイメージセンサーを用いた画像認識技術が有効とされてきた。

特開２０１６−９９６３５号公報

しかしながら、実際に車両を無限に走行させてテストデータを採取することは事実上不可能であり、如何にして実際に代用可能なレベルのリアリティ性をもって上記のテストを行うことができるかが重要な課題となる。

例えば、カメラ画像の画像認識技術で外部環境を認識する場合、自車両周辺の天候（雨天、霧など）や時間帯（夜間、薄暗、逆光など）等の外部要因によって、認識率が大幅に変わってしまい検出結果に影響を与える。その結果、自車両周辺の移動体、障害物、道路上のペイントの検知に関して、画像認識手段による誤検知や未検知が増加する。このような画像認識手段による誤検知や未検知は、最も認識率の高いディープラーニング（機械学習）の技術を用いれば、学習のサンプル数を増加させることで解決することができる。

ところが、実際に道路を走行中に学習のサンプルを抽出することには限界があり、雨天や逆光、霧などの過酷な天候条件が満たされるのを待って車両の走行テストやサンプル収集を行うことは、その条件の再現が困難である上、機会の到来も希有であることから、開発手法として現実的でない。

一方、将来的な完全自動運転の実現のためには、上記のカメラ画像の画像認識だけでは不十分と言える。なぜならばカメラ画像は２次元画像であり、車両や歩行者、信号機などは画像認識によって対象物を抽出することは可能であるが、３次元の立体形状を得ることはできない。従ってこれらの要求に対応するものとしてＬｉＤＡＲというレーザー光を用いたセンサーや、ミリ波帯の電波を使ったセンサーも有望視されている。したがって、上記の複数の異なる種類のセンサーを組み合わせることで、自動車の走行時の安全性を大幅に向上させることができる。

そこで、本発明は、上記のような問題を解決するものであり、自車両周辺の他車両、路上の障害物、歩行者などの対象物に対する認識率の向上に関し、過酷な天候条件など、その再現が困難な条件下における実写の画像に極めて類似した画像を人工的に生成することによって、車両の走行テストやサンプル収集のリアリティ性を向上させるとともに、複数個の異なる種類のセンサーを仮想環境で構築して、各々の映像をＣＧの技術を用いて生成し、このＣＧ画像を用いた同期制御のシミュレーションシステム、シミュレーションプログラム及びシミュレーション方法を提供することを目的とする。

上記課題を解決するために、本発明は、車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーターシステムであって、
前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける上記認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段と
を備える。

また、本発明は、車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレータープログラムであって、コンピューターを、
前記車両の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
前記画像認識手段おける上記認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段として
機能させる。

さらに、本発明は、車両の位置情報の変位に伴って変化する画像に対する認識機能モジュールのシミュレーター方法であって、
位置情報取得手段によって、前記車両の位置情報を取得する位置情報取得ステップと、
前記位置情報取得ステップによって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を、画像生成手段が生成する画像生成ステップと、
前記画像生成ステップによって生成されたシミュレーション用画像の中から特定の対象物を、画像認識手段が前記認識機能モジュールを用いて認識し、検出する画像認識ステップと、
前記画像認識ステップおける上記認識結果を用いて、位置情報計算手段が、前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算ステップと、
位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを、同期制御手段が同期制御する同期制御ステップと
を備えたことを特徴とする。

上記発明において前記同期制御手段は、
前記位置情報を特定のフォーマットにパケット化して送出する手段と、
パケット化データをネットワーク又は特定の装置内の伝送バスを経由して伝送する手段と、
上記パケット化データを受信してデ・パケット化する手段と、
上記デ・パケット化されたデータを入力して画像を生成する手段と
を備えることが好ましい。

上記発明において、前記同期制御手段は、各手段間で送受信される信号を、ＵＤＰ（User Datagram Protocol)を用いて送受信することができる。
上記発明において、前記車両の位置情報には、前記車両の路面絶対位置座標のＸＹＺ座標、タイヤの路面絶対位置座標ＸＹＺ座標、車両のオイラー角度、車輪の回転角に関する情報のいずれかが含まれる。
上記発明において前記画像生成手段は、前記車両の３次元形状をコンピューターグラフィックスにより合成することが好ましい。

上記発明において、前記車両は複数台の車両分だけ設定されるとともに、前記認識機能モジュールは前記車両ごとに動作され、
前記位置情報計算手段は、前記認識手段による認識結果の情報を用いて、各車両の位置情報を複数台の車両分だけ変更・修正し、
前記同期制御手段は、位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とについて前記複数台の車両分の同期制御を実行することが好ましい。

上記発明において、前記画像認識手段は、ニューラルネットを多段に構成したディープラーニング認識手段であることが好ましい。
上記発明において、前記画像認識手段は、前記画像生成手段が生成した前記シミュレーション用画像について、認識対象となる画像中の特定物に応じた領域分割を行うセグメンテーション部と、
前記セグメンテーション部によって領域分割された画像に基づく学習用の教師データを作成する教師データ作成手段と
をさらに備えることが好ましい。

上記発明において前記教師データには、前記センサーに少なくとも１つのＬｉＤＡＲセンサーが含まれる場合には、人物、車両、信号機、路上障害物などの対象物ごとに、複数個設定した反射率の値を検出対象として設定することが好ましい。

上記発明において、前記画像生成手段は、センサー手段ごとに異なる画像を生成する手段を備えていることが好ましい。
上記発明において、前記請求項１０記載のセンサー手段は、イメージセンサー手段、ＬｉＤＡＲセンサー、ミリ波センサー、赤外線センサーのいずれか、又は全てを備えていることが好ましい。

上記発明において前記画像生成手段は、複数個のセンサーに対応した３Ｄグラフィックス画像を生成し、
前記画像認識手段は、前記３Ｄグラフィックス画像がそれぞれ入力されてディープラーニング認識を行い、各ディープラーニング認識結果を前記センサーごとに出力し、
前記同期制御手段は、前記センサーごとのディープラーニング認識結果に基づいて前記同期制御を行う
ことが好ましい。

上記発明において前記画像認識手段は、前記センサーに少なくとも１つのＬｉＤＡＲセンサーが含まれる場合には、人物、車両、信号機、路上障害物などの対象物ごとに複数個設定した反射率の値を検出対象とすることが好ましい。

以上述べたように、これらの発明によれば、ディープラーニング（機械学習）等の認識機能モジュールの学習に際し、ＣＧなどの実写の画像に極めて類似した画像を人工的に生成することによって学習のサンプル数を増加させることができ、学習の効率を高めて認識率を向上させることができる。詳述すると、本発明では、車両の位置情報変位を、シミュレーションモデルを基にして、実写の画像に極めて類似した、リアリティ性の高いＣＧ映像を生成及び合成する手段を用いており、実際には存在しない環境や光源などを付加した映像を、人工的に無限に生成することができるようになる。この生成したＣＧ画像を認識機能モジュールに対して、従来のカメラ画像と同様に入力し、カメラ画像に対する処理を同様に行わせ、対象とするオブジェクトが認識・抽出できるかをテストすることができるので、これまで取得・撮影が困難・不可能であった種類の映像での学習ができる上、さらに学習効率を高めて認識率を向上させる効果がある。

また、２次元画像の取得ができるイメージセンサーの他に、物体の立体形状の情報が抽出できるＬｉＤＡＲ（レーザー光）やミリ波帯の電波など、異なる種類のセンサーを併用し、これらのセンサーに応じた画像を生成することで、さらに広範囲なテストが可能になるのみならず、認識技術のブラッシュアップも同時に実現することが可能になるという、相乗効果が見込める。

なお、本発明の応用分野としては、自動車の自動走行運転のための実験装置、シミュレーター、及びそれに関連したソフトウェアモジュール、ハードウェアデバイス（例えば車両搭載のカメラ、イメージセンサー、車両の周囲の３次元形状を測定するためのレーザー）、ディープラーニング等の機械学習ソフトウェア、非常に広範囲に及ぶ。また、本発明によれば、実写画像をリアルに実現するＣＧ技術と同期制御の融合技術を備えているので、自動車の自動走行運転以外の分野でも幅広く応用することができる。例えば外科手術のシミュレーター、軍事シミュレーター、ロボットやドローンなどの安全走行テスト等が利用分野として有望である。

第１実施形態に係るシミュレーションシステムの全体構成を示す概念図である。 第１実施形態に係るドライビングシミュレーター装置の構成を示す概念図である。 第１実施形態に係るシミュレーターサーバーの構成を示す概念図である。 第１実施形態における画像生成・画像認識に係る構成及び動作を示すブロック図である。 第１実施形態に係るシステムにおける処理手順を示したフローチャート図である。 第１実施形態に係るシステムのＣＧ画像からの他車両認識結果を示した説明図である。 第１実施形態に係るシステムのＣＧ画像からの他車両認識結果を示した説明図である。 第１実施形態に係るシステムのＣＧ画像からの歩行者認識結果を示した説明図である。 実施形態に係る認識機能モジュールによる認識処理の概要を示す説明図である。 画像のセグメンテーションマップを説明する図である。 道路上に存在する複数個の対象物ごとに色分けされたセグメンテーションマップを説明する図である。 ＣＧ画像でディープラーニング認識を行った結果、車両や人物が正しく認識された結果を説明する図である。 ディープラーニング認識の学習を行うためのセグメンテーションマップのアノテーション記述の例を説明する図（ＸＭＬ記述） 第２実施形態において複数の端末を用いて車両同期シミュレーションを行うことを説明する図である。 図１４に対応した実際の構成を示した図である。 変更例１において複数のセンサーを用いてＣＧ画像を生成して、ディープラーニング認識及び挙動シミュレーションを行うことを説明する図である。 変更例２において、複数のセンサーを用いて実写画像を撮影し、ディープラーニング認識及び挙動シミュレーションを行うことを説明する図である。 ＬｉＤＡＲセンサーの動作原理を説明する図である。 ＬｉＤＡＲセンサーの点群データの取得原理を説明する図である。 ＬｉＤＡＲセンサーのビーム放射を説明する図である。 ＬｉＤＡＲセンサーを用いて生成された周囲の点群データを説明する図である。

［第１実施形態］
（車両同期シミュレーターシステムの全体構成）
以下に添付図面を参照して、本発明に係る車両同期シミュレーターシステムの実施形態を詳細に説明する。本実施形態では、本発明のシミュレーターシステムを、自動車の自動運転走行システムにおける画像認識機能モジュールの機械学習及びテストに適用した場合を例示する。ここで、自動運転システムとは、事故などの可能性を事前に検知し回避するＡＤＡＳ（先進運転システム：advanced driver assistance system）等のシステムであり、自動車の自動運転走行を実現するため、実際に車両に搭載したカメラ等のセンサー手段により取得された映像（実画像）を、画像認識技術を用いて認識して、他の車両や歩行者、信号機などのオブジェクトを検出し、自動で速度低下、回避などの制御を行う。

図１は、本実施形態に係るシミュレーターシステムの全体構成を示す概念図である。本実施形態に係るシミュレーターシステムは、単数又は複数のシミュレーション対象について、シミュレーションプログラムを実行するとともに、これらのシミュレータープログラムのテストや機械学習を実行する。このシミュレーターシステムは、図１に示すように、通信ネットワーク３上にシミュレーターサーバー２が配置され、このシミュレーターサーバー２に対して、通信ネットワーク３を通じて、自車両の位置を生成又は取得する情報処理端末１ａや車載装置１ｂが接続されている。

ここで、通信ネットワーク３は、通信プロトコルＴＣＰ／ＩＰを用いたＩＰ網であって、種々の通信回線（電話回線やＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線、ＷＣＤＭＡ（登録商標）及びＣＤＭＡ２０００などの第３世代（３Ｇ）の通信方式、ＬＴＥなどの第４世代（４Ｇ）の通信方式、及び第５世代（５Ｇ）以降の通信方式等の他、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信ネットワーク）を相互に接続して構築される分散型の通信ネットワークである。このＩＰ網には、１０ＢＡＳＥ−Ｔや１００ＢＡＳＥ−ＴＸ等によるイントラネット（企業内ネットワーク）や家庭内ネットワークなどのＬＡＮなども含まれる。また、上記情報処理端末１ａとしてのＰＣの中にシミュレーターのソフトウェアがインストールされているケースも多々ある。この場合には、ＰＣ単体でのシミュレーションを行うことができる。

シミュレーターサーバー２は、単数又は複数のサーバー装置群により構成され、各サーバー装置の機能は、各種情報処理を実行するサーバーコンピューター或いはその機能を持ったソフトウェアで実現される。このシミュレーターサーバー２には、サーバー用のアプリケーションソフトウェアを実行するサーバーコンピューター、若しくはそのようなコンピューター上でのアプリケーションの実行を管理補助するミドルウェアで構成されたアプリケーションサーバーが含まれる。

また、シミュレーターサーバー２には、クライアント装置から、ＨＴＴＰのレスポンス要求を処理するウェブサーバーが含まれ、このウェブサーバーは、バックエンドの関係データベース管理システム（ＲＤＢＭＳ）を実行するデータベース中核層への橋渡しを担い、データの加工などの処理を行う。関係データベースサーバーは、データベース管理システム（ＤＢＭＳ）が稼動しているサーバーであり、クライアント装置やアプリケーションサーバー（ＡＰサーバー）に要求されたデータを送信したり、操作要求を受け付けてデータを書き換えたり削除したりする機能を有する。

情報処理端末１ａ及び車載装置１ｂは、通信ネットワーク３に接続されたクライアント装置であり、ＣＰＵ等の演算処理装置を備え、専用のクライアントプログラム５を実行することによって種々の機能を提供する。この情報処理端末としては、例えば、パーソナルコンピュータ等の汎用コンピューターや機能を特化させた専用装置により実現することができ、スマートフォンやモバイルコンピューター、ＰＤＡ（Personal Digital Assistance ）、携帯電話機、ウェアラブル端末装置等が含まれる。

この情報処理端末１ａ又は車載装置１ｂは、専用のクライアントプログラム５を通じて上記シミュレーターサーバー２にアクセスしてデータの送受信が可能となっている。このクライアントプログラム５は、その一部又は全部が、ドライビングシミュレーションシステムや、車載された自動運転走行システムに組み込まれ、車両に搭載したカメラ等の各種センサーが撮影・検出した映像等の実画像、或いは取り込まれた風景映像（本実施形態ではＣＧ動画が含まれる。）等を、画像認識技術を用いて認識して、映像中の他の車両や歩行者、信号機などのオブジェクトを検出し、その認識結果に基づいて自車両とそのオブジェクトの位置関係を算出し、その算出結果に応じて、自動で速度低下、回避などの制御を行う。なお、本実施形態に係るクライアントプログラム５は、画像認識の機能をシミュレーターサーバー２で行わせ、車両位置情報計算部５１の自動運転の仕組みによって、シミュレーターサーバー２における認識結果に応じて自動車を仮想的に地図上で走行させたり、実際に車両を走行させたりして、自車両の位置情報を変位させるように位置情報を計算し、又は取得する。

（各装置の構成）
次いで、各装置の構成について具体的に説明する。図２は、本実施形態に係るクライアント装置の内部構成を示すブロック図であり、図３は、本実施形態に係るシミュレーターサーバーの内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。

（１）クライアント装置の構成
情報処理端末１ａは、パーソナルコンピュータ等の汎用的なコンピューターや専用の装置で実現することができ、一方、車載装置１ｂは、パーソナルコンピュータ等の汎用コンピューターの他、車載される自動運転走行システムなどの専用装置（カーナビゲーションシステムと捉えることもできる）とすることができ、図２に示すように、具体的には、ＣＰＵ１０２と、メモリ１０３と、入力インターフェース１０４と、ストレージ装置１０１と、出力インターフェース１０５と、通信インターフェース１０６とを備えている。なお、本実施形態では、これらの各デバイスは、ＣＰＵバスを介して接続されており、相互にデータの受渡しが可能となっている。

メモリ１０３及びストレージ装置１０１は、データを記録媒体に蓄積するとともに、これら蓄積されたデータを各デバイスの要求に応じて読み出す装置であり、例えば、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）、メモリカード等により構成することができる。入力インターフェース１０４は、キーボードやポインティングデバイス、タッチパネルやボタン等の操作デバイスから操作信号を受信するモジュールであり、受信された操作信号はＣＰＵ４０２に伝えられ、ＯＳや各アプリケーションに対する操作を行うことができる。出力インターフェース１０５は、ディスプレイやスピーカー等の出力デバイスから映像や音声を出力するために映像信号や音声信号を送出するモジュールである。

特に、クライアント装置が車載装置１ｂである場合、この入力インターフェース１０４には、自動運転システムのための上記ＡＤＡＳ等のシステムが接続され、自動車の自動運転走行を実現するため、車両に搭載したカメラ等のイメージセンサー１０４ａの他、ＬｉＤＡＲセンサー、ミリ波センサー、赤外線センサー等が、実画像を取得する各種センサー手段が接続される。

通信インターフェース１０６は、他の通信機器とデータの送受信を行うモジュールであり、通信方式としては、例えば、電話回線やＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線、ＷＣＤＭＡ（登録商標）及びＣＤＭＡ２０００などの第３世代（３Ｇ）の通信方式、ＬＴＥなどの第４世代（４Ｇ）の通信方式、及び第５世代（５Ｇ）以降の通信方式等の他、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信ネットワークが含まれる。

ＣＰＵ１０２は、各部を制御する際に必要な種々の演算処理を行う装置であり、各種プログラムを実行することにより、ＣＰＵ１０２上に仮想的に各種モジュールを構築する。このＣＰＵ１０２上では、ＯＳ（Operating System）が起動・実行されており、このＯＳによって情報処理端末１ａ〜ｃの基本的な機能が管理・制御されている。また、このＯＳ上では種々のアプリケーションが実行可能になっており、ＣＰＵ１０２でＯＳプログラムが実行されることによって、情報処理端末の基本的な機能が管理・制御されるとともに、ＣＰＵ１０２でアプリケーションプログラムが実行されることによって、種々の機能モジュールがＣＰＵ上に仮想的に構築される。

本実施形態では、ＣＰＵ１０２上でクライアントプログラム５を実行することによって、クライアント側実行部１０２ａが構成され、このクライアント側実行部１０２ａを通じて、仮想地図上又は実際の地図上における自車両の位置情報を生成又は取得し、シミュレーターサーバー２に送信するとともに、シミュレーターサーバー２側における風景映像（本実施形態ではＣＧ動画が含まれる）の認識結果を受信して、受信した認識結果に基づいて自車両とそのオブジェクトの位置関係を算出し、その算出結果に応じて、自動で速度低下、回避などの制御を行う。

（２）シミュレーターサーバーの構成
本実施形態に係るシミュレーターサーバー２は、通信ネットワーク３を通じて車両同期シミュレーターサービスを提供するサーバー装置群であり、各サーバー装置の機能は、各種情報処理を実行するサーバーコンピューター或いはその機能を持ったソフトウェアで実現される。具体的にシミュレーターサーバー２は、図３に示すように、通信インターフェース２０１と、ＵＤＰ同期制御部２０２と、シミュレーション実行部２０５と、ＵＤＰ情報送受信部２０６と、各種データベース２１０〜２１３とを備えている。

通信インターフェース２０１は、通信ネットワーク３を通じて、他の機器とデータの送受信を行うモジュールであり、通信方式としては、例えば、電話回線やＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線、ＷＣＤＭＡ（登録商標）及びＣＤＭＡ２０００などの第３世代（３Ｇ）の通信方式、ＬＴＥなどの第４世代（４Ｇ）の通信方式、及び第５世代（５Ｇ）以降の通信方式等の他、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信ネットワークが含まれる。

ＵＤＰ同期制御部２０２は、クライアント装置１側における自車両を変位させる位置情報の計算処理と、シミュレーターサーバー２側における画像生成処理及び画像認識処理とを同期制御するモジュールである。クライアント装置１側の車両位置情報計算部５１は、ＵＤＰ情報送受信部２０６を通じて、画像認識部２０４における認識結果を取得し、取得された認識結果を用いて車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する。

ＵＤＰ情報送受信部２０６は、クライアント装置１側のクライアント側実行部１０２ａと協働して、これらの間でデータを送受信するモジュールであり、本実施形態では、クライアント装置１側で計算され又は取得された位置情報を特定のフォーマットにパケット化してシミュレーターサーバー２側に送出するとともに、このパケット化データをネットワーク又は特定の装置内の伝送バスを経由して伝送し、シミュレーターサーバー２側でパケット化データを受信してデ・パケット化し、上記デ・パケット化されたデータを画像生成部２０３に入力して画像を生成する。また、本実施形態においてＵＤＰ情報送受信部２０６は、ＵＤＰ同期制御部２０２によって各装置間で送受信される信号を、ＵＤＰ（User Datagram Protocol)を用いて送受信する。

上記各種データベースとしては、地図データベース２１０と、車両データベース２１１と、描画用データベース２１２とを備えている。なお、これらのデータベースは、関係データベース管理システム（ＲＤＢＭＳ）により、相互に情報の参照が可能となっている。

シミュレーション実行部２０５は、クライアント装置１側の位置情報取得手段によって生成又は取得され、シミュレーターサーバー２側へ送信された位置情報に基づいて、位置情報で特定された領域を再現したシミュレーション用画像を生成し、その生成されたシミュレーション用画像の中から特定の対象物を、認識機能モジュールを用いて認識し、検出するモジュールである。具体的には、画像生成部２０３と、画像認識部２０４とを備えている。

画像生成部２０３は、クライアント装置１側の位置情報取得手段によって取得され又は計算された位置情報を取得し、この位置情報に基づいて、位置情報で特定された領域（地図上の緯度・経度、方角、視野に基づく風景）をコンピューターグラフィックスで再現したシミュレーション用画像を生成するモジュールである。この画像生成部２０３で生成されたシミュレーション用画像は、画像認識部２０４に送出される。

画像認識部２０４は、画像生成部２０３によって生成されたシミュレーション用画像の中から特定の対象物を、テスト対象又は機械学習対象である認識機能モジュール２０４ａを用いて認識し検出するモジュールである。この画像認識部２０４による認識結果情報Ｄ０６は、クライアント装置１側の車両位置情報計算部５１に送信される。画像認識部２０４には、学習部２０４ｂが設けられており、認識機能モジュール２０４ａの機械学習を実行するようになっている。この認識機能モジュール２０４ａは、カメラ装置等のセンサー手段により撮影された実画像、又は画像生成部２０３で生成されたＣＧを取得して、その取得された画像中の特徴点を階層的に複数抽出し、抽出された特徴点の階層的な組合せパターンによりオブジェクトを認識するモジュールであり、学習部２０４ｂは、この認識機能モジュール２０４ａに対して、上記カメラ装置による撮影画像又は仮想的なＣＧ画像を入力することにより、実際には撮影が困難であったり、再現が困難である画像の特徴点を抽出させて、抽出パターンの多様化を図り、学習効率を向上させる。

（車両同期シミュレーターシステムの方法）
以上の構成を有する車両同期シミュレーターシステムを動作させることによって、本発明の車両同期シミュレーション方法を実施することができる。図４は、本実施形態における画像生成・画像認識に係る構成及び動作を示すブロック図である。図５は、本実施形態における同期シミュレーターの処理手順を示したフローチャート図である。

先ず、車両位置情報計算部５１で自車の車両位置情報Ｄ０２の取得を行う（Ｓ１０１）。具体的にはクライアント装置１側でクライアントプログラム５を実行することによって、地図情報や車両初期データ等の各種データ群Ｄ０１を車両位置情報計算部５１に入力する。次いで、これらの各種データ群Ｄ０１を用いて仮想地図上又は実際の地図上における自車両の位置情報を計算（生成）又は取得し、その結果を車両位置情報Ｄ０２として、ＵＤＰ同期制御部２０２及びＵＤＰ情報送受信部２０６を通じて、シミュレーターサーバー２側のシミュレーション実行部２０５に送信する（Ｓ１０２）。

詳述すると、車両位置情報計算部５１では、先ず自車の車両位置情報Ｄ０２を、ＵＤＰ同期制御部２０２からの制御信号Ｄ０３のタイミングに従って、ＵＤＰ同期制御部２０２に対して送出する。車両位置情報計算部５１の初期データで、例えば地図データや地図中の自車の位置情報や車体の車輪の回転角，口径などの情報は、所定のストレージ装置１０１からロードすることができる。ＵＤＰ同期制御部２０２及びＵＤＰ情報送受信部２０６では、クライアント装置１側のクライアント側実行部１０２ａと協働して、これらの間でデータを送受信する。具体的にＵＤＰ同期制御部２０２及びＵＤＰ情報送受信部２０６は、クライアント装置１側で計算され又は取得された車両位置情報Ｄ０２は、車両情報を含む各種データ群を、特定のフォーマットにパケット化されたパケット情報Ｄ０４としてシミュレーターサーバー２側に送出される。

このパケット化データをネットワーク又は特定の装置内の伝送バスを経由して伝送し、シミュレーターサーバー２側でパケット化データを受信してデ・パケット化され（Ｓ１０３）、上記デ・パケット化されたデータＤ０５をシミュレーション実行部２０５の画像生成部２０３に入力してＣＧ画像が生成される。このとき、ＵＤＰ情報送受信部２０６は、ＵＤＰ同期制御部２０２によって各装置間において、車両情報を含む各種データ群をパケット化したパケット情報Ｄ０４はＵＤＰ（User Datagram Protocol)を用いて送受信される。

詳述すると、ＵＤＰ同期制御部２０２では、自車の車両位置情報Ｄ０２をＵＤＰパケッタイズすることで種データ群をパケット情報Ｄ０４に変換する。これによってＵＤＰプロトコルを用いた送受信が容易になる。ここでＵＤＰ（User Datagram Protocol）について少し述べる。一般にＴＣＰが高信頼性、コネクション型、ウィンドウ制御、再送制御、輻輳制御を行うのに対して、ＵＤＰはコネクションレス型プロトコルで信頼性を確保する仕組みがない一方で、処理が簡易なため低遅延という大きな利点がある。本実施形態では各構成部の間をデータ伝送する際に低遅延が要求されるので、ＴＣＰではなくＵＤＰを採用している。またさらに現在の音声通信や動画通信において最も普及しているRTP（Realtime Transport Protocol）を用いてもよい。

ここで、次に自車の車両位置情報Ｄ０２の具体的な内容としては、例えば
・自車の位置情報（路面絶対位置座標の３次元座標（X,Y,Z）等）
・自車のオイラー角度
・タイヤの位置情報（路面絶対位置座標の３次元座標（X,Y,Z）等）
・車輪回転角
・ハンドル、ブレーキの踏みしろ
等の情報が挙げられる。

車両位置情報Ｄ０２を受信したＵＤＰ情報送受信部２０６では、車両の情報、例えば車両の位置情報であるＸＹＺ座標、タイヤの位置情報であるＸＹＺ座標、オイラー角度等の各種情報の中から、主に車両のＣＧ画像を生成するのに必要なデータＤ０５を送出する。

そして、各種データ群をＵＤＰパケットとしたパケット情報Ｄ０４は、ＵＤＰ情報送受信部２０６でデ・パケッタイズ処理によってパケットヘッダとデータ本体のペイロードに分割される。ここで、ＵＤＰパケットのデータのやり取りは、距離的に離れた場所間のネットワークを用いた送信でもよいし、シミュレーター等の単体装置内部の、伝送バス間の伝送でも可能である。ペイロードに相当するデータＤ０５は、シミュレーション実行部２０５の画像生成部２０３に入力される（Ｓ１０４）。

シミュレーション実行部２０５において、画像生成部２０３は、クライアント装置１側の位置情報取得手段によって取得され又は計算された位置情報を、データＤ０５として取得し、この位置情報に基づいて、位置情報で特定された領域（地図上の緯度・経度、方角、視野に基づく風景）をコンピューターグラフィックスで再現したシミュレーション用画像を生成する（Ｓ１０５）。この画像生成部２０３で生成されたクライアント装置１としての３Ｄグラフィックス合成画像は画像認識部２０４に送出される。

画像生成部２０３では、所定の画像生成法として、例えば、最新の物理レンダリング（ＰＢＲ）手法を用いたＣＧ画像生成技術によって、リアリティ豊かな画像を生成する。認識結果情報Ｄ０６は再度車両位置情報計算部５１に入力されて、例えば自車両の次の動作を決定するための車両の位置情報を計算するのに用いられる。

画像生成部２０３では、例えばＰＢＲ手法を用いたＣＧ技法によって、車両のみならず周囲画像、例えば路面、建物、信号機、他の車両、歩行者といったオブジェクトを生成することができる。これはＰｌａｙＳｔａｔｉｏｎなどのゲーム機によるタイトルで、上記のようなオブジェクトが非常にリアルに生成されていることからも、最新のＣＧ技術で十分実現可能なことが分かる。自車両以外のオブジェクトの画像については既に初期データとして保持しているものを用いることが多い。特に自動走行運転のシミュレーターでは、数多くの高速道路、一般道などのサンプルデータを大量にデータベース化しており、それらのデータを適宜使えばよい。

続いて、画像認識部２０４では、画像生成部２０３によって生成されたシミュレーション用画像の中から特定の対象物をオブジェクトとして、テスト対象又は機械学習対象である認識機能モジュール２０４ａを用いて認識して抽出する（Ｓ１０６）。ここで、認識されたオブジェクトがなければ（ステップＳ１０７における「Ｎ」）、次のタイムフレームに移行して（Ｓ１０９）、タイムフレームがなくなるまで（ステップＳ１０９における「Ｎ」）、上記処理Ｓ１０１〜Ｓ１０７を繰り返す（（ステップＳ１０９における「Ｙ」））。

他方、ステップＳ１０７において、認識されたオブジェクトが存在する場合には（ステップＳ１０７における「Ｙ」）、この画像認識部２０４による認識結果は認識結果情報Ｄ０６としてクライアント装置１側の車両位置情報計算部５１に送信される。そして、クライアント装置１側の車両位置情報計算部５１は、ＵＤＰ情報送受信部２０６を通じて、画像認識部２０４における認識結果情報Ｄ０６を取得し、取得された認識結果を用いて車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する（Ｓ１０８）。

詳述すると、ここで生成されたシミュレーション用画像Ｄ６１としてのＣＧ画像は、通常、センサー手段により取得される実画像に替えて、画像認識部２０４に入力され、既に述べたようにオブジェクトの認識・検出を、例えばディープラーニング等の認識技術を用いて行う。得られた認識結果は他車両や、歩行者、標識、信号機のように画面中の領域情報（例えば抽出された矩形領域のＸＹ２次元座標）で与えられる。

自動走行運転のためのシミュレーターを実行する場合、実際の車両走行中の画像中には、他車両、歩行者、建物、路面などの数多くのオブジェクト（対象物）が存在する。自動走行運転の実現のためには、それらのオブジェクトを車両搭載のカメラ映像やミリ波、レーダ波等、各種センサーからのリアルタイムの情報を獲得しながら、例えば自動でハンドルを切る、アクセルを踏む、ブレーキをかける等の動作を行う。

したがって、カメラ映像の場合には画面内に映っている物の中から、例えば他の車両や歩行者、標識、信号機等の自動走行に必要なオブジェクトを、ディープラーニング等の画像認識技術によって認識・識別を行う。図６及び図７は高速道のＣＧ画像Ｇ１中から、走行中の他車両を認識・抽出した例である（図７の画像Ｇ２は原画像を白黒の２値化したものであり、路面の白線抽出の認識に用いている。他方、上図は自動車の形状に相似した画像領域を、車両と認識した結果を示している）。一方、図８はＣＧ画像Ｇ３から歩行者を、ディープラーニングの技術を用いて認識・検出した例である。矩形で囲まれた画像領域が歩行者であり、自車両に近い箇所から遠い箇所に至るまで正確に検出できていることが分かる。

画像認識部２０４は、例えば図６及び図７において、他車両が自車両の前面に割り込んできた場合には、画像認識技術で接近を検知し、その認識結果の認識結果情報Ｄ０６を車両位置情報計算部５１に対して出力する。車両位置情報計算部５１では、この情報を基にして例えば、ハンドルを切って回避する、ブレーキ動作で減速する等の動作を行い、自車両の位置情報を変更する。或いは、図８の歩行者が急に自車の前に飛び出して来た場合には、ハンドルを切って回避する、急ブレーキを踏む等の動作を行い、同様にその結果として自車両の位置情報を変更する。

なお、上記の一連の構成において、車両位置情報計算部５１からＵＤＰ同期制御部２０２，ＵＤＰ情報送受信部２０６を介してシミュレーション実行部２０５までのデータ送信は、例えばＵＤＰプロトコルに従って、２５ｍｓｅｃごとの周期で送出できるものとする（２５ｍｓｅｃは一例である）。

ここで、本発明の特徴である「同期モデル」の必要性についてであるが、シミュレーション実行部２０５からの出力結果に基づいて、次のタイムフレームの車両位置情報を決定するため、全体が同期した制御ができないと、実車両の挙動をシミュレートできなくなるからである。また２５ｍｓｅｃごとの周期で送出するとしたが、理想的にはゼロ遅延であるが現実的には不可能であるので、ＵＤＰを用いることで送受信に伴う遅延時間を削減している。

一般に自動走行運転のシミュレーターの場合には、非常に多くの動画フレームに対してテストを行う必要がある。本実施形態によれば実走行でカバーし切れない絶対的な量を、ほぼ実写に近いＣＧ映像で代用することを目的としている。したがって長いシーケンスの動画サンプルデータに対しての動作が保証されている必要がある。

本実施形態では、学習部２０４ｂが、認識機能モジュール２０４ａに対して、実走行時の車載カメラ装置による撮影画像以外にも、画像生成部２０３が生成した仮想的なＣＧ画像を入力することにより、実際には撮影が困難であったり、再現が困難である画像の特徴点を抽出させて、抽出パターンの多様化を図り、学習効率を向上させる。認識機能モジュール２０４ａは、カメラ装置により撮影された画像やＣＧ画像を取得して、その取得された画像中の特徴点を階層的に複数抽出し、抽出された特徴点の階層的な組合せパターンによりオブジェクトを認識する。

この認識機能モジュール２０４ａによる認識処理の概要を図９に示す。同図に示すように、認識機能モジュール２０４ａは多クラス識別器であり、複数の物体が設定され、複数の物体の中から特定の特徴点を含むオブジェクト５０１（ここでは、「人」）を検出する。この認識機能モジュール２０４ａは、入力ユニット（入力層）５０７、第１重み係数５０８、隠れユニット（隠れ層）５０９、第２重み係数５１０、及び出力ユニット（出力層）５１１を有する。

入力ユニット５０７には複数個の特徴ベクトル５０２が入力される。第１重み係数５０８は、入力ユニット５０７からの出力に重み付けする。隠れユニット５０９は、入力ユニット５０７からの出力と第１重み係数５０８との線形結合を非線形変換する。第２重み係数５１０は隠れユニット５０９からの出力に重み付けをする。出力ユニット５１１は、各クラス（例えば、車両、歩行者、及びバイク等）の識別確率を算出する。ここでは出力ユニット５１１を３つ示すが、これに限定されない。出力ユニット５１１の数は、物体識別器が検出可能な物体の数と同じである。出力ユニット５１１の数を増加させることによって、車両、歩行者、及びバイクの他に、例えば、二輪車、標識、及びベビーカー等、物体識別器が検出可能な物体が増加する。

本実施形態に係る認識機能モジュール２０４ａは、多段（ここでは三層）ニューラルネットワークの例であり、物体識別器は、第１重み係数５０８及び第２重み係数５１０を誤差逆伝播法を用いて学習する。また、本発明の認識機能モジュール２０４ａは、ニューラルネットワークに限定されるものではなく、多層パーセプトロン及び隠れ層を複数層重ねたディープニューラルネットワークであってもよい。この場合、物体識別器は、第１重み係数５０８及び第２重み係数５１０をディープラーニング（深層学習）によって学習すればよい。また、認識機能モジュール２０４ａが有する物体識別器が多クラス識別器であるため、例えば、車両、歩行者、及びバイク等のような複数の物体を検出できる。

（教師データ提供機能の概要）
さらに、認識機能モジュール２０４ａであるディープラーニング認識部には、学習部２０４ｂが接続されており、この学習部２０４ｂには、図１０に示すような、学習用の教師データである教師学習データＤ７３を提供する教師データ作成手段が備えられている。具体的に学習部２０４ｂの教師データ提供機能は、セグメンテーション部７１と、アノテーション生成部７２と、教師データ作成部７３とを備えている。

セグメンテーション部７１は、ディープラーニング認識を行うために、認識対象となる画像中の特定物の領域分割（セグメンテーション）を行うモジュールである。詳述すると、ディープラーニング認識を行うためには、一般に画像中の特定物の領域分割を行う必要があり、自動車の走行時には、相手車両の他にも歩行者、信号機、ガードレール、自転車、街路樹などの様々な対象物に対応し、高精度かつ高速に認識して、安全な自動運転を実現する。

セグメンテーション部７１は、画像生成部２０３からの３Ｄグラフィックス合成画像であるシミュレーション用画像Ｄ６１や既存の実映像入力システムからの実写映像Ｄ６０など、種々の画像に対してセグメンテーションを行い、図１１に示すような、様々な被写体画像ごとに色分けしたセグメンテーションマップであるセグメンテーション画像Ｄ７１を生成する。セグメンテーションマップには、図１１中下部に示すような、オブジェクト（被写体）ごとに割り当てる色情報が付加されている。例えば、草は緑、飛行機は赤、建物は橙、牛は青、人物は黄土色などである。また、図１２は、道路上のセグメンテーションマップの例であり、同図中左下は実写の画像、画面右下はセンサーの撮像画像であり、同図中央はセグメンテーションされた各領域画像で、道路は紫色、森林は緑色、障害物は青色、人物は赤色等により、各オブジェクトを図示している。

アノテーション生成部７２は、各々の領域画像と特定のオブジェクトとを関連付けるアノテーションを行うモジュールである。このアノテーションとは、領域画像に関連付けられた特定のオブジェクトに対して関連する情報（メタデータ）を注釈として付与することであり、ＸＭＬ等の記述言語を用いてメタデータをタグ付けし、多様な情報を「情報の意味」と「情報の内容」に分けてテキストで記述する。このアノテーション生成部７２により付与されるＸＭＬは、セグメンテーションされた各オブジェクト（上記では「情報の内容」）と、その情報（上記では「情報の意味」、例えば人物、車両、信号機などの領域画像）とを関連付けて記述するために用いられる。

図１３はある道路をＣＧで再現した画像に対してディープラーニング認識技術によって、車両領域画像（ｖｅｈｉｃｌｅ）、人物領域画像（ｐｅｒｓｏｎ）を識別して、各領域を矩形で抽出してアノテーションを付加した結果である。矩形は左上点のＸＹ座標と右下点のＸＹ座標で領域を定義することができる。

図１３に例示したアノテーションをＸＭＬ言語で記述すると、例えば、＜ａｌｌ＿ｖｅｈｉｃｌｅｓ＞〜＜／ａｌｌ＿ｖｅｈｉｃｌｅｓ＞には図中の全てのｖｅｈｉｃｌｅ（車両）の情報が記述され、１番目の道路のＶｅｈｉｃｌｅ−１では矩形領域として左上の座標が（１００，１２０）、右下の座標が（１５０，１５０）で定義されている。同様に、＜ａｌｌ＿ｐｅｒｓｏｎｓ＞〜＜／ａｌｌ＿ｐｅｒｓｏｎｓ＞には図中の全てのｐｅｒｓｏｎ（人物）の情報が記述され、例えば１番目の道路のＰｅｒｓｏｎ−１では矩形領域として左上の座標が（２００，１５０）、右下の座標が（２２０，１７０）で定義されていることが分かる。

したがって、画像中に複数台の車両がある場合には、上記の要領でＶｅｈｉｃｌｅ−２から順に生成すればよい。同様にして他のオブジェクトについても、例えば自転車の場合にはｂｉｃｙｃｌｅ、信号機の場合にはｓｉｇｎａｌ， 樹木の場合にはｔｒｅｅをタグ情報として使えばよい。

画像生成部２０３によって生成されたシミュレーション用画像Ｄ６１としての３Ｄグラフィックス合成画像は、セグメンテーション部７１に入力されて、上記で述べたセグメンテーション部７１に従って例えば図１１のように色分けされた領域に分割される。

その後、セグメンテーション画像Ｄ７１（色分け後）が入力されたアノテーション生成部７２では、例えばＸＭＬ記述言語によって記述され、アノテーション情報Ｄ７２が上記教師データ作成部７３に入力される。教師データ作成部７３では、前記セグメンテーション画像Ｄ７１とアノテーション情報Ｄ７２をタグ付けして、ディープラーニング認識用の教師データを作成する。これらのタグ付けされた教師学習データＤ７３が最終的な出力結果になる。

［第２実施形態］
以下に添付図面を参照して、本発明に係るシステムの第２実施形態を詳細に説明する。図１４は、本実施形態に係るシステムの全体構成を示す概念図である。図１５は、本実施形態に係る装置の内部構成を示すブロック図である。上記第１実施形態では、主に自車両の台数が１台の場合に限った実施形態であった。第２実施形態では、多数の車両分の位置情報を同時並列的に処理する場合を例示している。なお、本実施形態において、上述した第１実施形態と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。

図１４に示すように、本実施形態では、シミュレーターサーバー２に複数のクライアント装置１ｃ〜１ｆが接続されており、図１５に示すように、シミュレーターサーバー２において、ＵＤＰ同期制御部２０２及びＵＤＰ情報送受信部２０６を共通の構成要素とし、シミュレーション対象となる車両の台数に応じて、各クライアント装置１ｃ〜ｆには車両位置情報計算部５１ｃ〜ｆが設けられ、シミュレーターサーバー２側にはシミュレーション実行部２０５ｃ〜ｆが設けられている。

車両位置情報計算部５１ｃ〜ｆでは、先ず自車の車両位置情報Ｄ０２ｃ〜ｆを制御信号Ｄ０３ｃ〜ｆのタイミングに従って、ＵＤＰ同期制御部２０２に対して送出する。次にＵＤＰ同期制御部２０２では、自車の車両位置情報Ｄ０２ｃ〜ｆをＵＤＰパケッタイズすることで各種データ群を含むパケット情報Ｄ０４に変換する。これによってＵＤＰプロトコルを用いた送受信が容易になる。パケット情報Ｄ０４は、ＵＤＰ情報送受信部２０６でデ・パケッタイズ処理によってパケットヘッダとデータ本体のペイロードに分割される。ここで、ＵＤＰパケットのデータのやり取りは、距離的に離れた場所間のネットワークを用いた送信でもよいし、シミュレーター等の単体装置内部の、伝送バス間の伝送でも可能である。ペイロードに相当するデータＤ０５ｃ〜ｆは、シミュレーション実行部２０５ｃ〜ｆに入力される。

シミュレーション実行部２０５ｃ〜ｆでは、既に第１実施形態で述べたように、所定の画像生成法例えば、最新の物理レンダリング（ＰＢＲ）手法を用いたＣＧ画像生成技術によって、リアリティ豊かな画像を生成する。認識結果情報Ｄ０６ｃ〜ｆは車両位置情報計算部５１ｃ〜ｆにフィードバックされ、各車両の位置が変更される。

なお、上記の例では合計４つの車両位置情報計算部５１ｃ〜ｆを備える場合を例示したが、この個数には特段制限はない。しかし、対応すべき車両の台数が増えれば、その結果同期制御も複雑になる上、ある車両で多くの遅延が発生した場合には、遅延時間は各々の合算であるので、トータルでの遅延時間の増大につながるという問題点にもなる。従ってシミュレーターのハードウェア規模や処理量などの条件によって、これらの構成を行えばよい。

なお、図１４では、ＰＣ端末１ｃ〜１ｆと車両同期シミュレーター・プログラム４とが通信ネットワーク３を介してリモート接続されているが、ＰＣのローカルのＨＤＤ、ＳＳＤなどの記録媒体にプログラムが実装されていて、スタンドアロンで動作させることも可能である。この場合にはさらに低遅延で検証を行うことができる利点がある上、ネットワーク帯域が混雑時に起こる輻輳等の影響も一切受けない利点もある。

また、１ｃ〜１ｆをＰＣ端末と限定する必要なく、例えば実際の走行車両上でテストを行う場合には、テスト車両に搭載されたカーナビゲーションシステムであってもよい。この場合には、図４の画像生成部２０３からのシミュレーション用画像Ｄ６１としての３Ｄグラフィックス合成画像を画像認識部２０４で認識するのではなく、実写の走行映像をＤ６１の代わりに入力することになるので、画像認識部２０４の性能評価として利用することができる。例えば、実写の走行映像の中の歩行者や車両などは人間が見れば瞬時に正確に認識可能であるが、上記の画像認識部２０４で認識及び抽出された結果が、それらと同じになるかの検証を行うことができるからである。

［変更例］
なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。

（変更例１）
例えば、上述した実施形態では、車載カメラ１０４ａが単一のカメラで構成されていた場合を例に説明したが、図１６に示すように、複数個のカメラやセンサーで構成してもよい。

自動運転における安全性向上のためには、複数個のセンサーを搭載することが必須となっている。したがって、本変更例のように複数個のセンサーを用いて撮像した画像から３Ｄグラフィックス合成画像を作成し、それらを複数のディープラーニング認識部６１〜６ｎで認識することで、画像中の被写体の認識率を向上させることができる。

また、上述した第２実施形態では、１台の車両に複数個のセンサーを搭載する例を述べたが、路上を走行する複数台の車両に搭載されたセンサーの撮像画像を同様の手段によって、複数のディープラーニング認識部でそれぞれ認識することもできる。実際には複数台の車両が同時に走行するケースが多いことから、各ディープラーニング認識部６１〜６ｎによるそれぞれの認識結果Ｄ６２１〜Ｄ６２ｎを、学習結果同期部８４によって同一時間軸に同期させて、最終的な認識結果をＤ６２として学習結果同期部８４から送出する。

例えば、図１３に示すような３Ｄグラフィックス合成画像は、路上に複数台の車両が走行している状態を撮影したものであり、画像中の車両は、３Ｄグラフィックス技術で生成されたものである。これらの車両に疑似的にセンサーを搭載することで、個々の車両の視点からの画像を取得することができる。そしてそれらの車両からの視点の３Ｄグラフィックス合成画像をディープラーニング認識部６１〜６ｎに入力して、認識結果を得ることができる。

（変更例２）
次いで、複数種のセンサーを使った別の変更例について説明する。上述した変更例１では、同一種類のセンサー、例えば同一種類のイメージセンサー手段を想定していたのに対し、本変更例では、異なる種類のセンサーを複数搭載した場合を示している。

具体的に、図１７に示すように、入力インターフェース１０４には異なる種類の車載カメラ１０４ａ及び１０ｂが接続されている。ここでは、車載カメラ１０４ａは上述した実施形態と同様に、映像を撮影するＣＭＯＳセンサー又はＣＣＤセンサーカメラである。一方、センサー１０４ｂは、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）であり、パルス状に発行するレーザー照射に対する散乱光を測定して、遠距離にある対象物までの距離を測定するデバイスであり、自動運転の高精度化には必須なセンサーの１つとして注目されている。

センサー１０４ｂ（ＬｉＤＡＲ）に用いられるレーザー光としてはマイクロパルスで近赤外光（例えば９０５ｎｍの波長）が用いられ、例えば、スキャナー及び光学系としてのモータ、ミラー、レンズなどから構成される。一方、センサーを構成する受光器、信号処理部では反射光を受光し、信号処理によって距離を算出する。

ここでＬｉＤＡＲに採用されている手段としては、ＴＯＦ方式（Time of Flight）と呼ばれているＬｉＤＡＲスキャン装置１１４などがあり、このＬｉＤＡＲスキャン装置１１４は、図１８に示すように、レーザードライバー１１４ａによる制御に基づいて発光素子１１４ｂから照射レンズ１１４ｃを通じてレーザー光を照射パルスＰｌｕ１として出力する。この照射パルスＰｌｕ１は測定対象Ｏｂ１によって反射されて反射パルスＰｌｕ２として受光レンズ１１４ｄに入射され、受光素子１１４ｅで検出される。この受光素子１１４ｅによる検出結果は、信号受光回路１１４ｆによって電気信号としてＬｉＤＡＲスキャン装置１１４から出力される。このようなＬｉＤＡＲスキャン装置１１４では、立ち上がり時間が数ｎｓで、光ピークパワーが数１０Ｗの超短パルスを測定物体に向けて照射し、その超短パルスが測定物体で反射して受光素子に戻ってくるまでの時間ｔを測定する。このときの物体までの距離をＬ、光速をｃとすると、
Ｌ＝（ｃ×ｔ）／２
により算出される。

このＬｉＤＡＲシステムの基本的な動作としては、図１９（ａ）〜（ｃ）に示すように、ＬｉＤＡＲスキャン装置１１４から射出され、変調されたレーザー光が回転するミラー１１４ｇで反射され、レーザー光が左右に振られ、或いは３６０°で回転されることで走査され反射して戻ってきたレーザー光が、再びＬｉＤＡＲスキャン装置１１４で捕捉される。補足された反射光は、最終的には、回転角度に応じた信号強度が示された点群データＰｅｌＹ及びＰｅｌＸとして得られる。なお、回転式のＬｉＤＡＲシステムとしては、例えば、図２０のように中心部が回転してレーザー光が照射され、３６０度の走査が可能になっている。

そして、このような構成の本変更例では、画像を撮影するカメラ等のイメージセンサー１０４ａで撮影された映像に基づく３Ｄグラフィックス合成画像であるシミュレーション用画像Ｄ６１は、２次元平面の画像であり、ディープラーニング認識部６は、この３Ｄグラフィックス合成画像に対する認識を実行する。

一方、発光素子１１４ｂにより取得された点群データについては、画像生成部２０３側に点群データ用に追加されたモジュールを用いて処理するようになっており、本実施形態では、画像生成部２０３に３Ｄ点群データグラフィック画像を生成する機能が備えられている。

そして、センサー１０４ｂにより取得された点群データについては、画像生成部２０３において、センサー１０４ｂで取得されたセンサーデータが抽出され、抽出されたセンサーデータに基づいて、反射光を受光してＴＯＦの原理で被写体までの距離を算出することで、３Ｄ点群データを生成する。この３Ｄ点群データは、いわゆる距離画像であり、この距離画像に基づいて３Ｄ点群データが３Ｄグラフィック画像化される。

この３Ｄ点群データが画像化された３Ｄグラフィック画像化された３Ｄ点群データグラフィック画像では、例えば図２０及び図２１に示す中央の走行車両の上に設置したＬｉＤＡＲから３６０度全方位にレーザー光を放射して反射光を測定した結果得られた点群データとすることができ、色の強弱（濃度）は反射光の強さを示す。なお、隙間など空間が存在しない部分は反射光がないので、黒色になっている。

図２１に示すように、実際の点群データから相手車両や歩行者、自転車などの対象オブジェクトを、３次元座標を持ったデータとして取得できるので、これらの対象オブジェクトの３Ｄグラフィック画像を容易に生成することが可能になる。具体的には、画像生成部２０３の３Ｄ点群データグラフィック画像生成機能によって、点群データを整合させることにより複数個のポリゴンデータを生成し、３Ｄグラフィックはこれらのポリゴンデータをレンダリングすることで描画される。

そして、このように画像生成部２０３で生成された３Ｄ点群データグラフィック画像は、シミュレーション用画像Ｄ６１としてディープラーニング認識部６に入力されて、同部において３Ｄ点群データ用に学習された認識手段によって認識が実行される。これにより、上述した実施形態のように、イメージセンサー用の画像で学習されたディープラーニング認識手段とは異なる手段を用いることになる。この結果、本変更例によれば、非常に遠方にある対向車はイメージセンサーでは取得できない可能性が高い場合であっても、ＬｉＤＡＲによれば数百メートル先の対向車の大きさや形状まで取得できるため、認識精度を向上させることができる。

以上により、上記変更例によれば、異なる性質又は異なるデバイスのセンサーを複数装備して、これらに対するディープラーニング認識部６１〜６ｎによる認識結果を分析部８５で分析して、最終的な認識結果Ｄ６２として出力することができる。

なお、この分析部８５は例えばクラウドなどのネットワークの外部に配置させてもよい。この場合には、１台当たりのセンサーの数が今後急激に増加し、ディープラーニング認識処理の計算負荷が増大するような場合であっても、ネットワークを通じて外部で対応可能な処理については大規模なコンピューティングパワーのあるクラウドで実行し、その結果をフィードバックすることで、処理効率を向上させることができる。

また、イメージセンサーの場合の実施形態では、図１１で示した例のように、予めセグメンテーションマップと対象物を関係づけて学習を行う。これにより、イメージセンサーの出力が２次元画像であることに対応するものである。

一方、センサーに少なくとも１つのＬｉＤＡＲセンサーが含まれる場合、教師データには、人物、車両、信号機、路上障害物などの対象物ごとに、複数個設定した反射率の値を検出対象として設定する。そして、上述したディープラーニング認識処理において、画像認識手段は、センサーに少なくとも１つのＬｉＤＡＲセンサーが含まれるときには、人物、車両、信号機、路上障害物などの対象物ごとに複数個設定した反射率の値を検出対象とする。

詳述すると、ＬｉＤＡＲセンサーの場合、図２１で示したように３次元の点群となる。したがって、ＬｉＤＡＲのセンサーの場合には、３次元の点群画像と、対象物ごとのレーザー光の反射率を関連付けて学習を行う。例えば、図２１の例では、自動車が反射率１．５〜２．０、自転車に乗った人物は反射率１．１、大人の歩行者の反射率０．８、子供の歩行者の反射率０．６、そして道路の反射率０．２〜０．５という具合である。

なお、図１６に示した例では、仮想的なＣＧ画像を生成するケースであったが、既に第１実施形態で述べたように、実際の車両に本アプリケーションシステムが搭載されて（カーナビゲーションのように）、実写走行を行いながら異なる種類のセンサーからの情報を入力して、ディープラーニング認識を行うこともできる。図１７はそのケースの具体的なブロック図である。

また、本変更例において、素材撮影装置は、車載カメラのイメージセンサーの他、上記の通りＬｉＤＡＲのセンサーやミリ波のセンサーを想定している。イメージセンサーの場合には実写画像を取り込んで実写画像から抽出した光情報などのパラメータを用いて、第１実施形態で述べたＰＢＲの技術によって高品質なＣＧ画像を生成されて、画像生成部２０３から送出される。一方、ＬｉＤＡＲセンサーの場合には実際に車載のＬｉＤＡＲセンサーから放射されたビームのレーザー光の反射光から、３次元の点群データを作成する。そしてこの３次元点群データを３ＤＣＧ化した画像が、上記の画像生成部２０３から出力される。

このようにして、複数種類のセンサーに応じたＣＧ画像が、画像生成部２０３から送出され、図１７の各々のディープラーニング認識部において所定の手段で認識処理が行われることになる。また、上記の変更例では、ＬｉＤＡＲセンサーを例にとって説明したが、他にもミリ波センサーや夜間に有効な赤外線センサーを用いることも有効である。

Ｄ０１…データ群
Ｄ０２（Ｄ０２ｃ〜ｆ）…車両位置情報
Ｄ０３（Ｄ０３ｃ〜ｆ）…制御信号
Ｄ０４…パケット情報
Ｄ０５（Ｄ０５ｃ〜ｆ）…データ
Ｄ０６（Ｄ０６ｃ〜ｆ）…認識結果情報
Ｄ６１…シミュレーション用画像
Ｄ６０…実写映像
Ｄ６２（Ｄ６２１〜Ｄ６２ｎ）…認識結果
Ｄ７１…セグメンテーション画像
Ｄ７２…アノテーション情報
Ｄ７３…教師学習データ
Ｇ１〜Ｇ３…ＣＧ画像
１…クライアント装置
１ａ…情報処理端末
１ｂ…車載装置
２…シミュレーターサーバー
３…通信ネットワーク
４…車両同期シミュレーター・プログラム
５…クライアントプログラム
６…ディープラーニング認識部
５１（５１ｃ〜ｆ）…車両位置情報計算部
６１〜６ｎ…ディープラーニング認識部
７１…セグメンテーション部
７２…教師データ作成部
７３…アノテーション生成部
８４…学習結果同期部
８５…分析部
１０１…ストレージ装置
１０２…ＣＰＵ
１０２ａ…クライアント側実行部
１０３…メモリ
１０４…入力インターフェース
１０４ａ…車載カメラ（イメージセンサー）
１０４ｂ…センサー
１０５…出力インターフェース
１０６…通信インターフェース
１１４…ＬｉＤＡＲスキャン装置
１１４ａ…レーザードライバー
１１４ｂ…発光素子
１１４ｃ…照射レンズ
１１４ｄ…受光レンズ
１１４ｅ…受光素子
１１４ｆ…信号受光回路
１１４ｇ…ミラー
２０１…通信インターフェース
２０２…ＵＤＰ同期制御部
２０３…画像生成部
２０４…画像認識部
２０４ａ…認識機能モジュール
２０４ｂ…学習部
２０５（２０５ｃ〜ｆ）…シミュレーション実行部
２０６…ＵＤＰ情報送受信部
２１０…地図データベース
２１１…車両データベース
２１２…描画用データベース
４０２…ＣＰＵ
５０１…オブジェクト
５０２…特徴ベクトル
５０７…入力ユニット
５０８…第１重み係数
５０９…ユニット
５１０…第２重み係数
５１１…出力ユニット

Claims (12)

1. 車両の位置情報の変位に伴って変化する実画像に対する認識機能モジュールのシミュレーションシステムであって、
   前記車両の位置情報を取得する位置情報取得手段と、
   前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
   前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
   前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
   位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段と
   を備え、
   前記車両は複数台の車両分だけ設定されるとともに、前記認識機能モジュールは前記車両ごとに動作され、
   前記位置情報計算手段は、前記認識手段による認識結果の情報を用いて、各車両の位置情報を複数台の車両分だけ変更・修正し、
   前記同期制御手段は、位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とについて前記複数台の車両分の同期制御を実行する
   ことを特徴とするシミュレーションシステム。
2. 車両の位置情報の変位に伴って変化する実画像に対する認識機能モジュールのシミュレーションシステムであって、
   前記車両の位置情報を取得する位置情報取得手段と、
   前記位置情報取得手段によって取得された前記位置情報に基づいて、前記位置情報で特定された領域を再現したシミュレーション用画像を生成する画像生成手段と、
   前記画像生成手段によって生成されたシミュレーション用画像の中から特定の対象物を、前記認識機能モジュールを用いて認識し、検出する画像認識手段と、
   前記画像認識手段おける認識結果を用いて前記車両の動作を制御する制御信号を生成し、生成された前記制御信号に基づいて自車両の位置情報を変更・修正する位置情報計算手段と、
   位置情報取得手段と、前記画像生成手段と、前記画像認識手段と、前記位置情報計算手段とを同期制御する同期制御手段と
   を備え、
   前記画像生成手段は、複数個のセンサー手段に対応した３Ｄグラフィックス画像を生成し、
   前記画像認識手段は、前記３Ｄグラフィックス画像がそれぞれ入力されてディープラーニング認識を行い、各ディープラーニング認識結果を前記センサー手段ごとに出力し、
   前記同期制御手段は、前記センサー手段ごとのディープラーニング認識結果に基づいて前記同期制御を行う
   ことを特徴とするシミュレーションシステム。
3. 前記同期制御手段は、
   前記位置情報を特定のフォーマットにパケット化して送出する手段と、
   パケット化データをネットワーク又は特定の装置内の伝送バスを経由して伝送する手段と、
   前記パケット化データを受信してデ・パケット化する手段と、
   前記デ・パケット化されたデータを入力して画像を生成する手段と
   を備えたことを特徴とする請求項１又は２に記載のシミュレーションシステム。
4. 前記同期制御手段は、各手段間で送受信される信号を、ＵＤＰ（User Datagram Protocol)を用いて送受信することを特徴とする請求項１又は２に記載のシミュレーションシステム。
5. 前記車両の位置情報には、前記車両の路面絶対位置座標のＸＹＺ座標、タイヤの路面絶対位置座標ＸＹＺ座標、車両のオイラー角度、車輪の回転角に関する情報のいずれかが含まれることを特徴とする請求項１又は２に記載のシミュレーションシステム。
6. 前記画像生成手段は、前記車両の３次元形状をコンピューターグラフィックスにより合成して前記シミュレーション用画像を生成する手段を備えていることを特徴とする請求項１又は２に記載のシミュレーションシステム。
7. 前記画像認識手段は、ニューラルネットを多段に構成したディープラーニング認識手段であることを特徴とする請求項１又は２に記載のシミュレーションシステム。
8. 前記画像認識手段は、
   前記画像生成手段が生成した前記シミュレーション用画像について、認識対象となる画像中の特定物に応じた領域分割を行うセグメンテーション部と、
   前記セグメンテーション部によって領域分割された画像に基づく学習用の教師データを作成する教師データ作成手段と
   をさらに備えることを特徴とする請求項１又は２に記載のシミュレーションシステム。
9. 前記実画像を取得するセンサー手段として少なくとも１つのＬｉＤＡＲセンサーが含まれる場合、前記教師データには、人物、車両、信号機、路上障害物などの対象物ごとに、複数個設定した反射率の値を検出対象として設定することを特徴とする請求項８に記載のシミュレーションシステム。
10. 前記画像生成手段は、前記実画像を取得するセンサー手段ごとに異なる画像を生成する手段を備えていることを特徴とする請求項１又は２に記載のシミュレーションシステム。
11. 前記実画像を取得するセンサー手段は、イメージセンサー手段、ＬｉＤＡＲセンサー、ミリ波センサー、赤外線センサーのいずれか、又は全てを備えていることを特徴とする請求項１又は２に記載のシミュレーションシステム。
12. 前記センサー手段に少なくとも１つのＬｉＤＡＲセンサーが含まれる場合に、前記画像認識手段は、人物、車両、信号機、路上障害物などの対象物ごとに複数個設定した反射率の値を検出対象とすることを特徴とする請求項２に記載のシミュレーションシステム。