JP7026734B2 - 物体認識装置、物体認識方法及び車両運転支援システム - Google Patents

Description

本願は、物体認識装置、物体認識方法及び車両運転支援システムに関するものである。

複数のセンサからそれぞれ受信した物体の検出データを用いて、物体を識別する、位置を推定する、あるいは追跡する等を行うシステムが提案されている。例えば、各センサの確度情報（例えば標準偏差）に基づいて、あるセンサの検知データと別センサの検知データとの間の距離を規格化し、規格化後距離を用いて検知データの同一性を判定する技術が開示されている（例えば、特許文献１参照）。

特許文献１においては、距離の規格化においては、検知データ間の（ユークリッド）距離を検知データと対応センサとの位置関係から定まる方向軸ごとに算出し、方向軸ごとの距離に対し確度情報を用いて規格化している。

国際公開第２０１９／１５１４８９号

特許文献１では、物体データ（予測データ）と検知データとの同一性判定（相関決定）に用いる確度（計量）として、ユークリッド距離を標準偏差で規格化した規格化後距離を用いる。観測された検知データの位置または速度などの誤差のふるまいが、仮定した誤差モデルに合致する場合、規格化後距離に基づく相関決定が最適である。しかしながら、誤差のふるまいは仮定した誤差モデルと合致するとは限らないため、誤相関を起こす虞があった。誤相関が発生すると、物体を誤認識する、物体の位置精度が低下するもしくは別の物体の位置と誤認する、正しい追跡を行うことができない等の問題が生じてしまう。

本願は、上記のような課題を解決するための技術を開示するものであり、誤相関を抑制し、物体の認識精度の高い、物体認識装置及び物体認識方法を提供することを目的とする。また、この物体認識装置を備えた車両運転支援システムを提供することを目的とする。

本願に開示される物体認識装置は、複数のセンサのそれぞれから受信した物体の検知データから前記物体の状態値を推定する物体認識装置であって、時刻を計測する時刻計測部と、前記検知データを受信し、受信した前記検知データごとに、前記時刻計測部によって計測された時刻を関連時刻として関連付けるデータ受信部と、前記データ受信部によって関連付けられた関連時刻に対応する前記物体の状態値を、１つ前の関連時刻の前記物体の状態値から予測し、予測結果を予測データとして生成する予測処理部と、前記予測処理部によって生成された前記予測データと、前記関連時刻に対応する前記検知データとの相関を算出し、仮相関データとして生成する相関処理部と、前記相関処理部で生成された前記仮相関データに基づいて相関データを決定する相関決定処理部と、前記相関決定処理部で決定された前記相関データに基づいて前記物体の状態値を更新する更新処理部と、を備え、前記相関処理部を複数有し、複数の前記センサの各センサに対し、前記予測データと前記関連時刻に対応する前記センサの検知データとが同じである組が複数の前記相関処理部のそれぞれに入力されるとともに、複数の前記相関処理部は相関処理に関する予め設定された相異なる評価規範を用いて、前記予測データと前記関連時刻に対応する前記検知データとの相関を算出して前記仮相関データをそれぞれ生成し、前記相関決定処理部は、複数の前記相関処理部で生成された複数の前記仮相関データに基づいて前記相関データを決定し、前記更新処理部は、前記相関決定処理部で決定された前記相関データに対応する前記検知データに基づいて前記物体の状態値を更新する、ものである。

本願に開示される物体認識装置によれば、誤相関が抑制され、物体の認識確度が高くなる。この物体認識装置を車両運転支援システムに用いれば、車両走行の制御性が向上する。

実施の形態１に係る物体認識装置を含む物体認識システムの概略構成を示すブロック図である。 実施の形態１に係る物体認識装置のハードウエア構成図である。 実施の形態１に係る物体認識装置の相関処理部に用いられる評価規範の例を示す図である。 実施の形態１に係る物体認識装置の動作手順を説明するフローチャートである。 実施の形態１に係る物体認識装置による物体認識方法の効果を説明するための図である。 実施の形態２に係る物体認識装置を含む物体認識システムの概略構成を示すブロック図である。 実施の形態２に係る物体認識装置を用いた車両運転支援システムを説明するための図である。

以下、本願で開示される物体認識装置、物体認識方法及び車両運転支援システムの実施の形態について図を参照して説明する。なお、各図中、同一符号は、同一または相当部分を示すものとする。

実施の形態１．
以下に、実施の形態１に係る物体認識装置について説明する。
図１は、実施の形態１に係る物体認識装置１０を含む物体認識システムの構成を示す図で、図１において、物体認識システムは、複数（ここではＮ個：Ｎは２以上の整数）のセンサである第１のセンサ２１ａ、・・・、第Ｎのセンサ２１ｎ、物体認識装置１０および表示部３０を備える。

第１のセンサ２１ａ、・・・、第Ｎのセンサ２１ｎの各センサは、検出可能な検出範囲に存在する物体等に関する情報を、１つ以上の検出データを含む検知データとして検出し、その検知データを物体認識装置１０に送信する。

ここで、検知データには、例えば検出対象が物体であれば、物体までの距離、物体の方位角または物体の相対速度等の物体の状態値に関する情報が含まれる。また、一般的に、各センサにおいて、検出範囲に１つの物体が存在する場合、物体データには１つの検出データが含まれ、検出範囲に複数の物体が存在する場合、物体データには複数の検出データが含まれる。

以下では、第１のセンサ２１ａによって検出されたデータを第１の検知データと表記し、第Ｎのセンサ２１ｎによって検出されたデータを第Ｎの検知物体データと表記する。

複数のセンサである第１のセンサ２１ａ、・・・、第Ｎのセンサ２１ｎとして、例えば、物体から放射された光または電磁波等の検出波を受信し、受信した検出波に対して信号処理または画像処理等の処理が行われることで、その物体に関する情報を検出するタイプのセンサを用いればよい。第１のセンサ２１ａ、・・・、第Ｎのセンサ２１ｎとして、物体に検出波を照射し、その物体から反射した検出波を受信し、受信した検出波に対して処理が行われることで、その物体に関する情報を検出するタイプのセンサを用いてもよい。具体的には、第１のセンサ２１ａ、・・・、第Ｎのセンサ２１ｎとして、例えば、ミリ波レーダ、レーザレーダ、超音波センサ、赤外線センサまたは光学カメラ等を用いることができる。

ここで、本実施の形態では、第１のセンサ２１ａによって検出された第１の検知データと、第Ｎのセンサ２１ｎによって検出された第Ｎの検知データまでのＮ個の検知データを統合するので、少なくともそのうちの２つのセンサの検出範囲において、共通する部分、すなわち、重複する部分が存在することが望ましい。また、少なくとも１つのセンサによって検出することができない物体等を、他のセンサによって検出可能とするため、少なくとも２種類以上のセンサ方式とすることが望ましい。

具体的には、例えば、第１のセンサ２１ａとしてミリ波レーダを用い、第Ｎのセンサ２１ｎとして光学カメラを用い、設置場所を異なる位置とし、ある方向を両センサの共通の検出範囲とすることが考えられる。

＜物体認識装置１０の構成＞
物体認識装置１０は、第１のセンサ２１ａ、・・・、第Ｎのセンサ２１ｎの各センサから受信した検知データから物体の状態値を推定する。物体認識装置１０は、時刻計測部１１、データ受信部１２、予測処理部１３、Ｍ個（ここでＭは２以上の整数）の相関処理部である第１の相関処理部１４ａから第Ｍの相関処理部１４ｍ、相関決定処理部１５、更新処理部１６を有する。

なお、物体認識装置１０は、ハードウエアの一例を図２に示すように、プロセッサ１０００と記憶装置２０００から構成される。記憶装置は図示していないが、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ１０００は、記憶装置２０００から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１０００にプログラムが入力される。また、プロセッサ１０００は、演算結果等のデータを記憶装置２０００の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

時刻計測部１１は、物体認識装置１０の時刻を計測する。なお、時刻計測部１１によって計測された時刻を共通時刻と呼ぶ。

データ受信部１２は、第１のセンサ２１ａから第１の検知データを受信し、第Ｎのセンサ２１ｎから第Ｎの検知データを受信するまで、順次各センサから検知データを受信する。また、データ受信部１２は、受信したデータごとに、時刻計測部１１によって計測された共通時刻を関連時刻として関連付ける。データ受信部１２は、関連時刻が関連付けられた検知データをＭ個の相関処理部である第１の相関処理部１４ａから第Ｍの相関処理部１４ｍに出力する。また、データ受信部１２は、検知データに関連付けた共通時刻を予測処理部１３に出力する。

なお、各データと関連付けられる関連時刻について、各データを受信した順に各データの関連時刻が並んでいれば、各データに関連する時刻としてどのような時刻を採用してもよい。例えば、データ受信部１２による各データの受信時刻を各データに対応する関連時刻とすればよい。

具体的には、データ受信部１２は、受信したデータごとに、時刻計測部１１によって計測された共通時刻から受信時刻を確定する。データ受信部１２は、受信した第１の検知データ、・・・、第Ｎの検知データのそれぞれを、受信時刻と関連付けて、その時刻が関連付けられた検知データをＭ個の相関処理部である第１の相関処理部１４ａから第Ｍの相関処理部１４ｍに出力する。

予測処理部１３は、更新処理部１６から出力された前回の関連時刻における物体データを用いて、検知データに含まれる今回の関連時刻である受信時刻での物体の状態値を予測し、その予測結果を予測データとして生成する。

相関処理部は、予測処理部１３から入力された予測データとデータ受信部１２から入力された検知データとの相関を、後述する評価規範を用いて仮決定する。Ｍ個の相関処理部である第１の相関処理部１４ａから第Ｍの相関処理部１４ｍでは、予め設定された相異なるＭ個の評価規範で相関を仮決定する。

相関決定処理部１５は、第１の相関処理部１４ａから第Ｍの相関処理部１４ｍのＭ個の相関処理部から入力されたＭ個の仮相関データを基に、予測処理部１３から入力された予測データとデータ受信部１２から入力された検知データとの相関を決定する。具体的には、Ｍ個の仮相関データがすべて一致する場合、その仮相関データを最終相関データとする。Ｍ個の仮相関データが異なる場合、後述する仮相関データの統合方法に従って、最終的な相関データを算出する。

更新処理部１６は、相関決定処理部１５で決定された相関データに対応付けられた検知データに基づいて、物体の状態値を更新することで前回の関連時刻における物体データから更新された物体データを生成し表示部３０に出力する。

ここで、物体データとは、物体の状態値を含む情報であり、物体の状態値とは、第１のセンサ２１ａ、・・・、第Ｎのセンサ２１ｎによって検出された物体の位置、速度、加速度等の物理量または種別等の情報である。また、更新処理部１６は、例えば、最小二乗法、カルマンフィルタまたは粒子フィルタ等を用いて、物体の状態値を更新する。

また、更新処理部１６によって、更新された物体データの情報はデータ受信部１２に出力され、データ受信部１２では、相関決定した物体データに起因する検知データを検出したセンサを使用済みとしてマークする。

＜相関処理における評価規範＞
次に、相関処理部１４ａ、・・・、相関処理部１４ｍで用いられる評価規範について説明する。
図３は、相関処理部で用いられる評価規範の例を示す図である。評価規範は計量に関するパラメータと相関アルゴリズムとの組を各評価規範とする。図３の横軸と縦軸から選ばれた各マトリックスの部分が評価規範となる。

（１ａ）計量に関するパラメータ
まず、計量に関するパラメータに関し、計量値として位置を用いる場合を例で説明する。検知データと予測データとのそれぞれｘ軸方向の位置差、ｙ軸方向の位置差を（ｄｘ，ｄｙ）とすると、以下の計量に関するパラメータを作成することができる。
（１ａ１）ユークリッド距離

（１ａ２）マンハッタン距離

（１ａ３）チェビシェフ距離

（１ａ４）マハラノビス距離

（１ａ５）確率密度の逆数

計量値として位置を用いる場合を示したが、物体の速度を用いる場合では、検知データと予測データとのそれぞれｘ軸方向の速度差、ｙ軸方向の速度差で（１ａ１）から（１ａ５）の式を作成すればよい。また、計量値として物体の加速度を用いてもよい。これら５つの式に限るものでもない。

（１ａ４）、（１ａ５）の誤差共分散行列Ｓは、例えばカルマンフィルタを用いて計算することができる。あるいは相異なる複数の誤差共分散行列Ｓ１、Ｓ２、・・・を設定して、それぞれ別の計量値を用いてもよい。これは誤差モデルを複数設定することに相当する。

また、（１ａ５）の分母である確率密度関数は、誤差分布が正規分布であると仮定したものであるが、これに限らず、別の確率分布に基づく確率密度関数を使用してもよい。

計量に関するパラメータとしては、センサから検出できる物体情報として、物体の種別に関するもの等も用いることができる。例えば予めグループ分けされた物体に対し、同じ種別の場合０、異なる場合１とする、等定義し、物体の種別の一致性を用いればよい。
また、Ｎ個のセンサを識別するＩＤを設定し、検知データ毎にセンサ識別ＩＤを付しておき、前回の処理対象の検知データのセンサ識別ＩＤと、今回の処理の検知データのセンサ識別ＩＤとが一致したら、０、異なる場合１とする、等定義し、センサ識別ＩＤの一致性を用いてもよい。

（１ｂ）相関アルゴリズム
次に、相関アルゴリズムの例について説明する。相関アルゴリズムは、予測データと検知データとが同一物体のものであるか否か推定するアルゴリズムである。（１ａ）で述べた計量に関するパラメータで算出された値が小さいほど、同一物体である可能性が高いと推定する。例えば以下に示す３つの相関アルゴリズムはよく知られた手法であるがこれらの中から選択すればよい。
（１ｂ１）ＳＮＮ（Ｓｉｍｐｌｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）法
（１ｂ２）ＧＮＮ（Ｇｌｏｂａｌ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）法
（１ｂ３）ＭＨＴ（Ｍｕｌｔｉｐｌｅ Ｈｙｐｏｔｈｅｓｉｓ Ｔｒａｃｋｉｎｇ）法

ここで、（１ｂ３）のＭＨＴ法では、複数の相関データを「仮説」として保持する。信頼度の高い上位ｐ個の仮説を保持し、出力は信頼度上位の仮説のみとする。

前述の通り、図３で示された相関処理部で用いられる評価規範は、計量値を位置と設定した場合であっても、５×３＝１５種類あり、これら複数の評価規範を用いて仮相関データを出力することができる。

＜複数の仮相関データの統合＞
前述したように、相関決定処理部１５は、Ｍ個の相関処理部の出力に関し、Ｍ個の仮相関データがすべて一致する場合、その仮相関データを最終相関データとし、Ｍ個の仮相関データが異なる場合、仮相関データを統合して、最終的な相関データを算出する。
以下に、相関決定処理部１５で用いられる仮相関データの統合方法の例について説明する。

（２ａ）多数決
同じ相関データを出力した数が最も多いものを仮相関データとして採用し、最終的な相関データとする。

（２ｂ）物体データ更新回数
次の仮相関データＡ、Ｂが出力された場合を例に説明する。
仮相関データＡ：（１ａ１）ユークリッド距離及び（１ｂ２）ＧＮＮを評価規範として
出力したもの。
仮相関データＢ：（１ａ４）マハラノビス距離及び（１ｂ２）ＧＮＮを評価規範として出力したもの。
（２ｂ１）物体データの更新回数の差を比較するが、更新回数の少ない評価規範による物体データは推定精度が悪く、特にマハラノビス距離による仮相関データは更新回数が少ないと誤りの可能性がある。そのため、仮相関データＡの更新回数が仮相関データＢの更新回数よりも多くかつ、その差が予め設定された閾値以上の場合は仮相関データＡを最終的な相関データとして採用する。この条件を満たさない場合は、仮相関データＢを最終的な相関データとして採用する。
（２ｂ２）但し、両者の物体データの更新回数が予め定められた閾値以上ならば、すべての物体データの推定精度が良く、マハラノビス距離による仮相関データＢは信頼できるものと見做され、仮相関データＢを最終的な相関データとして採用する。

物体データの更新回数についての閾値は、評価規範に用いられる計量に関するパラメータ毎、あるいは計量に関するパラメータと相関アルゴリズムとの組である評価規範毎の信頼性に応じて予め定めておけばよい。

（２ｃ）センサの種類
物体の検出に用いたセンサの種類に応じて、例えば仮相関データに重みづけを行い、最終的な仮相関データを選択する。例えば、センサがレーダの場合仮相関データＣを採用し、センサがカメラの場合仮相関データＤを採用する、等予め設定しておく。

（２ｄ）物体種別
物体の種別に応じ、最終的な仮相関データを選択する。例えば予測データが全て種別ｅのものの場合仮相関データＥを採用し、他の種別を含む場合は仮相関データＦを採用する、等予め設定しておく。

（２ｅ）物体検出領域
検出対象である物体の検出領域に応じて、最終的な仮相関データを選択する。例えば特定領域を含む領域を設定しておき、特定領域ｇを含む領域の物体データを入手したい場合は仮相関データＧを採用し、他の特定領域ｈを含む領域の物体データを入手したい場合は仮相関データＨを採用する、等予め設定しておく。

（２ｆ）検知データに付されたセンサ識別ＩＤの連続性
予測データの元である物体データが算出された前回の処理で用いられた検知データに付されたセンサ識別ＩＤと、今回の処理の検知データのセンサ識別ＩＤとが一致する組の中から最もセンサ識別ＩＤの一致数の多い仮相関データを採用する。

（２ｇ）物体データの連続性
仮相関データによって物体データを更新したときの、前回の物体データの物理量からの変化量を算出し、最も小さい変化量に起因する計量を用いた仮相関データを採用し、最終的な相関データとする。
ここで、物体データの物理量としては、計量で用いられる位置、速度、加速度等である。また、前回からの変化量が最も小さいことについては、変化量の絶対値の和が最も小さいものを算出するのが望ましい。

前述で例示した、（２ａ）から（２ｇ）の仮相関データの統合方法は、任意に組み合わせることができる。
また、各仮相関データについて信頼度を算出しておき、各仮相関データによりそれぞれ物体データを更新し、この信頼度によって更新された物体データを重みづけ平均によって統合することで、物体データを更新するようにしてもよい。

次に、本実施の形態１に係る物体認識装置１０の動作について、図４を参照しながら説明する。図４は、実施の形態１に係る物体認識装置１０の動作を示すフローチャートである。なお、図４のフローチャートの各ステップの処理内容を説明するにあたって、重複する内容は適宜省略する。

なお、物体認識装置１０は、例えば、予め設定された設定周期で図４のフローチャートの処理を繰り返し実行する。また、図４のフローチャートの処理は、ある処理時刻ｔｋ、すなわち、今回の処理時刻ｔｋでの物体認識装置１０の動作を示している。以下では、今回の処理時刻ｔｋの１つ前の前回の処理時刻をｔｋ－１と表記する。

まず、ステップＳ１０１（データ受信ステップ）において、データ受信部１２は、処理時刻ｔｋ－１から処理時刻ｔｋまでの期間に設置された全てのセンサ、すなわち第１のセンサ２１ａ、・・・、第Ｎのセンサ２１ｎから検知データを受信する。

次に、ステップＳ１０２（時刻関連付けステップ）において、時刻計測部１１は、時刻を計測し、各センサが検知データを検出した時刻を関連時刻として検知データに関連付ける。

次に、ステップＳ１０３において、データ受信部１２は、全てのセンサが未使用であるとマークしておく。未使用とは相関データの算出前であることを意味する。

次に、ステップＳ１０４において、未使用のセンサが存在するか判定する。このステップＳ１０４において全てのセンサが使用済となるまで、以下のステップを繰り返す。なお、以下の処理を行う順番は任意である。例えば検知データを検出し、関連付けられた関連時刻の順に従って処理してもよいし、第１から順に番号を付されたセンサの順であってもよい。ここで、まず第１のセンサ２１ａから処理を行う例で説明する。

次に、ステップＳ１０５（予測データ生成ステップ）において、予測処理部１３は、時刻ｔｋ－１に関連付けられた前回の第１のセンサ２１ａの検知データに基づいて更新処理部１６から出力された第１のセンサ２１ａによる物体データを用いて、今回の関連時刻における予測データを算出し、各相関処理部１４ａ、・・・、相関処理部１４ｍに出力する。

次に、ステップＳ１０６からステップＳ１０８を繰り返す。ステップＳ１０７（仮相関データ生成ステップ）において、予め設定された相異なるＭ個の評価規範を用いて相関処理部１４ａ、・・・、相関処理部１４ｍで、今回の関連時刻の付された第１のセンサ２１ａの検知データと予測データとを用い、異なる評価規範に基づいて仮相関データを算出する。ステップＳ１０８において、Ｍ個の評価規範を用いてすべての相関処理部から仮相関データが算出された場合、仮相関データの算出は終了し、ステップＳ１０９に移る。

次に、ステップＳ１０９（相関データ決定ステップ）において、相関決定処理部１５は、各相関処理部から相異なる評価規範を用いて算出されたＭ個の仮相関データに基づいて最終的な相関データを決定する。Ｍ個の仮相関データが全て一致する場合、その仮相関データを最終的な相関データとする。仮相関データが異なる場合は、前述した「複数の仮相関データの統合方法」に基づいて、最終的な相関データを生成する。

次に、ステップＳ１１０（更新処理ステップ）において、更新処理部１６は、相関決定処理部１５から出力された相関データに対応付けられた第１のセンサ２１ａの検知データに基づいて、物体の状態値を更新し、関連時刻における更新された物体データを生成する。なお、更新の方法は、例えば、最小二乗法、カルマンフィルタまたは粒子フィルタ等を用いればよく、第１のセンサ２１ａで検出された物体の状態値を更新する。

次に、ステップＳ１１１において、データ受信部１２は、更新処理部１６で第１のセンサ２１ａについて物体データが更新された信号を受け、第１のセンサ２１ａを使用済みセンサとしてマークする。

再び、ステップＳ１０４に戻り、未使用のセンサについてステップＳ１０５からステップＳ１１１を繰り返す。全てのセンサについて検知データと予測データとの相関データ処理が実行され、物体データが更新されると（ステップＳ１０４でＮｏ）、時刻ｔｋでの処理が終了する（ステップＳ１１２）。

なお、仮相関データの統合に、（２ｇ）の物体データの連続性を用いる場合は、ステップＳ１０７の後に、「第ｍの物体データを仮更新」のステップを設け、このステップも含めて、ステップＳ１０６からステップＳ１０８をＭまで繰り返す。そして、ステップＳ１０９では、仮更新した物体データと前回の物体データとの変化量の最も小さいものの相関データとして選択するとともに、ステップＳ１１０では、ステップＳ１０９で算出された前回の物体データとの変化量の最も小さい仮更新した物体データを更新された物体データとする。

次に、本実施の形態による物体認識方法の優位な点について説明する。
図５は、実施の形態１に係る物体認識装置を用いて物体を認識する優位な効果を説明するための図である。図において、縦方向の軸をｘ軸、横方向の軸をｙ軸とし、□は、それぞれ前回の時刻における物体データＡ、Ｂを示し、●は今回の時刻に検出された検知データａ、ｂを示している。ここで、物体の状態量は位置を例としている。すなわち、図５Ａで示されるように物体データＡと検知データａが対応し、物体データＢが検知データｂに対応して更新データが演算されるのが正しい相関である。

この２組のデータの関係に対し、ｘ方向の位置差が大きく、ｙ方向の位置差が小さい誤差モデルを比較例とする。図５Ｂで示されるように、物体データＡについての等確度線は実線楕円のようになる。同様に、物体データＢについての等確度線は破線楕円のようになる。この誤差モデルによれば、物体データＡと確度の高い検知データは検知データｂとなり、逆に物体データＢと確度の高い検知データは検知データａとなる。このため誤相関を生じてしまう。

本実施の形態では、１つの仮相関データでこのような誤相関を生じても、複数の相異な評価規範を用いて複数の仮相関データを生成し、この複数の仮相関データから最終的な相関データを生成するので、誤相関のデータは排除され、誤相関を反映した物体データの更新を行う可能性がなくなる。

以上のように、本実施の形態１に係る物体認識装置およびこの装置を用いた物体認識方法によれば、複数のセンサを用いて物体を検出し、それぞれのセンサから検出された検知データと、前回の物体データに基づく予測データとに対し、複数の相異なる評価規範を用いてそれぞれ仮相関データを生成し、複数の仮相関データに基づいて最終的な相関データを生成するとともにその最終的な相関データに関連付けられた検知データにより物体データを更新するので、誤相関が抑制され、物体データの更新精度が向上し、物体の認識確度が高くなる。

実施の形態２．
以下に、実施の形態２に係る車両運転支援システムについて図を用いて説明する。実施の形態２では、複数のセンサを車両に搭載し、実施の形態１の物体認識装置を用いて車両の運転を支援する例について図を用いて説明する。説明は実施の形態１と相違する点を述べ、重複する内容は省略する。

図６は、実施の形態２に係る物体認識装置を含む物体認識システムの概略構成を示すブロック図である。図６において、車両情報センサ２５により、自車に関する情報を自車データが検出され、検出された自車データは物体認識装置１０に送信される。ここで、自車データには、例えば、自車の速度、車輪速、ステアリング角またはヨーレート等の情報が含まれる。なお、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて、自車の緯度、経度または進行方向を、自車両データとして検出するように、車両情報センサ２５を構成してもよい。

データ受信部１２は車両情報センサ２５から受信した車両情報についても計測時の時刻を関連時刻として関連付ける。
また、更新処理部１６で更新された物体データは車両制御部４０にも出力される。
その他の構成は図１と同じである。

図７は、実施の形態２に係る車両運転システムの概略構成の例を示す図である。図において、自車両１００には複数のセンサ２１ａ、２１ｂ、２１ｃが搭載されている。例えば、第１のセンサ２１ａとしてミリ波レーダを用い、第２のセンサ２１ｂとして光学カメラを用い、第１のセンサ２１ａを自車両１００の前方バンパー部中央に搭載し、第２のセンサ２を自車両１００のルームミラー裏側に搭載し、自車両１００の前方を両センサの共通の検出範囲とすることが考えられる。加えて、第３のセンサ２１ｃとして電波センサを自車両１００の後方バンパー部中央に搭載している。

表示部３０は、自車両１００内のナビゲーションシステム等に用いられる表示部を兼ねており、車両制御部４０は、先進運転支援システムＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能の１つであるＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）等を制御する電子制御ユニット（ＥＣＵ：Ｅｌｅｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）に相当する。車両情報センサ２５、物体認識装置１０も自車両１００に搭載され、各センサ２１ａ、２１ｂ、２１ｃ、車両情報センサ２５、物体認識装置１０、車両制御部４０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ：登録商標）を用いて通信が行われる。

実施の形態１では相関処理に用いる評価規範において、計量に関するパラメータとして、センサから検出できる物体情報の物体の種別に関するもの等も用いることができることを説明した。物体認識装置１０を車両運転支援システムに適用する場合、例えば予めグループ分けされた車両の種別に対し、同じ種別の車両の場合０、普通車と大型車の場合１とする、二輪車と自転車の場合２とする、これら以外の場合は３とする等定義してもよい。

実施の形態１では、「複数の仮相関データの統合方法」において、（２ｄ）物体種別結果を用いる方法について説明した。物体認識装置１０を車両運転支援システムに適用する場合、種別が全て車両の場合仮相関データＥを採用し、車両以外を含む場合は仮相関データＦを採用する、等予め設定しておいてもよい。

実施の形態１では、「複数の仮相関データの統合方法」において、（２ｅ）物体検出領域を用いる方法について説明した。物体認識装置１０を車両運転支援システムに適用する場合、例えば特定領域として自車両１００前方の左右１車線以内の範囲を設定し、この範囲の場合は仮相関データＧを採用し、この範囲外の場合は仮相関データＨを採用する、等予め設定しておいてもよい。

さらに、物体認識装置１０を車両運転支援システムに適用する場合、「複数の仮相関データの統合方法」に以下を追加してもよい。
（２ｈ）制御モード
運転支援システムあるいは自動運転システムの制御モードによって仮相関データを選択する。例えば、制御モードが「先行車両追従モード」の場合、仮相関データＩ、それ以外のモードは仮相関データＪを採用する。

物体認識装置１０を車両運転支援システムに適用する場合、「複数の仮相関データの統合方法」としては（２ａ）から（２ｈ）を任意に組み合わせることができる。例えば、昼間か夜間か、平坦な道路か坂道かトンネル内か等の走行環境によって切り替えるようにしてもよい。

以上のように、本実施の形態に係る物体認識装置１０を車両運転支援システムに適用する場合、高い精度で物体を認識できるとともに、自車両の制御モードに応じて相関データを算出し、物体データを更新可能となるので、先行車両追従モードにおいて先行車両の誤認がなくなる等、車両の運転支援精度を向上することが可能となり、車両走行の制御性が向上する。

本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１０：物体認識装置、 １１：時刻計測部、 １２：データ受信部、 １３：予測処理部、 １４ａ：第１の相関処理部、 １４ｍ：第Ｍの相関処理部、 １５：相関決定処理部、 １６：更新処理部、 ２１ａ、２１ｂ、２１ｃ、２１ｎ：センサ、 ２５：車両情報センサ、 ３０：表示部、 ４０：車両制御部、 １００：自車両、 １０００：プロセッサ、 ２０００：記憶装置。

Claims (19)

1. 複数のセンサのそれぞれから受信した物体の検知データから前記物体の状態値を推定する物体認識装置であって、
   時刻を計測する時刻計測部と、
   前記検知データを受信し、受信した前記検知データごとに、前記時刻計測部によって計測された時刻を関連時刻として関連付けるデータ受信部と、
   前記データ受信部によって関連付けられた関連時刻に対応する前記物体の状態値を、１つ前の関連時刻の前記物体の状態値から予測し、予測結果を予測データとして生成する予測処理部と、
   前記予測処理部によって生成された前記予測データと、前記関連時刻に対応する前記検知データとの相関を算出し、仮相関データとして生成する相関処理部と、
   前記相関処理部で生成された前記仮相関データに基づいて相関データを決定する相関決定処理部と、
   前記相関決定処理部で決定された前記相関データに基づいて前記物体の状態値を更新する更新処理部と、を備え、
   前記相関処理部を複数有し、複数の前記センサの各センサに対し、前記予測データと前記関連時刻に対応する前記センサの検知データとが同じである組が複数の前記相関処理部のそれぞれに入力されるとともに、複数の前記相関処理部は相関処理に関する予め設定された相異なる評価規範を用いて、前記予測データと前記関連時刻に対応する前記検知データとの相関を算出して前記仮相関データをそれぞれ生成し、
   前記相関決定処理部は、複数の前記相関処理部で生成された複数の前記仮相関データに基づいて前記相関データを決定し、
   前記更新処理部は、前記相関決定処理部で決定された前記相関データに対応する前記検知データに基づいて前記物体の状態値を更新する、
   物体認識装置。
2. 前記相関決定処理部は、
   複数の前記相関処理部で生成された複数の前記仮相関データが全て一致する場合は、一致した前記仮相関データを前記相関データとし、
   複数の前記相関処理部で生成された複数の前記仮相関データが全て一致しない場合、複数の前記仮相関データに対し、予め定められた仮相関データ統合手段の中から選択された手段を用いて前記相関データを決定する、請求項１に記載の物体認識装置。
3. 前記相関処理部で用いられる前記評価規範は予め設定された計量パラメータと相関アルゴリズムとの組み合わせから構成され、複数の前記相関処理部は互いに前記計量パラメータと前記相関アルゴリズムとの異なる組み合わせの前記評価規範を用いて前記仮相関データを生成する、請求項１または２に記載の物体認識装置。
4. 前記評価規範を構成する前記計量パラメータは、少なくとも前記検知データと前記予測データとの位置差を含み、前記位置差をユークリッド距離、マンハッタン距離、チェビシェフ距離、マハラノビス距離及び確率密度の逆数、から選択されたいずれかで記述された計量パラメータである、請求項３に記載の物体認識装置。
5. 前記評価規範を構成する前記計量パラメータとして、さらに前記検知データと前記予測データとの速度差または加速度差を含み、前記速度差または加速度差をユークリッド距離、マンハッタン距離、チェビシェフ距離、マハラノビス距離及び確率密度の逆数から、選択されたいずれかで記述された計量パラメータを用いる、請求項４に記載の物体認識装置。
6. 前記評価規範を構成する前記計量パラメータとして、さらに前記検知データと前記予測データとに含まれる前記物体の種別の一致性または前記検知データに付された前記センサを識別するセンサ識別ＩＤと前記予測データに付された前記センサ識別ＩＤとの一致性を含む、請求項４または５に記載の物体認識装置。
7. 前記評価規範を構成する前記相関アルゴリズムは、ＳＮＮ法、ＧＮＮ法、ＭＨＴ法のいずれかである請求項３から６のいずれか１項に記載の物体認識装置。
8. 前記相関決定処理部において、複数の前記仮相関データのうち一致するものが最も多い前記仮相関データを前記相関データとする、請求項２から７のいずれか１項に記載の物体認識装置。
9. 前記相関決定処理部において、前記更新処理部で更新された回数に基づいて、複数の前記仮相関データから対応する前記評価規範が用いられた前記仮相関データを選択し、前記相関データを決定する、請求項２から８のいずれか１項に記載の物体認識装置。
10. 前記相関決定処理部において、前記検知データを検出した前記センサの種類に基づいて複数の前記仮相関データから前記仮相関データを選択し、前記相関データを決定する、請求項２から９のいずれか１項に記載の物体認識装置。
11. 前記相関決定処理部において、前記検知データまたは前記予測データに含まれる前記物体の種別に基づいて複数の前記仮相関データから前記仮相関データを選択し、前記相関データを決定する、請求項２から１０のいずれか１項に記載の物体認識装置。
12. 前記相関決定処理部において、前記検知データまたは前記予測データが検出された検出領域に基づいて複数の前記仮相関データから前記仮相関データを選択し、前記相関データを決定する、請求項２から１１のいずれか１項に記載の物体認識装置。
13. 前記相関決定処理部において、前記検知データに付された前記センサを識別するセンサ識別ＩＤと前記予測データとに付された前記センサ識別ＩＤとが一致するものが最も多い前記仮相関データを前記相関データとする、請求項２から１２のいずれか１項に記載の物体認識装置。
14. 前記相関決定処理部において、前記仮相関データに対応する前記検知データに基づいて更新された物体の状態値と更新される前の前記物体の状態量との変化量の絶対値の和を算出し、前記変化量の絶対値の和が最も小さくなる前記仮相関データを前記相関データとする、請求項２から１３のいずれか１項に記載の物体認識装置。
15. 前記相関決定処理部において、複数の前記仮相関データに対してそれぞれ信頼度を算出し、
    前記更新処理部は、前記相関決定処理部で算出された信頼度の付された複数の前記仮相関データそれぞれに対応する前記検知データに基づいて前記物体の状態値を更新し、
    前記更新された複数の前記物体の状態値に対し、前記信頼度による重みづけ平均処理を行い前記物体の状態値を更新する、請求項２から１４のいずれか１項に記載の物体認識装置。
16. 複数のセンサのそれぞれから受信した物体の検知データから前記物体の状態値を推定する物体認識方法であって、
    前記複数のセンサから前記検知データを受信するデータ受信ステップと、
    時刻を計測し、受信した前記検知データに計測された時刻を関連時刻として関連付ける時刻関連付けステップと、
    前記時刻関連付けステップにおいて関連付けられた関連時刻に対応する前記物体の状態値を、１つ前の関連時刻の前記物体の状態値から予測し、予測結果を予測データとして生成する予測データ生成ステップと、
    前記予測データと前記検知データとの相関を評価規範に基づいて算出し、仮相関データを生成する仮相関データ生成ステップと、
    前記仮相関データ生成ステップを、複数の前記センサの各センサ毎に、前記予測データと前記検知データとが同じである組に対し、異なるＭ（Ｍは２以上の整数）個の評価規範に基づいてＭ個の仮相関データを生成するまで繰り返すステップと、
    生成されたＭ個の前記仮相関データに基づいて相関データを決定する相関データ決定ステップと、
    決定された前記相関データに基づいて前記物体の状態値を更新する更新処理ステップと、を備えた物体認識方法。
17. 前記複数のセンサから受信した複数の前記検知データに対応して、前記予測データ生成ステップから前記更新処理ステップまでを繰り返し実行する、請求項１６に記載の物体認識方法。
18. 車両に搭載された複数のセンサと、
    前記車両の情報を取得する車両情報センサと、
    請求項１から１５のいずれか１項に記載の物体認識装置と、
    前記物体認識装置から出力された前記物体の状態値が入力され、前記車両の走行を制御する車両制御部と、を備えた車両運転支援システム。
19. 前記物体認識装置の前記相関決定処理部において、前記車両の走行モードに基づいて、複数の前記仮相関データから前記仮相関データを選択し、前記相関データを決定する、請求項１８に記載の車両運転支援システム。

Images