JP5573266B2 - 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム - Google Patents

Description

本発明は、車両周辺にある対象オブジェクトを認識する車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラムに関する。

従来より、地図情報やＧＰＳ等の各種センサによって特定される車両の走行情報を取得し、運転手に対する報知や、運転の補助を行う運転支援装置について提案されている。このような運転支援装置としては、例えばナビゲーション装置の他、プリクラッシュセーフティシステム、オートクルーズコントロールシステム、レーンキーピングアシストシステム等がある。

そして、そのような運転支援装置の中には、車両の前面にカメラ等の撮像装置を設け、車両周辺にあるオブジェクト（人、物、標示等）を撮像し、撮像された画像に対して画像認識処理を実施してオブジェクトを認識し、認識結果に基づいて報知や車両の制御を行うものがある。例えば、車両周辺に位置する人や自転車等の障害物を撮像画像から認識し、認識された障害物の種類や位置に基づいて該障害物への警告を行うものがある。また、車両の前方に位置する前方車両を撮像画像から認識し、認識された前方車両との間隔に基づいてアクセルやブレーキを制御するものがある。また、車両が走行する道路上に形成された最高速度や区画線等の道路標識を撮像画像から認識し、認識された道路標識の車両に対する相対位置に基づいて車両の詳細な現在位置を特定したり、ステアリング制御を行うものがある。

ここで、車両に設置された撮像装置によりオブジェクトを撮像し、撮像された画像に基づいてオブジェクトを認識する際には以下の問題があった。即ち、道路形状や車両の走行態様によってオブジェクトに対する撮像装置の位置関係や角度が変化するので、同じオブジェクトを撮像した場合であっても撮像画像中のオブジェクトの形状が毎回変化することとなる。そこで、例えば特開平８−３２０９９０号公報には、カメラで撮像した画像から車両のナンバープレートを認識する技術において、撮像画像中のナンバープレートに含まれる車番の歪み量を検出し、検出された歪み量に基づいて車番の歪みを補正し、補正後の画像に基づいて車番を認識することについて記載されている。

特開平８−３２０９９０号公報（第３頁〜第５頁）

しかしながら上記特許文献１に記載された技術では、車番の歪み量を検出する処理と、検出された歪み量に基づいて車番の歪みを補正する処理とをそれぞれ実行した後に、画像認識処理を行うので、処理に係るＣＰＵの負担が大きくなる問題があった。また、画像認識処理では、撮像されたオブジェクトの種類を特定する他の認識方法として、テンプレートマッチングによる方法がある。テンプレートマッチングでは、テンプレートのサイズや角度を少しずつ変化させて走査を行い撮像画像中のオブジェクトがテンプレートと一致するか否かを判定する処理を繰り返し行う必要がある。ここで、道路上にあるオブジェクトについては、撮像した際のサイズはそれほど大きく変化しないが、車両の向きや道路形状によって撮像した際のオブジェクトの角度は大きく変化する。従って、テンプレートマッチングによる画像認識処理についても、処理時間の長時間化やＣＰＵの処理負荷の増大が問題となっていた。

本発明は前記従来における問題点を解消するためになされたものであり、認識対象となる対象オブジェクトについて、予め基準オブジェクトに対する相対角度をデータベース化することによって、その後に対象オブジェクトを検出する為の画像認識処理を実行する場合において、撮像装置に対する該対象オブジェクトの相対角度を予め把握することが可能となり、従来より簡易な処理によって画像認識処理を実行することを可能とした車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本願の請求項１に係る車両用対象物画像認識装置（１）は、車両に設置された撮像装置（１９）により前記車両の周辺を撮像する撮像手段（１３）と、前記撮像手段により撮像された撮像画像中に含まれる基準オブジェクト（５２）の前記撮像装置に対する相対角度を基準相対角度として検出する基準相対角度検出手段（１３）と、前記撮像手段により撮像された撮像画像中に含まれる対象オブジェクト（５１）の前記撮像装置に対する相対角度を対象相対角度として検出する対象相対角度検出手段（１３）と、前記基準相対角度と前記対象相対角度とに基づいて、前記基準オブジェクトに対する前記対象オブジェクトの相対角度を比較相対角度として算出する比較相対角度算出手段（１３）と、前記比較相対角度を前記対象オブジェクトに対応づけて記憶媒体（３３）に記憶する相対角度記憶手段（１３）と、前記記憶媒体に記憶された前記比較相対角度を用いて、前記撮像装置の光軸方向に対する前記対象オブジェクトの相対角度を予め把握し、前記車両の周辺に位置する前記対象オブジェクトを検出する為の前記撮像画像に対する画像認識処理を行う対象オブジェクト認識手段（１３）と、を有することを特徴とする。
尚、「対象オブジェクト」や「基準オブジェクト」としては、道路上又は道路付近において位置や角度が固定されている物が該当し、障害物、建造物、道路標識（路面標示含む）等がある。

また、請求項２に係る車両用対象物画像認識装置（１）は、請求項１に記載の車両用対象物画像認識装置であって、前記車両の周辺に前記対象オブジェクト（５１）が位置するか否かを判定する対象オブジェクト判定手段（１３）と、前記対象オブジェクト判定手段によって前記車両の周辺に前記対象オブジェクトが位置すると判定された場合に、前記撮像手段（１９）により撮像された撮像画像中に含まれる基準オブジェクト（５２）の前記撮像装置に対する相対角度を第１相対角度として検出する第１相対角度検出手段（１３）と、前記記憶媒体（３３）に記憶された前記比較相対角度の内、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトに対応づけて記憶された前記比較相対角度を抽出する角度抽出手段（１３）と、前記角度抽出手段によって抽出された前記比較相対角度と前記第１相対角度とに基づいて、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトの前記撮像装置に対する相対角度を第２相対角度として検出する第２相対角度検出手段（１３）と、を有し、前記対象オブジェクト認識手段は、前記第２相対角度に基づいて、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトを検出する為の前記撮像画像に対する画像認識処理を行うことを特徴とする。

また、請求項３に係る車両用対象物画像認識装置（１）は、車両に設置された撮像装置（１９）により車両の周辺を撮像する撮像手段（１３）と、基準オブジェクト（５２）に対する対象オブジェクト（５１）の相対角度を比較相対角度として前記対象オブジェクトに対応づけて記憶媒体（３３）に記憶する相対角度記憶手段（１３）と、車両の周辺に前記対象オブジェクトが位置するか否かを判定する対象オブジェクト判定手段（１３）と、前記対象オブジェクト判定手段によって前記車両の周辺に前記対象オブジェクトが位置すると判定された場合に、前記撮像手段により撮像された撮像画像中に含まれる基準オブジェクトの前記撮像装置に対する相対角度を第１相対角度として検出する第１相対角度検出手段（１３）と、前記記憶媒体に記憶された前記比較相対角度の内、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトに対応づけて記憶された前記比較相対角度を抽出する角度抽出手段（１３）と、前記角度抽出手段によって抽出された前記比較相対角度と前記第１相対角度とに基づいて、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトの前記撮像装置に対する相対角度を第２相対角度として検出する第２相対角度検出手段（１３）と、前記第２相対角度に基づいて、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトを検出する為の前記撮像画像に対する画像認識処理を行う対象オブジェクト認識手段（１３）と、を有することを特徴とする。

また、請求項４に係る車両用対象物画像認識方法は、撮像手段が、車両に設置された撮像装置（１９）により車両の周辺を撮像するステップと、基準相対角度検出手段が、前記撮像手段により撮像された撮像画像中に含まれる基準オブジェクト（５２）の前記撮像装置に対する相対角度を基準相対角度として検出するステップと、対象相対角度検出手段が、前記撮像手段により撮像された撮像画像中に含まれる対象オブジェクト（５１）の前記撮像装置に対する相対角度を対象相対角度として検出するステップと、比較相対角度算出手段が、前記基準相対角度と前記対象相対角度とに基づいて、前記基準オブジェクトに対する前記対象オブジェクトの相対角度を比較相対角度として算出するステップと、相対角度記憶手段が、前記比較相対角度を前記対象オブジェクトに対応づけて記憶媒体（３３）に記憶するステップと、対象オブジェクト認識手段が、前記記憶媒体に記憶された前記比較相対角度を用いて、前記撮像装置の光軸方向に対する前記対象オブジェクトの相対角度を予め把握し、前記車両の周辺に位置する前記対象オブジェクトを検出する為の前記撮像画像に対する画像認識処理を行うステップと、を有することを特徴とする。

更に、請求項５に係るコンピュータプログラムは、コンピュータを、車両に設置された撮像装置（１９）により車両の周辺を撮像する撮像手段と、前記撮像手段により撮像された撮像画像中に含まれる基準オブジェクト（５２）の前記撮像装置に対する相対角度を基準相対角度として検出する基準相対角度検出手段と、前記撮像手段により撮像された撮像画像中に含まれる対象オブジェクト（５１）の前記撮像装置に対する相対角度を対象相対角度として検出する対象相対角度検出手段と、前記基準相対角度と前記対象相対角度とに基づいて、前記基準オブジェクトに対する前記対象オブジェクトの相対角度を比較相対角度として算出する比較相対角度算出手段と、前記比較相対角度を前記対象オブジェクトに対応づけて記憶媒体（３３）に記憶する相対角度記憶手段と、前記記憶媒体に記憶された前記比較相対角度を用いて、前記撮像装置の光軸方向に対する前記対象オブジェクトの相対角度を予め把握し、前記車両の周辺に位置する前記対象オブジェクトを検出する為の前記撮像画像に対する画像認識処理を行う対象オブジェクト認識手段と、して機能させることを特徴とする。

前記構成を有する請求項１に記載の車両用対象物画像認識装置では、認識対象となる対象オブジェクトについて、予め基準オブジェクトに対する相対角度をデータベース化することによって、その後に対象オブジェクトを検出する為の画像認識処理を実行する場合において、撮像装置に対する該対象オブジェクトの相対角度を予め把握することが可能となる。従って、従来より簡易な処理によって対象オブジェクトを検出する為の画像認識処理を実行することが可能となる。その結果、画像認識処理に必要となる処理時間を短時間化し、ＣＰＵの処理負荷を軽減することが可能となる。

また、請求項２に記載の車両用対象物画像認識装置では、データベース化された基準オブジェクトに対する対象オブジェクトの相対角度を用いることによって、認識対象とする対象オブジェクトを検出する為の画像認識処理を実行する前に、撮像装置に対する該対象オブジェクトの相対角度を予め把握することが可能となる。その結果、従来より簡易な処理によって対象オブジェクトを検出する為の画像認識処理を実行することが可能となる。

また、請求項３に記載の車両用対象物画像認識装置では、基準オブジェクトに対する対象オブジェクトの相対角度を記憶したデータベースを備えることによって、認識対象とする対象オブジェクトを検出する為の画像認識処理を実行する前に、撮像装置に対する該対象オブジェクトの相対角度を予め把握することが可能となる。その結果、従来より簡易な処理によって対象オブジェクトを検出する為の画像認識処理を実行することが可能となる。

また、請求項４に記載の車両用対象物画像認識方法では、認識対象となる対象オブジェクトについて、予め基準オブジェクトに対する相対角度をデータベース化することによって、その後に対象オブジェクトを検出する為の画像認識処理を実行する場合において、撮像装置に対する該対象オブジェクトの相対角度を予め把握することが可能となる。従って、従来より簡易な処理によって対象オブジェクトを検出する為の画像認識処理を実行することが可能となる。その結果、画像認識処理に必要となる処理時間を短時間化し、ＣＰＵの処理負荷を軽減することが可能となる。

更に、請求項５に記載のコンピュータプログラムでは、認識対象となる対象オブジェクトについて、予め基準オブジェクトに対する相対角度をデータベース化させることによって、その後に対象オブジェクトを検出する為の画像認識処理を実行させる場合において、撮像装置に対する該対象オブジェクトの相対角度を予め把握させることが可能となる。従って、従来より簡易な処理によって対象オブジェクトを検出する為の画像認識処理を実行させることが可能となる。その結果、画像認識処理に必要となる処理時間を短時間化し、ＣＰＵの処理負荷を軽減することが可能となる。

本実施形態に係るナビゲーション装置を示したブロック図である。 路面標示ＤＢの記憶領域の一例を示した図である。 オブジェクトＤＢの記憶領域の一例を示した図である。 対象オブジェクトと基準オブジェクトの一例を示した図である。 対象オブジェクトと中心線の一例を示した図である。 本実施形態に係る画像認識処理プログラムのフローチャートである。 本実施形態に係る画像認識処理プログラムのフローチャートである。 対象相対角度と基準相対角度の検出例を示した図である。

以下、本発明に係る車両用対象物画像認識装置についてナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１を示したブロック図である。

図１に示すように本実施形態に係るナビゲーション装置１は、車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ユーザに対して地図や目的地までの案内経路を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスを出力するスピーカ１６と、プログラムを記憶した記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、交通情報センタ等の情報センタとの間で通信を行う通信モジュール１８と、から構成されている。また、ナビゲーション装置１には後述する基準オブジェクト及び対象オブジェクトを検出する為のバックカメラ１９が接続されている。

以下に、ナビゲーション装置１を構成する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４、高度計（図示せず）等からなり、現在の車両の位置、方位、車両の走行速度等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の車輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより車輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１、路面標示ＤＢ３２、オブジェクトＤＢ３３、オブジェクト識別情報３４、所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。

ここで、地図情報ＤＢ３１は、経路案内、交通情報案内及び地図表示に必要な各種地図データが記録されている。
また、地図データは、具体的には、道路（リンク）形状に関するリンクデータ、ノード点に関するノードデータ、施設等の地点に関する情報であるＰＯＩデータ、各交差点に関する交差点データ、経路を探索するための探索データ、地点を検索するための検索データ、地図、道路、交通情報等の画像を液晶ディスプレイ１５に描画するための画像描画データ等から構成されている。

また、路面標示ＤＢ３２は、路面上に形成されたオブジェクトである路面標示に関する路面表示情報が記憶されたＤＢである。ここで、図２は路面標示ＤＢ３２の記憶領域の一例を示した図である。図２に示すように、路面標示ＤＢ３２は、路面標示の位置を地図上で特定する座標データと、路面上に形成された路面標示の種類（例えば、停止線、横断歩道、文字列、最高速度）を識別する為の種類情報（識別子）と、路面標示に関連付けられた制御対象物（停止線、コーナ、交差点等）と、路面標示に関連付けられた制御対象物までの道なり距離から構成される。

例えば、図２に示す例では、座標（ｘ１，ｙ１）には「横断歩道有り」の路面標示が形成されており、且つその路面標示には６０ｍ前方に制御対象物として「停止線」の路面標示が対応付けられていることを示す。そして、ナビゲーションＥＣＵ１３はバックカメラ１９で撮像した撮像画像から路面標示ＤＢ３２に記録されたいずれかの路面標示を認識した場合に、認識した路面標示に関連付けられた制御対象物までの道なり距離に基づいて車両から制御対象物までの詳細な距離を間接的に算出する。そして、算出された距離に基づいて案内や車両制御を行う。

また、オブジェクトＤＢ３３は、本実施形態の画像認識処理で認識対象となるオブジェクトである対象オブジェクトについて、比較基準となるオブジェクトである基準オブジェクトに対する相対角度が、該対象オブジェクトに対応づけて記憶されたＤＢである。ここで、本実施形態では、対象オブジェクトは道路の路面上に形成された路面標示（例えば、停止線、横断歩道、文字列、最高速度等）とする。また、基本オブジェクトは区画線（車道中央線、車線境界線、車道外側線等）とするが、区画線以外のオブジェクトを基本オブジェクトとしても良い。ここで、図３はオブジェクトＤＢ３３の記憶領域の一例を示した図である。図３に示すように、オブジェクトＤＢ３３は、対象オブジェクトの位置を地図上で特定する座標データと、対象オブジェクトの種類（例えば、停止線、横断歩道、文字列、最高速度）を識別する為の種類情報（識別子）と、基準オブジェクトに対する相対角度（以下、比較相対角度という）とから構成される。
尚、基準オブジェクトは、バックカメラ１９に対する相対角度が常時確実に検出できるオブジェクトとする。本実施形態では上述のように区画線（車道中央線、車線境界線、車道外側線等）を用いる。ここで、区画線は、背景である道路路面の色と明度が大きく異なる白線であって、また直線部分が多い。その結果、エッジ処理のベクトルのズレ量が小さく、角度の検出が容易になる利点がある。また、区画線は、ほとんどの道路に配置されているので、どのような道路を車両が走行する場合であっても検出できる利点がある。

例えば、図３に示す例では、座標（ｘ１，ｙ１）には「横断歩道有り」の路面標示が対象オブジェクトとして存在し、且つその対象オブジェクトは基準オブジェクトに対する比較相対角度が５度であることを示す。また、比較相対角度は、対象オブジェクトの中心線と基準オブジェクトの中心線のなす角度によって定義される。ここで、図４は対象オブジェクトが「横断歩道有り」の路面標示であって、基準オブジェクトが車道外側線である場合の例である。図４に示すように、基準オブジェクト５２の中心線５４に対する対象オブジェクト５１の中心線５３の角度θが比較相対角度となる。尚、対象オブジェクト５１の中心線５３は、図５に示すように対象オブジェクト５１の左右方向の中心を通る中心線となる。例えば、最高速度のように２つの数字が平行に並んで形成される対象オブジェクト５１については、各数字の間を通る線となる。また、一の文字や記号から形成される対象オブジェクト５１については、文字や記号の中心を通る線となる。尚、「止まれ」のような文字列から形成されるオブジェクトについては、文字列ではなく文字列を構成する文字毎にオブジェクトＤＢ３３に記憶しても良い。
そして、ナビゲーションＥＣＵ１３はオブジェクトＤＢ３３に記憶された対象オブジェクトに関する情報に基づいて、車両周辺に位置する対象オブジェクトのバックカメラ１９の光軸に対する相対角度を予め検出する。そして、予め検出された相対角度に基づいてバックカメラ１９で撮像した撮像画像に含まれる対象オブジェクトの簡略化した画像認識処理を行う。具体的には、パターンマッチングによる画像認識処理が行われ、その際のテンプレートマッチングにおけるテンプレートの角度の初期角度として算出された相対角度を設定して走査を開始する。
尚、路面標示ＤＢ３２とオブジェクトＤＢ３３は同一のＤＢにより構成しても良い。

また、オブジェクト識別情報３４は、路面上に形成されたオブジェクトである路面標示の画像認識処理に用いられる情報である。具体的には、路面標示の種類（例えば、停止線、横断歩道、文字列、最高速度）毎のテンプレートが記憶される。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、目的地が選択された場合に現在位置から目的地までの案内経路を設定する案内経路設定処理、車両に設置されたバックカメラ１９により車両の周辺を撮像する撮像処理、撮像された撮像画像中に含まれる基準オブジェクトのバックカメラ１９の光軸に対する相対角度（以下、基準相対角度という）を検出する処理、撮像された撮像画像中に含まれる対象オブジェクトのバックカメラ１９の光軸に対する相対角度（以下、対象相対角度という）を検出する処理、基準相対角度と対象相対角度とに基づいて、基準オブジェクトに対する対象オブジェクトの比較相対角度を算出する処理、算出された比較相対角度を対象オブジェクトに対応づけてオブジェクトＤＢ３３に記憶する処理、オブジェクトＤＢ３３に基づいて車両の周辺に位置する対象オブジェクトのバックカメラ１９の光軸に対する相対角度を検出する処理、検出された相対角度に基づいて車両の周辺に位置する対象オブジェクトに対する簡略化された認識処理を行う処理、認識された対象オブジェクトに基づいて案内や車両制御を行う処理等のナビゲーション装置１の全体の制御を行う電子制御ユニットである。そして、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の画像認識処理プログラム（図６、図７参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。

操作部１４は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）から構成される。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、液晶ディスプレイ１５の前面に設けたタッチパネルによって構成することもできる。

また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの走行予定経路、走行予定経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて走行予定経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて地図情報ＤＢ３１や路面標示ＤＢ３２の更新等が行われる。

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

また、バックカメラ１９は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より所定角度下方に向けて設置される。そして、走行時に車両の進行方向と逆方向となる車両後方を撮像する。そして、撮像画像の画像認識処理を行うことによって、車両の周囲にある対象オブジェクトや基準オブジェクトの種類や位置を検出する。そして、検出された対象オブジェクトや基準オブジェクトに基づいてオブジェクトＤＢ３３を作成したり、車両から制御対象物（停止線、コーナ、交差点等）までの詳細な道なり距離を間接的に算出する。

続いて、前記構成を有するナビゲーション装置１において実行する画像認識処理プログラムについて図６及び図７に基づき説明する。図６及び図７は本実施形態に係る画像認識処理プログラムのフローチャートである。ここで、画像認識処理プログラムは車両のＡＣＣがＯＮされた後に実行され、バックカメラ１９で撮像した撮像画像に基づいてオブジェクトＤＢ３３を作成するとともに、作成されたオブジェクトＤＢ３３に基づいて対象オブジェクトの簡略化した画像認識処理を行うプログラムである。尚、以下の図６、図７にフローチャートで示されるプログラムは、ナビゲーションＥＣＵ１３が備えているＲＡＭ４２、ＲＯＭ４３等に記憶されており、ＣＰＵ４１により実行される。

画像認識処理プログラムでは、先ずステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は、車両情報を取得する。前記Ｓ１で取得される車両情報としては、車両の現在位置、車両の方位、バックカメラ１９の光軸方向に関する情報がある。尚、車両の現在位置や方位については、ＧＰＳ２１やジャイロセンサ２４の検出結果に基づいて取得する。更に、車両の現在位置については、地図情報ＤＢ３１に記憶された地図情報を用いて地図上で車両の現在位置を特定するマップマッチング処理についても行う。一方、バックカメラ１９の光軸方向については、車両の方位とバックカメラ１９の設計値に基づいて算出される。尚、バックカメラ１９の設計値についてはＲＯＭ４３等に記憶される。

次に、Ｓ２でＣＰＵ４１は、前記Ｓ１で取得した車両の現在位置及び方位に基づいて、車両周辺にある対象オブジェクトに関する情報を取得する。尚、本実施形態では対象オブジェクトは路面上に形成された路面標示である。従って、前記Ｓ２でＣＰＵ４１は、路面標示ＤＢ３２（図２参照）に記録された路面標示の位置情報に基づいて、車両の周辺（例えば、車両の前方２０００ｍ〜後方５００ｍ）に位置する路面標示の情報（路面標示の位置座標、識別子、関連付けられた制御対象物、制御対象物までの道なり距離）を路面標示ＤＢ３２から読み出す。

続いて、Ｓ３でＣＰＵ４１は、前記Ｓ１で取得した車両の現在位置及び方位と前記Ｓ２で取得した対象オブジェクトに関する情報に基づいて、前記Ｓ２で情報を取得した対象オブジェクトの内、特に車両の周囲（車両の前方３０ｍ〜後方２０ｍ）に位置する対象オブジェクトがあるか否かを判定する。そして、車両の周囲に対象オブジェクトがあると判定された場合（Ｓ３：ＹＥＳ）には、Ｓ４へと移行する。一方、車両の周囲に対象オブジェクトがないと判定された場合（Ｓ３：ＮＯ）には、当該画像認識処理プログラムを終了する。

Ｓ４においてＣＰＵ４１は、車両の周囲に位置する対象オブジェクトが、既にオブジェクトＤＢ３３（図３）に情報が記憶されている対象オブジェクトか否か判定する。そして、車両の周囲に位置する対象オブジェクトが、既にオブジェクトＤＢ３３に情報が記憶されている対象オブジェクトであると判定された場合（Ｓ４：ＹＥＳ）には、後述のＳ１１へと移行する。一方、車両の周囲に位置する対象オブジェクトが、まだオブジェクトＤＢ３３に情報が記憶されていない対象オブジェクトであると判定された場合（Ｓ４：ＮＯ）には、Ｓ５へと移行する。尚、Ｓ５以降ではオブジェクトＤＢ３３の作成に関する処理が実行され、Ｓ１１以降ではオブジェクトＤＢ３３を用いた対象オブジェクトの画像認識処理が実行される。

Ｓ５においてＣＰＵ４１は、バックカメラ１９により撮像された撮像画像に対して通常のパターンマッチングによる画像認識処理を実行し、撮像画像中に含まれる対象オブジェクトを検出する。尚、通常のパターンマッチングによる画像認識処理については既に公知であるので、詳細な説明は省略する。

次に、Ｓ６においてＣＰＵ４１は、前記Ｓ５で実施された通常のパターンマッチングによる画像認識処理によって、撮像画像中に含まれる対象オブジェクトが検出でき、且つ、バックカメラ１９の光軸方向に対する対象オブジェクトの相対角度（対象相対角度）αを検出できたか否か判定する。ここで、対象相対角度αは、バックカメラ１９の光軸方向と対象オブジェクトの中心線のなす角度によって定義される。図８は車両６１が対象オブジェクトとして「横断歩道有り」の路面標示６２を検出した場合の例である。図８に示すように、バックカメラ１９の光軸Ｌに対する路面標示６２の中心線６３の角度が対象相対角度αとなる。

そして、バックカメラ１９の光軸方向に対する対象オブジェクトの対象相対角度αが検出できたと判定された場合（Ｓ６：ＹＥＳ）には、Ｓ７へと移行する。一方、バックカメラ１９の光軸方向に対する対象オブジェクトの対象相対角度αが検出できなかったと判定された場合（Ｓ６：ＮＯ）には、当該画像認識処理プログラムを終了する。

Ｓ７においてＣＰＵ４１は、バックカメラ１９により撮像された撮像画像に対して通常の特徴点マッチングによる画像認識処理を実行し、撮像画像中に含まれる基準オブジェクトを検出する。尚、本実施形態では基準オブジェクトは路面上に形成される区画線（車道中央線、車線境界線、車道外側線等）である。尚、通常の特徴点マッチングによる画像認識処理については既に公知であるので、詳細な説明は省略する。

次に、Ｓ８においてＣＰＵ４１は、前記Ｓ７で実施された通常の特徴点マッチングによる画像認識処理によって、撮像画像中に含まれる基準オブジェクトが検出でき、且つ、バックカメラ１９の光軸方向に対する基準オブジェクトの相対角度（基準相対角度）βを検出できたか否か判定する。ここで、基準相対角度βは、バックカメラ１９の光軸方向と基準オブジェクトの中心線のなす角度によって定義される。図８は車両６１が基準オブジェクトとして車道外側線６４を検出した場合の例である。図８に示すように、バックカメラ１９の光軸Ｌに対する車道外側線６４の中心線６５の角度が基準相対角度βとなる。

そして、バックカメラ１９の光軸方向に対する基準オブジェクトの基準相対角度βが検出できたと判定された場合（Ｓ８：ＹＥＳ）には、Ｓ９へと移行する。一方、バックカメラ１９の光軸方向に対する基準オブジェクトの基準相対角度βが検出できなかったと判定された場合（Ｓ８：ＮＯ）には、当該画像認識処理プログラムを終了する。

Ｓ９においてＣＰＵ４１は、前記Ｓ５及びＳ７の画像認識処理によって検出された対象相対角度αと基準相対角度βに基づいて、基準オブジェクトに対する対象オブジェクトの相対角度（比較相対角度）θを算出する。具体的には、以下の式（１）により算出される。
θ＝β−α・・・・（１）
（α：対象相対角度、β：基準相対角度、θ：比較相対角度）

続いて、Ｓ１０においてＣＰＵ４１は、前記Ｓ９で算出された比較相対角度θを検出された対象オブジェクトに対応づけてオブジェクトＤＢ３３（図３）に記憶する。それによって、オブジェクトＤＢ３３を作成する。

一方、前記Ｓ４において、車両の周囲に位置する対象オブジェクトが、既にオブジェクトＤＢ３３に情報が記憶されている対象オブジェクトであると判定された場合（Ｓ４：ＹＥＳ）に実行されるＳ１１では、ＣＰＵ４１は、車両の周囲に位置する対象オブジェクトの情報（位置座標、識別子、比較相対角度θ）をオブジェクトＤＢ３３から取得する。

次に、Ｓ１２においてＣＰＵ４１は、バックカメラ１９により撮像された撮像画像に対して通常の特徴点マッチングによる画像認識処理を実行し、撮像画像中に含まれる基準オブジェクトを検出する。尚、本実施形態では基準オブジェクトは路面上に形成される区画線（車道中央線、車線境界線、車道外側線等）である。尚、通常の特徴点マッチングによる画像認識処理については既に公知であるので、詳細な説明は省略する。

続いて、Ｓ１３においてＣＰＵ４１は、前記Ｓ１２で実施された通常の特徴点マッチングによる画像認識処理によって、撮像画像中に含まれる基準オブジェクトが検出でき、且つ、バックカメラ１９の光軸方向に対する基準オブジェクトの相対角度（第１相対角度）γを検出できたか否か判定する。ここで、第１相対角度γは、基準相対角度βと同様にバックカメラ１９の光軸方向と基準オブジェクトの中心線のなす角度によって定義される。

そして、バックカメラ１９の光軸方向に対する基準オブジェクトの第１相対角度γが検出できたと判定された場合（Ｓ１３：ＹＥＳ）には、Ｓ１４へと移行する。一方、バックカメラ１９の光軸方向に対する基準オブジェクトの第１相対角度γが検出できなかったと判定された場合（Ｓ１３：ＮＯ）には、Ｓ１６へと移行する。

Ｓ１４でＣＰＵ４１は、前記Ｓ１１においてオブジェクトＤＢ３３から取得した情報（位置座標、識別子、比較相対角度θ）と前記Ｓ１２の画像認識処理により検出した第１相対角度γに基づいて、車両周辺に位置する対象オブジェクトのバックカメラ１９の光軸方向に対する相対角度（第２相対角度）φを算出する。具体的には、以下の式（２）により算出される。
φ＝γ−θ・・・・（２）
（φ：第２相対角度、γ：第１相対角度、θ：比較相対角度）

続いて、Ｓ１５でＣＰＵ４１は、前記Ｓ１４で算出されたバックカメラ１９の光軸方向に対する対象オブジェクトの第２相対角度φを用いて、バックカメラ１９により撮像された撮像画像に対して簡略化したパターンマッチングによる画像認識処理を実行し、撮像画像中に含まれる対象オブジェクトを検出する。尚、簡略化したパターンマッチングによる画像認識処理では、テンプレートマッチングにおけるテンプレートの角度の初期角度として算出された第２相対角度φを設定して走査を開始する。そして、第２相対角度を中心にテンプレートの角度を変化させることによってテンプレートマッチングを行う。その結果、初期角度を固定角度（例えば０度）から開始する通常のパターンマッチングによる画像認識処理と比較して処理時間を簡略化することができる。また、ＣＰＵ４１の処理負荷も軽減することが可能となる。その後、Ｓ１７の処理へと移行する。

Ｓ１６においてＣＰＵ４１は、バックカメラ１９により撮像された撮像画像に対して通常のパターンマッチングによる画像認識処理を実行し、撮像画像中に含まれる対象オブジェクトを検出する。尚、通常のパターンマッチングによる画像認識処理については既に公知であるので、詳細な説明は省略する。その後、Ｓ１７の処理へと移行する。

Ｓ１７においてＣＰＵ４１は、前記Ｓ１５で実施された簡略化したパターンマッチングによる画像認識処理又は前記Ｓ１６で実施された通常のパターンマッチングによる画像認識処理によって、撮像画像中に含まれる対象オブジェクトが検出できたか否か判定する。

そして、対象オブジェクトが検出できたと判定された場合（Ｓ１７：ＹＥＳ）には、Ｓ１８へと移行する。一方、対象オブジェクトが検出できなかったと判定された場合（Ｓ１７：ＮＯ）には、当該画像認識処理プログラムを終了する。

Ｓ１８においてＣＰＵ４１は、検出された対象オブジェクトに基づく案内や車両制御処理を実行する。例えば、検出された対象オブジェクトに関連付けられた制御対象物（停止線、コーナ、交差点等）までの道なり距離に基づいて車両から制御対象物までの詳細な距離を間接的に算出し、算出された距離に基づいて案内や車両制御を行う。

以上詳細に説明した通り、本実施形態に係るナビゲーション装置１、ナビゲーション装置１による車両用対象物画像認識方法及びナビゲーション装置１で実行されるコンピュータプログラムでは、バックカメラ１９により撮像された撮像画像中に含まれる対象オブジェクトのバックカメラ１９の光軸方向に対する相対角度（対象相対角度）を検出し（Ｓ５）、同じく、バックカメラ１９により撮像された撮像画像中に含まれる基準オブジェクトのバックカメラ１９の光軸方向に対する相対角度（基準相対角度）を検出し（Ｓ７）、検出された基準相対角度と対象相対角度とに基づいて、基準オブジェクトに対する対象オブジェクトの相対角度（比較相対角度）を算出し（Ｓ９）、算出された比較相対角度を対象オブジェクトに対応づけてオブジェクトＤＢ３３に記憶し、オブジェクトＤＢ３３を作成する（Ｓ１０）。その後に、オブジェクトＤＢ３３に記憶された対象オブジェクトを検出する為の画像認識処理を実行する場合において、撮像画像中に含まれる基準オブジェクトのバックカメラ１９の光軸方向に対する相対角度（第１相対角度）を検出し（Ｓ１２）、検出された第１相対角度とオブジェクトＤＢ３３に記憶された比較相対角度とに基づいて対象オブジェクトのバックカメラ１９の光軸方向に対する相対角度（第２相対角度）を算出し（Ｓ１４）、算出された第２相対角度に基づいて、対象オブジェクトを検出する為の撮像画像に対する画像認識処理を行う（Ｓ１５）ので、対象オブジェクトを検出する為の画像認識処理（Ｓ１５）を実行する場合において、バックカメラ１９の光軸方向に対する該対象オブジェクトの相対角度を予め把握することが可能となる。従って、従来より簡易な処理によって対象オブジェクトを検出する為の画像認識処理を実行することが可能となる。その結果、画像認識処理に必要となる処理時間を短時間化し、ＣＰＵの処理負荷を軽減することが可能となる。
尚、簡略化したパターンマッチングによる画像認識処理（Ｓ１５）では、テンプレートマッチングにおけるテンプレートの角度の初期角度として算出された第２相対角度を設定して走査を開始する。そして、第２相対角度を中心にテンプレートの角度を変化させることによってテンプレートマッチングを行う。その結果、初期角度を固定角度（例えば０度）から開始する通常のパターンマッチングによる画像認識処理と比較して処理時間を簡略化することができる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では、対象オブジェクトとして路面標示（停止線、横断歩道、文字列、最高速度等）を検出する構成としているが、対象オブジェクトは路面標示に限られることなく、道路上又は道路付近において位置や角度が固定されている物であればよく、障害物、建造物、他の道路標識などでも良い。

同じく、本実施形態では区画線を基準オブジェクトとして用いているが、道路上又は道路付近において位置や角度が固定されている物であれば他の物でも良い。また、基準オブジェクトは一種類に限定されることなく、周辺の道路形状や環境によって異なる基準オブジェクトを用いるように構成しても良い。その際には、オブジェクトＤＢ３３において基準オブジェクトを特定する情報についても比較相対角度に対応づけて記憶する必要がある。

また、本実施形態では画像認識処理によって対象オブジェクトを検出した後に、検出された対象オブジェクトに関連付けられた制御対象物（停止線、コーナ、交差点等）までの道なり距離に基づいて車両から制御対象物までの詳細な距離を間接的に算出し、算出された距離に基づいて案内や車両制御を行うこととしているが、対象オブジェクトに基づく他の案内や車両制御を行っても良い。

また、本実施形態では、撮像装置に対する相対角度を算出する際に、バックカメラ１９の光軸に対する相対角度を算出しているが、バックカメラ１９に基づく他の基準方向に対する相対角度を算出しても良い。

１ ナビゲーション装置
１３ ナビゲーションＥＣＵ
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
１９ バックカメラ
３３ オブジェクトＤＢ
５１ 対象オブジェクト
５２ 基準オブジェクト

Claims (5)

1. 車両に設置された撮像装置により前記車両の周辺を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像中に含まれる基準オブジェクトの前記撮像装置に対する相対角度を基準相対角度として検出する基準相対角度検出手段と、
   前記撮像手段により撮像された撮像画像中に含まれる対象オブジェクトの前記撮像装置に対する相対角度を対象相対角度として検出する対象相対角度検出手段と、
   前記基準相対角度と前記対象相対角度とに基づいて、前記基準オブジェクトに対する前記対象オブジェクトの相対角度を比較相対角度として算出する比較相対角度算出手段と、
   前記比較相対角度を前記対象オブジェクトに対応づけて記憶媒体に記憶する相対角度記憶手段と、
   前記記憶媒体に記憶された前記比較相対角度を用いて、前記撮像装置の光軸方向に対する前記対象オブジェクトの相対角度を予め把握し、前記車両の周辺に位置する前記対象オブジェクトを検出する為の前記撮像画像に対する画像認識処理を行う対象オブジェクト認識手段と、を有することを特徴とする車両用対象物画像認識装置。
2. 前記車両の周辺に前記対象オブジェクトが位置するか否かを判定する対象オブジェクト判定手段と、
   前記対象オブジェクト判定手段によって前記車両の周辺に前記対象オブジェクトが位置すると判定された場合に、前記撮像手段により撮像された撮像画像中に含まれる基準オブジェクトの前記撮像装置に対する相対角度を第１相対角度として検出する第１相対角度検出手段と、
   前記記憶媒体に記憶された前記比較相対角度の内、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトに対応づけて記憶された前記比較相対角度を抽出する角度抽出手段と、
   前記角度抽出手段によって抽出された前記比較相対角度と前記第１相対角度とに基づいて、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトの前記撮像装置に対する相対角度を第２相対角度として検出する第２相対角度検出手段と、を有し、
   前記対象オブジェクト認識手段は、前記第２相対角度に基づいて、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトを検出する為の前記撮像画像に対する画像認識処理を行うことを特徴とする請求項１に記載の車両用対象物画像認識装置。
3. 車両に設置された撮像装置により車両の周辺を撮像する撮像手段と、
   基準オブジェクトに対する対象オブジェクトの相対角度を比較相対角度として前記対象オブジェクトに対応づけて記憶媒体に記憶する相対角度記憶手段と、
   車両の周辺に前記対象オブジェクトが位置するか否かを判定する対象オブジェクト判定手段と、
   前記対象オブジェクト判定手段によって前記車両の周辺に前記対象オブジェクトが位置すると判定された場合に、前記撮像手段により撮像された撮像画像中に含まれる基準オブジェクトの前記撮像装置に対する相対角度を第１相対角度として検出する第１相対角度検出手段と、
   前記記憶媒体に記憶された前記比較相対角度の内、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトに対応づけて記憶された前記比較相対角度を抽出する角度抽出手段と、
   前記角度抽出手段によって抽出された前記比較相対角度と前記第１相対角度とに基づいて、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトの前記撮像装置に対する相対角度を第２相対角度として検出する第２相対角度検出手段と、
   前記第２相対角度に基づいて、前記対象オブジェクト判定手段によって前記車両の周辺に位置すると判定された前記対象オブジェクトを検出する為の前記撮像画像に対する画像認識処理を行う対象オブジェクト認識手段と、を有することを特徴とする車両用対象物画像認識装置。
4. 撮像手段が、車両に設置された撮像装置により車両の周辺を撮像するステップと、
   基準相対角度検出手段が、前記撮像手段により撮像された撮像画像中に含まれる基準オブジェクトの前記撮像装置に対する相対角度を基準相対角度として検出するステップと、
   対象相対角度検出手段が、前記撮像手段により撮像された撮像画像中に含まれる対象オブジェクトの前記撮像装置に対する相対角度を対象相対角度として検出するステップと、
   比較相対角度算出手段が、前記基準相対角度と前記対象相対角度とに基づいて、前記基準オブジェクトに対する前記対象オブジェクトの相対角度を比較相対角度として算出するステップと、
   相対角度記憶手段が、前記比較相対角度を前記対象オブジェクトに対応づけて記憶媒体に記憶するステップと、
   対象オブジェクト認識手段が、前記記憶媒体に記憶された前記比較相対角度を用いて、前記撮像装置の光軸方向に対する前記対象オブジェクトの相対角度を予め把握し、前記車両の周辺に位置する前記対象オブジェクトを検出する為の前記撮像画像に対する画像認識処理を行うステップと、を有することを特徴とする車両用対象物画像認識方法。
5. コンピュータを、
   車両に設置された撮像装置により車両の周辺を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像中に含まれる基準オブジェクトの前記撮像装置に対する相対角度を基準相対角度として検出する基準相対角度検出手段と、
   前記撮像手段により撮像された撮像画像中に含まれる対象オブジェクトの前記撮像装置に対する相対角度を対象相対角度として検出する対象相対角度検出手段と、
   前記基準相対角度と前記対象相対角度とに基づいて、前記基準オブジェクトに対する前記対象オブジェクトの相対角度を比較相対角度として算出する比較相対角度算出手段と、
   前記比較相対角度を前記対象オブジェクトに対応づけて記憶媒体に記憶する相対角度記憶手段と、
   前記記憶媒体に記憶された前記比較相対角度を用いて、前記撮像装置の光軸方向に対する前記対象オブジェクトの相対角度を予め把握し、前記車両の周辺に位置する前記対象オブジェクトを検出する為の前記撮像画像に対する画像認識処理を行う対象オブジェクト認識手段と、
   して機能させる為のコンピュータプログラム。
   

Images