JP2018092501A - 車載用画像処理装置 - Google Patents

Abstract

【課題】カメラ画像を用いて駐車枠等の路面上に存在する対象物を検出する際に、立体物の一部を対象物と誤認識することを回避することが可能な車載用画像処理装置を提供する。
【解決手段】車載用画像処理装置１０００は、自車１０の周囲の画像を取得し、画像から路面上に存在する対象物の特徴量と自車１０に対する相対位置座標を検出するとともに、自車１０の周囲の立体物情報とその相対位置座標を取得し、特徴量と立体物の位置関係の情報を用いて、特徴量が路面上のものか立体物上のものかを選別し、路面上の特徴を用いて、対象物を認識する。
【選択図】 図１

Description

本発明は、運転者の運転操作を補助する車両制御を実施する際などに好適に用いられる車載用画像処理装置に関する。

駐車枠の線の左右両端の候補となる直線を精度良く検出でき、無関係な直線を駐車枠の線の両端と誤検出することを防止でき、駐車枠を精度良く検出することを目的として、特許文献１には、車両後方を撮像する撮像手段と、撮像した後方画像からエッジを抽出するエッジ抽出手段と、エッジを抽出された画像を俯瞰画像に変換する画像変換手段と、変換された俯瞰画像を左右の領域に分割する領域分割手段と、分割された左右領域からハフ変換により領域毎にそれぞれ直線を検出する直線検出手段と、検出された直線が幅を有する線の端であるか否かを判定する第１の判定手段と、幅を有する線の端であると判定された複数の直線から左右の領域毎に２本の直線の組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定する第２の判定手段とを備える駐車枠検出装置が記載されている。

特開２０１２−８０４９７号公報

近年、カメラを用いて駐車枠を検出し、運転者の駐車操作をサポートするシステムの開発が進められている。たとえば、自車の周囲の駐車枠を検出し、運転者の駐車操作の一部あるいはすべてを自動で実施する自律駐車システム等が実用化されている。

カメラを用いて駐車枠を検出する場合、白線と路面の輝度差により生じるエッジ情報を用いて検出する。この際、駐車枠の白線の近くに影がある場合、影によるエッジを駐車枠と誤認識してしまうことがある。このような誤認識への対策として、たとえば、上述した特許文献１には、白線のエッジは輝度変化方向が異なるエッジが２本生じることを利用し、立ち上がりエッジの近くに存在する立ち下がりエッジをチェックすることにより、影によるエッジの影響を受けなくする技術が記載されている。

しかしながら、カメラ画像からは立体物情報が得られない。このため、たとえば駐車枠の隣の駐車車両のバンパー、サイドシルや塗装等が画像上では駐車枠の白線と同じように見えてしまい、さらにエッジも立ち上がりと立ち下りのペアが成立し、サイドシルのエッジと白線をペアリングして駐車枠と誤認識することがある。すなわち、立体物の一部を駐車枠と誤認識してしまう、との問題がある。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、カメラ画像を用いて駐車枠等の路面上に存在する対象物を検出する際に、立体物の一部を対象物と誤認識することを回避することが可能な車載用画像処理装置を提供することである。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本発明は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、自車周囲の対象物を認識する車載用画像処理装置であって、撮像部によって撮像された前記自車周囲の画像を取得する画像取得部と、前記画像取得部により取得した前記自車周囲の画像から対象物の特徴量および前記特徴量が路面上にあると仮定した場合の前記特徴量の自車に対する座標情報を抽出する特徴量抽出部と、前記自車周囲の立体物の自車に対する座標情報を取得し、記憶する立体物情報記憶部と、前記特徴量抽出部で検出された前記特徴量の自車に対する座標情報と前記立体物情報記憶部に記憶された前記立体物の自車に対する座標情報との位置関係を用いて、前記特徴量が路面上のものか立体物上のものかを選別する特徴量選別部と、前記特徴量選別部において路面上のものと選別された特徴量を用いて、前記対象物を認識する対象物認識部と、を備えることを特徴とする。

本発明によれば、カメラ画像を用いて駐車枠等の路面上に存在する対象物を検出する際に、立体物の一部を対象物と誤認識することを回避することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の第１の実施形態における車載用画像処理装置のブロック図である。 第１の実施形態における画像取得部での処理の一例を示す図である。 第１の実施形態における白線特徴検出部の処理を表すフローチャート図である。 第１の実施形態における立体物検出部の処理を表すフローチャート図である。 第１の実施形態における立体物検出部の処理の説明図である。 第１の実施形態における立体物検出部の処理の説明図である。 第１の実施形態における立体物情報記憶部の処理を表すフローチャート図である。 第１の実施形態における立体物情報記憶部の処理の説明図である。 第１の実施形態における立体物情報記憶部の処理の説明図である。 第１の実施形態における立体物情報記憶部の処理の説明図である。 第１の実施形態における立体物情報記憶部の処理の説明図である。 第１の実施形態における白線特徴選別部の処理を表すフローチャート図である。 第１の実施形態における白線特徴選別部の処理の説明図である。 第１の実施形態における白線特徴選別部の処理の説明図である。 第１の実施形態における白線特徴選別部の処理の説明図である。 第１の実施形態における白線特徴選別部の処理の説明図である。 第１の実施形態における白線特徴選別部の処理の説明図である。 第１の実施形態における白線特徴選別部の処理の説明図である。 第１の実施形態における駐車枠認識部の処理を表すフローチャート図である。 第１の実施形態における駐車枠認識部の処理の説明図である。 第１の実施形態における駐車枠認識部の処理の説明図である。 第１の実施形態の第１の変形例のブロック図である。 第１の実施形態の第２の変形例のブロック図である。 第１の実施形態の第３の変形例のブロック図である。 本発明の第２の実施形態における車載用画像処理装置のブロック図である。 第２の実施形態における白線特徴選別部の処理を表すフローチャート図である。 第２の実施形態における白線特徴選別部の処理の説明図である。 第２の実施形態における白線特徴選別部の処理の説明図である。 第２の実施形態における白線特徴選別部の処理の説明図である。 第２の実施形態における白線特徴選別部の処理の説明図である。 第２の実施形態における白線特徴選別部の処理の説明図である。 本発明の第３の実施形態における車載用画像処理装置のブロック図である。 第３の実施形態における端点特徴検出部の処理を表すフローチャート図である。 第３の実施形態における端点特徴検出部の処理の説明図である。 第３の実施形態における端点特徴検出部の処理の説明図である。 第３の実施形態における端点特徴選別部の処理の説明図である。 第３の実施形態における端点特徴選別部の処理の説明図である。 第３の実施形態における端点特徴選別部の処理の説明図である。 第３の実施形態における端点特徴選別部の処理の説明図である。 第３の実施形態における駐車枠認識部の処理を表すフローチャート図である。 第３の実施形態における駐車枠認識部の他の処理の一例を表すフローチャート図である。 本発明の第４の実施形態における車載用画像処理装置のブロック図である。 第４の実施形態における路面ペイント認識部の処理を表すフローチャート図である。 本発明の第５の実施形態における車載用画像処理装置のブロック図である。 第５の実施形態における縁石認識部の処理を表すフローチャート図である。

以下にカメラ等の画像センサからの情報に基づいて駐車枠、路面ペイントや縁石等、高さが無い対象物を検出し、検出結果に応じて運転者の駐車操作を補助する車両制御を実施する際に好適に用いられる本発明の車載用画像処理装置の実施形態について図面を用いて説明する。

＜第１の実施形態＞
以下、本発明の車載用画像処理装置の第１の実施形態を図１乃至図１４を用いて説明する。図１は、第１の実施形態における車載用画像処理装置１０００のブロック図である。

車載用画像処理装置１０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれており、カメラ装置のカメラ１００１〜１００４で撮影した画像内から物体を検出するための装置である。本実施形態の車載用画像処理装置１０００は、対象物として自車１０の周囲の駐車枠を検知するように構成されている。

車載用画像処理装置１０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されている。所定の処理がプログラミングされており、あらかじめ定められた周期Ｔで繰り返し処理を実行する。

図１に示すように、車載用画像処理装置１０００は、画像取得部１０１１と、白線特徴検出部（特徴量抽出部）１０２１と、立体物検出部１０３１と、立体物情報取得部１０４１と、車両挙動情報取得部１０５０と、立体物情報記憶部１０５１と、白線特徴選別部（特徴量選別部）１０６１と、駐車枠認識部（対象物認識部）１０７１と、を備えている。

画像取得部１０１１は、図２に示すように、自車１０の周囲を撮像可能な位置に取り付けられたカメラ（撮像部）１００１，１００２，１００３，１００４より、自車１０の周囲を撮影して得られた画像１０１１Ａ，１０１２Ａ，１０１３Ａ，１０１４Ａを取得する。その後、取得した画像１０１１Ａ，１０１２Ａ，１０１３Ａ，１０１４Ａを幾何変換・合成することにより、上空の仮想視点から見下ろした俯瞰画像１０１５を生成し、ＲＡＭ上に記憶する。幾何変換・合成のパラメータは車両出荷時に行うキャリブレーションにより、あらかじめ設定されているものとする。なお、俯瞰画像１０１５は２次元配列であり、ＩＭＧＳＲＣ［ｘ］［ｙ］で表すものとする。ｘ，ｙはそれぞれ画像の座標を示す。

白線特徴検出部１０２１は、画像取得部１０１１により取得された俯瞰画像１０１５から、白線特徴ＬＣ［ｎ］を検出する。白線特徴ＬＣ［ｎ］は、自車１０の後輪の車軸の中心を原点とした座標（世界座標）系における白線特徴の自車１０に対する相対位置の座標の情報を持っており、テーブルを要素とする１次元配列である。ｎは複数検出した場合のＩＤを表す。処理の詳細は後述する。

立体物検出部１０３１は、カメラ１００１，１００２，１００３，１００４でそれぞれ取得された画像１０１１Ａ，１０１２Ａ，１０１３Ａ，１０１４Ａを用いて、自車１０の周囲の立体物までの距離点群ＩＰＴ［ｂ］を検出する。距離点群ＩＰＴ［ｂ］は立体物までの距離座標等の情報を持つテーブルを要素とする１次元配列であり、ｂは複数検出した場合のＩＤを表す。処理の詳細は後述する。

立体物情報取得部１０４１は、自車１０の前方や後方、側面に設けられたソナー１００５により検出した自車１０の周囲に存在する立体物情報を距離点群ＳＰＴ［ｃ］として取得する。距離点群ＳＰＴ［ｃ］は立体物までの距離座標の座標等の情報を持つテーブルを要素とする１次元配列であり、ｃは複数検出した場合のＩＤを表す。

車両挙動情報取得部１０５０は、自車１０に搭載されたＥＣや車載用画像処理装置１０００内にて自車１０のタイヤのパルスなどを用いて算出された車両挙動ＤＲＣを、車内ネットワークＣＡＮ等を経由して取得する。車両挙動ＤＲＣは、世界座標系に対する速度（ＶＸ，ＶＹ）およびヨーレート（ＹＲ）の情報を含んでいる。

立体物情報記憶部１０５１は、立体物検出部１０３１で検出された距離点群ＩＰＴ［ｂ］や、立体物情報取得部１０４１で取得された距離点群ＳＰＴ［ｃ］、車両挙動情報取得部１０５０で取得された車両挙動ＤＲＣを用いて、過去の検出結果も含めて立体物点群ＯＰＴ［ｄ］として統合し、記憶する。処理の詳細は後述する。

白線特徴選別部１０６１は、白線特徴検出部１０２１より得られる白線特徴ＬＣ［ｎ］と、立体物情報記憶部１０５１で統合・記憶した立体物点群ＯＰＴ［ｄ］と、世界座標系におけるカメラの座標位置情報であるカメラ幾何情報ＣＬＢとを用いて、白線特徴ＬＣ［ｎ］から路面上の白線ＬＮ［ｍ］を選別する。処理の詳細は後述する。

駐車枠認識部１０７１は、白線特徴選別部１０６１において路面上のものと選別された白線ＬＮ［ｍ］を用いて、駐車枠を認識する。処理の詳細は後述する。

駐車枠認識部１０７１で認識された駐車枠の情報は車載用画像処理装置１０００外の自車１０内の他のコントロールユニット等に対して出力され、他のコントロールユニットにおける自動運転制御や自動駐車制御、駐車支援制御等の各制御を実行する際に利用する。

［白線特徴検出部１０２１］
つぎに、図３を用いて、白線特徴検出部１０２１における処理の内容について説明する。図３は、白線特徴検出部１０２１の処理の流れを示したフローチャートである。

白線特徴検出部１０２１は、俯瞰画像１０１５全体に対して実施しても良いし、処理領域を限定しても良い。本実施形態では、シフトポジションに基づいて、自車が停車・前進している場合は俯瞰画像１０１５の上半分を、自車が後進している場合は下半分を処理領域として設定する。

まず、ステップＳ３０１にて、俯瞰画像１０１５を９０度回転させる。

つぎに、ステップＳ３０２にて、処理領域内の各ラインに対して画像の左から右に走査しながら、横方向（元画像における縦方向）のエッジフィルタを適用する。以下、ステップＳ３０３，ステップＳ３０４はライン毎に実施する。

つぎに、ステップＳ３０３にて、エッジフィルタの出力値がピークとなるエッジ点を検出する。ピークは、立ち上がりエッジ（輝度の暗から明への変化点）Ｅｕ［ｎｕ］および立下りエッジ（輝度の明から暗への変化点）Ｅｄ［ｎｄ］をそれぞれ抽出する。

路面上の白線は路面よりも輝度値が高いため、白線の左側には立ち上がりエッジが、右側には立下りエッジが存在する。その特徴を捉えるため、ステップＳ３０４にて、ステップＳ３０３で検出した立ち上がりエッジ点Ｅｕ［ｎｕ］、および立下りエッジ点Ｅｄ［ｎｄ］のうち、立ち上がりエッジから画像右側の所定範囲（あらかじめ定義する、検出する白線の最大太さ）内に立下りエッジが存在するエッジペアＥｐ［ｎｐ］のみを残し、それ以外の単独エッジは特異点であるとして消去する。

上記ステップＳ３０２〜Ｓ３０４の処理を、処理領域内の各ラインに対して実行する。

つぎに、ステップＳ３０５にて、ステップＳ３０４にて抽出したエッジペアＥｐ［ｎｐ］のうち、直線状に並んでいるものをグルーピングすることで、直線候補グループＬｇ［ｎｇ］を生成する。この処理により、直線状でないエッジペアを除去する。直線上に並ぶ白線のグルーピングは、公知のハフ変換を用いることで可能である。

つぎに、ステップＳ３０６にて、直線候補グループＬｇ［ｎｇ］の線のうち、所定長さ以下のものを除去するフィルタリング処理を行う。

そして、ステップＳ３０７にて、残ったグループの立ち上がり・立下りエッジの上端・下端（それぞれ始点、終点とする）の画像座標、および俯瞰画像１０１５から算出される世界座標系における自車に対する相対位置の座標の情報を、白線候補ＬＣ［ｎ］の要素として格納する。

なお、ここではステップＳ３０１にて画像を回転させ、ステップＳ３０２〜Ｓ３０７の処理は回転させた画像で実施する場合について説明したが、俯瞰画像１０１５を回転させずに、上下方向に走査し、横方向のエッジを検出するフィルタを用いる処理を実施することもできる。

［立体物検出部１０３１］
つぎに、図４乃至図５Ｂを用いて、立体物検出部１０３１における処理の内容について説明する。図４は、立体物検出部１０３１の処理の流れを示したフローチャートである。また、図５Ａおよび図５Ｂは、立体物検出部１０３１の処理の説明図である。

立体物検出部１０３１は、画像１０１１Ａ，１０１２Ａ，１０１３Ａ，１０１４Ａのいずれか１つ以上の画像に対して実施する。すなわち、１つの画像だけでも良いし、すべての画像に実施してもよい。本実施形態では、自車のシフトポジションに応じて、進行方向の画像に対して実施するものとする。

まず、ステップＳ４０１にて、処理対象の現在画像ＩＭＧ＿Ｃから特徴点ＦＰＴ［ｆ］を抽出する。特徴点ＦＰＴ［ｆ］の抽出は、Ｈａｒｒｉｓコーナー等公知の方法を用いる。

つぎに、ステップＳ４０２にて、特徴点ＦＰＴ［ｆ］が抽出された画像を撮像したカメラから取得された、所定時刻前の過去画像ＩＭＧ＿Ｐを取得する。

つぎに、ステップＳ４０３にて、現在画像ＩＭＧ＿Ｃ上における各特徴点ＦＰＴ［ｆ］の過去画像ＩＭＧ＿Ｐ上の対応位置を、オプティカルフロー法により算出し、各特徴点の移動ベクトルＦＰＴ＿ＶＸ［ｆ］、ＦＰＴ＿ＶＹ［ｆ］を取得する。オプティカルフローは、Ｌｕｃａｓ−Ｋａｎａｄｅ法等、公知の方法を用いる。

そして、ステップＳ４０４にて、特徴点ＦＰＴ［ｆ］および移動ベクトルＦＰＴ＿ＶＸ［ｆ］、ＦＰＴ＿ＶＹ［ｆ］を用いて、各特徴点ＦＰＴ［ｆ］の自車１０の周囲における３次元位置を算出する。算出方法は、公知の手段を用いる。

最後に、ステップＳ４０５にて、各特徴点の３次元位置を車両の後輪車軸中心を原点とする座標系（世界座標系）に変換し、距離点群ＩＰＴ［ｂ］として格納する。

図５Ａおよび図５Ｂに示すように、算出の原理は、過去の自車位置と現在の自車位置が変化することにより視差が生まれることを利用して、距離を計測することによって行う。画像の特徴点それぞれの距離を計測するため、たとえば駐車車両に対して計測した結果は、図５Ｂに示すように、世界座標を有する複数の点群として得られる。

［立体物情報記憶部１０５１］
つぎに、図６および図７Ａ乃至図７Ｄを用いて、立体物情報記憶部１０５１における処理の内容について説明する。図６は、立体物情報記憶部１０５１の処理の流れを示したフローチャートである。また、図７乃至図７Ｄは、立体物情報記憶部１０５１の処理の説明図である。

立体物情報記憶部１０５１は、立体物検出部１０３１より算出される距離点群ＩＰＴ［ｂ］、および立体物情報取得部１０４１より取得されるソナーの距離点群ＳＰＴ［ｃ］を、過去の値含めて記憶する。

本実施形態においては、立体物情報記憶部１０５１は、すべての障害物情報を、ある位置を原点とする、高さ情報を持たない２次元マップＥＭＰで管理するものとする。立体物情報記憶部１０５１は、逐次計算される距離点群ＩＰＴ［ｂ］およびソナー距離点群ＳＰＴ［ｃ］の情報を、車両挙動情報取得部１０５０より取得される車両挙動ＤＲＣを用いて空白の二次元マップに次々と貼り付けていくことで２次元マップＥＭＰ［ｘ］［ｙ］を作成する。ここでＥＭＰは２次元配列であり、ｘ，ｙはある分解能で区切られた配列の座標である。

まず、ステップＳ６０１にて、前回処理した２次元マップＥＭＰを取得する。

つぎに、ステップＳ６０２にて、車両挙動情報取得部１０５０から車両挙動ＤＲＣを取得する。

つぎに、ステップＳ６０３にて、立体物検出部１０３１より算出される距離点群ＩＰＴ［ｂ］を取得する。

また、ステップＳ６０４にて、立体物情報取得部１０４１より取得されるソナーの距離点群ＳＰＴ［ｃ］を取得する。

取得した距離点群ＩＰＴ［ｂ］や距離点群ＳＰＴ［ｃ］は自車１０に対する相対座標の情報を有していることから、ステップＳ６０５にて、カメラによる距離点群ＩＰＴ［ｂ］、ソナーによる距離点群ＳＰＴ［ｃ］を、車両挙動ＤＲＣを用いて、空白のマップ上にそれぞれマッピングすることで２次元マップＥＭＰを作成する。

さらに、ステップＳ６０６にて、２次元マップＥＭＰ上にマッピングされたすべての立体物点群ＯＰＴ［ｄ］のうち、過去に取得された点群情報を除去し、マップ上に残った点群を立体物点群ＯＰＴ［ｄ］とする。

ここで、２次元マップの各グリッドに確信度を設定し、確信度が所定の閾値以上のグリッドのみ障害物が存在すると判定することにより、センシング結果のノイズを除去することができる。

たとえば、立体物情報記憶部１０５１では、ステップＳ６０５にて、同じグリッドに過去の情報や複数のセンシング結果が同時に検出された場合にはその確信を高めるようにし、ステップＳ６０６にて、全確信度を所定値減算することができる。これにより、センシング結果が重複するグリッドは確信度が上昇し、センシング結果が繰り返し得られないグリッドは徐々に確信度が下降し、古い情報が除去されるようになる。

図７Ａ乃至図７Ｄは処理の一例を示す。ｔ時点に得られる距離点群ＩＰＴ［ｂ］およびＳＰＴ［ｃ］が図７Ａ、ｔ−１時点に得られる距離点群ＩＰＴ［ｂ］およびＳＰＴ［ｃ］が図７Ｂ、ｔ−２時点に得られる距離点群ＩＰＴ［ｂ］およびＳＰＴ［ｃ］が図７Ｃであったとすると、ここにｔ時点、ｔ−１時点、ｔ−２時点における車両挙動ＤＲＣをそれぞれ用いて統合した結果である立体物点群ＯＰＴ［ｄ］の例が図７Ｄに示すような結果となる。

［白線特徴選別部１０６１］
つぎに、図８および図９Ａ乃至図９Ｆを用いて、白線特徴選別部１０６１における処理の内容について説明する。図８は、白線特徴選別部１０６１の処理の流れを示したフローチャートである。また、図９Ａ乃至図９Ｆは、白線特徴選別部１０６１の処理の説明図である。

白線特徴選別部１０６１は、白線特徴検出部１０２１より得られる白線特徴ＬＣ［ｎ］、立体物情報記憶部１０５１より得られる立体物情報ＯＰＴ［ｄ］、およびカメラ設置位置情報ＣＬＢを用いて、白線特徴ＬＣ［ｎ］が路面上の白線ＬＮ［ｍ］か、それとも立体物上の物体である隣駐車車両のバンパー、サイドシルや塗装等であるか、を選別する。

まず、ステップＳ８０１にて、立体物情報ＯＰＴ［ｄ］を取得する。

つぎに、ステップＳ８０２にて、カメラ設置位置情報ＣＬＢを取得する。

つぎに、ステップＳ８０３にて、白線特徴ＬＣ［ｎ］を取得する。

そして、ステップＳ８０４にて、ｎ＝１からＮの全白線特徴ＬＣ［ｎ］について、ｎ＝１からＮに対して以下ステップＳ８０５からステップＳ８０７の処理を行う。

まず、ステップＳ８０５にて、白線特徴ＬＣ［ｎ］の始点座標、終点座標、カメラ設置位置座標の三点から、高さを考慮しない２次元座標における三角領域Ｄを算出する。

つぎに、ステップＳ８０６にて、三角領域Ｄ内に立体物情報ＯＰＴ［ｄ］が存在するかどうかを判定する。存在しないと判定された場合にはステップＳ８０７に処理を進めて、白線特徴ＬＣ［ｎ］を白線ＬＮ［ｍ］として登録する。これに対し、存在すると判定されたときは白線特徴ＬＣ［ｎ］は白線ＬＮ［ｍ］でないとして次の白線特徴ＬＣ［ｎ］に対する判定処理に移行する。

ステップＳ８０５−ステップＳ８０７の処理の例を、図９Ａ乃至図９Ｆを用いて説明する。ここでは、３つの白線特徴ＬＣ［ｎ］について説明する。図９Ａは俯瞰画像１０１５から白線特徴ＬＣ［ｎ］を検出した結果である。図９Ｂは立体物情報ＯＰＴ［ｄ］、図９Ｃは立体物情報ＯＰＴ［ｄ］と白線特徴ＬＣ［ｎ］を重ねて図示した結果である。図９Ｄ，図９Ｅ，図９Ｆは各々の三角領域Ｄと白線特徴ＬＣ［ｎ］との重複を確認する様子を図示したものである。

図９Ａに示すような白線特徴ＬＣ［ｎ］および白線特徴ＬＣ［ｎ］を検出したカメラの設置位置ＣＬＢと図９Ｂに示すような立体物情報ＯＰＴ［ｄ］の検出結果を用いて、図９Ｃに示すように立体物情報ＯＰＴ［ｄ］と白線特徴ＬＣ［ｎ］とを重ねる。この図９Ｃにおいて図９Ｄ，図９Ｅ，図９Ｆに示すような３つの三角領域Ｄを生成し、各三角領域Ｄの内側に立体物情報ＯＰＴ［ｄ］が存在するか否かを判定する。

この例では、図９Ｆで生成される三角領域Ｄ内に立体物情報が含まれているため、図９Ｆに示す白線特徴ＬＣ［ｎ］が除去され、図９Ｄおよび図９Ｅに示す残り２つの白線特徴ＬＣ［ｎ］が白線ＬＮ［ｍ］として登録される。

［駐車枠認識部１０７１］
つぎに、図１０を用いて、駐車枠認識部１０７１における処理の内容について説明する。図１０は駐車枠認識部１０７１の処理の流れを示したフローチャートである。

駐車枠認識部１０７１では、登録された白線ＬＮ［ｍ］を組み合わせて、自車１０が停車可能な駐車枠を探索、認識する。

まず、ステップＳ１００１にて、白線ＬＮ［ｍ］から２本の線ＬＮ［ｍＬ］，ＬＮ［ｍＲ］を選択する。

つぎに、ステップＳ１００２において、ステップＳ１００１で選択した２本の白線ＬＮ［ｍＬ］，ＬＮ［ｍＲ］の延在方向の角度差θが所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ１００２では、２本の白線が略平行であるか否かを判断する。所定値以下であると判断されたときは処理をステップＳ１００３に進め、所定値より大きいと判断されたときは選択された２本の白線ＬＮ［ｍＬ］，ＬＮ［ｍＲ］が駐車枠を構成する白線の組み合わせではないとして処理をステップＳ１００６に進める。

ステップＳ１００２が肯定判断されるとステップＳ１００３へ進み、２本の白線ＬＮ［ｍＬ］，ＬＮ［ｍＲ］の間隔Ｗが所定の範囲内（ＴｈＷｍｉｎ以上かつＴｈＷｍａｘ以下）であるか否かを判断する。すなわち、ステップＳ１００３では、駐車枠を構成する２本の白線として考えられる間隔で２本の白線が並んでいるか否かを判断する。所定範囲内であると判断されたときは処理をステップＳ１００４に進め、所定範囲外であると判断されたときは処理をステップＳ１００６に進める。

ステップＳ１００３が肯定判断されるとステップＳ１００４へ進み、２本の白線の下端のずれΔＢが所定の範囲内（ＴｈＢｍｉｎ以上かつＴｈＢｍａｘ以下）であるか否かを判断する。ここで、本ステップＳ１００４で判断する２本の白線の下端のずれについて、図１１Ａおよび図１１Ｂを参照して説明する。

図１１Ａに示すように、駐車場の敷地における自車１０の移動方向（図１１Ａにおける上下方向および左右方向）に対して自車１０を平行または直角に駐車するように駐車枠２３が設けられ、この駐車枠２３に対応するように駐車枠線２３Ｌが描かれている場合、下端側にはずれがない。

しかし、図１１Ｂに示すように、駐車場によっては、自車１０の移動方向（図１１Ｂおける上下方向および左右方向）に対して自車１０を平行または直角ではなく斜めに駐車するように駐車枠２３が設けられ、この駐車枠２３に対応するように駐車枠線２３Ｌが描かれている場合がある。この場合、距離Ｂで示すように、駐車枠２３を構成する駐車枠線２３Ｌの下端位置がずれる。これは、図１１Ｂ右側の駐車枠線２３Ｌが自車１０が走行する領域に対してはみ出さないようにするために、駐車枠線２３Ｌの下端位置をずらしてあるからである。

たとえば、高速道路のサービスエリアやパーキングエリアでは、図１１Ｂの左側の駐車枠線２３Ｌの下端から駐車枠線２３Ｌの延在方向に対して垂直な線分と、駐車枠線２３Ｌの下端同士を結ぶ線分との交差角度ρが０度、３０度、４５度のいずれかとすることが定められている。また、駐車枠２３の幅Ｗについても取り得る値の範囲が決まっている。そこで、本実施形態では、上記交差角度θが、０度、３０度、４５度のいずれかの値であるときに取り得る距離Ｂの値があらかじめメモリ（図示省略）等に記憶されている。

ステップＳ１００４では、選択したＬＮ［ｍＬ］，ＬＮ［ｍＲ］から算出される距離Ｂを用いて比較を行い、その差が上述した所定の範囲内（ＴｈＢｍｉｎ以上かつＴｈＢｍａｘ以下）であるか否かを判断することによって、２本の白線が１つの駐車枠２３を構成する白線（駐車枠線２３Ｌ）であるか否かを判断する。所定範囲内であると判断されたときは処理をステップＳ１００５に進め、所定範囲外であると判断されたときは処理をステップＳ１００６に進める。

ステップＳ１００４が肯定判断されるとステップＳ１００５へ進み、２本の白線ＬＮ［ｍＬ］，ＬＮ［ｍＲ］で構成される矩形の駐車枠２３の４隅の座標を１つの駐車枠２３についての位置の情報ＰＳ［ｋ］として登録する。

ステップＳ１００５を実行するとステップＳ１００６へ進み、白線特徴選別部１０６１から出力された情報に基づくすべての白線（駐車枠線）に関して、任意の２本の白線についての上述した処理を行ったか否かを確認する。ステップＳ１００６が肯定判断されると、上述した処理によって得られた結果を出力して、駐車枠認識部１０７１の処理を終了する。ステップＳ１００６が否定判断されるとステップＳ１００１の処理へ戻し、全ての白線ＬＮ［ｍ］の組み合わせて上述した処理を実行する。

次に、本実施形態の効果について説明する。

以上説明したように、カメラ画像を用いて白線を検出する際に、カメラ画像からではその特徴が立体物上に存在するものか路面上に存在するものか区別がつかない。よって、すべての特徴が路面上に存在するものと仮定して世界座標を計測すると、立体物上に存在する特徴は実際よりも遠方に計測されてしまう。そこで、上述した本発明の第１の実施形態の車載用画像処理装置１０００では、駐車枠の白線特徴を検出し、白線特徴から得られる始点・終点と、カメラ設置位置から構成される三角形に、取得した立体物の情報を重ねる処理を行い、対象物の特徴量が立体物上か路面上かを判定し、路面上の特徴量を用いて対象物を認識する。

この処理によって、立体物上に存在する白線特徴の場合には、この三角形の内側に立体物の情報が入る。逆に、路面上の特徴であれば、三角形の内側に立体物が入ることは無い。この特徴を用いることによって、白線特徴のうち路面上に存在する白線特徴のみを選別することができ、駐車枠を認識することができる。これにより、駐車操作を補助するシステムにおいて、立体物の一部を駐車枠と誤認識する不具合を回避することができ、目標駐車位置が立体物の一部として誤って認識されることにより駐車が立体物に向かっていき衝突してしまう、という課題を防ぐことができる。

［第１の実施形態における立体物取得部の変形例］
以下、第１の実施形態における立体物情報の取得の複数の変形例について説明する。

まず、図１２は、本実施形態の第１の変形例の車載用画像処理装置１１００のブロック図である。図１２に示す車載用画像処理装置１１００は、図１に示す車載用画像処理装置１０００に対して、立体物検出部１０３１が無い例である。この場合、立体物情報記憶部１０５１は、立体物情報取得部１０４１から得られる結果のみで処理を行う。すなわち、図６のステップＳ６０３を実施しないものである。他の構成・処理は第１の実施形態内の各部における構成・処理と同様である。

つぎに、図１３は、本実施形態の第２の変形例の車載用画像処理装置１２００のブロック図である。図１３に示す車載用画像処理装置１２００では、図１に示す車載用画像処理装置１０００に対して、立体物情報取得部１０４１が無い例である。この場合、立体物情報記憶部１０５１は、立体物検出部１０３１から得られる結果のみで処理を行う。すなわち、図６のステップＳ６０４を実施しないものである。他の構成・処理は第１の実施形態内の各部における構成・処理と同様である。

さらに、図１４は、本実施形態の第３の変形例の車載用画像処理装置１３００のブロック図である。図１４に示す車載用画像処理装置１３００では、図１に示す車載用画像処理装置１０００に対して、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、またはＬａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）１００６を装備しており、立体物情報取得部１０４１はＬｉＤＡＲ１００６の情報を取得する例である。ＬｉＤＡＲとは、パルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の性質を分析する装置である。ＬｉＤＡＲ１００６であれば立体物を検出できるため、立体物検出部１０３１は不要である。他の構成・処理は第１の実施形態の変形例１における構成・処理と同様である。

＜第２の実施形態＞
本発明の第２の実施形態の車載用画像処理装置を図１５乃至図１７Ｅを用いて説明する。図１５は、第２の実施形態における車載用画像処理装置２０００の構成を示すブロック図である。

なお、以下の説明では、上述の第１の実施形態における車載用画像処理装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。以下の実施形態においても同様とする。

図１５に示すように、本実施形態の車載用画像処理装置２０００は、第１の実施形態の車載用画像処理装置１０００と比べて特徴的なことは、白線特徴選別部１０６１の替わりに白線特徴選別部（特徴量選別部）２０６１を備えることである。

車載用画像処理装置２０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１００１〜１００４で撮影した画像内から物体を検知するためのものである。本実施形態における車載用画像処理装置２０００は、対象物として駐車枠を検知するように構成されている。

車載用画像処理装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されている。所定の処理がプログラミングされており、あらかじめ定められた周期で繰り返し処理を実行する。

［白線特徴選別部２０６１］
図１６および図１７Ａ乃至図１７Ｅを用いて、白線特徴選別部２０６１における処理の内容について説明する。図１６は、白線特徴選別部２０６１の処理の流れを示したフローチャートである。また、図１７Ａ乃至図１７Ｅは、白線特徴選別部２０６１の処理の説明図である。

白線特徴選別部２０６１は、カメラ設置位置情報ＣＬＢは用いずに、白線特徴検出部１０２１より得られる白線特徴ＬＣ［ｎ］、立体物情報記憶部１０５１より得られる立体物情報ＯＰＴ［ｄ］を用いて、白線特徴ＬＣ［ｎ］が路面上の白線ＬＮ［ｍ］か否かを選別する。

まず、ステップＳ１６０１にて、立体物情報ＯＰＴ［ｄ］を取得する。

つぎに、ステップＳ１６０２にて、立体物情報ＯＰＴ［ｄ］の点群に対し、所定の大きさの矩形フィッティングを行い、フィッティング率が所定値以上となった矩形を近似矩形ＲＣＴ［ｆ］として記憶する。点群に対する矩形近似の方法は公知の技術が存在するため、ここでは詳細な説明は省略する。所定の大きさには、たとえば自車のサイズを用いる。

つぎに、ステップＳ１６０３にて、白線特徴ＬＣ［ｎ］を取得する。

そして、ステップＳ１６０４にて、ｎ＝１からＮの全白線特徴ＬＣ［ｎ］について、ｎ＝１からＮに対して以下ステップＳ１６０５およびステップＳ１６０６の処理を行う。

まず、ステップＳ１６０５にて、白線特徴ＬＣ［ｎ］の一部がいずれかの矩形ＲＣＴ［ｆ］の内側に含まれていないかを判定する。内側に存在せずに重複していない場合にはステップＳ１６０６に処理を進めて、白線特徴ＬＣ［ｎ］を白線ＬＮ［ｍ］として登録する。これに対し、一部でも矩形ＲＣＴ［ｆ］の内側に存在し、重複していると判定されたときは白線特徴ＬＣ［ｎ］は白線ＬＮ［ｍ］でないとして次の白線特徴ＬＣ［ｎ］に対する処理に移行する。

本ステップＳ１６０５−ステップＳ１６０６の処理の例を、図１７Ａ乃至図１７Ｆを用いて説明する。ここでは、３つの白線特徴ＬＣ［ｎ］について説明する。図１７Ａは俯瞰画像から白線特徴ＬＣ［ｎ］を検出した結果である。図１７Ｂは立体物情報ＯＰＴ［ｄ］および近似矩形ＲＣＴ［ｆ］を図示した結果である。図１７Ｃ，図１７Ｄ，図１７Ｅは各々の近似矩形ＲＣＴ［ｆ］と白線特徴ＬＣ［ｎ］との重複を確認する様子を示した図である。

図１７Ａに示すような白線特徴ＬＣ［ｎ］に対して図１７Ｂに示すような近似矩形ＲＣＴ［ｆ］を重ね、白線特徴ＬＣ［ｎ］が一部でも近似矩形ＲＣＴ［ｆ］の内側に含まれていないか否かを判定する。

この例では、図１７Ｅの白線特徴ＬＣ［ｎ］が矩形内に含まれるため除去され、図１７Ｃおよび図１７Ｄに示す残り２つの白線特徴ＬＣ［ｎ］は白線ＬＮ［ｍ］として登録される。

その他の構成・動作は前述した第１の実施形態の車載用画像処理装置１０００と略同じ構成・動作であり、詳細は省略する。

以上説明したように、駐車場内の駐車枠認識においては、その周囲の障害物が駐車車両である可能性が高い。そこで、第２の実施形態の車載用画像処理装置２０００では、立体物情報を車両相当サイズの矩形、たとえば自車サイズの矩形とフィッティングさせる。この処理によって、センシング範囲外の障害物の位置を予測することができ、この近似矩形を用いて、白線特徴が立体物上の特徴か路面上の特徴かを判定することが出来るため、前述した第１の実施形態の車載用画像処理装置１０００とほぼ同様な効果が得られる。

＜第３の実施形態＞
本発明の第３の実施形態の車載用画像処理装置を図１８乃至図２３を用いて説明する。図１８は、第３の実施形態における車載用画像処理装置３０００の構成を示すブロック図である。

図１８に示すように、本実施形態の車載用画像処理装置３０００は、第１の実施形態の車載用画像処理装置１０００の白線特徴検出の構成の替わりに、端点特徴検出部（特徴量抽出部）３０２１、端点特徴選別部（特徴量選別部）３０６１、駐車枠認識部（対象物認識部）３０７１を有することである。

車載用画像処理装置３０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１００１〜１００４で撮影した画像内から物体を検知するためのものであり、本実施形態における車載用画像処理装置３０００は、対象物として駐車枠を検知するように構成されている。

車載用画像処理装置３０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されている。所定の処理がプログラミングされており、あらかじめ定められた周期で繰り返し処理を実行する。

［端点特徴検出部３０２１］
図１９乃至図２０Ｂを用いて、端点特徴検出部３０２１における処理の内容について説明する。図１９は、端点特徴検出部３０２１の処理の流れを示したフローチャートである。また、図２０Ａおよび図２０Ｂは、端点特徴検出部３０２１の処理の説明図である。

端点特徴検出部３０２１は、画像取得部１０１１により取得された現在画像ＩＭＧ＿Ｃ中から端点を検出し、その組み合わせを用いて端点特徴ＰＣ［ｎ］を検出する処理を行う。

まず、ステップＳ１９０１にて、画像取得部１０１１により取得された俯瞰画像１０１５を取得する。

つぎに、ステップＳ１９０２にて、特徴点ＬＰＴ［ｇ］を検出する。本実施例では、Ｈａｒｒｉｓ特徴点を検出するものとする。図２０Ａの（１）や図２０Ｂの（１）に特徴点ＬＰＴ［ｇ］を検出した例を示す。

つぎに、ステップＳ１９０３にて、特徴点ＬＰＴ［ｇ］の周囲パターンを取得する。端点特徴検出部３０２１では、特徴点ごとに、特徴点を中心とする幅および高さが所定画素の画像から局所パターンＬＰＴＮ［ｇ］を取得する。取得するパターンは画像そのものでも良いし、２値化された情報や、さらにエッジの立ち上がり角度・立下り角度を記憶したものでも良い。取得される周囲パターンの例を図２０Ａの（２）に示す。

つぎに、ステップＳ１９０４およびステップＳ１０９５にて、検出した特徴点ＬＰＴ［ｇ］について、ｇ１＝１・・・Ｇ，ｇ２＝ｇ１＋１・・・Ｇで繰り返し演算を行い、ＬＰＴ［ｇ１］とＬＰＴ［ｇ２］のすべての組み合わせについて、以下ステップＳ１９０６からステップＳ１９０８の処理を行う。

まず、ステップＳ１９０６にて、局所パターンＬＰＴＮ［ｇ１］とＬＰＴＮ［ｇ２］が特定のパターン形状であるか否かを判定する。特定パターンは検出したい駐車枠の角を規定したパターンであり、たとえば図２０Ａの（３）や図２０Ｂの（２）のようなパターン形状である。

図２０Ａの（１）や図２０Ｂの（１）からそれぞれ判定して特定パターンのみのＬＰＴ［ｇ］を残した結果をそれぞれ図２０Ａの（４）や図２０Ｂの（３）に示す。ここで局所パターンＬＰＴＮ［ｇ１］とＬＰＴＮ［ｇ２］が条件に合致した場合はステップＳ１９０７に進み、合致しなかった場合には以降の処理を行わず、ｇ１，ｇ２をインクリメントしてループ処理を続ける。

つぎに、ステップＳ１９０７にて、局所パターンＬＰＴＮ［ｇ１］とＬＰＴＮ［ｇ２］の対称性を比較する。比較は、例えば、選択した２点を結ぶ線分に直交する垂線を対称軸として、局所パターンＬＰＴＮ［ｇ２］を反転させたパターンＬＰＴＮ’［ｇ２］を生成し、ＬＰＴＮ［ｇ１］とＬＰＴＮ’［ｇ２］の一致度を算出することで行う。図２０Ａの（５）や図２０Ｂの（４）に、算出の例を示す。そして、局所パターンＬＰＴＮ［ｇ１］とＬＰＴＮ［ｇ２］の一致度が所定の閾値以上か否かを判定し、閾値以上の場合はステップＳ１９０８に進み、合致しなかった場合には以降の処理を行わず、ｇ１，ｇ２をインクリメントしてループ処理を続ける。

つぎに、ステップＳ１９０８にて、ＬＰＴ［ｇ１］とＬＰＴ［ｇ２］から成る線分を端点特徴ＰＣ［ｎ］として登録する。図２０Ａの（６）や図２０Ｂの（５）は、上記処理の結果登録された線分ＰＣ［ｎ］の例である。

［端点特徴選別部３０６１］
つぎに、図２１Ａ乃至図２１Ｄを用いて、端点特徴選別部３０６１における処理の内容について説明する。図２１Ａ乃至図２１Ｄは、端点特徴選別部３０６１の処理の説明図である。

端点特徴選別部３０６１は、端点特徴検出部３０２１より得られる端点特徴ＰＣ［ｎ］、立体物情報記憶部１０５１より得られる立体物情報ＯＰＴ［ｄ］、および、カメラ設置位置情報ＣＬＢを用いて、端点特徴ＰＣ［ｎ］が路面上の端点線分ＰＮ［ｍ］か否かを選別する。

この端点特徴選別部３０６１における処理のフローは、図８で説明した白線特徴選別部１０６１における処理のうち、入力が白線特徴ＬＣ［ｎ］から端点特徴ＰＣ［ｎ］に変わり、出力が白線ＬＮ［ｍ］から端点線分ＰＮ［ｍ］に変わった以外は同じであるため、説明は省略する。

端点特徴選別部３０６１の処理の例を、図２１Ａ乃至図２１Ｄを用いて説明する。まず、図２１Ａは、端点特徴ＰＣ［ｎ］を検出した例であり、端点特徴ＰＣ［ｎ］が２つ検出されている。図２１Ｂは、この端点特徴ＰＣ［ｎ］と、立体物情報ＯＰＴ［ｄ］を重畳した例である。図２１Ｃ，図２１Ｄは各々の端点特徴ＰＣ［ｎ］と立体物情報ＯＰＴ［ｄ］との重複を確認する様子を図示したものである。

端点特徴選別部３０６１の処理では、図２１Ｃ，図２１Ｄに示すように、２つの端点特徴ＰＣ［ｎ］に対し、カメラ設置位置情報ＣＬＢを用いてそれぞれ三角形を生成し、その内側に立体物ＯＰＴ［ｄ］の存在有無を確認する。ここでは、図２１Ｃに示す端点特徴ＰＣ［ｎ］は三角形に入っておらず、図２１Ｄに示す端点特徴ＰＣ［ｎ］は三角形には入っているため、図２１Ｃの端点特徴ＰＣ［ｎ］が、路面上の端点線分ＰＮ［ｍ］として登録される。

［駐車枠認識部３０７１］
つぎに、図２２および図２３を用いて、駐車枠認識部３０７１における処理の内容について説明する。図２２は、駐車枠認識部３０７１の処理の流れを示したフローチャートである。

駐車枠認識部３０７１では、登録された端点線分ＰＮ［ｍ］を組み合わせて、自車１０が停車可能な駐車枠を探索、認識する。

まず、ステップＳ２２０１にて、端点線分ＰＮ［ｍ］を１つ選択する。

つぎに、ステップＳ２２０２において、基準方位角θＢを取得する。ここで、基準方位各θＢは、様々なものを用いることができる。たとえば、自車の方位角を用いても良いし、自車が所定時間走行した軌跡の方位を用いてもよい。さらには、過去の駐車枠の検出結果の短辺の平均方位を用いても良いし、第２の実施形態の白線特徴選別部２０６１の内部の処理にあった障害物ＯＰＴ［ｄ］にフィッティングさせた矩形の短辺の平均値を用いても良い。

つぎに、ステップＳ２２０３にて、ステップＳ２２０１にて選択した端点線分ＰＮ［ｍ］の角度と基準方位角θＢとの角度差θが所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ２２０３では、端点線分と基準方位角が平行であるか否かを判断する。所定値以下であると判断されたときは処理をステップＳ２２０４に進め、所定値より大きいと判断されたときは処理をステップＳ２２０６に進める。

ステップＳ２２０３が肯定判断されるとステップＳ２２０４へ進み、端点線分ＰＮ［ｍ］の長さＬが所定の範囲内（ＴｈＬｍｉｎ以上かつＴｈＬｍａｘ以下）であるか否かを判断する。すなわち、ステップＳ２２０４では、駐車枠の短辺を構成する端点線分の間隔が駐車枠相当の幅か否かを判断する。所定範囲内であると判断されたときは処理をステップＳ２２０５に進め、所定範囲外であると判断されたときは処理をステップＳ２２０６に進める。

ステップＳ２２０４が肯定判断されるとステップＳ２２０５へ進み、端点線分ＰＮ［ｍ］を短辺とする矩形の駐車枠の四隅の座標を位置情報ＰＳ［ｋ］として登録する。ここで、端点線分で求めた座標は駐車枠の手前の２点であり、駐車枠の奥の端点位置は検出していないため、自車の長さ等により補間する。

ステップＳ２２０５を実行するとステップＳ２２０６へ進み、端点特徴選別部３０６１から出力された情報に基づくすべての端点特徴（駐車枠の入り口線）に関して上述した処理を行ったか否かを確認する。ステップＳ２２０６が肯定判断されると、上述した処理によって得られた結果を出力して、駐車枠認識部３０７１の処理を終了する。ステップＳ２２０６が否定判断されるとステップＳ２２０１へ戻る。

また、上述した駐車枠認識部３０７１とは異なる処理により駐車枠を認識する処理内容を、図２３を用いて説明する。図２３は、駐車枠認識部３０７１の他の処理の流れを示したフローチャートである。

まず、ステップＳ２３０１にて、端点線分ＰＮ［ｍ］を２つ選択する。以下、端点線分ＰＮ［ｍ１］，ＰＮ［ｍ２］とする。

つぎに、ステップＳ２３０２にて、ステップＳ２３０１にて選択した２つの端点線分ＰＮ［ｍ１］，ＰＮ［ｍ２］の長さ差ΔＬが所定の範囲内（ＴｈΔＬｍｉｎ以上かつＴｈΔＬｍａｘ以下）であるか否かを判断する。すなわち、ステップＳ２３０２では、駐車枠の短辺を構成する端点線分の長さに類似した線分が他に存在するか否かを確認する。所定範囲内であると判断されたときは処理をステップＳ２３０３に進め、所定範囲外であると判断されたときは処理をステップＳ２３０５に進める。

ステップＳ２３０２が肯定判断されるとステップＳ２３０３へ進み、ステップＳ２３０１にて選択した端点線分ＰＮ［ｍ１］，ＰＮ［ｍ２］の角度差Δθが所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ２３０３では、２つの端点線分が平行であるか否かを判断する。所定値以下であると判断されたときは処理をステップＳ２３０４に進め、所定値より大きいと判断されたときは処理をステップＳ２３０５に進める。

ステップＳ２３０３が肯定判断されるとステップＳ２３０４へ進み、基準とする端点線分ＰＮ［ｍ１］を短辺とする矩形の駐車枠の四隅の座標を位置情報ＰＳ［ｋ］として登録する。ここで、端点線分で求めた座標は駐車枠の手前の２点であり、駐車枠の奥の端点位置は検出していないため、自車の長さ等により補間する。

ステップＳ２３０４を実行するとステップＳ２３０５へ進み、端点特徴選別部３０６１から出力された情報に基づくすべての端点特徴（駐車枠の入り口線）に関して上述した処理を行ったか否かを確認する。ステップＳ２３０５が肯定判断されると、上述した処理によって得られた結果を出力して、駐車枠認識部３０７１の処理を終了する。ステップＳ２３０５が否定判断されるとステップＳ２３０１へ戻る。

図２３の処理は、２つ以上の駐車枠が検出されている場合には、図２２の処理のように単独で判断する場合よりも誤認識を削減することができる。

その他の構成・動作は前述した第１の実施形態の車載用画像処理装置１０００と略同じ構成・動作であり、詳細は省略する。

以上説明したように、図２０Ａ（１）や図２０Ｂ（１）に示すような駐車枠の四隅にしかペイントが存在しないような駐車枠を検出する際に、図２１Ｄのように駐車枠の左右の停車車両のナンバープレート等のパターンを駐車枠の一部と誤認識することが発生する。これに対し、第３の実施形態の車載用画像処理装置３０００によればこれらの誤認識を除去することができ、前述した第１の実施形態の車載用画像処理装置１０００とほぼ同様な効果が得られる。

＜第４の実施形態＞
本発明の第４の実施形態の車載用画像処理装置を図２４および図２５を用いて説明する。図２４は、第４の実施形態における車載用画像処理装置４０００の構成を示すブロック図である。

図２４に示すように、本実施形態の車載用画像処理装置４０００は、第１の実施形態の車載用画像処理装置１０００の駐車枠認識部１０７１の替わりに路面ペイント認識部（対象物認識部）４０７１を有することである。

車載用画像処理装置４０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１００１〜１００４で撮影した画像内から物体を検知するためのものであり、本実施形態における車載用画像処理装置４０００は、対象物として路面ペイントを検知するように構成されている。

車載用画像処理装置４０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されている。所定の処理がプログラミングされており、あらかじめ定められた周期で繰り返し処理を実行する。

［路面ペイント認識部４０７１］
図２５を用いて、路面ペイント認識部４０７１における処理の内容について説明する。図２５は、路面ペイント認識部４０７１の処理を表すフローチャートである。

路面ペイント認識部４０７１は、白線特徴選別部１０６１より得られるＬＮ［ｍ］を用いて、路面上のペイントのパターンを認識する。本実施形態では、横断歩道を認識する処理について説明する。

まず、ステップＳ２５０１にて、基準とする白線ＬＮ［ｍ１］を１つ選択する。

つぎに、ステップＳ２５０２において、参照する白線ＬＮ［ｍ２］を選択し、ｍ１以外のすべての白線について、ステップＳ２５０３からＳ２５０５の処理を実施する。

まず、ステップＳ２５０３にて、ステップＳ２５０１にて選択した基準となる線分ＬＮ［ｍ１］と参照する白線ＬＮ［ｍ２］との角度差θが所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ２５０３では、２つの白線が平行であるか否かを判断する。所定値以下であると判断されたときは処理をステップＳ２５０４に進め、所定値より大きいと判断されたときはループ処理を続ける。

ステップＳ２５０３が肯定判断されるとステップＳ２５０４へ進み、２本の白線ＬＮ［ｍ１］，ＬＮ［ｍ２］の間隔Ｗが所定の範囲内（ＴｈＷｍｉｎ以上かつＴｈＷｍａｘ以下）であるか否かを判断する。すなわち、ステップＳ２５０４では、２つの白線が横断歩道相当の間隔を持って並んでいるか否かを判断する。所定範囲内であると判断されたときは処理をステップＳ２５０５に進め、所定範囲外であると判断されたときはループ処理を続ける。

ここで、間隔Ｗの判定は、Ｗ／２，Ｗ／３，Ｗ／４，・・・についても、所定範囲内であるか否かを判定する。これは、横断歩道から任意の白線を選択した際に、隣り合う白線であれば間隔は所定範囲内となるが、１つ隣の白線が選択された場合は２倍の間隔、２つ隣の白線が選択された場合には３倍の間隔になるため、上記いずれかの条件に合致した場合であっても、所定範囲内であったと判断する。

ステップＳ２５０４が肯定判断されるとステップＳ２５０５へ進み、横断歩道スコアＰＣＲ［ｍ１］をインクリメントする。

参照する白線ＬＮ［ｍ２］をすべて処理した後はステップＳ２５０６へ進み、横断歩道スコアＰＣＲ［ｍ１］が所定閾値以上か否かを判定する。閾値以上であればステップＳ２５０７へ進み、検出結果として座標値や検出結果のフラグ等を登録し、閾値より小さいと判断されれば次の基準白線を選択し、ループ処理を続けて、全ての白線で横断歩道スコアＰＣＲ［ｍ］を判断する。

判断された横断歩道の情報は車載用画像処理装置４０００外の自車１０内の他のコントロールユニットに対して出力され、他のコントロールユニットにおける自動運転制御の各種制御を実行する際に利用する。

その他の構成・動作は前述した第１の実施形態の車載用画像処理装置１０００と略同じ構成・動作であり、詳細は省略する。

以上説明したように、路面ペイントを検出する際においても、第４の実施形態の車載用画像処理装置４０００により障害物の内側に存在する路面ペイントに類似した特徴を除去することができ、路面ペイントを正しく認識することができる。

なお、第４の実施形態では、路面ペイントの特徴として、第１の実施形態で用いた白線特徴検出部１０２１により検出する白線特徴ＬＣ［ｎ］、白線特徴選別部１０６１より選別される白線ＬＮ［ｍ］を用いたが、第３の実施形態で説明したように、端点特徴検出部３０２１により検出する端点特徴ＰＣ［ｎ］、端点特徴選別部３０６１より選別される端点線分ＰＮ［ｍ］を用いることもできる。

また、本実施形態では横断歩道を例に取り上げたが、他の路面ペイント（矢印、速度表示、止まれ、等）についても、路面ペイント認識部４０７１の条件を変更することにより、認識可能である。

＜第５の実施形態＞
本発明の第５の実施形態の車載用画像処理装置を図２６および図２７を用いて説明する。図２６は、第５の実施形態における車載用画像処理装置５０００の構成を示すブロック図である。

図２６に示すように、本実施形態の車載用画像処理装置５０００は、第１の実施形態の車載用画像処理装置１０００と比べて特徴的なことは、縁石特徴検出部（特徴量抽出部）５０２１、縁石特徴選別部（特徴量選別部）５０６１、縁石認識部（対象物認識部）５０７１を有し、さらに駐車空間取得部５０８１を有することである。

車載用画像処理装置５０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１００１〜１００４で撮影した画像内から物体を検知するためのものであり、本実施形態における車載用画像処理装置５０００は、対象物として縁石を検知するように構成されている。なお、本実施形態で対象物とする縁石は、例えば、複数の駐車枠が並ぶ領域近くに存在し、枠線と平行して横たわっているものであり、道路に設けられた縦列駐車用の白線と平行に設けられたものである。

車載用画像処理装置５０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されている。所定の処理がプログラミングされており、あらかじめ定められた周期で繰り返し処理を実行する。

縁石特徴検出部５０２１は、画像取得部１０１１により取得された画像ＩＭＧ＿Ｃから、縁石の特徴となる線分を検出する処理である。縁石特徴検出部５０２１は、縁石と路面の輝度の違いを用いて、画像からエッジを検出し、その立ち上がりと立下りの間隔を用いて線分を検出する。この処理は、第１の実施形態にて用いた白線特徴検出部１０２１と同じ処理でよいため、詳細な説明は省略する。

縁石特徴選別部５０６１についても同様に、第１の実施形態における白線特徴選別部１０６１と同じ処理でよいため、詳細な説明は省略する。

［駐車空間取得部５０８１］
駐車空間取得部５０８１は、自車１０の周囲の駐車空間を認識し、その矩形情報ＰＳ［ｐ］を取得する。矩形情報ＰＳ［ｐ］の取得は、たとえば上述した次第１の実施形態で実行する駐車枠認識の結果でも良いし、立体物情報記憶部１０５１から立体物点群ＯＰＴ［ｄ］の間に生成された空間を駐車枠とみなすものでも良いし、公知の手段により取得するものとすることができる。本処理は公知の手段によって実行可能なため、説明を省略する。

［縁石認識部５０７１］
図２７を用いて、縁石認識部５０７１における処理の内容について説明する。図２７は、縁石認識部５０７１の処理を表すフローチャートである。

縁石認識部５０７１は、縁石特徴選別部５０６１より得られる線分ＬＮ［ｍ］と駐車空間ＰＳ［ｐ］を用いて、縁石を認識する。

まず、ステップＳ２７０１にて、線分ＬＮ［ｍ］を選択する。

つぎに、ステップＳ２７０２において、駐車空間ＰＳ［ｐ］を選択し、すべての駐車空間ＰＳ［ｐ］について、ステップＳ２７０３からステップＳ２７０５の処理を実施する。

まず、ステップＳ２７０３にて、ステップＳ２７０１にて選択した線分ＬＮ［ｍ］と駐車空間ＰＳ［ｐ］との角度差θが所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ２７０３では、線分と駐車空間が平行であるか否かを判断する。所定値以下であると判断されたときは処理をステップＳ２７０４に進め、所定値より大きいと判断されたときはループ処理を続ける。

ステップＳ２７０３が肯定判断されるとステップＳ２７０４へ進み、線分ＬＮ［ｍ］と駐車空間ＰＳ［ｐ］のうち自車から遠いほうの長辺との間隔Ｗが所定値（ＴｈＷｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ２７０４では、駐車空間の奥に線分が存在するか否かを判断する。所定値以下であると判断されたときは処理をステップＳ２７０５に進め、所定値より大きいと判断されたときはループ処理を続ける。

ステップＳ２７０４が肯定判断されるとステップＳ２７０５へ進み、立体物情報ＯＰＴ［ｄ］を参照し、線分ＬＮ［ｍ］上に高さが所定値以下の低い物体の点群が存在するか否かを確認する。存在すると判断されたときは処理をステップＳ２７０６に進め、存在しないと判断されたときはループ処理を続ける。

ステップＳ２７０５が肯定判断されるとステップＳ２７０６に進み、線分を縁石として登録する。登録情報は、縁石の始点と終点、すなわち線分の情報である。

なお、検出する対象物を縁石の場合について説明したが、駐車枠内の輪留めを検出の対象物とすることもできる。この場合、ステップＳ２７０３は駐車枠の方位と輪留めの角度が直交するか否かを判定し、ステップＳ２７０４は駐車空間ＰＳ［ｐ］のうち自車から遠いほうの短辺との間隔を判定するものとする。

その他の構成・動作は前述した第１の実施形態の車載用画像処理装置１０００と略同じ構成・動作であり、詳細は省略する。

以上説明したように、縁石や輪留めのような、高さが低い物体を画像のエッジ特徴から検出するような場合であっても、第５の実施形態の車載用画像処理装置５０００によれば誤検知することなく高い精度で検出することができ、前述した第１の実施形態の車載用画像処理装置１０００とほぼ同様な効果が得られる。

＜その他＞
なお、本発明は、上記の実施形態に限定されるものではなく、様々な変形例が含まれる。上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることも可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

１０…自車
２３…駐車枠
２３Ｌ…駐車枠線
１０００，１１００，１２００，１３００，２０００，３０００，４０００，５０００…車載用画像処理装置
１００１，１００２，１００３，１００４…カメラ（撮像部）
１００５…ソナー
１００６…ＬｉＤＡＲ
１０１１…画像取得部
１０１１Ａ，１０１２Ａ，１０１３Ａ，１０１４Ａ…画像
１０１５…俯瞰画像
１０２１…白線特徴検出部（特徴量抽出部）
１０３１…立体物検出部
１０４１…立体物情報取得部
１０５０…車両挙動情報取得部
１０５１…立体物情報記憶部
１０６１…白線特徴選別部（特徴量選別部）
１０７１…駐車枠認識部（対象物認識部）
２０６１…白線特徴選別部（特徴量選別部）
３０２１…端点特徴検出部（特徴量抽出部）
３０６１…端点特徴選別部（特徴量選別部）
３０７１…駐車枠認識部（対象物認識部）
４０７１…路面ペイント認識部（対象物認識部）
５０２１…縁石特徴検出部（特徴量抽出部）
５０６１…縁石特徴選別部（特徴量選別部）
５０７１…縁石認識部（対象物認識部）
５０８１…駐車空間取得部

Claims (11)

1. 自車周囲の対象物を認識する車載用画像処理装置であって、
   撮像部によって撮像された前記自車周囲の画像を取得する画像取得部と、
   前記画像取得部により取得した前記自車周囲の画像から対象物の特徴量および前記特徴量が路面上にあると仮定した場合の前記特徴量の自車に対する座標情報を抽出する特徴量抽出部と、
   前記自車周囲の立体物の自車に対する座標情報を取得し、記憶する立体物情報記憶部と、
   前記特徴量抽出部で検出された前記特徴量の自車に対する座標情報と前記立体物情報記憶部に記憶された前記立体物の自車に対する座標情報との位置関係を用いて、前記特徴量が路面上のものか立体物上のものかを選別する特徴量選別部と、
   前記特徴量選別部において路面上のものと選別された特徴量を用いて、前記対象物を認識する対象物認識部と、を備える
   ことを特徴とする車載用画像処理装置。
2. 請求項１に記載の車載用画像処理装置において、
   前記特徴量抽出部は、特徴量として線分を検出し、前記特徴量の自車に対する座標情報として前記線分の始点と終点の自車に対する座標情報を算出し、
   前記特徴量選別部は、前記線分の始点および終点の自車に対する座標情報と、前記立体物の自車に対する座標情報の位置関係を用いて、前記特徴量が路面上のものか立体物上のものかを選別する
   ことを特徴とする車載用画像処理装置。
3. 請求項２に記載の車載用画像処理装置において、
   前記特徴量抽出部は、前記画像からエッジを検出し、直線状に並んでいるエッジの始点と終点とを結ぶ線分を前記線分として検出する
   ことを特徴とする車載用画像処理装置。
4. 請求項２に記載の車載用画像処理装置において、
   前記特徴量選別部は、前記特徴量を抽出した前記撮像部の設置位置と前記線分の始点と前記線分の終点との三点から成る三角形を算出し、前記三角形の中に前記立体物の自車に対する座標情報が存在するか否かを判定し、存在しないと判定される場合は前記特徴量が路面上の特徴量であると判定し、存在すると判定される場合は前記特徴量が立体物上のものであると判定する
   ことを特徴とする車載用画像処理装置。
5. 請求項２に記載の車載用画像処理装置において、
   前記立体物の自車に対する座標情報を取得する立体物情報取得部と、
   前記自車の挙動情報を取得する車両挙動情報取得部と、を更に備え、
   前記立体物情報記憶部は、前記立体物情報取得部で取得された前記立体物の自車に対する座標情報と前記車両挙動情報取得部で取得された前記自車の挙動情報を用いて、過去に取得した立体物情報を現在の自車位置からの相対座標へ変換し、蓄積した情報を前記自車周囲の立体物の自車に対する座標情報として記憶する
   ことを特徴とする車載用画像処理装置。
6. 請求項２に記載の車載用画像処理装置において、
   前記対象物は駐車枠であり、
   前記対象物認識部は、路面上と判定された前記特徴量である線分を２つ選択し、この２つの線分間の幅、角度の差を含む条件を用いて前記駐車枠を認識する
   ことを特徴とする車載用画像処理装置。
7. 請求項２に記載の車載用画像処理装置において、
   前記特徴量選別部は、前記立体物情報記憶部に存在する立体物の自車に対する座標情報を矩形近似し、前記線分が前記矩形近似した立体物の自車に対する座標情報の内側に一部でも含まれるか否かを判定し、含まれないと判定される場合は前記特徴量が路面上の特徴量であると判定し、含まれると判定される場合は前記特徴量が立体物上のものであると判定する
   ことを特徴とする車載用画像処理装置。
8. 請求項２に記載の車載用画像処理装置において、
   前記特徴量抽出部は、画像からコーナー点を検出し、コーナー点の２つの組み合わせのうち、コーナー点の周囲の画像パターンの対称性が所定基準値以上となったコーナー点の組み合わせを始点と終点とする線分を前記線分として検出する
   ことを特徴とする車載用画像処理装置。
9. 請求項８に記載の車載用画像処理装置において、
   前記対象物は駐車枠であり、
   前記対象物認識部は、路面上と判定された前記特徴量である線分を１つ選択し、選択された線分の長さを含む条件を用いて前記駐車枠を認識する
   ことを特徴とする車載用画像処理装置。
10. 請求項２に記載の車載用画像処理装置において、
    前記対象物は路面ペイントであり、
    前記対象物認識部は、路面上と判定された前記特徴量である線分を複数選択し、選択された複数の線分間の位置関係を用いて前記路面ペイントを認識する
    ことを特徴とする車載用画像処理装置。
11. 請求項３に記載の車載用画像処理装置において、
    前記対象物は縁石または輪留めであり、
    前記自車周囲の駐車空間を取得する駐車空間取得部を更に備え、
    前記対象物認識部は、前記路面上と判断された前記特徴量と前記駐車空間取得部によって取得された前記駐車空間との方位関係、および前記路面上と判断された前記特徴量と前記駐車空間との位置関係を用いて前記対象物を認識する
    ことを特徴とする車載用画像処理装置。

Images