JP5574235B2

JP5574235B2 - 駐車枠検出装置及び駐車枠検出方法

Info

Publication number: JP5574235B2
Application number: JP2010226638A
Authority: JP
Inventors: 整久保田; 直哉室田
Original assignee: Suzuki Motor Co Ltd
Current assignee: Suzuki Motor Co Ltd
Priority date: 2010-10-06
Filing date: 2010-10-06
Publication date: 2014-08-20
Anticipated expiration: 2030-10-06
Also published as: JP2012080497A

Description

この発明は駐車枠検出装置及び駐車枠検出方法に係り、特に、撮像手段により撮像した車両後方の画像から画像処理技術により駐車場の駐車枠を検出する駐車枠検出装置及び駐車枠検出方法に関するものである。

車両を後退させて駐車枠に入れるときに、撮像手段により撮像した車両後方の画像を画像処理技術により、歪みを補正した画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示する駐車支援装置が実用化されている。駐車支援装置による歪み補正画像は、周囲の視野を確保しつつ駐車枠の線が直線として見えるため、車両が駐車枠に接近するときに運転者にとって有効な画像である。一方、駐車支援装置による俯瞰画像は、車両に近接するエリアの距離感が掴みやすいこと、駐車枠の線と車両との関係が直感的にわかりやすいことから、駐車位置に近づいたときに有効な画像である
撮像した車両後方の画像から駐車枠を検出する方法としては、画像の２値化やエッジ抽出による直線の特徴点抽出、真上から見下ろした俯瞰画像への変換、ハフ変換（Ｈｏｕｇｈ変換）による直線抽出、駐車枠の線の線間の幅の判定、といった処理が用いられている。（特許文献１・特許文献２）

特開２００８−２８５０８３号公報特開２００８−２１３７４４号公報

ところで、前記撮像手段により撮像した車両後方の画像から駐車枠の線を検出する画像処理技術において、画像中に駐車枠の白色の線だけが写っている場合はよいが、実際の駐車場では様々な状況が存在する。
例えば、
・駐車枠の線の色が白以外（黄色、橙色等）
・駐車枠の線以外の線分（影、地面の汚れ、他車両のボディー等）の写り込み
・駐車枠の線がはっきり写っていない（薄い、途切れ途切れ、消えかかっている）
といった状況が存在する。
このような状況下では、前述従来手法では対応できないため、駐車枠を精度良く検出することができなかった。

この発明は、駐車枠の線の左右両端の候補となる直線を精度良く検出でき、無関係な直線を駐車枠の線の両端と誤検出することを防ぐことができ、駐車枠を精度良く検出することができる駐車枠検出装置及び駐車枠検出方法を提供することを目的としている。

この発明は、車両後方を撮像する撮像手段と、前記撮像手段により撮像した後方画像から縦エッジを抽出するエッジ抽出手段と、前記エッジ抽出手段により抽出された縦エッジを含む画像を俯瞰画像に変換する画像変換手段と、前記画像変換手段により変換された俯瞰画像を左右の領域に分割する領域分割手段と、前記領域分割手段により分割された左右領域からハフ変換によりこの左右の領域毎にそれぞれ直線を検出する直線検出手段と、前記直線検出手段により検出された直線と輝度画像の俯瞰画像とを検証して駐車枠を構成する直線候補を検出する第１の判定手段と、前記第１の判定手段により判定された複数の直線候補から前記左右の領域毎に２本の直線の組合せが駐車枠線幅についての両端であるか否かを検証する第２の判定手段とを備え、前記第２の判定手段により判定された前記左右の領域毎の判定結果から駐車枠の有無を判定することを特徴とする。

この発明の駐車枠検出装置は、俯瞰画像を左右の領域に分割するため、駐車枠の線の左右両端の候補となる直線を精度良く検出することができる。
また、この発明の駐車枠検出装置は、直線と輝度画像の俯瞰画像とを検証して駐車枠を構成する直線候補を検出するため、無関係な直線を駐車枠の線の両端と誤検出することを防ぐことができる。
さらに、この発明の駐車枠検出装置は、複数の直線候補から左右の領域毎に２本の直線の組合せが駐車枠線幅についての両端であるか否かを検証するため、無関係な直線を駐車枠の線の両端と誤検出することを防ぐことができる。
これにより、この発明の駐車枠検出装置は、左右の領域毎の判定結果から駐車枠の有無を判定することで、駐車枠を精度良く検出することができる。

図１は駐車枠検出装置のシステム構成図である。（実施例）図２は駐車枠検出装置の駐車枠検出のフローチャートである。（実施例）図３は撮像手段のカメラで撮像した画像を示す図である。（実施例）図４はエッジの俯瞰画像変換を示す図である。（実施例）図５はハフ変換による直線検出を示す図である。（実施例）図６は直線候補の抽出を示す図である。（実施例）図７は輝度画像から変換した俯瞰画像を示す図である。（実施例）図８は直線候補の輝度変化の検証を示す図である。（実施例）図９は直線候補抽出を示す図である。（実施例）図１０は左の領域における各直線候補の輝度変化の検証を示す図である。（実施例）図１１は右の領域における各直線候補の輝度変化の検証を示す図である。（実施例）図１２は直線候補の組合せ検証のフローチャートである。（実施例）図１３は左の領域における各直線候補の組み合わせの検証を示す図である。（実施例）図１４は駐車枠の判定のフローチャートである。（実施例）図１５は駐車枠の判定を示す図である。（実施例）図１６は駐車支援装置のシステム構成図である。（実施例）図１７は撮像手段のカメラで撮像した画像示す図である。（実施例）図１８は歪み補正画像から俯瞰画像への自動切換えを示す図である。（実施例）図１９は駐車支援装置による動作フローチャートである。（実施例）

以下図面に基づいて、この発明の実施例を説明する。

図１〜図１９は、この発明の実施例を示すものである。
車両を後退させて駐車枠に入れるときに画像を表示して運転者に提示する駐車支援装置は、歪み補正画像と俯瞰画像とを切換えて表示している。歪み補正画像と俯瞰画像との切換は、運転者が自らスイッチ操作をして切換えることができるが、駐車後退時は周囲確認やハンドル操作などの運転タスクが集中するため、画像切換のスイッチ操作に煩わしさがある。
この発明の出願人は、画像切換のスイッチ操作の煩わしさを解消するために、前記歪み補正画像と俯瞰画像とを自動的に切り換える方法を採用した駐車支援装置を既に出願している。この駐車支援装置は、図１７に示すように、撮像手段により撮像した車両後方の画像Ｇ１から駐車場１の駐車枠２の左右の線３_Ｌ・３_Ｒを検出し、車両と線３_Ｌ・３_Ｒとが平行になった場合に、線３_Ｌ・３_Ｒの後端３_Ｌａ・３_Ｒａを検出して、車両と線後端３_Ｌａ・３_Ｒａとの距離がしきい値以下になったときに、画像切換を自動で行うものである。なお、符号４_Ｌ・４_Ｒは、駐車場１の左右の輪留めである。なお、駐車枠２の線３_Ｌ・３_Ｒの色は、通常、白であるが、白以外に黄色、橙色等のものがある。

図１６に示すように、画像を自動的に切換える駐車支援装置５は、車両後方を撮像する撮像手段のカメラ６と、画像を表示する表示手段のモニタ７と、カメラ６により撮像された車両の後方画像をモニタ７に表示させる支援制御手段８とを備えている。カメラ６は、車両の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。モニタ７は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。
前記支援制御手段８は、前記カメラ６により撮像された車両後方の駐車枠２を含む画像（図１７参照。）を取り込んで記録する画像記録手段９と、画像記録手段９に記録された画像Ｇ１の情報から表示画像の切換えを判定して後段の歪み補正画像変換手段１１又は俯瞰画像変換手段１２に出力する画像切換え判定手段１０と、入力された画像Ｇ１の歪みを補正して歪み補正画像Ｇ２に変換する歪み補正画像変換手段１１と、入力された画像Ｇ１を俯瞰画像Ｇ３に変換する俯瞰画像変換手段１２と、歪み補正画像Ｇ２又は俯瞰画像Ｇ３を切換えて表示（図１８参照。）させるように前記モニタ７に出力する画像出力手段１３とを備えている。

前記駐車支援装置５は、図１９に示すように、動作プログラムが開始（１０１）されると、カメラ６により撮像された車両後方の画像Ｇ１を画像記録手段９に取り込んで記録し（１０２）、記録した画像Ｇ１から駐車枠２の線３_Ｌ・３_Ｒの位置と角度を算出し（１０３）、車両と線３_Ｌ・３_Ｒとが平行であるかを判断（１０４）する。
この判断（１０４）がＮＯの場合は、歪み補正画像変換手段１１により画像を歪み補正画像Ｇ２に変換し（１０５）、モニタ７に歪み補正画像Ｇ２を出力し（１０６）、プログラムを終了する（１０７）。前記判断（１０４）がＹＥＳの場合は、画像切換え判定手段１０により線後端３_Ｌａ・３_Ｒａの検出、輪留め４_Ｌ・４_Ｒの検出、車速パルスのカウントを行い（１０８）、画像出力手段１３によりモニタ７に出力する画像を切り換えるかを判断する（１０９）。
この判断（１０９）がＮＯの場合は、歪み補正画像変換手段１１により画像Ｇ１を歪み補正画像Ｇ２に変換し（１０５）、画像出力手段１３によりモニタ７に歪み補正画像Ｇ２を出力し（１０６）、プログラムを終了する（１０７）。一方、この判断（１０９）がＹＥＳの場合は、俯瞰画像変換手段１２により画像Ｇ１を俯瞰画像Ｇ３に変換し（１１０）、画像出力手段１３によりモニタ７に出力する画像を歪み補正画像Ｇ２から俯瞰画像Ｇ３に切換えて出力し（１０６）、プログラムを終了する（１０７）。

前記駐車支援装置５においては、駐車を支援するための情報として利用するために、図１〜図１５に示すように、撮像した車両後方の画像Ｇから駐車枠２を駐車枠検出装置及び駐車枠検出方法により検出している。駐車支援装置５は、駐車枠検出装置及び駐車枠検出方法により検出した駐車枠２の情報を、例えば、画像切換え判定手段１０における画像切換えの判断や、歪み補正画像変換手段１１及び俯瞰画像変換手段１２による画像変換などに利用する。
図１に示すように、車両後方の画像から駐車枠を検出する駐車枠検出装置１４は、車両後方を撮像する撮像手段としてのカメラ１５を備え、このカメラ１５により撮像した後方画像から駐車枠２の検出を行う検出制御手段１６を備えている。
検出制御手段１６は、前記カメラ１５により撮像された車両後方の画像Ｇ４を取り込んで記録（図３参照）する画像記録手段１７と、前記画像記録手段１７に記録された後方画像Ｇ４からエッジｅを抽出するエッジ抽出手段１８と、前記エッジ抽出手段１８によりエッジｅを抽出された画像を俯瞰画像Ｇ５に変換（図４参照）する画像変換手段１９と、前記画像変換手段１９により変換された俯瞰画像Ｇ５を左右の領域２０_Ｌ・２０_Ｒに分割（図５参照）する領域分割手段２１と、前記領域分割手段２１により分割された左右領域２０_Ｌ・２０_Ｒからハフ変換により領域２０_Ｌ・２０_Ｒ毎にそれぞれ直線２２_Ｌ・２２_Ｒを検出（図５参照）する直線検出手段２３と、前記直線検出手段２３により検出された直線２２_Ｌ・２２_Ｒが幅を有する線の端であるか否かを判定する第１の判定手段２４と、前記第１の判定手段２４により幅を有する線の端であると判定された複数の直線２２_Ｌ・２２_Ｒから左右の領域２０_Ｌ・２０_Ｒ毎に２本の直線２２_Ｌ・２２_Ｒの組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定する第２の判定手段２５と、を備えている。
なお、この実施例の駐車枠検出装置１４は、駐車支援装置５に内蔵されているので、駐車枠検出装置１４のカメラ１５、画像記録手段１７を、駐車支援装置５のカメラ６、画像記録手段９で代替することができる。
駐車枠検出装置１４は、画像Ｇ４からエッジｅを抽出して、このエッジｅを抽出した画像を俯瞰画像Ｇ５に変換し、この俯瞰画像Ｇ５を左右の領域２０_Ｌ・２０_Ｒに分割し、左右領域２０_Ｌ・２０_Ｒからハフ変換により領域２０_Ｌ・２０_Ｒ毎にそれぞれ直線２２_Ｌ・２２_Ｒを検出し、検出された直線２２_Ｌ・２２_Ｒが幅を有する線（この実施例においては駐車枠２の線３_Ｌ・３_Ｒ）の端であるか否かを判定し、幅を有する線の端であると判定された複数の直線２２_Ｌ・２２_Ｒから左右の領域２０_Ｌ・２０_Ｒ毎に２本の直線の組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定する。

次に、駐車枠検出装置１４による駐車枠の検出を説明する。図２に示すように、駐車枠検出装置１４は、駐車枠検出のプログラムが開始されると（２０１）、カメラ１５により撮像された車両後方の画像Ｇ４を画像記録手段１７に取り込んで記録（図３参照）し（２０２）、記録した画像Ｇ４から縦エッジｅを抽出して俯瞰画像Ｇ５に変換（図４参照）する（２０３）。駐車枠検出装置１４では、駐車動作の最終段で、車両が駐車枠２の左右の線３_Ｌ・３_Ｒとほぼ平行になっている状態で画像を切り換えるため、画像Ｇ４から線３_Ｌ・３_Ｒの方向に延びる縦エッジｅのみ抽出すれば良い。
前記変換（２０３）による俯瞰画像Ｇ５上のエッジｅ点を投票点としてハフ変換処理（図５参照）により、左右の直線２２_Ｌ・２２_Ｒの候補を検出する（２０４）。このとき、俯瞰画像Ｇ５を右半分と左半分との領域２０_Ｌ・２０_Ｒに分割し、左右領域２０_Ｌ・２０_Ｒのそれぞれでハフ変換による直線２２_Ｌ・２２_Ｒの候補の検出を行う。
直線２２_Ｌ・２２_Ｒの検出（２０４）は、図５に示すように、俯瞰画像Ｇ５の各候補点ｐ（ｘ，ｙ）の座標値ｘ，ｙから、
ρ＝ｘ^＊ｓｉｎ（θ）＋ｙ^＊ｃｏｓ（θ）
の式により、θｍｉｎからθｍａｘまでρの値を計算して、ρ−θ空間に投票する。
俯瞰画像Ｇ５の左右の領域２０_Ｌ・２０_Ｒのそれぞれで投票点数が最も高かった箇所Ｐ_Ｌ１（ρ_Ｌ１，θ_Ｌ１）とＰ_Ｒ１（ρ_Ｒ１，θ_Ｒ１）を第１の候補の直線（以下「第１直線」と記す。）２２_Ｌ１・２２_Ｒ１とし、２番目に高い箇所をＰ_Ｌ２（ρ_Ｌ２，θ_Ｌ２）とＰ_Ｒ２（ρ_Ｒ２，θ_Ｒ２）を第２の候補の直線（以下「第２直線」と記す。）２２_Ｌ２・２２_Ｒ２とし、３番目に高い箇所をＰ_Ｌ３（ρ_Ｌ３，θ_Ｌ３）とＰ_Ｒ３（ρ_Ｒ３，θ_Ｒ３）を第３の候補の直線（以下「第３直線」と記す。）２２_Ｌ３・２２_Ｒ３として抽出（図６参照）する。
左右の領域２０_Ｌ・２０_Ｒにおける直線２２_Ｌ・２２_Ｒの候補の検出（２０４）に続き、輝度画像を俯瞰画像Ｇ５に変換（図７参照）する（２０５）。カメラ１５により撮像された画像Ｇ４上の各画素が俯瞰画像Ｇ５上のどの画素と対応しているかを計算して画像を変換する。このとき、予め計算結果をテーブルに格納しておき、変換時にテーブルを参照するようにしてもよい。

変換した輝度の俯瞰画像Ｇ５から各直線候補（直線候補とは、直線である可能性が高いという意味ではなく、直線であり、線３_Ｌ・３_Ｒの幅方向両端のエッジｅの候補という意味である。）の輝度変化を検証（図８参照）する（２０６）。第１の判定である検証（２０６）では、図８に示すように、直線候補である第１〜第３直線２２_Ｌ１〜２２_Ｌ３・２２_Ｒ１〜２２_Ｒ３の、それぞれ左右両側の近傍エリアＡ_Ｌ・Ａ_Ｒの輝度平均Ｌ・Ｒを求める。
求めた輝度平均Ｌ・Ｒの差の絶対値が閾値（ｔｈ）未満（｜輝度平均Ｌ−輝度平均Ｒ｜＜ｔｈ）ならばＮＧとして直線候補とせず、輝度平均Ｌ・Ｒの差の絶対値が閾値（ｔｈ）以上（｜輝度平均Ｌ一輝度平均Ｒ｜≧ｔｈ）ならばＯＫとして直線候補とする。さらに、輝度平均Ｌ・Ｒの大小関係から、輝度平均Ｌが輝度平均Ｒ未満（輝度平均Ｌ＜輝度平均Ｒ）ならば左エッジとし、輝度平均Ｌが輝度平均Ｒ以上（輝度平均Ｌ≧輝度平均Ｒ）ならば右エッジとし、駐車枠２の幅を有する線３_Ｌ・３_Ｒの左エッジか右エッジかを判定する。
前記第１の判定である輝度変化の検証（２０６）について、図９〜図１１によりさらに詳述する。図９に示すように、俯瞰画像Ｇ５を右半分と左半分とに分割した左右領域２０_Ｌ・２０_Ｒにおいて、それぞれ直線候補として第１〜第３直線２２_Ｌ１〜２２_Ｌ３・第１〜第３直線２２_Ｒ１〜２２_Ｒ３が抽出された場合について説明する。
図１０（Ｃ）に示すように、左領域２０_Ｌの第３直線２２_Ｌ３は、輝度平均Ｌ・Ｒの差の絶対値が閾値（ｔｈ）未満なので、直線候補から除外する。図１０（Ａ）、（Ｂ）に示すように、左領域２０_Ｌの第１直線２２_Ｌ１、第２直線２２_Ｌ２は、輝度平均Ｌ・Ｒの差の絶対値が閾値（ｔｈ）以上なので、直線候補とする。このとき、輝度平均Ｌ・Ｒの差の絶対値の大小関係から、第１直線２２_Ｌ１は左エッジ（黒−白）、第２直線２２_Ｌ２は右エッジ（白−黒）とする。
図１１（Ａ）〜（Ｃ）に示すように、右領域２０_Ｒの第１直線２２_Ｒ１〜第３直線２２_Ｒ３は、いずれも輝度平均Ｌ・Ｒの差の絶対値が閾値（ｔｈ）以上なので、直線候補とする。このとき、輝度平均Ｌ・Ｒの差の絶対値の大小関係から、第１直線候補２２_Ｒ１は右エッジ（白−黒）、第２直線２２_Ｒ２は左エッジ（黒−白）、第３直線２２_Ｒ３は左エッジ（黒−白）とする。

図２に示すように、各直線候補の輝度変化の検証（２０６）に続き、左領域２０_Ｌの第１〜第３直線２２_Ｌ１〜２２_Ｌ３の組合せ（２２_Ｌ１−２２_Ｌ２、２２_Ｌ１−２２_Ｌ３、２２_Ｌ２−２２_Ｌ３）の妥当性、右領域２０_Ｒの第１〜第３直線２２_Ｒ１〜２２_Ｒ３の組合せ（２２_Ｒ１−２２_Ｒ２、２２_Ｒ１−２２_Ｒ３、２２_Ｒ２−２２_Ｒ３）の妥当性を検証し、各組合せがＯＫかＮＧか判定する（２０７）。さらに、各組合せの検証結果から、直線候補の組合せを決定する（２０８）。
前記第２の判定である組合せの検証（２０７）においては、図１２に示すように、検証のプログラムが開始されると（３０１）、２本の直線候補の原点からの距離ρが小さい方を左エッジ、２本の直線候補の原点からの距離ρが大きい方を右エッジとし（３０２）、ρの左右関係と輝度平均Ｌ・Ｒの左右関係が一致するかを判断する（３０３）。この判断（３０３）がＹＥＳの場合は、距離ρの差の絶対値が一定範囲内かを判断する（３０４）。この判断がＹＥＳの場合は、２本の直線候補の角度θの差の絶対値が一定値以下かを判断する（３０５）。この判断（３０５）がＹＥＳの場合は、組合せＯＫとし（３０６）、プログラムを終了する（３０７）。
一方、前記判断（３０３）、（３０４）、（３０５）がＮＯの場合は、組合せＮＧとし（３０８）、プログラムを終了する（３０７）。
この組合せの検証（２０７）において、例えば、左領域２０_Ｌの場合は、第１直線２２_Ｌ１−第２直線２２_Ｌ２の組合せの判定がＯＫならば、第１直線２２_Ｌ１−第２直線２２_Ｌ２を直線候補とする。第１直線２２_Ｌ１−第２直線２２_Ｌ２の判定がＮＧならば、第１直線２２_Ｌ１−第３直線２２_Ｌ３の組合せを判定する。第１直線２２_Ｌ１−第３直線２２_Ｌ３の判定がＯＫならば、第１直線２２_Ｌ１−第３直線２２_Ｌ３を直線候補とする。第１直線２２_Ｌ１−第３直線２２_Ｌ３の判定がＮＧならば、第２直線２２_Ｌ２−第３直線２２_Ｌ３の組合せを判定する。第２直線２２_Ｌ２−第３直線２２_Ｌ３の判定がＯＫならば、第２直線２２_Ｌ２−第３直線２２_Ｌ３を直線候補とする。第２直線２２_Ｌ２−第３直線２２_Ｌ３の判定がＮＧならば、直線候補なしとする。また、右領域２０_Ｒの場合も、同様に第１〜第３直線２２_Ｒ１〜２２_Ｒ３の組合せを判定し、直線候補の有無を決定する。

図９の左領域２０_Ｌにおいては、第１直線２２_Ｌ１、第２直線２２_Ｌ２が残ったため、第１直線２２_Ｌ１−第２直線２２_Ｌ２の組合わせを検証し、図１１の右領域２０_Ｒにおいては、第１直線２２_Ｒ１〜第３直線２２_Ｒ３が残ったため、第１直線２２_Ｒ１−第２直線２２_Ｒ２、第１直線２２_Ｒ１−第３直線２２_Ｒ３、第２直線２２_Ｒ２−第３直線２２_Ｒ３の各組合せの妥当性を検証する。

・ρの左右関係と輝度平均Ｌ・Ｒの左右関係が一致するか？
ρは、原点から直線までの距離（図５参照）を表す。原点は左端にあるため、ρの値が小さい（距離が短い）ほうが左、ρの値が大きい（距離が長い）ほうが右になる。図１３に示すように、左領域２０_Ｌにおいては、原点に近い左側の第１直線２２_Ｌ１のρ１の値よりも、原点から遠い右側の第２直線２２_Ｌ２のρ２の値の方が大きい。
図１０に示す左領域２０_Ｌにおいて、第１直線２２_Ｌ１、第２直線２２_Ｌ２の関係は、輝度差の方向（第１直線２２_Ｌ１が左、第２直線２２_Ｌ２が右）とρの左右関係（第１直線２２_Ｌ１が左、第２直線２２_Ｌ２が右）が一致する。
図１１に示す右領域２０_Ｒにおいて、第１直線２２_Ｒ１、第２直線２２_Ｒ２の関係は、輝度差の方向（第１直線２２_Ｒ１が右、第２直線２２_Ｒ２が左）とρの左右関係（第１直線２２_Ｒ１が左、第２直線２２_Ｒ２が右）が一致しない。第１直線２２_Ｒ１、第３直線２２_Ｒ３の関係は、輝度差の方向（第１直線２２_Ｒ１が右、第３直線２２_Ｒ３が左）とρの左右関係（第１直線２２_Ｒ１が右、第３直線２２_Ｒ３が左）が一致する。第２直線２２_Ｒ２、第３直線２２_Ｒ３の関係は、輝度差の方向（第２直線２２_Ｒ２が左、第３直線２２_Ｒ３が左）が同じであるためＮＧとする。

・ρの差の絶対値が一定範囲内か？
ρの差の絶対値は、直線間の距離（図５参照）であるため、駐車枠２の線３_Ｌ・３_Ｒの線幅（線の太さ）を表す。距離が一定範囲内になっているか確認する。あらかじめ検出すべき駐車枠２の線３_Ｌ・３_Ｒの線幅について最小値と最大値を決めておき、
最小値＜ρの差の絶対値＜最大値 → ＯＫ
とする。

・θの差の絶対値が一定値以下か？
θの差の絶対値は、直線間の角度差（図５参照）を表す。角度差が一定値以下（平行）になっているか確認する。駐車伜２の線３_Ｌ・３_Ｒの線幅（線の太さ）は一定であるため、平行でない場合は線３_Ｌ・３_Ｒではないものとする。

図２に示すように、直線候補の組合せの決定（２０８）の後、駐車枠２の有無の判定を行う（２０９）。駐車枠２の判定においては、図１４に示すように、判定のプログラムが開始されると（４０１）、左右の領域２０_Ｌ・２０_Ｒとも駐車伜２の線３_Ｌ・３_Ｒを示す直線候補（図１５において、左領域２０_Ｌの第１直線２２_Ｌ１−第２直線２２_Ｌ２・右領域２０_Ｒの第１直線２２_Ｒ１−第３直線２２_Ｒ３）が存在するかを判断する（４０２）。
この判断（４０１）がＹＥＳの場合は、線３_Ｌと線３_Ｒとの原点からの距離ρの差（図１５においては、第２直線２２_Ｌ２、第３直線２２_Ｒ３間の距離）が一定範囲内かを判断する（４０３）。この判断（４０３）がＹＥＳの場合は、線３_Ｌと線３_Ｒとの原点に対する角度θの差（図５参照）が一定範値以下かを判断する（４０４）。この判断（４０４）がＹＥＳの場合は、駐車枠２が存在するとし（４０５）、プログラムを終了する（４０６）。
一方、前記判断（４０２）、（４０３）、（４０４）がＮＯの場合は、駐車枠２が存在しないとし（４０７）、プログラムを終了する（４０６）。

この駐車枠２の有無の判定（２０９）においては、左右の領域２０_Ｌ・２０_Ｒのそれぞれにおいて、直線２２_Ｌの組合せ（２２_Ｌ１−２２_Ｌ２、２２_Ｌ１−２２_Ｌ３、２２_Ｌ２−２２_Ｌ３）及び直線２２_Ｒの組合せ（２２_Ｒ１−２２_Ｒ２、２２_Ｒ１−２２_Ｒ３、２２_Ｒ２−２２_Ｒ３）のうち、ＯＫの組み合わせが存在した場合、駐車枠２かどうかの判定を行うものである。
左領域２０_Ｌの第１〜第３直線２２_Ｌ１〜２２_Ｌ３の組合わせのうち右側の線（図１５においては第２直線２２_Ｌ２）を、右領域２０_Ｒの第１〜第３直線２２_Ｒ１〜２２_Ｒ３の組合わせのうち左側の線（図１５においては第３直線２２_Ｒ３）を選択する。
左領域２０_Ｌの第２直線２２_Ｌ２と右領域２０_Ｒの第３直線２２_Ｒ３との原点からの距離ρの差が一定範囲内かを確認する。あらかじめ検出すべき駐車枠２の線３_Ｌ・３_Ｒの幅について最小値と最大値を決めておき、
最小値＜ρの差＜最大値 → ＯＫ
とする。
さらに、左領域２０_Ｌの第２直線２２_Ｌ２と右領域２０_Ｒの第３直線２２_Ｒ３との原点に対する角度θの差が一定値以下（平行）であるか確認する。角度θの差が一定値以下ならば、駐車枠２の左右の線３_Ｌ・３_Ｒは平行であるものとする。

図２に示すように、駐車枠２の有無の判定（２０９）の後は、プログラムを終了する（２１０）。この駐車枠検出装置１４による駐車枠２の判定結果の情報は、前記駐車支援装置５において、画像切換えの判断などに利用される。

このように、駐車枠検出装置１４は、カメラ１５と、画像記録手段１７と、エッジ抽出手段１８と、画像変換手段１９と、領域分割手段２１と、直線検出手段２３と、第１の判定手段２４と、第２の判定手段２５とを備え、画像Ｇ４からエッジｅを抽出して、このエッジｅを抽出した画像を俯瞰画像Ｇ５に変換し、この俯瞰画像Ｇ５を左右の領域２０_Ｌ・２０_Ｒに分割し、左右領域２０_Ｌ・２０_Ｒからハフ変換により領域２０_Ｌ・２０_Ｒ毎にそれぞれ直線２２_Ｌ・２２_Ｒを検出し、検出された直線２２_Ｌ・２２_Ｒが幅を有する線の端であるか否かを判定し、幅を有する線の端であると判定された複数の直線２２_Ｌ・２２_Ｒから左右の領域２０_Ｌ・２０_Ｒ毎に２本の直線の組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定する。
この駐車枠検出装置１４は、俯瞰画像Ｇ５を左右の領域２０_Ｌ・２０_Ｒに分割するため、駐車枠２の線３_Ｌ・３_Ｒの左右両端の候補となる直線を精度良く検出することができる。また、この駐車枠検出装置１４は、右領域２０_Ｌの直線２２_Ｌ及び左領域２０_Ｒの直線２２_Ｒが幅を有する線の端であるか否かを判定するため、無関係な直線２２_Ｌ・２２_Ｒを駐車枠２の線３_Ｌ・３_Ｒの両端と誤検出することを防ぐことができる。さらに、この駐車枠検出装置１４は、複数の直線２２_Ｌ１〜２２_Ｌ３から２本の直線の組合せをつくり、また複数の直線２２_Ｒ１〜２２_Ｒ３から２本の直線の組合せをつくり、この組合せが駐車枠２の幅を有する線３_Ｌ・３_Ｒの両端であるか否かを判定するため、無関係な直線を駐車枠２の線３_Ｌ・３_Ｒの両端と誤検出することを防ぐことができる。
これにより、この駐車枠検出装置１４は、駐車枠２を精度良く検出することができる。

また、駐車枠検出装置１４は、以下のような効果を奏することができる。
前記第１の判定手段２４は、ハフ変換により検出された各直線２２_Ｌ及び各直線２２_Ｒの両側近傍に一定幅のエリアＡ_Ｌ・Ａ_Ｒを設定し、各エリアＡ_Ｌ・Ａ_Ｒ内の画素の輝度平均を算出し、各直線２２_Ｌ及び各直線２２_Ｒにおいて両側のエリアＡ_Ｌ・Ａ_Ｒの輝度平均の差を算出し、この差の絶対値が予め定められた値未満の時には、この直線２２_Ｌ及び直線２２_Ｒを以降の判定の対象としない。
これにより、駐車枠検出装置１４は、駐車枠２の幅を有する線３_Ｌ・３_Ｒの両端のどちらにも当てはまらない直線を除くことにより、無関係な直線を駐車枠２の１本の線３_Ｌあるいは線３_Ｒの左右両端と誤検出することを防ぐことができる。

前記第２の判定手段２５は、各直線２２_Ｌ及び各直線２２_Ｒにおいて両側のエリアＡ_Ｌ・Ａ_Ｒの輝度平均の大小関係から、直線２２_Ｌ及び直線２２_Ｒが幅を有する線のどちら側の端に該当するかを検出し、任意に選択された２本の直線２２_Ｌ及び２本の直線２２_Ｒが幅を有する線の同じ側の端である場合には、この２本の直線２２_Ｌ及び２本の直線２２_Ｒの組合せを以降の判定の対象としない。
これにより、駐車枠検出装置１４は、幅を有する線３_Ｌ・３_Ｒの両端に該当しない２本の直線の組合せを除くことにより、無関係な直線を駐車枠２の１本の線３_Ｌあるいは線３_Ｒの左右両端と誤検出することを防ぐことができる。

また、前記第２の判定手段２５は、輝度平均の大小関係から検出された２本の直線２２_Ｌの位置関係及び２本の直線２２_Ｒの位置関係が、直線が幅を有する線の両側の端に該当した場合でも、直線が幅を有する線の両側の端としてありえない位置関係にある場合には、この２本の直線２２_Ｌの組合せ及び２本の直線２２_Ｒの組合せを以降の判定の対象としない。
これにより、駐車枠検出装置１４は、ありえない位置関係にある２本の直線２２_Ｌの組合せ及び２本の直線２２_Ｒの組合せを除くことにより、無関係な直線を駐車枠２の１本の線３_Ｌあるいは線３_Ｒの左右両端と誤検出することを防ぐことができる。

さらに、前記第２の判定手段２５は、２本の直線２２_Ｌ間の距離及び２本の直線２２_Ｒ間の距離が予め設定された範囲内にない場合には、この２本の直線２２_Ｌの組合せ及び２本の直線２２_Ｒの組合せを以降の判定の対象としない。
これにより、駐車枠検出装置１４は、駐車枠２の線３_Ｌ・３_Ｒの幅としてありえない２本の直線の組合せを除くことにより、無関係な直線を駐車枠２の１本の線３_Ｌあるいは線３_Ｒの左右両端と誤検出することを防ぐことができる。

さらにまた、前記第２の判定手段２５は、２本の直線２２_Ｌ間の角度差及び２本の直線２２_Ｒ間の角度差が予め設定された範囲内にない場合には、この２本の直線２２_Ｌの組合せ及び２本の直線２２_Ｒの組合せを以降の判定の対象としない。
これにより、駐車枠検出装置１４は、線幅が変化している２本の直線２２_Ｌの組合せあるいは直線２２_Ｒの組合せを除くことにより、無関係な直線を駐車枠２の１本の線３_Ｌあるいは線３_Ｒの左右両端と誤検出することを防ぐことができる。

また、前記エッジ抽出手段１８は、カメラ１５の画像Ｇ４から縦エッジｅを抽出する。
これにより、駐車枠検出装置１４は、駐車枠２の左右の線３_Ｌ・３_Ｒに対して車両が平行である時に駐車枠２を検出する場合、エッジ抽出の計算量を減らすことができる。

この発明は、駐車枠の線の左右両端の候補となる直線を精度良く検出でき、無関係な直線を駐車枠の線の両端と誤検出することを防ぐことができ、駐車枠を精度良く検出することができるものであり、駐車枠にかぎらず、線状の図形の検出に利用することができる。

１駐車場
２駐車枠
３_Ｌ左の線
３_Ｒ右の線
５駐車支援装置
１４駐車枠検出装置
１５カメラ
１６検出制御手段
１７画像記録手段
１８エッジ抽出手段
１９画像変換手段
２０_Ｌ左の領域
２０_Ｒ右の領域
２１領域分割手段
２２_Ｌ左の直線
２２_Ｒ右の直線
２３直線検出手段
２４第１の判定手段
２５第２の判定手段

Claims

車両後方を撮像する撮像手段と、
前記撮像手段により撮像した後方画像から縦エッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出された縦エッジを含む画像を俯瞰画像に変換する画像変換手段と、
前記画像変換手段により変換された俯瞰画像を左右の領域に分割する領域分割手段と、
前記領域分割手段により分割された左右領域からハフ変換によりこの左右の領域毎にそれぞれ直線を検出する直線検出手段と、
前記直線検出手段により検出された直線と輝度画像の俯瞰画像とを検証して駐車枠を構成する直線候補を検出する第１の判定手段と、
前記第１の判定手段により判定された複数の直線候補から前記左右の領域毎に２本の直線の組合せが駐車枠線幅についての両端であるか否かを検証する第２の判定手段とを備え、
前記第２の判定手段により判定された前記左右の領域毎の判定結果から駐車枠の有無を判定することを特徴とする駐車枠検出装置。