JP7141940B2

JP7141940B2 - 画像処理装置および画像処理方法

Info

Publication number: JP7141940B2
Application number: JP2018234796A
Authority: JP
Inventors: 純金武; 康貴岡田; 徹夫山本; 裕明佐野; 亮吉村; 篤吉原; 知騎倭文
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2018-12-14
Filing date: 2018-12-14
Publication date: 2022-09-26
Anticipated expiration: 2038-12-14
Also published as: US11170235B2; JP2020095619A; US20200193190A1

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、車両の周囲を撮影して得られた画像データに基づいて、輝度値の変化が大きいエッジ点を検出し、ペアとなるエッジ点を抽出することで、例えば、白線で表示される区画線を検出する画像処理装置が知られている（例えば、特許文献１参照）。

特開２００９－２８８８６７号公報

しかしながら、区画線を描く際に使用された作業線が残っている場合には、作業線においても輝度値の変化が大きくなるため、従来技術では、作業線がエッジ点として検出されるおそれがある。そのため、区画線を正確に識別することができないおそれがある。

本発明は、上記に鑑みてなされたものであって、区画線を正確に検出する画像処理装置および画像処理方法を提供することを目的とする。

実施形態の一態様に係る画像処理装置は、抽出部と、選択部と、除外部と、検出部とを備える。抽出部は、車両の周囲を撮影する撮像装置によって得られた画像データに基づいてエッジ線を抽出する。選択部は、抽出されたエッジ線から所定条件を満たすエッジ線をペアエッジ線として選択する。除外部は、ペアエッジ線間が塗りつぶされていない非塗りつぶし領域である場合に、非塗りつぶし領域を形成する疑似エッジ線をペアエッジ線から除外する。検出部は、疑似エッジ線が除外されたペアエッジ線に基づいて駐車枠を区画する区画線を検出する。

実施形態の一態様によれば、区画線を正確に検出することができる。

図１Ａは、画像処理装置の搭載例を示す図である。図１Ｂは、画像処理方法の概要を示す図である。図２は、画像処理装置のブロック図である。図３は、区画線検出部のブロック図である。図４は、内側位置、および外側位置の位置を示す模式図である。図５は、区画線検出処理を説明するフローチャートである。

以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置１の概要について説明する。図１Ａは、画像処理装置１の搭載例を示す図である。また、図１Ｂは、画像処理方法の概要を示す図である。なお、画像処理方法は、図１Ａ、および図１Ｂに示す画像処理装置１によって実行される。

図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載され、車載カメラ１０によって撮像されて得られた撮像データから駐車枠ＰＳを検出する。駐車枠ＰＳは、路面上に表示された白線などの区画線ＬＣに挟まれた領域であり、車両Ｃが駐車されるスペースである。

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。

なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラが含まれる。

ところで、画像処理装置１は、駐車枠ＰＳを検出するにあたり、車載カメラ１０によって撮影されて取得された画像データに基づいて、路面上に表示された白線などの区画線ＬＣを検出する。そして、画像処理装置１は、検出した区画線ＬＣの情報に基づいて駐車枠ＰＳを検出する。

具体的には、画像処理装置１は、まず、画像データにおける各画素の輝度値に基づいたエッジ点を繋いだエッジ線を抽出する。画像処理装置１は、エッジ線のうち、所定条件を満たすペアをペアエッジ線Ｌｐ（以下、区画線候補と称する。）として検出する。具体的には、画像処理装置１は、エッジ線のうち、互いに略平行であり、その間隔が区画線ＬＣの幅に応じた所定範囲に収まるエッジ線のペアを区画線候補Ｌｐとして検出する。すなわち、区画線候補Ｌｐは、白線などの区画線ＬＣの幅方向の左右両端に対応するエッジ線のペアである。

次に、画像処理装置１は、所定間隔をあけて平行配置される２組の区画線候補Ｌｐをそれぞれ区画線ＬＣとして検出する。具体的には、画像処理装置１は、区画線候補Ｌｐを形成するペアのエッジ線に挟まれた領域を区画線ＬＣとして検出する。所定間隔は、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。

そして、画像処理装置１は、所定間隔をあけて平行配置された２つの区画線ＬＣに基づいて駐車枠ＰＳを検出する。画像処理装置１は、２つの区画線ＬＣの内側のエッジ線で挟まれるスペースを、実際に車両Ｃを駐車可能な駐車枠ＰＳとして検出する。

しかしながら、区画線ＬＣを路面に描く際に使用された作業線が路面に残っている場合には、作業線と路面との境界にエッジ点が検出され、作業線によって生じるエッジ点を含むエッジ線が抽出される。作業線は、例えば、直線状の区画線ＬＣを描くための目安となる補助線であり、直線状に描かれる。

そのため、路面に作業線が残っている場合には、区画線ＬＣに対応するエッジ線Ｌｔと、作業線に対応するエッジ線Ｌｆとが連続して抽出されるおそれがある。区画線ＬＣに対応するエッジ線Ｌｔと、作業線に対応するエッジ線Ｌｆとが連続して抽出された場合には、作業線を含んだ区画線ＬＣが検出され、区画線ＬＣが誤検出される。すなわち、駐車枠ＰＳが誤検出される。

ここで、区画線ＬＣと、作業線とを比較すると、区画線ＬＣは、例えば、白色の塗料で塗りつぶされており、作業線に挟まれた領域は、白色の塗料で塗りつぶされていない点で違いがある。そこで、実施形態に係る画像処理装置１は、区画線ＬＣを検出する際に、このような違いに基づいて作業線に対応するエッジ線Ｌｆを区画線候補Ｌｐから除外し、区画線ＬＣを検出することとした。

具体的には、画像処理装置１は、図１Ｂに示すように、車載カメラ１０によって撮影されて取得された画像データに基づいて、エッジ線を抽出する（Ｓ１）。作業線が残っている場合には、画像データでは、区画線ＬＣに対応するエッジ線Ｌｔと、作業線に対応するエッジ線Ｌｆとが連続して抽出される。なお、図１Ｂでは、画像データのうち、区画線ＬＣの先端側の一部を示す。また、図１Ｂでは、説明のため区画線ＬＣをドットで示し、非塗りつぶし領域Ｒｎをハッチングで示し、内側領域Ｒ１を破線で囲んでいる。

画像処理装置１は、抽出したエッジ線に基づいて区画線候補Ｌｐを選択する（Ｓ２）。ここでは、エッジ線Ｌｔとエッジ線Ｌｆとは、直線上に連続して存在するため、エッジ線Ｌｔとエッジ線Ｌｆとは区別されずに、エッジ線Ｌｔと、エッジ線Ｌｆとを含むエッジ線が区画線候補Ｌｐとして選択される。

画像処理装置１は、区画線候補Ｌｐ間の領域である内側領域Ｒ１の輝度値と、区画線候補Ｌｐを形成するエッジ線に対して内側領域Ｒ１とは反対側の領域である外側領域Ｒ２の輝度値との輝度値差が予め設定された所定輝度値差（第１所定輝度値差、第２所定輝度値差）よりも小さい領域（以下、「非塗りつぶし領域Ｒｎ」と称する。）を形成するエッジ線を疑似エッジ線として抽出する（Ｓ３）。疑似エッジ線は、作業線に対応するエッジ線Ｌｆである。以下では、疑似エッジ線に「Ｌｆ」を付して説明する。

画像処理装置１は、区画線候補Ｌｐから疑似エッジ線Ｌｆを除外し（Ｓ４）、疑似エッジ線を除外した区画線候補Ｌｐに基づいて区画線ＬＣを検出する（Ｓ５）。これにより、画像処理装置１は、作業線に対応する疑似エッジ線Ｌｆを除外した区画線ＬＣを検出することができ、区画線ＬＣを正確に検出することができる。

次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ(Electronic Control Unit)５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。

センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１（抽出部の一例）と、不適領域判定部２２と、区画線候補検出部２３（選択部の一例）と、除外判定部２４と、区画線検出部２５と、駐車枠検出部２６と、駐車枠管理部２７と、停車位置決定部２８とを備える。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、区画線検出部２５、駐車枠検出部２６、駐車枠管理部２７および停車位置決定部２８として機能する。

また、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、区画線検出部２５、駐車枠検出部２６、駐車枠管理部２７および停車位置決定部２８の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、駐車枠ＰＳの検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。

線分抽出部２１は、車載カメラ１０から入力される画像データから各画素の輝度値に基づくエッジ点を抽出し、エッジ点を繋いだエッジ線を抽出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像データにグレースケース処理を行い、画像データをグレースケールの画像データに変換する。グレースケール処理は、画像データにおける各画素を輝度値に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

続いて、線分抽出部２１は、グレースケールの画像データに対して、例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求める。続いて、線分抽出部２１は、エッジ強度が予め設定された所定強度を超える画素を抽出することで、エッジ点を抽出し、隣接するエッジ点を繋ぐことで、エッジ線を抽出する。

線分抽出部２１は、エッジ点、およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。

不適領域判定部２２は、エッジ点、およびエッジ線に基づき、駐車枠ＰＳを区画する区画線ＬＣの検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。

具体的には、不適領域判定部２２は、各エッジ点の密度が予め設定された所定密度以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。

区画線候補検出部２３は、エッジ情報に基づいて駐車枠ＰＳを区画する区画線ＬＣの候補となる区画線候補Ｌｐをエッジ線から選択し、検出する。区画線候補検出部２３は、検出した区画線候補Ｌｐに関する情報を生成し、除外判定部２４へ通知する。

なお、区画線候補検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補Ｌｐの検出処理を行うことができる。言い換えれば、区画線候補検出部２３は、不適領域について区画線候補Ｌｐの検出処理を行わない。これにより、制御部２の処理負荷の抑えることが可能となる。

除外判定部２４は、区画線候補検出部２３によって検出された区画線候補Ｌｐに基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。

具体的には、ゼブラゾーンが、互いに略平行な区画線候補Ｌｐを区画線ＬＣと仮定した場合に、仮定した区画線ＬＣに対して傾斜した区画線候補Ｌｐが所定の間隔をあけて３本以上存在する場合に、仮定した区画線ＬＣに挟まれた領域を駐車不可領域と判定する。

また、除外判定部２４は、路面標識等の駐車枠ＰＳの検出に不要な区画線候補Ｌｐの有無を判定することも可能である。例えば、除外判定部２４は、区画線候補検出部２３によって検出された区画線候補Ｌｐと、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像データに含まれる各路面標識を検出することができる。

除外判定部２４は、区画線候補Ｌｐの情報から不要な区画線候補Ｌｐを除去するとともに、区画線候補Ｌｐの情報に駐車不可領域に関する情報を付与して、駐車枠検出部２６へ通知する。

区画線検出部２５は、区画線候補検出部２３によって検出された区画線候補Ｌｐに基づき、区画線ＬＣを検出する。区画線検出部２５については、後述する。なお、区画線検出部２５は、作業線に対応する疑似エッジ線Ｌｆが除外された区画線候補Ｌｐに基づいて区画線ＬＣを検出する。

駐車枠検出部２６は、区画線検出部２５によって検出された区画線ＬＣに基づき、駐車枠を検出する。なお、駐車枠検出部２６は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠ＰＳを検出することができる。

すなわち、駐車枠検出部２６は、ゼブラゾーン等を避けて駐車枠ＰＳを検出することができる。駐車枠検出部２６は、駐車枠ＰＳを検出すると、駐車枠ＰＳに関する駐車枠情報を駐車枠管理部２７へ通知する。また、駐車枠情報には、車両Ｃを基準とする各区画線ＬＣの頂点座標が含まれる。

駐車枠管理部２７は、駐車枠検出部２６によって検出された駐車枠ＰＳを時系列で管理する。駐車枠管理部２７は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線ＬＣの頂点座標を推定することができる。

また、駐車枠管理部２７は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線ＬＣの座標情報を更新することも可能である。すなわち、駐車枠管理部２７は、車両Ｃとの駐車枠ＰＳとの相対的な位置関係を車両Ｃの移動に伴って随時更新する。

また、駐車枠管理部２７は、複数の駐車枠ＰＳがそれぞれ連続して配置されると仮定して、駐車枠ＰＳの検出範囲を設定することも可能である。例えば、駐車枠管理部２７は、駐車枠検出部２６によって検出された１つの駐車枠ＰＳを基準とし、かかる駐車枠ＰＳと連続して複数の駐車枠ＰＳが存在すると仮定する。

そして、駐車枠管理部２７は、仮定した駐車枠ＰＳの位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２７によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑えることが可能となる。

停車位置決定部２８は、駐車枠情報、およびエッジ情報に基づき、車両Ｃが駐車枠ＰＳへ駐車する際の停車位置を決定する。例えば、停車位置決定部２８は、線分抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。

停車位置決定部２８は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁等を検出した場合、白線の手前に車両Ｃの後端(例えば、リアバンパの先端)がくるように停車位置を決定する。

次に、図３を用いて区画線検出部２５の構成例について説明する。図３は、区画線検出部２５のブロック図である。区画線検出部２５は、区画線候補Ｌｐに関する情報に基づいて区画線ＬＣを検出する。区画線検出部２５は、区画線候補Ｌｐから作業線に対応する疑似エッジ線Ｌｆを除外し、区画線ＬＣを検出する。

区画線検出部２５は、設定部４０と、算出部４１と、判定部４２と、抽出部４３と、除外部４４と、検出部４５とを備える。

設定部４０は、区画線候補Ｌｐ間の領域である内側領域Ｒ１に内側位置ＲＡを設定し、区画線候補Ｌｐを形成するエッジ線に対して内側領域Ｒ１とは反対側の領域である外側領域Ｒ２に外側位置ＲＢ，ＲＣを設定する。

設定部４０は、区画線候補Ｌｐに直交する直線上に内側位置ＲＡ、および外側位置ＲＢ，ＲＣを設定する。設定部４０は、区画線候補Ｌｐに直交する直線を所定間隔で車両Ｃ側から移動させながら、内側位置ＲＡ、および外側位置ＲＢ，ＲＣを設定する。所定間隔は、予め設定された間隔であり、例えば、数ピクセルである。

設定部４０は、内側位置ＲＡが非塗りつぶし領域Ｒｎ外となるまで、区画線候補Ｌｐに直交する直線の位置を所定間隔で車両Ｃとは反対側に移動させ、内側位置ＲＡ、および外側位置ＲＢ，ＲＣを設定する。

設定部４０は、内側位置ＲＡを区画線候補Ｌｐ間の中間位置に設定する。設定部４０は、内側領域Ｒ１を挟んだ２つの外側領域Ｒ２のうち、一方の外側領域Ｒ２に外側位置ＲＢを設定し、他方の外側領域Ｒ２に外側位置ＲＣを設定する。

設定部４０は、内側領域Ｒ１から所定距離離れた位置に外側位置ＲＢ，ＲＣを設定する。所定距離は、予め設定された距離であり、例えば、区画線候補Ｌｐ間の距離（区画線候補Ｌｐの幅）の１／２の距離である。

ここで、内側位置ＲＡ、および外側位置ＲＢ，ＲＣの設定方法について図４を参照し説明する。図４は、内側位置ＲＡ、および外側位置ＲＢ，ＲＣの位置を示す模式図である。なお、図４では、説明のため実際の区画線ＬＣをドットで示し、非塗りつぶし領域Ｒｎをハッチングで示し、内側領域Ｒ１を破線で囲んでいる。

設定部４０は、区画線候補Ｌｐに直交する直線の初期位置を、区画線候補Ｌｐを形成する２つのエッジ線に交差し、かつ最も車両Ｃに近い位置Ｓ１に設定し、直線上に内側位置ＲＡ、および外側位置ＲＢ，ＲＣを設定する。

位置Ｓ１では、内側位置ＲＡは、非塗りつぶし領域Ｒｎ内である。そのため、設定部４０は、位置Ｓ１に対し、所定間隔で車両Ｃとは反対側に移動させた位置Ｓ２に直線を設定し、新たな直線上に内側位置ＲＡ、および外側位置ＲＢ，ＲＣを設定する。

位置Ｓ２では、内側位置ＲＡは、非塗りつぶし領域Ｒｎ内である。そのため、設定部４０は、位置Ｓ２に対し、所定間隔で車両Ｃとは反対側に移動させた位置Ｓ３に直線を設定し、新たな直線上に内側位置ＲＡ、および外側位置ＲＢ，ＲＣを設定する。

位置Ｓ３では、内側位置ＲＡは、非塗りつぶし領域Ｒｎ外である。この場合、設定部４０は、新たな内側位置ＲＡ、および外側位置ＲＢ，ＲＣの設定を終了する。

図３に戻り、算出部４１は、区画線候補Ｌｐを形成するエッジ線におけるエッジスコアを算出する。エッジスコアは、区画線候補Ｌｐを形成するエッジ線における各エッジ点の輝度値の平均値である。算出部４１は、区画線候補Ｌｐを形成する２本のエッジ線毎にエッジスコアを算出する。

また、算出部４１は、内側位置ＲＡにおける輝度値と、外側位置ＲＢ，ＲＣにおける輝度値との輝度値差を算出する。具体的には、算出部４１は、内側位置ＲＡにおける輝度値と、外側位置ＲＢにおける輝度値との輝度値差（以下、「第１輝度値差」と称する。）、および内側位置ＲＡにおける輝度値と、外側位置ＲＣにおける輝度値との輝度値差（以下、「第２輝度値差」と称する。）を算出する。なお、輝度値差は、絶対値である。

判定部４２は、算出された輝度値差に基づいて内側位置ＲＡが非塗りつぶし領域Ｒｎ内であるか否かを判定する。具体的には、判定部４２は、第１輝度値差が第１所定輝度値差よりも小さい場合、または第２輝度値差が第２所定輝度値差よりも小さい場合には、内側位置ＲＡが非塗りつぶし領域Ｒｎ内であると判定する。判定部４２は、第１輝度値差が第１所定輝度値差以上であり、かつ第２輝度値差が第２所定輝度値差以上である場合には、内側位置ＲＡが非塗りつぶし領域Ｒｎ外であると判定する。

第１所定輝度値差は、内側位置ＲＡと外側位置ＲＢとの間に存在し、区画線候補Ｌｐを形成するエッジ線におけるエッジスコアである。第２所定輝度値差は、内側位置ＲＡと外側位置ＲＣとの間に存在し、区画線候補Ｌｐを形成するエッジ線におけるエッジスコアである。

判定部４２は、内側位置ＲＡが非塗りつぶし領域Ｒｎ外となった場合には、区画線候補Ｌｐを形成するエッジ線のうち、内側位置ＲＡ、および外側位置ＲＢ，ＲＣが設定された直線よりも車両Ｃ側に存在するエッジ線を、疑似エッジ線Ｌｆであると判定する。

すなわち、判定部４２は、前回の処理で内側位置ＲＡが非塗りつぶし領域Ｒｎ内であると判定し、今回の処理で内側位置ＲＡが非塗りつぶし領域Ｒｎ外であると判定した場合に、今回の処理における内側位置ＲＡを含む直線よりも車両Ｃ側に存在する区画線候補Ｌｐのエッジ線を、疑似エッジ線Ｌｆであると判定する。

抽出部４３は、疑似エッジ線Ｌｆを、区画線候補Ｌｐのエッジ線から抽出する。抽出部４３は、今回の処理で内側位置ＲＡが非塗りつぶし領域Ｒｎ外であると判定した場合に、今回の処理における内側位置ＲＡを含む直線よりも車両Ｃ側に存在する区画線候補Ｌｐのエッジ線を疑似エッジ線Ｌｆとして抽出する。これにより、抽出部４３は、作業線に対応するエッジ線を確実に疑似エッジ線Ｌｆとして抽出することができる。

除外部４４は、抽出された疑似エッジ線Ｌｆを区画線候補Ｌｐのエッジ線から除外する。すなわち、除外部４４は、内側位置ＲＡの輝度値と、外側位置ＲＢ，ＲＣの輝度値との輝度値差が所定輝度値差よりも小さい非塗りつぶし領域Ｒｎを形成する疑似エッジ線Ｌｆを区画線候補Ｌｐのエッジ線から除外する。具体的には、除外部４４は、第１輝度値差が第１所定輝度値差よりも小さい、または第２輝度値差が第２所定輝度値差よりも小さい非塗りつぶし領域Ｒｎを形成する疑似エッジ線Ｌｆを区画線候補Ｌｐのエッジ線から除外する。これにより、除外部４４は、区画線候補Ｌｐを形成するエッジ線から作業線に対応するエッジ線Ｌｆを除外することができる。

検出部４５は、除外部４４によって除外されなかった区画線候補Ｌｐに基づいて区画線ＬＣを検出する。

このように、区画線検出部２５は、作業線に対応するエッジ線Ｌｆを疑似エッジ線Ｌｆとして抽出し、疑似エッジ線Ｌｆを除去した区画線候補Ｌｐに基づいて区画線ＬＣを抽出する。そのため、区画線検出部２５は、作業線を除去した区画線ＬＣを検出することができ、区画線ＬＣを正確に検出することができる。

次に、実施形態に係る区画線検出処理について図５を参照し説明する。図５は、区画線検出処理を説明するフローチャートである。なお、ここでは、区画線候補Ｌｐが選択されているものとする。

画像処理装置１は、区画線候補Ｌｐを形成する各エッジ線におけるエッジスコアをそれぞれ算出する（Ｓ１００）。すなわち、画像処理装置１は、閾値としての第１所定輝度値差、および第２所定輝度値差を算出する。

画像処理装置１は、内側位置ＲＡ、および外側位置ＲＢ，ＲＣを設定する（Ｓ１０１）。具体的には、画像処理装置１は、区画線候補Ｌｐに直交する直線上に内側位置ＲＡ、および外側位置ＲＢ，ＲＣを設定する。なお、画像処理装置１は、処理が戻ってきた場合には、区画線候補Ｌｐに直交する直線を所定間隔で車両Ｃとは反対側にずらして、新たに内側位置ＲＡ、および外側位置ＲＢ，ＲＣを設定する。

画像処理装置１は、内側位置ＲＡの輝度値と、外側位置ＲＢの輝度値との第１輝度値差、および内側位置ＲＡと、外側位置ＲＣの輝度値との第２輝度値差を算出する（Ｓ１０２）。

画像処理装置１は、内側位置ＲＡが非塗りつぶし領域Ｒｎ内であるか否かを判定する（Ｓ１０３）。

画像処理装置１は、内側位置ＲＡが非塗りつぶし領域Ｒｎ外である場合には（Ｓ１０３：Ｎｏ）、疑似エッジ線Ｌｆを抽出する（Ｓ１０４）。具体的には、画像処理装置１は、内側位置ＲＡが非塗りつぶし領域Ｒｎ外となった場合に、今回の処理の内側位置ＲＡを含む直線よりも車両Ｃ側に存在する区画線候補Ｌｐのエッジ線を疑似エッジ線Ｌｆとして抽出する。

画像処理装置１は、区画線候補Ｌｐを形成するエッジ線から疑似エッジ線Ｌｆを除外し（Ｓ１０５）、疑似エッジ線Ｌｆを除外した区画線候補Ｌｐに基づいて区画線ＬＣを検出する（Ｓ１０６）。

画像処理装置１は、内側位置ＲＡが非塗りつぶし領域Ｒｎ内である場合には（Ｓ１０３：Ｙｅｓ）、内側位置ＲＡ、および外側位置ＲＢ，ＲＣを新たに設定し（Ｓ１０１）、上記処理を継続する。

画像処理装置１は、区画線候補Ｌｐ間が非塗りつぶし領域Ｒｎである場合に、非塗りつぶし領域Ｒｎを形成する疑似エッジ線Ｌｆを区画線候補Ｌｐから除外する。そして、画像処理装置１は、疑似エッジ線Ｌｆが除外された区画線候補Ｌｐに基づいて区画線ＬＣを検出する。

これにより、画像処理装置１は、作業線に対応する疑似エッジ線Ｌｆを除外した状態で、区画線ＬＣを検出することができる。そのため、画像処理装置１は、区画線ＬＣを正確に検出することができる。

画像処理装置１は、疑似エッジ線Ｌｆが除外された区画線ＬＣに基づいて駐車枠ＰＳを検出し、駐車枠に基づいて車両Ｃの停車位置を決定する。

これにより、画像処理装置１は、車両Ｃの停車位置を正確に決定することができる。

画像処理装置１は、内側位置ＲＡの輝度値と、外側位置ＲＢ，ＲＣの輝度値との輝度値差が所定輝度値差よりも小さい非塗りつぶし領域Ｒｎを形成する疑似エッジ線Ｌｆを区画線候補Ｌｐのエッジ線から除外する。

これにより、画像処理装置１は、作業線に対応する疑似エッジ線Ｌｆを、区画線候補Ｌｐから除外し、区画線ＬＣを正確に検出することができる。

画像処理装置１は、内側位置ＲＡの輝度値と、外側位置ＲＢの輝度値との第１輝度値差が第１所定輝度値差よりも小さい、または内側位置ＲＡの輝度値と、外側位置ＲＣの輝度値との第２輝度値差が第２所定輝度値差よりも小さい非塗りつぶし領域Ｒｎを形成する疑似エッジ線Ｌｆを区画線候補Ｌｐから除外する。

これにより、画像処理装置１は、内側位置ＲＡを挟んだ２つの外側位置ＲＢ，ＲＣのうち、一方の外側位置における輝度値を検出できなかった場合であっても、非塗りつぶし領域Ｒｎを形成する疑似エッジ線Ｌｆを区画線候補Ｌｐから除外することができ、区画線ＬＣを正確に検出することができる。

画像処理装置１は、例えば、内側位置ＲＡの輝度値と、外側位置ＲＢの輝度値との第１輝度値差が第１所定輝度値差以上となった場合に、輝度値を算出した内側位置ＲＡよりも車両Ｃ側に存在する区画線候補Ｌｐのエッジ線を疑似エッジ線Ｌｆとして区画線候補Ｌｐから除外する。

これにより、画像処理装置１は、作業線に対応する疑似エッジ線Ｌｆを区画線候補Ｌｐから除外し、区画線ＬＣを正確に検出することができる。

次に、変形例に係る画像処理装置１について説明する。

変形例に係る画像処理装置１は、内側位置ＲＡが非塗りつぶし領域Ｒｎ外になった場合に、前回の処理において非塗りつぶし領域Ｒｎ内であると判定された内側位置ＲＡを含む直線よりも車両Ｃ側に存在する区画線候補Ｌｐのエッジ線を疑似エッジ線Ｌｆとして抽出してもよい。例えば、変形例に係る画像処理装置１は、図４において、位置Ｓ２の直線よりも車両Ｃ側に存在する区画線候補Ｌｐのエッジ線を疑似エッジ線Ｌｆとして抽出してもよい。

これにより、変形例に係る画像処理装置１は、作業線に対応するエッジ線Ｌｆの少なくとも一部を区画線候補Ｌｐから除外することができる。

変形例に係る画像処理装置１は、内側位置ＲＡが非塗りつぶし領域Ｒｎ外となった場合に、区画線候補Ｌｐに直交する直線の位置を車両Ｃ側に戻して、内側位置ＲＡが非塗りつぶし領域Ｒｎ内であるか否かを判定してもよい。

具体的には、変形例に係る画像処理装置１は、内側位置ＲＡが非塗りつぶし領域Ｒｎ外となった場合に、今回の処理における直線の位置と、前回の処理における直線の位置との間に、区画線候補Ｌｐに直交する直線を新たに設定し、内側位置ＲＡ、および外側位置ＲＢ，ＲＣを設定する。例えば、変形例に係る画像処理装置１は、所定間隔よりも短い間隔で区画線候補Ｌｐに直交する直線をずらしながら、処理を継続する。

これにより、変形例に係る画像処理装置１は、区画線ＬＣと作業線との境界に近い箇所から疑似エッジ線Ｌｆを抽出することができ、疑似エッジ線Ｌｆを正確に抽出することができる。そのため、変形例に係る画像処理装置１は、区画線ＬＣを正確に検出することができる。

また、変形例に係る画像処理装置１は、疑似エッジ線Ｌｆが抽出された場合に、疑似エッジ線Ｌｆの情報を時系列で管理してもよい。例えば、疑似エッジ線Ｌｆの情報は、駐車枠ＰＳとともに、駐車枠管理部２７（管理部の一例）によって時系列で管理される。例えば、疑似エッジ線Ｌｆの情報は、頂点座標として管理される。

変形例に係る画像処理装置１は、管理した疑似エッジ線Ｌｆに関する情報に基づいて新たに取得された画像データから抽出される区画線候補Ｌｐから疑似エッジ線Ｌｆを除去してもよい。具体的には、変形例に係る画像処理装置１は、新たに取得された画像データから抽出される区画線候補Ｌｐの中で、管理された疑似エッジ線Ｌｆに対応するエッジ線を除去し、区画線ＬＣを検出する。

例えば、一方の外側領域Ｒ２が建物の影により路面が暗くなっており、他方の外側領域Ｒ２が車両Ｃの影により一時的に路面が暗くなっており、かつ内側領域Ｒ１が２つの影の影響を受けずに明るくなっている場合には、非塗りつぶし領域Ｒｎの内側位置ＲＡの輝度値と、外側位置ＲＢ、ＲＣの輝度値との輝度値差が大きくなる。そのため、このような場合には、新たに取得された画像データの区画線候補Ｌｐから疑似エッジ線Ｌｆを除去できないおそれがある。

これに対し、変形例に係る画像処理装置１は、疑似エッジ線Ｌｆの情報を時系列で管理し、管理した疑似エッジ線Ｌｆの情報に基づき、新たに取得された画像データの区画線候補Ｌｐから疑似エッジ線Ｌｆを除去することができる。例えば、変形例に係る画像処理装置１は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の疑似エッジ線Ｌｆの情報に基づく実際の疑似エッジ線Ｌｆの頂点座標を推定する。そして、変形例に係る画像処理装置１は、推定した疑似エッジ線Ｌｆの頂点座標に基づいて、新たに取得された画像データの区画線候補Ｌｐから疑似エッジ線Ｌｆを除去する。

これにより、変形例に係る画像処理装置１は、新たに取得された画像データにおいて疑似エッジ線Ｌｆを除去することができる。

また、変形例に係る画像処理装置１は、第１輝度値差が第１所定輝度値差よりも小さく、かつ第２輝度値差が第２所定輝度値差よりも小さい場合に、内側位置ＲＡが非塗りつぶし領域Ｒｎ内であると判定してもよい。

また、変形例に係る画像処理装置１は、外側位置ＲＢ，ＲＣのうち、一方の外側位置の輝度値と、内側位置ＲＡの輝度値との輝度値差を用いて、内側位置ＲＡが非塗りつぶし領域Ｒｎ内であるか否かを判定してもよい。

すなわち、画像処理装置１は、内側位置ＲＡの輝度値と、外側位置ＲＢ，ＲＣの輝度値との輝度値差が所定輝度値差（第１輝度値差、第２輝度値差）よりも小さい非塗りつぶし領域Ｒｎを形成するエッジ線を疑似エッジ線Ｌｆとして区画線候補Ｌｐから除外すればよい。

なお、疑似エッジ線Ｌｆを区画線候補Ｌｐから除外する処理は、区画線候補検出部２３で実行されてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１画像処理装置
２１線分抽出部（抽出部）
２３区画線候補検出部（選択部）
２５区画線検出部
２７駐車枠管理部（管理部）
２８停車位置決定部
４０設定部
４１算出部
４２判定部
４４除外部
４５検出部
ＬＣ区画線
Ｌｆ疑似エッジ線
Ｌｐ区画線候補（ペアエッジ線）
ＰＳ駐車枠

Claims

車両の周囲を撮影する撮像装置によって得られた画像データに基づいてエッジ線を抽出する抽出部と、
前記抽出された前記エッジ線から所定条件を満たす前記エッジ線をペアエッジ線として選択する選択部と、
前記ペアエッジ線間が塗りつぶされていない非塗りつぶし領域である場合に、前記非塗りつぶし領域を形成する疑似エッジ線を前記ペアエッジ線から除外する除外部と
前記疑似エッジ線が除外された前記ペアエッジ線に基づいて駐車枠を区画する区画線を検出する検出部と
を備えることを特徴とする画像処理装置。
前記検出部によって検出された前記区画線に基づいて前記駐車枠を検出する駐車枠検出部と、
前記駐車枠に基づいて前記車両の停車位置を決定する停車位置決定部と
を備えることを特徴とする請求項１に記載の画像処理装置。
前記ペアエッジ線間の内側位置における輝度値と、前記ペアエッジ線に対して前記内側位置とは反対側の外側位置における輝度値との輝度値差を算出する算出部
を備え、
前記除外部は、
前記輝度値差が所定輝度値差よりも小さい前記非塗りつぶし領域を形成する前記疑似エッジ線を前記ペアエッジ線から除外する
ことを特徴とする請求項１または２に記載の画像処理装置。
前記除外部は、
前記内側位置の輝度値と、前記内側位置を挟んだ２つの前記外側位置のうち、一方の外側位置の輝度値との輝度値差が前記所定輝度値差よりも小さい前記非塗りつぶし領域を形成する前記疑似エッジ線を前記ペアエッジ線から除外する
ことを特徴とする請求項３に記載の画像処理装置。
前記除外部は、
前記輝度値差が前記所定輝度値差以上となった場合に、前記輝度値を算出した前記内側位置よりも前記車両側に存在する前記ペアエッジ線の前記エッジ線を、前記非塗りつぶし領域を形成する前記疑似エッジ線として前記ペアエッジ線から除外する
ことを特徴とする請求項３または４に記載の画像処理装置。
前記算出部は、
前記輝度値差が前記所定輝度値差以上となった場合に、今回の処理で輝度値を算出した前記内側位置と、前回の処理で輝度値を算出した前記内側位置との間で前記輝度値差を新たに算出する
ことを特徴とする請求項３～５のいずれか一つに記載の画像処理装置。
前記疑似エッジ線の情報を時系列で管理する管理部
を備え、
前記検出部は、
前記管理された前記疑似エッジ線の情報を用いて前記区画線を検出する
ことを特徴とする請求項１～６のいずれか一つに記載の画像処理装置。
車両の周囲を撮影する撮像装置によって得られた画像データに基づいてエッジ線を抽出する抽出工程と、
前記抽出された前記エッジ線から所定条件を満たす前記エッジ線をペアエッジ線として選択する選択工程と、
前記ペアエッジ線間が塗りつぶされていない非塗りつぶし領域である場合に、前記非塗りつぶし領域を形成する疑似エッジ線を前記ペアエッジ線から除外する除外工程と
前記疑似エッジ線が除外された前記ペアエッジ線に基づいて駐車枠を区画する区画線を検出する検出工程と
を含むことを特徴とする画像処理方法。