JP4322913B2

JP4322913B2 - 画像認識装置、画像認識方法および電子制御装置

Info

Publication number: JP4322913B2
Application number: JP2006341890A
Authority: JP
Inventors: 裕明佐野; 克己阪田
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2006-12-19
Filing date: 2006-12-19
Publication date: 2009-09-02
Anticipated expiration: 2026-12-19
Also published as: US20080144888A1; JP2008152672A; US8090147B2

Description

この発明は、入力画像から特定の物体を認識する画像認識装置、画像認識方法および電子制御装置に関し、特に歩行者を認識する車載用の画像認識装置、画像認識方法および電子制御装置に関する。

車両の走行中においては、特に歩行者との衝突回避が重要である。そこで近年、画像認識やレーダ検知を用いて自車両周辺の歩行者を認識する技術が考案されてきた（例えば、特許文献１参照。）。

ここで、歩行者との衝突を回避するためには、歩行者の存在の認識と共に、自車両に対する相対位置の特定が重要である。そのため、例えば特許文献２が開示するようにステレオカメラを用いることで歩行者との距離を算定する技術も開示されている。

特開２００２−３６２３０２号公報特開２００５−６２９１０号公報

しかしながら、ステレオカメラのように複数のカメラを搭載すると構成が複雑化し、コストが上昇し、また複数のカメラから画像をそれぞれ処理するために高性能な処理ユニットとなるという問題点があった。

そのため、単一のカメラ画像から歩行者の自車両に対する相対位置を高精度に求めることのできる技術の実現が重要な課題でとなっていた。

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、単一の入力画像から対象物の相対位置を高精度に認識可能な画像認識装置、画像認識方法および電子制御装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る画像認識装置、画像認識方法および電子制御装置は、入力画像に対して、判定対象である物体の画像内での大きさに対応した形状の探索窓を所定画素数分ずつずらしながら移動させ、該探索窓内の画像と基準パターンとを順次比較し、前記探索窓内の画像と基準パターンとの一致度を取得する。そして、一致度が所定値以上の領域の幅が探索窓の幅に対応する場合に当該領域に前記基準パターンに対応する物体が存在すると判定することを特徴とする。

本発明によれば画像認識装置、画像認識方法および電子制御装置は、入力画像に対して、判定対象である物体の画像内での大きさに対応した形状の探索窓を所定画素数分ずつずらしながら移動させ、該探索窓内の画像と基準パターンとを順次比較して探索窓内の画像と基準パターンとの一致度を取得し、一致度が所定値以上の領域の幅が探索窓の幅に対応する場合にその領域に認識対象物体が存在すると判定するので、画像内における対象物の像の位置を精度よく認識し、もって対象物の相対位置を高精度に認識可能な画像認識装置、画像認識方法および電子制御装置を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明に係る画像認識装置、画像認識方法および電子制御装置について詳細に説明する。

１．本発明の概要
本発明は、画像内から所定の物体を認識する画像認識装置、画像認識方法および電子制御装置であり、例えば車載のカメラが撮影した画像から歩行者を認識する場合に好適である。

画像認識では、認識対象である物体の基準パターンを用意し、画像内の所定領域と基準パターンとの比較によってその領域に認識対象である物体が存在するか否かを判定する。基準パターンは認識対象の物体の像に特徴的なパターンであり、例えば歩行者を認識対象とする場合には歩行者を撮影した画像群から特徴を抽出することで基準パターンを得ることができる。

なお、基準パターンとの比較においては、画像内の領域を直接基準パターンと比較する単純なパターンマッチングを用いても良いが、画像内の領域をフーリエ変換など用いて周波数変換して比較する、など任意の技術を適用することが可能である。

車載カメラ画像から歩行者を認識する場合の処理手順について図１を参照して説明する。まず、車載カメラが撮影した入力画像に対して所定形状の探索窓を移動させながら探索窓内の画像と基準パターンとを順次比較し、探索窓内の画像と基準パターンとの一致度の推移を取得する。そして一致度の推移において、一致度が高い領域の幅が所定範囲内である場合に当該領域に歩行者が存在すると判定する。

図１では、探索窓Ｆ１を画像の左下端から右方向に移動させて一致度の推移を取得し、一致度が閾値Ｔｈ１以上である領域の幅を用いて歩行者が存在するか否かを判定している。

一般的なパターンマッチングなどでは、一致度のピーク点（例えば図１ではピークＰ１１）に歩行者が存在すると判定するが、本発明では、一致度が高い領域の幅に基づいて判定を行なう点に主たる特徴がある。

例えば、図１の例では、一致度が閾値Ｔｈ１を超える領域として３つの領域が現れており、それぞれの幅はＷ１１，Ｗ１２，Ｗ１３である。本発明では、幅の大きさが所定範囲内である場合に、その領域に判定対象である物体が存在すると判定する。ここで所定範囲とは、判定対象である物体の画像内での大きさに対応する。

すなわち、歩行者を認識する場合には、一致度が高い領域の幅が歩行者の画像内の像の幅と同程度である場合に、その領域に歩行者が存在すると判定することとなる。

ところで、探索窓の形状については、認識対象である物体の画像内の像の大きさと同程度の大きさの矩形とすることがすでに行なわれている。そこで、本実施例では、一致度が高い領域の幅を探索窓の形状（大きさ）と比較し、領域の幅がたとえば探索窓の幅を基準に誤差１０％以内に収まった場合に、その領域に認識対象の物体が存在すると判定する。

図１の例では、幅Ｗ１１の領域は探索窓Ｆ１の横幅に比して大きすぎるので歩行者ではないと判定する。同様に、幅Ｗ１２の領域は探索窓Ｆ１の横幅に比して小さすぎるので歩行者ではないと判定する。そして幅Ｗ１３の領域は探索窓Ｆ１の横幅と同程度であるので、幅Ｗ１３の領域に歩行者の像が存在すると判定する。

また、このときの歩行者の存在する位置は、幅Ｗ１３の領域であると判定する。探索窓を移動させながら一致度のピークを探索すると、例えば幅Ｗ１３の領域内であっても最も一致度の高いピーク値は必ずしも歩行者像の中央部に出るとは限らない。そのため、例えば図１に示す様に歩行者像の中央から外れたピークＰ１３ａを基点に歩行者像の位置を判定すると、歩行者像の位置が現実の位置からずれる。

単一の車載カメラで撮影した入力画像から自車両に対する歩行者の相対位置を算定する場合、歩行者像が画像内のどの位置を占めるかが重要であるので、上述したように一致度のピーク値を基点に歩行者像の位置を求める方法に比して精度の良好な、一致度の高い領域の幅によって歩行者像の位置を求める方法を用いることで、自車両に対する歩行者の相対位置を精度良く算定することが可能となる。

なお、一致度の高い領域の幅をどのように求めるかについては、一致度が閾値を超える点の数と、その連続性から求めることができる。連続性については、一致度が閾値を超えてから次に閾値以下となるまでの点の数としてもよい。しかし、例えば図１で閾値Ｔｈ１ａを用いた場合のように、偶発的な一致度の低下で閾値を割り込む可能性があるので、ある区間で閾値を超える率を考慮するなど、柔軟な連続性判断を行なうことが好適である。

また、かならずしも閾値を用いる必要は無く例えば、一致度の値と連続性を乗算した面積値によって歩行者の存在する領域を判定することもできる。

さて、縦方向における歩行者の位置の判定についても横方向と同様であるが、画像内で高い位置にある歩行者像は、自車両から遠い位置にいる歩行者の像であるので、像の大きさ、そして像を見つけるための探索窓の大きさが小さくなることに留意が必要である。

図１では、左下端の探索窓Ｆ１に比して、左中央の探索窓Ｆ２は小さくなっており、一致度の縦方向の推移から歩行者の位置を判定する場合には、高さに応じて小さくなった探索窓の高さ方向の幅を基準とする。

例えば、同図では、縦方向の一致度の推移において、一致度が高い領域として幅Ｗ２１の領域と幅Ｗ２２の領域が得られており、幅Ｗ２１の値と幅Ｗ２２の値は略同じである。しかし、その画像内での高さを考慮すると、幅Ｗ２１はその高さでの探索窓の縦方向の幅と略同一であるが、幅Ｗ２２はその高さでの探索窓の縦方向の幅に比して大きすぎる。そのため、同図の例では、幅Ｗ２１の領域に歩行者像が存在し、幅Ｗ２２の領域には歩行者像は存在しないと判定する。

２．概要構成
図２に、本発明の実施例である車載用の画像認識装置１０の概要構成図を示す。同図に示すように、車両に搭載された画像認識装置１０は、ナビゲーション装置３０、カメラ３１、レーダ３３およびプリクラッシュＥＣＵ４０と接続している。

ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）人工衛星と通信して特定した自車両の位置と、予め記憶した地図データ３０ａとを利用して走行経路の設定および誘導を行なう車載装置である。また、ナビゲーション装置３０は、画像認識装置１０に対して自車両の位置情報や周辺の地図情報、走行予定経路などを提供する。

カメラ３１は、自車両周辺を撮影し、撮影結果を画像認識装置１０に入力する。レーダ３３は、自車両の周辺の物体検知、および物体までの距離測定を行なって画像認識装置１０に入力する。

プリクラッシュＥＣＵ４０は、画像認識装置１０が自車両の衝突を予測した場合に、画像認識装置１０の制御をうけ、ブレーキ４１やエンジン制御装置（ＥＦＩ）４２による車両の動作制御、またディスプレイ４３やスピーカ４４による通知を実行する電子制御装置である。

ディスプレイ４３はユーザ、すなわち自車両乗員に対して表示による通知を行なう出力手段であり、スピーカ４４は音声による通知を行なう出力手段である。ディスプレイ４３およびスピーカ４４は、プリクラッシュＥＣＵ４０からの制御を受けて出力を行なう他、ナビゲーション装置３０や図示しない車載オーディオ装置など各種車載装置で共用することができる。

画像認識装置１０は、その内部に前処理部１１、車両認識部１６、白線認識部１７、歩行者認識部１８、パターンデータベース１９および衝突判定部２０を有する。ここで、車両認識部１６、白線認識部１７、歩行者認識部１８および衝突判定部２０は、例えば単一のマイコン１０ａ（ＣＰＵ、ＲＯＭ、ＲＡＭの組み合わせからなる演算処理ユニット）などによって実現することが好適である。

前処理部１１は、カメラ３１が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、車両認識部１６、白線認識部１７および歩行者認識部１８に出力する。

車両認識部１６は、前処理部１１が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部２０に出力する。また、白線認識部１７は、前処理部１１が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を衝突判定部２０に出力する。

歩行者認識部１８は、前処理部１１が出力した画像（入力画像）から歩行者像を認識する処理部であり、その内部に候補領域検出部１８ａ、パターン比較部１８ｂ、探索窓設定部１８ｃ、幅判定部１８ｄを有する。

候補領域検出部１８ａは、例えば図３に示す様に、前処理部１１が出力した画像から歩行者が存在する可能性のある領域を歩行者候補領域として検出し、パターン比較部１８ｂに出力する。

この歩行者候補領域の検出は、例えばニューラルネットワークシステムや任意の特徴量算出アルゴリズムを用いて行なえばよい。図３に示した例では、画像内から３つの候補領域Ａ１〜Ａ３が検知されている。

パターン比較部１８ｂは、この歩行者候補領域に対して基準パターンとの比較を実行する。このように、予めパターン比較を行なう領域を絞り込んでおくことで、入力画像全体に対して基準パターンとの比較を行なう場合に比して処理負荷を軽減することができる。

パターン比較部１８ｂは、選択された歩行者候補領域について、探索窓を移動させつつ基準パターンとの比較を行なって一致度の推移を取得する。この時、探索窓の大きさは、歩行者候補領域の画像内の位置と、歩行者候補領域内における探索窓の位置に基づいて、探索窓設定部１８ｃが設定する。

また、パターン比較部１８ｂは、使用する基準パターンはパターンデータベース１９から読み出す。ここで、パターンデータベース１９に探索窓の大きさ毎に異なる基準パターンを他苦悩しているならば、使用する探索窓の大きさに適合する基準パターンを選択して読み出す。また、パターンデータベース１９に正規化した基準パターンを格納している場合には、探索窓の大きさに適合するよう正規化された基準パターンを拡大・縮小して使用する。

幅判定部１８ｄは、パターン比較部１８ｂが取得した一致度の推移から、探索窓の縦横幅と同程度の縦横幅を持つ領域が存在するならば、その領域に歩行者がいると判定する。

衝突判定部２０は、車両認識部１６、白線認識部１７、歩行者認識部１８による認識結果、レーダ３３による検知結果およびナビゲーション装置３０が出力する位置情報を用いて、歩行者や他車両と自車両との衝突危険度を判定する。

具体的には衝突判定部２０は、歩行者や他車両との衝突が発生する確率、衝突する時間、衝突する位置までの距離、衝突する角度などを判定し、その判定結果に基づいてディスプレイ４３に対する情報表示指示、スピーカ４４に対する警告音声出力指示、ブレーキ制御指示やＥＦＩ制御指示などをプリクラッシュＥＣＵ４０に対して出力する。

つづいて、図４を参照し、図２に示した画像認識装置１０全体の処理動作について説明する。同図に示す処理フローは、電源スイッチ（イグニッションスイッチなどと連動していてもよい）がオンされ、カメラ３１が画像を撮影した場合に開始され、画像フレームの処理ごと（例えば数ｍｓｅｃごと）に繰り返し実行される処理である。

まず、画像認識装置１０は、カメラ３１が撮影した画像に対して前処理部１１によるフィルタリング、エッジ検出、輪郭抽出などの処理を施す（ステップＳ１０１）。つぎに、白線認識部１６による白線認識処理（ステップＳ１０２）および車両認識部１６による車両認識処理（ステップＳ１０３）を実行する。

その後、歩行者認識部１８が歩行者認識を実行し（ステップＳ１０４）、衝突判定部２０が衝突判定を行なって（ステップＳ１０５）、判定結果をプリクラッシュＥＣＵ４０に出力し（ステップＳ１０６）、処理を終了する。

ここで、ステップＳ１０４として示した歩行者認識処理部１８の具体的な処理内容を図５に示す。同図に示すように、まず、候補領域検出部１８ａが入力画像から歩行者候補領域を検出し（ステップＳ２０１）、パターン比較部１８ｂが歩行者候補領域に対してパターンマッチングを行なう（ステップＳ２０２）。

そして、幅判定部１８ｄは、パターンマッチングの結果得られた一致度の高い領域についてその幅を求め（ステップＳ２０３）、探索窓と同程度の幅を有する領域が存在するか否かを判定する（ステップＳ２０４）。

その結果、探索窓と同程度の幅を有する領域が存在するならば（ステップＳ２０４，Ｙｅｓ）、その領域の位置を歩行者の位置と判定して（ステップＳ２０５）、処理を終了する。一方、探索窓と同程度の幅を有する領域が存在しなければ（ステップＳ２０４，Ｎｏ）、幅判定部１８ｄは歩行者無しと判定して（ステップＳ２０６）、処理を終了する。

なお、一致度の推移の取得は縦方向と横方向のいずれか一方のみでも良い。例えば、画像内の高さと探索窓の大きさを変更しつつ、横方向へのスキャンを繰り返せば、その基準パターンに最も合致する上下左右の位置で、探索窓と同程度の横方向の幅を有する領域が得られ、この位置が左右方向、高さ方向ともに歩行者の位置を表すこととなる。

また、縦方向と横方向の双方で一致度の推移を取得し、横方向の推移で探索窓の横方向の幅と略同一の幅を有する領域が得られ、かつ縦方向の推移で探索窓の縦方向の幅と略同一の幅を有する領域が得られた場合に、その位置に歩行者が存在すると判定することもできる。

上述してきたように、本実施例にかかる画像認識装置１０は、入力画像に対して探索窓を移動させながら基準パターンとの一致度の推移を取得し、一致度が高い領域の幅が探索窓の大きさを基準とする所定範囲内である場合にその領域に歩行者が存在すると判定するので、画像内の歩行者像の位置を精度良く求め、もって自車両に対する歩行者の相対位置を精度良く算定することができる。

なお、本実施例に示した構成及び動作はあくまで一例であり、本発明はこれに弦テ炒れることなく適宜変更して実施することができる。たとえば、本実施例ではパターンマッチングによる認識を例に説明を行なったが、本発明はこれに限定されるものではなく、判定対象領域を切り出して行なう任意の認識手法に適用することが可能である。

同様に、本実施例では特定の物体として歩行者を認識する場合を例に説明を行なったが、他の物体、例えば道路上の落下物などの認識についても適用することもできる。

以上のように、本発明にかかる画像認識装置、画像認識方法および電子制御装置は、単一画像からの画像認識に有用であり、特に画像内の対象物の位置認識精度向上に適している。

本発明における画像認識方法について説明する説明図である。本発明の実施例にかかる画像認識装置の概要構成を示す概要構成図である。歩行者候補領域の選択について説明する説明図である。画像認識装置１０の処理動作について説明するフローチャートである。歩行者認識処理の具体的な処理動作について説明するフローチャートである。

符号の説明

１０画像認識装置
１０ａマイコン
１６車両認識部
１７白線認識部
１８歩行者認識部
１８ａ候補領域検出部
１８ｂパターン比較部
１８ｃ探索窓設定部
１８ｄ幅判定部
１９パターンデータベース
２０衝突判定部
３０ナビゲーション装置
３０ａ地図データ
３１カメラ
３３レーダ
４０プリクラッシュＥＣＵ
４１ブレーキ
４２ＥＦＩ
４３ディスプレイ
４４スピーカ

Claims

入力画像に対して、判定対象である物体の画像内での大きさに対応した形状の探索窓を所定画素数分ずつずらしながら移動させ、該探索窓内の画像と基準パターンとを順次比較し、前記探索窓内の画像と基準パターンとの一致度を取得する比較手段と、
前記一致度が所定値以上の領域の幅が探索窓の幅に対応する場合、当該領域に前記基準パターンに対応する物体が存在すると判定する判定手段と、
を備えたことを特徴とする画像認識装置。
前記比較手段は前記探索窓を入力画像の横方向に所定画素数分ずつずらしながら移動させて一致度の推移を取得し、前記判定手段は前記探索窓の横方向の幅を用いて判定を行なうことを特徴とする請求項１に記載の画像認識装置。
前記比較手段は前記探索窓を入力画像の縦方向に所定画素数分ずつずらしながら移動させて一致度の推移を取得し、前記判定手段は前記探索窓の縦方向の幅を用いて判定を行なうことを特徴とする請求項１または２に記載の画像認識装置。
前記判定手段は、前記探索窓を横方向に移動させて得られた一致度の高い領域の幅が前記探索窓の横方向の幅を基準とした所定範囲内に収まり、かつ前記探索窓を縦方向に移動させて得られた一致度の高い領域の幅が前記探索窓の縦方向の幅に収まる場合に、当該横方向および縦方向に一致度の高い領域に対応する位置に判定対象である物体が存在すると判定することを特徴とする請求項３に記載の画像認識装置。
前記探索窓の形状は、画像内の高さに対応して決定することを特徴とする請求項１〜４のいずれか一つに記載の画像認識装置。
前記判定手段は、前記比較手段によって順次取得された一致度と閾値とを順次比較し、一致度が閾値を超えてから次に閾値以下となるまでに比較した一致度の数を前記領域の幅として求める、もしくは、前記比較手段によって一致度が順次取得された所定区間内に前記閾値を超える一致度が高い率で存在する場合には当該区間を前記領域の幅として求めることを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
前記判定手段は、前記比較手段によって順次取得された一致度の値と数との積分値を、当該一致度の面積を示す値として取得し、取得した当該面積に基づいて前記基準パターンに対応する物体が存在するか否かを判定することを特徴とする請求項１〜５のいずれか一つに記載の画像認識装置。
前記基準パターンは歩行者に対応するパターンであり、前記判定手段は歩行者を認識することを特徴とする請求項１〜７のいずれか一つに記載の画像認識装置。
前記入力画像から前記基準パターンに対応する物体が存在する可能性のある候補領域を選択する候補領域選択手段をさらに備え、比較手段は前記候補領域に対して探索窓を移動させつつ基準パターンとの比較を行なうことを特徴とする請求項１〜８のいずれか一つに記載の画像認識装置。
入力画像に対して、判定対象である物体の画像内での大きさに対応した形状の探索窓を所定画素数分ずつずらしながら移動させ、該探索窓内の画像と基準パターンとを順次比較し、前記探索窓内の画像と基準パターンとの一致度を取得する比較工程と、
前記一致度が所定値以上の領域の幅が探索窓の幅に対応する場合、当該領域に前記基準パターンに対応する物体が存在すると判定する判定工程と、
を含んだことを特徴とする画像認識方法。
入力画像に対して、判定対象である物体の画像内での大きさに対応した形状の探索窓を所定画素数分ずつずらしながら移動させ、該探索窓内の画像と基準パターンとを順次比較し、前記探索窓内の画像と基準パターンとの一致度を取得する比較手段と、
前記一致度が所定値以上の領域の幅が探索窓の幅に対応する場合、当該領域に前記基準パターンに対応する物体が存在すると判定する判定手段と、
前記判定手段による判定結果に基づいて、前記基準パターンに対応する物体との衝突が予測された場合に、車両の動作制御および／または運転者に対する通知制御を行なう制御手段と、
ことを特徴とする電子制御装置。