JP4704998B2

JP4704998B2 - 画像処理装置

Info

Publication number: JP4704998B2
Application number: JP2006291217A
Authority: JP
Inventors: 守道西垣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2006-10-26
Filing date: 2006-10-26
Publication date: 2011-06-22
Anticipated expiration: 2026-10-26
Also published as: JP2008108118A

Description

本発明は、撮像手段により撮像された撮像画像から、対象物を検出する画像処理装置に関する。

従来より、例えば、車両の前部に搭載されたカメラにより撮像された車両前方の撮像画像から、道路上に所在する歩行者や他の車両等の対象物を検出する画像処理装置が提案されている（例えば、特許文献１〜３を参照）。

かかる従来の画像処理装置においては、時間的な連続性をもって撮像された撮像画像間の相関演算により、画像中の所定領域におけるオプティカルフローを算出している。そして、このように時間的な連続性をもって撮像する際に周囲の明るさが変化すると、撮像画像間の輝度の差が大きくなって相関演算による相関度の信頼性が低下するため、オプティカルフローの算出誤差が大きくなる。そのため、該オプティカルフローを用いて対象物を検出する際の誤差が大きくなるという不都合があった。

また、従来の画像処理装置においては、２台のカメラを備えて、該２台のカメラによる同一時点での撮像画像間の相関演算により同一物体の画像の視差を求め、該視差を用いて車両と物体間の距離を算出している。そして、このように２台のカメラにより同一時点で画像を取得する際に、各カメラの撮像範囲や特性の違いによって、同一物体の画像の輝度が画像間で相違する場合があり、この場合には、相関演算による相関度の信頼性が低下するため、視差の算出誤差が大きくなる。そのため、該視差に基づく距離を用いて対象物を検出する際の誤差が大きくなるという不都合があった。
特開２００３−１９６６６４号公報特開２００４−５４６８４号公報特開２００５−７８５２８号公報

本発明は上記背景を鑑みてなされたものであり、明るさの相違の影響を軽減して、撮像画像からの対象物の検出精度を高めることができる画像処理装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車両に搭載された撮像手段により撮像されたカラーの撮像画像から対象物を検出する画像処理装置であって、前記撮像画像を、少なくとも色相Ｈ（Hue）の成分が抽出された色相抽出画像に変換する色相抽出画像変換手段と、前記色相抽出画像のＨ成分のみにガボールフィルタを適用し、該ガボールフィルタ適用後の画像の位相に基づいて対象物を検出する対象物検出手段とを備え、前記対象物検出手段は、前記撮像手段により時間的に連続して撮像された撮像画像を、前記色相抽出画像変換手段により変換した各色相抽出画像に対して、Ｈ成分のみにガボールフィルタを適用し、時間的に連続した該ガボールフィルタ適用後の各画像の位相に基づく各画像間の相関演算により、各画像の所定領域におけるオプティカルフローを求め、前記オプティカルフローに基づいて、前記撮像画像中で同一運動成分を持つ領域から対象物を検出し、異なる時点で得られた色相抽出画像から検出された対象物の同一性を判断して、同一の対象物の時刻間追跡を行うことを特徴とする。

かかる本発明によれば、前記色相抽出画像変換手段により、前記撮像手段により撮像された撮像画像が前記色相抽出画像に変換される。ここで、色相Ｈの成分は明るさの相違に対するレベルの変動が小さく、明るさの変化の影響を受け難い。そこで、前記対象物検出手段は、前記色相抽出画像のＨ成分のみにガボールフィルタを適用する。このように、明るさの相違の影響を受け難いＨ成分のみにガボールフィルタを適用することにより、ガボールフィルタにより特定される所定方向のエッジが画像の位相として抽出される。そのため、ガボールフィルタ適用後の画像の位相に基づいて、撮像された物体の色と柄の情報を特徴量として、明るさの相違の影響を抑制して精度良く対象物を検出することができる。

さらに、本発明によれば、前記対象物検出手段は、前記撮像手段により時間的に連続して撮像された撮像画像を、前記色相抽出画像変換手段により変換した各色相抽出画像に対して、Ｈ成分のみにガボールフィルタを適用する。そして、これにより、明るさの変化の影響を受け難いＨ成分についての時系列画像が得られ、該時系列画像における画像の位相に基づいて、撮像された物体の色と柄を特徴量とする相関演算によりオプティカルフローを精度良く求めることができる。

また、前記撮像手段として、撮像範囲を重複させて並設された第１の撮像手段及び第２の撮像手段とを有し、前記対象物検出手段は、同一時点で撮像された前記第１の撮像手段による第１の撮像画像及び前記第２の撮像手段による第２の撮像画像を、前記色相抽出画像変換手段によりそれぞれ変換した第１の色相抽出画像及び第２の色相抽出画像に対して、Ｈ成分のみにガボールフィルタを適用し、該ガボールフィルタ適用後の各画像の位相に基づく各画像間の相関演算により、該第１の撮像画像と該第２の撮像画像の対応する画素の視差を求め、該視差に基づく距離情報を用いて対象物を検出することを特徴とする。

かかる本発明によれば、前記対象物検出手段は、同一時点で撮像された前記第１の撮像画像及び前記第２の撮像画像を、前記色相抽出画像変換手段により変換した前記第１の色相抽出画像及び前記第２の色相抽出画像に対して、Ｈ成分のみにガボールフィルタを適用する。そして、これにより、前記第１の色相抽出画像及び前記第２の色相抽出画像から、明るさの違いの影響を受け難い色と柄の情報が位相により抽出された画像が得られる。そして、このように色と柄の情報が抽出された画像間の相関演算を行うことにより、視差を精度良く求めることができる。

本発明の実施の形態の一例について、図１〜図２を参照して説明する。図１は本発明の画像処理装置が搭載された車両のシステム構成を示すブロック図、図２は図１に示した画像処理装置の処理手順を示したフローチャートである。

図１を参照して、本実施の形態では、自動車等の車両１の前方に所在する歩行者等の対象物を検出するために、車両１の前部に２台のＲＧＢ仕様のカラーカメラ２Ｒ，２Ｌ（本発明の撮像手段に相当する）が搭載されている。また、カメラ２Ｒ、２Ｌは、その光軸を車両の前方に向けて、撮像範囲を重複させて車両１の左右方向に並設されている。なお、カメラ２Ｒ，２Ｌのうちのいずれか一方が本発明の第１の撮像手段に相当し、他方が本発明の第２の撮像手段に相当する。

車両１には、カメラ２Ｒ，２Ｌで撮像されたカラー画像の映像信号が入力される画像処理装置３が搭載されている。画像処理装置３は、ＣＰＵやメモリを有する図示しないマイクロコンピュータ（本発明のコンピュータに相当する）等を含む電子回路ユニットであり、カメラ２Ｒ，２Ｌから入力されたカラー画像の映像信号から、車両１の前方に所在する歩行者等の物体を認識し、該物体の車両１に対する実空間上の相対位置を検出する処理を実行する。

画像処理装置３は、そのハードウェア及びソフトウェアにより実現される機能として、画像取得部１０、視差算出部１１、オプティカルフロー算出部１２、トラッキング部１３、及び障害物判断部１４を備えている。なお、視差算出部１１、オプティカルフロー算出部１２、及びトラッキング部１３により、本発明の対象物検出手段が構成される。

また、視差算出部１１及びオプティカルフロー算出部１２は、本発明の色相抽出画像変換手段の機能を含む。また、画像処理装置３のマイクロコンピュータに本発明の画像処理用プログラムを実行させることによって、視差算出部１１、オプティカルフロー算出部１２、トラッキング部１３、及び障害物判断部１４の機能が実現され、該マイクロコンピュータにより本発明の画像処理方法が実施される。

次に、画像処理装置３の各部の処理内容について説明する。カメラ２Ｒ，２Ｌの出力（カラー画像の映像信号）は、所定の処理周期で画像取得部１０に取り込まれる。画像取得部１０は、入力されたカメラ２Ｒ，２Ｌの撮像画像の各画素の映像信号（アナログ信号）をＡ／Ｄ変換し、該Ａ／Ｄ変換により得られたデジタルデータを図示しない画像メモリに記憶する。該デジタルデータは、撮像画像の各画素のＲＧＢ成分のレベル（輝度）を示すデータである。なお、以降、カメラ２Ｒにより得られた撮像画像を右画像Ｉm1といい、カメラ２Ｌにより得られた撮像画像を左画像Ｉm2という。

画像取得部１０により画像メモリに記憶保持された右画像Ｉm1及び左画像Ｉm2は、視差算出部１１に入力される。また、右画像Ｉm1は、オプティカルフロー算出部１２に入力される。

視差算出部１１は、右画像Ｉm1と左画像Ｉm2を、色相Ｈ（Hue），彩度Ｓ（Saturation），明度（Intensity）の三成分によるＨＳＩ画像（本発明の色相抽出画像に相当する）に変換し、右画像Ｉm1のＨＳＩ画像と左画像Ｉm2のＨＳＩ画像とに基づいて、右画像Ｉm1の各画素で捉えられている物体の視差を検出する。そして、該検出した視差に基づいて、車両１から右画像Ｉm1の各画素で捉えられている物体までの距離を算出し、いわゆる距離マップ（算出した距離を右画像Ｉm1の各画素に対応付けたマップ）Ｌmapを作成する。なお、視差と距離を算出する具体的な処理については後述する。

オプティカルフロー算出部１２は、右画像Ｉm1をＨＳＩ画像に変換し、該ＨＳＩ画像の時系列データから、右画像Ｉm1におけるオプティカルフローＯflwを算出する。なお、オプティカルフローＯflwを算出する具体的な処理については後述する。

トラッキング部１３は、距離マップＬmap及びオプティカルフローＯflwに基づいて、右画像Ｉm1中で同一運動成分を持つ領域から、車両からの距離がほぼ同一（距離の差が所定範囲内）であって、且つ、連続している画素群を対象物として検出する。そして、トラッキング部１３は、異なる時点で得られた右画像Ｉm1のＨＳＩ変換画像から検出された対象物の同一性を判断し、同一の対象物についての時刻間追跡を行う。

具体的には、トラッキング部１３は、時刻ｋ1で得られた右画像Ｉm1_ｋ1のＨＳＩ変換画像から検出された対象物Ａと、時刻ｋ2で得られた右画像Ｉm1_ｋ2のＨＳＩ変換画像から検出された対象物Ｂとの同一性を判断し、同一であると判断したときは対象物Ａと対象物Ｂの識別ラベルを同一とする。この場合、対象物Ａと対象物Ｂの同一性は、例えば、対象物Ａと対象物Ｂの形状や輝度分布等の特徴量を基に判断される。

トラッキング部１３により算出される同一の対象物についての時刻間追跡のデータＴdは、障害物判断部１４に入力される。そして、障害物判断部１４は、時刻間追跡のデータＴdから該対象物と車両１との接触可能性を判断し、接触可能性が高いと判断したときには、警報データＡdを車両制御ユニット２２に出力する。警報データＡdには、車両１と対象物との相対位置を示すデータ等が含まれる。

車両制御ユニット２２には、ヨーレートセンサ２０による車両１のヨーレートの検出データＹsと、車速センサ２１による車両１の車速の検出データＶsが入力される。そして、車両制御ユニット２２は、警報データＡdが入力されたときに、運転者への視覚的或いは聴覚的な報知を行う。また、車両制御ユニット２２は、警報データＡdとヨーレートの検出データＹsと車速の検出データＶsとに基づいて、車両１の補助的な運転操作（ハンドル操作、ブレーキ操作等）を、図示しないアクチュエータを介して行われる。

次に、図２に示したフローチャートに従って、視差算出部１１、オプティカルフロー算出部１２、及びトラッキング部１３による具体的な処理内容について説明する。

先ず、図２のＳＴＥＰ１で、画像取得部１０により、右カメラ２Ｒによる右画像Ｉm1と左カメラ２Ｌによる左画像Ｉm2が取得される（ステレオ画像の取得）。続くＳＴＥＰ２〜ＳＴＥＰ４は視差算出部１１による処理であり、視差算出部１１は、ＳＴＥＰ２で、右画像Ｉm1をＨＳＩ画像Ｈm1に変換すると共に、左画像Ｉm2をＨＳＩ画像Ｈm2に変換する。

ここで、ＨＳＩ画像への変換は、右画像Ｉm1及び左画像Ｉm2の各画素のＲＧＢ成分（Ｒ，Ｇ，Ｂ）を、例えば６角錐モデルでは以下の式（１）〜式（７）の演算によってＨＳＩ成分（Ｈ，Ｓ，Ｉ）に変換することにより行われる。

ここで、色相Ｈは、上記式（５）〜式（７）により、画素の輝度情報（Ｉ_max−Ｒ，Ｉ_max−Ｇ，Ｉ_max−Ｂ）を、画素の輝度の幅（Ｉ_max−Ｉ_min）で除して算出されるため、明るさの相違による輝度の変化の影響を受け難い。そこで、続くＳＴＥＰ３において、視差算出部１１は、ＨＳＩ画像Ｈm1，Ｈm2の各画素のＨ成分に対してガボールフィルタを適用して、Ｈm1'及びＨm2'を求める。ガボールフィルタは、人間の受容野の特性に似せたフィルタであり、特定方向のエッジ（輪郭線）を抽出するものである。ガボールフィルタの適用により、照度変化の影響を受け難い物体の色相Ｈについての該特定方向の位相を抽出することができる。

また、ガボールフィルタは、画像内の移動体に対して、中心部分よりも周辺部分のほうがオプティカルフローの特徴がより明確に現れる特性を有する。そこで、画像内の座標に応じてガボールフィルタの特性（受容野サイズである窓の大きさ）や空間周波数の最適化を行ってもよい。

次のＳＴＥＰ４で、視差算出部１１は、Ｈm1'とＨm2'間の相関処理を行う。該相関処理においては、Ｈm1'の各画素Ｈm1'(x,y)に対して、その画素Ｈm1'(x,y)を中心とする所定サイズの相関性判断領域（例えば長方形の局所領域）が、Ｈm1'内に設定される。そして、Ｈm2'に対して、所定サイズの探索領域が設定される。この探索領域は、相関性判断領域よりもｘ方向（水平方向）に広い領域で、且つその内部に相関性判断領域内の画像データと同等の画像データが含まれるような領域に設定される。

そして、Ｈm2'の探索領域内で、Ｈm1'の相関性判断領域内の輝度値の分布に最も近似する輝度値の分布を有する領域（相関性判断領域と同一サイズの局所領域）を、ＳＡＤ（Sum of Absolute Difference）等の公知の相関演算手法によって探索し、探索された領域の中心点に対応するＨm2'の画素Ｈm2'(x',y)が、相関性判断領域の中心点に対応するＨm1'の画素と同じ対象物を捉えている画素として決定される。

さらに、同様にして、Ｈm1'の各画素Ｈm1'(x,y)に対して決定されるＨm2'(x',y)のｘ座標値ｘ'と、Ｈm1'の画素Ｈm1'(x,y)のｘ座標値ｘとの差（ｘ'−ｘ）［ピクセル］が、Ｈm1'の画素Ｈm1'(x,y)で捉えられている物体に関するカメラ２Ｒ，２Ｌによる左右の画像（ステレオ画像）間の視差Δとして算出される。

さらに、視差Δから、以下の式（８）により、右画像Ｉm1の画素Ｉm1(x,y)で捉えられている物体の車両１からの距離ｚが算出される。

但し、ｆ：カメラ２Ｒ，２Ｌの焦点距離、Ｄ：カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐ：画素ピッチ（１画素分の長さ）。

以上説明した視差算出部１１の処理によって、前記距離マップＬmapが作成される。

次に、視差算出部１１によるＳＴＥＰ２〜ＳＴＥＰ４の処理と並行して、オプティカルフロー算出部１２は、ＳＴＥＰ１０〜ＳＴＥＰ１２の処理を実行する。

ＳＴＥＰ１０で、オプティカルフロー算出部１２は、上述したＳＴＥＰ２の処理と同様にして、右画像Ｉm1をＨＳＩ画像Ｈm1に変換する。そして、続くＳＴＥＰ１１で、上述したＳＴＥＰ３と同様にして、ＨＳＩ画像Ｈm1の各画素のＨ成分に対してガボールフィルタを適用して、Ｈm1'を求める。

次のＳＴＥＰ１２で、オプティカルフロー算出部１２は、今回の処理周期で求めたガボールフィルタ適用後の画像Ｈm1'_tと、前回の処理周期で求めたガボールフィルタ適用後の画像Ｈm2'_t-1間で、局所領域についてブロックマッチング法等の公知の手法によりオプティカルフローＯflwを求める。

このように、明るさの変化の影響を受け難い色相Ｈの成分についてガボールフィルタを適用した画像Ｈm1'とＨm2'間でオプティカルフローを求めることにより、明るさの相違による相関演算の信頼性の低下を抑制して、精度良くオプティカルフローＯflwを求めることができる。

次のＳＴＥＰ５はトラッキング部１３による処理であり、トラッキング部１３は、距離マップＬmap及びオプティカルフローＯflwを用いて、車両１の走行により生じるオプティカルフローの変動分を排除したときに、所定の大きさ以上のオプティカルフローを有する局所領域内で、車両１からの距離がほぼ同一の連続する画素群を、対象物として検出する。そして、続くＳＴＥＰ６で、トラッキング部１３は、同一の物体の画像部分であると判断される対象物について、時刻間追跡を行う。

なお、本実施の形態では、２台のカメラ２Ｒ，２Ｌを備えて、上記式（８）により視差Δから各画素と車両１との距離ｚを算出したが、距離センサを備えて各画素と車両１との距離を検出し、該距離センサにより得られる車両と物体間の距離情報と、１台のカメラの撮像画像により得られるオプティカルフローとを用いて、対象物を検出するようにしてもよい。

また、本実施の形態では、視差ΔとオプティカルフローＯflwとを用いて対象物を検出したが、ＨＳＩ変換画像にガボールフィルタを適用した画像に基づいて対象物を検出する画像処理装置であれば、本発明の効果を得ることができる。

また、本実施の形態では、ＲＧＢ成分からなる撮像画像をＨＳＩ成分からなるＨＳＩ画像に変換したが、必ずしも色相Ｈ（Hue），彩度Ｓ（Saturation），明度（Intensity）の三成分を全て有する画像に変換する必要はなく、少なくとも色相Ｈの成分を有する画像に変換すればよい。

本発明の画像処理装置が搭載された車両のシステム構成を示すブロック図。図１に示した画像処理装置の処理手順を示したフローチャート。

符号の説明

１…車両、２Ｒ，２Ｌ…カメラ（撮像手段）、３…画像処理装置、１０…画像取得部、１１…視差算出部、１２…オプティカルフロー算出部、１３…トラッキング部、１４…障害物判断部、２２…車両制御ユニット

Claims

車両に搭載された撮像手段により撮像されたカラーの撮像画像から対象物を検出する画像処理装置であって、
前記撮像画像を、少なくとも色相Ｈ（Hue）の成分が抽出された色相抽出画像に変換する色相抽出画像変換手段と、
前記色相抽出画像のＨ成分のみにガボールフィルタを適用し、該ガボールフィルタ適用後の画像の位相に基づいて対象物を検出する対象物検出手段とを備え、
前記対象物検出手段は、
前記撮像手段により時間的に連続して撮像された撮像画像を、前記色相抽出画像変換手段により変換した各色相抽出画像に対して、Ｈ成分のみにガボールフィルタを適用し、時間的に連続した該ガボールフィルタ適用後の各画像の位相に基づく各画像間の相関演算により、各画像の所定領域におけるオプティカルフローを求め、
前記オプティカルフローに基づいて、前記撮像画像中で同一運動成分を持つ領域から対象物を検出し、異なる時点で得られた色相抽出画像から検出された対象物の同一性を判断して、同一の対象物の時刻間追跡を行うことを特徴とする画像処理装置。
前記撮像手段として、撮像範囲を重複させて並設された第１の撮像手段及び第２の撮像手段とを有し、
前記対象物検出手段は、同一時点で撮像された前記第１の撮像手段による第１の撮像画像及び前記第２の撮像手段による第２の撮像画像を、前記色相抽出画像変換手段によりそれぞれ変換した第１の色相抽出画像及び第２の色相抽出画像に対して、Ｈ成分のみにガボールフィルタを適用し、該ガボールフィルタ適用後の各画像の位相に基づく各画像間の相関演算により、該第１の撮像画像と該第２の撮像画像の対応する画素の視差を求め、該視差に基づく距離情報を用いて対象物を検出することを特徴とする請求項１記載の画像処理装置。