JP4743617B2

JP4743617B2 - 特徴点抽出装置

Info

Publication number: JP4743617B2
Application number: JP2006111961A
Authority: JP
Inventors: 智行清水; 暁夫米山; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2006-04-14
Filing date: 2006-04-14
Publication date: 2011-08-10
Anticipated expiration: 2026-04-14
Also published as: JP2007286808A

Description

本発明は画像から１個ないし複数個の特徴点を抽出する特徴点抽出装置に関し、特に、デジタル画像信号から特徴点を高能率に抽出する特徴点抽出装置に関する。

従来のデジタル画像から移動体の特徴点を検出する技術を開示したものに、例えば下記の特許文献１に記載されている移動体追跡システムがある。この特許文献１によれば、画像の特徴点として、移動体の形状を示す画像の濃淡変化部分や、移動体を形成する面の模様が抽出される。

下記の非特許文献１には、画像内の各画素に対して、Corder/Edge Response Functionと呼ばれる複雑な関数を計算して、特徴点とエッジを計算することが示されている。また、下記の非特許文献２には、各画素に対してエッジの線分を求め、角（コーナー）を検出することにより、特徴点を求めることが示されている。
特開平１０−１０５７１２号公報 C.Harris and M.Stephens, "A combined corner and edge detector", Proc. IEEE Conf. Comput. Vision Patt. Recog., pp.30-37, Washington, DC, June 1983. S.M.Smith and J.M.Brady, "SUSAN-a new approach to low level image processing ", Int. J. Compt. Vis., vol.23, no.1, pp.45-78, May 1997.

前記した特許文献１のものでは、画像の濃淡変化や模様で特徴点を抽出するため、データの処理量が多く、高速に抽出できないという課題がある。また、前記非特許文献１，２に記されているものでは、画像内の全ての画素について、角やエッジを探索するための微分やフィルタの複雑な演算を実行する必要があり、多くの計算処理を必要とする問題、また処理速度が遅くなるという課題があった。

本発明は、前記した課題に鑑みてなされたものであり、その目的は、より単純なパラメータを用いて特徴点の探索領域を事前に限定することにより、高速に特徴点の抽出を実行できるようにした特徴点抽出装置を提供することにある。

前記した目的を達成するために、本発明は、デジタル画像を入力として１個ないし複数個の特徴点を抽出する特徴点抽出装置において、一定のブロックサイズのブロックを単位（以下、「単位ブロック」という）として、平坦領域と複雑領域を判定し抽出を行う画像の複雑さ抽出手段と、該複雑さ抽出手段によって出力された前記単位ブロックの平坦領域と複雑領域を、画像中の特徴点探索領域から除外して残された領域を特徴点探索領域とする特徴点探索領域限定手段と、該特徴点探索領域限定手段によって限定された特徴点探索領域のみにおいて、特徴点抽出を行う特徴点抽出手段とを具備し、前記複雑さ抽出手段は、前記単位ブロック内の画素値の分散が第１の閾値を下回る場合に該ブロックを平坦領域と判定し、第２の閾値（ただし、第１の閾値＜第２の閾値）を上回る場合に該ブロックを複雑領域として判定するようにした点に特徴がある。また、前記複雑さ抽出手段は、前記単位ブロック内の画素値の周波数成分のうち第１の周波数以上の高周波成分がいずれも一定の閾値を下回る場合に該ブロックを平坦領域として判定し、第２の周波数（ただし、第１の周波数＜第２の周波数）以上の高周波成分のうちいずれかが一定の閾値を上回る場合に該ブロックを複雑領域として判定するようにした点に特徴がある。

また、本発明は、前記特徴点探索領域限定手段は、前記画素値の分散の大きさの順に上位の一定の割合を占める複雑領域と、下位の一定の割合を占める平坦領域とを探索領域から除外して前記残された領域とするようにした点に他の特徴がある。

本発明によれば、特徴点の存在しない探索領域を事前に除去でき、特徴点を抽出するための無駄な演算をすることがなくなるので、高速に特徴点の抽出を実行できるようになる。また、デジタル画像、特にＪＰＥＧやＭＰＥＧなどで符号化されたデジタル画像において、特徴点抽出を高速に実行できるようになる。

以下に、図面を参照して、本発明を詳細に説明する。本発明の原理は、画像内の特徴点を含まない領域を探索領域から予め除外することで特徴点抽出の高速化を図るようにすることであり、特徴点が物体や線分の角やエッジに偏在することに着目して、該線分やエッジの存在しない領域を特徴点の探索領域から予め除外するようにしたものである。

例えば、図１に示すような画像があった場合、黒丸で示す角や、実線で示すエッジからなる特徴点を探索するために、該画像を図２に示すように複数個の小領域、例えばＭＰＥＧのマクロブロック（１６×１６画素）または単位ブロックに分割し、前記特徴点を含まない小領域（「×」が付されている小領域）を特徴点の探索領域から除外する。

図３は、本発明の一実施形態の概略の構成を示すブロック図である。特徴点を抽出される画像は小領域（１６×１６画素）に分割され、該小領域は入力画像信号ａとして複雑さ抽出器１０に入力する。該複雑さ抽出器１０は、該小領域内の画素値の複雑さパラメータ例えば分散値を求め、この分散値が一定値である閾値Ｔｈ１以上の領域を複雑領域、他の一定値である閾値Ｔｈ２（ただし、Ｔｈ１＞Ｔｈ２）以下の領域を平坦領域とする。特徴点探索領域限定器２０は、前記複雑さ抽出器１０で複雑領域または平坦領域と判定された領域を除外し、残された領域を特徴点探索領域とする。次に、特徴点抽出器３０は、前記特徴点探索領域を前記した従来の方法を用いて特徴点の抽出を行う。該特徴点抽出器３０からは、特徴点座標信号ｂが出力される。

前記複雑さ抽出器１０は、複雑さの判定基準として、ブロック内の画素値の分散を用いてもよいし、ＤＣＴ係数などの周波数成分を用いてもよい。

前記複雑さの判定基準として、ブロック内の画素値の分散を用いた場合の動作を図４のフローチャートを参照して説明する。

ステップＳ１では、画像の１フレーム中の小領域、例えばマクロブロック番号を示す値ｎが０と置かれる。ステップＳ２では、小領域ｎの複雑さパラメータ、例えば画素の分散値が計算される。ステップＳ３では、該分散値がある閾値Ｔｈ１以上、他の閾値Ｔｈ２以下（ただし、Ｔｈ１＜Ｔｈ２）かの判断がされる。この判断が肯定の時には、小領域ｎは特徴点探索領域と判定され、ステップＳ４に進んで該小領域ｎから特徴点が抽出される。一方、否定の時には、該小領域ｎは複雑領域かまたは平坦領域であるので、ステップＳ５に進んで探索領域から除外される。

ステップＳ６では、ｎ＝Ｎ（ここに、Ｎは１フレーム内の小領域の全個数）が成立するか否かの判断がなされ、この判断が否定の場合にはステップＳ７に進んでｎに１が加算される。以上の処理が繰り返しなされ、ステップＳ６の判断が肯定になると処理を終了する。

この動作例によれば、一定以上の複雑な領域または一定以下の平坦領域には特徴点が存在しないと考えられるので、これらの領域に対する特徴点の抽出処理を省略することができ、高速な特徴点の抽出が可能になる。

なお、本実施形態の変形例として、前記ステップＳ２で計算された複雑さパラメータの上位ないし下位の一定の割合を常に除外するようにしても良い。すなわち、前記複雑さパラメータの上位ｍ１（％）、下位ｍ２（％）（ただし、ｍ１（％）＋ｍ２（％）＜１００（％））に相当する小領域を、常に除外するようにしても良い。このようにすれば、画像の小領域の複雑さの度合いが、上位ないし下位の一定の割合で、小領域を常に除外することができるようになり、各画像について同じ個数の小領域を特徴点抽出領域として、特徴点の抽出が可能になる。

次に、前記複雑さの判定基準として、ＤＣＴ係数などの周波数成分を用いた場合の動作を図５のフローチャートを参照して説明する。

ステップＳ１１では、ｎ＝０と置かれ、ステップＳ１２では、小領域のＤＣＴ係数の高周波成分ｆ１以上の係数は、全て一定値以下か否かの判断がなされる。以下であれば、該小領域は平坦領域と判断され、ステップＳ１５に進む。前記高周波成分ｆ１以上の係数の中に、前記一定値以上の係数があれば、ステップＳ１３に進む。ここに、図６に、前記高周波成分ｆ１の例が示されている。この例では、高周波成分ｆ１は、ジグザグスキャンの６番目の係数である。

ステップＳ１３では、ＤＣＴ係数の高周波成分ｆ２以上の係数に、一定値以上のものがあるか否かの判断がなされる。一定値以上のものがある場合には、複雑領域と判定され、ステップＳ１５に進む。一方、一定値以上のものがない場合には、特徴点探索領域と判定され、ステップＳ１４に進んで、特徴点の抽出がなされる。ここに、図７に、前記高周波成分ｆ２の例が示されている。ここでは、高周波成分ｆ２は、ジグザグスキャンの５５番目の係数である。

ステップＳ１５では、ｎ＝Ｎ（ここに、Ｎは１フレーム内の小領域の全個数）が成立するか否かの判断がなされ、この判断が否定の場合にはステップＳ１６に進んでｎに１が加算される。以上の処理が繰り返しなされ、ステップＳ１５の判断が肯定になると処理を終了する。

この実施形態によれば、ＪＰＥＧやＭＰＥＧは、データ内にＤＣＴ係数を含んでいるため、これを直接利用することで演算量を大幅に削減できる。

次に、本発明の第２実施形態を図８を参照して説明する。図８は、該第２実施形態の概略の構成を示すブロック図であり、平坦領域判定部１１と複雑領域判定部１２を設けた点で図３の構成と異なる。

図９により本実施形態の動作を説明すると、ステップＳ２１ではｎ＝０と置かれ、ステップＳ２２では小領域ｎの複雑さパラメータが計算される。ステップＳ２３では、該複雑さパラメータを用いて、平坦領域の判定が行われる。平坦領域であるか否かの判定は、第１実施形態と同様に、小領域の画素の分散値が前記Ｔｈ１以下であれば平坦領域とすることができる。

ステップＳ２４では、小領域が平坦領域である場合にはステップＳ２８に進んで、特徴点の探索領域から除外する。一方、平坦領域でない場合には、ステップＳ２５に進んで複雑領域の判定が行われる。
ステップＳ２６では、複雑領域の場合にステップＳ２８に進んで、探索領域から除外する。複雑領域でない場合には、ステップＳ２７に進んで、該小領域ｎから特徴点の抽出を行う。複雑領域であるか否かの判定は、第１実施形態と同様に、小領域の画素の分散値が前記Ｔｈ２以上であれば複雑領域とすることができる。ステップＳ２９では、ｎ＝Ｎが成立するか否かの判断がなされ、この判断が否定の場合にはステップＳ３０に進んで、ｎに１が加算される。

以上の処理が繰り返し行われ、ステップＳ２９の判断が肯定になると、１フレームの画像からの特徴点の抽出が終了する。なお、本実施形態においても、複雑さパラメータとして、ＤＣＴ係数の周波数成分の係数を用いてもよい。

特徴点抽出の対象となる画像の一例を示す図である。図１の画像の小領域毎の特徴点非探索領域、探索領域を示す図である。本発明の第１実施形態の概略の構成を示すブロック図である。複雑さパラメータが分散値の場合の第１実施形態の動作を示すフローチャートである。複雑さパラメータがＤＣＴ係数の場合の第１実施形態の動作を示すフローチャートである。ＤＣＴ係数の高周波成分ｆ１の説明図である。ＤＣＴ係数の高周波成分ｆ２の説明図である。本発明の第２実施形態の概略の構成を示すブロック図である。第２実施形態の動作を説明するフローチャートである。

符号の説明

１０・・・複雑さ抽出器、１１・・・平坦領域判定器、１２・・・複雑領域判定器、２０・・・特徴点探索領域限定器、３０・・・特徴点抽出器。

Claims

デジタル画像を入力として１個ないし複数個の特徴点を抽出する特徴点抽出装置において、
一定のブロックサイズのブロックを単位（以下、「単位ブロック」という）として、平坦領域と複雑領域を判定し抽出を行う画像の複雑さ抽出手段と、
該複雑さ抽出手段によって出力された前記単位ブロックの平坦領域と複雑領域を、画像中の特徴点探索領域から除外して残された領域を特徴点探索領域とする特徴点探索領域限定手段と、
該特徴点探索領域限定手段によって限定された特徴点探索領域のみにおいて、特徴点抽出を行う特徴点抽出手段とを具備し、
前記複雑さ抽出手段は、前記単位ブロック内の画素値の分散が第１の閾値を下回る場合に該ブロックを平坦領域と判定し、第２の閾値（ただし、第１の閾値＜第２の閾値）を上回る場合に該ブロックを複雑領域として判定することを特徴とする特徴点抽出装置。
デジタル画像を入力として１個ないし複数個の特徴点を抽出する特徴点抽出装置において、
一定のブロックサイズのブロックを単位（以下、「単位ブロック」という）として、平坦領域と複雑領域を判定し抽出を行う画像の複雑さ抽出手段と、
該複雑さ抽出手段によって出力された前記単位ブロックの平坦領域と複雑領域を、画像中の特徴点探索領域から除外して残された領域を特徴点探索領域とする特徴点探索領域限定手段と、
該特徴点探索領域限定手段によって限定された特徴点探索領域のみにおいて、特徴点抽出を行う特徴点抽出手段とを具備し、
前記複雑さ抽出手段は、前記単位ブロック内の画素値の周波数成分のうち第１の周波数以上の高周波成分がいずれも一定の閾値を下回る場合に該ブロックを平坦領域として判定し、第２の周波数（ただし、第１の周波数＜第２の周波数）以上の高周波成分のうちいずれかが一定の閾値を上回る場合に該ブロックを複雑領域として判定することを特徴とする特徴点抽出装置。
デジタル画像を入力として１個ないし複数個の特徴点を抽出する特徴点抽出装置において、
一定のブロックサイズのブロックを単位（以下、「単位ブロック」という）として、該単位ブロック内の分散を基に平坦領域と複雑領域を判定し抽出を行う画像の複雑さ抽出手段と、
該複雑さ抽出手段によって出力された前記単位ブロックの平坦領域と複雑領域を、画像中の特徴点探索領域から除外して残された領域を特徴点探索領域とする特徴点探索領域限定手段と、
該特徴点探索領域限定手段によって限定された特徴点探索領域のみにおいて、特徴点抽出を行う特徴点抽出手段とを具備し、
前記特徴点探索領域限定手段は、前記画素値の分散の大きさの順に上位の一定の割合を占める複雑領域と、下位の一定の割合を占める平坦領域とを探索領域から除外して前記残された領域とすることを特徴とする特徴点抽出装置。