JP5247338B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像処理装置、画像処理方法、及びプログラムに関し、特に、動画像から被写体パターンを検出するために用いて好適な技術に関する。

従来、動画像から所定の被写体パターンを自動的に検出する画像処理方法が提案されており、例えば人間の顔の判定に利用することができる。このような画像処理方法は、ビデオ会議、監視システム等に使用することができる。このように画像の中から所定の被写体パターンを検出する技術としては、例えば、テンプレートマッチングを利用することによって所定の被写体パターンを検出する方式が知られている。この方式に関連する先行技術文献としては、例えば、特許文献１〜３に開示されている。

特開２００７−２５８９９号公報 特開２００４−１７１４９０号公報 特開２００３−２３５０３５号公報

しかしながら、特許文献１に記載されている技術では、入力画像から複数の縮小画像をフレーム毎に生成した上で所定の被写体パターンとテンプレートマッチングを行うと、演算処理の負荷が大きくなる。したがって、高速処理に対応するハードウェアを用いなければ、特許文献２に記載されている方法により、演算処理が間に合う程度に一定フレーム間隔でテンプレートマッチングによる検出処理をする必要がある。この場合、例えば、所定の被写体をカメラでズームアップして撮影していた場合、非処理のフレームの間に所定の被写体がフレームアウトすると、パンやチルトによる追尾を行うことができないという問題がある。

また、特許文献２に記載されている技術では、一定フレーム間隔で通常の検出処理を行うとともに、その通常の検出処理を行うフレーム間に既に検出済みの被写体の座標近傍だけを検出するフレームを挿入する。これによってテンプレートマッチングの演算処理負荷を軽減しているが、被写体の移動速度によっては検出領域に被写体が入らずに、検出できないという問題が発生する。また、カメラでズームアップする、あるいは被写体とカメラとの距離が近づくという状況に対しても、前検出フレームの座標近傍だけの検出では対応できない場合がある。

また、特許文献３に記載の技術では、入力画像と背景画像との差分を取ってこの差分をテンプレートとして登録しておく。この時、テンプレートにおける所定の被写体は、元々入力画像内の所定の被写体と同じである。カメラのズーム制御を行った場合に、そのパラメータを元に、入力画像及びテンプレート双方の所定の被写体を同じ大きさにするように解像度変換することにより、被写体パターンの検出を可能にしている。しかしながら、入力画像に一度映った被写体を追尾するという用途にしか利用できず、被写体とカメラとの距離が変化するという状況にも対応できない。したがって、被写体とカメラとの距離が変化した場合には検出精度が劣るという問題がある。

本発明は前述の問題点に鑑み、被写体パターンを検出するための演算処理の負荷が大きくならないようにするとともに、被写体パターンの検出精度を維持できるようにすることを目的とする。

本発明の画像処理装置は、画像データから所定の対象物を検出する画像処理装置であって、撮像装置から前記画像データを入力する画像入力手段と、前記画像入力手段によって入力された前記画像データに関する前記撮像装置のズーム倍率を入力するズーム倍率入力手段と、前記所定の対象物を示す検出パターンを記憶する検出パターン記憶手段と、前記画像入力手段によって入力された画像データから互いに倍率の異なる複数の変倍画像データを生成する画像変倍手段と、前記画像変倍手段によって生成された複数の変倍画像データから一部の領域を抽出し、前記抽出した一部の領域と、前記検出パターン記憶手段に記憶された検出パターンとを照合して前記所定の対象物を検出する検出手段とを有し、前記画像変倍手段は、前記画像入力手段によって入力された第１の画像データから生成された第１の変倍画像データから前記検出手段によって前記所定の対象物が検出された場合は、前記第１の画像データに関するズーム倍率から前記第１の画像データの次に前記画像入力手段によって入力された第２の画像データに関するズーム倍率への変化率と、前記第１の画像データから前記第１の変倍画像データを生成するための倍率とに基づいて、前記第２の画像データから第２の変倍画像データを生成するための倍率を決定するとともに、前記第１の画像データから生成された第１の変倍画像データから前記検出手段によって前記所定の対象物が検出されなかった時よりも少数の１つ以上の第２の変倍画像データを前記第２の画像データから生成することを特徴とする。

本発明の画像処理方法は、画像データから所定の対象物を検出する画像処理方法であって、撮像装置から前記画像データを入力する画像入力工程と、前記画像入力工程において入力された前記画像データに関する前記撮像装置のズーム倍率を入力するズーム倍率入力工程と、前記画像入力工程において入力された画像データから互いに倍率の異なる複数の変倍画像データを生成する画像変倍工程と、前記画像変倍工程において生成された複数の変倍画像データから一部の領域を抽出し、前記抽出した一部の領域と、前記所定の対象物を示す検出パターンとを照合して前記所定の対象物を検出する検出工程とを有し、前記画像変倍工程においては、前記画像入力工程において入力された第１の画像データから生成された第１の変倍画像データから前記検出工程において前記所定の対象物が検出された場合は、前記第１の画像データに関するズーム倍率から前記第１の画像データの次に前記画像入力工程において入力された第２の画像データに関するズーム倍率への変化率と、前記第１の画像データから前記第１の変倍画像データを生成するための倍率とに基づいて、前記第２の画像データから第２の変倍画像データを生成するための倍率を決定するとともに、前記第１の画像データから生成された第１の変倍画像データから前記検出工程において前記所定の対象物が検出されなかった時よりも少数の１つ以上の第２の変倍画像データを前記第２の画像データから生成することを特徴とする。

本発明のプログラムは、画像データから所定の対象物を検出する画像処理装置を制御するためのプログラムであって、前記画像データを入力する画像入力手順と、撮像装置から前記画像入力手順において入力された画像データから互いに倍率の異なる複数の変倍画像データを生成する画像変倍手順と、前記画像入力手順において入力された前記画像データに関する前記撮像装置のズーム倍率を入力するズーム倍率入力手順と、前記画像変倍手順において生成された複数の変倍画像データから一部の領域を抽出し、前記抽出した一部の領域と、前記所定の対象物を示す検出パターンとを照合して前記所定の対象物を検出する検出手順とをコンピュータに実行させ、前記画像変倍手順においては、前記画像入力手順において入力された第１の画像データから生成された第１の変倍画像データから前記検出手順において前記所定の対象物が検出された場合は、前記第１の画像データに関するズーム倍率から前記第１の画像データの次に前記画像入力手順において入力された第２の画像データに関するズーム倍率への変化率と、前記第１の画像データから前記第１の変倍画像データを生成するための倍率とに基づいて、前記第２の画像データから第２の変倍画像データを生成するための倍率を決定するとともに、前記第１の画像データから生成された第１の変倍画像データから前記検出手順において前記所定の対象物が検出されなかった時よりも少数の１つ以上の第２の変倍画像データを前記第２の画像データから生成することを特徴とする。

本発明によれば、被写体パターンの検出精度を維持できるとともに、所定の被写体の検出を高速化することができるため、被写体パターンを検出するための演算処理の負荷が大きくならないようにすることができる。

（第１の実施形態）
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、本実施形態の画像処理装置１の構成例を示すブロック図である。まず、本実施形態の画像処理装置１の構成について説明する。
図１において、画像入力部１１は、画像データを受信するためのものである。また、画像入力部１１は、特定の通信方式に準拠したマーカーコード付きのプロトコルに適合させた画像データや、ＪＰＥＧ／ＭＰＥＧ４等の圧縮処理された画像データを受信する必要がある場合を想定し、デコード処理機能を有している。なお、画像データは、撮像装置で撮影されて生成された撮影画像や、外部の記憶装置に記憶されている画像などのデータであり、出力元は特定の機器に限定されない。

画像メモリ１２は、ＲＡＭなどの読み書き可能な記憶装置で構成されており、画像入力部１１で受信した画像データや画像変倍部１３で変倍処理した画像データを記憶する。画像変倍部１３は、画像メモリ１２に記憶された画像データを読み出し、縮小画像データ（変倍画像データ）を生成して画像メモリ１２に書き込むためのものである。

照合対象パターン抽出部１４は、画像メモリ１２に記憶された縮小画像データ上で所定サイズの矩形領域を移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出して出力する。なお、オリジナル画像も１／１の縮小画像と解釈し、縮小画像に含むことができるものとする。

検出パターン記憶部１５は、入力画像から検出したい所定のパターン（対象物）を検出パターンとして予め記憶しておくためのものである。パターン検出部１６は、照合対象パターンが所定のパターンに該当するかどうかについて、検出パターン記憶部１５に記憶されている検出パターンとの照合を行う。検出情報記憶部１７は、パターン検出部１６によって所定のパターンが検出された時に使用された縮小画像の変倍倍率の倍率情報をパターン検出部１６から受け取って記憶するためのものである。

次に、図１に示した各部の動作によってなされる処理について、図２のフローチャートを参照しながら説明する。画像処理装置１は、所定のパターンの検出において通常検出モードと高速検出モードとの２種類の検出モードを有する。そこで、最初は、画像処理装置１は通常検出モードで動作するものとする。

図２（ａ）は、本実施形態において、通常検出モードにおける所定のパターンを検出する処理手順の一例を示すフローチャートである。
処理を開始すると、まず、ステップＳ１０１において、画像入力部１１は、画像データを受信する。この時、特定の通信方式に準拠したマーカーコード付きのプロトコルに適合させた画像データや、ＪＰＥＧ／ＭＰＥＧ４等の圧縮処理された画像データを受信した場合には、受信した画像データに対してデコード処理をする。

次に、ステップＳ１０２において、画像入力部１１は、この処理結果を入力画像データとして画像メモリ１２へ書き込む。なお、デコード処理が不要な場合は、受信した画像データを入力画像データとして画像メモリ１２へ書き込む。

次に、ステップＳ１０３において、画像変倍部１３は、画像メモリ１２に記憶されている入力画像データを読み出し、複数（ｎ（ｎ≧２）個）の縮小画像データを生成して画像メモリ１２に書き込む。

例えば、入力画像がＶＧＡ（横６４０画素、縦４８０画素）であるものとする。これを横３２０画素、縦２４０画素に縮小して１個目の縮小画像Ａ１のデータを生成して画像メモリ１２に書き込む。さらに、この縮小画像Ａ１のデータを画像メモリ１２から読み出して、横、縦ともに０．８倍した２個目の縮小画像Ａ２のデータを生成して画像メモリ１２に書き込む。以後ｎ個目の縮小画像Ａｎのデータを生成するまで繰り返し縮小処理を行う。ここで、縮小画像データを生成する時の変倍倍率（入力画像から見た倍率）は一例である。また、ｎの値は入力画像サイズ、検出パターンサイズ等の条件から変更するようにしてもよく、値を固定しておいてもよい。以後、縮小画像Ａ１〜Ａｎのデータを生成した変倍倍率をそれぞれ倍率Ａ１〜Ａｎとする。

次に、ステップＳ１０４において、照合対象パターン抽出部１４は、図３（ａ）に示すように、縮小画像Ａ１〜Ａｎの上で所定サイズの矩形領域を矢印で示す方向に移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出する。そして、パターン検出部１６に出力する。ここで所定サイズとは、例えば、検出パターンと同じサイズで図３に示しているが、縮小画像Ａｎ以上のサイズで任意に定めることができる。なお、矢印で示されているような手順は一例であり、順次抽出する手順は同じである必要はない。

さらに、パターン検出部１６は、照合対象パターン抽出部１４で抽出した照合対象パターンが所定のパターンに該当するかどうかについて、検出パターン記憶部１５に記憶されている検出パターンとの照合を順次行う。以上のように通常検出モードでは、ｎ個の縮小画像データを生成して照合を行う。

次に、ステップＳ１０５において、縮小画像Ａ１〜Ａｎにおける照合の結果、所定のパターンを検出したかどうかを判定する。この判定の結果、所定のパターンを検出しなかった場合は、ステップＳ１０１に戻り、ステップＳ１０１〜Ｓ１０４の処理を繰り返す。一方、ステップＳ１０５の判定の結果、所定のパターンを検出した場合は、ステップＳ１０６へ進む。

例えば、ステップＳ１０５において、パターン検出部１６が６個目の縮小画像である縮小画像Ａ６で所定のパターンを検出したものとする。この場合、ステップＳ１０６において、検出情報記憶部１７は、入力画像から見た変倍倍率である縮小画像Ａ６の倍率Ａ６の情報をパターン検出部１６から受け取って記憶する。そして、検出情報記憶部１７に変倍倍率の情報が記憶されると、画像処理装置１は通常検出モードを終了し、高速検出モードに移行する。

図２（ｂ）は、本実施形態において、高速検出モードにおける所定のパターンを検出する処理手順の一例を示すフローチャートである。
まず、ステップＳ１０７において、画像入力部１１は、次の最新フレームの画像データを受信する。次に、ステップＳ１０８において、ステップＳ１０２と同様に画像入力部１１は、受信した画像データを入力画像データとして画像メモリ１２へ書き込む。

次に、ステップＳ１０９において、画像変倍部１３は、画像メモリ１２に記憶されている入力画像データを読み出し、ｍ（ｎ＞ｍ≧１）個の縮小画像データを生成して画像メモリ１２に書き込む。縮小画像データを生成するための縮小倍率は、検出情報記憶部１７に記憶している変倍倍率から決定する。なお、検出情報記憶部１７には、変倍倍率ではなく画像サイズの情報を記憶しておき、その画像サイズから縮小倍率を決定するようにしてもよい。なお、本実施形態では、所定のパターンを検出した縮小画像の変倍倍率が倍率Ａ６であり、倍率Ａ６の情報が検出情報記憶部１７に記憶されているものとして説明する。

例えば、ｍ＝１とした時は、画像変倍部１３は、検出情報記憶部１７に記憶している倍率Ａ６で、入力画像データから縮小画像Ｂ１（＝縮小画像Ｂｍ）のデータを１個生成して画像メモリ１２に書き込む。

また、ｍ＝３とした時は、画像変倍部１３は、検出情報記憶部１７に記憶している倍率Ａ６の１．２５倍の変倍倍率である倍率Ａ５で、入力画像データから縮小画像Ｂ１のデータを生成して画像メモリ１２に書き込む。そして、この縮小画像Ｂ１のデータを画像メモリ１２から読み出し、横、縦ともに０．８倍した縮小画像Ｂ２のデータを生成して画像メモリ１２に書き込む。なお、この変倍倍率は検出情報記憶部１７に記憶している倍率Ａ６と同じである。

続いて、この縮小画像Ｂ２のデータを画像メモリ１２から読み出し、横、縦ともに０．８倍した縮小画像Ｂ３（＝縮小画像Ｂｍ）のデータを生成して画像メモリ１２に書き込む。この変倍倍率は倍率Ａ７である。このようにｍ≠１の時は、ｎ個の縮小画像データを生成した時のｎ個の変倍倍率において、検出情報記憶部１７に記憶している変倍倍率を中心にし、それに近い変倍倍率を使用してｍ個の縮小画像データを生成する。

次に、ステップＳ１１０において、照合対象パターン抽出部１４は、図３（ｂ）に示すように、縮小画像Ｂ１〜Ｂｍの上で所定サイズの矩形領域を矢印で示す方向に移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出する。そして、パターン検出部１６に出力する。パターン検出部１６は、照合対象パターン抽出部１４で抽出した照合対象パターンが所定のパターンに該当するかどうかについて、検出パターン記憶部１５に記憶されている検出パターンとの照合を順次行う。縮小画像データの数がｎ個より少数のｍ個である点で、前述のステップＳ１０４の処理とは異なっている。以上のように高速検出モードでは、ｍ個の縮小画像データを生成して照合を行う。

次に、ステップＳ１１１において、縮小画像Ｂ１〜Ｂｍにおける照合の結果、所定のパターンを検出したかどうかを判定する。この判定の結果、所定のパターンを検出しなかった場合は、そのまま高速検出モードを終了する。そして、検出情報記憶部１７は、記憶している倍率Ａ６の情報を消去して、画像処理装置１は通常検出モードを開始する。一方、ステップＳ１１１の判定の結果、所定のパターンを検出した場合は、ステップＳ１１２へ進む。

例えば、ステップＳ１１１において、パターン検出部１６がｍ＝３で、３個目の縮小画像である縮小画像Ｂ３（＝縮小画像Ｂｍ）で所定のパターンを検出したものとする。この場合、ステップＳ１１２において、検出情報記憶部１７は記憶している倍率Ａ６の情報を消去して、縮小画像Ｂ３の入力画像から見た変倍倍率である倍率Ｂ３の情報をパターン検出部１６から受け取って新規に記憶する。そして、ステップＳ１０７に戻り、前述した手順と同様にステップＳ１０７〜Ｓ１１１の処理を実行する。

なお、パターン検出部１６が既知の輝度補正処理、濃度補正処理や背景除去処理機能を有し、照合対象パターンに対してこれらの処理を行い、パターン検出部１６による照合の精度をさらに高めるようにしてもよい。また、既知の輝度補正処理、濃度補正処理や背景除去処理を有する画像処理部を別途備えるようにして、入力画像又は縮小画像に対してこれらの処理を行い、パターン検出部１６による照合の精度をさらに高めるようにしてもよい。

また、パターン検出部１６による照合において、画像の輝度成分のみを使用する構成にしてもよい。この場合、画像変倍部１３は、輝度成分のみを抽出して輝度成分のみの縮小画像データを生成するようにしてもよい。

以上のように本実施形態においては、検出情報記憶部１７に記憶している変倍倍率が存在しない時は、入力画像上における所定の被写体の大きさが不明な条件下で所定のパターンを検出するために十分なｎ（ｎ≧２）個の縮小画像を使用する。

ここで、検出情報記憶部１７に記憶している変倍倍率が存在しない時とは、最初のフレームを画像入力部１１が受信した時を含むこととする。一方で、検出情報記憶部１７に記憶している変倍倍率が存在する時は、入力画像上における所定の被写体の大きさが既に判明していることを利用して、所定のパターンを検出するためにｍ（ｎ＞ｍ≧１）個の縮小画像を使用する。

このように、検出情報記憶部１７に記憶している変倍倍率から縮小画像データを生成するための変倍倍率を限定しているため、生成する縮小画像データを少なくするとともに、所定のパターンを検出することができる。そのため、変倍処理数及び照合回数の減少によって演算処理負荷を軽減して、所定の被写体の検出を高速化することができる。

また、変倍処理数を減少させてもｍ＞１にすることによって、所定の被写体の入力画像における大きさが変化した場合においても、検出精度を維持することできる。また、本実施形態の画像処理装置１は外部から画像データを受信する構成で説明したが、撮像装置等の画像データ出力元を画像処理装置１と一体に構成しても、本発明の効果を得ることができるのは言うまでもない。

（第２の実施形態）
以下、本実施形態について説明する。図４は、本実施形態の画像処理装置２０の構成例を示すブロック図である。まず、本実施形態の画像処理装置２０の構成について説明する。
図４において、画像入力部２１は、外部の撮像装置２から画像データを受信するためのものである。また、画像入力部２１は、特定の通信方式に準拠したマーカーコード付きのプロトコルに適合させた画像データや、ＪＰＥＧ／ＭＰＥＧ４等の圧縮処理された画像データを受信する必要がある場合を想定し、デコード処理機能を有している。

撮像装置２は、撮影画角を変更可能なズームレンズを通して入射される光をＣＣＤ、ＣＭＯＳ等で光電変換してデジタルデータで構成される撮影画像データを生成する汎用のカメラである。撮像装置２は撮影画像データと共に少なくともズーム倍率を含む撮影パラメータを画像処理装置２０に対して出力する。そして、撮影パラメータ記憶部２８は、撮像装置２から出力された撮影パラメータを受信してパラメータ情報として記憶する。また、撮像装置２と画像処理装置２０との間のデータ送受信には、Local Area Network（ＬＡＮ）のような汎用的なネットワーク回線や専用ケーブルなどが使用される。

画像メモリ２２は、ＲＡＭなどの読み書き可能な記憶装置で構成されており、画像入力部２１で受信した画像データや画像変倍部２３で変倍処理した画像データを記憶する。画像変倍部２３は、画像メモリ２２に記憶された画像データを読み出し、縮小画像データ（変倍画像データ）を生成して画像メモリ２２に書き込むためのものである。

照合対象パターン抽出部２４は、画像メモリ２２に記憶された縮小画像データ上で所定サイズの矩形領域を移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出して出力する。なお、オリジナル画像も１／１の縮小画像と解釈し、縮小画像に含むことができるものとする。

検出パターン記憶部２５は、入力画像から検出したい所定のパターン（対象物）を検出パターンとして予め記憶しておくためのものである。パターン検出部２６は、照合対象パターンが所定のパターンに該当するかどうかについて、検出パターン記憶部２５に記憶されている検出パターンとの照合を行う。検出情報記憶部２７は、パターン検出部２６によって所定のパターンが検出された時に使用された縮小画像の変倍倍率の倍率情報をパターン検出部２６から受け取って記憶するためのものである。

次に、図４に示した各部の動作によってなされる処理について、図５のフローチャートを参照しながら説明する。画像処理装置２０は、所定のパターンの検出において通常検出モードと高速検出モードとの２種類の検出モードを有する。そこで、最初は、画像処理装置２０は通常検出モードで動作する。

図５（ａ）は、本実施形態において、通常検出モードにおける所定のパターンを検出する処理手順の一例を示すフローチャートである。
処理を開始すると、まず、ステップＳ２０１において、画像入力部２１は画像データを撮像装置２から受信し、撮影パラメータ記憶部２８はその画像データに関する撮影パラメータを受信する。

次に、ステップＳ２０２において、画像入力部２１は、入力画像データを画像メモリ２２へ書き込む。この時、特定の通信方式に準拠したマーカーコード付きのプロトコルに適合させた画像データを受信した場合には、画像入力部２１はマーカーコードを除去するなどのデコード処理をして、この処理結果を入力画像データとして画像メモリ２２へ書き込む。また、ＪＰＥＧ／ＭＰＥＧ４等の圧縮処理された画像データを受信した場合も、受信した画像データに対して伸長処理等のデコード処理をして、この処理結果を入力画像データとして画像メモリ２２へ書き込む。デコード処理が不要な場合は、受信した画像データを入力画像データとして画像メモリ２２へ書き込む。また、撮影パラメータ記憶部２８は受信した撮影パラメータを記憶する。

次に、ステップＳ２０３において、画像変倍部２３は、画像メモリ２２に記憶されている入力画像データを読み出し、ｎ（ｎ≧２）個の縮小画像データを生成して画像メモリ２２に書き込む。

例えば、入力画像がＶＧＡ（横６４０画素、縦４８０画素）であるものとする。これを横３２０画素、縦２４０画素に縮小して１個目の縮小画像Ａ１のデータを生成して画像メモリ２２に書き込む。さらに、この縮小画像Ａ１のデータを画像メモリ２２から読み出して、横、縦ともに０．８倍した２個目の縮小画像Ａ２のデータを生成して画像メモリ２２に書き込む。以後、ｎ個目の縮小画像Ａｎのデータを生成するまで繰り返し縮小処理を行う。ここで、縮小画像データを生成する時の変倍倍率（入力画像から見た倍率）は一例である。またｎの値は入力画像サイズ、検出パターンサイズ等の条件から変更するようにしてもよく、値を固定しておいてもよい。以後、縮小画像Ａ１〜Ａｎのデータを生成した変倍倍率をそれぞれ倍率Ａ１〜Ａｎとする。

次に、ステップＳ２０４において、照合対象パターン抽出部２４は、図６（ａ）に示すように縮小画像Ａ１〜Ａｎの上で所定サイズの矩形領域を矢印で示す方向に移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出する。そして、パターン検出部２６に出力する。ここで所定サイズとは、例えば、検出パターンと同じサイズで図６に示しているが、縮小画像Ａｎ以上のサイズで任意に定めることができる。なお、矢印で示されているような手順は一例であり、順次抽出する手順は同じである必要はない。

さらに、パターン検出部２６は、照合対象パターン抽出部２４で抽出した照合対象パターンが所定のパターンに該当するかどうかについて、検出パターン記憶部２５に記憶されている検出パターンとの照合を順次行う。以上のように通常検出モードでは、ｎ個の縮小画像データを生成して照合を行う。

次に、ステップＳ２０５において、縮小画像Ａ１〜Ａｎにおける照合の結果、所定のパターンを検出したかどうかを判定する。この判定の結果、所定のパターンを検出しなかった場合は、ステップＳ２０１に戻り、ステップＳ２０１〜Ｓ２０４の処理を繰り返す。一方、ステップＳ２０５の判定の結果、所定のパターンを検出した場合は、ステップＳ２０６へ進む。

例えば、ステップＳ２０５において、パターン検出部２６が６個目の縮小画像である縮小画像Ａ６で所定のパターンを検出したものとする。この場合、ステップＳ２０６において、検出情報記憶部２７は、入力画像から見た変倍倍率である縮小画像Ａ６の倍率Ａ６の情報をパターン検出部２６から受け取って記憶する。そして、検出情報記憶部２７に変倍倍率の情報が記憶されると、画像処理装置２０は通常検出モードを終了し、高速検出モードに移行する。

図５（ｂ）は、本実施形態において、高速検出モードにおける所定のパターンを検出する処理手順の一例を示すフローチャートである。
まず、ステップＳ２０７において、画像入力部２１は次の最新フレームの画像データを撮像装置２から受信し、撮影パラメータ記憶部２８はその画像データに関する撮影パラメータを受信する。次に、ステップＳ２０８において、ステップＳ２０２と同様に画像入力部２１は受信した画像データを入力画像データとして画像メモリ２２へ書き込む。さらに、撮影パラメータ記憶部２８は１つ前のフレームの撮影パラメータに追加するように、最新フレームの撮影パラメータを記憶する。

次に、ステップＳ２０９において、画像変倍部２３は、画像メモリ２２に記憶されている入力画像データを読み出し、ｍ（ｎ＞ｍ≧１）個の縮小画像データを生成して画像メモリ２２に書き込む。縮小画像データを生成するための縮小倍率は、検出情報記憶部２７に記憶している変倍倍率と、撮影パラメータ記憶部２８に記憶している撮影パラメータ（撮像装置２のズーム倍率）とから決定する。なお、本実施形態では、所定のパターンを検出した縮小画像の変倍倍率が倍率Ａ６であり、倍率Ａ６の情報が検出情報記憶部２７に記憶されているものとして説明する。

まず、一例として、ｍ＝１の時の動作を説明する。検出情報記憶部２７に記憶している倍率Ａ６が０．４倍、１つ前のフレームのズーム倍率が２倍、最新フレームのズーム倍率が５倍であるとする。この時、最新フレームの縮小画像生成用の変倍倍率Ａ６´は下記の式で求める。
Ａ６´＝Ａ６×（１つ前のフレームのズーム倍率）÷（最新フレームのズーム倍率）
＝０．４×２÷５
＝０．１６［倍］

画像変倍部２３はこの倍率Ａ６´で入力画像データから縮小画像Ｂ１（＝縮小画像Ｂｍ）のデータを１個生成して画像メモリ２２に書き込む。なお、画像変倍部２３が固定倍しか処理できない構成である時は、倍率Ａ６´とは異なるが、近い値を代用しても構わない。

次に、ｍ＝３である時の例について説明する。検出情報記憶部２７に記憶している倍率Ａ６が０．４倍、１つ前のフレームのズーム倍率が２倍、最新フレームのズーム倍率が５倍であるとする。まず、前述したｍ＝１の時の例と同様の手順で倍率Ａ６´を求める。そして、画像変倍部２３は、この倍率Ａ６´の１．２５倍の変倍倍率で入力画像データから縮小画像Ｂ１のデータを生成して画像メモリ２２に書き込む。次に、この縮小画像Ｂ１のデータを画像メモリ２２から読み出し、横、縦ともに０．８倍した縮小画像Ｂ２のデータを生成して画像メモリ２２に書き込む。この変倍倍率は倍率Ａ６´と同じである。

続いて、この縮小画像Ｂ２のデータを画像メモリ２２から読み出し、横、縦ともに０．８倍した縮小画像Ｂ３（＝縮小画像Ｂｍ）のデータを生成して画像メモリ２２に書き込む。このようにｍ≠１の時は、検出情報記憶部２７に記憶している変倍倍率と撮影パラメータ記憶部２８に記憶している撮影パラメータとから決定した変倍倍率を中心にし、それに近い変倍倍率を使用してｍ個の縮小画像データを生成する。

次に、ステップＳ２１０において、照合対象パターン抽出部２４は、図６（ｂ）に示すように、縮小画像Ｂ１〜Ｂｍの上で所定サイズの矩形領域を矢印で示す方向に移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出する。そして、パターン検出部２６に出力する。パターン検出部２６は、照合対象パターン抽出部２４で抽出した照合対象パターンが所定のパターンに該当するかどうかについて、検出パターン記憶部２５に記憶されている検出パターンとの照合を順次行う。縮小画像データの数がｎ個より少数のｍ個である点で、前述のステップＳ２０４の処理とは異なっている。以上のように高速検出モードでは、ｍ個の縮小画像データを生成して照合を行う。

次に、ステップＳ２１１において、縮小画像Ｂ１〜Ｂｍにおける照合の結果、所定のパターンを検出したかどうかを判定する。この判定の結果、所定のパターンを検出しなかった場合は、そのまま高速検出モードを終了する。そして、検出情報記憶部２７は、記憶している倍率Ａ６の情報を消去して、画像処理装置２０は通常検出モードを開始する。一方、ステップＳ２１１の判定の結果、所定のパターンを検出した場合は、ステップＳ２１２へ進む。

例えば、ステップＳ２１１において、パターン検出部２６がｍ＝３で、３個目の縮小画像である縮小画像Ｂ３（＝縮小画像Ｂｍ）で所定のパターンを検出したものとする。この場合、ステップＳ２１２において、検出情報記憶部２７は記憶している倍率Ａ６の情報を消去して、縮小画像Ｂ３の入力画像から見た変倍倍率である倍率Ｂ３の情報をパターン検出部２６から受け取って新規に記憶する。そして、前述した手順と同様にステップＳ２０７〜Ｓ２１１の処理を実行する。

本実施形態では、撮影パラメータ記憶部２８に２つの撮影パラメータを記憶するものとして説明したが、両撮影パラメータ間の変化量を記憶するようにしてもよい。例えば、１つ前のフレーム及び最新フレームのズーム倍率がそれぞれ２倍と５倍とである時、その変化分である２．５倍という値を記憶するようにしてもよい。その場合は、最新フレームの縮小画像生成用の変倍倍率は（記憶している変倍倍率）÷（変化分）という計算式で求めることができる。

なお、パターン検出部２６が既知の輝度補正処理、濃度補正処理や背景除去処理機能を有し、照合対象パターンに対してこれらの処理を行い、パターン検出部２６による照合の精度をさらに高めるようにしてもよい。また、既知の輝度補正処理、濃度補正処理や背景除去処理を有する画像処理部を別途備えるようにして、入力画像又は縮小画像に対してこれらの処理を行い、パターン検出部２６による照合の精度をさらに高めるようにしてもよい。

また、パターン検出部２６による照合において、画像の輝度成分のみを使用する構成にしてもよい。この場合、画像変倍部２３は、輝度成分のみを抽出して輝度成分のみの縮小画像データを生成するようにしてもよい。

以上のように本実施形態においては、検出情報記憶部２７に記憶している変倍倍率が存在しない時は、入力画像上における所定の被写体の大きさが不明な条件下で所定のパターンを検出するために十分なｎ（ｎ≧２）個の縮小画像を使用する。

ここで、検出情報記憶部２７に記憶している変倍倍率が存在しない時とは、最初のフレームを画像入力部２１が受信した時を含むこととする。一方で、検出情報記憶部２７に記憶している変倍倍率が存在する時は、入力画像上における所定の被写体の大きさが既に判明していることを利用して、所定のパターンを検出するためにｍ（ｎ＞ｍ≧１）個の縮小画像を使用する。

この時、検出情報記憶部２７に記憶している変倍倍率と撮影パラメータ記憶部２８に記憶している撮影パラメータ（ズーム倍率）とから縮小画像データを生成するための変倍倍率を限定する。そのため、撮像装置２のズーム動作によって入力画像における被写体の大きさが変化した場合においても、生成する縮小画像データを少なくするとともに、所定のパターンを検出することができる。さらに、変倍処理数及び照合回数の減少によって演算処理負荷を軽減して、所定の被写体の検出を高速化することができる。

また、変倍処理数を減少させてもｍ＞１にすることによって、所定の被写体と撮像装置との距離の変化によって入力画像における大きさが変化した場合においても、検出精度を維持することできる。また、本実施形態の画像処理装置２０と撮像装置２とが汎用的なネットワーク回線や専用ケーブルなどが使用して接続される構成で説明したが、画像処理装置２０と撮像装置２とを一体に構成しても、本発明の効果を得ることができるのは言うまでもない。

（第３の実施形態）
以下、本実施形態について説明する。図７は、本実施形態の画像処理装置３０の構成例を示すブロック図である。まず、本実施形態の画像処理装置３０の構成について説明する。
図７において、画像入力部３１は、外部の撮像装置２から画像データを受信するためのものである。また、画像入力部３１は、特定の通信方式に準拠したマーカーコード付きのプロトコルに適合させた画像データや、ＪＰＥＧ／ＭＰＥＧ４等の圧縮処理された画像データを受信する必要がある場合を想定し、デコード処理機能を有している。

撮像装置２は、撮影画角を変更可能なズームレンズを通して入射される光をＣＣＤ、ＣＭＯＳ等で光電変換してデジタルデータで構成される撮影画像データを生成する汎用のカメラである。撮像装置２は撮影画像データと共に少なくともズーム倍率を含む撮影パラメータを画像処理装置３０に対して出力する。そして、撮影パラメータ記憶部３８は、撮像装置２から出力された撮影パラメータを受信してパラメータ情報として記憶する。撮像装置２と画像処理装置３０との間のデータ送受信には、Local Area Network（ＬＡＮ）のような汎用的なネットワーク回線や専用ケーブルなどが使用される。

画像メモリ３２は、ＲＡＭなどの読み書き可能な記憶装置で構成されており、画像入力部３１で受信した画像データや画像変倍部３３で変倍処理した画像データを記憶する。画像変倍部３３は、画像メモリ３２に記憶された画像データを読み出し、縮小画像データ（変倍画像データ）を生成して画像メモリ３２に書き込む。

照合対象パターン抽出部３４は、画像メモリ３２に記憶された縮小画像データ上で所定サイズの矩形領域を移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出して出力する。なお、オリジナル画像も１／１の縮小画像と解釈し、縮小画像に含むことができるものとする。

検出パターン記憶部３５は、入力画像から検出したい所定のパターン（対象物）を検出パターンとして予め記憶しておくためのものである。パターン検出部３６は、照合対象パターンが所定のパターンに該当するかどうかについて、検出パターン記憶部３５に記憶されている検出パターンとの照合を行う。検出情報記憶部３７は、パターン検出部３６によって所定のパターンが検出された時に使用された縮小画像の変倍倍率の倍率情報と照合対象パターンの位置情報とをパターン検出部３６から受け取って記憶する。さらに、検出情報記憶部３７は、照合対象パターンの位置情報を撮像装置２に送信する。

次に、図７に示した各部の動作によってなされる処理について、図８のフローチャートを参照しながら説明する。画像処理装置３０は、所定のパターンの検出において通常検出モードと高速検出モードとの２種類の検出モードを有する。そこで、最初は、画像処理装置３０は通常検出モードで動作するものとする。

図８（ａ）は、本実施形態において、通常検出モードにおける所定のパターンを検出する処理手順の一例を示すフローチャートである。
処理を開始すると、まず、ステップＳ３０１において、画像入力部３１は画像データを撮像装置２から受信し、撮影パラメータ記憶部３８はその画像データに関する撮影パラメータを受信する。

次に、ステップＳ３０２において、画像入力部３１は、入力画像データを画像メモリ３２へ書き込む。この時、特定の通信方式に準拠したマーカーコード付きのプロトコルに適合させた画像データを受信した場合には、画像入力部３１はマーカーコードを除去するなどのデコード処理をして、この処理結果を入力画像として画像メモリ３２へ書き込む。また、ＪＰＥＧ／ＭＰＥＧ４等の圧縮処理された画像データを受信した場合も、受信した画像データに対して伸長処理等のデコード処理をして、この処理結果を入力画像データとして画像メモリ３２へ書き込む。デコード処理が不要な場合は、受信した画像データを入力画像データとして画像メモリ３２へ書き込む。また、撮影パラメータ記憶部３８は受信した撮影パラメータを記憶する。

次に、ステップＳ３０３において、画像変倍部３３は、画像メモリ３２に記憶されている入力画像データを読み出し、ｎ（ｎ≧２）個の縮小画像データを生成して画像メモリ３２に書き込む。

例えば、入力画像がＶＧＡ（横６４０画素、縦４８０画素）であるものとする。これを横３２０画素、縦２４０画素に縮小して１個目の縮小画像Ａ１のデータを生成して画像メモリ３２に書き込む。さらに、この縮小画像Ａ１のデータを画像メモリ３２から読み出して、横、縦ともに０．８倍した２個目の縮小画像Ａ２のデータを生成して画像メモリ３２に書き込む。以後ｎ個目の縮小画像Ａｎのデータを生成するまで繰り返し縮小処理を行う。ここで、縮小画像データを生成する時の変倍倍率（入力画像から見た倍率）は一例である。また、ｎの値は入力画像サイズ、検出パターンサイズ等の条件から変更するようにしてもよく、値を固定しておいてもよい。以後、縮小画像Ａ１〜Ａｎのデータを生成した変倍倍率をそれぞれ倍率Ａ１〜Ａｎとする。

次に、ステップＳ３０４において、照合対象パターン抽出部３４は、図６（ａ）に示すように、縮小画像Ａ１〜Ａｎの上で所定サイズの矩形領域を矢印で示す方向に移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出する。そして、パターン検出部３６に出力する。ここで所定サイズとは、例えば、検出パターンと同じサイズで図６に示しているが、縮小画像Ａｎ以上のサイズで任意に定めることができる。なお、矢印で示されているような手順は一例であり、順次抽出する手順は同じである必要はない。

さらに、パターン検出部３６は、照合対象パターン抽出部３４で抽出した照合対象パターンが所定のパターンに該当するかどうかについて、検出パターン記憶部３５に記憶されている検出パターンとの照合を順次行う。以上のように通常検出モードでは、ｎ個の縮小画像データを生成して照合を行う。

次に、ステップＳ３０５において、縮小画像Ａ１〜Ａｎにおける照合の結果、所定のパターンを検出したかどうかを判定する。この判定の結果、所定のパターンを検出しなかった場合は、ステップＳ３０１に戻り、ステップＳ３０１〜Ｓ３０４の処理を繰り返す。一方、ステップＳ３０５の判定の結果、所定のパターンを検出した場合は、ステップＳ３０６へ進む。

例えば、ステップＳ３０５において、パターン検出部３６が６個目の縮小画像である縮小画像Ａ６で所定のパターンを検出したものとする。この場合、ステップＳ３０６において、検出情報記憶部３７は、入力画像から見た変倍倍率である縮小画像Ａ６の倍率Ａ６と照合対象パターンの位置との情報をパターン検出部３６から受け取って記憶する。

次に、ステップＳ３０７において、検出情報記憶部３７は、縮小画像Ａ６における照合対象パターンの位置と倍率Ａ６とから、入力画像における所定のパターンの位置を算出して、算出結果を検出情報として撮像装置２へ送信する。そして、検出情報記憶部３７に変倍倍率の情報が記憶され、検出情報が撮像装置２へ送信されると、画像処理装置３０は通常検出モードを終了し、高速検出モードに移行する。

図８（ｂ）は、本実施形態において、高速検出モードにおける所定のパターンを検出する処理手順の一例を示すフローチャートである。
まず、ステップＳ３０８において、画像入力部３１は次の最新フレームの画像データを撮像装置２から受信し、撮影パラメータ記憶部３８はその画像データに関する撮影パラメータを受信する。次に、ステップＳ３０９において、ステップＳ３０２と同様に画像入力部３１は受信した画像データを入力画像データとして画像メモリ３２へ書き込む。さらに、撮影パラメータ記憶部３８は１つ前のフレームの撮影パラメータに追加するように、最新フレームの撮影パラメータを記憶する。

次に、ステップＳ３１０において、画像変倍部３３は、画像メモリ３２に記憶されている入力画像データを読み出し、ｍ（ｎ＞ｍ≧１）個の縮小画像データを生成して画像メモリ３２に書き込む。縮小画像データを生成するための縮小倍率は、検出情報記憶部３７に記憶している変倍倍率と、撮影パラメータ記憶部３８に記憶している撮影パラメータ（撮像装置２のズーム倍率）とから決定する。なお、本実施形態では、所定のパターンを検出した縮小画像の変倍倍率が倍率Ａ６であり、倍率Ａ６の情報が検出情報記憶部３７に記憶されているものとして説明する。

まず、一例としてｍ＝１の時の動作を説明する。検出情報記憶部３７に記憶している倍率Ａ６が０．４倍、１つ前のフレームのズーム倍率が２倍、最新フレームのズーム倍率が５倍であるとする。この時、最新フレームの縮小画像生成用の変倍倍率Ａ６´は下記の式で求める。
Ａ６´＝Ａ６×（１つ前のフレームのズーム倍率）÷（最新フレームのズーム倍率）
＝０．４×２÷５
＝０．１６［倍］

画像変倍部３３はこの倍率Ａ６´で入力画像データから縮小画像Ｂ１（＝縮小画像Ｂｍ）のデータを１個生成して画像メモリ３２に書き込む。なお、画像変倍部３３が固定倍しか処理できない構成である時は、倍率Ａ６´とは異なるが、近い値を代用しても構わない。

次に、ｍ＝３である時の例について説明する。検出情報記憶部３７に記憶している倍率Ａ６が０．４倍、１つ前のフレームのズーム倍率が２倍、最新フレームのズーム倍率が５倍であるとする。まず、前述したｍ＝１の時の例と同様の手順で倍率Ａ６´を求める。そして、画像変倍部３３は、この倍率Ａ６´の１．２５倍の変倍倍率で入力画像データから縮小画像Ｂ１のデータを生成して画像メモリ３２に書き込む。次に、この縮小画像Ｂ１のデータを画像メモリ３２から読み出し、横、縦ともに０．８倍して縮小画像Ｂ２のデータを生成して画像メモリ３２に書き込む。この変倍倍率は倍率Ａ６´と同じである。

続いて、この縮小画像Ｂ２のデータを画像メモリ３２から読み出し、横、縦ともに０．８倍した縮小画像Ｂ３（＝縮小画像Ｂｍ）のデータを生成して画像メモリ３２に書き込む。このようにｍ≠１の時は、検出情報記憶部３７に記憶している変倍倍率と撮影パラメータ記憶部３８に記憶している撮影パラメータとから決定した変倍倍率を中心にし、それに近い変倍倍率を使用してｍ個の縮小画像データを生成する。

次に、ステップＳ３１１において、照合対象パターン抽出部３４は、図６（ｂ）に示すように、縮小画像Ｂ１〜Ｂｍの上で所定サイズの矩形領域を矢印で示す方向に移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出する。そして、パターン検出部３６に出力する。パターン検出部３６は、照合対象パターン抽出部３４が抽出した照合対象パターンが検出パターン記憶部３５に記憶されている検出パターンに該当するかどうかについて、順次照合を行う。縮小画像データの数がｎ個より少数のｍ個である点で、前述のステップＳ３０４の処理とは異なっている。以上のように高速検出モードでは、ｍ個の縮小画像データを生成して照合を行う。

次に、ステップＳ３１２において、縮小画像Ｂ１〜Ｂｍにおける照合の結果、所定のパターンを検出したかどうかを判定する。この判定の結果、所定のパターンを検出しなかった場合は、そのまま高速検出モードを終了する。そして、検出情報記憶部３７は、記憶している倍率Ａ６の情報を消去して、画像処理装置３０は通常検出モードを開始する。一方、ステップＳ３１２の判定の結果、所定のパターンを検出した場合は、ステップＳ３１３へ進む。

例えば、ステップＳ３１２において、パターン検出部３６がｍ＝３で、３個目の縮小画像である縮小画像Ｂ３（＝縮小画像Ｂｍ）で所定のパターンを検出したものとする。この場合、ステップＳ３１３において、検出情報記憶部３７は記憶している倍率Ａ６と照合対象パターンの位置との情報を消去する。そして、縮小画像Ｂ３の入力画像から見た変倍倍率である倍率Ｂ３と照合対象パターンの位置との情報をパターン検出部３６から受け取って新規に記憶する。

次に、ステップＳ３１４において、検出情報記憶部３７は、縮小画像Ｂ３における照合対象パターンの位置と倍率Ｂ３とから、入力画像における所定のパターンの位置を算出して、算出結果を検出情報として撮像装置２へ送信する。そして、ステップＳ３０８に戻り、前述した手順と同様にステップＳ３０８〜Ｓ３１２の処理を実行する。

本実施形態では、撮影パラメータ記憶部３８に２つの撮影パラメータを記憶するものとして説明したが、両撮影パラメータ間の変化量を記憶するようにしてもよい。例えば、１つ前のフレーム及び最新フレームのズーム倍率がそれぞれ２倍と５倍とである時、その変化分である２．５倍という値を記憶するようにしてもよい。その場合は、最新フレームの縮小画像生成用の変倍倍率は（記憶している変倍倍率）÷（変化分）という計算式で求めることができる。

なお、パターン検出部３６が既知の輝度補正処理、濃度補正処理や背景除去処理機能を有し、照合対象パターンに対してこれらの処理を行い、パターン検出部３６による照合の精度をさらに高めるようにしてもよい。また、既知の輝度補正処理、濃度補正処理や背景除去処理を有する画像処理部を別途備えるようにして、入力画像又は縮小画像に対してこれらの処理を行い、パターン検出部３６による照合の精度をさらに高めるようにしてもよい。

また、パターン検出部３６による照合において、画像の輝度成分のみを使用する構成にしてもよい。この場合、画像変倍部３３は、輝度成分のみを抽出して輝度成分のみの縮小画像データを生成するようにしてもよい。

以上のように、検出情報記憶部３７に記憶している変倍倍率が存在しない時は、入力画像上における所定の被写体の大きさが不明な条件下で、検出パターン記憶部３５に記憶されている検出パターンを検出するために十分なｎ（ｎ≧２）個の縮小画像を使用する。

ここで、検出情報記憶部３７に記憶している変倍倍率が存在しない時とは、最初のフレームを画像入力部３１が受信した時を含むこととする。一方で、検出情報記憶部３７に記憶している変倍倍率が存在する時は、入力画像上における所定の被写体の大きさが既に判明していることを利用して、検出パターンを検出するためにｍ（ｎ＞ｍ≧１）個の縮小画像を使用する。

この時、検出情報記憶部３７に記憶している変倍倍率と撮影パラメータ記憶部３８に記憶している撮影パラメータ（ズーム倍率）とから縮小画像データを生成するための変倍倍率を限定する。そのため、撮像装置２のズーム動作によって入力画像における被写体の大きさが変化した場合においても、生成する縮小画像データを少なくするとともに、検出パターンを検出することができる。さらに、変倍処理数及び照合回数の減少によって演算処理負荷を軽減して、所定の被写体の検出を高速化することができる。

また、変倍処理数を減少させてもｍ＞１にすることによって、所定の被写体と撮像装置との距離の変化によって入力画像における大きさが変化した場合においても、検出精度を維持することできる。

また、所定の被写体を検出して撮像装置２へ入力画像（撮影画像）における所定のパターンの位置の情報を検出情報として送信することによって、撮像装置２による所定の被写体の追尾動作を可能にする。ここで、追尾動作とは、パン機構、チルト機構、ズーム機構、画像切り出し処理等の撮像装置２が有する機能を使用して所定パターンを撮影画像内に捕らえ続けることである。

追尾動作時、所定の被写体をズームアップすると画角が狭くなり、通常検出モードのままでは、検出に多くの時間がかかって所定の被写体がフレームアウトしてしまう可能性がある。しかしながら、最初に所定のパターンを検出した後で追尾を行うため、既に高速検出モードで所定パターンの検出を行って検出情報を送信して、撮像装置２は所定パターンを撮影画像内に捕らえ続けることができる。

また、本実施形態の画像処理装置３０と撮像装置２とが汎用的なネットワーク回線や専用ケーブルなどが使用して接続される構成で説明したが、画像処理装置３０と撮像装置２とを一体に構成しても、本発明の効果を得ることができるのは言うまでもない。また、第１の実施形態のように、撮影パラメータ記憶部を有しない画像処理装置であっても、入力画像データの送信先が特定できる場合には、所定のパターンの位置情報を送信先に送信してもよい。

（第４の実施形態）
以下、本実施形態について説明する。図９は、本実施形態の画像処理装置４０の構成例を示すブロック図である。まず、本実施形態の画像処理装置４０の構成について説明する。
図９において、画像入力部４１は、画像データを受信するためのものである。また、画像入力部１１は、特定の通信方式に準拠したマーカーコード付きのプロトコルに適合させた画像データや、ＪＰＥＧ／ＭＰＥＧ４等の圧縮処理された画像データを受信する必要がある場合を想定して、画像入力部４１にデコード処理機能を有している。なお、画像データは、撮像装置で撮影されて生成された撮影画像や、外部の記憶装置内に記憶されている画像などのデータであり、出力元は特定の機器に限定されない。

画像メモリ４２は、ＲＡＭなどの読み書き可能な記憶装置で構成されており、画像入力部４１で受信した画像データや画像変倍部４３で変倍処理した画像データを記憶する。画像変倍部４３は、画像メモリ４２に記憶された画像データを読み出し、縮小画像データ（変倍画像データ）を生成して画像メモリ４２に書き込むためのものである。

照合対象パターン抽出部４４は、画像メモリ４２に記憶された縮小画像データ上で所定サイズの矩形領域を移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出して出力する。なお、オリジナル画像も１／１の縮小画像と解釈し、縮小画像に含むことができるものとする。

検出パターン記憶部４５は、入力画像から検出したい所定のパターン（対象物）を検出パターンとして予め記憶しておくためのものである。パターン検出部４６は、照合対象パターンが所定のパターンに該当するかどうかについて、検出パターン記憶部４５に記憶されている検出パターンとの照合を行う。さらに、検出した所定のパターンから得られる画素について、画素毎にＹＵＶ値に変換する。検出情報記憶部４７は、パターン検出部４６によって所定のパターンが検出された時に使用された縮小画像の変倍倍率の情報及び色情報をパターン検出部４６から受け取って記憶する。

次に、図９に示した各部の動作によってなされる処理について、図１０のフローチャートを参照しながら説明する。画像処理装置４０は、所定のパターンの検出において通常検出モードと高速検出モードとの２種類の検出モードを有する。そこで、最初は、画像処理装置４０は通常検出モードで動作するものとする。

図１０（ａ）は、本実施形態において、通常検出モードにおける所定のパターンを検出する処理手順の一例を示すフローチャートである。
処理を開始すると、まず、ステップＳ４０１において、画像入力部４１は、画像データを受信する。この時、特定の通信方式に準拠したマーカーコード付きのプロトコルに適合させた画像データや、ＪＰＥＧ／ＭＰＥＧ４等の圧縮処理された画像データを受信した場合には、受信した画像データに対してデコード処理をする。

次に、ステップＳ４０２において、この処理結果を入力画像データとして画像メモリ４２へ書き込む。なお、デコード処理が不要な場合は、受信した画像データを入力画像データとして画像メモリ４２へ書き込む。

次に、ステップＳ４０３において、画像変倍部４３は、画像メモリ４２に記憶されている入力画像データを読み出し、ｎ（ｎ≧２）個の縮小画像データを生成して画像メモリ４２に書き込む。

例えば、入力画像がＶＧＡ（横６４０画素、縦４８０画素）であるものとする。これを横３２０画素、縦２４０画素に縮小して１個目の縮小画像Ａ１のデータを生成して画像メモリ４２に書き込む。さらに、この縮小画像Ａ１のデータを画像メモリ４２から読み出して、横、縦ともに０．８倍した２個目の縮小画像Ａ２のデータを生成して画像メモリ４２に書き込む。以後ｎ個目の縮小画像Ａｎのデータを生成するまで繰り返し縮小処理を行う。ここで、縮小画像データを生成する時の変倍倍率（入力画像から見た倍率）は一例である。また、ｎの値は入力画像サイズ、検出パターンサイズ等の条件から変更するようにしてもよく、値を固定しておいてもよい。以後、縮小画像Ａ１〜Ａｎのデータを生成した変倍倍率をそれぞれ倍率Ａ１〜Ａｎとする。

次に、ステップＳ４０４において、照合対象パターン抽出部４４は、図３（ａ）に示すように、縮小画像Ａ１〜Ａｎの上で所定サイズの矩形領域を矢印で示す方向に移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出する。そして、パターン検出部４６に出力する。ここで所定サイズとは、例えば、検出パターンと同じサイズで図３に示しているが、縮小画像Ａｎ以上のサイズで任意に定めることができる。なお、矢印で示されているような手順は一例であり、順次抽出する手順は同じである必要はない。

さらに、パターン検出部４６は、照合対象パターン抽出部４４で抽出した照合対象パターンが所定のパターンに該当するかどうかについて、検出パターン記憶部４５に記憶されている検出パターンとの照合を順次行う。以上のように通常検出モードでは、ｎ個の縮小画像データを生成して照合を行う。

次に、ステップＳ４０５において、縮小画像Ａ１〜Ａｎにおける照合の結果、所定のパターンを検出したかどうかを判定する。この判定の結果、所定のパターンを検出しなかった場合は、ステップＳ４０１に戻り、ステップＳ４０１〜Ｓ４０４の処理を繰り返す。一方、ステップＳ４０５の判定の結果、所定のパターンを検出した場合は、ステップＳ４０６へ進む。

例えば、ステップＳ４０５において、パターン検出部４６が６個目の縮小画像である縮小画像Ａ６で所定のパターンを検出したものとする。この場合、ステップＳ４０６において、検出情報記憶部４７は、入力画像から見た変倍倍率である縮小画像Ａ６の倍率Ａ６の情報をパターン検出部４６から受け取って記憶する。さらに、パターン検出部４６は、検出した所定のパターンから得られる画素について、画素毎にＹＵＶ値に変換する。そして、検出情報記憶部４７は、色差情報であるＵ及びＶ値の上限及び下限からなる色情報をパターン検出部４６から受け取って記憶する。そして、検出情報記憶部４７に変倍倍率の情報と色情報とが記憶された時、画像処理装置４０は通常検出モードを終了し、高速検出モードに移行する。

図１０（ｂ）は、本実施形態において、高速検出モードにおける所定のパターンを検出する処理手順の一例を示すフローチャートである。
まず、ステップＳ４０７において、画像入力部４１は次の最新フレームの画像データを受信する。次に、ステップＳ４０８において、ステップＳ４０２と同様に画像入力部４１は、受信した画像データを入力画像データとして画像メモリ４２へ書き込む。

次に、ステップＳ４０９において、画像変倍部４３は、画像メモリ４２に記憶されている入力画像データを読み出し、ｍ（ｎ＞ｍ≧１）個の縮小画像データを生成して画像メモリ４２に書き込む。縮小画像データを生成するための縮小倍率は、検出情報記憶部４７に記憶している変倍倍率から決定する。なお、検出情報記憶部４７には、変倍倍率ではなく画像サイズの情報を記憶しておき、その画像サイズから縮小倍率を決定するようにしてもよい。なお、本実施形態では、所定のパターンを検出した縮小画像の変倍倍率が倍率Ａ６であり、倍率Ａ６の情報が検出情報記憶部４７に記憶されているものとして説明する。

例えば、ｍ＝１とした時は、画像変倍部４３は、検出情報記憶部４７に記憶している倍率Ａ６で、入力画像データから縮小画像Ｂ１（＝縮小画像Ｂｍ）のデータを１個生成して画像メモリ４２に書き込む。

また、ｍ＝３とした時は、画像変倍部４３は、検出情報記憶部４７に記憶している倍率Ａ６の１．２５倍の変倍倍率である倍率Ａ５で、入力画像データから縮小画像Ｂ１のデータを生成して画像メモリ４２に書き込む。そして、この縮小画像Ｂ１のデータを画像メモリ４２から読み出し、横、縦ともに０．８倍して縮小画像Ｂ２のデータを生成して画像メモリ４２に書き込む。なお、この変倍倍率は検出情報記憶部４７に記憶している倍率Ａ６と同じである。

続いて、この縮小画像Ｂ２のデータを画像メモリ４２から読み出し、横、縦ともに０．８倍して縮小画像Ｂ３（＝縮小画像Ｂｍ）のデータを生成して画像メモリ４２に書き込む。この変倍倍率は倍率Ａ７である。このようにｍ≠１の時は、ｎ個の縮小画像データを生成した時のｎ個の変倍倍率において、検出情報記憶部４７に記憶している変倍倍率を中心にし、それに近い変倍倍率を使用してｍ個の縮小画像データを生成する。

次に、ステップＳ４１０において、照合対象パターン抽出部４４は、図３（ｂ）に示すように、縮小画像Ｂ１〜Ｂｍの上で所定サイズの矩形領域を矢印で示す方向に移動させながら、この矩形に含まれる部分（画素群）を照合対象パターンとして順次抽出する。そして、パターン検出部４６に出力する。そして、パターン検出部４６は、照合対象パターンに対して順次下記の処理を行う。

まず、照合対象パターンにおいて検出情報記憶部４７に記憶している色情報のＵおよびＶ値の上限及び下限に含まれる画素を検出する。ここで、ＵおよびＶ値の上限及び下限に含まれる画素が一定の割合に満たない照合対象パターンは検出パターン記憶部４５に記憶されている検出パターンとの照合を行わないようにする。そして、ＵおよびＶ値の上限及び下限に含まれる画素が一定の割合以上の照合対象パターンのみ、所定のパターンに該当するかどうかについて、検出パターン記憶部４５に記憶されている検出パターンとの照合を行う。縮小画像データの数がｎ個より少数のｍ個である点で、前述のステップＳ４０４の処理とは異なっている。以上のように高速検出モードでは、ｍ個の縮小画像データを生成して照合を行う。

次に、ステップＳ４１１において、縮小画像Ｂ１〜Ｂｍにおける照合の結果、所定のパターンを検出したかどうかを判定する。この判定の結果、所定のパターンを検出しなかった場合は、そのまま高速検出モードを終了する。そして、検出情報記憶部４７は記憶している倍率Ａ６の情報と色情報とを消去して、画像処理装置４０は通常検出モードを開始する。一方、ステップＳ４１１の判定の結果、所定のパターンを検出した場合は、ステップＳ４１２へ進む。

例えば、ステップＳ１１０において、パターン検出部４６がｍ＝３で、３個目の縮小画像である縮小画像Ｂ３（＝縮小画像Ｂｍ）で所定のパターンを検出したものとする。この場合、ステップＳ４１２において、検出情報記憶部４７は記憶している倍率Ａ６の情報と色情報とを消去する。そして、縮小画像Ｂ３の入力画像から見た変倍倍率である倍率Ｂ３の情報と、検出した所定のパターンから得られるＵおよびＶ値の上限及び下限からなる色情報とをパターン検出部４６から受け取って新規に記憶する。そして、ステップＳ４０７に戻り、前述した手順と同様にステップＳ４０７〜Ｓ４１１の処理を実行する。

本実施形態では、検出した所定のパターンから得られるＵおよびＶ値の上限及び下限からなる色情報を検出情報記憶部４７に記憶するようにした。一方、輝度やＲＧＢの色情報を記憶しておき、これらを用いて、検出パターンと照合する照合対象パターンを限定するようにしてもよい。

また、本実施形態では、パターン検出部４６に既知の輝度補正処理、濃度補正処理や背景除去処理機能を有し、照合対象パターンに対してこれらの処理を行い、パターン検出部４６による照合の精度をさらに高めるようにしてもよい。また、既知の輝度補正処理、濃度補正処理や背景除去処理を有する画像処理部を別途備えるようにして、入力画像又は縮小画像に対してこれらの処理を行い、パターン検出部４６による照合の精度をさらに高めるようにしてもよい。

また、パターン検出部４６による照合において、画像の輝度成分のみを使用する構成にしてもよい。この場合、画像変倍部４３は、輝度成分のみを抽出して輝度成分のみの縮小画像データを生成するようにしてもよい。

以上のように本実施形態では、第１の実施形態と同様に、検出情報記憶部４７に記憶している変倍倍率から縮小画像データを生成するための変倍倍率を限定している。これにより、生成する縮小画像データを少なくするとともに、所定のパターンを検出することができる。したがって、変倍処理数及び照合回数の減少によって演算処理負荷を軽減して、所定の被写体の検出を高速化することができる。

さらに、本実施形態では、検出情報記憶部４７は検出した所定のパターンから得られるＵおよびＶ値の上限及び下限からなる色情報を記憶する。そして、ＵおよびＶ値の上限及び下限に含まれる画素が一定の割合以上の照合対象パターンのみ、検出パターン記憶部４５に記憶されている検出パターンとの照合を行うことによって、さらに照合回数が減少する。そのため、演算処理負荷をより軽減して、所定の被写体の検出をさらに高速化することができる。

また、変倍処理数を減少させてもｍ＞１にすることによって、所定の被写体と撮像装置との距離の変化によって入力画像における大きさが変化した場合においても、検出精度を維持することできる。また、本実施形態の画像処理装置４０は外部から画像データを受信する構成で説明したが、撮像装置等の画像データ出力元を画像処理装置４０と一体に構成しても、本発明の効果を得ることができるのは言うまでもない。さらに、第２及び第３の実施形態の画像処理装置と組み合わせてもよい。

（本発明に係る他の実施形態）
本発明の目的は前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記録媒体に接続したコンピュータ（またはＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても達成される。コンピュータは撮像装置等の画像データ出力元と接続して画像データの受信を行う構成としてもよいし、画像データ出力元と一体に構成してもよい。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶したコンピュータ読み取り可能な記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOperating System（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリにまず書きこまれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置において、所定のパターンを検出するための処理手順の一例を示すフローチャートである。 本発明の第１の実施形態において、様々なサイズの縮小画像について照合対象パターンと検出用パターンとを照合する処理を説明する図である。 本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置において、所定のパターンを検出するための処理手順の一例を示すフローチャートである。 本発明の第２の実施形態において、様々なサイズの縮小画像について照合対象パターンと検出用パターンとを照合する処理を説明する図である。 本発明の第３の実施形態に係る画像処理装置の構成例を示すブロック図である。 本発明の第３の実施形態に係る画像処理装置において、所定のパターンを検出するための処理手順の一例を示すフローチャートである。 本発明の第４の実施形態に係る画像処理装置の構成例を示すブロック図である。 本発明の第４の実施形態に係る画像処理装置において、所定のパターンを検出するための処理手順の一例を示すフローチャートである。

符号の説明

１ 画像処理装置
１１ 画像入力部
１２ 画像メモリ
１３ 画像変倍部
１４ 照合対象パターン抽出部
１５ 検出パターン記憶部
１６ パターン検出部
１７ 検出情報記憶部

Claims (10)

1. 画像データから所定の対象物を検出する画像処理装置であって、
   撮像装置から前記画像データを入力する画像入力手段と、
   前記画像入力手段によって入力された前記画像データに関する前記撮像装置のズーム倍率を入力するズーム倍率入力手段と、
   前記所定の対象物を示す検出パターンを記憶する検出パターン記憶手段と、
   前記画像入力手段によって入力された画像データから互いに倍率の異なる複数の変倍画像データを生成する画像変倍手段と、
   前記画像変倍手段によって生成された複数の変倍画像データから一部の領域を抽出し、前記抽出した一部の領域と、前記検出パターン記憶手段に記憶された検出パターンとを照合して前記所定の対象物を検出する検出手段とを有し、
   前記画像変倍手段は、前記画像入力手段によって入力された第１の画像データから生成された第１の変倍画像データから前記検出手段によって前記所定の対象物が検出された場合は、前記第１の画像データに関するズーム倍率から前記第１の画像データの次に前記画像入力手段によって入力された第２の画像データに関するズーム倍率への変化率と、前記第１の画像データから前記第１の変倍画像データを生成するための倍率とに基づいて、前記第２の画像データから第２の変倍画像データを生成するための倍率を決定するとともに、前記第１の画像データから生成された第１の変倍画像データから前記検出手段によって前記所定の対象物が検出されなかった時よりも少数の１つ以上の第２の変倍画像データを前記第２の画像データから生成することを特徴とする画像処理装置。
2. 前記第１の画像データから生成された第１の変倍画像データから前記検出手段によって前記所定の対象物が検出された場合、前記画像変倍手段は、前記第１の画像データに関するズーム倍率から前記第２の画像データに関するズーム倍率への変化率と、前記第１の画像データから前記第１の変倍画像データを生成するための倍率とから算出した倍率を中心として、互いに倍率の異なる複数の第２の変倍画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の対象物が検出された変倍画像データにおける前記所定の対象物の位置情報を、前記入力された画像データを生成した撮像装置へ送信する送信手段をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の画像データから生成された第１の変倍画像データから前記検出手段によって前記所定の対象物が検出されなかった場合は、前記第１の画像データから生成された第１の変倍画像データと同数の第２の変倍画像データを前記第２の画像データから生成することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 画像データから所定の対象物を検出する画像処理方法であって、
   撮像装置から前記画像データを入力する画像入力工程と、
   前記画像入力工程において入力された前記画像データに関する前記撮像装置のズーム倍率を入力するズーム倍率入力工程と、
   前記画像入力工程において入力された画像データから互いに倍率の異なる複数の変倍画像データを生成する画像変倍工程と、
   前記画像変倍工程において生成された複数の変倍画像データから一部の領域を抽出し、前記抽出した一部の領域と、前記所定の対象物を示す検出パターンとを照合して前記所定の対象物を検出する検出工程とを有し、
   前記画像変倍工程においては、前記画像入力工程において入力された第１の画像データから生成された第１の変倍画像データから前記検出工程において前記所定の対象物が検出された場合は、前記第１の画像データに関するズーム倍率から前記第１の画像データの次に前記画像入力工程において入力された第２の画像データに関するズーム倍率への変化率と、前記第１の画像データから前記第１の変倍画像データを生成するための倍率とに基づいて、前記第２の画像データから第２の変倍画像データを生成するための倍率を決定するとともに、前記第１の画像データから生成された第１の変倍画像データから前記検出工程において前記所定の対象物が検出されなかった時よりも少数の１つ以上の第２の変倍画像データを前記第２の画像データから生成することを特徴とする画像処理方法。
6. 前記第１の画像データから生成された第１の変倍画像データから前記検出工程において前記所定の対象物が検出された場合、前記画像変倍工程においては、前記第１の画像データに関するズーム倍率から前記第２の画像データに関するズーム倍率への変化率と、前記第１の画像データから前記第１の変倍画像データを生成するための倍率とから算出した倍率を中心として、互いに倍率の異なる複数の第２の変倍画像データを生成することを特徴とする請求項５に記載の画像処理方法。
7. 前記第１の画像データから生成された第１の変倍画像データから前記検出工程において前記所定の対象物が検出されなかった場合は、前記第１の画像データから生成された第１の変倍画像データと同数の第２の変倍画像データを前記第２の画像データから生成することを特徴とする請求項５又は６に記載の画像処理方法。
8. 画像データから所定の対象物を検出する画像処理装置を制御するためのプログラムであって、
   前記画像データを入力する画像入力手順と、
   撮像装置から前記画像入力手順において入力された画像データから互いに倍率の異なる複数の変倍画像データを生成する画像変倍手順と、
   前記画像入力手順において入力された前記画像データに関する前記撮像装置のズーム倍率を入力するズーム倍率入力手順と、
   前記画像変倍手順において生成された複数の変倍画像データから一部の領域を抽出し、前記抽出した一部の領域と、前記所定の対象物を示す検出パターンとを照合して前記所定の対象物を検出する検出手順とをコンピュータに実行させ、
   前記画像変倍手順においては、前記画像入力手順において入力された第１の画像データから生成された第１の変倍画像データから前記検出手順において前記所定の対象物が検出された場合は、前記第１の画像データに関するズーム倍率から前記第１の画像データの次に前記画像入力手順において入力された第２の画像データに関するズーム倍率への変化率と、前記第１の画像データから前記第１の変倍画像データを生成するための倍率とに基づいて、前記第２の画像データから第２の変倍画像データを生成するための倍率を決定するとともに、前記第１の画像データから生成された第１の変倍画像データから前記検出手順において前記所定の対象物が検出されなかった時よりも少数の１つ以上の第２の変倍画像データを前記第２の画像データから生成することを特徴とするプログラム。
9. 前記第１の画像データから生成された第１の変倍画像データから前記検出手順において前記所定の対象物が検出された場合、前記画像変倍手順においては、前記第１の画像データに関するズーム倍率から前記第２の画像データに関するズーム倍率への変化率と、前記第１の画像データから前記第１の変倍画像データを生成するための倍率とから算出した倍率を中心として、互いに倍率の異なる複数の第２の変倍画像データを生成することを特徴とする請求項８に記載のプログラム。
10. 前記第１の画像データから生成された第１の変倍画像データから前記検出手順において前記所定の対象物が検出されなかった場合は、前記第１の画像データから生成された第１の変倍画像データと同数の第２の変倍画像データを前記第２の画像データから生成することを特徴とする請求項８又は９に記載のプログラム。

Images