JP2009111716A - 撮像装置、プログラムおよびテンプレート生成方法 - Google Patents

Abstract

【課題】 より被写体追尾の処理に適したテンプレートを生成するための手段を提供する。
【解決手段】 撮像装置は、撮像部と、テンプレート生成部と、被写体追尾部とを備える。撮像部は、被写体を撮像して画像のデータを生成する。テンプレート生成部は、画像内に設定された候補領域の内側から追尾対象となる被写体の特徴を示す特徴領域を特定し、特徴領域の画像のデータを用いてテンプレートを生成する。被写体追尾部は、テンプレートを用いて、追尾対象の被写体を入力画像から継続的に検出する。
【選択図】 図１

Description

本発明は、被写体の追尾機能を備える撮像装置およびその周辺技術に関する。

従来から、動きのある主要被写体に追従してフォーカス調整や露光条件の演算などを行うために、被写体追尾機能を備えた撮像装置が種々提案されている。一例として、特許文献１には、入力画像に対してテンプレートマッチング処理を施して被写体追尾を行う撮像装置が開示されている。
特開２００４−１１２５５０号公報

ところで、撮像装置に被写体追尾の処理を行なわせる場合には、追尾対象の被写体の特徴が反映されたテンプレートを初期状態で如何に生成できるかが重要になる。しかしながら、ユーザーの指定した位置で生成された初期のテンプレートは撮像装置が被写体追尾の処理を行う上で不適当な場合も多く、被写体追尾機能の性能が十分発揮できない点でなお改善の余地があった。

本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、より被写体追尾の処理に適したテンプレートを生成するための手段を提供することである。

第１の発明に係る撮像装置は、撮像部と、テンプレート生成部と、被写体追尾部とを備える。撮像部は、被写体を撮像して画像のデータを生成する。テンプレート生成部は、画像内に設定された候補領域の内側から追尾対象となる被写体の特徴を示す特徴領域を特定し、特徴領域の画像のデータを用いてテンプレートを生成する。被写体追尾部は、テンプレートを用いて、追尾対象の被写体を入力画像から継続的に検出する。

第２の発明は、第１の発明において、テンプレート生成部は、候補領域内での特徴領域の位置を特定する。

第３の発明は、第１または第２の発明において、テンプレート生成部は、特徴領域のサイズを特定する。

第４の発明は、第２の発明において、テンプレート生成部は、候補領域内で主要被写体を抽出する抽出処理を行う。そして、テンプレート生成部は、主要被写体の重心位置に基づいて特徴領域の位置を特定する。

第５の発明は、第３の発明において、テンプレート生成部は、候補領域内で主要被写体を抽出する抽出処理を行う。そして、テンプレート生成部は、主要被写体の大きさに基づいて特徴領域のサイズを特定する。

第６の発明は、第２または第３の発明において、追尾履歴データを記憶するメモリを撮像装置がさらに備える。この追尾履歴データは、被写体追尾部による被写体追尾の結果と、該被写体追尾で適用されたテンプレートの生成条件との対応関係を示す。そして、テンプレート生成部は、被写体追尾の結果に応じて追尾履歴データから抽出された生成条件を参照して特徴領域を特定する。

第７の発明は、第２または第３の発明において、画像に対応する撮影画面の複数箇所で被写体距離をそれぞれ検出する測距部を撮像装置がさらに備える。そして、テンプレート生成部は、候補領域内における被写体距離を参照して特徴領域を特定する。

第８の発明は、第１の発明において、判定処理部と、候補領域変更部とを撮像装置がさらに備える。判定処理部は、候補領域の内側から被写体の特徴を示す部分を検出できるか否かを判定する。候補領域変更部は、上記の特徴を示す部分を検出できないと判定処理部が判定したときに、候補領域のサイズを拡大する。

第９の発明は、第８の発明において、テンプレート生成部は、拡大された後の候補領域の内側から特徴領域を特定する。

第１０の発明は、第８の発明において、テンプレート生成部は、拡大された後の候補領域を特徴領域として特定する。

なお、上記の撮像装置の構成を、コンピュータにテンプレートを生成させるためのプログラムや、上記のプログラムを記憶した記憶媒体や、コンピュータにテンプレートを生成させるテンプレート生成方法や、テンプレートを生成させるための画像処理装置などの形式に変換して表現したものも本発明の具体的態様として有効である。

本発明では、追尾対象となる被写体の特徴を示す特徴領域を候補領域の内側から特定することで、より被写体追尾の処理に適したテンプレートを生成できる。

＜電子カメラの構成の説明＞
図１は本実施形態の電子カメラの構成を説明するブロック図である。本実施形態の電子カメラは、被写体認識に基づく被写体追尾機能を備えている。

電子カメラは、撮像光学系１１およびレンズ駆動部１２と、撮像素子１３と、ＡＦＥ１４と、画像処理部１５と、第１メモリ１６と、記録Ｉ／Ｆ１７と、モニタ１８と、操作部材１９と、レリーズ釦２０と、ＣＰＵ２１と、第２メモリ２２およびバス２３とを有している。ここで、画像処理部１５、第１メモリ１６、記録Ｉ／Ｆ１７、モニタ１８、ＣＰＵ２１および第２メモリ２２は、バス２３を介してそれぞれ接続されている。また、レンズ駆動部１２、操作部材１９、レリーズ釦２０はそれぞれＣＰＵ２１に接続されている。

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のフォーカシングレンズのレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

撮像素子１３は、撮像光学系１１の像空間側に配置されており、その受光面には受光素子が２次元配列されている。そして、撮像素子１３は、撮像光学系１１を通過した光束による撮影画面の被写体像を光電変換してアナログの画像信号を生成する。なお、撮像素子１３の出力はＡＦＥ１４に接続されている。

また、本実施形態の撮像素子１３には、画像のデータを生成するための受光素子とは別に、瞳分割式の位相差ＡＦを行うための測距画素が複数設けられている。この測距画素は、撮像素子１３の撮像面の全面に一定間隔をあけて配置されている。そのため、本実施形態のＣＰＵ２１は、撮像素子１３の測距画素の出力によって、撮影画面上の任意の部分の被写体距離を求めることができる。なお、測距画素を有する撮像素子については、例えば、特開２０００−１５６８２３号公報などの公知の構成のものを適用することができる。

ここで、電子カメラの動作モードの一つである撮影モードにおいて、撮像素子１３はレリーズ釦２０の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１３は、撮影待機時にも所定間隔毎にスルー画像を撮像する。このスルー画像のデータは撮像素子１３から間引き読み出しされて、モニタ１８での画像表示やＣＰＵ２１による各種の演算処理に使用される。

ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、ＡＦＥ１４の出力は画像処理部１５に接続されている。

画像処理部１５は、１フレーム分のデジタル画像信号に対して、各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部１５は、画像の解像度変換処理や、本画像のデータの圧縮伸長処理も実行する。なお、画像処理部１５は、撮影モードでの撮影待機時において、スルー画像からモニタ表示用のビュー画像を生成して出力する。

第１メモリ１６は、画像処理部１５による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。この第１メモリは揮発性の記憶媒体であるＳＤＲＡＭにより構成される。

記録Ｉ／Ｆ１７には、不揮発性の記憶媒体である記憶媒体２４を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２４に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２４は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２４の一例としてメモリカードを図示する。

モニタ１８は、ＣＰＵ２１の指示に応じて各種画像を表示する。なお、本実施形態でのモニタ１８は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれで構成されていてもよい。このモニタ１８には、撮影モードでの撮影待機時において、ＣＰＵ２１の制御により上記のビュー画像が動画表示される。このとき、ＣＰＵ２１は、撮影に必要となる各種情報をモニタ１８のビュー画像上にオーバーレイ表示させることもできる。また、ＣＰＵ２１は、各種の設定項目の入力が可能なメニュー画面をモニタ１８に表示させることもできる。

操作部材１９は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材１９は電子カメラへの各種入力をユーザーから受け付ける。例えば、操作部材１９は、上記のメニュー画面での入力操作や、電子カメラの動作モードの切替操作などに用いられる。

レリーズ釦２０は、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。なお、本実施形態でのレリーズ釦２０は、後述のテンプレート生成処理の開始指示をユーザーが行うときにも使用される。

ＣＰＵ２１は、電子カメラの動作を統括的に制御するプロセッサである。一例として、ＣＰＵ２１は、撮影モードにおいてスルー画像のデータを用いてコントラスト検出方式によるＡＦを実行する。また、ＣＰＵ２１は、スルー画像のデータを用いて撮影画面内の被写体輝度を求め、この被写体輝度に基づいてＡＥ演算を実行する。

また、ＣＰＵ２１は後述の第２メモリ２２に格納されたプログラムの実行により、テンプレート生成部２５および被写体追尾部２６として機能する。

テンプレート生成部２５は、入力された画像から追尾対象の物体を識別するためのテンプレートのデータを生成する。本実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物体を追尾対象としてテンプレートのデータを生成することが可能である。

一例として、本実施形態のテンプレート生成部２５は、撮影画面内に設定された候補領域の内側から追尾対象となる被写体の特徴を示す特徴領域を特定する。そして、テンプレート生成部２５は、特定された特徴領域のスルー画像からテンプレートのデータを生成する。なお、上記のテンプレートのデータは、ＹＣｂＣｒの各チャンネルのデータをいずれも含んでいる。

また、テンプレート生成部２５は、候補領域の内側から被写体の特徴を示す部分を検出できるか否かを判定する判定処理を実行する。そして、テンプレート生成部２５は、特徴を示す部分を検出できないと判定処理部が判定したときに、候補領域のサイズを拡大する処理を行う。

被写体追尾部２６は、上記のテンプレートを用いて撮影画面内における追尾対象の被写体の位置を継続的に検出する。これにより、ＣＰＵ２１は、テンプレートに対応する被写体の動きに追従してＡＦ制御およびスポット測光のＡＥ演算を行うことができる。また、ＣＰＵ２１は、テンプレートに対応する被写体の位置を示すマークをモニタ１８のビュー画像上に重畳表示させることもできる。

また、被写体追尾部２６は、被写体追尾の結果と、被写体追尾で適用したテンプレートの生成条件との対応関係を示す追尾履歴データを生成する。なお、追尾履歴データは、テンプレートを生成するときにテンプレート生成部２５によって参照される。

第２メモリ２２は、フラッシュメモリ等の不揮発性の記憶媒体である。この第２メモリ２２には、上記のテンプレートのデータや、被写体追尾部２６が生成した追尾履歴データがそれぞれ記憶される。さらに、第２メモリ２２には、後述の候補領域の拡大回数を示すカウンタが記憶されている。また、第２メモリ２２には、ＣＰＵ２１により実行されるプログラムが記憶されている。プログラムの例は図３、図５に示されるが、これらについては後で詳述する。

ここで、追尾履歴データの内容を詳細に説明する。本実施形態での追尾履歴データは、第１追尾履歴テーブルと、第２追尾履歴テーブルとを有している。そして、被写体追尾処理の成否に応じて、被写体追尾の結果とテンプレートの生成条件との組み合わせからなる追尾履歴がそれぞれ別々のテーブルに登録される。なお、上記のテンプレートの生成条件には、（１）テンプレートのサイズ、（２）テンプレートの生成に用いるテンプレート生成チャンネルの種類（ＹＣｂＣｒのいずれか）、（３）テンプレートを生成したときのＡＥ情報、（４）テンプレートを生成したときの被写体距離情報（ＡＦ情報）、が含まれる。

図２（ａ）は被写体の追尾が成功した場合を示す第１追尾履歴テーブルを模式的に示す図である。第１追尾履歴テーブルには、（イ）「被写体追尾後に本画像を撮像した場合の追尾履歴」、（ロ）「ユーザーのキャンセル操作または被写体のロストで被写体追尾が終了したものであって、被写体追尾の継続時間が長い場合の追尾履歴」がＣＰＵ２１によって記録される。これらの場合には、ユーザーの意図する被写体を追尾できていたとみなすことができるからである。

また、第１追尾履歴テーブルに登録される追尾履歴は優先順位に応じてＣＰＵ２１がソートする。一例として、第１追尾履歴テーブルでは、上記（イ）の追尾履歴の方が上記（ロ）の追尾履歴よりも優先順位が高く設定される。また、上記（イ）の追尾履歴は本画像の撮影時が新しいほど優先順位が高くなる。一方、上記（ロ）の追尾履歴は、被写体追尾の継続時間が長いほど優先順位が高くなる。そして、第１追尾履歴テーブルには、上記（イ）、（ロ）の要件を満たす追尾履歴のうち、優先順位の高い順に所定数の追尾履歴のみが保存される。なお、図２（ａ）では、上側から優先順位の高い順（Ｈ１〜Ｈ５）に５件分の追尾履歴が保存された第１追尾履歴テーブルの例を示している。

図２（ｂ）は被写体の追尾が失敗した場合を示す第２追尾履歴テーブルを模式的に示す図である。第２追尾履歴テーブルには、（ハ）「ユーザーのキャンセル操作または被写体のロストで被写体追尾が終了したものであって、被写体追尾の継続時間が短い場合の追尾履歴」がＣＰＵ２１によって記録される。この場合には、ユーザーの意図する被写体の追尾が行われていないとみなすことができるからである。

また、第２追尾履歴テーブルに登録される追尾履歴も優先順位に応じてＣＰＵ２１がソートする。一例として、第２追尾履歴テーブルでは、被写体追尾の継続時間が短いほど優先順位が低く設定される。そして、第２追尾履歴テーブルには、上記（ハ）の要件を満たす追尾履歴のうち、優先順位の低い順に所定数の追尾履歴のみが保存される。なお、図２（ｂ）では、上側から優先順位の低い順（Ｌ１〜Ｌ５）に５件分の追尾履歴が保存された第２追尾履歴テーブルの例を示している。

＜電子カメラの動作説明＞
次に、図３の流れ図を参照しつつ、本実施形態における電子カメラの撮影モードでの動作例を説明する。なお、以下の動作例では、被写体追尾機能がオンに設定されている状態を前提として説明を行う。

ステップＳ１０１：ＣＰＵ２１は、撮像素子１３を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、ＣＰＵ２１は、スルー画像から生成されたビュー画像をモニタ１８に動画表示させる。したがって、ユーザーは、モニタ１８のビュー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。

また、被写体追尾機能がオンの状態のときには、ＣＰＵ２１は、追尾対象の被写体の登録位置を示すガイドマーク（矩形の緑色の枠表示）をビュー画像に重畳させる（図４参照）。上記の枠表示は、ＣＰＵ２１の制御によってモニタ１８の中央部に点滅状態で表示される。なお、ユーザーは、上記の枠表示の中に追尾対象の被写体を収めた状態でレリーズ釦２０を半押し操作することで、電子カメラに追尾対象の被写体のテンプレートを生成させて、所望の被写体を追尾することができる。

ステップＳ１０２：ＣＰＵ２１は、レリーズ釦２０が半押しされたか否かを判定する。レリーズ釦２０が半押しされた場合（ＹＥＳ側）にはＳ１０３に移行する。一方、レリーズ釦２０が半押しされていない場合（ＮＯ側）には、ＣＰＵ２１はレリーズ釦２０の半押しを待機する。

ステップＳ１０３：ＣＰＵ２１は、半押し操作に応じて後述のテンプレート生成処理を実行する。これにより、追尾対象のテンプレートのデータがスルー画像から生成される。

なお、追尾対象のテンプレートが生成された場合には、ＣＰＵ２１は、被写体追尾の実行状態を示す表示（被写体追尾マーク）をモニタ１８に出力する。具体的には、ＣＰＵ２１は、ガイドマークの枠表示（Ｓ１０１）を点滅状態から点灯状態に変更する。これにより、ユーザーはテンプレートの生成完了と、被写体追尾が開始されたこととをモニタ１８で確認できる（なお、被写体追尾マークの表示画面は図４とほぼ同様であるため図示を省略する）。

ステップＳ１０４：ＣＰＵ２１は、レリーズ釦２０の半押しが解除されたか否かを判定する。レリーズ釦２０の半押しが解除されたとき（ＹＥＳ側）はＳ１０５に移行する。一方、レリーズ釦２０の半押しが継続しているとき（ＮＯ側）にはＳ１０７に移行する。

ステップＳ１０５：この場合には、ユーザーの操作によって、ＣＰＵ２１は被写体追尾の処理をキャンセルする。そして、ＣＰＵ２１は、被写体追尾マークの枠表示を点灯状態から点滅状態（ガイドマークの状態）に切り替える。

ステップＳ１０６：ＣＰＵ２１の被写体追尾部２６は、第２メモリ２２の追尾履歴データの更新処理を行う。これにより、今回の被写体追尾処理の結果が第１追尾履歴テーブルまたは第２追尾履歴テーブルに反映されうる。その後、ＣＰＵ２１はＳ１０２に戻って上記動作を繰り返す。

ステップＳ１０７：ＣＰＵ２１は、スルー画像のうちで被写体追尾の判定を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１０８に移行する。一方、判定フレームが撮像されていない場合には、ＣＰＵ２１は判定フレームの撮像を待機する。なお、スルー画像から被写体追尾処理を行う間隔（判定フレームのフレームレート）は、ユーザーの設定操作に応じてＣＰＵ２１が調整できるようにしてもよい。

ステップＳ１０８：ＣＰＵ２１は、スルー画像の判定フレームから追尾対象の被写体を探索する。具体的には、ＣＰＵ２１の被写体追尾部２６は、テンプレートと判定フレームの被写体との類似度を求めるマッチング処理を実行する。そして、被写体追尾部２６は、判定フレームのうちで類似度が閾値以上でかつ類似度の値が最も高い部分を、追尾対象の被写体の位置と判定する。一方、被写体追尾部２６は、テンプレートと判定フレーム内の被写体との類似度がいずれも閾値未満の場合には、追尾対象の被写体をロストしたものと判定する。

ステップＳ１０９：ＣＰＵ２１は、Ｓ１０７において撮影画面内から追尾対象を検出できたか否かを判定する。追尾対象を検出できた場合（ＹＥＳ側）にはＳ１１１に移行する。一方、追尾対象を検出できずにロストした場合（ＮＯ側）にはＳ１１０に移行する。

ステップＳ１１０：ＣＰＵ２１の被写体追尾部２６は、被写体追尾マークの表示を停止するとともに、ロスト表示（被写体追尾ができずにロスト状態にあることを示す表示）をビュー画像に重畳させて出力する。例えば、被写体追尾部２６は、ビュー画像に重畳された上記の枠表示を点灯状態から再び点滅状態に変更にしてロスト表示を行う。これにより、ユーザーは追尾対象の被写体をロストしたことをモニタ１８で確認できる。その後、ＣＰＵ２１はＳ１０６の処理に移行する。

ステップＳ１１１：ＣＰＵ２１の被写体追尾部２６は、追尾対象の被写体の位置（Ｓ１０８）に基づいて、ビュー画像に重畳する被写体追尾マークの位置を更新する。その結果、モニタ１８上での枠表示の位置は、追尾対象の被写体の動きに合わせてシフトすることとなる。これにより、ユーザーは被写体追尾の状態をモニタ１８で確認できる。

ステップＳ１１２：ＣＰＵ２１の被写体追尾部２６は、追尾対象の被写体の位置（Ｓ１０８）を焦点検出エリアとしてＡＦを実行するとともに、公知のＡＥ演算を実行する。なお、ＣＰＵ２１は、追尾対象の被写体の位置（Ｓ１０８）を基準としてスポット測光によるＡＥ演算を実行してもよい。

ステップＳ１１３：ＣＰＵ２１は、レリーズ釦２０が全押しされたか否かを判定する。レリーズ釦２０が全押しされた場合（ＹＥＳ側）にはＳ１１４に移行する。一方、レリーズ釦２０が全押しされていない場合（ＮＯ側）には、ＣＰＵ２１はＳ１０４に戻って上記動作を繰り返す。これにより、被写体追尾部２６は、撮影画面内における追尾対象の被写体の位置変化を継続的に検出することができる。

ステップＳ１１４：ＣＰＵ２１は、撮像素子１３を駆動させて本画像の撮像処理を実行する。本画像のデータは、ＡＦＥ１４および画像処理部１５で所定の処理が施された後に、記録Ｉ／Ｆ１７を介して記憶媒体２４に記録される。

ステップＳ１１５：ＣＰＵ２１の被写体追尾部２６は、第２メモリ２２の追尾履歴データの更新処理を行う。これにより、今回の被写体追尾処理の結果が第１追尾履歴テーブルに反映されうる。以上で、図３の流れ図の説明を終了する。

次に、図５の流れ図を参照しつつ、図３のテンプレート生成処理（Ｓ１０３）のサブルーチンを説明する。

ステップＳ２０１：ＣＰＵ２１のテンプレート生成部２５は、候補領域のサイズを初期化する。ここで、候補領域は、テンプレート生成部２５が追尾対象の被写体の特徴を探索する範囲を示すものである。そして、テンプレートのデータは、候補領域の一部または全部の画像から生成されうる。

図６に、スルー画像と候補領域との位置関係の一例を示す。Ｓ２０１での候補領域は、ガイドマークの枠の位置を中心として、ガイドマークの枠のサイズよりも大きな矩形領域に設定されている。なお、モニタ１８のビュー画像上では、候補領域の範囲を示す表示は省略される。

ステップＳ２０２：テンプレート生成部２５は、ＹＣｂＣｒの各チャンネルごとに、候補領域（Ｓ２０１）におけるスルー画像のデータをそれぞれ取得する。これにより、テンプレート生成部２５によって、候補領域内のスルー画像のＹＣｂＣｒの各チャンネルのデータが生成される。

ステップＳ２０３：テンプレート生成部２５は、候補領域におけるスルー画像のＹチャンネルの階調の平均値を求める。そして、テンプレート生成部２５は、Ｙチャンネルの階調の平均値が閾値を超えているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０４に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、現在の候補領域内の画像は輝度が低く、追尾対象の被写体の特徴を検出できない可能性が高いと考えられる。そのため、ＣＰＵ２１はＳ２０６に処理を移行する。

ステップＳ２０４：テンプレート生成部２５は、ＹＣｂＣｒの各チャンネルごとに、候補領域におけるスルー画像の階調の分散値をそれぞれ演算する。

ステップＳ２０５：テンプレート生成部２５は、候補領域における各チャンネルの分散値（Ｓ２０４でそれぞれ求めたもの）がいずれも閾値を超えているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０８に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、現在の候補領域内の画像は絵柄がほぼ一様であって、追尾対象の被写体の特徴を検出できない可能性が高いと考えられる。そのため、ＣＰＵ２１はＳ２０６に処理を移行する。

ステップＳ２０６：テンプレート生成部２５は、第２メモリ２２を参照して、候補領域の範囲を拡大した回数が閾値以下（例えば２回以下）であるか否かを判定する。拡大回数が閾値以下の場合（ＹＥＳ側）にはＳ２０７に移行する。一方、拡大回数が閾値を超える場合（ＮＯ側）には、ＣＰＵ２１は候補領域を拡大する処理を打ち切ってＳ２０８に処理を移行する。

ステップＳ２０７：テンプレート生成部２５は、現在設定されている候補領域の範囲を拡大する。そして、テンプレート生成部２５は、第２メモリ２２で記憶している候補領域の範囲の拡大回数をインクリメントする。その後、ＣＰＵ２１はＳ２０２に戻って上記動作を繰り返す。したがって、追尾対象の被写体の特徴を候補領域内で検出できない可能性が高い場合には、上記のループによって前回よりも広い候補領域に基づいてテンプレートが生成されることとなる。

ステップＳ２０８：テンプレート生成部２５は、ＹＣｂＣｒの各チャンネルごとに、候補領域内のスルー画像の階調を中央値でそれぞれ二値化する。これにより、テンプレート生成部２５によって、ＹＣｂＣｒの各チャンネルごとに候補領域の二値化画像がそれぞれ生成される。

ステップＳ２０９：テンプレート生成部２５は、ＹＣｂＣｒの各チャンネルの二値化画像をそれぞれ対象として、画像中心への高域成分の集中度合いを求める。

以下、Ｓ２０９における演算処理の内容を詳述する。ここで、ＹＣｂＣｒの各二値化画像についての演算処理の内容はいずれも共通する。したがって、簡単のため、以下の例ではＹチャンネルの二値化画像の例のみを説明し、ＣｂＣｒチャンネルの二値化画像の例については説明を省略する。

（１）まず、テンプレート生成部２５は、Ｙチャンネルの二値化画像の各画素について、二値化画像での画素値と画像中心からの距離とを乗算して画素ごとのスコアをそれぞれ求める。ここで、二値化される前の画像でＹの階調値が中央値以上の場合、二値化画像での画素値は「１」となる。また、二値化される前の画像でＹの階調値が中央値未満の場合、二値化画像での画素値は「０」となる。また、画像中心からの距離の値は、候補領域の中心画素を「１」として、中心画素から１画素離れるにつれて値が１ずつ大きくなるものとする。

そのため、二値化画像で画素値「０」の部分は、画素のスコアがいずれも０値となる。また、二値化画像で画素値「１」の部分は、候補領域の中心画素から離れるにつれて画素のスコアの値が大きくなる。例えば、中心画素の画素値が「１」の場合には画素のスコアが「１」となる。一方、中心画素から５画素離れた画素の画素値が「１」の場合には画素のスコアが「５」となる。

（２）次に、テンプレート生成部２５は、上記（１）で求めた画素のスコアを積算して合計値（Ｓ_Y）を求める。ここで、Ｙチャンネルの二値化画像において画素値が「１」の画素が候補領域の周縁に多く分布すれば、上記の合計値Ｓ_Yは大きな値となる。一方、Ｙチャンネルの二値化画像において画素値が「１」の画素が候補領域の中心にかたまって分布すれば、画素値「１」の画素数が上記のケースと同じであっても合計値Ｓ_Yは小さな値となる。したがって、テンプレート生成部２５は、上記の合計値Ｓ_Yの小ささによって、Ｙチャンネルの二値化画像について画像中心への高域成分の集中度合いを評価できる。

ステップＳ２１０：テンプレート生成部２５は、Ｓ２０９で求めたＹＣｂＣｒチャンネルの合計値（Ｓ_Y，Ｓ_Cr，Ｓ_Cb）に基づいて、テンプレート生成チャンネル（ＹＣｂＣｒのいずれか）を決定する。具体的には、テンプレート生成部２５は、合計値Ｓ_Y，Ｓ_Cr，Ｓ_Cbのうちから最小値を求める。そして、テンプレート生成部２５は、合計値が最小値となった二値化画像に対応するチャンネルをテンプレート生成チャンネルに決定する。

ここで、合計値Ｓ_Y，Ｓ_Cr，Ｓ_Cbのうち最小値となるものが２つ以上ある場合、テンプレート生成部２５は、第２メモリ２２の追尾履歴データを参照する。そして、テンプレート生成部２５は、テンプレート生成チャンネルを以下の（１）および（２）の少なくとも一方の要領で決定する。

（１）テンプレート生成部２５は、第１追尾履歴テーブルを参照して、被写体の追尾が成功したときのテンプレート生成チャンネルを優先する。具体的には、テンプレート生成部２５は、第１追尾履歴テーブルの追尾履歴のうち、ＡＥ情報および被写体距離情報の組み合わせを優先順位の高い順（Ｈ１〜Ｈ５の順）に参照していく。そして、テンプレート生成部２５は、スルー画像から求めたＡＥ演算結果および被写体距離に基づいて、第１追尾履歴テーブルの追尾履歴が現在の撮影条件に対応するか否かを順次判定する。現在の撮影条件に対応する追尾履歴があった場合、テンプレート生成部２５は、その追尾履歴が示すチャンネル種別をテンプレート生成チャンネルとする。これにより、過去の被写体追尾の結果に基づいて、より被写体追尾の処理に適したテンプレート生成チャンネルが選択されることとなる。

（２）テンプレート生成部２５は、第２追尾履歴テーブルを参照して、被写体の追尾が失敗したときのテンプレート生成チャンネルを除外する。具体的には、テンプレート生成部２５は、第２追尾履歴テーブルの追尾履歴のうち、ＡＥ情報および被写体距離情報の組み合わせを優先順位の低い順（Ｌ１〜Ｌ５の順）に参照していく。そして、テンプレート生成部２５は、スルー画像から求めたＡＥ演算結果および被写体距離に基づいて、第２追尾履歴テーブルの追尾履歴が現在の撮影条件に対応するか否かを順次判定する。現在の撮影条件に対応する追尾履歴があった場合、テンプレート生成部２５は、その追尾履歴が示すチャンネル種別を除外してテンプレート生成チャンネルを決定する。これにより、過去の被写体追尾の結果に基づいて、より被写体追尾の処理に適したテンプレート生成チャンネルが選択されることとなる。

ステップＳ２１１：テンプレート生成部２５は、テンプレート生成チャンネル（Ｓ２１０）の二値化画像を対象として、公知の重心演算のアルゴリズムによって高域成分のかたまり（画素値「１」の部分）の重心位置を求める。なお、テンプレート生成チャンネルの二値化画像に複数の高域成分のかたまりがある場合には、テンプレート生成部２５は一番大きなかたまりの重心位置を求めるものとする。

ステップＳ２１２：テンプレート生成部２５は、Ｓ２１１で求めた重心位置を基準として、追尾対象となる被写体の特徴を示す特徴領域の仮サイズを決定する。

一例として、テンプレート生成部２５は、テンプレート生成チャンネルの二値化画像において、重心位置を起点にして縦方向または横方向に向けて１ライン毎の画素値をそれぞれ確認してゆく。このとき、テンプレート生成部２５は、画素値が「１」となる画素数が閾値以下となったラインを特徴領域の端部とする。そして、テンプレート生成部２５は、上記工程を上下左右の４方向にそれぞれ行うことで、高域部分のかたまりの大きさに応じて特徴領域の仮サイズを決定する。この場合、特徴領域の仮サイズは、上記のラインで四方を囲まれた範囲となる（図７参照）。

ステップＳ２１３：テンプレート生成部２５は、特徴領域の仮サイズ（Ｓ２１２で決定したもの）が所定のデフォルトサイズよりも小さいか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２１４に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２１５に移行する。

ステップＳ２１４：テンプレート生成部２５は、特徴領域の仮サイズを予め設定されたデフォルトサイズに置き換えて拡大する。なお、Ｓ２１０で第１追尾履歴テーブルの追尾履歴を参照してテンプレート生成チャンネルを決定した場合には、テンプレート生成部２５は、追尾履歴の示すテンプレートサイズをデフォルトサイズとして、Ｓ２１２で決定した特徴領域の仮サイズと置き換えてもよい。

ステップＳ２１５：テンプレート生成部２５は、撮影画面の被写体距離に基づいて特徴領域の範囲を修正する。

具体的には、テンプレート生成部２５は、撮像素子１３の測距画素の出力に基づいて候補領域内での被写体距離の分布を示す距離画像を生成する。次に、テンプレート生成部２５は、上記の特徴領域と距離画像とを重ね合わせて、特徴領域内で被写体距離に閾値以上の差が生じる部分があるか否かを判定する。

そして、特徴領域内で被写体距離に閾値以上の差が生じる場合、テンプレート生成部２５は、被写体距離の差が閾値以上となる部分を除外して最終的な特徴領域の範囲を決定する。これにより、追尾対象の被写体のものと異なる可能性の高い部分が特徴領域から除かれるので、被写体追尾の精度をより向上させることが可能となる。

ステップＳ２１６：テンプレート生成部２５は、スルー画像のうちでＳ２１５で決定した特徴領域の範囲内からテンプレートのデータを生成する。本実施形態では、テンプレート生成部２５は、特徴領域の全範囲のスルー画像に基づいてテンプレートのデータを生成するものとする。もっとも、テンプレート生成部２５は、特徴領域の一部に基づいてテンプレートのデータを生成してもよい。例えば、テンプレート生成部２５は、特徴領域の外周が非線形であるときに特徴領域に内接する長方形を設定し、この長方形の範囲のスルー画像からテンプレートのデータを生成するようにしてもよい（この場合の図示は省略する）。

なお、Ｓ２１６でのテンプレート生成部２５は、被写体追尾の精度を高めるために、テンプレート生成チャンネルのみならず、ＹＣｂＣｒのすべてのチャンネルを用いてテンプレートのデータを生成する。ここで、Ｙチャンネルだけでテンプレートを生成した場合とＹＣｂＣｒのすべてのチャンネルを用いてテンプレートを生成した場合を考える。そして、撮影画面内に追尾対象と同輝度の被写体が含まれるシーンで被写体追尾を行うと、前者では被写体追尾部２６が追尾対象を誤認識する可能性が高くなる。一方、後者ではＣｂチャンネルまたはＣｒチャンネルのデータを用いることで、被写体追尾部２６が追尾対象の被写体を正しく追尾できる可能性が高まる。以上で、図５のサブルーチンの説明を終了する。

以下、本実施形態の作用効果を述べる。本実施形態の電子カメラは、被写体追尾処理において初期状態のテンプレートを生成するときに、スルー画像の候補領域の内側から追尾対象となる被写体の特徴を示す特徴領域の位置およびサイズを特定する。そして、電子カメラは、上記の特徴領域のスルー画像のデータを用いてテンプレートを生成する。これにより、被写体追尾処理に適したテンプレートが電子カメラによって自動的に生成されるので、被写体追尾の精度をより向上させることが可能となる。

＜実施形態の補足事項＞
（１）上記実施形態の電子カメラでは、位相差ＡＦモジュールを撮像素子１３とは別に設け、コントラスト方式のＡＦ動作に加えてさらに公知の瞳分割による位相差ＡＦ動作を行うようにしてもよい。また、上記実施形態では、撮像素子１３の出力に基づいてＡＥ演算を行う例を説明したが、撮像素子１３とは別にＡＥ演算用の測光素子を設けてもよい。

（２）上記実施形態において、テンプレートのデータや追尾履歴データを、第１メモリ１６に保持させるようにしてもよい。また、上記実施形態において、ＣＰＵ２１は電源オンの間だけ電子カメラ内に追尾履歴データを保持させて、撮影モードの切替や電源オフの操作に応じて追尾履歴データを初期化するようにしてもよい。

（３）上記実施形態では、テンプレート生成部２５、被写体追尾部２６などの機能をプログラムによってソフトウエア的に実現する例を説明したが、これらの構成をＡＳＩＣを用いてハードウエア的に実現しても勿論かまわない。

（４）上記実施形態では電子カメラのＣＰＵ２１がスルー画像を用いてテンプレートの生成を行う例を説明した。しかし、本発明は上記実施形態に限定されず、例えば、電子カメラが記録画像（本画像など）を用いてテンプレートを生成する形態であってもよい。

また、電子カメラで被写体追尾を行うときに適用するテンプレートのデータを、電子カメラと接続された外部装置（パーソナルコンピュータなど）によって記録画像から生成してもよい。このとき、上記実施形態に示すテンプレート生成処理を外部装置にプログラムで実行させてもよい。さらに、上記実施形態で電子カメラのＣＰＵ２１が実行する処理の一部を外部装置に負担させて、電子カメラと外部装置とを協働させて上記実施形態のアルゴリズムを実現してもよい。

（５）上記実施形態では、ＹＣｂＣｒのチャンネルからテンプレート生成チャンネルを選択する例を説明した。しかし、本発明においてＲＧＢの画像のデータを適用する場合にはＲＧＢのチャンネルのうちからテンプレート生成チャンネルを選択してもよい。

（６）上記実施形態でのテンプレート生成部２５は、輝度値および分散値に基づいて候補領域を拡大するか否かを判定している（Ｓ２０３，Ｓ２０５）。しかし、本発明の構成は上記実施形態の例に限定されるものではない。例えば、テンプレート生成部２５は、候補領域の輪郭画像（エッジ成分の有無を示す二値化画像）を生成して縦横方向に画素値を合算する。そして、輪郭画像から求めた合算値が閾値未満である場合には、現在の候補領域内の画像は絵柄がほぼ一様であるとして、テンプレート生成部２５に候補領域を拡大させてもよい。勿論、テンプレート生成部２５は、輝度値または分散値に基づく候補領域の拡大の判定と、輪郭画像に基づく候補領域の拡大の判定とを適宜組み合わせて実行してもよい。

（７）上記実施形態のＳ２０３では、テンプレート生成部２５はＣｂ、Ｃｒチャンネルの階調の平均値が閾値を超えているか否かをさらに判定してもよい。また、上記実施形態のＳ２０５では、テンプレート生成部２５は、候補領域におけるスルー画像のＹＣｂＣｒの分散値のいずれかが閾値を超える場合には、被写体の特徴を検出しうるとみなしてＹＥＳ側の判定をしてもよい。

（８）上記実施形態でのテンプレート生成部２５は、Ｓ２０６の処理で拡大された後の候補領域をそのまま特徴領域として特定し、テンプレートのデータを生成してもよい。また、上記実施形態でのテンプレート生成部２５は、Ｙチャンネルの階調の平均値が閾値未満の場合（Ｓ２０３のＮＯ側）や、各チャンネルの分散値のいずれかが閾値未満の場合（Ｓ２０５のＮＯ側）にはテンプレートの生成処理を打ち切って、モニタ１８にエラー表示を行うようにしてもよい。

（９）上記実施形態でのテンプレート生成部２５は、測距画素で求めた候補領域内の被写体距離が所定範囲外となる場合（被写体距離が極端に短い場合または極端に長い場合）には、テンプレートの生成処理を打ち切って、モニタ１８にエラー表示を行うようにしてもよい。

（１０）上記実施形態における特徴領域の形状およびテンプレートの形状は、正方形や長方形に限定されることなく、例えば自由曲線で囲まれた形状などであってもよい。

（１１）上記実施形態のＳ２１２では、テンプレート生成部２５は、重心位置を起点とする上下左右の特徴領域の端部までの距離をそれぞれ求め、この求めた距離の最大値を適用して特徴領域の仮サイズを決定してもよい。この場合には、特徴領域の仮サイズの形状は正方形となる。また、上記実施形態のＳ２１５の処理は、Ｓ２０２の処理後であれば実行順序を適宜組み替えてもかまわない。

（１２）上述の実施形態および変形例の構成はあくまで一例にすぎない。そのため、本発明の撮像装置、プログラムおよびテンプレート生成方法を実施するときには、上述の実施形態および変形例に示す構成やその処理の順序についてあらゆる組み合わせをとることができる。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

本実施形態の電子カメラの構成を説明するブロック図 （ａ）第１追尾履歴テーブルを示す図、（ｂ）第２追尾履歴テーブルを示す図 電子カメラの撮影モードでの動作例を説明する流れ図 ガイドマークの重畳されたビュー画像の表示例を示す図 図３のテンプレート生成処理（Ｓ１０３）のサブルーチンを説明する流れ図 スルー画像と候補領域との位置関係の一例を示す図 テンプレートの仮サイズの決定方法を示す説明図

符号の説明

１３…撮像素子、１５…画像処理部、２１…ＣＰＵ、２２…第２メモリ、２５…テンプレート生成部、２６…被写体追尾部

Claims (12)

1. 被写体を撮像して画像のデータを生成する撮像部と、
   前記画像内に設定された候補領域の内側から追尾対象となる被写体の特徴を示す特徴領域を特定し、前記特徴領域の画像のデータを用いてテンプレートを生成するテンプレート生成部と、
   前記テンプレートを用いて、前記追尾対象の被写体を入力画像から継続的に検出する被写体追尾部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記テンプレート生成部は、前記候補領域内での前記特徴領域の位置を特定することを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記テンプレート生成部は、前記特徴領域のサイズを特定することを特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   前記テンプレート生成部は、前記候補領域内で主要被写体を抽出する抽出処理を行うとともに、前記主要被写体の重心位置に基づいて前記特徴領域の位置を特定することを特徴とする撮像装置。
5. 請求項３に記載の撮像装置において、
   前記テンプレート生成部は、前記候補領域内で主要被写体を抽出する抽出処理を行うとともに、前記主要被写体の大きさに基づいて前記特徴領域のサイズを特定することを特徴とする撮像装置。
6. 請求項２または請求項３に記載の撮像装置において、
   前記被写体追尾部による被写体追尾の結果と、該被写体追尾で適用されたテンプレートの生成条件との対応関係を示す追尾履歴データを記憶するメモリをさらに備え、
   前記テンプレート生成部は、前記被写体追尾の結果に応じて前記追尾履歴データから抽出された前記生成条件を参照して前記特徴領域を特定することを特徴とする撮像装置。
7. 請求項２または請求項３に記載の撮像装置において、
   前記画像に対応する撮影画面の複数箇所で被写体距離をそれぞれ検出する測距部をさらに備え、
   前記テンプレート生成部は、前記候補領域内における被写体距離を参照して前記特徴領域を特定することを特徴とする撮像装置。
8. 請求項１に記載の撮像装置において、
   前記候補領域の内側から前記被写体の特徴を示す部分を検出できるか否かを判定する判定処理部と、
   前記特徴を示す部分を検出できないと前記判定処理部が判定したときに、前記候補領域のサイズを拡大する候補領域変更部と、
   をさらに備えることを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記テンプレート生成部は、拡大された後の前記候補領域の内側から前記特徴領域を特定することを特徴とする撮像装置。
10. 請求項８に記載の撮像装置において、
    前記テンプレート生成部は、拡大された後の前記候補領域を前記特徴領域として特定することを特徴とする撮像装置。
11. 画像のデータを読み込むデータ読込部と、演算部とを有するとともに、追尾対象の被写体を入力画像から継続的に検出するためのテンプレートを生成するコンピュータに対して、
    前記画像のデータを前記データ読込部によって前記演算部に読み込む画像入力ステップと、
    前記画像内に設定された候補領域の内側から追尾対象となる被写体の特徴を示す特徴領域を特定し、前記特徴領域の画像のデータを用いて前記テンプレートを生成するテンプレート生成ステップと、
    を前記演算部に実行させることを特徴とするプログラム。
12. 少なくとも１以上のコンピュータを用いて、追尾対象の被写体を入力画像から継続的に検出するためのテンプレートを生成するテンプレート生成方法であって、
    画像のデータを前記コンピュータに読み込む画像入力ステップと、
    前記画像内に設定された候補領域の内側から追尾対象となる被写体の特徴を示す特徴領域を前記コンピュータが特定する特徴領域特定ステップと、
    前記特徴領域の画像のデータを用いて前記テンプレートを前記コンピュータが生成するテンプレート生成ステップと、
    を備えることを特徴とするテンプレート生成方法。
    

Images