JP4893334B2 - 画像追尾装置および撮像装置 - Google Patents

Description

本発明は画像追尾装置および撮像装置に関する。

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズのデフォーカス量を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら追尾対象の被写体を追尾する画像追尾機能とを備え、画像追尾結果の画面内位置の焦点検出エリアを選択してその焦点検出エリアのデフォーカス量により撮影レンズを合焦駆動するオートフォーカスシステムが知られている（例えば、特許文献１参照）。
この装置では、画像追尾結果の画面内位置の画像によりテンプレート画像を更新している。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００６−０５８４３１号公報

ところで、画像追尾機能により被写体を追尾しているときに、追尾対象の被写体の手前を別の被写体が横切ったり、また追尾対象の被写体が撮影画面から外れてしまったり、あるいは撮影者が意図的に構図を変更することがあり、そのような場合には追尾対象を見失ってしまい画像追尾ができなくなる。
そこで、画像追尾により対象被写体を見失ってからふたたび捕捉するまでＡＦにおけるレンズ駆動を一時中止し（ロックオン）、再捕捉できないまま所定時間が経過した場合、または再捕捉できた場合にロックオンを解除してＡＦを再開させることが考えられる。しかしながら、このような場合には追尾対象の状態が変わっているため、適切な画像追尾ができなくなるという問題がある。

（１）請求項１の画像追尾装置は、光学系による画面内の画像情報を取得する撮像素子と、前記画像情報の内の対象の位置の画像情報を基準情報として記憶する記憶手段と、前記撮像素子により繰り返し取得される前記画像情報と前記基準情報とに基づいて、前記画面内における前記対象の位置を繰り返し認識する認識手段と、前記画面内に設定される焦点検出位置についての前記光学系の焦点調節状態を検出する焦点検出手段と、前記認識手段により認識した前記対象の位置に対応する前記焦点検出位置の前記焦点調節状態にしたがって焦点調節制御を行う焦点調節制御手段と、前記対象の位置に対応する前記焦点検出位置の前記焦点調節状態の変化量が所定値を超えた場合に前記焦点調節を一時的に中止させる制御手段と、前記制御手段により前記焦点調節が中止されてから再開された場合に、前記基準情報を変更する変更手段と、を備えることを特徴とする。
（２）請求項２の画像追尾装置は、請求項１に記載の画像追尾装置において、前記制御手段は、前記焦点検出手段の検出結果が、前記焦点調節の中止前の前記対象の位置に対応する前記焦点検出位置の前記焦点調節状態と同等であることを示す場合に、前記焦点調節を再開させることを特徴とする。
（３）請求項３の画像追尾装置は、請求項２に記載の画像追尾装置において、前記変更手段は、前記焦点調節の再開後に得られる前記画像情報の内の、前記同等の検出結果が得られる領域の画像情報に基づいて前記基準情報を変更することを特徴とする。
（４）請求項４の画像追尾装置は、光学系による画面内の画像情報を取得する撮像素子と、前記画像情報の内の対象の位置の画像情報を基準情報として記憶する記憶手段と、前記撮像素子により繰り返し取得される前記画像情報と前記基準情報とに基づいて、前記画面内における前記対象の位置を繰り返し認識する認識手段と、前記画面内に設定される焦点検出位置についての前記光学系の焦点調節状態を検出する焦点検出手段と、前記認識手段により認識した前記対象の位置に対応する前記焦点検出位置の前記焦点調節状態にしたがって焦点調節制御を行う焦点調節制御手段と、前記焦点検出手段の検出結果に基づいて前記焦点調節を一時的に中止させる制御手段と、前記制御手段により前記焦点調節が中止されてから再開された場合に、前記基準情報を変更する変更手段と、を備え、前記制御手段は、前記焦点検出手段の検出結果が、前記焦点調節の中止前の前記対象の位置に対応する前記焦点検出位置の前記焦点調節状態と同等であることを示す場合に、前記焦点調節を再開させることを特徴とする。
（５）請求項５の画像追尾装置は、請求項４に記載の画像追尾装置において、前記変更手段は、前記焦点調節の再開後に得られる前記画像情報の内の、前記同等の検出結果が得られる領域の画像情報に基づいて前記基準情報を変更することを特徴とする。
（６）請求項６の画像追尾装置は、請求項１〜５のいずれか一項に記載の画像追尾装置において、前記画像情報は、色に関する情報と輝度に関する情報の内の少なくとも一つであることを特徴とする。
（７）請求項７の撮像装置は、請求項１〜６のいずれか一項に記載の画像追尾装置を備えることを特徴とする。

本発明によれば、焦点調節の再開後に基準画像を適切に更新することができ、撮影者の意図する被写体を追尾することができる。

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズのデフォーカス量を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、画像追尾結果の画面内位置の焦点検出エリアを選択してその焦点検出エリアのデフォーカス量により撮影レンズを合焦駆動する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。

図１は、一実施の形態の被写体追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１００の構成を示す。カメラ本体１０には交換レンズ１１が交換可能に装着されている。カメラ本体１０には、被写体像を撮像して画像を記録するための第１撮像素子１２が設けられている。この第１撮像素子１２はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー１３が実線で示す撮影光路外の位置に退避してシャッター１４が開放され、撮影レンズ１５により第１撮像素子１２の受光面に被写体像が結像される。

カメラ本体１０の底部には、撮影レンズ１５の焦点調節状態を検出するための焦点検出光学系１６と測距素子１７が設けられている。この一実施の形態では、瞳分割位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系１６は、撮影レンズ１５を通過した対の焦点検出用光束を測距素子１７の受光面へ導き、対の光像を結像させる。測距素子１７は例えば一対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー１３が破線で示すような撮影光路内の位置に設定されており、撮影レンズ１５からの対の焦点検出用光束はクイックリターンミラー１３のハーフミラー部を透過し、サブミラー１８により反射されて焦点検出光学系１６および測距素子１７へ導かれる。

カメラ本体１０の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー１３が破線で示す位置にあり、撮影レンズ１５からの被写体光は焦点板２０へ導かれ、焦点板２０上に被写体像が結像する。液晶表示素子２１は、焦点板２０上に結像された被写体像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。焦点板２０上の被写体像はペンタダハプリズム２２および接眼レンズ２３を介して接眼窓２４へ導かれ、撮影者が被写体像を視認することができる。

また、カメラ本体１０上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第２撮像素子２５が設けられている。この第２撮像素子２５については詳細を後述する。焦点板２０に結像した被写体像は、ペンタダハプリズム２２、プリズム２６および結像レンズ２７を介して第２撮像素子２５の受光面に再結像される。第２撮像素子２５は被写体像に応じた画像信号を出力する。

カメラ本体１０にはまた、操作部材２８、制御装置２９、レンズ駆動装置３０が設けられる。操作部材２８には、シャッターボタンや焦点検出エリア選択スイッチなどのカメラ１００を操作するためのスイッチやセレクターが含まれる。制御装置２９はＣＰＵとその周辺部品から構成され、カメラ１００の各種制御と演算などを行う。また、レンズ駆動装置３０はモーターと駆動回路から構成され、撮影レンズ１５の焦点調節を行う。

図２は制御装置２９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。制御装置２９はマイクロコンピューターのソフトウエア形態により構成される各種制御部を備えている。ＣＣＤ制御部３１は第２撮像素子２５の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換部３２は、第２撮像素子２５から出力されるアナログ画像信号を画像情報としてのデジタル画像信号に変換する。露出演算部３３は、第２撮像素子２５により撮像した画像信号に基づいて露出値を演算する。

焦点検出演算部３４は、測距素子１７から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ１５の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ１５の撮影画面内には複数の位置に焦点検出位置としての焦点検出エリアが設定されており、測距素子１７は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部３４は焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。レンズ駆動量演算部３５は検出されたデフォーカス量をレンズ駆動量に変換する。レンズ駆動装置３０は、レンズ駆動量にしたがって撮影レンズ１５のフォーカシングレンズ（不図示）を駆動し、焦点調節を行う。

追尾制御部３６は、第２撮像素子２５により撮像した被写体像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１００が自動で設定した追尾対象位置に対応する画像をテンプレート画像として後述の記憶部３７に記憶させるとともに、その追尾対象位置の撮影レンズ１５のデフォーカス量を焦点検出演算部３４に検出させる。そして、その後に繰り返し撮像される画像の中からテンプレート画像と一致または類似する画像領域を検索することにより対象の位置を認識するとともに、テンプレート画像と一致または類似する画像領域に対応した焦点検出位置における撮影レンズ１５のデフォーカス量を検出し、その検出結果を前回の追尾対象領域において検出されたデフォーカス量と比較して大きな変化がなければ、検索された画像領域に対応する焦点検出位置で合焦制御を行う。このような手順を繰り返し、特定の被写体を追尾する。記憶部３７は、追尾制御部３６による追尾動作中のテンプレート画像やデフォーカス量などの情報、あるいは撮影レンズ１５の焦点距離、開放Ｆ値、絞り値、像ズレ量／デフォーカス量の変換係数などのレンズ情報を記憶する。

図３は第２撮像素子２５の詳細な構成を示す正面図である。第２撮像素子２５は、マトリクス状に配列された複数の画素（光電変換素子）４０（ここでは横１６個×縦１２個＝１９２個）を備えている。各画素４０は図４に示すように３個の部分４０ａ、４０ｂ、４０ｃに分割され、これらの部分４０ａ、４０ｂ、４０ｃにはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素４０ごとに被写体像のＲＧＢ信号を出力することができる。

次に、一実施の形態の被写体追尾動作を説明する。図５は一実施の形態の被写体追尾方法を説明するための図、図６〜図９は一実施の形態の被写体追尾処理を示すフローチャートである。制御装置２９は、第２撮像素子２５により撮像した被写体像の内、撮影者が手動で追尾対象位置を指定するか、あるいはカメラ１００が自動で追尾対象位置を設定した後、操作部材２８のシャッターボタンを半押しすると被写体追尾処理を開始する。

なお、シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー１３は図１に破線で示す撮影光路内に設定されており、撮影レンズ１５から入射した被写体光は焦点板２０上に結像される。そして、焦点板２０上の被写体像はペンタダハプリズム２２、プリズム２６および結像レンズ２７を介して第２撮像素子２５へ導かれ、第２撮像素子２５から被写体像が繰り返し出力される。

撮影レンズ１５の撮影画面には複数の位置に焦点検出エリアが設定されており、液晶表示素子２１により焦点板２０上の被写体像にエリアマークを重畳し、各焦点検出エリアの位置を表示する。この一実施の形態では、図５に示すように、撮影画面内の１１カ所に焦点検出エリア４５ａ〜４５ｋが設定された例を示す。また、操作部材２８の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。

例えば、被写体像に対応する焦点検出エリア４５ｆを操作部材２８の焦点検出エリア選択スイッチにより選択すると、焦点検出エリア４５ｆのマークが点灯（ここでは黒色表示）され、この状態で操作部材２８のシャッターボタンを半押しすることによって、追尾対称の被写体を指定することができる。また、この半押し操作に応じて制御装置２９は被写体追尾処理を開始する。

図６のステップ１において、第２撮像素子２５により追尾初期画像（被写体追尾処理を開始して最初に取得する画像）を取得するとともに、測距素子１７により選択焦点検出エリア（ここでは、４５ｆ）に対応する対の光像を取得する。続くステップ２では、測距素子１７により取得した焦点検出エリア４５ｆに対応する対の光像に基づいて焦点検出エリア４５ｆのデフォーカス量（撮影レンズ１５の焦点調節状態）を検出する。ステップ３で、選択された焦点検出エリア４５ｆに対して検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動装置３０により撮影レンズ１５を駆動して焦点調節を行う。

ステップ４において、図８に示す追尾制御の初期処理を実行する。図８のステップ１０１において、追尾初期画像の中の焦点検出エリア４５ｆの位置に対応する位置の画像を被写体色情報として記憶する。ステップ１０２では、図５(ａ)に示すように、追尾初期画像の中の焦点検出エリア４５ｆの位置周辺部において被写体色情報と同様な色情報を示す同色情報領域を検出し、続くステップ１０３で同色情報領域を初期の追尾被写体領域４７とする。ステップ１０４において、追尾初期画像の中の追尾被写体領域４７の画像を次回の追尾処理に用いるテンプレート画像４８（図５(ｂ)参照）として記憶部３７に記憶し、ステップ１０５で追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）ずつ拡大した領域を探索領域４９に設定する。その後、図６のステップ５へリターンする。

なお、この一実施の形態では被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、輝度情報に基づいて追尾被写体領域４７を決定してもよく、処理の簡素化を図るために一律４×４画素の領域サイズとしたり、撮影レンズ１５の焦点距離情報に応じて領域サイズを決定してもよい。

追尾制御の初期処理を終了したら図６のステップ５へ進み、操作部材２８のシャッターボタンが全押しされたか否か、つまりシャッターレリーズ操作が行われたか否かを確認する。シャッターレリーズ操作が行われた場合はステップ９へ進み、ミラー１３をアップしてシャッター１４を開放し、第１撮像素子１２により撮像を行う。一方、シャッターレリーズ操作が行われていない場合はステップ６へ進み、第２撮像素子２５から次の画像情報を取得するとともに、測距素子１７により各焦点検出エリア４５ａ〜４５ｋごとに焦点検出用の対の光像を取得する。

ステップ７において、図９に示す追尾演算処理を行う。図９のステップ２０１において、追尾次画像の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８の対応する画素ごとに画像情報の差分を算出し、全画素に対する差分の総和を求める。ここで、例えば各画素の色相Ｂ／Ｇ、Ｒ／Ｇの差分を画像情報の差分とする場合には、第２撮像素子２５から出力される生の画像信号を用いて演算することができるため、生の画像信号に対するホワイトバランスやフィルター処理などの前処理を必要とせず、追尾処理の簡素化を図ることができる。なお、色相差に代えて画素ごとの色の差を演算するようにしてもよい。輝度情報に基づいて追尾被写体領域４７を決定する場合は、画素ごとの輝度差を演算してもよい。

探索領域４９から切り出したすべての画像に対してテンプレート画像４８との差分の総和演算が終了したら、演算結果の中で差分の総和値が最も小さい切り出し画像を選び、その切り出し画像の領域を新しい追尾被写体領域４７に決定することにより対象の位置を認識する。ステップ２０３で、新しい追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）ずつ拡大した領域を新しい探索領域４９に設定する。その後、図６のステップ８へリターンする。

リターン後の図６のステップ８において、測距素子１７により取得した各焦点検出エリア４５ａ〜４５ｋに対応する対の光像に基づいて各焦点検出エリアのデフォーカス量（撮影レンズ１５の焦点調節状態）を検出する。続く図７のステップ１１ではＡＦにおけるレンズ駆動の一時中止（この明細書では、ロックオンという）を示すロックオンＦ（フラグ）がセット（ロックオンＦ＝１）されているか否か、すなわちロックオンの実行中か否かを確認する。ロックオンフラグがリセット（ロックオンＦ＝０）されてロックオンが実行されていないときはステップ１２へ進み、ＡＦによるロックオン条件が成立するか否かを判定する。

ここで、一実施の形態のＡＦロックオン条件について説明する。今回の画像追尾において新しい追尾被写体領域４７の位置に対応する焦点検出エリア（４５ａ〜４５ｋのいずれか）で検出されたデフォーカス量をＤｎとし、前回の画像追尾において追尾被写体領域４７の位置に対応する焦点検出エリア（４５ａ〜４５ｋのいずれか）で検出されたデフォーカス量をＤn-1としたとき、前回と今回の画像追尾位置でのデフォーカス量の差（Ｄｎ−Ｄn-1）が、予め設定した同一被写体と見なせる判定基準値を超える場合には、ＡＦロックオン条件が成立するとし、追尾被写体が入れ替わったと判断してロックオンを開始する。

なお、前回の画像追尾において追尾被写体領域４７の位置に対応する焦点検出エリアで検出されたデフォーカス量Ｄn-1は、今回の画像追尾においてデフォーカス量の差（Ｄｎ−Ｄn-1）が判定基準値を超える前の、つまり“被写体はずし”が発生する前の、さらに換言すればロックオン開始直前の、追尾対象の被写体を正しく捕捉しているときのデフォーカス量であり、後述するＡＦロックオン解除判定に用いるためにデフォーカス量Ｄn-0として制御装置２９の記憶部３７に記憶しておく。

ＡＦロックオン条件が成立する場合はステップ１５へ進み、成立しない場合はステップ１３へ進む。ＡＦロックオン条件が成立しない場合は、ステップ１３で画像追尾によるロックオン条件が成立するか否かを判定する。

ここで、一実施の形態の画像追尾ロックオン条件について説明する。画像追尾において、ステップ６で得た追尾次画像の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８の対応する画素ごとの画像情報の差分の総和値、この一実施の形態では画素ごとの色相Ｂ／Ｇ、Ｒ／Ｇの差分の総和値を算出する。そして、切り出した画像の中で総和値が最も小さい切り出し画像の領域を新しい追尾被写体領域４７に決定するが、この最少の総和値が予め設定した同一被写体と見なせる判定基準値を超える場合には、画像追尾ロックオン条件が成立するとし、追尾対象の被写体を見失ったと判断してロックオンを開始する。

ＡＦロックオン条件と画像追尾ロックオン条件の内の少なくとも一方が成立する場合はステップ１５へ進み、撮影レンズ１５の合焦制御を行わず、ロックオンフラグをセット（１）するとともに、制御装置２９の内蔵タイマー（不図示）によりロックオンを開始してからの経過時間の計時を開始する。その後、図６のステップ５へ戻って上述した処理を繰り返す。一方、ＡＦロックオン条件と画像追尾ロックオン条件のどちらも成立しない場合はステップ１４へ進み、ロックオンを開始せずに、今回の画像追尾における新しい追尾被写体領域４７の位置に対応する焦点検出エリア（４５ａ〜４５ｋのいずれか）で検出されたデフォーカス量Ｄｎに基づき、撮影レンズ１５の合焦制御を行う。

ステップ１１でロックオンフラグがセット（ロックオンＦ＝１）されてロックオンがすでに実行されているときはステップ１６へ進み、ロックオンを開始してから予め設定した所定のロックオン時間が経過したか否かを確認し、予め設定したロックオン時間が経過していないときはステップ１７へ進む。ここで、ロックオン時間の設定値には、これ以上待っても後述するロックオン解除条件が成立してロックオン開始前の追尾対象の被写体を再捕捉できる確率は極めて低いと判断できる適当な時間またはカメラのカスタムセッティングにてユーザーが自分の好みなどに応じた時間を設定する。ステップ１７ではＡＦロックオン解除条件が成立しているか否かを判別する。

ここで、ＡＦロックオン解除条件について説明する。上述したように、今回の画像追尾において新しい追尾被写体領域４７の位置に対応する焦点検出エリアで検出されたデフォーカス量Ｄｎと、前回の画像追尾において追尾被写体領域４７の位置に対応する焦点検出エリアで検出されたデフォーカス量Ｄn-1との差（Ｄｎ−Ｄn-1）が、予め設定した同一被写体と見なせる判定基準値を超える場合にはＡＦロックオン条件が成立し、ロックオンを開始した。

この一実施の形態では、ステップ８において焦点検出エリア（４５ａ〜４５ｋのいずれか）で検出されたデフォーカス量の中から、制御装置２９の記憶部３７に記憶されているデフォーカス量Ｄn-0、つまりＡＦロックオン開始直前の追尾対象の被写体を正しく捕捉しているときのデフォーカス量Ｄn-0との差が、上述した予め設定した同一被写体と見なせる判定基準値以下になるものがある場合には、ＡＦロックオンの解除条件が成立するとし、最もＤn-0との差が小さくなるデフォーカス量が検出された焦点検出エリア（４５ａ〜４５ｋのいずれか）を新追尾被写体領域４７とし、追尾対象の被写体をふたたび捕捉したと判断してロックオンを解除する。

ＡＦロックオン解除条件が成立した場合はステップ１９へ進み、成立していない場合はステップ１８へ進む。ＡＦロックオン解除条件が成立していない場合は、ステップ１８で画像追尾のロックオン解除条件が成立しているか否かを判定する。

ここで、画像追尾ロックオン解除条件について説明する。上述したように、画像追尾において追尾次画像の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８の対応する画素ごとの画像情報の差分の総和値を算出し、切り出した画像の総和値の中で最も小さい総和値が予め設定した同一被写体と見なせる判定基準値を超える場合には画像追尾ロックオン条件が成立し、ロックオンを開始した。

この一実施の形態では、ステップ６で得られる追尾次画像の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８の対応する画素ごとの画像情報の差分、この一実施の形態では画素ごとの色相Ｂ／Ｇ、Ｒ／Ｇの差分の総和値を算出する。そして、切り出した画像の総和値の中で最も小さい総和値が予め設定した同一被写体と見なせる判定基準値以下になった場合には、画像追尾のロックオン解除条件が成立するとし、追尾対象の被写体をふたたび捕捉したと判断してロックオンを解除する。

なお、テンプレート画像４８はいったんロックオンが開始されるとロックオンが解除されるまで更新されないため、ロックオン解除を判定する時点におけるテンプレート画像４８はロックオン開始直前のテンプレート画像のままである。

ＡＦロックオン解除条件が成立する場合は、ロックオン開始前に追尾していた対象被写体をふたたび捕捉したと判断してステップ１９へ進む。ステップ１９ではロックオンフラグをリセット（ロックオンＦ＝０）し、続くステップ２０において、ステップ１７にて最もＤn-0との差が小さくなるデフォーカス量が検出された焦点検出エリア（４５ａ〜４５ｋのいずれか）で、検出されたデフォーカス量Ｄｎに基づいて撮影レンズ１５の合焦制御を行う。次に、ステップ２１において、新追尾被写体領域４７（ステップ１７）の画像を新しいテンプレート画像４８として制御装置２９の記憶部３７に記憶し、テンプレート画像の更新を行う。
このようにＡＦロックオン解除条件が成立する場合とは、ロックオン開始前と比較してデフォーカス量の差が判定基準値より小さく、追尾対象とカメラ１００との距離の変化量が小さい場合である。このような結果が得られる状況の一例として、追尾対象とカメラ１００との間を別の被写体が横切って、カメラ１００が該被写体を認識することによりＡＦロックオン条件がいったん成立してしまう場合が考えられる。この際、別の被写体が横切っている間に追尾対象が向きを変えてしまうと、ロックオン開始前のテンプレート画像では認識できないが、この一実施の形態によればデフォーカス量に基づいてロックオン開始後も追尾対象を認識し、かつテンプレート画像を変更するので、ロックオン解除後も追尾することが可能である。
画像追尾ロックオン解除条件が成立する場合は、ロックオン開始前に追尾していた対象被写体を再捕捉したと判断してステップ２５へ進む。ステップ２５ではロックオンフラグをリセット（ロックオンＦ＝０）し、続くステップ２６で、今回の画像追尾において検出された新追尾被写体領域４７の位置に対応する焦点検出エリアで検出されたデフォーカス量に基づいて撮影レンズ１５の合焦制御を行う。

一方、ＡＦロックオン解除条件と画像追尾ロックオン解除条件のどちらも成立しない場合は、ロックオン開始前に追尾していた対象被写体を捕捉できなかった判断し、ロックオンを継続してステップ５へ戻り、上述した処理を繰り返す。

ステップ１６でロックオンを開始してから予め設定したロックオン時間が経過したと判断された場合はステップ２２へ進み、これ以上待っても後述するロックオン解除条件が成立して当初の追尾対象の被写体を再捕捉できる確率は極めて低いため、ロックオンを解除する処理を行う。まず、ステップ２２でロックオンフラグをリセット（ロックオンＦ＝０）する。次に、ステップ２３において、ステップ８で再び検出した焦点検出エリア４５ａ〜４５ｋの最新のデフォーカス量の中で最至近を示すデフォーカス量を選択し、最至近のデフォーカス量に基づいて撮影レンズ１５の合焦制御を行う。そして、ステップ２４で今回合焦制御を行った焦点検出エリアに対応する領域を追尾対象領域４７として、その領域の画像を新しいテンプレート画像４８として制御部２８の記憶部３７に記憶し、テンプレート画像４８の変更を行う。

なお、予め設定したロックオン時間の経過によりロックオンを解除した後、画面内の複数の焦点検出エリアで検出された複数のデフォーカス量の中から最至近を示すデフォーカス量を選択して焦点調節を行う例を示したが、ロックオン時間経過後のＡＦはこの一実施の形態に限定されない。

このように、一実施の形態によれば、ロックオン解除後に基準画像を適切に変更することができ、撮影者の意図する被写体を追尾し続けることができる。

なお、上述した一実施の形態では、本発明を一眼レフデジタルスチルカメラに適用した実施例を説明したが、本発明は時系列的に画像を取得可能な撮像装置であればどのような装置でも実現可能であり、一眼レフデジタルスチルカメラ以外の、例えばコンシューマデジタルカメラや動画像を取得する撮像装置としてのビデオカメラなどにも本発明を適用することができる。

一実施の形態の被写体追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ１００）の構成を示す図 制御装置の詳細な構成を示す図 第２撮像素子の詳細な構成を示す正面図 第２撮像素子の各画素の詳細な構成を示す正面図 一実施の形態の被写体追尾方法を説明するための図 一実施の形態の被写体追尾処理を示すフローチャート 図６に続く、一実施の形態の被写体追尾処理を示すフローチャート 追尾制御初期処理を示すフローチャート 追尾演算処理を示すフローチャート

符号の説明

１０ カメラ本体
１１ 交換レンズ
１７ 測距素子
２５ 第２撮像素子
２９ 制御装置
３０ レンズ駆動装置
３４ 焦点検出演算部
３５ レンズ駆動量演算部
３６ 追尾制御部
３７ 記憶部
１００ 一眼レフデジタルカメラ

Claims (7)

1. 光学系による画面内の画像情報を取得する撮像素子と、
   前記画像情報の内の対象の位置の画像情報を基準情報として記憶する記憶手段と、
   前記撮像素子により繰り返し取得される前記画像情報と前記基準情報とに基づいて、前記画面内における前記対象の位置を繰り返し認識する認識手段と、
   前記画面内に設定される焦点検出位置についての前記光学系の焦点調節状態を検出する焦点検出手段と、
   前記認識手段により認識した前記対象の位置に対応する前記焦点検出位置の前記焦点調節状態にしたがって焦点調節制御を行う焦点調節制御手段と、
   前記対象の位置に対応する前記焦点検出位置の前記焦点調節状態の変化量が所定値を超えた場合に前記焦点調節を一時的に中止させる制御手段と、
   前記制御手段により前記焦点調節が中止されてから再開された場合に、前記基準情報を変更する変更手段と、を備えることを特徴とする画像追尾装置。
2. 請求項１に記載の画像追尾装置において、
   前記制御手段は、前記焦点検出手段の検出結果が、前記焦点調節の中止前の前記対象の位置に対応する前記焦点検出位置の前記焦点調節状態と同等であることを示す場合に、前記焦点調節を再開させることを特徴とする画像追尾装置。
3. 請求項２に記載の画像追尾装置において、
   前記変更手段は、前記焦点調節の再開後に得られる前記画像情報の内の、前記同等の検出結果が得られる領域の画像情報に基づいて前記基準情報を変更することを特徴とする画像追尾装置。
4. 光学系による画面内の画像情報を取得する撮像素子と、
   前記画像情報の内の対象の位置の画像情報を基準情報として記憶する記憶手段と、
   前記撮像素子により繰り返し取得される前記画像情報と前記基準情報とに基づいて、前記画面内における前記対象の位置を繰り返し認識する認識手段と、
   前記画面内に設定される焦点検出位置についての前記光学系の焦点調節状態を検出する焦点検出手段と、
   前記認識手段により認識した前記対象の位置に対応する前記焦点検出位置の前記焦点調節状態にしたがって焦点調節制御を行う焦点調節制御手段と、
   前記焦点検出手段の検出結果に基づいて前記焦点調節を一時的に中止させる制御手段と、
   前記制御手段により前記焦点調節が中止されてから再開された場合に、前記基準情報を変更する変更手段と、を備え、
   前記制御手段は、前記焦点検出手段の検出結果が、前記焦点調節の中止前の前記対象の位置に対応する前記焦点検出位置の前記焦点調節状態と同等であることを示す場合に、前記焦点調節を再開させることを特徴とする画像追尾装置。
5. 請求項４に記載の画像追尾装置において、
   前記変更手段は、前記焦点調節の再開後に得られる前記画像情報の内の、前記同等の検出結果が得られる領域の画像情報に基づいて前記基準情報を変更することを特徴とする画像追尾装置。
6. 請求項１〜５のいずれか一項に記載の画像追尾装置において、
   前記画像情報は、色に関する情報と輝度に関する情報の内の少なくとも一つであることを特徴とする画像追尾装置。
7. 請求項１〜６のいずれか一項に記載の画像追尾装置を備えることを特徴とする撮像装置。
   

Images