JP5404238B2

JP5404238B2 - 撮像装置

Info

Publication number: JP5404238B2
Application number: JP2009183722A
Authority: JP
Inventors: 謙太郎田中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-08-06
Filing date: 2009-08-06
Publication date: 2014-01-29
Anticipated expiration: 2029-08-06
Also published as: JP2011039112A

Description

本発明は、追尾機能を備えた撮像装置に関する。

動いている被写体に対して適切な焦点制御を行うために、動画中の被写体を追尾する追尾機能を備えた撮像装置が提案されている。このような撮像装置は、まず追尾対象とする被写体の画像データを基準データとして記憶し、動画中からこの基準データと最も相関の高い領域を連続して抽出することで、追尾機能を実現させている。そして、この追尾機能にて抽出した領域の画像データから焦点調節のための評価値（以下、ＡＦ評価値という）を求め、この評価値を用いて焦点制御を行うことで、追尾対象とする被写体に対してピントを合わせ続けることが可能となる。

基準データを決定する方法としては、ユーザに、画面中央に設けられた追尾枠に追尾対象としたい被写体を重ねさせることで、この追尾枠に囲まれた追尾領域の画像データを基準データとする方法がある。あるいは、ユーザに追尾領域の位置のみを指定させ、撮像装置が追尾機能を実行するために必要な追尾領域のサイズを自動的に判定し、判定後の追尾領域の画像データを基準データとする方法がある。

後者の方法としては、例えば、追尾領域のサイズを判定するために、被写体の画像データから得られた分散を用いるものがある。具体的には、ユーザが指定した位置を中心に追尾領域を設定し、この追尾領域の画像データから輝度信号および色差信号の分散を求めて閾値と比較する。それぞれの分散が閾値を越えていなければ、追尾領域のサイズを拡大し、夫々の分散が閾値を超えたのであれば、その時点の追尾領域の画像データを基準データとして記憶する（特許文献１を参照）。

特開２００９−１１１７１６号公報

ここで、画像データの一部の領域を切り出すことで、ズームレンズを用いた光学ズーム処理に類似した効果を得ることができる電子ズーム処理を用いると、上記のように追尾領域のサイズを自動的に設定した場合に、焦点制御の精度に影響を与える可能性がある。

これは追尾領域の見た目上のサイズを等しくすると、電子ズーム処理を用いた場合の追尾領域の画像データを構成する画素数は、電子ズーム処理を用いない場合の画素数に比較して減少していることに起因する。つまり、追尾領域の見た目上のサイズが等しくても、電子ズーム処理を用いない場合の追尾領域の画素数はＡＦ評価値を求めるために必要な数に達しているが、電子ズーム処理を用いた場合には必要な数に達していない可能性がある。そのため、電子ズーム処理を用いた場合の焦点制御の精度が、電子ズーム処理を用いない場合に比較して低下してしまう可能性があった。

本発明は、上記課題を解決することを目的とし、電子ズーム処理を用いた場合であっても、用いない場合に比較して焦点制御の精度が低下してしまうことを抑制することと、追尾領域のサイズを自動的に設定することの両立を可能とする撮像装置を提供するものである。

上記課題を解決するため、請求項１に記載の撮像装置は、撮像素子と、前記撮像素子にて生成された画像データを用いて画像を表示する表示手段と、前記表示手段に表示された画像における追尾対象の位置を指定させるための操作手段と、前記操作手段にて指定された前記画像上の位置を基準として追尾領域を設定し、前記追尾領域に含まれる画像データが追尾の精度を確保するための条件を満たすか否かを判定する制御手段と、前記追尾領域の被写体に対して焦点制御を行う焦点制御手段と、ズーム倍率に応じて前記表示手段が表示する画像の拡大率を変更する電子ズーム手段を有し、前記焦点制御手段は、前記追尾領域と同じ位置の領域における画像データから評価値を求め、前記評価値を用いて焦点制御を行うものであって、前記追尾領域が大きくなるほど前記評価値を求めるための画像データの領域を大きく設定し、前記制御手段は、前記追尾領域に含まれる画像データが前記条件を満たさないと判定した場合には、前記追尾領域の前記表示手段の画面に対するサイズを拡大するものであって、前記追尾領域の前記表示手段の画面に対する最小サイズを前記電子ズーム手段における前記ズーム倍率に応じて変更することを特徴とするものである。

本発明は、電子ズーム処理を用いた場合であっても、用いない場合に比較して焦点制御の精度が低下してしまうことを抑制することと、追尾領域のサイズを自動的に設定することの両立を可能とする撮像装置を提供することができる。

本発明を適用できるデジタルカメラのシステムの構成を示したブロック図である。撮影モードが設定された場合のデジタルカメラの動作を示すフローチャートである。ズーム処理を説明するためのフローチャートである。ＡＦ評価値を求める際に用いられる画像データの格納状態を模式化した図である。ＡＦ評価値決定処理を説明するためのフローチャートである。１フレームの画像上における追尾領域のサイズを説明するための図である。追尾領域サイズ設定処理を説明するためのフローチャートである。

以下に、図面を用いながら本発明の実施形態について詳細に説明する。

図１は本発明を適用できる撮像装置のシステムの構成を示したブロック図である。本実施形態ではデジタルカメラを例にあげて説明を行うが、デジタルビデオカメラであっても本発明を適用することは可能である。

図１において、１０１は撮像装置全体を制御する制御部であり、不図示のプログラム格納メモリに記憶されたプログラムに従って、以下に記載される各処理を実行する。また、この制御部１０１は、追尾対象とする被写体の画像データを基準データとして記憶し、動画中からこの基準データと最も相関の高い領域を連続して抽出することで、追尾機能を実現させることできる。１０２はフォーカスレンズおよびズームレンズを含む複数のレンズで構成された撮影光学部材である。１０３は撮影光学部材１０２のフォーカスレンズおよびズームレンズの光軸上の位置を調整するレンズアクチュエータである。１０４は制御部１０１とレンズアクチュエータ１０３の通信を行うためのドライバである。

１０５は、撮影光学部材１０２を透過してきた被写体像を受光して光電変換を行い、アナログ信号の画像データを生成する撮像素子である。撮像素子としてはＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが適用される。１０６は撮像素子１０５から出力されたアナログ信号の画像データに対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル信号の画像データとして出力するＡＦＥ（アナログフロントエンド回路）である。

１０７は、ＡＦＥ１０６から出力されたデジタル信号の画像データに対して各種の画像処理を行い、処理済みの輝度信号、色差信号からなる画像データを出力する画像処理部である。例えば、各種の画像処理としてはホワイトバランス処理、色収差補正処理、色滲み抑圧処理、歪曲収差補正処理、エッジ強調処理、あるいは、ノイズリダクション処理等が含まれている。また、画像処理部１０７は、焦点制御に用いるＡＦ評価値の生成のため、ＡＦＥ１０６から出力された画像データに対して不要な高周波成分を取り除くフィルタリング処理を施し、その結果得られた画像データを内部記憶部１０８に蓄積する。

１０８は画像処理部１０７にて画像処理が施された画像データや、表示装置１０１１が用いる表示用の画像データ、あるいは、光学ズーム処理や電子ズーム処理のズームポジションを一時的に記憶させておくための内部記憶部である。１０９は本撮影によって得られた画像データを、このデジタルカメラに着脱可能な記憶媒体に記憶させるための外部記憶部である。

１１０は画像処理部１０７から出力された画像データを表示用の画像データのサイズとなるようにリサイズし、この表示用の画像データを用いて画像を表示する表示部である。表示部１１０は本撮影で得られた静止画を表示するだけでなく、撮像素子１０５で生成された動画をリアルタイムで表示することで、被写体の様子をユーザが観察することが可能となる。また、追尾領域を表す追尾枠を動画に重畳して表示する。１１１はデジタルカメラを操作するユーザからの入力による指示を、電気信号に変換して制御部１０１に伝える操作部材である。操作部材１１１には、メニューボタン、ズームボタン、レリーズボタン、モード切り替えダイヤル、十字ボタン、あるいは、タッチパネルなどが含まれる。

この図１に示すデジタルカメラは、電源を投入すると、撮影した画像を再生するための再生モードと、撮影を行うための撮影モードのいずれかに設定されるものとする。ユーザは操作部材１１１を用いることで再生モードと撮影モードの切り替えを自由に行うことができる。

図２は、撮影モードが設定された場合のデジタルカメラの動作を示すフローチャートである。デジタルカメラの電源が投入され、撮影モードが設定されると、撮像素子１０５は動画を生成し、表示部１１０は生成された動画の画像データを用いてリアルタイムで被写体の画像を表示する。

ステップＳ２０１では、制御部１０１は、操作部材１１１から撮影モードを終了するための指示が入力されたか否かを判定する。撮影モードを終了させるための指示とは、電源をオフにする操作か、あるいは、再生モードに切り替えるための操作である。制御部１０１は撮影モードを終了させるための指示があれば本フローチャートを終了し、そうでなければステップＳ２０２に進む。

ステップＳ２０２では、制御部１０１は、操作部材１１１に含まれるズームボタンが操作されたか否かを判定し、ズームボタンが操作されていればステップＳ２０３に進み、操作されていなければステップＳ２０４に進む。

ステップＳ２０３では、制御部１０１は後述するズーム処理を行い、ステップＳ２０１に戻る。

ステップＳ２０４では、制御部１０１は、操作部材１１１に含まれるレリーズボタンが操作されたか否かを判定し、操作されていればステップＳ２０５に進み、操作されていなければステップＳ２０６に進む。

ステップＳ２０５では、制御部１０１は静止画の撮影処理を行う。操作部材１１１に含まれるレリーズボタンが半押しされると、その時点における画像データに得られたＡＦ評価値や輝度値から本撮影用の焦点位置および露出値を求め、レリーズボタンが全押しされると、その焦点位置および露出値で静止画の本撮影を行う。この本撮影によって得られた静止画は、本撮影後すぐに表示部１１０に表示され、ユーザが確認することができる。この撮影処理を終えると、ステップＳ２０１に戻る。

ステップＳ２０６では、制御部１０１は、操作部材１１１に含まれるダイヤル、十字ボタン、あるいは、タッチパネルによって、ユーザによって追尾領域の位置が指定されたか否かを判定し、指定されていればステップＳ２０７に進む。指定されていなければステップＳ２０１に戻る。

ステップＳ２０７では、制御部１０１は後述する追尾領域サイズ決定処理を行い、ステップＳ２０８に進む。

ステップＳ２０８では、制御部１０１は後述するＡＦ評価値決定処理を行い、ステップＳ２０１に戻る。

次に、ステップＳ２０３のズーム処理について説明する。本実施形態では、ズームレンズが望遠端に到達していないのであれば、ズームレンズを駆動する光学ズーム処理によってズーム処理を行う。そして、フォーカスレンズが望遠端に到達し、かつ、さらにズーム倍率を高くするよう指示された場合には、ズームレンズの駆動だけではカバーできないズーム倍率を実現するために電子ズーム処理を行う。

電子ズーム処理は、撮像素子１０５で生成された画像データの一部の領域を切り出して拡大率を変えて表示することで、見た目上のズーム倍率を高くするものである。画像データの一部の領域を切り出すため、電子ズーム処理を行わない場合に比較して、表示されている画像データを生成している画素数は減少する。電子ズーム処理はこのように画像データに含まれる画素数が減少するため、光学ズーム処理で達成できるズーム倍率については光学ズーム処理を行い、光学ズーム処理だけでは達成できないズーム倍率についてのみ電子ズーム処理を行うものとする。

図３は、図２のステップＳ２０３のズーム処理を説明するためのフローチャートである。

ステップＳ３０１では、制御部１０１は、ドライバ１０４、内部記憶部１０８に対してズーム処理に必要な初期化を行う。

ステップＳ３０２では、制御部１０１は、操作部材１１１のズームボタンからズーム操作に相当する入力を取り込み、ズーム操作が行われているか否かを判断する。ここで、ズーム操作が行われていないと判断した場合には、本フローチャートを終了し、ズーム操作が行われていればステップＳ３０３に進む。

ステップＳ３０３では、制御部１０１は、ズーム制御が可能であるか否かを判定する。ズーム制御の可否の判定は、ドライバ１０４経由で、レンズアクチュエータ１０３が駆動するフォーカスレンズの位置を確認することによる機械的な制御限界と、予め規定され、内部記憶部１０８に記憶されている電子ズーム処理の制御限界の双方から判定される。ズームレンズが広角端に位置しているときに、ズーム倍率を低くするよう指示された場合や、ズームレンズが望遠端に達し、電子ズーム処理も限界に達しているときに、ズーム倍率を高くするよう指示された場合には、ズーム制御が不可能であると判定する。制御部１０１は、ズーム制御が可能であると判定すればステップＳ３０４に進み、不可能であると判定した場合には本フローチャートを終了する。

ステップＳ３０４では、制御部１０１は、現在のズーム状態が電子ズーム域であるか否かを判定する。具体的には、ズームレンズが望遠端に達していないズーム状態であれば、電子ズーム域ではないと判定する。ズームレンズが望遠端に達しており、かつ、電子ズーム処理によって画像データの一部の領域を切り出しているズーム状態であれば、電子ズーム域であると判定する。ただし、ズームレンズが望遠端に達しており、かつ、電子ズーム処理によって画像データの一部の領域を切り出されていないズーム状態である場合は、ズーム倍率の指示の内容によって判定が異なる。この状態でズーム倍率を高くするよう指示されていれば電子ズーム域であると判定し、同じくこの状態でズーム倍率を低くするよう指示されていれば電子ズーム域でないと判定する。

制御部１０１は、電子ズーム域であると判定した場合にはステップＳ３０５に進み、電子ズーム域でないと判定した場合にはステップＳ３０６に進む。
ステップＳ３０５では、制御部１０１は、ズーム倍率の指示にしたがって画像データを切り出す範囲を決定し、電子ズーム処理を行う。この際、内部記憶部１０８の任意のアドレスに現在の電子ズーム処理でのズームポジションを記憶する。そして、ステップＳ３０２に戻る。

ステップＳ３０６では、制御部１０１は、ズーム倍率の指示にしたがってズームレンズを駆動するようレンズアクチュエータ１０３に指令を出して光学ズーム処理を行う。この際、内部記憶部１０８の任意のアドレスに現在の光学ズーム処理でのズームポジションを記憶する。そして、ステップＳ３０２に戻る。

以上のようにして、ズーム倍率に応じて、光学ズーム処理と電子ズーム処理を切り替えている。

次に、ステップＳ２０８のＡＦ評価値決定処理について説明する。図４は、内部記憶部１０８に記憶され、ＡＦ評価値を求める際に用いられる画像データの格納状態を模式化した図である。

図４（ａ）の４０１は電子ズーム処理が行われていない状態での画像データを示し、４０３はこの画像データ４０１に設定された追尾領域の一例を示す。図４（ｂ）の４１１は電子ズーム処理が行われていない状態での画像データを示す。電子ズーム処理が行われることによって、画像データ４１１のうち点線で囲まれた一部の領域（ここでは、画像データ４１１の５分の４に相当）が画像データ４１２として切り出される。４１３はこの画像データ４１２に設定された追尾領域の一例を示す。画像データ４１２は画像データ４０１と同じサイズに拡大処理されて表示部１１０に表示されており、表示部１１０に表示された画像上では、追尾領域４０３と追尾領域４１３の見た目上のサイズは等しくなる。

図４（ｃ）はＡＦ評価値を求める際に用いられる追尾領域４０３の画像データの格納状態を示すものであり、図４（ｄ）はＡＦ評価値を求める際に用いられる追尾領域４１３の画像データの格納状態を示すものである。

図４（ｃ）の小領域４２１、中領域４２２、大領域４２３はそれぞれ追尾領域４０３が取りうるサイズを示しており、小領域４２１は６行６列、中領域４２２は８行８列、大領域４２３は１０行１０列の画素で構成されている。この追尾領域はあくまで一例であって、異なる画素数や、異なる形状の追尾領域であっても構わない。４２４は追尾領域４０３の各行における画素の最大値を格納する最大値格納領域であり、追尾領域４０３の行数と同じ数の画素値を格納する。つまり、最大値格納領域は、追尾領域４０３のサイズが小領域４２１と等しいときは６個の値を格納し、中領域４２２と等しいときは８個、大領域４２３と等しいときは１０個の値を格納する。

図４（ｄ）の小領域４３１、中領域４３２、大領域４３３は、図４（ｃ）の小領域４２１、中領域４２２、大領域４２３の相対的なサイズの比率が近くなるように、追尾領域４１３を３通りのサイズに分類したものである。ただし、追尾領域４１３は、追尾領域４０３と見た目上のサイズが等しい場合には、その領域に含まれる画素数は追尾領域４０３よりも少なくなる。さらに、電子ズーム処理のズーム倍率が変化すれば、この小領域４３１、中領域４３２、大領域４３３のそれぞれに含まれる画素数も変化する。図４（ｂ）の例では、小領域４３１は５行５列、中領域４３２は７行７列、大領域４３３は８行８列の画素となる。４３４は追尾領域４１３の各行における画素の最大値を格納する最大値格納領域であり、追尾領域４１３の行数と同じ数の画素値を格納する。

図５は、図２のステップＳ２０８のＡＦ評価値決定処理を説明するためのフローチャートである。ここでは、電子ズーム処理が行われていない場合を例に説明を行う。電子ズーム処理が行われている場合は、下記図５の説明のうち、追尾領域４０３を追尾領域４１３に、最大値格納領域４２４を最大値格納領域４３４に置き換えればよい。

ステップＳ５０１では、制御部１０１は、最大値格納領域４２４に格納されている値をリセットし、追尾領域４０３における参照位置を最上段の左端に設定する。制御部１０１は、追尾領域４０３の最上段の左端から参照位置を順に移動させ、追尾領域４０３に含まれる全ての画素値を読み出す。

ステップＳ５０２では、制御部１０１は、追尾領域４０３の参照位置の画素値と、その参照位置の行に対応する最大値格納領域４２４の値を比較する。制御部１０１は、比較の結果、追尾領域４０３の参照位置の画素値のほうが大きければステップＳ５０３に進み、そうでなければステップＳ５０４へ進む。

ステップＳ５０３では、制御部１０１は、その参照位置の行に対応する最大値格納領域４２４の値を、追尾領域４０３の参照位置の画素値に更新し、ステップＳ５０４に進む。はじめは最大値格納領域４２４の値はリセットされているため、最上段の最大値格納領域４２４には、追尾領域４０３の最上段の左端の画素値が格納される。

ステップＳ５０４では、制御部１０１は、同一行内の全ての画素値を参照したかを判定し、参照していればステップＳ５０６に進み、まだ参照していない画素値があればステップＳ５０５に進む。

ステップＳ５０５では、制御部１０１は、参照位置を隣接する右側の画素に移動させ、ステップＳ５０２に戻る。

ステップＳ５０６では、制御部１０１は、全ての行の画素値を参照したかを判定し、まだ参照していない行があればステップＳ５０７に進み、全ての行を参照していればステップＳ５０８に進む。

ステップＳ５０７では、制御部１０１は、参照位置を隣接する下側の行の左端の画素に移動させ、ステップＳ５０２に戻る。

このように処理することで、制御部１０１は、追尾領域４０３の各行における画素値の最大値を、その行に対応する最大値格納領域４２４に格納する処理を、追尾領域４０３の全ての行について行う。

ステップＳ５０８では、制御部１０１は、最大値格納領域４２４に格納した画素値を用いてＡＦ評価値を計算し、このフローチャートを終了する。ＡＦ評価値の求め方は、具体的には、最大値格納領域４２４に含まれる各行の最大値を全て加算し、その加算値が大きくなるほど、その値が大きくなるようにＡＦ評価値を設定する。これは、ピントが合っているほど、その領域から得られる画素値は大きくなるためである。

ここで、ＡＦ評価値を決定する際には、追尾領域４０３、４１３に含まれる画素の行数が多いほど、加算によって最大値格納領域４２４、４３４に含まれるランダムノイズ成分を抑圧することができる。言い換えれば、追尾領域４０３、４１３に含まれる画素の行数が少ないほど、最大値格納領域４２４、４３４の値を加算したとしても、この加算結果のうちランダムノイズ成分が占める比率が高くなってしまい、それだけＡＦ評価値の値の精度も低下してしまう。

そこで、制御部１０１は、追尾領域に含まれる画素の行数を確保するため、ズーム倍率に応じて、設定可能な追尾領域の最小サイズを変更するようにしている。具体的には、電子ズーム処理のズーム倍率が閾値よりも高い場合のときは、追尾領域４１３のサイズを小領域４３１に設定することを禁止し、中領域４３２および大領域４３３のいずれかのみ設定できるようにする。なお、図４および図５を用いて説明したＡＦ評価値決定処理は一例であって、公知の他の方法によってＡＦ評価値を求めるようにしても構わない。画素値を参照する画素の数が増えるほど、ランダムノイズを抑制できる方法であれば、他の方法でＡＦ評価値を求める場合であっても、本実施形態と同様の効果を得ることが可能である。

図６は、表示部１１０に表示されている動画の１フレームの画像と、この１フレームの画像上における追尾領域のサイズを説明するための図である。図６（ａ）〜図６（ｃ）において、６０１は表示部１１０に表示されている画像であり、６１１、６１２、６１３はこの画像６０１上で設定された追尾領域を示す。図６（ｄ）において、６０２は、後述するようにユーザに指定された位置では追尾機能を実行するために必要な基準データを得ることができなかった場合に、表示部１１０に表示される画像である。

図７は、図２のステップＳ２０７の追尾領域サイズ設定処理を説明するためのフローチャートである。

ステップＳ７０１において、操作部材１１１を用いてユーザから指示された位置に追尾領域の中心位置を設定する。ユーザから追尾領域の位置を指示する操作がなされると、表示部１１０には動画に重畳して仮の追尾枠を表示し、ユーザが操作部材を操作することで、この追尾枠を移動させる。操作部材１１１には、例えば、ダイヤルや十字ボタンが含まれており、ユーザがこれらを操作することによって、追尾枠を画像上の任意の位置に移動させることができる。あるいは、操作部材１１１には表示部１１０と一体的に構成されたタッチパネルが含まれており、ユーザが表示部１１０の画面上の任意の位置に触れることで、その位置へ追尾枠を移動させるようにしてもよい。また、追尾枠の変わりに、十字のマークやカーソルを表示部１１０に表示させることで、ユーザに任意の位置を指定させるようにしてもよい。本実施形態では、制御部１０１は、ユーザが指定させた位置へ追尾枠を移動させ、この追尾枠の中心位置を追尾領域の中心位置として設定する。

本実施形態では、追尾領域は、予め定められた小サイズ、中サイズ、大サイズのいずれかのサイズの追尾領域が選択される。これら小サイズ、中サイズ、大サイズの追尾領域は、ズーム倍率がどのような値に設定されようとも、表示部１１０に表示された画像に対するサイズの比率が一定となるように設定されている。

ステップＳ７０２において、制御部１０１は、内部記憶部１０８に記憶されたズームポジションを読み出し、電子ズーム処理が行われているか否かを判定する。制御部１０１は、電子ズーム処理が行われている場合にはステップＳ７０３に進み、行われていない場合にはステップＳ７０５に進む。

ステップＳ７０３において、制御部１０１は、ズーム倍率が閾値以上であるか否かを判定し、閾値以上であればステップＳ７０４に進み、閾値未満であればステップＳ７０５に進む。

ステップＳ７０４では、制御部１０１は、追尾領域の初期サイズとして、中サイズの追尾領域を設定する。図６を用いて説明すると、ユーザにて指定された位置を中心に、図６（ｂ）における中サイズの追尾領域６１２を設定することになる。

ステップＳ７０５では、制御部１０１は、追尾領域の初期サイズとして、小サイズの追尾領域を設定する。同様に図６を用いて説明すると、ユーザにて指定された位置を中心に、図６（ａ）における小サイズの追尾領域６１１を設定することになる。

このように、制御部１０１は、ズーム倍率が閾値未満であれば、光学ズーム処理が行われている場合でも、電子ズーム処理が行われている場合でも、ともに、小サイズの追尾領域６１１を設定する。この小サイズの追尾領域６１１の、表示部１１０に表示された画像６０１に対するサイズの比率は、ズーム倍率によらずに一定に設定されているため、電子ズーム処理におけるズーム倍率が高くなるほど、追尾領域６１１に含まれる画素数は減少する。そのため、ズーム倍率が閾値以上となると、追尾領域６１１に含まれる画素数が、ステップＳ２０８のＡＦ評価値決定処理においてＡＦ評価値の精度を確保するために必要な数に達しなくなる。そこで、制御部１０１は、ズーム倍率が閾値以上になった場合は、追尾領域の初期サイズとして、ＡＦ評価値の精度を確保するために必要な画素数を確保できる中サイズの追尾領域６１２を設定するようにしている。

ステップＳ７０６では、制御部１０１は、追尾領域内の画像データが所定の条件を満たしているか否かを判定する。具体的には、追尾領域内の画素から求めた最大輝度と最小輝度の差分を求め、この差分が基準値以上であればステップＳ７０７に進み、基準値未満であればステップＳ７０８に進む。

ステップＳ７０７では、制御部１０１は、追尾領域に含まれている画素値で構成された画像データを基準データとして内部記憶部１０８に記憶させる。そして、基準データを得ることができたのであれば、このフローチャートを終了し、図２のステップＳ２０８のＡＦ評価値決定処理に進む。

ステップＳ７０６のような判定を行うのは、追尾領域内の画素から基準値以上の輝度差分が得られたのであれば、輝度値を用いたパターンマッチングを行ったとしても、別の被写体を誤抽出してしまう可能性が低いと考えられるためである。例えば、図６（ａ）、図６（ｂ）に示す例では、小サイズの追尾領域６１１、中サイズの追尾領域６１２には車のフロントガラスしか含まれておらず、追尾領域内の輝度差分が基準値に達していない。この状態で輝度値を用いたパターンマッチングで追尾を行うと、フロントガラス内の輝度値が類似しているため、車の位置が止まっていたとしても、追尾領域がフロントガラスからはみ出さない範囲でふらついてしまい、安定しない。これに対し、図６（ｃ）に示す例では、大サイズの追尾領域６１１には、フロントガラスだけでなく、フロントガラスと背景の境界部や、フロントガラスと車の屋根との境界部が含まれており、輝度差分が基準値よりも大きくなる。輝度値を用いたパターンマッチングで追尾を行ったとしても、これらの境界部が同じ位置関係で含まれる領域を抽出することになるため、車の位置がスライドしたとしても、それに応じて追尾領域を追従させることができる。

なお、ステップＳ７０６では、制御部１０１は、追尾領域内の画素から求めた最大輝度と最小輝度の差分を求めたが、これに限られるものではない。この所定の条件は、追尾の精度を確保するための条件であれば、どのようなものであっても構わない。例えば、背景技術で記載したように、追尾領域の画素値から輝度信号および色差信号のそれぞれの分散が基準値以上であれば、その時点の追尾領域の画素値を基準データとして記憶するようにしてもよい。これは追尾領域の画素値が類似している場合（分散が小さい場合）は、追尾領域には上述したフロントガラスのような一様な被写体しか含まれていない可能性が高いと考えられるためである。あるいは、輝度値を求めずに、彩度および色相の値のそれぞれの差分が基準値以上であったり、それぞれの分散が基準値以上であったりすれば、その時点の追尾領域の画素値を基準データとして記憶するようにしてもよい。

ステップＳ７０８では、制御部１０１は、追尾領域が最大のサイズ（大サイズ６１３）に設定されているか否かを判定する。追尾領域が最大のサイズに設定されていなければ、ステップＳ７０９に進む。すでに追尾領域が最大のサイズに設定されているのであれば、それ以上追尾領域を拡大することはできないので、ステップＳ７１０に進む。

ステップＳ７０９では、制御部１０１は、追尾領域のサイズを一段階だけ拡大する。設定されている追尾領域が小サイズであれば中サイズに、設定されている追尾領域が中サイズであれば、大サイズに設定し、ステップＳ７０６に戻る。

ステップＳ７１０では、制御部１０１は、追尾機能の精度を確保するために必要な基準データを取得することができなかったため、ユーザにその旨を通知するため、表示部１１０に図６（ｄ）に例示した表示を行わせ、このフローチャートを終了する。

このように、本実施形態によれば、追尾領域に含まれる画素数を確保するため、ズーム倍率に応じて表示部１１０に表示される画像のサイズに対する追尾領域のサイズの比率の最小値を制限している。

なお、本実施形態では、電子ズーム処理が行われ、かつ、そのズーム倍率が閾値以上となった場合にのみ、小サイズの追尾領域を設定できない構成としたが、これに限られるものではない。追尾領域が設定可能なサイズの種類をさらに増やし、ズーム倍率にも複数の閾値を設定し、ズーム倍率が超えた閾値の数が増えるほど追尾領域の設定可能な最小サイズを大きくするように制限しても構わない。あるいは、ズーム倍率によって設定可能な追尾領域のサイズを連続的に変化させ、ＡＦ評価値の精度を確保するために必要とされる所定数の画素が含まれるように、そのズーム倍率に応じた追尾領域の最小サイズを演算で求めて設定するようにしてもよい。

また、追尾領域とＡＦ評価値を求めるために画素値を読み出す領域を等しく設定したが、これに限られるものではない。追尾領域のサイズが大きくなるほど、ＡＦ評価値を求めるために画素値を読み出す領域のサイズが大きくなる関係であれば、これらは必ずしもサイズが一致する必要はない。ただし、その場合であっても、追尾領域の最小サイズは、その最小サイズに応じたＡＦ評価値を求めるための領域に、ＡＦ評価値の精度を確保するために必要なだけの数の画素が含まれているように設定する必要がある。

また、光学ズーム処理を行うための撮影光学部材、あるいは、レンズアクチュエータを備えておらず、電子ズーム処理のみによってズームを行う撮像装置であっても、本発明を適用することは可能である。

１０１制御部
１０２撮影光学部材
１０３レンズアクチュエータ
１０４ドライバ
１０５撮像素子
１０６ＡＦＥ
１０７画像処理部
１０８内部記憶部
１０９外部記憶部
１１０表示部
１１１操作部材

Claims

撮像素子と、
前記撮像素子にて生成された画像データを用いて画像を表示する表示手段と、
前記表示手段に表示された画像における追尾対象の位置を指定させるための操作手段と、
前記操作手段にて指定された前記画像上の位置を基準として追尾領域を設定し、前記追尾領域に含まれる画像データが追尾の精度を確保するための条件を満たすか否かを判定する制御手段と、
前記追尾領域の被写体に対して焦点制御を行う焦点制御手段と、
ズーム倍率に応じて前記表示手段が表示する画像の拡大率を変更する電子ズーム手段を有し、
前記焦点制御手段は、前記追尾領域と同じ位置の領域における画像データから評価値を求め、前記評価値を用いて焦点制御を行うものであって、前記追尾領域が大きくなるほど前記評価値を求めるための画像データの領域を大きく設定し、
前記制御手段は、前記追尾領域に含まれる画像データが前記条件を満たさないと判定した場合には、前記追尾領域の前記表示手段の画面に対するサイズを拡大するものであって、前記追尾領域の前記表示手段の画面に対する最小サイズを前記電子ズーム手段における前記ズーム倍率に応じて変更することを特徴とする撮像装置。
前記制御手段は、前記追尾領域の画像データを基準データとして記憶し、動画から前記基準データと相関の高い領域を連続して抽出することで追尾を行うことを特徴とする請求項１に記載の撮像装置。
前記条件とは、前記追尾領域における画素値の差分が基準値以上であるか、あるいは、前記追尾領域における画素値の分散が基準値以上であることを特徴とする請求項１または２に記載の撮像装置。