<電子カメラの構成の説明>
図1は本実施形態の電子カメラの構成を説明するブロック図である。また、図2は、本実施形態の電子カメラの背面側外観図である。ここで、本実施形態の電子カメラは、撮影モードの一つとして、被写体追尾モードを有している。なお、被写体追尾モードでは、時系列に取得される複数の画像から追尾対象の被写体を電子カメラが継続的に検出することができる。なお、上記の被写体追尾モードは、例えば、子供の撮影に適したキッズモードなどの一機能として電子カメラに実装されるものであってもよい。
電子カメラは、撮像光学系11およびレンズ駆動部12と、絞り13および絞り駆動部14と、撮像素子15と、AFE16と、画像処理部17と、第1メモリ18と、記録I/F(インターフェース)19と、モニタ20と、操作部材21と、振動センサ22と、CPU23と、第2メモリ24と、バス25とを有している。
ここで、上記の構成部品は、全体形状が薄箱状の筐体26に格納されている。また、画像処理部17、第1メモリ18、記録I/F19、モニタ20、CPU23および第2メモリ24は、バス25を介してそれぞれ接続されている。さらに、レンズ駆動部12、絞り駆動部14、撮像素子15、AFE16、操作部材21および振動センサ22は、それぞれCPU23に接続されている。
撮像光学系11は、ズームレンズ、フォーカシングレンズ、ブレ補正レンズを含む複数のレンズ群で構成されている。撮像光学系11のうちでズームレンズやフォーカシングレンズのレンズ位置は、レンズ駆動部12によって光軸方向に調整される。また、レンズ駆動部12は、撮像光学系11のブレ補正レンズを光軸に対して直角方向に揺動させる。これにより、被写体像の結像位置がシフトして、撮像素子15の受光面における被写体の像ブレが抑制される。なお、簡単のため、図1では撮像光学系11を1枚のレンズとして図示する。
絞り13は、撮像素子15に入射する単位時間当たりの光量を調節する。この絞り13の開口量は、CPU23の指示に応じて絞り駆動部14が調整する。
撮像素子15は、撮像光学系11および絞り13を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。この撮像素子15の出力はAFE16に接続されている。なお、撮像素子15の電荷蓄積時間および信号読みだしは、CPU23によって制御される。
ここで、電子カメラの撮影モードにおいて、撮像素子15は後述のレリーズ釦30の全押し操作に応答して記録用の静止画像(本画像)を撮像する。また、撮影モードでの撮像素子15は、撮影待機時にも所定間隔毎に観測用の画像(スルー画像)を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、モニタ20での動画像表示やCPU23による各種の演算処理に使用される。なお、各々のスルー画像の解像度は、本画像よりも低く設定されている。
AFE16は、撮像素子15の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このAFE16は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のA/D変換を行う。そして、AFE16の出力は画像処理部17に接続されている。なお、CPU23は、AFE16において画像信号のゲインを調整することで、ISO感度に相当する撮像感度を調整できる。
画像処理部17は、デジタルの画像信号に対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など)を施す。また、画像処理部17は、本画像のデータの圧縮伸長処理も実行する。
また、画像処理部17は、画像の解像度変換(画素数変換)を実行する。一例として、撮影モードでの撮影待機時には、画像処理部17は、スルー画像に解像度変換を施してモニタ表示用のビュー画像を生成する。
第1メモリ18は、画像処理部17による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。この第1メモリ18は揮発性の記憶媒体であるSDRAMにより構成される。
記録I/F19には、不揮発性の記憶媒体27を接続するためのコネクタが形成されている。そして、記録I/F19は、コネクタに接続された記憶媒体27に対してデータの書き込み/読み込みを実行する。上記の記憶媒体27は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記憶媒体27の一例としてメモリカードを図示する。
モニタ20は、CPU23の指示に応じて各種画像を表示する。本実施形態の例では、筐体26の背面に配置された液晶表示パネルによってモニタ20が構成される(図2参照)。なお、モニタ20は、筐体26の背面からみて左側(図2の左側)に寄せて配置されている。
また、撮影モードでの撮影待機時において、モニタ20には、CPU23の制御により上記のビュー画像が動画表示される。このとき、CPU23は、撮影に必要となる各種情報をモニタ20のビュー画像上にオーバーレイ表示させることもできる。また、CPU23は、各種の設定項目の入力が可能なメニュー画面をモニタ20に表示させることもできる。
操作部材21は、ユーザーの操作を受け付ける複数のスイッチを有している。具体的には、本実施形態の操作部材21には、レリーズ釦30、ズームスイッチ31と、モード選択釦32と、再生釦33と、メニュー釦34と、削除釦35と、多機能操作スイッチ36とが含まれる。
ここで、レリーズ釦30は、半押し操作による撮影前のオートフォーカス(AF)動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。
ズームスイッチ31は、ズームレンズの移動による光学的なズーム操作や、ビュー画像の解像度変更による電子的なズーム操作をユーザーから受け付ける。
モード選択釦32は、電子カメラの動作モードを選択するための操作をユーザーから受け付ける。再生釦33は、本画像の再生表示を行う再生モードへの移行操作をユーザーから受け付ける。メニュー釦34は、メニュー画面を立ち上げるための操作をユーザーから受け付ける。削除釦35は、上記の再生モードにおいて、表示中の再生画像に対応する本画像のデータを消去する操作をユーザーから受け付ける。
多機能操作スイッチ36の上面には、決定釦37およびダイヤル38が配置されている。ダイヤル38の全体形状は環状であって、ダイヤル38の内周側には決定釦37が配置されている。そして、ダイヤル38では、例えばメニュー画面等での項目選択の入力をユーザーから受け付ける。また、決定釦37では、メニュー画面等での項目決定の入力をユーザーから受け付ける。さらに、多機能操作スイッチ36の本体部分は、上下左右の4方向の入力を受け付ける十字キーとして機能する。なお、被写体追尾モードでは、被写体追尾の開始および停止に関する操作が上記の決定釦37に割り当てられている。
また、図2に示すように、操作部材21の各スイッチは、筐体26の背面からみて右側(図2の右側)に寄せて配置されている。そのため、操作部材21の各スイッチは、ユーザーが簡単に片手操作できるようになっている。また、ズームスイッチ31、モード選択釦32、再生釦33、メニュー釦34、削除釦35および多機能操作スイッチ36はそれぞれ筐体26の背面に配置される一方で、レリーズ釦30は筐体26の上面に配置されている。そのため、ユーザーは、レリーズ釦30と他のスイッチとを容易に識別することができる。
振動センサ22は、電子カメラに対する振動の方向および大きさを検知する。本実施形態での振動センサ22は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。上記の各々の角速度センサには、例えば回転によるコリオリ力を検出する圧電振動式角速度センサなどが用いられる。
CPU23は、電子カメラの動作を統括的に制御するプロセッサである。例えば、CPU23は、振動センサ22の出力に基づいてブレ補正レンズを駆動させて、光学的なブレ補正を実行する。また、CPU23は、第2メモリ24に格納されたプログラムの実行により、パラメータ設定部40、焦点調節部41、テンプレート生成部42、被写体追尾部43として機能する。
パラメータ設定部40では、スルー画像のデータを用いて公知の自動露出(AE)演算を実行する。そして、パラメータ設定部40は、絞り13の絞り値、撮像素子15での電荷蓄積時間(シャッタスピード)、AFE16のゲイン(撮像感度)の各パラメータをそれぞれ設定する。なお、CPU23は、上記のパラメータに基づいて電子カメラの各部を制御し、スルー画像や本画像の撮像を実行することとなる。
また、パラメータ設定部40は、スルー画像のデータや本画像のデータを用いてホワイトバランス演算を実行する。
具体的には、パラメータ設定部40は、画像のデータをR(赤),G(緑),B(青)成分に分解し、各色成分の階調の平均値Rave,Gave,Baveをそれぞれ求める。そして、パラメータ設定部40は、画像のホワイトバランスを調整するためのホワイトバランス調整値(Grd,Gbd)を求める。Rのレベルを補正するためのホワイトバランス調整値Grdは、Gave/Raveから求めることができる。また、Bのレベルを補正するためのホワイトバランス調整値Gbdは、Gave/Baveから求めることができる。なお、画像処理部17は、上記のホワイトバランス調整値(Grd,Gbd)を適用してホワイトバランス調整を実行する。
焦点調節部41は、スルー画像のデータを用いて、公知のコントラスト検出によるAF制御を実行する。
テンプレート生成部42は、入力された画像から追尾対象の物体を識別するためのテンプレートのデータを生成する。本実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物体を追尾対象としてテンプレートを生成することが可能である。
一例として、テンプレート生成部42は、撮影画面内に設定されているテンプレート生成範囲のスルー画像を用いてテンプレートのデータを生成する。なお、上記のテンプレートのデータには、YCbCrの各チャンネルのデータ(被写体の輝度情報、色差情報)が含まれる。
被写体追尾部43は、上記のテンプレートを用いて、撮影画面内における追尾対象の被写体の位置を継続的に検出する。これにより、焦点調節部41では、テンプレートに対応する被写体の動きに追従してAF制御を行うことができる。また、CPU23は、テンプレートに対応する被写体の位置を示すマークをモニタ20のビュー画像上に重畳表示させることもできる。
第2メモリ24は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第2メモリ24には、上記のテンプレートのデータや、被写体追尾処理での各種データ(撮影画面内での追尾対象の位置や、後述の類似度など)がそれぞれ記憶される。なお、第2メモリ24には、CPU23によって実行されるプログラムも記憶される。このプログラムによる被写体追尾モードでの動作例については後述する。
<電子カメラの動作説明>
以下、本実施形態の電子カメラにおける被写体追尾モードを説明する。まず、被写体追尾モードの起動方法の一例を説明する。
ユーザーによるモード選択釦32の入力があると、CPU23は撮影モードの選択画面(不図示)をモニタ20に表示する。この撮影モードの選択画面ではGUI形式のダイヤルがモニタ20に表示され、ユーザーは「通常撮影モード」、「シーンモード」などの選択入力を行うことができる。そして、撮影モードの選択画面でシーンモードを選択する入力を受け付けると、CPU23はシーンモードに含まれる撮影モード(例えば、夜景撮影モード、風景撮影モード、被写体追尾モードなど)のうちのいずれかを立ち上げる。このとき、シーンモードにおけるデフォルトの撮影モードが「被写体追尾モード」である場合には、CPU23は被写体追尾モードで電子カメラを起動させる。
また、シーンモードでの動作時にユーザーがメニュー釦34を押圧すると、CPU23はシーンモードにおけるメニュー画面(不図示)をモニタ20に表示する。このメニュー画面では、シーンモードに含まれる各撮影モードの切り替えをユーザーが実行できる。そして、メニュー画面で「被写体追尾モード」を選択する入力を受け付けると、CPU23は被写体追尾モードで電子カメラを起動させる。
次に、図3,図4の流れ図を参照しつつ、被写体追尾モードでの動作例を詳述する。なお、被写体追尾モードでの電子カメラの動作は、CPU23の実行するプログラムによって制御される。
ステップS101:CPU23は、撮像素子15を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、CPU23は、スルー画像から生成されたビュー画像をモニタ20に動画表示させる。したがって、ユーザーは、モニタ20のビュー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。
また、S101でのCPU23は、撮影画面内のテンプレート生成範囲を示すガイドマーク(矩形の枠表示)をビュー画像に重畳させる(図5参照)。上記の枠表示は、CPU23の制御によって撮影画面の中央部に白色で表示される。なお、上記の枠表示の中に追尾対象の被写体を収めた状態でユーザーが決定釦37を押圧すると、CPU23は被写体追尾処理を開始する。
ステップS102:CPU23は、多機能操作スイッチ36の決定釦37が押圧されたか否かを判定する。決定釦37が押圧された場合(YES側)にはS103に移行する。一方、決定釦37が押圧されていない場合(NO側)にはS128に移行する。
ステップS103:焦点調節部41は、撮影画面の中央部(S101での枠表示の位置)を焦点検出エリアとしてAF制御を実行する。また、パラメータ設定部40は、スルー画像のデータを用いてAE演算およびホワイトバランス演算を実行する。
ステップS104:被写体追尾部43は、撮影画面のうちで追尾対象を探索する部分領域(探索エリア)の設定を初期化する。図6は、本実施形態における探索エリアの初期状態の一例を示した図である。S104での被写体追尾部43は、3×3の配列をなすように撮影画面を9つに等分割した領域のうちで、画面中央の部分領域を探索エリアに指定する。
ステップS105:CPU23は、S103でのAF制御によって、焦点検出エリアにおけるフォーカスレンズの合焦位置を検出できたか否かを判定する。上記要件を満たす場合(YES側)にはS107に移行する。一方、上記要件を満たさない場合(NO側)にはS106に移行する。
ステップS106:CPU23は、テンプレート生成範囲(枠表示に対応する範囲)の被写体が非合焦状態であることを示すNG処理を実行する。一例として、CPU23は、モニタ20の枠表示を一時的に赤色に変更するとともに、スピーカー(不図示)から非合焦時の警告音を出力する。
その後、CPU23は、枠表示を再び白色に変更するとともにS102に戻って上記動作を繰り返す。なお、S106の場合には、テンプレート生成範囲のスルー画像から適正なテンプレートを生成できないため、電子カメラが被写体追尾処理を実行することはない。
ステップS107:テンプレート生成部42は、AF後に撮像されたスルー画像を用いて追尾対象のテンプレートを生成する。一例として、テンプレート生成部42は、上記のスルー画像のうちからテンプレート生成範囲の部分画像を切り出す。そして、テンプレート生成部42は、部分画像のY成分を参照して追尾対象の輝度情報(Y)のテンプレートを生成するとともに、部分画像のCbCr成分を参照して追尾対象の色差情報(Cb,Cr)のテンプレートをそれぞれ生成する。なお、上記の各テンプレートのデータは、CPU23によって第2メモリ24に記録される。
その後、被写体追尾部43は、上記のテンプレートを用いて被写体追尾処理を開始する。なお、本実施形態において、被写体追尾処理は決定釦37の押圧(S102)をトリガとして開始するが、その後に決定釦37の押圧操作が継続されていない状態(被写体追尾処理の開始後にユーザーが決定釦37の押圧を解除した状態)でも、被写体追尾部43は被写体追尾処理を継続する。
また、被写体追尾処理が開始されたときには、CPU23は、被写体追尾の実行状態を示す表示(被写体追尾マーク)をモニタ20に出力する。一例として、CPU23は、ガイドマークの枠表示(S101)を白色から黄色に変更する。これにより、ユーザーはテンプレートの生成完了と、被写体追尾が開始されたこととをモニタ20で確認できる(被写体追尾マークの表示画面は図5とほぼ同様であるため図示を省略する)。
ステップS108:CPU23は、被写体追尾処理の開始に応じて、焦点調節部41によるAF制御を停止させる。これにより、被写体追尾処理のときに電子カメラの演算負荷が軽減される。
また、CPU23は、被写体追尾処理の開始に応じて、パラメータ設定部40によるAE演算およびホワイトバランス演算を停止させる。したがって、被写体追尾処理の実行時には、AE演算に基づく各パラメータ(絞り値、シャッタスピード、撮像感度)およびホワイトバランス調整値は、テンプレート生成時の設定値(S103で求めたもの)に固定される。これにより、被写体追尾処理のときには、各々のスルー画像における追尾対象の明るさや色差の状態が各テンプレートとほぼ同様となるので、追尾対象の検出精度をより向上させることができる。
ステップS109:CPU23は、スルー画像のうちで被写体追尾の判定を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合(YES側)にはS110に移行する。一方、判定フレームが撮像されていない場合(NO側)には、CPU23は判定フレームの撮像を待機する。
ステップS110:被写体追尾部43は、判定フレーム(S109)に含まれる被写体とテンプレート(S107)との類似度を求めるマッチング処理を実行する。このS110のマッチング処理では、被写体追尾部43は、以下の(イ)から(ハ)の処理を実行する。なお、以下の各処理は、各テンプレートごとにそれぞれ行われるものとする。
(イ)被写体追尾部43は、判定フレームのうちの探索エリアに対応する範囲から、テンプレートとのマッチングを行う対象領域を決定する。この対象領域のサイズは、テンプレートの生成範囲と同じサイズに設定される。
(ロ)次に、被写体追尾部43は、上記(イ)で設定された対象領域の画像とテンプレートとでそれぞれ対応位置にある注目画素間の階調差を求める。そして、被写体追尾部43は、上記の対象領域での類似度を以下の式(1)によって求める。なお、類似度の値は、被写体追尾部43によって第2メモリ24に記録される。
ここで、式(1)において、I1はテンプレートに対応し、I2は対象領域の画像に対応する。そして、I1およびI2の注目画素は、テンプレートおよび対象領域の画像でそれぞれ対応位置にある画素を示す。また、式(1)では、テンプレートおよび判定フレームでの階調がともに8bit(0〜255の階調値)であることを前提とする。なお、上記の類似度の単位は%である。すなわち、上記の式(1)では、対応画素の階調差の絶対値を合計して類似度を求めている。そして、式(1)では、階調差の絶対値の総和が大きくなるほど類似度の値が小さくなる。
(ハ)被写体追尾部43は、対象領域をシフトさせて上記(ロ)の処理を繰り返す。これにより、被写体追尾部43は、探索エリア内の各位置でテンプレートとの類似度をそれぞれ求めることとなる。
ステップS111:被写体追尾部43は、追尾対象をロストしたか否かを判定する。具体的には、被写体追尾部43は、マッチング処理(S110)で求めた類似度がいずれもロスト判定用の第1閾値未満であるか否かを判定する。上記要件を満たす場合(YES側)にはS113に移行する。なお、この場合(S111のYES側)には、CPU23は、追尾対象をロストしたことを示すロスト表示をモニタ20に出力するようにしてもよい。一方、上記要件を満たさない場合(NO側)にはS112に移行する。
ステップS112:CPU23は、被写体追尾処理の停止操作をユーザーから受け付けたか否かを判定する。具体的には、本実施形態でのCPU23は、S102の後に2回目の決定釦37の押圧があったときに、被写体追尾処理の停止操作があったものと判定する。被写体追尾処理の停止操作があった場合(YES側)にはS113に移行する。一方、被写体追尾処理の停止操作がない場合(NO側)にはS114に移行する。
ステップS113:CPU23は、被写体追尾処理を終了するとともに、ビュー画像の被写体追尾マークを消灯する。その後、CPU23は、テンプレート生成範囲を示すガイドマーク(S101)をビュー画像の中央に再び重畳表示してS102に戻る。
したがって、例えば、追尾対象の被写体をロストしたときには、電子カメラが被写体追尾処理を行う前の初期状態に戻るため、追尾対象と異なる被写体を誤って追尾するおそれが低減する。
ステップS114:被写体追尾部43は、判定フレーム内での類似度の最大値(最大類似度)を抽出する。そして、被写体追尾部43は、判定フレーム内で最大類似度を示す対象領域の位置を追尾対象の位置として決定する。
そして、被写体追尾部43は、この追尾対象の位置に合わせて、ビュー画像に重畳する被写体追尾マークの表示位置を更新する。その結果、モニタ20上での枠表示の位置は追尾対象の被写体の動きに追従してシフトすることとなる。これにより、ユーザーは追尾対象の検出結果をモニタ20で確認できる。
ステップS115:被写体追尾部43は、追尾対象の位置および最大類似度の値(それぞれS114で求めたもの)を第2メモリ24に記録する。なお、被写体追尾部43は、追尾対象の検出を行うごとに、第2メモリ24に記憶された追尾対象の位置および最大類似度のデータを逐次更新してゆく。
ステップS116:CPU23は、レリーズ釦30が半押しされたか否かを判定する。レリーズ釦30が半押しされた場合(YES側)にはS118に移行する。一方、レリーズ釦30が半押しされていない場合(NO側)にはS117に移行する。
ステップS117:CPU23は、被写体追尾モードの終了指示をユーザーから受け付けたか否かを判定する。一例として、本実施形態でのCPU23は、他の動作モードへの切替操作があったときや、電子カメラの電源オフ操作があったときに、被写体追尾モードの終了指示があったものと判定する。
上記要件を満たす場合(YES側)には、CPU23は、被写体追尾モードの一連の処理を終了する。一方、上記要件を満たさない場合(NO側)にはS122に移行する。
ステップS118:この場合には、CPU23は、被写体追尾部43による被写体追尾処理を一時停止させる。そして、焦点調節部41は、被写体追尾処理で最後に検出された追尾対象の位置(第2メモリ24に記憶されている追尾対象の位置)を焦点検出エリアとしてAF制御を実行する。その後、焦点調節部41は、本画像の撮像が行われるか、あるいはレリーズ釦30の半押し操作が解除されるまでAF制御を停止し、フォーカスレンズの焦点位置を固定する。
ステップS119:CPU23は、レリーズ釦30の半押しが解除されたか否かを判定する。レリーズ釦30の半押しが解除された場合(YES側)にはS122に移行する。なお、この場合(S119のYES側)において、CPU23は、後述のS122からS127の処理を実行してから、被写体追尾部43に被写体追尾処理を再開させる。一方、レリーズ釦30の半押しが継続している場合(NO側)にはS120に移行する。
ステップS120:CPU23は、レリーズ釦30が全押しされたか否かを判定する。レリーズ釦30が全押しされた場合(YES側)にはS121に移行する。一方、レリーズ釦30が全押しされていない場合(NO側)には、CPU23はS119に戻って上記動作を繰り返す。
ステップS121:CPU23は、撮像素子15を駆動させて本画像の撮像処理を実行する。本画像のデータは、AFE16および画像処理部17で所定の処理が施された後に、記録I/F19を介して記憶媒体27に記録される。なお、S121での画像処理部17は、パラメータ設定部40が本画像のデータから求めたホワイトバランス調整値を用いてホワイトバランス調整を行う。また、CPU23は、本画像の撮像処理において、複数フレーム分の本画像を連写撮影するようにしてもよい。そして、S121の終了後に、CPU23は、後述のS122からS127の処理を実行してから、被写体追尾部43に被写体追尾処理を再開させる。
ステップS122:被写体追尾部43は、追尾対象の位置のデータを第2メモリ24から読み出す。そして、被写体追尾部43は、撮影画面内で追尾対象を最後に検出した位置を、追尾対象の探索開始位置に設定する。
なお、被写体追尾部43は、被写体追尾処理を再開したときのマッチング処理において、上記の探索開始位置を起点として対象領域の位置を指定する。例えば、被写体追尾部43は、次回のマッチング処理での対象領域として、追尾対象を最後に検出した位置を最初に指定する。被写体追尾処理を連続して行うときや、本画像の撮像後に被写体追尾処理を再開するときには、撮影画面内のほぼ同じ位置に追尾対象が存在する可能性が高い。そのため、上記の処理によって、被写体追尾処理のときに、電子カメラは比較的容易に追尾対象を検出できるようになる。
ステップS123:被写体追尾部43は、さらに最大類似度のデータを第2メモリ24から読み出す。そして、被写体追尾部43は、第2メモリ24から取得した最大類似度に基づいて、探索エリアのサイズを決定する。具体的には、被写体追尾部43は、上記の最大類似度が以下のいずれの範囲に属するかを判定する。
最大類似度が第1閾値(ロスト判定用の閾値)以上で第2閾値未満の場合(CASE1)にはS124に移行する。最大類似度が第2閾値以上で第3閾値未満の場合(CASE2)にはS125に移行する。最大類似度が第3閾値以上の場合(CASE3)にはS126に移行する。
ここで、最大類似度を判定する上記の閾値は、第1閾値、第2閾値、第3閾値の順に大きな値となるように設定されている。そのため、上記のCASE1に該当する場合には最大類似度の値が小さいので、追尾対象の検出結果の信頼性は低くなる。一方、上記のCASE3に該当する場合には最大類似度の値が大きいので、追尾対象の検出結果の信頼性は高くなる。
ステップS124:被写体追尾部43は、探索エリアのサイズを初期状態よりも大きなサイズに設定する。その結果、次回の判定のときには電子カメラが追尾対象をより検出しやすくなる。なお、図7においてS124での探索エリアのサイズを符号Aで示す。
また、S124での被写体追尾部43は、被写体追尾マークの枠表示の色を赤色に変化させる等の方法で、検出されている追尾対象の信頼性が低い旨をユーザーに通知するようにしてもよい。その後、CPU23は、S127に処理を移行する。
ステップS125:被写体追尾部43は、探索エリアのサイズを初期状態と同じサイズに設定する。なお、図7においてS125での探索エリアのサイズを符号Bで示す。その後、CPU23は、S127に処理を移行する。
ステップS126:被写体追尾部43は、探索エリアのサイズを初期状態よりも小さなサイズに設定する。S126の場合には検出されている追尾対象の信頼性が高いので、次回の判定のときに追尾対象の位置が大きく変化している可能性は低い。そのため、S126での被写体追尾部43は探索エリアのサイズを小さくして、被写体追尾処理のときの演算負荷を小さくする。なお、図7においてS126での探索エリアのサイズを符号Cで示す。
ステップS127:被写体追尾部43は、追尾対象の探索開始位置(S122)が探索エリアの中央と重なるように、撮影画面内における探索エリア(S124からS126)の位置を設定する(なお、追尾対象の移動に伴う探索エリアのシフトの状態を図7に示す)。これにより、追尾対象の動きに合わせて探索エリアが移動するため、電子カメラが追尾対象をロストする確率が低減する。その後、CPU23は、S109に戻って上記動作を繰り返す。
ステップS128:CPU23は、レリーズ釦30が半押しされたか否かを判定する。レリーズ釦30が半押しされた場合(YES側)にはS129に移行する。一方、レリーズ釦30が半押しされていない場合(NO側)にはS133に移行する。
ステップS129:焦点調節部41は、例えば、中央優先または至近優先のアルゴリズムで通常のAF制御を実行する。その後、焦点調節部41は、本画像の撮像が行われるか、あるいはレリーズ釦30の半押し操作が解除されるまでAF制御を停止し、フォーカスレンズの焦点位置を固定する。また、S129でのCPU23はパラメータ設定部40にAE演算を実行させて、本画像の撮像時に適用する絞り値、シャッタスピード、撮像感度をそれぞれ求める。
ステップS130:CPU23は、レリーズ釦30の半押しが解除されたか否かを判定する。レリーズ釦30の半押しが解除された場合(YES側)には、CPU23はS102に戻って上記動作を繰り返す。一方、レリーズ釦30の半押しが継続している場合(NO側)にはS131に移行する。
ステップS131:CPU23は、レリーズ釦30が全押しされたか否かを判定する。レリーズ釦30が全押しされた場合(YES側)にはS132に移行する。一方、レリーズ釦30が全押しされていない場合(NO側)には、CPU23はS130に戻って上記動作を繰り返す。
ステップS132:CPU23は、撮像素子15を駆動させて本画像の撮像処理を実行する。このS132での処理は上記のS121と共通するため、重複説明を省略する。その後、CPU23は、S102に戻って上記動作を繰り返す。
ステップS133:CPU23は、被写体追尾モードの終了指示をユーザーから受け付けたか否かを判定する。上記要件を満たす場合(YES側)には、CPU23は被写体追尾モードの一連の処理を終了する。一方、上記要件を満たさない場合(NO側)には、CPU23はS102に戻って上記動作を繰り返す。以上で、図3,図4の流れ図の説明を終了する。
以下、本実施形態での作用効果を述べる。本実施形態の電子カメラは、被写体追尾処理で追尾対象を継続的に検出するときや、静止画像の撮影などで一時的に中断した被写体追尾処理を再開するときには、追尾対象を最後に検出した位置を起点として追尾対象を探索する(S122)。
また、本実施形態の電子カメラは、追尾対象の探索開始位置を基準として探索エリアの位置が設定される(S127)とともに、追尾対象を最後に検出したときの最大類似度に基づいて探索エリアのサイズが調整される(S123からS126)。これらの処理により、被写体追尾処理で追尾対象を継続的に検出するときや、被写体追尾処理を一時的に停止した後に再開したときに、電子カメラは比較的容易に追尾対象を検出することが可能となる。
また、本実施形態の電子カメラは、被写体追尾処理のときにAF制御を停止する(S108)。これにより、被写体追尾処理のときの電子カメラの演算負荷が軽減されて、被写体追尾処理の精度を高めることが容易となる。
また、本実施形態の電子カメラは、被写体追尾処理のときにAE演算に基づく各パラメータおよびホワイトバランス調整値を、テンプレート生成時の設定値に固定する(S108)。これにより、被写体追尾処理のときには、スルー画像における追尾対象の明るさや色差の状態が各テンプレートとほぼ同様となるので、追尾対象の検出精度をより向上させることができる。
<被写体追尾モードの変形例>
次に、図8,図9の流れ図を参照しつつ、被写体追尾モードの変形例を説明する。この変形例における電子カメラの構成は、図1と共通するので重複説明は省略する。
この変形例では、電子カメラがスルー画像の撮像を行っている状態で、ユーザーからレリーズ釦30の半押し操作を受け付けると、CPU23が図8,図9に示すシーケンスを開始する。そして、被写体追尾部43は、レリーズ釦30が半押しされている間は被写体追尾処理を継続するとともに、レリーズ釦30の半押しが解除されると被写体追尾処理を停止する。
ステップS201:被写体追尾部43は、前回の被写体追尾処理の結果に基づいて、撮影画面内のテンプレート生成範囲を設定する。具体的には、被写体追尾部43は、第2メモリ24に記憶されている追尾対象の位置(前回の被写体追尾処理で追尾対象を最後に検出した位置)をテンプレート生成範囲に設定する。一方、第2メモリ24に追尾対象の位置が記憶されていない場合には、被写体追尾部43は、撮影画面の中央部をテンプレート生成範囲に設定する。
また、S201での被写体追尾部43は、上記のテンプレート生成範囲の位置が探索エリアの中央と重なるように、撮影画面内における探索エリアの初期位置を設定する。なお、S201での被写体追尾部43は、探索エリアのサイズを初期状態のサイズに設定するものとする。
そして、S201でのCPU23は、撮影画面内のテンプレート生成範囲を示すガイドマーク(矩形の枠表示)をビュー画像に重畳させる。
ステップS202:焦点調節部41は、撮影画面のテンプレート生成範囲(S201での枠表示の位置)を焦点検出エリアとしてAF制御を実行する。また、パラメータ設定部40は、スルー画像のデータを用いてAE演算およびホワイトバランス演算を実行する。
ステップS203:CPU23は、S202でのAF制御によって、焦点検出エリアにおけるフォーカスレンズの合焦位置を検出できたか否かを判定する。上記要件を満たす場合(YES側)にはS205に移行する。一方、上記要件を満たさない場合(NO側)にはS204に移行する。
ステップS204:CPU23は、テンプレート生成範囲(枠表示に対応する範囲)の被写体が非合焦状態であることを示すNG処理を実行する。その後、CPU23はS224に処理を移行する。
ステップS205:テンプレート生成部42は、AF後に撮像されたスルー画像を用いて追尾対象のテンプレートを生成する。
その後、被写体追尾部43は、上記のテンプレートを用いて被写体追尾処理を開始する。また、被写体追尾処理が開始されたときには、CPU23は、被写体追尾の実行状態を示す表示(被写体追尾マーク)をモニタ20に出力する。なお、S205でのテンプレートの生成処理や被写体追尾マークの表示処理は、上記のS107と共通するので重複説明は省略する。
ステップS206:CPU23は、被写体追尾処理の開始に応じて、パラメータ設定部40によるAE演算およびホワイトバランス演算を停止させる。これにより、被写体追尾処理のときには、スルー画像における追尾対象の明るさや色差の状態が各テンプレートとほぼ同様となるので、追尾対象の検出精度をより向上させることができる。
ステップS207:CPU23は、スルー画像のうちで被写体追尾の判定を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合(YES側)にはS208に移行する。一方、判定フレームが撮像されていない場合には、CPU23は判定フレームの撮像を待機する。
ステップS208:焦点調節部41は、第2メモリ24に記憶されている前回の追尾対象の位置を焦点検出エリアに設定してAF制御を実行する。なお、追尾対象の検出がまだ行われていない場合には、焦点調節部41はS208の処理を省略する。
ステップS209:被写体追尾部43は、判定フレーム(S207)に含まれる被写体とテンプレート(S205)との類似度を求めるマッチング処理を実行する。なお、S209での処理は上記のS110と共通するので重複説明は省略する。
ステップS210:被写体追尾部43は、追尾対象をロストしたか否かを判定する。上記要件を満たす場合(YES側)にはS211に移行する。一方、上記要件を満たさない場合(NO側)にはS212に移行する。なお、S210での処理は上記のS111と共通するので重複説明は省略する。
ステップS211:CPU23は、被写体追尾処理を終了するとともに、ビュー画像の被写体追尾マークを消灯する。その後、CPU23はS224に処理を移行する。
ステップS212:被写体追尾部43は、判定フレーム内での類似度の最大値(最大類似度)を抽出する。そして、被写体追尾部43は、判定フレーム内で最大類似度を示す対象領域の位置を追尾対象の位置として決定する。
そして、被写体追尾部43は、この追尾対象の位置に合わせて、ビュー画像に重畳する被写体追尾マークの表示位置を更新する。
ステップS213:被写体追尾部43は、追尾対象の位置および最大類似度の値(それぞれS212で求めたもの)を第2メモリ24に記録する。なお、被写体追尾部43は、追尾対象の検出を行うごとに、第2メモリ24に記憶された追尾対象の位置および最大類似度のデータを逐次更新してゆく。
ステップS214:CPU23は、レリーズ釦30が全押しされたか否かを判定する。レリーズ釦30が全押しされた場合(YES側)にはS215に移行する。一方、レリーズ釦30が全押しされていない場合(NO側)には、CPU23はS217に移行する。
ステップS215:この場合には、CPU23は、被写体追尾部43による被写体追尾処理を一時停止させる。
ステップS216:CPU23は、撮像素子15を駆動させて本画像の撮像処理を実行する。その後、CPU23は、図8,図9の一連の処理を終了する。なお、S216での処理は上記のS121と共通するので重複説明は省略する。
ここで、S216でのCPU23は、第2メモリ24に記憶されている追尾対象の位置(S213)を消去することなく処理を終了する。そのため、S216の処理後にユーザーが再び半押し操作を行ったときには、上記のS201での被写体追尾部43は、追尾対象を最後に検出した位置を基準としてテンプレート生成範囲を設定する。
ステップS217:CPU23は、レリーズ釦30の半押しが解除されたか否かを判定する。レリーズ釦30の半押しが解除された場合(YES側)にはS224に移行する。一方、レリーズ釦30の半押しが継続している場合(NO側)にはS218に移行する。
ステップS218:被写体追尾部43は、追尾対象の位置のデータを第2メモリ24から読み出す。そして、被写体追尾部43は、撮影画面内で追尾対象を最後に検出した位置を、追尾対象の探索開始位置に設定する。
ステップS219:被写体追尾部43は、さらに最大類似度のデータを第2メモリ24から読み出す。そして、被写体追尾部43は、第2メモリ24から取得した最大類似度に基づいて、探索エリアのサイズを決定する。具体的には、被写体追尾部43は、上記の最大類似度が以下のいずれの範囲に属するかを判定する。
最大類似度が第1閾値(ロスト判定用の閾値)以上で第2閾値未満の場合(CASE1)にはS220に移行する。最大類似度が第2閾値以上で第3閾値未満の場合(CASE2)にはS221に移行する。最大類似度が第3閾値以上の場合(CASE3)にはS222に移行する。
ステップS220:被写体追尾部43は、探索エリアのサイズを初期状態よりも大きなサイズに設定する。その後、CPU23は、S223に処理を移行する。
ステップS221:被写体追尾部43は、探索エリアのサイズを初期状態と同じサイズに設定する。その後、CPU23は、S223に処理を移行する。
ステップS222:被写体追尾部43は、探索エリアのサイズを初期状態よりも小さなサイズに設定する。
ステップS223:被写体追尾部43は、追尾対象の探索開始位置(S218)が探索エリアの中央と重なるように、撮影画面内における探索エリア(S219からS222)の位置を設定する。その後、CPU23は、S207に戻って上記動作を繰り返す。
これにより、被写体追尾部43は、被写体追尾処理で追尾対象を継続的に検出するときには、追尾対象を最後に検出した位置を起点として追尾対象を探索することとなる(S218)。被写体追尾部43は、追尾対象の探索開始位置を基準として探索エリアの位置を設定する(S223)とともに、追尾対象を最後に検出したときの最大類似度に基づいて探索エリアのサイズを調整する(S219からS222)。これらの処理により、被写体追尾処理で追尾対象を継続的に検出するときに、電子カメラは比較的容易に追尾対象を検出することが可能となる。
ステップS224:CPU23は、第2メモリ24に記憶されている追尾対象の位置および最大類似度の値をリセットする。その後、CPU23は、図8,図9の一連の処理を終了する。なお、S224の処理後にユーザーが再び半押し操作を行ったときには、第2メモリ24に追尾対象の位置が記憶されていない状態にあるので、上記のS201での被写体追尾部43は、撮影画面の中央部にテンプレート生成範囲を設定する。以上で、図8,図9の流れ図の説明を終了する。
上記の変形例の電子カメラでは、静止画像の撮影後に再び被写体追尾処理を開始する場合には、前回の被写体追尾処理において追尾対象を最後に検出した位置を起点としてテンプレート生成範囲や探索エリアの位置が設定される(S201)。そのため、ユーザーは所望の被写体を追尾対象とすることが比較的に容易となる。
<実施形態の補足事項>
(1)上記実施形態では、簡単のため、最初に生成されたテンプレートのみを用いて被写体追尾処理を行う例を説明した。しかし、本発明のテンプレート生成部42は、追尾対象の検出に成功したときに逐次テンプレートを生成して、テンプレートの蓄積または更新を行うようにしてもよい。
また、図3,図4に示す動作例において、レリーズ釦30の半押しが解除されたとき(S119のYES側)または本画像の撮像処理が行われたとき(S121)に、CPU23はS103に移行してテンプレートを生成するようにしてもよい。
(2)図3,図4に示す動作例において、S122での被写体追尾部43は、レリーズ釦30の半押しが解除されたとき(S119のYES側)のみ、第2メモリ24に記憶されている追尾対象の位置を追尾対象の探索開始位置に設定するようにしてもよい。同様に、S122での被写体追尾部43は、本画像の撮像処理が行われたとき(S121)のみ、第2メモリ24に記憶されている追尾対象の位置を追尾対象の探索開始位置に設定するようにしてもよい。
(3)図3,図4に示す動作例において、S118でのCPU23はパラメータ設定部40にAE演算を実行させて、本画像の撮像時に適用する絞り値、シャッタスピード、撮像感度をそれぞれ求めてもよい。
(4)上記実施形態では、追尾対象の輝度情報および色差情報のテンプレートをそれぞれ生成する例を説明した。しかし、上記実施形態はあくまで一例にすぎず、本発明の撮像装置では、上記の輝度情報、色差情報のテンプレートのいずれかを選択的に生成するものであってもよい。また、被写体追尾部43は、例えば、画像のRGBの階調値、画像の輪郭成分または画像のコントラスト比の情報などを用いて、スルー画像から追尾対象を検出してもよい。
(5)上記実施形態では、被写体追尾処理のときにAF、AEおよびホワイトバランス演算をすべて停止させる例を説明した。しかし、本発明の撮像装置では、被写体追尾処理のときに、AF、AEおよびホワイトバランス演算のいずれか1つまたは2つを任意に停止させてもよい。
一例として、CPU23は、被写体追尾処理のときにAF制御を停止し、S109とS110との間にAE演算およびホワイトバランス演算を実行するようにしてもよい。また、CPU23は、被写体追尾処理のときにAE演算およびホワイトバランス演算を停止し、S109とS110との間にAF制御を実行するようにしてもよい。
また、CPU23は、被写体追尾処理のときにAE演算のみを停止し、S109とS110との間(変形例の場合にはS208のとき)にAF制御およびホワイトバランス演算を実行するようにしてもよい。なお、この例は、被写体追尾部43が輝度情報のテンプレートのみを用いて被写体追尾処理を行う場合に適用しうる。
また、CPU23は、被写体追尾処理のときにホワイトバランス演算のみを停止し、S109とS110との間(変形例の場合にはS208のとき)にAF制御およびAE演算を実行するようにしてもよい。なお、この例は、被写体追尾部43が色差情報のテンプレートのみを用いて被写体追尾処理を行う場合に適用しうる。
(6)上記実施形態において、被写体追尾部43は、探索エリアのサイズの種類を4段階以上としてもよい。そして、被写体追尾部43は、最大類似度がCASE1からCASE3のいずれに属するかに応じて、探索エリアのサイズを以下のように変更するようにしてもよい。なお、この場合には、探索エリアのサイズを第2メモリ24に逐次記憶しておく必要がある。
一例として、被写体追尾部43は、最大類似度が第1閾値以上で第2閾値未満の場合(CASE1)には探索エリアのサイズを1段階小さくする。もっとも、CASE1のときに探索エリアのサイズが既に最小の場合には、被写体追尾部43は探索エリアのサイズをそのまま維持する。また、被写体追尾部43は、最大類似度が第2閾値以上で第3閾値未満の場合(CASE2)には探索エリアのサイズをそのまま維持する。また、被写体追尾部43は、最大類似度が第3閾値以上の場合(CASE3)には探索エリアのサイズを1段階大きくする。もっとも、CASE3のときに探索エリアのサイズが既に最大の場合には、被写体追尾部43は探索エリアのサイズをそのまま維持する。
(7)本発明において、被写体追尾処理の開始および終了の操作を行うスイッチは、多機能操作スイッチ36の決定釦37やレリーズ釦30に限定されるものではない。そのため、被写体追尾処理に関する操作をその他のスイッチに割り当ててもよい。
(8)図3,図4に示す動作例では、1回目の決定釦37の押圧に応じて電子カメラが被写体追尾処理を開始するとともに、2回目の決定釦37の押圧に応じて電子カメラが被写体追尾処理を終了する例を説明した。しかし、本発明の電子カメラは、上記S102のYES側から決定釦37の押圧が継続している期間は被写体追尾処理を継続し、上記S112にて決定釦37の押圧が解除されたときに被写体追尾処理を終了するようにしてもよい。
また、上記S112において、CPU23は、ズームスイッチ31の操作があった場合には被写体追尾処理を停止させて、ズームレンズの移動などを行うようにしてもよい。
(9)上記実施形態では、パラメータ設定部40、焦点調節部41、テンプレート生成部42、被写体追尾部43などの機能をプログラムによってソフトウエア的に実現する例を説明したが、これらの構成をASICを用いてハードウエア的に実現しても勿論かまわない。
(10)上記実施形態では、コンパクト型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換可能な一眼レフレックス型の電子カメラにも適用することが勿論可能である。なお、本発明を一眼レフレックス型の電子カメラに適用する場合には、本画像を撮像する撮像素子によってスルー画像を撮像してもよく、また、本画像を撮像する撮像素子とは別にスルー画像を撮像するための撮像素子を設けるようにしてもよい。
また、本発明の撮像装置は、例えば、携帯電話などの電子機器に内蔵されるカメラモジュールに適用することも可能である。
(11)上記実施形態において、電子カメラの絞りは、開口を有する絞り板を光路に挿抜して単位時間当たりの入射光量を調整する構成であってもよい。
(12)上記実施形態および変形例の構成はあくまで一例にすぎない。そのため、本発明の撮像装置を実施するときには、上述の実施形態および変形例に示す構成やその処理の順序についてあらゆる組み合わせをとることができる。例えば、この実施形態の補足事項で説明した事項は、図8,図9で示した動作例にも適用することができる。
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
11…撮像光学系、12…レンズ駆動部、13…絞り、14…絞り駆動部、15…撮像素子、16…AFE、17…画像処理部、20…モニタ、21…操作部材、23…CPU、24…第2メモリ、30…レリーズ釦、36…多機能操作スイッチ、37…決定釦、40…パラメータ設定部、41…焦点調節部、42…テンプレート生成部、43…被写体追尾部