JP5683851B2 - 撮像装置及び画像処理装置 - Google Patents

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、及び、画像に対して画像処理を施す画像処理装置に関する。

図１９に示す如く、動きのある特定被写体を撮影対象に含めて連写（連続撮影）を行うことで、特定被写体に注目した、所謂コマ送り画像を得ることができる。また、得られた複数の撮影画像の夫々から特定被写体の画像部分を切り出し抽出して合成することにより、所謂ストロボ画像を生成する方法が提案されている。

この際、時間的に隣接する撮影画像の撮影間隔である連写間隔が適切であれば、撮影画像列上及びストロボ画像上において、異なる撮影時刻の特定被写体の像が適切な位置間隔で配置される。しかしながら、その連写間隔が短すぎる場合には、図２０に示す如く、異なる撮影時刻間における特定被写体の位置変化が小さくなって、隣接する撮影画像間の特定被写体の位置変化が乏しくなると共にストロボ画像上において異なる撮影時刻における特定被写体の像が重なり合ってしまう。逆に、連写間隔が長すぎる場合には、図２１に示す如く、異なる撮影時刻間における特定被写体の位置変化が大きくなって、後の方で撮影される画像に特定被写体が含まれなくなったり、結果、ストロボ画像上に描写される特定被写体の個数が少なくなったりする。

特許文献１では、撮影領域を複数に分割するスリット枠を表示部に表示し、各スリット枠内に特定被写体が収まっているタイミングにおいて撮影者にシャッタボタン押下操作を行わせることで、特定被写体の像が適切な位置間隔で配置された撮影画像列を得ようとしている。しかしながら、この方法では、各スリット枠内に特定被写体が収まっているか否かを撮影者自身が判断して、毎回タイミング良く撮影者がシャッタボタン押下操作を行う必要があるため、撮影者の負担が重く、シャッタボタンの押下タイミングを逃すことも多い。

他方、一定のフレームレートでフレーム画像列を撮影して記録媒体に保存しておき、再生時に、保存されたフレーム画像列の中から動きのある被写体部分の画像を抽出して合成する方法も提案されている（特許文献１及び２参照）。

特許文献２の方法では、各フレーム画像から抽出された部分画像であって、前のフレーム画像と比べて一定以上の動きがあった被写体部分の画像である部分画像だけを復号順に合成している（特許文献２の段落３８参照）。しかしながら、この方法では、注目されるべき特定被写体の動きの速度が小さい場合には、隣接フレーム画像間における特定被写体の動きは一定以上の動きではないと判断され、特定被写体が合成対象から除外される（結果、特定被写体に注目したストロボ画像の生成は不能となる）。

また、特許文献１に記載された再生時に係る方法では、図２２に示す如く、保存されたフレーム画像列の最初のフレーム画像９０１を基準にして、最初のフレーム画像９０１と他のフレーム画像９０２及び９０３との差分画像を生成し、差分が生じた画像領域である動的領域９１１及び９１２の位置を求める。図２２及び後述の図２３において、差分画像中の黒領域が動的領域である。特許文献１の装置は、フレーム画像９０２上の動的領域９１１内の画像が特定被写体の画像であると判断すると共に、フレーム画像９０３上の動的領域９１２内の画像が特定被写体の画像であると判断する。図２２には、３枚のフレーム画像に基づく２つの動的領域だけが示されているが、実際には、多数のフレーム画像に基づく２以上の動的領域の位置が求められる。その後、合成画像上に複数のスリット枠を設定し、各スリット枠に収まる動的領域を選択して、選択した動的領域内の画像を合成画像上に順次上書きしていくことで特定被写体が均等配置された合成画像を完成させる（特許文献１の図１２参照）。この方法は、図２２に示すような状況下、即ち、「１つの動的領域が１つの撮影時刻における特定被写体にのみ対応している」という状況下で有効に機能する。

特許文献１に記載された再生時に係る方法では、動きのある特定被写体が存在していない、いわゆる背景画像（フレーム画像９０１のような画像）が必須となる。

図２３を参照して、背景画像が存在していない時における、特許文献１の装置の動作を説明する。図２３に示す如く、保存されたフレーム画像列の最初のフレーム画像が特定被写体を含む画像９２１である場合、そのフレーム画像９２１と２番目のフレーム画像９２２との差分に基づく動的領域は、図２３の領域９３１のようになり、フレーム画像９２１と３番目のフレーム画像９２３との差分に基づく動的領域は、図２３の領域９３２のようになる。動的領域９３１は、フレーム画像９２１及び９２２上における特定被写体の領域を結合した領域に相当し、動的領域９３２は、フレーム画像９２１及び９２３上における特定被写体の領域を結合した領域に相当する。動的領域９３１が得られた場合、フレーム画像９２２上の動的領域９３１内の画像が特定被写体の画像であると判断して合成処理が行われることになる（動的領域９３２についても同様）。この判断は正しくないため、得られる合成画像は所望画像からかけ離れたものとなる。即ち、図２３に示す状況では、「１つの動的領域が１つの撮影時刻における特定被写体にのみ対応している」という前提が崩れ、特許文献１に示された合成画像の生成方法が有効に機能しなくなる。尚、合成等の対象となる複数枚の画像が連写によって得られることを想定して従来技術を説明したが、それらが動画像の撮影によって得られる場合についても同様のことが言える。

特開２００８−１４７７２１号公報 特開２００５−６１９１号公報

そこで本発明は、対象画像列上における特定物体の位置間隔の適正化に寄与する撮像装置を提供することを目的とする。また本発明は、複数の入力画像の中から特定物体の位置間隔が適正化された複数の選択画像を抽出することのできる画像処理装置を提供することを目的とする。

本発明に係る第１の撮像装置は、撮影によって得た画像の画像データを出力する撮像部と、特定物体を被写体に含めた複数の対象画像を前記撮像部にて順次撮影させる撮影制御部と、を備え、前記撮影制御部は、前記特定物体の移動速度に応じて、前記複数の対象画像の撮影間隔を設定することを特徴とする。

特定物体の移動速度に応じて複数の対象画像の撮影間隔を設定することにより、特定物体の像が適切な位置間隔で配置された対象画像列を取得するといったことが可能となる。

具体的には例えば、第１の撮像装置において、前記特定物体の移動速度は、前記複数の対象画像の撮影前に前記撮像部から出力される画像データに基づいて検出される。

また例えば、第１の撮像装置は、前記複数の対象画像の撮影前に前記撮像部から出力される複数の非対象画像の画像データに基づいて、各非対象画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、前記移動速度は、各非対象画像上における前記特定物体の位置から検出され、前記撮影制御部は、前記移動速度及び前記特定物体の大きさに応じて前記撮影間隔を設定しても良い。

移動速度だけでなく物体サイズにも応じて撮影間隔を設定することで、撮影間隔をより適切なものに調整することができる。

また例えば、第１の撮像装置において、前記撮影制御部は、前記複数の対象画像の撮影可否を判断する撮影可否判断部を有し、前記撮影可否判断部は、前記撮影間隔、前記移動速度、及び、前記複数の対象画像の枚数に基づいて、前記複数の対象画像の撮影期間における前記特定物体の移動距離を導出する一方で、前記物体検出部の検出結果に基づく、１枚目の対象画像上における前記特定物体の位置、及び、前記物体検出部の検出結果に基づく、前記複数の対象画像上における前記特定物体の移動方向に基づいて、前記複数の対象画像上における前記特定物体の移動可能距離を導出し、前記移動距離と前記移動可能距離との比較に基づいて前記複数の対象画像の撮影可否を判断する。

また例えば、各対象画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を、第１の撮像装置に更に設けるようにしても良い。

本発明に係る第２の撮像装置は、撮影によって得た画像の画像データを出力する撮像部と、特定物体を被写体に含めた複数のフレーム画像を前記撮像部にて順次撮影させる撮影制御部と、を備え、前記撮影制御部は、前記特定物体の移動速度に基づいて、前記複数のフレーム画像の中から複数の対象画像を選択する対象画像選択部を有することを特徴とする。

特定物体の移動速度に基づいて複数の対象画像の選択処理を実行することにより、特定物体の像が適切な位置間隔で配置された対象画像列を取得するといったことが可能となる。

具体的には例えば、第２の撮像装置において、前記特定物体の移動速度は、前記複数の対象画像の撮影前に前記撮像部から出力される画像データに基づいて検出される。

また例えば、第２の撮像装置は、前記複数の対象画像の撮影前に前記撮像部から出力される複数の非対象画像の画像データに基づいて、各非対象画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、前記移動速度は、各非対象画像上における前記特定物体の位置から検出され、前記画像選択部は、前記移動速度及び前記特定物体の大きさに基づいて、前記複数の対象画像を選択する。

移動速度だけでなく物体サイズにも基づいて対象画像の選択を行うようにすることで、より適切な対象画像を選択することが可能となる。

また例えば、各対象画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を、第２の撮像装置に更に設けるようにしても良い。

本発明に係る第１の画像処理装置は、特定物体を被写体に含めた順次撮影により得た複数の入力画像に含まれるｍ枚の入力画像の中から、ｐ枚をｐ枚の選択画像として選択する画像選択部を備え（ｍ及びｐは２以上の整数であって、ｍ＞ｐ）、前記画像選択部は、前記ｐ枚の選択画像に含まれる第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体間の距離が、前記特定物体の大きさに応じた基準距離よりも大きくなるように、前記ｐ枚の選択画像を選択する（ｉは１以上且つ（ｐ−１）以下の整数）ことを特徴とする。

具体的には例えば、第１の画像処理装置は、各入力画像の画像データに基づき前記特定物体を前記複数の入力画像上において追尾する追尾処理を介して、各入力画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、前記第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体間の前記距離は、前記物体検出部による位置の検出結果に基づく距離であり、前記基準距離は、前記物体検出部による大きさの検出結果に基づく距離である。

追尾処理を用いることにより各入力画像上における特定物体の位置及び大きさを正しく検出することができる。従って、その検出結果に基づいて選択画像を選択することにより、特定物体の像が適切な位置間隔で配置された選択画像列を取得するといったことが可能となる。

また具体的には例えば、第１の画像処理装置において、前記複数の入力画像には、前記ｍ枚の入力画像よりも前の撮影によって得られた複数の非対象入力画像が含まれ、前記画像選択部は、前記物体検出部によって検出された各非対象入力画像上における前記特定物体の位置に基づき前記特定物体の移動速度を検出し、検出した前記移動速度を用いて前記選択を行う。

或いは例えば、第１の画像処理装置において、前記画像選択部は、前記物体検出部によって検出された前記ｍ枚の入力画像上における前記特定物体の位置に基づき前記特定物体の移動速度を検出し、検出した前記移動速度を用いて前記選択を行う。

また例えば、各選択画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を、第１の画像処理装置に更に設けるようにしても良い。

本発明に係る第３の撮像装置は、撮影によって得た画像の画像データを出力する撮像部と、特定物体を被写体に含めた複数の対象画像を前記撮像部にて連写させる連写制御部と、前記複数の対象画像の撮影前に前記撮像部から出力される画像データに基づいて、前記特定物体の移動速度を検出する物体特性導出部と、を備え、前記連写制御部は、検出された前記移動速度に応じて、前記複数の対象画像の連写間隔を設定することを特徴とする。

複数の対象画像の撮影前に撮像部から出力される画像データから、複数の対象画像の撮影時における特定物体の移動速度を推定することができる。この移動速度に応じて複数の対象画像の連写間隔を設定することにより、特定物体の像が適切な位置間隔で配置された対象画像列を取得するといったことが可能となる。

また具体的には例えば、第３の撮像装置は、前記複数の対象画像の撮影前に前記撮像部から出力される複数のプレ画像の画像データに基づいて、各プレ画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、前記物体特性導出部は、各プレ画像上における前記特定物体の位置から前記移動速度を検出し、前記連写制御部は、前記移動速度及び前記特定物体の大きさに応じて前記連写間隔を設定する。

移動速度だけでなく物体サイズにも応じて連写間隔を設定することで、連写間隔をより適切なものに調整することができる。

また例えば、第３の撮像装置において、前記連写制御部は、前記複数の対象画像の連写可否を判断する連写可否判断部を有し、前記連写可否判断部は、前記連写間隔、前記移動速度、及び、前記複数の対象画像の枚数に基づいて、前記複数の対象画像の撮影期間における前記特定物体の移動距離を導出する一方で、前記物体検出部の検出結果に基づく、１枚目の対象画像上における前記特定物体の位置、及び、前記物体検出部の検出結果に基づく、前記複数の対象画像上における前記特定物体の移動方向に基づいて、前記複数の対象画像上における前記特定物体の移動可能距離を導出し、前記移動距離と前記移動可能距離との比較に基づいて前記複数の対象画像の連写可否を判断する。

また例えば、各対象画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を、第３の撮像装置に更に設けるようにしても良い。

また例えば、前記連写間隔に応じた情報を外部に対して報知する報知制御部を、前記連写制御部に設けるようにしても良い。

本発明に係る第２の画像処理装置は、特定物体を被写体に含めた順次撮影により得たｍ枚の入力画像の中から、ｐ枚をｐ枚の選択画像として選択する画像選択部と（ｍ及びｐは２以上の整数であって、ｍ＞ｐ）、各入力画像の画像データに基づき前記特定物体を前記ｍ枚の入力画像上において追尾する追尾処理を介して、各入力画像上における前記特定物体の位置及び大きさを検出する物体検出部と、備え、前記画像選択部は、前記物体検出部による位置の検出結果に基づく、前記ｐ枚の選択画像に含まれる第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体間の距離が、前記物体検出部による大きさの検出結果に基づく、第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体の大きさに応じた基準距離よりも大きくなるように、前記ｐ枚の選択画像を選択する（ｉは１以上且つ（ｐ−１）以下の整数）ことを特徴とする。

追尾処理を用いることにより各入力画像上における特定物体の位置及び大きさを正しく検出することができる。従って、その検出結果に基づいて選択画像を選択することにより、特定物体の像が適切な位置間隔で配置された選択画像列を取得するといったことが可能となる。

また例えば、各選択画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を、第２の画像処理装置に更に設けるようにしても良い。

本発明によれば、対象画像列上における特定物体の位置間隔の適正化に寄与する撮像装置、及び、複数の入力画像の中から特定物体の位置間隔が適正化された複数の選択画像を抽出することのできる画像処理装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の第１実施形態に係る撮像装置の全体ブロック図である 任意の二次元画像が配置される、空間領域の二次元座標系（画像空間）を示した図である。 本発明の第１実施形態に係り、複数の対象画像からストロボ画像が生成される様子を示した図である。 本発明の第１実施形態に係り、プレビュー画像列と対象画像列の関係を示した図である。 本発明の第１実施形態に係り、特殊連写モードの動作に特に関与する部位のブロック図である。 本発明の第１実施形態に係り、プレビュー画像又は対象画像に追尾対象領域が設定される様子を示した図である。 本発明の第１実施形態に係り、２枚のプレビュー画像上における追尾対象の位置から追尾対象の移動速度を導出する方法を説明した図である。 本発明の第１実施形態に係り、２枚のプレビュー画像上における追尾対象の大きさから被写体サイズ（追尾対象の平均的な大きさ）を導出する方法を説明した図である。 図５の連写可否判断部による、追尾対象の移動可能距離の導出方法を説明するための図である。 図５の連写可否判断部による、追尾対象の推定移動距離の導出方法を説明するための図である。 本発明の第１実施形態に係り、特殊連写モードにおける撮像装置の動作フローチャートである。 本発明の第１実施形態に係り、連写が不可能と判断された場合に提示される表示画像例を示した図である。 本発明の第２実施形態に係り、特殊再生モードの動作に特に関与する部位のブロック図である。 本発明の第２実施形態に係るフレーム画像列を示した図である。 本発明の第２実施形態に係り、追尾対象の設定時における表示画像を示した図である。 本発明の第２実施形態に係り、２枚のフレーム画像上における追尾対象及び追尾対象領域を共通の画像空間（共通の紙面）上に示した図である。 本発明の第２実施形態に係るストロボ画像を示した図である。 本発明の第２実施形態に係り、特殊再生モードにおける撮像装置の動作フローチャートである。 従来方法に係り、撮影画像列とそれに基づくストロボ画像を示した図である。 従来方法に係り、他の撮影画像列とそれに基づくストロボ画像を示した図である。 従来方法に係り、更に他の撮影画像列とそれに基づくストロボ画像を示した図である。 従来方法に係り、フレーム画像間の差分から動的領域が抽出される様子を示した図である。 従来方法に係り、フレーム画像間の差分から動的領域が抽出される様子を示した図である。 本発明の第３実施形態に係る動画像の構成を示す図である。 本発明の第３実施形態に係る動作に特に関与する部位のブロック図である。 本発明の第３実施形態に係り、３枚の対象フレーム画像とストロボ動画像との関係を示す図である。 本発明の第３実施形態に係る撮像装置の動作フローチャートである。 本発明の第３実施形態に係る撮像装置の動作フローチャートである。 本発明の第４実施形態に係る動画像の構成を示す図である。 本発明の第４実施形態に係る動作に特に関与する部位のブロック図である。 本発明の第４実施形態に係り、対象フレーム画像候補の中から対象フレーム画像が選択される様子を示す図である。 本発明の第４実施形態に係る撮像装置の動作フローチャートである。 本発明の第５実施形態に係る動画像の構成を示す図である。 本発明の第５実施形態に係り、追尾対象の推定移動距離の意義を説明するための図である。 本発明の第５実施形態に係る撮像装置の動作フローチャートである。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。

撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を互いに関連付けた状態で記録する。

伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。

ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。

撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。再生モードにて動作する時の撮像装置１は、画像再生装置として機能する。

撮影モードでは、次々と被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。

尚、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する（即ち例えば、圧縮された画像データを記録することを、単に、画像データを記録すると表現する）。また、本明細書では、或る画像の画像データのことを単に画像と言うこともある。

図２に示す如く、任意の二次元画像３００が配置される、空間領域（spatial domain）の二次元座標系ＸＹを定義する。二次元座標系ＸＹを画像空間と言い換えることもできる。画像３００は、例えば、上述の撮影画像、又は、後述のストロボ画像、プレビュー画像、対象画像若しくはフレーム画像である。Ｘ軸及びＹ軸は、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。

撮像装置１の撮影モードの一種に、特殊連写モードがある。特殊連写モードでは、図３に示す如く、注目すべき特定被写体が望ましい位置間隔で配置された複数の撮影画像（図３に示す例では、画像３１１〜３１４）を連写によって取得する。特殊連写モードにて連写される撮影画像を、以下、対象画像という。連写によって得られた複数の対象画像を合成することで、各対象画像上の特定被写体を１枚の画像上に表現したストロボ画像を生成することができる。図３の画像３１５は、画像３１１〜３１４に基づくストロボ画像である。

ユーザは、操作部２６に対して所定操作を施すことで、撮像装置１の動作モードを特殊連写モードに設定することができる。以下、第１実施形態では、特殊連写モードにおける撮像装置１の動作を説明する。

図４は、特殊連写モードにて撮影される画像列の構成画像を示した図である。画像列とは、時系列で並ぶ複数の静止画像の集まりを指す。シャッタボタン２６ｂは２段階の押下操作が可能に形成されている。ユーザがシャッタボタン２６ｂを軽く押し込むと、シャッタボタン２６ｂは半押しの状態となり、その状態から更にシャッタボタン２６ｂを押し込むとシャッタボタン２６ｂは全押しの状態となる。シャッタボタン２６ｂの状態を全押しの状態にする操作を、特にシャッタ操作とも言う。特殊連写モードにおいて、シャッタ操作が行われると、その直後において、ｐ枚の対象画像が連写される（即ち、ｐ枚の対象画像が連続的に撮影される）。ｐは、２以上の整数である。ユーザは、対象画像の枚数（即ち、ｐの値）を自由に決めることができる。

ｐ枚の対象画像の内、１番目、２番目、・・・、ｐ番目に撮影される対象画像を、夫々、符号Ｉ_ｎ、Ｉ_ｎ＋１、・・・、Ｉ_{ｎ＋ｐ−１}にて表す（ｎは整数）。１番目の対象画像Ｉ_ｎの撮影前の撮影によって得られる撮影画像をプレビュー画像と呼ぶ。プレビュー画像は、一定のフレームレート（例えば、６０ｆｐｓ（frame per second））にて順次撮影される。プレビュー画像列に対して、符号Ｉ_１〜Ｉ_ｎ−１を割り当てる。図４に示す如く、時間が進行するにつれ、プレビュー画像Ｉ_１、Ｉ_２、・・・、Ｉ_ｎ−３、Ｉ_ｎ−２、Ｉ_ｎ−１の順番で撮影が行われ、プレビュー画像Ｉ_ｎ−１の撮影の次に対象画像Ｉ_ｎの撮影が行われるものとする。プレビュー画像列は動画像として表示部２７に表示され、ユーザは表示画像を確認しつつシャッタ操作の実行タイミングを検討する。

図５は、撮像装置１に内包される、特殊連写モードの動作に特に関与する部位のブロック図である。図５に示される各部位は、図１のＣＰＵ２３又は映像信号処理部１３によって実現される。例えば、追尾処理部（物体検出部）５１及びストロボ画像生成部（画像合成部）５４を映像信号処理部１３に実装しておくことができ、ＣＰＵ２３内に追尾対象特性算出部（物体特性導出部）５２及び連写制御部５３を設けておくことができる。連写制御部５３には、連写可否判断部５５及び報知制御部５６が設けられている。

追尾処理部５１は、入力動画像の画像データに基づいて入力動画像上における注目物体を入力動画像上で追尾する追尾処理を実行する。ここにおける入力動画像とは、プレビュー画像Ｉ_１〜Ｉ_ｎ−１を含むプレビュー画像列と対象画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}を含む対象画像列とから成る動画像を指す。注目物体は、入力動画像の撮影時における撮像装置１の注目被写体である。追尾処理によって追尾されるべき注目物体を、以下、追尾対象という。

ユーザは、追尾対象を指定することができる。例えば、表示部２７に所謂タッチパネル機能を設けておく。そして、プレビュー画像を表示部２７の表示画面上で表示している時において、注目物体が表示されている、表示画面上の表示領域を、ユーザが指で触れることにより、該注目物体が追尾対象として設定される。或いは例えば、ユーザは、操作部２６に対する所定操作によって追尾対象を指定することもできる。更に或いは、顔認識処理を利用して撮像装置１が自動的に追尾対象を設定するようにしても良い。つまり例えば、プレビュー画像の画像データに基づきプレビュー画像から人物の顔を含む領域である顔領域を抽出した後、顔認識処理によって当該顔領域に含まれる顔が予め登録された人物の顔と一致しているか否かを照合し、一致が確認された場合に、その顔領域に含まれる顔を有する人物を追尾対象として設定するようにしても良い。

更に或いは、プレビュー画像列上における移動物体を自動的に追尾対象に設定するようにしても良い。この場合は、公知の方法を用いて、時間的に隣接する２枚のプレビュー画像間のオプティカルフローから追尾対象として設定されるべき移動物体を抽出すればよい。オプティカルフローは、画像上の物体の動きの向き及び大きさを表す動きベクトルの束である。

説明の便宜上、以下では、プレビュー画像Ｉ_１において追尾対象が設定されたものとする。追尾対象の設定後、追尾処理では、入力動画像の画像データに基づき、各プレビュー画像及び各対象画像上における追尾対象の位置及び大きさが逐次検出される。実際には、追尾対象を表す画像データの存在する画像領域が追尾対象領域として各プレビュー画像及び各対象画像に設定され、追尾対象領域の中心位置及び大きさが追尾対象の位置及び大きさとして検出される。プレビュー画像に設定された追尾対象領域内の画像は、当該プレビュー画像の一部画像である（対象画像等についても同様）。追尾対象の大きさとして検出される追尾対象領域の大きさを、追尾対象領域内に属する画素の数によって表現することができる。尚、本発明の各実施形態の説明文中における文言“中心位置”を“重心位置”に読み替えても構わない。

追尾処理部５１は、各プレビュー画像及び各対象画像における追尾対象の位置及び大きさを表す情報を含む追尾結果情報を出力する。追尾結果情報によって、追尾対象領域の形状をもが規定されるものとする。例えば、（後述の図６等に示される状況とは異なるが）追尾対象領域が矩形領域である場合には、その矩形領域の対角線上の２頂点の座標値を追尾対象領域に含めておけば良い、或いは、その矩形領域の一頂点の座標値と該矩形領域の水平及び垂直方向の大きさを追尾対象領域に含めておけば良い。

第１及び第２の被演算画像間における追尾処理を次のように実行することができる。ここにおける第１の被演算画像とは、既に追尾対象の位置及び大きさが検出されているプレビュー画像又は対象画像を指し、第２の被演算画像とは、これから追尾対象の位置及び大きさが検出されるべきプレビュー画像又は対象画像を指す。第２の被演算画像は、通常、第１の被演算画像の次に撮影される画像である。

例えば、追尾処理部５１は、追尾対象が有する画像特徴に基づいて追尾処理を行うことができる。画像特徴は、輝度情報及び色情報を含む。より具体的には例えば、第２の被演算画像内に、追尾対象領域の大きさと同程度の大きさを有すると推定される追尾枠を設定して、第２の被演算画像における追尾枠内の画像の画像特徴と、第１の被演算画像における追尾対象領域内の画像の画像特徴との類似性評価を追尾枠の位置を探索領域内で順次変更しながら実行し、最大の類似性が得られた追尾枠の中心位置に、第２の被演算画像における追尾対象領域の中心位置が存在すると判断する。第２の被演算画像に対する探索領域は、第１の被演算画像における追尾対象の位置を基準にして設定される。

第２の被演算画像における追尾対象領域の中心位置が判明した後、公知の輪郭抽出処理等を適宜用いて、その中心位置を内包する、エッジで囲まれた閉領域を、第２の被演算画像における追尾対象領域として抽出することができる。又は、その閉領域を単純な図形形状（矩形や楕円）を有する領域にて近似したものを追尾対象領域として抽出するようにしてもよい。以下の説明では、図６に示す如く、追尾対象が人物であって、且つ、追尾対象領域が該人物の胴体及び頭部を含む楕円状領域に近似されることを想定する。

尚、画像上の追尾対象の位置及び大きさを検出する方法として、上述した方法と異なる他の任意の方法（例えば、特開２００４−９４６８０号公報に記載された方法や特開２００９−３８７７７号公報に記載された方法）を採用することも可能である。

追尾対象特性算出部５２は、プレビュー画像列に対して行った追尾処理の追尾結果情報に基づいて、画像空間上における追尾対象の移動速度ＳＰを算出すると共に追尾対象の大きさに応じた被写体サイズ（物体サイズ）ＳＩＺＥを算出する。移動速度ＳＰは、対象画像列上における追尾対象の移動速度の推定値として機能し、被写体サイズＳＩＺＥは、各対象画像上における追尾対象の大きさの推定値として機能する。

２枚以上のプレビュー画像についての追尾結果情報に基づいて、即ち、２枚以上のプレビュー画像における追尾対象領域の位置及び大きさに基づいて、移動速度ＳＰ及び被写体サイズＳＩＺＥを算出することができる。

２枚のプレビュー画像についての追尾結果情報から移動速度ＳＰ及び被写体サイズＳＩＺＥを算出する方法を説明する。移動速度ＳＰ及び被写体サイズＳＩＺＥを算出するための２枚のプレビュー画像をＩ_Ａ及びＩ_Ｂにて表す。プレビュー画像Ｉ_Ｂは、対象画像Ｉ_ｎの撮影時刻に対してなるだけ近い時刻に撮影されたプレビュー画像であり、プレビュー画像Ｉ_Ａはプレビュー画像Ｉ_Ｂよりも先に撮影されたプレビュー画像である。例えば、プレビュー画像Ｉ_Ａ及びＩ_Ｂは、夫々、プレビュー画像Ｉ_ｎ−２及びＩ_ｎ−１である。但し、プレビュー画像Ｉ_Ａ及びＩ_Ｂを、夫々、プレビュー画像Ｉ_ｎ−３及びＩ_ｎ−１とすることも可能であるし、或いは、プレビュー画像Ｉ_ｎ−３及びＩ_ｎ−２とすることも可能であるし、或いは、それ以外とすることも可能である。以下では、特に記述なき限り、プレビュー画像Ｉ_Ａ及びＩ_Ｂが夫々プレビュー画像Ｉ_ｎ−２及びＩ_ｎ−１であると仮定する。

プレビュー画像Ｉ_Ａにおける追尾対象領域の中心位置（ｘ_Ａ，ｙ_Ａ）とプレビュー画像Ｉ_Ｂにおける追尾対象領域の中心位置（ｘ_Ｂ，ｙ_Ｂ）とから、下記式（１）に従って移動速度ＳＰを算出することができる。図７に示す如く、ｄ_ＡＢは、画像空間上における中心位置（ｘ_Ａ，ｙ_Ａ）及び（ｘ_Ｂ，ｙ_Ｂ）間の距離である。図７及び後述の図８において、破線３３０_Ａ及び３３０_Ｂで囲まれた楕円状領域は、夫々、プレビュー画像Ｉ_Ａ及びＩ_Ｂ上における追尾対象領域である。ＩＮＴ_ＰＲは、プレビュー画像Ｉ_Ａ及びＩ_Ｂの撮影間隔である。上述したように、プレビュー画像Ｉ_Ａ及びＩ_Ｂがプレビュー画像Ｉ_ｎ−２及びＩ_ｎ−１であるため、ＩＮＴ_ＰＲは、隣接するプレビュー画像の撮影間隔、即ち、プレビュ−画像列のフレームレートの逆数である。従って、プレビュー画像列のフレームレートが６０ｆｐｓであるならば、ＩＮＴ_ＰＲは１／６０秒である。
ＳＰ＝ｄ_ＡＢ／ＩＮＴ_ＰＲ ・・・（１）

一方、プレビュー画像Ｉ_Ａにおける追尾対象領域の特定方向サイズＬ_Ａとプレビュー画像Ｉ_Ｂにおける追尾対象領域の特定方向サイズＬ_Ｂから、被写体サイズＳＩＺＥを算出することができる。図８は、プレビュー画像Ｉ_Ａ上における追尾対象領域３３０_Ａとプレビュー画像Ｉ_Ｂ上における追尾対象領域３３０_Ｂを共通の画像空間（二次元座標系ＸＹ）上に示した図である。中心位置（ｘ_Ａ，ｙ_Ａ）及び（ｘ_Ｂ，ｙ_Ｂ）間を結ぶ直線３３２は追尾対象領域３３０_Ａの外形と交点３３４及び３３５で交わり、直線３３２は追尾対象領域３３０_Ｂの外形と交点３３６及び３３７で交わる。交点３３４及び３３５間の距離が特定方向サイズＬ_Ａとして求められ、交点３３６及び３３７間の距離が特定方向サイズＬ_Ｂとして求められる。そして、特定方向サイズＬ_Ａ及びＬ_Ｂの平均値が被写体サイズＳＩＺＥに代入される。

プレビュー画像Ｉ_ｎ−２及びＩ_ｎ−１であるプレビュー画像Ｉ_Ａ及びＩ_Ｂについての追尾結果情報に加え、プレビュー画像Ｉ_ｎ−３であるプレビュー画像Ｉ_Ｃについての追尾結果情報をも更に用いて移動速度ＳＰ及び被写体サイズＳＩＺＥを算出する方法を説明する。この場合は、「ＳＰ＝（ｄ_ＣＡ＋ｄ_ＡＢ）／（２・ＩＮＴ_ＰＲ）」に従って移動速度ＳＰを算出することができる。ここで、ｄ_ＣＡは、画像空間上における中心位置（ｘ_Ｃ，ｙ_Ｃ）及び（ｘ_Ａ，ｙ_Ａ）間の距離であり、中心位置（ｘ_Ｃ，ｙ_Ｃ）は、プレビュー画像Ｉ_Ｃにおける追尾対象領域の中心位置である。また、中心位置（ｘ_Ｃ，ｙ_Ｃ）及び（ｘ_Ａ，ｙ_Ａ）間を結ぶ直線とプレビュー画像Ｉ_Ｃ上における追尾対象領域３３０_Ｃの外形とが交わる２交点の位置を特定し、その２交点間の距離を特定方向サイズＬ_Ｃとして求め、特定方向サイズＬ_Ａ、Ｌ_Ｂ及びＬ_Ｃの平均値を被写体サイズＳＩＺＥとして求めることができる。４枚以上のプレビュー画像の追尾結果情報から移動速度ＳＰ及び被写体サイズＳＩＺＥを算出する場合も同様とされる。

上述の方法に従って求められた、移動速度ＳＰ（追尾対象の平均的な移動速度）と被写体サイズＳＩＺＥ（追尾対象の平均的なサイズ）は、連写制御部５３に送られる。

連写制御部５３は、
式「（連写間隔ＩＮＴ_ＴＧＴ）＝（目標被写体間隔α）／（移動速度ＳＰ）」に従って、
より明確には、下記式（２）に従って対象画像列の撮影時における連写間隔ＩＮＴ_ＴＧＴを設定する。
ＩＮＴ_ＴＧＴ＝α／ＳＰ ・・・（２）

連写間隔ＩＮＴ_ＴＧＴとは、時間的に隣接する２枚の対象画像（例えば、Ｉ_ｎ及びＩ_ｎ＋１）の撮影時刻間の間隔を指す。対象画像Ｉ_ｎの撮影時刻とは、厳密には例えば、対象画像Ｉ_ｎの露光期間の開始時刻又は中間時刻を指す（対象画像Ｉ_ｎ＋１等についても同様）。

目標被写体間隔αとは、時間的に隣接する２枚の対象画像上における追尾対象領域の中心位置間距離の目標値を指す。つまり例えば、対象画像Ｉ_ｎ上における追尾対象領域の中心位置（ｘ_ｎ，ｙ_ｎ）と対象画像Ｉ_ｎ＋１上における追尾対象領域の中心位置（ｘ_ｎ＋１，ｙ_ｎ＋１）との距離の目標値が、目標被写体間隔αである。連写制御部５３は、被写体サイズＳＩＺＥに応じて目標被写体間隔αを決定する。例えば、「α＝ＳＩＺＥ」となるように、又は、「α＝ｋ_０×ＳＩＺＥ」となるように、又は、「α＝ＳＩＺＥ＋ｋ_１」となるように、被写体サイズＳＩＺＥから目標被写体間隔αを決定する。ｋ_０及びｋ_１は、予め定められた係数である。但し、目標被写体間隔αをユーザの指示に従って定めることも可能である。また、係数ｋ_０及びｋ_１の値をユーザが定めても良い。

連写制御部５３は、連写間隔ＩＮＴ_ＴＧＴの設定後、原則として連写間隔ＩＮＴ_ＴＧＴにてｐ枚の対象画像が連写されるようにＴＧ２２（図１参照）と協働して撮像部１１を制御し、これによって略一定の位置間隔で追尾対象が配置されたｐ枚の対象画像を取得しようとする。但し、連写開始時における追尾対象の位置等によっては、そのようなｐ枚の対象画像を取得できない場合もある。

そこで、連写制御部５３に内包される連写可否判断部５５（図５参照）は、ｐ枚の対象画像の連写に先立ち、ｐ枚の対象画像の連写可否を判断する。説明の具体化のためｐ＝５であると仮定した上で、図９及び図１０を参照しつつ、この判断方法を説明する。図９に示される画像Ｉ_ｎ’は、１番目の対象画像Ｉ_ｎを仮想した画像（以下、仮想対象画像という）である。仮想対象画像Ｉ_ｎ’は、実際の撮影によって得られた画像ではなく、追尾結果情報から推定される。位置３５０は、仮想対象画像Ｉ_ｎ’上における追尾対象領域の中心位置である。矢印３６０は、画像空間上における追尾対象の移動方向を表している。移動方向３６０は、上述の中心位置（ｘ_Ａ，ｙ_Ａ）から中心位置（ｘ_Ｂ，ｙ_Ｂ）に向かう方向（図７及び図８参照）、又は、中心位置（ｘ_Ｃ，ｙ_Ｃ）から中心位置（ｘ_Ｂ，ｙ_Ｂ）に向かう方向と一致する。

位置３５０は、プレビュー画像Ｉ_ｎ−１上における追尾対象領域の中心位置から、移動方向３６０へ距離（ＳＰ×ＩＮＴ_ＰＲ）だけずれた位置である。但し、ここでは、プレビュー画像Ｉ_ｎ−１及び対象画像Ｉ_ｎの撮影時刻間の時間差がプレビュ−画像の撮影間隔ＩＮＴ_ＰＲと一致しているものとする。

連写可否判断部５５は、対象画像列の撮影期間中、対象画像列上において追尾対象が移動方向３６０へ移動速度ＳＰにて移動すると仮定した上で、対象画像列上における追尾対象の移動可能距離ＤＩＳ_ＡＬを算出する。位置３５０を起点として移動方向３６０に向かって伸びる線分３６１を定義し、線分３６１と仮想対象画像Ｉ_ｎ’の外形との交点３６２を求める。位置３５０と交点３６２との距離が移動可能距離ＤＩＳ_ＡＬとして算出される。

一方、連写可否判断部５５は、ｐ枚の対象画像の撮影期間中における、画像空間上（及び対象画像列上）の追尾対象の移動距離ＤＩＳ_ＥＳＴを推定する。図１０を参照する。図１０には、共通の画像空間上に、５つの位置３５０〜３５４が示されている。図１０における位置３５０は、上述したように、仮想対象画像Ｉ_ｎ’上における追尾対象領域の中心位置である。図１０において、位置３５０、３５１、３５２、３５３及び３５４を内包する実線楕円領域３７０、３７１、３７２、３７３及び３７４は、夫々、対象画像Ｉ_ｎ、Ｉ_ｎ＋１、Ｉ_ｎ＋２、Ｉ_ｎ＋３及びＩ_ｎ＋４上における追尾対象領域を推定したものである。推定された追尾対象領域３７０〜３７４の大きさ及び形状は、プレビュー画像Ｉ_ｎ−１上における追尾対象領域のそれと同じである。

位置３５１、３５２、３５３、３５４は、夫々、対象画像Ｉ_ｎ＋１、Ｉ_ｎ＋２、Ｉ_ｎ＋３及びＩ_ｎ＋４上における追尾対象領域の中心位置を推定したものである。位置３５１は、位置３５０から、移動方向３６０へ目標被写体間隔αだけずれた位置である。位置３５２、３５３及び３５４は、夫々、位置３５０から、移動方向３６０へ、（２×α）、（３×α）及び（４×α）だけずれた位置である。

連写可否判断部５５は、位置３５０及び３５４間の距離を、移動距離ＤＩＳ_ＥＳＴとして推定する。即ち、対象画像列の撮影期間中、対象画像列上において追尾対象が移動方向３６０へ移動速度ＳＰにて移動すると仮定した上で、移動距離ＤＩＳ_ＥＳＴが推定される。ｐ＝５であるため、移動距離ＤＩＳ_ＥＳＴの推定式（３）は、
ＤＩＳ_ＥＳＴ＝（４×α）＝α×（ｐ−１）＝ＩＮＴ_ＴＧＴ×ＳＰ×（ｐ−１） ・・・（３）
となる（上記式（２）参照）。

ｐ枚（今の例において５枚）の対象画像の夫々に追尾対象領域の全体が含まれると推定される場合にのみ、連写可否判断部５５は、ｐ枚の対象画像の連写が可能と判断し、そうでない場合には、ｐ枚の対象画像の連写が不可能であると判断する。図１０からも理解されるように、判断式（４）が成立する場合に連写が可能と判断され、判断式（４）が不成立の場合に連写が不可能と判断される。但し、マージンをみて、判断式（４）の代わりに判断式（５）を用いるようにしても良い（Δ＞０）。
ＤＩＳ_ＡＬ≧ＤＩＳ_ＥＳＴ＋ＳＩＺＥ／２ ・・・（４）
ＤＩＳ_ＡＬ≧ＤＩＳ_ＥＳＴ＋ＳＩＺＥ／２＋Δ ・・・（５）

連写可否判断部５５によって連写が不可能であると判断された場合、報知制御部５６（図５）は、その旨を表す情報をユーザに対し、音声や映像により知らせる。

以下の説明では、特に記述なき限り、連写可否判断部５５にてｐ枚の対象画像の連写が可能であると判断され、実際に撮影されたｐ枚の対象画像の夫々に追尾対象領域の全体（即ち、追尾対象の全体像）が含まれているものとする。

ストロボ画像生成部５４は、対象画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}に対する追尾結果情報と対象画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}の画像データに基づき、対象画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ１８に記録することができる。尚、対象画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}を外部メモリ１８に記録することもできる。

具体的には、対象画像Ｉ_ｎ＋１〜Ｉ_{ｎ＋ｐ−１}に対する追尾結果情報に基づいて対象画像Ｉ_ｎ＋１〜Ｉ_{ｎ＋ｐ−１}から対象画像Ｉ_ｎ＋１〜Ｉ_{ｎ＋ｐ−１}上の追尾対象領域内の画像を抽出し、対象画像Ｉ_ｎ上に、対象画像Ｉ_ｎ＋１、Ｉ_ｎ＋２、・・・Ｉ_{ｎ＋ｐ−１}から抽出した画像を順次上書きすることで、図３のストロボ画像３１５のようなストロボ画像を生成する。これにより、対象画像列の撮影期間中、実際に対象画像列上において追尾対象が移動方向３６０へ移動速度ＳＰにて移動したとしたならば、ストロボ画像上に、対象画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}上における共通の追尾対象が目標被写体間隔αにて分散配置される。

或いは、対象画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}に対する追尾結果情報に基づいて対象画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}から対象画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}上の追尾対象領域内の画像を抽出する一方で、白画像又は黒画像のような背景画像を用意しておき、背景画像上に、対象画像Ｉ_ｎ、Ｉ_ｎ＋１、Ｉ_ｎ＋２、・・・Ｉ_{ｎ＋ｐ−１}から抽出した画像を順次上書きすることでストロボ画像を生成するようにしても良い。

対象画像に対する追尾結果情報を用いることなくストロボ画像を生成することも可能である。例えば、ｐ＝５である場合、対象画像Ｉ_ｎ＋１〜Ｉ_ｎ＋４から、夫々、図１０の領域３７１〜３７４内の画像を抽出し、対象画像Ｉ_ｎ上に対象画像Ｉ_ｎ＋１〜Ｉ_ｎ＋４から抽出した画像を順次上書きすることでストロボ画像を生成するようにしてもよいし、或いは、対象画像Ｉ_ｎ〜Ｉ_ｎ＋４から、夫々、図１０の領域３７０〜３７４内の画像を抽出し、上記背景画像上に対象画像Ｉ_ｎ〜Ｉ_ｎ＋４から抽出した画像を順次上書きすることでストロボ画像を生成するようにしてもよい。

＜＜動作フロー＞＞
次に、図１１を参照して、特殊連写モードにおける撮像装置１の動作の流れを説明する。図１１は、この動作の流れを表すフローチャートである。まず、ステップＳ１１において、追尾対象の設定が成されるのを待機する。追尾対象が設定されると、ステップＳ１１からステップＳ１２に移行し、上述の追尾処理が実行開始される。追尾対象の設定後においては、ステップＳ１２以外においても追尾処理が継続的に実行される。

追尾処理の実行開始後、ステップＳ１３においてシャッタボタン２６ｂが半押しの状態となっているかが確認される。シャッタボタン２６ｂの半押しが確認されると、その時点で得られている最新の追尾結果情報（２枚以上のプレビュー画像の追尾結果情報）に基づいて、移動速度ＳＰ及び被写体サイズＳＩＺＥが算出され、続いて、連写間隔ＩＮＴ_ＴＧＴの設定及び連写可否判断部５５による連写可否の判断が成される（ステップＳ１４及びＳ１５）。

連写可否判断部５５により連写が可能と判断されると（ステップＳ１６のＹ）、ステップＳ１７において、報知制御部５６は、連写間隔ＩＮＴ_ＴＧＴに応じた情報を撮像装置１の外部に報知する。この報知は、その情報をユーザが認識出るように視覚的又は聴覚的な手段を用いて実行される。具体的には例えば、断続的な電子音をスピーカ２８から出力するようにし、連写間隔ＩＮＴ_ＴＧＴが比較的短いときには該電子音の出力間隔を比較的短くし（例えば、０．５秒かけて「ピピピッ」と聞こえる音をスピーカ２８から出力し）、連写間隔ＩＮＴ_ＴＧＴが比較的長いときには該電子音の出力間隔を比較的長くする（例えば、１．５秒かけて「ピーピーピー」と聞こえる音をスピーカ２８から出力する）。連写間隔ＩＮＴ_ＴＧＴに応じたアイコン等を表示部２７に表示するようにしてもよい。ステップＳ１７の報知により、ユーザは、これから行われる連写撮影の連写速度を認識することができると共に対象画像列の撮影時間を概略的に推定することができる。この結果、対象画像列の撮影中に、対象画像列の撮影が終わったと勘違いして、ユーザが撮影方向を変えてしまう或いは撮像装置１の電源を切ってしまう、といったことが防止される。

ステップＳ１７における報知の後、ステップＳ１８において、シャッタボタン２６ｂが全押しの状態となっているか否かが確認される。シャッタボタン２６ｂが全押しの状態となっていない場合にはステップＳ１２に戻るが、シャッタボタン２６ｂが全押しの状態となっている場合には、ステップＳ１９にてｐ枚の対象画像の連写が行われる。尚、ステップＳ１７における報知の実行中に、シャッタボタン２６ｂが全押しの状態となっていることが確認された場合においても、直ちにステップＳ１９へと移行してｐ枚の対象画像の連写が行われる。

ステップＳ１９にて連写されるｐ枚の対象画像の連写間隔ＩＮＴ_ＴＧＴとして、ステップＳ１４にて設定されたそれを用いることができる。但し、シャッタボタン２６ｂの全押しが確認された時点で得られている最新のプレビュー画像を含む複数のプレビュー画像（例えば、プレビュー画像Ｉ_ｎ−２及びＩ_ｎ−１）についての追尾結果情報を用いて、移動速度ＳＰ及び被写体サイズＳＩＺＥを再算出すると共に連写間隔ＩＮＴ_ＴＧＴを再設定し、再設定した連写間隔ＩＮＴ_ＴＧＴに従ってステップＳ１９における連写を実行するようにしても良い。

ステップＳ１９に続くステップＳ２０では、ステップＳ１９にて得られたｐ枚の対象画像からストロボ画像が生成される。

連写可否判断部５５により連写が不可能と判断された場合には（ステップＳ１６のＮ）、ステップＳ２１に移行して警告表示が行われる。具体的には例えば、ステップＳ２１において、図１２（ａ）に示す如く、“最適な被写体間隔（目標被写体間隔α）では対象画像列を連写できない”という内容に対応する文章を表示部２７に表示する（該文章は、最新のプレビュー画像上に重畳表示される）。或いは例えば、ステップＳ２１において、図１２（ｂ）に示す如く、追尾対象の移動方向側の表示領域（図１２（ｂ）の斜線領域に対応）を点滅させるなどして、最適な被写体間隔では対象画像列を連写できない旨をユーザに伝えるようにしてもよい（該点滅は、表示部２７に表示されている最新のプレビュー画像上で行われる）。更に或いは例えば、ステップＳ２１において、図１２（ｃ）に示す如く、表示部２７に表示されている最新のプレビュー画像上に推奨の追尾対象位置を重畳表示するようにしても良い。図１２（ｃ）において、枠３９１が推奨の追尾対象位置を表している。枠３９１内に追尾対象が収まるように撮影方向を調整した状態でシャッタ操作を行なったならば最適な被写体間隔で対象画像列を連写できるであろう位置に、枠３９１は表示される。枠３９１の表示位置を、移動距離ＤＩＳ_ＥＳＴと被写体サイズＳＩＺＥを用いて求めることができる。

ステップＳ２１に続くステップＳ２２では、シャッタボタン２６ｂの状態が半押しの状態に維持されているか否かが確認され、シャッタボタン２６ｂの半押しが解除されている場合にはステップＳ１２に戻る一方、シャッタボタン２６ｂの半押しが解除されていない場合にはステップＳ１７に移行する。ステップＳ２２からステップＳ１７に移行し、その後、シャッタボタン２６ｂが全押しの状態となったならばｐ枚の対象画像が連写される。但し、この場合においては、後の方で撮影される対象画像（例えば、対象画像Ｉ_{ｎ＋ｐ−１}）に追尾対象が含まれない場合もあるため、ステップＳ２０にて生成されるストロボ画像上における追尾対象の数がｐ個未満になる可能性が高い。

本実施形態によれば、追尾対象の移動速度に応じて追尾対象が望ましい位置間隔で配置されるように連写間隔が最適化される。即ち、異なる時刻の追尾対象の位置間隔を所望のものに調整することが可能となり、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる（図２０参照）。また、後の方で撮影される対象画像（例えば、対象画像Ｉ_{ｎ＋ｐ−１}）に追尾対象が含まれなくなる（図２１参照）、或いは、追尾対象の位置変化の乏しい対象画像列が撮影される（図２０参照）、といった事態の発生も防止される。

尚、本実施形態では、ｐ枚の対象画像からストロボ画像を生成しているが、ストロボ画像の生成は必須ではない。ｐ枚の対象画像は追尾対象に注目した所謂コマ送り画像として機能し、ｐ枚の対象画像に注目した場合においても、異なる時刻の追尾対象の位置間隔が所望のものに調整される等の作用及び効果は実現されている。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態に係る撮像装置も、第１実施形態と同様、図１の撮像装置１である。第２実施形態では、撮像装置１の再生モードにおける特異な動作を主として説明する。この特異な動作を実現する再生モードの一種を、特殊再生モードという。

図１３は、撮像装置１に内包される、特殊再生モードの動作に特に関与する部位のブロック図である。図１３に示される各部位は、図１のＣＰＵ２３又は映像信号処理部１３によって実現される。例えば、追尾処理部（物体検出部）６１及びストロボ画像生成部（画像合成部）６３を映像信号処理部１３に実装しておくことができ、画像選択部６２の機能をＣＰＵ２３に担わせることができる。

図１３の追尾処理部６１は、第１実施形態における追尾処理部５１と同じ機能を有する。但し、第１実施形態の追尾処理部５１がプレビュー画像又は対象画像上における追尾対象領域の位置及び大きさを検出していたのに対して、追尾処理部６１は、追尾処理によって、フレーム画像列を形成する各フレーム画像上における追尾対象領域の位置及び大きさを検出する。ここにおけるフレーム画像列とは、特殊再生モードの動作の実行に先立って、撮影モードにて撮影された画像列である。より具体的には、所定のフレームレートにて撮像部１１が順次撮影を行うことで得た画像列をフレーム画像列として外部メモリ１８に保存しておき、特殊再生モードにおいて、外部メモリ１８から該フレーム画像列の画像データを読み出す。読み出された画像データを追尾処理部６１に与えることで、フレーム画像列に対して追尾処理を実行することができる。尚、フレーム画像列を撮影する時のフレームレートは、通常、一定とされるが、そのフレームレートが一定である必要は必ずしも無い。

追尾処理部６１は、追尾対象の設定後、第１実施形態にて述べた方法に従って各フレーム画像に対して追尾処理を実行することにより、各フレーム画像上における追尾対象領域の位置及び大きさを表す情報を含む追尾結果情報を生成する。追尾結果情報の生成方法は、第１実施形態で述べたものと同様である。追尾処理部６１にて生成された追尾結果情報は、画像選択部６２及びストロボ画像生成部６３に送られる。

画像選択部６２は、追尾処理部６１からの追尾結果情報に基づいて、フレーム画像列の中から複数のフレーム画像を複数の選択画像として選択及び抽出し、各選択画像の画像データをストロボ画像生成部６３に送る。選択画像の枚数は、フレーム画像列を形成するフレーム画像の枚数よりも少ない。

ストロボ画像生成部６３は、各選択画像に対する追尾結果情報と各選択画像の画像データに基づき、各選択画像の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ１８に記録することができる。ストロボ画像の元になる画像の名称がストロボ画像生成部６３及び５４間で異なる点を除き、ストロボ画像生成部６３によるストロボ画像の生成方法は、第１実施形態に係るストロボ画像生成部５４のそれと同様である。

今、外部メモリ１８から読み出されたフレーム画像列が、図１４に示す１０枚のフレーム画像ＦＩ_１〜ＦＩ_１０から形成されている場合を想定して、選択画像の抽出方法等を詳細に説明する。フレーム画像ＦＩ_ｉ＋１は、フレーム画像ＦＩ_ｉの次に撮影された画像であり（ｉは整数）、フレーム画像ＦＩ_１〜ＦＩ_１０の画像データが時系列順に追尾処理部６１に与えられる。尚、図１４では、後述の具体例にて選択画像として抽出されることとなるフレーム画像（ＦＩ_１、ＦＩ_４及びＦＩ_９）の外枠を太線で示している

特殊再生モードでは、まず１番目のフレーム画像ＦＩ_１が表示部２７に表示され、この表示がなされている状態で、ユーザによる追尾対象を設定する操作を受け付ける。例えば、図１５に示す如く、表示部２７の表示画面２７ａ上にフレーム画像ＦＩ_１を表示すると共に矢印型アイコン５１０を表示する。ユーザは、矢印型アイコン５１０の表示位置を操作部２６に対する所定操作によって変更することができる。そして、操作部２６を用いて表示画面２７ａ上における矢印型アイコン５１０の表示位置を注目物体（注目被写体）の表示位置に重ね合わせた状態で所定の決定操作を行うことで、ユーザは該注目物体を追尾対象に設定することができる。図１５に示す例の如く、矢印型アイコン５１０の表示位置を人物の表示位置に重ね合わせた状態で決定操作が成された場合、追尾処理部６１は、公知の輪郭抽出処理や顔検出処理を利用して、矢印型アイコン５１０の表示位置に表示されている物体の輪郭を抽出し、抽出結果から該物体を追尾対象として設定すると共に該物体の画像データの存在する画像領域をフレーム画像ＦＩ_１上の追尾対象領域として設定することができる。尚、表示部２７に所謂タッチパネル機能が設けられている場合には、表示画面２７ａ上の注目物体を指にて触れる操作により追尾対象を設定することもできる。

追尾処理部６１は、フレーム画像ＦＩ_１〜ＦＩ_１０の画像データに基づいて各フレーム画像上における追尾対象領域の位置及び大きさを導出する。フレーム画像ＦＩ_ｉ及びＦＩ_ｊ上の追尾対象領域の中心位置を、夫々、（ｘ_ｉ，ｙ_ｉ）及び（ｘ_ｊ，ｙ_ｊ）にて表す（ｉ及びｊは整数であって、ｉ≠ｊ）。また、図１６に示す如く、中心位置（ｘ_ｉ，ｙ_ｉ）と中心位置（ｘ_ｊ，ｙ_ｊ）との間の、画像空間上における距離をｄ［ｉ，ｊ］にて表し、それを追尾対象間距離とも言う。図１６において、破線５３０及び５３１で囲まれた領域は、夫々、フレーム画像ＦＩ_ｉ及びＦＩ_ｊ上における追尾対象領域を表している。中心位置（ｘ_ｉ，ｙ_ｉ）及び（ｘ_ｊ，ｙ_ｊ）間を結ぶ直線５３２と追尾対象領域５３０の外形とが交わる２つの交点間の距離が特定方向サイズＬ_ｉとして求められ、直線５３２と追尾対象領域５３１の外形とが交わる２つの交点間の距離が特定方向サイズＬ_ｊとして求められる。距離ｄ［ｉ，ｊ］並びに特定方向サイズＬ_ｉ及びＬ_ｊは、フレーム画像ＦＩ_ｉ及びＦＩ_ｊの追尾結果情報に基づき、画像選択部６２によって求められる。

画像選択部６２は、まず、１番目のフレーム画像ＦＩ_１を１番目の選択画像として抽出する。１番目の選択画像であるフレーム画像ＦＩ_１よりも後に撮影されたフレーム画像は、２番目の選択画像の候補となる。画像選択部６２は、２番目の選択画像を抽出するために、変数ｊに２〜１０までの整数を順次代入しつつ追尾対象間距離ｄ［１，ｊ］と目標被写体間隔βとを比較する。そして、不等式「ｄ［１，ｊ］＞β」を成立させる１以上のフレーム画像の中から、１番目の選択画像よりも後に撮影され且つ１番目の選択画像に対して最も時間的に近くに撮影されたフレーム画像ＦＩ_ｊを２番目の選択画像として選ぶ。今、ｊが２又は３である時には常に不等式「ｄ［１，ｊ］＞β」が成立しない一方、ｊが４以上１０以下の整数である時には常に不等式「ｄ［１，ｊ］＞β」が成立していたものとする。そうすると、フレーム画像ＦＩ_４が２番目の選択画像として抽出される。

目標被写体間隔βとは、時間的に隣接する２枚の選択画像上における追尾対象領域の中心位置間距離の目標値を指す。つまり例えば、ｉ番目及び（ｉ＋１）番目の選択画像上における追尾対象領域の中心位置間の距離の目標値が、目標被写体間隔βである。画像選択部６２は、被写体サイズＳＩＺＥ’に応じて、基準距離ともいうべき目標被写体間隔βを決定することができる。不等式「ｄ［ｉ，ｊ］＞β」の成否を判断する場合における被写体サイズＳＩＺＥ’として、特定方向サイズＬ_ｉ及びＬ_ｊの平均値を用いることができる。但し、３つ以上の特定方向サイズに基づいて被写体サイズＳＩＺＥ’を決定しても良い。即ち例えば、特定方向サイズＬ_１〜Ｌ_１０の平均値を被写体サイズＳＩＺＥ’に代入しても良い。
画像選択部６２は、例えば、「β＝ＳＩＺＥ’」となるように、又は、「β＝ｋ_０×ＳＩＺＥ’」となるように、又は、「β＝ＳＩＺＥ’＋ｋ_１」となるように、被写体サイズＳＩＺＥ’から目標被写体間隔βを決定する。ｋ_０及びｋ_１は、予め定められた係数である。但し、目標被写体間隔βをユーザの指示に従って定めることも可能である。また、係数ｋ_０及びｋ_１の値をユーザが定めても良い。

このように、追尾処理部６１による追尾対象の位置の検出結果に基づく、１番目及び２番目の選択画像上における追尾対象間距離（ｄ［１，４］）が、追尾処理部６１による追尾対象の大きさの検出結果に基づく、基準距離とも言うべき目標被写体間隔β（例えば、Ｌ_１及びＬ_４の平均値）よりも大きくなるように、選択画像の抽出処理が成される。３番目以降の選択画像も同様にして抽出される。

即ち、２番目の選択画像であるフレーム画像ＦＩ_４よりも後に撮影されたフレーム画像は、３番目の選択画像の候補となる。画像選択部６２は、３番目の選択画像を抽出するために、変数ｊに５〜１０までの整数を順次代入しつつ追尾対象間距離ｄ［４，ｊ］と目標被写体間隔βとを比較する。そして、不等式「ｄ［４，ｊ］＞β」を成立させる１以上のフレーム画像の中から、２番目の選択画像よりも後に撮影され且つ２番目の選択画像に対して最も時間的に近くに撮影されたフレーム画像ＦＩ_ｊを３番目の選択画像として選ぶ。今、ｊが５以上８以下である時には常に不等式「ｄ［４，ｊ］＞β」が成立しない一方、ｊが９又は１０である時には常に不等式「ｄ［４，ｊ］＞β」が成立していたものとする。そうすると、フレーム画像ＦＩ_９が３番目の選択画像として抽出される。

３番目の選択画像であるフレーム画像ＦＩ_９よりも後に撮影されたフレーム画像は、４番目の選択画像の候補となる。本例では、フレーム画像ＦＩ_１０のみが４番目の選択画像を候補となる。画像選択部６２は、４番目の選択画像を抽出するために、変数ｊに１０を代入しつつ追尾対象間距離ｄ［９，ｊ］と目標被写体間隔βとを比較する。そして、不等式「ｄ［９，ｊ］＞β」が成立する場合にはフレーム画像ＦＩ_１０を４番目の選択画像として抽出する。一方、不等式「ｄ［９，ｊ］＞β」が成立しない場合には、フレーム画像ＦＩ_１０を４番目の選択画像として抽出することなく、選択画像の抽出処理を完了する。今、変数ｊが１０である時において、不等式「ｄ［９，ｊ］＞β」が成立しなかった場合を想定する。そうすると、最終的に、フレーム画像ＦＩ_１、ＦＩ_４及びＦＩ_９から成る３枚の選択画像が抽出されることとなる。図１７に、この３枚の選択画像から生成されたストロボ画像を示す。

＜＜動作フロー＞＞
次に、図１８を参照して、特殊再生モードにおける撮像装置１の動作の流れを説明する。図１８は、この動作の流れを表すフローチャートである。まず、ステップＳ６１及びＳ６２において、１番目のフレーム画像ＦＩ_１を外部メモリ１８から読み出して表示部２７に表示し、その状態において、ユーザによる追尾対象の設定操作を受け付ける。上述したように、１番目のフレーム画像ＦＩ_１を１番目の選択画像として抽出することができる。追尾対象の設定が成されると、ステップＳ６３にて変数ｎに２を代入した後、ステップＳ６４においてフレーム画像ＦＩ_ｎに追尾処理を実行することで、フレーム画像ＦＩ_ｎ上における追尾対象領域の位置及び大きさを検出する。

続くステップＳ６５において、追尾処理部６１からの追尾結果情報に基づき、上述したような追尾対象間距離（ｄ［ｉ，ｊ］に対応）と目標被写体間隔βとの比較を行う。そして、前者が後者（β）よりも大きい場合には、ステップＳ６６にてフレーム画像ＦＩ_ｎを選択画像として抽出する一方、そうでない場合にはステップＳ６８に直接移行する。ステップＳ６６に続くステップ６７では、選択画像の抽出数が予め定められた必要数と一致しているか否かが判断され、それらが一致している場合には、その時点で選択画像の抽出を終了する一方、それらが一致していない場合にはステップＳ６７からステップＳ６８に移行する。ユーザは、上記必要数を指定することができる。

ステップＳ６８では変数ｎとフレーム画像列を形成するフレーム画像の総枚数（図１４に示す例において、１０）が比較される。そして、現時点の変数ｎが該総枚数と一致している場合には選択画像の抽出を終了する一方で、そうでない場合には変数ｎに１を加算してから（ステップＳ６９）ステップＳ６４に戻って上述の各処理を繰り返す。

本実施形態によれば、追尾対象が望ましい位置間隔で配置された選択画像列の抽出及びストロボ画像の生成が実現される。即ち、異なる時刻の追尾対象の位置間隔を所望のものに調整することが可能となり、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる（図２０参照）。また、追尾対象の位置変化の乏しい選択画像列が抽出される、といった事態の発生も防止される。

更に本実施形態では、上記特許文献１と異なり、追尾処理を用いて選択画像の抽出が成されるため、追尾対象の存在していない所謂背景画像は必須とならず、背景画像が存在していなくても、所望の選択画像列の抽出及びストロボ画像の生成を行うことが可能となる。また、ユーザの希望に応じて、目標被写体間隔βを被写体サイズＳＩＺＥ’よりも小さくすることも可能であり、その場合は、異なる時刻の追尾対象の像を少しずつ重ねたようなストロボ画像を生成することもできる（特許文献１の方法では、そのようなストロボ画像の生成は不可能である）

尚、本実施形態では、複数の選択画像からストロボ画像を生成しているが、ストロボ画像の生成は必須ではない。複数の選択画像は追尾対象に注目した所謂コマ送り画像として機能し、複数の選択画像に注目した場合においても、異なる時刻の追尾対象の位置間隔が所望のものに調整される等の作用及び効果は実現されている。

＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。注目すべき特定被写体が望ましい位置間隔で配置された複数の撮影画像（図３に示す例では、画像３１１〜３１４）は、動画像中のフレーム画像列であっても良い。動画像を形成するフレーム画像列からストロボ画像を生成する方法を第３実施形態において説明する。第３実施形態は、第１実施形態を基礎とする実施形態であり、第３実施形態において特に述べない事項に関しては、矛盾なき限り第１実施形態の記載を本実施形態にも適用することができる。第３実施形態における以下の説明は、特に記述なき限り、撮影モードにおいて有効に機能する撮像装置１の構成及び撮影モードにおける撮像装置１の動作の説明である。

撮像部１１の撮影によって得られる動画像が、画像Ｉ_１、Ｉ_２、Ｉ_３、・・・Ｉ_ｎ、Ｉ_ｎ＋１、Ｉ_ｎ＋２・・・を含んで形成されるものとする（ｎは整数）。第１実施形態では、画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}が対象画像であって且つ画像Ｉ_ｎ−１及びそれ以前に撮影された画像がプレビュー画像であると捉えたが（図４参照）、本実施形態において、それらは全て動画像６００を形成するフレーム画像であると捉える。フレーム画像Ｉ_ｉ＋１はフレーム画像Ｉ_ｉの次に撮影されるフレーム画像である（ｉは整数）。

図２４に、動画像６００を形成するフレーム画像列の一部を示す。動画像６００は、録画ボタン２６ａ（図１参照）の押下操作に従って撮影されるものであっても良く、外部メモリ１８に記録されるべき動画像であっても良い。ユーザは、動画像６００の撮影中に、ストロボ用特定操作を成すことができる。ストロボ用特定操作は、例えば、図１の操作部２６に対する所定操作又は所定のタッチパネル操作である。ストロボ用特定操作が成されると、動画像６００を形成する一部のフレーム画像列が対象フレーム画像列として設定され、対象フレーム画像列から、第１実施形態で述べたようなストロボ画像が生成される。ここでは、ストロボ用特定操作がフレーム画像Ｉ_ｎの撮影直前において成され、その結果、フレーム画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}が、対象フレーム画像列を形成する複数の対象フレーム画像に設定された場合を想定する。ｐは、対象フレーム画像の枚数を表している。第１実施形態で述べたようにｐは２以上の整数である。ｐは、予め設定した固定値であっても良いし、ユーザが自由に定められる値であっても良い。尚、対象フレーム画像よりも前に撮影されたフレーム画像（即ち例えば、フレーム画像Ｉ_ｎ−１等）を、特に、非対象フレーム画像とも呼ぶ。

図２５は、撮像装置１に内包される部位のブロック図である。図２５に示される各部位は、図１のＣＰＵ２３又は映像信号処理部１３によって実現される。例えば、追尾処理部（物体検出部）１５１及びストロボ画像生成部（画像合成部）１５４を映像信号処理部１３に実装しておくことができ、ＣＰＵ２３内に追尾対象特性算出部（物体特性導出部）１５２及び撮影制御部１５３を設けておくことができる。

図２５の追尾処理部１５１、追尾対象特性算出部１５２、撮影制御部１５３及びストロボ画像生成部１５４は、夫々、第１実施形態における追尾処理部５１、追尾対象特性算出部５２、連写制御部５３及びストロボ画像生成部５４の機能を実現でき（図５参照）、それらの機能に関して第１実施形態で述べた事項を本実施形態に適用する際、第１実施形態における入力動画像、プレビュー画像、対象画像及び連写間隔を、夫々、本実施形態においては動画像６００、非対象フレーム画像、対象フレーム画像及び撮影間隔に読み替えればよい。

即ち、追尾処理部１５１は、動画像６００の画像データに基づいて動画像６００上における追尾対象を動画像６００上で追尾する追尾処理を実行し、各フレーム画像における追尾対象の位置及び大きさを表す情報を含む追尾結果情報を出力する。

追尾対象特性算出部１５２は、非対象フレーム画像列に対して行った追尾処理の追尾結果情報に基づいて、画像空間上における追尾対象の移動速度ＳＰを算出すると共に追尾対象の大きさに応じた被写体サイズ（物体サイズ）ＳＩＺＥを算出する。移動速度ＳＰは、対象フレーム画像列上における追尾対象の移動速度の推定値として機能し、被写体サイズＳＩＺＥは、各対象フレーム画像上における追尾対象の大きさの推定値として機能する。２枚以上の非対象フレーム画像における追尾対象領域の位置及び大きさに基づいて、移動速度ＳＰ及び被写体サイズＳＩＺＥを算出することができる。この算出方法は、第１実施形態で述べた方法、即ち、２枚以上のプレビュー画像における追尾対象領域の位置及び大きさに基づき移動速度ＳＰ及び被写体サイズＳＩＺＥを算出する方法と同様である。例えば、２枚の非対象フレーム画像をＩ_Ａ及びＩ_Ｂで表した場合、非対象フレーム画像Ｉ_Ａ及びＩ_Ｂにおける追尾対象領域の位置及び大きさから移動速度ＳＰ及び被写体サイズＳＩＺＥを算出することができ（図７参照）、非対象フレーム画像Ｉ_Ａ及びＩ_Ｂは、例えば夫々非対象フレーム画像Ｉ_ｎ−２及びＩ_ｎ−１である。

撮影制御部１５３は、追尾対象特性算出部１５２にて算出された移動速度ＳＰに基づき、第１実施形態にて述べた式（２）に従って、ＩＮＴ_ＴＧＴの値を決定する。この際、第１実施形態で述べたように、式（２）における目標被写体間隔αを、追尾対象特性算出部１５２にて算出された被写体サイズＳＩＺＥに基づき、或いは、ユーザの指示に基づき決定することができる。第１実施形態ではＩＮＴ_ＴＧＴによって表される物理量を連写間隔と呼んでいたが、本実施形態においては、ＩＮＴ_ＴＧＴによって表される物理量を撮影間隔と呼ぶ。撮影間隔ＩＮＴ_ＴＧＴは、時間的に隣接する２枚の対象フレーム画像（例えば、Ｉ_ｎ及びＩ_ｎ＋１）の撮影時刻間の間隔を指す。対象フレーム画像Ｉ_ｎの撮影時刻とは、厳密には例えば、対象フレーム画像Ｉ_ｎの露光期間の開始時刻又は中間時刻を指す（他の任意のフレーム画像についても同様）。

撮影制御部１５３は、撮影間隔ＩＮＴ_ＴＧＴの設定後、撮影間隔ＩＮＴ_ＴＧＴにてｐ枚の対象フレーム画像が連続的に撮影されるように、即ち、フレームレート（１／ＩＮＴ_ＴＧＴ）にてｐ枚の対象フレーム画像が撮影されるように、ＴＧ２２（図１参照）と協働して撮像部１１を制御し、これによって略一定の位置間隔で追尾対象が配置されたｐ枚の対象フレーム画像を取得する。図２５に示す如く、撮影制御部１５３に撮影可否判断部１５５及び報知制御部１５６を設けておき、撮影可否判断部１５５及び報知制御部１５６に、図５の連写可否判断部５５及び報知制御部５６と同様の機能を持たせるようにしても良い。

ストロボ画像生成部１５４は、対象フレーム画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}に対する追尾結果情報と対象フレーム画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}の画像データに基づき、対象フレーム画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ１８に記録することができる。画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}に基づくストロボ画像の生成方法は、第１実施形態で述べた通りである。尚、上述してきたストロボ画像は静止画像である。静止画像としてのストロボ画像と、以下に示す動画像形式のストロボ画像とを区別すべく、静止画像としてのストロボ画像を、必要に応じて以下ではストロボ静止画像とも呼ぶ。

ストロボ画像生成部１５４は、ストロボ動画像を生成することもできる。ｐが３であって且つ対象フレーム画像Ｉ_ｎ〜Ｉ_ｎ＋２が、夫々、図２６に示す画像６１１〜６１３である場合を想定して、それらに基づくストロボ動画像６３０を説明する。ストロボ動画像６３０は、３枚のフレーム画像６３１〜６３３から成る動画像である。フレーム画像６３１は、画像６１１と同じものである。フレーム画像６３２は、画像６１１及び６１２に対する追尾結果情報と画像６１１及び６１２の画像データに基づき、画像６１１及び６１２の追尾対象領域内の画像を合成することで得たストロボ静止画像である。フレーム画像６３３は、画像６１１〜６１３に対する追尾結果情報と画像６１１〜６１３の画像データに基づき、画像６１１〜６１３の追尾対象領域内の画像を合成することで得たストロボ静止画像である。このようにして得たフレーム画像６３１〜６３３を、この順番で時系列上に並べることにより、ストロボ動画像６３０が形成される。生成されたストロボ動画像６３０を外部メモリ１８に記録することができる。

図２７を参照して、第３実施形態に係る撮像装置１の動作の流れを説明する。図２７は、この動作の流れを表すフローチャートである。まず、ステップＳ１１１において、追尾対象の設定が成されるのを待機する。追尾対象が設定されると、ステップＳ１１１からステップＳ１１２に移行し、追尾対象に対する追尾処理が実行開始される。追尾対象の設定後においては、ステップＳ１１２以外においても追尾処理が継続的に実行される。説明の便宜上、追尾対象の設定後、フレーム画像の夫々に追尾対象領域の全体（即ち、追尾対象の全体像）が含まれているものとする。尚、外部メモリ１８への動画像６００の記録は、追尾対象の設定前から開始されていても良いし、追尾対象の設定後に開始されても良い。

追尾処理の実行開始後、ステップＳ１１３においてストロボ用特定操作が成されたか否かが確認され、ストロボ用特定操作が成されたことが確認されると、その時点で得られている最新の追尾結果情報（２枚以上の非対象フレーム画像の追尾結果情報）に基づき、移動速度ＳＰ及び被写体サイズＳＩＺＥが算出され、更に移動速度ＳＰ及び被写体サイズＳＩＺＥを用いて撮影間隔ＩＮＴ_ＴＧＴが設定されて対象フレーム画像列が撮影される（ステップＳ１１４及びＳ１１５）。即ち、対象フレーム画像列用のフレームレート（１／ＩＮＴ_ＴＧＴ）が設定され、その設定内容に従って実際に撮像部１１のフレームレートが基準レートから（１／ＩＮＴ_ＴＧＴ）へと変更されてから、対象フレーム画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}が撮影される。基準レートは、非対象フレーム画像に対するフレームレートである。

対象フレーム画像Ｉ_ｎ〜Ｉ_{ｎ＋ｐ−１}の撮影が完了すると、フレームレートは基準レートへと戻される（ステップＳ１１６）。その後、任意のタイミングにおいて、対象フレーム画像列から、ストロボ静止画像（例えば、図２６のストロボ静止画像６３３）又はストロボ動画像（例えば、図２６のストロボ動画像６３０）が生成される。

ストロボ用特定操作が成されたとき、対象フレーム画像列の撮影前に（或いは撮影中に）、撮影可否判断部１５５による対象フレーム画像の撮影可否判断及び／又は報知制御部１５６による撮影間隔報知を実行するようにしても良い。即ち例えば、ストロボ用特定操作が成されたとき、図２８のステップＳ１２１〜Ｓ１２３の処理を実行するようにしても良い。ステップＳ１２１において、撮影可否判断部１５５は、ｐ枚の対象フレーム画像の撮影可否を判断する。この判断方法は、図５の連写可否判断部５５による、ｐ枚の対象画像の連写可否の判断方法と同様である。連写可否判断部５５によってｐ枚の対象画像の連写が可能と判断される状況下においては、撮影可否判断部１５５によってｐ枚の対象フレーム画像の撮影は可能と判断され、連写可否判断部５５によってｐ枚の対象画像の連写が不可能と判断される状況下においては、撮影可否判断部１５５によってｐ枚の対象フレーム画像の撮影は不可能と判断される。撮影可否判断部１５５によってｐ枚の対象フレーム画像の撮影が不可能であると判断された場合、ステップＳ１２２において、報知制御部１５６は、音声や映像により、その旨をユーザに知らせる。また、ステップＳ１２３において、報知制御部１５６は、撮影間隔ＩＮＴ_ＴＧＴに応じた情報を撮像装置１の外部に報知する。報知の方法は、第１実施形態で述べたものと同様である。

本実施形態によれば、追尾対象の移動速度に応じて追尾対象が望ましい位置間隔で配置されるようにフレームレートが最適化される。即ち、異なる時刻の追尾対象の位置間隔が最適化され、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる（図２０参照）。また、後の方で撮影される対象フレーム画像（例えば、対象フレーム画像Ｉ_{ｎ＋ｐ−１}）に追尾対象が含まれなくなる（図２１参照）、或いは、追尾対象の位置変化の乏しい対象フレーム画像列が撮影される（図２０参照）、といった事態の発生も防止される。

第１及び第３実施形態間には共通点が多い。第１実施形態においては、連写によってｐ枚の対象画像から成る対象画像列が得られるのに対し、第３実施形態においては、動画像６００の撮影に伴ってｐ枚の対象フレーム画像から成る対象フレーム画像列が得られる。第１実施形態における連写制御部５３又は第３実施形態における撮影制御部１５３（図５又は２５参照）は、ｐ枚の対象画像又はｐ枚の対象フレーム画像を撮像部１１に取得させる撮影制御部として機能する。第１実施形態における連写間隔ＩＮＴ_ＴＧＴは、時間的に隣接する２枚の対象画像（例えば、Ｉ_ｎ及びＩ_ｎ＋１）の撮影時刻間の間隔であるから、第１実施形態における連写間隔を、第３実施形態と同様、撮影間隔と呼ぶこともできる。また、第１実施形態におけるプレビュー画像を非対象画像と呼ぶこともできる。また、対象画像列の連写可否と対象画像列の撮影可否は同義であるから、図５の連写可否判断部５５を、対象画像列の撮影可否を判断する撮影可否判断部と呼ぶこともできる。

尚、ストロボ画像の生成は必須ではない（後述の他の実施形態においても同様）。複数の対象フレーム画像（又は、後述の複数の選択画像）は追尾対象に注目した所謂コマ送り画像として機能し、複数の対象フレーム画像（又は、後述の複数の選択画像）に注目した場合においても、異なる時刻の追尾対象の位置間隔が所望のものに調整される等の作用及び効果は実現されている。

また、追尾対象特性算出部１５２にて算出された移動速度ＳＰに基づき、各対象フレーム画像の露光期間の時間長さ（以下、露光時間と呼ぶ）を設定するようにしても良い。具体的には例えば、その移動速度ＳＰが大きくなるに従って各対象フレーム画像の露光時間が短くなるように、各対象フレーム画像の露光時間を設定すると良い。これにより、各対象フレーム画像上における追尾対象の像ぶれを抑制することが可能となる。この露光時間の設定処理は、上述の第１実施形態にも適用可能である。即ち、上述の第１実施形態において、追尾対象特性算出部５２にて算出された移動速度ＳＰに基づき、移動速度ＳＰが大きくなるに従って各対象画像の露光時間が短くなるように、各対象画像の露光時間を設定すると良い。

＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。動画像を形成するフレーム画像列からストロボ画像を生成する他の方法を第４実施形態において説明する。第４実施形態は、第１及び第３実施形態を基礎とする実施形態であり、第４実施形態において特に述べない事項に関しては、矛盾なき限り第１又は第３実施形態の記載を本実施形態にも適用することができる。第４実施形態における以下の説明は、特に記述なき限り、撮影モードにおいて有効に機能する撮像装置１の構成及び撮影モードにおける撮像装置１の動作の説明である。

第４実施形態においても、第３実施形態と同様、フレーム画像Ｉ_１、Ｉ_２、Ｉ_３、・・・Ｉ_ｎ、Ｉ_ｎ＋１、Ｉ_ｎ＋２・・・を含んで形成される動画像６００が撮影によって得られることを想定する。

図２９に、動画像６００を形成するフレーム画像列の一部を示す。ユーザは、動画像６００の撮影中に、ストロボ用特定操作を成すことができる。第３実施形態と異なり、第４実施形態では、ストロボ用特定操作が成されると、動画像６００を形成する一部のフレーム画像が対象フレーム画像候補に設定される。その後、複数の対象フレーム画像候補から複数の対象フレーム画像が選択され、複数の対象フレーム画像に基づき、第１若しくは第３実施形態で述べたようなストロボ静止画像又は第３実施形態で述べたようなストロボ動画像が生成される。ここでは、ストロボ用特定操作がフレーム画像Ｉ_ｎの撮影直前において成され、その結果、フレーム画像Ｉ_ｎ及びそれ以降に得られるフレーム画像の夫々が対象フレーム画像候補に設定された場合を想定する。尚、対象フレーム画像候補よりも前に撮影されたフレーム画像（即ち例えば、フレーム画像Ｉ_ｎ−１等）を、特に、非対象フレーム画像とも呼ぶ。

図３０は、撮像装置１に内包される部位のブロック図である。図３０に示される撮影制御部１５３ａを図１のＣＰＵ２３によって実現することができる。撮影制御部１５３ａは、図２５の撮影制御部１５３に対象画像選択部１５７を付与したものである。但し、撮影制御部１５３ａは、撮影制御部１５３が実行するようなフレームレート制御を実行しない。

図３０の追尾処理部１５１、追尾対象特性算出部１５２、撮影制御部１５３ａ及びストロボ画像生成部１５４は、夫々、第１実施形態における追尾処理部５１、追尾対象特性算出部５２、連写制御部５３及びストロボ画像生成部５４の機能を実現でき（図５参照）、それらの機能に関して第１実施形態で述べた事項を本実施形態に適用する際、第１実施形態における入力動画像、プレビュー画像、対象画像及び連写間隔を、夫々、本実施形態においては動画像６００、非対象フレーム画像、対象フレーム画像及び撮影間隔に読み替えればよい。追尾処理部１５１、追尾対象特性算出部１５２及びストロボ画像生成部１５４の動作は、第３及び第４実施形態間で同じである。

対象画像選択部１５７は、追尾対象特性算出部１５２にて算出された移動速度ＳＰに基づき、第１実施形態にて述べた式（２）に従って、ＩＮＴ_ＴＧＴの値を決定する。この際、第１実施形態で述べたように、式（２）における目標被写体間隔αを、追尾対象特性算出部１５２にて算出された被写体サイズＳＩＺＥに基づき、或いは、ユーザの指示に基づき決定することができる。第１実施形態ではＩＮＴ_ＴＧＴによって表される物理量を連写間隔と呼んでいたが、本実施形態においては、ＩＮＴ_ＴＧＴによって表される物理量を基準間隔と呼ぶ。基準間隔ＩＮＴ_ＴＧＴは、時間的に隣接する２枚の対象フレーム画像（例えば、Ｉ_ｎ及びＩ_ｎ＋３）の撮影時刻の理想的な間隔を指す。

第３実施形態とは異なり、第４実施形態では、動画像６００の撮影におけるフレームレートが一定のレートにて固定される。対象画像選択部１５７は、基準間隔ＩＮＴ_ＴＧＴに基づき、対象フレーム画像候補の中からｐ枚の対象フレーム画像を選択する。この選択後、ストロボ画像生成部１５４は、第３実施形態で述べた方法に従い、任意のタイミングにおいて、ｐ枚の対象フレーム画像及び追尾結果情報に基づき、ストロボ静止画像又はストロボ動画像を生成することができる。

説明の具体化のため、動画像６００の撮影におけるフレームレートが６０ｆｐｓ（frame per second）にて固定され且つｐ＝３である場合を想定して、対象フレーム画像の選択方法を説明する。この場合、時間的に隣接するフレーム画像の撮影間隔は、１／６０秒である。図３１（ａ）に示す如く、フレーム画像Ｉ_ｎの撮影時刻をｔ_Ｏで表し、フレーム画像Ｉ_ｎ＋ｉの撮影時刻を（ｔ_Ｏ＋ｉ×１／６０）で表す。時刻（ｔ_Ｏ＋ｉ×１／６０）は、時刻ｔ_Ｏから（ｉ×１／６０）秒だけ経過した時刻を指す。図３１（ａ）では、対象フレーム画像として選択されることとなるフレーム画像Ｉ_ｎ、Ｉ_ｎ＋３及びＩ_ｎ＋６の外枠を太線で示している（後述の図３１（ｂ）及び（ｃ）も同様）。

まず、対象画像選択部１５７は、基準間隔ＩＮＴ_ＴＧＴに関係なく、１番目の対象フレーム画像候補であるフレーム画像Ｉ_ｎを１番目の対象フレーム画像として選択する。次に、対象画像選択部１５７は、全ての対象フレーム画像候補の内、撮影時刻が時刻（ｔ_Ｏ＋１×ＩＮＴ_ＴＧＴ）に最も近い対象フレーム画像候補を、２番目の対象フレーム画像に設定する。続いて、対象画像選択部１５７は、全ての対象フレーム画像候補の内、撮影時刻が時刻（ｔ_Ｏ＋２×ＩＮＴ_ＴＧＴ）に最も近い対象フレーム画像候補を、３番目の対象フレーム画像に設定する。ｐが４以上である場合にも同様である。一般化すれば、対象画像選択部１５７は、全ての対象フレーム画像候補の内、撮影時刻が時刻（ｔ_Ｏ＋（ｊ−１）×ＩＮＴ_ＴＧＴ）に最も近い対象フレーム画像候補を、ｊ番目の対象フレーム画像に設定することととなる（ここにおけるｊは２以上の整数）。

従って例えば、動画像６００のフレームレートが６０ｆｐｓである場合において、基準間隔ＩＮＴ_ＴＧＴが１／２０秒であるならば画像Ｉ_ｎ＋３及びＩ_ｎ＋６が２及び３番目の対象フレーム画像として選択され（図３１（ａ）参照）、基準間隔ＩＮＴ_ＴＧＴが１／１６．５秒であるならば画像Ｉ_ｎ＋４及びＩ_ｎ＋７が２及び３番目の対象フレーム画像として選択され（図３１（ｂ）参照）、基準間隔ＩＮＴ_ＴＧＴが１／１５秒であるならば画像Ｉ_ｎ＋４及びＩ_ｎ＋8が２及び３番目の対象フレーム画像として選択される（図３１（ｃ）参照）。但し、基準間隔ＩＮＴ_ＴＧＴが１／１６．５秒であるときには、時間的に隣接する対象フレーム画像の撮影間隔を一定にするべく、画像Ｉ_ｎ＋４及びＩ_ｎ＋8を２及び３番目の対象フレーム画像として選択するようにしても良い。

図３２を参照して、第４実施形態に係る撮像装置１の動作の流れを説明する。図３２は、この動作の流れを表すフローチャートである。まず、ステップＳ１３１において、追尾対象の設定が成されるのを待機する。追尾対象が設定されると、ステップＳ１３１からステップＳ１３２に移行し、追尾対象に対する追尾処理が実行開始される。追尾対象の設定後においては、ステップＳ１３２以外においても追尾処理が継続的に実行される。説明の便宜上、追尾対象の設定後、フレーム画像の夫々に追尾対象領域の全体（即ち、追尾対象の全体像）が含まれているものとする。尚、外部メモリ１８への動画像６００の記録は、追尾対象の設定前から開始されていても良いし、追尾対象の設定後に開始されても良い。但し、少なくとも１番目の対象フレーム画像候補の撮影前には、外部メモリ１８への動画像６００の記録が開始されているものとする。

追尾処理の実行開始後、ステップＳ１３３においてストロボ用特定操作が成されたか否かが確認される。ストロボ用特定操作が成されたことが確認されると、ステップＳ１３４において、その時点で得られている最新の追尾結果情報（２枚以上の非対象フレーム画像の追尾結果情報）に基づき移動速度ＳＰ及び被写体サイズＳＩＺＥが算出され、移動速度ＳＰ及び被写体サイズＳＩＺＥを用いて基準間隔ＩＮＴ_ＴＧＴが算出される。対象画像選択部１５７は、上述したように、基準間隔ＩＮＴ_ＴＧＴを用いて対象フレーム画像候補の中からｐ枚の対象フレーム画像を選択する。

動画像６００を形成するフレーム画像の画像データは時系列順に外部メモリ１８へと記録されるが、この際、対象フレーム画像に対しては合成用タグが付与される（ステップＳ１３５）。具体的には例えば、動画像６００の画像データを格納する画像ファイルのヘッダ領域に、対象フレーム画像が何れのフレーム画像であるのかを指し示す合成用タグを格納しておけばよい。当該画像ファイルを外部メモリ１８に保存することで、動画像６００の画像データ及び合成用タグが互いに関連付けられた状態で外部メモリ１８に記録されることとなる。

動画像６００の記録後、任意のタイミングにおいて、ストロボ画像生成部１５４は、外部メモリ１８に記録された合成用タグに基づき外部メモリ１８からｐ枚の対象フレーム画像を読み出すことができ、読み出したｐ枚の対象フレーム画像から、ストロボ静止画像（例えば、図２６のストロボ静止画像６３３）又はストロボ動画像（例えば、図２６のストロボ動画像６３０）を生成することができる。

尚、ストロボ用特定操作が成されたとき、第３実施形態と同様、対象フレーム画像候補の撮影前に（或いは撮影中に）、撮影可否判断部１５５による対象フレーム画像の撮影可否判断及び／又は報知制御部１５６による撮影間隔報知を実行するようにしても良い。

本実施形態によれば、追尾対象が望ましい位置間隔で配置されるように対象フレーム画像が選択される。即ち、対象フレーム画像列上において異なる時刻の追尾対象の位置間隔が最適化され、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる（図２０参照）。また、後の方で撮影される対象フレーム画像に追尾対象が含まれなくなる（図２１参照）、或いは、追尾対象の位置変化の乏しい対象フレーム画像列が取得される（図２０参照）、といった事態の発生も防止される。

尚、第３実施形態でも述べたように、追尾対象特性算出部１５２にて算出された移動速度ＳＰに基づき、各対象フレーム画像候補の露光時間を設定するようにしても良い。具体的には例えば、その移動速度ＳＰが大きくなるに従って各対象フレーム画像候補の露光時間が短くなるように、各対象フレーム画像候補の露光時間を設定すると良い。これにより、各対象フレーム画像候補及び各対象フレーム画像上における追尾対象の像ぶれを抑制することが可能となる。

＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。第５実施形態は、第２実施形態を基礎とする実施形態であり、第５実施形態において特に述べない事項に関しては、矛盾なき限り第２実施形態の記載を本実施形態にも適用することができる。第５実施形態においても、第２実施形態と同様、特殊再生モードにおける撮像装置１の動作を説明する。特殊再生モードにおいては、図１３の追尾処理部６１、画像選択部６２及びストロボ画像生成部６３が有意に動作する。

第２実施形態で述べたように、所定のフレームレートにて撮像部１１が順次撮影を行うことで得た画像列をフレーム画像列として外部メモリ１８に保存しておき、特殊再生モードにおいて、外部メモリ１８から該フレーム画像列の画像データを読み出す。本実施形態におけるフレーム画像とは、特に記述なき限り、特殊再生モードにおいて外部メモリ１８から読み出されたフレーム画像である。

追尾処理部６１は、追尾対象の設定後、各フレーム画像に対して追尾処理を実行することにより、各フレーム画像上における追尾対象領域の位置及び大きさを表す情報を含む追尾結果情報を生成する。画像選択部６２は、追尾処理部６１からの追尾結果情報に基づいて、フレーム画像列の中から複数のフレーム画像を複数の選択画像として選択及び抽出し、各選択画像の画像データをストロボ画像生成部６３に送る。ストロボ画像生成部６３は、各選択画像に対する追尾結果情報と各選択画像の画像データに基づき、各選択画像の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ１８に記録することができる。生成されるストロボ画像は、図２６のストロボ静止画像６３３のようなストロボ静止画像であっても良いし、図２６のストロボ動画像６３０のようなストロボ動画像であっても良い。第５実施形態において、選択画像の枚数をｐにて表す（ｐは２以上の整数）。

外部メモリ１８から読み出されるフレーム画像列としての動画像を、動画像７００と呼ぶ。図３３に、動画像７００を形成するフレーム画像を示す。動画像７００は、フレーム画像ＦＩ_１、ＦＩ_２、ＦＩ_３、・・・ＦＩ_ｎ、ＦＩ_ｎ＋１、ＦＩ_ｎ＋２・・・を含んで形成されるものとする。第２実施形態で述べたように、フレーム画像ＦＩ_ｉ＋１は、フレーム画像ＦＩ_ｉの次に撮影された画像である（ｉは整数）。全てのフレーム画像に追尾対象の画像データが存在している必要はないが、説明の便宜上、動画像７００を形成する全フレーム画像に追尾対象の画像データが存在しているものとする。また、動画像７００のフレームレートＦＲは一定であるものとする。動画像７００のフレームレートが６０ｆｐｓのとき、ＦＲは６０である。ＦＲの単位は、秒の逆数である。

ユーザは、選択画像の候補となるフレーム画像を、動画像７００を形成するフレーム画像の中から自由に指定することができる。通常は、時間的に連続する複数のフレーム画像が選択画像の候補に設定される。今、図３３に示す如く、ｍ枚のフレーム画像ＦＩ_ｎ〜ＦＩ_{ｎ＋ｍ−１}が選択画像の候補として設定された場合を想定し、フレーム画像ＦＩ_ｎ〜ＦＩ_{ｎ＋ｍ−１}を候補画像（ｍ枚の入力画像）とも呼ぶ。また、フレーム画像ＦＩ_ｎよりも前の撮影によって得られたフレーム画像（例えば、フレーム画像ＦＩ_ｎ−１）を、特に非候補画像（非対象入力画像）とも呼ぶ。ｍは２以上の整数であって、ｍ＞ｐを満たす。

画像選択部６２は、追尾対象の移動速度ＳＰの検出結果を利用して選択画像を決定することができる。画像選択部６２による移動速度ＳＰの検出方法は、非候補画像に基づく移動速度検出方法と候補画像に基づく移動速度検出方法とに大別される。

非候補画像に基づく移動速度検出方法では、非候補画像に対する追尾結果情報を利用し、複数の非候補画像上における追尾対象領域の位置に基づいて、候補画像列上における追尾対象の移動速度ＳＰを推定検出する。例えば、互いに異なる２枚の非候補画像を図１６のフレーム画像ＦＩ_ｉ及びＦＩ_ｊとして捉え、フレーム画像ＦＩ_ｉ及びＦＩ_ｊに対して求められた追尾対象間距離ｄ［ｉ，ｊ］と動画像７００のフレームレートＦＲから移動速度ＳＰを算出する。動画像７００のフレームレートＦＲからフレーム画像ＦＩ_ｉ及びＦＩ_ｊ間の撮影時間差（即ち、フレーム画像ＦＩ_ｉの撮影時刻とフレーム画像ＦＩ_ｊの撮影時刻との間の時間差）を導出し、追尾対象間距離ｄ［ｉ，ｊ］を該撮影時間差で割ることで移動速度ＳＰを算出することができる。２枚の非候補画像としてのフレーム画像ＦＩ_ｉ及びＦＩ_ｊは、時間的に隣接するフレーム画像（例えば、フレーム画像ＦＩ_ｎ−２及びＦＩ_ｎ−１、又は、フレーム画像ＦＩ_ｎ−３及びＦＩ_ｎ−２）であっても良いし、時間的に隣接しないフレーム画像（例えば、フレーム画像ＦＩ_ｎ−３及びＦＩ_ｎ−１、又は、フレーム画像ＦＩ_ｎ−４及びＦＩ_ｎ−１）であっても良い。例えば、フレーム画像ＦＩ_ｉ及びＦＩ_ｊとして非候補画像ＦＩ_ｎ−２及びＦＩ_ｎ−１を利用した場合、“ＳＰ＝ｄ［ｎ−２，ｎ−１］÷１／ＦＲ”に従って移動速度ＳＰが算出され、フレーム画像ＦＩ_ｉ及びＦＩ_ｊとして非候補画像ＦＩ_ｎ−３及びＦＩ_ｎ−１を利用した場合、“ＳＰ＝ｄ［ｎ−３，ｎ−１］÷２／ＦＲ”に従って移動速度ＳＰが算出される。

候補画像に基づく移動速度検出方法では、候補画像に対する追尾結果情報を利用し、複数の候補画像上における追尾対象領域の位置に基づいて、候補画像列上における追尾対象の移動速度ＳＰを検出する。例えば、互いに異なる２枚の候補画像を図１６のフレーム画像ＦＩ_ｉ及びＦＩ_ｊとして捉え、フレーム画像ＦＩ_ｉ及びＦＩ_ｊに対して求められた追尾対象間距離ｄ［ｉ，ｊ］と動画像７００のフレームレートＦＲから移動速度ＳＰを算出する。動画像７００のフレームレートＦＲからフレーム画像ＦＩ_ｉ及びＦＩ_ｊ間の撮影時間差（即ち、フレーム画像ＦＩ_ｉの撮影時刻とフレーム画像ＦＩ_ｊの撮影時刻との間の時間差）を導出し、追尾対象間距離ｄ［ｉ，ｊ］を該撮影時間差で割ることで移動速度ＳＰを算出することができる。２枚の候補画像としてのフレーム画像ＦＩ_ｉ及びＦＩ_ｊは、時間的に隣接するフレーム画像（例えば、フレーム画像ＦＩ_ｎ及びＦＩ_ｎ＋１、又は、フレーム画像ＦＩ_ｎ＋１及びＦＩ_ｎ＋２）であっても良いし、時間的に隣接しないフレーム画像（例えば、フレーム画像ＦＩ_ｎ及びＦＩ_ｎ＋２、又は、フレーム画像ＦＩ_ｎ及びＦＩ_{ｎ＋ｍ−１}）であっても良い。例えば、フレーム画像ＦＩ_ｉ及びＦＩ_ｊとして候補画像ＦＩ_ｎ及びＦＩ_ｎ＋１を利用した場合、“ＳＰ＝ｄ［ｎ，ｎ＋１］÷１／ＦＲ”に従って移動速度ＳＰが算出され、フレーム画像ＦＩ_ｉ及びＦＩ_ｊとして候補画像ＦＩ_ｎ及びＦＩ_ｎ＋２を利用した場合、“ＳＰ＝ｄ［ｎ，ｎ＋２］÷２／ＦＲ”に従って移動速度ＳＰが算出される。

一方で、画像選択部６２は、第２実施形態で述べた目標被写体間隔βを決定する。画像選択部６２は、第２実施形態で述べた方法に従って目標被写体間隔βを決定することができる。即ち例えば、被写体サイズＳＩＺＥ’に応じて目標被写体間隔βを決定することができる。被写体サイズＳＩＺＥ’の算出方法として、第２実施形態で述べた方法を利用することができる。即ち例えば、特定方向サイズＬ_ｉ及びＬ_ｊの平均値（より具体的には、特定方向サイズＬ_ｎ及びＬ_ｎ＋１など）を被写体サイズＳＩＺＥ’として求めるようにしても良いし、被写体サイズＳＩＺＥ’の導出前にｍの値が定まっているならば特定方向サイズＬ_ｎ〜Ｌ_{ｎ＋ｍ−１}の平均値を被写体サイズＳＩＺＥ’として求めるようにしても良い。

画像選択部６２は、まず、１番目の候補画像であるフレーム画像ＦＩ_ｎを１番目の選択画像に設定する。そして、検出した移動速度ＳＰに基づき、異なる候補画像間における追尾対象の移動距離を推定する。動画像７００のフレームレートはＦＲであるから、図３４に示す如く、フレーム画像ＦＩ_ｎ及びＦＩ_ｎ＋ｉ間における追尾対象の推定移動距離は“ｉ×ＳＰ／ＦＲ”である。追尾処理部６１による追尾対象の位置の検出結果に基づく推定移動距離“ｉ×ＳＰ／ＦＲ”は、フレーム画像ＦＩ_ｎ及びＦＩ_ｎ＋ｉ上における追尾対象間距離（換言すれば、フレーム画像ＦＩ_ｎ上における追尾対象の位置とフレーム画像ＦＩ_ｎ＋ｉ上における追尾対象の位置との間の距離）の推定値に相当する。

画像選択部６２は、上記推定移動距離に基づく１番目及び２番目の選択画像上における追尾対象間距離が、追尾処理部６１による追尾対象の大きさの検出結果に基づく基準距離とも言うべき目標被写体距離βよりも大きくなるように２番目の選択画像を候補画像列の中から抽出する。１番目の選択画像であるフレーム画像ＦＩ_ｎよりも後に撮影されたフレーム画像は、２番目の選択画像の候補となる。画像選択部６２は、２番目の選択画像を抽出するために、変数ｊに（ｎ＋１）〜（ｎ＋ｍ−１）までの整数を順次代入しつつ追尾対象間距離ｄ［ｎ，ｊ］の推定値である推定移動距離“（ｊ−ｎ）×ＳＰ／ＦＲ”と目標被写体間隔βとを比較する。そして、不等式「（ｊ−ｎ）×ＳＰ／ＦＲ＞β」を成立させる１以上の候補画像の中から、１番目の選択画像よりも後に撮影され且つ１番目の選択画像に対して最も時間的に近くに撮影された候補画像ＦＩ_ｊを２番目の選択画像として選ぶ。今、ｊが（ｎ＋１）又は（ｎ＋２）である時には常に上記不等式が成立しない一方、ｊが（ｎ＋３）以上の整数である時には常に上記不等式が成立していたものとする。そうすると、候補画像ＦＩ_ｎ＋３が２番目の選択画像として抽出される。

３番目以降の選択画像も同様にして選定される。即ち、画像選択部６２は、推定移動距離に基づく２番目及び３番目の選択画像上における追尾対象間距離が、目標被写体距離βよりも大きくなるように３番目の選択画像を候補画像列の中から抽出する（但し、この際、２番目及び３番目の選択画像の撮影時間差をなるだけ小さくするという条件が課せられる）。

尚、３番目の選択画像を、１番目及び２番目の選択画像の撮影間隔から自動的に決定しても良い。即ち、１番目及び２番目の選択画像の撮影間隔と２番目及び３番目の選択画像の撮影間隔が同じとなるように、３番目の選択画像を決定するようにしても良い。この場合例えば、フレーム画像ＦＩ_ｎ＋３が２番目の選択画像として抽出されると、自動的に、３番目の選択画像はフレーム画像ＦＩ_ｎ＋６に決定される。４番目及びそれ以降の選択画像についても同様である。

図３５を参照して、特殊再生モードにおける撮像装置１の動作の流れの一例を説明する。図３５は、この動作の流れを表すフローチャートである。まず、ステップＳ１６１及びＳ１６２において、動画像７００の再生を開始する一方で追尾対象の設定操作及び候補画像列の設定操作を促すメニューを表示部２７に表示し、その状態において、ユーザによる追尾対象の設定操作及び候補画像列の設定操作を受け付ける。候補画像列の設定操作によって、ユーザは、動画像７００中の任意の映像区間内のフレーム画像列を候補画像列に設定することができる。上述したように、候補画像列における１番目のフレーム画像を１番目の選択画像として抽出することができる。追尾対象及び候補画像列の設定が成されると、ステップＳ１６３にて変数ｉに１を代入した後、ステップＳ１６４においてフレーム画像ＦＩ_ｎ＋ｉに追尾処理を実行することで、フレーム画像ＦＩ_ｎ＋ｉ上における追尾対象領域の位置及び大きさを検出する。尚、非候補画像を用いて移動速度ＳＰを算出する場合には、非候補画像列に対しても追尾処理が成される。

続くステップＳ１６５において、追尾処理部６１からの追尾結果情報に基づき、上述したような追尾対象間距離の推定値と目標被写体間隔βとの比較を行う。そして、前者が後者（β）よりも大きい場合には、ステップＳ１６６にてフレーム画像ＦＩ_ｎ＋ｉを選択画像として抽出する一方、そうでない場合にはステップＳ１６８に直接移行する。ステップＳ１６６に続くステップ１６７では、選択画像の抽出数が予め定められた必要数（即ちｐの値）と一致しているか否かが判断され、それらが一致している場合には、その時点で選択画像の抽出を終了する一方、それらが一致していない場合にはステップＳ１６７からステップＳ１６８に移行する。ユーザは、上記必要数を指定することができる。

ステップＳ１６８では変数ｉと候補画像の総枚数（即ち、ｍの値）が比較される。そして、現時点の変数ｉが該総枚数と一致している場合には、候補画像列の再生が終了したと判断して選択画像の抽出処理を終了する一方で、そうでない場合には変数ｉに１を加算してから（ステップＳ１６９）ステップＳ１６４に戻って上述の各処理を繰り返す。

本実施形態によっても、第２実施形態と同様の効果が得られる。

＜＜第６実施形態＞＞
本発明の第６実施形態を説明する。第６実施形態では、画像データの圧縮及び伸張の存在を考慮し、第２及び第５実施形態に適用可能な技術を説明する。説明の具体化のため、図３３に示す動画像７００が外部メモリ１８に記録されている状態を考える。

動画像７００を外部メモリ１８に記録する際、図１の圧縮処理部１６により、動画像７００の画像データは所定の圧縮方式にて圧縮される。圧縮方式は任意である。例えば、ＭＰＥＧ（Moving Picture Experts Group）に規定された圧縮方式や、Ｈ．２６４に規定された圧縮方式を利用することができる。以下、圧縮された画像データを特に圧縮画像データとも呼び、圧縮の成されていない画像データを特に非圧縮画像データとも呼ぶ。動画像７００を表示部２７上で再生する際、外部メモリ１８から読み出された動画像７００の圧縮画像データは図１の伸張処理部１９に送られ、伸張処理部１９は、圧縮画像データを非圧縮画像データに戻す伸張処理を実行する。これによって得られた動画像７００の非圧縮画像データを表示処理部２０に転送することで、動画像７００が映像として表示部２７に表示される。

動画像７００の非圧縮画像データは、各々が独立した静止画像の集まりである。従って、表示処理部２０に転送されるものと同じ非圧縮画像データを、必要分だけ図１の内部メモリ１７に書き込むようにすれば、内部メモリ１７に保持された非圧縮画像データから、ストロボ静止画像又はストロボ動画像を生成することが可能である。実際には、ユーザによる候補画像列の設定操作（図３５のステップＳ１６２参照）が成された後、候補画像列の再生区間中に表示処理部２０に転送されるものと同じ非圧縮画像データを、内部メモリ１７に書き込むようにすれば良い。圧縮画像データを元にしてストロボ画像を生成するためには、まず圧縮画像データを伸張する必要があるが、上述の如く、この伸張に映像再生用に成される伸張処理を利用することができる。

また、ＭＰＥＧでは、フレーム間差分を利用して、圧縮動画像であるＭＰＥＧ動画像が生成される。周知の如く、ＭＰＥＧ動画像は、３種類のピクチャ、即ち、フレーム内符号化画像（Intra-Coded Picture）であるＩピクチャ、フレーム間予測符号化画像（Predictive-Coded Picture）であるＰピクチャ、及び、フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）であるＢピクチャから構成される。Ｉピクチャは、１枚のフレーム画像の映像信号を当該フレーム画像内で符号化することで得た画像であるため、Ｉピクチャ単独で１枚のフレーム画像の映像信号を復号することが可能である。一方で、Ｐピクチャ単独では、１枚のフレーム画像の映像信号を復号することができず、Ｐピクチャに対応するフレーム画像を復号するためには、他のピクチャとの差分演算等が必要である。Ｂピクチャについても同様である。従って、Ｐピクチャ及びＢピクチャに対応するフレーム画像を復号するために必要な演算負荷は、Ｉピクチャのそれよりも重い。

これを考慮し、演算負荷の軽減を図るべく、第５実施形態における候補画像列をＩピクチャのみにて形成するようにしても良い（同様に、第２実施形態におけるフレーム画像ＦＩ_１〜ＦＩ_１０をＩピクチャのみにて形成するようにしても良い）。この場合、動画像７００のフレームレートが６０ｆｐｓであっても、候補画像列のフレームレートは例えば３〜１０ｆｐｓ程度となるが、追尾対象の移動速度がそれほど大きくない場合においては、問題が少ない。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
図１３の追尾処理部６１、画像選択部６２及びストロボ画像生成部６３を含んで形成される画像処理装置が撮像装置１内に設けられている例を上述したが、その画像処理装置は、撮像装置１の外部に設けられたものであっても良い。この場合、その外部の画像処理装置に対して、撮像装置１の撮影によって得られたフレーム画像列の画像データを供給することにより、その外部の画像処理装置にて選択画像の抽出及びストロボ画像の生成が成される。

［注釈２］
撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図５、図１３、図２５又は図３０に示される各部位にて実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

１ 撮像装置
１１ 撮像部
３３ 撮像素子
５１ 追尾処理部
５２ 追尾対象特性算出部
５３ 連写制御部
５４ ストロボ画像生成部
５５ 連写可否制御部
５６ 報知制御部
６１ 追尾処理部
６２ 画像選択部
６３ ストロボ画像生成部
１５１ 追尾処理部
１５２ 追尾対象特性算出部
１５３、１５３ａ 撮影制御部
１５４ ストロボ画像生成部
１５７ 対象画像選択部

Claims (3)

1. 撮影によって得た画像の画像データを出力する撮像部と、
   特定物体を被写体に含めた複数の対象画像を前記撮像部にて順次撮影させる撮影制御部と、
   前記複数の対象画像の撮影前に前記撮像部から出力される複数の非対象画像の画像データに基づいて、各非対象画像上における前記特定物体の位置及び大きさを検出する物体検出部を備え、
   前記物体検出部は、各非対象画像上における前記特定物体の位置から前記特定物体の移動速度を検出し、
   前記撮影制御部は、前記移動速度及び前記特定物体の大きさに応じて前記撮影間隔を設定することを特徴とする撮像装置。
2. 前記撮影制御部は、前記複数の対象画像の撮影可否を判断する撮影可否判断部を有し、
   前記撮影可否判断部は、前記撮影間隔、前記移動速度、及び、前記複数の対象画像の枚数に基づいて、前記複数の対象画像の撮影期間における前記特定物体の移動距離を導出する一方で、前記物体検出部の検出結果に基づく、１枚目の対象画像上における前記特定物体の位置、及び、
   前記物体検出部の検出結果に基づく、前記複数の対象画像上における前記特定物体の移動方向に基づいて、前記複数の対象画像上における前記特定物体の移動可能距離を導出し、
   前記移動距離と前記移動可能距離との比較に基づいて前記複数の対象画像の撮影可否を判断することを特徴とする請求項１に記載の撮像装置。
3. 各対象画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を更に備えた
   ことを特徴とする請求項１〜請求項２の何れかに記載の撮像装置。
   

Images