JP2014050022A - 画像処理装置、撮像装置、およびプログラム - Google Patents

Abstract

【課題】複数の画像において所望の領域を得ることができる電子機器、およびプログラムを提供する。
【解決手段】画像処理装置は、表示部に表示する画像の表示領域を設定する表示領域設定部を備え、前記表示領域設定部は、前記表示部に表示する前記第１の画像の第１表示領域を設定するとともに、前記第１の画像の前記第１表示領域内の画像に基づいて、前記第２の画像の第２表示領域を設定する。
【選択図】図１

Description

本発明は、画像処理装置、撮像装置、およびプログラムに関する。

従来、画像内の所望の一部の領域の画像を拡大して表示させる技術がある。また、所望の一部の領域の画像を拡大して表示させた場合、再生コマ送り又はコマ戻しによって表示する次の画像を同様に拡大したまま表示させる技術がある（例えば、特許文献１参照）。

特開２０１０−５６６２２号公報

しかしながら、画像内の所望の一部の領域を拡大して表示させた場合、再生コマ送り又はコマ戻しすることにより表示される次の画像では、必ずしもユーザが期待する所望の領域が同じであるとは限らない。そのため、複数の画像において同様の領域を拡大して表示させたとしても、それぞれの画像において所望の領域を表示させることができるとは限らなかった。

本発明は、このような事情に鑑みてなされたもので、その目的は、複数の画像において所望の領域を得ることができる電子機器、およびプログラムを提供することにある。

この発明は上述した課題を解決するためになされたもので、本発明は、第１の画像の領域として第１領域を設定するとともに、前記第１の画像の前記第１領域内の画像に基づいて、前記第１の画像と異なる第２の画像の領域として第２領域を設定する領域設定部、を備えることを特徴とする画像処理装置である。

また、本発明は、上記記載の画像処理装置、を備えることを特徴とする撮像装置である。

また、本発明は、撮像素子の全画素領域によって撮影可能な画像の領域のうちの撮影する第１の画像の第１撮影領域を設定するとともに、前記第１の画像の前記第１撮影領域内の画像に基づいて、前記第１の画像と異なる第２の画像の第２撮影領域を設定する撮影領域設定部、を備えることを特徴とする撮像装置である。

また、本発明は、コンピュータに、第１の画像の領域として第１領域を設定するステップと、前記第１の画像の前記第１領域内の画像に基づいて、前記第１の画像と異なる第２の画像の領域として第２領域を設定するステップと、を実行させるためのプログラムである。

この発明によれば、複数の画像において所望の領域を得ることができる。

第１実施形態による撮像装置の構成の一例を示す概略ブロック図である。 画像の表示領域の一例を説明する図である。 第１実施形態による画像の表示領域の第１例を説明する図である。 第１実施形態による表示領域設定処理の第１例を示すフローチャートである。 第１実施形態による画像の表示領域の第２例を説明する図である。 第１実施形態による画像の表示領域の第３例を説明する図である。 第１実施形態による画像の表示領域の第４例を説明する図である。 第１実施形態による画像の表示領域の第５例を説明する図である。 第１実施形態による表示領域設定処理の第２例を示すフローチャートである。 撮像素子における全画素領域と撮影領域とを説明する図である。 第２実施形態による撮像装置の構成の一例を示す概略ブロック図である。 第２実施形態による画像の撮影領域の第１例を説明する図である。 第２実施形態による画像の撮影領域の第２例を説明する図である。 第２実施形態による撮影領域設定処理の第１例を示すフローチャートである。 第２実施形態による撮影領域設定処理の第２例を示すフローチャートである。 第２実施形態による誘導情報を説明する図である。

以下、図面を参照して、本発明の実施の形態について説明する。
＜第１実施形態＞
図１は、この発明の一実施形態による撮像装置１００の構成を示す概略ブロック図である。

撮像装置１００は、撮像部２と、制御部３と、メモリ部４と、バッファメモリ部５と、表示制御部６と、表示部６１と、記憶媒体部７（記憶制御部）と、操作入力部８と、画像処理部９（画像処理装置）と、バス１５と、を備えている。

撮像部２は、レンズ部２１、撮像素子２２、及びＡ／Ｄ変換部２３を備えており、動画（動画像）または静止画（静止画像）等を撮影する。この撮像部２は、設定された撮影条件（例えば絞り値、露出等）に基づいて制御部３又は画像処理部９により制御され、レンズ部２１を介して入力された光束を、撮像素子２２の撮像面上に結像させる。撮像素子２２は、入力された光束を受光する複数の画素が配置されている画素領域を有し、この画素領域（撮像面）に結像された光束を光電変換したアナログ信号を、Ａ／Ｄ変換部２３に出力する。Ａ／Ｄ変換部２３は、撮像素子２２から入力されたアナログ信号をデジタル信号に変換し、この変換したデジタル信号を出力する。なお、上述したレンズ部２１は、撮像装置１００と一体化されている構成としてもよいし、撮像装置１００に着脱可能に取り付けられている構成としてもよい。

例えば、撮像部２は、操作入力部８に対する動画撮影操作に応じて動画を撮影し、撮影した動画の画像信号を出力する。また、撮像部２は、操作入力部８に対する静止画撮影操作に応じて静止画を撮影し、撮影した静止画の画像信号を出力する。そして、撮像部２によって撮像された動画の画像信号及び静止画の画像信号は、画像処理部９による画像処理が行われた後、画像データファイルとして記憶媒体１５０に記録される。また、撮像部２は、静止画撮影又は動画撮影を行うための撮影待機状態中、所定の間隔で連続的に撮影して得られる表示用の画像（例えば画角確認用として表示部６１に表示させる画像）であるスルー画像（ライブビュー画像）の画像信号を出力する。

制御部３は、撮像装置１００が備えている各部を制御する。例えば、制御部３は、操作入力部８から受け取る操作信号、又はメモリ部４に記憶されている制御条件等に基づいて、撮像装置１００が備えている各部を制御する。

メモリ部４は、例えば、ＲＯＭ（Read Only Memory）を備えおり、撮像装置１００を制御するための、予め定められた撮影制御条件、画像処理条件、再生制御条件、及び記録制御条件、などを記憶する。

バッファメモリ部５は、ＲＡＭ（Random Access Memory）を備えており、制御部３が撮像装置１００を制御する際の作業領域として利用される。例えば、撮像部２によって撮影された画像、又は記憶媒体１５０から読み出された画像は、画像処理部９において実行する画像処理の過程においてバッファメモリ部５に一時的に記憶される。

表示制御部６は、画像処理部９において画像処理が実行された画像を表示部６１に表示させる。例えば、表示制御部６は、操作入力部８に対する再生コマ送り又はコマ戻しの操作に応じて、記憶媒体１５０から画像を読み出し、読み出した画像を画像処理部９の処理を介して表示部６１に表示させる。表示部６１は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であって、画像又は情報を表示する。また、表示制御部６は、撮像部２（撮像素子２２）により撮影された画像を表示部６１に表示させる。

記憶媒体部７は、取り外しが可能な記憶媒体１５０（カードメモリ等）と接続され、この記憶媒体１５０（記憶部）への画像又は情報の書込み、読み出し、或いは消去を行う。例えば、記憶媒体部７は、撮像部２（撮像素子２２）により撮影された画像を記憶媒体１５０に記憶させる（書き込む）。記憶媒体１５０は、撮像装置１００に対して着脱可能に接続されるメモリであって、例えば、撮像部２によって撮影された画像などを記憶する。なお、記憶媒体部７に代えて、有線又は無線を介して接続される他機器が有する記憶媒体又は記憶装置としてもよい。

操作入力部８は、例えば、シャッターボタン、電源スイッチ、動作モードを選択するモードダイヤル、拡大又は縮小ボタン、再生コマ送り又はコマ戻し機能を含む上下左右ボタンなどを備えている。なお、拡大又は縮小ボタンによる操作は、画像の一部を拡大表示させる操作である。また、操作入力部８は、ユーザによって操作された操作入力を検出し、検出した操作内容を示す操作信号を制御部３又は画像処理部９に供給する。

画像処理部９は、記憶媒体１５０に記憶されている複数の画像を読み出し、読み出した画像を表示制御部６を介して表示部６１に表示させる際に、表示させる画像の表示領域を設定する。例えば、画像処理部９は、操作入力部８において拡大又は縮小ボタンが操作されたことに応じて画像の表示領域を設定する。また、画像処理部９は、操作入力部８において再生コマ送り又はコマ戻しボタンが操作されたことに応じて、次に表示する画像の表示領域を決定する。

なお、以下の説明において、撮像装置１００が、再生コマ送り又はコマ戻しボタンが操作されることに応じて表示部６１に画像を順次表示する場合、操作前の画像を第１の画像とし、操作後の画像を第２の画像とする。

例えば、画像処理部９は、操作入力部８において拡大又は縮小ボタンが操作されたことに応じて、表示部６１に表示されている第１の画像の表示領域（以下、第１表示領域（第１領域）と称する）を設定し、設定した第１表示領域の画像を表示制御部６を介して表示部６１に拡大表示させる。また、画像処理部９は、操作入力部８において再生コマ送り又はコマ戻しボタンが操作されたことに応じて、次に表示する第２の画像の表示領域（以下、第２表示領域（第２領域）と称する）を、第１の画像の第１表示領域内の画像に基づいて設定する。

なお、画像処理部９は、上述した画像の表示に関する処理の他に、撮像装置１００が撮影する画像に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調補正等の画像処理を実行する。また、画像処理部９は、撮影した画像を記録する（記憶媒体１５０に記憶させる）際に、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の画像圧縮処理を実行する。

続いて、上述した画像処理部９の構成について詳しく説明する。画像処理部９は、抽出部９１と、照合部９２と、表示領域設定部９３と、を備えている。

抽出部９１は、照合部９２において画像を照合する際に用いる画像を抽出する。例えば、抽出部９１は、第１の画像の第１表示領域内に含まれる画像をテンプレート画像として抽出する。なお、抽出部９１は、第１の画像の第１表示領域の全ての画像をテンプレート画像として抽出してもよいし、第１の画像の第１表示領域内に含まれる画像のうち一部の領域の画像をテンプレート画像として抽出してもよい。例えば、抽出部９１は、第１の画像の第１表示領域内に含まれる画像のうち、主要被写体を示す特徴的な画像が含まれる一部の領域の画像をテンプレート画像として抽出してもよい。

照合部９２は、第１表示領域内の画像を第２の画像に含まれる画像と照合する。例えば、照合部９２は、第２の画像に対して、抽出部９１がテンプレート画像として抽出した第１表示領域内の画像を用いてテンプレートマッチング処理を実行する。そして、照合部９２は、テンプレート画像とマッチング（合致）する画像が第２の画像内に含まれるか否かを照合する。また、照合部９２は、テンプレート画像とマッチング（合致）する画像が第２の画像内に含まれる場合、マッチング（合致）する画像の第２の画像における領域（位置（座標）又は範囲）を示す情報を生成する。そして、照合部９２は、これらの照合結果を表示領域設定部９３に供給する。

なお、本実施形態において、照合部９２が、テンプレートマッチング処理を用いて２つの画像を照合する例を説明するが、テンプレートマッチング処理以外の照合処理を用いて２つの画像を照合してもよい。

表示領域設定部９３（領域設定部）は、画像の領域を設定する。例えば、表示領域設定部９３は、画像の領域として、表示部６１に表示する画像の表示領域を設定する。具体的には、表示制御部６が第１の画像を表示部６１に表示させている際に、操作入力部８において拡大又は縮小ボタンが操作された場合、拡大又は縮小ボタンの操作（第１の画像の一部を拡大表示する操作）に応じて、拡大表示させる第１の画像の切り出し領域である第１表示領域を設定する。

また、表示領域設定部９３は、第１の画像の第１表示領域内の画像に基づいて、第２の画像の第２表示領域を設定する。例えば、表示領域設定部９３は、表示制御部６が第１の画像の第１表示領域の画像を表示部６１に表示させている際に、操作入力部８において再生コマ送り又はコマ戻しボタンが操作された場合、第１の画像の第１表示領域内の画像に基づいて、拡大表示させる第２の画像の切り出し領域である第２表示領域を設定する。

この場合、表示領域設定部９３は、照合部９２の照合結果に基づいて、第１の画像の第１表示領域内の画像とマッチング（合致）する画像が含まれる領域を、第２の画像の第２表示領域として設定する。例えば表示領域設定部９３は、第１の画像の第１表示領域に対して第２の画像の第２表示領域を、第１の画像の第１表示領域内の画像とマッチングした画像が含まれる領域に変更する。

また、表示領域設定部９３は、照合部９２の照合結果に基づいて、第１の画像の第１表示領域内の画像とマッチング（合致）する画像が含まれる領域、且つ第１表示領域の大きさに応じた領域を、第２の画像の第２表示領域として設定する。例えば、表示領域設定部９３は、第１の画像の第１表示領域に対して第２の画像の第２表示領域を、第１表示領域と同じ大きさの領域とし、且つ第１の画像の第１表示領域内の画像とマッチングした画像が含まれる座標に領域を変更する。

バス１５は、撮像部２、制御部３、メモリ部４、バッファメモリ部５、表示制御部６、記憶媒体部７、操作入力部８、及び、画像処理部９と接続され、各部から出力された画像信号、制御信号、等を転送する。

（表示領域設定処理の説明）
次に、上述したように構成された撮像装置１００における画像の表示領域設定処理について、図２及び図３を参照して詳しく説明する。

従来の撮像装置、又は画像再生装置（画像処理装置）等の機器は、画像を再生して表示する場合、１コマ再生、又は複数コマ再生などの画像再生機能により画像の表示を行う。また、上述の従来の機器は、画像を拡大して表示する場合、ユーザが、拡大したい１コマの画像を選択して拡大操作を行うことにより、その画像を操作に応じた拡大率及び拡大位置（座標）により表示する。また、上述の従来の機器は、その拡大した画像を表示している状態において、ユーザが再生コマ送り又はコマ戻し操作を行った場合、次のコマの画像を再生して表示する。このとき、拡大率はキャンセルされ通常の１コマ又は複数コマ再生状態に遷移されるか、或いは、拡大率及び拡大位置（座標）を維持したまま再生コマ送り又はコマ戻しに応じた次のコマの画像が表示される。

ところで、複数の画像（静止画像）のそれぞれに含まれている主要被写体の画像を、それぞれ同じような拡大率で再生して表示させたい場合がある。例えば、同じ被写体を主要被写体として同じような撮影条件で撮影された複数の画像（主要被写体が同じような画角で撮影された複数の画像）のそれぞれにおいて、主要被写体の画像を同じように拡大して表示させて閲覧したい場合がある。このような場合、再生コマ送り又はコマ戻し操作を行うことにより拡大率がキャンセルされてしまうと、ユーザは、次のコマの画像を再生して表示させる度に拡大操作を行うことが必要となり煩わしい。

また、同じ被写体を主要被写体として同じような撮影条件で撮影された複数の画像であっても、手持ち撮影された複数の画像や、動いている主要被写体を画角内におさめるように撮影された複数の画像（例えば流し撮りされた画像）では、各画像内における主要被写体の位置は一定の位置にはならない場合がある。また手持ち撮影で主要被写体を変えずにフレーム位置を変えるような撮影、カメラを縦位置又は横位置などカメラポジションを変えたときには、各画像内における主要被写体の位置は一定の位置にはならない場合がある。このような場合、各画像においてユーザが期待する拡大中心位置（主要被写体画像の位置（座標））が必ずしも同じ位置（座標）とはならないため、従来の機器では、拡大率及び拡大位置（座標）を維持したまま再生コマ送り又はコマ戻しに応じた次のコマの画像を表示した場合、ユーザが期待する画像を表示できないことがある。

図２は、拡大率及び拡大位置（座標）を維持したまま再生コマ送りした場合に表示される画像の表示領域の一例を説明する図である。
図２（ａ）は、第１の画像の全体の画像領域（符号２００）と、主要被写体（符号４００）の画像と、第１表示領域（符号２０１）とを示している。この図において、第１の画像の全体の画像領域（符号２００）内に主要被写体（符号４００）の画像（人物の画像）が含まれている。また、主要被写体（符号４００）の画像を拡大して表示するための拡大操作に応じて、表示領域設定部９３は、主要被写体（符号４００）の画像が含まれる第１表示領域（符号２０１）を設定する。

図２（ｂ）は、再生コマ送りにより再生される次のコマの画像である第２の画像の全体の画像領域（符号２１０）と、主要被写体（符号４００）の画像と、第２表示領域（符号２１１）とを示している。この図において、第２の画像の全体の画像領域（符号２１０）内において第１の画像とは異なる位置に主要被写体（符号４００）の画像が含まれている。また、表示領域設定部９３が設定する第２表示領域（符号２１１）は、拡大操作に応じて設定された第１の画像の第１表示領域の拡大率及び拡大位置（座標）を維持した領域であり、主要被写体（符号４００）の画像が含まれない。

図２（ｃ）は、図２（ａ）に示す第１の画像の第１表示領域（符号２０１）の画像を表示部６１に表示した場合の表示画面（符号３００）を示している。この図に示すように、表示制御部６は、表示領域設定部９３が設定した第１表示領域（符号２０１）の画像を表示部６１に表示する。すなわち表示制御部６は、第１の画像に含まれる主要被写体（符号４００）の画像を拡大して表示する。

一方、図２（ｄ）は、図２（ｂ）に示す第２の画像の第２表示領域（符号２１１）の画像を表示部６１に表示した場合の表示画面（符号３００）を示している。この図に示すように、表示制御部６は、表示領域設定部９３が設定した第２表示領域（符号２１１）の画像を表示部６１に表示する。すなわち表示制御部６は、第２の画像に含まれる主要被写体（符号４００）の画像が含まれない画像を拡大して表示する。

このように、第１の画像と第２の画像とにおいて主要被写体画像の位置が異なる場合、第１の画像を表示する際に設定した第１表示領域の拡大率及び拡大位置（座標）を維持したまま再生コマ送りして表示された第２の画像の第２表示領域の画像には、主要被写体画像が含まれない場合がある。

この場合、ユーザは、期待する拡大表示位置を移動させる微調整をするための操作を行う必要があり手間がかかる。例えば１００コマの確認したい（閲覧したい）画像がある場合、この拡大表示位置を移動させる微調整操作を１コマ毎に１００コマ分操作することになるため、相当な時間が必要となる。ゆえに、例えばピント合わせ又は合焦チェック等のように、複数の画像を拡大表示しながら１コマずつ画像を確認すること又は１コマずつ画像を比較すること、を短時間で容易に行うことが出来なかった。そのため、複数の画像を拡大表示しながら１コマずつ画像を確認すること又は１コマずつ画像を比較すること、を短時間で容易に行うことができるような再生コマ送り又はコマ戻し機能が望まれている。

そこで、本実施形態の撮像装置１００においては、拡大した画像を表示している状態において、ユーザが再生コマ送り又はコマ戻し操作を行うことにより、次のコマの画像を再生して表示する場合、表示している状態の拡大した画像の表示領域内の画像に基づいて、次のコマの画像の表示領域を設定する。以下、具体例を、図３を参照して説明する。

図３は、再生コマ送りした場合に、表示領域設定部９３が、第１の画像の第１表示領域内の画像に基づいて、表示部６１に表示させる第２の画像の第２表示領域を設定する例を説明する図である。

図３（ａ）は、第１の画像の全体の画像領域（符号２００）と、主要被写体（符号４００）の画像と、第１表示領域（符号２０１）とを示している。この図において、第１の画像の全体の画像領域（符号２００）内に主要被写体（符号４００）の画像が含まれている。また、表示領域設定部９３は、主要被写体（符号４００）の画像を拡大して表示するための拡大操作に応じて、主要被写体（符号４００）の画像が含まれる第１表示領域（符号２０１）を設定する。

図３（ｂ）は、再生コマ送りにより再生される次のコマの画像である第２の画像の全体の画像領域（符号２１０）と、主要被写体（符号４００）の画像と、第２表示領域（符号２１２）とを示している。この図において、第２の画像の全体の画像領域（符号２１０）内において第１の画像とは異なる位置に主要被写体（符号４００）の画像が含まれている。

また、表示領域設定部９３が設定する第２表示領域（符号２１２）は、拡大操作に応じて設定された第１の画像の第１表示領域（符号２０１）内の画像（主要被写体（符号４００）の画像）とマッチングした画像（主要被写体（符号４００）の画像）が含まれる領域になるように、第１表示領域（符号２０１）から位置（座標）を変更した領域である。例えば、図３（ｂ）に示すように、表示領域設定部９３は、第１の画像における第１表示領域（符号２０１）内の中心付近の位置に主要被写体（符号４００）の画像が位置するのと同じように、第２の画像において主要被写体（符号４００）の画像が中心付近に位置するように第２表示領域（符号２１２）を設定する。

図３（ｃ）は、図３（ａ）に示す第１の画像の第１表示領域（符号２０１）の画像を表示部６１に表示した場合の表示画面（符号３００）を示している。この図に示すように、表示制御部６は、表示領域設定部９３が設定した第１表示領域（符号２０１）の画像を表示部６１に表示する。すなわち表示制御部６は、第１の画像に含まれる主要被写体（符号４００）の画像を拡大して表示する。

一方、図３（ｄ）は、図３（ｂ）に示す第２の画像の第２表示領域（符号２１２）の画像を表示部６１に表示した場合の表示画面（符号３００）を示している。この図に示すように、表示制御部６は、表示領域設定部９３が設定した第２表示領域（符号２１２）の画像を表示部６１に表示する。すなわち表示制御部６は、第２の画像に含まれる主要被写体（符号４００）の画像を拡大して表示する。

このように、表示領域設定部９３は、表示制御部６が第１の画像の第１表示領域の画像を表示部６１に表示させている際に、操作入力部８において再生コマ送り又はコマ戻しボタンが操作された場合、第１の画像の第１表示領域（符号２０１）内の画像に基づいて、第２の画像の第２表示領域（符号２１２）を設定する。例えば、表示領域設定部９３は、照合部９２の照合結果に基づいて、第１の画像の第１表示領域（符号２０１）内の画像（例えば主要被写体（符号４００）の画像）とマッチングする画像（例えば主要被写体（符号４００）の画像）が含まれる領域を、第２の画像の第２表示領域（符号２１２）として設定する。

また、表示領域設定部９３は、第２の画像において、照合部９２の照合結果により第１表示領域（符号２０１）内の画像とマッチング（合致）する画像（主要被写体（符号４００）の画像）が含まれる領域、且つ第１表示領域（符号２０１）の大きさに応じた領域を、第２表示領域（符号２１２）として設定する。

例えば、表示領域設定部９３は、第２の画像において、第１の画像とは異なる位置に主要被写体（符号４００）の画像が含まれている場合、第１の画像における第１表示領域（符号２０１）の大きさを維持したまま、第２の画像においてマッチング（合致）する画像が含まれる領域に位置（座標）を変更した表示領域を、第２表示領域（符号２１２）として設定する。

これにより、画像処理部９は、第１の画像と第２の画像とにおいて主要被写体画像の位置が異なる場合であっても、第１の画像を表示する際に主要被写体画像が含まれるように設定した第１表示領域内の画像に基づいて、再生コマ送り又はコマ戻しボタンが操作されたことに応じて表示する第２の画像の第２表示領域を、主要被写体画像が含まれるように設定することができる。よって、画像処理部９は、再生コマ送り又はコマ戻しボタンが操作されたことに応じて再生する複数の画像を、各画像のユーザが期待する拡大中心位置（画像における主要被写体画像の位置（座標））を拡大して表示部６１に表示させることができる。

なお、表示領域設定部９３は、拡大表示する表示領域の中心の位置（中心付近の位置）に主要被写体の画像が位置するように表示領域を設定してもよいし、表示領域内のうちの中心付近から外れた位置に主要被写体の画像が位置するように表示領域を設定してもよい。例えば、表示領域設定部９３は、第１の画像の第１表示領域を、主要被写体の画像が中心付近から外れた位置になるように設定した場合、同様に第２の画像の第２表示領域を、主要被写体の画像が中心付近から外れた位置（第１表示領域における主要被写体画像の位置と同様の位置）になるように設定してもよい。

（表示領域設定処理の動作の説明）
次に、図４を参照して、撮像装置１００における表示領域設定処理の動作について説明する。図４は、表示領域設定処理の動作の一例を示すフローチャートである。

まず、操作入力部８において、モードダイヤルに対して動作モードを再生モードにする操作がされたことに応じて、画像処理部９は、１コマ再生を開始する制御を行う。この制御により、画像処理部９は、記憶媒体部７を介して記憶媒体１５０から画像を読み出し、読み出した第１の画像を表示制御部６を介して表示部６１に表示させる（ステップＳ１０１）。

次に、画像処理部９は、操作入力部８において拡大ボタンが操作されたか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、拡大ボタンが操作された（表示拡大操作あり）と判定された場合（ステップＳ１０２：ＹＥＳ）、表示領域設定部９３は、拡大ボタンの操作に応じて第１の画像の第１表示領域を設定する（ステップＳ１０３）。そして、表示制御部６は、第１の画像の拡大表示として、表示領域設定部９３が設定した第１表示領域の画像を表示部６１に表示させ（ステップＳ１０４）、ステップＳ１０５に処理を進める。

一方、ステップＳ１０２において、拡大ボタンが操作されていない（表示拡大操作なし）と判定された場合（ステップＳ１０２：ＮＯ）、上述のステップＳ１０３、Ｓ１０４の処理を実行せずに、ステップＳ１０５に処理を進める。

ステップＳ１０５において、抽出部９１は、第１の画像の第１表示領域内に含まれる画像をテンプレート画像として抽出する（ステップＳ１０５）。例えば、抽出部９１は、第１の画像の第１表示領域内に含まれる主要被写体の画像をテンプレート画像として抽出する。なお、拡大操作がされていない場合は、第１の画像の全体の画像領域が第１表示領域である。

次に、画像処理部９は、操作入力部８において再生コマ送り又はコマ戻しボタンが操作されたか否かを判定する（ステップＳ１１０）。ステップＳ１１０において、再生コマ送り又はコマ戻しボタンが操作されていないと判定された場合、画像処理部９は、ステップＳ１０２に処理を戻し、ステップＳ１０２、Ｓ１０３、Ｓ１０４の処理を実行する。

一方、ステップＳ１１０において、再生コマ送り又はコマ戻しボタンが操作されたと判定された場合、画像処理部９は、再生コマ送り又はコマ戻し操作に応じて第２の画像を、記憶媒体部７を介して記憶媒体１５０から読み出す（ステップＳ１１１）。

次に、照合部９２は、読み出した第２の画像に対して、抽出部９１がテンプレート画像として抽出した第１表示領域内の画像を用いてテンプレートマッチング処理を実行する（ステップＳ１１２）。そして、照合部９２は、第２の画像内にテンプレート画像とマッチング（合致）する画像があるか否かを判定する（ステップＳ１２０）。

ステップＳ１２０において、第２の画像内にテンプレート画像とマッチング（合致）する画像があると判定された場合、表示領域設定部９３は、第１の画像における第１表示領域の拡大率（現在の表示領域の拡大率）を維持し、且つ第２の画像内（読み出した画像内）においてマッチング（合致）した画像が含まれる位置（座標）の領域を、第２の画像の第２表示領域（読み出した画像の表示領域）として設定する（ステップＳ１２１）。また、抽出部９１は、照合部９２の照合結果により、第２の画像においてマッチング（合致）した画像を、新たなテンプレート画像として更新する（ステップＳ１２２）。そして、画像処理部９は、ステップＳ１２５に処理を進める。

一方、ステップＳ１２０において、第２の画像内にテンプレート画像とマッチング（合致）する画像がないと判定された場合、表示領域設定部９３は、現在表示させている第１の画像における第１表示領域の拡大率及び拡大中心位置（座標）と同じ領域を、第２の画像（読み出した画像）の第２表示領域として設定する（ステップＳ１２３）。そして、画像処理部９は、ステップＳ１２５に処理を進める。

次に、ステップＳ１２５において、表示制御部６は、ステップＳ１２０の判定結果に応じて表示領域設定部９３が設定した第２表示領域により、第２の画像の第２表示領域の画像を表示部６１に表示させる。つまり、表示制御部６は、表示領域設定部９３がステップＳ１２１又はステップＳ１２３において設定した第２表示領域の何れかにより、ステップＳ１１１において読み出した第２の画像を拡大して表示部６１に表示させる。

続いて、画像処理部９は、操作入力部８において再生モードを終了する操作（例えば、モードダイヤルに対して動作モードを再生モードから他のモードに切り替える操作、又は電源スイッチに対して電源オフする操作）がされたか否かを判定する（ステップＳ１２６）。ステップＳ１２６において、操作入力部８において再生モードを終了する操作がされていないと判定された場合、画像処理部９は、ステップＳ１１０に処理を戻す。一方、ステップＳ１２６において、操作入力部８において再生モードを終了する操作がされたと判定された場合、画像処理部９は、処理を終了する。

このように、画像処理部９は、表示制御部６が第１の画像の第１表示領域の画像を表示部６１に表示させている際に、操作入力部８において再生コマ送り又はコマ戻しボタンが操作された場合、第１の画像の第１表示領域内の画像に基づいて、第２の画像の第２表示領域を設定する。具体的には、画像処理部９は、第２の画像において、第１の画像の第１表示領域の画像とマッチング（合致）する画像が含まれる領域を第２表示領域として設定する。そして、画像処理部９は、設定した第２表示領域の画像を、表示制御部６を介して表示部６１に表示させる。

これにより、撮像装置１００は、第１の画像と第２の画像とにおいて主要被写体画像の位置が異なる場合であっても、第１の画像を表示する際に主要被写体画像が含まれるように設定した第１表示領域に対して、再生コマ送り又はコマ戻しボタンが操作されたことに応じて表示する第２の画像の第２表示領域を主要被写体画像が含まれるように設定することができる。よって、撮像装置１００は、再生コマ送り又はコマ戻しボタンが操作されたことに応じて再生する複数の画像を、各画像のユーザが期待する拡大中心位置（画像における主要被写体画像の位置（座標））を拡大して表示部６１に表示することができる。

例えば、撮像装置１００は、同じ被写体を主要被写体として同じような撮影条件で撮影した複数の画像を、再生コマ送り又はコマ戻しボタンが操作されたことに応じて順に再生する場合、最初にユーザの拡大操作によって主要被写体画像が含まれるように拡大した拡大中心位置（画像における主要被写体画像の位置（座標））を、再生する画像毎に主要被写体画像が含まれるように変更して（追従させて）、表示部６１に表示することができる。

例えば、同じ主要被写体が撮影されたグループ分けされた画像の再生リスト、類似画像で構成される再生リスト、また高速連写などで撮影された多数の連続する画像再生リスト等の画像をズーム拡大表示させながら、リスト内の前後の画像を拡大して比較再生したい場合がある。このような場合において、従来の再生コマ送り又はコマ戻し操作のみで、ズーム拡大倍率を維持したまま再生コマ送り又はコマ戻した画像を表示するのみではなく、さらにコマ移動時に次の画像と拡大対象エリアの比較を行い、拡大中心位置の微調整を行いユーザが期待する表示領域を拡大して表示することができる。

このように、従来の再生コマ送り又はコマ戻し操作のみで、ユーザが期待する表示領域を拡大して表示することができる。そのため、例えば、スポーツ選手が動きながらプレイしている様子を連続して撮影した複数の画像を拡大して再生して比較することによりベストショットを選択したい場合において有効である。また、ポートレート写真を連続して撮影した複数の画像を拡大して再生して比較することにより、よい表情の顔や眼の閉じていない顔が撮影されているベストショットを探す場合において有効である。

よって、本実施形態の撮像装置１００によれば、再生コマ送り又はコマ戻し操作によって、複数の画像それぞれの所望の表示領域を拡大した画像を表示することができる。

なお、ステップＳ１２５の処理の後に、画像処理部９が、操作入力部８において拡大ボタン（或いは縮小ボタン）が操作されたと判定された場合には、ステップＳ１０３の処理に進み、拡大ボタン（或いは縮小ボタン）の操作に応じた表示領域に設定しなおして、表示部６１に表示させてもよい。

（表示領域設定処理の別の例）
次に、図５から図８を参照して、撮像装置１００における画像の表示領域設定処理についての別の例を説明する。

図５は、第１の画像の第１表示領域内の主要被写体の画像にマッチングする画像が、第２の画像では第２の画像の画像領域の端に位置する場合に、表示領域設定部９３が設定する第２の画像の第２表示領域の一例を示している。

図５（ａ）は、第１の画像の全体の画像領域（符号２００）と、主要被写体（符号４００）の画像と、第１表示領域（符号２０１）とを示している。この図においては、図３の（ａ）と同様に、第１の画像の全体の画像領域（符号２００）内に主要被写体（符号４００）の画像が含まれている。また、表示領域設定部９３は、主要被写体（符号４００）の画像を拡大して表示するための拡大操作に応じて、主要被写体（符号４００）の画像が含まれる第１表示領域（符号２０１）を設定する。

図５（ｂ）は、再生コマ送りにより再生される次のコマの画像である第２の画像の全体の画像領域（符号２１０）と、主要被写体（符号４００）の画像と、第２表示領域（符号２１３）とを示している。この図においては、第２の画像の全体の画像領域（符号２１０）内において第１の画像とは異なる左端の位置に主要被写体（符号４００）の画像が含まれている。

この場合、第２の画像において主要被写体（符号４００）の画像の周囲何れかの画像領域が少ない（この例では左側の画像領域が少ない）ため、表示領域設定部９３は、第２の画像において第２表示領域内の中心付近に主要被写体（符号４００）の画像が位置するように設定することができない場合がある。すなわち、表示領域設定部９３は、第１の画像における第１表示領域（符号２０２）内の中心付近の位置に主要被写体（符号４００）の画像が位置するのと同じように、第２の画像において第２表示領域内の中心付近に主要被写体（符号４００）の画像が位置するように設定することができない場合がある。

そこで、表示領域設定部９３は、第２の画像において主要被写体（符号４００）の画像が少なくとも含まれるように第２表示領域（符号２１３）を設定する。例えば、図５（ｂ）に示すように、表示領域設定部９３は、第２の画像において主要被写体（符号４００）の画像がなるべく中心付近に位置するように、第２の画像の全体の画像領域（符号２１０）の左端に第２表示領域（符号２１３）の左端を合わせて設定する。

このように、表示領域設定部９３は、第２の画像において、照合部９２の照合結果により第１表示領域（符号２０２）内の画像とマッチング（合致）する画像（主要被写体（符号４００）の画像）が含まれる領域を、第２表示領域（符号２１３）として設定する。例えば、表示領域設定部９３は、第２の画像において、第１の画像における第１表示領域の位置（座標）とは異なる左端の位置（座標）にマッチング（合致）する画像（主要被写体（符号４００）の画像）が含まれる場合、マッチング（合致）する画像の領域を含む位置（座標）、且つ第２の画像の全体の画像領域（符号２１０）の左端に合わせた位置（座標）に変更した表示領域を、第２表示領域（符号２１３）として設定する。

これにより、画像処理部９は、第２の画像において、第１の画像における第１表示領域の位置（座標）とは異なる端の位置（座標）にマッチング（合致）する画像（主要被写体（符号４００）の画像）が含まれる場合であっても、第２の画像の全体の画像領域のうち、マッチング（合致）する画像が含まれる第２表示領域を適切に設定することができる。よって、画像処理部９は、再生コマ送り又はコマ戻しボタンが操作されたことに応じて再生する複数の画像を、各画像のユーザが期待する拡大中心位置（画像における主要被写体画像の位置（座標））を拡大して表示部６１に表示させることができる。

図６は、第１の画像の第１表示領域内の主要被写体の画像にマッチングする画像の画像領域が、第２の画像では第１の画像に対比して大きい場合（例えば、第１の画像を撮影したときの主要被写体の位置よりも第２の画像を撮影したときの主要被写体の位置の方が撮像装置１００に近い場合）に、表示領域設定部９３が設定する第２の画像の第２表示領域の一例を示している。

図６（ａ）は、第１の画像の全体の画像領域（符号２００）と、主要被写体（符号４００）の画像と、第１表示領域（符号２０１）とを示している。この図においては、図３の（ａ）と同様に、第１の画像の全体の画像領域（符号２００）内に主要被写体（符号４００）の画像が含まれている。また、表示領域設定部９３は、主要被写体（符号４００）の画像を拡大して表示するための拡大操作に応じて、主要被写体（符号４００）の画像が含まれる第１表示領域（符号２０１）を設定している。

図６（ｂ）は、再生コマ送りにより再生される次のコマの画像である第２の画像の全体の画像領域（符号２１０）と、主要被写体（符号４００）の画像と、第２表示領域（符号２１４）とを示している。この図において、第２の画像の全体の画像領域（符号２１０）内において、第１画像内の主要被写体（符号４００）の画像領域に対比して大きい画像領域の主要被写体（符号４００）の画像が、第１の画像とは異なる位置に含まれている。

このように、第１の画像に対して第２の画像の主要被写体（符号４００）の画像の画像領域が大きい場合には、第２の画像において第１表示領域（符号２０２）と同じ大きさの表示領域では、主要被写体（符号４００）の画像をユーザの期待するように適切に表示できない場合がある。例えば、第２の画像において主要被写体（符号４００）の画像の領域が第１表示領域（符号２０２）の大きさよりも大きいことにより、主要被写体（符号４００）の画像のうちの僅かな領域しか表示できない場合がある。

そこで、表示領域設定部９３は、第２の画像において主要被写体（符号４００）の画像領域の大きさに応じた大きさの第２表示領域（符号２１４）を設定する。例えば、図５（ｂ）に示すように、表示領域設定部９３は、第２の画像において主要被写体（符号４００）の画像がなるべく中心付近に位置するよう設定するとともに、第２の画像の主要被写体（符号４００）の画像領域の大きさに応じた大きさに変更した第２表示領域（符号２１４）を設定する。

このように、表示領域設定部９３は、第２の画像において、照合部９２の照合結果により第１表示領域（符号２０２）内の画像とマッチング（合致）する画像が含まれる領域、且つマッチング（合致）する画像の領域の大きさに応じた領域を、第２表示領域（符号２１４）として設定する。

例えば、表示領域設定部９３は、第２の画像における主要被写体（符号４００）の画像の領域が第１の画像における主要被写体（符号４００）の画像の領域の大きさよりも大きい場合、主要被写体（符号４００）の画像の領域が含まれる領域に位置（座標）を変更した表示領域、且つ主要被写体（符号４００）の画像の領域の大きさに応じた大きい表示領域を、第２表示領域（符号２１４）として設定する。

これにより、画像処理部９は、第２の画像において、第１の画像の第１表示領域内の画像とマッチング（合致）する画像（主要被写体（符号４００）の画像）の領域が第１表示領域の大きさよりも大きい場合であっても、第２の画像の全体の画像領域のうち、マッチング（合致）する画像が含まれる第２表示領域を適切に設定することができる。よって、画像処理部９は、再生コマ送り又はコマ戻しボタンが操作されたことに応じて再生する複数の画像を、各画像のユーザが期待する拡大中心位置（画像における主要被写体画像の位置（座標））を拡大して表示部６１に表示させることができる。

なお、図６を用いて、表示領域設定部９３が、マッチング（合致）する画像の大きさに応じて第２表示領域を第１表示領域よりも大きい領域に設定する例について説明したが、これに限られるものではない。例えば、表示領域設定部９３は、マッチング（合致）する画像の大きさに応じて第２表示領域を第１表示領域よりも小さい領域に設定してもよい。

図７は、主要被写体が複数の場合に、表示領域設定部９３が設定する第２の画像の第２表示領域の一例を示している。ここでは、図７を参照して、２人の人物が主要被写体（符号４０１、４０２）である例として説明する。

図７（ａ）は、第１の画像の全体の画像領域（符号２００）と、主要被写体（符号４０１、４０２）の画像と、第１表示領域（符号２０２）とを示している。この図において図３の（ａ）と異なるのは、第１の画像の全体の画像領域（符号２００）内に２人の人物の主要被写体（符号４０１、４０２）の画像が含まれている点である。表示領域設定部９３は、主要被写体（符号４０１、４０２）の画像を拡大して表示するための拡大操作に応じて、主要被写体（符号４０１、４０２）の画像が含まれる第１表示領域（符号２０２）を設定している。

図７（ｂ）は、再生コマ送りにより再生される次のコマの画像である第２の画像の全体の画像領域（符号２１０）と、２人の人物の主要被写体（符号４０１、４０２）の画像と、第２表示領域（符号２１５）とを示している。この図において、第２の画像の全体の画像領域（符号２１０）内において第１の画像とは異なる位置に２人の人物の主要被写体（符号４０１、４０２）の画像が含まれている。

また、表示領域設定部９３が設定する第２表示領域（符号２１５）は、拡大操作に応じて設定された第１の画像の第１表示領域（符号２０２）内の画像（主要被写体（符号４０１、４０２）の画像）とマッチングした画像（主要被写体（符号４０１、４０２）の画像）が含まれる領域になるように、第１表示領域（符号２０２）から位置（座標）を変更した領域である。例えば、図７（ｂ）に示すように、表示領域設定部９３は、第１の画像における第１表示領域（符号２０２）内の中心付近の位置に主要被写体（符号４００）の画像が位置するのと同じように、第２の画像において主要被写体（符号４００）の画像が中心付近に位置するように第２表示領域（符号２１５）を設定する。

すなわち、表示領域設定部９３は、図３に示す１人の人物が主要被写体である例と同様に、第２の画像において、照合部９２の照合結果により第１表示領域（符号２０２）内の画像とマッチング（合致）する画像（主要被写体（符号４０１、４０２）の画像）が含まれる領域、且つ第１表示領域（符号２０２）の大きさに応じた領域を、第２表示領域（符号２１５）として設定する。

これにより、画像処理部９は、第１の画像の第１表示領域内の画像に複数の主要被写体の画像が含まれる場合であっても、第２の画像の全体の画像領域のうち、複数の主要被写体の画像とマッチング（合致）する画像が含まれる第２表示領域を適切に設定することができる。よって、画像処理部９は、再生コマ送り又はコマ戻しボタンが操作されたことに応じて再生する複数の画像を、各画像のユーザが期待する拡大中心位置（画像における主要被写体画像の位置（座標））を拡大して表示部６１に表示させることができる。

なお、図７を用いて、２人の人物が主要被写体である場合の例を説明したが、複数の主要被写体は、３人以上の複数の人物であってもよい。また、複数の主要被写体の場合も、図５を用いて説明した処理、又は図６を用いて説明した処理を適用することができる。

なお、抽出部９１は、２人の人物の主要被写体（符号４０１、４０２）の画像のそれぞれをテンプレート画像として抽出してもよいし、２人の人物の主要被写体（符号４０１、４０２）の画像の両方を含む画像をテンプレート画像として抽出してもよい。そして、照合部９２は、抽出部９１が抽出した２人の人物の主要被写体（符号４０１、４０２）のそれぞれのテンプレート画像を用いて照合してもよいし、抽出部９１が抽出した２人の人物の主要被写体（符号４０１、４０２）の画像の両方を含むテンプレート画像を用いて照合してもよい。

図８は、複数の主要被写体の場合の別の例を示している。ここでは、図８を参照して、２人の人物の主要被写体（符号４０３、４０４）が互いに異なる位置に移動した場合の例を説明する。

図８（ａ）は、第１の画像の全体の画像領域（符号２００）と、主要被写体（符号４０３、４０４）の画像と、第１表示領域（符号２０３）とを示している。この図において図７の（ａ）と異なるのは、第１の画像の全体の画像領域（符号２００）内の２人の人物の主要被写体（符号４０３、４０４）の画像の大きさが互いに異なる（すなわち、撮像装置１００に対する距離が異なる）点である。表示領域設定部９３は、主要被写体（符号４０３、４０４）の画像を拡大して表示するための拡大操作に応じて、主要被写体（符号４０３、４０４）の画像が含まれる第１表示領域（符号２０３）を設定している。

ここで、抽出部９１は、２人の人物の主要被写体（符号４０３、４０４）の画像それぞれをテンプレート画像として抽出する。そして、照合部９２は、抽出部９１が抽出したテンプレート画像それぞれを照合するものとする。また、表示領域設定部９３は、２人の人物の主要被写体（符号４０３、４０４）のうち、画像領域の大きい方（撮像装置１００に対する距離が近い方）の主要被写体（符号４０４）を、主要被写体（符号４０３）より重要度の高い被写体として判定するものとする。

図８（ｂ）は、再生コマ送りにより再生される次のコマの画像である第２の画像の全体の画像領域（符号２１０）と、２人の人物の主要被写体（符号４０３、４０４）の画像と、第２表示領域（符号２１６）とを示している。この図において、第２の画像の全体の画像領域（符号２１０）内において第１の画像とは異なる位置に２人の人物の主要被写体（符号４０３、４０４）の画像が含まれており、且つ主要被写体（符号４０３）と主要被写体（符号４０４）との画像が離れた位置（座標）に移動している。

また、表示領域設定部９３が設定する第２表示領域（符号２１６）は、拡大操作に応じて設定された第１の画像の第１表示領域（符号２０３）内の画像（主要被写体（符号４０３、４０４）の画像）のうち、重要度の高い主要被写体（符号４０４）の画像とマッチングした画像（主要被写体（符号４０４）の画像）が含まれる領域になるように、第１表示領域（符号２０３）から位置（座標）を変更した領域である。例えば、図８（ｂ）に示すように、表示領域設定部９３は、第１の画像の第１表示領域（符号２０３）内には主要被写体（符号４０３）の画像と主要被写体（符号４０４）の画像とが含まれるように設定するのに対して、第２の画像の第２表示領域（符号２１６）内には重要度の高い主要被写体（符号４０４）の画像が優先して含まれるように設定する。

これにより、画像処理部９は、第１の画像の第１表示領域内の画像に複数の主要被写体の画像が含まれる場合であって、それら複数の主要被写体の画像が第２の画像において第１表示領域の大きさの範囲内に収まらない位置（座標）に離れた場合であっても、複数の主要被写体のうち重要度の高い主要被写体の画像とマッチング（合致）する画像が含まれる第２表示領域を適切に設定することができる。つまり、画像処理部９は、ユーザにとって重要度の高い主要被写体の画像を追従して拡大表示するように表示領域を設定することができる。よって、画像処理部９は、再生コマ送り又はコマ戻しボタンが操作されたことに応じて再生する複数の画像を、各画像のユーザが期待する拡大中心位置（画像における主要被写体画像の位置（座標））を拡大して表示部６１に表示させることができる。

なお、図８を用いて、複数の主要被写体のうち、主要被写体の画像の領域の大きさが大きい方を、重要度の高い主要被写体とする例を説明したが、重要度の高い主要被写体とする条件は、主要被写体の画像の領域の大きさに限られるものではない。例えば、ユーザが予め設定した主要被写体を重要度の高い主要被写体としてもよいし、第１の画像と第２の画像とにおいて、位置（座標）の変化が少ない方（移動が少ない方）の主要被写体を重要度の高い主要被写体としてもよい。

また、画像処理部９は、第２の画像の第２表示領域の大きさを、複数の主要被写体の画像とマッチング（合致）する画像が含まれるように変更してもよい。

（表示領域設定処理の別の動作例）
次に、図９を参照して、撮像装置１００における画像の表示領域設定処理の別の動作例について説明する。図９は、図４に示す処理とは異なる表示領域設定処理の例を示すフローチャートであり、照合部９２がサムネイル画像を用いてテンプレートマッチング処理をすることが、図４に示す処理と異なる。ここで、サムネイル画像とは、再生して表示部６１に表示させる画像（例えば、第１の画像又は第２の画像）のデータ量を縮小した画像である。例えば、サムネイル画像は、画像の画像領域は同じであって、画像を構成する画素密度を小さくすることによりデータ量を縮小した画像である。例えば、記憶媒体１５０に記憶されている画像のデータファイルには、画像とその画像のサムネイル画像とのデータが関連付けられている。

なお、図９に示す処理は、図４のステップＳ１０５、Ｓ１１１、Ｓ１１２の処理に代えて、ステップＳ１０７、Ｓ１０８、Ｓ１１４、Ｓ１１５の処理を実行する点と、加えてステップＳ１２４の処理を実行する点とが図４に示す処理と異なる。図９において図４に対応する処理には同一の符号を付けており、その説明を省略する。

表示制御部６は、第１の画像の拡大表示として、表示領域設定部９３が設定した第１表示領域の画像を表示部６１に表示させた後（ステップＳ１０４）、ステップＳ１０７に処理を進める。

ステップＳ１０７において、抽出部９１は、記憶媒体に記憶されている画像のデータファイルから、第１の画像のサムネイル画像（第３の画像）を読み出す。なお、抽出部９１は、第１の画像から第１の画像のサムネイル画像を生成してもよい。

次に、抽出部９１は、第１の画像の第１表示領域に対応するサムネイル画像の画像領域（第３領域、第３表示領域）内に含まれる画像を、テンプレート画像として抽出する（ステップＳ１０８）。例えば、抽出部９１は、第１の画像の第１表示領域に対応するサムネイル画像の画像領域内に含まれる主要被写体画像をテンプレート画像として抽出する。なお、拡大操作がされていない場合は、第１の画像の全体の画像領域が第１表示領域であって、第１の画像の第１表示領域に対応するサムネイル画像の画像領域は、サムネイル画像の全体の画像領域である。

次に、画像処理部９は、操作入力部８において再生コマ送り又はコマ戻しボタンが操作されたか否かを判定する（ステップＳ１１０）。

ステップＳ１１０において、再生コマ送り又はコマ戻しボタンが操作されたと判定された場合、画像処理部９は、再生コマ送り又はコマ戻し操作に応じて第２の画像を、記憶媒体部７を介して記憶媒体１５０から読み出す。また、抽出部９１は、第２の画像のサムネイル画像（第４の画像）を読み出す（ステップＳ１１４）。

次に、照合部９２は、読み出した第２の画像のサムネイル画像に対して、抽出部９１がテンプレート画像として抽出した、第１の画像の第１表示領域に対応するサムネイル画像の画像領域内の画像を用いてテンプレートマッチング処理を実行する（ステップＳ１１５）。そして、照合部９２は、第２の画像のサムネイル画像内にテンプレート画像とマッチング（合致）する画像があるか否かを判定する（ステップＳ１２０）。

ステップＳ１２０において、第２の画像のサムネイル画像内にテンプレート画像とマッチング（合致）する画像があると判定された場合、表示領域設定部９３は、第１の画像における第１表示領域の拡大率（現在の表示領域の拡大率）を維持し、且つ第２の画像のサムネイル画像内（読み出した画像内）においてマッチング（合致）した画像が含まれる位置（座標）を、第２の画像のサムネイル画像の表示領域（読み出した画像の表示領域）として設定する（ステップＳ１２１）。また、抽出部９１は、照合部９２の照合結果により、第２の画像のサムネイル画像においてマッチング（合致）した画像を、新たなテンプレート画像として更新する（ステップＳ１２２）。そして、画像処理部９は、ステップＳ１２４に処理を進める。

一方、ステップＳ１２０において、第２の画像のサムネイル画像内にテンプレート画像とマッチング（合致）する画像がないと判定された場合、表示領域設定部９３は、第１の画像における第１表示領域の拡大率及び拡大中心位置（座標）を、第２の画像のサムネイル画像の表示領域（読み出した画像の表示領域）として設定する（ステップＳ１２３）。そして、画像処理部９は、ステップＳ１２４に処理を進める。

ステップＳ１２４において、表示領域設定部９３は、ステップＳ１２０の判定結果に応じて表示領域設定部９３がステップＳ１２１又はステップＳ１２３において設定したサムネイル画像の表示領域の何れかに対応する領域を、第２の画像の第２表示領域として設定する。

続いて、表示制御部６は、ステップＳ１２０の判定結果に応じて表示領域設定部９３が設定した第２表示領域により、第２の画像の第２表示領域の画像を表示部６１に表示させる（ステップＳ１２５）。つまり、表示制御部６は、表示領域設定部９３がステップＳ１２１又はステップＳ１２３において設定したサムネイル画像の表示領域の何れかに対応する第２表示領域により、ステップＳ１１１において読み出した第２の画像を拡大して表示部６１に表示させる。

このように、照合部９２は、第１の画像のデータ量を縮小したサムネイル画像（第３の画像）と、第２の画像のデータ量を縮小したサムネイル画像（第４の画像）とを用いて照合する。そして、表示領域設定部９３は、照合部９２がサムネイル画像を用いて照合した照合結果に基づくサムネイル画像の画像領域に対応する領域を、第２の画像の第２表示領域を設定する。

これにより、画像処理部９は、照合部９２におけるテンプレートマッチング処理を、データ量を縮小したサムネイル画像を用いて実行するため、処理時間を短縮することができる。

なお、ステップＳ１０７のサムネイル画像を読み出す処理は、ステップＳ１０１の処理において実行してもよい。すなわち、画像処理部９が、操作入力部８において拡大ボタンが操作されたか否かを判定する前に、記憶媒体１５０から第１の画像を読み出す際にサムネイル画像を読み出してもよい。

以上説明してきたように、第１実施形態によれば、再生コマ送り又はコマ戻し操作によって、複数の画像それぞれの所望の表示領域を拡大した画像を表示することができる。よって、本実施形態によれば、複数の画像において所望の領域を得ることができる。

なお、上記第１実施形態では、再生コマ送り又はコマ戻し操作に応じた１コマ再生の場合の表示領域設定処理を例に説明したが、これに限られるものではない。例えば、上記実施形態で説明した表示領域設定処理は、複数の画像を所定の時間間隔で順次再生して表示するスライドショー再生や、１画面の中に複数の画像を表示するマルチ再生などにおいても同様に適用することができる。

また、上記第１実施形態では、撮像装置１００が拡大操作に応じて第１の画像を拡大して表示する場合の表示領域設定処理を例に説明したが、これに限られるものではない。例えば、撮像装置１００は、拡大操作に代えて、第１の画像に含まれる画像（例えば主要被写体の画像）に基づいて第１の画像の第１表示領域を設定し、設定した第１表示領域の画像を表示（拡大表示）してもよい。例えば、撮像装置１００は、第１の画像から抽出した主要被写体の画像（例えば顔検出により抽出した顔画像）の領域の大きさに基づいて、抽出した主要被写体の画像を拡大して表示する第１表示領域を設定してもよい。具体的には、ステップＳ１０２、Ｓ１０３の拡大操作に応じて第１表示領域を設定する処理に代えて、第１の画像に含まれる主要被写体の画像の領域に応じて、第１表示領域の大きさ（すなわち、第１の画像を拡大して表示する際の拡大率）を設定する処理としてもよい。

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。第１実施形態では、画像を再生する際の表示領域を設定する表示領域設定処理を説明したが、第２実施形態では、画像を撮影する際の撮影領域を設定する撮影領域設定処理について説明する。

従来の撮像装置では、例えば、流し撮り撮影や主要被写体が移動している場合の撮影では、撮影タイミングにより主要被写体が画角の中心付近の位置から外れることがある。或いは、画角から外れてしまい撮影した画像に主要被写体が撮影されないことがある。

例えば、撮像素子を介して撮影したスルー画像（ライブビュー画像）を表示している場合において、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）のターゲットとして追尾する主要被写体をロックした後に、追尾する主要被写体の画角に対する移動に応じて、主要被写体領域を示す追尾枠の表示を移動する処理がある。しかしながら、ＡＦ枠が主要被写体を追従する３Ｄトラキング撮影や、テンプレートマッチング機能によりターゲット追尾撮影を行う場合、移動する主要被写体を画角中心付近に位置するように撮影しようとすると、ユーザが主要被写体の移動に合わせてカメラの向きを変更するタイミングが遅れて、主要被写体が画角中心付近から外れて撮影されてしまうこと、又は主要被写体が画角から外れてしまい撮影した画像に主要被写体が撮影されないことがあった。

ゆえに、追尾枠が撮影領域の中心付近の位置になるように移動するためには、ユーザが撮像装置の向きを手動で変更する必要があった。例えば、ユーザが子供や動物など移動する被写体を主要被写体として追いかけて撮影する際には、ユーザが主要被写体の動作を予測して撮像装置の向きを変えながら撮影する必要があった。また、静止画像又は動画像を撮影した際に主要被写体が中心付近の位置から外れて撮影された場合、撮影された画像において被写体が中心付近の位置となるようにするために、撮影後に手動でトリミング等の画像編集を行う手間がかかった。

このように、連続して撮影する複数のフレーム画像（例えばスルー画像の各フレーム画像）において、主要被写体が移動している場合、各フレーム画像において所望の領域を容易に撮影することができない場合があった。そのため、主要被写体の移動に応じて、各フレーム画像において所望の撮影領域の画像を容易に撮影することができる撮像装置が望まれている。

そこで、第２実施形態の撮像装置１００は、複数のフレーム画像において主要被写体の画像が中心付近の位置になるように撮影領域を設定する。例えば、撮像装置１００は、撮像素子２２の全画素領域（有効画素領）のうち全画素領域よりも小さい領域を、スルー画像（ライブビュー画像）として撮影する撮影領域（撮影サイズ）として設定する。そして、撮像装置１００は、撮像素子２２の全画素領域（有効画素領）のうち、主要被写体の画像が中心付近の位置になるように撮影領域の位置（座標）を設定する。

図１０は、撮像素子における撮影領域を説明する図である。この図１０において、符号２５０が示す領域は撮像素子２２の全画素領域（有効画素領）である。これに対し、符号２５１が示す領域は、全画素領域よりも小さい領域であり、撮像素子２２を介して取得するスルー画像（ライブビュー画像）の撮影領域（実際に撮影する撮影領域、撮影して表示する領域）である。

なお、撮像装置１００は、全画素領域よりも小さい領域（符号２５１）を撮影領域して画像を撮影することが可能であるとともに、撮像素子２２の全画素領域（符号２５０）による画像を取得（撮影）してもよい。

また、例えば、撮像素子２２が３５ｍｍサイズ（フルサイズ）相当の素子である場合、全画素領域に応じた撮影領域を３５ｍｍサイズ相当の撮影領域とし、全画素領域よりも小さい撮影領域をＡＰＳ−Ｃサイズ相当の撮影領域としてもよい。また、全画素領域よりも小さい撮影領域は、ＡＰＳ−Ｃサイズ相当の撮影領域に限られるものではなく、他の所定の大きさの撮影領域としてもよい。また、全画素領域に応じた撮影領域は３５ｍｍサイズ相当の撮影領域以外の大きさの撮影領域であってもよい。

撮像装置１００は、上述した主要被写体の画像が中心付近の位置になるように撮影領域を設定する処理を行う場合には、撮像素子２２の全画素領域に応じた撮影領域よりも小さい撮影領域を、スルー画像（ライブビュー画像）として撮影して表示する撮影領域として設定する。そして、撮像装置１００は、時間の経過にともなって順次撮影したフレーム画像において、各フレーム画像に含まれる主要被写体の画像の位置（座標）に基づいて、主要被写体の画像が中心付近の位置になるように、全画素領域のうちの撮影領域の位置（座標）を設定する。

ここで、第２実施形態においては、時間の経過にともなって順次撮影したフレーム画像のうち、ｎ番目のフレーム画像を第１の画像とし、（ｎ＋１）番目フレームの画像を第２の画像とする（ｎは自然数）。例えば、撮像装置１００は、時間の経過にともなって順次撮影したフレーム画像において、第１の画像の撮影領域（以下、第１撮影領域と称する）に含まれる主要被写体の画像の位置（座標）に基づいて、第１の画像の次のフレーム画像である第２の画像の第２撮影領域の位置（全画素領域のうちの第２撮影領域の位置（座標））を、主要被写体の画像が中心付近の位置になるように設定する。

以下、図１１参照して、第２実施形態の撮像装置１００の構成について説明する。
図１１は、第２実施形態による撮像装置１００の構成を示す概略ブロック図である。図１１に示す構成は、図１に示す構成に対して、画像処理部９が表示領域設定部９３に代えて撮影領域設定部９４と誘導部９５とを備えている点が異なる。なお、図１１において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。

撮影領域設定部９４（領域設定部）は、画像の領域を設定する。例えば、撮影領域設定部９４は、画像の領域として、撮像素子２２の全画素領域によって撮影可能な画像の全領域のうちのスルー画像（ライブビュー画像）として撮影する画像の撮影領域を設定する。ここで、スルー画像（ライブビュー画像）として撮影する画像の撮影領域とは、撮像素子２２の全画素領域のうち全画素領域よりも小さい領域であり、以下の説明において、単にスルー画像の撮影領域とも称する。

例えば、このスルー画像の撮影領域は、撮像装置１００の撮影モードのうち少なくとも１つの撮影モードにおいて、全画素領域よりも小さい領域（例えば、図１０に示す符号２５１の領域）として予め定められている。一例として、撮像装置１００は、主要被写体を追尾して撮影する撮影モード（以下、追尾アシストモードと称する）において、全画素領域よりも小さい領域（符号２５１）をスルー画像の撮影領域として撮影する。

具体的には、撮影領域設定部９４は、撮影モードが追尾アシストモードに設定された場合、撮影する第１の画像の第１撮影領域を設定するとともに、第１の画像の第１撮影領域内の画像に基づいて、撮影する第２の画像の第２撮影領域を設定する。

例えば、撮影領域設定部９４は、操作入力部８においてモードダイヤルが操作されることにより撮影モードが追尾アシストモードに設定された場合、スルー画のフレーム画像である第１の画像（例えば全画素領域から取得する画像）において、全画素領域よりも小さい予め定められた撮影領域（例えば、図１０に示す符号２５１の領域）の大きさの第１撮影領域を設定する。また、撮影領域設定部９４は、第１の画像の第１撮影領域内の画像に基づいて、次のフレーム画像である第２の画像の第２撮影領域を設定する。

例えば、撮影領域設定部９４は、照合部９２の照合結果に基づいて、第２の画像（例えば全画素領域から取得した画像）において、第１の画像の第１撮影領域内の画像とマッチング（合致）する画像が含まれる領域を、第２撮影領域として設定する。例えば撮影領域設定部９４は、第１の画像の第１撮影領域に対して第２の画像の第２撮影領域を、第１の画像の第１撮影領域内の画像とマッチングした画像が含まれる領域に変更する。

また、撮影領域設定部９４は、照合部９２の照合結果に基づいて、第１の画像の第１撮影領域内の画像とマッチング（合致）する画像が含まれる領域、且つ第１撮影領域の大きさに応じた領域を、第２の画像の第２撮影領域として設定する。例えば、撮影領域設定部９４は、第１の画像の第１撮影領域に対して第２の画像の第２撮影領域を、第１撮影領域と同じ大きさの領域とし、且つ第１の画像の第１表示領域内の画像とマッチングした画像が含まれる座標に領域を変更する。

また、例えば、撮影領域設定部９４は、第１の画像の第１撮影領域に対して第２の画像の第２撮影領域を、第１撮影領域と同じ大きさの領域とし、且つ第１の画像の第１表示領域内の画像とマッチングした画像が、第２撮影領域の中心付近の位置（座標）になるように領域を変更する。

なお、撮影領域設定部９４が設定する画像の撮影領域は、例えば上述したように、スルー画像（ライブビュー画像）におけるフレーム画像の撮影領域である。表示制御部６は、撮像素子２２により時間の経過に伴って順次撮影されたスルー画像（ライブビュー画像）、におけるフレーム画像である第１の画像の第１撮影領域の画像と、第２の画像の第２撮影領域の画像と、を順次表示部６１に表示させる。

なお、撮像装置１００は、上述のスルー画像（ライブビュー画像）におけるフレーム画像の撮影領域によって、動画像の記録処理を行ってよい。例えば、記憶媒体部７は、撮像素子２２により時間の経過に伴って順次撮影された動画記録用の動画像におけるフレーム画像である第１の画像の第１撮影領域の画像と、第２の画像の第２撮影領域の画像と、を動画像として順次記憶媒体１５０に記憶させてもよい。

誘導部９５は、撮像素子２２の全画素領域によって撮影可能な画像の全領域に対する第２撮影領域の位置に基づいて、全画素領域（全領域）に対する第２撮影領域の位置が中央の位置になる方向に撮像装置１００の向きを誘導する。

例えば、誘導部９５は、撮像素子２２の全画素領域に対する第２撮影領域の位置が中央の位置になる方向にユーザが撮像装置１００の向きを変えられるように誘導する誘導情報を表示情報として生成し、生成した誘導情報を表示部６１に表示させる。なお、誘導部９５は、上述の誘導情報を音声情報として生成し、生成した誘導情報をスピーカ（不図示）から出力させてもよい。

（撮影領域設定処理の説明）
次に、上述したように構成された第２実施形態の撮像装置１００における画像の撮影領域設定処理について、図１２及び図１３を参照して詳しく説明する。
図１２は、追尾アシストモードにおいてスルー画像（ライブビュー画像）を撮影する場合の、任意のフレーム画像である第１の画像を撮影するタイミングにおける、撮像素子２２の全画素領域（符号２５０）と、主要被写体（符号４１１、４１２）の画像と、第１の画像の第１撮影領域（符号２５１）と、を示している。

撮影領域設定部９４は、撮像素子２２の全画素領域（符号２５０）よりも小さい領域の第１撮影領域（符号２５１）を設定する。また、撮影領域設定部９４は、この第１撮影領域（符号２５１）の位置（座標）を、ユーザがＡＦのターゲットとしてロックした主要被写体（符号４１１、４１２）の画像が含まれるように設定する。

図１３は、図１２に示す第１の画像の次のフレーム画像である第２の画像を撮影するタイミングにおける、撮像素子２２の全画素領域（符号２５０）と、主要被写体（符号４１１、４１２）の画像と、第２の画像の第２撮影領域（符号２５２）と、を示している。また、図１３に示す主要被写体（符号４１１、４１２）の画像の位置（座標）は、図１２に示す主要被写体（符号４１１、４１２）の画像の位置（座標）から移動している。

撮影領域設定部９４は、撮像素子２２の全画素領域（符号２５０）よりも小さい領域であって第１撮影領域と同じ大きさの領域である第２撮影領域（符号２５２）を設定する。また、撮影領域設定部９４は、この第２撮影領域（符号２５２）の位置（座標）を、第１の画像の第１撮影領域内の主要被写体（符号４１１、４１２）の画像とマッチング（合致）した画像（主要被写体（符号４１１、４１２）の画像）を中央付近に位置するように、第１撮影領域の位置（座標）から変更した位置（座標）に設定する。

このように、撮影領域設定部９４は、追尾アシストモードにおいてスルー画像（ライブビュー画像）を撮影する場合、第１の画像の第１撮影領域（符号２５１）内の画像に基づいて、第２の画像の第２撮影領域（符号２５２）を設定する。例えば、撮影領域設定部９４は、照合部９２の照合結果に基づいて、第１の画像の第１撮影領域（符号２５１）内の画像（例えば主要被写体（符号４００）の画像）とマッチングする画像（例えば主要被写体（符号４１１、４１２）の画像）が含まれる領域を、第２の画像の第２撮影領域（符号２５２）として設定する。

また、撮影領域設定部９４は、第２の画像において、照合部９２の照合結果により第１撮影領域（符号２５１）内の画像とマッチング（合致）する画像（主要被写体（符号４１１、４１２）の画像）が含まれる領域、且つ第１撮影領域（符号２５１）の大きさに応じた領域を、第２撮影領域（符号２５２）として設定する。

具体的には、撮影領域設定部９４は、第２の画像において、第１の画像とは異なる位置に主要被写体（主要被写体（符号４１１、４１２）の画像が含まれている場合、第１の画像における第１撮影領域（符号２５１）の大きさを維持したまま、第２の画像においてマッチング（合致）する画像が含まれる領域に位置（座標）を変更した表示領域を、第２表示領域（符号２５２）として設定する。

これにより、撮像装置１００は、時間の経過に伴って撮影するスルー画像のフレーム画像（第１の画像と第２の画像と）において主要被写体画像の位置が移動する場合であっても、第１の画像を撮像する際にＡＦのターゲットとしてロックした主要被写体の画像が含まれる第１撮影領域内の画像に基づいて、次のフレーム画像である第２の画像の第２撮影領域を主要被写体画像が含まれるように追従して設定することができる。よって、撮像装置１００は、スルー画像において、主要被写体画像の位置（座標）を追従するように各フレーム画像の撮影領域を設定することができる。

また、従来技術による追尾枠を移動させる機能は、追尾枠の表示自体の煩わしさや追尾枠の挙動の頻繁さによりユーザがストレスを感じることがある。また、撮影する主要被写体に追尾枠を被せるため主要被写体が追尾枠に隠れてしまうことがある。これに対して、撮像装置１００は、追尾枠を表示しないことも可能であり、追尾枠の表示によるストレスを軽減することができるとともに、撮影時に主要被写体が追尾枠に隠れてしまうことなく表示部６１の表示を確認しながら撮影することができる。

なお、図１２及び図１３を用いて、撮影領域設定部９４が主要被写体の画像の位置に応じて撮影領域の位置（座標）を移動させる例を説明したが、撮影領域設定部９４は主要被写体の画像の大きさに応じて撮影領域の大きさを変更してもよい。また、撮影領域設定部９４は、複数の主要被写体の画像のうち重要度の高い主要被写体の画像の位置に応じて撮影領域の位置（座標）を移動させてもよい。また、撮影領域設定部９４は、主要被写体の画像の位置が全画素領域の端の位置の場合、主要被写体の画像が中央付近の位置にならなくとも、主要被写体の画像が含まれるように全画素領域の端の位置にあわせた撮影領域の位置（座標）に設定してもよい。

（撮影領域設定処理の動作）
次に、図１４を参照して、撮像装置１００における撮影領域設定処理の動作について説明する。図１４は、撮影領域設定処理の動作の一例を示すフローチャートである。

まず、操作入力部８において、モードダイヤルに対して動作モードを撮影モード且つ追尾アシストモードにする操作がされたことに応じて、画像処理部９は、撮影モードを開始する。これにより、画像処理部９は、撮像部２を介して撮影されたスルー画像（ライブビュー画像）を、表示制御部６を介して表示部６１に表示させる（ステップＳ２０１）。

例えば、撮影領域設定部９４は、追尾アシストモードにおいて、予め定められた全画素領域よりも小さい領域であり且つ全画素領域における中央の位置（座標）の領域を、スルー画像を撮影する撮影領域として設定する。画像処理部９は、撮像素子２２の全画素領域の画素から画像を取得する（取り込む）とともに、撮影領域設定部９４が設定した撮影領域の画像をスルー画像におけるフレーム画像として撮影し、撮影したフレーム画像を表示制御部６を介して表示部６１に表示させる。

次に、ユーザによって、操作入力部８に対してＡＦを動作させる操作がされることに応じて、画像処理部９は、ＡＦのターゲットとして追尾する主要被写体をロック（ＡＦロック）する（ステップＳ２０２）。ここでＡＦロックされたタイミングのフレーム画像を第１の画像とし、このフレーム画像の撮影領域を第１撮影領域とする。第１の画像の第１撮影領域（予め定められた撮影領域）内の画像には、ＡＦのターゲットとして追尾する主要被写体の画像が含まれている。

続いて、抽出部９１は、第１の画像の第１撮影領域内に含まれる主要被写体の画像を抽出する（ステップＳ２０３）。また、抽出部９１は、抽出した主要被写体の画像をテンプレート画像として抽出する（ステップＳ２０４）。例えば、抽出部９１は、第１の画像の第１撮影領域内に含まれるＡＦロックした主要被写体の画像をテンプレート画像として抽出する。

次に、画像処理部９は、撮像部２を介して次のフレーム画像である第２の画像を撮像素子２２の全画素領域の画素から取得する（ステップＳ２０５）。照合部９２は、取得した第２の画像に対して、抽出部９１がテンプレート画像として抽出した第１撮影領域内の画像（主要被写体の画像）を用いてテンプレートマッチング処理を実行する（ステップＳ２１０）。そして、照合部９２は、第２の画像内にテンプレート画像とマッチング（合致）する画像があるか否かを判定する（ステップＳ２１１）。

ステップＳ２１１において、第２の画像内にテンプレート画像とマッチング（合致）する画像があると判定された場合、撮影領域設定部９４は、第２の画像内においてマッチング（合致）した画像が中央付近の位置（座標）になるように、第２の画像の第２撮影領域を設定する（ステップＳ２１２）。また、抽出部９１は、照合部９２の照合結果により、第２の画像においてマッチング（合致）した画像を、新たなテンプレート画像として更新する（ステップＳ２１３）。そして、画像処理部９は、ステップＳ２１５に処理を進める。

一方、ステップＳ２１１において、第２の画像内にテンプレート画像とマッチング（合致）する画像がないと判定された場合、撮影領域設定部９４は、現在表示させている第１の画像における第１撮影領域の位置（座標）と同じ領域を、第２の画像の第２撮影領域として設定する（ステップＳ２１４）。そして、画像処理部９は、ステップＳ２１５に処理を進める。

次に、ステップＳ２１５において、表示制御部６は、ステップＳ２１１の判定結果に応じて、撮影領域設定部９４が設定した第２撮影領域の画像を、スルー画像として表示部６１に表示させる。つまり、表示制御部６は、撮影領域設定部９４がステップＳ２１２又はステップＳ２１４において設定した第２撮影領域の画像の何れかを、スルー画像におけるフレーム画像（第２の画像）として、表示部６１に表示させる。

続いて、画像処理部９は、操作入力部８において撮影モードを終了する操作（例えば、モードダイヤルに対して動作モードを撮影モードから他のモードに切り替える操作、又は電源スイッチに対して電源オフする操作）がされたか否かを判定する（ステップＳ２２０）。ステップＳ２２０において、操作入力部８において撮影モードを終了する操作がされていないと判定された場合、画像処理部９は、ステップＳ２０５に処理を戻し、次のフレーム画像を取得する。一方、ステップＳ２２０において、操作入力部８において撮影モードを終了する操作がされたと判定された場合、画像処理部９は、処理を終了する。

このように、画像処理部９は、撮像部２を介して撮影（取得）したスルー画像を表示部６１に表示させる場合、スルー画像のフレーム画像において、第１の画像の第１撮影領域内の画像に基づいて、第２の画像の第２撮影領域を設定する。具体的には、画像処理部９は、第２の画像において、第１の画像の第１撮影領域の画像とマッチング（合致）する画像が含まれる領域を第２撮影領域として設定する。例えば、画像処理部９は、第２の画像において、第１の画像の第１撮影領域の画像とマッチング（合致）する画像が中心付近に位置するように、第２の画像の第２撮影領域を設定する。そして、画像処理部９は、設定した第２撮影領域の画像を、スルー画像におけるフレーム画像（第２の画像）として、表示制御部６を介して表示部６１に表示させる。

これにより、撮像装置１００は、時間の経過に伴って撮影する第１の画像と第２の画像とにおいて（複数のフレーム画像において）、主要被写体画像の位置が移動する場合であっても、第１の画像を撮影する際にＡＦのターゲットとしてロックした主要被写体の画像が含まれるように設定した第１撮影領域内の画像に基づいて、次のフレーム画像である第２の画像の第２撮影領域を主要被写体画像が含まれるように設定して追従することができる。よって、撮像装置１００は、スルー画像において、主要被写体画像の位置（座標）を追従するように各フレーム画像の撮影領域を設定することができる。

なお、主要被写体は、ＡＦのターゲットとしてロックした主要被写体に限らず、例えば、顔検出又は顔認識した被写体、予め設定された被写体、等であってもよい。また、撮影領域設定部９４は、撮影する撮影領域の中心付近の位置に主要被写体の画像が位置するように撮影領域を設定してもよいし、撮影領域内のうちの中心付近から外れた位置に主要被写体の画像が位置するように撮影領域を設定してもよい。例えば、撮影領域設定部９４は、第１の画像の第１表示領域内において、主要被写体の画像が中心付近から外れた位置であった場合、同様に第２の画像の第２撮影領域を、主要被写体の画像が中心付近から外れた位置（第１撮影領域における主要被写体画像の位置と同様の位置）になるように設定してもよい。

（撮影領域設定処理の動作の別例）
次に、図１５を参照して、図１４を用いて説明した処理とは異なる撮影領域設定処理の例について説明する。

図１４に示す例では、撮像素子２２の全画素領域の画素から取得した（取り込んだ）画像に対して、テンプレートマッチング処理を実行することにより、取得した（取り込んだ）画像のうちスルー画像とする撮影領域を設定する撮影領域設定処理を説明した。これに対し、以下に説明する図１５に示す撮影領域設定処理では、撮像素子２２の全画素領域の画素から画像を取得することは行わないで、スルー画像として撮影したフレーム画像の撮影領域の画像に対してテンプレートマッチング処理を実行することにより、次のフレーム画像の撮影領域を設定し、設定した撮影領域により次のフレーム画像を撮影する。

まず、操作入力部８において、モードダイヤルに対して動作モードを撮影モード且つ追尾アシストモードにする操作がされたことに応じて、画像処理部９は、撮影モードを開始する制御を行うことにより、撮像部２を介して撮影されたスルー画像（ライブビュー画像）を、表示制御部６を介して表示部６１に表示させる（ステップＳ３０１）。

例えば、撮影領域設定部９４は、追尾アシストモードにおいて予め定められた全画素領域よりも小さい領域であり、且つ全画素領域における中央の位置（座標）の領域を、スルー画像を撮影する撮影領域として設定する。画像処理部９は、撮像素子２２を介して、撮影領域設定部９４が設定した撮影領域の画像を撮影（取得）するとともに、取得した撮影領域の画像をスルー画像におけるフレーム画像として表示制御部６を介して表示部６１に表示させる。

次に、ユーザによって、操作入力部８に対してＡＦを動作させる操作がされることに応じて、画像処理部９は、ＡＦのターゲットとして追尾する主要被写体をロック（ＡＦロック）する（ステップＳ３０２）。ここでＡＦロックされたタイミングのフレーム画像を第１の画像とする。第１の画像の第１撮影領域（予め定められた撮影領域）内の画像には、ＡＦのターゲットとして追尾する主要被写体の画像が含まれている。

続いて、抽出部９１は、第１の画像の第１撮影領域内に含まれる主要被写体の画像を抽出する（ステップＳ３０３）。また、抽出部９１は、抽出した主要被写体の画像をテンプレート画像として抽出する（ステップＳ３０４）。例えば、抽出部９１は、第１の画像の第１撮影領域内に含まれるＡＦロックした主要被写体の画像をテンプレート画像として抽出する。

次に、画像処理部９は、第１の画像の第１撮影領域に基づいて、次のフレーム画像である第２の画像を、撮像部２を介して撮影（取得）する（ステップＳ３０５）。例えば、撮影領域設定部９４は、第１の画像の第１撮影領域と同じ領域を第２撮影領域として設定する。そして、画像処理部９は、第１の画像の第１撮影領域と同じ領域を第２撮影領域として、次のフレーム画像である第２の画像を取得する。また、画像処理部９は、取得した第２撮影領域の画像をスルー画像におけるフレーム画像（第２の画像）として表示制御部６を介して表示部６１に表示させる（ステップＳ３０６）。

照合部９２は、取得したフレーム画像（第２の画像、第２撮影領域の画像）に対して、抽出部９１がテンプレート画像として抽出した第１撮影領域内の画像（主要被写体の画像）を用いてテンプレートマッチング処理を実行する（ステップＳ３１０）。そして、照合部９２は、第２の画像内にテンプレート画像とマッチング（合致）する画像があるか否かを判定する（ステップＳ３１１）。

ステップＳ３１１において、第２の画像内にテンプレート画像とマッチング（合致）する画像があると判定された場合、撮影領域設定部９４は、第２の画像内においてマッチング（合致）した画像が中央付近の位置（座標）になるような領域を、第２の画像の次のフレーム画像を取得する際の撮影領域として設定する（ステップＳ３１２）。また、抽出部９１は、照合部９２の照合結果により、第２の画像においてマッチング（合致）した画像を、新たなテンプレート画像として更新する（ステップＳ３１３）。そして、画像処理部９は、ステップＳ３１５に処理を進める。

一方、ステップＳ３１１において、第２の画像内にテンプレート画像とマッチング（合致）する画像がないと判定された場合、撮影領域設定部９４は、現在表示させている第２の画像における第２撮影領域の位置（座標）と同じ領域を、第２の画像の次のフレーム画像を取得する際の撮影領域として設定する（ステップＳ３１４）。そして、画像処理部９は、ステップＳ３１５に処理を進める。

次に、ステップＳ３１５において、画像処理部９は、ステップＳ２１１の判定結果に応じて、撮影領域設定部９４が設定した撮影領域により、第２の画像の次のフレーム画像を取得する。

続いて、画像処理部９は、操作入力部８において撮影モードを終了する操作（例えば、モードダイヤルに対して動作モードを撮影モードから他のモードに切り替える操作、又は電源スイッチに対して電源オフする操作）がされたか否かを判定する（ステップＳ３２０）。

ステップＳ３２０において、操作入力部８において撮影モードを終了する操作がされていないと判定された場合、画像処理部９は、ステップＳ３０６に処理を戻し、ステップＳ３１５において取得した、第２の画像の次のフレーム画像を、スルー画像におけるフレーム画像として、表示制御部６を介して表示部６１に表示させる。一方、ステップＳ３２０において、操作入力部８において撮影モードを終了する操作がされたと判定された場合、画像処理部９は、処理を終了する。

このように、図１５に示す処理を用いれば、撮像素子２２の全画素領域の画素から画像を取得することなく、主要被写体の移動に追従した撮影領域により、スルー画像を撮影する。これにより、図１５に示す処理を用いれば、全画素領域の画素から取得した画像に対してマッチング処理を実行した結果に応じてスルー画像の撮影領域の画像を抽出する場合に対比して、取得した画像をスルー画像として表示させるまでの処理時間を短縮することができる。

以上説明してきたように、第２実施形態の撮像装置１００は、追尾アシストモード中は、撮像素子２２の全画素領域よりも小さい領域を撮影領域とする状態（光学ズームに関わらず常時電子ズームをかけたような状態）を継続する。例えば、撮像装置１００は、フルサイズの撮像素子２２の全画素領域で露光又は取り込みを行うが、スルー画像として出力するサイズはＡＰＳ−Ｃサイズとし、露光又は取り込み領域の一部の領域を撮影領域として切り出し、切り出した撮影領域の画像をスルー画像として出力する。そして、撮像装置１００は、その撮影領域の切り出し位置を、追尾している主要被写体の位置により変化させ、あたかも主要被写体が画角中心位置にいるかのように撮影して表示する。

これにより、撮像装置１００は、初めにターゲット追尾枠を主要被写体に合わせてロックすることにより、主要被写体の追尾アシスト動作を開始することができるとともに、従来のように画角に対し追尾枠を移動させるのではなく、追尾する被写体を極力中心付近に配置するような画像の切り出しを行って表示することができる。

なお、撮像装置１００は、追尾する主要被写体の位置（または全画素からの切り出し位置）が必要以上に過敏に移動するといったような動作とならないように、撮影情報やレンズ情報に基づいた移動平均処理や境界値判定処理を行うことにより、撮影領域の位置が滑らかに変化するようにしてもよい。

なお、ユーザの把持状態によって定める撮像装置１００の撮影方向と、主要被写体の位置とによって、撮像素子２２の全画素領域の中心の位置に対して主要被写体の位置が離れてしまう場合がある。例えば、主要被写体の位置が撮像素子２２の全画素領域の端の位置、又は全画素領域の外の位置となった場合、主要被写体を追尾して撮影することができなくなる。そこで、撮像装置１００は、撮像素子２２の全画素領域によって撮影可能な画像の全領域に対する第２撮影領域の位置に基づいて、全領域に対する第２撮影領域の位置が中心の位置になる方向に撮像装置１００の向きを誘導（アシスト）してもよい。例えば、撮像装置１００の誘導部９５は、ユーザに撮像装置１００の向きを誘導するような矢印などのガイダンスを表示部６１に表示させてもよい（図１６の符号３００参照）。

以上のように、第２実施形態の撮像装置１００は、時間の経過に伴って撮影するスルー画像のフレーム画像において主要被写体画像の位置が移動する場合であっても、主要被写体画像が含まれるように追従して、撮影領域を設定することができる。よって、撮像装置１００は、スルー画像において、主要被写体画像の位置（座標）を追従するように各フレーム画像の撮影領域を設定することができる。

すなわち、第２実施形態によれば、スルー画像（ライブビュー画像）における複数のフレーム画像それぞれの所望の撮影領域を取得することができる。よって、本実施形態によれば、複数の画像において所望の領域を得ることができる。

なお、撮像装置１００は、上述のスルー画像（ライブビュー画像）におけるフレーム画像の撮影領域によって、動画像の記録処理を行ってよい。これにより、撮像装置１００は、主要被写体画像が含まれるように追従して、動画像の撮影領域を設定することができる。

また、撮像装置１００は、上述の撮影領域設定処理を、静止画像の連写撮影に適用してもよい。例えば、撮像装置１００は、静止画の連写により取得する複数の画像に対して、上述の撮影領域設定処理を適用してもよい。

また、上記第２実施形態において、ｎ番目のフレーム画像を第１の画像として、（ｎ＋１）番目のフレーム画像を第２の画像としたが、第２の画像は、第１の画像よりも後に撮影された画像であれば、（ｎ＋１）番目のフレーム画像に限られるものではなく、他のフレーム画像（例えば（ｎ＋２）番目のフレーム画像、（ｎ＋３）番目のフレーム画像等）であってもよい。

また、上記第２実施形態において、追尾アシストモードの場合を例に説明したが、追尾アシストモードに限られるものではなく、撮像装置１００は、その他の撮影モードにおいて上述の撮影領域設定処理を実行してもよい。例えば、撮像装置１００は、撮像素子２２の全画素領域から切り出した領域を撮影する電子ズームを実行することに応じて、電子ズームの拡大倍率に応じた撮影領域を設定して、上述の撮影領域設定処理を実行してもよい。

また、図１４に示す処理において、全画素領域の画素から取得する画像を、全画素領域の画素のうちの間引いた画素から取得するデータ量を縮小した画像としてもよく、このデータ量を縮小した画像を用いてテンプレートマッチング処理を実行する処理としてもよい。

また、スルー画像（ライブビュー画像）として撮影する画像の撮影領域を設定する処理を、スルー画像（ライブビュー画像）として表示する画像の表示領域を設定する処理としても、同様に適用することができる。

以上、第１実施形態と第２実施形態とを用いて説明してきたように、本実施形態によれば、複数の画像において所望の領域を得ることができる。なお、第１実施形態と第２実施形態とを組み合わせた構成としてもよい。

なお、主要被写体は、人物に限られるものではなく、動物等の各種生き物、乗り物、構造物、又は各種物体（例えば、ボール）等、様々な被写体であってよい。例えば、上記実施形態によれば、ボールを用いたスポーツが行われている様子を撮影する場合、又は撮影した画像を閲覧する場合等にも、ボールの位置に応じて撮影領域又は表示領域を追従させることができるため効果的である。

また、本発明は、少なくとも画像処理部９を備える画像処理装置にも適用できる。例えば、画像処理装置は、操作入力部８と、画像処理部９と、表示制御部６と、を備え、上記実施形態において説明した処理を実行してもよい。一例としては、画像処理装置は、操作入力部８が検出した操作に応じて、画像処理装置に有線又は無線により接続された記憶装置から複数の画像を取得し、取得した画像に対して上記実施形態において説明した処理を実行してもよい。また、画像処理装置は、処理を実行した画像をケーブル等を介して接続された表示装置に表示する構成であってもよい。

また、上記実施形態では、画像処理部９（画像処理装置）を備える撮像装置１００を例として説明したが、これに限られるものではない。例えば、撮像装置１００に代えて、画像処理部９を備える携帯電話、タブレット型端末装置、画像再生装置（例えばデジタルフォトフレーム）、ビデオレコーダ、ナビゲーション端末装置、ゲーム機、電子辞書、電子玩具等としてもよい。

なお、上述の表示制御部６、又は画像処理部９が備える抽出部９１、照合部９２、表示領域設定部９３、撮影領域設定部９４、或いは誘導部９５は専用のハードウェアにより実現されるものであってもよく、また、メモリおよびＣＰＵ（中央演算装置）により構成され、上述の各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、上述の表示制御部６、又は画像処理部９が備える抽出部９１、照合部９２、表示領域設定部９３、撮影領域設定部９４、或いは誘導部９５の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

２ 撮像部、６ 表示制御部、７ 記憶媒体部（記憶制御部）、９ 画像処理部、２１ 撮像素子、６１ 表示部、９２ 照合部、９３ 表示領域設定部、９４ 撮影領域設定部、９５ 誘導部、１００ 撮像装置、１５０ 記憶媒体（記憶部）

Claims (15)

1. 第１の画像の領域として第１領域を設定するとともに、前記第１の画像の前記第１領域内の画像に基づいて、前記第１の画像と異なる第２の画像の領域として第２領域を設定する領域設定部、
   を備えることを特徴とする画像処理装置。
2. 前記領域設定部は、
   前記領域として、表示部に表示する画像の表示領域を設定する表示領域設定部、
   を備え、
   前記表示領域設定部は、
   前記表示部に表示する前記第１の画像の第１表示領域を設定するとともに、前記第１の画像の前記第１表示領域内の画像に基づいて、前記第２の画像の第２表示領域を設定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 記憶部に記憶されている画像を表示部に表示させる表示制御部、
   を備え、
   前記表示制御部は、
   前記第１の画像と前記第２の画像とを順次表示する場合、前記第１の画像の前記第１表示領域の画像と前記第２の画像の前記第２表示領域の画像とを順次表示させる、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１領域内の画像を前記第２の画像に含まれる画像と照合する照合部、
   を備え、
   前記領域設定部は、
   前記第２の画像において、前記照合部の照合結果により前記第１領域内の画像と合致する画像が含まれる領域を、前記第２領域として設定する、
   ことを特徴とする請求項１から３の何れか一項に記載の画像処理装置。
5. 前記領域設定部は、
   前記第２の画像において、前記照合部の照合結果により前記第１領域内の画像と合致する画像が含まれる領域、且つ前記第１領域の大きさに応じた領域を、前記第２領域として設定する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記照合部は、
   前記第１の画像のデータ量を縮小した第３の画像における前記第１領域に対応する第３領域内の画像を、前記第２の画像のデータ量を縮小した第４の画像に含まれる画像と照合する、
   ことを特徴とする請求項４または５に記載の画像処理装置。
7. 前記領域設定部は、
   前記第１の画像の一部を拡大表示する操作に応じて、前記第１領域を設定する、
   ことを特徴とする請求項１から６の何れか一項に記載の画像処理装置。
8. 前記領域設定部は、
   前記第１の画像に含まれる主要被写体画像に応じて、前記第１領域を設定する、
   ことを特徴とする請求項１から７の何れか一項に記載の画像処理装置。
9. 請求項１から８の何れか一項に記載の画像処理装置、
   を備えることを特徴とする撮像装置。
10. 前記領域設定部は、
    前記領域として、撮像素子の全画素領域によって撮影可能な画像の全領域のうちの撮影する画像の撮影領域を設定する撮影領域設定部、
    を備え、
    前記撮影領域設定部は、
    撮影する前記第１の画像の第１撮影領域を設定するとともに、前記第１の画像の第１撮影領域内の画像に基づいて、撮影する前記第２の画像の第２撮影領域を設定する、
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記撮像素子により撮影された画像を表示部に表示させる表示制御部、
    を備え、
    前記表示制御部は、
    前記撮像素子により時間の経過に伴って順次撮影された、前記第１の画像の前記第１撮影領域の画像と、前記第２の画像の前記第２撮影領域の画像と、を順次表示部に表示させる、
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記撮像素子により撮影された画像を記憶部に記憶させる記憶制御部、
    を備え、
    前記記憶制御部は、
    前記撮像素子により時間の経過に伴って順次撮影された、前記第１の画像の前記第１撮影領域の画像と、前記第２の画像の前記第２撮影領域の画像と、を順次記憶部に記憶させる、
    ことを特徴とする請求項１０または１１に記載の撮像装置。
13. 前記撮像素子の全画素領域によって撮影可能な画像の前記全領域に対する前記第２撮影領域の位置に基づいて、前記全領域に対する前記第２撮影領域の位置が中心の位置になる方向に自装置の向きを誘導する誘導部、
    を備えることを特徴とする請求項１０から１１の何れか一項に記載の撮像装置。
14. 撮像素子の全画素領域によって撮影可能な画像の領域のうちの撮影する第１の画像の第１撮影領域を設定するとともに、前記第１の画像の前記第１撮影領域内の画像に基づいて、前記第１の画像と異なる第２の画像の第２撮影領域を設定する撮影領域設定部、
    を備えることを特徴とする撮像装置。
15. コンピュータに、
    第１の画像の領域として第１領域を設定するステップと、
    前記第１の画像の前記第１領域内の画像に基づいて、前記第１の画像と異なる第２の画像の領域として第２領域を設定するステップと、
    を実行させるためのプログラム。

Images