JP6415279B2 - 撮像制御装置、撮像装置および撮像制御プログラム - Google Patents

Description

本発明は、いわゆる流し撮りに対するユーザ補助を行う撮像装置に関する。

移動している被写体のスピード感を表現する撮像技術として流し撮りがある。この流し撮りでは、撮影者、すなわちユーザが被写体の動きに合わせて撮像装置をパンニングすることにより、撮像範囲（撮像画面）内で移動被写体が静止し、背景が流れる（ぶれる）ようにして撮像を行う。

ただし、流し撮りにおいて、ユーザによる撮像装置のパンニング速度が被写体の移動速度に対して差があると、被写体までぶれた撮像画像が得られてしまう。この問題に対して特許文献１には、流し撮りを行うユーザ補助を行うために、シフトレンズを光軸に対してシフトさせることで被写体の移動速度とパンニング速度との差を吸収する方法が開示されている。具体的には、ジャイロセンサにより検出した撮像装置のパンニング速度と周期的に生成される画像（フレーム画像）間において検出した被写体の動きベクトルとに基づいて、被写体を画像の中央に位置させるためのシフトレンズのシフト量を算出する。そして、該シフト量だけシフトレンズをシフトさせることで良好な流し撮りを行えるようにする。

ただし、このような流し撮りに対するユーザ補助が行われたとしても、ユーザが静止画撮像のためにシャッターボタンを押下する際に撮像装置のパンニング速度や姿勢が変化する場合があり、この場合も被写体がぶれた撮像画像（静止画）が得られることがある。

この問題に対して特許文献２には、撮像範囲の中央領域にて、周辺領域で検出される動きベクトルとは異質の動きベクトルが検出され、該異質の動きベクトル量が所定量より小さければ、流し撮りであり、かつ被写体のぶれがないと判断する方法が開示されている。この方法では、上記判断がなされた場合に、流し撮りにおける静止画の自動撮像を行う。また、特許文献３には、動画撮像中において、被写体がユーザが選択した自動撮像位置に到達することに応じて、該被写体に対する静止画撮像を行う自動的に行う方法が開示されている。

特開２００６−３１７８４８号公報 特開２００９−１３０６２８号公報 特開２０１４−１０７７５０号公報

しかしながら、特許文献２にて開示された方法では、被写体の動きベクトル量が所定量より小さいと判断することに応じて自動撮像を行うため、ユーザが希望する位置で静止画撮像が行われない可能性がある。一般に、流し撮りでは通常より長めに露光時間を調整するため、例えば被写体がユーザの正面に移動してきた時点で静止画の自動撮像が行われればよいが、その前に自動撮像が行われてしまうとユーザの正面での静止画を取得することができない。

また、特許文献３にて開示された方法では、理論的にはユーザが希望する（選択した）自動撮像位置に被写体が到達することに応じて静止画の自動撮像が行われる。しかし、パンニング速度が速い場合には、被写体が自動撮像位置に到達してから実際の撮像処理が行われるまでのタイムラグによって、自動撮像位置での静止画が得られない可能性がある。例えば、図１３（ａ）には、ユーザが予め希望する自動撮像位置で固定被写体（木）を静止画撮像することで撮像ポイント画像を取得したことを示している。また、図１３（ｂ）には、移動する主被写体（車）の流し撮りにおいて周期的に生成されるフレーム画像と図１３（ａ）に示した撮像ポイント画像とのパターンマッチングを行い、これらが一致することに応じて主被写体の静止画の自動撮像を行うことを示している。しかし、図１４（ａ）に示すように、主被写体の移動速度、つまりはパンニング速度が速いと、自動撮像位置にて撮像処理が開始されても、実際には自動撮像位置からずれた位置で撮像された静止画が取得される可能性がある。また、図１４（ｂ）に示すように、自動撮像位置に到達した主被写体が図１３（ａ）に示した固定被写体に重なることで、フレーム画像と撮像ポイント画像とのパターンマッチング自体が良好に行われないおそれもある。

本発明は、移動する主被写体に対する自動撮像において、ユーザが予め選択した位置での主被写体の撮像を従来に比べて確実に行うことができるようにした撮像制御装置および撮像装置を提供する。

本発明の一側面としての撮像制御装置は、光軸に対してシフト可能なシフト素子を用いて撮像を行う撮像装置を制御する。該撮像制御装置は、第１の撮像により生成された第１の画像を取得する第１の画像取得手段と、撮像装置の動きに関する情報を取得し、撮像装置による撮像領域が上記動きよりも該動きの方向に先行するようにシフト素子をシフトさせて撮像装置に第２の撮像を行わせ、該第２の撮像により生成された第２の画像を取得する第２の画像取得手段と、第２の画像において、第１の画像に含まれる第１の被写体像のうち少なくとも一部に一致する第２の被写体像を検出する被写体像検出手段と、第２の被写体像が検出されることに応じて、撮像装置に記録用撮像を行わせる撮像指示手段とを有することを特徴とする。

また、本発明の他の一側面としての撮像制御プログラムは、光軸に対してシフト可能なシフト素子を用いて撮像を行う撮像装置を制御するコンピュータに撮像制御処理を実行させるコンピュータプログラムである。撮像制御処理は、第１の撮像により生成された第１の画像を取得する第１の画像取得処理と、撮像装置の動きに関する情報を取得し、撮像装置による撮像領域が上記動きよりも該動きの方向に先行するようにシフト素子をシフトさせて撮像装置に第２の撮像を行わせ、該第２の撮像により生成された第２の画像を取得する第２の画像取得処理と、第２の画像において、第１の画像に含まれる第１の被写体像のうち少なくとも一部に一致する第２の被写体像を検出する被写体像検出処理と、第２の被写体像が検出されることに応じて、撮像装置に記録用撮像を行わせる撮像指示処理とを含むことを特徴とする。

本発明によれば、撮像領域が撮像装置の動きよりもその動きの方向に先行するようにシフト素子をシフトさせて第２の画像を取得するための撮像を行い、該第２の画像における予めユーザにより用意された第１の画像中の被写体像と一致する被写体像の検出を行う。これにより、移動する被写体に対する流し撮り等での自動撮像を、従来に比べて確実にユーザが予め選択した位置で行うことができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１における撮像ポイント画像取得処理を示すフローチャート。 実施例１における流し撮り自動撮像処理を示すフローチャート。 実施例１における被写体検出／撮像処理を示すフローチャート。 実施例１における流し撮りアシスト処理を示すフローチャート。 本発明の実施例２における流し撮り自動撮像処理を示すフローチャート。 本発明の実施例３における流し撮り自動撮像処理を示すフローチャート。 本発明の実施例４における静止画撮像処理を示すフローチャート。 各実施例においてシフトレンズが中心に位置するときに取得される画像と、シフトレンズがパンニング方向にシフトしたときに取得される画像とを示す図。 実施例においてユーザがパンニング速度を低下させた場合の処理を説明する図。 実施例２における流し撮り自動撮像を示す図。 実施例２におけるシフトレンズの移動タイミングを示す図。 ユーザが希望する位置で自動撮像を行う従来の方法を説明する図。 パンニング速度が速すぎる場合に生じる現象を説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である撮像装置１００の構成を示す。撮像装置１００は、デジタルスチルカメラやデジタルビデオカメラのように典型的なカメラのみならず、カメラ機能付き携帯電話やカメラ付きコンピュータ等、カメラ機能を備えた電子機器であってもよい。また、典型的なカメラとしての撮像装置１００は、後述する撮像光学系１０１を一体（取り外し不可）に有するレンズ一体型カメラであってもよいし、撮像光学系１０１を交換レンズ装置の着脱が可能なレンズ交換型カメラであってもよい。

撮像光学系１０１は、複数のレンズ、シャッタおよび絞りを含み、不図示の被写体からの光に被写体像を形成させる。ＡＸは撮像光学系１０１の光軸である。撮像光学系１０１におけるフォーカスレンズやズームレンズ（いずれも図示せず）の光軸方向への移動、シフトレンズ１０１ａの光軸ＡＸに対するシフトおよびシャッタや絞り（いずれも図示せず）の動作は、ＣＰＵ１０３によって制御される。シフト素子としてのシフトレンズ（光学素子）１０１ａは、不図示のシフトアクチュエータによって光軸ＡＸに直交する方向にシフト（移動）されることで、撮像光学系１０１が取り込む被写体側の領域、つまりは撮像装置１００による撮像領域をシフトさせる。

撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、撮像光学系１０１により形成された被写体像を光電変換して電気信号（以下、撮像信号という）を出力する。

画像処理部１０６は、撮像素子１０２からＣＰＵ１０３を通じて受け取った撮像信号に対して各種画像処理を行うことで画像データを生成し、生成した画像データをＣＰＵ１０３および一次記憶部１０４に出力する。また、画像処理部１０６は、被写体像検出手段として、２つの画像（データ）におけるパターンマッチングを用いた被写体検出処理（これについては後述する）も行う。

角速度センサ１０５はジャイロセンサにより構成され、撮像装置１００の移動の角速度を検出して、該角速度に対応する電気信号（以下、角速度信号という）をＣＰＵ１０３に出力する。本実施例では、角速度センサ１０５により、ユーザによる撮像装置１００のパンニングの動きを検出し、その動きに関する情報として角速度信号をＣＰＵ１０３が受け取る。なお、パンニングは狭義には水平方向の動き（回転）を意味するが、広義のパンニングとして垂直方向の動き（回転）であるチルティングを含めてもよい。

コンピュータとしてのＣＰＵ１０３は、入力された各種信号に基づいて、後述するコンピュータプログラムに従い、撮像装置１００を構成する各部を制御して撮像装置１００の各機能を実現させる。なお、上述した画像処理部１０６で行われる処理の少なくとも一部をＣＰＵ１０３が行ってもよい。画像処理部１０６とＣＰＵ１０３とにより撮像制御装置が構成される。画像処理部１０６とＣＰＵ１０３は、ユーザが移動する主被写体（移動被写体）を撮像装置１００をパンニングしながら流し撮りする場合のユーザ補助として、流し撮り自動撮像処理を行う。流し撮り自動撮像処理は、流し撮りに際して主被写体が予めユーザが選択した位置（撮像ポイント）に到達したときに該主被写体を自動的に撮像する撮像制御処理である。ＣＰＵ１０３は、第１の画像取得手段、第２の画像取得手段および撮像指示手段として機能する。

一次記憶部１０４は、ＲＡＭ等の揮発性メモリにより構成され、一時的に情報や撮像により生成された画像データを記憶（保持）したり、ＣＰＵ１０３の作業領域として用いられたりする。一次記憶部１０４に保持された情報やデータは、画像処理部１０６での画像処理に利用されたり、記録媒体１０７に記録されたりする。二次記憶部１０８は、ＥＥＰＲＯＭ等の不揮発性メモリにより構成され、撮像装置１００を制御するための前述したコンピュータプログラム（ファームウェアおよび撮像制御プログラム等）や、ＣＰＵ１０３によって利用される各種設定情報を記憶している。

記録媒体１０７は、撮像により生成されて一次記憶部１０４に一時的に記憶された画像データ等を記録する。記録媒体１０７は、半導体メモリや光ディスク等、撮像装置１００に対して着脱が可能な媒体である。撮像装置１００から取り外された記録媒体１０７をパーソナルコンピュータやプリンタ等の外部装置に装着することで、該記録媒体１０７に記録された画像データ等を外部装置にて表示したり出力（印刷）したりすることができる。

表示部１０９は、撮像装置１００において記録用撮像が行われる前にライブビュー画像（動画）を表示したり、記録用撮像により生成された記録用画像（静止画または動画）を表示したり、ＧＵＩ画像を表示したりする。また、表示部１０９は、タッチ操作が可能なタッチパネルである。操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３に操作情報を出力する各種入力デバイスを含む。入力デバイスは、ボタン、レバー、タッチパネル等の接触型入力デバイスや、音声や視線を用いた非接触型入力デバイスを含む。
（被写体検出処理とシフトレンズとの関係）
次に、本実施例の撮像装置１００が行う流し撮り自動撮像処理にて画像処理部１０６が行う被写体検出処理とシフトレンズ１０１ａとの関係の概要を、図９を用いて説明する。被写体検出処理では、予め特定被写体の撮像（第１の撮像）により取得された撮像ポイント画像（第１の画像）が用意される。この撮像ポイント画像と、主被写体の流し撮り中（後述するレンズシフト状態）での撮像（第２の撮像）により生成される被写体検出画像（第２の画像）との間でパターンマッチングが行われる。そして、該パターンマッチングにより、被写体検出画像において、撮像ポイント画像に含まれる特定被写体の画像データ（第１の被写体像）の少なくとも一部に一致する被写体画像データ（第２の被写体像）を検出する。

なお、撮像ポイント画像を生成するための撮像（第１の撮像）は、後述するように本実施例の撮像装置１００で行ってもよいが、他の撮像装置により行ってもよい。後者の場合は、該他の撮像装置による撮像により生成された撮像ポイント画像を、本実施例の撮像装置１００に記録媒体１０７や通信を通じて取り込めばよい。

図９（ａ）には、シフトレンズ１０１ａがその可動範囲の中心（シフトレンズ１０１ａの中心が光軸ＡＸに一致する位置）である非シフト位置にある非レンズシフト状態で流し撮り自動撮像処理を開始する様子を示している。一方、図９（ｂ）には、シフトレンズ１０１ａが撮像装置１００のパンニング方向と同じ方向にシフトしたシフト位置にあるレンズシフト状態で流し撮り自動撮像処理を行っている様子を示している。なお、これらの図においてシフトレンズ１０１ａとして示した円は、該シフトレンズ１０１ａの位置を模式的に示しているにすぎず、その円が実際のシフトレンズの大きさを示しているわけではない。このことは、同様の円によってシフトレンズ１０１ａを示す他の図でも同じである。

レンズシフト状態での撮像装置１００による撮像領域は、非レンズシフト状態にて撮像装置１００（撮像光学系１０１）の向きに対応する撮像領域よりもシフトレンズ１０１ａのシフト方向にシフトする。このため、撮像装置１００のパンニング中に非レンズシフト状態からレンズシフト状態とすることで、撮像領域がパンニングの動きよりもパンニング方向に先行する。つまり、レンズシフト状態での撮像により得られる画像は、非レンズシフト状態での撮像により得られる画像に比べて、パンニング方向先方に存在する被写体の像を含む。したがって、被写体検出画像として、レンズシフト状態での撮像により得られる画像を用いる場合の方が、非レンズシフト状態での撮像により得られる画像を用いる場合に比べて、より早く撮像ポイント画像との間でのパターンマッチングを開始することができる。

なお、シフトレンズ１０１ａを手振れによる像振れを補正するための防振レンズとしても用いる場合は、非シフト位置は、シフトレンズ１０１ａの可動範囲の中心に限らず、像振れ補正のために該中心からシフトした位置であってもよい。シフトレンズ１０１ａを防振レンズとして用いる場合は、角速度センサ１０５からの手振れに応じた角速度信号に基づいてシフトレンズ１０１ａが像振れを抑制する方向にシフトされるが、そのシフト量は流し撮り自動撮像処理でのシフト量に比べて小さい。
（撮像ポイント画像取得処理）
次に、本実施例における撮像ポイント画像の取得処理について、図２のフローチャートを用いて説明する。ここでは、ＧＵＩ画像を表示した表示部１０９に対するタッチ操作により生成された撮像ポイント画像の取得を指示する信号をＣＰＵ１０３が受信したものとして説明する。この撮像ポイント画像取得処理と、上記被写体検出処理およびその他の処理を含む流し撮り自動撮像処理は、ＣＰＵ１０３および画像処理部１０６が撮像制御プログラムに従って実行する。このことは、本実施例だけでなく、他の実施例でも同じである。

ステップＳ２０１では、ＣＰＵ１０３は、動画であるライブビュー画像を生成するための撮像を開始する。具体的には、ＣＰＵ１０３は、撮像光学系１０１を制御して撮像素子１０２に光電変換動作を行わせ、撮像素子１０２からの撮像信号に対して画像処理部１０６に所定の画像処理を行わせてライブビュー画像を構成するフレーム画像を所定周期で順次生成させる。これらフレーム画像は一次記憶部１０４に順次保持される。

次に、ステップＳ２０２では、ＣＰＵ１０３は、一次記憶部１０４にて保持されたフレーム画像を順次取得する。

そして、ステップＳ２０３では、ＣＰＵ１０３は、ステップＳ２０２で順次取得したフレーム画像を表示部１０９に順次表示する。これにより、表示部１０９にライブビュー画像が表示される。

次に、ステップＳ２０４では、ＣＰＵ１０３は、操作部１１０に設けられたシャッターボタンが全押し操作（ＳＷ２ＯＮ）されたか否かを判定する。シャッターボタンは半押し操作（ＳＷ１ＯＮ）と全押し操作とが可能であり、半押し操作に応じて測光やオートフォーカス等の撮像準備処理が開始され、全押し操作に応じて記録用撮像が行われる。シャッターボタンが全押し操作された場合はステップＳ２０５に進み、そうではない場合はステップＳ２０２に戻る。

ステップＳ２０５では、ＣＰＵ１０３は、ステップＳ２０２で取得したフレーム画像のうちシャッターボタンの全押し操作のタイミングで生成されたフレーム画像を撮像ポイント画像として二次記憶部１０８に記憶する。

そして、ステップＳ２０６では、ＣＰＵ１０３は、ライブビュー画像を生成するための撮像を終了する。
（流し撮り自動撮像処理１）
次に、本実施例の撮像装置１００で行われる流し撮り自動撮像処理１について、図３のフローチャートを用いて説明する。ここでは、ＧＵＩ画像を表示した表示部１０９に対するユーザのタッチ操作により生成された流し撮り自動撮像処理の開始指示信号がＣＰＵ１０３に入力され、ライブビュー画像用の撮像とライブビュー画像の表示部１０９での表示が開始された後の処理を説明する。また、上記タッチ操作の直後からユーザが流し撮りを開始したものとして説明する。

ステップＳ３０１では、ＣＰＵ１０３は、角速度センサ１０５から出力される角速度信号（動きに関する情報）を取得する。

次に、ステップＳ３０２では、ＣＰＵ１０３は、ステップＳ３０１で取得した角速度信号から撮像装置１００のパンニング方向を求める。そして、シフトアクチュエータを制御して、シフトレンズ１０１ａを非シフト位置からパンニング方向におけるシフト位置にシフトさせる。

ステップＳ３０３では、ＣＰＵ１０３は、撮像により生成されて一次記憶部１０４に保持されたフレーム画像を取得する。

そして、ステップＳ３０４では、ＣＰＵ１０３は、ステップＳ３０３で取得したフレーム画像を表示部１０９に表示する。このように、本実施例では、レンズシフト状態での撮像により生成されるフレーム画像をライブビュー画像として表示する。また、後述するように、同じフレーム画像を、被写体検出画像として用いる。

次に、ステップＳ３０５では、ＣＰＵ１０３は、二次記憶部１０８に記憶されている撮像ポイント画像を読み出して画像出力部１０６に出力するとともに、ステップＳ３０３で取得したフレーム画像を被写体検出画像として画像処理部１０６に出力する。画像処理部１０６はこれら撮像ポイント画像と被写体検出画像との間でのパターンマッチングを行う被写体検出処理を行い、さらにＣＰＵ１０３は該被写体検出処理の結果に応じて、撮像処理としての流し撮りアシスト処理を行う。被写体検出処理（パターンマッチング）および撮像処理（流し撮りアシスト処理）の詳細については後述する。

被写体検出処理および撮像処理が終了すると、ステップＳ３０６では、ＣＰＵ１０３は、被写体検出処理（パターンマッチング）および撮像処理（流し撮りアシスト処理）が成功して流し撮り自動撮像が完了したか否かを判定する。終了した場合は本処理を終了し、そうでなければステップＳ３０１に戻る。
（被写体検出処理）
次に、ステップＳ３０４で行われる被写体検出処理について、図４のフローチャートを用いてより詳しく説明する。

ステップＳ４０１では、画像処理部１０６は、ステップＳ３０３で取得した撮像ポイント画像と被写体検出画像との間でのパターンマッチングを行う。パターンマッチングの手法としては、相互相関関数を用いて類似性を確認する手法や、ＳＳＤ（Sum of Squared Difference）およびＳＡＤ（Sum of Absolute Difference）のように対応位置の画素の輝度値の差から類似性を確認する方法等、様々な方法を用いてよい。

次に、ステップＳ４０２では、ＣＰＵ１０３は、ステップＳ４０１で行われたパターンマッチングにより、被写体検出画像において、撮像ポイント画像に含まれる特定被写体の画像データの全部に一致する被写体画像データを検出したか否かを判定する。そうである場合はステップＳ４０３に進み、そうでなければ本処理を終了する（ステップＳ３０６にスキップする）。なお、このステップにおいて、被写体検出画像において、撮像ポイント画像に含まれる特定被写体の画像データの一部に一致する被写体画像データを検出したか否かを判定してもよい。

ステップＳ４０３では、ＣＰＵ１０３は、シフトアクチュエータを制御して、シフトレンズ１０１ａを非シフト位置（中心）に復帰させる。

そして、ステップＳ４０４では、ＣＰＵ１０３は、撮像処理として、以下に説明する流し撮りアシスト処理を行う。
（流し撮りアシスト処理）
次に、ステップＳ４０４で行われる撮像処理としての流し撮りアシスト処理について、図５のフローチャートを用いて詳述する。この流し撮りアシスト処理では、撮像装置１００とともに動く撮像領域と、記録用撮像の対象である主被写体（移動被写体）との相対変位を減少させるようにシフトレンズ１０１ａのシフト方向での位置、つまりは撮像領域の位置を制御して記録用撮像を行う。

ステップＳ５０１では、ＣＰＵ１０３は、非レンズシフト状態にてライブビュー画像用に生成されるフレーム画像から、ユーザが撮像装置１００をパンニングさせて追っている主被写体（主被写体像）を抽出する。主被写体の抽出方法としては、特許文献１にて開示されているように、順次生成されるフレーム画像間で得られる動きベクトルを用いる方法がある。具体的には、ユーザが移動する主被写体を追って撮像装置１００をパンニングすると、主被写体が存在するエリアでは該主被写体の移動と撮像装置１００のパンニングとのずれに相当する動きベクトルが検出される。この動きベクトルは、主被写体の周囲で流れる背景の動きベクトルに対して小さいベクトルである。このことから、移動する主被写体を検出（抽出）することができる。なお、他の方法を用いて主被写体を抽出してもよい。

次に、ステップＳ５０２では、ＣＰＵ１０３は、角速度センサ１０５から撮像装置１００のパンニング速度を示す角速度信号を取得する。

そして、ステップＳ５０３では、ＣＰＵ１０３は、ステップＳ５０２で取得した角速度信号とステップＳ５０１で用いた主被写体が存在するエリアで得られた動きベクトルとを用いて、主被写体の移動速度（角速度）を算出する。ここでは、主被写体の移動速度が得られれば、他の方法を用いてもよい。

ステップＳ５０４では、ＣＰＵ１０３は、ステップＳ５０３で取得した主被写体の移動速度（角速度）をシフトレンズ１０１ａの目標シフト量（または目標シフト位置）に変換する。

次に、ステップＳ５０５では、ＣＰＵ１０３は、シフトレンズ１０１ａをステップＳ５０４で求めた目標シフト量（または目標シフト位置）に向かってシフトさせながらシャッタを開き、所定の露光時間が経過することに応じてシャッタを閉じる。このシャッタの開から閉までの間、ＣＰＵ１０３は、記録用撮像のために撮像素子１０２に光電変換を行わせ、この光電変換により撮像素子１０２にて生成された撮像信号を一次記憶部１０４に保持させる。

そして、ステップＳ５０６では、ＣＰＵ１０３は、画像処理装置１０６に一次記憶部１０４に保持された撮像信号から静止画データ（記録用画像）を生成させ、該静止画データを記録媒体１０７に静止画ファイルとして記録する。そして、本処理を終了する。

このように、本実施例では、移動する主被写体に対する流し撮り自動撮像処理において、撮像装置１００による撮像領域が撮像装置１００のパンニングよりも該パンニングの方向に先行するようにシフトレンズ１０１ａをシフトさせて被写体検出画像を取得する。これにより、このようなシフトレンズ１０１ａのシフトを行わない場合（従来）に比べて、早いタイミングで撮像ポイント画像と被写体検出画像間での被写体検出処理（パターンマッチング）を行うことができる。したがって、従来に比べてより確実に撮像ポイントでの自動撮像（記録用撮像）を行うことができる。

実施例１ではレンズシフト状態での撮像により生成されるフレーム画像もライブビュー画像として表示部１０９に表示する場合について説明した。しかし、このライブビュー画像を見たユーザが、主被写体が画面の中央付近に移動するようにパンニング速度を落とすおそれがある。これにより、ライブビュー画像を通じてスムーズに主被写体を追えなくなったりレンズシフト状態から非レンズシフト状態に復帰した際に主被写体を見失ったりする可能性がある。このことについて、図１０を用いて説明する。

図１０（ａ）には、流し撮り（パンニング）の開始前の非レンズシフト状態で表示部１０９に表示されるライブビュー画像１００１を示している。ライブビュー画像１００１中には、その中央付近に主被写体（車）が存在する。

図１０（ｂ）には、流し撮り中におけるパターンマッチングを早く行うためのレンズシフト状態でのライブビュー画像１００３を示している。ライブビュー画像１００３中には、撮像ポイント１００２に位置する特定被写体（木）の一部が写り込んでいる一方、主被写体は画像中心から右側（パンニング方向とは反対側）にずれた位置に存在する。このようなライブビュー画像１００３を見たユーザは、レンズシフト状態であるにもかかわらず、図１０（ｃ）に示すようにライブビュー画像１００４の中央付近に主被写体が移動するように、意図的にパンニング速度を落とす。この結果、上述したような不都合が生じる。

このため、本実施例では、レンズシフト状態での撮像（第２の撮像）により取得されるフレーム画像（第２の画像）は表示部１０９にライブビュー画像として表示せず、パターンマッチングのための被写体検出画像としてのみ用いる。一方、パターンマッチングが行われている間も、非レンズシフト状態での撮像（第３の撮像）により取得されるフレーム画像（第３の画像）をライブビュー画像として表示することができるようにする。本実施例では、ＣＰＵ１０３は出力制御手段として機能する。また、表示部１０９での表示を、外部モニタ等の表示装置への出力に代えてもよい。

なお、本実施例における撮像装置１００の構成および撮像ポイント画像の取得処理については、実施例１（図１および図２）と同じであるため、その説明を省略する。
（ライブビュー画像表示の概要）
まず、本実施例における流し撮り自動撮像処理中におけるライブビュー画像の表示の概要を、図１１および図１２を用いて説明する。

図１１（ａ），（ｃ）には、非レンズシフト状態での撮像により取得されたフレーム画像が表示部１０９にライブビュー画像として表示される様子を示している。また、図１１（ｂ），（ｄ）には、レンズシフト状態での撮像により取得されたフレーム画像（被写体検出画像）が表示部１０９にライブビュー画像として表示されない様子を示している。流し撮り自動撮像処理中に図１１（ａ）〜（ｄ）に示す状態を交互に繰り返すことで、被写体検出画像を用いたパターンマッチングを行っている間も非レンズシフト状態での撮像により得られるライブビュー画像を表示部１０９に表示することができる。これにより、レンズシフト状態での撮像により取得されたフレーム画像がライブビュー画像として表示されることによる不都合を解消することができる。

図１２（ａ）には、シフトレンズ１０１ａのシフト位置へのシフトと非シフト位置への復帰のタイミングを示している。この図において、露光間隔（ｔ１）は、フレーム画像を周期的に生成するために撮像素子１０２の露光（光電変換）を行う時間間隔であり、ライブビュー画像のフレームレートによって決まる。露光期間（ｔ２）は、撮像素子１０２の露光が行われている時間であり、シャッタースピード等によって決まる。読み出し期間（ｔ３）は、露光中および露光完了後の撮像素子１０２から撮像信号を読み出す時間である。レンズシフト可能期間（ｔ４）は、シフトレンズ１０１ａを非シフト位置とシフト位置との間で移動させることが可能な時間である。シフトレンズ１０１ａを露光期間（ｔ２）中に移動させると生成されるフレーム画像にぶれが生じるため、シフトレンズ１０１ａの移動は露光期間（ｔ２）外に行う必要がある。このため、レンズシフト可能期間（ｔ４）は、「露光間隔（ｔ１）−露光期間（ｔ２）」となる。

図１２（ｂ）に示す最大レンズシフト時間（ｔ５）は、シフトレンズ１０１ａを非シフト位置からシフト方向の端位置（シフト端）まで移動させる際に要する時間を示す。最大レンズシフト時間（ｔ５）がレンズシフト可能期間（ｔ４）より短ければ、シフトレンズ１０１ａを非シフト位置からシフト端までシフトさせることが可能となる。
（流し撮り自動撮像処理２）
次に、本実施例の撮像装置１００で行われる流し撮り自動撮像処理２について、図６のフローチャートを用いて説明する。ここでも、ＧＵＩ画像を表示した表示部１０９に対するユーザのタッチ操作により生成された流し撮り自動撮像処理の開始指示信号がＣＰＵ１０３に入力され、ライブビュー画像用の撮像とライブビュー画像の表示部１０９での表示が開始された後の処理を説明する。また、上記タッチ操作の直後からユーザが流し撮りを開始したものとして説明する。

まず、ステップＳ６０１では、ＣＰＵ１０３は、カウンタを０に初期化する。カウンタ値は整数値であり、ライブビュー画像を表示するか否かを判定するために用いられる。

次に、ステップＳ６０２では、ＣＰＵ１０３は、カウンタに１を加算する。

そして、ステップＳ６０３では、ＣＰＵ１０３は、カウンタ値が２の倍数か否かを判定する。カウンタ値が２の倍数である場合はステップＳ６０７に進み、そうでない場合はステップＳ６０４に進む。

ステップＳ６０７では、ＣＰＵ１０３は、角速度センサ１０５から出力される角速度信号（動きに関する情報）を取得する。

次に、ステップＳ６０８では、ＣＰＵ１０３は、ステップＳ６０７で取得した角速度信号から撮像装置１００のパンニング方向を求める。そして、シフトアクチュエータを制御して、シフトレンズ１０１ａを非シフト位置からパンニング方向におけるシフト位置にシフトさせる。具体的には、ＣＰＵ１０３は、図１２（ａ）に示したレンズシフト可能期間（ｔ４）内でシフトレンズ１０１ａを非シフト位置からシフト位置にシフトさせる。

次に、ステップＳ６０９では、ＣＰＵ１０３は、撮像により生成されて一次記憶部１０４に保持されたフレーム画像を被写体検出画像として取得する。このように、本実施例では、レンズシフト状態での撮像により生成されるフレーム画像はライブビュー画像として表示せずに、被写体検出画像として用いる。そして、ＣＰＵ１０３は、ステップＳ６１０に進む。

一方、ステップＳ６０４では、ＣＰＵ１０３は、シフトアクチュエータを制御して、シフトレンズ１０１ａをシフト位置から非シフト位置（中心）に復帰させる。具体的には、ＣＰＵ１０３は、図１２（ａ）に示したレンズシフト可能期間（ｔ４）内でシフトレンズ１０１ａを非シフト位置に復帰させる。

次に、ステップＳ６０５では、ＣＰＵ１０３は、撮像により生成されて一次記憶部１０４に保持されたフレーム画像をライブビュー画像用の表示画像として取得する。

次に、ステップＳ６０６では、ＣＰＵ１０３は、ステップＳ６０５で取得した表示画像をライブビュー画像として表示部１０９に表示する。このように、本実施例では、非レンズシフト状態での撮像により生成されるフレーム画像をライブビュー画像として表示する。また、このフレーム画像を被写体検出画像として用いてもよい。そして、ＣＰＵ１０３は、ステップＳ６１０に進む。

ステップＳ６１０では、ＣＰＵ１０３は、実施例１（図２）にて説明した撮像ポイント画像取得処理にて二次記憶部１０８に記憶された撮像ポイント画像を読み出して画像出力部１０６に出力する。また、ステップＳ６０９（およびステップＳ６０６）で取得したフレーム画像を被写体検出画像として画像処理部１０６に出力する。画像処理部１０６はこれら撮像ポイント画像と被写体検出画像との間でのパターンマッチングを行う被写体検出処理を行い、さらにＣＰＵ１０３は該被写体検出処理の結果に応じて、撮像処理としての流し撮りアシスト処理を行う。被写体検出処理（パターンマッチング）および撮像処理（流し撮りアシスト処理）は、図４および図５のフローチャートを用いて実施例１で説明した処理と同じである。

次に、ステップＳ６１１では、ＣＰＵ１０３は、被写体検出処理（パターンマッチング）および撮像処理（流し撮りアシスト処理）が成功して流し撮り自動撮像が完了したか否かを判定する。終了した場合は本処理を終了し、そうでなければステップＳ６０２に戻る。

なお、撮像装置１００がレンズ交換型であり、撮像光学系１０１を含む交換レンズ装置が着脱可能である場合は、最大レンズシフト時間（ｔ５）がレンズシフト可能期間（ｔ４）より長くなる可能性がある。この場合、シフトレンズ１０１ａの非シフト位置からシフト端までのシフト中に撮像素子１０２の露光が開始されてしまい、ぶれを含むフレーム画像が生成される。このため、ＣＰＵ１０３は、交換レンズ装置との通信によって最大レンズシフト時間（ｔ５）を取得する。そして、最大レンズシフト時間（ｔ５）がレンズシフト可能期間（ｔ４）より長いと判定した場合は、ステップＳ６０８でのシフトレンズ１０１ａのシフトを、レンズシフト可能期間（ｔ４）内でシフトが完了する位置までとすればよい。

このように、本実施例でも、移動する主被写体に対する流し撮り自動撮像処理において、撮像装置１００による撮像領域が撮像装置１００のパンニングよりも該パンニングの方向に先行するようにシフトレンズ１０１ａをシフトさせて被写体検出画像を取得する。これにより、このようなシフトレンズ１０１ａのシフトを行わない場合（従来）に比べて、早いタイミングで撮像ポイント画像と被写体検出画像間での被写体検出処理（パターンマッチング）を行うことができる。したがって、従来に比べてより確実に撮像ポイントでの自動撮像（記録用撮像）を行うことができる。

しかも、本実施例では、流し撮り自動撮像処理においてシフトレンズ１０１ａのシフトと復帰を交互に繰り返す。そして、レンズシフト状態での撮像により生成されたフレーム画像はライブビュー画像として表示部１０９に表示せず、非レンズシフト状態での撮像により生成されたフレーム画像のみをライブビュー画像として表示部１０９に表示する。これにより、レンズシフト状態での撮像により生成されたフレーム画像がライブビュー画像として表示された場合に、ユーザが画面中央付近に主被写体が位置するようにパンニング速度を落とす等の不都合を回避することができる。

実施例１，２では、流し撮り自動撮像処理において撮像領域がパンニング方向に先行するようにシフトレンズ１０１ａをシフトさせることで、早く被写体検出処理（パターンマッチング）を行うこと説明した。

しかしながら、パンニング速度（つまりは主被写体の移動速度）が遅い場合にはそのようにシフトレンズ１０１ａシフトさせなくても、ユーザが選択した位置での自動撮像を容易に行うことが可能である。

このため、本実施例では、パンニング速度に応じて、撮像領域がパンニング方向に先行するようにシフトレンズ１０１ａをシフトさせるか否かを選択する。なお、本実施例における撮像装置１００の構成および撮像ポイント画像の取得処理については、実施例１（図１および図２）と同じであるため、その説明を省略する。
（流し撮り自動撮像処理３）
次に、本実施例の撮像装置１００にて行われる流し撮り自動撮像処理３について、図７のフローチャートを用いて説明する。ここでも、ＧＵＩ画像を表示した表示部１０９に対するユーザのタッチ操作により生成された流し撮り自動撮像処理の開始指示信号がＣＰＵ１０３に入力され、ライブビュー画像用の撮像とライブビュー画像の表示部１０９での表示が開始された後の処理を説明する。また、上記タッチ操作の直後からユーザが流し撮りを開始したものとして説明する。

ステップＳ７０１では、ＣＰＵ１０３は、角速度センサ１０５から出力される角速度信号（動きに関する情報）を取得する。

そして、ステップＳ７０２では、ＣＰＵ１０３は、ステップＳ７０１で取得した角速度信号から撮像装置１００のパンニング速度（角速度）を求め、該パンニング速度が所定の閾値よりも大きい（速い）か否かを判定する。閾値は、シャッタースピードや図１２（ｂ）に示した最大レンズシフト時間（ｔ５）等に応じて可変としてもよい。パンニング速度が閾値より大きい場合はステップＳ７０３（〜Ｓ７０６）に進み、パンニング速度が閾値以下の場合はステップＳ７０７に進む。

ステップＳ７０３およびＳ７０４は、実施例１における図３のステップＳ３０３およびＳ３０４と同じである。

ステップＳ７０５では、ＣＰＵ１０は、シフトレンズ１０１ａをシフト位置にシフトすることなく、非シフト位置に保持する。そして、画像処理部１０６は、図４のステップＳ４０１と同様にパターンマッチングを行う。ＣＰＵ１０は、パターンマッチングにより撮像ポイント画像に含まれる特定被写体の画像データに一致する被写体画像データが検出されると、図４のステップＳ４０４と同様に流し撮りアシスト処理を行う。

次に、ステップＳ７０６では、パターンマッチングおよび流し撮りアシスト処理が成功して流し撮り自動撮像が完了したか否かを判定する。終了した場合は本処理を終了し、そうでなければステップＳ７０３に戻る。

一方、ステップＳ７０７では、図３に示した流し撮り自動撮像処理１または図６に示した流し撮り自動撮像処理２を行う。そして、本処理を終了する。

このように、本実施例では、流し撮り自動撮像処理を行うに際して、パンニング速度に応じて撮像領域がパンニング方向に先行するようにシフトレンズ１０１ａをシフトさせるか否かを選択する。これにより、撮像領域がパンニング方向に先行するようにシフトレンズ１０１ａをシフトさせる必要がない場合にまでそのようなシフトが行われて、撮像装置１００の電力が無駄に消費されることを回避することができる。

なお、本実施例では、流し撮り自動撮像処理の開始直後にパンニング速度に応じてシフトレンズ１０１ａのシフトを行うか否かを選択したが、流し撮り自動撮像処理中にパンニング速度に応じたシフトレンズ１０１ａのシフトを行うか否かを選択してもよい。

実施例１〜３では、流し撮り自動撮像処理において流し撮りアシスト処理が行われる場合について説明した。しかし、以下に説明するように、流し撮りアシスト処理を行わずに流し撮り自動撮像処理を行う場合でも、撮像領域がパンニング方向に先行するようにシフトレンズ１０１ａをシフトさせてもよい。

なお、本実施例における撮像装置１００の構成および撮像ポイント画像の取得処理については、実施例１（図１および図２）と同じであるため、その説明を省略する。また、本実施例で行う流し撮り自動撮像処理は、実施例１〜３（図３、図６および図７）のいずれかにて説明したもと同じである。ただし、実施例１〜３における流し撮りアシスト処理に代えて図４のステップＳ４０４にて撮像処理として以下に説明する静止画撮像処理を行う。
（静止画撮像処理）
図８のフローチャートを用いて、静止画撮像処理について説明する。

ステップＳ８０１では、ＣＰＵ１０３は、シャッタを開き、所定の露光時間が経過することに応じてシャッタを閉じる。このシャッタの開から閉までの間、ＣＰＵ１０３は、記録用撮像のために撮像素子１０２に光電変換を行わせ、この光電変換により撮像素子１０２にて生成された撮像信号を一次記憶部１０４に保持させる。

次に、ステップＳ８０２では、ＣＰＵ１０３は、画像処理装置１０６に一次記憶部１０４に保持された撮像信号から静止画データ（記録用画像）を生成させ、該静止画データを記録媒体１０７に静止画ファイルとして記録する。そして、本処理を終了する。

このように、流し撮りアシスト処理を行わずに流し撮り自動撮像処理を行う場合でも撮像領域がパンニング方向に先行するようにシフトレンズ１０１ａをシフトさせることで、ユーザが選択した撮像ポイントでの自動撮像を従来に比べてより確実に行うことができる。

なお、上記各実施例では、シフト素子が撮像光学系１０１に含まれるシフトレンズ１０１ａである場合について説明したが、撮像素子１０２をシフト素子として光軸ＡＸに対してシフトさせてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ 撮像装置
１０１ａ シフトレンズ
１０３ ＣＰＵ
１０５ 角速度センサ
１０６ 画像処理部

Claims (8)

1. 光軸に対してシフト可能なシフト素子を用いて撮像を行う撮像装置を制御する撮像制御装置であって、
   第１の撮像により生成された第１の画像を取得する第１の画像取得手段と、
   前記撮像装置の動きに関する情報を取得し、前記撮像装置による撮像領域が前記動きよりも該動きの方向に先行するように前記シフト素子をシフトさせて前記撮像装置に第２の撮像を行わせ、該第２の撮像により生成された第２の画像を取得する第２の画像取得手段と、
   前記第２の画像において、前記第１の画像に含まれる第１の被写体像のうち少なくとも一部に一致する第２の被写体像を検出する被写体像検出手段と、
   前記第２の被写体像が検出されることに応じて、前記撮像装置に記録用撮像を行わせる撮像指示手段とを有することを特徴とする撮像制御装置。
2. 前記第２の画像取得手段は、前記シフト素子のシフトと復帰とを繰り返し行い、前記シフトごとに前記第２の撮像を行うとともに前記復帰ごとに第３の撮像を行い、
   該撮像制御装置は、前記撮像装置に、前記第２の撮像ごとに生成される前記第２の画像を表示または出力させず、前記第３の撮像ごとに生成される第３の画像を表示または出力させる出力制御手段を有することを特徴とする請求項１に記載の撮像制御装置。
3. 前記第２の画像取得手段は、前記動きの速度に応じて前記シフト素子のシフトおよび前記第２の撮像を行うか否かを選択することを特徴とする請求項１または２に記載の撮像制御装置。
4. 前記撮像指示手段は、前記撮像装置とともに動く前記撮像領域と移動被写体との相対変位を減少させるように前記シフト素子のシフト方向での位置を制御して前記移動被写体に対する前記記録用撮像を行うことを特徴とする請求項１から３のいずれか一項に記載の撮像制御装置。
5. 請求項１から４のいずれか一項に記載の撮像制御装置と、
   撮像のための光電変換を行う撮像素子とを有することを特徴とする撮像装置。
6. 前記シフト素子は、該撮像装置に一体もしくは着脱が可能に設けられた撮像光学系に含まれる光学素子、または前記撮像素子であることを特徴とする請求項５に記載の撮像装置。
7. 該撮像装置は、撮像光学系を有する交換レンズ装置の着脱が可能であり、
   前記第２の画像取得手段は、前記撮像装置の動きに関する情報を前記撮像装置または前記交換レンズ装置に設けられた動き検出手段から取得することを特徴とする請求項５または６に記載の撮像装置。
8. 光軸に対してシフト可能なシフト素子を用いて撮像を行う撮像装置を制御するコンピュータに撮像制御処理を実行させるコンピュータプログラムとしての撮像制御プログラムであって、
   前記撮像制御処理は、
   第１の撮像により生成された第１の画像を取得する処理と、
   前記撮像装置の動きに関する情報を取得し、前記撮像装置による撮像領域が前記動きよりも該動きの方向に先行するように前記シフト素子をシフトさせて前記撮像装置に第２の撮像を行わせ、該第２の撮像により生成された第２の画像を取得する処理と、
   前記第２の画像において、前記第１の画像に含まれる第１の被写体像のうち少なくとも一部に一致する第２の被写体像を検出する処理と、
   前記第２の被写体像が検出されることに応じて、前記撮像装置に記録用撮像を行わせる処理とを含むことを特徴とする撮像制御プログラム。