JP4574489B2

JP4574489B2 - 撮像装置、撮像方法、及びプログラム

Info

Publication number: JP4574489B2
Application number: JP2005234174A
Authority: JP
Inventors: 充史三沢
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-08-12
Filing date: 2005-08-12
Publication date: 2010-11-04
Anticipated expiration: 2025-08-12
Also published as: US8405734B2; US20110193981A1; US7990423B2; US20070035635A1; JP2007049596A

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。特に本発明は、動画及び静止画を撮像する撮像装置及び撮像方法、並びに、撮像装置用のプログラムに関する。

従来、動画の記録中に静止画を撮影してもコマ落ちのない動画を得ることができるムービ・スチル・カメラがある（例えば、特許文献１参照。）。このムービ・スチル・カメラでは、動画の記録中には、一駒が水平方向６４０画素、垂直方向４８０画素をもつ動画データが一定周期で得られる。そして、動画データを記録中にレリーズボタンが押されると、水平方向１２８０画素、垂直方向９６０画素の静止画像データが取得され、メモリ・カードに記録される。このとき、静止画像データから、動画用の一駒の画像と同じ大きさをもつ縮小画像が生成され、静止画像データが得られた位置に挿入される。
特開２００３−２１９３４１号公報

しかしながら、特許文献１のムービ・スチル・カメラによると、静止画から生成した縮小画像と静止画とをメモリ・カードに記録するので、静止画が多く撮像されると、メモリ・カードの容量を圧迫してしまう場合があるという課題があった。

そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態における撮像装置は、撮像部と、複数のフレーム画像を含む動画を撮像部に撮像させる動画撮像制御部と、撮像部が連続して複数のフレーム画像を撮像しているときに、静止画の撮像指示を受け付ける静止画撮像指示受付部と、静止画撮像指示受付部が静止画の撮像指示を受け付けた場合に、撮像部が撮像している一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を撮像部に撮像させる静止画撮像制御部と、撮像部が静止画を撮像したタイミングである静止画撮像タイミングを記録する静止画撮像タイミング記録部と、撮像部が撮像した複数のフレーム画像から、静止画撮像タイミング記録部が記録している静止画撮像タイミングの前及び後にそれぞれ撮像されたフレーム画像である撮像前フレーム画像及び撮像後フレーム画像を抽出する撮像前後フレーム画像抽出部と、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像生成部とを備える。

撮像部が撮像した複数のフレーム画像を含む動画を格納する画像メモリと、画像メモリが格納している複数のフレーム画像のそれぞれが撮像されたタイミングを示す情報に対応づけて、画像メモリが格納している複数のフレーム画像のそれぞれを識別するフレーム画像識別情報を格納するフレーム画像識別情報格納部とをさらに備え、撮像前後フレーム画像抽出部は、静止画撮像タイミング記録部が記録している静止画撮像タイミングに基づいて、撮像前フレーム画像及び撮像後フレーム画像のフレーム画像識別情報をフレーム画像識別情報格納部から抽出した後、抽出したフレーム画像識別情報に基づいて、撮像前フレーム画像及び撮像後フレーム画像を画像メモリから抽出してよい。

静止画撮像制御部は、静止画撮像指示受付部が静止画の撮像指示を受け付けた場合に、撮像部が撮像している複数のフレーム画像のうちの１つのフレーム画像に代えて、静止画を撮像部に撮像させ、静止画撮像タイミング記録部は、静止画撮像タイミングとして、撮像部が静止画を撮像することによって撮像できなかったフレーム画像を識別するフレーム画像識別情報を記録し、撮像前後フレーム画像抽出部は、静止画撮像タイミング記録部が記録しているフレーム画像識別情報で識別されるフレーム画像の前及び後にそれぞれ撮像された撮像前フレーム画像及び撮像後フレーム画像を抽出してよい。

撮像部に動画又は静止画を撮像させる撮像モードと他の設定モードとを選択して設定するモード設定部をさらに備え、撮像前後フレーム画像抽出部は、モード設定部が撮像モードを選択していない場合に、静止画撮像タイミングに基づいて撮像前フレーム画像及び撮像後フレーム画像を抽出し、フレーム画像生成部は、モード設定部が撮像モードを選択していない場合に、撮像前フレーム画像及び撮像後フレーム画像に基づいて撮像部が静止画を撮像したタイミングのフレーム画像を生成してよい。

撮像部に電力を供給する電池部と、電池部の電池残量が予め定められた基準量以上であるか否かを検出する電池残量検出部とをさらに備え、撮像前後フレーム画像抽出部は、電池部の電池残量が予め定められた基準量以上であることを電池残量検出部が検出した場合に、静止画撮像タイミングに基づいて撮像前フレーム画像及び撮像後フレーム画像を抽出し、フレーム画像生成部は、電池部の電池残量が予め定められた基準量以上であることを電池残量検出部が検出した場合に、撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像部が静止画を撮像したタイミングのフレーム画像を生成してよい。

撮像部が撮像した動画及び静止画、並びにフレーム画像生成部が生成したフレーム画像を格納する画像メモリと、画像メモリの空き容量が予め定められた基準量以上であるか否かを検出する空き容量検出部とをさらに備え、撮像前後フレーム画像抽出部は、画像メモリの空き容量が予め定められた基準量以上であることを空き容量検出部が検出した場合に、静止画撮像タイミングに基づいて撮像前フレーム画像及び撮像後フレーム画像を抽出し、フレーム画像生成部は、画像メモリの空き容量が予め定められた基準量以上であることを空き容量検出部が検出した場合に、撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像部が静止画を撮像したタイミングのフレーム画像を生成してよい。

撮像部が撮像した動画及び静止画、並びにフレーム画像生成部が生成したフレーム画像を格納する画像メモリと、撮像部が新たに撮像した動画又は静止画を格納するための空き容量が画像メモリに不足している場合に、画像メモリが格納している撮像部が撮像した動画及び静止画より、画像メモリが格納しているフレーム画像生成部が生成したフレーム画像を優先的に消去させ、撮像部が新たに撮像した動画又は静止画を画像メモリに格納させる画像格納制御部とをさらに備えてよい。

フレーム画像生成部は、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像前フレーム画像及び撮像後フレーム画像に渡って動いている領域である有変化領域と、撮像前フレーム画像及び撮像後フレーム画像に渡って動いていない領域である無変化領域とを特定する変化領域特定部と、撮像部が撮像した静止画に含まれるオブジェクトであって、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に渡って動いているオブジェクトを抽出するオブジェクト抽出部と、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、変化領域特定部が特定した有変化領域において、静止画撮像タイミング記録部が記録している静止画撮像タイミングの前後における、オブジェクト抽出部が抽出したオブジェクトの移動量を算出する変化量算出部と、撮像部が撮像した静止画に対して、変化量算出部が算出したオブジェクトの移動量に基づいて、オブジェクト抽出部が抽出したオブジェクトを含む、変化領域特定部が特定した有変化領域の画像にぼかし処理を施すことによって、撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像合成部とを有してよい。

フレーム画像生成部は、静止画撮像タイミング記録部が記録している静止画撮像タイミングと撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像が撮像されたタイミングとの差である前方時間差、及び静止画撮像タイミング記録部が記録している静止画撮像タイミングと撮像前後フレーム画像抽出部が抽出した撮像後フレーム画像が撮像されたタイミングとの差である後方時間差を算出する撮像時間差算出部をさらに有し、変化量算出部は、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像、並びに、撮像部が撮像した静止画に基づいて、静止画撮像タイミング記録部が記録している静止画撮像タイミングと撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像が撮像されたタイミングとの間における、オブジェクト抽出部が抽出したオブジェクトの移動ベクトルである前方移動ベクトルと、静止画撮像タイミング記録部が記録している静止画撮像タイミングと撮像前後フレーム画像抽出部が抽出した撮像後フレーム画像が撮像されたタイミングとの間における、オブジェクト抽出部が抽出したオブジェクトの移動ベクトルである後方移動ベクトルとを算出し、フレーム画像合成部は、撮像時間差算出部が算出した前方時間差に応じて、変化量算出部が算出した前方移動ベクトルが示す方向に、変化領域特定部が特定した有変化領域の画像にぼかし処理を施し、撮像時間差算出部が算出した後方時間差に応じて、変化量算出部が算出した後方移動ベクトルが示す方向に、変化領域特定部が特定した有変化領域の画像にぼかし処理を施してよい。

フレーム画像生成部は、静止画撮像タイミング記録部が記録している静止画撮像タイミングと、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像が撮像されたタイミングである前フレーム画像撮像タイミング及び撮像前後フレーム画像抽出部が抽出した撮像後フレーム画像が撮像されたタイミングである後フレーム画像撮像タイミングの少なくとも一方に基づいて、撮像部が撮像した静止画と、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方との合成比率を算出する合成比率算出部と合成比率算出部が算出した合成比率で、撮像部が撮像した静止画を、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方と合成することにより、撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像合成部とを有してよい。

フレーム画像生成部は、撮像部が静止画を撮像したときの露光時間である静止画露光時間を記録する露光時間記録部と、露光時間記録部が記録している静止画露光時間に基づいて、撮像部が撮像した静止画と、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方との合成比率を算出する合成比率算出部と、合成比率算出部が算出した合成比率で、撮像部が撮像した静止画を、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方と合成することにより、撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像合成部とを有してよい。

本発明の第２の形態における撮像方法は、撮像段階と、複数のフレーム画像を含む動画を撮像段階において撮像させる動画撮像制御段階と、撮像段階において連続して複数のフレーム画像が撮像されているときに、静止画の撮像指示を受け付ける静止画撮像指示受付段階と、静止画撮像指示受付段階において静止画の撮像指示が受け付けられた場合に、撮像段階において撮像されている一のフレーム画像と当該一のフレーム画像の次のフレーム画像が撮像される間のタイミングで、静止画を撮像段階において撮像させる静止画撮像制御段階と、撮像段階において静止画が撮像されたタイミングである静止画撮像タイミングを記録する静止画撮像タイミング記録段階と、撮像段階において撮像された複数のフレーム画像から、静止画撮像タイミング記録段階において記録されている静止画撮像タイミングの前及び後にそれぞれ撮像されたフレーム画像である撮像前フレーム画像及び撮像後フレーム画像を抽出する撮像前後フレーム画像抽出段階と、撮像前後フレーム画像抽出段階において抽出された撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像段階において静止画が撮像されたタイミングのフレーム画像を生成するフレーム画像生成段階とを備える。

本発明の第３の形態によると、撮像装置用のプログラムであって、当該撮像装置を、撮像部、複数のフレーム画像を含む動画を撮像部に撮像させる動画撮像制御部、撮像部が連続して複数のフレーム画像を撮像しているときに、静止画の撮像指示を受け付ける静止画撮像指示受付部、静止画撮像指示受付部が静止画の撮像指示を受け付けた場合に、撮像部が撮像している一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を撮像部に撮像させる静止画撮像制御部と、撮像部が静止画を撮像したタイミングである静止画撮像タイミングを記録する静止画撮像タイミング記録部、撮像部が撮像した複数のフレーム画像から、静止画撮像タイミング記録部が記録している静止画撮像タイミングの前及び後にそれぞれ撮像されたフレーム画像である撮像前フレーム画像及び撮像後フレーム画像を抽出する撮像前後フレーム画像抽出部、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像生成部として機能させる。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

本発明によれば、動画撮像中に静止画を撮像した場合に、静止画を撮像したタイミングにおいて撮像されるべきフレーム画像を、撮像装置の負担にならないタイミングで生成することができる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、この発明の一実施形態に係る撮像装置１１０のブロック構成の一例を示す。本実施形態の撮像装置１１０は、動画のフレーム画像を撮像している最中に、撮像者によってレリーズボタンが押下されると、動画のフレーム画像の代わりに静止画を撮像して記録する。このとき、撮像装置１１０は、静止画を撮像したタイミングを記録しておき、次のフレーム画像の撮像を再開する。そして、撮像装置１１０は、動画の撮像後において、電池残量とメモリ残量が十分である場合に、静止画を撮像したタイミングの前後に撮像されたフレーム画像を静止画と合成することによって、静止画を撮像するタイミングで撮像されるべきだったフレーム画像を生成して記録する。

撮像装置１１０は、動画撮像制御部２００、静止画撮像指示受付部２０１、静止画撮像制御部２０２、撮像部２１０、フレーム画像生成部２２０、静止画撮像タイミング記録部２８０、フレーム画像識別情報格納部２８２、撮像前後フレーム画像抽出部２８４、画像格納制御部２８６、モード設定部２８８、画像メモリ２９０、空き容量検出部２９２、電池残量検出部２９４、及び電池部２９６を備える。撮像部２１０は、フレーム画像及び静止画を撮像する。具体的には、撮像部２１０は、被写体からの光をＣＣＤ等の撮像素子に露光させて被写体を撮像する。

動画撮像制御部２００は、複数のフレーム画像を含む動画を撮像部２１０に撮像させる。例えば、動画撮像制御部２００は、撮像部２１０の撮像素子を露光させる露光開始時刻と露光時間とを制御する。静止画撮像指示受付部２０１は、撮像部２１０が連続して複数のフレーム画像を撮像しているときに、静止画の撮像指示を受け付ける。そして、静止画撮像制御部２０２は、静止画撮像指示受付部２０１が静止画の撮像指示を受け付けた場合に、撮像部２１０が撮像している一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を撮像部２１０に撮像させる。

静止画撮像タイミング記録部２８０は、撮像部２１０が静止画を撮像したタイミングである静止画撮像タイミングを記録する。そして、撮像前後フレーム画像抽出部２８４は、撮像部２１０が撮像した複数のフレーム画像から、静止画撮像タイミング記録部２８０が記録している静止画撮像タイミングの前及び後にそれぞれ撮像されたフレーム画像である撮像前フレーム画像及び撮像後フレーム画像を抽出する。そして、フレーム画像生成部２２０は、撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像部２１０が静止画を撮像したタイミングのフレーム画像を生成する。このため、フレーム画像生成部２２０は、動画の撮像を終了した後の任意のタイミングで、撮像装置１１０が静止画を撮像したタイミングのフレーム画像を生成することができる。

なお、撮像部２１０が静止画を撮像したタイミングのフレーム画像とは、具体的には、静止画の前のフレーム画像が撮像されてから静止画の後のフレーム画像が撮像されるまでの間において得られるべきフレーム画像であってよい。具体的には、撮像部２１０が静止画を撮像したタイミングのフレーム画像とは、静止画より前のタイミングで撮像されたフレーム画像の露光終了時刻から、静止画より後のタイミングで撮像されたフレーム画像の露光開始時刻までの期間において得られるべきフレーム画像であってよい。また、静止画撮像制御部２０２は、静止画撮像指示受付部２０１が静止画の撮像指示を受け付けた場合に、撮像部２１０が撮像している複数のフレーム画像のうちの１つのフレーム画像に代えて、静止画を撮像部２１０に撮像させてもよい。この場合、撮像部２１０が静止画を撮像したタイミングのフレーム画像とは、撮像部２１０が複数のフレーム画像のうちの１つのフレーム画像に代えて撮像部２１０が静止画を撮像することによって撮像できなかったフレーム画像を代替するフレーム画像である代替フレーム画像であってよい。

画像メモリ２９０は、撮像部２１０が撮像した複数のフレーム画像を含む動画を格納する。そして、フレーム画像識別情報格納部２８２は、画像メモリ２９０が格納している複数のフレーム画像のそれぞれが撮像されたタイミングを示す情報に対応づけて、画像メモリ２９０が格納している複数のフレーム画像のそれぞれを識別するフレーム画像識別情報を格納する。そして、撮像前後フレーム画像抽出部２８４は、静止画撮像タイミング記録部２８０が記録している静止画撮像タイミングに基づいて、撮像前フレーム画像及び撮像後フレーム画像のフレーム画像識別情報をフレーム画像識別情報格納部２８２から抽出した後、抽出したフレーム画像識別情報に基づいて、撮像前フレーム画像及び撮像後フレーム画像を画像メモリ２９０から抽出する。

なお、フレーム画像のそれぞれが撮像されたタイミングとは、フレーム画像のそれぞれが撮像された時刻であってよいし、シーケンス番号等、フレーム画像のそれぞれが撮像された順番を示す情報であってよい。また、フレーム画像識別情報とは、フレーム画像に割り振られたフレーム番号等であってよいし、フレーム画像のそれぞれが撮像されたタイミングを示す情報であってもよい。

また、静止画撮像タイミング記録部２８０は、静止画撮像タイミングとして、撮像部２１０が静止画を撮像することによって撮像できなかったフレーム画像を識別するフレーム画像識別情報を記録してよい。そして、撮像前後フレーム画像抽出部２８４は、静止画撮像タイミング記録部２８０が記録しているフレーム画像識別情報で識別されるフレーム画像の前及び後にそれぞれ撮像された撮像前フレーム画像及び撮像後フレーム画像を抽出する。

モード設定部２８８は、撮像部２１０に動画又は静止画を撮像させる撮像モードと他の設定モードとを選択して設定する。そして、撮像前後フレーム画像抽出部２８４は、モード設定部２８８が撮像モードを選択していない場合に、静止画撮像タイミングに基づいて撮像前フレーム画像及び撮像後フレーム画像を抽出する。そして、フレーム画像生成部２２０は、モード設定部２８８が撮像モードを選択していない場合に、撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像部２１０が静止画を撮像したタイミングのフレーム画像を生成する。

例えば、撮像装置１１０は、撮像モード以外の設定モードとして、撮像された動画及び静止画を含む画像を表示する表示モードと、撮像者からの指示により即座に撮像モードに遷移することができる待機モードとを有している。そして、撮像前後フレーム画像抽出部２８４は、モード設定部２２８が待機モードを選択している場合に、静止画撮像タイミングに基づいて撮像前フレーム画像及び撮像後フレーム画像を抽出する。このため、撮像装置１１０の負荷が軽負荷であるときに、フレーム画像の生成処理を実行することができる。

電池部２９６は、撮像部２１０に電力を供給する。電池残量検出部２９４は、電池部２９６の電池残量が予め定められた基準量以上であるか否かを検出する。例えば、電池残量検出部２９４は、電池部２９６の端子間電圧に基づいて、電池部２９６の電池残量が予め定められた基準量以上であるか否かを検出する。そして、撮像前後フレーム画像抽出部２８４は、電池部２９６の電池残量が予め定められた基準量以上であることを電池残量検出部２９４が検出した場合に、静止画撮像タイミングに基づいて撮像前フレーム画像及び撮像後フレーム画像を抽出する。そして、フレーム画像生成部２２０は、電池部２９６の電池残量が予め定められた基準量以上であることを電池残量検出部２９４が検出した場合に、撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像部２１０が静止画を撮像したタイミングのフレーム画像を生成する。このため、撮像装置１１０は、フレーム画像の生成処理によって、電池が残量不足に陥ってしまうことを未然に防ぐことができる。

画像メモリ２９０は、撮像部２１０が撮像した動画及び静止画、並びにフレーム画像生成部２２０が生成したフレーム画像を格納する。空き容量検出部２９２は、画像メモリ２９０の空き容量が予め定められた基準量以上であるか否かを検出する。そして、撮像前後フレーム画像抽出部２８４は、画像メモリ２９０の空き容量が予め定められた基準量以上であることを空き容量検出部２９２が検出した場合に、静止画撮像タイミングに基づいて撮像前フレーム画像及び撮像後フレーム画像を抽出する。そして、フレーム画像生成部２２０は、画像メモリ２９０の空き容量が予め定められた基準量以上であることを空き容量検出部２９２が検出した場合に、撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像部２１０が静止画を撮像したタイミングのフレーム画像を生成する。このため、撮像装置１１０は、フレーム画像生成部２２０が生成したフレーム画像によって画像メモリ２９０が圧迫されてしまうことを未然に防ぐことができる。

画像格納制御部２８６は、撮像部２１０が新たに撮像した動画又は静止画を格納するための空き容量が画像メモリ２９０に不足している場合に、画像メモリ２９０が格納している撮像部２１０が撮像した動画及び静止画より、画像メモリ２９０が格納しているフレーム画像生成部２２０が生成したフレーム画像を優先的に消去させ、撮像部２１０が新たに撮像した動画又は静止画を画像メモリ２９０に格納させる。このため、撮像装置１１０は、撮像装置１１０は、フレーム画像生成部２２０が生成したフレーム画像によって画像メモリ２９０が圧迫されてしまうことを未然に防ぐことができる。

以上説明したように、本実施形態の撮像装置１１０によれば、動画撮像中に静止画を撮像した場合に、撮像装置１１０にとって望ましいタイミングで、静止画が撮像されたタイミングで撮像されるべきフレーム画像を作成することができる。

図２は、フレーム画像生成部２２０のブロック構成の一例を示す図である。本例におけるフレーム画像生成部２２０は、露光時間記録部２７４、合成比率算出部２７６、及びフレーム画像合成部２２４を備える。

合成比率算出部２７６は、静止画撮像タイミング記録部２８０が記録している静止画撮像タイミングと、撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像が撮像されたタイミングである前フレーム画像撮像タイミング及び撮像前後フレーム画像抽出部２８４が抽出した撮像後フレーム画像が撮像されたタイミングである後フレーム画像撮像タイミングの少なくとも一方に基づいて、撮像部２１０が撮像した静止画と、撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方との合成比率を算出する。そして、フレーム画像合成部２２４は、合成比率算出部２７６が算出した合成比率で、撮像部２１０が撮像した静止画を、撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方と合成することにより、撮像部２１０が静止画を撮像したタイミングのフレーム画像を生成する。

具体的には、露光時間記録部２７４は、撮像部２１０が静止画を撮像したときの露光時間である静止画露光時間を記録する。そして、合成比率算出部２７６は、露光時間記録部２７４が記録している静止画露光時間に基づいて、撮像部２１０が撮像した静止画と、撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方との合成比率を算出する。例えば、合成比率算出部２７６は、撮像部２１０が静止画を撮像したときの露光時間がより長い場合に、静止画の合成比率を、撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方との合成比率より大きく算出する。

そして、フレーム画像合成部２２４は、合成比率算出部２７６が算出した合成比率で、撮像部２１０が撮像した静止画を、撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方と合成することにより、撮像部２１０が静止画を撮像したタイミングのフレーム画像を生成する。

図３は、撮像装置１１０による撮像動作の一例を示す。撮像部２１０は、時刻ｔ１から時刻ｔ２にかけて、タイミング＃３０１、＃３０２、・・・＃３３１、＃３３２、＃３３４、＃３３５、・・・＃３４９、＃３５０において、動画のフレーム画像を撮像する。そして、撮像部２１０は、タイミング＃３３３で示されるタイミングにおいて、撮像者のレリーズボタンの押下によって、フレーム画像の代わりに静止画を撮像して記録する。そして、モード設定部２８８は、撮像終了時刻ｔ２から撮像装置１１０を待機モードに設定する。そして、撮像前後フレーム画像抽出部２８４は、待機モードに設定されてから所定の時間経過した時刻ｔ３において、タイミング＃３３３において撮像されるべき代替フレーム画像を生成して、画像メモリ２９０に記録する。

そして、撮像装置１１０は、撮像者の操作によって、時刻ｔ５から時刻ｔ６まで再度撮像モードに遷移して、タイミング＃３７２、＃３７２・・・のタイミングで動画のフレーム画像を撮像する。そして、画像格納制御部２８６は、動画の撮像が終了した場合、若しくは、動画の撮像中に、画像メモリ２９０の空き容量が少なくなったことを検出すると、代替フレーム画像を画像メモリ２９０から削除する。本図の例では、動画の撮像終了時に、＃３３３向けの代替フレーム画像を画像メモリ２９０から削除する。このように、撮像装置１１０は、動画撮像後における、撮像装置１１０の負担にならない任意のタイミングを選択して代替フレーム画像を生成することができる。

図４は、画像メモリ２９０、フレーム画像識別情報格納部２８２、及び静止画撮像タイミング記録部２８０が格納するデータの一例をテーブル形式で示す。画像メモリ２９０は、画像ＩＤに対応づけて、撮像部２１０によって撮像されたフレーム画像、静止画、及び、フレーム画像生成部２２０によって生成された代替フレーム画像を格納する。例えば、画像メモリ２９０は、画像ＩＤ＃１０３３１で示されるフレーム画像１０３３１、画像ＩＤ＃１０３３３で示される代替フレーム画像１０３３３、画像ＩＤ＃２０３３３で示される静止画２０３３３等を格納する。

また、フレーム画像識別情報格納部２８２は、撮像部２１０によって撮像されたタイミングＩＤ＃３３１、＃３３２、＃３３４・・・に対応付けて、それぞれ画像ＩＤ＃１０３３１、＃１０３３２、＃１０３３４、・・・を格納する。また、静止画撮像タイミング記録部２８０は、撮像部２１０がフレーム画像の代わりに撮像した静止画を示す画像ＩＤ＃２０３３３を、当該フレーム画像が撮像されるべきタイミングＩＤ＃３３３に対応付けて格納する。したがって、撮像前後フレーム画像抽出部２８４は、静止画を撮像したタイミングＩＤ＃３３３から、その前後のタイミング＃３３１及び＃３３２を抽出することによって、静止画２０３３３の前後のタイミングで撮像されたフレーム画像１０３３２及び１０３３４を抽出することができる。

なお、フレーム画像識別情報格納部２８２及び静止画撮像タイミング記録部２８０によって格納されるデータは、画像メモリ２９０に格納されてもよいし、画像メモリ２９０とは別のメモリに格納されてもよい。また、タイミングＩＤとは、撮像部２１０によって撮像された時刻そのものであってよいし、フレーム画像のシーケンス番号等、撮像部２１０によって撮像された画像の順番を示す数値等の記号であってもよい。

図５は、撮像装置１１０による代替フレーム画像の生成する生成過程の一例を示す。本図の例では、動画撮像制御部２００は、時刻ｔ３３２、ｔ３３４・・・を露光期間の中心のタイミングとする露光時間Ｌｍで、撮像部２１０に動画を撮像させるタイミングを供給する。そして、静止画撮像制御部２０２は、レリーズボタンが押下されると、露光時間Ｌｓで、時刻ｔ３００を露光期間の中心のタイミングとするタイミングで撮像部２１０に静止画を撮像させる。この撮像動作によって、撮像装置１１０は、静止画Ｓと、静止画Ｓの前に撮像された撮像前フレーム画像Ｆ１、及び静止画Ｓの後に撮像された撮像後フレーム画像Ｆ３を取得する。

なお、静止画撮像制御部２０２は、フレーム画像を撮像すべく撮像素子を露光させている最中に静止画を撮像させる場合には、ＣＣＤ等の撮像素子により蓄積された電荷を一旦放出させてから、静止画を撮像すべく撮像素子への露光を新たに開始させる。

なお、フレーム画像識別情報格納部２８２は、フレーム画像を撮像した露光期間の中心の時刻を示すタイミング（前フレーム画像撮像タイミングｔ３３２、及び後フレーム画像撮像タイミングｔ３３４）をフレーム画像が撮像されたタイミングを示す情報として格納する。また、静止画撮像タイミング記録部２８０は、静止画Ｓを撮像することによって撮像されなかったフレーム画像を撮像すべき露光期間の中心の時刻を示す中フレーム画像撮像タイミングｔ３３３を示す情報を、フレーム画像識別情報として記録する。なお、静止画撮像タイミング記録部２８０は、静止画Ｓを撮像すべく撮像部２１０の撮像素子を露光させた露光期間の中心の時刻を示すタイミング（静止画撮像タイミングｔ３００）を、さらに記録してもよい。

そして、合成比率算出部２７６は、撮像前フレーム画像Ｆ１、静止画Ｓ、撮像後フレーム画像Ｆ３を合成させる合成比率α１、α２、及びα３を算出する。このとき、合成比率算出部２７６は、静止画撮像タイミングｔ３００と前フレーム画像撮像タイミングｔ３３２との時間差Δｔ１と、後フレーム画像撮像タイミングｔ３３４と静止画撮像タイミングｔ３００との時間差Δｔ３とを算出する。そして合成比率算出部２７６は、例えば、撮像後フレーム画像Ｆ３の合成比率α３に対する撮像前フレーム画像Ｆ１の合成比率α１の比率を、時間差Δｔ１に対する時間差Δｔ３に比例させる。これにより、撮像装置１１０は、静止画撮像タイミングｔ３００と中フレーム画像撮像タイミングｔ３３３との間の時間的位置に応じた適切な合成比率で合成することができるので、撮像前フレーム画像Ｆ１又は撮像後フレーム画像Ｆ３に記録された被写体の動きの軌跡を、代替フレーム画像Ｆ２に反映させることができる。

そして、合成比率算出部２７６は、中フレーム画像撮像タイミングｔ３３３と静止画撮像タイミングｔ３００との時間差Δｔ０を算出する。そして合成比率算出部２７６は、静止画Ｓの合成比率α２に対する、撮像前フレーム画像Ｆ１と撮像後フレーム画像Ｆ３の合成比率の合計値α１＋α３の比率を、静止画露光時間Ｌｓの逆数と時間差Δｔ０との積に比例させる。これにより、合成比率算出部２７６は、静止画露光時間Ｌｓが長いほど代替フレーム画像Ｆ２への静止画Ｓの寄与度を上げることができるとともに、静止画撮像タイミングｔ３００が中フレーム画像撮像タイミングｔ３３３から離れている場合に、代替フレーム画像Ｆ２への静止画Ｓの寄与度を下げることができる。このため、撮像装置１１０は、静止画Ｓに撮像されていない被写体の動きの軌跡を、適切に代替フレーム画像Ｆ２に反映させることができる。

そして、撮像装置１１０は、フレーム画像合成部２２４によって生成された代替フレーム画像Ｆ２を、中フレーム画像撮像タイミングｔ３３３において撮像されたフレーム画像として記録する。以上説明したように、撮像装置１１０は、被写体の位置及び動きが反映された代替フレーム画像を生成することができる。

図６は、フレーム画像生成部２２０のブロック構成の他の一例を示す。フレーム画像生成部２２０は、変化領域特定部２５０、オブジェクト抽出部２３０、変化量算出部２４０、撮像時間差算出部２６０、及びフレーム画像合成部２２４を備える。

変化領域特定部２５０は、撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像前フレーム画像及び撮像後フレーム画像に渡って動いている領域である有変化領域と、撮像前フレーム画像及び撮像後フレーム画像に渡って動いていない領域である無変化領域とを特定する。そして、オブジェクト抽出部２３０は、撮像部２１０が撮像した静止画に含まれるオブジェクトであって、撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像及び撮像後フレーム画像に渡って動いているオブジェクトを抽出する。

そして、変化量算出部２４０は、撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、変化領域特定部２５０が特定した有変化領域において、静止画撮像タイミング記録部２８０が記録している静止画撮像タイミングの前後における、オブジェクト抽出部２３０が抽出したオブジェクトの移動量を算出する。そして、フレーム画像合成部２２４は、撮像部２１０が撮像した静止画に対して、変化量算出部２４０が算出したオブジェクトの移動量に基づいて、オブジェクト抽出部２３０が抽出したオブジェクトを含む、変化領域特定部２５０が特定した有変化領域の画像にぼかし処理を施すことによって、撮像部２１０が静止画を撮像したタイミングのフレーム画像を生成する。例えば、フレーム画像合成部２２４は、被写体の動きが大きいほど、より大きいぼかし量で有変化領域の画像にぼかし処理を施す。これにより、フレーム画像合成部２２４は、被写体の動きの大きさに応じた適切なぼかし処理が施されたフレーム画像を生成することができる。

撮像時間差算出部２６０は、静止画撮像タイミング記録部２８０が記録している静止画撮像タイミングと撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像が撮像されたタイミングとの差である前方時間差、及び静止画撮像タイミング記録部２８０が記録している静止画撮像タイミングと撮像前後フレーム画像抽出部２８４が抽出した撮像後フレーム画像が撮像されたタイミングとの差である後方時間差を算出する。そして、変化量算出部２４０は、撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像及び撮像後フレーム画像、並びに、撮像部２１０が撮像した静止画に基づいて、静止画撮像タイミング記録部２８０が記録している静止画撮像タイミングと撮像前後フレーム画像抽出部２８４が抽出した撮像前フレーム画像が撮像されたタイミングとの間における、オブジェクト抽出部２３０が抽出したオブジェクトの移動ベクトルである前方移動ベクトルと、静止画撮像タイミング記録部２８０が記録している静止画撮像タイミングと撮像前後フレーム画像抽出部２８４が抽出した撮像後フレーム画像が撮像されたタイミングとの間における、オブジェクト抽出部２３０が抽出したオブジェクトの移動ベクトルである後方移動ベクトルとを算出する。そして、フレーム画像合成部２２４は、撮像時間差算出部２６０が算出した前方時間差に応じて、変化量算出部２４０が算出した前方移動ベクトルが示す方向に、変化領域特定部２５０が特定した有変化領域の画像にぼかし処理を施し、撮像時間差算出部２６０が算出した後方時間差に応じて、変化量算出部２４０が算出した後方移動ベクトルが示す方向に、変化領域特定部２５０が特定した有変化領域の画像にぼかし処理を施す。このため、フレーム画像合成部２２４は、被写体の動く速度に応じた適切なぼかし処理が施された代替フレーム画像を生成することができる。

図７は、撮像装置１１０による代替フレームの生成過程の一例を示す。本図の例における、撮像シーケンスは、図５に関連して説明したフレーム画像及び静止画の撮像シーケンスと同一であるので説明を省略する。

本図の例では、変化領域特定部２５０は、撮像前フレーム画像Ｆ１と撮像後フレーム画像Ｆ３との差分画像を生成し、生成した差分画像において、輝度値等の画像の差分量を示す指標値が予め定められた基準値より大きい有差分領域を特定する。例えば、撮像前フレーム画像Ｆ１における有差分領域７６２a及び７６２ｂ、並びに、撮像後フレーム画像Ｆ３における有差分領域７６４a及び７６４ｂが、差分画像において抽出される。そして、変化領域特定部２５０は、特定された有差分領域において、有差分領域の形状が類似する有差分領域の組（有差分領域７６２ａと７６４ａの組、有差分領域７６２ｂと７６４ｂの組）を特定する。そして、変化領域特定部２５０は、特定した有差分領域の各組について、撮像前フレーム画像Ｆ１が撮像されてから撮像後フレーム画像Ｆ３が撮像されるまでの間における有差分領域の、重心位置の移動度、回転度、形状の変形度等の変化量を算出する。そして、変化領域特定部２５０は、算出した変化量と、静止画Ｓ、撮像前フレーム画像Ｆ１及び撮像後フレーム画像Ｆ３が撮像されたタイミングとに基づいて、静止画Ｓが撮像されたタイミングにおいて、動画において動いているオブジェクトが写されるべき領域を算出して、当該領域を有変化領域（７７０ａ及び７７０ｂ）として特定する。そして、変化領域特定部２５０は、静止画Ｓにおいて、有変化領域（７７０ａ及び７７０ｂ）以外の画像領域を、無変化領域として特定する。

なお、変化領域特定部２５０は、複数のフレーム画像のそれぞれにおいて、予め定められた基準周波数より低い空間周波数を持つ低周波画像領域を抽出して、複数のフレーム画像において類似する形状を持つ低周波画像領域の組を特定してよい。そして、変化領域特定部２５０は、特定した低周波画像領域の組のうち、フレーム画像上における位置が予め定められた間隔より離れている低周波画像領域の組を選択する。そして、変化領域特定部２５０は、選択した低周波画像領域の組において、低周波画像領域の、重心位置の移動度、回転度、形状の変形度等の変化量を算出する。その上で変化領域特定部２５０は、選択した低周波画像領域の組を、上述の、有差分領域の形状が類似する有差分領域の組と同様に扱うことによって、静止画における有変化領域を特定してもよい。

そして、オブジェクト抽出部２３０は、静止画における有変化領域に含まれるオブジェクトから、動きのあるオブジェクトを抽出する。例えば、オブジェクト抽出部２３０は、特定された有変化領域７７０ａの中央領域に位置するオブジェクト７３１を、動きのあるオブジェクトとして抽出してよい。そして、フレーム画像合成部２２４は、抽出したオブジェクトを、有変化領域の範囲においてぼかすぼかし処理を施す。そして、フレーム画像合成部２２４は、当該ぼかし処理を施された有変化領域の画像と、無変化領域の画像とを合成することによって、代替フレーム画像Ｆ２を生成する。例えば、フレーム画像合成部２２４は、動きのあるオブジェクト７３１を、有変化領域においてオブジェクト７３１の移動方向に拡散処理させる。なお、有変化領域の変化量の算出方法及びぼかし処理の詳細については、図８に関連して説明する。

以上説明したように、撮像装置１１０は、静止画における動きのある被写体が位置する画像領域において、動きのあるオブジェクトをぼかした代替フレームを生成するので、動画再生時に被写体の動きが不連続になることを防ぐことができる。

図８は、フレーム画像合成部２２４によるぼかし処理の一例を示す。フレーム画像合成部２２４は、静止画が撮像された直前のタイミングで撮像されたフレーム画像における有差分領域の重心の座標（Ｘ１、Ｙ１）と、静止画を撮像した後のタイミングで撮像されたフレーム画像における有差分領域の重心の座標（Ｘ３、Ｙ３）とを算出する。そして、フレーム画像合成部２２４は、静止画で得られたオブジェクトの重心の座標（Ｘ２、Ｙ２）を起点とした、前方移動ベクトル４１０（Ｘ１−Ｘ２、Ｙ１−Ｙ２）及び後方移動ベクトル４２０（Ｘ３−Ｘ２、Ｙ３−Ｙ２）とを算出する。

そして、フレーム画像合成部２２４は、有変化領域において、前方移動ベクトル４１０及び後方移動ベクトル４２０の方向にオブジェクト７３１の画像を複数配置して、得られる画像を平均化することによって、ぼかし処理を施す。このとき、フレーム画像合成部２２４は、各移動ベクトルの大きさがより大きい場合に、より大きいぼかし量でぼかし処理を施してよい。

具体的には、フレーム画像合成部２２４は、移動ベクトルの大きさがより大きいほど、より多い数のオブジェクトを移動ベクトルの方向に配置して平均化してよい。本図の例では前方移動ベクトル４１０の方向に１０個、後方移動ベクトル４２０の方向に６個のオブジェクト７３１を配置して平均化している。このとき、平均化に用いるオブジェクトの輝度値の合計値は、各移動ベクトル方向について同一であってよい。そして、フレーム画像合成部２２４は、平均化した画像とオブジェクトの背景の画像とを重畳させる。これにより、移動ベクトルの大きさが大きいほど、配置される一オブジェクトあたりの輝度値は平均化によって小さくなる。このため、オブジェクトの動きの大きさを適切に表現することができる。他にも、フレーム画像合成部２２４は、各移動ベクトルにおいて、オブジェクト７３１を移動ベクトルの方向に、移動ベクトルの大きさに比例した量だけ引き伸ばすことによって、ぼかし処理を施してもよい。

また、撮像時間差算出部２６０は、静止画が撮像されたタイミングと撮像前フレーム画像が撮像されたタイミングとの差を前方時間差として算出し、撮像後フレーム画像が撮像されたタイミングと静止画が撮像されたタイミングとの差を後方時間差として算出する。そして、フレーム画像合成部２２４は、前方移動ベクトルと前方時間差とに基づいて、オブジェクトの動きを示す前方移動速度を算出し、後方移動ベクトルと後方時間差とに基づいて、オブジェクト動きを示す後方移動速度を算出する。そして、フレーム画像合成部２２４は、算出した前方移動速度及び後方移動速度に応じて、ぼかし処理を施す。例えば、フレーム画像合成部２２４は、前方移動速度の大きさ及び後方移動速度の大きさがより大きい場合に、より大きいぼかし量を設定する。

以上説明したフレーム画像生成部２２０によれば、動画撮像中に撮像された静止画から、動きのある画像領域にぼかし処理が施され、かつ、動きのない画像領域は鮮明な代替フレーム画像を生成することができる。このため、再生表示される動画において、動きのある被写体の動きが、代替フレームが再生表示されるタイミングの前後で不連続になることがない。

以上説明したように、本実施形態の撮像装置１１０によれば、動画撮像中において静止画を撮像したタイミングを記録しておくことによって、動画撮像後の自由なタイミングで代替フレーム画像を生成することができる。このため、撮像装置１１０は、例えば撮像装置１１０の負荷が高くない時間帯に代替フレーム画像の生成処理を実行することができる。また、撮像装置１１０は、フレーム画像及び静止画データ、並びに、フレーム画像及び静止画が撮像されたタイミングを外部の動画再生装置等に出力することによって、動画再生装置は動画再生時に代替フレーム画像を生成することもできる。

図９は、撮像装置１１０に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して撮像装置１１０と通信し、撮像装置１１０にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して撮像装置１１０に送信される。撮像装置１１０に送信されたプログラムは、撮像装置１１０においてインストールされて実行される。

撮像装置１１０にインストールされて実行されるプログラムは、撮像装置１１０を、図１から図８に関連して説明した、動画撮像制御部２００、静止画撮像指示受付部２０１、静止画撮像制御部２０２、撮像部２１０、フレーム画像生成部２２０、電池残量検出部２９４、フレーム画像識別情報格納部２８２、撮像前後フレーム画像抽出部２８４、画像格納制御部２８６、モード設定部２８８、画像メモリ２９０、空き容量検出部２９２、及び電池部２９６として機能させる。また、撮像装置１１０にインストールされて実行されるプログラムは、フレーム画像生成部２２０を、図１から図５に関連して説明した、露光時間記録部２７４、合成比率算出部２７６、及びフレーム画像合成部２２４として機能させる。また、撮像装置１１０にインストールされて実行されるプログラムは、フレーム画像生成部２２０を、図１、図３、図５、及び図６から図８に関連して説明した、オブジェクト抽出部２３０、変化領域特定部２５０、撮像時間差算出部２６０、変化量算出部２４０、及びフレーム画像合成部２２４として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

撮像装置１１０のブロック構成の一例を示す図である。フレーム画像生成部２２０のブロック構成の一例を示す図である。撮像装置１１０による撮像シーケンスの一例を示す。画像メモリ２９０、フレーム画像識別情報格納部２８２、及び静止画撮像タイミング記録部２８０が格納するデータの一例をテーブル形式で示す。フレーム画像合成部２２４による代替フレームの生成過程の一例を示す図である。フレーム画像生成部２２０のブロック構成の他の一例を示す図である。フレーム画像合成部２２４による代替フレームの生成過程の一例を示す図である。フレーム画像合成部２２４によるぼかし処理の一例を示す撮像装置１１０に係るコンピュータ１５００のハードウェア構成の一例を示す図である。

符号の説明

１１０撮像装置
２００動画撮像制御部
２０１静止画撮像指示受付部
２０２静止画撮像制御部
２１０撮像部
２２０フレーム画像生成部
２２４フレーム画像合成部
２２８モード設定部
２３０オブジェクト抽出部
２４０変化量算出部
２５０変化領域特定部
２６０撮像時間差算出部
２７４露光時間記録部
２７６合成比率算出部
２８０静止画撮像タイミング記録部
２８２フレーム画像識別情報格納部
２８４撮像前後フレーム画像抽出部
２８６画像格納制御部
２８８モード設定部
２９０画像メモリ
２９２空き容量検出部
２９４電池残量検出部
２９６電池部

Claims

撮像部と、
複数のフレーム画像を含む動画を前記撮像部に撮像させる動画撮像制御部と、
前記撮像部が連続して複数のフレーム画像を撮像しているときに、静止画の撮像指示を受け付ける静止画撮像指示受付部と、
前記静止画撮像指示受付部が静止画の撮像指示を受け付けた場合に、前記撮像部が撮像している一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を前記撮像部に撮像させる静止画撮像制御部と、
前記撮像部が静止画を撮像したタイミングである静止画撮像タイミングを記録する静止画撮像タイミング記録部と、
前記撮像部が撮像した複数のフレーム画像から、前記静止画撮像タイミング記録部が記録している静止画撮像タイミングの前及び後にそれぞれ撮像されたフレーム画像である撮像前フレーム画像及び撮像後フレーム画像を抽出する撮像前後フレーム画像抽出部と、
前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像生成部と、
前記撮像部が撮像した動画及び静止画並びに前記フレーム画像生成部が生成したフレーム画像を格納する画像メモリに、前記撮像部が新たに撮像した動画又は静止画を格納するための空き容量が不足している場合に、前記画像メモリが格納している前記撮像部が撮像した動画及び静止画より、前記画像メモリが格納している前記フレーム画像生成部が生成したフレーム画像を優先的に消去させ、前記撮像部が新たに撮像した動画又は静止画を前記画像メモリに格納させる画像格納制御部と
を備える撮像装置。
撮像部と、
複数のフレーム画像を含む動画を前記撮像部に撮像させる動画撮像制御部と、
前記撮像部が連続して複数のフレーム画像を撮像しているときに、静止画の撮像指示を受け付ける静止画撮像指示受付部と、
前記静止画撮像指示受付部が静止画の撮像指示を受け付けた場合に、前記撮像部が撮像している一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を前記撮像部に撮像させる静止画撮像制御部と、
前記撮像部が静止画を撮像したタイミングである静止画撮像タイミングを記録する静止画撮像タイミング記録部と、
前記撮像部が撮像した複数のフレーム画像から、前記静止画撮像タイミング記録部が記録している静止画撮像タイミングの前及び後にそれぞれ撮像されたフレーム画像である撮像前フレーム画像及び撮像後フレーム画像を抽出する撮像前後フレーム画像抽出部と、
前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像生成部と
を備え、
前記フレーム画像生成部は、
前記撮像部が静止画を撮像したときの露光時間である静止画露光時間を記録する露光時間記録部と、
前記露光時間記録部が記録している静止画露光時間に基づいて、前記撮像部が撮像した静止画と、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方との合成比率を算出する合成比率算出部と、
前記合成比率算出部が算出した合成比率で、前記撮像部が撮像した静止画を、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方と合成することにより、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像合成部と
を有する撮像装置。
前記撮像部が撮像した複数のフレーム画像を含む動画を格納する画像メモリと、
前記画像メモリが格納している複数のフレーム画像のそれぞれが撮像されたタイミングを示す情報に対応づけて、前記画像メモリが格納している複数のフレーム画像のそれぞれを識別するフレーム画像識別情報を格納するフレーム画像識別情報格納部と
をさらに備え、
前記撮像前後フレーム画像抽出部は、前記静止画撮像タイミング記録部が記録している静止画撮像タイミングに基づいて、撮像前フレーム画像及び撮像後フレーム画像のフレーム画像識別情報を前記フレーム画像識別情報格納部から抽出した後、抽出したフレーム画像識別情報に基づいて、撮像前フレーム画像及び撮像後フレーム画像を前記画像メモリから抽出する
請求項１または２に記載の撮像装置。
前記静止画撮像制御部は、前記静止画撮像指示受付部が静止画の撮像指示を受け付けた場合に、前記撮像部が撮像している複数のフレーム画像のうちの１つのフレーム画像に代えて、静止画を前記撮像部に撮像させ、
前記静止画撮像タイミング記録部は、静止画撮像タイミングとして、前記撮像部が静止画を撮像することによって撮像できなかったフレーム画像を識別するフレーム画像識別情報を記録し、
前記撮像前後フレーム画像抽出部は、前記静止画撮像タイミング記録部が記録しているフレーム画像識別情報で識別されるフレーム画像の前及び後にそれぞれ撮像された撮像前フレーム画像及び撮像後フレーム画像を抽出する
請求項１から３のいずれかに記載の撮像装置。
前記撮像部に動画又は静止画を撮像させる撮像モードと他の設定モードとを選択して設定するモード設定部
をさらに備え、
前記撮像前後フレーム画像抽出部は、前記モード設定部が撮像モードを選択していない場合に、静止画撮像タイミングに基づいて撮像前フレーム画像及び撮像後フレーム画像を抽出し、
前記フレーム画像生成部は、前記モード設定部が撮像モードを選択していない場合に、撮像前フレーム画像及び撮像後フレーム画像に基づいて、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成する
請求項１から４のいずれかに記載の撮像装置。
前記撮像部に電力を供給する電池部と、
前記電池部の電池残量が予め定められた基準量以上であるか否かを検出する電池残量検出部と
をさらに備え、
前記撮像前後フレーム画像抽出部は、前記電池部の電池残量が予め定められた基準量以上であることを前記電池残量検出部が検出した場合に、静止画撮像タイミングに基づいて撮像前フレーム画像及び撮像後フレーム画像を抽出し、
前記フレーム画像生成部は、前記電池部の電池残量が予め定められた基準量以上であることを前記電池残量検出部が検出した場合に、撮像前フレーム画像及び撮像後フレーム画像に基づいて、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成する
請求項１から４のいずれかに記載の撮像装置。
前記撮像部が撮像した動画及び静止画並びに前記フレーム画像生成部が生成したフレーム画像を格納する画像メモリと、
前記画像メモリの空き容量が予め定められた基準量以上であるか否かを検出する空き容量検出部と
を備え、
前記撮像前後フレーム画像抽出部は、前記画像メモリの空き容量が予め定められた基準量以上であることを前記空き容量検出部が検出した場合に、静止画撮像タイミングに基づいて撮像前フレーム画像及び撮像後フレーム画像を抽出し、
前記フレーム画像生成部は、前記画像メモリの空き容量が予め定められた基準量以上であることを前記空き容量検出部が検出した場合に、撮像前フレーム画像及び撮像後フレーム画像に基づいて、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成する
請求項１から４のいずれかに記載の撮像装置。
前記フレーム画像生成部は、
前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、撮像前フレーム画像及び撮像後フレーム画像に渡って動いている領域である有変化領域と、撮像前フレーム画像及び撮像後フレーム画像に渡って動いていない領域である無変化領域とを特定する変化領域特定部と、
前記撮像部が撮像した静止画に含まれるオブジェクトであって、前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に渡って動いているオブジェクトを抽出するオブジェクト抽出部と、
前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、前記変化領域特定部が特定した有変化領域において、前記静止画撮像タイミング記録部が記録している静止画撮像タイミングの前後における、前記オブジェクト抽出部が抽出したオブジェクトの移動量を算出する変化量算出部と、
前記撮像部が撮像した静止画に対して、前記変化量算出部が算出したオブジェクトの移動量に基づいて、前記オブジェクト抽出部が抽出したオブジェクトを含む、前記変化領域特定部が特定した有変化領域の画像にぼかし処理を施すことによって、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像合成部と
を有する請求項１に記載の撮像装置。
前記フレーム画像生成部は、
前記静止画撮像タイミング記録部が記録している静止画撮像タイミングと前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像が撮像されたタイミングとの差である前方時間差、及び前記静止画撮像タイミング記録部が記録している静止画撮像タイミングと前記撮像前後フレーム画像抽出部が抽出した撮像後フレーム画像が撮像されたタイミングとの差である後方時間差を算出する撮像時間差算出部
をさらに有し、
前記変化量算出部は、前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像、並びに、前記撮像部が撮像した静止画に基づいて、前記静止画撮像タイミング記録部が記録している静止画撮像タイミングと前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像が撮像されたタイミングとの間における、前記オブジェクト抽出部が抽出したオブジェクトの移動ベクトルである前方移動ベクトルと、前記静止画撮像タイミング記録部が記録している静止画撮像タイミングと前記撮像前後フレーム画像抽出部が抽出した撮像後フレーム画像が撮像されたタイミングとの間における、前記オブジェクト抽出部が抽出したオブジェクトの移動ベクトルである後方移動ベクトルとを算出し、
前記フレーム画像合成部は、前記撮像時間差算出部が算出した前方時間差に応じて、前記変化量算出部が算出した前方移動ベクトルが示す方向に、前記変化領域特定部が特定した有変化領域の画像にぼかし処理を施し、前記撮像時間差算出部が算出した後方時間差に応じて、前記変化量算出部が算出した後方移動ベクトルが示す方向に、前記変化領域特定部が特定した有変化領域の画像にぼかし処理を施す
請求項８に記載の撮像装置。
前記フレーム画像生成部は、
前記静止画撮像タイミング記録部が記録している静止画撮像タイミングと、前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像が撮像されたタイミングである前フレーム画像撮像タイミング及び前記撮像前後フレーム画像抽出部が抽出した撮像後フレーム画像が撮像されたタイミングである後フレーム画像撮像タイミングの少なくとも一方に基づいて、前記撮像部が撮像した静止画と、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方との合成比率を算出する合成比率算出部と
前記合成比率算出部が算出した合成比率で、前記撮像部が撮像した静止画を、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方と合成することにより、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像合成部と
を有する請求項１に記載の撮像装置。
複数のフレーム画像を含む動画を撮像する動画撮像段階と、
前記動画撮像段階において連続して複数のフレーム画像が撮像されているときに、静止画の撮像指示を受け付ける静止画撮像指示受付段階と、
前記静止画撮像指示受付段階において静止画の撮像指示が受け付けられた場合に、撮像されている一のフレーム画像と当該一のフレーム画像の次のフレーム画像が撮像される間のタイミングで、静止画を撮像する静止画撮像段階と、
前記静止画撮像段階において静止画が撮像されたタイミングである静止画撮像タイミングを記録する静止画撮像タイミング記録段階と、
前記動画撮像段階において撮像された複数のフレーム画像から、前記静止画撮像タイミング記録段階において記録されている静止画撮像タイミングの前及び後にそれぞれ撮像されたフレーム画像である撮像前フレーム画像及び撮像後フレーム画像を抽出する撮像前後フレーム画像抽出段階と、
前記撮像前後フレーム画像抽出段階において抽出された撮像前フレーム画像及び撮像後フレーム画像に基づいて、前記静止画撮像段階において静止画が撮像されたタイミングのフレーム画像を生成するフレーム画像生成段階と、
前記動画撮像段階で撮像された動画、前記静止画撮像段階で撮像された静止画、及び前記フレーム画像生成段階で生成されたフレーム画像を格納する画像メモリに、新たに撮像された動画又は静止画を格納するための空き容量が不足している場合に、前記画像メモリが格納している前記撮像段階で撮像された動画及び静止画より、前記画像メモリが格納している前記フレーム画像生成段階で生成されたフレーム画像を優先的に消去させ、新たに撮像された動画又は静止画を前記画像メモリに格納させる画像格納制御段階と
を備える撮像方法。
複数のフレーム画像を含む動画を撮像する動画撮像段階と、
前記動画撮像段階において連続して複数のフレーム画像が撮像されているときに、静止画の撮像指示を受け付ける静止画撮像指示受付段階と、
前記静止画撮像指示受付段階において静止画の撮像指示が受け付けられた場合に、撮像されている一のフレーム画像と当該一のフレーム画像の次のフレーム画像が撮像される間のタイミングで、静止画を撮像する静止画撮像段階と、
前記静止画撮像段階で静止画が撮像されたときの露光時間である静止画露光時間を記録する露光時間記録段階と、
前記静止画撮像段階において静止画が撮像されたタイミングである静止画撮像タイミングを記録する静止画撮像タイミング記録段階と、
前記動画撮像段階において撮像された複数のフレーム画像から、前記静止画撮像タイミング記録段階において記録されている静止画撮像タイミングの前及び後にそれぞれ撮像されたフレーム画像である撮像前フレーム画像及び撮像後フレーム画像を抽出する撮像前後フレーム画像抽出段階と、
前記撮像前後フレーム画像抽出段階において抽出された撮像前フレーム画像及び撮像後フレーム画像に基づいて、前記静止画撮像段階において静止画が撮像されたタイミングのフレーム画像を生成するフレーム画像生成段階と
を備え、
前記フレーム画像生成段階は、
前記露光時間記録段階で記録された静止画露光時間に基づいて、前記静止画撮像段階で撮像された静止画と、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方との合成比率を算出する合成比率算出段階と、
前記合成比率算出段階において算出された合成比率で、前記静止画撮像段階で撮像された静止画を、前記撮像前後フレーム画像抽出段階において抽出された撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方と合成することにより、前記静止画撮像段階で静止画を撮像したタイミングのフレーム画像を生成するフレーム画像合成段階と
を有する撮像方法。
撮像装置用のプログラムであって、当該撮像装置を、
撮像部、
複数のフレーム画像を含む動画を前記撮像部に撮像させる動画撮像制御部、
前記撮像部が連続して複数のフレーム画像を撮像しているときに、静止画の撮像指示を受け付ける静止画撮像指示受付部、
前記静止画撮像指示受付部が静止画の撮像指示を受け付けた場合に、前記撮像部が撮像している一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を前記撮像部に撮像させる静止画撮像制御部と、
前記撮像部が静止画を撮像したタイミングである静止画撮像タイミングを記録する静止画撮像タイミング記録部、
前記撮像部が撮像した複数のフレーム画像から、前記静止画撮像タイミング記録部が記録している静止画撮像タイミングの前及び後にそれぞれ撮像されたフレーム画像である撮像前フレーム画像及び撮像後フレーム画像を抽出する撮像前後フレーム画像抽出部、
前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像生成部、及び
前記撮像部が撮像した動画及び静止画並びに前記フレーム画像生成部が生成したフレーム画像を格納する画像メモリに、前記撮像部が新たに撮像した動画又は静止画を格納するための空き容量が不足している場合に、前記画像メモリが格納している前記撮像部が撮像した動画及び静止画より、前記画像メモリが格納している前記フレーム画像生成部が生成したフレーム画像を優先的に消去させ、前記撮像部が新たに撮像した動画又は静止画を前記画像メモリに格納させる画像格納制御部
として機能させるプログラム。
撮像装置用のプログラムであって、当該撮像装置を、
撮像部、
複数のフレーム画像を含む動画を前記撮像部に撮像させる動画撮像制御部、
前記撮像部が連続して複数のフレーム画像を撮像しているときに、静止画の撮像指示を受け付ける静止画撮像指示受付部、
前記静止画撮像指示受付部が静止画の撮像指示を受け付けた場合に、前記撮像部が撮像している一のフレーム画像と当該一のフレーム画像の次のフレーム画像を撮像する間のタイミングで、静止画を前記撮像部に撮像させる静止画撮像制御部と、
前記撮像部が静止画を撮像したタイミングである静止画撮像タイミングを記録する静止画撮像タイミング記録部、
前記撮像部が撮像した複数のフレーム画像から、前記静止画撮像タイミング記録部が記録している静止画撮像タイミングの前及び後にそれぞれ撮像されたフレーム画像である撮像前フレーム画像及び撮像後フレーム画像を抽出する撮像前後フレーム画像抽出部、
前記撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像に基づいて、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像生成部
として機能させ、
前記フレーム画像生成部は、
前記撮像部が静止画を撮像したときの露光時間である静止画露光時間を記録する露光時間記録部と、
前記露光時間記録部が記録している静止画露光時間に基づいて、前記撮像部が撮像した静止画と、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方との合成比率を算出する合成比率算出部と、
前記合成比率算出部が算出した合成比率で、前記撮像部が撮像した静止画を、撮像前後フレーム画像抽出部が抽出した撮像前フレーム画像及び撮像後フレーム画像の少なくとも一方と合成することにより、前記撮像部が静止画を撮像したタイミングのフレーム画像を生成するフレーム画像合成部と
を有するプログラム。