JP4292995B2 - 動画中の特定シーンの静止画の生成 - Google Patents

Description

本発明は、動画から比較的解像度の高い静止画像データを生成する技術に関する。

画像を生成する装置として、デジタルスチルカメラ等の静止画像生成装置やデジタルビデオカメラ等の動画像生成装置が広く使用されている。デジタルスチルカメラは、動きのない比較的解像度の高い静止画像データを生成することができる。一方、デジタルビデオカメラは、複数の比較的解像度の低い画像データ（例えば、フレーム画像データ等）から構成される動画像データを生成することができる。

さらに、デジタルビデオカメラ等の動画像生成装置によって、動画像撮影中におけるユーザーの希望するシーンについての静止画像データを生成する技術が開示されている。

例えば、動画像撮影中におけるユーザーの静止画像要求操作に応じて、動画像データを構成する１つのフレーム画像データを静止画像として記録する技術や、動画像生成装置に動画圧縮回路に加えて静止画圧縮回路を備えさせ、動画像撮影中におけるユーザーの静止画像要求操作に応じて、画像信号を静止画圧縮回路にも伝送して静止画像を生成する技術等が知られている。

特開平７−２８４０５８号公報 特開２００２−３５９８０４号公報 特開２００１−９４９２３号公報 特開２００１−９４９１９号公報 特開２００３−１８９２２８号公報 特開２００３−１４３４５２号公報

しかし、上記のようなフレーム画像データを静止画像として記録する技術では、フレーム画像データは比較的解像度の低い画像データであるため、生成される静止画像の解像度は比較的低くなるという問題があった。また、上記のような画像信号を静止画圧縮回路にも伝送して静止画像を生成する技術では、動画像生成装置に静止画圧縮回路を備えさせる必要があり、動画像生成装置の構造が複雑になるという問題があった。

本発明は、上述した従来の課題を解決するためになされたものであり、動画像生成装置による動画像撮影中におけるユーザーの希望するシーンについて、動画像生成装置の構造を複雑にすることなく、比較的解像度の高い静止画像データを生成することを可能とする技術を提供することを目的とする。

上記課題を解決するために、本発明の画像生成方法は、動画像生成装置による動画像撮影時の所望のシーンについての静止画像データを生成する画像生成方法であって、
（ａ）動画像データと、前記動画像データ生成中におけるユーザーの所定の操作に応じて生成され、前記動画像データの中の少なくとも１つのフレーム画像を特定するためのフレーム特定情報と、を準備する工程と、
（ｂ）前記フレーム特定情報に基づき、前記動画像データの中の複数のフレーム画像を選択する工程と、
（ｃ）前記選択した複数のフレーム画像を合成して、前記フレーム画像よりも解像度の高い静止画像を生成する工程と、
を備える。

この画像生成方法によれば、ユーザーの所定の操作に応じて生成されるフレーム特定情報に基づいて、動画像データの中の複数のフレーム画像を選択し、それらのフレーム画像を合成して静止画像を生成できるので、動画像生成装置による動画像撮影中におけるユーザーの希望するシーンについて、動画像生成装置の構造を複雑にすることなく、比較的解像度の高い静止画像データを生成することができる。

上記画像生成方法において、前記工程（ｂ）において選択するフレーム画像の数は、前記フレーム画像を構成する画素数と前記静止画像を構成する画素数との比に基づいて決定されるとしてもよい。

このようにすれば、選択するフレーム画像の数を、生成される静止画像の画素数に応じて容易に決定することができる。

また、上記画像生成方法において、前記工程（ｂ）における複数のフレーム画像の選択は、前記ユーザーの所定の操作時よりも所定時間以上前に生成されたフレーム画像を対象に行われるとしてもよい。

このようにすれば、ユーザーによる静止画像要求操作に伴う手ぶれの影響の少ないフレーム画像を選択することができ、より画質の良い静止画像を生成することができる。また、ユーザーが静止画像を希望するシーンを認識してから静止画像要求操作を実行するまでのタイムラグを、フレーム画像の選択に反映することができ、その結果、よりユーザーの希望のシーンにマッチしたフレーム画像を選択して、静止画像を生成することができる。

また、上記画像生成方法において、前記動画像データは、ＭＰＥＧファイル形式であり、前記工程（ｂ）における複数のフレーム画像の選択は、Ｉピクチャ形式のフレーム画像のみを対象として行われるとしてもよい。

このようにすれば、Ｉピクチャは全画素の階調データを有して他のフレーム画像の情報を参照しないで画像を表現可能であるため、静止画像生成処理の高速化を図ることができると共に、より画質の良い静止画像を生成することができる。

また、上記画像生成方法において、前記フレーム特定情報は、前記フレーム特定情報が特定するフレーム画像の生成時における手ぶれの程度を表す手ぶれ情報を含み、
前記工程（ｂ）における複数のフレーム画像の選択は、前記フレーム特定情報に含まれる手ぶれ情報が表す手ぶれの程度が所定の条件より小さいフレーム画像のみを対象として行われるとしてもよい。

このようにすれば、手ぶれの小さいフレーム画像を用いて静止画像を生成することができ、静止画像生成処理の高速化を図ることができると共に、より画質の良い静止画像を生成することができる。

また、上記画像生成方法において、前記工程（ｃ）は、
（i）前記複数のフレーム画像相互の位置ずれを補正するための補正量を推定する工程と、
（ii）前記推定した補正量に基づいて、前記複数のフレーム画像相互の位置ずれを補正する工程と、を含むとしてもよい。

このようにすれば、主に手ぶれを原因とする各フレーム画像相互の位置ずれを補正した後に、各フレーム画像を合成して静止画像を生成することができ、より画質の良い静止画像を生成することができる。

さらに、上記画像生成方法において、前記フレーム特定情報は、前記フレーム特定情報が特定するフレーム画像の生成時における手ぶれの程度を表す手ぶれ情報を含み、
前記工程（ｃ）に含まれる前記工程（i）における補正量の推定は、前記手ぶれ情報を用いて行うとしてもよい。

このようにすれば、迅速かつ正確に補正量の推定を行うことができ、その結果、静止画像生成処理の高速化を図ることができると共に、より画質の良い静止画像を生成することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像生成方法および装置、画像データ処理方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．静止画像生成システムの構成：
Ａ−２．静止画像生成処理の概要：
Ａ−３．撮影・記録処理：
Ａ−４．静止画像生成処理：
Ａ−５．選択フレーム画像を用いた静止画像合成：
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例：
Ａ−１．静止画像生成システムの構成：
図１は、本発明の第１実施例としての静止画像生成システム１００の構成を概略的に示した説明図である。この静止画像生成システム１００は、コンピュータ１０と、コンピュータ１０に情報を入力する装置としてのキーボード１２０およびマウス１３０と、情報を出力する装置としてのディスプレイ１５０およびプリンタ２０と、を備えている。また、動画像データやその他のデータを生成する装置として、および、コンピュータ１０に動画像データ等を入力する装置として、デジタルビデオカメラ３０を備えている。なお、動画像データ等を入力する装置としては、ＣＤ−Ｒ／ＲＷドライブやＤＶＤドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。

デジタルビデオカメラ３０は、デジタルビデオカメラ制御部（以下「ＤＶＣ制御部」と呼ぶ）３１と、動画像データ生成部３２と、フレーム特定情報生成部３３と、デジタルビデオテープ（以下「ＤＶテープ」と呼ぶ）３６ａを格納するデジタルビデオテープ格納部（以下「ＤＶテープ格納部」と呼ぶ）３６と、バッファ３７と、メモリカード３８ａを格納するメモリカード格納部３８とを備えている。

ＤＶＣ制御部３１は、デジタルビデオカメラ３０の動作の全体を制御する。動画像データ生成部３２は、例えばＭＰＥＧファイル形式等の所定の形式の動画像データを生成し、ＤＶテープ格納部３６に格納されたＤＶテープ３６ａに、生成した動画像データを記録する。この動画像データは、比較的低解像度のフレーム画像データから構成されている。なお、本実施例においては、フレーム画像データが表す画像をフレーム画像とも呼ぶ。個々のフレーム画像は、通常は、ノンインターレース方式の静止画像として構成されている。また、本実施例では、動画像データの記録媒体としてＤＶテープ３６ａを用いているが、例えばメモリカード３８ａやＤＶＤ等の種々の記録媒体に動画像データを記録することも可能である。

フレーム特定情報生成部３３は、動画像データを構成するフレーム画像データを特定する情報（以下「フレーム特定情報」と呼ぶ）を生成し、バッファ３７に記録することができる。フレーム特定情報生成部３３の動作については後述する。

コンピュータ１０は、所定のオペレーティングシステムの下で、静止画像データを生成するためのアプリケーションプログラムを実行することにより、静止画像生成処理を実行する。コンピュータ１０は、静止画像生成制御部１１と、フレーム特定情報取得部１２と、必要フレーム数算出部１３と、フレーム画像選択部１４と、静止画像合成処理部１５とを備えている。

静止画像生成制御部１１は、静止画像生成処理の全体を制御する。例えば、キーボード１２０やマウス１３０からユーザによって静止画像データの生成の指示が入力されると、静止画像生成制御部１１は各部の動作を制御して、比較的解像度の低い複数のフレーム画像データから比較的解像度の高い静止画像データを生成する。さらに、静止画像生成制御部１１は、生成された静止画像データを、図示しないプリンタドライバを介してプリンタ２０に印刷させることもできる。なお、静止画像生成制御部１１による静止画像生成処理については、後述する。

Ａ−２．静止画像生成処理の概要：
図２は、静止画像生成システム１００を用いて静止画像を生成する処理の流れを示すフローチャートである。ステップＳ１００では、ユーザーがデジタルビデオカメラ３０を用いて動画像の撮影・記録処理を実行する。動画像の撮影・記録中に、ユーザーが静止画像要求操作を行うと、その操作に応じたフレーム特定情報が記録される。動画像の撮影・記録により生成された動画像データは、デジタルビデオカメラ３０からコンピュータ１０に転送される。ステップＳ２００では、静止画像生成制御部１１が、ステップＳ１００で生成された動画像データとフレーム特定情報とを用いて、静止画像データの生成を行う。以下、撮影・記録処理（ステップＳ１００）および静止画像生成処理（ステップＳ２００）の詳細について、順次説明する。

Ａ−３．撮影・記録処理：
図３は、第１実施例における静止画像生成システム１００による撮影・記録処理の流れを示すフローチャートである。ステップＳ１１０では、デジタルビデオカメラ３０のＤＶＣ制御部３１（図１）は、ユーザーによる動画像撮影開始操作がなされたか否かを判定する。動画像撮影開始操作がなされていないと判定した場合には（ステップＳ１１０：Ｎｏ）、撮影・記録処理の最初に戻る。一方、動画像撮影開始操作がなされたと判定した場合には（ステップＳ１１０：Ｙｅｓ）、ステップＳ１２０に進み、ＤＶＣ制御部３１は、動画像撮影・記録を開始する。

ステップＳ１２０における動画像撮影・記録では、動画像データ生成部３２が動画像データを生成し、ＤＶテープ３６ａに動画像データを記録する。

ステップＳ１３０では、ＤＶＣ制御部３１は、ユーザーによる静止画像要求操作がなされたか否かを判定する。ユーザーによる静止画像要求操作は、例えば、デジタルビデオカメラ３０に設けられた図示しない静止画ボタンの押下により行われる。静止画像要求操作がなされたと判定した場合には（ステップＳ１３０：Ｙｅｓ）、ステップＳ１４０に進む。一方、静止画像要求操作がなされていないと判定した場合には（ステップＳ１３０：Ｎｏ）、ステップＳ１６０に進む。

ステップＳ１４０では、フレーム特定情報生成部３３が、静止画像要求操作時のフレーム画像を特定するためのフレーム特定情報を生成する。本実施例では、フレーム特定情報として絶対フレーム番号が用いられる。なお、本明細書において絶対フレーム番号とは、デジタルビデオカメラ３０の記録媒体（本実施例ではＤＶテープ３６ａ）に記録されたフレーム画像の最初のフレーム画像から数えた通し番号をいう。また、フレーム特定情報により特定されるフレーム画像を特定フレーム画像と呼ぶ。

図４は、動画像とフレーム特定情報を模式的に表した説明図である。図４の破線で囲って示す動画像ＭＰは、時系列的に連続した複数のフレーム画像ＦＰによって構成されている。なお図４では、左側から右側に向かってフレーム画像ＦＰを時系列順に表しており、右側ほど時系列的に後のフレーム画像である。また、各フレーム画像の下に記された数字は各フレーム画像の絶対フレーム番号を示している。

図４の例では、静止画像要求操作がなされたときのフレーム画像である絶対フレーム番号２３４番のフレーム画像が特定フレーム画像となる。そして、絶対フレーム番号２３４番であるという情報がフレーム特定情報の内容となる。なお図４には、特定フレーム画像をハッチングを付して示している。

なお、ステップＳ１４０で生成するフレーム特定情報は、特定フレーム画像を特定できる情報であればよく、例えば、フレーム画像の絶対フレーム番号や、フレーム画像データの生成時を表す情報（生成年月日時分秒等）、フレーム画像データの記録媒体中における記録アドレスを表す情報、フレーム画像データそのものでもよい。また、動画像データを記録しているＤＶテープ３６ａの、特定フレーム画像に対応したサブコードエリアに、そのフレーム画像が特定フレーム画像であることを示す情報を記録するようにしてもよい。

ステップＳ１５０（図３）では、ＤＶＣ制御部３１は、ステップＳ１４０でフレーム特定情報生成部３３が生成したフレーム特定情報をバッファ３７に記録する。その後、ステップＳ１６０に進む。

ステップＳ１６０では、ＤＶＣ制御部３１は、ユーザーによる動画像撮影終了操作がなされたか否かを判定する。動画像撮影終了操作がなされていないと判定した場合には（ステップＳ１６０：Ｎｏ）、ステップＳ１３０に戻る。ステップＳ１３０において、ユーザーによるさらなる静止画像要求操作がなされたと判定した場合には、ステップＳ１４０およびステップＳ１５０の処理を再度実行する。

一方、動画像撮影終了操作がなされたと判定した場合には（ステップＳ１６０：Ｙｅｓ）、ステップＳ１７０に進み、動画像データ生成部３２は動画像撮影・記録を終了する。

ステップＳ１８０では、ＤＶＣ制御部３１は、ステップＳ１５０においてバッファ３７に記録されたフレーム特定情報を、ＤＶテープ３６ａに記録する。本実施例では、ＤＶＣ制御部３１は、フレーム特定情報を、ＤＶテープ３６ａのサブコードエリアに記録することとしている。なお、デジタルビデオカメラ３０がＤＶテープ３６ａとは別の記録媒体（例えばメモリカード３８ａ）にデータを記録することができるときは、フレーム特定情報を別の記録媒体に記録することも可能である。記録完了後、撮影・記録処理を終了する。

以上説明した撮影・記録処理により、動画像データがデジタルビデオカメラ３０に格納されたＤＶテープ３６ａに記録されると共に、ユーザーによる静止画像要求操作時のフレーム画像を特定するフレーム特定情報がＤＶテープ３６ａのサブコードエリアに記録される。

Ａ−４．静止画像生成処理：
図５は、静止画像生成システム１００による静止画像生成処理の流れを示すフローチャートである。ステップＳ２１０では、フレーム特定情報取得部１２（図１）が、デジタルビデオカメラ３０に格納されているＤＶテープ３６ａのサブコードエリアに記録されているフレーム特定情報を取得する。

ステップＳ２２０では、必要フレーム数算出部１３が、静止画像生成処理に必要なフレーム画像数の算出を行う。図６は、必要フレーム数算出部１３による必要フレーム数算出の処理の流れを示すフローチャートである。

ステップＳ２２１（図６）では、必要フレーム数算出部１３は、生成静止画像の画像サイズの設定値を取得する。生成静止画像の画像サイズは、ユーザーが任意に設定することができる。また、デフォルト値をあらかじめ設定しておくこともできる。

ステップＳ２２２では、必要フレーム数算出部１３は、デジタルビデオカメラ３０によるＤＶテープ３６ａへの動画像記録時のフレーム画像の画像サイズを取得する。

ステップＳ２２３では、必要フレーム数算出部１３は、必要フレーム数の算出を行う。必要フレーム数の算出は、動画像記録時フレーム画像サイズに対する生成静止画像サイズの比を必要フレーム数とすることにより行う。例えば、動画像記録時フレーム画像サイズが６４０画素×４８０画素（いわゆるＶＧＡサイズ）で、生成静止画像サイズが９６０画素×７２０画素のときは、両者の比の値は２．２５となり、小数点以下を切り上げて必要フレーム数の値は３となる。

なお、本実施例では、動画像記録時フレーム画像サイズに対する生成静止画像サイズの比が整数にならないときは、小数点以下を切り上げて整数値としての必要フレーム数を算出しているが、小数点以下を切り捨てたり、四捨五入したりすることによって、整数値としての必要フレーム数を算出してもよい。また、必要フレーム数の算出は、上記の処理内容以外の方法で算出することも可能である。さらに、必要フレーム数としてユーザーが任意の値を指定できるようにすることも可能である。

また、必要フレーム数は、１つの静止画像を生成するのに必要なフレーム画像数であり、複数の静止画像を生成する場合は、それぞれの静止画像生成処理毎に必要フレーム数分のフレーム画像を用いることとなる。

ステップＳ２３０（図５）では、フレーム画像選択部１４が、静止画像生成に使用するフレーム画像を選択する。フレーム画像の選択は、動画像データを構成する多数のフレーム画像の中から、ステップＳ２１０で取得したフレーム特定情報に基づいて、ステップＳ２２０で算出した必要フレーム数分のフレーム画像を選択することにより行う。なお、ステップＳ２３０において選択したフレーム画像を選択フレーム画像と呼ぶ。また、本実施例では、必要フレーム数の値が３であるとして、説明する。

図７は、静止画像生成に使用するフレーム画像の選択方法を概念的に示す説明図である。図７には、図４と同様に、時系列的に連続したフレーム画像ＦＰによって構成されている動画像ＭＰを破線で囲って示している。また、図７では、左側から右側に向かってフレーム画像ＦＰを時系列順に表しており、右側ほど時系列的に後のフレーム画像である。また、各フレーム画像の下に記された数字は各フレーム画像の絶対フレーム番号を示している。さらに図７には、静止画像要求操作時のフレーム画像である特定フレーム画像をハッチングを付して示している。

静止画像生成に使用するフレーム画像の選択は、例えば、図７（ａ）に示すように、特定フレーム画像と特定フレーム画像の直後の時系列的に連続したフレーム画像とをフレーム画像数の合計が必要フレーム数になるように選択することにより行う。図７（ａ）の例では、特定フレーム画像である絶対フレーム番号２３４番のフレーム画像と、その直後の時系列的に連続したフレーム画像である絶対フレーム番号２３５番および２３６番のフレーム画像とを選択している。なお、図７（ａ）には、３つの選択フレーム画像を太線で囲って示しており、図７（ｂ）および図７（ｃ）においても同様である。

また、例えば、図７（ｂ）に示すように、特定フレーム画像より所定時間前に生成された時系列的に連続したフレーム画像を、選択フレーム画像として選択することもできる。図７（ｂ）の例では、特定フレーム画像より８〜１０フレーム前に生成された絶対フレーム番号２２４番、２２５番および２２６番の３つのフレーム画像を選択している。このようにすると、ユーザーによる静止画像要求操作に伴う手ぶれの影響の少ないフレーム画像を選択することができ、そのような選択フレーム画像を用いて後述する静止画像生成処理を行うと、より画質の良い静止画像を生成することができる。また、ユーザーが静止画像を希望するシーンを認識してから静止画像要求操作を実行するまでのタイムラグを、フレーム画像の選択に反映することができ、その結果、よりユーザーの希望のシーンにマッチしたフレーム画像を選択して、静止画像を生成することができる。

あるいは、例えば、動画像記録形式がＭＰＥＧファイル形式であるときに、図７（ｃ）に示すように、Ｉピクチャとして記録されているフレーム画像のみを対象としてフレーム画像を選択するようにすることもできる。ここで、図７（ｃ）では、各フレーム画像の下に記された「Ｉ」、「Ｐ」、「Ｂ」の文字は、そのフレーム画像がそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャとして記録されていることを示している。図７（ｃ）の例では、Ｉピクチャとして記録されている絶対フレーム番号２３１番、２３４番および２３７番の３つのフレーム画像を選択している。このようにすると、Ｉピクチャは全画素の階調データを有して他のフレーム画像の情報を参照しないで画像を表現可能であるため、静止画像生成処理の高速化を図ることができると共に、より画質の良い静止画像を生成することができる。

なお、図７（ａ）および図７（ｂ）の例では、時系列的に連続したフレーム画像を選択しているが、所定時間間隔をあけてフレーム画像を選択するようにしてもよい。

また、図７（ｂ）の例では、特定フレーム画像より８〜１０フレーム前に生成されたフレーム画像を選択しているが、特定フレーム画像より何フレーム前のフレーム画像を選択するかは任意に変更可能であり、例えば、ユーザーが設定した値を用いたり、デフォルト値を用いることができる。

また、図７（ｃ）に示すような場合に、ＤＶＣ制御部３１は、特定フレーム画像を強制的にＩピクチャとして記録するようにしてもよい。このようにすれば、特定フレーム画像を選択フレーム画像に含めることができる。

また、図７（ｃ）に示すような場合に、ＤＶＣ制御部３１は、ユーザーによる静止画像要求操作がなされたときは、Ｉピクチャで記録するフレーム画像の頻度を多くするようにしてもよい。このようにすれば、Ｉピクチャとして記録されているフレーム画像のみを対象としてフレーム画像を選択した場合でも、選択フレーム画像間の時間的な距離を小さくすることができるため、画質のよい静止画を生成しやすくなる。

ステップＳ２４０（図５）では、静止画像合成処理部１５が、ステップＳ２３０で選択した選択フレーム画像を用いて静止画像の合成を行う。静止画像合成（ステップＳ２４０）では、静止画像合成処理部１５は、デジタルビデオカメラ３０に格納されたＤＶテープ３６ａに記録された動画像データから、絶対フレーム番号を用いて選択フレーム画像を特定して取得し、それらを合成することにより、解像度の高い静止画像データを生成する。なお、選択フレーム画像を合成して解像度の高い静止画像データを生成する処理については、後述する。

以上のように、本実施例の静止画像生成システム１００では、デジタルビデオカメラ３０による動画像撮影中におけるユーザーの希望するシーンについて、比較的解像度の高い静止画像データを生成することができる。

Ａ−５．選択フレーム画像を用いた静止画像合成：
図８は、第１実施例における静止画像合成の処理の流れを示すフローチャートである。ステップＳ２４１では、静止画像合成処理部１５は、図５のステップＳ２３０で選択された複数の選択フレーム画像データをＤＶテープ３６ａから取得する。例えば、本実施例では、３つの選択フレーム画像データを取得するものとする。静止画像合成処理部１５によって取得された複数の選択フレーム画像データは、メモリやハードディスクなどの記憶装置（図示せず）に一時的に記憶される。

なお、フレーム画像データは、ドットマトリクス状の各画素の階調値(以下「画素値」とも呼ぶ)を示す階調データ（以下「画素データ」とも呼ぶ）で構成されている。画素データは、Ｙ（輝度）、Ｃｂ(ブルーの色差)、Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等である。

ステップＳ２４２では、静止画像合成処理部１５は、取得した３つの選択フレーム画像の各フレーム相互のずれ（位置ずれ）を補正するための補正量の推定を実行する。この補正量の推定では、上記３つのフレーム画像のうち、１つのフレーム画像を基準フレームとして設定し、その他の２つのフレーム画像を対象フレームとして設定する。そして、各対象フレームについて、基準フレームに対する位置ずれを補正するための補正量が、それぞれ推定される。なお、本実施例では、選択フレーム画像の内、最も生成時の早いフレーム画像を基準フレームとして設定し、その他の２つのフレーム画像を対象フレームとして設定することとする。

図９は、基準フレームのフレーム画像と対象フレームのフレーム画像との間の位置ずれについて示す説明図であり、図１０は、基準フレーム画像と対象フレーム画像との間の位置ずれの補正について示す説明図である。

なお、以下の説明では、取得した３つのフレームの番号（以下「フレーム番号」とも呼ぶ）をｎ（ｎ＝０，１，２）とし、フレーム番号ｎのフレームをフレームｎと呼び、フレームｎの画像をフレーム画像Ｆｎと呼ぶこととする。例えば、フレーム番号ｎが０のフレームはフレーム０と呼び、その画像をフレーム画像Ｆ０と呼ぶ。なお、フレーム０を基準フレームとし、フレーム１〜２を対象フレームとする。また、基準フレームのフレーム画像Ｆ０を基準フレーム画像とも呼び、対象フレームのフレーム画像Ｆ１〜Ｆ２を対象フレーム画像とも呼ぶこととする。

画像の位置ずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。図９では、基準フレーム画像Ｆ０の縁と、対象フレーム画像Ｆ２の縁とを重ねた状態を示している。また、基準フレーム画像Ｆ０上の中心位置に仮想の十字画像Ｘ０を追記し、この十字画像Ｘ０が、対象フレーム画像Ｆ２と同様にずれたとして、対象フレーム画像Ｆ２上に、ずれた結果の画像である十字画像Ｘ２を示している。また、基準フレーム画像Ｆ０および十字画像Ｘ０を太い実線で示すとともに、対象フレーム画像Ｆ２および十字画像Ｘ２を細い破線で示している。

本実施例では、横方向の並進ずれ量を「ｕｍ」、縦方向の並進ずれ量を「ｖｍ」、回転ずれ量を「δｍ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１，２）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」、「δｍｎ」と表す。例えば、図９に示すように、対象フレーム画像Ｆ２は、基準フレーム画像Ｆ０に対して、並進ずれ、および回転ずれが生じており、そのずれ量は、ｕｍｎ、ｖｍｎ、δｍｎと表される。

ここで、各対象フレーム画像（Ｆ１およびＦ２）を基準フレーム画像（Ｆ０）と合成するためには、各対象フレーム画像と基準フレーム画像とのずれをなくすように、各対象フレーム画像の各画素の位置ずれを補正することとなる。この補正のために用いられる横方向の並進補正量を「ｕ」、縦方向の並進補正量を「ｖ」、回転補正量を「δ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１，２）についてのこれらの補正量を「ｕｎ」、「ｖｎ」、「δｎ」と表す。例えば、対象フレーム画像Ｆ２についての補正量は、ｕ２、ｖ２、δ２と表される。

ここで、補正とは、対象フレーム画像Ｆｎ（ｎ＝１，２）の各画素の位置を、横方向にｕｎの移動、縦方向にｖｎの移動、およびδｎの回転を施した位置に移動させることを意味する。従って、対象フレーム画像Ｆｎ（ｎ＝１，２）についての補正量ｕｎ、ｖｎ、δｎは、ｕｎ＝−ｕｍｎ、ｖｎ＝−ｖｍｎ、δｎ＝−δｍｎの関係で表される。例えば、対象フレーム画像Ｆ２についての補正量ｕ２、ｖ２、δ２は、ｕ２＝−ｕｍ２、ｖ２＝−ｖｍ２、δ２＝−δｍ２で表される。

以上のことから、例えば、図１０に示すように、補正量ｕ２、ｖ２、δ２を用いて、対象フレーム画像Ｆ２の各画素の位置を補正することにより、対象フレーム画像Ｆ２と基準フレーム画像Ｆ０とのずれをなくすことができる。このとき、補正後の対象フレーム画像Ｆ２と、基準フレーム画像Ｆ０と、をディスプレイ１５０で表示させると、図１０に示すように、対象フレーム画像Ｆ２は、基準フレーム画像Ｆ０に対して部分的に一致する状態で表示される。なお、この補正の結果を分かり易く示すため、図１０においても、図９と同じ仮想の十字画像Ｘ０および十字画像Ｘ２を表記しており、図１０に示すように、補正の結果として、十字画像Ｘ２と十字画像Ｘ０との間のずれがなくなり一致することとなる。

同様に、対象フレーム画像Ｆ１についても、補正量ｕ１、ｖ１、δ１の各値を用いて補正が施され、対象フレーム画像Ｆ１の各画素の位置を置き換えることができる。

ところで、各対象フレーム画像Ｆｎ（ｎ＝１，２）についての補正量ｕｎ、ｖｎ、δｎは、静止画像合成処理部１５（図１）において、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１〜Ｆ２の画像データとに基づき、例えばパターンマッチ法や勾配法および最小自乗法による所定の算出式を用いて算出される。そして、算出された補正量ｕｎ、ｖｎ、δｎは、並進補正量データｕｎ、ｖｎおよび回転補正量データδｎとして、メモリ内（図示せず）の所定の領域に記憶される。

本実施例では、静止画像合成処理部１５は、推定した補正量ｕｎ、ｖｎ、δｎを用いて、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ２との位置ずれを補正する。

ステップＳ２４３では、静止画像合成処理部１５は、基準フレームの画像データと補正した対象フレームの画像データとを合成して解像度の高い静止画像データを生成する。このとき、静止画像合成処理部１５は、生成する静止画像を構成する各画素（以下「生成画素」とも呼ぶ）のうち、基準フレーム画像および対象フレーム画像のいずれにも存在しない画素については、その生成画素の周辺に存在する画素の画素値を表す画素データ（階調値を表す階調データ）を用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。

図１１は、基準フレーム画像と対象フレーム画像とを、ずれを補正して配置した様子を拡大して示す説明図である。図１１では、合成画像Ｇの各画素の中心位置が黒丸で示されているとともに、基準フレーム画像Ｆ０の各画素の中心位置が白抜きの四辺形で示され、補正後の対象フレーム画像Ｆ１〜Ｆ２の各画素の中心位置が、ハッチングを施した四辺形で示されている。なお、以下において合成画像Ｇの画素密度は、基準フレーム画像Ｆ０に対して、縦横それぞれ１．５倍の画素密度に高解像度化されるものとする。また、合成画像Ｇの各画素の中心は、２画素おきに基準フレーム画像Ｆ０の各画素の中心に重なるような位置にあるものとする。ただし、合成画像Ｇの画素の中心が、必ずしも基準フレーム画像Ｆ０の各画素の中心に重なるように位置している必要はない。例えば、合成画像Ｇの各画素の中心のすべてが、基準フレーム画像Ｆ０の各画素の中心の中間に位置するものでもよく、種々の位置とすることが可能である。また、高解像度化の倍率も、縦横それぞれ１．５倍に限定されるものではなく、種々の倍率とすることができる。

以下では、合成画像Ｇ内のある画素Ｇ（ｊ）に注目して説明する。ここで、変数ｊは、合成画像Ｇの全画素を区別する番号を示しており、例えば、左上の画素から開始して順番に右上の画素までとし、その後１つずつ下の左端の画素から順番に右端の画素までとして、最後に右下の画素とされる。静止画像合成処理部１５は、この画素（以下「注目画素」と呼ぶ）Ｇ（ｊ）に最も近い距離にある画素（以下「最近傍画素」と呼ぶ）を探索する。

具体的には、静止画像合成処理部１５は、各フレーム画像Ｆ０，Ｆ１，Ｆ２において、注目画素Ｇ（ｊ）に対して、最も近い画素（以下近傍画素とも呼ぶ）Ｆ（０），Ｆ（１），Ｆ（２）と、注目画素Ｇ（ｊ）との距離Ｌ０，Ｌ１，Ｌ２を算出し、最近傍画素を決定する。例えば、図１０では、Ｌ２＜Ｌ１＜Ｌ０であるので、静止画像合成処理部１５は、対象フレーム画像Ｆ２の画素Ｆ（２）を、注目画素Ｇ（ｊ）の最近傍画素として決定する。なお、この注目画素Ｇ（ｊ）に対する最近傍画素が、対象フレーム画像Ｆ２のｉ番目の画素であったとして、以下、最近傍画素Ｆ（２，ｉ）と表記する。

そして、静止画像合成処理部１５は、以上の手順を、注目画素Ｇ（ｊ）の番号であるｊ＝１，２，３，...の順に、合成画像Ｇ内の全ての画素について実行し、それぞれの画素について最近傍画素を決定する。

次に、静止画像合成処理部１５は、注目画素Ｇ（ｊ）の画素データを、決定された最近傍画素と、この最近傍画素を含むフレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の画素データを用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成する。以下に、バイ・リニア法による補間処理の一例について説明する。

図１２は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ（ｊ）は、基準フレーム画像Ｆ０および位置ずれ補正後の対象フレーム画像Ｆ１〜Ｆ２のいずれにも存在しない画素であるので、画素データが存在していない。また、上述のとおり、対象フレーム画像Ｆ２の画素Ｆ（２）が、注目画素Ｇ（ｊ）の最近傍画素Ｆ（２，ｉ）として決定されている。このとき、静止画像合成処理部１５は、最近傍画素Ｆ（２，ｉ）と、最近傍画素Ｆ（２，ｉ）の他に、対象フレーム画像Ｆ２において注目画素Ｇ（ｊ）を囲む３つの画素Ｆ（２，ｉ＋１）、Ｆ（２，ｋ）、Ｆ（２，ｋ＋１）とを用いて補間処理を行う。なお、本明細書において、最近傍画素Ｆ（２，ｉ）と、注目画素Ｇ（ｊ）を囲む他の３つの画素Ｆ（２，ｉ＋１）、Ｆ（２，ｋ）、Ｆ（２，ｋ＋１）とを合わせて周囲画素と呼び、周囲画素の中心を周囲画素中心と呼ぶ。また、ｋはｉ番目の画素にフレーム画像Ｆ２の横方向の画素数を加えた画素の番号を示している。

まず、４つの周囲画素中心に囲まれた四角形を、各周囲画素中心と注目画素Ｇ（ｊ）の中心とを結ぶ４つの線分によって４つの区画に分割する。そして、４つの周囲画素中心に囲まれた四角形の面積と、その四角形内の４つの区画の面積とを用いて、各周囲画素の重み係数を算出する。すなわち、周囲画素のそれぞれについて、４つの周囲画素中心に囲まれた四角形の面積に対する、４つの区画の内その周囲画素中心に接しない２つの区画の面積の合計の比を、その周囲画素の重み係数とする。従って、注目画素Ｇ（ｊ）の画素データは、周囲画素のそれぞれについて、その周囲画素の画素データと、その周囲画素の重み係数との積を合計することにより算出される。

以上のように、静止画像合成処理では、基準フレーム画像と対象フレーム画像のうち、最近傍画素を含むフレーム画像の画素を用いて、注目画素の補間処理を行うことにより、合成を行いつつ高解像度化を行っている。このため、非常に高画質な静止画像を得ることができる。

Ｂ．第２実施例：
図１３は、本発明の第２実施例としての静止画像生成システム１００の構成を概略的に示した説明図である。図１に示した第１実施例との違いは、デジタルビデオカメラ３０が必要フレーム数算出部３４と、角速度センサ３９とを備えていることであり、その他の点は、第１実施例と同じである。

角速度センサ３９は、手ぶれによるデジタルビデオカメラ３０自身の回転の程度を表す角速度を計測することができる。すなわち、角速度センサ３９によって計測される角速度の大きさは撮影時における手ぶれの程度を表している。図１４は、角速度センサ３９が計測することができる角速度の方向を示す説明図である。図１４において、３０ａはデジタルビデオカメラ３０のレンズ、３０ｂはデジタルビデオカメラ３０のＣＣＤである。角速度センサ３９は、Ｘ軸、Ｙ軸、Ｚ軸についての角速度θｘ、θｙ、θｚを計測することができる。

第２実施例の静止画像生成システム１００は、図２に示した第１実施例の処理フローと同様に、撮影・記録処理（ステップＳ１００）および静止画像生成処理（ステップＳ２００）を行うことによって、動画像撮影中におけるユーザーの希望するシーンについて、比較的解像度の高い静止画像データを生成することができる。

図１５は、第２実施例における静止画像生成システム１００による撮影・記録処理（図２のステップＳ２００）の流れを示すフローチャートである。図３に示した第１実施例との違いは、ステップＳ１２５で必要フレーム数算出を行っている点と、ステップＳ１４５で角速度センサ３９により計測された角速度を用いて、生成したフレーム特定情報をバッファ３７に記録するか否かの判定を行っている点であり、その他の点は同じである。

また、図１６は、第２実施例における撮影・記録処理（図２のステップＳ２００）の処理内容を概念的に示す説明図である。図１６（ａ）には、図４と同様に、時系列的に連続したフレーム画像ＦＰによって構成されている動画像ＭＰを破線で囲って示している。また、左側から右側に向かってフレーム画像ＦＰを時系列順に表しており、右側ほど時系列的に後のフレーム画像である。また、各フレーム画像の下の数字は絶対フレーム番号を示している。また、図１６（ｂ）には、各フレーム画像のフレーム特定情報の内容を概念的に示している。

以下、図１５および図１６を用いて、第２実施例における静止画像生成システム１００による撮影・記録処理の流れを説明する。

ステップＳ１１０（図１５）では、ＤＶＣ制御部３１（図１３）は、ユーザーによる動画像撮影開始操作がなされたか否かを判定し、動画像撮影開始操作がなされたと判定した場合には（ステップＳ１１０：Ｙｅｓ）、ステップＳ１２０に進み、動画像撮影・記録を開始する（ステップＳ１２０）。

ステップＳ１２５では、必要フレーム数算出部３４が、必要フレーム数の算出を行う。第２実施例では、必要フレーム数算出の処理をデジタルビデオカメラ３０の必要フレーム数算出部３４が行っている点で、第１実施例と異なるが、必要フレーム数算出の処理内容は、第１実施例における必要フレーム数算出（図５のステップＳ２２０）の処理内容と同じである。すなわち、動画像記録時フレーム画像サイズに対する生成静止画像サイズの比を必要フレーム数とすることにより、必要フレーム数を算出する。

ステップＳ１３０では、ＤＶＣ制御部３１は、ユーザーによる静止画像要求操作がなされたか否かを判定し、静止画像要求操作がなされたと判定した場合には（ステップＳ１３０：Ｙｅｓ）、ステップＳ１４０に進む。一方、静止画像要求操作がなされていないと判定した場合には（ステップＳ１３０：Ｎｏ）、ステップＳ１６０に進む。

ステップＳ１４０では、フレーム特定情報生成部３３が、静止画像要求操作時のフレーム画像を特定するフレーム特定情報を生成する。なお、第２実施例では、静止画像要求操作時のフレーム画像を操作時特定フレーム画像と呼ぶ。図１６（ａ）には、操作時特定フレーム画像（絶対フレーム番号２３４番のフレーム画像）をハッチングを付して示している。

ここで、第２実施例では、フレーム特定情報として、絶対フレーム番号に加えて、角速度センサ３９によって計測された当該フレーム画像生成時の角速度の値を含んでいる。すなわち、フレーム特定情報生成部３３は、絶対フレーム番号と角速度の値を含むフレーム特定情報を生成する。図１６（ｂ）には、１回目の静止画像要求操作によって生成された操作時特定フレーム画像（図中の絶対フレーム番号２３４番のフレーム画像）のフレーム特定情報の内容を概略的に示している。

ステップＳ１４５（図１５）では、ＤＶＣ制御部３１は、生成したフレーム特定情報に含まれる角速度の値を用いて、角速度の大きさが所定の閾値θｔｈよりも小さいか否かの判定を行う。前述したように、角速度の値は、主に当該フレーム画像生成時の手ぶれの程度を表している。そのため、フレーム特定情報に含まれる角速度の値が大きいフレーム画像は、手ぶれの大きい画像であり、このようなフレーム画像を後の静止画像生成処理に使用すると画質の良い静止画像を生成できない恐れがある。従って、角速度の大きさが所定の閾値θｔｈよりも小さい場合には（ステップＳ１４５：Ｙｅｓ）、ステップＳ１５０に進んで、そのフレーム特定情報をバッファ３７に記録する。一方、角速度の大きさが所定の閾値θｔｈよりも小さくない場合には（ステップＳ１４５：Ｎｏ）、ステップＳ１４０に戻って、ステップＳ１４５で判定を行った特定フレーム画像の直後のフレーム画像を特定するためのフレーム特定情報を生成して同様の判定（ステップＳ１４５）を行う。

なお、角速度の大きさは、例えば、各方向の角速度（θｘ、θｙ、θｚ）の二乗和の平方根によって算出することができる。また、閾値θｔｈの値は、ユーザーが任意に設定することができるし、デフォルト値を用いることもできる。

例えば、図１６（ｂ）に示した例では、絶対フレーム番号２３４番の特定フレーム画像は、角速度の大きさが閾値θｔｈよりも小さく、そのフレーム特定情報はバッファ３７に記録される。図１６（ｂ）では、このように角速度の大きさが閾値θｔｈよりも小さいときは、判定欄に「ＯＫ」と表示している。

一方、例えば、絶対フレーム番号２３６番のフレーム画像のフレーム特定情報は、角速度の大きさが閾値θｔｈより小さくないのでバッファ３７に記録されず、図１６（ｂ）の判定欄は「ＮＧ」と表示している。このときは、次に、直後のフレーム画像である絶対フレーム番号２３７番のフレーム画像のフレーム特定情報を生成して、同様の判定を行う。

ステップＳ１５５（図１５）では、ＤＶＣ制御部３１は、フレーム特定情報がバッファ３７に、ステップＳ１２５で算出した必要フレーム数分記録されているか否かを判定する。フレーム特定情報がバッファ３７に必要フレーム数分記録されていないと判定した場合には（ステップＳ１５５：Ｎｏ）、ステップＳ１４０に戻って、ステップＳ１４５で判定を行った特定フレーム画像の直後のフレーム画像を特定するためのフレーム特定情報を生成する。一方、フレーム特定情報がバッファ３７に必要フレーム数分記録されていると判定した場合には（ステップＳ１５５：Ｙｅｓ）、ステップＳ１６０に進む。

例えば、第２実施例においても必要フレーム数の値が３であるとすると、絶対フレーム番号２３４番のフレーム特定情報をバッファ３７に記録した時点で、まだ１つのフレーム特定情報しか記録されていないため、直後のフレーム画像である絶対フレーム番号が２３５番のフレーム画像のフレーム特定情報を生成する。

また、例えば、絶対フレーム番号２３８番のフレーム特定情報をバッファ３７に記録した時点では、フレーム特定情報がバッファ３７に必要フレーム数分（すなわち、本実施例では３つ）記録されているため、ステップＳ１６０に進むこととなる。

以上のような処理を経て、バッファ３７に必要フレーム数分のフレーム特定情報が記録される。図１６の例では、絶対フレーム番号２３８番のフレーム画像のフレーム特定情報をバッファ３７に記録した時点で、バッファ３７に必要フレーム数分のフレーム特定情報が記録されたこととなる。なお、図１６（ａ）には、バッファ３７にフレーム特定情報が記録されたフレーム画像を太線で囲んで示している。

このように、第２実施例では、あるフレーム画像のフレーム特定情報を生成して、バッファ３７に記録するか否かの判定を行う処理を繰り返す。従って、特定フレーム画像（すなわち、フレーム特定情報が生成されるフレーム画像）は複数存在し、その中の、角速度の大きさが閾値θｔｈより小さいフレーム画像を特定するためのフレーム特定情報のみが、バッファ３７に記録されることとなる。

なお、上記説明においては、ステップＳ１４５で「Ｎｏ」と判定された場合、および、ステップＳ１５５で「Ｎｏ」と判定された場合には、ステップＳ１４０に戻り、直後のフレーム画像のフレーム特定情報を生成するように処理を行っているが、所定時間間隔をあけたフレーム画像のフレーム特定情報を生成するようにすることも可能である。

また、上記説明においては、ユーザーによる静止画像要求操作が行われると、まず操作時のフレーム画像のフレーム特定情報を生成するような処理を行っているが、ユーザーによる静止画像要求操作が行われると、まず操作時のフレーム画像よりも所定時間前のフレーム画像のフレーム特定情報を生成し、その後、時系列的に連続してあるいは所定時間間隔をあけてフレーム特定情報を生成するような処理を行うようにすることも可能である。このような処理は、角速度センサ３９により計測された各フレーム画像生成時の角速度の値を所定時間の間、強制的にバッファ３７に記録しておくことによって実施することができる。

ステップＳ１６０では、ＤＶＣ制御部３１は、ユーザーによる動画像撮影終了操作がなされたか否かを判定し、動画像撮影終了操作がなされていないと判定した場合には（ステップＳ１６０：Ｎｏ）、ステップＳ１３０に戻る。一方、動画像撮影終了操作がなされたと判定した場合には（ステップＳ１６０：Ｙｅｓ）、ステップＳ１７０に進み、動画像撮影・記録を終了する。ステップＳ１８０では、ＤＶＣ制御部３１は、ステップＳ１５０においてバッファ３７に記録されたフレーム特定情報を、ＤＶテープ３６ａのサブコードエリアに記録する。記録完了後、撮影・記録処理を終了する。

図１７は、第２実施例における静止画像生成システム１００による静止画像生成処理の流れを示すフローチャートである。図５に示した第１実施例との違いは、必要フレーム数算出の処理が含まれていないことであり、その他の点は第１実施例と同じである。

ステップＳ２１０では、フレーム特定情報取得部１２（図１３）が、デジタルビデオカメラ３０に格納されているＤＶテープ３６ａのサブコードエリアに記録されているフレーム特定情報を取得する。ここで、第２実施例では撮影・記録処理（図２のステップＳ１００）において、必要フレーム数分のフレーム特定情報が記録されているので、本ステップでは、必要フレーム数分のフレーム特定情報を取得する。

ステップＳ２３０では、フレーム画像選択部１４が、静止画像生成に使用するフレーム画像を選択する。第２実施例では、必要フレーム数分のフレーム特定情報が取得されているので、取得されているフレーム特定情報によって特定されるフレーム画像をすべて選択フレーム画像として選択することになる。

ステップＳ２４０では、静止画像合成処理部１５が、ステップＳ２３０で選択した選択フレーム画像を用いて静止画像の合成を行う。なお、静止画像合成の処理内容は、第１実施例における静止画像合成の処理内容と同じである。

以上のように、第２実施例の静止画像生成システム１００でも、デジタルビデオカメラ３０による動画像撮影中におけるユーザーの希望するシーンについて、比較的解像度の高い静止画像データを生成することができる。

さらに、第２実施例では、フレーム特定情報に角速度を含み、その角速度を用いてフレーム画像を静止画像生成処理に使用するか否かの判定を行っているので、手ぶれの小さいフレーム画像を用いて静止画像を生成することができ、静止画像生成処理の高速化を図ることができると共に、より画質の良い静止画像を生成することができる。

さらに、第２実施例では、静止画像生成処理の中の補正量推定処理において、フレーム特定情報に含まれる角速度の値を用いることができるため、迅速かつ正確に補正量推定処理を行うことができ、その結果、静止画像生成処理の高速化を図ることができると共に、より画質の良い静止画像を生成することができる。

なお、角速度を用いた補正量推定処理は、以下のように行うことができる。

図１４に示すように、Ｘ軸の角速度をθｘ、Ｙ軸の角速度をθｙ、Ｚ軸の角速度をθｚとする。また、撮影フレーム率をＴ（フレーム／秒）、３５ミリ換算焦点距離をｆ（ｍｍ）、実焦点距離をＲｆ（ｍｍ）、ＣＣＤ撮像素子一辺のサイズをｗ（ｍｍ）、ＣＣＤ撮像素子間の距離をＷｐ（ｍｍ）とすると、ずれ量ｕｍｎ、ｖｍｎ、δｍｎは、以下の式で表される。
ｕｍｎ＝−Ｒｆ×ｔａｎ（θｙ／Ｔ） （ｍｍ）
ｖｍｎ＝−Ｒｆ×ｔａｎ（θｘ／Ｔ） （ｍｍ）
δｍｎ＝θｚ
（ただし、Ｒｆ＝ｆ×ｗ／３５）

あるいは、ずれ量ｕｍｎ、ｖｍｎを画素単位とすれば、以下の式で表される。
ｕｍｎ＝−Ｒｆ×｛ｔａｎ（θｙ／Ｔ）｝／Ｗｐ （ピクセル）
ｖｍｎ＝−Ｒｆ×｛ｔａｎ（θｘ／Ｔ）｝／Ｗｐ （ピクセル）

このように、ずれ量ｕｍｎ、ｖｍｎ、δｍｎが求まれば、補正量ｕｎ、ｖｎ、δｎも以下の式で求まり、この補正量を用いて、対象画像の補正を行うことができる。
ｕｎ＝−ｕｍｎ
ｖｎ＝−ｖｍｎ
δｎ＝−δｍｎ

Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ１．変形例１：
各実施例では、撮影・記録処理が終了した後の静止画像生成処理において、静止画像生成に使用するフレーム画像を選択しているが、この代わりに、撮影・記録処理の際にフレーム画像を選択することも可能である。すなわち、ユーザーの静止画像要求操作がなされると、デジタルビデオカメラ３０が必要フレーム数分のフレーム画像の選択を行うようにしてもよい。このとき、その後の静止画像の生成処理は、デジタルビデオカメラ３０で行うことも、コンピュータ１０で行うことも可能である。このようにすると、静止画像生成処理の中で、改めてＤＶテープ３６ａに記録された動画像データの中からフレーム画像を選択する必要が無く、静止画像生成処理の高速化を図ることができる。

Ｃ２．変形例２：
第２実施例では、撮影・記録処理の中で、生成したフレーム特定情報を静止画像生成処理に使用するか否かの判定を行っていたが、判定は静止画像生成処理の中で行うことも可能である。すなわち、撮影・記録処理の中では、静止画像要求操作に応じて、角速度を含むフレーム特定情報を生成・記録しておき、コンピュータ１０によるフレーム画像選択処理の中で、静止画像生成処理に使用するか否かの判定を行いつつ、必要フレーム数分のフレーム画像を選択するようにしてもよい。このとき、撮影・記録処理においてフレーム特定情報を生成するフレーム画像の数を、必要フレーム数よりも多く設定しておくことによってこのような処理を実施することができる。

Ｃ３．変形例３：
第２実施例では、手ぶれの程度を表す指標として角速度センサ３９によって計測された角速度の大きさを用いていたが、他の指標を用いることもできる。例えば、デジタルビデオカメラ３０が加速度センサを備えているときは、加速度センサにより計測される加速度の大きさを手ぶれの程度を表す指標として用いてもよい。

Ｃ４．変形例４：
上記実施例において、画像全体およびブロックごとのずれ補正量を推定する際に、並進ずれ（横方向ｕ、縦方向ｖ）および回転ずれ（δ）の３つのパラメータを用いてずれ補正量を推定しているが、本発明は、これに限られるものではない。例えば、パラメータの数を変えてずれ補正量を推定してもよいし、他の種類のパラメータを用いてずれ補正量を推定するようにしてもよい。

Ｃ５．変形例５：
上記第１の実施例において、基準フレーム画像Ｆ０若しくは基準フレーム画像Ｆ０の各ブロック対する対象フレーム画像Ｆ１〜Ｆ２のブロックの中心座標の移動量を求めているが、これに限られるものではなく、例えば左上点や左下点の移動量を求めてもよい。一般には、各フレーム画像内の任意の所定の座標に関する移動量を求めるようにしてもよい。

Ｃ６．変形例６：
上記実施例では、ノンインターレース方式のフレーム画像データから静止画を生成していたが、インターレース方式のフレーム画像データ（フィールド画像データ）から静止画を生成してもよい。

本発明の第１実施例としての静止画像生成システム１００の構成を概略的に示した説明図。 静止画像生成システム１００を用いて静止画像を生成する処理の流れを示すフローチャート。 第１実施例における静止画像生成システム１００による撮影・記録処理の流れを示すフローチャート。 動画像とフレーム特定情報を模式的に表した説明図。 静止画像生成システム１００による静止画像生成処理の流れを示すフローチャート。 必要フレーム数算出部１３による必要フレーム数算出の処理の流れを示すフローチャート。 静止画像生成に使用するフレーム画像の選択方法を概念的に示す説明図。 第１実施例における静止画像合成の処理の流れを示すフローチャート。 基準フレームのフレーム画像と対象フレームのフレーム画像との間の位置ずれについて示す説明図。 基準フレーム画像と対象フレーム画像との間の位置ずれの補正について示す説明図。 基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ２とをずれを補正して配置した様子を拡大して示す説明図。 バイ・リニア法による補間処理について示す説明図。 本発明の第２実施例としての静止画像生成システム１００の構成を概略的に示した説明図。 角速度センサ３９が計測することができる角速度の方向を示す説明図。 第２実施例における静止画像生成システム１００による撮影・記録処理の流れを示すフローチャート。 第２実施例における撮影・記録処理の処理内容を概念的に示す説明図。 第２実施例における静止画像生成システム１００による静止画像生成処理の流れを示すフローチャート。

符号の説明

１０...コンピュータ
１１...静止画像生成制御部
１２...フレーム特定情報取得部
１３...必要フレーム数算出部
１４...フレーム画像選択部
１５...静止画像合成処理部
２０...プリンタ
３０...デジタルビデオカメラ
３０ａ...レンズ
３０ｂ...ＣＣＤ
３１...ＤＶＣ制御部
３２...動画像データ生成部
３３...フレーム特定情報生成部
３４...必要フレーム数算出部
３６...ＤＶテープ格納部
３６ａ...ＤＶテープ
３７...バッファ
３８...メモリカード格納部
３８ａ...メモリカード
３９...角速度センサ
１００...静止画像生成システム
１２０...キーボード
１３０...マウス
１５０...ディスプレイ

Claims (10)

1. 動画像生成装置による動画像撮影時の所望のシーンについての静止画像データを生成する画像生成方法であって、
   （ａ）動画像データと、前記動画像データ生成中におけるユーザーの所定の操作に応じて生成され、前記動画像データの中の少なくとも１つのフレーム画像を特定するためのフレーム特定情報と、を準備する工程と、
   （ｂ）前記フレーム特定情報に基づき、前記動画像データの中の複数のフレーム画像を選択する工程と、
   （ｃ）前記選択した複数のフレーム画像を合成して、前記フレーム画像よりも解像度の高い静止画像を生成する工程と、
   を備える、画像生成方法。
2. 請求項１記載の画像生成方法であって、
   前記工程（ｂ）において選択するフレーム画像の数は、前記フレーム画像を構成する画素数と前記静止画像を構成する画素数との比に基づいて決定される、画像生成方法。
3. 請求項１記載の画像生成方法であって、
   前記工程（ｂ）における複数のフレーム画像の選択は、前記ユーザーの所定の操作時よりも所定時間以上前に生成されたフレーム画像を対象に行われる、画像生成方法。
4. 請求項１記載の画像生成方法であって、
   前記動画像データは、ＭＰＥＧファイル形式であり、
   前記工程（ｂ）における複数のフレーム画像の選択は、Ｉピクチャ形式のフレーム画像のみを対象として行われる、画像生成方法。
5. 請求項１記載の画像生成方法であって、
   前記フレーム特定情報は、前記フレーム特定情報が特定するフレーム画像の生成時における手ぶれの程度を表す手ぶれ情報を含み、
   前記工程（ｂ）における複数のフレーム画像の選択は、前記フレーム特定情報に含まれる手ぶれ情報が表す手ぶれの程度が所定の条件より小さいフレーム画像のみを対象として行われる、画像生成方法。
6. 請求項１記載の画像生成方法であって、
   前記工程（ｃ）は、
   （i）前記複数のフレーム画像相互の位置ずれを補正するための補正量を推定する工程と、
   （ii）前記推定した補正量に基づいて、前記複数のフレーム画像相互の位置ずれを補正する工程と、
   を含む、画像生成方法。
7. 請求項６記載の画像生成方法であって、
   前記フレーム特定情報は、前記フレーム特定情報が特定するフレーム画像の生成時における手ぶれの程度を表す手ぶれ情報を含み、
   前記工程（ｃ）に含まれる前記工程（i）における補正量の推定は、前記手ぶれ情報を用いて行う、画像生成方法。
8. 動画像生成装置による動画像撮影時の所望のシーンについての静止画像データを生成する画像生成装置であって、
   動画像データと、前記動画像データ生成中におけるユーザーの所定の操作に応じて生成され、前記動画像データの中の少なくとも１つのフレーム画像を特定するためのフレーム特定情報と、を取得するデータ取得部と、
   前記フレーム特定情報に基づき、前記動画像データの中の複数のフレーム画像を選択する画像選択部と、
   前記選択した複数のフレーム画像を合成して、前記フレーム画像よりも解像度の高い静止画像を生成する画像生成部と、
   を備える、画像生成装置。
9. 動画像生成装置による動画像撮影時の所望のシーンについての静止画像データを生成するための画像生成プログラムであって、
   動画像データと、前記動画像データ生成中におけるユーザーの所定の操作に応じて生成され、前記動画像データの中の少なくとも１つのフレーム画像を特定するためのフレーム特定情報と、を取得するデータ取得機能と、
   前記フレーム特定情報に基づき、前記動画像データの中の複数のフレーム画像を選択する画像選択機能と、
   前記選択した複数のフレーム画像を合成して、前記フレーム画像よりも解像度の高い静止画像を生成する画像生成機能と、
   をコンピュータ上で実現することを特徴とする、画像生成プログラム。
10. 請求項９記載の画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images