JP4553134B2 - 画像生成装置及びそのプログラム - Google Patents

Description

本発明は、画像生成装置及びそのプログラムに係り、詳しくは、動画中のフレームを静止画像として抽出することができる画像生成装置及びそのプログラムに関する。

従来の画像生成装置、例えば、デジタルカメラにおいては、被写体の静止画を撮影する機能のみならず動画を撮影する機能を有したものが普及してきている。
また、デジタルカメラを直接プリンタに接続することにより、撮影した静止画を簡単にプリントアウトすることができる機能を備えるデジタルカメラも登場してきている。
このような技術の発展に伴い、動画のある特定のフレームから静止画を作成して記録するという技術が登場してきている。これにより、動画のある特定のフレームの画像を簡単にプリントアウトすることができる。
また、直接プリンタと接続し、動画のある特定のフレームから静止画を作成し、その静止画をプリンタに送ることにより該フレームの画像を印刷することができるデジタルカメラも登場してきている（特許文献１）。

公開特許公報 特開２００４−１７９８２３

しかしながら、従来のデジタルカメラにあっては、動画のある特定のフレーム画像のある部分の画像だけを欲しいと思っても、該フレームを静止画ファイルとして記録し、その後、該記録した静止画ファイルを読み出してトリミング画像を生成するため、手間がかかり面倒であるという問題点があった。
また、フレームのある部分の画像を切り出すためには、該フレームを静止画ファイルとして記録するため、必要のないデータまで記録してしまい、メモリの有効活用ができないという問題点もあった。また、メモリの空き容量を確保するためには、該記録した必要のないデータをわざわざ消去しなければならず手間がかかり面倒であるという問題点もあった。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、簡易に動画中のフレームの中から必要な部分の画像データを得ることができる画像生成装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による画像生成装置は、動画データを取得する取得手段と、前記取得手段により取得された動画データの中のフレームを選択する第１の選択手段と、前記第１の選択手段により選択されたフレームから静止画ファイルを生成する生成手段と、前記第１の選択手段により選択されたフレームのトリミングするエリアを示すトリミング情報を記憶する第１の記憶手段と、前記取得手段により取得された動画データのうち、前記第１の選択手段により選択されたフレーム以外のフレームを選択する第２の選択手段と、を備え、前記生成手段は、前記静止画ファイルを生成する前に、前記第１の記憶手段に記憶されているトリミング情報に基づいて、前記第１の選択手段により選択されたフレームからトリミング画像を生成すると共に、前記第１の記憶手段に記憶されているトリミング情報に基づいて、前記第２の選択手段により選択されたフレームからトリミング画像を生成する手段を含み、該生成されたトリミング画像の静止画ファイルを生成することを特徴とする。

上記目的達成のため、請求項２記載の発明による画像生成装置は、動画データを取得する取得手段と、前記取得手段により取得された動画データの中のフレームを選択する第１の選択手段と、前記第１の選択手段により選択されたフレームから静止画ファイルを生成する生成手段と、前記第１の選択手段により選択されたフレーム中の被写体を認識する第１の画像認識手段と、前記取得手段により取得された動画データのうち、前記第１の選択手段により選択されたフレーム以外のフレームを選択する第２の選択手段と、前記第２の選択手段により選択されたフレームのトリミングするエリアを示すトリミング情報を記憶する第２の記憶手段と、前記第１の画像認識手段により認識された被写体の位置に基づいてトリミングエリアを決定して前記第２の記憶手段にトリミング情報を記憶させる第２の記憶制御手段と、を備え、前記生成手段は、前記静止画ファイルを生成する前に、前記第１の画像認識手段により認識された被写体の位置に基づいて、前記第１の選択手段により選択されたフレームからトリミング画像を生成すると共に、前記第２の記憶手段に記憶されているトリミング情報に基づいて、前記第２の選択手段により選択されたフレームからトリミング画像を生成する手段を含み、該生成されたトリミング画像の静止画ファイルを生成することを特徴とする。

上記目的達成のため、請求項３記載の発明によるプログラムは、動画データを取得する取得処理と、この取得処理により取得された動画データの中のフレームを選択する第１の選択処理と、この第１の選択処理により選択されたフレームから静止画ファイルを生成する生成処理と、前記第１の選択処理により選択されたフレームのトリミングするエリアを示すトリミング情報を記憶する第１の記憶処理と、前記取得処理により取得された動画データのうち、前記第１の選択処理により選択されたフレーム以外のフレームを選択する第２の選択処理と、を含み、更に、前記生成処理は、前記静止画ファイルを生成する前に、前記第１の記憶処理により記憶されているトリミング情報に基づいて、前記第１の選択処理により選択されたフレームからトリミング画像を生成すると共に、前記第１の記憶処理により記憶されているトリミング情報に基づいて、前記第２の選択処理により選択されたフレームからトリミング画像を生成し、該生成されたトリミング画像の静止画ファイルを生成する処理を含み、上記各処理をコンピュータで実行させることを特徴とする。

上記目的達成のため、請求項４記載の発明によるプログラムは、動画データを取得する取得処理と、この取得処理により取得された動画データの中のフレームを選択する第１の選択処理と、この第１の選択処理により選択されたフレームから静止画ファイルを生成する生成処理と、前記第１の選択処理により選択されたフレーム中の被写体を認識する第１の画像認識処理と、前記取得処理により取得された動画データのうち、前記第１の選択処理により選択されたフレーム以外のフレームを選択する第２の選択処理と、この第２の選択処理により選択されたフレームのトリミングするエリアを示すトリミング情報を、前記第１の画像認識処理により認識された被写体の位置に基づいて決定して記憶する第２の記憶処理と、を含み、更に、前記生成処理は、前記静止画ファイルを生成する前に、前記第１の画像認識処理により認識された被写体の位置に基づいて、前記第１の選択処理により選択されたフレームからトリミング画像を生成すると共に、前記第２の記憶処理により記憶されているトリミング情報に基づいて、前記第２の選択処理により選択されたフレームからトリミング画像を生成し、該生成されたトリミング画像の静止画ファイルを生成する処理を含み、上記各処理をコンピュータで実行させることを特徴とする。

本発明によれば、簡単、且つ、迅速に動画データ中のフレームからトリミング画像を生成することができる。

以下、本実施の形態について、デジタルカメラを適用した一例として図面を参照して詳細に説明する。
[第１の実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の画像生成装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り兼用シャッタ４、ＣＣＤ５、ＴＧ（timing generator）６、ユニット回路７、ＤＲＡＭ８、メモリ９、ＣＰＵ１０、フラッシュメモリ１１、画像表示部１２、キー入力部１３、音声処理部１４、ストロボ駆動部１５、ストロボ発光部１６を備えている。

撮影レンズ２は、図示しないフォーカスレンズ、ズームレンズを含み、レンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、図示しないフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるフォーカスモータ、ズームモータと、ＣＰＵ１０からの制御信号にしたがってフォーカスモータ、ズームモータをそれぞれ光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。

絞り兼用シャッタ４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り兼用シャッタを動作させる。この絞り兼用シャッタは、絞りとシャッタとして機能する。
絞りとは、撮影レンズ２から入ってくる光の量を制御する機構のことをいい、シャッタとは、ＣＣＤ５に光を当てる時間を制御する機構のことをいい、ＣＣＤ５に光を当てる時間は、シャッタの開閉の速度（シャッタ速度）によって変わってくる。露出は、この絞りとシャッタ速度によって定めることができる。

ＣＣＤ５は、撮影レンズ２、絞り兼用シャッタ４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路７に出力する。また、ＣＣＤ５は、ＴＧ６によって生成された所定周波数のタイミング信号にしたがって駆動する。ＴＧ６にはユニット回路７が接続されている。
ユニット回路７は、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５の撮像信号は、ユニット回路７を経てデジタル信号としてＣＰＵ１０に送られる。

ＣＰＵ１０は、ユニット回路７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭＰＥＧ形式の圧縮・伸張）の処理、ＡＦ処理（コントラスト検出方式によるＡＦ処理やパンフォーカスによるＡＦ処理）、トリミング画像の生成、画像認識処理などを行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。

メモリ９には、ＣＰＵ１０の各部に必要な制御プログラム、つまり、ＡＥやＡＦ等を含む各種の制御に必要なプログラム、及び必要なデータが記録されており、ＣＰＵ１０は、前記プログラムに従い動作する。
また、メモリ９には、トリミング枠の表示位置、サイズを示すデフォルト値（トリミング位置情報、トリミングサイズ情報）が格納されており、トリミング位置情報、トリミングサイズ情報を一時記憶するトリミング情報記憶領域も有する。このメモリ９は、本発明の第１の記憶手段、第２の記憶手段として機能する。

ＤＲＡＭ８は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１１は、ＣＣＤ５によって撮像された静止画データ、動画データ等の画像データなどを静止画ファイル、動画ファイル等の形態で保存しておく記録媒体である。フラッシュメモリ１１は、本発明の記録手段に相当する。

画像表示部１２は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、保存用フラッシュメモリ１１から読み出され、伸張された記録画像を表示させる。この画像表示部１２は、本発明の表示手段として機能する。
キー入力部１３は、シャッタボタン、ズーム連写キー、十字キー、ＳＥＴキー、モード切替キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。このキー入力部１３は、本発明の第１のフレーム指定手段、第１のエリア指定手段、第２のフレーム指定手段、第２のエリア指定手段として機能する。

音声処理部１４は、内蔵マイク、アンプ、Ａ／Ｄ変換器、Ｄ／Ａ変換器、アンプ、内蔵スピーカ等を含み、音声付画像の撮影時には、内蔵マイクに入力された音声をデジタル信号に変換してＣＰＵ１０に送る。ＣＰＵ１０は、送られてきた音声データは、バッファメモリ（ＤＲＡＭ８）に順次記憶され、ＣＣＤ５によって撮像された画像データとともにフラッシュメモリ１１に記録される。
また、音声処理部１４は、音声付画像の再生時には、各画像データに付属する音声データに基づく音声等を内蔵スピーカから放音する。

ストロボ駆動部１５は、ＣＰＵ１０の制御信号にしたがって、ストロボ発光部１６を閃光駆動させ、ストロボ発光部１６はストロボを閃光させる。ＣＰＵ１０は、図示しない測光回路又はＣＣＤ５から出力される画像データの輝度成分によって撮影シーンが暗いか否かを判断し、撮影シーンが暗いと判断し、且つ、撮影を行うと判断した場合（シャッタボタン押下時）には、ストロボ駆動部１５に制御信号を送る。

Ｂ．デジタルカメラ１の動作
実施の形態におけるデジタルカメラ１の動作を図２及び図３のフローチャートにしたがって説明する。
ユーザのキー入力部１３のモード切替キーの操作により再生モードにされ、ユーザのキー入力部１３の十字キーやＳＥＴキー等の操作によりフラッシュメモリ１１に既に記録されている複数の動画ファイルの中から所望の動画ファイルが選択されると（ステップＳ１）、ＣＰＵ１０は、ユーザのキー入力部１３の操作によりモーションプリントが選択されたか否かを判断する（ステップＳ２）。この判断は、モーションプリントの選択に対応する操作信号がキー入力部１３から送られてきたか否かにより判断する。モーションプリントとは、動画ファイルの動画データから静止画データを生成することをいう。

ステップＳ２で、モーションプリントが選択されていないと判断すると、ＣＰＵ１０は、ユーザのキー入力部１３の操作により、該選択された動画ファイルの再生の指示が行われたか否かの判断を行う（ステップＳ３）。
ステップＳ３で、再生の指示が行われていないと判断するとステップＳ２に戻り、再生の指示が行われたと判断すると、ＣＰＵ１０は、該選択されている動画ファイルの再生処理へと移行する。

ステップＳ２で、モーションプリントの選択が行なわれたと判断すると、ＣＰＵ１０は、１コマ切り出し、９コマ切り出しのどちらがユーザによって選択されたか否かを判断する（ステップＳ４）。この判断は、１コマ切り出しの選択に対応する操作信号、９コマ切り出しの選択に対応する操作信号のうち、どちらの操作信号がキー入力部１３から送られてきたか否かにより判断する。
ステップＳ４で、１コマ切り出しが選択されたと判断すると、ＣＰＵ１０は該選択した動画ファイル（ステップＳ１で選択した動画ファイル）の最初のフレームを選択し（第１の選択手段）、該選択したフレームの画像を画像表示部１２に表示させる（ステップＳ５）。

次いで、ＣＰＵ１０は、現在選択している（表示している）フレームをハイライトシーンとして決定するか否かの判断を行う（ステップＳ６）。この判断は、セットキー操作に対応する操作信号がキー入力部１３から送られてきたか否かにより判断し、セットキー操作に対応する操作信号が送られてきた場合には、表示しているフレームをハイライトシーンとして決定する。ハイライトシーンは、静止画ファイルとして記録したいフレームのことをいい、ユーザは画像表示部１２に表示されているフレームの画像から静止画ファイルを生成したい場合にはセットキーの操作を行なう。

ステップＳ６でハイライトシーンとして決定しないと判断すると、ＣＰＵ１０は、ユーザによって十字キーの操作が行なわれたか否かを判断する（ステップＳ７）。この判断は、十字キーの操作に対応する操作信号がキー入力部１３から送られてきたか否かにより判断する。
ステップＳ７で、十字キーの操作が行われていないと判断するとステップＳ６に戻り、ステップＳ７で、十字キーの操作が行なわれたと判断すると、ＣＰＵ１０は、ユーザの操作にしたがって（送られてきた操作信号にしたがって）、フレームを選択し（第１の選択手段）、該選択したフレームの画像を画像表示部１２に表示させて（ステップＳ８）、ステップＳ６に戻る。この第１の選択手段により選択されたフレームを表示させる機能は、本発明の表示制御手段に相当する。
つまり、ユーザは、ステップＳ６〜ステップＳ８のループの間に、静止画ファイルの生成の基となるハイライトシーン、つまり、フレームを十字キーの操作により選択することができる。

図４は、選択した動画ファイルの各フレームの画像の様子を示すものである。
最初は、１枚目のフレームの画像が表示されるが、十字キーの「↓」キー、若しくは、十字キーの「→」キーを操作していくと、選択されるフレーム、つまり、画像表示部１２に表示される画像のフレームは、２枚目のフレームの画像、３枚目のフレームの画像、４枚目のフレーム画像というように、表示される画像のフレームが降順していく。また、ユーザが十字キーの「↑」キー、若しくは、十字キーの「←」キーを操作していくと、選択されるフレーム、つまり、画像表示部１２に表示される画像のフレームは、５枚目のフレーム画像、４枚目のフレーム画像、３枚目のフレーム画像というように、表示される画像のフレームが昇順していく。

そして、ユーザは十字キーの操作をすることにより、静止画ファイルを生成したいフレームを選択し、ＳＥＴキーを押すことにより、該選択しているフレームをハイライトシーンとして確定することができる。ここでは、５枚目のフレームを選択しているときに（５枚目のフレーム画像を表示しているときに）、ユーザがＳＥＴキーの操作を行なったものとする。
なお、１枚目のフレーム画像を表示している場合に、「↑」キー、若しくは、「←」キーを操作した場合には、それ以上、上のフレーム画像はないので、そのまま１枚目のフレーム画像を表示させるようにしてもよいし、最後のフレーム画像を表示させるようにしてもよい。

ステップＳ６で、ハイライトシーンとして決定すると判断すると、ＣＰＵ１０は、メモリ９に格納されているトリミング位置情報及びトリミングサイズ情報（デフォルト値）を読み出して、メモリ９のトリミング情報記憶領域に記憶させ、該記憶させたトリミング情報にしたがってトリミング枠を該表示しているフレーム画像の上に重ねて表示させる（ステップＳ９）。ここで、メモリ９に格納されているデフォルト値（トリミング位置情報、トリミングサイズ情報）は、トリミング枠が画像表示部１２の中央部に所定の大きさで表示されるようなデフォルト値であるとする。また、トリミング枠とは、画像を切り出す範囲を示す枠のことをいう。このトリミング枠を表示させる機能は、本発明の表示制御手段に相当する。
図５は、そのときの様子を示すものであり、５枚目のフレーム画像とともにトリミング枠２０が表示されている。なお、トリミング枠２０を表示させずにトリミング枠２０内の画像を全画面表示させることによりトリミング指定範囲を示すようにしてもよい。

次いで、ＣＰＵ１０は、ユーザによってトリミング位置の変更が行なわれたか否かの判断を行う（ステップＳ１０）。この判断は、十字キーの操作に対応する操作信号がキー入力部１３から送られてきたか否かにより判断する。このトリミング位置とは、切り出す画像の中心位置のことをいう。
ステップＳ１０で、トリミング位置の変更が行なわれたと判断すると、ＣＰＵ１０は、該変更されたトリミング位置をメモリ９のトリミング情報記憶領域に記憶させ（第１の記憶制御手段）、該記憶させたトリミング位置にトリミング枠２０を表示させて（ステップＳ１１）、ステップＳ１２に進む。一方、ステップＳ１０で、トリミング位置の変更が行なわれていないと判断すると、そのままステップＳ１２に進む。

ステップＳ１２に進むと、ＣＰＵ１０は、ユーザによってトリミングサイズの変更が行なわれたか否かの判断を行う。この判断は、キー入力部１３のズームキー（「Ｗ」キー、「Ｔ」キー）の操作に対応する操作信号がキー入力部１３から送られてきたか否かにより判断する。このトリミングサイズとは、切り出す画像の画角の大きさのことをいう。

ステップＳ１２で、トリミングサイズの変更が行なわれたと判断すると、ＣＰＵ１０は、該変更されたトリミングサイズをメモリ９のトリミング情報記憶領域に記憶させ（第１の記憶制御手段）、該記憶させたトリミングサイズにしたがってトリミング枠２０を表示させて（ステップＳ１３）、ステップＳ１４に進む。一方、ステップＳ１２で、トリミングサイズの変更が行なわれていないと判断すると、そのままステップＳ１４に進む。

ステップＳ１４に進むと、現在トリミング情報記憶領域に記憶しているトリミング位置、トリミングサイズ、つまり、表示しているトリミング枠２０をトリミングエリアとして決定するか否かの判断を行う。この判断は、ユーザによってＳＥＴキーの操作が行なわれたか否かにより判断する。
ステップＳ１４で、現在トリミング情報記憶領域に記憶しているトリミング位置、トリミングサイズをトリミングエリアとして決定しないと判断すると、ステップＳ１０に戻る。

このステップＳ１０〜ステップＳ１４のループ中にユーザはトリミング枠２０を切り出したい画像に合わすことができる。
例えば、図６（ａ）に示すような状態で、犬の画像を切り出したいと思う場合には、図６（ｂ）に示すようにユーザは十字キーの操作によりトリミング枠２０のトリミング位置を切り出したい犬の画像に合わせてから、図６（ｃ）に示すようにズームキーの「Ｔ」キーを操作することにより、トリミング枠２０のトリミングサイズを大きくさせて、トリミング枠２０内に切り出したい犬の画像が納まるように調整することができる。

一方、ステップＳ１４で、現在トリミング情報記憶領域に記憶しているトリミング位置、トリミングサイズをトリミングエリアとして決定すると判断すると、ＣＰＵ１０は、ハイライトシーンとして決定したフレーム（表示されているフレーム）のトリミング枠２０内の画像データを切り出し（コピー）する（ステップＳ１５）。つまり、トリミング画像を生成する（生成手段）。
ここでは、図６（ｃ）に示すような状態でユーザがＳＥＴキーの操作を行なったものとする。

そして、ＣＰＵ１０は、該切り出した画像データ（トリミング画像データ）から静止画ファイルを生成して、フラッシュメモリ１１に記録させる（記録制御手段）。図７（ａ）は、フラッシュメモリ１１に記録されたフレームから生成された静止画ファイルの静止画像データの様子を示すものである。
これにより、簡単に撮影した動画ファイルの中の任意のフレームから静止画ファイルとして記録したい被写体の画像を切り出して記録することができる。

一方、ステップＳ４で、９コマ切り出しと判断すると、ＣＰＵ１０は、該選択した動画ファイルの最初のフレームを選択し（第１の選択手段）、該選択したフレームの画像を画像表示部１２に表示させる（図３のステップＳ１７）。
次いで、ＣＰＵ１０は、現在選択している（表示している）フレームをハイライトシーンとして決定するか否かの判断を行う（ステップＳ１８）。

ステップＳ１８でハイライトシーンとして決定しないと判断すると、ＣＰＵ１０は、ユーザによって十字キーの操作が行なわれたか否かを判断する（ステップＳ１９）。この判断は、十字キーの操作に対応する操作信号がキー入力部１３から送られてきたか否かにより判断する。
ステップＳ１９で、十字キーの操作が行われていないと判断するとステップＳ１８に戻り、ステップＳ１９で、十字キーの操作が行われたと判断すると、ＣＰＵ１０は、ユーザの操作にしたがって（送られてきた操作信号にしたがって）、フレームを選択し（第１の選択手段）、該選択したフレームの画像を画像表示部１２に表示させて（ステップＳ２０）、ステップＳ１８に戻る。

このステップＳ１８〜ステップＳ２０のループの間に、静止画ファイルの生成の基となるハイライトシーン、つまり、フレームをユーザが選択することができる。ここでは、１コマ切り出しの場合と同様に、５枚目のフレームを選択しているときに（５枚目のフレームを表示しているときに）、ユーザがＳＥＴキーの操作を行なったものとする。

一方、ステップＳ１８で、ハイライトシーンとして決定すると判断すると、ＣＰＵ１０は、メモリ９に格納されているトリミング位置情報及びトリミングサイズ情報（デフォルト値）を読み出して、メモリ９のトリミング情報記憶領域に記憶させ（第１の記憶制御手段）、該記憶させたトリミング情報にしたがってトリミング枠２０を該表示しているフレーム画像の上に重ねて表示させる（ステップＳ２１）。このときも、図２のステップＳ５のときと同様、図５に示すような画像が画像表示部１２に表示される。

次いで、ＣＰＵ１０は、ユーザによってトリミング位置の変更が行なわれたか否かの判断を行う（ステップＳ２２）。
ステップＳ２２で、トリミング位置の変更が行なわれたと判断すると、ＣＰＵ１０は、該変更されたトリミング位置をメモリ９のトリミング情報記憶領域に記憶させ（第１の記憶制御手段）、該記憶させたトリミング位置にトリミング枠２０を表示させて（ステップＳ２３）、ステップＳ２４に進む。一方、ステップＳ２２で、トリミング位置の変更が行なわれていないと判断すると、そのままステップＳ２４に進む。

ステップＳ２４に進むと、ＣＰＵ１０は、ユーザによってトリミングサイズの変更が行なわれたか否かの判断を行う。
ステップＳ２４で、トリミングサイズの変更が行なわれたと判断すると、ＣＰＵ１０は、該変更されたトリミングサイズをメモリ９のトリミング情報記憶領域に記憶させ（第１の記憶制御手段）、該記憶させたトリミングサイズにしたがってトリミング枠２０を表示させて（ステップＳ２５）、ステップＳ２６に進む。一方、ステップＳ２４で、トリミングサイズの変更が行なわれていないと判断すると、そのままステップＳ２６に進む。

ステップＳ２６に進むと、現在トリミング情報記憶領域に記憶しているトリミング位置、トリミングサイズ、つまり、表示しているトリミング枠２０をトリミングエリアとして決定するか否かの判断を行う。
ステップＳ２６で、現在トリミング情報記憶領域に記憶しているトリミング位置、トリミングサイズをトリミングエリアとして決定しないと判断すると、ステップＳ２２に戻る。
このステップＳ２２〜ステップＳ２６のループ中にユーザはトリミング枠２０を切り出したい画像に合わせることができる。

一方、ステップＳ２６で、現在トリミング情報記憶領域に記憶しているトリミング位置、トリミングサイズをトリミングエリアとして決定すると判断すると、ＣＰＵ１０は、メモリ９のトリミング情報記憶領域に記憶されているトリミング位置及びトリミングサイズに基づいて、ハイライトシーンとして決定したフレーム（表示しているフレーム）からトリミング枠２０内の画像データを切り出す（コピー）とともに（生成手段）、ハイライトシーンとして決定したフレームの前後４枚のフレームを選択し（第２の選択手段）、該選択した８枚のフレームからも、メモリ９のトリミング情報記憶領域に記憶されているトリミング位置及びトリミング情報に基づいて画像データを切り出し（コピー）する（生成手段）（ステップＳ２７）。つまり、ハイライトシーンとして決定したフレームのみならず、そのフレームの前後４枚のフレームからもトリミング画像を生成することになり、全て同じトリミングエリアの画像が切り出される。なお、そのフレームの前後４枚のフレーム各々について、ハイライトシーンとして決定したフレームと同様にトリミング範囲の設定動作（ステップＳ１０〜Ｓ１４）を行なうようにしてもよい。

次いで、ＣＰＵ１０は、９枚のトリミング画像データ（切り出した９枚の画像データ）から１枚の組画像データを生成して、静止画ファイルとして記録させる（記録制御手段）（ステップＳ２８）。このとき生成される１枚の組画像データは、ハイライトシーンとして決定したフレームから生成されたトリミング画像がメインとなるような画像になるように生成される。

図７（ｂ）は、９枚のトリミング画像データから生成された一枚の組画像の様子の一例を示すものである。図７（ｂ）の中央に大きくある画像は、ハイライトシーンとして決定したフレームから生成されたトリミング画像であり、その上には選択したフレームの前の各４枚から生成されたトリミング画像が小さく表示されており、その下には選択したフレームの後の各４枚から生成されたトリミング画像が小さく表示されている。

ここでは、５枚目のフレームを選択したので、中央に大きく表された画像は、５枚目のフレームから生成されたトリミング画像であり、上の４枚の小さな画像は、５枚目のフレームの前の４枚、つまり、１枚目、２枚目、３枚目、４枚目のフレームから生成されたトリミング画像であり、下の４枚の小さな画像は、６枚目、７枚目、８枚目、９枚目のフレームから生成されたトリミング画像である。
これにより、撮影した動画ファイルの中の任意のフレームからメインの被写体の画像が切り出された組画像データを生成することができ、洒落た写真としても楽しむことができ、ユーザの興趣を高めることができる。

Ｃ．以上のように、第１の実施の形態においては、１コマ切り出しのモーションプリントがユーザによって選択されて、ユーザが動画ファイルのフレームの中からハイライトシーンとなるフレームを選択すると、該フレームとともにトリミング枠２０を表示させ、該表示されたトリミング枠２０内の画像データを切り出して、静止画ファイルとして記録するようにしたので、簡単に撮影した動画ファイルの中の任意のフレームから静止画ファイルとして記録したい被写体の画像を切り出して記録することができる。

また、９コマ切り出しのモーションプリントがユーザによって選択され、ユーザが動画ファイルのフレームの中からハイライトシーンとなるフレームを選択すると、該フレームとともにトリミング枠２０を表示させ、該表示されたトリミング枠２０内の画像データを切り出すとともに、ハイライトシーンとして選択されたフレームの前後４枚のフレームを選択し、該選択した８のフレームからもトリミング枠２０に対応する範囲の画像データを切り出すので、一度に９枚のトリミング画像を生成することができ、１枚毎にトリミング範囲の設定をユーザが行うといった手間を省くことができる。

また、生成した９枚のトリミング画像を１枚の組画像データとして記録するようにしたので、洒落た写真としても楽しむことができ、ユーザの興趣を高めることができる。また、１枚の組画像データの画像を見ることにより、一度に複数のトリミング画像を見ることができ、また、動画データの内容の概略を瞬時に思い出すこともできる。
また、表示されたトリミング枠２０の表示位置、表示範囲をユーザが変更することができるので、ユーザが記録したい画像をトリミングして記録することができる。

［第２の実施の形態］
次に第２の実施の形態について説明する。
第１の実施の形態においては、９コマ切り出しの場合においては、決定したトリミングエリアで、ハイライトシーンとして決定したフレームの前後のフレームから画像を切り出すようにしたが、第２の実施の形態においては、ハイライトシーンとして決定したフレームから、決定したトリミングエリアの画像データを切り出し、該切り出した画像データの被写体を画像認識により認識し、ハイライトシーンとして決定したフレームの前後のそれぞれフレームから該認識した被写体がある位置の画像データを切り出すというものである。

Ｄ.デジタルカメラ１の動作
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の画像生成装置を実現する。
以下、第２の実施の形態のデジタルカメラ１の９コマ切り出しが選択されたときの動作を図８のフローチャートにしたがって説明する。

図３のステップＳ２６でＹに分岐すると、ＣＰＵ１０は、決定されたトリミングエリア、つまり、トリミング位置、トリミングサイズで、該ハイライトシーンとして決定したフレーム（表示しているフレーム）からトリミング枠２０内の画像データを切り出す（ステップＳ５１）。
次いで、ＣＰＵ１０は、該切り出した画像データの被写体（人物や動物、自動車などの被写体）を画像認識処理により認識する（ステップＳ５２）。この機能は、本発明の第１の画像認識手段に相当する。

次いで、ＣＰＵ１０は、ハイライトシーンとして決定したフレームの前後４枚のフレームを選択し、該選択したそれぞれのフレームのトリミング位置を、該画像認識処理の結果に基づいて決定して、メモリ９のトリミング情報記憶領域に記憶させる（ステップＳ５３）。つまリ、ハイライトシーンとして決定したフレームの前後４枚のフレームのそれぞれに対して画像認識処理を行い、ステップＳ５２の画像認識処理により認識した被写体がフレームのどの位置にあるか否かを判定し、該判定した位置をトリミング位置としてフレーム毎に決定してメモリ９のトリミング情報記憶領域に記憶させる。このとき、トリミングサイズは、ステップＳ２６で、決定したトリミングサイズをそのまま用いてもよいし、フレーム毎に認識された被写体の大きさに応じてトリミングサイズを変更するようにしてもよい。
このフレーム毎に決定されたトリミング位置をメモリ９のトリミング情報記憶領域に記憶させる機能は、本発明の第２の記憶制御手段に相当する。

なお、第２の実施の形態においては、ハイライトシーンとして決定したフレームと、その前後４枚のフレームは必ずしも連続するフレームである必要はない。この前後４枚のフレームの選択は、手動あるいはランダムに選択してもよいし、一定の基準（例えば、被写体の動きの大きいフレーム、ブレの少ないフレームなど）にしたがって選択するようにしてもよい。

次いで、ＣＰＵ１０は、ハイライトシーンとして決定した前後４枚のフレームから、該決定したそれぞれのトリミング位置に基づいて画像データを切り出す（生成手段）（ステップＳ５４）。このときトリミングサイズは、ステップＳ２６で決定されたトリミングサイズであってもよいし、フレーム毎に認識された被写体の大きさに応じてトリミングサイズを変更するようにしてもよい。
次いで、ＣＰＵ１０は、該切り出した９枚の画像データから１枚の組画像データを生成し、該生成した組画像データをフラッシュメモリ１１に記録する（記録制御手段）（ステップＳ５５）。

Ｅ．以上のように、第２の実施の形態においては、ハイライトシーンとして決定した前後４枚のフレームのそれぞれに対して画像認識処理を行い、ハイライトシーンとして決定した画像のトリミング枠２０の被写体がどの位置にあるかを判定し、該判定した位置をトリミング位置情報としてフレーム毎に記憶するようにしたので、ハイライトシーンとして決定したフレーム及びそのフレームの前後４枚のフレームから、トリミングエリアとして決定したトリミング枠２０内に写っている被写体をそれぞれトリミングすることができ、トリミングしたい被写体の画像を全てのフレームからトリミングすることができる。

なお、第２の実施の形態においては、図８のステップＳ５１では、図３のステップＳ２６で決定したトリミング範囲（つまり、決定したときのトリミング枠２０）内の被写体を認識するようにしたが、ハイライトシーンとして決定したフレームの全画像の被写体を認識するようにしてもよい。この画像認識により認識した被写体（例えば、人物）がハイライトシーンとして決定したフレームのどの位置にあるかを判定し、該判定した位置をトリミング位置情報として記憶するとともに、ハイライトシーンとして決定したフレームに対する画像認識により認識した被写体（例えば、人物）がそのフレームの前後４枚のそれぞれのフレームのどの位置にあるかを判定し、該判定した位置をトリミング位置情報としてフレーム毎に記憶するようにしてもよい。この場合には、図３のステップＳ２１〜ステップＳ２６の処理は必要なく、図３のステップＳ１８でハイライトシーンが決定すると、そのまま図８のステップＳ５１に進む。

この場合、ハイライトシーンとして決定したフレームのトリミング位置情報を、そのフレームの前後４枚のそれぞれのフレームのトリミング位置情報として利用するようにしてもよい。このときトリミングサイズは、予め決定されているトリミングサイズであってもよいし、ユーザが設定したトリミングサイズであってもよいし（ステップＳ２４、Ｓ２５）、フレーム（ハイライトシーンとして決定したフレームを含む）毎に認識された被写体の大きさに応じてトリミングサイズを変更するようにしてもよい。この手法は、９コマ切り出しの場合に限定されず、１コマ切り出しの場合にも有効である。

また、第２の実施の形態においては、図８のステップＳ５１では、図３のステップＳ２６で決定したトリミング範囲（つまり、決定したときのトリミング枠２０）内の被写体を認識したり、ハイライトシーンとして決定したフレームの全画像の被写体を認識するようにしたが、トリミング範囲内又はフレームの全画像内に複数の被写体が含まれている場合には認識すべき被写体の特定が困難になるので、ユーザが認識させたい被写体位置をピンポイントで指定できるようにし、この指定された位置の被写体を認識するようにしてもよい。この手法も、９コマ切り出しの場合に限定されず、１コマ切り出しの場合にも有効である。

［変形例］
Ｆ．上記各実施の形態は以下のような変形例も可能である。
（１）上記第１、第２の実施の形態においては、図２のステップＳ５、図３のステップＳ１７で、最初のフレームを選択して画像表示部１２に表示させるようにしたが、動画ファイルのフレームの中から自動的にフレームを選択し、該選択したフレームの画像を画像表示部１２に表示させるようにしてもよい。これにより、自動的に選択されたフレームに基づいてトリミング画像を生成したくないと思ったときに、ユーザが手動で所望するフレームを選択することができる。
なお、このフレームの自動選択は、例えば、動画ファイルのフレームの中で一番ブレ量の少ないフレームを自動的に選択するようにしたり、画像認識処理により一番被写体の動きなどの変化のあるフレームを自動的に選択するようにしたり、シャッタボタン操作の前後数秒間の動画を撮影記録する機能が備えられている場合にはシャッタボタン操作時点のフレームを特定する情報を動画ファイル内に記憶させておくことによりシャッタボタン操作時点のフレームを自動的に選択するようにしたり、動画撮影中に静止画撮影が実行された時点のフレームを特定する情報を動画ファイル内に記憶させておくことにより静止画撮影時点のフレームを自動的に選択するようにしたり、録画開始時のフレーム又は録画終了時のフレームを自動的に選択するようにする。

（２）また、上記（１）では、自動的にフレームを選択した後、ユーザがフレームの選択を変更したり、ハイライトシーンを決定したりするようにしたが、自動的に選択されたフレームを強制的にハイライトシーンとして決定するようにしてもよい。つまり、図２のステップＳ６〜ステップＳ８の処理を無くすようにしてもよい。

（３）また、トリミングする範囲をユーザが手動で変更することができるようにしたが、変更することができないようにしてもよい。つまり、図２のステップＳ１０〜ステップＳ１４、図３のステップＳ２２〜ステップＳ２６の処理を無くすようにしてもよい。つまり、予め決められた位置、サイズでトリミングされることとなる。
また、トリミングする位置のみ、又は、トリミングする大きさのみを手動で変更することができるようにしてもよい。

（４）また、図２のステップＳ９、図３のステップＳ２１では、予め決められた位置、大きさでトリミング枠２０を表示させるようにしたが、画像認識処理等により自動的に定められた位置、大きさで表示させるようにしてもよい。このときは、画像認識処理等により自動的に定められた位置、大きさをトリミング位置情報、トリミングサイズ情報としてトリミング情報記憶領域に記憶させる。この画像認識処理により定められた位置、大きさとは、例えば、画像認識により人の顔を認識した場合にはその位置をトリミング位置として記憶させたり、人の顔の大きさに基づいてトリミングサイズを決定して記憶させるようにする。また、トリミングサイズは予め定められた大きさであってもよい。

（５）また、上記（４）では、画像認識処理等により自動的に定められた位置、大きさでトリミング枠２０を表示させた後、ユーザがトリミングする位置、大きさを変更したり、決定したりすることができるようにしたが、画像認識処理等により自動的に定められたトリミング位置、トリミングサイズを強制的に決定するようにしてもよい。つまり、図２のステップＳ１０〜ステップＳ１４、図３のステップＳ２２〜ステップＳ２６の処理を無くすようにしてもよい。

（６）また、図３のステップＳ２７では、ハイライトシーンとして決定したフレームと連続する前後４枚のフレームを選択し、該選択した８枚のフレームからもトリミング画像を生成するようにしたが、ハイライトシーンとして決定したフレームと、その前後４枚のそれぞれのフレームは必ずしも連続するフレームである必要はない。つまり、トリミング画像を生成する基となる各フレームが連続する必要はない。また、この前後４枚のフレームの選択は、手動あるいはランダムに選択するようにしてもよいし、所定枚数間隔でフレームを選択するようにしてもよい。更に、ブレ量の少ないフレームを自動的に選択するようにしてもよいし、画像認識処理により被写体の動きなどの変化のあるフレームを自動的に選択するようにしてもよい。

（７）また、図３のステップＳ２７や、図８のステップＳ５３及びステップ５４では、９枚のトリミング画像を生成するようにしたが、何枚であってもよい。
（８）また、図３のステップＳ２７や、図８のステップＳ５３及びステップＳ５４では、ハイライトシーンとして決定したフレームと、その前後４枚のフレームとからそれぞれトリミング画像を生成するようにしたが、決定したフレームと、該決定したフレーム以外の８枚のフレームとからトリミング画像を生成するようにしてもよい。つまり、決定したフレームの前後４枚に限る必要はなく、例えば、決定したフレームの前２枚のフレームと、決定したフレームの後６枚のフレームであってもよい。

（９）また、図３のステップＳ２７では、ステップＳ２６で決定したトリミング位置情報、トリミングサイズ情報に基づいて、決定したフレームと、その前後４枚のフレームとからトリミング画像を生成するようにしたが、決定したトリミング位置情報に基づいて、決定したフレームからトリミング画像を生成し、決定したフレームの前後４枚のフレームに関しては、該決定したトリミング情報に基づいてトリミング位置、トリミングサイズを変えてトリミング画像を生成するようにしてもよい。
例えば、決定したトリミング位置を中心に前後のフレームのトリミング位置を徐々に右にしたり、左にしたり、上にしたり、下にしたりするようにしてもよい。また、決定したトリミングサイズを中心に前後のフレームのトリミングサイズを徐々に大きくしたり、小さくしたりするようにしてもよい。

（１０）また、図３のステップＳ２７では、ステップＳ２６で決定したトリミング位置情報、トリミングサイズ情報に基づいて、ステップＳ１８で決定したフレームの前後のフレームからもトリミング画像を生成するようにしたが、それぞれのフレームに対してトリミング位置、トリミングサイズをユーザが変更することができるようにしてもよいし、画像認識処理などを用いて自動的にそれぞれのフレームに対してトリミング位置、トリミングサイズを決定するようにしてもよい。

（１１）また、図３のステップＳ２７では、ステップＳ２６で決定したトリミング位置、トリミングサイズに基づいて、ハイライトシーンとして決定したフレームの前後のフレームからもトリミング画像を生成するようにしたが、ステップＳ１８で決定したフレームのみからトリミング画像を生成するようにし、ハイライトシーンとして決定したフレームの前後のフレームからはトリミング画像を生成しないようにしてもよい。この場合、ステップＳ２８では、ハイライトシーンとして決定したフレームから生成されたトリミング画像と、該決定したフレームの前後のフレームとから１枚の組画像データを生成することとなる。

（１２）また、図３のステップＳ２８や図８のステップＳ５５では、生成された９枚のトリミング画像から１枚の組画像データを生成して記録するようにしたが、組画像データを生成せずに、生成された９枚のトリミング画像をそれぞれ静止画ファイルとして記録するようにしてもよい。また、生成された９枚のトリミング画像から１枚の組画像データを生成して記録するとともに、生成された９枚のトリミング画像をそれぞれ静止画ファイルとして記録するようにしてもよい。

（１３）また、図２のステップＳ１６、図３のステップＳ２８、及び図８のステップＳ５５では、トリミング画像から静止画ファイルを生成して記録するようにしたが、静止画ファイルを生成せずに、あるいは静止画ファイルは生成するが記録せずに、例えば、デジタルカメラ１とプリンタとがＵＳＢケーブル等によりダイレクトに接続されている場合には、図２のステップＳ１５、図３のステップＳ２７、及び図８のステップＳ５４で得られたトリミング画像（図２のステップＳ１６、図３のステップＳ２８、及び図８のステップＳ５５で生成された静止画ファイル）をプリンタに出力してプリントアウトするようにしてもよい。勿論、記録済みの静止画ファイルを読み出してプリンタに出力してプリントアウトすることも可能である。

（１４）更に、上記各実施の形態におけるデジタルカメラ１は、上記の実施の形態に限定されるものではなく、携帯電話、ＰＤＡ、パソコン、ＩＣレコーダ、又はデジタルビデオカメラ等でもよく、要は画像を処理することができる機器であれば何でもよい。

本発明の実施の形態のデジタルカメラのブロック図である。 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。 動画ファイルの各フレームの画像の様子を示すものである。 動画のフレームの画像とともに表示されたトリミング枠２０の様子を示すものである。 トリミング枠２０を切り出したい被写体に合わせる合わせ方の一例を示す図である。 記録されたフレームから生成された静止画ファイルの静止画像データの様子を示す図である。 第２の実施の形態のデジタルカメラの動作を示すフローチャートである。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り兼用シャッタ
５ ＣＣＤ
６ ＴＧ
７ ユニット回路
８ ＤＲＡＭ
９ メモリ
１０ ＣＰＵ
１１ フラッシュメモリ
１２ 画像表示部
１３ キー入力部
１４ 音声処理部
１５ ストロボ駆動部
１６ ストロボ発光部

Claims (4)

1. 動画データを取得する取得手段と、
   前記取得手段により取得された動画データの中のフレームを選択する第１の選択手段と、
   前記第１の選択手段により選択されたフレームから静止画ファイルを生成する生成手段と、
   前記第１の選択手段により選択されたフレームのトリミングするエリアを示すトリミング情報を記憶する第１の記憶手段と、
   前記取得手段により取得された動画データのうち、前記第１の選択手段により選択されたフレーム以外のフレームを選択する第２の選択手段と、
   を備え、
   前記生成手段は、
   前記静止画ファイルを生成する前に、前記第１の記憶手段に記憶されているトリミング情報に基づいて、前記第１の選択手段により選択されたフレームからトリミング画像を生成すると共に、前記第１の記憶手段に記憶されているトリミング情報に基づいて、前記第２の選択手段により選択されたフレームからトリミング画像を生成する手段を含み、該生成されたトリミング画像の静止画ファイルを生成することを特徴とする画像生成装置。
2. 動画データを取得する取得手段と、
   前記取得手段により取得された動画データの中のフレームを選択する第１の選択手段と、
   前記第１の選択手段により選択されたフレームから静止画ファイルを生成する生成手段と、
   前記第１の選択手段により選択されたフレーム中の被写体を認識する第１の画像認識手段と、
   前記取得手段により取得された動画データのうち、前記第１の選択手段により選択されたフレーム以外のフレームを選択する第２の選択手段と、
   前記第２の選択手段により選択されたフレームのトリミングするエリアを示すトリミング情報を記憶する第２の記憶手段と、
   前記第１の画像認識手段により認識された被写体の位置に基づいてトリミングエリアを決定して前記第２の記憶手段にトリミング情報を記憶させる第２の記憶制御手段と、
   を備え、
   前記生成手段は、
   前記静止画ファイルを生成する前に、前記第１の画像認識手段により認識された被写体の位置に基づいて、前記第１の選択手段により選択されたフレームからトリミング画像を生成すると共に、前記第２の記憶手段に記憶されているトリミング情報に基づいて、前記第２の選択手段により選択されたフレームからトリミング画像を生成する手段を含み、該生成されたトリミング画像の静止画ファイルを生成することを特徴とする画像生成装置。
3. 動画データを取得する取得処理と、
   この取得処理により取得された動画データの中のフレームを選択する第１の選択処理と、
   この第１の選択処理により選択されたフレームから静止画ファイルを生成する生成処理と、
   前記第１の選択処理により選択されたフレームのトリミングするエリアを示すトリミング情報を記憶する第１の記憶処理と、
   前記取得処理により取得された動画データのうち、前記第１の選択処理により選択されたフレーム以外のフレームを選択する第２の選択処理と、
   を含み、
   更に、前記生成処理は、
   前記静止画ファイルを生成する前に、前記第１の記憶処理により記憶されているトリミング情報に基づいて、前記第１の選択処理により選択されたフレームからトリミング画像を生成すると共に、前記第１の記憶処理により記憶されているトリミング情報に基づいて、前記第２の選択処理により選択されたフレームからトリミング画像を生成し、該生成されたトリミング画像の静止画ファイルを生成する処理を含み、
   上記各処理をコンピュータで実行させることを特徴とするプログラム。
4. 動画データを取得する取得処理と、
   この取得処理により取得された動画データの中のフレームを選択する第１の選択処理と、
   この第１の選択処理により選択されたフレームから静止画ファイルを生成する生成処理と、
   前記第１の選択処理により選択されたフレーム中の被写体を認識する第１の画像認識処理と、
   前記取得処理により取得された動画データのうち、前記第１の選択処理により選択されたフレーム以外のフレームを選択する第２の選択処理と、
   この第２の選択処理により選択されたフレームのトリミングするエリアを示すトリミング情報を、前記第１の画像認識処理により認識された被写体の位置に基づいて決定して記憶する第２の記憶処理と、
   を含み、
   更に、前記生成処理は、
   前記静止画ファイルを生成する前に、前記第１の画像認識処理により認識された被写体の位置に基づいて、前記第１の選択処理により選択されたフレームからトリミング画像を生成すると共に、前記第２の記憶処理により記憶されているトリミング情報に基づいて、前記第２の選択処理により選択されたフレームからトリミング画像を生成し、該生成されたトリミング画像の静止画ファイルを生成する処理を含み、
   上記各処理をコンピュータで実行させることを特徴とするプログラム。
   

Images