JP2012147129A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】静止画とともに動画を記録する場合に、次に撮影可能になるまでの時間を短縮する。
【解決手段】
所定のモードにおいて、
前記動画データを生成して記憶手段に記憶させ、
静止画撮影の指示に応じて、
静止画撮影の指示が入力されるまでに記憶手段に記憶された動画データの特定のフレームの画像から動画データを示すサムネイル画像を生成するように前記画像処理手段を制御するとともに、被写体を撮像しデジタル画像信号を取得するように前記取得手段を制御し、
サムネイル画像の生成処理が終了したことに応じて、静止画撮影の指示に応じて取得されたデジタル画像信号から静止画データを生成するとともに、憶手段に記憶された動画データと、サムネイル画像とを記録媒体に記録する。
【選択図】図２

Description

本発明は、静止画及び動画の撮影技術に関する。

デジタルカメラやデジタルビデオカメラ等の撮像装置の中には、静止画及び動画の両方を撮影可能なものがあり、ユーザは用途に分けてモードを切り替え、静止画及び動画を撮影して記録することができる。近年では、動画の撮影中に静止画の撮影を行えるものがある。

特許文献１には、動画の撮影中に静止画撮影の指示を受け付けることで、静止画撮影を行いその画像を、撮影中の動画のサムネイル画像を有する動画を記録可能な撮像装置が開示されている。

また特許文献２には、静止画の撮影に先立って、シャッタボタンの半押し動作に応じて動画用の撮影を行い得られたデジタル画像信号をバッファリングする。そしてシャッタボタンが全押しされ、静止画撮影の指示がなされた場合に静止画用の撮影を行い、静止画ファイルを生成するための現像、符号化処理を施して静止画ファイルを記録する。さらに、バッファリングしていた動画用のデジタル画像信号を動画ファイルにエンコードして記録する静止画ファイル技術が開示されている。

特開２００７−２６６６６２号公報 特開２００６−１６５７７０号公報

しかしながら、特許文献１のように、動画の記録処理を中断することなく静止画の記録処理を行うためには、動画に係る符号化等の画像処理と、静止画に係る画像処理等を同時に実行する必要がある。即ち、動画の記録処理とともに静止画の記録処理を行うためには、すくなくとも複数の画像の符号化等の画像処理を常に同時に実行可能な程度の処理能力を備える高価なマイコン、あるいは複数のマイコンが必要となり、生産コストの上昇や回路規模の増大が生じてしまうことになる。

一方、特許文献２では静止画の記録とともに動画の記録を行う場合、図５のように静止画の撮影処理、現像処理、圧縮符号化処理、及び記録処理を行い、静止画バッファリングしていた動画の圧縮符号化処理、記録処理を行う。さらに、特許文献２には記載されていないが通常通りに動画のサムネイルを生成する場合には、記録媒体に記録された動画の先頭フレームを読み出し、画像処理手段において当該先頭フレームからサムネイル画像を生成することになる。即ち、ユーザは静止画の撮影を行った後、次の静止画を撮影可能な状態になるまで、静止画の記録処理に加え、動画の記録処理の時間分待つ必要があった。

また、複数の画像の画像処理を同時に実行しない撮像装置では、動画の撮影中に静止画の撮影を行った場合、画像処理手段が静止画の画像処理を行っている間は動画に係る画像の画像処理が実行できないため、動画の撮影は中断する。例えば動画の撮影中に静止画の撮影指示がなされたことに応じて動画の撮影を終了し、サムネイル画像を有する動画を記録する場合は、図６に示すようなタイミングチャートとなる。

具体的には、動画の撮影中に静止画の撮影指示がなされると、静止画の撮影処理とともに動画の記録媒体への記録処理が開始される。記録媒体への動画の記録が完了すると、記録した動画の先頭フレームが記録媒体より読み出され、画像処理手段において当該先頭フレームからサムネイル画像が生成され、動画に関連付けて記録される。その後、画像処理手段では撮像が完了した静止画の現像処理及び圧縮符号化処理が実行され、記録用の静止画が生成される。そのため、再び静止画または動画の撮影が可能な状態となるには、ユーザは、静止画撮影処理、動画記録処理、動画読み出し処理、サムネイル生成処理が終了するまで待たなければならなかった。

本発明は、上述の問題点に鑑みてなされたものであり、静止画とともに動画を記録する場合に、次に撮影可能になるまでの時間を短縮することを目的とする。

前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
被写体を撮像し、デジタル画像信号を取得する取得手段と、前記デジタル画像信号に静止画用の符号化処理を施した静止画データを生成する、または、複数の前記デジタル画像信号を各フレーム画像とした動画用の符号化処理を施した動画データを生成する画像処理手段と、前記画像処理手段により生成された静止画データまたは動画データを一時的に記憶する記憶手段と、前記記憶手段に記憶された静止画データまたは動画データを記録媒体に記録する記録手段と、前記取得手段、前記画像処理手段、及び前記記録手段を制御する制御手段とを有し、前記制御手段は、所定のモードにおいて、前記取得手段により取得されたデジタル画像信号から動画データを生成するよう前記画像処理手段を制御し、生成された当該動画データを前記記憶手段に記憶させるように制御し、静止画撮影の指示に応じて、前記静止画撮影の指示が入力されるまでに前記記憶手段に記憶された前記動画データの１つのフレームの画像から当該動画データのサムネイル画像を生成するように前記画像処理手段を制御するとともに、被写体を撮像してデジタル画像信号を取得するように前記取得手段を制御し、前記サムネイル画像の生成処理が終了したことに応じて、前記静止画撮影の指示に応じて前記取得手段により取得されたデジタル画像信号から静止画データを生成するように前記画像処理手段を制御するとともに、前記記憶手段に記憶された動画データと、生成された前記サムネイル画像とを前記記録媒体に記録するように前記記録手段を制御し、前記静止画データの生成が終了したことに応じて、当該生成された静止画データを前記記録媒体に記録するように前記記録手段を制御することを特徴とする。

このような構成により本発明によれば、静止画とともに動画を記録する場合に、次に撮影可能になるまでの時間を短縮することを可能とする。

本発明の実施形態に係るデジタルカメラの機能構成を示したブロック図 実施形態に係るムービーダイジェストモードの処理のタイミングチャート 実施形態に係るムービーダイジェストモードの処理のフローチャート 実施形態に係るムービーダイジェストモードにおける動画の記録方法を説明するための図 従来技術の静止画とともに動画を記録する場合のタイミングチャート 従来技術の静止画とともに動画を記録する場合の別のタイミングチャート

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、静止画とともに動画を記録可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、静止画とともに動画を記録することが可能な任意の機器に適用可能である。

また、本明細書では、「ムービーダイジェストモード」を使用することにより、静止画の撮像指示に応じて、静止画と、当該静止画を撮影する直前の予め定められた時間の動画とを記録することが可能である。なお、当該モードにデジタルカメラが設定され、静止画撮影の指示があるまでは、デジタルカメラでは、記録用の動画の撮影し、あらかじめ記録用の符号化処理を施した動画データをメモリに格納しつづけ、所定秒以上の動画データがメモリに格納されると、先に格納された動画データから順に消去していくようにしている。また、消去しなくとも、新たに撮影された動画データにより上書きしていくようにしても良い。また、ムービーダイジェストモードで記録される動画データを示すファイルは、静止画の撮影指示ごとに別々の動画ファイルとして記録されてもよいし、例えば同一の撮影日を有する場合は１つの動画ファイルとして動画データを順次追記していく構成であってもよい。追記する場合、そのとき撮影された動画データに対応するサムネイル画像を毎回生成する構成であっても良いし、サムネイルは、新規に動画ファイルを作成する場合のみに生成する構成であっても良い。

図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作を制御する。具体的には制御部１０１は、例えばＲＯＭ１０２に記憶されているデジタルカメラ１００が備える各ブロックの動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作において必要となる各種設定やパラメータ等の情報が記憶されている。

ＲＡＭ１０３は、揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムの展開領域に限らず、各ブロックの動作において出力されたデータ等を一時的に格納するための記憶領域である。また本実施形態では、ＲＡＭ１０３はムービーダイジェストモードにおける動画データの記憶領域としても用いられる。

なお、本実施形態ではデジタルカメラ１００が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を備えるブロックであり、レンズや絞り等の不図示の光学系により、撮像素子上に結像された光学像を光電変換し、アナログ画像信号を生成する。また撮像部１０４は、生成されたアナログ画像信号に対してＡ／Ｄ変換処理を実行することにより、取得したデジタル画像信号をＲＡＭ１０３に出力して記憶させる。

画像処理部１０５は、ＲＡＭ１０３に記憶されているデジタル画像信号を読み出し、当該デジタル画像信号に対して設定値に基づいてホワイトバランスや色、明るさ等を調整する画質調整処理を適用した後、現像処理を実行して画像を生成する。

また画像処理部１０５は生成された画像に対し、静止画用あるいは動画用の、それぞれの記録形式に従った符号化処理を適用し、静止画データあるいは動画データを出力する。符号化処理は、例えば静止画の場合はＪＰＥＧ圧縮、動画の場合はＭｏｔｉｎｏＪＰＥＧ圧縮、ＭＰＥＧ圧縮、Ｈ．２６４圧縮等の公知の符号化技術が用いられてよい。

音声入力部１０６は、例えばデジタルカメラ１００に内蔵された無指向性のマイクやデジタルカメラ１００に接続された外部マイクであり、動画の撮影時にデジタルカメラ１００の周囲の音声を集音し、Ａ／Ｄ変換を適用してＲＡＭ１０３に出力して記憶させる。

音声処理部１０７は、ＲＡＭ１０３に記憶されているデジタル音声信号に対してゲイン調整やレベル適正化処理等を実行し、音声データを生成する。また音声処理部１０７は、デジタル音声信号に対して、ＡＡＣ圧縮やＡＣ３圧縮、ＭＰ３圧縮等の公知の音声圧縮処理を適用することにより音声データをＲＡＭ１０３に出力して再び記憶させる。また、圧縮処理を行わなくても良い。

表示部１０９は、デジタルカメラ１００が備える例えば小型ＬＣＤ等の表示装置である。撮像部１０４により順次出力されるデジタル画像信号がＲＡＭ１０３に記憶されており、表示制御部１０８によりＲＡＭ１０３からデジタル画像信号が読み出され、Ｄ／Ａ変換されて入力されて表示（スルー表示）されることにより、表示部１０９は電子ビューファインダ（ＥＶＦ）として機能する。また表示部１０９には、撮影された静止画を表示することもできる（レックレビュー表示）。表示部１０９は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。

表示制御部１０８は、表示部１０９に表示する表示画像を生成するブロックであり、例えばＲＯＭ１０２に記憶されている画像を読み出して表示中の画像に重畳して表示させることもできる。この画像には、グラフィカルユーザインタフェース（ＧＵＩ）データが含まれる。

記録再生部１１０は、後述する記録媒体１１１へのデータの書き込み、あるいは記録媒体１１１からのデータの読み出しを制御するブロックである。記録媒体１１１は、例えばデジタルカメラ１００が備える内部メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置であってもよい。例えば、記録媒体１１１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

操作入力部１１２は、例えば静止画撮影ボタンやモード切替スイッチ等のデジタルカメラ１００が備えるユーザインタフェースを、ユーザが操作することによりなされた操作入力を解析し、操作された指示内容を制御部１０１に伝送する。

ここで、本実施形態のデジタルカメラ１００の通常の動作について説明する。
本実施形態のデジタルカメラ１００は、ユーザが操作入力部１１２の電源ボタンを操作すると、操作入力部１１２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、デジタルカメラ１００の各ブロックに対して電源を供給させる。

電源が供給されると、制御部１０１は、例えば、操作入力部１１２のモード切り換えスイッチが、例えば、静止画撮影モード、動画撮影モード、再生モード等のどのモードであるかを操作入力部１１２からの指示信号により確認する。本実施形態のデジタルカメラは、静止画記録の指示が入力されたことに応じて静止画データの記録を行うとともに、その指示が入力されるより前の所定秒数の動画データを同時に記録する「ムービーダイジェストモード」をさらに有している。

静止画撮影モードでは、デジタルカメラ１００は撮影待機状態でユーザが操作入力部１１２の静止画記録ボタンを操作することで撮影を行い、静止画データを記録媒体１１１に記録する。そして再び撮影待機状態になる。動画撮影モードでは、デジタルカメラ１００は撮影待機状態でユーザが操作入力部１１２の動画記録開始ボタンを操作することで撮影を開始し、その間、動画データと音声データを順次記録媒体１１１に記録する。そしてユーザが操作入力部１１２の動画記録終了ボタンを操作することで撮影を終了し、再び撮影待機状態になる。再生モードでは、ユーザが選択したファイルに関する動画データ、音声データ、静止画データを記録媒体１１１から再生して、不図示の音声出力部から音声信号を出力し、表示部１０９に映像を表示させる。

まず、静止画撮影モードについて説明する。操作入力部１１２により静止画撮影モードが設定されると前述のようにまず、制御部１０１は、デジタルカメラ１００の各ブロックを撮影待機状態に設定させる。

撮影待機状態では、画像処理部１０５は、デジタル画像信号をＲＡＭ１０３に一時的に記憶させ、表示制御部１０８は、ＲＡＭ１０３に記憶されたデジタル画像信号を読み出して表示部１０９に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。このような表示を本実施形態ではスルー画像表示という。

撮影待機状態で、ユーザが操作入力部１１２の静止画記録ボタンを操作することにより撮影指示信号が送信されると、制御部１０１は撮影制御信号をデジタルカメラ１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１０４は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１０５に送信する。画像処理部１０５は、入力されたデジタル画像信号の現像処理、画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて実行する。そして、画像処理部１０５は、静止画データを生成し、制御部１０１により生成された静止画データは、ＲＡＭ１０３に転送する。また、静止画撮影の指示がなされたタイミングで取り込まれたデジタル画像信号は、不図示の映像出力部に送信されたり表示制御部１０８により読み出されたりする。ここで、表示部１０９に表示された映像を見ることで、ユーザは撮影した静止画を確認することができる。

そして、画像処理部１０５は、生成した静止画データを生成し、記録再生部１１０に出力する。記録再生部１１０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、静止画データを静止画ファイルとして記録媒体１１１に書き込んでいく。

なお、制御部１０１は、画像処理部１０５による符号化の動作が終了すると、撮影待機状態に移行させるように制御信号をデジタルカメラ１００の各ブロックに送信して、撮影待機状態に戻る。

次に、動画撮影モードについて説明する。操作入力部１１２により動画撮影モードが設定されると前述のようにまず、制御部１０１は、デジタルカメラ１００の各ブロックを撮影待機状態に設定させる。

撮影待機状態では、撮像部１０４により得られたデジタル画像信号はＲＡＭ１０３に一時的に記憶され、表示制御部１０８により読み出されて表示部１０９に表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。

撮影待機状態で、ユーザが操作入力部１１２の動画記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部１０１は撮影開始の制御信号をデジタルカメラ１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１０４は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換する。制御部１０１は、撮像部により得られたデジタル画像信号を、ＲＡＭ１０３に一時的に記憶させる。そして、画像処理部１０５は、ＲＡＭ１０３に記憶された複数のデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて実行する。そして、画像処理部１０５は処理された複数のデジタル画像信号を動画の各フレーム画像とした動画データを生成し、制御部１０１は、生成した動画データをＲＡＭ１０３に送信する。ここで、符号化方式によってはフレーム内予測やフレーム間予測等の処理を実行するため、複数のフレームの画像信号を用いて符号化処理が実行されることもある。

一方、音声入力部１０６は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号をＲＡＭ１０３に一時的に記憶させる。音声処理部１０７は、ＲＡＭ１０３に記憶されたデジタル音声信号のレベルの適正化処理等をして音声信号を生成し、生成した音声信号から音声データを生成する。制御部１０１は、音声処理部１０７により生成された音声データを再びＲＡＭ１０３に記憶させる。

そして、制御部１０１は、これらの動画データ、音声データをＲＡＭ１０３から順次読み出してデータストリームを形成し、記録再生部１１０に出力する。記録再生部１１０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１１１に書き込んでいく。

以上の動作を撮影中は継続する。

そして、ユーザが操作入力部１１２の動画記録終了ボタンを操作することにより撮影終了の指示信号が制御部１０１に送信されると、制御部１０１は、撮影終了の制御信号をデジタルカメラ１００の各ブロックに送信し、以下のような動作をさせるように制御する。

画像処理部１０５、音声処理部１０７は、それぞれ動画データ、音声データを生成し終えると動作を停止する。そして、制御部１０１は、ＲＡＭ１０３に記憶されているこれらの最後の動画データ、音声データ、についても同様に、データストリームを形成し、記録再生部１１０に出力する。

記録再生部１１０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１１１に書き込んでいく。そして、データストリームの供給が停止したら、制御部１０１はサムネイルを生成するために以下のような動作をさせるように制御する。

動画ファイルを示すサムネイル画像としての静止画データを生成する場合には、制御部１０１は、記録媒体１１１に記録した動画ファイルの動画データから先頭フレームの画像を復号するために必要なデータを読み出すように記録再生部１１０を制御する。そして、読み出された先頭フレームの画像データを画像処理部１０５に送信する。画像処理部１０５は、得られた画像データの画像に静止画圧縮を行いサムネイル用の静止画データを生成する。そして、制御部１０１はサムネイル画像データをＲＡＭ１０３に一時的に記憶し、所定のタイミングで記録再生部１１０に出力する。記録再生部１１０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、サムネイル画像データを、基となる動画ファイルに関連づけて記録媒体１１１に書き込み、動画ファイルを完成させる。

制御部１０１は、記録動作が停止すると、撮影待機状態に移行させるように制御信号をデジタルカメラ１００の各ブロックに送信して、撮影待機状態に戻る。

次に、再生モードについて説明する。操作入力部１１２により再生モードが設定されると、制御部１０１は、再生状態に移行させるように制御信号をデジタルカメラ１００の各ブロックに送信し、以下のような動作をさせる。

記録再生部１１０は、記録媒体１１１に記録された静止画データからなる静止画ファイル、または動画データと静止画データとからなる動画ファイルを読み出す。制御部１０１は読み出された静止画データ、あるいは動画データ及び静止画データを、画像処理部１０５及び音声処理部１０７に送る。

画像処理部１０５及び音声処理部１０７は、静止画データ、あるいは動画データ及び静止画データを一時的にＲＡＭ１０３に記憶させ、所定の手順で復号する。そして制御部１０１は、復号化した音声信号を不図示の音声出力部へ、復号化した画像信号を不図示の映像出力部や表示制御部１０８に送信する。表示制御部１０８は、入力された画像信号にかかる映像を表示部１０９に表示させ、不図示の音声出力部は、入力された音声信号にかかる音声を内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。

本実施形態のデジタルカメラは以上のように、静止画、動画の記録再生を行う。

（ムービーダイジェストモード処理）
ここで、本実施形態のデジタルカメラ１００に係る、ムービーダイジェストモードが設定された際の処理の流れについて、図２のタイミングチャートおよび、図３のフロー図を用いて概要を説明する。図３のフロー図は、ムービーダイジェストモードに設定されたときをスタートとするフロー図であり、制御部１０１がデジタルカメラ１００の各部を制御することにより、実行される処理である。なお、本実施形態において、動画データを順次追記していくか否かは、デジタルカメラ１００の起動時に、制御部１０１が、記録再生部１１０より、最後にムービーダイジェストモードで撮影された動画ファイルを読み出して撮影された日付の情報を確認する。読み出された動画ファイルが当日に撮影されたものであれば、追記するものとし、異なる日に撮影されたものであれば、追記しないものとする。ムービーダイジェストモードにおいて撮影された動画は、たとえばムービーダイジェストモードで撮影された動画であることを示すための識別子「ＭＤＧ」に３桁の整数を順次数字をインクリメントしたファイル名とする。このようにすることで、記録媒体１１１に記録されている識別子ＭＤＧを含む数字のもっとも大きい動画が最後に撮影されたものであることが容易に識別可能である。追記するか否かの条件については後述するが、確認は、デジタルカメラ１００の起動時または、ムービーダイジェストモードへの切り替え時等に行う。

また、本実施形態においては、サムネイル画像の生成は、静止画撮影の指示が入力される毎に生成される物として説明する。この場合、追記した動画ファイルには複数のサムネイル画像が関連づけられることになる。しかし、追記する場合にはサムネイル画像を生成せずに、新規に動画ファイルを生成する場合にのみ、サムネイル画像を生成するようにしても良い。

デジタルカメラ１００がムービーダイジェストモードに設定されて起動されると、制御部１０１は、デジタルカメラ１００の各部を制御し、以下の動作を実行させる。まず、撮像部１０４は、得られたデジタル画像信号をＲＡＭ１０３に送信する。そうすると、表示制御部１０８は、ＲＡＭ１０３に記憶されたデジタル画像信号を読み出して表示部１０９に表示させる（２０１）。本実施形態においては、この表示を「スルー画像表示」とする。さらに、画像処理部１０５は、ＲＡＭ１０３に記憶されたデジタル画像信号を順次読み出して動画データを生成するための符号化処理を行う（２０２、Ｓ３０１）。なお、本実施形態では動画記録用の符号化方式については説明を省略するが、符号化方式によってはフレーム内予測やフレーム間予測等の処理を実行するため、複数のフレームの画像信号を用いて符号化処理が実行されることもある。またこのとき制御部１０１は音声処理部１０７に、入力されたデジタル音声信号に対して種々の調整処理を適用した後、予め設定された音声用の符号化方式に従って符号化処理を実行し、得られた符号化された音声信号をＲＡＭ１０３に記憶させる。そして、画像処理部１０５は、符号化された動画データと音声データをＲＡＭ１０３記憶していく（Ｓ３０２）。以後の説明では、音声データについては説明を省略するが、動画データとともに処理されるものとする。

本実施形態のデジタルカメラ１００は、ＲＡＭ１０３には、常に直前の予め定められた時間分の動画データが記憶されるようにＲＡＭ１０３に記憶されている動画データのうち、予め定められた時間より前に撮像された動画データを削除するようにしている。そのため、制御部１０１は、所定時間分以上の動画データがＲＡＭ１０３に記憶されたか否かを判定し（Ｓ３０３）、所定時間以上記憶されている場合（Ｓ３０３で、Ｙｅｓ）、所定時間よりも過去の時点で撮影された画像を示す動画データを破棄するようにしている。削除するデータのサイズは符号化単位で規定されるため、符号化方式によっては当該削除するデータのサイズをフレームまたは再生時間として決定することもできる。また、所定時間以上記憶されていない場合（Ｓ３０３で、Ｎｏ）、動画データの破棄を行わない。そして、制御部１０１は、静止画撮影の指示が操作入力部１１２から入力されたか否かを判定し（Ｓ３０５）、静止画撮影の指示が入力されていない場合（Ｓ３０５でＮｏ）、再びＳ３０１に戻り、動画データの生成処理、一時記憶を継続する。

なお、本実施形態では常に直前の予め定められた時間分の動画データがＲＡＭ１０３には記憶されるものとして説明するが、本発明の実施はこれに限らない。即ち、ＲＡＭ１０３に記憶される動画データのサイズは定量可能なものであればよく、例えばフレーム数、ＧＯＰ数（Group Of Pictures）、データサイズ等で規定される、予め定められた量であってよい。つまり、ＲＡＭ１０３に記憶されている動画データは、当該動画データのサイズが予め定められたサイズ以上となった場合に、当該予め定められたサイズ未満のサイズとなるまで、動画データのフレームのうちの撮影時刻が古いフレームから順に削除されるようにしてもよい。

一方、静止画撮影の指示が入力された場合（Ｓ３０５でＹｅｓ）、制御部１０１は、撮像部１０４に静止画データ用の撮影を実行させる（２１０、Ｓ３１０）。制御部１０１は、このとき並行して画像処理部１０５に、ＲＡＭ１０３に記憶されている動画データの先頭フレームの画像を復号させ、サムネイル画像生成処理を実行させる（２１１、Ｓ３１１）。なお、本実施形態では記録される動画データのサムネイル画像は先頭フレームの画像から生成されるものとして説明するが、本発明の実施はこれに限らず、記録される動画データのフレームのうちのいずれかのフレームの画像から生成されればよい。すなわち、静止画撮影の指示があったときに、ＲＡＭ１０３に記憶されている動画データのいずれかのフレームを用いたサムネイル画像が生成されればよい。このようにすることで、一度動画データの記録媒体へのファイル記録が終了してから、記録媒体から動画ファイルを読み出したりすることなく、動画データのサムネイルを生成することができるので、処理が早くなる。なお、静止画の撮影指示がなされたと判断した場合、制御部１０１は更なる静止画の撮影指示がなされても、指示を受け付けないよう制御する。

次に、制御部１０１は、画像処理部１０５によるサムネイル画像生成処理が完了したか否かを判定し（Ｓ３１２）、処理が完了している場合には、次に、Ｓ３１０（２０１）で撮影されたデジタル画像信号を静止画データとするべく、画像処理部１０５に、現像処理、符号化処理を順次実行させる（Ｓ３２０、２２０、２２１）。このとき、制御部１０１は並行して、サムネイル生成処理で生成されたサムネイル画像をＲＡＭ１０３に一時記憶されている符号化済みの動画データのヘッダ情報に含めて、記録媒体１１１に記録する（Ｓ３２１、２２２）。ここで、静止画の現像処理（Ｓ３２０、２２０）とは、撮影時に各画素に対してその周辺画素から足りない色情報を集め与えることで色情報を補完し、フルカラー画像を作り出す「デモザイク」処理等を含む処理で、このほかに、ガンマ補正、ホワイトバランス調整などの処理を含んでも良い。
制御部１０１は、前述した現像処理２２０が終了すると、現像したデジタル画像データを再びＲＡＭ１０３に記憶させ、表示制御部１０８に読み出させて、表示部１０９に表示させる（２２３）。これは、一般にデジタルカメラで撮影を行った直後に表示部１０９に、撮影画像を表示させる、所謂「レックレビュー」表示である。ちなみに、静止画撮影の指示がなされてから静止画の現像処理が終了するまでの間、表示部１０９には、何の画像も表示されておらず、黒画像が表示されている。また、代わりに「処理中」などの状態をユーザに提示するための表示をさせても良い。

また、現像処理（２２０）が終了すると、制御部１０１は、予め設定された静止画記録用の符号化方式に従って画像処理部１０５に符号化処理を実行させる（２２１）。次に制御部１０１は、静止画の現像処理（２２０）、符号化処理（２２１）が終了したか否かを判定する（Ｓ３２２）。静止画の符号化処理が終了したと判定すると、（Ｓ３２２でＹｅｓ）、制御部１０１は、生成された静止画データを記録再生部１１０に送り、記録媒体１１１に記録させる（Ｓ３２３、２２４）。そして、ユーザが操作入力部１１２を操作してダイジェストムービーモードを抜ける指示をしていないかぎり（Ｓ３２４でＮｏ）、制御部１０１は、静止画の記録と並行して、動画の撮影、符号化処理（Ｓ３０１、２２５）を開始する。このとき、制御部１０１は、表示制御部１０８に、ＲＡＭ１０３に記憶されたデジタル画像信号を読み出させ、再びスルー画像を表示部１０９に表示させる。

本実施形態では、図２に示すように、動画データのサムネイル生成処理を、動画データ記録前に、ＲＡＭ１０３に記憶されている動画データから生成している。このようにすることで、記録媒体１１１に動画データを一端記録した後に、再び再生して、サムネイルを生成するよりも早く次の符号化処理２２５を開始できる。従って、次の撮影までの時間を短くすることができる。図２において、斜線で示されるブロックは、画像処理部１０５によって処理される項目である。このように、画像処理を時分割で最適なタイミングで行うことができるので、次の撮影までの時間を短くすることができる。

本実施形態において、同日にダイジェストムービーモードで撮影された動画を追記して一つのファイルとする場合には、例えば図４に示すように、同一の撮影日を有する静止画データＰ１、Ｐ２、及びＰ３は記録媒体１１１の１つのフォルダに記録され、各静止画の撮影直前にＲＡＭ１０３に記憶された動画データは同じフォルダに１つの連結された動画ファイルとして記録される。また、静止画データＰ１とは異なる撮影日を有するＰ４及びＰ５は、静止画データＰ１が記録されたフォルダとは異なるフォルダに記録されるものとする。このとき、静止画データＰ４の撮影直前にＲＡＭ１０３に記憶された動画データが、当該動画データの途中で撮影日が変更された場合であっても、静止画データＰ４の撮影日と同一のフォルダに記録されるように制御するものとする。

また、本実施形態では、静止画撮影の指示が入力される毎に、動画データに対応するサムネイル画像を生成するものとして説明したが、たとえばＰ１の静止画データの撮影時に生成される動画データＭ１に対応するサムネイルは生成し、追記されるＭ２、Ｍ３の動画データのサムネイル画像を生成しないようにしても良い。このようにすると、動画ファイル１つについて、サムネイル画像を１つとすることができる。

また、本実施形態では、追記不可能と判断する条件は、例えば次のような条件とすればよい。
・対象の動画ファイルに保護属性が設定されている
・追記後の動画ファイルのデータサイズが記録媒体１１１のファイルシステムで定められた上限データサイズを超える
・対象の動画ファイルが符号化単位で構成されていない
・対象の動画ファイルの地域設定が、デジタルカメラ１００に設定されている地域設定と異なる
・対象の動画ファイルがデジタルカメラ１００で撮影された動画ではない
・対象の動画ファイルのフレームレート、画素数、符号化方式、音声サンプリングレート及びチャンネル数、及びビット深度のいずれかが、追記する動画ファイルと異なる
・対象の動画ファイルが壊れている

なお、本実施形態では上述の７つの条件を追記不可能と判断する条件として説明するが、本発明の実施はこれに限らないことは容易に理解されよう。即ち、本発明は、ムービーダイジェストモードで撮影された動画を連結する処理を含めなくてもよいし、含める場合であっても上述の７つの条件に限らず、他の条件や上述した条件のいずれか１つ以上を用いて判断を行ってもよい。

また、本実施形態では関連付けられた静止画が同一の撮影日（同一の撮影時刻を含む所定期間）の属性を有する動画データを１つの動画ファイルに連結して記録するものとして説明したが、本発明の実施がこれに限らないことは同様に理解されよう。

以上説明したように、本実施形態の撮像装置は、静止画とともに動画を記録する場合に、次に撮影可能になるまでの時間を短縮することができる。具体的には撮像装置は、符号化処理を実行可能な画像処理手段と、動画データを一時的に記憶する記憶手段を備える。撮像装置は撮影指示がなされる前に、動画を撮像し、当該動画に対して画像処理手段により符号化処理を適用させることにより生成された動画データを記憶手段に記憶させる。そして撮影指示がなされると、記憶手段に記憶されている動画データを記録媒体に記録する前に、静止画の撮像処理とともに、記憶手段に記憶されている動画データのうちの１つのフレームを読み出す。そして画像処理手段により符号化処理を適用させることにより動画データのサムネイル画像を生成する。さらにサムネイル画像の生成完了後、撮像された静止画に対して画像処理手段により符号化処理を適用させて静止画データを生成させるとともに、記録媒体に動画データと当該動画データのサムネイル画像とを記録する。

このようにすることで、複数の画像の画像処理が同時に実行できない撮像装置であっても、記録用の静止画の撮像処理の間に、記録媒体への動画の記録処理、及び記録媒体からの動画のフレームを読み出す必要なく、動画のサムネイル画像を生成できる。即ち、動画の撮影中に静止画の撮影指示に応じて、静止画の撮像処理とサムネイル画像の生成処理が実行され、サムネイル画像の生成処理後に静止画にかかる画像処理をすぐに実行できるため、次に撮影可能になるまでの時間を従来技術に比べて短縮できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 被写体を撮像し、デジタル画像信号を取得する取得手段と、
   前記デジタル画像信号に静止画用の符号化処理を施した静止画データを生成する、または、複数の前記デジタル画像信号を各フレーム画像とした動画用の符号化処理を施した動画データを生成する画像処理手段と、
   前記画像処理手段により生成された静止画データまたは動画データを一時的に記憶する記憶手段と、
   前記記憶手段に記憶された静止画データまたは動画データを記録媒体に記録する記録手段と、
   前記取得手段、前記画像処理手段、及び前記記録手段を制御する制御手段とを有し、
   前記制御手段は、所定のモードにおいて、
   前記取得手段により取得されたデジタル画像信号から動画データを生成するよう前記画像処理手段を制御し、生成された当該動画データを前記記憶手段に記憶させるように制御し、
   静止画撮影の指示に応じて、
   前記静止画撮影の指示が入力されるまでに前記記憶手段に記憶された前記動画データの１つのフレームの画像から当該動画データのサムネイル画像を生成するように前記画像処理手段を制御するとともに、被写体を撮像してデジタル画像信号を取得するように前記取得手段を制御し、
   前記サムネイル画像の生成処理が終了したことに応じて、前記静止画撮影の指示に応じて前記取得手段により取得されたデジタル画像信号から静止画データを生成するように前記画像処理手段を制御するとともに、前記記憶手段に記憶された動画データと、生成された前記サムネイル画像とを前記記録媒体に記録するように前記記録手段を制御し、
   前記静止画データの生成が終了したことに応じて、当該生成された静止画データを前記記録媒体に記録するように前記記録手段を制御する
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記静止画データの生成が終了したことに応じて、当該生成された静止画データを記録媒体に記録するように前記記録手段を制御するとともに、前記取得手段により取得されたデジタル画像信号から動画データの生成を再び開始するように前記画像処理手段を制御することを特徴とする請求項１記載の撮像装置。
3. 前記制御手段は、前記静止画撮影の指示を受け付けた後、前記静止画データの生成が終了するまで更なる静止画撮影の指示を受け付けないことを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記記憶手段に記憶されている動画データが、予め定められたサイズ以上の場合は、当該予め定められたサイズ未満のサイズまで、前記動画データのフレームを撮像された時刻が古いものから順に削除することを特徴とする請求項１から３のいずれか１項記載の撮像装置。
5. 前記予め定められたサイズは、前記記憶手段に記憶されている動画データの再生時間、ＧＯＰ（Group Of Pictures）数、フレーム数、及びデータサイズの少なくともいずれかにより定められることを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記静止画データの生成が終了した後、当該静止画データを前記記録媒体に記録された動画データに関連付けて前記記録媒体に記録させるように前記記録手段を制御することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記静止画撮影の指示に応じて撮像された静止画と同一の撮影日の情報を含む所定期間に撮像された静止画データに関連付けられた動画データが前記記録媒体に記録されている場合に、前記動画データのサムネイル画像の生成を行わず、当該同一の撮影日に撮像された静止画データに関連付けられた動画データに、前記記憶手段に記憶されている動画データを連結させて記録させるように前記記録手段を制御することを特徴とする請求項６に記載の撮像装置。
8. 被写体を撮像し、デジタル画像信号を取得する取得手段と、
   前記デジタル画像信号に静止画用の符号化処理を施した静止画データを生成する、または、複数の前記デジタル画像信号を各フレーム画像とした動画用の符号化処理を施した動画データを生成する画像処理手段と、
   前記画像処理手段により生成された静止画データまたは動画データを一時的に記憶する記憶手段と、
   前記記憶手段に記憶された静止画データまたは動画データを記録媒体に記録する記録手段と、
   前記取得手段、前記画像処理手段、及び前記記録手段を制御する制御手段とを有する撮像装置の制御方法であって、
   前記制御手段は、所定のモードにおいて、
   前記取得手段により取得されたデジタル画像信号から動画データを生成するよう前記画像処理手段を制御し、生成された当該動画データを前記記憶手段に記憶させるように制御し、
   静止画撮影の指示に応じて、
   前記静止画撮影の指示が入力されるまでに前記記憶手段に記憶された前記動画データの１つのフレームの画像から当該動画データのサムネイル画像を生成するように前記画像処理手段を制御するとともに、被写体を撮像してデジタル画像信号を取得するように前記取得手段を制御し、
   前記サムネイル画像の生成処理が終了したことに応じて、前記静止画撮影の指示に応じて前記取得手段により取得されたデジタル画像信号から静止画データを生成するように前記画像処理手段を制御するとともに、前記記憶手段に記憶された動画データと、生成された前記サムネイル画像とを前記記録媒体に記録するように前記記録手段を制御し、
   前記静止画データの生成が終了したことに応じて、当該生成された静止画データを前記記録媒体に記録するように前記記録手段を制御する
   ことを特徴とする撮像装置の制御方法。

Images