JP6278712B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

従来、単板式カラー撮像センサを用いる撮像装置では、撮像センサによって得られる画像情報（ＲＡＷ画像）にいわゆる現像処理を適用し、現像処理された輝度信号及び色差信号を圧縮符号化してＪＰＥＧ形式で記録媒体に記録するのが一般的である。現像処理には、各画素について色補間処理を行って輝度と色差から成る信号を生成するデモザイク処理、信号に対するノイズ低減処理、ホワイトバランス処理、光学的な歪を補正する処理、画像の適正化処理などが含まれるが、これらに限定されない。

一方、ＲＡＷ画像を記録できる撮像装置も存在する（特許文献１）。ＲＡＷ画像はＪＰＥＧ形式などと比較して記録に必要なデータ量が膨大になるが、画質の劣化を最低限に抑えながら柔軟な後編集が可能であるという利点がある。

特開２０１１−２４４４２３号公報

ＲＡＷ画像はもともと撮像装置内でのみ用いられていたため、撮像装置のメーカ毎の独自形式であり、互換性がない。そのため、一般的な装置で画像を確認できるようにするためには、ＲＡＷ画像を現像処理し、ＪＰＥＧ等の汎用形式の画像を生成することが必要となる。しかし、近年では、撮像センサの画素数が増大し、現像処理に必要な処理量が相乗的に増大している。そのため、撮影と並行してリアルタイムに現像処理を行うには、高速に処理するための回路が必要となり、回路規模の増大や消費電力の増加につながる。

一方、ＲＡＷ画像だけを記録しておき、必要になった際に現像処理を実施して再生するようにすることも考えられるが、上述のようにＲＡＷ画像は汎用性が無いため、異なるメーカの機器などでは現像処理ができないという問題がある。

本発明の目的は、高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な撮像装置およびその制御方法を提供することにある。

上述の目的は、撮影指示に応答して被写体像のＲＡＷ画像データを生成する撮像手段と、ＲＡＷ画像データに対して第１の現像処理または第１の現像処理よりも高画質な画像が得られる第２の現像処理を行って画像データを生成する現像手段と、現像手段により生成された画像データを符号化して符号化画像データを生成する符号化手段と、ＲＡＷ画像データのデータ量、もしくはＲＡＷ画像データに対して第１の現像処理を行って生成された画像データから符号化手段で生成された第１の符号化画像データのデータ量に基づいて、ＲＡＷ画像データに対して第２の現像処理を行って生成された画像データから符号化手段で生成される第２の符号化画像データのデータ量を見積もる見積もり手段と、記録媒体にデータを読み書きする記録手段と、ＲＡＷ画像データとＲＡＷ画像データに対応する第１の符号化画像データを記録媒体に書き込むように記録手段を制御し、記録媒体に書き込まれたＲＡＷ画像データに対応する第２の符号化画像データを生成するように現像手段および符号化手段を制御し、第２の符号化画像データを記録媒体に書き込むように記録手段を制御する制御手段と、を有し、制御手段は、見積もり手段が見積もったデータ量に基づいて、記録媒体に書き込まれたＲＡＷ画像データに対応する第２の符号化画像データを書き込むための領域を記録媒体に確保し、確保した領域に第２の符号化画像データを書き込むように、記録手段を制御することを特徴とする撮像装置によって達成される。

本発明によれば、高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な撮像装置およびその制御方法を提供することができる。

第１の実施形態に係る撮像装置の構成例を示すブロック図 実施形態に係る撮像装置の静止画撮影モードにおける動作を説明するためのフローチャート 実施形態における静止画ファイルとＲＡＷファイルの構成例を示す図 実施形態に係る撮像装置のアイドル状態における動作を説明するためのフローチャート 実施形態における簡易現像前後の画像データ量の関係例を示す図 第１の実施形態に係る撮像装置における、後現像処理前後の管理情報と記録媒体上のファイルの配置との関係例を示す図 実施形態における静止画圧縮部の動作を説明するためのフローチャート 第２の実施形態に係る撮像装置の構成例を示すブロック図 第３の実施形態の静止画圧縮部の動作を説明するためのフローチャート 第３の実施形態の静止画圧縮部が行う見積もりデータ量の修正方法の例を説明するための図 第４の実施形態に係る撮像装置における、後現像処理前後の管理情報と記録媒体上のファイルの配置との関係例を示す図 第５の実施形態に係る撮像装置の構成例を示すブロック図 第５の実施形態に係る撮像装置における、後現像処理前後の管理情報と記録媒体上のファイルの配置との関係例を示す図 実施形態に係る撮像装置の撮像センサ部における画素配列の例を示す図

●（第１の実施形態）
以下、添付図面を参照しながら、本発明の例示的な実施形態を詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の機能構成例を示すブロック図である。これらの機能ブロックは、ＡＳＩＣなどの専用ハードウェアによって実現されてもよいし、ＭＰＵ等の汎用プロセッサがプログラムを実行することによりソフトウェア的に実現されてもよい。

図１に示した撮像装置１００は、被写体像を撮像して得られた画像データを記録媒体に記録するだけでなく、画像データを記録媒体から再生し、現像処理して表示する機能や、画像データを外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することもできる。

図１において、制御部１６１は、ＣＰＵ、ＭＰＵなどのプログラマブルプロセッサと、プログラマブルプロセッサが実行する制御プログラムを格納する不揮発性メモリを含み、撮像装置１００の全体の処理を制御する。なお、図１では煩雑さを避けるために一部しか記載していないが、制御や通信を行うための信号線が制御部１６１から各機能ブロックに接続されている。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、制御部１６１は検出した操作に応じた動作が実行されるように他の機能ブロックなどを制御する。表示部１２３は、表示処理部１２２を通じて提供される、撮像装置１００で撮影もしくは再生された画像や、メニュー画面、各種情報等を表示する。表示部１２３は例えば液晶ディスプレイ（ＬＣＤ）等を含む。

撮像対象となる被写体像は、撮像光学部１０１を介して撮像センサ部１０２上に結像する。操作部１６２による撮影開始の指示に応答して制御部１６１は撮影および記録動作を開始させる。なお、撮影スタンバイ時にライブビュー表示を実現するための動画撮影を行うように構成してもよい。撮像光学部１０１及び撮像センサ部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１からの被写体情報に基づいて、制御部１６１によって制御される。

撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであってよい。図１４は、撮像センサ部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図１４に示すように、赤（Ｒ）１６０３、緑（Ｇ）１６０１、青（Ｂ）１６０２が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このようなカラーフィルタの配列は、一般に原色ベイヤー配列と呼ばれる。本実施形態の撮像センサ部１０２は、横８０００画素×縦４０００画素の画像データを６０フレーム毎秒で出力する能力を有するものとする。なお、カラーフィルターを構成する色や配列は原色ベイヤー配列に限定されず、他の任意の配列を採用することができる。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像データを、未現像の画像を意味するＲＡＷ画像データという。

センサ信号処理部１０３から出力されたＲＡＷ画像データは、現像部１１０で現像処理される。現像部１１０は、複数（本実施形態では２つ）の異なる現像処理部を有し、それぞれ、処理精度と処理負荷の優先度が異なっている。本実施形態では、第１の現像処理を行う簡易現像部１１１と、第２の現像処理を行う高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理もしくは色補間処理とも呼ばれる）、ホワイトバランス調整、ＲＧＢ→ＹＵＶ変換、ノイズ低減、光学歪の補正などの現像処理を行う。なお、これらは現像処理に含まれる処理の例示であり、これらの全てが現像処理に必須であることを意味しない。他の処理が含まれてもよいし、一部が含まれなくてもよい。

高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行う。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きい。他方、簡易現像部１１１は、ＲＡＷ画像データの１画面の画素数を、横２０００画素×縦１０００画素に縮小する。更に、簡易現像部１１１は、高画質現像部１１２よりも処理の精度が低いため、得られる画質は高画質現像部１１２よりも低いものの、撮影中に高速に現像処理を行うことができる。例えば、簡易現像部１１１は、デベイヤー処理やその他の補正処理のために用いるフィルタのタップ数が、高画質現像部１１２よりも少ない。このように、簡易現像部１１１は、ＲＡＷ画像データよりも画素数が少ない画像データを処理し、更に、処理自体も簡易的に行うことで、処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成としてもよい。また、複数の現像部は互いに処理負荷が異なればよく、処理する画像のサイズと処理精度の両方を下げることは必須ではない。例えば、処理する画素数は同一であるが、処理精度が異なっている現像部や、処理精度は同一であるが処理する画素数が異なっている現像部が含まれていてもよい。ただし、撮影された画像の現像処理が、次の画像の撮影開始までに完了できる現像部が少なくとも１つ含まれるようにする。

なお、図１ではセンサ信号処理部１０３からのＲＡＷ画像データが現像部１１０の中の簡易現像部１１１と高画質現像部１１２に入力されるように図示しているが、これは同一のＲＡＷ画像データに対して両方の現像部で現像処理を行うことを意味していない。処理負荷の観点から、基本的には１つの現像部だけが現像処理を実行する。従って、ＲＡＷ画像データが入力される現像部を切り替えるようにスイッチ部１２１が設けられても良い。

現像部１１０によって現像処理された画像データは、表示処理部１２２によって所定の処理がなされた後、表示部１２３にて表示される。また、現像処理された画像データは、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給される。評価値算出部１０５は、画像データから例えばフォーカス状態や露出状態などの評価値を算出する。これらの評価値は例えば制御部１６１による自動焦点検出や自動露出制御に用いられる。

現像部１１０によって現像処理された画像データは、認識部１３１にも供給される。認識部１３１は、画像データ中の被写体情報を検出及び認識する機能を有する。認識部１３１は例えば、画像データによって表される画像に含まれる人物の顔を検出し、検出された場合は顔の位置や大きさなどを示す情報を出力する。認識部１３１はさらに顔などの特徴情報に基づいて特定の人物の認証などを行ってもよい。

現像部１１０によって現像処理された画像データは、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像データを静止画として圧縮する場合は、静止画圧縮部１４１を用いる。符号化手段としての静止画圧縮部１４１は、ＪＰＥＧ等の公知の符号化方式に従い静止画データを符号化する。画像データを動画として圧縮する場合は、動画圧縮部１４２を用いる。動画圧縮部１４２は、Ｈ．２６４、Ｈ．２６５等の公知の符号化方式に従って動画データを符号化する。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像データを高能率符号化（圧縮符号化）し、情報量が圧縮された画像データを生成して、記録再生部１５１に送る。また、静止画圧縮部１４１及び動画圧縮部１４２は、符号化された静止画データ、或いは動画データのデータ量を記録媒体管理部１７２へと通知する。

また、静止画圧縮部１４１は、簡易現像部１１１からの静止画データを圧縮した場合、圧縮後の静止画データ量をデータ量見積もり部１７１に通知する。データ量見積もり部１７１は、同じＲＡＷ画像データを、記録時よりも品質よく現像処理（ここでは高画質現像部１１２を用いて現像処理）して静止画圧縮部１４１で圧縮した場合のデータ量を推定する。データ量見積もり部１７１の動作の詳細については後述する。

データ量見積もり部１７１は、見積もったデータ量を記録媒体管理部１７２と静止画圧縮部１４１へと通知する。また、データ量見積もり部１７１は、データ量を見積もったＲＡＷ画像データが高画質現像部１１２で現像処理され、静止画圧縮部１４１で符号化されるまで、見積ったデータ量を例えばバッファ部１１５に保持しておくことができる。静止画圧縮部１４１は、高画質現像部１１２からの出力を符号化する際に、データ量見積もり部１７１から通知されたデータ量に応じた符号化を行うことができる。詳細は後述する。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３から出力されたＲＡＷ画像データにウエーブレット変換や、差分符号化等を適用し、データ量を削減した圧縮ＲＡＷデータを生成する。ＲＡＷ圧縮部１１３は、圧縮ＲＡＷデータをバッファ部１１５に格納する。バッファ部１１５はメモリやＨＤＤなど、任意の記憶装置であってよい。また、ＲＡＷ圧縮部１１３は、圧縮ＲＡＷデータのデータ量を記録媒体管理部１７２へと通知する。圧縮ＲＡＷデータは、バッファ部１１５に保存しておいてもよいし、格納後にさらに別の記録媒体に移動させてバッファ部１１５から削除してもよい。

記録再生部１５１は、静止画圧縮部１４１からの静止画データや、動画圧縮部１４２からの動画データを記録媒体１５２に記録する。また記録再生部１５１は、バッファ部１１５から読み出したＲＡＷデータの状態の静止画および動画データを、圧縮後の静止画並びに動画データとは別個のＲＡＷファイルとして記録媒体１５２に記録する。また記録再生部１５１は、記録媒体１５２に記録されたデータを、ＦＡＴ等の公知のファイルシステムに従いファイルとして管理する。記録媒体１５２は、例えば内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。また、記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイル（静止画、動画）を読み出すこともできる。また、記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種データファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を通じ、無線通信や有線通信によりコンピュータネットワークや外部機器へのアクセスを撮像装置１００に提供する。

管理手段としての記録媒体管理部１７２は、記録再生部１５１により記録媒体１５２に記録されるファイルの記録領域を管理する管理情報を生成する。また、記録媒体管理部１７２は、静止画圧縮部１４１や動画圧縮部１４２から通知されたＲＡＷ画像データ、静止画データ、又は動画データのデータ量と、データ量見積もり部１７１からの見積データ量とを用いて管理情報を更新し、記録媒体１５２の記録領域を管理する。そして、記録媒体１５２における、各ファイルの記録アドレスを記録再生部１５１へと通知する。

記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮ＲＡＷデータを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷデータは、現像部１１０の簡易現像部１１１、高画質現像部１１２に供給される。

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２２に供給する。表示処理部１２２で処理された静止画や動画は、表示部１２３で表示される。

次に、図２に示すフローチャートを用いて、撮像装置１００の撮影モードにおける動作について説明する。図２のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

制御部１６１は撮像装置１００の処理負荷状態が低いか否かを判定し（Ｓ３０１）、負荷状態に応じてアイドル状態（Ｓ３２０）へ遷移し、そうでなければＳ３０２へ進む。負荷状態は制御部１６１が有するＣＰＵの稼働率や、予め定められた高負荷の動作、例えば高速連写動作が行われているかどうかなどに応じて判別することができるが、これらに限定されない。アイドル状態に遷移する程度に処理負荷が低くない場合、制御部１６１は処理をＳ３０２へ進める。なお、アイドル状態へ遷移するかどうかの判定処理については後述する。

Ｓ３０２において制御部１６１は、撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、制御部１６１は、操作部１６２を通じたユーザのズーム指示や撮影準備指示に従って、撮像光学部１０１に含まれるズームレンズやフォーカスレンズを移動させたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域を設定したりする。また、制御部１６１は、評価値算出部１０５からの評価値の情報や認識部１３１からの被写体情報に基づいて、特定被写体に対する合焦や追尾などの制御を実現する。Ｓ３０２では、所定のフレーム周期に応じた撮影条件で撮影が実施される。

Ｓ３０３では、撮像センサ部１０２によって変換された電気信号に対して、センサ信号処理部１０３が画素の修復のための信号処理を施す。例えば、センサ信号処理部１０３は、撮像素子の欠落画素に対応する電気信号や、信頼性の低い画素の電気信号に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。

Ｓ３０４において、簡易現像部１１１がＲＡＷ画像データを現像処理する。なお、制御部１６１は、遅くともＳ３０４の開始時までに、現像部１１０から簡易現像部１１１で現像処理された画像データが出力されるようにスイッチ部１２１の状態を制御する。

簡易現像部１１１は、ＲＡＷ画像データの画素数を前述のように削減し、画像を縮小する。そして、簡易現像部１１１は、縮小ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）して各画素に不足している色信号を生成したのち、輝度と色差から成る信号へ変換する（ＲＧＢ→ＹＵＶ変換）。さらに簡易現像部１１１は、各信号に含まれるノイズを除去したり、撮影光学系の光学歪（収差）を補正したり、ホワイトバランスを調整したりする。上述の通り簡易現像部１１１は、画素数を削減してから現像処理したり、ノイズ除去や光学歪補正を処理速度を優先した処理で行ったり省いたりすることで、現像処理の負荷（処理速度や消費電力）が撮像装置１００の撮影能力に与える制限を軽減または除去する。簡易現像部１１１を用いることで、例えば、高画質現像部１１２を用いた場合には不可能な高速連写速度や連続撮影枚数などを実現することができる。

簡易現像部１１１で現像処理された画像データは、スイッチ部１２１を通じて評価値算出部１０５に供給される。評価値算出部１０５は、画像データに含まれる輝度値やコントラスト値などから撮像光学部１０１の合焦状態や、画像の露出状態などの評価値を所定の方法で算出する（Ｓ３０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像データに対してこれらの評価値を算出しても良い。

また、簡易現像部１１１で現像処理された画像データは、認識部１３１に供給される。認識部１３１は、画像データに対し、予め定められた特定の特徴を有する被写体（例えば人物の顔）の検出処理を適用し、被写体情報を生成する。例えば、画像データ内における顔の有無や、顔の位置や大きさ、顔に基づいて認識された個人の情報などを被写体情報として出力する（Ｓ３０６）。

また、簡易現像部１１１で現像処理された画像データは、表示処理部１２２に供給される。表示処理部１２２は、取得した画像データから表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ３０７）。表示部１２３による表示画像は例えば、撮影待機状態において、ユーザが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される評価値や被写体情報を活用して、例えば、表示画像に合焦領域や認識された顔の位置を示す枠状のマークを重畳表示したりしてもよい。

Ｓ３０８において、制御部１６１は、操作部１６２を通じてユーザから撮影指示が入力されたか判定し、撮影指示が入力された場合は処理をＳ３１０へ進め、撮影指示の入力が無かった場合はＳ３０１からの処理を繰り返す。

Ｓ３１０で制御部１６１は、撮影指示に応答して、撮像光学部１０１、撮像センサ部１０２を制御して所定の撮影条件での撮影を開始させる。ここでは、静止画撮影時の動作を説明する。撮像センサ部１０２で得られた１画面分の画像データは現像部１１０に供給されて簡易現像部１１１で現像処理されたのち、静止画圧縮部１４１に供給される。静止画圧縮部１４１は、供給された画像データに対してＪＰＥＧ符号化処理など所定の符号化処理（静止画圧縮）を施し（Ｓ３１０）、静止画データを生成する。本実施形態では、このように、撮影時において、簡易現像部１１１により現像され、静止画圧縮部１４１で符号化された静止画データを簡易静止画データ（第１の符号化画像データ）と呼ぶ。なお、符号化方法はＪＰＥＧ方式に限らず、任意のものが使用可能である。

Ｓ３１１において記録再生部１５１は、簡易静止画データを含む静止画ファイル（簡易静止画ファイル）を記録媒体１５２に記録する。

撮像センサ部１０２で得られた１画面分のＲＡＷ画像データは、さらにＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、ＲＡＷ画像データにデータ量を削減するための符号化（ＲＡＷ圧縮）処理を適用して圧縮ＲＡＷ画像データに変換する（Ｓ３１２）。圧縮ＲＡＷ画像データはバッファ部１１５に格納される。なお、ＲＡＷ画像データの符号化は可逆および不可逆符号化のいずれであってもよい。

Ｓ３１３において、記録再生部１５１は、バッファ部１１５から画像データを読み出し、（圧縮）ＲＡＷ画像データが格納されたデータファイル（ＲＡＷファイル）を記録媒体１５２に記録する。

なお、簡易静止画データの生成および記録処理（Ｓ３１０〜Ｓ３１１）と、ＲＡＷ画像データの圧縮および記録処理（Ｓ３１２〜Ｓ３１３）の少なくとも一部は並列処理されてよい。また、Ｓ３１１及びＳ３１３において、記録再生部１５１は、静止画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

なお、ここでは、Ｓ３０８で静止画の撮影指示がなされた場合について説明したが、動画の撮影指示がなされた場合も基本的には同様に処理できる。まず、Ｓ３０１〜Ｓ３０７までの処理は共通である。そして、Ｓ３１０〜Ｓ３１１で簡易動画データの生成および記録処理を、Ｓ３１２〜Ｓ３１３でＲＡＷデータの圧縮および記録処理を実施すればよい。

簡易動画データは、撮像センサ部１０２から得られるＲＡＷ画像データから構成される動画データについて、Ｓ３１０で各フレーム画像を簡易現像部１１１で現像処理し、動画圧縮部１４２で符号化して生成する。そして、Ｓ３１１で記録再生部１５１が簡易動画データを記録する。また、ＲＡＷデータについては、Ｓ３１２で各ＲＡＷ画像フレームを圧縮したデータを、Ｓ３１３でバッファ部１１５を通じて記録再生部１５１が記録する。

次に、本実施形態における静止画ファイルおよびＲＡＷファイルの構造について説明する。図３は、静止画ファイル及びＲＡＷファイルの構成例を示す図である。
図３（ａ）は静止画ファイルの構造例を示す。静止画ファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルであることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルと同時に生成された（対応する）ＲＡＷファイル（圧縮データ部４０３に格納される静止画データの元になっているＲＡＷデータが格納されたファイル）を特定する情報（例えばファイル名）４０４が含まれる。また、メタデータ部４０２には、現像ステータス４０５と、撮影メタデータ４０６が含まれる。現像ステータス４０５は、この静止画ファイルに格納されている圧縮データが簡易現像されたものかどうかを判別するための情報である。また、撮影メタデータ４０６は、評価値算出部１０５や認識部１３１が求めた評価値や被写体情報や、撮像光学部１０１や撮像センサ部１０２からの撮影時情報（例えば、絞り値、シャッタ速度、感度、レンズ種別識別情報、センサ種別識別情報など）を含む。また、図示していないが、メタデータ部４０２は、同時に生成された（対応する）ＲＡＷファイルが記録されている記録媒体の識別コードや、記録先のパス情報、データ量見積もり部１７１から通知された見積データ量などをさらに含んでも良い。これらのメタデータは、記録媒体管理部１７２から記録再生部１５１に送られて記録される。

以上説明したように、本実施形態に係る撮像装置１００は、ライブビュー表示や、撮影開始指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部１１１によって行う。また、本実施形態に係る撮像装置１００は、撮影開始指示に応答して、ＲＡＷファイルを記録する。ＲＡＷファイルを記録するために、現像処理は必要としない。

図３（ｂ）は、ＲＡＷファイル４１０の構造例を示す。ＲＡＷファイル４１０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２、圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化された静止画のＲＡＷ圧縮データが含まれている（非圧縮のＲＡＷ画像データであっても良い）。

メタデータ部４１２には、このＲＡＷファイルと同時に生成された（対応する）静止画ファイルを特定する情報（例えばファイル名）４１４が含まれる。また、対応する静止画ファイルが格納する画像データが簡易現像されたことを示す現像ステータス４１５も含まれる。また、撮影メタデータ４０６と同様の撮影メタデータ４１６が含まれる。

また、図示していないが、同時に生成された静止画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された静止画ファイルそのものをメタデータ化して、メタデータ部４１２に格納しても良い。これらのメタデータは、記録媒体管理部１７２から記録再生部１５１に送られて記録される。

なお、図３に示しここで説明したファイル構造は一例であり、ＥＸＩＦなど他の標準規格に準じた構成であっても良い。また、記録媒体１５２へのファイル記録は例えばＤＣＦに従ったファイルシステムで行うことができる。

次に、本実施形態における後現像処理の処理について説明する。後現像処理は、撮影時におけるＲＡＷ画像データと簡易静止画／動画データの記録動作を終えた後、ＲＡＷ画像データから高画質静止画／動画データを生成し、記録する処理である。具体的には、まず、バッファ部１１５又は記録媒体１５２等に記録されたＲＡＷ画像データを読み出して高画質現像部１１２で現像処理する。そして、静止画圧縮部１４１または動画圧縮部１４２において高画質な符号化画像データ（第２の符号化画像データ）を生成し、記録媒体１５２に記録する。本実施形態では、静止画および動画のＲＡＷ画像データに対して後現像処理が可能であるが、以下では静止画を例に説明する。

前述のように、撮影時に記録される簡易静止画データは、簡易現像部１１１で現像処理した後に圧縮されたものである。そのため、高画質現像部１１２で現像処理した場合と比較して画素数が少なかったり、画質が劣る。簡易静止画データは撮影内容を撮影直後に大まかに確認したり、撮像装置１００の表示部１２３のように画素数の低い表示装置に表示したりするには十分な品質であっても、画像の細部を確認したり、プリントアウトしたりするには品質が十分でない場合がある。

もちろん、ユーザがＲＡＷ画像データの高画質な現像処理を必要に応じて都度行ってもよいが、手間や時間がかかる。そのため本実施形態では撮像装置１００がアイドル状態である際に、後現像処理を自動的に実行するものとする。アイドル状態とは、撮影スタンバイ時、静止画再生時の待機状態、スリープ状態など、撮像装置１００の処理負荷が小さいと判定される状態である。なお、自動的に実施するだけでなく、ユーザからの指示によって後現像処理を開始してもよい。

撮像装置１００がアイドル状態かどうかの判定方法に特に制限は無く、一般的な処理負荷の測定方法をはじめとした任意の判定方法を用いることができる。例えば、制御部１６１が有するＣＰＵの稼働率が予め定めた閾値未満かどうかや、予め定められた高負荷の動作、例えば高速連写動作、記録・再生処理が行われているかどうかなどに応じて判別することができる。あるいは、基本的に負荷の低い処理しか発生しない動作モードが選択されていれば、無条件にアイドル状態とみなしてもよい。

続いて、図２のＳ３２０で実施するアイドル処理について、図４のフローチャートを用いて説明する。なお、アイドル処理は静止画撮影モードだけでなく、他の動作モードにおいてアイドル状態と判定された場合にも実行される。

図４のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図４においてアイドル処理が開始されると、制御部１６１が、ユーザの設定に基づいて、後現像処理を行うか否かを判定し（Ｓ５０１）、後現像処理を行わない場合はアイドル処理を終了して元の処理に復帰し、後現像処理を行う場合はＳ５２０に遷移する。

後現像処理を行う場合、制御部１６１は、記録媒体１５２に記録されている各ＲＡＷファイルについて、後現像処理により高画質静止画ファイルが記録されているか（後現像処理済みかどうか）判定する（Ｓ５２０）。例えば制御部１６１は、ＲＡＷファイル４１０の中の現像ステータス４１５を参照し、対応する静止画ファイルが簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルの後現像処理が行われていないと判定する。あるいは、制御部１６１は、ＲＡＷファイルのメタデータ部４１２に含まれる静止画ファイル名４１４を有する静止画ファイルを記録媒体１５２内で探索する。これは、静止画撮影モードで撮影されていれば、記録媒体１５２には、１回の撮影開始指示に対して静止画ファイルとＲＡＷファイルが互いに関連付けられて１つずつ記録されていることに基づく。そして、見つかった静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５を参照し、簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルに後現像処理が行われていないと判定する。あるいは、一連の静止画に対し、後現像処理の実行有無を示すテーブルを別に用意しておき、このテーブルを参照して判定するようにしても良い。

記録媒体１５２に記録されたＲＡＷファイルの全てが後現像処理済みである場合（Ｓ５２０，ＮＯ）、制御部１６１は後現像処理を行わない場合と同様、アイドル処理を終了して元の処理に復帰する。一方、記録媒体１５２に記録されているＲＡＷファイルに後現像処理が行われていないものが存在した場合、制御部１６１は処理をＳ５２１に遷移させる。

制御部１６１は、記録媒体１５２に記録されている、後現像処理が行われていないＲＡＷファイルに対応するＲＡＷ画像データが、バッファ部１１５にも記憶されているかどうか調べる（Ｓ５２１）。そして、制御部１６１は、ＲＡＷファイルがバッファ部１１５に残っていれば直接、バッファ部１１５に残っていなければＳ５２２で記録媒体１５２からＲＡＷファイルを読み出した後、処理をＳ５２３に進める。バッファ部１１５には直近に撮影されたものから予め定められた数のＲＡＷファイルが保持されている。そのため、制御部１６１は後現像処理を行うＲＡＷファイルが、記録媒体１５２に記録されているＲＡＷファイルのうち、直近に撮影されたものから予め定められた数に含まれていれば、バッファ部１１５に記憶されていることが分かる。なお、記録再生部１５１から記録時のＲＡＷファイルの情報を取得し、バッファ部１１５に記憶されているＲＡＷファイルと、記録媒体１５２に記録されているＲＡＷファイルとの対応関係を保存しておいてもよい。

なお、後現像処理が行われておらず、バッファ部１１５にないＲＡＷファイルが複数ある場合、制御部１６１はこれらのＲＡＷファイルを１つずつ読み出して後現像処理を行ってよい。あるいは、制御部１６１はバッファ部１１５に記憶可能な範囲で任意の数のＲＡＷファイルをまとめて読み出してもよい。

制御部１６１は、記録媒体１５２からＲＡＷファイルを読み出す場合、古いものから順に読みだしてバッファ部１１５に記憶する。そして、バッファ部１１５の記憶領域が一杯になった場合、最も古いＲＡＷ画像データをバッファ部１１５から削除し、新たに撮影、あるいは、記録媒体１５２から読み出されたＲＡＷ画像データをバッファ部１１５に格納する。こうすることにより、直前に撮影されたＲＡＷ画像データは常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、後現像処理を実行するようにすれば、バッファ部１１５に保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。

Ｓ５２３において、制御部１６１は後現像処理するＲＡＷ画像データをＲＡＷ伸張部１１４に供給する。ＲＡＷ伸張部１１４はＲＡＷ画像データが圧縮処理されたものであれば伸張処理してＲＡＷ画像データを復元してから、一方、圧縮処理されていなければそのまま出力する。ＲＡＷ画像データが圧縮されているものかどうかは、圧縮時に例えばＲＡＷ画像データの先頭に識別可能な情報を記録しておくことなどによって判別可能である。

ＲＡＷ伸張部１１４が出力したＲＡＷ画像データは、現像部１１０に供給される。後現像処理時には高画質現像部１１２で現像処理を行い、簡易現像部１１１では現像処理しないように制御部１６１が動作を制御する。ＲＡＷ画像データに対して高画質現像部１１２は簡易現像部１１１よりも高画質の画像が得られる現像処理を適用する（Ｓ５２４）。本実施形態では高画質現像部１１２はＲＡＷ画像データの画素数を削減しないほか、適用する現像処理の品質（精度や工程の数など）も簡易現像部１１１より高くする。しかし、高画質現像部１１２は簡易現像部１１１よりも高品質の画像が得られる画像処理を行いさえすれば、その具体的な現像処理の内容に制限は無い。例えば現像処理の内容は簡易現像部１１１と同等とし、画像の画素数を多くしてもよいし、画像の画素数は同様に削減するが、現像処理の品質を高くしてもよい。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像の画素数は、撮像センサ部１０２から読出された画素数のまま、あるいはユーザから設定された画素数となる。そのため、高画質現像部１１２からの画像データの画素数は、簡易現像部１１１から出力される画像データよりも多い。

高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を行わないことで、消費電力やコストの大きな回路の利用を回避している。

高画質現像部１１２で現像処理された画像データは、静止画圧縮部１４１に供給され、静止画圧縮部１４１は、取得した画像データに対して高能率符号化処理（静止画圧縮）を施し（Ｓ５２５）、高画質静止画データを生成する。

Ｓ５２６において、記録再生部１５１が高画質静止画データを含む静止画ファイルを記録媒体１５２に記録する。

Ｓ５２７は、アイドル状態でなくなったかどうかの判断処理であり、例えば予め定められた、アイドル状態を脱するイベントが発生したかどうかの判断処理であってよい。イベントは例えば、撮影準備指示や撮影開始指示の入力、再生処理の実行指示の入力、ＣＰＵの稼働率が閾値を超えるなどであってよい。なお、これらのイベント発生は、実際にはＳ５２７で示されるタイミングで実施するのではなく、アイドル処理中に制御部１６１がバックグラウンドで監視している。イベントの発生を検知した時点で実施中の動作を中断もしくは中止するか、静止画記録が終了するまでは実行を継続するかは予め定めておくことができる。例えば、Ｓ５２２〜Ｓ５２６のどの処理を実行中かに応じて処理を継続するか中断もしくは中止するかが異なってもよい。また、発生したイベントに応じて対応が異なってもよい。例えば撮影開始指示のようにタイムラグが問題になるイベントが発生した場合は直ちに撮影処理に移行し、再生開始指示のように緊急性がさほど高くないイベントの場合には静止画記録が終了してから再生処理に移行するようにしてもよい。

処理を中断する場合、制御部１６１は、中断した処理を次にアイドル状態になった際に再開できるように必要な情報を記憶する中断処理を行う（Ｓ５２８）。中断処理は例えば途中まで処理が終わったデータの保存や、どこまで処理が終わっているのかを示す情報の保存などを含む。一方、処理を中止する場合には、次回の処理において未処理のＲＡＷファイルの処理を行えば良いため、中断処理を実施しなくてもよい。

アイドル状態でなくなった場合、制御部１６１はアイドル処理を実行する前に実施していた動作モードとイベントに応じた処理に移行する。例えば静止画撮影モードからアイドル処理に遷移していた場合に撮影指示が入力された場合、制御部１６１は静止画撮影モードの処理をＳ３１０の撮影処理から復帰させる。

Ｓ５２６で記録処理が終了した後、アイドル状態が継続していれば、処理をＳ５２０に戻し、後現像処理が未処理のＲＡＷ画像データが残っている場合には、上述した処理を繰り返して実行する。

Ｓ５２６で記録される高画質静止画ファイルは、現像ステータス４０５が高画質現像部１１２で処理されたことを示す情報であることを除き、簡易現像部１１１で処理された画像データの静止画ファイルと同様の構成を有する。

なお、Ｓ５２６で記録される高画質静止画ファイルは、ＲＡＷファイルと同時に記録された簡易静止画ファイルと同じファイル名で記録する。これは、読み出したＲＡＷファイルのメタデータ部に含まれる静止画ファイル名を記録媒体管理部１７２から記録再生部１５１に通知することで実現できる。バッファ部１１５に残っているＲＡＷ画像データを用いる場合には、記録媒体１５２に記録された対応するＲＡＷファイルのメタデータを参照すればよい。あるいは、記録再生部１５１が簡易静止画ファイルを記録する際にファイル名を制御部１６１に通知し、制御部１６１がバッファ部１１５内のＲＡＷ画像データと対応付けて保存するようにしてもよい。このようなファイル名とすることで、記録媒体１５２内の簡易静止画ファイルを高画質静止画ファイルで置き換えることができる。
また、記録媒体管理部１７２は、高画質静止画ファイルを記録する際に、記録再生部１５１を通じて、対応するＲＡＷファイルにおけるメタデータ部４１２内の現像ステータス４１５を高画質現像済（又は後現像処理済）を示す情報で更新する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態のときに後現像処理を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。これにより、細部の確認表示やプリントアウトなど、高画質な画像が要求された場合であっても、その都度な現像処理を実行する必要がなく、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

なお、撮影時の簡易現像による動画ファイルについても、同様にして後現像処理を実施し、高画質現像による動画ファイルに置き換えて行く。ＲＡＷ動画データは各フレームがＲＡＷ画像データで構成されているため、各フレームを静止画ファイルと同様にして現像処理することができる。そして、現像後のフレーム画像を動画の符号化方式に応じて符号化することで、高画質な動画ファイルを順次生成する。なお、符号化処理の効率を向上させるため、記録媒体１５２から未処理のＲＡＷファイルを読み出す場合に、動画の符号化方式に応じたフレーム数（例えばＧＯＰを構成するフレーム数）を単位とすることができる。

動画ファイルの後現像処理を中断する場合、Ｓ５２８の中断処理では、例えば、動画圧縮部１４２が所定フレーム数を単位とした符号化を行う場合、記録媒体１５２に符合化単位で高画質動画ファイルが書き込まれるまで待つ。そして、高画質動画ファイルを書き込む（簡易動画ファイルに上書きする）際に、後現像処理中のＲＡＷ動画データのファイル名と、何フレーム目まで処理が終わっているかの情報を記録媒体管理部１７２が保存しておく。そして、次回アイドル状態になったらこの情報を用いて後現像処理を再開する。なお、動画の後現像処理時には、符合化単位で高画質動画ファイルを書き込む毎にファイルをクローズして記録媒体１５２の管理情報を更新してもよいし、中断時にこれらの書き込み終了処理を実施してもよい。前者の方が処理が煩雑であるが、後現像処理から他の処理に移行するまでに要する時間が短いほか、ファイルが破損したりする危険性は小さくできる。なお、イベントによっては直ちに処理を中止してもよいことは静止画の後現像処理と同様であるが、この場合でも記録媒体１５２における処理中の動画ファイルをクローズする点で異なる。

（見積処理）
続いて、データ量見積もり部１７１が行う見積処理について、図５を用いて説明する。本実施形態では、ＲＡＷ画像データから後現像処理により生成される高画質静止画データのデータ量を、ＲＡＷ画像データの記録時に見積もる。図５（ａ）は、センサ信号処理部１０３から出力された画像データの画素数と、簡易現像された画像データの画素数の大小関係を示す図である。６０１は、簡易現像された画像データである。６０２は、センサ信号処理部１０３から出力された画像データである。

本実施形態では、図５（ａ）に示すように、簡易現像部１１１によって、センサ信号処理部１０３からの画像データの画素数を水平方向に１／Ｎ倍、垂直方向に１／Ｍ倍に縮小する。そのため、簡易現像処理された画像データの画素数は、センサ信号処理部１０３からの画像データの１／（Ｎ×Ｍ）となる。

図５（ｂ）は、簡易現像部１１１からの出力を静止画圧縮部１４１にて高能率符号化処理（静止画圧縮）を施し、生成された簡易静止画データのデータ量と、データ量見積もり部１７１が算出する見積もりデータ量の関係を示す図である。
６１１は、簡易静止画データのデータ量である。６１２は、算出された見積もりデータ量である。６１３は、所定のオフセットである。データ量見積もり部１７１は、例えば以下のような式で、高画質静止画データのデータ量を算出する。

見積もりデータ量＝（ＳＩＺＥ／ＲＥＤ＿ＲＡＴＩＯ）＋ＯＦＳ ・・・（式１）
あるいは
見積もりデータ量＝（ＳＩＺＥ×Ｎ×Ｍ）＋ＯＦＳ ・・・（式１’）
ここで、
ＳＩＺＥ ：簡易静止画データのデータ量
ＲＥＤ＿ＲＡＴＩＯ：縮小率（＝１／（Ｎ×Ｍ））
ＯＦＳ ：オフセット
である。

図５の例では、見積もりデータ量６１２は、簡易静止画データのデータ量６１１を（Ｎ×Ｍ）倍し、オフセット６１３だけ加算した値となる。オフセット６１３の大きさは、符号化画像データから画像ファイルを生成する際に付加される領域（ヘッダなど）の容量を考慮して決定することができる。

続いて、記録媒体管理部１７２による処理について、図６を用いて説明する。
本実施形態では、後現像処理によって生成された高画質静止画データが記録媒体１５２に記録されると、対応する簡易静止画データを記録媒体１５２から削除する（高画質静止画データで簡易静止画データを上書きすることも削除に含む）。記録媒体管理部１７２は、記録媒体１５２における記録領域を管理すると共に、記録媒体１５２に記録された各ファイルのアドレスやデータ量を示す管理情報を生成し、内部のメモリに保持する。

図６（ａ）は、後現像処理が行われる前の、記録媒体１５２に記録されている各ファイルの記録領域（アドレス）及びデータ量を示す管理情報７００である。図６（ｂ）は、後現像処理が行われる前の記録媒体１５２上の各ファイルの配置を示す図である。図６（ｃ）は、後現像処理後の、記録媒体１５２に記録されている各ファイルの記録領域（アドレス）及びデータ量を示す管理情報７１０である。図６（ｄ）は、後現像処理後の記録媒体１５２上の各ファイルの配置を示す図である。

後現像処理の前の管理情報生成処理について、図６（ａ）を用いて説明する。管理情報７００において、７０１はＲＡＷファイルの記録領域及びデータ量に関する情報、７０２は簡易静止画ファイルの記録領域及びデータ量に関する情報、７０３は予約領域に関する情報である。

撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影された静止画に対応するセンサ信号処理部１０３から出力されたＲＡＷ画像を取得し、ＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）する。記録媒体管理部１７２は、ＲＡＷ画像データのデータ量が通知されると、記録媒体１５２におけるＲＡＷ画像ファイルの記録アドレスを決定する。そして、決定されたアドレスにＲＡＷファイルを記録するように記録再生部１５１に指示すると共に、このＲＡＷファイルに関する情報（アドレス、データ量）７０１を生成し、内部のメモリに保持する。

静止画圧縮部１４１は、簡易現像部１１１で現像処理された画像データを取得し、高能率符号化処理（静止画圧縮）を施し、簡易静止画データを生成する。記録媒体管理部１７２は、簡易静止画データのデータ量が通知されると、記録媒体１５２における静止画ファイルの記録アドレスを決定する。そして、決定されたアドレスに静止画ファイルを記録するように記録再生部１５１に指示すると共に、簡易静止画ファイルに関する情報（アドレス、データ量）７０２を生成し、内部のメモリに保持する。

さらに、記録媒体管理部１７２は、データ量見積り部１７１より通知された見積もりデータ量から、簡易静止画ファイルのデータ量を差し引いたデータ量の予約領域を設定する。そして、この予約領域の情報（記録アドレス及びデータ量の情報）７０３を内部のメモリに保持すると共に、この予約領域に対するデータの書き込みを禁止するように記録再生部１５１を制御する。予約領域７０３は１つの領域として扱われ、撮影により見積もりデータ量が通知された場合は、通知されたデータ量に基づいて予約領域の情報７０３の内容を変更する。なお、予約領域の情報７０３を複数（例えば、簡易静止画ファイルごとに）設けてもよい。

記録媒体管理部１７２は以上のような記録領域の管理情報を生成、更新を通じて、記録再生部１５１における記録媒体１５２へのファイル記録を管理並びに制御しながら、記録媒体１５２に予約領域を確保する。

後現像処理時の記録媒体管理部１７２の処理について、図６（ｃ）を用いて説明する。後現像処理の後の管理情報７１０において、７１１はＲＡＷファイルに関する情報、７１２は後現像処理によって生成された高画質静止画ファイルに関する情報、７１３は予約領域に関する情報である。

上述の通り、後現像処理時には、記録媒体１５２に記録されているＲＡＷファイルを復号した後、高画質現像部１１２で現像処理を行い、静止画圧縮部１４１で高能率符号化処理（静止画圧縮）をすることで高画質静止画データを生成する。記録媒体管理部１７２は、静止画圧縮部１４１から高画質静止画データのデータ量を通知されると、予約領域の一部を高画質静止画ファイルの記録領域に割り当て、記録アドレスを決定する。そして、記録媒体管理部１７２は、決定した記録アドレスに高画質静止画ファイルを記録するとともに、この高画質静止画ファイルの生成に用いたＲＡＷファイルに対応した簡易静止画ファイルを削除するように、記録再生部１５１に指示する。また、記録媒体管理部１７２は、高画質静止画ファイルに関する情報（アドレス、データ量）７１２を管理情報７１０に登録すると共に、記録媒体１５２から削除された簡易静止画ファイルに関する情報を管理情報７１０から削除して、管理情報７１０を更新する。さらに記録媒体管理部１７２は、記録媒体１５２における予約領域を変更し、予約領域の情報７１３を更新する。

ＲＡＷファイルに関する情報（アドレス、データ量）７１１は、後現像処理の前後で変化しない。一方、予約領域７１３の内容は、見積もりデータ量と、後現像処理で生成された高画質静止画ファイルのデータ量の差分に応じて予約領域の情報７０３から変化する。
記録媒体管理部１７２は以上のようにして、後現像処理後の記録再生部１５１における記録媒体１５２へのファイル記録を管理並びに制御する。図６（ｄ）は、図６（ｃ）の管理情報７１０に対応する記録媒体１５２のファイル記録状態を示している。
なお、記録媒体管理部１７２は、動画データについても同様にして管理情報の生成、更新を行う。

（後現像処理時の符号化処理）
次に、後現像処理における静止画データの符号化処理について説明する。図７は、後現像処理における静止画圧縮部１４１の処理を示すフローチャートである。
静止画圧縮部１４１は、高画質現像部１１２から画像データを取得する（Ｓ８０１）とともに、見積もりデータ量を例えば制御部１６１を通じて取得（Ｓ８０２）する。静止画圧縮部１４１は符号化パラメータを設定する（Ｓ８０３）し、設定に基づく符号化処理を実施（Ｓ８０４）し、静止画ファイルを生成する。なお、Ｓ８０３において静止画圧縮部１４１は、見積データ量を考慮して符号化パラメータを設定してもよい。例えば、見積データ量の範囲に応じて設定する符号化パラメータを予め設定しておくことで、見積データ量を考慮した符号化パラメータを設定できる。なお、符号化パラメータは量子化テーブルを含んでよい。

静止画圧縮部１４１は、生成された静止画データのデータ量が見積もりデータ量以下であるか否かを判定する（Ｓ８０５）。生成された静止画データのデータ量が、通知された見積もりデータ量以下であれば処理を終了し、そうでなければ、Ｓ８０３へ進み、データ量がより小さくなるように符号化パラメータの設定を変更して符号化処理を再実施する。

以上のようにすることで、後現像処理の際に静止画圧縮部１４１により生成される静止画データのデータ量が、必ずデータ量見積もり部１７１が見積もったデータ量以下となる。そのため、後現像処理により生成された高画質静止画ファイルを書き込む場合に、予約領域が不足することがない。

以上説明したように本実施形態によれば、撮影時にはＲＡＷ画像を簡易現像処理した画像とともに記録しておく。その後、記録済みのＲＡＷ画像に対して簡易現像処理よりも高画質な画像が得られる現像処理を適用して高画質な画像を生成し、簡易現像処理で得られた画像と置き換える後現像処理を行う。このような構成により、高速に現像処理を行う回路が無くても高速連写などが可能になるほか、他の装置で内容を確認したい場合などにもＲＡＷ画像の内容を容易に確認できる。

また、後現像処理を撮像装置の負荷が低い状態に自動的に行うようにすることで、ユーザに後現像処理を意識させることなく高画質な画像が得られるため、再生時に後現像処理を実施する手間なく、直ちに高画質な画像を再生することができる。
さらに、簡易現像結果に基づく、後現像処理で得られる画像の見積データ量に基づいて記録媒体の容量を予約するともに、後現像処理時には見積データ量に基づいて符号化処理を実施することで、後現像処理時に記録媒体の容量が不足することを防止できる。

●（第２の実施形態）
図８は、本発明の第２の実施形態に係る撮像装置１００’の構成例を示すブロック図である。本実施形態の撮像装置１００’は、以下の点で第１の実施形態の構成と異なっている。
静止画圧縮部１４１が静止画データ量をデータ量見積もり部１８１へと通知せず、ＲＡＷ圧縮部１１３が圧縮後のデータ量を記録媒体管理部１８２へと通知する。
データ量見積もり部１８１は、ＲＡＷ圧縮部１１３から通知されたＲＡＷデータ量を用い、静止画圧縮部１４１が高画質現像部１１２からの出力を符号化する際のデータ量を見積もり、記録媒体管理部１８２と静止画圧縮部１４１へと通知する。
以下、第１の実施形態と異なる部分について説明する。

＜データ量見積もり処理＞
現像部１１０によって現像処理された画像データは、静止画圧縮部１４１及び動画圧縮部１４２に供給される。画像データを静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像データを動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、対象となる画像データを符号化して情報量が圧縮された画像データを生成し、画像ファイル（静止画ファイル又は動画ファイル）に変換し、符号化後のデータ量を記録媒体管理部１８２に通知する。なお、通知するデータ量はファイルサイズであっても、画像データの量であってもよい。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３から出力されたＲＡＷ画像データにウエーブレット変換や差分符号化等を適用してデータ量を削減した圧縮ＲＡＷデータを生成し、バッファ部１１５に格納する。またＲＡＷ圧縮部１１３は、圧縮ＲＡＷデータ量をデータ量見積もり部１８１と記録媒体管理部１８２へと通知する。

データ量見積もり部１８１は、通知されたＲＡＷデータ量から、静止画データ量を見積もる。例えばデータ量見積もり部１８１は、予め実験的に求めたＲＡＷデータ量と静止画データ量との関係を用いて、ＲＡＷデータ量に対応する静止画データ量を見積もることができる。一般に、ＲＡＷデータの圧縮率は単純な画像ほど高く、複雑な画像ほど低くなるため、圧縮ＲＡＷデータ量が大きければ複雑な画像、小さければ単純な画像であると考えられる。静止画データ量も画像の複雑さが高いほど大きくなる傾向にあるため、予め圧縮ＲＡＷデータ量と静止画データ量との関係を測定しておくことで、圧縮ＲＡＷデータ量から静止画データ量を見積もることができる。なお、静止画データ量と静止画ファイルの大きさが大きく異なる場合や、より正確にデータ量を見積もる場合には、第１の実施形態で説明したオフセット６１３のように、ファイルヘッダ等の容量を考慮した静止画データ量を見積もることができる。

このように、本実施形態では圧縮ＲＡＷデータ量から静止画データ量を見積もることができるため、簡易現像部１１１から出力された画像データを圧縮符号化しない場合でも、後現像処理で生成した静止画ファイルを確実に記録媒体に記録可能とすることができる。

●（第３の実施形態）
次に、本発明の第３の実施形態に係る撮像装置について説明する。本実施形態の撮像装置は、以下の点で第１の実施形態の構成と異なる。
静止画圧縮部１４１が、後現像処理時に複数の静止画データを生成する場合、
所定枚数までは、生成した静止画データの量が見積もりデータ量を超えてもデータ量を見積もりデータ量以下とするための再符号化を行わず、見積もりデータ量を変更する。
所定枚数を超えてからは、生成した静止画データの量が見積もりデータ量を超えた場合には第１の実施形態と同様に、見積もりデータ量以下になるように再符号化する。
他の構成および動作については第１の実施形態と同様であるため、説明を省略する。

以下、５枚分の静止画データを生成する場合に、上述の所定枚数が４枚の場合、つまり、最後の１枚についてのみ、生成した静止画データの量が見積もりデータ量を超えた場合に再符号化を行うように制御する場合について説明する。しかし、これは一例であり、最後の複数枚分の静止画データが再符号化制御の対象となってもよい。

＜静止画符号化処理＞
静止画圧縮部１４１の処理のうち、後現像処理時に高画質現像部１１２から出力された画像データに対する処理の詳細を、図９に示すフローチャートを用いて説明する。
静止画圧縮部１４１は、高画質現像部１１２から出力された画像データを取得する（Ｓ１１０１）。また、静止画圧縮部１４１は、データ量見積もり部１７１から通知された見積もりデータ量を、前回（１枚前）の符号化で生成したデータ量を用いて修正（Ｓ１１０３）する。

Ｓ１１０３における見積もりデータ量の修正方法の一例を、図１０を用いて説明する。
図１０は、符号化を行う５枚分の静止画データについて、見積もりデータ量、修正後の見積もりデータ量、生成された静止画データ量、修正後の見積もりデータ量と生成された静止画データ量との差分（差分データ量）の例を示している。図１０において、データ量は１６進数で記載されている。

１２０１は、データ量見積もり部１７１から通知された見積もりデータ量である。
１２０２は、修正後の見積もりデータ量である。静止画圧縮部１４１は、データ量見積もり部１７１から通知された見積もりデータ量に、前回（１枚前）の符号化処理時に算出された前回差分データ量１２０５を加算して、見積もりデータ量を修正する。１枚目の画像データを符号化する際に用いる前回差分データ量１２０５は０である。

Ｓ１１０４で静止画圧縮部１４１は、見積もりデータ量を踏まえた符号化パラメータ（量子化パラメータなど）を設定し、Ｓ１１０５で符号化処理を実施する。

Ｓ１１０５で生成された符号化データの量が、図１０における静止画データ量（生成データ量）１２０３である。
Ｓ１１０６で静止画圧縮部１４１は、最後の画像データの符号化処理が終了したと判定されればＳ１１０７に、未処理の画像データがあると判定されれば処理をＳ１１０８にそれぞれ移行させる。

Ｓ１１０８で静止画圧縮部１４１は、修正後の見積もりデータ量１２０２と生成データ量１２０３との差分データ量１２０４（図１０）を算出する。生成データ量１２０３の方が修正後の見積もりデータ量１２０２より小さければ正の値、大きければ負の値となる。

Ｓ１１０７で静止画圧縮部１４１は、最後の画像データに対する生成データ量が修正後の見積もりデータ量以下であれば符号化処理を終了する。一方、最後の画像データに対する生成データ量が修正後の見積もりデータ量を超えていれば、静止画圧縮部１４１は処理をＳ１１０４に戻し、再符号化処理を行う。なお、静止画圧縮部１４１は、再符号化時にはＳ１１０４で前回よりも生成データ量が少なくなる符号化パラメータを設定する。

以上の処理について、図１０を用いて具体的に説明する。
例えば、１枚目（ＪＰＥＧ_０_１）については、
見積もりデータ量１２０１が０ｘ３００、前回差分データ量１２０５は０（１枚目のため）であるため、修正後の見積もりデータ量は０ｘ３００となる。生成データ量１２０３が０ｘ２８０のため、差分データ量は０ｘ８０となる。

同様に、２枚目（ＪＰＥＧ_０_２）については、
見積もりデータ量１２０１が０ｘ３００、前回差分データ量１２０５は０ｘ８０となるため、修正後の見積もりデータ量１２０２は０ｘ３８０となる。生成データ量１２０３が０ｘ４００のため、差分データ量１２０４は−０ｘ８０となる。
静止画圧縮部１４１は、３枚目、４枚目についても同様に処理を行う。

このようにして得られる最新の差分データ量１２０４は、これまで符号化処理された画像データの、見積もりデータ量１２０１の合計と生成データ量の合計との差を示す。従って、最後の１枚について、生成データ量１２０３が修正後の見積もりデータ量１２０２以下となるように符号化処理を行えば、記録媒体１５２に予約された領域に収めることができる。

図１０の例では、４枚目まで符号化処理が終わった時点での差分データ量１２０４が０ｘ４０であり、見積もりデータ量１２０１の合計＞生成データ量の合計であったが、５枚目の生成データ量１２０３が修正後の見積もりデータ量１２０２を０ｘ４０だけ超えた。そのため、静止画圧縮部１４１は５枚目に対して再符号化処理を実行する。

再符号化時には、修正後の見積もりデータ量を再修正することなく、当初の値を継続して用いる。従って、図１０の例では、５枚目に対する最初の符号化処理後の差分データ量１２０４は−０ｘ４０だが、再符号化時の前回差分データ量１２０５は４枚目の差分データ量１２０４の０ｘ４０であり、修正後の見積もりデータ量１２０２は０ｘ３４０である。図１０の例では１回の再符号化で修正後の見積もりデータ量以下の生成データ量が実現できたため、再符号化が１回で終わっているが、依然として生成データ量が修正後の見積もりデータ量を超える場合には、再符号化をさらに実施する。

なお、再符号化を行うのが最後の画像データだけでない場合、Ｓ１１０６では再符号化対象の画像データかどうかを判定し、再符号化対象の画像データで無ければＳ１１０８へ、再符号化対象の画像データであればＳ１１０７へ処理を移行させるようにする。また、Ｓ１１０７で生成データ量が修正後の見積もりデータ量以下である場合には、未処理の画像データが残っていればＳ１１０８へ、残っていなければ符号化処理を終了するようにする。

このように、本実施形態では、静止画圧縮部１４１が一連の画像データのうち少なくとも最後の画像データを除く画像データについては再符号化制御を行わないようにすることで、再符号化処理に伴う処理時間や処理負荷を省くことができる。一方で、一連の画像データの符号化処理で生成されるデータ量の合計が見積もりデータ量の合計以下に収まるよう、必要に応じて再符号化処理を実施するので、記録媒体１５２には後現像処理で得られた高画質の画像を確実に記録することができる。

●（第４の実施形態）
次に、本発明の第４の実施形態に係る撮像装置について説明する。本実施形態の撮像装置は、以下の点で第１の実施形態の構成と異なる。
後現像処理で生成された高画質画像ファイルを記録媒体へ記録する際に、記録再生部１５１が、対応する簡易画像ファイルを破棄せずに保持する。すなわち、高画質画像ファイルを簡易画像ファイルと異なるファイル名で記録する。
記録媒体管理部１７２では、データ量見積もり部１７１より通知された見積もりデータ量を、予約領域へと追記する。
その他の構成及び動作は第１の実施形態と同様であるため、説明を省略する。

＜管理情報生成処理＞
図１１を参照して、本実施形態に係る記録媒体管理部１７２の処理について説明する。
図１１（ａ）は、後現像処理が行われる前の、記録媒体１５２に記録されている各ファイルの記録領域（アドレス）及びデータ量を示す管理情報１３００である。図１１（ｂ）は、後現像処理が行われる前の記録媒体１５２上の各ファイルの配置を示す図である。図１１（ｃ）は、後現像処理後の、記録媒体１５２に記録されている各ファイルの記録領域（アドレス）及びデータ量を示す管理情報１３１０である。図１１（ｄ）は、後現像処理後の記録媒体１５２上の各ファイルの配置を示す図である。

後現像処理の前の管理情報生成処理について、図１１（ａ）を用いて説明する。管理情報１３００において、１３０１はＲＡＷファイルの記録領域及びデータ量に関する情報、１３０２は簡易静止画ファイルの記録領域及びデータ量に関する情報、１３０３は予約領域に関する情報である。

撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影された静止画に対応するセンサ信号処理部１０３から出力されたＲＡＷ画像を取得し、ＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）する。記録媒体管理部１７２は、ＲＡＷ画像データのデータ量が通知されると、記録媒体１５２におけるＲＡＷ画像ファイルの記録アドレスを決定する。そして、決定されたアドレスにＲＡＷファイルを記録するように記録再生部１５１に指示すると共に、ＲＡＷ画像ファイルに関する情報（アドレス、データ量）１３０１を生成し、内部のメモリに保持する。

静止画圧縮部１４１は、簡易現像部１１１で現像処理された画像データを取得し、高能率符号化処理（静止画圧縮）を施し、簡易静止画データを生成する。記録媒体管理部１７２は、簡易静止画データのデータ量が通知されると、記録媒体１５２における静止画ファイルの記録アドレスを決定する。そして、決定されたアドレスに静止画ファイルを記録するように記録再生部１５１に指示すると共に、簡易静止画ファイルに関する情報（アドレス、データ量）１３０２を生成し、内部のメモリに保持する。

さらに、記録媒体管理部１７２は、データ量見積り部１７１より通知された見積もりデータ量から予約領域を設定する。そして、この予約領域の情報１３０３（記録アドレス及びデータ量の情報）を内部のメモリに保持すると共に、この予約領域に対するデータの書き込みを禁止するように記録再生部１５１を制御する。予約領域の情報１３０３は予約情報を１つの領域として取り扱い、見積もりデータ量が通知されると、通知されたデータ量に基づいて予約領域の情報１３０３を変更する。

記録媒体管理部１７２は以上のような記録領域の管理情報を生成、更新を通じて、記録再生部１５１における記録媒体１５２へのファイル記録を管理並びに制御しながら、記録媒体１５２に予約領域を確保する。

後現像処理時の記録媒体管理部１７２の処理について、図１１（ｃ）を用いて説明する。後現像処理の後の管理情報１３１０において、１３１１はＲＡＷファイルに関する情報、１３１２は簡易静止画ファイルに関する情報、１３１３は後現像処理によって生成された高画質静止画ファイルに関する情報、１３１４は予約領域に関する情報である。

上述の通り、後現像処理時には、記録媒体１５２に記録されているＲＡＷファイルについて、高画質現像部１１２で現像処理を行い、静止画圧縮部１４１で高能率符号化処理（静止画圧縮）をすることで高画質静止画データを生成する。この際、生成データ量が見積もりデータ量を超えた場合は符号化パラメータを変更して、生成データ量が見積もりデータ量以下となるまで再符号化する。

記録媒体管理部１７２は、静止画圧縮部１４１から高画質静止画データ量を通知されると、予約領域の一部を高画質静止画ファイルの記録領域に割り当て、記録アドレスを決定する。そして、記録媒体管理部１７２は、決定した記録アドレスに高画質静止画ファイルを記録する。また、記録媒体管理部１７２は、高画質静止画ファイルに関する情報（アドレス、データ量）１３１３を登録して、管理情報１３１０を更新する。さらに記録媒体管理部１７２は、記録媒体１５２における予約領域を変更し、予約領域の情報１３１４を更新する。

ＲＡＷファイルに関する情報（アドレス、サイズ）１３１１および簡易静止画ファイルに関する管理情報１３１２（アドレス、サイズ）は、後現像処理の前後で変化しない。一方、予約領域に関する情報１３１４は、見積もりデータ量に相当する量、予約領域の情報７０３の内容から変化する。

記録媒体管理部１７２は以上のようにして、後現像処理後の記録再生部１５１における記録媒体１５２へのファイル記録を管理並びに制御する。図１１（ｄ）は、図１１（ｃ）の管理情報１３１０に対応する記録媒体１５２のファイル記録状態を示している。
なお、記録媒体管理部１７２は、動画データについても同様にして管理情報の生成、更新を行う。

このようにして管理情報を生成、更新することにより、簡易現像処理で生成した画像データから生成された静止画ファイルを後現像処理後も記録媒体に残す場合でも、後現像処理で生成した静止画ファイルを記録媒体に確実に記録可能とすることができる。

●（第５の実施形態）
図１２は、本発明の第５の実施形態に係る撮像装置１００”の機能構成例を示すブロック図である。本実施形態の撮像装置は、以下の点で第４の実施形態の構成と異なる。
データ量見積もり部１９１は、見積もりデータ量を記録媒体管理部１９２へと通知せず、ダミーデータ生成部１９３へと通知する。
ダミーデータ生成部１９３は、通知された見積もりデータ量だけ、ダミーデータを発生し、記録再生部１９４は、ダミーデータを記録媒体１５２へ記録する。
また、ダミーデータ生成部１９３は、発生したダミーデータ量を記録媒体管理部１９２へと通知し、記録媒体管理部１９２は、通知されたダミーデータ量を管理情報に登録する。
その他の構成及び動作は第１の実施形態と同様であるため、説明を省略する。

＜管理情報生成処理＞
図１３を参照して、本実施形態に係る記録媒体管理部１９２の処理について説明する。
図１３（ａ）は、後現像処理が行われる前の、記録媒体１５２に記録されている各ファイルの記録領域（アドレス）及びデータ量を示す管理情報１５００である。図１３（ｂ）は、後現像処理が行われる前の記録媒体１５２上の各ファイルの配置を示す図である。図１３（ｃ）は、後現像処理後の、記録媒体１５２に記録されている各ファイルの記録領域（アドレス）及びデータ量を示す管理情報１５１０である。図１３（ｄ）は、後現像処理後の記録媒体１５２上の各ファイルの配置を示す図である。

後現像処理の前の管理情報生成処理について、図１３（ａ）を用いて説明する。管理情報１５００において、１５０１はＲＡＷファイルの記録領域及びデータ量に関する情報、１５０２は簡易静止画ファイルの記録領域及びデータ量に関する情報、１５０３はダミーデータの記録領域に関する情報である。

撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影された静止画に対応するセンサ信号処理部１０３から出力されたＲＡＷ画像を取得し、ＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）する。記録媒体管理部１９２は、ＲＡＷ画像データのデータ量が通知されると、記録媒体１５２におけるＲＡＷ画像ファイルの記録アドレスを決定する。そして、決定されたアドレスにＲＡＷファイルを記録するように記録再生部１９４に指示すると共に、ＲＡＷ画像ファイルに関する情報（アドレス、データ量）１５０１を生成し、内部のメモリに保持する。

静止画圧縮部１４１は、簡易現像部１１１で現像処理された画像データを取得し、高能率符号化処理（静止画圧縮）を施し、簡易静止画データを生成する。記録媒体管理部１９２は、簡易静止画データのデータ量が通知されると、記録媒体１５２における静止画ファイルの記録アドレスを決定する。そして、決定されたアドレスに静止画ファイルを記録するように記録再生部１９４に指示すると共に、簡易静止画ファイルに関する情報（アドレス、データ量）１５０２を生成し、内部のメモリに保持する。

さらに、記録媒体管理部１９２は、ダミーデータ生成部１９３からダミーデータ量を通知されると、記録媒体１５２におけるダミーデータの記録アドレスを決定する。そして、決定されたアドレスにダミーデータを記録するように記録再生部１９４に指示するとともに、ダミーデータ領域に関する情報（アドレス、データ量）１５０３を生成し、メモリに保持する。ダミーデータ領域は１つの領域として扱われる。

記録媒体管理部１９２は以上のような記録領域の管理情報を生成、更新を通じて、記録再生部１９４における記録媒体１５２へのファイル記録を管理並びに制御しながら、記録媒体１５２にダミーデータを記録し、予約領域として確保する。

後現像処理時の記録媒体管理部１９２の処理について、図１３（ｃ）を用いて説明する。後現像処理の後の管理情報１５１０において、１５１１はＲＡＷファイルに関する情報、１５１２は簡易静止画ファイルに関する情報、１５１３は後現像処理によって生成された高画質静止画ファイルに関する情報である。また、１５１４はダミーデータ領域（ダミーデータファイル）に関する情報である。

上述の通り、後現像処理時には、記録媒体１５２に記録されているＲＡＷファイルについて、高画質現像部１１２で現像処理を行い、静止画圧縮部１４１で高能率符号化処理（静止画圧縮）をすることで高画質静止画データを生成する。この際、生成データ量が見積もりデータ量を超えた場合は符号化パラメータを変更して、生成データ量が見積もりデータ量以下となるまで再符号化する。

記録媒体管理部１９２は、静止画圧縮部１４１から高画質静止画データ量を通知されると、ダミーデータ領域の一部を高画質静止画ファイルの記録領域に割り当て、記録アドレスを決定する。そして、記録媒体管理部１９２は、決定した記録アドレスに高画質静止画ファイルを記録する。即ち、元々ダミーデータが記録されている領域からダミーデータを消去し、同じ領域に、高画質静止画ファイルを上書きする。また、記録媒体管理部１９２は、高画質静止画ファイルに関する情報（アドレス、データ量）１５１３を登録して、管理情報１５１０を更新する。さらに記録媒体管理部１９２は、記録媒体１５２におけるダミーデータ領域の情報１５１４を更新する。

ＲＡＷファイルに関する情報（アドレス、サイズ）１５１１および簡易静止画ファイルに関する管理情報１５１２（アドレス、サイズ）は、後現像処理の前後で変化しない。一方、ダミーデータ領域の情報１５１４は、対応するダミーデータ量（見積もりデータ量）に相当する量、ダミーデータ領域に関する情報１５０３から変化する。

記録媒体管理部１９２は以上のようにして、後現像処理後の記録再生部１９４における記録媒体１５２へのファイル記録を管理並びに制御する。図１３（ｄ）は、図１３（ｃ）の管理情報１５１０に対応する記録媒体１５２のファイル記録状態を示している。
なお、記録媒体管理部１９２は、動画データについても同様にして管理情報の生成、更新を行う。

このように、見積もりデータ量に相当するダミーデータを実際に記録媒体に記録することで、記録媒体１５２内に記録される管理情報にダミーデータ領域の情報が反映され、データ記録済みの領域として取り扱われる。そのため、仮に後現像処理前に記録媒体１５２が他の装置で使用されたりする場合でも、ダミーデータ領域が確保され、後現像処理で生成される高画質画像ファイルが確実に記録できる。また、ダミーデータ領域は１つのファイルとして管理できるため、撮像装置において予約情報を管理する手間が省け、管理情報の生成、更新処理が容易である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 撮影指示に応答して被写体像のＲＡＷ画像データを生成する撮像手段と、
   前記ＲＡＷ画像データに対して第１の現像処理または該第１の現像処理よりも高画質な画像が得られる第２の現像処理を行って画像データを生成する現像手段と、
   前記現像手段により生成された前記画像データを符号化して符号化画像データを生成する符号化手段と、
   前記ＲＡＷ画像データのデータ量、もしくは該ＲＡＷ画像データに対して前記第１の現像処理を行って生成された画像データから前記符号化手段で生成された第１の符号化画像データのデータ量に基づいて、該ＲＡＷ画像データに対して前記第２の現像処理を行って生成された画像データから前記符号化手段で生成される第２の符号化画像データのデータ量を見積もる見積もり手段と、
   記録媒体にデータを読み書きする記録手段と、
   前記ＲＡＷ画像データと該ＲＡＷ画像データに対応する前記第１の符号化画像データを前記記録媒体に書き込むように前記記録手段を制御し、前記記録媒体に書き込まれた前記ＲＡＷ画像データに対応する前記第２の符号化画像データを生成するように前記現像手段および前記符号化手段を制御し、前記第２の符号化画像データを前記記録媒体に書き込むように前記記録手段を制御する制御手段と、を有し、
   前記制御手段は、前記見積もり手段が見積もったデータ量に基づいて、前記記録媒体に書き込まれたＲＡＷ画像データに対応する前記第２の符号化画像データを書き込むための領域を前記記録媒体に確保し、前記確保した領域に前記第２の符号化画像データを書き込むように、前記記録手段を制御することを特徴とする撮像装置。
2. 前記制御手段は、前記撮像装置が予め定められたアイドル状態にあると判定された場合に、前記記録媒体に書き込まれた前記ＲＡＷ画像データに対応する前記第２の符号化画像データを生成するように前記現像手段および前記符号化手段を制御し、前記第２の符号化画像データを前記記録媒体に書き込むように前記記録媒体を制御することを特徴とする請求項１記載の撮像装置。
3. 前記制御手段は、前記第２の符号化画像データを書き込んだ後、対応する前記第１の符号化画像データを削除するように前記記録媒体を制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記記録媒体における、前記見積もり手段が見積もったデータ量に相当する領域を予約領域として確保することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第２の符号化画像データで、対応する前記第１の符号化画像データを置き換えるように前記記録媒体を制御することを特徴とする請求項１または２に記載の撮像装置。
6. 前記制御手段は、前記第１の符号化画像データのデータ量と、前記見積もり手段が見積もったデータ量との差に応じた領域を予約領域として前記記録媒体に確保することを特徴とする請求項５記載の撮像装置。
7. 前記制御手段は、前記ＲＡＷ画像データと該ＲＡＷ画像データに対応する前記第１の符号化画像データに加え、前記見積もり手段が見積もったデータ量に相当するダミーデータを前記記録媒体に書き込むように前記記録手段を制御し、前記ダミーデータが書き込まれた領域に、前記第２の符号化画像データを記録するように前記記録手段を制御することを特徴とする請求項１または２に記載の撮像装置。
8. 前記符号化手段が、生成した前記第２の符号化画像データのデータ量が前記見積もり手段が見積もったデータ量を超える場合、前記第２の符号化画像データのデータ量が前記見積もり手段が見積もったデータ量以下になるように再符号化を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記符号化手段が、複数枚分のＲＡＷ画像データに対応する複数の前記第２の符号化画像データを生成する場合、少なくとも最後のＲＡＷ画像データに対応する第２の符号化画像データを除き、データ量が前記見積もり手段が見積もったデータ量を超えても前記再符号化を行わないことを特徴とする請求項８記載の撮像装置。
10. 前記第１の現像処理は、前記第２の現像処理よりも処理負荷が低いことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記第１の現像処理で得られる画像データは、前記第２の現像処理で得られる画像データよりも画素数が少ないことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記第１の現像処理は、前記第２の現像処理よりも工程の数が少ないか、前記第２の現像処理よりも精度が低いか、の少なくとも一方であることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 撮影指示に応答して被写体像のＲＡＷ画像データを生成する撮像手段と、
    前記ＲＡＷ画像データに対して第１の現像処理または該第１の現像処理よりも高画質な画像が得られる第２の現像処理を行って画像データを生成する現像手段と、
    前記現像手段により生成された前記画像データを符号化して符号化画像データを生成する符号化手段と、
    記録媒体にデータを読み書きする記録手段と、を有する撮像装置の制御方法であって、
    見積もり手段が、前記ＲＡＷ画像データのデータ量、もしくは該ＲＡＷ画像データに対して前記第１の現像処理を行って生成された画像データから前記符号化手段で生成された第１の符号化画像データのデータ量に基づいて、該ＲＡＷ画像データに対して前記第２の現像処理を行って生成された画像データから前記符号化手段で生成される第２の符号化画像データのデータ量を見積もる見積もり工程と、
    制御手段が、前記ＲＡＷ画像データと該ＲＡＷ画像データに対応する前記第１の符号化画像データを前記記録媒体に書き込むように前記記録手段を制御する工程と、
    前記制御手段が、前記記録媒体に書き込まれた前記ＲＡＷ画像データに対応する前記第２の符号化画像データを生成するように前記現像手段および前記符号化手段を制御する工程と、
    前記制御手段が、前記見積もり手段が見積もったデータ量に基づいて、前記記録媒体に書き込まれたＲＡＷ画像データに対応する前記第２の符号化画像データを書き込むための領域を前記記録媒体に確保し、前記確保した領域に前記第２の符号化画像データを書き込むように前記記録手段を制御する工程と、を有することを特徴とする制御方法。
14. 撮影指示に応答して被写体像のＲＡＷ画像データを生成する撮像手段と、
    記録媒体にデータを読み書きする記録手段と、を有する撮像装置のコンピュータを、請求項１から１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images