JP6376813B2 - 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、動画又は静止画のＲＡＷ画像に係わる画像処理技術に関する。

従来の撮像装置では、撮像センサーによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）して輝度と色差から成る信号に変換し、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。

ＲＡＷ画像を記録する撮像装置の構成は特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。

特開２０１１−２４４４２３号公報

ＲＡＷ画像の確認用画像として、２００万画素程度の比較的低い解像度にて簡易的に現像しておき、ＲＡＷ画像と対応付けて記録されている構成が考えられる。再生時に所望のコンテンツを再生装置で拡大表示させる場合、この簡易現像画像を用いた場合にはすぐさま表示することが可能である。しかし拡大率が大きくなるにつれ、表示する画像が粗くなってしまう。

一方で、２００万画素程度の簡易現像画像から、ＲＡＷ画像から改めて高画質に現像した本現像画像に切り替えるとすると、現像処理に時間がかかり表示するまでユーザーにストレスを与えてしまうという課題が挙げられる。

そこで、本発明の目的は、このような課題を解決し、所望のコンテンツの拡大表示時にＲＡＷ画像の高画質現像を必要とおけるユーザーにストレスを軽減した表示システムを提供することを目的とする。

上記目的を達成するために、本発明の一実施形態によれば、画像処理装置は、ＲＡＷ画像情報に第１の処理を行うことにより生成された第１の画像を取得する第１の取得手段と、前記ＲＡＷ画像情報に第２の処理を行うことにより生成された第２の画像を取得する第２の取得手段と、前記第１の画像又は前記第２の画像を表示する表示手段と、前記表示手段に表示された前記第１の画像に対して拡大表示を指示する指示手段と、前記指示手段により指示された拡大表示の拡大率に応じて、前記拡大率が所定の拡大率より大きくなったときに前記第１の画像から前記第２の画像へと切り替えて拡大表示を行うよう前記表示手段を制御する表示制御手段と、を有し、前記第２の処理は、前記拡大表示が指示されて前記拡大率が前記所定の拡大率より大きくなるより前にあらかじめ開始される。

本発明によれば、画像処理装置が、画像再生時の拡大表示のためにＲＡＷ画像の高画質現像を必要とした場合でも、ユーザーのストレス低減の効果を得る画像処理構成を提供することができる。

本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。 図１の撮像装置の状態遷移図である。 本発明の第１の実施形態に係わる撮像装置の静止画撮影モードの処理動作のフローチャートを示す図である。 本発明の第１の実施形態に係わる撮像装置が生成する静止画ファイルとＲＡＷファイルの構成例を示す図である。 本発明の第１の実施形態に係わる撮像装置のアイドル状態の処理に係るフローチャートである。 本発明の第１の実施形態に係わる撮像装置の静止画再生モードの処理動作に係るフローチャートである。 本発明の第１の実施形態に係わる撮像装置の静止画再生モードにおける表示処理の例を示す図である。 本発明の第１の実施形態に係わる撮像装置の動画撮影モードの処理に係るフローチャートである。 本発明の第１の実施形態に係わる撮像装置が生成する動画ファイルとＲＡＷ動画ファイルの構成例を示す図である。 本発明の第１の実施形態に係わる撮像装置の動画再生モードの処理動作のフローチャートを示す図である。 図１の撮像装置が有する撮像センサー部１０２の画素配列の説明図である。 本発明の第１の実施形態に係わる撮像装置の拡大表示処理動作のフローチャートを示す図である。 本発明の第１の実施形態に係わる表示拡大処理動作における視覚効果画像の表示例を示す図である。 本発明の第１の実施形態に係わる表示拡大処理動作における視覚効果画像の表示例を示す図である。 本発明の第１の実施形態に係わる表示拡大処理動作における視覚効果画像の表示例を示す図である。 本発明の第１の実施形態に係わる表示拡大処理動作における視覚効果画像の表示例を示す図である。 本発明の１の実施形態の変形例に係わる拡大表示処理動作のフローチャートを示す図である。 本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第２の実施形態の拡大表示処理のフローチャートを示す図である。 本発明の第２の実施形態の変形例に係わる拡大表示処理動作のフローチャートを示す図である。 本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第３の実施形態に係わる撮像装置の静止画再生モードの処理動作のフローチャートを示す図である。 本発明の第３の実施形態に係わる撮像装置の拡大表示処理動作のフローチャートを示す図である。 本発明の第３の実施形態の変形例に係わる拡大表示処理動作のフローチャートを示す図である。 本発明の第４の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第４の実施形態に係わる撮像装置の拡大表示処理動作のフローチャートを示す図である。 本発明の第４の実施形態の変形例に係わる拡大表示処理動作のフローチャートを示す図である。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

（実施形態１）
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示す撮像装置１００は、被写体を撮像して得られた画像情報を外部の装置やサーバ（クラウド）等と送受信する機能や、外部の装置やサーバから得た画像情報を再生し、現像処理をして表示する機能を有する。従って、これらの機能に着目した場合、本実施形態に係る撮像装置は、画像処理装置、或いは、通信装置等と表現することができる。

図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の各部の処理動作を制御する。操作部１６２は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。制御部１６１は、操作部１６２からの操作信号を検出し、操作に応じた動作が実行されるよう撮像装置の各部を制御する。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。

操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１により撮像センサー部１０２上に結像される。撮影時の撮像光学部１０１及び撮像センサー部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や認識部１３１によって抽出される顔認識結果等の被写体情報に基づき、カメラ制御部１０４によって制御される。

撮像センサー部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のモザイクカラーフィルターを透過した光を電気信号に変換する。図１１は、撮像センサー部１０２の撮像面に配置されるカラーフィルターの一例を示す図であり、撮像装置１００が扱う画像の画素配列を表している。図１１に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤー配列と呼ばれる。

撮像センサー部１０２によって光学像を光電変換して得られた電気信号は、センサー信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサー部１０２の欠落画素や信頼性の低い画素に対し、周辺画素値を用いて修復対象の画素の値を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像情報（以降、ＲＡＷ画像）と称す。

ＲＡＷ画像は、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズの除去、光学的な歪の補正をして、画像を適正化する現像処理を行う。

特に、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行うものである。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後のアイドル期間に時間をかけて分散処理を行う（後述する追いかけ現像）ことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。このように、簡易現像部１１１の処理負荷は小さいので、主に撮影動作と並行したリアルタイムの現像の際に用いるようにする。スイッチ部１２１は、操作部１６２によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。また、スイッチ部１２１の切換に連動して、簡易現像部１１１と高画質現像部１１２のうち、信号出力の対象となる一方だけが現像動作を行うように構成しても良い。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を選択的に行っても良い。

現像部１１０によって現像処理された画像情報は、表示処理部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像情報は、映像出力端子１２４により、外部に接続された外部表示機器に出力することもできる。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像情報は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像情報からフォーカス状態や露出状態などの評価値を算出する。

現像部１１０によって現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の顔や人物等の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画像内における顔を検出し、有る場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。

現像部１１０によって現像処理された画像情報は、静止画圧縮部１４１又は動画圧縮部１４２に供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像情報を動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイル（静止画ファイル、又は、動画ファイル）に変換する。静止画圧縮はＪＰＥＧなどを、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。

ＲＡＷ圧縮部１１３は、センサー信号処理部１０３が出力したＲＡＷ画像のデータを、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、バッファ部（記憶媒体）１１５に格納する。ＲＡＷファイルは、バッファ部１１５内に残しておいて再び読み出すことができるが、バッファ部１１５に格納された後、別の記録媒体に移動して記録する（バッファ部１１５から削除する）ようにしても良い。

ＲＡＷファイルと、上述の静止画ファイル及び動画ファイルは、記録再生部１５１から通信部１５２を介して、外部のストレージやサーバに記録される。記録再生部１５１は、通信部１５２を介して、外部のストレージやサーバから静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。

通信部１５２は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。
再生動作が開始されると、記録再生部１５１は、通信部１５２を介して、外部のストレージやサーバから所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮された状態のＲＡＷファイルを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷファイルは、現像部１１０に供給されて、現像部１１０内の簡易現像部１１１や高画質現像部１１２に入力される。

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、また伸張済みのファイルである場合は何もせずに、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、また伸張済みのファイルである場合は何もせずに、動画の再生画像として表示処理部１２２に供給する。

再生時、簡易現像部１１１によって現像された簡易現像画像に対し、タッチパネルなどの操作部１６２によって拡大指示がなされると、制御部１６１によって検出され、拡大率情報が現像開始指示部１５３に入力される。拡大率に応じて現像開始指示部１５３は対応するＲＡＷを高画質に現像するよう現像開始指示を高画質現像部１１２に対して行う。高画質現像部１１２にて現像している間、表示処理部１２２にて視覚効果の付加処理を行い、表示部１２３にて表示される。

次に、本実施形態の撮像装置１００の動作モードに関して、図を用いて詳細に説明する。図２は、撮像装置１００における、各動作モードの遷移を示す状態遷移図である。このようなモードの遷移は、操作部１６２からのユーザー操作指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図２のように、撮像装置１００は、アイドル状態（２００）を経由して４つのモード、静止画撮影モード（２０１）、静止画再生モード（２０２）、動画撮影モード（２０３）、動画再生モード（２０４）に適宜切り替わって動作する。

次に、撮像装置１００の静止画撮影モードにおける動作について説明する。
図３に、本実施形態に係わる撮像装置の静止画撮影モードの処理動作のフローチャートを示す。図３のフローチャートは、制御部１６１によって各処理ブロックを制御して実行される処理動作の手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されるプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図３において静止画撮影モードの処理が開始されると（Ｓ３００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ３０１）、負荷状況に応じた頻度でアイドル状態（Ｓ３２０）へ遷移し、そうでなければＳ３０２へ進む。例えば、高速連写中は処理負荷が高いため、Ｓ３２０へは遷移せず、常にＳ３０２へ進む。通常の単発の撮影を行う場合においては、第１の撮影と第２の撮影の合間に例えば半分の頻度でＳ３２０へ遷移する。

Ｓ３０２において、カメラ制御部１０４が、好適な条件で撮影を行うよう、撮像光学部１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。

Ｓ３０３において、撮像センサー部１０２によって被写体光から光電変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す。すなわち、センサー信号処理部１０３が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ３０３の処理を終えて、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と呼ぶ。

Ｓ３０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。

簡易現像部１１１は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部１１１が行う現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下の低画質に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えば２００万画素の毎秒６０コマというパフォーマンスの撮影を、小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する（Ｓ３０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像を取得して、ＲＡＷ画像から同様に評価値を算出するようにしても良い。

また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する（Ｓ３０６）。

また、簡易現像部１１１で現像処理された画像情報は、表示処理部１２２に供給される。表示処理部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ３０７）。表示部１２３による表示画像は、静止画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。なお、表示画像は、表示処理部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ３０８において、制御部１６１は、ユーザーからの撮影指示の入力を判定し、撮影の指示があった場合は、Ｓ３１０へ進む。Ｓ３０８で撮影指示が無い場合は、Ｓ３０１へ戻って、撮影の準備動作とライブビュー表示を繰り返す。

Ｓ３０８における撮影指示に応答して、簡易現像部１１１で現像処理された画像情報が、静止画圧縮部１４１に供給される。静止画圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し（Ｓ３１０）、静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の静止画圧縮技術を用いて圧縮処理を行う。

Ｓ３１１において、記録再生部１５１が静止画ファイルを、通信部１５２を介して外部のストレージやサーバに記録する。

さらに、Ｓ３０８における撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影された静止画に対応するセンサー信号処理部１０３から出力されたＲＡＷ画像を取得し、ＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換する（Ｓ３１２）。ＲＡＷファイルはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサー信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。

Ｓ３１３において、記録再生部１５１がＲＡＷファイルを、通信部１５２を介して外部のストレージやサーバに記録した後、フローはＳ３０１に遷移する。
以上が、本実施形態の静止画撮影モードの処理に係るフローの説明である。

ここで、本実施形態に係る、静止画ファイルの構造と、ＲＡＷファイルの構造について説明する。図４（ａ）、（ｂ）は、静止画ファイル及びＲＡＷファイルの構成例を示す図である。

図４（ａ）に示す静止画ファイル４００は、記録再生部１５１によって通信部１５２を介して、例えば外部のストレージやサーバである記録媒体の所定の記録エリアに記録されている。静止画ファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルと同時に生成されたＲＡＷファイルのファイル名の情報４０４が含まれる。また、この静止画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報４０５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４０６が含まれる。また、図示していないが、同時に生成されたＲＡＷファイルが記録されている、外部のストレージやサーバである記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図４（ｂ）に示すＲＡＷファイル４１０は、記録再生部１５１によって、例えば外部ストレージやサーバの記録媒体の所定の記録エリアに記録されている。ＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２、圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化された静止画のＲＡＷ圧縮データが含まれている（圧縮されていない静止画のＲＡＷ画像データであっても良い）。

メタデータ部４１２には、このＲＡＷファイルと同時に生成された静止画ファイルのファイル名の情報４１４が含まれる。また、その静止画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報４１５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４１６が含まれる。撮影メタデータ４１６のうち、撮影メタデータ４０６と共通するものは同じデータを用いる。また、図示していないが、同時に生成された静止画ファイルが記録されている、外部のストレージやサーバである記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された静止画ファイルそのものをメタデータ化して、メタデータ部４１２に格納しても良い。

上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦやＥＸＩＦなどの標準規格と同じ又は類似の構成であっても良い。なお、ＤＣＦとは、Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍの意味であり、ＥＸＩＦとは、Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ ｆｏｒｍａｔの意味である。

本実施形態に係る撮像装置１００は、上述のように、静止画撮影モードにおける、撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりする。そうすることで、例えば２００万画素の毎秒６０コマというパフォーマンスの現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、静止画の撮影指示に応答して、ＲＡＷファイルを生成する。ＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。

続いて、図３のＳ３０１で遷移するステップであるＳ３２０について、図５のフローチャートを用いて説明する。図５に、本実施形態に係わる撮像装置のアイドル状態の処理動作のフローチャートを示す。図５のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図５においてアイドル状態の処理が開始されると（Ｓ５００）、制御部１６１が、ユーザーの設定により追いかけ現像を行うか否かを判定し（Ｓ５０１）、追いかけ現像を行わない場合はＳ５０２に、追いかけ現像を行う場合はＳ５２０に遷移する。

Ｓ５０１で追いかけ現像を行わない場合、ユーザーからの命令やモード設定に従って、制御部１６１が図２に示した２０１，２０２，２０３，２０４の何れかのモードに遷移するか判定する（Ｓ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０５）。そして、制御部１６１が、選ばれたモードの処理フローへ遷移するよう制御する（Ｓ５１０、Ｓ５１１、Ｓ５１２、Ｓ５１３）。Ｓ５０２〜Ｓ５０５において、静止画撮影モードならばＳ５１０に、静止画再生モードならばＳ５１１に、動画撮影モードならばＳ５１２に、動画再生モードならばＳ５１３に、それぞれフローが遷移する。

ここで、「追いかけ現像」とは、撮影動作を終えた後、バッファ部１１５又は外部ストレージやサーバの記録媒体等に記録されたＲＡＷファイルをソースとして、高画質に現像処理を施し、高画質の表示画像や高画質の静止画ファイルを生成する処理を意味する。本実施形態に係る追いかけ現像の対象となるＲＡＷファイルは、静止画と動画の両方を対象とするが、以下では静止画を例に説明する。

上述したように、撮影時に生成される静止画ファイルは、簡易現像部１１１で現像されているため、画素数が２００万画素以下であったり、現像処理を一部省いていたりするために、画質は限定的な品質である。撮影内容の大まかな確認としては有効であるが、画像の細部を確認したり、プリントアウトしたりする用途には十分ではない場合がある。一方、静止画と同時に生成するＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高品質を有するが、現像処理前のデータであるため、表示やプリントアウトには即時対応ができず、ＲＡＷ現像のための時間を要してしまう。また、ＲＡＷはＪＰＥＧなどのように広く普及したファイルではないため、ＲＡＷファイルを扱える再生環境も限定されてしまう。

そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているＲＡＷファイルを読みだして、高画質現像部１１２によって高画質に現像処理を行い、生成した高画質の静止画ファイルを外部ストレージやサーバの記録媒体等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態において実行させる。追いかけ現像は手動に限らず、制御部１６１が自動に実行させるように設計すると良い。

このように構成することにより、その後に、細部の確認表示やプリントアウトなど、高画質な再生の要求においても、その都度現像処理（再生出力）の遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。

外部ストレージやサーバの記録媒体等には、１回の静止画撮影指示に対して、静止画ファイルとＲＡＷファイルが１つずつの組として記録されている。手動または自動によって追いかけ現像を行う場合、制御部１６１が、各画像の組について、追いかけ現像が処理済みか未処理かを判定する（Ｓ５２０）。判定の方法は、例えば静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、この静止画ファイルが簡易現像部１１１で処理されたものなのか否かを識別するためのフラグを参照し、このフラグから判定する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

制御部１６１によって、追いかけ現像が処理済みと判断されれば、Ｓ５０２に遷移する。追いかけ現像が未処理の静止画があれば、Ｓ５２１に遷移する。追いかけ現像が未処理である静止画に対応するＲＡＷファイルが、バッファ部１１５にバッファリングされていれば（Ｓ５２１）、Ｓ５２３に進む。一方、バッファリングされていなければ、対応するＲＡＷファイルを外部ストレージやサーバの記録媒体等から読み出す（Ｓ５２２）。外部ストレージやサーバの記録媒体等から読み出されたＲＡＷファイルは、バッファ部１１５によって一時保持される。

バッファ部１１５は、静止画撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、追いかけ現像を実行するようにすれば、バッファに保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。

Ｓ５２３において、ＲＡＷ伸張部１１４が、バッファ部１１５又は外部ストレージやサーバの記録媒体等から読み出したＲＡＷファイルを伸張処理し、ＲＡＷ画像を復元する。

復元されたＲＡＷ画像は、高画質現像部１１２で高画質に現像されて（Ｓ５２４）、スイッチ部１２１を経由して表示処理部１２２や静止画圧縮部１４１に出力される。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサー部１０２から読出されたフルサイズのまま、或いはユーザーから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。

高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、回路規模や消費電力の増大を抑える構成となっている。

高画質現像部１１２で現像処理された画像情報は、静止画圧縮部１４１に供給され、静止画圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し（Ｓ５２５）、高画質の静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。

Ｓ５２６において、記録再生部１５１が高画質の静止画ファイルを外部ストレージやサーバの記録媒体等に記録したら、フローはＳ５０２に遷移する。なお、追いかけ現像の処理は、追いかけ現像が未処理の静止画がある場合、その画像毎に同様の処理を繰り返して実行可能である。

Ｓ５２６で記録される静止画ファイルは、図４（ａ）に示す静止画ファイル４００のようなファイル構成であり、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルの元となったＲＡＷファイルのファイル名の情報４０４が含まれる。また、この静止画ファイルが高画質現像部１１２によって高画質現像されたことを示す現像ステータスの情報４０５が含まれる。また、元のＲＡＷファイルのメタデータから抽出された、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報を含む撮影メタデータ４０６が含まれる。

記録再生部１５１は、高画質現像を経て、Ｓ５２６で記録される新たな静止画ファイルには、元となったＲＡＷファイルと同時に記録された簡易現像による静止画ファイルと同じファイル名を与えて、上書き記録する。すなわち簡易現像による静止画ファイルは削除される。そして、記録再生部１５１は、追いかけ現像の元となったＲＡＷファイルは、メタデータ部４１２内の現像ステータス４１５を、高画質現像済（又は追いかけ現像済）を示す情報にて更新する。なお、上書き記録ではなく、例えば、ファイル名はほぼ同じでファイル名の一部（例えば拡張子や末尾の文字）のみを変更した別のファイルとして記録し、元のファイルを削除しても良い（勿論、記録容量に余裕があれば元のファイルを残しておいてもよい）。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態（アイドル状態）のときに追いかけ現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。撮影時の簡易現像による動画ファイルも、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えて行く。こうすることにより、細部の確認表示やプリントアウトなど、高画質な再生の要求が与えられた場合であっても、その都度現像処理（再生出力）の遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。

次に、撮像装置１００の静止画再生モードにおける動作について説明する。
図６に、本実施形態に係わる撮像装置の静止画再生モードにおける処理動作のフローチャートを示す。図６のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理動作の手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されるプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図６において静止画再生モードの処理が開始されると（Ｓ６００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ６０１）、負荷状況に応じた頻度でアイドル状態（Ｓ６１０）へ遷移し、そうでなければＳ６０２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ６１０へ遷移する。ユーザーからの操作に応じて静止画の再生が開始されている（再生中の状態を含む）場合はＳ６０２へ進む。

Ｓ６０２において、制御部１６１が、再生される静止画について、ユーザーから拡大表示の指示を受けているかを判定する。拡大表示があればＳ６０３に進み、拡大表示がなければＳ６２０に進む。

図７に、拡大表示を含む表示形態の種類を説明する。図７（ａ）、（ｂ）、（ｃ）は、本実施形態の静止画再生モードの表示処理の例を示す図である。
図７（ａ）の表示例７００は、７０１に示す６つの画像を縮小して表示部１２３に縮小表示している例である。図７（ｂ）の表示例７１０は、ある１つの画像７１１の全体を表示部１２３に表示している例であり、この表示の状態を通常表示とする。図７（ｃ）の表示例７２０は、ある１つの画像の一部領域を拡大した画像７２１を表示部１２３に拡大表示している例である。例えば、撮影直後にフォーカスの適否の確認を行うような場合に、表示例７２０のように被写体像の細部を拡大表示する使われ方が一般的である。

表示例７２０のように拡大表示する場合、図６のフローはＳ６０２からＳ６０３へ遷移する。表示例７００のように縮小表示する場合は、Ｓ６０２からＳ６２０へ遷移する。表示例７１０のような場合は、表示部１２３の表示画素数が簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）、であれば等倍もしくは縮小での表示であるため、Ｓ６０２からＳ６２０へ遷移する。

Ｓ６２０において、記録再生部１５１が、外部ストレージやサーバの記録媒体等から再生対象の静止画ファイルを読み出す。そして、Ｓ６２１において、静止画伸張部１４３が、静止画ファイルを復号して伸張し、Ｓ６２２において、表示処理部１２２が図７の各図に示すような形態で表示画像を表示部１２３へ出力する。

表示される画像が、簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）で足りる場合は、静止画ファイルが簡易現像部１１１で現像処理されたものであっても、十分な画質で表示できる。なお、静止画ファイルが高画質現像部１１２で現像処理されたものであるならば、勿論、表示に十分な画質であるということは言うまでも無い。

一方、拡大表示の場合、表示される画像が、簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）では足りないことが起こり得る。すなわち、簡易現像による静止画ファイルを用いて表示したのでは、解像感の低下を招いてしまう。よって、拡大表示の場合は、Ｓ６０３の拡大表示処理を行う。

図１２に本実施形態に係わる拡大表示処理動作のフローチャートを示す。タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像されたものであるかどうかを判定する。判定方法は、例えば静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、この静止画ファイルが簡易現像部１１１で処理されたものなのか否かを識別するためのフラグを参照し、このフラグから判定する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ１２０２に進む。Ｓ１２０２では、記録再生部１５１が該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、拡大処理を行い再生表示する。拡大表示が終了するまで、Ｓ１２０２−Ｓ１２０３を繰り返す。

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１１１で現像処理された静止画ファイルであることを意味しＳ１２０４に進む。ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１１１で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、あらかじめ、高画質現像を開始する高画質現像開始拡大率α、簡易現像部１１１で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２０４で拡大率Ｍがあらかじめ設定した高画質現像開始拡大率αを超えていなければ、Ｓ１２０５に進み、記録再生部１５１が該当する静止画ファイルを外部ストレージやサーバの記録媒体等から読み出して、拡大処理を行い再生表示する。

Ｓ１２０４で拡大率Ｍが高画質現像開始拡大率αを超えていた場合、Ｓ１２０７に進み、外部ストレージやサーバの記録媒体等に対し、対応するＲＡＷファイルを取得するよう指示を行う。

Ｓ１２０８で外部ストレージやサーバの記録媒体等からＲＡＷファイルの取得が完了していなかった場合はＳ１２０９へ進む。一方、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えていなければ、Ｓ１２１０に進み、記録再生部１５１が該当する静止画ファイルを外部ストレージやサーバ等の記録媒体から読み出して、拡大処理を行い再生表示する。

Ｓ１２０９で拡大率Ｍが表示限界拡大率βを超えた場合、Ｓ１２１１にて視覚効果画像を表示する。

Ｓ１２０８で外部ストレージやサーバの記録媒体等からＲＡＷファイルの取得が完了していた場合、Ｓ１２１３に進み、高画質現像部１１２にて高画質現像を実行する。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合の現像パラメータは、簡易現像部１１１にて行った簡易現像処理時のものと同じものを使用する。

その後Ｓ１２１４へ進み、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えていなければ、Ｓ１２１５に進み、記録再生部１５１が該当する静止画ファイルを外部ストレージやサーバ等の記録媒体から読み出して、拡大処理を行い再生表示する。

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えた場合Ｓ１２１７に進む。ここで、Ｓ１２１３にて開始した高画質現像処理が終了しているかどうかを判定する。終了していなかった場合は、Ｓ１２１８にて視覚効果画像を表示する。Ｓ１２１７で高画質現像処理が終了していた場合、Ｓ１２２０で高画質現像画像を用いて拡大表示を行い再生表示する。

Ｓ１２０３、Ｓ１２０６、Ｓ１２１２、Ｓ１２１６、Ｓ１２１９、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。
なお、Ｓ６０３、Ｓ６２２の表示が停止されると、フローはＳ６０１に戻る。Ｓ６０１において、アイドル状態Ｓ６１０に遷移した場合は、上述した図５のフローチャートに従って処理される。

ここで、Ｓ１２１１とＳ１２１８の視覚効果画像について説明する。図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄは、本実施形態における視覚効果を説明する為の図である。

図１３Ａはユーザーの拡大指示に応じて画像を拡大表示していく中で、ある間隔毎の表示を抜き出したものである。１３１１は拡大する前の画像全体を表示しているものであり、この大きさを基準とする（表示１００％）。本実施形態では、現像開始拡大率α＝２００％、表示限界拡大率β＝２１０％と設定する。ユーザーの拡大指示による拡大率Ｍに応じて、１３１２（表示１４６％）、１３１３（表示２１０％）と簡易現像画像を元に拡大表示をしていく。拡大率Ｍが２００％に達した時に高画質現像の開始指示を行う。簡易画像での表示限界拡大率は１３１３の２１０％であるので、１３１３以降の表示画像は高画質現像画像からの拡大表示に切り替える。高画質現像処理が終了していない場合は、１３１４にて視覚効果の画像を表示する。高画質現像処理が終了したら、高画質現像画像をもとに１３１５（表示２４２％）、１３１６（表示２９７％）、１３１７（表示３９６％）とユーザーの拡大指示に応じて拡大表示を行う。

図１３Ｂ、図１３Ｃ、図１３Ｄは１３１４視覚効果の例を示したものである。
図１３Ｂは、簡易画像を用いて徐々に切り出し拡大し（１３２１、１３２２，１３２３、１３２４）、動画エフェクトのように表示する視覚効果である。
図１３Ｃは、簡易画像の拡大はせずに枠をＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）などで重ね、枠を徐々に拡大し（１３３１、１３３２、１３３３、１３３４）表示する視覚効果である。
図１３Ｄは、その他の視覚効果の例を示したものである。１３４１は簡易画像の上に、現在高画質現像を行っている状態を示すアイコンを表示する視覚効果である。１３４２、１３４３は、例えばＧＩＦアニメーションなどのファイルを予め用意しておき、視覚効果表示期間中再生する。

次に、撮像装置１００の動画撮影モードにおける動作について説明する。
図８に、本実施形態に係わる撮像装置の動画撮影モードにおける処理動作のフローチャートを示す。図８のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理動作の手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されるプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図８において動画撮影モードの処理が開始されると（Ｓ８００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ８０１）、負荷状況に応じた頻度でアイドル状態（Ｓ８２０）へ遷移し、そうでなければＳ８０２へ進む。例えば、水平解像度が４０００画素相当（４Ｋ）のように画素数の多い動画や、毎秒１２０コマ（１２０Ｐ）のようにフレームレートの高い動画が設定されているときは処理負荷が高いため、Ｓ８２０へは遷移せず、常にＳ８０２へ進む。画素数が所定値より少なかったり、フレームレートが所定の速度より低かったりする動画の撮影を行う設定のときは、動画の第１のフレームと第２のフレームの処理の合間に、例えば半分の頻度でＳ８２０へ遷移する。

Ｓ８０２において、カメラ制御部１０４が、好適な条件で動画撮影を行うよう、撮像光学部１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。

Ｓ８０３において、撮像センサー部１０２によって変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す。すなわち、センサー信号処理部１０３が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ８０３の処理を終えて、センサー信号処理部１０３から出力される画像情報を、生（未現像）の動画を意味するＲＡＷ画像（特に、ＲＡＷ動画像）と呼ぶ。

Ｓ８０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。

簡易現像部１１１は、動画の各フレームを構成するＲＡＷ動画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差（や原色）から成る信号へ変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する等の現像処理を行う。ここで、簡易現像部１１１が行う動画の現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを例えばＨＤ映像の２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えばＨＤサイズの動画の高速撮影を、小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する（Ｓ８０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ動画像を取得して、ＲＡＷ動画像から同様に評価値を算出するようにしても良い。

また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する（Ｓ８０６）。

また、簡易現像部１１１で現像処理された画像情報は、表示処理部１２２に供給される。表示処理部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ８０７）。表示部１２３による表示画像は、動画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするための確認表示のために用いられる。具体的に、動画撮影特有の使用形態として、撮影された動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても、被写体を適切にフレーミングするためのライブビュー表示のために用いられる。なお、表示画像は、表示処理部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示することもできる。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ８０８において、制御部１６１は、ユーザーからの記録の開始指示を受けて撮影された動画を記録中（ＲＥＣ中）であるか否かを判定し、ＲＥＣ中の場合は、Ｓ８１０へ進む。Ｓ８０８でＲＥＣ中では無い場合（すなわちスタンバイ中）は、Ｓ８０１へ戻って、動画の記録開始前の撮影動作とライブビュー表示を繰り返す。

Ｓ８０８によって、撮影された動画のうち、記録開始から記録終了までの記録対象となる動画が、フレーム単位で動画圧縮部１４２によって圧縮される（Ｓ８１０）。なお、図面を用いての説明は省略するが、動画の撮影と同時に、不図示のマイクロフォンによって入力された音声情報が取得されている。動画圧縮部１４２は、取得した簡易現像済の動画の画像情報及び音声情報に対して高能率符号化処理（動画圧縮）を施し、動画ファイルを生成する。なお、動画圧縮部１４２は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などの公知の動画圧縮技術を用いて圧縮処理を行う。

Ｓ８１１において、記録再生部１５１が生成された動画ファイルを外部ストレージやサーバの記録媒体に記録する。

さらに、Ｓ８０８によって記録対象となった動画に対応する期間のＲＡＷ動画像が、センサー信号処理部１０３からＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、記録対象となった動画と同じシーンを示すＲＡＷ動画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイル（ＲＡＷ動画ファイル）に変換する（Ｓ８１２）。ＲＡＷ動画ファイルはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ動画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサー信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷ動画ファイルを生成する。

Ｓ８１３において、記録再生部１５１がＲＡＷ動画ファイルを外部ストレージやサーバの記録媒体に記録した後、フローはＳ８０１に遷移する。
以上が、本実施形態の動画撮影モードの処理に係るフローの説明である。

ここで、本実施形態に係る、動画ファイルの構造と、ＲＡＷ動画ファイルの構造について説明する。図９（ａ）、（ｂ）は、動画ファイル及びＲＡＷ動画ファイルの構成例を示す図である。

図９（ａ）に示す動画ファイル９００は、記録再生部１５１によって、例えば外部ストレージやサーバの記録媒体の所定の記録エリアに記録されている。動画ファイル９００は、ヘッダ部９０１、メタデータ部９０２、圧縮データ部９０３から成る。ヘッダ部９０１には、このファイルが動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部９０３には、高能率符号化された動画と音声の圧縮データが含まれている。

メタデータ部９０２には、この動画ファイルと同時に生成されたＲＡＷ動画ファイルのファイル名の情報９０４が含まれる。また、この動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報９０５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ９０６が含まれる。また、図示していないが、同時に生成されたＲＡＷ動画ファイルが記録されている、外部ストレージやサーバの記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図９（ｂ）に示すＲＡＷ動画ファイル９１０は、記録再生部１５１によって、例えば外部ストレージやサーバの記録媒体の所定の記録エリアに記録されている。ＲＡＷ動画ファイル９１０は、ヘッダ部９１１、メタデータ部９１２、圧縮データ部９１３から成る。ヘッダ部９１１には、このファイルがＲＡＷ動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部９１３には、高能率符号化された動画のＲＡＷ圧縮データが含まれている（圧縮されていない動画のＲＡＷ画像データであっても良い）。

メタデータ部９１２には、このＲＡＷ動画ファイルと同時に生成された動画ファイルのファイル名の情報９１４が含まれる。また、その動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報９１５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ９１６が含まれる。撮影メタデータ９１６のうち、撮影メタデータ９０６と共通するものは同じデータを用いる。また、図示していないが、同時に生成された動画ファイルが記録されている、外部ストレージやサーバの記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された動画ファイルそのもの全部又は一部（先頭フレームなど）を抽出してメタデータ化して、メタデータ部９１２に格納しても良い。

上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦ、ＡＶＣＨＤ、ＭＸＦなどの標準規格と同じ又は類似の構成であっても良い。なお、ＡＶＣＨＤとは、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎの意味であり、ＭＸＦとは、Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔの意味である。

本実施形態に係る撮像装置１００は、上述のように、動画撮影モードにおける撮影画像表示（ライブビュー表示）や、撮影時に生成される動画ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりして、例えばＨＤサイズの動画の現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、動画ファイルと共に、その動画の記録期間に対応するＲＡＷ動画ファイルを生成する。ＲＡＷ動画ファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、４Ｋや８Ｋ（水平解像度が８０００画素相当）のように画像の画素数を高めたり、毎秒１２０コマ（１２０Ｐ）のようにフレームレートを高めたりしても、小規模な回路によって少ない消費電力でＲＡＷ動画ファイルを記録することが可能である。

次に、撮像装置１００の動画再生モードにおける動作について説明する。
図１０に、本実施形態に係わる撮像装置の動画再生モードにおける処理動作のフローチャートを示す。図１０のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図１０において動画再生モードの処理が開始されると（Ｓ１０００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ１００１）、負荷状況に応じた頻度でアイドル状態（Ｓ１０１０）へ遷移し、そうでなければＳ１００２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ１０１０へ遷移する。ユーザーからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合はＳ１００２へ進む。

Ｓ１００２において、制御部１６１が、再生される動画について、ユーザーから再生の一時停止（ポーズ）の指示を受けているかを判定する。Ｓ１００２で一時停止指示がなければ動画再生を継続するためにフローはＳ１００３に進む。

Ｓ１００３において、記録再生部１５１が、通信端子１５４を介して、外部のストレージやサーバ等から再生対象の動画ファイルを読み出す。そして、Ｓ１００４において、動画伸張部１４４が、動画ファイルを１フレームずつ復号して伸張し、Ｓ１００５において、表示処理部１２２が再生された動画の表示画像を表示部１２３へ出力する。

Ｓ１００２で一時停止指示を受けた場合、制御部１６１が、再生及び表示中の動画を一時停止状態にするともに、一時停止されたときの停止位置のフレームを静止画として表示させるために、Ｓ１０２０へフローを遷移させる。一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には拡大表示の指示を受けやすいと考えられる。Ｓ１０２０において、制御部１６１が、再生される動画について、ユーザーから拡大表示の指示を受けているかを判定する。拡大表示があればＳ１０２１に進み、拡大表示がなければＳ１００３へ進む。拡大表示Ｓ１０２１の処理については、静止画再生モードでの拡大表示と同じフローであるものとし、ここでの説明は省略する。

なお、Ｓ１００５の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、フローはＳ１００１に戻る。Ｓ１００１において、アイドル状態Ｓ１０１０に遷移した場合は、上述した図５のフローチャートに従って処理される。

上述した本実施形態によれば、画像処理装置が、画像再生時の拡大表示において、ＲＡＷ画像の高画質現像を必要とした場合でも、ユーザーのストレス低減の効果を得ることができる画像処理を提供することが可能となる。

（実施形態１の変形例）
第１の実施形態では、画像拡大時のＲＡＷ現像開始指示タイミング（ＲＡＷ画像取得指示）は、ユーザーが指示した拡大率Ｍがあらかじめ設定された拡大率（α）に到達した場合とした。ここでは、拡大操作の開始タイミングを、現像開始指示タイミングとする例を、第１の実施形態の変形例として説明する。本変形例は、拡大表示処理動作のフローチャートが第１の実施形態と異なるだけで、それ以外の撮像装置、動作モード、視覚効果画像等の他の構成は同様であるのでそれらの説明は省略する。

図１４に本変形例における拡大表示処理動作のフローチャートを示す。同図において、第１の実施形態（図１２）と同様の部分は同じ符号を付して示す。第１の実施形態の拡大表示処理動作（図１２）と異なるのは、Ｓ１２０４〜Ｓ１２０６がないことである。従って、拡大表示処理動作が開始され、高画質現像済みの静止画ファイルがないと判断された時点で（Ｓ１２０１でＮＯ）、ＲＡＷファイルの取得の指示を出して高解像現像処理を開始させる（Ｓ１２０７）。

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像部１１２で現像されたものであるかどうかを判定する。判定方法は、第１の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。

Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ１２０２に進む。ここで、記録再生部１５１が該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、拡大処理を行い再生表示する。拡大表示が終了するまで、Ｓ１２０２−Ｓ１２０３を繰り返す。

Ｓ１２０１で、高画質現像されたものがない場合は、簡易現像部１１１で現像処理された静止画ファイルであることを意味するのでＳ１２０７に進み、外部ストレージやサーバの記録媒体等に対し、対応するＲＡＷファイルを取得するよう指示を行う。その後Ｓ１２０８へ進み、以下、第１の実施形態と同様の処理動作を行う。

（実施形態２）
図１５は、本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。同図において、第１の実施形態（図１）と同様の構成要素には同じ符号を付して示す。

本実施形態では、撮像装置の構成を、第１の実施形態に係わる撮像装置から高画質現像部１１２とスイッチ部１２１を取り除いた構成とし、高画質現像処理を撮像装置の外部に委託する構成とする。これにより、撮像装置の処理動作における高画質現像処理の負荷の問題に縛られることなく、高画質現像処理の実行指示をすることが可能となる。

図１５に示した撮像装置１５００は、被写体を撮像して得られた画像情報を外部の装置やサーバ（クラウド）等と送受信する機能や、外部の装置やサーバから得た画像情報を再生し、表示する機能を有する。従って、これらに着目した場合、第１の実施形態と同様に、本実施形態に係る撮像装置も、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することが出来る。

まず、図１５において第１の実施形態と異なる部分にいて説明する。他の部分は、第１の実施形態と同様であるのでここでの説明を省略する。

センサー信号処理部１０３から出力されたＲＡＷ画像は、簡易現像部１５１０で現像処理される。簡易現像部１５１０は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。本実施形態における簡易現像部１５１０も、第１の実施形態と同様、撮影中に高速に現像処理を行えるよう画質を低くし、現像に係る処理量が少なくなるように構成されている。従って、簡易現像部１５１０の処理負荷は小さく、撮影動作と並行したリアルタイムの現像の際に用いることが可能である。

簡易現像部１５１０によって現像処理された画像情報は、表示処理部１２２、評価値算出部１０５、認識部１３１、静止画圧縮部１４１又は動画圧縮部１４２に供給される。これらに係わる処理動作は第１の実施形態と同様である。

再生動作が開始されると、記録再生部１５５１は、通信部１５２を介して、外部のストレージやサーバから所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、ネットワーク上の高画質現像機能に対して現像指示を行う。ネットワーク上にて、圧縮された状態のＲＡＷファイルを復号して伸張する。伸張されたＲＡＷファイルは、デベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。現像された画像情報は、通信部１５２を介して撮像装置１５００に入力される。この時、現像された画像情報はあらかじめネットワーク上にて圧縮処理をされていても良い。

再生対象のファイルが静止画ファイルであれば、記録再生部１５５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５５１は、取得された動画ファイルを動画伸張部１４４に供給する。

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、伸張済みのファイルである場合はそのまま、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、伸張済みのファイルである場合はそのまま、動画の再生画像として表示処理部１２２に供給する。

再生時、簡易現像部１５１０によって現像された簡易現像画像に対し、タッチパネルなどの操作部１６２によって拡大指示がなされると、制御部１６１によって検出され、拡大率情報が現像開始指示部１５５３に入力される。拡大率に応じて現像開始指示部１５５３は対応するＲＡＷを高画質に現像するよう現像開始指示を、通信部１５２を介してネットワーク上の高画質現像機能に対して行う。高画質現像し、現像された画像をネットワーク上より転送し、表示部１２３にて表示可能なるまでの間、表示処理部１２２にて視覚効果の付加処理を行い、表示部１２３にて表示される。

図１６に本実施形態に係わる撮像装置の拡大表示処理動作のフローチャートを示す。同図において、第１の実施形態（図１２）と同様の部分には同じ符号を付して示し、特に必要がある場合を除き、ここでの説明を省略する。

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像されたものであるかどうかを判定する。判定方法は、第１の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。Ｓ１２０４で拡大率Ｍが高画質現像開始拡大率αを超えていた場合、Ｓ１６０７に進み、現像開始指示部１５５３がネットワーク上の高画質現像機能に高画質現像を指示する。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合の現像パラメータは、簡易現像部１５１０にて行った簡易現像処理時のものと同じものを使用する。

ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１５１０で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、予め、簡易現像部１５１０で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２１４へ進み、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えていなければ、Ｓ１２１５に進み、記録再生部１５５１が該当する静止画ファイルを外部ストレージやサーバ等の記録媒体から読み出して、拡大処理を行い再生表示する。

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えた場合Ｓ１２１７に進む。ここで、Ｓ１６０７にて開始した高画質現像処理が終了していなかった場合、Ｓ１２１８にて視覚効果画像を表示する。Ｓ１２１７で高画質現像処理が終了していた場合、Ｓ１２２０で外部ストレージやサーバの記録媒体から高画質現像画像を読み出し、拡大表示を行い再生表示する。図１６のフローチャートにおける他の処理動作は、第１の実施形態での動作(図１２）と同様である。

上述した本実施形態によっても、画像処理装置が、画像再生時の拡大表示において、ＲＡＷ画像の高画質現像を必要とした場合でも、ユーザーのストレス低減の効果を得ることができる画像処理を提供することが可能となる。

（第２の実施形態の変形例）
実施形態２では、画像拡大時のＲＡＷ現像開始指示タイミングは（ＲＡＷ画像取得指示）、ユーザー指示の拡大率Ｍが予め設定された拡大率（α）に到達した場合とした。ここでは、拡大操作が開始されたタイミングを、現像開始指示タイミングとする例を、第２の実施形態の変形例として説明する。本変形例は、拡大表示処理動作のフローチャートが第２の実施形態と異なるだけで、それ以外の撮像装置、動作モード、視覚効果画像等の他の構成は同様であるのでここでの説明は省略する。

図１７に本実施形態に係わる拡大表示処理動作のフローチャートを示す。同図において、第２の実施形態（図１６）と同様の部分は同じ符号を付して示す。第２の実施形態の拡大表示処理動作（図１６）と異なるのは、Ｓ１２０４〜Ｓ１２０６がないことである。従って、拡大表示処理動作が開始され、高画質現像済みの静止画ファイルがないと判断されて時点で（Ｓ１２０１でＮＯ）、現像開始指示部１５５３がＲＡＷファイルの取得の指示を出して高解像現像処理を開始させる（Ｓ１６０７）。

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、ネットワーク上の高画質現像機能で現像されたものであるかどうかを判定する。判定方法は、第１の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。

Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ１７０２に進む。そこでは、記録再生部１５５１が該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、拡大処理を行い再生表示する。拡大表示が終了するまで、Ｓ１７０２−Ｓ１７０３を繰り返す。

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１５１０で現像処理された静止画ファイルであることを意味するのでＳ１６０７に進み、ネットワーク上の高画質現像機能にて高画質現像を実行するための指示を行う。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合の現像パラメータは、簡易現像部１５１０にて行った簡易現像処理時のものと同じものを使用する。

ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１５１０で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、あらかじめ、簡易現像部１５１０で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２１４へ進み、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えていなければ、Ｓ１２１５に進み、記録再生部１５５１が該当する静止画ファイルを記録媒体から読み出して、拡大処理を行い再生表示する。

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えた場合Ｓ１２１７に進む。ここで、Ｓ１６０７にて開始した高画質現像処理が終了していなかった場合、Ｓ１２１８にて視覚効果画像を表示する。Ｓ１２１７で高画質現像処理が終了していた場合、Ｓ１２２０で外部ストレージやサーバの記録媒体から高画質現像画像を読み出し、拡大表示を行い再生表示する。

Ｓ１２０３、Ｓ１２１６、Ｓ１２１９、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。

視覚効果画像の表示例については、第２の実施形態と同じものとし、ここでの説明は省略する。また、ファイル構成など、ここで言及していない部分は第２の実施形態と同様とし、ここでの説明は省略する。

（実施形態３）
図１８は、本実施形態に係る撮像装置の構成例を示すブロック図である。同図において、第１の実施形態または第２の実施形態と同様の部分は、同じ符号を付して示す。図１８に示した撮像装置１８００は、被写体を撮像して得られた画像情報を外部の装置やサーバ（クラウド）等と送受信する機能や、外部の装置やサーバから得た画像情報を再生し、表示する機能を有する。これらに着目した場合、本実施形態に係る撮像装置も、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することが出来る。

本実施形態に係わる撮像装置１８００は、第２の実施形態と同様に高画質現像処理を外部に付託する構成をとると共に、拡大表示のための処理および視覚効果画像処理も外部に付託する構成とする。このため、高画質現像処理及び拡大表示のための画像処理が外部で終了するまでに待ち時間が生じた場合は、視覚効果画像の表示を行う。また、静止画再生モードにおいては、拡大表示だけでなく、縮小表示も可能とする。

再生動作が開始されると、記録再生部１８５１は、通信部１５２を介して、外部のストレージやサーバから所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、ネットワーク上の高画質現像機能に対して再生対象のファイルの現像指示を行う。ネットワーク上にて、圧縮された状態のＲＡＷファイルを復号して伸張し、画像ファイル（静止画ファイル、又は、動画ファイル）に変換したものを、通信部１５２を介して取得する。

再生時、簡易現像部１５１０によって現像された簡易現像画像に対し、タッチパネルなどの操作部１６２によって拡大指示がなされると、制御部１８６１によって検出され、拡大率情報が現像開始指示部１５５３と画像処理指示部１８５２に入力される。画像処理指示部１８５２は拡大率に応じた画像処理指示を、通信部１５２を介してネットワーク上の画像処理機能に対して行う。また拡大率に応じて現像開始指示部１５５３は対応するＲＡＷを高画質に現像するよう現像開始指示を、通信部１５２を介してネットワーク上の高画質現像機能に対して行う。高画質現像し、現像された画像をネットワーク上より転送し、表示部１２３にて表示可能となるまでの間、ネットワーク上の画像処理機能に対して視覚効果画像処理の指示を行い、視覚効果を処理された画像が表示部１２３にて表示される。

次に、撮像装置１８００の静止画再生モードにおける動作について説明する。
図１９に、本実施形態に係わる撮像装置の静止画再生モードの処理動作のフローチャートを示す。同図において、第１の実施形態（図６）と同様の部分は同じ符号を付して示す。図１９のフローチャートは、制御部１８６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１８６１が有するメモリ（ＲＯＭ）に格納されるプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図１９において静止画再生モードの処理が開始されると（Ｓ１９００）、制御部１８６１が撮像装置１８００の処理負荷状況が低いか否かを判定し（Ｓ６０１）、負荷状況に応じた頻度でアイドル状態（Ｓ６１０）へ遷移し、そうでなければＳ６０２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ６１０へ遷移する。ユーザーからの操作に応じて静止画の再生が開始されている（再生中の状態を含む）場合はＳ６０２へ進む。

Ｓ６０２において、制御部１８６１が、再生される静止画について、ユーザーから拡大表示の指示を受けているかを判定する。拡大表示があればＳ６０３に進み、拡大表示がなければＳ１９２０に進む。Ｓ１９２０において、制御部１８６１が、再生される静止画について、ユーザーから縮小表示の指示を受けているかを判定する。縮小表示があればＳ１９２４に進み、縮小表示がなければＳ６２０に進む。

表示例７２０のように拡大表示する場合、図１９のフローはＳ６０２からＳ６０３へ遷移する。表示例７００のように縮小表示する場合は、Ｓ６０２からＳ１９２０、Ｓ１９２４と遷移する。表示例７１０のような場合は、表示部１２３の表示画素数が簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）、であれば等倍もしくは縮小での表示であるため、Ｓ６０２からＳ１９２０へ遷移する。

Ｓ１９２０において、再生対象の静止画ファイルを縮小表示しない場合、Ｓ６２０へ進み、記録再生部１８５１が、外部ストレージやサーバの記録媒体等から再生対象の静止画ファイルを読み出す。そして、Ｓ６２１において、静止画伸張部１４３が、静止画ファイルを復号して伸張し、Ｓ６２２において、表示処理部１２２が図７の各図に示すような形態で表示画像を表示部１２３へ出力する（Ｓ６２２）。

図２０に、本実施形態に係わる撮像装置おける拡大表示処理動作のフローチャートを示す。同図において、第１の実施形態（図１２）又は第２の実施形態（図１６）と同様の部分は同じ符号を付して示す。Ｓ２００１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ２００２に進む。Ｓ２００２では、該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、ネットワーク上の画像処理機能に対し拡大処理指示を行う。記録再生部１８５１が拡大処理後の画像ファイルを読み出し、Ｓ２００３にて再生表示する。拡大表示が終了するまで、Ｓ２００２−Ｓ２００４を繰り返す。

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１５１０で現像処理された静止画ファイルであることを意味するのでＳ１２０４に進む。ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１５１０で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、あらかじめ、高画質現像を開始する高画質現像開始拡大率α、簡易現像部１８１０で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２０４で拡大率Ｍがあらかじめ設定した高画質現像開始拡大率αを超えていなければ、Ｓ２００６に進み、該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、ネットワーク上の画像処理機能に対し拡大処理指示を行う。記録再生部１８５１が拡大処理後の画像ファイルを読み出し、Ｓ２００７にて再生表示する。

Ｓ１２０４で拡大率Ｍが高画質現像開始拡大率αを超えていた場合、Ｓ１６０７に進み、ネットワーク上の高画質現像機能に高画質現像を指示する。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合の現像パラメータは、簡易現像部１５１０にて行った簡易現像処理時のものと同じものを使用する。

その後Ｓ１２１４へ進み、拡大率Ｍがあらかじめ設定した表示限界拡大率βを越えているかどうかを判定する。Ｓ１２１４で拡大率Ｍが表示限界拡大率βを超えていなければ、Ｓ２０１１に進み、記録再生部１８５１が該当する静止画ファイルを外部ストレージやサーバ等の記録媒体から読み出して、ネットワーク上の画像処理機能に対し拡大処理指示を行う。記録再生部１８５１が拡大処理後の画像ファイルを読み出し、Ｓ２０１２にて再生表示する。

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えた場合Ｓ１２１７に進む。ここで、Ｓ１６０７にて開始した高画質現像処理が終了していなかった場合、Ｓ２０１５にて、現像開始指示部１５５３がネットワーク上の画像処理機能に対して視覚効果画像処理を指示する。記録再生部１８５１が処理された視覚効果画像ファイルを読み出し、Ｓ２０１６にて表示する。

Ｓ１２１７にて開始した高画質現像処理が終了した場合、Ｓ２０１８にてＲＡＷ現像画像を用いた拡大処理を、ネットワーク上の画像処理機能に対し指示を行う。Ｓ２０１９にて、Ｓ２０１８で指示を行った拡大画像をネットワーク上から取得し表示可能な状態でなかった場合、Ｓ２０２０にてネットワーク上の画像処理機能に対して視覚効果画像処理を指示する。記録再生部１８５１が処理された視覚効果画像ファイルを読み出し、Ｓ２０２１にて表示する。Ｓ２０１９にて拡大画像をネットワーク上から取得し表示可能な状態になった場合、Ｓ１２２０で高画質現像画像の拡大画像を再生表示する。

Ｓ１２０３、Ｓ１２０６、Ｓ１２１６、Ｓ１２１９、Ｓ２０２２、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。

上述した本実施形態によっても、画像処理装置が、画像再生時の拡大表示において、ＲＡＷ画像の高画質現像を必要とした場合でも、ユーザーのストレス低減の効果を得ることができる画像処理を提供することが可能となる。（第３の実施形態の変形例）

実施形態３では、画像拡大時のＲＡＷ現像開始指示タイミング（ＲＡＷ現像開始指示）、ユーザー指示の拡大率Ｍが予め設定された拡大率（α）に到達した場合とした。ここでは、拡大操作が開始されたタイミングを、現像開始指示タイミングとする例を、第３の実施形態の変形例として説明する。本変形例は、拡大表示処理動作のフローチャートが第３の実施形態と異なるだけで、それ以外の撮像装置、動作モード、視覚効果画像等の他の構成は同様であるのでここでの説明は省略する。

図２１に、本実施形態に係わる拡大表示処理動作のフローチャートを示す。同図において、第３の実施形態（図２０）と同様の部分は同じ符号を付して示す。第３の実施形態の拡大表示処理動作（図２０）と異なるのは、Ｓ２００６、Ｓ２００７、Ｓ１２０６がないことである。従って、拡大表示処理動作が開始され、高画質現像済みの静止画ファイルがないと判断されて時点で（Ｓ１２０１でＮＯ）、ＲＡＷファイルの取得の指示を出して高解像現像処理を開始させる（Ｓ１６０７）。

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１８６１が、再生対象となって表示されるべき画像の静止画ファイルが、ネットワーク上の高画質現像機能で現像されたものであるかどうかを判定する。判定方法は、第３の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ２００２に進む。そこでは、記録再生部１８５１が該当する高画質の静止画ファイルを外部ストレージやサーバの記録媒体等から読み出し、ネットワーク上の画像処理機能に対し拡大処理指示を行う。記録再生部１８５１が拡大処理後の画像ファイルを読み出し、Ｓ２００３にて再生表示する。拡大表示が終了するまで、Ｓ２００２−Ｓ１２０３を繰り返す。

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１５１０で現像処理された静止画ファイルであることを意味しＳ１６０７に進み、ネットワーク上の高画質現像機能にて高画質現像を実行する。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合の現像パラメータは、簡易現像部１５１０にて行った簡易現像処理時のものと同じものを使用する。

ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１５１０で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、あらかじめ、簡易現像部１５１０で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２１４へ進み、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えているかどうかを判定し、超えていなければ、Ｓ２０１１に進む。Ｓ２０１１では、記録再生部１８５１が該当する静止画ファイルを外部ストレージやサーバ等の記録媒体から読み出して、ネットワーク上の画像処理機能に対し拡大処理指示を行う。記録再生部１８５１が拡大処理後の画像ファイルを読み出し、Ｓ２０１２にて再生表示する。

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えた場合Ｓ１２１７に進む。ここで、Ｓ１６０７にて開始した高画質現像処理が終了していなかった場合、Ｓ２０１５にてネットワーク上の画像処理機能に対して視覚効果画像処理を指示する。記録再生部１８５１が処理された視覚効果画像ファイルを読み出し、Ｓ２０１６にて表示する。

Ｓ１６０７にて開始した高画質現像処理が終了した場合、Ｓ２０１８にて、画像処理指示部１８５２が、ＲＡＷ現像画像を用いた拡大処理をネットワーク上の画像処理機能に対し指示する。Ｓ２０１９にて、Ｓ２０１８で指示を行った拡大画像をネットワーク上から取得し表示可能な状態でなかった場合、Ｓ２０２０にて、現像開始指示部１５５３が、ネットワーク上の画像処理機能に対して視覚効果画像処理を指示する。記録再生部１８５１が処理された視覚効果画像ファイルを読み出し、Ｓ２０２１にて表示する。Ｓ２０１９にて拡大画像をネットワーク上から取得し表示可能な状態になった場合、Ｓ１２２０で高画質現像画像の拡大画像を再生表示する。

Ｓ１２０３、Ｓ１２１６、Ｓ１２１９、Ｓ２０２２、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。

視覚効果画像の表示例については、第３の実施形態と同じものとし、ここでの説明は省略する。

（実施形態４）
図２２は、本実施形態に係る撮像装置の構成例を示すブロック図である。なお、同図において、第１の実施形態（図１）と同様の部分は、同じ符号を付して示す。図２２に示した撮像装置２２００は、被写体を撮像して得られた画像情報を記録媒体に記録したり、画像情報を記録媒体から再生したり、現像処理して表示する機能を有する。これらに着目すると、本実施形態に係る撮像装置も、画像処理装置、記録装置、再生装置、記録再生装置等と表現することができる。

図２２に示した撮像装置２２００は、通信部１５２や通信端子１５４に替えて、記録媒体１５５を備えている。すなわち、本実施形態の撮像装置２２００は、外部の装置やサーバに画像情報を転送記録するのではなく、撮像装置内のストレージ（記録媒体１５５）で画像情報を記録する構成を有する。なお、その他の構成は上述した第１の実施形態と同様のため、説明は省略する。

撮影によって得られたＲＡＷファイルと、静止画ファイルや動画ファイルは、記録再生部１５１によって、記録媒体１５５に記録される。記録媒体１５５は、例えば内蔵式の大容量半導体メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５５から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。

再生動作が開始されると、記録再生部１５１は、記録媒体１５５から所望のファイルを取得して再生する。記録媒体１５５からの画像の再生時、簡易現像部１１１によって現像された簡易現像画像に対し、タッチパネルなどの操作部１６２によって拡大指示がなされると、制御部１６１によって検出され、拡大率情報が現像開始指示部１５３に入力される。拡大率に応じて現像開始指示部１５３は対応するＲＡＷを高画質に現像するよう現像開始指示を高画質現像部１１２に対して行う。高画質現像部１１２にて現像している間、表示処理部１２２にて視覚効果の付加処理を行い、表示部１２３にて表示される。

図２３に本実施形態に係わる撮像装置における拡大表示処理動作のフローチャートを示す。同図において、第１の実施形態と同様の部分は同じ符号を付して示す。

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像部１１２で現像されたものであるかどうかを判定する。判定方法は、第１の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。

Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ１２０２に進む。そこでは、記録再生部１５１が該当する高画質の静止画ファイルを記録媒体１５５等から読み出し、拡大処理を行い再生表示する。拡大表示が終了するまで、Ｓ１２０２−Ｓ１２０３を繰り返す。

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１１１で現像処理された静止画ファイルであることを意味するのでＳ１２０４に進む。ユーザーから指示された拡大率Ｍが所定の拡大率以下の場合、簡易現像部１１１で現像処理された静止画ファイルでも十分な画質で表示することができる。所定の拡大率として、予め、高画質現像を開始する高画質現像開始拡大率α、簡易現像部１１１で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２０４で拡大率Ｍがあらかじめ設定した高画質現像開始拡大率αを超えていなければ、Ｓ１２０５に進み、記録再生部１５１が該当する静止画ファイルを記録媒体から読み出して、拡大処理を行い再生表示する。

Ｓ１２０４で拡大率Ｍが高画質現像開始拡大率αを超えていた場合、Ｓ１２０７に進み、高画質現像部１１２にて高画質現像の実行を開始する。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合、対応する簡易現像画像が簡易現像部１１１にて簡易現像処理された時と同じ現像パラメータを用いて現像処理を行う。

その後Ｓ１２１４へ進み、拡大率Ｍが表示限界拡大率βを超えているかどうかを判定し、超えていなければＳ１２１５に進み、記録再生部１５１が該当する静止画ファイルを記録媒体から読み出して、拡大処理を行い再生表示する。

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを越えている場合は、Ｓ１２１７に進む。ここで、Ｓ１２１７にて開始した高画質現像処理が終了しているかどうかを判定し、終了していなかった場合、Ｓ１２１８にて視覚効果画像を表示する。Ｓ１２１７で高画質現像処理が終了していた場合、Ｓ１２２０で高画質現像画像を用いて拡大表示を行い再生表示する。

Ｓ１２０３、Ｓ１２０６、Ｓ１２１６、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。

視覚効果画像の表示例については、上述の各実施形態と同じものとし、ここでの説明は省略する。

なお、本実施形態は、記録再生部１５１の構成を、第１の実施形態における通信部１５２と本実施形態の記録媒体１５５に対して選択的に接続する構成とし、記録先及び再生元を選択する構成としてもよい。この場合、第２および第３の実施形態で示した外部への高画質現像処理を付託し、現像処理部を簡易現像部１１１だけにすることも可能である。

上述した本実施形態によっても、画像処理装置が、画像再生時の拡大表示において、ＲＡＷ画像の高画質現像を必要とした場合でも、ユーザーのストレス低減の効果を得ることができる画像処理を提供することが可能となる。

（第４の実施形態の変形例）
上述の第４の実施形態では、画像拡大時のＲＡＷ現像開始指示タイミングは（ＲＡＷ現像開始指示）、予め設定された拡大率（α）に到達した場合とした。本実施形態では、拡大操作が開始されたタイミングを、現像開始指示タイミングとする例を、第４の実施形態の変形例として説明する。本変形例は、拡大表示処理動作のフローチャートが第４の実施形態と異なるだけで、それ以外の撮像装置、動作モード、視覚効果画像等の他の構成は同様であるのでここでの説明は省略する。

図２４に、本変形例に係わる拡大表示処理動作のフローチャートを示す。同図において、第１の実施形態（図１２）と同様の部分は同じ符号を付して示す。本変形例の拡大表示処理動作において、第１の実施形態の拡大表示処理動作（図１２）と異なるのは、Ｓ１２０４〜Ｓ１２０６がないことである。従って、拡大表示処理動作が開始され、高画質現像済みの静止画ファイルがないと判断されて時点で（Ｓ１２０１でＮＯ）、ＲＡＷファイルの取得の指示を出して高解像現像処理を開始させる（Ｓ１２０７）。

タッチパネルなどの操作部１６２によってユーザーから拡大指示がなされると、Ｓ１２０１において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像部１１２で現像されたものであるかどうかを判定する。判定方法は、第１の実施形態と同様であり、また、操作部１６２による拡大操作方法についても同様である。

Ｓ１２０１で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ１２０２に進む。そこでは、記録再生部１５１が該当する高画質の静止画ファイルを記録媒体１５５等から読み出し、拡大処理を行い再生表示する。拡大表示が終了するまで、Ｓ１２０２−Ｓ１２０３を繰り返す。

Ｓ１２０１で、高画質現像されたものでない場合は、簡易現像部１１１で現像処理された静止画ファイルであることを意味するのでＳ１２０７に進み、高画質現像部１１２にて高画質現像を実行させる。この場合、対応するＲＡＷファイル全体を現像するのではなく、拡大表示するエリアのみを切り出して現像することにより、処理負荷の軽減となる。また、高画質現像を行う場合、対応する簡易現像画像が簡易現像部１１１にて簡易現像処理された時と同じ現像パラメータを用いて現像処理を行う。

ユーザーから指示された拡大率Ｍが所定の表示限界拡大率（β）以下の場合、簡易現像部１１１で現像処理された静止画ファイルでも十分な画質で表示することができる。あらかじめ、簡易現像部１１１で現像処理された静止画ファイルの表示限界拡大率βを設定しておく。Ｓ１２１４で、拡大率Ｍがあらかじめ設定した表示限界拡大率βを超えているかどうかを判定し、越えていなければ、Ｓ１２１５に進み、記録再生部１５１が該当する静止画ファイルを記録媒体から読み出して、拡大処理を行い再生表示する。

Ｓ１２１４で、拡大率Ｍが表示限界拡大率βを超えていた場合は、Ｓ１２１７に進む。ここで、Ｓ１２０７にて開始した高画質現像処理が終了していなかった場合、Ｓ１２１８にて視覚効果画像を表示する。Ｓ１２１８で高画質現像処理が終了していた場合、Ｓ１２２０で高画質現像画像を用いて拡大表示を行い再生表示する。

Ｓ１２０３、Ｓ１２１６、Ｓ１２２１にて拡大表示が終了するまで、各々処理を繰り返す。

視覚効果画像の表示例については、上述の第４の実施形態と同じものとし、ここでの説明は省略する。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (20)

1. ＲＡＷ画像情報に第１の処理を行うことにより生成された第１の画像を取得する第１の取得手段と、
   前記ＲＡＷ画像情報に第２の処理を行うことにより生成された第２の画像を取得する第２の取得手段と、
   前記第１の画像又は前記第２の画像を表示する表示手段と、
   前記表示手段に表示された前記第１の画像に対して拡大表示を指示する指示手段と、
   前記指示手段により指示された拡大表示の拡大率に応じて、前記拡大率が所定の拡大率より大きくなったときに前記第１の画像から前記第２の画像へと切り替えて拡大表示を行うよう前記表示手段を制御する表示制御手段と、を有し、
   前記第２の処理は、前記拡大表示が指示されて前記拡大率が前記所定の拡大率より大きくなるより前にあらかじめ開始されることを特徴とする画像処理装置。
2. 前記第２の処理は、前記表示制御手段が前記第１の画像から前記第２の画像へと表示を切り替える制御を行うか否かを判定する条件とは異なる条件に基づいて開始されることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記拡大率が第１の所定値より大きい場合には前記第１の画像から前記第２の画像へと切り替えて拡大表示を行い、前記第１の所定値以下の場合には前記第１の画像を拡大表示するよう前記表示手段を制御することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表示制御手段は、前記拡大率が第１の所定値より大きい場合に前記第２の処理の実行状態を識別可能に表示するよう前記表示手段を制御することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記第２の処理は、前記指示手段により指示された拡大表示の前記拡大率に応じて取得された前記ＲＡＷ画像情報に対して行われることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記ＲＡＷ画像情報は、前記拡大率が、第１の所定値よりも小さい第２の所定値より大きい場合に、取得されることを特徴とする請求項５に記載の画像処理装置。
7. 前記第２の処理は、前記拡大率が、第１の所定値よりも小さい第２の所定値より大きい場合に開始されることを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記第２の処理は、前記指示手段が拡大表示を指示した時に開始されることを特徴とする請求項５に記載の画像処理装置。
9. 前記表示制御手段は、前記第１の画像から前記第２の画像へと切り替える拡大表示において、前記第２の処理が終了していない場合には、前記第２の処理の実行状態を識別可能に表示し、前記第２の処理が終了している場合には、前記第２の画像を表示するよう前記表示手段を制御することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記第２の処理の実行状態を識別可能に表示する処理は、所定の視覚効果を表示する処理を含むことを特徴とする請求項４又は９に記載の画像処理装置。
11. 前記視覚効果は、あらかじめ用意されている画像であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記第１の処理及び前記第２の処理は、前記ＲＡＷ画像情報の現像処理であり、前記第２の画像の画素数は、前記第１の画像の画素数よりも多いことを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 前記第２の処理は、画像処理装置の外部の処理手段において行われ、
    前記第２の取得手段は、前記処理手段によって前記第２の処理が行われたＲＡＷ画像情報を取得することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 前記処理手段と通信を行う通信手段をさらに備え、
    前記表示手段は、前記拡大表示において、前記処理手段に対し、前記第２の処理の実行を、前記通信手段を介して指示することを特徴とする請求項１３に記載の画像処理装置。
15. 前記処理手段は、前記第１の処理のパラメータを前記第２の処理のパラメータとして用いることを特徴とする請求項１３又は１４に記載の画像処理装置。
16. 前記指示手段はタッチパネルを含み、前記表示手段は、前記タッチパネルの操作を検出して前記拡大率の情報を取得することを特徴とする請求項１乃至１５のいずれか一項に記載の画像処理装置。
17. 前記第２の処理は、前記ＲＡＷ画像情報のうちの一部である拡大表示される領域に対して行われることを特徴とする請求項１乃至１６のいずれか一項に記載の画像処理装置。
18. ＲＡＷ画像情報に第１の処理を行うことにより生成された第１の画像を取得する第１の取得ステップと、
    前記ＲＡＷ画像情報に第２の処理を行うことにより生成された第２の画像を取得する第２の取得ステップと、
    前記第１の画像又は前記第２の画像を表示手段に表示する表示ステップと、
    前記表示手段に表示された前記第１の画像に対して拡大表示を指示する指示ステップと、
    前記指示ステップにより指示された拡大表示の拡大率に応じて、前記拡大率が所定の拡大率より大きくなったときに前記第１の画像から前記第２の画像へと切り替えて拡大表示を行うよう前記表示手段を制御する表示制御ステップと、を有し、
    前記第２の処理は、前記拡大表示が指示されて前記拡大率が所定の拡大率より大きくなるより前にあらかじめ開始されることを特徴とする画像処理方法。
19. コンピュータに、請求項１８に記載の画像処理方法の各ステップを実行させるためのプログラム。
20. 請求項１９に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。