JP2019029954A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像合成処理に応じて適切な情報を作成し、画像データに関連付けを行うようにした画像処理装置および画像処理方法を提供する。【解決手段】同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し（Ｓ３）、異なる露出条件で取得した複数の撮影画像データを用いて第１の画像合成を行い（Ｓ１７）、同一の露出条件、かつ露出以外の条件を異ならせて取得した複数の撮影画像データを用いて第２の画像合成を行い（Ｓ２３）、第１画像合成または第２画像合成によって合成された合成画像データを表すメタデータを作成する際に、第１の画像合成を行う場合と、第２の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成する（Ｓ１９、Ｓ２５）。【選択図】 図７

Description

本発明は、撮影の際に複数コマの画像データを取得し、この取得した画像データに合成処理を施し、この合成処理を施した画像データを記録することが可能な画像処理装置および画像処理方法に関する。

撮影の際に複数コマの画像データを取得し、この取得した複数の画像データに合成処理を施し記録することは従来より種々提案されている、例えば、特許文献１には、撮像方向を変位させながら複数のフレー画像データを取得し、この取得した画像データにパノラマ画像処理を施し、パノラマ画像データを生成する画像処理装置が記載されている。この画像処理装置では、全周パノラマ画像と判断される場合に、パノラマ画像データと全周パノラマ画像であることを示す情報を関連付けて記録されている。

また、写真用のメタデータを含む画像ファイルフォーマットとしてエクスチェンジャブル・イメージ・ファイル・フォーマット（Ｅｘｉｆ）が使用されている。このＥｘｉｆ情報として、シャッタ速度、絞り値（Ｆ値）、ＩＳＯ感度等の情報が画像データと共に記録される。

特開２０１５−１５６５２３号公報

複数コマの画像データに対する合成処理は、パノラマ合成処理以外にも、深度合成処理、超高解像合成処理、ハイダイナミックレンジ合成処理（ＨＤＲ）等、種々の処理がある。これらの合成処理の際に使用される撮影コマの画像データの露出条件は同じ場合もあれば、異なる場合もある。前述の特許文献１には、露出条件の記録については何ら記載されていない。これらの露出条件等の撮影条件の記録の仕方によっては、不適切な記録となってしまう。

本発明は、このような事情を鑑みてなされたものであり、画像合成処理に応じて適切な情報を作成し、画像データに関連付けを行うようにした画像処理装置および画像処理方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る画像処理装置は、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、上記画像データ取得部によって、異なる露出条件で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、上記画像データ取得部によって、同一の露出条件、かつ露出以外の条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部と、上記第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部と、を有し、上記メタデータ作成部は、上記第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成する。

第２の発明に係る画像処理装置は、上記第１の発明において、上記メタデータ作成部は、上記第１の画像合成と上記第２の画像合成を区別する情報を作成する。
第３の発明に係る画像処理装置は、上記第２の発明において、上記メタデータ作成部は、上記第１の画像合成を行った場合には上記画像データ取得部における露出条件に基づいて参考メタデータを作成し、上記第２の画像合成を行った場合には上記画像データ取得部における実際の露出条件を実施メタデータとする。

第４の発明に係る画像処理装置は、上記第１の発明において、上記メタデータ作成部は、上記第１の画像合成部によって第１の画像合成を行った場合には、上記第１の画像合成によって生成された合成画像の露出効果に相当するメタデータを作成する。

第５の発明に係る画像処理装置は、上記第１の発明において、上記メタデータ作成部は、上記第２の画像合成部によって第２の画像合成を行った場合には、上記画像データ取得部で１コマの画像データを取得する際の露出条件に基づいてメタデータを作成する。

第６の発明に係る画像処理装置は、同一の対象物に対し、第１の撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、上記画像データ取得部によって、第２の撮影条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、上記画像データ取得部によって、第２の撮影条件を変えず、第３の撮影条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部と、上記第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部と、を有し、上記メタデータ作成部は、上記第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる撮影条件を示す単一のメタデータを作成する。

第７の発明に係る画像処理方法は、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し、異なる露出条件で取得した複数の撮影画像データを用いて第１の画像合成を行い、同一の露出条件、かつ露出以外の条件を異ならせて取得した複数の撮影画像データを用いて第２の画像合成を行い、上記第１画像合成または第２画像合成によって合成された合成画像データを表すメタデータを作成する際に、上記第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成する。

本発明によれば、画像合成処理に応じて適切な情報を作成し、画像データに関連付けを行うようにした画像処理装置および画像処理方法を提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおける深度合成処理を説明する図である。 本発明の一実施形態に係るカメラにおける超高解像合成処理を説明する図である。 本発明の一実施形態に係るカメラにおけるハイダイナミックレンジ合成処理（ＨＤＲ）を説明する図である。 本発明の一実施形態に係るカメラにおけるノイズリダクション（ＮＲ）合成処理を説明する図である。 本発明の一実施形態に係るカメラにおける電子手振れ防止処理を説明する図である。 本発明の一実施形態におけるカメラのカメラ制御動作を示すフローチャートである。 本発明の一実施形態におけるカメラのカメラ制御動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおいて、メタデータの表示の例を示す図である。

以下、本発明の一実施形態としてデジタルカメラ（以下、「カメラ」と称す）に適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にスルー画表示する。撮影者はスルー画表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、本実施形態に係るカメラは、複数コマの画像データを取得し、この複数コマの画像データを用いて行う合成処理を行うことができる。この場合、複数の異なる露出条件で画像データを得て行う第１の画像合成処理と、同じ露出条件で複数の画像データを得て行う第２の画像合成処理とで、異なる露出条件（撮影条件）を示す単一のメタデータを生成し、画像データに関連付けて記録するようにしている。

図１は、本実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、制御部１０１、撮像部１０２、記録部１０５、表示部１０６、操作部１０７、通信部１０８を有する。

撮像部１０２は、光学系１０２ａ、撮像素子１０２ｂ、ピント変更部１０２ｃ、露出変更部１０２ｄ、および撮像位置変更部１０２ｄを有する。なお、ピント変更部１０２ｃ、露出変更部１０２ｄおよび撮像位置変更部１０２ｄは、設定可能なモードに応じて、適宜、省略してもよい。

光学系１０２ａは、フォーカスレンズ等の光学レンズを有し、被写体像を形成することができる。光学１０２ａのピント位置は、後述するピント変更部１０２ｃによって移動制御される。

撮像素子１０２ｂは、ＣＣＤイメージセンサ、ＣＭＯＳイメーセンサ等のイメージセンサを有する。この撮像素子１０２ｂは、光学系１０２ａによって被写体像が形成される位置付近に配置され、撮像制御部１０３ｂからの制御に従って、被写体像を画像データに変換し出力する。撮像素子１０２ｂは、同一の対象物に対し、撮影条件（第１の撮影条件）を切り換えて複数の撮影画像データを取得可能な画像データ取得部として機能する。

ピント変更部１０２ｃは、光学系１０２ａの内のフォーカスレンズを光軸方向に移動する駆動機構および駆動回路を有する。ピント変更部１０２ｃは、制御部１０３からのピント合わせ信号に基づいてフォーカスレンズを合焦位置に移動させる。また、ピント変更部１０２ｃは、深度合成モードが設定された場合に、フォーカスレンズを所定の異なるピント位置に順次移動させ、それぞれのピント位置で画像データが取得される。

露出変更部１０２ｄは、撮影時の露出条件を変更させる。露出変更部１０２ｄは、絞りおよび絞り制御回路、シャッタおよびシャッタ制御回路、ＩＳＯ感度変更回路等の内の少なくとも１つを有する。すなわち、露出変更部１０２ｄは、絞り値、シャッタ速度値、およびＩＳＯ感度の内の少なくとも１つを変更することにより、露出条件を変更する。また、露出変更部１０２ｄは、ハイダイナミックレンジ合成（ＨＤＲ）モードが設定された場合に、所定の異なる露出条件で順次撮影が行われ、それぞれの露出条件で画像データが取得される。

撮像位置変更部１０２ｅは、撮像素子１０２ｂを光軸と直交する面内で移動させる移動機構および移動回路を有する。撮像位置変更部１０２ｅは、超高解像合成モードが設定された場合に、撮像素子１０２ｂを光軸と直交する面内で所定の異なる撮像位置に撮像素子１０２ｂを順次移動させ、それぞれの撮像位置で画像データが取得される。

制御部１０１は、ＣＰＵ（Central Processing Unit）とその周辺回路およびメモリ等を有したＡＳＩＣ（Application Specific Integrated Circuit）で構成される。ＣＰＵはメモリに記憶されたプログラムに従って、カメラ１００内の各部を制御することによってカメラの全体を実行する。制御部１０１は、モード制御部１０１ｂ、表示制御部１０１ｃ、通信制御部１０１ｄ、および画像処理部１０３を有する。これらの各部の一部の機能は、ＣＰＵとプログラムによって実現され、また他の一部の機能は周辺回路によって実現される。

モード制御部１０１ｂは、ユーザによって設定されたモード等に応じて、撮像制御部１０３ｂ、撮影制御変更部１０３ｃ、画像合成部１０３ｄ等による制御を実行させる。

表示制御部１０１ｃは、表示部１０６における表示の制御を行う。表示としては、撮像素子１０２ｂによって取得された画像データに基づくスルー画表示、記録部１０５に記録された画像の再生画像表示、メニュー画面表示等、種々の表示がある。また、記録部１０５に記録された際の画像表示の際には、画像データに関連して記録されているメタデータの表示を行うようにしてもよい（後述する図９参照）。

通信制御部１０１ｄは、通信部１０８を介して行う外部との無線（赤外線等を含む）通信、または有線通信の制御を行う。本実施形態においては、後述するように、記録部１０５に記録された画像データ等は外部装置に通信可能である（図８のＳ４５、Ｓ４７参照）。

画像処理部１０３は、撮像制御部１０３ｂ、撮影制御変更部１０３ｃ、画像合成部１０３ｄ、記録制御部１０３ｅ、メタデータ作成部１０４を有する。

撮像制御部１０３ｂは、撮像素子１０２ｂから画像データの取得の制御を行う。すなわち、撮像制御部１０３ｂは、撮像素子１０２ｂの光電変換時間や画像データの読出しを制御し、読み出した画像データを制御部１０１に出力させる。

撮影制御変更部１０３ｃは、深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モード等の設定されたモードに応じて、ピント変更部１０２ｂ、露出変更部１０２ｃ、撮像位置変更部１０２ｄを制御し、設定されたモードに応じた撮影制御を実行する。

画像合成部１０３ｄは、画像処理回路等を有し、深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モード、ノイズリダクションモード、電子手振れ防止モード等に応じて、取得した複数コマの画像データに対して、画像処理を施す。深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モードにおける画像処理については、図２ないし図４を用いて後述する。

画像合成部１０３ｄは、画像データ取得部によって、異なる露出条件で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部として機能する。画像合成部１０３ｄは、画像データ取得部によって、同一の露出条件、かつ露出以外の条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部として機能する。

記録制御部１０３ｅは、画像処理部１０３によって画像処理が施された画像データを、記録部１０５に記録する際の記録制御を行う。後述するように、画像データは、メタデータ作成部１０４によって生成されたメタデータと関連付けられ、記録部１０５に記録される。画像合成モードに応じて、実施データまたは参考データのいずれかが関連付けられる（図７のＳ１３、Ｓ１９、Ｓ２５参照）。

メタデータ作成部１０４は、画像データに付随した情報を生成する。本実施形態においては、メタデータ作成部１０４は実施データ作成部１０４ａと参考データ作成部１０４ｂを有する。実施データ作成部１０４ａは、複数コマの画像データを取得した際の実際の露出条件に基づいてメタデータを生成する。参考データ作成部１０４ｂは、複数コマの画像データを取得した際の実際の複数の露出条件から参考となる露出条件を算出し、この露出条件に基づいてメタデータを生成する。

メタデータ作成部１０４は、第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部として機能する。また、このメタデータ作成部は、第１の画像合成を行う場合と、第２の画像合成を行う場合で、異なる露出条件（撮影条件）を示す単一のメタデータを作成する（例えば、図２（ｄ）、図３（ｄ）、図４（ｄ）、図７のＳ１９、Ｓ２５参照）。

メタデータ作成部は、第１の画像合成と上記第２の画像合成を区別する情報を作成する（例えば、図９（ｃ）参照）。また、メタデータ作成部は、第１の画像合成を行った場合には画像データ取得部における露出条件に基づいて参考メタデータを作成し（例えば、図７のＳ１９参照）、第２の画像合成を行った場合には画像データ取得部における実際の露出条件を実施メタデータとする（例えば、図７のＳ２５参照）。

メタデータ作成部は、第１の画像合成部によって第１の画像合成を行った場合には、第１の画像合成によって生成された合成画像の露出効果に相当するメタデータを作成する（例えば、図４、図７のＳ１９参照）。メタデータ作成部は、第２の画像合成部によって第２の画像合成を行った場合には、画像データ取得部で１コマの画像データを取得する際の露出条件に基づいてメタデータを作成する（例えば、図２、図３、図７のＳ２５参照）。

記録部１０５は、電気的に書き換え可能な不揮発性メモリを有する記録媒体である。記録部１０５には、画像データ１０５ｂと、この画像データ１０５ｂに関連付けられたメタデータ１０５ｃが記録可能である。記録部１０５に記録される画像データやメタデータ等は、例えば、Ｅｘｉｆ等の規格に従って記録される。

表示部１０６は、カメラの背面等に配置された表示ディスプレイを有し、表示ディスプレイには、スルー画表示、再生表示、メニュー画面等、種々の画像が表示される。

操作部１０７は、電源釦、レリーズ釦、再生釦、ＯＫ釦、タッチパネル等の種々の操作部材を有する。電源釦、レリーズ釦、再生釦、ＯＫ釦等の操作に応じてオンとなるスイッチを有し、操作部１０７は、スイッチの操作状態を検出し、制御部１０１に出力する。

通信部１０８は、外部機器やインターネット等と通信を行うための通信回路を有する。通信部１０８を介して、撮像素子１０２ｂによって取得され、記録部１０５に記録されたメタデータ付き画像データが外部に送信される。

次に、図２を用いて、深度合成モードが設定された場合の撮影方法と画像合成方法について説明する。図２（ａ）は、ユーザ１０がカメラ２０を用いて被写体３０を、深度合成モードで撮影する様子を示す。被写体３０の上部３０ａと下部３０ｂは、カメラ２０からの距離が異なるため、上部３０ａと下部３０ｂの両方にピントを合わせるのは困難な場合がある。このような状況で、深度合成モードが設定されると、ピントの位置を変えながら複数コマを撮影し、撮影された画像内の部分を比較し、ピントの合った部分を合成してピントの合った画像を作成する。

図２（ｂ）は、撮影タイミングとピントの合っている部分を示す。時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ１〜ｔ２の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮影画像の内、黒塗りの部分Ｆ１（上部３０ａに相当）にピント合っている。撮影が終わると、時刻ｔ２〜ｔ３の間に、ピント変更部１０２ｃによって光学系１０２ａのピント位置を移動させる。

続いて、時刻ｔ４〜ｔ４の間に２回目の撮影がなされる。この時のシャッタ速度ＳＳも１／１００秒であり、また撮影画像の内、黒塗りの部分Ｆ２（下部３０ｂに相当）にピント合っている。１回目および２回目に撮影された２つの撮影画像に深度合成処理を施すと、黒塗りの部分Ｆ１およびＦ２（上部３０ａおよび下部３０ｂ）にピントが合った画像を得ることができる。

図２（ｃ）において、画像４１は１枚目の撮影画像を示し、この撮影により被写体３０の上部３０ａ（図２（ｂ）のＦ１参照）にピントを合わせた画像データを取得する。次に、画像４２は２枚目の撮影画像を示し、この撮影により被写体３０の下部３０ｂ（図２（ｂ）のＦ２参照）にピントを合わせた画像データを取得する。

画像４１および画像４２の画像データを取得すると、次に、画像合成部１０３ｄは、両画像データを深度合成する。この深度合成処理は、画像ごとに、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域の画像データを合成する。これにより、上部３０ａおよび下部３０ｂの両方にピントがあった画像４３の画像データを生成する。深度合成処理は、単写よりも深い被写界深度の画像データを生成することができる。

また、画像合成部１０３ｄが深度合成処理によって画像データを生成すると、メタデータ生成部１０４は、メタデータも生成する。深度合成を行うための１回目の撮影と、２回目の撮影と、露出は２回行われている。１回目と２回目の露出条件はいずれもシャッタ速度ＳＳが１／１００秒であり、絞りはＦＮｏ．１６で同一であるので、露出データは、実施データとなる。そこで、メタデータ４４としては、図２（ｄ）に示すように、この共通の露出条件である実施データを記録し、参考データは記録しない。他のユーザは、この実施データを使用することにより、深度合成画像と同様の明るさの画像を得ることができる。

次に、図３を用いて、超解像合成モードが設定された場合の撮影方法と画像合成方法について説明する。図３（ａ）は、ユーザ１０がカメラ２０を用いて被写体３１を、超解像合成モードで撮影する様子を示す。被写体３１は、遠方にあり、通常の焦点距離で撮影しても被写体３１は小さく写り、拡大表示（拡大プリント）しても十分な解像度の表示とはならない。

このような図３（ａ）に示す状況で、超解像合成モードが設定されると、撮像位置変更部１０２ｅは、撮像素子１０２ｂの位置を変えながら複数コマを撮影する。そして、１回目の撮影で取得した画像における画素と画素の中間位置を、２回目から４回目の撮影において撮像素子１０２ｂの位置を変えて撮影した画像を用いて、補間することにより、解像度の高い画像を合成する。超解像合成で画像４５が生成されると、図３（ｂ）に示すように、拡大画像４６の解像度は高く、拡大鑑賞が可能となる。

図３（ｃ）は、超解像撮影時のタイミングチャートと撮像素子１０２ｂの移動を示す。時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ１１〜ｔ１２の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子１０２ｂは位置Ｐ１にある。時刻ｔ１２において撮影が終わると、撮像位置変更部１０２ｅは、時刻ｔ１３までの間に撮像素子１０２ｂを位置Ｐ２まで移動させる。

次に、時刻ｔ１３〜ｔ１４の間に２回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子１０２ｂは位置Ｐ２にある。このタイミングにおいて位置Ｐ１は破線で示しており、撮像素子１０２ｂの位置Ｐ２は図３（ｃ）に示すように、右下に所定量だけ移動している。この所定量は、画素間隔（画素ピッチ）よりも小さな値（例えば、画素ピッチの１／２）である。時刻ｔ１４において撮影が終わると、撮像位置変更部１０２ｅは、時刻ｔ１５までの間に撮像素子１０２ｂを位置Ｐ３まで移動させる。

次に、時刻ｔ１５〜ｔ１６の間に３回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子１０２ｂは位置Ｐ３にある。このタイミングにおいて位置Ｐ１は破線で示しており、撮像素子１０２ｂの位置Ｐ３は図３（ｃ）に示すように、右上に所定量だけ移動している。

以後、時刻ｔ１７〜ｔ１８において４回目の撮影がなされ、時刻ｔ１９〜ｔ２０において５回目の撮影がなされる。これらタイミングでもシャッタ速度ＳＳは１／１００秒であり、また撮像素子１０２ｂは位置Ｐ４、Ｐ５と、位置Ｐ１よりも左下、左上に所定量だけ移動している。

複数の画像データを取得すると、画像合成部１０３ｄは超解像合成処理を施す。すなわち、撮像素子１０２ｂの位置Ｐ１を基準として、画素が所定量移動した際の画像データを用いて、画素間の画素値を補間する。例えば、撮像素子１０２ｂの移動量が画素ピッチの１／２であれば、画素の前後左右１／２ピッチずれた位置の画素値を補間することができ、画素数が４倍相当の高解像の画像データとなる。

画像合成部１０３ｄが超解像合成処理によって画像データを生成すると、メタデータ生成部１０４は、メタデータも生成する。超解像合成を行うために、露出は５回行われている。１回目から５回目の露出条件はいずれもシャッタ速度ＳＳが１／１００秒であり、絞りはＦＮｏ．１６で同一であるので、露出データは、実施データとなる。そこで、メタデータ４７としては、図３（ｄ）に示すように、この共通の露出条件である実施データを記録し、参考データは記録しない。

すなわち、複数枚の画像データが生成されると、画像合成部１０３ｄは、超解像合成処理を施し、超解像成画像データを生成する。メタデータ作成部１０４は、実施データ１０４ａとして、図３に示した例では、１回の撮影の際の露出条件であるシャッタ速度ＳＳ＝１／１００秒、また絞り値ＦＮｏ．１６を生成する。ここで生成されたメタデータ（実施データ１０４ａ）は、記録部１０５内にメタデータ１０５ｃとして画像データに関連付けて記録される。他のユーザは、この実施データを使用することにより、超解像合成画像と同様の明るさの画像を得ることができる。

次に、図４を用いて、ハイダイナミックレンジ合成処理（ＨＤＲ）モードが設定された場合の撮影方法と画像合成方法について説明する。図４（ａ）は、ユーザ１０がカメラ２０を用いて、被写体である人物３２および桜の木３３を撮影する様子を示す。これらの被写体は晴天の下にあり、桜の木３３は非常に明るく、一方人物は逆光のため非常に暗くなっている。すなわち、撮像素子１０２ｂが明暗を再現できる範囲が非常に広くないと、両方の被写体の明暗を適正に表現することができない。このような場合に、ＨＤＲモードに設定して撮影を行う。

図４（ｃ）は、ＨＤＲモードに設定されたときの撮像のタイミングチャートである。図４（ａ）の状態で撮影する際の標準露出（適正露出）、すなわち、被写体３２、３３の両方を考慮した標準露出は、シャッタ速度１／１００秒、絞り値ＦＮｏ．１６とする。ＨＤＲモードが設定されると、この標準露出よりオーバ露光となる露出条件で１回目の撮影を行い、続いて、アンダ露光となる露出条件で２回目の撮影を行う。

本実施形態においては、図４（ｃ）に示すように、時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ２１〜ｔ２３の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒の２倍の露出時間（ＳＳは２／１００秒）である。続いて、時刻ｔ２４〜ｔ２５の間に２回目の撮影がなされる。このときのシャッタ速度ＳＳは１／１００の１／２倍の露出時間（ＳＳは１／２００秒）である。なお、光学系１０２ａのピント位置は１回目と２回目の撮影において同じである。

１回目の撮影で取得した露出オーバの画像データと、２回目の撮影で取得した露出アンダの画像データを用いて、画像合成部１０３ｄはＨＤＲ合成を行い、暗部から明部までの明暗の再現に優れた画像データを生成する。このＨＤＲ合成にあたっては、それぞれの画像（被写体）で適正露出となっている部分を繋ぎ合わせることによって、画面全体で白飛びや黒つぶれがない画像データを合成する。

図４（ｂ）は、ＨＤＲ合成処理を施さない画像４８と、ＨＤＲ合成処理を施した画像４９を示す。ＨＤＲ合成処理を施していない画像４８は、桜の木３３は白飛びとなっており、一方人物３２は黒つぶれとなっている。これに対して、ＨＤＲ合成処理を施した画像４９は、桜の木３３および人物３２は適正に明暗が表現されている。

ＨＤＲ合成処理を施した画像４９のメタデータ５０は、図４（ｂ）に示すように、シャッタ速度ＳＳ＝１／１００秒、絞りＦＮｏ．＝１６である。前述したように、ＨＤＲ合成モードでは、露出は２回行われているが、各々異なる露出量であることから、実施データ（ＳＳ：１／５０、１／２００）１０４ａを記録せず、参考データ（ＳＳ：１／１００）１０４ｂを記録する（図４（ｄ）参照）。

すなわち、複数枚の画像データが生成されると、画像合成部１０３ｄは、ＨＤＲ合成処理を施し、ＨＤＲ合成画像データを生成する。メタデータ作成部１０４は、参考データ１０４ｂとして、図４に示した例では、ＨＤＲ合成によって生成された画像の露出条件に相当するシャッタ速度ＳＳ＝１／１００秒、また絞り値ＦＮｏ．１６を生成する。ここで生成されたメタデータ（参考データ１０４ｂ）は、記録部１０５内にメタデータ１０５ｃとして画像データに関連付けて記録される。この参考データで撮影すれば、色表現などを除けば、同様の明るさの画像を得ることができる。

次に、図５を用いて、ノイズリダクションモード（ＮＲモード）が設定された場合の撮影タイミングについて説明する。ＩＳＯ感度を高感度に設定すると、画像にノイズが増加し、見苦しくなる。そこで、同一の露出条件で複数コマの撮影を行い、各画像の対応する画素の出力値を平均化することにより、ノイズを低減させた画像を合成することができる。

ＮＲモードが設定された状態で、レリーズ釦が操作され撮影が開始すると、時刻ｔ３１〜ｔ３２、ｔ３３〜ｔ３４、ｔ３５〜ｔ３６、ｔ３７〜ｔ３８、ｔ３９〜ｔ４０の間で、撮影が行われる。このときの露出条件は、いずれもシャッタ速度ＳＳは１／１００秒であり、ＩＳＯ感度は６４００である。なお、ＮＲモードの際の撮影回数は、適宜、最適な回数を選択すればよい。

複数枚の画像データが生成されると、画像合成部１０３ｄは、対応する画素の画素値の平均値を算出し、ＮＲ合成画像データを生成する。メタデータ作成部１０４は、実施データ１０４ａとして、図５に示した例では、各撮影の際の露出条件、すなわちシャッタ速度ＳＳとして１／１００秒、ＩＳＯ感度６４００を生成する。ここで生成されたメタデータ（実施データ１０４ａ）は、記録部１０５内にメタデータ１０５ｃとして画像データに関連付けて記録される。

次に、図６を用いて、電子手振れ防止モードが設定された場合の撮影タイミングについて説明する。カメラを保持するユーザの手が振れていると、画像がぶれてしまい、見苦しい画像となってしまう。そこで、同一の露出条件で複数コマの撮影を行い、各画像の画素位置を手振れ量に応じてずらし、対応する画素の出力値を平均化することにより、手振れを軽減させた画像データを得ることができる。

電子手振れ防止モードが設定された状態で、レリーズ釦が操作され撮影が開始すると、時刻ｔ４１〜ｔ４２、ｔ４３〜ｔ４４、ｔ４５〜ｔ４６、ｔ４７〜ｔ４８、ｔ４９〜ｔ５０の間で、撮影が行われる。このときの露出条件は、いずれもシャッタ速度ＳＳは１／１００秒であり、ＩＳＯ感度は６４００である。なお、手振れ量が所定量以上の場合には（図６の時刻ｔ４３〜ｔ４４の撮影参照）、手振れ補正が困難な場合が多いので、手振れ防止合成処理の対象画像から除外する。電子手振れ防止モードの際の撮影回数は、適宜、最適な回数を選択すればよい。

複数枚の画像データが生成されると、画像合成部１０３ｄは、手振れ量を検出し、この手振れ量に応じて、画素の位置をずらして、対応する画素の画素値の平均値を算出し、電子手振れ防止画像データを生成する。手振れ量は、ジャイロ等のセンサ出力を利用してもよく、また２つの画像データの相関演算により手振れ量を算出してもよい。

メタデータ作成部１０４は、実施データ１０４ａとして、図６に示した例では、各撮影の際の露出条件、すなわちシャッタ速度ＳＳとして１／１００秒、ＩＳＯ感度６４００を生成する。ここで生成されたメタデータ（実施データ１０４ａ）は、記録部１０５内にメタデータ１０５ｃとして画像データに関連付けて記録される。

図２ないし図６を用いて説明したように、本実施形態においては、複数コマの露出を行い、この露出によって取得した画像データを用いて画像合成部１０３ｄが画像合成を行っている。メタデータ生成部１０４は、画像合成の種類に応じて、実施データ１０４ａまたは参考データ１０４ｄのいずれかを作成し、記録部１０５内にメタデータ１０５ｃを記録するようにしている。

メタデータの作成にあたっては、複数コマのそれぞれのコマでの露出条件が同じ場合には、実際に制御した露出条件を実施データ１０４ａとして作成している。一方、複数コマのそれぞれのコマでの露出条件が異なる場合には、合成処理によって生成された画像に相当する露出条件を算出して、この露出条件を参考データ１０４ｂとして作成している。

また、メタデータとして、メタデータ作成部１０４は、合成処理を区別するための情報も作成し、この合成処理を区別するための情報を記録部１０５に記録するようにしてもよい。この場合、メタデータ作成部１０４で作成したデータが、実施データであるか、参考データであるかを区別できるような情報であってもよい。

なお、画像合成処理としては、上述した深度合成処理、超解像合成処理、ＨＤＲ合成処理、ＮＲ合成処理、電子手振れ防止合成処理に限らず、例えば、比較明合成処理、比較暗合成処理、平均加算合成処理、ライブバルブ合成処理等、複数コマの画像データを用いて合成処理を行うものであればよい。この場合、例えば、比較明合成処理の場合には、トータルの露出時間を実施データとしてメタデータとして記録すればよい。

次に、図７および図８に示すフローチャートを用いて、本実施形態におけるカメラ制御について説明する。このフローチャートは、制御部１０１内のＣＰＵがメモリに記憶されたプログラムに従って、カメラ内の各部を制御することにより、実行する。

カメラ制御のフローに入ると、まず、撮影モードか否かを判定する（Ｓ１）。カメラのモードは、ユーザが再生モード等他のモードに設定しなければ、デフォルトとして撮影モードに設定されている。このステップでは、モードの設定状態を検出し、その検出結果に基づいて判定する。

ステップＳ１における判定の結果、撮影モードであれば、次に、スルー画用撮像を行う（Ｓ３）。ここでは、撮像素子１０２ｂによって取得された画像データを取得する。この画像データは所定のフレームレートで繰り返し取得される。

スルー画用撮像を行うと、次に、スルー画表示、ピント合わせ、標準露出を設定する（Ｓ５）。ステップＳ３において取得した画像データに対して、画像処理部１０３においてスルー画表示用の画像処理を施し、この処理された画像データに基づいて、表示部１０６にスルー画表示を行う。スルー画表示は所定のフレームレートで更新される。また、取得した画像データのコントラスト値を算出し、このコントラスト値がピークとなるように、光学系１０２ａのフォーカスレンズの位置を調整する。なお、ピント合わせは、前述のコントラストＡＦ以外にも位相差ＡＦ等、他の方法によって行ってもよい。また、画像データから輝度情報等を算出し、この輝度情報に基づいて、シャッタ速度、絞り値、ＩＳＯ感度等の標準露出を設定する。

続いて、モード切換があったか否かを判定する（Ｓ７）。操作部１０７の操作部材によってモードの切換を行うことができる。ここでのモードは、前述した撮影モード、再生モードの他、深度合成モード、超解像合成モード、ＨＤＲ合成モード等、複数コマの露出を行い、合成処理を行うモードを含む。

ステップＳ７における判定の結果、モード切換があった場合には、モード設定を行う（Ｓ９）。ここでは、操作部１０７によるモードに切換に応じて、モード制御部１０１ｂにおけるモードを設定する。

ステップＳ９においてモード設定を行うと、またはステップＳ７における判定の結果、モード切換がなかった場合には、次に、レリーズスイッチが操作されたか否かを判定する（Ｓ１１）。レリーズ釦が操作されると、レリーズスイッチの状態が変化する。ここでは、レリーズスイッチの状態変化に基づいて判定する。この判定の結果、レリーズスイッチが操作されていない場合には、ステップＳ１に戻る。

ステップＳ１１における判定の結果、レリーズスイッチが操作された場合には、次に、露出変更を伴うモードか否かを判定する（Ｓ１３）。ここでは、最初に設定されているモード、またはステップＳ９において設定されたモードに基づいて判定する。露出変更を伴うモードとしては、例えば、ＨＤＲ合成モードがある。また、露出変更を伴わないモードとしては、例えば、深度合成モード、超解像合成モード、ノイズリダクション（ＮＲ）モード、電子手ブレ防止モード等がある。

ステップＳ１３における判定の結果、露出変更を伴うモードの場合には、標準露出から長秒時、短秒時に変更して複数枚の撮影を行う（Ｓ１５）。この場合は、複数コマの撮影を行う際に、それぞれのコマで露出条件が異なる場合である。例えば、図４を用いて説明したＨＤＲ合成モードでは、１コマ目では標準露出（ステップＳ５において設定）よりも露出オーバとなるように、シャッタ速度を長秒時に設定し、２コマ目では標準露出よりも露出アンダとなるようにシャッタ速度を短秒時に設定し、撮影している。

続いて、画像合成を行う（Ｓ１７）。ここでは、ステップＳ１５において取得した複数の画像データに対して、画像合成部１０３ｄが設定されているモードに従って、画像合成処理を施す。

画像合成を行うと、次に、画像データとメタデータ（参考露出）を記録する（Ｓ１９）。ここでは、メタデータ作成部１０４が参考データ１０４ｂを作成する。参考データ１０４ｂは、前述したように、画像合成によって生成された画像の効果に相当する露出条件を示すデータである。この作成された参考データ１０４ｂは、ステップＳ１７において合成された画像データに関連付けられて記録部１０５の画像データ１０５ｂおよびメタデータ１０５ｃとして記録される。データの記録を行うと、ステップＳ１に戻る。

ステップＳ１３に戻り、このステップでの判定の結果、露出変更を伴うモードでない場合には、標準露出でピントや撮像素子位置を変更して複数枚の撮影を行う（Ｓ２１）。ここでは、設定されているモードに応じた処理を行う。例えば、深度合成モードが設定されている場合には、ピント位置を変更し、変更した複数のピント位置でそれぞれ撮影を行う。また、超解像合成モードが設定されている場合には、撮像素子１０２ｂの位置を変更し、変更した複数の位置でそれぞれ撮影を行う。このときの露出条件は、ステップＳ５において算出された標準露出である。

続いて、画像合成を行う（Ｓ２３）。ここでは、ステップＳ２１において取得した複数の画像データに対して、画像合成部１０３ｄが設定されているモードに従って、画像合成処理を施す。

画像合成を行うと、次に、画像データとメタデータ（実施露出）を記録する（Ｓ２５）。ここでは、メタデータ作成部１０４が実施データ１０４ａを作成する。実施データ１０４ａは、前述したように、複数コマの撮影を行った際の各コマにおいて実際に露出制御された露出条件を示すデータである。この作成された実施データ１０４ａは、ステップＳ２３において合成された画像データに関連付けられて記録部１０５の画像データ１０５ｂおよびメタデータ１０５ｃとして記録される。データの記録を行うと、ステップＳ１に戻る。

ステップＳ１に戻り、この判定の結果、撮影モードでない場合には、再生モードか否かを判定する（Ｓ３１）。ユーザが操作部１０７の再生釦等の操作部材を操作することにより、再生モードを設定することができる。このステップにおける判定の結果、再生モードでない場合には、その他のモードに移行する。

ステップＳ３１における判定の結果、再生モードの場合には、次に、アイコン一覧を表示する（Ｓ３３）。ここでは、記録部１０５に記録されている画像データのサムネイルデータに基づいて、記録画像のアイコンを表示部１０６に表示する。

次に、画像が選択されたか否かについて判定する（Ｓ３５）。ユーザは表示部１０６に表示された一覧表示されたアイコンの中から拡大表示したいアイコンをタッチ、または十字釦等によって選択する。このステップでは、ユーザによってアイコンが選択されたか否かを判定する。

ステップＳ３５における判定の結果、画像が選択されていない場合には、戻るか否かを判定する（Ｓ３７）。ユーザが再生モードを終了したい場合には、操作部１０７の内の戻る釦を操作するか、戻るアイコンをクリックする（総称して戻る操作）。ここでは、戻る操作がなされたか否かに基づいて判定する。この判定の結果、戻る操作がなされていない場合には、ステップＳ３３に戻る。一方、戻る操作がなされた場合には、ステップＳ１に戻る。

ステップＳ３５における判定の結果、画像が選択された場合には、拡大表示を行う（Ｓ３９）。ここでは、選択されたアイコンの画像データを読出し、表示部１０６に拡大表示を行う。

拡大表示を行うと、次に、詳細表示を行うか否かの判定を行う（Ｓ４１）。ユーザが選択した画像に関連付けて記録されているメタデータを表示させたい場合には、操作部１０７の内の詳細釦を操作するか又は詳細アイコンをクリックする（総称して詳細表示操作）。ここでは、詳細表示操作がなされたか否かに基づいて判定する。

ステップＳ４１における判定の結果、詳細表示操作がなされていた場合には、メタデータを表示する（Ｓ４３）。ここでは、画像データに関連付けて記録されたメタデータ１０５ｃを記録部１０５から読み出し、表示部１０６に表示する。表示例については図９を用いて後述する。

ステップＳ４３においてメタデータを表示すると、またはステップＳ４１における判定の結果、詳細表示操作がなされていない場合には、外部送信か否かを判定する（Ｓ４５）。ユーザが記録部１０５に記録された画像データを、インターネット等を介して、無線また有線通信等によって送信した場合には、操作部１０７の送信釦を操作し、または送信アイコンをタッチ操作する（総称して外部送信操作）。このステップでは、外部送信操作がなされたか否かに基づいて判定する。

ステップＳ４５における判定の結果、外部送信操作がなされた場合には、設定先に送信する（Ｓ４７）。ここでは、設定された送信先に、ステップＳ３５において選択された画像の画像データおよび関連付けされたメタデータを送信する。送信先では、受信した画像データに基づく画像およびメタデータを表示させることができる。この時の表示例については図９を用いて後述する。

ステップＳ４７において設定先に送信すると、またはステップＳ４５における判定の結果、外部送信操作がされていない場合には、戻るか否かを判定する（Ｓ４９）。ユーザが再生モードを終了したい場合には、戻る操作を行う。ここでは、この戻る操作がなされたか否かに基づいて判定する。この判定の結果、戻る操作がなされていない場合には、ステップＳ３９に戻る。一方、戻る操作がなされた場合には、ステップＳ１に戻る。

このように、本実施形態におけるカメラ制御のフローにおいては、レリーズ操作がなされた際に、露出変更を伴うモードが設定されている場合には（Ｓ１３Ｙｅｓ）、メタデータとして、参考データを作成し記録している（Ｓ１９）。一方、露出変更を伴わないモードが設定されている場合には（Ｓ１３Ｎｏ）、メタデータとして実施データを作成し記録している（Ｓ２５）。すなわち、露出変更を伴わない場合には実際に露出制御された制御値が記録され、一方、露出変更を伴う場合には合成画像の効果に応じた露出制御値が記録されることから、ユーザがメタデータを見た際に、どのような制御がなされたかが分かり易いという効果がある。

なお、ステップＳ１９およびＳ２５においては、メタデータとしては、参考データおよび実施データのいずれか一方のみを作成し、記録するようにしていた。いずれか一方のみを記録することにより、メタデータ１０５ｃの容量を小さくすることができ、また単純化することにより、処理が容易となる。しかし、ステップＳ１９およびＳ２５において、参考データおよび実施データの両方を作成し、これをメタデータ１０５ｃとして記録するようにしてもよい。この場合には、例えば、メタデータの記録領域の内、Ｅｘｉｆ規格のメーカノートのように、製造元が記録可能としている領域を利用してもよい。

次に、図９を用いて、メタデータの表示について説明する。この表示は、図８のステップＳ４３、およびステップＳ４７で送信された送信先で行われる。

図９（ａ）は、図２で示したような深度合成モードが設定された場合の表示例である。この場合には、深度合成された画像４３と、実施データとして記録されたシャッタ速度および絞り値を示すメタデータが表示される。図９（ｂ）は、図３で示したような超解像合成モードが設定された場合の表示例である。この場合には、深度合成された画像４６と、実施データとして記録されたシャッタ速度および絞り値を示すメタデータが表示される。

図９（ｃ）は、図４で示したようなＨＤＲ合成モードが設定された場合の表示例である。この場合には、ＨＤＲ合成された画像４９と、参考データとして記録されたシャッタ速度および絞り値を示すメタデータが表示される。なお、図９（ｃ）においては、参考データであることを明示するために、「参考」が表示される。このために、メタデータ１０５ｃに、参考データであることを示す情報も併せて記録しておく。

このように、記録された画像に加えて、メタデータを表示することにより、撮影画像の露出条件を確認することが簡単にできる。また、この表示の際に、露出変更を伴わない場合には各コマを撮影した際の実際の露出値が表示され、露出変更を伴う場合には、合成画像の効果に相当する露出値が表示されるようしたので、分かり易い表示となる。撮影者以外の他のユーザは、このメタデータに基づく露出値を参考にすることにより、類似の写真を撮影することが容易となる。

なお、図９においては、参考データの場合のみ、「参考」と表示したが、この表示を消去しておいてもよい。また、実施データの場合にも、実施データであることを明示するような表示を付加してもよい。また、図９においては、メタデータを画像の外側で表示していたが、画像に重畳して表示するようにしてもよい。

以上説明したように、本発明の一実施形態においては、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し（例えば、図７のＳ３参照）、異なる露出条件で取得した複数の撮影画像データを用いて第１の画像合成を行い（例えば、図７のＳ１７参照）、同一の露出条件、かつ露出以外の条件を異ならせて取得した複数の撮影画像データを用いて第２の画像合成を行い（例えば、図７のＳ２３参照）、第１画像合成または第２画像合成によって合成された合成画像データを表すメタデータを作成する際に、第１の画像合成を行う場合と、第２の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成する（例えば、図２（ｄ）、図３（ｄ）、図４（ｄ）、図７のＳ１９、Ｓ２５参照）。このため、画像合成処理に応じて適切な情報を作成し、画像データに関連付けを行うことができる。すなわち、複数の撮影画像データを取得する際に、露出変更を行っている場合と露出変更を行わない場合で、異なる露出条件を示すようにしており、画像合成処理に応じた情報の表示が可能となる。

なお、本発明の一実施形態においては、モードが露出変更を伴うか否かを判定し（図７のＳ１３参照）、この結果に応じて、メタデータとして参考データまたは実施データを記録するようにしている。しかし、モードが露出変更を伴うか否かに限らず、例えば、撮影距離の変更を伴うか否か等、撮影条件に応じて、メタデータの種類を適宜決定するようにしてもよい。この場合には、画像データ取得部は、同一の対象物に対し、第１の撮影条件を切り換えて複数の撮影画像データを取得可能であり、第１画像合成部は画像データ取得部によって、第２の撮影条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行い、第２画像合成部は画像データ取得部によって、第２の撮影条件を変えず、第３の撮影条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行い、メタデータ作成部は、第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成する際に、第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる撮影条件を示す単一のメタデータを作成すればよい。

また、本発明の一実施形態においては、ピント変更部１０２ｃ、露出変更部１０２ｄ、撮像位置変更部１０２ｅ等は、ＣＰＵおよびメモリに記憶したプログラムによってソフトウエアでその機能を実現してもよく、また制御部１０１内のＣＰＵとメモリに記憶したプログラムでその機能を実現するようにしても勿論かまわない。

また、本発明の一実施形態においては、撮像制御部１０３ｂ、撮影制御変更部１０３ｃ等の各部の機能の全部または一部をＣＰＵ（Central Processing Unit）と周辺回路およびプログラムによって実現していたが、ＤＳＰ（Digital Signal Processor）等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実行するようにしても勿論かまわない。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、画像データと共にメタデータを記録する撮影のための機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・ユーザ、２０・・・カメラ、１０１・・・制御部、１０１ｂ・・・モード制御部、１０１ｃ・・・表示制御部、１０１ｄ・・・通信制御部、１０２・・・撮像部、１０２ａ・・・光学系、１０２ｂ・・・撮像素子、１０２ｃ・・・ピント変更部、１０２ｄ・・・露出変更部、１０２ｅ・・・撮像位置変更部、１０３・・・画像処理部、１０３ｂ・・・撮像制御部、１０３ｃ・・・撮影制御変更部、１０３ｄ・・・画像合成部、１０３ｅ・・・記録制御部、１０４・・・メタデータ作成部、１０４ａ・・・実施データ、１０４ｂ・・・参考データ、１０５・・・記録部、１０５ａ・・・画像データ、１０５ｂ・・・メタデータ、１０６・・・表示部、１０７・・・操作部、１０８・・・通信部

Claims (7)

1. 同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、
   上記画像データ取得部によって、異なる露出条件で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、
   上記画像データ取得部によって、同一の露出条件、かつ露出以外の条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部と、
   上記第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部と、
   を有し、
   上記メタデータ作成部は、上記第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成することを特徴とする画像処理装置。
2. 上記メタデータ作成部は、上記第１の画像合成と上記第２の画像合成を区別する情報を作成することを特徴とする請求項１に記載の画像処理装置。
3. 上記メタデータ作成部は、上記第１の画像合成を行った場合には上記画像データ取得部における露出条件に基づいて参考メタデータを作成し、上記第２の画像合成を行った場合には上記画像データ取得部における実際の露出条件を実施メタデータとすることを特徴とする請求項２に記載の画像処理装置。
4. 上記メタデータ作成部は、上記第１の画像合成部によって第１の画像合成を行った場合には、上記第１の画像合成によって生成された合成画像の露出効果に相当するメタデータを作成することを特徴とする請求項１に記載の画像処理装置。
5. 上記メタデータ作成部は、上記第２の画像合成部によって第２の画像合成を行った場合には、上記画像データ取得部で１コマの画像データを取得する際の露出条件に基づいてメタデータを作成することを特徴とする請求項１に記載の画像処理装置。
6. 同一の対象物に対し、第１の撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、
   上記画像データ取得部によって、第２の撮影条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、
   上記画像データ取得部によって、第２の撮影条件を変えず、第３の撮影条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部と、
   上記第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部と、
   を有し、
   上記メタデータ作成部は、上記第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる撮影条件を示す単一のメタデータを作成することを特徴とする画像処理装置。
7. 同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し、
   異なる露出条件で取得した複数の撮影画像データを用いて第１の画像合成を行い、
   同一の露出条件、かつ露出以外の条件を異ならせて取得した複数の撮影画像データを用いて第２の画像合成を行い、
   上記第１画像合成または第２画像合成によって合成された合成画像データを表すメタデータを作成する際に、上記第１の画像合成を行う場合と、上記第２の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成する、
   ことを特徴とする画像処理方法。

Images