WO2015151747A1

WO2015151747A1 - 画像処理装置、撮像装置、画像処理方法及びプログラム

Info

Publication number: WO2015151747A1
Application number: PCT/JP2015/057275
Authority: WO
Inventors: 慎也藤原
Original assignee: 富士フイルム株式会社
Priority date: 2014-03-31
Filing date: 2015-03-12
Publication date: 2015-10-08
Also published as: US20170013243A1; CN106165409A; US10021361B2; JPWO2015151747A1; JP6063092B2; CN106165409B

Abstract

　必要とされる記憶容量を抑えつつ、適切なマルチエリアホワイトバランス処理が施された画像データを事後的に得ることを可能にする画像処理装置、撮像装置、画像処理方法及びプログラムを提供する。原画像データの画素毎にホワイトバランスゲインが取得される（Ｓ１１）。ホワイトバランスベース値が定められ（Ｓ１２）、原画像データの画素毎に、ホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率が取得される（Ｓ１３）。原画像データの画素毎に、画素値にホワイトバランス比率を乗算して処理画像データが取得される（Ｓ１４）。処理画像データの画素値にホワイトバランスベース値を乗算することで、原画像データの画素毎にホワイトバランスゲインが適用された画像データを取得することができる。

Description

画像処理装置、撮像装置、画像処理方法及びプログラム

　本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特にマルチエリアホワイトバランス処理技術に関する。

　マルチエリアホワイトバランス処理（以下、「マルチエリアＷＢ処理」と称する）とは、１枚の画像を構成する画素毎或いはエリア毎に、異なるホワイトバランスゲイン（以下、「ＷＢゲイン」と称する）を適用するホワイトバランス処理（以下、「ＷＢ処理」と称する）である。マルチエリアＷＢ処理によれば、複数の光源からの光が画素毎（エリア毎）に異なる比率で被写体に照射されている画像であっても、各画素（各エリア）の色相（カラーバランス）を適正に補正することができる。

　例えばフラッシュを発光させて人物夜景シーンを撮影した場合、人物はフラッシュ光（例えば青色波長を多く含む光）の影響を受けて撮像されるが、撮影画像中の背景（夜景）はフラッシュ光の影響を実質的に受けずにナトリウムランプ（赤色波長を多く含む光）などの他の環境光の影響を受けて撮像される。この場合、ＷＢ処理によって人物画像の色相（カラーバランス）を良好にするにはフラッシュ光の影響をキャンセルするＷＢゲインを人物画像に適用することが求められる一方で、背景の色相（カラーバランス）を良好にするには他の環境光の影響をキャンセルするＷＢゲインを背景画像に適用することが求められる。したがって画像を構成する全画素に関して共通のＷＢゲインを適用する場合には、人物の色相（カラーバランス）と背景の色相（カラーバランス）とを両立することが難しい。

　しかしながらマルチエリアＷＢ処理によれば、１つの画像に含まれる人物部分に適用するＷＢゲインと背景部分に適用するＷＢゲインとを変えられる。したがって、例えばフラッシュ光の影響量に応じて、適用するＷＢゲインを画素毎に最適化することで、人物の色相（カラーバランス）と背景の色相（カラーバランス）とを両立することができる。

　特許文献１は、被写体領域から得られる色情報を用いて算出されるホワイトバランス制御値のばらつきを抑制することが可能なホワイトバランス制御装置を開示する。このホワイトバランス制御装置は、画像から被写体領域を検出し、画像を複数の領域に分割し、被写体領域と重複している領域の各々について領域の代表色を表す色情報を算出すると共に重みを決定する。そしてホワイトバランス制御装置は、色情報の各々に、被写体領域と重複している領域について決定された重みを適用して積算し、色情報の積算結果と予め定められた目標色の情報とから、代表色が目標色となるようなホワイトバランス制御値を算出する。

　また画像のホワイトバランス調整を画像データ保存後に実施可能とするために、画像データと共にＷＢゲインが保存される場合がある。

　例えば特許文献２に記載の撮像装置は、現像処理に必要となる付帯情報と共に本画像のＲＡＷ画像データを記憶媒体に記憶しておき、ＲＡＷ画像データの現像処理の際にオートホワイトバランス調整を行うことを可能にしている。

　また特許文献３に記載の画像処理装置は、第１光源についての第１ホワイトバランス係数値をＲＡＷ画像データに適用して中間ＲＡＷ画像データを生成し、第１光源以外の光源についての第２ホワイトバランス係数値を特定可能な情報をホワイトバランス情報として中間ＲＡＷ画像データと関連付けて記憶することで、ホワイトバランスの再調整を可能にしている。

　また特許文献４に記載の撮像装置は、ＲＡＷ画像に、撮像時に適用される第１色再現パラメータでの色再現処理を施して現像画像を生成し、第１色再現パラメータに関するデータと、第１色再現パラメータとは異なる光源下での被写体の色再現に相応する第２色再現パラメータに関するデータとを、それぞれ現像画像のデータに対応付けて画像ファイルを生成する。これにより、第１色再現パラメータ及び第２色再現パラメータを、現像画像のレタッチを行う場合に使用することができる。例えば第１色再現パラメータによって、現像画像を色再現処理前の状態に復元する処理（逆色再現処理）が可能になり、また第２色再現パラメータによって、第１色再現パラメータによる逆色再現処理後の画像に色再現処理を施すことが可能になる。

特開２０１２－１６５０７７号公報特開２００９－４８９５号公報特開２００８－１０９５０５号公報特開２０１１－７１７０８号公報

　上述のように、ＲＡＷ画像データを事後的に現像する場合、撮影時のホワイトバランス設定に応じた色相（カラーバランス）を現像画像で再現するためには、撮影時のホワイトバランス設定に応じたＷＢゲインをＲＡＷ画像データと共に保持する必要がある。

　したがって、全画素に共通のＷＢゲインを適用する通常のＷＢ処理をＲ（赤）データ、Ｇ（緑）データ及びＢ（青）データの各々に関して行う場合には、撮影時のホワイトバランス設定に応じた「３色（ＲＧＢ）×１種類のＷＢゲイン＝３種類のＷＢゲインデータ」をＲＡＷ画像データと共に記憶しておく必要がある。一方、マルチエリアＷＢ処理では、画素毎にＷＢゲインが異なり、画素毎にＷＢゲインを保持する必要がある。したがってＲＧＢデータの各々に関してＷＢゲインを適用する場合には、撮影時のホワイトバランス設定に応じた「３色（ＲＧＢ）×画素数分のＷＢゲイン」をＲＡＷ画像データと共に記憶することが求められる。例えば１６メガピクセル（１６Ｍ＝４６０９ピクセル×３４５６ピクセル）の画像を撮影する場合、マルチエリアＷＢ処理では、約１６，０００，０００画素分（正確には１５，９２８，７０４画素分）のＷＢゲインを保持する必要がある。したがってマルチエリアＷＢ処理において、１画素当たり３色分（ＲＧＢデータ分）のＷＢゲインが必要だとすると従来比で約１６，０００，０００倍（厳密には１５，９２８，７０４倍）のＷＢゲインデータ量になる。また１画素当たり１色分のＷＢゲインが必要だとしても、従来比で約５，３３３，３３３倍（厳密には５，３０９，５６８倍）のＷＢゲインデータ量となる。

　このように撮影時のホワイトバランス設定に応じたＷＢゲインをＲＡＷ画像データ等の画像データと共に保持する技術をマルチエリアＷＢ処理に対して応用すると、ＷＢゲインデータのために膨大な記憶領域を確保する必要があり、記憶容量が圧迫される。その一方で、ＲＡＷ画像データ等の画像データのホワイトバランスを、マルチエリアＷＢ処理技術によって事後的に調整したいとの要望もある。

　本発明は上述の事情に鑑みてなされたものであり、必要とされる記憶容量を抑えつつ、適切なマルチエリアホワイトバランス処理が施された画像データを事後的に得ることを可能にする技術を提供することを目的とする。

　本発明の一態様は、原画像データの画素毎にホワイトバランスゲインを取得するゲイン取得部と、ホワイトバランスベース値を定めて、原画像データの画素毎に、ホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を取得する比率取得部と、原画像データの画素毎に、画素値にホワイトバランス比率を乗算して処理画像データを取得する処理画像取得部と、を備える画像処理装置に関する。

　本態様によれば、処理画像データの画素値にホワイトバランスベース値を乗算することで、原画像データの画素値にホワイトバランスゲインを適用した画像データを得ることができる。また特に、本態様によれば「画素毎に定められるＷＢゲイン」を個別的に保持する必要がないため、必要とされる記憶容量を抑えつつ、画素毎に異なるＷＢゲインを適用するマルチエリアＷＢ処理を事後的に精度良く行うことが可能になる。

　なおホワイトバランスベース値は、任意の値とすることができ、例えば予め定められた値であってもよいし、原画像データを取得した際のホワイトバランス設定モードに応じて決められる値であってもよい。例えば、原画像データの画素値との差が小さい画素値を有する処理画像データを取得する観点からは、ホワイトバランス比率を「１」に近くすること、ホワイトバランス比率が「１」になる画素領域を大きくすること、又はホワイトバランス比率が「１」以外になる画素領域と比べてホワイトバランス比率が「１」になる画素領域を最も大きくすることが好ましい。したがって、原画像データの画素毎に取得されるホワイトバランスゲインに基づいてホワイトバランスベース値が決められてもよく、原画像データの画素毎に割り当てられるホワイトバランスゲインの平均値又は中央値等に基づいてホワイトバランスベース値が決められてもよい。

　望ましくは、画像処理装置は、原画像データの光源種を判定する光源種判定部を更に備え、ゲイン取得部は、光源種判定部によって判定される原画像データの光源種に基づいて、原画像データの画素毎にホワイトバランスゲインを取得する。

　本態様によれば、原画像データの光源種に基づいて、原画像データの画素毎のホワイトバランスゲインを精度良く取得することができる。

　望ましくは、画像処理装置は、第１の光源種の影響を示す第１の画像データと、第２の光源種の影響を示す第２の画像データとを取得する光源種データ取得部と、を更に備え、ゲイン取得部は、光源種判定部によって判定される原画像データの光源種が第１の光源種及び第２の光源種を含む場合、第１の画像データ及び第２の画像データに基づいて、原画像データの画素毎のホワイトバランスゲインを取得する。

　本態様によれば、原画像データの画素毎のホワイトバランスゲインを、第１の光源種及び第２の光源種に基づいて精度良く取得することができる。

　望ましくは、画像処理装置は、フラッシュを発光して撮影されたフラッシュ発光画像データとフラッシュを発光せずに撮影されたフラッシュ非発光画像データとを取得するフラッシュ画像取得部を更に備え、光源種データ取得部は、第１の光源種を環境光として、フラッシュ非発光画像データに基づいて第１の画像データを取得し、第２の光源種をフラッシュ光として、フラッシュ発光画像データに基づいて第２の画像データを取得する。

　本態様によれば、フラッシュ光及び環境光の影響を考慮したホワイトバランスゲインを精度良く取得することができる。

　望ましくは、光源種データ取得部は、光源種判定部によって判定される原画像データの環境光を光源種として定められる環境光用ホワイトバランスゲインを取得する環境光ゲイン取得部と、フラッシュ光を光源種として定められるフラッシュ光用ホワイトバランスゲインを取得するフラッシュ光ゲイン取得部と、フラッシュ非発光画像データの画素毎の第１の輝度値を第１の画像データとして取得し、フラッシュ発光画像データの画素毎の第２の輝度値を第２の画像データとして取得し、第１の輝度値及び第２の輝度値から画素毎のフラッシュ影響度を取得するフラッシュ影響度取得部と、を有し、ゲイン取得部は、環境光用ホワイトバランスゲイン及びフラッシュ光用ホワイトバランスゲインからフラッシュ影響度に基づいて、原画像データの画素毎のホワイトバランスゲインを取得する。

　本態様によれば、フラッシュ発光画像データ及びフラッシュ非発光画像データの輝度値から求められるフラッシュ影響度に基づいて、原画像データの画素毎のホワイトバランスゲインを精度良く取得することができる。

　望ましくは、比率取得部は、光源種判定部によって判定される原画像データの光源種に含まれる１つの光源種に基づいて、ホワイトバランスベース値を定める。

　望ましくは、比率取得部は、ホワイトバランスベース値を、光源種判定部によって判定される原画像データの環境光に基づいて定める。

　これらの態様によれば、原画像データの光源種に含まれる１つの光源種（環境光等）に基づいて、簡便にホワイトバランスベース値を定めることができる。

　望ましくは、画像処理装置は、処理画像データ及びホワイトバランスベース値を記憶媒体に記憶するデータ記録部を更に備える。

　本態様によれば、処理画像データのホワイトバランス処理を行う際に、記憶媒体に記憶されたホワイトバランスベース値を活用することができる。

　本発明の他の態様は、原画像データの画素毎に、ホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データと、ホワイトバランスベース値とを、記憶媒体から取得する処理データ取得部と、処理画像データの画素毎に、ホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得するホワイトバランス処理部と、を備える画像処理装置に関する。

　本態様によれば、画素毎にホワイトバランスゲインが適用されたホワイトバランス調整画像データを精度良く取得することができる。

　本発明の他の態様は、原画像データの画素毎に、原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得する処理データ取得部と、原画像データを取得した際のホワイトバランス設定モードの情報を取得する設定モード取得部と、原画像データを取得した際のホワイトバランス設定モードの情報に基づいて、ホワイトバランスベース値を推定するベース値取得部と、処理画像データの画素毎に、ベース値取得部によって推定されたホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得するホワイトバランス処理部と、を備える画像処理装置に関する。

　ホワイトバランス設定モードの情報に基づいてホワイトバランスベース値を推定する手法は特に限定されず、ベース値取得部は、例えば処理画像データの色分布や輝度分布等の画像特性を解析し、その解析結果に基づいてホワイトバランスベース値を推定してもよい。

　本発明の他の態様は、原画像データの画素毎に、原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得する処理データ取得部と、原画像データを取得した際のホワイトバランス設定モードの情報を取得する設定モード取得部と、処理画像データに適用されるホワイトバランス処理モードの情報を取得する処理モード取得部と、ホワイトバランス設定モードの情報及びホワイトバランス処理モードの情報に基づいて、ホワイトバランス処理モードがホワイトバランス設定モードと同じであると判定される場合には、ホワイトバランス設定モードに基づいてホワイトバランスベース値を取得し、ホワイトバランス処理モードがホワイトバランス設定モードと異なると判定される場合には、ホワイトバランス処理モードに基づいてホワイトバランスベース値を取得するベース値取得部と、処理画像データの画素毎に、ベース値取得部によって取得されたホワイトバランスベース値を乗算してホワイトバランス調整画像データを取得するホワイトバランス処理部と、を備える画像処理装置に関する。

　ここでいう「ホワイトバランス処理モード」は、処理画像データのホワイトバランスを調整するためのホワイトバランスモードであり、原画像データを取得した際のホワイトバランス設定モードとは必ずしも一致しない。なお「ホワイトバランス処理モード」は任意の手法で決められ、ユーザがホワイトバランス処理モードを決めてもよいし、画像処理装置において各種の条件等に基づいてホワイトバランス処理モードが決められてもよい。

　望ましくは、ホワイトバランス設定モードは、ホワイトバランスゲインが予め定められているプリセットホワイトバランスモード、原画像データの色分布情報に基づいて原画像データに適用されるホワイトバランスゲインが決定されるオートホワイトバランスモード、及び原画像データとは異なる参照画像データの色分布情報に基づいて原画像データに適用されるホワイトバランスゲインが決定されるカスタムホワイトバランスモードのうちのいずれかである。

　望ましくは、処理画像データは、ＲＡＷ画像データである。

　本態様によれば、例えば処理画像データ（ＲＡＷ画像データ）の現像の際に、ホワイトバランス調整画像データを得ることができる。

　望ましくは、処理画像データは、無圧縮画像データである。

　望ましくは、処理画像データは、可逆圧縮画像データである。

　望ましくは、処理画像データは、非可逆圧縮画像データである。

　これらの処理画像データからホワイトバランス調整画像データを取得することが可能である。

　本発明の他の態様は、撮像素子と、上記の画像処理装置と、を備え、原画像データは撮像素子によって取得される撮像装置に関する。

　本発明の他の態様は、原画像データの画素毎にホワイトバランスゲインを取得し、ホワイトバランスベース値を定めて、原画像データの画素毎に、ホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を取得し、原画像データの画素毎に、画素値にホワイトバランス比率を乗算して処理画像データを取得する画像処理方法に関する。

　本発明の他の態様は、原画像データの画素毎に、ホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データと、ホワイトバランスベース値とを、記憶媒体から取得し、処理画像データの画素毎に、ホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得する画像処理方法に関する。

　本発明の他の態様は、原画像データの画素毎に、原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得し、原画像データを取得した際のホワイトバランス設定モードの情報を取得し、原画像データを取得した際のホワイトバランス設定モードの情報に基づいて、ホワイトバランスベース値を推定し、処理画像データの画素毎に、推定されたホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得する画像処理方法に関する。

　本発明の他の態様は、原画像データの画素毎に、原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得し、原画像データを取得した際のホワイトバランス設定モードの情報を取得し、処理画像データに適用されるホワイトバランス処理モードの情報を取得し、ホワイトバランス設定モードの情報及びホワイトバランス処理モードの情報に基づいて、ホワイトバランス処理モードがホワイトバランス設定モードと同じであると判定される場合には、ホワイトバランス設定モードに基づいてホワイトバランスベース値を取得し、ホワイトバランス処理モードがホワイトバランス設定モードと異なると判定される場合には、ホワイトバランス処理モードに基づいてホワイトバランスベース値を取得し、処理画像データの画素毎に、取得されたホワイトバランスベース値を乗算してホワイトバランス調整画像データを取得する画像処理方法に関する。

　本発明の他の態様は、原画像データの画素毎にホワイトバランスゲインを取得する手順と、ホワイトバランスベース値を定めて、原画像データの画素毎に、ホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を取得する手順と、原画像データの画素毎に、画素値にホワイトバランス比率を乗算して処理画像データを取得する手順と、をコンピュータに実行させるためのプログラムに関する。

　本発明の他の態様は、原画像データの画素毎に、ホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データと、ホワイトバランスベース値とを、記憶媒体から取得する手順と、処理画像データの画素毎に、ホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得する手順と、をコンピュータに実行させるためのプログラムに関する。

　本発明の他の態様は、原画像データの画素毎に、原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得する手順と、原画像データを取得した際のホワイトバランス設定モードの情報を取得する手順と、原画像データを取得した際のホワイトバランス設定モードの情報に基づいて、ホワイトバランスベース値を推定する手順と、処理画像データの画素毎に、推定されたホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得する手順と、をコンピュータに実行させるためのプログラムに関する。

　本発明の他の態様は、原画像データの画素毎に、原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得する手順と、原画像データを取得した際のホワイトバランス設定モードの情報を取得する手順と、処理画像データに適用されるホワイトバランス処理モードの情報を取得する手順と、ホワイトバランス設定モードの情報及びホワイトバランス処理モードの情報に基づいて、ホワイトバランス処理モードがホワイトバランス設定モードと同じであると判定される場合には、ホワイトバランス設定モードに基づいてホワイトバランスベース値を取得し、ホワイトバランス処理モードがホワイトバランス設定モードと異なると判定される場合には、ホワイトバランス処理モードに基づいてホワイトバランスベース値を取得する手順と、処理画像データの画素毎に、取得されたホワイトバランスベース値を乗算してホワイトバランス調整画像データを取得する手順と、をコンピュータに実行させるためのプログラムに関する。

　本発明によれば、処理画像データの各画素値に画素毎に設定されるホワイトバランスゲインが反映されるため、必要とされる記憶容量を抑えつつ、適切なマルチエリアホワイトバランス処理が施された画像データを事後的に得ることができる。

デジタルカメラの正面斜視図である。デジタルカメラの背面斜視図である。デジタルカメラの制御処理系を示すブロック図である。第１実施形態に係る画像処理部の機能構成例を示すブロック図である。第１実施形態に係る画像処理フローを示すフローチャートである。第２実施形態に係る画像処理フローを示すフローチャートである。第３実施形態に係る画像処理部の機能構成例を示すブロック図である。第４実施形態に係る画像処理部の機能構成例を示すブロック図である。第４実施形態に係る光源種データ取得部及びゲイン取得部の機能構成例を示すブロック図である。第４実施形態に係る画像処理フローを示すフローチャートである。第４実施形態に係る画像処理フローの一変形例を示すフローチャートである。デジタルカメラ、コンピュータ、サーバ及びポータブル端末のネットワーク接続を示す概念図である。第５実施形態に係る画像処理部の機能構成例を示すブロック図である。第５実施形態に係る画像処理フローを示すフローチャートである。第６実施形態に係る画像処理部の機能構成例を示すブロック図である。第６実施形態に係る画像処理フローを示すフローチャートである。第７実施形態に係る画像処理部の機能構成例を示すブロック図である。第７実施形態に係る画像処理フローを示すフローチャートである。第１実施形態に係る画像処理部（図４参照）の画像処理フローの一変形例を示す図である。第７実施形態に係る画像処理部（図１７参照）の画像処理フローの一変形例を示す図である。スマートフォンの外観を示す図である。図２１に示すスマートフォンの構成を示すブロック図である。

　図面を参照して本発明の実施形態について説明する。以下の実施形態では、デジタルカメラ（撮像装置）に本発明を適用する例について説明する。ただし、デジタルカメラ以外の画像処理装置、撮像装置、画像処理方法及びプログラムにも本発明を適用することが可能である。

　図１は、デジタルカメラ２の正面斜視図である。図２は、デジタルカメラ２の背面斜視図である。

　デジタルカメラ２は、カメラ本体３と、カメラ本体３の前面に取り付けられるレンズ鏡筒４とを備える。レンズ鏡筒４及びカメラ本体３は、一体的に設けられてもよいし、レンズ交換式カメラとして着脱自在に設けられてもよい。

　カメラ本体３の前面には、レンズ鏡筒４に加えてフラッシュ発光部５が設けられ、カメラ本体３の上面にはシャッタボタン６及び電源スイッチ７が設けられている。シャッタボタン６は、ユーザからの撮影指示を受け付ける撮影指示部であり、電源スイッチ７は、デジタルカメラ２の電源のオン及びオフの切り換え指示をユーザから受け付ける電源切換部である。

　カメラ本体３の背面には、液晶パネル等によって構成される表示部８と、ユーザによって直接的に操作される操作部９とが設けられている。表示部８は、撮影待機状態ではライブビュー画像（スルー画）を表示して電子ビューファインダとして機能し、撮影画像やメモリ記憶画像の再生時には再生画像表示部として機能する。

　操作部９は、モード切換スイッチ、十字キー及び実行キーなどの任意の操作デバイスによって構成される。例えばモード切換スイッチは、デジタルカメラ２の動作モードを切り換える際にユーザによって操作される。デジタルカメラ２の動作モードとして、被写体を撮像して撮影画像を得るための撮影モード、及び画像を再生表示する再生モード、等がある。また他の撮影モードとして、オートフォーカスを行うＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）モード及びマニュアルフォーカス操作を行うＭＦ（Ｍａｎｕａｌ　Ｆｏｃｕｓ）モードがある。一方、十字キー及び実行キーは、表示部８にメニュー画面や設定画面を表示したり、メニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする場合に、ユーザによって操作される。

　カメラ本体３の底部（図示省略）には、メインメモリ１０が装填されるメモリスロットと、このメモリスロットの開口を開閉する装填蓋とが設けられている。メインメモリ１０は、カメラ本体３に着脱自在に設けられており、カメラ本体３に装着されると、カメラ本体３に設けられる記憶制御部３３と電気的に接続される。メインメモリ１０は、一般にカード型フラッシュメモリ等の半導体メモリにより構成可能であるが、特に限定されるものではなく、磁気媒体等の任意の記憶方式の記憶媒体をメインメモリ１０として用いることが可能である。

　図３は、デジタルカメラ２の制御処理系を示すブロック図である。

　被写体光は、レンズ鏡筒４に設けられるレンズ部１２とカメラ本体３に設けられるメカニカルシャッタ２０とを通過し、撮像素子２１によって受光される。撮像素子２１は、被写体像を受光して画像データを生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Ａｕｔｏｍａｔｉｃ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ）回路等によってプロセス処理が施され、その後ＡＤ変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはバッファメモリ２４に保存される。

　バッファメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等によって構成される。ＡＤ変換部２３から送られてきてバッファメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部（画像処理装置）３１によって読み出される。画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ガンマ補正処理及びデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びバッファメモリ２４に保存する。

　画像処理部３１において画像処理が施されてバッファメモリ２４に保存された画像データは、表示制御部３５及び圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、バッファメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮影確認画像として表示部８に表示（ポストビュー）される。

　一方、圧縮伸張部３２は、バッファメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）やＴＩＦＦ（Ｔａｇｇｅｄ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、メインメモリ（記憶媒体）１０へのデータ記憶処理及びメインメモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、メインメモリ１０に記憶される。なおメインメモリ１０に画像データ等のデータ類を記憶する場合、記憶制御部３３は、後述のクロックデバイス３４から取得される日時情報に基づいて、そのデータ類に編集日時情報（更新日時情報）等の撮影情報やその他の関連情報を付加する。この撮影情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ）形式を採用可能である。

　メインメモリ１０に保存されている画像データを再生する再生モードにおいて、メインメモリ１０に保存されている画像データは、システム制御部２５により制御される記憶制御部３３によって読み出され、圧縮伸張部３２によって伸張処理が施された後にバッファメモリ２４に保存される。そして撮影画像の確認表示と同様の手順で、表示制御部３５によってバッファメモリ２４から画像データが読み出され、表示部８において画像データが再生表示される。

　システム制御部２５は、上述のようにバッファメモリ２４、画像処理部３１及び記憶制御部３３をコントロールするが、デジタルカメラ２における他の各部もコントロールする。例えば、システム制御部２５は、レンズ駆動部２７を制御してレンズ部１２の駆動をコントロールし、シャッタ駆動部２６を制御してメカニカルシャッタ２０の駆動をコントロールし、撮像素子２１を制御して画像データの出力をコントロールする。またシステム制御部２５は、フラッシュ発光部５を制御してフラッシュの発光及び非発光をコントロールし、電源制御部２８を制御して電源２９における電池装着の有無、電池の種類及び電池残量の検出等を行う。またシステム制御部２５は、クロックデバイス３４においてカウントされる日時情報を取得して各種の処理に利用する。またシステム制御部２５は、画像処理部３１を構成する各種の処理部を制御する。

　さらにシステム制御部２５は、シャッタボタン６、電源スイッチ７及び操作部９を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理及びデバイス制御を行う。例えば、システム制御部２５は、シャッタボタン６から受信したレリーズ信号に応じてシャッタ駆動部２６を制御し、メカニカルシャッタ２０の開閉をコントロールする。またシステム制御部２５は、電源スイッチ７から受信した電源オンオフ信号に応じて電源制御部２８を制御し、電源２９のオン及びオフをコントロールする。

　システム制御部２５で行われる各種の処理及びデバイス制御に必要なプログラムやデータ類は、制御メモリ３０に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また新たなプログラムやデータ類を制御メモリ３０に保存することができる。例えば設定されたホワイトバランスモード（以下、「ＷＢモード」と称する）の種類やＷＢゲイン等の条件データを、システム制御部２５は制御メモリ３０に書き込むことができる。またシステム制御部２５は、表示制御部３５を制御して、各部から取得した各種情報を表示部８に表示させることができる。なおシステム制御部２５は、ユーザがユーザインタフェース３６を介して入力する操作信号に応じて、表示部８に表示させる各種情報を変更することができる。

　次に、撮像素子２１によって取得される原画像データのＷＢ処理に関し、具体的な画像処理例について説明する。

　なお以下の各実施形態では、撮像素子２１から出力されプロセス処理部２２（プロセス処理）及びＡＤ変換部２３（ＡＤ変換処理）を経た「ＲＡＷ画像データ」が、バッファメモリ２４を介して画像処理部３１に入力され原画像データ及び処理画像データとして使用される例について説明する。したがって画像処理部３１におけるデモザイク処理は、以下の原画像データ及び処理画像データ（ＲＡＷ画像データ）に関してはスキップされる。なお原画像データ及び処理画像データは「ＲＡＷ画像データ」に限定されず、ＪＰＥＧ形式、ＴＩＦＦ形式等の他の任意のフォーマットを有する画像データに対しても同様の画像処理を行うことができる。

　一般にデジタルカメラには、画質処理が施されたＪＰＥＧ画像等の処理画像の代わりに或いはそのような処理画像に加えて、「画質処理が施される前の画像データ」或いは「撮像系に起因する画質処理（例えばレンズシェーディング補正等）のみが施された画像データ」であるＲＡＷ画像データを記憶媒体（メインメモリ１０）に記憶できる機種がある。ＲＡＷ画像データを記憶しておくことにより、ユーザは、後日、ＲＡＷ現像ソフトなどを使ってＲＡＷ画像データの画質処理及び現像処理を行うことができ、再撮影することなく画質違いの画像を得ることができる。デジタルカメラは、ＲＡＷ画像データを記憶媒体に記憶する場合、ＲＡＷ画像データの現像に必要な情報（撮影条件及び機種情報等）も併せて記憶媒体に記憶する。「ＲＡＷ画像データ」及び「現像に必要な情報データ」の記憶方式は特に限定されないが、「ＲＡＷ画像データ」に対して現像に必要な情報データや他の情報をタグ情報（メタデータ）として付加した状態のデータを記憶媒体に保存してもよい。以下の実施形態では、ＲＡＷ画像データにタグ情報（メタデータ）を付加したデータを「ＲＡＷデータ」と呼ぶ。

　またメインメモリ１０に保存される処理画像データの圧縮形式は特に限定されず、処理画像データは、無圧縮画像データであってもよいし、可逆圧縮画像データであってもよいし、非可逆圧縮画像データであってもよい。なお処理画像データがＲＡＷ画像データの場合には、ＷＢ処理（後述の「ホワイトバランス処理部（ＷＢ処理部）６２」参照）の前に現像処理が行われてもよいし、ＷＢ処理の後に現像処理が行われてもよい。また処理画像データが圧縮画像データ（可逆圧縮画像データ又は非可逆圧縮画像データ）の場合には、ＷＢ処理（後述の「ＷＢ処理部６２」参照）の前に伸張処理が行われていることが好ましい。これらの現像処理及び伸張処理は、例えば後述の処理データ取得部６０において行われてもよい。

　＜第１実施形態＞
　本実施形態の画像処理部３１では、基本となるＷＢゲイン（以下、「ホワイトバランスベース値（ＷＢベース値）」と称する）と、原画像データを構成する各画素に適したＷＢゲインとが取得され、各画素に適したＷＢゲインとＷＢベース値との比率が原画像データの各画素値に乗算されて処理画像データが取得される。

　図４は、第１実施形態に係る画像処理部３１の機能構成例を示すブロック図である。本実施形態の画像処理部３１は、ゲイン取得部４０、比率取得部４２及び処理画像取得部４４を有する。

　ゲイン取得部４０は、原画像データの画素毎にＷＢゲインを取得する。比率取得部４２は、ＷＢベース値を定めて、原画像データの画素毎に、ＷＢベース値に対するＷＢゲインの比率を示すホワイトバランス比率（以下、「ＷＢ比率」と称する）を取得する。処理画像取得部４４は、原画像データの画素毎に、画素値にＷＢ比率を乗算して処理画像データを取得する。処理画像データは、処理画像取得部４４（画像処理部３１）から出力され、バッファメモリ２４、圧縮伸張部３２及び記憶制御部３３（図３参照）を介してメインメモリ１０に保存される。このように本実施形態では記憶制御部３３が、処理画像データをメインメモリ（記憶媒体）１０に記憶するデータ記録部として機能する。

　画像処理部３１における処理内容の具体例は、後述の実施形態（第３実施形態及び第４実施形態等）が参照される。

　図５は、第１実施形態に係る画像処理フローを示すフローチャートである。

　まずゲイン取得部４０によって、原画像データの画素毎に最適なＷＢゲインが取得される（図５のＳ１１参照）。

　そして比率取得部４２によって、ＷＢベース値が取得され（Ｓ１２）、原画像データの画素毎に、ゲイン取得部４０によって取得されたＷＢゲインのＷＢベース値に対する比率を表すＷＢ比率が取得される（Ｓ１３）。例えばＷＢベース値を「ＷＢｂａｓｅ」によって表し、原画像データの各画素に適したＷＢゲインを「ＷＢ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」によって表し、ＷＢ比率を「ＷＢｒａｔｉｏ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」によって表した場合、以下の式１によってＷＢ比率「ＷＢｒａｔｉｏ＿ｉｊ」を表すことができる。

　式１　　　ＷＢｒａｔｉｏ＿ｉｊ＝ＷＢ＿ｉｊ／ＷＢｂａｓｅ
　そして処理画像取得部４４によって、原画像データの画素毎に、画素値にＷＢ比率が乗算されて処理画像データが取得される（Ｓ１４）。例えば原画像データの画素値を「Ｖ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」によって表し、処理画像データの画素値を「Ｐ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」によって表した場合、以下の式２によって処理画像データの各画素値「Ｐ＿ｉｊ」を表すことができる。

　式２　　　Ｐ＿ｉｊ＝Ｖ＿ｉｊ×ＷＢｒａｔｉｏ＿ｉｊ
　　　　　　　　　　＝Ｖ＿ｉｊ×ＷＢ＿ｉｊ／ＷＢｂａｓｅ
　そして処理画像データは、画像処理部３１（処理画像取得部４４）から出力され、システム制御部２５の制御下でバッファメモリ２４及び圧縮伸張部３２を介して記憶制御部３３に送られ、記憶制御部３３によってメインメモリ１０に記憶される（Ｓ１５）。なお本実施形態では、比率取得部４２によって定められたＷＢベース値はメインメモリ１０に記憶されない。

　以上説明したように本実施形態によれば、各画素に適したＷＢゲインＷＢ＿ｉｊが反映された画素値Ｐ＿ｉｊ（上記の式２参照）を有する処理画像データがメインメモリ１０に記憶される。したがってメインメモリ１０から処理画像データを読み出して、処理画像データの各画素値Ｐ＿ｉｊにＷＢベース値ＷＢｂａｓｅを乗算するだけで、下記の式３のように、各画素に適したＷＢゲインが適用された画像データ（画素値Ｋ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す））を得ることができる。

　式３　　　Ｋ＿ｉｊ＝Ｐ＿ｉｊ×ＷＢｂａｓｅ
　　　　　　　　　　＝Ｖ＿ｉｊ×ＷＢ＿ｉｊ／ＷＢｂａｓｅ×ＷＢｂａｓｅ
　　　　　　　　　　＝Ｖ＿ｉｊ×ＷＢ＿ｉｊ
　したがって処理画像データがＲＡＷ画像データであっても、現像処理の際に使用するＲＡＷ現像ソフトが上記式３で表される処理を行うだけで、各画素に適したＷＢゲインが適用された画像データを簡単に得ることができる（後述の第５実施形態（図１３）参照）。このように、各画素に適したＷＢゲインが反映された処理画像データをメインメモリ１０に保存することで、適切なマルチエリアＷＢ処理が施された画像データを事後的に得ることができる。

　また本実施形態では、メインメモリ１０に記憶される処理画像データの各画素値に、各画素に適したＷＢゲインが反映されており、「各画素に適したＷＢゲイン」を処理画像データと別個に保存する必要がない。すなわち本実施形態では、処理画像データと共にＷＢベース値を記憶しておけば画素毎に設定されるＷＢゲインを記憶しておく必要がないため、画素毎のＷＢゲインを保存しない場合とほぼ同等のデータ記憶量で、適切なマルチエリアＷＢ処理が施された画像データを事後的に得ることができる。このように本実施形態によれば、「画素毎に適したＷＢゲイン」を処理画像データと別個に保存する場合に比べ、保存すべきデータ量を大幅に低減することができ、データ記憶量の肥大化を効果的に防ぐことができる。

　なお、レンズシェーディング補正処理や撮像補正処理なども画像の画素位置に応じて補正量を変える場合があるが、これらの処理は撮影の際のデジタルカメラ２の設定に依存する補正であるため、補正処理を予め関数化するなどの工夫によってデータ記憶量の増大を抑えることが可能である。しかしながらマルチエリアＷＢ処理における「各画素に適したＷＢゲイン」は撮影シーンに依存してゲイン量が変動しうるため、マルチエリアＷＢ処理を予め関数化しておく等の工夫が難しく、データ記憶量の増大を招き易い。しかしながら本実施形態によれば、データ記憶量の増大をほぼ伴うことなく、マルチエリアＷＢ処理による効果を簡便な処理によって得ることができる。

　＜第２実施形態＞
　本実施形態において、上述の第１実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　本実施形態の画像処理部３１は、上述の第１実施形態の画像処理部３１（図４参照）と同様の機能構成を有する。

　ただし本実施形態では、処理画像データの作成時に使用したＷＢベース値をタグ情報として処理画像データに付加したデータ（ＲＡＷデータ）がメインメモリ１０に記憶される。すなわち、画像処理部３１（処理画像取得部４４）から出力される処理画像データはＷＢベース値と共に記憶制御部（データ記録部）３３に送られ、記憶制御部３３は処理画像データ及びＷＢベース値を相互に関連付けてメインメモリ（記憶媒体）１０に記憶する。

　図６は、第２実施形態に係る画像処理フローを示すフローチャートである。

　本実施形態においても、上述の第１実施形態（図５参照）と同様に、原画像データの画素毎に最適なＷＢゲインが取得され（Ｓ１１）、ＷＢベース値が取得され（Ｓ１２）、原画像データの画素毎に、ゲイン取得部４０によって取得されたＷＢゲインのＷＢベース値に対する比率を表すＷＢ比率が取得される（Ｓ１３）。また原画像データの画素毎に、画素値にＷＢ比率が乗算されて処理画像データが取得される（Ｓ１４）。

　ただし本実施形態では、処理画像データとＷＢベース値とが画像処理部３１から出力され、システム制御部２５の制御下でバッファメモリ２４及び圧縮伸張部３２を介して記憶制御部３３に送られ、記憶制御部３３によってメインメモリ１０に記憶される（図６のＳ１５ａ）。なお画像処理部３１（処理画像取得部４４）から出力された段階で、ＷＢベース値がタグ情報として処理画像データに付加されていてもよい。ただしＷＢベース値は、必ずしも処理画像データと共に画像処理部３１から記憶制御部３３に送られる必要はなく、例えばシステム制御部２５から記憶制御部３３にＷＢベース値が送られてもよい。すなわち画像処理部３１（処理画像取得部４４）からはＷＢベース値が付加されていない処理画像データが出力され、記憶制御部３３においてＷＢベース値がタグ情報として処理画像データに付加されてもよい。

　以上説明したように本実施形態によれば、各画素に適したＷＢゲインが反映された処理画像データ及びＷＢベース値ＷＢｂａｓｅがメインメモリ１０に記憶される。したがってメインメモリ１０から処理画像データ及びＷＢベース値ＷＢｂａｓｅを読み出して、処理画像データの各画素値Ｐ＿ｉｊにＷＢベース値ＷＢｂａｓｅを乗算するだけで、上記の式３に示すように、画素毎に適したＷＢゲインが適用された適正な画像データ（画素値Ｋ＿ｉｊ）を得ることができる。

　また本実施形態においても、処理画像データと別個に「画素毎に最適化されたマルチエリアＷＢゲイン等のＷＢゲイン」を保存する必要がないため、画素毎のＷＢゲインを保存しない場合とほぼ同等のデータ記憶量で、適切なマルチエリアＷＢ処理が施された画像データを事後的に得ることが可能である。

　＜第３実施形態＞
　本実施形態において、上述の第１実施形態及び第２実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　図７は、第３実施形態に係る画像処理部３１の機能構成例を示すブロック図である。

　本実施形態の画像処理部３１は、ゲイン取得部４０、比率取得部４２及び処理画像取得部４４に加え、原画像データの光源種を判定する光源種判定部４６を有する。

　原画像データの光源種の判定手法は特に限定されず、光源種判定部４６は、例えば原画像データを解析することで光源種を判定してもよい。またフラッシュを発光させて撮影を行う場合には、光源種判定部４６は、原画像データの光源種がフラッシュ光及び環境光を含むと判定してもよい。

　光源種判定部４６で判定された原画像データの光源種の情報は、ゲイン取得部４０及び比率取得部４２に送られる。

　ゲイン取得部４０は、光源種判定部４６によって判定される原画像データの光源種に基づいて、原画像データの画素毎にＷＢゲインを取得する。例えば原画像データの光源種がフラッシュ光及び環境光である場合、ゲイン取得部４０は、フラッシュ光の光源種のＷＢゲインとして、予め定められてメモリ（例えば図３に示す制御メモリ３０）に記憶されているデータを使用してもよい。またゲイン取得部４０は、環境光の光源種のＷＢゲインを、フラッシュ発光画像データ及びフラッシュ非発光画像データから算出してもよい。

　比率取得部４２は、光源種判定部４６によって判定される原画像データの光源種に含まれる１つの光源種に基づいてＷＢベース値を定める。本実施形態の比率取得部４２は、ＷＢベース値を、光源種判定部４６によって判定される原画像データの環境光に基づいて定める。

　本実施形態によれば、ユーザが将来的にマルチエリアＷＢ処理を適用した画像データの取得を望む場合に、ＷＢベース値を「原画像データの光源種に含まれる１つの光源種（環境光）」に基づいて設定すればよいので、ユーザはマルチエリアＷＢ処理を感覚的に行うことができ利便性が高い。例えば原画像データがフラッシュ発光シーンを撮影した画像データである場合に、ユーザは背景の光源に合わせてＷＢベース値を設定することが可能になる。

　なおメインメモリ１０には、第１実施形態と同様にＷＢベース値は記憶されないが処理画像データが記憶されてもよいし、第２実施形態と同様に処理画像データ及びＷＢベース値が記憶されてもよい。

　＜第４実施形態＞
　本実施形態において、上述の第１実施形態～第３実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　図８は、第４実施形態に係る画像処理部３１の機能構成例を示すブロック図である。

　本実施形態の画像処理部３１は、ゲイン取得部４０、比率取得部４２、処理画像取得部４４及び光源種判定部４６に加え、フラッシュ画像取得部４８及び光源種データ取得部５０を有する。

　フラッシュ画像取得部４８は、フラッシュを発光して撮影されたフラッシュ発光画像データと、フラッシュ発光画像データの被写体と同一の被写体をフラッシュ非発光で撮影することで得られるフラッシュ非発光画像データとを取得する。すなわち本実施形態では、ユーザがフラッシュ発光画像データを取得しようとシャッタボタン６（図１及び図２参照）を押すと、システム制御部２５（図３参照）はフラッシュ発光部５の発光をコントロールしつつ撮像素子２１等を制御して、フラッシュ非発光撮影及びフラッシュ発光撮影が自動的に連続的に行われる。フラッシュ画像取得部４８は、これらの撮影により得られるフラッシュ発光画像データ及びフラッシュ非発光画像データを取得する。

　光源種データ取得部５０は、環境光（第１の光源種）の影響を示す第１の画像データと、フラッシュ光（第２の光源種）の影響を示す第２の画像データとを取得する。すなわち光源種データ取得部５０は、第１の光源種を環境光として、フラッシュ画像取得部４８が取得するフラッシュ非発光画像データに基づいて第１の画像データを取得し、また第２の光源種をフラッシュ光として、フラッシュ発光画像データに基づいて第２の画像データを取得する。

　ここでいう第１の画像データ及び第２の画像データは特に限定されない。例えば、「フラッシュ非発光画像データ」自体を環境光の影響を示す第１の画像データとして使用してもよい。また「フラッシュ発光画像データとフラッシュ非発光画像データとの各画素値の差分を示す画像データ」をフラッシュ光の影響を示す第２の画像データとして使用してもよい。

　なおフラッシュ発光の有無は、ユーザインタフェース３６を介したユーザの設定によって決められたり、或いは撮影シーンの明るさを検出する測光センサ（図示省略）の検出結果に応じてシステム制御部２５により決められたりするが、いずれにしてもシステム制御部２５はフラッシュ発光の有無の情報を有する。したがって本実施形態のように環境光及びフラッシュ光を原画像データの第１の光源種及び第２の光源種とする場合、光源種判定部４６は、システム制御部２５が把握しているフラッシュ発光の有無の情報を取得することで、原画像データの光源種を判定してもよい。

　光源種判定部４６による原画像データの光源種の判定結果は、ゲイン取得部４０及び比率取得部４２だけではなく、光源種データ取得部５０にも送られる。光源種データ取得部５０は、光源種判定部４６の判定結果に基づいて、第１の画像データ及び第２の画像データを取得する。

　ゲイン取得部４０は、光源種判定部４６によって判定される原画像データの光源種が環境光（第１の光源種）及びフラッシュ光（第２の光源種）を含む場合、第１の画像データ及び第２の画像データに基づいて、原画像データの画素毎のＷＢゲインを取得する。

　図９は、第４実施形態に係る光源種データ取得部５０及びゲイン取得部４０の機能構成例を示すブロック図である。

　本例の光源種データ取得部５０は、環境光ゲイン取得部５２、フラッシュ光ゲイン取得部５４及びフラッシュ影響度取得部５６を有する。

　環境光ゲイン取得部５２は、光源種判定部４６によって判定される原画像データの環境光を光源種として定められる環境光用ホワイトバランスゲイン（以下、「環境光用ＷＢゲイン」と称する）を取得する。環境光ゲイン取得部５２は、例えばフラッシュ非発光画像データの色分布及び輝度値などから、一般的に行われている手法でオートホワイトバランスモード用のＷＢゲイン（以下、「ＡＷＢゲイン」と称する）を算出し、そのＡＷＢゲインを環境光用ＷＢゲインとして使用することができる。なおＡＷＢゲインは任意の手法に基づいて算出可能である。環境光ゲイン取得部５２は、例えばフラッシュ非発光画像データを解析してＲＧＢの画素値から色分布情報を求めて、平均値を無彩色にするゲインをＡＷＢゲイン（環境光用ＷＢゲイン）として設定してもよい。また環境光ゲイン取得部５２は、フラッシュ非発光画像データの輝度値から輝度分布情報を求めて、この輝度分布情報に基づいてＡＷＢゲイン（環境光用ＷＢゲイン）を決めてもよい。また複数の環境光の種別毎に定められるＷＢゲインを予め制御メモリ３０等のメモリに記憶しておき、環境光ゲイン取得部５２は、フラッシュ非発光画像データを解析することで環境光の種別を判定し、判定された環境光の種別に関するＷＢゲインをメモリから取得して環境光用ＷＢゲインとして設定してもよい。

　フラッシュ光ゲイン取得部５４は、フラッシュ光を光源種として定められるフラッシュ光用ホワイトバランスゲイン（以下、「フラッシュ光用ＷＢゲイン」と称する）を取得する。例えばフラッシュ光の特性は予め把握可能であるため、フラッシュ光の光特性に応じて予め求められたフラッシュ光用ＷＢゲインを制御メモリ３０等のメモリに記憶しておき、フラッシュ光ゲイン取得部５４はフラッシュ光用ＷＢゲインをメモリから直接的又は間接的に読み出して取得してもよい。

　フラッシュ影響度取得部５６は、原画像データを構成する各画素におけるフラッシュ光と環境光との比率を表すフラッシュ影響度を取得する。より具体的には、フラッシュ影響度取得部５６は、フラッシュ非発光画像データの画素毎の輝度値（以下、「第１の輝度値」と称する）を第１の画像データとして取得し、フラッシュ発光画像データの画素毎の輝度値（以下、「第２の輝度値」と称する）を第２の画像データとして取得する。そしてフラッシュ影響度取得部５６は、第１の輝度値及び第２の輝度値から、原画像データの画素毎のフラッシュ影響度を取得する。

　なお第１の輝度値及び第２の輝度値の各々を取得する手法及びフラッシュ影響度を取得する手法は、特に限定されない。例えばフラッシュ発光画像データ（原画像データ）及びフラッシュ非発光画像データがＲＧＢデータによって構成され、Ｒデータ、Ｇデータ及びＢデータの各々を「Ｒ＿ｉｊ」、「Ｇ＿ｉｊ」及び「Ｂ＿ｉｊ」（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）で表した場合、例えば下記の式４及び式５によって第１の輝度値「Ｙ１＿ｉｊ」及び第２の輝度値「Ｙ２＿ｉｊ」（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）を表すことができる。

　式４
　　　Ｙ１＿ｉｊ
　　　＝Ｒ＿ｉｊ×０．２９９＋Ｇ＿ｉｊ×０．５８７＋Ｂ＿ｉｊ×０．１１４
　式５
　　　Ｙ２＿ｉｊ
　　　＝Ｒ＿ｉｊ×０．２９９＋Ｇ＿ｉｊ×０．５８７＋Ｂ＿ｉｊ×０．１１４
　またフラッシュ影響度Ｒａｔｉｏ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）を、例えば下記の式６によって表すことができる。

　式６　　　Ｒａｔｉｏ＿ｉｊ＝１－（Ｙ１＿ｉｊ／Ｙ２＿ｉｊ）
　ゲイン取得部４０は、環境光ゲイン取得部５２が取得した「環境光用ＷＢゲインＷＢ１」とフラッシュ光ゲイン取得部５４が取得した「フラッシュ光用ＷＢゲインＷＢ２」とから、フラッシュ影響度取得部５６が取得した「フラッシュ影響度Ｒａｔｉｏ＿ｉｊ」（上記の式６参照）に基づいて、原画像データの画素毎のＷＢゲインＷＢ＿ｉｊを取得する。フラッシュ影響度Ｒａｔｉｏ＿ｉｊが各画素におけるフラッシュ光の影響の比率を表す場合、原画像データの画素毎のＷＢゲインＷＢ＿ｉｊは、例えば下記の式７に基づいて取得可能である。

　式７
　ＷＢ＿ｉｊ＝ＷＢ１×（１－Ｒａｔｉｏ＿ｉｊ）＋ＷＢ２×Ｒａｔｉｏ＿ｉｊ
　図１０は、第４実施形態に係る画像処理フローを示すフローチャートである。

　ユーザがシャッタボタン６を押して撮影を指示すると被写体の撮影が行われ、撮像素子２１から出力されたフラッシュ非発光画像データ及びフラッシュ発光画像データが、プロセス処理部２２、ＡＤ変換部２３及びバッファメモリ２４を介して画像処理部３１のフラッシュ画像取得部４８により取得される（図１０のＳ２１）。

　そして光源種データ取得部５０の環境光ゲイン取得部５２によって、フラッシュ非発光画像データから環境光用ＷＢゲインＷＢ１が取得され（Ｓ２２）、またフラッシュ光ゲイン取得部５４によって、予め定められたフラッシュ光用ＷＢゲインＷＢ２が制御メモリ３０等のメモリから取得される（Ｓ２３）。

　そしてフラッシュ影響度取得部５６によって、フラッシュ非発光画像データの画素毎の輝度値（第１の輝度値Ｙ１＿ｉｊ）が取得され（Ｓ２４）、またフラッシュ発光画像データの画素毎の輝度値（第２の輝度値Ｙ２＿ｉｊ）が取得される（Ｓ２５）。そしてこれらの第１の輝度値Ｙ１＿ｉｊ及び第２の輝度値Ｙ２＿ｉｊから画素毎のフラッシュ影響度Ｒａｔｉｏ＿ｉｊがフラッシュ影響度取得部５６によって取得される（Ｓ２６）。

　そしてゲイン取得部４０によって、環境光用ＷＢゲインＷＢ１、フラッシュ光用ＷＢゲインＷＢ２及びフラッシュ影響度Ｒａｔｉｏ＿ｉｊから、原画像データ（フラッシュ発光画像データ）の各画素に適したＷＢゲインＷＢ＿ｉｊが取得される（Ｓ２７）。

　そして比率取得部４２によって、ＷＢベース値ＷＢｂａｓｅが決定され（Ｓ２８）、原画像データの各画素に適したＷＢゲインＷＢ＿ｉｊ及びＷＢベース値ＷＢｂａｓｅから画素毎のＷＢ比率ＷＢｒａｔｉｏ＿ｉｊが取得される（Ｓ２９）。

　そして処理画像取得部４４によって、原画像データ（フラッシュ発光画像データ）の画素毎に、画素値Ｖ＿ｉｊとＷＢ比率ＷＢｒａｔｉｏ＿ｉｊとの乗算が行われて処理画像データが取得され（Ｓ３０）、処理画像データは記憶制御部３３によってメインメモリ１０に記憶される（Ｓ３１）。

　なお図１０に示す処理フローでは、上述の第１実施形態と同様に、処理画像データはメインメモリ１０に記憶されるが、ＷＢベース値ＷＢｂａｓｅはメインメモリ１０に記憶されない。しかしながら、図１１のフローチャートに示すように、上述のステップＳ２１～Ｓ３０を経た後に、上述の第２実施形態と同様に、処理画像データ及びＷＢベース値ＷＢｂａｓｅがメインメモリ１０に記憶されてもよい（図１１のＳ３１ａ）。

　＜第５実施形態＞
　本実施形態において、上述の第１実施形態～第４実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　本実施形態は、上述の処理画像データをメインメモリ１０から読み出して、その処理画像データにＷＢベース値を適用することでＷＢ処理が施された画像データ（以下、「ホワイトバランス調整画像データ（ＷＢ調整画像データ）」と称する）を得る処理に関し、ＷＢベース値をメインメモリ１０から読み出して使用する例に関する。

　したがって本実施形態で使用されるメインメモリ１０には、例えば上述の第２実施形態でメインメモリ１０に記憶された処理画像データのように、処理画像データを生成時に使用したＷＢベース値が処理画像データと関連付けられて記憶されている。また本実施形態の画像処理部３１は相互に関連付けられた処理画像データ及びＷＢベース値を読み出してＷＢ処理を行う。

　なお図１３に示す画像処理部３１は、上述の第２実施形態で説明した「ゲイン取得部４０、比率取得部４２及び処理画像取得部４４を含む画像処理部３１（図４参照）」と一体的に設けられてもよいし、別体として設けられてもよい。したがって、例えば図４に示す画像処理部３１をデジタルカメラ２に設ける場合に、下述の図１３に示す画像処理部３１は、同様にデジタルカメラ２に設けられてもよいし、図１２に示すようにデジタルカメラ２に有線又は無線のネットワーク９４を介して接続されるコンピュータ９０やサーバ９２に設けられてよいし、デジタルカメラ２から取り外されたメインメモリ１０に接続可能なコンピュータ９０等に設けられてもよい。またデジタルカメラ２、コンピュータ９０又はサーバ９２に接続されるポータブル端末９６であって、処理画像データを受信可能なスマートフォン或いはタブレット端末等のポータブル端末９６に、下述の図１３に示す画像処理部３１が設けられてもよい。

　図１３は、第５実施形態に係る画像処理部３１の機能構成例を示すブロック図である。

　本実施形態の画像処理部３１は、処理データ取得部６０及びＷＢ処理部６２を有する。

　処理データ取得部６０は、「原画像データの画素毎に、ＷＢベース値に対するＷＢゲインの比率を示すＷＢ比率を画素値に乗算して取得される処理画像データ」と、「ＷＢベース値」とを、メインメモリ（記憶媒体）１０から取得する。

　ＷＢ処理部６２は、処理画像データの画素毎に、上記の式３に示すように、ＷＢベース値ＷＢｂａｓｅを画素値Ｐ＿ｉｊに乗算してＷＢ調整画像データ（画素値Ｋ＿ｉｊ）を取得する。

　図１４は、第５実施形態に係る画像処理フローを示すフローチャートである。

　まず処理データ取得部６０によって、メインメモリ１０から処理画像データが読み出され（図１４のＳ４１）、またメインメモリ１０からＷＢベース値が読み出される（Ｓ４２）。

　そしてＷＢ処理部６２によって、処理画像データの画素毎にＷＢベース値が画素値に乗算されてＷＢ調整画像データが取得される（Ｓ４３）。

　以上説明したように本実施形態によれば、メインメモリ１０から処理画像データを読み出して取得する場合であっても、マルチエリアＷＢ処理が施されたＷＢ調整画像データを取得することができる。例えばマルチエリアＷＢ処理のＷＢゲインを反映した処理画像データ（ＲＡＷ画像データ）及びＷＢベース値をメインメモリ１０に記憶しておくことで、ユーザは処理画像データ（ＲＡＷ画像データ）を現像する際に、マルチエリアＷＢ処理が施されたＷＢ調整画像データを簡便に取得することができる。このように本実施形態によれば、適切なマルチエリアＷＢ処理が施された画像データを事後的に得ることができる。

　＜第６実施形態＞
　本実施形態において、上述の第５実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　本実施形態は、上述の処理画像データをメインメモリ１０から読み出して、その処理画像データにＷＢベース値を適用することでＷＢ調整画像データを得る処理に関し、ＷＢベース値を推定して使用する例に関する。したがって本実施形態は、例えば上述の第１実施形態でメインメモリ１０に記憶された処理画像データのように、処理画像データの生成に使用したＷＢベース値がメインメモリ１０に記憶されていない場合に好適である。

　図１５は、第６実施形態に係る画像処理部３１の機能構成例を示すブロック図である。

　本実施形態の画像処理部３１は、処理データ取得部６０及びＷＢ処理部６２に加え、設定モード取得部６４及びベース値取得部６６を有する。

　本実施形態の処理データ取得部６０は、処理画像データをメインメモリ（記憶媒体）１０から取得するが、ＷＢベース値は取得しない。

　設定モード取得部６４は、原画像データを取得した際のホワイトバランス設定モード（以下、「ＷＢ設定モード」と称する）の情報を取得する。ＷＢ設定モードの情報の取得手法は特に限定されない。例えば処理画像データのタグ情報にＷＢ設定モードの情報が含まれている場合には、設定モード取得部６４は、処理データ取得部６０が取得した処理画像データに付加されているタグ情報からＷＢ設定モードの情報を取得してもよいし、メインメモリ１０から直接的にＷＢ設定モードの情報を取得してもよい。また処理画像データに関して原画像データを取得した際のＷＢ設定モードの情報がメインメモリ１０に記憶されていない場合、設定モード取得部６４は、例えば任意のＷＢ設定モード（例えばオートホワイトバランスモード（以下、「ＡＷＢモード」と称する））をＷＢ設定モードとして仮定してもよい。

　なおＷＢ設定モードは特に限定されない。例えば、予め想定される光源種（例えば晴れ（太陽光）、蛍光灯、或いは電球等）に応じてＷＢゲインが予め定められているプリセットホワイトバランスモード（以下、「プリセットＷＢモード」と称する）、原画像データの色分布情報に基づいて原画像データに適用されるＷＢゲインが決定されるＡＷＢモード、及び原画像データとは異なる参照画像データの色分布情報に基づいて原画像データに適用されるＷＢゲインが決定されるカスタムホワイトバランスモード（以下、「カスタムＷＢモード」と称する）のうちのいずれか一つを、ＷＢ設定モードとしうる。またユーザがマニュアルで個別的にＷＢゲインを決定するマニュアルホワイトバランスモード（以下、「マニュアルＷＢモード」と称する）を、ＷＢ設定モードとして選択可能であってもよい。

　ベース値取得部６６は、設定モード取得部６４が取得した「原画像データを取得した際のＷＢ設定モードの情報」に基づいて、ＷＢベース値を推定する。例えば原画像データを取得した際のＷＢ設定モードがＡＷＢモードである場合、ベース値取得部６６は、処理データ取得部６０によって取得された処理画像データの色分布からＡＷＢゲインを取得し、そのＡＷＢゲインに基づいてＷＢベース値を推定する。また原画像データを取得した際のＷＢ設定モードがプリセットＷＢモードやカスタムＷＢモードのようにＷＢゲインが予め定められている場合、ベース値取得部６６は、処理画像データに関連付けられて記憶されているＷＢ設定モード用のＷＢゲインを取得し、その取得したＷＢゲインに基づいてＷＢベース値を推定する。なお、「処理画像データに関連付けられて記憶されているＷＢ設定モード用のＷＢゲイン」の取得手法は特に限定されない。例えば処理データ取得部６０が取得した処理画像データのタグ情報、ＲＡＷ現像ソフトの内部パラメータ、或いはサーバ９２に記憶された情報等から「処理画像データに関連付けられて記憶されているＷＢ設定モード用のＷＢゲイン」が取得されてもよい。

　ＷＢ処理部６２は、処理画像データの画素毎に、ベース値取得部６６によって推定されたＷＢベース値を画素値に乗算してＷＢ調整画像データを取得する（上記の式３参照）。

　図１６は、第６実施形態に係る画像処理フローを示すフローチャートである。

　まず処理データ取得部６０によって、メインメモリ１０から処理画像データが読み出されて取得され（図１６のＳ５１）、また設定モード取得部６４によって、原画像データを取得した際のＷＢ設定モードの情報が取得される。

　そしてベース値取得部６６によって、原画像データを取得した際のＷＢ設定モードの情報に基づいてＷＢベース値が推定される（Ｓ５２）。

　そしてＷＢ処理部６２によって、処理画像データの画素毎に、推定されたＷＢベース値が画素値に乗算されてＷＢ調整画像データが取得される（Ｓ５３）。

　以上説明したように、メインメモリ１０から処理画像データを取得することはできるがＷＢベース値を取得することができない場合であっても、本実施形態によればマルチエリアＷＢ処理を施したＷＢ調整画像データを取得することができる。

　＜第７実施形態＞
　本実施形態において、上述の第５実施形態～第６実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　本実施形態は、処理画像データをメインメモリ１０から読み出して、その処理画像データにＷＢベース値を適用することでＷＢ調整画像データを得る処理に関し、ユーザによって所望のホワイトバランス処理モード（以下、「ＷＢ処理モード」と称する）が選択され、処理画像データに対しては、ＷＢベース値ではなくユーザが選択したＷＢ処理モードに応じたＷＢゲインが適用される。

　図１７は、第７実施形態に係る画像処理部３１の機能構成例を示すブロック図である。

　本実施形態の画像処理部３１は、処理データ取得部６０、ＷＢ処理部６２、設定モード取得部６４及びベース値取得部６６に加え、処理モード取得部７０を有する。

　処理モード取得部７０は、処理画像データに適用されるＷＢ処理モードの情報を処理モード入力部６８から取得する。ここでいう「ＷＢ処理モード」はユーザが希望するＷＢモードであり、ユーザは処理画像データの実際のＷＢ処理として希望するＷＢモードを「ＷＢ処理モード」として処理モード入力部６８に入力する。

　処理モード入力部６８の具体的な形態は特に限定されず、処理モード入力部６８がデジタルカメラ２に搭載される場合には、例えば「操作部９（図２参照）」によって処理モード入力部６８を構成することができる。また処理モード入力部６８がコンピュータ９０、サーバ９２又はポータブル端末９６に搭載される場合には、それらの機器類に搭載又は接続されるキーボード、マウス、タッチパネル等の任意の操作部によって処理モード入力部６８を構成することができる。

　処理モード取得部７０によって取得された「処理画像データに適用されるＷＢ処理モードの情報」はベース値取得部６６に送られる。またベース値取得部６６には、設定モード取得部６４が取得した「原画像データのＷＢ設定モード」の情報が送られる。

　ベース値取得部６６は、ホワイトバランス設定モードの情報及びＷＢ処理モードの情報に基づいてＷＢベース値を取得する。すなわちベース値取得部６６は、ＷＢ処理モードがＷＢ設定モードと同じであると判定される場合には、ＷＢ設定モードに基づいてＷＢベース値を取得し、ＷＢ処理モードがＷＢ設定モードと異なると判定される場合には、ＷＢ処理モードに基づいてＷＢゲインを取得する。この場合、ベース値取得部６６は、例えばメインメモリ１０に記憶されている処理画像データのタグ情報からＷＢゲイン及び／又はＷＢベース値を取得してもよいし、処理データ取得部６０が取得した処理画像データを解析することでＷＢゲイン（例えばＡＷＢゲイン）を取得してもよい。

　ＷＢ処理部６２は、処理データ取得部６０がメインメモリ１０から取得した処理画像データの画素毎に、ベース値取得部６６によって取得されたＷＢベース値又はＷＢゲインを乗算してＷＢ調整画像データを取得する。

　図１８は、第７実施形態に係る画像処理フローを示すフローチャートである。なお以下では、処理画像データの生成に使用したＷＢベース値が処理画像データのタグ情報としてメインメモリ１０に記憶されている例について説明する。

　まず処理データ取得部６０によって、メインメモリ１０から処理画像データが読み出されて取得され（図１８のＳ６１）、また設定モード取得部６４によって、原画像データを取得した際のＷＢ設定モードの情報がメインメモリ１０から取得される（Ｓ６２）。また処理モード取得部７０によって、処理画像データに適用されるＷＢ処理モードの情報が取得される（Ｓ６３）。

　そしてベース値取得部６６によって、ＷＢ設定モードとＷＢ処理モードとが同じＷＢモードに関するものか否か判定される（Ｓ６４）。

　ＷＢ設定モードとＷＢ処理モードとが同じＷＢモードであると判定される場合（Ｓ６４のＹ）、ベース値取得部６６によって、例えば処理データ取得部６０が取得した処理画像データのタグ情報からＷＢベース値が取得される（Ｓ６５）。そしてＷＢ処理部６２によって、このＷＢベース値が処理画像データの各画素値に乗算されてＷＢ調整画像データが取得される（Ｓ６６）。

　一方、ＷＢ設定モードとＷＢ処理モードとが同じではないと判定される場合（Ｓ６４のＮ）、ベース値取得部６６によってＷＢ処理モードに応じたＷＢゲインが取得される（Ｓ６７）。そしてＷＢ処理部６２によって、このＷＢゲインが処理画像データの各画素値に乗算されてＷＢ調整画像データが取得される（Ｓ６８）。

　以上説明したように本実施形態によれば、ユーザが原画像データを取得した際のＷＢ設定モードとは異なるモードのＷＢ処理を望む場合には、ユーザが望むＷＢ処理モードに応じたＷＢ処理が施されたＷＢ調整画像データを取得することができる。この場合、例えばマルチエリアＷＢ処理の効果を得つつ、画像全体のカラーバランスをユーザの要望に合わせて変えることができる。

　なお、ＷＢベース値がＡＷＢモードに基づいて定められることが予め決められている場合には、処理画像データに適用されるＷＢ処理モードがＡＷＢモードか否かに応じてＷＢ調整画像データが取得されてもよい。

　図１９は、第１実施形態に係る画像処理部３１（図４参照）の画像処理フローの一変形例を示す図である。本変形例では、処理画像データの生成に使用するＷＢベース値としてＡＷＢゲインを使用することが予め定められている。すなわち図４に示すゲイン取得部４０が原画像データの画素毎のＷＢゲインを取得する（図１９のＳ７１）一方で、比率取得部４２は原画像データを解析してＡＷＢゲインを取得し、そのＡＷＢゲインをＷＢベース値として定める（Ｓ７２）。そして、第１実施形態（図５のＳ１３～Ｓ１５参照）と同様に、画素毎にＷＢゲイン及びＷＢベース値からＷＢ比率が取得され（Ｓ７３）、画素毎に画素値にＷＢ比率が乗算されて処理画像データが取得され（Ｓ７４）、メインメモリ１０に処理画像データが記憶される（Ｓ７５）。

　図２０は、第７実施形態に係る画像処理部３１（図１７参照）の画像処理フローの一変形例を示す図である。図１９に示す画像処理フローによってメインメモリ１０に記憶された処理画像データのマルチエリアＷＢ処理は、図２０に示す画像処理フローに従って、図１７に示す機能構成を有する画像処理部３１によって実施可能である。すなわち上述の第７実施形態（図１８のＳ６１及びＳ６３参照）と同様に、メインメモリ１０から処理画像データが読み出され（図２０のＳ８１）、処理モード入力部６８からＷＢ処理モードの情報が取得される（Ｓ８２）。そしてベース値取得部６６（図１７参照）によって、ＷＢ処理モードがＡＷＢモードか否かが判定される（Ｓ８３）。

　ＷＢ処理モードがＡＷＢモードであると判定される場合（Ｓ８３のＹ）、ベース値取得部６６は、処理画像データを解析して処理画像データの色分布情報を取得し（Ｓ８４）、この色分布情報からＡＷＢゲインを取得し、このＡＷＢゲインをＷＢベース値として定める（Ｓ８５）。そしてＷＢ処理部６２によって、処理画像データの各画素値に対してＷＢベース値が乗算されてＷＢ調整画像データが取得される（Ｓ８６）。

　一方、ＷＢ処理モードがＡＷＢモードではないと判定される場合（Ｓ８３のＮ）、ベース値取得部６６はＷＢ処理モードに基づくＷＢゲインを上述の第７実施形態（図１８のＳ６７参照）と同様に取得し（Ｓ８７）、ＷＢ処理部６２によってＷＢゲインが処理画像データの各画素値に乗算されてＷＢ調整画像データが取得される（Ｓ８８）。

　なお図１９に示す変形例において、メインメモリ１０には、処理画像データの生成に使用したＷＢベース値が処理画像データと関連付けられて記憶されてもよい（図１９のＳ７５参照）。この場合、ベース値取得部６６は、処理画像データの色分布情報からＡＷＢゲインを取得する（図２０のＳ８４～Ｓ８５参照）代わりに、メインメモリ１０に記憶されているＷＢベース値を読み出し、ＷＢ処理部６２は、ベース値取得部６６によって読み出されたＷＢベース値を処理画像データに適用してＷＢ調整画像データを取得してもよい。

　＜他の変形例＞
　上述の実施形態及び変形例のうち任意の形態同士が組み合わされてもよい。また上述の実施形態は例示に過ぎず、他の構成に本発明を適用してもよい。

　例えば原画像データを取得する際のＷＢ設定モードがＡＷＢモードの場合にのみ、上述の第１実施形態～第４実施形態のように処理画像データをメインメモリ１０に記憶してもよい。原画像データを取得する際のＷＢ設定モードがＡＷＢモード以外の場合、記憶制御部３３は通常通り、ＷＢ設定モードを適用した後の画像データをメインメモリ１０に記憶したり、ＷＢ設定モードに応じた画素毎のＷＢゲイン又は画素全体で共通のＷＢゲインを画像データと関連付けてメインメモリ１０に記憶してもよい。

　また原画像データを取得する際のＷＢ設定モードにかかわらず、上述の第１実施形態～第４実施形態のように処理画像データをメインメモリ１０に記憶してもよい。この場合、ユーザは、原画像データを取得する際には将来的にマルチエリアＷＢ処理を行うことを予定していない場合であっても、後日、メインメモリ１０から読み出した処理画像データに対してマルチエリアＷＢ処理を行うことが可能である。この場合であっても、上述の第１実施形態～第４実施形態によれば、画素毎のＷＢゲインが画像データとは別個に保存されるのではなく、マルチエリアＷＢゲインが反映された処理画像データが保存されるため、記憶容量を過大に浪費することがない。

　すなわちマルチエリアＷＢ処理を実行するには、上述のように特殊な処理や情報が必要である。ユーザが原画像データの撮影取得の際にマルチエリアＷＢを実施したい場合には、原画像データを取得した際に、そのようなマルチエリアＷＢ処理のための特殊な処理を行ったり、特殊な情報を取得することができる。しかしながら、撮影後に例えばＲＡＷ画像データを現像する段階になってからユーザがマルチエリアＷＢ処理を実施したくなった場合には、撮影の際に行う必要があるマルチエリアＷＢ処理のための特殊な処理が行われておらず、また撮影の際に取得することが必要なマルチエリアＷＢ処理のための情報が取得されていないため、マルチエリアＷＢ処理の実現が困難である。例えば人物夜景シーンでフラッシュを発光させて撮影して取得した画像データを原画像データとしてマルチエリアＷＢ処理を行う場合、フラッシュ非発光画像データを併せて取得し、フラッシュ発光画像データとフラッシュ非発光画像データとの画素値の差分から画素毎にフラッシュ影響度を取得し、フラッシュ影響度に応じて背景（夜景）に適したＷＢゲイン（環境光用ＷＢゲイン）とフラッシュ光に適したＷＢゲイン（フラッシュ光用ＷＢゲイン）との混合比率（ＷＢ比率）を画素毎に取得することが必要とされる。しかしながら、ＲＡＷ画像データ（原画像データ）の現像段階でこれらの処理を実行しようとしても、ＲＡＷ画像データとして記憶されているのはフラッシュ発光画像データのみであり、マルチエリアＷＢ処理に必要なフラッシュ非発光画像データが無いため、マルチエリアＷＢ処理を実施するための「画素毎のＷＢゲイン」を取得することができない。したがって本変形例のように原画像データを取得する際のＷＢ設定モードにかかわらず、上述の第１実施形態～第４実施形態のように処理画像データをメインメモリ１０に記憶しておくことで、事後的にマルチエリアＷＢ処理を行うことをユーザが望んだとしても、適切なマルチエリアＷＢ処理が施されたＷＢ調整画像データを取得することが可能である。

　上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部（画像処理部３１等）における画像処理方法（画像処理手順）をコンピュータに実行させるプログラム、そのプログラムを記憶したコンピュータ読み取り可能な記憶媒体（非一時的記憶媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

　また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、或いはその他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

　＜スマートフォンの構成＞
　図２１は、スマートフォン１０１の外観を示す図である。図２１に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備える。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成が採用されてもよいし、折り畳み構造やスライド機構を有する構成が採用されてもよい。

　図２２は、図２１に示すスマートフォン１０１の構成を示すブロック図である。図２２に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１０は、主制御部１００の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

　表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）或いはＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

　図２１に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式及び静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力し、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図２１に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

　操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２１に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、或いはＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

　外部入出力部１６０は、スマートフォン１０１に連結されるすべての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）及びＩＥＥＥ（Ｔｈｅ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｓ，　Ｉｎｃ．）が定めるＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、及びジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

　スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、及び有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。

　ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度及び高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。

　電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

　アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。

　また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

　さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０及び操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図２１に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り換えて単独にて撮影してもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影してもよい。

　また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力の１つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。

　上述の画像処理部３１（図４、７～９、１３、１５及び１７参照）は、例えば主制御部１００によって実現可能である。

　２…デジタルカメラ、３…カメラ本体、４…レンズ鏡筒、５…フラッシュ発光部、６…シャッタボタン、７…電源スイッチ、８…表示部、９…操作部、１０…メインメモリ、１２…レンズ部、２０…メカニカルシャッタ、２１…撮像素子、２２…プロセス処理部、２３…ＡＤ変換部、２４…バッファメモリ、２５…システム制御部、２６…シャッタ駆動部、２７…レンズ駆動部、２８…電源制御部、２９…電源、３０…制御メモリ、３１…画像処理部、３２…圧縮伸張部、３３…記憶制御部、３４…クロックデバイス、３５…表示制御部、３６…ユーザインタフェース、４０…ゲイン取得部、４２…比率取得部、４４…処理画像取得部、４６…光源種判定部、４８…フラッシュ画像取得部、５０…光源種データ取得部、５２…環境光ゲイン取得部、５４…フラッシュ光ゲイン取得部、５６…フラッシュ影響度取得部、６０…処理データ取得部、６２…ＷＢ処理部、６４…設定モード取得部、６６…ベース値取得部、６８…処理モード入力部、７０…処理モード取得部、９０…コンピュータ、９２…サーバ、９４…ネットワーク、９６…ポータブル端末、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims

　原画像データの画素毎にホワイトバランスゲインを取得するゲイン取得部と、
　ホワイトバランスベース値を定めて、前記原画像データの画素毎に、前記ホワイトバランスベース値に対する前記ホワイトバランスゲインの比率を示すホワイトバランス比率を取得する比率取得部と、
　前記原画像データの画素毎に、画素値に前記ホワイトバランス比率を乗算して処理画像データを取得する処理画像取得部と、を備える画像処理装置。
　前記原画像データの光源種を判定する光源種判定部を更に備え、
　前記ゲイン取得部は、前記光源種判定部によって判定される前記原画像データの光源種に基づいて、前記原画像データの画素毎に前記ホワイトバランスゲインを取得する請求項１に記載の画像処理装置。
　第１の光源種の影響を示す第１の画像データと、第２の光源種の影響を示す第２の画像データとを取得する光源種データ取得部と、を更に備え、
　前記ゲイン取得部は、前記光源種判定部によって判定される前記原画像データの光源種が前記第１の光源種及び前記第２の光源種を含む場合、前記第１の画像データ及び前記第２の画像データに基づいて、前記原画像データの画素毎の前記ホワイトバランスゲインを取得する請求項２に記載の画像処理装置。
　フラッシュを発光して撮影されたフラッシュ発光画像データとフラッシュを発光せずに撮影されたフラッシュ非発光画像データとを取得するフラッシュ画像取得部を更に備え、
　前記光源種データ取得部は、前記第１の光源種を環境光として、前記フラッシュ非発光画像データに基づいて前記第１の画像データを取得し、前記第２の光源種をフラッシュ光として、前記フラッシュ発光画像データに基づいて前記第２の画像データを取得する請求項３に記載の画像処理装置。
　前記光源種データ取得部は、
　前記光源種判定部によって判定される前記原画像データの環境光を光源種として定められる環境光用ホワイトバランスゲインを取得する環境光ゲイン取得部と、
　フラッシュ光を光源種として定められるフラッシュ光用ホワイトバランスゲインを取得するフラッシュ光ゲイン取得部と、
　前記フラッシュ非発光画像データの画素毎の第１の輝度値を第１の画像データとして取得し、前記フラッシュ発光画像データの画素毎の第２の輝度値を第２の画像データとして取得し、前記第１の輝度値及び前記第２の輝度値から画素毎のフラッシュ影響度を取得するフラッシュ影響度取得部と、を有し、
　前記ゲイン取得部は、前記環境光用ホワイトバランスゲイン及び前記フラッシュ光用ホワイトバランスゲインから前記フラッシュ影響度に基づいて、前記原画像データの画素毎の前記ホワイトバランスゲインを取得する請求項４に記載の画像処理装置。
　前記比率取得部は、前記光源種判定部によって判定される前記原画像データの光源種に含まれる１つの光源種に基づいて、前記ホワイトバランスベース値を定める請求項２～５のいずれか一項に記載の画像処理装置。
　前記比率取得部は、前記ホワイトバランスベース値を、前記光源種判定部によって判定される前記原画像データの環境光に基づいて定める請求項６に記載の画像処理装置。
　前記処理画像データ及び前記ホワイトバランスベース値を記憶媒体に記憶するデータ記録部を更に備える請求項１～７のいずれか一項に記載の画像処理装置。
　原画像データの画素毎に、ホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データと、前記ホワイトバランスベース値とを、記憶媒体から取得する処理データ取得部と、
　前記処理画像データの画素毎に、前記ホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得するホワイトバランス処理部と、を備える画像処理装置。
　原画像データの画素毎に、前記原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得する処理データ取得部と、
　前記原画像データを取得した際の前記ホワイトバランス設定モードの情報を取得する設定モード取得部と、
　前記原画像データを取得した際の前記ホワイトバランス設定モードの情報に基づいて、前記ホワイトバランスベース値を推定するベース値取得部と、
　前記処理画像データの画素毎に、前記ベース値取得部によって推定された前記ホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得するホワイトバランス処理部と、を備える画像処理装置。
　原画像データの画素毎に、前記原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得する処理データ取得部と、
　前記原画像データを取得した際の前記ホワイトバランス設定モードの情報を取得する設定モード取得部と、
　前記処理画像データに適用されるホワイトバランス処理モードの情報を取得する処理モード取得部と、
　前記ホワイトバランス設定モードの情報及び前記ホワイトバランス処理モードの情報に基づいて、前記ホワイトバランス処理モードが前記ホワイトバランス設定モードと同じであると判定される場合には、前記ホワイトバランス設定モードに基づいて前記ホワイトバランスベース値を取得し、前記ホワイトバランス処理モードが前記ホワイトバランス設定モードと異なると判定される場合には、前記ホワイトバランス処理モードに基づいて前記ホワイトバランスベース値を取得するベース値取得部と、
　前記処理画像データの画素毎に、前記ベース値取得部によって取得された前記ホワイトバランスベース値を乗算してホワイトバランス調整画像データを取得するホワイトバランス処理部と、を備える画像処理装置。
　前記ホワイトバランス設定モードは、前記ホワイトバランスゲインが予め定められているプリセットホワイトバランスモード、前記原画像データの色分布情報に基づいて当該原画像データに適用される前記ホワイトバランスゲインが決定されるオートホワイトバランスモード、及び前記原画像データとは異なる参照画像データの色分布情報に基づいて前記原画像データに適用される前記ホワイトバランスゲインが決定されるカスタムホワイトバランスモードのうちのいずれかである請求項１０又は１１に記載の画像処理装置。
　前記処理画像データは、ＲＡＷ画像データである請求項１～１２のいずれか一項に記載の画像処理装置。
　前記処理画像データは、無圧縮画像データである請求項１～１３のいずれか一項に記載の画像処理装置。
　前記処理画像データは、可逆圧縮画像データである請求項１～１３のいずれか一項に記載の画像処理装置。
　前記処理画像データは、非可逆圧縮画像データである請求項１～１３のいずれか一項に記載の画像処理装置。
　撮像素子と、
　請求項１～１６のいずれか一項に記載の画像処理装置と、を備え、
　前記原画像データは前記撮像素子によって取得される撮像装置。
　原画像データの画素毎にホワイトバランスゲインを取得し、
　ホワイトバランスベース値を定めて、前記原画像データの画素毎に、前記ホワイトバランスベース値に対する前記ホワイトバランスゲインの比率を示すホワイトバランス比率を取得し、
　前記原画像データの画素毎に、画素値に前記ホワイトバランス比率を乗算して処理画像データを取得する画像処理方法。
　原画像データの画素毎に、ホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データと、前記ホワイトバランスベース値とを、記憶媒体から取得し、
　前記処理画像データの画素毎に、前記ホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得する画像処理方法。
　原画像データの画素毎に、前記原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得し、
　前記原画像データを取得した際の前記ホワイトバランス設定モードの情報を取得し、
　前記原画像データを取得した際の前記ホワイトバランス設定モードの情報に基づいて、前記ホワイトバランスベース値を推定し、
　前記処理画像データの画素毎に、推定された前記ホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得する画像処理方法。
　原画像データの画素毎に、前記原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得し、
　前記原画像データを取得した際の前記ホワイトバランス設定モードの情報を取得し、
　前記処理画像データに適用されるホワイトバランス処理モードの情報を取得し、
　前記ホワイトバランス設定モードの情報及び前記ホワイトバランス処理モードの情報に基づいて、前記ホワイトバランス処理モードが前記ホワイトバランス設定モードと同じであると判定される場合には、前記ホワイトバランス設定モードに基づいて前記ホワイトバランスベース値を取得し、前記ホワイトバランス処理モードが前記ホワイトバランス設定モードと異なると判定される場合には、前記ホワイトバランス処理モードに基づいて前記ホワイトバランスベース値を取得し、
　前記処理画像データの画素毎に、取得された前記ホワイトバランスベース値を乗算してホワイトバランス調整画像データを取得する画像処理方法。
　原画像データの画素毎にホワイトバランスゲインを取得する手順と、
　ホワイトバランスベース値を定めて、前記原画像データの画素毎に、前記ホワイトバランスベース値に対する前記ホワイトバランスゲインの比率を示すホワイトバランス比率を取得する手順と、
　前記原画像データの画素毎に、画素値に前記ホワイトバランス比率を乗算して処理画像データを取得する手順と、をコンピュータに実行させるためのプログラム。
　原画像データの画素毎に、ホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データと、前記ホワイトバランスベース値とを、記憶媒体から取得する手順と、
　前記処理画像データの画素毎に、前記ホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得する手順と、をコンピュータに実行させるためのプログラム。
　原画像データの画素毎に、前記原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得する手順と、
　前記原画像データを取得した際の前記ホワイトバランス設定モードの情報を取得する手順と、
　前記原画像データを取得した際の前記ホワイトバランス設定モードの情報に基づいて、前記ホワイトバランスベース値を推定する手順と、
　前記処理画像データの画素毎に、推定された前記ホワイトバランスベース値を画素値に乗算してホワイトバランス調整画像データを取得する手順と、をコンピュータに実行させるためのプログラム。
　原画像データの画素毎に、前記原画像データを取得した際のホワイトバランス設定モードに基づいて定められるホワイトバランスベース値に対するホワイトバランスゲインの比率を示すホワイトバランス比率を画素値に乗算して取得される処理画像データを、記憶媒体から取得する手順と、
　前記原画像データを取得した際の前記ホワイトバランス設定モードの情報を取得する手順と、
　前記処理画像データに適用されるホワイトバランス処理モードの情報を取得する手順と、
　前記ホワイトバランス設定モードの情報及び前記ホワイトバランス処理モードの情報に基づいて、前記ホワイトバランス処理モードが前記ホワイトバランス設定モードと同じであると判定される場合には、前記ホワイトバランス設定モードに基づいて前記ホワイトバランスベース値を取得し、前記ホワイトバランス処理モードが前記ホワイトバランス設定モードと異なると判定される場合には、前記ホワイトバランス処理モードに基づいて前記ホワイトバランスベース値を取得する手順と、
　前記処理画像データの画素毎に、取得された前記ホワイトバランスベース値を乗算してホワイトバランス調整画像データを取得する手順と、をコンピュータに実行させるためのプログラム。