JP5660341B2 - 撮像装置、撮像方法 - Google Patents
撮像装置、撮像方法 Download PDFInfo
- Publication number
- JP5660341B2 JP5660341B2 JP2012252080A JP2012252080A JP5660341B2 JP 5660341 B2 JP5660341 B2 JP 5660341B2 JP 2012252080 A JP2012252080 A JP 2012252080A JP 2012252080 A JP2012252080 A JP 2012252080A JP 5660341 B2 JP5660341 B2 JP 5660341B2
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- block
- correction coefficient
- imaging
- imaging signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
Description
本発明は、ストロボホワイトバランス制御を行う技術を備える撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体に関するものである。
従来、ストロボを発光させて撮影した画像に対して、本来は白いものであろう被写体に対して白くなるようなホワイトバランスを画面全体にかけるといったものが広く用いられているが、カメラから近い距離に位置するエリアにおいてはストロボ光の影響を強く受け、またカメラから遠い距離に位置するエリアにおいてはストロボ光の影響が少なく外光の影響を強く受ける。そのため、ストロボ光に合わせたホワイトバランスゲインを画面全体にかけた場合、外光の影響が強いエリアに対しては最適なホワイトバランスをかけることができない。また、逆に外光に合わせたホワイトバランスゲインを画面全体にかけた場合、ストロボ光の影響が強いエリアに対しては最適なホワイトバランスをかけることができない。従って、両方のエリアが存在するシーンにおいては画面全体に最適なホワイトバランスをかけることが難しいといった問題がある。
上記問題を解決するため、ストロボを発光させた画像と発光させない画像とで比較し領域分割を行い、領域毎にホワイトバランスを掛けることで画面全体に対して色ずれ生じさせないものがある。（例えば特許文献１）
上述の従来の技術によれば、ブロック毎にホワイトバランスゲインを設定しているためブロックの境界で不自然な色ずれが発生し、また、ストロボ発光ありとなしの撮影画像を必要とするため、２枚の撮像画像を格納するためのメモリが必要になるといった問題、および撮影に要する処理時間が増えるといった問題がある。
本発明は上記のような実情に鑑みてなされたもので、ストロボ撮影において画面全体に色ずれを生じさせない良好なホワイトバランス補正を、通常の一枚撮影と同程度の処理時間で、且つ、少ないメモリで実行可能な撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。
本発明は上記のような実情に鑑みてなされたもので、ストロボ撮影において画面全体に色ずれを生じさせない良好なホワイトバランス補正を、通常の一枚撮影と同程度の処理時間で、且つ、少ないメモリで実行可能な撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することを目的とする。
本発明者らは上記課題を解決するために鋭意検討を重ねた結果、少なくとも、本発明に係る撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体は、具体的には下記（１）〜（９）に記載の技術的特徴を有することで上記課題が解決されることを見出し、本発明を完成するに至った。
（１）：光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号をメモリに格納する撮像手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割手段と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、該白検出手段によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出手段と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出手段と、当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出手段と、当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置である。
（２）：光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号をメモリに格納する撮像手段と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割手段と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出手段と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置である。
（３）：当該分割されたブロックが有する画素は、前記ブロック分割手段によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算手段は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得手段と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得手段とを備えることを特徴とする上記（１）または（２）に記載の撮像装置である。
（４）：光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、前記撮像信号をメモリに格納する撮像工程と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割工程と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、該白検出工程によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出工程と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出工程と、当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出工程と、当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法である。
（５）：光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、前記撮像信号をメモリに格納する撮像工程と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割工程と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出工程と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法である。
（６）：当該分割されたブロックが有する画素は、前記ブロック分割工程によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算工程は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得工程と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得工程とを備えることを特徴とする上記（４）または（５）に記載の撮像方法である。
（７）：画像処理機能を有する装置が備えるコンピュータに、光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、前記撮像信号をメモリに格納する撮像処理と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割処理と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、該白検出処理によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出処理と、ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出処理と、当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出処理と、当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
（８）：画像処理機能を有する装置が備えるコンピュータに、光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、前記撮像信号をメモリに格納する撮像処理と、前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割処理と、当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、所定の値以上のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出処理と、当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
（９）：当該分割されたブロックが有する画素は、前記ブロック分割処理によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、前記ホワイトバランス演算処理は、前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得処理と、前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得処理とを備えることを特徴とする上記（７）または（８）に記載のホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、ストロボ撮影において画面全体に色ずれを生じさせない良好なホワイトバランス補正を、通常の一枚撮影と同程度の処理時間で実行可能な撮像装置及び撮像方法、並びにコンピュータ読み取り可能な記録媒体を提供することができる。
次に図面を用いて本発明に係る撮像装置の基本的な構成についてさらに詳細に説明する。
尚、以下に述べる実施の形態は本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において特に本発明を限定する旨の記載がない限りこれらの態様に限られるものではない。ただし、第１の実施の形態は本発明の範囲に属しない参考例としての例である。
尚、以下に述べる実施の形態は本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において特に本発明を限定する旨の記載がない限りこれらの態様に限られるものではない。ただし、第１の実施の形態は本発明の範囲に属しない参考例としての例である。
〔第１の実施の形態〕
（デジタルカメラの外観構成）
図１は本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの外観を示す概略図である。
図１に示すように、本実施の形態に係るデジタルカメラの上面側には、レリーズボタン（シャッタボタン）、電源ボタン、撮影・再生切替ダイアルが設けられており、デジタルカメラの正面（前面）側には、撮影レンズ系を有する鏡胴ユニット、ストロボ発光部、光学ファインダが設けられている。
（デジタルカメラの外観構成）
図１は本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの外観を示す概略図である。
図１に示すように、本実施の形態に係るデジタルカメラの上面側には、レリーズボタン（シャッタボタン）、電源ボタン、撮影・再生切替ダイアルが設けられており、デジタルカメラの正面（前面）側には、撮影レンズ系を有する鏡胴ユニット、ストロボ発光部、光学ファインダが設けられている。
デジタルカメラの背面側には、液晶モニタ（ＬＣＤ）、前記光学ファインダの接眼レンズ部、広角側ズーム（Ｗ）スイッチ、望遠側ズーム（Ｔ）スイッチ、メニュー（ＭＥＮＵ）ボタン、確定ボタン（ＯＫボタン）等が設けられている。また、デジタルカメラの側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。
（デジタルカメラのシステム構成）
図２は、本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの構成を示すブロック図である。
図２に示すように、このデジタルカメラ内には、鏡胴ユニットに設置した撮影レンズ系（光学系）を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号（撮像信号）に処理するアナログフロントエンド部（ＡＦＥ部）、ＡＦＥ部から出力されるデジタル信号を処理する信号処理部、データを一時的に格納するＳＤＲＡＭ（メモリ）、制御プログラム等が記憶されたＲＯＭ、モータドライバ等が設けられている。
図２は、本発明に係る撮像装置の第１の実施の形態であるデジタルカメラの構成を示すブロック図である。
図２に示すように、このデジタルカメラ内には、鏡胴ユニットに設置した撮影レンズ系（光学系）を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号（撮像信号）に処理するアナログフロントエンド部（ＡＦＥ部）、ＡＦＥ部から出力されるデジタル信号を処理する信号処理部、データを一時的に格納するＳＤＲＡＭ（メモリ）、制御プログラム等が記憶されたＲＯＭ、モータドライバ等が設けられている。
鏡胴ユニットは、ズームレンズやフォーカスレンズ等を有する撮影レンズ系、絞りユニット、メカシャッタユニットを備えており、撮影レンズ系、絞りユニット、メカシャッタユニットの各駆動ユニット（不図示）は、モータドライバによって駆動される。モータドライバは、信号処理部の制御部（ＣＰＵ）からの駆動信号により駆動制御される。
ＣＣＤは、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
ＡＦＥ部は、ＣＣＤを駆動するＴＧ（タイミング信号発生部）、ＣＣＤから出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）、ＣＤＳにてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）、ＡＧＣでゲイン調整された画像信号をデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換するＡ／Ｄを備えている。
信号処理部は、ＡＦＥ部のＴＧへ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部のＡ／Ｄから出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（ＣＣＤＩ／Ｆ）と、ＳＤＲＡＭを制御するメモリコントローラと、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部と、画像データの表示出力を制御する表示出力制御部と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース（メディアＩ／Ｆ）と、操作部からの操作入力情報に基づき、ＲＯＭに記憶された制御プログラムに基づいてデジタルカメラ全体のシステム制御等を行う制御部（ＣＰＵ）を備えている。
尚、ＣＣＤＩ／Ｆの一部は、本発明における撮像手段として機能する。
尚、ＣＣＤＩ／Ｆの一部は、本発明における撮像手段として機能する。
操作部は、デジタルカメラ（図１参照）の外観表面に設けられているレリーズボタン、電源ボタン、撮影・再生切替ダイアル、広角側ズームスイッチ、望遠側ズームスイッチ、メニューボタン、確定ボタン等であり、撮影者の操作によって所定の動作指示信号が制御部に入力される。
ＳＤＲＡＭには、ＣＣＤＩ／Ｆに取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。
なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。
（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
次に、前記したデジタルカメラのモニタリング動作と静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
先ず、撮影者が電源ボタンをＯＮし、撮影・再生切替ダイアルを撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。電源ボタンがＯＮされて、撮影・再生切替ダイアルが撮影モードに設定されたことを制御部が検知すると、制御部はモータドライバに制御信号を出力して、鏡胴ユニットを撮影可能位置に移動させ、かつ、ＣＣＤ、ＡＦＥ部、信号処理部、ＳＤＲＡＭ、ＲＯＭ、液晶モニタ等を起動させる。
そして、鏡胴ユニットの撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤの各画素の受光面上に結像する。そして、ＣＣＤから出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ、ＡＧＣを介してＡ／Ｄに入力され、Ａ／Ｄにより１２ビット（ｂｉｔ）のＲＡＷ−ＲＧＢデータに変換する。
このＲＡＷ−ＲＧＢデータ（第１の撮像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれて（第１撮像機能）メモリコントローラを介してＳＤＲＡＭに保存される。そして、ＳＤＲＡＭから読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部に入力されて表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラを介してＳＤＲＡＭにＹＵＶデータが保存される。
そして、ＳＤＲＡＭからメモリコントローラを介して読み出したＹＵＶデータは、表示出力制御部を介して液晶モニタ（ＬＣＤ）へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤ）に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆによる画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）に撮影画像（動画）が表示されているだけで、まだレリーズボタンが押圧（半押も含む）操作されていない状態である。
この撮影画像の液晶モニタ（ＬＣＤ）への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
そして、信号処理部のＣＣＤＩ／Ｆは、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
尚、本発明において、ホワイトバランス評価値とは、ＡＷＢ評価値であり、輝度積算結果とはＡＥ評価値であって、ホワイトバランス評価値取得手段と輝度信号積算手段とは、それぞれ信号処理部のＣＣＤＩ／Ｆの一部である。
尚、本発明において、ホワイトバランス評価値とは、ＡＷＢ評価値であり、輝度積算結果とはＡＥ評価値であって、ホワイトバランス評価値取得手段と輝度信号積算手段とは、それぞれ信号処理部のＣＣＤＩ／Ｆの一部である。
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ブロック分割手段である信号処理部のＣＣＤＩ／Ｆの一部である検波回路によってＣＣＤの全画素の受光面に対応した画面を２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）された後、それぞれのエリア（ブロック）のＲＧＢ積算値がＣＣＤＩ／Ｆによって算出される。
そして制御部は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤの電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。
そして、前記したモニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバへの駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
いわゆる山登りＡＦとは、ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆで算出されている各フォーカス位置における前記ＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
そして、前記したＡＥ処理が行われ、露光完了時点で、制御部からモータドライバへの駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤから静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部のＡ／Ｄ変換部によりＲＡＷ−ＲＧＢデータに変換される。
そして、このＲＡＷ−ＲＧＢデータ（第２の撮像信号）は、信号処理部のＣＣＤＩ／Ｆに取り込まれ（第２撮像機能）、ＹＵＶ変換部でＹＵＶデータに変換されて、メモリコントローラを介してＳＤＲＡＭに保存される。そして、このＹＵＶデータはＳＤＲＡＭから読み出されて、リサイズ処理部で記録画素数に対応するサイズに変換され、データ圧縮部でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭに書き戻された後にメモリコントローラを介してＳＤＲＡＭから読み出され、メディアＩ／Ｆを介してメモリカードに保存される。
次に、本発明の特徴となる撮像動作（第２撮像機能の作動開始時以降の動作）について説明する。
図３は第１の実施の形態におけるストロボＷＢ補正の一連の処理をフローにしたものである。
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢがＳＤＲＡＭに格納される（Ｓ１）。ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
図３は第１の実施の形態におけるストロボＷＢ補正の一連の処理をフローにしたものである。
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢがＳＤＲＡＭに格納される（Ｓ１）。ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
ＳＤＲＡＭに格納されたＲＡＷ−ＲＧＢは、ブロック分割手段である信号処理部のＣＣＤＩ／Ｆの一部である検波回路によって水平１６×垂直１６の２５６ブロックに分割される。
また、同時に撮影時のＡＷＢ評価値（ホワイトバランス評価値）、ＡＥ評価値（輝度信号積算結果）とＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。ＡＷＢ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出したあとＧ／Ｒ、Ｇ／Ｂという形で表される。ＡＥ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出した後、以下の式の結果で表される。
また、同時に撮影時のＡＷＢ評価値（ホワイトバランス評価値）、ＡＥ評価値（輝度信号積算結果）とＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。ＡＷＢ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出したあとＧ／Ｒ、Ｇ／Ｂという形で表される。ＡＥ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出した後、以下の式の結果で表される。
ＡＥ評価値＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
次に、撮影直前のモニタリング時の露光量と撮影時の露光量とが同じになるように、後述する算出方法で算出された露出補正係数（ｋ）を、モニタリング画像に対応したブロック毎のＡＥ評価値及び／または撮影時のブロック毎のＡＥ評価値に対して設定する（Ｓ３；露出補正係数算出手段）。撮影直前のモニタリング画像（第１の撮像信号）に対応したＡＥ評価値は、レリーズの最後のフレームから撮影時と同じ計算式にて算出されたものがＲＡＭに格納される。また、撮影時と同様にこの時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）も内部のＲＡＭに格納される。また、露光量を合わせる際、光量がないブロックに露出補正係数を乗算しても変化が無く、差分の大きさによって分割する分割方法では分割が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数（ｋ）を掛けることが好ましい。
図４に本実施の形態におけるＡＥ制御値の例を示すが、本発明におけるＡＥ制御値はこれに限定されるものではない。
各ＡＥ制御値の１ステップあたりの明るさ変化量は同じであるため、撮影時とモニタリング時それぞれの各ＡＥ制御値の加算結果から、減算によって撮影時とモニタリング時の明るさの差分（ｄｅｌｔａ Ｅｖ）を求めることができる。本実施の形態におけるＡＥ制御値の例では制御値の差が１６で１ＥＶ差、つまり明るさが２倍違うことになる。露出補正係数（ｋ）の算出方法を下記式１に示す。
各ＡＥ制御値の１ステップあたりの明るさ変化量は同じであるため、撮影時とモニタリング時それぞれの各ＡＥ制御値の加算結果から、減算によって撮影時とモニタリング時の明るさの差分（ｄｅｌｔａ Ｅｖ）を求めることができる。本実施の形態におけるＡＥ制御値の例では制御値の差が１６で１ＥＶ差、つまり明るさが２倍違うことになる。露出補正係数（ｋ）の算出方法を下記式１に示す。
モニタリング時に水平垂直の画素を加算した結果からＡＥ評価値を算出している場合は、露出補正係数算出時に画素加算分も考慮する必要があり、露出補正係数（ｋ）の算出方法は下記式２となる。例えば、モニタリング時は水平２画素、垂直２画素を合計した結果（４画素分）がＣＣＤから読み出される場合、画素加算を行わない撮影時（１画素分）に比べて、モニタリング時は２ＥＶ（４倍）明るいことになる。
そして、同一ブロックの撮影画像のＡＥ評価値から撮影直前のモニタリング画像のＡＥ評価値を減算し、予め設定されている基準値と比較し、基準値以上のブロックをストロボ照射領域とし基準値未満のブロックをストロボ非照射領域とする領域分割を行う（Ｓ４；領域分割手段）。
尚、本発明におけるストロボ照射領域の判定方法はＳ４の判定方法に限定されるものではなく、ストロボ発光によって充分に光が照射されているブロックを判定できる演算方法であればいかなる判定方法であっても良く、また、予め設定されている基準値は任意で設定することができる。
尚、本発明におけるストロボ照射領域の判定方法はＳ４の判定方法に限定されるものではなく、ストロボ発光によって充分に光が照射されているブロックを判定できる演算方法であればいかなる判定方法であっても良く、また、予め設定されている基準値は任意で設定することができる。
Ｓ１〜Ｓ４により、撮影時とモニタリング時で露光量が異なる場合でもストロボの影響が強いブロックを抽出することが可能となる。
図５はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図５の１はストロボ照射領域を表し、図５の２はストロボ非照射領域を表す。
次に、領域毎にそれぞれ白抽出（本発明では白検出とも称する；以下同様である。）を行う（Ｓ５；白検出手段）。白抽出は領域毎にブロック単位で取得したＡＷＢ評価値を閾値と比較して、閾値以下のブロックを白抽出ブロックとして記憶する。
白抽出ブロックとは、図５のような撮像画像で具体例を示すとすると、被写体である人物の画像における白い服の領域に存在する（を有する）ブロック、背景の画像における白い雲の領域に存在する（を有する）ブロック等が挙げられる。
ここで、本実施の形態における白抽出の処理は、抽出されるブロックのＡＷＢ評価値が所定の閾値以上であるか、所定の閾値未満であるかをもって、白抽出ブロックの判定を行っている。所定の閾値は任意で設定することができる。
尚、本発明は上述の白抽出の処理の実施の形態に限られるものではなく、被写体や背景等において白が存在するブロックを一定の基準に従い、高い信頼性をもって抽出可能であればいかなる形態であっても良い。また、本実施の形態および後述の実施の形態において、白抽出を行う範囲（白検出範囲）は、白抽出ブロックが高い信頼性をもって抽出できる任意の範囲とすることができる。
尚、本発明は上述の白抽出の処理の実施の形態に限られるものではなく、被写体や背景等において白が存在するブロックを一定の基準に従い、高い信頼性をもって抽出可能であればいかなる形態であっても良い。また、本実施の形態および後述の実施の形態において、白抽出を行う範囲（白検出範囲）は、白抽出ブロックが高い信頼性をもって抽出できる任意の範囲とすることができる。
ストロボ照射領域及びストロボ非照射領域のいずれの領域においても白抽出ブロック数が一定基準以上である場合、ストロボ照射領域とストロボ非照射領域のそれぞれの領域毎に、各白抽出ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
また、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
若しくは、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、他方の白抽出ブロック数が一定基準以上の領域のホワイトバランス補正係数を使用しても良い。
ストロボ照射領域及びストロボ非照射領域のいずれも白抽出ブロック数が一定基準未満の場合、画面全体の各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式５に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる（Ｓ６；補正係数算出手段）。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式５に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる（Ｓ６；補正係数算出手段）。
次に、ＳＤＲＡＭよりＲＡＷ−ＲＧＢを読み出し、図６のようにブロックの中央に位置する画素をブロック中央画素として、領域毎に算出したＷＢ補正係数Ｒgain、Ｂgainをそれぞれの領域に対応するブロック中央画素に設定する（Ｓ７；ホワイトバランス演算手段）。図６の３はストロボ照射領域で算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定するブロック中央画素、図６の４はストロボ非照射領域に算出したホワイトバランス補正係数Ｒgain、Ｂgainを設定するブロック中央画素である。
非ブロック中央画素のホワイトバランス補正係数Ｒgain、Ｂgainは、当該ブロックのブロック中央画素と周辺のブロック中央画素に設定されているホワイトバランス補正係数と当該画素からの距離による補間によって求めることが好ましい（Ｓ８）。
図７を基に非ブロック中央画素のホワイトバランス補正係数算出方法を説明する。ホワイトバランス補正係数の算出対象とする非ブロック中央画素を１１とし周辺のブロック中央画素をＲ０、Ｒ１、Ｒ２、Ｒ３とする。Ｒ３を１で正規化しホワイトバランス補正係数の算出対象となる非ブロック中央画素の位置をｘ、ｙで表し、以下の計算式によってホワイトバランス補正係数を算出する。
Ｒgain＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３
図８の１２部分の画素のように周辺のブロック中央画素が１つしか存在しない場合は、当該ブロックのホワイトバランス補正係数を設定する。
図９の１３、１４、１５、１６部分の画素のように周辺のブロック中央画素が２つしか存在しない場合は、２つの補正係数と当該画素からの距離による補間によって求める。計算式を以下に示す。
領域１３の場合
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３
領域１４の場合
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１
領域１５の場合
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３
領域１６の場合
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２
画面全体のＲ、Ｂデータそれぞれに対して、画素毎に算出したホワイトバランス補正係数Ｒgain、Ｂgainを掛ける（Ｓ９）。
これにより、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
これにより、画素間の補正係数にローパスフィルタがかかる為、ホワイトバランス補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
また、ブロック単位のＡＥ評価値の差分から領域分割を行うため、計算量を少なくすることができる。
また、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
また、領域毎にホワイトバランス補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べてホワイトバランス補正係数の算出に要する計算量を少なくすることができる。
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが、任意の分割数で分割しても良い。その場合は領域分割の際、撮影画像とモニタリング画像における同一ブロック毎に、ＡＥ評価値からストロボ照射領域かストロボ非照射領域かの判別を行うため、撮影画像とモニタリング画像の分割数を合わせる必要がある。また、分割は格子状であることが好ましいが、撮影画像とモニタリング画像とにおいて対応するブロックが同一形状であればいかなる形状に分割しても良い。このことは、後述する実施の形態においても同様である。
〔第２の実施の形態〕
第１の実施の形態ではブロック単位でストロボ照射領域とストロボ非照射領域に分割し、それぞれの領域毎にホワイトバランス補正係数を算出するのに対し、本実施の形態では、ブロック毎にストロボ光量を算出しブロック毎にストロボ光量の割合に応じたホワイトバランス補正係数を算出する。
第１の実施の形態ではブロック単位でストロボ照射領域とストロボ非照射領域に分割し、それぞれの領域毎にホワイトバランス補正係数を算出するのに対し、本実施の形態では、ブロック毎にストロボ光量を算出しブロック毎にストロボ光量の割合に応じたホワイトバランス補正係数を算出する。
図１０は本発明に係る撮像装置の第２の実施の形態のストロボＷＢ補正の一連の処理をフローにしたものである。
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢがＳＤＲＡＭに格納される（Ｓ１）。ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
ＳＤＲＡＭに格納されたＲＡＷ−ＲＧＢは、ブロック分割手段である信号処理部のＣＣＤＩ／Ｆの一部である検波回路によって水平１６×垂直１６の２５６ブロックに分割される。
また、同時に撮影時のＡＷＢ評価値（ホワイトバランス評価値）、ＡＥ評価値（輝度信号積算結果）とＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。ＡＷＢ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出したあとＧ／Ｒ、Ｇ／Ｂという形で表される。ＡＥ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出した後、以下の式の結果で表される。
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢがＳＤＲＡＭに格納される（Ｓ１）。ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
ＳＤＲＡＭに格納されたＲＡＷ−ＲＧＢは、ブロック分割手段である信号処理部のＣＣＤＩ／Ｆの一部である検波回路によって水平１６×垂直１６の２５６ブロックに分割される。
また、同時に撮影時のＡＷＢ評価値（ホワイトバランス評価値）、ＡＥ評価値（輝度信号積算結果）とＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。ＡＷＢ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出したあとＧ／Ｒ、Ｇ／Ｂという形で表される。ＡＥ評価値はブロック毎にＲ、Ｇ、Ｂそれぞれを積算し１画素あたりのＲ、Ｇ、Ｂを算出した後、以下の式の結果で表される。
ＡＥ評価値＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
次に、撮影直前のモニタリング時の露光量と撮影時の露光量とが同じになるように、後述する算出方法で算出された露出補正係数（ｋ）を、モニタリング画像に対応したブロック毎のＡＥ評価値及び／または撮影時のブロック毎のＡＥ評価値に対して設定する（Ｓ３；露出補正係数算出手段）。撮影直前のモニタリング画像（第１の撮像信号）に対応したＡＥ評価値は、レリーズの最後のフレームから撮影時と同じ計算式にて算出されたものがＲＡＭに格納される。また、撮影時と同様にこの時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）も内部のＲＡＭに格納される。
また、露光量を合わせる際、光量がないブロックに露出補正係数を乗算しても変化が無く、差分によるストロボ寄与率算出が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数（ｋ）を掛けることが好ましい。
また、露光量が多い画像の露光量に合わせるように、露光量の少ない画像に露出補正係数（ｋ）を掛ける場合、一定以下のＡＥ評価値ではノイズが占める割合が大きくなるため下位１ＥＶ以下のＡＥ評価値のブロックに対しては、後述する算出方法で算出した露出補正係数（ｋ）に対してＡＥ評価値に連動して線形に変化するように重み付けを行うことが好ましい。
具体的には、例えば、下記式に示すような露出補正係数（ｋ）に対してＡＥ評価値の重み付けを行う演算を用いて算出することができる。
具体的には、例えば、下記式に示すような露出補正係数（ｋ）に対してＡＥ評価値の重み付けを行う演算を用いて算出することができる。
ｋ’＝ｋ×（ＡＥ評価値／１ＥＶ分のＡＥ評価値）
更に、モニタリング画像と撮影画像とでシェーディング補正パラメータが異なる場合、モニタリング画像と撮影画像のシェーディング補正パラメータの差分を各ブロックの露出補正係数（ｋ’）に対して加味することが好ましい。
図４に本実施の形態におけるＡＥ制御値の例を示すが、本発明におけるＡＥ制御値はこれに限定されるものではない。
各ＡＥ制御値の１ステップあたりの明るさ変化量は同じであるため、撮影時とモニタリング時それぞれの各ＡＥ制御値の加算結果から減算によって撮影時とモニタリング時の明るさの差分（ｄｅｌｔａ Ｅｖ）を求めることができる。本実施の形態におけるＡＥ制御値の例では制御値の差が１６で１ＥＶ差、つまり明るさが２倍違うことになる。露出補正係数（ｋ）の算出方法を下記式１に示す。
各ＡＥ制御値の１ステップあたりの明るさ変化量は同じであるため、撮影時とモニタリング時それぞれの各ＡＥ制御値の加算結果から減算によって撮影時とモニタリング時の明るさの差分（ｄｅｌｔａ Ｅｖ）を求めることができる。本実施の形態におけるＡＥ制御値の例では制御値の差が１６で１ＥＶ差、つまり明るさが２倍違うことになる。露出補正係数（ｋ）の算出方法を下記式１に示す。
モニタリング時に水平垂直の画素を加算した結果からＡＥ評価値を算出している場合は露出補正係数算出時に画素加算分も考慮する必要があり、露出補正係数（ｋ）の算出方法は下記式２となる。例えば、モニタリング時は水平２画素、垂直２画素を合計した結果（４画素分）がＣＣＤから読み出される場合、画素加算を行わない撮影時（１画素分）に比べて、モニタリング時は２ＥＶ（４倍）明るいことになる。
次いで、同一ブロックの撮影画像のＡＥ評価値と撮影直前のモニタリング画像のＡＥ評価値との減算によるブロック毎のストロボ光量を算出する（Ｓ４）。
尚、本発明におけるストロボ照射領域の判定方法はＳ４の判定方法に限定されるものではなく、ストロボ発光によって充分に光が照射されているブロックを判定できる演算方法であればいかなる判定方法であっても良く、また、予め設定されている基準値は任意で設定することができる。
尚、本発明におけるストロボ照射領域の判定方法はＳ４の判定方法に限定されるものではなく、ストロボ発光によって充分に光が照射されているブロックを判定できる演算方法であればいかなる判定方法であっても良く、また、予め設定されている基準値は任意で設定することができる。
Ｓ１〜Ｓ４により、撮影時とモニタリング時で露光量が異なる場合でもブロック毎のストロボ光量を算出することが可能となる。
さらに、各ブロックについて、外光量とストロボ光量の割合から、当該ブロックにおけるストロボ寄与率を算出する。外光量とは、露出補正後のモニタリング画像のＡＥ評価値を指す。また、各ブロックのストロボ寄与率は外光量とストロボ光量とを足したものを１００％とした場合のストロボ光量の割合を示す。
次に、白抽出を行う（Ｓ５；白検出手段）。白抽出は画面全体におけるブロック単位で取得したＡＷＢ評価値に対して、閾値以下のブロックを白抽出ブロックとして記憶するか、ストロボ寄与率が一定以下のブロックの中から、閾値未満のブロックを白抽出ブロックとして記憶する。
白抽出ブロック数が一定基準以上である場合、各白抽出ブロックにおけるＡＷＢ評価値と、ＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、下記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、下記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる。
白抽出ブロック数が一定基準未満である場合、画面全体について各ブロックのＡＷＢ評価値とＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
若しくは、撮影直前のモニタリング画像で設定していたホワイトバランス補正係数を、第１ホワイトバランス補正係数とする。
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる（Ｓ６）。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、上記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる（Ｓ６；第１〜３ホワイトバランス補正係数算出手段）。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、上記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる（Ｓ６；第１〜３ホワイトバランス補正係数算出手段）。
ここで、第２ホワイトバランス補正係数とは、予めストロボの影響が１００％時に良好なホワイトバランスに補正することができる補正係数として所定の値として設定しておいても良いが、ストロボを発光する際の電圧によってストロボ光の色温度の変化が大きい場合には、予め下限電圧で発光した時のＷＢと上限電圧で発光した時のＷＢとを内部データとして保持しておき、ストロボ発光時の電圧から線形補間によって第２ホワイトバランス補正係数を算出することが好ましい。
次にＳＤＲＡＭよりＲＡＷ−ＲＧＢを読み出し、図６のようにブロックの中央に位置する画素をブロック中央画素としブロック毎に算出した第３ホワイトバランス補正係数Ｒgain、Ｂgainを対応するブロックの中央画素に設定する（Ｓ７；ホワイトバランス設定手段）。
以降、ブロック毎のホワイトバランス補正係数の設定方法（図１０のＳ８〜Ｓ９）は第１の実施の形態の（図３のＳ８〜Ｓ９）と同様である。
本実施の形態によれば、ブロック毎にストロボの影響に応じた細かいホワイトバランス補正係数を設定することができる。
また、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でも、それぞれに対して良好なホワイトバランスを掛けることができる。
さらに、画素間の補正係数にローパスフィルタがかかる為、ホワイトバランス補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
また、ブロック単位のＡＥ評価値の差分から領域分割を行うため、計算量を少なくすることができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
また、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でも、それぞれに対して良好なホワイトバランスを掛けることができる。
さらに、画素間の補正係数にローパスフィルタがかかる為、ホワイトバランス補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
また、ブロック単位のＡＥ評価値の差分から領域分割を行うため、計算量を少なくすることができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。
〔第３の実施の形態〕
第１の実施の形態では撮影時とモニタリング時の各ブロックのＡＥ評価値の差分から領域分割を行ったが、本実施の形態では画像処理（ＷＢ、ガンマ補正、色補正等）後の撮影画像と撮影直前のモニタリング画像の輝度を基に画素単位で領域分割を行う。
第１の実施の形態では撮影時とモニタリング時の各ブロックのＡＥ評価値の差分から領域分割を行ったが、本実施の形態では画像処理（ＷＢ、ガンマ補正、色補正等）後の撮影画像と撮影直前のモニタリング画像の輝度を基に画素単位で領域分割を行う。
図１２は本発明に係る撮像装置の第３の実施の形態のストロボＷＢ補正の一連の処理をフローにしたものである。
最初に、ストロボ発光による撮影時のＲＡＷ−ＲＧＢとＹＵＶがＳＤＲＡＭに格納される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
また、同時に撮影時のＡＷＢ評価値、ＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。
次に、ＳＤＲＡＭから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものをリサイズ前の撮影画像とは別のＳＤＲＡＭ領域に保存する（Ｓ３）。
撮影時と撮影直前のモニタリングのＹＵＶに対してデガンマ処理を行う（Ｓ４）。撮影時と撮影直前のモニタリングのＹＵＶはガンマ補正後のデータなので、入力に対して出力が線形で変化しない。通常ガンマは低輝度から中輝度にかけて持ち上げて階調の変化を急にして、高輝度側の階調を緩やかにする特性をもっている。図１１にガンマ特性を示す。この特性のため、低輝度側での少しの変化で出力が大きく変わるため撮影画像と撮影直前のモニタリング画像の画素毎の輝度の差分で領域を分割する場合、正確なストロボの影響度を求めることができない。よって、デガンマにて線形な値に戻す処理を行う。撮影時とモニタリング時で使用するガンマテーブルが異なる場合は使用したガンマテーブルに対応するデガンマ処理を行う。
次に、撮影画像と撮影直前のモニタリング画像の画素単位の輝度情報を算出する（Ｓ５）。輝度情報の算出方法を以下に示す。
輝度情報＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
次に、撮影直前のモニタリング画像（第１の撮像信号）の露光量と撮影画像の露光量とが同じになるよう露出補正係数（ｋ）をモニタリング画像及び／または撮影画像の各画素の輝度情報に対して設定する（Ｓ６；露出補正係数算出手段）。露出補正係数の算出方法は第１の実施の形態と同様である。モニタリング画像はＣＣＤＩ／Ｆを通って画像処理された後ＹＵＶとして随時ＳＤＲＡＭに上書き保存される。また、撮影直前のモニタリング時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）は内部のＲＡＭに格納される。
同一画素において、撮影画像の輝度情報からモニタリング画像の輝度情報を減算し、予め設定されている基準値と比較し、基準値以上の画素をストロボ照射領域とし基準値未満の画素をストロボ非照射領域とする領域分割を行う（Ｓ７）。さらに、画素単位の領域分割結果を基に、複数画素で構成されるブロック単位で領域を分割する（Ｓ８；領域分割手段）。
図５はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図５の１はストロボ照射領域を表し、図５の２はストロボ非照射領域を表す。
ブロックの分割はＡＷＢ評価値、ＡＥ評価値を算出するためのＲＧＢ積算値を取得する際に設定したものと対応付けされており、ブロックのストロボ照射領域またはストロボ非照射領域かの判別はブロック内に含まれるストロボ照射領域の画素の割合によって判別される。
次に、領域毎にそれぞれ白抽出を行う（Ｓ９；白検出手段）。白抽出は領域毎にブロック単位で取得したＡＷＢ評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
ストロボ照射領域及びストロボ非照射領域のいずれの領域においても白抽出ブロック数が一定基準以上である場合、ストロボ照射領域とストロボ非照射領域のそれぞれの領域毎に、各白抽出ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
また、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス補正係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
若しくは、ストロボ照射領域及びストロボ非照射領域のうち、いずれか一方の領域で白抽出ブロック数が一定基準未満の場合、当該白抽出ブロック数が一定基準未満の領域は、他方の白抽出ブロック数が一定基準以上の領域のホワイトバランス補正係数を使用しても良い。
ストロボ照射領域及びストロボ非照射領域のいずれも白抽出ブロック数が一定基準未満の場合、画面全体の各ブロックにおけるＡＷＢ評価値とＡＥ評価値とに基づき演算することで、ホワイトバランス係数を算出できる。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式５に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる（Ｓ１０；補正係数算出手段）。
ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式５に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる（Ｓ１０；補正係数算出手段）。
図６のようにブロックの中央に位置する画素をブロック中央画素とし領域毎に算出したＷＢ補正係数Ｒgain、Ｂgainをそれぞれの領域に対応するブロック中央画素に設定する（Ｓ１１；ホワイトバランス演算手段）。図６の３はストロボ照射領域で算出したホワイトラバランス補正係数Ｒgain、Ｂgainを設定するブロック中央画素、図６の４はストロボ非照射領域に算出したＲgain、Ｂgainを設定するブロック中央画素である。
以降、ブロック毎のＷＢ補正係数の設定方法（図１２のＳ１２〜Ｓ１３）は第１の実施の形態（図３のＳ８〜Ｓ９）と同じである。
本実施の形態によれば、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
また、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
また、領域毎にＷＢ補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べＷＢ補正係数の算出に要する計算量を少なくすることができる。
さらに、ブロック内に画素単位でストロボ照射領域とストロボ非照射領域が混在する場合でもブロック内で占める画素単位の領域分割結果の割合に応じて細かくブロック毎の領域分割を行うことができる。
また、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
また、領域毎にＷＢ補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べＷＢ補正係数の算出に要する計算量を少なくすることができる。
さらに、ブロック内に画素単位でストロボ照射領域とストロボ非照射領域が混在する場合でもブロック内で占める画素単位の領域分割結果の割合に応じて細かくブロック毎の領域分割を行うことができる。
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。その場合は領域分割の際、撮影画像とモニタリング画像の同一ブロック毎にストロボ光量からストロボ照射領域かストロボ非照射領域かの判別を行うため撮影画像とモニタリング画像の分割数を合わせる必要がある。
〔第４の実施の形態〕
第３の実施の形態では画素単位でストロボ照射領域とストロボ非照射領域に分割し、更にブロック内のストロボ照射領域の割合に応じてブロック単位に領域を分割した結果それぞれの領域毎にＷＢ補正係数を算出するのに対し、本実施の形態では画素毎にストロボ光量を算出し、更にブロック内のストロボ光量に応じてブロック単位に領域を分割して、ブロック毎にストロボ光量の割合に応じたＷＢ補正係数を算出する。
第３の実施の形態では画素単位でストロボ照射領域とストロボ非照射領域に分割し、更にブロック内のストロボ照射領域の割合に応じてブロック単位に領域を分割した結果それぞれの領域毎にＷＢ補正係数を算出するのに対し、本実施の形態では画素毎にストロボ光量を算出し、更にブロック内のストロボ光量に応じてブロック単位に領域を分割して、ブロック毎にストロボ光量の割合に応じたＷＢ補正係数を算出する。
図１３は本実施例に係るストロボＷＢ補正の一連の処理をフローにしたものである。
最初にストロボ発光による撮影時のＲＡＷ−ＲＧＢとＹＵＶがＳＤＲＡＭに格納される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
最初にストロボ発光による撮影時のＲＡＷ−ＲＧＢとＹＵＶがＳＤＲＡＭに格納される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
また、同時に撮影時のＡＷＢ評価値、ＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置）が内部のＲＡＭへ格納される（Ｓ２）。
次に、ＳＤＲＡＭから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものをリサイズ前の撮影画像とは別のＳＤＲＡＭ領域に保存する（Ｓ３）。
撮影時と撮影直前のモニタリングのＹＵＶに対してデガンマ処理を行う（Ｓ４）。撮影時と撮影直前のモニタリングのＹＵＶはガンマ補正後のデータなので、入力に対して出力が線形で変化しない。通常ガンマは低輝度から中輝度にかけて持ち上げて階調の変化を急にして、高輝度側の階調を緩やかにする特性をもっている。図１１にガンマ特性を示す。この特性のため、低輝度側での少しの変化で出力が大きく変わるため撮影画像と撮影直前のモニタリング画像の画素毎の輝度の差分で領域を分割する場合、正確なストロボの影響度を求めることができない。よって、デガンマにて線形な値に戻す処理を行う。撮影時とモニタリング時で使用するガンマテーブルが異なる場合は使用したガンマテーブルに対応するデガンマ処理を行う。
次に撮影画像と撮影直前のモニタリング画像の画素単位の輝度情報を算出する（Ｓ５）。輝度情報の算出方法を以下に示す。
輝度情報＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
次に、撮影直前のモニタリング画像（第１の撮像信号）の露光量と撮影画像の露光量とが同じになるよう露出補正係数（ｋ）をモニタリング画像及び／または撮影画像の各画素の輝度情報に対して設定する（Ｓ６；露光補正係数算出手段）。露出補正係数の算出方法は第１の実施の形態と同様である。モニタリング画像はＣＣＤＩ／Ｆを通って画像処理された後ＹＵＶとして随時ＳＤＲＡＭに上書き保存される。また、撮影直前のモニタリング時のＡＥ制御値（シャッタースピード、絞り値、ＡＧＣのゲイン値、ＮＤフィルタ位置、画素加算分）は内部のＲＡＭに格納される。
また、露光量を合わせる際、光量のない画素に露出補正係数を乗算しても変化が無く差分の大きさによって分割する分割方法では分割が難しくなる為、露光量が少ない画像の露光量に合わせるように、露光量の多い画像に露出補正係数（ｋ）を掛けることが好ましい。
更に、モニタリング画像と撮影画像とでシェーディング補正パラメータが異なる場合、モニタリング画像と撮影画像のシェーディング補正パラメータの差分を各画素の露出補正係数に対して加味することが好ましい。
次に、同一画素において、撮影画像の輝度情報とモニタリング画像の輝度情報との減算による画素単位のストロボ光量を算出する（Ｓ７）。
さらに、複数画素で構成されるブロック単位で領域を分割する（Ｓ８；領域分割手段）。ブロックの分割はＡＷＢ評価値、ＡＥ評価値を算出するためのＲＧＢ積算値を取得する際に設定したものと対応付けされている。
そして、画素単位のストロボ光量を基にブロック単位のストロボ光量を算出する（Ｓ９；ストロボ光量算出手段）。
そして、画素単位のストロボ光量を基にブロック単位のストロボ光量を算出する（Ｓ９；ストロボ光量算出手段）。
各ブロックにおける外光量とストロボ光量との割合から、各ブロックのストロボ寄与率を算出する。外光量は露出補正後のモニタリング画像のＡＥ評価値を指す。各ブロックのストロボ寄与率は外光量とストロボ光量とを足したものを１００％とした場合のストロボ光量の割合を示す。
次に、白抽出を行う（Ｓ１０；白検出手段）。白抽出は画面全体からブロック単位で取得したＡＷＢ評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する、若しくは、ストロボ寄与率が一定以下のブロックの中から、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
白抽出ブロック数が一定基準以上である場合、各白抽出ブロックにおけるＡＷＢ評価値と、ＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式３に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、下記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、下記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる。
白抽出ブロック数が一定基準未満である場合、画面全体について各ブロックのＡＷＢ評価値とＡＥ評価値とに基づき演算することで、第１ホワイトバランス補正係数を算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
第１ホワイトバランス補正係数は、ＡＥ評価値が高い領域を重視するような補正係数であることが好ましく、例えば、下記式４に示すように、ＡＷＢ評価値にＡＥ評価値の重み付けを行うことで算出できる。
若しくは、撮影直前のモニタリング画像で設定していたホワイトバランス補正係数を、第１ホワイトバランス補正係数とする。
さらに、ストロボ寄与率に応じて、第１ホワイトバランス係数と、ストロボの影響が１００％時に良好なホワイトバランスに補正することができる第２ホワイトバランス係数と、に基づき演算することで、ブロック毎に第３ホワイトバランス補正係数を算出できる（Ｓ６）。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、上記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる（Ｓ１１；第１〜３ホワイトバランス補正係数算出手段）。
第３ホワイトバランス補正係数は、ストロボ寄与率が高いブロックが、ストロボ寄与率が低いブロックよりも第２ホワイトバランス係数を重視するような補正係数であることが好ましく、例えば、上記式６に示すように、第１ホワイトバランス係数と、第２ホワイトバランス係数との加重平均でブロック毎に算出できる（Ｓ１１；第１〜３ホワイトバランス補正係数算出手段）。
ここで、第２ホワイトバランス補正係数とは、予めストロボの影響が１００％時に良好なホワイトバランスに補正することができる補正係数として所定の値として設定しておいても良いが、ストロボを発光する際の電圧によってストロボ光の色温度の変化が大きい場合には、予め下限電圧で発光した時のＷＢと上限電圧で発光した時のＷＢとを内部データとして保持しておき、ストロボ発光時の電圧から線形補間によって第２ホワイトバランス補正係数を算出することが好ましい。
次にＳＤＲＡＭよりＲＡＷ−ＲＧＢを読み出し、図６のようにブロックの中央に位置する画素をブロック中央画素としブロック毎に算出した第３ホワイトバランス補正係数Ｒgain、Ｂgainを対応するブロックの中央画素に設定する（Ｓ１２；ホワイトバランス演算手段）。
以降、ブロック毎のＷＢ補正係数の設定方法（図１３のＳ１３〜Ｓ１４）は第１の実施の形態（図３のＳ８〜Ｓ９）と同じである。
本実施の形態によれば、ブロック毎にストロボの影響に応じた細かいＷＢ補正係数を設定することができる。
また、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
さらに、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
またさらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
また、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。
さらに、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
またさらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
本実施の形態では撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。
〔第５の実施の形態〕
図１４は第５の実施の形態に係るストロボＷＢ補正の一連の処理のフローを示す。
最初にストロボ発光での撮影画像（第２の撮像信号）がＹＣＣデータとしてＳＤＲＡＭに格納される（メモリ格納手段）。この時、撮影画像には直前までモニタリング画像に対して設定されていたＷＢゲイン、ガンマテーブル、色補正パラメータが適用される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
図１４は第５の実施の形態に係るストロボＷＢ補正の一連の処理のフローを示す。
最初にストロボ発光での撮影画像（第２の撮像信号）がＹＣＣデータとしてＳＤＲＡＭに格納される（メモリ格納手段）。この時、撮影画像には直前までモニタリング画像に対して設定されていたＷＢゲイン、ガンマテーブル、色補正パラメータが適用される（Ｓ１）。また、ストロボ発光量は本発光前のプリ発光によって得られた対象物からの反射光をＣＣＤで検出することで調節している。
次に、ＳＤＲＡＭから撮影画像を読み出しモニタリング画像と同じサイズになるようリサイズ処理を施したものを、リサイズ前の撮影画像とは別のＳＤＲＡＭ領域に保存する（Ｓ２）。
このリサイズ後の撮影画像に対して画像全体を格子状に水平１６×垂直１６のブロックに分割し（ブロック分割手段）、ブロック毎にＹ信号の積算値を算出（輝度信号算出手段）する（Ｓ３）。
さらに、撮影直前のモニタリング画像（第１の撮像信号）に対して撮影画像と同じ露出条件となるよう露出補正係数（ｋ）をモニタリング画像の各画素のＹ信号に対して設定する（Ｓ４）。モニタリング画像はＣＣＤＩ／Ｆを通って画像処理された後ＹＣＣデータとして、随時ＳＤＲＡＭに上書き保存される（メモリ格納手段）。
露出補正係数（ｋ）は下記式によって算出される。また、撮影時と撮影直前のモニタリング画像のシャッタースピード、絞り値、ＮＤフィルタ位置は同じものとする。
露出補正係数（ｋ）は下記式によって算出される。また、撮影時と撮影直前のモニタリング画像のシャッタースピード、絞り値、ＮＤフィルタ位置は同じものとする。
ｋ ＝ ｓｔｉｌｌＡＧＣ／ｍｏｎＡＧＣ
ここで、ｓｔｉｌｌＡＧＣは撮影画像時ＡＧＣ、ｍｏｎＡＧＣはモニタリング画像時ＡＧＣを表す。
次に、ＳＤＲＡＭから露出補正後のモニタリング画像を読み出し、モニタリング画像全体を格子状に水平１６×垂直１６のブロックに分割し（ブロック分割手段）、ブロック毎にＹ信号の積算値を算出（輝度信号積算手段）する（Ｓ５）。
さらに、同一ブロックの撮影画像のＹ信号積算値から、モニタリング画像のＹ信号積算値を減算して予め設定されている基準値と比較し、基準値以上のブロックをストロボ照射領域とし、基準値以下のブロックをストロボ非照射領域とする領域分割（ストロボ光量算出手段、領域分割手段）を行う（Ｓ６）。
図５はブロック単位でストロボ照射領域とストロボ非照射領域とで領域分割を行ったものである。図５の１はストロボ照射領域を表し、図５の２はストロボ非照射領域を表す。
次に、領域毎にＡＷＢ評価値を求める為、それぞれの領域に対応する複数のブロックのＲＧＢを積算する（Ｓ７）。
さらに、領域毎にそれぞれ白抽出（白検出手段）を行う（Ｓ８）。白抽出は領域毎にブロック単位で取得したＡＷＢ評価値に対して、閾値と比較して閾値以下のブロックを白抽出ブロックとして記憶する。
ここで、それぞれの領域に対して白抽出ブロック数がある一定基準以上である場合は、白抽出ブロックのＡＷＢ評価値と当該ブロックの平均輝度値の重み付けによってＷＢ補正係数を算出する。また、一定基準以上でない場合は、領域内の全ブロックのＡＷＢ評価値と当該ブロックの平均輝度値の重み付けによってＷＢ補正係数を算出するか、当該領域以外の領域で算出したＷＢ補正係数を当該領域のＷＢ補正係数とする（Ｓ９）。ここで、Ｓ９は本発明における補正係数算出手段である。
各領域いずれにも一定基準を満たす白抽出ブロックが存在しない場合、画面全体における各ブロックのＡＷＢ評価値と、当該ブロックの平均輝度値の重み付けによってＷＢ補正係数を算出する。
図６のようにブロックの中央に位置する画素をブロック中央画素とし、領域毎に算出したＷＢ補正係数（第１補正係数）Ｒgain、Ｂgainをそれぞれの領域に対応するブロック中央画素に設定する（Ｓ１０）。図６の領域中心に配置された白丸はストロボ照射領域で算出したＷＢ補正係数Ｒgain、Ｂgainを設定するストロボ照射領域ブロック中央画素３、図６の領域中心に配置された黒丸はストロボ非照射領域に算出したＲgain、Ｂgainを設定するストロボ非照射領域ブロック中央画素４である。
非ブロック中央画素のＷＢ補正係数（第２補正係数）Ｒgain、Ｂgainは、当該ブロックのブロック中央画素と周辺のブロック中央画素に設定されているＷＢ補正係数（第１補正係数）と、当該画素からの距離による補間によって求める（Ｓ１１）。ここで、Ｓ１０及びＳ１１は本発明におけるホワイトバランス演算手段である。
図７に示す補間によるＷＢ補正係数の算出方法の説明図を基に、非ブロック中央画素のＷＢ補正係数算出方法を説明する。補間によるＷＢ補正係数の算出を行うＷＢ補正係数の算出対象を非ブロック中央画素１１とし、非ブロック中央画素１１の周辺のブロック中央画素を夫々Ｒ０、Ｒ１、Ｒ２、Ｒ３とする。Ｒ３を１で正規化しＷＢ補正係数の算出対象となる非ブロック中央画素の位置をｘ、ｙで表し、以下の式によってＷＢ補正係数を算出する。
Ｒgain＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３
図８の１２部分の画素のように周辺のブロック中央画素が１つしか存在しない場合は、当該ブロック中央画素のＷＢ補正係数を１２部分のＷＢ補正係数（第２補正係数）として設定する。
図９の１３、１４、１５、１６部分の画素のように周辺のブロック中央画素が２つしか存在しない場合は、当該２のブロック中央画素の２つの補正係数と当該画素からの距離による補間によってＷＢ補正係数（第２補正係数）を求める。計算式は以下の式に示す。
領域１３の場合
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３
Ｒgain＝（１−ｘ）Ｒ２＋ｘＲ３
Ｂgain＝（１−ｘ）Ｂ２＋ｘＢ３
領域１４の場合
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１
Ｒgain＝（１−ｘ）Ｒ０＋ｘＲ１
Ｂgain＝（１−ｘ）Ｂ０＋ｘＢ１
領域１５の場合
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３
Ｒgain＝（１−ｙ）Ｒ１＋ｙＲ３
Ｂgain＝（１−ｙ）Ｂ１＋ｙＢ３
領域１６の場合
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２
Ｒgain＝（１−ｙ）Ｒ０＋ｙＲ２
Ｂgain＝（１−ｙ）Ｂ０＋ｙＢ２
画面全体のＲ、Ｂデータそれぞれに対して、画素毎に算出したＷＢ補正係数Ｒgain、Ｂgainを掛ける（Ｓ１２）。
（周辺の中央画素）
また、本発明における周辺の中央画素とは、周辺に配置されている中央画素のことを指し、例えば、周辺の中央画素と第２補正係数を取得する画素とを結ぶ線分が、全ての中央画素同士を格子状に結ぶ線分と交差しないような中央画素のことを言う。
但し、中央画素と第２補正係数を取得する画素を結ぶ線分は、１のブロックの対角線の線分の長さ以下である。
また、本発明における周辺の中央画素とは、周辺に配置されている中央画素のことを指し、例えば、周辺の中央画素と第２補正係数を取得する画素とを結ぶ線分が、全ての中央画素同士を格子状に結ぶ線分と交差しないような中央画素のことを言う。
但し、中央画素と第２補正係数を取得する画素を結ぶ線分は、１のブロックの対角線の線分の長さ以下である。
また、周辺の中央画素は、第２補正係数を取得する画素が、全ての中央画素同士を格子状に結ぶ線分のうちのいずれか１の線上に存在する場合は、当該線分及び中央画素同士を結ぶ線分によって構成される四角形のうち、最小の四角形を構成する４の中央画素であることが好ましい。
また一方、周辺の中央画素は、第２補正係数を取得する画素が、全ての中央画素同士を格子状に結ぶ線分のうちのいずれか１の線上に存在する場合は、当該線分の両端に配置された２の中央画素であっても良い。
本実施の形態によれば、ストロボ照射領域とストロボ非照射領域とで照射される光源の色温度が異なる場合でもそれぞれに対して良好なホワイトバランスを掛けることができる。また、画素間の補正係数にローパスフィルタがかかる為、ＷＢ補正係数が異なるそれぞれの領域が存在する画像に於いて、領域の境界で不自然なホワイトバランスが掛かることを回避することができる。
さらに、ストロボ撮影直前のモニタリング画像を利用することで複数枚撮影することなく領域分割することができ、撮影に要する時間を短くすることができる。
またさらに、領域毎にＷＢ補正係数を算出する為、ブロック毎または画素毎に算出する方法に比べＷＢ補正係数の算出に要する計算量を少なくすることができる。
本実施の形態では、撮影画像及びモニタリング画像に対して水平１６×垂直１６のブロックで分割したが任意の分割数で分割しても良い。その場合は、領域分割の際に撮影画像とモニタリング画像の同一ブロック毎に、Ｙ信号の積算値からストロボ照射領域か、ストロボ非照射領域かの判別を行うため、撮影画像とモニタリング画像の分割数を合わせる必要がある。
１ ストロボ照射領域
２ ストロボ非照射領域
３ ストロボ照射領域ブロック中央画素
４ ストロボ非照射領域ブロック中央画素
１２、１３、１４、１５、１６ 領域
２ ストロボ非照射領域
３ ストロボ照射領域ブロック中央画素
４ ストロボ非照射領域ブロック中央画素
１２、１３、１４、１５、１６ 領域
Claims (9)
- 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
前記撮像信号をメモリに格納する撮像手段と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、
前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、
前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割手段と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、
前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、
該白検出手段によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出手段と、
ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出手段と、
当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出手段と、
当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置。 - 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
前記撮像信号をメモリに格納する撮像手段と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得手段と、を備える撮像装置において、
前記撮像手段は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像機能と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像機能と、を有し、
前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割手段と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算手段と、
前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出手段と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出手段と、
当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
所定の値以上のストロボ光量のブロックから、前記白検出手段によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出手段と、
当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算手段と、を備えることを特徴とする撮像装置。 - 当該分割されたブロックが有する画素は、前記ブロック分割手段によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
前記ホワイトバランス演算手段は、
前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得手段と、
前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得手段とを備えることを特徴とする請求項１または２に記載の撮像装置。 - 光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、
前記撮像信号をメモリに格納する撮像工程と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、
前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、
前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割工程と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、
前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、
該白検出工程によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出工程と、
ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出工程と、
当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出工程と、
当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法。 - 光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換工程と、
前記撮像信号をメモリに格納する撮像工程と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得工程と、を備える撮像方法において、
前記撮像工程は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像工程と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像工程と、を有し、
前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割工程と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算工程と、
前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出工程と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出工程と、
当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
所定の値以上のストロボ光量のブロックから、前記白検出工程によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出工程と、
当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算工程と、を備えることを特徴とする撮像方法。 - 当該分割されたブロックが有する画素は、前記ブロック分割工程によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
前記ホワイトバランス演算工程は、
前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得工程と、
前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得工程とを備えることを特徴とする請求項４または５に記載の撮像方法。 - 画像処理機能を有する装置が備えるコンピュータに、
光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、
前記撮像信号をメモリに格納する撮像処理と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、
前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割処理と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、
前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、
該白検出処理によって検出された白検出結果を基に、ホワイトバランス用の第１ホワイトバランス補正係数を算出する第１ホワイトバランス補正係数算出処理と、
ストロボ光の影響が強い場合に良好なホワイトバランスとなるホワイトバランス用の第２ホワイトバランス補正係数を算出する第２ホワイトバランス補正係数算出処理と、
当該分割されたブロック毎のストロボ光量に基づき、前記第１ホワイトバランス補正係数と、前記第２ホワイトバランス補正係数と、の加重平均で第３ホワイトバランス補正係数を算出する第３ホワイトバランス補正係数算出処理と、
当該分割されたブロック毎に前記第３ホワイトバランス補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 画像処理機能を有する装置が備えるコンピュータに、
光学系から入射した光を撮像素子で電気信号に変換して撮像信号として出力する光電変換処理と、
前記撮像信号をメモリに格納する撮像処理と、
前記撮像信号からホワイトバランス評価値を抽出するホワイトバランス評価値取得処理と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記撮像処理は、ストロボ発光なしの撮像信号を第１の撮像信号として前記メモリに格納する第１撮像処理と、
ストロボ発光ありの撮像信号を第２の撮像信号として前記メモリに格納する第２撮像処理と、を有し、
前記第１の撮像信号及び前記第２の撮像信号を複数のブロックに分割するブロック分割処理と、
当該分割されたブロック毎に輝度信号を積算して輝度積算結果を算出する輝度信号積算処理と、
前記第１の撮像信号のシェーディング補正パラメータと前記第２の撮像信号のシェーディング補正パラメータとの差分を加味した露出補正係数を算出し、前記第１の撮像信号のブロックの輝度信号または前記第２の撮像信号のブロックの輝度信号に対して前記露出補正係数を適用し、前記第１の撮像信号のブロックの輝度積算結果と、前記第２の撮像信号のブロックの輝度積算結果と、において、同一の位置のブロック同士で夫々演算してストロボ光量を算出するストロボ光量算出処理と、
前記ホワイトバランス評価値と、予め設定してある白検出範囲と、を基に白検出を行う白検出処理と、
当該分割されたブロックのうち、所定の値未満のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出し、
所定の値以上のストロボ光量のブロックから、前記白検出処理によって検出された白検出結果を基に、ホワイトバランス用の補正係数を算出する補正係数算出処理と、
当該分割されたブロック毎にホワイトバランス用の補正係数を設定するホワイトバランス演算処理と、を備えることを特徴とするホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 当該分割されたブロックが有する画素は、前記ブロック分割処理によって分割されたブロックにおいて中央に配置されたブロック中央画素と、中央に配置されていない非ブロック中央画素とからなり、
前記ホワイトバランス演算処理は、
前記ブロック中央画素に、領域毎に算出したホワイトバランス用の補正係数を取得して設定する第１補正係数取得処理と、
前記非ブロック中央画素に、周辺のブロック中央画素の補正係数と当該非ブロック中央画素からの距離による補間でホワイトバランス用の補正係数を取得して設定する第２補正係数取得処理とを備えることを特徴とする請求項７または８に記載のホワイトバランス演算処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012252080A JP5660341B2 (ja) | 2007-09-18 | 2012-11-16 | 撮像装置、撮像方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007240479 | 2007-09-18 | ||
| JP2007240479 | 2007-09-18 | ||
| JP2012252080A JP5660341B2 (ja) | 2007-09-18 | 2012-11-16 | 撮像装置、撮像方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008053678A Division JP5169318B2 (ja) | 2007-09-18 | 2008-03-04 | 撮像装置、撮像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013034261A JP2013034261A (ja) | 2013-02-14 |
| JP5660341B2 true JP5660341B2 (ja) | 2015-01-28 |
Family
ID=40666468
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008053678A Active JP5169318B2 (ja) | 2007-09-18 | 2008-03-04 | 撮像装置、撮像方法 |
| JP2012252080A Active JP5660341B2 (ja) | 2007-09-18 | 2012-11-16 | 撮像装置、撮像方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008053678A Active JP5169318B2 (ja) | 2007-09-18 | 2008-03-04 | 撮像装置、撮像方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP5169318B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5187241B2 (ja) | 2009-02-16 | 2013-04-24 | 株式会社リコー | 撮像装置及び撮像方法 |
| JP5566679B2 (ja) * | 2009-12-24 | 2014-08-06 | 三星電子株式会社 | 撮像装置及び撮像方法 |
| JP5566680B2 (ja) * | 2009-12-24 | 2014-08-06 | 三星電子株式会社 | 撮像装置及び撮像方法 |
| JP5458937B2 (ja) | 2010-02-17 | 2014-04-02 | 株式会社リコー | 撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体 |
| JP5665436B2 (ja) * | 2010-09-02 | 2015-02-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US8773577B2 (en) * | 2010-10-27 | 2014-07-08 | Qualcomm Incorporated | Region of interest extraction |
| JP2012134678A (ja) * | 2010-12-20 | 2012-07-12 | Samsung Yokohama Research Institute Co Ltd | 撮像装置及び撮像方法 |
| JP5885416B2 (ja) | 2011-07-14 | 2016-03-15 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
| KR102170686B1 (ko) | 2014-03-18 | 2020-10-27 | 한화테크윈 주식회사 | 화이트 밸런스 보정 장치 및 방법 |
| JP6274931B2 (ja) | 2014-03-19 | 2018-02-07 | オリンパス株式会社 | マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 |
| JP6021885B2 (ja) * | 2014-12-02 | 2016-11-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6953961B2 (ja) * | 2017-09-27 | 2021-10-27 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3569352B2 (ja) * | 1994-05-31 | 2004-09-22 | ペンタックス株式会社 | ホワイトバランス調整装置 |
| JP3540485B2 (ja) * | 1995-04-13 | 2004-07-07 | 株式会社リコー | 電子スチルカメラ |
| JP2000102025A (ja) * | 1998-09-25 | 2000-04-07 | Minolta Co Ltd | デジタルカメラ |
| JP2002369211A (ja) * | 2001-06-08 | 2002-12-20 | Toshiba Corp | 電子スチルカメラ装置 |
| JP4163463B2 (ja) * | 2001-08-02 | 2008-10-08 | オリンパス株式会社 | 電子カメラ |
| JP2003259390A (ja) * | 2002-03-01 | 2003-09-12 | Canon Inc | ホワイトバランス補正装置およびそれを備えた撮像装置、その制御方法、その制御方法を動作させるプログラム、およびそのプログラムを記憶した記憶媒体 |
| JP4433883B2 (ja) * | 2004-05-31 | 2010-03-17 | カシオ計算機株式会社 | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 |
-
2008
- 2008-03-04 JP JP2008053678A patent/JP5169318B2/ja active Active
-
2012
- 2012-11-16 JP JP2012252080A patent/JP5660341B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013034261A (ja) | 2013-02-14 |
| JP5169318B2 (ja) | 2013-03-27 |
| JP2009094997A (ja) | 2009-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5660341B2 (ja) | 撮像装置、撮像方法 | |
| JP5321163B2 (ja) | 撮像装置及び撮像方法 | |
| KR100819804B1 (ko) | 촬상 장치 | |
| JP5187241B2 (ja) | 撮像装置及び撮像方法 | |
| JP5347707B2 (ja) | 撮像装置および撮像方法 | |
| JP5375457B2 (ja) | 撮像装置及び撮像方法 | |
| JP5123137B2 (ja) | 撮像装置および撮像方法 | |
| KR20110043162A (ko) | 다중 노출 제어 장치 및 그 방법 | |
| JP2017022610A (ja) | 画像処理装置、画像処理方法 | |
| JP5458937B2 (ja) | 撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体 | |
| JP5223686B2 (ja) | 撮像装置および撮像方法 | |
| JP5256947B2 (ja) | 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP5277863B2 (ja) | 撮像装置および撮像方法 | |
| JP5146015B2 (ja) | 撮像装置及び撮像方法 | |
| JP5948997B2 (ja) | 撮像装置及び撮像方法 | |
| JP5310331B2 (ja) | 撮像装置および撮像方法 | |
| JP2010068331A (ja) | 撮像装置および撮像方法 | |
| JP5123010B2 (ja) | 撮像装置、撮像方法及び撮像装置が備えるコンピュータに撮像方法を実行させるためのプログラム | |
| JP5482131B2 (ja) | 撮像装置 | |
| JP2010068064A (ja) | 撮像装置及び撮像方法 | |
| JP5091734B2 (ja) | 撮像装置および撮像方法 | |
| JP5799550B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
| JP5807378B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
| JP5849532B2 (ja) | 撮像装置および撮像方法 | |
| JP2012049650A (ja) | 撮像装置及びホワイトバランス制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141014 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141118 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5660341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |