JP6004221B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

従来から、撮像画像の色シェーディング補正を行う技術が知られている。例えば下記の特許文献１には、被写体明度や色温度などに基づいて所定の色シェーディング補正を行う構成が記載されている。また、特許文献２には、光学系データと色温度との組み合わせを用いて色シェーディング補正を行う構成が記載されている

また、下記の特許文献３には、フィルタのカットオフ周波数近傍の帯域において相対輝度を検出し、検出結果に応じて色シェーディング補正係数を選択する方法が記載されている。また、特許文献４には、色温度の推定結果に基づいて色シェーディング計数を補正する方法が記載されている。また、特許文献５には、撮像素子が検出した色分布に基づいて照明光の種類を判定し、その判定結果に応じて色シェーディング補正の補正量を設定する方法が記載されている。

特開２００７−１０４５８０号公報 特開２００８−３５２８２号公報 特開２０１１−０９１５１３号公報 特開２０１０−１４７８００号公報 特開２００９−０８８８００号公報

上記従来の技術では、被写体明度（輝度）、色温度や色分布に基づいて色シェーディングを推定しているが、光源が異なる場合であっても被写体明度、色温度や色分布などのパラメータは近似した値となる場合がある。このため、被写体明度、色温度、または色分布等に基づいて色シェーディングを精度良く推定して補正することは困難である。特に、上記従来の技術では、近赤外光付近のスペクトラム含有量が異なる光源の場合、シェーディング補正に過不足が生じ、シェーディングを補正することは困難であった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、色シェーディングを精度良く推定して処理を行うことが可能な、新規かつ改良された画像処理装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像画像を取得する撮像画像取得部と、前記撮像画像に複数の異なる色シェーディング補正を適用した結果に基づいて、前記撮像画像に発生する色シェーディングを推定する色シェーディング推定部と、前記色シェーディング推定部が推定した色シェーディングに基づいて、前記撮像画像に基づく処理を行う処理部と、を備える画像処理装置が提供される。

上記構成によれば、撮像画像に複数の異なる色シェーディング補正を適用した結果に基づいて、撮像画像に発生する色シェーディングを推定するため、色シェーディングを高精度に推定することが可能となる。

また、所定の光源毎に最適化した複数の色シェーディング補正係数を記憶する色シェーディング補正係数記憶部と、前記撮像画像を複数のブロックに分割するブロック分割部と、前記ブロック毎に画素値を統計することでブロック統計値を算出する統計値算出部と、を備え、前記色シェーディング推定部は、前記ブロック統計値に前記色シェーディング補正係数を乗算した後、ブロック毎にＲ信号、Ｇ信号及びＢ信号に対するＲ信号の比を算出し、前記複数の色シェーディング補正係数の中から、画像中央部から周辺部へ向けて連続するブロック群内の前記Ｒ信号の比の変動が最少となる色シェーディング補正係数を選択する。この構成によれば、色シェーディング補正係数記憶部に記憶された複数の色シェーディング補正係数の中から、画像中央部から周辺部へ向けて連続するブロック群内の前記Ｒ信号の比の変動が最少となる色シェーディング補正係数が選択される。従って、画像周辺部でのＲ画素値の落ち込みを補償することが可能となり、最適な色シェーディング補正係数を選択することが可能となる。

また、前記色シェーディング推定部は、画像中央部から周辺部へ向けて連続するブロック群内の前記Ｒ信号の比の変動に基づいてＲ信号偏移度を算出し、全てのＲ信号偏移度のうち最も小さいものに対応する色シェーディング補正係数を選択する。この構成によれば、全てのＲ信号偏移度のうち最も小さいものに対応する色シェーディング補正係数が選択されるため、選択した色シェーディング補正係数を分割ブロックに適用した場合に、画像中央部から周辺部にかけてのＲ信号の比の変動が最も小さくなる。従って、画像周辺部でのＲ画素値の落ち込みを補償することが可能となり、最適な色シェーディング補正係数を選択することが可能となる。

また、画像中央部から周辺部へ向けて連続するブロック群内の前記Ｒ信号の比の分散値または標準偏差を用いて前記Ｒ信号偏移度を算出する。この構成によれば、Ｒ信号偏移度は、ブロック群内の前記Ｒ信号の比の分散値または標準偏差を用いて算出される。従って、Ｒ信号偏移度に基づいてブロック群内のＲ信号の比の変動が最も小さい色シェーディング補正係数を選択することができる。

また、前記処理部は、前記色シェーディング推定部が選択した色シェーディング補正係数に基づいて、前記撮像画像の色シェーディングを補正する。この構成によれば、撮像画像の色シェーディングは、色シェーディング推定部が選択した色シェーディング補正係数に基づいて補正される。従って、撮像画像の色シェーディングを高精度に補正することができる。

また、前記処理部は、前記色シェーディング推定部が選択した色シェーディング補正係数に基づいて、光源に近赤外光付近の波長の光線が含まれるかを判定して光源を推定する。この構成によれば、光源に近赤外光付近の波長の光線が含まれるかが、色シェーディング推定部が選択した色シェーディング補正係数に基づいて判定される。従って、光源の種類を高精度に判定することが可能となる。

本発明によれば、色シェーディングを精度良く推定して補正することが可能な画像処理装置を提供することができる。

シェーディングが発生した様子を示す図である。 本実施形態に係る画像処理装置を備えたデジタルスチルカメラを示すブロック図である。 撮像素子のＲ信号の受光感度と赤外カットフィルタの入射角度の違いによるカットオフ周波数の差異を、撮像素子の中央部と周辺部で比較した特性図である。 本実施形態に係るデータフローを示す模式図である。 シェーディング推定部の内部処理を示すフローチャートである。 シェーディング補正係数記憶部に記憶されたシェーディング補正係数を示す特性図である。 キャプチャー画像にシェーディング補正を行った場合に得られる結果画像を示す図である。 Ｒ信号変動値を算出するブロック群の設定例を示す模式図である。 最適なシェーディング補正係数が算出される過程を示す模式図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

最初にデジタルカメラ等において発生するシェーディングについて説明する。図１は、シェーディングが発生した様子を示す図である。デジタルカメラなどの電子的撮像装置においては、レンズ等の光学系の影響によって、図１に示すような画像周辺部の光量が減衰するレンズシェーディング（Ｌｅｎｓ Ｓｈａｒｄｉｎｇ）と呼ばれる不自然な結果（Ａｒｔｉｆａｃｔ）が発生することが知られている。特に、撮像素子より得られた画像ＲＧＢ（赤、緑、青）信号の色別にシェーディング特性が異なることによって発生する色むらを、色シェーディングと称する。このため、デジタルカメラでは、シェーディングを補正するための処理が行われる。

図２は、本実施形態に係る画像処理装置を備えたデジタルスチルカメラ（Ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）１００を示すブロック図である。図２に示すように、デジタルカメラ１００は、レンズ光学系１０２、撮像素子１０４、撮像素子１０４の前面に装着された赤外（ＩＲ）カットフィルタ１０６、ＡＦＥ回路（Ａ／Ｄ変換部）１０８、画像信号処理回路１１０、画像表示部１１２、画像記録部１１４、画像ブロック統計回路１１６、ドライバ１１８、タイミングジェネレータ（ＴＧ）１２０、デバイス制御部１２２、露出補正算出部１２４、ホワイトバランス（ＷＢ）補正係数算出部１２８、色シェーディング推定部１３０、シェーディング補正係数記憶部１３２を有して構成される。

図２に示す構成において、レンズ光学系１０２は、レンズ１０２ａ、絞り１０２ｂ、シャッター１０２ｃ等を備え、被写体像を撮像素子１０４の撮像面に結像する。レンズ光学系１０２のレンズ１０２ａ、絞り１０２ｂ、シャッター１０２ｃは、デバイス制御部１２２によってドライバ１１８を介して駆動される。露出補正算出部１２４は、後述するブロック統計値に基づいて露出補正のパラメータを算出し、デバイス制御部１２２はこのパラメータに基づいて絞り１０２ｂ、シャッター１０２ｃを駆動する。また、デバイス制御部１２２は、タイミングジェネレータ１２０を制御し、撮像素子１０４を駆動するためのタイミングを生成させる。ホワイトバランス補正係数算出部１２８は、ブロック統計値に基づいてホワイトバランスの補正係数を算出する。画像表示部１１２は、液晶表示ディスプレイ（ＬＣＤ）等から構成され、撮像素子１０４で撮像された撮像画像に対して画像信号処理回路１１０で処理が施されて得られた画像を表示する。画像記録部１１４は、撮像素子で撮像された撮像画像に対して画像信号処理回路１１０で処理が施されて得られた画像を記憶するメモリである。

デジタルカメラ１００のような電子的撮像装置においては、ＣＣＤ、ＣＭＯＳなどの光電変換を行う撮像素子１０４より取得された画像信号（ＲＧＢ色信号）は、ＣＤＳ回路（不図示）による信号処理が施された後、ＡＦＥ回路によってＡ／Ｄ変換されてデジタル信号となる。その画像信号は、画像信号処理回路１１０へ送られる。画像信号処理回路１１０は、Ｄｅｍｏｓａｉｃ処理部１１０ａ、エッジ（Ｅｄｇｅ）強調部１１０ｂ、ホワイトバランス（ＷＢ）補正部１１０ｃ、色シェーディング補正部１１０ｄ、ガンマ（Ｇａｍｍａ）補正部１１０ｅ、光源推定部１１０ｆを備えており、各部において、Ｄｅｍｏｓａｉｃ処理、エッジ（Ｅｄｇｅ）強調処理、ホワイトバランス（ＷＢ）補正処理、シェーディング補正処理、ガンマ（Ｇａｍｍａ）補正処理など、数多くの電子的処理が行われて画像記録が行われる。また、後述するように、光源推定部１１０ｆは、シェーディング補正係数の算出結果に基づいて光源を推定する。なお、色シェーディング補正部１１０ｄ、光源推定部１１０ｆは、シェーディング推定部１３０が推定した色シェーディングに基づいて、撮像画像に基づく処理（シェーディング補正処理、光源推定処理）を行う処理部として機能する。

色シェーディング補正部１１０ｄは、撮影時に発生するシェーディングを補正する。一般的には、色シェーディング補正部１１０ｄは、レンズ光学系１０２のレンズ１０２ａのズーム（Ｚｏｏｍ）や絞り１０２ｂといった光学要素の状態、露出補正算出部１２４が算出した被写体明度、ホワイトバランス（ＷＢ）補正係数算出部１２８が算出したホワイトバランスゲイン（Ｗｈｉｔｅ Ｂａｌａｎｃｅ Ｇａｉｎ）又は色温度等の光源情報を参照し、撮影時に発生するシェーディングを補正する。なお、図中の色シェーディング補正部１１０ｄを、画像ブロック（Ｂｌｏｃｋ）統計回路１２６の前段に構成することもできる。

一方、本実施形態では、色シェーディング補正部１１０ｄは、画像ブロック統計回路１１６が算出したブロックに対して、予め記憶された複数の補正テーブルの中から、画像中央部から周辺部にかけてのＲ信号比の変化が最もフラットになるように選択された補正テーブルを用いてシェーディング補正を行う。このため、被写体明度、ホワイトバランスゲイン、色温度等の情報に基づく補正と比較すると、より精度の高いシェーディング補正が可能である。

シェーディング特性は、レンズ光学系１０２のズーム（Ｚｏｏｍ）や絞り１０２ｂによって変化することが知られているが、撮影光源の種類によってもその特性は変化する。電子的撮像装置では、可視光より長波長である赤外域にも受光感度を持つため、赤外カットフィルタ（Ｃｕｔ
Ｆｉｌｔｅｒ）を用いて赤外光を遮断する。赤外カットフィルタは、透過型と反射型（蒸着型）の２つに大別される。反射型はレンズ面に蒸着形成するため薄型化しやすく透過型より安価というメリットがあり、モバイル機器等への更なる適用が期待されている。一方で、反射型は、光の入射角度によりカットオフ（Ｃｕｔ Ｏｆｆ）周波数が変化する特性がある。

図３は、撮像素子のＲ（赤色光）信号の受光感度（図３中に実線で示す）と、赤外カットフィルタ１０６の入射角度の違いによる透過特性（カットオフ周波数）の差異を、撮像素子１０４の撮像面（または撮像画像）の中央部と周辺部で比較した特性図（Ｇｒａｐｈ）である。図３において、横軸は波長（ｎｍ）を、縦軸は赤外カットフィルタ１０６の透過特性（％）を示している。図３においては、Ｒ信号の受光感度は実線の特性で、撮像素子１０４の中央部のカットオフ周波数の特性は破線で、撮像素子の周辺部のカットオフ周波数の特性は一点鎖線でそれぞれ示している。

撮像素子１０４の中央部に入射する光線は、撮像面に対して垂直に近い方向で入射する。一方、撮像素子１０４の周辺部に入射する光線は、撮像面に対して斜めの方向から入射する。このため、図３に示すように、撮像素子の中央部と周辺部とでは、赤外カットフィルタ１０６のカットオフ周波数が変化し、中央部では周辺部よりもカットオフ周波数が高くなる。この赤外カットフィルタ１０６のカットオフ周波数の変化に伴い、図３中に斜線で示した部分のＲ信号の受光感度特性は、画像中央部から周辺部になるにつれて短波長側にシフトする。図３の例では、６６０ｎｍ〜７００ｎｍ付近の光源波長をもつ光源下での撮影時には、撮像素子１０４の中央部と周辺部で、Ｒ信号の感度特性に斜線で示す領域の差異が生じることになる。この場合、中央部では赤外カットフィルタ１０６によってカットされずに撮像される６６０ｎｍｎｍ〜７００ｎｍ付近の波長の光は、周辺部では赤外カットフィルタ１０６によってカットされてしまい、中央部と周辺部とで色シェーディング（むら）が生じ、Ｒ成分が中央部よりも周辺で減ってしまう。換言すれば、６６０ｎｍ〜７００ｍｎの波長を含まない光源下であれば上記Ｒ感度の差異が撮像画像に現れることはない。以上のような過程によって、光源に応じて特性の異なる色シェーディングが発生する。

赤外カットフィルタ１０６に起因する色シェーディング補正技術として、前述した特許文献１，２のように、被写体輝度と色温度を算出し、太陽光、電球、蛍光灯など光源種別の可能性を判断し、予め複数光源に最適化したシェーディング補正テーブルの何れかを選択して適用する手法が知られている。

しかしながら、光源の色温度が近似していた場合であっても、例えば電球と電球色蛍光灯とでは色特性が異なる。このため、従来手法では、電球と電球色蛍光灯のように色温度が近似していた場合に、どちらか一方の光源に最適化したシェーディング補正テーブルを適用する他に方法が存在しなかった。そして、従来手法では、被写体光源が低色温度と判断した場合に電球用の補正テーブルを適用するといった判定を行うため、実際には被写体光源が電球色蛍光灯であった場合には、シェーディング補正が過補正となり、画像中央部が青くなるといった色むらが発生する。

同様に、色温度による判定では、日蔭の植物など暗所の屋外の被写体では、色温度が蛍光灯の場合と近似するため、光源が太陽光ではなく蛍光灯である誤判断してしまう。この場合、蛍光灯には赤外光は多く含まれないため、シェーディング補正が不足してしまい、画像中央部が赤くなるといったシェーディング補正不足による色むらが発生する。

このため、本実施形態では、赤外カットフィルタ１０６に起因する色シェーディングを撮像画像より推定し、光源種別ごとに異なる色シェーディングを効果的に除去する。

図４は、本実施形態に係るシェーディング補正に係る構成の主要部と、データフロー（Ｄａｔａ ｆｌｏｗ）を示す模式図である。撮像素子１０４から入力された画像データは、画像ブロック統計回路１１６によって、ｎ×ｍ ブロック（Ｂｌｏｃｋ）で構成されるブロック（Ｂｌｏｃｋ）毎に分割され、ブロック毎にブロック統計値が算出される。このため、画像ブロック統計回路１１６は、ブロック分割を行うブロック分割部１１６ａと、統計値を算出する統計値算出部１１６ｂを有している。ブロック統計値とは、各ブロック内のＲＧＢ別の画素積算値またはＲＧＢ別の画素平均値である。

シェーディング補正係数記憶部１３２は、予め光源別に最適化されたシェーディング補正係数（補正テーブル）を複数保持している。そして、色シェーディング推定部１３０は、複数の補正テーブルのそれぞれをブロック統計値に適用し、シェーディング補正係数記憶部１３２から１つのシェーディング補正係数（色シェーディング補正係数）を読み出し、ブロック統計値に乗算してブロック毎にＲ信号比を算出する。

次に、色シェーディング推定部１３０は、画像中央部から周辺部に連続するブロックのＲ信号比の偏移度を標準偏差または分散を用いて算出し一時記憶する。そして、シェーディング補正係数記憶部１３２から複数のシェーディング補正係数を順次読み出し、ブロック統計値への乗算とＲ信号比偏移度の算出を繰り返し、全てのシェーディング補正係数に対応するＲ信号比偏移度を求める。

そして、色シェーディング推定部１３０は、全てのシェーディング補正係数に対応するＲ信号比偏移度のうち、最も小さいＲ信号比偏移度に対応するシェーディング補正係数を選択し、最終的なシェーディング補正係数として出力する。

色シェーディング推定部１３０から出力されたシェーディング補正係数は、色シェーディング補正部１１０ｄに送られる。シェーディング補正係数は、色シェーディング補正部１１０ｄにて、撮像画像のデータと乗算される。これにより、撮像画像の色シェーディングが補正される。

図５は、色シェーディング推定部１３０の内部処理を示すフローチャートである。先ず、ステップＳ１０では、画像ブロック統計回路１１６よりブロック統計値を取得する。ブロック分割が１６×１６ブロックの場合、各ブロックについてブロック統計値を取得する。次のステップＳ１２では、シェーディング補正係数記憶部１３２からシェーディング補正係数を読み込む。

次のステップＳ１４では、ステップＳ１２で読み込んだシェーディング補正係数と各ブロック統計値を乗算し、補正済ブロック統計値を算出する。上述したように、ブロック統計値は各ブロック内のＲＧＢ別の画素積算値またはＲＧＢ別の画素平均値であるため、補正済ブロック統計値は、ＲＧＢ毎に算出される。次のステップＳ１６では、ステップＳ１４で求めた補正済ブロック統計値からＲ信号比を算出する。具体的には、Ｒ／（Ｒ＋Ｇ＋Ｂ）の演算を行うことにより、Ｒ信号比ブロック統計値を算出する。

次のステップＳ１８では、ステップＳ１６で求めたＲ信号比ブロック統計値から、Ｒ信号偏移度を算出する。Ｒ信号偏移度は、画像中央部から周辺部に連続するブロックのＲ信号比ブロック統計値について、標準偏差または分散を用いて算出する。

次のステップＳ２０では、シェーディング補正係数記憶部１３２に記憶された全てのシェーディング補正係数のＲ信号偏移度の算出が完了したか否かを判定し、完了していない場合はステップＳ１２に戻り、ステップＳ１２以降の処理を再度行う。一方、全てのシェーディング補正係数のＲ信号偏移度の算出が完了した場合は、ステップＳ２２へ進み、シェーディング補正係数を選択する。ステップＳ２２では、Ｒ信号偏移度の最も小さいシェーディング補正係数を選択する。

そして、ステップＳ２２の後、撮像素子１０４での撮像により得られた撮像画像（キャプチャー（Ｃａｐｔｕｒｅ）画像）に対して、ステップＳ２２で選択されたシェーディング補正係数を乗算する。

図６は、シェーディング補正係数記憶部１３２に記憶されたシェーディング補正係数を示す特性図である。シェーディング補正係数記憶部１３２は、一例として、複数の光源別に、シェーディング補正係数を保持している。シェーディング補正係数は、シェーディング特性、またはシェーディング補正テーブルとして保持されている。また、シェーディング補正係数は、ＲＧＢ毎に設定されており、ＲＧＢ毎に適用される。

図６では、複数の光源として、タングステン（Ｔａｎｇｓｔｅｎ）、ハロゲン（Ｈａｌｏｇｅｎ）、太陽光（Ｓｕｎｌｉｇｈｔ Ｓｕｎｎｙ）、蛍光灯（Ｆｌｕｏｒｅｓｃｅｎｔ）を示している。また、図６では、左側に各光源のシェーディング特性（Ｓｈａｒｄｉｎｇ ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を、右側にシェーディング補正テーブル（Ｓｈａｒｄｉｎｇ ｃｏｒｒｅｃｔｉｏｎ Ｔａｂｌｅ）を示している。各特性、補正テーブルにおいて、中央の値は撮像画像の中心部の値を示しており、左右の周辺の値は撮像画像の周辺部の値を示している。

図６に示すシェーディング特性では、画像の中央部から周辺部にかけてＲＧＢ毎に画素値が低下する様子を示している。また、図６に示すシェーディング補正テーブルは、シェーディング特性に示される画素値の落ち込みを補償するため、ＲＧＢ毎の特性として設定されている。図６のシェーディング特性に示すように、光源によって中央部から周辺部にかけての画素値の低下量が異なるため、これを補償する補正テーブルの強度も光源に応じて異なるものとなる。特に、光源が近赤外光に近くなると、図３で説明したカットオフ周波数の変化により、中央部から周辺部にかけての画素値の落ち込みが大きくなる。一方、図６に示す蛍光灯の場合は、赤外光は多く含まれていないため、中央部から周辺部にかけての画素値の落ち込みは少なくなる。

シェーディング特性またはシェーディング補正テーブルは、画像中央からの距離に応じた係数であってもよいし、適当なサイズの２次元ビットマップ（ＢｉｔＭａｐ）形式であってもよい。シェーディング特性またはシェーディング補正テーブルは、図６では、一次元の特性を示しているが、２次元の撮像画像の領域に応じたものが好適である。あるいは、縦方向と横方向のそれぞれの１次元の特性を乗算することで、撮像画像の全領域を補間しても良い。シェーディング特性またはシェーディング補正テーブルは、予め登録する光源下で一様なグレーチャート（Ｇｒａｙ Ｃｈａｒｔ）等を撮影して得られた画像から、シェーディング特性を計測して作成することができる。

図７は、キャプチャー画像にシェーディング補正を行った場合に得られる結果画像を示す図である。ここで、図７の上段は、キャプチャー画像のブロック統計値、シェーディング補正係数、及びシェーディング補正後の画像（結果画像）のブロック統計値を、画像として示したものである。また、図７の下段は、キャプチャー画像のブロック統計値、シェーディング補正係数、及びシェーディング補正後の画像のブロック統計値を、特性値として示したものである。

図７に示すように、各ブロック統計値にシェーディング補正係数を乗算し、シェーディング補正後のブロック統計値を取得する。キャプチャー画像にシェーディング補正係数を乗算することで、結果画像の画素値のブロック統計値を画像の中央から周辺にかけてフラットな特性にすることができる。

図７に示すように、シェーディング補正テーブルを乗算する前のキャプチャー画像は、図１と同様にシェーディングによる色むらが生じている。キャプチャー画像にシェーディング補正テーブルを乗算することで、シェーディングによる色むらが補正されたシェーディング補正画像（Ｓｈａｄｉｎｇ ｃｏｒｒｅｃｔｉｏｎ Ｉｍａｇｅ）を取得することができる。

次に、図５のステップＳ１６で算出したＲ信号比（Ｒｒ）の算出について説明する。ここでは、以下の式１により補正済ブロック統計値のＲ信号比（Ｒｒ）を算出する。式１において、Ｒ，Ｇ，Ｂは、補正済ブロックのＲ信号、Ｇ信号、Ｂ信号のブロック統計値を示している。
Ｒｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）・・・（式１）

全ての補正済ブロック統計値のＲ信号比を算出した後、図５のステップＳ１８では、補正済ブロック統計値のうち画像全体の中央部から周辺部に連続したブロック統計値のＲ信号比の変動値を算出し、複数の変動値の平均値をＲ信号偏移度として一時記憶する。

図８は、Ｒ信号偏移度を算出するブロック群ＵＲ，ＵＬ，Ｖ，Ｈの設定例を示す模式図である。ここでは、画像ブロック統計回路１１６によって、１６×１６ブロックで構成されるブロック毎に、ブロック統計値を算出した場合を示す。図８に示すＵＲ，ＵＬ，Ｖ，Ｈのように、ブロック群は画像の中央部を中心として中心部から周辺部へ延存する放射状に設定する。そして、画像の中央部を含むブロック群ＵＲ，ＵＬ，Ｖ，Ｈのグループ別にＲ信号比の変動値を求める。なお、ブロック群のグループ分類は図８に示したパターンに限定されるものではなく、異なるパターン、グループ数としてもよい。そして、ブロック群別のＲ信号比の変動値を平均してＲ信号偏移度とする。

グループ別に算出するＲ信号比の変動値νは、以下の式２に示すように、グループ毎の分散、標準偏差等を用いて算出することができる。ここで、ｘ_ｉはｉ番目の補正済ブロックの補正済みブロック統計値を示している。図８に示す例では、各ブロック群ＵＲ，ＵＬ，Ｖ，Ｈは１６個のブロックから構成されているため、ｉ＝１６である。

・・・ （式２）

求められたグループ毎のＲ信号比の変動値を平均して、対象となるシェーディング補正適用後のＲ信号偏移度ｓとする。例えば、ν１はブロック群ＵＲの変動値を表し、ν２はブロック群ＵＬの変動値を表している。

・・・ （式３）

そして、シェーディング補正係数記憶部１３２に記憶された複数のシェーディング補正係数を順次読み出し、図５のステップＳ１２〜Ｓ２０を繰り返し、全てのシェーディング補正係数についてＲ信号偏移度ｓを算出する。図６の例では、シェーディング補正係数は各光源に対応して４つ用意されているため、この場合は４つのＲ信号偏移度ｓが算出される。

図９は、３つのシェーディング補正係数（テーブルＡ，Ｂ，Ｃ）の中から、最適なシェーディング補正係数が算出される過程を示す模式図である。図９に示すように、キャプチャー画像にシェーディング補正係数を乗算して得られた各ブロック統計値について、Ｒ信号比を算出する。図９の最下段に示す特性図は、各ブロック群ＵＲ，ＵＬ，Ｖ，ＨのＲ信号比を示している。そして、各ブロック群ＵＲ，ＵＬ，Ｖ，ＨのＲ信号比の変動値の平均値をＲ信号偏移度ｓとして算出し、最もＲ信号偏移度の小さいシェーディング補正係数を最終的なシェーディング補正係数として選択する。

図９に示す例では、３つのシェーディング補正係数のうち、テーブルＢによって算出されたＲ信号比の各ブロック群ＵＲ，ＵＬ，Ｖ，Ｈ毎の変動が最も小さく、テーブルＢのＲ信号偏移度ｓが最も小さくなる。従って、色シェーディング推定部１３０は、シェーディング補正係数としてテーブルＡを選択し、色シェーディング補正部１１０ｄは、撮像画像にテーブルＡを乗算してシェーディング補正を行う。

色シェーディング推定部１３０では、最適なシェーディング補正係数を求める過程で、ブロック統計値に各シェーディング補正係数を乗算することで、シェーディング補正係数を求めるまでの処理を簡素にすることができる。一方、色シェーディング補正部１１０ｄによる撮像画像の補正においては、撮像画像の各画素のＲ，Ｇ，Ｂ信号値にシェーディング補正係数を乗算することで、より高精度にシェーディング補正が成された補正後の画像を得ることができる。但し、色シェーディング補正部１１０ｄによる撮像画像の補正においても、ブロック統計値に各シェーディング補正係数を乗算してシェーディング補正を行っても良い。

ＲＧＢの各画素値、ブロック統計値は、被写体輝度に応じて変化するが、最もＲ信号偏移度ｓが小さくなるテーブルＡを選択することで、中央部から周辺部にかけての画素値の落ち込みを確実に補償することが可能である。また、Ｒ信号比を用いることで、ブロック毎に被写体輝度に変化した場合も、Ｒ信号の落ち込みを確実に判別して最適なテーブルを選択することが可能である。

また、光源推定部１１０ｆは、シェーディング補正係数に基づいて、光源を推定する。例えば、図６に示すタングステンのシェーディング補正係数が最適なテーブルとして選択された場合、光源推定部１１０ｆは被写体の光源がタングステンであると推定する。光源推定部１１０による光源推定結果は、ホワイトバランス補正部１１０ｃにおけるホワイトバランス補正に適用される。これにより、光源の推定精度を大幅に高めることが可能となり、光源の誤推定に起因するホワイトバランス補正精度の低下を確実に抑止することが可能である。

なお、上述した例では、Ｒ信号に基づいてシェーディングを求めたが、同様の手法により、Ｇ信号、Ｂ信号に基づいてシェーディングを求めることも可能である。

以上説明したように本実施形態によれば、撮像画像をブロック分割したブロック統計値に対し、予め光源別に用意したシェーディング補正係数を乗算する演算を行い、そのＲ信号比を用いて、画像中央から周辺部へのＲ信号比のＲ信号偏移度を算出する。そして、Ｒ信号偏移度が最も小さくなるシェーディング補正係数を用いて撮像画像のシェーディング補正を行う。従って、実際の撮像画像に基づいて、複数のシェーディング補正係数の中から最適なシェーディング補正係数を適用することができるため、光源によって特性の異なる色シェーディングの発生要因を高精度に推定することができ、色シェーディングを格段に高い精度で補正する事が可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ デジタルカメラ
１１０ｄ 色シェーディング補正部（処理部）
１１０ｆ 光源推定部
１１６ 画像ブロック統計回路
１１６ａ ブロック分割部
１１６ｂ 統計値算出部
１３０ 色シェーディング推定部
１３２ シェーディング補正係数記憶部

Claims (5)

1. 撮像画像を取得する撮像画像取得部と、
   前記撮像画像に複数の異なる色シェーディング補正を適用した結果に基づいて、前記撮像画像に発生する色シェーディングを推定する色シェーディング推定部と、
   前記色シェーディング推定部が推定した色シェーディングに基づいて、前記撮像画像に基づく処理を行う処理部と、
   所定の光源毎に最適化した複数の色シェーディング補正係数を記憶する色シェーディング補正係数記憶部と、
   前記撮像画像を複数のブロックに分割するブロック分割部と、
   前記ブロック毎に画素値を統計することでブロック統計値を算出する統計値算出部と、を備え、
   前記色シェーディング推定部は、
   前記ブロック統計値に前記色シェーディング補正係数を乗算した後、ブロック毎にＲ信号、Ｇ信号及びＢ信号に対するＲ信号の比を算出し、前記複数の色シェーディング補正係数の中から、画像中央部から周辺部へ向けて連続するブロック群内の前記Ｒ信号の比の変動が最少となる色シェーディング補正係数を選択することを特徴とする、画像処理装置。
2. 前記色シェーディング推定部は、
   画像中央部から周辺部へ向けて連続するブロック群内の前記Ｒ信号の比の変動に基づいてＲ信号偏移度を算出し、全てのＲ信号偏移度のうち最も小さいものに対応する色シェーディング補正係数を選択することを特徴とする請求項１に記載の画像処理装置。
3. 画像中央部から周辺部へ向けて連続するブロック群内の前記Ｒ信号の比の分散値または標準偏差を用いて前記Ｒ信号偏移度を算出することを特徴とする、請求項２に記載の画像処理装置。
4. 前記処理部は、前記色シェーディング推定部が選択した色シェーディング補正係数に基づいて、前記撮像画像の色シェーディングを補正することを特徴とする、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記処理部は、前記色シェーディング推定部が選択した色シェーディング補正係数に基づいて、光源に近赤外光付近の波長の光線が含まれるかを判定して光源を推定することを特徴とする、請求項１〜３のいずれかに記載の画像処理装置。