JP4752912B2 - 画像の質感を補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ - Google Patents

Description

本発明は、画像処理装置、画像処理プログラム、画像処理方法、および電子カメラに関する。

従来、電子カメラを高感度（例えば撮像素子の出力ゲインを上げる）に設定すると、撮像画像のノイズが増し、ザワザワしたり、色斑のようなノイズが現れる。この種のノイズは、画像に平滑化処理を施すことによって軽減することができる。しかし、過度な平滑化処理を行った場合、被写体の微細な画像構造が失われ、質感の乏しい画像になる。

このような質感低下を補う装置として、下記の特許文献１が知られている。
この特許文献１では、εフィルタなどを用いて画像データから微小振幅成分を抽出し、その微小振幅成分を画像データに加算する。この従来技術により、いわゆる『シワ強調』といった質感補正が可能になる。
特開２００１−１１８０６４号公報（例えば図５）

ところで、特許文献１の従来技術では、ノイズとして除去すべき微小振幅成分まで画像データにそのまま加算する。そのため、被写体の表面がノイズによってザワザワするといった問題点があった。
そこで、本発明は、ノイズ感の悪化を防止しつつ、画像の質感を補正する画像処理技術を提供することを目的とする。

《１》 本発明の画像処理装置は、輝度変動抽出部、色差変動抽出部、変換部、および加算部を備える。
輝度変動抽出部は、画像データの輝度情報から局所的な変動成分（以下、輝度変動分）を抽出する。
色差変動抽出部は、画像データの色差情報から局所的な変動成分（以下、色差変動分）を抽出する。
変換部は、輝度変動分に色差変動分を加重加算して、輝度の質感成分を擬似的に生成する。
加算部は、生成された質感成分を輝度情報に加算する。
上記構成において、変換部は、質感成分に含まれる色成分間のノイズ比率を均等に近づける方向に、加重加算の重み付け比率を調整変更する。
《２》 なお好ましくは、変換部は、画像データを生成する際のホワイトバランス係数を情報取得し、ホワイトバランス係数に相関する色ノイズ比率を均等化するように重み付け比率を算出する。
《３》 また好ましくは、変換部は、画像データの色成分の局所的な信号レベルに基づいて、質感成分に含まれるレベル依存性の色ノイズ比率を均等化するように重み付け比率を局所的に算出する。
《４》 なお好ましくは、変換部は、画像データの色補正係数を情報取得し、色補正係数に相関する色ノイズ比率を均等化するように重み付け比率を算出する。
《５》 また好ましくは、変換部は、画像データの局所的な色信号のレベル差異に基づいて、レベル差異に相関する色ノイズ比率を均等化する前記重み付け比率を算出する。
《６》 なお好ましくは、加算部は、画像データの階調補正係数を情報取得し、階調補正係数に基づいて質感成分の加算係数を変更する。
《７》 本発明の画像処理プログラムは、コンピュータを、上記《１》〜《６》のいずれか１項に記載の画像処理装置として機能させるためのプログラムである。
《８》 本発明の画像処理方法は、輝度情報および色差情報を含む画像データに画像処理を施す方法であって、次のステップを備える。
(1)輝度変動抽出ステップ…画像データの輝度情報から局所的な変動成分（以下、輝度変動分）を抽出する。
(2)色差変動抽出ステップ…画像データの色差情報から局所的な変動成分（以下、色差変動分）を抽出する。
(3)変換ステップ…輝度変動分に色差変動分を加重加算して、輝度の質感成分を擬似的に生成する。
(4)加算ステップ…質感成分を、輝度情報に加算する。
なお、上記の変換ステップは、質感成分に含まれる色成分間のノイズ比率を均等に近づける方向に、加重加算の重み付け比率を調整変更する処理を実施する。
《９》 本発明の電子カメラは、上記《１》〜《６》のいずれか１項に記載の画像処理装置と、被写体を撮像して画像データを生成する撮像部とを備える。この電子カメラでは、画像処理装置が、撮像部で生成された画像データに画像処理を施す。

本発明では、色差情報の局所変動を輝度情報の質感成分に反映させることで、輝度情報の質感表現を豊かにする。さらに、色差変動分の加重比率を調整変更して質感成分に含まれる色ノイズの比率を均等に近づける。その結果、質感成分に特定色成分のノイズが混入することを抑え、質感補正後の輝度情報のノイズ悪化を抑制できる。

画像処理装置５１を示すブロック図である。 画像処理装置５１による質感補正処理を説明する流れ図である。 質感補正の過程を示すモニタ上の中間調画像である。 電子カメラ１１の構成を示すブロック図である。

《第１実施形態》
（構成説明）
図１は、本実施形態の画像処理装置５１を示すブロック図である。
図１において、画像処理装置５１は、変動抽出部５２を備える。この変動抽出部５２は、画像データの輝度情報および色差情報を取り込み、輝度変動分および色差変動分を生成する。変換部５４は、輝度変動分に色差変動分を加重加算することにより、輝度の質感成分を擬似的に生成する。加算部５５は、生成された質感成分を用いて、輝度情報に質感補正を施す。
なお、これらの構成要件を、コンピュータで画像処理プログラムを実行することによってソフトウェア的に実現してもよい。また、上述した構成要件を、演算回路などでハードウェア的に実現してもよい。

（動作説明）
図２は、画像処理装置５１による質感補正処理を説明する流れ図である。以下、図２に示すステップ番号に沿って、質感補正処理を説明する。

ステップＳ１： 変動抽出部５２は、処理対象の画像データを取り込む。図３［Ａ］は、この処理対象の画像データの一例である。ここでの画像データは、画素単位に、輝度情報Ｙおよび色差情報Ｃｂ，Ｃｒからなる信号成分を有する。
この信号成分ＹＣｂＣｒは、例えば、電子カメラで生成される色成分ＲＧＢと、下式のような関係を有する。
Y =+0.2990R+0.5780G+0.1140B
Cb=-0.1687R-0.3313G+0.5000B
Cr=+0.5000R-0.4187G-0.0817B
・・・［１］

ステップＳ２： 変動抽出部５２は、画像データの輝度情報Ｙおよび色差情報Ｃｂ、Ｃｒのそれぞれについて、εフィルタなどの平滑化処理を実施し、平滑化画像を得る。図３［Ｂ］は、この平滑化後の画像の一例を示す図である。

ステップＳ３： 変動抽出部５２は、画像データの輝度情報Ｙと、平滑化後の輝度情報との画素差分を取ることにより、輝度情報の局所的な変動分すなわち輝度変動分δＹを求める。また、変動抽出部５２は、画像データの色差情報Ｃｂ，Ｃｒと、平滑化後の色差情報との画素差分を取ることにより、色差情報の局所的な変動分すなわち色差変動分δＣｂ，δＣｒを求める。

ステップＳ４： 変換部５４は、輝度の質感成分を、下式の加重加算によって、擬似的に生成する。
質感成分Ｄ＝δＹ＋αδＣｂ＋βδＣｒ ・・・［２］
変換部５４は、この加重加算の前準備として、色差変動分の重み付け比率α，βを適正に決定する。画像処理装置５１では、この重み付け比率α，βの決定方法として、ステップＳ５〜Ｓ８の決定方法のいずれかをユーザー選択することができる。

ステップＳ５： 変換部５４は、画像データの付随情報などから、画像データを生成する際のホワイトバランス係数（Ｒ色成分のゲインＷｒ、Ｂ色成分のゲインＷｂ）を情報取得する。
一般に、画像データの光源色温度によって、撮像素子のＲＧＢ色成分の出力レベル比は大きく偏る。このとき、ホワイトバランス係数の大きな色成分ほど、撮像素子の色信号の出力レベルが総じて小さく、Ｓ／Ｎが低い。このような理由から、画像データに含まれる色成分間のノイズ比率δＲ：δＧ：δＢは、ホワイトバランス係数の比率Ｗｒ：１：Ｗｂにほぼ等しいと推定できる。
δＲ：δＧ：δＢ＝Ｗｒ：１：Ｗｂ ・・・［３］
ところで、［２］式に［１］式を代入して、質感成分Ｄを色成分の変動分δＲ，δＧ，δＢで表すと、
質感成分Ｄ＝(-0.1687α+0.5000β+0.2990)δＲ
+(-0.3313α-0.4187β+0.5780)δＧ
+(+0.5000α-0.0817β+0.1140)δＢ
≡ＬδＲ＋ＭδＧ＋ＮδＢ ・・・［４］
となる。
ここで、質感成分Ｄに含まれる特定色成分のノイズの目立ち方を抑えるには、質感成分Ｄに含まれる色成分間の色ノイズ比率を均等に近づけることが好ましい。すなわち、
ＬδＲ：ＭδＧ：ＮδＢ＝１：１：１ ・・・［５］
に近づけるように、重み付け比率α，βを決定すればよい。
上記の［３］式、［４］式、［５］式の条件をまとめ、αβについて連立方程式を立てると、
（0.3313t1-0.1687)α+(0.4187t1+0.5)β＝0.587t1-0.299
（0.3313t2+0.5)α+(0.4187t2-0.813)β＝0.587t2-0.114 ・・・［６］
となる。ただし、上式において、t1=1/Wr，t2=1/Wbである。
例えば、ホワイトバランス係数Ｗｒ＝2.0，Ｗｂ＝1.47の場合、［６］式の解は、α＝0.41，β＝0.01となる。したがって、これらの解α，βそのもの、または、これらの解に近い重み付け比率α，βを使用することにより、質感成分Ｄに含まれる色成分間のノイズ比率を均等に近づけることが可能になる。
このように、変換部５４は、ホワイトバランス係数に基づいて［６］式の解を求めることにより、重み付け比率α，βを決定する。この決定の後、変換部５４は、ステップＳ９に動作を移行する。

ステップＳ６： 変換部５４は、画像データの信号成分ＹＣｂＣｒを画素単位に逆変換し、撮像素子で生じたであろう色成分ＲＧＢの値を復元する。これら色成分ＲＧＢの値を局所的に平滑化することにより、色成分ＲＧＢの局所的な信号レベルを求めることができる。
一般に、撮像素子には、ショットノイズのような、レベル依存性ノイズが発生する。したがって、このレベル依存性ノイズによっても、質感成分Ｄに含まれる色ノイズ比率が変動する。
そこで、変換部５４は、色成分ＲＧＢの局所的な信号レベルＲＧＢに基づいて、色成分間のレベル依存性ノイズの比率δＲ：δＧ：δＢを求める。
例えば、ショットノイズの場合、撮像素子に生じた局所的な色成分ＲＧＢ（発生電荷量）の平方根に比例したノイズ量となるため、
δＲ：δＧ：δＢ＝√Ｒ：√Ｇ：√Ｂ ・・・［７］
となる。
ステップＳ５で用いた［３］式に代えて、この［７］式を使用することにより、αβの連立方程式は、
（0.3313t1-0.1687)α+(0.4187t1+0.5)β＝0.587t1-0.299
（0.3313t2+0.5)α+(0.4187t2-0.813)β＝0.587t2-0.114 ・・・［８］
となる。ただし、上式において、t1=√(G/R)，t2=√(G/B)である。なお、Ｒ，Ｇ，Ｂの値は、ゼロとならないように下限値が制限される。
この［８］式の解α，βは、質感成分に含まれる色成分間のショットノイズ比率を均等化する重み付け比率となる。
このようにして、変換部５４は、画像データの局所域ごとに、重み付け比率α，βを決定する。この決定の後、変換部５４は、ステップＳ９に動作を移行する。

ステップＳ７： 変換部５４は、画像データの付随情報などから、画像データの色補正係数を情報取得する。
例えば、彩度を強調するほど、画像データには彩度強調された特定色成分のノイズが大きく現れる。この場合の各色成分ＲＧＢの色補正係数をＳｒ，Ｓｇ，Ｓｂとすると、画像データに含まれる色成分間のノイズ比率δＲ：δＧ：δＢは、
δＲ：δＧ：δＢ＝Ｓｒ：Ｓｇ：Ｓｂ ・・・［９］
と推定される。
ステップＳ５で用いた［３］式に代えて、この［９］式を使用することにより、αβの連立方程式は、
（0.3313t1-0.1687)α+(0.4187t1+0.5)β＝0.587t1-0.299
（0.3313t2+0.5)α+(0.4187t2-0.813)β＝0.587t2-0.114 ・・・［１０］
となる。ただし、上式において、t1=Sg/Sr，t2=Sg/Sbである。なお、Ｓｒ，Ｓｇ，Ｓｂの値は、ゼロとならないように下限値が制限される。
この［１０］式の解α，βは、質感成分Ｄにおける彩度補正に伴う色ノイズ比率の変化を均等化する重み付け比率となる。
このようにして、変換部５４は、色補正係数に基づいて、重み付け比率α，βを決定する。この決定の後、変換部５４は、ステップＳ９に動作を移行する。

ステップＳ８： 変換部５４は、［１］式の逆変換を用いて、画像データの信号成分ＹＣｂＣｒを画素単位に逆変換し、色成分ＲＧＢの値を得る。これら色成分ＲＧＢの値を局所的に平滑化することにより、色成分ＲＧＢの局所的な信号レベルを求めることができる。この色成分のレベル差異によっても、質感成分Ｄに含まれる色ノイズ比率は変化する。
例えば、画面内の原色に近い青色領域では、色成分Ｂの信号レベルが特に大きくなる。その結果、色成分Ｂには、青色領域の質感情報の殆どが含まれる。
一方、このような青色領域では、色成分Ｒの信号レベルが極端に小さくなる。そのため、この色成分Ｒは、有意な質感情報を殆ど含まず、ノイズが大半を占めることになる。
このように、色成分間のレベル差異に依存して、質感成分Ｄに含まれる色ノイズ比率は変化する。このような色ノイズ比率を均等化するには、信号レベルの小さな色成分ほど質感成分Ｄの寄与率を下げるように、重み付け比率を調整すればよい。
例えば、局所的な色成分の信号レベルをＲＧＢとした場合、レベル差異に相関する色ノイズ比率δＲ：δＧ：δＢは下式で推定できる。
δＲ：δＧ：δＢ＝ＧＢ：ＲＢ：ＲＧ ・・・［１１］
この［１１］式では、Ｒ≪Ｂのレベル差異に対して、δＲ≫δＢのノイズ推定が成される。
ステップＳ５で用いた［３］式に代えて、この［１１］式を使用することにより、αβの連立方程式は、
（0.3313t1-0.1687)α+(0.4187t1+0.5)β＝0.587t1-0.299
（0.3313t2+0.5)α+(0.4187t2-0.813)β＝0.587t2-0.114 ・・・［１２］
となる。ただし、上式において、t1=R/G，t2=B/Gである。なお、Ｒ，Ｇ，Ｂの値は、ゼロとならないように下限値が制限される。
この［１２］式の解α，βは、色成分のレベル差異を考慮した重み付け比率α，βとなる。変換部５４は、画像データの領域ごとに［１２］式の解α，βを算出する。このようにして、局所域ごとの重み付け比率α，βを全て求めた後、変換部５４は、ステップＳ９に動作を移行する。

ステップＳ９： 変換部５４は、ステップＳ５〜Ｓ８のいずれかで決定された重み付け比率α，βに従って、輝度変動分δＹに色差変動分δＣｒ，δＣｂを加重加算し、下式の質感成分Ｄを算出する。
質感成分Ｄ＝δＹ＋αδＣｂ＋βδＣｒ ・・・［２］
ステップＳ１０： 加算部５５は、平滑化後の輝度情報（または画像データの輝度情報Ｙ）に対して、所定の加算係数を乗じた質感成分Ｄを加算する。
なお、輝度情報Ｙの階調変換係数（階調変換カーブの傾き）に比例して、輝度変動分δＹは振幅変調されている。そのため、質感成分Ｄに一定の加算係数を乗じて輝度情報に加算すると、階調変換係数の大きな画像領域において質感やノイズが過多となりやすい。そこで、加算係数を、階調変換係数にほぼ反比例するように、局所的または画素単位に調整することにより、適切な質感成分Ｄの加算が可能になる。

（第１実施形態の効果など）
図３［Ｃ］は、輝度変動分δＹのみを用いて、質感強調を行った画像である（色差変動分の重み付け比率α＝０、β＝０）。この場合、質感強調の度合いを強めるに従って、画像ノイズが顕著に増し、ザワザワした印象の画像となる。

また、図３［Ｄ］は、重み付け比率α、βを等しく設定（α＝β＝０．２７）して、質感強調を行った画像である。この場合、色差変動分による質感強調が加わる分だけ、図３［Ｃ］に比べて、補正後の質感が豊かになる。しかしながら、特定の色ノイズが、質感補正によって輝度情報に混入するため、図３［Ｃ］ほどではないにしても、ザワザワした印象の画像となる。

一方、図３［Ｅ］は、上述した第１実施形態のように、質感成分Ｄに含まれる色成分間の色ノイズ比率を均等に近づけた画像である（α＝０．４５，β＝０．０９）。この場合、質感成分Ｄに含まれるＲ（赤色）のノイズ比率が適度に抑制されるため、服地部分（青色）のザワザワ感を軽減することに成功している。

《第２実施形態》
第２実施形態は、電子カメラの実施形態である。
図４は、電子カメラ１１の構成を示すブロック図である。
図４において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。この撮像素子１３は、タイミングジェネレータ２２ｂの出力パルスによって動作が制御される。
この撮像素子１３で生成される画像は、Ａ／Ｄ変換部１５および信号処理部１６を介して、バッファメモリ１７に一時記憶される。
このバッファメモリ１７は、バス１８に接続される。このバス１８には、画像処理部１９、カードインターフェース２０、マイクロプロセッサ２２、圧縮伸張部２３、および画像表示部２４が接続される。この内、カードインターフェース２０は、着脱自在なメモリカード２１に対するデータの読み書きを行う。また、マイクロプロセッサ２２には、電子カメラ１１のスイッチ群２２ａからユーザー操作の信号が入力される。さらに、画像表示部２４は、電子カメラ１１の背面に設けられたモニタ画面２５に画像を表示する。
このような構成の電子カメラ１１は、マイクロプロセッサ２２および画像処理部１９によって、第１実施形態の質感補正が実行される。
なお、この質感補正は、撮像直後の画像データに対して実施してもよいし、メモリカード２１に記録された画像データに対して後から実施してもよい。

《実施形態の補足事項》
なお、上述した実施形態では、画像処理装置５１または電子カメラ１１を用いて、質感強調を実施する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、インターネット上の画像処理サーバーにおいて、ユーザーから伝送される画像データに対して、質感補正の画像処理方法をサービス提供してもよい。

また、上述した実施形態では、ＹＣｂＣｒ色空間において質感補正を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、Ｌａｂ色空間やＨＳＶ色空間その他の色空間上において、同様の質感補正を実施してもよい。

なお、上述した実施形態では、画面全体に対して質感強調を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、画面の一部（主要被写体、人物や肌色領域、陰影部、トリミング範囲、人物や肌色領域を除いた背景部分など）に限って、質感強調を実施してもよい。この場合、画面全体におけるノイズ増加の悪影響を避けつつ、画面内の特定箇所の質感を効果的に強調することが可能になる。

また、上述した実施形態では、色差情報を平滑化して出力し、質感成分Ｄは平滑化した輝度情報に加えて出力することが好ましい。しかしながら、実施形態はこれに限定されるものではない。例えば、元の色差情報から色差変動分を引くことで、平滑化された色差情報を求めてもよい。また例えば、元の輝度情報に質感成分を加算した後、輝度変動分を引くことによっても、質感補正された輝度情報を得ることができる。

なお、上述した実施形態では、ステップＳ５〜Ｓ８のいずれかを選択的に実施して、重み付け比率α，βを決定している。しかしながら、実施形態はこれに限定されるものではない。例えば、ステップＳ５〜Ｓ８のいくつかを複数実施することで、複数種類の重み付け比率を決定してもよい。この場合、複数種類の重み付け比率の平均または加重平均を取ることで、複数通りのノイズ均等化を考慮した重み付け比率α，βを求めることができる。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像の質感補正などに利用可能な技術である。

Claims (9)

1. 画像データの輝度情報から局所的な変動成分（以下、輝度変動分）を抽出する輝度変動抽出部と、
   前記画像データの色差情報から局所的な変動成分（以下、色差変動分）を抽出する色差変動抽出部と、
   前記輝度変動分に前記色差変動分を加重加算して、輝度の質感成分を擬似的に生成する変換部と、
   前記質感成分を、前記輝度情報に加算する加算部とを備え、
   前記変換部は、前記質感成分に含まれる色成分間の色ノイズ比率を均等に近づける方向に、前記加重加算の重み付け比率を調整変更する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記変換部は、
   前記画像データを生成する際のホワイトバランス係数を情報取得し、前記ホワイトバランス係数に相関する前記色ノイズ比率を均等化する前記重み付け比率を算出する
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記変換部は、
   前記画像データの色成分の局所的な信号レベルに基づいて、前記質感成分に含まれるレベル依存性の色ノイズ比率を均等化する重み付け比率を局所的に算出する
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記変換部は、
   前記画像データの色補正係数を情報取得し、前記色補正係数に相関する前記色ノイズ比率を均等化する前記重み付け比率を算出する
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記変換部は、
   前記画像データの局所的な色成分のレベル差異に基づいて、前記レベル差異に相関する前記色ノイズ比率を均等化する前記重み付け比率を算出する
   ことを特徴とする画像処理装置。
6. 請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
   前記加算部は、
   前記画像データの階調補正係数を情報取得し、前記階調補正係数に基づいて、前記質感成分の加算係数を変更する
   ことを特徴とする画像処理装置。
7. コンピュータを、請求項１ないし請求項６のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。
8. 輝度情報および色差情報を含む画像データに画像処理を施す画像処理方法であって、
   前記画像データの前記輝度情報から局所的な変動成分（以下、輝度変動分）を抽出する輝度変動抽出ステップと、
   前記画像データの前記色差情報から局所的な変動成分（以下、色差変動分）を抽出する色差変動抽出ステップと、
   前記輝度変動分に前記色差変動分を加重加算して、輝度の質感成分を擬似的に生成する変換ステップと、
   前記質感成分を、前記輝度情報に加算する加算ステップとを備え、
   前記変換ステップは、前記質感成分に含まれる前記色成分間のノイズ比率を均等に近づける方向に、前記加重加算の重み付け比率を調整変更する
   ことを特徴とする画像処理方法。
9. 請求項１ないし請求項６のいずれか１項に記載の画像処理装置と、
   被写体を撮像して画像データを生成する撮像部とを備え、
   前記画像処理装置は、前記撮像部で生成された画像データに画像処理を施す
   ことを特徴とする電子カメラ。