JP2006324789A - 映像信号処理方法および映像信号処理装置 - Google Patents

Abstract

【課題】リニアマトリクス回路から出力される原色信号の信号値が単調増加または略一定になるようにする。
【解決手段】リニアマトリクス回路１２の演算処理には、例えば３×３のマトリクスが用いられる。マトリクスの非対角成分は負の値又は対角成分のマトリクス係数に対して小さい値とされる。非対角成分のマトリクス係数にゲインｋが乗算される。ゲインｋの値は、リニアマトリクス回路１２に入力される複数の色信号のうちの何れかの色信号が飽和するまでに０とされる。ゲインｋの値が０とされることでマトリクスの非対角成分が０とされ、マトリクス演算処理により得られる、リニアマトリクス回路１２の出力である原色信号の信号値が単調増加または略一定となる。
【選択図】図３

Description

この発明は、例えば、映像信号処理装置に備えられるリニアマトリクス回路のマトリクス係数を適応的に制御する映像信号処理方法および映像信号処理装置に関する。

近年、撮像素子の画素数増加は目覚しく、撮像素子の解像度は人間の眼で判定できないほどの滑らかな粒状性を持つレベルにまで達している。この状況下で画質に対する要求は、色再現性、ノイズの低減、ダイナミックレンジの拡大へと移行しつつある。この発明は、その中でも特に、色再現性を向上させる手段、装置を提供するものである。

被写体の色を忠実に再現するために、従来からリニアマトリクス回路を用いたリニアマトリクス処理と称される手法が知られている。リニアマトリクス処理では、輝度にリニアな撮像素子の出力信号をマトリクス変換することで原色ＲＧＢ信号値が生成される。

また撮像装置では、リニアマトリクス処理で生成される原色ＲＧＢ信号値を使用して撮像装置の光学系に備えられる絞りの制御が行われる。リニアマトリクス処理により作成される原色ＲＧＢ信号値を検波して明るさを示す信号値を得、この信号値に応じて撮像装置の絞りの開閉が制御され、撮像素子へ入射する光量の調節が行われる。

図６は、３色のＲＧＢ（赤、緑、青）カラーフィルタを有する撮像素子の分光特性の一例を示す。また、図７は、人間の視感度特性に合うＲＧＢ信号の分光特性（等色関数）を示す。図６および図７における横軸は光の波長を示し、縦軸は相対感度を示す。

図７のＲ信号の分光特性に着目すると波長５００ｎｍ付近では、Ｒ信号の相対感度は負となっている。対して、撮像素子のＲ信号の分光特性は図６からも明らかな通り負の領域が存在しない。すなわち、撮像素子の分光感度を負にすることはできず、撮像素子によって理想的な分光特性を実現することは物理的に不可能である。従って、理想的な分光特性としては、正の分光感度を持つ分光特性が使用される。このように、撮像素子の分光特性と理想的な分光特性が異なるときに、リニアマトリクス処理により分光補正が行われる。

式（１）はリニアマトリクス回路による処理の一例である。リニアマトリクス回路による処理では、例えば、３×３（行×列）のマトリクスが用いられて１次の演算処理が行われる。式（１）ではリニアマトリクス回路の入力をＲ_in、Ｇ_in、Ｂ_inと示し、出力をＲ_out、Ｇ_out、Ｂ_outと示す。

式（１）による演算後もホワイトバランスを保つ必要があるため、マトリクスの各係数（以下、マトリクス係数と称する）は以下の式（２）〜式（４）の関係を満たすように設定される。
ａ＋ｂ＋ｃ＝１・・・（２）
ｄ＋ｅ＋ｆ＝１・・・（３）
ｇ＋ｈ＋ｉ＝１・・・（４）

マトリクス係数には、実験から得られた値や経験から判断した値が固定的に割り当てられる。一般に、３×３のマトリクスでは、対角方向のマトリクス係数（以下、これらを総称して「対角成分」と称する）であるマトリクス係数ａ、マトリクス係数ｅおよびマトリクス係数ｉは正の値とされる。また、対角成分以外のマトリクス係数（以下、これらを総称して「非対角成分」と称する）であるマトリクス係数ｂ、マトリクス係数ｃ、マトリクス係数ｄ、マトリクス係数ｆ、マトリクス係数ｇ、マトリクス係数ｈは負の値、又は対角成分のマトリクス係数の値と比べて小さい値とされることが多い。

式（５）は、具体的なマトリクス係数が割り当てられたマトリクス回路による処理の一例を示す。対角成分のマトリクス係数には正の値（例えば、１．０６や１．２０）が設定され、非対角成分のマトリクス係数には負の値（例えば、−０．０９や−０．１７）、又は対角成分のマトリクス係数に比べて小さい値（例えば、０．０３）が設定される。

式（５）に例示したマトリクス係数を用いて演算を行うと、以下の式（６）〜式（８）が得られる。
Ｒ_out＝１．０６Ｒ_in−０．０９Ｇ_in＋０．０３Ｂ_in・・・（６）
Ｇ_out＝−０．０３Ｒ_in＋１．２０Ｇ_in−０．１７Ｂ_in・・・（７）
Ｂ_out＝−０．０１Ｒ_in−０．０４Ｇ_in＋１．０５Ｂ_in・・・（８）

また、近年、マトリクス係数を固定値とせずに撮像条件に応じて適応的にマトリクス係数を決定することが提案されており、下記特許文献１にその詳細が記載されている。

特開２００４−２０８０７９号公報

ところで、撮像素子に対して入射する光の明るさが一定以上を超えると、撮像素子が飽和する。カラーフィルタを備える撮像素子の場合では、波長に対して画素の感度が異なることに起因してＲＧＢの色信号が飽和する入射光量の値が相違する。ＲＧＢの何れの色信号が最も早く飽和するかは光源と被写体の特質によって異なるが、例えば、太陽光などの一般的な光源で白い被写体を撮影した場合は、Ｇ信号が最も早く飽和する。また、赤い被写体を撮影すると、Ｒ信号が最も早く飽和する。

例えば、Ｇ信号が最も早く飽和すると仮定して説明する。入射する光の明るさが増加するにつれリニアマトリクス回路に入力される色信号Ｇ_inの信号値は増加し、リニアマトリクス回路の出力である色信号Ｇ_outの信号値は式（７）によって単調増加する。しかしながら、色信号Ｇ_inが飽和するタイミング（以下、適宜、飽和点と称する）を超えると色信号Ｇ_inの信号値は変化しなくなるが、入射する光の明るさが増加することから、飽和点に達していない色信号Ｒ_in、色信号Ｂ_inの信号値は増加する。色信号Ｒ_in、色信号Ｂ_inの係数は負の値であるから、式（７）により得られる色信号Ｇ_outの信号値は、色信号Ｇ_inの飽和点以降に減少に転じる。

このように、本来、光の明るさの増加によって単調増加するはずの色信号Ｇ_outの信号値が飽和点を境として減少してしまうため、式（７）により得られる色信号Ｇ_outの信号値が不適切なものとなり、実際に撮影している被写体の色を再現していないばかりか、被写体の色と異なる色を再現してしまうおそれがあった。

また、撮像装置ではリニアマトリクス回路の出力を検波して明るさを示す信号値を得、この信号値に基づいて絞りの開閉を制御し、撮像素子へ入射する光量を制御することが行われる。例えば、明るさを示す信号値が大きければ入射光量が多いことであるから絞りの口径を小さくして撮像素子への入射光量を少なくし、反対に信号値が小さければ入射光量が少ないことから絞りの口径を大きくして撮像素子への入射光量を多くする。明るさを示す信号値である輝度レベルＹは、例えば、以下の式（９）により作成される。
Ｙ＝０．３Ｒ_out＋０．１Ｂ_out＋０．６Ｇ_out・・・（９）

上述したように、撮像素子に入射する光の明るさが増加することで色信号Ｇ_inが飽和し、単調増加するはずの色信号Ｇ_outの信号値が減少してしまうおそれがある。色信号Ｇ_outに対しては、式（９）において最も大きい係数が乗じられていることから、色信号Ｇ_outの信号値が減少することで式（９）によって得られる信号値Ｙが減少するおそれがある。言い換えれば、撮像素子に入射する光の明るさが増加しているにも関わらず、リニアマトリクス回路の出力から生成される輝度レベルＹが減少してしまうおそれがある。

輝度レベルＹが減少することから、絞りの口径が大きくされ入射光量を多くする制御がされる。このように、実際には撮像素子に入射する光の明るさが増加しているにも関わらず、絞りの口径が大きくされる制御がされてしまい、結果として撮像素子へ入射する光量の制御を適切に行うことができなくなるという問題点があった。

したがって、この発明の目的は、マトリクス係数を制御することで被写体の色をより忠実に再現することができる映像信号処理方法および映像信号処理装置を提供することである。

上述した課題を解決するために、この発明の第１の態様は、入力される複数の色信号に対してマトリクス演算を施すことで原色信号を生成するマトリクス演算ステップと、ゲインｋ（但し、０≦ｋ≦１）を生成するゲイン生成ステップと、マトリクス演算ステップにおいて用いられる所定のマトリクス係数に、ゲインｋを乗算する演算ステップとを有し、ゲイン生成ステップは、入力される複数の色信号のうちの何れかの色信号が飽和するまでに０とされるゲインｋを生成する映像信号処理方法である。

この発明の第２の態様は、入力される複数の色信号に対してマトリクス演算を施すことで原色信号を生成するリニアマトリクス部と、ゲインｋ（但し、０≦ｋ≦１）を生成し、リニアマトリクス部の所定のマトリクス係数にゲインｋを乗算する制御部とを備え、制御部は、入力される複数の色信号のうちの何れかの色信号が飽和するまでに０とされるゲインｋを生成する映像信号処理装置である。

この発明によれば、被写体の色をより忠実に再現することができる。また、この発明によれば、撮像素子へ入射する光量を適切に制御することができる。

以下、図面を参照しながらこの発明の一実施形態について説明する。一実施形態では、この発明を撮像装置に適用した例を用いて説明する。

図１は、この発明の一実施形態における撮像装置１の主要な構成の一例を示す。撮像装置１の光学系は、レンズ２、絞り３、図示しない光学ＬＰＦ（Low Pass Filter）や赤外線除去フィルタを含む構成とされる。また、撮像装置１は、撮像素子４、フロントエンド５、カメラ信号処理部６、制御部７、駆動回路８を含む構成とされる。

レンズ２により集光された光は、絞り３に入射される。絞り３は、レンズ２により集光された光の通過量を調節し、撮像素子４に取り込まれる光量を調節する。撮像素子４は例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ（Complementary Metal Oxide Semiconductor）により構成される。撮像素子４の前面には、例えば、赤の光のみを透過するＲフィルタ、緑の光のみを透過するＧフィルタ、青の光のみを透過するＢフィルタが市松状に配置された３色カラーフィルタが設けられる。

撮像素子４では、３色カラーフィルタを介して入射された光が、光電変換により電気信号へと変換され３種類の色信号（Ｒ信号、Ｇ信号、Ｂ信号）が生成される。撮像素子４で生成された色信号はフロントエンド５に供給される。

フロントエンド５では、撮像素子４から供給される色信号に対してノイズ成分を除去するＣＤＳ(Correlated Double Sampling)処理（相関二重サンプリング処理）、信号レベルを調節するゲインコントロール処理、ディジタル信号変換処理等が行われ、画像データが得られる。

フロントエンド５から出力される画像データが、カメラ信号処理部６に供給される。カメラ信号処理部６は、例えば、光学・センサー補正部１１、リニアマトリクス回路１２、ホワイトバランス処理部（ＷＢ）１３、ガンマ（γ）補正部１４、輝度信号（Ｙ）処理部１５、色差信号処理部１６を含む構成とされる。また、カメラ信号処理部６は、リニアマトリクス回路１２の入力を検波して演算処理を行う演算部１７およびリニアマトリクス回路１２の出力を検波して演算処理を行う演算部１８を含む構成とされる。

カメラ信号処理部６では、フロントエンド５から供給される画像データを構成する色信号に対して種々のディジタル信号処理が施される。光学・センサー補正部１１では、光学系で発生する明るさのむらを補正するシェージング補正、黒レベルを補正するディジタルクランプ処理、ひずみ補正、欠陥画素補正等が行われる。リニアマトリクス回路１２ではマトリクス演算処理が行われ、ＲＧＢの原色信号が生成される。リニアマトリクス回路１２の処理については後述する。

ホワイトバランス処理部１３では、ＲＧＢのバランスを調整して正しい色合いになるように補正する処理がされ、ガンマ補正部１４では、例えば、モニタなどの表示装置の発光特性の非線形性を補正する処理が行われる。ガンマ補正部１４から出力される色信号は、輝度信号（Ｙ）処理部１５および色差信号（Ｃ）処理部１６に供給される。Ｙ信号処理部１５では、ＲＧＢの色信号が所定の合成比で合成されて輝度信号が生成され、Ｃ信号処理部１６では色差信号Ｃｒ、色差信号Ｃｂが生成され、それぞれカメラ信号処理部６から出力される。

上述したような、撮像装置１の各部は、例えばマイクロコンピュータにより実現される制御部７により制御される。例えば、制御部７は、駆動回路８に対して制御信号Ｓ１を送出する。制御信号Ｓ１が供給された駆動回路８は、制御信号Ｓ１の内容に応じてレンズ２の位置や絞り３の開閉を制御し、撮像素子へ取り込まれる光量を調節する。また、制御部７は、撮像素子４に対して電子シャッターのタイミングを制御する制御信号Ｓ２、フロントエンド５に対してゲインをコントロールするゲイン信号Ｓ３、カメラ信号処理部６の各部を制御する制御信号Ｓ４を送出する。

また、制御部７に対しては、演算部１７から検波情報Ｓ５が供給される。検波情報Ｓ５は、リニアマトリクス回路１２に入力される色信号（以下、それぞれの色信号を色信号Ｒ_in、色信号Ｇ_in、色信号Ｂ_inと称する）を検波して得られる情報であり、色信号Ｒ_in、色信号Ｇ_in、色信号Ｂ_inのそれぞれの信号値を示す情報と、色信号Ｒ_in、色信号Ｇ_in、色信号Ｂ_inから得られる明るさを示す信号値（以下、この信号値を輝度レベルＹ_inと、適宜称する）を示す情報が含まれる。輝度レベルＹ_inは、例えば、以下の式（１０）を使用した演算により得られる。
Ｙ_in＝０．３Ｒ_in＋０．１Ｂ_in＋０．６Ｇ_in・・・（１０）

また、制御部７に対しては、演算部１８から検波情報Ｓ７が供給される。検波情報Ｓ７は、リニアマトリクス回路１２から出力される色信号（以下、それぞれの色信号を色信号Ｒ_out、色信号Ｇ_out、色信号Ｂ_outと、適宜称する）を検波して得られる情報であり、色信号Ｒ_out、色信号Ｇ_out、色信号Ｂ_outから得られる明るさを示す信号値（以下、この信号値を輝度レベルＹ_outと称する）を示す情報が含まれる。輝度レベルＹ_outは、例えば、以下の式（１１）を使用した演算により得られる。
Ｙ_out＝０．３Ｒ_out＋０．１Ｂ_out＋０．６Ｇ_out・・・（１１）

ここで、リニアマトリクス回路１２で行われる処理および制御部７によるリニアマトリクス回路１２の制御について説明する。以下に説明する処理は、ハードウェアによる実現に限らず、ソフトウェアによる処理によっても実現可能である。この発明では、リニアマトリクス回路１２による演算処理で用いられるマトリクスのマトリクス係数は固定値とされない。制御部７によって生成されたゲインｋが所定のマトリクス係数に乗算される。さらにゲインｋの値が適応的に設定されることで、マトリクス係数が可変とされる。

式（１２）は、この発明の一実施形態におけるリニアマトリクス回路１２による処理の一例を示す。

式（１２）に示すように、マトリクスの非対角成分のマトリクス係数に対してゲインｋが乗算される。このゲインｋの値は、０≦ｋ≦１とされる。ゲインｋの値は、リニアマトリクス回路１２に入力される色信号Ｒ_in、色信号Ｇ_in、色信号Ｂ_inのうちの何れかの色信号が飽和する飽和点までに０に制御される。この制御により、撮像素子への入射する光量が増加し、色信号Ｒ_in、色信号Ｇ_in、色信号Ｂ_inのいずれかの色信号が飽和してもリニアマトリクス回路１２から出力される色信号Ｒ_out、色信号Ｇ_out、色信号Ｂ_outは単調増加または略一定を維持できる。

リニアマトリクス回路１２から出力される色信号Ｒ_out、色信号Ｇ_out、色信号Ｂ_outが単調増加または略一定であることから、演算部１８で検波される輝度レベルＹ_outも単調増加する。従って、制御部７に対して供給される検波情報Ｓ７の輝度レベルＹ_outは単調増加し、制御部７は絞り３の口径を小さくする制御信号Ｓ１を送出する。言い換えれば、絞り３の開閉の適切な制御を行うことができ、撮像素子４へ取り込まれる光量を適切に制御することができる。

より詳細に説明する。はじめに、制御部７によって生成されるゲインｋについて説明する。ゲインｋは、例えば、以下の式（１３）により求めることができる。
ｋ＝１−｛ｍａｘ（Ｒ，Ｇ，Ｂ）−ｔｈｒｅｓｈｏｌｄ｝＊Ｇａｉｎ・・・（１３）

図２は式（１３）を用いたゲインｋを求めるための演算の一例を示す。図２に示す演算は、例えば、制御部７によって行われる。はじめに最大値演算処理２１において、演算部１７から制御部７に供給される検波情報Ｓ５に含まれる色信号Ｒ_in、色信号Ｇ_in、色信号Ｂ_inの信号値のうち、最大の信号値が選択される。選択された最大の信号値をｍａｘ（Ｒ，Ｇ，Ｂ）とする。

続いて、ｍａｘ（Ｒ，Ｇ，Ｂ）からパラメータしきい値を減算する減算処理２２が行われ、ｍａｘ（Ｒ，Ｇ，Ｂ）とパラメータしきい値の差分（diff）が求まる。パラメータしきい値の値は、検波情報Ｓ５に含まれる輝度レベルＹ_inに応じて適切な値に設定される。式（１４）は、減算処理２２で行われる処理を示す。なお、以下の式（１４）ではパラメータしきい値をthresholdと示す。
diff＝ｍａｘ（Ｒ，Ｇ，Ｂ）−threshold・・・（１４）

続いて、求められた差分（diff）に対して０クリップ（clip）演算処理２３が行われる。０クリップ演算処理２３では、差分（diff）が０より大きければ、０クリップ演算結果（diff_cp0）をそのままとし、差分（diff）が０以下であれば、０クリップ演算結果（以下、diff_cp0とする）を０とする。式（１５）および式（１６）は、０クリップ（clip）演算処理２３で行われる処理を示す。
If diff＞0, then diff_cp0=diff;・・・（１５）
If diff≦0, then diff_cp0=0;・・・（１６）

続いて、０クリップ演算結果（diff_cp0）に対してパラメータゲインを乗算する乗算処理２４が行われる。パラメータゲインの値は０から１までの間の値とされ、検波情報Ｓ５に含まれる輝度レベルＹ_inに応じて適切な値に設定される。式（１７）は、乗算処理２４で行われる処理を示す。以下の式（１７）では、パラメータゲインをｇａｉｎと示し、乗算処理２４の処理結果を（diff_gn）と示す。
diff_gn= diff_cp0*gain・・・（１７）

続いて、乗算処理２４の結果（diff_gn）に対して、１クリップ（clip）演算処理２５が行われる。１クリップ演算処理２５では、（diff_gn）が１より大きければ、１クリップ演算結果（以下、diff_cp1と表記する）を１とし、（diff_gn）が１以下であれば、（diff_cp1）をそのままとする。式（１８）および式（１９）は、１クリップ（clip）演算処理で行われる処理を示す。
If diff_gn＞0, then diff_cp1=1;・・・（１８）
If diff_gn≦0, then diff_cp1= diff_gn;・・・（１９）

続いて、１クリップ演算処理２５の結果（diff_cp1）に対して減算処理２６が行われる。減算処理２６では常数１から（diff_cp1）を引く演算が行われる。式（２０）は、減算処理２６を示す。
ｋ＝１−diff_cp1・・・（２０）

上述した演算処理によりゲインｋの値が算出される。

図３Ａは、検波情報Ｓ５に含まれる輝度レベルＹ_in（横軸）に対するｍａｘ（Ｒ，Ｇ，Ｂ）の値の遷移を示す。また図３Ｂは、検波情報Ｓ５に含まれる輝度レベルＹ_in（横軸）に対するゲインｋの値の遷移を示す。図３Ａと図３Ｂは、各ポイントにおいて対応付けがされている。

図３Ａおよび図３Ｂにおける横軸のＰ０ポイントは、リニアマトリクス処理部に入力される色信号Ｒ_in、色信号Ｇ_in、色信号Ｂ_inのうちの何れかの色信号が飽和する飽和点を示す。どの色信号が飽和するかは、光源、被写体の特質によって決まる。Ｐ１ポイントは、次に飽和する色信号の飽和点を示し、Ｐ２ポイントは、最後に飽和する色信号の飽和点を示す。

例えば、図３Ａに示すようにパラメータしきい値をＴｈ１に設定するとゲインｋの値は、図３ＢにおいてＴｈ１に対応するポイントであるＡ１ポイントまでは１を維持する。Ａ１ポイント以降、さらに輝度レベルＹ_inが増加するとゲインｋの値は１より小さい値へと変化し、Ｐ０ポイントにおいてゲインｋの値は０とされる。Ａ１ポイント（ゲインｋ＝１）からＰ０ポイント（ゲインｋ＝０）までのゲインｋの変化の傾きは、ゲインｋを求める演算処理の乗算処理２４で使用されるパラメータゲインの値によって調整可能とされる。

また、図３Ａに示すようにパラメータしきい値の値をＴｈ２に設定するとゲインｋの値は、図３ＢでＴｈ２に対応するポイントであるＡ２ポイントまでは１とされる。Ａ２ポイント以降、輝度レベルＹ_inが増加すると、ゲインｋの値は１より小さい値へと変化し、Ｐ０ポイントにおいてゲインｋの値は０とされる。もし、パラメータしきい値の値が飽和値と同じ値に設定されるとゲインｋはＡｍａｘポイントの位置からＰ０ポイントにかけて急峻に変化する。このようにパラメータしきい値の値を変えることで、ゲインｋの値が１から変化する位置を設定することができる。但し、Ｐ０ポイントまでにゲインｋの値は０とされる。

再び式（１２）を参照して説明する。ゲインｋが飽和点であるＰ０ポイントまでに０とされることで、Ｐ０ポイント以降の式（１２）の非対角成分のマトリクス係数は全て０とされる。従って、以下の式（２１）〜式（２３）が成立する。
Ｒ_out＝ａＲ_in・・・（２１）
Ｇ_out＝ｅＧ_in・・・（２２）
Ｂ_out＝ｉＢ_in・・・（２３）

ここで、マトリクス係数ａ、マトリクス係数ｅ、マトリクス係数ｉは一般に１以上の正の値であるから、Ｐ０ポイントで飽和した色信号の出力は略一定となるが、他の色信号の出力に関しては、飽和するまでは単調増加を維持することになる。すなわち、ある色信号が飽和しても、その色信号のリニアマトリクス回路１２からの出力は従来のように減少することはない。

さらに、演算部１８では色信号Ｒ_out、色信号Ｇ_out、色信号Ｂ_outを検波して式（１１）に基づく演算により輝度レベルＹ_outを得るが、リニアマトリクス回路１２からの出力が減少しないことから輝度レベルＹ_outが減少することもない。このため、制御部７は輝度レベルＹ_outに基づく絞り３の制御を適切に行えることができ、結果として撮像素子４へ取り込まれる光量を適切に制御できる。

ゲインｋを決定する手法の他の例について説明する。この他の例は、Ｐ０ポイントにゲインｋを０とせずにゲインｋがとり得る値の条件を示す。

リニアマトリクス回路１２で行われるマトリクス演算の式は、上述した式（１２）により表される。また、リニアマトリクス回路１２から出力される色信号を検波して得られる輝度レベルＹ_outは上述した式（１１）により表される。

ここで、式（１２）の演算結果を式（１１）に代入することで以下の式（２４）が得られる。
Ｙ_out＝（０．３ａ＋０．６ｋｄ＋０．１ｋｇ）Ｒ_in＋（０．３ｋｂ＋０．６ｅ＋０．１ｋｈ）Ｇ_in＋（０．３ｋｃ＋０．６ｋｆ＋０．１ｉ）Ｂ_in・・・（２４）

ここで、ある色信号、ここでは色信号Ｇ_inが最も早く飽和したとすると、色信号Ｇ_inの飽和点以降のＹ_outは、色信号Ｒ_inと色信号Ｂ_inの信号値で決まる関数となる。

色信号Ｒ_inと色信号Ｂ_inの信号値は、飽和するまではレンズから入射する光の明るさのレベルを示す輝度レベルＹ_inの増加につれて増加すると考えられることから、以下の式（２５）および式（２６）が成立する。
Ｒ_in＝ｌ１＊Ｙ_in・・・（２５）
Ｂ_in＝ｌ２＊Ｙ_in・・・（２６）

式（２５）のｌ１は、輝度レベルＹ_inの増加に伴って増加する色信号Ｒ_inの増加直線の傾きを示す。同様に、式（２６）のｌ２は、輝度レベルＹ_inの増加に伴って増加する色信号Ｂ_inの増加直線の傾きを示す。

式（２５）および式（２６）を式（２４）に代入し、また色信号Ｇ_inが飽和していると仮定していることから色信号Ｇ_inを含む項を常数Ｃとすると、以下の式（２７）が得られる。
Ｙ_out＝（０．３ａ＋０．６ｋｄ＋０．１ｋｇ）ｌ１＊Ｙ_in＋（０．３ｋｃ＋０．６ｋｆ＋０．１ｉ）ｌ２＊Ｙ_in＋Ｃ・・・（２７）

式（２７）よりＹ_outを常に増加させるには、以下の式（２８）で示す条件を満たす必要がある。
（０．３ａ＋０．６ｋｄ＋０．１ｋｇ）ｌ１＋（０．３ｋｃ＋０．６ｋｆ＋０．１ｉ）ｌ２≧０・・・（２８）

なお、式（２８）におけるｌ１およびｌ２の値は、光源、被写体によって異なるため一意に定まるものでない。しかしながら、撮像装置１に入力される入力光の光源と、被写体の反射率が既知であれば式（２８）に示す条件を満たすようにゲインｋの値を決定することができる。

この発明は、この発明の要旨を逸脱しない範囲内でさまざまな変形や応用が可能であり、上述した一実施形態に限定されることはない。例えば、上述した一実施形態のおける撮像装置１のマトリクス回路１２には３種類の色信号が供給されるとして説明したが、４種類以上の色信号が供給される場合でもこの発明を適用することができる。

図４は、撮像素子４に備えられるカラーフィルタの他の例であり、４色のカラーフィルタ３１の例を示す。カラーフィルタ３１は、赤の光のみを透過するＲフィルタ、青の光のみを透過するＢフィルタ、第1の波長帯域の緑色の光のみを透過するＧ１フィルタ、およびＧ１フィルタと相関の高い第２の波長帯域の緑色の光のみを透過するＧ２フィルタを最小単位として構成される。

図５は、カラーフィルタ３１の分光感度特性の一例を示す。図５において、曲線Ｌ６１はＲの分光感度を表し、曲線Ｌ６２はＧ１の分光感度を表している。また、曲線Ｌ６３はＧ２の分光感度を表し、曲線Ｌ６４はＢの分光感度を示している。図５に示されるように、Ｇ２の分光感度曲線Ｌ６２は、Ｇ１の分光感度曲線Ｌ６２に対して相関が高い。また、Ｒの分光感度、Ｇ（Ｇ１、Ｇ２）の分光感度およびＢの分光感度は、それぞれ適度な範囲で重複している。

４色カラーフィルタが備えられる撮像素子４からフロントエンド５に対して、４色の色信号（色信号Ｒ、色信号Ｇ１、色信号Ｇ２、色信号Ｂ）が供給される。フロントエンド５や光学・センサー補正部１１で所定の信号処理を受けた色信号はリニアマトリクス回路１２に入力される。

４色の色信号が供給されるリニアマトリクス回路１２による演算処理では、３×４のマトリクスが用いられる。以下の式（２９）は、この発明を適用した３×４のマトリクスを示す。３×４のマトリクスでは、マトリクス係数ｍ₀、マトリクス係数ｍ₅、マトリクス係数ｍ₆、マトリクス係数ｍ₁₁が対角成分であり、マトリクス係数ｍ₁、マトリクス係数ｍ₂、マトリクス係数ｍ₃、マトリクス係数ｍ₄、マトリクス係数ｍ₇、マトリクス係数ｍ₈、マトリクス係数ｍ₉、マトリクス係数ｍ₁₀が非対角成分である。非対角成分のマトリクス係数にゲインｋが乗算される。なお、式（２９）では、リニアマトリクス回路１２に入力される色信号をＲ、Ｇ１、Ｇ２、Ｂと示し、マトリクス演算後の出力をＲ’、Ｇ’、Ｂ’と示す。

式（２９）に示すように、ゲインｋは各色の主成分にかかる対角成分のマトリクス係数以外のマトリクス係数に乗算される。例えば、リニアマトリクス回路１２から出力される色信号Ｒ’の信号値は、ゲインｋが式（２９）の所定のマトリクス係数に乗算されていない場合は、以下の式（３０）で求められる。
Ｒ’＝ｍ₀Ｒ＋ｍ₁Ｇ１＋ｍ₂Ｇ２＋ｍ₃Ｂ・・・（３０）

式（３０）において出力の色信号Ｒ’の主成分は右辺のＲである。ゲインｋは、色信号Ｒにかかる対角成分のマトリクス係数ｍ₀以外のマトリクス係数である、マトリクス係数ｍ₁、マトリクス係数ｍ₂、マトリクス係数ｍ₃に乗算される。

出力の色信号Ｇ’の主成分は色信号Ｇ１および色信号Ｇ２である。従って、ゲインｋは、色信号Ｇ１および色信号Ｇ２にかかる対角成分のマトリクス係数ｍ₅およびマトリクス係数ｍ₆以外のマトリクス係数である、マトリクス係数ｍ₄およびマトリクス係数ｍ₇に乗算される。

出力の色信号Ｂ’の主成分は色信号Ｂである。従って、ゲインｋは、色信号Ｂにかかる対角成分のマトリクス係数ｍ₁₁以外のマトリクス係数である、マトリクス係数ｍ₈、マトリクス係数ｍ₉、マトリクス係数ｍ₁₀に乗算される。

式（２９）のゲインｋは、図２を用いて説明した演算と同様の演算により算出することができる。すなわち、最大値演算処理２１で色信号Ｒ、色信号Ｇ１、色信号Ｇ２、色信号Ｂから最大の信号値を選択して、減算処理２２、０クリップ処理２３、乗算処理２４、１クリップ演算処理２５、減算処理２６を行うことでゲインｋを算出することができる。

またゲインｋの値は、上述した一実施形態と同様に、色信号Ｒ、色信号Ｇ１、色信号Ｇ２、色信号Ｂで最も早く飽和する色信号が飽和するまでに０とされる。このゲインｋの値の制御により、入力される４種類の色信号の何れかの色信号が飽和した後も、リニアマトリクス回路１２から出力される色信号Ｒ’、色信号Ｇ’、色信号Ｂ’は単調増加または略一定を維持することができる。

この発明の一実施形態における撮像装置の構成の一例を示すブロック図である。 この発明の一実施形態におけるゲインｋの算出方法の一例を示す略線図である。 輝度レベルに対するゲインｋの遷移を示す略線図である。 ４色カラーフィルタの例を示す略線図である。 ４色カラーフィルタの分光感度特性の例を示す略線図である。 撮像素子の分光感度の一例を示す略線図である。 人間の視感度特性の一例を示す略線図である。

符号の説明

１ 撮像装置
３ 絞り
４ 撮像素子
６ カメラ信号処理部
７ 制御部
１７、１８ 演算部

Claims (4)

1. 入力される複数の色信号に対してマトリクス演算を施すことで原色信号を生成するマトリクス演算ステップと、
   ゲインｋ（但し、０≦ｋ≦１）を生成するゲイン生成ステップと、
   上記マトリクス演算ステップにおいて用いられる所定のマトリクス係数に、上記ゲインｋを乗算する演算ステップとを有し、
   上記ゲイン生成ステップは、上記入力される複数の色信号のうちの何れかの色信号が飽和するまでに０とされる上記ゲインｋを生成する映像信号処理方法。
2. 請求項１において、
   上記演算ステップにおいて上記ゲインｋは、マトリクスの非対角成分のマトリクス係数に対して乗算される映像信号処理方法。
3. 請求項１において、
   上記演算ステップにおいて上記ゲインｋは、マトリクスの非対角成分であり、且つ負の値であるマトリクス係数に対して乗算される映像信号処理方法。
4. 入力される複数の色信号に対してマトリクス演算を施すことで原色信号を生成するリニアマトリクス部と、
   ゲインｋ（但し、０≦ｋ≦１）を生成し、上記リニアマトリクス部の所定のマトリクス係数に上記ゲインｋを乗算する制御部とを備え、
   上記制御部は、上記入力される複数の色信号のうちの何れかの色信号が飽和するまでに０とされる上記ゲインｋを生成する映像信号処理装置。

Images