JP4377733B2 - 色調整モジュールおよび撮像装置、ならびに色調整を実現するためのプログラム - Google Patents

Description

本発明は、デジタル画像に対し好ましい画質調整を可能とする、色調整モジュールおよび撮像装置、ならびに色調整を実現するためのプログラムに関するものである。

現在、多くの電子カメラ（撮像装置）や現像処理ソフト（未処理のRAW画像を読み込み、各種画像処理を施すソフト）には、階調調整や彩度・色相調整などの付加的な画像処理が組み込まれている。これらの付加的な画像処理は、忠実な色再現や入出力系のマッチングなどのように、正確さを目的とした補正処理であることもあれば、画像の視覚的な好ましさや見やすさの向上を目的とした処理もある。デジタル画像では、これらの画像処理を容易に行える半面、オリジナルのままの画像では、所望の画質になりにくいのが現状である。

例えば、画像の彩度を強調する処理が多用されている。このような処理を行うのは、一般に電子カメラで撮影された画像は、たとえ実物に近いものであってもコントラストや鮮やかさが足りないように感じられ、通常用途では強調されたものが好まれやすいことによる。特に必要でない限り一連の処理は自動的に行われ、知識のない使用者でも容易に扱えるようになっている。画像処理としては、単純に一様に強調する方法の他に、たとえば特許文献１では、画像の彩度・明度・色相により彩度の重み付けを施す例を示している。また特許文献２では、色空間の歪みや出力デバイスの特性を考慮して非線形な彩度強調を行っている。

特開２０００−９２３３７号公報 特開平６−１１８９２６号公報号公報

上記のような画像処理としては、単純に一様に強調するという方法が最も無難であるが、自動的に全ての場合に同じ処理をすると不都合が出てくることがある。例えば、デジタルカメラなどは撮影条件によってノイズが目立つことがあるが、そのような場合に単純に一様に強調してしまうとかえってノイズを目立たせてしまうおそれがある。

また、明るさのダイナミックレンジや色再現域が現実の色空間より遙かに狭い撮像装置や画像表示デバイスでは、様々な明るさや色を狭い範囲に押し込めている。このため、単純に彩度強調すると、色再現範囲をはみ出したり、全体のバランスが崩れたりすることがある。前記特許文献１のような重み付けは解決策の一例であるが、例示されている重み付けの方法が必ずしも最良とは限らず、また後述する彩度や色相の計算を前提としており、回路規模が大きくなりやすいという問題があった。

また、画像処理を行う際に、原則として彩度の調整が色相に影響しないようにしているが、用いる色空間の歪みにより単純に彩度を強調すると色相がずれてしまう場合などには、色相を変えたいこともある。特許文献２に記載の技術では、彩度強調係数を彩度・色相に関わるデータ（a*、b*）の関数としているだけで、具体的な関数の形や明度との関係を示してはいないという問題があった。

本発明は、従来技術のこのような問題点に鑑みてなされたものであり、その目的は、デジタル画像に対し好ましい画質調整を可能とする、色調整モジュールおよび撮像装置、ならびに色調整を実現するためのプログラムを提供することにある。

上記目的を達成するために、本発明の第１の実施形態にかかる色調整モジュールは、画像の明暗成分信号と色成分信号が入力され、前記画像の明暗成分信号に応じた係数を前記色成分信号に対して適用して、該色成分信号値を変更し、変更された色成分信号を出力する色調整モジュールであって、前記係数と前記明暗成分信号値との関係は、前記明暗成分信号値の増大に対して前記係数が増大する部分を含み、前記明暗成分信号値の増大に対して前記係数が減少する部分を含まないことを特徴とする。

このように、第１の実施形態にかかる色調整モジュールは、画像の明暗成分信号と色成分信号が色調整モジュールに入力され、色調整モジュールは前記明暗成分信号値の増大に対して増大するか一定値をとる係数を前記色成分信号に対して適用し、変更された色成分信号を出力するものである。このような構成とすることにより、照度が高いと色が鮮やかに見え、照度が低いと色が鈍く見えるという視覚効果を誇張するような彩度調整を行い、画像を見映え良く調整することができる。また、暗い部分での色ノイズが強調されるのを防ぐことができる。

本発明の第２の実施形態にかかる色調整モジュールは、画像の明暗成分信号と色成分信号が入力され、前記画像の明暗成分信号に応じた係数を前記色成分信号に対して適用して、該色成分信号値を変更し、変更された色成分信号を出力する色調整モジュールあって、前記係数と前記明暗成分信号値との関係は、明暗成分信号値の上限付近および下限付近では前記係数が小さく、明暗成分信号値が中間的な値の時は大きいものであることを特徴とする。

このように、第２の実施形態にかかる色調整モジュールは、画像の明暗成分信号と色成分信号が色調整モジュールに入力され、色調整モジュールは、明暗成分信号値が上限付近および下限付近では係数が小さくされる。また、明暗成分信号値が中間的な値の時は大きい係数を前記色成分信号に対して適用する。このようにして、係数により変更された色成分信号を出力するものである。このような構成とすることにより、画像の低・高輝度部分、特に輝度の上下限に近い領域での彩度強調を抑え、色飽和の発生を抑制することができる。また、中間的な明るさの中心的な被写体をより鮮やかに目立つようにし、画像全体にメリハリをつけることができる。

また、第２の実施形態にかかる色調整モジュールは、前記係数と前記明暗成分信号値との関係は、前記明暗成分信号値が第１の所定の値未満のとき、前記係数は明暗成分信号値が大きくなるに従い徐々に大きくなり、前記明暗成分信号値が第１の所定の値より大なる第２の所定の値より大きいとき、前記係数は明暗成分信号値が大きくなるに従い徐々に小さくなり、前記明暗成分信号値が第１の所定の値以上で第２の所定の値以下のとき、前記係数は一定の値をとるものであることを特徴とする。

この色調整モジュールは、前記明暗成分信号値が所定の範囲内では、一定の係数を前記色成分信号に対して適用し、前記明暗成分信号値が第１の所定の値以下では、前記明暗成分信号値の増大に対して増大する係数を前記色成分信号に対して適用する。また、前記明暗成分信号値が第２の所定の値以上では前記明暗成分信号値の増大に対して減少する係数を前記色成分信号に対して適用し、変更された色成分信号を出力する。このような構成とすることにより、画像の低・高輝度部分、特に輝度の上下限に近い領域での彩度強調を抑え、色飽和の発生を抑制することができる。このため、設定が単純で回路規模を小さくすることができる。

また、第２の実施形態にかかる色調整モジュールは、前記画像中所定範囲内の前記明暗成分信号値の統計量に基づいた基準値を設定する明暗分布調査部を具え、前記明暗成分信号値と前記基準値に基づいて前記係数を決定することを特徴とする。

この色調整モジュールは、明暗分布調査部は画像内所定範囲の明暗信号の統計量（平均値や最頻値）を計算して、該統計量に基づいて基準値を設定し、前記色調整モジュールは前記基準値と前記明暗成分信号値に基づいて係数を決定するものである。このような構成とすることにより、画像の明るさの特性に応じて画像の彩度調整を変えることができる。

また、第２の実施形態にかかる色調整モジュールは、前記明暗成分信号値が、前記基準値に近いほど前記係数を大きくすることを特徴とする。このように、前記明暗成分信号値が、前記基準値に近いほど前記係数を大きくしているので、露出が高めあるいは低めに寄っていても、主要な被写体の彩度強調を他より強めてメリハリをつけることができる。

前記いずれかの色調整モジュールは、前記係数が第１の所定の値未満なら該第１の所定の値で置き換える第１の制限処理部と、前記係数が第２の所定の値より大なるときは該第２の所定の値で置き換える第２の制限処理部とのいずれか、または両方を具えることを特徴とする。

前記第１または第２の実施形態にかかる色調整モジュールは、前記係数の入力を受け、第１の制限処理部では前記係数と第１の所定の値とを比較し、前記係数が第１の所定の値未満なら該第１の所定の値を前記係数として出力し、それ以外は前記係数をそのまま出力する。また、前記係数の入力を受け、第２の制限処理部では前記係数と第２の所定の値とを比較し、前記係数が第２の所定の値未満なら該第２の所定の値を前記係数として出力し、それ以外は前記係数をそのまま出力するものである。このように、彩度係数を第１の所定の値（１）以上に制限することで、彩度を下げすぎて暗部が黒ずんだり明部が白くなりすぎるのを防ぐことができる。また、彩度係数を第２の所定の値（特定の値）以下に制限することで、過剰な彩度強調を避けることができる。

本発明の第１の実施形態にかかる画像処理システムは、画像の明暗成分信号と色成分信号が入力され、前記画像の明暗成分信号に応じた係数を前記色成分信号に対して適用して、該色成分信号値を変更し、変更された色成分信号を出力する色調整モジュールであって、前記係数と前記明暗成分信号値との関係は、前記明暗成分信号値の増大に対して前記係数が増大する部分を含み、前記明暗成分信号値の増大に対して前記係数が減少する部分を含まない色調整モジュールを有することを特徴とする。

本発明の第２の実施形態にかかる画像処理システムは、画像の明暗成分信号と色成分信号が入力され、前記画像の明暗成分信号に応じた係数を前記色成分信号に対して適用して、該色成分信号値を変更し、変更された色成分信号を出力する色調整モジュールあって、前記係数と前記明暗成分信号値との関係は、明暗成分信号値の上限付近および下限付近では前記係数が小さく、明暗成分信号値が中間的な値の時は大きいものである色調整モジュールを有することを特徴とする。

前記第１または第２の実施形態にかかる画像処理システムの前記色調整モジュールは、前記のいずれかに記載の構成を具備することを特徴とする。

第１の実施形態にかかる画像処理システム、および第２の実施形態にかかる画像処理システムは、それぞれ前記第１の実施形態にかかる色調整モジュール、および第２の実施形態にかかる色調整モジュールの作用を行うものである。このため、画像に対して好適な彩度調整を行う画像処理システムが得られる。

前記第１または第２の実施形態にかかる画像処理システムは、前記明暗成分信号を調整する明暗信号調整部を具え、前記色調整部は前記明暗信号調整部の出力に応じた係数を前記色成分信号に対して適用することを特徴とする。この色調整モジュールは、明暗信号調整部により明暗成分信号を調整し、色調整部は前記調整された明暗成分信号に応じた係数を色成分信号に適用するものである。このような構成とすることにより、階調を調整し、その処理結果を考慮した好ましい彩度調整が可能になる。

本発明の第３の実施形態にかかる画像処理システムは、原色系または補色系の画像信号を供給する画像入力部と、前記画像入力部から供給された原色系または補色系の画像信号を、明暗成分信号と色成分信号に変換する第１の色空間変換部と、前記画像の明暗成分信号に応じた係数を前記色成分信号に対して適用して、該色成分信号値を変更する色調整部と、前記明暗成分信号と前記変更された色成分信号を統合して原色系または補色系の画像信号に再変換する第２の色空間変換部と、原色系または補色系の画像信号を出力する画像出力部とを具えたことを特徴とする。

第３の実施形態にかかる画像処理システムは、画像入力部から供給された画像信号が、第１の色空間変換部により明暗成分信号と色成分信号に変換され、色調整部で明暗成分信号に応じた係数を色成分信号に適用して、色成分信号値を変更する。また、第２の色空間変換部で変更された色成分信号と前記明暗成分信号とを統合して画像信号に再変換して、画像出力部より出力するものである。このような構成とすることにより、画像の明るさを考慮した好ましい彩度調整が可能になる。

また、第３の実施形態にかかる画像処理システムは、前記明暗成分信号を調整する明暗信号調整部を具え、前記色調整部は前記明暗信号調整部の出力に応じた係数を前記色成分信号に対して適用することを特徴とする。この画像処理システムは、明暗信号調整部により明暗成分信号を調整し、色調整部は前記調整された明暗成分信号に応じた係数を色成分信号に適用するものである。このような構成とすることにより、階調を調整し、その処理結果を考慮した好ましい彩度調整が可能になる。

また、第３の実施形態にかかる画像処理システムは、前記明暗成分信号に応じた信号は前記明暗信号調整部の出力であることを特徴とする。この画像処理システムは、明暗信号調整部により明暗成分信号を調整した結果が反映されるので、好ましい彩度調整が可能になる。

本発明の第１の実施形態にかかる撮像装置は、電子撮像部と、前記電子撮像部からの信号を処理して原色系または補色系の画像信号を生成する前段処理部と、前記前段処理部から供給された原色系または補色系の画像信号を、明暗成分信号と色成分信号に変換する第１の色空間変換部と、前記画像の明暗成分信号に応じた係数を前記色成分信号に対して適用して、該色成分信号値を変更する色調整部と、前記明暗成分信号と前記変更された色成分信号を統合して原色系または補色系の画像信号に再変換する第２の色空間変換部と、原色系または補色系の画像信号に出力形態に合わせた処理を施して出力する後処理部とを具えたことを特徴とする。

第１の実施形態にかかる撮像装置は、撮影され前段処理部で前処理された原色系または補色系の画像信号は、第１の色空間変換部で明暗成分信号と色成分信号に変換され、色調整部は明暗成分信号に応じた係数を色成分信号に適用して色成分信号値を変更する。また、第２の色空間変換部は明暗成分信号と変更された色成分信号とを統合して原色系または補色系の画像信号に再変換し、後処理部で出力形態にあわせた処理を施して出力するものである。このような構成とすることにより、撮像装置で撮影した画像に対し、画像の明るさを考慮した好ましい彩度調整が可能になる。

第１の実施形態にかかる撮像装置は、撮像時の設定情報を保持し、該撮影時の設定情報に応じて前記明暗成分信号値と係数との関係を変更することを特徴とする。このように、撮影時の設定によって、係数と明暗成分信号値との関係を変えるので、撮影シーンに合わせた好ましく見える彩度調整を可能にすることができる。また、彩度調整がかえって見映えを悪くすることを防ぐことができる。

また、第１の実施形態にかかる撮像装置は、前記明暗成分信号を調整する明暗信号調整部を具え、前記色調整部は前記明暗信号調整部の出力に応じた係数を前記色成分信号に対して適用することを特徴とする。このように、明暗信号調整部により明暗成分信号を調整し、色調整部は前記調整された明暗成分信号に応じた係数を色成分信号に適用している。このため、階調を調整し、その処理結果を考慮した好ましい彩度調整が可能になる。

本発明の第３の実施形態にかかる色調整モジュールは、画像の明暗成分信号と複数の色成分信号が入力され、前記色に関する各信号に対し、前記明暗成分信号に応じた係数を適用して、各色成分信号値を変更し、変更された色成分信号を出力する色調整モジュールであって、前記係数と前記明暗成分信号との関係が前記各色成分信号ごとに異なることを特徴とする。

第３の実施形態にかかる色調整モジュールは、画像の明暗成分信号と色に関する複数の信号が色調整モジュールに入力される。色調整モジュールは、前記色に関する複数の信号の各々に対応した、前記明暗成分信号値と前記係数との関係に基づいた係数を当該各々の色成分信号に適用して、色に関する各信号値を変更する。そして、変更された色成分信号を出力するものである。このような構成とすることにより、彩度調整を行う際に色相もずらして画像を見映え良く調整することができる。

第３の実施形態にかかる色調整モジュールは、前記係数と前記明暗成分信号との関係は、前記明暗成分信号値が大きい領域では前記色に関する複数の信号のうち第１の信号に対する第１の係数が第２の信号に対する第２の係数より大きく、前記明暗成分信号値が小さい領域では、第２の係数が第１の係数より大きいものであることを特徴とする。

このように、前記明暗成分信号値が大きい領域では前記色に関する第１の信号に対する第１の係数を第２の信号に対する第２の係数より大きくし、前記明暗成分信号値が小さい領域では、第２の係数を第１の係数より大きくしている。このため、光の強さで色相が特定方向に変化して見える現象を画像上で誇張して見せ、画像を見映え良く調整することができる。

本発明の第４の実施形態にかかる画像処理システムは、画像の明暗成分信号と複数の色成分信号が入力され、前記色に関する各信号に対し、前記明暗成分信号に応じた係数を適用して、各色成分信号値を変更し、変更された色成分信号を出力する色調整モジュールであって、前記係数と前記明暗成分信号との関係が、前記各色成分信号ごとに異なる色調整モジュールを有することを特徴とする。この画像処理システムは、前記第３の実施形態にかかる色調整モジュールの作用を行うものである。このため、画像に対して好適な彩度調整を行う画像処理システムが得られる。

本発明の第５の実施形態にかかる画像処理システムは、原色系または補色系の画像信号を供給する画像入力部と、前記画像入力部から供給された原色系または補色系の画像信号を、明暗成分信号と複数の色成分信号に変換する第１の色空間変換部と、前記複数の色成分信号に対し、各信号ごとに前記明暗成分信号に応じた係数を各々適用して、各色成分信号値を変更する色調整部と、前記明暗成分信号と前記変更された色成分信号値を統合して原色系または補色系の画像信号に再変換する第２の色空間変換部と、原色系または補色系の画像信号を出力する画像出力部とを具え、前記係数と前記明暗成分信号との関係が前記複数の色成分信号ごとに異なることを特徴とする。

第５の実施形態にかかる画像処理システムは、画像入力部から供給された原色系または補色系の画像信号を、第１の色空間変換部で明暗成分信号と色に関する複数の信号に変換し、色調整部で前記色に関する各信号に対応した前記明暗成分信号と係数との関係に基づいて係数を得る。この係数をそれぞれの色成分信号に適用して各信号値を変更し、前記明暗成分信号と前記変更された色成分信号を第２の色空間変換部で統合して原色系または補色系の画像信号に再変換する。再変換された画像信号は、画像出力部で原色系または補色系の画像信号として出力されるものである。このような構成とすることにより、彩度調整を行う際に色相もずらして画像を見映え良く調整することができる。

本発明の第２の実施形態にかかる撮像装置は、電子撮像部と、前記電子撮像部からの信号を処理して原色系または補色系の画像信号を生成する前段処理部と、前記前段処理部から供給された原色系または補色系の画像信号を、明暗成分信号と複数の色成分信号に変換する第１の色空間変換部と、前記複数の色成分信号に対し、各信号ごとに前記画像の明暗成分信号に応じた係数を各々適用して、各色成分信号値を変更する色調整部と、前記明暗成分信号と前記変更された色成分信号を統合して原色系または補色系の画像信号に再変換する第２の色空間変換部と、前記原色系または補色系の画像信号に、出力形態に合わせた処理を施して出力する後処理部とを具え、前記係数と前記明暗成分信号との関係が、前記複数の色成分信号ごとに異なることを特徴とする。

第２の実施形態にかかる撮像装置は、撮影された原色系または補色系の画像信号は、第１の色空間変換部で明暗成分信号と色成分信号に変換され、色調整部は前記色に関する各信号ごとに前記明暗成分信号と係数との関係を変えて、該関係に基づいて係数を得、該係数をそれぞれ適用して各色成分信号値を変更する。前記明暗成分信号と変更された各色成分信号は、第２の色空間変換部で原色系または補色系の画像信号に再変換され、後処理部で出力形態にあわせた処理を施されて出力されるものである。このような構成とすることにより、撮像装置で撮影した画像に対し、画像の明るさと色相のずれを考慮した好ましい彩度調整が可能になる。

第２の実施形態にかかる撮像装置は、撮像時の設定情報を保持し、該撮影時の設定情報に応じて前記各色成分信号に対応した前記係数と前記明暗成分信号との関係を変更することを特徴とする。このように、撮像時の設定情報を保持し、該撮影時の設定情報に応じて、色に関する複数の信号の各々について、信号前記明暗成分信号と前記係数との関係を変更している。このため、撮影シーンに合わせて、より好ましい色相のずらし方を採用し、見映えのする彩度調整を可能にすることができる。

本発明の第１の実施形態にかかるプログラムは、コンピュータに、画像信号を読み込む手順と、前記画像信号に対して第１の色空間変換を行う手順と、前記色空間変換された第１の画像信号により彩度係数を決定する手順と、前記決定された彩度係数を前記色空間変換された第２の画像信号に対して適用する手順と、前記第１の画像信号および第２の画像信号に対して第２の色空間変換を行う手順を実行させて、色調整を実現することを特徴とする。

第１の実施形態にかかるプログラムは、図１に示されたような色調整モジュール、およびその色調整モジュールを用いた画像処理システムの動作を、コンピュータに実行させるものである。このため、図１に示されたような色調整モジュール用の特別なデバイスを必要とすることなく、画像に対する彩度調整をコンピュータで簡易に行うことができる。

また、第１の実施形態にかかるプログラムは、コンピュータに、前記読み込まれた画像信号に対する前段処理を施す手順と、前記色空間変換された第１の画像信号に明暗信号調整を行う手順とを付加して実行させることを特徴とする。このプログラムは、図３に示されているような撮像装置の動作をコンピュータに実行させるものである。したがって、図３に示されているような撮像装置の特別なデバイスを必要とすることなく、画像に対する彩度調整をコンピュータで簡易に行うことができる。

本発明の第２の実施形態にかかるプログラムは、コンピュータに、画像信号を読み込む手順と、前記画像信号に対して第１の色空間変換を行う手順と、前記色空間変換された第１の画像信号により第１の彩度係数を決定する手順と、前記色空間変換された第１の画像信号により第２の彩度係数を決定する手順と、前記決定された第１の彩度係数を前記色空間変換された第２の画像信号に対して適用する手順と、前記決定された第２の彩度係数を前記色空間変換された第３の画像信号に対して適用する手順と、前記第１の画像信号ないし第３の画像信号に対して第２の色空間変換を行う手順を実行させて、色調整を実現することを特徴とする。

第２の実施形態にかかるプログラムは、図５に示されたような色調整モジュール、およびその色調整モジュールを用いた画像処理システムの動作を、コンピュータに実行させるものである。このため、図５に示されたような色調整モジュール用の特別なデバイスを必要とすることなく、画像に対する彩度調整をコンピュータで簡易に行うことができる。

また、第２の実施形態にかかるプログラムは、コンピュータに、前記読み込まれた画像信号に対する前段処理を施す手順と明暗信号調整を行う手順とを付加して実行させることを特徴とする。このプログラムは、図７に示されているような撮像装置の動作をコンピュータに実行させるものである。したがって、図７に示されているような撮像装置の特別なデバイスを必要とすることなく、画像に対する彩度調整をコンピュータで簡易に行うことができる。

本発明の第３の実施形態にかかるプログラムは、コンピュータに、画像信号を読み込む手順と、前記画像信号に対して第１の色空間変換を行う手順と、前記第１の色空間変換を全画素について終了したかどうかを判定する手順と、前記第１の色空間変換を行った第１の画像信号に対して基準明度を算出する手順と、前記基準明度により前記第１の画像信号に対して彩度係数を決定する手順と、前記決定された彩度係数を前記第１の色空間変換された第２の画像信号に対して適用する手順と、前記第１の画像信号および第２の画像信号に対して第２の色空間変換を行う手順を実行させて色調整を実現することを特徴とする。

第３の実施形態にかかるプログラムは、図１１に示されたような色調整モジュール、およびその色調整モジュールを用いた画像処理システムの動作を、コンピュータに実行させるものである。このため、図１１に示されたような色調整モジュール用の特別なデバイスを必要とすることなく、画像に対する彩度調整をコンピュータで簡易に行うことができる。

本発明の色調整モジュールとこれを用いた画像処理システムおよび撮像装置、ならびに色調整を実現するためのプログラムにおいては、視覚特性や被写体を考慮し、より好ましく見映えのする画像の彩度調整が可能になる。

以下、本発明の実施の形態について図を参照して説明する。図１は、本発明の第１の実施形態例である色調整モジュールとこれを用いた画像処理システムを示す構成図である。図１に示されているように、この画像処理システムは、画像入力部001、第１の色空間変換部002、彩度係数決定部003、彩度係数適用部004、第２の色空間変換部005、画像出力部006、で構成されている。この中で、彩度係数決定部003、彩度係数適用部004は、本発明の第１の実施形態例である色調整モジュールを構成する。この色調整モジュールは複合部品として、例えば同一基板上に実装される。

画像入力部001から入力されるＲＧＢ画像信号011は、第１の色空間変換部002で明暗成分信号012（L*信号、第１の画像信号）と、色に関する２つの信号（a*b*信号、第２の画像信号）013に変換される。彩度係数決定部003は、演算回路で前記L*信号012の入力に対してこれに応じた彩度係数ｇ014を出力する。また、彩度係数適用部004は、前記a*b*信号013に対し、彩度係数ｇ014を適用（たとえば乗算）する。未処理のL*信号012、および係数適用されたa*'b*'信号015は、第２の色空間変換部005で統合され、出力用のRGB形式の信号（R'G'B'信号）016に変換されて、画像出力部006へ送られる。

ここで用いられているL*a*b*信号は、三次元的に色を表す指標として用いられるもので、ＲＧＢ信号から別の座標系ＸＹＺ座標系を介した変換式が定義されている。L*は、明度で物体の色の明暗情報を表す。a*、b*は、クロマティクネス指数で、以下の式（１）を介して、
Cab*=√(a*² +b*²)、hab*=arctan(b*/a*) （１）
彩度Cab*、色相角hab*に関係している。

上記のa*，b*に係数を適用（例えば乗算）することにより、彩度を調整できる。ここでは単純に乗算することにすると、係数をgとして、変更後の彩度Cab*は式（２）、
a*'=g×a*、 b*'=g×b*
Cab*'=√(a*'²+b*'²)=g×Cab* (２)
のようになる。

係数決定部003で演算する彩度係数ｇ104と、明度信号(L*信号)012との関係は、用途によっていくつかの種類が考えられる。その例を図２の特性図に示す。図２の特性図の横軸が明度L*、縦軸が彩度係数gを表す。L*は、０〜１００の値をとるように色空間変換部002で調整されている。図２の特性図で、ｇ=１.0が彩度調整無しに相当する。

図２（１）では、L*が大きいほど、すなわち明度が高いほど彩度係数ｇを大きくし、低明度では彩度係数ｇを小さくする。このような特性とすることにより、次のような効果が得られる。通常、物体を見るときに照度が高いと色が鮮やかに見え、照度が低いと色が鈍く見えるという視覚効果があると言われている。図２（１）のパターンは、この効果を画像上で誇張し、被写体照度が高いところはより鮮やかに見せることで、画像を見映え良く調整することができる。

また電子カメラで撮影した画像では、暗い部分にノイズが目立つという現象が生じるが、このような場合に大きな彩度係数を乗算してしまうと、ノイズも強調してしまうことになる。そこで、図２（１）の特性のように、低明度領域では大きな係数を乗算しないようにして、ノイズが強調されることを避けることができる。なお、明度が非常に高いところ（L*＞L1）では、彩度係数ｇを大きくせずに一定にすることで、過剰な彩度強調を避けている。

本発明の特許請求の範囲に記載された第１の実施形態における色調整モジュールと、この色調整モジュールを有する画像処理システムは、図１、図２（１）に対応するものである。すなわち、請求項１および請求項７において、画像の明暗成分信号と色成分信号は、それぞれ図１に示されるL*信号012、a*b*信号013が該当する。また、変更された色成分信号は、第１図に示されるa*'b*'信号015が該当し、係数は第１図の彩度係数014が該当する。係数と前記明暗成分信号値との関係は、図２（１）の特性に示される。

図２（２）の特性では、明度L*が基準明度値Lp（たとえば６０前後）のときに彩度係数gが最大になるようにすると共に、明度L*が０や１００のときは彩度係数gを1にしている。このような特性とすることにより、次のような効果が得られる。現実に再現できる色には限界があり、明度の上下限付近では彩度の取り得る値が小さい。

また、出力デバイスによっては、さらに色再現範囲は狭くなる。彩度が高すぎて再現できない色は、色相がずれたり色がつぶれて見えるようになる。一方明度５０、６０前後では、比較的彩度の取り得る範囲は広い。そこで、図２（２）の特性のように、色再現範囲の広い明度領域では彩度強調を強くし、色再現範囲の狭い明度領域ではほとんど彩度強調しない処理をすることで、画像の低・高明度領域での色つぶれの発生を減らすことができる。

また、図２（２）のような特性とすることにより、次のような効果も得られる。一般に、露出が適正な場合には、主要被写体は比較的中間的な明度になる可能性が高い。したがって、中間的な明度領域の彩度を強めることで、主要被写体をより鮮やかに目立つようにし、画像全体にメリハリをつけることができる。なお、彩度係数ｇを最大にすべき明度は６０付近とは限らず、高くしたり低くしたりしたほうが好ましい場合もある。そのような場合でも、明度の上下限にかけては彩度係数を小さくし、色つぶれを避ける効果を持たせることができる。

本発明の第２の実施形態における色調整モジュールと、この色調整モジュールを有する画像処理システムは、図１、図２（２）に対応するものである。すなわち、画像の明暗成分信号と色成分信号はそれぞれ図１に示されるL*信号012、a*b*信号013が該当し、構成変更された色成分信号は図１に示されるa*'b*'信号015が該当する。また、係数は図１の彩度係数014が該当する。係数と前記明暗成分信号値との関係は、図２（２）の特性に示されている。

図２（３）の特性では、画像の中間明度領域では一様に彩度を強め、低・高明度領域（図で明度L*がＬ１未満およびＬ２より大の領域）では、徐々に強調を控えている。すなわち、低・高明度領域の上下限のＬ１、Ｌ２の領域では、彩度の強調無しあるいはむしろ弱めている。このような特性とすることにより、前記の図２（２）と同様に、画像の低・高明度領域での色飽和やノイズの発生を避けつつ、中間調では固定係数を用いることで演算を減らし回路規模を小さくできる。

図２（４）の特性では、彩度係数ｇが１未満にならないように１にクリップ処理し、また大きな値gmxを超えないようにgmxにクリップ処理している。このクリップ処理は、第２図の他の特性と組み合わせて使う。具体的には、第１図の彩度係数決定部003と彩度係数適用部004の間に、彩度係数ｇ014が１未満になるときは彩度係数ｇ014を１に置き換えるクリップ処理部1と、彩度係数ｇ014が値gmxより大きければ彩度係数ｇ014をgmxに置き換えるクリップ処理部2を付加する。クリップ処理部自体は、基準値と比較器を具え、入力値と基準値を比較し大きい方または逆に小さい方を出力するようなものを用いる。二つのクリップ処理部は直列配置でも並列配置でもよい。また彩度係数決定部003や彩度係数適用部004の内部にあっても良い。

図１５は、クリップ処理部1（008）とクリップ処理部2（009）の配置例を示す構成図である。前記クリップ処理部1とクリップ処理部2の二つのクリップ処理部を直列配置する場合には、図１５に示すように、クリップ処理部1は彩度係数ｇ014が１未満か１以上かを判定する第１の判定手段を有する。また、クリップ処理部２は彩度係数ｇ014がgmxより大きかどうかを判定する第２の判定手段を有する。第１の判定手段により彩度係数ｇ014が１以上と判定された場合には、彩度係数ｇ014はクリップ処理部1を通過させ、彩度係数ｇ'をクリップ処理部2に入力する。第１の判定手段により彩度係数ｇ014が１未満と判定された場合には、クリップ処理部1から１を出力させ、クリップ処理部2に入力する。クリップ処理部2では、第２の判定手段で彩度係数ｇ'が前記gmxより大きいと判定された場合には、彩度係数ｇ'をgmxに置き換えg"を出力する。

このように、彩度係数ｇを１以上に制限することで、彩度を下げすぎて暗部が黒ずみ汚れのように見えたり、明部が白くなりすぎるのを防ぐ効果がある。このような処理は、基本的には何もせず、必要な明度領域のみ彩度を調整する処理法ともいえる。さらに、彩度係数を特定の値以下に制限することで、過剰な彩度強調を避ける効果がある。なお下記のようにLUT（Look Up Table、ルックアップテーブル）を使用する場合には、最初からクリップ特性を含んだ設定としておいても良い。

図２（５）の特性では、逆に全体の彩度係数gは小さく保ち、明度L*による彩度係数gの変化率を大きくしている。元画像全体の彩度が非常に高く、彩度強調で飽和しやすい場合、明度による彩度のコントラストを大きくしてメリハリをつけることができる。なお、上記の説明では、彩度係数決定部003は演算回路で彩度係数ｇを算出したが、LUTを参照して明度L*信号値に対応する彩度係数ｇを選択するようにしてもよい。後者は任意の複雑な特性を持たせやすい。

図３は、本発明の画像処理システムを応用した電子カメラ（撮像装置）の例を示す構成図である。第１図と同じ機能を有する部分には同じ番号を付け、詳しい説明を省略する。光学系101、撮像素子102を介して撮影された映像は、アナログ処理やＡ／Ｄ変換をおこなう初期信号処理部103、補間処理部104、ホワイトバランス（WB）処理部105、第１の色空間変換部106、明暗信号調整部107、彩度係数決定部003、彩度係数適用部004、第２の色空間変換部005を経由し、圧縮などを行う後処理部108 を介して画像記録部109へ出力され、記録媒体などに記録される。光学系101、撮像素子102は、撮像装置の電子撮像部を構成する。また、初期信号処理部103、補間処理部104、ホワイトバランス（WB）処理部105は、前記電子撮像部からの信号を処理する前段処理部に相当する。

図３に示されたこれらの各部ブロックは、マイクロコンピュータなどの制御部121にも双方向に接続される。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードなどの切り替えを行うためのインターフェースを備えた外部I/F部122が、制御部121に双方向に接続されている。

図３において、信号の流れを説明する。外部I/F部122を介して撮影モード・撮影条件などを設定し、シャッターボタンを押して撮影が行われる。光学系101、撮像素子102を介して撮影された映像信号は、初期信号処理部103でアナログ信号として読み出され、増幅された後デジタル信号へ変換される。次いで、当該デジタル信号は補間処理部104で補間されて、R、G、Bの3つの映像信号に分けられる。WB処理部105では、画像内の無彩色のRGB比が適切になるようなWB係数を算出する。また、入力I/F部122を介して撮影前に設定され制御部121に転送されていたWB設定に基づき、画像のRGB信号にWB係数を乗算して、第１の色空間変換部106に転送する。

第１の色空間変換部106では、画像内の各画素のRGBの３映像信号131を、所定の色空間の信号、例えば第１の実施形態例で説明したL*a*b*信号（第１の画像信号L*、第２の画像信号a*b*）に変換する。ただし、ここでの入力ＲＧＢは撮像系に依存したもので、L*a*b*の定義で用いるＲＧＢとは異なるため、必要ならば補正の演算を入れるなど、撮像系の特性をふまえた変換をおこなう。このような処理により、RGB信号は明暗成分のL*信号132と、色成分のa*b*信号133に分けられる。L*信号132は、明暗信号調整部107に送られる。明暗信号調整部107では、階調の調整やエッジ強調など画像の明暗成分の調整を行い、調整後の明暗成分のL*'信号134を第２の色空間変換部005、および彩度係数決定部003へ出力する。

彩度係数決定部003は、L*'信号134に対応した彩度係数ｇを決定し、決定された彩度係数データ135は係数適用部004へ転送される。一方彩度係数適用部004は、a*b*信号133の入力に対し、彩度係数データ135を適用することで彩度調整を行い、調整後のa*'b*'信号136を第２の色空間変換部005へ出力する。第２の色空間変換部005では、調整されたL*'信号134とa*'b*'信号136を統合し再びRGB空間の信号137に変換する。また必要に応じて再現色域の圧縮調整を行う。この処理は、処理用の色空間に比べ標準的なモニタなど出力デバイスの色空間は再現できる彩度の範囲が遙かに狭く、記録画像をそれに合わせるために行われる。

一般的には、出力デバイスの再現可能範囲外の色やそれに近い色の彩度や明度を違和感が無いように、再現範囲内へずらす処理を行う。変換後のＲＧＢ信号137は後処理部108へ転送され、ここで公知の圧縮処理などがなされてメモリーカードなどの記録媒体に記録保存される。本実施形態例においても、彩度係数と明度L*信号の関係は第２図のような種々のパターンが考えられる。なお、図３では撮像素子として原色系（ＲＧＢ）のものを用いたが、補色系（ＣＹＭ）の撮像素子を用いても良い。この場合にも、色空間座標でＣＹＭに対してL* a*b*の色変換を行う。

第２の実施形態例では、明度L*信号のみによって彩度係数を決めていたが、主要な被写体や撮影シーンにより、L*信号と彩度係数の関係は、最適なものが異なってくる。例えば風景のスナップは全体に彩度が強めの方が好まれるが、人物の場合はあまり強すぎずまた明るく見えるほうが喜ばれる。撮影シーンの情報は、例えば風景・ポートレイト・夜景などの撮影モードをユーザーが設定できるカメラであれば、その情報を取り込んで利用することができる。あるいは、別に画像からシーンを推定する手段を設けても良い。

そこで、第３の実施形態例では、図３の彩度係数決定部003は制御部121より各種モード設定などの情報を得て、これらの情報もふまえて彩度係数ｇを決定する。このような処理の具体例は図４の特性図に示されている。図４（１）では、「人物」、「風景」の曲線のような複数の明度L*信号依存特性を、関係式やLUTとして用意している。このような特性に基づいて、設定情報に応じて使用する演算式やLUTを切り換えたり、補正式を適用する。

またISO感度、ＷＢ、ストロボ使用の有無など撮影条件によってL*信号依存特性を変えても良い。例えばカメラのISO感度が高いとノイズが目立ちやすくなるので図４（２）の特性のように、ISO感度が高いときは明度L*信号の特性を切り替える。このような処理により、画像に適応した調整が可能になる。

なお第２、第３の実施形態例のような電子カメラでは、必要に応じて彩度調整や明暗信号調整を無効にする手段を具えることがより望ましい。この手段は、例えば、外部I/F122より操作して彩度調整をOFFに設定し、彩度係数決定部003は、その設定情報を制御部121より得て、彩度係数ｇを１に固定する。あるいは、制御部１２１の制御により彩度係数適用部004で入力画像信号133をそのまま出力すれば良い。

本発明の第３の実施形態における画像処理システムは、図１に対応するものである。すなわち、画像入力部は図１の画像入力部001が、第１の色空間変換部は図１の色空間変換部002が該当する。また、画像の明暗成分信号と色成分信号はそれぞれ図１に示されるL*信号012、a*b*信号013が、変更された色成分信号は図１に示されるa*'b*'信号015が該当する。さらに、彩度調整部は、図１に示される彩度係数決定部003および彩度係数適用部004が該当し、第２の色空間変換部は図１の色空間変換部005が、画像出力部は図１の画像出力部006が該当する。また、係数は図１の彩度係数014が該当する。

また、本画像処理システムは、図３で説明した明暗信号調整部007を備えても良い。図１３の構成図は、明暗調整部007の結果を彩度係数決定に反映させた場合の構戒例である。明暗信号調整部107では、前記のように階調の調整やエッジ強調など画像の明暗成分の調整を行い、調整後の明暗成分のL*'信号を第２の色空間変換部005、および彩度係数決定部003へ出力する。さらに、図１４の構成図は、明暗調整部007の結果を彩度係数決定に反映させない場合の例である。図１４の例では、明暗信号調整部107で調整後の明暗成分のL*'信号を第２の色空間変換部005へ出力する。これらの例では、いずれの場合も、明暗調整部００７で調整された明度L*′を色空間変換部００５への入力としている。

本発明の第１の実施形態における撮像装置は、図３に対応している。すなわち、電子撮像部は図３の光学系101と撮像素子102が、前段処理部は図３の初期信号処理部103、補間処理部104、ホワイトバランス（WB）処理部105が該当する。第１の色空間変換部は色空間変換部106が、色調整部は彩度係数決定部003と彩度係数適用部004が該当する。色空間変換部は色空間変換部005が、後処理部は後処理部108 が該当する。また原色系または補色系の画像信号はＲＧＢ信号131が、明暗成分信号はL*信号132、色成分信号はa*b*信号133、変更された色成分信号はa*'b*'信号136、再変換された原色系または補色系の画像信号はＲＧＢ信号137がそれぞれ該当する。

第１〜３の実施形態例では、２つの色成分信号には同じ彩度係数を適用している。第４の実施形態例では、２つの色成分信号に対する彩度係数のL*依存性を変え、L*によっては２つの色信号に異なる彩度係数が適用されるようにする。本実施形態例の、色調整モジュールとこれを用いた画像処理システムの構成を図５の構成図に示す。全体的な構成は図１と同様である。

図５において、彩度係数決定部003、彩度係数適用部004の代わりに彩度係数決定部201、彩度係数適用部202を用いる。彩度係数適用部202は第１の適用部203と第２の適用部204を含む。第１図と同じブロックには同じ番号を付けてある。画像入力部001から入力されるＲＧＢ画像信号011は色空間変換部002で明暗に関するL*信号012と、色に関するa*b*信号013に変換される。彩度係数決定部201は、明度L*信号012の入力に対しこれに応じた２つの彩度係数211、212を出力する。

彩度係数適用部202は、第１の適用部203でa*b*信号013のa*信号に対し彩度係数211を適用（たとえば乗算）し、第２の適用部204でa*b*信号013のb*信号に対し彩度係数212を適用する。未処理のL*信号012および係数適用されたa*'b*'信号213は、色空間変換部005で統合され、出力用のRGB形式の信号（R'G'B'信号）016に変換されて、画像出力部006へ送られる。

彩度係数211をg1、彩度係数212をg2とすると、調整後の彩度Cab*'と色相hab*'は式（３）
a*'=g1×a*、b*'=g2×b*
Cab*'=√((g1×a*)² +(g2×b*)²)、
hab*'=arctan((g2×b*)/(g1×a*)) （３）
のようになる。彩度係数211、212の決定方法は、２系統の演算回路で行っても良いし、L*信号012に対応する２つの係数が記載されているLUTを参照しても良い。

本発明の第３の実施形態における色調整モジュールと、この色調整モジュールを有する画像処理システム（第４の実施形態）は、図５、図６に対応するものである。すなわち、画像の明暗成分信号と色成分信号はそれぞれ図５に示されるL*信号012、a*b*信号013が該当し、変更された色成分信号は図５に示されるa*'b*'信号213が該当する。また、係数は図５の彩度係数211と212が該当する。

また、本発明の第５の実施形態における画像処理システムは、図５、図６に対応するものである。すなわち、画像入力部は図５の画像入力部001が、第１の色空間変換部は色空間変換部002が該当する。また、画像の明暗成分信号と色成分信号はそれぞれ図５に示されるL*信号012、a*b*信号013が、変更された色成分信号はa*'b*'信号213が該当する。さらに、色調整部は図５に示される彩度係数決定部201と彩度係数適用部202が該当し、第２の色空間変換部は色空間変換部005が、画像出力部は画像出力部006が該当する。また、係数は図５の彩度係数211と212が該当する。

図６（１）〜（４）は、彩度係数g1、ｇ2と、明度L*信号012の関係の例をパターン化して表した特性図である。特性図の横軸は、明度L*、縦軸は彩度係数g1、またはｇ2である。図中実線がa*に対する彩度係数g1の特性、破線がb*に対する彩度係数g2の特性を示している。図６（１）および（２）の特性では、明度L*が大きい、すなわち明るい領域ではa*に対する彩度係数g1よりもｂ*に対する彩度係数g2を大きく、L*が小さい領域では逆にa*に対する彩度係数g1を大きくする。

このような特性とすることにより、以下のような効果が得られる。一般に光の強さが変われば色相も少し変化して見える現象が知られており、明るさが増すと橙と黄緑は黄に、青緑と青紫は青によって見える。また、明るさが減ずると橙と赤紫は赤に、黄緑と青緑は緑によって見えるという傾向がある。これは、明度L*が大きい領域ではｂ*軸が強めに、小さい領域ではa*軸が強めに感じられるということにあたる。図６（１）、および（２）の特性は、このような現象を誇張して見せる効果がある。さらに第６図（２）では第２図（１）と同様に、明るい領域ほど彩度係数g1、g2を大きくして鮮やかに見せることで、画像をさらに見映え良く調整する。

図６（３）および（４）の特性は、図６（１）、（２）の特性とは逆の特性としている。すなわち、明度L*が大きい領域では、b*に対する彩度係数g2よりもa*に対する彩度係数g1を大きくする。また、明度L*が小さい領域では、b*に対する彩度係数g2を大きくする。その理由は、図６（１）、（２）とは逆に、上記光の強さが変われば色相も少し変化して見える現象を緩和するものである。例えば、非常に明るい肌色や日向の芝生などはあまり黄色方向にずれない方が好ましいが、図６（３）および（４）の特性は、そのようにむしろ図６（１）、（２）の特性とは逆の特性を望む場合に適している。第６図（４）の特性で、明るい領域ほど鮮やかに見せる効果は図６（２）の特性と同様である。

そのほか、同一彩度係数では計算上は色相が一定でも、用いる色空間によっては色相がずれると感じられることがある。これはその色空間が人の感覚に対して必ずしも一様ではではなく、歪みをもつことによる。その場合歪みを補正するように２つの彩度係数を変えても良い。

本発明の第５の実施形態例は、第４の実施形態例の画像処理システムを応用した電子カメラ（撮像装置）で、図７はその構成を示す構成図である。図３と基本的な構成は同一であるが、彩度係数決定部003、彩度係数適用部004の代わりに図５の彩度係数決定部201、彩度係数適用部202を用いている。図３と同じ機能を持つブロックには同じ番号を付している。

彩度係数決定部201は、明暗信号調整部107で調整されたL*'信号134を受け、これに対応した２つの彩度係数211、212を決定し彩度係数適応部202へ出力する。
彩度係数適用部202では、a*b*信号133のa*信号に対し彩度係数211を適用し、a*b*信号133のb*信号に対し彩度係数212を適用する。これにより２つの色信号a*b*に対する彩度係数の明度依存性を変え、明度によっては２つの色信号に異なる彩度係数が適用されるようにしている。

さらに、撮影シーンや条件により効果的な色相のずらし方が異なることをふまえ、第３の実施形態例と同様に、図７の彩度係数決定部201は、制御部121より各種モード設定などの情報を得て、それに応じて使用する演算式やLUTを切り換えたり、補正式を適用する。例えば、８図の特性図に示すように、明度L*と信号a*、b*に対する彩度係数ｇの関係を、モードA（例えば人物）とモードＢ（例えば風景）で異ならせる。これにより画像に適応した彩度調整をおこなう。

本発明の第２の実施形態における撮像装置は、図７に対応している。すなわち、電子撮像部は図７の光学系101と撮像素子102が、前段処理部は初期信号処理部103、補間処理部104、ホワイトバランス（WB）処理部105が該当する。また、第１の色空間変換部は図７の色空間変換部106が、色調整部は彩度係数決定部201と彩度係数適用部202が該当する。さらに、第２の色空間変換部は図７の色空間変換部005が、後処理部は後処理部108が該当する。また、原色系または補色系の画像信号はＲＧＢ信号131が、明暗成分信号はL*信号132、色成分信号はa*b*信号133、変更された色成分信号はa*'b*'信号136、再変換された原色系または補色系の画像信号はＲＧＢ信号137 がそれぞれ該当する。なお、係数は図７の彩度係数211と212が該当する。

第１の実施形態例である図２（２）の例では、彩度係数ｇが最大となる基準明度Lpが特定の値に決まっていたが、あらかじめ画像全体あるいは特定範囲（例えば画像中心を含む所定領域の画素）の明度の平均値や最頻値などを計算して、その値をもとに図２（２）の基準明度Lpを決め、L*がLpに近いほど彩度係数ｇを大きくするようにしてもよい。このような特性とすることにより、露出が高め、あるいは低めに寄った画像でも、主要な被写体の彩度強調を他より強めてメリハリをつけることができる。

第６の実施形態例について、図１１に構成図を示す。この図１１は、図１の構成にバッファ020、明度分布調査部021が加わったもので、図１と同じ部分には同じ番号を付してある。明度L*信号012とa*b*信号013はバッファに入力され、画像の各画素のL*a*b*値が保持される。明度L*信号012は、明度分布調査部０２１にも入力される。明度分布調査部021は、各画素の明度L*信号値の平均値や最頻値を算出し、その値を基準明度Lp022として彩度係数決定部003に送る。

彩度係数決定部003は、バッファから各画素の明度L*012を順に読み出し、基準明度Lp022と各画素の明度L*012から、その画素の彩度係数g014を決定して、その情報を彩度係数適用部004へ送る。彩度係数適用部004は、彩度係数決定部003と同期してバッファからa*b*値013を読み出し、対応する彩度係数g014を乗算する。なお背景に非常に明るい部分や暗い部分があると、画像全体の平均や最頻値は主要被写体より背景に影響されやすい。そこで、概ね主要被写体は画面の中央付近にあるものと仮定し、画面の中央付近の領域の画素のみ計算に使用して平均値や最頻値を出すようにしても良い。

第６の実施形態例において、図３で説明した明暗信号調整部００７を備えても良い。図１６の構成図は、明暗調整部００７の結果を彩度係数決定に反映させた場合の構成例である。また、図１７の構成図は、明暗調整部００７の結果を彩度係数決定に反映させない場合の例である。これらの例では、いずれの場合も、明暗調整部007で調整されたL*'を色空間変換部００５への入力としている。

これまでの上記実施形態例では、ハードウェアで処理を行う構成になっていたが、これに限定される必要はない。例えば、撮影した信号を未処理のままのRawデータとして、制御部121から撮影時の各種設定情報を画像のヘッダー情報として記録しておき、別途ソフトウェア（プログラム）にて処理する構成も可能である。

図９は、前記第２の実施形態例に対応するソフトウェア処理に関する手順の一例を示すフローチャートである。このフローチャートについて説明する。Step1で、画像信号と各種設定などのヘッダー情報を読み込む。Step2で公知の補間によりRGBの三板画像を生成する。Step3でヘッダー情報からホワイトバランス係数を求め、ホワイトバランス処理をおこなう。Step4で色空間変換を行いRGBからL*a*b* を計算する。Step５でL*値を所定の階調変換曲線の設定に従い調整する。

Step6でヘッダー情報から撮影シーン情報やISO感度情報を得て、LUTや演算式を選択し、調整されたL*値に応じて彩度係数を決定する。Step7で色信号a*, b* 各々に彩度係数 を適用する。Step8で色空間変換をおこない、L*a*b*信号からRGB信号へ戻す。Step9で全画素に関して処理が終了したかを判断する。処理が終了していない場合は上記Step4〜Step8のループ処理を繰り返し、処理が終了した場合はStep10で画像信号を出力して終了となる。

図９のフローチャートは、Step2、Step3、Step５の処理を省略して、図１に記載の色変換モジュール、およびこの色変換モジュールを用いた画像処理システムの作用を実行させるプログラムに対応させることができる。この場合には、コンピュータに、画像信号を読み込む手順（Step1）と、前記画像信号に対して第１の色空間変換を行う手順（Step4）と、前記色空間変換された第１の画像信号（L*）により彩度係数を決定する手順（Step6）と、前記決定された彩度係数を前記色空間変換された第２の画像信号（a*b*）に対して適用する手順と、前記第１の画像信号（L*）および第２の画像信号（a*b*）に対して第２の色空間変換を行う手順（Step8）を実行させて、プログラムにより色調整を実現するものである。

また、図９のフローチャートは、コンピュータに、さらに補間（Step2）やホワイトバランス処理（Step3）のような前段処理を施す手順と、前記色空間変換された第１の画像信号（L*）に対して明暗信号調整を行う手順（Step5）とを付加して実行させるためのプログラムに対応している。このプログラムは、図３に示されている撮像装置の作用を実行させるものである。

第１０図は、前記第５の実施形態例に対応し、２つの色信号に対する彩度係数が異なる場合のソフトウェア処理に関する手順の一例を示すフローチャートである。Step1〜5およびStep８〜１０については図９の手順と同様である。Step11とStep12はそれぞれStep１で読み込んだヘッダー情報から撮影シーン情報やISO感度情報を得てLUTや演算式を選択し、Step5で調整されたL*値に応じて第１の彩度係数と第２の彩度係数を決定する。Step13は第１の彩度係数を色信号a*に適用し、Step１4は第２の彩度係数を色信号b*に適用する。

図１０のフローチャートは、Step2、Step3Step５の処理を省略して、図５に記載の色変換モジュール、およびこの色変換モジュールを用いた画像処理システムの作用を実行させるプログラムに対応させることができる。この場合には、コンピュータに、画像信号を読み込む手順（Step1）と、前記画像信号に対して第１の色空間変換を行う手順（Step4）と、前記色空間変換された第１の画像信号（L*）により第１の彩度係数を決定する手順（Step11）と、前記色空間変換された第１の画像信号（L*）により第２の彩度係数を決定する手順（Step12）と、前記決定された第１の彩度係数を前記色空間変換された第２の画像信号（a*）に対して適用する手順（Step13）と、前記決定された第２の彩度係数を前記色空間変換された第３の画像信号（b*）に対して適用する手順（Step１4）と、前記第１の画像信号ないし第３の画像信号（L*a*b*）に対して第２の色空間変換を行う手順（Step8）を実行させて、プログラムにより色調整を実現するものである。

また、図１０のフローチャートは、コンピュータに、さらに補間（Step2）やホワイトバランス処理（Step3）のような前段処理を施す手順と、前記色空間変換された第１の画像信号（L*）に対して明暗信号調整を行う手順（Step5）を付加して実行させて、色調整を実現するためのプログラムに対応している。このプログラムは、図７に示されている撮像装置の作用を実行させるものである。

図１２は、第６の実施形態例に対応するソフトウェア処理の手順を示すフローチャートである。Step21でRGB画像信号を読み込み、Step22で第１の色空間変換を行い、L*a*b*信号にし、Step23にて全画素に関して処理が終了したかを判断する。この判断結果が全画素に関して終了していない場合には、Step22の処理を繰り返す。全画素について色変換が終了していればStep24で画像全体あるいは特定範囲の画素について明度L*値の平均値あるいは最頻値を算出し、その値を基準明度とする。

Step２5で個々の画素の明度L*とStep23で算出した基準明度とから彩度係数を計算する。Step26で各画素の色信号a*、b*各々に彩度係数を適用する。Step27で第２の色空間変換をおこない、L*a*b*信号からRGB信号へ戻す。Step28で全画素に関して処理が終了したかを判断し、終了していない場合は上記Step25〜Step27のループ処理を繰り返す。処理が終了した場合はStep29にて画像信号を出力して終了となる。

図１２のフローチャートは、コンピュータに、画像信号を読み込む手順（Step21）と、前記画像信号に対して第１の色空間変換を行う手順（Step22）と、前記第１の色空間変換を全画素について終了したかどうかを判定する手順（Step23）と、前記第１の色空間変換を行った第１の画像信号（L*）に対して基準明度を算出する手順（Step24）と、前記基準明度により前記第１の画像信号（L*）に対して彩度係数を決定する手順（Step２5）と、前記決定された彩度係数を前記第１の色空間変換された第２の画像信号に対して適用する手順と、前記第１の画像信号および第２の画像信号（a*b*）に対して第２の色空間変換を行う手順（Step27）を実行させるプログラムに対応する。

このプログラムは、図１１に記載されている色変換モジュール、およびこの色変換モジュールを用いた画像処理システムの作用を実行させるプログラムに対応するものである。また、明暗信号調整部を備えている場合は、Step22またはStep23の後に明暗調整を行なう手順を実行させ、その結果をStep25の係数決定に反映させてもよい。明暗調整部の結果をStep25の係数決定に反映させない場合は、Step22からStep27までの間に明暗調整を行なう手順を実行させる。

なお、上記の全実施形態例では明暗や色の調整をおこなう色空間としてL*a*b* を用いたが、L*u*v* やYCbCrなどの他、変換時の計算式を簡略化した他の色空間であっても良い。さらに第１乃至第３の実施形態では、HCVなどのように明度・彩度・色相を直接表す色空間を用いても良い。その場合彩度係数は彩度にのみ適用し、色相には適用しない。また彩度係数適用部004で係数を単純に乗算することで彩度調整を行っているが、係数の適用方法は乗算に限らず加減算や高次関数の形で適用しても良い。

以上説明したように、本発明によれば、デジタル画像に対し好ましい画質調整を可能とする、色調整モジュールおよび撮像装置、ならびに色調整を実現するためのプログラムを提供することができる。

本発明の色変換モジュールおよび画像処理システムの実施形態を示す構成図である。 本発明の実施形態における特性図である。 本発明の撮像装置の実施形態を示す構成図である。 本発明の実施形態における特性図である。 本発明の色変換モジュールおよび画像処理システムの他の実施形態を示す構成図である。 本発明の実施形態における特性図である。 本発明の撮像装置の他の実施形態を示す構成図である。 本発明の実施形態における特性図である。 本発明の処理手順を示すフローチャートである。 本発明の他の処理手順を示すフローチャートである。 本発明の色変換モジュールおよび画像処理システムの他の実施形態を示す構成図である。 本発明の他の処理手順を示すフローチャートである。 本発明の画像処理システムの他の実施形態を示す構成図である。 本発明の画像処理システムの他の実施形態を示す構成図である。 本発明の画像処理システムの他の実施形態を示す構成図である。 本発明の画像処理システムの他の実施形態を示す構成図である。 本発明の画像処理システムの他の実施形態を示す構成図である。

符号の説明

００１・・・画像入力部、００２・・・第１の色空間変換部、００３・・・彩度係数決定部、００４・・・彩度係数適用部、００５・・・第２の色空間変換部、００６・・・画像出力部、０２１・・・明度分布調査部、１０１・・・光学系、１０２・・・撮像素子、１０３・・・初期信号処理部、１０４・・・補間処理部、１０５・・・ホワイトバランス（WB）処理部、１０６・・・第１の色空間変換部、１０７・・・明暗信号調整部、１０８・・・後処理部、１０９・・・画像記録部、１２１・・・制御部、１２２・・・外部Ｉ／Ｆ、２０１・・・彩度係数決定部、２０２・・・彩度係数適用部、２０３・・・第１の適用部、２０４・・・第２の適用部、

Claims (7)

1. 画像の明暗成分信号と色成分信号が入力され、前記画像の明暗成分信号に応じた係数を前記色成分信号に対して適用して、該色成分信号値を変更し、変更された色成分信号を出力する色調整モジュールであって、
   前記画像中所定範囲内の前記明暗成分信号値の統計量に基づいた基準値を設定する明暗分布調査部を具え、前記明暗成分信号値と前記基準値に基づいて前記係数を決定し、
   前記係数と前記明暗成分信号値との関係は、明暗成分信号値の上限付近および下限付近では前記係数が小さく、明暗成分信号値が中間的な値の時は大きいものであることを特徴とする色調整モジュール。
2. 前記明暗成分信号値が、前記基準値に近いほど前記係数を大きくすることを
   特徴とする請求項１に記載の撮像装置。
3. 電子撮像部と、前記電子撮像部からの信号を処理して原色系または補色系の画像信号を生成する前段処理部と、前記前段処理部から供給された原色系または補色系の画像信号を、明暗成分信号と色成分信号に変換する第１の色空間変換部と、前記画像の明暗成分信号に応じた係数を前記色成分信号に対して適用して、該色成分信号値を変更する色調整部と、前記明暗成分信号と前記変更された色成分信号を統合して原色系または補色系の画像信号に再変換する第２の色空間変換部と、原色系または補色系の画像信号に出力形態に合わせた処理を施して出力する後処理部とを具え、
   撮像時の設定情報を保持し、該撮影時の設定情報に応じて前記明暗成分信号値と係数との関係を変更することを特徴とする撮像装置。
4. 前記明暗成分信号を調整する明暗信号調整部を具え、前記色調整部は前記明暗信号調整部の出力に応じた係数を前記色成分信号に対して適用することを特徴とする請求項３に記載の撮像装置。
5. 画像の明暗成分信号と複数の色成分信号が入力され、前記色に関する各信号に対し、前記明暗成分信号に応じた係数を適用して、各色成分信号値を変更し、変更された色成分信号を出力する色調整モジュールであって、前記係数と前記明暗成分信号との関係が前記各色成分信号ごとに異なるとともに、前記係数と前記明暗成分信号との関係は、前記明暗成分信号値が大きい領域では前記色に関する複数の信号のうち第１の信号に対する第１の係数が第２の信号に対する第２の係数より大きく、前記明暗成分信号値が小さい領域では、第２の係数が第１の係数より大きいものであることを特徴とする色調整モジュール。
6. 電子撮像部と、前記電子撮像部からの信号を処理して原色系または補色系の画像信号を生成する前段処理部と、前記前段処理部から供給された原色系または補色系の画像信号を、明暗成分信号と複数の色成分信号に変換する第１の色空間変換部と、前記複数の色成分信号に対し、各信号ごとに前記画像の明暗成分信号に応じた係数を各々適用して、各色成分信号値を変更する色調整部と、前記明暗成分信号と前記変更された色成分信号を統合して原色系または補色系の画像信号に再変換する第２の色空間変換部と、前記原色系または補色系の画像信号に、出力形態に合わせた処理を施して出力する後処理部とを具え、前記係数と前記明暗成分信号との関係が、前記複数の色成分信号ごとに異なるとともに、撮像時の設定情報を保持し、該撮影時の設定情報に応じて前記各色成分信号に対応した前記係数と前記明暗成分信号との関係を変更することを特徴とする撮像装置。
7. コンピュータに、画像信号を読み込む手順と、前記画像信号に対して第１の色空間変換を行って明暗成分信号と色成分信号を生成する手順と、前記第１の色空間変換を全画素について終了したかどうかを判定する手順と、前記第１の色空間変換を行って生成した前記画像信号に基づく明暗成分信号に対して、前記明暗成分信号の統計量に基づく基準明度を算出する手順と、前記基準明度により前記彩度係数を決定する手順と、前記決定された彩度係数を前記色成分信号に対して適用する手順と、前記明暗成分信号と色成分信号に対して第２の色空間変換を行う手順を実行させる、色調整を実現するためのプログラム。

Images