JP5097927B2 - 色変換マトリクス算出方法 - Google Patents

Description

この発明は、例えば、カラー撮像装置から出力されるデジタル信号に対する色補正の際に使用される、色変換マトリクスの算出方法に関するものである。

一般に、撮像装置などの画像入力系の色空間と、画像表示装置やプリンタなどの画像出力系の色空間との間には、ズレがある。また、画像入力装置で得られるＲＧＢ信号は、撮影レンズ等の光学系、カラーフィルタおよび撮像素子等の受光センサの撮像特性に依存するので、実際の色と入力信号の色にはズレが生じる。したがって、撮像装置で撮影した画像をモニタ等に表示させた場合には、再現画像の色合いは元の被写体の色合いと異なる。また、このような色合いの違いは、出力装置の種類に応じて異なる。

そこで、たとえば、色変換マトリクスを用いた色補正処理により、再現色を本来の色に近似させる技術が存在する（特許文献１）。

特許文献１に係る技術では、Ｌ^*ａ^*ｂ^*空間において、Ｌ^*、ａ^*およびｂ^*の各々の成分の実際の色信号と撮像画像の色信号との差の２乗和が小さくなるように、最小自乗法の反復解法を用いて、色変換マトリクス（リニアマトリクス）を最適化していた。また、当該色変換マトリクス導出の際の初期値として、単位行列を用いていた。

特開２００５−４５４４６号公報

しかしながら、特許文献１に係る色変換マトリクスの導出（最適化）方法の場合には、色変換マトリクスの導出に要する計算量が多く、当該色変換マトリクスの導出時間に長時間必要であるという問題があった。

また、当該特許文献１に係る技術では、色相および彩度の再現性の精度が低下するという問題もあった。

そこで、本発明は、色変換マトリクスの導出（最適化）までの短時間化が可能な、色変換マトリクスの算出方法を提供することを目的とする。また、色相および彩度の再現性の精度を向上させることができる、色変換マトリクスの算出方法を提供することを目的とする。

上記の目的を達成するために、本発明に係る請求項１に記載の色変換マトリクスの算出方法は、色信号に対する色補正の際に使用される色変換マトリクスを算出する色変換マトリクス算出方法であって、（Ａ）彩度および色相が段階的に変化した複数のカラーパッチを用意するステップと、（Ｂ）前記カラーパッチを測色することにより、第一の色値を得るステップと、（Ｃ）前記カラーパッチを撮像することにより得られる入力色信号を、行列要素が未知数である前記色変換マトリクスを用いて変換することにより、第二の色値を得るステップと、（Ｄ）前記第一の色値と前記第二の色値とを用いた最小自乗法により、前記未知数を求めることにより、前記色変換マトリクスを算出するステップとを、備えており、前記ステップ（Ｄ）は、（Ｄ−１）明度成分を用いず、色差成分のみを用いた前記最小自乗法により、第一の前記色変換マトリクスを算出するステップを、備えている。

また、本発明に係る請求項２に記載の色変換マトリクスの算出方法は、請求項１に記載の色変換マトリクス算出方法であって、前記ステップ（Ｂ）は、複数の前記カラーパッチに対して各々、前記第一の色値を得るステップであり、前記ステップ（Ｃ）は、前記複数のカラーパッチに対して各々、前記第二の色値を得るステップであり、前記ステップ（Ｄ−１）は、ΣωｉΔＥｉが最小となるように、前記最小自乗法により、前記第一の色変換マトリクスを算出するステップである。ここで、Σは、前記複数のカラーパッチの数分の和であり、ｉは、前記カラーパッチの識別子であり、ωｉは、重み付け定数であり、前記重み付け定数ωｉの前記複数のカラーパッチ分の総和は、１であり、ΔＥｉは、｛（前記第一の色値の第一の色差成分）−（前記第二の色値の前記第一の色差成分）｝²＋｛（前記第一の色値の第二の色差成分）−（前記第二の色値の前記第二の色差成分）｝²、である。

また、本発明に係る請求項３に記載の色変換マトリクスの算出方法は、請求項１に記載の色変換マトリクス算出方法であって、前記ステップ（Ｄ）は、（Ｄ−２）複数の前記カラーパッチにおいて、前記第一の色値の明度成分の平均値である第一の明度平均値を得るステップと、（Ｄ−３）前記カラーパッチを撮像することにより得られる入力色信号を、前記第一の色変換マトリクスを用いて変換することにより、第三の色値を得るステップと、（Ｄ−４）前記複数のカラーパッチにおいて、前記第三の色値の明度成分の平均値である第二の明度平均値を得るステップと、（Ｄ−５）前記第一の明度平均値を前記第二の明度平均値で除算することにより得られた値を、前記第一の色変換マトリクスを構成する各行列要素に乗算することにより、第二の前記色変換マトリクスを算出するステップを、さらに備えている。

また、本発明に係る請求項４に記載の色変換マトリクスの算出方法は、請求項１に記載の色変換マトリクス算出方法であって、前記ステップ（Ｄ−１）は、（Ｄ−１−１）任意の３色のカラーパッチを選択するステップと、（Ｄ−１−２）前記３色のカラーパッチにおける、前記第一の色値を得るステップと、（Ｄ−１−３）前記３色のカラーパッチを撮像することにより得られる入力色信号から、前記第二の色値を得るステップと、（Ｄ−１−４）前記ステップ（Ｄ−１−２）で得られた前記第一の色値と、前記ステップ（Ｄ−１−３）で得られた前記第二の色値とが等しくなるように、前記未知数を求めるステップと、（Ｄ−１−５）前記ステップ（Ｄ−１−４）で求めた前記未知数を、最初の初期値として、前記最小自乗法により、前記第一の色変換マトリクスを算出するステップとを、備えている。

また、本発明に係る請求項５に記載の色変換マトリクスの算出方法は、請求項４に記載の色変換マトリクス算出方法であって、前記３色のカラーパッチは、レッド、ブルーおよびグリーンである。

また、本発明に係る請求項６に記載の色変換マトリクスの算出方法は、請求項４に記載の色変換マトリクス算出方法であって、前記３色のカラーパッチは、シアンおよびマゼンタ、イエローである。

本発明の請求項１に記載の色変換マトリクスの算出方法は、明度成分を用いず、色差成分のみを用いた最小自乗法により、第一の色変換マトリクスを算出している。

したがって、最小自乗法を用いた処理の際に明度成分が加味されない分、第一の色変換マトリクスを構成する各行列要素の解の収束までの時間が短縮される。また、明度成分を加味していない分、第一のマトリクス算出の際に、色差成分の重み付けを大きくすることができる。よって、色相・彩度成分の最適化の精度が高い色変換マトリクスを求めることができる。

また、本発明に係る請求項２に記載の色変換マトリクスの算出方法は、重み付け定数ωｉを加味した関数から、第一の色変換マトリクスを構成する各行列要素の解を求めている。

したがって、ある色と他の色との間で補正精度に差を付けさせることができる。よって、特定の色について他の色よりも補正精度を向上させる色変換マトリクスの算出が可能となる。

また、本発明に係る請求項３に記載の色変換マトリクスの算出方法は、簡単な四則計算のみで、第二の色変換マトリクスを求めている。

したがって、色差成分および明度成分も考慮した第二の色変換マトリクスを、第一の色変換マトリクスを用いて短時間に求めることが可能となる。

また、本発明に係る請求項４に記載の色変換マトリクスの算出方法は、第一の色変換マトリクスの導出に際して、任意の３色のカラーパッチの色値に基づいて、最初の初期値を決定している。

このように、固定値でなく、撮像装置が異なることにより変化する入力色信号に基づいて、最初の初期値を決定している。したがって、各撮像装置ごとの感度特性等を考慮して、最初の初期値を決定できる。

また、本発明に係る請求項５および請求項６に記載の色変換マトリクスの算出方法は、３色のカラーパッチとしては、レッド、ブルーおよびグリーン、または、シアン、マゼンタおよびイエローを選択している。

このように、３色のカラーパッチとして色相が大きく異なるものを選ぶことにより、３色のカラーパッチとして色相が近いものを選ぶ場合よりも、第一の色変換マトリクスの最適化までの時間を、より短縮化させることができる。また、第一の色変換マトリクスの最適化の際の解法において、十分に収束していると判断できる解に到達するまでの時間は、初期値として単位行列を選択する場合よりも、短縮化することができる。

以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。

＜実施の形態１＞
図１は、本発明に係る色変換マトリクス算出方法および色変換方法のシステム概要を示す図である。

図１に示す撮像および色変換マトリクス算出システム１００は、撮像装置１０、色変換マトリクス算出装置２０および出力装置３０から構成されている。

撮像装置１０は、被写体を撮像することが出来る装置である。撮像装置１０では、撮像素子から、撮像画像信号であるアナログ信号が出力される。当該アナログ信号は、Ａ／Ｄ変換器により、デジタル信号に変換される。また、当該デジタル信号は、当該撮像装置１０内において、各デジタル処理および補正処理が施される。たとえば、デジタル信号に対して、ＲＧＢ信号を生成する色分解処理、白色基準値に応じてＲ（赤）、Ｇ（緑）およびＢ（青）のゲインを調整するホワイトバランス補正処理、色補正処理、および出力装置３０のγ特性を相殺するように階調を調整する階調補正処理等が実施される。

出力装置３０において出力される再現色と、撮像装置１０で撮像された被写体の本来の色とは、一般的に一致しない。そこで、再現色を被写体本来の色に近づけるために、上記色補正処理が実施される。当該色補正処理は、入力される第１色空間の色信号である原色ＲＧＢ信号の色域を、ｓＲＧＢ規格で定義された第２色空間の色信号であるｓＲＧＢ信号の色域に変換する処理である。また、当該色補正処理は、色変換マトリクスを用いて実施される。

色変換マトリクスは、たとえば、撮像装置１０の製造工程の終段において、色変換マトリクス算出装置２０との協働によって求められる（最適化される）。色変換マトリクスは、３×３のマトリクスであり、９個のマトリクス要素から成る。ここで、個々の撮像装置１０の撮像系の色感度特性に応じて、色変換マトリクスを構成する９個のマトリクス要素の値が定められる。

次に、色変換マトリクス算出装置２０における、色変換マトリクスの算出方法について説明する。

まず、彩度および色相が段階的に変化した複数の色サンプル（カラーパッチ）から成る、カラーチェッカーを用意する。当該カラーチェッカーとして、たとえば、図２に示すような、マクベスカラーチャート（登録商標）を採用することができる。

図２に示すマクベスカラーチャートは、２４色のカラーパッチＰ１〜Ｐ２４から構成されている。ここで、カラーパッチＰ１〜Ｐ１８は有彩色であり、カラーパッチＰ１９〜Ｐ２４は無彩色である。なお、以後の説明では、カラーチェッカーとして、マクベスカラーチャートを使用するものとする。

次に、マクベスカラーチャートを構成する各カラーパッチＰ１〜Ｐ２４を、色彩計等により正確に測色する。マクベスカラーチャートのカラーパッチＰ１〜Ｐ２４の測色値は、既知であることがある。もし、マクベスカラーチャートのカラーパッチＰ１〜Ｐ２４の測色値が既知でない場合には、後述する撮像装置１０によるマクベスカラーチャートの撮像と同じ照明環境下で、カラーパッチＰ１〜Ｐ２４を測色する。当該測色により、各カラーパッチＰ１〜Ｐ２４に対する第一の色値として、Ｃｍｅ１〜Ｃｍｅ２４を得る。

ここで、後述するように、色変換マトリクスの算出に際しては、基本的には、有彩色であるカラーパッチＰ１〜Ｐ１８のみを用いる。無彩色のカラーパッチＰ１９〜Ｐ２４は、グレー階調の補正、ホワイトバランス補正およびゲイン調整などの際に使用される。

カラーパッチＰ１〜Ｐ２４の測色結果である測色信号（ＲＧＢ信号）は、色変換マトリクス算出部２０に入力される。ここで、当該入力されるデータが、ＲＧＢ信号でない場合、例えばＸＹＺ信号、Ｌ^*ａ^*ｂ^*信号および分光反射率等の場合には、公知の変換式により、ＲＧＢ信号に変換しておく（たとえば、後述する式（３）、（４）参照）。

次に、撮像装置１０を用いて、マクベスカラーチャートを被写体として撮像する。当該撮像装置１０による撮像は、上記測色時と同じ照明環境下で実施する。このように、カラーパッチＰ１〜Ｐ２４を撮像することにより、撮像装置１０は、入力色信号（ＲＡＷデータ）を得ることができる。

当該撮像後、撮像装置１０は、当該入力色信号（ＲＡＷデータ）を色変換マトリクス算出部２０へ送信する。ここで、当該入力色信号（ＲＡＷデータ）から得られる入力色を、Ｃｉｎ（Ｒ（赤）ｉｎ，Ｇ（緑）ｉｎ，Ｂ（青）ｉｎ）と定義する。

また、最適化（導出）処理前の色変換マトリクスＭを、９個の未知数マトリクス成分（行列要素）ｍ１〜ｍ９を用いて、下式（１）のように定義する。

色変換マトリクス算出装置２０では、入力された上記入力色Ｃｉｎを、行列要素が未知数である色変換マトリクスＭを用いて変換することにより、補正色Ｃｅｓ（Ｒ（赤）ｅｓ，Ｇ（緑）ｅｓ，Ｂ（青）ｅｓ）を得る。行列要素が未知数である当該色変換マトリクスＭを用いて求められる色値が、第二の色値であると把握できる。入力色Ｃｉｎと補正色Ｃｅｓとの間では、Ｃｅｓ＝Ｍ・Ｃｉｎの関係が成立する。当該関係式を行列表示したものが、下式（２）である。

ここで、マトリクス演算では、色はＲＧＢ信号で扱われる。しかし、色の一致度の評価では、Ｌ^*ａ^*ｂ^*信号で扱われる。これは、Ｌａｂ色空間が人間の色知覚と座標上の距離との相関性が良好な均等色空間であるからである。なお、Ｌ^*は明度成分であり、ａ^*およびｂ^*は、色相および彩度を示す色差成分である。また、ａ^*は第一の色差成分であり、ｂ^*は第二の色差成分である。

ＲＧＢ信号からＬ^*ａ^*ｂ^*信号への変換は、下式（３）、（４）に示す公知式により実現される。

ここで、式（３）は、ＲＧＢ信号をＸＹＺ信号に変換するための変換式である。また、式（４）は、ＸＹＺ信号をＬ^*ａ^*ｂ^*信号に変換するための変換式である。色の一致度の評価時には、ＲＧＢ信号は、ＲＧＢ→ＸＹＺ→Ｌ^*ａ^*ｂ^*変換により、Ｌ^*ａ^*ｂ^*信号に変換される。

また、式（３）において、標準観測者の目に対する視野角を２°として、標準の光ＣＩＥ−Ｄ₆₅を照明光とする。

また、式（４）において、Ｘ／９５．０４７≦０．００８８５６ならば、ｆ（Ｘ）＝Ｘ^1/3とする。０．００８８５６＜Ｘ／９５．０４７ならば、ｆ（Ｘ）＝７．７８７Ｘ＋１６／１１６とする。Ｙ／１００．０００≦０．００８８５６ならば、ｆ（Ｙ）＝Ｙ^1/3とする。０．００８８５６＜Ｙ／１００．０００ならば、ｆ（Ｙ）＝７．７８７Ｙ＋１６／１１６とする。Ｚ／１０８．８８３≦０．００８８５６ならば、ｆ（Ｘ）＝Ｚ^1/3とする。０．００８８５６＜Ｚ／１０８．８８３ならば、ｆ（Ｚ）＝７．７８７Ｚ＋１６／１１６とする。

なお、後述では特に言及しないが、色信号の変換処理が必要な場合には、上記式（３）、（４）を用いて実施される。

上記第一、二の色値を求め、当該第一、二の色値をＲＧＢ信号からＬ^*ａ^*ｂ^*信号へ変換した後、当該第一の色値と当該第二の色値とを用いた最小自乗法により、未知数の行列成分ｍ１〜ｍ９を求めることにより、色変換マトリクスＭを算出（最適化）する。

本実施の形態では、カラーパッチＰ１〜Ｐ１８の１８色について、入力色Ｃｉｎから予測した補正色Ｃｅｓ（第二の色値）の全てが、それぞれ対応する目標色Ｃｍｅ（第一の色と）に略一致するように色変換マトリクスＭを最適化する。具体的には、補正色Ｃｅｓと目標色Ｃｍｅとの色差ΔＥの１８色分の２乗和が許容誤差以下となるような行列要素ｍ１〜ｍ９を、最小自乗法の反復解法により求める。

カラーパッチの所定の１色について、補正色Ｃｅｓと目標色Ｃｍｅの色差ΔＥは、下式（５）により定義され、Ｌａｂ色空間において評価される。

ここで、式（５）において、補正色ＣｅｓのＬ^*ａ^*ｂ^*信号を（Ｌ^*ｅｓ，ａ^*ｅｓ，ｂ^*ｅｓ）、目標色ＣｍｅのＬ^*ａ^*ｂ^*信号を（Ｌ^*ｍｅ，ａ^*ｍｅ，ｂ^*ｍｅ）で表す。

ここで、注目すべきは、本発明に係る色変換マトリクスの算出方法では、明度成分Ｌ^*を用いず、色差成分ａ^*，ｂ^*のみを用いた前記最小自乗法により、色変換マトリクスを算出している。なお、ここでは、Ｌ^*ａ^*ｂ^*信号（空間）について言及しているが、１つの明度信号と２つの色差信号とから成る如何なる空間に対しても、同様の議論が成立する。

当該明度成分を用いない最小自乗法により求められた色変換マトリクスを、第一の色変換マトリクスと称することとする。当該第一の色変換マトリクスは、色差成分のみで張られる２次元平面上での最小自乗法により導出されることが、上記より分かる。

ここで、有彩色１８色のカラーパッチＰ１〜Ｐ１８に対応する色差ΔＥを区別するために、カラーパッチの番号を添え字として付し、ΔＥ１、ΔＥ２、…、ΔＥ１８として表す。カラーパッチの番号（カラーパッチの識別子）を示すパラメータをｉ（ｉ＝１、２、…、１８）とすると、各色差はΔＥｉで表される。また、行列要素ｍ１、ｍ２、…、ｍ９の順番を示すパラメータをｊ（ｊ＝１、２、…、９）とすると、各行列要素はｍｊで表される。また、補正色Ｃｅｓは、入力色Ｃｉｎに色変換マトリクスＭを作用させたものである。したがって、色差ΔＥｉは行列要素ｍｊをパラメータとする関数ΔＥｉ（ｍｊ）とみなすことができる。

最小自乗法において、有彩色１８色について上記第一，二の色値をそれぞれ求め、有彩色１８色について当該第一，二の色値から求めた色差ΔＥｉ（ｉ＝１、２、…、１８）の２乗和を、下式（６）に示すように関数φとして定義する。

ここで、式（６）における、Σは、有彩色の１８色分のカラーパッチＰ１〜Ｐ１８の数分の和である。式（６）における各色毎のΔＥｉは、式（５）で定義されている。したがって、式（６）に示すΔＥｉは、有彩色１８色の各色毎の、｛（第一の色値の第一の色差成分：ａ^*）−（第二の色値の第一の色差成分：ａ^*）｝²＋｛（第一の色値の第二の色差成分：ｂ^*）−（第二の色値の第二の色差成分：ｂ^*）｝²、であると把握できる。

そして、当該関数φが所定の閾値以下となるように、行列要素ｍｊ（ｊ＝１、２、…、９）を最適化する。関数φが極小になるための条件は、下式（７）で示される９個の式で与えられる。

しかし、式（６）は非線形式であり、行列要素ｍｊの解を直接求めることは不可能である。

そこで、最初の初期値（最初の出発点）となる行列要素を与え、当該最初の初期値の下、式（６）、（７）を用いて、近似解となる行列要素を求める。そして、当該求められた近似解を新たな出発点として用いて、式（６）、（７）により、行列要素の新たな近似解を得る。このように、最小自乗法の反復解法を、関数φが閾値以下に達するまで繰り返し行う。当該関数φが閾値以下に達すると、そのときの近似解を解に収束したものとして、当該収束解を第一の色変換マトリクスの行列要素ｍ１〜ｍ９の値として決定する。

なお、関数φを用いた色変換マトリクスの最適化では、各色について補正色Ｃｅｓと目標色Ｃｍｅとの色差がほぼ均等にばらつく。しかしながら、肌色等の特定色に限定して特定色の色一致の精度を向上させたい場合には、有彩色のカラーパッチＰ１〜Ｐ１８の１８色についてそれぞれ設定した重み付き定数ωｉ（ｉ＝１，２，・・・，１８）を、色差ΔＥｉに乗算して重み付けをする。下式（８）には、重み付け定数ωｉを加味した関数φを示す。

式（８）に示すΣωｉΔＥｉが最小となるように、最小自乗法により第一の色変換マトリクスを算出する。このような算出方法の場合には、重み付け定数ωｉの重み付け設定により、重みを大きくした特定色ほど、より忠実な色再現を行うことができる。つまり、特に再現性を高めたい特定の色がある場合、その色に対応する重み付け定数ωｉの割合を大きくする。

ここで、下式（９）に示すように、重み付け定数ω１〜ω１８の総和は１である。

なお、上記説明から分かるように、式（８）、（９）における、Σは、有彩色の１８色分のカラーパッチＰ１〜Ｐ１８の数分の和である。

なお、上述した各関数φに対する最小自乗法による解法処理は、特許文献１に開示されているように、公知である。したがって、ここでの、最小自乗法による解法処理の具体的な説明は省略する。

色変換マトリクス算出装置２０は、上記最小自乗法の反復解法により、最適解である行列要素ｍ１〜ｍ９の各値を求める（つまり、上記第一の色変換マトリクスを最適化する）。当該第一の色変換マトリクスは、色差成分ａ^*，ｂ^*のみの観点で最適化されている。また、色差成分ａ^*，ｂ^*について最適な色となる第一の色変換マトリクスを決定したので、続いて色変換マトリクス算出装置２０は、明度成分Ｌ^*を用いて当該第一の色変換マトリクスを調整し、最終的な色変換マトリクスである第二の色変換マトリクスを求める。

色差成分ａ^*，ｂ^*は、R、G、B空間における、R、G、Bの値の比率に相当し、明度成分Ｌ^*は、R、G、Bの値の大きさに相当する。したがって、明度成分Ｌ^*を用いて、第一の色変換マトリクスを後述するように調整し、第二の色変換マトリクスを求める。

まず、色変換マトリクス算出装置２０は、マクベスカラーチャートにおける有彩色の各カラーパッチＰ１〜Ｐ１８に対する測色結果（第一の色値と把握できる）より、明度成分Ｌ^*ｍｅｉを１８色分だけ抽出する。ここで、「ｍｅ」は、測色値であることを示している。また、ｉは、各有彩色の識別子であり、ｉ＝１，２・・・，１８である。なお、上記の通り、色変換マトリクス算出装置２０には、上記マクベスカラーチャートの測色結果は既に入力されている。

次に、下式（１０）に示すように、当該１８色分の明度成分Ｌ^*ｍｅｉの平均値である第一の明度平均値Ｌａｖ１を求める。

他方、色変換マトリクス算出装置２０は、上記した入力色信号（ＲＡＷデータ）を、上記第一の色変換マトリクスを用いて変換する。当該変換処理は、有彩色の１８色分について実施される。ここで、上記した入力色信号（ＲＡＷデータ）は、測色時と同じ照明環境下で撮像装置１０を用いてマクベスカラーチャートを撮像した際に、得られている。入力色信号（ＲＡＷデータ）を第一の色変換マトリクスを用いて変換した後の値を、第三の色値と称することとする。

次に、色変換マトリクス算出装置２０は、有彩色のカラーパッチの１８色分の当該第三の色値より、明度成分Ｌ^*ｅｓｉを各々抽出する。ここで、「ｅｓ」は、第一の色変換マトリクスを用いた変換処理後の色値であることを示している。また、ｉは、各有彩色の識別子であり、ｉ＝１，２・・・，１８である。

次に、下式（１１）に示すように、当該１８色分の明度成分Ｌ^*ｅｓｉの平均値である第二の明度平均値Ｌａｖ２を求める。

色変換マトリクス算出装置２０は、上記式（１０）、（１１）の結果および第一の色変換マトリクスを用いて、第二の色変換マトリクスＭａｆを求める。ここで、３×３行列である第二の色変換マトリクスＭａｆは、下式（１２）で表記されるものとする。

具体的に、色変換マトリクス算出装置２０は、第一の明度平均値Ｌａｖ１を、第二の明度平均値Ｌａｖ２で除算する。そして、色変換マトリクス算出装置２０は、当該除算結果により得られた値を、第一の色変換マトリクスを構成する各行列要素に、夫々乗算する。当該乗算後の値が、第二の色変換マトリクスＭａｆを構成する各行列要素ｍａｆ１〜ｍａｆ９である。換言すれば、色変換マトリクス算出装置２０は、第二の色変換マトリクスＭａｆを構成する各行列要素ｍａｆｋを、下式（１３）を用いて決定する。ここで、ｋは、行列要素の識別子であり、ｋ＝１，２，・・・，９である。

ここで、式（１３）において、ｍｋ（ｋ＝１，２，・・・，９）は、第一の色変換マトリクスの各行列要素である。式（１３）により求められた各行列要素ｍａｆｋから構成される第二の色変換マトリクスは、色差成分のみならず、明度成分をも考慮して最適化されたものとなる。また、当該第二の色変換マトリクスは、撮影で得られたＲＧＢ信号を測色したＲＧＢ信号に一致させるような色変換マトリクスであると把握できる。

色変換マトリクス算出装置２０は、当該第二の色変換マトリクスを、撮像装置１０に配設されたメモリ（図示せず）に格納・設定する。そして、第二の色変換マトリクスの設定後、撮像装置１０が被写体を撮影したときには、撮像装置１０内に配設されたデジタル信号処理回路（図示せず）は、当該第二の色変換マトリクスを用いて、撮像画像信号に対するデジタル色補正処理が実施される。当該色補正処理を実行することにより、出力装置３０において、測色値と極めて等しい色再現が実現される。

以上のように、本実施の形態に係る色変換マトリクス算出方法では、明度成分を用いず、色差成分のみを用いた最小自乗法により、第一の色変換マトリクスを算出している。つまり、第一の色変換マトリクスの導出では、色相・彩度の評価の際には必要の無い明度成分を加味しない。

したがって、最小自乗法を用いた処理の際に明度成分が加味されない分、第一の色変換マトリクスを構成する各行列要素の解の収束までの時間が短縮される。なお、撮像装置１０に格納される第二の色変換マトリクスは、上記のように、明度成分のみを用いた簡単な計算により求めている。したがって、最終的に撮像装置１０に格納される色変換マトリクスの導出までの時間を、かなり短縮化できる。

なお、特許文献１に係る技術では、色差成分だけでなく明度成分をも加味した関数から、最小自乗法により、色変換マトリクスの最適化を行っている。したがって、本実施の形態に係る色変換マトリクスの算出方法は、特許文献１に係る技術よりも、色変換マトリクス算出（最適化）までの時間を短縮でき、撮影で得られたＲＧＢ信号を測色したＲＧＢ信号に一致させるような色変換マトリクスをより精度良く導出できる。

また、本実施の形態に係る色変換マトリクス算出方法では、明度成分を用いず、色差成分のみを用いて、第一の色変換マトリクスを算出しているので、色相・彩度成分の最適化の精度が高い色変換マトリクスを求めることができる。これは、第一の色変換マトリクス算出の際に明度成分が含まれない分、色差成分に対する重み付けを大きくすることができるからである。

また、本実施の形態に係る色変換マトリクス算出方法では、式（８）に示すように、重み付け定数ωｉを加味した関数φから、第一の色変換マトリクスを構成する各行列要素の解を求めても良い。

この場合には、ある色と他の色との間で補正精度に差を付けさせることができる。よって、特定の色について他の色よりも補正精度を向上させる色変換マトリクスの算出が可能となる。

また、本実施の形態に係る色変換マトリクス算出方法では、式（１３）を用いて、最終的に撮像装置１０に設定・格納される第二の色変換マトリクスを求めている。

式（１３）は簡単な四則計算のみであるので、色差成分および明度成分も考慮した第二の色変換マトリクスを、第一の色変換マトリクスを用いて短時間に求めることが可能となる。

＜実施の形態２＞
実施の形態１では、最小自乗法の反復解法により、第一の色変換マトリクスを構成する各行列要素の最適化について述べた。当該最適化の計算において、上記最初の初期値（計算における最初の出発点）の値に応じて、解が収束するまでの反復解法の回数が異なる。したがって、当該初期値として、収束解になるべく近い値を採用する方が、反復解法のループ回数も減り、結果として、第一の色変換マトリクスの最適化までの計算時間も短縮化することができる。

本実施の形態では、上記反復解法における最初の初期値を決定するまでの流れを説明する。

まず、被写体（マクベスカラーチャート）から、有彩色カラーパッチＰ１〜Ｐ１８の中から、任意の３色のカラーパッチを選択する。ここで、当該カラーパッチの選択は、大きく色相が異なる３色を選ぶことが望ましい。たとえば、レッド、ブルーおよびグリーンの３色のカラーパッチ、または、シアン、マゼンタおよびイエローの３色のカラーパッチ、または、ブルーイッシュグリーン、オレンジおよびマゼンタの３色のカラーパッチを選択することが、望ましい。

次に、外部から色変換マトリクス算出装置２０へ、実施の形態１で説明した測色値である第一の色値を、上記選択した３色について入力する。

３色のカラーパッチとして、マクベスカラーチャートにおける、レッド、ブルーおよびグリーンを選択したとする。この場合には、レッドの測色結果である第一の色値（Ｒｍｅｒ，Ｇｍｅｒ，Ｂｍｅｒ）と、グリーンの測色結果である第一の色値（Ｒｍｅｇ，Ｇｍｅｇ，Ｂｍｅｇ）と、ブルーの測色結果である第一の色値（Ｒｍｅｂ，Ｇｍｅｂ，Ｂｍｅｂ）とを、色変換マトリクス算出装置２０に入力する。

また、実施の形態１で説明したように、色変換マトリクス算出処理に際して、撮像装置１０は、マクベスカラーチャートを撮像する。撮像装置１０は、当該撮像により、入力色信号（ＲＡＷデータ）を取得し、当該入力色信号（ＲＡＷデータ）を色変換マトリクス算出部２０へ送信する。ここで、入力色信号（ＲＡＷデータ）には、当然、上記３色に対する入力色信号（ＲＡＷデータ）も含まれている。

色変換マトリクス算出装置２０では、入力された上記３色各々の入力色信号（ＲＡＷデータ）から、行列要素ｍ１〜ｍ９が未知数である色変換マトリクスＭ（式（１）参照）を用いて、実施の形態１で説明した第二の色値を各々得る。

３色のカラーパッチとして、マクベスカラーチャートにおける、レッド、ブルーおよびグリーンを選択したとする。この場合には、式（２）の関係を用いて、次の３つの第二の色値を得る。レッドのカラーパッチの撮像結果である入力色信号（Ｒｉｎｒ，Ｇｉｎｒ，Ｂｉｎｒ）を、行列要素が未知数である色変換マトリクスＭを用いて変換することにより、１個目の第二の色値（Ｒｅｓｒ，Ｇｅｓｒ，Ｂｅｓｒ）を得る。また、ブルーのカラーパッチの撮像結果である入力色信号（Ｒｉｎｂ，Ｇｉｎｂ，Ｂｉｎｂ）を、行列要素が未知数である色変換マトリクスＭを用いて変換することにより、２個目の第二の色値（Ｒｅｓｂ，Ｇｅｓｂ，Ｂｅｓｂ）を得る。さらに、グリーンのカラーパッチの撮像結果である入力色信号（Ｒｉｎｇ，Ｇｉｎｇ，Ｂｉｎｇ）を、行列要素が未知数である色変換マトリクスＭを用いて変換することにより、３個目の第二の色値（Ｒｅｓｇ，Ｇｅｓｇ，Ｂｅｓｇ）を得る。

次に、色変換マトリクス算出装置２０は、上記３色について各第一の色値と、上記３色についての各第二の色値とが、等しくなるように、色変換マトリクスＭを構成する各行列要素を求める。

具体的に、色変換マトリクス算出装置２０は、式（１４）に示すように、９個連立方程式を作成する。

式（１４）の９個の連立方程式より、色変換マトリクス算出装置２０は、行列要素ｍ１〜ｍ９の値を求める。当該連立方程式の解法に基づいて求められた、行列要素ｍ１〜ｍ９の値から構成される色変換マトリクスＭは、レッド、グリーンおよびブルーの再現色を、実際のマクベスカラーチャートの実際の色に、正確に一致させることができる。

次に、色変換マトリクス算出装置２０は、上記連立方程式の解法結果の値を、第一の色変換マトリクスの算出処理における、最初の初期値と決定する。そして、色変換マトリクス算出装置２０は、当該最初の初期値（最初の出発点）を用いて、最小自乗法の反復解法により、第一の色変換マトリクスの最適化処理を実行する。

以上のように、本実施の形態に係る色変換マトリクスの算出方法では、第一の色変換マトリクスの最適化処理に際して、任意の３色のカラーパッチの色値に基づいて、最初の初期値を決定している。

したがって、単位行列を最初の初期値として設定している引用文献１と比較して、次のような効果を有する。つまり、撮像装置１０の感度特性は、個々の撮像装置１０によって異なる。したがって、単位行列を最初の初期値として採用した場合には、撮像装置１０の種類等が異なると、色変換マトリクスの最適化までの反復解法の反復回数が異なる。

これに対して、上記から分かるように、本実施の形態では、任意の３色のカラーパッチの測色値と、これらのカラーパッチの撮像結果である入力色信号とに基づいて、最初の初期値を決定している。つまり、本実施の形態では、異なる撮像装置１０間において固定値でなく、撮像装置１０が異なることにより変化する上記入力色信号に基づいて、最初の初期値を決定している。

したがって、本実施の形態では、各撮像装置１０ごとの感度特性等を考慮して、最初の初期値を決定できる。よって、撮像装置１０の種類等が異なったとしても、第一の色変換マトリクスの最適化までの反復解法の反復回数を同等することができる。

また、３色のカラーパッチとして、色相が大きく異なるものを選ぶことが望ましい。たとえば、３色のカラーパッチとして、レッド（Ｒ）、ブルー（Ｂ）およびグリーン（Ｇ）、または、シアン（Ｃ）、マゼンタ（Ｍ）およびイエロー（Ｙ）、または、ブルーイッシュグリーン、オレンジおよびマゼンタを、選択することが、第一の色変換マトリクスの最適化までの時間の短時間化の観点から、望ましい。

３色のカラーパッチとして色相が大きく異なならないものを選ぶ場合よりも、第一の色変換マトリクスの最適化までの時間を、より短縮化させることができる。

なお、様々な色の組み合わせ設定し、第一の色変換マトリクスの最適化までの時間を考察した。結果、３色のカラーパッチとして、マクベスカラーチャートにおける、ＲＧＢ、または、ＣＭＹ、または、ブルーイッシュグリーン・オレンジ・マゼンタを選択した場合には、十分に収束していると判断できる解に到達するまでの時間は、最初の初期値として単位行列を選択する場合よりも、十分に短縮化できることが分かった。

たとえば、所定の収束値（収束解）までの収束時間を計算したところ、最初の初期値として単位行列を採用した場合には、当該収束時間は２．１２５秒であった。また、マクベスカラーチャートにおけるＲＧＢの３色のカラーパッチから最初の初期値を設定した場合には、当該収束時間は０．５１６秒であった。また、マクベスカラーチャートにおけるＣＭＹの３色のカラーパッチから最初の初期値を設定した場合には、当該収束時間は０．９６８秒であった。また、マクベスカラーチャートにおけるブルーイッシュグリーン・オレンジ・マゼンタの３色のカラーパッチから最初の初期値を設定した場合には、当該収束時間は０．０６２秒であった。

なお、上記所定の収束値と異なる他の収束値に収束するまでの収束時間も考察した結果、上記考察結果と同様に、最初の初期値の導出の際に３色のカラーパッチとしてブルーイッシュグリーン・オレンジ・マゼンタを選択することが、収束時間短縮化の観点から最も好ましいことが確認された。

なお、第一の色変換マトリクスの導出（最適化）の際に最初の初期値を上記の如く１つ決定したので、そこから一定の範囲内でランダムに当該最初の初期値をずらしても良い。

また、本願明細書では、撮像系で得られたＲＧＢ信号をｓＲＧＢ規格に合わせて色補正する色変換マトリクスを求めている。しかし、本発明のマトリクス算出方法は特に色補正を目的とする色変換マトリクスの算出に限定されない。例えば異なる色空間の色信号を相互変換する（ＲＧＢ信号をＸＹＺ信号や印刷のためのＣＭＹＫ信号に変換する、補色のＣＭＹ信号をＲＧＢ信号に変換する等）ための色変換マトリクスの算出にも適用できる。

なお、撮像装置１０として、デジタルカメラの他、デジタルビデオカメラ、スキャナ、電子内視鏡等であってもよい。

また、本実施形態では色変換マトリクス算出装置２０を撮像装置１０と別体にしている。しかし、撮像装置１０内に、上記で説明した色変換マトリクス算出装置２０が搭載されていてもよい。

本発明に係る色変換マトリクス算出方法を実現することができるシステムの概略を示すブロック図である。 複数のカラーパッチから成るマクベスカラーチャートの外観を示す図である。

符号の説明

１０ 撮像装置
２０ 色変換マトリクス
３０ 出力装置

Claims (6)

1. 色信号に対する色補正の際に使用される色変換マトリクスを、算出する色変換マトリクス算出方法であって、
   （Ａ）彩度および色相が段階的に変化した複数のカラーパッチを用意するステップと、
   （Ｂ）前記カラーパッチを測色することにより、第一の色値を得るステップと、
   （Ｃ）前記カラーパッチを撮像することにより得られる入力色信号を、行列要素が未知数である前記色変換マトリクスを用いて変換することにより、第二の色値を得るステップと、
   （Ｄ）前記第一の色値と前記第二の色値とを用いた最小自乗法により、前記未知数を求めることにより、前記色変換マトリクスを算出するステップとを、備えており、
   前記ステップ（Ｄ）は、
   （Ｄ−１）明度成分を用いず、色差成分のみを用いた前記最小自乗法により、第一の前記色変換マトリクスを算出するステップを、備えている、
   ことを特徴とする色変換マトリクス算出方法。
2. 前記ステップ（Ｂ）は、
   複数の前記カラーパッチに対して各々、前記第一の色値を得るステップであり、
   前記ステップ（Ｃ）は、
   前記複数のカラーパッチに対して各々、前記第二の色値を得るステップであり、
   前記ステップ（Ｄ−１）は、
   ΣωｉΔＥｉが最小となるように、前記最小自乗法により、前記第一の色変換マトリクスを算出するステップである、
   ここで、
   Σは、前記複数のカラーパッチの数分の和であり、
   ｉは、前記カラーパッチの識別子であり、
   ωｉは、重み付け定数であり、
   前記重み付け定数ωｉの前記複数のカラーパッチ分の総和は、１であり、
   ΔＥｉは、｛（前記第一の色値の第一の色差成分）−（前記第二の色値の前記第一の色差成分）｝²＋｛（前記第一の色値の第二の色差成分）−（前記第二の色値の前記第二の色差成分）｝²、である、
   ことを特徴とする請求項１に記載の色変換マトリクス算出方法。
3. 前記ステップ（Ｄ）は、
   （Ｄ−２）複数の前記カラーパッチにおいて、前記第一の色値の明度成分の平均値である第一の明度平均値を得るステップと、
   （Ｄ−３）前記カラーパッチを撮像することにより得られる入力色信号を、前記第一の色変換マトリクスを用いて変換することにより、第三の色値を得るステップと、
   （Ｄ−４）前記複数のカラーパッチにおいて、前記第三の色値の明度成分の平均値である第二の明度平均値を得るステップと、
   （Ｄ−５）前記第一の明度平均値を前記第二の明度平均値で除算することにより得られた値を、前記第一の色変換マトリクスを構成する各行列要素に乗算することにより、第二の前記色変換マトリクスを算出するステップを、さらに備えている、
   ことを特徴とする請求項１に記載の色変換マトリクス算出方法。
4. 前記ステップ（Ｄ−１）は、
   （Ｄ−１−１）任意の３色のカラーパッチを選択するステップと、
   （Ｄ−１−２）前記３色のカラーパッチにおける、前記第一の色値を得るステップと、
   （Ｄ−１−３）前記３色のカラーパッチを撮像することにより得られる入力色信号から、前記第二の色値を得るステップと、
   （Ｄ−１−４）前記ステップ（Ｄ−１−２）で得られた前記第一の色値と、前記ステップ（Ｄ−１−３）で得られた前記第二の色値とが等しくなるように、前記未知数を求めるステップと、
   （Ｄ−１−５）前記ステップ（Ｄ−１−４）で求めた前記未知数を、最初の初期値として、前記最小自乗法により、前記第一の色変換マトリクスを算出するステップとを、備えている、
   ことを特徴とする請求項１に記載の色変換マトリクス算出方法。
5. 前記３色のカラーパッチは、
   レッド、ブルーおよびグリーンである、
   ことを特徴とする請求項４に記載の色変換マトリクス算出方法。
6. 前記３色のカラーパッチは、
   シアン、マゼンタおよびイエローである、
   ことを特徴とする請求項４に記載の色変換マトリクス算出方法。

Images