JP2005079834A - 色変換マトリクス算出方法および画像信号処理装置 - Google Patents

Abstract

【課題】 第１色空間における入力色を第２色空間における所望の色に変換する色変換マトリクスを得る。
【解決手段】 カラーチャートを撮影して複数のカラーパッチに対応する入力色ＣinのＲＧＢ信号を求める。各カラーパッチの測色値から目標色ＣmeのＲＧＢ信号を求める。入力色Ｃinが目標色Ｃmeに対して色相および彩度が一致するような色変換マトリクスＭを減衰最小自乗法により求める。減衰最小自乗法の初期値を入力色Ｃinと目標色Ｃmeとに基づいて遺伝的アルゴリズムにより算出する。
【選択図】 図３

Description

本発明は、被写体に対する再現カラー画像の色再現性を向上させるために色信号を補正する色補正方法、および色補正に用いる色変換マトリクスを算出する色変換マトリクス算出方法に関するものである。

近年、画像の色情報を異なるメディア間で精度よく伝達するためにデジタル化することが多くなっており、例えばデジタルカメラやスキャナ等の画像入力装置は取り込んだ被写体のカラー画像を光の３原色のＲＧＢ信号に変換してこれをモニタやプリンタ等の画像出力装置に出力し、画像出力装置ではＲＧＢ信号に基づいてカラー画像を再現する（例えばモニタ画面に表示したり紙等に印刷する）ことが一般的に行われている。画像入力装置で得られるＲＧＢ信号は撮影レンズ等の光学系、カラーフィルタおよび撮像素子等の受光センサの撮像特性に依存し、また画像出力装置も再現の仕方によって同じＲＧＢ信号を入力しても再現される色が異なるだけでなく、画像入力装置および画像出力装置の特性にはそれぞれ固有の個体差が存在するため、ＲＧＢ信号に基づく再現カラー画像は被写体に対する色再現性が悪い、即ち目標とする色再現が行えない。

そこで、近年では画像入力装置及び画像出力装置間で共通化したｓＲＧＢ規格に準拠した色信号を採用することが多くなっており、画像入力装置では撮像系で得られるＲＧＢ信号をｓＲＧＢ規格に応じて色補正し、これを出力している。これによりｓＲＧＢ規格対応の画像出力装置では所望の色再現ができる、即ち同じＲＧＢ値が与えられれば目標の色に近似した色味が再現できる。色補正の手法は様々であり、例えば撮像系に設ける光学フィルタの分光特性をｓＲＧＢ規格に合わせる光学的な補正や、ＲＧＢ信号をマトリクス演算する電子的な補正によって、再現色を目標とする本来の色に近似させている。

従来、電子的な色補正で用いる色変換マトリクスの色変換精度を向上させる手法として重回帰分析法が提案されている。重回帰分析法は本来の色と再現色との関係を原因と結果ととらえた統計解析によってマトリクス要素を最適化する、即ち撮像系で得られたＲＧＢ信号に色変換マトリクスを作用させることにより予測した再現色と本来の色との信号レベル差が許容値以下となるようなマトリクス要素を求める手法であり、例えば特許文献１には３原色のＲＧＢ信号を異なる表色系のＸＹＺ信号に変換するためのマトリクスを重回帰分析により求める技術が示されている。
特開平１０−１６４３８１号公報

本発明は、第１色空間における入力色を第２色空間における所望の色に変換する色変換マトリクスを得ることを課題としている。

本発明の色変換マトリクス算出方法は、第１色空間における入力色を第２色空間における補正色に変換する色変換マトリクスを算出する色変換マトリクス算出方法であって、複数の基準色の各々に対応する入力色にマトリクス変換を施して得られる補正色を、基準色の各々対応して設定される第２色空間の目標色に適合するように、色変換マトリクスを最適化するマトリクス最適化ステップと、複数の基準色の各々に対応して得られる入力色と目標色とに基づいて、遺伝的アルゴリズムによりマトリクス最適化ステップの初期値を算出する遺伝的アルゴリズム最適化ステップとを備えたことを特徴としている。

マトリクス最適化ステップは、減衰最小自乗法であることが好ましい。デジタルカメラなどの画像入力装置で撮影された画像をディスプレイ等の画像出力装置で出力する場合には、第１色空間は、撮像系で得られる原色ＲＧＢ信号に対応し、第２色空間はｓＲＧＢ信号に対応する。また、第２色空間は必ずしも補正色と目標色との間の一致度を評価するのに適切な色空間であるとは限らないので、補正色と目標色との間の一致度を評価するのに適切な第３色空間において一致度を評価してもよい。このとき第３色空間は、人間の色覚に基づいて定義された均等色空間であることが好ましい。

基準色は、複数のカラーパッチにより提供され、基準色に対応した入力色はカラーパッチを所定の照明条件下で撮像することにより得られる。また、目標色はカラーパッチを所定の照明条件下で測色することにより得られる。これにより、撮影された画像の色を正確に再生することができる。

また、本発明の色変換マトリクス算出プログラムは、第１色空間における入力色を第２色空間における補正色に変換する色変換マトリクス算出するためのプログラムであって、コンピュータに、複数の基準色の各々に対応する入力色にマトリクス変換を施して得られる補正色を、基準色の各々対応して設定される第２色空間の目標色に適合するように、色変換マトリクスを最適化するマトリクス最適化処理と、複数の基準色の各々に対応して得られる入力色と目標色とに基づいて、遺伝的アルゴリズムによりマトリクス最適化処理における初期値を算出する遺伝的アルゴリズム最適化処理とを実行させることを特徴としている。

また更に、本発明の画像信号処理装置は、第１色空間における入力色を第２色空間における補正色に変換する色変換マトリクスを備えた画像信号処理装置であって、複数の基準色の各々に対応する入力色にマトリクス変換を施して得られる補正色を、基準色の各々対応して設定される第２色空間の目標色に適合するように、色変換マトリクスを減衰最小自乗法により最適化するマトリクス最適化手段と、複数の基準色の各々に対応して得られる入力色と目標色とに基づいて、遺伝的アルゴリズムによりマトリクス最適化手段における初期値を算出する遺伝的アルゴリズム最適化手段とを備えたことを特徴としている。

以上により、第１色空間における入力色を第２色空間における所望の色に変換する色変換マトリクスを得ることができる。

以下、本発明の実施形態について添付図面を参照して説明する。
図１は、本実施形態における色変換マトリックス算出方法を適用して、画像信号処理装置の色変換マトリックスを算出するシステムの模式図である。

デジタルカメラ１０は、撮像素子により被写体のフルカラー画像を得る画像入力装置であり、撮影光学系１２と、撮像素子、例えばＲＧＢ３原色のカラーチップフィルタ１６が撮像面上に設けられた単板式のＣＣＤ１４とを備える。撮影光学系１２により撮像素子に結像された光学的被写体像はＣＣＤ１４により光電変換された後ＣＣＤ１４から読み出されてアナログ信号処理を受けた後Ａ／Ｄ変換され、１フレーム分のＲＡＷデータとしてデジタル信号処理回路２０に送られる。

デジタル信号処理回路２０では、ＲＡＷデータから画素毎のＲＧＢ信号を生成する色分解処理、白色基準値に応じてＲ、ＧおよびＢのゲインを調整するホワイトバランス補正処理、第１色空間の色信号である原色ＲＧＢ信号の色域をＩＥＣ規定の色再現国際規格に準拠するｓＲＧＢ規格で定義された色域に変換することにより再現色を目的の色（例えば被写体本来の色）に近づけるための色補正処理、およびモニタ装置３０のγ特性を相殺する様に階調を調整する階調補正処理等を順次施して、第２色空間の色信号であるｓＲＧＢ信号を生成する。デジタル信号処理回路２０は、ｓＲＧＢ信号をＵＳＢケーブル等のインターフェース（図示せず）を介して外部装置、例えばパーソナルコンピュータに接続されたモニタ装置３０（ＣＲＴディスプレイモニタまたはＬＣＤモニタ）やプリンタ等（図示せず）の画像出力装置に出力できる。

デジタル信号処理回路２０ではｓＲＧＢ規格に準じて信号が処理されるが、撮像系（撮影光学系１２、ＣＣＤ１４、ＲＧＢカラーチップフィルタ１６等）にはｓＲＧＢ規格に準拠した特性をもつ素子が用いられているわけではなく、このため、被写体の色情報をｓＲＧＢ規格に合わせて正確に撮ることができず、再現色が本来の色と一致しない現象が生じる。この現象を回避するために撮像系の感度特性をｓＲＧＢ規格に一致させるための光学的な補正が成されているが十分ではなく、完全に一致させることは実質上困難である。このため、撮像系で得られたＲＧＢ信号の信号レベルを調節して電子的に補正するが、撮像系の感度特性は個々のデジタルカメラ１０によって異なり、被写体本来の色情報とデジタルカメラ１０により得られる色情報との関係に規則性がないことから両者の関係を理論的に定義することはできず、個々の色毎に異なる信号処理をしなければならない。しかし、Ｒ、Ｇ、Ｂ信号が例えば８ビットデータの場合、色数は１６７７万色余りにも上り、全色に最適な色補正処理を行うことは現実的ではない。

そこで、所定の色空間において選択される複数の基準色を、目標とする色に色変換を行う色変換マトリクスを求め、これを用いて色補正処理が行なわれる。例えば均等色空間上に一様に分布する複数の色からなるカラーパッチが基準色として用いられる。色再現性を向上する場合には、彩度および色相が段階的に変化する複数の色サンプルから成るカラーチャート、例えば、図１に示すマクベスカラーチャート（登録商標）４０の２４色のカラーパッチＰ₁〜Ｐ₂₄（図１では２４色のカラーパッチの一部のみに符号を付す）のうちグレースケールを除く１８色（Ｐ₁〜Ｐ₁₈）が基準色として用いられる。これらの基準色を色彩計等により正確に測色したものを目標色とし、測色時と同じ照明環境下において基準色を個々のデジタルカメラ１０で撮影したときのＲＧＢ信号を測色により得られた目標色のＲＧＢ信号に一致させるように色変換マトリクスを求めてデジタルカメラ１０に設定する。この色変換マトリクスを用いることにより、デジタル信号処理回路２０は、撮像系からの色信号を測色値に忠実な色として再現することができる。

色変換マトリクスは外部の色変換マトリクス算出装置３４、例えばパーソナルコンピュータにより算出され、予めデジタルカメラ１０のメモリ２２に格納される。一方、デジタルカメラ１０は、色変換マトリクスを算出するためにマクベスカラーチャート４０を撮影して得られるＲＡＷデータを、デジタル信号処理回路２０から色変換マトリクス算出装置３４に出力する。色変換マトリクスは、デジタルカメラ１０の製造工程の終段において色変換マトリクス算出装置３４を用いて求められる３×３のマトリクスであり、個々のデジタルカメラ１０の撮像系の色感度特性に応じて９個のマトリクス要素の値が定められる。

ＲＡＷデータから得られる入力色をＣin、色変換マトリクスをＭ、色変換マトリクスＭによる色補正処理後の色を補正色Ｃesで表わすと、それぞれのＲＧＢ信号Ｃin（Ｒin，Ｇin，Ｂin）およびＣes（Ｒes，Ｇes，Ｂes）との間には、（１）式に示す１次式が成り立ち、これはマトリクス要素ｍ₁〜ｍ₉を用いて表わすと（２）式のように表わされる。

なお、本実施形態では目標とする色再現を行うことを目的としているため、色変換マトリクスＭを算出する際に設定される目標値（目標色）はカラーパッチＰ₁〜Ｐ₁₈(基準色)の測色信号であるが、人物の肌色や青空の色等のよく使われる特定色を、正確な色ではなく使用者の望む色に再現する場合には、特定色（基準色）に関して測色信号を修正した値を目標値（目標色）に設定してもよい。

なお、マクベスカラーチャート４０は、市販の既製品であるため手に入れ易く、各カラーパッチＰ₁〜Ｐ₂₄の測色信号が既知であり測色の手間が省ける。また、カラーチャートとしてはマクベスカラーチャートに限らず、複数のカラーパッチが均等色空間上に一様に分布する、例えばＪＩＳ標準色標でもよい。マクベスカラーチャート４０に基づいて得た色変換マトリクスは、各カラーパッチＰ₁〜Ｐ₁₈の色については精度良く色再現できるが、他の色については保障されない。従って、良く使用される特定色（人物の肌色、青空の色、緑など）をカラーパッチにした独自のカラーチャートを作成しておけば、特定色について特に忠実に色再現できることになる。

図２および図３を参照して、色変換マトリクス算出方法について説明する。図２は、所定の色温度の光を照明用光源として用いた場合におけるＣＩＥ−Ｌ^*ａ^*ｂ^*色空間（以下、Ｌａｂ色空間と記載する）を模式的に示したものである。このＬａｂ色空間において、１つの基準色を撮影したときの入力色Ｃinと、最適化処理を施す前の色変換マトリクスＭで入力色Ｃinを変換した補正色Ｃesと、基準色を測色して得られた目標色Ｃmeとがそれぞれ点で示されている。図３は、色変換マトリクス算出処理の処理流れおよび各種色信号の関係を模式的に示すブロック図である。

本実施形態において、マトリクス演算では色はＲＧＢ信号で扱われるが、色の一致度の評価はＬａｂ色空間において行われる。これは、Ｌａｂ色空間が均等色空間であり、その距離が人間の色知覚に基づく色差に適合されることによる。なお、ＲＧＢ信号からＬ^*ａ^*ｂ^*信号への変換は下記に示す公知の（３）式および（４）式により行われる。（３）式はＲＧＢ信号をＸＹＺ信号に変換するための変換式であり、（４）式はＸＹＺ信号をＬ^*ａ^*ｂ^*信号に変換するための変換式である。色の一致度の評価時にはＲＧＢ信号はＲＧＢ→ＸＹＺ→Ｌ^*ａ^*ｂ^*変換によりＬ^*ａ^*ｂ^*信号に変換される。

本実施形態では、カラーパッチＰ₁〜Ｐ₁₈の１８色の入力色Ｃinに対して色変換マトリクスＭを施して得られる補正色Ｃesの全てが、それぞれ対応する目標色Ｃmeに略一致するように色変換マトリクスＭを最適化する。具体的には、１８色各々に対するＬａｂ空間における補正色Ｃesと目標色Ｃmeとの色差ΔＥの２乗和が許容誤差以下となるように、色変換マトリクスＭの要素ｍ₁〜ｍ₉を、遺伝的アルゴリズムと減衰最小自乗法とを用いて求める。なお、Ｌａｂ色空間における補正色Ｃesと目標色Ｃmeとの間の色差ΔＥは（５）式により定義される。なお、（５）式において、補正色ＣesのＬ^*ａ^*ｂ^*信号を（Ｌ^*es，ａ^*es，ｂ^*es）、目標色ＣmeのＬ^*ａ^*ｂ^*信号を（Ｌ^*me，ａ^*me，ｂ^*me）で表す。

１８色各々に対応する色差ΔＥをカラーパッチの番号を添え字としてΔＥi（ｉ＝１，２，…，１８）で表わすとき、（１）〜（５）式から、色差ΔＥi（ｉ＝１，２，…，１８）は、マトリクス要素ｍj（ｊ＝１，２，…，９）をパラメータとする関数ΔＥi(ｍ₁，ｍ₂,…，ｍ₉)とみなすことができる。本実施形態の減衰最小自乗法では、（６）式で定義されるように１８色の基準色に対して求められる色差ΔＥi（ｉ＝１，２，…，１８）の２乗和をメリット関数φとし、このメリット関数φが所定の閾値以下となるようにマトリクス要素ｍj（ｊ＝１，２，…，９）を最適化する。メリット関数φが極値をとるための必要条件は、（７）式で示される９個の式で与えられるが、（６）式は非線形であるためマトリクス要素ｍjの解を直接求めることは難しい。そこで、色差ΔＥiをｍjに関してその出発点ｍj0の近傍で線形近似する。このとき、線形近似された色差ΔＥiを使った時のメリット関数φはｍjに関する２次式となるので、これを（７）式に代入すると正規方程式である９元連立１次方程式が得られ、これを解くことによりマトリクス要素ｍj（ｊ＝１、２、…、９）の線形近似解が得られる。

すなわち、正規方程式を出発点ｍj0から解への移動量Δｍjについて解くと（８）式となる。なお、（８）式において、ΔｍはΔｍj（ｉ＝１，２，・・・，９）を要素とする列ベクトルであり、ΔＥは色差ΔＥi（ｉ＝１，２，・・・，１８）を要素とする列ベクトルであり、Ａは出発点ｍj0におけるΔＥのヤコビ行列である。また、「（ ）^t」は転置行列を示し、「（ ）^-1」は逆行列を示す。

従って、出発点ｍ₁₀〜ｍ₉₀に初期値を与え、（８）式により移動量Δｍ₁〜Δｍ₉を求め、得られた移動量Δｍ₁〜Δｍ₉を出発点ｍ₁₀〜ｍ₉₀に加算すればマトリクス要素ｍ₁〜ｍ₉の近似解が得られる。そして、得られた近似解を新たな出発点ｍj0としてマトリクス要素ｍ₁〜ｍ₉の近似解を得るという処理を、メリット関数φが閾値以下に達するまで繰り返し行う。メリット関数φが閾値すなわち許容誤差以下に達すると、そのときの近似解を解に収束したものとしてマトリクス要素ｍ₁〜ｍ₉に定める。

なお、メリット関数φは（６）式に限定されるものではない。本実施形態では、実際には例えば下記の（９）式に定義するように、解の収束を保証しつつその効率を高めるためのダンピング因子Ｄ（＞０）を設定し、Δｍjの２乗和とダンピング因子Ｄとの積を色差ΔＥiの２乗和に加算したものをメリット関数φとしている。このダンピング因子Ｄを用いる手法は公知であり詳述しないが、ダンピング因子Ｄの値が大きいほど近似誤差が少ないが解への接近速度が遅くなる特徴がある。本実施形態ではダンピング因子Ｄの値を所定値に固定するが、近似解を繰り返し求める際にダンピング因子Ｄの値を変化させてもよい。このときの正規方程式は（１０）式に示される。なお（１０）式中のＩは単位行列である。

また、上述の色変換マトリクスの最適化においては、補正色Ｃesと目標色Ｃmeとの色の違いはＬａｂ色空間における色差ΔＥのみで評価しているが、人間の知覚では色相の違いが彩度の違いに比べて別の色として認識され易いので、色相を優先的に一致させるためにさらに両者の色相角θesおよびθmeの差Δθ（下記の（１１）式を参照）を加味してもよい。色相角θesおよびθmeは、補正色Ｃesおよび目標色Ｃmeからそれぞれａ^*ｂ^*面に下ろした点のａ^*軸からの原点周りの回転角である（図２参照）。（９）式の右辺第１項に色相角差Δθの２乗和を加算した式を（１２）式に示す。なお、色差ΔＥに比べて色相角差Δθは相対的に小さい値のため、色相の一致度を高めるために（１２）式において色相角差Δθに重みをつけてもよい。

またさらに、（６）式や（９）式および（１２）式で定義されるメリット関数φを用いた色変換マトリクスの最適化では、各色について補正色Ｃesと目標色Ｃmeとの色差がほぼ均等にばらつくが、肌色等の特定色に限定して特定色に対する色の一致の精度を向上させたい場合には、１８色についてそれぞれ設定した重み係数Ｗi（ｉ＝１，２，…１８）を色差ΔＥiに乗算して重み付けをする。なお、このとき重み係数Ｗ₁〜Ｗ₁₈の総和は１とされる。（１３）式には（９）式のメリット関数φに重み係数Ｗiを加味したものを示す。この重み付けにより、重みを大きくした特定色ほど、より忠実な色再現を行うことができる。

最適化計算における出発点ｍ_i0の適正な初期値の設定は、計算時間を短縮する。また、減衰最小自乗法では、初期値の設定が不適切であるとローカルな局所解に収束してしまい、グローバルな最適化が困難になる傾向がある。一方、局所解に陥り難い最適化手法としては、遺伝的アルゴリズムが知られている。しかし、遺伝的アルゴリズムは、計算負荷が高い上、計算負荷の上昇が最適化精度向上に結びつかないという問題や、パラメータの設定数が多いという問題等が知られている。これらのことから、本実施形態では、遺伝的アルゴリズムと減衰最小自乗法を相補的に組合せることにより、色変換マトリクスの最適化の信頼性を高めるとともに高速化を図っている。すなわち、遺伝的アルゴリズムを用いた最適化手法により減衰最小自乗法の起点である出発点ｍ_i0の初期値を求め、その後の最適化計算に減衰最小自乗法を用いている。なお、遺伝的アルゴリズムにより得られる解は、必ずしもローカルまたはグローバルな局所解である必要はなく、減衰最小自乗法を用いて最適値が得られるものであればよい。

本実施形態では、最適化変数である色変換マトリクスの各要素ｍ_i（１，２，・・・，９）の探索領域（例えば−２．０４８〜２．０４８）を例えば１２ｂｉｔで均等に量子化し、この１２ｂｉｔで表わされた各要素ｍ_iを結合してコード化を行う。すなわち、９個のマトリクス要素ｍ_iは１０８ｂｉｔ（＝９×１２ｂｉｔ）の遺伝情報としてコード化される。初期集団としては、乱数により例えば１００固体生成され、各個体の適応度を評価するための評価関数ｇ_k（ｋ＝１〜１００）は、ΔＥi（ｉ＝１〜９）に基づいて算出される（例えばα／ΔＥi、α：定数）。なお、評価関数としては、（１２）式のメリット関数のときのように色相角の付加や、（１３）式のメリット関数のように特定の色に対する重み付けをしてもよい。

選択には例えば期待値選択が用いられる。すなわち評価関数の総和Ｇ＝Σｇ_k（ｋ＝１〜１００）と各個体の評価値ｇ_kから、各個体の期待値（例えばｇ_k／Ｇ）が求められ、それぞれの期待値に基づいて、各個体が新たに再生される。このとき期待値が大きい個体ほど多く再生され、各個体を評価点順に並べなおして評価点が高い方から５０固体が選択される。すなわち、再生された個体総数は５０個体とされる。次に、新たにランダムな５０個体が生成され、期待値選択により再生された５０個体との間でこの2つの組の対応する評価点の順番の個体同士を交叉させてペアが作られる。各ペアにおいて交叉を行うか否かは乱数に基づいて決定され、交叉を行うペアにおいては、乱数によって交叉箇所（マトリクス要素）が決定される。また、突然変異率は例えば５％に設定される。上記処理は、所定の終了条件が満たされるまで何世代にも渡って繰り返し実行される。

次に、図４〜図６のフローチャートを参照して、色変換マトリクス算出処理について詳細に説明する

まずステップＳ１０２において、マクベスカラーチャート４０の２４個のカラーパッチＰ₁〜Ｐ₂₄を所定の照明光源下でデジタルカメラ１０により撮影し、得られたＲＡＷデータが色変換マトリクス算出装置３４に転送される。色変換マトリクス算出装置３４は、ＲＡＷデータに基づいて１８個の有彩色カラーパッチＰ₁〜Ｐ₁₈の各々に対応する入力色Ｃin(i)（ｉ＝１〜１８）のＲＧＢ信号を得る（ステップＳ１０４）。なお、入力色Ｃin(i)のＲＧＢ信号（Ｒin(i)，Ｇin(i)，Ｂin(i)）は、各々のカラーパッチＰiに相当する領域から抽出された平均値である。また、ステップＳ１０４で得られる１８色の有彩色カラーパッチＰi（ｉ＝１、２、…、１８）の入力色Ｃin(i)のＲＧＢ信号（Ｒin(i)，Ｇin(i)，Ｂin(i)）は、グレー階調補正およびホワイトバランス補正が施され、γ＝１．０で正規化されたものである。

一方、ステップＳ１０６では、カラーパッチＰ₁〜Ｐ₁₈の測色信号（ＲＧＢ信号）が色変換マトリクス算出装置３４に入力される。そしてステップＳ１０８において、ステップＳ１０６で入力された１８色の測色信号がカラーパッチＰiの目標色Ｃme(i)のＲＧＢ信号（Ｒme(i)，Ｇme(i)，Ｂme(i)）に設定される。

ステップＳ１１０では、ステップＳ１０４で得られた１８色の入力色Ｃin(i)のＲＧＢ信号（Ｒin(i)，Ｇin(i)，Ｂin(i)）（ｉ＝１、２、…、１８）を、ＲＧＢ→ＸＹＺ→Ｌ^*ａ^*ｂ^*変換（（３）式および（４）式）によりＬ^*ａ^*ｂ^*信号（Ｌ^*in(i)，ａ^*in(i)，ｂ^*in(i)）に変換する。同様に、ステップＳ１０８で得られた１８色の目標色Ｃme(i)のＲＧＢ信号（Ｒme(i)，Ｇme(i)，Ｂme(i)）（ｉ＝１、２、…、１８）をＬ^*ａ^*ｂ^*信号（Ｌ^*me(i)，ａ^*me(i)，ｂ^*me(i)）に変換する。

ステップＳ１１１では、ステップＳ１１２〜Ｓ１２６における減衰最小自乗法を用いた色変換マトリクスＭの最適化における出発点に適正な初期値を与えるために遺伝的アルゴリズムを用いて出発点の初期値が計算される。

ステップＳ１１２では、ステップＳ１１１の遺伝的アルゴリズムで得られた１つの解が、出発点ｍ₁₀〜ｍ₉₀の初期値として設定される。ステップＳ１１４では、上述した減衰最小自乗法の正規方程式（１０）式により出発点から解への移動量Δｍ₁〜Δｍ₉が求められ、これに基づきマトリクス要素ｍ₁〜ｍ₉の近似解が得られる。ステップＳ１１６では、解が収束しているか否か、すなわち、本実施形態ではＬａｂ色差ΔＥ₁〜ΔＥ₁₈の２乗和が許容誤差以下に収まるか否かが判定される。解が収束していると判定されればステップＳ１１４で得られたマトリクス要素ｍiの値を最適解として色変換マトリクス算出装置３４のメモリ（図示せず）に一時的に保存してステップＳ１２４に進む。一方、ステップＳ１１６で解に収束していないと判定されると、ステップＳ１２０においてステップＳ１１４の計算回数が１０回を超えていないか否かが判定され、超えていなければステップＳ１２２において出発点ｍ_i0の値が現在のｍiの値により更新され、ステップＳ１１４に戻る。なお、ステップＳ１１４の計算回数が１０回を超えると、ステップＳ１２０からステップＳ１２４に進む。なお、ここでは４〜５回計算すればほぼ解が略収束すると予測しているため、ステップＳ１１４が繰返される回数はステップＳ１２０において１０回に制限されているが、特に回数は制限されるものではない。

ステップＳ１１４〜ステップＳ１２２の減衰最小二乗法の最適化計算によって得られる最適解は、ステップＳ１１２で定められた出発点ｍ₁₀〜ｍ₉₀の初期値に依存する。このため、本実施形態では、ステップＳ１１１の遺伝的アルゴリズムにおいて求められた複数の解を順次減衰最小二乗法の初期値として設定して計算を行なう。これは例えば、遺伝的アルゴリズムにおいて得られた最終的な５０組の解に対しても行なってもよいし、適応度の高い数組に対してのみ行ってもよい。ステップＳ１２４では、全ての初期値として用いられるの解の組合せについて最適化計算が終了したか否かが判定され、終了していない場合にはステップＳ１１２に戻って、未だ用いられていない組の初期値が設定され、最適化計算が行われる。全ての初期値の組合せについて最適化計算が終了したと判定されるとステップＳ１２６に進み、メモリには１８色分の色差ΔＥ₁〜ΔＥ₁₈の２乗和が許容誤差以下となる条件を満たすマトリクス要素ｍ₁〜ｍ₉の解の組が複数保存される。

ステップＳ１２６では、複数のマトリクス要素ｍ₁〜ｍ₉の解の中から最適解を選出する。具体的には、得られた解の組合せをマトリクス要素とする色変換マトリクスＭを入力色Ｃin(1)〜Ｃin(18)に作用させて得られる補正色Ｃes(1)〜Ｃes(18)と、目標色Ｃme(1)〜Ｃme(18)との色相角差Δθ₁〜Δθ₁₈の２乗和が最も小さいという条件を満たす解が選出される。従って、ステップＳ１２６で得られたマトリクス要素ｍ₁〜ｍ₉は、マクベスカラーチャート４０の１８色分について、色差ΔＥ₁〜ΔＥ₁₈の２乗和を許容誤差以下にし、なおかつ色相角差Δθ₁〜Δθ₁₈の２乗和を最も小さくする値である。

なお最適解の選出条件としては、本実施形態に限定されず、目的に応じて変更してもよい。例えば、肌色等の特定色に関して色の一致度を優先させたい場合には、その特定色に関する補正色Ｃesと目標色Ｃmeとの色差が限りなく零に近い許容誤差以下であることを選出条件に加えればよい。

ステップＳ１３２〜Ｓ１４２では、得られた色相最適化マトリクスＭの有効性が評価される。まず、ステップＳ１３２において、得られた解を色変換マトリクスＭとして、入力色Ｃin(1)〜Ｃin(18)のＲＧＢ信号をそれぞれ色変換マトリクスＭで変換することにより補正色Ｃes(1)〜Ｃes(18)のＲＧＢ信号（Ｒes(1)，Ｇes(1)，Ｂes(1)）〜（Ｒes(18)，Ｇes(18)，Ｂes(18)）を求め（上述の（１）式および（２）式を参照）、さらにステップＳ１３４において、（３）式および（４）式のＲＧＢ→ＸＹＺ→Ｌ^*ａ^*ｂ^*変換により、補正色Ｃes(1)〜Ｃes(18)のＬ^*ａ^*ｂ^*信号（Ｌ^*es(1)，ａ^*es(1)，ｂ^*es(1)）〜（Ｌ^*es(18)，ａ^*es(18)，ｂ^*es(18)）を求める。

そしてステップＳ１３６において、直前のステップＳ１３４で得られた補正色Ｃes(1)〜Ｃes(18)のＬ^*ａ^*ｂ^*信号（Ｌ^*es(1)，ａ^*es(1)，ｂ^*es(1)）〜（Ｌ^*es(18)，ａ^*es(18)，ｂ^*es(18)）と、ステップＳ１１０で得られた目標色Ｃme(1)〜Ｃme(18)のＬ^*ａ^*ｂ^*信号を（Ｌ^*me(1)，ａ^*me(1)，ｂ^*me(1)）〜（Ｌ^*me(18)，ａ^*me(18)，ｂ^*me(18)）とに基づいて、上述の（１１）式により色相角差Δθ₁〜Δθ₁₈をそれぞれ求め、その２乗和である色相誤差Ｈeを下記の（１４）式により求める。

ステップＳ１３８では、色相誤差Ｈeが許容値α以下であるか否かが判定され、色相誤差Ｈeが許容値αを超えた場合はステップＳ１０８に戻り、目標色Ｃme(1)〜Ｃme(18)のＲＧＢ信号のいずれかを変更して新たに色変換マトリクスＭを求める。なお、ステップＳ１０８に戻って目標色Ｃme(1)〜Ｃme(18)のＲＧＢ信号を再設定する際は、色相の変化が僅かとなるように、即ちモニタ装置３０における再現色の色味が被写体本来の色と変わらないように、各値が定められることが必要である。

ステップＳ１３８において色相誤差Ｈeが許容値α以下であると判定された場合には、入力色Ｃinを目標色Ｃmeに対して色相に関して高精度に近似できる色変換マトリクスＭが得られたと見做され、ステップＳ１４０において色変換マトリクスＭの係数が現在の値に確定し、ステップＳ１４２において色変換マトリクス算出装置３４からデジタルカメラ１０へ色変換マトリクスＭの係数データを転送してメモリ２２に書き込んで終了する。

以上のように求められた色変換マトリクスＭをデジタルカメラ１０の色補正処理で用いると、測色信号に忠実な色再現ができるｓＲＧＢ信号を得ることができ、モニタ装置３０の画面に被写体本来の色に極めて近い色味で被写体像を表示できる。

このように、本実施形態では色補正に用いる色変換マトリクスＭを遺伝的アルゴリズム及び減衰最小自乗法によって求めている。すなわち遺伝的アルゴリズムにより求められた値を減衰最小自乗法の出発点の初期値を設定することにより、初期値の適正化が図られ、減衰最小二乗法における最適化において局所解に陥ることが防止されるとともに、計算時間を短縮することが可能となる。

なお、画像入力装置としては本実施形態のデジタルカメラ１０の他、デジタルビデオカメラ、スキャナ、電子内視鏡等であってもよい。また、本実施形態では色変換マトリクス算出装置３４をデジタルカメラ１０と別体にしているが、デジタルカメラ１０に色変換マトリクス算出機能を搭載してもよい。またさらに、色変換マトリクスを算出するとともに色補正できる画像処理ソフトウェアとしてパーソナルコンピュータにインストールし、デジタルカメラ１０から出力されたＲＡＷデータをパーソナルコンピュータで色補正できるように構成してもよい。

本実施形態では、撮像系で得られたＲＧＢ信号をｓＲＧＢ規格に合わせて色補正する色変換マトリクスを求めているが、本発明のマトリクス算出方法は特に色補正を目的とする色変換マトリクスの算出に限定されない。例えば異なる色空間の色信号を相互変換する（ＲＧＢ信号をＸＹＺ信号や印刷のためのＣＭＹＫ信号に変換する、補色のＣＭＹ信号をＲＧＢ信号に変換する等）ための色変換マトリクスの算出にも適用できる。

また、本実施形態では、色の一致度がＬａｂ空間において評価されたが、他の色空間を用いて色の一致度を評価してもよい。

なお、本実施形態では、局所解に陥る最適化手法として減衰最小二乗法を例に挙げたが、例えば勾配法など、局所解に陥りやすい他の最適化手法との組み合わせも可能である。

本発明の色変換マトリクス算出方法および色変換方法の実施形態を示す図であって、色変換を行うデジタルカメラと、色変換マトリクスを算出する色変換マトリクス算出装置とを示すブロック図である。 色変換マトリクス算出の原理を示す図であって、所定の色に関してＬａｂ色空間における変換前の入力色と変換すべき目標色との位置を示す図である。 色変換マトリクス算出処理の処理流れおよび各種色信号の関係を模式的に示すブロック図である。 色変換マトリクス算出処理を示すフローチャートの第１の部分である。 色変換マトリクス算出処理を示すフローチャートの第２の部分である。 色変換マトリクス算出処理を示すフローチャートの最後の部分である。

符号の説明

１０ デジタルカメラ
２０ デジタル信号処理回路
３０ モニタ装置
３４ 色変換マトリクス算出装置
４０ カラーチャート

Claims (9)

1. 第１色空間における入力色を第２色空間における補正色に変換する色変換マトリクスを算出する色変換マトリクス算出方法であって、
   複数の基準色の各々に対応する前記入力色に前記マトリクス変換を施して得られる補正色を、前記基準色の各々対応して設定される前記第２色空間の目標色に適合するように、前記色変換マトリクスを最適化するマトリクス最適化ステップと、
   前記複数の基準色の各々に対応して得られる前記入力色と前記目標色とに基づいて、遺伝的アルゴリズムにより前記マトリクス最適化ステップの初期値を算出する遺伝的アルゴリズム最適化ステップと
   を備えることを特徴とする色変換マトリクス算出方法。
2. 前記マトリクス最適化ステップが減衰最小自乗法であることを特徴とする請求項１に記載の色変換マトリクス算出方法。
3. 前記第１色空間が撮像系で得られる原色ＲＧＢ信号に対応し、前記第２色空間がｓＲＧＢ信号に対応することを特徴とする請求項１に記載の色変換マトリクス算出方法。
4. 前記補正色と前記目標色との間の一致度を第３色空間において評価することを特徴とすることを特徴とする請求項１に記載の色変換マトリクス算出方法。
5. 前記第３色空間が均等色空間であることを特徴とする請求項４に記載の色変換マトリクス算出方法。
6. 前記基準色が、複数のカラーパッチにより提供され、前記基準色に対応した入力色が前記カラーパッチを所定の照明条件下で撮像することにより得られることを特徴とする請求項１に記載の色変換マトリクス算出方法。
7. 前記基準色が、複数のカラーパッチにより提供され、前記目標色が前記カラーパッチを所定の照明条件下で測色することにより得られることを特徴とする請求項１に記載の色変換マトリクス算出方法。
8. 第１色空間における入力色を第２色空間における補正色に変換する色変換マトリクスを算出するためのプログラムであって、コンピュータに、
   複数の基準色の各々に対応する前記入力色に前記マトリクス変換を施して得られる補正色を、前記基準色の各々対応して設定される前記第２色空間の目標色に適合するように、前記色変換マトリクスを最適化するマトリクス最適化処理と、
   前記複数の基準色の各々に対応して得られる前記入力色と前記目標色とに基づいて、遺伝的アルゴリズムにより前記マトリクス最適化処理における初期値を算出する遺伝的アルゴリズム最適化処理と
   を実行させることを特徴とする色変換マトリクス算出プログラム。
9. 第１色空間における入力色を第２色空間における補正色に変換する色変換マトリクスを備えた画像信号処理装置であって、
   複数の基準色の各々に対応する前記入力色に前記マトリクス変換を施して得られる補正色を、前記基準色の各々対応して設定される前記第２色空間の目標色に適合するように、前記色変換マトリクスを最適化するマトリクス最適化手段と、
   前記複数の基準色の各々に対応して得られる前記入力色と前記目標色とに基づいて、遺伝的アルゴリズムにより前記マトリクス最適化手段における初期値を算出する遺伝的アルゴリズム最適化手段と
   を備えることを特徴とする画像信号処理装置。
   
   

Images