[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4031299B2 - Color image signal processing method, color image output apparatus, and photographing apparatus - Google Patents

Color image signal processing method, color image output apparatus, and photographing apparatus Download PDF

Info

Publication number
JP4031299B2
JP4031299B2 JP2002181354A JP2002181354A JP4031299B2 JP 4031299 B2 JP4031299 B2 JP 4031299B2 JP 2002181354 A JP2002181354 A JP 2002181354A JP 2002181354 A JP2002181354 A JP 2002181354A JP 4031299 B2 JP4031299 B2 JP 4031299B2
Authority
JP
Japan
Prior art keywords
color
luminance
hue
signal processing
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002181354A
Other languages
Japanese (ja)
Other versions
JP2004032060A (en
Inventor
康生 青塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002181354A priority Critical patent/JP4031299B2/en
Priority to US10/464,740 priority patent/US7231085B2/en
Publication of JP2004032060A publication Critical patent/JP2004032060A/en
Application granted granted Critical
Publication of JP4031299B2 publication Critical patent/JP4031299B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6075Corrections to the hue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮影装置で撮影されたカラー画像の色相回りを低減するカラー画像信号処理方法と、カラー画像プリンタやカラーモニタ、デジタルカラーテレビ等のカラー画像出力装置と、デジタルスチルカメラやデジタルビデオカメラ等の撮影装置に関する。
【0002】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等でカラー画像を撮像するのに用いられるCCD等の固体撮像素子は、各画素(フォトダイオード)の夫々の表面にR(赤),緑(G),青(B)の3色いずれかの色フィルタが設けられ、各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積される。そして、各画素から各色の入射光量に応じた信号電荷が読み出され、3色の各信号電荷量から各画素位置における入射光の色が再現される様になっている。
【0003】
【発明が解決しようとする課題】
固体撮像素子は、入射光を3色に分け、各色の入射光量に比例した信号電荷量を各画素に蓄積させることで入射光の色を再現する様になっているが、固体撮像素子の各画素が蓄積できる信号電荷量には上限があり、画素を構成するフォトダイオードの飽和電荷量を超える信号電荷を蓄積することができないという制約がある。
【0004】
即ち、オーバー露光が生じ、例えば入射光のうち赤色の入射光量に応じた信号電荷量がフォトダイオードの飽和電荷量を超えてしまった場合、飽和電荷量に達していない緑色,青色の各信号電荷量と赤色の信号電荷量(飽和電荷量)とから再現した色は、赤みが不足した色となり、いわゆる色相回りが生じてしまう。
【0005】
近年の固体撮像素子は微細化技術の進展により画素数が飛躍的に増え、解像力は銀塩写真に迫る能力を持っている。しかし、微細化された分だけ各画素が小さくなって各画素の飽和電荷量が小さくなり、色再現性の点で銀塩写真に及ばないという問題がある。特に、人間の目は肌色に敏感なため、肌色をオーバー露光で撮影したとき肌色の黄変が目立ってしまうという問題がある。
【0006】
色相回りを起こす原因としてもう一つが考えられる。固体撮像素子の各画素から取り込まれたR,G,Bに対応する各信号電荷量は、先ずA/D変換器により10ビットのデジタルデータに変換され、次に図34に示すγ特性に基づくγ変換により8ビットのデジタルデータに変換される。その後、各種信号処理を経て、最終画像として記録される。その画像を標準CRTに表示したときの出力輝度と原シーンの輝度の関係を、縦軸をlog〔最大出力輝度/出力輝度〕、横軸をlog〔入力輝度(原シーン輝度)〕として表す(但し、単位は任意)と、その特性曲線は直線となる。しかし、実際には図35に示す様に、高輝度領域での特性曲線の傾きを寝かし、高輝度の画像も高階調で表現できるようにしている。
【0007】
任意の色の入力信号R,G,Bの比(例:R/G,B/G)は、露光量がどう変わろうと一定であり、即ち図35の横軸上にて、R,G,Bの間隔は一定に保たれる。従って、特性曲線が直線である範囲においては、その色の出力信号Ro,Go,Boの比(例:Ro/Go,Bo/Go)が一定となり、色相回りは起きないが、高輝度領域つまり特性曲線が直線でなく曲がっている領域では、R,G,Bの出力比(例:Ro/Go,Bo/Go)は変化してしまい、色相回りが発生してしまう。この特性曲線に基づく色相回りは、図35の特性曲線を高輝度領域まで直線にしてしまえば解消するが、それでは高輝度画像を高階調で表現できなくなってしまうため、他の方法によりこの色相回りの問題を解決する必要が生じる。
【0008】
本発明の目的は、色相回りを低減し色再現性の優れたカラー画像を得ることができるカラー画像信号処理方法およびカラー画像出力装置並びに撮影装置を提供することにある。
【0009】
【課題を解決するための手段】
上記目的を達成するカラー画像信号処理方法は、色相回りを起こさない色の原色線および補色線で色度図を複数の区画に分け、撮像素子から出力される色信号がどの区画に属するかを判定し、前記区画毎に前記色信号から求めた色差Cr,Cbを当該区画を仕切る前記原色線を軸とする原色軸と前記補色線を軸とする補色軸との直交座標値に変換し、前記色差Cr,Cbの該直交座標値に対して、前記原色軸から前記補色軸の方向に発生する色相回りを色修正演算することを特徴とする。
【0010】
この構成により、肌色の色相回りを色修正演算で補正する場合に肌色自体を検出する必要がなく、撮像素子から出力される色信号が肌色を含む区画に入っているか否かで如何なる肌色も容易に判断でき、肌色に対して適切な色修正演算を施すことが可能となる。また、色修正演算が容易となり、処理負荷が軽減する。
【0011】
好適には、上記において、前記色信号から求めた色差Crまたは原色軸座標成分(Cg)の値に輝度依存係数を掛けることで前記色修正演算を行うことを特徴とする。この構成により、色修正演算が容易となり、処理負荷が軽減する。
【0013】
好適には、上記において、肌色の色相回りを修正する輝度依存係数を肌色を含む区画に属する色に対して適用して前記色修正演算を行うことを特徴とする。この構成により、同一区画に属する色に対して同一の色修正演算を行えば良くなり、処理負荷が軽減する。
【0014】
好適には、上記において、肌色を含む区画の色修正演算で用いる第1の輝度依存係数と異なる第2の輝度依存係数を用いて肌色を含まない他の少なくとも1つの区画の色修正演算を行うことを特徴とする。この構成により、色修正演算を区画毎に行って最適に色修正を行うことが可能となる。
【0015】
好適には、上記において、前記第1の輝度依存係数の値を補正することで前記第2の輝度依存係数の値を求めることを特徴とする。この構成により、色修正演算に用いる輝度依存係数のデータ量を削減可能となる。
【0016】
好適には、上記において、肌色を含まない区画の少なくとも1つの区画において前記第2の輝度依存係数を拡張または縮小する演算を行なってから前記色修正演算を行なうことを特徴とする。この構成により、色修正演算によって彩度不足となる事態を回避可能となる。
【0018】
好適には、上記において、色相回りを起こしている色信号に対してのみ前記色修正演算を行うことを特徴とする。色相回りを起こしていない色については無修正となるため、一層画質向上を図ることができる。
【0019】
上記目的を達成するカラー画像出力装置は、前述したいずれかに記載のカラー画像信号処理方法を実行する処理装置を搭載したことを特徴とする。この構成により、色再現性の優れたカラー画像を出力することができる。
【0020】
上記目的を達成する撮影装置は、前述したいずれかに記載のカラー画像信号処理方法を実行する処理装置を搭載したことを特徴とする。この構成により、色再現性の優れた画像データを撮像可能となる。
【0021】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【0022】
図1は、縦軸に色差Cb(=−0.169R−0.332G+0.500B)をとり、横軸に色差Cr(=0.500R−0.419G−0.081B)をとった色度図である。原色線R,G,Bと、原色線R,G,Bに対し原点から反対方向に延びる補色線C(シアン),M(マゼンタ),Y(黄色)とにより、この色度図は、6つの区画に区分される。全ての色は色度図上で表され、いずれかの区画に入る。
【0023】
固体撮像素子を用いて撮影されたカラー画像は、肌色に限らず、一般的に殆どの色で色相回りを起こす。しかし、実質上、色相回りを起こさない色が6つある。それら6つの色とは、R,G,B信号の内の2つの信号電荷量が等しい色である。具体的には、青(B>R=G),黄色(B<R=G),赤(R>G=B),シアン(R<G=B),緑(G>B=R),マゼンタ(G<B=R)の6色であり、これらの6色は、撮影装置がどのような特性曲線(或いはγ変換特性)を持っていても、実質的に色相回りを起こさない。
【0024】
撮影装置によって記録されたこれら6色の色の色度点(Cr,Cb)が、露光量と共にどのような軌跡を描くか色度図上にプロットしてみると、どの色も、原点(0,0)から伸びてまた原点に戻る線分となる。デジタル化された値であるので、詳細にはギザギザに折れ曲がった線になっているが、本質的には直線である。これらの6色の直線(原色線R,G,Bと補色線Y,M,C)により、色度図が6つの区画に区分される。
【0025】
図2は、原色(R,G,B)系分光感度を有するCCDを用いたデジタルスチルカメラにおいて、任意の色(図には約90色を表示してある。)が露光量と共に色度図上で描く軌跡を調べた図である。この図2から分かる通り、いずれかの区画に属する色は、露光量が変化してもその区画内に留まり、隣接する区画にはみ出すことがない。
【0026】
また、どの色でも、オーバー露光するとR,G,Bのいずれかの信号電荷量が飽和し、さらに露光量が増大するに伴い色相はその色の属する区画の原色線から補色線に向かう方向にループ状に回っていることが分かる。例えば、原色線Rと補色線Mで挟まれる区画1では、原色線Rから補色線Mに向かうループ状の軌跡を描き、原色線Rと補色線Yとで挟まれる区画2では、原色線Rから補色線Yに向かう方向にループ状に回っている。以下、6つの区画を右回りに区画3,4,5,6と名付ける。
【0027】
以上のことから、色相回りを補正する画像信号処理は、上記の6つの区画毎に行うことができることが分かる。特に肌色の色相回りを補正したい場合には、肌色の属する区画2の色相回りを補正すればよいことが分かる。
【0028】
肌色といっても、人種によって肌色は異なり、また、老若男女によっても肌色は異なってくる。しかし、あらゆる人種や老若男女の肌色は、必ず区画2に属し、また色相回りを起こしてしまった肌色も区画2に属する。このため、区画2に対して色相回りの補正を行うことで、肌色の色相回りを補正することができる。
【0029】
肌色の色相回りは目立つため、従来から何らかの方法でカラー画像中の肌色を検出しその色を補正することが行われているが、色相回りを起こしてしまった色はもはや肌色とはいえず、このため、肌色の検出は困難を極めている。しかし、本実施形態では肌色の検出は行わず、区画2の色であるか否かを判断することとしているので判断は容易となる。
【0030】
図3,図4,図5は、図2に示すグラフを、各区画の原色線(R,G,B)を直交座標の横軸(「Cg」と標記する。)にとり、補色線(Y,M,C)を直交座標の縦軸(「Ch」と標記する。)にとって座標変換したグラフである。横軸、縦軸を原色軸、補色軸と表現する。これらの図から、どの区画でも色相回りは同じ傾向を示し、このため、どの区画でも同様の信号処理で色相回りを補正可能であることが分かる。
【0031】
色相回りは、特に肌色で目立つため、本実施形態では先ず区画2の色相回りを補正する画像信号処理方法を定め、次に、この区画2に対する画像信号処理方法を他の区画に適用するときの修正点について考察する。尚、肌色以外の色相回りに対しては人間の目は鈍感なため、区画2以外の区画に属する色については、色相回りの補正を省略して信号処理負荷を軽減してもよい。
【0032】
図6は、肌色の色相回りをシミュレーションしたa*―b*色度図であり、図7はそのCr―Cb色度図である。図中の黒丸点が適正露光量での肌色の色度点であり、それを基準値として、基準値の約1/8倍のアンダー露光から約5倍のオーバー露光までを、“2”の1/8乗倍ずつ露光量を刻んで記録される肌色の色度点を×印で示し、それらを線で結んでいる。
【0033】
図8は、図3(a)(b),図4(a)(b),図5(a)(b)に示す色相回りの説明図である。色相は近似的に、Cb/Crで表される。Cr―Cb系からCg―Ch系への座標変換は、原点を共通とする線形変換であるので、Cb/Crの値を保つことは、Ch/Cgの値を保つことと同じである。図8で、Ch/Cg=一定の直線イが色相一定を示す直線であり、色の露光量に対する変化軌跡が直線イに乗っていれば、色相回りは生じない。しかし、露光量が大きくなるに従って、色は、原点から直線イ上を進み、点a1で直線イから離れ、除々に補色軸側におおきく回り込んで原点に戻る軌跡を辿る。
【0034】
点a1から点a2までの範囲の色相回りは、図35の特性曲線の高輝度側での直線からの曲がりに起因する色相回りであり、点a2から原点まで大きく回り込む色相回りは、R,G,Bのいずれかの色の信号電荷量が飽和したことに起因する色相回りである。
【0035】
いずれの色相回りも、Ch/Cg(あるいはCb/Cr)の値が本来の値になるように補正すれば、色相回りを低減することができる。これは、CrまたはCbに輝度依存性のある係数(以下、輝度依存係数K(Y)という。)を掛ける(割算を含む。以下同じ。)ことで、あるいはCgまたはChに輝度依存係数K(Y)を掛けることで実現できる。
【0036】
図8で説明すれば、点a1から点a2までの間の任意点bの色を直線イ上に補正し、また、点a2から原点までの間の任意点cの色を直線イ上に補正すれば、色相回りは軽減する。即ち、各点b,cの色の補色軸座標成分(Ch)に輝度依存係数K(Y)を掛け、点b,cを補色軸と平行に直線イまで投影して点b’,c’となる色に補正すれば、色相回りは軽減する。
【0037】
この輝度依存係数K(Y)による補正演算は、該当する区画内の色に対して一律に適用してもよいが、色相回りを起こしている色だけに施すのが好ましい。即ち、R,G,Bの信号電荷のうちいずれかが飽和している色に対して補正演算を施し、また、輝度が所定輝度以上の色(図35の直線の特性曲線が曲がっている場所に該当する色)に対して補正演算を施し、R,G,Bの信号電荷の全てが飽和電荷量以下で且つ、輝度が所定輝度未満の色に対しては補正演算を行わず、そのままの色を出力させるようにする。
【0038】
尚、各区画内において、色相回りを起こしている色は多数に上る。例えば区画1を示す図3(a)には、15色程度の色相回りを起こした色の夫々の軌跡が例示されている。各色の色相一定の直線の傾きは異なっているが、色相回りを起こした色に対して一律に同じ輝度依存係数K(Y)を掛けることで、夫々の色相一定の直線上に近似的に補正することができる。
【0039】
色相回りを起こしている色のうち、R,GまたはB信号のいずれかが飽和している色は、後述する色域限界面上に存在している。逆に高輝度側での色域限界面上の色は全てR,G,またはBのいずれかの信号が飽和していて色相回りを起こしている色である。従って、高輝度側での色域限界面上の色に対して上記した輝度依存係数K(Y)の補正演算を施す。
【0040】
図9は、図1に示す色度図であり、横軸がCr軸であり、縦軸がCb軸である。図9の色度図では、紙面の手前側に垂直に延びる軸として輝度をとっている。輝度の値は8ビット系で0〜255の値をとり、最高値は“255”である。ここで、色差マトリクス=1のときの高輝度側の色域限界面(以下、これを「色域限界面0」という。)を考える。色域限界面0は、次の3点のうちのいずれか2点と頂点〔(輝度,Cr,Cb)=(255,0,0)〕とを含む面である。
【0041】
点1(165,−150.5, 50.75)
点2(165, 64.15, 50.75)
点3(165, 64.15,−394.4)
【0042】
即ち、色域限界面0は三角錐の形をしており、図9でみると、前記の補色線M,C,Y(但し、C―MTX=1の場合の補色線)が三角錐の頂点を通る稜線と重なっている。
【0043】
これに対し、ある撮影装置の色域限界面(以下、これを「色域限界面1」という。)は、その撮影装置で決められた色差マトリクスによって異なる。具体的には色差マトリクス=1のときの色域限界面0に対して、色差マトリクス変換したものとなる。補色線や原色線も同様に、色差マトリクス=1のときの線をその撮影装置の色差マトリクスで変換したものとなる。図9の、例えば補色線Mと輝度軸を含む平面に沿って色域限界面0の三角錐を切断した図を図10に示す。この図10において、点線が色域限界面0に該当し、これに撮影装置の色差マトリクスを掛けと、一点鎖線で示す色域限界面1が得られる。
【0044】
このようにして、撮影装置の色域限界面1を求めることができ、色域限界面1を、上記の区画毎に見ると、夫々は平面として表される。従って、撮影装置によって記録された色がその平面上にあるのか否かで、色域限界面1上の色であるか否かを判定できる。色域限界面1上の色は、図8で説明した点a2から原点までに至る飽和による色相回りを起こした色であるため、撮影装置の記録色が色域限界面1上に存在する記録色に対しては一律に輝度依存係数K(Y)を掛けて色相回りを補正する。色域限界面は無限平面ではなく、制限のある有限平面であるが、この実施形態における色信号の補正演算においては、無限平面として取り扱っても実質上問題は生じない。
【0045】
図9の色度図上での補色線の傾き(Cb/Cr比)は、以下の通りである。
【0046】
【数1】

Figure 0004031299
【0047】
色差マトリクス=1の色域は、撮影装置の画像を出力する標準CRTの色域と一致する。
【0048】
色相回りを起こすもうひとつの原因は、図35で説明した特性曲線の曲がりであるから、露光量がこの曲がり点に差し掛かったあと、特性曲線の先端(つまり飽和)までの間の記録色についても色相回りの修正が望まれる。この色相回りも起きない色空間部分の限界面(以下、これを「色域限界面2」という。)は容易に求めることができる。色域限界面1を、輝度軸方向に△Yだけ下げればよい。即ち、図35で直線の曲がり開始点の輝度値が“240”であったとすると、図10で、色域限界面1をΔY=255−240=15だけ下げることで得られる。
【0049】
色域限界面1と色域限界面2との間に挟まれる色空間の色は、図8の点a1から点a2までの間の色に該当し、全て色相回りを起こしているので、輝度依存係数K(Y)を掛けることで補正をするのが好ましい。しかし、飽和による色相回りの補正で用いる輝度依存係数K(Y)をそのまま使用するのではなく、後述する様に、輝度依存係数K(Y)の値を縮小(緩和)して用いる。そして、色域限界面2より輝度が低い低輝度部分では色相回りは起きていないため、無修正とするのがよい。
【0050】
具体的には、デジタルスチルカメラ等の撮影装置で記録した輝度値Y,色差Cr,Cbの値を用いて、その記録色が、色域限界面1と色域限界面2の間にあるか否かを判定し、間にある場合には、両色域限界面1,2からの距離(輝度の差)に応じて色相回りの補正演算に用いる上記の輝度依存係数K(Y)の値を1.0に近い値に修正し、上記の輝度依存係数K(Y)に代えて用いる。
【0051】
例えば、色域限界面1上に存在する色に対しては輝度依存係数K(Y)をそのまま用いるが、色域限界面1より下(輝度が低く)でかつ色域限界面2よりも上にある場合は、(1−(1−K(Y))×S)とする。ここで、Sは“0”〜“1”の値をとり、色域限界面1上では“1”、色域限界面2上では“0”となるように定める。
【0052】
このようにすることで、色相回りを起こしていない色はそのままとし、色相回りを起こしている色には修正を施すことが可能となる。
【0053】
上述した色相回りの補正演算は、図8において、b点,c点の色をb’点,c’点の色に補正するものである。しかし、補正点b’,c’の原点からの距離が点b,cに比べて夫々短くなり、彩度が下がってしまうことになる。彩度不足は画質劣化の原因となるため、b’点やc’点に補正するのではなく、図8のb”点やc”点に補正するのが良い。
【0054】
色の彩度は、色度図上にて原点(無彩色)からの距離として表される。即ち、原点から遠ざかるほど高彩度である。飽和を起こすほどのオーバー露光程、一般的に色の彩度は低く記録される。最後には、彩度=0、即ち白になる(白飛びと称する)。白飛びはR,G,Bが全て飽和した場合であり、撮影装置の特性曲線(γ変換)の高輝度側への広がり(ダイナミックレンジ)によって決まる。ダイナミックレンジが広いほど白飛びは起き難い。しかし、ダイナミックレンジが狭くても高輝度領域での彩度再現性が高ければ、見た目の白飛びは小さくなる。またこの効果はダイナミックレンジが広い場合でも発揮される。
【0055】
そこで、色相回りの修正すなわち輝度依存係数による補正演算を行うときに、同時に彩度を向上させる信号処理を行うのが好ましい。具体的には、特に肌色を含有する区画2で、Crの拡大処理あるいはCgの拡大処理を行う。拡大処理とは、元の値よりも大きな値に変換することであり、Cgの拡大処理は原色軸に平行に拡大することであるが、やや傾けた方向に拡大することも有効である。
【0056】
具体的には、図8のb点→b”点、c点→c”点への投影例に示す様に、拡大方向の傾きが“0”(角度=0°、即ち原色軸に平行)以下で、“−1”(角度−45°)以上の範囲とする。特に、傾きが−0.5〜−0.05の範囲が彩度向上の点で好ましい。
【0057】
前述した様に、高輝度領域での色相回りはR,G,Bのいずれかが飽和した状態であり、色度点は色域限界面1上にある。従って、拡大処理を施すということは、色度点を色域限界面から外側に移動させることを意味する。色域限界面から外側に補正演算した色度点のデータを持つ画像は、デジタルスチルカメラなどの撮影装置のメモリに記録させることができるが、モニタやプリンタに出力して画像を観察する際にモニタやプリンタの色域内に強制的に収納されてしまい、色相回りの修正効果や彩度の向上効果が目減りしてしまう。
【0058】
そこで、この目減り分も読込んだ拡大係数を用いて拡大処理を施すのが好ましい。即ち、一見過度な輝度依存係数を用いて補正演算を行っておき、R,G,Bに戻して画像出力させたとき、適正な色相になるようにするのである。そこで、次のいずれかの処理(a)(b)(c)を行う。尚、ここで言う色域とは、標準モニタの色域とするのが一般的であるが、特定のモニタや特定のプリンタの色域とすることでもよい。
【0059】
(a)上記の補正演算後の色度点が色域限界面の外側にある場合のみ、色域限界面0または色域限界面1の上に移動させるべく、輝度(Y)を下げる。
(b)上記の補正演算後の色度点が色域限界面の外側にある場合のみ、輝度(Y)のみでなく、Cb/Cr比を保ちつつCr,Cbも含めた修正を行ない、色域限界面0上に移動させる。
(c)上記の処理a,処理bの両方を行なう。即ち、色域限界面1上に処理aで移動させ、次に処理bにて色域限界面0上に移動させる処理を行う。
尚、(a)(b)(c)の処理は、輝度信号を用いた各種処理、例えば、シャープネス強調処理などを行う前に行うことが好ましい。そうしないと、画像のザラツキを悪化させかねないからである。
【0060】
上述した色相回りの補正や彩度向上の補正で用いる輝度依存係数K(Y)は、特に区画2(図1参照)の肌色に対して定めたものである。肌色に対して定めた輝度依存係数K(Y)の一例を図11に示す。前述した通り、他の区画1,3,4,5,6の色相回りや彩度向上にもこの輝度依存係数K(Y)は有効であるが、肌色の補正のために定めた輝度依存係数をそのまま用いて他の区画1,3,4,5,6の補正を行うと、彩度向上にばらつきが生じてしまう。
【0061】
例えば、青系統の色ではあまり彩度が向上しない。これは、色域限界面が輝度に対して持つ傾斜が青系統の区画では大きく、Cgの同じ移動量であっても色域から遠く離れてしまうため(彩度のアップが大きく目減りするもの)と考えられる。従って、各区画毎に最適の輝度依存係数を用いるのが好ましい。
【0062】
しかし、各区画毎に個別の輝度依存係数を用意すると、撮影装置の処理装置に大きな処理負荷がかかるため、本実施形態では、肌色で決めた輝度依存係数を他の区画に修正して適用することとする。そこで、後述するように、区画毎に、輝度依存係数を強化する処理を行なう。
【0063】
具体的には、輝度依存係数が“1”である(即ち、CrあるいはCgの拡大を行なわない。無処理ということ)輝度範囲をより狭くして、拡大処理を行なう輝度範囲をより低輝度領域まで広げる。一方、高輝度領域での輝度依存係数の強化は、低彩度色の色相を過度に修正してしまうので避けるのが好ましい。
【0064】
以下、更に具体的に説明する。尚、肌色で決めた輝度依存係数をKs(Y)と表す。輝度Yが8bitであるとすると、輝度Y=0〜255である。肌色を含む区画2では、CgをCg’に変換する。但し、Cg’=Cg/Ks(Y)である(0<Ks(Y)≦1)。
【0065】
肌色を含む区画2以外の区画1,3,4,5,6では、好ましい輝度依存係数はKs(Y)ではなく、K(Y)である(0<K(Y)≦1)。変換式は、Cg’=Cg/K(Y)である。肌色はそれほど彩度が高くないため、肌色で決めた係数Ks(Y)では、高彩度色の色相回りを修正しきれない。高彩度色ほど色相回りを起こし始める輝度は低いので、K(Y)はKs(Y)よりも輝度Yが小さい値の時に“1”以下(場合によっては“1”以上)にするのが好ましい。
【0066】
例えば、Y<Y0の時にY’=Y0−(Y0−Y)×Zとして、K(Y)=Ks(Y’)とするのである。Y>Y0の場合はK(Y)=Ks(Y)とする。Zは“1”以下の値をとる強化係数である。ここでY0は“0”〜“255”の値のいずれかであり、撮影装置毎に予め決めておく。
【0067】
例えばY0=250とすると、Y=250〜255の時は、K(Y)=Ks(Y)であり、Y<250の時は、K(Y)はKs(Y)を低輝度側に拡張したパターンになり、色相回りの修正処理がより低輝度域から行なわれ、かつ同じ輝度ではより強く修正処理することになる。
【0068】
一方、どの区画においても、高輝度,低彩度色は色相回りが小さいので、輝度依存係数は強化しないほうが好ましい。Y>Y0なる範囲はそのような場合に相当する。Y=Y0の時に、Ks(Y)が最小値(または最大値)になるのが好ましい。図11の輝度依存係数を例にとり、Z=0.67の場合を図12に示す。
【0069】
このように、色相を保ったまま且つ彩度があまり戻らぬように色域内に色を降ろす様にすることで、画像出力時に目減りが起きず、且つ、どの区画でも共通の輝度依存係数を用いて高い効果を得ることが可能となる。
【0070】
上述した演算は、ルックアップテーブルにて代用するのが、撮影装置に実装する上で、処理時間の短縮やコストダウンの観点で好ましい。とりわけ輝度依存係数はルックアップテーブルとすることが望ましい。撮影装置内部の信号処理アルゴリズムにかかわらず本実施形態の効果は発揮されるが、上記の輝度依存係数はそのアルゴリズムに応じて違った値となる。とりわけ特性曲線(γ変換特性)に大きく左右される。
【0071】
また、一般に、原シーンの輝度を高輝度まで取り込めば取り込むほど飽和は起き難く、肌は飛び難くなり好ましい。そのような場合でも本実施形態の効果は発揮される。しかし、高輝度まで取り込むとSN比が低下して画像のざらつきが悪化するので実際上あまり高輝度までは取り込めないが、本実施形態によれば、高輝度まで取り込まないカメラ設計であっても顕著な効果を発揮することができる。尚、特性曲線が直線部を有することは本発明の要件ではなく、いかなる特性曲線であっても本発明の効果が発揮される。例えば、図35において、直線部分が緩やかな曲線(例えば“円弧”など)であっても良く、その場合、その部分での色相回りが小さければ修正処理を省いて、高輝度領域に限定した修正処理でも良く、あるいはより低輝度域まで修正処理を広げても良い。
【0072】
更に本実施形態による画像信号処理を実行する画像信号処理装置は、撮影装置に内蔵することができるだけでなく、撮影画像をモニタ上で観察したりプリントしたりする場合に、事前にその画像に対し画像信号処理を施すことでも効果を発揮することができる。即ち、肌色が黄色く飛んでいる画像をモニタに出力する前にあるいはプリンタで出力する前に上述した補正演算を行なえば、肌色の黄変が改善された画像をモニタ上あるいはプリント上に出力可能となる。
【0073】
次に、上述した実施形態の具体的な実施例について詳述する。
[実施例1]
原色系分光感度を有するCCDを用いたデジタルスチルカメラにて、色差マトリクス(C−MTX)を下記の数2の様に決め、Macbeth ColorChecker(グレーを除く18色)を撮影し、各色のつながりの軌跡を求めたところ、図13のようになった。
【0074】
【数2】
Figure 0004031299
【0075】
図中の補色線(或いは原色線)の傾きは、以下の通りに求まる。即ち色差マトリクス=1の時の傾きをtanY0、tanM0、tanC0と表すと、
【0076】
【数3】
Figure 0004031299
【0077】
であり、また、tanX=B/Aであるので、前述した数1の数値を用いて計算すると、
【0078】
【数4】
Figure 0004031299
である。
【0079】
更にこのデジタルスチルカメラにて一般色の軌跡がどのようになっているかをみるために、CCDの出力であるR,G,Bの信号値を10bitにて適当な等間隔で与え、R,G,Bの組合わせ(それぞれがある色を表す)全てにおいてカメラが記録する色度点が露光量と共にどのような軌跡を描くかをカメラ内のアルゴリズムによって求めた。前述した図2は、それら各色の軌跡を色相回りが起きる少し手前の露光量からR,G,B全てが飽和する露光量までCr―Cb色度図にプロットしたものである。但し、煩雑さを避けるために色数を各区画ともに15色程度に抜粋してある。
【0080】
この図2から、どの色についてもその軌跡は露光量の増加に伴ってその色が属する区画を仕切る原色線から補色線に向かう方向に回り、次に補色線に重なり最後は原点(白)に向かうことが判る。例外は、もともと原色線上または補色線上にある色である。この例外色の軌跡はそれぞれの線上を往復している。いずれにしても、どの色もそれが属する区画の外にはみ出すことはない。
【0081】
前述した図3(a)(b),図4(a)(b),図5(a)(b)は、図2の各区画1〜6において補色線を縦軸、原色線を横軸とする座標に変換した図である。どの区画でも殆ど同じパターンになっていることが見て取れる。この(Cr,Cb)→(Cg,Ch)変換によって全ての区画に同一の信号処理を施すことが可能になることが判る。
【0082】
[実施例2]
原色系分光感度を有するCCDを用いたデジタルスチルカメラでの実施例を説明する。R,G,Bの各分光感度にて取り込んだ画像情報をA/D変換し(10bit)、γ変換して8bitのデジタル値とした。このときのγ変換の特性線が前述した図34である。
【0083】
このγ変換は、最終的に標準CRTにて出力される画像の輝度値を原シーンの輝度値に対してプロットした場合、前述した図35に示すような大部分が直線の関係になるような変換である。この図35に示す特性曲線が直線である部分では、どんな色であっても露光量にかかわらず出力画像中での色相が一定である(変化しない)ということを意味する。
【0084】
しかし、露光量が増えていくと特性曲線の曲線部分にかかり、更にはR,G,Bいずれかの出力信号が飽和し、色相回りが生じる。この様子を肌色を例にとって示したのが、前述した図6,図7である。
【0085】
ここで、色相回りが起きないほぼ最高の輝度(輝度=158)でのCr/Cb比を“1”と正規化したCr/Cb比を、輝度依存係数Kとした。但し、輝度が“250”から“255”までの間は、このCr/Cb比を“1”に戻すように修正し、高輝度かつ低彩度の色が過度に修正されること(色相の逆回りを起こすこと)がないようにしてある。これを図14に示す。
【0086】
次に、この輝度依存係数Kを用いて、画像のCr,Cb値の処理を以下のように行なった。
【0087】
【数5】
Figure 0004031299
【0088】
【数6】
Figure 0004031299
【0089】
この数5,数6のA,B,C,Dは色差マトリクスの係数であり、もともとこのカメラで設定されている値であり、実施例1の色差マトリクスと同じである。輝度依存係数Kの値としては、画素ごとに、その輝度に対応する値を図14から求めた。
【0090】
肌色は、R>G>B(区画2)であるので、R>G>Bを満たす色についてのみ上記の数5の演算を施し、その他の色には対しては数6の演算を施した。即ち、区画2に属する色に対してのみ、色差マトリクス演算後、Crを輝度依存係数Kによって拡大する処理を行い、その他の区画に属する色に対しては、従来の色差マトリクス演算を行なうだけとした。
【0091】
このように、CCDから読み出される信号に対して数5,数6の演算を施すことで、CCDから読み出される画像データとは異なる新たな画像データを得ることができる。この新たな画像データの肌色の露光量依存性を示したのが図15の一点鎖線である。
【0092】
従来法と比べて、色相回りが格段に減ったことが見て取れる。但し、やや不十分であるが、これはCrの拡大によって色度点が色域の外に出たためである。そこで、上記の輝度依存係数Kを図14の太線に示すように強化したK’を用いて拡大処理を行う。このK’を用いた場合の肌色の露光量依存性を、図15の○印をつなぐ線で示す。色相回りがより小さくなったことがわかる。同じ区画2に属する他の色に対しても同じ処理を施すことで、各色の色相回りは皆改善される。その例として、Macbeth ColorCheckerの赤の色相回りが改善されたことを図16に示す。
【0093】
次に、色相回りの補正対象色を区画2に限定する方法として、R,G,Bの大小関係ではなく、色差マトリクス演算後のCr,Cbの値で限定する方法を実施してみた。具体的には、
【0094】
【数7】
Figure 0004031299
【0095】
を満たす色を区画2と判定する方法である。区画2は、原色線Rと補色線Yによって仕切られているが、原色線の傾きはその反対色の補色線の傾きと同じであるので、上記の数7の式となる。
【0096】
この結果は、区画2をR>G>Bで判定した結果と全く同じであった。このCr拡大処理を他の区画にも適用すると弊害がでる。その例として、Macbeth ColorCheckerでの結果を、図17,図18に示す。いずれも色相回りがかえって悪化していることが判る。
【0097】
[実施例3]
色差マトリクス演算後の(Cr,Cb)を(Cg,Ch)に変換することで、全ての区画の色の色相回りが改善できる例を示す。肌色について(Cr,Cb)を実施例1の図3と同じ変換にて(Cg,Ch)とし、さらに、
【0098】
【数8】
Figure 0004031299
【0099】
で示される変換を行なったあとの肌色の軌跡を図19に示す。この色度図(図19)においてCh/Cgを求め、肌色が色相回りを起こさない最高輝度のCh/Cgにて正規化したCh/Cgを輝度依存係数Kとしたのが、前述の図11である。この輝度依存係数Kを用いて、次の演算(1)(2)(3)を順次行なった。
【0100】
演算(1):Cg’=Cg/K
演算(2):Ch”=Ch’−0.1×Cg’
演算(3):(Cg’,Ch”)を(Cr’,Cb’)に逆変換
【0101】
この逆変換とは、実施例1にて示した(Cr,Cb)から(Cg,Ch)への変換の逆演算のことである。
【0102】
こうして得られた肌色の軌跡をa*―b*色度図に示したのが図20である。肌色の色相回りが格段に改善されているのが判る。また、この演算を区画2以外にも適用した例をMacbeth ColorCheckerにて示したのが図21,図22である。他区画においても、座標変換後に同じ演算を施しても色相回りが悪化することは全くなく、むしろ改善されることが判る。
【0103】
更に、色域限界面0よりも高輝度側に(Y,Cr’,Cb’)が位置している場合には、上記の演算(1)(2)(3)の後に、さらに次の演算(4)を追加した。
【0104】
演算(4):Y,Cr’,Cb’をY”,Cr”,Cb”へ変換
【0105】
この演算(4)の変換は次の様にして行う。先ず、もともとの色(Y,Cr,Cb)が属する区画の色域限界面0を求める。例えば、区画2であれば、前述の図9で説明した点1,点2,点3のうちの点2,点3と頂点(255,0,0)を含む平面が色域限界面0である。
【0106】
次に、点(Y,Cr’,Cb’)と原点(0,0,0)を結ぶ直線と、上記平面との交点を(Y”,Cr”,Cb”)とする。こうすれば、Cb/Cr比(即ち色相)は保ったまま色域限界面0上に変換できる。こうして得られた結果を図23に示す。図20と比較すると、演算(4)を行なったことで色相回りがさらに改善されていることが判る。
【0107】
また、区画2以外の区画に属する色に対して同じ演算を行なった結果を、Macbeth ColorCheckerにて図24(red)、図25(blue sky)、図26(green)に示す。これらの図から、色相回りだけでなく、彩度も向上していることが判る。
【0108】
[実施例4]
実施例3の演算(1)において、以下のような制約を持たせて演算を行なった例を示す。具体的にはCg’=Cg/Kの演算を行なう代わりに、次の数9の演算を行う。
【0109】
【数9】
Figure 0004031299
【0110】
この数9で、Sは“0”〜“1”の値で、次のようにして決めた。
(イ)色度点(Y,Cr,Cb)が色域限界面2よりも低輝度側にある場合はS=0とする。
(ロ)色度点(Y,Cr,Cb)が色域限界面1よりも高輝度側にある場合はS=1とする。
(ハ)イとロの中間にある場合、S=(Y1−Y)/(Y1−Y2)
【0111】
ここで、(Y1,Cr,Cb)は色域限界面1上の点であり、(Y2,Cr,Cb)は色域限界面2上の点である。Y1>Y>Y2であるので、1>S>0である。
【0112】
また、実施例でのカメラの特性曲線においては、Y1−Y2=68である。即ち、色域限界面2は色域限界面1に対して輝度が68低いところに位置している。これは図35に示す特性曲線の高輝度の先端(γ変換後の8bitの出力値=255)と特性曲線が直線から曲線に移る点(γ変換後の8bitの出力値=187)の出力値差が“68”であるということである。
【0113】
また、輝度依存係数(図27に示す)は、実施例3のものよりは強化した値を設定した。これは上記制約を設けることで、輝度依存係数が緩和された分をキャンセルするためである。このようにして演算(2)(3)(4)を行なった結果を、図28(肌色)、図29(Macbeth ColorCheckerのblue sky)、図30(Macbeth ColorCheckerのgreen)に示す。実施例3と同様に改善効果があることが判る。
【0114】
さらに、上記演算において、区画2以外では以下のような演算を追加した。即ち、数9の演算において、Kは輝度依存係数であるので、より正確にはK(Y)と表せるが、例えばルックアップテーブルにて輝度(Y)を用いてK(Y)を参照する際に。
【0115】
(A)Y≧249ならば、K(Y)を使う。
(B)Y<249ならば、Y’=249−(249−Y)×ZなるY’を求めてK(Y’)を使う。但し、強化係数Zは、“1”以下の任意の正の値であり、各区画毎に異なった値でも良いし、同一の値でも良い。
【0116】
区画2に属する色に対しては、このような演算は行なわないか、或いはZ=1とする。この強化係数Zによって、K(Y)の値はより低輝度側まで“1”以下の値をとるルックアップテーブル(LUT)に変換したことになり、実際には1つのルックアップテーブルでありながら、実質的には区画毎に別のルックアップテーブルを使っていることになる。
【0117】
これにより、肌色を含む区画以外の区画において、一層、色相回りを小さくしたり、高輝度側での彩度アップを図ることが可能となる。区画2以外の区画全てに強化係数Z=0.67を適用した結果を図31、図32に示す。彩度向上効果が顕著であることが判る。
【0118】
また、この強化係数Zを効かせた演算を、実施例3の演算(1)(2)(3)(4)のままで実施した結果を図33に示す。アンダー露光量側の本来色相回りを起こしていない色にまで強調された演算を掛けることになり、部分的に色相の逆回りを起こしていることがわかる。
【0119】
強化係数Zを効かせない演算においても同じ結果となる。即ち、実施例4にて示した数9の演算における制限は、色相回り改善の演算を色相回りを起こしていない色にまで適用することを防ぐ適切な制限であることがわかる。
【0120】
【発明の効果】
本発明によれば、デジタルスチルカメラ等のカラー画像撮影装置において、肌色が撮影照明光の強い部分で黄変することがなくなり、白飛びも実質上減少する。更に、肌色以外のその他の一般色においても色相回りや白飛びが改善され、記録画像をプリントするなど出力する際に肌色や一般色の色相回りや白飛びを小さくすることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態のカラー画像信号処理方法を説明するCr―Cb色度図である。
【図2】デジタルスチルカメラで任意の色を撮影し、つながりの軌跡を求めたグラフである。
【図3】図2に示す区画1と区画2をCg―Ch座標に変換したグラフである。
【図4】図2に示す区画3と区画4をCg―Ch座標に変換したグラフである。
【図5】図2に示す区画5と区画6をCg―Ch座標に変換したグラフである。
【図6】肌色の色相回りをシミュレーションしたa*―b*色度図である。
【図7】肌色の色相回りをシミュレーションしたCr―Cb色度図である。
【図8】色の色相回りを説明する図である。
【図9】三角錐形の色域限界面を示す色度図である。
【図10】図9に示す色域限界面を輝度軸に沿って切断した状態を示す説明図である。
【図11】本発明の一実施形態で用いる輝度依存係数を示すグラフである。
【図12】図11に示す輝度依存係数を強化したグラフである。
【図13】マクベスカラーチェッカ(グレーを除く18色)を撮影し各色のつながりの軌跡を求めた色度図である。
【図14】強化した輝度依存係数の一例を示すグラフである。
【図15】肌色の露光量依存性を示すグラフである。
【図16】輝度依存係数を強化することでマクベスカラーチェッカの赤色の色相回りの改善を示すグラフである。
【図17】肌色の区画と同じCr拡大処理を他の区画にも適用したときの弊害を示すグラフ(blue sky)である。
【図18】肌色の区画と同じCr拡大処理を他の区画にも適用したときの弊害を示すグラフ(green)である。
【図19】Ch―Cgへの変換を行なったあとの肌色の軌跡を示すグラフである。
【図20】肌色の軌跡を示すa*―b*色度図である。
【図21】肌色の色相回りを改善する演算を肌色の属さない他の区画に適用した例をマクベスカラーチェッカ(blue sly)で示したグラフである。
【図22】肌色の色相回りを改善する演算を肌色の属さない他の区画に適用した例をマクベスカラーチェッカ(green)で示したグラフである。
【図23】Cgの拡大処理と輝度も含めた変換処理により色相回りが更に改善されたことを示すグラフである。
【図24】図23と同じ変換処理を肌色の属さない区画に対して適用したときの色相回りの改善をマクベスカラーチェッカ(red)で示すグラフである。
【図25】図23と同じ変換処理を肌色の属さない区画に対して適用したときの色相回りの改善をマクベスカラーチェッカ(blue sky)で示すグラフである。
【図26】図23と同じ変換処理を肌色の属さない区画に対して適用したときの色相回りの改善をマクベスカラーチェッカ(green)で示すグラフである。
【図27】強化した輝度依存係数の別例を示すグラフである。
【図28】本発明の一実施形態に係る実施例4の演算を実行したときの色相回りの改善を肌色で示すグラフである。
【図29】本発明の一実施形態に係る実施例4の演算を実行したときの色相回りの改善をマクベスカラーチェッカ(blue sky)で示すグラフである。
【図30】本発明の一実施形態に係る実施例4の演算を実行したときの色相回りの改善をマクベスカラーチェッカ(green)で示すグラフである。
【図31】本発明の一実施形態に係る実施例4の演算を実行したときの彩度アップ効果をマクベスカラーチェッカ(blue)で示すグラフである。
【図32】本発明の一実施形態に係る実施例4の演算を実行したときの色相回りの改善をマクベスカラーチェッカ(blue)で示すグラフである。
【図33】アンダー露光量側の本来色相回りを起こしていない色にまで強調された演算を掛けることで部分的に色相の逆回りを起こしていることを示すグラフである。
【図34】γ変換特性を示すグラフである。
【図35】図34のγ変換特性に基づく特性曲線を示すグラフである。
【符号の説明】
R 赤(原色)
G 緑(原色)
B 青(原色)
Y 黄色(補色)
M マゼンタ(補色)
C シアン(補色)
Cg 原色軸またはその座標成分
Ch 補色軸またはその座標成分
Z 強化係数[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a color image signal processing method for reducing the hue around a color image photographed by a photographing device such as a digital still camera or a digital video camera, and a color image output device such as a color image printer, a color monitor or a digital color television. And a photographing apparatus such as a digital still camera or a digital video camera.
[0002]
[Prior art]
A solid-state imaging device such as a CCD used to capture a color image with a digital still camera, a digital video camera, or the like has R (red), green (G), and blue (B) on the surface of each pixel (photodiode). ) Is provided, and signal charges corresponding to the amount of incident light passing through each color filter are accumulated in each pixel. Then, the signal charge corresponding to the incident light amount of each color is read from each pixel, and the color of the incident light at each pixel position is reproduced from each signal charge amount of the three colors.
[0003]
[Problems to be solved by the invention]
The solid-state image sensor is configured to reproduce the color of the incident light by dividing the incident light into three colors and storing the signal charge amount proportional to the incident light amount of each color in each pixel. There is an upper limit to the amount of signal charge that can be accumulated in the pixel, and there is a restriction that signal charge exceeding the saturation charge amount of the photodiode constituting the pixel cannot be accumulated.
[0004]
That is, when overexposure occurs and, for example, the signal charge amount corresponding to the red incident light amount of the incident light exceeds the saturation charge amount of the photodiode, the green and blue signal charges that have not reached the saturation charge amount The color reproduced from the amount and the red signal charge amount (saturation charge amount) becomes a color lacking in redness, and so-called hue rotation occurs.
[0005]
In recent years, solid-state imaging devices have dramatically increased the number of pixels due to the advancement of miniaturization technology, and the resolving power has the ability to approach silver salt photography. However, there is a problem in that each pixel is reduced by the amount of miniaturization, the saturation charge amount of each pixel is reduced, and the color reproducibility is not as good as that of a silver salt photograph. In particular, since human eyes are sensitive to skin color, there is a problem that yellowing of the skin color becomes noticeable when the skin color is photographed with overexposure.
[0006]
There is another possible cause of the hue shift. Each signal charge amount corresponding to R, G, and B captured from each pixel of the solid-state imaging device is first converted into 10-bit digital data by the A / D converter, and then based on the γ characteristic shown in FIG. It is converted into 8-bit digital data by γ conversion. Thereafter, it is recorded as a final image through various signal processing. When the image is displayed on the standard CRT, the relationship between the output luminance and the luminance of the original scene is expressed as log [maximum output luminance / output luminance] on the vertical axis and log [input luminance (original scene luminance)] on the horizontal axis ( However, the unit is arbitrary) and the characteristic curve is a straight line. However, in practice, as shown in FIG. 35, the inclination of the characteristic curve in the high luminance region is neglected so that a high luminance image can be expressed with high gradation.
[0007]
The ratio of the input signals R, G, B of any color (eg, R / G, B / G) is constant no matter how the exposure amount changes, that is, on the horizontal axis in FIG. The interval of B is kept constant. Therefore, in the range where the characteristic curve is a straight line, the ratio of the output signals Ro, Go, Bo (eg, Ro / Go, Bo / Go) of the color is constant, and no hue is produced, but the high luminance region, In an area where the characteristic curve is not a straight line but is curved, the output ratio of R, G, B (eg, Ro / Go, Bo / Go) changes, and a hue shift occurs. The hue around this characteristic curve can be eliminated by making the characteristic curve of FIG. 35 straight to the high luminance region, but this makes it impossible to express a high luminance image with high gradation. It becomes necessary to solve the problem.
[0008]
An object of the present invention is to provide a color image signal processing method, a color image output apparatus, and a photographing apparatus capable of obtaining a color image with reduced hue and excellent color reproducibility.
[0009]
[Means for Solving the Problems]
  A color image signal processing method that achieves the above object divides a chromaticity diagram into a plurality of sections by primary color lines and complementary color lines that do not cause hue rotation, and to which section a color signal output from an image sensor belongs. Judgment and for each sectionThe color differences Cr and Cb obtained from the color signal are converted into orthogonal coordinate values of a primary color axis having the primary color line as an axis and a complementary color axis having the complementary color line as an axis to partition the section, and the color differences Cr and Cb For the orthogonal coordinate value, the hue around the primary color axis to the complementary color axis is generated.Color correction operationTo doFeatures.
[0010]
  With this configuration, there is no need to detect the skin color itself when correcting the skin color hue by color correction calculation, and any skin color can be easily determined by whether the color signal output from the image sensor is in a section including the skin color. Therefore, it is possible to perform an appropriate color correction operation on the skin color. In addition, the color correction calculation becomes easy and the processing load is reduced.
[0011]
Preferably, in the above, the color correction calculation is performed by multiplying a value of a color difference Cr or primary color axis coordinate component (Cg) obtained from the color signal by a luminance dependence coefficient. This configuration facilitates color correction calculation and reduces processing load.
[0013]
Preferably, in the above, the color correction calculation is performed by applying a luminance dependence coefficient for correcting the hue around the skin color to colors belonging to the section including the skin color. With this configuration, it is only necessary to perform the same color correction calculation for colors belonging to the same section, and the processing load is reduced.
[0014]
Preferably, in the above, the color correction calculation of at least one other section not including the skin color is performed using a second luminance dependency coefficient different from the first luminance dependency coefficient used in the color correction calculation of the section including the skin color. It is characterized by that. With this configuration, it is possible to perform color correction optimally by performing color correction calculation for each section.
[0015]
Preferably, in the above, the value of the second luminance dependence coefficient is obtained by correcting the value of the first luminance dependence coefficient. With this configuration, it is possible to reduce the data amount of the luminance dependence coefficient used for the color correction calculation.
[0016]
Preferably, in the above, the color correction operation is performed after performing an operation of expanding or reducing the second luminance dependency coefficient in at least one of the sections not including skin color. With this configuration, it is possible to avoid a situation where saturation is insufficient due to the color correction calculation.
[0018]
  Preferably, in the above,The color correction calculation is performed only for the color signal causing the hue shift.It is characterized by that. Since the color that does not cause the hue shift is not corrected, the image quality can be further improved.
[0019]
A color image output apparatus that achieves the above object includes a processing apparatus that executes any one of the color image signal processing methods described above. With this configuration, a color image with excellent color reproducibility can be output.
[0020]
A photographing apparatus that achieves the above object is characterized by mounting a processing apparatus that executes any one of the color image signal processing methods described above. With this configuration, image data with excellent color reproducibility can be captured.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[0022]
FIG. 1 is a chromaticity diagram in which the vertical axis represents the color difference Cb (= −0.169R−0.332G + 0.500B) and the horizontal axis represents the color difference Cr (= 0.500R−0.419G−0.081B). It is. With the primary color lines R, G, B and the complementary color lines C (cyan), M (magenta), Y (yellow) extending in the opposite direction from the origin with respect to the primary color lines R, G, B, this chromaticity diagram is 6 Divided into two compartments. All colors are represented on the chromaticity diagram and fall into one of the compartments.
[0023]
A color image photographed using a solid-state imaging device is not limited to skin color, and generally causes a hue around most colors. However, there are substantially six colors that do not cause a hue shift. These six colors are colors in which two signal charges of R, G, and B signals are equal. Specifically, blue (B> R = G), yellow (B <R = G), red (R> G = B), cyan (R <G = B), green (G> B = R), There are six colors of magenta (G <B = R), and these six colors do not substantially cause hue even if the photographing apparatus has any characteristic curve (or γ conversion characteristic).
[0024]
When plotting on the chromaticity diagram what kind of locus the chromaticity points (Cr, Cb) of these six colors recorded by the photographing apparatus draw together with the exposure amount, any color has the origin (0 , 0) and return to the origin. Since it is a digitized value, the line is bent in detail, but it is essentially a straight line. The chromaticity diagram is divided into six sections by these six color straight lines (primary color lines R, G, B and complementary color lines Y, M, C).
[0025]
FIG. 2 is a chromaticity diagram of an arbitrary color (about 90 colors are shown in the figure) together with an exposure amount in a digital still camera using a CCD having a primary color (R, G, B) spectral sensitivity. It is the figure which investigated the locus drawn above. As can be seen from FIG. 2, the color belonging to one of the sections remains in the section even if the exposure amount changes, and does not protrude into the adjacent section.
[0026]
In any color, when overexposure occurs, the signal charge amount of any of R, G, and B is saturated, and the hue increases in the direction from the primary color line of the section to which the color belongs to the complementary color line. You can see that it is looping around. For example, in the section 1 sandwiched between the primary color line R and the complementary color line M, a loop-shaped locus from the primary color line R to the complementary color line M is drawn, and in the section 2 sandwiched between the primary color line R and the complementary color line Y, the primary color line R Loops in the direction toward the complementary color line Y. Hereinafter, the six sections are named as sections 3, 4, 5, and 6 in the clockwise direction.
[0027]
From the above, it can be seen that the image signal processing for correcting the hue circumference can be performed for each of the above six sections. In particular, when it is desired to correct the hue around the flesh color, it is understood that the hue around the section 2 to which the flesh color belongs should be corrected.
[0028]
Even if it is called skin color, the skin color varies depending on the race, and the skin color also varies depending on the age. However, the skin color of all races and young and old men and women always belongs to the section 2, and the skin color that has caused the hue around also belongs to the section 2. For this reason, it is possible to correct the hue around the flesh color by correcting the hue around the section 2.
[0029]
Since the hue around the skin color is conspicuous, it has been conventionally performed to detect the skin color in the color image and correct the color by some method, but the color that caused the hue around is no longer a skin color, For this reason, the detection of skin color is extremely difficult. However, in this embodiment, the skin color is not detected and it is determined whether or not the color is the color of the section 2, so that the determination is easy.
[0030]
3, 4, and 5, the primary color line (R, G, B) of each section is plotted on the horizontal axis of orthogonal coordinates (labeled “Cg”), and the complementary color line (Y , M, C) is a graph obtained by performing coordinate transformation on the vertical axis of orthogonal coordinates (denoted as “Ch”). The horizontal axis and the vertical axis are expressed as a primary color axis and a complementary color axis. From these figures, it can be seen that the hue circumference shows the same tendency in any section, and therefore the hue circumference can be corrected by the same signal processing in any section.
[0031]
Since the hue circumference is conspicuous particularly in the skin color, in this embodiment, first, an image signal processing method for correcting the hue circumference of the section 2 is determined, and then, when the image signal processing method for the section 2 is applied to other sections. Consider the corrections. It should be noted that human eyes are insensitive to hues other than the skin color, and therefore, for colors belonging to the sections other than the section 2, correction around the hue may be omitted to reduce the signal processing load.
[0032]
FIG. 6 is an a * -b * chromaticity diagram simulating the hue around the skin color, and FIG. 7 is the Cr-Cb chromaticity diagram. The black dot in the figure is the skin color chromaticity point at the appropriate exposure amount, and using that as the reference value, the underexposure of about 1/8 times the reference value to the overexposure of about 5 times is "2" The chromaticity points of the skin color recorded with the exposure amount in increments of 1/8 times are indicated by x marks, and they are connected by lines.
[0033]
FIG. 8 is an explanatory diagram around the hue shown in FIGS. 3A, 3B, 4A, 4B, and 5A, 5B. The hue is approximately represented by Cb / Cr. Since the coordinate conversion from the Cr—Cb system to the Cg—Ch system is a linear conversion with the common origin, maintaining the value of Cb / Cr is the same as maintaining the value of Ch / Cg. In FIG. 8, if Ch / Cg = a straight line A is a straight line indicating a constant hue, and a change locus with respect to the exposure amount of the color is on the straight line A, the hue does not occur. However, as the exposure amount increases, the color progresses on the straight line A from the origin, moves away from the straight line A at the point a1, gradually goes around the complementary color axis side, and traces back to the origin.
[0034]
The hue around the range from the point a1 to the point a2 is around the hue due to the curve from the straight line on the high luminance side of the characteristic curve of FIG. , B around the hue caused by the saturation of the signal charge amount of one of the colors.
[0035]
For any hue, if the value of Ch / Cg (or Cb / Cr) is corrected to the original value, the hue can be reduced. This is obtained by multiplying Cr or Cb by a coefficient having luminance dependency (hereinafter referred to as luminance dependency coefficient K (Y)) (including division; the same shall apply hereinafter) or by multiplying Cg or Ch by the luminance dependency coefficient K. This can be realized by multiplying (Y).
[0036]
Referring to FIG. 8, the color of the arbitrary point b between the point a1 and the point a2 is corrected on the straight line A, and the color of the arbitrary point c between the point a2 and the origin is corrected on the straight line A. This will reduce the hue. That is, the complementary color axis coordinate component (Ch) of the color of each point b, c is multiplied by a luminance dependency coefficient K (Y), and the points b, c are projected to a straight line A in parallel with the complementary color axis to obtain points b ′, c ′. If it is corrected to a color that becomes, the hue around is reduced.
[0037]
The correction calculation using the luminance dependence coefficient K (Y) may be applied uniformly to the colors in the corresponding section, but it is preferable to apply only to the colors that cause the hue. That is, a correction operation is performed on a color in which any one of the R, G, and B signal charges is saturated, and a color whose luminance is equal to or higher than a predetermined luminance (where the linear characteristic curve in FIG. 35 is bent). Color corresponding to the above)), and the correction calculation is not performed for a color whose R, G, B signal charges are all equal to or less than the saturation charge amount and the luminance is less than the predetermined luminance. Enable color output.
[0038]
In each section, there are a large number of colors that cause hue. For example, FIG. 3A showing the section 1 illustrates the trajectories of the colors that cause the hue of about 15 colors. Although the slopes of the straight lines with the same hue for each color are different, the colors that have caused the hue are uniformly corrected by multiplying them by the same luminance dependence coefficient K (Y) on the straight lines with the same hue. can do.
[0039]
Among the colors that cause hue, a color in which one of the R, G, and B signals is saturated exists on the color gamut limit surface described later. On the other hand, all the colors on the color gamut limit surface on the high luminance side are colors in which any of R, G, or B signals are saturated and cause hue. Accordingly, the above-described correction processing of the luminance dependency coefficient K (Y) is performed on the color on the color gamut limit surface on the high luminance side.
[0040]
FIG. 9 is a chromaticity diagram shown in FIG. 1, in which the horizontal axis is the Cr axis and the vertical axis is the Cb axis. In the chromaticity diagram of FIG. 9, brightness is taken as an axis extending perpendicularly to the front side of the paper. The value of luminance takes a value of 0 to 255 in an 8-bit system, and the maximum value is “255”. Here, the color gamut limit surface on the high luminance side when the color difference matrix = 1 (hereinafter referred to as “color gamut limit surface 0”) is considered. The color gamut limit surface 0 is a surface including any two of the following three points and a vertex [(luminance, Cr, Cb) = (255, 0, 0)].
[0041]
Point 1 (165, -150.5, 50.75)
Point 2 (165, 64.15, 50.75)
Point 3 (165, 64.15, -394.4)
[0042]
That is, the color gamut limit surface 0 has a triangular pyramid shape, and the complementary color lines M, C, and Y (provided that C-MTX = 1) are triangular pyramids when viewed in FIG. It overlaps the ridge line passing through the apex.
[0043]
On the other hand, the color gamut limit surface (hereinafter referred to as “color gamut limit surface 1”) of a certain photographing apparatus differs depending on the color difference matrix determined by the photographing apparatus. Specifically, the color difference matrix conversion is performed on the color gamut limit plane 0 when the color difference matrix = 1. Similarly, the complementary color line and the primary color line are obtained by converting the line when the color difference matrix = 1 with the color difference matrix of the photographing apparatus. FIG. 10 shows a diagram in which the triangular pyramid of the color gamut limit surface 0 is cut along a plane including, for example, the complementary color line M and the luminance axis in FIG. In FIG. 10, the dotted line corresponds to the color gamut limit surface 0, and this is multiplied by the color difference matrix of the photographing apparatus to obtain the color gamut limit surface 1 indicated by the alternate long and short dash line.
[0044]
In this way, the color gamut limit surface 1 of the photographing apparatus can be obtained, and when the color gamut limit surface 1 is viewed for each of the sections, each is represented as a plane. Therefore, whether or not the color recorded by the photographing apparatus is on the plane can determine whether or not the color is on the color gamut limit surface 1. The color on the color gamut limit surface 1 is a color that causes a hue shift due to saturation from the point a2 to the origin described in FIG. The hue is corrected by uniformly multiplying the color by the luminance dependence coefficient K (Y). The color gamut limit surface is not an infinite plane but a limited finite plane. However, in the color signal correction calculation in this embodiment, even if it is handled as an infinite plane, no problem is caused.
[0045]
The slope (Cb / Cr ratio) of the complementary color line on the chromaticity diagram of FIG. 9 is as follows.
[0046]
[Expression 1]
Figure 0004031299
[0047]
The color gamut of the color difference matrix = 1 matches the color gamut of the standard CRT that outputs the image of the photographing apparatus.
[0048]
Another cause of the hue shift is the curve of the characteristic curve described with reference to FIG. 35. Therefore, after the exposure amount reaches the curve point, the recording color until the tip of the characteristic curve (ie, saturation) is also obtained. Correction around the hue is desired. The limit surface of the color space portion where the hue does not occur (hereinafter referred to as “color gamut limit surface 2”) can be easily obtained. The color gamut limit surface 1 may be lowered by ΔY in the luminance axis direction. That is, assuming that the luminance value of the straight curve start point in FIG. 35 is “240”, it is obtained by lowering the color gamut limit plane 1 by ΔY = 255−240 = 15 in FIG. 10.
[0049]
The colors in the color space sandwiched between the color gamut limit surface 1 and the color gamut limit surface 2 correspond to the colors between the points a1 and a2 in FIG. It is preferable to correct by multiplying by the dependence coefficient K (Y). However, the luminance dependence coefficient K (Y) used for correction around the hue due to saturation is not used as it is, but the value of the luminance dependence coefficient K (Y) is reduced (relaxed) and used as will be described later. Then, since the hue is not generated in the low luminance portion where the luminance is lower than that of the color gamut limit surface 2, it is preferable to make no correction.
[0050]
Specifically, whether the recorded color is between the color gamut limit surface 1 and the color gamut limit surface 2 using the values of the luminance value Y and the color differences Cr, Cb recorded by a photographing apparatus such as a digital still camera. If it is between the two color gamut limit planes 1 and 2, the value of the luminance dependency coefficient K (Y) used for the correction operation around the hue according to the distance (difference in luminance) from both the color gamut limit planes 1 and 2 Is corrected to a value close to 1.0 and used in place of the luminance dependence coefficient K (Y).
[0051]
For example, the luminance dependence coefficient K (Y) is used as it is for the color existing on the color gamut limit surface 1, but it is lower than the color gamut limit surface 1 (low luminance) and higher than the color gamut limit surface 2. In this case, (1- (1-K (Y)) × S) is assumed. Here, S takes a value of “0” to “1” and is determined to be “1” on the color gamut limit surface 1 and “0” on the color gamut limit surface 2.
[0052]
In this way, it is possible to modify the color that has caused the hue around while keeping the color that has not caused the hue around as it is.
[0053]
The above-described correction operation around the hue is to correct the colors of the points b and c to the colors b 'and c' in FIG. However, the distances from the origin of the correction points b 'and c' are shorter than the points b and c, respectively, and the saturation is lowered. Insufficient saturation causes image quality degradation, so it is better to correct to the points b ″ and c ″ in FIG. 8 instead of correcting to the points b ′ and c ′.
[0054]
The color saturation is represented as a distance from the origin (achromatic color) on the chromaticity diagram. That is, the higher the distance from the origin, the higher the saturation. The over-exposure that causes saturation is generally recorded with low color saturation. Finally, saturation = 0, i.e., white (referred to as whiteout). The whiteout is when all of R, G, and B are saturated, and is determined by the spread (dynamic range) of the characteristic curve (γ conversion) of the photographing apparatus to the high luminance side. The wider the dynamic range, the harder it is to fly out. However, even if the dynamic range is narrow, if the saturation reproducibility in the high luminance region is high, the apparent whiteout becomes small. This effect is also exhibited when the dynamic range is wide.
[0055]
Therefore, it is preferable to perform signal processing for improving the saturation at the same time when the correction around the hue, that is, the correction calculation by the luminance dependence coefficient is performed. Specifically, Cr enlargement processing or Cg enlargement processing is performed particularly in the section 2 containing the skin color. The enlargement process is a conversion to a value larger than the original value, and the enlargement process of Cg is an enlargement parallel to the primary color axis, but it is also effective to enlarge in a slightly inclined direction.
[0056]
Specifically, as shown in the example of projection from point b to point b and point c to point c in FIG. 8, the inclination in the enlargement direction is “0” (angle = 0 °, that is, parallel to the primary color axis). Below, it is set as the range more than "-1" (angle -45 degrees). In particular, an inclination in the range of −0.5 to −0.05 is preferable in terms of improving the saturation.
[0057]
As described above, the hue around the high luminance region is a state in which any of R, G, and B is saturated, and the chromaticity point is on the color gamut limit plane 1. Therefore, performing the enlargement process means moving the chromaticity point outward from the color gamut limit surface. An image with chromaticity point data corrected and calculated from the color gamut limit surface can be recorded in the memory of a photographing device such as a digital still camera, but when output to a monitor or printer and observing the image It is forcibly stored in the color gamut of the monitor or printer, and the effect of correcting the hue and the effect of improving the saturation are diminished.
[0058]
Therefore, it is preferable to perform an enlargement process using an enlargement coefficient that has also read this reduction. That is, a correction operation is performed using a seemingly excessive luminance dependence coefficient, and when the image is output after returning to R, G, B, an appropriate hue is obtained. Therefore, one of the following processes (a), (b), and (c) is performed. The color gamut referred to here is generally the color gamut of a standard monitor, but may be the color gamut of a specific monitor or a specific printer.
[0059]
(A) Only when the chromaticity point after the above correction calculation is outside the color gamut limit surface, the luminance (Y) is lowered so as to be moved onto the color gamut limit surface 0 or the color gamut limit surface 1.
(B) Only when the chromaticity point after the above correction calculation is outside the color gamut limit surface, correction is performed including not only luminance (Y) but also Cr and Cb while maintaining the Cb / Cr ratio. Move to zone limit plane 0.
(C) Both processing a and processing b are performed. That is, a process of moving to the color gamut limit surface 1 by the process a and then moving to the color gamut limit surface 0 by the process b is performed.
The processes (a), (b), and (c) are preferably performed before performing various processes using the luminance signal, for example, sharpness enhancement process. Otherwise, the roughness of the image may be deteriorated.
[0060]
The luminance dependency coefficient K (Y) used in the above-described correction around the hue and the correction for improving the saturation is determined especially for the skin color of the section 2 (see FIG. 1). An example of the luminance dependence coefficient K (Y) determined for the skin color is shown in FIG. As described above, the luminance dependence coefficient K (Y) is effective for improving the hue and saturation of the other sections 1, 3, 4, 5, and 6, but the luminance dependence coefficient defined for correcting the skin color. If the other sections 1, 3, 4, 5, and 6 are corrected using the same as it is, variations in saturation will occur.
[0061]
For example, blue color does not improve saturation much. This is because the gradient of the color gamut limit surface with respect to the brightness is large in the blue system section, and even if the Cg movement amount is the same, it is far away from the color gamut (the increase in saturation is greatly diminished). it is conceivable that. Therefore, it is preferable to use the optimum luminance dependency coefficient for each section.
[0062]
However, if an individual luminance dependency coefficient is prepared for each section, a large processing load is applied to the processing device of the photographing apparatus. In this embodiment, the luminance dependency coefficient determined by the skin color is corrected and applied to other sections. I will do it. Therefore, as will be described later, processing for enhancing the luminance dependence coefficient is performed for each section.
[0063]
Specifically, the luminance dependence coefficient is “1” (that is, Cr or Cg is not enlarged. No processing is performed), and the luminance range to be enlarged is set to a lower luminance area. Extend to. On the other hand, it is preferable to avoid the enhancement of the luminance dependence coefficient in the high luminance region because the hue of the low saturation color is excessively corrected.
[0064]
More specific description will be given below. The luminance dependence coefficient determined by the skin color is expressed as Ks (Y). If the luminance Y is 8 bits, the luminance Y = 0 to 255. In section 2 including the skin color, Cg is converted to Cg ′. However, Cg ′ = Cg / Ks (Y) (0 <Ks (Y) ≦ 1).
[0065]
In the sections 1, 3, 4, 5, and 6 other than the section 2 including the skin color, a preferable luminance dependency coefficient is not Ks (Y) but K (Y) (0 <K (Y) ≦ 1). The conversion formula is Cg ′ = Cg / K (Y). Since the skin color is not so saturated, the coefficient Ks (Y) determined by the skin color cannot completely correct the hue around the high saturation color. The higher the saturation color, the lower the luminance at which hue starts to occur, so K (Y) is preferably set to “1” or less (in some cases, “1” or more) when the luminance Y is smaller than Ks (Y).
[0066]
For example, when Y <Y0, Y '= Y0- (Y0-Y) * Z, and K (Y) = Ks (Y'). When Y> Y0, K (Y) = Ks (Y). Z is an enhancement coefficient that takes a value of "1" or less. Here, Y0 is any value from “0” to “255”, and is determined in advance for each photographing apparatus.
[0067]
For example, if Y0 = 250, K (Y) = Ks (Y) when Y = 250 to 255, and K (Y) expands Ks (Y) to the low luminance side when Y <250. Thus, the correction process around the hue is performed from a lower luminance range, and the correction process is more strongly performed at the same luminance.
[0068]
On the other hand, it is preferable not to reinforce the luminance dependency coefficient in any section because the hue around the high luminance and low chroma color is small. The range of Y> Y0 corresponds to such a case. When Y = Y0, Ks (Y) is preferably a minimum value (or a maximum value). Taking the luminance dependence coefficient of FIG. 11 as an example, FIG. 12 shows the case of Z = 0.67.
[0069]
In this way, by reducing the color within the color gamut so that the hue does not return so much while maintaining the hue, there is no loss in image output, and a common luminance dependence coefficient is used in all sections. High effects can be obtained.
[0070]
Substituting the above-described calculation with a look-up table is preferable from the viewpoint of shortening the processing time and reducing the cost when mounted on the photographing apparatus. In particular, the luminance dependence coefficient is preferably a lookup table. The effect of the present embodiment is exhibited regardless of the signal processing algorithm inside the photographing apparatus, but the above-described luminance dependency coefficient has a different value depending on the algorithm. In particular, it depends greatly on the characteristic curve (γ conversion characteristic).
[0071]
In general, the higher the luminance of the original scene is, the more difficult it is to saturation and the less likely the skin is to fly. Even in such a case, the effect of this embodiment is exhibited. However, if the image is taken up to a high luminance, the SN ratio is lowered and the roughness of the image is deteriorated. Therefore, the image cannot be taken up to a very high luminance in practice. Can be effective. In addition, it is not a requirement of the present invention that the characteristic curve has a straight line portion, and the effect of the present invention is exhibited regardless of the characteristic curve. For example, in FIG. 35, the straight line portion may be a gentle curve (for example, “arc”). In this case, if the hue around the portion is small, the correction process is omitted and the correction is limited to the high luminance region. Processing, or the correction processing may be extended to a lower luminance range.
[0072]
Furthermore, the image signal processing apparatus for executing the image signal processing according to the present embodiment can be incorporated not only in the photographing apparatus but also when the photographed image is observed or printed on the monitor in advance. The effect can also be exhibited by performing image signal processing. In other words, if the above-described correction calculation is performed before an image with flesh color flying yellow is output to a monitor or before being output by a printer, an image with improved skin color yellowing can be output on a monitor or print. Become.
[0073]
Next, specific examples of the above-described embodiment will be described in detail.
[Example 1]
Using a digital still camera using a CCD with primary color spectral sensitivity, the color difference matrix (C-MTX) is determined as shown in Equation 2 below, and a Macbeth ColorChecker (18 colors excluding gray) is photographed. When the locus was obtained, it was as shown in FIG.
[0074]
[Expression 2]
Figure 0004031299
[0075]
The inclination of the complementary color line (or primary color line) in the figure is obtained as follows. That is, when the gradient when the color difference matrix = 1 is expressed as tanY0, tanM0, and tanC0,
[0076]
[Equation 3]
Figure 0004031299
[0077]
In addition, since tanX = B / A, when calculating using the numerical value of the above-described formula 1,
[0078]
[Expression 4]
Figure 0004031299
It is.
[0079]
Furthermore, in order to see how the general color trajectory looks in this digital still camera, the signal values of R, G, B, which are the outputs of the CCD, are given at 10 bits at appropriate equal intervals, and R, G , B (each representing a certain color), the trajectory of the chromaticity point recorded by the camera along with the exposure amount is determined by an algorithm in the camera. FIG. 2 described above plots the locus of each color on the Cr-Cb chromaticity diagram from the exposure amount slightly before the hue rotation to the exposure amount at which all of R, G, and B are saturated. However, in order to avoid complication, the number of colors is extracted to about 15 colors in each section.
[0080]
From FIG. 2, the trajectory of any color turns in the direction from the primary color line that divides the section to which the color belongs to the complementary color line as the exposure amount increases, then overlaps with the complementary color line and finally goes to the origin (white). I know I'm heading. Exceptions are colors that are originally on primary or complementary color lines. This exceptional color trajectory reciprocates on each line. In any case, no color will protrude outside the compartment to which it belongs.
[0081]
3 (a), 3 (b), 4 (a), 5 (b), 5 (a), and 5 (b) described above, the complementary color line is the vertical axis and the primary color line is the horizontal axis in each of the sections 1 to 6 of FIG. FIG. It can be seen that the pattern is almost the same in every section. It can be seen that this (Cr, Cb) → (Cg, Ch) conversion makes it possible to perform the same signal processing on all sections.
[0082]
[Example 2]
An embodiment of a digital still camera using a CCD having a primary color spectral sensitivity will be described. Image information captured at each of the R, G, and B spectral sensitivities was A / D converted (10 bits), and γ converted to an 8-bit digital value. The characteristic line of γ conversion at this time is FIG. 34 described above.
[0083]
In this γ conversion, when the luminance value of the image finally outputted by the standard CRT is plotted with respect to the luminance value of the original scene, most of them are in a linear relationship as shown in FIG. It is a conversion. In the portion where the characteristic curve shown in FIG. 35 is a straight line, it means that the hue in the output image is constant (does not change) regardless of the exposure amount regardless of the color.
[0084]
However, as the exposure amount increases, the curve portion of the characteristic curve is applied, and the output signal of any of R, G, and B is saturated, resulting in a hue shift. FIG. 6 and FIG. 7 described above show this state by taking skin color as an example.
[0085]
Here, the Cr / Cb ratio obtained by normalizing the Cr / Cb ratio to “1” at almost the highest luminance (luminance = 158) at which no hue shift occurs was defined as the luminance dependency coefficient K. However, when the luminance is between “250” and “255”, the Cr / Cb ratio is corrected so as to return to “1”, and the color of high luminance and low saturation is excessively corrected (hue of hue). It does not cause reverse rotation). This is shown in FIG.
[0086]
Next, using this luminance dependence coefficient K, the Cr and Cb values of the image were processed as follows.
[0087]
[Equation 5]
Figure 0004031299
[0088]
[Formula 6]
Figure 0004031299
[0089]
A, B, C, and D in Equations 5 and 6 are coefficients of the color difference matrix, which are values originally set in this camera, and are the same as the color difference matrix of the first embodiment. As the value of the luminance dependence coefficient K, a value corresponding to the luminance was obtained from FIG. 14 for each pixel.
[0090]
Since the skin color is R> G> B (section 2), only the color satisfying R> G> B is subjected to the calculation of the above formula 5, and the other colors are subjected to the calculation of formula 6. . That is, only the color belonging to the section 2 is subjected to the process of expanding the Cr by the luminance dependence coefficient K after the color difference matrix calculation, and the conventional color difference matrix calculation is performed for the colors belonging to the other sections. did.
[0091]
In this manner, new image data different from the image data read from the CCD can be obtained by performing the calculations of Equations 5 and 6 on the signal read from the CCD. The alternate long and short dash line in FIG. 15 shows the skin color exposure amount dependency of the new image data.
[0092]
Compared to the conventional method, it can be seen that the hue is greatly reduced. However, although it is somewhat insufficient, this is because the chromaticity point is out of the color gamut due to the expansion of Cr. Therefore, enlargement processing is performed using K ′ obtained by strengthening the luminance dependency coefficient K as shown by the thick line in FIG. The exposure amount dependency of the skin color when this K ′ is used is indicated by a line connecting the circles in FIG. It turns out that the hue circumference has become smaller. By applying the same processing to other colors belonging to the same section 2, the hue around each color is all improved. As an example, FIG. 16 shows that the red hue around Macbeth ColorChecker has been improved.
[0093]
Next, as a method of limiting the color to be corrected around the hue to the section 2, a method of limiting by the values of Cr and Cb after the color difference matrix calculation instead of the magnitude relationship of R, G, and B was performed. In particular,
[0094]
[Expression 7]
Figure 0004031299
[0095]
In this method, the color satisfying the condition is determined as the section 2. The section 2 is partitioned by the primary color line R and the complementary color line Y. Since the slope of the primary color line is the same as the slope of the complementary color line of the opposite color, the equation (7) is obtained.
[0096]
This result was exactly the same as the result of determining section 2 with R> G> B. If this Cr enlargement process is applied to other sections, there will be a negative effect. As an example, the results of Macbeth ColorChecker are shown in FIGS. It can be seen that the hue is getting worse in both cases.
[0097]
[Example 3]
An example in which the hue around the colors of all the sections can be improved by converting (Cr, Cb) after the color difference matrix calculation into (Cg, Ch). For skin color, (Cr, Cb) is set to (Cg, Ch) by the same conversion as in FIG.
[0098]
[Equation 8]
Figure 0004031299
[0099]
FIG. 19 shows a flesh color locus after the conversion indicated by. In this chromaticity diagram (FIG. 19), Ch / Cg is obtained, and Ch / Cg normalized by the highest luminance Ch / Cg in which the skin color does not cause a hue shift is defined as the luminance dependence coefficient K. It is. The following calculations (1), (2), and (3) were sequentially performed using the luminance dependence coefficient K.
[0100]
Calculation (1): Cg ′ = Cg / K
Calculation (2): Ch ″ = Ch′−0.1 × Cg ′
Operation (3): (Cg ′, Ch ″) is inversely converted to (Cr ′, Cb ′)
[0101]
This inverse transformation is the inverse operation of the transformation from (Cr, Cb) to (Cg, Ch) shown in the first embodiment.
[0102]
FIG. 20 shows the flesh color trajectory obtained in this manner in the a * -b * chromaticity diagram. It can be seen that the hue around the skin tone has been remarkably improved. Further, FIGS. 21 and 22 show an example in which this calculation is applied to other than the section 2 in Macbeth ColorChecker. It can be seen that even in the other sections, even if the same calculation is performed after the coordinate conversion, the hue is not deteriorated at all, but rather improved.
[0103]
Further, when (Y, Cr ′, Cb ′) is located on the higher brightness side than the color gamut limit plane 0, the following calculation is performed after the above calculations (1), (2), and (3). Added (4).
[0104]
Arithmetic (4): Convert Y, Cr ', Cb' to Y ", Cr", Cb "
[0105]
The conversion of the calculation (4) is performed as follows. First, the gamut limit plane 0 of the section to which the original color (Y, Cr, Cb) belongs is obtained. For example, in the case of the section 2, the plane including the points 2, 3 and the vertex (255, 0, 0) out of the points 1, 2 and 3 described in FIG. is there.
[0106]
Next, the intersection of the straight line connecting the point (Y, Cr ′, Cb ′) and the origin (0, 0, 0) and the plane is defined as (Y ″, Cr ″, Cb ″). While maintaining the Cb / Cr ratio (that is, hue), it can be converted to the color gamut limit plane 0. The result thus obtained is shown in Fig. 23. Compared with Fig. 20, the hue around the hue is obtained by performing the operation (4). It can be seen that is further improved.
[0107]
In addition, the results of performing the same calculation on colors belonging to sections other than section 2 are shown in FIG. 24 (red), FIG. 25 (blue sky), and FIG. 26 (green) using Macbeth ColorChecker. From these figures, it can be seen that not only the hue but also the saturation is improved.
[0108]
[Example 4]
In the calculation (1) of the third embodiment, an example is shown in which the calculation is performed with the following restrictions. Specifically, instead of calculating Cg ′ = Cg / K, the following equation 9 is calculated.
[0109]
[Equation 9]
Figure 0004031299
[0110]
In Equation 9, S is a value from “0” to “1”, and is determined as follows.
(A) When the chromaticity point (Y, Cr, Cb) is on the lower luminance side than the color gamut limit surface 2, S = 0 is set.
(B) When the chromaticity point (Y, Cr, Cb) is on the higher luminance side than the color gamut limit surface 1, S = 1 is set.
(C) When it is in the middle of B and B, S = (Y1-Y) / (Y1-Y2)
[0111]
Here, (Y1, Cr, Cb) is a point on the gamut limit surface 1, and (Y2, Cr, Cb) is a point on the gamut limit surface 2. Since Y1> Y> Y2, 1> S> 0.
[0112]
In the characteristic curve of the camera in the embodiment, Y1−Y2 = 68. That is, the color gamut limit surface 2 is located at a position where the luminance is 68 lower than the color gamut limit surface 1. This is because the high-luminance tip of the characteristic curve shown in FIG. 35 (8-bit output value after γ conversion = 255) and the output value at the point where the characteristic curve changes from a straight line to a curve (8-bit output value after γ conversion = 187). The difference is “68”.
[0113]
In addition, the luminance dependency coefficient (shown in FIG. 27) was set to a value stronger than that in Example 3. This is because the amount of the luminance dependence coefficient is relaxed by providing the above restriction. FIG. 28 (skin color), FIG. 29 (blue sky of Macbeth ColorChecker), and FIG. 30 (green of Macbeth ColorChecker) show the results of performing calculations (2), (3), and (4) in this way. It can be seen that there is an improvement effect as in Example 3.
[0114]
Further, in the above calculation, the following calculation is added except for the section 2. That is, in the calculation of Equation 9, since K is a luminance dependence coefficient, it can be expressed more accurately as K (Y), but when referring to K (Y) using luminance (Y) in a lookup table, for example. To.
[0115]
(A) If Y ≧ 249, use K (Y).
(B) If Y <249, Y ′ of Y ′ = 249− (249−Y) × Z is obtained and K (Y ′) is used. However, the reinforcement coefficient Z is an arbitrary positive value of “1” or less, and may be a different value for each section or the same value.
[0116]
Such a calculation is not performed for the colors belonging to the section 2, or Z = 1. With this enhancement coefficient Z, the value of K (Y) is converted to a look-up table (LUT) that takes a value of “1” or less to the lower luminance side. In effect, a separate lookup table is used for each partition.
[0117]
This makes it possible to further reduce the hue around the sections other than the section including the skin color and to increase the saturation on the high luminance side. The result of applying the reinforcement coefficient Z = 0.67 to all the sections other than the section 2 is shown in FIGS. It can be seen that the saturation improvement effect is remarkable.
[0118]
Further, FIG. 33 shows a result of performing the calculation using the reinforcement coefficient Z while maintaining the calculations (1), (2), (3), and (4) of the third embodiment. It can be seen that the emphasized calculation is applied to the color which does not cause the hue around the under exposure amount side, and the hue is partially reversed.
[0119]
The same result is obtained even in a calculation in which the reinforcement factor Z is not applied. That is, it can be seen that the limitation in the calculation of Equation 9 shown in the fourth embodiment is an appropriate limitation that prevents the calculation for improving the hue around the color that has not caused the hue around.
[0120]
【The invention's effect】
According to the present invention, in a color image photographing apparatus such as a digital still camera, the skin color does not turn yellow in a portion where the photographing illumination light is strong, and whiteout is substantially reduced. Furthermore, the hue and whiteout are also improved in other general colors other than the flesh color, and it is possible to reduce the hue and whiteout of the flesh and general colors when printing a printed image or the like.
[Brief description of the drawings]
FIG. 1 is a Cr—Cb chromaticity diagram illustrating a color image signal processing method according to an embodiment of the present invention.
FIG. 2 is a graph in which an arbitrary color is photographed by a digital still camera and a connection locus is obtained.
FIG. 3 is a graph obtained by converting the sections 1 and 2 shown in FIG. 2 into Cg-Ch coordinates.
4 is a graph obtained by converting the sections 3 and 4 shown in FIG. 2 into Cg-Ch coordinates.
FIG. 5 is a graph obtained by converting the sections 5 and 6 shown in FIG. 2 into Cg-Ch coordinates.
FIG. 6 is an a * -b * chromaticity diagram simulating skin color hue.
FIG. 7 is a Cr—Cb chromaticity diagram simulating skin tone hue.
FIG. 8 is a diagram illustrating the hue around a color.
FIG. 9 is a chromaticity diagram showing a triangular pyramid color gamut limit surface.
10 is an explanatory diagram illustrating a state in which the color gamut limit surface illustrated in FIG. 9 is cut along a luminance axis.
FIG. 11 is a graph showing a luminance dependence coefficient used in an embodiment of the present invention.
12 is a graph in which the luminance dependence coefficient shown in FIG. 11 is enhanced.
FIG. 13 is a chromaticity diagram in which a Macbeth color checker (18 colors excluding gray) is photographed to obtain a locus of connection between colors.
FIG. 14 is a graph illustrating an example of an enhanced luminance dependency coefficient.
FIG. 15 is a graph showing the dependency of skin color on the exposure amount.
FIG. 16 is a graph showing an improvement around the red hue of the Macbeth color checker by enhancing the luminance dependence coefficient.
FIG. 17 is a graph (blue sky) showing an adverse effect when the same Cr enlargement process as the skin color section is applied to other sections.
FIG. 18 is a graph (green) showing an adverse effect when the same Cr enlargement process as that for the skin color section is applied to other sections;
FIG. 19 is a graph showing a flesh color locus after conversion to Ch-Cg.
FIG. 20 is an a * -b * chromaticity diagram showing a locus of skin color.
FIG. 21 is a graph showing an example of applying Macbeth color checker (blue sly) to an operation that improves the hue around the flesh color in other sections not belonging to flesh color.
FIG. 22 is a graph showing an example in which Macbeth color checker (green) is applied to another section to which skin color does not belong, in which the calculation for improving the hue around the skin color is applied.
FIG. 23 is a graph showing that the hue circumference is further improved by the Cg enlargement process and the conversion process including the luminance.
FIG. 24 is a graph showing improvement in hue around when the same conversion processing as in FIG. 23 is applied to a section to which no skin color belongs, using a Macbeth color checker (red).
FIG. 25 is a graph showing improvement in hue around when the same conversion processing as in FIG. 23 is applied to a section to which no skin color belongs, using a Macbeth color checker (blue sky).
FIG. 26 is a graph showing improvement in hue around when the same conversion processing as in FIG. 23 is applied to a section to which no skin color belongs, in a Macbeth color checker (green).
FIG. 27 is a graph showing another example of an enhanced luminance dependence coefficient.
FIG. 28 is a graph showing improvement in hue surroundings in flesh color when the calculation of Example 4 according to an embodiment of the present invention is performed.
FIG. 29 is a graph showing improvement in hue around when performing the calculation of Example 4 according to an embodiment of the present invention using a Macbeth color checker (blue sky).
FIG. 30 is a graph showing improvement in hue around when the calculation of Example 4 according to an embodiment of the present invention is performed in Macbeth color checker (green).
FIG. 31 is a graph showing a saturation enhancement effect by Macbeth color checker (blue) when the calculation of Example 4 according to an embodiment of the present invention is executed.
FIG. 32 is a graph showing improvement in hue around when the calculation of Example 4 according to an embodiment of the present invention is performed, in Macbeth color checker (blue).
FIG. 33 is a graph showing that the reverse rotation of the hue is partially caused by performing the emphasized calculation on the color that does not cause the original hue around the underexposure amount side.
FIG. 34 is a graph showing γ conversion characteristics.
35 is a graph showing a characteristic curve based on the γ conversion characteristic of FIG. 34. FIG.
[Explanation of symbols]
R Red (primary color)
G Green (primary color)
B Blue (primary color)
Y Yellow (complementary color)
M Magenta (complementary color)
C Cyan (complementary color)
Cg primary color axis or its coordinate components
Ch complementary axis or its coordinate components
Z Strengthening factor

Claims (9)

色相回りを起こさない色の原色線および補色線で色度図を複数の区画に分け、撮像素子から出力される色信号がどの区画に属するかを判定し、前記区画毎に前記色信号から求めた色差Cr,Cbを当該区画を仕切る前記原色線を軸とする原色軸と前記補色線を軸とする補色軸との直交座標値に変換し、前記色差Cr,Cbの該直交座標値に対して、前記原色軸から前記補色軸の方向に発生する色相回りを色修正演算することを特徴とするカラー画像信号処理方法。The chromaticity diagram is divided into a plurality of sections using primary color lines and complementary color lines that do not cause hue rotation, and it is determined which section the color signal output from the image sensor belongs to, and is obtained from the color signal for each section. The color differences Cr and Cb are converted into orthogonal coordinate values of a primary color axis having the primary color line as an axis and a complementary color axis having the complementary color line as an axis for partitioning the section, and the orthogonal coordinate values of the color differences Cr and Cb are A color image signal processing method comprising: performing color correction calculation on a hue around the primary color axis and the complementary color axis . 前記色信号から求めた色差Crまたは原色軸座標成分(Cg)の値に輝度依存係数を掛けることで前記色修正演算を行うことを特徴とする請求項1に記載のカラー画像信号処理方法。 2. The color image signal processing method according to claim 1 , wherein the color correction calculation is performed by multiplying a value of a color difference Cr or a primary color axis coordinate component (Cg) obtained from the color signal by a luminance dependence coefficient . 肌色の色相回りを修正する輝度依存係数を肌色を含む区画に属する色に対して適用して前記色修正演算を行うことを特徴とする請求項1または請求項2に記載のカラー画像信号処理方法。3. The color image signal processing method according to claim 1, wherein the color correction calculation is performed by applying a luminance dependence coefficient that corrects the hue around the skin color to colors belonging to a section including the skin color. 4. . 肌色を含む区画の色修正演算で用いる第1の輝度依存係数と異なる第2の輝度依存係数を用いて肌色を含まない他の少なくとも1つの区画の色修正演算を行うことを特徴とする請求項3に記載のカラー画像信号処理方法。 The color correction calculation of at least one other section not including the skin color is performed using a second luminance dependency coefficient different from the first luminance dependency coefficient used in the color correction calculation of the section including the skin color. 4. The color image signal processing method according to 3. 前記第1の輝度依存係数の値を補正することで前記第2の輝度依存係数の値を求めることを特徴とする請求項4に記載のカラー画像信号処理方法。Color image signal processing method according to claim 4, characterized in that to determine the value of the second luminance dependent coefficients by correcting the value of the first luminance dependent coefficients. 肌色を含まない区画の少なくとも1つの区画において前記第2の輝度依存係数を拡張または縮小する演算を行なってから前記色修正演算を行なうことを特徴とする請求項4または請求項5に記載のカラー画像信号処理方法。6. The color according to claim 4, wherein the color correction operation is performed after performing an operation of expanding or reducing the second luminance dependency coefficient in at least one of the sections not including skin color. Image signal processing method. 色相回りを起こしている色信号に対してのみ前記色修正演算を行うことを特徴とする請求項1乃至請求項6のいずれかに記載のカラー画像信号処理方法。The color image signal processing method according to any one of claims 1 to 6, wherein the color correction calculation is performed only on a color signal causing a hue shift . 請求項1乃至請求項7のいずれかに記載のカラー画像信号処理方法を実行する処理装置を搭載したことを特徴とするカラー画像出力装置 8. A color image output apparatus comprising a processing apparatus for executing the color image signal processing method according to claim 1 . 請求項1乃至請求項7のいずれかに記載のカラー画像信号処理方法を実行する処理装置を搭載したことを特徴とする撮影装置 An imaging apparatus comprising a processing apparatus for executing the color image signal processing method according to claim 1 .
JP2002181354A 2002-06-21 2002-06-21 Color image signal processing method, color image output apparatus, and photographing apparatus Expired - Fee Related JP4031299B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002181354A JP4031299B2 (en) 2002-06-21 2002-06-21 Color image signal processing method, color image output apparatus, and photographing apparatus
US10/464,740 US7231085B2 (en) 2002-06-21 2003-06-19 Color image signal processing method for correcting hue turn and color image outputting device and imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002181354A JP4031299B2 (en) 2002-06-21 2002-06-21 Color image signal processing method, color image output apparatus, and photographing apparatus

Publications (2)

Publication Number Publication Date
JP2004032060A JP2004032060A (en) 2004-01-29
JP4031299B2 true JP4031299B2 (en) 2008-01-09

Family

ID=30437016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002181354A Expired - Fee Related JP4031299B2 (en) 2002-06-21 2002-06-21 Color image signal processing method, color image output apparatus, and photographing apparatus

Country Status (2)

Country Link
US (1) US7231085B2 (en)
JP (1) JP4031299B2 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4042736B2 (en) * 2004-02-19 2008-02-06 ソニー株式会社 Image processing apparatus and image processing method
US7724949B2 (en) * 2004-06-10 2010-05-25 Qualcomm Incorporated Advanced chroma enhancement
KR100691466B1 (en) * 2004-09-20 2007-03-09 삼성전자주식회사 Apparatus and method for controlling of hue and lightness in image display
JP4736487B2 (en) * 2005-03-22 2011-07-27 株式会社日立製作所 Video processing device
EP1742458A1 (en) 2005-06-13 2007-01-10 Thomson Licensing Apparatus and method for image processing of digital image pixels
US7907148B1 (en) * 2005-12-07 2011-03-15 Marvell International Ltd. Intelligent color remapping of video data
US7746411B1 (en) 2005-12-07 2010-06-29 Marvell International Ltd. Color management unit
KR100791375B1 (en) * 2005-12-19 2008-01-07 삼성전자주식회사 Apparatus and method for color correction
JP4676872B2 (en) * 2005-12-20 2011-04-27 富士通セミコンダクター株式会社 Color difference space region determination method and determination apparatus
US9049408B2 (en) * 2006-09-01 2015-06-02 Texas Instruments Incorporated Color space appearance model video processor
TWI332352B (en) 2007-03-30 2010-10-21 Au Optronics Corp Hue segmentation system and method thereof
US20090237530A1 (en) * 2008-03-20 2009-09-24 Ilia Ovsiannikov Methods and apparatuses for sharpening images
JP5454572B2 (en) * 2009-04-07 2014-03-26 コニカミノルタ株式会社 Image input device
WO2015056514A1 (en) * 2013-10-17 2015-04-23 株式会社日立国際電気 Imaging device and color-correction method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3456818B2 (en) * 1996-03-04 2003-10-14 株式会社日立国際電気 Color correction device
EP1619875A1 (en) * 1997-06-17 2006-01-25 Seiko Epson Corporation Image processing apparatus, image processing method, color adjustment method, and color adjusment system
US6504952B1 (en) * 1998-03-17 2003-01-07 Fuji Photo Film Co. Ltd. Image processing method and apparatus
JP2003111091A (en) * 2001-09-27 2003-04-11 Sanyo Electric Co Ltd Hue converter
JP3620529B2 (en) * 2002-03-18 2005-02-16 日本ビクター株式会社 Video correction apparatus and method, video correction program, and recording medium recording the same

Also Published As

Publication number Publication date
US20040013296A1 (en) 2004-01-22
JP2004032060A (en) 2004-01-29
US7231085B2 (en) 2007-06-12

Similar Documents

Publication Publication Date Title
US7580064B2 (en) Digital still camera and image correction method
US6608926B1 (en) Image processing method, image processing apparatus and recording medium
JP4770154B2 (en) Image processing apparatus, image processing method, and computer program
JP3668014B2 (en) Image processing method and apparatus
JP4040625B2 (en) Image processing apparatus, printer apparatus, photographing apparatus, and television receiver
EP2426928B1 (en) Image processing apparatus, image processing method and program
JP4031299B2 (en) Color image signal processing method, color image output apparatus, and photographing apparatus
JP2000013626A (en) Image processing method, device and storage medium
US7450753B2 (en) Color balance adjustment conducted considering color reproducibility of specific color
JP2012165204A (en) Signal processing apparatus, signal processing method, imaging apparatus, and imaging processing method
JP4274383B2 (en) Image processing device
JP2008072253A (en) Image processor and processing method
US8068240B2 (en) Image processing using undeveloped image data
JP2004088345A (en) Image forming method, image processor, print preparation device, and storage medium
JP3950551B2 (en) Image processing method, apparatus, and recording medium
JP3921499B2 (en) Color image signal processing method and color image signal processing apparatus using the same
JP2000148978A (en) Method and device for estimating photographic light source, method and device for processing image and recording medium
JP4581999B2 (en) Image processing apparatus and image processing method
JP2005318499A (en) Image processing apparatus
JP2004304635A (en) Image processing method and image processing apparatus
JP2000165906A (en) Method and device for automatic white balance control
JP3817371B2 (en) Image processing method, apparatus, and recording medium
JP2001036924A (en) Automatic white balance adjusting device and its method
JPH07322274A (en) Image processing method
JP2001211456A (en) Image processing method and image processing unit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050316

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060424

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060621

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071018

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071115

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111026

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131026

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees