[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4534917B2 - 色域圧縮方法、プログラム、色域圧縮装置 - Google Patents

色域圧縮方法、プログラム、色域圧縮装置 Download PDF

Info

Publication number
JP4534917B2
JP4534917B2 JP2005260699A JP2005260699A JP4534917B2 JP 4534917 B2 JP4534917 B2 JP 4534917B2 JP 2005260699 A JP2005260699 A JP 2005260699A JP 2005260699 A JP2005260699 A JP 2005260699A JP 4534917 B2 JP4534917 B2 JP 4534917B2
Authority
JP
Japan
Prior art keywords
color
value
compression
color gamut
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005260699A
Other languages
English (en)
Other versions
JP2007074514A (ja
JP2007074514A5 (ja
Inventor
佑紀 大崎
教彦 川田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005260699A priority Critical patent/JP4534917B2/ja
Priority to TW095132615A priority patent/TW200715824A/zh
Priority to US11/517,460 priority patent/US7697165B2/en
Priority to EP06254652A priority patent/EP1768381B1/en
Priority to KR1020060086092A priority patent/KR20070029078A/ko
Priority to CN200610171872XA priority patent/CN1972368B/zh
Publication of JP2007074514A publication Critical patent/JP2007074514A/ja
Publication of JP2007074514A5 publication Critical patent/JP2007074514A5/ja
Application granted granted Critical
Publication of JP4534917B2 publication Critical patent/JP4534917B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、異種デバイスや異種メディアの間での適切な色再現を実現する、いわゆるカラーマネージメントシステムで利用できる色域圧縮方法、色域圧縮装置、及びプログラムに関するものである。
特開平10−229502号公報 特開2002−094826号公報 特開2003−037745号公報 特開2003−244457号公報 Jan Morovic and M.Ronnier Luo著「The Fundamentals of Gamut Mapping: A Survey」,JOURNAL OF IMAGING SCIENCE AND TECHNOLOGY Volume45 , Number3 , 2001年5月/6月
異種デバイス、異種メディア間で色再現を実現するためには、入出力デバイスの色域の違いを補正する必要があり、この技術のことを色域圧縮と呼ぶ。例えば画像表示を行う表示出力デバイスとしてはCRT(Cathode Ray Tube)、プロジェクタ、液晶パネルなどが存在し、またプロジェクタにはいわゆるDLP方式、SXRD方式など、液晶パネルにはLEDバックライト方式など、多様なタイプのものが存在する。そしてこれらはそれぞれが再現可能な色域として異なる色域を有している。
例えば図20に、上記のような各種の表示出力デバイスをデバイスA・・・デバイスEとして、それらの色域の差をXYZ色度図で例示している。
このように表現可能な色域はデバイスによって異なるため、例えば或る画像信号を或る表示出力デバイスで表示させる際には、画像信号をその表示出力デバイスに応じた色域に補正することが必要である。
色域の違いを補正するためには、R、G、Bに代表される各々のデバイス、メディア固有の信号値を、例えばCIE(Commission Internationale de l'Eclairage:国際照明委員会)によるL*a*b*色空間等のデバイス非依存の表色系に変換し、そのデバイス非依存表色系において圧縮を行うことが一般的である。
上記非特許文献1に記されているように、色域圧縮の方法としては、大きくコンプレッション(compression)とクリッピング(clipping)に分けられる。
コンプレッションとは、すべての色を圧縮する技法である。つまり第1の色域から第2の色域への圧縮を考えた場合、第1の色域内の全ての色を圧縮して、その全ての色が第2の色域に含まれるように色変換を行うものである。このコンプレッションの場合、各色について相対的な色の関係が変わらないこと、及び階調表現が保たれるという長所がある。ところがその一方で、第2の色域である再現先のデバイスでも忠実に再現可能であった色、つまり圧縮する必要がない色まで圧縮してしまうという短所がある。
これに対し、クリッピングでは、第1の色域の色の内、第2の色域に含まれる色、即ち再現先のデバイスで忠実に再現できる色は忠実に再現し(圧縮しない)、再現不可能な色、つまり再現先デバイスの色域に含まれない色のみ圧縮するという技法である。
この場合、再現可能な色を忠実に再現するという長所がある。しかし、多くの色域外色の圧縮後の色が同じ色になってしまうため、階調表現に劣る。
色域圧縮には入力値としての第1の色域の色データの値から、出力値としての第2の色域の色データの値を導くルックアップテーブル(以下、LUT)を用いる手法が有効であるが、従来のクリッピング手法で作られるLUTでは、複数の入力値に対する出力値が同じ値を持つことになり、やはり階調性が失われる。
しかしながら上記非特許文献1のように、色域圧縮の分野ではクリッピングの優位性が報告されている。すると、クリッピングの手法において、さらに階調表現が保たれるようにすると、非常に有効な色域圧縮技術になると言える。
そこで本発明は、クリッピングによる色域圧縮を実行しつつ、階調表現を保つことができる、有効な色域圧縮技術を提供することを目的とする。
本発明の色域圧縮方法は、第1の色域の入力画像データを第2の色域に圧縮して出力画像データとする色域圧縮方法において、上記第1の色域における各色の色データのうち上記第2の色域に含まれない色データの値を所定の圧縮演算で上記第2の色域に含まれる色データの値に圧縮する圧縮ステップと、上記圧縮ステップによる圧縮後において同一値となった複数の色データについて、上記圧縮演算による圧縮前の色データの値を変更したうえで、再度、上記圧縮ステップを実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする階調生成ステップとを備える。
また上記階調生成ステップでは、上記圧縮ステップによる圧縮後において同一値となった複数の色データのそれぞれを、上記圧縮演算で圧縮する前の上記第1の色域における色データの色成分又は色属性の値のうちで最も差の大きい色成分又は色属性の値の差が大きくなるように変更したうえで、再度、上記圧縮ステップを実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする。
た、上記圧縮ステップ及び上記階調生成ステップを実行して得られた、上記第1の色域の色データ値と上記第2の色域の色データ値の対応関係を表すルックアップテーブルを生成し、上記第1の色域の入力画像データについて、上記ルックアップテーブルを参照することで上記第2の色域の出力画像データを得るようにする。
本発明のプログラムは、第1の色域における各色の色データのうち、第2の色域に含まれない色データの値を、所定の圧縮演算で上記第2の色域に含まれる色データの値に圧縮する圧縮ステップと、上記圧縮ステップによる圧縮後において同一値となった複数の色データの値について、上記圧縮演算による圧縮前の色データの値を変更したうえで、再度、上記圧縮ステップを実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする階調生成ステップとを情報処理装置に実行させるプログラムである。
また上記階調生成ステップでは、上記圧縮ステップによる圧縮後において同一値となった複数の色データのそれぞれを、上記圧縮演算で圧縮する前の上記第1の色域における色データの色成分又は色属性の値のうちで最も差の大きい色成分又は色属性の値の差が大きくなるように変更したうえで、再度、上記圧縮ステップを実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする。
さらに、上記圧縮ステップ及び上記階調生成ステップを実行して得られた、上記第1の色域の色データ値と上記第2の色域の色データ値の対応関係を表すルックアップテーブルを生成するテーブル生成ステップを情報処理装置に実行させる。
本発明の色域圧縮装置は、第1の色域の入力画像データを第2の色域に圧縮して出力画像データとする色域圧縮装置において、上記第1の色域の色データの値から、上記第2の色域の色データの値を導くルックアップテーブル手段と、上記第1の色域の入力画像データについて、上記ルックアップテーブル手段を参照することで上記第2の色域の出力画像データを得る色変換手段とを備える。そして上記ルックアップテーブル手段は、上記第1の色域における各色の色データのうち、上記第2の色域に含まれない色データの値を、所定の圧縮演算で上記第2の色域に含まれる色データの値に圧縮し、さらに、上記圧縮後において同一値となった複数の色データについて、上記圧縮演算による圧縮前の色データの値を変更したうえで、再度、上記圧縮を実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする階調生成処理を行った状態において、上記第1の色域の色データ値と上記第2の色域の色データ値の対応関係を表すテーブルデータとされている。
特には、上記ルックアップテーブル手段を構築するための上記階調生成処理は、上記圧縮後の色データにおいて上記同一値となった複数の色データのそれぞれを、上記圧縮演算で圧縮する前の上記第1の色域における色データの色成分又は色属性の値のうちで最も差の大きい色成分又は色属性の値の差が大きくなるように変更したうえで、再度、上記圧縮を実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする処理である。
即ち本発明の色域圧縮の手法は、第1の色域における各色の色データのうち第2の色域に含まれない色データの値を所定の圧縮演算で第2の色域に含まれる色データの値に圧縮するクリッピング手法を基本とする。例えばこのクリッピング手法での各色データの値の圧縮結果をルックアップテーブル手段(LUT)に反映させ、実際の入力される画像信号の色データについては、LUTを参照して出力する色データ値を得る。
ここで、クリッピングの場合、上記圧縮演算後の色データの値としては、複数の色データが同一値となる場合があり、それによって階調性が損なわれる。そこで本発明では圧縮演算実行後において同一値となった複数の色データの値を、第2の色域内における異なる色データの値となるように変更することで階調性を維持する。
特にこのようなクリッピングの圧縮演算において複数色が同色に圧縮された場合に、それらの色が圧縮前に持っていた成分または属性のうち、最もお互いを差別化する成分または属性を強調することで、階調性をより有効に表現できるようにする。
なお色データの「成分」とは、例えばR(赤)、G(緑)、B(青)の値などであり、「属性」とはL,a,b,C,Hの値などである。なお、Lは明度、Cは彩度、Hは色相である。またa,bはL*a*b*表色系の値で、a,bの組み合わせですべての色相を表す。そしてa値はマゼンタ〜グリーンの彩度、b値はイエロー〜ブルーの彩度である。
本発明によれば、クリッピング手法を用いた色域圧縮において、階調性を維持できる。つまり、出力色域側で再現可能な色は圧縮しないことで忠実に再現しつつ、且つ出力色域外の色を圧縮しても階調表現が可能となるという優れた色域圧縮を実現できるという効果がある。
また本発明の色域圧縮方法、プログラムによって色域圧縮に用いるLUT(ルックアップテーブル)を生成する場合、LUTの出力値を全て異なる値とすることが可能であり、LUTの有効活用ができるという利点もある。
以下、本発明の実施の形態を次の順序で説明する。
[1.色域圧縮を実行するシステム例]
[2.色域圧縮装置構成例]
[3.第1の色域圧縮処理例]
[4.第2の色域圧縮処理例]
[5.成分/属性の差の強調の手法]
[6.プログラム]
[1.色域圧縮を実行するシステム例]

まず色域圧縮を行うシステム例を図1に示す。図1は多様なソースからの映像を編集し、所定の出力デバイスに出力したり、メディアを作成するシステムの映像編集システム例である。図中、CMS(Color Management System)ボックス57、59,62,63,64,65は、後述する色域圧縮装置(1又は31)を備えた部位であり、それぞれ所要の色域圧縮を行うことになる。
図1における映像ソース51,52,53,54は、それぞれ映像信号ソースとなる多様な機器を表している。例えばデジタルカメラ装置、フィルムスキャナー装置、コンピュータグラフィックス装置、テレシネ装置などである。
これらの映像ソース51,52,53,54で得られるデジタル映像データは、直接編集システム56に供給されたり、或いはメディア/サーバシステム55を介して編集システム56に供給される。
例えばメディア/サーバシステム55に格納された映像データをモニタ装置58で表示させる場合は、その映像データはCMS(Color Management System)ボックス57で色域圧縮されてモニタ装置58に供給される。この場合は、映像ソース52,53,54におけるそれぞれ固有の色域の映像データを、モニタ装置58で再現するためにモニタ装置58の色域に合わせるように色域圧縮が行われるものとなる。
編集システム56では、映像ソースから供給された映像データに対して各種編集処理を行い、編集結果をマスターメディアに記録する。例えば編集処理により映像コンテンツとしてのデータストリームを作成し、映像コンテンツのマスターメディアを作成する。
この編集システム56における編集作業前、途中、編集作業後等の各時点の映像のモニタリングがモニタ装置60で行われるが、この場合もCMSボックス59で色域圧縮が行われ、編集システム56で使用されている映像データが、モニタ装置60で再現可能な色域に変換されてモニタ装置60に供給される。
マスターメディア61に記録された映像データは、目的に応じて、各種出力デバイスで出力されたり、各種メディアに記録される。
出力デバイス66,67としては、例えばプロジェクタ装置、液晶パネル表示装置、或いはフィルムレコーダ、テレビジョン装置などが考えられる。もちろん動画表示或いは記録デバイスだけでなく、プリンタ装置なども想定される。
また、メディア68,69としては、DVD(Digital Versatile Disc)やブルーレイディスクなどのパッケージメディアや、テープメディア、HDD(Hard Disc Drive)、固体メモリメディアなどが想定される。
マスターメディア61に記録された映像データを、これら出力デバイス66,67に供給して表示させたり印刷させたりする場合、その出力デバイス66,67に応じた色域圧縮がCMSボックス62,63で行われる。
またマスターメディア61に記録された映像データを、メディア68,69に記録する場合も、CMSボックス64,65で色域圧縮が行われる。
例えばこの図1のシステムのように色域圧縮が行われることで、それぞれのモニタ装置や出力デバイスで、その装置に応じた適切に色再現がなされ、また適切な色再現の状態で映像データの記録が行われる。特には、出力デバイス66,67やメディア68,69等に応じて色域圧縮が行われることで、1つのマスターメディア61により、各種出力機器の色域に応じた映像データを提供できることもなる。
[2.色域圧縮装置構成例]

実施の形態の色域圧縮装置の概略構成例を図2(a)(b)に示す。
図2(a)の色域圧縮装置1は、色域圧縮処理のためのLUT(後述する3次元LUT:3DLUT)を生成するLUT生成部2としての機能と、入力される映像信号としてのRGB信号値を、上記LUTを用いて出力RGB信号値に変換する色変換部3としての機能を備える。
例えば図1のCMSボックス57,59,62,63,64,65としては、この図2(a)のような色域圧縮装置1を用いることができる。
一方、図2(b)の構成例は、LUT生成装置30で色域圧縮処理のためのLUTが生成される。生成されたLUTは色域圧縮装置31に供給される。色域圧縮装置31では、入力される映像信号としてのRGB信号値を、LUTを用いて出力RGB信号値に変換する色変換部32としての機能を備える。色変換部32は、LUT生成装置30で生成されたLUTを保存しており、このLUTを参照して色変換を行う。
この場合、LUT生成装置30は、色域圧縮装置31の外部機器であり、例えば汎用の情報処理装置においてLUT生成プログラムに従ってLUTを生成するものであったり、或いは色域圧縮のためのLUTを生成する専用装置とされる。そして生成されたLUTは、LUT生成装置30と色域圧縮装置31が有線又は無線でデータ通信可能に接続された状態において、その通信処理により色域圧縮装置31側に転送される。或いはLUT生成装置30で生成されたLUTが、所定の記録メディアに保存され、記録メディアを介して色域圧縮装置31に導入されるようにしても良い。
例えば図1のCMSボックス57,59,62,63,64,65としては、この図2(b)における色域圧縮装置31のみでも良いし、色域圧縮装置31とLUT生成装置30の両方を備えた構成でもよい。
図2(a)(b)のいずれの構成例の場合も、色域圧縮装置1(又は31)としては、第1の色域の色データの値から、第2の色域の色データの値を導くLUTと、第1の色域の入力画像データについて、LUTを参照することで第2の色域の出力画像データを得る色変換部3(32)を備えるものとなる。
そしてLUTは、クリッピング手法に則り、第1の色域における各色の色データのうち、第2の色域に含まれない色データの値を、所定の圧縮演算で上記第2の色域に含まれる色データの値に圧縮した場合に、その第1の色域の色データと第2の色域の色データを対応させるものであるが、さらに、上記圧縮後において同一値となった複数の色データのそれぞれを、第2の色域内の異なる値とする階調生成処理を行った状態において、第1の色域の色データ値と第2の色域の色データ値の対応関係を表すテーブルデータとされている。
つまり、LUT生成部2又はLUT生成装置30で、このようなLUTが生成されることで、色変換部3,32は、単にRGB入力データについてLUTを参照してRGB出力データを得るようにすることで、クリッピング手法での色域圧縮であり、かつ階調性を保った色域圧縮を実現できるものである。
図2(a)の構成例に沿って、色域圧縮装置1の具体的な構成例を図3で説明する。
色域圧縮装置1は、演算部10,色域データベース11、メモリ部12、入力部14,出力部15を有して構成される。
演算部10は、図2(a)に示したLUT生成部2としての機能と色変換部3としての機能を実現する演算処理を行う。


色域データベース11は、各種デバイスに応じた色域の情報が格納されている。
メモリ部12は、例えばROM、RAM、不揮発性メモリなどのメモリ領域を有して成る。ROM領域には、演算部10の演算処理のプログラム、処理係数などが格納される。プログラムとは、LUT生成部2の処理動作を規定するLUT生成処理のプログラムや、色変換部3としての処理を実現するLUTを用いた色変換処理のプログラムなどである。メモリ部12におけるRAM領域は演算処理のワーク領域として用いられる。また不揮発性メモリ領域は、例えば演算部10におけるLUT生成部2の処理で生成されたLUTが格納される。
入力部14には色域圧縮を行う対象の映像データが入力される。入力部14は入力映像データのRGB値を演算部10に受け渡す。
出力部15は、演算部の色変換部3で変換されたRGB値の映像データ、つまり色域圧縮がなされた映像データを、例えばモニタ装置などの外部デバイスに出力する。
演算部10においてはLUT生成部2,色変換部3,メモリインターフェース13としての機能が例えばソフトウエア/ハードウエアにより実現される。
LUT生成部2には、例えばソフトウエアによる機能ブロックとして変換部21,色域内外判定部22、色圧縮部23、階調生成部24、メモリ制御部25が形成される。
変換部21は、RGB値、Lab値、LCH値の間の互いの変換処理を行う。
R、G、Bの値からは、次の(数1)によりL値(明度)、a値、b値を得ることができる。
なお、Xn,Yn,Znは、光源の3刺激値であり、例えば標準イルミナントD65の場合は(Xn,Yn,Zn)=(95.04,100.00,108.89)である。
Figure 0004534917
またLCHにおける、C値(彩度)、H値(色相)は(数2)により、a値、b値から得ることができる。
Figure 0004534917
後述する本例のLUT生成部2の処理では、RGB値からLCH値の変換処理、LCH値からRGB値の変換処理を行うが、この場合、上記(数1)(数2)により、RGB値をLab値を介してLCH値に変換し、またその逆の演算でLCH値をRGB値に変換する処理を行うことになる。
色域内外判定部22は、後述するLUT生成処理過程において、入力色域における入力RGB値をLCH値に変換し、さらにLCHを出力RGB値に変換した各値について、その出力RGB値が出力色域内にあるか否かを判定する処理を行う。
色圧縮部23は、色域内外判定部が出力色域外と判定した出力RGB値を、出力色域内の値となるように所定の演算処理で圧縮演算を行う。圧縮演算としては各種の例が考えられるが、一例としては、例えば次の(数3)に示す、CIEが定義したΔE94色差式の演算が挙げられる。
Figure 0004534917
もちろんこれ以外に、例えば(数4)の色差式など、他の色差式を採用しても良い。
Figure 0004534917
階調生成部24は、例えば色圧縮部23による圧縮後において、同一値となった複数の色データの値が、出力色域内における異なる色データの値となるようにする処理を行う。上記のように色域内外判定部が、各RGB値について出力色域の内外を判定し、出力色域外のRGB値を色圧縮部23で圧縮することは、クリッピング手法による色域圧縮を行うことを意味するが、その場合、圧縮演算が施された複数のRGB値の間や、圧縮演算されたRGB値と圧縮演算されていないRGB値(つまり出力色域内と判定されたRGB値)の間で、同一値となることがある。階調生成部24は、このように同一値となった出力RGB値を互いに異なる値に変更させ、階調性が維持されるようにするものである。
メモリ制御部25は、LUT生成処理のためのメモリ部12での領域確保、LUT骨格生成、データ書換等の処理を行う。
このようなLUT生成部2はメモリインターフェース13を介して、色域データベース11やメモリ部12に対するアクセスを行う。
また色変換部3は、LUT生成部2の処理で作成されたLUTをメモリインターフェース13を介して取り込む。そして入力部14から供給される入力RGB値を、LUTを参照して出力RGB値に変換し、出力部15に供給する。
[3.第1の色域圧縮処理例]

以上のような色域圧縮装置1で実行される色域圧縮処理例を説明する。
ここでは例えばプロジェクタ装置で再現することを前提に作成された画像をCRTでも同じように再現することを考える。この場合、プロジェクタ装置の色域が、一般的にsRGBもしくはITU−R709規格であるCRTの色域よりも広いものとする。
例えばこの場合、プロジェクタ装置の色域が第1の色域、つまり色域圧縮処理における入力色域である。また、CRTの色域が第2の色域、つまり色域圧縮処理における出力色域である。
プロジェクタ装置で再現することを前提に作成された画像をCRTで再現するように色域圧縮を行う場合、入力色域(プロジェクタ装置の色域)には含まれていた色(再現可能だった色)のうち、出力色域(CRTの色域)に含まれていないものがあるので、それらの色に関しては圧縮してCRTでも再現可能な色に変換する。
色域圧縮の流れとしては、例えばまず入力色域で表現可能な色をデバイス非依存であるCIELAB色空間にマッピングする。この時、CIELABなどのデバイス非依存色空間におけるCRT色域外にマッピングされた色は、CRT色域内の他の色に圧縮する。
圧縮処理の例としては、上記(数3)(数4)などの色差式の演算を行う。特に最小色差となる色に圧縮する場合には、(数3)として挙げたΔE94色差式のように、CIELAB色空間の非線形性を考慮した色差式を用いると有効である。
圧縮された色の中には、同じ色に圧縮されるものが複数ある。これらの色は再現先デバイス(例えばCRT)で同じ色として表現されるため階調表現が失われる。これを避けるために本実施の形態では、同じ色に圧縮された複数色を、それぞれが圧縮される前にもっていた色成分または属性のうち最もお互いを差別化する色成分または属性を強調するように色データの値を変更する。
色の成分とは例えばR、G、B値であり、また属性としては、人間の視覚特性の3属性であるL,C,H値が一例として考えられる。
このような本例の考え方を図4で説明する。
図4では例えば入力RGB値として、入力色域に含まれる2つの色I、色IIを想定し、この色I、色IIについて圧縮を行い、出力色域に含まれる色I’、色II’に変換する処理を考える。図4ではS1−1〜S1−11で色Iに対する圧縮の流れを、またS2−1〜S2−11で色IIに対する圧縮の流れを、それぞれ示している。
・S1−1,S2−1
入力色域の色I、色IIを出力色域に含めるための圧縮対象として取得する。
・S1−2,S2−2
RGB値である色IをLCH値に変換する。また同じくRGB値である色IIをLCH値に変換する。
・S1−3,S2−3
色IをLCH値に変換した結果、そのL値、C値、H値は50,50,10であったとする。また色IIをLCH値に変換した結果、そのL値、C値、H値は50,50,11であったとする。
・S1−4,S2−4
色I、色IIの各LCH値を例えば上記(数3)の演算などで圧縮する。
・S1−5,S2−5
圧縮演算を行った結果、色IのL値、C値、H値は49,49,10となったとする。また圧縮演算を行った結果、色IIのL値、C値、H値も49,49,10となったとする。つまり色I、色IIを出力色域に含めるために圧縮したら、出力色域において同じ色になったとする。このままでは出力色域において階調が失われたことになる。
・S1−6,S2−6
そこで階調性を得るための処理を開始する。まず圧縮前の各LCH値(S1−3、S2−3の値)を確認し、互いの色属性のうち最も互いを差別化する属性を検出し、その属性の差を強調するように、圧縮前のLCH値を変更する。
・S1−7,S2−7
この場合、圧縮前の各LCH値(S1−3、S2−3の値)では、H値に最大の差異が認められるため、H値の差が強調されるように圧縮前のLCH値を変更することになり、その結果、色Iの圧縮前LCH値が50,50,9に変更され、また色IIの圧縮前LCH値が50,50,12に変更されたとする。
・S1−8,S2−8
変更された色I、色IIの各LCH値を再度圧縮する。
・S1−9,S2−9
圧縮演算を行った結果、色IのL値、C値、H値は49,49,9となり、また色IIのL値、C値、H値は49,49,11となったとする。つまり色I、色IIを出力色域上で異なる色に圧縮された状態になったとする。これは、出力色域において色I、色IIの階調が保たれていることを意味する。
・S1−10,S2−10
色I、色IIの圧縮演算後のLCH値をそれぞれRGB値に変換する。
・S1−11,S2−11
変換された各RGB値が出力RGB値、つまり圧縮処理によって変換された色I’色II’とされる。
なお、この例ではRGB値をLCH値に変換して処理を行っているが、Lab値で処理を行っても良い。またLCH値として色の属性の差を強調するようにしているが、Lab値での差を強調しても良いし、色成分(RGB値)の差を強調するようにしてもよい。結果的に、色I’、色II’の出力RGB値が異なるものとなればよい。
そしてこの図4に示した色I、色IIの例からわかるように、本実施の形態の色域圧縮処理の考え方は、入力色域における色データ値のうちで、圧縮演算処理を終えた後の状態において同一値になってしまう複数の色データのそれぞれを、圧縮演算で圧縮する前の色データの色成分又は色属性において最も差の大きい色成分又は色属性が強調された状態の異なる値とすることである。
またその異なる値とするために、同一値となった複数の色データについて、圧縮演算による圧縮前の色データの値を変更したうえで、再度、圧縮を実行することで、圧縮後の色データ値が異なる値となるようにする。
以上のような考え方の本例の色域圧縮処理を実現する具体的な処理例を、以下説明していく。
図5は、図3に示したLUT生成部2(或いは図2(b)のLUT生成装置30)が実行するLUT生成処理であり、このLUT生成処理で生成されたLUTを用いて色変換部3(或いは図2(b)の色変換部32)が入力RGB値を出力RGB値に変換することで、上記の考え方の色域圧縮処理が実現されるものである。
LUT生成部2による図5の処理を説明する。
なお、図5のステップF101〜F116はLUT生成部2の処理であるが、各処理は次のようにLUT生成部2内の機能で実現される。
ステップF101,F102:メモリ制御部25のメモリアクセス機能。
ステップF103,F104,F116:変換部21の変換機能とメモリ制御部25のメモリアクセス機能。
ステップF105,F106,F107,F108:色域内外判定部22の判定機能とメモリ制御部25のメモリアクセス機能。
ステップF109:色圧縮部23の圧縮演算機能とメモリ制御部25のメモリアクセス機能。
ステップF110,F111,F112,F113,F114,F115:階調生成部24の階調生成機能とメモリ制御部25のメモリアクセス機能。
図5の処理として、LUT生成部2は、まずステップF101で色域データベース11から入力色域、出力色域のデータを取得する。例えば入力色域としてプロジェクタ装置の色域を取得し、また出力色域として、出力先であるCRTの色域、例えばITU−R709規格の色域を取得する。
次にLUT生成部2は、ステップF102としてメモリ部12のRAM領域に三次元LUT(以下、3DLUT)の骨格を作成する。ここでは3DLUTとしての分割数を決定すると共に、図6に示すようにLUT#1・・・LUT#6の、同一の骨格の6個の3DLUTを形成する。各3DLUTは入力色域のRGB値に対応するものであり、入力R値、入力G値、入力B値を軸とする3次元LUTである。
3DLUTの分割数は、9×9×9、17×17×17、33×33×33など、システムに応じて決められればよい。図6では9×9×9の3DLUTの骨格を作成した例を示している。格子点がテーブルデータの入力点を示しており、この3DLUTの格子点としては、入力R値、入力G値、入力B値についてそれぞれ9個で、全部で729個の格子点を有するものとしている。
LUT生成部2は、ステップF103では、入力色域における全てのRGB値(入力RGB値)をLCH値に変換し、LCH値をLUT#1の格子点に入力する。
図7に、各入力RGB値についてのLCH値を、LUT#1の各格子点に入力した状態を○で示している。
またステップF104で、LUT#1の各格子点のLCH値を出力色域のRGB値に変換し、LUT#2における対応する格子点に入力する。図8には、LUT#1における各格子点で○で示すLCH値が、出力色域のRGB値に変換され、LUT#2の対応する格子点に●で示すように入力される様子を示している。
続いて、LUT生成部2はステップF105,F107の処理を並行して実行する。即ちステップF105では、LUT#2の各格子点のRGB値において、出力色域の範囲内にあるRGB値が記憶された格子位置を抽出する。またステップF107では、LUT#2の各格子点のRGB値において、出力色域の範囲外にあるRGB値が記憶された格子位置を抽出する。
この場合、R値、G値、B値のすべてが0.0〜1.0の範囲内の値となっているものが、出力色域の範囲内のRGB値であり、一方、R値、G値、B値のいずれか1つでも0.0〜1.0の範囲外となっているものが出力色域の範囲外のRGB値であると判定される。
各格子点のRGB値について、このように出力色域の範囲内/範囲外を判定していき、図9(a)(b)のように例えば格子位置の値として、範囲内のRGB値、範囲外のRGB値が記憶された格子位置を判別する。図9においては(x,y,z)はR、G、B各軸の3DLUTの格子位置を示しているものとしており、例えば図9(a)のLUT#2の格子位置(x0,y0,z0)(x0,y1,z0)・・・(xa,yb,zc)で示される格子点に入力されたRGB値は、出力色域の範囲内と判定されたことを示している。また図9(b)のLUT#2の格子位置(x1,y0,z0)(x0,y3,z1)・・・(xd,ye,zf)で示される格子点に入力されたRGB値は、出力色域の範囲外と判定されたことを示している。
LUT生成部2は、ステップF105で出力色域の範囲内のRGB値となっている格子位置を図9(a)のように抽出したら、ステップF106で、抽出したLUT#2の格子位置に対応する、LUT#1の格子位置に入力されているLCH値を、LUT#3の対応する格子位置に入力する。
つまり図9(a)のようにLUT#2の格子位置(x0,y0,z0)(x0,y1,z0)・・・(xa,yb,zc)のRGB値が出力色域の範囲内とされることに応じて、LUT#1の格子位置(x0,y0,z0)(x0,y1,z0)・・・(xa,yb,zc)に入力されているLCH値を、LUT#3の格子位置(x0,y0,z0)(x0,y1,z0)・・・(xa,yb,zc)に入力する。
例えばLUT#3は、図10に○で示すように、LUT#2で出力色域の範囲内とされたRGB値の格子位置に対応する格子位置に、LUT#1に記録したLCH値が書き込まれることになる。図10において○を付していない格子位置は、LCH値が書き込まれなかった空の格子位置である。
またLUT生成部2は、ステップF107で出力色域の範囲外のRGB値となっている格子位置を図9(b)のように抽出したら、ステップF108で、抽出したLUT#2の格子位置に対応する、LUT#1の格子位置に入力されているLCH値を、LUT#4の対応する格子位置に入力する。
つまり図9(b)のようにLUT#2の格子位置(x1,y0,z0)(x0,y3,z1)・・・(xd,ye,zf)のRGB値が出力色域の範囲外とされることに応じて、LUT#1の格子位置(x1,y0,z0)(x0,y3,z1)・・・(xd,ye,zf)に入力されているLCH値を、LUT#4の格子位置(x1,y0,z0)(x0,y3,z1)・・・(xd,ye,zf)に入力する。
例えばLUT#4は、図11(a)に○で示すように、LUT#2で出力色域の範囲外とされたRGB値の格子位置に対応する格子位置に、LUT#1に記録したLCH値が書き込まれることになる。図11において○を付していない格子位置は、LCH値が書き込まれなかった空の格子位置である。
なお、図10においてLUT#3にLCH値が入力された○の格子位置は、図11(a)のLUT#4における空の格子位置となり、図11(a)のLUT#4にLCH値が入力された○の格子位置は、図10のLUT#3における空の格子位置となる。
ここで図10のLUT#3に入力されたLCH値は、入力RGB値がそのまま出力色域の範囲内にあり、つまりクリッピング手法における色域圧縮で、圧縮の必要がない色となる。
一方図11(a)のLUT#4に入力されたLCH値は、入力RGB値が出力色域の範囲外にあり、圧縮処理が必要となる色である。
そこでステップF109で、LUT生成部2は、図11(a)のLUT#4に入力された格子位置の色についての圧縮処理を行う。例えば上記(数3)の演算で、LUT#4に入力された各LCH値を圧縮し、その圧縮演算後の値を、LUT#4上の格子位置に上書きする。図11(b)の■は、圧縮演算後のLCH値を示している。即ち図11(a)の○で示したLCH値が、それぞれ圧縮されて図11(b)の■のように、上書きされる。
このようにステップF105〜F109の処理を終えたら、LUT生成部2は、ステップF110で、図10に示したLUT#3と図11(b)の状態のLUT#4を合成して図12のようなLUT#5を生成する。即ちLUT#5の各格子点に、LUT#3に書き込まれているLCH値とLUT#4に書き込まれているLCH値を書き込んでいく処理となる。この結果、LUT#5は、圧縮が不要とされたLCH値と圧縮演算されたLCH値の両方が書き込まれたものとなる。
続いてステップF111では、LUT#5に書き込まれたLCH値の中で、同一のLCH値となっている格子位置を検索し、グループ化する。
上述のように、或る2つの異なるLCH値が、それぞれ圧縮処理されることで同一の値となることがある。また圧縮された或るLCH値が、圧縮されていないLCH値と同一の値となることがある。ステップF111では、このようにしてLCH値が同一値となっている格子位置を検索していく。
LCH値が同一値となっている格子位置が存在したら、ステップF112からF113に進み、同じLCH値が書き込まれている格子位置をグループ化する。図13は、グループGP1、GP2・・・として、LUT#5上で、LCH値が同一となっている格子位置を検索した結果の例を示している。例えばLUT#5上の格子位置(xa,yb,zc)に記憶されたLCH値が、格子位置(xa+1,yb,zc)に記憶されたLCH値と同値となっていたことから、格子位置(xa,yb,zc)、(xa+1,yb,zc)がグループGP1としてグループ化された例である。
例えば図13のようにグループ化を行ったら、LUT生成部2は、ステップF114で、各グループGP1,GP2・・・のそれぞれについて、グループ内の複数の格子位置に相当する圧縮処理前のLCH値、つまりLUT#1における対応する格子位置に記憶されているLCH値を検索する。例えばグループGP1に関して言えば、LUT#1における格子位置(xa,yb,zc)のLCH値と、格子位置(xa+1,yb,zc)におけるLCH値を読み出すことになる。
そしてステップF115で、LUT#1から読み出した複数のLCH値について、その最大の差を持つ値の差を強調するようにLCH値を更新し、LUT#1に上書きする。
この処理を図14に模式的に示す。ステップF113の処理により、図14のLUT#5上でグループGPnで示す2つの格子位置がグループ化されたとする。
この場合、LUT#1において同一の2つの格子位置のLCH値を読み出す。そして2つの格子位置のLCH値について、L値、C値、H値同志を比較し、差が最大のものを判別する。例えばLUT#1の一方の格子位置に記録されたLCH値はL値=50、C値=50、H値=10であったとする。またLUT#1の他方の格子位置に記録されたLCH値はL値=50、C値=50、H値=11であったとする。すると、これら2つのLCH値においてはH値の差が最も大きいものとなる。
この場合、この2つの色は、もともとH値において特徴的な差を持つものである。そこでこの差を強調するようにLCH値を更新する。具体的には一方のLCH値においてH=H+D、他方のLCH値においてH=H−Dとする。D値は属性の差を強調するための値である。D値については後述する。
そしてこのようにH値の差を強調することで、一方のLCH値(L値=50、C値=50、H値=10)を例えばL値=50、C値=50、H値=9に変更し、他方のLCH値(L値=50、C値=50、H値=11)を例えばL値=50、C値=50、H値=12に変更する。そして変更した値を、◎で示すようにLUT#1上に上書きする。
なお、ここではH値を更新した例を述べたが、グループ内の複数の格子位置同志において、L値の差が大きければL値を更新し、またC値の差が大きければC値を更新することになる。L値を更新する場合は、一方のLCH値においてL=L+D、他方のLCH値においてL=L−Dとする。C値を更新する場合は、一方のLCH値においてC=C+D、他方のLCH値においてC=C−Dとする。
ステップF115でLUT#1のLCH値の更新を行ったら、ステップF104に戻って、上記同様の処理を繰り返す。
つまり圧縮処理を行った後においてLCH値が同一値となったしまった格子位置については、圧縮処理に至る前のLCH値において色の差が強調されるように更新された上で、再度ステップF103以降の処理が行われることで、今度はステップF111の時点で異なる値となっている可能性が高い。つまり、当初は圧縮により階調性が阻害された色同志について、階調性が生じる状態に導くことができる。
そして、ステップF112でLUT#5上で同一のLCH値となる格子位置が存在しないと判定されるまで、同様の処理が繰り返されることで、LUT#5における各格子位置は、全て異なるLCH値が記憶された状態に至る。即ち、階調性が完全に維持された状態である。
但し、実際には入力色域と出力色域の関係などから、処理を繰り返しても、必ずしも全ての格子位置で異なるLCH値となる状態に至らないこともあり得るため、多少、同一のLCH値がLUT#5に残されてしまうことはやむを得ないとして、ステップF104〜F115の繰り返し処理の回数に制限を設けておくことも考えられる。
ステップF112で、LUT#5の各格子位置において同一のLCH値が存在しないと判別されたら、ステップF116に進み、その時点のLUT#5の各格子位置に記憶されているLCH値を出力RGB値に変換し、LUT#6の同一の格子位置に書き込んでいく。図15には、LUT#6の各格子位置に、LUT#5の各格子位置のLCH値から変換された出力RGB値▲が書き込まれる様子を示している。
このLUT#6が、LUT生成部2が最終的に作成する3DLUT、つまりその後、色変換部3に供給され、実際の画像データの色域圧縮処理に用いられるものとなる。
LUT生成部2は、ステップF116でLUT#6を完成させたら、例えばこれをメモリ部12の不揮発性メモリ領域に書き込んでLUT生成処理を終え、その後任意の時点で色変換部3に供給できるようにすればよい。
色変換部3で実際に入力画像データに対する色域圧縮が行われる際には、入力画像データのR値、G値、B値により、LUT#6の1つの格子位置が指定される。そしてその格子位置には、出力RGB値が記憶されているため、色変換部3は、その出力RGB値を読み出して色域圧縮後の値として出力RGB値を出力することになる。
そして、このLUT#6の各格子位置に書き込まれる出力RGB値▲は、全て異なるLCH値から変換されたRGB値であるため同一値のものはない。従って本例の色域圧縮装置1では、クリッピング手法を用いた色域圧縮でありながら階調性を維持できる。つまり、再現可能な色は圧縮しないことで忠実に再現しつつ、且つ階調表現も可能となるという優れた色域圧縮を実現できる。
またLUT#6の出力値を全て異なる値とすることが可能であることで、LUTの有効活用ができる。即ちLUTのサイズを無駄にしない。
なお処理例としては、入力RGB値をLCH値に変換して圧縮するものとしたが、Lab値で圧縮を行うようにしてもよい。
また、図2(b)の構成を想定した場合、LUT生成装置30が上記図5の処理で3DLUTを生成し、これを色域圧縮装置31の色変換部32に受け渡すようにする。すると、色域圧縮装置31による色域圧縮において上記同様の効果を得ることができる。
[4.第2の色域圧縮処理例]

続いて第2の色域圧縮処理例を説明する。
図16は第2の色域圧縮処理例の考え方を示している。なお、図16は上記図4と同様に入力RGB値として、入力色域に含まれる2つの色I、色IIを想定し、この色I、色IIについて圧縮を行い、出力色域に含まれる色I’、色II’に変換する処理を示しているが、S1−1〜S1−5、S2−1〜S2−5は図4と同様であるため説明を省略する。この第2の色域圧縮処理例の考え方はS1−21〜S1−24、S2−21〜S2−24が図4と異なる。
・S1−21,S2−21
色I、色IIについて圧縮演算を行った結果、S1−5、S2−5に示すように、色IのL値、C値、H値は49,49,10となり、また色IIのL値、C値、H値も49,49,10となったとする。つまり色I、色IIを出力色域に含めるために圧縮したら、出力色域において同じ色になったとする。このままでは出力色域において階調が失われたことになる。
上記第1の色域圧縮処理例の場合は、この時点で圧縮前のLCH値を変更させ、再度圧縮演算を行うものであったが、第2の色域圧縮処理例では、階調性を得るための処理として、圧縮後のLCH値を変更させる点が異なる。
この場合、圧縮後に同値となったLCH値については、圧縮前の各LCH値(S1−3、S2−3の値)を確認し、互いの色属性のうち最も互いを差別化する属性を検出することは第1の色域圧縮処理例と同様であるが、その属性の差を強調するように、圧縮後のLCH値を変更する。
・S1−22,S2−22
この場合、圧縮前の各LCH値(S1−3、S2−3の値)では、H値に最大の差異が認められるため、H値の差が強調されるように圧縮前のLCH値を変更することになり、その結果、色Iの圧縮後LCH値が49,49,9に変更され、また色IIの圧縮後LCH値が49,49,12に変更されたとする。
・S1−23,S2−23
色I、色IIの圧縮演算後のLCH値をそれぞれRGB値に変換する。
・S1−24,S2−24
変換された各RGB値が出力RGB値、つまり圧縮処理によって変換された色I’色II’とされる。
もちろん、この第2の色域圧縮処理例の場合も、RGB値をLCH値に変換して処理を行うのではなく、Lab値で処理を行っても良い。またLCH値として色の属性の差を強調するようにしているが、Lab値での差を強調しても良いし、色成分(RGB値)の差を強調するようにしてもよい。結果的に、色I’、色II’の出力RGB値が異なるものとなればよい。
そしてこの図16に示した色I、色IIの例からわかるように、第2の色域圧縮処理の考え方は、入力色域における色データ値のうちで、圧縮演算処理を終えた後の状態において同一値になってしまう複数の色データのそれぞれを、圧縮演算で圧縮する前の色データの色成分又は色属性において最も差の大きい色成分又は色属性が強調された状態の異なる値とすることである。
またその異なる値とするためには、同一値となった複数の色データについて、圧縮演算後の色データの値を変更することで色データ値が異なる値となるようにする。
以上のような考え方の本例の色域圧縮処理を実現する具体的な処理例を、図17で説明していく。
なお、図17のステップF201〜F217はLUT生成部2の処理であるが、各処理は次のようにLUT生成部2内の機能で実現される。
ステップF201,F202:メモリ制御部25のメモリアクセス機能。
ステップF203,F204,F217:変換部21の変換機能とメモリ制御部25のメモリアクセス機能。
ステップF205,F206,F207,F208:色域内外判定部22の判定機能とメモリ制御部25のメモリアクセス機能。
ステップF209:色圧縮部23の圧縮演算機能とメモリ制御部25のメモリアクセス機能。
ステップF210,F211,F212,F213,F214,F215,F216:階調生成部24の階調生成機能とメモリ制御部25のメモリアクセス機能。
この図17において、ステップF201〜F214及びF217は、図5のステップF101〜F114及びF116と同様であるため、説明は省略する。
この図17のLUT生成処理においては、ステップF213で例えば図13のようにグループ化を行ったら、LUT生成部2は、ステップF214で、各グループGP1,GP2・・・のそれぞれについて、グループ内の複数の格子位置に相当する圧縮処理前のLCH値、つまりLUT#1における対応する格子位置に記憶されているLCH値を検索する。例えばグループGP1に関して言えば、LUT#1における格子位置(xa,yb,zc)のLCH値と、格子位置(xa+1,yb,zc)におけるLCH値を読み出すことになる。
そしてステップF215では、LUT#1から読み出した複数のLCH値について、その最大の差を持つ値を判別し、ステップF216で、その最大の差を持つ値の差を強調するように、LUT#5のLCH値を更新し、LUT#5に上書きする。
この処理を図18に模式的に示す。ステップF213の処理により、図18のLUT#5上でグループGPnで示す2つの格子位置がグループ化されたとする。
この場合、LUT#1において同一の2つの格子位置のLCH値を読み出す。そして2つの格子位置のLCH値について、L値、C値、H値同志を比較し、差が最大のものを判別する。例えばLUT#1の一方の格子位置に記録されたLCH値はL値=50、C値=50、H値=10であったとする。またLUT#1の他方の格子位置に記録されたLCH値はL値=50、C値=50、H値=11であったとする。すると、これら2つのLCH値においてはH値の差が最も大きいものとなる。
この場合、この2つの色は、もともとはH値において特徴的な差を持つものである。そこでこの差を強調するように、LUT#5におけるLCH値を更新する。
具体的にはLUT#5のグループGPnの一方の格子位置のLCH値においてH=H+D、他方の格子位置のLCH値においてH=H−Dとする(D値は属性の差を強調するための値)。
例えばLUT#5においてグループGPnの2つの格子位置の各LCH値は、同値であり、共にL値=49、C値=49、H値=10であったとする。ここでLUT#1におけるLCH値は、H値に顕著な差を有するものであるため、LUT#5上のグループGPnの一方のLCH値を、L値=49、C値=49、H値=11、他方のLCH値をL値=49、C値=49、H値=9というように更新し、LUT#5上に上書きする。
なお、ここではH値を更新した例を述べたが、グループ内の複数の格子位置同志において、圧縮前のLCHでL値の差が大きければL値を更新し、またC値の差が大きければC値を更新することになる。
ステップF216でLUT#5のLCH値の更新を行ったら、ステップF211に戻って、LUT#5上で同一のLCH値となっている格子位置の検索を行い、同様の処理を繰り返す。
つまり圧縮処理を行った後においてLCH値が同一値となったしまった格子位置については、圧縮処理に至る前のLCH値において色の差が強調される属性値を判別し、その値に差ができるように、圧縮後のLUT#5上のLCH値の更新を行っていく。そしてステップF211〜F216の処理が繰り返されることで、ある時点でステップF212で、LUT#5上で同一のLCH値となる格子位置が存在しないと判定される状態に達する。
ステップF212で、LUT#5の各格子位置において同一のLCH値が存在しないと判別されたら、ステップF217に進み、その時点のLUT#5の各格子位置に記憶されているLCH値を出力RGB値に変換し、LUT#6の同一の格子位置に書き込んでいく。
このLUT#6が、LUT生成部2が最終的に作成する3DLUT、つまりその後、色変換部3に供給され、実際の画像データの色域圧縮処理に用いられるものとなる。
LUT生成部2は、ステップF217でLUT#6を完成させたら、例えばこれをメモリ部12の不揮発性メモリ領域に書き込んでLUT生成処理を終え、その後任意の時点で色変換部3に供給できるようにすればよい。
色変換部3で実際に入力画像データに対する色域圧縮が行われる際には、入力画像データのR値、G値、B値により、LUT#6の1つの格子位置が指定される。そしてその格子位置には、出力RGB値が記憶されているため、色変換部3は、その出力RGB値を読み出して色域圧縮後の値として出力RGB値を出力することになる。
そして、このLUT#6の各格子位置に書き込まれる出力RGB値は、全て異なるLCH値から変換されたRGB値であるため同一値のものはない。従って本例の色域圧縮装置1では、クリッピング手法を用いた色域圧縮でありながら階調性を維持できる。つまり、再現可能な色は忠実に再現しつつ、且つ階調表現も可能となるという優れた色域圧縮を実現できる。
またLUT#6の出力値を全て異なる値とすることが可能であることで、LUTの有効活用ができる。
[5.成分/属性の差の強調の手法]

以上の図5又は図17の処理によって3DLUT(LUT#6)が生成されることで、クリッピング手法でありながら階調性を保つ色域圧縮が実現されるが、図5のステップF115でLUT#1のLCH値の更新(圧縮前の時点のLCH値の更新)を行う場合や、図17のステップF216でLUT#5のLCH値の更新(圧縮後の時点のLCH値の更新)を行う場合においては、上述したD値が適切に設定されることが、階調性の維持のために望ましい。
例えばL値の差を強調するようにLCH値を更新する場合、一方のLCH値のL値についてL=L+Dとし、他方のLCH値のL値についてL=L−Dとすればよいことを述べた。このD値は、圧縮によって同一値となった元々の属性の差を強調するための値であるため、D値が適切に設定されることで元々の階調性が、色域圧縮後も適切に表現されることになる。
なお、D値を用いた強調の方法は、上記のように加算、減算以外にもその属性を強調する方法ならばどのような演算でも構わない。さらに、強調の度合いであるD値は固定である必要はない。
以下、強調する度合いに相当するD値を決める手法の具体例を述べていく。
・強調する度合いを色成分、色属性によって決定する手法。
例えばまず8ビットのR値を考える。8ビットのR値をRi(但しi=0〜255)とする。そして256個の各Ri値のそれぞれについて、G値、B値を固定したうえで、L値、a値、b値、C値、H値を算出する。
Riから算出する値をLi、ai、bi、Ci、Hiとするとき、Li、ai、biは次の(数5)で算出される。
なお、Xn,Yn,Znは、光源の3刺激値であり、例えば標準イルミナントD65の場合は(Xn,Yn,Zn)=(95.04,100.00,108.89)である。

Figure 0004534917
また、Ci、Hiは(数6)で算出される。
Figure 0004534917
以上のようにして求めたLi、ai、bi、Ci、Hiから、次のようにΔLi、Δai、Δbi、ΔCi、ΔHiを算出する。
ΔLi=|Li−Li-1|
Δai=|ai−ai-1|
Δbi=|bi−bi-1|
ΔCi=|Ci−Ci-1|
ΔHi=|Hi−Hi-1|
i=0〜255のそれぞれについて、このようにしてR値から求めたΔLi、Δai、Δbi、ΔCi、ΔHiを用いて、図19(a)のように2次元テーブル(LUT−i)を作成する。
また、G値についても、同様にGi(但しi=0〜255)としてのそれぞれの値について、R値、B値を固定した状態でLi、ai、bi、Ci、Hiを求め、さらにΔLi、Δai、Δbi、ΔCi、ΔHiを算出する。そして図19(b)のように2次元テーブル(LUT−ii)を作成する。
さらに、B値についても、同様にBi(但しi=0〜255)としてのそれぞれの値について、R値、G値を固定した状態でLi、ai、bi、Ci、Hiを求め、さらにΔLi、Δai、Δbi、ΔCi、ΔHiを算出する。そして図19(c)のように2次元テーブル(LUT−iii)を作成する。
この図19(a)の2次元テーブル(LUT−i)は、R値に1の差を生むD値のテーブルである。つまり結果的にR値における差を強調したい場合に、L値、a値、b値、C値、H値をどれだけ変化させたらよいかを示す値がテーブルデータとして示されるもので、即ちそれはD値として用いることのできる値である。
また図19(b)の2次元テーブル(LUT−ii)は、G値に1の差を生むD値のテーブルであり、図19(c)の2次元テーブル(LUT−iii)は、B値に1の差を生むD値のテーブルである。
この図19(a)(b)(c)の二次元テーブルのどれを採用してD値を設定するかは設計上の任意の事項となる。
上述した色域圧縮処理(LUT生成処理)において、圧縮処理で同一値となってしまった複数の色については、D値により差を生じさせることになるが、その際にR成分に差を生じるようにしたいのであれば、図19(a)の二次元テーブル(LUT−i)からD値を決定すればよい。例えば出力デバイス、視覚特性、入力画像データなどに応じて、選定されればよい。
またD値は固定としても良いし、可変であってもよいが、R値の差を強調して階調性を維持したい場合であって、D値を固定とする場合は、二次元テーブル(LUT−i)から適切なD値を選定すればよい。
D値を可変とする場合は、二次元テーブル(LUT−i)からD値が処理過程で選択されていくようにすればよい。
・強調する度合いを色属性によって決定する手法。
上述のように、D値はL値、C値、H値のいずれかの属性値を変化させる値であるが、変化させる属性に応じてD値が選択されるようにする。例えばL値を変化させる場合はDL値を用い(L=L+DL、L=L−DL)、H値を変化させる場合はDH値を用い(H=H+DH、H=H−DH)、C値を変化させる場合はDC値を用いる(C=C+DC、C=C−DC)ようにする。
DL値としては、例えば図19(a)の二次元テーブル(LUT−i)において、i=0〜255の範囲でのΔLの値のうち、最大の値を採用することなどが考えられる。またDH値、DC値についても同様とすればよい。
さらにa値、b値を用いて色データ値を変化させる場合、a値の加減算を行うDa値、b値の加減算を行うDb値が、それぞれ用いられるようにすればよい。
・強調する度合いを圧縮元(入力色域)、圧縮先(出力色域)の色域の組み合わせに応じて決める手法。
上記(数5)における行列M1を、入力色域、出力色域の組み合わせに応じて設定することで、入力色域、出力色域の組み合わせに応じたD値が、図19の二次元テーブル上で求められる。
・強調する度合いを圧縮先の色域(出力色域)に応じて決める手法。
図20に示したようにデバイスによって色域の広狭がある。そのような出力色域の広狭に応じてD値を設定する。
例えばITU−709などの比較的狭い色域を出力色域とする場合はD値を大きくし、フィルム色域等、比較的広い色域を出力色域とする場合はD値を小さく設定する。
・強調する度合いを3DLUTの格子位置に応じて決める手法。
例えば上述したLUT#1、#5の格子位置、つまり値を変化させようとするLCH値が格納された格子位置に応じて、図19の二次元テーブルからD値を選択する。
・強調する度合いをビット長に応じて決める手法。
上記した2次元LUTを作成する際のiの変化量を、R、G、B値のビット長に応じて設定する。例えばR、G、B値が8ビットのシステムにおいては、上記のようにi=0〜255、10ビットの場合はi=0〜1024、12ビットの場合はi=0〜4096、16ビットの場合はi=0〜65535、などのように設定してD値を示す二次元テーブルを生成し、その二次元テーブルからD値を選定する。
[6.プログラム]

本発明のプログラムの実施の形態は、上述した図4,図17の処理を演算部10(LUT生成部2)に実行させるプログラムである。或いは、さらにLUT生成部2で作成させた3DLUT(LUT#6)を用いて色変換部3に入力画像データの色域圧縮を実行させるプログラムである。
このプログラムは、例えばメモリ部12におけるROM領域や不揮発性メモリ領域などに予め記憶しておくことができる。
また本実施の形態のプログラムは、パーソナルコンピュータや、映像編集システム上の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、本実施の形態のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
このような実施の形態のプログラムにより、上述した効果を奏する色域圧縮装置を容易に実現でき、また色域圧縮装置を汎用又は専用の情報処理装置によって実現することができる。
さらに、そのようなプログラムが記録されたプログラム記録媒体によれば、本実施の形態の色域圧縮装置の提供、普及に便利となる。
本発明の実施の形態の色域圧縮装置を利用するシステム例の説明図である。 実施の形態の色域圧縮装置の構成の説明図である。 実施の形態の色域圧縮装置の構成のブロック図である。 実施の形態の第1の色域圧縮処理例の説明図である。 実施の形態の第1の色域圧縮処理を実現するLUT生成処理のフローチャートである。 実施の形態のLUT骨格生成の説明図である。 実施の形態のLUT#1へのLCH値入力の説明図である。 実施の形態のLUT#2へのRGB値入力の説明図である。 実施の形態の色域範囲内外の判定の説明図である。 実施の形態のLUT#3へのLCH値入力の説明図である。 実施の形態のLUT#4へのLCH値入力及び圧縮の説明図である。 実施の形態のLUT#5の生成の説明図である。 実施の形態の階調生成のためのグループ化処理の説明図である。 実施の形態の階調生成のための更新処理の説明図である。 実施の形態のLUT#6の生成の説明図である。 実施の形態の第2の色域圧縮処理例の説明図である。 実施の形態の第2の色域圧縮処理を実現するLUT生成処理のフローチャートである。 実施の形態の階調生成のための更新処理の説明図である。 実施の形態のD値設定のための二次元テーブルの説明図である。 各種デバイスの色域の説明図である。
符号の説明
1,31 色域圧縮装置、2 LUT生成部、3,32 色変換部、10 演算部、11 色域データベース、12 メモリ部、13 メモリインターフェース、14 入力部、15 出力部、21 変換部、22 色域内外判定部、23 色圧縮部、24 階調生成部、25 メモリ制御部、30 LUT生成装置

Claims (8)

  1. 第1の色域の入力画像データを第2の色域に圧縮して出力画像データとする色域圧縮方法において、
    上記第1の色域における各色の色データのうち、上記第2の色域に含まれない色データの値を、所定の圧縮演算で上記第2の色域に含まれる色データの値に圧縮する圧縮ステップと、
    上記圧縮ステップによる圧縮後において同一値となった複数の色データについて、上記圧縮演算による圧縮前の色データの値を変更したうえで、再度、上記圧縮ステップを実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする階調生成ステップと、
    を備えた色域圧縮方法。
  2. 上記階調生成ステップでは、上記圧縮ステップによる圧縮後において同一値となった複数の色データのそれぞれを、上記圧縮演算で圧縮する前の上記第1の色域における色データの色成分又は色属性の値のうちで最も差の大きい色成分又は色属性の値の差が大きくなるように変更したうえで、再度、上記圧縮ステップを実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする請求項1に記載の色域圧縮方法。
  3. 上記圧縮ステップ及び上記階調生成ステップを実行して得られた、上記第1の色域の色データ値と上記第2の色域の色データ値の対応関係を表すルックアップテーブルを生成し、
    上記第1の色域の入力画像データについて、上記ルックアップテーブルを参照することで上記第2の色域の出力画像データを得る請求項1に記載の色域圧縮方法。
  4. 第1の色域における各色の色データのうち、第2の色域に含まれない色データの値を、所定の圧縮演算で上記第2の色域に含まれる色データの値に圧縮する圧縮ステップと、
    上記圧縮ステップによる圧縮後において同一値となった複数の色データの値について、上記圧縮演算による圧縮前の色データの値を変更したうえで、再度、上記圧縮ステップを実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする階調生成ステップと、
    を情報処理装置に実行させるプログラム。
  5. 上記階調生成ステップでは、上記圧縮ステップによる圧縮後において同一値となった複数の色データのそれぞれを、上記圧縮演算で圧縮する前の上記第1の色域における色データの色成分又は色属性の値のうちで最も差の大きい色成分又は色属性の値の差が大きくなるように変更したうえで、再度、上記圧縮ステップを実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする請求項4に記載のプログラム。
  6. さらに、上記圧縮ステップ及び上記階調生成ステップを実行して得られた、上記第1の色域の色データ値と上記第2の色域の色データ値の対応関係を表すルックアップテーブルを生成するテーブル生成ステップを情報処理装置に実行させる請求項4に記載のプログラム。
  7. 第1の色域の入力画像データを第2の色域に圧縮して出力画像データとする色域圧縮装置において、
    上記第1の色域の色データの値から、上記第2の色域の色データの値を導くルックアップテーブル手段と、
    上記第1の色域の入力画像データについて、上記ルックアップテーブル手段を参照することで上記第2の色域の出力画像データを得る色変換手段と、
    を備えると共に、
    上記ルックアップテーブル手段は、
    上記第1の色域における各色の色データのうち、上記第2の色域に含まれない色データの値を、所定の圧縮演算で上記第2の色域に含まれる色データの値に圧縮し、さらに、上記圧縮後において同一値となった複数の色データについて、上記圧縮演算による圧縮前の色データの値を変更したうえで、再度、上記圧縮を実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする階調生成処理を行った状態において、上記第1の色域の色データ値と上記第2の色域の色データ値の対応関係を表すテーブルデータとされている色域圧縮装置。
  8. 上記ルックアップテーブル手段を構築するための上記階調生成処理は、
    上記圧縮後の色データにおいて上記同一値となった複数の色データのそれぞれを、上記圧縮演算で圧縮する前の上記第1の色域における色データの色成分又は色属性の値のうちで最も差の大きい色成分又は色属性の値の差が大きくなるように変更したうえで、再度、上記圧縮を実行することで、圧縮後の色データの値が上記第2の色域内における異なる値となるようにする処理である請求項7に記載の色域圧縮装置。
JP2005260699A 2005-09-08 2005-09-08 色域圧縮方法、プログラム、色域圧縮装置 Expired - Fee Related JP4534917B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005260699A JP4534917B2 (ja) 2005-09-08 2005-09-08 色域圧縮方法、プログラム、色域圧縮装置
TW095132615A TW200715824A (en) 2005-09-08 2006-09-04 Gamut compression method and device
EP06254652A EP1768381B1 (en) 2005-09-08 2006-09-07 Gamut compression method and device
KR1020060086092A KR20070029078A (ko) 2005-09-08 2006-09-07 색역 압축 방법, 프로그램, 색역 압축 장치
US11/517,460 US7697165B2 (en) 2005-09-08 2006-09-07 Gamut compression method, program, and gamut compression device
CN200610171872XA CN1972368B (zh) 2005-09-08 2006-09-08 色域压缩方法和色域压缩设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005260699A JP4534917B2 (ja) 2005-09-08 2005-09-08 色域圧縮方法、プログラム、色域圧縮装置

Publications (3)

Publication Number Publication Date
JP2007074514A JP2007074514A (ja) 2007-03-22
JP2007074514A5 JP2007074514A5 (ja) 2008-08-21
JP4534917B2 true JP4534917B2 (ja) 2010-09-01

Family

ID=37708245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005260699A Expired - Fee Related JP4534917B2 (ja) 2005-09-08 2005-09-08 色域圧縮方法、プログラム、色域圧縮装置

Country Status (6)

Country Link
US (1) US7697165B2 (ja)
EP (1) EP1768381B1 (ja)
JP (1) JP4534917B2 (ja)
KR (1) KR20070029078A (ja)
CN (1) CN1972368B (ja)
TW (1) TW200715824A (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006007852A1 (de) 2006-02-17 2007-08-30 Gmg Gmbh & Co. Kg Verfahren zur Transformation von Farbwerten
US8487947B2 (en) * 2006-09-28 2013-07-16 Agere Systems Inc. Video processing architecture having reduced memory requirement
KR101157832B1 (ko) * 2007-07-16 2012-06-22 삼성전자주식회사 스캐너의 색 보정 장치 및 그 제어방법
JP5117140B2 (ja) 2007-08-23 2013-01-09 京セラドキュメントソリューションズ株式会社 画像形成装置、カラーデータ変換方法及びカラーデータ変換プログラム
EP2254090B1 (en) 2008-03-11 2015-08-26 Panasonic Corporation Color conversion output device, color conversion table and method for creating same
US8446961B2 (en) * 2008-07-10 2013-05-21 Intel Corporation Color gamut scalability techniques
CN101873502B (zh) * 2009-04-24 2015-08-19 晨星软件研发(深圳)有限公司 色彩空间转换电路及方法
EP2381230B1 (de) 2010-04-23 2018-06-13 GMG GmbH & Co. KG Verfahren zur Erstellung von Überdruckvorhersagen
KR101946597B1 (ko) * 2012-07-25 2019-02-12 삼성디스플레이 주식회사 색역 매핑 장치 및 그 방법
JP6376767B2 (ja) * 2014-02-14 2018-08-22 キヤノン株式会社 画像処理装置及び画像処理方法
TWI544451B (zh) 2015-09-16 2016-08-01 華碩電腦股份有限公司 影像處理方法
WO2017059043A1 (en) 2015-09-30 2017-04-06 Dolby Laboratories Licensing Corporation 2d lut color transforms with reduced memory footprint
CN106454300B (zh) * 2016-09-19 2018-11-02 深圳Tcl数字技术有限公司 色域扩展系统和方法
CN106412544B (zh) 2016-09-19 2019-02-01 深圳Tcl数字技术有限公司 色域保持系统和方法
CN108846871B (zh) * 2018-06-25 2021-06-22 Tcl华星光电技术有限公司 一种图像处理方法及装置
KR20200100918A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 카메라를 이용하는 어플리케이션을 통해 다양한 기능을 제공하는 전자 장치 및 그의 동작 방법
CN114402379A (zh) 2019-12-11 2022-04-26 谷歌有限责任公司 使用减少数量的显示特性测量的显示模块的颜色校准
US11842678B2 (en) 2021-10-12 2023-12-12 Google Llc High-brightness mode on an OLED display

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083177A (ja) * 1998-07-02 2000-03-21 Fuji Xerox Co Ltd 画像処理方法および画像処理装置
JP2002094826A (ja) * 2000-09-19 2002-03-29 Sharp Corp 画像処理装置、画像形成装置、並びに画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69132760T2 (de) * 1990-11-15 2002-07-11 Canon K.K., Tokio/Tokyo Farbbildverarbeitungsgerät und -verfahren
JPH05284347A (ja) * 1992-03-31 1993-10-29 Olympus Optical Co Ltd カラー画像出力装置
DE69420874T2 (de) * 1993-02-12 2000-05-04 Eastman Kodak Co., Rochester Verfahren zur geräteübergreifenden Farbbildkalibrierung und -verbesserung
JP3907783B2 (ja) * 1996-12-12 2007-04-18 富士フイルム株式会社 色変換方法
JP2000278546A (ja) * 1999-01-22 2000-10-06 Sony Corp 画像処理装置及び画像処理方法、色域変換テーブル作成装置及び色域変換テーブル作成方法、画像処理プログラムを記録した記録媒体、並びに色域変換テーブル作成プログラムを記録した記録媒体
US6414690B1 (en) * 1999-12-08 2002-07-02 Xerox Corporation Gamut mapping using local area information
JP4501321B2 (ja) 2001-07-24 2010-07-14 パナソニック株式会社 色域圧縮方法
JP3888176B2 (ja) 2002-02-15 2007-02-28 三菱電機株式会社 色変換装置、および色変換方法
JP4090756B2 (ja) * 2002-02-15 2008-05-28 三菱電機株式会社 画像表示装置および色変換方法
JP2004336557A (ja) * 2003-05-09 2004-11-25 Seiko Epson Corp 色域圧縮装置、色域圧縮方法および色域圧縮処理プログラム
JP2005117096A (ja) * 2003-10-02 2005-04-28 Seiko Epson Corp 色域圧縮装置、色域圧縮方法および色域圧縮プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083177A (ja) * 1998-07-02 2000-03-21 Fuji Xerox Co Ltd 画像処理方法および画像処理装置
JP2002094826A (ja) * 2000-09-19 2002-03-29 Sharp Corp 画像処理装置、画像形成装置、並びに画像処理方法

Also Published As

Publication number Publication date
TW200715824A (en) 2007-04-16
KR20070029078A (ko) 2007-03-13
EP1768381B1 (en) 2012-12-12
TWI320657B (ja) 2010-02-11
EP1768381A2 (en) 2007-03-28
US7697165B2 (en) 2010-04-13
JP2007074514A (ja) 2007-03-22
CN1972368A (zh) 2007-05-30
EP1768381A3 (en) 2010-09-01
CN1972368B (zh) 2011-05-18
US20070058183A1 (en) 2007-03-15

Similar Documents

Publication Publication Date Title
JP4534917B2 (ja) 色域圧縮方法、プログラム、色域圧縮装置
USRE44194E1 (en) System and method for display device characterization, calibration, and verification
KR20080045132A (ko) 하드웨어 가속 컬러 데이터 처리
EP1239668A1 (en) System for optimizing the display and rendering of digital images for digital mastering
US6885382B1 (en) Image processing device, image processing system, output device, computer readable recording medium and image processing method
JP2004032749A (ja) 画像処理方法
WO2005048583A1 (ja) 色補正装置および色補正方法
JP4263131B2 (ja) 色変換方法および画像処理装置
JP4363430B2 (ja) 色域変換装置、色域変換方法
JP2010531597A (ja) Lutを用いた色変換すべきイメージのビデオシーケンスの伝送方法
JP5253274B2 (ja) 色変換出力装置
JP2009188948A (ja) 画像処理装置および画像処理方法
CN100474936C (zh) 将三色信号转换为多色信号的设备和方法
US20070236744A1 (en) Time-efficient generation of color look-up table
JP4396107B2 (ja) 映像表示システム
JP4534932B2 (ja) 色域圧縮装置、色域圧縮方法、プログラム、記録媒体
JPH08212324A (ja) 色信号変換装置
JP2005322960A (ja) 多原色表示装置に対する色変換方式
JP4507115B2 (ja) コンピュータグラフィックス画像修正システム
JP4793705B2 (ja) 色変換装置
Srivastava et al. Color management using optimal three-dimensional look-up tables
JP2009218961A (ja) 色変換出力装置、色変換出力方法、色変換出力プログラム、色変換テーブル、色変換テーブル記録媒体並びに色変換集積回路
Sugiura et al. Development of sRGB compliant front LCD projectors
JP2019129465A (ja) 画像編集装置
JPH10191023A (ja) 画像処理方法、画像処理装置、画像信号処理方法および画像信号処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4534917

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees