[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3607059B2 - 色特徴抽出装置および色特徴の抽出方法およびプログラム記憶媒体 - Google Patents

色特徴抽出装置および色特徴の抽出方法およびプログラム記憶媒体 Download PDF

Info

Publication number
JP3607059B2
JP3607059B2 JP25531697A JP25531697A JP3607059B2 JP 3607059 B2 JP3607059 B2 JP 3607059B2 JP 25531697 A JP25531697 A JP 25531697A JP 25531697 A JP25531697 A JP 25531697A JP 3607059 B2 JP3607059 B2 JP 3607059B2
Authority
JP
Japan
Prior art keywords
value
color
hue
hls
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25531697A
Other languages
English (en)
Other versions
JPH1196369A (ja
Inventor
寿美代 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP25531697A priority Critical patent/JP3607059B2/ja
Priority to US09/153,848 priority patent/US6140997A/en
Publication of JPH1196369A publication Critical patent/JPH1196369A/ja
Application granted granted Critical
Publication of JP3607059B2 publication Critical patent/JP3607059B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、画像データベース装置等において画像の色特徴を抽出する色特徴抽出装置および色特徴の抽出方法およびそのプログラム媒体に関する。
【0002】
【従来の技術】
従来より、画像データベースでは、類似画像を検索する場合、画像の色特徴を限定された色毎に分類し、分類された色をキーとして画像に付与したり、色特徴をそのままを画像情報に付与したりして、色とその色の画像に占める割合で類似性を判定している。このような類似画像を検索するために用いられる色特徴抽出装置として、各画素がRGB(赤,緑,青)値で表されたデジタル画像をそのままRGB色空間で色特徴を抽出するものが提案されている。
【0003】
【発明が解決しようとする課題】
ところが、上記色特徴抽出装置では、RGB値を直接評価して判定すると、人間の視覚が緑領域の色差を判定しにくいため、人間の感覚に合った色の分類や色の領域判定により色特徴を抽出するということができないという欠点がある。
【0004】
そこで、L*a*b*色空間(JIS Z8729−(1980))という色差を等距離にする色空間を用いることが考えられるが、L*a*b*色空間では、色差の精度を重視しているため変換が難しく、色の表現方法も一般の人にはなじみが少ないという問題がある。
【0005】
そこで、この発明の目的は、RGB色空間を人間の感覚に近い色空間に簡単に変換して、その変換された人間の感覚に近い色空間でデジタル画像の色の分類,色の領域判定ができる色特徴抽出装置および色特徴の抽出方法そのプログラム媒体を提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1の色特徴抽出装置は、デジタル画像の各画素のRGB(赤,緑,青)値をHLS(色相,明度,彩度)変換によりHLS値に変換する色空間変換部と、上記色空間変換部により変換されたHLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を補正する色相補正部と、上記色相補正部により補正された色相値に基づいて、上記デジタル画像の色特徴を抽出する色特徴抽出部とを備えたことを特徴とする色特徴抽出装置。特徴としている。
【0007】
上記請求項1の色特徴抽出装置によれば、上記色空間変換部によりRGB値をHLS変換によってHLS値に変換し、その変換されたHLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記色相補正部によりHLS値のうちの色相値を補正する。そうすることによって、HLS色空間において、人間の視覚が色差を判定しにくい緑色の色相方向の領域を縮小し、色差に敏感な赤色から黄色にかけての色相方向の領域を拡大して、人間の視覚に近い色空間にする。このため、上記色相値が補正されたHLS色空間でデジタル画像の色特徴を色特徴抽出部により抽出するとき、複雑な演算をすることなく、色差を単純な差分値で演算することが可能になる。このように、精度の高い色空間の変換ではなく、RGB色空間からHLS色空間への標準の変換と色相値の補正によって、RGB色空間を人間の感覚に近い色空間に簡単に変換して、その変換された人間の感覚に近い色空間でデジタル画像の色の分類,色の領域判定により色特徴を抽出できる。したがって、上記デジタル画像の色特徴抽出において、色の分類や色による領域抽出の判定方法を単純化しても、ユーザーが納得する結果を得ることができる。また、RGB色空間の各画素が色相,明度および彩度の色空間上にあるので、ユーザーにもわかりやすい色空間になる。
【0008】
また、請求項2の色特徴抽出装置は、請求項1の色特徴抽出装置において、上記HLS値で表される色空間において、明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を補正する明度補正部を備え、上記色特徴抽出部は、上記色相補正部により補正された色相値と上記明度補正部により補正された明度値に基づいて、上記デジタル画像の色特徴を抽出することを特徴としている。
【0009】
上記請求項2の色特徴抽出装置によれば、上記色空間変換部により変換されたHLS値の明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を上記明度補正部により補正する。つまり、HLS空間において、人間の視覚が明るい色の差に敏感な明度方向の高い方の領域を拡大するのに対して、人間の視覚が暗い色の差に鈍感な明度方向の低い方の領域を縮小するのである。したがって、上記色相値の補正とこの明度補正部による明度値の補正とによって、より一層人間の感覚に近いHLS色空間にできる。
【0010】
また、請求項3の色特徴の抽出方法は、デジタル画像の各画素のRGB値をHLS変換によりHLS値に変換するステップと、上記HLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を補正するステップと、上記補正された色相値に基づいて、上記デジタル画像の色特徴を抽出するステップとを備えたことを特徴としている。
【0011】
上記請求項3の色特徴の抽出方法によれば、上記RGB値をHLS変換によってHLS値に変換し、その変換されたHLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を補正する。そうすることによって、HLS色空間において、人間の視覚が色差を判定しにくい緑色の色相方向の領域を縮小し、色差に敏感な赤色から黄色にかけての色相方向の領域を拡大して、人間の視覚に近い色空間にする。このため、上記色相値が補正されたHLS色空間でデジタル画像の色特徴を抽出するとき、複雑な演算をすることなく、色差を単純な差分値で演算することが可能になる。このように、精度の高い色空間の変換ではなく、RGB色空間からHLS色空間への標準の変換と色相値の補正によって、RGB色空間を人間の感覚に近い色空間に簡単に変換して、その変換された人間の感覚に近い色空間でデジタル画像の色の分類,色の領域判定により色特徴を抽出できる。したがって、上記デジタル画像の色特徴抽出において、色の分類や色による領域抽出の判定方法を単純化しても、ユーザーが納得する結果を得ることができる。また、RGB色空間の各画素が色相,明度および彩度の色空間上にあるので、ユーザーにもわかりやすい色空間になる。
【0012】
また、請求項4の色特徴の抽出方法は、請求項3の色特徴の抽出方法において、上記HLS値で表される色空間において、明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を補正するステップを有し、上記デジタル画像の色特徴を抽出するステップは、上記補正された色相値と明度値に基づいて行うことを特徴としている。
【0013】
上記請求項4の色特徴の抽出方法によれば、上記HLS値の明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を補正する。つまり、HLS空間において、人間の視覚が明るい色の差に敏感な明度方向の高い方の領域を拡大するのに対して、人間の視覚が暗い色の差に鈍感な明度方向の低い方の領域を縮小するのである。したがって、上記色相値の補正とこの明度値の補正とによって、より一層人間の感覚に近いHLS色空間にできる。
【0014】
また、請求項5のプログラム記憶媒体は、デジタル画像の各画素のRGB値をHLS変換によりHLS値に変換するステップと、上記HLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を補正するステップと、上記補正された色相値に基づいて、上記デジタル画像の色特徴を抽出するステップとを有する情報処理プログラムを記憶したことを特徴としている。
【0015】
上記請求項5のプログラム記憶媒体によれば、上記RGB値をHLS変換によってHLS値に変換し、その変換されたHLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を補正する。そうすることによって、HLS色空間において、人間の視覚が色差を判定しにくい緑色の色相方向の領域を縮小し、色差に敏感な赤色から黄色にかけての色相方向の領域を拡大して、人間の視覚に近い色空間にする。このため、上記色相値が補正されたHLS色空間でデジタル画像の色特徴を抽出するとき、複雑な演算をすることなく、色差を単純な差分値で演算することが可能になる。このように、精度の高い色空間の変換ではなく、RGB色空間からHLS色空間への標準の変換と色相値の補正によって、RGB色空間を人間の感覚に近い色空間に簡単に変換して、その変換された人間の感覚に近い色空間でデジタル画像の色の分類,色の領域判定により色特徴を抽出できる。したがって、上記デジタル画像の色特徴抽出において、色の分類や色による領域抽出の判定方法を単純化しても、ユーザーが納得する結果を得ることができる。また、RGB色空間の各画素が色相,明度および彩度の色空間上にあるので、ユーザーにもわかりやすい色空間になる。
【0016】
また、請求項6のプログラム記憶媒体は、請求項5のプログラム記憶媒体において、上記HLS値で表される色空間において、明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を補正するステップを有し、上記デジタル画像の色特徴を抽出するステップは、上記補正された色相値と明度値に基づいて行う情報処理プログラムを記憶したことを特徴としている。
【0017】
上記請求項6のプログラム記憶媒体によれば、上記HLS値の明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を補正する。つまり、HLS空間において、人間の視覚が明るい色の差に敏感な明度方向の高い方の領域を拡大するのに対して、人間の視覚が暗い色の差に鈍感な明度方向の低い方の領域を縮小するのである。したがって、上記色相値の補正とこの明度値の補正とによって、より一層人間の感覚に近いHLS色空間にできる。
【0018】
【発明の実施の形態】
以下、この発明の色特徴抽出装置を図示の実施の形態により詳細に説明する。
【0019】
図1はこの発明の実施の一形態の色特徴抽出装置の機能ブロック図であり、1は画像データや各種指示等が入力される入力部、2はRGB値をHLS値に変換する色空間変換部、3は上記色空間変換部2からのHLS値で表される色空間を所定の色空間に補正する色空間補正部、4は上記色空間補正部3により補正されたHLS値で表される画像データの色特徴を抽出する色特徴抽出部である。上記色空間補正部3は、色相方向について緑領域が少なくなるように色相を補正する色相補正手段3aと、明度を用いて彩度を補正する彩度補正手段3bと、明度値の高い方の領域より広くして細分化するようにする一方、明度値の低い方の領域を狭くしてまとめるように明度値を補正する明度補正手段3cとを有している。
【0020】
図2は図1の機能を実現するためのハードウェア構成を示す図である。
【0021】
上記色特徴抽出装置は、図2に示すように、装置全体の動作を制御する制御装置11と、画像,文字等を表示すると共に、操作のための各種表示等を行うCRT(カソード・レイ・チューブ)12と、各種入力操作,指示操作等を行うためのキーボード13およびマウス14と、上記制御装置11に内蔵され、データ保管媒体であるフロッピーディスク15aの記録再生を行うフロッピーディスクドライブ15bと、ハードディスク装置16と、画像データあるいは画像編成により作成した図面等を出力するためのプリンタ17と、画像データを取り込むためのスキャナ18と、CD(コンパクト・ディスク)19aの再生を行うCD−ROMドライブ19bと、音声出力のためのスピーカ20と、音声入力のためのマイクロフォン21とによって構成されている。上記CRT12,キーボード13,マウス14,ハードディスク装置16,プリンタ17,スキャナ18,CD−ROMドライブ19b,スピーカ20およびマイクロフォン21を制御装置11に接続している。
【0022】
図2は図1の制御装置11に搭載されたCPU(中央処理装置)25を中心としたブロック図である。
【0023】
上記CPU25には、たとえばインテル社製の品番i80486DX等を用いている。そして、上記CPU25は、装置全体を制御するプログラムが格納されるROM(リード・オンリー・メモリー)28と、各種データおよびプログラムが格納されるRAM(ランダム・アクセス・メモリー)29と、画像あるいは文字等をCRT12に表示させる表示制御回路30と、上記キーボード13からの入力を転送制御するキーボード制御回路31と、上記マウス14からの入力を転送制御するマウス制御回路32と、上記フロッピーディスクドライブ15bを制御するフロッピーディスクドライブ制御回路33と、上記ハードディスク装置16を制御するハードディスク制御回路34と、上記プリンタ17への出力を制御するプリンタ制御回路35と、上記スキャナ18を制御するスキャナ制御回路36と、上記CD−ROMドライブ19bを制御するCD−ROMドライブ制御回路37と、上記スピーカ20を制御するスピーカ制御回路38と、上記マイクロフォン21を制御するマイクロフォン制御回路39とをデータバス26を介して接続している。
【0024】
また、上記CPU25に、装置全体を動作させるために必要な基準クロックを発生するクロック27を接続し、さらにデータバス26を介して各種拡張ボードを接続するための拡張スロット40を接続している。なお、上記拡張スロット40にSCSIIボードを接続して、フロッピーディスクドライブ15b,ハードディスク装置16,スキャナ18およびCD−ROMドライブ19b等を接続してもよい。
【0025】
上記色特徴抽出装置では、上記キーボード13,マウス14,スキャナ18およびCD−ROMドライブ19bで入力部1を構成すると共に、CPU25で色空間変換部2,色空間補正部3および色特徴抽出部4を構成している。
【0026】
上記構成の色特徴抽出装置は、図4,図5および図6のフローチャートに従って動作する。図4は上記色特徴抽出装置のプログラムのメインルーチンを示すフローチャートであり、図5は図4に示す色特徴抽出処理サブルーチンのフローチャートであり、図6は図5に示す画像の色空間変換の処理サブルーチンのフローチャートである。
【0027】
図4において、まず、プログラムが起動されると、ステップS1において、後述する処理で必要なフラグの初期化や初期画面表示等が行われる。
【0028】
次に、ステップS2に進み、CRT12に表示された初期画面からジョブメニューの「色特徴抽出」が選択されたか否かを判定して、「色特徴抽出」が選択されたと判定すると、ステップS3に進み、色特徴抽出処理を行って、ステップS7に進む。一方、ステップS2で「色特徴抽出」が選択されていないと判定すると、ステップS4に進む。
【0029】
次に、ステップS4で「その他のメニュー」が選択されたか否かを判定して、「その他のメニュー」が選択されたと判定すると、ステップS5に進み、その他のメニュー処理を行って、ステップS7に進む。一方、「その他のメニュー」が選択されていないと判定すると、ステップS6に進む。
【0030】
そして、ステップS6で「終了」が選択されたか否かを判定して、「終了」が選択されたと判定すると、この処理を終了する。一方、ステップS6で「終了」が選択されていないと判定すると、ステップS7に進み、ステップS7でその他の処理を行った後、ステップS2に戻る。
【0031】
以下、上記ステップS3の色特徴抽出処理について説明する。なお、その他のステップについては、この発明に直接関係しないので、詳細な説明は省略する。
【0032】
図4のメインルーチンにおいて色特徴抽出処理のメニューが選択されると、図5に示す色特徴抽出処理のサブルーチンが実行される。
【0033】
図5において、ステップS11で画像の正規化を行って、色特徴抽出処理の時間を短縮するためにデジタル画像を適切なサイズにする。
【0034】
次に、ステップS12に進み、画像の色空間変換処理を行う。
【0035】
次に、ステップS13に進み、変換した各画素の色値を利用してそのデジタル画像の色特徴を計算する。
【0036】
次に、ステップS14に進み、画像に特徴データを付与する。すなわち、抽出した色特徴を他の処理に利用できるようにデジタル画像の属性に付与する。
【0037】
そして、この色特徴抽出処理を終了して、図4のメインルーチンに戻る。
【0038】
図6は図5のステップS12のデジタル画像の色空間変換処理のサブルーチンのフローチャートを示し、この色空間変換処理によってデジタル画像の各画素の色をRGB値からHLS値に変換する。
【0039】
図6において、ステップS121で画素の数だけ変換したか否かを判定して、画素の数だけ変換したと判定すると、ステップS122に進む。
【0040】
次に、ステップS122に進み、画素の位置とRGB値を取り出す。
【0041】
次に、ステップS123に進み、RGB値をHLS値に変換する。
【0042】
次に、ステップS124に進み、変換されたHLS値を補正する。
【0043】
そして、ステップS125に進み、画素の位置とHLS値を保存する。すなちわ、デジタル画像の画素の位置と変換処理したHLS値を色特徴計算(図5のステップS13)に利用するために保存する。
【0044】
一方、ステップS121で画素の数だけ変換したと判定すると、この色空間変換処理を終了して、図5の色特徴抽出処理に戻る。
【0045】
図6のステップ123におけるRGB値からHLS値への変換処理について以下に説明する。
【0046】
まず、デジタル画像上のRGB値を標準のHLS変換でHLS値に変換する。図7は上記標準のHLS変換をした場合の色相環を示している。
【0047】
次に、上記変換されたHLS値(h,l,s)をさらに人間の感覚に近づけたHLS値に補正する。
【0048】
(1) 色相について
同色相内での一番鮮やかな色のRGB値(r,g,b)で以下の変換を行う。つまり、上記変換されたHLS値のうち明度値を0.5、彩度値を1.0として、色が鮮やかになるRGB値(r,g,b)に逆変換した後、
R’=0.5r, G’=0.66g, B’=0.5b
R=R’/(R’+G’+B’)
G=G’/(R’+G’+B’)
B=B’/(R’+G’+B’)
とする。そして、このRGB値(R,G,B)を標準のHLS変換して、変換されたHLS値のうちの色相値のみを用いる。この色相の補正によって、図7に示す通常のHLS変換をした場合の色相環よりも、図8に示すように、変化の大きい赤色から黄色にかけての色相を細分化し、また変化の小さい黄色から水色(シアン)にかけての色相をまとめている。
【0049】
(2) 彩度について
次に、彩度値(s)を、黒,白の値が必ず1つの値に決まるように明度(l)を利用して変換し、彩度値(S)とする。
【0050】
S=s・d
ただしd=−2.0・l+2.0 (l≧0.5)
d=2.0・l (l<0.5)
(3) 明度について
次に、上記(2)で求めた彩度値(S)とモニタのガンマ特性(γ)の考え方を利用して、明るさが滑らかに変化するように変換して、明度値(L)とする。
すなわち、
γ=1.2
lmn=0.5・S
lmx=−0.5・S+1.0
l’=(l−lmn)/(lmx−lmn)
l’’=l’γ
として、明度値(L)を
L=l’’(lmx−lmn)+lmn
により求める。
【0051】
図9は上記明度と彩度をとりうる色のイメージを示しており、明るい方の領域を広くして細分化し、暗い方の領域を狭くしてまとめている。また、図10は明度方向と彩度方向においてRGB値が存在する範囲を示している。図10に示すように、明度値Lが0.0から0.5までの範囲では、明度値Lに正比例して彩度値Sが0.0から徐々に増大して1.0になり、明度値Lが0.5から1.0までの範囲では、明度値Lに正比例して彩度値Sが1.0から徐々に減少して0.0になる。
【0052】
また、図5のステップS13の特徴量計算について以下に説明する。なお、デジタル画像の色から求められる色特徴としては、画像内を多く占める色か、または画像内にある物体の色等が挙げられる。ここでは、この2つの特徴量の抽出について説明する。
【0053】
(a) 画像内を多く占める色の求め方
(i) まず、HLS色空間上を分割する。
【0054】
(ii) 次に、各画素のHLS値を分類し、それぞれの色の代表色と画像内の占有率を計算する。
【0055】
(iii) 次に、占有率の大きい複数の代表色を、この画像の色特徴として採用する。
【0056】
こうして、RGB値が人間の感覚にあった色空間に変換されたHLS値で代表色の値が示されているので、ユーザーにも直感的にわかりやすい値となる。
【0057】
(b) 画像内にある物体の色の求め方
(i) まず、HLS色空間上を分割する。
【0058】
(ii) 次に、同じグループになったHLS値には同じ番号を付ける。
【0059】
(iii) 次に、各画素位置に対応するマトリックスを作成し、各画素のHLS値から得た先の番号を保存する(図11に示す)。
【0060】
(iv) 次に、隣合う領域が同じ番号のときには、1つの領域に含まれるとして改めて領域毎の番号を付け直す。
【0061】
(v) 次に、各領域の平均色を求め、領域間の最大色差からしきい値を計算する。
【0062】
(vi) 次に、領域間の色差がしきい値以下のときには同じ領域として領域をまとめる。
【0063】
(vii) 次に、画像の端に多くかかる領域は背景とみなし、物体領域候補からはずす。
【0064】
(viii) 次に、画像に占める割合が小さい領域の画像も物体領域候補からはずす。
【0065】
(ix) そして、残った領域について物体領域とみなし、それぞれの物体領域の位置や形、平均色をこの画像の色特徴として採用する(図12に示す)。
【0066】
このように、RGB値を人間の感覚にあった色空間に変換しているので、各色間の色差が色相値,明度値および彩度値の単純な差分で求めることができ、領域の色の近さによる統合が容易にできる。
【0067】
したがって、上記色特徴抽出装置では、色空間変換部2,色空間補正部3により予めRGB値を単純な変換式で人間の感覚に近い色空間に変換し、その変換された人間の感覚に近い色空間で画像内の色の分類や色の領域判定により色特徴抽出部4により色特徴を抽出でき、人間の感覚に近い抽出結果を得ることができる。また、RGB色空間の各画素が変換された色相,明度および彩度の色空間上にあるので、ユーザーにもわかりやすい色空間になっている。
【0068】
また、上記色空間補正部3の明度補正部3cにより明度値を補正することによって、人間の視覚が明るい色の差に敏感な明度方向の高い方の領域を拡大するのに対して、人間の視覚が暗い色の差に鈍感な明度方向の低い方の領域をまとめる。したがって、上記明度値の補正によって、より人間の感覚に近いHLS色空間にできる。
【0069】
上記実施の形態では、デジタル画像の色から求められる色特徴を計算するとき、標準変換されたHLS値の色相値,明度値および彩度値が夫々補正された色空間上を分割して用いたが、色相値のみが補正された色空間上または色相値と明度値が補正された色空間上を分割して用いてもよい。また、標準変換されたHLS値のうちの補正された色相値のみに基づいて、または、上記HLS値のうちの補正された色相値と明度値のみに基づいて、デジタル画像の色特徴を抽出してもよい。
【0070】
また、上記実施の形態では、画像データ保管媒体としてフロッピーディスク15aおよびハードディスク装置16で構成しているが、光磁気ディスク装置等の他の情報記憶装置であってもよい。また、上記入力部1としては、スキャナ18,CD−ROMドライブ19bを用いているが、スチルビデオカメラやデジタルカメラ等の他の入力装置を用いてもよい。また、出力装置としてプリンタ17を用いているが、デジタル複写機等の他の出力装置を用いてもよい。
【0071】
また、上記実施の形態では、制御装置11全体を制御するプログラムがROM28に記憶されている色特徴抽出装置について説明しているが、この発明によるプログラムの一部または全部をフロッピーディスク等のプログラム記憶媒体に保管して、必要に応じて上記プログラムをパーソナルコンピュータ等の装置に読み込んで、実行させてもよい。
【0072】
【発明の効果】
以上より明らかなように、請求項1の発明の色特徴抽出装置は、デジタル画像の各画素のRGB値をHLS変換によりHLS値に色空間変換部により変換し、上記色空間変換部により変換されたHLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を色相補正部により補正して、上記色相補正部により補正された色相値に基づいて、上記デジタル画像の色特徴を抽出するものである。
【0073】
したがって、請求項1の発明の色特徴抽出装置によれば、RGB空間からHLS変換されたHLS空間において、人間の視覚が色差を判定しにくい緑色の色相方向の領域を縮小し、色差に敏感な赤色から黄色にかけての色相方向の領域を拡大して、人間の視覚に近い色空間にするため、上記色相値が補正されたHLS色空間でデジタル画像の色特徴を色特徴抽出部により抽出するとき、複雑な演算をすることなく、色差を単純な差分値で演算でき、デジタル画像の色の分類,色の領域判定を行うことができる。したがって、上記デジタル画像の色特徴抽出において、色の分類や色による領域抽出の判定方法を単純化しても、ユーザーが納得する結果を得ることができ、RGB色空間の各画素が色相,明度および彩度の色空間上にあるので、ユーザーにもわかりやすい色空間になる。
【0074】
また、請求項2の発明の色特徴抽出装置は、請求項1の色特徴抽出装置において、上記HLS値で表される色空間において、明度方向の高い方の領域を広げて細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、明度補正部により上記HLS値のうちの明度値を補正して、上記色相補正部により補正された色相値と明度補正部により補正された明度値に基づいて、上記色特徴抽出部により上記デジタル画像の色特徴を抽出するので、人間の視覚が明るい色の差に敏感な明度方向の高い方の領域を拡大するのに対して、人間の視覚が暗い色の差に鈍感な明度方向の低い方の領域を縮小する明度値の補正と上記色相値の補正とが相俟って、より人間の感覚に近いHLS色空間にすることができる。
【0075】
また、請求項3の発明の色特徴の抽出方法は、デジタル画像の各画素のRGB値をHLS変換によりHLS値に変換し、上記HLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を補正して、上記補正された色相値に基づいて、上記デジタル画像の色特徴を抽出するものである。
【0076】
したがって、請求項3の発明の色特徴の抽出方法によれば、上記RGB色空間が変換されたHLS色空間において、人間の視覚が色差を判定しにくい緑色の色相方向の領域を縮小し、色差に敏感な赤色から黄色にかけての色相方向の領域を拡大して、人間の視覚に近い色空間にするため、上記色相値が補正されたHLS色空間でデジタル画像の色特徴を抽出するとき、複雑な演算をすることなく、色差を単純な差分値で演算でき、デジタル画像の色の分類,色の領域判定を行うことができる。したがって、上記デジタル画像の色特徴抽出において、色の分類や色による領域抽出の判定方法を単純化しても、ユーザーが納得する結果を得ることができ、RGB色空間の各画素が色相,明度および彩度の色空間上にあるので、ユーザーにもわかりやすい色空間になる。
【0077】
また、請求項4の発明の色特徴の抽出方法は、請求項3の色特徴の抽出方法において、上記HLS値で表される色空間において、明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を補正して、上記補正された色相値と明度値に基づいて、上記デジタル画像の色特徴を抽出するので、人間の視覚が明るい色の差に敏感な明度方向の高い方の領域を拡大するのに対して、人間の視覚が暗い色の差に鈍感な明度方向の低い方の領域を縮小する明度値の補正と上記色相値の補正とが相俟って、より人間の感覚に近いHLS色空間にすることができる。
【0078】
また、請求項5の発明のプログラム記憶媒体は、デジタル画像の各画素のRGB値をHLS変換によりHLS値に変換するステップと、上記HLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を補正するステップと、上記補正された色相値に基づいて、上記デジタル画像の色特徴を抽出するステップとを有する情報処理プログラムを記憶したものである。
【0079】
したがって、請求項5の発明のプログラム記憶媒体によれば、上記RGB色空間が変換されたHLS色空間において、人間の視覚が色差を判定しにくい緑色の色相方向の領域を縮小し、色差に敏感な赤色から黄色にかけての色相方向の領域を拡大して、人間の視覚に近い色空間にするため、上記色相値が補正されたHLS色空間でデジタル画像の色特徴を抽出するとき、複雑な演算をすることなく、色差を単純な差分値で演算でき、デジタル画像の色の分類,色の領域判定を行うことができる。したがって、上記デジタル画像の色特徴抽出において、色の分類や色による領域抽出の判定方法を単純化しても、ユーザーが納得する結果を得ることができ、RGB色空間の各画素が色相,明度および彩度の色空間上にあるので、ユーザーにもわかりやすい色空間になる。
【0080】
また、請求項6の発明のプログラム記憶媒体は、請求項4のプログラム記憶媒体において、上記HLS値で表される色空間において、明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を補正して、上記補正された色相値と明度値に基づいて、上記デジタル画像の色特徴を抽出するので、人間の視覚が明るい色の差に敏感な明度方向の高い方の領域を拡大するのに対して、人間の視覚が暗い色の差に鈍感な明度方向の低い方の領域を縮小する明度値の補正と上記色相値の補正とが相俟って、より人間の感覚に近いHLS色空間にすることができる。
【図面の簡単な説明】
【図1】図1はこの発明の実施の一形態の色特徴抽出装置の機能ブロック図である。
【図2】図2は図1の機能を実現するハードウェア構成を示す図である。
【図3】図3は図2に示す制御装置に搭載されたCPUを中心としたブロック図である。
【図4】図4は図3のCPUの基本処理動作を説明するフローチャートである。
【図5】図5は図4の色特徴抽出処理サブルーチンのフローチャートである。
【図6】図6は図5の画像の色空間変換処理サブルーチンのフローチャートである。
【図7】図7は通常の変換をした場合の色相環を示す図である。
【図8】図8は人間の感覚に合わせた変換をした場合の色相環を示す図である。
【図9】図9は変換後の色空間で明度方向と彩度方向においてRGB値が存在する範囲を示す図である。
【図10】変換後の色空間で明度値と彩度値の関係を示す図である。
【図11】図11は各画素の色毎に番号をつけた例を示す図である。
【図12】図12は図11において領域判定をして物体領域を選び出した結果を示す図である。
【符号の説明】
1…入力部、2…色空間変換部、
3…色空間補正部、3a…色相補正部、
3b…彩度補正部、3c…明度補正部、
4…色特徴抽出部。

Claims (6)

  1. デジタル画像の各画素のRGB値をHLS変換によりHLS値に変換する色空間変換部と、
    上記色空間変換部により変換されたHLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を補正する色相補正部と、
    上記色相補正部により補正された色相値に基づいて、上記デジタル画像の色特徴を抽出する色特徴抽出部とを備えたことを特徴とする色特徴抽出装置。
  2. 請求項1に記載の色特徴抽出装置において、
    上記HLS値で表される色空間において、明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を補正する明度補正部を備え、
    上記色特徴抽出部は、上記色相補正部により補正された色相値と上記明度補正部により補正された明度値に基づいて、上記デジタル画像の色特徴を抽出することを特徴とする色特徴抽出装置。
  3. デジタル画像の各画素のRGB値をHLS変換によりHLS値に変換するステップと、
    上記HLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を補正するステップと、
    上記補正された色相値に基づいて、上記デジタル画像の色特徴を抽出するステップとを備えたことを特徴とする色特徴の抽出方法。
  4. 請求項3に記載の色特徴の抽出方法において、
    上記HLS値で表される色空間において、明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を補正するステップを有し、
    上記デジタル画像の色特徴を抽出するステップは、上記補正された色相値と明度値に基づいて行うことを特徴とする色特徴の抽出方法。
  5. デジタル画像の各画素のRGB値をHLS変換によりHLS値に変換するステップと、
    上記HLS値で表される色空間において、緑色と黄色との間の色相方向の領域と緑色と水色との間の色相方向の領域が狭くなるようにする一方、赤色と黄色との間の色相方向の領域が拡がるように、上記HLS値のうちの色相値を補正するステップと、
    上記補正された色相値に基づいて、上記デジタル画像の色特徴を抽出するステップとを有する情報処理プログラムを記憶したことを特徴とするプログラム記憶媒体。
  6. 請求項5に記載のプログラム記憶媒体において、
    上記HLS値で表される色空間において、明度方向の高い方の領域を広くして細分化するようにする一方、明度方向の低い方の領域を狭くしてまとめるように、上記HLS値のうちの明度値を補正するステップを有し、
    上記デジタル画像の色特徴を抽出するステップは、上記補正された色相値と明度値に基づいて行う情報処理プログラムを記憶したことを特徴とするプログラム記憶媒体。
JP25531697A 1997-09-19 1997-09-19 色特徴抽出装置および色特徴の抽出方法およびプログラム記憶媒体 Expired - Fee Related JP3607059B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP25531697A JP3607059B2 (ja) 1997-09-19 1997-09-19 色特徴抽出装置および色特徴の抽出方法およびプログラム記憶媒体
US09/153,848 US6140997A (en) 1997-09-19 1998-09-16 Color feature extracting apparatus and method therefor capable of easily transforming a RGB color space into a color space close to human sense

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25531697A JP3607059B2 (ja) 1997-09-19 1997-09-19 色特徴抽出装置および色特徴の抽出方法およびプログラム記憶媒体

Publications (2)

Publication Number Publication Date
JPH1196369A JPH1196369A (ja) 1999-04-09
JP3607059B2 true JP3607059B2 (ja) 2005-01-05

Family

ID=17277097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25531697A Expired - Fee Related JP3607059B2 (ja) 1997-09-19 1997-09-19 色特徴抽出装置および色特徴の抽出方法およびプログラム記憶媒体

Country Status (2)

Country Link
US (1) US6140997A (ja)
JP (1) JP3607059B2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090111101A1 (en) * 1998-05-09 2009-04-30 Ikonisys, Inc. Automated Cancer Diagnostic Methods Using FISH
EP1078257A4 (en) * 1998-05-09 2007-07-18 Iconisys Inc METHOD AND APPARATUS FOR COMPUTER-ASSISTED DIAGNOSIS OF RARE CELLS, INCLUDING FETAL CELLS
US7901887B2 (en) * 1998-05-09 2011-03-08 Ikonisys, Inc. Automated cancer diagnostic methods using fish
US20080241848A1 (en) * 1998-05-09 2008-10-02 Ikonisys, Inc. Methods for prenatal diagnosis of aneuploidy
US6233007B1 (en) * 1998-06-22 2001-05-15 Lucent Technologies Inc. Method and apparatus for tracking position of a ball in real time
TW454424B (en) * 1999-11-24 2001-09-11 Umax Data Systems Inc Digital image reader with Rule-base color adjusting function
CN1489744A (zh) * 2000-12-29 2004-04-14 NIK��ý�幫˾ 数字偏振滤波器
CA2469850A1 (en) * 2001-06-04 2002-12-12 Ikonisys Inc. Automated image analysis for detecting microalgae and other organisms in the environment
US7190487B2 (en) * 2001-09-25 2007-03-13 Sharp Laboratories Of America, Inc. Color conversion with hue straightening using multiple look-up tables and interpolation
KR100463831B1 (ko) * 2001-11-23 2004-12-29 한국전자통신연구원 인간 시각 특성을 이용한 최적화 화질 추출장치 및 방법
KR100438159B1 (ko) * 2002-03-13 2004-07-01 삼성전자주식회사 색대역의 효율적인 저장과 이를 이용한 색신호 처리장치및 방법
JP3898075B2 (ja) * 2002-03-18 2007-03-28 株式会社リコー 画像処理装置、画像処理方法及び記録媒体
FR2844898B1 (fr) * 2002-09-20 2005-03-11 Thales Sa Procede de traitement d'image couleur pour supprimer les ombres et les reflets.
KR100507780B1 (ko) * 2002-12-20 2005-08-17 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
JP4513394B2 (ja) * 2004-04-23 2010-07-28 オムロン株式会社 カラー画像の処理方法および画像処理装置
CN100369065C (zh) * 2005-11-24 2008-02-13 北京金山软件有限公司 一种动态变换图像颜色的方法
JP2007206920A (ja) * 2006-02-01 2007-08-16 Sony Corp 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
TW200803533A (en) * 2006-06-23 2008-01-01 Realtek Semiconductor Corp Color adjusting device and the method thereof
JP4895878B2 (ja) * 2007-03-19 2012-03-14 富士フイルム株式会社 代表色抽出方法、および代表色抽出装置
WO2008152870A1 (ja) * 2007-06-14 2008-12-18 Sharp Kabushiki Kaisha 色判別装置
JP4609674B2 (ja) * 2007-08-09 2011-01-12 セイコーエプソン株式会社 画像処理システム、表示装置、プログラムおよび情報記憶媒体
JP4670995B2 (ja) * 2010-04-05 2011-04-13 オムロン株式会社 カラー画像の処理方法および画像処理装置
JP4670993B2 (ja) * 2010-04-05 2011-04-13 オムロン株式会社 カラー画像の処理方法および画像処理装置
JP4670994B2 (ja) * 2010-04-05 2011-04-13 オムロン株式会社 カラー画像の処理方法および画像処理装置
JP2013106173A (ja) * 2011-11-14 2013-05-30 Casio Comput Co Ltd 画像処理装置
US9218673B2 (en) 2012-10-11 2015-12-22 Nike, Inc. Method and system for manipulating camera light spectrum for sample article false color rendering
CN110570362B (zh) * 2019-08-02 2023-02-28 佛山科学技术学院 一种虹膜血管成像方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60157681A (ja) * 1984-01-27 1985-08-17 Hitachi Ltd 画像図形の凹凸検出方法
US5204948A (en) * 1989-09-08 1993-04-20 Advantest Corporation Method and apparatus for evaluating color image signals
JPH0528266A (ja) * 1991-07-18 1993-02-05 Nec Corp テクスチヤ解析方法及び装置
US5307182A (en) * 1991-12-30 1994-04-26 Xerox Corporation Methods and apparatus for multigeneration color image processing
JPH05274372A (ja) * 1992-03-25 1993-10-22 Mitsubishi Electric Corp 画像の特徴色自動付加装置
US5528261A (en) * 1992-06-09 1996-06-18 Apple Computer, Inc. Operating system software architecture and methods for supporting color processing
EP0608053B1 (en) * 1993-01-11 1999-12-01 Canon Kabushiki Kaisha Colour display system
DE69420874T2 (de) * 1993-02-12 2000-05-04 Eastman Kodak Co., Rochester Verfahren zur geräteübergreifenden Farbbildkalibrierung und -verbesserung
JP2721107B2 (ja) * 1993-02-23 1998-03-04 日本電信電話株式会社 映像特徴処理方法
JP3545007B2 (ja) * 1993-03-17 2004-07-21 新日鉄ソリューションズ株式会社 データベース検索システム
US5489921A (en) * 1993-04-08 1996-02-06 Linotype-Hell Ag Method for generating uniform color area definitions with addition and removal operators
JPH06295318A (ja) * 1993-04-09 1994-10-21 Omron Corp キーワード付与方法及びその装置
US5909220A (en) * 1993-05-10 1999-06-01 Sandow; Robin Interactive computerized image coloring systems and methods for processing combinations of color with automated subroutines and color standardization for diverse color systems
JPH07203231A (ja) * 1993-12-28 1995-08-04 Canon Inc カラー画像処理装置
JPH07271949A (ja) * 1994-03-29 1995-10-20 Matsushita Electric Ind Co Ltd 画像編集装置及び電子ファイリング装置
JPH0816789A (ja) * 1994-07-05 1996-01-19 Kajima Corp 景観の色彩判定方法
DE19506595C1 (de) * 1995-02-24 1996-02-01 Schneider Rundfunkwerke Ag Verfahren zur Farbtransformation und ein Farbvideosystem
DE69601592T2 (de) * 1995-05-03 1999-09-16 Agfa-Gevaert N.V., Mortsel Farbtonbereiche angewandte selektive Farbkorrektur
JPH08329096A (ja) * 1995-05-30 1996-12-13 Minolta Co Ltd 画像データ検索装置
US6011595A (en) * 1997-09-19 2000-01-04 Eastman Kodak Company Method for segmenting a digital image into a foreground region and a key color region

Also Published As

Publication number Publication date
JPH1196369A (ja) 1999-04-09
US6140997A (en) 2000-10-31

Similar Documents

Publication Publication Date Title
JP3607059B2 (ja) 色特徴抽出装置および色特徴の抽出方法およびプログラム記憶媒体
US7519219B2 (en) Method and program for correcting facial image and recording medium
US6587593B1 (en) Image processing device and image processing method
CN102932586B (zh) 成像设备和方法
US20070247474A1 (en) Method, apparatus and recording medium for image processing
US20030202194A1 (en) Image processing apparatus and information processing apparatus, and method therefor
JPH11275377A (ja) カラーデータ変換方法及びその装置
JP2005202469A (ja) 画像処理装置、画像処理方法、およびプログラム
JP3959909B2 (ja) ホワイトバランス調整方法及び調整装置
JP4336950B2 (ja) 画像処理装置
US6906826B1 (en) Medium on which image modifying program is recorded, image modifying apparatus and method
JP2001175843A (ja) 画像処理方法、装置および記憶媒体
JP4146506B1 (ja) モザイク画像生成装置、方法及びプログラム
JP2000013616A (ja) 画像処理方法、装置および記録媒体
JP4135365B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP3452212B2 (ja) 減色処理を行なうカラー画像処理装置
JPH07111600A (ja) 色変換画像作成装置
JP2001144973A (ja) フィルムスキャナおよびカラーマッチングプログラムを記録した記録媒体
JP4207256B2 (ja) カラー画像の領域分割方法およびプログラム記憶媒体
JP2001045303A (ja) 画像2値化方法
JP3817371B2 (ja) 画像処理方法、装置および記録媒体
JP2000067244A (ja) カラー画像の領域統合方法およびプログラム記憶媒体
JP2000105820A (ja) モノト―ン変換装置、モノト―ン変換方法およびモノト―ン変換プログラムを記録した媒体
JP4708866B2 (ja) ルックアップテーブル作成装置および方法,ならびにルックアップテーブル作成プログラム
JP2002314825A (ja) 色彩調整装置、及び色彩調整方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040420

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040616

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041006

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071015

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081015

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091015

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091015

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121015

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121015

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees