JP3938005B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP3938005B2 JP3938005B2 JP2002308347A JP2002308347A JP3938005B2 JP 3938005 B2 JP3938005 B2 JP 3938005B2 JP 2002308347 A JP2002308347 A JP 2002308347A JP 2002308347 A JP2002308347 A JP 2002308347A JP 3938005 B2 JP3938005 B2 JP 3938005B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- region
- closed
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/644—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は、原稿上の画像を読み取って得られた画像データから画像属性(文字、写真、図形等)に応じて複数の画像領域を抽出し、各画像領域に対して種々の画像処理を施した後に各画像領域を合成して画像データを出力する画像処理装置に関する。
【0002】
【従来の技術】
スキャナ等で原稿を読み取って得られた画像データは容量が大きく、そのままでの保存や送受信には適さないため、画像データの種類に応じて適切な圧縮等の画像処理が施される。ところが、画像データに、文字画像領域、図形画像領域および写真画像領域が混在する場合、写真画像領域に適した不可逆圧縮を行うと容量は小さくなるが文字が読みにくくなり、文字画像領域に適した圧縮を行うと圧縮率が低くなるという問題がある。そこで、画像データから文字画像領域、図形画像領域および写真画像領域をそれぞれ分離して抽出し、各領域に適した圧縮を施した後に合成して文書ファイル作成する画像処理装置が知られており、かかる画像処理装置によれば画像品質を保持したままファイルの容量を小さくすることができる。
【0003】
特に、図形画像領域においては、ビットマップデータ等の画像データをベクトルデータ(ベクタデータともいう)に変換する処理が広く用いられている。また、ビットマップデータ等の画像データをベクトルデータに変換する場合、たとえば画像データをその部分的な特徴に応じて、線領域、塗り潰し無し閉領域、塗り潰し有り閉領域に分離して処理する技術が存在する。
【0004】
しかしながら、上記の従来の画像処理技術によれば、線領域、塗り潰し無し閉領域、および塗り潰し有り閉領域を合成してファイルを作成する場合、線領域および塗り潰し無し閉領域の上に塗り潰し有り閉領域が重ね合わされてしまう場合がある。この結果、線領域および塗り潰し無し閉領域における画像データが、塗り潰し有り閉領域における画像データに隠されてしまい、元の画像を再現できないという問題があった。
【0005】
【発明が解決しようとする課題】
本発明は上記従来技術の有する問題点に鑑みなされたものであり、その目的とするところは、線領域および塗り潰し無し閉領域の上に、塗り潰し有り閉領域が重ねられることによる画像欠損を防止し、再現性の高い合成ファイルを取得し得る画像処理装置、画像処理方法、および画像処理プログラムを提供することである。
【0006】
【課題を解決するための手段】
本発明の上記目的は、下記の手段によって達成される。
【0007】
(1)本発明の画像処理装置は、画像データから複数の画像領域を抽出する画像領域抽出手段と、抽出された画像領域の位置情報を認識する位置情報認識手段と、抽出された画像領域が塗り潰し有り閉領域であるか塗り潰し無し閉領域であるかについての属性について少なくとも認識する属性認識手段と、前記位置情報認識手段によって認識された位置情報に基づいて複数の画像領域を合成してファイルを作成するファイル作成手段と、前記属性認識手段による認識結果に応じて、各画像領域の重ね合わせ順序を設定する順序設定手段と、を有し、前記ファイル作成手段は、前記順序設定手段によって設定された前記重ね合わせ順序にしたがって前記複数の画像領域を重ね合わせて前記ファイルを作成することを特徴とする。
【0008】
(2)上記の順序設定手段は、塗り潰し無し閉領域が塗り潰し有り閉領域より前面側に重なるように重ね合わせ順序を設定する。
【0009】
(3)上記の属性認識手段は、さらに、抽出された画像領域が閉領域を形成しない線領域であるか否かについての属性についても認識し、上記の順序設定手段は、前記属性認識手段による認識結果に応じて、線領域が塗り潰し有り閉領域よりも前面側に重なるように重ね合わせ順序を設定する。
【0010】
(4)本発明の画像処理方法は、画像データから複数の画像領域を抽出する段階と、抽出された画像領域の位置情報を認識する段階と、抽出された画像領域が塗り潰し有り閉領域であるか塗り潰し無し閉領域であるかについての属性について少なくとも認識する段階と、前記位置情報認識手段によって認識された位置情報に基づいて複数の画像領域を合成してファイルを作成する段階と、前記属性の認識結果に応じて、各画像領域の重ね合わせ順序を設定する段階と、を有し、前記ファイルを作成する段階は、設定された前記重ね合わせ順序にしたがって前記複数の画像領域を重ね合わせて前記ファイルを作成することを特徴とする。
【0011】
(5)本発明の画像処理プログラムは、画像データから複数の画像領域を抽出する手順と、抽出された画像領域の位置情報を認識する手順と、抽出された画像領域が塗り潰し有り閉領域であるか塗り潰し無し閉領域であるかについての属性について少なくとも認識する手順と、前記位置情報認識手段によって認識された位置情報に基づいて複数の画像領域を合成してファイルを作成する手順と、前記属性の認識結果に応じて、各画像領域の重ね合わせ順序を設定する手順と、を画像処理装置に実行させることを特徴とする画像処理プログラムであって、前記ファイルを作成する手順は、設定された前記重ね合わせ順序にしたがって前記複数の画像領域を重ね合わせて前記ファイルを作成することを特徴とする。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【0013】
図1は、本発明の実施の形態に係る画像処理装置を含む画像処理システムの全体構成を示すブロック図である。本画像処理システムは、画像処理装置1と、原稿画像を読み取って画像データを出力するスキャナ2と、画像データの出力先装置であるファイルサーバ3とを備え、これらはネットワーク4を介して相互に通信可能に接続されている。なお、ネットワーク4に接続される機器の種類および台数は図1に示す例に限定されない。
【0014】
図2は、本実施形態に係る画像処理装置1の構成を示すブロック図である。図2において、画像処理装置1は、制御部101、記憶部102、操作部103、入力インタフェース部104、出力インタフェース部105、領域分離部106、領域抽出部107、画像処理部108、ファイル作成部109、および、ファイル変換部110を備えており、これらは信号をやり取りするためのバス111を介して相互に接続されている。
【0015】
制御部101は、CPUであり、プログラムにしたがって上記各部の制御や各種の演算処理等を行う。
【0016】
記憶部102は、予め各種プログラムおよびパラメータを格納しておくROM、作業領域として一時的にプログラムおよびデータを記憶するRAM、各種プログラムおよびパラメータを格納し、または画像処理により得られた画像データ等を一時的に保存するために使用されるハードディスク等の記録メディアからなる。
【0017】
操作部103は、画像データの出力先や出力ファイル形式等を設定し、動作開始を指示するためのキーおよび操作パネルから構成される。ここで、画像データの出力先は、画像出力先装置のIPアドレス、ホスト名、メールアドレス等を入力して設定される。また、出力ファイル形式は、画像出力先装置に送信する出力ファイルのファイル形式を選択することにより設定される。
【0018】
入力インタフェース部104は、スキャナ2などの画像入力装置から画像データの入力を受けるためのインタフェースであり、出力インタフェース105はファイルサーバ3などの画像出力先装置に出力ファイルを送信するためのインタフェースである。
【0019】
領域分離部106は、入力された画像データから文字画像を含む領域(以下「文字画像領域」という)、図形画像を含む領域(以下「図形画像領域」という)、写真画像を含む領域(以下「写真画像領域」という)を判別して分離する。
【0020】
画像抽出部107は、入力された画像データから文字画像領域、図形画像領域、および写真画像領域を抽出するとともに、各画像領域の位置情報を認識する。言い換えれば、領域抽出部107は、文字画像領域、図形画像領域、および写真画像領域の抽出によって、文字画像構成画素からなる文字画像データ、図形画像構成画素からなる図形画像データ、および写真画像構成画素からなる写真画像データを得るものである。
【0021】
画像処理部108は、文字画像処理部108A、図形画像処理部108B、および写真画像処理部108Cからなり、それぞれ抽出された文字画像領域、図形画像領域、および写真画像領域に適切な画像処理を施す。
【0022】
ファイル作成部109は、それぞれ画像処理後の文字画像領域、図形画像領域および写真画像領域を位置情報に基づいて合成し、内部ファイル形式によりファイルを作成する。ファイル形式変換部110は内部ファイル形式により作成したファイルを設定された出力ファイルに変換する。なお、出力ファイル形式としては、各種文書作成ソフトの文書形式や、ポストスクリプト(登録商標)、PDF、JPEG、TIFF等の汎用フォーマットが例として挙げられる。
【0023】
スキャナ2は原稿を読み取って画像データを取得し、得られた画像データを画像処理装置1に送信する。ファイルサーバ3はコンピュータであり、ネットワーク4を介して受信したファイルを格納し、また転送要求に応じて格納したファイルをネットワーク4上の他の機器に転送する。
【0024】
ネットワーク4は、イーサネット(登録商標)、トークンリング、FDDI等の規格によりコンピュータ、周辺機器、およびネットワーク機器などを接続したLANや、LAN同士を専用線で接続したWAN等からなる。
【0025】
つぎに、本実施形態における画像処理システム全体の動作の概要を説明する。図3は、本実施形態における画像処理装置1の画像処理の手順を示すフローチャートである。図3に示されるアルゴリズムは制御プログラムとして記憶部102に記憶されており、制御部101によって実行される。
【0026】
図3において、画像処理装置1は、画像処理の開始命令があるまで待機する(S101のNO)。ユーザから操作部103を介して開始命令の入力を受け付けると(S101のYES)、スキャナ2に原稿読み取り命令を送信し(S102)、スキャナ2から画像データを受信するまで待機する(S103:NO)。スキャナ2は、画像処理装置1から原稿読み取り命令を受信すると、所定の位置にセットされた原稿を読み取って画像データを取得し、得られた画像データを画像処理装置1に送信する。なお、画像処理の開始命令はネットワーク4上の他の機器から入力されてもよく、またはスキャナ2において直接入力されてもよい。これら場合には、上記ステップS101およびS102は省略される。
【0027】
画像処理装置1は、入力インタフェース104を介してスキャナ2から画像データを受信すると(S103のYES)、受信した入力画像データを記憶部102に保存し、つづいて、入力画像データに対して画像処理(S104)を行う。画像処理(S104)については、図4等を用いて詳細に後述する。画像処理によって、画像データは所定の形式のファイルに変換され、画像処理装置1は、得られたファイルを出力インタフェース部105およびネットワーク4を介してファイルサーバ3に送信する(S105)。
【0028】
つぎに、上述した図1のステップS104における画像処理の内容について図4等を用いて詳細に説明する。
【0029】
図4は、図3のステップS104に示される画像処理の内容を示すフローチャートである。
【0030】
まず、入力画像データから文字画像領域、図形画像領域および写真画像領域をそれぞれ分離して抽出する(ステップS201)。この結果、文字画像データ、図形画像データ、および写真画像データを得る。
【0031】
文字画像領域については、領域分離部106により入力画像データから分離され、分離した文字画像領域を領域抽出部107により抽出する。この結果、得られた文字画像データを、その領域の位置情報とともに記憶部102に保存する。文字画像領域の分離方法としては、従来の方法と同様であるので詳しい説明は省略するが、たとえば、画像データから得られたエッジ画像データのエッジ画素の間隔が所定画素数以下であるエッジ画素群の外接矩形内領域を抽出し、文字領域は小エリア内に斜め方向エッジ成分を多く含んでいるという特徴に基づいて、前記外接矩形内領域に含まれる周波数成分のうち斜め方向エッジ成分を特徴量として算出して、斜め方向エッジ成分の含有率により判断する方法等を用いることができる。入力画像データにおいて抽出した文字画像構成画素を周辺画素で補完することにより、入力画像データから非文字画像データを作成して記憶部102に保存する。
【0032】
図形画像領域については、領域分離部106により上記の非文字画像データから分離し、分離した図形画像領域を領域抽出部107により抽出する。この結果、得られた文字画像データを、その領域の位置情報とともに記憶部102に保存する。図形画像領域の分離方法としては、たとえば、図形画像領域の明度分布はある程度均一であり、写真画像領域の明度分布は分散しているという特徴に基づいて、明度ヒストグラムを作成して明度分散度を特徴量として算出し、図形画像領域と写真画像領域の別を判別する方法等を用いることができる。なお、明度ヒストグラムに代えて、濃度ヒストグラムを用いてもよい。また、ランレングス情報や濃度ヒストグラムを作成して得られた黒画素率情報等に基づいて図形画像領域と写真画像領域の別を判別してもよい。
【0033】
写真画像領域については、抽出された写真画像構成画素を周辺画素で補完して残った画像データから領域抽出部107により抽出する。この結果、得られた写真画像データを、その領域の位置情報とともに記憶部102に保存する。なお、図形画像領域および写真画像領域についても、それぞれ、文字画像領域の場合と同様に、エッジ画素群の外接矩形内領域をデータブロックとして割り当てることができる。
【0034】
図5および図6に領域分離抽出の具体例を示す。図5は、入力画像データであり、図6は、この入力画像データから文字画像領域を抽出した残りの非文字画像データである。なお、図5および図6では、説明の簡単化のために、非文字画像データの全域が図形画像領域であり、写真画像領域が存在しない場合を示している。したがって、図6の全体が図形画像領域に相当する。
【0035】
次に、図4において、分離された文字画像領域、図形画像領域、および写真画像領域ごとに画像処理を行う(S202〜S212)。すなわち、文字画像データ、図形画像データ、および写真画像データごとに適切な画像処理を行う。
【0036】
画像処理対象の領域が文字画像領域である場合には(S202のYES)、文字画像処理部108aにより、文字画像データを二値化し、1ビットデータの可逆圧縮処理を施して、色情報、位置情報とともに記憶部102に保存する(S203)。また、文字画像領域に含まれる文字画像を認識して、文字データ(JISなどの文字コード)に変換してもよい。
【0037】
画像処理対象の領域が図形画像領域である場合には(S204のYES)、図形画像処理部108bにより、ベクトル変換処理(たとえば、ラスタベクタ変換)を行う(S205)。ベクトル変換処理とは、図形領域に含まれる線図形(線分や曲線)を認識して、線幅の情報を持ちその線の始点と終点の座標で表現されるベクトルデータに変換する処理である。続いて、ベクトルデータ化されたデータに対して閉領域抽出処理を実行する(S206)。閉領域抽出処理は、複数のベクトルデータ間の連結状態を追跡することによって閉領域を抽出する処理である。閉領域が存在する場合には、この閉領域抽出処理によって、閉領域が抽出される。さらに、ベクトルデータに付加される色情報や閉領域の内部点および外部点の色情報に基づいて、抽出された閉領域のうちから塗り潰し有り閉領域を検出する(S207)。すなわち、ステップS207においては、抽出された閉領域が塗り潰し有り閉領域であるか塗り潰し無し閉領域であるかについての属性が認識される。
【0038】
ここで、閉領域とは複数のベクトルデータが連結して閉じている領域である。さらに閉領域の内部と外部とが同様の色情報を有している場合の閉領域を塗り潰し無し閉領域とし、閉領域の内部と外部とが異なる色情報を有している場合の閉領域を塗り潰し有り閉領域とする。また、閉領域を構成しないベクトルデータが占める領域を線領域とする。
【0039】
以上のとおり、画像処理対象の領域が図形画像領域である場合(S204のYES)には、ベクトル変換処理、閉領域抽出処理、および塗り潰し有り閉領域の検出処理がなされるが、これらの処理の詳細は、後述する。
【0040】
画像処理対象の領域が写真画像領域である場合には(S204のNO)、写真画像処理部108cにより、スムージングやエッジ強調などの前処理および誤差拡散法などの二値化処理を含んだ、原画像を忠実に再現するための処理がなされる(S208)。写真画像領域に対する処理は、従来の技術と同様であるので、詳しい説明を省略する。
【0041】
すべての領域について、その画像属性(文字、図形、および写真等)に応じた処理が終了したか否かが判断され(S209)、まだ処理していない領域が存在すれば(S209:NO)、ステップS202に戻る。一方、すべての領域において画像属性に応じた処理が終了した場合には(S209:YES)、ステップS210以下の処理が実行される。
【0042】
S210以下の処理としては、まず、文字画像領域、塗り潰し有り閉領域(図形画像領域)、塗り潰し無し閉領域(図形画像領域)、線領域(図形画像領域)、および写真画像領域といった属性に応じて分離抽出された領域間で重複した部分が存在するか否かが検出される。たとえば、各領域が矩形である場合であれば、たとえば、各外接矩形において対角線上にある2つの頂点座標(たとえば、左上および右下頂点座標)を比較することによって、領域間で重複した部分が存在するか否かを検出することができる。たとえば、注目する画像領域の左上および右下頂点座標が(Xn,Yn)(X'n,Y'n)であり、比較する画像領域の左上および右下頂点座標(Xm,Ym)が(X'm,Y'm)であれば、Xn≦X'm、X'n≧Xm、Yn≧Y'm、かつY'n≦Ymの条件を満たす場合には、領域間で重複した部分が存在するものと判断する。また、図形画像領域における線領域、塗り潰し有り閉領域、塗り潰し無し閉領域などの場合には、領域が矩形でない場合であっても、ベクトルデータの値に基づいて重複する部分が存在するか否かが判断される。
【0043】
次に、各画像領域の重ね合わせ順位を設定する(S210)。詳しい処理は後述するが、簡単に説明すれば、塗り潰し無し閉領域が塗り潰し有り閉領域よりも前面側に配置されるように重ね合わせ順位が設定される。
【0044】
そして、ステップS210の重ね合わせ順位の設定処理の終了後、ファイル作成部109により、各画像領域のデータを、ステップS210で設定された重ね合わせ順位にしたがって、それぞれの位置情報に基づいて所定の位置に配置して合成し、内部ファイル形式によりファイルを作成する(S211)。
【0045】
さらに、ステップS211のファイル作成処理の終了後、ファイル形式変換部110により、設定された出力ファイル形式(たとえば、PDF)に内部形式のファイルを変換し(S212)、得られた出力ファイルを出力インタフェース部105およびネットワーク4を介してファイルサーバ3に送信する。
ファイルサーバ3は、ネットワーク4を介して画像処理装置1からファイルを受信すると、受信したファイルをハードディスク等の記憶装置の所定のディレクトリに格納する。そして、ネットワーク4上の他の機器から当該ファイルの転送要求があると、格納した前記ファイルをネットワーク4を介して前記他の機器に転送する。
【0046】
以上のとおり、本実施の形態の画像処理装置は、ベクトル変換、閉領域抽出、塗り潰し有り閉領域検出、および重ね合わせ順序の設定といった各処理を実行するものである。以下に各処理について詳述する。
【0047】
(ベクトル変換処理)
図7は、図4のステップS205におけるベクトル変換処理の内容を示すフローチャートである。なお、図7に示すフローチャートは、図4に示すフローチャートのサブルーチンとして、記憶部102に記憶されている。
【0048】
まず、図形画像処理部108bは、図形画像領域における図形画像データを二値化処理し(S301)、二値化処理して得られた画像データ(以下「二値画像」という)から、芯線とよばれる線幅1の中心線を抽出する(S302)。そして、この芯線を始点と終点の座標で表現されたベクトルデータに変換する(S303)。このとき、曲線部分は、ベジェ曲線またはスプライン曲線などの所定の形式で近似的に表現される。
【0049】
つぎに、得られたベクトルデータの線幅を検出する(S304)。線幅の検出は、芯線の抽出処理(S302)およびベクトルデータへの変換処理(S303)の処理過程中に得られるデータを統計処理することによって実行される。たとえば、線図形のエッジ画素と芯線との距離の平均値を求めて2倍した値を線幅としてもよい。線幅の情報は、対応する線図形のベクトルデータに付加される。
【0050】
そして、得られたすべてのベクトルデータの中から一つのベクトルデータを選択し、選択されたベクトルデータに付加された線幅と予め設定された閾値とを比較して、その線幅が閾値よりも大きいか否かを判断する(S305)。このステップS305の処理は、線図形をそのまま線として扱うべきか、または領域として扱うべきかを判別するための処理である。この線幅が閾値より大きい場合は(S305のYES)、選択されたベクトルデータに対応する線図形は、線ではなく領域として扱うべきであるので、この線図形に対して再度エッジ検出を施し(S306)、得られたエッジデータをベクトルデータに変換する(S307)。一方、線幅が閾値以下である場合には(S305のNO)、選択されたベクトルデータに対応する線図形をそのまま線として扱ってよいので、ただちに、ステップS308以下の処理に進む。
【0051】
そして、すべてのベクトルデータに対して上記のステップS305の比較処理が終わるのをまって(S308のYES)、ベクトル変換処理を完了し、図4のフローチャートへリターンし、次の閉領域抽出処理へ移行する。
【0052】
(閉領域抽出処理)
図8は、図4の閉領域抽出処理の内容を示すフローチャートである。なお、図8に示すフローチャートは、図4に示すフローチャートのサブルーチンとして、記憶部102に記憶されている。
【0053】
まず、注目ベクトルデータ(以下、「ベクトルデータ」を「ベクトル」と省略表記する)の始点座標を記憶部102に保存する(S401)。なお、ステップS401の場合のように始点座標の保存を伴う注目ベクトルを初期注目ベクトルと定義する。次に、注目ベクトルの終点と連結するベクトル(以下「連結ベクトル」という)が存在する場合には(S402のYES)、その連結ベクトル群の中から候補ベクトルを選択する(S403)。
【0054】
なお、候補ベクトル以外の連結ベクトルが存在する場合には(S404:YES)、候補ベクトル以外の連結ベクトル(一般的には、連結ベクトル群)を現在の注目ベクトルまでのルートを示すベクトル群とともに、記憶部102内に設定されたスタックへ保存しておく(S405)。これは、ベクトルの分岐によって閉領域の抽出ができなくなることを防止するためである。
【0055】
つぎに、上記の候補ベクトルが今まで使用されていないことを条件として(S406のYES)、この候補ベクトルの終点座標と上記ステップS401で保存された始点座標とが一致するか否かが判断される(S407)。
【0056】
候補ベクトルの終点座標と上記の始点座標とが一致しない場合には(S407のNO)、この候補ベクトルを新たな注目ベクトルとする(S408)。そして、ステップS402に戻り、この新たな注目ベクトルの終点に連結する連結ベクトル群の中から次の候補ベクトルが選択され(S403)、以下、同様の処理が繰り返される。
【0057】
一方、候補ベクトルの終点座標と上記の始点座標とが一致する場合には(S407のYES)、上記始点座標から出発して当該始点座標へ戻るベクトル群が存在しており、閉領域が検出されたことなる。この場合、この閉領域が既に抽出されてグループ化されている閉領域と同一でないことを条件に(S408のNO)、検出されたベクトル群を新しい閉領域としてグループ化する(S409)。
【0058】
そして、さらにスタックに何らかのデータが保存されているか否かが判断される(S410)。なお、注目ベクトルの終点に連結する他のベクトル、すなわち連結ベクトルが存在しないとき(S402のNO)、候補ベクトルが今までに使用されたことがあるとき(S406のNO)、および既にグループ化されている閉領域と同一の閉領域を検出した場合(S408のYES)には、スタックにデータが保存されているか否かが判断される(S410)。
【0059】
判断の結果、スタックにデータが保存されている場合には(S410のYES)、スタックからデータを読み出す(S411)。そして、読み出されたスタック内の連結ベクトル群のなかから候補ベクトルを選択し(S412)、ステップS404の処理に戻る。一方、スタックにデータが保存されていない場合には(S410のNO)、スタックに保存されているデータをすべて探索し終えたものと判断して、ステップS413の処理に進む。
【0060】
そして、図7の処理で得られたベクトル群に含まれるすべてのベクトルに対して閉領域の抽出が終了していなければ(S413のNO)、ベクトル群の中から次の一つのベクトルを新たな初期注目ベクトルとして選択し(S414)、ステップS401に戻り、同様の処理を繰り返す。すべてのベクトルに対して閉領域の抽出が終了していれば(S413のYES)、当該閉領域抽出処理を終了して、図4のフローチャートにリターンする。
【0061】
図9は、ベクトル群の一例を示す図であり、図10〜図14は、スタックに保存されているデータを示す図である。図9では、たとえば、まず、ベクトルABを初期注目ベクトルとして選択する。このとき、始点Aの座標は、記憶部102に保存する(S401)。
【0062】
図10の状態では、注目ベクトルABの終点Bに連結する連結ベクトル群の中から候補ベクトルBCが選択される。他の連結ベクトル群(ベクトルBE)は、スタックに保存される。
【0063】
図11の状態では、図10の状態からさらに処理が進み、注目ベクトルは、ベクトルBEに移っている。注目ベクトルBEの終点Eに連結する連結ベクトル群の中から候補ベクトルEFが選択される。他の連結ベクトル群(ベクトルEG、EH)は、注目ベクトルBEまでのルートを示すベクトル群(ベクトルAB、BE)とともに、スタックに保存される。
【0064】
図12の状態では、図11の状態からさらに処理が進み、注目ベクトルは、ベクトルGEに移っている。注目ベクトルGEの終点Eに連結する連結ベクトル群の中から候補ベクトルEBが選択される。他の連結ベクトル群(ベクトルEF、EH)は、注目ベクトルGEまでのルートを示すベクトル群(ベクトルAB、BE、EF、FG、GE)とともに、スタックに保存される。
【0065】
図13の状態では、図12の状態からさらに処理が進み、図12の時点での候補ベクトルEBがこれまでのルートで既に使用されているので(S406のNO)、スタックに記憶されているデータの中から次の候補ベクトルEFを選択し、残った連結ベクトル群(ベクトルEH)が、注目ベクトルGEまでのルートを示すベクトル群(ベクトルAB、BE、EF、FG、GE)とともにスタックに保存される。
【0066】
図14の状態では、図13の状態からさらに処理が進み、注目ベクトルは、ベクトルBEに戻っている。スタックに記憶されたデータの中から次の候補ベクトルEGを選択し、残った連結ベクトル群(ベクトルEH)が、注目ベクトルBEまでのルートを示すベクトル群(ベクトルAB、BE)とともにスタックに保存される。
【0067】
なお、図14の状態からさらに処理が進んだ状況を考えると、候補ベクトルEGは、これまでのルートで既に使用されているので(S406のNO)、注目ベクトルとはなり得ず、スタックからベクトルEHが候補ベクトルとして選択される。しかしながら、このベクトルEHも、これまでのルートで既に使用されているので(S406のNO)、注目ベクトルとなり得ない。この時点で、スタックは空となっているので、ベクトルABを初期注目ベクトルとしたときの処理が終了する。そして、図9に示されるベクトル群の中から次の一つのベクトルを初期注目ベクトルとして選択し、同様の処理を繰り返す。
【0068】
残りの各ベクトルに対して閉領域の抽出を順次に実行すると、初期注目ベクトルがベクトルEF、ベクトルFG、ベクトルEGの時に閉領域EFGが検出される。ただし、一番初めに検出された時のみ(S408のNO)、閉領域としてグループ化される(S409)。なお、閉領域としてグループ化されなかったベクトルデータは、線領域と判断され、線領域としての属性が付加される。
【0069】
以上の閉領域抽出処理が終了すると、図4のフローチャートへリターンし、次の塗り潰し有り閉領域か塗り潰し無しへ閉領域であるかの判別処理に移行する。
【0070】
(塗り潰し有閉領域の検出)
図15は、図4の塗り潰し有り閉領域の検出処理の内容を示すフローチャートである。なお、図15に示すフローチャートは、図4に示すフローチャートのサブルーチンとして、記憶部102に記憶されている。
【0071】
まず、ベクトルの色を検出するためのベクトル色検出処理を実行する(S501)。図16を用いて、ステップS501のベクトル色検出処理の内容を説明する。
【0072】
図16は、図15のステップS501のベクトル色検出処理の内容を示すフローチャートである。まず、図4のステップS205の処理、すなわち、図7に示されるベクトル変換処理によって得られたすべてのベクトルが記憶部102から読み出される。なお、ベクトルは、上述のとおり、始点と終点の座標値を含み、この段階では、線幅の情報も付加されている。
【0073】
これらのベクトルの中から一つの注目ベクトルを選択し(S601)、この注目ベクトルの始点座標と終点座標からベクトル上の中点の座標を計算する(S602)。そして、この始点、終点、および中点の3点の座標に対応する位置での色情報(RGB、CMYK、L*a*bなど)を入力画像データから取得し(S603)、得られた始点、終点、および中点の色情報の平均値を計算する(S604)。この平均値を当該ベクトルの色とする。
【0074】
そして、すべてのベクトルに対して色の検出が終了したか否かを判断し(S605)、すべてのベクトルに対する色の検出が終了していなければ(S605のNO)、ステップS601に戻り、次のベクトルを注目ベクトルとして選択し、同様の処理を繰り返す。一方、すべてのベクトルに対する色の検出が終了していれば(S605のYES)、ベクトル色検出処理を完了し、図15のステップ502に移行する。
【0075】
次に、図15のステップS502では、塗り潰し有り閉領域の検出処理が実行される。図17を用いて、ステップS502の塗り潰し有り閉領域の検出処理の内容を説明する。
【0076】
図17は、図15のステップS502における塗り潰し有り閉領域の検出処理の内容を示すフローチャートである。
【0077】
まず、図4のステップS206、すなわち図8に示される閉領域抽出処理によって、閉領域としてグループ化されたすべてのベクトル群が記憶部102から読み出される。
【0078】
一つのベクトル群によって構成される閉領域を注目閉領域として選択するとともに(S701)、この注目閉領域を構成するベクトル群の中から一つのベクトルを注目ベクトルとして選択する(S702)。そして、閉領域の内部および閉領域外部の所定座標値を計算する(S703)。具体的には、注目閉領域を構成するベクトル群の中から選択された注目ベクトルを中心軸として{(線幅/2)+α}ドット分だけ閉領域内部側に存在する点(以下「内部点」という)、および{(線幅/2)+α}ドット分だけ閉領域外部側に存在する点(以下、「外部点」という)の座標を計算する。そして、内部点および外部点の座標に対応する位置の色情報(RGB、CMYK、L*a*bなど)を入力画像データから取得する(S704)。
【0079】
そして、現在の注目ベクトルの長さ分の内部点および外部点、具体的には、その注目ベクトルの長さに応じて定められる数の内部点および外部点について、色情報の取得が終了したか否かを判断する(S705)。注目ベクトルの長さ分の内部点および外部点について、色情報の取得が終了するのを待って(S705のYES)、注目閉領域を構成するすべてのベクトルについて処理が終了したか否かを判断し(S706)、いまだ選択されていないベクトルが存在していれば(S706のNO)、ステップS702に戻り、次の注目ベクトルを選択する。一方、注目閉領域を構成するすべてのベクトルについて処理が終了した場合には(S706のYES)、注目閉領域を構成するすべてのベクトルに関して夫々取得されたベクトル長さ分の内部点および外部点の各色情報についてのヒストグラムを作成する(S707)。
【0080】
次に、内部点および外部点のそれぞれについて作成されたヒストグラムにおいて、出現頻度が最も高い色情報の値を求め(S708)、求められた色情報をそれぞれ閉領域内部側の色情報および閉領域外部側の色情報とする。そして、この閉領域内部側の色情報と閉領域外部側の色情報とを比較し、両者が同一であるか否かを判断する(S709)。内部側の色情報と外部側の色情報とが同色と判断された場合には(S709のYES)、この注目閉領域を塗り潰し無し閉領域であると判断し、この注目閉領域に対して塗り潰し無し閉領域である旨の属性情報を付加する(S710)。一方、内部側の色情報と外部側の色情報とが同色でないと判断された場合には(S719のNO)、この注目閉領域を塗り潰し有り閉領域であると判断し、この注目閉領域に対して塗り潰し有り閉領域である旨の属性情報を付加する(S711)。
【0081】
次に、すべての閉領域についての処理が終了したか否かを判断し(S712)、いまだ処理していない閉領域が存在する場合には(S712のNO)、ステップS701に戻り、次の閉領域を注目閉領域として選択し、ステップS701以下の処理を繰り返す。
【0082】
一方、すべての閉領域についての処理が終了した場合には(S712のYES)、図4のフローチャートへリターンする。
【0083】
なお、以上の処理を通じて、上記の図5に示される入力画像データを塗り潰し無し閉領域(図形領域)、塗り潰し有り閉領域(図形領域)、線領域(図形領域)、文字画像領域に分離した例をそれぞれ図18、図19、図20、および図21に示す。上述したとおり、図5に示される入力画像データには写真画像領域は含まれていない。図18は、塗り潰し無し閉領域(図形画像領域)501〜504を示し、図19は、塗り潰し有り閉領域(図形画像領域)601〜614を示し、図20は、線領域(図形画像領域)701〜704を示し、図21は、文字画像領域801〜804を示す。
【0084】
以上のとおり、塗り潰し無し閉領域の検出処理が終了すると、重ね合わせ順位の設定処理に移行する。
【0085】
(重ねあわせ順位の設定処理)
図22は、図4のステップS210における重ね合わせ順序の設定処理の内容を示すフローチャートである。なお、図22に示すフローチャートは、図4に示すフローチャートのサブルーチンとして、記憶部102に記憶されている。
【0086】
まず、属性を付された領域を読み出し(S801)、属性を判断する(S802、S804、S805、S806)。ステップS802では、読み出された領域が文字画像領域であるか否かを判断し、文字画像領域であれば(S802のYES)、重ね合わせ順序を「3」に設定する(S803)。ここで、重ね合わせ順位とは、上述したとおり、後述するファイル作成処理において各画像領域を元の位置に配置して合成する際の配置の順番を示すものである。したがって、複数の画像領域が重なり合う部分では、重ね合わせ順位の小さい画像領域ほど背面側に、重ね合わせ順位の大きい画像領域ほど前面側に重ね合わされて合成される。言い換えれば、重ね合わせ順位の小さい領域ほど合成出力時に先に出力される。具体的には、図4のステップS211では、重ね合わせ順位「1」の領域より後に重ね合わせ順位「2」の領域が出力され、さらに重ね合わせ順位「2」の領域より後に重ね合わせ順位「3」の領域が出力される。
【0087】
ステップS803で重ね合わせ順位が「3」に設定されるのは、図21に示される文字画像領域801〜804である。一方、文字画像領域でなければ(S802のNO)、次に図形画像領域か否かを判別し(S804)、図形画像領域でなければ(S804のNO)、写真画像領域として重ね合わせ順位を「1」に設定する(S808)。
【0088】
一方、図形画像領域であれば(S804のYES)、さらに、閉領域であるか否かが判断する(S805)。閉領域でなければ(S805のNO)、重ね合わせ順位を「2」に設定する(S809)。ここで、重ね合わせ順位が「2」に設定されるのは、図20に示される線領域701〜704である。一方、閉領域であれば(S805のYES)、さらに、その閉領域が塗り潰し有り閉領域であるか否かを判断し(S806)、塗り潰し有り閉領域であれば(S806のYES)、重ね合わせ順位が「1」に設定される。ここで、重ね合わせ順位が「1」に設定されるのは、図19に示される塗り潰し有り閉領域601〜614である。一方、その閉領域が塗り潰し無し閉領域であれば(S806のNO)、重ね合わせ順位が「2」に設定される(S810)。ここで、重ね合わせ順位が「2」に設定されるのは、図18に示される塗り潰し無し閉領域501〜504である。
【0089】
次に、すべての領域について、S801〜S810に示される処理が完了したか否かが判断される(S811)。重ね合わせ順位が設定されていない領域が存在する場合には(S811のNO)、ステップS801に戻り、次の領域を読み出して、同様の処理(S801〜S810)を繰り返す。
【0090】
一方、すべての領域について重ね合わせ順位の設定が完了した場合には(S811のYES)、重ね合わせ順位が「1」に設定された複数の領域に対して、さらに詳細な重ね合わせ順位の設定処理が実行される(S812)。
【0091】
この時点において、塗り潰し有り閉領域である場合(S806のYES)または写真画像領域である場合に(S804のNO)、重ね合わせ順位が「1」に設定されている。したがって、これら塗り潰し有り閉領域および写真画像領域が互いに重複している場合があり、重ね合わせ順序によっては、元の画像を忠実に再現できない状態が発生する。したがって、重ね合わせ順位が「1」に設定されている複数の領域相互間において、さらに細分化された順位付けを行うことが望ましい。
【0092】
たとえば、複数の領域が重複している場合、上述した外接矩形の頂点座標やベクトルデータの値(始点と終点の値)に基づいた数値積分などに基づいて、領域の大きさを比較し、あるいは重複している領域の個数を算出することによって、重ね合わせ順位が1に設定されている領域間において、さらに細かい順位付けを設定することができる。そして、設定された詳細な重ね合わせ順序は、たとえば、少数点を用いて表現することができる。具体的には、「1.01」、「1.02」、・・・「1.99」といった少数点表示の重ね合わせ順序を設定することができる。
【0093】
以上の処理が終了すると、重ね合わせ順序の設定処理が終了し、図4にリターンする。以下、上記図4のステップS211のファイル作成部109により、各画像領域を設定された重ね合わせ順位にしたがって、それぞれの位置情報に基づいて所定の位置に配置して合成し、内部ファイル形式によりファイルを作成する。この点は、上述したとおりである。
【0094】
具体的には、まず最初に重ね合わせ順位が「1」である領域、すなわち図19に示される塗り潰し有り閉領域601〜614等の画像が配置され、次に、重ね合わせ順位が「2」である領域、すなわち図18に示される塗り潰し無し閉領域501〜504、および図20に示される線領域701〜704が配置され、最後に重ね合わせ順位が「3」である領域、すなわち図21に示される文字画像領域801〜804の画像が配置される。したがって、塗り潰し有り閉領域601〜614が塗り潰し無し閉領域501〜504および線領域701〜704よりも前面側に配置されることになり、塗り潰し有り閉領域の画像によって、塗り潰し無し閉領域および線領域の画像が隠されてしまうことがない。さらに、本実施の形態においては、文字画像領域についても、塗り潰し有り閉領域によって隠されてしまうことがない。
【0095】
以上のとおり、本発明の実施の形態について説明したが、本発明は、以上の説明によって制限されるものではなく、技術思想の範囲内において当業者によって種々の省略、追加、および変更が可能であることは明らかである。
【0096】
上記実施の形態以外にも、本発明の画像処理方法をスキャナなどの画像読取装置、パーソナルコンピュータ、ワークステーション、およびサーバなどのコンピュータ、デジタル複写機、ファクシミリ装置、および多機能周辺機器(MFP)などの画像形成装置といった各種の機器に応用することができる。
【0097】
本発明による画像処理装置および画像処理方法は、上記各手順を実行するための専用のハードウエア回路によっても、また、上記各手順を記述した所定のプログラムをCPUが実行することによっても実現することができる。後者により本発明を実現する場合、画像処理装置を動作させる上記所定のプログラムは、フレキシブルディスク、CD−ROM等のコンピュータ読取可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読取可能な記録媒体に記録されたプログラムは、通常、ROMやハードディスク等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトウエアとして提供されてもよいし、画像処理装置の一機関としてその装置のソフトウエアに組み込んでもよい。
【0098】
上述した本発明の実施の形態には、特許請求の範囲に記載した発明以外にも、以下の付記に示される発明が含まれる。
【0099】
[付記1] 前記画像領域抽出手段は、画像データから、文字画像領域、図形画像領域、および写真画像領域を抽出する第1抽出手段と、抽出された図形画像領域のうちから塗り潰し有り閉領域、塗り潰し無し閉領域、および閉領域を形成しない線領域を抽出する第2抽出手段からなり、
前記属性認識手段は、抽出された画像領域が文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のいずれであるかについての属性について認識し、
前記順序設定手段は、前記属性認識手段による認識結果に応じて、文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のそれぞれの画像領域についての重ね合わせ順序を設定することを特徴とする請求項1に記載の画像処理装置。
【0100】
[付記2] 前記順序設定手段は、文字画像領域が前面側に重なり、塗り潰し有り閉領域および写真画像領域が背面側に重なり、塗り潰し無し閉領域および線領域がその中間層に重なるように重ね合わせ順序を設定することを特徴とする付記1に記載の画像処理装置。
【0101】
[付記3] 塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なるか否かを判別する画像領域重複判別手段を有し、
前記順序設定手段は、塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なる場合に、塗り潰し閉領域と写真画像領域の大きさの比較結果、または重なる領域の数に応じて、塗り潰し有り閉領域と写真画像領域間の重ね合わせ順序を設定する第2順序設定手段を含むことを特徴とする付記2に記載の画像処理装置。
【0102】
[付記4] 前記第2抽出手段は、図形画像領域における画像データをベクトルデータに変換するベクトル変換手段と、
複数のベクトルデータの連結関係に基づいて閉領域を抽出する閉領域抽出手段と、
抽出された閉領域の内部点および外部点の色情報が同一であるか否かを判断する色情報判断手段と、
色情報判断手段による判断結果に基づいて塗り潰し有り閉領域を検出する塗り潰し有り閉領域検出手段と、
を有することを特徴とする付記1に記載の画像処理装置。
【0103】
[付記5] 原稿を読み取って入力画像データを得る原稿読取手段をさらに有し、
前記画像領域抽出手段は、原稿を読み取って得られた前記入力画像データから複数の画像領域を抽出することを特徴とする請求項1に記載の画像処理装置。
【0104】
[付記6] 各画像領域の重ね合わせ順序を設定する段階は、塗り潰し無し閉領域が塗り潰し有り閉領域より前面側に重なるように重ね合わせ順序を設定することを特徴とする請求項4に記載の画像処理方法。
【0105】
[付記7] 前記属性を認識する段階は、さらに、抽出された画像領域が閉領域を形成しない線領域であるか否かについての属性についても認識し、
各画像領域の重ね合わせ順序を設定する段階は、前記属性認識手段による認識結果に応じて、線領域が塗り潰し有り閉領域よりも前面側に重なるように重ね合わせ順序を設定することを特徴とする付記6に記載の画像処理方法。
【0106】
[付記8] 前記複数の画像領域を抽出する段階は、画像データから、文字画像領域、図形画像領域、および写真画像領域を抽出する第1抽出段階と、抽出された図形画像領域のうちから塗り潰し有り閉領域、塗り潰し無し閉領域、および閉領域を形成しない線領域を抽出する第2抽出段階からなり、
前記属性を認識する段階は、抽出された画像領域が文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のいずれであるかについての属性について認識し、
各画像領域の重ね合わせ順序を設定する段階は、前記属性の認識結果に応じて、文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のそれぞれの画像領域についての重ね合わせ順序を設定することを特徴とする請求項4に記載の画像処理方法。
【0107】
[付記9] 各画像領域の重ね合わせ順序を設定する段階は、文字画像領域が前面側に重なり、塗り潰し有り閉領域および写真画像領域が背面側に重なり、塗り潰し無し閉領域および線領域がその中間層に重なるように重ね合わせ順序を設定することを特徴とする付記8に記載の画像処理方法。
【0108】
[付記10] さらに、塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なるか否かを判別する段階を有し、
各画像領域の重ね合わせ順序を設定する段階は、塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なる場合に、塗り潰し閉領域と写真画像領域の大きさの比較結果、または重なる領域の数に応じて、塗り潰し有り閉領域と写真画像領域間の重ね合わせ順序を設定する段階を含むことを特徴とする付記9に記載の画像処理方法。
【0109】
[付記11] 前記第2抽出段階は、図形画像領域における画像データをベクトルデータに変換する段階と、
複数のベクトルデータの連結関係に基づいて閉領域を抽出する段階と、
抽出された閉領域の内部点および外部点の色情報が同一であるか否かを判断する段階と、
前記色情報が同一であるか否かの判断結果に基づいて塗り潰し有り閉領域を検出する段階と、を有することを特徴とする付記8に記載の画像処理方法。
【0110】
[付記12] 原稿を読み取って入力画像データを得る原稿読取段階をさらに有し、
前記複数の画像領域を抽出する段階は、原稿を読み取って得られた前記入力画像データから複数の画像領域を抽出することを特徴とする請求項4に記載の画像処理方法。
【0111】
[付記13] 各画像領域の重ね合わせ順序を設定する手順は、塗り潰し無し閉領域が塗り潰し有り閉領域より前面側に重なるように重ね合わせ順序を設定することを特徴とする請求項5に記載の画像処理プログラム。
【0112】
[付記14] 前記属性を認識する手順は、さらに、抽出された画像領域が閉領域を形成しない線領域であるか否かについての属性についても認識し、
各画像領域の重ね合わせ順序を設定する手順は、前記属性認識手段による認識結果に応じて、線領域が塗り潰し有り閉領域よりも前面側に重なるように重ね合わせ順序を設定することを特徴とする付記13に記載の画像処理プログラム。
【0113】
[付記15] 前記複数の画像領域を抽出する手順は、画像データから、文字画像領域、図形画像領域、および写真画像領域を抽出する第1抽出手順と、抽出された図形画像領域のうちから塗り潰し有り閉領域、塗り潰し無し閉領域、および閉領域を形成しない線領域を抽出する第2抽出手順からなり、
前記属性を認識する手順は、抽出された画像領域が文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のいずれであるかについての属性について認識し、
各画像領域の重ね合わせ順序を設定する手順は、前記属性の認識結果に応じて、文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のそれぞれの画像領域についての重ね合わせ順序を設定することを特徴とする請求項5に記載の画像処理プログラム。
【0114】
[付記16] 各画像領域の重ね合わせ順序を設定する手順は、文字画像領域が前面側に重なり、塗り潰し有り閉領域および写真画像領域が背面側に重なり、塗り潰し無し閉領域および線領域がその中間層に重なるように重ね合わせ順序を設定することを特徴とする付記15に記載の画像処理プログラム。
【0115】
[付記17] さらに、塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なるか否かを判別する手順を画像処理装置に実行させるものであって、
各画像領域の重ね合わせ順序を設定する手順は、塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なる場合に、塗り潰し閉領域と写真画像領域の大きさの比較結果、または重なる領域の数に応じて、塗り潰し有り閉領域と写真画像領域間の重ね合わせ順序を設定する手順を含むことを特徴とする付記16に記載の画像処理プログラム。
【0116】
[付記18] 前記第2抽出手順は、図形画像領域における画像データをベクトルデータに変換する手順と、
複数のベクトルデータの連結関係に基づいて閉領域を抽出する手順と、
抽出された閉領域の内部点および外部点の色情報が同一であるか否かを判断する手順と、
前記色情報が同一であるか否かの判断結果に基づいて塗り潰し有り閉領域を検出する手順と、を有することを特徴とする付記15に記載の画像処理プログラム。
【0117】
[付記19] 原稿を読み取って入力画像データを得る原稿読取手順をさらに画像処理装置に実行させる画像処理プログラムであって、
前記複数の画像領域を抽出する手順は、原稿を読み取って得られた前記入力画像データから複数の画像領域を抽出することを特徴とする付記15に記載の画像処理プログラム。
【0118】
【発明の効果】
上述したように、本発明によれば、線領域および塗り潰し無し閉領域と、塗り潰し有り閉領域とが重なり合う場合であっても、線領域および塗り潰し無し閉領域の上に、塗り潰し有り閉領域が重ねられることによる画像欠損を防止し、再現性の高い合成ファイルを取得できる。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係る画像処理装置を含む画像処理システムの全体構成を示すブロック図である。
【図2】 図1における画像処理装置1の構成を示すブロック図である。
【図3】 図1における画像処理装置1による画像処理の手順を示すフローチャートである。
【図4】 図3のステップS104に示される画像処理の内容を示すフローチャートである。
【図5】 入力画像データを示す図である。
【図6】 入力画像データから文字画像領域を抽出した残りの非文字画像データを示す図である。
【図7】 図4のステップS205に示されるベクトル変換処理の内容を示すフローチャートである。
【図8】 図4のステップS206に示される閉領域抽出処理の内容を示すフローチャートである。
【図9】 閉領域抽出処理の具体例を説明するためのベクトルデータ群の一例を示す図である。
【図10】 スタックに保存されているデータの一例を示す図である。
【図11】 ステックに保存されているデータの一例を示す図である。
【図12】 スタックに保存されているデータの一例を示す図である。
【図13】 スタックに保存されているデータの一例を示す図である。
【図14】 スタックに保存されているデータの一例を示す図である。
【図15】 図4のステップS207に示される塗り潰し有り閉領域検出処理の内容を示すフローチャートである。
【図16】 図15のステップS501の処理の内容を示すフローチャートである。
【図17】 図15のステップS502の処理の内容を示すフローチャートである。
【図18】 図5の入力画像データから抽出した塗り潰し無し閉領域を示す図である。
【図19】 図5の入力画像データから抽出した塗り潰し有り閉領域を示す図である。
【図20】 図5の入力画像データから抽出した線領域を示す図である。
【図21】 図5の入力画像データから抽出した文字画像領域を示す図である。
【図22】 図4のステップS210に示される重ね合わせ順序の設定処理の内容を示すフローチャートである。
【符号の説明】
1…画像処理装置、
101…制御部、
102…記憶部、
103…操作部、
104…入力インタフェース部、
105…出力インタフェース部、
106…領域分離部、
107…領域抽出部、
108…画像処理部、
108a…文字画像処理部、
108b…図形画像処理部、
108c…写真画像処理部、
109…ファイル作成部、
110…ファイル形式変換部、
2…スキャナ、
3…ファイルサーバ、
4…ネットワーク。
Claims (24)
- 画像データから複数の画像領域を抽出する画像領域抽出手段と、
抽出された画像領域の位置情報を認識する位置情報認識手段と、
抽出された画像領域が塗り潰し有り閉領域であるか塗り潰し無し閉領域であるかについての属性について少なくとも認識する属性認識手段と、
前記位置情報認識手段によって認識された位置情報に基づいて複数の画像領域を合成してファイルを作成するファイル作成手段と、
前記属性認識手段による認識結果に応じて、各画像領域の重ね合わせ順序を設定する順序設定手段と、を有し、
前記ファイル作成手段は、前記順序設定手段によって設定された前記重ね合わせ順序にしたがって前記複数の画像領域を重ね合わせて前記ファイルを作成することを特徴とする画像処理装置。 - 前記順序設定手段は、塗り潰し無し閉領域が塗り潰し有り閉領域より前面側に重なるように重ね合わせ順序を設定することを特徴とする請求項1に記載の画像処理装置。
- 前記属性認識手段は、さらに、抽出された画像領域が閉領域を形成しない線領域であるか否かについての属性についても認識し、
前記順序設定手段は、前記属性認識手段による認識結果に応じて、線領域が塗り潰し有り閉領域よりも前面側に重なるように重ね合わせ順序を設定することを特徴とする請求項2に記載の画像処理装置。 - 前記画像領域抽出手段は、画像データから、文字画像領域、図形画像領域、および写真画像領域を抽出する第1抽出手段と、抽出された図形画像領域のうちから塗り潰し有り閉領域、塗り潰し無し閉領域、および閉領域を形成しない線領域を抽出する第2抽出手段からなり、
前記属性認識手段は、抽出された画像領域が文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のいずれであるかについての属性について認識し、
前記順序設定手段は、前記属性認識手段による認識結果に応じて、文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のそれぞれの画像領域についての重ね合わせ順序を設定することを特徴とする請求項1に記載の画像処理装置。 - 前記順序設定手段は、文字画像領域が前面側に重なり、塗り潰し有り閉領域および写真画像領域が背面側に重なり、塗り潰し無し閉領域および線領域がその中間層に重なるように重ね合わせ順序を設定することを特徴とする請求項4に記載の画像処理装置。
- 塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なるか否かを判別する画像領域重複判別手段を有し、
前記順序設定手段は、塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なる場合に、塗り潰し閉領域と写真画像領域の大きさの比較結果、または重なる領域の数に応じて、塗り潰し有り閉領域と写真画像領域間の重ね合わせ順序を設定する第2順序設定手段を含むことを特徴とする請求項5に記載の画像処理装置。 - 前記第2抽出手段は、図形画像領域における画像データをベクトルデータに変換するベクトル変換手段と、
複数のベクトルデータの連結関係に基づいて閉領域を抽出する閉領域抽出手段と、
抽出された閉領域の内部点および外部点の色情報が同一であるか否かを判断する色情報判断手段と、
色情報判断手段による判断結果に基づいて塗り潰し有り閉領域を検出する塗り潰し有り閉領域検出手段と、
を有することを特徴とする請求項4に記載の画像処理装置。 - 原稿を読み取って入力画像データを得る原稿読取手段をさらに有し、
前記画像領域抽出手段は、原稿を読み取って得られた前記入力画像データから複数の画像領域を抽出することを特徴とする請求項1に記載の画像処理装置。 - 画像データから複数の画像領域を抽出する段階と、
抽出された画像領域の位置情報を認識する段階と、
抽出された画像領域が塗り潰し有り閉領域であるか塗り潰し無し閉領域であるかについての属性について少なくとも認識する段階と、
前記位置情報認識手段によって認識された位置情報に基づいて複数の画像領域を合成してファイルを作成する段階と、
前記属性の認識結果に応じて、各画像領域の重ね合わせ順序を設定する段階と、を有し、
前記ファイルを作成する段階は、設定された前記重ね合わせ順序にしたがって前記複数の画像領域を重ね合わせて前記ファイルを作成することを特徴とする画像処理方法。 - 各画像領域の重ね合わせ順序を設定する段階は、塗り潰し無し閉領域が塗り潰し有り閉領域より前面側に重なるように重ね合わせ順序を設定することを特徴とする請求項9に記載の画像処理方法。
- 前記属性を認識する段階は、さらに、抽出された画像領域が閉領域を形成しない線領域であるか否かについての属性についても認識し、
各画像領域の重ね合わせ順序を設定する段階は、前記属性認識手段による認識結果に応じて、線領域が塗り潰し有り閉領域よりも前面側に重なるように重ね合わせ順序を設定することを特徴とする請求項10に記載の画像処理方法。 - 前記複数の画像領域を抽出する段階は、画像データから、文字画像領域、図形画像領域、および写真画像領域を抽出する第1抽出段階と、抽出された図形画像領域のうちから塗り潰し有り閉領域、塗り潰し無し閉領域、および閉領域を形成しない線領域を抽出する第2抽出段階からなり、
前記属性を認識する段階は、抽出された画像領域が文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のいずれであるかについての属性について認識し、
各画像領域の重ね合わせ順序を設定する段階は、前記属性の認識結果に応じて、文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のそれぞれの画像領域についての重ね合わせ順序を設定することを特徴とする請求項9に記載の画像処理方法。 - 各画像領域の重ね合わせ順序を設定する段階は、文字画像領域が前面側に重なり、塗り潰し有り閉領域および写真画像領域が背面側に重なり、塗り潰し無し閉領域および線領域がその中間層に重なるように重ね合わせ順序を設定することを特徴とする請求項12に記載の画像処理方法。
- さらに、塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なるか否かを判別する段階を有し、
各画像領域の重ね合わせ順序を設定する段階は、塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なる場合に、塗り潰し閉領域と写真画像領域の大きさの比較結果、または重なる領域の数に応じて、塗り潰し有り閉領域と写真画像領域間の重ね合わせ順序を設定する段階を含むことを特徴とする請求項13に記載の画像処理方法。 - 前記第2抽出段階は、図形画像領域における画像データをベクトルデータに変換する段階と、
複数のベクトルデータの連結関係に基づいて閉領域を抽出する段階と、
抽出された閉領域の内部点および外部点の色情報が同一であるか否かを判断する段階と、
前記色情報が同一であるか否かの判断結果に基づいて塗り潰し有り閉領域を検出する段階と、を有することを特徴とする請求項12に記載の画像処理方法。 - 原稿を読み取って入力画像データを得る原稿読取段階をさらに有し、
前記複数の画像領域を抽出する段階は、原稿を読み取って得られた前記入力画像データから複数の画像領域を抽出することを特徴とする請求項9に記載の画像処理方法。 - 画像データから複数の画像領域を抽出する手順と、
抽出された画像領域の位置情報を認識する手順と、
抽出された画像領域が塗り潰し有り閉領域であるか塗り潰し無し閉領域であるかについての属性について少なくとも認識する手順と、
前記位置情報認識手段によって認識された位置情報に基づいて複数の画像領域を合成してファイルを作成する手順と、
前記属性の認識結果に応じて、各画像領域の重ね合わせ順序を設定する手順と、を画像処理装置に実行させることを特徴とする画像処理プログラムであって、
前記ファイルを作成する手順は、設定された前記重ね合わせ順序にしたがって前記複数の画像領域を重ね合わせて前記ファイルを作成することを特徴とする画像処理プログラム。 - 各画像領域の重ね合わせ順序を設定する手順は、塗り潰し無し閉領域が塗り潰し有り閉領域より前面側に重なるように重ね合わせ順序を設定することを特徴とする請求項17に記載の画像処理プログラム。
- 前記属性を認識する手順は、さらに、抽出された画像領域が閉領域を形成しない線領域であるか否かについての属性についても認識し、
各画像領域の重ね合わせ順序を設定する手順は、前記属性認識手段による認識結果に応じて、線領域が塗り潰し有り閉領域よりも前面側に重なるように重ね合わせ順序を設定することを特徴とする請求項18に記載の画像処理プログラム。 - 前記複数の画像領域を抽出する手順は、画像データから、文字画像領域、図形画像領域、および写真画像領域を抽出する第1抽出手順と、抽出された図形画像領域のうちから塗り潰し有り閉領域、塗り潰し無し閉領域、および閉領域を形成しない線領域を抽出する第2抽出手順からなり、
前記属性を認識する手順は、抽出された画像領域が文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のいずれであるかについての属性について認識し、
各画像領域の重ね合わせ順序を設定する手順は、前記属性の認識結果に応じて、文字画像領域、写真画像領域、塗り潰し有り閉領域、塗り潰し無し閉領域、および線領域のそれぞれの画像領域についての重ね合わせ順序を設定することを特徴とする請求項17に記載の画像処理プログラム。 - 各画像領域の重ね合わせ順序を設定する手順は、文字画像領域が前面側に重なり、塗り潰し有り閉領域および写真画像領域が背面側に重なり、塗り潰し無し閉領域および線領域がその中間層に重なるように重ね合わせ順序を設定することを特徴とする請求項20に記載の画像処理プログラム。
- さらに、塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なるか否かを判別する手順を画像処理装置に実行させるものであって、
各画像領域の重ね合わせ順序を設定する手順は、塗り潰し有り閉領域と写真画像領域の少なくとも一部分が重なる場合に、塗り潰し閉領域と写真画像領域の大きさの比較結果、または重なる領域の数に応じて、塗り潰し有り閉領域と写真画像領域間の重ね合わせ順序を設定する手順を含むことを特徴とする請求項21に記載の画像処理プログラム。 - 前記第2抽出手順は、図形画像領域における画像データをベクトルデータに変換する手順と、
複数のベクトルデータの連結関係に基づいて閉領域を抽出する手順と、
抽出された閉領域の内部点および外部点の色情報が同一であるか否かを判断する手順と、
前記色情報が同一であるか否かの判断結果に基づいて塗り潰し有り閉領域を検出する手順と、を有することを特徴とする請求項20に記載の画像処理プログラム。 - 原稿を読み取って入力画像データを得る原稿読取手順をさらに画像 処理装置に実行させる画像処理プログラムであって、
前記複数の画像領域を抽出する手順は、原稿を読み取って得られた前記入力画像データから複数の画像領域を抽出することを特徴とする請求項20に記載の画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002308347A JP3938005B2 (ja) | 2002-10-23 | 2002-10-23 | 画像処理装置および画像処理方法 |
US10/689,669 US7609881B2 (en) | 2002-10-23 | 2003-10-22 | Device and method for image processing as well as image processing computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002308347A JP3938005B2 (ja) | 2002-10-23 | 2002-10-23 | 画像処理装置および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004146997A JP2004146997A (ja) | 2004-05-20 |
JP2004146997A5 JP2004146997A5 (ja) | 2005-09-08 |
JP3938005B2 true JP3938005B2 (ja) | 2007-06-27 |
Family
ID=32454511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002308347A Expired - Fee Related JP3938005B2 (ja) | 2002-10-23 | 2002-10-23 | 画像処理装置および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7609881B2 (ja) |
JP (1) | JP3938005B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7873218B2 (en) * | 2004-04-26 | 2011-01-18 | Canon Kabushiki Kaisha | Function approximation processing method and image processing method |
JP2006050120A (ja) * | 2004-08-03 | 2006-02-16 | Riso Kagaku Corp | 画像情報処理方法および装置並びに画像情報処理プログラム |
US7446914B2 (en) * | 2005-03-16 | 2008-11-04 | Kabushiki Kaisha Toshiba | Image processing apparatus |
US20100254606A1 (en) * | 2005-12-08 | 2010-10-07 | Abbyy Software Ltd | Method of recognizing text information from a vector/raster image |
US20080201695A1 (en) * | 2007-02-16 | 2008-08-21 | Qing Zhou | Computer graphics rendering |
JP5222127B2 (ja) * | 2008-12-25 | 2013-06-26 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5222126B2 (ja) * | 2008-12-25 | 2013-06-26 | キヤノン株式会社 | 画像処理方法、画像処理装置及びプログラム |
JP4748234B2 (ja) | 2009-03-05 | 2011-08-17 | 富士ゼロックス株式会社 | 画像処理装置および画像形成装置 |
JP5304422B2 (ja) * | 2009-05-01 | 2013-10-02 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
US9483707B2 (en) * | 2015-02-04 | 2016-11-01 | GM Global Technology Operations LLC | Method and device for recognizing a known object in a field of view of a three-dimensional machine vision system |
JP6936866B2 (ja) | 2017-03-20 | 2021-09-22 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 外観特徴の記述属性を認識する方法及び装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2818066B2 (ja) | 1992-02-27 | 1998-10-30 | 大日本スクリーン製造株式会社 | 画像レイアウト処理装置 |
JPH0762852B2 (ja) | 1992-12-25 | 1995-07-05 | 株式会社アラクリエーション | 織物デザイン装置 |
US5596690A (en) * | 1993-07-21 | 1997-01-21 | Xerox Corporation | Method and apparatus for operating on an object-based model data structure to produce a second image in the spatial context of a first image |
US5982937A (en) * | 1996-12-24 | 1999-11-09 | Electronics For Imaging, Inc. | Apparatus and method for hybrid compression of raster data |
US6324305B1 (en) * | 1998-12-22 | 2001-11-27 | Xerox Corporation | Method and apparatus for segmenting a composite image into mixed raster content planes |
US7054029B1 (en) * | 1999-03-09 | 2006-05-30 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
JP4109793B2 (ja) | 1999-05-13 | 2008-07-02 | キヤノン株式会社 | 画像処理装置及びその方法 |
US6894704B1 (en) * | 1999-11-22 | 2005-05-17 | Adobe Systems Incorporated | Processing complex regions of illustration artwork |
JP4586241B2 (ja) * | 2000-06-14 | 2010-11-24 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置 |
JP4458640B2 (ja) | 2000-08-10 | 2010-04-28 | キヤノン株式会社 | 描画指示装置及びその描画指示方法、並びにコンピュータ読み取り可能な記憶媒体 |
WO2003023498A2 (en) * | 2001-09-06 | 2003-03-20 | Acclaima Ltd. | Method and apparatus for applying alterations selected from a set of alterations to a background scene |
-
2002
- 2002-10-23 JP JP2002308347A patent/JP3938005B2/ja not_active Expired - Fee Related
-
2003
- 2003-10-22 US US10/689,669 patent/US7609881B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004146997A (ja) | 2004-05-20 |
US20040136609A1 (en) | 2004-07-15 |
US7609881B2 (en) | 2009-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7970225B2 (en) | Image processing device, image processing method, image processing program and computer-readable recording medium on which the program is recorded | |
JP5302768B2 (ja) | 画像処理装置及び画像処理方法 | |
US8125679B2 (en) | Image processing method and image processing apparatus | |
JP3176052B2 (ja) | 画像処理装置 | |
JP4586241B2 (ja) | 画像処理装置 | |
JP3938005B2 (ja) | 画像処理装置および画像処理方法 | |
JP2009272889A (ja) | 画像処理装置及び画像処理方法 | |
US7626743B2 (en) | Image processing apparatus, image processing method and image processing program for rendering pixels transparent in circumscribed areas | |
US8670623B2 (en) | Image processing apparatus, image conversion method, and computer-readable storage medium for computer program based on calculated degree of complexity | |
JP5893379B2 (ja) | 画像圧縮装置、画像圧縮方法、コンピュータプログラム | |
JP3931651B2 (ja) | 画像処理装置 | |
JPH11164153A (ja) | 画像処理装置および画像処理方法 | |
JP3940890B2 (ja) | 画像処理装置および画像処理方法 | |
JP3765177B2 (ja) | 画像処理装置および画像処理方法 | |
JP4375106B2 (ja) | 画像処理装置 | |
JP3906723B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2006203526A (ja) | 情報処理方法および装置 | |
JP2009061736A (ja) | 画像形成装置、画像形成方法、及び、画像形成プログラム | |
JP3624013B2 (ja) | 画像処理方法及び装置 | |
JP2004246596A (ja) | 印刷制御装置 | |
JP3882603B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3882657B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3788496B2 (ja) | 画像処理装置および画像処理方法 | |
JP2003051929A (ja) | 画像処理方法及び装置 | |
JP2008017213A (ja) | 画像処理装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050316 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3938005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |