JP4420440B2 - Image processing apparatus, image processing method, character recognition apparatus, program, and recording medium - Google Patents
Image processing apparatus, image processing method, character recognition apparatus, program, and recording medium Download PDFInfo
- Publication number
- JP4420440B2 JP4420440B2 JP2004042389A JP2004042389A JP4420440B2 JP 4420440 B2 JP4420440 B2 JP 4420440B2 JP 2004042389 A JP2004042389 A JP 2004042389A JP 2004042389 A JP2004042389 A JP 2004042389A JP 4420440 B2 JP4420440 B2 JP 4420440B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cell
- character
- table area
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Input (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置、画像処理方法、文字認識装置、プログラムおよび記録媒体に関し、特に、画像データ中の表領域のセル分割とセル内の行方向の判定に関する。 The present invention relates to an image processing device, an image processing method, a character recognition device, a program, and a recording medium, and more particularly to cell division of a table area in image data and determination of a row direction in a cell.
従来、文書画像に書かれている文字情報をコンピュータで扱えるような文字コードに変換する文字認識装置が利用されている。
このような文字認識を行う場合、まず、文書画像を文字領域、写真や図形などのイメージ領域または表領域などに分割し、それぞれの領域に別の処理を行うことが多い。
表領域に関しては、表を構成する罫線の位置を認識し、罫線で囲まれた枠内(セル)を一つの文字領域とし、セル内の文字行が横書きであるか縦書きであるかを判別し、この判別結果に応じて各セル内の文字行の抽出方法を切り替えて文字認識を行っている。
Conventionally, a character recognition device that converts character information written in a document image into a character code that can be handled by a computer has been used.
When performing such character recognition, the document image is first divided into a character area, an image area such as a photograph or figure, or a table area, and another process is often performed on each area.
For the table area, it recognizes the position of the ruled lines that make up the table, makes the frame (cell) enclosed by the ruled lines one character area, and determines whether the character line in the cell is horizontal or vertical The character recognition is performed by switching the extraction method of the character lines in each cell according to the determination result.
特許文献1の判定方法は、文書画像の表領域より、主走査方向および副走査方向の線分で囲まれた枠を抽出し、各枠の主走査方向の長さおよび副走査方向の長さによって各枠内の文字行が横書きであるか縦書きであるかを判別し、この判別の結果に応じて各枠内の文字行の抽出方法を切り替えて文字認識するようにした。これにより、横書きの枠と縦書きの枠が混在した表においても、各枠内の文字行が正確に抽出され、各枠内の文字の切り出しおよび文字認識の精度が上がるという効果がある。 In the determination method of Patent Document 1, a frame surrounded by line segments in the main scanning direction and the sub-scanning direction is extracted from the table region of the document image, and the length in the main scanning direction and the length in the sub-scanning direction of each frame. Thus, it is determined whether the character line in each frame is horizontal writing or vertical writing, and character extraction is performed by switching the extraction method of the character line in each frame according to the determination result. As a result, even in a table in which a horizontal writing frame and a vertical writing frame are mixed, the character lines in each frame are accurately extracted, and there is an effect that the accuracy of character extraction and character recognition in each frame is improved.
また、特許文献2の判定方法は、入力した表画像から罫線で四方を囲まれた全てのセルの連結黒画素の外接矩形を縦横2方向に投影してヒストグラムを抽出し、このヒストグラムから縦の行数、横の行数、縦、横の行ピッチなどを求め(図7参照)、それらの情報からセル内の文字が縦書きか横書きかを判定する。
しかしながら、特許文献1の判定方法では、文字列の方向を枠の主走査方向の長さおよび副走査方向の長さによって判別している。その結果、枠の長さが長い方向と文字列の方向とが異なる場合には、文字列の方向を誤って判別してしまうという問題点があった。例えば、縦長の枠中に横書きの文字行がある場合には、文字列の方向を縦書きと誤って判別してしまう。 However, in the determination method of Patent Document 1, the direction of the character string is determined based on the length of the frame in the main scanning direction and the length of the sub scanning direction. As a result, there is a problem in that the direction of the character string is erroneously determined when the direction in which the length of the frame is long and the direction of the character string are different. For example, when there is a horizontally written character line in a vertically long frame, the direction of the character string is erroneously determined as vertically written.
これを解決するために、特許文献3の方法は、枠内の画像の属性を判定し、横罫線のありなしを判定し、表を構成する枠中の文字列の方向をより正確に判断するようにした。この枠内の画像の属性は、枠内の行数が3行以上あるか、または枠内の文字画像の高さaと文字画像の垂直方向の文字間隔bがb>3aの関係にある場合、横罫線なしの表画像であると判定する。さもなければ、横罫線ありの表画像と判定する。
この判定により、縦長の枠中に横書きの文字行がある場合でも、文字列の方向を縦書きと誤って判定することがない。
In order to solve this, the method of Patent Document 3 determines the attribute of the image in the frame, determines the presence or absence of a horizontal ruled line, and more accurately determines the direction of the character string in the frame constituting the table. I did it. The attribute of the image in the frame is that there are 3 or more lines in the frame, or the height a of the character image in the frame and the character spacing b in the vertical direction of the character image have a relationship of b> 3a It is determined that the table image has no horizontal ruled lines. Otherwise, it is determined as a table image with a horizontal ruled line.
With this determination, even when there is a horizontally written character line in a vertically long frame, the direction of the character string is not erroneously determined as vertically written.
ここで、カラー原稿やグレースケール原稿の表がセルを色や濃淡によって区切っていた場合、表領域や文字認識を行うために2値化してしまうと、色情報や濃淡情報が失われてしまうため上下または左右の隣接するセルが結合されて縦長または横長のセルとなってしまう。このようなセルの場合には、特許文献3の方法でも正しく判定できない。例えば、色で区切られた1つのセルの内容が縦書きで、その下のセルが横書きのような場合、これらの隣接するセルが結合されたセルの内容では縦書きとも横書きとも判定することができない。 Here, if the table of a color document or grayscale document has cells separated by color or shading, color information and shading information will be lost if binarization is performed for table area and character recognition. Adjacent upper and lower or left and right cells are combined to form a vertically or horizontally long cell. In the case of such a cell, the method of Patent Document 3 cannot correctly determine. For example, if the content of one cell separated by color is vertical writing and the cell below it is horizontal writing, the content of a cell in which these adjacent cells are combined can be determined as vertical writing or horizontal writing. Can not.
また、特許文献2のような主走査方向と副走査方向の2方向でのヒストグラムを用いた方法では、日本語のような「偏と旁」とから出来ていることの多い漢字の場合、セル内の文字がすべて「偏と旁」で出来ている漢字であると正しく幅を求めることができなくなり、縦書きか横書きかを正しく判断できなくなってしまう。 Further, in the method using the histogram in the main scanning direction and the sub-scanning direction as in Patent Document 2, in the case of a Chinese character that is often made up of “deviation and 旁” such as Japanese, cell If the characters inside are all Kanji characters consisting of “bias and 旁”, the width cannot be obtained correctly, and it cannot be correctly determined whether the writing is vertical or horizontal.
本発明は、上記の実情を考慮してなされたものであって、表の罫線が色や濃淡によって引かれているような場合であっても正しくセルの区切りを判断でき、また、該セル内の文字行の方向を正しく推定できる画像処理装置、画像処理方法、文字認識装置、プログラムおよび記録媒体を提供することを目的とする。 The present invention has been made in consideration of the above circumstances, and even when the ruled line of the table is drawn by color or shading, the cell delimiter can be correctly determined. An object of the present invention is to provide an image processing device, an image processing method, a character recognition device, a program, and a recording medium that can correctly estimate the direction of the character line.
上記の課題を解決するために、請求項1に記載の発明は、原稿画像の二値化画像を識別して表領域画像を抽出する領域識別手段と、該表領域画像をセル画像に分割するセル分割手段とを有する画像処理装置において、前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成する罫線設定手段を有し、前記セル分割手段は、該重ね合わせて生成された表領域画像をセル画像に分割し、前記画像処理装置は、前記セル分割手段で分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が1行または2行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定する行方向推定手段を有することを特徴とする。 In order to solve the above-mentioned problem, the invention according to claim 1, an area identifying means for identifying a binarized image of a document image and extracting a table area image, and dividing the table area image into cell images In the image processing apparatus having cell dividing means, when the document image is a color image or a grayscale image, an edge having a predetermined length or more is extracted from the document image corresponding to the table region image, and the table region image And a ruled line setting means for generating a new table area image by superimposing the edges as ruled lines, the cell dividing means dividing the table area image generated by the overlapping into cell images, and performing the image processing The apparatus extracts a circumscribed rectangle of a connected component of black pixels in the cell image divided by the cell dividing means, and determines whether the standard character size obtained from the circumscribed rectangle is a predetermined range value or not. Inside It is determined whether the number of rows is one or two, and a cell is determined from the number of rows, the vertical or horizontal length and aspect ratio of the cell image, and the position in the table of the cell image. It is characterized by having a line direction estimating means for estimating the direction of the character line .
請求項2に記載の発明は、請求項1に記載の画像処理装置において、前記行方向推定手段は、前記推定された行方向がデフォルト値としてセットされている行方向と異なる場合、行方向を該推定された行方向に再設定することを特徴とする。 According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the row direction estimation unit determines a row direction when the estimated row direction is different from a row direction set as a default value. The estimated line direction is reset .
請求項3に記載の発明は、原稿画像の二値化画像を識別して表領域画像を抽出し、該表領域画像をセル画像に分割する画像処理方法において、前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成し、該重ね合わせて生成された表領域画像をセル画像に分割し、当該分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が1行または2行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定するようにしたことを特徴とする。 The invention according to claim 3 is an image processing method for identifying a binarized image of a document image, extracting a table region image, and dividing the table region image into cell images, wherein the document image is a color image or a gray image. In the case of a scale image, an edge having a predetermined length or more is extracted from the document image corresponding to the table area image, and a new table area image is generated by superimposing the edge as a ruled line on the table area image. A table region image generated by superimposing is divided into cell images, a circumscribed rectangle of a connected component of black pixels in the divided cell image is extracted, and a standard character size obtained from the circumscribed rectangle is predetermined. It is determined whether or not the number of rows in a cell is one or two rows depending on whether or not it is a range value, the number of rows, the vertical or horizontal length of the cell image, and the aspect ratio, Cell from the position in the table of the cell image Characterized by being adapted to estimate the character row direction.
請求項4に記載の発明は、原稿画像を入力する原稿画像入力手段と、前記原稿画像の二値化画像を識別して表領域画像を抽出する領域識別手段と、該表領域画像をセル画像に分割するセル分割手段と、該セル画像を文字認識する文字認識手段とを有する文字認識装置において、前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成する罫線設定手段を有し、前記セル分割手段は、該重ね合わせて生成された表領域画像をセル画像に分割し、前記文字認識装置は、前記セル分割手段で分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が1行または2行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定する行方向推定手段を有することを特徴とする。 According to a fourth aspect of the present invention, there is provided a document image input unit for inputting a document image, a region identification unit for identifying a binarized image of the document image and extracting a table region image, and the table region image as a cell image. In a character recognition device having cell dividing means for dividing the cell image and character recognition means for recognizing the cell image, if the original image is a color image or a grayscale image, the original image corresponding to the table area image is used. An edge having a predetermined length or more is extracted, and a ruled line setting unit that generates a new table area image by superimposing the edge as a ruled line on the table area image, and the cell dividing unit generates the overlapping image is obtained by dividing the table region image to the cell image, the character recognition device, the extracting circumscribed rectangles of connected components of black pixels of the cell division means divided in the cell image, a standard sentence obtained from the outer contact rectangle It is determined whether the number of rows in the cell is one or two rows depending on whether the size is a predetermined range value, and the number of rows and the vertical or horizontal length of the cell image, And a line direction estimating means for estimating the character line direction in the cell from the aspect ratio and the position in the table of the cell image .
請求項5に記載の発明は、コンピュータに、請求項1または2に記載の画像処理装置の機能、または、請求項4に記載の文字認識装置の機能を実行させるためのプログラムである。
請求項6に記載の発明は、請求項5に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
The invention according to claim 5 is a program for causing a computer to execute the function of the image processing apparatus according to claim 1 or 2 or the function of the character recognition apparatus according to claim 4.
The invention described in claim 6 is a computer-readable recording medium in which the program according to claim 5 is recorded.
本発明によると、カラー原稿やグレースケール原稿で、表の罫線が色や濃淡によって引かれているような場合であっても正しくセルの区切りを判断できる。
また、二値化画像の場合や、色や濃淡によるセルの分割に失敗した場合であっても、セル内の情報を用いて、セル内の文字行の方向を推定することができる。これにより、文字認識処理の行切り出しの失敗を防ぐことができる。
According to the present invention, even when a ruled line of a table is drawn by color or shading in a color document or a gray scale document, cell separation can be correctly determined.
In addition, even in the case of a binarized image, or in the case where the cell division by color or shading has failed, the direction of the character line in the cell can be estimated using the information in the cell. As a result, it is possible to prevent failure of line extraction in character recognition processing.
以下、図面を参照して本発明の好適な実施形態について説明する。
図1は、本発明の画像処理装置を適用した文字認識装置の概略ブロック図である。ここに示す文字認識装置は、スキャナ装置のような画像入力装置と液晶ディスプレイ等の表示装置を接続して、画像入力装置から読み取った文字領域および表領域の画像にある文字を認識して文字コードに変換し、その認識結果を他のアプリケーションソフトウェアで使用できるようにする。その変換の際、認識途中における作業支援のために表示装置が使われる。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic block diagram of a character recognition apparatus to which an image processing apparatus of the present invention is applied. The character recognition device shown here connects an image input device such as a scanner device and a display device such as a liquid crystal display, and recognizes characters in the image of the character region and the surface region read from the image input device to recognize character codes. And the recognition result can be used by other application software. At the time of the conversion, a display device is used for work support during recognition.
図1において、文字認識装置は、入力部10、二値化部20、前処理部30、領域識別部40、文字領域処理部50、表領域処理部60、出力部70を備えている。
入力部10は、カラー画像入力機器(例えば、デジタルカラー複写機、スキャナ、カメラ等)からカラー原稿やグレースケール原稿を入力してA/D変換処理を行い、原画像記憶部15へ記憶する。また、デジタルカメラのアプリケーションソフトウェアや文書画像解析・認識システムから画像データを受信したり、すでに画像データを格納しているファイルから入力するようにしてもよい。
In FIG. 1, the character recognition device includes an input unit 10, a binarization unit 20, a preprocessing unit 30, a region identification unit 40, a character region processing unit 50, a table region processing unit 60, and an output unit 70.
The input unit 10 inputs a color document or a gray scale document from a color image input device (for example, a digital color copying machine, a scanner, a camera, etc.), performs A / D conversion processing, and stores it in the original image storage unit 15. Alternatively, image data may be received from application software of a digital camera or a document image analysis / recognition system, or may be input from a file that already stores image data.
二値化部20は、原画像記憶部15に記憶されたカラー画像データやグレースケール画像データを二値化して二値化画像記憶部25へ記憶する。
前処理部30は、二値化画像記憶部25に記憶された二値化画像のスキュー補正やノイズ除去を行って、二値化画像記憶部25を更新する。
The binarization unit 20 binarizes the color image data and the gray scale image data stored in the original image storage unit 15 and stores them in the binarized image storage unit 25.
The preprocessing unit 30 updates the binarized image storage unit 25 by performing skew correction and noise removal of the binarized image stored in the binarized image storage unit 25.
領域識別部40は、二値化画像記憶部25に記憶された二値化画像を文字領域、表領域および写真領域等に識別し、この領域ごとに分割した画像を原画像での位置情報、サイズ情報および領域の区分(文字領域、表領域または写真領域等)と対応付けて領域分割結果記憶部45に記憶する。さらに、原稿の行方向判定もあわせて行い、判定結果を記憶しておく。 The area identifying unit 40 identifies the binarized image stored in the binarized image storage unit 25 as a character area, a table area, a photo area, and the like, and the image divided for each area is positional information in the original image, The area information is stored in the area division result storage unit 45 in association with the size information and area classification (character area, table area, photo area, etc.). Further, the line direction of the original is also determined, and the determination result is stored.
文字領域処理部50は、領域分割結果記憶部45に記憶された分割領域のうち、文字領域の画像から切り出した文字の特徴量を計算し、その特徴量と文字認識辞書の標準パターンの特徴量とを比較し、類似度の高いものを認識結果の候補とし、候補文字コードとその類似度と候補文字の文字種等を認識結果とし、その認識結果を分割領域と対応付けて領域分割結果記憶部45を更新する。また、文字領域処理部50は、表領域処理部60から呼び出される場合もある。 The character region processing unit 50 calculates the feature amount of the character cut out from the character region image among the divided regions stored in the region division result storage unit 45, and the feature amount and the feature amount of the standard pattern of the character recognition dictionary A candidate having a high similarity as a candidate for a recognition result, a candidate character code, its similarity, the character type of the candidate character, and the like as a recognition result, and associating the recognition result with a divided region, a region division result storage unit 45 is updated. The character area processing unit 50 may be called from the table area processing unit 60.
表領域処理部60は、領域分割結果記憶部45に記憶された分割領域のうち、表領域をセルに分割し、セル内の領域が文字領域または写真領域等であるかを識別し、セルの位置情報、サイズ情報およびセルの区分(文字領域または写真領域等)、および、これらのセルが文字領域の場合には文字認識結果を表領域に対応させて領域分割結果記憶部45を更新する。 The table area processing unit 60 divides the table area into cells among the divided areas stored in the area division result storage unit 45, identifies whether the area in the cell is a character area, a photo area, or the like, and The position information, size information, and cell classification (character area, photo area, etc.), and if these cells are character areas, the area recognition result storage unit 45 is updated with the character recognition result corresponding to the table area.
出力部70は、領域分割結果記憶部45に得られた認識結果データと原画像記憶部15内の原画像とを対比させて表示装置に表示させ、所望の結果をユーザに選択または修正させて、最終的な認識結果をプリンタや記憶装置等の出力装置へ出力したり、また他のアプリケーションソフトウェアへ引き渡す。 The output unit 70 compares the recognition result data obtained in the region division result storage unit 45 with the original image in the original image storage unit 15 and displays it on the display device, and allows the user to select or correct a desired result. The final recognition result is output to an output device such as a printer or a storage device, or delivered to other application software.
このような文字認識装置の全体的な構成および基本的処理内容は、従来の文字認識装置と同様であるが、表領域処理部60は本発明の画像処理装置によるもので、その構成と処理内容は従来のものとは異なる。 The overall configuration and basic processing contents of such a character recognition apparatus are the same as those of the conventional character recognition apparatus, but the table area processing unit 60 is based on the image processing apparatus of the present invention. Is different from the conventional one.
なお、本実施形態では、文字認識装置へ本発明の画像処理装置を適用しているが、表領域内の画像を処理する、例えば、画像識別、画像編集、文書ファイリング、文書処理、文書管理あるいは文書配信等を行う装置やシステムにも容易に適用可能である。 In this embodiment, the image processing apparatus of the present invention is applied to the character recognition apparatus. However, for example, image identification, image editing, document filing, document processing, document management, The present invention can be easily applied to apparatuses and systems that perform document distribution and the like.
次に、表領域処理部60(本発明の画像処理装置)について、詳細に説明する。
図2は、表領域処理部60の機能構成を示すブロック図であり、同図において、表領域処理部60は、罫線設定部61、セル分割部62および行方向推定部63を含んで構成されている。
Next, the table area processing unit 60 (the image processing apparatus of the present invention) will be described in detail.
FIG. 2 is a block diagram showing a functional configuration of the table area processing unit 60. In the figure, the table area processing unit 60 includes a ruled line setting unit 61, a cell dividing unit 62, and a row direction estimating unit 63. ing.
罫線設定部61は、領域分割結果記憶部45に記憶された表領域に対して、この表領域に対応するカラー原画像またはグレースケール原画像の領域エッジ強度を求め、エッジ強度が所定の値より強く(=エッジがあり)、それが連続している(以下、仮想罫線という)場合、仮想罫線があると判断し、表領域の二値化画像にOR処理で罫線を書き加えて、領域分割結果記憶部45を更新する。
このとき、数画素程度の切れは、連続していると判断をし、所定の長さ以上続いている場合を罫線として判断する。従って、領域識別処理によって表領域として抽出されなかった表領域以外の画像には影響は及ぼさない。
The ruled line setting unit 61 obtains the region edge strength of the color original image or the grayscale original image corresponding to the table region stored in the region division result storage unit 45, and the edge strength is determined from a predetermined value. If it is strong (= there is an edge) and it is continuous (hereinafter referred to as a virtual ruled line), it is determined that there is a virtual ruled line, and a ruled line is added to the binarized image of the table area by OR processing, thereby dividing the area The result storage unit 45 is updated.
At this time, it is determined that cuts of about several pixels are continuous, and a case where the cut is continued for a predetermined length or more is determined as a ruled line. Therefore, the image other than the table area that is not extracted as the table area by the area identification process is not affected.
仮想罫線処理を行うのは、カラー原稿やグレースケール原稿の表では、実罫線でセルを分けずに色や濃淡の違いのみによってセルを分けていることがあり、このため従来の処理ではセルの抽出が困難な場合がある。また、カラー原稿やグレースケール原稿(多値原稿)の罫線が細い実罫線であった場合には、二値化処理で罫線が消失してしまい、セルの抽出が困難である。 Virtual ruled line processing is performed in color and grayscale original tables, in which cells are not separated by actual ruled lines, but only by differences in color and shading. Extraction may be difficult. In addition, when the ruled line of a color document or gray scale document (multi-valued document) is a thin actual ruled line, the ruled line disappears in the binarization process, and it is difficult to extract cells.
図3は、罫線設定部61の処理の流れを示すフローチャートである。
まず、主走査方向の仮想罫線や罫線を次のようにして設定する。
表領域のすべての画素に対して、主走査方向に2×3画素の窓(図4(1))を設け、この窓を主走査方向にずらしながら、窓内で副走査方向に対する画素の濃度差が所定の閾値を越えている画素連続を抽出する(図5(A),(B))。この画素連続の長さが所定の長さ以上続いている場合に、この画素連続を罫線或いは仮想罫線(図5(B))であると判断する(ステップS01)。
ここで、濃度差のない画素連続が1つの窓の幅以下であれば、画素連続であると判断する。
FIG. 3 is a flowchart showing a processing flow of the ruled line setting unit 61.
First, virtual ruled lines and ruled lines in the main scanning direction are set as follows.
A 2 × 3 pixel window (FIG. 4 (1)) is provided in the main scanning direction for all the pixels in the front region, and the pixel density in the sub scanning direction in the window is shifted while moving the window in the main scanning direction. Pixel continuations in which the difference exceeds a predetermined threshold are extracted (FIGS. 5A and 5B). When the length of the pixel continuation continues for a predetermined length or more, it is determined that the pixel continuation is a ruled line or a virtual ruled line (FIG. 5B) (step S01).
Here, if the pixel continuity with no density difference is equal to or smaller than the width of one window, it is determined that the pixels are continuous.
二値化された表領域の画像データの、抽出された画素連続に対応する位置に罫線或いは仮想罫線をOR処理で書き込む(ステップS02)。
上記ステップS01とS02とを表領域の画像のすべての画素について処理するまで繰り返す(ステップS03)。
A ruled line or a virtual ruled line is written by OR processing at a position corresponding to the extracted pixel continuation in the binarized table area image data (step S02).
The above steps S01 and S02 are repeated until all the pixels of the image in the table area are processed (step S03).
次に、副走査方向に3×2の窓(図4(2))を設け、この窓を副走査方向にずらしながら上記ステップS01からS03の処理を繰り返して、副走査方向の罫線或いは仮想罫線を設定する。 Next, a 3 × 2 window (FIG. 4 (2)) is provided in the sub-scanning direction, and the processing in steps S01 to S03 is repeated while shifting this window in the sub-scanning direction, so that ruled lines or virtual ruled lines in the sub-scanning direction are obtained. Set.
または、上述のような処理手順ではなく、処理時間の短縮や掠れ画像への対応、或いはディザ画像(カラー)への対応のため、例えば、200dpiのカラー画像に対して、100dpiとなる細線保存縮小画像を作成し、この細線保存縮小画像を二値化して仮想罫線を抽出して、セルを抽出するようにしてもよい。 Or, instead of the processing procedure as described above, for example, to reduce the processing time, to deal with a blurred image, or to deal with a dither image (color), for example, a 200 dpi color image is stored as a thin line reduced to 100 dpi It is also possible to create an image, binarize the thin line storage reduced image, extract virtual ruled lines, and extract cells.
この細線保存縮小画像の作成は、例えば、2×2画素を1画素に縮小する場合、2×2の画素の中の最も暗い値を、作成される縮小画像の代表色とすることにより、白地に黒でかかれている原稿の場合などでも、細線が消えることなく縮小画像が作成できる(単純に間引き縮小をすると、細線が消えてしまうことがある)。 For example, when a 2 × 2 pixel is reduced to one pixel, the thin line storage reduced image is created by setting the darkest value in the 2 × 2 pixels as a representative color of the reduced image to be created. Even in the case of a manuscript written in black, a reduced image can be created without the thin lines disappearing (the thin lines may disappear if the thinning is simply performed).
セル分割部62は、領域分割結果記憶部45に記憶された表領域(仮想罫線を書き加えた二値化画像)内をセルに分割し、セル内の領域が文字領域または写真領域等であるかを識別し、セルの位置情報、サイズ情報およびセルの区分(文字領域または写真領域等)を表領域に対応させて領域分割結果記憶部45を更新する。 The cell division unit 62 divides the table area (binarized image with virtual ruled lines added) stored in the area division result storage unit 45 into cells, and the area in the cell is a character area or a photo area. The region division result storage unit 45 is updated by associating the cell position information, the size information, and the cell classification (such as the character region or the photo region) with the table region.
行方向推定部63は、分割されたセルの画像を文字領域あるいは写真領域等に区分し、文字領域であれば文字行の方向を推定する。表領域処理部60は、この文字行の方向によって文字認識を行わせる。
まず最初、表領域中のセルの行方向は、ユーザが指定した原稿の行方向(ユーザが原稿の行方向は横と指定すればセル方向は横になる)、または、行方向を自動設定するモードが設定された場合は、領域識別部40で求められた行方向がデフォルト値としてセットされる。
The line direction estimation unit 63 divides the divided cell image into a character area or a photograph area, and estimates the direction of the character line if it is a character area. The table area processing unit 60 performs character recognition according to the direction of the character line.
First, the row direction of the cells in the table area is automatically set as the row direction of the document specified by the user (if the user designates the row direction of the document as horizontal), or the row direction is automatically set. When the mode is set, the row direction obtained by the area identifying unit 40 is set as a default value.
次に、以下に示したような所定の条件(A)または(B)を満たしている場合、行方向を“縦”とし、デフォルトで設定されている行方向と異なる場合には、行方向を再設定(入れ替え)する。 Next, when the predetermined condition (A) or (B) as shown below is satisfied, the row direction is set to “vertical”, and when different from the default row direction, the row direction is changed. Reset (replace).
(A)すべての下記条件(1)〜(4)を満たす場合、行方向“縦”をセットする。
(1)縦横比が所定値よりも大きい縦長のセルである。
(2)セル内の行数が1行または2行である。
(3)セルの縦の長さが表の縦の大きさの1/2より短い。
(4)表領域の左半分にセルが含まれている(図6)。
(A) When all the following conditions (1) to (4) are satisfied, the row direction “vertical” is set.
(1) A vertically long cell having an aspect ratio larger than a predetermined value.
(2) The number of rows in the cell is one or two rows.
(3) The vertical length of the cell is shorter than ½ of the vertical size of the table.
(4) A cell is included in the left half of the table area (FIG. 6).
(B)下記(5)〜(7)の条件のすべてを満たす場合、行方向“縦”がセットされる。
(5)縦横比が所定よりも大きい縦長のセルである。
(6)セル内の行数が1行である。
(7)セルの縦の長さが表の縦の大きさの1/2より長い。
(B) When all of the following conditions (5) to (7) are satisfied, the row direction “vertical” is set.
(5) A vertically long cell having an aspect ratio larger than a predetermined ratio.
(6) The number of rows in the cell is one.
(7) The vertical length of the cell is longer than ½ of the vertical size of the table.
次に、以下に示したような所定の条件(C)または(D)を満たしている場合、行方向を“横”とし、デフォルトで設定されている行方向と異なる場合には、行方向を再設定(入れ替え)する。 Next, when the predetermined condition (C) or (D) as shown below is satisfied, the row direction is set to “horizontal”, and when different from the default row direction, the row direction is set to Reset (replace).
(C)すべての下記条件(11)〜(14)を満たす場合、行方向“横”をセットする。
(11)縦横比が所定値よりも大きい横長のセルである。
(12)セル内の行数が1行または2行である。
(13)セルの横の長さが表の横の大きさの1/2より短い。
(14)表領域の上半分にセルが含まれている(図6)。
(C) When all the following conditions (11) to (14) are satisfied, the row direction “horizontal” is set.
(11) A horizontally long cell having an aspect ratio larger than a predetermined value.
(12) The number of rows in the cell is 1 row or 2 rows.
(13) The horizontal length of the cell is shorter than 1/2 of the horizontal size of the table.
(14) Cells are included in the upper half of the table area (FIG. 6).
(D)下記(15)〜(17)の条件のすべてを満たす場合、行方向“横”がセットされる。
(15)縦横比が所定よりも大きい横長のセルである。
(16)セル内の行数が1行である。
(17)セルの横の長さが表の横の大きさの1/2より長い。
(D) When all of the following conditions (15) to (17) are satisfied, the row direction “horizontal” is set.
(15) A horizontally long cell having an aspect ratio larger than a predetermined value.
(16) The number of rows in the cell is one.
(17) The horizontal length of the cell is longer than ½ of the horizontal size of the table.
また、上記の条件(A)乃至(D)のいずれも満たさないときには、行方向はデフォルトのままとし、行方向の再設定は行わない。 When none of the above conditions (A) to (D) is satisfied, the row direction is left as the default, and the row direction is not reset.
ここで、セル内の行数の算定を行うために、セル内の黒画素連結成分の外接矩形を求める。次にこの外接矩形から3つの標準サイズ(セル内の正方形矩形の大きさの最大値、セル内の横長矩形の矩形幅の最大値、セル内の縦長矩形の高さの最大値)を求める。
ここで、表領域をセルに分割する罫線が掠れなどによって、セル内に存在することがあり、これによる悪影響を除外するために、横長矩形や縦長矩形の最大値を求める際には、その値が所定の値よりも小さな矩形のみを対象として最大値を求めるようにする。
Here, in order to calculate the number of rows in the cell, a circumscribed rectangle of the black pixel connected component in the cell is obtained. Next, three standard sizes (the maximum value of the size of the square rectangle in the cell, the maximum value of the rectangular width of the horizontally long rectangle in the cell, and the maximum value of the height of the vertically long rectangle in the cell) are obtained from the circumscribed rectangle.
Here, ruled lines that divide the table area into cells may exist in the cells due to curling, etc., and in order to eliminate the adverse effects caused by this, when calculating the maximum value of a horizontal rectangle or vertical rectangle, the value The maximum value is obtained only for a rectangle whose value is smaller than a predetermined value.
セル内の行数が1行または2行であると判断できる3つの標準サイズの範囲値を予め定めておき、求められた3つの標準サイズが予め定めた範囲値であるかを調べることによって、セル内の行数を1行または2行であると判断する。 By predetermining three standard size range values that can be determined to be one or two rows in a cell, and examining whether the determined three standard sizes are predetermined range values, The number of rows in the cell is determined to be 1 row or 2 rows.
以上のように本実施形態を構成することにより、カラー原稿やグレースケール原稿で、表の罫線が色や濃淡によって引かれているような場合であっても正しくセルの区切りを判断できる。
また、二値化画像の場合や、色や濃淡によるセルの分割に失敗した場合であっても、セル内の情報を用いて、セル内の文字行の方向を推定することができる。これにより、文字認識処理の行切り出しの失敗を防ぐことができる。
By configuring the present embodiment as described above, it is possible to correctly determine the cell delimiter even when the ruled line of the table is drawn by color or shading in a color document or a gray scale document.
In addition, even in the case of a binarized image, or in the case where the cell division by color or shading has failed, the direction of the character line in the cell can be estimated using the information in the cell. As a result, it is possible to prevent failure of line extraction in character recognition processing.
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の画像処理装置および文字認識装置の機能をそれぞれプログラム化し、あらかじめCD−ROM等の記録媒体に書き込んでおき、画像処理装置および文字認識装置に搭載したCD−ROMドライブ等の媒体駆動装置にこのCD−ROM等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
The present invention is not limited only to the above-described embodiments. The functions of the image processing apparatus and the character recognition apparatus according to the above-described embodiments are programmed, written in advance on a recording medium such as a CD-ROM, and then driven by a medium such as a CD-ROM drive mounted on the image processing apparatus and the character recognition apparatus. It goes without saying that the object of the present invention can be achieved by mounting the CD-ROM or the like in the apparatus, storing these programs in a memory or storage device of a computer, and executing them.
In this case, the program itself read from the recording medium realizes the functions of the above-described embodiment, and the program and the recording medium recording the program also constitute the present invention.
なお、プログラムを格納する記録媒体としては半導体媒体(例えば、ROM、不揮発性メモリカード等)、光媒体(例えば、DVD、MO、MD、CD等)、磁気媒体(例えば、磁気テープ、フレキシブルディスク等)等のいずれであってもよい。 As a recording medium for storing the program, a semiconductor medium (for example, ROM, nonvolatile memory card, etc.), an optical medium (for example, DVD, MO, MD, CD, etc.), a magnetic medium (for example, magnetic tape, flexible disk, etc.) ) Or the like.
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。 Further, not only the functions of the above-described embodiment are realized by executing the loaded program, but also the above-described implementation by cooperating with the operating system or other application programs based on the instructions of the program. The case where the function of the form is realized is also included.
上記プログラムを市場に流通させる場合には、可搬型の記録媒体に当該プログラムを格納して流通させたり、或いは、サーバコンピュータの記憶装置に当該プログラムを格納しておき、インターネットを介して他のコンピュータに転送することでも流通させることができる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
なお、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムをインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。
When distributing the program to the market, store the program in a portable recording medium for distribution, or store the program in a storage device of a server computer and connect it to another computer via the Internet. It can also be distributed by transferring to. In this case, the storage device of this server computer is also included in the recording medium of the present invention.
In the computer, the functions of the above-described embodiments are realized by installing a program on a portable recording medium or a transferred program and executing the installed program.
また、上述のコンピュータは、単一のコンピュータとして適用することが可能であるが、複数のコンピュータネットワークとして適用することも可能であり、コンピュータで利用されるプログラムが他のコンピュータに記録され、リモートコンピュータとして分散的に処理または実行するようにしてもよい。 The above-described computer can be applied as a single computer, but it can also be applied as a plurality of computer networks. A program used in the computer is recorded in another computer, and the remote computer is used. May be processed or executed in a distributed manner.
このように上述した実施形態の機能をプログラム化して流通させることによって、コスト、可搬性、汎用性を向上させることができる。 As described above, by programming and distributing the functions of the above-described embodiment, cost, portability, and versatility can be improved.
10…入力部、15…原画像記憶部、20…二値化部、25…二値化画像記憶部、30…前処理部、40…領域識別部、45…領域分割結果記憶部、50…文字領域処理部、60…表領域処理部、61…罫線設定部、62…セル分割部、63…行方向推定部、70…出力部。 DESCRIPTION OF SYMBOLS 10 ... Input part, 15 ... Original image storage part, 20 ... Binarization part, 25 ... Binary image storage part, 30 ... Pre-processing part, 40 ... Area identification part, 45 ... Area division result storage part, 50 ... Character area processing unit, 60 ... Table area processing unit, 61 ... Ruled line setting unit, 62 ... Cell division unit, 63 ... Row direction estimation unit, 70 ... Output unit.
Claims (6)
前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成する罫線設定手段を有し、
前記セル分割手段は、該重ね合わせて生成された表領域画像をセル画像に分割し、
前記画像処理装置は、前記セル分割手段で分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が1行または2行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定する行方向推定手段を有することを特徴とする画像処理装置。 In an image processing apparatus having area identifying means for identifying a binarized image of a document image and extracting a table area image, and cell dividing means for dividing the table area image into cell images,
When the document image is a color image or a grayscale image, an edge having a predetermined length or more is extracted from the document image corresponding to the table area image, and the edge is superimposed on the table area image as a ruled line to create a new image. Having ruled line setting means for generating a table area image;
The cell dividing means divides the table region image generated by the superposition into cell images ,
The image processing apparatus extracts a circumscribed rectangle of a connected component of black pixels in the cell image divided by the cell dividing means, and determines whether the standard character size obtained from the circumscribed rectangle is a predetermined range value. To determine whether the number of rows in the cell is one or two, and in the table of the cell image, the number of rows, the vertical or horizontal length of the cell image, and the aspect ratio. An image processing apparatus comprising line direction estimation means for estimating a character line direction in a cell from the position of the character .
前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成し、該重ね合わせて生成された表領域画像をセル画像に分割し、当該分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が1行または2行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定するようにしたことを特徴とする画像処理方法。 In an image processing method for identifying a binarized image of a document image, extracting a table region image, and dividing the table region image into cell images,
When the document image is a color image or a grayscale image, an edge having a predetermined length or more is extracted from the document image corresponding to the table area image, and the edge is superimposed on the table area image as a ruled line to create a new image. A table area image is generated, the table area image generated by superimposing is divided into cell images, a circumscribed rectangle of a connected component of black pixels in the divided cell image is extracted, and obtained from the circumscribed rectangle It is determined whether or not the number of rows in a cell is one or two rows depending on whether or not the standard character size is a predetermined range value, and the length of the cell image and the length or width of the cell image An image processing method characterized in that the direction of a character line in a cell is estimated from the aspect ratio and the position in the table of the cell image .
前記原稿画像がカラー画像またはグレースケール画像の場合、前記表領域画像に対応する前記原稿画像から所定の長さ以上のエッジを抽出し、前記表領域画像に該エッジを罫線として重ねあわせて新たな表領域画像を生成する罫線設定手段を有し、
前記セル分割手段は、該重ね合わせて生成された表領域画像をセル画像に分割し、
前記文字認識装置は、前記セル分割手段で分割されたセル画像内の黒画素の連結成分の外接矩形を抽出し、該外接矩形から求めた標準文字サイズが予め定められた範囲値であるか否かによりセル内の行数が1行または2行であるか否かを判断し、前記行数と、前記セル画像の縦または横の長さ、および縦横比と、前記セル画像の表中での位置とからセル内の文字行方向を推定する行方向推定手段を有することを特徴とする文字認識装置。 Document image input means for inputting a document image, area identification means for identifying a binarized image of the document image and extracting a table area image, cell dividing means for dividing the table area image into cell images, In a character recognition device having character recognition means for recognizing a cell image,
When the document image is a color image or a grayscale image, an edge having a predetermined length or more is extracted from the document image corresponding to the table area image, and the edge is superimposed on the table area image as a ruled line to create a new image. Having ruled line setting means for generating a table area image;
The cell dividing means divides the table region image generated by the superposition into cell images ,
The character recognition device extracts a circumscribed rectangle of a connected component of black pixels in the cell image divided by the cell dividing means, and whether a standard character size obtained from the circumscribed rectangle is a predetermined range value or not. To determine whether the number of rows in the cell is one or two, and in the table of the cell image, the number of rows, the vertical or horizontal length of the cell image, and the aspect ratio. A character recognition device comprising line direction estimation means for estimating a character line direction in a cell from the position of the character .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004042389A JP4420440B2 (en) | 2004-02-19 | 2004-02-19 | Image processing apparatus, image processing method, character recognition apparatus, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004042389A JP4420440B2 (en) | 2004-02-19 | 2004-02-19 | Image processing apparatus, image processing method, character recognition apparatus, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005234845A JP2005234845A (en) | 2005-09-02 |
JP4420440B2 true JP4420440B2 (en) | 2010-02-24 |
Family
ID=35017747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004042389A Expired - Fee Related JP4420440B2 (en) | 2004-02-19 | 2004-02-19 | Image processing apparatus, image processing method, character recognition apparatus, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4420440B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4835459B2 (en) * | 2007-02-16 | 2011-12-14 | 富士通株式会社 | Table recognition program, table recognition method, and table recognition apparatus |
US8269850B2 (en) * | 2007-06-07 | 2012-09-18 | Sony Corporation | Signal processing method and signal processing system |
JP5386237B2 (en) * | 2009-06-02 | 2014-01-15 | 株式会社竹中工務店 | Material information management system |
JP5426501B2 (en) * | 2010-08-25 | 2014-02-26 | 富士フイルム株式会社 | Document browsing system, document image distribution apparatus, and document browsing method |
JP6607490B2 (en) * | 2015-10-26 | 2019-11-20 | シャープ株式会社 | CONVERSION PROCESSING DEVICE, INFORMATION PROCESSING DEVICE EQUIPPED WITH THE SAME, PROGRAM, AND RECORDING MEDIUM |
CN107016663B (en) * | 2016-11-30 | 2020-03-31 | 浙江理工大学 | Based on improve L0Method for dividing gradient fabric water dipping area |
CN110263682A (en) * | 2019-06-04 | 2019-09-20 | 北京华宇信息技术有限公司 | Table recognition method and apparatus, equipment and storage medium based on contours extract |
-
2004
- 2004-02-19 JP JP2004042389A patent/JP4420440B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005234845A (en) | 2005-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3768052B2 (en) | Color image processing method, color image processing apparatus, and recording medium therefor | |
JP4525787B2 (en) | Image extraction apparatus and image extraction program | |
US7738734B2 (en) | Image processing method | |
EP2270746B1 (en) | Method for detecting alterations in printed document using image comparison analyses | |
US7567708B2 (en) | Apparatus and method for image processing | |
US7321688B2 (en) | Image processor for character recognition | |
US8326078B2 (en) | System and method for removing artifacts from a digitized document | |
US7437002B2 (en) | Image recognition system utilizing an edge image and a binary image | |
JP4420440B2 (en) | Image processing apparatus, image processing method, character recognition apparatus, program, and recording medium | |
JP3615333B2 (en) | Ruled line eraser | |
JP4049560B2 (en) | Halftone dot removal method and system | |
JP4275973B2 (en) | Retouched image extraction apparatus, program, storage medium, and retouched image extraction method | |
JP6780271B2 (en) | Image processing equipment and image processing program | |
JP2001076095A (en) | Information processor and method therefor | |
JP4281236B2 (en) | Image recognition apparatus, image recognition method, and computer-readable recording medium storing image recognition program | |
US11570331B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7406884B2 (en) | Information processing device, program and control method | |
US20090051978A1 (en) | Image processing apparatus, image processing method and medium | |
JP2009217303A (en) | Telop character extraction method and telop character recognition device | |
JP4162195B2 (en) | Image processing apparatus and image processing program | |
JP2006072839A (en) | Image processing method, image processing apparatus, image processing program and recording medium | |
US11778122B2 (en) | Apparatus, method, and storage medium for removing shading dots | |
JP2003317107A (en) | Method and device for ruled-line detection | |
US20180013918A1 (en) | Image processing apparatus and method with partition image processing function | |
JP4040231B2 (en) | Character extraction method and apparatus, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061228 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090210 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091130 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4420440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131211 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |