JPS63153682A - Method and apparatus for processing contrast picture - Google Patents
Method and apparatus for processing contrast pictureInfo
- Publication number
- JPS63153682A JPS63153682A JP62008593A JP859387A JPS63153682A JP S63153682 A JPS63153682 A JP S63153682A JP 62008593 A JP62008593 A JP 62008593A JP 859387 A JP859387 A JP 859387A JP S63153682 A JPS63153682 A JP S63153682A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- target
- background
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 9
- 238000011410 subtraction method Methods 0.000 description 8
- 238000009499 grossing Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、濃淡画像処理に係り、特に複雑な背景や明る
さむらなどを有する画像に対しても適用可能な濃淡画像
の処理方法及び装置に関する。[Detailed Description of the Invention] [Field of Industrial Application] The present invention relates to grayscale image processing, and in particular to a grayscale image processing method and apparatus that can be applied to images with complex backgrounds and uneven brightness. Regarding.
画像処理装置を用いて文字などを認識する場合、一般に
は、テレビカメラなどで撮影した画像データをあるしき
い値レベルで′0″と′1′の2値データに圧縮して処
理することが多い。たとえば、文字を′1′、背景をi
0 +のレベルに2値化し、その′1′のデータにつ
いて認識処理を行う。When recognizing characters, etc. using an image processing device, it is generally necessary to compress image data taken with a television camera or the like into binary data of '0' and '1' at a certain threshold level and process it. For example, the character is '1' and the background is i.
The data is binarized to a level of 0+, and recognition processing is performed on the '1' data.
ところで、白紙に黒く書かれた文字を認識する場合のよ
うに、かなり鮮明な画像を対象とするときは、上述のし
きい値レベルは予め簡単に決定することが可能(たとえ
ば、平均濃度をしきい値とする)である、しかし、更に
難しいアプリケーションに対応するためには、上述のよ
うな単純な2値化処理では良好な結果が得られないこと
が多い。By the way, when the target is a fairly clear image, such as when recognizing characters written in black on a blank sheet of paper, the above-mentioned threshold level can be easily determined in advance (for example, by calculating the average density). However, in order to deal with more difficult applications, the simple binarization process described above often does not provide good results.
このアプリケーションの例を示すと、例えば次のような
ものが揚げられる。Examples of this application include the following:
(1)柄のあるダンボールの箱から文字を抽出する。(1) Extract characters from a patterned cardboard box.
(2) 、l外の看板等から文字を抽出する。(2) Extract characters from outside signboards, etc.
(3)プリント基板上から文字を抽出する。(3) Extract characters from the printed circuit board.
このような対象は、文字の背景が複雑かつ、明るさの変
動が激しいため単純な2値化は適用できない、そこで、
これらの対象でも良好な文字等を抽出する2値化の手法
を考案する必要があるが。Simple binarization cannot be applied to such objects because the background of the characters is complex and the brightness fluctuates rapidly, so
It is necessary to devise a binarization method to extract good characters etc. from these objects.
その従来例として、たとえば、「情景画像中からの文字
抽出法の検討」 (情報処理学会全国大会講演論文集:
’86.33大谷著)に記載のように、複雑あるいは低
コントラストの画像から文字を抽出する方法が提案され
ている。As a conventional example, for example, "Study of character extraction method from scene images" (Information Processing Society of Japan National Conference Proceedings):
A method for extracting characters from complex or low-contrast images has been proposed, as described in '86.33 by Otani).
これは、第2図のように、テレビカメラなどから入力し
た濃淡画像140の1画面を複数のサブブロック141
に分割し、このブロック内で最適な2値化のしきい値レ
ベルθhaを決める(第2図)。As shown in FIG.
The optimal threshold level θha for binarization within this block is determined (FIG. 2).
このときのしきい値θi、は、サブブロック141内で
白黒2つのクラスに分離する2クラス問題としてとらえ
、最もクラス間分散が最大となる値としている。更に、
サブブロック141間の連続性を保つために、第3図に
示すようにθ目を用いて画素ごとの補間を行い、この結
果のしきい値θ工11、すなわち各画素ごとのしきい値
θ。、yを予め決定し、入力画像を2値化する方法であ
る。The threshold value θi at this time is regarded as a two-class problem in which the sub-block 141 is separated into two classes, black and white, and is set to a value that maximizes the inter-class variance. Furthermore,
In order to maintain continuity between sub-blocks 141, interpolation is performed for each pixel using the θ-th as shown in FIG. . , y are determined in advance and the input image is binarized.
又、特開昭61−7406号公報では、形状の欠陥検出
を行う場合であるが、あらかじめ基準画像を記憶してお
き、その基準画像と被検査対象物との比較(たとえば差
分)を行い欠陥を検出する方法も提案されている。Furthermore, in JP-A-61-7406, when detecting defects in shape, a reference image is stored in advance, and the reference image and the object to be inspected are compared (for example, by difference) to detect defects. A method for detecting this has also been proposed.
上記従来技術の問題点は、前者では、°サブブロック内
のしきい値θN、の決定のために濃度ヒストグラム(各
濃度レベルの頻度をサブブロック内で求める)を用いて
、2次元の画像データを1次元のデータに変換している
ため、明るさの位置情報を考慮できず、最適なしきい値
が決定できない。The problem with the above conventional technology is that in the former, a density histogram (the frequency of each density level is determined within a subblock) is used to determine the threshold value θN within a subblock, and two-dimensional image data is is converted into one-dimensional data, the positional information of brightness cannot be taken into account, and the optimal threshold value cannot be determined.
又、各画素に対し、θi−を用いて補間法でしきい値θ
Ill?を求めているため、真のしきい値とは異ってし
まう、更に、上記の各処理は処理時間がかかり、リアル
タイムでの文字抽出ができないなどがあげられる。
”
一方、後者のように濃淡両像そのものをあらかじめ記憶
している基準画像と比較する方法は、常に明るさ9位置
、大きさなどが一定であれば、シェーディングの影響な
どが除去でき、かつ高速に処理可能であるが、現実には
明るさの変動は除去できず、このため、複雑な画像や明
るさのむらがりアルタイムに変化するような対象には適
用できない欠点があった。Also, for each pixel, the threshold value θ is determined by interpolation using θi−.
Ill? , which differs from the true threshold.Furthermore, each of the above processes takes processing time, making it impossible to extract characters in real time.
” On the other hand, the latter method, which compares both the dark and dark images themselves with a reference image stored in advance, can remove the effects of shading and is fast if the brightness, position, size, etc. are always constant. However, in reality, fluctuations in brightness cannot be removed, and this has the disadvantage that it cannot be applied to complex images or objects whose brightness changes in real time.
本発明の目的は、上記した従来技術の欠点に鑑み、複雑
な画像あるいは、明るさのむらなどが時時刻々と変化す
る環境下であっても、処理対象画像の中から高速かつ鮮
明に文字等の目標画像を抽出することにある。In view of the above-mentioned shortcomings of the prior art, it is an object of the present invention to quickly and clearly print out characters from images to be processed, even in complex images or in environments where uneven brightness changes over time. The goal is to extract the target image.
ところで、複雑な対象画像、あるいは明るさ変化のある
対象画像から目標画像を抽出しにくい理由は、所定の領
域にわたって目標画像を抽出するためのしきい値が求め
難い、また明るさの変化によってこのしきい値も影響を
受けるからと考えられる。By the way, the reason why it is difficult to extract a target image from a complex target image or a target image with changes in brightness is that it is difficult to find a threshold value for extracting the target image over a predetermined area, and it is difficult to extract the target image from a complex target image or a target image with changes in brightness. This is thought to be because the threshold value is also affected.
しかし1例えば、文字等が黒いという意味は、その文字
等がRHに比べて暗いということであり。However, 1. For example, the meaning that the letters, etc. are black means that the letters, etc. are darker than RH.
絶対値で明るいか暗いかではない、すなわち、目標画像
の明るさと周囲の画像の明るさとのコントラストによっ
て目標画像を認識することができ、この場合、明るさの
変化の影響を受けにくいと考えられる。The target image can be recognized not by whether it is bright or dark in absolute value, but by the contrast between the brightness of the target image and the brightness of surrounding images, and in this case, it is thought that it is less affected by changes in brightness. .
本発明はこの点に着目したもので、前記目的は。The present invention focuses on this point, and has the above object.
数階間の明るさを有する処理対象画像を入力し、この入
力した処理対象画像から背景画像を作成し、この背景画
像と上記処理対象画像とで画像間演算、例えば比較演算
によって目標画像を抽圧することにより達成され、この
思想を利用することでさらに高度な処理等が達成される
。An image to be processed with a brightness level of several levels is input, a background image is created from the inputted image to be processed, and a target image is extracted by an inter-image operation, for example, a comparison operation, between this background image and the above-mentioned image to be processed. By applying this idea, even more advanced processing can be achieved.
ここで、目標画像とは、抽出したい画像のことである。Here, the target image is an image to be extracted.
また、背景画像とは、処理対象画像から目標画像を除い
た画像であって、この目標画像の影響を完全に除いた画
像の外、目標画像の影響を軽減した画像をも含むもので
ある。Furthermore, the background image is an image obtained by removing the target image from the processing target image, and includes not only an image in which the influence of the target image is completely removed, but also an image in which the influence of the target image is reduced.
本発明では、入力した処理対象画像を基に、その背景画
像を作成している。よって、この背景画像は、そのとき
の対象画像の内容、あるいは明るさの変化をも反映して
いる。In the present invention, a background image is created based on the input image to be processed. Therefore, this background image also reflects the contents of the target image at that time or changes in brightness.
したがって、この背景画像と前記入力した処理対象画像
との間で演算し、対象画像の中から背景画像を除けば、
目標とする画像を抽出することができる。この場合、背
景画像は、処理対象画像から作成するので予め設定する
必要がなく、そのときの明るさ等も反映しているので、
高速かつ鮮明に画像抽出することができるわけである。Therefore, if a calculation is performed between this background image and the input processing target image, and the background image is removed from the target image,
A target image can be extracted. In this case, the background image is created from the image to be processed, so there is no need to set it in advance, and it also reflects the brightness etc. at that time.
This means that images can be extracted quickly and clearly.
なお、この背景画像の具体的作成方法等については、以
下の説明で各種例を挙げて詳述する。Note that a specific method for creating this background image will be explained in detail in the following explanation by giving various examples.
先ずここで、背景画像の作成方法及び、コントラスト画
像作成方法の概要について、−次元の画像の例を挙げて
簡単に説明する。First, an overview of the method for creating a background image and the method for creating a contrast image will be briefly explained using an example of a -dimensional image.
第3図(1)は入力画像fsであり、このうちA−A’
の1ラインだけを横軸に位置、縦軸に明るさとして表わ
したのが第2図のg^である。ここで、文字を抽出した
いとすると、予め設定したしきい値THで、これより明
るい部分を′0′。FIG. 3(1) shows the input image fs, of which A-A'
g^ in Fig. 2 represents only one line of , with the position on the horizontal axis and the brightness on the vertical axis. Here, if you want to extract a character, a preset threshold value TH is set, and parts brighter than this are set to '0'.
暗い部分を11′とする2値化を行うこともできる。し
かし、このしきい値THは絶対的な値であるため、処理
対象画像すなわち入力画像の明るさむらや、複雑な背景
が生じると、Tsを決定するのが難しくなる。It is also possible to perform binarization in which the dark portion is set to 11'. However, since this threshold value TH is an absolute value, it becomes difficult to determine Ts if the image to be processed, that is, the input image, has uneven brightness or a complex background.
そこで、背景画像を作成し、差をとる方法を用いる。入
力画像に対し、たとえば第4図のように3画素f1r
fz 、fsのフィルタを設け、このフィルタでa+a
x(f t) i = 1〜3を求め、これをfzの
位置に書込む処理を、ラスクスキャンして今、第3図(
1)の文字幅が5画素とすると、上記処理を3回繰り返
すと、第4図のように、文字の暗い部分が完全に周囲の
背景画像データに置き換わる。すなわち、文字幅に応じ
た処理を行えば。Therefore, a method of creating a background image and taking the difference is used. For the input image, for example, 3 pixels f1r as shown in FIG.
Provide fz and fs filters, and use a+a with this filter.
The process of finding x(ft) i = 1 to 3 and writing it to the fz position is performed by rask scanning and is now shown in Figure 3 (
Assuming that the character width in 1) is 5 pixels, repeating the above process three times will completely replace the dark part of the character with the surrounding background image data, as shown in FIG. In other words, if you perform processing according to the character width.
背景画像が容易に作成できる。この背景画像(δ)
g^ と入力画像g^との差をとると、第5図のように
明るさが10′ レベルを基準として文字部だけが鮮明
になる。この差分画像すなわち目標画像は、抽出したい
領域のコントラストから得られるものであり、画面全体
の明るさが変化しても、はとんど一定している。したが
って、このような入力画像から1例えば文字等を取り出
す場合の2値化しきい値は、複雑な演算を用いなくとも
容易に設定することができる。Background images can be easily created. If we take the difference between this background image (δ) g^ and the input image g^, only the character part becomes clear with the brightness at the 10' level as a reference, as shown in Fig. 5. This difference image, that is, the target image, is obtained from the contrast of the region to be extracted, and remains almost constant even if the brightness of the entire screen changes. Therefore, the binarization threshold when extracting a character, for example, from such an input image can be easily set without using complicated calculations.
以上は、暗い文字の抽出を示したが、明るい文字抽出の
場合は、前記したフィルタの演算をwin(f +)i
= 1〜3として、入力画像から背景画像を差し引け
ばよい。The above describes the extraction of dark characters, but in the case of bright character extraction, the above filter calculation is performed using win(f+)i
= 1 to 3, and the background image may be subtracted from the input image.
ところで、実際の画像では、第3図のような鮮明な入力
画像だけでなく、第1図のように明るさの傾き(むら)
をもった対象が多い、このような画像に対し、上述の処
理だけを行うと、第1図(4)のように傾きのある背景
部分(図中斜線部)まで抽出されてしまう。そこでこの
ような場合、第1図(3)の画像(wax(ft)i=
1〜3の結果をn回実行した画像)を更に、今度はwi
n(ft)i=1〜3を同じ回数だけ繰り返す処理を行
うことも出来る。この処理により、一度埋まった明るさ
の凹部の領域はそのままで、傾斜部だけが入力画像と同
じ明るさにもどる。したがって、この画像と入力画像と
差分をとれば、文字部だけが抽出できることになる。こ
のような、背景画像を作成して入力画像との差分を求め
、2値化する方法を、以下、背景画像差分法と称す。By the way, in an actual image, not only a clear input image as shown in Fig. 3, but also a gradient (unevenness) of brightness as shown in Fig.
If only the above-mentioned processing is performed on such an image, in which there are many objects with a large number of objects, even the slanted background portion (hatched area in the figure) as shown in FIG. 1 (4) will be extracted. Therefore, in such a case, the image (wax(ft)i=
The image obtained by executing the results of steps 1 to 3 n times) is further updated with wi
It is also possible to perform a process of repeating n(ft)i=1 to 3 the same number of times. Through this process, the brightness of the concave area that was once filled remains as it is, and only the slope area returns to the same brightness as the input image. Therefore, by taking the difference between this image and the input image, only the text portion can be extracted. Such a method of creating a background image, calculating the difference from the input image, and binarizing it is hereinafter referred to as a background image difference method.
ここで、wax(ft)i=1〜nの値をflのフィル
タの中心に与える処理を局所最大値フィルタ処理、一方
、win(f t) i = l 〜nの場合を局所最
小値フィルタ処理と称す。Here, the process of giving the values of wax (ft) i = 1 to n to the center of the filter of fl is called local maximum filter processing, while the case of win (ft) i = l to n is called local minimum filter processing. It is called.
なお、第1図にシェーディングのある画像であるが、一
般にシェーディング補正は、あらかじめ白い紙を撮影し
て、その得られた画像のむらを計算し、各画素ごとの補
正値を記憶する。オンライン時は1次々と得られる処理
対象画像の各画素に対し、上記で記憶した補正値で各画
素の濃度を補正することが行われる。しかし、このよう
な補正法は、常にシェーディングの状態が一定であり、
又、全体の明るさも一定でなければ効果がないが、上述
した本発明の背景画像差分法では、得られる入力画像か
ら直接背景画像を作成するので、シェーディング状態や
、明るさの変動に対しても有効に対処可能である。Although FIG. 1 shows an image with shading, shading correction is generally performed by photographing a white sheet of paper in advance, calculating the unevenness of the obtained image, and storing a correction value for each pixel. When online, the density of each pixel of the image to be processed that is obtained one after another is corrected using the correction value stored above. However, in this correction method, the shading state is always constant;
Furthermore, it is not effective unless the overall brightness is constant, but in the background image subtraction method of the present invention described above, the background image is created directly from the obtained input image, so it is not effective against shading conditions and brightness fluctuations. can also be effectively dealt with.
以下、本発明の具体的一実施例を1図を用いて説明する
。第5図は本発明の一構成を示す図であり、テレビカメ
ラ10.A/D変換器119画像メモリ129局所最大
値フィルタ回路139局所最小値フィルタ回路1419
画像間演算回路15゜2値化回路16.CPU17.D
/A変換ill 8゜モニタ19からなっている。Hereinafter, a specific embodiment of the present invention will be described using FIG. FIG. 5 is a diagram showing one configuration of the present invention, in which a television camera 10. A/D converter 119 Image memory 129 Local maximum value filter circuit 139 Local minimum value filter circuit 1419
Inter-image calculation circuit 15° binarization circuit 16. CPU17. D
/A conversionill Consists of 19 8° monitors.
このような構成において、テレビカメラ10などによっ
て撮影された画像信号はA/D変換器11によって例え
ば128階調の濃度データに変換されて画像メモリ12
に記憶される。ここで画像メモリ12は、たとえば25
6X256画素の濃淡画像メモリかに枚01〜Gkmわ
っており、又。In such a configuration, an image signal photographed by a television camera 10 or the like is converted into density data of, for example, 128 gradations by an A/D converter 11 and stored in an image memory 12.
is memorized. Here, the image memory 12 includes, for example, 25
The 6x256 pixel grayscale image memory has 01~Gkm.
必要に応じて2値画像メモリがQ枚81〜Bm備わって
いる。Q pieces of binary image memory 81 to Bm are provided as required.
ところで、前述した局所最大値、最小値フィルタ処理の
説明は、−次元のフィルタを用いたが、実際の画像は2
次元であるため、該フィルタ処理も第6図のように3×
3画素ft 、f2・・・fllの中から最大値や最小
値を取り出し、その値をFとして格納対象濃淡画像に埋
込む処理とする。By the way, in the explanation of the local maximum value and minimum value filter processing mentioned above, a -dimensional filter was used, but the actual image is
Since the filtering process is also 3× as shown in FIG.
The maximum value and minimum value are extracted from the three pixels ft, f2, .
さて、上記フィルタの大きさを通常用いられる3×3画
素のフィルタとして、背景に比べ暗い文。Now, assuming that the size of the above filter is a commonly used 3x3 pixel filter, the text is darker than the background.
字を抽出する処理手順を以下示す。The processing procedure for extracting characters is shown below.
第7図に手順に示すが、入力した濃淡画像Glを局所最
大値フィルタ処理回路13でフィルタ処理してG2の濃
淡画像メモリへ格納しく91)、このGzの画像に対し
て同じく最大値フィルタ処理して再びG2^格納する(
93)、この最大値フィルタ処理は1文字幅が埋まる程
度繰り返し処理する。ここではトータルm回施す(92
)、更にこの02画像を局所最小値フィルタ処理回路1
4でフィルタ処理して、再び02画像へ格納する(95
)。この処理をn回繰り返す(94)−。As shown in the procedure in FIG. 7, the input grayscale image Gl is filtered by the local maximum value filter processing circuit 13 and stored in the grayscale image memory of G2 (91), and the image of Gz is similarly subjected to the maximum value filtering process. and store G2^ again (
93), this maximum value filtering process is repeated until one character width is filled. Here, it is applied a total of m times (92
), this 02 image is further processed by local minimum value filter processing circuit 1
4 to filter and store it again in 02 image (95
). This process is repeated n times (94)-.
このnは通常はn=mである。This n is usually n=m.
最終的に得られたaS画像は、入力画像G1に対し1m
回局所最大値フィルタ処理とn回局所最小値フィルタ処
理を施した画像であり、この画像G2が背景画像となる
。ここでは、背景に比べ暗い文字を抽出するために、明
るさの凹部を埋めた背景画像となる。この画像Gtと入
力画像G1と画像間演算回路でたとえば画素ごとの差分
をとれば(96)、この例では暗い文字領域だけが明る
くなって周囲の背景はほとんど10ルベルとなる(Ga
画像)。The finally obtained aS image is 1m relative to the input image G1.
This is an image that has been subjected to local maximum value filtering twice and local minimum value filtering n times, and this image G2 becomes the background image. Here, in order to extract characters that are darker than the background, the background image is filled with brightness depressions. If, for example, a pixel-by-pixel difference is calculated between this image Gt, the input image G1, and the inter-image calculation circuit (96), in this example, only the dark character area becomes brighter, and the surrounding background becomes almost 10 lvl (Ga
image).
この画像G8から2値化して文字を抽出する場合は、あ
らかじめ決められたしきい値レベルより明るい画素を取
り出す2値化を2値化回路16で行ったり、あるいは、
この差分画像G8の濃度レベルをもとに、たとえば最大
濃度と最小濃度の平均値や全体の平均濃度などをしきい
値レベルとして2値化してもよい、いずれにしても、し
きい値レベルは簡単に求まる(97)。When extracting characters by binarizing this image G8, the binarization circuit 16 performs binarization to extract pixels brighter than a predetermined threshold level, or
Based on the density level of this difference image G8, for example, the average value of the maximum density and minimum density or the overall average density may be binarized using the threshold level. In any case, the threshold level is It is easily found (97).
また、上記倒置外に2背景画像に対し一定値を加えた画
像と入力画像との差分を求め、このコントラスト画像を
、0以上を抽出する2値化を行うと、コントラスト画像
の固定2値化が同様に可能であり、更に入力画像と背景
画像との差分画像を1/2あるいは1/3といったスケ
ールで割っておいて、この画像を2値化すれば、ノイズ
の発生が少なくなる等の変形も容易である。In addition, if you calculate the difference between the input image and the image obtained by adding a constant value to the two background images in addition to the above-mentioned inversion, and perform binarization to extract 0 or more of this contrast image, it is possible to convert the contrast image into a fixed binary value. is similarly possible, and if the difference image between the input image and the background image is divided by a scale of 1/2 or 1/3 and this image is binarized, noise generation can be reduced. It is also easy to deform.
ここで、mやnの回数は抽出したい文字の幅によって一
意に決まり、たとえば文字幅が5画素程度なら、mやn
は3回程度となる。なお、第8図に処理結果例を示す、
101は入力画像G1.102は局所最大値フィルタ処
理結果、103は102を更に局所最小値フィルタ処理
した結果であり、104は103から101の入力画像
G1を差し引いた画像である。この図では、細い文字領
域を取り出すための処理となるよう上記m、 nの回数
を設定しており、文字の周囲に存在する物体は同じ暗い
領域であるにもかかわらず抽出されない利点がある。Here, the number of times m or n is determined uniquely depending on the width of the character you want to extract. For example, if the character width is about 5 pixels, m or n
is about 3 times. An example of the processing results is shown in Fig. 8.
101 is the input image G1. 102 is the result of local maximum filter processing, 103 is the result of further local minimum filter processing of 102, and 104 is the image obtained by subtracting the input image G1 of 101 from 103. In this figure, the number of times m and n are set so that the processing is performed to extract a thin character area, which has the advantage that objects existing around the character are not extracted even though they are the same dark area.
以上の処理を第9図のようなシェーディング(明るさの
むら)がかかったような対象画像に適用すると、一般に
は文字部てを抽出する2値化のしきい値レベルは決定し
にくい(第2図参照)。When the above processing is applied to a target image with shading (unevenness in brightness) as shown in Figure 9, it is generally difficult to determine the binarization threshold level for extracting text (second (see figure).
しかし、前述の手法を用いると第4図のように文字部の
コントラストを抽出することにより、明るさのむらを除
去することができ、文字を抽出する2値化は容易となる
。However, if the above-mentioned method is used, the unevenness in brightness can be removed by extracting the contrast of the text portion as shown in FIG. 4, and the binarization for extracting the text becomes easy.
第10図のは、入力画像、■は背景画像を作成した結果
、■は入力画像から背景画像(包絡面画像)を差し引い
た結果を、夫々3次元表示したものである。なお、この
例は文字が背景に比べ明るい場合であり、背景画像の作
成は局所最小値フィルタ局所最大値フィルタの手順とな
り、明るさの凸部を削った背景画像を作成することにな
る。FIG. 10 shows three-dimensional displays of the input image, ■ the result of creating a background image, and ■ the result of subtracting the background image (envelope image) from the input image. Note that in this example, the characters are brighter than the background, and the background image is created using a local minimum value filter and local maximum value filter procedure, and a background image with convex parts of brightness removed is created.
なお、このような背景画像差分法は、第11図のような
物体の欠け(a)あるいは突起物検出にも有効である。Note that such a background image subtraction method is also effective for detecting a chip (a) or a protrusion in an object as shown in FIG.
第1図は入力画像、第2図は局所最小値フィルタn回1
局所最小値フィルタm回を施した背景画像、第3図は第
1図〜第2図の差分画像である。Figure 1 is the input image, Figure 2 is the local minimum filter n times 1
The background image that has been subjected to the local minimum filter m times, and FIG. 3, is a difference image between FIGS. 1 and 2.
ところで、以上の説明は3×3画素の局所フィルタで実
行したため1文字の幅がたとえば5画素とすると3回程
度局所フィルタ処理を繰り返し実行する必要があるが1
局所フィルタの大きさが5×5画素なら2回、7×7画
素なら1回の局所フィルタ処理で実行できる。したがっ
て、前述した小さな局所フィルタで繰り返し実行する方
法と、抽出したい文字幅に相当する大きさをもったフィ
ルタで1回の実行をすることでも同様な効果が得られる
。尚、この背景画像差分法は、明るさにむらがない場合
は、第3図のように、局所最大値あるいは局所最小値フ
ィルタだけで背景画像を作成してもよく、また、精度を
要求されない場合は常に最大値あるいは最小値フィルタ
だけでもよい。By the way, the above explanation was performed using a 3 x 3 pixel local filter, so if the width of one character is, for example, 5 pixels, it would be necessary to repeat the local filter process about 3 times, but 1
If the size of the local filter is 5×5 pixels, the local filter processing can be performed twice, and if the size of the local filter is 7×7 pixels, the local filter processing can be performed once. Therefore, the same effect can be obtained by repeatedly executing the process using a small local filter as described above, or by executing the process once using a filter whose size corresponds to the character width to be extracted. In this background image subtraction method, if there is no unevenness in brightness, the background image may be created using only a local maximum value or local minimum value filter, as shown in Figure 3, and accuracy is not required. If so, you can always just use a maximum or minimum filter.
くキズや汚れ検出への応用〉
キズや汚れなどを検出する場合、白い汚れ、黒い汚れな
どがあり、又、大きさも種々雑多である。Application to Detection of Scratches and Dirt> When detecting scratches and stains, there are white stains, black stains, etc., and they also come in various sizes.
このような対象から汚れなどを検出するために、前述し
た手法を用いると、シェーディングの除去はできても、
白及び黒の汚れ両者の検出はできず、又、あらかじめ設
定した局所最大値フィルタ処理などの回数で検出できな
い極めて大きな汚れには適用できない、逆に検出しよう
とすると前述した繰り返し回数だけ増加し、処理時間が
膨大となる。If you use the above-mentioned method to detect dirt etc. from such an object, although it is possible to remove shading,
It is not possible to detect both white and black stains, and it cannot be applied to extremely large stains that cannot be detected by a preset number of local maximum value filter processing.On the other hand, if you try to detect them, the number of repetitions increases as described above. Processing time becomes enormous.
そこで、キズや汚れ検出は、形は正確に抽出できなくて
も、そこに有るか否かが重要であるため、小さな汚れは
全て検出して、大きな汚れは輪郭だけを検出するように
すれば、処理時間も高速となる。Therefore, when detecting scratches and dirt, even if the shape cannot be extracted accurately, it is important to know whether they are there or not, so it is possible to detect all small dirt and detect only the outline of large dirt. , processing time is also faster.
本発明はこのような場合にも応用できる。すなわち、第
12図のように、小さな黒い汚れ121、小さな白い汚
れ122、大きな黒い汚れ123がある対象として、た
とえば小さな黒い汚れ(幅5画素とする)は全と検出す
るものとする。この時の入力画像は第1図で、局所最大
値フィルタ処理を3回実行すると、第2図、局所最小値
フィルタ処理を2回実行すると第3図のようになる。こ
の背景画像から入力画像を差し引くと第4図のように5
画素以下の黒の汚れは全て検出でき、その他の汚れは、
輪郭が抽出できる(5) 、 L、たがって、このよう
に1局所最大値フィルタ処理と局所最小値フィルタ処理
の繰り返し回数を異なるよう設定すると、所定の大きさ
以上の汚れや白、黒画者の汚れの有無も検出可能である
。The present invention can also be applied to such cases. That is, as shown in FIG. 12, for an object having a small black stain 121, a small white stain 122, and a large black stain 123, for example, a small black stain (with a width of 5 pixels) is detected as a whole. The input image at this time is as shown in FIG. 1. If the local maximum value filtering process is executed three times, the input image becomes as shown in FIG. 2, and if the local minimum value filtering process is executed twice, it becomes as shown in FIG. 3. If we subtract the input image from this background image, we get 5 as shown in Figure 4.
All black dirt below the pixel can be detected, and other dirt can be detected.
Contours can be extracted (5), L.Therefore, by setting the number of repetitions of local maximum value filtering and local minimum value filtering to be different in this way, it is possible to extract stains larger than a predetermined size, white, and black images. It is also possible to detect the presence or absence of dirt on the surface.
なお、上記処理例は、局所最大値フィルタ処理→局所最
小値フィルタ処理→背景画像から入力画像を引く、であ
るが、逆に、局所最小値フィルタ処理→局所最大値フィ
ルタ処理→入力画像から背景画像を引くの手順でも同様
な効果が表われる。Note that the above processing example is local maximum value filtering → local minimum value filtering → subtracting the input image from the background image, but conversely, local minimum value filtering → local maximum value filtering → subtracting the background from the input image A similar effect appears in the image drawing procedure.
又、繰り返し回数についても、最大、a、J=それぞれ
の回数が異っていればよく、上述のように1回の差をも
たせることに限定はされない。Further, regarding the number of repetitions, it is sufficient that the maximum, a, and J = each number are different, and the difference is not limited to one time as described above.
また、第5図の処理結果に対し、穴うめ処理を行えば、
汚れの形も容易にV&識することができる。Also, if hole filling processing is performed on the processing results shown in Fig. 5,
The shape of dirt can also be easily recognized.
〈任意の幅だけを抽出するための応用〉文書画像などに
おいては5文字の幅が太いもの細いものなどが混在する
。このような対象から、たとえば太い文字だけを取り出
すためには、次の手順をとるのが一般的と考える。<Application for extracting only arbitrary widths> In document images, etc., the width of five characters is mixed, including thick and thin widths. In order to extract only bold characters, for example, from such an object, I think it is common to take the following steps.
(1)2値化・・・・・・文字全てを鮮明に抽出する。(1) Binarization: Extract all characters clearly.
(2)各文字の領域を決める
(3)上記領域内の文字幅を特徴量などを用いて測定す
る。(2) Determine the area of each character. (3) Measure the width of the character within the area using a feature amount or the like.
(4)所定の値を満足する線幅なら抽出する。(4) If the line width satisfies a predetermined value, it is extracted.
このような処理を実行すると1文字の数が多くなるにつ
れ、処理時間が膨大となる。そこで、これまで述べた背
景画像差分法を応用すると、比較的容易に特定線幅の抽
出が可能となる。すなわち、上記処理は、局所フィルタ
の処理回数あるいは局所フィルタの大きさによって抽出
される文字幅が限定されるが、これを用いて、たとえば
太い文字だけを抽出する場合であれば、まず太い文字以
下が抽出できる局所フィルタの回数の背景画像差分法を
実行して太い文字以下全てを抽出する。そして、今度は
細い文字だけが抽出できる局所フィルタ処理の回数で背
景画像差分法を実行して細い文字以下を抽出する。この
両者の差分画像を求めれば、太い文字だけのコントラス
ト画像を抽出することができる。When such processing is performed, the processing time becomes enormous as the number of characters increases. Therefore, by applying the background image difference method described above, it becomes possible to extract a specific line width relatively easily. In other words, in the above process, the character width extracted is limited depending on the number of times the local filter processes or the size of the local filter, but if you use this to extract only thick characters, first Execute the background image difference method as many times as the local filter can extract everything below the bold characters. Next, the background image subtraction method is executed using the number of local filter processes that allow only thin characters to be extracted, and the thin characters and smaller characters are extracted. By obtaining a difference image between the two, it is possible to extract a contrast image of only bold characters.
具体的に第13図を用いて示すと、線幅が3の細い文字
131と線幅9画素の太い文字132の混在する画像の
中から、太い文字132だけを抽出する場合は、まず、
太い文字、aい文字全てが抽出できるよう、局所最大値
フィルタ処理を5回、と入力画像g^との差分Bを求め
ると、細い文字。Specifically, using FIG. 13, when extracting only the thick characters 132 from an image containing a mixture of thin characters 131 with a line width of 3 and thick characters 132 with a line width of 9 pixels, first,
In order to extract all thick and a-sized characters, we perform the local maximum value filtering process five times and calculate the difference B between the input image g^ and find that the characters are thin.
太い文字のコントラスト画像(第3図)が作成できる。A contrast image (Figure 3) of bold characters can be created.
一方、細い文字だけを抽出するために、局(第4図)を
作成する。この画像と入力画像g^との差分Cを求める
と、細い文字だけのコントラスト画像(第5図)が作成
できる。更に、この2つのコントラスト画像BとCの差
分を求めるとDのように太い文字だけのコントラスト画
像(第6図)が作成できる。この画像を2値化すれば太
い文字だけを鮮明に抽出可能となる。On the other hand, in order to extract only thin characters, a station (Fig. 4) is created. By finding the difference C between this image and the input image g^, a contrast image of only thin characters (Fig. 5) can be created. Furthermore, by calculating the difference between these two contrast images B and C, a contrast image of only bold characters like D (FIG. 6) can be created. If this image is binarized, only the bold characters can be clearly extracted.
又、上記手法は2つのコントラスト画像の差分で求めた
が、他の手法として、第3図の画像をある値で2値化し
、更に第5図の画像を2値化して、この2つの2値画像
の排他的論理和処理を行うと、同様に太い文字だけを抽
出できる。In addition, although the above method was calculated using the difference between two contrast images, another method is to binarize the image in Figure 3 with a certain value, further binarize the image in Figure 5, and calculate the difference between these two contrast images. By performing exclusive OR processing on the value images, only bold characters can be similarly extracted.
く白い文字、黒い文字の抽出〉
文字認識の対象には、一般に白い紙に黒い文字が書かれ
ていることが多いが、たとえば車のナンバープレートは
、第14図のように、白地に緑文字(a)、緑地に白文
字(b)といったようにさまざまな色がある。このよう
な対象に対して背景画像差分法を用いる場合、あらかじ
めナンバープレートの色が機知であればどの局所フィル
タ処理を先に実行するかが決まるが、オンラインで次々
と走行する車のナンバープレートから文字を抽出する場
合には、その都度抽出したい文字が背景に比べ暗いか明
るいかを判定する必要がある。このための処理として、
第16図を用いて説明する。Extraction of dark white characters and black characters> Character recognition targets generally have black characters written on white paper, but for example, a car license plate has green characters on a white background, as shown in Figure 14. There are various colors such as (a) and white letters on a green background (b). When using the background image subtraction method for such a target, if the color of the license plate is known in advance, it is determined which local filtering process to perform first. When extracting characters, it is necessary to determine each time whether the characters to be extracted are darker or brighter than the background. As a process for this purpose,
This will be explained using FIG. 16.
ナンバープレートの領域をある手段(たとえば特開昭6
0−168485号記載)で決定すると(161)、そ
のナンバープレート領域の濃度ヒストグラムは第15図
の(a)か(b)のパターンとなる。すなわち、ナンバ
ープレートの背景の方が文字に比べ面積は大きいから、
第14図の(a)のナンバープレートなら第15図の(
a)のように明るい濃度の方が頻度が高くなる。逆に第
14図(b)のようなナンバープレートなら第15図(
b)のパターンとなる。したがって濃度ヒストグラムを
求めれば、文字色を判定することができる(161)。The area of the license plate can be
0-168485) (161), the density histogram of the license plate area becomes the pattern shown in FIG. 15 (a) or (b). In other words, since the background of the license plate has a larger area than the letters,
If the license plate is shown in (a) in Figure 14, it is shown in (a) in Figure 15.
The frequency is higher for brighter densities as in a). On the other hand, if the license plate is as shown in Figure 14(b), it is as shown in Figure 15(
This becomes the pattern b). Therefore, by obtaining the density histogram, the character color can be determined (161).
この判定結果を用いて、背景に比べ文字が明るいか暗い
かでどのフィルタ処理を先に実行するかを決めればよい
、すなわち、背景に比べ明るければ、第16図164の
ように局所最小値フィルタを先に、暗ければ局所最大値
フィルタを先に処理する背景画像差分法を実行すればよ
い(165)、このように文字色判定を追加することに
より明るい文字、暗い文字いずれも抽出可能となる。又
、第16図以外の簡易な方法としては、常に明るい場合
、暗い場合両者の処理を実行し、それぞれの文字抽出結
果画像の中に文字らしき領域があるかないかを特徴量(
たとえば面積1周囲長など)を用いて判定し、文字があ
る側の処理結果画像をその後の処理に用いる方法もある
。Using this determination result, it is only necessary to decide which filter processing to perform first depending on whether the characters are bright or dark compared to the background.In other words, if the characters are bright compared to the background, the local minimum value filter process as shown in 164 in FIG. If the text is dark, the local maximum value filter is processed first (165). By adding text color determination in this way, it is possible to extract both bright and dark characters. Become. In addition, a simple method other than that shown in Fig. 16 is to perform both processing when it is always bright and when it is dark, and then use the feature quantity (
For example, there is also a method of making a determination using (area per perimeter, etc.) and using the processed image on the side where the characters are present for subsequent processing.
ところで、暗い文字及び、明るい文字が混在するような
対象から両者を抽出する方法を以下示す。By the way, a method for extracting dark characters and bright characters from an object in which both characters are mixed will be described below.
第17図に入力画像の1ライン成分をg^とじて示すが
、これを一方は、局所最大値フィルタ→局し引き、第3
図のBの画像を作成する。他方、入を作成し、これと入
力画像との差分から第5図のCの画像を作成する。これ
ら2つのコントラスト画像BとCの和を求める画像間演
算(B+C)や、2つの画像の各画素の最大値を求れる
画像間演算MAX(B、C)、差を求め絶対値をとる画
像間演算IB−Clのいずれかの処理を行うと、暗い文
字(j)の回数をg^とf^で異るように設定すると、
暗い文字の抽出される幅と明るい文字の抽出される幅を
別にすることもできる。又、特定の線幅抽出の項で述べ
たように、各々のコントラスト画像BとCをまず2値化
して排他的論理和(XOR)処理を実行する方法もある
。いずれにしても、明るいあるいは暗い文字を抽出する
ための背景画像差分法をそれぞれ実行して、両者で得ら
れた画像での画像間演算を行うことにより白、黒を意識
せずに文字のコントラスト画像が作成できる。Figure 17 shows one line component of the input image with g^.
Create image B in the figure. On the other hand, an input image is created, and the image C in FIG. 5 is created from the difference between this and the input image. Inter-image calculation (B+C) that calculates the sum of these two contrast images B and C, inter-image calculation MAX (B, C) that calculates the maximum value of each pixel of the two images, and image that calculates the difference and takes the absolute value. When performing one of the inter-interval operations IB-Cl, if the number of dark characters (j) is set to be different for g^ and f^,
It is also possible to set the width from which dark characters are extracted and the width from which bright characters are extracted to be different. Furthermore, as described in the section on specific line width extraction, there is also a method of first binarizing each contrast image B and C and then performing exclusive OR (XOR) processing. In any case, by executing the background image subtraction method to extract bright or dark characters, and performing inter-image calculations on the images obtained from both, the contrast of the characters can be improved without worrying about white or black. Images can be created.
また、他の方法として第18図に示す手法もある。すな
わち、入力画像の1ライン成分をg^とすると、これを
局所最大値フィルタ→局所最小値g^ と、逆に局
所最小値フィルタ→局所最大値フィルタの順に処理した
第3図の背景画像明るい文字と暗い文字の両者のコント
ラスト画像が作成でき、上述した手法と同様な効果が得
られる。Furthermore, there is also a method shown in FIG. 18 as another method. In other words, if one line component of the input image is g^, it is processed in the order of local maximum value filter → local minimum value g^, and conversely, the background image in Figure 3 is bright. A contrast image of both text and dark text can be created, and the same effect as the method described above can be obtained.
く連結性を考慮した処理〉
以上説明した手法は、2次元の3×3画素フィルタやn
×n画素でのフィルタ処理を単に繰り返すだけであるが
、実際には連結性を考慮した方が、より鮮明に文字幅の
抽出はできる。そこで、次の処理とする。3×3画素の
場合は、2値画像処理で通常知られている4連結、8連
結の連結性があるので、第19図のようし;×印の位置
は使用しない(Don’t Care)で(a)を4連
結用、すなわち+aax(f+)はi=1.2,4,6
.8にライて処理し、(b)は8連結用(これまで述べ
た3×3画素全てを用いる)として前述した局所フィル
タ処理を実行するにのとき、たとえば局所最大値フィル
タを繰り返すときは4連結→8連結→4連結(あるいは
、この逆)といった具合に順次連結性を変えて繰り返せ
ばよい、また、5×5画素のフィルタであ九ば第20図
のようなO印だけを用いるフィルタで繰り返せばよい。Processing that takes connectivity into consideration> The method described above uses a two-dimensional 3x3 pixel filter and n
Although the filtering process for xn pixels is simply repeated, in reality, character widths can be extracted more clearly if connectivity is taken into account. Therefore, the following processing is performed. In the case of 3 x 3 pixels, there are 4-connections and 8-connections that are commonly known in binary image processing, so the positions shown in Figure 19 are not used (Do not care). (a) for 4 concatenation, i.e. +aax(f+) is i=1.2,4,6
.. (b) is for 8-connection (using all 3x3 pixels mentioned above), when performing the local filter processing described above, for example, when repeating the local maximum value filter, 4 You can repeat the process by changing the connectivity sequentially, such as connection → 8 connections → 4 connections (or vice versa).Also, with a 5 x 5 pixel filter, a filter that uses only O marks as shown in Figure 20 can be used. You can repeat it.
一般的に、n×n画素のフィルタであれば、円形のフィ
ルタ形状とすれば背景画像作成時良好な画像が得られる
。Generally, if the filter has n×n pixels, a circular filter shape will provide a good image when creating a background image.
く背景画像作成を1回のフィルタ処理で実行する方法〉
以上説明した処理は、背景画像を局所最大値フィルタ、
局所最小値フィルタを各々数回繰り返して実行する手法
であるが、次のようなフィルタを作成すれば1回のラス
タスキャンの実行で同じ効果が得られる。A method for creating a background image with a single filter process
Although this method involves repeating each local minimum value filter several times, the same effect can be obtained by executing one raster scan by creating the following filter.
たとえば、3×3画素のフィルタで局所最大値フィルタ
と局所最小値フィルタ処理をそれぞれ実行するのに、第
21図のフィルタを作成する。中心の3×3画素のフィ
ルタをf^、その周囲(中心画素Cの周囲)の3×3画
素のフィルタをfB。For example, in order to perform local maximum filter processing and local minimum filter processing using a 3×3 pixel filter, the filter shown in FIG. 21 is created. The central 3x3 pixel filter is f^, and the 3x3 pixel filter around it (around center pixel C) is fB.
fc + fn r feとすると、次の演算を実行す
れば局所最大値フィルタ→局所最小値フィルタ処理それ
ぞれ1回ずつ、計2回のラスタスキャンを1回のラスタ
スキャンで実行できる。Assuming fc + fn r fe, by executing the following calculation, a total of two raster scans can be performed in one raster scan: local maximum value filter → local minimum value filter processing, once each.
すなわち、 a=MAX(f^(+))i=1〜9b
=MAX(f B(+)) i = ’−〜9c=
MAX(fc(*))i=1〜9
d=MAX(f−(t))i=1〜9
a =MA X(f e(t)) i = 1〜9f
=Min (b、C1d、e)
g=Min (a+ f)
このgを第21図のフィルタ出力としてラスクスキャン
すると3X3画素のフィルタで局所最大フィルタ→局所
最小フィルタを行う処理と等価となる。That is, a=MAX(f^(+))i=1~9b
=MAX(f B(+)) i = '-~9c=
MAX(fc(*))i=1~9 d=MAX(f-(t))i=1~9 a=MAX(f e(t)) i=1~9f
=Min (b, C1d, e) g=Min (a+f) If this g is used as the filter output in FIG. 21 and is scanned by rask scanning, it becomes equivalent to the process of performing local maximum filter → local minimum filter with a 3×3 pixel filter.
局所最大値フィルタ2回9局所最小値フィルタ2回の処
理であれば、基本のフィルタを5×5画素として、第2
1図のようなフィルタを作成して上述と同様な演算を行
えばよい、このように、背景画像差分法は、ハードウェ
アの制約が許す範囲でフィルタの大きさを変えれば、全
て1回の走査で処理可能である。If the local maximum value filter is processed twice 9 If the local minimum value filter is processed twice, the basic filter is set to 5 x 5 pixels, and the second
All you need to do is create a filter like the one shown in Figure 1 and perform the same calculations as above. In this way, the background image difference method can be done in one go by changing the size of the filter within the range allowed by hardware constraints. Can be processed by scanning.
く平滑化処理の追加〉
ところで、背景画像を作成し、入力画像と差分を求める
と、実際には微小なノイズ成分が発生する。このような
ノイズは、処理対象によっては問題とならない場合もあ
るが、微小なキズ検査を行う場合などには問題となる可
能性がある。このノイズの原因は、局所最大値フィルタ
、局所最小値フィルタ処理が隣接画素との明るさの連続
性を失う処理であるため、入力画像と差分をとると、上
記連続性を失った画素の位置に明るい値が発生するから
である。このような状態は、前述した4連結、8連結な
どの連結性を考慮した処理にすると多水減少するが、更
にノイズを除去するためには、平滑化処理を追加すれば
よい、すなわち、第22図のように平滑化処理を実行す
る積和演算回路120を設けて(第22図の記号で第5
図と同じ記号は処理回路も同じである)、これまで述べ
た背景画像に対し平滑化処理(たとえば第23図のフィ
ルタを用いる)を行い、上記不連続な画素を滑らかにす
る。この画像と入力画像との差分をとれば、前記微小ノ
イズは発生しにくい。Addition of smoothing processing> By the way, when a background image is created and the difference from the input image is calculated, a minute noise component is actually generated. Such noise may not be a problem depending on the processing target, but it may become a problem when inspecting minute scratches. The cause of this noise is that the local maximum value filter and local minimum value filter processing lose the continuity of brightness with adjacent pixels, so when the difference is taken from the input image, the position of the pixel that has lost the continuity This is because bright values occur. Such a situation can be reduced by processing that takes connectivity such as the 4-connection or 8-connection mentioned above into account, but in order to further remove noise, smoothing processing can be added, that is, the first As shown in FIG. 22, a product-sum operation circuit 120 for performing smoothing processing is provided (the symbol in FIG.
(The same symbols as in the figure indicate the same processing circuits), the background image described above is subjected to smoothing processing (for example, using the filter shown in FIG. 23) to smooth out the discontinuous pixels. If the difference between this image and the input image is taken, the minute noise is less likely to occur.
又、第24図及び第25図には入力画像そのものにノイ
ズが多い場合の処理を示すが、明るさの凹部を抽出する
ためにこれまで述べた背景画像差分法を実行すると、局
所最大値フィルタを1同突行すると第24図(2)のよ
うに、n回実行すると第3図のように、更にこの画像と
入力画像と差分をとると第4図のようになる。尚この例
では明るさの傾きがないので局所最小値フィルタは実行
していない1図のようにコントラスト画像は、入力画像
のノイズ成分も明るい値として抽出されるため、2値化
する場合のしきい値は、このノイズ成分より高い値とし
て設定する必要がある。このようなことを意識せずに実
行するためには、第25図(1)のように、まず入力画
像第24図(1)に対して局所最小値フィルタ処理を数
回実行し、この画像について局所最大値フィルタを実行
すればノイズ成分は′0ルベルよりも小さな値として、
コントラスト画像が作成できる。逆に明るさの凸部を抽
出したい場合は、まず局所最大値フィルタ処理を数回実
行してから同様に行えばよい、また、入力画像を前記平
滑化処理を行ってから背景画像差分法を実行しても同様
な効果が得られる。In addition, Fig. 24 and Fig. 25 show processing when the input image itself has a lot of noise, but when the background image subtraction method described above is executed to extract the brightness concavity, the local maximum value filter If the image is run one time, the result will be as shown in FIG. 24 (2), if it is executed n times, the result will be as shown in FIG. 3, and if the difference between this image and the input image is taken, the result will be as shown in FIG. 4. Note that in this example, there is no gradient in brightness, so the local minimum value filter is not executed.As shown in Figure 1, in contrast images, the noise components of the input image are also extracted as bright values. The threshold value needs to be set higher than this noise component. In order to perform this without being aware of this, first perform local minimum filter processing several times on the input image (1) in Figure 24, as shown in (1) in Figure 25, and then If a local maximum value filter is executed for
Contrast images can be created. On the other hand, if you want to extract a convex part of brightness, you can first perform the local maximum value filtering process several times and then repeat the same process, or you can perform the above-mentioned smoothing process on the input image and then apply the background image subtraction method. You can get the same effect by running it.
本発明によれば、複雑な画像あるいは、明るさむらなど
が時々刻々と変化する環境であっても、目標画像を高速
かつ鮮明に抽出することができる。According to the present invention, a target image can be extracted quickly and clearly even in a complex image or in an environment where brightness unevenness changes from moment to moment.
したがって、濃淡画像から2値画像へ変換する画像の前
処理としても有効であり、また、照明などを特に工夫せ
ずに処理することも可能となるので、文字認識や形状識
別、更にはキズ検査等に限らず、多くの分野に適用する
ことができる。Therefore, it is effective as a pre-processing for images that are converted from grayscale images to binary images, and can also be processed without making any special adjustments to lighting, etc., so it can be used for character recognition, shape identification, and even scratch inspection. It can be applied not only to this field but also to many other fields.
第1図及び第3図は本発明の詳細な説明する画像処理図
、第2図は従来技術の説明図、第4図は局所最大値、最
小値フィルタ説明図、第5図は本発明の一実施例の構成
を示す図、第6図は2次元での局所最大値フィルタ説明
図、第7図は本発明の一処理手順を示すフローチャート
、第8図は本発明での処理結果を示す図、第9図、第1
0図。
第11図は本発明の効果を示す図、第12図は汚れ検出
の応用例を示す図、第13図は文書画像の応用例を示す
図、第14図はナンバープレートの種別を示す図、第1
5図はナンバープレートの濃度ヒストグラムを示す図、
第16図はナンバープレートから文字を抽出するフロー
チャート、第17図と第18図は白、黒画者を抽出する
概要を示す画像処理図、第19図と第20図は連結性を
考慮するフィルタの形状を示す図、第21図は1回のフ
ィルタ走査で背景画像を作成するフィルタ形状を示す図
、第22図は本発明の他の実施例の構成を示す図、第2
3図は平滑化を示す図、第24図と第25図は本発明の
他の実施例による画像処理図である。
12・・・画像メモリ、13・・・局所最大値フィルタ
回路、14・・・局所最小値フィルタ回路、15・・・
画像間演算回路、16・・・2値化回路、17・・・C
P’U、19・・・モニタ、120・・・平滑化回路。1 and 3 are image processing diagrams for explaining the present invention in detail, FIG. 2 is a diagram for explaining the prior art, FIG. 4 is a diagram for explaining local maximum value and minimum value filters, and FIG. 5 is a diagram for explaining the present invention. A diagram showing the configuration of an embodiment, FIG. 6 is an explanatory diagram of a two-dimensional local maximum value filter, FIG. 7 is a flowchart showing one processing procedure of the present invention, and FIG. 8 shows the processing results of the present invention. Figure, Figure 9, 1st
Figure 0. FIG. 11 is a diagram showing the effects of the present invention, FIG. 12 is a diagram showing an application example of dirt detection, FIG. 13 is a diagram showing an application example of document images, and FIG. 14 is a diagram showing the types of license plates. 1st
Figure 5 is a diagram showing the density histogram of a license plate.
Figure 16 is a flowchart for extracting characters from a license plate, Figures 17 and 18 are image processing diagrams showing an overview of extracting white and black artists, and Figures 19 and 20 are filters that take connectivity into account. 21 is a diagram showing the shape of a filter that creates a background image with one filter scan. FIG. 22 is a diagram showing the configuration of another embodiment of the present invention.
FIG. 3 is a diagram showing smoothing, and FIGS. 24 and 25 are image processing diagrams according to another embodiment of the present invention. 12... Image memory, 13... Local maximum value filter circuit, 14... Local minimum value filter circuit, 15...
Inter-image calculation circuit, 16...binarization circuit, 17...C
P'U, 19...Monitor, 120...Smoothing circuit.
Claims (1)
の処理対象画像に含まれている目標画像を抽出するもの
において、上記入力した処理対象画像から背景画像を作
成し、当該背景画像と上記処理対象画像との画像間演算
により、上記目標画像を抽出することを特徴とする濃淡
画像の処理方法。 2、特許請求の範囲第1項において、前記背景画像は、
前記処理対象画像を入力したとき、当該対象画像に含ま
れる明るさの凹部を埋めて作成することを特徴とする濃
淡画像の処理方法。 3、特許請求の範囲第1項において、前記背景画像は、
前記処理対象画像を入力したとき、当該対象画像に含ま
れる明るさの凸部を削つて作成することを特徴とする濃
淡画像の処理方法。 4、特許請求の範囲第1項において、前記背景画像は、
前記処理対象画像を入力したとき、当該対象画像の明る
さを平滑化して作成することを特徴とする濃淡画像の処
理方法。 5、特許請求の範囲第1項において、前記背景画像の作
成は、m×n画素中の最大値を出力する局所最大値フィ
ルタ処理を実行して、当該対象画像中の明るさの凹部を
埋め、m×n画素中の最小値を出力する局所最小値フィ
ルタ処理を実行して、当該対象画像中の明るさの凸部を
削るようにしたことを特徴とする濃淡画像の処理方法。 6、特許請求の範囲第5項において、前記局所最大値フ
ィルタ処理をM回実行した後、当該処理画像に対して最
小値フィルタ処理をN回施し、また、前記最小値フィル
タ処理をM回実行した後、当該処理画像に対して最大値
フィルタ処理をN回施すようにしたことを特徴とする濃
淡画像の処理方法。 7、特許請求の範囲第6項において、前記M回及びN回
の繰り返し処理は、連結性を持たせて実行することを特
徴とする濃淡画像の処理方法。 8、特許請求の範囲第5項において、少なくとも前記明
るさの凹部を埋めた画像と前記処理対象画像との画像間
演算で第1の途中画像を作成し少なくとも前記明るさの
凸部を削つた画像と前記処理対象画像との画像間演算で
第2の途中画像を作成し、前記第1の途中画像と前記第
2の途中画像との画像間演算で前記目標画像を抽出する
ことを特徴とする濃淡画像の処理方法。 9、数階調の明るさを有する処理対象画像を入力し、こ
の処理対象画像に含まれている目標画像を抽出するもの
において、上記入力した処理対象画像から第1及び第2
の背景画像を作成し、当該第1の背景画像と前記処理対
象画像との画像間演算で第1の目標画像を抽出し、前記
第2の背景画像と前記処理対象画像との画像間演算で第
2の目標画像を抽出し、上記第1及び第2の目標画像の
画像間演算で第3の目標画像を抽出することを特徴とす
る濃淡画像の処理方法。 10、特許請求の範囲第9項において、前記第1の背景
画像は、少なくともm×n画素中の最大値を出力する局
所最大値フィルタ処理を実行して作成し、前記第2の背
景画像は、少なくともm×n画素中の最小値を出力する
局所最小値フィルタ処理を実行して作成することを特徴
とする濃淡画像の処理方法。 11、数階調の明るさを有する処理対象画像を入力し、
この処理対象画像に含まれている目標画像を抽出するも
のにおいて、上記目標画像の領域とその他の領域との明
るさを比較し、上記目標画像領域の方が暗いときは、上
記入力した処理対象画像から第1の背景画像を作成し、
上記目標画像領域の方が明るいときは、上記入力した処
理対象画像から第2の背景画像を作成し、当該作成した
第1又は第2の背景画像と上記処理対象画像との画像間
演算により、上記目標画像を抽出することを特徴とする
濃淡画像の処理方法。 12、特許請求の範囲第11項において、前記第1の背
景画像は、前記処理対象画像中の暗い部分を埋めること
により作成し、前記第2の背景画像は、前記処理対象画
像中の明るい部分を削ることにより作成することを特徴
とする濃淡画像の処理方法。 13、所定の領域から目標物の画像を抽出するものにお
いて、上記所定領域を撮像するカメラと、該カメラから
の撮像信号を濃淡画像データに変換する変換手段と、該
濃淡画像データを入力し、上記所定領域の背景画像デー
タを作成する背景画像作成手段と、該背景画像データと
上記濃淡画像データとを比較演算して上記目的物の画像
を抽出する画像間演算手段とを備えたことを特徴とする
濃淡画像の処理装置。 14、特許請求の範囲第1項において、上記背景画像抽
出手段は、m×n画素中の最大値を出力する局所最大値
フィルタ回路、及びm×n画素中の最小値を出力する局
所最小値フィルタ回路とから構成したことを特徴とする
濃淡画像の処理装置。[Claims] In an apparatus for inputting a processing target image having one or several gradations of brightness and extracting a target image included in the processing target image, a background image is extracted from the input processing target image. A method for processing a grayscale image, characterized in that the target image is extracted by performing an inter-image calculation between the background image and the image to be processed. 2. In claim 1, the background image is
A method for processing a grayscale image, characterized in that, when the image to be processed is input, a concavity of brightness included in the target image is created by filling it. 3. In claim 1, the background image is
A method for processing a grayscale image, characterized in that when the image to be processed is input, a convex portion of brightness included in the image to be processed is removed. 4. In claim 1, the background image is
A method for processing a gray scale image, characterized in that when the image to be processed is input, the brightness of the target image is smoothed and created. 5. In claim 1, the background image is created by performing a local maximum value filtering process that outputs the maximum value among m×n pixels to fill in the concavities of brightness in the target image. , a local minimum value filtering process that outputs the minimum value among m×n pixels to remove convex portions of brightness in the target image. 6. In claim 5, after performing the local maximum value filtering M times, minimum value filtering is performed on the processed image N times, and the minimum value filtering is performed M times. A method for processing a grayscale image, characterized in that the processed image is then subjected to maximum value filtering N times. 7. A method for processing a grayscale image according to claim 6, wherein the M and N repetitions are executed with connectivity. 8. In claim 5, a first intermediate image is created by an inter-image calculation between an image in which at least the concave portions of the brightness are filled and the image to be processed, and at least the convex portions of the brightness are removed. A second intermediate image is created by an inter-image calculation between the image and the processing target image, and the target image is extracted by an inter-image calculation between the first intermediate image and the second intermediate image. How to process grayscale images. 9. In a method for inputting a processing target image having several gradations of brightness and extracting a target image included in this processing target image, the first and second processing target images are extracted from the input processing target image.
A background image is created, a first target image is extracted by an inter-image calculation between the first background image and the processing target image, and a first target image is extracted by an inter-image calculation between the second background image and the processing target image. A method for processing a grayscale image, characterized in that a second target image is extracted, and a third target image is extracted by inter-image calculation of the first and second target images. 10. In claim 9, the first background image is created by executing a local maximum value filtering process that outputs the maximum value among at least m×n pixels, and the second background image is , a method for processing a grayscale image, characterized in that the image is created by executing local minimum value filter processing that outputs the minimum value among at least m×n pixels. 11. Input the image to be processed having several gradations of brightness,
In the method for extracting the target image included in this processing target image, the brightness of the target image area and other areas is compared, and if the target image area is darker, the input processing target Create a first background image from the image,
When the target image area is brighter, a second background image is created from the input image to be processed, and an inter-image calculation is performed between the created first or second background image and the image to be processed, A method for processing a grayscale image, characterized by extracting the target image. 12. Claim 11, wherein the first background image is created by filling in dark areas in the image to be processed, and the second background image is created by filling in dark areas in the image to be processed. A method for processing a grayscale image, characterized in that it is created by removing the image. 13. In an apparatus for extracting an image of a target from a predetermined area, a camera for capturing an image of the predetermined area, a conversion means for converting an image signal from the camera into grayscale image data, and inputting the grayscale image data; It is characterized by comprising a background image creation means for creating background image data of the predetermined area, and an inter-image calculation means for comparing and calculating the background image data and the grayscale image data to extract an image of the object. A processing device for gray scale images. 14. In claim 1, the background image extraction means includes a local maximum value filter circuit that outputs the maximum value among m×n pixels, and a local minimum value filter circuit that outputs the minimum value among m×n pixels. 1. A grayscale image processing device comprising a filter circuit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US07/079,874 US4823194A (en) | 1986-08-01 | 1987-07-30 | Method for processing gray scale images and an apparatus thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP61-179985 | 1986-08-01 | ||
JP17998586 | 1986-08-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS63153682A true JPS63153682A (en) | 1988-06-27 |
JPH0624014B2 JPH0624014B2 (en) | 1994-03-30 |
Family
ID=16075438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP62008593A Expired - Lifetime JPH0624014B2 (en) | 1986-08-01 | 1987-01-16 | Gray image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0624014B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5243668A (en) * | 1990-01-31 | 1993-09-07 | Hitachi, Ltd. | Method and unit for binary processing in image processing unit and method and unit for recognizing characters |
JPH08300978A (en) * | 1995-05-10 | 1996-11-19 | Mitsubishi Electric Corp | Face image processor |
JP2009538057A (en) * | 2006-05-17 | 2009-10-29 | クゥアルコム・インコーポレイテッド | Line or text-based image processing tool |
JP2015065654A (en) * | 2013-09-24 | 2015-04-09 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | Color document image segmentation using automatic recovery and binarization |
WO2019035295A1 (en) | 2017-08-18 | 2019-02-21 | 富士フイルム株式会社 | Original document detection device, and original document detection method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6333145B2 (en) * | 2014-09-30 | 2018-05-30 | 株式会社Screenホールディングス | Image processing method and image processing apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4861030A (en) * | 1971-12-03 | 1973-08-27 | ||
JPS5713030A (en) * | 1980-06-30 | 1982-01-23 | Hitachi Ltd | Ball supply device |
JPS61141087A (en) * | 1984-12-14 | 1986-06-28 | Hitachi Ltd | Method and device for processing picture |
-
1987
- 1987-01-16 JP JP62008593A patent/JPH0624014B2/en not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4861030A (en) * | 1971-12-03 | 1973-08-27 | ||
JPS5713030A (en) * | 1980-06-30 | 1982-01-23 | Hitachi Ltd | Ball supply device |
JPS61141087A (en) * | 1984-12-14 | 1986-06-28 | Hitachi Ltd | Method and device for processing picture |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5243668A (en) * | 1990-01-31 | 1993-09-07 | Hitachi, Ltd. | Method and unit for binary processing in image processing unit and method and unit for recognizing characters |
JPH08300978A (en) * | 1995-05-10 | 1996-11-19 | Mitsubishi Electric Corp | Face image processor |
JP2009538057A (en) * | 2006-05-17 | 2009-10-29 | クゥアルコム・インコーポレイテッド | Line or text-based image processing tool |
US8306336B2 (en) | 2006-05-17 | 2012-11-06 | Qualcomm Incorporated | Line or text-based image processing tools |
JP2015065654A (en) * | 2013-09-24 | 2015-04-09 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | Color document image segmentation using automatic recovery and binarization |
WO2019035295A1 (en) | 2017-08-18 | 2019-02-21 | 富士フイルム株式会社 | Original document detection device, and original document detection method |
US10999472B2 (en) | 2017-08-18 | 2021-05-04 | Fujifilm Corporation | Original document detection apparatus and original document detection method |
Also Published As
Publication number | Publication date |
---|---|
JPH0624014B2 (en) | 1994-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US4823194A (en) | Method for processing gray scale images and an apparatus thereof | |
JP7271873B2 (en) | Inspection device, image forming device and inspection method | |
JP3348167B2 (en) | Image binarization device | |
CN109507192B (en) | Magnetic core surface defect detection method based on machine vision | |
US9042649B2 (en) | Color document image segmentation and binarization using automatic inpainting | |
JPS63262778A (en) | Method and device for pattern recognition from variable density picture | |
JP2000184202A (en) | Image processing system for removing pattern arranged in vertical direction on image generated by scanning | |
CN115760820A (en) | Plastic part defect image identification method and application | |
CN113688838A (en) | Red handwriting extraction method and system, readable storage medium and computer equipment | |
JPS63153682A (en) | Method and apparatus for processing contrast picture | |
JP2005165387A (en) | Method and device for detecting stripe defective of picture and display device | |
JP3416058B2 (en) | Character extraction method of gray image and recording medium recording the program | |
CN111445402A (en) | Image denoising method and device | |
JP5346304B2 (en) | Appearance inspection apparatus, appearance inspection system, and appearance inspection method | |
JPH03175343A (en) | Method for extracting flaw by inspection appearance | |
CN115239595A (en) | Method for detecting qualification of two-dimensional code of packaging printed matter | |
JP4491922B2 (en) | Surface defect inspection method | |
JP3941403B2 (en) | Image density unevenness detection method and inspection apparatus | |
JP2002183713A (en) | Method and device for processing image | |
JPH06301775A (en) | Picture processing method, picture identification method and picture processor | |
JP2006226837A (en) | Method and apparatus for inspecting stain | |
JPH0760459B2 (en) | Corner detector | |
JPH0319990B2 (en) | ||
JPH05225336A (en) | Method for extracting boundary and device therefor | |
JP3714647B2 (en) | Image position detection method |