BE1021013B1

BE1021013B1 - METHOD AND SYSTEM FOR IMPROVING THE QUALITY OF COLOR IMAGES

Info

Publication number: BE1021013B1
Application number: BE2013/0667A
Authority: BE
Inventors: Michel Dauw; Muelenaere Pierre De; Olivier Dupont; Jianglin Ma
Original assignee: I.R.I.S.
Priority date: 2013-10-04
Filing date: 2013-10-04
Publication date: 2014-12-11
Also published as: WO2015049392A1

Abstract

ABRÉGÉ Procédé et système pour améliorer la qualité d'images en couleur Un procédé pour améliorer la qualité d'une image en couleur 5 avant d'effectuer un traitement subséquent sur ladite image en couleur est proposé. Le procédé comprend les étapes consistant à convertir l'image en . ...couleur en multiples, couches d'image pouvant être distinguées les .unes des autres, et à corriger et augmenter simultanément la résolution de chacune des multiples couches d'image sur la base des valeurs d'une matrice de 10 transformation par correction de la distorsion et augmentation de la résolution.ABSTRACT Method and system for improving the quality of color images A method for improving the quality of a color image before performing subsequent processing on said color image is provided. The method includes the steps of converting the image to. ... color in multiple, image layers distinguishable from one another, and simultaneously correcting and increasing the resolution of each of the multiple image layers based on the values of a correction transformation matrix distortion and increased resolution.

Description

Procédé et système pour améliorer la qualité d'images en couleur Domaine techniqueMethod and system for improving the quality of color images Technical field

La présente invention concerne un procédé pour améliorer la qualité d'images en couleur et plus spécifiquement un procédé pour exécuter simultanément les étapes de correction de la distorsion et d'augmentation de la résolution de l'image.The present invention relates to a method for improving the quality of color images and more specifically to a method for simultaneously performing the steps of correcting distortion and increasing the resolution of the image.

Art antérieurPrior art

Une image numérique est formée par une matrice de lignes et de colonnes de pixels. Pour une image à niveaux de gris, chaque pixel a une valeur représentant la luminance moyenne de la zone correspondante, tandis que pour une image en couleur, chaque pixel a une valeur de rouge, de vert et de bleu représentant la couleur moyenne de la zone correspondante.A digital image is formed by a matrix of rows and columns of pixels. For a grayscale image, each pixel has a value representing the average luminance of the corresponding area, while for a color image, each pixel has a value of red, green, and blue representing the average color of the area. corresponding.

On sait qu'une couleur de pixel peut aussi être représentée par la représentation YUV (ou YCrCb), Y étant la luminance et U et V étant les canaux de chrominance rouge et bleue. Par conséquent, il est possible de convertir une couleur d'une représentation RVB en représentation YUV et vice-versa.It is known that a pixel color can also be represented by the YUV (or YCrCb) representation, where Y is the luminance and U and V are the red and blue chrominance channels. Therefore, it is possible to convert a color from an RGB representation to a YUV representation and vice versa.

Une image numérique est caractérisée par sa résolution qui est déterminée par le nombre de pixels par pouce dans chaque direction. Par exemple, une image avec une résolution de 300 dpi (dot per inch - point par pouce) est une image qui a 300 lignes et 300 colonnes par pouce.A digital image is characterized by its resolution which is determined by the number of pixels per inch in each direction. For example, an image with a resolution of 300 dpi (dot per inch) is an image that has 300 lines and 300 columns per inch.

Un document est un ensemble de pages qui contient du texte mais peut aussi contenir des graphiques, des images, des logos, des dessins, etc. Par exemple, un document peut être une lettre, une carte professionnelle, une facture, un formulaire et un article de magazine ou de journal. Pour convertir les documents en images numériques, des dispositifs électroniques tels que des scanners ou des caméras peuvent aussi être utilisés. La conversion d'un document en une image numérique permet au document d'être stocké électroniquement et traité ultérieurement par un ordinateur. À cet effet, l'image numérique peut être traitée ultérieurement par une application de traitement telle qu'une reconnaissance de texte ou OCR (Optical Character Récognition - Reconnaissance optique de caractères) pour que son contenu puisse être utilisé dans un contexte différent. Par exemple, l'exécution d'une OCR sur des images de document permet au contenu de l'image du document d'être reconnu et donc de pouvoir effectuer une recherche électronique dans celui-ci. Le fait de rendre les documents électroniques consultables facilite le stockage compact de l'image du document et rend possible des applications telles que la traduction automatique, la conversion texte-parole et l'exploration de texte.A document is a set of pages that contains text but may also contain graphics, images, logos, drawings, and so on. For example, a document may be a letter, a business card, an invoice, a form and a magazine or newspaper article. To convert documents into digital images, electronic devices such as scanners or cameras can also be used. Converting a document to a digital image allows the document to be stored electronically and processed later by a computer. For this purpose, the digital image can be further processed by a processing application such as OCR (Optical Character Recognition) so that its content can be used in a different context. For example, the execution of an OCR on document images allows the content of the image of the document to be recognized and therefore to be able to perform an electronic search therein. Making electronic documents searchable facilitates compact storage of the document image and makes possible applications such as machine translation, text-to-speech conversion, and text mining.

La précision de l'OCR joue un rôle critique dans ces applications, laquelle s'appuie lourdement de son côté sur la qualité du processus de numérisation. Parmi tous les éléments qui affectent la numérisation de documents, la résolution et la distorsion géométrique du dispositif de numérisation sont considérées comme les plus importants. La qualité du processus de numérisation de documents peut être améliorée en capturant les images de documents à une plus haute résolution. Cependant, une telle approche peut conduire à des temps de balayage numérique plus long, en fonction de la puissance de traitement du dispositif de capture, rendant ainsi tout le processus de numérisation de documents plus chronophage. Cela est dû au fait qu'à des résolutions plus élevées, un plus grand nombre de pixels doit être déterminé par le scanner et transféré ensuite dans l'ordinateur pour traitement ultérieur de l'image numérique. De plus, la capture d'images à une résolution plus élevée requiert un dispositif à plus haute résolution qui est en général plus cher que des dispositifs à résolution moindre. Par conséquent, la capture directe d'images à plus haute résolution ne prend pas seulement plus de temps mais peut aussi être plus onéreuse. Pour surmonter les désavantages de la capture directe d'une image à haute résolution à l'aide d'un dispositif à haute résolution, le procédé d'augmentation de la résolution est largement utilisé pour améliorer la qualité des images à basse résolution. L'augmentation de la résolution d'une image numérique peut se faire en utilisant diverses techniques connues telles que les interpolations bilinéaire et bicubique. Ces techniques fonctionnent par application de la grille de l'image de destination dans la grille de l'image source. Les valeurs des pixels de destination sont estimées en interpolant les valeurs des pixels sources au moyen d’une des techniques d'augmentation de la résolution. La précision de l'image dont la résolution a été adaptée vers le haut dépend du nombre de pixels sources pris en compte. Par exemple, dans le cas du procédé bilinéaire, les 4 pixels voisins les plus proches dans l'image source sont pris en compte, tandis que l'interpolation bicubique prend en compte les 16 plus proches voisins. En fonction du procédé d'interpolation utilisé, l'augmentation de la résolution d'une image peut introduire les effets indésirables de flou et d'oscillations parasites dans l'image de destination, ce qui peut affecter la précision de l'OCR. Par conséquent, il faut bien réfléchir lors de la sélection d'un procédé d'interpolation approprié.The accuracy of OCR plays a critical role in these applications, which relies heavily on the quality of the scanning process. Of all the elements that affect the scanning of documents, the resolution and the geometric distortion of the scanning device are considered the most important. The quality of the document scanning process can be improved by capturing document images at a higher resolution. However, such an approach may lead to longer digital scan times, depending on the processing power of the capture device, thus making the entire document scanning process more time-consuming. This is because at higher resolutions, more pixels must be determined by the scanner and then transferred to the computer for further processing of the digital image. In addition, capturing images at a higher resolution requires a higher resolution device which is generally more expensive than lower resolution devices. Therefore, capturing higher resolution images takes not only more time but can also be more expensive. To overcome the disadvantages of directly capturing a high resolution image using a high resolution device, the resolution enhancement method is widely used to improve the quality of low resolution images. Increasing the resolution of a digital image can be done using various known techniques such as bilinear and bicubic interpolations. These techniques work by applying the grid of the destination image in the grid of the source image. The values of the destination pixels are estimated by interpolating the values of the source pixels using one of the resolution enhancement techniques. The accuracy of the image whose resolution has been adjusted upward depends on the number of source pixels taken into account. For example, in the case of the bilinear process, the 4 nearest neighbor pixels in the source image are taken into account, while the bicubic interpolation takes into account the 16 nearest neighbors. Depending on the interpolation method used, increasing the resolution of an image may introduce undesirable effects of blur and spurious oscillations in the destination image, which may affect the accuracy of the OCR. Therefore, one must think carefully when selecting an appropriate interpolation method.

Comme déjà discuté, la précision de l'OCR est aussi très sensible à la distorsion géométrique. Il est difficile pour ne pas dire impossible d'éviter la distorsion géométrique parce qu'il est très difficile de placer les images dans la bonne position lors de leur capture. En outre, le processus de balayage même peut souvent introduire une espèce de distorsion géométrique. Par conséquent, il est nécessaire d'éliminer ces distorsions avant d'exécuter l'OCR. De nombreux algorithmes de correction de la distorsion, tels que des algorithmes de réalignement, ont été proposés et peuvent comprendre des méthodes basées sur la transformée de Hough, la corrélation croisée, le profil de projection, la transformée de Fourier et le groupement des K plus proches voisins (k-NN). L'augmentation de la résolution et le réalignement sont considérés comme étant deux techniques différentes de prétraitement d'images de documents ayant le même but qui est d'améliorer la qualité des images capturées. Les solutions OCR actuelles exécutent ces techniques comme des étapes séparées, par exemple en augmentant tout d'abord la résolution de l'image à l'aide d'un des procédés d'interpolation et puis en appliquant un algorithme de réalignement pour corriger la distorsion géométrique. Il s'ensuit qu'améliorer la qualité de l'image en recourant aux solutions de l'art antérieur peut prendre du temps et coûter cher en termes de calculs.As already discussed, the accuracy of OCR is also very sensitive to geometric distortion. It is difficult not to say impossible to avoid geometric distortion because it is very difficult to place images in the correct position when capturing them. In addition, the same scanning process can often introduce a kind of geometric distortion. Therefore, it is necessary to eliminate these distortions before performing the OCR. Many distortion correction algorithms, such as realignment algorithms, have been proposed and may include methods based on the Hough transform, cross-correlation, projection profile, Fourier transform, and K-plus grouping. close neighbors (k-NN). Increasing resolution and realignment are considered to be two different techniques for preprocessing images of documents with the same goal of improving the quality of captured images. Current OCR solutions perform these techniques as separate steps, for example by first increasing the resolution of the image using one of the interpolation methods and then applying a realignment algorithm to correct the distortion. geometric. As a result, improving image quality using prior art solutions can be time consuming and expensive in terms of calculations.

Par conséquent, on a besoin d'un procédé pour améliorer la qualité de l'image de documents de manière rapide et précise.Therefore, a method for improving the image quality of documents in a fast and accurate manner is needed.

Divulgation de l'inventionDisclosure of the invention

Un but de la présente invention est de fournir un procédé pour améliorer la qualité de l'image en couleur de manière rapide, tout en maintenant une précision suffisante pour un traitement subséquent de l'image.An object of the present invention is to provide a method for improving the quality of the color image rapidly, while maintaining sufficient accuracy for subsequent processing of the image.

Ce but est atteint selon l'invention avec le procédé comprenant les étapes de la première revendication indépendante.This object is achieved according to the invention with the method comprising the steps of the first independent claim.

Selon un premier aspect de l'invention, un procédé est présenté pour améliorer la qualité d'une image en couleur avant d'effectuer un traitement subséquent sur l'image en couleur. Le procédé pour améliorer la qualité de l'image en couleur comprend les étapes consistant à: convertir l'image en couleur en multiples couches d'image pouvant être distinguées les unes des autres, formuler une matrice de transformation par correction de la distorsion et augmentation de la résolution sur la base d'au moins une valeur de distorsion d'image estimée à partir d'au moins une première couche d'image des multiples couches d'image et d'une résolution cible, corriger et augmenter simultanément la résolution de chacune des multiples couches d'image sur la base des valeurs de la matrice de transformation, et recombiner les multiples couches d'image corrigées et à la résolution accrue en une image de destination en couleur.According to a first aspect of the invention, a method is presented for improving the quality of a color image prior to subsequent processing on the color image. The method for improving the quality of the color image comprises the steps of: converting the color image into multiple image layers distinguishable from each other, formulating a transformation matrix by distortion correction and increasing of the resolution on the basis of at least one image distortion value estimated from at least a first image layer of the multiple image layers and a target resolution, simultaneously correcting and increasing the resolution of each of the multiple image layers based on the values of the transformation matrix, and recombining the multiple corrected image layers and the increased resolution into a color destination image.

Le procédé de la présente invention présente l'avantage que les étapes de correction et d'augmentation de la résolution de l'image peuvent être exécutées en même temps sur chacune des couches d'image. Il s'ensuit que le nombre des opérations d'interpolation requises pour corriger et augmenter la résolution de l'image en couleur peut être réduit de deux à une opération, réduisant ainsi de manière significative le temps de calcul pris pour améliorer la qualité de l'image.The method of the present invention has the advantage that the steps of correcting and increasing the resolution of the image can be performed at the same time on each of the image layers. As a result, the number of interpolation operations required to correct and increase the resolution of the color image can be reduced from two to one operation, significantly reducing the computation time taken to improve the quality of the image. 'picture.

Selon le premier aspect de la présente invention, il peut être possible de créer une image de document à haute résolution pratiquement exempte de distorsion. Par exemple, une image de document de 200 dpi peut être convertie en 300 dpi, et une image de document de 300 dpi peut être convertie en 400 dpi. Ce faisant, la résolution spatiale requise pour l'OCR peut être satisfaite et on peut s'attendre à des résultats OCR décents dans les opérations subséquentes. De plus, le fait de permettre à des images de document d'être capturées dans une faible résolution peut aussi réduire le coût des dispositifs de capture d'image nécessaires et accélérer le processus de balayage. En outre, le procédé est plus rapide que l'exécution séparée des opérations de correction de la distorsion et d'augmentation de la résolution.According to the first aspect of the present invention, it may be possible to create a high-resolution, substantially distortion-free document image. For example, a 200 dpi document image can be converted to 300 dpi, and a 300 dpi document image can be converted to 400 dpi. In doing so, the spatial resolution required for OCR can be satisfied and decent OCR results can be expected in subsequent operations. In addition, allowing document images to be captured at a low resolution can also reduce the cost of necessary image capturing devices and speed up the scanning process. In addition, the method is faster than the separate execution of the distortion correction and resolution increase operations.

Dans une forme de réalisation, la correction et l'augmentation simultanée de la résolution sont exécutées sur chacune des multiples couches d'image en parallèle. Dans cette forme de réalisation, une réduction ultérieure du temps de calcul peut également être obtenue.In one embodiment, correction and simultaneous increase in resolution are performed on each of the multiple image layers in parallel. In this embodiment, a subsequent reduction of the calculation time can also be achieved.

Dans une autre forme de réalisation, l'étape de correction et d'augmentation de la résolution est effectuée en appliquant un premier procédé d'interpolation à ladite au moins première couche d'image et au moins un deuxième procédé d'interpolation à une deuxième couche d'image des multiples couches d'image restantes.In another embodiment, the step of correcting and increasing the resolution is performed by applying a first interpolation method to said at least one image layer and at least a second interpolation method to a second image layer of the remaining multiple image layers.

En particulier, ledit au moins deuxième procédé d'interpolation peut être d'une moindre qualité que le premier procédé d'interpolation.In particular, said at least one second interpolation method may be of a lower quality than the first interpolation method.

En convertissant l'image capturée en multiples couches et en appliquant à la couche d'image différents procédés d'interpolation, il peut être possible de réduire le temps de calcul pris pour corriger et augmenter la résolution de l'image. Cela est dû au fait que chacune des couches d'image peut contenir différents types d'informations qui peuvent affecter la précision de l'image capturée pendant un traitement ultérieur, par exemple pendant l'OCR. Par conséquent, il peut être bénéfique d'appliquer des procédés d'interpolation coûteux en temps de calcul mais hautement précis à la couche ou aux couches d'image contenant les informations les plus pertinentes pour un traitement ultérieur. Par ailleurs, il peut être bénéfique d'appliquer des procédés d'interpolation de moindre qualité à des couches d'image qui sont moins importantes pour un traitement ultérieur.By converting the captured image into multiple layers and applying different interpolation methods to the image layer, it may be possible to reduce the computation time taken to correct and increase the resolution of the image. This is because each of the image layers may contain different types of information that may affect the accuracy of the captured image during subsequent processing, for example during OCR. Therefore, it may be beneficial to apply time-intensive but highly accurate interpolation methods to the image layer (s) containing the most relevant information for further processing. On the other hand, it may be beneficial to apply lower quality interpolation methods to image layers that are less important for further processing.

Dans une forme de réalisation, le premier procédé d'interpolation peut être un procédé d'interpolation bicubique utilisant des splines, qui peuvent comprendre au moins un premier et un deuxième paramètre. Par exemple, le premier paramètre peut être un paramètre 'B', tandis que le deuxième paramètre peut être un paramètre 'C'. Les paramètres B et C peuvent être arrangés pour contrôler la qualité de l'image en couleur et plus particulièrement les effets de flou et d'oscillations parasites. Par conséquent, les valeurs des paramètres B et C sont de préférence choisis afin que les effets de flou et d'oscillations parasites soient réduits au minimum. De cette façon, le procédé de la présente invention peut fournir une image qui a moins d'erreurs de construction dues au flou et aux oscillations parasites et qui convient mieux pour un autre traitement subséquent tel que l'OCR.In one embodiment, the first interpolation method may be a bicubic interpolation method using splines, which may include at least a first and a second parameter. For example, the first parameter may be a parameter 'B', while the second parameter may be a parameter 'C'. The parameters B and C can be arranged to control the quality of the color image and more particularly the effects of blur and parasitic oscillations. Therefore, the values of the parameters B and C are preferably chosen so that the effects of blur and unwanted oscillations are minimized. In this way, the method of the present invention can provide an image that has fewer construction errors due to blurring and spurious oscillations and is better suited for another subsequent processing such as OCR.

Dans une forme de réalisation, au moins le premier paramètre peut être estimé sur la base de la netteté de l'image en couleur générée par un dispositif de capture.In one embodiment, at least the first parameter can be estimated based on the sharpness of the color image generated by a capture device.

En variante, au moins le premier paramètre peut être basé sur les valeurs de luminance obtenues à partir des pixels d'image en couleur.Alternatively, at least the first parameter may be based on the luminance values obtained from the color image pixels.

Dans une forme de réalisation, au moins le deuxième procédé d'interpolation peut être un procédé d'interpolation bilinéaire. L'utilisation du bilinéaire fournit un procédé de faible qualité ayant un temps de calcul réduit pour traiter les couches d'image contenant des informations moins importantes pour un traitement ultérieur. Il est envisagé que d'autres procédés accessibles à la personne de métier et ayant le même effet puissent aussi être utilisés.In one embodiment, at least the second interpolation method may be a bilinear interpolation method. The use of bilinear provides a low quality method with reduced computation time for processing image layers containing less important information for further processing. It is contemplated that other methods accessible to the person skilled in the art and having the same effect may also be used.

Dans des formes de réalisation de la présente invention, la correction de la distorsion de l'image en couleur fait appel à l'une quelconque de la correction du désalignement, la correction par projection et la correction de la déformation, qui sont trois types différents de distorsion qui peuvent être introduits pendant la capture de l'image en couleur. Dès que ces types de distorsion sont identifiés avec des algorithmes correspondants, la correction de la distorsion et l'augmentation de la résolution de l'image en couleur peuvent être effectuées simultanément.In embodiments of the present invention, color image distortion correction utilizes any of misalignment correction, projection correction, and distortion correction, which are of three different types. distortion that can be introduced during the capture of the color image. As soon as these types of distortion are identified with corresponding algorithms, correction of the distortion and increase of the resolution of the color image can be performed simultaneously.

En particulier, dans le cas du réalignement, la valeur de distorsion de l'image utilisée dans la matrice de transformation peut être estimée à partir de l'angle d'inclinaison de ladite au moins première couche d'image. Afin de trouver l'angle d'inclinaison, un procédé basé sur le profil de projection à échelles multiples peut être sélectionné et peut être exécuté rapidement avec des résultats précis. Cependant, d'autres procédés connus de la personne de métier peuvent aussi être utilisés pour trouver l'angle d'inclinaison de l'image en couleur.In particular, in the case of realignment, the distortion value of the image used in the transformation matrix can be estimated from the angle of inclination of said at least first image layer. In order to find the tilt angle, a method based on the multi-scale projection profile can be selected and can be executed quickly with accurate results. However, other methods known to those skilled in the art can also be used to find the angle of inclination of the color image.

Dans une autre forme de réalisation, la formulation de la matrice de correction de la distorsion et d'augmentation de la résolution est basée sur la résolution de l'image en couleur. La résolution de l'image peut être obtenue en lisant directement la spécification du dispositif d'imagerie et en introduisant les valeurs requises dans la matrice.In another embodiment, the formulation of the distortion correction and resolution enhancement matrix is based on the resolution of the color image. The resolution of the image can be obtained by directly reading the specification of the imaging device and introducing the required values into the matrix.

En variante, la résolution de l'image peut être estimée à partir de la taille moyenne des composants connectés obtenue à partir d'une étape de binarisation d'image, laquelle étape de binarisation est effectuée avant l'étape de formulation de la matrice de transformation.Alternatively, the resolution of the image can be estimated from the average size of the connected components obtained from an image binarization step, which binarization step is performed before the step of formulating the matrix of transformation.

On a constaté que la matrice de rotation et d'augmentation de la résolution peut être déterminée par la résolution d'image identifiée, l'angle d'inclinaison et ce que requiert l'application pour la résolution cible. En outre, un paramètre d'échelle d'entrée peut aussi être fourni par l'utilisateur et inclus dans la matrice de transformation. Par exemple, le paramètre d'échelle d'entrée peut être la résolution souhaitée de l'image de sortie, la résolution originale de l'image en couleur, un paramètre relatif à la distorsion effective de l'image et, en général, tout paramètre relatif à la qualité de l'image en couleur.It has been found that the rotation and resolution increase matrix can be determined by the identified image resolution, the tilt angle, and what the application requires for the target resolution. In addition, an input scale parameter may also be provided by the user and included in the transformation matrix. For example, the input scaling parameter may be the desired resolution of the output image, the original resolution of the color image, a parameter relating to the effective distortion of the image and, in general, any parameter relating to the quality of the color image.

Dans une forme de réalisation, la première couche d'image comprend les valeurs de luminance des pixels de l'image en couleur. On a constaté que la précision du traitement ultérieur est principalement déterminée par la valeur de luminance de chaque pixel dans l'image en couleur. Par conséquent, la couche ou les couches d'image contenant des informations de luminance peuvent être considérées comme les plus pertinentes pour d'autres applications de traitement telles que l'OCR. Il s'ensuit qu'il peut être suffisant d'exécuter des procédés d'interpolation précis mais prenant du temps sur cette seule couche de luminance.In one embodiment, the first image layer includes the luminance values of the pixels of the color image. It has been found that the accuracy of the subsequent processing is mainly determined by the luminance value of each pixel in the color image. Therefore, the image layer or layers containing luminance information may be considered most relevant for other processing applications such as OCR. It follows that it may be sufficient to execute precise but time consuming interpolation methods on this single luminance layer.

Dans une autre forme de réalisation, les multiples couches d'image restantes autres que la première couche d'image comprennent des valeurs de chrominance des pixels de l'image en couleur. On a constaté que les valeurs de chrominance de l'image en couleur affectent dans une moindre mesure la précision d'applications de traitement ultérieur. Il s'ensuit qu'il peut être suffisant d'appliquer un procédé d'interpolation moins précis mais rapide sur les couches de chrominance sans affecter la précision de l'OCR.In another embodiment, the multiple remaining image layers other than the first image layer include chrominance values of the pixels of the color image. It has been found that chrominance values of the color image affect the accuracy of subsequent processing applications to a lesser extent. It follows that it may be sufficient to apply a less precise but fast interpolation method on the chrominance layers without affecting the accuracy of the OCR.

Dans une forme de réalisation de la présente invention, un procédé est fourni pour effectuer une reconnaissance optique de caractères (OCR) sur une image en couleur, le procédé comprenant les étapes consistant à fournir une image en couleur ayant une première résolution, à appliquer le procédé de la présente invention, et ensuite à effectuer la reconnaissance optique de caractères sur l'image de destination en couleur.In one embodiment of the present invention, a method is provided for performing optical character recognition (OCR) on a color image, the method comprising the steps of providing a color image having a first resolution, to apply the method of the present invention, and then perform optical character recognition on the color destination image.

En effectuant une OCR sur une image en couleur qui a été traitée avec le procédé de la présente invention, la précision du traitement OCR peut être nettement améliorée, tandis qu'en même temps, le temps de calcul peut être dramatiquement réduit.By performing an OCR on a color image that has been processed with the method of the present invention, the accuracy of the OCR processing can be significantly improved, while at the same time, the computation time can be dramatically reduced.

Dans une autre forme de réalisation de la présente invention, l'image en couleur peut être en format RVB. Cependant, d'autres formats d'image connus de la personne de métier peuvent aussi être utilisés.In another embodiment of the present invention, the color image may be in RGB format. However, other image formats known to those skilled in the art may also be used.

Dans un aspect de la présente invention, un produit de programme d'ordinateur comprend des parties de code stockées dans un support informatique non transitoire pour effectuer les étapes des formes de réalisation des procédés décrits ci-dessus quand le programme tourne sur le dispositif informatique. À cette fin, le support informatique non transitoire utilisé pour stocker les parties de code de logiciel peut être un support de stockage approprié pour être utilisé dans un dispositif informatique ou similaire tel qu'un dispositif de mémoire périphérique, un CD, un DVD ou tout autre dispositif, ou un support informatique non transitoire avec lequel une connexion à distance peut être établie pour télécharger le produit de programme d'ordinateur. L'utilisation du programme logiciel tournant sur un ordinateur peut permettre à l'utilisateur d'appliquer le procédé d'amélioration de la qualité de l'image en couleur de manière facile et rapide. Un autre avantage de l'utilisation d'un support non transitoire pour stocker des parties de logiciel consiste en ce que les procédés décrits ci-dessus peuvent être transférés d'un dispositif informatique à l'autre, permettant ainsi à l'utilisateur d'exécuter le procédé quel que soit l'emplacement du dispositif informatique.In one aspect of the present invention, a computer program product includes code portions stored in a non-transitory computer medium for performing the steps of the embodiments of the methods described above when the program is running on the computing device. For this purpose, the non-transitory computer medium used to store the software code portions may be a storage medium suitable for use in a computing device or the like such as a peripheral memory device, a CD, a DVD, or any another device, or a non-transitory computer medium with which a remote connection can be established to download the computer program product. Using the software program running on a computer can enable the user to apply the process of improving the quality of the color image in an easy and quick manner. Another advantage of using a non-transient medium for storing software parts is that the methods described above can be transferred from one computing device to another, thus allowing the user to execute the process regardless of the location of the computing device.

Selon un autre aspect de l'invention, un système est fourni pour améliorer la qualité d'une image en couleur avant d'effectuer un traitement subséquent sur l'image en couleur. Le système comprend: des premiers moyens pour convertir l'image en couleur en multiples couches d'image pouvant être distinguées les unes des autres; des deuxièmes moyens pour formuler une matrice de transformation par correction de la distorsion et augmentation de la résolution basée sur au moins une valeur de distorsion d'image estimée à partir d'au moins une première couche d'image des multiples couches d'image et d'une résolution cible; des troisièmes moyens pour corriger et augmenter simultanément la résolution de chacune des multiples couches d'image sur la base des valeurs de la matrice de transformation; et des quatrièmes moyens pour recombiner les multiples couches d'image corrigées et à la résolution accrue en une image de destination en couleur. À cette fin, le système peut comprendre, selon le deuxième aspect de la présente invention, un dispositif électronique comprenant au moins un circuit intégré (IC) tel qu'une tablette, un téléphone ou un dispositif informatique. En outre, le système peut comprendre un IC spécifique à une application (ASIC) ou un circuit intégré composé d'un réseau de cellules programmables (Field Programmable Gâte Array - FPGA). Les premiers, deuxièmes, troisièmes et quatrièmes moyens peuvent être formés par un ou plusieurs processeurs d'un tel dispositif électronique avec code de logiciel approprié prévu dans une mémoire d'un tel dispositif électronique. Dans des formes de réalisation, les premiers, deuxièmes, troisièmes et quatrièmes moyens peuvent être prévus à distance d'un tel dispositif électronique et des moyens de communication peuvent être prévus sur le dispositif électronique et le dispositif à distance pour établir un lien de communication et communiquer des résultats des diverses étapes effectuées dans un sens et dans l'autre.According to another aspect of the invention, a system is provided to improve the quality of a color image prior to subsequent processing on the color image. The system comprises: first means for converting the color image into multiple image layers distinguishable from each other; second means for formulating a distortion correction processing matrix and increasing the resolution based on at least one estimated image distortion value from at least a first image layer of the multiple image layers and a target resolution; third means for simultaneously correcting and increasing the resolution of each of the plurality of image layers based on the values of the transformation matrix; and fourth means for recombining the multiple corrected image layers and the increased resolution into a color destination image. To this end, the system may comprise, according to the second aspect of the present invention, an electronic device comprising at least one integrated circuit (IC) such as a tablet, a telephone or a computing device. In addition, the system may include an application specific IC (ASIC) or an integrated circuit composed of a Programmable Field Array (FPGA). The first, second, third and fourth means may be formed by one or more processors of such an electronic device with appropriate software code provided in a memory of such an electronic device. In embodiments, the first, second, third and fourth means may be provided at a distance from such an electronic device and communication means may be provided on the electronic device and the remote device to establish a communication link and communicate results of the various steps in one direction and the other.

Dans des formes de réalisation, le système peut être pourvu d'autres moyens pour effectuer en plus de quelconques autres étapes des formes de réalisation de procédés décrites ci-dessusIn embodiments, the system may be provided with other means for performing in addition to any other steps of the above-described embodiments of methods

Brève description des dessins L'invention sera expliquée de manière plus détaillée au moyen de la description qui suit et des dessins annexés.Brief Description of the Drawings The invention will be explained in more detail by way of the following description and the accompanying drawings.

La figure 1 montre un procédé pour améliorer la qualité d'une image en couleur selon des solutions trouvées dans l'art antérieur.Figure 1 shows a method for improving the quality of a color image according to solutions found in the prior art.

La figure 2 montre un algorithme de flux de traitement pour appliquer simultanément le procédé de réalignement et d'augmentation de la résolution d'image selon une forme de réalisation préférée de la présente invention.Fig. 2 shows a process flow algorithm for simultaneously applying the method of realigning and increasing the image resolution according to a preferred embodiment of the present invention.

La figure 3 montre un flux de traitement d'un système OCR basé sur des formes de réalisation préférées de la présente invention.Figure 3 shows a processing flow of an OCR system based on preferred embodiments of the present invention.

Modes de mise en œuvre de l'inventionModes of implementation of the invention

La présente invention sera décrite en rapport avec des formes de réalisation particulières et en référence à certains dessins mais l'invention n'y est toutefois pas limitée, n'étant limitée que par les revendications. Les dessins décrits ne sont que schématiques et sont non limitatifs.The present invention will be described in connection with particular embodiments and with reference to certain drawings but the invention is however not limited thereto, being limited only by the claims. The drawings described are only schematic and are non-limiting.

En outre, les termes premier, deuxième, troisième et similaire dans la description et dans les revendications sont utilisés pour faire la distinction entre éléments similaires et pas nécessairement pour décrire un ordre séquentiel ou chronologique. Les termes sont interchangeables dans les circonstances appropriées et les formes de réalisation de l'invention peuvent fonctionner dans d'autres séquences que celles décrites ou illustrées dans le présent document.In addition, the terms first, second, third and similar in the description and in the claims are used to distinguish between similar elements and not necessarily to describe a sequential or chronological order. The terms are interchangeable under the appropriate circumstances and the embodiments of the invention may operate in other sequences than those described or illustrated herein.

Le terme "comprenant", utilisé dans les revendications, ne doit pas être interprété comme étant limité aux moyens énumérés ci-dessous; il n'exclut pas d'autres éléments ou étapes. Il doit être interprété comme spécifiant la présence des éléments, nombres entiers, étapes ou composants cités auxquels il est fait référence mais n'exclut pas la présence ou l'ajout d'un ou plusieurs autres éléments, nombres entiers, étapes ou composants ou groupes de ceux-ci. Donc, la portée de l'expression "un dispositif comprenant les moyens A et B" ne doit pas être limitée à des dispositifs constitués uniquement des composants A et B. Il signifie, en ce qui concerne la présente invention, que les seuls composants pertinents du dispositif sont A et B.The term "comprising", as used in the claims, should not be construed as being limited to the means enumerated below; it does not exclude other elements or steps. It must be interpreted as specifying the presence of the elements, integers, steps or components referred to but does not exclude the presence or addition of one or more other elements, integers, steps or components or groups of these. Therefore, the scope of the term "a device comprising means A and B" should not be limited to devices consisting solely of components A and B. It means, with respect to the present invention, that the only relevant components of the device are A and B.

La présente invention peut à présent être décrite en référence aux dessins joints qui fournissent des formes de réalisation exemplaires de la présente invention.The present invention may now be described with reference to the accompanying drawings which provide exemplary embodiments of the present invention.

La figure 1 présente un procédé pour améliorer la qualité d'une image selon des solutions de l'art antérieur. Le procédé démarre avec l'étape 10 d'identification de la résolution spatiale de l'image d'entrée. Dans la plupart des cas, la résolution spatiale peut être trouvée dans le fichier d'en-tête de l'image d'entrée écrit par l'utilisateur du scanner pour capturer l'image en couleur. Si cette information n'est pas disponible, il se peut que la résolution spatiale de l'image puisse aussi être estimée par des procédés de traitement d'image connus. L'étape suivante selon le procédé présenté sur la figure 1 consiste à estimer l'angle d'inclinaison, comme montré à l'étape 11. Cela se fait en utilisant une solution connue telle que le procédé du profil de projection à échelles multiples. Une fois l'angle d'inclinaison estimé, une rotation de l'image est effectuée à l'étape 12 pour compenser l'angle d'inclinaison en utilisant un procédé d'interpolation sélectionné appliqué sur les trois images en couleur et basé sur l'angle estimé. Après l'étape de rotation d'image, la résolution de l'image en couleur est augmentée à la résolution souhaitée à l'étape 13, laquelle est effectuée séparément de l'étape 12. Il s'ensuit que la génération de l'image corrigée et à la résolution accrue en utilisant le procédé présenté sur la figure 1 peut prendre un temps considérable. Cela est dû au fait que la correction de la distorsion et l'augmentation de la résolution sont effectuées en appliquant séparément des procédés d'interpolation à l'image capturée. Par conséquent, l'exécution de la correction de la distorsion et de l'augmentation de la résolution indépendamment l'une de l'autre implique d'appliquer deux fois les procédés d'interpolation sur la même couche d'image, ce qui allonge considérablement le temps requis pour améliorer la qualité de l'image.FIG. 1 presents a method for improving the quality of an image according to solutions of the prior art. The process starts with step 10 of identifying the spatial resolution of the input image. In most cases, the spatial resolution can be found in the header file of the input image written by the scanner user to capture the color image. If this information is not available, the spatial resolution of the image may also be estimated by known image processing methods. The next step according to the method shown in Figure 1 is to estimate the tilt angle, as shown in step 11. This is done using a known solution such as the multi-scale projection profile method. After estimating the tilt angle, a rotation of the image is performed in step 12 to compensate for the tilt angle using a selected interpolation method applied to the three color images and based on the tilt angle. estimated angle. After the image rotation step, the resolution of the color image is increased to the resolution desired in step 13, which is performed separately from step 12. It follows that the generation of the Corrected image and increased resolution using the method shown in Figure 1 can take a considerable time. This is because the correction of the distortion and the increase of the resolution are performed by separately applying interpolation methods to the captured image. Therefore, performing the correction of the distortion and increasing the resolution independently of each other involves twice applying the interpolation methods on the same image layer, which lengthens considerably the time required to improve the quality of the image.

La figure 2 montre une forme de réalisation exemplaire d'un algorithme de flux de traitement employé par le procédé de la présente invention.Figure 2 shows an exemplary embodiment of a process flow algorithm employed by the method of the present invention.

Un avantage du procédé de la présente invention consiste en ce que des techniques de correction de la distorsion, telle que le réalignement, et d'augmentation de la résolution sont combinées pour améliorer la qualité de l'image. Par conséquent, par rapport aux solutions de l'art antérieur selon lesquelles l'interpolation est effectuée deux fois comme le montre la figure 1, des formes de réalisation de la présente invention peuvent prendre moins de temps. Il s'ensuit qu'en utilisant les procédés des formes de réalisation de la présente invention, la qualité d'une image en couleur peut être améliorée de façon rapide et précise.An advantage of the method of the present invention is that distortion correction techniques, such as realignment, and resolution enhancement are combined to improve the quality of the image. Therefore, with respect to the prior art solutions in which the interpolation is performed twice as shown in FIG. 1, embodiments of the present invention may take less time. As a result, by using the methods of the embodiments of the present invention, the quality of a color image can be improved quickly and accurately.

Un avantage des formes de réalisation de la présente invention consiste en ce que les couches d'image en couleur peuvent être traitées différemment pendant la correction de la distorsion et l'augmentation de la résolution. Par exemple dans le cas du réalignement, l'angle d'inclinaison peut être estimé sur la base de la couche de luminance (Y). Cela est dû au fait que la couche de luminance de l'image en couleur contient l'information la plus distinctive et peut permettre une estimation précise de l'angle d'inclinaison. En traitant une seule couche d'image ou un nombre réduit de couches d'image pour détecter l'angle de réalignement, la charge de travail peut être considérablement réduite par comparaison au traitement de toutes les couches d'image. Il en va de même pour l'étape de rotation et d'augmentation de la résolution du flux de traitement tel que le montre la figure 2. On sait que l'OCR peut s'appuyer davantage sur l'information de luminance de l'image en couleur plutôt que sur l'information de chrominance. Il s'ensuit qu'il peut être suffisant d'exécuter des procédés d'interpolation précis mais chronophages sur la couche de luminance tout en appliquant un procédé d'interpolation moins précis mais rapide sur les couches de chrominance sans que cela affecte la précision de l'OCR.An advantage of the embodiments of the present invention is that the color image layers can be processed differently during distortion correction and resolution enhancement. For example, in the case of realignment, the angle of inclination can be estimated on the basis of the luminance layer (Y). This is because the luminance layer of the color image contains the most distinctive information and may allow an accurate estimation of the angle of inclination. By processing a single image layer or a reduced number of image layers to detect the realignment angle, the workload can be significantly reduced compared to the processing of all image layers. The same is true for the step of rotating and increasing the resolution of the processing flow as shown in FIG. 2. It is known that the OCR can rely more on the luminance information of the color image rather than chrominance information. It follows that it may be sufficient to carry out precise but time-consuming interpolation methods on the luminance layer while applying a less accurate but fast interpolation method on the chrominance layers without affecting the accuracy of the luminance layer. OCR.

Un avantage du procédé de la présente invention réside dans le fait qu'il est possible d'augmenter directement la résolution de l'image pour arriver à la résolution de l'application ciblée. Par exemple, quand on convertit un document contenant du texte normal (10 pt et plus), un minimum de 300 dpi est préférable pour obtenir une bonne précision de l'OCR. Mais, quand on convertit une carte professionnelle en une image en couleur, une résolution minimum de 400 dpi est préférable pour l'OCR parce que le texte y est souvent écrit avec une petite taille en points (p. ex. 8 pt). Sur la base du rapport de résolution avant et après l'opération ainsi que de l'angle d'inclinaison identifié, une matrice de transformation par rotation et augmentation de la résolution peut être formulée comme:An advantage of the method of the present invention lies in the fact that it is possible to directly increase the resolution of the image to arrive at the resolution of the targeted application. For example, when converting a document containing normal text (10 pt and more), a minimum of 300 dpi is preferable for good OCR accuracy. But when converting a business card to a color image, a minimum resolution of 400 dpi is better for OCR because the text is often written with a small dot size (eg 8 pt). On the basis of the resolution ratio before and after the operation as well as the angle of inclination identified, a matrix of transformation by rotation and increase of the resolution can be formulated as:

(1) où Sx et Sy représentent le rapport de résolution avant et après l'opération respectivement dans la direction horizontale et la direction verticale, Θ représente l'angle d'inclinaison identifié, [x, y] sont les coordonnées des pixels de l'image de sortie et leur emplacement correspondant dans l'image d'entrée [x1, y']. Sx et Sy sont déterminés par la résolution de l'image d'entrée qui peut soit être extraite de la spécification des dispositifs d'imagerie soit être estimée en analysant le contenu de l'image, et par ce que demande l'application pour la résolution cible (par exemple, 400 dpi pour une carte professionnelle scannée).(1) where Sx and Sy represent the resolution ratio before and after the operation respectively in the horizontal direction and the vertical direction, Θ represents the identified tilt angle, [x, y] are the coordinates of the pixels of the output image and their corresponding location in the input image [x1, y ']. Sx and Sy are determined by the resolution of the input image which can either be extracted from the specification of the imaging devices or be estimated by analyzing the content of the image, and by what the application requires for the target resolution (for example, 400 dpi for a scanned business card).

Comme la position du pixel de l'image de sortie dans la grille d'image d'entrée [x’, y’] n'est pas toujours un nombre entier, il faut faire intervenir l'interpolation d'image. Une analyse de la technique d'interpolation antérieure a montré que l'interpolation bilinéaire est rapide mais donne une image qui est trop floue pour l'OCR. Quand l'image est floue, la précision de l'OCR diminue parce qu'il est difficile de déterminer les bords des caractères. L'interpolation bicubique tend à conserver l'information relative aux bords et a pour résultat une moindre perte d'information valable sur les pixels mais elle prend du temps parce qu'elle doit traiter 16 pixels sources différents pour estimer un pixel de destination. L'interpolation bicubique emploie une spline qui est en partie polynomiale. Mitchell et Netravali ont introduit une famille intéressante de splines cubiques, les splines BC:Since the position of the pixel of the output image in the input image grid [x ', y'] is not always an integer, image interpolation must be involved. An analysis of the prior interpolation technique has shown that bilinear interpolation is fast but gives an image that is too fuzzy for OCR. When the image is blurred, OCR accuracy decreases because it is difficult to determine the edges of the characters. Bicubic interpolation tends to retain edge information and results in less loss of valuable pixel information, but it takes time because it has to process 16 different source pixels to estimate a destination pixel. Bicubic interpolation uses a spline that is partly polynomial. Mitchell and Netravali have introduced an interesting family of cubic splines, the BC splines:

(2) où B et C sont des paramètres qui contrôlent la forme des courbes cubiques et donc l'apparence de l'image de sortie. Les paramètres sont choisis afin que les effets de flou et d'oscillations parasites sur l'image de sortie soient équilibrés. Mitchell et al. ont montré que pour une bonne reconstruction d'image, 2*C+B devrait être égal à 1, voir Mitchell, Don P. and Netravali, Arun N., “Reconstruction Filters in Computer Graphics", Computer Graphics, vol. 22, no.4, August 1988, pp. 221-228, qui est incorporé ici par référence dans son entièreté.(2) where B and C are parameters that control the shape of cubic curves and thus the appearance of the output image. The parameters are chosen so that the effects of blur and spurious oscillations on the output image are balanced. Mitchell et al. have shown that for good image reconstruction, 2 * C + B should be 1, see Mitchell, Don P. and Netravali, Arun N., "Reconstruction Filters in Computer Graphics," Computer Graphics, 22, No. 4, August 1988, pp. 221-228, which is incorporated herein by reference in its entirety.

Selon des formes de réalisation de l'invention, on a constaté que le flou est quelquefois acceptable et même désirable pour l'OCR. Il permet de se débarrasser du bruit ou des imperfections dans les couleurs du texte ou les couleurs de l'arrière-plan du texte afin de supprimer les "faux" bords. Il s'ensuit que les splines bicubiques BC sont très intéressantes pour augmenter la résolution de l'image en couleur. Cela est dû au fait que, si l'effet de flou acceptable est connu, l'erreur due aux oscillations parasites peut être réduite à un minimum, et donc l'effet de flou et d'oscillations parasites peut être réduit à un minimum.According to embodiments of the invention, it has been found that the blur is sometimes acceptable and even desirable for OCR. It helps to get rid of noise or imperfections in text colors or text background colors to remove "false" edges. It follows that the bicubic splines BC are very interesting for increasing the resolution of the color image. This is because, if the acceptable blur effect is known, the error due to spurious oscillations can be reduced to a minimum, and thus the effect of blur and unwanted oscillations can be reduced to a minimum.

Si, par exemple, on estime que l'image source est trop floue, B peut être réglé sur 0 et C sur 0,5.If, for example, it is estimated that the source image is too fuzzy, B can be set to 0 and C to 0.5.

Si, par exemple, on estime que l'image source est trop nette, B peut être réglé sur 1 et C sur 0. L'estimation du paramètre B peut être effectuée par détermination du type de scanner et analyse de la netteté des images produites par le scanner.If, for example, the source image is estimated to be too sharp, B can be set to 1 and C to 0. The estimate of parameter B can be made by determining the type of scanner and analyzing the sharpness of the images produced. by the scanner.

Le paramètre B pourrait aussi être estimé directement à partir de l'image en couleur par analyse de la valeur de luminance du pixel, en particulier par analyse des bords de caractère de chaque pixel de l'image en couleur.Parameter B could also be estimated directly from the color image by analyzing the luminance value of the pixel, in particular by analyzing the character edges of each pixel of the color image.

Par conséquent, en choisissant soigneusement B et C, il est possible de trouver facilement le compromis entre les erreurs de reconstruction dues au flou et aux oscillations parasites, ce qui est un autre avantage de la présente invention.Therefore, by carefully choosing B and C, it is possible to easily find the trade-off between reconstruction errors due to blur and parasitic oscillations, which is another advantage of the present invention.

Comme discuté précédemment, l'OCR s'appuie principalement sur l'information de luminance plutôt que sur l'information de chrominance. Par conséquent, pour la couche d'image de luminance, on peut adopter le procédé d'interpolation bicubique chronophage mais précis, tandis que pour les couches d'image de chrominance restantes, on peut employer le procédé bilinéaire moins précis mais rapide. L'algorithme de flux de traitement montré sur la figure 2, qui est un procédé préféré de réalignement et d'augmentation de la résolution, peut comprendre les étapes suivantes: a) fournir une image d'entrée, qui sera la plupart du temps une image en couleur RVB mais qui peut aussi être tout autre format connu de la personne de métier, qui est convertie en 3 couches: Y (luminance), U et V (deux chrominance), b) identifier la résolution de l'image d'entrée, comme le montre l'étape 20, c) convertir l'image d'entrée en couches d'image Y, U et V, comme le montre l'étape 21, d) chercher l'angle d'inclinaison en utilisant le procédé basé sur le profil à échelles multiples, comme le montre l'étape 22, e) estimer, sur la base de l'entrée de l'utilisateur, la matrice de transformation par rotation et augmentation de la résolution (1), comme le montre l'étape 23, f) interpoler la couche Y avec le procédé bicubique (splines BC), B et C étant soigneusement choisis en (2), pour créer une nouvelle couche, comme le montre l'étape 24, g) interpoler les couches U et V en nouvelles couches avec le procédé bilinéaire, comme le montre l'étape 25, h) convertir les couches Y', U' et V en l'image de destination en couleur RVB, comme le montre l'étape 26.As discussed previously, OCR relies primarily on luminance information rather than chrominance information. Therefore, for the luminance image layer, one can adopt the time-consuming but precise bicubic interpolation method, while for the remaining chrominance image layers, the less accurate but fast bilinear method can be used. The processing flow algorithm shown in Fig. 2, which is a preferred method of realigning and increasing the resolution, may comprise the following steps: a) providing an input image, which will most often be a RGB color image but which can also be any other format known to the person skilled in the art, which is converted into 3 layers: Y (luminance), U and V (two chrominance), b) identify the resolution of the image of input, as shown in step 20, c) converting the input image into image layers Y, U and V, as shown in step 21, d) searching for the tilt angle using the method based on the multi-scale profile, as shown in step 22, e) estimating, on the basis of user input, the transformation matrix by rotation and increasing the resolution (1), as the shows step 23, f) interpolating the Y layer with the bicubic method (splines BC), B and C being carefully selected in (2) to create a new layer, as shown in step 24, g) interpolate the layers U and V into new layers with the bilinear process, as shown in step 25, h) convert the layers Y ', U' and V in the destination image in RGB color, as shown in step 26.

En appliquant le procédé proposé, la distorsion géométrique est corrigée et la résolution de l'image est augmentée pour donner une image à plus haute résolution. Le procédé de réalignement et d'augmentation simultanée de la résolution est considéré comme étant deux fois plus rapide que le procédé de réalignement et d'augmentation séparée de la résolution quand le même procédé d'interpolation d'image est utilisé tant pour le réalignement que pour l'augmentation de la résolution. Le procédé d'interpolation dépendant des couches réduit encore le temps d'interpolation. Par comparaison avec l'interpolation bicubique directe sur des images en couleur RVB, le procédé dépendant des couches est 2,5 fois plus rapide que l'interpolation bicubique directe sur l'image en couleur RVB.By applying the proposed method, the geometric distortion is corrected and the resolution of the image is increased to give a higher resolution image. The method of realigning and simultaneously increasing the resolution is considered to be twice as fast as the method of realigning and separately increasing the resolution when the same image interpolation method is used for both realignment and for increasing the resolution. The layer-dependent interpolation method further reduces the interpolation time. Compared with direct bicubic interpolation on RGB color images, the layer-dependent process is 2.5 times faster than direct bicubic interpolation on the RGB color image.

La figure 3 montre comment des formes de réalisation de la présente invention peuvent être incorporées dans une chaîne de traitement OCR. Il est possible que des procédés de la présente invention puissent être optimisés à d'autres fins que l'OCR. Par exemple, des procédés de la présente invention peuvent être utilisés pour améliorer la qualité d'une image en couleur qui est obtenue et affichée devant un utilisateur pour interprétation visuelle.Figure 3 shows how embodiments of the present invention can be incorporated into an OCR processing chain. It is possible that methods of the present invention may be optimized for other purposes than OCR. For example, methods of the present invention can be used to improve the quality of a color image that is obtained and displayed in front of a user for visual interpretation.

SS

Claims

claims

A method for improving the quality of a color image prior to subsequent processing on the color image, the method comprising the steps of: converting the color image into multiple distinguishable image layers from each other (21); formulating a distortion correction transformation matrix and increasing the resolution (23) based on at least one estimated image distortion value from at least a first image layer of the multiple layers of image and a target resolution; performing distortion correction simultaneously with increasing the resolution of each of the multiple image layers (24, 25) based on the values of the transformation matrix and using a common interpolation for correction of the distortion and increase in resolution; and recombining the multiple corrected image layers and the increased resolution into a color destination image (26).

The method of claim 1, wherein the correction and the simultaneous increase of the resolution (24, 25) are performed on each of the multiple image layers in parallel.

The method of claim 1 or 2, wherein the correction and the resolution increase are performed by applying a first interpolation method (24) to said at least one first image layer and a second interpolation method. (25) to the second image layer of the multiple remaining image layers.

4. The method of claim 3, wherein the second interpolation method (25) has a lower quality than the first interpolation method (24).

The method of any one of claims 3 to 4, wherein the first interpolation method (24) is a bicubic interpolation method using splines.

The method of claim 5, wherein the bicubic method comprises at least a first and a second parameter, which parameters control the quality of the color image.

The method of claim 6, wherein the first parameter is estimated based on the sharpness of the color image generated by a capture device.

The method of claim 6, wherein the first parameter is estimated based on the luminance values obtained from the pixels of the color image.

The method of any one of claims 3 to 8, wherein the second interpolation method (25) is a bilinear interpolation method.

The method of any one of claims 1 to 9, wherein correcting the distortion of the color image involves one of the realignment, rotation, or projection correction methods.

The method of any one of claims 1 to 10, wherein the distortion value of the image is estimated from the tilt angle (22) of the first image layer.

The method of any one of claims 1 to 11, wherein the formulation of the distortion correction and resolution enhancement matrix (23) is further based on the resolution of the color image.

The method of claim 12, wherein the resolution of the color image is estimated from the average size of the connected components obtained by an image binarization step, which binarization step is performed before the step of formulation of the transformation matrix.

The method of any of the preceding claims, wherein the first image layer comprises luminance values of the pixels of the color image.

The method of any of the preceding claims, wherein the multiple image layers other than the first image layer comprise chrominance values of the pixels of the color image.

A method for performing optical character recognition on a color image, the method comprising the steps of: providing a color image having a first resolution (30); applying the method of any one of claims 1 to 15 to improve the quality of the color image (31); and performing optical character recognition on the color destination image (32).

The method of any of the preceding claims, wherein the color image is in RGB format.

A computer program product comprising portions of software code stored in a non-transient computer medium for performing the steps of the method of any one of claims 1 to 17 when running the program on a computer.

A system configured to enhance the quality of a color image prior to subsequent processing on the color image, the system comprising: first means for converting the color image into multiple image layers that can be distinguished from each other; second means for formulating a distortion correction processing matrix and increasing the resolution based on at least one image distortion value estimated from at least a first image layer of the multiple layers images and a target resolution; third means for performing distortion correction simultaneously with increasing the resolution of each of the multiple image layers based on the values of the transformation matrix and using a common interpolation for the distortion correction and the increase in resolution; and, fourth means for recombining the multiple corrected image layers and the increased resolution into a color destination image.