[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

RU2298226C1 - Method for improving digital images - Google Patents

Method for improving digital images Download PDF

Info

Publication number
RU2298226C1
RU2298226C1 RU2005133120/09A RU2005133120A RU2298226C1 RU 2298226 C1 RU2298226 C1 RU 2298226C1 RU 2005133120/09 A RU2005133120/09 A RU 2005133120/09A RU 2005133120 A RU2005133120 A RU 2005133120A RU 2298226 C1 RU2298226 C1 RU 2298226C1
Authority
RU
Russia
Prior art keywords
image
brightness
tones
dark
correction
Prior art date
Application number
RU2005133120/09A
Other languages
Russian (ru)
Inventor
Иль Владимирович Сафонов (RU)
Илья Владимирович Сафонов
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Priority to RU2005133120/09A priority Critical patent/RU2298226C1/en
Priority to KR1020060105281A priority patent/KR20070046010A/en
Application granted granted Critical
Publication of RU2298226C1 publication Critical patent/RU2298226C1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6016Conversion to subtractive colour signals
    • H04N1/6019Conversion to subtractive colour signals using look-up tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

FIELD: digital processing of images, possible use for improving digital colored or halftone image.
SUBSTANCE: in accordance to invention, filtration of noises is performed, correction of global contrast is realized, brightness component is extracted from image as maximal one out of R, G, B components, local correction parameters are determined for light and dark tones, bilateral filtration of image brightness is performed, dark and light tones are corrected in brightness channel. Correction of dark image tones is performed due to addition to brightness channel of result of multiplication of difference between image of details in dark tones and brightness, inversion of result of bilateral filtration, raised to certain power, which determines width of tone spectrum, and amplification coefficient of dark tones, while image of details in dark tones is a function of ratio of brightness of original image and filtered image. Correction of light image tones is performed due to subtraction from brightness channel of difference between result of multiplication of brightness and image of details in light tones, result of bilateral filtration of brightness, raised to certain power which determines width of tone spectrum, and light tones weakening coefficient, while image of details in light tones is a function of ratio of filtered image and brightness of original image, image correction result is converted to RGB color system.
EFFECT: ensured correction of global contrast, local correction of light and dark tones, suppression of noises with a certain increase of image detail.
9 cl, 16 dwg

Description

Изобретение относится к области цифровой обработки изображений и может применяться для улучшения цифрового цветного или полутонового изображения.The invention relates to the field of digital image processing and can be used to improve digital color or grayscale images.

Ряд цифровых фотографий, полученных с помощью цифровых фотокамер, имеют низкий динамический диапазон в темных тонах. Причиной этого могут быть, например, контровое освещение или съемка со вспышкой в темном помещении. Низкий динамический диапазон в светлых тонах встречается относительно редко для фотографий, снятых цифровыми фотокамерами, но характерен для сканированных фотографий.A number of digital photographs taken with digital cameras have a low dynamic range in dark colors. The reason for this may be, for example, backlighting or flash photography in a dark room. Low dynamic range in bright colors is relatively rare for photographs taken with digital cameras, but is typical for scanned photographs.

Известно большое количество публикаций и патентов, посвященных методам улучшения цифровых изображений. Многие методы включают в себя коррекцию контраста, подавление шумов и повышение резкости.There are a large number of publications and patents on methods for improving digital images. Many methods include contrast correction, noise reduction, and sharpening.

Существует также несколько публикаций и патентов, посвященных локальной коррекции тонов, причем преимущественно темных тонов.There are also several publications and patents on the local correction of tones, mostly dark tones.

Так, например, интуитивно понятный и относительно простой метод коррекции темных и светлых тонов описан в патенте США №6822762 [1] и в докладе N.Moroney "Local color correction using non-linear masking" [8th Color Imaging Conference, 2000 [2]. Создается маска в виде достаточно сильно размытого яркостного канала изображения. Для размытия используется линейный ФНЧ. Далее значение каждой RGB компоненты преобразуется с помощью TRC, вид которой зависит от значения маски. Например, для изображения в диапазоне от 0 до 1:For example, an intuitive and relatively simple method for correcting dark and light tones is described in US patent No. 6822762 [1] and N. Moroney's report "Local color correction using non-linear masking" [8 th Color Imaging Conference, 2000 [2 ]. A mask is created in the form of a rather strongly blurred brightness channel of the image. A linear low-pass filter is used for blurring. Next, the value of each RGB component is converted using TRC, the appearance of which depends on the value of the mask. For example, for an image ranging from 0 to 1:

R=(R)2(1-2Mask); G=(G)2(1-2Mask); B=(B)2(1-2Mask).R = (R) 2 (1-2Mask) ; G = (G) 2 (1-2Mask) ; B = (B) 2 (1-2Mask) .

Похожий подход описан патенте США №6792160 [3]. Близкие технологии используются в нескольких решениях для коррекции изображений в software, например, в Adobe Photoshop CS пункт меню "Shadow/Highlight" [4].A similar approach is described in US patent No. 6792160 [3]. Similar technologies are used in several solutions for image correction in software, for example, in Adobe Photoshop CS the menu item "Shadow / Highlight" [4].

Основной недостаток данных подходов это образование заметного эффекта ореола, называемого в литературе термином «halo». Также повышается уровень шумов в темных тонах.The main drawback of these approaches is the formation of a noticeable halo effect, referred to in the literature by the term “halo”. The noise level in dark colors also rises.

Международная заявка на патент WO 02/089060 [5] описывает метод улучшения изображений, основанный на Orthogonal Retino-Morphic Image Transform (ORMIT):International patent application WO 02/089060 [5] describes an image enhancement method based on the Orthogonal Retino-Morphic Image Transform (ORMIT):

Figure 00000002
Figure 00000002

где Pi(x) - ортогональный базис функций х, определенный в диапазоне 0<x<1, Qi(x) - заданная аналитически или с помощью аппроксимации первообразная Рi(х), LPF - оператор низкочастотной фильтрации, F - весовая функция, N - число поддиапазонов, на которое разбивается весь доступный диапазон яркостей, а и b - константы, в общем случае, различные для каждого поддиапазона. Подбор соответствующих функций Рi(х) позволяет увеличить локальный контраст и уровень сигнала в темных тонах. Описанный метод используется в технологии Nikon "D-Lighting". Метод приводит к образованию почти незаметного halo, но усиливает шумы в темных тонах.where P i (x) is the orthogonal basis of the functions x defined in the range 0 <x <1, Q i (x) is the antiderivative P i (x) defined analytically or by approximation, LPF is the low-pass filtering operator, F is the weight function , N is the number of subbands into which the entire available luminance range is divided, and b are constants, in the general case, different for each subband. The selection of the corresponding functions P i (x) allows you to increase the local contrast and signal level in dark tones. The described method is used in Nikon's "D-Lighting" technology. The method leads to the formation of an almost imperceptible halo, but enhances the noise in dark colors.

Популярным подходом в коррекции темных тонов является использование простейшей физической модели формирования полутонового изображения I:A popular approach in the correction of dark tones is the use of the simplest physical model for the formation of halftone image I:

I=AL,I = AL

где L - освещенность (luminance) объектов изменяется относительно плавно, А - отражательная способность (reflectance или albedo) деталей объектов изменяется с высокой частотой. Такая модель описана, например, в публикации Horn, В.К.Р. "Robot vision", MIT Press, 1986 [6]. where L is the luminance of the objects changes relatively smoothly, A is the reflectance (reflectance or albedo) of the details of the objects changes with high frequency. Such a model is described, for example, in the publication Horn, V.K.R. "Robot vision", MIT Press, 1986 [6].

Данная модель не учитывает возможность присутствия на изображении источников света, не учитывает зеркальное отражение (только диффузное ламбертовское), не учитывает образования теней от объектов. Несмотря на недостатки, модель вполне применима к широкому классу изображений и используется в методах, описанных ниже. В этих методах различным образом оценивается отражательная способность (reflectance), как функция отношения I и L.This model does not take into account the possibility of the presence of light sources in the image, does not take into account specular reflection (only diffuse Lambert reflection), does not take into account the formation of shadows from objects. Despite the drawbacks, the model is quite applicable to a wide class of images and is used in the methods described below. In these methods, reflectance is evaluated differently as a function of the ratio of I and L.

Следующие документы (патент США №6760484 [7], выложенные заявки США №№2002/0154323 [8], 2002/0154832 [9], 2003/0161546 [10], 2004/0174571 [11] и статья Sobol R. "Improving the Retinex algorithm for rendering wide dynamic range photographs". Journal of Electronic Imaging, Vol.13, №1, January 2004, pp.65-74 [12]) описывают способ коррекции теней, основанный на модификации алгоритма MultiScale Retinex (MSR). Кратко, суть подхода следующая. Модифицированный MSR выполняется для канала яркости, которая вычисляется как max(R, G, В). Результат называют маской, которую добавляют к каналам R, G and В.The following documents (US Patent No. 6,760,484 [7], U.S. Patent Application Laid-open No. 2002/0154323 [8], 2002/0154832 [9], 2003/0161546 [10], 2004/0174571 [11] and Sobol R. "Improving the Retinex algorithm for rendering wide dynamic range photographs ". Journal of Electronic Imaging, Vol.13, No. 1, January 2004, pp.65-74 [12]) describe a shadow correction method based on a modification of the MultiScale Retinex algorithm (MSR). Briefly, the essence of the approach is as follows. Modified MSR is performed for the luminance channel, which is calculated as max (R, G, B). The result is called the mask, which is added to the channels R, G and B.

Классический MSR описывается формулой:Classic MSR is described by the formula:

Figure 00000003
Figure 00000003

где LPF - Гауссово размытие с различными σ.where LPF is Gaussian blur with different σ.

В подходе Sobol [12] для Гауссова размытия используется ускоренная схема вычислений, в которую дополнительно вводится ряд пороговых значений. Описанный способ используется в технологии HP "Adaptive Lighting". Метод приводит к образованию почти незаметного halo, но усиливает шумы в темных тонах.The Sobol approach [12] for Gaussian blur uses an accelerated computational scheme, which additionally introduces a number of threshold values. The described method is used in HP technology "Adaptive Lighting". The method leads to the formation of an almost imperceptible halo, but enhances the noise in dark colors.

В выложенной заявке США №2005/0089239 [13] и статье Brajovic, V. "Brightness Perception, Dynamic Range and Noise: a Unified Model for Adaptive Image Sensors", Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004 [14] описан способ коррекции теней:U.S. Patent Laid-Open No. 2005/0089239 [13] and Brajovic, V. "Brightness Perception, Dynamic Range and Noise: a Unified Model for Adaptive Image Sensors", Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004 [14] describes a method for correcting shadows:

I=S(A+aL),I = S (A + aL),

где а и S - константы, L - результат фильтрации (в данном случае размытия) с предохранением границ с высоким локальным контрастом, А - функция отношения исходной яркостной компоненты к L. Фильтрация с предохранением краев выполняется для каждой строки изображения, его работа основана на оценке уровня шумов на изображении. Таким образом, выполняется подавление шумов в канале яркости, но шум в каналах цветности остается. Также преимуществом метода является отсутствие заметного halo. Этот подход к решению проблемы является наиболее близким к заявляемому изобретению и позволяет дальнейшее повышение качества изображения при использовании некоторых новых математических методов.where a and S are constants, L is the result of filtering (in this case, blurring) with border protection with high local contrast, A is the function of the ratio of the initial brightness component to L. Filtering with edge protection is performed for each image line, its work is based on the assessment noise level in the image. Thus, noise cancellation is performed in the luminance channel, but the noise in the color channels remains. Another advantage of the method is the absence of a noticeable halo. This approach to solving the problem is the closest to the claimed invention and allows a further increase in image quality when using some new mathematical methods.

В публикации М.Elad "Retinex by Two Bilateral Filters", Proceedings of the 5th International Conference Scale-Space and PDE Methods in Computer Vision, Germany, 2005 [15] предложено для оценки отражательной способности (reflectance) в методе Retinex заменить гауссово размытие в логарифмическом пространстве билатеральной фильтрацией. Билатеральный фильтр используется в классическом виде с использованием двух Гауссианов (согласно C.Tomasi, R.Manduchi "Bilateral Filtering for Gray and Color Images", Proc. IEEE conf. on Computer Vision, 1998 [16]). Кроме того, билатеральная фильтрация используется для подавления шумов в канале яркости, причем степень подавления шума выбирается в зависимости от яркости области изображения. Преимуществом метода является отсутствие halo, но шум в каналах цветности остается.In the publication by M. Elad "Retinex by Two Bilateral Filters", Proceedings of the 5th International Conference Scale-Space and PDE Methods in Computer Vision, Germany, 2005 [15], it was proposed to replace the Gaussian blur in Refine method for the reflection method in the Retinex method logarithmic space by bilateral filtration. The bilateral filter is used in the classical form using two Gaussians (according to C. Thomas, R. Manduchi "Bilateral Filtering for Gray and Color Images", Proc. IEEE conf. On Computer Vision, 1998 [16]). In addition, bilateral filtering is used to suppress noise in the luminance channel, and the degree of noise suppression is selected depending on the brightness of the image area. The advantage of the method is the absence of halo, but the noise in the color channels remains.

В способах, приведенных выше, не рассматриваются, коррекция светлых оттенков, автоматический выбор параметров коррекции, а также совместная коррекция темных тонов и настройка глобального контраста изображения, иногда возможно возникновение эффекта постеризации (огрубления плавных градиентов интенсивности).In the methods described above, the correction of light shades, the automatic selection of correction parameters, as well as the joint correction of dark tones and global image contrast settings are not considered, sometimes the posterization effect (coarsening of smooth intensity gradients) may occur.

Таким образом, современные технологии, используемые для коррекции изображений, характеризуемых низким динамическим диапазоном, обладают следующими недостатками:Thus, modern technologies used to correct images characterized by a low dynamic range have the following disadvantages:

- не корректируются светлые тона;- light tones are not adjusted;

- не рассматривается связь коррекции темных оттенков с настройкой глобального контраста изображения;- the connection of the correction of dark shades with the global image contrast setting is not considered;

- некоторые алгоритмы приводят к возникновению ореола (halo эффект) вдоль резких перепадов яркости на изображении;- some algorithms lead to the appearance of a halo (halo effect) along sharp changes in brightness in the image;

- в темных тонах растет уровень шумов;- in dark tones the level of noise increases;

- параметры коррекции не определяются автоматически;- correction parameters are not determined automatically;

- возможно возникновение эффекта постеризации.- The occurrence of a posterization effect is possible.

Задача, на решение которой направлено заявляемое изобретение, заключается в разработке способа улучшения изображений, который бы включал коррекцию глобального контраста, локальную коррекцию светлых и темных тонов и подавление шумов с некоторым увеличением четкости. При этом было необходимо добиваться того, чтобы способ не приводил к возникновению заметных ореолов.The problem to which the claimed invention is directed, is to develop a method for improving images, which would include the correction of global contrast, local correction of light and dark tones and noise reduction with some increase in clarity. In this case, it was necessary to ensure that the method does not lead to the appearance of noticeable halos.

Технический результат достигается за счет разработки и применения усовершенствованного способа коррекции цифрового изображения, обеспечивающий повышение локального контраста в темных и светлых тонах путем коррекции тонового диапазона изображения, подавления шумов и небольшого повышения резкости изображения.The technical result is achieved through the development and application of an improved method for correcting a digital image, which provides an increase in local contrast in dark and light colors by correcting the tone range of the image, suppressing noise, and slightly increasing image sharpness.

Существо заявляемого способа улучшения цифровых изображений заключается в реализации определенной последовательности ряда конкретных операций, в частности:The essence of the proposed method for improving digital images is to implement a certain sequence of a number of specific operations, in particular:

- выполняют фильтрацию шумов,- perform noise filtering,

- осуществляют коррекцию глобального контраста,- carry out the correction of global contrast,

- извлекают из цветного изображения яркостную компоненту как максимальную из R, G, B составляющих,- extract the luminance component from the color image as the maximum of the R, G, B components,

- определяют параметры локальной коррекции темных и светлых тонов,- determine the parameters of local correction of dark and light tones,

- выполняют билатеральную фильтрацию яркости изображения,- perform bilateral filtering of image brightness,

- корректируют темные и светлые тона в канале яркости:- correct dark and light tones in the brightness channel:

при этом коррекцию темных тонов изображения осуществляют за счет добавления к каналу яркости произведения разности изображения деталей в темных тонах и яркости, инверсии результата билатеральной фильтрации, возведенной в степень, которая определяет ширину тонового диапазона, и коэффициента усиления темных тонов, а изображение деталей в темных тонах является функцией отношения яркости исходного изображения и фильтрованного изображения,the correction of the dark tones of the image is carried out by adding to the brightness channel of the product the difference in the image of the parts in dark tones and brightness, inverting the result of bilateral filtering raised to a power that determines the width of the tone range and the gain of dark tones, and the image of the details in dark is a function of the ratio of the brightness of the original image and the filtered image,

при этом коррекцию светлых тонов изображения осуществляют за счет вычитания из канала яркости произведения разности яркости и изображения деталей в светлых тонах, результата билатеральной фильтрации яркости, возведенной в степень, которая определяет ширину тонового диапазона, и коэффициента ослабления светлых тонов, а изображение деталей в светлых тонах является функцией отношения фильтрованного изображения и яркости исходного изображения,the correction of the light tones of the image is carried out by subtracting from the brightness channel the product of the brightness difference and the image of the parts in light tones, the result of bilateral filtering of the brightness raised to a power that determines the width of the tone range and the attenuation coefficient of light tones, and the image of the details in light tones is a function of the ratio of the filtered image and the brightness of the original image,

- конвертируют результат коррекции в изображение в цветовую систему RGB.- convert the correction result into an image in the RGB color system.

Для пояснения существа изобретения предлагаются следующие иллюстративные материалы:To illustrate the invention, the following illustrative materials are provided:

Фиг.1. Схема компонентов системы.Figure 1. System components diagram.

Фиг.2. Графики различных стоп-функций границ.Figure 2. Graphs of various stop functions of borders.

Фиг.3. Блок-схема улучшения цветного изображения.Figure 3. Color image enhancement flowchart.

Фиг.4. Блок-схема глобального контрастирования.Figure 4. Flowchart of global contrast.

Фиг.5. Пороговые значения, используемые при глобальном контрастировании.Figure 5. Thresholds used in global contrasting.

Фиг.6. Пример улучшения изображения.6. Image enhancement example.

Фиг.7. Пример фильтрации шумов.7. An example of noise filtering.

Фиг.8. Сравнение результата работы способа с пунктом меню Shadow/Highlight в Adobe PhotoShop CS.Fig. 8. Comparison of the result of the method with the menu item Shadow / Highlight in Adobe PhotoShop CS.

Фиг.1 показывает схему взаимодействия компонентов системы, на которой реализуют данный способ улучшения изображений. Работой системы управляет процессор 101, который выполняет программный код, записанный в оперативную память 102. В оперативной памяти 102 хранят исходное полутоновое или цветное изображение размера N×M. Цветное изображение хранят в цветовой системе RGB с глубиной цвета d бит на пиксел по n=d/3 бит на канал. Если изображение хранят в оперативной памяти в цветовой системе, отличной от RGB, то необходима его предварительная конвертация в RGB. Полутоновое изображение имеет глубину цвета n бит на пиксел. Изображение улучшают и результат выводят на устройство 103 отображения или печати. С помощью устройства ввода 104 в систему вводятся параметры коррекции. Обмен данными компонентов системы осуществляется по шине 105 данных.Figure 1 shows a diagram of the interaction of the components of the system on which this method of image enhancement is implemented. The operation of the system is controlled by a processor 101, which executes program code recorded in the RAM 102. The original halftone or color image of size N × M is stored in the RAM 102. The color image is stored in the RGB color system with a color depth of d bits per pixel at n = d / 3 bits per channel. If the image is stored in RAM in a color system other than RGB, then its preliminary conversion to RGB is necessary. A grayscale image has a color depth of n bits per pixel. The image is improved and the result is output to a display or printing device 103. Using input device 104, correction parameters are entered into the system. Data exchange of system components is carried out via data bus 105.

До описания работы способа в целом рассмотрим основные идеи, положенные в основу коррекции темных и светлых тонов на примере полутоновых фотографий с яркостями в диапазоне от 0 до 1.Before describing the operation of the method as a whole, we consider the basic ideas underlying the correction of dark and light tones using halftone photographs with brightnesses ranging from 0 to 1 as an example.

Ряд цифровых изображений имеют низкий динамический диапазон в темных и/или светлых тонах. Для наблюдателя это приводит к тому, что детали в темных и/или светлых тонах плохо различимы. Темные тона являются более темными, а светлые более светлыми, чем на хорошо экспонированных фотографиях. Следовательно, для улучшения подобных фотографий необходимо увеличить локальный контраст и одновременно увеличить уровень яркости в темных тонах и уменьшить уровень яркости в светлых тонах.A number of digital images have a low dynamic range in dark and / or light colors. For the observer, this leads to the fact that details in dark and / or light colors are poorly distinguishable. Dark tones are darker and lighter are lighter than in well-exposed photographs. Therefore, to improve such photographs, it is necessary to increase local contrast and at the same time increase the brightness level in dark tones and reduce the brightness level in light tones.

Пусть имеются изображения деталей Ds с высоким локальным контрастом в темных тонах и Dh с высоким локальным контрастом в светлых тонах, т.е. такие полутоновые изображения, детали на которых соответственно в темных и светлых тонах хорошо различимы. Тогда увеличить локальный контраст и увеличить уровень яркости в темных тонах исходного полутонового изображения I можно с помощью следующего альфа-смешения I и Ds:Let there be images of parts D s with high local contrast in dark tones and D h with high local contrast in light tones, i.e. such halftone images, the details of which, respectively, in dark and light colors are clearly distinguishable. Then, to increase local contrast and increase the brightness level in dark tones of the initial grayscale image I, you can use the following alpha-mixing of I and D s :

Figure 00000004
Figure 00000004

где смешение выполняется для каждого пиксела изображения с координатами (r,c), αs - альфа-канал в смысле прозрачности, имеет значения, близкие к 1 в светлых тонах и близкие к 0 в темных тонах; коэффициент k's регулирует усиление локального контраста в темных тонах. Раскрыв скобки можно записать данное соотношение в ином виде:where mixing is performed for each pixel of the image with coordinates (r, c), α s is the alpha channel in the sense of transparency, has values close to 1 in light colors and close to 0 in dark colors; the k ' s coefficient adjusts the local contrast gain in dark colors. Having opened the brackets, you can write this ratio in a different form:

Figure 00000005
Figure 00000005

Аналогично, увеличить локальный контраст и уменьшить уровень яркости в светлых тонах изображения I можно с помощью следующего альфа-смешения I и Dh:Similarly, to increase local contrast and reduce the brightness level in light tones of image I, use the following alpha mixing of I and D h :

Figure 00000006
Figure 00000006

где αh - альфа-канал в смысле прозрачности, имеет значения, близкие к 1 в темных тонах и близкие к 0 в светлых тонах; коэффициент k'h регулирует усиление локального контраста в светлых тонах.where α h is the alpha channel in the sense of transparency, has values close to 1 in dark colors and close to 0 in bright colors; the k ' h coefficient controls the enhancement of local contrast in bright colors.

Результаты коррекции темных и светлых тонов можно объединить в одном изображении:The correction results for dark and light tones can be combined in one image:

Figure 00000007
Figure 00000007

где ks - коэффициент усиления темных тонов, ks=k's/2, kh - коэффициент ослабления светлых тонов, kh=k'h/2, ks and kh∈[0, 1].where k s is the gain of dark tones, k s = k ' s / 2, k h is the attenuation coefficient of light tones, k h = k' h / 2, k s and k h ∈ [0, 1].

Рассмотрим подход к генерации изображений деталей Ds и Dh. Человек распознает детали на изображении потому, что их яркость отличается от яркости фона в некоторой локальной области. Это утверждение аналогично простейшей физической модели формирования полутонового изображения I:Consider the approach to generating images of parts D s and D h . A person recognizes details in an image because their brightness differs from the brightness of the background in some local area. This statement is similar to the simplest physical model of the formation of halftone image I:

Figure 00000008
Figure 00000008

где L - освещенность (luminance) объектов изменяется относительно плавно, А - отражательная способность (reflectance или albedo) деталей объектов изменяется с высокой частотой. В классическом методе Retinex локальный фон (или освещенность объекта сцены L) оценивают путем размытия изображения с помощью линейных ФНЧ, например Гауссова размытия. Однако это неверно с физической точки зрения, так как помимо слаборазличимых границ деталей объектов сильно размываются и высококонтрастные границы между объектами, что дает плавное изменение L при переходе с объекта на объект с разной освещенностью. Хорошей оценкой L могла бы быть сегментация изображения на области с одинаковой освещенностью, однако данная задача на сегодняшний день является трудноразрешимой. Компромиссным вариантом является применение размытия с предохранением высококонтрастных границ.where L is the luminance of the objects changes relatively smoothly, A is the reflectance (reflectance or albedo) of the details of the objects changes with high frequency. In the classic Retinex method, the local background (or the illumination of a scene object L) is estimated by blurring the image using a linear low-pass filter, such as Gaussian blur. However, this is wrong from a physical point of view, since in addition to the weakly distinguishable boundaries of the details of objects, the high-contrast boundaries between the objects are also blurred, which gives a smooth change in L when switching from an object to an object with different illumination. A good estimate of L could be segmentation of the image into areas with the same illumination, however, this task is difficult today. A compromise option is the use of blurring with the protection of high-contrast borders.

Существует несколько типов фильтров с предохранением границ (edge preserving filters). В литературе они рассматриваются как фильтры для подавления шумов. Семейством простейших в реализации и эффективных с точки зрения временных затрат фильтров являются билатеральные (bilateral) фильтры (см, например, [16]):There are several types of edge preserving filters. In the literature, they are considered as filters to suppress noise. A family of the simplest filters to implement and time-efficient filters are bilateral filters (see, for example, [16]):

Figure 00000009
Figure 00000009

для всех (r,c) пикселов изображения, где I - яркость исходного изображения, If - яркость в результате билатеральной фильтрации, r - номер строки, с - номер столбца, S размер пространственного ядра фильтра.for all (r, c) pixels of the image, where I is the brightness of the original image, I f is the brightness as a result of bilateral filtering, r is the row number, c is the column number, S is the size of the spatial filter core.

Классическая реализация билатерального фильтра является нерекурсивной и использует Гауссианы для фильтрации по пространству:The classic implementation of a bilateral filter is non-recursive and uses Gaussians to filter by space:

Figure 00000010
Figure 00000010

и по градациям яркости (так называемая, стоп-функция границ):and by gradations of brightness (the so-called stop function of borders):

Figure 00000011
Figure 00000011

где σ2D и σ2R дисперсии соответственно по пространству и по градациям яркости, σ2D и σ2R являются параметрами фильтра.where σ 2 D and σ 2 R of the dispersion, respectively, in space and in gradation of brightness, σ 2 D and σ 2 R are filter parameters.

Вычислительная сложность билатерального фильтра в классическом виде (как (6)) для изображения размера N×N есть O(N2S2), что требует значительных вычислительных затрат. В статье F.Durand, J.Dorsey "Fast bilateral filtering for the display of high-dynamic range images", GIGGRAPH 2002, pp.257-266[17] приводится эффективный способ уменьшения времени вычисления билатерального фильтра для больших значений S. Данный алгоритм эффективен, когда S более 30-50, в зависимости от реализации двумерного FFT. Недостатком алгоритма Durand and Dorsey является сложность его реализации для обработки изображения отдельными блоками.The computational complexity of the bilateral filter in the classical form (as (6)) for an N × N image is O (N 2 S 2 ), which requires significant computational costs. The article by F. Durand, J. Dorsey "Fast bilateral filtering for the display of high-dynamic range images", GIGGRAPH 2002, pp.257-266 [17] provides an effective way to reduce the time of calculating the bilateral filter for large values of S. This algorithm effective when S is greater than 30-50, depending on the implementation of the two-dimensional FFT. The disadvantage of the Durand and Dorsey algorithm is the complexity of its implementation for processing images in separate blocks.

Поэтому для S<30 целесообразно применение билатерального фильтра, в котором фильтрация осуществляется сначала по строкам, а затем по столбцам изображения:Therefore, for S <30, it is advisable to use a bilateral filter, in which filtering is carried out first by rows and then by image columns:

Figure 00000012
Figure 00000012

Figure 00000013
Figure 00000013

где r - номер строки, с - номер столбца, S - размер пространственного ядра фильтра, Ir - результат фильтрации по строкам.where r is the row number, c is the column number, S is the size of the spatial core of the filter, I r is the result of filtering by rows.

По аналогии со сверткой будем называть такой фильтр сепарабельным, хотя разделимость билатерального фильтра в математическом смысле не доказана. Вычислительная сложность сепарабельного билатерального фильтра O(2N2S).By analogy with convolution, we will call such a filter separable, although the separability of the bilateral filter has not been proved in the mathematical sense. The computational complexity of a separable bilateral filter is O (2N 2 S).

Рекурсивная реализация билатерального фильтра также возможна. Вычислительная сложность сепарабельного рекурсивного билатерального фильтра также составляет O(2N2S), но не требует дополнительной памяти для хранения промежуточных результатов вычислений, что уменьшает время работы метода в целом. При рекурсивной реализации в выражениях (9) I, Ir, If являются одним и тем же двумерным массивом.A recursive implementation of a bilateral filter is also possible. The computational complexity of a separable recursive bilateral filter is also O (2N 2 S), but does not require additional memory for storing intermediate calculation results, which reduces the operating time of the method as a whole. In a recursive implementation in expressions (9), I, I r , I f are the same two-dimensional array.

Сравним формулы (2) и (3) с известным способом повышения четкости изображения нерезким маскированием:Compare formulas (2) and (3) with the well-known way to increase the clarity of the image by unsharp masking:

Figure 00000014
Figure 00000014

где а - константа, Ib - результат низкочастотной фильтрации (размытия) исходного изображения. Согласно приведенным выше соображениям изображения деталей Ds и Dh (оценка отражательной способности) являются функциями отношения исходного полутонового изображения I и результата фильтрации билатеральным фильтром If. Можно предположить, что в зависимости от параметров билатерального фильтра можно добиться некоторого увеличения четкости изображения. Действительно, при использовании в билатеральном фильтре Гауссиана для фильтрации по диапазону (согласно формуле 8) происходит небольшое увеличение четкости границ с величиной перепада менее чем 3σR. Границы с большим локальным контрастом не изменяются. Это происходит из-за быстрого стремления к нулю Гауссиана за пределами диапазона [-3σR, 3σR]. Предлагается использовать для фильтрации по диапазону функцию, которая, с одной стороны, похожа на Гауссиан, с другой стороны, не так быстро стремится к нулю. Предлагается следующим образом обобщить функцию El-Fallah-Ford (см. El-Fallah A.I., Ford G.E. "Structure preserving inhomogeneous diffusion in image filtering", IEEE 27th conference on Signals, Systems and Computers, 1993 [18]):where a is a constant, I b is the result of low-pass filtering (blurring) of the original image. According to the above considerations, the images of the parts D s and D h (reflectance estimation) are functions of the ratio of the initial grayscale image I and the filtering result of the bilateral filter I f . It can be assumed that, depending on the parameters of the bilateral filter, some increase in image clarity can be achieved. Indeed, when a Gaussian is used in a bilateral filter to filter by range (according to formula 8), there is a slight increase in the sharpness of the boundaries with a drop of less than 3σ R. Borders with high local contrast do not change. This is due to the rapid vanishing of the Gaussian outside the range [-3σ R , 3σ R ]. It is proposed to use for filtering by range a function that, on the one hand, is similar to Gaussian, on the other hand, does not tend to zero so quickly. It is proposed to generalize the El-Fallah-Ford function as follows (see El-Fallah AI, Ford GE "Structure preserving inhomogeneous diffusion in image filtering", IEEE 27th conference on Signals, Systems and Computers, 1993 [18]):

Figure 00000015
Figure 00000015

где σ2R - дисперсия по градациям яркости, μ - параметр, задающий вид функции.where σ 2 R is the variance of gradations of brightness, μ is a parameter that defines the form of the function.

В [18] μ=2, при μ=6 функция близка к Гауссиану. Изменение μ в диапазоне от 1 до 6 позволяет управлять степенью повышения четкости. На фиг.2 приведены графики w(x) для μ=2 и μ=6, а также Гауссиан. Использование функции (11) с различными μ показано на фиг.3 (шаги 301 и 305).In [18], μ = 2; for μ = 6, the function is close to Gaussian. Changing μ in the range from 1 to 6 allows you to control the degree of sharpening. Figure 2 shows the graphs of w (x) for μ = 2 and μ = 6, as well as Gaussian. The use of function (11) with various μ is shown in FIG. 3 (steps 301 and 305).

Для фильтрации по пространству целесообразно применить усредняющую (плоскую) функцию:To filter by space, it is advisable to use an averaging (flat) function:

Figure 00000016
Figure 00000016

Тогда сепарабельный билатеральный фильтр можно еще более упростить и ускорить вычисления:Then the separable bilateral filter can be simplified and accelerated even more:

Figure 00000017
Figure 00000017

Figure 00000018
Figure 00000018

где r - номер строки, с - номер столбца, S - размер пространственного ядра фильтра, Ir - результат фильтрации по строкам.where r is the row number, c is the column number, S is the size of the spatial core of the filter, I r is the result of filtering by rows.

В качестве альфа-канала αs может использоваться результат билатеральной фильтрации If, а для αh может использоваться инверсия результата билатеральной фильтрации 1-If. Целесообразно иметь возможность управлять шириной тонового диапазона для светлых и темных тонов. Этого можно достичь, возведя в степень ts альфа-канал для темных тонов и возведя в степень th альфа-канал для светлых тонов, ts and th∈[1, 6]. Таким образом, формула (4) преобразуется к виду:As an alpha channel α s , the result of bilateral filtering I f can be used, and for α h , the inverse of the result of bilateral filtering 1-I f can be used. It is advisable to be able to control the tone range for light and dark tones. This can be achieved by raising to the power t s the alpha channel for dark tones and raising to the power t h the alpha channel for light tones, t s and t h ∈ [1, 6]. Thus, the formula (4) is converted to the form:

Figure 00000019
Figure 00000019

Для вычисления яркости промежуточных изображений деталей в темных и светлых тонах в процессе моделирования получены следующие формулы отношения I and If.To calculate the brightness of the intermediate images of parts in dark and light colors during the simulation, the following formulas of the ratio I and I f are obtained.

Figure 00000020
Figure 00000020

Figure 00000021
Figure 00000021

где I - яркость исходного изображения, If - яркость изображения в результате билатеральной фильтрации яркости.where I is the brightness of the original image, I f is the brightness of the image as a result of bilateral brightness filtering.

При реализации необходимо учесть n - глубину цвета обрабатываемого изображения и добавить к формуле (14) функции fb and fw, препятствующие выходу за пределы допустимого диапазона яркостей:In the implementation, it is necessary to take into account n - the color depth of the processed image and add to the formula (14) the functions f b and f w that impede the going out of the acceptable brightness range:

Figure 00000022
Figure 00000022

Figure 00000023
Figure 00000023

Figure 00000024
Figure 00000024

Так как Ie зависит только от I and If целесообразно для уменьшения времени вычислений предварительно построить двумерную хеш-таблицу перекодировки (2-D Look-Up Table). Если размер оперативной памяти ограничен и нет возможности хранить матрицу размера (2n-1)×(2n-1), то можно построить 2-D LUT с прореживанием и интерполировать прореженные значения с помощью билинейной интерполяции. Например, для глубины цвета n=8 использование 2-D LUT размера 52×52 или 86×86 с последующей билинейной интерполяцией визуально неотличимо от использования 2-D LUT размера 256×256.Since I e depends only on I and I f it is advisable to first build a two-dimensional hash conversion table (2-D Look-Up Table) to reduce the computation time. If the RAM size is limited and it is not possible to store a matrix of size (2 n -1) × (2 n -1), then you can build a 2-D LUT with decimation and interpolate decimated values using bilinear interpolation. For example, for a color depth of n = 8, using a 2-D LUT of size 52 × 52 or 86 × 86 with subsequent bilinear interpolation is visually indistinguishable from using a 2-D LUT of size 256 × 256.

На фиг.3 приведена блок-схема этапов коррекции цветного изображения. На шаге 301 выполняется фильтрация шумов для каждой компоненты R, G, B. При коррекции темных и светлых тонов в этих тонах возрастает уровень шума, и становятся более заметны JPEG артефакты. По этой причине требуется до коррекции темных и светлых тонов выполнять фильтрацию шумов. Фильтрация шумов также может быть выполнена с помощью билатерального фильтра. Tomasi and Manduchi (см. [16]) предлагают для фильтрации цветных изображений в функции (8) вычислять расстояние в цветовой системе Lab и пишут о возможных цветных ореолах вдоль границ при покомпонентной фильтрации. Однако для малых значений S подобные ореолы практически незаметны и покомпонентная фильтрация RGB изображений является допустимой, таким образом можно избежать этапа конвертирования RGB изображения в Lab. Предлагается использовать билатеральный фильтр в соответствии с формулами (13) и (11) с параметрами μ=6, S=3, σR=0,02(2n-1) или оценивать σR адаптивно. Другие варианты - это вычислять расстояние между цветами в цветовой системе Lab или по яркостной компоненте.Figure 3 shows a block diagram of the steps for correcting a color image. At step 301, noise filtering is performed for each component R, G, B. When correcting dark and light tones in these tones, the noise level increases and JPEG artifacts become more noticeable. For this reason, it is required to perform noise filtering before correcting dark and light tones. Noise filtering can also be done using a bilateral filter. Tomasi and Manduchi (see [16]) propose to calculate the distance in the Lab color system for filtering color images in function (8) and write about possible color ghosting along the edges during component filtering. However, for small S values, such halos are almost invisible and component-wise filtering of RGB images is acceptable, so the stage of converting RGB images to Lab can be avoided. It is proposed to use a bilateral filter in accordance with formulas (13) and (11) with parameters μ = 6, S = 3, σ R = 0.02 (2 n -1) or to evaluate σ R adaptively. Other options are to calculate the distance between colors in the Lab color system or by the luminance component.

На шаге 302 выполняется глобальное контрастирование для каждой компоненты R, G, B с автоматическим определением параметров контрастирования. Блок схема глобального контрастирования показана на фиг.3.At step 302, global contrasting is performed for each component R, G, B with automatic determination of the contrast parameters. A block diagram of global contrast is shown in FIG.

На шаге 303 из цветного изображения извлекают яркостную компоненту как максимальную из R, G, B:In step 303, the luminance component is extracted from the color image as the maximum of R, G, B:

Figure 00000025
Figure 00000025

На шаге 304 определяют параметры локальной коррекции темных и светлых тонов: ks, kh, ts, th. Для определения параметров коррекции можно использовать автоматический классификатор или задавать параметры интерактивно с помощью устройства ввода.At step 304, the local correction parameters for dark and light tones are determined: k s , k h , t s , t h . To determine the correction parameters, you can use the automatic classifier or set parameters interactively using the input device.

На шаге 305 выполняется билатеральная фильтрация I по формулам (13) и (11) с параметрами μ=2, S=15, σR=0,1(2n-1). На шаге 306 выполняется коррекция темных и светлых тонов в I по формуле (17). В результате коррекции происходит небольшое повышение четкости изображения. На шаге 307 результат коррекции светлых и темных тонов конвертируют в цветовую систему RGB:At step 305, bilateral filtering of I is performed according to formulas (13) and (11) with parameters μ = 2, S = 15, σ R = 0.1 (2 n -1). At step 306, the correction of dark and light tones in I is performed according to the formula (17). As a result of the correction, a slight increase in image clarity occurs. At step 307, the result of the correction of light and dark tones is converted into the RGB color system:

Figure 00000026
Figure 00000026

где I - яркость исходного изображения, Ie - яркость скорректированного изображения, R, G, В - интенсивности исходного изображения, R', G', В' - интенсивности скорректированного изображения.where I is the brightness of the original image, I e is the brightness of the adjusted image, R, G, B is the intensity of the original image, R ', G', B 'is the intensity of the adjusted image.

Данное соотношение сохраняет неизменными отношение RGB составляющих друг к дугу, соответственно сохраняет неизменным цветовой тон и насыщенность цветного изображения.This ratio keeps the ratio of RGB constituents to the arc unchanged, respectively, and keeps the color tone and color saturation unchanged.

Коррекция полутоновых изображений выполняется аналогично, но исключают шаги 303 and 307.Halftone correction is performed similarly, but steps 303 and 307 are excluded.

На фиг.4 приведена блок-схема глобального контрастирования. На шаге 401 вычисляют гистограммы интенсивностей HR, НG, НB соответственно для R, G, B составляющих изображения. На шаге 402 принимают решение о необходимости глобального контрастирования. Если (НR[0]==0 and НR[1]==0 and HG[0]==0 and HG[1]==0 and НB[0]==0 and НB[1]==0) or (HR[2n-3]==0 and НR[2n-2]==0 and HG[2n-3]==0 and HG[2n-2]==0 and HB[2n-2]==0 and HB[2n-2]==0), то выполняют контрастирование изображения. На шаге 403 определяется нижняя граница диапазона контрастирования:Figure 4 shows a block diagram of global contrast. At step 401, histograms of intensities H R , H G , H B, respectively, are calculated for the R, G, B components of the image. At 402, a decision is made on whether global contrasting is necessary. If (Н R [0] == 0 and Н R [1] == 0 and H G [0] == 0 and H G [1] == 0 and Н B [0] == 0 and Н B [ 1] == 0) or (H R [2 n -3] == 0 and H R [2 n -2] == 0 and H G [2 n -3] == 0 and H G [2 n - 2] == 0 and H B [2 n -2] == 0 and H B [2 n -2] == 0), the image is contrasted. At step 403, the lower limit of the contrast range is determined:

Figure 00000027
Figure 00000027

где Н0, С0 и T - пороговые значения соответственно по уровню гистограммы, по площади гистограммы и по интенсивности. Порог Т вводится, чтобы избежать излишнего ошибочного затемнения изображения.where H 0 , C 0 and T are threshold values, respectively, by the level of the histogram, by the area of the histogram, and by intensity. A threshold T is introduced to avoid unnecessarily mistakenly darkening the image.

На шаге 404 определяется верхняя граница диапазона контрастирования:At step 404, the upper limit of the contrast range is determined:

Figure 00000028
Figure 00000028

где H1 и С1 - пороговые значения соответственно по уровню и по площади гистограммы. Фиг.5 демонстрирует пороги на гистограмме интенсивностей.where H 1 and C 1 are threshold values, respectively, in terms of level and area of the histogram. Figure 5 shows the thresholds on the histogram of intensities.

На шаге 405 выполняют линейное растяжение значений RGB изображения на весь допустимый диапазон:At step 405, linear stretching of the RGB image values over the entire allowable range is performed:

Figure 00000029
Figure 00000029

На фиг.6 показан пример коррекции: 6.2 - исходное изображение, 6.2 - улучшенное изображение (ks=0,5, kh=0,5, ts=2, th=2), 6.3 - результат билатеральной фильтрации, 6.4 - изображение деталей в темных тонах, вычисленное по формуле (15), 6.5 - изображение деталей в светлых тонах, вычисленное по формуле (16). Произведена коррекция темных тонов в левой и верхней частях фотографии, а также коррекция светлых тонов в правой части.Figure 6 shows an example of correction: 6.2 is the original image, 6.2 is an improved image (k s = 0.5, k h = 0.5, t s = 2, t h = 2), 6.3 is the result of bilateral filtering, 6.4 - the image of parts in dark colors, calculated by the formula (15), 6.5 - the image of parts in light colors, calculated by the formula (16). The correction of dark tones in the left and upper parts of the photo, as well as the correction of light tones on the right side, has been performed.

Фиг.7 демонстрирует влияние фильтрации шумов на качество фотографии: 7.1 - фрагмент улучшенного изображения с фиг.6а без предварительной фильтрации шумов, 7.2 - фрагмент улучшенного изображения с фильтрацией шумов. Изменение тонов кожи на фрагменте 7.2 более плавное и приятное, чем на фрагменте 7.1. Дисперсия изображения 7.2 меньше дисперсии 7.1 для каждого из цветовых каналов.Fig. 7 shows the effect of noise filtering on photo quality: 7.1 - a fragment of the improved image of Fig. 6a without preliminary noise filtering, 7.2 - a fragment of the improved image with noise filtering. Change in skin tones on fragment 7.2 is smoother and more pleasant than on fragment 7.1. The variance of the image 7.2 is less than the variance of 7.1 for each of the color channels.

Фиг.8 демонстрирует преимущества предлагаемого способа перед способом, реализованным в пункте меню Shadow/Highlight в Adobe Photoshop CS: 8.1 - результат работы Photoshop CS Shadow/Highlight, 8.2-улучшенная предлагаемым способом фотография, 8.3 - первоначальная необработанная фотография, 8.4 - графики изменения яркости вдоль отрезка прямой АВ. Применение Adobe Photoshop CS Shadow/Highlight приводит к возникновению заметного ореола вдоль контрастных границ, при применении предложенного способа коррекции изображений ореол отсутствует, также ниже уровень шумов и меньше эффект постеризации.Fig. 8 shows the advantages of the proposed method over the method implemented in the menu item Shadow / Highlight in Adobe Photoshop CS: 8.1 - the result of Photoshop CS Shadow / Highlight, 8.2-improved photo by the proposed method, 8.3 - initial raw photo, 8.4 - graphs of brightness changes along a straight line segment AB. The use of Adobe Photoshop CS Shadow / Highlight leads to a noticeable halo along the contrasting borders; when applying the proposed image correction method, there is no halo, the noise level is lower and the posterization effect is less.

Предлагаемый алгоритм может быть реализован в программно-аппаратных средствах получения или печати изображений или в программном обеспечении.The proposed algorithm can be implemented in software and hardware for obtaining or printing images or in software.

Предлагаемый алгоритм применим для повышения качества изображений при их печати на фотопринтере. При незначительных изменениях он также может быть использован для повышения качества захватываемых изображений в цифровых камерах, камерафонах, камкордерах или телевизионных камерах. Возможна модификация метода для дисплеев.The proposed algorithm is applicable to improve the quality of images when printing on a photo printer. With minor changes, it can also be used to improve the quality of captured images in digital cameras, camcorders, camcorders or television cameras. Modification of the method for displays is possible.

Claims (9)

1. Способ улучшения цифровых изображений, состоящий из следующих операций: выполняют фильтрацию шумов, осуществляют коррекцию глобального контраста, извлекают из цветного изображения яркостную компоненту как максимальную из R, G, В составляющих, определяют параметры локальной коррекции темных и светлых тонов, выполняют билатеральную фильтрацию яркости изображения, корректируют темные и светлые тона в канале яркости, при этом коррекцию темных тонов изображения осуществляют за счет добавления к каналу яркости произведения разности изображения деталей в темных тонах и яркости, инверсии результата билатеральной фильтрации, возведенной в степень, которая определяет ширину тонового диапазона, и коэффициента усиления темных тонов, а изображение деталей в темных тонах является функцией отношения яркости исходного изображения и фильтрованного изображения, при этом коррекцию светлых тонов изображения осуществляют за счет вычитания из канала яркости произведения разности яркости и изображения деталей в светлых тонах, результата билатеральной фильтрации яркости, возведенного в степень, которая определяет ширину тонового диапазона, и коэффициента ослабления светлых тонов, а изображение деталей в светлых тонах является функцией отношения фильтрованного изображения и яркости исходного изображения, конвертируют результат коррекции в изображение в цветовую систему RGB.1. A method for improving digital images, consisting of the following operations: performing noise filtering, performing global contrast correction, extracting the brightness component from the color image as the maximum of R, G, B components, determining the parameters for local correction of dark and light tones, performing bilateral brightness filtering images, correct dark and light tones in the brightness channel, while the correction of dark tones of the image is carried out by adding to the brightness channel the product of the difference the details in dark tones and brightness, the inversion of the result of bilateral filtering, raised to a power that determines the width of the tone range, and the gain of dark tones, and the image of parts in dark tones is a function of the ratio of the brightness of the original image and the filtered image, while the correction of light tones the images are carried out by subtracting from the brightness channel the product of the difference in brightness and the image of the details in bright colors, the result of bilateral filtering of the brightness To a degree that determines the width of the tone range and the attenuation coefficient of light tones, and the image of parts in light tones is a function of the ratio of the filtered image and the brightness of the original image, they convert the correction result into an image in the RGB color system. 2. Способ по п.1, отличающийся тем, что для фильтрации шумов используют билатеральный фильтр.2. The method according to claim 1, characterized in that a bilateral filter is used to filter the noise. 3. Способ по п.2, отличающийся тем, что в билатеральном фильтре используют плоскую функцию для фильтрации по пространству.3. The method according to claim 2, characterized in that the flat filter is used in the bilateral filter to filter by space. 4. Способ по п.2, отличающийся тем, что в билатеральном фильтре используют для фильтрации по диапазону функцию:4. The method according to claim 2, characterized in that in the bilateral filter the function is used to filter by range:
Figure 00000030
Figure 00000030
где σR2 - дисперсия по градациям яркости;where σ R 2 - variance in gradations of brightness; μ - параметр, задающий вид функции.μ is a parameter specifying the form of the function.
5. Способ по п.2, отличающийся тем, что для фильтрации используют билатеральный фильтр, в котором фильтрацию осуществляют сначала по строкам, а затем по столбцам изображения:5. The method according to claim 2, characterized in that a bilateral filter is used for filtering, in which filtering is carried out first by rows and then by image columns:
Figure 00000031
Figure 00000031
Figure 00000032
Figure 00000032
где r - номер строки, с - номер столбца, S - размер пространственного ядра фильтра, Ir - результат фильтрации по строкам, причем возможна как рекурсивная так и нерекурсивная реализация фильтра, и при рекурсивной реализации I, Ir, If являются одним и тем же двумерным массивом.where r is the row number, c is the column number, S is the size of the spatial core of the filter, I r is the result of filtering by rows, and both a recursive and a non-recursive implementation of the filter are possible, and with a recursive implementation I, I r , I f are one and the same two-dimensional array.
6. Способ по п.1, отличающийся тем, что для вычисления яркости промежуточного изображения деталей в темных тонах используют соотношение:6. The method according to claim 1, characterized in that to calculate the brightness of the intermediate image of the parts in dark colors, use the ratio:
Figure 00000033
Figure 00000033
где I - яркость исходного изображения, If - яркость изображения в результате билатеральной фильтрации яркости.where I is the brightness of the original image, I f is the brightness of the image as a result of bilateral brightness filtering.
7. Способ по п.1, отличающийся тем, что для вычисления яркости промежуточного изображения деталей в светлых тонах используют соотношение:7. The method according to claim 1, characterized in that to calculate the brightness of the intermediate image of the parts in bright colors, use the ratio:
Figure 00000034
Figure 00000034
8. Способ по п.1, отличающийся тем, что для конвертации результатов коррекции в цветовую систему RGB используют соотношения:8. The method according to claim 1, characterized in that for the conversion of the correction results into the RGB color system, the following ratios are used: R'=RIe/I, G'=GIe/I, В'=BIе/I,R '= RI e / I, G' = GI e / I, B '= BI e / I, где I - яркость исходного изображения, Ie - яркость скорректированного изображения, R, G, В - интенсивности исходного изображения, R', G', В' - интенсивности скорректированного изображения.where I is the brightness of the original image, I e is the brightness of the adjusted image, R, G, B is the intensity of the original image, R ', G', B 'is the intensity of the adjusted image. 9. Способ по п.1, отличающийся тем, что для уменьшения времени коррекции предварительно вычисляют двумерную таблицу перекодировки, которая хранит скорректированные значения яркости в зависимости от исходной яркости, отраженной в номере строки таблицы, и результата билатеральной фильтрации, отраженного в номере столбца таблицы.9. The method according to claim 1, characterized in that to reduce the correction time, a two-dimensional conversion table is pre-computed, which stores the adjusted brightness values depending on the initial brightness reflected in the table row number and the result of bilateral filtering reflected in the table column number.
RU2005133120/09A 2005-10-28 2005-10-28 Method for improving digital images RU2298226C1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2005133120/09A RU2298226C1 (en) 2005-10-28 2005-10-28 Method for improving digital images
KR1020060105281A KR20070046010A (en) 2005-10-28 2006-10-27 Method of digital image enhancement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2005133120/09A RU2298226C1 (en) 2005-10-28 2005-10-28 Method for improving digital images

Publications (1)

Publication Number Publication Date
RU2298226C1 true RU2298226C1 (en) 2007-04-27

Family

ID=38107027

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2005133120/09A RU2298226C1 (en) 2005-10-28 2005-10-28 Method for improving digital images

Country Status (2)

Country Link
KR (1) KR20070046010A (en)
RU (1) RU2298226C1 (en)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010015873A1 (en) 2010-03-09 2011-09-15 Dmitrij V. Shmunk Device for improving digital images e.g. video image, has correction filter correcting selected pixels, where quality rating of filter are adjusted based on local values of characteristics amplitude of brightness profile of image
DE202010017586U1 (en) 2010-03-09 2012-03-27 Dmitrij V. Shmunk Apparatus for improving digital images
RU2456670C2 (en) * 2008-02-04 2012-07-20 Шарп Кабусики Кайся Device, method and software to process images with higher sharpness
RU2479049C1 (en) * 2009-01-19 2013-04-10 Шарп Кабусики Кайся Image display device and image display method
RU2504840C1 (en) * 2012-07-19 2014-01-20 Общество с ограниченной ответственностью "Фирма Фото-Тревел" Automatic photograph retouching method
RU2519829C2 (en) * 2009-12-04 2014-06-20 Кэнон Кабусики Кайся Image processing device
RU2523003C1 (en) * 2010-05-11 2014-07-20 Кэнон Кабусики Кайся Image processing device and control method for image processing device
RU2523924C2 (en) * 2011-08-30 2014-07-27 Кэнон Кабусики Кайся Image processing device and image processing method
RU2544793C2 (en) * 2012-02-02 2015-03-20 Кэнон Кабусики Кайся Image processing device and control method therefor
RU2595615C1 (en) * 2015-06-26 2016-08-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" Method of enhancing digital raster images by local leveling brightness
RU2617328C2 (en) * 2012-03-30 2017-04-24 ЭЙДЗО Корпорейшн Device and / or method for displaying image on screen
RU2622095C1 (en) * 2016-02-05 2017-06-09 Акционерное общество "Государственный Рязанский приборный завод" Method of improving digital colour images
RU2640645C2 (en) * 2013-02-06 2018-01-10 Конинклейке Филипс Н.В. System for generating intermediate image
RU2647636C2 (en) * 2013-02-21 2018-03-16 Долби Лабораторис Лайсэнзин Корпорейшн Video display control with extended dynamic range
RU2679981C2 (en) * 2014-09-30 2019-02-14 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Hash-based encoder decisions for video coding
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
CN110148188A (en) * 2019-05-27 2019-08-20 平顶山学院 A kind of new method based on the distribution of maximum difference Image estimation low-light (level) image irradiation
US10567754B2 (en) 2014-03-04 2020-02-18 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
RU2724969C1 (en) * 2019-12-23 2020-06-29 Акционерное общество "Научно-исследовательский институт телевидения" Method of detecting small objects
CN111429370A (en) * 2020-03-23 2020-07-17 煤炭科学技术研究院有限公司 Method and system for enhancing images in coal mine and computer storage medium
US11076171B2 (en) 2013-10-25 2021-07-27 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
CN113382264A (en) * 2020-07-07 2021-09-10 谷歌有限责任公司 Alpha channel post-processing in image transcoding
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
RU2776664C2 (en) * 2017-12-15 2022-07-22 Оранж Methods and devices for encoding and decoding of multi-view video sequence of omnidirectional video

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942755B (en) 2013-01-23 2017-11-17 深圳市腾讯计算机系统有限公司 Brightness of image adjusting method and device
US9113025B2 (en) 2013-03-15 2015-08-18 Samsung Electronics Co., Ltd. Image signal processor circuits and methods for correcting crosstalk artifacts
KR102272979B1 (en) * 2017-11-22 2021-07-02 한국전기연구원 Method and system for retinex processing of endoscopic image, and a recording medium having computer readable program for executing the method
CN118446940A (en) * 2023-02-02 2024-08-06 蔚来移动科技有限公司 Clear image acquisition method, device, medium and mobile terminal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
. *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2456670C2 (en) * 2008-02-04 2012-07-20 Шарп Кабусики Кайся Device, method and software to process images with higher sharpness
RU2479049C1 (en) * 2009-01-19 2013-04-10 Шарп Кабусики Кайся Image display device and image display method
US8842109B2 (en) 2009-01-19 2014-09-23 Sharp Kabushiki Kaisha Image display device and image display method
RU2519829C2 (en) * 2009-12-04 2014-06-20 Кэнон Кабусики Кайся Image processing device
DE202010017586U1 (en) 2010-03-09 2012-03-27 Dmitrij V. Shmunk Apparatus for improving digital images
DE102010015873A1 (en) 2010-03-09 2011-09-15 Dmitrij V. Shmunk Device for improving digital images e.g. video image, has correction filter correcting selected pixels, where quality rating of filter are adjusted based on local values of characteristics amplitude of brightness profile of image
RU2523003C1 (en) * 2010-05-11 2014-07-20 Кэнон Кабусики Кайся Image processing device and control method for image processing device
RU2523924C2 (en) * 2011-08-30 2014-07-27 Кэнон Кабусики Кайся Image processing device and image processing method
RU2544793C2 (en) * 2012-02-02 2015-03-20 Кэнон Кабусики Кайся Image processing device and control method therefor
RU2617328C2 (en) * 2012-03-30 2017-04-24 ЭЙДЗО Корпорейшн Device and / or method for displaying image on screen
RU2504840C1 (en) * 2012-07-19 2014-01-20 Общество с ограниченной ответственностью "Фирма Фото-Тревел" Automatic photograph retouching method
RU2640645C2 (en) * 2013-02-06 2018-01-10 Конинклейке Филипс Н.В. System for generating intermediate image
RU2647636C2 (en) * 2013-02-21 2018-03-16 Долби Лабораторис Лайсэнзин Корпорейшн Video display control with extended dynamic range
US10540920B2 (en) 2013-02-21 2020-01-21 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
US11076171B2 (en) 2013-10-25 2021-07-27 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
US10567754B2 (en) 2014-03-04 2020-02-18 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
US11025923B2 (en) 2014-09-30 2021-06-01 Microsoft Technology Licensing, Llc Hash-based encoder decisions for video coding
RU2679981C2 (en) * 2014-09-30 2019-02-14 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Hash-based encoder decisions for video coding
RU2595615C1 (en) * 2015-06-26 2016-08-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" Method of enhancing digital raster images by local leveling brightness
RU2622095C1 (en) * 2016-02-05 2017-06-09 Акционерное общество "Государственный Рязанский приборный завод" Method of improving digital colour images
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
RU2776664C2 (en) * 2017-12-15 2022-07-22 Оранж Methods and devices for encoding and decoding of multi-view video sequence of omnidirectional video
CN110148188A (en) * 2019-05-27 2019-08-20 平顶山学院 A kind of new method based on the distribution of maximum difference Image estimation low-light (level) image irradiation
RU2724969C1 (en) * 2019-12-23 2020-06-29 Акционерное общество "Научно-исследовательский институт телевидения" Method of detecting small objects
CN111429370A (en) * 2020-03-23 2020-07-17 煤炭科学技术研究院有限公司 Method and system for enhancing images in coal mine and computer storage medium
CN111429370B (en) * 2020-03-23 2023-10-27 煤炭科学技术研究院有限公司 Underground coal mine image enhancement method, system and computer storage medium
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
CN113382264A (en) * 2020-07-07 2021-09-10 谷歌有限责任公司 Alpha channel post-processing in image transcoding

Also Published As

Publication number Publication date
KR20070046010A (en) 2007-05-02

Similar Documents

Publication Publication Date Title
RU2298226C1 (en) Method for improving digital images
Yu et al. Low-illumination image enhancement algorithm based on a physical lighting model
JP3070860B2 (en) Image data enhancement method and color image data enhancement method
Moroney Local color correction using non-linear masking
CN108702496B (en) System and method for real-time tone mapping
US7020332B2 (en) Method and apparatus for enhancing a digital image by applying an inverse histogram-based pixel mapping function to pixels of the digital image
US7426312B2 (en) Contrast enhancement of images
EP2076013B1 (en) Method of high dynamic range compression
JP4319620B2 (en) Local color correction
RU2400815C2 (en) Method of enhancing digital image quality
JP2001229377A (en) Method for adjusting contrast of digital image by adaptive recursive filter
Safonov et al. Adaptive image processing algorithms for printing
CN112019762B (en) Video processing method and device, storage medium and electronic equipment
CN117252773A (en) Image enhancement method and system based on self-adaptive color correction and guided filtering
KR100771158B1 (en) Method AND System For Enhancement Color Image Quality
Boschetti et al. High dynamic range image tone mapping based on local histogram equalization
Albu et al. One scan shadow compensation and visual enhancement of color images
RU2298223C2 (en) System and method for correcting dark tones on digital photographs
US20060056722A1 (en) Edge preserving method and apparatus for image processing
Li et al. Saliency guided naturalness enhancement in color images
Han et al. Automatic illumination and color compensation using mean shift and sigma filter
Safonov et al. Automatic correction of exposure problems in photo printer
Kaur et al. An improved adaptive bilateral filter to remove gaussian noise from color images
Srinivas et al. Channel prior based Retinex model for underwater image enhancement
Safonov Automatic correction of amateur photos damaged by backlighting

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20151029