RU2383924C2

RU2383924C2 - Способ адаптивного повышения резкости цифровых фотографий в процессе печати

Info

Publication number: RU2383924C2
Application number: RU2007113703/09A
Authority: RU
Inventors: Илья Владимирович Сафонов (Ru); Илья Владимирович Сафонов
Original assignee: Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд."
Priority date: 2007-04-12
Filing date: 2007-04-12
Publication date: 2010-03-10
Also published as: RU2007113703A

Abstract

Изобретение относится к области цифровой обработки изображений и конкретно к способам адаптивного повышения резкости фотоотпечатков. Техническим результатом изобретения является обеспечение более высокой степени адаптивности. Способ адаптивного повышения резкости цифровых фотографий в процессе печати заключается в том, что изменяют размер изображения в соответствии с размером фотоотпечатка и разрешением устройства печати, оценивают степень резкости цифровой фотографии, уменьшают длину перехода на перепадах яркости в канале яркости изображения, используя параметры, которые зависят от степени резкости, увеличивают локальный контраст в канале яркости изображения, используя параметры, которые зависят от степени резкости, и модифицируют цветовые каналы изображения с целью предотвращения искажений цветового тона и насыщенности по причине изменения яркости на двух предыдущих этапах. 10 з.п. ф-лы, 12 ил.

Description

Изобретение относится к области цифровой обработки изображений. Точнее относится к методам автоматического повышения резкости (четкости) фотоотпечатков.

При съемке цифровыми камерами, камерами мобильных телефонов и видеокамерами значительное количество фотографий получается размытыми. Данный дефект ухудшает восприятие фотографий. К размытию фотографии в целом или отдельных ее регионов приводит одновременно много факторов, наиболее значимыми из которых являются следующие:

- ошибки фокусировки аппаратуры регистрации изображений (цифровых камер и т.д.);

- тряска аппаратуры регистрации изображений;

- перемещение объектов в кадре в процессе регистрации;

- запотевание оптических элементов аппаратуры;

- низкочастотная фильтрация часто имеет место при сжатии, например при JPEG сжатии;

- увеличение размеров фотографии;

- низкочастотная фильтрация для подавления шумов и артефактов компрессии.

Часто несколько факторов влияют одновременно, и математическая модель размытия реальных фотографий очень сложна. Также необходимо отметить, что в ряде случаев на фотографиях намеренно размывают передний или задний план, например при съемке портретов. Подобное размытие является частью художественного замысла и не должно расцениваться как дефект.

В существующих патентах и публикациях адаптивность повышения резкости рассматривается с различных точек зрения:

- адаптивность к размеру фотоотпечатка, разрешению и частотно-контрастной характеристики устройства печати;

- адаптивность к уровню шумов в локальной области, в зависимости от характеристик в локальном окне выполняется либо повышение резкости, либо размытие;

- адаптивность к определенным цветовым областям, таким как цвет кожи человека, синее небо, зеленая растительность;

- адаптивность к характеристикам зрения человека;

- адаптивность к различной степени размытия исходного изображения.

Выложенная заявка на патент США 2005/0089247 [1] предлагает применять фильтр нерезкого маскирования с выбором параметров фильтра в зависимости от разрешения печатающего устройства и размера отпечатка. Повышение резкости выполняется до масштабирования изображения до требуемого размера. Похожий подход как для устройств печати, так и для устройств отображения, был предложен в выложенной заявке на патент США 2004/0036923 [2]. В опубликованном патенте США 5696850 [3] описан адаптивный фильтр повышения резкости, параметры которого устанавливаются в зависимости от размера отпечатка и частотно-контрастной характеристики печатающего устройства, измеряемой с помощью специального калибровочного изображения. В выложенной заявке на патент США 2006/0077470 [4] для каждого разрешения печатающего устройства устанавливаются особые параметры фильтра повышения резкости.

Множество публикаций и патентов посвящено описанию методов повышения резкости или размытия в зависимости от параметров в локальном окне изображения, например, выложенная заявка на патент США 2003/0026495 [5], опубликованный патент США 6980696 [6], выложенная заявка на патент США 2003/0081854 [7]. В более ранних патентах США 5038388 [8], 6965702 [9], 6891977 [10] описаны способы выбора параметров фильтра нерезкого маскирования в зависимости от оценки уровня шумов.

В патенте США 6954549 [11] и в выложенной заявке на патент США 2002/0110282 [12] описан способ выбора параметров фильтра повышения резкости в зависимости от цветов областей кожи человека, синего неба и зеленой растительности. Выложенная заявка США 2006/0034512 [13] описывает систему для повышения резкости в области лица человека.

Статьи "Color image enhancement based on perceptual sharpening" R.Baldrich и другие (IEEE International Conference on Image Processing (ICIP-2003), 2003) [14] и "Adaptive edge enhancement using a neurodynamical model of visual attention" F.Gasparini (IEEE International conference on Image Processing, ICIP 2005) [15] предлагают выбирать параметры фильтра нерезкого маскирования на основе характеристик человеческого зрения. Подход в целом интересен, но слабо обоснован и недостаточно исследован. Большее практическое значение имеет способ, описанный в выложенной заявке на патент США 2006/0033844 [16]. Параметры фильтра нерезкого маскирования выбираются в зависимости от яркости фрагмента изображения и результатов высокочастотной фильтрации. Правило выбора параметров сформировано на предварительной стадии обучения, на которой анализировались ответы экспертов.

Для адаптивного улучшения резкости изображений, имеющих различную степень размытия, необходимо предварительно оценить эту степень размытия или, наоборот, степень резкости исходного изображения. В патенте США 6097847 [17] описан способ повышения резкости с адаптивной оценкой резкости изображения, как суммы величин перепадов яркости на изображении.

Основательный анализ различных способов автоматической оценки резкости изображений дается в статье "An Investigation of Perceived Sharpness and Sharpness Metrics", Buyue Zhang, Jan P.Allebach, Zygmunt Pizlo (Proceedings of SPIE-IS&T Electronic Imaging, SPIE Vol.5668, 2005) [18]. Авторы статьи предлагают 2 способа автоматической оценки резкости: Digital Sharpness Scale (DSS) и Average Edge Transition Slope (AETS). Для вычисления оценки резкости DSS для изображения в цветовом пространстве RGB выполняют следующие шаги.

- Конвертируют изображение из цветовой системы RGB в YC.

- Генерируют изображение границ Yedge путем фильтрации канала яркости Y Лапласианом-Гауссиана (LoG) с последующим поиском пересечений нулевого уровня (zero-crossing).

- Вычисляют максимальное абсолютное значение разности в окне 5×5 точек изображения, причем центр окна находится на точке границы изображения Yedge, далее суммируют максимальные абсолютные значения разности для всех точек границ и усредняют данную сумму путем деления на общее количество точек границ.

Вычисление оценки резкости AETS более сложное и требует существенно больших вычислительных затрат. Способ вычисления оценки резкости AETS состоит из следующих шагов.

- Утоньшают границы на изображении Yedge, которое получают точно так же, как в способе DSS.

- Объединяют точки границ в связные области.

- Определяют направления фрагментов границ и вычисляют нормали к этим фрагментам.

- Извлекают профили яркости вдоль нормалей к фрагментам границ.

- Вычисляют AETS из профилей яркости.

Экспериментальные результаты, приведенные в статье, показывают, что оба способа оценки резкости дают результаты, коррелирующие с восприятием резкости фотографий человеком. Однако абсолютное значение оценок сильно зависит от изображенного на фотографии. Таким образом, данные способы не применимы для оценки резкости произвольных фотографий.

Исследователи из HP Labs в выложенной заявке США 2005/0244074 [19] и статье Doron Shaked, Ingeborg Tastl "Sharpness Measure: Towards Automatic Image Enhancement" (IEEE International Conference on Image Processing, 2005) [20] предложили эффективный с вычислительной точки зрения способ оценки резкости изображений. Данный способ основан на вычислении суммы отношений результатов фильтрации двумя одномерными БИХ фильтрами (ФВЧ и полосовым) конечных разностей соседних точек изображения. Фильтры применяются отдельно для строк и столбцов изображения. Данная оценка хорошо коррелирует с восприятием резкости человеком. Однако опубликованные результаты показывают зависимость оценки резкости от типа камеры, которой снималось изображение.

Другая группа исследователей из HP Labs предложила способ детектирования размытых фотографий. В выложенной заявке США 2006/0153471 [21] и опубликованном отчете HP Labs Technical Report "Detection of Out-Of-Focus Digital Photographs" Suk Hwan Lim, Jonathan Yen, Peng Wu (2005) [22] расширяется способ оценки резкости из [19] таким образом, что резкость оценивается локально для блока изображения, а не глобально для всего изображения. Несколько дополнительных параметров вычисляются по оценкам блоков. Эти параметры основаны на следующих предположениях.

- Передний план всегда резкий, тогда как задний план может быть как резким, так и не резким.

- Передний план, вероятно, ближе к центру изображения.

- Передний план обычно более светлый, чем задний.

- Цвета переднего плана обычно более яркие и насыщенные, чем заднего.

- Площадь переднего плана достаточно велика.

Отмечается, что эти предположения не всегда верны, особенно 3 и 4. Для детектирования размытых фотографий построен древовидный классификатор. Статья декларирует 90% правильно распознанных фотографий и 10% ошибок из 3000 фотографий, 350 из которых размыто.

Статья "Automatic Enhancement of Noisy Images Using Objective Evaluation of Image Quality" Fabrizio Russo (IMTC 2004 - Instrumentation and Measurement Technology Conference, 2004) [23] отмечает, что вид гистограмм границ различается для четких и размытых изображений. Статья предлагает использовать гистограмму границ для автоматического выбора параметров обработки. Границы получают в результате фильтрации фильтром Собеля.

Существует большое количество известных методов повышения резкости изображений, для которых не описан адаптивный подбор параметров. Все эти методы относятся либо к группе восстановления изображений либо к группе улучшения изображений. При восстановлении изображений сначала оценивают функцию рассеяния точки (ФРТ) или оптическую передаточную функцию (ОПФ), затем выполняют обращенную свертку изображения (deconvolution) с регуляризацией. Пример устранения размытия путем восстановления изображения посредством решения линейной инверсной некорректной задачи описан в патенте США 6879735 [24]. Как упоминалось выше, на формирование размытой фотографии одновременно влияют несколько факторов и построение математической модели размытого изображения, равно как оценка ФРТ или ОПФ, на практике являются сложными задачами.

Почти все методы улучшения изображений, направленные на повышение резкости, можно разделить на две группы:

- увеличивающие локальный контраст на границах перехода, т.е. диапазона изменения сигнала;

- уменьшающие длину перехода.

Методы первой группы увеличивают высокочастотные компоненты изображения. Наиболее известным методом данной группы является нерезкое маскирование (Unsharp mask): Ie=I+k×(I-Ib), где I - исходное изображение, Ib - результат фильтрации I фильтром нижних частот, k - коэффициент усиления величины перепада яркости на границе.

Обычно в качестве ФНЧ используют свертку с Гауссианом. Нерезкое маскирование улучшает визуальное восприятие изображений путем увеличения локального контраста около перепадов яркости, т.е. границ, на изображении, однако традиционное нерезкое маскирование имеет следующие недостатки:

- усиление шумов и артефактов компрессии;

- формирование ореолов вдоль границ, причем ореолы иногда достаточно широкие и хорошо заметны;

- неравномерное увеличение локального контраста в зависимости от величины перепада яркости на границе.

Большое количество патентов и публикаций описывает различные модификации фильтра нерезкого маскирования, например, патент США 6924839 [25], заявка на патент США 2005/0069216 [26], патент США 4794531 [27], патент США 5081692 [28].

Способов для уменьшения длины перехода (т.е. диапазона изменения сигнала) описано значительно меньше. В отличие от способов повышения локального контраста данная группа способов позволяет повысить качество даже достаточно сильно размытых фотографий.

Подход, основанный на деформировании изображения, описан в статье "Enhancement by Image-Dependent Warping" N.Arad, C.Gotsman, IEEE Transactions on Image Processing, Vol.8, №8, 1999 [29]. Данный способ требует значительных вычислительных затрат. Кроме того, в способе не решена проблема с увеличением шумовых включений и артефактов компрессии.

Большее практическое значение имеет повышение резкости с помощью морфологической фильтрации. В статье "Image sharpening by morphological filtering", G.M.Schavemaker, M.J.T.Reinders, J.J.Gerbrands, E.Backer, Pattern Recognition 33, 2000 [30], описан следующий морфологический фильтр:

,

где (IΘB) - эрозия изображения I со структурным элементом В, (I⊕B) - наращение изображения I со структурным элементом В, (r, c) - координаты текущей точки изображения.

Необходимо отметить, что для полутонового изображения эрозия является минимальным фильтром, а наращение является максимальным фильтром. Половина перехода заменяется минимальным значением некоторой окрестности, а другая половина заменяется максимальным значением, таким образом, переход преобразуется в идеальную границу - ступеньку. Перепады яркости на изображении становятся абсолютно резкими, но такое изображение становится похожим на акварельный рисунок и выглядит ненатурально, так как большие области вдоль перепадов яркости имеют одинаковое значение цвета, что ненатурально для фотографий. Области шумовых выбросов расширяются.

Логичным развитием способа повышения резкости с помощью морфологической фильтрации, в котором значения точек в области перехода заменяются на минимальное или максимальное по окрестности, стал способ локального преобразования уровней, в котором значения точек в области перехода заменяются на значения от минимального до максимального по функции, являющейся типичной для повышения глобального контраста изображения. Такой способ известен из заявки на патент США 2005/0249437 [31]. Он предназначен для повышения резкости не в общем случае, а только после увеличения размера изображения. Последовательность действий в данном способе следующая:

- ищут минимальное и максимальное значения в пределах локального окна, причем размер окна зависит от коэффициента увеличения изображения;

- нормализуют значение яркости точки изображения в диапазон [0, 1];

- с помощью функции преобразования уровней f(x) изменяют значение яркости;

- масштабируют преобразованное значение яркости обратно в диапазон от минимального до максимального значений в окне.

В заявке [31] используется следующая функция преобразования уровней:

В патенте США 6915024 [32] и заявке на патент США 2005/0169553 [33] предлагается применять локально функцию линейного контрастирования от минимума до максимума в окне. Способ предназначен для повышения резкости в общем случае, однако отмечается, что способ усиливает ряд артефактов, в частности "звон" вдоль резких границ (ringing), возникающий в результате компрессии с потерей информации.

Общим недостатком всех способов локального преобразования уровней является усиление шумов и артефактов компрессии. Также, если для изображения уже применялся один из методов повышения резкости, использующий повышение локального контраста, то увеличивается ширина ореола. Эти недостатки ограничивают применение способов локального преобразования уровней.

Размытие является типичным и распространенным дефектом любительских фотографий. Автору не известны способы повышения резкости изображений, которые способны в автоматическом режиме улучшать все возможные типы фотографий от сильно размытых до резких, при этом учитывая размер фотоотпечатка и разрешение устройства печати. Существующие способы оценки степени резкости демонстрируют их значительную зависимость от изображенного на фотографии. Существующие способы повышения резкости имеют серьезные недостатки, такие как усиление шумов и артефактов компрессии, образование видимых ореолов вдоль резких перепадов.

Почти все существующие способы повышения резкости либо увеличивают локальный контраст, либо уменьшают длину перехода, тогда как проведенные автором эксперименты показали, что рациональное сочетание обоих подходов способно обеспечить неочевидный эффект, значительно превосходящий результат простого сложения преимуществ каждого из известных способов. Отсутствие известных публикаций, в которых описываются комбинированные способы адаптивного повышения резкости цифровых фотографий в процессе печати, не позволило выделить прототип заявляемого изобретения.

Задача, на решение которой направлено заявляемое изобретение, заключается в разработке рациональной комплексной методики использования сильных сторон (преимуществ) известных способов повышения резкости цифровых фотографий в процессе печати и придания этой методике более высокой степени адаптивности.

Поставленная задача решена путем создания способа адаптивного повышения резкости цифровых фотографий в процессе печати, реализация которого состоит из следующей последовательности основных этапов:

- изменяют размер изображения в соответствии с размером фотоотпечатка и разрешением устройства печати;

- оценивают степень резкости цифровой фотографии;

- уменьшают длину перехода на перепадах яркости;

- увеличивают локальный контраст;

- модифицируют цветовые каналы.

Технический результат заключается в том, что заявляемый способ учитывает размер фотоотпечатка и разрешение устройства печати, а, кроме того, учитывает особенности человеческого зрения и обеспечивает пользователя инструкциями, позволяющими наиболее рационально выполнять все действия, направленные на повышение резкости изображения. Способ в автоматическом режиме способен оценивать степень резкости фотографии, причем зависимость от характера сюжета сцены на фотографии существенно меньше, чем у известных методов. К тому же, заявляемый способ позволяет анализировать как цветные, так и черно-белые цифровые фотографии, а также фотографии, снятые с эффектом "сепия".

Для реализации заявляемого способа важно, чтобы была установлена зависимость между размерами фотоотпечатка, разрешения устройства печати и параметрами этапа оценки степени резкости, этапа уменьшения длины перехода и этапа увеличения локального контраста.

Для реализации заявляемого способа важно также, чтобы оценка степени резкости включала следующие этапы, на которых:

- вычисляют гистограммы абсолютных значений изображений границ, где изображения границ получают в результате высокочастотной фильтрации с ядрами свертки различного размера;

- вычисляют интеграл логарифма гистограммы границ для каждой из гистограмм;

- вычисляют из массива интегралов логарифма гистограммы границ признаки;

- принимают на основании признаков решение о степени резкости фотографии.

Для реализации заявляемого способа важно, чтобы изображения границ получали в результате свертки строк исходного изображения с ядрами [1 -1], [1 0 -1], [1 0 0 -1], [1 0 0 0 -1], [1 0 0 0 0 -1], [1 0 0 0 0 0 -1], [1 0 0 0 0 0 0 -1], [1 0 0 0 0 0 0 0 -1], [1 0 0 0 0 0 0 0 0 -1], [1 0 0 0 0 0 0 0 0 0 -1] и столбцов исходного изображения с транспонированными данными ядрами.

Для реализации заявляемого способа важно, чтобы в процессе принятия решения о степени резкости фотографии вычисляли из массива интегралов логарифма гистограммы границ следующие признаки:

- интеграл логарифма гистограммы границ, полученных фильтром с ядром свертки размера 2;

- разность интегралов логарифма гистограмм границ, полученных фильтрами с ядрами свертки размера 3 и 2;

- сумма интегралов логарифма гистограмм границ минус 5.

Для реализации заявляемого способа важно, чтобы в процессе принятия решения о степени резкости фотографии применяли классификатор, основанный на взвешенном голосовании комитета простых классификаторов.

Для реализации заявляемого способа важно, чтобы для уменьшения длины перехода на перепадах применяли нелинейный нерекурсивный фильтр, в котором новое значение точки изображения формируется в результате следующих этапов:

- вычисляют пределы L и Н, как соответственно среднее среди первых 25% и последних 25% множества, упорядоченного в порядке возрастания и составленного из значений точек в пределах локального окна;

- изменяют значения точек изображения вне диапазона [L, Н];

- игнорируют точки изображения, если разница между Н и L меньше порога;

- нормализуют значения точки изображения из диапазона [L, H] в диапазон [0, 1];

- преобразуют нормализованное значение с помощью функции преобразования уровней;

- масштабирование преобразованного значения обратно из диапазона [0, 1] в диапазон [L, Н].

Для реализации заявляемого способа важно, чтобы для увеличения локального контраста применяли модифицированный фильтр нерезкого маскирования:

где I - исходное изображение, If - результат фильтрации билатеральным фильтром, k - коэффициент усиления локального контраста, Tusm - порог для уменьшения усиления шумов.

Для реализации заявляемого способа важно, чтобы в модифицированном фильтре нерезкого маскирования использовали билатеральный фильтр со стоп-функцией границ следующего вида:

где параметры σ_R и µ управляют формой функции.

Для реализации заявляемого способа важно, чтобы в модифицированном фильтре нерезкого маскирования использовали билатеральный фильтр с плоским одномерным пространственным ядром.

Для реализации заявляемого способа важно, чтобы в модифицированном фильтре нерезкого маскирования использовали билатеральный фильтр, в котором фильтрация нерекурсивно осуществляется сначала по строкам, а затем по столбцам изображения:

где (r,c) - координаты текущей точки изображения, I - исходное изображение, I_f - результат фильтрации, w - стоп-функция границ, S - размер пространственного ядра.

Для реализации заявляемого способа важно, чтобы в модифицированном фильтре нерезкого маскирования использовали билатеральный фильтр, в котором фильтрация рекурсивно осуществляется сначала по строкам, а затем по столбцам изображения:

Таким образом, оценка резкости основана на анализе изменения вида гистограмм границ, где границы получают путем применения КИХ ФВЧ с различными размерами ядра свертки. Одномерные фильтры применяют для строк и столбцов изображения. Зависимость интегралов логарифма гистограммы границ от размера ядра фильтра характеризует резкость фотографии. Для повышения резкости последовательно уменьшают длину перехода (т.е. диапазона изменения сигнала) и повышают локальный контраст на краях перехода. Локальное преобразование уровней применяют для уменьшения длины перехода. Нерезкое маскирование с применением билатерального фильтра используют для повышения локального контраста.

Для лучшего понимания существа заявляемого изобретения далее приводится его детальное описание с привлечением соответствующих графических материалов.

Фиг.1. Иллюстрация существующих способов повышения резкости (prior art).

Фиг.2. Иллюстрация предлагаемого способа повышения резкости.

Фиг.3. Схема основных компонентов системы.

Фиг.4. Блок-схема метода.

Фиг.5. Блок-схема оценки резкости изображения.

Фиг.6. Типичные графики интегралов логарифма гистограммы границ в зависимости от размера ядра фильтра для размытых и четких фотографий.

Фиг.7. Таблица с коэффициентами для классификатора для размера фотоотпечатка 10×15 см и разрешения печати 300 ppi.

Фиг.8. Таблица с параметрами повышения резкости в зависимости степени резкости изображения для размера фотоотпечатка 10×15 см и разрешения печати 300 ppi.

Фиг.9. Блок-схема повышения резкости с помощью локального преобразования уровней.

Фиг.10. График кривой преобразования уровней.

Фиг.11. Графики различных стоп-функций границ.

Фиг.12. Пример обработки в автоматическом режиме.

Резкость (иногда называемая четкостью) является одним из основных показателей, влияющих на качество напечатанной фотографии. Резкость (четкость) напечатанной фотографии определяется двумя взаимосвязанными факторами: пространственным разрешением печатающего устройства и длиной переходов на границах (длина участка, на котором происходит изменение яркости, которое и образует границу). Для управления резкостью фотографий необходимо учитывать размер фотоотпечатка и разрешение печати. Таким образом, на первом этапе необходимо изменить размер исходного изображения в соответствии с заданным размером фотоотпечатка и разрешением печати. Параметры способа для детектирования размытых фотографий различаются для каждой пары значений: размер фотоотпечатка и разрешение печати. Все численные константы, приведенные в данном описании, предназначены для анализа изображений, предназначенных для печати фотографий размера 10×15 см (4×6 дюймов) с разрешением печати 300 ppi (pixels per inch, пикселов на дюйм), однако специалисту ясно, что соответствующие данные для иных значений размера фотоотпечатка и разрешения могут быть получены аналогичным образом. Также отметим, что в данном описании мы для обозначения разрешения используем количество пикселов на дюйм (ppi), а не количество точек на дюйм (dpi), так как количество точек на дюйм в различных печатающих устройствах имеет различный смысл, и в ряде печатающих устройств пикселу цифрового изображения соответствует несколько точек в фотоотпечатке.

Способ основан на следующих психофизических особенностях зрения человека:

- разрешающая способность: известно, что при рассматривании изображения с расстояния 30-40 мм глаз человека способен разрешать (различать) объекты размером 1/4-1/3 мм; для разрешения печати 300 ppi и размера фотоотпечатка 10×15 см это эквивалентно 3-4 пикселам, то есть граница на изображении будет восприниматься резкой, если длина перехода на границах будет менее 4-х пикселов;

- зрение человека анизотропно: разрешающая способность по горизонтали и вертикали существенно выше, чем по диагонали;

- даже для достаточно четких фотографий небольшое увеличение локального контраста позитивно оценивается наблюдателем.

Также способ основан на результатах предварительной подготовки: применяемый в способе классификатор обучен экспертом, который стремился не только повысить резкость фотографии, но и предотвратить увеличение уровня шумов и артефактов компрессии. Данный способ позволяет анализировать как цветные, так и черно-белые цифровые фотографии, а также фотографии, снятые с эффектом "сепия". В предпочтительном варианте изобретения изображение обрабатывается в цветовой системе YCbCr, которая описана в спецификации метода сжатия JPEG, однако специалисту ясно, что соответствующие константы и выражения могут быть конвертированы для других цветовых систем.

Фиг.3 показывает схему взаимодействия компонентов системы, на которой реализуется данный способ. Работа системы управляется процессором 301, который выполняет программный код, записанный в оперативную память 302. Цифровая фотография передается в оперативную память 302 из устройства считывания карт памяти 305 или из устройства регистрации изображений (цифровая фотокамера, камерафон, камкордер) через порт USB 306 или через беспроводную сеть с помощью адаптера 307. Изображение корректируется и передается на устройство отображения 303 и устройство печати 304. Устройство печати 304 печатает скорректированное изображение. Обмен данными компонентов системы осуществляется по шине данных 308.

На Фиг.4 приведена блок-схема этапов работы способа. Способ адаптивного повышения резкости изображений имеет 5 основных этапов:

- изменяют размер изображения в соответствии с размером фотоотпечатка и разрешением устройства печати (шаг 401);

- автоматически оценивают степень резкости изображения (шаг 402);

- уменьшают длину перехода на перепадах (шаг 403);

- увеличивают локальный контраст (шаг 404);

- модифицируют каналы цветности (шаг 405).

На шагах 402-404 обрабатывается только канал яркости. Шаг 405 является не обязательным, он добавлен для предотвращения изменения цветности и насыщенности, но такие изменения возникают только при сильной коррекции.

На Фиг.5 приведена блок-схема оценки резкости. На шаге 501 вычисляют гистограммы абсолютных значений границ, где границы получают путем высокочастотной фильтрации яркостного канала изображения или цветовых каналов КИХ фильтрами с ядрами свертки различного размера. В предпочтительном варианте изобретения выполняют свертку строк изображения с ядрами [1 -1], [1 0 -1], [1 0 0 -1], [1 0 0 0 -1], [1 0 0 0 0 -1], [1 0 0 0 0 0 -1], [1 0 0 0 0 0 0 -1], [1 0 0 0 0 0 0 0 -1], [1 0 0 0 0 0 0 0 0 -1], [1 0 0 0 0 0 0 0 0 0 -1] и свертку столбцов исходного изображения с транспонированными данными ядрами. Отметим, что в ряде случаев реализация может быть упрощена, так как вместо вычисления свертки можно вычислять конечные разности.

В ходе экспериментов с различными способами оценки резкости и модельными изображениями, которые размывались фильтрами низких частот, было обнаружено, что вид гистограммы границ зависит от степени размытия изображения и параметров фильтра для получения границ. Пока размер ядра фильтра обнаружения границ (высокочастотного или полосового фильтров) меньше, чем размер ядра размытия, вид гистограммы границ изменяется значительно при увеличении размера ядра фильтра обнаружения границ. Если размер ядра фильтра обнаружения границ больше, чем размер ядра размытия, то вид гистограммы границ изменяется незначительно с увеличением размера ядра. Энтропия En характеризует равномерность гистограммы и отсутствие в ней резких пиков:

En=-∑H_ilogH_i,

где H_i - значение i-го столбца гистограммы.

Энтропия гистограммы границ является оценкой резкости изображения, но ее значение сильно зависит от изображенного на фотографии. На шаге 502 по каждой из гистограмм, вычисленных на шаге 501, вычисляют интеграл логарифма гистограммы границ:

где единица добавляется, чтобы избежать сингулярности, а логарифм берется по основанию 2.

Зависимость А от изображенного на фотографии значительно меньше, чем у En за счет нормирования на количество границ на изображении, причем наилучший результат достигается при нормировании отдельно для каждого столбца гистограммы, а не для энтропии в целом. Кроме того, А имеет простую геометрическую интерпретацию: А приблизительно равна площади под огибающей гистограммы в логарифмическом масштабе, то есть интегралу логарифма гистограммы границ.

Массив интегралов логарифма гистограммы границ A(S) характеризует резкость изображения, где S - размер ядра фильтра обнаружения границ минус единица. Для резких фотографий A(S) быстро растет для S=2 и иногда для S=3; для S>3 первая производная A(S) - почти константа. В противоположность резким фотографиям, для размытых A(S) увеличивается незначительно. Фиг.6 демонстрирует графики A(S) для резкой (а) и размытой (b) фотографий; на графиках А нормализована в диапазон [01].

На шаге 503 по массиву A(S) вычисляют следующие признаки:

F1=An(2)-An(1) - разность интегралов логарифма гистограмм границ, полученных фильтрами с ядрами свертки размера 3 и 2, где массив {An} есть нормализованный в диапазон [0, 1] массив {А},

- сумма нормализованных интегралов логарифма гистограмм границ минус 5,

F3=A(1) - интеграл логарифма гистограммы границ, полученных фильтром с ядром свертки размера 2,

где An(i) есть A(i) нормализованные а диапазон [0, 1].

На шаге 504 на основе результатов работы классификатора принимают решение о степени резкости фотографии. Применяют классификатор Gentle AdaBoost, основанный на взвешенном голосовании комитета простых классификаторов (см. J.Friedman, T.Hastie, R.Tibshirani. Additive logistic regression: A statistical view of boosting. The Annals of Statistics, 38(2):337-374, April 2000) [34]. Таблица на Фиг.7 содержит данные для построения классификатора a(i), Feature(i), Th(i) и b(i), полученные в результате обучения на выборке из 400 фотографий. Для оценки степени резкости фотографии используют следующий классификатор:

,

где wl(i) равно 1, если b(i)×Feature(i)>b(i)×Th(i), и равно 0 в противном случае, где a(i) - весовой коэффициент, находящийся в первом столбце и i-й строке таблицы с Фиг.4; Feature(i) - признак, находящийся во втором столбце и i-й строке таблицы; Th(i) - порог, находящийся в третьем столбце и i-й строке таблицы; b(i) - знаковый коэффициент, находящийся в четвертом столбце и i-й строке таблицы.

В зависимости от значения U выбирается одна из 4-х степеней резкости фотографии: если U<0, то фотография считается сильно размытой, иначе если U<0.06, то фотография считается размытой, иначе если U<0.23, то фотография считается слегка размытой, иначе фотография считается резкой. Таблица на Фиг.8 содержит параметры 5 последующей обработки в зависимости от степени резкости.

Локальное преобразование уровней является эффективным путем для уменьшения длины перехода на перепадах (границах), но ряд существенных недостатков известных вариантов локального преобразования уровней ограничивают их применение для улучшения фотографий в общем случае. В частности недостатки следующие:

- усиление шумов;

- усиление артефактов компрессии;

- расширение ореола вдоль сильных перепадов, если изображение ранее было подвергнуто операции повышения резкости.

Эти недостатки вызваны нормализацией значения точки изображения из диапазона от минимального до максимального значений в окрестности в диапазон [0, 1], тогда как именно минимальные и максимальные значения в окрестности вероятно относятся к шумам и/или артефактам. Для преодоления перечисленных недостатков предлагается осуществлять нормализацию из диапазона [L, Н] и осуществлять подавление значений вне данного диапазона, где L больше минимального значения в окрестности или равняется ему, Н меньше максимального значения в окрестности или равняется ему. Пределы L и Н с меньшей вероятностью соответствуют шумовым выбросам. Для вычисления пределов L и Н используется подход, похожий на нелинейные порядковые статистические фильтры. В предпочтительном варианте изобретения предел L равен среднему значению из первых 25% значений упорядоченного в порядке возрастания множества значений из окрестности точки изображения, а предел Н равен среднему значению из последних 25% значений упорядоченного в порядке возрастания множества значений из окрестности точки изображения:

где Se - множество значений точек изображения в локальном окне отсортированное в порядке возрастания, N - количество точек изображения в локальном окне.

Локальное окно перемещается по точкам изображения, изображение фильтруется нерекурсивно. Размер окна равен Ks×Ks; Ks=2RadiusLTM + 1, где RadiusLTM берется из таблицы на Фиг.8. Блок-схема локального преобразования уровней с упорядочиванием значений для текущей точки изображения Р(r, c) показана на Фиг.9. На шаге 901 вычисляют пределы L и Н, как среднее среди первых 25% и последних 25%, упорядоченного в порядке возрастания множества соответственно.

Множество состоит из значений точек внутри локального окна. Значения точек Р(r,c) вне диапазона [L, Н] на шаге 902 изменяются на значения L или Н для подавления шумов: если Р(r,c)<L, то P(r,c)=L; если Р(r,c)>Н, то Р(r,с)=Н. Условие 903 служит для предотвращения усиления шумов: значения точек изображения не изменяют, если разница между Н и L меньше порога Tltm. Экспериментально выяснено, что хороший визуальный результат достигается, если Tltm зависит от размера локального окна: Tltm=100/Ks. Шаг 904 есть нормализация (масштабирование) из диапазона [L, Н] в диапазон [0, 1]:

x=(Р(r,c)-L)/(Н-L).

Преобразование уровней осуществляется на шаге 905 с помощью функции f(x), показанной на Фиг.10. На шаге 906 выполняют обратное масштабирование преобразованного значения из диапазона [0, 1] в диапазон [L, Н]:

Pe(r, c)=L+f(x)×(H-L).

Как отмечалось выше, даже для достаточно резких изображений небольшое увеличение локального контраста положительно оценивается наблюдателем. Наиболее известным способом увеличения локального контраста является фильтр нерезкого маскирования, который имеет ряд недостатков, в частности усиление шумов и артефактов компрессии, формирование хорошо заметного ореола вдоль сильных перепадов, неравномерное увеличение локального контраста в зависимости от величины перепада. Для преодоления перечисленных недостатков предлагается применять в фильтре нерезкого маскирования билатеральный фильтр (см. C.Tomasi, R.Manduchi "Bilateral Filtering for Gray and Color Images", Proc. IEEE conf. on Computer Vision, 1998 [35]) вместо Гауссиана. Классический билатеральный фильтр использует в качестве стоп-функций границ функцию Гаусса. Действительно, если использовать функцию Гаусса в качестве стоп-функций границ, то имеет место повышение резкости на слабых и средних перепадах. Локальный контраст для больших перепадов не изменяется. Предлагается применять стоп-функцию границ, которая с одной стороны похожа на функцию Гаусса, с другой стороны не так быстро стремится к нулю.

Такой функцией является обобщенная функция El-Fallah-Ford:

.

У El-Fallah-Ford µ=2, при µ=6 функция близка к Гауссиану. Изменение µ в диапазоне от 1 до 6 позволяет управлять степенью повышения резкости. На фиг.11 приведены графики w(x) для µ=2 и µ=6, а также Гауссиан для одинаковых значений σ_R. В предпочтительном варианте изобретения µ равняется 3.

Для увеличения локального контраста используется нерезкое маскирование следующего вида:

где I - исходное изображение, If - результат фильтрации исходного изображения билатеральным фильтром, k - коэффициент усиления из таблицы с Фиг.8, Tusm - порог для уменьшения усиления шумов.

Предложенный способ делает изображение более резким, при этом ореол вдоль границ практически не заметен, увеличение локального контраста происходит независимо от величины перепада, шумы увеличиваются незначительно.

Целесообразно для фильтрации по пространству в билатеральном фильтре применить плоское одномерное ядро и фильтрацию проводить по строкам, затем по столбцам. По аналогии со сверткой и в соответствии с существующими публикациями будем называть такой фильтр сепарабельным, хотя его сепарабельность (разделимость) не доказана строго математически:

где S размер ядра по пространству; S=2RadiusUSM + 1, где RadiusUSM выбирается из таблицы с Фиг.8.

Также возможно использование рекурсивного билатерального фильтра:

Фиг.12 демонстрирует пример улучшения изображения предложенным способом: а - исходная фотография; b - результат адаптивного повышения резкости.

На заключительном этапе (шаг 405) модифицируют каналы цветности:

Данные соотношения сохраняют постоянным соотношение между каналами RGB до и после коррекции, что предотвращает искажения цветового тона и насыщенности.

Заявляемый способ предназначен для реализации в различных печатающих устройствах и в программном обеспечении для фотопечати. В частности, заявляемый способ может быть применен в фотопринтерах и МФУ с возможностью фотопечати, в фотокиосках и фотолабораториях для автоматического улучшения фотографий. Возможна реализация предложенного способа в устройствах отображения фотографий, например, в цифровых фоторамках.

Хотя указанный выше вариант выполнения изобретения был изложен с целью иллюстрации, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.

Claims

1. Способ адаптивного повышения резкости цифровых фотографий в процессе печати, включающего последовательное выполнение следующих этапов обработки изображения:
изменяют размер изображения в соответствии с размером фотоотпечатка и разрешением устройства печати;
оценивают степень резкости цифровой фотографии;
уменьшают длину перехода на перепадах яркости в канале яркости изображения, используя параметры, которые зависят от степени резкости;
увеличивают локальный контраст в канале яркости изображения, используя параметры, которые зависят от степени резкости;
модифицируют цветовые каналы изображения с целью предотвращения искажений цветового тона и насыщенности по причине изменения яркости на двух предыдущих этапах.

2. Способ по п.1, отличающийся тем, что оценку степени резкости осуществляют путем выполнения следующих операций:
вычисляют гистограммы абсолютных значений изображений границ, где изображения границ получают в результате высокочастотной фильтрации с ядрами свертки различного размера;
вычисляют интеграл логарифма гистограммы границ для каждой из гистограмм;
вычисляют из массива интегралов логарифма гистограммы границ признаки;
принимают на основании признаков решение о степени резкости фотографии;

3. Способ по п.2, отличающийся тем, что изображения границ получают в результате свертки строк исходного изображения с ядрами [1 -1], [1 0 -1], [1 0 0 -1], [1 0 0 0 -1], [1 0 0 0 0 -1], [1 0 0 0 0 0 -1], [1 0 0 0 0 0 0 -1], [1 0 0 0 0 0 0 0 -1], [1 0 0 0 0 0 0 0 0 -1], [1 0 0 0 0 0 0 0 0 0 -1] и столбцов исходного изображения с транспонированными данными ядрами.

4. Способ по п.2, отличающийся тем, что для принятия решения о степени резкости фотографии вычисляют из массива интегралов логарифма гистограммы границ следующие признаки:
интеграл логарифма гистограммы границ, полученных фильтром с ядром свертки размера 2:
F3=A(1);
разность интегралов логарифма гистограмм границ, полученных фильтрами с ядрами свертки размера 3 и 2:
F1=An(2)-An(1)
сумма интегралов логарифма гистограмм границ минус 5:

,
где An есть А нормализованные в диапазон [0, 1], А вычисляется для каждого изображения границ, получаемых как указано в п.3, путем интегрирования логарифма гистограммы H_i абсолютных значений изображений границ:

5. Способ по п.2, отличающийся тем, что для принятия решения о степени резкости фотографии применяют классификатор, основанный на взвешенном голосовании комитета простых классификаторов.

6. Способ по п.1, отличающийся тем, что для уменьшения длины перехода на перепадах применяют к каналу яркости изображения нелинейный нерекурсивный фильтр, в котором новое значение точки изображения формируют в результате выполнения следующих операций:
вычисляют пределы L и H, как соответственно среднее среди первых 25% и последних 25% множества, упорядоченного в порядке возрастания и составленного из значений точек в пределах локального окна;
изменяют значения точек изображения вне диапазона [L, Н], причем значение точки изменяют на L, если ее первоначальное значение меньше L, и значение точки изменяют на Н, если ее первоначальное значение больше Н;
игнорируют точки изображения, если разница между Н и L меньше порога;
нормализуют значения точки изображения Р(r, с) из диапазона [L, Н] в диапазон [0, 1]:
x=(P(r,c)-L)/(H-L);
преобразуют нормализованное значение с помощью функции преобразования уровней f(x);
масштабируют преобразованное значение обратно из диапазона [0, 1] в диапазон [L, H]:
Р(r,с)=L+f(x)×(H-L).

7. Способ по п.1, отличающийся тем, что для увеличения локального контраста в канале яркости изображения применяют модифицированный фильтр нерезкого маскирования:

где I - исходное изображение, If - результат фильтрации билатеральным фильтром, k - коэффициент усиления локального контраста, T_usm - порог для уменьшения усиления шумов.

8. Способ по п.7, отличающийся тем, что в модифицированном фильтре нерезкого маскирования используют билатеральный фильтр со стоп-функцией границ следующего вида:

9. Способ по п.7, отличающийся тем, что в модифицированном фильтре нерезкого маскирования используют билатеральный фильтр с плоским одномерным пространственным ядром.

10. Способ по п.7, отличающийся тем, что в модифицированном фильтре нерезкого маскирования используют билатеральный фильтр, в котором фильтрация нерекурсивно осуществляется сначала по строкам, а затем по столбцам изображения:

где (r, c) - координаты текущей точки изображения, I - исходное изображение, I_f - результат фильтрации, w - стоп-функция границ, S - размер пространственного ядра.

11. Способ по п.7, отличающийся тем, что в модифицированном фильтре нерезкого маскирования используют билатеральный фильтр, в котором фильтрация рекурсивно осуществляется сначала по строкам, а затем по столбцам изображения:

где (r, с) - координаты текущей точки изображения, I - исходное изображение, I_f - результат фильтрации, w - стоп-функция границ, S - размер пространственного ядра.