RU2570349C1

RU2570349C1 - Устройство обработки изображений, способ обработки изображений и программа, и устройство съемки изображений, включающее в себя устройство обработки изображений

Info

Publication number: RU2570349C1
Application number: RU2014126378/07A
Authority: RU
Inventors: Хидеки ИКЕДО
Original assignee: Кэнон Кабусики Кайся
Priority date: 2011-11-30
Filing date: 2012-11-16
Publication date: 2015-12-10
Also published as: BR112014000674A2; US20140192237A1; GB2512223A; KR20140097465A; DE112012003264T5; KR101627087B1; JP5913934B2; US9191595B2; WO2013080899A1; DE112012003264B4; CN103828344A; US9560297B2; GB2512223B; JP2013115717A; GB201410755D0; CN103828344B; US20160014357A1

Abstract

Изобретение относится к устройствам съемки изображений. Техническим результатом является возможность выполнять обработку коррекции в отношении дефектного пикселя, над сигналом съемки изображения, полученным таким образом, чтобы включать в себя информацию о направленном распространении света. Результат достигается тем, что устройство обработки изображений обрабатывает сигнал изображения, полученный от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива. Устройство включает в себя: блок установки положения фокуса, в котором формируется перефокусированное изображение; и блок корректировки сигнала изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя. Устройство определяет другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании установленного положения фокуса и информации о направленном распространении света изображения объекта. 4 н. и 5 з.п. ф-лы, 14 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству обработки изображений, применяемому в устройстве съемки изображений, использующем элемент съемки изображений, имеющий матрицу микролинз, и более конкретно к устройству обработки изображений для выполнения мер коррекции дефектных пикселей, и устройству съемки изображений, включающему в себя перечисленное.

УРОВЕНЬ ТЕХНИКИ

В последние годы были предложены камеры, которые могут восстанавливать изображение в любом положении фокуса, установленном пользователями, по данным изображения, полученным таким образом, что они включают в себя информацию о направленном распространении света в дополнение к распределению интенсивности света. Например, NPL 1 предлагает камеру светового поля, реализующую вышеописанную функцию с использованием способа, называемого «фотографирование светового поля». NPL 1 применяет оптическую систему, имеющую конфигурацию, где матрица микролинз располагается между фотографическим объективом и элементом съемки изображений, чтобы обеспечивать возможность свету, прошедшему через разные области зрачка фотографического объектива, сходиться на соответствующих микролинзах. Блок пикселей, включающий в себя множество пикселей, назначается одной микролинзе. Свет, собранный посредством микролинзы, фотоэлектрически преобразуется посредством различных пикселей, включенных в соответствующий блок, в зависимости от направления прибытия. Сигнал изображения, соответствующий лучу света, сфокусированного на плоскости синтетического изображения (плоскости перефокусировки) и падающего на каждую микролинзу, извлекается из таким образом полученного сигнала изображения, тем самым обеспечивая возможность восстанавливать изображение в любом положении фокуса.

В твердотельных элементах съемки изображений, таких как датчик изображений CCD и датчик изображений CMOS, дефектный пиксель может возникать вследствие дефекта кристалла, локально существующего в подложке полупроводника. Никакой корректный вывод фотоэлектрического преобразования не может получаться от такого дефектного пикселя. Соответственно, требуется корректировать сигнал съемки изображения от дефектного пикселя.

Стандартные способы для корректировки сигнала съемки изображения от дефектного пикселя представляют собой, например, способ замены значения пикселя дефектного пикселя на значение пикселя от пикселя, смежного с дефектным пикселем, и способ замены значения пикселя для дефектного пикселя на среднее значение пикселей, смежных с дефектным пикселем.

СПИСОК ЦИТИРОВАННЫХ ИСТОЧНИКОВ

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

NPL1: Ren. Ng, и семь других авторов, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

В камере светового поля, как описано в NPL 1, лучи света, сфокусированные на плоскости перефокусировки, принимаются соответственно посредством множества пикселей. Чем более положение плоскости перефокусировки отдалено от матрицы микролинз, тем дальше положения, в которых лучи света принимаются посредством соответствующих пикселей, отделены друг от друга.

Таким образом, существует проблема того, что обычный способ корректировки значения пикселя дефектного пикселя с использованием значений пикселей смежных пикселей в элементе фотоэлектрического преобразования не может подходящим образом корректировать значение пикселя дефектного пикселя.

РЕШЕНИЕ ЗАДАЧИ

Настоящее изобретение было создано с учетом вышеописанной ситуации и обеспечивает устройство обработки изображений, выполненное с возможностью всегда выполнять соответствующую обработку коррекции в отношении дефектного пикселя, над сигналом съемки изображения, полученным таким образом, чтобы включать в себя информацию о направленном распространении света.

Согласно настоящему изобретению, устройство обработки изображений для обработки сигнала изображения, полученного от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива, включает в себя: блок установки положения плоскости синтетического изображения, устанавливающий положение плоскости синтетического изображения, на которой изображение объекта восстанавливается с использованием сигнала изображения, полученного от элемента съемки изображений; и блок коррекции, корректирующий сигнал изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя элемента съемки изображений, при этом блок коррекции определяет другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании положения плоскости синтетического изображения, установленной посредством блока установки положения плоскости синтетического изображения, и информации о направленном распространении света изображения объекта.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

Настоящее изобретение может выполнять соответствующую коррекцию дефектных пикселей на захваченном изображении для формирования перефокусированного изображения.

Дополнительные признаки настоящего изобретения станут очевидны из нижеследующего описания иллюстративных вариантов осуществления со ссылкой на прилагаемые чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является общей блок-схемой устройства съемки изображений согласно одному варианту осуществления настоящего изобретения.

Фиг. 2 является принципиальной схемой конфигураций матрицы пикселей и матрицы микролинз элемента съемки изображений согласно варианту осуществления настоящего изобретения.

Фиг. 3 является принципиальной схемой конфигураций фотографического объектива, матрицы микролинз и матрицы пикселей согласно варианту осуществления настоящего изобретения.

Фиг. 4A и 4B являются схемами, иллюстрирующими отношение соответствия между областями разделения зрачка фотографического объектива, микролинз и матрицы пикселей.

Фиг. 5 является схемой, иллюстрирующей позиционное отношение между лучом света, проходящим через некоторый пиксель на плоскости перефокусировки, областью разделения зрачка фотографического объектива и микролинзой.

Фиг. 6 является блок-схемой блока обработки изображений устройства съемки изображений согласно варианту осуществления настоящего изобретения.

Фиг. 7 является блок-схемой последовательности операций обработки коррекции дефектов согласно варианту осуществления настоящего изобретения.

Фиг. 8 является схемой, иллюстрирующей отношение между лучом света, который выходит из области разделения зрачка фотографического объектива и затем падает на микролинзу, и положением прохождения на плоскости перефокусировки.

Фиг. 9A и 9B являются принципиальными схемами лучей света, излученных из соответствующих областей разделения зрачка фотографического объектива, проходящих через матрицу микролинз, и падающих на соответствующие пиксели элемента съемки изображений.

Фиг. 10A и 10B являются схемами, иллюстрирующими примеры дефектного пикселя и пикселей, выбранных в качестве пикселей для его коррекции.

Фиг. 11 является схемой, иллюстрирующей примеры весовых коэффициентов согласно положениям в матрице пикселей.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Предпочтительные варианты осуществления настоящего изобретения будут подробно описаны с обращением к сопровождающим чертежам.

ПРИМЕР 1

Фиг. 1 является блок-схемой всего устройства съемки изображений первого варианта осуществления настоящего изобретения. На этой схеме свет изображения объекта, прошедший через фотографический объектив 101, формирует изображение, расположенное рядом с положением фокуса фотографического объектива 101. Матрица 102 микролинз включает в себя множество микролинз 113. Оптическая система съемки изображений включает в себя матрицу 102 микролинз и фотографический объектив. Матрица 102 микролинз расположена смежно с положением фокуса фотографического объектива 101. Свет, проходящий через разные области зрачка фотографического объектива 101, падает на матрицу 102 микролинз, и выходит оттуда отдельно для каждой области разделения зрачка. Свет, разделенный посредством матрицы 102 микролинз, падает на элемент 103 съемки изображений. Элемент 103 съемки изображений выполнен посредством, например, любого из датчика изображений CCD и датчика изображений CMOS, и располагается вокруг положения фокуса матрицы 102 микролинз.

Аналоговый входной блок (AFE) 104 выполняет регулировку опорного уровня (обработку фиксации) и обработку аналого-цифрового преобразования над сигналом изображения от элемента 103 съемки изображений. Цифровой входной блок (DFE) 105 выполняет цифровую обработку коррекции, такую как точный сдвиг опорного уровня, над сигналом цифрового изображения, выведенным из AFE 104. Блок 106 обработки изображений применяет предписанную обработку изображения к сигналу цифрового изображения из DFE 105 и формирует и выводит данные изображения. Блок хранения 107 включает в себя энергонезависимую память для хранения информации дефектных пикселей (координат). Блок 108 управления управляет всем устройством съемки изображений централизованным способом, включает в себя хорошо известное CPU, и загружает и выполняет программу, сохраненную в памяти, не проиллюстрировано, тем самым, управляя операциями соответствующих компонентов и различными обработками. Операционный блок 109 сконфигурирован с возможностью электрического приема операции операционного элемента в цифровой камере. Пользователь может устанавливать любое положение плоскости перефокусировки (синтетического изображения) для формирования перефокусированного изображения, с использованием операционного блока 109 (блока установки положения плоскости синтетического изображения). Положение этой плоскости перефокусировки может автоматически устанавливаться посредством блока 108 управления с использованием параметров камеры.

Блок 110 отображения отображает изображение. Носитель 111 записи может быть любым из карты памяти и жесткого диска. Схема формирования сигналов синхронизации (TG) 112 формирует различные сигналы синхронизации для управления элементом 103 съемки изображений.

Как проиллюстрировано на фиг. 6, блок 106 обработки изображений этого варианта осуществления включает в себя блок 601 коррекции дефектов и блок 602 восстановления. Блок 601 коррекции дефектов выполняет обработку коррекции над дефектным пикселем данных изображения. Настоящее изобретение характеризуется блоком коррекции дефектов. Подробности будут описаны ниже. Блок 602 восстановления на фиг. 6 выполняет операционную обработку с использованием способа, называемого «фотографирование светового поля», тем самым восстанавливая изображение в установленном положении фокуса (плоскости перефокусировки) по данным изображения. Подробности блока 602 восстановления будут описаны позже.

Ниже будут описаны конфигурации фотографического объектива 101, матрицы 102 микролинз и элемента 103 съемки изображений, включенных в устройство съемки изображений этого варианта осуществления.

Фиг. 2 является принципиальной схемой для описания конфигураций элемента 103 съемки изображений и матрицы 102 микролинз. Эта схема является принципиальной схемой, иллюстрирующей отношение компоновки между элементом 103 съемки изображений и матрицей 102 микролинз, если смотреть с направления оптической оси Z на фиг. 1. Одна микролинза 113 располагается таким образом, чтобы соответствовать множеству пикселей 201 (ниже просто называемым пикселями). Пиксели 201 за одной микролинзой объединено определяются как матрица 200 пикселей. В этом варианте осуществления матрица 200 пикселей включает в себя 25 пикселей 201 в пяти строках и пяти столбцах.

Фиг. 3 является принципиальной схемой ситуации, в которой луч света, излученный из фотографического объектива 101, проходит через одну микролинзу 113 и принимается элементом 103 съемки изображений, если смотреть с направления, перпендикулярного к оптической оси Z. Свет изображения объекта, излученный от каждой из областей a1-a5 зрачка фотографического объектива, проходит через микролинзу 113, и фокусируется на светочувствительных поверхностях соответствующих пикселей p1-p5, расположенных за микролинзой 113. То есть лучи света, выходящие из разных областей p1-p5 разделения зрачка, проходят через одну микролинзу 113 и фотоэлектрически преобразуются посредством разных пикселей, тем самым получая информацию о направленном распространении света изображения объекта.

Фиг. 4A является принципиальной схемой апертуры фотографического объектива при просмотре из направления оптической оси Z. Фиг. 4B является принципиальной схемой одной микролинзы 113 и матрицы 200 пикселей, расположенной за микролинзой 113, если смотреть с направления оптической оси Z. Как проиллюстрировано на фиг. 4A, когда область зрачка фотографического объектива 101 разделяется на области в количестве, равном количеству пикселей, включенных в матрицу пикселей под одной микролинзой, свет из одной области разделения зрачка фотографического объектива фокусируется на одном пикселе. Здесь, предполагается, что F - числа фотографического объектива 101 и микролинзы 113 по существу совпадают друг с другом.

Отношение соответствия между областями разделения зрачка a11-a55 фотографического объектива 101, проиллюстрированными на фиг. 4A, и пикселями p11-p55, проиллюстрированными на фиг. 4B, имеет точечную симметрию при просмотре с направления оптической оси Z. Соответственно, свет, излученный из области разделения зрачка a11 фотографического объектива 101, фокусируется на пикселе p11, включенном в матрицу 200 пикселей за микролинзой 113. Подобным образом, свет, излученный из области разделения зрачка a11 и проходящий через другую микролинзу 113, также фокусируется на пикселе p11 в матрице 200 пикселей за этой микролинзой.

Ниже будет описана обработка восстановления. Эта обработка выполняется над изображением на произвольно установленной плоскости синтетического изображения (плоскости перефокусировки) в сигнале съемки изображения, полученном системой съемки изображений, включающей в себя фотографический объектив 101, матрицу 102 микролинз и элемент 103 съемки изображений. Обработка восстановления выполняется под управлением посредством блока 108 управления на основании программы управления в блоке 602 восстановления, проиллюстрированном на фиг. 6, с использованием способа, называемого «фотографирование светового поля».

Фиг. 5 является принципиальной схемой, иллюстрирующей то, из какой области разделения зрачка фотографического объектива 101 выходит луч света, прошедший через пиксель на произвольно установленной плоскости перефокусировки, и в какую микролинзу 113 луч падает, если смотреть с направления, перпендикулярного к оптической оси Z. Эта схема предполагает, что координатами положения области разделения зрачка на плоскости фотографического объектива являются (u, v), координатами положения пикселя на плоскости перефокусировки являются (x, y), и координатами положения микролинзы на плоскости матрицы микролинз являются (x', y'). Эта схема также предполагает, что расстояние от плоскости фотографического объектива до плоскости матрицы микролинз равняется F, и расстояние от плоскости фотографического объектива до плоскости перефокусировки равняется F. Коэффициент перефокусировки α предназначен для определения положения плоскости перефокусировки, и может произвольно устанавливаться пользователем

. Фиг. 5 иллюстрирует только направления u, x и x', но направления v, y и y', перпендикулярные к ним, пропущены. Как проиллюстрировано на фиг. 5, луч света, прошедший через координаты (u, v) и координаты (x, y), достигает координаты (x', y') на матрице микролинз. Координаты (x', y') могут представляться как уравнение (1).

При условии, что вывод пикселя, принявшего луч света, равняется L(x', y', u, v), вывод E(x, y), полученный для координат (x, y) на плоскости перефокусировки, получается посредством интегрирования L(x', y', u, v) по области зрачка фотографического объектива. Соответственно, вывод представляется как уравнение (2).

(2)

В уравнении (1), коэффициент перефокусировки  определяется пользователем. Соответственно, предоставление (x, y) и (u, v) определяет положение (x', y') микролинзы, на которую луч света попадает. Затем, пиксель, соответствующий положению (u, v), может узнаваться из матрицы 200 пикселей, соответствующей микролинзе. Вывод пикселя равняется L(x', y', u, v). Вывод получается на всех областях разделения зрачка. Полученный вывод пикселя суммируется (интегрируется) согласно уравнению (2), тем самым, вычисляется E(x, y).

При условии, что (u, v) являются репрезентативными координатами на областях разделения зрачка фотографического объектива (дискретное значение), интегрирование уравнения (2) может вычисляться посредством простого суммирования ().

Как описано выше, выполняется операционная обработка уравнения (2), тем самым обеспечивая возможность восстанавливать изображение в произвольном положении фокуса.

Ниже будет описана операция коррекции дефектов в блоке 601 коррекции дефектов, которая характеризует настоящее изобретение. Эта операция выполняется под управлением блока 108 управления согласно программе, сохраненной в системе.

Фиг. 7 является блок-схемой последовательности операций обработки коррекции дефектов в блоке 601 коррекции дефектов. При определении, является ли пиксель дефектным пикселем или нет, по отношению к сигналу изображения, полученному от каждого пикселя элемента 103 съемки изображений, блок 601 коррекции дефектов корректирует сигнал изображения, когда пиксель является дефектным пикселем. Предполагается, что определяется, является ли сигнал изображения, введенный в блок 601 коррекции дефектов, сигналом изображения от дефектного пикселя или сигналом изображения от нормального пикселя, на основании информации координат дефектного пикселя, предварительно сохраненной в памяти заранее, например.

На этапе S701, получается коэффициент перефокусировки α на основании положения плоскости синтетического изображения, установленной посредством операционного блока 109.

На этапе S702, определяется, является ли пиксель во введенных данных изображения дефектным пикселем или нормальным пикселем. Если пиксель является дефектным пикселем, обработка переходит на этап S703. Если пиксель является нормальным пикселем, обработка переходит на этап S706.

На этапе S703, выбирается пиксель, используемый для формирования значения коррекции, для создания значения коррекции пикселя, определенного как дефектный пиксель. Сначала, определяются координаты на плоскости перефокусировки изображения, подлежащего восстановлению, посредством использования дефектного пикселя. Вычисляют координаты других пикселей, используемых для восстановления изображения на полученных координатах на плоскости перефокусировки. Пиксели, используемые для формирования значения коррекции, выбираются из числа упомянутых пикселей.

На этапе S704, значение коррекции для корректировки дефектного пикселя формируется с использованием сигнала изображения от пикселей для формирования значения коррекции, которые были выбраны на S703. В этом варианте осуществления, значением коррекции является среднее арифметическое пикселей, используемых для формирования значения коррекции. Однако настоящий вариант осуществления не ограничен этим. Согласно положению в матрице 200 пикселей выбранных пикселей для формирования значения коррекции, значением коррекции может быть взвешенное среднее значение, использующее весовой коэффициент, как проиллюстрировано на фиг. 11. Фиг. 11 является примером весовых коэффициентов, соответствующих матрице 200 пикселей, проиллюстрированной на фиг. 4B. На фиг. 4B, если весовые коэффициенты пикселей (например, p11, p15, p51 и p55) в матрице 200 пикселей, соответствующей области, иной, нежели эффективная область зрачка фотографического объектива, установлены малыми, влияние шума может уменьшаться, когда формируется значение коррекции.

На этапе S705, коррекция выполняется посредством замены вывода дефектного пикселя на значение коррекции, вычисленное на S704.

На этапе S706, определяется, подверглись ли уже все пиксели обработкам на S702-705. Если обработки еще не выполнены над всеми пикселями, обработка возвращается на S702, и определяется, является ли следующий пиксель дефектным пикселем или нет. Если следующий пиксель является конечным пикселем, операция коррекции дефектов заканчивается.

Далее, будет подробно описан способ выбора пикселей, используемых для создания значения коррекции на этапе S703. Здесь, описание осуществляется при предположении, что пиксель, соответствующий области разделения зрачка (uk, pk) фотографического объектива среди пикселей, включенных в матрицу 200 пикселей, соответствующую микролинзе с координатами (x_k', y_k') в матрице микролинз, является дефектным пикселем.

Положение на плоскости синтетического изображения, через которое проходит луч света, излученный из области разделения зрачка (u_k, p_k) плоскости фотографического объектива и входящий в микролинзу с координатами (x_k', y_k') на плоскости матрицы микролинз, и который фокусируется на дефектном пикселе, является положением (x_k, y_k). Сначала, вычисляются координаты (x_k, y_k).

Фиг. 8 является принципиальной схемой для иллюстрации того, через какие координаты на плоскости перефокусировки проходит луч света, излученный из области разделения зрачка (u_k, p_k) плоскости фотографического объектива и падающий на микролинзы с координатами (x_k', y_k') на плоскости матрицы микролинз. Как и фиг. 5, эта схема иллюстрирует только направления u, x и x', но пропускает вертикальные направления v, y и y'.

Как можно видеть из фиг. 8, координаты (x_k, y_k) на плоскости перефокусировки, через которые проходит луч света, могут представляться посредством уравнения (3).

(3)

Соответственно, пиксели, принимающие лучи света, проходящие через идентичное положение (x_k, y_k) на плоскости перефокусировки, представленное посредством уравнения (3), должны объединяться вместе с дефектным пикселем, когда изображение восстанавливается. При условии, что эти выводы пикселей представлены посредством L(x', y', u, v), L(x', y', u, v) может быть представлено посредством уравнения (4) с использованием уравнения (1).

(4)

Здесь, репрезентативные координаты (u, v) находятся на областях разделения зрачка, иных, нежели область разделения зрачка (u_k, v_k), через которую луч входит в дефектный пиксель. То есть интегрирование уравнения (2) может вычисляться посредством простого суммирования.

Например, значение коррекции создается из среднего значения четырех пикселей, расположенных рядом, т.е. выше, ниже, справа и слева от дефектного пикселя в элементе съемки изображений среди пикселей, используемых для восстановления изображения вместе с дефектным пикселем. В этом случае, значение коррекции вычисляется по четырем выводам пикселей, полученным посредством подстановки (u_k+d, v_k), (u_k-d, v_k), (u_k, v_k+d), (u_k, v_k-d) соответственно в (u, v) в уравнении (4).

Обозначение d обозначает расстояние между репрезентативными координатами смежных областей разделения зрачка фотографического объектива. Здесь, при предположении, что расстояние F вычисляется от фотографического объектива 101 до матрицы 102 микролинз, расстояние f вычисляется от матрицы микролинз до элемента 103 съемки изображений, шаг пикселя элемента съемки изображений равняется s, и F- числа фотографического объектива и микролинзы являются равными, d может выражаться как уравнение (5).

(5)

В случае, когда плоскость перефокусировки установлена на плоскости матрицы микролинз, т.е. случае, когда α=1, уравнение (3) не работает. В этом случае, изображение фотографического объектива формируется посредством микролинзы на соответствующей матрице пикселей. Пиксель, смежный с дефектным пикселем в матрице пикселей, может выбираться в качестве пикселей для коррекции в соответствии со способом вычисления значения коррекции.

Фиг. 9A, 9B, 10A и 10B иллюстрируют примеры пикселей для создания значения коррекции, выбираемых согласно вышеописанному способу.

Фиг. 9A и 9B являются принципиальными схемами, иллюстрирующими ситуацию, в которой лучи света, излученные из соответствующих областей разделения зрачка фотографического объектива 101, проходят через матрицу 102 микролинз и падают на соответствующие пиксели элемента 103 съемки изображений. Фиг. 10A и 10B являются принципиальными схемами, иллюстрирующими элемент 103 съемки изображений и матрицу 102 микролинз, когда осуществляется просмотр упомянутого элемента и матрицы с направления оптической оси.

Фиг. 9A иллюстрирует луч света, когда плоскость перефокусировки установлена на положение, идентичное положению матрицы микролинз (=1). В этом случае, пиксели, используемые для формирования сигнала пикселя восстановленного изображения с координатами (x, y) на плоскости перефокусировки, являются пикселями, показанными как пиксели A, B и C на фиг. 10A. Когда плоскость перефокусировки установлена на матрице микролинз, все пиксели, подлежащие использованию для восстановления некоторых координат, являются пикселями в одной и той же матрице пикселей. Когда пиксель B является дефектным пикселем на фиг. 10A и 10B, пиксели для создания значения коррекции дефектного пикселя B, являются четырьмя пикселями C, смежными с дефектным пикселем B. Затем, коррекция выполняется посредством замены вывода дефектного пикселя B на среднее четырех пикселей C.

Тем временем, луч света в случае, когда плоскость перефокусировки установлена на стороне фотографического объектива по отношению к матрице микролинз (0<<1), является таким, как проиллюстрировано на фиг. 9B. В этом случае, пиксели, используемые для формирования сигнала пикселя восстановленного изображения с координатами (x, y) на плоскости перефокусировки, являются пикселями в дальних положениях, как показано как пиксели A, B и C на фиг. 10B, например. Здесь, когда пиксель B является дефектным пикселем, пиксели, подлежащие использованию для создания значения коррекции дефектного пикселя B, являются четырьмя пикселями C рядом с дефектным пикселем B среди пикселей, используемых для восстановления изображения. Затем, коррекция выполняется посредством замены вывода дефектного пикселя B на среднее значение четырех пикселей C.

Как показано на фиг. 9A, 9B, 10A и 10B, даже в случае коррекции дефектного пикселя в идентичном положении, пиксели, подлежащие использованию для корректировки дефектного пикселя, являются разными согласно положению на установленной плоскости синтетического изображения. Настоящее изобретение обеспечивает возможность выполнения подходящей коррекции над дефектным пикселем согласно такой ситуации.

Конфигурация может применяться для случая, где обработка коррекции дефектов выполняется в блоке 602 восстановления. То есть обработка восстановления, представленная уравнением (2), последовательно выполняется в блоке 602 восстановления. Если дефект находится в пикселях, используемых для восстановления изображения, значение коррекции может создаваться из значения пикселя, представленного посредством уравнения (4).

Как описано выше, сначала в этом варианте осуществления получает информацию о том, какие координаты на плоскости перефокусировки используются для восстановления дефектного пикселя. Вычисляются координаты других пикселей, используемых для восстановления изображения на координатах полученной плоскости перефокусировки. Значение коррекции создается из выходных значений пикселей вычисленных координат. Таким образом, дефектный пиксель может подходящим образом корректироваться по отношению к взятому изображению для восстановления перефокусированного изображения.

Управление посредством блока 108 управления системы может выполняться посредством одной единицы аппаратного обеспечения или может разделяться среди множества единиц аппаратного обеспечения для управления всем устройством. В вышеописанном варианте осуществления, настоящее изобретение было описано как иллюстрирующее устройство съемки изображений. Однако является очевидным, что настоящее изобретение является применимым к обработкам над сигналом изображения, обеспеченным из носителя записи в обрабатывающем устройстве, таком как PC.

ДРУГИЕ ПРИМЕРЫ

Аспекты настоящего изобретения также могут быть реализованы посредством компьютера системы или устройства (или устройств, таких как CPU или MPU), которые считывают и выполняют программу, сохраненную на запоминающем устройстве, для выполнения функций вышеописанного варианта (вариантов) осуществления, и посредством способа, этапы которого выполняются компьютером системы или устройства посредством, например, считывания и выполнения программы, сохраненной на запоминающем устройстве, чтобы выполнять функции вышеописанного варианта (вариантов) осуществления. Для этой цели программа вводится в компьютер, например, посредством сети или с носителей записи различных видов, служащих в качестве запоминающего устройства (например, машиночитаемого носителя).

Хотя настоящее изобретение было описано со ссылкой на иллюстративные варианты осуществления, следует понимать, что изобретение не ограничено раскрытыми иллюстративными вариантами осуществления. Объем нижеследующей формулы изобретения должен быть интерпретирован наиболее широко таким образом, чтобы он охватывал все такие модификации и эквивалентные структуры и функции.

По настоящей заявке испрашивается приоритет на основании заявки на патент Японии № 2011-262007, поданной 30 ноября 2011 г., которая настоящим в полном объеме включена в настоящий документ путем ссылки.

Claims

1. Устройство обработки изображений для обработки сигнала изображения, полученного от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива, содержащее:
блок установки положения плоскости синтетического изображения, который устанавливает положение плоскости синтетического изображения, на которой восстанавливается изображение объекта с использованием сигнала изображения, полученного от элемента съемки изображений; и
блок коррекции, который корректирует сигнал изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя элемента съемки изображений, при этом блок коррекции определяет другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании положения плоскости синтетического изображения, установленной посредством блока установки положения плоскости синтетического изображения, и информации о направленном распространении света изображения объекта.

2. Устройство обработки изображений по п. 1, в котором блок коррекции выбирает другой пиксель из пикселей, принимающих свет изображения объекта, включающий в себя информацию о направлении распространения, в положении, идентичном положению на плоскости синтетического изображения, через которое проходит свет изображения объекта, падающий на дефектный пиксель, и
формирует значение коррекции сигнала изображения дефектного пикселя с использованием сигнала пикселя выбранного пикселя.

3. Устройство обработки изображений по п. 2, в котором выбранный пиксель является пикселем, на который падает свет изображения объекта, приходящий из области разделения зрачка, смежной с областью разделения зрачка, из которой свет объекта падает на дефектный пиксель, среди света изображения объекта, включающего в себя информацию о направлении распространения, в положении, идентичном положению на плоскости синтетического изображения, через которое проходит свет изображения объекта, падающий на дефектный пиксель.

4. Устройство обработки изображений по любому из пп. 1-3, в котором блок коррекции формирует значение коррекции сигнала изображения дефектного пикселя посредством среднего арифметического сигналов изображения других пикселей.

5. Устройство обработки изображений по любому из пп. 1-3, в котором блок коррекции формирует значение коррекции сигнала изображения дефектного пикселя посредством взвешенного среднего с использованием взвешивания сигнала изображения пикселей в соответствии с положением области разделения зрачка.

6. Способ управления устройством обработки изображений для обработки сигнала изображения, полученного от элемента съемки изображений с использованием оптической системы съемки изображений, выполненной с возможностью получения информации о направленном распространении света изображения объекта,
соответствующего области разделения зрачка фотографического объектива, содержащий этапы, на которых:
устанавливают положение плоскости синтетического изображения, на которой изображение объекта восстанавливается с использованием сигнала изображения, полученного от элемента съемки изображений; и
корректируют сигнал изображения дефектного пикселя элемента съемки изображений с использованием сигнала изображения другого пикселя элемента съемки изображений,
при этом корректировка включает в себя этап, на котором определяют другой пиксель, подлежащий использованию для корректировки сигнала изображения дефектного пикселя, на основании положения плоскости синтетического изображения, установленного посредством установки положения плоскости синтетического изображения, и информации о направленном распространении света изображения объекта.

7. Машиночитаемый запоминающий носитель, на котором сохранена программа, содержащая программный код, побуждающий компьютер выполнять способ управления устройством обработки изображений по п. 6.

8. Устройство съемки изображений, содержащее:
оптическую систему съемки изображений, выполненную с возможностью получения информации о направленном распространении света изображения объекта, соответствующего области разделения зрачка фотографического объектива;
элемент съемки изображений, который фотоэлектрически преобразует свет изображения объекта, сфокусированный
посредством оптической системы съемки изображений, для вывода сигнала изображения; и
устройство обработки изображений по любому из пп. 1-5.

9. Устройство съемки изображений по п. 8, в котором оптическая система съемки изображений содержит матрицу микролинз, соответствующую области разделения зрачка, между фотографическим объективом и элементом съемки изображений, и соответствующие пиксели, включенные в матрицу пикселей элемента съемки изображений, соответствующего каждой микролинзе, соответствуют соответствующим областям разделения зрачка в фотографическом объективе.