[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107960120A - 图像处理设备、摄像设备、图像处理方法、程序和存储介质 - Google Patents

图像处理设备、摄像设备、图像处理方法、程序和存储介质 Download PDF

Info

Publication number
CN107960120A
CN107960120A CN201680026847.4A CN201680026847A CN107960120A CN 107960120 A CN107960120 A CN 107960120A CN 201680026847 A CN201680026847 A CN 201680026847A CN 107960120 A CN107960120 A CN 107960120A
Authority
CN
China
Prior art keywords
image
anaglyph
image processing
pixel
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680026847.4A
Other languages
English (en)
Other versions
CN107960120B (zh
Inventor
福田浩
福田浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN202110790632.2A priority Critical patent/CN113596431B/zh
Priority claimed from PCT/JP2016/002144 external-priority patent/WO2016181620A1/ja
Publication of CN107960120A publication Critical patent/CN107960120A/zh
Application granted granted Critical
Publication of CN107960120B publication Critical patent/CN107960120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

问题：本发明提供能够生成质量有所提高的视差图像的图像处理设备。解决手段：该图像处理设备包括：获取单元(125a)，用于获取基于用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束的多个光电转换器中的一个光电转换器的信号所生成的视差图像，并且获取通过对所述多个光电转换器的多个信号进行合成而生成的拍摄图像；以及图像处理单元(125b)，用于基于所述拍摄图像来进行校正处理，以减少所述视差图像中所包括的缺陷。

Description

图像处理设备、摄像设备、图像处理方法、程序和存储介质
技术领域
本发明涉及能够校正视差图像的图像处理设备。
背景技术
传统上，已知能够将摄像镜头的出射光瞳分割成多个光瞳区域并且同时拍摄与所分割出的光瞳区域相对应的多个视差图像的摄像设备。所拍摄的视差图像(视点图像)与作为与光强度的空间分布和角度分布有关的信息的LF(光场)数据等效。
专利文献1公开了针对一个像素使用包括一个微透镜和分割出的多个光电转换器的二维摄像元件的摄像设备。分割出的光电转换器经由一个微透镜接收穿过摄像镜头的出射光瞳的不同部分光瞳区域的光束，从而进行光瞳分割。可以基于分割出的各光电转换器的光接收信号来生成与所分割出的部分光瞳区域相对应的多个视差图像。专利文献2公开了将分割出的光电转换器的各个光接收信号进行相加并且生成拍摄图像的摄像设备。
现有技术文献
引用文献列表
专利文献
专利文献1：美国专利4410804
专利文献2：日本特开2001-083407
发明内容
发明要解决的问题
然而，在通过专利文献1和专利文献2公开的摄像设备所获得的视差图像(视点图像)的一部分中，可能产生诸如点瑕疵和线瑕疵等的缺陷(瑕疵信号)、由光瞳分割所导致的阴影以及饱和信号等，并且视差图像可能劣化。
因此，本发明的目的是提供各自可以生成具有质量有所提高的视差图像的图像处理设备、摄像设备、图像处理方法、程序和存储介质。
用于解决问题的方案
作为本发明的一个方面，一种图像处理设备，包括：获取单元，用于获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像，并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像，其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及图像处理单元，用于基于所述拍摄图像来校正所述视差图像。
作为本发明的另一方面，一种摄像设备，包括：摄像元件，其包括多个排列像素，其中所述多个排列像素具备用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束的多个光电转换器；获取单元，用于获取基于来自所述多个光电转换器中的一个光电转换器的信号所生成的视差图像，并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像；以及图像处理单元，用于基于所述拍摄图像来校正所述视差图像。
作为本发明的另一方面，一种图像处理方法，包括以下步骤：获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像，并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像，其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及基于所述拍摄图像来校正所述视差图像。
作为本发明的另一方面，一种程序，用于使计算机执行包括以下步骤的处理：获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像，并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像，其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及基于所述拍摄图像来校正所述视差图像。
作为本发明的另一方面，存储介质存储上述程序。
通过以下参考附图对典型实施例的说明，本发明的其它特征和方面将变得明显。
发明的效果
本发明可以提供能够生成具有质量有所提高的视差图像的图像处理设备、摄像设备、图像处理方法、程序和存储介质。
附图说明
图1是各实施例中的摄像设备的框图。
图2是示出根据第一实施例的像素阵列的图。
图3A是示出根据第一实施例的像素结构的图。
图3B是示出根据第一实施例的像素结构的图。
图4是各实施例中的摄像元件和光瞳分割功能的说明图。
图5是各实施例中的摄像元件和光瞳分割功能的说明图。
图6是各实施例中的散焦量和图像偏移量之间的关系的图。
图7A是各实施例中的视差图像的配置图。
图7B是各实施例中的视差图像的配置图。
图8是第一实施例中的进行校正处理之前的典型视差图像。
图9是第一实施例中的进行了校正处理之后的典型视差图像。
图10是第一实施例中的进行校正处理之前的另一典型视差图像。
图11是第一实施例中的进行了校正处理之后的另一典型视差图像。
图12是示出第二实施例中的像素阵列的图。
图13A是示出第二实施例中的像素结构的图。
图13B是示出第二实施例中的像素结构的图。
图14是各实施例中的再聚焦处理的示意性说明图。
图15A是第三实施例中的在光入射至各像素上所形成微透镜的情况下的光强度分布的说明图。
图15B是第三实施例中的在光入射至各像素上所形成微透镜的情况下的光强度分布的说明图。
图16示出第三实施例中的依赖于光入射角的光接收率分布。
图17是第三实施例中的校正处理的流程的示意图。
图18是第三实施例中的校正处理的流程的示意图。
图19A是第三实施例中的阴影的说明图。
图19B是第三实施例中的阴影的说明图。
图19C是第三实施例中的阴影的说明图。
图20A是第三实施例中的拍摄图像的投影信号的说明图。
图20B是第三实施例中的第一视点图像的投影信号的说明图。
图20C是第三实施例中的拍摄图像的阴影函数的说明图。
图21是第三实施例中的拍摄图像(去马赛克后)的示例。
图22是第三实施例中的阴影校正前的第一视点图像(去马赛克后)的示例。
图23是第三实施例中的阴影校正后的第一视点(第一校正)图像(去马赛克后)的示例。
图24是第三实施例中的缺陷校正前的第一视点(第一校正)图像(去马赛克后且阴影校正后)的示例。
图25是第三实施例中的缺陷校正后的第一视点(第二校正)图像(去马赛克后且阴影校正后)的示例。
图26是第三实施例中的阴影校正前的第二视点(第一校正)图像(去马赛克后)的示例。
图27是第三实施例中的阴影校正后的第二校正视点图像(去马赛克后)的示例。
具体实施方式
以下将参考附图来说明本发明的典型实施例。
第一实施例
现在，将参考图1来说明根据本发明的第一实施例的摄像设备的示意性结构。图1是本实施例中的摄像设备100(照相机)的框图。摄像设备100是包括照相机主体和可移除地安装至照相机主体的可更换镜头(成像光学系统或摄像光学系统)的数字照相机系统。然而，本实施例不限于该示例，并且可适用于包括照相机主体和镜头彼此一体化的摄像设备。
第一透镜单元101在构成摄像镜头(成像光学系统)的多个透镜单元中配置在最前侧(被摄体侧)，并且被保持在镜筒上，以使得沿光轴OA的方向(光轴方向)往复移动。光圈/快门102(孔径光圈)调节其开口直径以控制拍摄图像时的光量，并且还用作快门以控制拍摄静止图像时的曝光时间。第二透镜单元103与光圈/快门102一体化地沿着光轴方向往复移动，并且具有与第一透镜单元101的往复运动连动地进行变倍操作的变焦功能。第三透镜单元105是沿光轴方向往复移动以进行调焦(调焦操作)的调焦透镜单元。光学低通滤波器106是用于减少拍摄图像的伪色或摩尔纹的光学元件。
摄像元件107(图像传感器)进行对成像光学系统所形成的被摄体图像(光学图像)的光电转换，并且例如包括CMOS传感器或CCD传感器及其周边电路。作为摄像元件107，例如，使用如下的二维单板颜色传感器，其中该二维单板颜色传感器在片上结构中具备在水平方向上具有m个像素且在垂直方向上具有n个像素的光接收像素上所形成的拜尔阵列的原色马赛克滤波器。
变焦致动器111转动移动(驱动)未示出的凸轮筒以沿光轴方向移动第一透镜单元101和第二透镜单元103，从而进行变倍操作。光圈/快门致动器112控制光圈/快门102的开口直径，以调节光量(摄像光量)，并且还控制静止图像拍摄时的曝光时间。调焦致动器114沿光轴方向移动第三透镜单元105以进行调焦。
电子闪光灯115是要用于照明被摄体的照明装置。电子闪光灯115可以使用包括氙管的闪光灯照明装置或者包括连续发光的LED(发光二极管)的照明装置。AF辅助光单元116经由投影透镜将具有预定开口图案的掩模的图像投影到被摄体上。该配置可以提高针对暗被摄体或者具有低对比度的被摄体的焦点检测能力。
CPU 121是管理摄像设备100上的各种控制的控制设备(控制单元或控制器)。CPU121包括处理器、ROM、RAM、A/D转换器、D/A转换器和通信接口电路等。CPU 121读出并执行ROM中所存储的预定程序，以驱动摄像设备100的各种电路，并且进行诸如焦点检测(AF)、摄像(拍摄)、图像处理或记录等的一系列操作。
电子闪光灯控制电路122与摄像操作同步地控制电子闪光灯115的点亮和熄灭。辅助光驱动电路123与焦点检测操作同步地控制AF辅助光单元116的点亮和熄灭。摄像元件驱动电路124控制摄像元件107的摄像操作并且还进行对所获取到的图像信号的A/D转换以将其发送至CPU 121。
图像处理电路125(图像处理设备)对从摄像元件107输出的图像数据进行诸如γ(伽马)变换、颜色插值或者JPEG(联合图像专家组)压缩等的处理。在本实施例中，图像处理电路125包括获取单元125a和图像处理单元125b(校正器)。获取单元125a从摄像元件107获取拍摄图像和至少一个视差图像(视点图像)。拍摄图像是通过将从用于接收穿过成像光学系统的不同部分光瞳区域的光束的多个光电转换器(第一子像素和第二子像素)的多个信号(第一信号和第二信号)进行合成而生成的图像。视差图像(视点图像)是基于来自多个光电转换器中的光电转换器(第一子像素或第二子像素)的信号而生成的图像。图像处理单元125b基于拍摄图像来进行校正处理(缺陷校正)，以使得减少视差图像中所包含的缺陷。
调焦驱动电路126(调焦驱动器)基于焦点检测结果来驱动调焦致动器114，以沿光轴方向移动第三透镜单元105，从而进行调焦。光圈/快门驱动电路128驱动光圈/快门致动器112，以控制光圈/快门102的开口直径。变焦驱动电路129(变焦驱动器)响应于用户的变焦操作而驱动变焦致动器111。
显示装置131(显示单元)例如包括LCD(液晶显示器)。显示装置131显示与摄像设备100的摄像模式有关的信息、拍摄前的预览图像、拍摄后的确认用图像或者焦点检测时的聚焦状态显示图像等。操作构件132(操作开关单元)包括电源开关、释放(摄像触发器)开关、变焦开关和摄像模式选择开关等。释放开关是具有半按下状态(SW1接通的状态)和全按下状态(SW2接通的状态)的二级开关。记录介质133例如是相对于摄像设备100可移除的闪速传感器，并且记录拍摄图像(图像数据)。
现在，将参考图2、3A和3B来说明根据本实施例的摄像元件107的像素阵列和像素结构。图2是示出摄像元件107的像素阵列的图。图3A和图3B是示出摄像元件107的像素结构的图，并且图3A示出摄像元件107的像素200G的平面图(沿+z方向观看到的图)，以及图3B示出图3A中的a-a截面图(沿a–z方向观看到的图)。
图2示出4列×4行范围的摄像元件107(二维CMOS传感器)上的像素阵列(摄像像素的阵列)。在本实施例中，各摄像像素(像素200R、200G和200B)包括两个子像素201和202。因此，图2示出8列×4行范围的子像素的阵列。
如图2所示，2列×2行的像素组200包括采用拜尔阵列的像素200R、200G和200B。在像素组200中，具有针对R(红色)的光谱灵敏度的像素200R配置在左上方，具有针对G(绿色)的光谱灵敏度的像素200G配置在右上方和左下方，以及具有针对B(蓝色)的光谱灵敏度的像素200B配置在右下方。像素200R、200G和200B各自(各摄像像素)包括以2列×1行排列的子像素201和202。子像素201是用于接收穿过成像光学系统中的第一光瞳区域的光束的像素。子像素202是用于接收穿过成像光学系统中的第二光瞳区域的光束的像素。
如图2所示，摄像元件107包括在其表面配置的许多4列×4行的摄像像素(8列×4行的子像素)，并输出摄像信号(子像素信号)。在本实施例的摄像元件107中，像素(摄像像素)的周期P是4μm，以及像素(摄像像素)的数量N是水平方向5575列×垂直方向3725行＝约2075万个像素。在摄像元件107中，列方向上的子像素的周期PSUB是2μm，以及子像素的数量NSUB是水平方向11150列×垂直方向3725行＝约4150万个像素。可选地，摄像元件107可以具有6μm的像素周期P以及水平方向6000列×垂直方向4000行＝约2400万个像素的像素(摄像像素)数量N。可选地，在摄像元件107中，列方向上的子像素的周期PSUB可以是3μm，以及子像素的数量NSUB可以是水平方向12000列×垂直方向4000行＝约4800万个像素。
如图3B所示，本实施例的像素200G在像素的光接收面侧设置有微透镜305，以会聚入射光。以二维方式排列多个微透镜305，并且各微透镜305配置在z轴方向(光轴OA的方向)上远离光接收面预定距离的位置处。在像素200G中，通过在x方向上将像素分割成NH个(二分割)并且在y方向上分割成NV个(一分割)来形成光电转换器301和光电转换器302(光电转换器)。光电转换器301和光电转换器302分别对应于子像素201和子像素202。
光电转换器301和302各自被配置为具有p-i-n结构的光电二极管，其中该p-i-n结构包括p型层和n型层以及p型层和n型层之间的本征层。根据需要，可以省去本征层，并且可以应用具有p-n结的光电二极管。像素200G(各像素)在微透镜305与光电转换器301和302各自之间设置有颜色滤波器306。根据需要，可以针对各子像素改变颜色滤波器306的光谱透过率，或者可选地，可以去除颜色滤波器。
如图3A和3B所示，入射至像素200G的光被微透镜305会聚，并且被颜色滤波器306分光，然后通过光电转换器301和302接收分光。在光电转换器301和302各自中，根据光接收量生成电子和空穴对，并且它们在耗尽层中被分离，然后具有负电荷的电子累积在n型层中。另一方面，经由连接至恒压源(未示出)的p型层将空穴排出至摄像元件107的外部。将在光电转换器301和302的n型层中所累积的电子经由传输门而传输至静电电容部(FD)，以转换成电压信号。
现在，将参考图4来说明摄像元件107的光瞳分割功能。图4是摄像元件107的光瞳分割功能的说明图，并且示出一个像素部分的光瞳分割。图4示出从+y方向观看的图3A所示的像素结构的a-a截面图以及成像光学系统的出射光瞳。在图4中，为了与出射光瞳面的坐标轴相对应，将截面图中的x轴和y轴相对于图3A和3B的x轴和y轴反转。
在图4中，子像素201(第一子像素)的部分光瞳区域501(第一部分光瞳区域)经由微透镜305而与重心沿-x方向偏移(偏心)的光电转换器301的光接收面具有大致共轭关系。因而，部分光瞳区域501表示能够通过子像素201来接收光的光瞳区域。子像素201的部分光瞳区域501的重心在光瞳面上沿+x方向偏移(偏心)。子像素202(第二子像素)的部分光瞳区域502(第二部分光瞳区域)经由微透镜305而与重心沿+x方向偏移(偏心)的光电转换器302的光接收面具有大致共轭关系。因而，部分光瞳区域502表示能够通过子像素202来接收光的光瞳区域。子像素202的部分光瞳区域502的重心在光瞳面上沿-x方向偏移(偏心)。光瞳区域500可以接收在光电转换器301和302(子像素201和202)完全结合时的像素200G的整个区域的光。
入射光被微透镜305会聚于焦点位置处。然而，由于光的波动性所引起的衍射的影响，导致会聚光斑的直径无法变得小于衍射极限Δ，并且其具有有限的尺寸。在光电转换器301和302各自的光接收面具有约1～2μm的长度的情况下，微透镜305的会聚光斑为约1μm。因此，由于衍射模糊，导致图4中的经由微透镜305而与光电转换器301和302的光接收面具有共轭关系的部分光瞳区域501和502没有被清楚地分割，因而获得光接收率分布(光瞳强度分布)。
图5是摄像元件107和光瞳分割功能的说明图。穿过成像光学系统的光瞳区域中的不同部分光瞳区域501和502的光束以彼此不同的角度入射至摄像元件107的摄像面600上的摄像元件107的各像素，并且通过被分割成2×1个的子像素201和202来接收。本实施例描述了将光瞳区域在水平方向上进行二分割的示例，但是本发明不限于本实施例，并且根据需要，可以在垂直方向上进行光瞳分割。
在本实施例中，摄像元件107包括共用一个微透镜并且接收穿过成像光学系统(摄像镜头)的光瞳中的不同区域(第一部分光瞳区域和第二部分光瞳区域)的多个光束的多个子像素。摄像元件107包括第一子像素(多个子像素201)和第二子像素(多个子像素202)作为多个子像素。
在本实施例中，针对摄像元件107的各像素将子像素201和202的信号彼此相加(合成)并读出，以使得生成具有有效像素数N的分辨率的拍摄图像。如上所述，通过针对各像素将多个子像素(本实施例中的子像素201和202)的光接收信号进行合成来生成拍摄图像。
在本实施例中，收集多个子像素201的光接收信号以生成第一视差图像。从拍摄图像中减去第一视差图像，以生成第二视差图像。然而，本发明不限于该示例，并且可以收集多个子像素202的光接收信号，以生成第二视差图像。因而，视差图像是针对彼此不同的各个部分光瞳区域、基于多个子像素的光接收信号而生成的。
在本实施例中，第一视差图像、第二视差图像和拍摄图像各自是采用拜尔阵列的图像。根据需要，可以对第一视差图像、第二视差图像和拍摄图像中的每一个进行去马赛克。
现在，将参考图6来说明从摄像元件107的子像素201所获取到的第一视差图像和从子像素202获取到的第二视差图像的散焦量与图像偏移量之间的关系。图6示出散焦量和图像偏移量之间的关系。图6示出配置在摄像面600上的摄像元件107，并且与图4和5同样地，将成像光学系统的出射光瞳分割成两个部分光瞳区域501和502。
将散焦量d定义成使得：从被摄体的成像位置到摄像面600的距离是|d|，前焦点状态具有成像位置与摄像面600相比位于更靠近被摄体侧的位置的负符号(d<0)、以及后焦点状态具有成像位置相对于摄像面600位于被摄体的相反侧的位置的正符号(d>0)。在被摄体的成像位置位于摄像面600上(聚焦位置)的聚焦状态下，满足散焦量d＝0。图6示出处于聚焦状态(d＝0)下的被摄体601以及处于前焦点状态(d<0)下的被摄体602。将前焦点状态(d<0)和后焦点状态(d>0)统称为散焦状态(|d|>0)。
在前焦点状态(d<0)下，来自被摄体602的光束中的穿过了部分光瞳区域501(或者部分光瞳区域502)的光束一度被会聚。之后，光束扩散至以光束的重心位置G1(G2)为中心的宽度Γ1(Γ2)，并且在摄像面600上形成模糊图像。通过构成摄像元件107中所排列的各像素的子像素201(子像素202)来接收模糊图像，并且生成第一视差图像(第二视差图像)。因此，将第一视差图像(第二视差图像)记录为在摄像面600上的重心位置G1(G2)处被摄体602具有模糊宽度Γ1(Γ2)的模糊被摄体图像。被摄体图像的模糊宽度Γ1(Γ2)随着散焦量d的绝对值|d|的增大而大致成比例增大。同样地，第一视差图像和第二视差图像之间的被摄体图像的图像偏移量p(即，等于光束的重心位置的差(G1-G2))的绝对值|p|大致随着散焦量d的绝对值|d|的增大而增大。这同样适用于后焦点状态(d>0)，但是第一视差图像和第二视差图像之间的被摄体图像的图像偏移方向与前焦点状态下的情况相反。
如上所述，根据本实施例，随着第一视差图像和第二视差图像的散焦量或者通过将第一视差图像和第二视差图像相加所获得的图像信号的散焦量的绝对值的增大，第一视差图像和第二视差图像之间的图像偏移量的绝对值增大。
现在，将说明本实施例中的视差图像的校正处理。在本实施例中，摄像元件107可以输出拍摄图像和至少一个视差图像(第一视差图像和第二视差图像至少之一)。图像处理电路125(获取单元125a)获取从摄像元件107输出的拍摄图像和视差图像。然后，图像处理电路125(图像处理单元125b)基于拍摄图像来校正(修正)视差图像。根据需要，获取单元125a可以将所获取到的拍摄图像以及所获取到的至少一个视差图像存储在诸如记录介质133和存储器134等的存储器中，以获取存储器中所存储的拍摄图像和视差图像。
根据摄像元件107的电路结构或驱动方式，由于因传输门的的短路导致的影响，因此即使拍摄图像是正常的，在视差图像(第一视差图像或者第二视差图像)中也可能产生瑕疵信号(缺陷信号)，并且在视差图像中可能包括诸如点瑕疵和线瑕疵等的缺陷。根据需要，可以在存储器中预先存储量产工序等中所检查的诸如点瑕疵信息和线瑕疵信息等的缺陷信息。在这种情况下，图像处理电路125(图像处理单元125b)通过使用所存储的缺陷信息来进行视差图像的校正处理。根据需要，图像处理电路125(检查器)可以实时(即，在用户使用摄像设备100期间)检查视差图像，并且判断诸如点瑕疵和线瑕疵等的缺陷。
现在，将参考图7A和7B来说明根据本实施例中的视差图像的校正处理。图7A是采用拜尔阵列的视差图像(第一视差图像)的阵列图。图7B是采用拜尔阵列的拍摄图像的阵列图。在图7A和7B中，将在行方向上的第j个像素且在列方向上的第i个像素的位置(j,i)处的第一视差图像和拍摄图像的像素值(像素信号)分别定义为A(j,i)和I(j,i)。
如果第一视差图像在第j行上存在缺陷(线瑕疵)并且拍摄图像在第j行上是正常的，则需要校正第一视差图像的第j行。在本实施例中，图像处理电路125(图像处理单元125b)基于拍摄图像来校正第一视差图像(第一视差图像中要校正的位置处的像素值)。根据需要，可以同样地校正第二视差图像。
在本实施例中，将产生缺陷的位置(j,i)、即要校正的位置(第一位置)处的第一视差图像的校正值(校正信号)定义为Ac(j,i)。图像处理单元125b根据以下表达式(1)来计算校正值Ac(j,i)，并且通过使用所计算出的校正值Ac(j,i)作为第一视差图像的像素值A(j,i)来校正第一视差图像。
表达式1
在表达式(1)中，参数A0和I0是用于在第一视差图像的像素值A和拍摄图像的像素值I具有低亮度(低亮度信号)的情况下使计算值稳定并且抑制噪声的增大的值。
如上所述，在本实施例中，图像处理单元125b基于拍摄图像来进行对视差图像的校正处理，即利用校正值Ac(j,i)来替换要校正的位置处的视差图像的像素值A(j,i)。具体地，图像处理单元125b通过使用拍摄图像的像素值I(j,i)以及要校正的位置附近的位置(j2,i2)≠(j,i)处的拍摄图像和视差图像的像素值I(j2,i2)和A(j2,i2)，来确定视差图像的校正值Ac(j,i)。
在表达式(1)中，可以适当设置参数A0和I0的具体值。例如，如果光瞳分割数Np是2，则可以将参数A0和I0设置为A0＝I0/Np。参数A0和I0的值可以根据诸如要校正的位置(j,i)、ISO感光度、成像光学系统的光圈值以及出射光瞳距离等的摄像条件而改变。参数A0和I0的值可以基于要校正的位置附近(周边)的第一视差图像的像素值A和拍摄图像的像素值I来设置。
图8示出进行根据本实施例的校正处理之前的聚焦状态下的第一视差图像(去马赛克后)的示例。图9示出进行了根据本实施例的校正处理之后的聚焦状态下的第一视差图像(去马赛克后)的示例。同样地，图10示出进行校正处理之前的散焦状态下的第一视差图像(去马赛克后)的示例。图11示出进行了校正处理之后的散焦状态下的第一视差图像(去马赛克后)的示例。应当理解，在聚焦状态和散焦状态中的各状态下，通过根据本实施例的校正处理来校正视差图像的缺陷。
现在，将参考图14来说明根据本实施例的再聚焦处理。通过图像处理电路125(图像处理单元125b作为再聚焦单元)基于CPU 121的指示来进行再聚焦处理。图14是根据本实施例的通过摄像元件107所获取到的第一信号(形成第一视差图像的第一子像素的光接受信号)和第二信号(形成第二视差图像的第二子像素的光接受信号)在一维方向(列方向或水平方向)上的再聚焦处理的说明图。在图14中，符号i表示整数，示意性的符号Ai和Bi分别表示摄像面600上所配置的摄像元件107的列方向上的第i个像素的第一信号和第二信号。第一信号Ai是基于以(与图5中的部分光瞳区域501相对应的)主光线角度θa入射至第i个像素的光束而输出的光接收信号。第二信号Bi是以(与图5中的部分光瞳区域502相对应的)主光线角度θb入射至第i个像素的光束而输出的光接收信号。
第一信号Ai和第二信号Bi各自具有入射角度信息和光强度分布信息。因此，将第一信号Ai以角度θa平行移动(平移)至虚拟成像面610，并且将第二信号Bi以角度θb平行移动(平移)至虚拟成像面610，然后将这些信号相加以生成虚拟成像面610上的再聚焦信号。第一信号Ai以角度θa向虚拟成像面610的平行移动与在列方向上偏移+0.5个像素相对应，以及第二信号Bi以角度θb向虚拟成像面610的平行移动与在列方向上偏移-0.5个像素相对应。因此，在第一信号Ai和第二信号Bi相对偏移+1个像素以将第一信号Ai与相应的第二信号(Bi+1)相加的情况下，生成虚拟成像面610上的再聚焦信号。同样地，在第一信号Ai和第二信号Bi偏移像素间距的整数倍(即，进行整数偏移)并且将这些信号彼此相加的情况下，可以根据整数偏移量来生成各虚拟成像面上的偏移相加信号(再聚焦信号)。
在本实施例中，通过校正处理来移除或减少视差图像至少之一(第一视差图像和第二视差图像至少之一)中所包括的缺陷的影响。因此，可以基于校正后的视差图像来进行再聚焦处理。因此，可以高精度地进行通过使用形成视差图像的各信号(第一信号和第二信号)的再聚焦处理。
第二实施例
现在，将参考图12以及图13A和13B来说明根据本发明的第二实施例的摄像设备。本实施例与第一实施例的不同在于：代替基于第一视差图像和第二视差图像来生成拍摄图像，基于作为多个视差图像的第一视差图像至第四视差图像来生成拍摄图像。
图12示出根据本实施例的摄像元件107的像素阵列。图13A和13B是示出摄像元件107的像素结构的图，以及图13A和13B分别是摄像元件107的像素200G的平面图(从+z方向观看到的图)以及沿图13A的线a-a的截面图(从-z方向观看到的图)。
图12示出4列×4行范围的摄像元件107(二维CMOS传感器)的像素阵列(摄像像素的阵列)。在本实施例中，各摄像像素(像素200R、200G和200B)包括四个子像素201、202、203和204。因此，图12示出8列×8行范围的子像素的阵列。
如图12所示，2列×2行的像素组200包括采用拜尔阵列的像素200R、200G和200B。换句话说，在像素组200中，具有针对R(红色)的光谱灵敏度的像素200R配置在左上方，具有针对G(绿色)的光谱灵敏度的像素200G配置在右上方和左下方，以及具有针对B(蓝色)的光谱灵敏度的像素200B配置在右下方。像素200R、200G和200B中的每一个(各摄像像素)包括以2列×2行排列的子像素201、202、203和204。子像素201是用于接收穿过成像光学系统的第一光瞳区域的光束的像素。子像素202是用于接收穿过成像光学系统的第二光瞳区域的光束的像素。子像素203是用于接收穿过成像光学系统的第三光瞳区域的光束的像素。子像素204是用于接收穿过成像光学系统的第四光瞳区域的光束的像素。
如图12所示，摄像元件107包括在其表面配置的4列×4行的许多摄像像素(8列×8行的子像素)，并输出摄像信号(子像素信号)。在本实施例的摄像元件107中，像素(摄像像素)的周期P是4μm，以及像素(摄像像素)的数量N是水平方向5575列×垂直方向3725行＝约2075万个像素。在摄像元件107中，列方向上的子像素的周期PSUB是2μm，以及子像素的数量NSUB是水平方向11150列×垂直方向7450行＝约8300万个像素。可选地，摄像元件107可以具有6μm的像素(摄像像素)周期P以及水平方向6000列×垂直方向4000行＝约2400万个像素的像素(摄像像素)数量N。可选地，列方向上的子像素的周期PSUB可以是3μm，以及子像素的数量NSUB可以是水平方向12000列×垂直方向4000行＝约4800万个像素。
如图13B所示，本实施例的像素200G在像素的光接收面侧设置有微透镜305，以会聚入射光。各微透镜305配置在z轴方向(光轴OA的方向)上远离光接收面预定距离的位置处。在像素200G中，通过在x方向上将像素分割成NH个(二分割)并且在y方向上分割成NV个(二分割)来形成光电转换器301、302、303和304(光电转换器)。光电转换器301～304分别对应于子像素201～204。
在本实施例中，摄像元件107包括共用一个微透镜并且接收穿过成像光学系统(摄像镜头)的光瞳中的彼此不同区域(第一部分光瞳区域至第四部分光瞳区域)的多个光束的多个子像素。摄像元件107包括第一子像素(多个子像素201)、第二子像素(多个子像素202)、第三子像素(多个子像素203)、第四子像素(多个子像素204)作为多个子像素。
在本实施例中，针对摄像元件107的各像素将子像素201、202、203和204的信号相加(合成)并读出，以使得生成具有有效像素数N的分辨率的拍摄图像。如上所述，通过针对各像素将多个子像素(本实施例中为子像素201～204)的光接收信号进行合成来生成拍摄图像。
在本实施例中，收集多个子像素201的光接收信号以生成第一视差图像。同样地，收集多个子像素202的光接收信号以生成第二视差图像，并且收集多个子像素203的光接收信号以生成第三视差图像。此外，在本实施例中，从拍摄图像中减去第一视差图像、第二视差图像和第三视差图像，以生成第四视差图像。然而，本实施例不限于该示例，并且可以收集多个子像素204的光接收信号，以生成第四视差图像。如上所述，视差图像是针对彼此不同的部分光瞳区域中的各部分光瞳区域、基于多个子像素的光接收信号所生成的。
在本实施例中，拍摄图像和第一视差图像至第三视差图像(以及第四视差图像)都是采用拜尔阵列的图像。根据需要，可以对拍摄图像和第一视差图像至第三视差图像(以及第四视差图像)中的每一个进行去马赛克。根据本实施例的视差图像的校正处理(缺陷校正)与第一实施例相同，因此省略其说明。
第三实施例
接着，说明根据本发明的第三实施例。本实施例与第一实施例的不同在于：图像处理单元125b基于拍摄图像进行视差图像的光量校正处理(阴影校正)。除了根据本实施例的光量校正处理之外，与第一实施例同样地，可以基于拍摄图像来进行视差图像的校正处理，以减少视差图像中所包含的缺陷。
图4所示的光瞳区域500经由微透镜与包括被分割成2×1个的光电转换器301和302(被分割成Nx×Ny个的第一光电转换器至第NLF光电转换器)的光接收面具有大致光学共轭关系。光瞳区域500是各自包括子像素201和202(第一子像素至第NLF子像素)的像素200G可以接收光的光瞳区域。
图15A和15B是光入射至各像素上所形成的微透镜的光强度分布的说明图。图15A示出与微透镜的光轴平行的截面的光强度分布。图15B示出与微透镜的光轴垂直的截面的光强度分布。通过微透镜将入射光会聚到聚焦位置上。然而，由于光的波动性的衍射的影响，导致会聚光斑的直径无法变得小于衍射极限Δ并且具有有限的尺寸。在光电转换器的光接收面具有约1～2μm的长度的情况下，微透镜的会聚光斑具有约1μm的长度。因此，由于衍射模糊，导致没有清楚地对经由微透镜而与光电转换器的光接收面具有共轭关系的图4所示的部分光瞳区域501和502进行光瞳分割，并且具有依赖于光入射角的光接收率分布(光瞳强度分布)。
图16是依赖于光入射角的光接收率分布(光瞳强度分布)的图。横轴表示光瞳坐标，以及纵轴表示光接收率。由图16中的实线表示的图形线L1表示沿着图4的部分光瞳区域501(第一部分光瞳区域)中的x轴的光瞳强度分布。由图形线L1表示的光接收率从左端起急剧上升，达到峰值，然后以平缓的变化率逐渐下降，然后到达右端。由图16的虚线表示的图形线L2表示沿部分光瞳区域502(第二部分光瞳区域)的x轴的光瞳强度分布。与图形线L1相反，由图形线L2表示的光接收率从右端起急剧上升，达到其峰值，以平缓的变化率逐渐下降，然后到达左端。应当理解，如图16所示，进行平缓的光瞳分割。
如图5所示，光电转换器301和302(第一光电转换器至第NLF光电转换器)与子像素201和202(第一子像素至第NLF子像素)相对应。在摄像元件的各像素中，被分割成2×1个的子像素201和202(被分割成Nx×Ny个的第一光电转换器至第NLF光电转换器)接收穿过了部分光瞳区域501和502(第一子像素至第NLF子像素)的不同部分光瞳区域的光。基于各子像素所接收到的信号来获得表示光强度的空间分布和角度分布的LF数据(输入数据(输入图像))。
针对各像素，可以基于LF数据(输入图像)，通过将来自2×1分割出的子像素201和202(Nx×Ny分割出的第一光电转换器至第NLF光电转换器)的全部信号彼此进行合成，来生成具有像素数N的分辨率的拍摄图像。
基于LF数据(输入图像)，针对各像素，选择来自2×1分割出的子像素201和202(Nx×Ny分割出的第一光电转换器至第NLF光电转换器)中的特定子像素的信号。由此，可以生成与部分光瞳区域501和502(第一子像素至第NLF子像素)中的特定部分光瞳区域相对应的视点图像。例如，可以通过选择来自子像素201的信号来生成具有与成像光学系统中的部分光瞳区域501相对应的像素数N的分辨率的第一视点图像(第一视差图像)。这同样适用于其它子像素。
如所讨论的，根据本实施例的摄像元件包括具有被配置为接收穿过了成像光学系统的不同部分光瞳区域的光束的多个光电转换器的多个阵列像素，并且可以获取LF数据(输入数据)。本实施例对第一视点图像和第二视点图像(第一视点图像至第NLF视点图像)进行诸如瑕疵校正和阴影校正等的图像处理(校正处理)，并生成输出图像。
现在，将参考图17和18来说明用于通过基于拍摄图像和摄像元件107所获取到的LF数据(输入图像)对第一视点图像和第二视点图像(第一视点图像至第NLF视点图像)进行校正处理来生成输出图像的图像处理方法。图17和18是根据本实施例的校正处理的流程的示意图。图17和18主要是通过图像处理电路125(获取单元125a和图像处理单元125b)基于CPU 121的命令来执行的。
首先，在图17的步骤S1之前的阶段(或者在未示出的步骤S0)，图像处理电路125(获取单元125a)基于摄像元件107所获取到的LF数据(输入数据)来生成(获取)拍摄图像和至少一个视点图像。拍摄图像是根据将成像光学系统中的不同部分光瞳区域进行合成所得到的光瞳区域而生成的图像。视点图像是针对成像光学系统中的各个不同部分光瞳区域所生成的图像。
在步骤S0中，首先，图像处理电路125输入摄像元件107所获取到的LF数据(输入图像)。可选地，图像处理电路125可以使用摄像元件107预先拍摄并存储在记录介质中的LF数据(输入图像)。
接着，在步骤S0中，图像处理电路125生成与将成像光学系统中的不同部分光瞳区域(第一部分光瞳区域和第二部分光瞳区域)进行合成所得到的光瞳区域相对应的拍摄图像。将LF数据(输入图像)称为LF。另外，将LF的各像素信号中的作为列方向上的第is个(1≤is≤Nx)并且行方向上的第jS个(1≤jS≤Ny)的子像素信号称为第k子像素信号，其中，k＝Nx(jS-1)+iS(1≤k≤NLF)。图像处理电路125如以下表达式(2)那样生成合成图像作为列方向上第iS个且行方向上第jS个的拍摄图像I(j,i)。
表达式2
为了维持拍摄图像(j,i)的良好S/N，本实施例在对各子像素信号进行模拟至数字转换(A/D转换)之前，在摄像元件内的静电电容部(FD)中将表达式(2)的各子像素信号彼此进行合成。根据需要，在对各子像素信号进行A/D转换之前，本实施例可以在将摄像元件内的静电电容部(FD)中所累积的电荷转换成电压信号时将表达式(2)的各子像素信号彼此进行合成。根据需要，在对各子像素信号进行了A/D转换之后，本实施例可以将表达式(2)的各子像素信号彼此进行合成。
本实施例是在X方向上对各像素进行二分割(例如，Nx＝2，Ny＝1以及NLF＝2)的示例。基于与图2中的示意性像素阵列相对应的输入图像(LF数据)，针对各像素将来自在X方向进行二分割而得到的子像素201和202(进行Nx×Ny分割而得到的第一子像素至第NLF子像素)的全部信号进行合成。由此，可以生成作为具有像素数N(＝水平像素数NH×垂直像素数NV)的分辨率的拜尔阵列的RGB信号的拍摄图像。由于根据本实施例的视点图像的校正处理使用拍摄图像作为校正基准的参考图像，因此针对拍摄图像I(j,i)进行阴影(光量)校正处理和点瑕疵校正处理等。如果需要，可以进行其它处理。
接着，在步骤S0中，图像处理电路125如以下表达式(3)所示那样生成作为与成像光学系统的第k部分光瞳区域相对应的列方向上的第i个且行方向上的第j个的第k视点图像Ik(j,i)。
表达式3
本实施例是在X方向上对各像素进行二分割(例如，Nx＝2，Ny＝1以及NLF＝2)并且k＝1的示例。本实施例基于与图2所示的像素阵列相对应的LF数据(输入图像)，针对各像素选择在x方向上进行二分割而得到的子像素201的信号。然后，本实施例基于部分光瞳区域501和502(第一部分光瞳区域至第NLF部分光瞳区域)来生成作为具有像素数N(＝水平像素数NH×垂直像素数NV)的分辨率的拜尔阵列的RGB信号的第一视点图像I1(j,i)。根据需要，可以选择k＝2，并且可以生成与成像光学系统中的部分光瞳区域502相对应的第二视点图像I2(j,i)。
如上所述，图像处理单元125b基于通过具有被配置为接收穿过了成像光学系统中的不同部分光瞳区域的光束的多个光电转换器的多个像素的摄像元件所获取到的输入图像，来生成与将不同部分光瞳区域进行合成所得到的光瞳区域相对应的拍摄图像。另外，图像处理单元125b针对各不同的部分光瞳区域生成至少一个视点图像。
本实施例基于通过摄像元件107所获取到的LF数据(输入图像)生成作为采用拜尔阵列的RGB信号的拍摄图像I(j,i)以及作为采用拜尔阵列的RGB信号的第一视点图像I1(j,i)，并且将它们存储在记录介质中。另外，本实施例基于拍摄图像I(j,i)和第一视点图像I1(j,i)来生成第二视点图像I2(j,i)。针对本实施例中的拍摄图像I(j,i)，该配置可以提供与针对通过不对各像素的光电转换器进行分割的传统摄像元件所获取到的拍摄图像的图像处理相同的图像处理。根据需要，为了使对各视点图像的处理相同，可以生成第一视点图像I1(j,i)和第二视点图像I2(j,i)，并将其存储在记录介质中。
接着，在图17的步骤S1中，图像处理单元125b基于拍摄图像I(j,i)来进行针对第一视点图像I1(第k视点图像Ik)的RGB各自的阴影校正处理(光量校正处理)。
现在，将参考图19A～19C来说明由于第一视点图像和第二视点图像(第一视点图像至第NLF视点图像)之间的光瞳偏移所引起的阴影。图19A～19C是阴影的说明图，并且示出在摄像元件107的周边图像高度处的光电转换器301接收光的部分光瞳区域501、光电转换器302接收光的部分光瞳区域502和成像光学系统中的出射光瞳400之间的关系。利用同样的附图标记来指定图4中的相应元件。光电转换器301和302(第一光电转换器至第NLF光电转换器)与子像素201和202(第一子像素至第NFL子像素)相对应。
图19A示出成像光学系统中的出射光瞳距离Dl等于摄像元件107中的设置光瞳距离Ds的情况。在这种情况下，成像光学系统中的出射光瞳400大致被部分光瞳区域501和502均等地分割。与此相对，如图19B所示，在成像光学系统中的出射光瞳距离Dl短于摄像元件107中的设置光瞳距离Ds的情况下，在摄像元件107的周边图像高度处，在出射光瞳400和摄像元件107的入射光瞳之间发生光瞳偏移。结果，出射光瞳400没有被均等地分割。同样地，如图19C所示，在成像光学系统中的出射光瞳距离Dl长于摄像元件107中的设置光瞳距离Ds的情况下，在摄像元件107的周边图像高度处，在出射光瞳400和摄像元件107的入射光瞳之间发生光瞳偏移。结果，出射光瞳400没有被均等地分割。伴随着周边图像高度处的不均等的光瞳分割，第一视点图像和第二视点图像具有不均等的强度并且针对RGB(颜色)各自产生第一视点图像和第二视点图像中的一个的强度高而另一个的强度低的阴影。
为了生成具有良好的图像质量的各视点图像，根据本实施例的图像处理单元125b在图17的步骤S1中，通过使用拍摄图像I(j,i)作为基准或参考图像，来进行针对第一视点图像I1(第k视点图像Ik)的RGB各自的阴影校正(光量校正)。
在图17的步骤S1中，图像处理电路125首先检测拍摄图像I(j,i)和第一视点图像I1(j,i)中的任一个是不饱和且无缺陷(无瑕疵)的有效像素V1(j,i)。拍摄图像I(j,i)和第一视点图像I1(j,i)中的任一个是不饱和且无缺陷(无瑕疵)的有效像素满足V1(j,i)＝1。拍摄图像I(j,i)和第一视点图像I1(j,i)中的任一个是饱和或有缺陷的无效像素满足V1(j,i)＝0。同样地，在针对第k视点图像Ik的阴影(光量)校正中，拍摄图像I(j,i)和第k视点图像Ik(j,i)这两者均不饱和且无缺陷的有效像素满足Vk(j,i)＝1。
假定整数j2(1≤j2≤NV/2)以及i2(1≤i2≤NH/2)。假定图2中采用拜尔阵列的拍摄图像I包括针对R、Gr、Gb和B的拍摄图像RI、GrI、GbI和BI。将R的拍摄图像表示为RI(2j2-1,2i2-1)＝I(2j2-1,2i2-1)，并且将Gr的拍摄图像表示为GrI(2j2-1,2i2)＝I(2j2-1,2i2)。将Gb的拍摄图像表示为GbI(2j2,2i2-1)＝I(2j2,2j2-1)，并且将B的拍摄图像表示为BI(2j2,2i2)＝I(2j2,2i2)。同样地，假定图2中所示的第k拍摄图像Ik包括针对R、Gr、Gb和B的拍摄图像RIk、GrIk、GbIk和BIk。将R的拍摄图像表示为RIk(2j2-1,2i2-1)＝Ik(2j2-1,2i2-1)，并且将Gr的拍摄图像表示为GrIk(2j2-1,2i2)＝Ik(2j2-1,2i2)。将Gb的拍摄图像表示为GbIk(2j2,2i2-1)＝Ik(2j2,2j2-1)，并且将B的拍摄图像表示为BIk(2j2,2i2)＝Ik(2j2,2i2)。
在步骤S1中，接着，图像处理单元125b进行针对拍摄图像RI(2j2-1,2i2-1)、GrI(2j2-1,2i2)、GbI(2j2,2i2-1)和BI(2j2,2i2)的投影处理。更具体地，针对拍摄图像RI(2j2-1,2i2-1)、GrI(2j2-1,2i2)、GbI(2j2,2i2-1)和BI(2j2,2i2)，利用表达式(4A)～(4D)，在与光瞳分割方向(x方向)垂直的方向(y方向)上进行投影处理。由此，生成拍摄图像的投影信号RP(2i2-1)、GrP(2i2)、GbP(2i2-1)和BP(2i2)。饱和信号值或缺陷信号值不包含用来校正地检测针对拍摄图像的RGB各自的阴影的信息。因而，计算拍摄图像和有效像素Vk的乘积，并且通过排除饱和信号值和缺陷信号值来进行投影处理(表达式(4A)～(4D)中的上段的分子)，并且利用用于投影处理的有效像素数来进行标准化(表达式(4A)～(4D)中的上段的分母)。在用于投影处理的有效像素数是0的情况下，通过表达式(4A)中的下段至表达式(4D)中的下段，来将拍摄信号的投影信号设置为0。在拍摄图像的投影信号由于噪声影响而变成负信号的情况下，同样将拍摄图像的投影信号设置为0。同样地，针对第k视点图像RIk(2j2-1,2i2-1)、GrIk(2j2-1,2i2)、GbIk(2j2,2i2-1)和BIk(2j2,2i2)，利用表达式(4E)～(4H)，在与光瞳分割方向(x方向)垂直的方向(y方向)上进行投影处理。该配置生成第k视点图像的投影信号RPk(2i2-1)、GrPk(2i2)、GbPk(2i2-1)和BPk(2i2)。
表达式4A
表达式4B
表达式4C
表达式4D
表达式4E
表达式4F
表达式4G
表达式4H
在表达式(4A)～(4H)的投影处理之后，进行低通滤波处理。针对拍摄图像的投影信号RP(2i2-1)、GrP(2i2)、GbP(2i2-1)和BP(2i2)以及第k视点图像的投影信号RPk(2i2-1)、GrPk(2i2)、GbPk(2i2-1)和BPk(2i2)进行低通滤波处理。由此，将拍摄图像中的投影信号平滑化。可选地，可以省略低通滤波处理。
图20A～20C是拍摄图像的投影信号、第一视点图像的投影信号以及阴影函数的说明图。图20A示出拍摄图像的投影信号RP(R)、GrP(G)、GbP(G)和BP(B)的示例。图20B示出第一视点图像的投影信号RP1(R)、GrP1(G)、GbP1(G)和BP1(B)的示例。各投影信号具有依赖于被摄体的多个波动。为了对第一视点图像I1(第k视点图像Ik)进行高精度的阴影校正，需要将由于光瞳偏移所引起的第一视点图像I1(第k视点图像Ik)的RGB各自的阴影成分从针对被摄体的RGB的信号成分分离。
在步骤S1中，图像处理单元125b通过表达式(5A)～(5D)，计算针对相对于作为基准的拍摄图像的第k视点图像Ik的RGB各自的阴影信号RSk(2i2-1)、GrSk(2i2)、GbSk(2i2-1)和BSk(2i2)。
表达式5A
表达式5B
表达式5C
表达式5D
在计算阴影成分时，需要使像素的光接收量大于子像素的光接收量，并且使子像素的光接收量大于0。因而，在满足条件表达式RP(2i2-1)>RPk(2i2-1)>0的情况下，通过表达式(5A)获取第k视点图像的R投影信号RPk(2i2-1)和拍摄图像的R投影信号RP(2i2-1)之间的比。然后，将该结果与光瞳分割数NLF相乘以进行标准化，并且生成第k视点图像Ik的R阴影信号RSk(2i2-1)。由此，可以抵消被摄体的R信号成分，并且可以分离出第k视点图像Ik的R阴影成分。在不满足条件表达式RP(2i2-1)>RPk(2i2-1)>0的情况下，将第k视点图像Ik的R阴影信号RSk(2i2-1)设置为0。
同样地，在满足条件表达式GrP(2i2)>GrPk(2i2)>0的情况下，通过表达式(5B)获取第k视点图像的Gr投影信号GrPk(2i2)和拍摄图像的Gr投影信号GrP(2i2)之间的比。然后，将该结果与光瞳分割数NLF相乘以进行标准化，并且生成第k视点图像Ik的Gr阴影信号GrSk(2i2)。由此，可以抵消被摄体的Gr信号成分，并且可以分离出第k视点图像Ik的Gr阴影成分。在不满足条件表达式GrP(2i2)>GrPk(2i2)>0的情况下，将第k视点图像Ik的Gr阴影信号GrSk(2i2)设置为0。
同样地，在满足条件表达式GbP(2i2-1)>GbPk(2i2-1)>0的情况下，通过表达式(5C)获取第k视点图像的Gb投影信号GbPk(2i2-1)和拍摄图像的Gb投影信号GbP(2i2-1)之间的比。然后，将该结果与光瞳分割数NLF相乘以进行标准化，并且生成第k视点图像Ik的Gb阴影信号GbSk(2i2-1)。由此，可以抵消被摄体的Gb信号成分，并且可以分离出第k视点图像Ik的Gb阴影成分。在不满足条件表达式GbP(2i2-1)>GbPk(2i2-1)>0的情况下，将第k视点图像Ik的Gb阴影信号GbSk(2i2-1)设置为0。
同样地，在满足条件表达式BP(2i2)>BPk(2i2)>0的情况下，通过表达式(5D)获取第k视点图像的B投影信号BPk(2i2)和拍摄图像的B投影信号BP(2i2)之间的比。然后，将该结果与光瞳分割数NLF相乘以进行标准化，并且生成第k视点图像Ik的B阴影信号BSk(2i2)。由此，可以抵消被摄体的B信号成分，并且可以分离出第k视点图像Ik的B阴影成分。在不满足条件表达式BP(2i2)>BPk(2i2)>0的情况下，将第k视点图像Ik的B阴影信号BSk(2i2)设置为0。
为了进行高精度的阴影校正，在满足RSk(2i2-1)>0、GrSk(2i2)>0、GbSk(2i2-1)>0和BSk(2i2)>0的有效阴影信号数量等于或高于预定数量的情况下，可以提供阴影校正。
接着，在步骤S1中，图像处理单元125b进行通过表达式(6A)～(6D)所表示的计算处理。将针对第k视点图像Ik的RGB各自的阴影函数RSFk(2i2-1、GrSFk(2i2)、GbSFk(2i2-1)和BSFk(2i2)设置成针对光瞳分割方向(x方向)的位置变量的平滑的NSF次多项式函数。将通过表达式(5A)～(5D)生成的并且满足RSk(2i2-1)>0、GrSk(2i2)>0、GbSk(2i2-1)>0和BSk(2i2)>0的有效阴影信号设置成数据点。通过这些数据点以及利用最小二乘法的参数拟合来计算表达式(6A)～(6D)中的系数RSCk(μ)、GrSCk(μ)、GbSCk(μ)和BSCk(μ)。
表达式6A
表达式6B
表达式6C
表达式6D
如上所述，生成针对相对于作为基准的拍摄图像的第k视点图像Ik的RGB各自的阴影函数RSFk(2i2-1、GrSFk(2i2)、GbSFk(2i2-1)和BSFk(2i2)。
图20C示出针对相对于作为基准的拍摄图像的第一视点图像I1的RGB各自的阴影函数RSF1(R)、GrSF1(G)、GbSF1(G)和BSF1(B)。图20B中的第一视点图像的投影信号和图20A中的拍摄图像的投影信号具有依赖于被摄体的波动。另一方面，可以通过获得第一视点图像的投影信号和拍摄图像的投影信号之间的比来抵消依赖于被摄体的波动(针对RGB各自的被摄体的信号值)，并且可以针对RGB各自分离并生成平滑的第一视点图像I1的阴影函数。尽管本实施例使用多项式函数作为阴影函数，但是本发明不限于本实施例，并且根据需要可以根据阴影形状使用更一般的函数。
接着，在图17的步骤S1中，图像处理单元125b针对第k视点图像Ik(j,i)，利用表达式(7A)～(7D)，使用RGB各自的阴影函数，并且进行阴影(光量)校正处理。由此，生成阴影校正后的第k视点(第一校正)图像M1Ik(j,i)。如下这样针对R、Gr、Gb和B中的每一个来表示采用拜尔阵列的第k视点(第一校正)图像M1Ik。换句话说，将R的第k视点(第一校正)图像设置为RM1Ik(2j2-1,2i2-1)＝M1Ik(2j2-1,2i2-1)，并且将Gr的第k视点(第一校正)图像设置为GrM1Ik(2j2-1,2i2)＝M1Ik(2j2-1,2i2)。将Gb的第k视点(第一校正)图像设置为GbM1Ik(2j2,2i2-1)＝M1Ik(2j2,2i2-1)，并且将B的第k视点(第一校正)图像设置为BM1Ik(2j2,2i2)＝M1Ik(2j2,2i2)。根据需要，可以将阴影校正后的第k视点(第一校正)图像M1Ik(j,i)设置为输出图像。
表达式7A
表达式7B
表达式7C
表达式7D
现在，将参考图21～23，来说明针对图17的步骤S1中所示的第一视点图像I1(j,i)的RGB各自的阴影校正处理(光量校正处理)的效果。图21示出根据本实施例的拍摄图像I(去马赛克后)的示例。示例性的拍摄图像具有良好的图像质量。图22示出本实施例中的阴影校正前的第一视点图像I1(去马赛克后)的示例。由于成像光学系统的出射光瞳和摄像元件的入射光瞳之间的光瞳偏移而导致RGB各自产生阴影，并且在第一视点图像I1(j,i)的右侧，亮度降低并且RGB比被调制。图23示出本实施例中的阴影校正后的第一视点(第一校正)图像M1I1(去马赛克后)的示例。由于基于拍摄图像的RGB各自的阴影校正而使得亮度降低且RGB比的调制被校正，并且与拍摄图像同样地，生成具有良好图像质量的阴影校正后的第一视点(第一校正)图像M1I1(j,i)(去马赛克后)。
本实施例基于包括具有被配置为接收穿过了成像光学系统的不同部分光瞳区域的光束的多个光电转换器的多个像素的摄像元件所获取到的输入图像，来生成与将不同部分光瞳区域进行合成而得到的光瞳区域相对应的拍摄图像。然后，本实施例针对各个不同的部分光瞳区域生成多个视点图像，基于拍摄图像来进行用于校正视点图像的图像处理，并且生成输出图像。本实施例基于拍摄图像来进行用于校正针对各颜色或RGB各自的光量(阴影)的图像处理。本实施例基于拍摄图像的投影信号和视点图像的投影信号来进行用于校正视点图像的光量的图像处理。本实施例的配置可以提供具有良好质量的视点图像。
接着，在图17的步骤S2中，图像处理单元125b基于拍摄图像I来校正阴影校正之后的第k视点(第一校正)图像M1Ik的缺陷。本实施例示出k＝1的示例，但是本发明不限于本实施例。
在本实施例中，由于摄像元件的电路结构和驱动方式所引起的传输门的短路等，导致尽管拍摄图像I是正常的，但是第k视点图像Ik(第一视点图像I1)的仅一部分产生缺陷信号或者点或线缺陷。根据需要，本实施例可以预先将量产工序等中所检查到的点缺陷信息和线缺陷信息存储在图像处理电路125等中，并且可以基于所记录的点和线信息来进行针对第k视点图像Ik(第一视点图像I1)的缺陷校正处理。另外，本实施例实时检查第k视点图像Ik(第一视点图像I1)，并且进行点缺陷判断或线缺陷判断。
现在，将说明根据本实施例的缺陷校正(图17中的步骤S2)。本实施例假定第k视点图像Ik的奇数行2jD-1或偶数行2jD被判断为在水平方向(x方向)上具有线缺陷，并且拍摄图像I中的奇数行2jD-1或偶数行2jD没有被判断为具有线缺陷。
在本实施例的步骤S2的缺陷校正中，正常的拍摄图像I被设置为参考图像，并且基于拍摄图像I来校正第k视点(第一校正)图像M1Ik的缺陷。本实施例通过将在没有被判断为缺陷的位置处的第k视点(第一校正)图像M1Ik的信号值与没有被判断为缺陷的位置处的拍摄图像I的信号值进行比较来校正缺陷。在该比较中，为了进行高精度的缺陷校正，需要移除由于光瞳偏移所引起的对第k视点图像Ik的RGB各自的阴影成分的影响，并精确地比较第k视点图像Ik和拍摄图像I之间的被摄体的RGB各自的信号成分。因而，在步骤S1中，本实施例预先校正第k视点图像的RGB各自的阴影(光量)，生成第k视点(第一校正)图像M1Ik，建立与拍摄图像I同样的阴影状态，并且移除阴影成分的影响。之后，在步骤S2中，本实施例基于拍摄图像I来高精度地对校正了阴影的第k视点(第一校正)图像M1Ik中的缺陷进行校正。
在图17的步骤S2中，本实施例基于拍摄图像I的正常信号和第k视点(第一校正)图像M1Ik的正常信号，来对阴影校正之后的第k视点(第一校正)图像M1Ik(j,i)的一部分中被判断为缺陷的信号进行缺陷校正处理。然后，本实施例生成缺陷校正后的第k视点(第二校正)图像M2Ik(j,i)。这里，如下这样针对R、Gr、Gb和B中的每一个来表示采用拜尔阵列的第k视点(第二校正)图像M2Ik。换句话说，将R的第k视点(第二校正)图像表示为RM2Ik(2j2-1,2i2-1)＝M2Ik(2j2-1,2i2-1)，并且将Gr的第k视点(第二校正)图像表示为GrM2Ik(2j2-1,2i2)＝M2Ik(2j2-1,2i2)。将Gb的第k视点(第二校正)图像表示为GbM2Ik(2j2,2i2-1)＝M2Ik(2j2,2i2-1)，并且将B的第k视点(第二校正)图像表示为BM2Ik(2j2,2i2)＝M2Ik(2j2,2i2)。
在步骤S2中，假定第k视点(第一校正)图像M1Ik的R的第一位置(2jD-1,2iD-1)被判断为缺陷。此时，基于第一位置处的拍摄图像RI(2jD-1,2iD-1)、没有被判断为缺陷的R的第二位置处的第k视点(第一校正)图像RM1Ik、以及第二位置处的拍摄图像RI，通过以下表达式(8A)来进行缺陷校正处理。该配置生成第一位置处的缺陷校正后的第k视点(第二校正)图像RM2Ik(2jD-1,2iD-1)。
假定第k视点(第一校正)图像M1Ik的Gr的第一位置(2jD-1,2iD)被判断为缺陷。此时，基于第一位置处的拍摄图像GrI(2jD-1,2iD)、没有被判断为缺陷的Gb的第二位置处的第k视点(第一校正)图像GbM1Ik、以及第二位置处的拍摄图像GbI，通过以下表达式(8B)来进行缺陷校正处理。该配置生成第一位置处的缺陷校正后的第k视点(第二校正)图像GrM2Ik(2jD-1,2iD)。
假定第k视点(第一校正)图像M1Ik的Gb的第一位置(2jD,2iD-1)被判断为缺陷。此时，基于第一位置处的拍摄图像GbI(2jD,2iD-1)、没有被判断为缺陷的Gr的第二位置处的第k视点(第一校正)图像GrM1Ik、以及第二位置处的拍摄图像GrI，通过以下表达式(8C)来进行缺陷校正处理。该配置生成第一位置处的缺陷校正后的第k视点(第二校正)图像GbM2Ik(2jD,2iD-1)。
假定第k视点(第一校正)图像M1Ik的B的第一位置(2jD,2iD)被判断为缺陷。此时，基于第一位置处的拍摄图像BI(2jD,2iD)、没有被判断为缺陷的B的第二位置处的第k视点(第一校正)图像BM1Ik、以及第二位置处的拍摄图像BI，通过以下表达式(8D)来进行缺陷校正处理。该配置生成第一位置处的缺陷校正后的第k视点(第二校正)图像BM2Ik(2jD,2iD)。
表达式8A
表达式8B
表达式8C
表达式8D
在没有被判断为缺陷的大部分位置(j,i)处，第k视点(第二校正)图像M2Ik(j,i)具有与第k视点(第一校正)图像M1Ik(j,i)的信号值相同的信号值，并且M2Ik(j,i)＝M1Ik(j,i)成立。根据需要，可以将缺陷校正后的第k视点(第二校正)图像M2Ik(j,i)输出为输出图像。
现在，将参考图24和25来说明本实施例中的基于图17的步骤S2所示的第一视点(第一校正)图像M1I1的正常的拍摄图像I的缺陷校正的效果。图24示出本实施例中的缺陷校正前的第一视点(第一校正)图像M1I1(阴影校正后且去马赛克后)的示例。示出在第一视点(第一校正)图像M1I1(j,i)的中央部、在水平方向(x方向)上产生线缺陷的示例。图25示出本实施例中的缺陷校正后的第一视点(第二校正)图像M2I1(阴影校正后且去马赛克后)的示例。利用基于正常的拍摄图像I的缺陷校正来对水平方向(x方向)上的线缺陷进行校正，并且与拍摄图像同样地，生成具有良好质量的缺陷校正后的第一视点(第二校正)图像M2I1(j,i)。
本实施例基于包括具有被配置为接收穿过了成像光学系统中的不同部分光瞳区域的光束的多个光电转换器的多个像素的摄像元件所获取到的输入图像，来生成与将不同部分光瞳区域进行合成而得到的光瞳区域相对应的拍摄图像。然后，本实施例针对各个不同部分光瞳区域生成多个视点图像，基于拍摄图像来进行用于校正视点图像的图像处理，并且生成输出图像。本实施例基于拍摄图像来进行图像处理，以校正并减少视点图像中所包含的缺陷。本实施例基于第一位置处的拍摄图像的信号值来进行用于对被判断为缺陷的第一位置处的视点图像的信号值进行校正的图像校正处理。本实施例基于被判断为缺陷的第一位置处的拍摄图像的信号值、没有被判断为缺陷的第二位置处的视点图像的信号值、以及第二位置处的拍摄图像的信号值，来进行用于校正第一位置处的视点图像的信号值的信号处理。
在本实施例中，图像处理单元125b在基于拍摄图像进行了对视点图像的光量校正处理之后，基于拍摄图像来进行校正处理(图像处理)，以减少视点图像中所包含的缺陷。该配置可以生成具有良好质量的视点图像。
接着，在图17的步骤S2中，图像处理单元125b通过使用以下表达式(9A)～(9D)来对缺陷校正后的第k视点(第二校正)图像M2Ik(j,i)进行阴影处理。由此，生成第k视点(第三校正)图像M3Ik(j,i)。
表达式9A
RM3Ik(2j2-1,2i2-1)＝RSFk(2i2-1)×RM2Ik(2j2-1,2i2-1),…(9A)
表达式9B
GrM3Ik(2j2-1,2i2)＝GrSFk(2i2)×GrM2Ik(2j2-1,2i2),…(9B)
表达式9C
GbM3Ik(2j2,2i2-1)＝GbSFk(2i2-1)×GbM2Ik(2j2,2i2-1),…(9C)
表达式9D
BM3Ik(2j2,2i2)＝BSFk(2i2)×BM2Ik(2j2,2i2).…(9D)
现在，针对R、Gr、Gb和B中的每一个来获取采用拜尔阵列的第k视点(第三校正)图像M3Ik。将R的第k视点(第三校正)图像表示为RM3Ik(2j2-1,2i2-1)＝M3Ik(2j2-1,2i2-1)，并且将Gr的第k视点(第三校正)图像表示为GrM3Ik(2j2-1,2i2)＝M3Ik(2j2-1,2i2)。将Gb的第k视点(第三校正)图像表示为GbM3Ik(2j2,2i2-1)＝M3Ik(2j2,2i2-1)，并且将B的第k视点(第三校正)图像表示为BM3Ik(2j2,2i2)＝M3Ik(2j2,2i2)。
在图18的步骤S3中，针对拍摄图像I(j,i)和第k视点(第三校正)图像M3Ik(j,i)进行饱和信号处理。本实施例讨论k＝1和NLF＝2的示例。
在步骤S3中，首先，针对拍摄图像I(j,i)(其中，拍摄信号的最大值被设置为Imax)，利用以下表达式(10)来进行饱和信号处理，并且生成校正后的拍摄图像MI(j,i)。
表达式10
接着，在步骤S3中，图像处理单元125b针对第k视点(第三校正)图像M3Ik(j,i)(其中，将拜尔阵列的阴影函数设置为SFk(j,i))，如以下表达式(11)那样进行与阴影状态相对应的饱和信号处理。由此，可以生成第k视点(第四校正)图像M4Ik(j,i)。这里，基于针对R、Gr、Gb和B中的每一个来生成的阴影函数RSFk(2i2-1)、GrSFk(2i2)、GbSFk(2i2-1)和BSFk(2i2)，通过表达式(6A)～(6D)来计算拜尔阵列的阴影函数SFk(j,i)。换句话说，假定SFk(2j2-1,2i2-1)＝RSFk(2i2-1)、SFk(2j2-1,2i2)＝GrSFk(2i2)、SFk(2j2,2i2-1)＝GbSFk(2i2-1)和SFk(2j2,2i2)＝BSFk(2i2)。
表达式11
在图18的步骤S4中，图像处理单元125b通过校正后的拍摄图像MI(j,i)以及第一视点(第四校正)图像M4I1(j,i)，基于表达式(12)来生成第二视点图像I2(j,i)。
表达式12
I2(j,i)＝MI(j,i)-M4I1(j,i). (12)
在本实施例中，由于摄像元件107的驱动方式和A/D转换电路结构，因此第一视点(第三校正)图像M3I1(j,i)的饱和时的最大信号值可以具有与拍摄图像I(j,i)的饱和时的最大信号值Imax相同的最大信号值。在这种情况下，在不进行饱和信号处理的状态下通过如表达式12那样从拍摄图像减去第一视点(第三校正)图像来生成第二视点图像、并且第二视点图像可能具有饱和信号值的情况下，饱和信号值可能具有错误的信号值0。因而，为了防止该问题，步骤S3针对拍摄图像I(j,i)和第k视点(第三校正)图像M3Ik(j,i)预先进行与阴影状态相对应的饱和信号处理，以使得生成进行饱和信号处理后的校正后的拍摄图像MI(j,i)以及第一视点(第四校正)图像M4I1(j,i)。之后，步骤S4可以使用表达式(12)，通过生成第二视点图像I2(j,i)来生成与正确的饱和信号值相对应的第二视点图像I2。
在图18的步骤S5中，图像处理单元125b针对第一视点(第四校正)图像M4I1(j,i)和第二视点图像I2(j,i)进行阴影校正(光量校正)。更具体地，针对第一视点(第四校正)图像M4I1(j,i)，利用通过表达式(6A)～(6D)已经生成的阴影函数RSF1、GrSF1、GbSF1和BSF1，与表达式(7A)～(7D)同样地进行阴影校正(光量校正)。由此，生成第一视点(第五校正)图像M5I1(j,i)。接着，在步骤S5中，图像处理单元125b针对第二视点图像I2(j,i)，与表达式(4A)～(7D)同样地，基于校正后的拍摄图像MI(j,i)来进行阴影校正(光量校正)。由此，生成第二视点(第五校正)图像M5I2(j,i)。
最后，在图18的步骤S6中，图像处理单元125b针对第一视点(第五校正)图像M5I1(j,i)和第二视点(第五校正)图像M5I2(j,i)，通过以下表达式(13)来进行饱和信号处理。由此，生成第一校正视点图像MI1(j,i)和第二校正视点图像MI2(j,i)作为输出图像。
表达式13
现在，将参考图26和27来说明图17的步骤S5中所示的第二视点图像I2(j,i)的RGB各自的阴影校正处理(光量校正处理)的效果。图26示出本实施例中的阴影校正前的第二视点图像I2(去马赛克后)的示例。成像光学系统的出射光瞳和摄像元件的入射光瞳之间的光瞳偏移使得RGB各自产生阴影，因而在第二视点图像I2(j,i)的左侧发生亮度的降低和RGB比的调制。图27示出本实施例中的阴影校正后的第二校正视点图像MI2(去马赛克后)的示例。基于拍摄图像的RGB各自的阴影校正来对亮度的降低和RGB比的调制进行校正，并且与拍摄图像同样地，生成具有良好质量的阴影校正后的第二校正视点图像MI2(j,i)。
根据本实施例的图像处理设备是具有用于进行上述图像处理方法的图像处理单元的图像处理设备。根据本实施例的摄像设备是包括用于进行上述图像处理方法的图像处理单元和如下的摄像元件的摄像设备，其中，该摄像元件包括具有被配置为接收穿过了成像光学系统中的不同部分光瞳区域的光束的多个子像素的多个排列像素。本实施例的结构可以生成具有良好质量的视点图像。
第四实施例
接着，将说明根据本发明的第四实施例。本实施例基于第三实施例中所生成的第一校正视点图像和第二校正视点图像(第一校正视点图像至第NLF校正视点图像)以及第一校正视点图像和第二校正视点图像之间的相关性(信号的一致度)，通过相位差检测方法来检测图像偏移量分布。
在生成图像偏移量分布时，首先，基于作为采用拜尔阵列的RGB信号的第k校正视点图像MIk(k＝1～NLF)，针对各位置(j,i)，使针对RGB的颜色重心彼此一致。通过以下表达式(14)来生成第k视点亮度信号Yk。
表达式14
接着，在生成图像偏移量分布时，基于作为采用拜尔阵列的RGB信号的第一校正视点图像MI1，针对通过表达式(14)所生成的第一视点亮度信号Y1，在光瞳分割方向(列方向)上进行一维带通滤波处理，并且生成第一焦点检测信号dYA。另外，本实施例基于第二校正视点图像MI2，针对通过表达式(14)所生成的第二视点亮度信号Y2，在光瞳分割方向(列方向)上进行一维带通滤波处理，并且生成第二焦点检测信号dYB。一维带通滤波器例如可以使用一次微分滤波器[1,5,8,8,8,8,5,1,-1,-5,-8,-8,-8,-8,-5,-1]等。根据需要，可以调节一维带通滤波器的通过带域。
接着，在生成图像偏移量分布时，本实施例使第一焦点检测信号dYA和第二焦点检测信号dYB相对于彼此在光瞳分割方向(列方向)上偏移，计算表示信号的一致度的相关量，并且基于该相关量来生成图像偏移量分布MDIS(j,i)。本实施例将第一焦点检测信号设置为dYA(j+j2,i+i2)并且将第二焦点检测信号设置为dYB(j+j2,i+i2)，其中，dYA(j+j2,i+i2)是以位置(j,i)为中心的行方向上的第j2个(-n2≤j2≤n2)且作为光瞳分割方向的列方向上的第i2个(-m2≤i2≤m2)。假定偏移量是s(-ns≤s≤ns)。然后，通过以下表达式(15A)来计算各位置(j,i)处的相关量COREVEN(j,i,s)，并且通过以下表达式(15B)来计算相关量CORODD(j,i,s)。
表达式15A
表达式15B
相关量CORODD(j,i,s)是通过使第一焦点检测信号dYA和第二焦点检测信号dYB之间的偏移量相对于相关量COREVEN(j,i,s)偏移半个相位或-1而得到的相关量。本实施例基于相关量COREVEN(j,i,s)和相关量CORODD(j,i,s)，通过子像素计算来对使相关量最小的实数值的偏移量进行计算并平均，并且检测图像偏移量分布MDIS(j,i)。
在利用相位差方式来检测图像偏移量时，本实施例对表达式(15A)和(15B)的相关量进行评价，并且基于第一焦点检测信号和第二焦点检测信号之间的相关性(信号的一致度)来检测图像偏移量。本实施例根据对基于拍摄图像的RGB中的每一个进行了阴影(光量)校正后的第一校正视点图像和第二校正视点图像来生成第一焦点检测信号和第二焦点检测信号。因而，本实施例可以提高第一焦点检测信号和第二焦点检测信号之间的相关性(信号的一致度)，并且高精度地检测图像偏移量。
在根据自动焦点检测所检测到的散焦量将透镜驱动至聚焦位置的情况下，将图像偏移量分布MDIS(j,i)与从与诸如摄像镜头(成像光学系统)的光圈值F和出射光瞳距离等的镜头信息相对应的图像偏移量至散焦量的转换系数K相乘。由此，可以检测到散焦分布MDef(j,i)。可以针对焦点检测区域中的各图像高度位置进行该计算。
本实施例可以生成具有良好质量的多个视点图像。本实施例可以通过使用具有良好质量的多个视点图像来提高图像偏移量的检测精度。
第五实施例
接着，将说明根据本发明的第五实施例。本实施例讨论Nx＝2、Ny＝2和NLF＝4的四分割的示例。在本实施例中，基于与图12所示的像素阵列相对应的输入图像(LF数据)和表达式(2)，针对各像素来将来自四分割出的子像素201～204(Nx×Ny分割出的第一子像素至第NLF子像素)的全部信号进行合成。生成拍摄图像I作为具有像素数N(＝水平像素数NH×垂直像素数NV)的分辨率的拜尔阵列的RGB信号。
本实施例讨论Nx＝2、Ny＝2和NLF＝4的四分割以及k＝1～3的示例。基于与图12所示的像素阵列相对应的LF数据(输入图像)和表达式(3)，针对各像素，从四分割出的子像素201～204中选择子像素201(第一子像素)的信号。然后，本实施例生成第一视点图像I1(j,i)作为具有与成像光学系统中的部分光瞳区域501相对应的像素数N的分辨率的拜尔阵列的RGB信号。本实施例基于LF数据和表达式(3)，针对各像素，从四分割出的子像素201～204中选择子像素202(第二子像素)的信号。本实施例生成第二视点图像I2(j,i)作为具有与成像光学系统中的部分光瞳区域502相对应的像素数N的分辨率的拜尔阵列的RGB信号。本实施例基于LF数据和表达式(3)，针对各像素，从四分割出的子像素201～204中选择子像素203(第三子像素)的信号。本实施例生成第三视点图像I3(j,i)作为具有与成像光学系统中的部分光瞳区域503相对应的像素数N的分辨率的拜尔阵列的RGB信号。
本实施例基于通过包括具有被配置为接收穿过了成像光学系统中的不同部分光瞳区域的光束的多个光电转换器的多个排列像素的摄像元件所获取到的输入图像(LF数据)，来生成与将不同部分光瞳区域进行合成而得到的光瞳区域相对应的拍摄图像。然后，本实施例针对不同部分光瞳区域各自生成多个视点图像。为了生成具有良好质量的各视点图像，与第三实施例同样地，本实施例基于拍摄图像来对第一视点图像至第四视点图像(第一视点图像至第NLF视点图像)进行诸如瑕疵校正和阴影校正等的图像处理，并生成输出图像。
在图17的步骤S1中，本实施例通过将拍摄图像I(j,i)设置为基准或参考图像来对第一视点图像I1至第三视点图像I3(第k视点图像Ik:k＝1～NLF-1)进行阴影(或光量)校正。本实施例讨论Nx＝2、Ny＝2和NLF＝4的四分割并且k＝1～3的示例。
首先，在步骤S1中，本实施例针对第k视点图像Ik(k＝1～NLF-1)，通过表达式(4A)～(7D)来在x方向上进行阴影(光量)校正。接着，在表达式(4A)～(7D)中，利用y方向来替换x方向，并且在y方向上进行阴影(光量)校正处理，并且生成第k视点(第一校正)图像M1Ik(k＝1～NLF-1)。在进行x方向上的阴影(光量)校正和y方向上的阴影校正这两个阶段的情况下，光瞳分割数NLF与所需数量相比多1，以使得将表达式(5A)～(5D)标准化。因而，在y方向上的第二阴影校正时，在表达式(5A)～(5D)中省略与光瞳分割数NLF相乘，以进行标准化。
通过表达式(8A)～(10)，本实施例的过程与第三实施例的过程相同直至生成第k视点(第四校正)图像M4Ik(k＝1～NLF-1)为止。在图18的步骤S4中，基于校正后的拍摄图像MI(j,i)以及第k视点(第四校正)图像M4Ik(k＝1～NLF-1)，通过以下表达式(16)来生成第NLF视点图像INLF(j,i)。本实施例讨论Nx＝2、Ny＝2和NLF＝4的四分割的示例。
表达式16
图18中的步骤S5和随后步骤与第三实施例中的步骤相同。
本实施例可以生成具有良好质量的视点图像。在摄像元件的各像素的光电转换器中，其它实施例可以增加分割数，诸如Nx＝3、Ny＝3和NLF＝9的九分割以及Nx＝4、Ny＝4和NLF＝16的十六分割等。
如上所述，各实施例中的图像处理设备(图像处理电路125)包括获取单元125a和图像处理单元125b(校正单元)。获取单元125a获取基于用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束的多个光电转换器中的一个光电转换器的信号而生成的视差图像，并且获取通过将来自多个光电转换器的信号进行合成所生成的拍摄图像。图像处理单元125b基于拍摄图像来进行校正处理，以使得减少视差图像中所包含的缺陷(诸如点瑕疵和线瑕疵等)。
优选地，图像处理单元125b通过使用被判断为缺陷的第一位置(要校正的位置)处的拍摄图像的像素值(像素信号)来对第一位置处的视差图像的像素值(像素信号)进行校正。更优选地，图像处理单元125b基于第一位置处的拍摄图像的像素值I、没有被判断为缺陷的第二位置处的视差图像的像素值以及第二位置处的拍摄图像的像素值，来对第一位置处的视差图像的像素值进行校正。第二位置是第一位置(要校正的位置)附近(或者周边)的像素的位置。更优选地，第二位置是在预定方向(像素阵列上的垂直方向、水平方向或者斜方向)上与第一位置邻接的位置。
优选地，在第二位置处的视差图像或者拍摄图像的像素值低于预定亮度值(参数A0或I0)的情况下，图像处理单元125b利用预定亮度值来替换像素值。更优选地，预定亮度值被设置成根据部分光瞳区域的数量而改变。优选地，预定亮度值被设置成根据第一位置(要校正的位置)而改变。优选地，预定亮度值被设置成根据摄像条件信息而改变。摄像条件信息包括ISO感光度、成像光学系统的光圈值以及出射光瞳距离至少之一。
优选地，图像处理设备包括用于存储与第一位置有关的缺陷信息的存储器(存储器134)、或者用于检查与第一位置有关的缺陷信息的检查器。图像处理单元125b基于存储器中所存储的缺陷信息或者作为检查器的检查结果而获得的缺陷信息来进行校正处理。
优选地，视差图像是通过针对成像光学系统中的彼此不同的各个部分光瞳区域而收集一个光电转换器中所包括的多个子像素(多个第一子像素、多个第二子像素、多个第三子像素和多个第四子像素)的光接收信号来生成的。拍摄图像是通过收集多个光电转换器中所包括的全部子像素(多个第一子像素和多个第二子像素，此外，根据需要还包括多个第三子像素和多个第四子像素)的光接收信号而生成的。
优选地，视差图像包括与穿过成像光学系统中的彼此不同的部分光瞳区别的各光束相对应的第一视差图像和第二视差图像。然后，获取单元125a从包括多个光电转换器的摄像元件107获取拍摄图像以及视差图像中的第一视差图像。图像处理单元125b对视差图像中的第一视差图像进行校正处理。然后，图像处理单元125b通过从拍摄图像中减去校正后的第一视差图像来生成第二视差图像。优选地，图像处理单元125b(再聚焦单元)基于校正后的视差图像对拍摄图像进行再聚焦处理。
优选地，图像处理单元基于拍摄图像来进行视差图像的光量校正或阴影校正。更优选地，图像处理单元基于拍摄图像来对视差图像的各颜色进行视差图像的光量校正处理。更优选地，图像处理单元基于拍摄图像的投影信号和视差图像的投影信号来进行视差图像的光量校正处理。更优选地，在图像处理单元对视差图像进行了光量校正处理之后，图像处理单元基于拍摄图像对视差图像进行校正，以使得减少进行了光量校正处理之后的视差图像中所包含的缺陷。
其它实施例
本发明可以在用于经由网络或存储介质将用于实现上述实施例的一个或多个功能的程序供给至系统或设备，并且在系统或设备的计算机中的一个或多个处理器中读取并执行该程序的处理中实现。另外，本发明还可以在用于实现一个或多个功能的电路(诸如ASIC等)中实现。
各实施例可以提供能够生成具有质量有所提高的视差图像的图像处理设备、摄像设备、图像处理方法、程序和非暂时性计算机可读存储介质。
尽管参考典型实施例说明了本发明，但是本发明不限于所公开的典型实施例，并且可以在不偏离本发明的范围的情况下进行各种改变和修改。
附图标记的说明
125 图像处理电路(图像处理设备)
125a 获取单元
125b 图像处理单元

Claims (24)

1.一种图像处理设备，包括：
获取单元，用于获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像，并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像，其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及
图像处理单元，用于基于所述拍摄图像来校正所述视差图像。
2.根据权利要求1所述的图像处理设备，其中，所述图像处理单元基于所述拍摄图像来校正所述视差图像，以减少所述视差图像中所包含的缺陷。
3.根据权利要求2所述的图像处理设备，其中，所述图像处理单元基于被判断为缺陷的第一位置处的所述拍摄图像的像素值，来对所述第一位置处的所述视差图像的像素值进行校正。
4.根据权利要求3所述的图像处理设备，其中，所述图像处理单元基于所述第一位置处的所述拍摄图像的像素值、没有被判断为缺陷的第二位置处的所述视差图像的像素值以及所述第二位置处的所述拍摄图像的像素值，来对所述第一位置处的所述视差图像的像素值进行校正。
5.根据权利要求4所述的图像处理设备，其中，所述第二位置是在预定方向上与所述第一位置邻接的位置。
6.根据权利要求4或5所述的图像处理设备，其中，在所述第二位置处的所述视差图像或所述拍摄图像的像素值低于预定亮度值的情况下，所述图像处理单元利用所述预定亮度值来替换该像素值。
7.根据权利要求6所述的图像处理设备，其中，所述预定亮度值被设置成根据所述部分光瞳区域的数量而改变。
8.根据权利要求6或7所述的图像处理设备，其中，所述预定亮度值被设置成根据所述第一位置而改变。
9.根据权利要求6至8中任一项所述的图像处理设备，其中，所述预定亮度值被设置成根据摄像条件信息而改变。
10.根据权利要求9所述的图像处理设备，其中，所述摄像条件信息包括ISO感光度、所述成像光学系统的光圈值以及出射光瞳距离其中至少之一。
11.根据权利要求3至10中任一项所述的图像处理设备，其中，还包括存储器，所述存储器用于存储与所述第一位置有关的缺陷信息，
其中，所述图像处理单元基于所述缺陷信息来校正所述视差图像。
12.根据权利要求3至10中任一项所述的图像处理设备，其中，还包括检查器，所述检查器用于检查与所述第一位置有关的缺陷信息，
其中，所述图像处理单元基于所述缺陷信息来校正所述视差图像。
13.根据权利要求1至12中任一项所述的图像处理设备，其中，
所述视差图像是通过针对所述成像光学系统中的彼此不同的各个部分光瞳区域而收集来自所述一个光电转换器中所包括的多个子像素的光接收信号来生成的，以及
所述拍摄图像是通过收集来自所述多个光电转换器中所包括的全部子像素的光接收信号来生成的。
14.根据权利要求1所述的图像处理设备，其中，所述视差图像包括第一视差图像和第二视差图像，所述第一视差图像和所述第二视差图像分别与穿过所述成像光学系统中的彼此不同的部分光瞳区域的光束相对应，
其中，所述获取单元从包括所述多个光电转换器的摄像元件获取所述拍摄图像以及所述视差图像中的所述第一视差图像，以及
所述图像处理单元进行以下操作：
对所述视差图像中的所述第一视差图像进行校正，以及
通过从所述拍摄图像中减去校正后的第一视差图像来生成所述第二视差图像。
15.根据权利要求1至14中任一项所述的图像处理设备，其中，所述图像处理单元基于校正后的视差图像来进行对所述拍摄图像的再聚焦处理。
16.根据权利要求1至15中任一项所述的图像处理设备，其中，所述图像处理单元基于所述拍摄图像来进行对所述视差图像的光量校正处理。
17.根据权利要求16所述的图像处理设备，其中，所述图像处理单元基于所述拍摄图像、针对所述视差图像的各个颜色来进行对所述视差图像的所述光量校正处理。
18.根据权利要求16或17所述的图像处理设备，其中，所述图像处理单元基于所述拍摄图像的投影信号和所述视差图像的投影信号来进行对所述视差图像的所述光量校正处理。
19.根据权利要求16至18中任一项所述的图像处理设备，其中，所述图像处理单元在进行了对所述视差图像的所述光量校正处理之后，基于所述拍摄图像来对所述视差图像进行校正，以减少进行了所述光量校正处理之后的所述视差图像中所包含的缺陷。
20.一种摄像设备，包括：
摄像元件，其包括多个排列像素，其中所述多个排列像素具备用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束的多个光电转换器；
获取单元，用于获取基于来自所述多个光电转换器中的一个光电转换器的信号所生成的视差图像，并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像；以及
图像处理单元，用于基于所述拍摄图像来校正所述视差图像。
21.根据权利要求20所述的摄像设备，其中，所述摄像元件针对一个微透镜包括所述多个光电转换器，并且所述微透镜是以二维方式排列的。
22.一种图像处理方法，包括以下步骤：
获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像，并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像，其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及
基于所述拍摄图像来校正所述视差图像。
23.一种程序，用于使计算机执行包括以下步骤的处理：
获取基于来自多个光电转换器中的一个光电转换器的信号所生成的视差图像，并且获取通过对来自所述多个光电转换器的多个信号进行合成而生成的拍摄图像，其中所述多个光电转换器用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及
基于所述拍摄图像来校正所述视差图像。
24.一种非暂时性计算机可读存储介质，其存储根据权利要求23所述的程序。
CN201680026847.4A 2015-05-08 2016-04-21 图像处理设备、摄像设备、图像处理方法和存储介质 Active CN107960120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110790632.2A CN113596431B (zh) 2015-05-08 2016-04-21 图像处理设备、摄像设备、图像处理方法和存储介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015095348 2015-05-08
JP2015-095348 2015-05-08
JP2016080328A JP6746359B2 (ja) 2015-05-08 2016-04-13 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2016-080328 2016-04-13
PCT/JP2016/002144 WO2016181620A1 (ja) 2015-05-08 2016-04-21 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110790632.2A Division CN113596431B (zh) 2015-05-08 2016-04-21 图像处理设备、摄像设备、图像处理方法和存储介质

Publications (2)

Publication Number Publication Date
CN107960120A true CN107960120A (zh) 2018-04-24
CN107960120B CN107960120B (zh) 2021-07-16

Family

ID=57552163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026847.4A Active CN107960120B (zh) 2015-05-08 2016-04-21 图像处理设备、摄像设备、图像处理方法和存储介质

Country Status (4)

Country Link
US (2) US10771762B2 (zh)
EP (1) EP3296789B1 (zh)
JP (2) JP6746359B2 (zh)
CN (1) CN107960120B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559786A (zh) * 2020-12-08 2021-03-26 中国联合网络通信集团有限公司 一种光学遥感影像成像时间的确定方法及装置
CN112995452A (zh) * 2019-12-17 2021-06-18 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹影像处理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
EP3193305B1 (en) * 2016-01-12 2018-09-12 Continental Automotive GmbH Method and device for displaying a front-view of a vehicle's surrounding and respective vehicle
JP6789810B2 (ja) * 2016-12-28 2020-11-25 キヤノン株式会社 画像処理方法、画像処理装置、および、撮像装置
DE102018123781B4 (de) * 2018-09-26 2023-08-03 Carl Zeiss Meditec Ag Verfahren zum Durchführen einer Shading-Korrektur und optisches Beobachtungsgerätesystem

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07135600A (ja) * 1993-11-11 1995-05-23 Sony Corp シェーディング補正回路
JP2007124056A (ja) * 2005-10-25 2007-05-17 Canon Inc 画像処理装置、制御方法、及びプログラム
TW200924507A (en) * 2007-11-20 2009-06-01 Quanta Comp Inc Method and circuit for correcting defect pixels in image signal
CN102710903A (zh) * 2010-11-09 2012-10-03 佳能株式会社 图像处理设备、摄像设备和图像处理方法
JP2014033415A (ja) * 2012-08-06 2014-02-20 Canon Inc 画像処理装置及び方法、及び、撮像装置
CN104243778A (zh) * 2013-06-18 2014-12-24 佳能株式会社 摄像设备、摄像系统和信号处理方法
JP2015002400A (ja) * 2013-06-14 2015-01-05 キヤノン株式会社 シェーディング補正装置、焦点検出装置、撮像装置、シェーディング補正方法、プログラム、記憶媒体
US20150249795A1 (en) * 2014-02-28 2015-09-03 Samsung Electronics Co., Ltd. Imaging processing apparatus and method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JPH06153087A (ja) * 1992-09-17 1994-05-31 Sony Corp 画素欠陥補正方法
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
TWI248297B (en) 2003-01-17 2006-01-21 Fuji Photo Film Co Ltd Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information
JP4051701B2 (ja) * 2003-01-17 2008-02-27 富士フイルム株式会社 固体撮像素子の欠陥画素補正方法及び撮影装置
JP5917125B2 (ja) 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
WO2013089042A1 (ja) 2011-12-16 2013-06-20 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
JP2014086863A (ja) * 2012-10-23 2014-05-12 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
JP2015056710A (ja) * 2013-09-11 2015-03-23 キヤノン株式会社 撮像装置、およびその制御方法、プログラム、記憶媒体
JP6486149B2 (ja) 2015-03-03 2019-03-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
EP4386659A1 (en) 2015-03-10 2024-06-19 Canon Kabushiki Kaisha Image processing method, image processing device, and image pickup apparatus
JP6275174B2 (ja) 2015-03-10 2018-02-07 キヤノン株式会社 画像処理方法、画像処理装置、および、撮像装置
US10325356B2 (en) 2015-11-30 2019-06-18 Canon Kabushiki Kaisha Image processing device, image processing method, imaging device, and recording medium for exclusively performing adjustment processing or viewpoint change processing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07135600A (ja) * 1993-11-11 1995-05-23 Sony Corp シェーディング補正回路
JP2007124056A (ja) * 2005-10-25 2007-05-17 Canon Inc 画像処理装置、制御方法、及びプログラム
TW200924507A (en) * 2007-11-20 2009-06-01 Quanta Comp Inc Method and circuit for correcting defect pixels in image signal
CN102710903A (zh) * 2010-11-09 2012-10-03 佳能株式会社 图像处理设备、摄像设备和图像处理方法
JP2014033415A (ja) * 2012-08-06 2014-02-20 Canon Inc 画像処理装置及び方法、及び、撮像装置
JP2015002400A (ja) * 2013-06-14 2015-01-05 キヤノン株式会社 シェーディング補正装置、焦点検出装置、撮像装置、シェーディング補正方法、プログラム、記憶媒体
CN104243778A (zh) * 2013-06-18 2014-12-24 佳能株式会社 摄像设备、摄像系统和信号处理方法
US20150249795A1 (en) * 2014-02-28 2015-09-03 Samsung Electronics Co., Ltd. Imaging processing apparatus and method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995452A (zh) * 2019-12-17 2021-06-18 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹影像处理装置
CN112995452B (zh) * 2019-12-17 2022-11-11 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹影像处理装置
CN112559786A (zh) * 2020-12-08 2021-03-26 中国联合网络通信集团有限公司 一种光学遥感影像成像时间的确定方法及装置
CN112559786B (zh) * 2020-12-08 2024-03-15 中国联合网络通信集团有限公司 一种光学遥感影像成像时间的确定方法及装置

Also Published As

Publication number Publication date
US11388383B2 (en) 2022-07-12
EP3296789B1 (en) 2023-11-01
US10771762B2 (en) 2020-09-08
EP3296789A1 (en) 2018-03-21
US20200358998A1 (en) 2020-11-12
CN107960120B (zh) 2021-07-16
JP2020191651A (ja) 2020-11-26
US20180041744A1 (en) 2018-02-08
JP2016213819A (ja) 2016-12-15
JP6746359B2 (ja) 2020-08-26
JP7057397B2 (ja) 2022-04-19
EP3296789A4 (en) 2018-12-19

Similar Documents

Publication Publication Date Title
CN107465866B (zh) 图像处理设备及方法、摄像设备和计算机可读存储介质
US9426349B2 (en) Image processing apparatus, image processing method, image pickup apparatus, and display device
CN107960120A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
JP6239857B2 (ja) 撮像装置およびその制御方法
CN110636277B (zh) 检测设备、检测方法和摄像设备
KR101983047B1 (ko) 화상처리방법, 화상처리장치 및 촬상 장치
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP6700986B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN110312957B (zh) 焦点检测设备、焦点检测方法和计算机可读存储介质
JP5348258B2 (ja) 撮像装置
JP6254843B2 (ja) 画像処理装置およびその制御方法
JP6862102B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN106412532B (zh) 控制设备、摄像设备和控制方法
CN113596431B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP7022575B2 (ja) 焦点検出装置および方法、および撮像装置
JP6789810B2 (ja) 画像処理方法、画像処理装置、および、撮像装置
JP2020171050A (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
WO2017170726A1 (ja) 撮像装置および電子機器
JP2019114912A (ja) 画像処理装置および画像処理方法、並びに撮像装置
JP2018019348A (ja) 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
JP2019219499A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2019092215A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2019071591A (ja) 撮像装置およびその制御方法
JP2018014649A (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant