[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN104885440A - 图像处理装置、摄像装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN104885440A
CN104885440A CN201380069084.8A CN201380069084A CN104885440A CN 104885440 A CN104885440 A CN 104885440A CN 201380069084 A CN201380069084 A CN 201380069084A CN 104885440 A CN104885440 A CN 104885440A
Authority
CN
China
Prior art keywords
image
sensitivity
pixel
display
pixel groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380069084.8A
Other languages
English (en)
Other versions
CN104885440B (zh
Inventor
井泽克俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104885440A publication Critical patent/CN104885440A/zh
Application granted granted Critical
Publication of CN104885440B publication Critical patent/CN104885440B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

提供能够以简单的结构确保对焦图像用的图像的显示的实时性的图像处理装置、摄像装置、图像处理方法及图像处理程序。校正部(28C)基于由灵敏度取得部(28B)取得的灵敏度来对第一图像及第二图像分别求算线性近似的灵敏度校正系数，并基于所求出的灵敏度校正系数来校正第一及第二图像的亮度。并且，基于所求出的灵敏度校正系数，校正由图像取得部(28A)取得的第一及第二图像的亮度。

Description

图像处理装置、摄像装置、图像处理方法及图像处理程序
技术领域
本发明涉及图像处理装置、摄像装置、图像处理方法及图像处理程序。
背景技术
作为数码相机，除了使用相位差检测方式、对比度检测方式的自动对焦外，具备使用者能够以手动进行调焦的所谓的手动对焦模式的数码相机也广为人知。
作为具有手动对焦模式的数码相机，已知有采用了如下方法的相机：以能够对被摄体进行确认并进行调焦的方式设置反射镜并使用显示目视的相位差的分裂式微棱镜屏。另外，也已知有采用了对目视的对比度进行确认的方法的数码相机。
然而，在近年来普及的省略了反射镜的数码相机中，由于没有反射镜，因此没有显示相位差并对被摄体像进行确认的方法，必须依靠对比度检测方式。但是，在该情况下，不能显示LCD(liquid crystaldisplay：液晶显示器)等显示装置的分辨率以上的对比度，必须采用进行局部放大等而显示的方法。
因此，近年来，为了在手动对焦模式时操作者容易地进行对被摄体对焦的作业，将裂像显示在即时预览图像(也称作实时取景图像)内。所谓裂像是例如显示区域被分割成多个的分割图像(例如沿上下方向分割的各图像)，是指如下的分割图像：根据焦点的偏移而在视差产生方向(例如左右方向)上偏移，如果是对焦的状态则视差产生方向的偏移消失。操作者(例如摄影者)对手动聚焦环(以下称为“聚焦环”)进行操作而进行对焦，以使裂像(例如沿上下方向分割的各图像)的偏移消失。
日本特开2009-147665号公报(以下称为“专利文献1”)所记载的摄像装置生成对第一被摄体像以及第二被摄体像分别进行光电转换而成的第一图像以及第二图像，上述第一被摄体像以及第二被摄体像由来自摄像光学系统的光束中的、被光瞳分割部分割后的光束形成。并且，使用这些第一图像及第二图像来生成裂像，并且对第三被摄体像进行光电转换而生成第三图像，上述第三被摄体像由未被光瞳分割部分割的光束形成。并且，将第三图像显示于显示部，并且在第三图像内显示所生成的裂像，且将从第三图像提取的颜色信息附加于裂像。通过如此将从第三图像提取的颜色信息附加于裂像，能够使裂像的视觉确认性良好。
日本特开2011-223562号公报(以下称为“专利文献2”)所记载的摄像装置对通过了摄影光学系统的左右方向的不同区域的光分别进行受光，通过进行光电转换而取得左右的视点图像，并使对于左右的视点图像的阴影校正量不同而对左右的视点图像进行阴影校正。
日本特开2012-75079号公报(以下称为“专利文献3”)所记载的摄像装置的特征是，对使用单一的摄影光学系统拍摄到的左右的视差图像施加各自不同的阴影校正，以减轻左右的视差图像之间的亮度差。
WO2012/036019公报(以下称为“专利文献4”)所记载的摄像装置具备：对透镜所具有的阴影进行校正的二维校正表、对单眼3D引起的阴影进行校正的一维校正表。
发明内容
发明所要解决的课题
然而，一般，裂像通过即时预览而连续地显示，但在该情况下，由于通常图像与称为相位差图像的特定的不同的图像混合存在，因此需要对各图像进行图像处理，处理负荷变大。当进行这种处理负荷较大的图像处理时，有可能有损显示的实时性。即，存在从进行摄像到显示摄像所得到的图像的时间变长、每单位时间显示的图像的张数减少这样的担忧。因此，为了确保裂像的显示的实时性，而要求简单的图像处理。
本发明鉴于这样的实际情况而提出，其目的是提供能够以简单的结构确保对焦图像用的图像的显示的实时性的图像处理装置、摄像装置、图像处理方法及图像处理程序。
用于解决课题的方案
为了实现上述目的，本发明的第一技术方案的图像处理装置包含：图像取得部，取得基于从摄像元件输出的第一图像信号和第二图像信号的第一图像和第二图像，上述摄像元件具有通过使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出上述第一图像信号和上述第二图像信号的第一像素组和第二像素组；灵敏度取得部，取得上述第一像素组的光瞳分割方向的像素对经由上述第一区域而入射的光的灵敏度和上述第二像素组的光瞳分割方向的像素对经由上述第二区域而入射的光的灵敏度；校正部，基于由上述灵敏度取得部取得的灵敏度，对上述第一图像和上述第二图像分别求算线性近似的灵敏度校正系数，并基于所求出的灵敏度校正系数来校正上述第一图像和上述第二图像的亮度；生成部，基于从上述摄像元件输出的图像信号来生成第一显示用图像，并且基于由上述校正部校正后的上述第一图像和上述第二图像来生成用于对焦确认的第二显示用图像；显示部，显示图像；及显示控制部，进行如下控制：使上述显示部连续地显示由上述生成部生成的上述第一显示用图像作为动态图像，并且在上述第一显示用图像的显示区域内连续地显示由上述生成部生成的上述第二显示用图像作为动态图像。由此，与不具有本结构的情况相比，能够以简单的结构确保对焦图像用的图像的显示的实时性。
为了实现上述目的，本发明的第二技术方案的图像处理装置包含：图像取得部，取得基于从摄像元件输出的第一图像信号和第二图像信号的第一图像和第二图像，上述摄像元件具有通过使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出上述第一图像信号和上述第二图像信号的第一像素组和第二像素组；灵敏度取得部，取得上述第一像素组的光瞳分割方向的至少两端部的像素对经由上述第一区域而入射的光的灵敏度和上述第二像素组的光瞳分割方向的像素对经由上述第二区域而入射的光的灵敏度；校正部，基于由上述灵敏度取得部取得的灵敏度，对上述第一图像和上述第二图像分别求算线性近似的灵敏度校正系数，并基于所求出的灵敏度校正系数来校正上述第一图像和上述第二图像的亮度；生成部，基于从上述摄像元件输出的图像信号来生成第一显示用图像，并且基于由上述校正部校正后的上述第一图像和上述第二图像来生成用于对焦确认的第二显示用图像；显示部，显示图像；及显示控制部，进行如下控制：抑制上述显示部对由上述生成部生成的上述第一显示用图像作为动态图像的连续显示，并且使上述显示部连续地显示由上述生成部生成的上述第二显示用图像作为动态图像。由此，与不具有本结构的情况相比，能够以简单的结构确保对焦图像用的图像的显示的实时性。
本发明的第三技术方案在本发明的第一技术方案或第二技术方案的基础上，也可以是，上述灵敏度校正系数是进一步使上述第一像素组和上述第二像素组各自的光瞳分割方向的中央部所包含的对应的像素间的灵敏度差比上述第一像素组和上述第二像素组各自的光瞳分割方向的两端部所包含的对应的像素间的灵敏度差小的灵敏度校正系数。由此，与不具有本结构的情况相比，能够以简单的结构，使对焦确认用的图像的与光瞳分割方向相当的方向的中央部所包含的像素间的亮度差比两端部的亮度差小。
本发明的第四技术方案在本发明的第一技术方案至第三技术方案中的任一技术方案的基础上，也可以是，上述校正部使用上述灵敏度校正系数对由上述图像取得部取得的上述第一图像和上述第二图像的亮度进行校正，并将校正后的亮度乘以预定系数而进行调整。由此，与不具有本结构的情况相比，能够以简单的结构使对焦确认用的图像的整体的亮度接近作为目标的亮度。
本发明的第五技术方案在本发明的第一技术方案至第四技术方案中的任一技术方案基础上，也可以是，上述校正部基于摄影条件导出上述灵敏度校正系数，并使用所导出的上述灵敏度校正系数对由上述图像取得部取得的上述第一图像和上述第二图像的亮度进行校正。由此，与未使用基于摄影条件而导出的灵敏度校正系数的情况相比，能够抑制对焦确认用的图像的亮度由于摄影条件而背离作为目标的亮度。
本发明的第六技术方案在本发明的第五技术方案的基础上，也可以是，上述校正部以基于上述摄影条件而确定的目标灵敏度为参考来导出上述灵敏度校正系数，并使用所导出的上述灵敏度校正系数对由上述图像取得部取得的上述第一图像和上述第二图像的亮度进行校正。由此，与不具有本结构的情况相比，能够以简单的结构抑制对焦确认用的图像的亮度由于摄影条件而背离作为目标的亮度。
本发明的第七技术方案在本发明的第六技术方案的基础上，也可以是，将上述摄影条件设为光圈值，在对于预先确定的多个光圈值的各光圈值以上述目标灵敏度为参考而预先导出了上述灵敏度校正系数的状态下，在由上述图像取得部取得基于上述多个光圈值以外的光圈值的上述第一图像和上述第二图像的情况下，上述校正部对与上述多个光圈值中的至少两个光圈值的各光圈值相关的上述灵敏度校正系数进行插值，并使用插值后的上述灵敏度校正系数对由上述图像取得部取得的上述第一图像和上述第二图像的亮度进行校正。由此，与不具有本结构的情况相比，在无级地设定光圈值的情况下，也能够抑制对焦确认用的图像的亮度由于光圈值而背离作为目标的亮度。
本发明的第八技术方案在本发明的第一技术方案至第七技术方案中的任一技术方案的基础上，也可以是，上述灵敏度取得部取得上述第一像素组和上述第二像素组各自的光瞳分割方向的中央部所包含的多个像素的灵敏度。由此，与不取得第一及第二像素组各自的光瞳分割方向的中央部所包含的多个像素的灵敏度的情况相比，能够高精度地校正对焦确认用的图像的中央部的亮度。
本发明的第九技术方案在本发明的第一技术方案至第八技术方案中的任一技术方案的基础上，也可以是，上述摄像元件还具有第三像素组，上述第三像素组使透过了上述摄影透镜的被摄体像不进行光瞳分割而成像并输出第三图像信号，上述生成部基于从上述第三像素组输出的上述第三图像信号来生成上述第一显示用图像。与不具有本结构的情况相比，能够以简单的结构提高第一显示用图像的画质。
为了实现上述目的，本发明的第十技术方案的摄像装置包含：本发明的第一技术方案至第九技术方案中的任一技术方案的图像处理装置；摄像元件，具有上述第一像素组和上述第二像素组；及存储部，存储基于从上述摄像元件输出的图像信号而生成的图像。由此，与不具有本结构的情况相比，能够以简单的结构确保对焦图像用的图像的显示的实时性。
为了实现上述目的，本发明的第十一技术方案的图像处理方法包含：取得基于从摄像元件输出的第一图像信号和第二图像信号的第一图像和第二图像，上述摄像元件具有通过使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出上述第一图像信号和上述第二图像信号的第一像素组和第二像素组，取得上述第一像素组的光瞳分割方向的像素对经由上述第一区域而入射的光的灵敏度和上述第二像素组的光瞳分割方向的像素对经由上述第二区域而入射的光的灵敏度，基于所取得的灵敏度，对上述第一图像和上述第二图像分别求算线性近似的灵敏度校正系数，并基于所求出的灵敏度校正系数来校正上述第一图像和上述第二图像的亮度，基于从上述摄像元件输出的图像信号来生成第一显示用图像，基于校正后的上述第一图像和上述第二图像来生成用于对焦确认的第二显示用图像，进行如下控制：使显示图像的显示部连续地显示所生成的上述第一显示用图像作为动态图像，并且在上述第一显示用图像的显示区域内连续地显示所生成的上述第二显示用图像作为动态图像。由此，与不具有本结构的情况相比，能够以简单的结构确保对焦图像用的图像的显示的实时性。
为了实现上述目的，本发明的第十二技术方案的图像处理方法包含：取得基于从摄像元件输出的第一图像信号和第二图像信号的第一图像和第二图像，上述摄像元件具有通过使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出上述第一图像信号和上述第二图像信号的第一像素组和第二像素组，取得上述第一像素组的光瞳分割方向的像素对经由上述第一区域而入射的光的灵敏度和上述第二像素组的光瞳分割方向的像素对经由上述第二区域而入射的光的灵敏度，基于所取得的灵敏度，对上述第一图像和上述第二图像分别求算线性近似的灵敏度校正系数，基于所求出的灵敏度校正系数来校正上述第一图像和上述第二图像的亮度，基于从上述摄像元件输出的图像信号来生成第一显示用图像，基于校正后的上述第一图像和上述第二图像来生成用于对焦确认的第二显示用图像，进行如下控制：抑制显示部对所生成的上述第一显示用图像作为动态图像的连续显示，并且使上述显示部连续地显示所生成的上述第二显示用图像作为动态图像。由此，与不具有本结构的情况相比，能够以简单的结构确保对焦图像用的图像的显示的实时性。
为了实现上述目的，本发明的第十三技术方案的图像处理程序用于使计算机作为本发明的第一技术方案至第九技术方案中的任一技术方案的图像处理装置的上述图像取得部、上述灵敏度取得部、上述校正部及上述显示控制部而发挥功能。由此，与不具有本结构的情况相比，能够以简单的结构确保对焦图像用的图像的显示的实时性。
发明效果
根据本发明，可得到能够以简单的结构确保对焦图像用的图像的显示的实时性这样的效果。
附图说明
图1是表示第一～三实施方式的作为可换镜头相机的摄像装置的外观的一例的立体图。
图2是表示图1所示的摄像装置的背面侧的后视图。
图3是表示第一～三实施方式的摄像装置的电气系统的结构的一例的框图。
图4是表示设于第一～三实施方式的摄像装置所包含的摄像元件上的滤色器的配置的一例的概略配置图。
图5是表示第一～三实施方式的摄像装置所包含的摄像元件中的相位差像素的配置的一例的概略结构图。
图6是表示第一～三实施方式的摄像装置的摄像元件所包含的相位差像素(第一像素及第二像素)的结构的一例的概略结构图。
图7是表示第一～三实施方式的摄像装置所包含的图像处理部的主要部分功能的一例的功能框图。
图8是表示第一～三实施方式的图像处理部所包含的生成部的主要部分功能的一例的功能框图。
图9是表示第一～三实施方式的摄像装置的主要部分功能的一例的功能框图。
图10是表示利用通常像素对第一～三实施方式的摄像装置所包含的摄像元件的相位差像素进行插值的形态的一例的示意图。
图11A是显示于第一～三实施方式的摄像装置的显示部的即时预览图像，是表示未对焦的状态的即时预览图像的一例的画面图。
图11B是显示于第一～三实施方式的摄像装置的显示部的即时预览图像，是表示对焦的状态的即时预览图像的一例的画面图。
图12是表示第一～三实施方式的摄像装置所包含的显示装置中的裂像的显示区域及通常图像的显示区域的位置的一例的示意图。
图13是表示向第一～三实施方式的摄像装置所包含的第一及第二像素的各像素入射的光束的路径的一例的示意图。
图14是表示光瞳分割方向的线性的减光特性给左眼图像及右眼图像的各图像中的与光瞳分割方向相当的方向的各像素的亮度带来的影响的一例的坐标图。
图15是表示第一实施方式的图像输出处理的流程的一例的流程图。
图16是表示第一实施方式的灵敏度校正系数取得处理的流程的一例的流程图。
图17是表示在第一实施方式的灵敏度校正系数取得处理中使用的第一灵敏度比曲线、第二灵敏度比曲线、第一近似直线、第二近似直线及目标灵敏度比的一例的坐标图。
图18是表示使用进行第一实施方式的灵敏度校正系数取得处理而得到的灵敏度校正系数进行了校正的光瞳分割方向的像素的灵敏度比的一例的坐标图。
图19是表示校正前后的右眼图像及左眼图像所受到的减光特性的影响的一例的示意图。
图20是表示第二实施方式的灵敏度校正系数取得处理的流程的一例的流程图。
图21是表示在设定为F2.0的状态下不考虑光圈值而校正灵敏度比的情况下使用的第一及第二近似直线的一例的坐标图及校正后的灵敏度比的一例的坐标图。
图22是表示在设定为F5.6的状态下不考虑光圈值而校正灵敏度比的情况下使用的第一及第二近似直线的一例的坐标图及校正后的灵敏度比的一例的坐标图。
图23是表示在设定为F5.6的状态下考虑光圈值而校正灵敏度比的情况下使用的第一及第二近似直线的一例的坐标图及校正后的灵敏度比的一例的坐标图。
图24是表示第三实施方式的图像输出处理的流程的一例的流程图。
图25是表示在F2.0、F2.2及F2.8的情况下导出的校正用直线的一例的坐标图。
图26是表示灵敏度校正系数的插值方法的一例的坐标图。
图27是表示第四实施方式的智能手机的外观的一例的立体图。
图28是表示第四实施方式的智能手机的电气系统的主要部分结构的一例的框图。
图29是第一～四实施方式的裂像的变形例，是表示将第一图像以及第二图像分为奇数行与偶数行并交替地排列而形成的裂像的一例的示意图。
图30是第一～四实施方式的裂像的变形例，是表示由相对于行方向倾斜的斜分割线分割的裂像的一例的示意图。
图31A是第一～四实施方式的裂像的变形例，是表示由网格状的分割线分割的裂像的一例的示意图。
图31B是第一～四实施方式的裂像的变形例，是表示形成为交错相间棋盘格纹图案的裂像的一例的示意图。
具体实施方式
以下，根据附图对本发明的摄像装置的实施方式的一例进行说明。
[第一实施方式]
图1是表示第一实施方式的摄像装置100的外观的一例的立体图，图2是表示图1所示的摄像装置100的后视图。
摄像装置100是可换镜头相机。摄影装置100是包含相机主体200和以能够更换的方式安装于相机主体200的可换镜头300且省略了反射镜的数码相机。可换镜头300包含摄影透镜16(参照图3)，上述摄影透镜16具有能够通过手动操作而沿着光轴方向移动的聚焦透镜302。是省略了反射镜的数码相机。另外，在相机主体200设有混合式取景器(注册商标)220。在此所说的混合式取景器220是指例如能够选择性地使用光学取景器(以下，称作“OVF”)和电子取景器(以下，称作“EVF”)的取景器。
可换镜头300以能够更换的方式安装于相机主体200。另外，在可换镜头300的镜筒上设有聚焦环301。随着聚焦环301的基于手动的旋转操作，聚焦透镜302沿着光轴方向移动，被摄体光在与被摄体距离对应的对焦位置处成像于后述的摄像元件20(参照图3)。
在相机主体200的前表面设有包含于混合式取景器220的OVF的取景器241。另外，在相机主体200的前表面设有取景器切换杆(取景器切换部)214。当使取景器切换杆214沿箭头SW方向转动时，在能够通过OVF目视确认的光学图像和能够通过EVF目视确认的电子图像(即时预览图像)之间进行切换(后述)。另外，OVF的光轴L2是与可换镜头300的光轴L1不同的光轴。另外，在相机主体200的上表面主要设有释放按钮211以及用于设定摄影模式、重放模式等的拨盘212。
作为摄影准备指示部及摄影指示部的释放按钮211构成为能够检测出摄影准备指示状态与摄影指示状态这两阶段的按压操作。摄影准备指示状态是指例如从待机位置被按下至中间位置(半按位置)的状态，摄影指示状态是指被按下至超过了中间位置的最终按下位置(全按位置)的状态。另外，以下，将“从待机位置被按下至半按位置的状态”称为“半按状态”，将“从待机位置被按下至全按位置的状态”称为“全按状态”。
在本第一实施方式的摄像装置100中，通过将释放按钮211设为半按状态而进行摄影条件的调整，然后当接着将其设为全按状态时，进行曝光(摄影)。作为摄影条件，例如可以列举曝光状态、对焦状态等。另外，在本第一实施方式的摄像装置100中，作为摄影条件的调整而进行曝光状态及对焦状态的调整。即，通过将释放按钮211设为半按状态来发挥AE(Automatic Exposure：自动曝光)功能而设定曝光状态(快门速度、光圈的状态)后，发挥AF(Auto-Focus：自动对焦)功能而进行对焦控制。
在相机主体200的背面设有：OVF的取景器目镜部242、显示部213、十字键222、菜单/确认键224、返回/显示按钮225。
十字键222作为输出一个或多个菜单的选择、变焦、画面进给等各种的指令信号的多功能键而发挥功能。菜单/确认键224是兼具如下功能的操作键：作为用于发出在显示部213的画面上显示一个或多个菜单的指令的菜单按钮的功能；和作为发出选择内容的确定及执行等指令的确定按钮的功能。返回/显示按钮225在删除选择项目等所期望对象、取消指定内容或返回到前一个操作状态时等使用。
显示部213通过例如LCD来实现，用于显示作为在摄影模式时以连续帧进行摄像而得到的连续帧图像的一例的即时预览图像(实时取景图像)。另外，显示部213也用于显示作为在赋予了拍摄静止画面的指示的情况下以单帧进行摄像而得到的单帧图像的一例的静止图像。此外，显示部213也用于重放模式时的重放图像的显示、菜单画面等的显示。
图3是表示第一实施方式的摄像装置100的电气系统的结构(内部结构)的一例的框图。
摄像装置100包含：设于相机主体200的安装件256、与安装件256对应的靠可换镜头300侧的安装件346。可换镜头300通过使安装件256与安装件346结合而以能够更换的方式安装于相机主体200。
可换镜头300包含：滑动机构303及马达304。滑动机构303通过进行聚焦环301的操作而使聚焦透镜302沿着光轴L1方向移动。在滑动机构303以能够相对于光轴L1方向滑动的方式安装有聚焦透镜302。另外，在滑动机构303连接有马达304，滑动机构303接受马达304的动力而使聚焦透镜302沿着光轴L1方向滑动。
马达304经由安装件256、346而与相机主体200连接，并按照来自相机主体200的命令来控制驱动。另外，在本第一实施方式中，作为马达304的一例而应用步进马达。因此，马达304通过来自相机主体200的命令而与脉冲电力同步地动作。
摄像装置100是对所拍摄的静止图像、动态图像进行记录的数码相机，相机整体的动作由CPU(central processing unit：中央处理装置)12控制。摄像装置100包含作为本发明的确定部及控制部的一例的CPU12。另外，摄像装置100包含：操作部14、接口部24、存储器26及编码器34。另外，摄像部100包含作为本发明的显示控制部的一例的显示控制部36A、36B。另外，摄像部100包含目镜检测部37。另外，摄像装置100包含作为本发明的图像取得部、灵敏度取得部、校正部及生成部的一例的图像处理部28。另外，以下，在不需要对显示控制部36A、36B区别说明的情况下，称为“显示控制部36”。另外，在本第一实施方式中，作为与图像处理部28不同的硬件结构而设有显示控制部36，但并不限定于此，图像处理部28也可以具有与显示控制部36相同的功能，在该情况下不需要显示控制部36。
CPU12、操作部14、接口部24、作为存储部的一例的存储器26、图像处理部28、编码器34、显示控制部36A、36B、目镜检测部37及外部接口(I/F)39通过总线40而相互连接。另外，存储器26具有：存储有参数、程序等的非易失性存储区域(作为一例是EEPROM等)和暂时存储图像等各种信息的易失性存储区域(作为一例是SDRAM等)。
另外，在本第一实施方式的摄像装置100中，CPU12通过以通过摄像得到的图像的对比度值成为最大的方式对调焦马达进行驱动控制而进行对焦控制。另外，CPU12算出AE信息，上述AE信息是表示通过摄像得到的图像的亮度的物理量。在将释放开关211设为半按状态时，CPU12导出与由AE信息表示的图像的亮度对应的快门速度及F值。并且，以成为所导出的快门速度及F值的方式对相关各部进行控制，由此设定曝光状态。
操作部14是在对摄像装置100赋予各种指示时由操作者操作的使用者接口。由操作部14接收到的各种指示作为操作信号而输出到CPU12，CPU12执行与从操作部14输入的操作信号对应的处理。
操作部14包含：释放按钮211、对摄影模式等进行选择的对焦模式切换部212、显示部213、取景器切换杆214、十字键222、菜单/确认键224及返回/显示按钮225。另外，操作部14还包含接收各种信息的触摸面板。该触摸面板例如与显示部213的显示画面重叠。
相机主体200包含位置检测部23。位置检测部23与CPU12连接。位置检测部23经由安装件256、346而连接于聚焦环301，检测聚焦环301的旋转角度，并将表示作为检测结果的旋转角度的旋转角度信息输出到CPU12。CPU12执行与从位置检测部23输入的旋转角度信息对应的处理。
当设定摄影模式时，表示被摄体的图像光经由包含能够通过手动操作而移动的聚焦透镜302的摄影透镜16及快门18而成像在彩色的摄像元件(作为一例是CMOS传感器)20的受光面上。蓄积于摄像元件20的信号电荷通过从设备控制部22施加的读出信号而作为与信号电荷(电压)相应的数字信号被依次读出。摄像元件20具有所谓的电子快门功能，通过使其发挥电子快门功能，利用读出信号的定时对各光电传感器的电荷蓄积时间(快门速度)进行控制。另外，本第一实施方式的摄像元件20是CMOS型的图像传感器，但并不限定于此，也可以是CCD图像传感器。
在摄像元件20上作为一例设有图4所示的滤色器21。图4示意性地表示滤色器21的排列的一例。另外，在图4所示的例子中，作为像素数的一例而采用(4896×3264)像素，作为长宽比而采用3：2，但像素数及长宽比不限定于此。作为一例如图4所示，滤色器21包含：与最有助于获得亮度信号的G(绿色)对应的第一滤光片G、与R(红色)对应的第二滤光片R及与B(蓝色)对应的第三滤光片B。第一滤光片G(以下称为G滤光片)、第二滤光片(以下称为R滤光片)及第三滤光片B(以下称为B滤光片)的排列图案被分类为第一排列图案A与第二排列图案B。
在第一排列图案A中，G滤光片配置在3×3像素的正方排列的四角及中央的像素上。在第一排列图案A中，R滤光片配置在正方排列的行方向(例如水平方向)的中央的垂直行上。在第一排列图案A中，B滤光片配置在正方排列的列方向(例如垂直方向)的中央的水平行上。第二排列图案B是滤光片G的配置与第一基本排列图案A相同、并且调换了滤光片R的配置与滤光片B的配置的图案。滤色器21包含由与6×6像素对应的正方排列图案构成的基本排列图案C。基本排列图案C是将第一排列图案A与第二排列图案B以点对称配置的6×6像素的图案，基本排列图案C在行方向及列方向上重复配置。即，在滤色器21中，R、G、B的各颜色的滤光片(R滤光片、G滤光片及B滤光片)具有预定周期性而排列。因此，在对从彩色摄像元件读出的R、G、B信号进行去马赛克算法(插值)处理等时，能够按照重复图案进行处理。
另外，在以基本排列图案C的单位进行间拔处理而缩小图像的情况下，间拔处理后的缩小图像的滤色器排列能够与间拔处理前的滤色器排列相同，能够使用共通的处理电路。
滤色器21将与最有助于获得亮度信号的颜色(在本第一实施方式中为G颜色)对应的G滤光片配置在滤色器排列的行方向、列方向及倾斜方向的各行内。因此，能够不受为高频的方向影响而提高高频区域的去马赛克算法处理的再现精度。
滤色器21将与上述G颜色以外的两个颜色以上的其他颜色(在本第一实施方式中为R、B颜色)对应的R滤光片及B滤光片配置在滤色器排列的行方向及列方向的各行内。因此，抑制产生彩色莫尔条纹(伪色)，由此能够不在从光学系统的入射面至摄像面的光路中配置将用于抑制产生伪色的光学低通滤光片。另外，即使在应用了光学低通滤光片的情况下，也能够应用用于防止产生伪色的截止高频成分作用较弱的滤光片，能够不有损分辨率。
基本排列图案C也能够理解为在行方向、列方向上交替地排列由虚线框包围的3×3像素的第一排列图案A和由单点划线框包围的3×3像素的第二排列图案B而成的排列。
第一排列图案A及第二排列图案B分别将作为亮度系像素的G滤光片配置于四角和中央，配置在两个对角线上。另外，在第一排列图案A中，B滤光片隔着中央的G滤光片而沿着水平方向排列，R滤光片隔着中央的G滤光片而沿着列方向排列。另一方面，在第二排列图案B中，R滤光片隔着中央的G滤光片而沿着行方向排列，B滤光片隔着中央的G滤光片而沿着列方向排列。即，第一排列图案A与第二排列图案B的R滤光片与B滤光片的位置关系反转，但其他配置相同。
摄像装置100具有相位差AF功能。摄像元件20包含在使相位差AF功能发挥作用的情况下使用的多个相位差检测用像素。多个相位差检测用像素以预定的图案配置。作为一例如图5所示，相位差检测用像素是使行方向的左半部分的像素被遮光的第一像素L及使行方向的右半部分的像素被遮光的第二像素R中的任一个。另外，以下，在不需要对第一像素L及第二像素R区别说明的情况下，称为“相位差像素”。
作为一例如图6所示，第一像素L具有遮光部件20A，第二像素R具有遮光部件20B。遮光部件20A设于光电二极管PD的前表面侧(微透镜19侧)，对受光面的左半部分(从受光面朝向被摄体的情况下的左侧(换言之，从被摄体朝向受光面的情况下的右侧))进行遮光。另一方面，遮光部件20B设于光电二极管PD的前表面侧，对受光面的右半部分(从受光面朝向被摄体的情况下的右侧(换言之，从被摄体朝向被摄体的情况下的左侧))进行遮光。
微透镜19及遮光部件20A、20B作为光瞳分割部发挥作用，第一像素L仅对通过摄影透镜16的射出光瞳的光束的光轴的左侧进行受光，第二像素R仅对通过摄影透镜16的射出光瞳的光束的光轴的右侧进行受光。如此，通过射出光瞳的光束被作为光瞳分割部的微透镜19及遮光部件20A、20B左右分割，并分别向第一像素L及第二像素R入射。
另外，通过摄影透镜16的射出光瞳的光束中的、与左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像中的、对焦(是对焦状态)的部分成像于摄像元件20上的相同的位置。相对于此，焦点前移或焦点后移的部分分别向摄像元件20上的不同的位置入射(相位偏移)。由此，与左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像能够作为视差不同的视差图像(后述的左眼图像及右眼图像)而取得。
摄像装置100通过发挥相位差AF功能，基于第一像素L的像素值与第二像素R的像素值来检测相位的偏移量。并且，基于所检测出的相位的偏移量对摄影透镜的焦点位置进行调整。另外，以下，在不需要对遮光部件20A、20B区别说明的情况下，不标注附图标记并称为“遮光部件”。
摄像元件20被分类为第一像素组、第二像素组及第三像素组。第一像素组例如是指多个第一像素L。第二像素组例如是指多个第二像素R。第三像素组例如是指多个通常像素(第三像素的一例)。在此所说的“通常像素”例如是指相位差像素以外的像素(例如不具有遮光部件的像素)。另外，以下，将从第一像素组输出的RAW图像称为“第一图像”，将从第二像素组输出的RAW图像称为“第二图像”，将从第三像素组输出的RAW图像称为“第三图像”。
第一像素组及第二像素组所包含的各像素在第一像素组与第二像素组之间配置在使行方向上的位置在1像素内对齐的位置。另外，第一像素组及第二像素组所包含的各像素在第一像素组与第二像素组之间配置在使列方向上的位置也在1像素内对齐的位置。在图5所示的例子中，在行方向及列方向的各方向上，第一像素L与第二像素R隔着多个像素量的间隔而呈直线状交替配置。
另外，在图5所示的例子中，将第一及第二像素组所包含的各像素的位置设为在行方向及列方向的各方向上在1像素内对齐的位置，但也可以设为在行方向及列方向的至少一方向上容纳于预定像素数内(例如2个像素以内)的位置。另外，为了最大限度抑制由于焦点偏移以外的原因而产生图像偏移，优选的是，作为一例如图5所示，使第一及第二像素组所包含的各像素的位置在行方向及列方向的各方向上在1像素内对齐的位置。
作为一例如图5所示，相位差像素设于与2×2像素对应的正方排列的G滤光片的像素。即，在图5所示的例子中，2×2像素的G滤光片的图中的主视图右上角的像素被分配为相位差像素。另外，在相位差像素之间配置有通常像素，2×2像素的G滤光片以外的像素被分配为通常像素。另外，在图5所示的例子中，在行方向上交替地配置有第一像素L与第二像素R的相位差像素的行以2行为单位设为一组，各组在列方向上隔开预定像素数(在图5所示的例子中为8个像素)量的间隔而配置。
如此，在滤色器21中，对2×2像素的G滤光片的右上角部的像素设有遮光部件，相位差像素在列方向及行方向上都隔着多个像素量的间隔而规则地配置。因此，由于在相位差像素的周围配置有比较多的通常像素，因此能够提高根据通常像素的像素值对相位差像素的像素值进行插值的情况下的插值精度。并且，由于以在相位差像素之间插值所利用的通常像素不重复的方式配置第一～第三像素组所包含的各像素，因此能够进一步提高插值精度。
返回到图3，摄像元件20从第一像素组输出第一图像(表示各第一像素L的像素值的数字信号)，从第二像素组输出第二图像(表示各第二像素R的像素值的数字信号)。另外，摄像元件20从第三像素组输出第三图像(表示各通常像素的像素值的数字信号)。另外，从第三像素组输出的第三图像是有彩色的图像，例如是与通常像素的排列相同的颜色排列的彩色图像。另外，从摄像元件20输出的第一图像、第二图像及第三图像经由接口部24暂时存储于存储器26中的易失性存储区域。
图像处理部28对存储于存储器26的第一～第三图像实施各种图像处理。作为一例如图7所示，图像处理部28包含：图像取得部28A、灵敏度取得部28B、校正部28C及生成部28D。图像处理部28通过将图像处理所涉及的多个功能的电路汇总为一个的集成电路即ASIC(Application Specific Integrated Circuit：专用集成电路)来实现。但是，硬件结构不限定于此，例如也可以是包含可编程逻辑装置、CPU、ROM以及RAM在内的计算机等其他硬件结构。
图像取得部28A取得从摄像元件20输出的第一图像及第二图像。灵敏度取得部28B取得第一像素组的光瞳分割方向的像素对经由第一区域而入射的光的灵敏度。另外，灵敏度取得部28B取得第二像素组的光瞳分割方向的像素对经由第一区域而入射的光的灵敏度。在此，“光瞳分割方向的像素”是指排列于光瞳分割方向的多个像素的各像素。
校正部28C基于由灵敏度取得部28B取得的灵敏度对第一图像及第二图像分别求算线性近似的灵敏度校正系数，并基于所求出的灵敏度校正系数对第一及第二图像的亮度进行校正。另外，在本第一实施方式中，作为灵敏度校正系数而采用了表示使第一及第二像素组各自的光瞳分割方向的中央部所包含的对应的像素间的灵敏度差比光瞳分割方向的两端部所包含的对应的像素间的灵敏度差小这一灵敏度变化的线性的倾向的灵敏度校正系数，但本发明并不限定于此，只要是至少使第一及第二像素组各自的光瞳分割方向的像素的灵敏度在校正后比校正前接近作为目标的灵敏度的灵敏度校正系数即可。
另外，在此所说的“对应的像素”例如是指第一像素组的光瞳分割方向的位置与第二像素组的光瞳分割方向的位置一致的像素。另外，在此所说的“中央部”例如是指以第一及第二像素组各自的光瞳分割方向的中央为中心的、与光瞳分割方向的像素数的一半相当的像素数的范围，“两端部”例如是指第一及第二像素组各自的光瞳分割方向的中央部以外的部位。另外，“中央部所包含的对应的像素间的灵敏度差”例如是指第一及第二像素组各自的光瞳分割方向的中央部包含的代表位置(例如光瞳分割方向的中央)处的像素间的灵敏度差。另外，“两端部所包含的对应的像素间的灵敏度差”例如是指第一及第二像素组各自的光瞳分割方向的中央部包含的代表位置(例如光瞳分割方向的两端的各端)处的像素间的灵敏度差。
生成部28D基于从摄像元件20输出的第三图像来生成第一显示用图像，并且基于由校正部28B校正后的第一及第二图像来生成用于对焦确认的第二显示用图像。作为一例如图8所示，生成部28D包含：通常处理部30及裂像处理部32。通常处理部30通过对与第三像素组对应的R、G、B信号进行处理，生成作为第一显示用图像的一例的有彩色的通常图像。另外，裂像处理部32通过对与第一像素组及第二像素组对应的G信号进行处理，生成作为第二显示用图像的一例的无彩色的裂像。
返回到图3，编码器34将所输入的信号转换为其他形式的信号并输出。混合式取景器220具有显示电子图像的LCD247。LCD247的预定方向的像素数(作为一例是视差产生方向即行方向的像素数)比显示部213的该方向的像素数少。显示控制部36A连接于显示部213，显示控制分36B连接于LCD247，通过选择性地控制LCD247及显示部213而由LCD247或显示部213显示图像。另外，以下，在不需要对显示部213及LCD247区别说明的情况下，称为“显示装置”。
另外，本第一实施方式的摄像装置100构成为能够通过拨盘212(对焦模式切换部)对手动对焦模式和自动对焦模式进行切换。当选择任一对焦模式时，显示控制部36使合成有裂像的即时预览图像显示于显示装置。另外，当由拨盘212选择自动对焦模式时，CPU12作为相位差检测部及自动调焦部而工作。相位差检测部检测从第一像素组输出的第一图像与从第二像素组输出的第二图像的相位差。自动调焦部基于所检测出的相位差以使聚焦透镜302的散焦量为零的方式，从装置控制部22经由安装件256、346控制马达304，使聚焦透镜302移动到对焦位置。另外，上述“散焦量”例如是指第一图像及第二图像的相位偏移量。
目镜检测部37检测人(例如摄影者)观察取景器目镜部242这一情况，并将检测结果输出到CPU12。因此，CPU12能够基于目镜检测部37的检测结果来掌握是否在使用取景器目镜部242。
外部I/F39与LAN(Local Area Network：局域网)、互联网等通信网连接，经由通信网而处理外部装置(例如打印机)与CPU12之间的各种信息的收发。因此，在作为外部装置连接有打印机的情况下，摄像装置100能够将拍摄到的静止图像输出到打印机并进行印刷。另外，在作为外部装置连接有显示器的情况下，摄像装置100能够将拍摄到的静止图像、即时预览图像输出到显示器并进行显示。
图9是表示第一实施方式的摄像装置100的主要部分功能的一例的功能框图。另外，对与图3所示的框图共通的部分标注相同的附图标记。
通常处理部30及裂像处理部32分别具有：WB增益部、伽马校正部及去马赛克算法处理部(省略图示)，由各处理部依次对暂时存储于存储器26的原始的数字信号(RAW图像)进行信号处理。即，WB增益部通过对R、G、B信号的增益进行调整而执行白平衡校正(WB)。伽马校正部对由WB增益部执行了WB的各R、G、B信号进行伽马校正。去马赛克算法处理部进行与摄像元件20的滤色器21的排列对应的颜色插值处理，而生成进行了去马赛克算法的R、G、B信号。另外，摄像元件20每取得1画面量的RAW图像，通常处理部30及裂像处理部32对该RAW图像并行地进行图像处理。
通常处理部30从接口部24输入R、G、B的RAW图像，作为一例如图10所示，利用第一像素组及第二像素组中的相同颜色的周边像素(例如相邻的G像素)进行插值而生成第三像素组的R、G、B像素。由此，能够基于从第三像素组输出的第三图像来生成记录用的通常图像。
另外，通常处理部30将所生成的记录用通常图像的图像数据输出到编码器34。由通常处理部30处理后的R、G、B信号由编码器34转换(编码)为记录用信号，记录于记录部40。另外，基于由通常处理部30处理后的第三图像的图像即显示用通常图像被输出到显示控制部36。另外，以下为了方便说明，在不需要对上述“记录用通常图像”及“显示用通常图像”区别说明的情况下，省略“记录用”的词句及“显示用”的词句而称为“通常图像”。
摄像元件20能够改变第一像素组及第二像素组各自的曝光条件(作为一例是电子快门的快门速度)，由此能够同时取得曝光条件不同的图像。因此，图像处理部28能够基于曝光条件不同的图像来生成宽动态范围的图像。另外，能够以相同的曝光条件同时取得多个图像，能够通过将这些图像相加而生成噪声较少的高灵敏度的图像，或生成高分辨率的图像。
另一方面，裂像处理部32从暂时存储于存储器26的RAW图像提取第一像素组及第二像素组的G信号，并基于第一像素组及第二像素组的G信号来生成无彩色的裂像。与从RAW图像提取的第一像素组及第二像素组的各像素组相当的像素组如上所述，是G滤光片的像素的像素组。因此，裂像处理部32能够基于与第一像素组及第二像素组的各像素组相当的像素组的G信号来生成无彩色的左侧的视差图像及无彩色的右侧的视差图像。另外，以下，为了方便说明，将上述“无彩色的左侧的视差图像”称为“左眼图像”，将上述“无彩色的右侧的视差图像”称为“右眼图像”。
裂像处理部32通过对基于从第一像素组输出的第一图像的左眼图像与基于从第二像素组输出的第二图像的右眼图像进行合成而生成裂像。将所生成的裂像的图像数据输出到显示控制部36。
显示控制部36基于从通常处理部30输入的与第三像素组对应的记录用图像数据和从裂像处理部32输入的与第一、第二像素组对应的裂像的图像数据，生成显示用图像数据。例如，显示控制部36在由与从通常处理部30输入的第三像素组对应的记录用图像数据表示的通常图像的显示区域内，合成由从裂像处理部32输入的图像数据表示的裂像。并且，将合成而得到的图像数据输出到显示装置。即，显示控制部36A将图像数据输出到显示部213，并且显示控制部36B将图像数据输出到LCD247，从而使显示装置连续地显示通常图像作为动态图像，并且在通常图像的显示区域内连续地显示裂像作为动态图像。
另外，在本第一实施方式中，列举在通常图像的显示区域内合成裂像的例子进行了说明，但并不限定于此，也可以是在即时预览显示时，显示控制部36使显示装置同步地重叠显示通常图像与裂像。在该情况下，显示控制部36也使显示装置连续地显示通常图像作为动态图像，并且连续地显示裂像作为动态图像。
由裂像处理部32生成的裂像是对左眼图像的一部分与右眼图像的一部分进行合成而得到的多个分割的图像。作为在此所说的“多个分割的图像”，例如可以列举图11A及图11B所示的裂像。图11所示的裂像是对左眼图像中的上半部分的图像与右眼图像中的下半部分的图像进行合成而得到的图像，是在上下方向上被分割成两个而得到的图像之间根据对焦状态而沿预定方向(例如视差产生方向)偏移的图像。另外，裂像的形态不限定于图11A、图11B所示的例子，也可以是对与显示部213的预定区域的位置对应的位置的左眼图像的一部分与右眼图像的一部分进行合成而得到的图像。在该情况下，例如在上下方向上被分割成四个而得到的图像之间根据对焦状态而沿预定方向(例如视差产生方向)偏移。
将裂像与通常图像合成的方法不限定于代替通常图像的一部分图像而嵌入裂像的合成方法。例如，也可以是使裂像重叠在通常图像上的合成方法。另外，在重叠裂像时，可以是对重叠裂像的通常图像的一部分的图像与裂像的透过率进行适当调整而使其重叠的合成方法。由此，表示连续地拍摄的被摄体像的即时预览图像显示在显示装置的画面上，但所显示的即时预览图像是在通常图像的显示区域内显示有裂像的图像。
混合式取景器220包含：OVF240及EVF248。OVF240是具有物镜244和目镜246的逆伽利略式取景器，EVF248具有：LCD247、棱镜245及目镜246。
另外，在物镜244的前方配置有液晶快门243，液晶快门243以在使用EVF248时光学图像不入射到物镜244的方式进行遮光。
棱镜245使显示于LCD247的电子图像或各种信息反射而引导到目镜246，并且将光学图像与显示于LCD247的信息(电子图像、各种信息)合成。
在此，当使取景器切换杆214沿图1所示的箭头SW方向转动时，每次转动就使能够通过OVF240对光学图像进行视觉辨认的OVF模式和能够通过EVF248对电子图像进行视觉辨认的EVF模式交替地切换。
在OVF模式的情况下，显示控制部36B以使液晶快门243为非遮光状态的方式进行控制，使得能够从目镜部对光学图像进行视觉辨认。另外，使LCD247仅显示裂像。由此，能够显示在光学图像的一部分重叠有裂像的取景器像。
另外，在EVF模式的情况下，显示控制部36B以使液晶快门243为遮光状态的方式进行控制，使得能够从目镜部仅对显示于LCD247的电子图像进行视觉辨认。另外，向LCD247输入与输出到显示部213的合成有裂像的图像数据同等的图像数据，由此，能够与显示部213相同地显示在通常图像的一部分上合成有裂像的电子图像。
作为一例如图12所示，裂像显示于显示装置的画面中央部的矩形框内，通常图像显示于裂像的外周区域。另外，表示图12所示的矩形框的边缘的线实际上不显示，但在图12中为了方便说明而显示。
然而，在摄像装置100中，作为一例如图13所示，在对被摄体进行摄像的情况下，通过了摄影透镜16的左眼用光束(有助于生成左眼图像的光束)通过与第一像素L对应的微透镜19，并入射到第一像素L。但是，由于左眼用光束即使通过与第二像素R对应的微透镜19，也被遮光部件20B遮光，因此不会入射到第二像素R。另一方面，通过了摄影透镜16的右眼用光束(有助于生成右眼图像的光束)通过与第二像素R对应的微透镜19，并入射到第二像素R。但是，由于右眼用光束即使通过与第一像素L对应的微透镜19，也被遮光部件20A遮光，因此不会入射到第一像素L。由于如此对像素的一半配置有遮光部件，并且左眼用光束及右眼用光束各自的中心从摄影透镜16的光轴偏移，因此在第一像素组及第二像素组的各像素组中，减光特性根据光瞳分割方向的像素位置而线性地变化。减光特性的变化表现为左眼图像及右眼图像的亮度的变化。即，假如在从正面对摄影透镜16入射光量均匀的光的情况下得到的左眼图像及右眼图像的左右方向(相当于光瞳分割方向的方向)的亮度根据像素位置而线性地变化。例如，如图14所示，左眼图像越靠右方向的像素位置而亮度越小，右眼图像越靠左方向的像素位置而亮度越小。左眼图像及右眼图像的各亮度的向左右相反的方向的线性的变化也给裂像的画质带来影响。
因此，在本第一实施方式的摄像装置100中，图像处理部28作为一例而进行图15所示的图像输出处理。以下，参照图15对由图像处理部28进行的图像输出处理进行说明。另外，以下，例示了图像处理部28进行图像输出处理的情况，但本发明不限定于此，例如也可以是通过CPU12执行图像输出理程序而由摄像装置100进行图像输出处理。
在图15中，在步骤400中，由图像取得部28A取得第三图像，然后移向步骤402。在步骤402中，由生成部28D生成基于在步骤400中取得的第三图像的通常图像，并将所生成的通常图像输出到预定的存储区域(例如存储器26)及显示控制部36。
在接下来的步骤404中，由图像取得部28A取得第一及第二图像，然后移向步骤406。
在步骤406中，由校正部28C对第一图像及第二图像各自的灵敏度校正系数是否存储于存储器26进行判定。在步骤406中，在第一图像及第二图像各自的灵敏度校正系数存储于存储器26的情况下，判定为肯定并移向步骤408。在步骤406中，在第一图像及第二图像各自的灵敏度校正系数未存储于存储器26的情况下，判定为否定并移向步骤410。
在步骤410中，由图像处理部28作为一例而进行图16所示的灵敏度校正系数取得处理410，然后移向步骤408。
在图16所示的灵敏度校正系数取得处理中，首先在步骤410A中，由灵敏度取得部28B设定第一及第二像素组中的作为像素的灵敏度的取得对象的像素组(关注像素组)，然后移向步骤410B。另外，作为关注像素组，属于第一及第二像素组中的未被设为后述的步骤410B～410G的处理对象的像素组。
在步骤410B中，由灵敏度取得部28B设定在步骤410A中设定的关注像素组的关注行(例如通过关注像素组的中央点的一行)，然后移向步骤410C。
在步骤410C中，由灵敏度取得部28B取得在步骤410B中设定的关注行的中央部所包含的多个像素的灵敏度，然后移向步骤410D。
在步骤410D中，由校正部28C基于在步骤410C中取得的灵敏度来算出关注行的中央部所包含的每个像素的灵敏度比，然后移向步骤410E。在此，“灵敏度比”是指实测灵敏度(在步骤410C中取得的灵敏度)相对于目标灵敏度的比例。另外，在本第一实施方式中，作为目标灵敏度的一例而采用“1.0”。
在步骤410E中，由校正部28C基于在步骤410D中算出的灵敏度比，导出关于关注行的中央部所包含的多个像素的灵敏度的近似直线，然后移向步骤410F。
当由校正部28C进行步骤410E的处理时，作为一例如图17所示，对于第一灵敏度比曲线(由粗线表示的曲线)P1，导出由单点划线表示的第一近似直线α1。另外，作为一例如图17所示，对于第二灵敏度比曲线(由细线表示的曲线)Q1，导出由双点划线表示的第二近似直线α2。
第一灵敏度比曲线P1表示第一像素组的关注行所包含的每个像素的灵敏度比的分布。第二灵敏度比曲线Q1表示第二像素组的关注行所包含的每个像素的灵敏度比的分布。第一近似直线α1是对于第一像素组在步骤410D中算出的、与关注行的中央部所包含的各像素相关的灵敏度比的近似直线。第二近似直线α2是对于第二像素组在步骤410D中算出的、与关注行的中央部所包含的各像素相关的灵敏度比的近似直线。
另外，在本第一实施方式中，对第一像素组的各像素的灵敏度比进行校正时，作为设为目标的灵敏度比的一例而设定有图17所示的目标灵敏度比Y1。另外，在本第一实施方式中，作为目标灵敏度比Y1的一例而采用“1.0”。
在步骤410F中，由校正部28C基于在步骤410E中导出的近似直线而导出灵敏度校正系数，然后移向步骤410G。在此，灵敏度校正系数是指用于通过对关注像素组的各像素的灵敏度进行校正而对从各像素输出的亮度进行校正的灵敏度校正系数。
在此，对灵敏度校正系数的导出步骤的一例进行说明。校正部28C将在步骤410E中导出的近似直线调整为与目标灵敏度比Y1的距离的平方和为最小的直线(以下称为“校正用直线”)，并导出调整而得到的校正用直线的从属变量作为灵敏度校正系数。校正用直线是一次函数，该一次函数的倾斜度及截距相当于在步骤410E中导出的下述数式(1)所表示的近似直线(一次函数)的调整后的倾斜度及截距。即，采用使数式(1)所示的近似直线的从属变量Z与目标灵敏度比Y1的距离的平方和S(作为一例是下述数式(2))为最小的倾斜度a及截距b作为校正用直线的倾斜度及截距。使平方和S最小的倾斜度a及截距b例如是指通过对下述数式(3)求解而得到的由下述数式(4)表示的倾斜度a及截距b。另外，在数式(2)中，“K”是目标灵敏度比Y1的值，在数式(1)～(3)中，“Xi”表示光瞳分割方向的像素的位置的坐标值，“i”表示“0”以上且“n－1”以下的范围内的整数。
Z＝aXi+b·····(1)
(数学式1)
S = Σ i = 0 n - 1 { K - ( aX i + b ) } 2 ... ... ( 2 )
(数学式2)
∂ S ∂ a = ∂ S ∂ b = 0 ... ( 3 )
(数学式3)
a b = 1 Σ i = 0 n - 1 i 2 z i 2 · Σ i = 0 n - 1 z i 2 - ( Σ i = 0 n - 1 iz i 2 ) × Σ i = 0 n - 1 Z i 2 - Σ i = 0 n - 1 Z i 2 - Σ i = 0 n - 1 iZ i 2 Σ i = 0 n - 1 i 2 Z i 2 Σ i = 0 n - 1 iZ i Σ i = 0 n - 1 Z i . . . . . ( 4 )
校正用直线是将由数式(4)所示的倾斜度a及倾斜度b代入数式(1)而得到的一次函数，采用校正用直线的从属变量作为灵敏度校正系数。即，在各像素的每个位置(Xi)导出校正用直线的从属变量作为灵敏度校正系数。
在步骤410G中，由校正部28C对于关注像素组，将在步骤410F中导出的灵敏度校正系数对应于关注行所包含的每个像素存储于存储器26，然后移向步骤410H。
在步骤410H中，由校正部28C对是否对第一及第二像素组的各像素组进行了步骤410A～410G的处理进行判定。在未对第一及第二像素组的各像素组进行步骤410A～410G的处理的情况下，在步骤410H中判定为否定并移向步骤410A。在对第一及第二像素组的各像素组进行了步骤410A～410G的处理的情况下，在步骤410H中判定为肯定并结束灵敏度校正系数取得处理。
返回到图15，在步骤408中，由校正部28C基于关于第一及第二像素组的各像素组的关注行存储于存储器26的灵敏度校正系数，对在步骤404中取得的第一及第二图像的亮度进行校正。即，校正部28C通过将第一像素组的关注行所包含的每个像素的灵敏度校正系数乘以与第一像素组的每行的对应的像素的灵敏度而对第一图像的亮度进行校正。另外，通过将第二像素组的关注行所包含的每个像素的灵敏度校正系数乘以第二像素组的每行的对应的像素的灵敏度而对第二图像的亮度进行校正。
当由校正部28C进行步骤408的处理时，以行为单位对第一像素组的各像素的灵敏度比进行校正，图17所示的第一灵敏度比曲线P1作为一例如图18所示，被校正为第一灵敏度比曲线P2(粗线的曲线)。当对图17所示的第一灵敏度比曲线P1与图18所示的第一灵敏度比曲线P2进行比较时，图18所示的第一灵敏度比曲线P2比图17所示的第一灵敏度比曲线P1近似于目标灵敏度比Y1。
另外，当由校正部28C进行步骤408的处理时，以行为单位对第二像素组的各像素的灵敏度比进行校正，图17所示的第二灵敏度比曲线Q1作为一例被校正为图18所示的第二灵敏度比曲线Q2(细线的曲线)。当对图17所示的第二灵敏度比曲线Q1与图18所示的第二灵敏度比曲线Q2进行比较时，图18所示的第二灵敏度比曲线Q2比图17所示的第二灵敏度比曲线Q1近似于目标灵敏度比Y1。
另外，作为一例图18所示的第一灵敏度比曲线P2及第二灵敏度比曲线Q2各自的中央部所包含的对应的像素间的灵敏度比之差比两端部所包含的对应的像素间的灵敏度比之差小。
另外，在步骤408中，由校正部28C通过对进行基于灵敏度校正系数的亮度的校正而得到的第一及第二图像的各图像所包含的总像素的亮度进一步乘以预定系数(通过进行数字增益的调整)而调整第一及第二图像的亮度。
在接下来的步骤412中，由生成部28D生成基于在步骤408中校正了的第一及第二图像的左眼图像及右眼图像，并基于所生成的左眼图像及右眼图像来生成裂像并输出到显示控制部36。当输入在上述步骤402中输出的通常图像及在上述步骤412中输出的裂像时，显示控制部36进行如下控制：使显示装置连续地显示通常图像作为动态图像，并且在通常图像的显示区域内连续地显示裂像作为动态图像。
当如此由生成部28D进行上述步骤402、412时，作为一例如图11A及图11B所示，在显示部213、混合式取景器220中显示即时预览图像。在图11A及图11B所示的例子中，在与作为一例图12所示的裂像的显示区域相当的框60的内侧区域显示有裂像，在与通常图像的显示区域相当的框60的外侧区域显示有通常图像。
即，第一及第二像素组根据框60的尺寸而设置。裂像大致分为：与从第一像素组输出的第一图像对应的左眼图像的框60的上半部分60A的图像(视差图像)；和与从第二像素组输出的第二图像对应的右眼图像的框60的下半部分60B的图像(视差图像)。
在此，在摄影透镜16未对焦于与框60内的图像对应的被摄体的情况下，如图11A所示，裂像的上半部分60A的视差图像与下半部分60B的视差图像的边界的图像在视差产生方向(作为一例是行方向)上偏移。另外，通常图像与裂像的边界的图像也在视差产生方向上偏移。这表示产生了相位差，摄影者能够通过裂像在视觉上识别产生了相位差及视差产生方向。
另一方面，在摄影透镜16对焦于与框60内的图像对应的被摄体的情况下，如图11B所示，裂像的上半部分60A的视差图像与下半部分60B的视差图像的边界的图像一致。另外，通常图像与裂像的边界的图像也一致。这表示未产生相位差，摄影者能够通过裂像在视觉上识别未产生相位差。
如此，摄影者能够通过显示于显示装置的裂像对摄影透镜16的对焦状态进行确认。另外，在手动对焦模式时，能够通过手动操作聚焦环301而使焦点的偏移量(散焦量)为零。另外，能够以没有色彩偏移的彩色图像分别显示通常图像和裂像，能够通过彩色的裂像来支援摄影者的手动的聚焦调整。
另外，在第一及第二像素组各自的光瞳分割方向上表现为线性的减光特性通过由校正部28C对像素的灵敏度进行校正而减轻。在由校正部28C对像素的灵敏度进行了校正的情况下，作为一例如图19所示，由第一及第二像素组各自的光瞳分割方向的像素的线性的灵敏度变化引起的右眼图像及左眼图像的线性的亮度变化与未对像素的灵敏度进行校正的情况相比减轻。
如以上所说明的那样，在本第一实施方式的摄像装置100中，由灵敏度取得部28B取得第一及第二像素组各自的光瞳分割方向的像素的灵敏度。并且，由校正部28C基于由灵敏度取得部28B取得的灵敏度，对第一图像及第二图像分别导出线性近似的灵敏度校正系数，并基于所导出的灵敏度校正系数对第一及第二图像的亮度进行校正。因此，本第一实施方式的摄像装置100与不具有本结构的情况相比，能够以简单的结构确保裂像的显示的实时性。
另外，在本第一实施方式的摄像装置100中，作为灵敏度校正系数而采用了使第一及第二像素组各自的光瞳分割方向的中央部所包含的对应的像素间的灵敏度差比第一及第二像素组各自的光瞳分割方向的两端部所包含的对应的像素间的灵敏度差小的灵敏度校正系数。因此，本第一实施方式的摄像装置100能够以简单的结构，将裂像的与光瞳分割方向相当的方向的中央部所包含的像素间的亮度差与两端部的亮度差相比减轻。
另外，在本第一实施方式的摄像装置100中，由灵敏度取得部28B取得关注行的中央部所包含的多个像素的灵敏度，并由校正部28C基于所取得的灵敏度来导出灵敏度校正系数。因此，本第一实施方式的摄像装置100与不取得关注行的中央部所包含的像素的灵敏度的情况相比，能够高精度地校正裂像的中央部的亮度。
另外，在上述第一实施方式中，对灵敏度取得部28B取得关注行的中央部所包含的像素的灵敏度、校正部28C基于与所取得的灵敏度相关的灵敏度比导出近似直线的情况进行了说明，但本发明不限定于此。例如，也可以是，灵敏度取得部28B除了取得关注行的中央部所包含的像素的灵敏度以外，还取得关注行的两端部所包含的像素的灵敏度，校正部28C基于与所取得的灵敏度相关的灵敏度比导出近似直线。但是，在该情况下，关注行的两端部所包含的像素中的被设为灵敏度取得对象的像素为如下数量及位置的像素：关注行的中央部的校正后的灵敏度比之差不是关注行的两端部的校正后的灵敏度比之差以上。另外，灵敏度取得对象的像素的数量及位置例如基于以下来确定：通过用于对使关注行的中央部的校正后的灵敏度比之差不是关注行的两端部的灵敏度比之差以上的数量及位置进行确定的实验、模拟等而得到的结果。
另外，在上述第一实施方式中，以第一及第二像素组的各行的减光特性相同为前提，基于特定的1行所包含的各像素的灵敏度来求算灵敏度校正系数，并将所求出的灵敏度校正系数用于各行所包含的像素的灵敏度的校正，但本发明并不限定于此。例如，也可以是，对第一及第二像素组的各像素组的全部行的各行所包含的各像素求算灵敏度校正系数，并将所求出的灵敏度校正系数用于对应的行所包含的像素中的对应的像素的灵敏度的校正。另外，例如，也可以对第一及第二像素组的各像素组的每隔预定的行数的各行所包含的各像素求算灵敏度校正系数，并将所求出的灵敏度校正系数用于对应的行及邻近的行的各行所包含的像素中的对应的像素的灵敏度的校正。
另外，在上述第一实施方式中，例示了在灵敏度校正系数未存储于存储器44的情况下进行灵敏度校正系数取得处理的情况，但本发明并不限定于此。例如，也可以在满足预定条件的情况下，进行图16所示的灵敏度校正系数取得处理，从而更新灵敏度校正系数。作为预定条件，可以列举如下条件：例如经由操作部14输入更新灵敏度校正系数的指示。除此之外还可以列举例如作为进行摄像装置100的维护的时期预定的时期到来这样的条件。
[第二实施方式]
在上述第一实施方式中，例示了校正部18C基于无视摄像装置100的光圈值而导出的灵敏度校正系数对图像的亮度进行校正的情况，但在本第二实施方式中，对基于根据光圈值而导出的灵敏度校正系数对图像的亮度进行校正的情况进行说明。另外，在本第二实施方式中，对在上述第一实施方式中进行了说明的结构要素标注相同的附图标记，并省略说明。
图1所示的第二实施方式的摄像装置100A与上述第一实施方式的摄像装置100相比，作为一例如图15所示，代替图像输出处理的步骤410而设置步骤420这一点不同。另外，摄像装置100A与上述第一实施方式的摄像装置100相比，将预定的多个光圈值(在此作为一例是F值)的各光圈值与固有的基准灵敏度建立对应这一点不同。将多个光圈值的各光圈值与不同的基准灵敏度建立对应是为了导出与由于光圈值而不同的灵敏度变化的倾向对应的灵敏度校正系数。
例如，在预定的多个光圈值为F2.0及F5.6的情况下，作为一例如图21及图22所示，F2.0的情况下的第一近似直线α1及第二近似直线α2的倾斜度与F5.6的情况下的第一近似直线α1及第二近似直线α2的倾斜度不同。即，F5.6的情况下的第一近似直线α1及第二近似直线α2的倾斜度比F2.0的情况下的第一近似直线α1及第二近似直线α2的倾斜度陡(倾斜度的绝对值大)。因此，第一及第二像素组的各像素组的光瞳分割方向的像素的校正后的灵敏度比的倾向也不同。在图21及图22所示的例子中，F5.6的情况下的第一及第二像素组各自的光瞳分割方向的像素的校正后的灵敏度比与F2.0的情况相比，在光瞳分割方向的两端部所包含的像素位置，距目标灵敏度比Y1的背离度大。在此所说的“背离度大”换言之，是指从目标灵敏度比Y1向上凸的程度大(凸起大)。
因此，在本第二实施方式中，作为在F5.6的情况下用于算出灵敏度比的目标灵敏度的值的一例，采用比在F2.0的情况下用于算出灵敏度比的目标灵敏度大的值。因此，F5.6的情况下的目标灵敏度比Y1的值比F2.0的情况下的目标灵敏度比Y1的值小。另外，在本第二实施方式中，由于作为目标灵敏度而采用“1.186”，因此作为F5.6的情况下的目标灵敏度比Y1的值的一例而采用“0.843”(＝1.0/1.186)。
在图15所示的图像输出处理中，在步骤420中，由图像处理部28进行作为一例图20所示的灵敏度校正系数取得处理，然后移向步骤408。
图20所示的灵敏度校正系数取得处理与在上述第一实施方式中所说明的图16所示的灵敏度校正系数取得处理相比，在代替步骤410D而设置步骤420A这一点不同。
在图20所示的灵敏度校正系数取得处理中，在步骤420A中，由校正部28C使用与预定的多个光圈值中的目前设定的光圈值对应的目标灵敏度，算出与关注行的中央部所包含的各像素相关的灵敏度比。例如，在目前设定的光圈值为F5.6的情况下，作为目标灵敏度而使用“1.186”算出灵敏度比。
当基于这样算出的灵敏度比来导出灵敏度校正系数并基于所导出的灵敏度校正系数对关注行所包含的各像素的灵敏度比进行校正时，作为一例如图23所示，可抑制两端部所包含的各像素的灵敏度比背离目标灵敏度比Y1。
因此，本第二实施方式的摄像装置100A与不根据光圈值导出灵敏度校正系数的情况相比，能够抑制由于光圈值而裂像的与光瞳分割方向相当的方向的两端部所包含的像素的亮度背离作为目标的亮度。
另外，在上述第二实施方式中，例示了根据目前设定的光圈值而变更目标灵敏度的情况，但本发明并不限定于此，例如也可以根据光圈值来变更与校正后的第一及第二图像对应的数字增益的值。
另外，也可以根据状况而分开使用通过变更数字增益而变更第一及第二图像的亮度的方法和在上述第二实施方式中说明的根据光圈值而变更目标灵敏度的方法。在该情况下，可以列举如下例子：在摄像装置100A出厂后使用通过变更数字增益而变更第一及第二图像的亮度的方法，在摄像装置100A出厂前使用在上述第二实施方式中说明的根据光圈值而变更目标灵敏度的方法。
另外，在上述第二实施方式中，列举基于光圈值导出灵敏度校正系数的情况为例而进行了说明，但本发明并不限定于此，也可以基于光圈值以外的摄影条件来导出灵敏度校正系数。例如，也可以根据在摄影中实际使用的摄影透镜16的种类来导出灵敏度校正系数。在该情况下，校正部28C参考与摄影透镜16的种类对应的基准灵敏度而导出灵敏度校正系数。即，校正部28C使用与摄影透镜16的种类对应的基准灵敏度而算出灵敏度比，并基于所算出的灵敏度比而导出近似直线。并且，基于所导出的近似直线而导出灵敏度校正系数。另外，也可以基于分配于第一及第二像素组的滤色器21的颜色而导出灵敏度校正系数。在该情况下，校正部28C使用与被分配于第一及第二像素组的各像素组的滤色器21的颜色对应的基准灵敏度来算出灵敏度比，并基于所算出的灵敏度比而导出近似直线。并且，基于所导出的近似直线而导出灵敏度校正系数。
[第三实施方式]
在上述第二实施方式中，对基于与预定的多个光圈值的各光圈值对应的目标灵敏度而生成灵敏度校正系数的情况进行了说明，但在本第三实施方式中，对目前设定有预定的多个光圈值以外的光圈值的情况进行说明。另外，在本第三实施方式中，对在上述各实施方式中进行了说明的结构要素标注相同的附图标记，并省略说明。
图1所示的第三实施方式的摄像装置100B与上述第二实施方式的摄像装置100A相比，作为一例如图24所示，对于上述第二实施方式的图15所示的图像输出处理设置步骤440、442这一点不同。另外，以下，为了方便说明，对作为预定的多个光圈值而采用F2.0及F2.8的情况进行说明。另外，以下，为了方便说明，以如下情况为前提进行说明：在F2.0及F2.8的情况下，分别通过由图像处理部28进行图20所示的灵敏度校正系数取得处理而已经在存储器44中存储有分别与F2.0及F2.8对应的灵敏度校正系数。
在图24所示的图像输出处理中，在步骤440中，由校正部28C对存储于存储器44的灵敏度校正系数是否是与目前设定的光圈值对应的灵敏度校正系数进行判定。在步骤440中，在存储于存储器44的灵敏度校正系数是与目前设定的光圈值对应的灵敏度校正系数的情况下，判定为肯定并移向步骤408。在步骤440中，在存储于存储器44的灵敏度校正系数不是与目前设定的光圈值对应的灵敏度校正系数的情况下，判定为否定并移向步骤442。
灵敏度校正系数如在上述各实施方式中说明的那样，根据校正用直线唯一地导出。在本第三实施方式中，作为一例如图25所示，F2.8的灵敏度校正系数利用“y＝a2.0x+b2.0”的一次函数确定，F2.8的灵敏度校正系数利用“y＝a2.8x+b2.8”的一次函数确定。
因此，在步骤442中，由校正部28C对利用“y＝a2.0x+b2.0”的一次函数确定的灵敏度校正系数与利用“Y＝a2.8x+b2.8”的一次函数确定的灵敏度校正系数进行插值，由此算出与目前设定的光圈值对应的灵敏度校正系数。例如，在目前设定的光圈值为F2.2的情况下，灵敏度校正系数作为一例如图25所示，利用“y＝a2.2x+b2.2”的一次函数确定。在该情况下，作为一例如图26所示，校正部28C通过线性插值而分别算出倾斜度a2.2及截距b2.2。即，根据下述式(5)算出倾斜度a2.2，根据下述式(6)算出截距b2.2。
a 2.2 = ( 1 - t ) × a 2.0 + { log 2 ( 2.2 / 2.0 ) } × a 2.8 ... ... ( 5 )
b 2.2 = ( 1 - t ) × b 2.0 + { log 2 ( 2.2 / 2.0 ) } × b 2.8 ... ... ( 6 )
如此，在目前设定的光圈值不是预定的多个光圈值中的任一光圈值的情况下，校正部28C使用对分别与预定的多个光圈值中的两个光圈值对应的灵敏度校正系数进行插值而得到的灵敏度校正系数，对第一及第二图像进行校正。因此，本第三实施方式的摄像装置100B在光圈值设定为无级的情况下，也能够抑制由于光圈值而裂像的与光瞳分割方向相当的方向的两端部所包含的像素的亮度背离作为目标的亮度。
另外，在上述第三实施方式中，对作为预定的多个光圈值而采用两个光圈值的情况进行了说明，但本发明并不限定于此，预定的多个光圈值也可以是3个以上的光圈值。在该情况下，也可以使用已经对与目前设定的光圈值最接近的两个光圈值分配的灵敏度校正系数进行插值。另外，在将两个光圈值设为一组的情况下，也可以将在多组的各组中进行插值而得到的灵敏度校正系数的平均值用于第一及第二图像的亮度的校正。在该情况下，例如对已经分别分配给光圈值A、B、C中的光圈值A、B的灵敏度校正系数进行插值。另外，也对已经分别分配给光圈值A、C的灵敏度校正系数进行插值。此外，也对已经分别分配给光圈值B、C的灵敏度校正系数进行插值。并且，将通过上述插值而分别得到的灵敏度校正系数的平均值用于第一及第二图像的亮度的校正。
[第四实施方式]
在上述各实施方式中，例示了摄像装置100(100A、100B)，但是作为摄像装置100的变形例的移动终端装置，可列举出例如具有相机功能的移动电话、智能手机等。除此之外还可以列举出PDA(PersonalDigital Assistants：个人数字助理)、便携式游戏机等。在本第五实施方式中，列举智能手机为例，参照附图详细地进行说明。
图27是表示智能手机500的外观的一例的立体图。图27所示的智能手机500具有平板状的壳体502，并在壳体502的一面上具备由作为显示部的显示面板521与作为输入部的操作面板522成为一体而成的显示输入部520。另外，壳体502具备：扬声器531、话筒532、操作部540及相机部541。另外，壳体502的结构不限定于此，例如，也能够采用使显示部与输入部独立的结构，或具有折叠结构、滑动结构的结构。
图28是表示图27所示的智能手机500的结构的一例的框图。如图28所示，作为智能手机500的主要的结构要素，具备：无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550及外部输入输出部560。另外，作为智能手机500的主要的结构要素，具备：GPS(Global Positioning System：全球定位系统)接收部570、运动传感器部580、电源部590及主控制部501。另外，作为智能手机500的主要的功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部510按照主控制部501的指示，对收纳于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部520是所谓的触摸面板，具备显示面板521与操作面板522。因此，显示输入部520通过主控制部501的控制，显示图像(静止图像及动态图像)、字符信息等而在视觉上向使用者传递信息，并且检测对所显示的信息的使用者操作。在鉴赏所生成的3D图像的情况下，优选的是显示面板521为3D显示面板。
显示面板521使用LCD、OELD(Organic Electro-LuminescenceDisplay：有机电致发光显示器)等作为显示设备。操作面板522是放置成能够对在显示面板521的显示面上显示的图像进行视觉辨认且检测由使用者的手指、尖笔来操作的一个或多个坐标的设备。当通过使用者的手指、尖笔来操作该设备时，将由于操作而产生的检测信号输出到主控制部501。接着，主控制部501基于接收到的检测信号，检测显示面板521上的操作位置(坐标)。
如图27所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，但也可以成为操作面板522完全覆盖显示面板521的配置。在采用该配置的情况下，操作面板522也可以具备对显示面板521以外的区域也检测使用者操作的功能。换言之，操作面板522也可以具备：与显示面板521重叠的重叠部分的检测区域(以下称作显示区域)以及其以外的不与显示面板521重叠的外缘部分的检测区域(以下称作非显示区域)。
另外，也可以使显示区域的大小与显示面板521的大小完全一致，但是不需要使两者必须一致。另外，操作面板522也可以具备外缘部分以及除此以外的内侧部分这两个感应区域。此外，外缘部分的宽度根据壳体502的大小等而适当设计。另外，作为操作面板522中采用的位置检测方式，可以列举出：矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，也能够采用任一种方式。
通话部530具备：扬声器531、话筒532。通话部530将通过话筒532输入的使用者的声音转换为能够由主控制部501处理的声音数据并输出到主控制部501。另外，通话部530对由无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。另外，如图28所示，例如，能够将扬声器531搭载于与设有显示输入部520的面相同的面上，并将话筒532搭载于壳体502的侧面。
操作部540是使用键开关等的硬件键，接受来自使用者的指示。例如，如图27所示，操作部540是如下的按钮式的开关：搭载于智能手机500的壳体502的侧面，当通过手指等按下时接通，当松开手指时通过弹簧等的恢复力而成为断开状态。
存储部550存储：主控制部501的控制程序、控制数据、应用软件、与通信对象的名称、电话号码等建立对应而成的地址数据以及所收发的电子邮件的数据。另外，存储部550存储通过Web浏览而下载的Web数据、所下载的内容数据。另外，存储部550暂时存储流数据等。另外，存储部550具有：智能手机内置的内部存储部551及装拆自如的具有外部存储器插槽的外部存储部552。另外，构成存储部550的各内部存储部551与外部存储部552可以使用闪存型(flash memorytype)、硬盘型(hard disk type)等存储介质而实现。作为存储介质，除此之外，还能够例示：缩微多媒体卡型(multimedia card micro type)、卡型的存储器(例如MicroSD(注册商标)存储器等)、RAM(RandomAccess Memory)、ROM(Read Only Memory)。
外部输入输出部560起到与连接于智能手机500的全部外部设备的接口的作用，用于通过通信等或网络而直接或间接地与其他外部设备连接。作为与其他外部设备通信等，可以列举出例如：通用串行总线(USB)、IEEE1394等。作为网络，可以列举出例如：互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio FrequencyIdentification：无线射频识别)以及红外线通信(Infrared DataAssociation：IrDA(注册商标))。另外，作为网络的其他例子，可以列举出UWB(Ultra Wideband：超宽带(注册商标))、紫蜂(ZigBee(注册商标))等。
作为与智能手机500连接的外部设备，可以列举出例如：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口及经由卡插座而连接的存储卡(Memory card)。作为外部设备的其他例子，可以列举出：SIM(Subscriber Identity Module Card：客户识别模块卡)/UIM(UserIdentity Module Card：用户识别模块卡)卡、经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备。除了外部音频/视频设备外，还可以列举出无线连接的外部音频/视频设备。另外，也可以替代外部音频/视频设备，而适用例如：有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。
外部输入输出部能够将从这种外部设备接收传送的数据传递到智能手机500的内部的各结构要素、将智能手机500的内部的数据传送到外部设备。
GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送来的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，检测该智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)取得位置信息时，也能够使用其位置信息来检测位置。
运动传感器部580具备例如三轴加速度传感器等，并按照主控制部501的指示来检测智能手机500的物理移动。通过检测智能手机500的物理移动，能够检测智能手机500移动的方向、加速度。该检测结果被输出到主控制部501。
电源部590按照主控制部501的指示向智能手机500的各部供给存储于蓄电池(未图示)的电力。
主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据而动作，统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备控制通信系统的各部的移动通信控制功能以及应用处理功能。
应用处理功能通过根据存储部550所存储的应用软件使主控制部501动作而实现。作为应用处理功能，具有例如：控制外部输入输出部560而与相向设备进行数据通信的红外线通信功能、收发电子邮件的电子邮件功能、阅览Web网页的Web浏览功能等。
另外，主控制部501具备如下的图像处理功能等：基于接收数据、所下载的流数据等图像数据(静止图像、动态图像的数据)而将影像显示于显示输入部520。图像处理功能是指如下的功能：主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，并将图像显示于显示输入部520。
此外，主控制部501执行对显示面板521的显示控制及检测通过操作部540、操作面板522进行的使用者操作的操作检测控制。
通过执行显示控制，主控制部501显示用于启动应用软件的图标、滚动条等软件键，或显示用于创建电子邮件的窗口。另外，滚动条是指如下的软件键：对于无法完全收纳到显示面板521的显示区域中的较大的图像等，用于接收使图像的显示部分移动的指示。
另外，通过执行操作检测控制，主控制部501检测通过操作部540进行的使用者操作，或通过操作面板522而接收对上述图标的操作、对上述窗口的输入栏的字符串的输入。另外，通过执行操作检测控制，主控制部501接收通过滚动条进行的显示图像的滚动请求。
此外，通过执行操作检测控制，主控制部501判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是其以外的不与显示面板21重叠的外缘部分(非显示区域)。并且，具备接收该判定结果而对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
另外，主控制部501能够检测对操作面板522的手势操作，并根据所检测出的手势操作来执行预先设定的功能。所谓手势操作并非以往的单纯的触控操作，而是指利用手指等描绘轨迹、对多个位置同时进行指定或者对它们进行组合而从多个位置对至少一个位置描画轨迹的操作。
相机部541是使用CMOS、CCD等摄像元件而进行摄像的数码相机，具备与图1等所示的摄像装置100相同的功能。
另外，相机部541能够对手动对焦模式和自动对焦模式进行切换。当选择手动对焦模式时，能够通过对操作部540或显示于显示输入部520的对焦用的图标按钮等进行操作，进行相机部541的摄影透镜的对焦。另外，在手动对焦模式时，使合成有裂像的即时预览图像显示于显示面板521，由此使得能够对手动对焦时的对焦状态进行确认。另外，也可以将图9所示的混合式取景器220设于智能手机500。
另外，相机部541通过主控制部501的控制，将通过摄像而得到的图像数据转换为例如JPEG(Joint Photographic coding Experts Group)等被压缩的图像数据。并且，能够将进行了转换而得到的数据记录于存储部550，或通过外部输入输出部560、无线通信部510输出。在图27所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但是相机部541的搭载位置不限定于此，也可以搭载于显示输入部520的背面，或者，也可以搭载多个相机部541。另外，在搭载有多个相机部541的情况下，能够对用于摄像的相机部541进行切换而单独进行摄像，或者也能够同时使用多个相机部541进行摄像。
另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521上显示由相机部541取得的图像、作为操作面板522的操作输入之一而利用相机部541的图像。另外，在GPS接收部570检测位置时，也能够参照来自相机部541的图像来检测位置。此外，也能够参照来自相机部541的图像而不使用三轴加速度传感器或与三轴加速度传感器并用来判断智能手机500的相机部541的光轴方向、判断目前的使用环境。当然，也能够在应用软件内利用来自相机部541的图像。
除此之外，也能够对静止画面或动画的图像数据附加各种信息而记录于存储部550，或者通过输入输出部560、无线通信部510而输出。作为在此所说的“各种信息”，可以列举出例如：在静止画面或动画的图像数据中由GPS接收部570取得的位置信息、由话筒532取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)。除此之外，也可以是由运动传感器部580取得的姿势信息等。
另外，在上述各实施方式中，例示了在上下方向上分割成两个的裂像，但并不限定于此，也可以适用在左右方向或倾斜方向上分割成多个的图像作为裂像。
例如，图29所示的裂像66a由与行方向平行的多个分割线63a分割为奇数行和偶数行。在该裂像66a中，基于从第一像素组输出的输出信号而生成的行状(作为一例是长条状)的相位差图像66La显示于奇数行(偶数行也可以)。另外，基于从第二像素组输出的输出信号而生成的行状(作为一例是长条状)的相位差图像66Ra显示于偶数行。
另外，图30所示的裂像66b由与行方向具有倾斜角的分割线63b(例如，裂像66b的对角线)分割成两个。在该裂像66b中，基于从第一像素组输出的输出信号而生成的相位差图像66Lb显示在一个区域。另外，基于从第二像素组输出的输出信号而生成的相位差图像66Rb显示在另一个区域。
另外，图31A和图31B所示的裂像66c由分别与行方向和列方向平行的格子状的分割线63c分割。在裂像66c中，基于从第一像素组输出的输出信号而生成的相位差图像66Lc排列为交错相间棋盘格纹(方格图案)状而显示。另外，基于从第二像素组输出的输出信号而生成的相位差图像66Rc排列为交错相间棋盘格纹状而显示。
另外，不限定于裂像，也可以是根据两个相位差图像来生成其他对焦确认图像，并显示对焦确认图像。例如，也可以是，将两个相位差图像重叠而合成显示，在焦点偏移的情况下显示为双重图像，在对焦的状态下清晰地显示图像。
另外，在上述各实施方式中，例示了具有第一～第三像素组的摄像元件20，但是本发明不限定于此，也可以是仅由第一像素组以及第二像素组构成的摄像元件。具有这种摄像元件的数码相机能够基于从第一像素组输出的第一图像以及从第二像素组输出的第二图像来生成三维图像(3D图像)，也能够生成二维图像(2D图像)。在该情况下，二维图像的生成能够通过例如在第一图像以及第二图像的相互相同颜色的像素间进行插值处理而实现。另外，也可以不进行插值处理，而采用第一图像或第二图像作为二维图像。
另外，在上述各实施方式中，例示了在将第一～第三图像输入到图像处理部28的情况下，在显示装置的同一画面上同时显示通常图像与裂像这双方的形态，但本发明并不限定于此。例如，显示控制部36也可以进行如下控制：抑制显示装置对通常图像作为动态图像的连续显示，并且使显示装置连续地显示裂像作为动态图像。在此所说的“抑制通常图像的显示”是指例如使显示装置不显示通常图像。具体来说，虽然生成通常图像，但不将通常图像输出到显示装置，由此使显示装置不显示通常图像，或通过不生成通常图像而使显示装置不显示通常图像。可以利用显示装置的画面整体来显示裂像，也可以利用作为一例图12所示的裂像的显示区域的整体来显示裂像。另外，作为在此所说的“裂像”，在使用特定的摄像元件的情况下，能够例示基于从相位差画群输出的图像(例如从第一像素组输出的第一图像及从第二像素组输出的第二图像)的裂像。作为“使用特定的摄像元件的情况”，可以列举出例如使用仅由相位差像素组(例如第一像素组及第二像素组)构成的摄像元件的情况。除此之外还可以列举出使用相对于通常像素以预定的比例配置有相位差像素(例如第一像素组及第二像素组)的摄像元件的情况。
另外，作为用于抑制通常图像的显示而显示裂像的条件，可考虑各种各样的条件。例如，也可以在指示了裂像的显示的状态下解除了通常图像的显示指示的情况下，显示控制部36进行如下的控制：使显示装置不显示通常图像而显示裂像。另外，例如也可以在摄影者观察混合式取景器的情况下，显示控制部36进行如下控制：使显示装置不显示通常图像而显示裂像。另外，例如也可以在释放按钮211为半按状态的情况下，显示控制部36进行如下控制：使显示装置不显示通常图像而显示裂像。另外，例如也可以在未对释放按钮211进行按压操作的情况下，显示控制部36进行如下控制：使显示装置不显示通常图像而显示裂像。另外，例如也可以在发挥检测被摄体的脸部的脸部检测功能的情况下，显示控制部36进行如下控制：使显示装置不显示通常图像而显示裂像。
另外，在上述各实施方式所说明的摄像装置100(100A、100B)也可以具有对景深进行确认的功能(景深确认功能)。在该情况下，例如摄像装置100具有景深确认键。景深确认键可以是硬键，也可以是软键。在基于硬键的指示的情况下，优选为应用例如瞬间动作式开关(非保持式开关)。在此所说的瞬间动作式开关是指在例如按下至预定位置的期间维持摄像装置100的特定的动作状态的开关。在此，当按下景深确认键时，光圈值变更。另外，在持续按下景深确认键的期间(按下至预定位置的期间)，光圈值持续变化直至达到极限值。如此，由于在景深确认键的按下期间光圈值变化，因此有时无法得到用于得到裂像所需的相位差。因此，也可以在显示裂像的状态下，在按下景深确认键的情况下，CPU12以在按下期间从显示裂像变更为通常的即时预览显示、在解除按下状态时再次显示裂像的方式进行画面的切换。另外，在此，作为景深确认键的一例，例示了应用了瞬间动作式开关的情况，但并不限定于此，也可以应用交替动作式开关(保持式开关)。
另外，在上述各实施方式中说明的图像输出处理的流程(参照图15及图24)只不过是一例。因此，可以在不脱离主旨的范围内删除不需要的步骤、追加新的步骤或替换处理顺序，这是不言而喻的。另外，在上述各实施方式中说明的图像输出处理及灵敏度校正系数取得处理所包含的各处理可以利用计算机由软件结构通过执行程序而实现，也可以通过其他硬件结构实现。另外，也可以通过硬件结构与软件结构的组合实现。
在由计算机执行程序而实现在上述各实施方式中说明的图像输出处理的情况下，将程序预先存储于预定的存储区域(例如存储器26)即可。另外，不一定必须从最初就存储于存储器26。例如，可以先存储于与计算机连接而使用的SSD(Solid State Drive：固态硬盘)、CD-ROM、DVD盘、光磁盘、IC卡等任意的“移动式存储介质”。并且，也可以是计算机从这些移动式存储介质取得程序并执行。另外，也可以是，在经由互联网、LAN(Local Area Network)等而与计算机连接的其他计算机或者服务器装置等中存储各程序，计算机从它们中取得程序并执行。
附图标记说明
16  摄影透镜
20  摄像元件
26  存储器
28A  图像取得部
28B  灵敏度取得部
28C  校正部
28D  生成部
36A、36B  显示控制部
100、100A  摄像装置
213  显示部
247  LCD

Claims (13)

1.一种图像处理装置，包含：
图像取得部，取得基于从摄像元件输出的第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有通过使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出所述第一图像信号和所述第二图像信号的第一像素组和第二像素组；
灵敏度取得部，取得所述第一像素组的光瞳分割方向的像素对经由所述第一区域而入射的光的灵敏度和所述第二像素组的光瞳分割方向的像素对经由所述第二区域而入射的光的灵敏度；
校正部，基于由所述灵敏度取得部取得的灵敏度，对所述第一图像和所述第二图像分别求算线性近似的灵敏度校正系数，并基于所求出的灵敏度校正系数来校正所述第一图像和所述第二图像的亮度；
生成部，基于从所述摄像元件输出的图像信号来生成第一显示用图像，并且基于由所述校正部校正后的所述第一图像和所述第二图像来生成用于对焦确认的第二显示用图像；
显示部，显示图像；及
显示控制部，进行如下控制：使所述显示部连续地显示由所述生成部生成的所述第一显示用图像作为动态图像，并且在所述第一显示用图像的显示区域内连续地显示由所述生成部生成的所述第二显示用图像作为动态图像。
2.一种图像处理装置，包含：
图像取得部，取得基于从摄像元件输出的第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有通过使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出所述第一图像信号和所述第二图像信号的第一像素组和第二像素组；
灵敏度取得部，取得所述第一像素组的光瞳分割方向的至少两端部的像素对经由所述第一区域而入射的光的灵敏度和所述第二像素组的光瞳分割方向的像素对经由所述第二区域而入射的光的灵敏度；
校正部，基于由所述灵敏度取得部取得的灵敏度，对所述第一图像和所述第二图像分别求算线性近似的灵敏度校正系数，并基于所求出的灵敏度校正系数来校正所述第一图像和所述第二图像的亮度；
生成部，基于从所述摄像元件输出的图像信号来生成第一显示用图像，并且基于由所述校正部校正后的所述第一图像和所述第二图像来生成用于对焦确认的第二显示用图像；
显示部，显示图像；及
显示控制部，进行如下控制：抑制所述显示部对由所述生成部生成的所述第一显示用图像作为动态图像的连续显示，并且使所述显示部连续地显示由所述生成部生成的所述第二显示用图像作为动态图像。
3.根据权利要求1或2所述的图像处理装置，其中，
所述灵敏度校正系数是进一步使所述第一像素组和所述第二像素组各自的光瞳分割方向的中央部所包含的对应的像素间的灵敏度差比所述第一像素组和所述第二像素组各自的光瞳分割方向的两端部所包含的对应的像素间的灵敏度差小的灵敏度校正系数。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述校正部使用所述灵敏度校正系数对由所述图像取得部取得的所述第一图像和所述第二图像的亮度进行校正，并将校正后的亮度乘以预定系数而进行调整。
5.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述校正部基于摄影条件导出所述灵敏度校正系数，并使用所导出的所述灵敏度校正系数对由所述图像取得部取得的所述第一图像和所述第二图像的亮度进行校正。
6.根据权利要求5所述的图像处理装置，其中，
所述校正部以基于所述摄影条件而确定的目标灵敏度为参考来导出所述灵敏度校正系数，并使用所导出的所述灵敏度校正系数对由所述图像取得部取得的所述第一图像和所述第二图像的亮度进行校正。
7.根据权利要求6所述的图像处理装置，其中，
将所述摄影条件设为光圈值，
在对于预先确定的多个光圈值的各光圈值以所述目标灵敏度为参考而预先导出了所述灵敏度校正系数的状态下，在由所述图像取得部取得基于所述多个光圈值以外的光圈值的所述第一图像和所述第二图像的情况下，所述校正部对与所述多个光圈值中的至少两个光圈值的各光圈值相关的所述灵敏度校正系数进行插值，并使用插值后的所述灵敏度校正系数对由所述图像取得部取得的所述第一图像和所述第二图像的亮度进行校正。
8.根据权利要求1至7中任一项所述的图像处理装置，其中，
所述灵敏度取得部取得所述第一像素组和所述第二像素组各自的光瞳分割方向的中央部所包含的多个像素的灵敏度。
9.根据权利要求1至8中任一项所述的图像处理装置，其中，
所述摄像元件还具有第三像素组，所述第三像素组使透过了所述摄影透镜的被摄体像不进行光瞳分割而成像并输出第三图像信号，
所述生成部基于从所述第三像素组输出的所述第三图像信号来生成所述第一显示用图像。
10.一种摄像装置，包含权利要求1至9中任一项所述的图像处理装置、具有所述第一像素组和所述第二像素组的摄像元件、及存储部，
该存储部存储基于从所述摄像元件输出的图像信号而生成的图像。
11.一种图像处理方法，包含：
取得基于从摄像元件输出的第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有通过使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出所述第一图像信号和所述第二图像信号的第一像素组和第二像素组，
取得所述第一像素组的光瞳分割方向的像素对经由所述第一区域而入射的光的灵敏度和所述第二像素组的光瞳分割方向的像素对经由所述第二区域而入射的光的灵敏度，
基于所取得的灵敏度，对所述第一图像和所述第二图像分别求算线性近似的灵敏度校正系数，并基于所求出的灵敏度校正系数来校正所述第一图像和所述第二图像的亮度，
基于从所述摄像元件输出的图像信号来生成第一显示用图像，
基于校正后的所述第一图像和所述第二图像来生成用于对焦确认的第二显示用图像，
进行如下控制：使显示图像的显示部连续地显示所生成的所述第一显示用图像作为动态图像，并且在所述第一显示用图像的显示区域内连续地显示所生成的所述第二显示用图像作为动态图像。
12.一种图像处理方法，包含：
取得基于从摄像元件输出的第一图像信号和第二图像信号的第一图像和第二图像，所述摄像元件具有通过使通过了摄像透镜的第一区域和第二区域的被摄体像进行光瞳分割并分别成像而输出所述第一图像信号和所述第二图像信号的第一像素组和第二像素组，
取得所述第一像素组的光瞳分割方向的像素对经由所述第一区域而入射的光的灵敏度和所述第二像素组的光瞳分割方向的像素对经由所述第二区域而入射的光的灵敏度，
基于所取得的灵敏度，对所述第一图像和所述第二图像分别求算线性近似的灵敏度校正系数，并基于所求出的灵敏度校正系数来校正所述第一图像和所述第二图像的亮度，
基于从所述摄像元件输出的图像信号来生成第一显示用图像，
基于校正后的所述第一图像和所述第二图像来生成用于对焦确认的第二显示用图像，
进行如下控制：抑制显示部对所生成的所述第一显示用图像作为动态图像的连续显示，并且使所述显示部连续地显示所生成的所述第二显示用图像作为动态图像。
13.一种图像处理程序，用于使计算机作为权利要求1至9中任一项所述的图像处理装置的所述图像取得部、所述灵敏度取得部、所述校正部和所述显示控制部而发挥功能。
CN201380069084.8A 2013-01-04 2013-10-25 图像处理装置、摄像装置及图像处理方法 Expired - Fee Related CN104885440B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013000045 2013-01-04
JP2013-000045 2013-01-04
PCT/JP2013/079030 WO2014106917A1 (ja) 2013-01-04 2013-10-25 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN104885440A true CN104885440A (zh) 2015-09-02
CN104885440B CN104885440B (zh) 2017-12-08

Family

ID=51062239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380069084.8A Expired - Fee Related CN104885440B (zh) 2013-01-04 2013-10-25 图像处理装置、摄像装置及图像处理方法

Country Status (4)

Country Link
US (1) US9432570B2 (zh)
JP (1) JP5889441B2 (zh)
CN (1) CN104885440B (zh)
WO (1) WO2014106917A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763806A (zh) * 2016-02-29 2016-07-13 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN107547794A (zh) * 2016-06-23 2018-01-05 奥林巴斯株式会社 焦点检测装置和焦点检测方法
CN110139004A (zh) * 2018-02-08 2019-08-16 脸谱科技有限责任公司 用于增强光学传感器装置的系统和方法
CN112911094A (zh) * 2019-12-04 2021-06-04 索尼半导体解决方案公司 电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104641626B (zh) * 2012-09-19 2018-02-27 富士胶片株式会社 摄像装置及对焦确认显示方法
CN105026976B (zh) * 2013-03-29 2017-05-03 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
WO2015156187A1 (ja) * 2014-04-10 2015-10-15 富士フイルム株式会社 撮影装置及びその制御方法
US10104302B2 (en) * 2015-10-27 2018-10-16 Pixart Imaging Inc. Image determining method and image sensing apparatus applying the image determining method
CN105657262B (zh) * 2015-12-31 2018-11-30 青岛海信移动通信技术股份有限公司 一种图像处理方法和装置
JP6469026B2 (ja) * 2016-01-19 2019-02-13 キヤノン株式会社 撮像装置およびその制御方法
US11184559B2 (en) * 2017-08-02 2021-11-23 Sony Corporation Image processing device, image processing method, and imaging device
US11889195B2 (en) * 2020-12-29 2024-01-30 SK Hynix Inc. Image sensing system and operating method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189312A (ja) * 2006-01-11 2007-07-26 Nikon Corp 撮像装置、撮像方法およびカメラ
US20090153693A1 (en) * 2007-12-13 2009-06-18 Canon Kabushiki Kaisha Image-pickup apparatus
CN102197328A (zh) * 2008-09-24 2011-09-21 索尼公司 图像拾取元件和图像拾取装置
CN102422196A (zh) * 2009-05-12 2012-04-18 佳能株式会社 焦点检测设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2425363A (en) * 2005-04-18 2006-10-25 Sharp Kk Panoramic adapter with mirrors formed by rotating conic section
US8514303B2 (en) * 2006-04-03 2013-08-20 Omnivision Technologies, Inc. Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing
JP5076240B2 (ja) * 2008-02-05 2012-11-21 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
JP2011017800A (ja) * 2009-07-07 2011-01-27 Canon Inc 焦点検出装置
JP2011223562A (ja) 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
WO2011118077A1 (ja) * 2010-03-24 2011-09-29 富士フイルム株式会社 立体撮像装置および視差画像復元方法
JP2012075079A (ja) 2010-08-30 2012-04-12 Hoya Corp シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置
JP5385462B2 (ja) 2010-09-13 2014-01-08 富士フイルム株式会社 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189312A (ja) * 2006-01-11 2007-07-26 Nikon Corp 撮像装置、撮像方法およびカメラ
US20090153693A1 (en) * 2007-12-13 2009-06-18 Canon Kabushiki Kaisha Image-pickup apparatus
CN102197328A (zh) * 2008-09-24 2011-09-21 索尼公司 图像拾取元件和图像拾取装置
CN102422196A (zh) * 2009-05-12 2012-04-18 佳能株式会社 焦点检测设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763806A (zh) * 2016-02-29 2016-07-13 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN105763806B (zh) * 2016-02-29 2017-10-03 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN107547794A (zh) * 2016-06-23 2018-01-05 奥林巴斯株式会社 焦点检测装置和焦点检测方法
CN110139004A (zh) * 2018-02-08 2019-08-16 脸谱科技有限责任公司 用于增强光学传感器装置的系统和方法
CN110139004B (zh) * 2018-02-08 2022-03-25 脸谱科技有限责任公司 用于增强光学传感器装置的系统和方法
CN112911094A (zh) * 2019-12-04 2021-06-04 索尼半导体解决方案公司 电子设备

Also Published As

Publication number Publication date
JPWO2014106917A1 (ja) 2017-01-19
US9432570B2 (en) 2016-08-30
WO2014106917A1 (ja) 2014-07-10
JP5889441B2 (ja) 2016-03-22
US20150304546A1 (en) 2015-10-22
CN104885440B (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN104885440A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104365089B (zh) 摄像装置及图像显示方法
CN104380168B (zh) 摄像装置及自动调焦方法
CN105580349A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104871058A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP5931206B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP6158340B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104755981B (zh) 图像处理装置、摄像装置及图像处理方法
CN105075235B (zh) 图像处理装置、摄像装置以及图像处理方法
CN104221370B (zh) 图像处理装置、摄像装置以及图像处理方法
JP6000446B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104919789B (zh) 图像处理装置、摄像装置及图像处理方法
CN104205827B (zh) 图像处理装置及方法、以及摄像装置
CN104641624A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104247412B (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
CN104737528B (zh) 摄像装置以及图像显示方法
CN104641625A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104205809A (zh) 固体摄像元件、摄像装置及固体摄像元件的驱动方法
CN105103534A (zh) 摄像装置、校准方法、程序以及记录介质
CN104641626A (zh) 摄像装置及对焦确认显示方法
CN104205825A (zh) 图像处理装置及方法以及摄像装置
CN104272732A (zh) 图像处理装置、方法及摄像装置
CN104903769A (zh) 图像处理装置、摄像装置、程序及图像处理方法
JP5972485B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104737527A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171208

CF01 Termination of patent right due to non-payment of annual fee