[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103155542A - 图像拾取装置和图像拾取设备 - Google Patents

图像拾取装置和图像拾取设备 Download PDF

Info

Publication number
CN103155542A
CN103155542A CN201180045871XA CN201180045871A CN103155542A CN 103155542 A CN103155542 A CN 103155542A CN 201180045871X A CN201180045871X A CN 201180045871XA CN 201180045871 A CN201180045871 A CN 201180045871A CN 103155542 A CN103155542 A CN 103155542A
Authority
CN
China
Prior art keywords
image
lenticule
imaging
photo
electric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180045871XA
Other languages
English (en)
Inventor
土田朗义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103155542A publication Critical patent/CN103155542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

提供了一种图像拾取装置，包括：多个光电转换元件，其沿行方向和列方向布置在半导体衬底上；第一微透镜，其是设置在一个光电转换元件之上的一个微透镜，第一微透镜将进入微透镜的光引导至该一个光电转换元件的光接收表面；以及第二微透镜，其是设置在沿横向和纵向彼此相邻的四个光电转换元件之上的一个微透镜，第二微透镜对进入微透镜的光进行光瞳分割以将光引导至该四个光电转换元件的光接收表面。第一微透镜和第二微透镜以混合方式设置，使得可以至少基于从与第一微透镜相对应的光电转换元件输出的第一输出信号和基于从与第二微透镜相对应的光电转换元件输出的第二输出信号来分别产生二维图像和三维图像。

Description

图像拾取装置和图像拾取设备
技术领域
本发明涉及图像拾取装置和图像拾取设备，具体地涉及能够成像二维图像（2D图像）和三维图像（3D图像）的图像拾取装置和图像拾取设备。
背景技术
传统上，已经提出了一种能够使用具有分配给多个像素的一个微透镜的图像拾取元件来将任何给定深度方向上的任何给定二维图像嵌入到立体图像中的图像处理设备（专利文献1）。该专利文献1描述了从分配有一个微透镜的多个像素中产生具有不同视差的多个视差图像。
而且，还已经提出了这样一种立体视频成像设备：其配置成使得具有阵列形式的多个透镜的透镜阵列相机和普通相机布置为在水平方向上对齐，并且一个透镜眼（lens eye）相机用于根据低分辨率的多个图像来成像多个视差图像，而另一相机用于成像高分辨率的视频，使得各相机之间的视差矢量与透镜阵列相机的视差矢量彼此一致（专利文献2）。由该立体视频成像设备成像的视频包括具有精细视差间隔的多个视频和具有其矢量与该视频的矢量相等的大视差间隔的一个视频。关于分辨率，包括了具有精细分辨率的视频和具有粗糙分辨率的视频。通过内插视差和分辨率，可以成像具有大视差和高分辨率的图像。
引用列表
专利文献
PTL1：日本专利申请公开第2010-68018
PTL2：日本专利申请公开第2010-78768
发明内容
技术问题
专利文献1中描述的二维布置的多个微透镜（微透镜阵列）设置在一个成像透镜的成像表面上，并且在该微透镜阵列的成像位置处布置有多个图像拾取元件。一束光经由该微透镜阵列进入各图像拾取元件的每个像素。
因此，尽管专利文献1中描述的图像拾取设备可以从分配有一个微透镜的多个像素获得具有不同视差的多个视差图像，但该图像拾取设备不能获得高分辨率的2D图像。而且，尽管专利文献1描述了各滤色器可以二维布置于每个图像拾取元件上（专利文献1中段落[0022]），但专利文献1没有描述对分配有一个微透镜的多个像素的每一个上布置相同的滤色器。
另一方面，在专利文献2中描述的立体视频成像设备中，需要两个相机（即，一个透镜阵列相机和一个普通相机），从而不利地使该设备变重并且增加成本。
鉴于上述情况做出了本发明，本发明的目的是提供一种以低成本缩小了尺寸的成像拾取装置和图像拾取设备，其能够成像高分辨率的二维图像而且能够成像三维图像。
问题的解决方案
为了实现上述目的，根据本发明的图像拾取装置包括：多个光电转换元件，其沿行方向和列方向布置在半导体衬底上；第一微透镜，其是设置在多个光电转换元件中的一个光电转换元件之上的一个微透镜，第一微透镜将进入微透镜的光引导至该一个光电转换元件的光接收表面；以及第二微透镜，其是设置在所述多个光电转换元件中沿横向和纵向彼此相邻的n×n（n：大于等于2的整数）个光电转换元件之上的一个微透镜，第二微透镜对进入微透镜的光进行光瞳分割以将其引导至n×n光电转换元件中的每一个的光接收表面，第一微透镜和第二微透镜以混合方式设置，使得可以至少基于来自与第一微透镜相对应的光电转换元件的第一输出信号来产生二维图像、以及基于来自与第二微透镜相对应的任何光电转换元件的第二输出信号来产生三维图像。
根据本发明的图像拾取装置配置成包括以混合方式设置的其中针对一个光电转换元件（一个像素）设置一个微透镜的1-像素1-微透镜部件、以及其中针对横向和纵向上彼此相邻的n×n个光电转换元件（n×n像素）设置一个微透镜的n×n-像素1-微透镜部件。高分辨率的二维图像可以根据从具有小像素间距的1-像素1-微透镜部件输出的第一输出信号来产生。另一方面，三维图像可以根据从可以获得n×n个视点处的视差图像的n×n-像素1-微透镜部件输出的第二输出信号来产生。
在本图像拾取装置中，对于多种颜色的滤色器，在多个光电转换元件之上设置任何颜色的滤色器，并且对与第二微透镜相对应的n×n个光电转换元件设置相同颜色的滤色器。即，通过每一n×n-像素1-微透镜部件的相同颜色的各滤色器，可以按需执行像素相加。
在本图像拾取装置中，其处设置有第一微透镜的光电转换元件的数量与其处设置有第二微透镜的光电转换元件的数量彼此相等。
在本图像拾取装置中，将4×4个光电转换元件取作为一个块，并且其中对一个块提供16个第一微透镜的第一区域以及其中对一个块提供4个第二微透镜的第二区域以棋盘格方式布置。借助于此，滤色器的布置可以做成Bayer布置。
在本图像拾取装置中，将2×2个光电转换元件取作为一个块，并且其中对一个块提供4个第一微透镜的第一区域以及其中对一个块提供1个第二微透镜的第二区域以棋盘格方式布置。
根据本发明的图像拾取设备包括：单个成像光学系统；图像拾取装置，其中经由成像光学系统来形成被摄体图像；成像模式选择单元，其在用于成像二维图像的2D成像模式与用于成像三维图像的3D成像模式之间进行切换；第一图像产生单元，其在通过成像模式选择单元选择了2D成像模式时基于从与图像拾取装置的第一微透镜相对应的光电转换元件输出的第一输出信号来产生二维图像；第二图像产生单元，其在通过成像模式选择单元选择了3D成像模式时基于从与图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生三维图像；以及记录单元，其记录由第一图像产生单元或第二图像产生单元产生的二维图像、或者由第二图像产生单元产生的三维图像。
根据本发明，取决于模式是2D成像模式还是3D成像模式，在从1-像素1-微透镜部件输出的第一输出信号与从4-像素1-微透镜部件输出的第二输出信号之间进行切换。当选择2D成像模式时，可以基于第一输出信号来产生高分辨率的二维图像。当选择3D成像模式时，可以基于第二输出信号来产生三维图像（多个视差图像）。
根据本发明的图像拾取设备包括：单个成像光学系统；图像拾取装置，其中经由成像光学系统来形成被摄体图像；成像模式选择单元，其在用于成像二维图像的2D成像模式与用于成像三维图像的3D成像模式之间进行切换；确定单元，其确定经由成像光学系统和图像拾取装置成像的图像是否包括许多高频成分；第一图像产生单元，其在成像模式选择单元选择了2D成像模式并且确定单元确定图像包括许多高频成分时，基于从与图像拾取装置的第一微透镜相对应的光电转换元件输出的第一输出信号来产生二维图像，以及在确定单元确定图像不包括许多高频成分时，基于从与图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生二维图像；第二图像产生单元，其在成像模式选择单元选择了3D成像模式时基于从与图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生三维图像；以及记录单元，其记录由第一图像产生单元产生的二维图像、或者由第二图像产生单元产生的三维图像。
根据本发明，当尤其在选择了2D成像模式的情况下需要以高分辨率成像时（当图像包括许多高频成分时），基于第一输出信号来产生高分辨率的二维图像。当不需要以高分辨率成像时（当图像不包括许多高频成分时），基于第二输出信号来产生二维图像。需要注意的是，当基于第二输出信号来产生二维图像时，执行与一个微透镜相对应的4个像素的相加以作为一个像素。
本图像拾取设备还包括亮度检测单元，其检测被摄体的亮度，第一图像产生单元在成像模式选择单元选择了2D成像模式、确定单元确定图像包括许多高频成分、并且检测到的被摄体的亮度超过预定阈值时，基于从与图像拾取装置的第一微透镜相对应的光电转换元件输出的第一输出信号来产生二维图像，以及在由确定单元确定了图像不包括许多高频成分时或者当检测到的被摄体的亮度小于或等于预定阈值时，基于从与图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生二维图像。
根据本发明，当尤其在选择了2D成像模式的情况下需要以高分辨率成像时（当图像包括许多高频成分时）并且当被摄体的亮度超过预定亮度时，基于第一输出信号来产生高分辨率的二维图像。在除了上述的成像条件下，基于第二输出信号来产生二维图像。
在不能获得足够亮度的成像环境的情况下，即使图像的分辨率比高分辨率图像的分辨率低，也常需要低噪声的图像。根据本发明，如果被摄体的亮度小于或等于预定亮度，则即使图像包括许多高频成分也基于第二输出信号来产生二维图像。
本发明的图像拾取设备包括：单个成像光学系统；图像拾取装置，其中经由成像光学系统来形成被摄体图像；成像模式选择单元，其在用于成像二维图像的2D成像模式与用于成像三维图像的3D成像模式之间进行切换；亮度检测单元，其检测被摄体的亮度；第一图像产生单元，其在成像模式选择单元选择了2D成像模式并且检测到的被摄体的亮度超过预定阈值时，基于从与图像拾取装置的第一微透镜相对应的光电转换元件输出的第一输出信号来产生二维图像，以及在检测到的被摄体的亮度小于或等于预定阈值时，基于从与图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生二维图像；第二图像产生单元，其在成像模式选择单元选择了3D成像模式时基于从与图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生三维图像；以及记录单元，其记录由第一图像产生单元产生的二维图像、或者由第二图像产生单元产生的三维图像。
根据本发明，当尤其是在选择了2D成像模式的情况下被摄体的亮度超过预定亮度时时，基于第一输出信号来产生高分辨率的二维图像。当被摄体的亮度小于或等于预定亮度时，基于第二输出信号来产生二维图像。当基于第二输出信号来产生二维图像时，执行n×n个像素的像素相加。因此，即使被摄体较暗也可以获得期望的输出信号。
根据本发明的图像拾取设备包括：单个成像光学系统；图像拾取装置，其中经由成像光学系统来形成被摄体图像；成像模式选择单元，其在用于成像二维图像的2D成像模式与用于成像三维图像的3D成像模式之间进行切换；确定单元，其确定经由成像光学系统和图像拾取装置成像的图像是否包括许多高频成分，其中针对通过对一个屏幕进行N×M划分获得的每个划分区域来确定图像是否包括许多高频成分；第一图像产生单元，其在成像模式选择单元选择了2D成像模式并且确定出图像是在包括许多高频成分的划分区域中时，针对每个划分区域获得从与图像拾取装置的第一微透镜相对应的光电转换元件输出的第一输出信号，以及在确定出图像是在不包括许多高频成分的划分区域中时，获得从与图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号，并且基于获得的第一输出信号和第二输出信号来产生二维图像；第二图像产生单元，其在成像模式选择单元选择了3D成像模式时基于从与图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生三维图像；以及记录单元，其记录由第一图像产生单元产生的二维图像、或者由第二图像产生单元产生的三维图像。
根据本发明，针对通过将一个屏幕划分为N×M个划分而获得的每个划分区域，取决于划分区域尤其在选择了2D成像模式的情况下是否包括许多高频成分，来从每个划分区域选择并获得第一输出信号和第二输出信号之中的适当的输出信号。
在本图像拾取设备中，第二图像产生单元基于从与图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号，来产生上、下、左、右四个视点的视差图像，或者产生上和下、或左和右两个视点的视差图像。
发明的有益效果
根据本发明，利用其中混合有1-像素1-微透镜部件和4-像素1-微透镜部件的新颖的图像拾取装置，能够成像高分辨率的2D图像并且能够成像3D图像，而且能够实现设备的成本和尺寸的减小。
附图说明
图1是根据本发明的图像拾取装置的第一实施例的主要部分的平面图。
图2A是图像拾取装置中的1-像素1-微透镜部件的示意图。
图2B是图像拾取装置中的4-像素1-微透镜部件的示意图。
图3是根据本发明的图像拾取装置的第二实施例的主要部分的平面图。
图4是根据本发明的图像拾取设备的实施例的框图。
图5A是4-像素1-微透镜部件的示意图。
图5B是用于描述将4-像素1-微透镜部件中的像素进行相加的方法的示意图。
图6是根据本发明的图像拾取设备的数字信号处理单元的内部结构的框图。
图7是描述本发明的第一实施例的图像拾取设备的操作的流程图。
图8是描述本发明的第二实施例的图像拾取设备的操作的流程图。
图9是描述本发明的第三实施例的图像拾取设备的操作的流程图。
图10是描述本发明的第四实施例的图像拾取设备的操作的流程图。
图11是描述本发明的第五实施例的图像拾取设备的操作的流程图。
具体实施方式
根据附图来描述根据本发明的图像拾取装置和图像拾取设备的实施例。
[图像拾取装置]
图1是根据本发明的图像拾取装置的第一实施例的主要部分的平面图。
如图1所示，该图像拾取装置1是CCD或CMOS彩色图像传感器，并且配置成主要包括在半导体衬底上以行方向和列方向布置的多个光电转换元件（光电二极管）PD（参见图2A和图2B）、两种类型的微透镜L1和L2（即，分别为小和大）、以及红（R）、绿（G）、蓝（B）多种颜色（三原色）的滤色器。
针对一个光电二极管PD设置一个小的微透镜L1，并且针对横向和纵向上彼此接近的四个光电二极管PD设置一个大的微透镜L2。
下面，其中针对一个光电二极管PD（一个像素）设置一个微透镜L1的部分被称为1-像素1-微透镜部件1A，其中针对四个光电二极管PD（四个像素）设置一个微透镜L2的部分被称为4-像素1-微透镜部件1B。
如图1所示，图像拾取装置1具有以混合方式设置的1-像素1-微透镜部件1A和4-像素1-微透镜部件1B。
而且，对1-像素1-微透镜部件1A设置R、G、B中任意一种颜色的滤色器。类似地，对4-像素1-微透镜部件1B设置R、G、B中任意一种颜色的滤色器。即，在4-像素1-微透镜部件1B的四个光电二极管PD上设置相同颜色的滤色器。
在图1，按照RGRG...顺序对奇数行11、13、15、17...上的1-像素1-微透镜部件1A设置滤色器，按照GBGB...顺序对偶数行12、14、16、18...上的1-像素1-微透镜部件1A设置滤色器。
另一方面，按照RGRG...顺序对行11、12、15、16...上的4-像素1-微透镜部件1B设置滤色器，按照GBGB...顺序对行13、14、17、18...上的4-像素1-微透镜部件1B设置滤色器。
即，在该图像拾取装置1中，4×4像素被取作为一个块，其中对一个块提供16个1-像素1-微透镜部件1A的第一区域以及其中对一个块提供4个4-像素1-微透镜部件1B的第二区域以棋盘格方式布置，并且1-像素1-微透镜部件1A的R、G和B的滤色器布置以及4-像素1-微透镜部件1B的R、G和B的滤色器布置均为Bayer布置。
此外，如图2A所示，1-像素1-微透镜部件1A的每个微透镜L1将一束光聚集到一个光电二极管PD的光接收表面上。另一方面，4-像素1-微透镜部件1B的每个微透镜L2将一束光聚集到四个光电二极管PD（图2B中只描绘了两个）的光接收表面上，并且使针对四个方向（即，向上、向下、向左、向右）中的每一个而限制的光束（光瞳分割的光）分别进入四个光电二极管PD。
根据该图像拾取装置1，可以基于来自1-像素1-微透镜部件1A的输出信号来产生高分辨率的2D图像，并且可以基于来自4-像素1-微透镜部件1B的输出信号来产生3D图像。需要注意的是2D图像和3D图像的产生方法将在下面进一步描述。
图3是描述根据本发明的图像拾取装置的第二实施例的主要部分的平面图。
该图像拾取装置1'与图1所示的图像拾取装置1的不同之处仅在于1-像素1-微透镜部件1A和4-像素1-微透镜部件1B的布置。
即，图像拾取装置1'的各4-像素1-微透镜部件1B以棋盘格方式布置，并且各1-像素1-微透镜部件1A布置在其间。
而且，每个1-像素1-微透镜部件1A的滤色器以Bayer布置方式布置，并且每个4-像素1-微透镜部件1B的滤色器以G行和RB行交替布置的方式来布置。
需要注意的是1-像素1-微透镜部件1A和4-像素1-微透镜部件1B的布置不限于图1和图3所示的实施例，并且这些部件例如可以带状布置。而且，尽管在图1和图3所示的实施例中1-像素1-微透镜部件1A的光电二极管PD的数量和4-像素1-微透镜部件1B的光电二极管PD的数量相同，但这不是限制性的，而是任意数量都可以胜任，只要能够获得高分辨率的2D图像并且能够获得3D图像即可。
而且，滤色器也不限于R、G和B的滤色器，可以是黄（Y）、品红（M）、青（C）、以及其它颜色的滤色器。
[图像拾取设备]
图4是根据本发明的图像拾取设备的实施例的框图。
该图像拾取设备10配备有图1所示的图像拾取装置1，可以成像2D图像和3D图像，并且整个设备的操作由中央处理单元（CPU）以集中方式进行控制。
图像拾取设备10配备有操作单元38，其包括快门按钮、模式拨盘、回放按钮、菜单/确认键、十字键、后退键等。来自该操作单元38的信号输入至CPU40。CPU40控制图像拾取设备10的每个电路，从而执行例如透镜驱动控制、光圈驱动控制、成像操作控制、图像处理控制、图像数据记录/回放控制、以及用于立体显示的显示监视器30的显示控制。
快门按钮是用于输入开始成像的指令的操作按钮，并且配置成包括S1开关和S2开关，在半按时S1开关接通，在全按时S2开关接通。模式拨盘是选择单元，根据本发明，其在2D成像模式、3D成像模式、自动成像模式、手动成像模式、场景位置（诸如人、风景、夜晚等）、微距模式、视频模式、以及视差优先成像模式中进行选择。
回放按钮是用于将已成像和已记录的多个视差图像（3D图像）以及平面图像（2D图像）的静止图像或视频切换至用于在液晶监视器30上进行显示的回放模式的按钮。菜单/确认键是操作键，其具有做出用于在液晶监视器30的屏幕上显示菜单的指令的菜单按钮的功能、以及做出用于建立和执行所选择的操作的指令的确认按钮的功能。十字键是操作单元，其用于在四个方向（即，向上、向下、向左和向右）上输入指令，并且用作用于从菜单屏幕选择一个项目以及做出用于从每个菜单中选择各种设置项中的任何一个的指令的按钮（光标移动操作构件）。十字键包括上/下键和左/右键，上/下键用作在成像时的变焦开关或在回放模式时的回放缩放开关，左/右键用作帧前进（向前方向/倒退方向前进）按钮。后退键用于期望目标（诸如选项）的删除、指令的取消、返回至前一操作状态等。
在成像模式时，表示被摄体的图像光的图像经由单个成像光学系统（变焦透镜）12和光圈14形成在图像拾取装置1的光接收表面上。成像光学系统12由受CPU40控制的透镜驱动单元36来驱动，从而执行聚焦控制、变焦控制等。光圈14例如由5个光圈叶片形成，并且由受CPU40控制的光圈驱动单元34来驱动，并且例如以每级1个AV步长从F1.4光圈值到F11光圈值的6个级的方式来进行光圈控制。
而且，CPU40在图像拾取装置1中的电荷存储时间（快门速度）内经由光圈驱动单元34来控制光圈14并且经由装置控制单元32执行控制，然后从图像拾取装置1读取图像信号，等等。
基于从装置控制单元32累加的读取信号，读取存储在图像拾取装置1中的信号电荷作为根据信号电荷的电压信号。从图像拾取装置1读取的电压信号被累加至模拟信号处理单元18，其中针对每个像素的R、G、B信号被采样和保持，并且利用由CPU40指定的增益（对应于ISO速度）被放大，然后被累加至A/D转换器20。A/D转换器20将顺序输入的R、G和B信号转换成数字R、G和B信号以用于输出至图像输入控制器32。
数字信号处理单元24对经由图像输入控制器22输入的数字图像信号执行预定处理，例如补偿处理、白平衡校正、包括感光度校正的增益控制处理、伽马校正处理、同步处理、YC处理、以及锐度校正。
注意，在图4中，46表示ROM（EEPROM），其中存储了相机控制程序、关于图像拾取装置1的缺陷信息、用于图像处理等的各种参数和表格、程序图（普通程序图）（诸如光圈优先程序图、快门速度优先程序图、或者根据被摄体的亮度交替或同时改变光圈和快门速度的程序图）、以及用于视差优先等的程序图。
用于视差优先的程序图按以下方式设计，例如，F值取定值5.6（AV=5），且在成像EV值为从11至16时只有快门速度根据成像EV值而从1/60秒（TV=6）改变为1/2000秒（TV=11）。其还设计成，当成像EV值小于11时（当较暗时），将F值=5.6以及快门速度=1/60秒固定，则成像EV值每次减小1EV时ISO速度为从100变为200、400、800、1600和3200。需要注意的是，不仅用于视差优先的程序图，而且根据来自图像拾取装置1的每个4-像素1-微透镜部件1B的输出信号获得的四个视点处的各视差图像，都根据光圈开口的大小来改变其视差，因此光圈开口可以被控制为不小于3D成像模式时的预定光圈开口。
数字信号处理单元24根据在2D成像模式和3D成像模式之间确定的成像模式来执行图像处理，以及根据2D成像模式时的被摄体和成像条件来执行图像处理。需要注意的是，该数字信号处理单元24的图像处理细节将在下面进一步进行描述。
当选择了2D成像模式时，数字信号处理单元24处理的2D图像数据被输出至VRAM50。另一方面，当选择了3D成像模式时，数字信号处理单元24处理的3D图像数据被输出至VRAM50。VRAM50包括A区域和B区域，其每个存储表示一帧图像的图像数据。在VRAM50中，在A区域和B区域之间交替地重写表示一帧图像的图像数据。在VRAM50的A区域和B区域中，写入的图像数据从与其中图像数据被重写的区域不同的区域中被读出。从VRAM50读出的图像数据在视频编码器28处进行编码，然后输出至设置在相机背面的用于进行立体显示的液晶监视器30。这样，2D/3D被摄体图像（实时取景图像）显示在液晶监视器30的显示屏幕上。
尽管液晶监视器30是能够通过利用视差屏障来显示各立体图像（左视点图像和右视点图像）作为各自具有预定指向性的指向性图像，但其不旨在进行限制，而且可以使用柱面透镜，或者可以配戴诸如偏振眼镜或液晶快门眼镜之类的专用眼镜来分别观看左视点图像和右视点图像。
而且，当操作单元38的快门按钮被按至第一级（被半按）时，图像拾取装置1开始AF操作或AE操作，以经由透镜驱动单元36来控制成像光学系统12中的聚焦透镜进行聚焦。而且，从A/D转换器20输出的图像数据被输入至AE检测单元44。
在AE检测单元44中，累加整个屏幕上的G信号，或者累加对在屏幕中央部分和在外围部分进行了不同加权的G信号，然后通过相加获得的结果值被输出至CPU40。CPU40根据从AE检测单元44输入的累加值来计算被摄体的亮度（成像EV值），以及根据预定程序图基于该成像EV值来确定图像拾取装置1的光圈值和电子快门（快门速度）。
这里，在该程序图中，与被摄体的亮度相对应地来设计由光圈的光圈值和快门速度的组合或者光圈的光圈值和快门速度与成像感光度（ISO速度）的组合所形成的成像（曝光）条件。通过在根据程序图确定的成像条件下进行成像，可以与被摄体的亮度无关地成像具有适当亮度的图像。
CPU40基于根据程序图确定的光圈值而经由光圈驱动单元34来控制光圈14，并且基于确定的快门速度经由装置控制单元32来控制图像拾取装置1中的电荷存储时间。
AF处理单元42是执行对比度AF处理或相位差AF处理的部分。当执行对比度AF处理时，例如，对与1-像素1-微透镜部件1A相对应的多个图像数据中的预定聚焦区域中的图像数据的高频成分进行提取，并且对这些高频成分进行积分，从而计算表示聚焦状态的AF评估值。AF控制是通过控制成像光学系统12中的聚焦透镜而使得该AF评估值为最大来执行的。而且，为了执行相位差AF处理，对与4-像素1-微透镜部件1B相对应的多个视差图像数据中的预定聚焦区域中的图像数据的相位差进行检测，并且基于表示该相位差的信息来得出散焦量。AF控制是通过控制成像光学系统12中的聚焦透镜以使得该散焦量为0来执行的。
当AE操作或AF操作结束并且快门按钮被按至第二级（被全按）时，响应于该按下，从A/D转换器20输出的图像数据从图像输入控制器22输入至存储器（SDRAM）48进行暂时存储。
暂时存储在存储器48中的图像数据被数字信号处理单元24在适当时读取。
现在，为了在2D成像模式时根据与1-像素1-微透镜部件1A相对应的图像数据来产生2D图像，由于与4-像素1-微透镜部件1B的各像素位置相对应的图像数据是不足的，因此对与1-像素1-微透镜部件1A相对应的图像数据进行线性内插，以产生足以补偿该不足的图像数据。然后，对包括与1-像素1-微透镜部件1A相对应的图像数据和通过内插产生的图像数据在内的所有图像数据进行预定信号处理，包括同步处理（对由于原色滤色器的布置而导致的颜色信号的空间偏离进行内插以将该颜色信号变换为同步方程的处理）、YC处理（产生图像数据的亮度数据和色差数据的处理）。经过YC处理的图像数据（YC数据）被再次存储在存储器48中。
而且，为了根据与4-像素1-微透镜部件1B相对应的图像数据来产生2D图像，针对每个4-像素1-微透镜部件1B的四个图像数据相加在一起以根据该四个图像数据产生针对一个像素的图像数据。此外，由于与1-像素1-微透镜部件1A的像素位置相对应的图像数据是不足的，因此对产生的图像数据进行线性内插以产生用于补偿不足的图像数据。然后，对包括与4-像素1-微透镜部件1B相对应的图像数据和通过内插产生的图像数据在内的所有图像数据进行预定信号处理，包括同步处理和YC处理。经过YC处理后的YC数据再次被存储在存储器48中。
另一方面，为了在3D成像模式时根据与4-像素1-微透镜部件1B相对应的四个视点的图像数据来产生3D图像，首先，由于与1-像素1-微透镜部件1A的像素位置相对应的四个视点的图像数据是不足的，因此对与4-像素1-微透镜部件1B相对应的四个视点的图像数据进行线性内插以产生用于补偿不足的图像数据。这样，产生了四个视点（四个）的图像数据。
如图5A所示，4-像素1-微透镜部件1B的像素为A、B、C和D，针对A、B、C和D的每一个而产生了四个图像数据。接着，当利用水平放置的图像拾取设备10进行成像时，将A和C的图像数据相加在一起以产生左眼用显示图像（左视差图像），并且将B和D的图像数据相加在一起以产生右眼用显示图像（右视差图像）。需要注意的是，当利用水平放置的图像拾取设备10进行成像时，对图1的每个4-像素1-微透镜部件1B的四个像素设置的参考字符L和R分别表示左眼用显示像素和右眼用显示像素。
另一方面，当利用垂直放置的图像拾取设备10来进行成像时，将A和B的图像数据相加在一起以产生左眼用显示图像（左视差图像），并且将C和D的图像数据相加在一起以产生右眼用显示图像（右视差图像）。需要注意的是，图像拾取设备10设置有检测图像拾取设备10的（水平）姿态的传感器，在3D成像时基于图像拾取设备10的姿态来选择性地执行上述的像素相加。而且，如下面进一步描述的，通过将A、B、C和D图像数据的相加在一起，也可以产生2D图像。
以如上所述方式在2D成像模式时产生的且存储在存储器48中的一个YC数据被输出至压缩/扩展处理单元26，在其中进行诸如JPEG（联合图像专家组）的预定压缩处理，然后经由介质控制器52记录在存储卡54上。而且，存储在存储器48中的两个（左视点和右视点）YC数据各自被输出至压缩/扩展处理单元26，在其中进行诸如JPEG（联合图像专家组）的预定压缩处理。进一步产生多图片文件（MP文件：具有耦合在一起的多个图像的形式的文件），然后MP文件经由介质控制器52被记录在存储卡54上。
需要注意的是，如图5B所示尽管在3D成像模式时产生左和右两个视差图像，但其不旨在进行限制，而如图5B所示，实际可以原样记录四个（即，上、下、左、右）视差图像，然后在3D回放时执行图像相加以输出视差图像。
图6是数字信号处理单元24的内部结构的框图。如该图所示，数字信号处理单元24配置成包括输入/输出处理电路24、图像确定单元242、图像处理单元243、以及控制单元244。
输入/输出处理电路241输入和输出曾经经由图像输入控制器22存储在存储器48中的图像数据。图像确定单元242根据经由输入/输出处理电路241获得的图像数据（具有混合在一起的与1-像素1-微透镜部件1A相对应的图像数据、以及与4-像素1-微透镜部件1B相对应的图像数据的图像数据）来确定是要使用与1-像素1-微透镜部件1A相对应的图像数据还是要使用与4-像素1-微透镜部件1B相对应的图像数据。
图像处理单元243根据图像确定单元242的确定结果来执行从获得的图像数据产生用于记录的图像数据的后处理。控制单元244是以集中方式控制输入/输出处理电路241、图像确定单元242、以及图像处理单元243的部分。
[第一实施例]
图7是描述本发明的第一实施例的图像拾取设备10的操作的流程图。
摄影师首先操作操作单元38的模式拨盘来选择2D成像模式或3D成像模式，然后在观看输出至液晶监视器30的实时取景图像（即时预览图像）时确定构图，通过半按或全按快门按钮来执行成像（步骤S10）。
接着，CPU40确定利用模式拨盘是选择了2D成像模式还是选择了3D成像模式（步骤S12）。如果已选择2D成像模式，则转移至步骤S14。如果已选择3D成像模式，则转移至步骤S18。
在步骤S14，图6所示的图像确定单元242从经由输入/输出处理电路241获得的其中混合有与1-像素1-微透镜部件1A相对应的图像数据和与4-像素1-微透镜部件1B相对应的图像数据的图像数据中，确定要使用与1-像素1-微透镜部件1A相对应的图像数据，并且选择与1-像素1-微透镜部件1A相对应的图像数据以输出至图像处理单元243。
图像处理单元243通过对与1-像素1-微透镜部件1A相对应的图像数据执行线性内插来产生与4-像素1-微透镜部件1B的各像素位置相对应的图像数据，以产生针对一个屏幕的高分辨率的图像数据，并且还执行诸如白平衡校正、伽马校正、同步处理、以及YC处理之类的预定信号处理。通过由图像处理单元243进行的YC处理获得的图像数据（YC数据）经由输入/输出处理电路241被存储在存储器48中、由压缩/扩展处理单元26进行压缩处理、然后经由介质控制器52在存储卡54上被记录为2D图像（步骤S16）。
另一方面，当以3D成像模式进行成像而转移至步骤S18时，图6所示的图像确定单元242从经由输入/输出处理电路241获得的其中混合有与1-像素1-微透镜部件1A相对应的图像数据和与4-像素1-微透镜部件1B相对应的图像数据的图像数据中，确定要使用与4-像素1-微透镜部件1B相对应的图像数据，并且选择与4-像素1-微透镜部件1B相对应的图像数据以输出至图像处理单元243。
图像处理单元243通过对与4-像素1-微透镜部件1B相对应的图像数据进行线性内插来产生与各1-像素1-微透镜部件1A的像素位置相对应的图像数据，以产生图5B所示的针对四个视点的（四个）图像数据，此外，在成像时根据图像拾取设备10的姿态对两个图像进行相加以产生左眼用显示图像（左视差图像）以及右眼用显示图像（右视差图像）。然后，执行诸如白平衡校正、伽马校正、同步处理、以及YC处理之类的预定信号处理。通过由图像处理单元243进行的YC处理获得的图像数据（YC数据）经由输入/输出处理电路241被存储在存储器48中、由压缩/扩展处理单元26进行压缩处理、然后经由介质控制器52在存储卡54上被记录为3D图像（步骤S20）。
[第二实施例]
图8是描述本发明的第二实施例的图像拾取设备10的操作的流程图。
需要注意的是，与图7所示的第一实施例相同的部分设置有相同的步骤编号，并且省略其详细描述。
图8所示的第二实施例与第一实施例的不同点在于增加了由单点划线包围的步骤S30、S32、S34、以及S36的处理。
在步骤S30，计算在步骤S10成像的图像的典型空间频率。在本实施例中，从各1-像素1微透镜部件1A获得的图像被转换成空间频域，并且计算诸如整个屏幕在空间频域中的平均空间频率（下文中称为“典型空间频率”）（第一典型空间频率）、来自各4-像素1-微透镜部件1B的图像的典型空间频率（第二典型空间频率）之类的空间频率。需要注意的是，对于在计算典型空间频率时使用的像素，可以使用接近亮度信号的G像素信号。
接着，确定第一典型空间频率是否超过预定阈值（步骤S32）。该判定是通过计算第一典型空间频率与第二典型空间频率之差并且确定该差是否超过预定值（例如，用于确定两个典型空间频率之间是否存在明显差异的值）来执行的。需要注意的是，关于第一典型空间频率是否超过预定阈值的确定不限于上述示例，而且可以通过与预设阈值（例如，可以取第二典型空间频率的最大值）进行比较来执行。
然后，当确定第一典型空间频率超过预定阈值时，转移至步骤S14。当确定第一典型空间频率小于或等于预定阈值时，转移至步骤S34。即，当第一典型空间频率超过预定阈值时，被摄体图像包括许多高频成分，并且优选地被记录为高分辨率的2D图像，因此转移至步骤S14。当第一典型空间频率小于或等于预定阈值时，由于被摄体图像具有较少的高频成分，因此感光度优先于分辨率，从而转移至步骤S34。
在步骤S34，图像确定单元242（图6）从经由输入/输出处理电路241获得的其中混合有与1-像素1-微透镜部件1A相对应的图像数据和与4-像素1-微透镜部件1B相对应的图像数据的图像数据中，确定要使用与4-像素1-微透镜部件1B相对应的图像数据，并且选择与4-像素1-微透镜部件1B相对应的图像数据以输出至图像处理单元243。需要注意的是，在2D成像模式时，针对从4-像素1-微透镜部件1B输出的图像信号（模拟信号），考虑到四个像素的像素相加而减小模拟增益（降低感光度）。
图像处理单元243根据与4-像素1-微透镜部件1B相对应的图像数据来产生2D图像数据。即，针对每个4-像素1-微透镜部件1B将四个图像数据相加在一起，以根据该四个图像数据产生针对一个像素的图像数据。而且，利用所述产生的图像数据的线性内插，产生了各1-像素1-微透镜部件1A的像素位置处的图像数据。然后，基于包括与4-像素1-微透镜部件1B相对应的图像数据和通过内插产生的图像数据在内的所有图像数据，来执行诸如白平衡校正、伽马校正、同步处理、以及YC处理之类的预定信号处理。通过由图像处理单元243进行的YC处理获得的图像数据（YC数据）经由输入/输出处理电路241被存储在存储器48中、由压缩/扩展处理单元26进行压缩处理、然后经由介质控制器52在存储卡54上被记录为2D图像（步骤S36）。
[第三实施例]
图9是描述本发明的第三实施例的图像拾取设备10的操作的流程图。
需要注意的是，与图7所示的第一实施例、图8所示的第二实施例相同的部分设置有相同的步骤编号，并且省略其详细描述。
图9所示的第三实施例与第一实施例的不同点在于增加了由单点划线包围的步骤S40、S42、S34、以及S36的处理。
在步骤S40，获得在步骤S10成像时的平均亮度。可以使用由AE检测单元44（图4）测量到的被摄体的亮度（成像EV值）作为该平均亮度。
接着，确定平均亮度是否超过预定阈值（步骤S42）。例如，假设当平均亮度（成像EV值）较小并且需要增加成像感光度时的值来作为该阈值。
当平均亮度超过预定阈值时（当不需要增加成像感光度时），转移至步骤S14。当平均亮度小于或等于预定阈值时（当需要增加成像感光度时），转移至步骤S34。
在步骤S34和S36，如与图8所示的第二实施例一样，选择与4-像素1-微透镜部件1B相对应的图像数据，以及基于所选择的图像数据来产生并记录2D图像。需要注意的是，如上所述，由于考虑了2D成像模式时的四个像素的像素相加而将模拟增益设置得较低（将感光度设置得较低），因此可以获得与来自1-像素1-微透镜部件1A的图像信号相比具有较少噪声的2D图像数据。
[第四实施例]
图10是描述本发明的第四实施例的图像拾取设备10的操作的流程图。
需要注意的是，与图7所示的第一实施例、图8所示的第二实施例、图9所示第三实施例相同的部分设置有相同的步骤编号，并且省略其详细描述。
图10所示的第四实施例与第一实施例的不同点在于增加了由单点划线包围的步骤S30、S32、S34、S36、S40、以及S42的处理。
即，只当在步骤S32确定了第一典型空间频率超过预定阈值并且在步骤S42确定了平均亮度超过预定阈值时，才基于从各1-像素1微透镜部件1A输出的图像数据来产生并记录2D图像。否则，基于从各4-像素1微透镜部件1B输出的图像数据来产生并记录2D图像。
在其中不能获得足够亮度的成像环境的情况下，即使图像的分辨率比高分辨率图像的分辨率低，也经常需要具有低噪声的图像。根据第四实施例，如果平均亮度小于或等于预定亮度，则即使第一典型空间频率超过预定阈值（图像包括许多高频成分）也基于从各4-像素1-微透镜部件1B输出的第二输出信号来产生二维图像。
[第五实施例]
图11是描述本发明的第五实施例的图像拾取设备10的操作的流程图。
需要注意的是，与图7所示的第一实施例相同的部分设置有相同的步骤编号，并且省略其详细描述。
图11所示的第五实施例与第一实施例的不同点在于增加了由单点划线包围的步骤S50至S64的处理。
在第五实施例中，一个成像屏幕被划分成N×M个划分区域，并且针对通过N×M划分获得的每个划分区域计算典型空间频率。划分区域的大小优选地为在能够计算出典型空间频率的范围内尽可能小。然后确定针对每个划分区域是选择1-像素1-微透镜部件1A的图像数据还是选择4-像素1-微透镜部件1B的图像数据。
步骤S50是通过将变量X的初始值设为1、变量X的最终值设为N、以及改变变量X时的增量设为1来使步骤S64重复地处理的预确定步骤，步骤S52是通过将变量Y的初始值设为1、变量Y的最终值设为M、以及改变变量Y时的增量设为1来使步骤S62重复地处理的预确定步骤。借助于此，执行双循环重复处理。
在步骤S54，计算成像图像的划分区域ZONE(X,Y)的典型空间频率。在步骤S56，确定计算出的划分区域ZONE(X,Y)的典型空间频率是否超过阈值。该确定以与第二实施例的确定（图8的步骤S32）类似的方式执行。
然后，当确定划分区域ZONE(X,Y)的典型空间频率超过阈值时，该划分区域ZONE(X,Y)中的1-像素1-微透镜部件1A的图像数据被选择并且被暂时存储（步骤S58）。另一方面，当确定划分区域ZONE(X,Y)的典型空间频率小于或等于阈值时，该划分区域ZONE(X,Y)中的4-像素1-微透镜部件1B的图像数据被选择并且被暂时存储（步骤S60）。
通过执行双循环中的重复处理，针对所有N×M个划分区域ZONE(X,Y)选择1-像素1-微透镜部件1A的图像数据或者4-像素1-微透镜部件1B的图像数据。
在步骤S16'，基于针对一个屏幕的其中混合有1-像素1-微透镜部件1A的图像数据和4-像素1-微透镜部件1B的图像数据的图像数据来产生2D图像。在此情况下，基于4-像素1-微透镜部件1B的图像数据所产生的划分区域的2D图像的像素数量不同于基于1-像素1-微透镜部件1A的图像数据所产生的划分区域的2D图像的像素数量。因此，基于4-像素1-微透镜部件1B产生的划分区域的2D图像的一个像素通过内插等来变成四个像素，从而使每个划分区域的像素数量相等。即，尽管步骤S16'与第一实施例的图7的步骤S16的不同点在于使每个划分区域的像素数量相等这一处理，但其他要执行的处理与步骤S16的那些类似，从而产生并存储2D图像。
根据第五实施例，能够使用根据要成像的目标（被摄体是否包括高频成分）的最优图像数据来产生2D图像。
[其他]
在2D成像模式时使用的选择1-像素1-微透镜部件1A的图像数据或4-像素1-微透镜部件1B的图像数据的方法不限于这些实施例。例如，当要记录的图像的尺寸被设为最大图像尺寸的四分之一时，可以使用4-像素1-微透镜部件1B的图像数据。
而且，尽管在实施例中根据典型空间频率是否超过阈值来选择1-像素1-微透镜部件1A的图像数据或4-像素1-微透镜部件1B的图像数据，但其不旨在进行限制。例如，可以通过高通滤波器提取图像中包括的高频成分，并且基于提取的高频成分的积分值的大小来选择使用1-像素1-微透镜部件1A的图像数据或4-像素1-微透镜部件1B的图像数据。简而言之，确定图像是否包括许多高频成分、并且基于确定结果选择使用1-像素1-微透镜部件1A的图像数据或4-像素1-微透镜部件1B的图像数据就足够了。
此外，本发明不限于上述实施例，并且无需说在不背离本发明的精神的范围内的各种改变是可能的。例如，分配给一个微透镜部件1B的像素数量可以是2×2=4个也可以是3×3=9个、4×4=16个、或n×n个（n：大于等于2的整数）像素。因此，1-像素1-微透镜部件1A的像素单位可以是2×2=4个像素、3×3=9个像素、4×4=16个像素、或n×n（n：大于等于2的整数）个像素。
参考符号列表
1、1'...图像拾取装置、1A...1-像素1-微透镜部件、1B...4-像素1-微透镜部件、10...图像拾取设备、12...成像光学系统、14...光圈、24...数字信号处理单元、30...液晶监视器、38...操作单元、40...中央处理单元（CPU）、42...AF处理单元、44...AE检测单元、46...ROM、48...存储器、54...存储卡、241...输入/输出处理电路、242...图像确定单元、243...图像处理单元、244...控制单元、L1、L2...微透镜、PD...光电二极管

Claims (11)

1.一种图像拾取装置，包括：
多个光电转换元件，其沿行方向和列方向布置在半导体衬底上；
第一微透镜，其是设置在所述多个光电转换元件中的一个光电转换元件上的一个微透镜，所述第一微透镜将进入微透镜的光引导至所述一个光电转换元件的光接收表面；以及
第二微透镜，其是设置在所述多个光电转换元件中沿横向和纵向彼此相邻的n×n个光电转换元件之上的一个微透镜，所述第二微透镜对进入微透镜的光进行光瞳分割以将其引导至所述n×n个光电转换元件中的每一个光电转换元件的光接收表面，其中n为大于等于2的整数，
所述第一微透镜和所述第二微透镜以混合方式设置，使得至少基于来自与所述第一微透镜相对应的光电转换元件的第一输出信号和来自与所述第二微透镜相对应的任何光电转换元件的第二输出信号来分别产生二维图像和三维图像。
2.根据权利要求1所述的图像拾取装置，其中
对于多种颜色的滤色器，在所述多个光电转换元件之上提供任何颜色的滤色器，并且
为与所述第二微透镜相对应的所述n×n个光电转换元件提供相同颜色的滤色器。
3.根据权利要求1或2所述的图像拾取装置，其中
其处设置有所述第一微透镜的光电转换元件的数量与其处设置有所述第二微透镜的光电转换元件的数量彼此相等。
4.根据权利要求1至3中任一项所述的图像拾取装置，其中
将4×4个光电转换元件取作一个块，并且其中对一个块提供16个第一微透镜的第一区域以及其中对一个块提供4个第二微透镜的第二区域以棋盘格方式布置。
5.根据权利要求1至3中任一项所述的图像拾取装置，其中
将2×2个光电转换元件取作一个块，并且其中对一个块提供4个第一微透镜的第一区域以及其中对一个块提供1个第二微透镜的第二区域以棋盘格方式布置。
6.一种图像拾取设备，包括：
单个成像光学系统；
根据权利要求1至5中任一项所述的图像拾取装置，其中经由所述成像光学系统形成被摄体图像；
成像模式选择单元，其在用于成像二维图像的2D成像模式与用于成像三维图像的3D成像模式之间进行切换；
第一图像产生单元，其在所述成像模式选择单元选择了2D成像模式时基于从与所述图像拾取装置的第一微透镜相对应的光电转换元件输出的第一输出信号来产生二维图像；
第二图像产生单元，其在所述成像模式选择单元选择了3D成像模式时基于从与所述图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生三维图像；以及
记录单元，其记录由所述第一图像产生单元产生的二维图像、或者由所述第二图像产生单元产生的三维图像。
7.一种图像拾取设备，包括：
单个成像光学系统；
根据权利要求1至5中任一项所述的图像拾取装置，其中经由所述成像光学系统形成被摄体图像；
成像模式选择单元，其在用于成像二维图像的2D成像模式与用于成像三维图像的3D成像模式之间进行切换；
确定单元，其确定经由所述成像光学系统和所述图像拾取装置成像的图像是否包括许多高频成分；
第一图像产生单元，其在所述成像模式选择单元选择了2D成像模式并且所述确定单元确定了图像包括许多高频成分时，基于从与所述图像拾取装置的第一微透镜相对应的光电转换元件输出的第一输出信号来产生二维图像，以及在所述确定单元确定图像不包括许多高频成分时，基于从与所述图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生二维图像；
第二图像产生单元，其在所述成像模式选择单元选择了3D成像模式时基于从与所述图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生三维图像；以及
记录单元，其记录由所述第一图像产生单元产生的二维图像、或者由所述第二图像产生单元产生的三维图像。
8.根据权利要求7所述的图像拾取设备，还包括：
亮度检测单元，其检测被摄体的亮度，其中
所述第一图像产生单元在所述成像模式选择单元选择了2D成像模式、所述确定单元确定了图像包括许多高频成分、并且检测到的被摄体的亮度超过预定阈值时，基于从与所述图像拾取装置的第一微透镜相对应的光电转换元件输出的第一输出信号来产生二维图像，以及在所述确定单元确定了图像不包括许多高频成分时或者在检测到的被摄体的亮度小于或等于预定阈值时，基于从与所述图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生二维图像。
9.一种图像拾取设备，包括：
单个成像光学系统；
根据权利要求1至5中任一项所述的图像拾取装置，其中经由所述成像光学系统形成被摄体图像；
成像模式选择单元，其在用于成像二维图像的2D成像模式与用于成像三维图像的3D成像模式之间进行切换；
亮度检测单元，其检测被摄体的亮度；
第一图像产生单元，其在所述成像模式选择单元选择了2D成像模式并且检测到的被摄体的亮度超过预定阈值时，基于从与所述图像拾取装置的第一微透镜相对应的光电转换元件输出的第一输出信号来产生二维图像，以及在检测到的被摄体的亮度小于或等于预定阈值时，基于从与所述图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生二维图像；
第二图像产生单元，其在所述成像模式选择单元选择了3D成像模式时基于从与所述图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生三维图像；以及
记录单元，其记录由所述第一图像产生单元产生的二维图像、或者由所述第二图像产生单元产生的三维图像。
10.一种图像拾取设备，包括：
单个成像光学系统；
根据权利要求1至5中任一项所述的图像拾取装置，其中经由所述成像光学系统形成被摄体图像；
成像模式选择单元，其在用于成像二维图像的2D成像模式与用于成像三维图像的3D成像模式之间进行切换；
确定单元，其确定经由所述成像光学系统和所述图像拾取装置成像的图像是否包括许多高频成分，针对通过对一个屏幕进行N×M划分获得的每个划分区域来确定图像是否包括许多高频成分；
第一图像产生单元，其在所述成像模式选择单元选择了2D成像模式并且确定了图像是在包括许多高频成分的划分区域中时，针对每个划分区域获得从与所述图像拾取装置的第一微透镜相对应的光电转换元件输出的第一输出信号，以及在确定了所述图像是在不包括许多高频成分的划分区域中时，获得从与所述图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号，并且基于获得的第一输出信号和第二输出信号来产生二维图像；
第二图像产生单元，其在所述成像模式选择单元选择了3D成像模式时基于从与所述图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号来产生三维图像；以及
记录单元，其记录由所述第一图像产生单元产生的二维图像、或者由所述第二图像产生单元产生的三维图像。
11.根据权利要求6至10中任一项所述的图像拾取设备，其中
所述第二图像产生单元基于从与所述图像拾取装置的第二微透镜相对应的光电转换元件输出的第二输出信号，来产生上、下、左、右四个视点的视差图像，或者产生上和下、或左和右两个视点的视差图像。
CN201180045871XA 2010-09-24 2011-07-05 图像拾取装置和图像拾取设备 Pending CN103155542A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-214103 2010-09-24
JP2010214103 2010-09-24
PCT/JP2011/065314 WO2012039180A1 (ja) 2010-09-24 2011-07-05 撮像デバイス及び撮像装置

Publications (1)

Publication Number Publication Date
CN103155542A true CN103155542A (zh) 2013-06-12

Family

ID=45873676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180045871XA Pending CN103155542A (zh) 2010-09-24 2011-07-05 图像拾取装置和图像拾取设备

Country Status (4)

Country Link
US (1) US20130222553A1 (zh)
JP (1) JPWO2012039180A1 (zh)
CN (1) CN103155542A (zh)
WO (1) WO2012039180A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105047679A (zh) * 2014-04-22 2015-11-11 奥普蒂兹公司 滤色器和光电二极管图案化配置
CN105812644A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 图像处理方法、成像装置和电子设备
CN108141571A (zh) * 2015-09-24 2018-06-08 高通股份有限公司 无掩模相位检测自动聚焦
WO2022127556A1 (zh) * 2020-12-18 2022-06-23 深圳光峰科技股份有限公司 一种立体显示装置与立体投影显示系统

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8742309B2 (en) 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
JP5378626B2 (ja) * 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法
KR101772458B1 (ko) * 2011-06-28 2017-08-30 엘지전자 주식회사 영상표시 장치 및 그 제어방법
US10015471B2 (en) * 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
WO2013094121A1 (ja) * 2011-12-21 2013-06-27 シャープ株式会社 撮像装置および電子情報機器
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
JP6131545B2 (ja) * 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US20150062391A1 (en) 2012-03-30 2015-03-05 Nikon Corporation Image sensor, photographing method, and image-capturing device
JP5978735B2 (ja) * 2012-04-25 2016-08-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5978738B2 (ja) * 2012-04-25 2016-08-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5978736B2 (ja) * 2012-04-25 2016-08-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5978737B2 (ja) * 2012-04-25 2016-08-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
WO2013161313A1 (ja) * 2012-04-25 2013-10-31 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN108337419A (zh) * 2012-07-12 2018-07-27 株式会社尼康 图像处理装置
KR20140038692A (ko) * 2012-09-21 2014-03-31 포항공과대학교 산학협력단 색변환 엘리먼트 및 그 제조방법
JP6070061B2 (ja) * 2012-10-26 2017-02-01 株式会社ニコン 画像処理装置、撮影装置、画像処理方法およびプログラム
JPWO2014112002A1 (ja) * 2013-01-15 2017-01-19 オリンパス株式会社 撮像素子、及び撮像装置
EP2871843B1 (en) * 2013-11-12 2019-05-29 LG Electronics Inc. -1- Digital device and method for processing three dimensional image thereof
KR102224489B1 (ko) * 2013-11-12 2021-03-08 엘지전자 주식회사 디지털 디바이스 및 그의 3차원 영상 처리 방법
JP6555863B2 (ja) * 2013-12-25 2019-08-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP6618271B2 (ja) 2015-05-01 2019-12-11 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置
JP6504910B2 (ja) * 2015-05-19 2019-04-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2017085484A (ja) * 2015-10-30 2017-05-18 日本放送協会 撮像素子、合焦位置検出器及び撮像装置
US10469730B2 (en) * 2016-05-18 2019-11-05 Canon Kabushiki Kaisha Imaging device and control method for simultaneously outputting an image pickup signal and a parallax image signal
CN107135340A (zh) * 2017-04-28 2017-09-05 广东欧珀移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端
JP2019012968A (ja) * 2017-06-30 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
JP7079080B2 (ja) * 2017-11-06 2022-06-01 キヤノン株式会社 画像処理装置および画像処理方法
KR102632474B1 (ko) * 2019-02-11 2024-02-01 삼성전자주식회사 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法
JPWO2021002213A1 (zh) * 2019-07-02 2021-01-07
EP4046199A4 (en) * 2019-12-23 2022-12-21 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE WITH IMAGE SENSOR AND OPERATING METHOD THEREOF
CN115250320B (zh) * 2021-04-28 2024-06-14 北京小米移动软件有限公司 图像获取方法及装置、电子设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003523646A (ja) * 1999-02-25 2003-08-05 ヴィジョンセンス リミテッド 光学装置
CN1604655A (zh) * 2003-09-30 2005-04-06 松下电器产业株式会社 彩色固态图像拾取装置
CN101064788A (zh) * 2005-04-26 2007-10-31 索尼株式会社 固态成像装置、驱动固态成像装置的方法和图像拾取设备
CN101467444A (zh) * 2006-06-14 2009-06-24 株式会社东芝 固态图像传感器
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3513371B2 (ja) * 1996-10-18 2004-03-31 キヤノン株式会社 マトリクス基板と液晶装置とこれらを用いた表示装置
US6219113B1 (en) * 1996-12-17 2001-04-17 Matsushita Electric Industrial Co., Ltd. Method and apparatus for driving an active matrix display panel
JP3199312B2 (ja) * 1997-11-06 2001-08-20 キヤノン株式会社 液晶表示装置
US6078371A (en) * 1998-10-05 2000-06-20 Canon Kabushiki Kaisha Liquid crystal device and liquid crystal display apparatus
TW591295B (en) * 1999-04-13 2004-06-11 Canon Kk Liquid crystal device and liquid crystal display apparatus
JP4284282B2 (ja) * 2004-07-21 2009-06-24 富士フイルム株式会社 撮像装置及び固体撮像素子
US7355154B2 (en) * 2005-04-11 2008-04-08 Canon Kabushiki Kaisha Image sensing apparatus with movable light flux splitter and control method thereof
US8169518B2 (en) * 2007-08-14 2012-05-01 Fujifilm Corporation Image pickup apparatus and signal processing method
JP5814626B2 (ja) * 2011-05-27 2015-11-17 キヤノン株式会社 光電変換装置及び光電変換装置の製造方法
WO2013100036A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
US9420208B2 (en) * 2012-07-13 2016-08-16 Canon Kabushiki Kaisha Driving method for image pickup apparatus and driving method for image pickup system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003523646A (ja) * 1999-02-25 2003-08-05 ヴィジョンセンス リミテッド 光学装置
CN1604655A (zh) * 2003-09-30 2005-04-06 松下电器产业株式会社 彩色固态图像拾取装置
CN101064788A (zh) * 2005-04-26 2007-10-31 索尼株式会社 固态成像装置、驱动固态成像装置的方法和图像拾取设备
CN101467444A (zh) * 2006-06-14 2009-06-24 株式会社东芝 固态图像传感器
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105047679A (zh) * 2014-04-22 2015-11-11 奥普蒂兹公司 滤色器和光电二极管图案化配置
CN105047679B (zh) * 2014-04-22 2018-05-15 奥普蒂兹公司 滤色器和光电二极管图案化配置
CN105812644A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 图像处理方法、成像装置和电子设备
CN108141571A (zh) * 2015-09-24 2018-06-08 高通股份有限公司 无掩模相位检测自动聚焦
WO2022127556A1 (zh) * 2020-12-18 2022-06-23 深圳光峰科技股份有限公司 一种立体显示装置与立体投影显示系统

Also Published As

Publication number Publication date
US20130222553A1 (en) 2013-08-29
WO2012039180A1 (ja) 2012-03-29
JPWO2012039180A1 (ja) 2014-02-03

Similar Documents

Publication Publication Date Title
CN103155542A (zh) 图像拾取装置和图像拾取设备
CN103493484B (zh) 成像装置和成像方法
JP5628913B2 (ja) 撮像装置および撮像方法
US9204020B2 (en) Color imaging apparatus having color imaging element
CN103782586B (zh) 成像设备
US9077976B2 (en) Single-eye stereoscopic image capturing device
US8593509B2 (en) Three-dimensional imaging device and viewpoint image restoration method
CN103370943B (zh) 成像装置和成像方法
CN103733606B (zh) 成像设备
CN103098459B (zh) 立体摄像装置及阴影校正方法
WO2012036019A1 (ja) 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
CN103782213A (zh) 数字相机
US20100315517A1 (en) Image recording device and image recording method
CN103918249B (zh) 成像装置和成像方法
CN102959467A (zh) 单眼立体成像装置
CN102860015A (zh) 立体成像装置、图像再现装置和编辑软件
CN103843331B (zh) 图像拾取装置和图像拾取方法
US20140022359A1 (en) Stereoscopic imaging apparatus and stereoscopic imaging method
CN104025580A (zh) 彩色摄像元件及摄像装置
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
US9124875B2 (en) Stereoscopic imaging apparatus
CN102959967B (zh) 图像输出装置及方法
WO2012043003A1 (ja) 立体画像表示装置および立体画像表示方法
JP2010200024A (ja) 立体画像表示装置および立体画像表示方法
WO2013136832A1 (ja) 立体画像表示制御装置および立体画像表示制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130612