[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN104041020A - 彩色摄像元件 - Google Patents

彩色摄像元件 Download PDF

Info

Publication number
CN104041020A
CN104041020A CN201280064983.4A CN201280064983A CN104041020A CN 104041020 A CN104041020 A CN 104041020A CN 201280064983 A CN201280064983 A CN 201280064983A CN 104041020 A CN104041020 A CN 104041020A
Authority
CN
China
Prior art keywords
filter
mentioned
look
color image
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280064983.4A
Other languages
English (en)
Other versions
CN104041020B (zh
Inventor
河合智行
林健吉
田中诚二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104041020A publication Critical patent/CN104041020A/zh
Application granted granted Critical
Publication of CN104041020B publication Critical patent/CN104041020B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

对上下左右相邻的四个光电转换元件配置有相同颜色的滤色器，对该配置有相同颜色的滤色器的四个光电转换元件配置有一个微透镜(L)。当将对通过了一个微透镜(L)的被摄体光入射的四个光电转换元件所配置的相同颜色的滤色器设为单位块时，滤色器排列包含由与3×3块对应的正方排列图案构成的基本排列图案(P1)(由粗框表示的图案)，该基本排列图案(P1)在水平方向及垂直方向上重复配置。

Description

彩色摄像元件
技术领域
本发明涉及彩色摄像元件，尤其是涉及能够抑制彩色莫尔条纹的发生及实现高分辨率化的彩色摄像元件。
背景技术
单板彩色摄像元件的输出图像是RAW图像(马赛克图像)，因此通过从周围的像素对缺失的颜色的像素进行插值的处理(去马赛克算法处理)而能得到多通道图像。
去马赛克算法处理是根据单板式的彩色摄像元件的滤色器排列所对应的马赛克图像而对应各像素来算出全部的颜色信息的处理，也称为去马赛克算法处理。例如，在由RGB三种颜色的滤色器构成的摄像元件的情况下，是根据由RGB构成的马赛克图像而对应各像素来算出RGB全部的颜色信息的处理。
在这种情况下成为问题的是高频的图像信号的再现特性，彩色摄像元件与黑白的摄像元件相比，拍摄到的图像容易产生混淆现象，因此抑制彩色莫尔条纹(伪色)的发生并且扩宽再现带域而实现高分辨率化这样的情况是重要的课题。
在单板彩色摄像元件中应用最广泛的颜色排列即原色系拜耳排列中，将绿(G)像素配置成棋盘式格纹状，并将红(R)、蓝(B)配置成线型顺序，因此生成G信号为倾斜方向且R、B信号为水平、垂直方向的高频信号时的再现精度成为问题。
在图21的(A)部分所示的黑白的纵条纹花样(高频图像)入射到图21的(B)部分所示的拜耳排列的摄像元件的情况下，当将其向拜耳的颜色排列分配而对应各颜色进行比较时，如图21的(C)部分至(E)部分所示，R成为浅且平坦的马赛克状的颜色图像，B成为深且平坦的马赛克状的颜色图像，G成为深浅的马赛克状的颜色图像，本来为黑白图像，相对于此，在RGB间未产生深度差(等级差)，但是通过颜色排列和输入频率而成为着色的状态。
同样地，在图22的(A)部分所示的倾斜的黑白的高频图像入射到图22的(B)部分所示的拜耳排列的摄像元件的情况下，当将其向拜耳的颜色排列分配而对应各颜色进行比较时，如图22的(C)部分至(E)部分所示，R和B成为浅且平坦的颜色图像，G成为深且平坦的颜色图像，假设黑色的值为0且白色的值为255时，倾斜的黑白的高频图像中，仅G为255，因此成为绿色。
这样一来，在拜耳排列中，无法使倾斜的高频图像准确地再现。
通常在使用单板式的彩色摄像元件的摄像装置中，将由水晶等双折射物质构成的光学低通滤波器配置于彩色摄像元件的前表面，通过光学性地使高频减低而回避。然而，在该方法中，虽然由高频信号的折返引起的着色能够减轻，但是其弊端中存在分辨率下降这样的问题。
为了解决这样的问题，提出了将彩色摄像元件的滤色器排列设为满足以下排列限制条件的三色随机排列的彩色摄像元件：任意的关注像素在该关注像素的四边中的任一边与包含该关注像素的颜色在内的三色相邻(专利文献1)。
另外，提出了一种滤色器排列的图像传感器，具有分光灵敏度不同的多个滤光片，其中的第一滤光片和第二滤光片沿着图像传感器的像素格子的一个对角方向以第一预定的周期交替配置，并且沿着另一个对角方向以第二预定的周期交替配置(专利文献2)。
而且，在RGB三原色的彩色固体摄像元件中，提出了如下的颜色排列：将R、G、B水平配置的三个像素沿着垂直方向呈锯齿状地错开配置，由此使RGB各自的出现概率均等，且摄像面上的任意的直线(水平、垂直、倾斜的直线)通过全部的颜色(专利文献3)。
此外，提出了将RGB三原色中的R、B沿着水平方向及垂直方向分别隔开三个像素配置且在上述的R、B之间配置有G的彩色摄像元件(专利文献4)。
另外，提出了将G像素沿着水平方向及垂直方向每两个像素进行排列而进行四像素配置且对于该四像素组设有一个单片透镜的摄像元件(专利文献5)。
专利文献1：日本特开2000-308080号公报
专利文献2：日本特开2005-136766号公报
专利文献3：日本特开平11-285012号公报
专利文献4：日本特开平8-23543号公报
专利文献5：日本特开2011-29379号公报
发明内容
发明要解决的课题
专利文献1记载的彩色摄像元件由于滤光片排列随机，因此在进行后段的去马赛克算法处理时，需要对应各随机图案进行最优化，存在去马赛克算法处理变得烦杂这样的问题。而且，在随机排列中，对于低频的彩色莫尔条纹有效，但是对于高频部的伪色无效。
专利文献2记载的图像传感器将G像素(亮度像素)配置成棋盘式格纹状，因此存在极限分辨率区域(尤其是倾斜方向)中的像素再现精度不良这样的问题。
专利文献3记载的彩色固体摄像元件由于在任意的直线上存在全部颜色的滤光片，因此存在能够抑制伪色的发生的优点，但是RGB的像素数的比率相等，因此存在高频再现性比拜耳排列低这样的问题。另外，在拜耳排列的情况下，最有助于获得亮度信号的G的像素数的比率成为R、B各自的像素数的2倍。
另一方面，专利文献4记载的彩色摄像元件的G的像素数相对于R、B各自的像素数的比率高于拜耳排列，但是水平或垂直方向上仅存在G像素的行，因此在水平或垂直方向上对于高频部的伪色无效。
专利文献4记载的摄像元件将四像素排列的G像素与沿着对角各配置两个像素的B像素及R像素的组交替排列，对于伪色的发生的抑制无效。
本发明鉴于这样的情况而作出，目的在于提供一种能够抑制伪色的发生及实现高分辨率化并且与以往的随机排列相比能够简化后段的处理的彩色摄像元件。
用于解决课题的方案
为了实现上述目的，本发明的一方案的彩色摄像元件是在由光电转换元件构成的多个像素上配置包括第一滤光片和第二滤光片的特定的滤色器排列的滤色器而成的单板式的彩色摄像元件，上述第一滤光片与一种颜色以上的第一色对应，上述第二滤光片与用于获得亮度信号的贡献率比第一色低的两种颜色以上的第二色对应，在上下左右相邻的预定数的光电转换元件配置相同颜色的滤色器，当将在上下左右相邻的预定数的光电转换元件配置的滤色器设为单位块时，滤色器排列由多个单位块构成，单位块包含排列成正方格子状的基本排列图案，该基本排列图案在水平方向及垂直方向上重复地配置，第一滤光片在滤色器排列的水平、垂直斜右上及斜右下方向的各行内配置一个以上，与第二色的各色对应的第二滤光片在滤色器排列的水平及垂直方向的各行内配置一个以上，第一滤光片所对应的第一色的像素数的比率大于第二滤光片所对应的第二色的各色的像素数的比率。
根据本发明的一方案的彩色摄像元件，与一种颜色以上的第一色对应的第一滤光片和与用于获得亮度信号的贡献率比第一色低的两种颜色以上的第二色对应的第二滤光片中的预定的一种颜色的滤色器配置于上下左右相邻的预定数的光电转换元件，当将该在上下左右相邻的预定数的光电转换元件配置的滤色器设为单位块时，滤色器排列包含多个单位块排列成正方格子状的基本排列图案，基本排列图案在水平方向及垂直方向上重复地配置。
由此，在进行后段的去马赛克算法处理时，能够按照重复图案进行处理，与以往的随机排列相比能够简化后段的处理。
另外，由于第一滤光片在滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置一个以上，因此能够提高高频区域的去马赛克算法处理的再现精度。而且，第二滤光片在基本排列图案内在滤色器排列的水平及垂直方向的各行内配置一个以上。由此，能够抑制彩色莫尔条纹(伪色)的发生而实现高分辨率化。
另外，使第一滤光片所对应的第一色的像素数与第二滤光片所对应的第二色的各色的像素数的比率不同，尤其是用于获得亮度信号的贡献率高的第一色的像素数的比率大于第二滤光片所对应的第二色的各色的像素数的比率，因此能够抑制混淆现象并能够使高频再现性良好。
本发明的一方案的彩色摄像元件是在由相邻的元件的中心沿水平方向及垂直方向各错开1/2像素间距的排列成斜格子状的光电转换元件构成的多个像素上配置包括第一滤光片和第二滤光片的特定的滤色器排列的滤色器而成的单板式的彩色摄像元件，上述第一滤光片与一种颜色以上的第一色对应，上述第二滤光片与用于获得亮度信号的贡献率比第一色低的两种颜色以上的第二色对应，在斜右上及斜右下方向上相邻的预定数的光电转换元件上配置相同颜色的滤色器，当将在斜右上及斜右下方向上相邻的预定数的光电转换元件所配置的滤色器设为单位块时，滤色器排列由多个单位块构成，单位块包含排列成斜格子状的基本排列图案，该基本排列图案在斜右上及斜右下方向上重复地配置，第一滤光片在滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置一个以上，配置有与第二色的各色对应的第二滤光片的单位块在滤色器排列的的斜右上及斜右下方向的各行内配置一个以上，第一滤光片所对应的第一色的像素数的比率大于第二滤光片所对应的第二色的各色的像素数的比率。
根据本发明的一方案的彩色摄像元件，在相邻的元件的中心沿水平方向及垂直方向各错开1/2像素间距的排列成斜格子状的光电转换元件中的斜右上及斜右下方向上相邻的预定数的光电转换元件配置与一种颜色以上的第一色对应的第一滤光片和与用于获得亮度信号的贡献率比第一色低的两种颜色以上的第二色对应的第二滤光片中的预定的一种颜色的滤色器，当将该在斜右上及斜右下方向上相邻的预定数的光电转换元件所配置的滤色器设为单位块时，滤色器排列包含多个单位块排列成斜格子状的基本排列图案，基本排列图案在斜右上及斜右下方向上重复地配置。
由此，在进行后段的去马赛克算法处理时，能够按照重复图案进行处理，与以往的随机排列相比，能够简化后段的处理。
另外，第一滤光片在滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置一个以上，因此能够提高高频区域的去马赛克算法处理的再现精度。而且，第二滤光片在基本排列图案内在滤色器排列的斜右上及斜右下方向的各行内配置一个以上。由此，能够抑制彩色莫尔条纹(伪色)的发生而实现高分辨率化。
另外，使第一滤光片所对应的第一色的像素数与第二滤光片所对应的第二色的各色的像素数的比率不同，尤其是用于获得亮度信号的贡献率高的第一色的像素数的比率大于第二滤光片所对应的第二色的各色的像素数的比率，因此能够抑制混淆现象并能够使高频再现性良好。
在本发明的另一方案的彩色摄像元件中，优选的是，预定数的光电转换元件是4×4像素或9×9像素。
在本发明的另一方案的彩色摄像元件中，优选的是，基本排列图案内的滤色器排列相对于该基本排列图案的中心而点对称。
由此，能够在后段减小处理电路的电路规模。
在本发明的另一方案的彩色摄像元件中，优选的是，基本排列图案是N×N(N：4以上且8以下的整数)的单位块。
在本发明的另一方案的彩色摄像元件中，优选的是，基本排列图案是6×6的单位块。
在本发明的另一方案的彩色摄像元件中，优选的是，滤色器排列在3×3的单位块中，配置有第一滤光片的单位块配置于中心和四角。由此，能够将第一滤光片配置于滤色器排列的水平、垂直、斜右上及斜右下方向的各行内。
在本发明的另一方案的彩色摄像元件中，优选的是，彩色摄像元件具备配置于光电转换元件的上方的光瞳分割单元，入射到光瞳分割单元的光被光瞳分割而分别导至预定数的光电转换元件的受光面。由此，能够得到与预定数相同张数的不同的图像数据。
在本发明的另一方案的彩色摄像元件中，优选的是，第一色为绿(G)色，第二色为红(R)色及蓝(B)色。
在本发明的另一方案的彩色摄像元件中，优选的是，基本排列图案是与6×6的单位块对应的正方排列图案，滤色器排列由第一排列和第二排列交替地排列于水平方向及垂直方向上而构成，该第一排列对应于3×3的单位块，在中心和四角配置有G滤光片的单位块，隔着中心的G滤光片上下配置有B滤光片的单位块，左右排列有R滤光片的单位块，该第二排列对应于3×3的单位块，在中心和四角配置有G滤光片的单位块，隔着中心的G滤光片上下配置有R滤光片的单位块，左右排列有B滤光片的单位块。另外，具备上述的彩色摄像元件的摄像装置也包含于本发明中。
发明效果
根据本发明，能够抑制伪色的发生及实现高分辨率化，并且与以往的随机排列相比，能够简化后段的处理。
附图说明
图1是表示本发明的单板式的彩色摄像元件的第一实施方式的图。
图2是表示第一实施方式的彩色摄像元件的受光面的结构例的图。
图3是表示将第一实施方式的彩色摄像元件的滤色器排列中包含的6×6像素的基本排列图案分割成3×3像素的A排列和B排列并对它们进行配置的情况且表示根据该滤色器排列中包含的2×2像素的G像素的像素值来判别相关方向的方法的图。
图4是使用了第一实施方式的彩色摄像元件的摄像装置的框图。
图5是为了说明视差图像的生成而使用的图。
图6是表示第一实施方式的变形例1的彩色摄像元件的滤色器排列的图。
图7是表示第一实施方式的变形例1的彩色摄像元件的受光面的结构例的图。
图8是表示第一实施方式的变形例2的彩色摄像元件的滤色器排列的图。
图9是表示第一实施方式的变形例2的彩色摄像元件的受光面的结构例的图。
图10是表示第一实施方式的变形例3的彩色摄像元件的受光面的结构例的图。
图11是表示本发明的单板式的彩色摄像元件的第二实施方式的图。
图12是表示本发明的单板式的彩色摄像元件的第三实施方式的图。
图13是表示本发明的单板式的彩色摄像元件的第四实施方式的图。
图14是表示本发明的单板式的彩色摄像元件的第五实施方式的图。
图15是表示本发明的单板式的彩色摄像元件的第六实施方式的图。
图16是表示本发明的单板式的彩色摄像元件的第七实施方式的图。
图17是表示本发明的单板式的彩色摄像元件的第八实施方式的图。
图18是表示配置有R滤光片(红色滤光片)、G1滤光片(第一绿色滤光片)、G2滤光片(第二绿色滤光片)及B滤光片(蓝色滤光片)的受光元件的分光灵敏度特性的坐标图。
图19是表示配置有R滤光片、G滤光片、B滤光片及W滤光片(透明滤光片)的受光元件的分光灵敏度特性的坐标图。
图20是表示配置有R滤光片、G滤光片、B滤光片及翠绿色滤光片E(E滤光片)的受光元件的分光灵敏度特性的坐标图。
图21是为了说明以往的具有拜耳排列的滤色器的彩色摄像元件的课题而使用的图。
图22是为了说明以往的具有拜耳排列的滤色器的彩色摄像元件的课题而使用的另一图。
具体实施方式
以下，按照附图，详细说明本发明的彩色摄像元件的优选的实施方式。
<第一实施方式>
[摄像设备]
图1是表示本发明的单板式的彩色摄像元件的第一实施方式的图，尤其是示出了在彩色摄像元件设置的滤色器的滤色器排列。
该彩色摄像元件1包含由沿水平方向及垂直方向排列(二维排列)的光电转换元件(例如光电二极管)构成的多个像素(未图示)和配置于各像素的受光面上的图1所示的滤色器排列的滤色器，在各像素上配置有红(R)、绿(G)、蓝(B)三原色的滤色器中的任一个。
另外，彩色摄像元件并不局限于CCD(Charge CoupledI)evice)彩色摄像元件，可以是CMOS(Complementary Metal OxideSemiconductor)摄像元件等其他种类的摄像元件。
如图1所示，对于上下左右相邻的四个光电转换元件配置有相同颜色的滤色器。对于配置有该相同颜色的滤色器的四个光电转换元件，如图2所示，配置有一个微透镜L。微透镜L使光束向四个光电转换元件的受光面聚光，但是在分别不同的方向上使限制了光束的光(被光瞳分割的光)分别向四个光电转换元件入射。即，在彩色摄像元件1中，能够取得四视点的图像数据。
根据该彩色摄像元件1，基于从由微透镜L进行了光瞳分割的光所入射的四个光电转换元件输出的输出信号，能够生成2D图像及3D图像。另外，关于2D图像及3D图像的生成方法在后文叙述。
[滤色器排列的特征]
第一实施方式的彩色摄像元件的滤色器排列具有下述的特征(1)、(2)、(3)、(4)、(5)及(6)。以下，将对于通过了一个微透镜L的被摄体光所入射的四个光电转换元件而配置的相同颜色的滤色器作为单位块进行说明。
〔特征(1)〕
图1所示的滤色器排列包含由与6×6块对应的正方排列图案构成的基本排列图案P1(粗框表示的图案)，该基本排列图案P1在水平方向及垂直方向上重复配置。即，该滤色器排列中，R、G、B的各色的滤光片(R滤光片、G滤光片、B滤光片)以周期性排列。
这样一来，R滤光片、G滤光片、B滤光片以周期性排列，因此在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法处理等时，能够按照重复图案进行处理。
另外，在以基本排列图案P1为单位进行间拔处理而缩小图像的情况下，间拔处理后的缩小图像的滤色器排列能够与间拔处理前的滤色器排列相同，能够使用通用的处理电路。
〔特征(2)〕
图1所示的滤色器排列中，最有助于获得亮度信号的颜色(在本实施方式中为G色)所对应的G滤光片在滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内配置一个以上。另外，NE表示斜右上方向，NW表示斜右下方向。例如，在正方形的像素的排列的情况下，斜右上及斜右下方向成为相对于水平方向分别呈45°的方向，但若是长方形的像素的排列，则是长方形的对角线的方向，其角度根据长边、短边的长度而改变。
与亮度系像素对应的G滤光片配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内，因此无论成为高频的方向如何，都能够提高高频区域的去马赛克算法处理的再现精度。
〔特征(3)〕
图1所示的滤色器排列的基本排列图案P1中，该基本排列图案P1内的与R、G、B滤光片对应的R像素、G像素、B像素的像素数分别为32像素(4像素×8块)、80像素(4像素×20块)、32像素(4像素×8块)。即，RGB像素的各像素数的比率为2：5：2，最有助于获得亮度信号的G像素的像素数的比率大于其他颜色的R像素、B像素各自的像素数的比率。
如上述那样，G像素的像素数与R、B像素的像素数的比率不同，尤其是最有助于获得亮度信号的G像素的像素数的比率大于R、B像素的像素数的比率，因此能够抑制去马赛克算法处理时的混淆现象，并且也能够使高频再现性良好。
〔特征(4)〕
图1所示的滤色器排列中，上述G色以外的两种颜色以上的其他颜色(在本实施方式中，为R、B色)所对应的R滤光片、B滤光片在基本排列图案P1内，在滤色器排列的水平及垂直方向的各行内配置一个以上。
R滤光片、B滤光片配置于滤色器排列的水平及垂直方向的各行内，因此能够抑制彩色莫尔条纹(伪色)的发生。由此，能够在从光学系统的入射面到摄像面的光路上不配置用于抑制伪色的发生的光学低通滤波器，或者即使在应用光学低通滤波器的情况下，也能够应用用于防止伪色的发生的、切断高频成分的作用较弱的光学低通滤波器，从而能够不损害分辨率。
图3示出了将图1所示的基本排列图案P1分割成四个3×3块的状态。
如图3所示，基本排列图案P1也可以被当作由实线框围成的3×3块的A排列与虚线框围成的3×3块的B排列沿着水平、垂直方向交替排列而成的排列。
A排列及B排列中，作为亮度系像素的G滤光片分别配置于四角和中央的块即两对角线上。而且，A排列中，隔着中央的G滤光片沿着水平方向排列有R滤光片，沿着垂直方向排列有B滤光片，另一方面，B排列中，隔着中央的G滤光片沿着水平方向排列有B滤光片，沿着垂直方向排列有R滤光片。即，A排列和B排列中，R滤光片和B滤光片的位置关系颠倒，但其他配置相同。
另外，A排列和B排列的四角的G滤光片如图3所示，A排列和B排列沿着水平、垂直方向交替配置，由此成为与2×2块对应的正方排列的G滤光片。
这是因为，作为亮度系像素的G滤光片在A排列或B排列的3×3块中配置于四角和中央的块即两条对角线上，该3×3块沿着水平方向、垂直方向交替配置，由此形成对应于2×2像素的正方排列的G滤光片。另外，通过形成为这样的排列，能满足前述的特征(1)、(2)、(3)、后述的特征(5)。
〔特征(5)〕
图1所示的滤色器排列包含由G滤光片构成的对应于2×2块的正方排列。
如图4所示，将由G滤光片构成的2×2块取出，求出水平方向的G像素的像素值的差的绝对值、垂直方向的G像素的像素值的差的绝对值、倾斜方向(右上斜、左上斜)的G像素的像素值的差的绝对值，由此能够判断为在水平方向、垂直方向及倾斜方向中的、差的绝对值小的方向上存在相关性。
即，根据该滤色器排列，使用最小像素间隔的G像素的信息，能够进行水平方向、垂直方向及倾斜方向中的相关性高的方向判别。该方向判别结果能够使用于从周围的像素进行插值的处理(去马赛克算法处理)。
另外，将3×3块的A排列或B排列的像素作为去马赛克算法处理的对象像素，在以A排列或B排列为中心提取5×5块(马赛克图像的局所区域)的情况下，在5×5块的四角存在2×2块的G像素。通过使用上述的2×2块的G像素的像素值，能够使用最小像素间隔的G像素的信息而高精度地进行四个方向的相关方向的判别。
〔特征(6)〕
图1所示的滤色器排列的基本排列图案P1具有对称性。即，基本排列图案P1相对于该基本排列图案P1的中心形成点对称。而且，基本排列图案P1内的A排列及B排列也分别相对于中心的G滤光片形成点对称。此外，基本排列图案P1内的A排列及B排列相对于通过A排列及B排列的中心的水平方向或垂直方向的线形成线对称。
通过这样的对称性，能够减小或简化后段的处理电路的电路规模。
如图1所示，在由粗框表示的基本排列图案P1中，水平方向的第一至第六行中的第一及第三行的滤色器排列是GBGGRG，第二行的滤色器排列是RGRBGB，第四及第六行的滤色器排列是GRGGBG，第五行的滤色器排列为BGBRGR。
目前，在图1中，在将基本排列图案P1沿着水平方向及垂直方向分别各移动一个块而得到的基本排列图案设为P1’且将分别各移动两个块而得到的基本排列图案设为P1”时，将这些基本排列图案P1’、P1”在水平方向及垂直方向上重复配置，也成为相同的滤色器排列。
即，通过将基本排列图案重复地配置于水平方向及垂直方向上，能够构成图1所示的滤色器排列的基本排列图案存在多个。
在第一实施方式中，为了简便起见，将基本排列图案形成点对称的基本排列图案P称为基本排列图案。
另外，在后述的其他实施方式的滤色器排列中，相对于各滤色器排列也存在多个基本排列图案，但是将其代表性的基本排列图案称为该滤色器排列的基本排列图案。
[摄像装置]
图4是表示本发明的摄像装置10的实施方式的框图。
该摄像装置10配置有图1所示的彩色摄像元件(摄像设备)1，能够进行2D图像及3D图像的摄影，装置整体的动作由中央处理装置(CPU)40统一控制。
在摄像装置10设有快门按钮、模式转盘、重放按钮、菜单/OK键、十字键、返回键等操作部38。来自该操作部38的信号向CPU40输入，CPU40基于输入信号而控制摄像装置10的各电路，进行例如透镜驱动控制、光圈驱动控制、摄影动作控制、图像处理控制、图像数据的记录/重放控制、立体显示用的液晶监视器30的显示控制等。
快门按钮是输入摄影开始的指示的操作按钮，由具有在半按时接通的S1开关、在全按时接通的S2开关的两段行程式的开关构成。模式转盘是选择2D摄影模式、3D摄影模式、自动摄影模式、手动摄影模式、人物、风景、夜景等场景定位、微距模式、动画模式、本发明的视差优先摄影模式的选择单元。
重放按钮是用于切换成将摄影记录的多个视差图像(3D图像)、平面图像(2D图像)的静止画面或动画显示于液晶监视器30的重放模式的按钮。菜单/OK键是兼具以下功能的操作键：用于进行在液晶监视器30的画面上显示菜单的指令的作为菜单按钮的功能及对选择内容的确定及执行等进行指令的作为OK按钮的功能。十字键是输入上下左右的四个方向的指示的操作部，作为从菜单画面选择项目或者从各菜单指示各种设定项目的选择的按钮(光标移动操作单元)而发挥功能。而且，十字键的上/下键作为摄影时的变焦开关或重放模式时的重放变焦开关发挥功能，左/右键作为重放模式时的逐帧播放(正方向/反方向播放)按钮而发挥功能。返回键在选择项目等所希望的对象的删除、指示内容的取消或者返回到前一个操作状态时等被使用。
在摄影模式时，表示被摄体的图像光经由单一的摄影光学系统(变焦透镜)12、光圈14而成像于彩色摄像元件1的受光面。摄影光学系统12由CPU40所控制的透镜驱动部36来驱动，进行聚焦控制、变焦控制等。光圈14例如由五个光圈叶片构成，由CPU40所控制的光圈驱动部34驱动，例如，光圈值F1.4～F11以1AV刻度六级地进行光圈控制
另外，CPU40经由光圈驱动部34对光圈14进行控制，并且经由设备控制部32进行彩色摄像元件1的电荷蓄积时间(快门速度)、从彩色摄像元件1的图像信号的读出控制等。
蓄积于彩色摄像元件1的信号电荷基于从设备控制部32施加的读出信号而作为与信号电荷对应的电压信号被读出。从彩色摄像元件1读出的电压信号向模拟信号处理部18施加，在此将各像素的R、G、B信号进行取样保持，以从CPU40指定的增益(相当于ISO感光度)放大后向A/D转换器20施加。
A/D转换器20将依次输入的R、G、B信号转换成数字的R、G、B信号而向图像输入控制器22输出。
数字信号处理部24对于经由图像输入控制器22输入的数字的图像信号，进行偏移处理、包括白平衡校正、灵敏度校正的增益控制处理、伽玛校正处理、去马赛克算法处理、YC处理、锐度校正等信号处理。
另外，在图4中，46是ROM(EEPROM)，除了存储有相机控制程序、彩色摄像元件1的缺陷信息、图像处理等所使用的各种参数、表格及光圈优先程序线图、快门速度优先程序线图、或根据被摄体的亮度而使光圈和快门速度交替或同时变化的程序线图(通常的程序线图)之外，还存储有视差优先用的程序线图等。
视差优先用的程序线图设计成例如将F值取为5.6(AV＝5)的恒定值，摄影EV值为从11至16，根据摄影EV值而仅使快门速度从1/60秒(TV＝6)变化至1/2000(TV＝11)。而且，设计成当摄影EV值小于11时(变暗时)，在固定成F值＝5.6、快门速度＝1/60秒的状态下，每当摄影EV值减小1EV时，使ISO感光度从100变为200、400、800、1600、3200。另外，并不局限于上述视差优先用的程序线图，从彩色摄像元件1获得的四视点的视差图像根据光圈开口的大小而使其视差变化，因此在3D摄影模式时，可以控制成不会小于一定的光圈开口。
数字信号处理部24根据是2D摄影模式还是3D摄影模式而进行与该摄影模式对应的图像处理，并且进行与被摄体、摄影条件对应的图像处理。另外，关于该数字信号处理部24的图像处理的详细情况在后文叙述。
在选择了2D摄影模式时，将由数字信号处理部24处理后的2D图像数据向VRAM50输出，另一方面，在选择了3D摄影模式时，将由数字信号处理部24处理后的3D图像数据向VRAM50输出。在VRAM50中包含分别存储表示1帧量的图像的图像数据的A区域和B区域。在VRAM50中，将表示1帧量的图像的图像数据在A区域和B区域中交替改写。从VRAM50的A区域及B区域中的改写图像数据的一方的区域以外的区域读出写入的图像数据。从VRAM50读出的图像数据在视频编码器28中被编码，向设于相机背面的立体显示用的液晶监视器30输出，由此将2D/3D的被摄体像(实时取景图像)显示于液晶监视器30的显示画面上。
该液晶监视器30是能够将体视图像(左视点图像及右视点图像)通过视差屏障分别作为具有指向性的指向性图像显示的立体显示单元，但并不局限于此，也可以是使用柱面透镜的结构，或者通过配戴偏光眼镜、液晶快门眼镜等专用眼镜而能够分别观察左视点图像和右视点图像的结构。
另外，当存在操作部38的快门按钮的第一阶段的按下(半按)时，彩色摄像元件1使AF动作及AE动作开始，经由透镜驱动部36以使摄影光学系统12内的聚焦透镜来到对焦位置的方式进行控制。而且，在快门按钮半按时，从A/D转换器20输出的图像数据由AE检测部44读取。
在AE检测部44中，对画面整体的G信号进行累计，或者对在画面中央部和周边部进行了不同的加权的G信号进行累计，并将该累计值向CPU40输出。CPU40根据从AE检测部44输入的累计值来算出被摄体的亮度(摄影EV值)，基于该摄影EV值，按照程序线图来决定光圈14的光圈值及彩色摄像元件1的电子快门(快门速度)。
在此，程序线图对应于被摄体的亮度而设计由光圈的光圈值与快门速度的组合、或者它们与摄影灵敏度(ISO感光度)的组合构成的摄影(曝光)条件，以根据程序线图而决定的摄影条件进行摄影，由此无论被摄体的亮度如何，都能够拍摄适当亮度的图像。
CPU40基于按照上述程序线图而决定的光圈值，经由光圈驱动部34来控制光圈14，并基于决定的快门速度，经由设备控制部32来控制彩色摄像元件1的电荷蓄积时间。
AF处理部42是进行对比度AF处理或相位AF处理的部分。在进行相位差AF处理时，例如，检测由某一块生成的多个视差图像数据中的聚焦检测区域内的图像数据的相位差，基于表示该相位差的信息来求出离焦量。以使该离焦量为0的方式控制摄影光学系统12内的聚焦透镜，由此进行AF控制。而且，在进行对比度AF处理时，提取图像数据中的聚焦检测区域内的图像数据的高频成分，通过对该高频成分进行积分而算出表示对焦状态的AF评价值。以该AF评价值变得极大的方式控制摄影光学系统12内的聚焦透镜，由此进行AF控制。
当AE动作及AF动作结束而存在快门按钮的第二阶段的按下(全按)时，响应该按下，将从A/D转换器20输出的图像数据从图像输入控制器22向存储器(SDRAM)48输入，暂时进行存储。
暂时存储于存储器48中的图像数据由数字信号处理部24适当读出。关于图像数据，进行包含去马赛克算法处理(对与原色滤光片的排列相伴的颜色信号的空间性的错动进行插值而以去马赛克算法的方式转换颜色信号的处理)及YC处理(图像数据的亮度数据及色差数据的生成处理)的预定的信号处理。YC处理后的图像数据(YC数据)再次存储于存储器48中。
在2D摄影模式的情况下，如图2所示，当将各块的各像素设为A、B、C、D时，数字信号处理部24对应各块将A、B、C及D这四个图像数据相加，生成1像素量的图像数据。
另外，在3D摄影模式的情况下，数字信号处理部24生成各A、B、C、D的四张量的图像数据。接下来，如图5所示，数字信号处理部24在将摄像装置10水平地构成而拍摄时，将A与C的图像数据相加而生成左眼显示用图像(左视差图像)，并将B与D的图像数据相加而生成右眼显示用图像(右视差图像)。另一方面，在将摄像装置10纵向地构成而拍摄时，将A与B的图像数据相加而生成左眼显示用图像(左视差图像)，并将C与D的图像数据相加而生成右眼显示用图像(右视差图像)。在摄像装置10设有检测摄像装置10的姿势(纵横)的传感器，基于3D摄影时的摄像装置10的姿势而选择性地进行上述的像素的加法运算。由此，无论摄像装置10的姿势如何都能够拍摄三维图像。另外，在将摄像装置10纵向地构成而拍摄时，可以将A与B的图像数据相加而生成右眼显示用图像(右视差图像)，并将C与D的图像数据相加而生成左眼显示用图像(左视差图像)。彩色摄像元件1的光电二极管的排列为正方格子状，由此在视差图像生成时，能够容易地进行图像数据的加法运算。因此，能够减少视差图像的噪声。
然后，数字信号处理部24对于图像数据，进行包含去马赛克算法处理及YC处理的预定的信号处理。YC处理后的YC数据再次存储于存储器48中。
如上述那样生成并存储于存储器48中的1张量的YC数据向压缩扩展处理部26输出，在此执行了JPEG(joint photographic experts group)等的预定的压缩处理之后，经由媒介控制器52而记录于存储卡54中。而且，在3D摄影模式时生成并存储于存储器48中的2张量(左右视点量)的YC数据分别向压缩扩展处理部26输出，在此执行JPEG(jointphotographic experts group)等的压缩处理，进而生成多图像文件(MP文件：将多个图像连接的形式的文件)，该MP文件经由媒介控制器52而记录于存储卡54中。
另外，在3D摄影模式时，如图5所示生成左右两张量的视差图像，但并不局限于此，也可以将上下左右的四张量的视差图像直接记录，在3D重放时如图5所示将图像相加而输出视差图像。
<第一实施方式的变形例1>
第一实施方式的变形例1是相对于第一实施方式而单位块的像素数不同的方式。
第一实施方式的变形例1的滤色器排列与第一实施方式的滤色器排列相同，因此第一实施方式的变形例1的彩色摄像元件1-1与第一实施方式同样地具有特征(1)、(2)、(3)、(4)、(5)及(6)。以下，对第一实施方式的变形例1进行说明，但是对于与第一实施方式同样的部分，省略说明，仅说明与第一实施方式不同的部分。
[摄像设备]
如图6所示，彩色摄像元件1-1是CCD、COMS等摄像设备，包含由沿着水平方向及垂直方向排列(二维排列)的光电转换元件构成的多个像素(未图示)和配置于在各像素的受光面上的图6所示的滤色器排列的滤色器，在各像素上，配置红(R)、绿(G)、蓝(B)三原色的滤色器中的任一个。
如图6所示，对于上下左右的九个光电转换元件配置有相同颜色的滤色器。对于配置有该相同颜色的滤色器的九个光电转换元件，如图7所示，配置有一个微透镜L-1。微透镜L-1使光束向九个光电转换元件的受光面聚光，但也可以使对应上下左右的九个方向分别限制了光束的光(被光瞳分割的光)分别向九个光电转换元件入射。即，在彩色摄像元件1-1中，能够取得九视点的图像数据。如图7所示，当将各块的各像素设为A、B、C、D、E、F、G、H、I时，中央的像素E是来自摄像装置10-1(未图示)正面的光束入射的像素，A、B、C、D、F、G、H、I被入射来自摄像装置10-1正面以外的光束。
根据该彩色摄像元件1-1，基于从由微透镜L进行了光瞳分割的光所入射的九个光电转换元件输出的输出信号，能够生成2D图像及3D图像。
[摄像装置]
在2D摄影模式的情况下，数字信号处理部24-1(未图示)仅使用各块的E像素的图像数据来生成1像素量的图像数据。另外，也可以对应各块将A、B、C、D、E、F、G、H及I这9个图像数据相加，生成1像素量的图像数据。
另外，在3D摄影模式的情况下，数字信号处理部24-1生成A、B、C、D、E、F、G、H、I不同的9张量的图像数据。数字信号处理部24-1在将摄像装置10-1(未图示)水平地构成而拍摄时，将A、D及G的图像数据相加而生成左眼显示用图像(左视差图像)，并将C、F及I的图像数据相加而生成右眼显示用图像(右视差图像)。另一方面，在将摄像装置10-1纵向地构成而拍摄时，将A、B及C的图像数据相加而生成左眼显示用图像(左视差图像)，并将G、H及I的图像数据相加而生成右眼显示用图像(右视差图像)。另外，在将摄像装置10-1纵向地构成而拍摄时，可以将A、B及C的图像数据相加而生成右眼显示用图像(右视差图像)，并将G、H及I的图像数据相加而生成左眼显示用图像(左视差图像)。
另外，单位块的像素数并不局限于4或9，可以使用各种方式。
<第一实施方式的变形例2>
第一实施方式的变形例2是相对于第一实施方式而光电二极管的排列方式不同的方式。
第一实施方式的变形例1的滤色器排列与第一实施方式的滤色器排列相同，因此第一实施方式的变形例2的彩色摄像元件1-2与第一实施方式同样地具有特征(1)、(2)、(3)、(4)、(5)及(6)。以下，对于第一实施方式的变形例2进行说明，但是对于与第一实施方式同样的部分，省略说明，仅说明与第一实施方式不同的部分。
[摄像设备]
如图8所示，彩色摄像元件1-2将多个光电转换元件排列成斜格子状。即，相邻的光电转换元件的中心沿着水平方向及垂直方向各错开1/2像素间距地配置。这样一来，彩色摄像元件1-2对应于使图1所示的彩色摄像元件1旋转了45°所得到的彩色摄像元件。
如图8所示，彩色摄像元件1-2对于沿着斜右上及斜右下方向相邻的四个光电转换元件而配置有相同颜色的滤色器。对于配置有该相同颜色的滤色器的四个光电转换元件，如图9所示，配置有一个微透镜L。在本实施方式中，将对于四个光电转换元件而配置的相同颜色的该滤色器作为单位块进行说明。
微透镜L-2使光束向四个光电转换元件的受光面聚光，但是使对应上下左右的四个方向分别限制了光束的光(被光瞳分割的光)分别向四个光电转换元件入射。即，在彩色摄像元件1-2中，能够取得四视点的图像数据。
根据该彩色摄像元件1-2，基于从由微透镜L进行了光瞳分割的光所入射的四个光电转换元件输出的输出信号，能够生成2D图像及3D图像。另外，关于2D图像及3D图像的生成方法在后文叙述。
[滤色器排列的特征]
〔特征(1)〕
图8所示的滤色器排列包含由与6×6块对应的斜格子排列图案构成的基本排列图案P1-2(由粗框表示的图案)，该基本排列图案P1-2呈斜格子状地重复配置。
〔特征(2)〕
图8所示的滤色器排列对应于使图1所示的第一实施方式的滤色器排列旋转了45°所得到的滤色器排列，但是与第一实施方式的滤色器排列同样地，图8所示的滤色器排列的G滤光片配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内。
〔特征(3)〕
图8所示的滤色器排列的基本排列图案P1-2中，该基本排列图案P1-2内的R、G、B滤光片所对应的R像素、G像素、B像素的像素数分别为32像素(4像素×8块)、80像素(4像素×20块)、32像素(4像素×8块)。即，RGB像素的各像素数的比率为2：5：2，最有助于获得亮度信号的G像素的像素数的比率大于其他颜色的R像素、B像素各自的像素数的比率。
如上述那样G像素的像素数与R、B像素的像素数的比率不同，尤其是最有助于获得亮度信号的G像素的像素数的比率大于R、B像素的像素数的比率，因此能够抑制去马赛克算法处理时的混淆现象，并且也使高频再现性良好。
〔特征(4)〕
图1所示的第一实施方式的滤色器排列中，R滤光片、B滤光片在基本排列图案P1内，在滤色器排列的水平及垂直方向的各行内配置一个以上，但是如图8所示，第一实施方式的变形例2的滤色器排列对应于使第一实施方式的滤色器排列旋转了45°所得到的滤色器排列，因此R滤光片、B滤光片在基本排列图案P1-2内，在滤色器排列的倾斜(NE、NW)方向的各行内配置一个以上。
〔特征(5)〕
对于A排列和B排列的四角的G滤光片，A排列与B排列呈斜格子状而相互不同地配置，由此成为与2×2块对应的斜格子排列(4像素沿上下左右相邻的十字状的排列)的G滤光片。
这是因为，作为亮度系像素的G滤光片在A排列或B排列的3×3块中配置于四角和中央，由于该3×3像素配置成斜格子状而形成对应于2×2块的斜格子排列的G滤光片。
〔特征(6)〕
图8所示的滤色器排列的基本排列图案P1-2具有对称性。即，基本排列图案P1-2相对于该基本排列图案P1-2的中心形成点对称。而且，基本排列图案P1-2内的A排列及B排列也分别相对于中心的G滤光片形成点对称。此外，基本排列图案P1-2内的A排列及B排列相对于通过A排列及B排列的中心的NE方向或NW方向的线形成线对称。
通过这样的对称性，能够减小或简化后段的处理电路的电路规模。
这样一来，第一实施方式的变形例2的彩色摄像元件1-2对应于使第一实施方式的彩色摄像元件1旋转了45°所得到的彩色摄像元件，因此与排列成正方格子状的彩色摄像元件1相比，水平及垂直方向的可再现的带域变为√2倍，与人类的视觉的频率特性在水平及垂直方向比倾斜方向高这样的特性一致，可以说是在视觉上有利的结构。
[摄像装置]
数字信号处理部24-2(未图示)在2D摄影模式的情况下，对应各块将A、B、C及D这四个图像数据相加，生成1像素量的图像数据。
另外，在3D摄影模式的情况下，数字信号处理部24-2生成A、B、C、D不同的四张量的图像数据。数字信号处理部24-2在将摄像装置10-2(未图示)水平地构成而拍摄时，根据B的图像数据来生成左眼显示用图像(左视差图像)，并根据C的图像数据来生成右眼显示用图像(右视差图像)。另一方面，在将摄像装置10纵向地构成而拍摄时，根据A的图像数据而生成左眼显示用图像(左视差图像)，并根据D的图像数据而生成着眼显示用图像(右视差图像)。另外，在将摄像装置10纵向地构成而拍摄时，也可以根据D的图像数据而生成左眼显示用图像(左视差图像)，并根据A的图像数据而生成右眼显示用图像(右视差图像)。
第一实施方式的变形例2的彩色摄像元件1-2将相邻的光电转换元件的中心沿着水平方向及垂直方向各错开1/2像素间距地配置，因此彩色摄像元件1-2的水平方向的视差(A与D的间隔)及垂直方向的视差(B与D的间隔)比第一实施方式的彩色摄像元件1的水平方向的视差(A与B或C与D的间隔)及垂直方向的视差(A与C或B与D的间隔)宽。因此，视差图像的视差变大，能够拍摄更有效的视差图像。
<第一实施方式的变形例3>
第一实施方式的变形例1是相对于第一实施方式的变形例2而光瞳分割的方法不同的方式。以下，对第一实施方式的变形例3进行说明，但是对于与第一实施方式的变形例2同样的部分，省略说明，仅说明与第一实施方式的变形例2不同的部分。
[摄像设备]
在第一实施方式的变形例2中，对于配置有相同颜色的滤色器的四个光电转换元件，如图9所示，配置有一个微透镜L-2，但是在第一实施方式的变形例3中，在四个光电转换元件的各受光面的前表面配置有遮光部件S1～S4。如图10所示，在彩色摄像元件1-2’中，在相当于图9的A的像素配置将大致下半部分的光束遮挡的遮光部件S1，在图相当于9的B的像素配置将大致右半部分的光束遮挡的遮光部件S2，在相当于图9的C的像素配置将大致左半部分的光束遮挡的遮光部件S3，在相当于图9的D的像素配置将大致上半部分的光束遮挡的遮光部件S4。由此，在配置有相同颜色的滤色器的四个光电转换元件中，使在上下左右这四个方向分别限制了光束的光(被光瞳分割的光)分别向四个光电转换元件入射。即，在彩色摄像元件1-2中，能够取得四视点的图像数据。
<第二实施方式>
本发明的第二实施方式的单板式的彩色摄像元件相对于第一实施方式的单板式的彩色摄像元件，仅仅是设于彩色摄像元件的滤色器的滤色器排列不同。以下，对第二实施方式进行说明，但是对于与第一实施方式同样的部分，省略说明，仅说明与第一实施方式不同的滤色器排列。
[滤色器排列的特征]
图11是表示本发明的单板式的彩色摄像元件的第二实施方式的图，特别示出了设于彩色摄像元件2的滤色器的滤色器排列。第二实施方式的彩色摄像元件的滤色器排列具有下述的特征(1)、(2)、(3)、(4)及(6)。
〔特征(1)〕
彩色摄像元件2的滤色器排列包含由对应于4×4块的正方排列图案构成的基本排列图案P2(由粗框表示的图案)，该基本排列图案P2在着水平方向及垂直方向上重复配置。
〔特征(2)〕
图11所示的滤色器排列与第一实施方式相同，G滤光片配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内。
〔特征(3)〕
图11所示的滤色器排列的基本排列图案P2中，该基本排列图案内的R、G、B滤光片所对应的R像素、G像素、B像素的像素数分别为16像素(4块×4像素)、32像素(8块×4像素)、16像素(4块×4像素)。即，RGB像素的各像素数的比率为1：2：1，最有助于获得亮度信号的G像素的像素数的比率大于其他颜色的R像素、B像素各自的像素数的比率。
〔特征(4)〕
图11所示的滤色器排列与第一实施方式相同，R滤光片、B滤光片配置于滤色器排列的水平及垂直方向的各行内。
〔特征(6)〕
图11所示的基本排列图案P2相对于该基本排列图案P2的中心形成点对称。
另外，图11所示的滤色器排列不包含由G滤光片构成的对应于2×2块的正方排列(即，特征(5)不满足。以下相同)。然而，图11所示的滤色器排列具有沿水平方向相邻的G滤光片，而且，具有沿倾斜(NE、NW)方向相邻的G滤光片。在垂直方向上，隔着R滤光片或B滤光片而存在G滤光片，因此能够在判断垂直方向的相关性时使用上述的G滤光片所对应的G像素的像素值。
<第三实施方式>
本发明的第三实施方式的单板式的彩色摄像元件相对于第一实施方式的单板式的彩色摄像元件，仅仅是设于彩色摄像元件的滤色器的滤色器排列不同。以下，对第三实施方式进行说明，但是对于与第一实施方式同样的部分，省略说明，仅说明与第一实施方式不同的滤色器排列。
[滤色器排列的特征]
图12是表示本发明的单板式的彩色摄像元件的第三实施方式的图，尤其是示出了设于彩色摄像元件3的滤色器的滤色器排列。第三实施方式的彩色摄像元件的滤色器排列具有下述的特征(1)、(2)、(3)及(4)。
〔特征(1)〕
彩色摄像元件3的滤色器排列包含由对应于5×5块的正方排列图案构成的基本排列图案P3(由粗框表示的图案)，该基本排列图案P3在水平方向及垂直方向上重复配置。
〔特征(2)〕
图12所示的滤色器排列与第一实施方式相同，G滤光片配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内。
〔特征(3)〕
图12所示的滤色器排列的基本排列图案P3中，该基本排列图案P3内的R、G、B滤光片所对应的R像素、G像素、B像素的像素数分别为28像素(7块×4像素)、44像素(11块×4像素)、28像素(7块×4像素)。即，RGB像素的各像素数的比率为7：11：7，最有助于获得亮度信号的G像素的像素数的比率大于其他颜色的R像素、B像素各自的像素数的比率。
〔特征(4)〕
图12所示的滤色器排列与第一实施方式相同，R滤光片、B滤光片配置于滤色器排列的水平及垂直方向的各行内。
另外，图12所示的滤色器排列不包含由G滤光片构成的对应于2×2块的正方排列。而且，基本排列图案P3未形成点对称(即，特征(6)不满足。以下相同)。
<第四实施方式>
本发明的第四实施方式的单板式的彩色摄像元件相对于第一实施方式的单板式的彩色摄像元件，仅仅是设于彩色摄像元件的滤色器的滤色器排列不同。以下，对第四实施方式进行说明，但是对于与第一实施方式同样的部分，省略说明，仅说明与第一实施方式不同的滤色器排列。
[滤色器排列的特征]
图13是表示本发明的单板式的彩色摄像元件的第四实施方式的图，尤其是示出了设于彩色摄像元件4的滤色器的滤色器排列。第四实施方式的彩色摄像元件的滤色器排列具有下述的特征(1)、(2)、(3)及(4)。
〔特征(1)〕
彩色摄像元件4的滤色器排列与第三实施方式相同，包含由对应于5×5块的正方排列图案构成的基本排列图案P4(由粗框表示的图案)，该基本排列图案P4在水平方向及垂直方向上重复配置。
〔特征(2)〕
图13所示的滤色器排列与第一实施方式相同，G滤光片配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内。
〔特征(3)〕
图13所示的滤色器排列的基本排列图案P4中，该基本排列图案P4内的R、G、B滤光片所对应的R像素、G像素、B像素的像素数分别为24像素(6块×4像素)、52像素(13块×4像素)、24像素(6块×4像素)。即，RGB像素的各像素数的比率为6：13：6，最有助于获得亮度信号的G像素的像素数的比率大于其他颜色的R像素、B像素各自的像素数的比率。
〔特征(4)〕
图13所示的滤色器排列的R滤光片、B滤光片配置于滤色器排列的水平及垂直方向的各行内。
另外，图13所示的滤色器排列不包含由G滤光片构成的对应于2×2块的正方排列，但是存在G滤光片相互相邻的4块的块状，根据这4块的像素值能够以最小像素间隔来判断水平、垂直及倾斜(NE、NW)方向的相关性。而且，基本排列图案P4未形成点对称。
<第五实施方式>
本发明的第五实施方式的单板式的彩色摄像元件相对于第一实施方式的单板式的彩色摄像元件，仅仅是设于彩色摄像元件的滤色器的滤色器排列不同。以下，对第五实施方式进行说明，但是对于与第一实施方式同样的部分，省略说明，仅说明与第一实施方式不同的滤色器排列。
[滤色器排列的特征]
图14是表示本发明的单板式的彩色摄像元件的第五实施方式的图，尤其是示出了设于彩色摄像元件5的滤色器的滤色器排列。第五实施方式的彩色摄像元件的滤色器排列具有下述的特征(1)、(2)、(3)及(4)。
〔特征(1)〕
彩色摄像元件5的滤色器排列与第三实施方式相同，包含由对应于5×5块的正方排列图案构成的基本排列图案P5(由粗框表示的图案)，该基本排列图案P5在水平方向及垂直方向上重复配置。
〔特征(2)〕
图14所示的滤色器排列的G滤光片配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内。
〔特征(3)〕
图14所示的滤色器排列的基本排列图案P5中，该基本排列图案P5内的R、G、B滤光片所对应的R像素、G像素、B像素的像素数分别为32像素(8块×4像素)、36像素(9块×4像素)、32像素(8块×4像素)。即，RGB像素的各像素数的比率为8：9：8，最有助于获得亮度信号的G像素的像素数的比率大于其他颜色的R像素、B像素各自的像素数的比率。
〔特征(4)〕
图14所示的滤色器排列的R滤光片、B滤光片配置于滤色器排列的水平及垂直方向的各行内。
而且，图14所示的滤色器排列的R滤光片、B滤光片也配置于滤色器排列的倾斜(NE、NW)方向的各行内。
即，该滤色器排列的R、G、B滤光片全部配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内，由此，能够进一步提高倾斜方向的颜色再现性，在这一点上，具有第一实施方式的彩色摄像元件的滤色器排列所没有的特征。
另外，图14所示的滤色器排列不包含由G滤光片构成的对应于2×2块的正方排列，而且，基本排列图案P5未形成点对称。
<第六实施方式>
本发明的第六实施方式的单板式的彩色摄像元件相对于第一实施方式的单板式的彩色摄像元件，仅仅是设于彩色摄像元件的滤色器的滤色器排列不同。以下，对第六实施方式进行说明，但是对于与第一实施方式同样的部分，省略说明，仅说明与第一实施方式不同的滤色器排列。
[滤色器排列的特征]
图15是表示本发明的单板式的彩色摄像元件的第六实施方式的图，尤其是示出了设于彩色摄像元件6的滤色器的滤色器排列。第六实施方式的彩色摄像元件的滤色器排列具有下述的特征(1)、(2)、(3)、(4)、(5)及(6)。
〔特征(1)〕
彩色摄像元件6的滤色器排列包含由对应于7×7块的正方排列图案构成的基本排列图案P6(由粗框表示的图案)，该基本排列图案P6在水平方向及垂直方向上重复配置。
〔特征(2)〕
图15所示的滤色器排列与第一实施方式相同，G滤光片配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内。
〔特征(3)〕
图15所示的滤色器排列的基本排列图案P6中，该基本排列图案P6内的R、G、B滤光片所对应的R像素、G像素、B像素的像素数分别为48像素(12块×4像素)、100像素(25块×4像素)、48像素(12块×4像素)。即，RGB像素的各像素数的比率为12：25：12，最有助于获得亮度信号的G像素的像素数的比率大于其他颜色的R像素、B像素各自的像素数的比率。
〔特征(4)〕
图15所示的滤色器排列的R滤光片、B滤光片配置于滤色器排列的水平及垂直方向的各行内。
〔特征(5)〕
图15所示的滤色器排列包含由G滤光片构成的对应于2×2块的正方排列。
〔特征(6)〕
图15所示的基本排列图案P6相对于该基本排列图案P6的中心形成点对称。
<第七实施方式>
本发明的第七实施方式的单板式的彩色摄像元件相对于第一实施方式的单板式的彩色摄像元件，仅仅是设于彩色摄像元件的滤色器的滤色器排列不同。以下，对第七实施方式进行说明，但是对于与第一实施方式同样的部分，省略说明，仅说明与第一实施方式不同的滤色器排列。
[滤色器排列的特征]
图16是表示本发明的单板式的彩色摄像元件的第七实施方式的图，尤其是示出了设于彩色摄像元件7的滤色器的滤色器排列。第七实施方式的彩色摄像元件的滤色器排列具有下述的特征(1)、(2)、(3)、(4)、(5)及(6)。
〔特征(1)〕
彩色摄像元件7的滤色器排列包含由对应于8×8块的正方排列图案构成的基本排列图案P7(由粗框表示的图案)，该基本排列图案P7在水平方向及垂直方向上重复配置。
在将该基本排列图案分割成四个4×4块时，对角的4×4图像的排列相同，水平方向上或垂直方向上相邻的4×4块的排列的R滤光片与B滤光片的位置关系颠倒，但是其他配置相同。
〔特征(2)〕
图16所示的滤色器排列与第一实施方式相同，G滤光片配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内。
〔特征(3)〕
图16所示的滤色器排列的基本排列图案P7中，该基本排列图案P7内的R、G、B滤光片所对应的R像素、G像素、B像素的像素数分别为64像素(16块×4像素)、128像素(32块×4像素)、64像素(16块×4像素)。即，RGB像素的各像素数的比率为1：2：1，最有助于获得亮度信号的G像素的像素数的比率大于其他颜色的R像素、B像素各自的像素数的比率。
〔特征(4)〕
图16所示的滤色器排列的R滤光片、B滤光片配置于滤色器排列的水平及垂直方向的各行内。
〔特征(5)〕
图16所示的滤色器排列包含由G滤光片构成的对应于2×2块的正方排列。
〔特征(6)〕
图16所示的基本排列图案P7相对于该基本排列图案P7的中心形成点对称。
<第八实施方式>
上述第一至第七实施方式的彩色摄像元件的滤色器排列均是RGB三原色的滤色器的滤色器排列，但是第八实施方式的彩色摄像元件的滤色器排列除了RGB滤光片之外，在加入有翠绿色(E)的E滤光片)的四种颜色的滤色器的滤色器排列这一点上不同。
以下，对第八实施方式的单板式的彩色摄像元件8进行说明，但是对于与第一实施方式及第七实施方式同样的部分，省略说明，仅说明与第一实施方式及第七实施方式不同的点。
[滤色器排列的特征]
图17是表示本发明的单板式的彩色摄像元件的第八实施方式的图，尤其是示出了设于彩色摄像元件8的滤色器的滤色器排列。第八实施方式的彩色摄像元件的滤色器排列具有下述的特征(1)、(2)、(3)、(4)、(5)及(6)。
〔特征(1)〕
彩色摄像元件8的滤色器排列与第七实施方式同样地包含由对应于8×8块的正方排列图案构成的基本排列图案P8(由粗框表示的图案)，该基本排列图案P8在水平方向及垂直方向上重复配置。
〔特征(2)〕
图17所示的滤色器排列的G滤光片配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内。
〔特征(3)〕
图17所示的滤色器排列的基本排列图案P8中，该基本排列图案P8内的R、G、B、E滤光片所对应的R像素、G像素、B像素、E像素的像素数分别为64像素(16块×4像素)、96像素(24块×4像素)、64像素(16块×4像素)、32像素(8块×4像素)。
即，RGBE像素的各像素数的比率为2：3：2：1，最有助于获得亮度信号的G像素的像素数的比率大于其他颜色的R像素、B像素、E像素各自的像素数的比率。
〔特征(4)〕
图17所示的滤色器排列的R滤光片、B滤光片、E滤光片配置于滤色器排列的水平及垂直方向的各行内。
〔特征(5)〕
图17所示的该滤色器排列包含由G滤光片构成的对应于2×2块的正方排列。
〔特征(6)〕
基本排列图案P8相对于该基本排列图案P8的中心形成点对称。
另外，在上述实施方式中，以5×5块～8×8块的基本排列图案为例进行了说明，但是构成基本排列图案的单位块的个数并不局限于此。但是，当基本排列图案由N×N的单位块形成时，若考虑到去马赛克算法处理、动画摄影时的间拔处理等图像处理的容易度，则N优选为10以下。而且，若考虑到滤色器的配置的容易度，则N优选为4以上且8以下。这是因为，当N小于4时，不满足本发明的滤色器排列的条件，当N超过8时，去马赛克算法等的信号处理变得复杂化，相对于此，无法得到增大基本排列图案的大小所产生的额外的效果。另外，如第一实施方式所示，N最优选为6。
[变形例]
另外，在上述的各实施方式中，说明了采用绿(G)作为第一色，并采用红(R)及蓝(B)作为第二色的例子，但是在滤色器中可使用的颜色并未限定为这些颜色，也可以使用与满足以下的条件的颜色对应的滤色器。
<第一滤光片(第一色)的条件>
在上述各实施方式中，作为本发明的具有第一色的第一滤光片，列举G色的G滤光片为例进行了说明，但是也可以取代G滤光片，或者取代G滤光片的一部分，使用满足下述条件(1)至条件(4)中的任一个的滤光片。
〔条件(1)〕
条件(1)是用于获得亮度信号的贡献率为50％以上。该贡献率50％是为了对本发明的第一色(G色等)与第二色(R、B色等)进行区别而确定出的值，是以用于获得亮度数据的贡献率相对地比R色、B色等高的颜色包含于“第一色”的方式确定出的值。
另外，贡献率小于50％的颜色成为本发明的第二色(R色、B色等)，具有该颜色的滤光片成为本发明的第二滤光片。
〔条件(2)〕
条件(2)是滤光片的透过率的峰值处于波长480nm以上且570nm以下的范围内。滤光片的透过率使用例如由分光光度计测定出的值。该波长范围是为了将本发明的第一色(G色等)与第二色(R、B色等)进行区别而确定出的范围，是以不包含前述的贡献率相对降低的R色、B色等的峰值且包含贡献率相对升高的G色等的峰值的方式确定出的范围。因此，可以使用透过率的峰值处于波长480nm以上且570nm以下的范围内的滤光片作为第一滤光片。另外，透过率的峰值为波长480nm以上且570nm以下的范围外的滤光片成为本发明的第二滤光片(R滤光片、B滤光片)。
〔条件(3)〕
条件(3)是波长500nm以上且560nm以下的范围内的透过率比第二滤光片(R滤光片或B滤光片)的透过率高。在该条件(3)下，滤光片的透过率也使用例如由分光光度计测定出的值。该条件(3)的波长范围也是为了对本发明的第一色(G色等)与第二色(R、B色等)进行区别而确定出的范围，是具有前述的贡献率相对地比R色或B色等高的颜色的滤光片的透过率高于RB滤光片等的透过率的范围。因此，在透过率为波长500nm以上且560nm以下的范围内，可以使用相对高的滤光片作为第一滤光片，并使用透过率相对低的滤光片作为第二滤光片。
〔条件(4)〕
条件(4)是使用包含三原色中的最有助于亮度信号的颜色(例如RGB中的G色)和与这三原色不同的颜色的两种颜色以上的滤光片作为第一滤光片。在这种情况下，第一滤光片的各色以外的颜色所对应的滤光片成为第二滤光片。
<多个种类的第一滤光片(G滤光片)>
因此，作为第一滤光片的G色的G滤光片并未限定为一个种类，也可以使用例如多个种类的G滤光片(G1滤光片、G2滤光片)作为第一滤光片。即上述的各实施方式的滤色器(基本排列图案)的G滤光片可以适当置换成G1滤光片或G2滤光片。G1滤光片使第一波长带域的G光透过，G2滤光片使与G1滤光片相关性高的第二波长带域的G光透过(参照图18)。
作为G1滤光片，可以使用现存的G滤光片(例如第一实施方式的G滤光片)。而且，作为G2滤光片，可以使用与G1滤光片相关性高的滤光片。在这种情况下，配置G2滤光片的受光元件的分光灵敏度曲线的峰值优选处于例如波长500nm至535nm的范围(现存的配置G滤光片的受光元件的分光灵敏度曲线的峰值的附近)。另外，决定四种颜色(R、G1、G2、B)的滤色器的方法使用例如日本特开2003-284084号记载的方法。
将如此由彩色摄像元件取得的图像的颜色分为四个种类，并使所取得的颜色信息增加，由此与仅取得三个种类的颜色(RGB)的情况相比，能够更准确地表现出颜色。即，能够将眼睛看起来不同的颜色再现为不同的颜色，并将眼睛看起来相同的颜色再现为相同的颜色(提高“颜色的判别性”)。
另外，G1、G2滤光片的透过率与第一实施方式的G滤光片的透过率基本相同，因此用于获得亮度信号的贡献率高于50％。因此，G1、G2滤光片满足前述的条件(1)。
另外，在表示滤色器排列(受光元件)的分光灵敏度特性的图18中，各G1、G2滤光片的透过率的峰值(各G像素的灵敏度的峰值)处于波长480nm以上且570nm以下的范围内。各G1、G2滤光片的透过率在波长500nm以上且560nm以下的范围内，高于RB滤光片的透过率。因此，各G1、G2滤光片也满足前述的条件(2)、(3)。
另外，各G1、G2滤光片的配置或个数可以适当变更。而且，也可以将G滤光片的种类增加成三个种类以上。
<透明滤光片(W滤光片)>
在上述的实施方式中，主要示出了与RGB色对应的彩色滤光片构成的滤色器，但是也可以将这些彩色滤光片的一部分设为透明滤光片W(白色像素)。尤其是优选取代第一滤光片(G滤光片)的一部分而配置透明滤光片W。通过如此将G像素的一部分置换成白色像素，由此即使像素大小微小化也能抑制颜色再现性的劣化。
透明滤光片W是透明色(第一色)的滤光片。透明滤光片W能够使与可见光的波长域对应的光透过，例如是RGB的各色的光的透过率为50％以上的滤光片。透明滤光片W的透过率比G滤光片高，因此用于获得亮度信号的贡献率也比G色(60％)高，满足前述的条件(1)。
在表示滤色器排列(受光元件)的分光灵敏度特性的图19中，透明滤光片W的透过率的峰值(白色像素的灵敏度的峰值)处于波长480nm以上且570nm以下的范围内。而且，透明滤光片W的透过率处于波长500nm以上且560nm以下的范围内，比RB滤光片的透过率高。因此，透明滤光片W也满足前述的条件(2)、(3)。另外，关于G滤光片也与透明滤光片W同样地满足前述的条件(1)～(3)。
这样一来，透明滤光片W满足前述的条件(1)～(3)，因此可以作为本发明的第一滤光片使用。另外，在滤色器排列中，将RGB三原色中的最有助于亮度信号的G色所对应的G滤光片的一部分置换成透明滤光片W，因此也满足前述的条件(4)。
<翠绿色滤光片(E滤光片)>
在上述的实施方式中，主要示出了由与RGB色对应的彩色滤光片构成的滤色器，但也可以将这些彩色滤光片的一部分设为其他彩色滤光片，例如可以是与翠绿(E)色对应的滤光片E(翠绿色像素)。尤其是可以取代第一滤光片(G滤光片)的一部分而配置翠绿色滤光片(E滤光片)。如此通过使用将G滤光片的一部分由E滤光片置换后的四种颜色的滤色器排列，能够提高亮度高的区域成分的再现，减少锯齿，并能够提高分辨率。
在表示滤色器排列(受光元件)的分光灵敏度特性的图20中，翠绿色滤光片E的透过率的峰值(E像素的灵敏度的峰值)处于波长480nm以上且570nm以下的范围内。而且，翠绿色滤光片E的透过率在波长500nm以上且560nm以下的范围内，高于RB滤光片的透过率。因此，翠绿色滤光片E满足前述的条件(2)、(3)。而且，在滤色器排列中，将RGB三原色中的最有助于亮度信号的G色所对应的G滤光片的一部分置换成翠绿色滤光片E，因此也满足前述的条件(4)。
另外，在图20所示的分光特性中，翠绿色滤光片E在比G滤光片靠短波长的一侧具有峰值，但有时也在比G滤光片靠长波长的一侧具有峰值(看起来稍接近黄色的颜色)。这样一来，作为翠绿色滤光片E，能够选择满足本发明的各条件的翠绿色滤光片，例如，也可以选择满足条件(1)那样的翠绿色滤光片E。
<其他颜色的种类>
在上述的各实施方式中，说明了由原色RGB的滤色器构成的滤色器排列，但是本发明也可以应用于例如向原色RGB的互补色即C(青色)、M(品红色)、Y(黄色)添加了G的四种颜色的互补色系的滤色器的滤色器排列。在这种情况下，也是将满足上述条件(1)～(4)中的任一个的滤色器作为本发明的第一滤光片，并将其他滤色器作为第二滤光片。
以上，使用实施方式说明了本发明，但本发明的技术范围并未限定为上述实施方式记载的范围。能够对上述实施方式施加多种变更或改良这一情况对于本领域技术人员来说不言自明。此外，本发明并未限定为上述实施方式，在不脱离本发明的宗旨的范围内能够进行各种变形这一情况不言而喻。
附图标记说明
1、1-1、1-2、1-2’、2、3、4、5、6、7、8：彩色摄像元件，10：摄像装置，12：摄影光学系统，18：模拟信号处理部，20：AD转换器，22：图像输入控制器，24：数字信号处理部，26：压缩扩展处理部，28：编码器，30：液晶监视器，32：设备控制部，34：驱动部，36：透镜驱动部，38：操作部，42：AF处理部，44：AE检测部，48：存储器，52：控制器，54：存储卡，L、L-1、L-2：微透镜，P、P1-1、P1-2、P1M2’、P2、P3、P4、P5、P6、P7、P8：基本排列图案，S1、S2、S3、S4：遮光部件。

Claims (13)

1.一种彩色摄像元件，是在由光电转换元件构成的多个像素上配置包括第一滤光片和第二滤光片的特定的滤色器排列的滤色器而成的单板式的彩色摄像元件，上述第一滤光片与一种颜色以上的第一色对应，上述第二滤光片与用于获得亮度信号的贡献率比上述第一色低的两种颜色以上的第二色对应，
在上下左右相邻的预定数的光电转换元件配置相同颜色的滤色器，
当将在上下左右相邻的预定数的光电转换元件配置的上述滤色器设为单位块时，上述滤色器排列由多个上述单位块构成，上述单位块包含排列成正方格子状的基本排列图案，该基本排列图案在水平方向及垂直方向上重复地配置，
上述第一滤光片在上述滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置一个以上，
与上述第二色的各色对应的上述第二滤光片在上述滤色器排列的水平及垂直方向的各行内配置一个以上，
上述第一滤光片所对应的第一色的像素数的比率大于上述第二滤光片所对应的第二色的各色的像素数的比率。
2.一种彩色摄像元件，是在由相邻的元件的中心沿水平方向及垂直方向各错开1/2像素间距的排列成斜格子状的光电转换元件构成的多个像素上配置包括第一滤波片和第二滤光片的特定的滤色器排列的滤色器而成的单板式的彩色摄像元件，上述第一滤光片与一种颜色以上的第一色对应，上述第二滤光片与用于获得亮度信号的贡献率比上述第一色低的两种颜色以上的第二色对应，
在斜右上及斜右下方向上相邻的预定数的光电转换元件上配置相同颜色的滤色器，
当将在斜右上及斜右下方向上相邻的预定数的光电转换元件所配置的上述滤色器设为单位块时，上述滤色器排列由多个上述单位块构成，上述单位块包含排列成斜格子状的基本排列图案，该基本排列图案在斜右上及斜右下方向上重复地配置，
上述第一滤光片在上述滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置一个以上，
配置有与上述第二色的各色对应的上述第二滤光片的单位块在上述滤色器排列的的斜右上及斜右下方向的各行内配置一个以上，
上述第一滤光片所对应的第一色的像素数的比率大于上述第二滤光片所对应的第二色的各色的像素数的比率。
3.根据权利要求1或2所述的彩色摄像元件，其中，
上述预定数的光电转换元件是4×4像素或9×9像素。
4.根据权利要求1～3中任一项所述的彩色摄像元件，其中，
上述基本排列图案内的滤色器排列相对于该基本排列图案的中心而点对称。
5.根据权利要求1～4中任一项所述的彩色摄像元件，其中，
上述基本排列图案是N×N的单位块，其中N为4以上且8以下的整数。
6.根据权利要求5所述的彩色摄像元件，其中，
上述基本排列图案是6×6的单位块。
7.根据权利要求1～6中任一项所述的彩色摄像元件，其中，
上述滤色器排列在3×3的单位块中，配置有上述第一滤光片的单位块配置于中心和四角。
8.根据权利要求1～7中任一项所述的彩色摄像元件，其中，
具备配置于上述光电转换元件的上方的光瞳分割单元，
入射到上述光瞳分割单元的光被光瞳分割而分别导至上述预定数的光电转换元件的受光面。
9.根据权利要求1所述的彩色摄像元件，其中，
上述第一色为绿(G)色，上述第二色为红(R)色及蓝(B)色。
10.根据权利要求9所述的彩色摄像元件，其中，
上述基本排列图案是与6×6的单位块对应的正方排列图案，
上述滤色器排列由第一排列和第二排列交替地排列于水平方向及垂直方向上而构成，上述第一排列对应于3×3的单位块，在中心和四角配置有G滤光片的单位块，隔着中心的G滤光片上下配置有B滤光片的单位块，左右排列有R滤光片的单位块，上述第二排列对应于3×3的单位块，在中心和四角配置有G滤光片的单位块，隔着中心的G滤光片上下配置有R滤光片的单位块，左右排列有B滤光片的单位块。
11.根据权利要求2所述的彩色摄像元件，其中，
上述第一色是绿(G)色，上述第二色是红(R)色及蓝(B)色。
12.根据权利要求11所述的彩色摄像元件，其中，
上述基本排列图案是与6×6的单位块对应的斜格子状排列图案，
上述滤色器排列由第一排列和第二排列交替地排列于斜右上及斜右下方向上而构成，上述第一排列对应于3×3的单位块，在中心和四角配置有G滤光片的单位块，隔着中心的G滤光片在斜右上及斜右下配置有B滤光片的单位块，且在斜左上及斜左下排列有R滤光片的单位块，上述第二排列对应于3×3的单位块，在中心和四角配置有G滤光片的单位块，隔着中心的G滤光片在斜右上及斜右下配置有R滤光片的单位块，且在斜左上及斜左下排列有B滤光片的单位块。
13.一种摄像装置，具备权利要求1～12中任一项所述的彩色摄像元件。
CN201280064983.4A 2011-12-27 2012-12-27 彩色摄像元件 Expired - Fee Related CN104041020B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011286010 2011-12-27
JP2011-286010 2011-12-27
PCT/JP2012/083841 WO2013100036A1 (ja) 2011-12-27 2012-12-27 カラー撮像素子

Publications (2)

Publication Number Publication Date
CN104041020A true CN104041020A (zh) 2014-09-10
CN104041020B CN104041020B (zh) 2015-11-25

Family

ID=48697515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280064983.4A Expired - Fee Related CN104041020B (zh) 2011-12-27 2012-12-27 彩色摄像元件

Country Status (5)

Country Link
US (1) US9204020B2 (zh)
EP (1) EP2800379A4 (zh)
JP (1) JP5621056B2 (zh)
CN (1) CN104041020B (zh)
WO (1) WO2013100036A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
CN103155542A (zh) * 2010-09-24 2013-06-12 富士胶片株式会社 图像拾取装置和图像拾取设备
CN104429061B (zh) * 2012-07-06 2016-04-13 富士胶片株式会社 彩色摄像元件和摄像装置
WO2014087807A1 (ja) * 2012-12-05 2014-06-12 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
JP5749409B2 (ja) * 2012-12-07 2015-07-15 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
JP2015115345A (ja) 2013-12-09 2015-06-22 株式会社東芝 固体撮像装置
JP2015207815A (ja) * 2014-04-17 2015-11-19 キヤノン株式会社 撮像素子および撮像素子を備えた撮像装置
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
TWI560495B (en) * 2016-01-28 2016-12-01 Au Optronics Corp Display apparatus and display control method thereof
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
CN107529046B (zh) * 2017-02-23 2024-03-08 思特威(深圳)电子科技有限公司 一种色彩滤镜阵列及图像传感器
EP3618430B1 (en) 2017-04-25 2022-02-09 Sony Group Corporation Solid-state image capturing device and electronic instrument
WO2019042013A1 (zh) * 2017-08-31 2019-03-07 昆山国显光电有限公司 像素结构及显示装置
JP6596760B1 (ja) * 2018-08-28 2019-10-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR20220127003A (ko) * 2021-03-10 2022-09-19 삼성전자주식회사 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈
US20220352224A1 (en) * 2021-04-29 2022-11-03 Omnivision Technologies, Inc. Cmos image sensor with multiple sensitivities for high dynamic range imaging and led flicker mitigation
JP2024097101A (ja) * 2021-05-11 2024-07-18 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像装置及び電子機器
JP2023027618A (ja) * 2021-08-17 2023-03-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
WO2023032416A1 (ja) * 2021-08-31 2023-03-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置
DE112022005856T5 (de) * 2021-12-08 2024-10-10 Sony Semiconductor Solutions Corporation Festkörperbildgebungselement, Bildgebungsvorrichtung und Verfahren zum Steuern eines Festkörperbildgebungselements
WO2023243429A1 (ja) * 2022-06-13 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867830A (zh) * 2009-04-20 2010-10-20 佳能株式会社 图像处理设备及其控制方法
JP2011029379A (ja) * 2009-07-24 2011-02-10 Sony Corp 固体撮像装置とその製造方法並びにカメラ
US20110181760A1 (en) * 2010-01-25 2011-07-28 Olympus Corporation Image processing device

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
DE19616440A1 (de) 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
DE69924308T2 (de) 1998-01-20 2006-03-09 Hewlett-Packard Development Co., L.P., Houston Farbbildaufnahmegerät
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
JP2002084548A (ja) * 2000-09-07 2002-03-22 Olympus Optical Co Ltd カラー撮像素子及び撮像装置
EP2768223B8 (en) 2001-01-09 2016-11-09 Sony Semiconductor Solutions Corporation Image pick up device
JP2003284084A (ja) 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP4019417B2 (ja) * 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
US7456881B2 (en) * 2006-01-12 2008-11-25 Aptina Imaging Corporation Method and apparatus for producing Bayer color mosaic interpolation for imagers
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
US20090027527A1 (en) * 2007-07-23 2009-01-29 Visera Technologies Company Limited Color filter arrays and image sensors using the same
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
US8902321B2 (en) 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5472584B2 (ja) 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
CN103416067B (zh) * 2011-03-11 2014-10-29 富士胶片株式会社 摄像装置
WO2013100092A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5607266B2 (ja) * 2011-12-27 2014-10-15 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び制御プログラム
US9210392B2 (en) * 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP5740054B2 (ja) * 2012-07-06 2015-06-24 富士フイルム株式会社 撮像装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867830A (zh) * 2009-04-20 2010-10-20 佳能株式会社 图像处理设备及其控制方法
JP2011029379A (ja) * 2009-07-24 2011-02-10 Sony Corp 固体撮像装置とその製造方法並びにカメラ
US20110181760A1 (en) * 2010-01-25 2011-07-28 Olympus Corporation Image processing device

Also Published As

Publication number Publication date
JP5621056B2 (ja) 2014-11-05
US9204020B2 (en) 2015-12-01
EP2800379A4 (en) 2015-12-23
EP2800379A1 (en) 2014-11-05
US20140307133A1 (en) 2014-10-16
JPWO2013100036A1 (ja) 2015-05-11
WO2013100036A1 (ja) 2013-07-04
CN104041020B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
CN104041020B (zh) 彩色摄像元件
CN101800854B (zh) 图像拾取装置
CN102461174B (zh) 具有四个通道的滤色器阵列图案
CN103782586B (zh) 成像设备
CN103493484B (zh) 成像装置和成像方法
US8593509B2 (en) Three-dimensional imaging device and viewpoint image restoration method
CN102917235B (zh) 图像处理装置和图像处理方法
CN202750183U (zh) 视差成像设备和视差成像系统
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
US8786676B2 (en) Imaging device for generating stereoscopic image
CN103688536B (zh) 图像处理装置、图像处理方法
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
CN103260045A (zh) 摄像装置及图像传感器阵列
CN103597811B (zh) 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
US20120212587A1 (en) Imaging apparatus, image processing method, and program
JP5621059B2 (ja) カラー撮像素子及び撮像装置
CN104025577B (zh) 图像处理装置、方法以及摄像装置
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
CN104041021B (zh) 图像处理装置及方法以及摄像装置
CN104025578B (zh) 彩色摄像元件
CN104025582B (zh) 彩色摄像元件
CN104041019B (zh) 摄像装置及摄像装置的控制方法
CN104011575B (zh) 摄像装置及摄像装置的控制方法
CN104025575B (zh) 摄像装置及摄像装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20191227

CF01 Termination of patent right due to non-payment of annual fee