[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN102959958A - 彩色成像设备 - Google Patents

彩色成像设备 Download PDF

Info

Publication number
CN102959958A
CN102959958A CN2011800221475A CN201180022147A CN102959958A CN 102959958 A CN102959958 A CN 102959958A CN 2011800221475 A CN2011800221475 A CN 2011800221475A CN 201180022147 A CN201180022147 A CN 201180022147A CN 102959958 A CN102959958 A CN 102959958A
Authority
CN
China
Prior art keywords
pixel
colour filter
color
pixel value
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800221475A
Other languages
English (en)
Other versions
CN102959958B (zh
Inventor
田中诚二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102959958A publication Critical patent/CN102959958A/zh
Application granted granted Critical
Publication of CN102959958B publication Critical patent/CN102959958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

使用了一种具有滤色器阵列的彩色成像元件，该滤色器阵列包含周期布置的对应于RGB颜色的RGB滤色器并且包含其中最有助于获得亮度信号的两个或更多的G滤色器在水平、竖直和倾斜（NE，NW）四个方向上彼此相邻的部分。基于在这些方向上彼此相邻的G像素的像素值，以最小像素间隔确定四个方向中哪一个是亮度的相关方向。在确定的相关方向上的其他颜色像素的像素值被用来计算从镶嵌图像提取的去马赛克处理的目标像素的像素位置处的其他颜色的像素值。这样，准确地估计了其他颜色像素的像素值。

Description

彩色成像设备
技术领域
本发明涉及一种彩色成像设备，特别是涉及一种抑制彩色波纹产生的彩色成像设备。
背景技术
在包含单板彩色成像元件的彩色成像设备中，单板彩色成像元件的输出图像是RAW图像（镶嵌图像）。因此，通过根据周围像素来内插丢失颜色的像素的处理（去马赛克（demosaicing）处理）来获得多通道图像。此时，在高频图像信号的再现特性中会存在问题。
原色Bayer阵列作为单板彩色成像元件中使用最广泛的一种颜色阵列，其包括以方格图案布置的多个绿（G）像素以及顺序地线型布置的红（R）和蓝（B）像素。因此，存在低频着色（颜色波纹）的问题，该问题是由超过各颜色的再现带的高频信号的交叠以及由各色相（phase of color）的偏移所引起的。
例如，如图14(A)所示的一个黑白倾斜高频图像进入如图14(B)所示的一个Bayer阵列中的成像元件，该图像被分类为Bayer颜色阵列来比较颜色。如图14(C)到图14(E)所示，R和B分别形成亮的单色图像（flat color image），而G形成暗的单色图像。假设黑色的值为0并且白色的值为255，则黑白倾斜高频图像变为绿色，这是因为只有G值为255。通过这种方式，倾斜高频信号图像不能在Bayer阵列中被正确地再现。
在使用单板彩色成像元件的彩色成像设备中，通常将由诸如晶体的各向异性物质形成的光学低通滤色器布置在彩色成像元件的前方以防止光学地减少高频波。然而，虽然以此方法可以减少由交叠高频信号引起的着色，但相应地存在分辨率减小的问题。
为解决该问题，提出了一种彩色成像元件，其中该彩色成像元件的滤色器阵列是一种满足如下阵列约束条件的三色随机阵列，其中，任意目标像素与该目标像素的四侧上的包括目标像素颜色在内的三种颜色相邻（PTL 1）。
还提出了一种滤色器阵列的图像传感器，其中图像传感器包括具有不同光谱灵敏度的多个滤色器，所述多个滤色器中的第一和第二滤色器被按照第一预定周期交替地布置在图像传感器的像素网格的一个对角线方向中，并且被以第二预定周期交替地布置在另一对角线方向中（PTL 2）。
同时，PTL 3描述了这样的一种技术：利用Bayer阵列中的镶嵌图像的目标像素的周围像素来计算水平、竖直和倾斜（NE，NW）方向（四个方向）上的相关性，并且根据计算出的相关性的比值来应用权重以对像素进行内插。
还提出了包含一种彩色成像元件的图像设备，其中在水平和垂直方向上的每三个像素中布置RGB三原色中的R和B，而G布置在R和B之间（PTL 4）。在PTL 4所述的彩色成像元件中，最有助于获得亮度信号的G像素被布置得远多于R和B像素，这是由于色差信号的分辨率可以低于亮度信号的分辨率。这可以提高水平和竖直方向上的分辨率。
引用列表
专利文献
PTL 1：日本专利申请公开No.2000-308080；
PTL 2：日本专利申请公开No.2005-136766；
PTL 3：日本专利申请公开No.2010-104019；
PTL 4：日本专利申请公开No.8-23543。
发明内容
{技术问题}
PTL 1所述的三色随机阵列对于低频彩色波纹有效，但对于高频部分的错误颜色并非有效。
在PTL 2所述的图像传感器的滤色器阵列中，R、G和B滤色器周期地布置在滤色器阵列的水平和竖直方向的行中。在从包括了PTL2所述发明的滤色器阵列的图像传感器输出的镶嵌图像的去马赛克处理过程中，在目标像素周围提取出预定图像尺寸的局部区域，计算与该局部区域中目标像素颜色的颜色分布形状和要被估计的其他颜色的颜色分布形状有关的统计量，并且基于目标位置处颜色的强度和所述颜色分布形状的统计量对颜色分布形状进行线性回归从而计算出处在目标像素位置处的其他颜色的估计值。与颜色分布形状有关的统计量（协方差值）的计算以及回归计算过程在PTL 2所述发明中是必要的，因此存在图像处理复杂的问题。
同时，PTL 3描述的像素内插法应用于Bayer阵列中的镶嵌图像。然而，G像素在Bayer阵列中沿水平和竖直方向上并不连续，并且不能以最小像素间隔来计算水平和竖直方向上的相关性。例如，当输入具有竖直条纹或具有水平条纹的高频波时相关性会被错误地确定，从而存在不能对像素准确地内插的问题。
PTL 4描述的彩色成像元件中G像素相对于RB像素的比率大于其在Bayer阵列中的比率，从而水平和竖直方向上的分辨率可以得到提高。然而，从彩色成像元件输出的RGB信号在PTL 4描述的成像设备中被内插滤波器均一地同步，因此存在容易产生错误颜色的问题。
鉴于上述情况而做出了本发明，本发明的一个目的是提供一种彩色成像设备，其可以通过简单的图像处理抑制产生高频部分的错误颜色。
{问题的解决方案}
为达到上述目的，根据本发明中一个方面的发明包含：单板彩色成像元件，其包括包含布置在水平和竖直方向上的光电转换元件的多个像素、和布置在所述多个像素上的预定滤色器阵列的多个滤色器，其中滤色器阵列包含与最有助于获得亮度信号的第一颜色对应的多个第一滤色器和与除第一颜色外的两个或以上的第二颜色对应的多个第二滤色器，第一和第二滤色器被周期性地布置，并且第一滤色器包含两个或以上彼此在水平、竖直和倾斜（NE，NW）方向上相邻的部分；图像获取单元，其从彩色成像元件获取对应于滤色器阵列的镶嵌图像；方向确定单元，其针对从镶嵌图像中提取的去马赛克处理的目标像素获取与目标像素附近且在水平、竖直和倾斜（NE，NW）方向上彼此相邻的各第一滤色器对应的像素的像素值，并且基于相邻像素的像素值确定水平、竖直和倾斜（NE，NW）方向中的哪一个是亮度的相关方向；去马赛克处理单元，其计算位于从镶嵌图像中提取的去马赛克处理的目标像素的像素位置处的其他颜色像素值，并且其利用由方向确定单元确定的相关方向上的其他颜色一个或多个像素的一个或多个像素值来计算所述像素值；控制单元，其在把从镶嵌图像中提取的去马赛克处理的目标像素移位一个去马赛克处理的目标像素单位的去马赛克处理的目标像素的同时重复地操作方向确定单元和去马赛克处理单元。
彩色成像元件的滤色器阵列包含这样的部分：其中，最有助于获得亮度信号的两个或以上的第一滤色器在水平、竖直和倾斜（NE，NW）方向（四个方向）上彼此相邻。因此，可以基于在这些方向上彼此相邻的像素的像素值来以最小像素间隔确定四个方向中哪一个是亮度的相关方向。在从镶嵌图像中提取的去马赛克处理的目标像素的像素位置处的其他颜色像素值的计算中，在所确定的相关方向上的其他颜色像素的像素值可以用来准确估计所述其他颜色像素的像素值，并且可以抑制产生高频部分的错误颜色。
在根据本发明另一个方面的彩色成像设备中，彩色成像元件的预定滤色器阵列包含包括多个第一和第二滤色器的基本阵列图案，基本阵列图案重复地布置在水平和竖直方向上，并且在基本阵列图案的水平和竖直方向的每一行中布置一个或多个第一滤色器和一个或多个第二滤色器。一个或多个第一滤色器和一个或多个第二滤色器布置在基本阵列图案的水平和竖直方向的每一行中。因此，可以抑制水平和竖直方向上的彩色波纹（错误颜色）的产生从而提高分辨率。基本阵列图案在滤色器阵列中重复地布置在水平和竖直方向上。因此，后续阶段的去马赛克（内插）处理可按重复图案执行。
优选地，在根据本发明另一方面的彩色成像设备的滤色器阵列中，第一滤色器布置在3×3像素组的中心及四个角处，而3×3像素组重复地布置在水平和竖直方向上。第一滤色器布置在3×3像素组的四个角处。因此，若3×3像素组重复地布置在水平和竖直方向上，则滤色器阵列包含与包含第一滤色器的2×2像素对应的方阵列。2×2像素的像素值可以用来确定在水平、竖直和倾斜（NE，NW）方向当中具有高相关性的方向。
优选地，在根据本发明另一方面的彩色成像设备的滤色器阵列中，第一滤色器越过3×3像素组中心处的滤色器而被竖直和水平地布置，并且3×3像素组重复地布置在水平和竖直方向。第一滤色器越过3×3像素组中心处的滤色器竖直和水平地布置。因此，若3×3像素组重复地布置在水平和竖直方向上，则第一滤色器越过滤色器阵列中3×3像素组中心处的滤色器而在水平和竖直方向上（两个像素）彼此相邻。与第一滤色器对应的像素（总共8像素）的像素值可以用来确定四个方向中的相关方向。
在根据本发明另一方面的彩色成像设备中，方向确定单元计算水平、竖直和倾斜（NE，NW）每个方向上的相邻像素的像素值的差分绝对值，并且将具有这些方向上的差分绝对值当中最小差分绝对值的方向确定为相关方向。
在根据本发明另一方面的彩色成像设备中，方向确定单元计算水平、竖直和倾斜（NE，NW）每个方向上的相邻像素的像素值的比值，并且将具有这些方向上的比值当中的最接近于1的比值的方向确定为相关方向。
可以针对每个方向计算出多个差分绝对值或比值，并且可以针对每个方向计算出该多个差分绝对值的和或平均值、或者比值的平均值。这样，可以更准确地确定相关方向。
在根据本发明另一方面的彩色成像设备中，去马赛克处理单元把由方向确定单元确定的相关方向上的一个其他颜色像素的像素值设定为目标像素的像素位置处的所述其他颜色的像素值，或者将通过对由方向确定单元确定的相关方向上的所述其他颜色的多个像素的像素值进行内插而获得的一个值设定为目标像素的像素位置处的所述其他颜色的像素值。
在根据本发明另一方面的彩色成像设备中，若由方向确定单元确定的相关方向上没有所述其他颜色的像素，则去马赛克处理单元基于目标像素附近的所述其他颜色的像素的像素位置处的色差或色比来对目标像素的像素值进行内插从而计算出所述其他颜色的像素值。所述其他颜色像素的像素位置处的色差和色比表示该像素位置处的像素的像素值与在相关方向上通过方向确定估计出的所述其他颜色的像素值之间的差值（色差）和比值（色比）。
在根据本发明另一方面的彩色成像设备中，滤色器包括与红（R）、绿（G）和蓝（R）颜色对应的R滤色器、G滤色器和B滤色器，其中当去马赛克处理的目标像素为G像素，像素值为G，并且在由方向确定单元确定的相关方向上没有R和B像素时，若G像素附近的R和B像素的像素值为R和B，并且G像素在这些R和B像素的像素位置处的像素值为GR和GB，则去马赛克处理单元通过下面公式计算目标像素位置处的R和B像素的像素值RG和BG：
RG=G+(R-GR)，以及BG=G+(B-GB)，其中
当去马赛克处理的目标像素为一个R像素，像素值为R，并且在由方向确定单元确定的相关方向上没有G和B像素时，若R像素附近的G和B像素的像素值为G和B，并且R像素在这些G和B像素的像素位置处的像素值为RG和RB，则去马赛克处理单元通过下面公式计算目标像素位置处的G和B像素的像素值GR和BR：
GR=R+(G-RG)，以及BR=R+(B-RB)，并且其中
当去马赛克处理的目标像素为一个B像素，像素值为B，并且在由方向确定单元确定的相关方向上没有G和R像素时，若B像素附近的G和R像素的像素值为G和R，并且B像素在这些G和R像素的像素位置处的像素值为BG和BR，则去马赛克处理单元通过下面公式计算目标像素位置处的G和R像素的像素值GB和RB：
GB=B+(G-BG)，以及RB=B+(R-BR)。
在根据本发明另一方面的彩色成像设备中，滤色器包括与红（R）、绿（G）和蓝（R）颜色对应的R滤色器、G滤色器和B滤色器，其中当去马赛克处理的目标像素为一个G像素，像素值为G，并且在由方向确定单元确定的相关方向上没有R和B像素时，若G像素附近的R和B像素的像素值为R和B，并且G像素在这些R和B像素的像素位置处的像素值为GR和GB，则去马赛克处理单元通过下面公式计算目标像素位置处的R和B像素的像素值RG和BG：RG=G×(R/GR)，以及BG=G×(B/GB)，其中
当去马赛克处理的目标像素为一个R像素，像素值为R，并且在由方向确定单元确定的相关方向上没有G和B像素时，若R像素附近的G和B像素的像素值为G和B，并且R像素在这些G和B像素的像素位置处的像素值为RG和RB，则去马赛克处理单元通过下面公式计算目标像素位置处的G和B像素的像素值GR和BR：GR=R×(G/RG)，以及BR=R×(B/RB)，并且其中
当去马赛克处理的目标像素为一个B像素，像素值为B，并且在由方向确定单元确定的相关方向上没有G和R像素时，若B像素附近的G和R像素的像素值为G和R，并且B像素在这些G和R像素的像素位置处的像素值为BG和BR，则去马赛克处理单元通过下面公式计算目标像素位置处的G和R像素的像素值GB和RB：
GB=B×(G/BG)，以及RB=B×(R/BR)。
在根据本发明另一方面的彩色成像设备中，当水平、竖直和倾斜（NE，NW）方向上彼此相邻的像素的像素值的差值相等时，方向确定单元确定没有相关方向，并且若方向确定单元确定没有相关方向，则去马赛克处理单元利用去马赛克处理的目标像素的像素位置附近的其他颜色的一个或多个像素的一个或多个像素值来计算该像素位置处的所述其他颜色的像素值。
在根据本发明另一方面的彩色成像设备中，滤色器包括与红（R）、绿（G）和蓝（R）颜色对应的R滤色器、G滤色器和B滤色器，并且滤色器阵列包括：对应于3×3像素的第一阵列，第一阵列包含布置在中心及四个角处的G滤色器、越过中心处的G滤色器竖直地布置的B滤色器、和越过中心处的G滤色器水平地布置的R滤色器；以及对应于3×3像素的第二阵列，第二阵列包含布置在中心及四个角处的G滤色器、越过中心处的G滤色器竖直地布置的R滤色器、和越过中心处的G滤色器水平地布置的B滤色器，其中第一和第二阵列交替地布置在水平和竖直方向上。
根据该构造的滤色器阵列，当从第一或第二阵列周围提取5×5像素（镶嵌图像的局部区域）时，位于在5×5像素的四个角处存在2×2的G像素。2×2的G像素的像素值可以用来确定四个方向中的相关方向。
在根据本发明另一方面的彩色成像设备中，滤色器包括对应于红（R）、绿（G）和蓝（R）颜色的R滤色器、G滤色器和B滤色器，并且滤色器阵列包括：对应于3×3像素的第一阵列，第一阵列包含布置在中心的R滤色器、布置在四个角处的B滤色器、和越过中心处的R滤色器水平和竖直地布置的G滤色器；以及对应于3×3像素的第二阵列，第二阵列包含布置在中心处的B滤色器、布置在四个角处的R滤色器、和越过中心处的B滤色器水平和竖直地布置的G滤色器，其中第一和第二阵列交替地布置在水平和竖直方向上。
根据该构造的滤色器阵列，当从第一或第二阵列周围提取5×5像素（镶嵌图像的局部区域）时，在越过5×5像素中心处的像素（R像素或B像素）的水平和竖直方向上存在彼此相邻的多个G像素。G像素（总共8个像素）的像素值可以用来确定四个方向中的相关方向。
{本发明的有益效果}
根据本发明，使用了包含滤色器的彩色成像元件，该滤色器包括这样的部分：最有助于获得亮度信号的两个或更多第一滤色器在水平、竖直和倾斜（NE，NW）方向（四个方向）上彼此相邻。彩色成像元件包括第一滤色器以及周期性地布置在水平和竖直方向的行中的第二滤色器，第二滤色器对应于除第一颜色以外的两个或以上的第二颜色。亮度的相关方向（correlation direction）基于在各方向上彼此相邻的像素的像素值的差值而确定。因此，最小像素间隔处的像素值可以用来确定相关方向。在计算从镶嵌图像提取的去马赛克处理的目标像素的像素位置处的其他颜色的像素值中，在预定相关方向上的所述其他颜色像素的像素值被用来计算目标像素的像素位置处的所述其他颜色的像素值。因此，可以准确地估计所述其他颜色的像素的像素值，并且可以抑制产生高频部分的错误颜色。
附图说明
图1是示出根据本发明的彩色成像设备的实施例的框图。
图2是示出布置在第一实施例的彩色成像元件上的滤色器的滤色器阵列的示意图。
图3是示出第一实施例的彩色成像元件的滤色器阵列中包含的基本阵列图案的示意图。
图4是示出其中在第一实施例的彩色成像元件的滤色器阵列中包含的6×6像素的基本阵列图案被分为3×3像素的A阵列和Ｂ阵列的情况的示意图。
图5是示出其中在第一实施例的彩色成像元件的滤色器阵列中包含的6×6像素的基本阵列图案被分为3×3像素的A阵列和Ｂ阵列、并且对A阵列和B阵列进行了布置的情况的示意图。
图6是用来说明亮度相关方向的确定方法和去马赛克处理中的像素内插方法的示意图。
图7A是示出入射到彩色成像元件上的倾斜高频图像的示意图。
图7B是用来说明当倾斜高频图像入射到彩色成像元件上时相关方向的确定方法的示意图。
图8是示出适用于本发明的彩色成像元件的第二实施例的示意图。
图9是示出适用于本发明的彩色成像元件的第三实施例的示意图。
图10是示出适用于本发明的彩色成像元件的第四实施例的示意图。
图11是示出适用于本发明的彩色成像元件的第五实施例的示意图。
图12是示出适用于本发明的彩色成像元件的第六实施例的示意图。
图13是示出适用于本发明的彩色成像元件的第七实施例的示意图。
图14是用来说明包含采用Bayer阵列的滤色器的传统彩色成像元件中存在的问题的示意图。
具体实施方式
在下文中，将参照附图来详细描述根据本发明的彩色成像设备的优选实施例。
{彩色成像设备的总体结构}
图1是示出根据本发明的彩色成像设备的实施例的框图。
成像光学系统10对一个对象成像，表示对象图像的光学图像被形成在彩色成像元件12（第一实施例的彩色成像元件）的光接收表面上。
彩色成像元件12是一个单板彩色成像单元，其包括：多个像素（未示出），该多个像素包含布置在水平和竖直方向（二维阵列）上的光电转换元件；和滤色器，其以预定滤色器阵列布置在像素的光接收表面上。光学成像元件12的滤色器阵列的特征在于其包括：在水平和竖直方向上周期性地布置成行的所有红色（R）、绿色（G）和蓝色（B）的滤色器；以及其中与最有助于获得亮度信号的多个G相对应的两个或更多G滤色器在水平、竖直和倾斜（NE，NW）方向上彼此相邻的部分。彩色成像元件12的细节稍后进行描述。
光电转换元件将形成在彩色成像元件12上的对象图像转换成对应于入射光量的信号电荷。基于驱动单元18根据控制单元20的指令而提供的驱动脉冲，将积聚在光电转换元件上的信号电荷从彩色成像元件12中顺序地读出作为对应于信号电荷的电压信号（图像信号）。从彩色成像元件12读出的图像信号是R、G和B信号，其表示与彩色成像元件12的滤色器阵列相对应的R、G和B的镶嵌图像。彩色成像元件12不局限于CCD（电荷耦合器件）彩色成像元件，而可以是其他类型的成像元件，如CMOS（互补金属氧化物半导体）成像元件。
从彩色成像元件12读出的图像信号输入到图像处理单元14。图像处理单元14包括：相关双采样（CDS）电路，其去除包含在图像信号中的复位噪声；AGC（自动增益控制）电路，其放大图像信号并且把其尺寸控制在某一水平；和A/D转换器。图像处理单元14对输入图像信号应用相关双采样处理并且放大图像信号，随后向图像处理单元16输出通过将图像信号转换成数字图像信号而形成的RAW数据。
图像处理单元16包含白平衡校正电路、伽玛校正电路、根据本发明的去马赛克处理电路（根据与单板彩色成像元件12的滤色器阵列相关联的RGB镶嵌图像来对像素的所有RGB颜色信息进行计算（转换到同步系统）的处理电路）、亮度/色差信号产生电路、轮廓校正电路、颜色校正电路等等。根据来自控制单元20的命令，图像处理单元16对从图像处理单元14输入的镶嵌图像的RAW数据应用所需的信号处理，以产生包含亮度数据（Y数据）和色差数据（Cr，Cb数据）的图像数据（YUV数据）。
对于静止图像，压缩/扩展处理电路对由图像处理单元16产生的图像数据应用符合JEPG（联合图像专家组）标准的压缩处理。对于运动图像，压缩/扩展处理电路对图像数据应用符合MPEG2（运动图像专家组）标准的压缩处理。图像数据记录在记录媒体（存储卡）中并输出和显示在比如液晶监视器之类的显示装置（未示出）上。
下面将描述图像处理单元16中的根据本发明的去马赛克处理电路的处理细节。
<滤色器阵列的特征>
彩色成像元件12的滤色器阵列具有下述特征（1）、（2）和（3）。
{特征（1）}
图2是示出布置在彩色成像元件12上的各滤色器的滤色器阵列的示意图。如图2所示，彩色成像元件12的滤色器阵列包含由对应于6×6像素的方阵列图案形成的基本阵列图案P（由粗框表示的图案），并且基本阵列图案P在水平和竖直方向上重复地布置。因此，滤色器阵列包含按预定周期布置的R、G和B颜色的滤色器（R滤色器、G滤色器和B滤色器）。
这样，R滤色器、G滤色器和B滤色器按预定周期布置。因此，从彩色成像元件12读出的R、G和B信号的去马赛克处理等可以根据重复的图案（pattern）进行处理。
{特征（2）}
在如图2所示的滤色器阵列中，所有R、G和B颜色的滤色器布置在基本阵列图案P的水平和竖直方向的行中。因此，如稍后描述的，当在去马赛克处理中将相关方向确定为水平方向或竖直方向时，在水平方向或竖直方向上的其他颜色像素的像素值可以用于内插。因此，可以抑制彩色波纹（错误颜色）的产生。由于可以控制错误颜色的产生，所以可以不在从入射平面到光学系统成像平面的光学通路上布置光学低通滤波器。即使应用光学低通滤波器，也可以应用具有较小的削除高频成分效果从而防止错误颜色产生的滤波器，并且可以防止分辨率的损失。
图3示出图2中所示的基本阵列图案P被分为4组3×3像素的情况。
如图3所示，基本阵列图案P可以看作包含由实线框包围的3×3像素的A阵列和由虚线框包围的3×3像素的B阵列，A阵列和B阵列如图4所示交替地布置在水平和竖直方向上。
A和B阵列每一个均包含作为布置在四个角和中心处的亮度像素的G滤色器，并且各G滤色器布置在两个对角线上。在A阵列中，越过中心处的G滤色器在水平方向上布置R滤色器并且在竖直方向上布置B滤色器。同时，在B阵列中，越过中心处的G滤色器在水平方向上布置B滤色器并且在竖直方向上布置R滤色器。因此，尽管在A和B阵列中R和B滤色器之间位置关系是相反的，然而其余布置是相同的。
{特征（3）}
图2所示的滤色器阵列的基本阵列图案P包含这样的部分：其中两个或更多G滤色器在水平、竖直和倾斜（NE，NW）方向上彼此相邻。滤色器阵列（其包含布置在水平和竖直方向上的各基本阵列图案P）包含与2×2像素G滤色器的相对应的方阵列。
这是因为，如图3所示，作为亮度像素的各G滤色器布置在A和B阵列中的3×3像素的四个角及中心，并且3×3像素交替地布置在水平和竖直方向上以形成与2×2像素对应的方阵列的G滤色器。2×2像素的G滤色器的像素值可以用来计算水平方向、竖直方向和倾斜方向（NE，NW）中的亮度相关方向（方向确定）。
{图像处理单元16的去马赛克处理电路}
将描述图像处理单元16的去马赛克处理电路的处理细节。
如图5所示，从由彩色成像元件12输出的镶嵌图像中提取出与G滤色器对应的2×2像素的G像素。当按从左上到右下的顺序将G像素的像素值定义为G1、G2、G3和G4时，包含在去马赛克处理电路中的方向确定电路计算每个方向上的差分绝对值。
更具体地说，在竖直方向上的差分绝对值为(|G1-G3|+|G2-G4|)/2。在水平方向上的差分绝对值为(|G1-G2|+|G3-G4|)/2。在右上倾斜方向上的差分绝对值为|G2-G3|。在左上倾斜方向上的差分绝对值为|G1-G4|。
方向确定电路确定在四个相关绝对值当中具有最小差分绝对值的方向上存在相关性（相关方向）。
如图6所示，当从镶嵌图像中提取5×5像素的局部区域以使得3×3像素的A阵列（见图3）位于中心时，2×2像素的G像素布置在四个角处。因此，当局部区域中的A阵列的3×3像素为去马赛克处理的目标像素时，方向确定电路计算四个角处各方向上相关绝对值的和（或平均值），并且把具有各方向上相关绝对值的和（或平均值）当中最小值的方向确定为去马赛克处理的目标像素的亮度的相关方向。
当输入图7A所示的图案时（黑色为0，白色为255），图7B所示的四个角处的2×2G像素的像素值的竖直方向上的差分绝对值的和为|0-255|×8=2040，并且水平方向上的差分绝对值的和也为|0-255|×8=2040。同时，右上倾斜方向上的差分绝对值的和为|255-255|×2+|0-0|×2=0，并且左上倾斜方向上的差分绝对值的和为|0-0|×2+|255-255|×2=0。因此，在两个方向（右上倾斜方向和左上倾斜方向）上具有最小的差分绝对值的和。然而，倾斜最大频率是按图7A的图案输入的，可以采用任一个倾斜方向。
如上所述，由于相关方向由彼此相邻的2×2G像素所确定，因此可以以最小像素间隔来确定相关方向。因此，可以不受高频波的影响而准确地确定相关方向。
在本实施例中，虽然亮度变化最小的方向（具有高相关性的相关方向）是基于相邻的G像素的像素值的差值所确定的，但方案并不局限于此。亮度变化最小的方向可以基于相邻的G像素的像素值的比值来确定。当基于相邻的G像素的像素值的比值来确定亮度变化时，将比值（当计算四个方向上的多个比值时，是这些比值的平均值）最接近于1的方向确定为亮度变化最小的方向。
将描述通过图像处理单元16的去马赛克处理电路对RGB镶嵌图像应用去马赛克处理的方法。
当确定了去马赛克处理的目标像素的相关方向时，去马赛克处理电路在计算去马赛克处理的目标像素的像素位置处的其他颜色的像素值时使用该其他颜色的一个或多个像素在所确定的相关方向上的一个或多个像素值。
如图4所示，在水平和竖直方向上存在所有颜色的像素（R像素、G像素和B像素）。因此，如果确定在水平或竖直方向上存在相关方向，则获取水平或竖直方向上与目标像素相邻的一个其他颜色像素的像素值。所获取的一个像素的像素值或者通过对多个像素的像素值进行内插而获得的值被设定为目标像素的像素位置处的该其他颜色的像素值。
例如，若确定相关方向是水平方向，则在图6中将R12或R32的像素值设置为G22像素的像素位置处的R像素值，或对R12和R32的像素值进行内插来确定像素值。
类似地，将B02或B42的像素值设置为G22像素的像素位置处的B像素值，或对B02和B42的像素值进行内插来确定像素值。
将R12的像素值设置为B02像素的像素位置处的R像素值，或对R12和R32的像素值进行内插来确定像素值。
将G22像素值设置为B02像素的像素位置处的G像素值，或对处在与相邻B阵列相同的水平位置处的一个G像素的像素值和G22的像素值进行内插来确定像素值。
当确定了相关方向是竖直方向时，可以类似地利用竖直方向上的其他颜色的像素值。
在第一实施例的彩色成像元件12的滤色器阵列中，在3×3像素A阵列的G像素周围倾斜方向（对角线方向）上只有G像素。因此，若确定了相关方向是具有连续G像素的倾斜方向，则基于计算出了G像素值位置处的相邻R和B像素的像素值的色差，通过对目标像素的像素值进行内插来计算其他颜色的像素值。
如图6所示，当作为方向确定的结果，确定了左上倾斜方向为相关方向时，在G11像素的内插方向上没有R和B像素。因此，在G11附近的R12和B21像素的像素值R12和B21与这些像素的像素位置处的G的像素值G12'和G21'之间的色差可以用来对G11的像素值G11进行内插以计算在G11像素的像素位置处的R和B的像素值R11'和B11'。
具体地，通过下面公式执行内插。
R11′＝G11+(R12-G12')...(a)
B11′＝G11+(B21-G21')...(b)
在表达式(a)和(b)中，G12'=G01且G21′＝G10。因此，像素值G12'和G21'为在左倾斜方向上通过方向确定估计出的R12和B21像素的像素位置处的G像素值。
类似地，处在G22像素的像素位置处的R和B像素附近的R12和R32像素的像素位置与B21和B23像素的像素位置之间的色差被用来对G22的像素值G22进行内插以计算G22像素的像素位置处的R和B的像素值R22'和B22'。
具体地，通过下面公式执行内插。
R22'=G22+{(R12+R32)/2-(G12'+G32')/2}...(c)
B22'=G22+{(B21+B23)/2-(G21'+G23')/2}...(d)
在上述公式中，G32'=G43并且G23'=G34。
当3×3像素（A阵列）的所有像素的去马赛克处理完成后，对相邻3×3像素（B阵列）的目标像素应用相同的处理（方向确定与去马赛克处理），并且在将处理移位3×3像素的同时重复该处理。
如上所述，在彩色成像元件12的滤色器阵列中，在作为去马赛克处理的目标像素的G像素的像素位置处的R和B像素值的计算中，倾斜方向上可以仅存在G像素。取决于滤色器阵列，可以存在这样一种情况，即去马赛克处理的目标像素为R像素，而在处于该像素位置处的G和B的像素值的计算中在倾斜方向上不存在G像素和B像素。也可以存在另一种情况，即去马赛克处理的目标像素为B像素，而在处于该像素位置处的G和R的像素值的计算中在倾斜方向上不存在G和R像素。
即使在这些情况下，也可以通过基于计算了RGB的像素值的位置处的相邻像素的像素值之间的的色差对目标像素的像素值进行内插，来如公式(a)至(d)所示那样计算出其他颜色的像素值。
下面是通过基于相邻像素之间的色差对目标像素的像素值进行内插来计算其他颜色像素值的方法的概述。
当去马赛克处理的目标像素为G像素，像素值为G，并且在由方向确定电路确定的相关方向上没有R和B像素时，若G像素附近的R和B像素的像素值为R和B，并且G像素在这些像素的像素位置处的像素值为GR和GB，则通过下面公式计算目标像素位置处R和B像素的像素值RG和BG。
RG=G+(R-GR)，BG=G+(B-GB)...(1)
表达式（1）与表达式(a)与(b)相当。
类似地，当去马赛克处理的目标像素为R像素，像素值为R，并且在由方向确定电路确定的相关方向上没有G和B像素时，若R像素附近的G和B像素的像素值为G和B，并且R像素在这些像素的像素位置处的像素值为RG和RB，则通过下面公式计算目标像素位置处G和B像素的像素值GR和BR。
GR=R+(G-RG)，BR=G+(B-RB)...(2)
当去马赛克处理的目标像素为B像素，像素值为B，并且在由方向确定电路确定的相关方向上没有G和R像素时，若B像素附近的G和R像素的像素值为G和R，并且B像素在这些像素的像素位置处的像素值为BG和BR，则通过下面公式计算目标像素位置处G和R像素的像素值GB和RB。
GB=B+(G-BG)，RB=B+(R-BR)...(3)
除表达式（1）到（3）外，若在去马赛克处理的目标像素附近存在颜色与要被内插和计算的颜色相同的多个像素，则该多个像素的平均色差可用于如表达式(c)和(d)所述的内插。
在该实施例中，当在针对去马赛克处理的目标像素所确定的相关方向上没有其他颜色的像素时，基于其他颜色的相邻像素之间的色差来对目标像素的像素值进行内插以计算其他颜色的像素值。然而，方案并不局限于此。还可以基于其他颜色的相邻像素的色比来对目标像素的像素值进行内插以计算其他颜色的像素值。
下面将描述通过基于相邻像素的色比对目标像素的像素值进行内插来计算其他颜色像素值的方法的一个具体例子。
当去马赛克处理的目标像素为G像素，像素值为G，并且在由方向确定电路确定的相关方向上没有R和B像素时，若G像素附近的R和B像素的像素值为R和B，并且G像素在这些像素的像素位置处的像素值为GR和GB，则通过下面公式计算目标像素位置处的R和B像素的像素值RG和BG。
RG=G×(R/GR)，BG=G×(B/GB)...(4)
类似地，当去马赛克处理的目标像素为R像素，像素值为R，并且在由方向确定电路确定的相关方向上没有G和B像素时，若R像素附近的G和B像素的像素值为G和B，并且R像素在这些像素的像素位置处的像素值为RG和RB，则通过下面公式计算目标像素位置处的G和B像素的像素值GR和BR。
GR=R×(G/RG)，BR=R×(B/RB)...(5)
当去马赛克处理的目标像素为B像素，像素值为B，并且在由方向确定电路确定的相关方向上没有G和R像素时，若B像素附近的G和R像素的像素值为G和R，并且B像素在这些像素的像素位置处的像素值为BG和BR，则通过下面公式计算目标像素位置处G和R像素的像素值GB和RB。
GB=B×(G/BG)，RB=B×(R/BR)...(6)
本发明基于包含周期地布置在水平和竖直方向的行中的R、G和B像素的彩色成像元件。然而，当使用还包含周期地布置在倾斜（NE，NW）方向上的R、G和B像素的彩色成像元件时，不必按公式（1）至（6）等对其他颜色的像素值进行内插或计算。
当水平、竖直和倾斜（NE，NW）方向上彼此相邻的G像素的像素值的差分绝对值彼此相等时（当差分绝对值在所有方向上为0或大体上为0时），方向确定电路确定不存在相关方向。在该情况下，该像素位置附近的其他颜色像素的像素值被用于去马赛克处理的目标像素的像素位置处的其他颜色的像素值。
{彩色成像元件的第二实施例}
图8是示出适用于本发明的彩色成像元件第二实施例的示意图。图8详细地示出了布置在彩色成像元件上的滤色器中的滤色器阵列。
如图8所示，彩色成像元件的滤色器阵列包含由与6×6像素对应的方阵列图案形成的基本阵列图案，并且基本阵列图案重复地布置在水平和竖直方向上。因此，该滤色器阵列包含以预定周期布置的R、G和B颜色的滤色器（R滤色器、G滤色器和B滤色器）。
图8所示的滤色器阵列包含布置在基本阵列图案的水平和竖直方向的行中的所有R、G和B颜色的滤色器。
如图8所示，若基本阵列图案被分为四组3×3像素，则基本阵列图案也可以理解为这样的一种滤色器阵列，其包含由实线框包围的3×3像素的A阵列和由虚线框包围的3×3像素的B阵列，A和B阵列交替布置在水平和竖直方向上。
在A阵列中，R滤色器布置在3×3像素的中心，B滤色器布置在四个角，并且G滤色器越过中心处的R滤色器水平和竖直地布置。同时，在B阵列中，B滤色器布置在3×3像素的中心，R滤色器布置在四个角，并且G滤色器越过中心处的B滤色器水平和竖直地布置。因此，虽然在A和B阵列中R和B滤色器之间的位置关系是相反的，但其余布置是相同的。
图8所示的滤色器阵列包含两个G滤色器在水平、竖直和倾斜（NE，NW）方向上彼此相邻的部分。
作为亮度像素的G滤色器越过A或B阵列中3×3像素组中心的滤色器竖直和水平地布置。因此，若3×3像素组重复地布置在水平和竖直方向上，则两个像素越过3×3像素组中心的滤色器在水平和竖直方向上彼此相邻地布置。
根据滤色器阵列，与作为亮度像素的G滤色器对应的像素（总共8个像素）的像素值允许基于最小像素间隔处的像素值来确定水平、竖直和倾斜（NE，NW）方向上的亮度相关性。
当对应于A阵列的3×3像素作为去马赛克处理的目标像素时，越过中心处的R像素在水平和竖直方向上存在连续的G像素（G像素布置成十字型）。可以基于水平和垂直方向上的连续G像素的像素值计算水平和竖直方向上的亮度相关性，并且可以根据与R像素相邻的水平和竖直的四个G像素计算出倾斜（NE，NW）方向上的亮度相关性。
第二实施例的彩色成像元件的滤色器阵列具有与第一实施例的彩色成像元件12的滤色器阵列的特征（1）、（2）和（3）相同的特征。可以执行根据本发明的方向确定与像素内插。
在第二实施例的彩色成像元件的滤色器阵列中，例如，若位于A阵列中心的R像素或位于B阵列中心的B像素为去马赛克处理的目标像素，并且确定了倾斜方向是相关方向，则倾斜方向中不存在G像素。在这种情况下，可以基于表达式（2）和（3）或表达式（5）和（6）计算出G的像素值。
{彩色成像元件的第三实施例}
图9是示出适用于本发明的彩色成像元件的第三实施例的示意图。图9详细地示出了布置在彩色成像元件上的滤色器的滤色器阵列。
如图9所示，彩色成像元件的滤色器阵列包含由与5×5像素对应的方阵列图案形成的基本阵列图案（粗框表示的图案）。基本阵列图案重复地布置在水平和竖直方向上。因此，该滤色器阵列包含以预定周期布置的R、G和B颜色的滤色器（R滤色器、G滤色器和B滤色器）。
图9所示的滤色器阵列包含布置在基本阵列图案的水平和竖直方向的行中的所有R、G和B颜色的滤色器。
在基本阵列图案中，两个或更多的连续的G滤色器（G像素）布置在水平、竖直和倾斜（NE，NW）方向上。连续G像素的像素值允许以最小像素间隔确定水平、竖直和倾斜（NE，NW）方向上的亮度相关性。
第三实施例的彩色成像元件的滤色器阵列具有与第一实施例的彩色成像元件12的滤色器阵列的特征（1）、（2）和（3）相同的特征。可以执行根据本发明的方向确定与像素内插。
{彩色成像元件的第四实施例}
图10是示出适用于本发明的彩色成像元件的第四实施例的示意图。图10详细地示出了布置在彩色成像元件上的滤色器的滤色器阵列。
如图10所示，彩色成像元件的滤色器阵列包含由与7×7像素对应的方阵列形成的基本阵列图案（粗框表示的图案），并且基本阵列图案重复地布置在水平和竖直方向上。因此，该滤色器阵列包含以预定周期布置的R、G和B颜色的滤色器（R滤色器、G滤色器和B滤色器）。
在图10所示的滤色器阵列中，在基本阵列图案的水平和竖直方向的行中布置了所有R、G和B颜色的滤色器。
在基本阵列图案中，连续的G滤色器（G像素）布置在水平、竖直和倾斜（NE，NW）方向上。更具体地，在基本阵列图案中存在四组竖直和水平地连续的2×2的G像素。
连续G像素的像素值允许以最小像素间隔确定水平、竖直和倾斜（NE，NW）方向上的亮度相关性。
第四实施例的彩色成像元件的滤色器阵列具有与第一实施例的彩色成像元件12的滤色器阵列的特征（1）、（2）和（3）相同的特征。可以执行根据本发明的方向确定与像素内插。
{彩色成像元件的第五实施例}
图11是示出适用于本发明的彩色成像元件的第五实施例的示意图。图11详细地示出了布置在彩色成像元件上的滤色器的滤色器阵列。
如图11所示，彩色成像元件的滤色器阵列包含由对应于8×8像素的方阵列形成的基本阵列图案（粗框表示的图案），并且基本阵列图案重复地布置在水平和竖直方向上。因此，滤色器阵列包含以预定周期布置的R、G和B颜色的滤色器（R滤色器、G滤色器和B滤色器）。
图11所示的滤色器阵列包含布置在基本阵列图案的水平和竖直方向的行中的所有R、G和B颜色的滤色器。
在基本阵列图案中，连续的G滤色器（G像素）布置在水平、竖直和倾斜（NE，NW）方向上。更具体地，在基本阵列图案中存在包括多个竖直和水平地连续的2×2像素的G像素。
连续G像素的像素值允许以最小像素间隔确定水平、竖直和倾斜（NE，NW）方向上的亮度相关性。
第五实施例的彩色成像元件的滤色器阵列具有与第一实施例的彩色成像元件12的滤色器阵列的特征（1）、（2）和（3）相同的特征。可以执行根据本发明的方向确定与像素内插。
{彩色成像元件的第六和第七实施例}
图12和13是分别示出适用于本发明的彩色成像元件的第六和第七实施例的示意图。图12和13详细地示出了布置在彩色成像元件上的滤色器的滤色器阵列。
图12所示的第六实施例的彩色成像元件的滤色器阵列包含布置在水平和竖直方向上的如图3所示第一实施例的3×3像素A阵列。
同时，图13所示的第七实施例的彩色成像元件的滤色器阵列包含布置在水平和竖直方向上的如图3所示第一实施例的3×3像素B阵列。
在第六和第七实施例的彩色成像元件的滤色器阵列中基本阵列图案较小（3×3像素），并且具有便于对R、G和B信号进行去马赛克处理的有益效果。
同时，在基本阵列图案中的水平和竖直方向的行中没有布置所有R、G和B颜色的滤色器，并且这些阵列不具有第一实施例的彩色成像元件12的滤色器阵列的特征（2）。然而，这些阵列具有与特征（1）和（3）相同的特征，并且可以执行根据本发明的方向确定与像素内插。
{其他}
虽然已在实施例中描述的彩色成像设备包含具有RGB三原色滤色器的彩色成像元件，但本发明并非局限于此。本发明也可以应用于这样一种彩色成像设备，其包含的彩色成像元件具有包括RGB三原色和另一种颜色（如翠绿色（E））在内的四种颜色的滤色器。
本发明还可以应用于这样一种彩色成像设备，其包含的彩色成像元件具有四个互补色的滤色器，包括G以及三原色RGB的互补色C（青色）、M（品红）和Y（黄色）。
显然本发明并非局限于这些实施例，并且在不背离本发明精神范围的情况下可以做许多修改。
{参考标记列表}
10：成像光学系统
12：彩色成像元件
14：图像处理单元
16：图像处理单元
18：驱动单元
20：控制单元

Claims (13)

1.一种彩色成像设备包括：
单板彩色成像元件，其包括：包含布置在水平和竖直方向上的光电转换元件的多个像素；和按预定的滤色器阵列布置在所述多个像素上的多个滤色器，其中所述滤色器阵列包含与最有助于获得亮度信号的第一颜色相对应的第一滤色器和与除第一颜色外的两个或更多的第二颜色相对应的第二滤色器，所述第一滤色器和所述第二滤色器被周期地布置，并且所述第一滤色器包含两个或更多的在水平、竖直和倾斜（NE，NW）方向上彼此相邻的部分；
图像获取单元，其从所述彩色成像元件获取对应于所述滤色器阵列的镶嵌图像；
方向确定单元，其针对从所述镶嵌图像中提取的去马赛克处理的目标像素获取与所述目标像素附近的第一滤色器相对应并且在水平、竖直和倾斜（NE，NW）方向上彼此相邻的各像素的像素值，并且基于相邻像素的像素值确定水平、竖直和倾斜（NE，NW）方向中哪一个是亮度的相关方向；
去马赛克处理单元，其计算位于从所述镶嵌图像中提取的去马赛克处理的目标像素的像素位置处的其他颜色的像素值，并且其利用由所述方向确定单元确定的相关方向上的一个其他颜色像素的像素值来计算所述其他颜色的像素值；
控制单元，其在把从所述镶嵌图像中提取的去马赛克处理的目标像素移位去马赛克处理的一个目标像素单位的同时重复操作所述方向确定单元和所述去马赛克处理单元。
2.根据权利要求1的彩色成像设备，其中
所述滤色器阵列包含包括所述第一滤色器和所述第二滤色器的基本阵列图案，所述基本阵列图案重复地布置在水平和竖直方向上，并且
一个或多个第一滤色器和一个或多个第二滤色器布置在所述基本阵列图案的水平和竖直方向的每一行中。
3.根据权利要求1的彩色成像设备，其中
在所述滤色器阵列中，所述第一滤色器布置在3×3像素组的中心及四个角处，并且所述3×3像素组重复地布置在水平和竖直方向上。
4.根据权利要求1的彩色成像设备，其中
在所述滤色器阵列中，所述第一滤色器越过所述3×3像素组的中心处的滤色器而水平和竖直地布置，并且所述3×3像素组重复地布置在水平和竖直方向上。
5.根据权利要求1至4中任意一项的彩色成像设备，其中
所述方向确定单元计算水平、竖直和倾斜（NE，NW）方向中每个方向上的各相邻像素的像素值的差分绝对值，并且把具有这些方向上的差分绝对值当中最小差分绝对值的方向确定为相关方向。
6.根据权利要求1至4中任意一项的彩色成像设备，其中
所述方向确定单元计算水平、竖直和倾斜（NE，NW）方向中每个方向上的各相邻像素的像素值的比值，并且把具有这些方向上的比值当中最接近于1的比值的方向确定为相关方向。
7.根据权利要求1至6中任意一项的彩色成像设备，其中
去马赛克处理单元把由所述方向确定单元确定的相关方向上的一个其他颜色像素的像素值设定为所述目标像素的像素位置处的其他颜色的像素值，或把通过对由所述方向确定单元确定的相关方向上的多个其他颜色像素的像素值进行内插而获得的值设定为所述目标像素的像素位置处的其他颜色的像素值。
8.根据权利要求1至7中任意一项的彩色成像设备，其中
若由所述方向确定单元确定的相关方向上没有其他颜色的像素，则所述去马赛克处理单元基于所述目标像素附近的其他颜色的像素的像素位置处的色差或色比来对所述目标像素的像素值进行内插，从而计算出其他颜色的像素值。
9.根据权利要求8的彩色成像设备，其中
所述滤色器包含与红色（R）、绿色（G）和蓝色（B）相对应的R滤色器、G滤色器和B滤色器，其中
当去马赛克处理的目标像素为一个G像素，像素值为G，并且在由所述方向确定单元确定的相关方向上没有R和B像素时，若G像素附近的R和B像素的像素值为R和B，并且G像素在这些R和B像素的像素位置处的像素值为GR和GB，则所述去马赛克处理单元通过下面公式计算目标像素位置处的R和B像素的像素值RG和BG：
RG=G+(R-GR)，以及BG=G+(B-GB)，其中，
当去马赛克处理的目标像素为一个R像素，像素值为R，并且在由所述方向确定单元确定的相关方向上没有G和B像素时，若R像素附近的G和B像素的像素值为G和B，并且R像素在这些G和B像素的像素位置处的像素值为RG和RB，则所述去马赛克处理单元通过下面公式计算目标像素位置处的G和B像素的像素值GR和BR：
GR=R+(G-RG)，以及BR=R+(B-RB)，并且其中，
当去马赛克处理的目标像素为一个B像素，像素值为B，并且在由所述方向确定单元确定的相关方向上没有G和R像素时，若B像素附近的G和R像素的像素值为G和R，并且B像素在这些G和R像素的像素位置处的像素值为BG和BR，则所述去马赛克处理单元通过下面公式计算目标像素位置处的G和R像素的像素值GB和RB：
GB=B+(G-BG)，以及RB=B+(R-BR)。
10.根据权利要求8的彩色成像设备，其中
滤色器包括与红色（R）、绿色（G）和蓝色（B）相对应的R滤色器、G滤色器和B滤色器，其中
当去马赛克处理的目标像素为一个G像素，像素值为G，并且在由所述方向确定单元确定的相关方向上没有R和B像素时，若G像素附近的R和B像素的像素值为R和B，并且G像素在这些R和B像素的像素位置处的像素值为GR和GB，则所述去马赛克处理单元通过下面公式计算目标像素位置处的R和B像素的像素值RG和BG：
RG=G×(R/GR)，以及BG=G×(B/GB)，其中，
当去马赛克处理的目标像素为一个R像素，像素值为R，并且在由所述方向确定单元确定的相关方向上没有G和B像素时，若R像素附近的G和B像素的像素值为G和B，并且R像素在这些G和B像素的像素位置处的像素值为RG和RB，则所述去马赛克处理单元通过下面公式计算目标像素位置处的G和B像素的像素值GR和BR：
GR=R×(G/RG)，以及BR=R×(B/RB)，并且其中，
当去马赛克处理的目标像素为一个B像素，像素值为B，并且在由所述方向确定单元确定的相关方向上没有G和R像素时，若B像素附近的G和R像素的像素值为G和R，并且B像素在这些G和R像素的像素位置处的像素值为BG和BR，则所述去马赛克处理单元通过下面公式计算目标像素位置处的G和R像素的像素值GB和RB：
GB=B×(G/BG)，以及RB=B×(R/BR)。
11.根据权利要求1至10中任意一项的彩色成像设备，其中
当水平、竖直和倾斜（NE，NW）方向上彼此相邻的各像素的像素值的差值相等时，所述方向确定单元确定没有相关方向，且
若所述方向确定单元确定没有相关方向，则所述去马赛克处理单元利用去马赛克处理的目标像素的像素位置附近的一个其他颜色像素的像素值来计算该像素位置处的其他颜色的像素值。
12.根据权利要求1至11中任意一项的彩色成像设备，其中
所述滤色器包括与色红（R）、绿色（G）和蓝色（B）相对应的R滤色器、G滤色器和B滤色器，并且
所述滤色器阵列包括：对应于3×3像素的第一阵列，所述第一阵列包含布置在中心及四个角处的G滤色器、越过中心处的G滤色器而被竖直地布置的B滤色器、以及越过中心处的G滤色器而被水平地布置的R滤色器；对应于3×3像素的第二阵列，所述第二阵列包含布置在中心及四个角处的G滤色器、越过中心处的G滤色器而被竖直地布置的R滤色器、以及越过中心处的G滤色器而被水平地布置的B滤色器，其中所述第一阵列和所述第二阵列交替地布置在水平和竖直方向上。
13.根据权利要求1至11中任意一项的彩色成像设备，其中
所述滤色器包括与红色（R）、绿色（G）和蓝色（B）相对应的R滤色器、G滤色器和B滤色器，并且
所述滤色器阵列包括：对应于3×3像素的第一阵列，所述第一阵列包含布置在中心处的R滤色器、布置在四个角处的B滤色器、以及越过中心处的R滤色器而被水平和竖直地布置的G滤色器；对应于3×3像素的第二阵列，所述第二阵列包含布置在中心处的B滤色器、布置在四个角处的R滤色器、以及越过中心处的B滤色器而被水平和竖直地布置的G滤色器，其中所述第一阵列和所述第二阵列交替地布置在水平和竖直方向上。
CN201180022147.5A 2011-02-28 2011-07-29 彩色成像设备 Active CN102959958B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-042831 2011-02-28
JP2011042831 2011-02-28
JP2011-162413 2011-07-25
JP2011162413 2011-07-25
PCT/JP2011/067420 WO2012117584A1 (ja) 2011-02-28 2011-07-29 カラー撮像装置

Publications (2)

Publication Number Publication Date
CN102959958A true CN102959958A (zh) 2013-03-06
CN102959958B CN102959958B (zh) 2015-05-27

Family

ID=46757538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180022147.5A Active CN102959958B (zh) 2011-02-28 2011-07-29 彩色成像设备

Country Status (7)

Country Link
US (2) US8878970B2 (zh)
EP (1) EP2683167B1 (zh)
JP (2) JP5054858B1 (zh)
CN (1) CN102959958B (zh)
BR (1) BR112012027309A2 (zh)
RU (1) RU2556022C2 (zh)
WO (1) WO2012117584A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179407A (zh) * 2013-03-11 2013-06-26 浙江大学 应用于去马赛克算法方向插值的实现装置及方法
TWI493979B (zh) * 2013-06-20 2015-07-21 Himax Imaging Ltd 去馬賽克方法、非暫時性機器可讀取儲存媒體以及影像訊號處理器
CN105264886A (zh) * 2013-05-23 2016-01-20 富士胶片株式会社 像素插值装置及其动作控制方法
CN106454286A (zh) * 2016-09-29 2017-02-22 杭州雄迈集成电路技术有限公司 一种g模式色彩滤波阵列
CN106507066A (zh) * 2016-11-22 2017-03-15 深圳艾科创新微电子有限公司 抑制图像伪彩色的方法、装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488031B2 (en) * 2011-01-14 2013-07-16 DigitalOptics Corporation Europe Limited Chromatic noise reduction method and apparatus
CN102884796B (zh) 2011-02-21 2014-07-09 富士胶片株式会社 彩色成像元件
JP5054858B1 (ja) 2011-02-28 2012-10-24 富士フイルム株式会社 カラー撮像装置
BR112012029513A2 (pt) 2011-03-09 2016-12-06 Fujifilm Corp elemento de imageamento de cor.
JP5378627B2 (ja) * 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法ならびに撮像システム
JP5702891B2 (ja) * 2012-06-08 2015-04-15 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
CN104412579B (zh) * 2012-07-06 2016-08-24 富士胶片株式会社 彩色摄像元件以及摄像装置
JP5702895B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
JP5981824B2 (ja) * 2012-09-28 2016-08-31 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
CN102938843B (zh) 2012-11-22 2014-12-03 华为技术有限公司 图像处理方法、装置以及成像设备
JP5777825B2 (ja) * 2012-12-05 2015-09-09 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
JP5749409B2 (ja) * 2012-12-07 2015-07-15 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
US9172743B2 (en) * 2012-12-31 2015-10-27 Futurewei Technologies, Inc. Scalable storage systems with longest prefix matching switches
DE112013006596B4 (de) * 2013-02-05 2019-10-02 Fujifilm Corporation Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren und Programm
EP2956084B1 (en) 2013-02-13 2022-08-03 3Shape A/S Focus scanning apparatus recording color
JP6276580B2 (ja) * 2013-12-20 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP2015162706A (ja) 2014-02-26 2015-09-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR102134636B1 (ko) 2014-07-14 2020-07-16 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
KR102282457B1 (ko) * 2014-12-05 2021-07-28 한화테크윈 주식회사 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치
TWI585726B (zh) * 2015-03-25 2017-06-01 鴻海精密工業股份有限公司 畫素結構
WO2016152414A1 (ja) * 2015-03-26 2016-09-29 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR20210130972A (ko) * 2020-04-23 2021-11-02 삼성전자주식회사 전자 장치의 컬러 필터, 및 그 전자 장치
FR3120989B1 (fr) * 2021-03-16 2024-03-08 Commissariat Energie Atomique Motif couleur et proche-infrarouge pour capteur d’images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007037104A (ja) * 2005-06-21 2007-02-08 Sony Corp 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US20090066821A1 (en) * 2007-09-07 2009-03-12 Jeffrey Matthew Achong Method And Apparatus For Interpolating Missing Colors In A Color Filter Array

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60263592A (ja) * 1984-06-11 1985-12-27 Toshiba Corp 固体撮像装置
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
WO1992013423A1 (en) * 1991-01-25 1992-08-06 Eastman Kodak Company A solid state color image sensor using a field-staggered color filter pattern
JP3268891B2 (ja) * 1992-08-14 2002-03-25 オリンパス光学工業株式会社 内視鏡撮像装置
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
JP3935548B2 (ja) 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
EP1046132B1 (en) * 1998-09-15 2005-09-14 Phase One A/S A method and a system for processing images
US6396873B1 (en) 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
JP4043197B2 (ja) * 2000-03-24 2008-02-06 三洋電機株式会社 単板式カラーカメラの色分離回路
EP1148735A1 (en) * 2000-04-20 2001-10-24 Koninklijke Philips Electronics N.V. Camera with color filter
JP3972816B2 (ja) * 2000-09-07 2007-09-05 株式会社ニコン 画像処理装置および表色系変換方法
JP4088959B2 (ja) 2001-01-09 2008-05-21 ソニー株式会社 画像処理装置および方法、並びに記録媒体
WO2002093939A1 (fr) * 2001-05-15 2002-11-21 Matsushita Electric Industrial Co., Ltd. Dispositif d'imagerie et procede de traitement de signaux associe
US7027091B1 (en) 2001-09-17 2006-04-11 Pixim, Inc. Detection of color filter array alignment in image sensors
US6970597B1 (en) 2001-12-05 2005-11-29 Pixim, Inc. Method of defining coefficients for use in interpolating pixel values
JP4451044B2 (ja) * 2002-02-21 2010-04-14 株式会社メガチップス 混成画素補間装置および混成画素補間方法
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP4446818B2 (ja) * 2004-07-06 2010-04-07 株式会社メガチップス 画素補間方法
EP1650979A1 (en) 2004-10-21 2006-04-26 STMicroelectronics S.r.l. Method and system for demosaicing artifact removal
JP4253634B2 (ja) 2004-11-30 2009-04-15 富士フイルム株式会社 デジタルカメラ
JP4840740B2 (ja) * 2004-12-01 2011-12-21 株式会社メガチップス 画素補間方法および画像判定方法
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
US7755682B2 (en) 2006-03-29 2010-07-13 Ite Tech. Inc. Color interpolation method for Bayer filter array images
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
JP4946581B2 (ja) * 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
US7859580B2 (en) 2007-10-16 2010-12-28 Aptina Imaging Corporation Method and apparatus for anisotropic demosaicing of image data
RU2383967C2 (ru) 2008-04-10 2010-03-10 Общество с ограниченной ответственностью ООО "Юник Ай Сиз" Фотоприемная матрица цветного изображения
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US8004588B2 (en) 2008-08-27 2011-08-23 Seiko Epson Corporation Image processing procedure for receiving mosaic image data and calculating vertical and horizontal-direction color difference components for each pixel
US8164042B2 (en) 2008-11-06 2012-04-24 Visera Technologies Company Limited Color filter arrays and image sensors using the same
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5574615B2 (ja) 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP5120441B2 (ja) 2009-11-26 2013-01-16 株式会社ニコン 画像処理装置
JP2010104019A (ja) 2009-12-17 2010-05-06 Mega Chips Corp 画素補間方法
CN102884796B (zh) 2011-02-21 2014-07-09 富士胶片株式会社 彩色成像元件
JP5054858B1 (ja) * 2011-02-28 2012-10-24 富士フイルム株式会社 カラー撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007037104A (ja) * 2005-06-21 2007-02-08 Sony Corp 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US20090066821A1 (en) * 2007-09-07 2009-03-12 Jeffrey Matthew Achong Method And Apparatus For Interpolating Missing Colors In A Color Filter Array

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179407A (zh) * 2013-03-11 2013-06-26 浙江大学 应用于去马赛克算法方向插值的实现装置及方法
CN103179407B (zh) * 2013-03-11 2015-03-11 浙江大学 应用于去马赛克算法方向插值的实现装置及方法
CN105264886A (zh) * 2013-05-23 2016-01-20 富士胶片株式会社 像素插值装置及其动作控制方法
CN105264886B (zh) * 2013-05-23 2017-05-03 富士胶片株式会社 像素插值装置及其动作控制方法
TWI493979B (zh) * 2013-06-20 2015-07-21 Himax Imaging Ltd 去馬賽克方法、非暫時性機器可讀取儲存媒體以及影像訊號處理器
CN106454286A (zh) * 2016-09-29 2017-02-22 杭州雄迈集成电路技术有限公司 一种g模式色彩滤波阵列
CN106507066A (zh) * 2016-11-22 2017-03-15 深圳艾科创新微电子有限公司 抑制图像伪彩色的方法、装置

Also Published As

Publication number Publication date
EP2683167B1 (en) 2018-05-02
US20120293696A1 (en) 2012-11-22
EP2683167A1 (en) 2014-01-08
CN102959958B (zh) 2015-05-27
US8878970B2 (en) 2014-11-04
BR112012027309A2 (pt) 2016-08-02
JP5054858B1 (ja) 2012-10-24
RU2556022C2 (ru) 2015-07-10
US20150029367A1 (en) 2015-01-29
EP2683167A4 (en) 2014-11-26
WO2012117584A1 (ja) 2012-09-07
US9288454B2 (en) 2016-03-15
JP5872408B2 (ja) 2016-03-01
JP2013048410A (ja) 2013-03-07
JPWO2012117584A1 (ja) 2014-07-07
RU2013139022A (ru) 2015-04-10

Similar Documents

Publication Publication Date Title
CN102959958B (zh) 彩色成像设备
CN102870417B (zh) 彩色成像设备
US7872681B2 (en) System and method for a high performance color filter mosaic array
CN102884796B (zh) 彩色成像元件
CN102870405B (zh) 彩色成像元件
CN104412581B (zh) 彩色摄像元件及摄像装置
CN104412579B (zh) 彩色摄像元件以及摄像装置
CN103597821A (zh) 图像拾取设备和信号值校正方法
CN104025578B (zh) 彩色摄像元件
CN104025582B (zh) 彩色摄像元件
CN104025583A (zh) 图像处理装置、方法及摄像装置
CN103621070B (zh) 摄像装置及摄像装置的控制方法
US8711257B2 (en) Color imaging device
CN110324541A (zh) 一种滤波联合去噪插值方法及装置
CN104025575B (zh) 摄像装置及摄像装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant