CN101494795B - 使用绿色光谱范围重叠的单位像素群的图像传感器及方法 - Google Patents
使用绿色光谱范围重叠的单位像素群的图像传感器及方法 Download PDFInfo
- Publication number
- CN101494795B CN101494795B CN2008102098865A CN200810209886A CN101494795B CN 101494795 B CN101494795 B CN 101494795B CN 2008102098865 A CN2008102098865 A CN 2008102098865A CN 200810209886 A CN200810209886 A CN 200810209886A CN 101494795 B CN101494795 B CN 101494795B
- Authority
- CN
- China
- Prior art keywords
- signal
- color
- green
- pixel
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000003595 spectral effect Effects 0.000 title description 4
- 239000003086 colorant Substances 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 5
- 235000021384 green leafy vegetables Nutrition 0.000 claims 10
- 239000011159 matrix material Substances 0.000 description 7
- 241000023320 Luma <angiosperm> Species 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical group COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
一种包括排列成多个重复的2×2单元像素群的颜色选择传感器的阵列的设备。单元像素群每一个传感器选用包括绿色成分的颜色。该单元像素群包含对于各个第一和第二颜色选择的各个传感器和对于第三颜色选择的两个传感器。来自该单元像素群的传感器的信号限定第一颜色信号空间,并且该设备还包括图像处理器电路,其配置成从该颜色选择传感器的阵列接收图像传感器信号以及处理该图像传感器信号,从而在第二颜色信号空间中产生图像信号。
Description
技术领域
本发明涉及图像传感器以及其操作方法,更特定地,涉及彩色图像传感器以及其操作方法。
背景技术
CMOS图像传感器(CIS)被普遍地用在消费电子产品中,例如数码照相机、录像机和可拍照的移动终端。在典型装置中,CIS阵列用来捕捉光能并输出相应的电信号,其中每一个传感器通常对应于图像的像素。通常,CIS仅区别光强信息。为了提供彩色区分,通常在传感器阵列上设置彩色滤光片以过滤光的特定彩色成分从而单个传感器可以提供彩色成分信息。
为了产生高清晰度图像,通常CIS需要减少尺寸使得在规定区域内可以使用大量的传感器。然而,增加传感器集成密度会导致增加传感器之间的串扰,其会引起灵敏度的降低。具有不同滤色镜的传感器之间的串扰会引起单个传感器输出上的光谱失真,并且会导致信噪比(SNR)和颜色再现性的降低。
补偿串扰的传统技术包括放大传感器输出信号和/或使用颜色修正电路来修正串扰。这种途径会由于增加的噪音和颜色再现性的问题而受到限制。
通常的传统图像装置使用颜色内插(color interpolation)。在通常的颜色内插工艺中,联合来自多个相邻像素的信号以产生给定像素的适当的颜色信息。例如,来自相邻红色和绿色像素传感器的信号可以用来产生用于蓝色像素的内插的绿色和红色信号。然而,颜色内插可以引起错误的颜色误差。传统的修正错误的颜色误差的途径是在每一个传感器和接收入射光的透镜之间插入光学低通滤光器(OLPF)。
发明内容
本发明的一些实施例提供一种设备,其包括排列为多个重复的2x2单元像素群的颜色选择传感器阵列。该阵列中的单元像素群的每一个传感器选择为用于包括绿色成分的颜色。该单元像素包括对于各个第一和第二颜色选择的各个传感器和对于第三颜色选择的两个传感器。来自单元像素群的传感器的信号可以表示第一颜色信号空间的颜色,并且该设备可以进一步包括图像处理器电路,其配置成接收来自颜色选择传感器阵列的图像传感器信号和处理图像传感器信号以产生第二颜色信号空间中的图像信号。例如,图像处理器电路可以包括内插器电路,对于具有第一、第二和第三颜色的第一颜色的滤色镜的像素来说,其配置成产生相应于第一、第二和第三颜色的各自的第二和第三颜色的内插颜色信号。颜色修正电路可以配置成接收内插颜色信号和合成内插颜色信号以产生RGB信号。该图像处理器电路可以进一步配置成从RGB信号产生色度信号和从内插颜色信号产生亮度信号。该图像处理器电路还可以配置成识别从颜色选择传感器接收的图像信号中的错误颜色误差像素和向识别的错误颜色误差像素相应地补偿内插颜色信号。
在特定实施例中,单元像素群的第一列包括黄色滤色传感器和蓝绿色滤色传感器并且该单元像素群的第二列包括两个绿色滤色传感器。该设备可以包括图像处理器电路,其配置成产生各个像素的各个黄色、蓝绿色和第一及第二绿色信号组,并且配置成合成各个黄色、蓝绿色和第一及第二绿色信号组的黄色、蓝绿色和两个绿色信号从而产生各个像素的各个RGB信号组。该图像处理器电路可以包括串扰修正器电路,其配置成合成规定像素的黄色信号和第一绿色信号从而产生规定像素的RGB信号组的红色信号,配置成合成规定像素的蓝绿色信号和第二绿色信号从而产生规定像素的RGB信号组的蓝色信号,并且配置成合成规定像素的第一和第二绿色信号从而产生规定像素的RGB信号组的绿色信号。例如,该串扰修正器电路可以配置成从规定像素的黄色信号去除第一绿色信号从而产生规定像素的RGB信号组的红色信号,从规定像素的蓝绿色信号去除第二绿色信号从而产生规定像素的RGB信号组的蓝色信号,对规定像素的第一和第二绿色信号取平均从而产生规定像素的RGB信号组的绿色信号。图像处理器电路还可以配置成对规定像素的RGB信号的红色信号、蓝色信号和绿色信号施加颜色修正矩阵从而产生规定像素的一组经过颜色修正的红色、绿色和蓝色信号。图像处理器电路可以包括内插器电路,其配置成从颜色选择传感器矩阵接收图像传感信号并且配置成由已接收的图像传感信号产生各个像素的各个黄色、蓝绿色和第一及第二绿色信号组。
本发明的另一个实施例提供一种方法,其中图像传感信号产生于以多个重复的2x2单元像素群的形式排列的颜色选择传感器矩阵中,每一个单元像素群中的传感器选择包含绿色成分的颜色,该单元像素群包括对于第一和第二颜色选择的各个传感器和对于第三颜色选择的两个传感器。该第一、第二和第三颜色可以形成第一颜色信号空间,并且处理该图像处理器信号以在第二颜色信号空间中产生图像信号。处理图像传感信号以在第二颜色信号空间中产生图像信号的步骤可以包括:对于具有第一、第二和第三颜色的第一颜色的滤色镜的像素来说,内插相应于第一、第二和第三颜色的各个第二和第三颜色的颜色信号,并且合成内插的颜色信号以产生RGB信号。该方法还可以包括产生来自RGB信号的色度信号和产生来自内插颜色信号的亮度信号。
本发明的另一个实施例提供一种串扰修正的方法,其包括接收像素的颜色信号组,该颜色信号组包括黄色信号、蓝绿色信号、第一绿色信号和第二绿色信号。合成该黄色信号和该第一绿色信号从而产生RGB信号组的红色信号。合成该蓝绿色信号和该第二绿色信号从而产生RGB信号组的蓝色信号。合成该第一和第二绿色信号从而产生RGB信号组的绿色信号。合成该黄色信号和该第一绿色信号从而产生RGB信号组的红色信号的步骤可以包括从黄色信号去除第一绿色信号从而产生RGB信号组的红色信号。合成该蓝绿色信号和该第二绿色信号从而产生RGB信号组的蓝色信号的步骤可以包括从该蓝绿色信号去除第二绿色信号从而产生RGB信号组的蓝色信号。合成该第一和第二绿色信号从而产生RGB信号组的绿色信号的步骤可以包括对该第一和第二绿色信号取平均从而产生RGB信号组的绿色信号。
本发明的另外实施例提供一种错误颜色误差修正方法,该方法用于修正来自像素传感器阵列的传感器信号的由于颜色信号内插而产生的错误颜色误差,该像素传感器阵列包括在阵列中的按行交织的第一颜色的传感器和第二颜色的传感器。对于该行的每一个像素,该传感器的传感信号输出和在第一方向上最靠近的同一颜色的传感器的传感信号输出之间的差别被确定。第一和第二颜色的一对相邻的像素根据确定的差别而被识别。识别的相邻像素对的内插颜色信号得到补偿。例如,对于识别的相邻像素对补偿内插颜色信号的步骤可以包括:对于该第一颜色的像素来说,向与该第一颜色的该像素相关的该第二颜色的内插颜色信号添加该第一颜色的该像素的各个边上的该第二颜色的像素的颜色信号平均值;并且,对于第二颜色的像素来说,从与该第二颜色的该像素相关的该第一颜色的内插颜色信号中减去该第二颜色的该像素的各个边上的该第一颜色的像素的颜色信号平均值。
附图说明
图1是示出用于依据本发明的某些实施例的图像传感器设备的单元像素群的排列的电路图。
图2是示出图1的图像传感器设备的传感器的颜色光谱关系的图。
图3-10是示出图1的图像传感器设备的像素传感器中的串扰的图。
图11是依据本发明的某些实施例的图像传感器设备的结构图。
图12A-C示出依据本发明的另外实施例的图11的图像传感器设备的RGB信号产生。
图13是依据本发明的另外实施例的图像传感器设备的结构图。
图14和15是示出依据本发明的某些实施例的由传感器矩阵中的颜色信号的内插引起的错误颜色的产生的图。
图16是示出在依据本发明的某些实施例的图像传感器设备中的错误颜色误差修正设备和操作的结构图。
图17和18示出图16的图像传感器设备中的错误颜色误差修正的操作。
图19是示出依据本发明的某些实施例的处理图像信号的操作的流程图。
图20是示出依据本发明的另外实施例的错误颜色误差修正的操作的流程图。
具体实施方式
在此结合附图更充分地描述本发明,附图中示出本发明的实施例。然而,本发明可以以多种不同的形式体现并且不应该解释为限定于在此提出的实施例。而是,提出这些实施例,从而本公开将是彻底的和完整的,并且将本发明的范围全部传递给本领域技术人员。
这里所使用的术语“和/或”包括任意和所有所列相关的术语的一个或多个的组合。可以理解的是,当元件和/或部件指的是“连接到”和/或“耦接到”另一个元件和/或部件时,该元件和/或部件可以直接连接和/或耦接到其它元件和/或部件,或者可以存在中间元件和/或部件。相反,当元件和/或部件指的是“直接连接到”和/或“直接耦接到”另一个元件和/或部件时,不存在中间元件和/或部件。
还可以理解的是,尽管术语“第一”、“第二”等可以在此用作描述不同的元件和/或部件,这些元件和/或部件不应该限定于这些术语。而是,这些术语仅仅用作方便区分一个元件和/或部件与另一个元件和/或部件。例如,第一元件和/或部件可以称作第二元件和/或部件而不脱离本发明的教导。
在此使用的术语仅是为了描述特定实施例并不想限定本发明。这里使用的术语“一个”以及“该”指的是也包括复数形式,除非本文中明确规定外。还将理解,术语“包含”、“包括”、“具有”及其衍生词详细说明一定特征、整体、步骤、操作、元件和/或部件的存在,但是不排除存在和添加一个或多个其它特征、整体、步骤、操作、元件、部件和/或其组合。
除非另有限定,所有在此使用的术语(包括技术的和科学的术语)与本发明所属领域技术人员共同理解的意义相同。还将理解,例如在公共使用字典中限定的那些术语应该解释为具有这样的意义,即与本说明书的内容中和相关领域中的意义是相符的并且不会解释为理想化或过度形式化的意义,除非在此表述为这样限定。
本发明的某些实施例在于实现图像传感器设备和方法,可以通过使用重复的2x 2矩阵形单元像素群排列提供具有高密度和期望串扰和颜色保真度的图像传感器设备和方法,其中像素群的每一个传感器选用包括绿色成分的颜色,其中包括为各个第一和第二颜色(例如黄色和蓝绿色)选择的各个传感器和为第三颜色(例如绿色)选择的两个传感器。这种像素群排列可以与颜色修正电路一起使用,以产生例如具有理想信噪比(SNR)的RGB信号以及在绿色光谱中的相对低水平的空间调制,这能够改善清晰度。这可以允许图像传感器实现期望的高解析度。
图1示出依据本发明的某些实施例的图像传感器的像素阵列100。该像素阵列100由排列成重复的2x2单元像素群110的黄色(Ye)、绿色(G1、G2)和蓝绿色(Cy)像素组成,每一个包括蓝绿色像素、黄色像素和两个绿色像素。每一个像素G1、G2、Cy、Ye选用颜色,即绿色、蓝绿色或黄色,其包括绿色成分。这由图2示出,其示出黄色和蓝绿色光谱与绿色光谱的重叠。可以理解的是,像素G1、G2、Cy、Ye可以通过一起使用具有合适的光谱选择性的各个滤色镜和例如CIS的图像传感器装置来实现。还可以理解的是,其它的滤镜组合可以提供类似的光谱属性。
图3和图4示出图1所示的阵列100的单元像素群的第一绿色像素G1(即具有包含绿色滤色镜的传感器的像素)的串扰特性。归因于相邻绿色像素G2的串扰G2”可以由下给出:
G2”=C2+C6,
其中C2和C6代表相邻绿色像素G2的附加成分。归因于相邻蓝绿色像素Cy的串扰Cy”可以由下给出:
Cy”=C4+C8,
其中C4和C8代表相邻蓝绿色像素Cy的附加成分。归因于相邻黄色像素Ye的串扰Ye”可以由下给出:
Ye”=C1+C3+C5+C7,
其中C1、C3、C5、C7代表相邻黄色像素Ye的附加成分。绿色像素G1传感器的输入G1’可以由下给出:
G1’=G1+G2”+Cy”+Ye”
然而,对角相邻的黄色像素Ye的贡献假定为可以忽略的,这样输入G1’可以简化为:
G1’=G1+G2”+Cy”
如图4所示,绿色像素G1传感器的输入G1’可以视为包括通过绿色像素自己的绿色滤镜贡献的绿色成分G1、通过垂直相邻的绿色像素G2的滤镜贡献的绿色成分G2”、通过水平相邻的蓝绿色像素Cy的滤镜贡献的绿色成分G”以及通过水平相邻的蓝绿色像素Cy的滤镜贡献的蓝色成分B”。
图5和6示出图1所示的阵列100的单元像素群的第二绿色像素G2的串扰特征。来自垂直相邻的绿色像素G1的串扰G1”由以下给出:
G1”=C2+C6,
来自水平相邻黄色像素Ye的串扰Ye”可以由下给出:
Ye”=C4+C8,
来自对角相邻蓝绿色像素Cy的串扰Cy”可以如下给出:
Cy”=C1+C3+C5+C7
假定对角相邻蓝绿色像素Cy的贡献Cy”是可以忽略的,绿色像素G2传感器的输入G2’可以由下给出:
G2’=G2+G1”+Ye”
如图6所示,绿色像素G2传感器的输入G2’可以视为包括通过绿色像素自己的绿色滤镜贡献的绿色成分G2、通过垂直相邻的绿色像素G1的滤镜贡献的绿色成分G1”、通过水平相邻的黄色像素Ye的滤镜贡献的绿色成分G”以及通过水平相邻的黄色像素Ye的滤镜贡献的红色成分R”。
图7和8示出图1所示的阵列100的单元像素群的黄色像素Ye的串扰特征。来自垂直相邻的蓝绿色像素Cy的串扰Cy”由以下给出:
Cy”=C2+C6,
来自水平相邻绿色像素G2的串扰G2”可以由下给出:
G2”=C4+C8,
来自对角相邻绿色像素G1的串扰G1”可以由下给出:
G1”=C1+C3+C5+C7
假定对角相邻绿色像素G1的贡献是可以忽略的,黄色像素传感器的输入Ye’可以由下给出:
Ye’=Ye+Cy”+G2”
如图8所示,黄色像素Ye传感器的输入Ye’可以视为包括通过黄色像素自己的滤镜贡献的黄色成分Ye、通过水平相邻的绿色像素G1的滤镜贡献的绿色成分G2”、通过垂直相邻的蓝绿色像素Cy的滤镜贡献的绿色成分G”以及通过垂直相邻的蓝绿色像素Cy的滤镜贡献的蓝色成分B”。
图9和10示出图1所示的阵列100的单元像素群的蓝绿色像素Cy的串扰特征。来自垂直相邻的黄色像素Ye的串扰Ye”由以下给出:
Ye”=C2+C6,
来自水平相邻绿色像素G1的串扰G1”可以由下给出:
G1”=C4+C8,
来自对角相邻绿色像素G2的串扰G2”可以如下给出:
G2”=C1+C3+C5+C7
假定对角相邻绿色像素G2的贡献是可以忽略的,蓝绿色像素Cy传感器的输入Cy’可以由下给出:
Cy’=Cy+Ye”+G1”
如图10所示,蓝绿色像素Cy传感器的输入Cy’可以视为包括通过蓝绿色像素自己的滤镜贡献的蓝绿色成分Cy、通过水平相邻的绿色像素G1的滤镜贡献的绿色成分G1”、通过垂直相邻的黄色像素Ye的滤镜贡献的绿色成分G”以及通过垂直相邻的黄色像素Ye的滤镜贡献的红色成分R”。
图11示出依据本发明的某些实施例的图像传感器设备1100。该设备包括像素阵列1110,该阵列1110包括上述参考图1-10排列的单元像素群。传感器信号Ye、G2、Cy、G1,即来自相应于单元像素群中的各个黄色、蓝绿色和绿色滤色的像素的传感器的信号,提供到内插器电路1120上,其对每个像素产生补充颜色信号。特别的,对于具有规定颜色(例如绿色)的滤镜的像素,内插器电路1120对来自具有补充颜色滤镜的相邻像素的信号的其它补充颜色(例如蓝绿色和黄色)进行内插信号。结果,内插器产生输出黄色、绿色和蓝绿色信号Ye’、G1’、G2’、Cy’,它们包括相应于各自每个像素的真实滤镜颜色的信号,以及关于那个像素的补充颜色的内插值。
这些信号提供到颜色修正器电路1130的串扰修正器电路1132,其相应地产生红色、绿色和蓝色信号R0、G0、B0。特别的,串扰修正器电路1132按照以下矩阵方程完成串扰修正操作:
随后颜色修正矩阵电路1134向红色、绿色和蓝色信号R0、G0、B0施加颜色修正(例如均匀化)矩阵以产生颜色修正的红色、绿色和蓝色信号R、G、B。
假定内插的黄色、绿色和蓝绿色信号Ye’、G1’、G2’、Cy’相应于上述参考图1-10的黄色、绿色和蓝绿色信号Ye’、G1’、G2’、Cy’:
G1’=G1+G2”+G”+B”
G2’=G2+G1”+G”+R”
Ye’=Ye+G”+B”+G2”
Cy’=Cy+G”+R”+G1”
因此,通过串扰修正器电路1132产生的红色、绿色和蓝色信号R0、G0、B0可以如图12A、12B和12C分别指示。特别的,在蓝色信号B0和红色信号R0中,串扰成分G”、B”和R”基本上互相弥补。绿色信号G0保持相对少的红色和蓝色成分,并且提供与红色和蓝色信号R0、B0有关的相对强的绿色成分。通过使用所述的单位像素群,可以获得更高的增益和加强的信噪比(SNR)。另外,因为每一个像素对绿色信号G0有贡献,可以减少绿色光谱中的空间调制,这能够改善清晰度。这可以允许图像传感器获得接近尼奎斯特界限(Nyquistlimit)的解析度。
可以理解的是,内插器电路1120和颜色修正器电路1130通常可以通过任意的各种模拟和/或数字电路实现。例如,内插器1120可以包括配置成转换CMOS图像传感器产生的模拟图像信号的模拟数字(A/D)转换电路和配置成完成数字内插的数字电路,从而产生内插的黄色、绿色和蓝绿色信号Ye’、G1’、G2’、Cy’。颜色修正器电路1130可以数字化处理内插的黄色、绿色和蓝绿色信号Ye’、G1’、G2’、Cy’,从而产生红色、绿色和蓝色信号R、G、B。可以理解的是,这种电路可以通过例如使用离散的部件来实现,该离散的部件实现内插器电路1120和颜色修正器电路1130的各种功能,和/或这些功能的各种组合可以集成在例如一个或多个集成电路中。
图13示出依据本发明的另外实施例的图像捕获系统1300。该系统1300包括如上所述的像素阵列1310,其产生相应于具有那些颜色滤镜的传感器的传感器输出的黄色、蓝绿色和绿色信号Ye、Cy、G1、G2。该黄色、蓝绿色和绿色信号Ye、Cy、G1、G2被提供到内插器电路1320中,其产生包括内插颜色信号的黄色、蓝绿色和绿色信号Ye’、Cy’、G1’、G2’。该黄色、蓝绿色和绿色信号Ye’、Cy’、G1’、G2’被提供到颜色修正电路1330上,其可以如以上参考图11和12所述的那样对黄色、蓝绿色和绿色信号Ye’、Cy’、G1’、G2’进行操作,从而产生红色、绿色和蓝色信号R、G、B。该红色、绿色和蓝色信号R、G、B可以被提供到产生白平衡的信号R’、G’、B’的自动白平衡(AWB)控制器电路1340,所述白平衡的信号在伽马修正器电路1350中依次进行伽马修正。由伽马修正器电路1350产生的伽马修正的红色、绿色和蓝色信号R”、G”、B”随后通过颜色信号空间转换器电路1360转换成色度信号Cr、Cb。
仍如图13示出的,黄色、蓝绿色和绿色信号Ye’、Cy’、G1’、G2’还提供到亮度决定电路1380上,其相应地产生亮度信号Y。特别的,该亮度决定电路1380包括乘法器1382,其将各自的一个黄色、蓝绿色和绿色信号Ye’、Cy’、G1’、G2’乘以各自的系数a、b、c、d,产生提供到加法器1384上的改变比例的信号。加法器1384的输出提供到增益控制器电路1386和伽马修正器电路1388上从而产生亮度信号Y。该增益控制器电路1386可以通过色度信号Cr、Cb平衡亮度信号Y。该亮度信号Y连同色度信号Cr、Cb可以被提供到RGB转换器电路1370,其相应地产生亮度修正的红色、绿色和蓝色信号R、G、B。
依据本发明的另外实施例,可以在上述的颜色修正之前,对黄色、绿色和蓝绿色信号进行错误颜色修正,从而修正由内插处理引起的错误颜色误差。图14和15示出怎样引起错误颜色修正的例子。可以产生在图像的“明”和“暗”区域之间的垂直边界,例如在黄色像素Ye33和水平相邻的绿色像素G34(参见(a))的边界上。关于黄色像素Ye33的黄色信号ye33和关于水平相邻的绿色传感器G34的绿色信号g34是无误的,由于其简单相等于传感器输出(参见(b)和(e))。由于产生的传感器信号G32、G34、Cy23、Cy43都位于“明”区域(参见(c)和(d)),为黄色像素Y33内插的绿色和蓝绿色信号g33、cy33也是无误的。
然而,对于跨“明/暗”边界内插的颜色信号来说,则与上不同。例如,黄色像素Y33的绿色值g33可以由在水平相邻的绿色像素G32、G34的值之间的内插确定,即:
g33=(G32+G34)/2
然而,因为黄色像素Ye33位于“明”区,关于黄色像素Ye33的实际绿色值应该与绿色像素G32基本上相同,即通过使用来自“暗”区的颜色信息的内插产生关于边界像素Ye33(参见(c))的错误绿色颜色信号g33。类似的,根据相邻的像素Ye33、Ye35、Cy23、Cy43、Cy25、Cy45的黄色和蓝绿色传感器信号对在“暗”区域的相邻的绿色像素G34的黄色和蓝绿色值ye34、cy34的内插产生过高的黄色和蓝绿色信号ye34、cy34(参见(f)和(g))。作为这些错误颜色误差的结果,颜色误差会被引入到这些信号产生的红色和蓝色信号R、B,如图15所示(参见(h)和(i))。因此,在边界区域的插入值(如图15的箭头所示)的补偿可以是期望的,以阻止内插引起的错误颜色的产生。
图16示出依据本发明的某些实施例的设备和操作,其可以补偿内插引入的错误颜色误差,按照图13所示的图像处理途径实现。特别的,像素阵列1310可以产生黄色、绿色和蓝绿色信号Ye、G1、G2、Cy,其提供到内插器1320’上,该内插器1320’内插这些信号从而产生包括内插信号的黄色、绿色和蓝绿色信号Ye0’、G10’、G20’、Cy0’。该内插器1320’与图13的内插器1320不同,因为其配置成探测错误颜色误差可能发生的像素位置,产生提供到错误颜色修正器电路1325的指示信号。该错误颜色修正器电路1325包括响应来自内插器1320’的指示信号的修正信号发生器电路1323,其控制误差修正器电路1327从而修正黄色、绿色和蓝绿色信号Ye0’、G10’、G20’、Cy0’中选择的一个,以产生错误颜色误差修正的黄色、绿色和蓝绿色信号Ye’、G1’、G2’、Cy’。该错误颜色误差修正的黄色、绿色和蓝绿色信号Ye’、G1’、G2’、Cy’可以提供到颜色修正器电路1330,其可以如上参考图13所述的一样对这些信号进行操作。
图17示出依据本发明的某些实施例的图16的错误颜色修正电路1325的修正信号产生器电路1323的操作。表示明和暗区域之间的边界位置((a)所示)的位置探测信号(f)通过内插器电路1320’从为像素Ye31、G32、Ye33、G34、Y35产生的信号而产生。信号(b)、(c)、(d)表示在绿色像素G32和黄色像素Ye33中具有相同颜色指示峰值的相邻像素之间的差异。添加的这些峰值产生信号(e),其可以被移位一个像素,从而产生具有以明和暗区域之间的边界为中心的峰值的位置指示信号(f)。可以通过在对称点的一边反转峰值而从位置指示信号(f)中产生修正信号(g)。
图18示出依据本发明的另一个实施例的图16的错误颜色修正电路1325的误差修正器电路1327的操作。对于图17所示的入射光图形(图形(a)),如上所述的产生位置探测和修正信号(b)、(c)。如(d)和(e)所示,对于像素Ye33,误差修正器电路1327从相邻的绿色像素信号G32、G34产生平均绿色信号。类似的,参照(f)和(g),对于像素G34,误差修正器电路1327从相邻的黄色像素Ye33、Ye35的信号产生绿色像素G34的平均黄色信号。响应于修正信号(c),误差修正器电路1327向通过内插器1320’产生的像素的内插绿色信号添加黄色像素Ye33的平均G信号,并且对内插器1320’产生的绿色像素G34的内插黄色信号减去平均黄色信号,因此,修改可能由内插器1320’引入的错误颜色。
图19示出依据本发明的另一个实施例的示例性图像信号处理操作。按照以上所述,通过各个黄色、绿色和蓝绿色滤镜传感器产生黄色、绿色和蓝绿色信号(图块1905)。随后对每一个像素通过依据这些原始传感器输出信号内插产生补偿的黄色、绿色和蓝绿色信号,例如,对黄色像素从邻近的绿色和蓝绿色滤色的像素产生的信号内插绿色和蓝绿色信号,对绿色像素从邻近的黄色和蓝绿色滤色的像素产生的信号内插黄色和蓝绿色信号,以及对蓝绿色像素从邻近的黄色和绿色滤色的像素产生的信号内插黄色和绿色信号(图块1910)。随后内插处理的信号可以进行错误颜色修正(图块1915)以及随后如上参考图13所述的在RGB转换中进行颜色修正(图块1920)。随后,产生的颜色修正的信号被AwB处理和伽马修正(图块1925、1930),从而产生可以转化为色度信号的输出(图块1935),如上参考图13所述的。该内插处理的信号还加权合成以产生亮度信号(图块1940)。该亮度信号是调整增益的和伽马修正的(图块1945、1950)。该色度和亮度信号可以转换成RGB信号(图块1955)。
图20示出依据本发明的另一个实施例的错误颜色误差修正的示例性操作。通过使用例如上述参考图17的操作,从黄色、绿色和蓝绿色传感器信号识别错误颜色误差像素(图块2010)。确定已识别像素的平均颜色值(图块2020),并且选择性地添加和减少已识别像素的内插信号,从而修正错误颜色误差(图块2030)。
上述是本发明的示例不能解释为对其的限定。尽管已经描述了本发明的几个示例性实施例,本领域技术人员将会容易的理解在这些示例性实施例上进行的许多修改是可能的,并不会实质上脱离本发明的新颖性教导和有益之处。因此,所有的这些修改都包括在如权利要求所限定的本发明的范围中。因此,可以理解的是,上述是本发明的示例并且不能解释为对公开的特定实施例的限定,并且这些对公开的实施例以及其它实施例的修改,都包括在所附权利要求的范围中。
相关申请的交叉引用
本申请要求2007年10月5日提交的韩国专利申请No.10-2007-0100345的优先权,该公开内容在此全部引用以作参考。
Claims (18)
1.一种图像传感器设备,其包括:
颜色选择传感器的阵列,其排列成多个重复的2x 2单元像素群,单元像素群每一个传感器选用包括绿色成分的颜色,该单元像素群包含对于各个第一和第二颜色选择的各个传感器和对于第三颜色选择的两个传感器,其中该阵列包括:仅包含对于第三颜色选择的传感器的列与包含对于第一和第二颜色选择的传感器的列交替排列;其中该单元像素群的传感器的信号限定第一颜色信号空间,并且
还包括图像处理器电路,其配置成从该颜色选择传感器的阵列接收图像传感器信号以及处理该图像传感器信号,从而在第二颜色信号空间中产生图像信号,
其中在第二颜色信号空间中产生图像信号期间在来自该颜色选择传感器的阵列的图像传感器信号中的串扰成分被减少,
其中该图像处理器电路包括:
内插器电路,从颜色选择传感器的阵列接收图像传感器信号并且产生内插颜色信号;和
颜色修正器电路,接收该内插颜色信号并且产生其中通过执行对于内插颜色信号的加和减的至少一个来减少串扰成分的RGB信号。
2.如权利要求1所述的设备,其中内插器电路,其配置成对于具有该第一、第二和第三颜色的第一颜色的滤色镜的像素,根据由具有第一、第二和第三颜色的各个第二和第三颜色的滤色镜的相邻传感器产生的信号产生相应于该第一、第二和第三颜色的各个第二和第三颜色的内插颜色信号;以及
颜色修正器电路,其配置成接收该内插颜色信号和合成该内插颜色信号,从而产生RGB信号。
3.如权利要求2所述的设备,其中该图像处理器电路还配置成从该RGB信号生成色度信号和从该内插颜色信号产生亮度信号。
4.如权利要求2所述的设备,其中该图像处理器电路配置成从自该颜色选择传感器接收的图像信号中识别错误颜色误差像素并且对该识别的错误颜色误差像素相应地补偿内插颜色信号。
5.如权利要求1所述的设备,其中该单元像素群的第一列包含黄色滤色传感器和蓝绿色滤色传感器并且其中该单元像素群的第二列包含两个绿色滤色传感器。
6.如权利要求5所述的设备,其中图像处理器电路配置成为各个像素产生各组黄色、蓝绿色和第一和第二绿色信号并且配置成合成各组黄色、蓝绿色和第一和第二绿色信号的黄色、蓝绿色和两个绿色信号,从而产生该各个像素的各组RGB信号。
7.如权利要求6所述的设备,其中该图像处理器电路包含串扰修正器电路,其配置成合成规定像素的黄色信号和第一绿色信号,从而产生该规定像素的该RGB信号组的红色信号,合成该规定像素的该蓝绿色信号和该第二绿色信号,从而产生该规定像素的该RGB信号组的蓝色信号,以及合成该规定像素的该第一和第二绿色信号,从而产生该规定像素的该RGB信号组的绿色信号。
8.如权利要求7所述的设备,其中该串扰修正器电路配置成从该规定像素的黄色信号减去第一绿色信号,从而产生该规定像素的该RGB信号组的红色信号,从该规定像素的蓝绿色信号减去第二绿色信号,从而产生该规定像素的该RGB信号组的蓝色信号,以及取该规定像素的第一和第二绿色信号的平均值,从而产生该规定像素的该RGB信号组的该绿色信号。
9.如权利要求7所述的设备,其中该图像处理器电路还配置成将颜色修正矩阵施加到该规定像素的该RGB信号组的红色信号、蓝色信号和绿色信号,从而产生该规定像素的一组经颜色修改的红色、蓝色和绿色信号。
10.如权利要求6所述的设备,其中内插器电路配置成从该颜色选择传感器的阵列接收图像传感器信号和由该接收的图像传感器信号产生各个像素的各组黄色、蓝绿色和第一及第二绿色信号。
11.一种图像传感器的操作方法,其包含:
从排列成多个重复的2x 2单元像素群的颜色选择传感器的阵列产生图像传感器信号,单元像素群每一个传感器选用包括绿色成分的颜色,该单元像素群包含对于各个第一和第二颜色选择的各个传感器和对于第三颜色选择的两个传感器,该图像传感器信号限定第一颜色信号空间,其中该阵列包括:仅包含对于第三颜色选择的传感器的列与包含对于第一和第二颜色选择的传感器的列交替排列;以及
处理该图像传感器信号从而在第二颜色信号空间产生图像信号,
其中处理该图像传感器信号从而在第二颜色信号空间产生图像信号的步骤包含:
通过内插来自该颜色选择传感器的阵列的图像传感器信号产生内插的颜色信号;以及
合成该内插的颜色信号从而产生RGB信号。
12.如权利要求11所述的方法,还包括:
从该RGB信号产生色度信号;以及
从该内插的颜色信号产生亮度信号。
13.如权利要求11所述的方法,还包括:
从自该颜色选择的传感器接收的图像信号中识别错误颜色误差像素;以及
向该识别的错误颜色误差像素相应地补偿内插的颜色信号。
14.如权利要求11所述的方法,其中该单元像素群的第一列包含黄色滤色的传感器和蓝绿色滤色的传感器并且其中该单元像素群的第二列包含两个绿色滤色的传感器。
15.如权利要求14所述的方法,还包括图像处理器电路,其配置成产生各个像素的各组黄色、蓝绿色和第一和第二绿色信号并且配置成合成各组黄色、蓝绿色和第一和第二绿色信号的黄色、蓝绿色和两个绿色信号,从而产生该各个像素的各组RGB信号。
16.如权利要求15所述的方法,还包括:
合成规定像素的黄色信号和第一绿色信号,从而产生该规定像素的该RGB信号组的红色信号;
合成该规定像素的蓝绿色信号和第二绿色信号,从而产生该规定像素的该RGB信号组的蓝色信号;以及
合成该规定像素的第一和第二绿色信号,从而产生该规定像素的该RGB信号组的绿色信号。
17.如权利要求16所述的方法,还包括:
其中合成规定像素的黄色信号和第一绿色信号从而产生该规定像素的该RGB信号组的红色信号的步骤包含:从该规定像素的黄色信号减去第一绿色信号,从而产生该规定像素的该RGB信号组的红色信号;
其中合成该规定像素的蓝绿色信号和第二绿色信号从而产生该规定像素的该RGB信号组的蓝色信号的步骤包含:从该规定像素的蓝绿色信号减去第二绿色信号,从而产生该规定像素的该RGB信号组的蓝色信号;以及
其中合成该规定像素的第一和第二绿色信号从而产生该规定像素的该RGB信号组的绿色信号的步骤包含:对该规定像素的第一和第二绿色信号取平均,从而产生该规定像素的该RGB信号组的绿色信号。
18.如权利要求16所述的方法,还包含将颜色修正矩阵施加到该规定像素的该RGB信号组的该红色信号、蓝色信号和该绿色信号,从而产生该规定像素的一组经过颜色修正的红色、蓝色和绿色信号。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR100345/07 | 2007-10-05 | ||
KR1020070100345A KR101324198B1 (ko) | 2007-10-05 | 2007-10-05 | 고체 촬상 장치, 고체 촬상 장치의 픽셀 배열 방법 및 고체촬상 장치의 신호 처리 방법 |
US12/203,462 | 2008-09-03 | ||
US12/203,462 US8144221B2 (en) | 2007-10-05 | 2008-09-03 | Image sensor apparatus and methods employing unit pixel groups with overlapping green spectral content |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101494795A CN101494795A (zh) | 2009-07-29 |
CN101494795B true CN101494795B (zh) | 2013-06-26 |
Family
ID=40522913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008102098865A Active CN101494795B (zh) | 2007-10-05 | 2008-09-28 | 使用绿色光谱范围重叠的单位像素群的图像传感器及方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8144221B2 (zh) |
KR (1) | KR101324198B1 (zh) |
CN (1) | CN101494795B (zh) |
TW (1) | TWI504277B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8237830B2 (en) | 2007-04-11 | 2012-08-07 | Red.Com, Inc. | Video camera |
TWI451755B (zh) | 2007-04-11 | 2014-09-01 | Red Com Inc | 影像攝影機 |
JP5259381B2 (ja) * | 2008-12-25 | 2013-08-07 | 京セラ株式会社 | 撮像装置および撮像方法 |
TWI399079B (zh) * | 2009-09-18 | 2013-06-11 | Altek Corp | Noise Suppression Method for Digital Image |
KR101488074B1 (ko) | 2013-02-04 | 2015-01-29 | 주식회사 동부하이텍 | 이미지 센서와 이를 이용한 비닝 이미지 생성 방법 |
US9521384B2 (en) | 2013-02-14 | 2016-12-13 | Red.Com, Inc. | Green average subtraction in image data |
US9113025B2 (en) * | 2013-03-15 | 2015-08-18 | Samsung Electronics Co., Ltd. | Image signal processor circuits and methods for correcting crosstalk artifacts |
US9819913B2 (en) * | 2015-08-26 | 2017-11-14 | Stmicroelectronics International N.V. | Image sensor device with macropixel processing and related devices and methods |
KR102303764B1 (ko) * | 2017-04-24 | 2021-09-17 | 삼성전자주식회사 | 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법 |
JP7313330B2 (ja) | 2017-07-05 | 2023-07-24 | レッド.コム,エルエルシー | 電子機器でのビデオ画像データ処理 |
KR102447101B1 (ko) | 2017-09-12 | 2022-09-26 | 삼성전자주식회사 | 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치 |
US10572974B2 (en) * | 2018-04-11 | 2020-02-25 | Omnivision Technologies, Inc. | Image demosaicer and method |
WO2023278184A1 (en) | 2021-06-29 | 2023-01-05 | Illumina, Inc. | Methods and systems to correct crosstalk in illumination emitted from reaction sites |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4652911A (en) * | 1983-09-07 | 1987-03-24 | Nec Corporation | Solid-state color image sensor with matrix-type color filter formed of filter elements each transmitting red, green and blue light |
CN1201336A (zh) * | 1997-05-30 | 1998-12-09 | 松下电器产业株式会社 | 彩色图像拾取装置 |
CN1323558C (zh) * | 2003-06-17 | 2007-06-27 | 明基电通股份有限公司 | 影像形成装置的色彩修正装置及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR920006601Y1 (ko) * | 1989-12-31 | 1992-09-21 | 삼성전자 주식회사 | 보색 필터 ccd를 이용한 원색 신호 출력회로 |
KR100343174B1 (ko) * | 1998-12-03 | 2002-09-17 | 삼성전자 주식회사 | 윤곽보정회로및그방법 |
JP2000197066A (ja) * | 1998-12-25 | 2000-07-14 | Sony Corp | 固体撮像素子、その信号処理方法およびカメラシステム |
JP4717294B2 (ja) * | 2001-09-20 | 2011-07-06 | キヤノン株式会社 | 画像処理方法、撮像装置およびプログラム |
KR20070021932A (ko) * | 2005-08-18 | 2007-02-23 | 소니 가부시끼 가이샤 | 촬상 장치, 결함 화소 보정 장치 및 방법 |
JP2007235418A (ja) * | 2006-02-28 | 2007-09-13 | Toshiba Corp | 固体撮像装置 |
US8169516B2 (en) * | 2008-07-18 | 2012-05-01 | Ricoh Co., Ltd. | Electo-optical color imaging systems having strong lateral chromatic aberration compensated by digital image processing |
-
2007
- 2007-10-05 KR KR1020070100345A patent/KR101324198B1/ko active IP Right Grant
-
2008
- 2008-09-03 US US12/203,462 patent/US8144221B2/en active Active
- 2008-09-28 CN CN2008102098865A patent/CN101494795B/zh active Active
- 2008-10-02 TW TW097137942A patent/TWI504277B/zh not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4652911A (en) * | 1983-09-07 | 1987-03-24 | Nec Corporation | Solid-state color image sensor with matrix-type color filter formed of filter elements each transmitting red, green and blue light |
CN1201336A (zh) * | 1997-05-30 | 1998-12-09 | 松下电器产业株式会社 | 彩色图像拾取装置 |
CN1323558C (zh) * | 2003-06-17 | 2007-06-27 | 明基电通股份有限公司 | 影像形成装置的色彩修正装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
KR101324198B1 (ko) | 2013-11-06 |
TW200926838A (en) | 2009-06-16 |
CN101494795A (zh) | 2009-07-29 |
US8144221B2 (en) | 2012-03-27 |
US20090091647A1 (en) | 2009-04-09 |
TWI504277B (zh) | 2015-10-11 |
KR20090035204A (ko) | 2009-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101494795B (zh) | 使用绿色光谱范围重叠的单位像素群的图像传感器及方法 | |
US8723995B2 (en) | Extended dynamic range in color imagers | |
US7973831B2 (en) | Solid-state image sensor and imaging apparatus using the same | |
US8125543B2 (en) | Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection | |
US7400332B2 (en) | Hexagonal color pixel structure with white pixels | |
US8508625B2 (en) | Image processing apparatus | |
US8736724B2 (en) | Imaging apparatus, method of processing captured image, and program for processing captured image | |
JP4985584B2 (ja) | 撮像装置及び映像信号処理方法 | |
WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
JP4241754B2 (ja) | 撮像装置 | |
US6559886B1 (en) | Video signal processing method and device | |
CN104756488A (zh) | 信号处理设备、信号处理方法和信号处理程序 | |
EP2031881B1 (en) | Image pickup device and signal processing method | |
EP2800380B1 (en) | Imaging device and imaging processing method | |
US8077234B2 (en) | Image pickup device and method for processing an interpolated color signal | |
US5283634A (en) | Luminance signal correcting method | |
US6747698B2 (en) | Image interpolating device | |
JP4962293B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JPH0823541A (ja) | カラー撮像装置 | |
EP1833263B1 (en) | Method and apparatus for generating correction information for multi-divided CCD | |
US5677528A (en) | Solid-State imaging apparatus with a coefficient multiplying circuit | |
JPH11177997A (ja) | 相関値算出回路およびその算出方法 | |
JP3406674B2 (ja) | 2板式撮像装置 | |
JP2000184392A (ja) | 画像データの処理方法及び画像データ処理装置 | |
JPH077738A (ja) | 固体撮像素子を用いた単板カラーカメラの色信号処理回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |