CN102055918B - 像素缺陷检测和校正设备和方法、成像装置、和程序 - Google Patents
像素缺陷检测和校正设备和方法、成像装置、和程序 Download PDFInfo
- Publication number
- CN102055918B CN102055918B CN201010521995.8A CN201010521995A CN102055918B CN 102055918 B CN102055918 B CN 102055918B CN 201010521995 A CN201010521995 A CN 201010521995A CN 102055918 B CN102055918 B CN 102055918B
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- detected
- defective
- different colours
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007547 defect Effects 0.000 title claims abstract description 91
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000012937 correction Methods 0.000 title claims abstract description 25
- 238000003384 imaging method Methods 0.000 title claims description 31
- 238000000034 method Methods 0.000 title description 10
- 230000002950 deficient Effects 0.000 claims abstract description 155
- 239000003086 colorant Substances 0.000 claims abstract description 95
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 6
- 208000003670 Pure Red-Cell Aplasia Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 101001018097 Homo sapiens L-selectin Proteins 0.000 description 3
- 102100033467 L-selectin Human genes 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005693 optoelectronics Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000001915 proofreading effect Effects 0.000 description 3
- 238000012958 reprocessing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- GETQKLUOZMYHGE-UHFFFAOYSA-N 2-[[3-(3,6-dichlorocarbazol-9-yl)-2-hydroxypropyl]amino]-2-(hydroxymethyl)propane-1,3-diol Chemical compound ClC1=CC=C2N(CC(O)CNC(CO)(CO)CO)C3=CC=C(Cl)C=C3C2=C1 GETQKLUOZMYHGE-UHFFFAOYSA-N 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
一种像素缺陷检测和校正设备,包括:平均值获取部分,在排列了具有相同颜色的多个相邻像素和具有不同颜色的多个相邻像素、且作为感兴趣的像素的缺陷要被检测的像素在中心的处理区域中,获取排除了所述缺陷要被检测的像素的、具有不同颜色的相邻像素的像素值的平均值;以及缺陷确定部分,至少基于所述平均值,确定所述缺陷要被检测的像素是否有缺陷。其中,所述缺陷确定部分通过比较所述缺陷要被检测的像素的像素值、具有不同颜色的相邻像素的平均值、和指定的不同颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷。
Description
技术领域
本发明涉及具有检测和补偿在诸如CCD或CMOS传感器的固态成像设备中的缺陷(defect)像素的功能的像素缺陷检测和校正设备、成像装置、像素缺陷检测和校正方法和程序。
背景技术
通常,已知在诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)传感器的固态成像设备中生成缺陷像素。
在这种固态成像设备中,已知由于半导体器件等的局部晶体缺陷,生成输出异常成像信号的缺陷像素,且这导致图像质量的恶化。
缺陷像素的例子包括黑缺陷像素和白缺陷像素。
也就是说,固态成像设备的像素缺陷包括通过向正常信号电平添加预定量的电荷引起的白缺陷和信号电平以预定速率降低或总是输出大约零的信号电平的黑缺陷。
由于这些缺陷使得在图像输出时的图像质量的恶化,因此已经提出了各种缺陷检测和校正方法(例如,见日本专利No.3747909)。
为了确定感兴趣的像素是否有缺陷,通常设置某个阈值并当感兴趣的像素的值超过阈值时确定感兴趣的像素有缺陷。
在通常技术中,通过将具有相同颜色或不同颜色的八个相邻像素的最大和最小值乘以可以从外部设置的系数而获得的值通常被用作阈值。
发明内容
但是,在这种缺陷检测方法中,例如,当在感兴趣的像素周围存在从其一部分反射光的高亮度像素时,使用高亮度像素的信号电平作为用于缺陷确定的阈值。因此,例如,即使传感器的像素是缺陷的,感兴趣的像素也可能不被识别为缺陷像素。
另外,这种缺陷趋于很显眼。
例如,在日本专利No.3747909中公开的技术中,通过将具有相同颜色或不同颜色的相邻像素的最大和最小值乘以系数而获得的值被用作缺陷确定的阈值。因此,特别当在要被确定缺陷性的像素附近存在具有高亮度值的像素时,可能不能进行缺陷确定。
另外,在该技术中,虽然使用了相关,但是未考虑在纵向的色差或亮度,且操作趋于复杂。
考虑上述,期望提供即使在具有相同颜色的相邻像素中存在大值的像素也能够检测像素缺陷的像素缺陷检测和校正设备、成像装置、像素缺陷检测和校正方法和程序。
根据本发明的实施例,提供了像素缺陷检测和校正设备,包括:平均值获取部分,在排列了具有相同颜色的多个相邻像素和具有不同颜色的多个相邻像素、且作为感兴趣的像素的缺陷要被检测的像素在中心的处理区域中,获取排除了所述缺陷要被检测的像素的、具有不同颜色的相邻像素的像素值的平均值;以及缺陷确定部分,至少基于由所述平均值获取部分获取的平均值,确定所述缺陷要被检测的像素是否有缺陷。所述缺陷确定部分通过比较所述缺陷要被检测的像素的像素值、由所述平均值获取部分获取的具有不同颜色的相邻像素的平均值、和指定的不同颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷。
根据本发明的另一实施例,提供了成像装置,包括:像素部分,包括对被摄体图像成像的成像设备;以及像素缺陷检测和校正设备,其从所述成像设备接收图像数据并进行像素缺陷检测和校正处理。所述像素缺陷检测和校正设备包括:平均值获取部分,在排列了具有相同颜色的多个相邻像素和具有不同颜色的多个相邻像素、且作为感兴趣的像素的缺陷要被检测的像素在中心的处理区域中,获取排除了所述缺陷要被检测的像素的、具有不同颜色的相邻像素的像素值的平均值;以及缺陷确定部分,至少基于由所述平均值获取部分获取的平均值,确定所述缺陷要被检测的像素是否有缺陷。所述缺陷确定部分通过比较所述缺陷要被检测的像素的像素值、由所述平均值获取部分获取的具有不同颜色的相邻像素的平均值、和指定的不同颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷。
根据本发明的另一实施例,提供了像素缺陷检测和校正方法,包括以下步骤:在排列了具有相同颜色的多个相邻像素和具有不同颜色的多个相邻像素、且作为感兴趣的像素的缺陷要被检测的像素在中心的处理区域中,获取排除了所述缺陷要被检测的像素的、具有不同颜色的相邻像素的像素值的平均值;以及基于在平均值获取步骤中获取的平均值,确定所述缺陷要被检测的像素是否有缺陷。在缺陷确定步骤中,通过比较所述缺陷要被检测的像素的像素值、在平均值获取步骤中获取的具有不同颜色的相邻像素的平均值、和指定的不同颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷。
根据本发明的另一实施例,提供了程序,使得计算机执行像素缺陷检测和校正处理,包括:平均值获取处理,在排列了具有相同颜色的多个相邻像素和具有不同颜色的多个相邻像素、且作为感兴趣的像素的缺陷要被检测的像素在中心的处理区域中,获取排除了所述缺陷要被检测的像素的、具有不同颜色的相邻像素的像素值的平均值;以及缺陷确定处理,基于在平均值获取处理中获取的平均值,确定所述缺陷要被检测的像素是否有缺陷。在缺陷确定处理中,通过比较所述缺陷要被检测的像素的像素值、在平均值获取处理中获取的具有不同颜色的相邻像素的平均值、和指定的不同颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷。
根据本发明的实施例,即使当在具有相同颜色的相邻像素中存在具有大值的像素时,也能够检测像素缺陷。
附图说明
图1是示出应用根据本发明的实施例的像素缺陷检测和校正设备的成像装置的配置的例子的方框图;
图2是示出作为像素排列的例子的拜耳(Bayer)排列的图;
图3是示出根据本实施例的像素部分的单位像素的配置的例子的电路图;
图4是示出图1所示的像素部分的配置的例子的图;
图5是示出根据本实施例的缺陷检测和校正电路的配置的例子的图;
图6是示出在拜耳排列上的5像素×5像素的处理区的例子的图;
图7是具有相同颜色的相邻像素的说明图;
图8是具有不同颜色的相邻像素的说明图;
图9是示出图5所示的根据本实施例的缺陷检测和校正电路的缺陷检测和校正处理的流程图的图;
图10是示出根据本实施例的缺陷检测和校正电路的配置的第二例子的图,且也是示出将排除最大和最小值的六个像素的平均值设置为具有不同颜色的像素的平均值的缺陷检测和校正电路的图;
图11是示出图10所示的根据本实施例的缺陷检测和校正电路的缺陷检测和校正处理的流程图的图;以及
图12是示出实际计算的例子的图。
具体实施方式
此后,将参考附图描述本发明的实施例。
另外,按以下顺序进行说明。
1.成像装置的整个配置的例子
2.像素部分的配置的例子
3.缺陷检测和校正电路的配置的例子
4.关于缺陷检测和校正处理的说明
<1.成像装置的整个配置的例子>
图1是示出应用根据本发明的实施例的像素缺陷检测和校正设备的成像装置的配置的例子的方框图。
如图1所示,成像装置10包括光学系统11和作为固态成像设备的CMOS图像传感器12。
光学系统11在成像设备12的成像表面上形成被摄体(subject)图像。
CMOS图像传感器12包括像素部分13、模拟前端(AFE)14、模拟到数字转换器(ADC)15、和预处理部分16。
CMOS图像传感器12包括采用根据本发明的实施例的像素缺陷检测和校正方法的缺陷检测和校正电路17、后处理部分18以及功能和时序控制部分19。
像素部分13由CMOS传感器形成,且多个单位像素以矩阵排列。
例如,采用图2所示的拜耳排列作为像素部分13中的像素排列。
图3是示出本实施例中的像素部分13中的单位像素的配置的例子的电路图。
图3示出在本实施例中的由四个晶体管形成的CMOS图像传感器的像素的例子。
每个像素电路130具有由例如图3所示的光电二极管形成的光电转换元件131。
另外,像素电路130具有转移晶体管132、复位晶体管133、放大晶体管134和选择晶体管135的四个晶体管,作为一个光电转换元件131的有源元件。
光电转换元件131进行将入射光光电转换为对应于光量的电荷(在此,电子)。
转移晶体管132在光电转换元件131和浮置扩散FD之间连接,且作为控制信号的传输信号TG被通过转移控制线LTx发送到转移晶体管132的栅极(转移栅极)。
因此,转移晶体管132向浮置扩散FD转移由光电转换元件131光电转换的电子。
复位晶体管133连接在电源线LVDD和浮置扩散FD之间,且作为控制信号的复位信号RST通过复位控制线LRST被发送到复位晶体管133的栅极。
因此,复位晶体管133将浮置扩散FD的电势复位到电源线LVDD的电势。
放大晶体管134的栅极被连接到复位扩散FD。放大晶体管134通过选择晶体管135连接到信号线LSGN,并与在像素部分外部提供的恒定电流源136一起形成源极跟随器。
另外,作为根据地址信号的控制信号的选择信号SEL通过选择控制线LSEL发送到选择晶体管135的栅极。因此,导通选择晶体管135。
如果选择晶体管135导通,则放大晶体管134放大浮置扩散FD的电势,并向信号线LSGN输出对应于该电势的电压。从每个像素输出的电压通过信号线LSGN被输出到作为读取电路的AFE 14。
例如,对一行的像素同时进行这些操作,因为以行为单位连接转移晶体管132、复位晶体管133和选择晶体管135的栅极。
在像素部分13中,以像素排列的行为单位布线被布线到像素阵列部分的复位控制线LRST、传输控制线LTx和选择控制线LSEL的组。
由垂直扫描电路(未示出)驱动复位控制线LRST、传输控制线LTx和选择控制线LSEL。
另外,输出信号线LSGN被连接到包括相关双采样(CDS)电路等的读取电路。
在本实施例中,制作AFE 14以具有CDS电路功能。
当在通过用预处理部分16进行数字信号处理而获得的数字图像信号中存在缺陷像素信号时,缺陷检测和校正电路17使用稍后将详细描述的缺陷像素检测和校正方法来校正该缺陷像素信号,并将校正之后的数字信号输出到后处理部分18。
在本实施例中,缺陷检测和校正电路17具有在缺陷确定处理中使用具有不同颜色的八个相邻像素的平均值来计算用于缺陷确定的阈值的功能。
另外,缺陷检测和校正电路17具有在缺陷确定处理中使用在具有不同颜色的八个相邻像素之中排除最大值和最小值的六个像素的平均值来计算缺陷确定阈值的功能。
另外,缺陷检测和校正电路17具有在缺陷确定处理中使用在具有不同颜色的八个相邻像素之中排除最大值和最小值的六个像素的平均值计算缺陷确定阈值、以便可以对每个滤色器改变阈值的功能。
另外,缺陷检测和校正电路17具有使用具有相同颜色的八个相邻像素的最大值和最小值计算缺陷确定阈值的功能。
另外,缺陷检测和校正电路17具有使用在具有相同颜色的八个相邻像素之中排除最大值和最小值的第二最大值和第二最小值来计算缺陷确定阈值的功能。
此后,将描述成像装置10的功能的概述,且然后将描述像素部分的具体配置和缺陷检测和校正电路17的具体配置和功能的例子。
[成像装置的功能的概述]
通过光学系统11向CMOS图像传感器12的像素部分13输入从被摄体获得的入射光。
通过像素部分13中的光电转换将该入射光转换为电信号,然后输入到AFE 14。输入的电信号在AFE 14进行相关双采样和自动增益控制(AGC)之后被输出作为电信号。
从AFE 14输出的电信号在由ADC 15进行A/D转换处理之后被输出作为数字信号。
由预处理部分16进行对该数字信号的各种数字处理,且该数字信号被输出到缺陷检测和校正电路17。
当在数字信号中存在缺陷像素信号时,缺陷检测和校正电路17使用稍后描述的缺陷像素检测和校正方法来校正该缺陷像素信号,并输出校正之后的数字信号。
该数字信号被输入到后处理部分18,并在进行各种数字处理之后被输出。该数字信号变为CMOS图像传感器12的输出信号。
另外,功能和时序控制部分19控制CMOS图像传感器12的每个部分的操作。
<2.像素部分的配置的例子>
图4是示出图1所示的像素部分13的配置的例子的图。
像素部分13具有有效像素区21和空白区22和23,如图4所示,该有效像素区21具有多个有效像素31,每个有效像素31具有对应于RGB颜色之一的滤色器。
空白区22具有OB像素区25和哑像素区24,其中OB像素区25具有多个光学黑(OB)像素32,且哑像素区24具有多个哑像素33。
有效像素区21包括R(红色)传输滤色器的像素PX10、B(蓝色)传输滤色器的像素PX11、和G(绿色)传输滤色器的像素PX12,作为有效像素31,且这些像素以矩阵形式排列。
有效像素区21具有第一滤色器行FLT11,在该第一滤色器行FLT11中,在水平方向(X方向)上交替重复R传输滤色器的像素PX10和G传输滤色器的像素PX12。
有效像素区21具有第二滤色器行FLT12,在该第二滤色器行FLT12中,在水平方向上交替重复G传输滤色器的像素PX12和B传输滤色器的像素PX11。
在有效像素区21中,在垂直方向(Y方向)上重复地交替排列第一和第二滤色器行FLT11和FLT12。
第一滤色器行FLT11的G传输滤色器的像素PX12和第二滤色器行FLT12的G传输滤色器的像素PX12被排列为在垂直方向上彼此不重叠。通常,使用该滤色器排列作为拜耳排列。
另外,类似于具有RGB的滤色器的有效像素31,在其中OB像素32处于遮光(shaded)状态下的OB行OPB11中可能存在缺陷像素。
在哑像素行DMY11中没有缺陷。
从多个哑像素行DMY11、多个OB行OPB11和第一和第二滤色器行FLT11和FLT12交替输出这些像素输出。
在本实施例中,在多个OB行OPB 11和有效像素区21的多个行中进行缺陷检测和校正处理。
<3.缺陷检测和校正电路的配置的例子>
图5是示出根据本实施例的作为像素缺陷检测和校正设备的缺陷检测和校正电路17的配置的例子的图。
图6是示出在拜耳排列上的(5像素×5像素的)处理区的例子的图。
图7是具有相同颜色的相邻像素的说明图。
图8是具有不同颜色的相邻像素的说明图。
如图5所示,缺陷检测和校正电路17包括线(line)缓冲器171、用作检测部分的用于检测具有相同颜色的相邻像素的数据的最大和最小值的部分172、用作平均值获取部分的用于计算具有不同颜色的相邻像素的数据的平均值的部分173和缺陷像素校正值计算部分174。
缺陷检测和校正电路17包括缺陷确定部分175、阈值和系数设置部分176和缺陷像素替换部分177。
由用于四条线的存储器形成线缓冲器171,且线缓冲器171根据从像素部分13输出的拜耳排列信号SIM生成(水平方向上的5个像素)×(垂直方向上的5个像素)的处理区PRCA,其具有在中央的感兴趣的像素(其缺陷要被检测的像素DJPX),如图6所示。
线缓冲器171向用于检测具有相同颜色的相邻像素的数据的最大和最小值的部分172、用于计算具有不同颜色的相邻像素的数据的平均值的部分173和缺陷像素校正值计算部分174输出信号S171,其包括关于所生成的处理区PRCA的信息。
在此,水平方向是在图6所示的坐标系统上的X方向,且垂直方向是Y方向。
用于检测具有相同颜色的相邻像素的数据的最大和最小值的部分172从图7所示的具有相同颜色的相邻像素A到I(除了E)选择(检测)最大值MAX和最小值MIN。
在此,由图7中的附图标记E表示的像素是其缺陷要被检测的像素DJPX。
用于检测具有相同颜色的相邻像素的数据的最大和最小值的部分172向缺陷确定部分175输出检测结果,作为信号S172。
另外,用于检测具有相同颜色的相邻像素的数据的最大和最小值的部分172可以被配置以检测从除了其缺陷要被检测的像素之外的、具有相同颜色的相邻像素的像素值中排除最大值和最小值的第二最大值和第二最小值。
用于计算具有不同颜色的相邻像素的数据的平均值的部分173计算图8所示的具有不同颜色的相邻像素A′到I′(除了E)的平均值。
用于检测具有不同颜色的相邻像素的数据的平均值的部分173向缺陷确定部分175输出计算结果,作为信号S173。
缺陷像素校正值计算部分174计算当其缺陷要被检测的像素DJPX有缺陷时用于替换的像素值。
缺陷像素校正值计算部分174向缺陷像素替换部分177输出所计算的像素值,作为信号S174。
缺陷确定部分175将位于前一级的用于检测具有相同颜色的相邻像素的数据的最大和最小值的部分172的输出值乘以系数CMAX和CMIN,其中,由阈值和系数设置部分176设置的具有相同颜色的相邻像素SCAP的最大和最小值MAX和MIN乘以该系数CMAX和CMIN。
缺陷确定部分175将具有不同颜色的相邻像素DCAP的平均值AVR的阈值JVth添加到平均值AVR,该平均值AVR是用于计算具有不同颜色的相邻像素的数据的平均值的部分173的输出,且还从平均值AVR减去阈值JVth。
缺陷确定部分175比较其缺陷要被检测的像素DJPX(E)与作为阈值的乘法结果和加法结果的每个,且确定其是否是缺陷像素。
具体地,缺陷确定部分175确定以下条件。如果满足这些条件的至少一个,缺陷确定部分175确定其缺陷要被检测的像素E是缺陷像素。
[条件1:具有相同颜色的相邻像素的比较]
MAX×CMAX<VLE
MIN×CMIN>VLE
在此,MAX,CMAX,MIN,CMIN,和VLE分别指示具有相同颜色的相邻像素的最大值、相同颜色最大值确定系数、具有相同颜色的相邻像素的最小值、相同颜色最小值确定系数和其缺陷要被检测的像素E的像素值。
[条件2:具有不同颜色的相邻像素的比较]
VLE<AVR-JVth
AVR+JVth<VLE
在此,VLE,AVR,和JVth分别指示其缺陷要被检测的像素E的像素值、具有不同的颜色的相邻像素的平均值和不同颜色确定阈值。
缺陷确定部分175向缺陷像素替换部分177输出确定结果,作为信号S175。
根据缺陷确定部分175的输出,缺陷像素替换部分177用由缺陷像素校正值计算部分174计算的缺陷像素校正值来替换其缺陷要被检测的像素E的像素值VLE。
缺陷像素替换部分177输出包括校正数据的图像信号作为信号S17。
在此,可以为每个滤色器不同地设置不同颜色确定阈值JVth,且可以根据色温来改变该设置。
在该情况下,将条件2处理为以下条件2a。
[条件2a:具有不同颜色的相邻像素的比较(滤色器加权)]
VLE<AVR-JVth×WRGB
AVR+JVth×WRGB<VLE
在此,如上所述,VLE,AVR,和JVth分别指示其缺陷要被检测的像素E的像素值、具有不同的颜色的相邻像素的平均值和不同颜色确定阈值。另外,WRGB指示RGB的每个的加权值。
<4.关于缺陷检测和校正处理的说明>
图9是示出根据图5所示的本实施例的缺陷检测和校正电路的缺陷检测和校正处理的流程图的图.
[步骤ST101]
首先,在步骤ST101中,线缓冲器171根据从像素部分13输出的拜耳排列信号SIM生成(在水平方向上的5个像素)×(垂直方向上的5个像素)的处理区PRCA,其具有在中央的感兴趣的像素(其缺陷要被检测的像素DJPX)。
包括关于由线缓冲器171生成的处理区PRCA的信息的信号S171被输出到用于检测具有相同颜色的相邻像素的数据的最大和最小值的部分172、用于计算具有不同颜色的相邻像素的数据的平均值的部分173和缺陷像素校正值计算部分174。
用于检测具有相同颜色的相邻像素的数据的最大和最小值的部分172从图7所示的具有相同颜色的相邻像素A到I(除了E)检测最大值MAX和最小值MIN。
向缺陷确定部分175供应检测结果作为信号S172。
[步骤ST102]
在步骤ST102中,缺陷确定部分175将供应的最大和最小值MAX和MIN乘以系数CMAX和CMIN,其中,由阈值和系数设置部分176设置的具有相同颜色的相邻像素SCAP的最大和最小值MAX和MIN乘以该系数CMAX和CMIN。
取代使用系数的乘法,还能够从外部设置阈值,且进行加法或减法。
或者,取代对于最大和最小值的处理,还能够将在最大和最小值之间的差乘以系数,并加上或减去阈值。在该情况下,条件1是以下条件1a。
[条件1a:具有相同颜色的相邻像素的比较]
DFMXMN×CDFMXMN+MAX<VLE
MIN-DFMXMN×CDFMXMN>VLE
在此,DFMXMN,CDFMXMN,MAX和VLE分别指示最大和最小值之间的差、最大和最小值之间的差的系数、最大值、和其缺陷要被检测的像素E的像素值。
[步骤ST103]
在步骤ST103中,缺陷确定部分175确定乘法结果是否满足条件1。
此外,在步骤ST103中,缺陷确定部分175确定条件1或条件1a。或者,缺陷确定部分175可以确定条件1和条件1a两者。
[步骤ST104]
如果在步骤ST103确定不满足条件1,用于计算具有不同颜色的相邻像素的数据的平均值的部分173在步骤ST104中计算具有不同颜色的相邻像素A′到I′(除了E)的平均值。
向缺陷确定部分175供应所计算的平均值作为信号S173。
[步骤ST105]
在步骤ST105中,缺陷确定部分175将具有不同颜色的相邻像素DCAP的平均值AVR的阈值JVth添加到平均值AVR,且再从平均值AVR减去该阈值JVth,平均值AVR是用于计算具有不同颜色的相邻像素的数据的平均值的部分173的输出。
[步骤ST106]
在步骤ST106中,缺陷确定部分175确定乘法结果是否满足条件2。
此外,在步骤ST106中,缺陷确定部分175确定条件2或条件2a。或者,缺陷确定部分175可以确定条件2和条件2a两者。
另外,缺陷确定部分175的确定结果被供应到缺陷像素替换部分177作为信号S175。
[步骤ST107]
如果在步骤ST103中确定满足条件1或如果在步骤ST106中确定满足条件2,则在步骤ST106中由缺陷像素校正值计算部分174计算当其缺陷要被检测的像素DDPX有缺陷时用于替换的像素值。该像素值被供应到缺陷像素替换部分177作为信号S174。
[步骤ST108]
在步骤ST108中,根据缺陷确定部分175的输出,缺陷像素替换部分177用由缺陷像素校正值计算部分174计算的缺陷像素校正值来替换其缺陷要被检测的像素E的像素值VLE。
[步骤ST109]
在步骤ST109中,包括在步骤ST108中的处理之后的校正数据的图像信号被输出到随后的处理系统作为信号S17。
或者在步骤ST109中,当在步骤S106中确定满足条件2时,不包括校正数据的图像信号S17被输出到随后的处理系统。也就是说,其缺陷要被检测的像素DJPX(E)被照原样输出。
另外,可以在步骤ST101、ST102和ST103的先前阶段中进行步骤ST107中的处理。
接下来,将描述当排除最大和最小值的六个像素的平均值被设置为具有不同颜色的相邻像素的平均值时的缺陷检测和校正处理系统。
图10是示出根据本实施例的缺陷检测和校正电路的配置的第二例子的图,且也是示出将排除最大和最小值的六个像素的平均值设置为具有不同颜色的相邻像素的平均值的缺陷检测和校正电路的图。
在图10所示的缺陷检测和校正电路17A中,利用用于检测具有不同颜色的相邻像素的数据的最大和最小值的部分173-1和用于计算具有不同的颜色的相邻像素的数据的六像素平均值的部分173-2来替换图5所示的缺陷检测和校正电路17的、用于计算具有不同颜色的相邻像素的数据的平均值的部分173。
用于检测具有不同颜色的相邻像素的数据的最大和最小值的部分173-1计算具有不同颜色的相邻像素A′到I′(除了E)的最大和最小值。
用于检测具有不同颜色的相邻像素的数据的最大和最小值的部分173-1向用于计算具有不同颜色的相邻像素的数据的六像素平均值的部分173-2输出计算结果作为信号S173-1。
用于计算具有不同颜色的相邻像素的数据的六像素平均值的部分173-2从具有不同颜色的相邻像素A′到I′(除了E以外的八个像素)计算排除最大和最小值的两个像素的六个像素的平均值。
用于计算具有不同颜色的相邻像素的数据的六像素平均值的部分173-2向缺陷确定部分175输出计算结果。
图10所示的缺陷检测和校正电路17A的其他配置和功能与图5所示的缺陷检测和校正电路17的那些相同。
图11是示出根据图10所示的本实施例的缺陷检测和校正电路的缺陷检测和校正处理的流程图的图。
在图11所示的处理中,用步骤ST104-1和ST104-2中的处理替换图9所示的步骤ST104中的处理。除此之外,图11所示的处理与图9所示的处理相同。
步骤ST104-1是用于检测具有不同颜色的相邻像素的数据的最大和最小值的部分173-1的处理。
步骤ST104-2是用于计算具有不同颜色的相邻像素的数据的六像素平均值的部分173-2的处理。
因此,可以通过将排除了最大值和最小值的六个像素的平均值设置为具有不同颜色的相邻像素的平均值来改善当在具有不同颜色的相邻像素中存在缺陷像素时的缺陷检测精度。
另外,图1所示的像素部分13不局限于图4所示的单片型成像设备,且也可以使用三片型成像设备。
图12中示出了实际的计算例子。
每个像素值的分辨率被设置为10位(0到1023)。
在图12中,其缺陷要被检测的像素是″940″。
在该情况下,具有相同颜色的相邻像素的最大值是″1023″,且其最小值是″227″,且具有不同颜色的相邻像素的最大值是″1023″,且其最小值是″190″。
当使用最大和最小值来确定阈值时,在相同颜色和不同颜色的两种情况下,最大值是″1023″。因此,由于通过将“1023”乘以系数来计算阈值的上限,因此计算超过“1023”的值。
在此,假设设置了像素值分辨率的上限,不可能将其缺陷要被检测的像素确定为缺陷像素,因为其缺陷要被检测的像素的值是″940″。这对最小值也成立。
由于这个原因,应用根据本实施例的方法。
在该情况下,具有不同颜色的相邻像素的平均值是″265.75″。因此,即使[条件2]的不同颜色确定阈值被相对大地设置为像素值分辨率的一半“512”,但是其缺陷要被检测的像素也可以被确定为缺陷像素,因为充分满足[条件2]。
可以应用以下方法作为确定不同颜色确定阈值和相同颜色最大值/最小值确定系数的方法。
也就是说,可以通过根据光源的存在来定义每个缺陷,从较高的缺陷校正强度朝向更低的缺陷校正强度而操作阈值和系数,并设置剩余缺陷的数量增加的地点,来选择满意的操作设置,作为最佳阈值和最佳系数。
如上所述,根据本实施例,可以获取以下效果。
也就是说,根据本实施例,即使当在外围存在诸如反射部分的具有高亮度水平的像素时,也能够容易地使用相对简单的电路或方法来检测缺陷像素。
另外,由于该配置简单,因此还能够抑制电路大小和功率消耗。
另外,上述每个实施例被应用于使用CMOS图像传感器作为图像传感器的固态成像装置(固态成像设备)。
例如,固态成像装置可以应用于具有诸如移动电话、视频摄像机和数字静止相机的各种成像功能的装置。
另外,以上详细描述的方法还可被实现为根据上述过程的程序,其由诸如CPU的计算机执行。
另外,这样的程序可以被记录在记录介质中,比如半导体存储器、磁盘、光盘和软盘(注册商标)中,且其中设置了记录介质的计算机可以存取和执行该程序。
本申请包含与在2009年11月2日在日本专利局提交的日本优先权专利申请JP 2009-252447中的公开有关的主题,其全部内容被引用附于此。
本领域技术人员应该理解,取决于设计需求或其他因素,可以进行各种修改、组合、子组合和变更,只要它们处于所附权利要求或其等效物的范围内。
Claims (10)
1.一种像素缺陷检测和校正设备,包括:
平均值获取部分,在排列了具有相同颜色的多个相邻像素和具有不同颜色的多个相邻像素、且作为感兴趣的像素的缺陷要被检测的像素在中心的处理区域中,获取排除了所述缺陷要被检测的像素的、具有不同颜色的相邻像素的像素值的平均值;
缺陷确定部分,至少基于由所述平均值获取部分获取的平均值,确定所述缺陷要被检测的像素是否有缺陷;
替换像素值获取部分,其获取当所述缺陷要被检测的像素有缺陷时用于替换的像素值;以及
缺陷像素替换部分,其根据所属缺陷确定部分的确定结果,用由所述替换像素值获取部分获取的像素值来替换所述缺陷要被检测的像素的像素值,
其中,所述缺陷确定部分通过比较所述缺陷要被检测的像素的像素值、由所述平均值获取部分获取的具有不同颜色的相邻像素的平均值、和指定的不同颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷,并且
其中,当所述缺陷要被检测的像素的像素值低于通过从具有不同颜色的相邻像素的平均值中减去指定的不同颜色确定阈值而获得的值时,或当所述缺陷要被检测的像素的像素值高于通过将所述指定的不同颜色确定阈值添加到具有不同暗色的相邻像素的平均值而获得的值时,所述缺陷确定部分确定所述缺陷要被检测的像素有缺陷。
2.根据权利要求1的像素缺陷检测和校正设备,
其中,所述平均值获取部分获取排除了所述缺陷要被检测的像素的、具有不同颜色的所有相邻像素的像素值的平均值。
3.根据权利要求2的像素缺陷检测和校正设备,
其中,所述平均值获取部分获取在排除了所述缺陷要被检测的像素的、具有不同颜色的相邻像素的像素值之中排除了最大和最小值的像素值的平均值。
4.根据权利要求3的像素缺陷检测和校正设备,
其中,所述不同颜色像素阈值可根据作为感兴趣的像素的缺陷要被检测的像素的颜色变化。
5.根据权利要求1到4中任一项的像素缺陷检测和校正设备,
其中,当所述缺陷要被检测的像素的像素值低于通过从具有不同颜色的相邻像素的平均值中减去通过将指定的不同颜色确定阈值乘以每个颜色的加权系数所获得的值而获得的值时,或当所述缺陷要被检测的像素的像素值高于通过向具有不同暗色的相邻像素的平均值添加通过将指定的不同颜色确定阈值乘以每个颜色的加权系数所获得的值而获得的值时,所述缺陷确定部分确定所述缺陷要被检测的像素有缺陷。
6.根据权利要求1到4中任一项的像素缺陷检测和校正设备,还包括:
检测部分,其在处理区域中从排除了所述缺陷要被检测的像素的具有相同颜色的相邻像素的像素值中检测至少最大和最小值,
其中,所述缺陷确定部分具有第一确定功能和第二确定功能,所述第一确定功能通过比较所述缺陷要被检测的像素的像素值与由所述检测部分检测的具有相同颜色的相邻像素的像素值的最大和最小值进行第一确定,该第一确定是关于所述缺陷要被检测的像素是否有缺陷的确定,所述第二确定功能通过比较所属缺陷要被检测的像素的像素值与由所述平均值获取部分获取的具有不同颜色的相邻像素的平均值进行第二确定,所述第二确定是关于所述缺陷要被检测的像素是否有缺陷的确定。
7.根据权利要求6的像素缺陷检测和校正设备,
其中,所述缺陷确定部分当在所述第一确定中确定所述缺陷要被检测的像素没有缺陷时使用所述第二确定功能来进行第二确定处理。
8.根据权利要求6的像素缺陷检测和校正设备,
其中,所述检测部分从排除了所述缺陷要被检测的像素的、具有相同颜色的相邻像素的像素值中检测排除了最大和最小值的第二最大值和第二最小值,且将所述第二最大值和所述第二最小值输出到所述缺陷确定部分。
9.一种成像装置,包括:
像素部分,包括对被摄体图像成像的成像设备;以及
像素缺陷检测和校正设备,其从所述成像设备接收图像数据并进行像素缺陷检测和校正处理,
其中,所述像素缺陷检测和校正设备包括:
平均值获取部分,在排列了具有相同颜色的多个相邻像素和具有不同颜色的多个相邻像素、且作为感兴趣的像素的缺陷要被检测的像素在中心的处理区域中,获取排除了所述缺陷要被检测的像素的、具有不同颜色的相邻像素的像素值的平均值;
缺陷确定部分,至少基于由所述平均值获取部分获取的平均值,确定所述缺陷要被检测的像素是否有缺陷;
替换像素值获取部分,其获取当所述缺陷要被检测的像素有缺陷时用于替换的像素值;以及
缺陷像素替换部分,其根据所属缺陷确定部分的确定结果,用由所述替换像素值获取部分获取的像素值来替换所述缺陷要被检测的像素的像素值,
所述缺陷确定部分通过比较所述缺陷要被检测的像素的像素值、由所述平均值获取部分获取的具有不同颜色的相邻像素的平均值、和指定的不同颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷,并且
其中,当所述缺陷要被检测的像素的像素值低于通过从具有不同颜色的相邻像素的平均值中减去指定的不同颜色确定阈值而获得的值时,或当所述缺陷要被检测的像素的像素值高于通过将所述指定的不同颜色确定阈值添加到具有不同暗色的相邻像素的平均值而获得的值时,所述缺陷确定部分确定所述缺陷要被检测的像素有缺陷。
10.一种像素缺陷检测和校正方法,包括以下步骤:
平均值获取步骤,在排列了具有相同颜色的多个相邻像素和具有不同颜色的多个相邻像素、且作为感兴趣的像素的缺陷要被检测的像素在中心的处理区域中,获取排除了所述缺陷要被检测的像素的、具有不同颜色的相邻像素的像素值的平均值;
缺陷确定步骤,基于在平均值获取步骤中获取的平均值,确定所述缺陷要被检测的像素是否有缺陷;
替换像素值获取步骤,获取当所述缺陷要被检测的像素有缺陷时替换的像素值;以及
替换步骤,根据所述缺陷确定步骤的确定结果,用由所述替换像素值获取步骤获取的像素值来替换所述缺陷要被检测的像素的像素值,
其中,在缺陷确定步骤中,通过比较所述缺陷要被检测的像素的像素值、在平均值获取步骤中获取的具有不同颜色的相邻像素的平均值、和指定的不同颜色像素阈值来确定所述缺陷要被检测的像素是否有缺陷,并且
其中,当所述缺陷要被检测的像素的像素值低于通过从具有不同颜色的相邻像素的平均值中减去指定的不同颜色确定阈值而获得的值时,或当所述缺陷要被检测的像素的像素值高于通过将所述指定的不同颜色确定阈值添加到具有不同暗色的相邻像素的平均值而获得的值时,所述缺陷确定步骤确定所述缺陷要被检测的像素有缺陷。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP252447/09 | 2009-11-02 | ||
JP2009252447A JP2011097542A (ja) | 2009-11-02 | 2009-11-02 | 画素欠陥検出補正装置、撮像装置、画像欠陥検出補正方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102055918A CN102055918A (zh) | 2011-05-11 |
CN102055918B true CN102055918B (zh) | 2013-08-28 |
Family
ID=43925051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010521995.8A Expired - Fee Related CN102055918B (zh) | 2009-11-02 | 2010-10-26 | 像素缺陷检测和校正设备和方法、成像装置、和程序 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8508631B2 (zh) |
JP (1) | JP2011097542A (zh) |
CN (1) | CN102055918B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5120441B2 (ja) * | 2009-11-26 | 2013-01-16 | 株式会社ニコン | 画像処理装置 |
JP5556199B2 (ja) * | 2010-01-29 | 2014-07-23 | ソニー株式会社 | 固体撮像素子及び撮像機器 |
US9007495B1 (en) * | 2011-08-12 | 2015-04-14 | Immedia Semiconductor, Inc. | Image processing |
JP5694907B2 (ja) * | 2011-11-30 | 2015-04-01 | 日立マクセル株式会社 | 撮像装置 |
JP2014086863A (ja) | 2012-10-23 | 2014-05-12 | Sony Corp | 撮像装置、および画像処理方法、並びにプログラム |
JP5970012B2 (ja) | 2014-02-27 | 2016-08-17 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP6045523B2 (ja) | 2014-02-27 | 2016-12-14 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP2017055308A (ja) * | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2017055309A (ja) | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN105407348B (zh) * | 2015-11-18 | 2017-07-28 | 深圳怡化电脑股份有限公司 | 一种图像传感器的检测方法及系统 |
CN106878636B (zh) * | 2017-02-13 | 2019-11-29 | 建荣半导体(深圳)有限公司 | 缺陷像素点检测方法、装置及图像处理芯片 |
CN107590838B (zh) * | 2017-08-18 | 2021-08-17 | 陕西维视智造科技股份有限公司 | 一种金属表面颜色视觉检测系统 |
CN107707849B (zh) * | 2017-10-31 | 2020-07-31 | 中国电子科技集团公司第二十九研究所 | 一种pal制式模拟电视信号数字化解调方法及数字信号图像恢复方法 |
US10812708B2 (en) * | 2019-02-22 | 2020-10-20 | Semiconductor Components Industries, Llc | Imaging systems with weathering detection pixels |
JP2021051015A (ja) * | 2019-09-25 | 2021-04-01 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距方法、並びにプログラム |
KR20210156553A (ko) * | 2020-06-18 | 2021-12-27 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
CN112019775B (zh) * | 2020-09-04 | 2023-03-24 | 成都微光集电科技有限公司 | 一种坏点检测校正方法及装置 |
US11509845B2 (en) * | 2021-03-05 | 2022-11-22 | Black Sesame Technologies Inc. | Multiple frame defect pixel detection and correction |
CN114066845A (zh) * | 2021-11-15 | 2022-02-18 | 新恒汇电子股份有限公司 | 用于sim卡载带表面伤痕的检测方法、装置及产品 |
CN114302077B (zh) * | 2021-12-28 | 2024-03-29 | 上海集成电路研发中心有限公司 | 像素暗电流计算方法、装置、像素校正系统及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1578138A1 (en) * | 2002-12-24 | 2005-09-21 | Sony Corporation | Pixel defect detecting/correcting device and pixel defect detecting/correcting method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3773773B2 (ja) * | 1999-10-27 | 2006-05-10 | 三洋電機株式会社 | 画像信号処理装置及び画素欠陥の検出方法 |
US7283165B2 (en) * | 2002-11-15 | 2007-10-16 | Lockheed Martin Corporation | Method and apparatus for image processing using weighted defective pixel replacement |
US7551799B2 (en) * | 2005-05-13 | 2009-06-23 | Seiko Epson Corporation | Apparatus and method for image noise reduction |
JP4978214B2 (ja) * | 2006-10-13 | 2012-07-18 | ソニー株式会社 | 撮像システムおよび画素欠陥補正装置 |
TW200828982A (en) * | 2006-12-22 | 2008-07-01 | Altek Corp | Real-time detection method for bad pixel of image |
JP2008301142A (ja) * | 2007-05-31 | 2008-12-11 | Fujitsu Microelectronics Ltd | 固体撮像素子および画素補正方法 |
US20090091642A1 (en) * | 2007-10-03 | 2009-04-09 | Winbond Electronics Corp. | Image defect correction system using directional detection |
US8208044B2 (en) * | 2008-09-18 | 2012-06-26 | Qualcomm Incorporated | Bad pixel cluster detection |
-
2009
- 2009-11-02 JP JP2009252447A patent/JP2011097542A/ja active Pending
-
2010
- 2010-10-14 US US12/923,917 patent/US8508631B2/en active Active
- 2010-10-26 CN CN201010521995.8A patent/CN102055918B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1578138A1 (en) * | 2002-12-24 | 2005-09-21 | Sony Corporation | Pixel defect detecting/correcting device and pixel defect detecting/correcting method |
Non-Patent Citations (2)
Title |
---|
JP特开2001-197372A 2001.07.19 |
JP特开2008-118609A 2008.05.22 |
Also Published As
Publication number | Publication date |
---|---|
US20110102649A1 (en) | 2011-05-05 |
US8508631B2 (en) | 2013-08-13 |
JP2011097542A (ja) | 2011-05-12 |
CN102055918A (zh) | 2011-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102055918B (zh) | 像素缺陷检测和校正设备和方法、成像装置、和程序 | |
CN102055917B (zh) | 像素缺陷校正器件、成像设备、像素缺陷校正方法和程序 | |
US8310577B1 (en) | Method and apparatus for color compensation | |
US6888568B1 (en) | Method and apparatus for controlling pixel sensor elements | |
US7623163B2 (en) | Method and apparatus for color interpolation | |
CN101304484B (zh) | 成像装置、缺陷像素校正装置、和装置中的处理方法 | |
US9420206B2 (en) | Image-pickup apparatus and method of detecting defective pixel thereof | |
US8451350B2 (en) | Solid-state imaging device, camera module, and imaging method | |
US20100171853A1 (en) | Solid-state imaging device, signal processing method of solid-state imaging device, and image capturing apparatus | |
JP2011029835A (ja) | 固体撮像装置とその駆動方法、及び電子機器 | |
CN104600085A (zh) | 固态摄像器件、信号处理器件和电子装置 | |
JP2004297807A (ja) | 画像情報におけるノイズを補償するシステム及び方法 | |
US9628730B2 (en) | Dark current gradient estimation using optically black pixels | |
JP5003127B2 (ja) | 撮像装置とその制御方法およびカメラ | |
US7787036B2 (en) | Imaging apparatus configured to correct noise | |
JP3977342B2 (ja) | 固体撮像装置の設計方法及び撮像システム | |
KR100645856B1 (ko) | 신호처리 방법 및 화상취득 장치 | |
CN114679551A (zh) | 固体摄像装置、固体摄像装置的信号处理方法以及电子机器 | |
CN102007760A (zh) | 图像拾取设备及其噪声减少方法 | |
JP4542063B2 (ja) | 固体撮像装置およびそれを用いた撮像システム | |
JP2004040508A (ja) | 固体撮像装置の検査方法、検査装置および検査プログラム | |
JP2008300905A (ja) | 固体撮像装置及びその検査方法 | |
JP2011091507A (ja) | 撮像装置 | |
KR20080007851A (ko) | 컬러 보정 블럭을 구비하는 cmos 이미지 센서 및 그이미지 센싱 방법 | |
US20150365638A1 (en) | Solid-state imaging device and signal processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130828 Termination date: 20151026 |
|
EXPY | Termination of patent right or utility model |