CN104333717B - 一种用于cmos图像传感器的暗电平校正的算法及其系统 - Google Patents

Abstract

本发明是一种用于CMOS图像传感器的暗电平校正算法及其系统，该算法包括：S1、后台系统设定暗电平上限和输出数据偏移量；S2、输入带有暗电平信息行的图像；S3、用中值滤波算法校正暗电平信息行的缺陷像素；S4、计算滤波校正后暗电平信息行各像素通道的平均暗电平；S5、调整输出数据偏移量；S6、对输入图像数据进行暗电平校正；S7、输出正常图像。该系统包括缺陷像素校正模块、校正信息计算模块和暗电平校正模块，所述校正信息计算模块包括平均暗电平计算模块和数据输出偏移量调整模块。本发明可以更好地进行暗电平校正，误差小，解决了在四个颜色通道的暗电平差异比较大的情况下出现的颜色偏差问题和亮度不饱和问题。

Description

一种用于CMOS图像传感器的暗电平校正的算法及其系统

技术领域

本发明涉及电子技术领域，尤其涉及一种用于CMOS图像传感器的暗电平校正的算法及其系统。

背景技术

近年来，由于低成本、低电压、低功耗的优势，集光敏器件、模拟读出电路、数字控制系统、智能信号处理电路于一体的CMOS图像传感器越来越具有吸引力。然而，暗电流严重限制了CMOS图像传感器的性能，如动态范围、灵敏度，并且引起FPN(fixed pattern noise，固定模式噪声)和瞬时噪声，由此也降低了其噪声性能。由于暗电流主要来自于场氧区的界面缺陷和钱槽隔离的边界，所以随着CMOS技术进入深亚微米领域，制造出低暗电平的图像传感器越来越具有挑战性。因此，减少暗电流成为获取高性能CMOS图像传感器的主要障碍之一。

为了获得低暗电流的CMOS图像传感器，在设计时在像素结构、版图设计、信号采样以及制造工艺等方面采用了很多方法来消除其负面影响。然而这些方法并不能完全消除暗电流，因此需要对暗电流进行暗电平校正。因为模拟电路的精度不高或者成本太大等校正缺陷，暗电平校正都包括数字校正部分。又暗电流与积分时间、温度以及增益等因素有密切关系，它随着积分时间和温度以及增益的增加而增加。这样当积分时间增长、温度过高或者增益过大时，暗电流就会变得很大从而影响正常图像的动态范围和质量。在这种情况下，不限暗电平的暗电平校正方法会有亮度不饱和以及某些情况下图像颜色偏差等问题；限制暗电平到一个限定值的校正方法虽然解决了亮度不饱和问题，却加重了图像颜色偏差的问题。

因此，在图像处理阶段，有必要采取一种改进的暗电平校正算法来解决以上几种校正算法存在的问题来提高图像质量。

发明内容

本发明的目的在于提供一种用于CMOS图像传感器的暗电平校正的算法及其系统，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明一种用于CMOS图像传感器的暗电平校正的算法，该算法包括：

S1、后台系统设定暗电平上限和输出数据偏移量；

S2、输入带有暗电平信息行的图像；

S3、用中值滤波算法校正暗电平信息行的缺陷像素；

S4、计算滤波校正后暗电平信息行各像素通道的平均暗电平；

S5、调整输出数据偏移量；

S6、对输入图像数据进行暗电平校正；

S7、输出正常图像。

优选地，步骤S3所述中值滤波为3点中值滤波、5点中值滤波或2m+1点中值滤波，所述m为大于2的正整数；其中，所述点为像素点。

更优选地，所述像素点为同信息行同像素通道的相邻像素点。

优选地，步骤S5中所述调整输出数据偏移量，采用下述公式(1)：

式(1)中，Offset′是调整后的输出数据偏移量；Offset是输出数据偏移量；DC_Max是各像素通道平均暗电平中的最大平均暗电平；DC_Lim是暗电平上限；

设定：DC_Avg₀,DC_Avg₁,……,DC_Avg_n＝DC_Avg_i，i＝0,1……,n，DC_Avg_i是i通道的平均暗电平，i为CMOS图像传感器各像素通道中的任意一个；n是像素通道个数。

优选地，步骤S6中所述对输入图像数据进行暗电平校正，具体为：后台系统根据各像素通道的暗电平信息行的平均暗电平皆与暗电平上限对比关系，对输入图像数据进行暗电平校正，主要分为以下两种情况：

S6-1、当各像素通道的暗电平信息行的平均暗电平皆未超过暗电平上限时，从输入图像数据中直接减去对应通道的平均暗电平，并加上输出数据偏移量，即可对输入图像数据进行暗电平校正；

S6-2、当各像素通道的暗电平信息行的平均暗电平中至少有一个超过暗电平上限时，首先对数据输出偏移量进行调整，然后从输入图像数据中减去对应像素通道的平均暗电平，再加上调整后的输出数据偏移量，即可对输入图像数据进行暗电平校正。

更优选地，步骤S6-1中校正暗电平采用下述公式(2)：

式(2)中，Data_Out_i是i通道经过暗电平校正后的输出信号；Data_In_i是i通道的的输入信号；DC_Avg _i是i通道的平均暗电平，i＝0,1……,n；Offset_i′是i通道调整后的输出数据偏移量；Offset是输出数据偏移量；i为CMOS图像传感器各像素通道中的任意一个。

更优选地，步骤S6-2中对输入图像数据进行暗电平校正采用下述公式(3)：

式(3)中，Data_Out_i是i通道经过暗电平校正后的输出信号；Data_In_i是i通道的的输入信号；DC_Avg_i是i通道的平均暗电平；Offset_i′是i通道调整后的输出数据偏移量；Offset是输出数据偏移量；DC_Max是各像素通道平均暗电平中的最大平均暗电平；DC_Lim是暗电平上限；i为CMOS图像传感器各像素通道中的任意一个，i＝0,1……,n；n是像素通道个数。。

更优选地，所述n是像素通道个数，为2、4、8或16。

一种用于CMOS图像传感器的暗电平校正算法的系统，该系统包括缺陷像素校正模块、校正信息计算模块和暗电平校正模块；

所述缺陷像素校正模块，用于校正输入图像暗电平信息行中的缺陷像素；

所述校正信息计算模块，用于计算各像素通道的暗电平校正信息；

所述暗电平校正模块，用于将所得各像素通道的暗电平校正信息分别加入所对应通道的正常图像像素数据中。

优选地，所述校正信息计算模块包括平均暗电平计算模块和数据输出偏移量调整模块；

所述平均暗电平计算模块，用于计算各像素通道的平均暗电平；

所述数据输出偏移量调整模块，用于根据各像素通道的平均暗电平、暗电平上限和数据输出偏移量，对数据输出偏移量进行调整，获取调整后的数据输出偏移量。

本发明的有益效果是：

与现有方法相比，本发明不仅仅是对计算暗电平的平均电平进行简单限制或者根本不做处理，而是对其进行了调整，又因调整值对于当前图像为常数，为了保持计算一致性，将此调整平移到数据偏移量上，对数据偏移量进行调整，因此本发明可以更好地进行暗电平校正，误差小，可解决在暗电平超限时，普通暗电平限制算法在四个颜色通道的暗电平差异比较大的时候出现的颜色偏差问题以及暗电平不设限算法的亮度不饱和问题，从而得到较好的输出图像。

附图说明

图1是本发明一种用于CMOS图像传感器的暗电平校正的算法结构示意图，其中，图中所述的黑行即暗电平信息行；

图2是现有技术限定暗电平的校正CMOS图像传感器中暗电平的算法的结构示意图，其中，图中所述的黑行即暗电平信息行；

图3是现有技术不限定暗电平的校正CMOS图像传感器中暗电平的算法的结构示意图，其中，图中所述的黑行即暗电平信息行；

图4是本发明一种用于CMOS图像传感器的暗电平校正算法的系统示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

参照图1，本发明的一种用于CMOS图像传感器的暗电平校正的算法，该算法包括：

S1、后台系统设定暗电平上限DC_Lim和输出数据偏移量Offset；

S2、输入带有暗电平信息行的图像；

S3、用中值滤波算法校正暗电平信息行的缺陷像素；

步骤S3所述中值滤波根据需要可采用3点中值滤波、5点中值滤波或更多像素点的中值滤波；所述像素点为同行同像素通道的相邻像素点；

S4、计算滤波校正后暗电平信息行各像素通道的平均暗电平；

S5、调整输出数据偏移量；

步骤S5中所述调整输出数据偏移量，采用下述公式(1)：

式(1)中，Offset′是调整后的输出数据偏移量；Offset是输出数据偏移量；DC_Max是各像素通道平均暗电平中的最大平均暗电平；DC_Lim是暗电平上限；

设定：DC_Avg₀,DC_Avg₁,……,DC_Avg_n＝DC_Avg_i，i＝0,1……,n，DC_Avg_i是i通道的平均暗电平，i为CMOS图像传感器各像素通道中的任意一个；n是像素通道个数；

具体的解释为：当各像素通道的平均暗电平都小于暗电平上限时，输出数据偏移量为初始设定输出偏移量；

当各像素通道的平均暗电平至少有一个不小于暗电平上限时，在输出数据偏移量加上各像素通道平均暗电平中的最大平均暗电平，然后再减去暗电平上限；

S6、对输入图像数据进行暗电平校正；

S7、输出正常图像。

其中，步骤S6对输入图像数据进行暗电平校正具体为：后台系统根据各像素通道的暗电平信息行的平均暗电平皆与暗电平上限DC_Lim对比关系，对输入图像数据进行暗电平校正，主要分为以下两种情况：

S6-1、当各像素通道的暗电平信息行的平均暗电平皆未超过暗电平上限DC_Lim时，从输入图像数据中直接减去对应通道的平均暗电平，并加上输出数据偏移量，即可对输入图像数据进行暗电平校正，具体采用所述如下公式(2)：

式(2)中，Data_Out_i是i通道经过暗电平校正后的输出信号；Data_In_i是i通道的的输入信号；DC_Avg _i是i通道的平均暗电平，i＝0,1……,n；Offset_i′是i通道调整后的输出数据偏移量；Offset是输出数据偏移量；i为CMOS图像传感器各像素通道中的任意一个；

S6-2、当各像素通道的暗电平信息行的平均暗电平中至少有一个超过暗电平上限DC_Lim时，首先对数据输出偏移量进行调整，然后从输入图像数据中减去对应像素通道的平均暗电平，再加上调整后的输出数据偏移量，即可对输入图像数据进行暗电平校正，具体采用所述如下公式(3)：

式(3)中，Data_Out_i是i通道经过暗电平校正后的输出信号；Data_In_i是i通道的的输入信号；DC_Avg_i是i通道的平均暗电平；Offset_i′是i通道调整后的输出数据偏移量；Offset是输出数据偏移量；DC_Max是各像素通道平均暗电平中的最大平均暗电平；DC_Lim是暗电平上限；i为CMOS图像传感器各像素通道中的任意一个，i＝0,1……,n；n是像素通道个数为4，所述像素通道为B像素通道、Gb像素通道、Gr像素通道或R像素通道。

上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，因数据通路、颜色以及曝光增益控制等因素，像素通道的个数不限于4，还可以为2、4、8、16等。

参照图4，本发明一种用于CMOS图像传感器的暗电平校正算法的系统，该系统包括缺陷像素校正模块、校正信息计算模块和暗电平校正模块；

所述缺陷像素校正模块，用于校正输入图像暗电平信息行中的缺陷像素；

所述校正信息计算模块，用于计算各像素通道的暗电平校正信息；

所述暗电平校正模块，用于将所得各像素通道的暗电平校正信息分别加入所对应通道的正常图像像素数据中。

其中，所述校正信息计算模块包括平均暗电平计算模块和数据输出偏移量调整模块；

所述平均暗电平计算模块，用于计算各像素通道的平均暗电平；

所述数据输出偏移量调整模块，用于根据各像素通道的平均暗电平、暗电平上限和数据输出偏移量，对数据输出偏移量进行调整，获取调整后的数据输出偏移量。更具体的，当各像素通道的平均暗电平至少有一个不小于暗电平上限时，是将输出数据偏移量与各像素通道平均暗电平中的最大平均暗电平做和，然后再减去暗电平上限，得到的结果为调整后的数据输出偏移量；当各像素通道的平均暗电平都小于暗电平上限时，输出数据偏移量为初始设定输出偏移量。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

与现有方法相比，本发明不仅仅是对计算暗电平的平均电平进行简单限制或者根本不做处理，而是对其进行了调整，又因调整值对于当前图像为常数，为了保持计算一致性，将此调整平移到数据偏移量上，对数据偏移量进行调整，因此本发明可以更好地进行暗电平校正，误差小，可解决在暗电平超限时，普通暗电平限制算法在四个颜色通道的暗电平差异比较大的时候出现的颜色偏差问题以及暗电平不设限算法的亮度不饱和问题，从而得到较好的输出图像。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (9)

1.一种用于CMOS图像传感器的暗电平校正的算法，其特征在于，该算法包括：

S1、后台系统设定暗电平上限和输出数据偏移量；

S2、输入带有暗电平信息行的图像；

S3、用中值滤波算法校正暗电平信息行的缺陷像素；

S4、计算滤波校正后暗电平信息行各像素通道的平均暗电平；

S5、调整输出数据偏移量；

S6、对输入图像数据进行暗电平校正；

S7、输出正常图像；

步骤S5中所述调整输出数据偏移量，采用下述公式(1)：

$\left\{\begin{array}{c}{\mathrm{Offset}}^{\&prime;}=\left\{\begin{array}{cc}Offset;& DC\_Max<DC\_Lim\\ Offset+DC\_Max-DC\_Lim;& DC\_Max\&GreaterEqual;DC\_Lim\end{array}\right.\\ DC\_Max=MAX(DC\_{\mathrm{Avg}}_0,DC\_{\mathrm{Avg}}_1,\mathrm{......},DC\_{\mathrm{Avg}}_n)\end{array}\right.---\left(1\right)$

式(1)中，Offset′是调整后的输出数据偏移量；Offset是输出数据偏移量；DC_Max是各像素通道平均暗电平中的最大平均暗电平；DC_Lim是暗电平上限；

设定：DC_Avg₀,DC_Avg₁,……,DC_Avg_n＝DC_Avg_i，i＝0,1……,n，DC_Avg_i是i通道的平均暗电平，i为CMOS图像传感器各像素通道中的任意一个；n是像素通道个数。

2.根据权利要求1所述的算法，其特征在于，步骤S3中，所述中值滤波算法中的中值滤波为3点中值滤波、5点中值滤波或2m+1点中值滤波，所述m为大于2的正整数；

其中，所述点为像素点。

3.根据权利要求2所述的算法，其特征在于，所述像素点为同信息行同像素通道的相邻像素点。

4.根据权利要求1所述的算法，其特征在于，步骤S6中所述对输入图像数据进行暗电平校正，具体为：后台系统根据各像素通道的暗电平信息行的平均暗电平与暗电平上限对比关系，对输入图像数据进行暗电平校正，主要分为以下两种情况：

S6-1、当各像素通道的暗电平信息行的平均暗电平皆未超过暗电平上限时，从输入图像数据中直接减去对应通道的平均暗电平，并加上输出数据偏移量，即可对输入图像数据进行暗电平校正；

S6-2、当各像素通道的暗电平信息行的平均暗电平中至少有一个超过暗电平上限时，首先对数据输出偏移量进行调整，然后从输入图像数据中减去对应像素通道的平均暗电平，再加上调整后的输出数据偏移量，即可对输入图像数据进行暗电平校正。

5.根据权利要求4所述的算法，其特征在于，步骤S6-1中校正暗电平采用下述公式(2)：

$\left\{\begin{array}{c}Data\_{\mathrm{Out}}_i=Data\_{\mathrm{In}}_i-DC\_{\mathrm{Avg}}_i+{\mathrm{Offset}}_i^{\&prime;}\\ {\mathrm{Offset}}_i^{\&prime;}=Offset\end{array}\right.---\left(2\right)$

式(2)中，Data_Out_i是i通道经过暗电平校正后的输出信号；Data_In_i是i通道的输入信号；DC_Avg_i是i通道的平均暗电平，i＝0,1……,n；Offset_i′是i通道调整后的输出数据偏移量；Offset是输出数据偏移量；i为CMOS图像传感器各像素通道中的任意一个。

6.根据权利要求4所述的算法，其特征在于，步骤S6-2中对输入图像数据进行暗电平校正采用下述公式(3)：

$\left\{\begin{array}{c}Data\_{\mathrm{Out}}_i=Data\_{\mathrm{In}}_i-DC\_{\mathrm{Avg}}_i+{\mathrm{Offset}}_i^{\&prime;}\\ {\mathrm{Offset}}_i^{\&prime;}=Offset+DC\_Max-DC\_Lim\\ DC\_Max=MAX(DC\_{\mathrm{Avg}}_0,DC\_{\mathrm{Avg}}_1,\mathrm{......},DC\_{\mathrm{Avg}}_n)\end{array}\right.---\left(3\right)$

式(3)中，Data_Out_i是i通道经过暗电平校正后的输出信号；Data_In_i是i通道的输入信号；DC_Avg_i是i通道的平均暗电平；Offset_i′是i通道调整后的输出数据偏移量；Offset是输出数据偏移量；DC_Max是各像素通道平均暗电平中的最大平均暗电平；DC_Lim是暗电平上限；i为CMOS图像传感器各像素通道中的任意一个，i＝0,1……,n；n是像素通道个数。

7.根据权利要求6所述的算法，其特征在于，所述n是像素通道个数，为2、4、8或16。

8.一种实现如权利要求1所述用于CMOS图像传感器的暗电平校正算法的系统，其特征在于，该系统包括缺陷像素校正模块、校正信息计算模块和暗电平校正模块；

所述缺陷像素校正模块，用于校正输入图像暗电平信息行中的缺陷像素；

所述校正信息计算模块，用于计算各像素通道的暗电平校正信息；

所述暗电平校正模块，用于将所得各像素通道的暗电平校正信息分别加入所对应通道的正常图像像素数据中。

9.根据权利要求8所述的系统，其特征在于，所述校正信息计算模块包括平均暗电平计算模块和数据输出偏移量调整模块；

所述平均暗电平计算模块，用于计算各像素通道的平均暗电平；

所述数据输出偏移量调整模块，用于根据各像素通道的平均暗电平、暗电平上限和数据输出偏移量，对数据输出偏移量进行调整，获取调整后的数据输出偏移量。