CN110099230B - 图像处理方法和装置，及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法和装置，及存储介质，该图像处理方法应用于图像处理装置中，图像处理装置包括CIS，CIS包括设置有三种不同尺寸参数的至少三个PD柱的亚波长像素单元，该方法包括：获取入射光对应的原始数据；其中，原始数据包括亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据；根据RGB数据确定入射光对应的色彩数据；根据色彩数据获取入射光对应的彩色图像。

Description

图像处理方法和装置，及存储介质

技术领域

本申请实施例涉及图像处理领域，尤其涉及一种图像处理方法和装置，及存储介质。

背景技术

传统的互补金属氧化物图像传感器(CMOS Image Sensor，CIS)可以包括前感光式(Front Side Illumination，FSI)和背感光式(Back Side Illumination，BSI)两种不同结构，而无论是FSI还是BSI，都需要设置滤光片控制同一个像素吸收RGB中的一种颜色。因此，拍摄装置使用设置有滤光片的CIS来获取图像时，需要通过去马赛克demosaic将CIS输出的数据重建成一般可浏览的图像格式。具体地，去马赛克是一种数位影像处理算法，目的是从覆有滤色阵列(Color filter array，CFA)的感光元件所输出的不完全色彩取样中，重建出全彩影像。

然而，通过去马赛克对传统CIS输出的数据进行图像重建时，图像的细节之处容易产生严重的去马赛克噪声，降低了图像质量，且重建过程繁琐，图像处理效率低。

发明内容

本申请实施例提供了一种图像处理方法和装置，及存储介质，可以有效地简化图像的重建过程和方法，提升图像处理的效率，同时可以避免去马赛克造成的噪声问题，提高图像质量。

本申请实施例的技术方案是这样实现的：

本申请实施例提供了一种图像处理方法，所述图像处理方法应用于图像处理装置中，所述图像处理装置包括互补金属氧化物图像传感器CIS，所述CIS包括设置有三种不同尺寸参数的至少三个光电二极管PD柱的亚波长像素单元，所述方法包括：

获取入射光对应的原始数据；其中，所述原始数据包括所述亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据；

根据所述RGB数据确定所述入射光对应的色彩数据；

根据所述色彩数据获取所述入射光对应的彩色图像。

本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于图像处理装置中，所述程序被处理器执行时实现如上所述的图像处理方法。

本申请实施例提供了一种图像处理方法和装置，及存储介质，该图像处理方法应用于图像处理装置中，图像处理装置包括CIS，CIS包括设置有三种不同尺寸参数的至少三个PD柱的亚波长像素单元，该方法包括：获取入射光对应的原始数据；其中，原始数据包括亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据；根据RGB数据确定入射光对应的色彩数据；根据色彩数据获取入射光对应的彩色图像。由此可见，在本申请的实施例中，CIS的亚波长像素单元中设置的三种不同尺寸参数的至少三个PD柱，由于亚波长像素单元对应的像素尺寸为百纳米级别的，亚波长像素单元中的至少三个PD柱之间的距离远小于入射光的波长，在几何光学的范畴可以认为多个PD柱是重合的，因此可以直接通过亚波长像素单元对应的RGB数据确定出入射光对应的色彩数据，从而获得入射光对应的彩色图像，既可以有效地简化图像的重建过程和方法，提升图像处理的效率，同时还可以避免去马赛克造成的噪声问题，提高图像质量。

附图说明

图1为FSI式的CIS示意图；

图2为BSI式的CIS示意图；

图3为本申请实施例提出的一种图像处理方法一；

图4为本申请实施例提出的一种图像处理方法二；

图5为本申请实施例提出的一种图像处理装置的组成结构示意图一；

图6为本申请实施例提出的一种图像处理装置的组成结构示意图二；

图7为本申请实施例提出的一种CIS的结构示意图一；

图8为本申请实施例提出的一种CIS的结构示意图二；

图9为本申请实施例提出的一种CIS的结构示意图三；

图10为本申请实施例中亚波长像素单元的俯视图一；

图11为本申请实施例中亚波长像素单元的俯视图二；

图12为本申请实施例中亚波长像素单元的俯视图三；

图13为本申请实施例中亚波长像素单元的俯视图四。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。

对于传统的CIS，无论是FSI还是BSI，其中的光电二极管(photodiode，PD)均是对400nm-1100nm的光全部吸收，因此，需要在其上加上不同颜色的滤光片，从而使其单个像素只吸收RGB中的一种颜色。同时，每个像素之间需要深槽隔离(Deep Trench Isolation，DTI)进行隔离，从而防止不同颜色的入射光进入到相邻的像素中，进而避免相邻像素间的串扰。

图1为FSI式的CIS示意图，图2为BSI式的CIS示意图，如图1和图2所示，CIS中包括有半导体基底、PD、红色滤光片、绿色滤光片、蓝色滤光片、像素隔离件以及金属布线层。其中，在每个滤光片之前还设置有透镜。

Demosaic是一种数位影像处理算法，目的是从覆有CFA的感光元件所输出的不完全色彩取样中，重建出全彩影像。此法也称为滤色阵列内插法(CFA interpolation)或色彩重建法(Color reconstruction)。其中，单纯内插法属于均匀网格上的多变数内插法，算法对邻近方格的相同色彩元素进行相对直接的数学运算。最简单的方法是近邻内插法，直接复制同一色彩通道的邻接像素。若要顾及影像品质，这种方法就不合适了，但它是在有限运算资源下产生影像预览的有效方法。另外一种方式是双线性内插法，用两个或四个邻接红色像素的平均计算出非红色像素的红色数值，蓝色与绿色计算方式类似。各颜色平面独立内插是更复杂的方法，包括双三次内插法、样条内插法，以及兰克索司重取样法。

尽管以上图像处理方法在影像均匀的区域可以获得不错的结果，但使用纯色滤色阵列时，影像的边缘以及细节之处容易产生严重的去马赛克噪声，且由于需要进行demosaic处理，使得图像重建过程繁琐，图像处理效率低。

本申请提出的图像处理装置中的CIS，可以基于纳米PD柱结构，通过不同直径的PD柱结构实现对不同波长的选择吸收。进一步地，在本申请中，一个像素中可以排布三种不同直径的多个PD柱结构，在亚波长像素阵列中，每个亚波长像素单元中的PD结构间距远小于波长，在几何光学的范畴可以认为多个PD柱是重合的，因此无需对CIS获得的原始数据进行demosaic的处理，而CIS输出的色彩信息可以通过亚波长像素单元对应的R、G、B不同分量来决定。也就是说，在本申请中，基于亚波长像素单元设置的三种不同尺寸参数的至少三个PD柱，图像处理装置可以在CIS吸收入射光之后获得全部亚波长像素单元对应的RGB数据，然后可按照不同的权重值对包括三个通道数据的RGB数据进行线性叠加便可以直接获得入射光对应的色彩数据。

需要说明的是，本申请提出的图像处理装置中的CIS可以为FSI，也可以为BSI，本申请不作具体限定，以下实施例以BSI为例进行说明。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请一实施例提供了一种图像处理方法，图3为本申请实施例提出的一种图像处理方法一，图形处理方法应用于图像处理装置中，如图3所示，图像处理装置进行图像处理的方法可以包括以下步骤：

步骤101、获取入射光对应的原始数据；其中，原始数据包括亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据。

在本申请的实施例中，图像处理装置可以先获取入射光对应的原始数据。其中，原始数据包括亚波长像素单元对应的RGB数据，具体地，一个亚波长像素单元对应有一组RGB数据。

需要说明的是，在本申请的实施例中，一个亚波长像素单元对应的一组RGB数据可以包括与该一个亚波长像素单元中的至少三个PD柱对应的三个通道数据。其中，三个通道数据可以为红色通道数据、绿色通道数据以及蓝色通道数据。

需要说明的是，在本申请的实施例中，CIS可以由亚波长像素单元构成。其中，亚波长像素单元可以包括三种不同尺寸参数的至少三个PD柱，其中，三种不同尺寸参数的至少三个PD柱中，一个尺寸参数的PD柱的数量可以为至少一个，本申请不作具体限定。

进一步地，在本申请的实施中，三种不同尺寸参数的至少三个PD柱，可以通过光学共振，按照预设波长对入射光进行吸收，从而可以获得入射光对应的原始数据。

需要说明的是，在本申请的实施例中，预设波长可以包括红光对应的第一波长、绿光对应的第二波长以及蓝光对应的第三波长。其中，红光对应的第一波长可以为625nm至740nm；绿光对应的第二波长可以为492nm至577nm；蓝光对应的第三波长可以为440nm至475nm。

进一步地，在本申请的实施例中，至少三个PD柱，分别用于吸收入射光中的红光、绿光以及蓝光。

需要说明的是，在本申请的实施中，亚波长像素单元对应的像素尺寸小于第一波长、第二波长以及第三波长中的任意一个。例如，当第一波长、第二波长以及第三波长分别为625nm、492nm、440nm时，可以在小于或者等于400nm范围内确定亚波长像素单元对应的像素尺寸。也就是说，在本申请的实施例中，亚波长像素单元对应的像素尺寸为百纳米级别的。

进一步地，在本申请的实施例中，正是由于亚波长像素单元可以包括三种不同尺寸参数的至少三个PD柱，且至少三个PD柱可以分别吸收入射光中的红光、绿光以及蓝光，使得亚波长像素单元可以通过光学共振同时吸收入射光的RGB三个颜色的光，且由于亚波长像素单元对应的像素尺寸为百纳米级别的，亚波长像素单元中的至少三个PD柱之间的距离远小于入射光的波长，在几何光学的范畴可以认为多个PD柱是重合的，因此图像处理装置对于CIS输出的原始数据无需进行demosaic的过程，而是直接通过亚波长像素单元对应的RGB数据确定出入射光对应的色彩数据，从而获得入射光对应的彩色图像。与现有技术相比，既可以有效地简化图像的重建过程和方法，提升图像处理的效率，也可以避免去马赛克造成的噪声问题，提高图像质量。

进一步地，在本申请的实施例中，至少三个PD柱对应的三种不同尺寸参数可以分别由第一波长、第二波长以及第三波长确定。具体地，一个PD柱对应的直径可以由其对应吸收的光的波长进行确定。例如，如果PD柱用于吸收红光，那么可以通过第一波长确定PD柱的直径为120nm；如果PD柱用于吸收绿光，那么可以通过第二波长确定PD柱的直径为90nm；如果PD柱用于吸收蓝光，那么可以通过第三波长确定PD柱的直径为60nm。

进一步地，在本申请的实施例中，至少三个PD柱对应的形状可以包括长方体、圆柱体或者平行四边体中的一种，具体的形状可以根据实际情况进行选择，本申请实施例不做具体的限定。

步骤102、根据RGB数据确定入射光对应的色彩数据。

在本申请的实施例中，图像处理装置在获取入射光的、包括亚波长像素单元对应的RGB数据的原始数据之后，可以根据RGB数据进一步确定入射光对应的色彩数据。

需要说明的是，在本申请的实施例中，图像处理装置在获取一个亚波长像素单元对应的一组RGB数据之后，可以根据该一组RGB数据确定出该一个亚波长像素单元对应的一个色彩信息，进一步地，图像处理装置在获取到全部亚波长像素单元对应的全部色彩信息之后，便可以根据全部色彩信息确定出入射光对应的色彩数据。

进一步地，在本申请的实施中，图像处理装置可以根据一个亚波长像素单元对应的红色通道数据、绿色通道数据以及蓝色通道数据，计算获得该一个亚波长像素单元对应的色彩信息，从而便可以进一步根据全部亚波长像素单元对应的全部色彩信息确定出入射光对应的色彩数据。

由此可见，在本申请的实施例中，由于亚波长像素单元对应的像素尺寸为百纳米级别的，亚波长像素单元中的至少三个PD柱之间的距离远小于入射光的波长，在几何光学的范畴可以认为多个PD柱是重合的，因此，图像处理装置并不需要对CIS获取的原始数据进行demosaic处理，而是直接通过亚波长像素单元对应的RGB数据确定出入射光对应的色彩数据，从而获得入射光对应的彩色图像。与现有技术相比，既可以有效地简化图像的重建过程和方法，提升图像处理的效率，也可以避免去马赛克造成的噪声问题，提高图像质量。

步骤103、根据色彩数据获取入射光对应的彩色图像。

在本申请的实施例中，图像处理装置在根据RGB数据确定入射光对应的色彩数据之后，便可以根据色彩数据进一步获取入射光对应的彩色图像。

需要说明的是，在本申请的实施例中，图像处理装置在确定出入射光对应的色彩数据之后，可以进一步对色彩数据进行图像算法处理，从而可以获得入射光对应的彩色图像。

进一步地，在本申请的实施例中，图像算法是指对图像进行处理所用的算法，具体可以包括图像去噪、图像变换、图像分析、图像压缩、图像增强、图像模糊处理等。例如，图像处理装置在获得色彩数据之后，可以对色彩数据进行高动态范围图像(High-DynamicRange，HDR)处理，从而可以获得具有更多的动态范围和图像细节的彩色图像，相应地，获得的彩色图像为HDR图像；CIS在获得色彩数据之后，可以对色彩数据进行降噪处理，从而可以减少图像在数字化和传输过程中产生的噪声。

本申请实施例提供了一种图像处理方法，该图像处理方法应用于图像处理装置中，图像处理装置包括CIS，CIS包括设置有三种不同尺寸参数的至少三个PD柱的亚波长像素单元，该方法包括：获取入射光对应的原始数据；其中，原始数据包括亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据；根据RGB数据确定入射光对应的色彩数据；根据色彩数据获取入射光对应的彩色图像。由此可见，在本申请的实施例中，CIS的亚波长像素单元中设置的三种不同尺寸参数的至少三个PD柱，由于亚波长像素单元对应的像素尺寸为百纳米级别的，亚波长像素单元中的至少三个PD柱之间的距离远小于入射光的波长，在几何光学的范畴可以认为多个PD柱是重合的，因此可以直接通过亚波长像素单元对应的RGB数据确定出入射光对应的色彩数据，从而获得入射光对应的彩色图像，既可以有效地简化图像的重建过程和方法，提升图像处理的效率，同时还可以避免去马赛克造成的噪声问题，提高图像质量。

基于上述实施例，在本申请的另一实施例中，CIS中的一个亚波长像素单元对应的一组RGB数据可以具体包括与该一个亚波长像素单元对应的三个通道数据，即与该一个亚波长像素单元对应的红色通道数据、绿色通道数据以及蓝色通道数据，图4为本申请实施例提出的一种图像处理方法二，如图4所示，对于上述步骤102，CIS根据RGB数据确定入射光对应的色彩数据的方法可以包括以下步骤：

步骤102a、将任一个亚波长像素单元对应的三个通道数据输入到预设色彩计算模型中，输出获得任一个亚波长像素单元对应的色彩信息；其中，预设色彩计算模型用于按照预设权重值对三个通道数据进行线性叠加。

在本申请的实施例中，图像处理装置在获取入射光对应的原始数据之后，可以将任意一个亚波长像素单元对应的三个通道数据输入到预设色彩计算模型中，然后输出获得该亚波长像素单元对应的色彩信息。

需要说明的是，在本申请的实施例中，预设色彩计算模型可以用于按照预设权重值对三个通道数据进行线性叠加计算，具体地，图像处理装置在按照预设色彩计算模型进行色彩信息的计算时，可以对不同的通道数据进行不同权重值的分配，从而按照不同的权重对亚波长像素单元对应的原始数据进行计算，获得该亚波长像素单元对应的色彩信息。

进一步地，在本申请的实施例中，对于任一个亚波长像素单元，CIS在按照预设色彩计算模型获得该亚波长像素单元对应的色彩信息时，可以基于亚波长像素单元对应的一组RGB数据，按照公式(1)进行计算：

P＝a×R+b×G+c×B(1)

其中，P为一个亚波长像素单元对应的色彩信息，R为RGB数据中的红色通道数据，G为RGB数据中的绿色通道数据，B为RGB数据中的蓝色通道数据，a、b、c为三个通道对应的权重值，a、b、c的数值则需要通过颜色标定去校正。

步骤102b、根据全部亚波长像素单元对应的全部色彩信息，确定色彩数据。

在本申请的实施例中，图像处理装置在将任一个亚波长像素单元对应的三个通道数据输入到预设色彩计算模型中，输出获得任一个亚波长像素单元对应的色彩信息之后，可以根据CIS中的全部亚波长像素单元对应的全部色彩信息，进一步对入射光对应的色彩数据进行确定。

需要说明的是，在本申请的实施例中，图像处理装置可以按照预设色彩计算模型分别计算获得每一个亚波长像素单元对应的色彩信息，然后将全部亚波长像素单元对应的全部色彩信息进行整合，获得CIS接收到的入射光对应的色彩数据。

由此可见，在本申请的实施例中，由于亚波长像素单元对应的像素尺寸为百纳米级别的，亚波长像素单元中的至少三个PD柱之间的距离远小于入射光的波长，在几何光学的范畴可以认为多个PD柱是重合的，因此，图像处理装置并不需要对CIS获得的原始数据进行demosaic处理，而是直接通过亚波长像素单元对应的RGB数据确定出入射光对应的色彩数据，从而有效地简化图像的重建过程和方法，也可以避免去马赛克造成的噪声问题。

本申请实施例提供了一种图像处理方法，该图像处理方法应用于图像处理装置中，图像处理装置包括CIS，CIS包括设置有三种不同尺寸参数的至少三个PD柱的亚波长像素单元，该方法包括：获取入射光对应的原始数据；其中，原始数据包括亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据；根据RGB数据确定入射光对应的色彩数据；根据色彩数据获取入射光对应的彩色图像。由此可见，在本申请的实施例中，CIS的亚波长像素单元中设置的三种不同尺寸参数的至少三个PD柱，由于亚波长像素单元对应的像素尺寸为百纳米级别的，亚波长像素单元中的至少三个PD柱之间的距离远小于入射光的波长，在几何光学的范畴可以认为多个PD柱是重合的，因此可以直接通过亚波长像素单元对应的RGB数据确定出入射光对应的色彩数据，从而获得入射光对应的彩色图像，既可以有效地简化图像的重建过程和方法，提升图像处理的效率，同时还可以避免去马赛克造成的噪声问题，提高图像质量。

基于上述实施例，本申请的再一实施例提供了一种包括CIS的图像处理装置，图5为本申请实施例提出的一种图像处理装置的组成结构示意图一，如图5所示，在本发明的实施例中，图像处理装置1包括：获取单元11和确定单元12。

所述获取单元11，用于获取入射光对应的原始数据；其中，所述原始数据包括所述亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据。

所述确定单元12，用于根据所述RGB数据确定所述入射光对应的色彩数据。

所述获取单元11，还用于根据所述色彩数据获取所述入射光对应的彩色图像。

进一步地，在本申请的实施例中，所述获取单元11，具体用于所述亚波长像素单元中的所述至少三个PD柱通过光学共振，按照预设波长对所述入射光进行吸收，获得所述RGB数据。

进一步地，在本申请的实施例中，所述一个亚波长像素单元对应的一组RGB数据包括与所述一个亚波长像素单元对应的三个通道数据。

进一步地，在本申请的实施例中，所述确定单元12，具体用于将任一个亚波长像素单元对应的所述三个通道数据输入到预设色彩计算模型中，输出获得所述任一个亚波长像素单元对应的色彩信息；其中，所述预设色彩计算模型用于按照预设权重值对所述三个通道数据进行线性叠加；以及根据全部亚波长像素单元对应的全部色彩信息，确定所述色彩数据。

进一步地，在本申请的实施例中，所述获取单元11，具体用于对所述色彩数据进行高动态范围图像HDR处理，获得所述彩色图像。

进一步地，在本申请的实施例中，所述获取单元11，还具体用于对所述色彩数据进行降噪处理，获得所述彩色图像。

进一步地，在本申请的实施例中，预设波长包括红光对应的第一波长、绿光对应的第二波长以及蓝光对应的第三波长。

进一步地，在本申请的实施例中，所述至少三个PD柱对应的所述三种不同尺寸参数分别由所述第一波长、所述第二波长以及所述第三波长确定。

进一步地，在本申请的实施例中，所述至少三个PD柱分别用于吸收所述入射光中的红光、绿光以及蓝光。

进一步地，在本申请的实施例中，所述至少三个PD柱对应的形状包括长方体、圆柱体或者平行四边体中的一种。

进一步地，在本申请的实施例中，所述亚波长像素单元对应的像素尺寸小于所述第一波长、所述第二波长以及所述第三波长中的任意一个。

图6为本申请实施例提出的一种图像处理装置的组成结构示意图二，如图6所示，本申请实施例提出的图像处理装置1还可以包括处理器13、存储有处理器13可执行指令的存储器14以及CIS15，进一步地，图像处理装置1还可以包括通信接口16，和用于连接处理器13、存储器14以及通信接口16的总线17。

在本申请的实施例中，处理器13可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。显示器1还可以包括存储器14，该存储器14可以与处理器13连接，其中，存储器14用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器14可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。

在本申请的实施例中，总线17用于连接通信接口16、处理器13以及存储器14以及这些器件之间的相互通信。

在本申请的实施例中，存储器14，用于存储指令和数据。

进一步地，在本申请的实施例中，处理器13，用于获取入射光对应的原始数据；其中，所述原始数据包括所述亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据；根据所述RGB数据确定所述入射光对应的色彩数据；根据所述色彩数据获取所述入射光对应的彩色图像。

在实际应用中，存储器14可以是易失性存储器(volatile memor)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读第一存储y器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器13提供指令和数据。

另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

图7为本申请实施例提出的一种CIS的结构示意图一，如图7所示，在本申请的实施例中，对于BSI式的CIS，CIS15可以包括：半导体基底151、亚波长像素单元152以及读出电路153。

需要说明的是，在本申请的实施中，亚波长像素单元152设置于半导体基底11中。其中，亚波长像素单元152可以用于感测入射光。

进一步地，在本申请的实施中，亚波长像素单元152与读出电路153连接，从而可以将入射光转换获得的电信号由亚波长像素单元152传输至读出电路153。

需要说明的是，在本申请的实施例中，亚波长像素单元152可以包括三种不同尺寸参数的至少三个PD柱，分别为1521、1522以及1523。

进一步地，在本申请的实施中，三种不同尺寸参数的至少三个PD柱中，一个尺寸参数的PD柱的数量可以为至少一个。例如，一个亚波长像素单元152可以包括2个1521，1个1522以及1个1523；一个亚波长像素单元152也可以包括1个1521，1个1522以及1个1523；一个亚波长像素单元152还可以包括1个1521，1个1522以及2个1523，本申请不作具体限定。

进一步地，在本申请的实施中，三种不同尺寸参数的至少三个PD柱1521、1522以及1523，可以通过光学共振，按照预设波长对入射光进行吸收，获得RGB数据。

需要说明的是，在本申请的实施例中，预设波长包括红光对应的第一波长、绿光对应的第二波长以及蓝光对应的第三波长。其中，红光对应的第一波长可以为625nm至740nm；绿光对应的第二波长可以为492nm至577nm；蓝光对应的第三波长可以为440nm至475nm。

进一步地，在本申请的实施例中，至少三个PD柱1521、1522以及1523，分别用于吸收入射光中的红光、绿光以及蓝光。例如，PD柱1521用于对入射光中的红光进行吸收；PD柱1522用于对入射光中的绿光进行吸收；PD柱1523用于对入射光中的蓝光进行吸收。

需要说明的是，在本申请的实施例中，正是由于亚波长像素单元152可以包括三种不同尺寸参数的至少三个PD柱1521、1522以及1523，且至少三个PD柱1521、1522以及1523可以分别吸收入射光中的红光、绿光以及蓝光，使得亚波长像素单元152可以通过光学共振同时吸收入射光的RGB三个颜色的光，与现有技术相比，无需对CIS获得的原始数据进行demosaic的处理，而是按照不同的权重值对包括三个通道数据的RGB数据进行线性叠加，便可以直接获得入射光对应的色彩数据，以获得入射光对应的彩色图像。

进一步地，在本申请的实施例中，至少三个PD柱对应的三种不同尺寸参数可以分别由第一波长、第二波长以及第三波长确定。

需要说明的是，在本申请的实施例中，一个PD柱对应的直径可以由其对应吸收的光的波长进行确定。例如，PD柱1521用于对红光进行吸收，那么可以通过第一波长确定PD柱1521的直径为120nm；PD柱1522用于对绿光进行吸收，那么可以通过第二波长确定PD柱1522的直径为90nm；PD柱1523用于对蓝光进行吸收，那么可以通过第三波长确定PD柱1523的直径为60nm。

进一步地，在本申请的实施例中，至少三个PD柱对应的形状可以包括长方体、圆柱体或者平行四边体中的一种，具体的形状可以根据实际情况进行选择，本申请实施例不做具体的限定。

需要说明的是，在本申请的实施中，亚波长像素单元对应的像素尺寸小于第一波长、第二波长以及第三波长中的任意一个。例如，当第一波长、第二波长以及第三波长分别为625nm、492nm、440nm时，可以在小于或者等于400nm范围内确定亚波长像素单元对应的像素尺寸。

进一步地，在本申请的实施中，亚波长是指结构的特征尺寸与工作波长相当或更小的周期(或非周期)结构。亚波长结构的特征尺寸小于波长，它的反射率、透射率、偏振特性和光谱特性等都显示出与常规衍射光学元件截然不同的特征，因而具有更大的应用潜力。到目前为止，其主要用作抗反射表面、偏振器件、窄带滤波器和位相板等。一般的亚波长抗反射微结构是一种浮雕结构的亚波长光栅。通过调节光栅的材料，沟槽深度、占空比和周期等结构参数可以使光栅具备近乎零反射率。

在本申请的实施中，进一步地，基于上述图7，图8为本申请实施例提出的一种CIS的结构示意图二，如图8所示，CIS15还可以包括图像处理器154，其中，读出电路153与图像处理器154连接。

在本申请的实施中，进一步地，基于上述图7，图9为本申请实施例提出的一种CIS的结构示意图三，如图9所示，CIS15还可以包括透镜155，其中，透镜155与亚波长像素单元152连接。

需要说明的是，在本申请的实施中，透镜155用于对入射光进行聚焦。由于本申请中的CIS可以通过由三种不同尺寸参数的PD柱构成的亚波长像素单元实现对入射光的不同波长的选择吸收，进而可以增强局域的光学态密度，因此，CIS15中透镜155也可以省去，即透镜155并非本申请实施例中CIS15的必须部分，具体是否设置透镜可以根据实际情况进行选择，本申请实施例不做具体的限定。

需要说明的是，本申请提出的CIS15可以为FSI，也可以为BSI，本申请实施例以BSI为例进行说明，但并不做具体的限定。

进一步地，CIS10为一种可以实现亚波长像素单元12的结构。图10为本申请实施例中亚波长像素单元的俯视图一，图11为本申请实施例中亚波长像素单元的俯视图二，图12为本申请实施例中亚波长像素单元的俯视图三，如图10、11、12所示，亚波长像素单元152中可以包括三种不同尺寸参数的至少三个PD柱，分别为1521、1522以及1523。具体地，由于亚波长像素单元对应的像素尺寸小于或者等于400nm，因此PD柱1521、PD柱1522以及PD柱1523均为百纳米级别的PD，例如，PD柱1521的直径可以为120nm；PD柱1522的直径可以为90nm；PD柱1523的直径可以为60nm。

需要说明的是，在本申请的实施中，PD柱1521可以用于吸收红光，PD柱1522可以用于吸收绿光，PD柱1523可以用于吸收蓝光。也就是说，在本申请的实施中，三种不同尺寸参数的至少三个PD柱1521、1522以及1523，可以通过光学共振，分别吸收入射光中的红光、绿光以及蓝光，使得亚波长像素单元152可以同时吸收入射光的RGB三个颜色的光，即本申请实施例的亚波长像素单元152通过三种不同尺寸参数的至少三个PD柱1521、1522以及1523的设置，与现有技术相比，无需对CIS获得的原始数据进行demosaic的处理，而是按照不同的权重值对包括三个通道数据的RGB数据进行线性叠加，便可以直接获得入射光对应的色彩数据，以获得入射光对应的彩色图像。

图13为本申请实施例中亚波长像素单元的俯视图四，如图13所示，亚波长像素单元152中可以包括三种不同尺寸参数的三个PD柱，分别为1521、1522以及1523。具体地，由于亚波长像素单元对应的像素尺寸小于或者等于400nm，因此PD柱1521、PD柱1522以及PD柱1523均为百纳米级别的PD，例如，PD柱1521的直径可以为120nm；PD柱1522的直径可以为90nm；PD柱1523的直径可以为60nm。

需要说明的是，在本申请的实施中，PD柱1521可以用于吸收红光，PD柱1522可以用于吸收绿光，PD柱1523可以用于吸收蓝光。也就是说，在本申请的实施中，三种不同尺寸参数的三个PD柱1521、1522以及1523，可以通过光学共振，分别吸收入射光中的红光、绿光以及蓝光，使得亚波长像素单元152可以同时吸收入射光的RGB三个颜色的光，即本申请实施例的亚波长像素单元152通过三种不同尺寸参数的三个PD柱1521、1522以及1523的设置，与现有技术相比，无需对CIS获得的原始数据进行demosaic的处理，而是按照不同的权重值对包括三个通道数据的RGB数据进行线性叠加，便可以直接获得入射光对应的色彩数据，以获得入射光对应的彩色图像。

本申请提出了一种图像处理装置，该图像处理装置包括CIS，CIS包括设置有三种不同尺寸参数的至少三个PD柱的亚波长像素单元，该图像处理装置获取入射光对应的原始数据；其中，原始数据包括亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据；根据RGB数据确定入射光对应的色彩数据；根据色彩数据获取入射光对应的彩色图像。由此可见，在本申请的实施例中，CIS的亚波长像素单元中设置的三种不同尺寸参数的至少三个PD柱，由于亚波长像素单元对应的像素尺寸为百纳米级别的，亚波长像素单元中的至少三个PD柱之间的距离远小于入射光的波长，在几何光学的范畴可以认为多个PD柱是重合的，因此可以直接通过亚波长像素单元对应的RGB数据确定出入射光对应的色彩数据，从而获得入射光对应的彩色图像，既可以有效地简化图像的重建过程和方法，提升图像处理的效率，同时还可以避免去马赛克造成的噪声问题，提高图像质量。

基于上述实施例，在本申请的另一实施例中，本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的图像处理方法。

具体来讲，本实施例中的一种图像处理方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像处理方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：

获取入射光对应的原始数据；其中，所述原始数据包括所述亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据；

根据所述RGB数据确定所述入射光对应的色彩数据；

根据所述色彩数据获取所述入射光对应的彩色图像。

本领域内的技术人员应明白，本申请的实施例可提供为方法、显示器、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (17)

1.一种图像处理方法，其特征在于，所述图像处理方法应用于图像处理装置中，所述图像处理装置包括互补金属氧化物图像传感器CIS，所述CIS包括设置有三种不同尺寸参数的至少三个光电二极管PD柱的亚波长像素单元，所述方法包括：

获取入射光对应的原始数据；其中，所述原始数据包括所述亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据；

将任一个亚波长像素单元对应的三个通道数据输入到预设色彩计算模型中，输出获得所述任一个亚波长像素单元对应的色彩信息；其中，所述预设色彩计算模型用于按照预设权重值对所述三个通道数据进行线性叠加；

根据全部亚波长像素单元对应的全部色彩信息，确定色彩数据；

根据所述色彩数据获取所述入射光对应的彩色图像。

2.根据权利要求1所述的方法，其特征在于，所述获取入射光对应的原始数据，包括：

所述亚波长像素单元中的所述至少三个PD柱通过光学共振，按照预设波长对所述入射光进行吸收，获得所述RGB数据。

3.根据权利要求1所述的方法，其特征在于，所述一个亚波长像素单元对应的一组RGB数据包括与所述一个亚波长像素单元对应的三个通道数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述色彩数据获取所述入射光对应的彩色图像，包括：

对所述色彩数据进行高动态范围图像HDR处理，获得所述彩色图像。

5.根据权利要求1所述的方法，其特征在于，所述根据所述色彩数据获取所述入射光对应的彩色图像，包括：

对所述色彩数据进行降噪处理，获得所述彩色图像。

6.根据权利要求2所述的方法，其特征在于，所述预设波长包括红光对应的第一波长、绿光对应的第二波长以及蓝光对应的第三波长。

7.根据权利要求6所述的方法，其特征在于，

所述至少三个PD柱对应的所述三种不同尺寸参数分别由所述第一波长、所述第二波长以及所述第三波长确定。

8.根据权利要求2所述的方法，其特征在于，

所述至少三个PD柱分别用于吸收所述入射光中的红光、绿光以及蓝光。

9.根据权利要求1所述的方法，其特征在于，

所述至少三个PD柱对应的形状包括长方体、圆柱体或者平行四边体中的一种。

10.根据权利要求6所述的方法，其特征在于，所述亚波长像素单元对应的像素尺寸小于所述第一波长、所述第二波长以及所述第三波长中的任意一个。

11.一种图像处理装置，其特征在于，所述图像处理装置包括：获取单元和确定单元，

所述获取单元，用于获取入射光对应的原始数据；其中，所述原始数据包括亚波长像素单元对应的RGB数据；一个亚波长像素单元对应一组RGB数据；

所述确定单元，用于将任一个亚波长像素单元对应的三个通道数据输入到预设色彩计算模型中，输出获得所述任一个亚波长像素单元对应的色彩信息；其中，所述预设色彩计算模型用于按照预设权重值对所述三个通道数据进行线性叠加；以及根据全部亚波长像素单元对应的全部色彩信息，确定色彩数据；

所述获取单元，还用于根据所述色彩数据获取所述入射光对应的彩色图像。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述获取单元，具体用于所述亚波长像素单元中的至少三个PD柱通过光学共振，按照预设波长对所述入射光进行吸收，获得所述RGB数据。

13.根据权利要求11所述的图像处理装置，其特征在于，所述一个亚波长像素单元对应的一组RGB数据包括与所述一个亚波长像素单元对应的三个通道数据。

14.根据权利要求11所述的图像处理装置，其特征在于，

所述获取单元，具体用于对所述色彩数据进行高动态范围图像HDR处理，获得所述彩色图像；

所述获取单元，还具体用于对所述色彩数据进行降噪处理，获得所述彩色图像。

15.根据权利要求12所述的图像处理装置，其特征在于，

预设波长包括红光对应的第一波长、绿光对应的第二波长以及蓝光对应的第三波长；

所述至少三个PD柱对应的三种不同尺寸参数分别由所述第一波长、所述第二波长以及所述第三波长确定；

所述至少三个PD柱分别用于吸收所述入射光中的红光、绿光以及蓝光；

所述至少三个PD柱对应的形状包括长方体、圆柱体或者平行四边体中的一种；

所述亚波长像素单元对应的像素尺寸小于所述第一波长、所述第二波长以及所述第三波长中的任意一个。

16.一种图像处理装置，其特征在于，所述图像处理装置包括处理器、存储有所述处理器可执行指令的存储器、CIS，所述CIS包括设置有三种不同尺寸参数的至少三个光电二极管PD柱的亚波长像素单元，当所述指令被所述处理器执行时，实现如权利要求1-10任一项所述的方法。

17.一种计算机可读存储介质，其上存储有程序，应用于图像处理装置中，其特征在于，所述程序被处理器执行时实现如权利要求1-10任一项所述的方法。

Images