CN105578075A - 高动态范围图像的生成方法、拍照装置和终端 - Google Patents

Abstract

本发明公开了一种基于16M像素的图像传感器的高动态范围图像的生成方法，该方法包括以下步骤：提供图像传感器，其中，图像传感器包括像素阵列和滤光阵列，每个滤光单元覆盖像素阵列中多个像素单元并构成像素结构单元；分别对每个像素结构单元内的像素单元进行多级别的曝光控制。该高动态范围图像的生成方法，可以提升明暗过度效果，提高HDR图像的质量。本发明还公开一种拍照装置以及具有该拍照装置的终端。

Description

高动态范围图像的生成方法、拍照装置和终端

技术领域

本发明属于拍照设备技术领域，尤其涉及一种基于16M像素的图像传感器的高动态范围图像的生成方法，以及一种拍照装置和终端。

背景技术

随着智能终端技术的发展,智能终端例如手机的拍照功能的使用越来越频繁，为了提升拍摄效果，从前端到后端都有各种方法来实现所需要的效果，例如，对于HDR(High-DynamicRange，高动态范围)图像的效果，目前业界一般采用长短曝光两级来实现高动态范围图像，效果并不理想，特别是既有亮又有暗的场景,明亮的地方与暗的地方过渡效果不好。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明需要提出一种高动态范围图像的生成方法，该方法可以提升高动态范围图像的质量。

本发明另一方面还提出一种拍照装置和具有该拍照装置的终端。

为了解决上述问题，本发明一方面提出一种高动态范围图像的生成方法，所述生成方法包括以下步骤：提供图像传感器，其中，所述图像传感器包括像素阵列和设置在所述像素阵列上的滤光阵列，每个滤光片覆盖所述像素阵列中多个像素单元并构成像素结构单元；分别对每个像素结构单元内的像素单元进行多级别的曝光控制。

根据本发明的高动态范围图像的生成方法，图像传感器中的每个滤光单元覆盖多个像素单元合并为一个像素结构单元即单色像素，进而对单色像素内的像素单元进行多等级的曝光控制，与隔行长短曝光的方式相比，获得的高动态范围图像色彩更加明亮，清晰度更高，还原更加彻底和真实，可以提高高动态范围图像的质量。

进一步地，其中，所述每个滤光单元覆盖所述像素阵列中的2*2个像素单元，分别对每个像素结构单元内的像素单元进行多级别的曝光控制，具体包括：分别对每个像素结构单元内的像素单元进行四级别的曝光控制。

更进一步地，分别对每个像素结构单元内的像素单元进行四级别的曝光控制，具体包括：分别控制所述每个像素结构单元内的第一个像素单元以第一曝光时间进行曝光；分别控制所述每个像素结构单元内的第二像素单元以第二曝光时间进行曝光，所述第二曝光时间小于所述第一曝光时间；分别控制所述每个像素结构单元内的第三像素单元以第三曝光时间进行曝光，其中，所述第三曝光时间小于所述第二曝光时间；以及分别控制所述每个像素结构单元内的第四像素单元以第四曝光时间进行曝光，其中，所述第四曝光时间小于所述第三曝光时间。

所述生成方法还包括：读取所述像素阵列的输出，并将同一所述像素结构单元的所述像素单元的输出相加以得到所述像素结构单元的像素值；以及将所有的所述像素结构单元的像素值进行合成以获得单帧高动态范围图像。通过将覆盖同一滤光单元的多个像素单元的像素值合并输出，获得的图像更加清晰。

为了解决上述问题，本发明另一方面提出一种拍照装置，该拍照装置包括：图像传感器，所述图像传感器包括像素阵列和设置在所述像素阵列上的滤光阵列，每个滤光片覆盖所述像素阵列中多个像素单元并构成像素结构单元；图像处理器，所述图像处理器用于分别对每个像素结构单元内的像素单元进行多级别的曝光控制。

根据本发明的拍照装置，图像传感器中的每个滤光单元覆盖多个像素单元合并为一个像素结构单元即单色像素，进而图像处理器分别对单色像素内的像素单元进行多等级的曝光控制，与隔行长短曝光的方式相比，获得的高动态范围图像色彩更加明亮，清晰度更高，还原更加彻底和真实，提高高动态范围图像的质量。

具体地，其中，所述每个滤光单元覆盖所述像素阵列中的2*2个像素单元，所述图像处理器还用于，分别对每个像素结构单元内的像素单元进行四级别的曝光控制。

进一步地，所述图像处理器还用于，分别控制所述每个像素结构单元内的第一个像素单元以第一曝光时间进行曝光，控制所述每个像素结构单元内的第二像素单元以第二曝光时间进行曝光，分别控制所述每个像素结构单元内的第三像素单元以第三曝光时间进行曝光，分别控制所述每像素结构单元内的第四像素单元以第四曝光时间进行曝光，其中，所述第二曝光时间小于所述第一曝光时间，所述第三曝光时间小于所述第二曝光时间，所述第四曝光时间小于所述第三曝光时间。

所述图像处理器还用于，读取所述像素阵列的输出，并将同一所述像素结构单元的所述像素单元的输出相加以得到所述像素结构单元的像素值，以及将所有的所述像素结构单元的像素值进行合成以获得单帧高动态范围图像。通过将覆盖同一滤光单元的多个像素单元的像素值合并输出，获得的图像更加清晰。

所述图像传感器还包括：设置在所述滤光阵列上的微镜阵列，每个微镜与一个所述像素单元对应。微镜能将光聚集到像素单元的感光部分，提升像素单元的受光强度，从而改善成像画质。

本发明再一方面提出一种终端，该终端包括上面所述的拍照装置。该终端，可以拍照，获得的高动态范围图像的清晰度更高，色彩更明亮，明暗过多好，还原更彻底，更真实。

附图说明

图1是根据本发明的一个实施例的基于16M像素的图像传感器的高动态范围图像的生成方法的流程图；

图2是根据本发明的一个实施例的图像传感器的像素结构单元的像素单元合成示意图；

图3是根据本发明的一个实施例的基于16M像素的图像传感器的高动态范围图像的生成方法的流程图；

图4是根据本发明的一个实施例的拍照装置的框图；

图5是根据本发明的另一个实施例的拍照装置的框图；

图6是根据本发明的一个实施例的终端的框图；以及

图7是根据本发明的另一个实施例的终端的框图。

附图标记：

终端1000、拍照装置100，中央处理器200及显示装置300，

图像传感器10和图像处理器20，

像素阵列11和滤光阵列12，滤光单元121，像素单元112，像素结构单元111；微镜阵列13、微镜131。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

针对，目前对于HDR图像的获得基本基于两级曝光，也就是长短曝光，在某些动态范围比较高的场景，亮与暗的地方过渡不好，有时亮与暗的地方不够自然，的问题，本发明实施例提出的高动态范围图像的生成方法和拍照装置，基于在像素结构内部实现多级曝光，弥补上述亮与暗的地方过渡的问题，提升HDR的效果，提高图像质量。

下面参照附图描述根据本发明实施例提出的高动态范围图像的生成方法。

图1是根据本发明的一个实施例的高动态范围图像的生成方法的流程图，如图1所示，该生成方法包括以下步骤：

S1，提供图像传感器。

其中，图像传感器包括像素阵列和设置在像素阵列上的滤光阵列，滤光阵列包括多个不同颜色的滤光单元，每个滤光单元覆盖像素阵列中多个例如s*s(s≥2)个像素单元并构成像素结构单元。换句话说，一个单色像素即像素结构单元包括多个对应相同颜色滤光片的像素单元。

具体地，如图2所示，求和(∑)部分四个像素单元例如光电二极管对应相同颜色的滤光片，该四个像素单元看作一个单色像素，即每个滤光单元覆盖所述像素阵列中的2*2个像素单元。

可以理解的是，除了2*2结构外，还有3*3，4*4，甚至是任意n*m结构(n，m为自然数)，像素阵列上可排列的像素单元的数目是有限的，每个像素结构单元所包含的像素单元过多的话，图像的分辨率大小会受到限制，如，若像素阵列的像素值为16M，采用2*2的像素结构单元会得到分辨率为4M的合并图像，而采用4*4结构就只能得到分辨率为1M的合并图像。因此2*2的合并像素单元结构是一个较佳排列方式，在尽量少牺牲分辨率的前提下提升图像亮度及清晰度。

S2，分别对每个像素结构单元内的像素单元进行多级别的曝光控制。

具体地，分别对像素阵列中的像素单元进行单独曝光控制，在本发明的一个实施例中，对于每个滤光单元覆盖像素阵列中的2*2个像素单元，分别对每个像素结构单元内的像素单元进行四级别的曝光控制。例如，分别控制每个像素结构单元内的第一个像素单元以第一曝光时间进行曝光；分别控制每个像素结构单元内的第二像素单元以第二曝光时间进行曝光，第二曝光时间小于第一曝光时间；分别控制每个像素结构单元内的第三像素单元以第三曝光时间进行曝光，其中，第三曝光时间小于第二曝光时间；以及分别控制每个像素结构单元内的第四像素单元以第四曝光时间进行曝光，其中，第四曝光时间小于第三曝光时间。

例如，将曝光等级分为4个级别，分别为长曝光、中曝光、短曝光及超短曝光，如图2所示，将∑部分的像素结构单元内的以左上角的像素单元开始依次设计为长曝光、短曝光、下面两个像素为中曝光和超短曝光，从而实现了单个像素结构单元内的多级曝光。

当然，也可以，如图2所示，对∑部分的像素结构单元内的上面两个像素单元进行长曝光，下面两个像素单元进行短曝光，也就是说同一像素结构单元即一个单色像素进行了长短曝光即两级曝光。

进一步地，对于像素值的读出，在本发明的一个实施例中，如图3所示，上述方法还包括：

S3，读取像素阵列的输出，并将同一像素结构单元的像素单元的输出相加以得到像素结构单元的像素值。

具体地，采集第k行及第k+1行的像素单元的输出并存入寄存器，其中k＝2n-1，n为自然数，k+1小于等于像素阵列的总行数；从寄存器中提取第k行及第k+1行的感光像素的输出，将同一像素结构单元的像素单元的输出相加以得到像素结构单元的像素值。

也就是说，将每个像素结构单元内的经过不同等级曝光的像素单元的成像信息进行合并，例如将拍摄到的长曝光、中曝光、短曝光及超短曝光的成像信息合并到一个单一像素，获得像素结构单元的像素值，相当于将四个像素单元的成像信息作为一个像素值，从而可以提高图像的清晰度，色彩更明亮。

S4，将所有的像素结构单元的像素值进行合成以获得单帧高动态范围图像。

再将每个像素结构单元内合成的像素值合并到单帧HDR上,即获得了4M的HDR图像。

可以看出，本发明实施例的高动态范围图像的生成方法，图像传感器中的每个滤光单元覆盖多个像素单元并构成像素结构单元，例如，由16M像素通过四合一的设计合并成4M像素，对单色像素即单个像素结构单元的内部4个像素单元进行单独曝光控制，做不同等级的曝光，实现多级HDR效果，比隔行长短曝光获得更好的曝光，对高动态范围图像的还原更加真实。通过对像素单元进行单独曝光，在每个像素结构单元内进行多级曝光控制，获得的高动态范围图像的清晰度更高，色彩更明亮，图像中明亮的地方更亮，暗的地方更暗，明暗过多好，还原更彻底，更真实。

进一步地，由于采用四个相同颜色的像素单元并为一个像素结构单元即一个单色像素，在单个像素内进行多等级的曝光控制，如果碰到亮场景长曝光，做插值补偿时会有比较好的效果，也不会出现清晰度下降明显的问题。

概括地说，本发明实施例的高动态范围图像的生成方法，基于将16M像素合并成4M像素后，即分别相邻的4个像素合并成一个单色像素即像素结构单元，实现单色像素内部的多级曝光控制，从而获得高质量的HDR照片，提供一种清晰的多级HDR的实现方式，给用户带来更好的体验。

基于上述方面实施例的方法，下面参照附图描述根据本发明实施例提出的拍照装置。

图4是根据本发明的一个实施例的拍照装置的框图，如图4所示，该拍照装置100包括图像传感器10和图像处理器20。

在本发明的实施例中，图像传感器10包括像素阵列11和设置在像素阵列11上的滤光阵列12，其中，滤光阵列12包括多个不同颜色的滤光单元121，每个滤光单元121覆盖像素阵列中多个例如s*s(s≥2)个像素单元112。具体地，每个滤光单元121可以覆盖像素阵列11中的2*2个像素单元，例如，图4中标号为1、2、3和4的像素单元112构成一个像素结构单元111，且像素单元1、像素单元2、像素单元3和像素单元4对应滤光片F例如红色滤光片，可以认为，每个像素结构单元111包括四个相同颜色的像素单元112，即每个像素结构单元111可以看作一个单色像素，也就是将四个像素单元合并成一个单色像素，所以对于16M像素，合并输出为4M像素。

图像处理器20用于分别对每个像素结构单元111内的像素单元进行多级别的曝光控制。在本发明的一个实施例中，对于每个滤光单元121覆盖像素阵列11中的2*2个像素单元112。图像处理器20分别对每个像素结构单元111内的像素单元112进行四级别的曝光控制。具体地，图像处理器20分别控制每个像素结构单元111内的第一个像素单元以第一曝光时间进行曝光，控制每个像素结构单元111内的第二像素单元以第二曝光时间进行曝光，分别控制每个像素结构单元111内的第三像素单元以第三曝光时间进行曝光，分别控制每像素结构单元111内的第四像素单元以第四曝光时间进行曝光，其中，第二曝光时间小于第一曝光时间，第三曝光时间小于第二曝光时间，第四曝光时间小于第三曝光时间。

对于像素值的读出，具体地，图像处理器20读取像素阵列11的输出，并将同一像素结构单元111的像素单元112的输出相加以得到像素结构单元111的像素值，以及将所有的像素结构单元111的像素值进行合成以获得单帧高动态范围图像。

进一步地，由于采用四个相同颜色的像素单元112并为一个像素结构单元111即一个单色像素，即在单个像素内进行多等级的曝光控制，如果碰到亮场景长曝光，做插值补偿时会有比较好的效果，也不会出现清晰度下降明显的问题。

如图5所示，图像传感器10还包括设置在滤光阵列12上的微镜阵列13，每个微镜131与一个像素单元112对应。其中，每个微镜131与一个像素单元112对应，包括形成、大小、位置对应。微镜131能将光聚集到像素单元112的感光部分，提升像素单元112的受光强度，从而改善成像画质。在某些实施方式中，每个滤光片121对应2*2个像素单元112及2*2个微镜131以形成像素结构单元111。

可以看出，本发明实施例的拍照装置100，图像传感器10中的每个滤光单元121覆盖多个像素单元112，例如，16M像素的图像传感器10中的对应同一滤光单元的四个像素单元112合并为一个像素结构单元111即单色像素，图像处理器20分别对单色像素内的像素单元进行多等级的曝光控制，与隔行长短曝光的方式相比，获得的高动态范围图像色彩更加明亮，清晰度更高，还原更加彻底和真实，提高高动态范围图像的质量。另外，进行插值补偿时，也可以保证HDR图像的清晰度。

图6是根据本发明的一个实施例的终端的框图，该终端1000包括上述方面实施例的拍照装置100，具体地，终端1000可以包括手机。

如图7所示，终端1000还包括与拍照装置100连接的中央处理器200及显示装置300，中央处理器200用于控制显示装置300显示高动态范围图像。这样，终端1000拍摄的图像可以显示于显示装置300以供用户查看。显示装置300包括LED显示器等。

本发明实施例的终端1000，可以拍照，获得的高动态范围图像的清晰度更高，色彩更明亮，图像中明亮的地方更亮，暗的地方更暗，明暗过多好，还原更彻底，更真实。

需要说明的是，在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种高动态范围图像的生成方法，其特征在于，所述生成方法包括以下步骤：

提供图像传感器，其中，所述图像传感器包括像素阵列和设置在所述像素阵列上的滤光阵列，每个滤光单元覆盖所述像素阵列中多个像素单元并构成像素结构单元；以及

分别对每个像素结构单元内的像素单元进行多级别的曝光控制。

2.如权利要求1所述的生成方法，其特征在于，其中，所述每个滤光单元覆盖所述像素阵列中的2*2个像素单元，分别对每个像素结构单元内的像素单元进行多级别的曝光控制，具体包括：

分别对每个像素结构单元内的像素单元进行四级别的曝光控制。

3.如权利要求2所述的生成方法，其特征在于，分别对每个像素结构单元内的像素单元进行四级别的曝光控制，具体包括：

分别控制所述每个像素结构单元内的第一个像素单元以第一曝光时间进行曝光；

分别控制所述每个像素结构单元内的第二像素单元以第二曝光时间进行曝光，所述第二曝光时间小于所述第一曝光时间；

分别控制所述每个像素结构单元内的第三像素单元以第三曝光时间进行曝光，其中，所述第三曝光时间小于所述第二曝光时间；以及

分别控制所述每个像素结构单元内的第四像素单元以第四曝光时间进行曝光，其中，所述第四曝光时间小于所述第三曝光时间。

4.如权利要求1-3任一项所述的生成方法，其特征在于，所述生成方法还包括：

读取所述像素阵列的输出，并将同一所述像素结构单元的所述像素单元的输出相加以得到所述像素结构单元的像素值；以及

将所有的所述像素结构单元的像素值进行合成以获得单帧高动态范围图像。

5.一种拍照装置，其特征在于，包括：

图像传感器，所述图像传感器包括像素阵列和设置在所述像素阵列上的滤光阵列，每个滤光单元覆盖所述像素阵列中多个像素单元并构成像素结构单元；和

图像处理器，所述图像处理器用于分别对每个像素结构单元内的像素单元进行多级别的曝光控制。

6.如权利要求5所述的拍照装置，其特征在于，其中，所述每个滤光单元覆盖所述像素阵列中的2*2个像素单元，所述图像处理器还用于，分别对每个像素结构单元内的像素单元进行四级别的曝光控制。

7.如权利要求6所述的拍照装置，其特征在于，所述图像处理器还用于，分别控制所述每个像素结构单元内的第一个像素单元以第一曝光时间进行曝光，控制所述每个像素结构单元内的第二像素单元以第二曝光时间进行曝光，分别控制所述每个像素结构单元内的第三像素单元以第三曝光时间进行曝光，分别控制所述每像素结构单元内的第四像素单元以第四曝光时间进行曝光，其中，所述第二曝光时间小于所述第一曝光时间，所述第三曝光时间小于所述第二曝光时间，所述第四曝光时间小于所述第三曝光时间。

8.如权利要求5-7任一项所述的生成方法，其特征在于，所述图像处理器还用于，读取所述像素阵列的输出，并将同一所述像素结构单元的所述像素单元的输出相加以得到所述像素结构单元的像素值，以及将所有的所述像素结构单元的像素值进行合成以获得单帧高动态范围图像。

9.如权利要求5所述的拍照装置，其特征在于，所述图像传感器还包括：

设置在所述滤光阵列上的微镜阵列，每个微镜与一个所述像素单元对应。

10.一种终端，其特征在于，包括如权利要求5-9任一项所述的拍照装置。