CN106067937A - 镜头模块阵列、图像感测装置与数字缩放图像融合方法 - Google Patents

Abstract

本发明提供一种镜头模块阵列、图像感测装置与数字缩放图像融合方法，所述镜头模块阵列用以安装于一可携式装置上。镜头模块阵列包括一广角单色镜头模块、一窄角单色镜头模块以及两个彩色镜头模块。广角单色镜头模块、窄角单色镜头模块与彩色镜头模块安装于可携式装置上时，广角单色镜头模块、窄角单色镜头模块与彩色镜头模块分别位于一四边形的四个顶点，且彩色镜头模块位于相对的两个顶点。本发明可以解决传统双镜头模块无法兼顾图像品质与尺寸轻薄的问题。

Description

镜头模块阵列、图像感测装置与数字缩放图像融合方法

技术领域

本发明涉及一种镜头模块阵列，尤其涉及一种具有四个镜头模块的镜头模块阵列、图像感测装置与数字缩放图像融合方法。

背景技术

随着科技的发展，各式各样的智能型电子装置，例如平板电脑以及智能型手机等，已成为现代人不可或缺的工具。其中，高阶款的智能型电子装置所搭载的相机镜头拍摄的图像品质，已经与传统消费型相机不相上下，甚至可以取而代之。少数高阶款智能型电子装置搭载的相机镜头更具有接近数字单反的像素和画质，甚至搭载双镜头并具有拍摄三维图像的功能。

以搭载双镜头的上述电子装置而言，常见的应用是利用双镜头的一广角镜头(wide-angle lens)拍摄广角图像，并且利用另一远摄镜头(telephoto lens)拍摄窄角图像，再依据放大倍率选择广角图像或是窄角图像为标的图像，进行单张标的图像的数字放大而模拟光学变焦功能。然而，图像经过数字放大后，往往无法保留图像的细节，而放大倍率越高，图像越模糊失真。在图像持续缩放的过程中，若标的图像须更替为广角图像或是窄角图像时，图像画面会产生不顺畅或是跳跃的现象。

发明内容

本发明提供一种镜头模块阵列、图像感测装置与数字缩放图像融合方法，用以解决传统双镜头模块无法兼顾图像品质与尺寸轻薄的问题。

本发明的镜头模块阵列用以安装于一可携式装置上。镜头模块阵列包括一广角单色(mono)镜头模块、一窄角单色镜头模块以及两个彩色镜头模块。广角单色镜头模块、窄角单色镜头模块与彩色镜头模块安装于可携式装置上时，广角单色镜头模块、窄角单色镜头模块与彩色镜头模块分别位于一四边形的四个顶点，且彩色镜头模块位于相对的两个顶点。

本发明的图像感测装置包括一图像处理模块、一广角单色镜头模块、一窄角单色镜头模块以及两个彩色镜头模块。广角单色镜头模块、窄角单色镜头模块与彩色镜头模块安装于可携式装置上时，广角单色镜头模块、窄角单色镜头模块与彩色镜头模块分别位于一四边形的四个顶点，且彩色镜头模块位于相对的两个顶点。图像处理模块用于将广角单色镜头模块、窄角单色镜头模块与彩色镜头模块所获取的图像进行数字缩放，并融合为一合成图像。

本发明的数字缩放图像融合方法包括下列步骤。以一广角单色镜头模块、一窄角单色镜头模块与两个彩色镜头模块分别获取图像。其中，广角单色镜头模块、窄角单色镜头模块与两个彩色镜头模块分别位于一四边形的四个顶点，且两个彩色镜头模块位于相对的两个顶点。接着，整合广角单色镜头模块、窄角单色镜头模块与两个彩色镜头模块所获取的图像为一合成图像。

在本发明的数字缩放图像融合方法的一实施例中，整合出合成图像的方法包括下列步骤。依据缩放比例，融合广角单色镜头模块与窄角单色镜头模块所获取的单色图像为一数字缩放单色图像。接着，将数字缩放单色图像与两个彩色镜头模块所获取的彩色图像融合为符合缩放比例的彩色的合成图像。

在本发明的数字缩放图像融合方法的一实施例中，将数字缩放单色图像与彩色镜头模块所获取的彩色图像融合的方法包括下列步骤。分别对数字缩放单色图像与彩色镜头模块所获取的彩色图像进行像素位置校准。接着，以数字缩放单色图像为基础，将彩色镜头模块所获取的彩色图像中的色彩信息填入数字缩放单色图像中对应位置的像素，以获得合成图像。

在本发明的一实施例中，上述的广角单色镜头模块的最大可摄角度介于70度至80度之间，窄角单色镜头模块的最大可摄角度介于35度至40度之间。

在本发明的一实施例中，上述的彩色镜头模块的最大可摄角度介于70度至80度之间。

在本发明的一实施例中，上述的四边形可为正方形、矩形、菱形、鸢形等。

在本发明的一实施例中，上述的广角单色镜头模块的像素量与彩色镜头模块的像素量相同。

在本发明的一实施例中，上述的图像处理模块包括一储存单元以及一处理单元，储存单元耦接处理单元。

在本发明的一实施例中，上述的处理单元包括一图像输入模块、一图像前处理模块、一特征点分析模块、一图像缩放变形模块、一图像融合模块以及一着色模块。

基于上述，本发明的镜头模块阵列、图像感测装置与数字缩放图像融合方法中采用广角单色镜头模块与窄角单色镜头模块，因此在相同面积的感测元件的条件下可以模拟较为窄角的光学变焦效果，并避免整体厚度的增加。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是本发明一实施例的镜头模块阵列安装于可携式装置上的示意图；

图2为本发明一实施例的数字缩放图像融合方法的流程图。

附图标记说明：

50：可携式装置；

51：图像处理模块；

52：储存单元；

54：处理单元；

541：图像输入模块；

542：图像前处理模块；

543：特征点分析模块；

544：图像缩放变形模块；

545：图像融合模块；

546：着色模块；

100：镜头模块阵列；

110：广角单色镜头模块；

120：窄角单色镜头模块；

130A、130B：彩色镜头模块；

S10：四边形；

S12：顶点；

S110-S150：步骤。

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的装置的范例。

图1是本发明一实施例的镜头模块阵列安装于可携式装置上的示意图，但此仅是为了方便说明，并不用以限制本发明。其中，镜头模块阵列是以表示四个镜头模块的实体位置的方式呈现，而其余部分则以功能方块示意。

请参照图1，本实施例的镜头模块阵列100安装于可携式装置50上。在本实施例中，可携式装置50例如是数字相机、单反相机、数字摄影机、网路摄影机或是其他具有图像获取功能的智能型手机、平板电脑、个人数字助理、头戴式显示器等电子装置，本发明不以此为限。

镜头模块阵列100包括一广角单色镜头模块110、一窄角单色镜头模块120以及两个彩色镜头模块130A与130B。广角单色镜头模块110、窄角单色镜头模块120与彩色镜头模块130A与130B安装于可携式装置50上后，广角单色镜头模块110、窄角单色镜头模块120与彩色镜头模块130A与130B分别位于一四边形S10的四个顶点S12处，且彩色镜头模块130A与130B位于相对的两个顶点S12。在此，广角单色镜头模块110的最大可摄角度大于窄角单色镜头模块120的最大可摄角度。另一方面来说，窄角单色镜头模块120也可称为远摄镜头模块。

广角单色镜头模块110的所有像素都是用于感应并记录进入该像素的光线的总亮度的强弱，窄角单色镜头模块120的所有像素也都是用于感应并记录进入该像素的光线的总亮度的强弱。在一实施例中，广角单色镜头模块110与窄角单色镜头模块120可以是黑白镜头模块，也就是不分波长范围地记录光线的强弱。反之，彩色镜头模块130A与130B的所有像素则包括了用于感应并记录多种波长范围的光线的强弱的像素，例如部分像素用于感应并记录红光的强弱，部分像素用于感应并记录绿光的强弱，部分像素则用于感应并记录蓝光的强弱。当然，彩色镜头模块130A与130B的像素所用于感应并记录的光线不局限于区分成红光、绿光与蓝光，也可以是其他组合，只要适合提供全彩的图像记录。

相较于现有技术的双镜头模块采用广角彩色镜头模块与于窄角彩色镜头模块，本实施例的广角单色镜头模块110与窄角单色镜头模块120的解析度更高，因为像素不需分组感应不同色光。另一方面，单色镜头模块较彩色镜头模块少了彩色滤光膜，因此进光量也较大，即使在低光源的环境下也能有效抑制噪声产生，提高信噪比而提供清晰的图像。也因为如此，在相同的感光元件的面积下，窄角单色镜头模块120可以较薄的尺寸提供与现有的窄角彩色镜头模块相同的解析度，藉以降低本实施例的镜头模块阵列100的整体厚度。

以下说明本实施例的镜头模块阵列100的其他选择性设计，但本发明不局限于此。在本实施例中，上述的广角单色镜头模块110的最大可摄角度介于70度至80度之间，窄角单色镜头模块120的最大可摄角度介于35度至40度之间。最大可摄角度是指镜头模块所能拍摄的图像在水平方向上最左侧的方位与最右侧的方位的夹角。在具有相同的像素时，广角单色镜头模块110所获取的图像的最大可摄角度较大而可以获取较宽广的图像，窄角单色镜头模块120所获取的图像的最大可摄角度较小而可以提供较多的图像细节。整合广角单色镜头模块110与窄角单色镜头模块120所获取的图像，就可提供数字变焦的功能以模拟光学变焦。稍后，将简述如何进行图像整合。另外，两个彩色镜头模块130A与130B的作用是提供彩色信息给整合后的图像。若要能提供最宽广的图像所需的彩色信息，则可选择让彩色镜头模块130A与130B的最大可摄角度与广角单色镜头模块110的最大可摄角度相同，例如介于70度至80度之间。再者，彩色镜头模块130A与130B的像素量与广角单色镜头模块110的像素量也可以相同。另外，为了使四个镜头模块的图像的整合较为容易，上述的四边形可以是正方形、矩形、菱形、鸢形等。

广角单色镜头模块110、窄角单色镜头模块120与彩色镜头模块130A与130B分别都可包括感光元件，用以感测光线强度而产生图像。所述的感光元件例如是电荷耦合元件(Charge Coupled Device，以下简称CCD)或互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，以下简称CMOS)元件，本发明不在此设限。广角单色镜头模块110、窄角单色镜头模块120与彩色镜头模块130A与130B用以获取拍摄物的图像，其中拍摄物可以为一特定物体或是一场景。

接着请继续参照图1，可携式装置50可以包括图像处理模块51。图像处理模块51用于将广角单色镜头模块110、窄角单色镜头模块120与彩色镜头模块130A与130B所获取的图像整合为一合成图像。本实施例的图像处理模块51包括储存单元52以及处理单元54。储存单元52例如是任意型式的固定式或可移动式随机存取存储器(Random Access Memory，以下简称RAM)、只读存储器(Read-Only Memory，以下简称ROM)、快闪存储器(FlashMemory)、硬盘或其他类似装置或这些装置的组合。储存单元52耦接于镜头模块阵列100，以储存广角单色镜头模块110、窄角单色镜头模块120与彩色镜头模块130A与130B所获取的图像。

处理单元54可以是中央处理单元(Central Processing Unit，以下简称CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，以下简称DSP)、可程序化控制器(Programmable Controller)、特定用途集成电路(ApplicationSpecific Integrated Circuits，以下简称ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合。

储存单元52耦接镜头模块阵列100以及处理单元54，其可利用广角单色镜头模块110与窄角单色镜头模块120所获取的图像取得拍摄物的完整深度信息。处理单元54例如包括图像输入模块541、图像前处理模块542、特征点分析模块543、图像缩放变形模块544、图像融合模块545以及着色模块546，其可载入储存单元52，从而执行数字变焦的功能。以下即列举实施例说明针对可携式装置50执行数字变焦方法的详细步骤。

图2为本发明一实施例的数字缩放图像融合方法的流程图，在此以应用图1的电子装置进行此数字缩放图像融合为例。请同时参照图1以及图2，首先，可携式装置50的储存单元52控制镜头模块阵列100的广角单色镜头模块110、窄角单色镜头模块120与彩色镜头模块130A与130B分别获取一场景的图像，以产生四个图像并输入至图像输入模块541，步骤S110。在本实施例中，广角单色镜头模块110所获取的单色主图像，其图像品质较低，但涵盖较大的视角范围。窄角单色镜头模块120所获取的单色副图像，其图像品质较高，但涵盖较小的视角范围，用以在后续步骤中做为数字变焦的辅助。

接着，整合广角单色镜头模块110、窄角单色镜头模块120与彩色镜头模块所获取130A与130B的图像为一合成图像。举例而言，图像前处理模块542针对单色主图像、单色副图像以及两个彩色图像进行图像校正处理，以产生单色主校正图像、单色副校正图像以及两个彩色校正图像。详言之，图像前处理模块542将会针对广角单色镜头模块110、窄角单色镜头模块120与彩色镜头模块130A与130B所分别造成四个图像的亮度、色彩与几何位置上的偏差进行校正。

在本实施例中，图像前处理模块542将自储存单元52取得关联于广角单色镜头模块110、窄角单色镜头模块120与彩色镜头模块130A与130B的多个校正参数。校正参数可以是镜头模块阵列100的内部参数(intrinsicparameters)与外部参数(extrinsic parameters)等用以进行图像校正(imagerectification)的参数。内部参数可用来描述镜头模块阵列100坐标(cameracoordinates)与图像坐标(image coordinates)之间的转换关系，也就是利用针孔(pinhole)成像原理将镜头模块阵列100坐标投影到成像平面(projectiveplane)。举例而言，内部参数包括焦距(focal length)、图像中心(image center)、主轴点(principal point)以及镜头扭曲变形系数(distortion coefficients)等参数。外部参数则是用来描述世界坐标系统(world coordinate system)与镜头模块阵列100的相机坐标系统(camera coordinate system)之间的转换关系。举例而言，可携式装置50在三维坐标中的位置与拍摄方向，包括旋转矩阵(rotation matrix)与位移向量(translation vector)等与可携式装置50摆放位置与拍摄方向相关的参数。此外，校正参数也可以是亮度补偿(illuminationcompensation)或是色彩修正(color correction)等相关参数，本发明不在此设限。图像前处理模块542将根据上述校正参数来校正单色主图像、单色副图像以及两个彩色图像进行图像校正。

接着，特征点分析模块543针对单色主校正图像以及单色副校正图像进行特征点检测，藉以检测出单色主校正图像以及单色副校正图像的重叠区域，进而取得该重叠区域的像素位移特性以及像素深度信息。详言之，特征点分析模块543可利用边缘检测(edge detection)、转角检测(corner detection)、区域检测(blob detection)或其它特征点检测演算法(feature-points detectionalgorithm)来检测单色主校正图像以及单色副校正图像的多个特征点。接着，特征点分析模块543将从所述特征点中找出相同特性特征点的对应组合，以及分别于单色主校正图像以及单色副校正图像中区分出重叠的区域。特征点分析模块543可针对广角单色镜头模块110与窄角单色镜头模块120的重叠区域的各个像素进行景深程度的计算，以得到重叠区域的深度信息，并且以例如是深度图(depth map)的形式记录。

接着，根据使用者所输入的指令而进行图像的缩放变形，也就是切换缩放倍率，步骤S120。当缩放倍率介于1与单色主副图像倍率之间时，图像缩放变形模块544根据缩放倍率、各所述像素位移特性以及各所述像素深度信息，分别针对单色主校正图像、单色副校正图像以及两张彩色校正图像进行图像缩放处理(image zooming)与图像形变处理(image warping)，据以产生单色主形变图像、单色副形变图像以及两张彩色形变图像。在此的“单色主副图像倍率”为单色主校正图像与单色副校正图像之间的大小倍率，其为固定且事先已知，而缩放倍率为使用者欲针对所要观看或输出的主要画面的大小变化幅度，其可以为使用者设定，也可以是可携式装置50的预设值。图像缩放变形模块544可利用两个重叠区域的相对位移、偏斜以及深度特性，并且依据缩放倍率，分别对单色主校正图像、单色副校正图像以及两张彩色校正图像进行图像缩放处理与图像形变处理，以产生符合使用者的缩放倍率需求并且重叠区域视角与外观雷同的图像。此外，图像形变的幅度关联于两个重叠区域的深度信息。

之后，图像融合模块545根据缩放倍率，针对单色主形变图像与单色副形变图像的重叠区域进行图像融合处理(image blending)，以产生单色数字变焦图像，步骤S130。详言之，图像融合模块545可根据缩放倍率，设定单色主形变图像以及单色副形变图像的重叠区域进行图像融合时所需的权重，在此分别定义为“第一权重集(First weight-set)”以及“第二权重集(Secondweight-set)”。接着，图像融合模块545将以第一权重集与第二权重集来加权两个重叠区域的像素灰阶的混合比例，针对两个重叠区域进行图像融合处理。在此将经过图像融合处理后所产生的结果定义为“融合重叠区域”。之后，图像融合模块545将以融合重叠区域取代原单色主形变图像中的重叠区域，从而产生高品质的数字变焦单色图像标的。

在另一实施例中，当缩放倍率小于1时，则仅以单色主校正图像以及两张彩色校正图像进行数字缩小处理以及后续的图像形变处理，以产生单色主形变图像以及两张彩色形变图像，并且直接设定此单色主形变图像为数字变焦单色图像标的。另一方面，当缩放倍率大于单色主副图像倍率时，则仅以单色副校正图像以及两张彩色校正图像进行数字放大处理以及后续的图像形变处理，以产生单色副形变图像以及两张彩色形变图像，并且直接设定此单色副形变图像为数字变焦单色图像标的。

接着，着色模块546先分别针对两个彩色形变图像与融合后的数字变焦单色图像标的，进行像素位置校准(Pixel Alignment)。然后，以数字变焦单色图像标的为基础，将各单色像素所欠缺的色彩信息，从两个彩色形变图像中找到对应位置的像素色彩，进行融合并填入该单色像素位置，以获得一合成图像，例如是数字变焦彩色图像，步骤S140。最后，输出数字变焦彩色图像，例如是以可携式装置50的屏幕(未示出)显示前述各步骤完成后最终所获得的数字变焦彩色图像，步骤S150。

综上所述，本发明采用广角单色镜头模块与窄角单色镜头模块所获取的图像作为数字变焦图像的基础，因此图像解析度与信噪比都可大幅地提高。同时，由于解析度的提高，在相同面积的感测元件的条件下，可以较薄的窄角单色镜头模块取得高倍的光学变焦效果。利用彩色镜头模块取得所需的色彩信息，可于着色模块中，使数字变焦图像彩色化。此外，本发明采用两个彩色镜头模块并位于单色主副镜头的两侧，在着色模块进行中，可解决或大幅改善传统双镜头模块常遭遇的遮避(Occlusion)问题。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (15)

1.一种镜头模块阵列，用以安装于可携式装置上，其特征在于，所述镜头模块阵列包括：

一广角单色镜头模块；

一窄角单色镜头模块；以及

两个彩色镜头模块，

其中，所述广角单色镜头模块、所述窄角单色镜头模块与该些彩色镜头模块安装于所述可携式装置上时，分别位于四边形的四个顶点，且该些彩色镜头模块位于相对的两个顶点。

2.根据权利要求1所述的镜头模块阵列，其特征在于，所述广角单色镜头模块的最大可摄角度介于70度至80度之间，所述窄角单色镜头模块的最大可摄角度介于35度至40度之间。

3.根据权利要求2所述的镜头模块阵列，其特征在于，该些彩色镜头模块的最大可摄角度介于70度至80度之间。

4.根据权利要求1所述的镜头模块阵列，其特征在于，所述四边形可为正方形、矩形、菱形或鸢形。

5.根据权利要求1所述的镜头模块阵列，其特征在于，所述广角单色镜头模块的像素量与该些彩色镜头模块的像素量相同。

6.一种图像感测装置，其特征在于，包括：

一图像处理模块；

一广角单色镜头模块；

一窄角单色镜头模块；以及

两个彩色镜头模块，

其中，所述广角单色镜头模块、所述窄角单色镜头模块与该些彩色镜头模块安装于可携式装置上时，分别位于四边形的四个顶点，且该些彩色镜头模块位于相对的两个顶点，所述图像处理模块用于将所述广角单色镜头模块、所述窄角单色镜头模块与该些彩色镜头模块所获取的图像整合为合成图像。

7.根据权利要求6所述的图像感测装置，其特征在于，所述广角单色镜头模块的最大可摄角度介于70度至80度之间，所述窄角单色镜头模块的最大可摄角度介于35度至40度之间。

8.根据权利要求7所述的图像感测装置，其特征在于，该些彩色镜头模块的最大可摄角度介于70度至80度之间。

9.根据权利要求6所述的图像感测装置，其特征在于，所述四边形可为正方形、矩形、菱形或鸢形。

10.根据权利要求6所述的图像感测装置，其特征在于，所述广角单色镜头模块的像素量与该些彩色镜头模块的像素量相同。

11.根据权利要求6所述的图像感测装置，其特征在于，所述图像处理模块包括储存单元以及处理单元，所述储存单元耦接所述处理单元。

12.根据权利要求11所述的图像感测装置，其特征在于，所述处理单元包括图像输入模块、图像前处理模块、特征点分析模块、图像缩放变形模块、图像融合模块以及着色模块。

13.一种数字缩放图像融合方法，其特征在于，包括：

以一广角单色镜头模块、一窄角单色镜头模块与两个彩色镜头模块分别获取图像，其中所述广角单色镜头模块、所述窄角单色镜头模块与该些彩色镜头模块分别位于四边形的四个顶点，且该些彩色镜头模块位于相对的两个顶点；以及

整合所述广角单色镜头模块、所述窄角单色镜头模块与该些彩色镜头模块所获取的图像为合成图像。

14.根据权利要求13所述的数字缩放图像融合方法，其特征在于，整合出所述合成图像的方法包括：

依据缩放比例，融合所述广角单色镜头模块与所述窄角单色镜头模块所获取的单色图像为数字缩放单色图像；以及

将所述数字缩放单色图像与该些彩色镜头模块所获取的彩色图像融合为符合所述缩放比例的彩色的所述合成图像。

15.根据权利要求14所述的数字缩放图像融合方法，其特征在于，将所述数字缩放单色图像与该些彩色镜头模块所获取的彩色图像融合的方法包括：

分别对所述数字缩放单色图像与该些彩色镜头模块所获取的彩色图像进行像素位置校准；

以及以所述数字缩放单色图像为基础，将该些彩色镜头模块所获取的彩色图像中的色彩信息填入所述数字缩放单色图像中对应位置的像素，以获得所述合成图像。