CN117643047A - 相机模组及图像处理方法、装置、终端、电子设备、介质 - Google Patents
相机模组及图像处理方法、装置、终端、电子设备、介质 Download PDFInfo
- Publication number
- CN117643047A CN117643047A CN202280004460.4A CN202280004460A CN117643047A CN 117643047 A CN117643047 A CN 117643047A CN 202280004460 A CN202280004460 A CN 202280004460A CN 117643047 A CN117643047 A CN 117643047A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- lens
- pixels
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 238000003384 imaging method Methods 0.000 claims abstract description 130
- 238000012545 processing Methods 0.000 claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 19
- 238000004590 computer program Methods 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000005245 sintering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本公开提出一种相机模组及图像处理方法、装置、终端、电子设备、介质，该相机模组包括图像传感器和至少两个镜头，该方法包括：获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素，基于多个区域图像生成待输出的目标图像。当针对图像传感器的不同成像区域捕获的区域图像，进行图像处理生成待输出的目标图像时，能够有效地保留图像细节，保障图像处理质量，提升图像处理效果。
Description
本公开涉及电子设备技术领域，尤其涉及一种相机模组及图像处理方法、装置、终端、电子设备、介质。
随着摄像技术的发展，对电子设备拍摄图像的清晰度的需求越来越高。
相关技术中，在电子设备中配置相机模组，在该相机模组中的图像传感器上布局一个镜头，以进行成像，而后，采用图像信号处理器(Image Signal Processor，ISP)对该镜头的成像图像进行增强，以提升图像画质。随着图像传感器尺寸的变化发展，其像面也可能会相应增大，而为了补偿感光像素的损失，通常是增高镜头的高度，以适应图像传感器的尺寸变化。
这种方式下，所布局镜头的高度易于受到图像传感器尺寸的影响，图像传感器的镜头的布局方式不够灵活，不能够兼顾图像处理效果，不能够实现镜头布局方式和图像处理效果的有效平衡。
发明内容
本公开实施例提出一种相机模组及图像处理方法、装置、终端、电子设备、介质，可以应用于电子设备技术领域，当针对图像传感器的不同成像区域捕获的区域图像，进行图像处理生成待输出的目标图像时，能够有效地保留图像细节，保障图像生成质量，提升图像处理效果。
第一方面，本公开实施例提供一种相机模组，包括图像传感器和至少两个镜头；
每一镜头对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同；
其中，中心像素为成像区域的像素中，与成像区域所对应镜头的视场中心相对应的像素；
在本公开的一些实施例中，不同成像区域的中心像素的种类等于图像传感器中像素的种类。
在本公开的一些实施例中，对至少两个镜头中在任一第一方向上相邻的第一镜头和第二镜头，对应第一镜头成像区域的第一中心像素不同于对应第二镜头成像区域的第二中心像素，或者与第一中心像素相邻的相邻像素排布方式不同于与第二中心像素相邻的相邻像素排布方式。
在本公开的一些实施例中，对任意相邻且共用侧边的第一成像区域和第二成像区域，对应第一成像区域的第三镜头的视场中心与对应第二成像区域的第四镜头的视场中心之间的距离，小于或等于第三镜头半边长与第四镜头半边长的和；
其中，第三镜头半边长为第三镜头形成的正投影图形中最远点距离的一半，第四镜头半边长为第四镜头形成的正投影图形中最远点距离的一半。
第二方面，本公开实施例提供一种图像处理方法，包括：
获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素；
基于多个区域图像生成待输出的目标图像。
在本公开的一些实施例中，基于多个区域图像生成待输出的目标图像，包括：
对多个区域图像进行对齐处理，得到对齐图像；其中，对齐处理用于使得每一区域图像位置对应处的像素种类相同；
基于对齐图像得到目标图像。
在本公开的一些实施例中，对多个区域图像进行对齐处理，得到对齐图像，包括：
对多个区域图像进行裁剪，且对于在任一第二方向上相邻且共用侧边的第三区域图像和第四区域图像，第三区域图像的裁剪区域内的第一中心像素相对于第四区域图像的裁剪区域内的第二中心像素具有像素偏移；
对裁剪后得到的图像进行对齐处理，得到对齐图像；
其中，像素偏移为，在第三区域图像的裁剪区域内，与第二中心像素位置对应的像素位于从第一中心像素沿着第二方向移动到与第二中心像素同种类像素的位置。
在本公开的一些实施例中，对裁剪后得到的图像进行对齐处理，得到对齐图像，包括：
生成与裁剪后得到的图像对应的光流特征图；
对光流特征图进行上采样处理，以得到上采样图像；
对上采样图像进行对齐处理，以得到对齐图像。
在本公开的一些实施例中，每一区域图像的裁剪区域内，区域图像的中心像素位于区域图像的裁剪区域的中心位置，或者区域图像的中心像素相对于区域图像的非中心像素更接近区域中心位置；
其中，区域图像的非中心像素为区域图像中除了中心像素之外的像素。
在本公开的一些实施例中，基于对齐图像得到目标图像，包括：
从对齐图像中提取相同种类的多个像素，其中，像素在对齐图像中具有对应的像素位置；
根据像素位置组合多个像素，得到待融合图像；
融合多帧待融合图像，以得到目标图像。
在本公开的一些实施例中，根据像素位置组合多个像素，得到待融合图像，包括：
根据像素位置组合多个像素，以得到组合图像；
确定与组合图像对应的图像语义特征；
根据图像语义特征对组合图像进行上采样处理，以得到待融合图像。
第三方面，本公开实施例提供一种图像处理装置，包括：
获取模块，用于获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素；
生成模块，用于基于多个区域图像生成待输出的目标图像。
在本公开的一些实施例中，生成模块，包括：
第一处理子模块，用于对多个区域图像进行对齐处理，得到对齐图像；其中，对齐处理用于使得每一区域图像位置对应处的像素种类相同；
第二处理子模块，用于基于对齐图像得到目标图像。
在本公开的一些实施例中，第一处理子模块，具体用于：
对多个区域图像进行裁剪，且对于在任一第二方向上相邻且共用侧边的第三区域图像和第四区域图像，第三区域图像的裁剪区域内的第一中心像素相对于第四区域图像的裁剪区域内的第二中心像素具有像素偏移；
对裁剪后得到的图像进行对齐处理，得到对齐图像；
其中，像素偏移为，在第三区域图像的裁剪区域内，与第二中心像素位置对应的像素位于从第一中心像素沿着第二方向移动到与第二中心像素同种类像素的位置。
在本公开的一些实施例中，第一处理子模块，具体用于：
生成与裁剪后得到的图像对应的光流特征图；
对光流特征图进行上采样处理，以得到上采样图像；
对上采样图像进行对齐处理，以得到对齐图像。
在本公开的一些实施例中，每一区域图像的裁剪区域内，区域图像的中心像素位于区域图像的裁剪区域的中心位置，或者区域图像的中心像素相对于区域图像的非中心像素更接近区域中心位置；
其中，区域图像的非中心像素为区域图像中除了中心像素之外的像素。
在本公开的一些实施例中，第二处理子模块，具体用于：
从对齐图像中提取相同种类的多个像素，其中，像素在对齐图像中具有对应的像素位置；
根据像素位置组合多个像素，得到待融合图像；
融合多帧待融合图像，以得到目标图像。
在本公开的一些实施例中，第二处理子模块，具体用于：
根据像素位置组合多个像素，以得到组合图像；
确定与组合图像对应的图像语义特征；
根据图像语义特征对组合图像进行上采样处理，以得到待融合图像。
第四方面，本公开实施例提供一种终端，包括：第一方面实施例提出的相机模组。
第五方面，本公开实施例提供一种电子设备，包括：
相机模组；
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述第二方面实施例提出的图像处理方法。
第六方面，本公开实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第二方面实施例提出的图像处理方法。
第七方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开第二方面实施例提出的图像处理方法。
综上所述，在本公开实施例提供的相机模组及图像处理方法、装置、终端、电子设备、存储介质、计算机程序、计算机程序产品，可以实现以下技术效果：
通过获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素，基于多个区域图像处理待输出的目标图像，当针对图像传感器的不同成像区域捕获的区域图像，进行图像处理生成待输出的目标图像时，能够有效地保留图像细节，保障图像生成质量，提升图像处理效果。
为了更清楚地说明本公开实施例或背景技术中的技术方案，下面将对本公开实施例或背景技术中所需要使用的附图进行说明。
图1是本公开一实施例提出的相机模组的结构示意图；
图2是本公开实施例中镜头布局方式示意图；
图3是本公开中区域图像示意图；
图4是本公开一实施例提出的图像处理方法的流程示意图；
图5是本公开另一实施例提出的目标图像生成示意图；
图6是本公开另一实施例提出的图像处理方法的流程示意图；
图7是本公开另一实施例提出的图像处理方法的流程示意图；
图8是本公开另一实施例提出的像素偏移示意图；
图9是本公开另一实施例提出的图像处理方法的流程示意图；
图10是本公开实施例中图像对齐方式示意图；
图11是本公开实施例中图像融合方式示意图；
图12是本公开另一实施例提出的像素偏移处理结果对比图；
图13是本公开一实施例提出的图像处理装置的结构示意图；
图14是本公开另一实施例提出的图像处理装置的结构示意图；
图15是本公开一实施例提出的终端的结构示意图；
图16示出了适于用来实现本公开实施方式的示例性电子设备的框图。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开实施例的一些方面相一致的装置和方法的例子。
在本公开实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开实施例。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”及“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了便于理解，首先介绍本公开涉及的术语。
1、成像区域
成像区域，是图像传感器中用于识别镜头捕获的可见光并进行成像的区域。
2、中心像素
中心像素，是成像区域的像素中，与成像区域所对应镜头的视场中心相对应的像素。
图1是本公开一实施例提出的相机模组的结构示意图。
其中，该相机模组10包括图像传感器101和至少两个镜头102，每一镜头102对应图像传感器101的不同成像区域，不同成像区域的中心像素不完全相同。
也即是说，本公开实施例支持在一个图像传感器101中布置多个镜头102，镜头102的数目至少为两个，对此不做限制。
本公开实施例中，可以预先设置多个镜头102在图像传感器101中对应的排列方式，多个镜头102可以按照预定的镜头排列方式排列在图像传感器101中，从而使得每一镜头102对应图像传感器101的不同成像区域。
举例而言，该排列方式，可以是异形切割排列，其中，异形切割，是对镜头进行切割的一种方式，通过对镜头进行异形切割，能够有效缩短镜头阵列中部分镜头之间的间距，使得多个镜头102能够尽可能近的排布，当然，也可以根据图像传感器101的大小与形状，配置对应的排列方式，对此不做限制。
本公开实施例中，如图2所示，图2是本公开实施例中镜头布局方式示意图，其中，针对一个图像传感器101可布局若干个镜头102，图2中以针对图像传感器101布局四个镜头102进行示例，对此不做限制。
其中，成像区域是图像传感器101中用于识别镜头102捕获的环境光的信息并进行成像的区域，如图2所示的镜头布局中，镜头102所对应的图像传感器101的区域，可以作为成像区域，对此不做限制。
其中，环境光的信息可以具体例如为环境光的光强度和波长信息等，对此不做限制。
其中，中心像素为成像区域的像素中，与成像区域所对应镜头102的视场中心相对应的像素，如图2所示，可以将镜头102的中心位置(该中心位置可以作为镜头102的视场中心)所对应的成像区域的像素作为中心像素，当然，也可以根据实际拍摄需求灵活定义中心像素，对此不做限制。
其中，视场，是相机模组10中镜头102所能够感知环境光的视野范围(Field Of View，FOV)，而视场中心，是镜头102所能够感知到的视野范围的中心点，本公开实施例的中可以将单个镜头102所捕获区域图像的中心点作为该镜头对应的视场中心，而该视场中心在成像区域中具有与之对应的中心像素，对此不做限制。
其中，由镜头102基于相应成像像素捕捉的环境光的信息所形成的图像，可以被称为区域图像，如图3所示，图3是本公开中区域图像示意图。
其中，区域图像，可以具体例如通过电子设备的图像传感器，基于相应的成像区域采集得到的未做任何处理的RAW格式图像，对此不作限制。
其中，RAW格式图像，即图像传感器将基于相应的成像区域捕捉到的光源信号转化为数字信号的区域图像。RAW格式图像记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。
本公开实施例中，可以根据区域图像的中点位置确定镜头对应的视场中心，并根据该视场中心确定对应的图像传感器成像区域中的中心像素。
本公开实施例中，因镜头102的数目为多个，则不同镜头可以分别设置不同的中心像素，不同成像区域的中心像素不完全相同，对此不做限制。
其中，不同成像区域的中心像素不完全相同，不同成像区域的中心像素的种类可以为多种，也即是说，不同成像区域的中心像素具有与之对应的种类，该中心像素的种类可以为多种，对此不做限制。
在本公开的一些实施例中，不同成像区域的中心像素的种类等于图像传感器中像素的种类。
其中，像素的种类，可以具体例如为红绿蓝(Red Green Blue，RGB)颜色系统中对应的种类，也即可以将像素分为红色(Red，R)像素、绿色(Green，G)像素、蓝色(Blue，B)像素等，或者，也可以根据明亮度、色度与浓度将像素分类为明亮度(Luminance，Y)像素、色度(Chrominance，U)像素与浓度(Chroma，V)像素，对此不做限制。
本公开实施例中，图像传感器101中的像素可以按照一定的排列规则进行排列，例如在拜耳Bayer阵列中，如图3所示，以针对图像传感器101配置四个镜头102进行示例，图像传感器101中像素的排列为红绿绿蓝(Red Green Green Blue，RGGB)排列，在四个镜头102捕捉区域图像，并提供至图像传感器101时,不同镜头的视场中心分别对准成像区域中不同种类的像素上，例如，图3中镜头1的视场中心对准红色像素，镜头2的视场中心对准绿色像素，镜头3的视场中心对准与镜头2不同的绿色像素，镜头4的视场中心对准蓝色像素。由此，各个镜头对应的不同成像区域的中心像素的种类等于图像传感器中像素的种类，且不同成像区域的中心像素不完全相同，以保证图像传感器中每一种像素的种类均有与之对应的中心像素，从而有效提升该相机模组的成像效果。
在本公开的一些实施例中，对至少两个镜头101中在任一第一方向上相邻的第一镜头和第二镜头，对应第一镜头成像区域的第一中心像素不同于对应第二镜头成像区域的第二中心像素，或者与第一中心像素相邻的相邻像素排布方式不同于与第二中心像素相邻的相邻像素排布方式。
其中，第一方向，是横向、竖向、或者对角方向中的任一种，第一镜头和第二镜头为任一第一方向上相邻的两个镜头。
举例而言，如图2所示，若第一镜头为镜头1，第二镜头为镜头2，第一镜头和第二镜头为横向上相邻的两个镜头，若第一镜头为镜头1，第二镜头为镜头3，第一镜头和第二镜头为竖向上相邻的两个镜头，若第一镜头为镜头1，第二镜头为镜头4，第一镜头和第二镜头为对角方向上相邻的两个镜头。
其中，相邻像素排布方式，是以某一像素为中心，与该像素相邻的其他像素的排布方式，可以被称为相邻像素排布方式。
一些实施例中，第一镜头在图像传感器101中具有与之对应的第一镜头成像区域，该第一镜头成像区域具有第一中心像素，第二镜头在图像传感器101中具有与之对应的第二镜头成像区域，该第二镜头成像区域具有第二中心像素，第一中心像素与第二中心像素不同。
另一些实施例中，第一中心像素对应的相邻像素排布方式与第二中心像素对应的相邻像素排布方式不同，对此不做限制。
举例而言，如图3所示，在拜耳阵列中，像素的排列为红绿绿蓝(Red Green Green Blue，RGGB)排列，若第一镜头为镜头1，第二镜头为镜头2，第一中心像素为红色像素(镜头1中心像素)，第二中心像素为绿色像素(镜头2中心像素)，则第一中心像素与第二中心像素不同，若第一镜头为镜头2，第二镜头为镜头3，第一中心像素为其中一个绿色像素(镜头2中心像素)，第二中心像素为另一个绿色像素(镜头3中心像素)，则第一中心像素的相邻像素排布方式与第二中心像素的相邻像素排布方式不同。
在本公开的一些实施例中，对任意相邻且共用侧边的第一成像区域和第二成像区域，对应第一成像区域的第三镜头的视场中心与对应第二成像区域的第四镜头的视场中心之间的距离，小于或等于第三镜头半边长与第四镜头半边长的和。
其中，第三镜头半边长为第三镜头形成的正投影图形中最远点距离的一半，第四镜头半边长为第四镜头形成的正投影图形中最远点距离的一半，如图2所示，以镜头3作为第三镜头，镜头4作为第四镜头，则第三镜头与第四镜头所对应的成像区域相邻且共用侧边，则第三镜头半边长与第四镜头半边长如图2所示。
本公开实施例中，第三镜头的视场中心，为第三镜头的中心像素所对应的位置，第四镜头的视场中心，为第四镜头的中心像素所对应的位置，如图3所示，在第一成像区域与第二成像区域相邻且共用侧边时，将第一成像区域内第三镜头视场中心对应的像素与第二成像区域内第四镜头视场中心对应的像素分别用三角符号标注，则结合图2与图3，第一成像区域内第三镜头视场中心与第二成像区域内第四镜头视场中心之间的距离，小于或等于第三镜头半边长与第四镜头半边长的和，也即是说，本实施例中，通过设置第一成像区域内第三镜头视场中心与第二成像区域内第四镜头视场中心之间的距离小于或等于第三镜头半边长与第四镜头半边长的和，能够有效保证多个镜头102间的紧凑排列，从而能够利用尽可能多的图像传感器101的像面面积，减少由于镜头102间距导致的图像传感器101感光像素的损失，进而有效提升图像传感器的成像效果。
本实施例中提出的相机模组，通过每一镜头对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，不同成像区域的中心像素的种类等于图像传感器中像素的种类，对至少两个镜头中在任一第一方向上相邻的第一镜头和第二镜头，对应第一镜头成像区域的第一中心像素不同于对应第二镜头成像区域的第二中心像素，或者与第一中心像素相邻的相邻像素排布方式不同于与第二中心像素相邻的相邻像素排布方式，对任意相邻且共用侧边的第一成像区域和第二成像区域，对应第一成像区域的第三镜头的视场中心与对应第二成像区域的第四镜头的视场中心之间的距离，小于或等于第三镜头半边长与第四镜头半边长的和，从而能够使得多个镜头在图像传感器中实现合适的排列，同时兼顾图像输出效果与图像传感器利用率，从而能够有效地保留图像细节，保障图像生成质量。
图4是本公开一实施例提出的图像处理方法的流程示意图。
其中，需要说明的是，本实施例的图像处理方法的执行主体为图像处理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，该电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、成像设备的硬件设备，对此不做限制。
需要说明的是，本公开实施例中的获取图像处理相关的信号与数据，均是在经过相关用户授权后获取的，其获取过程均符合相关法律、法规的规定，且不违背公序良俗。
如图4所示，该图像处理方法，包括：
S401：获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素。
其中，图像传感器可获取成像区域中的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器ISP处理的区域图像。
本公开实施例中获取原始图像，其中，原始图像由各个镜头捕获的区域图像组成，一个镜头对应图像传感器的一块成像区域，成像区域中的成像像素捕捉相应镜头所透射的环境光的信息，以形成区域图像，可以将区域图像提供至图像信号处理器ISP，由图像信号处理器ISP触发执行后续步骤。
S402：基于多个区域图像生成待输出的目标图像。
本公开实施例中，可以将不同镜头所捕获的区域图像进行处理，以生成待输出的目标图像。
其中，对多个区域图像进行相应的处理(例如，使用相关算法、模型等，对此不做限制)得到的图像，可以被称为目标图像，由此，当参考不同成像区域的中心像素处理多个区域图像，能够使得目标图像携带了各个镜头捕获的区域图像的个性化摄像信息，使得目标图像具有更高的分辨率、画面质量，以及图像细节，从而实现镜头布局方式和图像生成效果的有效平衡。
本公开实施例中，可以设置深度学习的图像处理模型，以使用图像处理模型基于多个区域图像生成待输出的目标图像，或者，也可以使用自定义的图像处理算法，基于多个区域图像生成待输出的目标图像，对此不做限制。
以相机模组包括四个镜头为具体示例，如图5所示，图5是本公开另一实施例提出的目标图像生成示意图，四个镜头分别获取同一场景下的区域图像，并经过算法增强与超分算法处理，得到高品质的目标图像。
本实施例中，通过获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素，基于多个区域图像处理待输出的目标图像，当针对图像传感器的不同成像区域捕获的区域图像，进行图像处理生成待输出的目标图像时，能够有效地保留图像细节，保障图像生成质量，提升图像处理效果。
图6是本公开另一实施例提出的图像处理方法的流程示意图。
如图6所示，该图像处理方法，包括：
S601：获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素。
S601的描述说明可以具体参见上述实施例，在此不再赘述。
S602：对多个区域图像进行对齐处理，得到对齐图像；其中，对齐处理用于使得每一区域图像位置对应处的像素种类相同。
其中，对齐图像，是将同一场景下不同镜头拍摄得到的区域图像根据中心像素的位置进行对齐处理，得到的对齐后的图像。
举例而言，以针对图像传感器配置四个镜头进行示例，四个镜头分别拍摄得到的区域图像，其中心像素的位置不同，可以设置四个镜头中的一个镜头对应的中心像素的位置为参考，将其余三个镜头捕捉到的区域图像，联合相应镜头的中心像素的位置向作为参考的中心像素的位置进行对齐，以得到对齐图像，或者，也可以确定图像传感器中的像素的排列情况，基于像素的排列情况处理各个镜头所拍摄的区域图像，将该区域图像对齐处理为与该种像素的排列情况相一致图像，作为对齐图像，对此不做限制。
本公开实施例中，可以使用基于人工智能的图像处理方式处理区域图像，以对区域图像进行对齐处理，得到对齐图像，或者，也可以参考像素种类联合图像裁剪的方式裁剪区域图像，得到对齐图像，或者，还可以使用其他任意可能的实现方式，对区域图像进行对齐处理，以得到对齐图像，对此不做限制。
本公开实施例得到的对齐图像，每一对齐图像位置对应处的像素种类相同，与每一对齐图像位置对应处的像素周围相邻像素的排列方式也相同，以便于后续对齐图像的处理。
S603：基于对齐图像得到目标图像。
本公开实施例在对区域图像进行对齐处理，得到对齐图像之后，可以对多帧对齐图像进行融合处理，得到目标图像，或者，也可以使用图像信息提取技术，提取对其图像中的信息，以生成目标图像，或者，还可以使用图像渲染、图像增强等技术，处理对齐图像，得到目标图像，对此不做限制。
本公开实施例中，处理多帧对齐图像，可以使用相应的图像处理算法(例如超分算法)，将多帧对齐图像进行混叠融合，得到分辨率更高的目标图像，或者，也可以使用深度学习的图像处理网络，通过提取多帧对齐图像的特征，重建高质量的目标图像，或者，还可以是使用其他任意可能的实现方式处理多帧对齐图像，得到目标图像，对此不做限制。
本实施例中，由于是在针对图像传感器的不同成像区域捕获的区域图像，进行图像处理生成待输出的目标图像时，能够有效地保留图像细节，保障图像处理质量，提升图像处理效果，由于是对多个区域图像进行对齐处理，得到对齐图像，基于对齐图像得到目标图像，能够有效地提升区域图像的处理效率，达到更优的图像处理效果，有效提升目标图像的分辨率与画面质量。
图7是本公开另一实施例提出的图像处理方法的流程示意图。
如图7所示，该图像处理方法，包括：
S701：获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素。
S701的描述说明可以具体参见上述实施例，在此不再赘述。
S702：对多个区域图像进行裁剪，且对于在任一第二方向上相邻且共用侧边的第三区域图像和第四区域图像，第三区域图像的裁剪区域内的第一中心像素相对于第四区域图像的裁剪区域内的第二中心像素具有像素偏移。
其中，像素偏移为，在第三区域图像的裁剪区域内，与第二中心像素位置对应的像素位于从第一中心像素沿着第二方向移动到与第二中心像素同种类像素的位置。
本公开实施例中，可以设置像素偏移的距离为一个像素的长度，或者，还可以根据实际需求，设置其他任意长度的像素偏移的距离(例如半个像素的长度、两个像素的长度等)，对此不做限制。
其中，第二方向，为横向或者竖向的一种，也即第二方向可以为横向，或者，也可以为竖向，对此不做限制。
可选地，本公开实施例中，每一区域图像的裁剪区域内，区域图像的中心像素位于区域图像的裁剪区域的中心位置，或者区域图像的中心像素相对于区域图像的非中心像素更接近区域中心位置，其中，区域图像的非中心像素为区域图像中除了中心像素之外的像素，由于是设置中心像素的位置，能够准确地表征出与裁剪区域对应的中心像素，尽可能使得裁剪时中心像素位于裁剪区域的中心位置，有效地保障裁剪区域内中心像素的确定效率和效果，有效增强图像处理的效果。
也即是说，可以设置区域图像的中心像素位于该区域图像裁剪区域的中心位置，或者，也可以设置裁剪区域的区域图像的中心像素位于相对于区域图像的非中心像素更接近区域中心位置。
举例而言，以裁剪区域的大小为五个像素乘以五个像素，则可以将裁剪区域内第三行第三列所处位置的像素作为中心像素，对此不做限制。
本公开实施例中，如图8所示，图8是本公开另一实施例提出的像素偏移示意图，以区域图像的数量为4张为例，经由虚线圈中的区域为裁剪区域，第一中心像素为第一区域图像视场中心所对应的像素， 第二中心像素为第二区域图像视场中心所对应的像素，能够直观地看出，在第三区域图像的裁剪区域内与第二中心像素所对应位置的像素，位于从与第一中心像素所对应位置的像素沿着横向向左移动一个像素点的位置，也即像素偏移，同理，第三区域图像的裁剪区域内的第一中心像素相对于第四区域图像的裁剪区域内的第二中心像素也具有像素偏移，由此，确定中心像素，并根据中心像素确定像素偏移情况，以对多个区域图像进行准确裁剪，保证裁剪后得到的图像具有像素偏移效果。
S703：对裁剪后得到的图像进行对齐处理，得到对齐图像。
本公开实施例中，对裁剪后得到的图像，可以根据相同位置对应的像素进行对齐，得到对齐图像。
在本公开的一些实施例中，可以使用图像处理算法，执行区域图像的裁剪与裁剪后得到的图像的对齐处理，或者，也可以设置图像处理大数据模型，基于大数据模型技术对裁剪后得到的图像进行对齐处理，得到对齐图像，或者，还可以使用特征提取技术、图像识别技术等多种技术对裁剪后得到的图像进行对齐处理，得到对齐图像，对此不做限制。
本实施例中，由于是在针对图像传感器的不同成像区域捕获的区域图像，进行图像处理生成待输出的目标图像时，能够有效地保留图像细节，保障图像处理质量，提升图像处理效果，由于是对多个区域图像进行对齐处理，得到对齐图像，基于对齐图像得到目标图像，能够有效地提升区域图像的处理效率，达到更优的图像处理效果，有效提升目标图像的分辨率与画面质量，由于对多个区域图像进行裁剪，以使得多个裁剪后得到的图像具有像素偏移效果，且将裁剪后得到的图像进行对齐处理，得到对齐图像，能够保障所生成目标图像的色彩细节，使得目标图像在色彩维度能够具有更优的画面质量，有效提升目标图像的色彩表现效果，从而有效提升目标图像的分辨率与画面质量。
图9是本公开另一实施例提出的图像处理方法的流程示意图。
如图9所示，该图像处理方法，包括：
S901：获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素。
S902：对多个区域图像进行裁剪，且对于在任一第二方向上相邻且共用侧边的第三区域图像和第四区域图像，第三区域图像的裁剪区域内的第一中心像素相对于第四区域图像的裁剪区域内的第二中心像素具有像素偏移。
S901-S902的描述说明可以具体参见上述实施例，在此不再赘述。
S903：生成与裁剪后得到的图像对应的光流特征图。
本公开实施例中，可以对裁剪后得到的图像进行处理，以生成光流特征图。
其中，不同裁剪后得到的图像可以具有相同或者不相同的光流特征，可以基于裁剪后得到的图像对应的光流特征生成相应的光流特征图。
本公开实施例可以通过搭建光流网络，经过该光流网络对裁剪后得到的图像进行处理，得到与裁剪后得到的图像对应的光流特征图。
举例而言，可以使用深度学习的光流网络处理裁剪后得到的图像，以生成与裁剪后得到的图像对应的光流特征图，对此不做限制，本公开一些实施例中，可以对裁剪后得到的图像进行下采样处理，若裁剪后得到的图像的像素排列为红绿绿蓝(Red Green Green Blue，RGGB)排列，可以通过丢弃一个绿色(G)像素，使其变为下采样的红绿蓝(Red Green Blue，RGB)像素排列的图像，以便于光流特征图 的生成，当然，还可以使用其他任意可能的方式处理裁剪后得到的图像，生成光流特征图，对此不做限制。
S904：对光流特征图进行上采样处理，以得到上采样图像。
其中，对光流特征图进行上采样处理得到的图像，可以被称为上采样图像。
本公开实施例中，对于光流网络输出的光流特征图，可以使用双线性插值上采样方式生成上采样图像，或者，也可以使用最近邻值上采样、双三次插值上采样等方法处理光流特征图，生成上采样图像，对此不做限制。
S905：对上采样图像进行对齐处理，以得到对齐图像。
本公开实施例中，可以将上采样得到的多帧上采样图像进行对齐处理，以得到对齐图像。
举例而言，如图10所示，图10是本公开实施例中图像对齐方式示意图，选择一份区域图像作为参考区域图像，基于参考区域图像对其他区域图像进行裁剪，对裁剪后得到的图像进行下采样处理，并将处理得到的图像输入至光流网络中，生成光流特征图，光流特征图经过双线性插值上采样处理，生成上采样图像，将上采样图像进行对齐，以得到对齐图像。
S906：从对齐图像中提取相同种类的多个像素，其中，像素在对齐图像中具有对应的像素位置。
本公开实施例中，可以使用像素识别的方式，从对齐图像中提取相同种类的多个像素，并记录对应的像素位置，或者，也可以预先确定相同种类的多个像素对应的像素位置，根据像素位置从对齐图像中提取相同种类的多个像素，或者，还可以是使用其他任意可能的实现方式从对齐图像中提取相同种类的多个像素，对此不做限制。
举例而言，若像素排列为RGGB排列，可以提取一张对齐图像中红色种类的多个像素，并记录提取红色种类的像素对应的像素位置，同理也可以提取绿色种类的多个像素和蓝色种类的多个像素，对此不做限制。
S907：根据像素位置组合多个像素，得到待融合图像。
其中，经过组合多个像素所得到的图像，可以被称为待融合图像，待融合图像可以被用于融合为目标图像。
可选地，一些实施例中，可以根据像素位置组合多个像素，以得到组合图像，确定与组合图像对应的图像语义特征，根据图像语义特征对组合图像进行上采样处理，以得到待融合图像，由于是根据图像语义特征处理组合图像得到待融合图像，能够有效减少画面噪点对待融合图像的影响，进而提升待融合图像的图像质量，增强图像处理效果。
其中，组合图像所具有的图像语义维度的特征，可以被称为图像语义特征，图像语义特征可以是组合图像的纹理、色彩等特征，或者，也可以是组合图像对应的深度特征，对此不做限制。
本公开实施例中，可以使用对应的图像特征提取网络，确定深度特征作为组合图像对应的图像语义特征，或者，也可以是使用图像识别的方式对组合图像进行语义识别，以确定图像语义特征，或者，还可以是使用其他任意可能的实现方式确定与组合图像对应的图像语义特征，对此不做限制。
举例而言，若一张组合图像中展示物品A与物品B，则可以通过图像处理等方式提取用于表示物品A的轮廓特征与物品B的轮廓特征，该轮廓特征可以作为该组合图像的图像语义特征，或者，也可以通过深度学习网络(例如“U”型结构的语义分割算法网络等)提取组合图像对应的深度特征作为图像语义特征。
本公开实施例中，可以使用深度学习的融合网络提取组合图像对应的图像语义特征，并使用像素重组(pixel shuffle)技术联合图像语义特征分别对组合图像进行上采样处理，以确定待融合图像，或者，也可以使用图像融合处理模型，基于该模型对组合图像进行上采样处理，得到待融合图像，或者，还可以是使用其他任意可能的实现方式对组合图像进行上采样处理，得到待融合图像，对此不做限制。
可选地，另一些实施例中，也可以搭建特征提取系统，使用相应算法模型，提取组合图像对应的图像语义特征，当然，还可以使用其他任意可能的实现方式提取组合图像对应的图像语义特征，对此不做限制。
S908：融合多帧待融合图像，以得到目标图像。
本公开实施例中，对多帧待融合图像进行融合处理，可以使用图像处理方式直接融合多帧待融合图像，或者，也可以使用深度学习网络融合多帧待融合图像，或者，还可以采用其他任意可能的方式融合多帧待融合图像，以得到目标图像，对此不做限制。
本公开实施例中，对对齐图像的处理过程可以如图11所示，图11是本公开实施例中图像融合方式示意图，其中，对于对齐图像，可以按照相同种类的像素组成组合图像，而后，采用基于深度学习的融合网络，通过网络模型(例如语义分割算法网络、深度学习网络等)提取组合图像对应的图像语义特征，而后，使用像素重组(pixel shuffle)技术和上采样处理输出图像语义特征，并使用一个卷积层来重建高质量高分辨率的目标图像，若对齐图像为4张，则可以设置输入的对齐图像的维度为(2H，2W，4)，其中，“H”表示对齐图像的长，“W”表示对齐图像的宽，“4”表示对齐图像的张数，由此，经过处理得到的组合图像的图像维度为(H，W，16)，通过网络模型提取图像语义特征，生成的维度为(H，W，2s×2s×512)，其中，“s”为提取的图像语义特征的数量，对图像语义特征进行像素重组，得到的重组后的待融合图像的维度为(2sH，2sW，512)，而后使用一个卷积层对重组后的图像进行卷积处理，重建高质量高分辨率的目标图像。
举例而言，如图12所示，图12是本公开另一实施例提出的像素偏移处理结果对比图，由图12对比可以得出，使用像素偏移技术得到的目标图像质量与分辨率更高，图像处理效果更好。
本实施例中，由于是在针对图像传感器的不同成像区域捕获的区域图像，进行图像处理生成待输出的目标图像时，能够有效地保留图像细节，保障图像处理质量，提升图像处理效果，由于是对多个区域图像进行对齐处理，得到对齐图像，基于对齐图像得到目标图像，能够有效地提升区域图像的处理效率，达到更优的图像处理效果，有效提升目标图像的分辨率与画面质量，由于对多个区域图像进行裁剪，以使得多个裁剪后得到的图像具有像素偏移效果，且将裁剪后得到的图像进行对齐处理，得到对齐图像，能够保障所生成目标图像的色彩细节，使得目标图像在色彩维度能够具有更优的画面质量，有效提升目标图像的色彩表现效果，从而有效提升目标图像的分辨率与画面质量。由于是对裁剪后得到的图像进行光流特征提取和生成、以及上采样处理，而后进行图像对齐，能够在将裁剪后得到的图像进行对齐的过程中，有效地保留图像细节，避免在对齐处理的过程中对图像细节带入损失，并且能够在有效保留图像细节的同时，降低图像对齐处理所需的处理资源消耗，实现对齐处理效果和对齐处理效率的平衡。由于是根据图像语义特征处理组合图像得到待融合图像，能够有效减少画面噪点对待融合图像的影响，进而提升待融合图像的图像质量，增强图像处理效果。
图13是本公开一实施例提出的图像处理装置的结构示意图。
如图13所示，该图像处理装置130，包括：
获取模块1301，用于获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素；
生成模块1302，用于基于多个区域图像生成待输出的目标图像。
在本公开的一些实施例中，如图14所示，图14是本公开另一实施例提出的图像处理装置的结构示意图，生成模块1302，包括：
第一处理子模块13021，用于对多个区域图像进行对齐处理，得到对齐图像；其中，对齐处理用于使得每一区域图像位置对应处的像素种类相同；
第二处理子模块13022，用于基于对齐图像得到目标图像。
在本公开的一些实施例中，如图14所示，第一处理子模块13021，具体用于：
对多个区域图像进行裁剪，且对于在任一第二方向上相邻且共用侧边的第三区域图像和第四区域图像，第三区域图像的裁剪区域内的第一中心像素相对于第四区域图像的裁剪区域内的第二中心像素具有像素偏移；
对裁剪后得到的图像进行对齐处理，得到对齐图像；
其中，像素偏移为，在第三区域图像的裁剪区域内，与第二中心像素位置对应的像素位于从第一中心像素沿着第二方向移动到与第二中心像素同种类像素的位置。
在本公开的一些实施例中，如图14所示，第一处理子模块13021，具体用于：
生成与裁剪后得到的图像对应的光流特征图；
对光流特征图进行上采样处理，以得到上采样图像；
对上采样图像进行对齐处理，以得到对齐图像。
在本公开的一些实施例中，如图14所示，每一区域图像的裁剪区域内，区域图像的中心像素位于区域图像的裁剪区域的中心位置，或者区域图像的中心像素相对于区域图像的非中心像素更接近区域中心位置；
其中，区域图像的非中心像素为区域图像中除了中心像素之外的像素。
在本公开的一些实施例中，如图14所示，第二处理子模块13022，具体用于：
从对齐图像中提取相同种类的多个像素，其中，像素在对齐图像中具有对应的像素位置；
根据像素位置组合多个像素，得到待融合图像；
融合多帧待融合图像，以得到目标图像。
在本公开的一些实施例中，如图14所示，第二处理子模块13022，具体用于：
根据像素位置组合多个像素，以得到组合图像；
确定与组合图像对应的图像语义特征；
根据图像语义特征对组合图像进行上采样处理，以得到待融合图像。
与上述图4至图12实施例提供的图像处理方法相对应，本公开还提供一种图像处理装置，由于本公开实施例提供的图像处理装置与上述图4至图12实施例提供的图像处理方法相对应，因此在图像处理方法的实施方式也适用于本公开实施例提供的图像处理装置，在本公开实施例中不再详细描述。
本实施例中，通过获取原始图像，其中，原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场 中心对应的像素，基于多个区域图像生成待输出的目标图像，当针对图像传感器的不同成像区域捕获的区域图像，进行图像处理生成待输出的目标图像时，能够有效地保留图像细节，保障图像处理质量，提升图像处理效果。
图15是本公开一实施例提出的终端的结构示意图。
如图15所示，该终端150，包括相机模组10。
图16示出了适于用来实现本公开实施方式的示例性电子设备的框图。图16显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图16所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元17，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元17)的总线18。总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry Standard Architecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association；以下简称：VESA)局域总线以及外围组件互连(Peripheral Component Interconnection；以下简称：PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图16未显示，通常称为“硬盘驱动器”)。
尽管图16中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read Only Memory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read Only Memory；以下简称：DVD-ROM)或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备15(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Net work；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其他模块通信。 应当明白，尽管图中未示出，可以结合电子设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元17通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的图像处理方法。
为了实现上述实施例，本公开还提供了一种电子设备，包括：相机模组、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，相机模组与处理器电连接，处理器执行计算机程序时，实现本公开前述实施例的图像处理方法。
为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开前述实施例提出的图像处理方法。
为了实现上述实施例，本公开还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开前述实施例的图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序。在计算机上加载和执行所述计算机程序时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解：本公开中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本公开实施例的范围，也表示先后顺序。
本公开中的至少一个还可以描述为一个或多个，多个可以是两个、三个、四个或者更多个，本公开不做限制。在本公开实施例中，对于一种技术特征，通过“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”等区分该种技术特征中的技术特征，该“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”描述的技术特征间无先后顺序或者大小顺序。
本公开中各表所示的对应关系可以被配置，也可以是预定义的。各表中的信息的取值仅仅是举例，可以配置为其他值，本公开并不限定。在配置信息与各参数的对应关系时，并不一定要求必须配置各表中示意出的所有对应关系。例如，本公开中的表格中，某些行示出的对应关系也可以不配置。又例如，可以基于上述表格做适当的变形调整，例如，拆分，合并等等。上述各表中标题示出参数的名称也可以采用通信装置可理解的其他名称，其参数的取值或表示方式也可以通信装置可理解的其他取值或表示方式。上述各表在实现时，也可以采用其他的数据结构，例如可以采用数组、队列、容器、栈、线性表、指针、链表、树、图、结构体、类、堆、散列表或哈希表等。
本公开中的预定义可以理解为定义、预先定义、存储、预存储、预协商、预配置、固化、或预烧制。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。
Claims (15)
- 一种相机模组，其特征在于，包括图像传感器和至少两个镜头；每一镜头对应所述图像传感器的不同成像区域，不同成像区域的中心像素不完全相同；其中，中心像素为成像区域的像素中，与成像区域所对应镜头的视场中心相对应的像素。
- 根据权利要求1所述的相机模组，其特征在于，不同成像区域的中心像素的种类等于所述图像传感器中像素的种类。
- 根据权利要求1或2所述的相机模组，其特征在于，对所述至少两个镜头中在任一第一方向上相邻的第一镜头和第二镜头，对应所述第一镜头成像区域的第一中心像素不同于对应所述第二镜头成像区域的第二中心像素，或者与所述第一中心像素相邻的相邻像素排布方式不同于与所述第二中心像素相邻的相邻像素排布方式。
- 根据权利要求1-3任一项所述的相机模组，其特征在于，对任意相邻且共用侧边的第一成像区域和第二成像区域，对应所述第一成像区域的第三镜头的视场中心与对应所述第二成像区域的第四镜头的视场中心之间的距离，小于或等于所述第三镜头半边长与所述第四镜头半边长的和；其中，所述第三镜头半边长为第三镜头形成的正投影图形中最远点距离的一半，所述第四镜头半边长为第四镜头形成的正投影图形中最远点距离的一半。
- 一种图像处理方法，其特征在于，包括：获取原始图像，其中，所述原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素；基于多个区域图像生成待输出的目标图像。
- 如权利要求5所述的图像处理方法，其特征在于，所述基于多个区域图像生成待输出的目标图像，包括：对所述多个区域图像进行对齐处理，得到对齐图像；其中，所述对齐处理用于使得每一区域图像位置对应处的像素种类相同；基于所述对齐图像得到所述目标图像。
- 根据权利要求6所述的图像处理方法，其特征在于，所述对所述多个区域图像进行对齐处理，得到对齐图像，包括：对所述多个区域图像进行裁剪，且对于在任一第二方向上相邻且共用侧边的第三区域图像和第四区域图像，所述第三区域图像的裁剪区域内的第一中心像素相对于所述第四区域图像的裁剪区域内的第二 中心像素具有像素偏移；对裁剪后得到的图像进行对齐处理，得到所述对齐图像；其中，所述像素偏移为，在所述第三区域图像的裁剪区域内，与所述第二中心像素位置对应的像素位于从所述第一中心像素沿着所述第二方向移动到与所述第二中心像素同种类像素的位置。
- 根据权利要求7所述的图像处理方法，其特征在于，所述对裁剪后得到的图像进行对齐处理，得到所述对齐图像，包括：生成与所述裁剪后得到的图像对应的光流特征图；对所述光流特征图进行上采样处理，以得到上采样图像；对所述上采样图像进行对齐处理，以得到所述对齐图像。
- 根据权利要求7所述的图像处理方法，其特征在于，每一区域图像的裁剪区域内，区域图像的中心像素位于区域图像的裁剪区域的中心位置，或者区域图像的中心像素相对于区域图像的非中心像素更接近区域所述中心位置；其中，区域图像的非中心像素为区域图像中除了中心像素之外的像素。
- 根据权利要求6所述的图像处理方法，其特征在于，所述基于所述对齐图像得到所述目标图像，包括：从所述对齐图像中提取相同种类的多个像素，其中，所述像素在所述对齐图像中具有对应的像素位置；根据所述像素位置组合所述多个像素，得到待融合图像；融合多帧所述待融合图像，以得到所述目标图像。
- 根据权利要求10所述的图像处理方法，其特征在于，所述根据所述像素位置组合所述多个像素，得到待融合图像，包括：根据所述像素位置组合所述多个像素，以得到组合图像；确定与所述组合图像对应的图像语义特征；根据所述图像语义特征对所述组合图像进行上采样处理，以得到所述待融合图像。
- 一种图像处理装置，其特征在于，包括：获取模块，用于获取原始图像，其中，所述原始图像包括多个区域图像，每一区域图像对应图像传感器的不同成像区域，不同成像区域的中心像素不完全相同，中心像素为成像区域的像素中与镜头的视场中心对应的像素；生成模块，用于基于多个区域图像生成待输出的目标图像。
- 一种终端，其特征在于，包括权利要求1-4任一项所述的相机模组。
- 一种电子设备，其特征在于，包括：相机模组；至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求5-11中任一项所述的图像处理方法。
- 一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述计算机执行权利要求5-11中任一项所述的图像处理方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2022/097972 WO2023236162A1 (zh) | 2022-06-09 | 2022-06-09 | 相机模组及图像处理方法、装置、终端、电子设备、介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117643047A true CN117643047A (zh) | 2024-03-01 |
Family
ID=89117410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280004460.4A Pending CN117643047A (zh) | 2022-06-09 | 2022-06-09 | 相机模组及图像处理方法、装置、终端、电子设备、介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117643047A (zh) |
| WO (1) | WO2023236162A1 (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005176040A (ja) * | 2003-12-12 | 2005-06-30 | Canon Inc | 撮像装置 |
| CN102547080B (zh) * | 2010-12-31 | 2015-07-29 | 联想(北京)有限公司 | 摄像模组以及包含该摄像模组的信息处理设备 |
| JP5956782B2 (ja) * | 2011-05-26 | 2016-07-27 | キヤノン株式会社 | 撮像素子及び撮像装置 |
| JP6029459B2 (ja) * | 2012-12-26 | 2016-11-24 | 三菱電機株式会社 | 画像合成装置、および画像合成方法 |
| CN109963082B (zh) * | 2019-03-26 | 2021-01-08 | Oppo广东移动通信有限公司 | 图像拍摄方法、装置、电子设备、计算机可读存储介质 |
| CN112104796B (zh) * | 2019-06-18 | 2023-10-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN112532839B (zh) * | 2020-11-25 | 2022-05-27 | 深圳市锐尔觅移动通信有限公司 | 一种摄像头模组、成像方法、成像装置及移动设备 |
| CN113156656B (zh) * | 2021-03-31 | 2023-05-16 | 杭州光影写科技有限公司 | 一种变焦摄像机光轴校正方法 |
-
2022
- 2022-06-09 CN CN202280004460.4A patent/CN117643047A/zh active Pending
- 2022-06-09 WO PCT/CN2022/097972 patent/WO2023236162A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023236162A1 (zh) | 2023-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10645368B1 (en) | Method and apparatus for estimating depth of field information | |
| CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
| CN111898701B (zh) | 模型训练、帧图像生成、插帧方法、装置、设备及介质 | |
| TWI430184B (zh) | 結合全色像素之邊緣映射 | |
| US9373187B2 (en) | Method and apparatus for producing a cinemagraph | |
| TW200903347A (en) | Edge mapping using panchromatic pixels | |
| CN104641625B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
| JP5779089B2 (ja) | エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法 | |
| CN112991242A (zh) | 图像处理方法、图像处理装置、存储介质与终端设备 | |
| JP4556813B2 (ja) | 画像処理装置、及びプログラム | |
| WO2023226218A1 (zh) | 轴对称光学成像并行仿真方法及装置 | |
| CN111353965B (zh) | 图像修复方法、装置、终端及存储介质 | |
| WO2021008322A1 (zh) | 图像处理方法、装置及设备 | |
| CN118382876A (zh) | 使用运动数据生成更高分辨率图像 | |
| WO2007071882A2 (fr) | Procede pour fournir des donnees a un moyen de traitement numerique | |
| CN112150363B (zh) | 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质 | |
| CN117643047A (zh) | 相机模组及图像处理方法、装置、终端、电子设备、介质 | |
| US12094079B2 (en) | Reference-based super-resolution for image and video enhancement | |
| CN115035178A (zh) | 一种增强现实显示系统、方法及存储介质 | |
| CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| Madeira et al. | Neural Colour Correction for Indoor 3D Reconstruction Using RGB-D Data | |
| CN115222606A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| CN113379608A (zh) | 一种图像处理方法、存储介质及终端设备 | |
| Deng et al. | Attention-guided network with inverse tone-mapping guided up-sampling for HDR imaging of dynamic scenes | |
| CN112785533B (zh) | 图像融合方法、图像融合装置、电子设备与存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |