CN112991242A - 图像处理方法、图像处理装置、存储介质与终端设备 - Google Patents
图像处理方法、图像处理装置、存储介质与终端设备 Download PDFInfo
- Publication number
- CN112991242A CN112991242A CN201911286079.8A CN201911286079A CN112991242A CN 112991242 A CN112991242 A CN 112991242A CN 201911286079 A CN201911286079 A CN 201911286079A CN 112991242 A CN112991242 A CN 112991242A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- foreground
- region
- foreground region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本公开提供了一种图像处理方法、图像处理装置、存储介质与终端设备,涉及图像处理技术领域。所述方法应用于终端设备,所述终端设备至少包括像素数不同的第一摄像头和第二摄像头,所述第一摄像头的像素数高于所述第二摄像头;所述方法包括:获取由所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像;识别所述第一图像中的前景区域,并从所述第一图像中提取前景区域图像;根据所述前景区域图像及所述第二图像,获得目标图像。本公开可以融合终端设备上不同摄像头的优势,改善高清摄像头拍摄图像的质量。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、图像处理装置、计算机可读存储介质与终端设备。
背景技术
目前,提高图像传感器的像素是业界普遍的发展方向,例如手机上通常采用百万甚至千万级别像素的摄像头(简称为高清摄像头),可以支持拍摄出超高清的照片。然而,高清摄像头具有一定的局限性,例如:所拍摄出的图像数据量较大,占用存储空间较多;对于拍照时光照条件的要求较高,在非强光照情况下,容易受到串扰,导致所拍摄的图像中噪点较多。
因此,如何克服高清摄像头的上述局限性,拍摄出高质量的图像,是现有技术亟待解决的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质与终端设备,进而至少在一定程度上改善现有的高清摄像头所拍摄图像的质量。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种图像处理方法,应用于终端设备,所述终端设备至少包括像素数不同的第一摄像头和第二摄像头,所述第一摄像头的像素数高于所述第二摄像头;所述方法包括:获取由所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像;识别所述第一图像中的前景区域,并从所述第一图像中提取前景区域图像;根据所述前景区域图像及所述第二图像,获得目标图像。
根据本公开的第二方面,提供图像处理装置,配置于终端设备,所述终端设备至少包括像素数不同的第一摄像头和第二摄像头,所述第一摄像头的像素数高于所述第二摄像头;所述装置包括:图像获取模块,用于获取由所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像;前景区域识别模块,用于识别所述第一图像中的前景区域,并从所述第一图像中提取前景区域图像;目标图像获得模块,用于根据所述前景区域图像及所述第二图像,获得目标图像。
根据本公开的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像处理方法。
根据本公开的第四方面,提供一种终端设备,包括:处理器;存储器,用于存储所述处理器的可执行指令;第一摄像头;以及第二摄像头;其中,所述处理器配置为经由执行所述可执行指令来执行上述图像处理方法。
本公开的技术方案具有以下有益效果:
根据上述图像处理方法、图像处理装置、存储介质和终端设备,通过终端设备的第一摄像头和第二摄像头分别采集得到第一图像和第二图像,从第一图像中提取前景区域图像,根据该前景区域图像及第二图像获得最终的目标图像。一方面,第一摄像头为高清摄像头,其像素数高于第二摄像头,因此第一图像的清晰度较高,包含更多的细节信息,保留其中的前景部分,与第二图像进行融合,可以保证目标图像中前景部分具有高清晰度和丰富的细节,背景部分噪点较低,且目标图片整体的数据量低于第一图像,从而融合第一摄像头和第二摄像头各自的优势,改善高清摄像头拍摄图像的质量,提高用户体验。另一方面,对图像的处理属于软件算法过程,可以利用现有终端设备的摄像头配置实现,无需对硬件进行改动,从而节约成本,具有较高的实用性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施方式,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式中一种图像处理方法的流程图;
图2示出本示例性实施方式中图像处理的子流程图;
图3示出本示例性实施方式中图像处理的另一子流程图;
图4示出本示例性实施方式中滤色阵列的示意图;
图5示出本示例性实施方式中获取第一图像的示意图;
图6示出本示例性实施方式中图像处理的示意性流程图;
图7示出本示例性实施方式中一种图像处理装置的结构框图;
图8示出本示例性实施方式中一种用于实现上述方法的计算机可读存储介质;
图9示出本示例性实施方式中一种用于实现上述方法的终端设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本公开的示例性实施方式提供一种图像处理方法,可以应用于手机、平板电脑、数码相机等终端设备。该终端设备配置有至少两个像素数不同的摄像头,包括第一摄像头和第二摄像头。第一摄像头为高清摄像头,其像素数高于第二摄像头。
图1示出了该方法的一种流程,可以包括以下步骤S110至S130:
步骤S110,获取由第一摄像头采集的第一图像和第二摄像头采集的第二图像。
其中,第一图像和第二图像为针对同一场景或同一目标,同时采集的图像(也可能存在毫秒级的时间差,本公开对此不做限定),通常第一图像的像素数(或分辨率)高于第二图像。用户在拍照按下快门键时,第一摄像头和第二摄像头可以同时采集图像。通常第一图像和第二图像中的主要内容是相同的,但是第一摄像头和第二摄像头的取景范围可能不同,导致第一图像和第二图像的背景范围不同。例如第二摄像头为广角摄像头时,其取景范围较大,可以拍摄到目标周围较大面积的背景图像,相比而言第一图像的范围较小,通常对应于第二图像的中间区域。
步骤S120,识别第一图像中的前景区域,并从第一图像中提取前景区域图像。
通常图像包含前景和背景区域,前景区域一般是拍照时需要重点呈现的部分。在识别第一图像中的前景区域后,可以将其从第一图像中裁剪出来,得到前景区域图像。
关于如何识别第一图像中的前景区域,下面提供几个具体示例:
在一种实施方式中,参考图2所示,可以通过以下步骤S210和S220识别前景区域:
步骤S210,检测第一图像中是否包含人脸区域;
步骤S220,当检测到第一图像中包含人脸区域时,将人脸区域作为前景区域。
其中,人脸区域的检测可以通过颜色与形状检测实现,例如预先设定人脸部分的颜色范围和形状范围,检测第一图像中是否存在同时满足颜色范围和形状范围的局部区域。也可以采用深度学习技术,例如通过YOLO(You Look Only Once,一种实时目标检测的算法框架,包括v1、v2、v3等多个版本,本公开可以采用其中任一个版本)、SSD(Single ShotMultibox Detector,单步多框目标检测)、R-CNN(Region-Convolutional NeuralNetwork,区域卷积神经网络,或Fast R-CNN、Faster R-CNN等改进版本)等神经网络进行人脸区域的检测。当检测到人脸区域时,可以将人脸区域用矩形框进行标注,并提取出来作为前景区域,当然本公开对于前景区域的具体形状不做限定。
进一步的,还可以执行步骤S230,当检测到第一图像中不包含人脸区域时,根据第一图像的景深信息确定前景区域。其中,通过景深信息可以确定第一图像中各个区域和摄像头的距离范围,将其中重要的部分(或清晰度较高的部分)确定为前景区域,例如在焦点深度平面上的区域,或者在容许弥散圆范围内的区域等。需要说明的是,可以根据第一图像和第二图像之间的视差,结合第一摄像头、第二摄像头的固有参数以及拍照参数,计算第一图像的景深信息,所得到的结果更为精确。
基于图2的方式,在识别前景区域时,先检测人脸,将人脸区域作为前景区域,这是由于当图像中包含人脸时,人脸一般是需要重点呈现的部分,且人脸检测相比于一般的目标检测更易于实现;当第一图像中不包含人脸时,再根据景深信息确定前景区域,使检测到的前景区域更加完整、准确。
在另一种实施方式中,也可以根据用户操作识别前景区域。具体而言,在拍照预览时,用户通常需要点击画面中的特定位置(如人脸、目标物体等)以进行聚焦。可以记录用户的点击位置,在采集第一图像后,基于该位置进行识别,可以以该位置为中心,逐步放大检测框,直到在检测框内检测到完整的目标,如人脸或完整的物体等,将检测框内的区域作为前景区域。
步骤S130,根据前景区域图像及第二图像,获得目标图像。
前景区域图像从第一图像中提取出来的,其像素数较高,细节信息丰富。相比而言,第二图像虽然像素数较低,但数据量较小,且噪点更少。可以将两图像进行融合,综合两图像各自的优势,以输出质量较高的目标图像。
在一种可选的实施方式中,参考图3所示,步骤S130可以具体通过以下步骤S310至S330实现:
步骤S310,根据第一图像和第二图像的映射关系,确定前景区域在第二图像中的对应区域;
步骤S320,从第二图像中移除上述对应区域,得到背景区域图像;
步骤S330,拼接前景区域图像和背景区域图像,以输出目标图像。
其中,映射关系主要指像素位置的映射,例如第一图像中的像素点对应于第二图像中的哪个或哪些像素点。在一种可选的实施方式中,为了便于确定映射关系,可以设置第一摄像头的像素数为第二摄像头的整数倍,例如第一摄像头为6400万像素,第二摄像头为1600万像素,两者是4:1的比例关系,则第一图像中2*2的像素对应于第二图像中的一个像素。第一图像和第二图像的映射关系可以根据第一摄像头和第二摄像头的参数确定:如果第一摄像头和第二摄像头的广角度数相同(或者第一摄像头和第二摄像头均为非广角摄像头),一般二者的取景面积相同,则可以根据二者的像素数比例确定映射关系;如果第一摄像头和第二摄像头的广角度数不同(或者一个为广角摄像头,另一个为非广角摄像头),二者的取景面积不同,通常非广角摄像头的取景范围在广角摄像头的中间部分,假设第一摄像头为非广角摄像头,第二摄像头为广角摄像头,则可以确定第一图像对应于第二图像中间的哪个位置,并根据两摄像头的像素数,具体计算出像素级的映射关系。
基于上述映射关系,可以确定前景区域在第二图像中的对应区域,例如将第一图像中前景区域边界的每个像素对应到第二图像中,形成第二图像中的对应区域。从第二图像中移除对应区域后,剩余的部分为背景区域图像,例如背景区域图像可以是边框形状。然后将前景区域图像和背景区域图像进行拼接,以合成为一张图像,即最终输出的目标图像。
进一步的,在获取第一图像和第二图像时,可以对第一图像和第二图像进行配准,并确定第一图像和第二图像的映射关系。由于第一摄像头和第二摄像头存在位置差,导致第一图像和第二图像存在视角偏差,进行配准后,可以将第一图像和第二图像中的目标更好地对应起来,从而实现更加精准的映射,有利于后续的图像融合。
在一种可选的实施方式中,为了实现更好的拍照质量,可以将长焦摄像头设置为第一摄像头,将广角(或超广角)摄像头设置为第二摄像头。使用长焦摄像头拍摄第一图像,可以更加清晰地拍摄到前景区域的图像,采集较为丰富的细节信息,特别适合于拍摄人脸或远景。使用广角摄像头拍摄第二图像,可以拍摄到较大范围内的景象,使图像内容更加完整。这样在融合前景区域图像和第二图像时,可以综合长焦拍前景的优势以及广角拍大面积背景的优势,目标图像的质量较高。
在一种可选的实施方式中,终端设备可以包括三个甚至三个以上的摄像头。在进行拍照时,可以根据实际需求选择其中一个作为第一摄像头,选择另一个作为第二摄像头。例如:终端设备配备广角摄像头、长焦摄像头、微距摄像头;当拍摄远景时,可以将长焦摄像头设置为第一摄像头,将广角摄像头设置为第二摄像头;当拍摄近景时,可以将微距摄像头设置为第一摄像头,将广角摄像头设置为第二摄像头,等等。本公开对此不做限定。
对于目标图像的存储,本公开提供以下几种示例性方案:
方案一、在后台存储前景区域图像和第二图像,当用户查看图片时,将两图像融合为目标图像后显示。
方案二、在后台存储前景区域图像和背景区域图像,背景区域图像可以采用预测编码等方式进行编码,具有很小的数据量,当用户查看图片时,将两图像拼接为目标图像后显示。
方案三、直接对目标图像进行编码后存储,由于目标图像中存在两种像素参数,可以在每个像素的编码前增加一个标志位用于标志该像素是哪种像素参数,或者采用嵌套的方式,以目标图像中的第二图像或背景区域图像为主图像,将前景区域图像嵌套至其中进行编码。
需要说明的是,无论采用上述哪种方案,由于不需要存储整个第一图像,因而所占用的存储空间明显减少。
在一种可选的实施方式中,第一摄像头可以是基于四拜耳(Quad Bayer)滤色阵列的摄像头。参考图4所示,左图示出了标准拜耳滤色阵列,其滤光片的单元阵列排布为GRBG(或BGGR、GBRG、RGGB),大部分摄像头(或图像传感器)采用标准拜耳滤色阵列;图4中右图示出了四拜耳滤色阵列,其滤光片的单元阵列中相邻四个单元为相同颜色,目前一部分高像素的摄像头(或图像传感器)采用四拜耳滤色阵列。基于此,获取由第一摄像头采集的第一图像,可以具体包括:
通过第一摄像头采集基于四拜耳滤色阵列的原始拜耳图像;
对原始拜耳图像进行解马赛克处理和去马赛克处理,得到第一图像。
其中,拜耳图像是指RAW格式的图像,是图像传感器将采集到的光信号转化为数字信号后的图像数据,在拜耳图像中,每个像素点只有RGB中的一种颜色。本示例性实施方式中,利用第一摄像头采集图像后,得到的原始图像数据即上述原始拜耳图像,该图像中像素的颜色排列如图4中右图所示,相邻四个像素为相同颜色。
解马赛克处理(Remosaic)是指将基于四拜耳滤色阵列的原始拜耳图像融合为基于标准拜耳滤色阵列的拜耳图像;去马赛克处理(Demosaic)是指将拜耳图像融合为完整的RGB图像。结合图5所示,可以对原始拜耳图像E进行解马赛克处理,得到基于标准拜耳滤色阵列的拜耳图像F;再对基于标准拜耳滤色阵列的拜耳图像F进行去马赛克处理,得到RGB格式的第一图像K。解马赛克和去马赛克可以通过不同的插值算法实现,也可以通过神经网络等其他相关算法实现,本公开对此不做限定。终端设备中通常配置和摄像头配套的ISP(Image Signal Processing,图像信号处理)单元,以执行上述解马赛克和去马赛克处理过程。第一图像K的每个像素都具有RGB三个通道的像素值,以C表示。此外,也可以将解马赛克和去马赛克的处理过程合并为一次插值过程,即基于原始拜耳图像中的像素数据,直接对每个像素点进行插值,以得到缺失的颜色通道的像素值,例如可以采用线性插值、均值插值等算法实现,从而获得第一图像。
图6示出图像处理的一种示意性流程。以手机为例,当用户开启拍照功能时,启动6400万像素的长焦摄像头作为第一摄像头,启动1600万像素的超广角摄像头作为第二摄像头,两摄像头同时采集图像,以执行步骤S601和步骤S602:
步骤S601,由第一摄像头采集得到第一图像;
步骤S602,由第二摄像头采集得到第二图像;
然后对第一图像进行以下处理:
步骤S603,检测第一图像中是否包含人脸区域,若是,执行步骤S604,若否,执行步骤S605和S606;
步骤S604,从第一图像中提取人脸区域;
步骤S605,检测第一图像的景深信息;
步骤S606,根据景深信息确定前景区域,并从第一图像中提取出来;
步骤S607,通过上述提取人脸区域,或根据景深信息提取前景区域,得到第一图像中的前景区域图像;
再执行步骤S608,将前景区域图像融合至第二图像中;
最后执行步骤S609,输出目标图像,例如当用户查看拍摄的图片时,可以显示目标图像。
综上所述,本示例性实施方式中,通过终端设备的第一摄像头和第二摄像头分别采集得到第一图像和第二图像,从第一图像中提取前景区域图像,并融合至第二图像中,以输出最终的目标图像。一方面,第一摄像头为高清摄像头,其像素数高于第二摄像头,因此第一图像的清晰度较高,包含更多的细节信息,保留其中的前景部分,与第二图像进行融合,可以保证目标图像中前景部分具有高清晰度和丰富的细节,背景部分噪点较低,且目标图片整体的数据量低于第一图像,从而融合第一摄像头和第二摄像头各自的优势,改善高清摄像头拍摄图像的质量,提高用户体验。另一方面,对图像的处理属于软件算法过程,可以利用现有终端设备的摄像头配置实现,无需对硬件进行改动,从而节约成本,具有较高的实用性。
本公开的示例性实施方式还提供一种图像处理装置,可以配置于终端设备,该终端设备至少包括像素数不同的第一摄像头和第二摄像头,第一摄像头的像素数高于第二摄像头。如图7所示,该图像处理装置700可以包括:
图像获取模块710,用于获取由第一摄像头采集的第一图像和第二摄像头采集的第二图像;
前景区域识别模块720,用于识别第一图像中的前景区域,并从第一图像中提取前景区域图像;
目标图像获得模块730,用于根据前景区域图像及第二图像,获得目标图像。
在一种可选的实施方式中,前景区域识别模块720,还可以用于检测第一图像中是否包含人脸区域,当检测到第一图像中包含人脸区域时,将人脸区域作为前景区域。
在一种可选的实施方式中,前景区域识别模块720,还可以用于当检测到第一图像中不包含人脸区域时,根据第一图像的景深信息确定前景区域。
在一种可选的实施方式中,目标图像获得模块730可以包括:
对应区域确定单元,用于根据第一图像和第二图像的映射关系,确定前景区域在第二图像中的对应区域;
对应区域移除单元,用于从第二图像中移除上述对应区域,得到背景区域图像;
图像拼接单元,用于拼接前景区域图像和背景区域图像,以输出目标图像。
在一种可选的实施方式中,图像获取模块710,还可以用于在获取第一图像和第二图像时,对第一图像和第二图像进行配准,并确定第一图像和第二图像的映射关系。
在一种可选的实施方式中,第一摄像头可以是长焦摄像头,第二摄像头可以是广角摄像头。
在一种可选的实施方式中,第一摄像头的像素数可以是第二摄像头的整数倍。
上述装置中各模块/单元的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图8所示,描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本公开的示例性实施方式还提供了一种能够实现上述方法的终端设备,该终端设备可以是手机、平板电脑、数码相机等。下面参照图9来描述根据本公开的这种示例性实施方式的终端设备900。图9显示的终端设备900仅仅是一个示例,不应对本公开实施方式的功能和使用范围带来任何限制。
如图9所示,终端设备900可以以通用计算设备的形式表现。终端设备900的组件可以包括但不限于:至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940和图像采集单元970,图像采集单元970包括第一摄像头和第二摄像头,可用于采集图像,第一摄像头的像素数高于第二摄像头。
存储单元920存储有程序代码,程序代码可以被处理单元910执行,使得处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,处理单元910可以执行图1、图2或图3所示的方法步骤。
存储单元920可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)921和/或高速缓存存储单元922,还可以进一步包括只读存储单元(ROM)923。
存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924,这样的程序模块925包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
终端设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该终端设备900交互的设备通信,和/或与使得该终端设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且,终端设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器960通过总线930与终端设备900的其它模块通信。应当明白,尽管图中未示出,可以结合终端设备900使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。
此外,上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (10)
1.一种图像处理方法,应用于终端设备,其特征在于,所述终端设备至少包括像素数不同的第一摄像头和第二摄像头,所述第一摄像头的像素数高于所述第二摄像头;所述方法包括:
获取由所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像;
识别所述第一图像中的前景区域,并从所述第一图像中提取前景区域图像;
根据所述前景区域图像及所述第二图像,获得目标图像。
2.根据权利要求1所述的方法,其特征在于,所述识别所述第一图像中的前景区域,包括:
检测所述第一图像中是否包含人脸区域;
当检测到所述第一图像中包含人脸区域时,将所述人脸区域作为所述前景区域。
3.根据权利要求2所述的方法,其特征在于,所述识别所述第一图像中的前景区域,还包括:
当检测到所述第一图像中不包含人脸区域时,根据所述第一图像的景深信息确定所述前景区域。
4.根据权利要求1所述的方法,其特征在于,所述根据所述前景区域图像及所述第二图像,获得目标图像,包括:
根据所述第一图像和所述第二图像的映射关系,确定所述前景区域在所述第二图像中的对应区域;
从所述第二图像中移除所述对应区域,得到背景区域图像;
拼接所述前景区域图像和所述背景区域图像,以输出所述目标图像。
5.根据权利要求4所述的方法,其特征在于,在获取所述第一图像和所述第二图像时,所述方法还包括:
对所述第一图像和所述第二图像进行配准,并确定所述第一图像和所述第二图像的映射关系。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述第一摄像头为长焦摄像头,所述第二摄像头为广角摄像头。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述第一摄像头的像素数为所述第二摄像头的整数倍。
8.一种图像处理装置,配置于终端设备,其特征在于,所述终端设备至少包括像素数不同的第一摄像头和第二摄像头,所述第一摄像头的像素数高于所述第二摄像头;所述装置包括:
图像获取模块,用于获取由所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像;
前景区域识别模块,用于识别所述第一图像中的前景区域,并从所述第一图像中提取前景区域图像;
目标图像获得模块,用于根据所述前景区域图像及所述第二图像,获得目标图像。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。
10.一种终端设备,其特征在于,包括:
处理器;
存储器,用于存储所述处理器的可执行指令;
第一摄像头;以及
第二摄像头;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911286079.8A CN112991242A (zh) | 2019-12-13 | 2019-12-13 | 图像处理方法、图像处理装置、存储介质与终端设备 |
PCT/CN2020/133407 WO2021115179A1 (zh) | 2019-12-13 | 2020-12-02 | 图像处理方法、图像处理装置、存储介质与终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911286079.8A CN112991242A (zh) | 2019-12-13 | 2019-12-13 | 图像处理方法、图像处理装置、存储介质与终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112991242A true CN112991242A (zh) | 2021-06-18 |
Family
ID=76329443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911286079.8A Pending CN112991242A (zh) | 2019-12-13 | 2019-12-13 | 图像处理方法、图像处理装置、存储介质与终端设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112991242A (zh) |
WO (1) | WO2021115179A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256499A (zh) * | 2021-07-01 | 2021-08-13 | 北京世纪好未来教育科技有限公司 | 一种图像拼接方法及装置、系统 |
CN113438401A (zh) * | 2021-06-30 | 2021-09-24 | 展讯通信(上海)有限公司 | 数字变焦方法、系统、存储介质及终端 |
CN113935930A (zh) * | 2021-09-09 | 2022-01-14 | 深圳市优博讯科技股份有限公司 | 一种图像融合方法及系统 |
WO2023240489A1 (zh) * | 2022-06-15 | 2023-12-21 | 北京小米移动软件有限公司 | 一种拍照方法、装置及存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113723262A (zh) * | 2021-08-25 | 2021-11-30 | 浙江大华技术股份有限公司 | 一种目标跟踪方法、装置、道路监控设备、设备和介质 |
CN114662592B (zh) * | 2022-03-22 | 2023-04-07 | 小米汽车科技有限公司 | 车辆行驶控制方法、装置、存储介质、电子设备以及车辆 |
CN117132629B (zh) * | 2023-02-17 | 2024-06-28 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090128644A1 (en) * | 2007-11-15 | 2009-05-21 | Camp Jr William O | System and method for generating a photograph |
CN105791796A (zh) * | 2014-12-25 | 2016-07-20 | 联想(北京)有限公司 | 图像处理方法和图像处理装置 |
CN106375662A (zh) * | 2016-09-22 | 2017-02-01 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于双摄像头的拍摄方法、装置和移动终端 |
CN106791416A (zh) * | 2016-12-29 | 2017-05-31 | 努比亚技术有限公司 | 一种背景虚化的拍摄方法及终端 |
US20180068473A1 (en) * | 2016-09-06 | 2018-03-08 | Apple Inc. | Image fusion techniques |
CN107833231A (zh) * | 2017-11-22 | 2018-03-23 | 上海联影医疗科技有限公司 | 医学图像显示方法、装置和计算机存储介质 |
CN108881730A (zh) * | 2018-08-06 | 2018-11-23 | 成都西纬科技有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
US20190130533A1 (en) * | 2017-11-01 | 2019-05-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for image-processing and mobile terminal using dual cameras |
US20190164257A1 (en) * | 2017-11-30 | 2019-05-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method, apparatus and device |
CN110139028A (zh) * | 2019-03-25 | 2019-08-16 | 华为技术有限公司 | 一种图像处理的方法及头戴式显示设备 |
CN110177212A (zh) * | 2019-06-26 | 2019-08-27 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
US20190347776A1 (en) * | 2018-05-08 | 2019-11-14 | Altek Corporation | Image processing method and image processing device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8406554B1 (en) * | 2009-12-02 | 2013-03-26 | Jadavpur University | Image binarization based on grey membership parameters of pixels |
CN108632512A (zh) * | 2018-05-17 | 2018-10-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN110248081A (zh) * | 2018-10-12 | 2019-09-17 | 华为技术有限公司 | 图像捕捉方法及电子设备 |
CN109639997B (zh) * | 2018-12-20 | 2020-08-21 | Oppo广东移动通信有限公司 | 图像处理方法、电子装置及介质 |
-
2019
- 2019-12-13 CN CN201911286079.8A patent/CN112991242A/zh active Pending
-
2020
- 2020-12-02 WO PCT/CN2020/133407 patent/WO2021115179A1/zh active Application Filing
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090128644A1 (en) * | 2007-11-15 | 2009-05-21 | Camp Jr William O | System and method for generating a photograph |
CN105791796A (zh) * | 2014-12-25 | 2016-07-20 | 联想(北京)有限公司 | 图像处理方法和图像处理装置 |
US20180068473A1 (en) * | 2016-09-06 | 2018-03-08 | Apple Inc. | Image fusion techniques |
WO2018053906A1 (zh) * | 2016-09-22 | 2018-03-29 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于双摄像头的拍摄方法、装置和移动终端 |
CN106375662A (zh) * | 2016-09-22 | 2017-02-01 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于双摄像头的拍摄方法、装置和移动终端 |
CN106791416A (zh) * | 2016-12-29 | 2017-05-31 | 努比亚技术有限公司 | 一种背景虚化的拍摄方法及终端 |
US20190130533A1 (en) * | 2017-11-01 | 2019-05-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for image-processing and mobile terminal using dual cameras |
CN107833231A (zh) * | 2017-11-22 | 2018-03-23 | 上海联影医疗科技有限公司 | 医学图像显示方法、装置和计算机存储介质 |
US20190164257A1 (en) * | 2017-11-30 | 2019-05-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method, apparatus and device |
US20190347776A1 (en) * | 2018-05-08 | 2019-11-14 | Altek Corporation | Image processing method and image processing device |
CN108881730A (zh) * | 2018-08-06 | 2018-11-23 | 成都西纬科技有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
CN110139028A (zh) * | 2019-03-25 | 2019-08-16 | 华为技术有限公司 | 一种图像处理的方法及头戴式显示设备 |
CN110177212A (zh) * | 2019-06-26 | 2019-08-27 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
陈凯丽: "基于无人车的图像拼接算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113438401A (zh) * | 2021-06-30 | 2021-09-24 | 展讯通信(上海)有限公司 | 数字变焦方法、系统、存储介质及终端 |
CN113438401B (zh) * | 2021-06-30 | 2022-08-05 | 展讯通信(上海)有限公司 | 数字变焦方法、系统、存储介质及终端 |
CN113256499A (zh) * | 2021-07-01 | 2021-08-13 | 北京世纪好未来教育科技有限公司 | 一种图像拼接方法及装置、系统 |
CN113935930A (zh) * | 2021-09-09 | 2022-01-14 | 深圳市优博讯科技股份有限公司 | 一种图像融合方法及系统 |
WO2023240489A1 (zh) * | 2022-06-15 | 2023-12-21 | 北京小米移动软件有限公司 | 一种拍照方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021115179A1 (zh) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112991242A (zh) | 图像处理方法、图像处理装置、存储介质与终端设备 | |
CN110675404B (zh) | 图像处理方法、图像处理装置、存储介质与终端设备 | |
KR102480245B1 (ko) | 패닝 샷들의 자동 생성 | |
CN108833785B (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
CN107636692B (zh) | 图像捕获设备及操作其的方法 | |
CN112767290B (zh) | 图像融合方法、图像融合装置、存储介质与终端设备 | |
US20130250053A1 (en) | System and method for real time 2d to 3d conversion of video in a digital camera | |
CN109005334B (zh) | 一种成像方法、装置、终端和存储介质 | |
KR20180109918A (ko) | 다중 카메라들을 사용하여 심리스 줌 기능을 구현하기 위한 시스템들 및 방법들 | |
CN110809101B (zh) | 图像变焦处理方法及装置、电子设备、存储介质 | |
CN107481186B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN102111629A (zh) | 图像处理装置、图像捕获装置、图像处理方法和程序 | |
US20160344943A1 (en) | Image capturing apparatus and method of controlling the same | |
WO2011014421A2 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
CN110855957B (zh) | 图像处理方法及装置、存储介质和电子设备 | |
JP4556813B2 (ja) | 画像処理装置、及びプログラム | |
CN110929615B (zh) | 图像处理方法、图像处理装置、存储介质与终端设备 | |
JP2007074578A (ja) | 画像処理装置、撮影装置、及びプログラム | |
US20220245839A1 (en) | Image registration, fusion and shielding detection methods and apparatuses, and electronic device | |
CN111885371A (zh) | 图像遮挡检测方法、装置、电子设备和计算机可读介质 | |
JP2014146872A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2010062726A (ja) | 撮像位置決定補助装置、撮像位置決定補助方法、及びコンピュータプログラム | |
JP7409604B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
CN112911186B (zh) | 图像存储方法及装置、电子设备、存储介质 | |
WO2023236162A1 (zh) | 相机模组及图像处理方法、装置、终端、电子设备、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |
|
RJ01 | Rejection of invention patent application after publication |