CN111160240B - 图像对象的识别处理方法、装置及智能设备、存储介质 - Google Patents
图像对象的识别处理方法、装置及智能设备、存储介质 Download PDFInfo
- Publication number
- CN111160240B CN111160240B CN201911379526.4A CN201911379526A CN111160240B CN 111160240 B CN111160240 B CN 111160240B CN 201911379526 A CN201911379526 A CN 201911379526A CN 111160240 B CN111160240 B CN 111160240B
- Authority
- CN
- China
- Prior art keywords
- region
- area
- initial
- image
- image object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 28
- 210000004209 hair Anatomy 0.000 claims description 41
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004043 dyeing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像对象的识别处理方法、装置及智能设备,所述方法包括:对获取的目标图像进行对象区域识别处理,得到在所述目标图像中的预测区域;调用图像对象识别模型对所述预测区域中的子图像区域进行图像对象识别,确定各子图像区域是否属于待识别的图像对象;根据图像对象识别的识别结果确定所述目标图像中的图像对象区域,其中,所述识别结果包括:用于记录属于待识别的图像对象的子图像区域的结果信息。采用本申请,可较好地减少图像对象区域的漏检和误检,提高从图像中识别图像对象的效率,整体方案可行性强,成本低,精度高。
Description
技术领域
本申请涉及图像识别技术领域,尤其涉及一种图像对象的识别处理方法、装置及智能设备、存储介质。
背景技术
随着深度学习技术的快速普及,以及智能设备计算能力的提升,语义分割技术性能大幅提升,其应用也日益广泛,在美颜美妆、P图领域,更换发型或染发方面的需求与日俱增。为了从图像中找到想要在后期处理的图像对象,若对整张图片使用深度学习技术进行语义分割,无疑会带来巨大的计算量以及无关区域的误检。
发明内容
本申请提供了一种图像对象的识别处理方法、装置及智能设备、存储介质,可提高从图像中识别图像对象的效率。
一方面,本申请提供了一种图像对象的识别处理方法,包括:
对获取的目标图像进行对象区域识别处理,得到在所述目标图像中的预测区域;
调用图像对象识别模型对所述预测区域中的子图像区域进行图像对象识别,确定各子图像区域是否属于待识别的图像对象;
根据图像对象识别的识别结果确定所述目标图像中的图像对象区域,其中,所述识别结果包括:用于记录属于待识别的图像对象的子图像区域的结果信息。
另一方面,本申请还提供了一种图像对象的识别处理装置,包括:
预测模块,用于对获取的目标图像进行对象区域识别处理,得到在所述目标图像中的预测区域;
识别模块,用于调用图像对象识别模型对所述预测区域中的子图像区域进行图像对象识别,确定各子图像区域是否属于待识别的图像对象;
确定模块,用于根据图像对象识别的识别结果确定所述目标图像中的图像对象区域,其中,所述识别结果包括:用于记录属于待识别的图像对象的子图像区域的结果信息。
再一方面,本申请还提供了一种智能设备,包括存储装置和处理器,所述存储装置中存储有程序指令,所述处理器调用所述程序指令,用于实现图像对象的识别处理方法。
相应地,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有程序指令,该程序指令被执行时,图像对象的识别处理方法将被实现。
本申请先检测头发等图像对象大致所在区域,后进行该区域的精细化检测,一方面可以可较好地减少图像对象区域误检,降低检测量,另一方面对局部区域的精细检测也能提高从图像中识别图像对象的准确率,从而极大地提升图像对象检测的效率,并且整体方案可行性强,成本低,精度高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种图像对象的识别处理方法的流程示意图;
图2a是本发明实施例的目标图像的尺寸示意图;
图2b是本发明实施例的相关图像区域参数的示意图;
图3是本发明实施例的关于头发对象的遮罩层示意图;
图4是本发明实施例的对初始区域在目标图像中的位置进行调整的调整方法示意图;
图5是本发明实施例的高度值扩展后初始区域和预测区域的一个示意图;
图6是本发明实施例的对初始区域进行调整的示意图;
图7是本发明实施例的图像对象的识别处理装置的结构示意图;
图8是本发明实施例的一种智能设备的结构示意图。
具体实施方式
对于获取到的目标图像,用户可以根据需要对这些目标图像进行各种处理,比如识别出脸部的眼睛、鼻子、口等图像对象,对这些图像对象进行美妆美颜处理,或者添加装饰道具处理等等。又比如在目标图像中识别出用户的头发等图像对象,对头发等图像对象进行染色等图像处理,例如对于目标图像中的头发图像对象而言,可以将目标图像中的头发区域单独分割提取出来,对头发区域做特殊的处理,如染发、换发型、设置头发装饰等,具体可将目标图像首先进行图像区域分割,然后根据区域分割结果将用户的头发所在的图像对象区域染成红色。在一些实施例中,这些目标图像经过处理后,用户可以通过智能终端上传到社交平台分享给其他用户,如果这些目标图像是在用户之间进行视频通信时采集到的,那么经过处理后,可以在双方或者对方的视频通信界面上,显示进行了诸如上述的图像对象处理后的视频画面。
目标图像的采集可以是用户通过智能手机、平板电脑等智能终端采集到的,也可以是从存储器提取或者从网络下载的图像。对这些目标图像的处理可以在安装有相应功能的应用APP的智能终端执行,例如用户通过智能手机在拍照的时候,可以对拍照得到的待处理的目标图像进行处理,或者在拍摄预览阶段对采集到的用作预览的目标图像进行处理,以便于在点击拍摄时能够直接拍摄获取到处理后的图像。也可以是通过智能终端上传到服务器后,由服务器执行相应的图像处理,例如在视频通话过程中,由视频通信服务器自动根据用户操作对传输的视频图像帧(目标图像)进行处理,以便于在对方的通信界面上显示处理后的视频画面,比如显示头发染色后的视频画面。
本发明实施例对目标图像进行处理包括多个阶段,具体包括对目标图像的对象区域识别处理,完成区域预测,在预测的区域内进行图像对象识别处理,根据识别处理的结果最终确定图像对象所在的区域。在一个实施方式中,更具体的可以是在获取到目标图像后,首先对目标图像进行区域粗略估计,得到所要检测的图像对象在目标图像的图像位置区域即初始区域,在粗略估计确定初始区域后,在初始区域的基础上进行扩展,将初始区域所对应的矩形区域拉长变大,得到最终的预测区域,然后再在预测区域中识别确定所要检测的图像对象,确定图像对象所在的区域,例如上述提及的头发在目标图像上的区域,在该实施例中通过对所要检测的目标对象进行两次位置区域的处理,可以得到较为准确的图像对象所在的待识别图像区域(对应于上述提及的预测区域),能够较好地减少图像对象的漏检和误检,并且,在最后确定的预测区域内识别确定所要检测的图像对象区域,可以提高头发等图像对象检测的效率,也极大地方便后续在该目标区域进行图像处理,比如在确定了头发在目标图像中的位置区域后,对这个位置区域内的像素点进行赋值处理,达到“染发”处理的目的,或者在头发的位置区域覆盖显示一个蒙层,便捷地完成遮罩处理。
请参见图1所示,是本发明实施例的一种图像对象的识别处理方法的流程示意图,本发明实施例的所述方法可以应用在各种可以进行图像处理的场景中,比如在可以共享图像的社交应用中、视频通话应用中、视频会话系统应用中、以及一些制图、修图应用中,所述方法可以由一个安装了相应应用的智能终端执行,也可以由一个功能强大的能够进行图像处理的服务器来执行。本发明实施例的所述方法包括如下步骤。
有修图需求(例如美妆美颜需求)的用户,可以通过多种途径获取到带有某个想要检测并调整的图像对象的目标图像,比如用智能手机拍摄人物图像、从存储器中提取任务图像、从网络下载任务图像等等方式获取目标图像,在加载获取了目标图像后,在S101中对获取的目标图像进行对象区域识别处理,得到在所述目标图像中的预测区域。进行对象区域识别处理的方式包括多种,在一个实施例中,可以基于用户点击的位置点或者框选的部分区域出发,粗略地识别确定出一个初始区域。
在一个实施例中,可以调用一个图像对象预测模型在目标图像中进行全图粗略检测,以便于从目标图像中确定出一个预测区域。该图像对象预测模型可以根据需要直接得到一个预测区域,或者得到一个关于预测区域的区域几何参数,根据该区域几何参数可以直接确定一个预测区域。或者,所述S101也可以包括:调用图像对象预测模型对所述目标图像进行区域预测,确定初始区域;根据区域扩展规则,对所述初始区域在所述目标图像中的位置进行调整,得到预测区域。即先得到一个粗略的初始区域,再在该初始区域的基础上进行精细化调整,得到一个预测区域,扩展规则是为了防止初始区域无法将全部头发包含而做的补充处理。在一些情况下,在发量少或者头发短等情况下,基于图像对象预测模型确定的初始区域很有可能会包住所有头发,在此情况下,初始区域可以直接作为预测区域,也即是说,在调用图像对象预测模型对所述目标图像进行区域预测,确定初始区域之后,可以在用户界面上显示初始区域的位置并显示区域编辑按钮和确认按钮,如果选择了确认按钮,则可以直接将初始区域作为预测区域,如果选择的区域编辑按钮,则会执行根据根据区域扩展规则,对所述初始区域在所述目标图像中的位置进行调整,得到预测区域。
在一个实施方式中,所述调用图像对象预测模型对所述目标图像进行区域预测,确定初始区域,具体可以包括:调用图像对象预测模型对所述目标图像进行区域预测,并获取所述图像对象预测模型经过预测后输出的区域几何特征参数;根据所述区域几何特征参数确定初始区域。
在另一个实施例中,还可以先识别目标图像中的人脸位置区域,利用相对成熟的人脸识别技术较为准确地确定人脸的位置,将人脸区域作为初始区域,然后从人脸位置区域出发,粗略估计头发、或眼睛、或鼻子等图像对象的预测区域。比如在确认人脸位置对于的初始区域后,按照眼睛对象在人脸上的位置进行初始区域的编辑,得到预测区域。
在另一个实施例中,还可以先进行人脸检测,如果检测到的人脸,则从人脸检测确定人脸位置区域出发,估计并确定预测区域,如果没有检测到人脸,则调用上述提及的图像对象预测模型对所述目标图像进行区域预测,以便于输出预测得到的初始区域的区域几何特征参数以最终得到预测区域。
所述图像对象预测模型可以基于神经网络构建,通过图像对象预测模型预测初始区域所对应的矩形区域,在该矩形区域中至少能够包括部分或者全部所要检测识别的图像对象,图像对象预测模型可以预测并输出区域几何特征参数,该区域几何特征参数可以包括偏移量信息和矩形区域相关参数(矩形区域的高度信息和宽度信息),在一个实施例中,所述偏移量信息包括:矩形区域的区域中心与目标图像的图像中心的偏移量,所述高度信息包括:矩形区域的高度相对于所述目标图像的高度的比例,所述宽度信息包括:矩形区域的宽度相对于所述目标图像的宽度的比例。在其他实施例中,所述区域几何特征参数也可以是矩形区域的中心位置图像坐标、矩形区域的高度、矩形区域的宽度。
在一个实施例中,为快速实现偏移量等区域几何特征参数的预测,可以设计一个整体计算量在2M以内,由卷积层、池化层、非线性层以及全连接层组成的神经网络,并基于该神经网络训练得到图像对象预测模型。神经网络或者说图像对象预测模型输出的预测值为头发等图像对象对应的矩形区域中心点相对于图像中心的偏移量(即偏移量信息)、以及矩形区域长宽相对于图像长宽的相对比例(即矩形区域的高度相对于所述目标图像的高度的比例,矩形区域的宽度相对于所述目标图像的宽度的比例),可分别表示为、、/>,其均为归一化值。假设目标图像中心点及宽、高为(/>,/>)、w 、h,头发之类的图像对象所在的初始区域的矩形中心及矩形宽、矩形高的计算方式为:
公式1
具体的,所述区域几何特征参数中的偏移量信息为,高度信息为/>,宽度信息为/>,初始区域的矩形中心或者说矩形图像中心为(/>,/>),初始区域的高度为/>,初始区域的宽度为/>。目标图像的宽度是w,目标图像的高度是h,目标图像的图像中心坐标(/>,/>)。关于目标图像、初始区域以及初始区域的几何特征参数的图示具体可参考图2a、图2b所示。输入的原图为图2a所示,将其输入神经网络即图像对象预测模型后确定的矩形区域及相关参数如图2b所示。图2b中的虚线矩形框为目标图像的初始区域。
上述的图像对象预测模型可以基于带有头发等图像对象的正样本图像集合以及不带头发等图像对象的负样本图像集合对图像对象预测模型进行训练得到,通过训练得到的图像对象预测模型进行粗略的区域预测,输出初始区域的区域几何特征参数即可。
在一个实施例中,在确定初始区域后,即可执行上述提及的根据区域扩展规则,对所述初始区域在所述目标图像中的位置进行调整,得到预测区域。区域扩展规则主要用于对初始区域的尺寸进行调整,以便于确定更为合适的包含图像对象的区域即预测区域。在一个实施例中,可以在初始区域的区域几何特征参数的基础上,对初始区域的尺寸进行调整,得到预测区域。例如,预测区域是在初始区域的基础上,高度增加20%或其他值,宽度增加10%或其他值。关于从初始区域到预测区域的调整过程的具体描述可参考后续内容的描述。图2b中的实线矩形框为预测区域。
在确定了预测区域后,在S102中调用图像对象识别模型对所述预测区域中的子图像区域进行图像对象识别,确定各子图像区域是否属于待识别的图像对象。所述图像对象识别模型可以是一个专用模型,专用于识别某一个图像对象,例如可以是一个专用于识别图像中的头发对象的模型,或者可以是一个专用于识别图像中的眼睛对象的模型。在一个实施例中,所述子图像区域是所述预测区域中的一个像素点所在的区域;所述调用图像对象识别模型对所述预测区域中的子图像区域进行图像对象识别,确定各子图像区域是否属于待识别的图像对象,可以包括:调用图像对象识别模型对所述预测区域中的各个像素点进行图像对象识别,确定所述预测区域中的各像素点属于待识别的图像对象的概率;其中,概率值大于或等于预设阈值的像素点属于待识别的图像对象;而所述图像对象识别的识别结果为一根据得到的概率确定的所述预测区域对应的概率图,得到概率图之后便于后续根据概率图确定所述预测区域内的图像对象区域。
图像对象识别模型同样可以是基于神经网络构建的,图像对象识别模型分割得到预测区域中的头发等图像对象的区域,图像对象识别模型所对应的神经网络可以由空洞卷积层、池化层、非线性层和上采样层组成,将目标图像中的矩形区域(此时为预测区域)输入图像对象识别模型中,可得到与预测区域的尺寸相同的概率图,概率图取值范围为0-1,在概率图上每一个点对应一个像素点(即子图像区域),概率图上的概率值是指对应的像素点属于头发等待识别的图像对象的概率,当概率大于或者等于预设概率阈值时,可以认为子图像区域即对应的像素点属于待识别的图像对象,例如该像素点为头发等图像对象的像素点之一,当概率小于预设概率阈值时,则可以认为子图像区域即对应的像素点不属于待识别的图像对象。图像对象识别模型的训练同样可以是根据带有头发等图像对象的图像构成的训练集合进行的,并且可以在训练中使用交叉熵建立损失函数的,具体如下式所示:
公式2
其中为第i个像素点被预测为头发之类的图像对象的概率。
在S103中,再根据图像对象识别的识别结果确定所述目标图像中的图像对象区域,其中,所述识别结果包括:用于记录属于待识别的图像对象的子图像区域的结果信息。在得到概率图后,可以将小于预设概率阈值的概率值设置为0,将大于或等于预设概率阈值的概率值设置为1,得到一个与预测区域的尺寸相同的二值图像,基于预测区域再对应到目标图像中,根据二值图像中值为1的点确定出目标图像中的图像对象区域,并形成最终的头发等图像对象区域的遮罩层(mask层),图3是对应于图2a的目标图像中头发的mask示意图,如图3所示,可以通过调整mask层的颜色等参数,达到对头发等图像对象的染色等目的。
再请参见图4,是本发明实施例的对初始区域在目标图像中的位置进行调整的调整方法示意图,该调整方法对应于上述的S101。所述方法仍然可以由智能终端或者服务器实现。
S400:判断根据所述区域几何特征参数确定的初始区域面积是否满足面积条件。初始区域面积可以根据初始区域的矩形区域的长宽计算得到,而矩形区域的长宽则可以根据区域几何特征参数计算得到。
S401:当根据所述区域几何特征参数确定的初始区域面积满足面积条件时,根据所述目标图像的几何参数确定第二更新几何参数;其中,所述初始区域面积满足面积条件包括:所述初始区域面积与所述目标图像的面积之间的比值大于预设的面积比例阈值。或者说,所述初始区域面积满足面积条件包括:初始区域面积大于目标图像的面积的a倍,a例如可以是0.8,或0.9等数值。当满足面积条件时,可以认为此次拍摄的目标图像主要就是头部图像,直接将目标图像的尺寸作为第二更新几何参数所包括的尺寸,将目标图像整个图像区域作为预测区域。或者也可以将目标图像的尺寸的b倍作为第二更新几何参数所包括的尺寸,例如b为0.9也可以为其他值,将目标图像的宽0.9作为第二更新几何参数包括的宽,将目标图像的高/>0.9作为第二更新几何参数包括的高。
S402:按照所述第二更新几何参数对所述初始区域在所述目标图像中的位置进行调整得到预测区域。如S401所述,调整后得到的预测区域可以为整个目标图像的区域,亦或是整个目标图像区域的0.9倍等大小。
S403:当根据所述区域几何特征参数确定的初始区域面积不满足面积条件时,根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则。
S404:按照区域扩展规则确定第一更新几何参数。当不满足面积条件时,可以根据区域几何特征参数,选择不同的区域扩展规则,以便于根据不同的区域扩展规则来确定第一更新几何参数。
S405:按照第一更新几何参数对所述初始区域在所述目标图像中的位置进行调整,得到预测区域。在本发明实施例中,按照所述第一更新几何参数对初始区域调整后得到的预测区域,与按照所述第二更新几何参数对初始区域调整后得到的预测区域不相同。按照所述第二更新几何参数得到的预测区域的面积或者尺寸对应的大于按照所述第一更新几何参数得到的预测区域的面积或者尺寸。
在一个实施例中,所述S403中,根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则,包括:根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值,计算方式可参考上述的公式1;若宽度值大于高度值的N倍,则选择第一区域扩展规则,所述N为大于1的正数;在一个实施例中,所述N可等于1.5或其他数值,也就是说初始区域的宽是高的1.5倍时,选择第一区域扩展规则。
所述S404中,按照区域扩展规则确定第一更新几何参数包括:按照第一区域扩展规则,将所述初始区域的宽度值作为第一更新几何参数的宽度值;按照第一区域扩展规则,将在初始区域的高度值的基础上,扩展第一预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值,所述第二高度阈值例如可以是所述目标图像的高度值或者目标图像的高度值的P倍,P例如为0.8、或0.9等数值。在第一区域扩展规则下,初始区域的宽度值与预测区域的宽度值相同,但是在高度方向上会上下扩展第一预设比例,该第一预设比例例如可以是20%,例如,当初始区域的高度值为100个像素时,预测区域对应的第一更新几何参数的高度值为140个像素,即在高度方向上往上扩展了20个像素,往下也扩展了20个像素,本示例中的关于像素的数值仅为举例。
在一个实施例中,所述S403中,根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则,包括:根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值,计算方式可参考上述的公式1;若宽度值大于高度值、但宽度值小于或等于高度值的N倍,则选择第二区域扩展规则,N为大于1的正数;也就是说,宽度值大于高度值,但宽度值比高度值的1.5(或N为其他值)倍小,则选择第二区域扩展规则。
所述S404中,按照区域扩展规则确定第一更新几何参数包括:按照第二区域扩展规则,将在初始区域的高度值的基础上,扩展第二预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值,所述第二高度阈值例如可以是所述目标图像的高度值或者目标图像的高度值的P倍,P例如为0.8、或0.9等数值,按照第二区域扩展规则,将在初始区域的宽度值的基础上,扩展第三预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值且小于第二宽度阈值,所述第二宽度阈值例如可以是所述目标图像的宽度值或者目标图像的宽度值的P倍,P例如为0.8、或0.9等数值。在第二区域扩展规则下,将初始区域的高度值上下扩展第二预设比例,例如10%,同时更新高度值大于第一高度阈值(例如0)小于第二高度阈值,所述第二高度阈值例如可以是所述目标图像的高度值或者目标图像的高度值的P倍,P例如为0.8、或0.9等数值;将初始区域的宽度值w左右扩展第三预设比例,例如5%,同时更新宽度值大于第一宽度阈值(例如0)小于第二宽度阈值,所述第二宽度阈值例如可以是所述目标图像的宽度值或者目标图像的宽度值的P倍,P例如为0.8、或0.9等数值。例如,当初始区域的高度值为100个像素时,预测区域的第一更新几何参数的高度值为120个像素,即在高度方向上往上扩展了10个像素,往下也扩展了10个像素;当初始区域的宽度值为100个像素时,预测区域的第一更新几何参数的宽度值为110个像素,即在宽度方向上往左扩展了5个像素,往右也扩展了5个像素,本示例中的关于像素的数值仅为举例。
在一个实施例中,所述S403中,根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则,包括:根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值,计算方式可参考上述的公式1;若高度值大于宽度值的M倍,则选择第三区域扩展规则,所述M为大于1的正数;在一个实施例中,M例如可以等于1.5或其他数值,也就是说,初始区域的高是宽的1.5倍时,选择第三区域扩展规则。
所述S404中,按照区域扩展规则确定第一更新几何参数包括:按照第三区域扩展规则,将所述初始区域的高度值作为第一更新几何参数的高度值,并按照第三区域扩展规则,在初始区域的宽度值的基础上,扩展第四预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值小于第二宽度阈值,所述第二宽度阈值例如可以是所述目标图像的宽度值或者目标图像的宽度值的P倍,P例如为0.8、或0.9等数值。在第三扩展规则下,预测区域的高度值与初始区域的高度值相同,但是在初始区域的宽度值的基础上,扩展第四预设比例,第四预设比例例如可以是20%,例如,当初始区域的宽度值为100个像素时,预测区域对应的第一更新几何参数的宽度值为140个像素,即在宽度方向上往左扩展了20个像素,往右也扩展了20个像素,本示例中的关于像素的数值仅为举例。
在一个实施例中,所述S403中,根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则,包括:根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值,计算方式可参考上述的公式1;若高度值大于宽度值、且高度值小于或等于宽度值的M倍,则选择第四区域扩展规则,所述M为大于1 的正数;M例如可以是1.5或其他数值,也就是说,当高度值大于宽度值,但高度值小于或等于宽度值的1.5倍时,可以选择第四区域扩展规则。
所述S404中,按照区域扩展规则确定第一更新几何参数包括:按照第四区域扩展规则,在初始区域的高度值的基础上,扩展第五预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值小于第二高度阈值,所述第二高度阈值例如可以是所述目标图像的高度值或者目标图像的高度值的P倍,P例如为0.8、或0.9等数值,按照第四区域扩展规则,在初始区域的宽度值的基础上,扩展第六预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值小于第二宽度阈值,所述第二宽度阈值例如可以是所述目标图像的宽度值或者目标图像的宽度值的P倍,P例如为0.8、或0.9等数值。在第四区域扩展规则的基础上,将初始区域的高度值h上下扩展第五预设比例,例如5%,同时更新高度值大于第一高度阈值(例如0)小于第二高度阈值,所述第二高度阈值例如可以是所述目标图像的高度值或者目标图像的高度值的P倍,P例如为0.8、或0.9等数值;将初始区域的宽度值w左右扩展第六预设比例,例如10%,同时更新宽度值大于第一宽度阈值(例如0)小于第二宽度阈值,所述第二宽度阈值例如可以是所述目标图像的宽度值或者目标图像的宽度值的P倍,P例如为0.8、或0.9等数值。例如,当初始区域的高度值为100个像素时,预测区域的第一更新集合参数的高度值为110个像素,即在高度方向上往上扩展了5个像素,往下也扩展了5个像素;当初始区域的宽度值为100个像素时,预测区域的第一更新几何参数的宽度值为120个像素,即在宽度方向上往左扩展了10个像素,往右也扩展了10个像素,本示例中的关于像素的数值仅为举例。
如图5所示,虚线矩形框部分为初始区域,而实线矩形框部分则是通过上下方向扩展、左右方向扩展后得到的预测区域,经过上述提及的示例中的经验值确定的预测区域基本能够确保所有的图像对象都在该区域内,虽然可能存在部分多余的不存在头发对象的区域,当相比于整个目标图像进行头发识别,已经可以极大地减少误检的,减少识别计算量,节省软硬件资源,又相对而言地保证了识别的准确性。
再请参见图6,在图6中直观地呈现了对初始区域的扩展调整方式。图6的示意图与上述图4所提及的调整过程相对应。当初始区域面积大于目标图像的面积的0.8倍时,直接将目标图像的尺寸作为预测区域的尺寸,将目标图像作为预测区域进行图像对象的识别。当初始区域面积小于或等于目标图像的面积的0.8倍时,判断初始区域的宽度值是否大于初始区域的高度值的1.5倍,若是,则将初始区域的高度值在高度方向上上下扩展20%。若初始区域的宽度值小于或等于初始区域的高度值的1.5倍,则进一步判断初始区域的宽度值是否大于高度值,若是,则初始区域的高度值在高度方向上上下扩展10%,但是扩展后的高度值大于0小于目标图像的高度值,初始区域的宽度值在宽度方向上左右扩展5%,但展后的宽度值大于0小于目标图像的宽度值。若初始区域的宽度值小于或等于高度值,则进一步判断初始区域的高度值是否大于宽度值的1.5倍,若是,则将初始区域的宽度值在宽度方向上左右扩展20%。若初始区域的高度值小于或等于宽度值的1.5倍,则初始区域的高度值在高度方向上上下扩展5%,但扩展后的高度值大于0小于目标图像的高度值,初始区域的宽度值在宽度方向上左右扩展10%,但扩展后的宽度值大于0小于目标图像的宽度值。
本申请先检测头发等图像对象所在区域的大致初始区域,后在进行初始区域精细扩展的策略,可较好地减少图像对象区域的漏检和误检,提高从图像中识别图像对象的效率,整体方案可行性强,成本低,精度高。
再请参见图7,是本发明实施例的一种图像对象的识别处理装置的结构示意图,本发明实施例的所述装置可以设置在智能设备中,该智能设备例如可以是智能手机、平板电脑、个人电脑等终端,该智能设备还可以是服务器,该服务器可以是一个专用于图像对象处理的服务器,也可以是一些社交平台服务器、通信应用服务器。在本发明实施例中,所述装置包括预测模块701、预测模块701、识别模块702以及确定模块703。
其中,所述预测模块701,用于对获取的目标图像进行对象区域识别处理,得到在所述目标图像中的预测区域;识别模块702,用于调用图像对象识别模型对所述预测区域中的子图像区域进行图像对象识别,确定各子图像区域是否属于待识别的图像对象;确定模块703,用于根据图像对象识别的识别结果确定所述目标图像中的图像对象区域,其中,所述识别结果包括:用于记录属于待识别的图像对象的子图像区域的结果信息。
在一个可能的实现方式中,所述预测模块701,用于调用图像对象预测模型对所述目标图像进行区域预测,确定初始区域;根据区域扩展规则,对所述初始区域在所述目标图像中的位置进行调整,得到预测区域。
在一个可能的实现方式中,所述预测模块701,用于调用图像对象预测模型对所述目标图像进行区域预测,并获取所述图像对象预测模型经过预测后输出的区域几何特征参数;根据所述区域几何特征参数确定初始区域;所述初始区域包括矩形区域,所述区域几何特征参数包括:偏移量信息、高度信息和宽度信息;所述偏移量信息包括:矩形区域的区域中心与目标图像的图像中心的偏移量,所述高度信息包括:矩形区域的高度相对于所述目标图像的高度的比例,所述宽度信息包括:矩形区域的宽度相对于所述目标图像的宽度的比例。
在一个可能的实现方式中,所述预测模块701,用于根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则;按照区域扩展规则确定第一更新几何参数;按照第一更新几何参数对所述初始区域在所述目标图像中的位置进行调整,得到调整后的预测区域。
在一个可能的实现方式中,所述预测模块701,用于当根据所述区域几何特征参数确定的初始区域面积满足面积条件时,根据所述目标图像的几何参数确定第二更新几何参数;按照所述第二更新几何参数对所述初始区域在所述目标图像中的位置进行调整,得到调整后的预测区域;当根据所述区域几何特征参数确定的初始区域面积不满足面积条件时,根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则。
在一个可能的实现方式中,所述初始区域面积满足面积条件包括:所述初始区域面积与所述目标图像的面积之间的比值大于预设的面积比例阈值。
在一个可能的实现方式中,所述预测模块701,用于根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;若宽度值大于高度值的N倍,则选择第一区域扩展规则,所述N为大于1的正数;按照第一区域扩展规则,将所述初始区域的宽度值作为第一更新几何参数的宽度值;按照第一区域扩展规则,将在初始区域的高度值的基础上,扩展第一预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值。
在一个可能的实现方式中,所述预测模块701,用于根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;若宽度值大于高度值、但宽度值小于或等于高度值的N倍,则选择第二区域扩展规则,N为大于1的正数;按照第二区域扩展规则,将在初始区域的高度值的基础上,扩展第二预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值;按照第二区域扩展规则,将在初始区域的宽度值的基础上,扩展第三预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值且小于第二宽度阈值。
在一个可能的实现方式中,所述预测模块701,用于根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;若高度值大于宽度值的M倍,则选择第三区域扩展规则,所述M为大于1的正数;按照第三区域扩展规则,将所述初始区域的高度值作为第一更新几何参数的高度值;按照第三区域扩展规则,将在初始区域的宽度值的基础上,扩展第四预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值且小于第二宽度阈值。
在一个可能的实现方式中,所述预测模块701,用于根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;若高度值大于宽度值、且高度值小于或等于宽度值的M倍,则选择第四区域扩展规则,所述M为大于1的正数;按照第四区域扩展规则,将在初始区域的高度值的基础上,扩展第五预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值;按照第四区域扩展规则,将在初始区域的宽度值的基础上,扩展第六预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值且小于第二宽度阈值。
在一个可能的实现方式中,所述子图像区域为所述预测区域中的一个像素点所在的区域;所述识别模块702,用于调用图像对象识别模型对所述预测区域中的各个像素点进行图像对象识别,确定所述预测区域中的各像素点属于待识别的图像对象的概率;其中,概率值大于或等于预设阈值的像素点属于待识别的图像对象;所述图像对象识别的识别结果为一根据得到的概率确定的所述预测区域对应的概率图,以便于所述确定模块703根据概率图确定所述预测区域内的图像对象区域。
本发明实施例中的各个模块的具体实现可参考前述方法实施例中相关内容的描述,在此不赘述。本申请先检测头发等图像对象所在区域的大致初始区域,后在进行初始区域精细扩展的策略,可较好地减少图像对象区域的漏检和误检,提高从图像中识别图像对象的效率,整体方案可行性强,成本低,精度高。
再请参见图8,是本发明实施例的一种智能设备的结构示意图,本发明实施例的所述智能设备可以为智能手机、平板电脑、个人电脑等智能终端,也可以为服务器。该智能设备包括电源模块、多种壳体结构,在本发明实施例中,该智能设备包括:处理器801和存储装置802,还可以根据需要包括通信接口803、用户接口804等,实现各种数据传输、通信功能,并满足与用户的交互需求。
所述存储装置802可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储装置802也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;存储装置802还可以包括上述种类的存储器的组合。
所述处理器801可以是中央处理器(central processing unit,CPU)。所述处理器801还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)等。PLD可以是现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)等。
所述存储装置802还用于存储程序指令。所述处理器801可以调用所述程序指令,实现前述实施例中提及的图像对象的识别处理方法的相关步骤。
在一个实施例中,所述处理器801,调用所述存储装置802中存储的程序指令,用于对获取的目标图像进行对象区域识别处理,得到在所述目标图像中的预测区域;调用图像对象识别模型对所述预测区域中的子图像区域进行图像对象识别,确定各子图像区域是否属于待识别的图像对象;根据图像对象识别的识别结果确定所述目标图像中的图像对象区域,其中,所述识别结果包括:用于记录属于待识别的图像对象的子图像区域的结果信息。
在一个实施例中,所述处理器801,用于调用图像对象预测模型对所述目标图像进行区域预测,确定初始区域;根据区域扩展规则,对所述初始区域在所述目标图像中的位置进行调整,得到预测区域。
在一个实施例中,所述处理器801,用于调用图像对象预测模型对所述目标图像进行区域预测,并获取所述图像对象预测模型经过预测后输出的区域几何特征参数;根据所述区域几何特征参数确定初始区域;所述初始区域包括矩形区域,所述区域几何特征参数包括:偏移量信息、高度信息和宽度信息;所述偏移量信息包括:矩形区域的区域中心与目标图像的图像中心的偏移量,所述高度信息包括:矩形区域的高度相对于所述目标图像的高度的比例,所述宽度信息包括:矩形区域的宽度相对于所述目标图像的宽度的比例。
在一个实施例中,所述处理器801,用于根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则;按照区域扩展规则确定第一更新几何参数;按照第一更新几何参数对所述初始区域在所述目标图像中的位置进行调整,得到预测区域。
在一个实施例中,所述处理器801,用于当根据所述区域几何特征参数确定的初始区域面积满足面积条件时,根据所述目标图像的几何参数确定第二更新几何参数;按照所述第二更新几何参数对所述初始区域在所述目标图像中的位置进行调整得到预测区域;当根据所述区域几何特征参数确定的初始区域面积不满足面积条件时,执行所述根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则。
在一个实施例中,所述初始区域面积满足面积条件包括:所述初始区域面积与所述目标图像的面积之间的比值大于预设的面积比例阈值。
在一个实施例中,所述处理器801,用于根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;若宽度值大于高度值的N倍,则选择第一区域扩展规则,所述N为大于1的正数;按照第一区域扩展规则,将所述初始区域的宽度值作为第一更新几何参数的宽度值;按照第一区域扩展规则,将在初始区域的高度值的基础上,扩展第一预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值。
在一个实施例中,所述处理器801,用于根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;若宽度值大于高度值、但宽度值小于或等于高度值的N倍,则选择第二区域扩展规则,N为大于1的正数;按照第二区域扩展规则,将在初始区域的高度值的基础上,扩展第二预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值;按照第二区域扩展规则,将在初始区域的宽度值的基础上,扩展第三预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值且小于第二宽度阈值。
在一个实施例中,所述处理器801,用于根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;若高度值大于宽度值的M倍,则选择第三区域扩展规则,所述M为大于1的正数;按照第三区域扩展规则,将所述初始区域的高度值作为第一更新几何参数的高度值;按照第三区域扩展规则,将在初始区域的宽度值的基础上,扩展第四预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值且小于第二宽度阈值。
在一个实施例中,所述处理器801,用于根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;若高度值大于宽度值、且高度值小于或等于宽度值的M倍,则选择第四区域扩展规则,所述M为大于1的正数;按照第四区域扩展规则,将在初始区域的高度值的基础上,扩展第五预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值;按照第四区域扩展规则,将在初始区域的宽度值的基础上,扩展第六预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值且小于第二宽度阈值。
在一个实施例中,所述子图像区域是所述预测区域中的一个像素点所在的区域;所述处理器801,用于调用图像对象识别模型对所述预测区域中的各个像素点进行图像对象识别,确定所述预测区域中的各像素点属于待识别的图像对象的概率;其中,概率值大于或等于预设阈值的像素点属于待识别的图像对象;所述图像对象识别的识别结果为一根据得到的概率确定的所述预测区域对应的概率图。
本发明实施例中的所述处理器801的具体实现可参考前述方法实施例中相关内容的描述,在此不赘述。本申请先检测头发等图像对象所在区域的大致初始区域,后在进行初始区域精细扩展的策略,可较好地减少图像对象区域的漏检和误检,提高从图像中识别图像对象的效率,整体方案可行性强,成本低,精度高。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (12)
1.一种图像对象的识别处理方法,其特征在于,包括:
利用人脸识别技术对获取的目标图像进行人脸识别确定人脸区域,并将人脸区域确定为初始区域,若未检测到人脸区域,则调用图像对象预测模型对获取的目标图像进行区域预测,确定初始区域;
根据区域扩展规则,对所述初始区域在所述目标图像中的位置进行调整,得到预测区域;
调用图像对象识别模型对所述预测区域中的子图像区域进行图像对象识别,确定各子图像区域是否属于待识别的图像对象;待识别的图像对象为头发图像对象,所述图像对象识别模型用于分割得到预测区域中的头发图像对象所在的区域,通过所述图像对象识别模型得到与预测区域的尺寸相同的概率图,概率图上的概率值是指对应的像素点属于头发图像对象的概率;
根据图像对象识别的识别结果确定所述目标图像中的图像对象区域,其中,所述识别结果包括:用于记录属于待识别的图像对象的子图像区域的结果信息;
所述根据区域扩展规则,对所述初始区域在所述目标图像中的位置进行调整,得到预测区域,包括:
根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则;其中,根据区域几何特征参数被允许选择不同的区域扩展规则以便于根据不同的区域扩展规则来确定第一更新几何参数;并且,在选择对应的区域扩展规则时,是根据基于所述初始区域的区域几何特征参数计算得到的所述初始区域的宽度值、基于所述初始区域的区域几何特征参数计算得到的所述初始区域的高度值之间的比值来进行的;
按照区域扩展规则确定第一更新几何参数;
按照第一更新几何参数对所述初始区域在所述目标图像中的位置进行调整,得到预测区域;
所述子图像区域是所述预测区域中的一个像素点所在的区域;所述调用图像对象识别模型对所述预测区域中的子图像区域进行图像对象识别,确定各子图像区域是否属于待识别的图像对象,包括:
调用图像对象识别模型对所述预测区域中的各个像素点进行图像对象识别,确定所述预测区域中的各像素点属于待识别的图像对象的概率;其中,概率值大于或等于预设阈值的像素点属于待识别的图像对象;
所述图像对象识别的识别结果为一根据得到的概率确定的所述预测区域对应的概率图。
2.如权利要求1所述的方法,其特征在于,所述调用图像对象预测模型对获取的目标图像进行区域预测,确定初始区域,包括:
调用图像对象预测模型对获取的目标图像进行区域预测,并获取所述图像对象预测模型经过预测后输出的区域几何特征参数;
根据所述区域几何特征参数确定初始区域;
所述初始区域包括矩形区域,所述区域几何特征参数包括:偏移量信息、高度信息和宽度信息;
所述偏移量信息包括:矩形区域的区域中心与目标图像的图像中心的偏移量,所述高度信息包括:矩形区域的高度相对于所述目标图像的高度的比例,所述宽度信息包括:矩形区域的宽度相对于所述目标图像的宽度的比例。
3.如权利要求1所述的方法,其特征在于,所述根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则之前,还包括:
当根据所述区域几何特征参数确定的初始区域面积满足面积条件时,根据所述目标图像的几何参数确定第二更新几何参数;
按照所述第二更新几何参数对所述初始区域在所述目标图像中的位置进行调整得到预测区域;
当根据所述区域几何特征参数确定的初始区域面积不满足面积条件时,执行所述根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则。
4.如权利要求3所述的方法,其特征在于,所述初始区域面积满足面积条件包括:所述初始区域面积与所述目标图像的面积之间的比值大于预设的面积比例阈值。
5.如权利要求2-4任一项所述的方法,其特征在于,所述根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则,包括:
根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;
若宽度值大于高度值的N倍,则选择第一区域扩展规则,所述N为大于1的正数;
所述按照区域扩展规则确定第一更新几何参数包括:
按照第一区域扩展规则,将所述初始区域的宽度值作为第一更新几何参数的宽度值;
按照第一区域扩展规则,将在初始区域的高度值的基础上,扩展第一预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值。
6.如权利要求2-4任一项所述的方法,其特征在于,所述根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则,包括:
根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;
若宽度值大于高度值、但宽度值小于或等于高度值的N倍,则选择第二区域扩展规则,N为大于1的正数;
所述按照区域扩展规则确定第一更新几何参数包括:
按照第二区域扩展规则,将在初始区域的高度值的基础上,扩展第二预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值;
按照第二区域扩展规则,将在初始区域的宽度值的基础上,扩展第三预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值且小于第二宽度阈值。
7.如权利要求2-4任一项所述的方法,其特征在于,所述根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则,包括:
根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;
若高度值大于宽度值的M倍,则选择第三区域扩展规则,所述M为大于1的正数;
所述按照区域扩展规则确定第一更新几何参数包括:
按照第三区域扩展规则,将所述初始区域的高度值作为第一更新几何参数的高度值;
按照第三区域扩展规则,将在初始区域的宽度值的基础上,扩展第四预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值且小于第二宽度阈值。
8.如权利要求2-4任一项所述的方法,其特征在于,所述根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则,包括:
根据所述初始区域的区域几何特征参数计算得到所述初始区域的宽度值、根据所述初始区域的区域几何特征参数计算得到所述初始区域的高度值;
若高度值大于宽度值、且高度值小于或等于宽度值的M倍,则选择第四区域扩展规则,所述M为大于1的正数;
所述按照区域扩展规则确定第一更新几何参数包括:
按照第四区域扩展规则,将在初始区域的高度值的基础上,扩展第五预设比例后得到的更新高度值作为第一更新几何参数的高度值,其中,更新高度值大于第一高度阈值且小于第二高度阈值;
按照第四区域扩展规则,将在初始区域的宽度值的基础上,扩展第六预设比例后得到的更新宽度值作为第一更新几何参数的宽度值,其中,更新宽度值大于第一宽度阈值且小于第二宽度阈值。
9.一种图像对象的识别处理装置,其特征在于,包括:
预测模块,用于利用人脸识别技术对获取的目标图像进行人脸识别确定人脸区域,并将人脸区域确定为初始区域,若未检测到人脸区域,则调用图像对象预测模型对获取的目标图像进行区域预测,确定初始区域;根据区域扩展规则,对所述初始区域在所述目标图像中的位置进行调整,得到预测区域;
识别模块,用于调用图像对象识别模型对所述预测区域中的子图像区域进行图像对象识别,确定各子图像区域是否属于待识别的图像对象;待识别的图像对象为头发图像对象,所述图像对象识别模型用于分割得到预测区域中的头发图像对象所在的区域,通过所述图像对象识别模型得到与预测区域的尺寸相同的概率图,概率图上的概率值是指对应的像素点属于头发图像对象的概率;
确定模块,用于根据图像对象识别的识别结果确定所述目标图像中的图像对象区域,其中,所述识别结果包括:用于记录属于待识别的图像对象的子图像区域的结果信息;
所述预测模块,在用于根据区域扩展规则,对所述初始区域在所述目标图像中的位置进行调整,得到预测区域时,用于根据所述初始区域的区域几何特征参数,选择对应的区域扩展规则;按照区域扩展规则确定第一更新几何参数;按照第一更新几何参数对所述初始区域在所述目标图像中的位置进行调整,得到调整后的预测区域;其中,根据区域几何特征参数被允许选择不同的区域扩展规则以便于根据不同的区域扩展规则来确定第一更新几何参数;并且,在选择对应的区域扩展规则时,是根据基于所述初始区域的区域几何特征参数计算得到的所述初始区域的宽度值、基于所述初始区域的区域几何特征参数计算得到的所述初始区域的高度值之间的比值来进行的;
所述子图像区域为所述预测区域中的一个像素点所在的区域;所述识别模块,用于调用图像对象识别模型对所述预测区域中的各个像素点进行图像对象识别,确定所述预测区域中的各像素点属于待识别的图像对象的概率;其中,概率值大于或等于预设阈值的像素点属于待识别的图像对象;所述图像对象识别的识别结果为一根据得到的概率确定的所述预测区域对应的概率图。
10.一种智能设备,其特征在于,包括存储装置和处理器,所述存储装置中存储有程序指令,所述处理器调用所述程序指令,用于实现如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有程序指令,该程序指令被执行时,如权利要求1-8任一项所述的方法将被实现。
12.一种计算机程序产品,包括计算机 /指令,其特征在于,该计算机程序/指令被处理器执行时,实现如权利要求1-8任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911379526.4A CN111160240B (zh) | 2019-12-27 | 2019-12-27 | 图像对象的识别处理方法、装置及智能设备、存储介质 |
CN202410601429.XA CN118334320A (zh) | 2019-12-27 | 2019-12-27 | 图像对象的识别处理方法、装置及设备、存储介质、产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911379526.4A CN111160240B (zh) | 2019-12-27 | 2019-12-27 | 图像对象的识别处理方法、装置及智能设备、存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410601429.XA Division CN118334320A (zh) | 2019-12-27 | 2019-12-27 | 图像对象的识别处理方法、装置及设备、存储介质、产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111160240A CN111160240A (zh) | 2020-05-15 |
CN111160240B true CN111160240B (zh) | 2024-05-24 |
Family
ID=70558573
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911379526.4A Active CN111160240B (zh) | 2019-12-27 | 2019-12-27 | 图像对象的识别处理方法、装置及智能设备、存储介质 |
CN202410601429.XA Pending CN118334320A (zh) | 2019-12-27 | 2019-12-27 | 图像对象的识别处理方法、装置及设备、存储介质、产品 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410601429.XA Pending CN118334320A (zh) | 2019-12-27 | 2019-12-27 | 图像对象的识别处理方法、装置及设备、存储介质、产品 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN111160240B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113763228B (zh) * | 2020-06-01 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111652144B (zh) * | 2020-06-03 | 2023-09-26 | 广东小天才科技有限公司 | 基于目标区域融合的题目分割方法、装置、设备和介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102973231A (zh) * | 2011-07-29 | 2013-03-20 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
US20160307054A1 (en) * | 2013-11-14 | 2016-10-20 | Clarion Co., Ltd | Surrounding Environment Recognition Device |
CN107786904A (zh) * | 2017-10-30 | 2018-03-09 | 深圳Tcl数字技术有限公司 | 画面放大方法、显示设备及计算机可读存储介质 |
JP2018124689A (ja) * | 2017-01-31 | 2018-08-09 | 株式会社日立製作所 | 移動物体検出装置、移動物体検出システム、及び移動物体検出方法 |
CN108460389A (zh) * | 2017-02-20 | 2018-08-28 | 阿里巴巴集团控股有限公司 | 一种识别图像中对象的类型预测方法、装置及电子设备 |
CN109166261A (zh) * | 2018-10-11 | 2019-01-08 | 平安科技(深圳)有限公司 | 基于图像识别的图像处理方法、装置、设备及存储介质 |
CN109977949A (zh) * | 2019-03-20 | 2019-07-05 | 深圳市华付信息技术有限公司 | 边框微调的文本定位方法、装置、计算机设备及存储介质 |
CN110175980A (zh) * | 2019-04-11 | 2019-08-27 | 平安科技(深圳)有限公司 | 图像清晰度识别方法、图像清晰度识别装置及终端设备 |
-
2019
- 2019-12-27 CN CN201911379526.4A patent/CN111160240B/zh active Active
- 2019-12-27 CN CN202410601429.XA patent/CN118334320A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102973231A (zh) * | 2011-07-29 | 2013-03-20 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
US20160307054A1 (en) * | 2013-11-14 | 2016-10-20 | Clarion Co., Ltd | Surrounding Environment Recognition Device |
JP2018124689A (ja) * | 2017-01-31 | 2018-08-09 | 株式会社日立製作所 | 移動物体検出装置、移動物体検出システム、及び移動物体検出方法 |
CN108460389A (zh) * | 2017-02-20 | 2018-08-28 | 阿里巴巴集团控股有限公司 | 一种识别图像中对象的类型预测方法、装置及电子设备 |
CN107786904A (zh) * | 2017-10-30 | 2018-03-09 | 深圳Tcl数字技术有限公司 | 画面放大方法、显示设备及计算机可读存储介质 |
CN109166261A (zh) * | 2018-10-11 | 2019-01-08 | 平安科技(深圳)有限公司 | 基于图像识别的图像处理方法、装置、设备及存储介质 |
CN109977949A (zh) * | 2019-03-20 | 2019-07-05 | 深圳市华付信息技术有限公司 | 边框微调的文本定位方法、装置、计算机设备及存储介质 |
CN110175980A (zh) * | 2019-04-11 | 2019-08-27 | 平安科技(深圳)有限公司 | 图像清晰度识别方法、图像清晰度识别装置及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN118334320A (zh) | 2024-07-12 |
CN111160240A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4156017A1 (en) | Action recognition method and apparatus, and device and storage medium | |
CN110929569B (zh) | 人脸识别方法、装置、设备及存储介质 | |
CN108345892B (zh) | 一种立体图像显著性的检测方法、装置、设备及存储介质 | |
CN111814902A (zh) | 目标检测模型训练方法、目标识别方法、装置和介质 | |
US20140334736A1 (en) | Face recognition method and device | |
CN109543548A (zh) | 一种人脸识别方法、装置及存储介质 | |
CN112419170A (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
CN109344742A (zh) | 特征点定位方法、装置、存储介质和计算机设备 | |
CN111275034B (zh) | 从图像中提取文本区域的方法、装置、设备和存储介质 | |
CN112102340B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN110176024B (zh) | 在视频中对目标进行检测的方法、装置、设备和存储介质 | |
CN106650615B (zh) | 一种图像处理方法及终端 | |
CN110245621B (zh) | 人脸识别装置及图像处理方法、特征提取模型、存储介质 | |
JP2011053951A (ja) | 画像処理装置 | |
CN111160240B (zh) | 图像对象的识别处理方法、装置及智能设备、存储介质 | |
WO2022194079A1 (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
CN111179287A (zh) | 人像实例分割方法、装置、设备及存储介质 | |
CN112001285B (zh) | 一种美颜图像的处理方法、装置、终端和介质 | |
CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
CN112766028B (zh) | 人脸模糊处理方法、装置、电子设备及存储介质 | |
CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN113221842A (zh) | 模型训练方法、图像识别方法、装置、设备及介质 | |
CN112950641B (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN115984977A (zh) | 活体检测方法和系统 | |
CN114038030A (zh) | 图像篡改识别方法、设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |