CN111461182A - 图像处理方法、图像处理装置及存储介质 - Google Patents

Abstract

本公开是关于图像处理方法、图像处理装置及存储介质，该方法包括：获取待处理图像；基于待处理图像通过图像分类器输出的类别信息选择至少一个类别，并基于类别信息确定至少一个类别中每一类别的热力图；针对至少一个类别的热力图中的每一类别热力图，分别确定待处理图像中与目标对象对应的第一定位框集合；根据无监督目标检测算法确定待处理图像的第二定位框集合；根据第一定位框集合以及第二定位框集合，确定待处理图像中的目标定位框集合，目标定位框用于表征目标对象在待处理图像中的位置。通过本公开的技术方案，将目标检测算法与深度学习算法相结合，数据获取难度低，数据标注量小，能够快速、准确地目标对象在所述待处理图像中的位置。

Description

图像处理方法、图像处理装置及存储介质

技术领域

本公开涉及图像理解技术领域，尤其涉及图像处理方法、图像处理装置以及存储介质。

背景技术

随着科技的飞速发展，社会已经进入了流媒体时代，视频和图像包含的信息量丰富，逐渐取代文字成为了人们获取信息的主要方式。为了更便捷地利用海量的图像文件获取信息，研究图像中包含的语义信息的图像理解技术，越来越受到重视，重要性日益提高。

传统的目标检测方法，识别效果差，对图像中的对象类别有限制，数据获取和标注难度很大，需要付出很大的人力和物力代价来达到满意的效果。

发明内容

为克服相关技术中存在的问题，本公开提供图像处理方法、图像处理装置以及存储介质。

根据本公开实施例的一方面，提供图像处理方法，图像处理方法包括：获取待处理图像；基于待处理图像通过图像分类器输出的类别信息选择至少一个类别，并基于类别信息确定至少一个类别中每一类别的热力图；针对至少一个类别的热力图中的每一类别热力图，分别确定待处理图像中与目标对象对应的第一定位框集合，其中每一类别热力图对应一个第一定位框集合；根据无监督目标检测算法确定待处理图像的第二定位框集合；根据第一定位框集合以及第二定位框集合，确定待处理图像中的目标定位框集合，目标定位框用于表征目标对象在待处理图像中的位置。

在一实施例中，类别信息包括待处理图像的类别置信度；基于待处理图像通过图像分类器输出的类别信息选择至少一个类别，包括：基于类别置信度从大到小的顺序，选择至少一个类别。

在一实施例中，类别信息包括待处理图像的类别特征向量；基于类别信息确定至少一个类别中每一类别的热力图，包括：针对至少一个类别中的每一类别，分别将待处理图像的类别特征向量以及图像分类器的内部神经网络权重相乘，得到热力图矩阵；对热力图矩阵进行二值化处理，得到至少一个类别中的每一类别的热力图。

在一实施例中，针对至少一个类别的热力图中的每一类别热力图，分别得到待处理图像中与目标对象对应的第一定位框集合，包括：利用滑窗遍历热力图矩阵，得到热力图矩阵中热力图响应值平均值最高的区域；在区域中确定热力图响应值平均值大于热力图响应值阈值的第一区域；以第一区域的区域中心为中心，确定热力图中目标对象的第一定位框。

在一实施例中，根据第一定位框集合以及第二定位框集合，确定待处理图像中的图像处理框集合，包括：在第二定位框集合中分别计算第二定位框相对于第一定位框的交并比，确定交并比大于设置的第一交并比阈值的候选定位框集合；对候选定位框集合中进行非极大值抑制处理，得到第三定位框；将第三定位框的边界点坐标映射到待处理图像中，确定待处理图像中的图像处理框集合。

在一实施例中，对候选定位框集合中进行非极大值抑制处理，得到第三定位框，包括：确定候选定位框集合中的第i个候选定位框的位置处的热力图矩阵中多个热力图响应值的平均值；在平均值集合中，确定最大平均值对应的第四定位框；在候选定位框集合中，剔除第五定位框，得到第三定位框，第五定位框与第四定位框的交并比大于设置的第二交并比阈值。

根据本公开实施例的又一方面，提供图像处理装置，图像处理装置包括：获取模块，用于获取待处理图像；确定模块，用于基于待处理图像通过图像分类器输出的类别信息选择至少一个类别，并基于类别信息确定至少一个类别中每一类别的热力图；针对至少一个类别的热力图中的每一类别热力图，分别确定待处理图像中与目标对象对应的第一定位框集合，其中每一类别热力图对应一个第一定位框集合；根据无监督目标检测算法确定待处理图像的第二定位框集合；根据第一定位框集合以及第二定位框集合，确定待处理图像中的目标定位框集合，目标定位框用于表征目标对象在待处理图像中的位置。

在一实施例中，类别信息包括待处理图像的类别置信度；基于待处理图像通过图像分类器输出的类别信息选择至少一个类别时，确定模块用于：基于类别置信度从大到小的顺序，选择待处理图像中包括的至少一个类别。

在一实施例中，类别信息包括待处理图像的类别特征向量；基于类别信息确定至少一个类别中每一类别的热力图时，确定模块用于：针对至少一个类别中的每一类别，分别将待处理图像的类别特征向量以及图像分类器的内部神经网络权重相乘，得到热力图矩阵；对热力图矩阵进行二值化处理，得到至少一个类别中的每一类别的热力图。

在一实施例中，针对至少一个类别的热力图中的每一类别热力图，分别得到待处理图像中与目标对象对应的第一定位框集合时，确定模块用于：利用滑窗遍历热力图矩阵，得到热力图矩阵中热力图响应值平均值最高的区域；在区域中确定热力图响应值平均值大于热力图响应值阈值的第一区域；以第一区域的区域中心为中心，确定热力图中目标对象的第一定位框。

在一实施例中，根据第一定位框集合以及第二定位框集合，确定待处理图像中的图像处理框集合时，确定模块用于：在第二定位框集合中分别计算第二定位框相对于第一定位框的交并比，确定交并比大于设置的第一交并比阈值的候选定位框集合；对候选定位框集合中进行非极大值抑制处理，得到第三定位框；将第三定位框的边界点坐标映射到待处理图像中，确定待处理图像中的图像处理框集合。

在一实施例中，对候选定位框集合中进行非极大值抑制处理，得到第三定位框时，确定模块用于：确定候选定位框集合中的第i个候选定位框的位置处的热力图矩阵中多个热力图响应值的平均值；在平均值集合中，确定最大平均值对应的第四定位框；在候选定位框集合中，剔除第五定位框，得到第三定位框，第五定位框与第四定位框的交并比大于设置的第二交并比阈值。

根据本公开实施例的又一方面，提供图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：执行前述任意一项的图像处理方法。

根据本公开实施例的又一个方面，提供非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述一项所述的图像处理方法。

本公开的实施例提供的技术方案可以包括以下有益效果：利用图像分类器确定目标对象的在待处理图像中的第一定位框以及根据目标检测算法得到待处理图像的第二定位框，将传统的目标检测算法与深度学习算法相结合，数据获取难度低，数据标注量小，能够快速、准确地目标对象在所述待处理图像中的位置。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据本公开一示例性实施例示出的一种图像处理方法的流程图。

图2是根据本公开又一示例性实施例示出的一种图像处理方法的流程图。

图3是根据本公开又一示例性实施例示出的一种图像处理方法的流程图。

图4是根据本公开又一示例性实施例示出的一种图像处理方法的流程图。

图5是根据本公开又一示例性实施例示出的一种图像处理方法的流程图。

图6是根据本公开一示例性实施例示出的一种图像处理装置框图。

图7是根据一示例性实施例示出的一种装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据本公开一示例性实施例示出的一种图像处理方法的流程图，如图1所示，图像处理方法包括以下步骤。

在步骤S101中，获取待处理图像。

待处理图像可以是通过终端图像采集设备实时获取、终端本地保存的图像、接收其他终端发送的图像，或来自网络下载的图像。待处理图像可以是一个，也可以是多个。

在本公开一实施例中，获取的待处理图像经过尺寸的归一化，经过归一化处理后的待处理图像通过图像分类器进行分类。例如，将待处理图像转化为高度、宽度上的像素数量为224×224。

在步骤S102中，基于待处理图像通过图像分类器输出的类别信息选择至少一个类别，并基于类别信息确定至少一个类别中每一类别的热力图。

图像分类器可以是利用收集的图像数据训练好的，也可以是使用现有的图像分类器，待处理图像通过图像分类器，图像分类器从给定的分类集合中给待处理图像分配一个类别标签，即图像分类器实现了分析输入的待处理图像返回待处理图像分类的标签。

图像分类器，例如可以是利用收集的图像数据训练的基于卷积神经网络(Convolutio nal Neural Networks,CNN)的图像分类器。基于CNN的图像分类器历经一系列卷积层、非线性层、池化层和完全连接层，最终得到输出结果，输出结果可以是描述了图像内容的一个单独分类或一组分类的概率。在本公开实施例中，图像分类器可以是Mobilenet、DenseNet、Mnasnet等分类模型，也可以是根据需要选取的合适的CNN神经网络模型，本公开对图像分类器的种类不做限定。

当收集的图像类别数为N时，图像分类器可以输出一个N维向量，N维向量的第i维度(i∈{1,2,3...N})表示分类器将这张图像分为第i类的置信度。

待处理图像通过图像分类器，可以输出待处理图像中包含的对象的类别信息，基于图像分类器输出的类别信息，选择至少一个类别。

热力图与待处理图像同样大小，表示待处理图像中所包含的对象的类别在每个像素上的响应。对于待处理图像，图像分类器会输出对应N个类别的值，取其中最大值，该最大值所对应的类别即为该图像最终的分类结果。

基于待处理图像通过图像分类器输出的类别信息，得到至少一个类别中每一个类别对应的热力图。

在步骤S103中，针对至少一个类别的热力图中的每一类别热力图，分别确定待处理图像中与目标对象对应的第一定位框集合，其中每一类别热力图对应一个第一定位框集合。

针对每一类别热力图，将热力响应值显著的区域显示在热力图中，在热力响应值显著的区域中寻找连通域，确定连通域的包围边框，包围边框的集合即待处理图像中与该类别目标对象对应的第一定位框集合。第一定位框的位置即利用深度学习算法确定的待处理图像中包括的目标对象的位置。

在步骤S104中，根据无监督目标检测算法确定待处理图像的第二定位框集合。

根据无监督目标检测算法，通过当前图像的特征获取检测框，无监督目标检测算法，例如，EdgeBox算法，利用结构化的方法检测待处理图像中目标对象的边缘，通过边缘点确定目标对象的轮廓，得到待处理图像的第二定位框集合。第二定位框的位置即根据无监督目标检测算法确定的目标对象的位置。

在本公开实施例中，可以是先根据热力图得到待处理图像中与目标对象对应的第一定位框集合，再根据无监督目标检测算法得到待处理图像的第二定位框集合。也可以是先根据无监督目标检测算法得到待处理图像的第二定位框集合，再根据热力图得到待处理图像中与目标对象对应的第一定位框集合。还可以是同步进行根据热力图得到待处理图像中与目标对象对应的第一定位框集合，及根据无监督目标检测算法得到待处理图像的第二定位框集合。本公开对确定第一定位框集合，以及确定第二定位框集合的顺序不做限定。

在步骤S105中，根据第一定位框集合以及第二定位框集合，确定待处理图像中的目标定位框集合，目标定位框用于表征目标对象在待处理图像中的位置。

第一定位框集合为基于深度神经网络分类算法确定的目标对象在待处理图像中的位置，将传统的目标检测算法与深度学习算法相结合

根据本公开的实施例，利用图像分类器确定目标对象的在待处理图像中的第一定位框以及根据目标检测算法得到待处理图像的第二定位框，将传统的目标检测算法与深度学习算法相结合，数据获取难度低，数据标注量小，能够快速、准确地目标对象在所述待处理图像中的位置。

在一实施例中，类别信息包括待处理图像的类别置信度，基于类别置信度从大到小的顺序，选择至少一个类别。

类别信息包括待处理图像的类别置信度，对于待处理图像，图像分类器会输出对应N个类别的类别置信度，取其中类别置信度的最大值，该最大值对应的类别即为该图像最终的分类结果。将类别置信度从大到小的顺序排序，选取待处理图像中包括的至少一个类别，可以减少数据的计算量，使目标定位的速度更快，提高图像处理的效率。

图2是根据本公开又一示例性实施例示出的一种图像处理方法的流程图，类别信息包括待处理图像的类别特征向量，如图2所示，图1中的步骤S102包括以下步骤。

在步骤S201中，针对至少一个类别中的每一类别，分别将待处理图像的类别特征向量以及图像分类器的内部神经网络权重相乘，得到热力图矩阵。

基于CNN的图像分类器，包括卷积层、非线性层、池化层和完全连接层，待处理图像经过图像分类器，最终得到输出结果。

图像分类器的输出结果前向推理，获取输出层前倒数第二层的卷积层输出的类别特征向量F，当待处理图像高度和宽度上的像素为224和224，F为224×224×k，其中，k为神经网络的通道数，可以理解地，待处理图像高度和宽度上的像素也可以其它像素值，类别特征向量F的表达式也随之变化。获取图像分类器的输出层前的全局平均池化层后的神经网络权重W，W为k×N的向量。将特征向量和权重进行矩阵乘法，获得维度为224×224×N的向量，取第i维(i∈{1,2,3...N})即为类别i的热力图矩阵，在此也称为第i类热力图矩阵。第i类热力图矩阵中，包括224×224个数值，热力图矩阵中的数值可以称为热力图响应值，表征该位置处对于第i类类别的目标对象的响应程度，即对第i类类别的目标对象的响应越大，数值就越大。

在步骤S202中，对热力图矩阵进行二值化处理，得到至少一个类别中的每一类别的热力图。

对每一类别对应的热力图矩阵进行二值化处理，即在224×224的矩阵中，将热力图响应值高于预设阈值的像素点设为255，热力图响应值低于预设阈值的像素点设为0，或者将热力图响应值高于预设阈值的像素点设为0，热力图响应值低于预设阈值的像素点设为255，预设阈值可以根据需要进行选择。根据二值化处理后的热力图，得到待处理图像每一类别的热力图。将类别置信度从大到小的顺序排序，选取置信度高的前k个类别，针对k个类别中的每一类别，分别得到每一类别的热力图。

在一实施例中，针对各类别热力图中的每一类别热力图，显著的将大于参数值的区域显示在224*224的图像上，这块区域框定出来，就是主体的位置分别得到待处理图像中与目标对象对应的第一定位框集合。将热力响应值显著的区域显示在热力图中，在热力响应值显著的区域中寻找连通域，确定连通域的包围边框，包围边框的集合即待处理图像中与目标对象对应的第一定位框集合，即在k个热力图中的每个热力图确定至少一个第一定位框。

图3是根据本公开又一示例性实施例示出的一种图像处理方法的流程图，如图3所示，图1中的步骤S103包括以下步骤。

在步骤S301中，利用滑窗遍历热力图矩阵，得到热力图矩阵中热力图响应值平均值最高的区域。

对每一类别对应的热力图矩阵，即在224×224的矩阵中，确定预设大小的滑动窗口，即滑窗，滑窗的大小可以是由用户根据需要自行定义，例如，可以是3×3、5×5或者其他尺寸的窗口。利用滑窗在待处理图像的热力图中，逐像素移动，遍历热力图矩阵，计算滑窗窗口内的热力图响应值的平均值，得到热力图矩阵中热力图响应值最高的区域。

在步骤S302中，在区域中确定热力图响应值平均值大于热力图响应值阈值的第一区域。

预设热力图响应值阈值，在区域中确定热力图响应值平均值大于热力图响应值阈值的区域为第一区域，可以理解地，第一区域可以是一个，也可以是多个。

在步骤S303中，以第一区域的区域中心为中心，确定热力图中目标对象的第一定位框。

第一区域的区域中心为该类别的目标对象的位置中心，以第一区域的区域中心为中心，将该中心映射回原待处理图像的尺寸，在待处理图像在确定热力图中目标对象的第一定位框。

图4是根据本公开又一示例性实施例示出的一种图像处理方法的流程图，如图4所示，图1中的步骤S105包括以下步骤。

在步骤S401中，在第二定位框集合中分别计算第二定位框相对于第一定位框的交并比，确定交并比大于设置的第一交并比阈值的候选定位框集合。

第二定位框集合为根据传统目标检测算法确定的目标对象在待处理图像中的位置，对于每一个第二定位框，计算其相对于第一定位框的交并比(Intersection overUnion，IoU)，

上式中，A为第一定位框，B为第二定位框，IoU即第一定位框与第二定位框面积的交集和第一定位框与第二定位框面积的并集的比值，反映了第一定位框与第二定位框的交叠率。

设定第一交并比阈值β，第二定位框集合中，IoU小于β的第二定位框，被认为和第一定位框的交叠率低，在候选定位框中被丢弃，确定IoU大于β的第二定位框的集合为候选定位框集合。

在步骤S402中，对候选定位框集合中进行非极大值抑制处理，得到第三定位框。

对候选定位框集合中的第二定位框进行非极大值抑制(Non-MaximumSuppression，NMS)处理，得到第三定位框。NMS是一种去除非极大值的算法，待处理图像中的候选定位框集合中，候选定位框之间可能有互相重叠的部分，利用NMS算法处理，保留最优的候选定位框，即第三定位框。

在步骤S403中，将第三定位框的边界点坐标映射到待处理图像中，确定待处理图像中的图像处理框集合。

将第三定位框的边界点坐标，经过尺寸的缩放，映射到待处理图像中，确定待处理图像中的图像处理框集合。

图5是根据本公开又一示例性实施例示出的一种图像处理方法的流程图，如图5所示，图4中的步骤S402包括以下步骤。

在步骤S501中，确定候选定位框集合中的第i个候选定位框的位置处的热力图矩阵中多个热力图响应值的平均值。

在候选定位框集合中，对于每个候选定位框，计算候选定位框范围内对应的热力图矩阵中，热力图响应值的平均值，得到每个候选定位框对应的热力图响应值的平均值的集合。

在步骤S502中，在平均值集合中，确定最大平均值对应的第四定位框。

在平均值集合中，确定该热力图响应值的平均值中的最大值，确定该最大平均值对应的第四定位框。

在步骤S503中，在候选定位框集合中，剔除第五定位框，得到第三定位框，第五定位框与第四定位框的交并比大于设置的第二交并比阈值。

设定第二交并比阈值α，在候选定位框集合中，去掉和第四定位框的IoU大于α的候选定位框。

在剔除后余下的候选定位框集合中，获取该热力图响应值的平均值中的次大值，确定该次大值对应的定位框，在候选定位框集合中去掉和此次大值对应的定位框的IoU大于α的定位框。以此直至得到待处理图像各局部区域的第三定位框。

图6是根据本公开一示例性实施例示出的一种图像处理装置框图。如图6所示，图像处理装置600包括：获取模块610和确定模块620。

获取模块610，用于获取待处理图像。

确定模块620，用于基于待处理图像通过图像分类器输出的类别信息选择至少一个类别，并基于类别信息确定至少一个类别中每一类别的热力图；针对至少一个类别的热力图中的每一类别热力图，分别确定待处理图像中与目标对象对应的第一定位框集合，其中每一类别热力图对应一个第一定位框集合；根据无监督目标检测算法确定待处理图像的第二定位框集合；根据第一定位框集合以及第二定位框集合，确定待处理图像中的目标定位框集合，目标定位框用于表征目标对象在待处理图像中的位置。

在一实施例中，类别信息包括待处理图像的类别置信度；基于待处理图像通过图像分类器输出的类别信息选择至少一个类别时，确定模块620用于：基于类别置信度从大到小的顺序，选择待处理图像中包括的至少一个类别。

在一实施例中，类别信息包括待处理图像的类别特征向量，基于类别信息确定至少一个类别中每一类别的热力图时，确定模块620用于：针对至少一个类别中的每一类别，分别将待处理图像的类别特征向量以及图像分类器的内部神经网络权重相乘，得到热力图矩阵；对热力图矩阵进行二值化处理，得到至少一个类别中的每一类别的热力图。

在一实施例中，针对至少一个类别的热力图中的每一类别热力图，分别得到待处理图像中与目标对象对应的第一定位框集合时，确定模块620用于：利用滑窗遍历热力图矩阵，得到热力图矩阵中热力图响应值最高的区域；在区域中确定热力图响应值大于热力图响应值阈值的第一区域；以第一区域的区域中心为中心，确定热力图中目标对象的第一定位框。

在一实施例中，根据第一定位框集合以及第二定位框集合，确定待处理图像中的图像处理框集合时，确定模块620用于：在第二定位框集合中分别计算第二定位框相对于第一定位框的交并比，确定交并比大于设置的第一交并比阈值的候选定位框集合；对候选定位框集合中进行非极大值抑制处理，得到第三定位框；将第三定位框的边界点坐标映射到待处理图像中，确定待处理图像中的图像处理框集合。

在一实施例中，对候选定位框集合中进行非极大值抑制处理，得到第三定位框时，确定模块620用于：确定候选定位框集合中的第i个候选定位框的位置处的热力图矩阵中多个热力图响应值的平均值；在平均值集合中，确定最大平均值对应的第四定位框；在候选定位框集合中，剔除第五定位框，得到第三定位框，第五定位框与第四定位框的交并比大于设置的第二交并比阈值。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种装置的框图。例如，图像处理控制装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，图像处理控制装置700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制图像处理装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在图像处理700的操作。这些数据的示例包括用于在图像处理装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件706为图像处理装置700的各种组件提供电力。电力组件706可以包括电源管理系统，一个或多个电源，及其他与为图像处理装置700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述图像处理装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还监测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当图像处理装置700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当图像处理装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为图像处理装置700提供各个方面的状态评估。例如，传感器组件714可以检测到图像处理装置700的打开/关闭状态，组件的相对定位，例如所述组件为图像处理装置700的显示器和小键盘，传感器组件714还可以检测图像处理装置700或图像处理装置700一个组件的位置改变，用户与图像处理装置700接触的存在或不存在，图像处理装置700方位或加速/减速和图像处理装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于图像处理装置700和其他设备之间有线或无线方式的通信。图像处理装置700可以接入基于通信标准的无线网络，如WiFi，2G或7G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，图像处理装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由图像处理装置700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；

基于所述待处理图像通过图像分类器输出的类别信息选择至少一个类别，并基于所述类别信息确定所述至少一个类别中每一类别的热力图；

针对所述至少一个类别的热力图中的每一类别热力图，分别确定所述待处理图像中与目标对象对应的第一定位框集合，其中每一类别热力图对应一个第一定位框集合；

根据无监督目标检测算法确定所述待处理图像的第二定位框集合；

根据所述第一定位框集合以及所述第二定位框集合，确定所述待处理图像中的目标定位框集合，所述目标定位框用于表征所述目标对象在所述待处理图像中的位置。

2.根据权利要求1所述的图像处理方法，其特征在于，所述类别信息包括所述待处理图像的类别置信度；

基于所述待处理图像通过图像分类器输出的类别信息选择至少一个类别，包括：

基于所述类别置信度从大到小的顺序，选择至少一个类别。

3.根据权利要求2所述的图像处理方法，其特征在于，所述类别信息包括所述待处理图像的类别特征向量；

基于所述类别信息确定所述至少一个类别中每一类别的热力图，包括：

针对所述至少一个类别中的每一类别，分别将所述待处理图像的类别特征向量以及所述图像分类器的内部神经网络权重相乘，得到热力图矩阵；

对所述热力图矩阵进行二值化处理，得到所述至少一个类别中的每一类别的热力图。

4.根据权利要求3所述的图像处理方法，其特征在于，针对所述至少一个类别的热力图中的每一类别热力图，分别得到所述待处理图像中与目标对象对应的第一定位框集合，包括：

利用滑窗遍历所述热力图矩阵，得到所述热力图矩阵中热力图响应值平均值最高的区域；

在所述区域中确定所述热力图响应值平均值大于热力图响应值阈值的第一区域；

以所述第一区域的区域中心为中心，确定所述热力图中所述目标对象的第一定位框。

5.根据权利要求1所述的图像处理方法，其特征在于，根据所述第一定位框集合以及所述第二定位框集合，确定所述待处理图像中的图像处理框集合，包括：

在所述第二定位框集合中分别计算所述第二定位框相对于所述第一定位框的交并比，确定所述交并比大于设置的第一交并比阈值的候选定位框集合；

对所述候选定位框集合中进行非极大值抑制处理，得到第三定位框；

将所述第三定位框的边界点坐标映射到所述待处理图像中，确定所述待处理图像中的图像处理框集合。

6.根据权利要求5所述的图像处理方法，其特征在于，对所述候选定位框集合中进行非极大值抑制处理，得到第三定位框，包括：

确定所述候选定位框集合中的第i个候选定位框的位置处的所述热力图矩阵中多个所述热力图响应值的平均值；

在所述平均值集合中，确定最大所述平均值对应的第四定位框；

在所述候选定位框集合中，剔除第五定位框，得到所述第三定位框，所述第五定位框与所述第四定位框的交并比大于设置的第二交并比阈值。

7.一种图像处理装置，其特征在于，所述图像处理装置包括：

获取模块，用于获取待处理图像；

确定模块，用于基于所述待处理图像通过图像分类器输出的类别信息选择至少一个类别，并基于所述类别信息确定所述至少一个类别中每一类别的热力图；针对所述至少一个类别的热力图中的每一类别热力图，分别确定所述待处理图像中与目标对象对应的第一定位框集合，其中每一类别热力图对应一个第一定位框集合；根据无监督目标检测算法确定所述待处理图像的第二定位框集合；根据所述第一定位框集合以及所述第二定位框集合，确定所述待处理图像中的目标定位框集合，所述目标定位框用于表征所述目标对象在所述待处理图像中的位置。

8.根据权利要求7所述的图像处理装置，其特征在于，所述类别信息包括所述待处理图像的类别置信度；

基于所述待处理图像通过图像分类器输出的类别信息选择至少一个类别时，所述确定模块用于：

基于所述类别置信度从大到小的顺序，选择所述待处理图像中包括的至少一个类别。

9.根据权利要求8所述的图像处理装置，其特征在于，所述类别信息包括所述待处理图像的类别特征向量；

基于所述类别信息确定所述至少一个类别中每一类别的热力图时，所述确定模块用于：

针对所述至少一个类别中的每一类别，分别将所述待处理图像的类别特征向量以及所述图像分类器的内部神经网络权重相乘，得到热力图矩阵；

对所述热力图矩阵进行二值化处理，得到所述至少一个类别中的每一类别的热力图。

10.根据权利要求9所述的图像处理装置，其特征在于，针对所述至少一个类别的热力图中的每一类别热力图，分别得到所述待处理图像中与目标对象对应的第一定位框集合时，所述确定模块用于：

利用滑窗遍历所述热力图矩阵，得到所述热力图矩阵中热力图响应值平均值最高的区域；

在所述区域中确定所述热力图响应值平均值大于热力图响应值阈值的第一区域；

以所述第一区域的区域中心为中心，确定所述热力图中所述目标对象的第一定位框。

11.根据权利要求7所述的图像处理装置，其特征在于，根据所述第一定位框集合以及所述第二定位框集合，确定所述待处理图像中的图像处理框集合时，所述确定模块用于：

在所述第二定位框集合中分别计算所述第二定位框相对于所述第一定位框的交并比，确定所述交并比大于设置的第一交并比阈值的候选定位框集合；

对所述候选定位框集合中进行非极大值抑制处理，得到第三定位框；

将所述第三定位框的边界点坐标映射到所述待处理图像中，确定所述待处理图像中的图像处理框集合。

12.根据权利要求11所述的图像处理装置，其特征在于，对所述候选定位框集合中进行非极大值抑制处理，得到第三定位框时，所述确定模块用于：

确定所述候选定位框集合中的第i个候选定位框的位置处的所述热力图矩阵中多个所述热力图响应值的平均值；

在所述平均值集合中，确定最大所述平均值对应的第四定位框；

在所述候选定位框集合中，剔除第五定位框，得到所述第三定位框，所述第五定位框与所述第四定位框的交并比大于设置的第二交并比阈值。

13.一种图像处理装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行权利要求1至6中任意一项所述的图像处理方法。

14.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行权利要求1至6中任意一项所述的图像处理方法。

Images