CN114332977A - 关键点检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种关键点检测方法、装置、电子设备及存储介质，涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域，具体可用于智慧城市和智能交通场景下。具体实现方案为：获取待检测图像，其中，待检测图像中包括至少一个待检测目标；获取待检测图像对应的关键点热力图；基于关键点热力图，获取待检测目标的候选关键点；对候选关键点进行坐标回归，获取待检测目标的目标关键点。本公开中在热力图输出的坐标信息上通过坐标回归进一步提高了车辆关键点检测的精度，使得输出的车辆关键点信息既具有较好的空间泛化能力，又具有较高的定位精度。

Description

关键点检测方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域，具体可用于智慧城市和智能交通场景下。

背景技术

在图像识别的场景中，获取到图像中目标对象的关键点可以进一步识别出目标对象的状态信息，为多种应用提供信息支持。但是在相关技术中，关键点检测基本上为通过神经网络进行，检测精度不够高，无法提供准确的关键点信息。

发明内容

本公开提供了一种关键点检测方法、装置、电子设备以及存储介质、计算机程序产品。

根据本公开的一方面，提供了一种关键点检测方法，包括：

获取待检测图像，其中，待检测图像中包括至少一个待检测目标；

获取待检测图像对应的关键点热力图；

基于关键点热力图，获取待检测目标的候选关键点；

对候选关键点进行坐标回归，获取待检测目标的目标关键点。

本公开实施例中在热力图输出的坐标信息上通过坐标回归进一步提高了车辆关键点检测的精度，使得输出的车辆关键点信息既具有较好的空间泛化能力，又具有较高的定位精度。

根据本公开的另一方面，提供了一种关键点检测装置，包括：

图像获取模块，用于获取待检测图像，其中，待检测图像中包括至少一个待检测目标；

热力图模块，用于获取待检测图像对应的关键点热力图；

候选关键点模块，用于基于关键点热力图，获取待检测目标的候选关键点；

坐标回归模块，用于对候选关键点进行坐标回归，获取待检测目标的目标关键点。

根据本公开的另一方面，提供了一种电子设备，包括至少一个处理器，以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一个方面实施例的关键点检测方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一个方面实施例的关键点检测方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一个方面实施例的关键点检测方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一个实施例的关键点检测方法的流程图；

图2是根据本公开一个实施例的关键点检测方法的流程图；

图3是关键点检测模型的示意图；

图4是根据本公开一个实施例的关键点检测方法的流程图；

图5是根据本公开一个实施例的关键点检测装置的结构图；

图6是用来实现本公开实施例的关键点检测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了方便对本公开的理解，下面首先对本公开涉及的技术领域进行简单解释说明。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。

深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

智慧城市是运用物联网、云计算、大数据、空间地理信息集成等新一代信息集成技术，促进城市规划、建设、管理和服务智慧化的新理论和新模式。

智能交通是将先进的信息技术、数据通讯传输技术、电子传感技术、控制技术及计算机技术等有效地集成运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合交通运输管理技术。

图1是根据本公开一个实施例的关键点检测方法的流程图，如图1所示，该方法包括以下步骤：

S101，获取待检测图像，其中，待检测图像中包括至少一个待检测目标。

本公开实施例中，待检测图像可以为预先采集的图像，也可以为实时采集的图像，图像中包括至少一个待检测目标。可选地，待检测图像可以是彩色图像或是灰度图像。

可选地，待检测目标为可以为车辆、手势、人脸或其他的待检测物品。

在一些实现中，基于道路上的摄像头采集车辆图像，对道路上的车辆进行关键点检测，用于判断车辆有无违规行为，以及采集违规车辆的信息。

在另一些实现中，基于手机上的摄像头采集人脸图像，对人脸进行关键点检测，用于判断图像中的人脸是否为本人。

在另一些实现中，基于手机上的摄像头采集手势图像，对手势进行关键点检测，用于识别手势代表的操作信息，进而对手机进行操作。

S102，获取待检测图像对应的关键点热力图。

在获取到待检测图像后，可以对待检测图像进行特征提取，获取该待检测图像的特征图，获取到特征图后，可以基于特征图进行关键点检测，基于生成的关键点获取到待检测图像对应的关键点热力图。

可选地，特征图中主要包含图像的颜色特征、纹理特征、形状特征和空间关系特征。可选地，基于特征提取网络对待检测图像进行特征提取，以生成待检测图像的特征图，例如可以采用efficientnet-B1作为特征提取网络，或者，还可以采用SENet作为特征提取网络等，本公开对此不做限定。

关键点热力图反映了待检测目标中最能代表该目标的特征点的位置，例如车辆的特征点为四个轮胎的接地点和车辆的中心点，人脸的特征点为面部五官的位置点。在热力图中，越靠近特征点的位置颜色越深越鲜艳。

S103，基于关键点热力图，获取待检测目标的候选关键点。

关键点热力图上的每个像素点都有热力值，有的像素点热力值较大，有的像素点热力值较小。为了从众多关键点中筛选出多个候选关键点，得到更加精确的关键点坐标，需要对关键点进行非极大值抑制，从关键点热力图中识别局部最大热力值，并将局部最大热力值对应的关键点确定为候选关键点。

其中，局部的大小范围可以根据最终得到的关键点的坐标精度而确定和调整。

S104，对候选关键点进行坐标回归，获取待检测目标的目标关键点。

为了提高关键点的识别精度，在获取到候选关键点后，需要对候选关键点进行坐标回归。通过坐标回归可以得到候选关键点的偏移量，该偏移量能够反映出候选关键点与对应的真实关键点之间的误差，基于偏移量可以得到待检测目标的目标关键点。

本公开实施例中，获取待检测图像，其中，待检测图像中包括至少一个待检测目标，获取待检测图像对应的关键点热力图，基于关键点热力图，获取待检测目标的候选关键点，对候选关键点进行坐标回归，获取待检测目标的目标关键点。本公开实施例中在热力图输出的坐标信息上通过坐标回归进一步提高了车辆关键点检测的精度，使得输出的车辆关键点信息既具有较好的空间泛化能力，又具有较高的定位精度。

图2是根据本公开一个实施例的关键点检测方法的流程图，在上述实施例的基础上，进一步结合图2，对将候选关键点进行坐标回归，获取待检测目标的目标关键点的过程进行解释说明，包括以下步骤：

S201，对候选关键点进行坐标回归，确定候选关键点的偏移量。

将候选关键点输入坐标回归网络，坐标回归网络中包含全连接层，全连接层的每一个结点都与上一层的所有节点相连，用来把前边提取到的特征综合起来。由坐标回归网络进行全连接操作，可以输出候选关键点对应的偏移量。

S202，将候选关键点与偏移量相加，得到目标关键点。

偏移量即为候选关键点坐标与真实坐标之间的误差，将候选关键点的坐标与偏移量相加，即可对候选关键点的坐标进行修正，得到更加准确的目标关键点。

本公开实施例中，对候选关键点进行坐标回归，确定候选关键点的偏移量，将候选关键点与偏移量相加，得到目标关键点。本公开实施例中通过坐标回归得到了候选关键点与真实值的偏移量，进一步提高了关键点检测的精度。

在上述实施例的基础上，获取待检测图像对应的关键点热力图的过程包括：将待检测图像输入热力图生成网络，由热力图生成网络提取待检测图像的特征图，并基于特征图预测关键点热力图。可选地，热力图生成网络可以为一个卷积神经网络，该卷积神经网络中包括特征提取层，由特征提取层提取待检测图像的特征图，其中，特征提取层可以包括多个卷积层。在获取到特征图后继续进行卷积处理，生成待检测图像的关键点热力图。

在上述实施例的基础上，关键点检测模型可以包括：热力图生成网络和坐标回归网络，如图3所示。其中，热力图生成网络为卷积神经网络，可以包括特征提取层和激活层，坐标回归网络为一个全连接层。

其中，热力图生成网络根据特征图中的形状特征与空间关系特征识别出图中包含几个待检测目标以及待检测目标的位置，进一步识别出待检测目标的检测框。

检测框可以将待检测目标完整的框起来，一个待检测目标对应一个检测框，并且检测框的大小会根据待检测目标的大小而改变，使检测框中不会包含过多非待检测目标的内容。一般情况下，检测框为长方形或正方形。

因为整个方法是基于单目标的，所以在生成热力图之前，需要先得到一个检测框，检测框中只包含一个待检测目标，然后对检测框内预测热力图。如果图像中包含多个待检测目标，可选地，可以从中选取想要获取关键点的目标待检测目标，如果选取了多个目标，则会在得到其中一个目标的目标关键点之后，再获取另一个目标的检测框生成热力图，进而生成目标关键点。

其中，响应值大的像素点，颜色更加鲜艳明亮，响应值越小，颜色根据色谱图中的顺序从暖到冷依次递减。在响应值特别微弱的区域，可以不用叠加颜色区块。

可选地，响应值的大小可以根据响应区域内像素点与检测框中心点的距离而确定，距离检测框中心点近的像素点响应值大，距离检测框中心点远的像素点响应值小。

可选地，响应值的大小可以根据实际情况中待检测目标的特征点而确定，距离特征点近的像素点响应值大，距离特征点远的像素点响应值小。其中，一个待检测目标至少有一个特征点，特征点可以根据待检测目标的种类而确定。例如车辆的特征点可以是车辆的四个轮胎的接地点与车辆的中心点，手的特征点可以是手部的关节点。

当进行车辆关键点检测时，待检测图像中包括车辆，输出的关键点包括车辆四个轮胎的接地点以及车辆的中心点。

当进行人脸关键点检测时，待检测图像中包括人脸，输出的关键点包括五官的位置点和人脸的轮廓点。

当进行手势关键点检测时，待检测图像中包括手势，输出的关键点包括手部的关节点和手掌的中心点。

本公开实施例中构建了关键点检测模型，使关键点检测的过程更加方便以及流程化。

图4是根据本公开一个关键点检测模型的训练方法的流程图。在上述实施例的基础之上，进一步结合图4，对关键点检测模型的训练过程进行解释说明，包括以下步骤：

S401，获取样本图像和样本图像的标注关键点。

获取样本待检测图像和图像中待检测目标的关键点的真实坐标作为标注关键点。

S402，将样本图像输入热力图生成网络中，提取样本图像的样本特征图。

S403，基于样本特征图，预测样本图像的样本预测热力图。

S404，通过样本预测热力图上获取样本图像的样本候选关键点。

S405，将样本候选关键点输入坐标回归网络进行坐标回归，获取样本图像的预测关键点。

步骤S402～S405的具体实现可以参见本公开各实施例中相关介绍，此处不再赘述。

S406，获取样本图像的预测关键点和标注关键点，确定损失函数。

在获取到预测关键点后，可以获取预测关键点与对应的标注关键点坐标之间的均方根误差，作为该关键点检测模型的损失函数。

均方根误差的计算方法是先平方、再平均、然后开方，它的大小可以说明数据之间的离散程度。获取预测关键点与对应的标注关键点坐标之间的均方根误差，误差越大，证明预测关键点与标注关键点之间的不重合度越大。

S407，基于损失函数对关键点检测模型进行调整，并返回继续训练直至满足训练结束条件结束训练，以生成最终的关键点检测模型。

基于损失函数对构建的关键点检测模型进行参数调整与优化，并返回使用下一个样本图像和样本图像的标注关键点对调整后的关键点检测模型继续训练，直至满足训练结束条件。

可选地，当误差稳定或收敛，可以认为关键点检测模型达到训练设定次数，满足训练结束条件。可选地，当训练时长达到设定值，也可认为关键点检测模型达到训练设定次数，满足训练结束条件。

得到的损失函数数值越低，即证明构建的关键点检测模型性能越良好。直至得到与标注关键点数值一致的输出结果，训练结束，生成最终的关键点检测模型。

本公开实施例中，获取样本图像和样本图像的标注关键点，将样本图像输入特征提取网络中，提取样本图像的样本特征图，将样本特征图输入热力图生成网络，预测样本图像的样本预测热力图，通过样本预测热力图上获取样本图像的样本候选关键点，将样本候选关键点输入坐标回归网络进行坐标回归，获取样本图像的预测关键点，获取样本图像的预测关键点和标注关键点，确定损失函数，基于损失函数对关键点检测模型进行调整，并返回继续训练直至满足训练结束条件结束训练，以生成最终的关键点检测模型。本公开实施例中对关键点检测模型进行训练，降低了关键点检测模型的误差，得到了最好的模型，提高了关键点坐标的精确性。

图5是根据本公开一个实施例的关键点检测装置的结构图，如图5所示，关键点检测装置500包括：

图像获取模块510，用于获取待检测图像，其中，待检测图像中包括至少一个待检测目标；

热力图模块520，用于获取待检测图像对应的关键点热力图；

候选关键点模块530，用于基于关键点热力图，获取待检测目标的候选关键点；

坐标回归模块540，用于对候选关键点进行坐标回归，获取待检测目标的目标关键点。

本公开实施例中在热力图输出的坐标信息上通过坐标回归进一步提高了车辆关键点检测的精度，使得输出的车辆关键点信息既具有较好的空间泛化能力，又具有较高的定位精度。

需要说明的是，前述对关键点检测方法实施例的解释说明也适用于该实施例的关键点检测装置，此处不再赘述。

进一步地，在本公开实施例一种可能的实现方式中，候选关键点模块 530，还用于：从关键点热力图中识别局部最大热力值，并将局部最大热力值对应的关键点确定为候选关键点。

进一步地，在本公开实施例一种可能的实现方式中，坐标回归模块540，还用于：对候选关键点进行坐标回归，确定候选关键点的偏移量；将候选关键点与偏移量相加，得到目标关键点。

进一步地，在本公开实施例一种可能的实现方式中，热力图模块520，还用于：将待检测图像输入热力图生成网络，由热力图生成网络提取待检测图像的特征图，并基于特征图预测关键点热力图。

进一步地，在本公开实施例一种可能的实现方式中，坐标回归模块540，还用于：将候选关键点输入坐标回归网络，由坐标回归网络进行全连接操作，以输出候选关键点对应的偏移量。

进一步地，在本公开实施例一种可能的实现方式中，待检测图像中包括的待检测目标为待检测车辆。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在 RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元 601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O) 接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如关键点检测方法。例如，在一些实施例中，关键点检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM602 和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的关键点检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行关键点检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种关键点检测方法，其中，包括：

获取待检测图像，其中，所述待检测图像中包括至少一个待检测目标；

获取所述待检测图像对应的关键点热力图；

基于所述关键点热力图，获取所述待检测目标的候选关键点；

对所述候选关键点进行坐标回归，获取所述待检测目标的目标关键点。

2.根据权利要求1所述的方法，其中，所述基于所述关键点热力图，获取所述车辆的候选关键点，包括：

从所述关键点热力图中识别局部最大热力值，并将所述局部最大热力值对应的关键点确定为所述候选关键点。

3.根据权利要求1或2所述的方法，其中，所述对所述候选关键点进行坐标回归，获取所述待检测目标的目标关键点，包括：

对所述候选关键点进行坐标回归，确定所述候选关键点的偏移量；

将所述候选关键点与所述偏移量相加，得到所述目标关键点。

4.根据权利要求1或2所述的方法，其中，所述获取所述待检测图像对应的关键点热力图，包括：

将所述待检测图像输入热力图生成网络，由所述热力图生成网络提取所述待检测图像的特征图，并基于所述特征图预测所述关键点热力图。

5.根据权利要求4所述的方法，其中，所述对所述候选关键点进行坐标回归，获取所述待检测目标的目标关键点，包括：

将所述候选关键点输入坐标回归网络，由所述坐标回归网络进行全连接操作，以输出所述候选关键点对应的偏移量。

6.根据权利要求1所述的方法，其中，所述待检测图像中包括的所述待检测目标为待检测车辆。

7.一种关键点检测装置，其中，包括：

图像获取模块，用于获取待检测图像，其中，所述待检测图像中包括至少一个待检测目标；

热力图模块，用于获取所述待检测图像对应的关键点热力图；

候选关键点模块，用于基于所述关键点热力图，获取所述待检测目标的候选关键点；

坐标回归模块，用于对所述候选关键点进行坐标回归，获取所述待检测目标的目标关键点。

8.根据权利要求7所述的装置，其中，所述候选关键点模块，还用于：

从所述关键点热力图中识别局部最大热力值，并将所述局部最大热力值对应的关键点确定为所述候选关键点。

9.根据权利要求7或8所述的装置，其中，所述坐标回归模块，还用于：

对所述候选关键点进行坐标回归，确定所述候选关键点的偏移量；

将所述候选关键点与所述偏移量相加，得到所述目标关键点。

10.根据权利要求7或8所述的装置，其中，所述热力图模块，还用于：

将所述待检测图像输入热力图生成网络，由所述热力图生成网络提取所述待检测图像的特征图，并基于所述特征图预测所述关键点热力图。

11.根据权利要求10所述的装置，其中，所述坐标回归模块，还用于：

将所述候选关键点输入坐标回归网络，由所述坐标回归网络进行全连接操作，以输出所述候选关键点对应的偏移量。

12.根据权利要求7所述的装置，其中，所述待检测图像中包括的所述待检测目标为待检测车辆。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images