CN112639872A - 一种目标检测中难例挖掘的方法及装置 - Google Patents

Abstract

本申请实施例公开了一种目标检测中难例挖掘的方法及装置，涉及人工智能、智能汽车领域。能够更有效地实现目标检测中难例挖掘，更准确地提取出难例数据。该方法可以包括：使用预设的目标检测算法对待检测图像进行分析，获得待检测图像的检测结果；使用预设的单目标跟踪算法对待检测图像进行分析，获得待检测图像的跟踪结果；根据检测结果、跟踪结果以及预设规则，获取待检测图像中每个对象的判别结果，判别结果包括：匹配成功，漏检，误检，新出现和结束；将判别结果为漏检的对象确定为漏检难例，将判别结果为误检的对象确定为误检难例。

Description

一种目标检测中难例挖掘的方法及装置

技术领域

本申请涉及人工智能领域，尤其涉及一种目标检测中难例挖掘的方法及装置。

背景技术

现阶段无人驾驶、智慧医疗、智慧城市等被广泛关注，其需要使用基于数据驱动的深度学习目标检测算法分析图像信息。

基于数据驱动的深度学习目标检测算法是通过分析获取的图像，得到车辆、人等对象的位置信息、类别信息等信息的方法。目标检测算法通常包括训练与推理两个阶段。其中，训练阶段是算法学习数据的过程，推理阶段是利用训练阶段算法输出来分析图像中包含信息的阶段。推理阶段的分析结果可能正确或者错误。分析结果错误包括漏检与误检两种情况，发生漏检的对象即漏检难例，发生误检的对象即误检难例。示例性的，图1的(a)、(b)和(c)分别是在一帧道路图像中检测交通标志的检测结果。该道路图像中包括交通标志101、交通标志102和车辆103，车辆103上贴有车贴104。图1的(a)中，检测框1正确标注了交通标志101，检测框2正确标注了交通标志102；图1的(b)中，检测框1正确标注了交通标志101，未正确检测到交通标志102，即发生了漏检，该图像中交通标志102为漏检难例；图1的(c)中，检测框1正确标注了交通标志101，检测框2正确标注了交通标志102，检测框3标注了车贴104，即错误的将车贴104检测为交通标志，发生了误检，该图像中车贴104为误检难例。漏检难例和误检难例构成难例数据。使用难例数据加入到训练阶段是降低分析结果错误几率的有效方法。

难例挖掘就是提取难例数据集的方法。其目的是提取出漏检难例和误检难例。常用的难例挖掘方法分为两大类，一类是有监督难例挖掘方法，另一类是无监督难例挖掘方法。有监督难例挖掘方法需要使用大量的标签数据，而数据标注需要消耗大量人力；特别是在大规模数据情况下，成本非常高。在无监督难例挖掘方法中，如何实现有效的难例挖掘，更准确高效地提取出漏检难例和误检难例，是需要解决的一个问题。

发明内容

本申请实施例提供一种目标检测中难例挖掘的方法及装置，能够更有效地实现难例挖掘，更准确地提取出难例数据。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，本申请提供了一种目标检测中难例挖掘的方法及装置。

在一种可能的设计中，该方法可以包括：获取待检测图像；使用预设的目标检测算法对待检测图像进行分析，获得待检测图像的检测结果；使用预设的单目标跟踪算法对待检测图像进行分析，获得待检测图像的跟踪结果；根据检测结果、跟踪结果以及预设规则，获取待检测图像中每个对象的判别结果，判别结果包括：匹配成功，漏检，误检，新出现和结束；将判别结果为漏检的对象确定为漏检难例，将判别结果为误检的对象确定为误检难例。其中，检测结果包括：一个或多个检测对象的类别，一个或多个检测对象的检测位置，一个或多个检测对象的分类精度值；跟踪结果包括：一个或多个跟踪对象的跟踪位置，一个或多个跟踪对象的跟踪置信度；判别结果包括：匹配成功，漏检，误检，新出现和结束。

在该方法中，结合单目标跟踪算法和目标检测算法进行目标检测中的难例挖掘，将单目标跟踪算法的跟踪结果应用到目标检测的难例挖掘中，同时判别漏检难例和误检难例，可以更准确地提取漏检难例和误检难例，更有效地实现难例挖掘。

在一种可能的设计中，该方法包括：根据检测结果，跟踪结果以及预设的关联规则，获取待检测图像中第一对象的关联结果；根据初步判别规则和待检测图像中第一对象的关联结果，对待检测图像中第一对象进行初步判别，获得待检测图像中第一对象的初步判别结果；根据待检测图像中第一对象的初步判别结果确定待检测图像中第一对象的判别结果；其中，关联结果包括：匹配成功，第一关联结果，第二关联结果；初步判别结果包括：匹配成功，漏检，误检，可能漏检，可能误检，结束；第一关联结果为检测结果中存在第一对象，跟踪结果中不存在第一对象；第二关联结果为检测结果中不存在第一对象，跟踪结果中存在第一对象。由于将跟踪结果用于目标检测，可以有效的预测检测目标的位置信息，提高了难例挖掘的准确性。

在一种可能的设计中，根据检测结果，所述结果以及预设的关联规则，获取待检测图像中第一对象的关联结果包括：选择检测结果中与跟踪结果中类别相同的对象，以跟踪对象为行检测对象为列或者以检测对象为行跟踪对象为列，构建矩阵；使用关联匹配算法，利用矩阵获得待检测图像中第一对象的关联结果。

这样，使用关联匹配算法对检测结果和跟踪结果进行匹配，有效的保证了检测结果中每个检测对象，在跟踪结果中最多只有一个跟踪对象与之对应；提高了难例挖掘的准确性。

在一种可能的设计中，初步判别规则包括：对于关联结果为匹配成功的第一对象，初步判别结果为匹配成功；对于关联结果为第一关联结果的第一对象，初步判别结果为可能误检；对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度大于或者等于第一置信阈值的第一对象，初步判别结果为漏检；对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度小于或者等于第二置信阈值的第一对象，初步判别结果为结束；对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度小于第一置信阈值且大于第二置信阈值的第一对象，初步判别结果为可能漏检；其中，第二置信阈值小于第一置信阈值。

在一种可能的设计中，根据待检测图像中第一对象的初步判别结果确定待检测图像中第一对象的判别结果包括：对于初步判别结果为匹配成功的第一对象，确定判别结果为匹配成功；对于初步判别结果为漏检的第一对象，确定判别结果为漏检；对于初步判别结果为结束的第一对象，确定判别结果为结束；对于初步判别结果为可能误检或者可能漏检的第一对象，结合与待检测图像相邻的S帧图像的判别结果确定判别结果；其中，S>1。

对于可能误检或者可能漏检的对象，结合与其相邻的S帧图像的判别结果确定判别结果，可以有效的降低对误检难例和漏检难例误判的几率。

在一种可能的设计中，对于初步判别结果为可能漏检的第一对象，按照与待检测图像相邻的第1帧图像至第S帧图像的顺序判断，如果与待检测图像相邻的第1帧图像至第S帧图像的至少一帧图像中，与初步判别结果为可能漏检的第一对象对应的对象的关联结果为第二关联结果，并且与初步判别结果为可能漏检的第一对象对应的对象的跟踪置信度小于或者等于第二置信阈值，确定该初步判别结果为可能漏检的第一对象的判别结果为结束；如果与待检测图像相邻的第1帧图像至第S帧图像的每一帧图像中，与初步判别结果为可能漏检的第一对象对应的对象的关联结果都为第二关联结果，并且与初步判别结果为可能漏检的第一对象对应的对象的跟踪置信度都小于第一置信阈值且大于第二置信阈值，确定该初步判别结果为可能漏检的第一对象的判别结果为结束；否则，确定该初步判别结果为可能漏检的第一对象的判别结果为漏检。

在一种可能的设计中，对于初步判别结果为可能误检的第一对象，如果与待检测图像相邻的第1帧图像至第S帧图像的每一帧图像中，与初步判别结果为可能误检的第一对象对应的对象的关联结果都为匹配成功，并且与初步判别结果为可能误检的第一对象对应的对象的跟踪置信度都大于第一置信阈值，确定该初步判别结果为可能误检的第一对象的判别结果为新出现；否则，确定该初步判别结果为可能误检的第一对象的判别结果为误检。

在一种可能的设计中，如果剩余未检测的待检测图像的帧数大于或者等于预设的帧数S，与待检测图像相邻的S帧图像为帧序号比待检测图像的帧序号大的S帧图像；如果剩余未检测的待检测图像的帧数小于预设的帧数S，与待检测图像相邻的S帧图像为帧序号比待检测图像的帧序号小的S帧图像。这样，对于剩余未检测的待检测图像帧数不足的情况，可以使用待检测图像之前的S帧图像的信息辅助当前待检测图像的判别，有效解决剩余帧不足的问题。在一种可能的设计中，对于剩余未检测的待检测图像帧数小于预设的帧数S的，可以采用从后到前，逆序判别。

在一种可能的设计中，预设的单目标跟踪算法为基于深度学习的单目标跟踪算法。采用基于深度学习的单目标跟踪算法，基于深度语义特征分析图像，可以有效预测匹配结果的位置信息，还可以提高提取漏检难例和误检难例的准确性。

相应的，本申请还提供了一种目标检测中难例挖掘的装置，该装置可以实现第一方面所述的目标检测中难例挖掘的方法。该装置可以通过软件、硬件、或者通过硬件执行相应的软件实现上述方法。

在一种可能的设计中，该装置可以包括：图像获取单元、目标检测单元、目标跟踪单元和难例挖掘单元。其中，图像获取单元用于获取待检测图像；目标检测单元用于使用预设的目标检测算法对待检测图像进行分析，获得待检测图像的检测结果；目标跟踪单元用于使用预设的单目标跟踪算法对待检测图像进行分析，获得待检测图像的跟踪结果；其中，检测结果包括：一个或多个检测对象的类别，一个或多个检测对象的检测位置，一个或多个检测对象的分类精度值；跟踪结果包括：一个或多个跟踪对象的跟踪位置，一个或多个跟踪对象的跟踪置信度；难例挖掘单元用于根据检测结果，跟踪结果以及预设规则，获取待检测图像中每个对象的判别结果；判别结果包括：匹配成功，漏检，误检，新出现和结束；难例挖掘单元还用于将判别结果为漏检的对象确定为漏检难例，将判别结果为误检的对象确定为误检难例。

在一种可能的设计中，难例挖掘单元具体用于：根据检测结果，跟踪结果以及预设的关联规则，获取待检测图像中第一对象的关联结果；根据初步判别规则和待检测图像中第一对象的关联结果，对待检测图像中第一对象进行初步判别，获得待检测图像中第一对象的初步判别结果；根据待检测图像中第一对象的初步判别结果确定待检测图像中第一对象的判别结果；其中，关联结果包括：匹配成功，第一关联结果，第二关联结果；第一关联结果为检测结果中存在第一对象，跟踪结果中不存在第一对象；第二关联结果为检测结果中不存在第一对象，跟踪结果中存在第一对象；初步判别结果包括：匹配成功，漏检，误检，可能漏检，可能误检，结束。

在一种可能的设计中，难例挖掘单元根据检测结果，跟踪结果以及预设的关联规则，获取待检测图像中第一对象的关联结果具体包括：选择检测结果中与跟踪结果中类别相同的对象，以跟踪对象为行检测对象为列或者以检测对象为行跟踪对象为列，构建矩阵；使用关联匹配算法，利用矩阵获得待检测图像中第一对象的关联结果。

在一种可能的设计中，初步判别规则包括：对于关联结果为匹配成功的第一对象，初步判别结果为匹配成功；对于关联结果为第一关联结果的第一对象，初步判别结果为可能误检；对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度大于或者等于第一置信阈值的第一对象，初步判别结果为漏检；对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度小于或者等于第二置信阈值的第一对象，初步判别结果为结束；对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度小于第一置信阈值且大于第二置信阈值的第一对象，初步判别结果为可能漏检；其中，第二置信阈值小于第一置信阈值。

在一种可能的设计中，难例挖掘单元根据待检测图像中第一对象的初步判别结果确定待检测图像中第一对象的判别结果具体包括：对于初步判别结果为匹配成功的第一对象，确定判别结果为匹配成功；对于初步判别结果为漏检的第一对象，确定判别结果为漏检；对于初步判别结果为结束的第一对象，确定判别结果为结束；对于初步判别结果为可能误检或者可能漏检的第一对象，结合与待检测图像相邻的S帧图像的判别结果确定判别结果；其中，S>1。

在一种可能的设计中，难例挖掘单元对于初步判别结果为可能误检或者可能漏检的第一对象，结合与待检测图像相邻的S帧图像的判别结果确定判别结果具体包括：对于初步判别结果为可能漏检的第一对象，按照与待检测图像相邻的第1帧图像至第S帧图像的顺序判断，如果与待检测图像相邻的第1帧图像至第S帧图像的至少一帧图像中，与初步判别结果为可能漏检的第一对象对应的对象的关联结果为第二关联结果，并且与初步判别结果为可能漏检的第一对象对应的对象的跟踪置信度小于或者等于第二置信阈值，确定该初步判别结果为可能漏检的第一对象的判别结果为结束；如果与待检测图像相邻的第1帧图像至第S帧图像的每一帧图像中，与初步判别结果为可能漏检的第一对象对应的对象的关联结果都为第二关联结果，并且与初步判别结果为可能漏检的第一对象对应的对象的跟踪置信度都小于第一置信阈值且大于第二置信阈值，确定该初步判别结果为可能漏检的第一对象的判别结果为结束；否则，确定该初步判别结果为可能漏检的第一对象的判别结果为漏检。

在一种可能的设计中，难例挖掘单元对于初步判别结果为可能误检或者可能漏检的第一对象，结合与待检测图像相邻的S帧图像的判别结果确定判别结果具体包括：对于初步判别结果为可能误检的第一对象，如果与待检测图像相邻的第1帧图像至第S帧图像的每一帧图像中，与该初步判别结果为可能误检的第一对象对应的对象的关联结果都为匹配成功，并且与该初步判别结果为可能误检的第一对象对应的对象的跟踪置信度都大于第一置信阈值，确定该初步判别结果为可能误检的第一对象的判别结果为新出现；否则，确定该初步判别结果为可能误检的第一对象的判别结果为误检。

在一种可能的设计中，如果剩余未检测的待检测图像的帧数大于或者等于预设的帧数S，与所述待检测图像相邻的S帧图像为帧序号比待检测图像的帧序号大的S帧图像；如果剩余未检测的待检测图像的帧数小于预设的帧数S，与待检测图像相邻的S帧图像为帧序号比待检测图像的帧序号小的S帧图像。

在一种可能的设计中，预设的单目标跟踪算法为基于深度学习的单目标跟踪算法。

第二方面，本申请实施例提供一种设备，该设备可以实现第一方面所述的目标检测中难例挖掘的方法，比如，该设备可以是服务器。在一种可能的设计中，该设备可以包括处理器和存储器。该处理器被配置为支持该设备执行上述第一方面方法中相应的功能。存储器用于与处理器耦合，其保存该设备必要的程序指令和数据。

第三方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当所述计算机指令在设备上运行时，使得设备执行如上述任一方面及其可能的设计方式所述的目标检测中难例挖掘的方法。

第四方面，本申请实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述任一方面及其可能的设计方式所述的目标检测中难例挖掘的方法。

第五方面，本申请实施例还提供一种芯片系统，该芯片系统中包括处理器，还可以包括存储器，用于实现上述任一方面及其可能的设计方式所述的目标检测中难例挖掘的方法。

上述提供的任一种装置或设备或计算机可读存储介质或计算机程序产品或芯片系统均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文提供的对应的方法中对应方案的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的技术方案所适用的一种场景示意图；

图2为本申请实施例提供的技术方案所适用的一种设备的示意图；

图3为本申请实施例提供的一种目标检测中难例挖掘的方法的示意图一；

图4为本申请实施例提供的一种目标检测中难例挖掘的方法的示意图二；

图5为本申请实施例提供的一种装置的结构示意图一；

图6为本申请实施例提供的一种装置的结构示意图二；

图7为本申请实施例提供的一种装置的结构示意图三。

具体实施方式

本文中的术语“多个”是指两个或两个以上。本文中的术语“第一”和“第二”是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

下面结合附图对本申请实施例提供的目标检测中难例挖掘的方法及装置进行详细描述。

本申请提供的技术方案可以应用于支持科学运算的各种硬件设备，例如个人计算机(personal computer，PC)、服务器、笔记本电脑、平板电脑、车载电脑、手机、移动终端、智能摄像头、智能手表、嵌入式设备等。本申请实施例对该硬件设备的具体形式不做特殊限制。

示例性的，图2为本申请实施例提供的一种设备100的结构示意图。设备100包括至少一个处理器110，通信线路120，存储器130以及至少一个通信接口140。

处理器110可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路120可包括一通路，在上述组件之间传送信息。

通信接口140，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。

存储器130可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器130可以是独立存在，通过通信线路120与处理器110相连接。存储器130也可以和处理器110集成在一起。

其中，存储器130用于存储执行本申请方案的计算机执行指令，并由处理器110来控制执行。处理器110用于执行存储器130中存储的计算机执行指令，从而实现本申请下述实施例提供的目标检测中难例挖掘的方法。

可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器110可以包括一个或多个CPU，例如图2中的CPU0和CPU1。

在具体实现中，作为一种实施例，设备100可以包括多个处理器，例如图2中的处理器110和处理器111。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，设备100还可以包括输出设备150和输入设备160。输出设备150和处理器110通信，可以以多种方式来显示信息。例如，输出设备150可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备160和处理器110通信，可以以多种方式接收用户的输入。例如，输入设备160可以是鼠标、键盘、触摸屏设备或传感设备等。

上述的设备100可以是一个通用设备或者是一个专用设备。在具体实现中，设备100可以是车载设备、台式机、便携式电脑、网络服务器、掌上电脑(personal digitalassistant，PDA)、移动手机、平板电脑、无线终端设备、嵌入式设备或有图2中类似结构的设备。本申请实施例不限定设备100的类型。应注意，图2所示的设备100的结构仅用于举例，并非用于限制本申请的技术方案。本领域的技术人员应当明白，在具体实现过程中，设备100还可以是其他的形式，也可以包括其他部件。

本申请实施例提供了一种目标检测中难例挖掘的方法，结合目标检测算法和单目标跟踪算法进行目标检测中的难例挖掘。可以更有效的进行难例挖掘，更准确的提取出难例数据。执行该目标检测中难例挖掘的方法的可以为上述支持科学运算的硬件设备或者装置；该装置可以是芯片或者芯片系统；也可以是一种计算机可读存储介质；也可以是一种计算机程序产品；本申请实施例对此不进行限定。

本申请实施例提供一种目标检测中难例挖掘的方法，可以应用于图2所示的设备。如图3所示，该方法可以包括：

S301、获取待检测图像。

本申请实施例提供的目标检测中难例挖掘的方法，可以应用于对序列图像进行目标检测的难例挖掘。序列图像是视频抽帧得到的具有时间连续性的一组图像。比如，该视频可以是通过摄像头拍摄得到的。对拍摄得到的视频进行抽帧处理，则获取到原始的序列图像。对原始的序列图像的每一帧图像进行分析，获取每一帧图像中一个或多个对象的信息，分析结果错误的对象即难例数据；其中，难例数据包括漏检难例和误检难例。

对原始序列图像的第t帧图像进行分析，则该第t帧图像为待检测图像；其中，t>0。

在一种实现方式中，从序列图像的第1帧(即t＝1)开始，按照从前到后的顺序，获取待检测图像。

在一种实现方式中，如果剩余未检测的待检测图像的帧数小于预设的帧数S(即t>N-S，N为序列图像的总帧数)，从序列图像的最后一帧(即t＝N)图像开始，按照从后到前的顺序，获取待检测图像。

需要说明的是，本申请实施例以对序列图像进行目标检测的难例挖据为例进行说明。其并不构成对本申请技术方案的限定。本申请实施例提供的目标检测中难例挖掘的方法，还可以应用于对激光点云等序列数据的难例挖掘。

S302、使用预设的目标检测算法对待检测图像进行分析，获得待检测图像的检测结果。

目标检测，即识别图像中的对象及其位置的方法。

使用预设的目标检测算法对待检测图像(第t帧图像)进行分析，获得待检测图像的检测结果。预设的目标检测算法可以是常规技术中的任意一种目标检测算法；比如，YOLO(you only look once:unified，real-time object detection)算法。

检测结果可以包括：一个或多个检测对象的类别，每个检测对象的位置(本申请中称为检测位置)，每个检测对象的分类精度值等信息。其中，检测对象即为识别目标。检测对象的类别用于区分检测对象的种类；比如，检测对象的类别可以包括人、交通标识、建筑、车辆等；示例性的，图1的(a)、(b)和(c)中，检测对象的类别为交通标识。检测对象的位置可以为该检测对象在图像中的坐标。检测对象的分类精度值，即目标检测算法输出的每一个检测对象为该类别的概率值；当分类精度值大于设定的第一值时，目标检测算法判定识别出给定类别的检测对象。

在一种实现方式中，设备可以保存待检测图像的检测结果。示例性的，设备保存一个模板信息表，模板信息表包括待检测图像的检测结果及相关信息；例如，图像帧号，对象序号，对象类别，对象位置，分类精度值。比如，模板信息表包括表1所示信息。

表1

图像帧号	对象序号	对象类别	对象位置	分类精度值
					1	1	交通标识	(x<sub>1</sub>，y<sub>1</sub>)，(x<sub>2</sub>，y<sub>2</sub>)	0.87
1	2	交通标识	(x<sub>3</sub>，y<sub>3</sub>)，(x<sub>4</sub>，y<sub>4</sub>)	0.88

图像帧号为检测对象所在的帧的序号。对象序号为检测对象的序号(可选的，检测对象的序号可以是人工标注的)。对象类别为检测对象的类别。对象位置为检测对象的位置信息；示例性的，(x₁，y₁)，(x₂，y₂)分别为对象1的左上角和右下角在第1帧图像中的坐标，用于表示对象1在第1帧图像中的位置。分类精度值为检测对象的分类精度值。

进一步的，每次获得待检测图像的检测结果后，可以更新模板信息表中相关信息。比如，使用预设的目标检测算法对序列图像的第1帧进行分析，获得第1帧图像的检测结果；根据第1帧图像的检测结果初始化模板信息表中相关信息，模板信息表的信息如表1所示。其中，第1帧图像称为模板图像。之后，按照从前到后的顺序，获取序列图像的第2帧为待检测图像；使用预设的目标检测算法对第2帧图像进行分析，获得第2帧图像的检测结果；根据第2帧图像的检测结果更新模板信息表中相关信息，模板信息表的信息如表2所示。

表2

图像帧号	对象序号	对象类别	对象位置	分类精度值
					1	1	交通标识	(x<sub>1</sub>，y<sub>1</sub>)，(x<sub>2</sub>，y<sub>2</sub>)	0.87
1	2	交通标识	(x<sub>3</sub>，y<sub>3</sub>)，(x<sub>4</sub>，y<sub>4</sub>)	0.88
					2	1	交通标识	(x<sub>5</sub>，y<sub>5</sub>)，(x<sub>6</sub>，y<sub>6</sub>)	0.86
2	2	交通标识	(x<sub>7</sub>，y<sub>7</sub>)，(x<sub>8</sub>，y<sub>8</sub>)	0.9

需要说明的是，本申请实施例中的模板信息表仅为示例性说明。实际应用中，模板信息表还可以是其他形式，本申请实施例对此并不进行限定。

S303、使用预设的单目标跟踪算法对待检测图像进行分析，获得待检测图像的跟踪结果。

单目标跟踪算法是在给定的初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置的算法。

在一种实现方式中，预设的单目标跟踪算法可以是常规技术中的任意一种基于深度学习的单目标跟踪算法；比如，相关滤波(CF，correlation filter)类算法。采用基于深度学习的单目标跟踪算法，基于深度语义特征分析图像，可以有效预测匹配结果的位置信息，从而提高难例挖掘的准确性。

给定的初始帧可以为序列图像的第1帧。初始帧的目标可以为对第1帧图像进行目标检测获得的检测对象。序列图像的第1帧的信息可以从设备保存的模板信息表中获取。

跟踪结果可以包括：一个或多个跟踪对象的位置(本申请中称为跟踪位置)，每个跟踪对象的跟踪置信度等信息。其中，跟踪置信度用于反映每一次跟踪结果的可靠程度，跟踪置信度越高，跟踪结果的可靠程度越高；当跟踪置信度大于设定的第二值时，单目标跟踪算法判定正确跟踪到给定目标。

示例性的，基于深度学习的单目标跟踪算法的输出为，单目标跟踪算法网络部分最后一层特征图f，以及每个跟踪对象的位置信息；其中，f是大小为f_w×f_h的矩阵。跟踪置信度，即为f中最大响应分数；可以表示为max(f(i,j))。

S304、根据待检测图像的检测结果，跟踪结果以及预设规则，获取待检测图像中每个对象的判别结果。

如图4所示，步骤S304可以包括：

S3041、根据待检测图像的检测结果，跟踪结果以及预设的关联规则，获取待检测图像中每个对象的关联结果。

选择待检测图像的检测结果中与跟踪结果中类别相同的对象，以跟踪对象为行检测对象为列或者以检测对象为行跟踪对象为列，计算交并比(IOU，intersection overunion)值，构建矩阵。其中，IOU为跟踪对象的检测框与检测对象的检测框之间的交集与并集的比例。

预设的关联规则为，使用关联匹配算法(比如，匈牙利算法)，利用矩阵获得待检测图像中每个对象的关联结果。关联结果包括：匹配成功，第一关联结果，第二关联结果。其中，匹配成功表示，检测结果中的检测对象和跟踪结果中的跟踪对象是同一对象，即配对成功。第一关联结果表示，经过匹配之后，跟踪结果中不存在与之匹配的跟踪对象的检测对象；即检测结果中存在该对象，跟踪结果中不存在该对象。第二关联结果表示，经过匹配之后，检测结果中不存在与之匹配的检测对象的跟踪对象；即检测结果中不存在该对象，跟踪结果中存在该对象。进一步的，还可以判断关联结果为配对成功对象的分类精度值与IOU值，如果分类精度值小于第一阈值或者IOU值小于第二阈值，将对应的检测对象的关联结果确定为第一关联结果，将对应的跟踪对象的关联结果确定为第二关联结果。

这样就获取到待检测图像中每个对象的关联结果。

使用关联匹配算法对检测结果和跟踪结果进行匹配，可以有效的保证检测结果中每个检测对象，在跟踪结果中最多只有一个跟踪对象与之对应。

S3042、根据判别规则和待检测图像中每个对象的关联结果，获得待检测图像中每个对象的判别结果。

判别规则包括：

一、根据初步判别规则和待检测图像中每个对象的关联结果，对待检测图像中每个对象进行初步判别，获得其初步判别结果。

其中，初步判别结果包括：匹配成功，漏检，误检，可能漏检，可能误检，结束。

初步判别规则包括：

1、对于关联结果为匹配成功的对象，初步判别结果为匹配成功。

2、对于关联结果为第一关联结果的对象，初步判别结果为可能误检。

3、对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度大于或者等于第一置信阈值的对象，初步判别结果为漏检。

4、对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度小于或者等于第二置信阈值的对象，初步判别结果为结束。其中，第二置信阈值小于第一置信阈值。

5、对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度小于第一置信阈值且大于第二置信阈值的对象，初步判别结果为可能漏检。

二、根据待检测图像中每个对象的初步判别结果确定待检测图像中每个对象的判别结果。

其中，判别结果包括：匹配成功，漏检，误检，新出现和结束。

1、对于初步判别结果为匹配成功的对象，确定判别结果为匹配成功。

2、对于初步判别结果为漏检的对象，确定判别结果为漏检。

3、对于初步判别结果为结束的对象，确定判别结果为结束。

4、对于初步判别结果为可能误检或可能漏检的对象，结合与待检测图像相邻的S帧图像的判别结果确定其判别结果。其中，与待检测图像相邻的S帧图像为待检测图像之后(即帧序号比待检测图像的帧序号大)的S帧图像，或者待检测图像之前(即帧序号比待检测图像的帧序号小)的S帧图像。比如，待检测图像为第t帧图像；如果剩余未检测的待检测图像的帧数大于或者等于预设的帧数S(即t<＝N-S，N为序列图像的总帧数，S>1)，则与待检测图像相邻的S帧图像为待检测图像之后S帧图像，并且判别顺序为从前往后的顺序；如果剩余未检测的待检测图像的帧数小于预设的帧数S(即t>N-S，N为序列图像的总帧数)，则与待检测图像相邻的S帧图像为待检测图像之前S帧图像，并且判别顺序为从后往前的顺序。

①、对于初步判别结果为可能漏检的对象

按照与待检测图像相邻的第1帧图像至第S帧图像的顺序判断，如果第1帧图像至第S帧图像的至少一帧图像中，与该对象对应的对象的关联结果为第二关联结果，并且与该对象对应的对象的跟踪置信度小于或者等于第二置信阈值，则确定判别结果为结束；如果第1帧图像至第S帧图像的每一帧图像中，与该对象对应的对象的关联结果都为第二关联结果，并且与该对象对应的对象的跟踪置信度都小于第一置信阈值且大于第二置信阈值，则确定判别结果为结束；对于不属于上述两种情况的，确定判别结果为漏检。

②、对于初步判别结果为可能误检的对象

如果与待检测图像相邻的第1帧图像至第S帧图像的每一帧图像中，与该对象对应的对象的关联结果都为匹配成功，并且与该对象对应的对象的跟踪置信度都大于第一置信阈值，则确定判别结果为新出现；对于不属于上述情况的，确定判别结果为误检。

在一种实现方式中，设备可以维护临时模板信息表，保存用于判别可能漏检对象和可能误检对象的信息。比如，临时模板信息表可以包括：图像帧号，对象序号，图像的检测结果(例如，对象类别，对象位置，分类精度值)，漏检标识，误检标识，可能漏检标识，可能误检标识，匹配成功标识等。

对待检测图像以及与待检测图像相邻的第1帧图像至第S帧图像其中每一帧图像进行判别后，更新临时模板信息表。更新规则为：

对于初步判别结果为匹配成功的对象，使用该对象的检测结果更新临时模板信息表中对应的位置信息，并设置匹配成功标识；

对于初步判别结果为漏检的对象，使用该对象的跟踪结果更新临时模板信息表中对应的位置信息，并设置漏检标识；

对于初步判别结果为误检的对象，设置误检标识；

对于初步判别结果为新出现的对象，将该对象信息加入临时模板信息表，并设置新出现标识；

对于初步判别结果为结束的对象，设置结束标识；

对于初步判别结果为可能漏检的对象，使用该对象的跟踪结果更新临时模板信息表中对应的位置信息，并设置可能漏检标识；

对于初步判别结果为可能误检的对象，使用该对象的检测结果更新临时模板信息表中对应的位置信息，并设置可能误检标识。

这样，可以根据临时模板信息表确定待检测图像中每个对象的判别结果。

示例性的，待检测图像为第t帧图像。对第t帧图像进行判别后，更新临时模板信息表。临时模板信息表包括表3所示信息。

表3

可以根据临时模板信息表确定第t帧图像中对象1的判别结果为匹配成功，对象2的判别结果为漏检，对象3的判别结果为误检，对象4的判别结果为新出现，对象5的判别结果为结束；对象6为可能漏检，对象7为可能误检，可以结合与第t帧图像相邻的S(例如，S＝2)帧图像，确定对象6和对象7的判别结果。

进一步的，以从前往后的顺序为例，待检测图像为第(t+1)帧图像。对第(t+1)帧图像进行判别后，更新临时模板信息表。临时模板信息表包括表4所示信息。

表4

在一种实现方式中，在对第(t+1)帧图像进行判别后，可以将第t帧中匹配成功、漏检、误检和结束的信息删除。需要说明的是，表4中还可以包括第(t+1)帧图像中除对象6和对象7之外的其它对象的信息。本申请中省略这部分内容。

在对第(t+1)帧图像进行判别后，可以确定第t帧图像中对象7为误检。

进一步的，以从前往后的顺序为例，待检测图像为第(t+2)帧图像。对第(t+2)帧图像进行判别后，更新临时模板信息表。临时模板信息表包括表5所示信息。

表5

需要说明的是，表5中还可以包括第(t+2)帧图像中除对象6和对象7之外的其它对象的信息。本申请中省略这部分内容。

在对第(t+2)帧图像进行判别后，可以确定第t帧图像中对象6为结束。

这样，成功确定了第t帧图像中各个对象的判别结果。

S305、根据待检测图像中每个对象的判别结果，获取难例数据。

待检测图像中判别结果为漏检的对象确定为漏检难例；待检测图像中判别结果为误检的对象确定为误检难例；获取到漏检难例和/或误检难例，即获取到难例数据。可选的，可以将漏检难例和/或误检难例加入难例数据集。

在一种实现方式中，根据待检测图像中每个对象的判别结果，更新模板信息表。这样可以实现对已检测结果的有效利用。

模板信息表更新规则为：

对于判别结果为匹配成功的对象，使用该对象的检测结果更新模板信息表中对应的位置信息；

对于判别结果为漏检的对象，使用该对象的跟踪结果更新模板信息表中对应的位置信息；

对于判别结果为误检的对象，不更新模板信息表的信息；

对于判别结果为新出现的对象，将该对象的检测结果的信息加入模板信息表；

对于判别结果为结束的对象，将该对象的信息从模板信息表中剔除。

本申请实施例提供的目标检测中难例挖掘的方法，结合单目标跟踪算法和目标检测算法进行目标检测中的难例挖掘，同时判别漏检难例和误检难例，可以更准确地提取漏检难例和误检难例，更有效地实现难例挖掘。采用基于深度学习的单目标跟踪算法，基于深度语义特征分析图像，有效预测匹配结果的位置信息；并且使用关联匹配算法对检测结果和跟踪结果进行匹配，有效的保证了检测结果中每个检测对象，在跟踪结果中最多只有一个跟踪对象与之对应；提高了难例挖掘的准确性。

上述主要对本申请实施例提供的方案进行了介绍。可以理解的是，上述设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该可以理解，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对目标检测中难例挖掘的装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。下面以采用对应各个功能划分各个功能模块为例进行说明。

图5是本申请实施例提供的装置500的逻辑结构示意图，装置500可以是目标检测中难例挖掘装置，能够实现本申请实施例提供的目标检测中难例挖掘的方法。装置500可以是硬件结构、软件模块、或硬件结构加软件模块。如图5所示，装置500包括初始化模块501、目标检测模块502、信息更新模块503、单目标跟踪模块504和难例挖掘模块505。

请参考图6，在目标检测的难例挖掘中，初始化模块501用于初始化各种信息，比如，初始化待检测图像的帧号；例如在处理第1帧图像时，将当前待检测图像的帧号初始化为1。初始化模块501还可以用于将临时模板信息表和模板信息表初始化为空。目标检测模块502用于使用预设的目标检测算法对待检测图像进行分析，获得待检测图像的检测结果。信息更新模块503用于更新临时模板信息表和模板信息表。比如，将待检测图像的检测结果更新至临时模板信息表和模板信息表。单目标跟踪模块504用于使用预设的单目标跟踪算法对待检测图像进行分析，获得待检测图像的跟踪结果。难例挖掘模块505根据目标检测模块502输出的检测结果，单目标跟踪模块504输出的跟踪结果，预设的关联规则和判别规则，获取待检测图像中每个对象的判别结果。难例挖掘模块505输出的漏检难例和误检难例加入难例数据集。难例挖掘模块505获取待检测图像中每个对象的判别结果之后，信息更新模块503更新模板信息表。信息更新模块503还用于，在难例挖掘模块505对于初步判别结果为可能误检或者可能漏检的对象进行判别时，更新临时模板信息表。获取当前待检测图像中每个对象的判别结果之后，初始化模块501将当前待检测图像的帧号加1，获取下一待检测图像。

图7是本申请实施例提供的装置700的逻辑结构示意图，装置700可以是进行目标检测中难例挖掘的设备，能够实现本申请实施例提供的目标检测中难例挖掘的方法。装置700可以是硬件结构、软件模块、或硬件结构加软件模块。如图7所示，装置700包括图像获取单元701、目标检测单元702、目标跟踪单元703和难例挖掘单元704。其中，图像获取单元701可以用于执行图3中的S301，和/或执行本申请中描述的其他步骤。目标检测单元702可以用于执行图3中的S302，和/或执行本申请中描述的其他步骤。目标跟踪单元703可以用于执行图3中的S303，和/或执行本申请中描述的其他步骤。难例挖掘单元704可以用于执行图3中的S304、S305，和/或执行本申请中描述的其他步骤。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能单元的功能描述，在此不再赘述。

本领域普通技术人员可知，上述方法中的全部或部分步骤可以通过程序指令相关的硬件完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质如ROM、RAM和光盘等。

本申请实施例还提供一种存储介质，该存储介质可以包括存储器。

上述提供的任一种装置中相关内容的解释及有益效果均可参考上文提供的对应的方法实施例，此处不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (21)

1.一种目标检测中难例挖掘的方法，其特征在于，包括：

获取待检测图像；

使用预设的目标检测算法对所述待检测图像进行分析，获得所述待检测图像的检测结果；所述检测结果包括：一个或多个检测对象的类别，所述一个或多个检测对象的检测位置，所述一个或多个检测对象的分类精度值；

使用预设的单目标跟踪算法对所述待检测图像进行分析，获得所述待检测图像的跟踪结果；所述跟踪结果包括：一个或多个跟踪对象的跟踪位置，所述一个或多个跟踪对象的跟踪置信度；

根据所述检测结果，所述跟踪结果以及预设规则，获取所述待检测图像中每个对象的判别结果；所述判别结果包括：匹配成功，漏检，误检，新出现和结束；

将所述判别结果为漏检的对象确定为漏检难例，将所述判别结果为误检的对象确定为误检难例。

2.根据权利要求1所述的目标检测中难例挖掘的方法，其特征在于，包括：

根据所述检测结果，所述跟踪结果以及预设的关联规则，获取所述待检测图像中第一对象的关联结果；所述关联结果包括：匹配成功，第一关联结果，第二关联结果；

所述第一关联结果为检测结果中存在所述第一对象，跟踪结果中不存在所述第一对象；

所述第二关联结果为检测结果中不存在所述第一对象，跟踪结果中存在所述第一对象；

根据初步判别规则和待检测图像中第一对象的关联结果，对所述待检测图像中所述第一对象进行初步判别，获得所述待检测图像中所述第一对象的初步判别结果；所述初步判别结果包括：匹配成功，漏检，误检，可能漏检，可能误检，结束；

根据所述待检测图像中所述第一对象的初步判别结果确定所述待检测图像中所述第一对象的所述判别结果。

3.根据权利要求2所述的目标检测中难例挖掘的方法，其特征在于，所述根据所述检测结果，所述跟踪结果以及预设的关联规则，获取所述待检测图像中第一对象的关联结果包括：

选择所述检测结果中与所述跟踪结果中类别相同的对象，以跟踪对象为行检测对象为列或者以检测对象为行跟踪对象为列，构建矩阵；

使用关联匹配算法，利用所述矩阵获得所述待检测图像中所述第一对象的关联结果。

4.根据权利要求2所述的目标检测中难例挖掘的方法，其特征在于，所述初步判别规则包括：

对于关联结果为匹配成功的第一对象，初步判别结果为匹配成功；

对于关联结果为第一关联结果的第一对象，初步判别结果为可能误检；

对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度大于或者等于第一置信阈值的第一对象，初步判别结果为漏检；

对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度小于或者等于第二置信阈值的第一对象，初步判别结果为结束；其中，所述第二置信阈值小于所述第一置信阈值；

对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度小于第一置信阈值且大于第二置信阈值的第一对象，初步判别结果为可能漏检。

5.根据权利要求2所述的目标检测中难例挖掘的方法，其特征在于，所述根据所述待检测图像中所述第一对象的初步判别结果确定所述待检测图像中所述第一对象的所述判别结果包括：

对于初步判别结果为匹配成功的第一对象，确定所述判别结果为匹配成功；

对于初步判别结果为漏检的第一对象，确定所述判别结果为漏检；

对于初步判别结果为结束的第一对象，确定所述判别结果为结束；

对于初步判别结果为可能误检或者可能漏检的第一对象，结合与所述待检测图像相邻的S帧图像的判别结果确定所述判别结果；其中，S>1。

6.根据权利要求5所述的目标检测中难例挖掘的方法，其特征在于，所述对于初步判别结果为可能误检或者可能漏检的第一对象，结合与所述待检测图像相邻的S帧图像的判别结果确定所述判别结果包括：

对于初步判别结果为可能漏检的第一对象，按照与所述待检测图像相邻的第1帧图像至第S帧图像的顺序判断，

如果与所述待检测图像相邻的第1帧图像至第S帧图像的至少一帧图像中，与所述初步判别结果为可能漏检的第一对象对应的对象的关联结果为第二关联结果，并且与所述初步判别结果为可能漏检的第一对象对应的对象的跟踪置信度小于或者等于第二置信阈值，确定所述初步判别结果为可能漏检的第一对象的判别结果为结束；

如果与所述待检测图像相邻的第1帧图像至第S帧图像的每一帧图像中，与所述初步判别结果为可能漏检的第一对象对应的对象的关联结果都为第二关联结果，并且与初步判别结果为可能漏检的第一对象对应的对象的跟踪置信度都小于第一置信阈值且大于第二置信阈值，确定所述初步判别结果为可能漏检的第一对象的判别结果为结束；

否则，确定所述初步判别结果为可能漏检的第一对象的判别结果为漏检。

7.根据权利要求5所述的目标检测中难例挖掘的方法，其特征在于，所述对于初步判别结果为可能误检或者可能漏检的第一对象，结合与所述待检测图像相邻的S帧图像的判别结果确定所述判别结果包括：

对于初步判别结果为可能误检的第一对象，

如果与所述待检测图像相邻的第1帧图像至第S帧图像的每一帧图像中，与所述初步判别结果为可能误检的第一对象对应的对象的关联结果都为匹配成功，并且与所述初步判别结果为可能误检的第一对象对应的对象的跟踪置信度都大于第一置信阈值，确定所述初步判别结果为可能误检的第一对象的判别结果为新出现；

否则，确定所述初步判别结果为可能误检的第一对象的判别结果为误检。

8.根据权利要求5所述的目标检测中难例挖掘的方法，其特征在于，

如果剩余未检测的待检测图像的帧数大于或者等于预设的帧数S，所述与所述待检测图像相邻的S帧图像为帧序号比所述待检测图像的帧序号大的S帧图像；

如果剩余未检测的待检测图像的帧数小于预设的帧数S，所述与所述待检测图像相邻的S帧图像为帧序号比所述待检测图像的帧序号小的S帧图像。

9.根据权利要求1-8任意一项所述的目标检测中难例挖掘的方法，其特征在于，

所述预设的单目标跟踪算法为基于深度学习的单目标跟踪算法。

10.一种目标检测中难例挖掘的装置，其特征在于，包括：

图像获取单元，用于获取待检测图像；

目标检测单元，用于使用预设的目标检测算法对所述待检测图像进行分析，获得所述待检测图像的检测结果；所述检测结果包括：一个或多个检测对象的类别，所述一个或多个检测对象的检测位置，所述一个或多个检测对象的分类精度值；

目标跟踪单元，用于使用预设的单目标跟踪算法对所述待检测图像进行分析，获得所述待检测图像的跟踪结果；所述跟踪结果包括：一个或多个跟踪对象的跟踪位置，所述一个或多个跟踪对象的跟踪置信度；

难例挖掘单元，用于根据所述检测结果，所述跟踪结果以及预设规则，获取所述待检测图像中每个对象的判别结果；所述判别结果包括：匹配成功，漏检，误检，新出现和结束；

难例挖掘单元，还用于将所述判别结果为漏检的对象确定为漏检难例，将所述判别结果为误检的对象确定为误检难例。

11.根据权利要求10所述的目标检测中难例挖掘的装置，其特征在于，所述难例挖掘单元具体用于：

根据所述检测结果，所述跟踪结果以及预设的关联规则，获取所述待检测图像中第一对象的关联结果；所述关联结果包括：匹配成功，第一关联结果，第二关联结果；

所述第一关联结果为检测结果中存在所述第一对象，跟踪结果中不存在所述第一对象；

所述第二关联结果为检测结果中不存在所述第一对象，跟踪结果中存在所述第一对象；

根据初步判别规则和待检测图像中第一对象的关联结果，对所述待检测图像中所述第一对象进行初步判别，获得所述待检测图像中所述第一对象的初步判别结果；所述初步判别结果包括：匹配成功，漏检，误检，可能漏检，可能误检，结束；

根据所述待检测图像中所述第一对象的初步判别结果确定所述待检测图像中所述第一对象的所述判别结果。

12.根据权利要求11所述的目标检测中难例挖掘的装置，其特征在于，所述难例挖掘单元根据所述检测结果，所述跟踪结果以及预设的关联规则，获取所述待检测图像中第一对象的关联结果具体包括：

选择所述检测结果中与所述跟踪结果中类别相同的对象，以跟踪对象为行检测对象为列或者以检测对象为行跟踪对象为列，构建矩阵；

使用关联匹配算法，利用所述矩阵获得所述待检测图像中所述第一对象的关联结果。

13.根据权利要求11所述的目标检测中难例挖掘的装置，其特征在于，所述初步判别规则包括：

对于关联结果为匹配成功的第一对象，初步判别结果为匹配成功；

对于关联结果为第一关联结果的第一对象，初步判别结果为可能误检；

对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度大于或者等于第一置信阈值的第一对象，初步判别结果为漏检；

对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度小于或者等于第二置信阈值的第一对象，初步判别结果为结束；其中，所述第二置信阈值小于所述第一置信阈值；

对于关联结果为第二关联结果，并且跟踪对象的跟踪置信度小于第一置信阈值且大于第二置信阈值的第一对象，初步判别结果为可能漏检。

14.根据权利要求11所述的目标检测中难例挖掘的装置，其特征在于，所述难例挖掘单元根据所述待检测图像中所述第一对象的初步判别结果确定所述待检测图像中所述第一对象的所述判别结果具体包括：

对于初步判别结果为匹配成功的第一对象，确定所述判别结果为匹配成功；

对于初步判别结果为漏检的第一对象，确定所述判别结果为漏检；

对于初步判别结果为结束的第一对象，确定所述判别结果为结束；

对于初步判别结果为可能误检或者可能漏检的第一对象，结合与所述待检测图像相邻的S帧图像的判别结果确定所述判别结果；其中，S>1。

15.根据权利要求14所述的目标检测中难例挖掘的装置，其特征在于，所述难例挖掘单元对于初步判别结果为可能误检或者可能漏检的第一对象，结合与所述待检测图像相邻的S帧图像的判别结果确定所述判别结果具体包括：

对于初步判别结果为可能漏检的第一对象，按照与所述待检测图像相邻的第1帧图像至第S帧图像的顺序判断，

如果与所述待检测图像相邻的第1帧图像至第S帧图像的至少一帧图像中，与所述初步判别结果为可能漏检的第一对象对应的对象的关联结果为第二关联结果，并且与所述初步判别结果为可能漏检的第一对象对应的对象的跟踪置信度小于或者等于第二置信阈值，确定所述初步判别结果为可能漏检的第一对象的判别结果为结束；

如果与所述待检测图像相邻的第1帧图像至第S帧图像的每一帧图像中，与所述初步判别结果为可能漏检的第一对象对应的对象的关联结果都为第二关联结果，并且与初步判别结果为可能漏检的第一对象对应的对象的跟踪置信度都小于第一置信阈值且大于第二置信阈值，确定所述初步判别结果为可能漏检的第一对象的判别结果为结束；

否则，确定所述初步判别结果为可能漏检的第一对象的判别结果为漏检。

16.根据权利要求14所述的目标检测中难例挖掘的装置，其特征在于，所述难例挖掘单元对于初步判别结果为可能误检或者可能漏检的第一对象，结合与所述待检测图像相邻的S帧图像的判别结果确定所述判别结果具体包括：

对于初步判别结果为可能误检的第一对象，

如果与所述待检测图像相邻的第1帧图像至第S帧图像的每一帧图像中，与所述初步判别结果为可能误检的第一对象对应的对象的关联结果都为匹配成功，并且与所述初步判别结果为可能误检的第一对象对应的对象的跟踪置信度都大于第一置信阈值，确定所述初步判别结果为可能误检的第一对象的判别结果为新出现；

否则，确定所述初步判别结果为可能误检的第一对象的判别结果为误检。

17.根据权利要求14所述的目标检测中难例挖掘的装置，其特征在于，

如果剩余未检测的待检测图像的帧数大于或者等于预设的帧数S，所述与所述待检测图像相邻的S帧图像为帧序号比所述待检测图像的帧序号大的S帧图像；

如果剩余未检测的待检测图像的帧数小于预设的帧数S，所述与所述待检测图像相邻的S帧图像为帧序号比所述待检测图像的帧序号小的S帧图像。

18.根据权利要求10-17任意一项所述的目标检测中难例挖掘的装置，其特征在于，

所述预设的单目标跟踪算法为基于深度学习的单目标跟踪算法。

19.一种设备，其特征在于，所述设备包括：处理器和存储器；所述存储器与所述处理器耦合；所述存储器用于存储计算机程序代码；所述计算机程序代码包括计算机指令，当所述处理器执行上述计算机指令时，使得所述设备执行如权利要求1-9任意一项所述的目标检测中难例挖掘的方法。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机指令，当所述计算机指令在设备上运行时，使得所述设备执行如权利要求1-9任意一项所述的目标检测中难例挖掘的方法。

21.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-9任意一项所述的目标检测中难例挖掘的方法。

Images