[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113269761A - 一种倒影检测方法、装置及设备 - Google Patents

一种倒影检测方法、装置及设备 Download PDF

Info

Publication number
CN113269761A
CN113269761A CN202110604307.2A CN202110604307A CN113269761A CN 113269761 A CN113269761 A CN 113269761A CN 202110604307 A CN202110604307 A CN 202110604307A CN 113269761 A CN113269761 A CN 113269761A
Authority
CN
China
Prior art keywords
entity
area
position area
reflection
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110604307.2A
Other languages
English (en)
Inventor
张钊
袁涛
黄韶华
王睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Unicom Communication Construction Co Ltd
Original Assignee
Guangdong Unicom Communication Construction Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Unicom Communication Construction Co Ltd filed Critical Guangdong Unicom Communication Construction Co Ltd
Priority to CN202110604307.2A priority Critical patent/CN113269761A/zh
Publication of CN113269761A publication Critical patent/CN113269761A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种倒影检测方法、装置及设备，本申请通过将获取到的待检测图像输入预设的实体检测模型，得到实体位置区域，实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；同样地，将待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域，联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；进一步地，根据所得到的实体位置区域与联合体位置区域得到倒影位置区域，实现对倒影的检测。

Description

一种倒影检测方法、装置及设备
技术领域
本申请涉及图像检测技术领域，更具体的说，是涉及一种倒影检测方法、装置及设备。
背景技术
倒影图像是一种很常见的自然景观图像，其成像原理遵循平面镜成像原理，形成的是一种虚像。在很多现实应用场景中，倒影检测是一个重要的环节。例如需要检测行人或者物体等障碍物的位置，或者是水面目标物体(如船只)的位置检测，如果检测过程没有将倒影的位置确定下来，将会对真实物体的位置造成干扰，检测系统可能会误认为倒影的位置为真实需要检测的行人或者目标物体的位置，这会对实际检测结果产生较大影响。因此，对行人或者物体在水面的倒影的位置检测成为相关技术领域技术人员关注的问题，对于倒影检测亟需提供一种可靠的倒影检测方法。
发明内容
鉴于上述问题，本申请提供一种倒影检测方法、装置及设备，以实现对倒影的检测。具体方案如下：
一种倒影检测方法，包括：
获取待检测图像；
将所述待检测图像输入预设的实体检测模型，得到实体位置区域；将所述待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；所述实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；所述联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；
根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。
可选的，所述实体检测模型的训练过程，包括：
获取实体训练图像集，实体训练图像标注有实体位置区域；
将所述实体训练图像集中的实体训练图像输入到所述实体检测模型中，得到实体检测模型输出的所述实体训练图像对应的实体位置区域；
以所述输出的所述实体训练图像对应的实体位置区域趋近于所述实体训练图像中标注的实体位置区域为训练目标，更新所述实体检测模型的参数。
可选的，所述联合体检测模型的训练过程，包括：
获取联合体训练图像集，联合体训练图像中包含实体与实体倒影，所述联合体训练图像标注有实体与实体倒影组成整体的联合体位置区域；
将所述联合体训练图像集中的联合体训练图像输入到所述联合体检测模型中，得到联合体检测模型输出的所述联合体训练图像对应的联合体位置区域；
以所述输出的所述联合体训练图像对应的联合体位置区域趋近于所述联合体训练图像中标注的联合体位置区域为训练目标，更新所述联合体检测模型的参数。
可选的，所述实体位置区域和所述联合体位置区域各自均为一个；
则所述根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域，包括：
根据所述联合体位置区域与所述实体位置区域的几何关系，得到倒影位置区域。
可选的，所述实体位置区域和所述联合体位置区域各自均为多个；
则所述根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域，包括：
针对每一联合体位置区域，计算各所述实体位置区域与所述联合体位置区域的交并比，并选取交并比最大的实体位置区域作为与所述联合体位置区域匹配的实体位置区域，以得到每一联合体位置区域匹配的实体位置区域；
根据所述每一联合体位置区域、与之匹配的实体位置区域之间的几何关系，得到倒影位置区域。
可选的，所述计算各所述实体位置区域与所述联合体位置区域的交并比，包括：
计算所述实体位置区域与所述联合体位置区域的交集；
计算所述实体位置区域与所述联合体位置区域的并集；
计算所述交集与所述并集的比值作为所述实体位置区域与所述联合体位置区域的交并比。
可选的，所述实体位置区域包括水平起始位置x1、垂直起始位置y1、水平宽度width1、垂直高度height1；所述联合体位置区域包括水平起始位置x2、垂直起始位置y2、水平宽度width2、垂直高度height2。
可选的，根据联合体位置区域与实体位置区域的几何关系，得到倒影位置区域，包括：
计算所述实体位置区域的水平起始位置x1与所述实体位置区域的垂直高度height1的和，得到倒影位置区域的水平起始位置xref：
xref＝x1+height1；
计算所述实体位置区域的水平起始位置x1与所述实体位置区域的垂直高度height1的和sum1，计算所述联合体位置区域的水平起始位置x2与所述联合体位置区域的垂直高度height2的和sum2，计算所述sum2与所述sum1的差值，得到倒影位置区域的垂直高度heightref：
heightref＝sum2-sum1；
sum1＝x1+height1；
sum2＝x2+height2；
将所述实体位置区域的垂直起始位置y1作为倒影位置区域的垂直起始位置yref，得到倒影位置区域的垂直起始位置yref：
yref＝y1；
将所述实体位置区域的水平宽度width1作为倒影位置区域的水平宽度widthref，得到倒影位置区域的水平宽度widthref：
widthref＝width1。
一种倒影检测装置，包括：
待检测图像获取单元，用于获取待检测图像；
模型预测单元，用于将所述待检测图像输入预设的实体检测模型，得到实体位置区域；将所述待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；所述实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；所述联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；
倒影位置区域获取单元，用于根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。
一种倒影检测设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述的倒影检测方法的各个步骤。
可见，借由上述技术方案，本申请通过将获取到的待检测图像输入预设的实体检测模型，得到实体位置区域，实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到的；同样地，将待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域，联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；进一步地，根据所得到的实体位置区域与联合体位置区域得到倒影位置区域，实现对倒影的检测。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的倒影检测方法的一流程示意图；
图2示例了一种待检测图像分别输入实体检测模型与联合体检测模型得到实体位置区域与联合体位置区域的过程示意图；
图3为本申请实施例提供的一种计算实体位置区域与联合体位置区域交并比示意图；
图4为本申请实施例提供的一种实体位置区域与联合体位置区域示意图；
图5为本申请实施例提供的一种倒影位置区域的示意图；
图6为本申请实施例提供的一种倒影检测装置结构示意图；
图7为本申请实施例提供的倒影检测设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的申请人发现，倒影检测在现实的许多应用场景中是一个重要的环节，例如需要检测行人或者物体等障碍物的位置，或者是水面目标物体(如船只)的位置检测，如果检测过程没有将倒影的位置确定下来，将会对真实物体的位置造成干扰，检测系统可能会误认为倒影的位置为真实需要检测的行人或者目标物体的位置，这会对实际检测结果产生较大影响。因此，对行人或者物体在水面的倒影的位置检测成为相关技术领域技术人员关注的问题，对于倒影检测亟需提供一种可靠的倒影检测方法。本申请提供了一种倒影检测方案，可以适用于解决各类型需要检测倒影的任务。
接下来对本申请的倒影检测方法进行详细的介绍，请参考图1，图1为本申请实施例提供的一种倒影检测方法的流程示意图，该方法包括如下步骤：
步骤S110，获取待检测图像。
具体地，获取的待检测图像可以是通过摄影机拍摄得到的，也可以是通过手机获取拍摄得到的，还可以是通过摄像机拍摄得到的，总之，本申请实施例对待检测图像拍摄的设备不作限定。待检测图像的类型可以是红外图像，也可以是可见光图像。所获取到的待检测图像可以仅包含实体，也可以既包含实体又包含实体的倒影，还可以仅包含实体倒影，待检测图像包含的信息的多少与待检测图像的类型对实现本申请提供的倒影检测方法没有影响。
需要说明的是，实体可以是静止的人或物，也可以是运动的人或物，实体倒影可以是实体在水面形成的虚像，也可以是在地面上形成的虚像。
步骤S120，基于预设的模型处理待检测图像，得到实体位置区域和联合体位置区域。
具体地，上述预设的模型可以包括实体检测模型、联合体检测模型。将待检测图像输入预设的实体检测模型，可以得到实体位置区域；同样地，将待检测图像输入预设的联合体检测模型，可以得到实体与实体倒影组成整体的联合体位置区域。另外，实体检测模型可以是以标注有实体位置区域的训练图像作为训练数据训练得到的；联合体检测模型可以是以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到的。
需要说明的是，可以先将待检测图像输入到预设的实体检测模型，得到实体位置区域，再将所述待检测图像输入到预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；也可以是先将所述待检测图像输入到预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域，再将待检测图像输入到预设的实体检测模型，得到实体位置区域；也可以是将待检测图像同时输入到实体检测模型和联合体检测模型。对于获取实体位置区域及联合体位置区域的顺序，本申请不做严格限定。
步骤S130，根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。
具体地，根据实体位置区域与联合体位置区域，可以确定倒影的位置区域。实体位置区域表示的是实体所在位置的范围，联合体位置区域表示的是实体与实体倒影组成的整体所在位置的范围。实体位置区域与联合体位置区域本身可提供得到倒影位置区域的信息，结合两者的区域信息，可以确定倒影位置区域信息。
从上述的技术方案可以看出，本申请通过将获取到的待检测图像输入预设的实体检测模型，得到实体位置区域，实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；同样地，将待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域，联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到的；进一步地，根据所得到的实体位置区域与联合体位置区域得到倒影位置区域，实现对倒影的检测。
在本申请的一些实施例中，对上述提及的实体检测模型及联合体检测模型的训练过程进行详细介绍。
具体地，本申请可以先获取图像集，图像集一般是包含大量图像的一个集合。图像集中有两种图像，分别是图像中仅包含实体、图像中既包含实体也包含实体倒影。将图像集划分为实体训练图像集Φtrain1、联合体训练图像集Φtrain2、测试集Φtest。实体训练图像集Φtrain1仅包含实体训练图像，实体训练图像指的是仅包含实体的图像，联合体训练图像集Φtrain2与测试集Φtest均仅包含联合体训练图像，联合体训练图像指的是既包含实体也包含实体倒影的图像。
将获取到的实体训练图像集Φtrain1、联合体训练图像集Φtrain2、测试集Φtest中的图像都进行人工标注，实体训练图像集Φtrain1中的图像标注有实体位置区域；联合体训练图像集Φtrain2与测试集Φtest中的图像均标注有实体与实体倒影组成整体的联合体位置区域。标注的形式可以是矩形框，也是可以圆框，还可以是其他任何可以表明区域的形式。
进一步地，训练时，将实体训练图像集Φtrain1中的实体训练图像输入到实体检测模型中，得到实体检测模型输出的实体训练图像对应的实体位置区域，以输出的实体训练图像对应的实体位置区域趋近于实体训练图像中标注的实体位置区域为训练目标，更新实体检测模型的参数，最终得到训练后的实体检测模型modelped_det。
同样地，将联合体训练图像集Φtrain2中的联合体训练图像输入到联合体检测模型中，得到联合体检测模型输出的联合体训练图像对应的联合体位置区域，以输出的联合体训练图像对应的联合体位置区域趋近于联合体训练图像中标注的联合体位置区域为训练目标，更新联合体检测模型的参数，最终得到训练后的联合体检测模型modelunion_det。
可以将测试集Φtest输入到上述得到的实体检测模型、联合体检测模型，以验证上述得到的实体检测模型、联合体检测模型是否可以输出准确的检测结果，若是，则可以使用上述的实体检测模型、联合体检测模型；若否，则继续更新模型的参数。
在本申请的一些实施例中，所获取的待检测图像中的实体位置区域和联合体位置区域可以各自均为1个，也可以各自均为多个。本申请实施例以包含两个实体以及两个实体对应的倒影的图像为例，详细说明待检测图像输入实体检测模型、联合体检测模型，得到实体位置区域、联合体位置区域的过程。请参照图2，图2示例了一种待检测图像分别输入实体检测模型与联合体检测模型得到实体位置区域与联合体位置区域的过程示意图。
如图2所示，待检测图像21表示待检测图像中包含两个人，且这两个人的倒影也包含在这张待检测的图像中。将待检测图像21输入到通过预先训练确定参数的实体检测模型modelped_det，经过实体检测模型modelped_det的处理，可以标注出两个实体位置区域，分别为实体位置区域214、实体位置区域242，这两个实体位置区域表示人体所在的位置区域。
同样的，将待检测图像21输入到通过预先训练确定参数的联合体检测模型modelunion_det，经过联合体检测模型modelunion_det处理，可以标注出两个联合体位置区域，分别为联合体位置区域251、联合体位置区域252，这两个联合体位置区域分别表示不同的两个人体与其对应的倒影组成整体的位置区域，如图2中的联合体检测框图像25所示。
在本申请的一些实施例中，当实体位置区域和联合体位置区域各自均为多个时，需要针对每一联合体位置区域，计算各实体位置区域与每一联合体位置区域的交并比，并选取交并比最大的实体位置区域作为与联合体位置区域匹配的实体位置区域，以得到每一联合体位置区域匹配的实体位置区域。
实体位置区域可以不止一个，联合体位置区域也可以不止一个，在这种情况下，首先需要确定每一个联合位置区域所匹配的实体位置区域，才能准确地找到联合体位置区域中实体位置区域所对应的实体倒影位置区域。如上述例子，请参照图2，待检测图像21中有两个人体，以及两个人体对应的倒影，输入实体检测模型modelped_det可以得到的两个人体位置区域241、人体位置区域242；待检测图像21输入联合体检测模型modelunion_det可以得到两个联合体位置区域251、联合体位置区域252，在这样的情况下，可以计算图像联合体位置区域251与实体位置区域241的交并比IOU1，还可以计算联合体位置区域251与实体位置区域242的交并比IOU2；可以计算联合体位置区域252与实体位置区域241的交并比IOU3，还可以计算联合体位置区域252与实体位置区域242的交并比IOU4。取IOU1与IOU2中较大的一个交并比，将较大的交并比对应的实体位置区域作为与联合体位置区域251匹配的实体位置区域。
同样的，取IOU3与IOU4中较大的一个交并比，将较大的交并比对应的实体位置区域作为与联合体位置区域252匹配的实体位置区域。
请参照图3，图3本申请实施例提供的一种计算实体位置区域与联合体位置区域交并比示意图；如图3所示，实体位置区域S31的水平起始位置为X1，垂直起始位置为Y1，水平宽度为W1，垂直高度为H1；联合体位置区域S32的水平起始位置为X2，垂直起始位置为Y2，水平宽度为W2，垂直高度为H2。实体位置区域S31与联合体位置区域S32的交并比IOU表达式为：
Figure BDA0003093667720000091
其中intersect表示实体位置区域S31与联合体位置区域S32的交集区域，intersect的表达式如下：
Figure BDA0003093667720000092
其中condition为判决条件，需要判断实体位置区域S31与联合体位置区域S32是否有交集，若有交集，则计算交集区域intersect。condition的表达式如下：
Figure BDA0003093667720000093
Wintersect表示实体位置区域S31与联合体位置区域S32的交集区域的水平宽度，Wintersect的表达式如下：
Wintersect＝min(Y1+W1,Y2+W2)-max(Y1,Y2)；
Hintersect表示实体位置区域S31与联合体位置区域S32的交集区域的垂直高度，Hintersect的表达式如下：
Hintersect＝min(X1+H1,X2+H2)-max(X1,X2)。
本申请实施例提供了实体位置区域与联合体位置区域交并比的计算过程。通过计算交并比可以确定每一个联合体位置区域匹配的实体位置区域，根据相互匹配的联合体位置区域与实体位置区域，可以得到倒影位置区域。
本申请的一些实施例中，可以根据联合体位置区域与实体位置区域的几何关系，得到倒影位置区域。下面对根据联合体位置区域与实体位置区域的几何关系，得到倒影位置区域的过程作详细说明。
请参照图4，图4为本申请实施例提供的一种实体位置区域与联合体位置区域相对位置示意图。
如图4所示，实体位置区域的水平起始位置为x1、垂直起始位置为y1、水平宽度为width1、垂直高度为height1；联合体位置区域的水平起始位置为x2、垂直起始位置为y2、水平宽度为width2、垂直高度为height2。
则倒影位置区域的水平起始位置xref表达式如下:
xref＝x1+height1；
倒影位置区域的垂直起始位置yref表达式如下：
yref＝y1；
倒影位置区域的水平宽度widthref表达式如下:
widthref＝width1；
倒影位置区域的垂直高度heightref表达式如下：
heightref＝x2+height2-(x1+height1)；
其中x1+height1表示实体位置区域的水平起始位置x1与实体位置区域的垂直高度height1的和sum1；x2+height2表示联合体位置区域的水平起始位置x2与联合体位置区域的垂直高度height2的和sum2；倒影位置区域的垂直高度heightref表达式也可以如下：
heightref＝sum2-sum1。
本申请实施例，对根据联合体位置区域与实体位置区域的几何关系，得到倒影位置区域的过程作了详细说明，得到的倒影区域位置请参照图5，图5为本申请实施例提供的一种倒影位置区域的示意图。
下面对本申请实施例提供的倒影检测装置进行描述，下文描述的倒影检测装置与上文描述的倒影检测方法可相互对应参照。
参见图6，图6为本申请实施例提供的一种倒影检测装置结构示意图。
如图6所示，该装置可以包括：
待检测图像获取单元61，用于获取待检测图像；
模型预测单元62，用于将所述待检测图像输入预设的实体检测模型，得到实体位置区域；将所述待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；所述实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；所述联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；
倒影位置区域获取单元63，用于根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。
从上述的技术方案可以看出，本申请通过将获取到的待检测图像输入预设的实体检测模型，得到实体位置区域，实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；同样地，将待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域，联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；进一步地，根据所得到的实体位置区域与联合体位置区域得到倒影位置区域，实现对倒影的检测。
可选的，上述倒影检测装置，还可以包括实体检测模型训练单元和联合体检测模型单元；
上述实体检测模型训练单元，用于实体检测模型的训练；
上述联合体检测模型单元，用于联合体检测模型的训练；
可选的，上述实体检测模型训练单元的实体检测模型训练的过程，可以包括：
获取实体训练图像集，实体训练图像标注有实体位置区域；
将所述实体训练图像集中的实体训练图像输入到所述实体检测模型中，得到实体检测模型输出的所述实体训练图像对应的实体位置区域；
以所述输出的所述实体训练图像对应的实体位置区域趋近于所述实体训练图像中标注的实体位置区域为训练目标，更新所述实体检测模型的参数。
可选的，上述联合体检测模型训练单元的联合体检测模型训练的过程，可以包括：
获取联合体训练图像集，联合体训练图像中包含实体与实体倒影，所述联合体训练图像标注有实体与实体倒影组成整体的联合体位置区域；
将所述联合体训练图像集中的联合体训练图像输入到所述联合体检测模型中，得到联合体检测模型输出的所述联合体训练图像对应的联合体位置区域；
以所述输出的所述联合体训练图像对应的联合体位置区域趋近于所述联合体训练图像中标注的联合体位置区域为训练目标，更新所述联合体检测模型的参数。
可选的，上述实体位置区域和上述联合体位置区域各自可以均为一个，在此基础上，上述倒影位置区域获取单元63根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域的过程，可以包括：
根据所述联合体位置区域与所述实体位置区域的几何关系，得到倒影位置区域。
可选的，上述实体位置区域和上述联合体位置区域各自可以均为多个，在此基础上，上述倒影位置区域获取单元63根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域的过程，可以包括：
针对每一联合体位置区域，计算各所述实体位置区域与所述联合体位置区域的交并比，并选取交并比最大的实体位置区域作为与所述联合体位置区域匹配的实体位置区域，以得到每一联合体位置区域匹配的实体位置区域；
根据所述每一联合体位置区域、与之匹配的实体位置区域之间的几何关系，得到倒影位置区域。
可选的，上述倒影位置区域获取单元63针对每一联合体位置区域，计算各所述实体位置区域与所述联合体位置区域的交并比的过程，可以包括：
计算所述实体位置区域与所述联合体位置区域的交集；
计算所述实体位置区域与所述联合体位置区域的并集；
计算所述交集与所述并集的比值作为所述实体位置区域与所述联合体位置区域的交并比。
可选的，上述实体位置区域可以包括水平起始位置x1、垂直起始位置y1、水平宽度width1、垂直高度height1；上述联合体位置区域可以包括水平起始位置x2、垂直起始位置y2、水平宽度width2、垂直高度height2。
可选的，上述倒影位置区域获取单元63根据所述联合体位置区域与所述实体位置区域的几何关系，得到倒影位置区域的过程，可以包括：
计算所述实体位置区域的水平起始位置x1与所述实体位置区域的垂直高度height1的和，得到倒影位置区域的水平起始位置xref：
xref＝x1+height1；
计算所述实体位置区域的水平起始位置x1与所述实体位置区域的垂直高度height1的和sum1，计算所述联合体位置区域的水平起始位置x2与所述联合体位置区域的垂直高度height2的和sum2，计算所述sum2与所述sum1的差值，得到倒影位置区域的垂直高度heightref：
heightref＝sum2-sum1；
sum1＝x1+height1；
sum2＝x2+height2；
将所述实体位置区域的垂直起始位置y1作为倒影位置区域的垂直起始位置yref，得到倒影位置区域的垂直起始位置yref：
yref＝y1；
将所述实体位置区域的水平宽度width1作为倒影位置区域的水平宽度widthref，得到倒影位置区域的水平宽度widthref：
widthref＝width1。
本申请实施例提供的倒影检测装置可应用于倒影检测设备。可选的，图7示出了倒影检测设备的硬件结构框图，参照图7，倒影检测设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取待检测图像；
将所述待检测图像输入预设的实体检测模型，得到实体位置区域；将所述待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；所述实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；所述联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；
根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种倒影检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入预设的实体检测模型，得到实体位置区域；将所述待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；所述实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；所述联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；
根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。
2.根据权利要求1所述的方法，其特征在于，所述实体检测模型的训练过程，包括：
获取实体训练图像集，实体训练图像标注有实体位置区域；
将所述实体训练图像集中的实体训练图像输入到所述实体检测模型中，得到实体检测模型输出的所述实体训练图像对应的实体位置区域；
以所述输出的所述实体训练图像对应的实体位置区域趋近于所述实体训练图像中标注的实体位置区域为训练目标，更新所述实体检测模型的参数。
3.根据权利要求1所述的方法，其特征在于，所述联合体检测模型的训练过程，包括：
获取联合体训练图像集，联合体训练图像中包含实体与实体倒影，所述联合体训练图像标注有实体与实体倒影组成整体的联合体位置区域；
将所述联合体训练图像集中的联合体训练图像输入到所述联合体检测模型中，得到联合体检测模型输出的所述联合体训练图像对应的联合体位置区域；
以所述输出的所述联合体训练图像对应的联合体位置区域趋近于所述联合体训练图像中标注的联合体位置区域为训练目标，更新所述联合体检测模型的参数。
4.根据权利要求1所述的方法，其特征在于，所述实体位置区域和所述联合体位置区域各自均为一个；
则所述根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域，包括：
根据所述联合体位置区域与所述实体位置区域的几何关系，得到倒影位置区域。
5.根据权利要求1所述的方法，其特征在于，所述实体位置区域和所述联合体位置区域各自均为多个；
则所述根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域，包括：
针对每一联合体位置区域，计算各所述实体位置区域与所述联合体位置区域的交并比，并选取交并比最大的实体位置区域作为与所述联合体位置区域匹配的实体位置区域，以得到每一联合体位置区域匹配的实体位置区域；
根据所述每一联合体位置区域、与之匹配的实体位置区域之间的几何关系，得到倒影位置区域。
6.根据权利要求5所述的方法，其特征在于，所述计算各所述实体位置区域与所述联合体位置区域的交并比，包括：
计算所述实体位置区域与所述联合体位置区域的交集；
计算所述实体位置区域与所述联合体位置区域的并集；
计算所述交集与所述并集的比值作为所述实体位置区域与所述联合体位置区域的交并比。
7.根据权利要求4或5所述的方法，其特征在于，所述实体位置区域包括水平起始位置x1、垂直起始位置y1、水平宽度width1、垂直高度height1；所述联合体位置区域包括水平起始位置x2、垂直起始位置y2、水平宽度width2、垂直高度height2。
8.根据权利要求7所述的方法，其特征在于，根据联合体位置区域与实体位置区域的几何关系，得到倒影位置区域，包括：
计算所述实体位置区域的水平起始位置x1与所述实体位置区域的垂直高度height1的和，得到倒影位置区域的水平起始位置xref：
xref＝x1+height1；
计算所述实体位置区域的水平起始位置x1与所述实体位置区域的垂直高度height1的和sum1，计算所述联合体位置区域的水平起始位置x2与所述联合体位置区域的垂直高度height2的和sum2，计算所述sum2与所述sum1的差值，得到倒影位置区域的垂直高度heightref：
heightref＝sum2-sum1；
sum1＝x1+height1；
sum2＝x2+height2；
将所述实体位置区域的垂直起始位置y1作为倒影位置区域的垂直起始位置yref，得到倒影位置区域的垂直起始位置yref：
yref＝y1；
将所述实体位置区域的水平宽度width1作为倒影位置区域的水平宽度widthref，得到倒影位置区域的水平宽度widthref：
widthref＝width1。
9.一种倒影检测装置，其特征在于，包括：
待检测图像获取单元，用于获取待检测图像；
模型预测单元，用于将所述待检测图像输入预设的实体检测模型，得到实体位置区域；将所述待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；所述实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；所述联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；
倒影位置区域获取单元，用于根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。
10.一种倒影检测设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1～8中任一项所述的倒影检测方法的各个步骤。
CN202110604307.2A 2021-05-31 2021-05-31 一种倒影检测方法、装置及设备 Pending CN113269761A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110604307.2A CN113269761A (zh) 2021-05-31 2021-05-31 一种倒影检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110604307.2A CN113269761A (zh) 2021-05-31 2021-05-31 一种倒影检测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113269761A true CN113269761A (zh) 2021-08-17

Family

ID=77233687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110604307.2A Pending CN113269761A (zh) 2021-05-31 2021-05-31 一种倒影检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113269761A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245015A (zh) * 2021-12-21 2022-03-25 维沃移动通信有限公司 一种拍摄提示方法、装置、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918969A (zh) * 2017-12-12 2019-06-21 深圳云天励飞技术有限公司 人脸检测方法及装置、计算机装置和计算机可读存储介质
US20210026355A1 (en) * 2019-07-25 2021-01-28 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918969A (zh) * 2017-12-12 2019-06-21 深圳云天励飞技术有限公司 人脸检测方法及装置、计算机装置和计算机可读存储介质
US20210026355A1 (en) * 2019-07-25 2021-01-28 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭君慧: "基于目标检测的热红外图像倒影检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2, pages 135 - 148 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245015A (zh) * 2021-12-21 2022-03-25 维沃移动通信有限公司 一种拍摄提示方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
US9542745B2 (en) Apparatus and method for estimating orientation of camera
US9519968B2 (en) Calibrating visual sensors using homography operators
EP2150053B1 (en) Vehicle periphery monitoring system, vehicle periphery monitoring program and vehicle periphery monitoring method
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
US20190220685A1 (en) Image processing apparatus that identifies object and method therefor
CN106909911A (zh) 图像处理方法、图像处理装置和电子装置
CN106993112A (zh) 基于景深的背景虚化方法及装置和电子装置
JP2021508135A (ja) 検査結論を決定するための取り込まれた画像の解析
CN107274450B (zh) 信息处理装置及其控制方法
CN106851238A (zh) 白平衡控制方法、白平衡控制装置及电子装置
CN111027481A (zh) 基于人体关键点检测的行为分析方法及装置
CN109801335A (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN115862124B (zh) 视线估计方法、装置、可读存储介质及电子设备
CN106778587B (zh) 基于无人机影像的飞行状态检测方法及装置
JP2021033510A (ja) 運転支援装置
EP3074844A1 (en) Estimating gaze from un-calibrated eye measurement points
CN113240678A (zh) 平面信息检测方法及系统
CN104471436B (zh) 用于计算对象的成像比例的变化的方法和设备
CN113269761A (zh) 一种倒影检测方法、装置及设备
CN117710487A (zh) 无人机目标定位方法、装置、终端及计算机可读存储介质
CN109902695B (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
CN115620079A (zh) 样本标签的获取方法和镜头失效检测模型的训练方法
CN110300991A (zh) 表面图形确定方法和装置
Kogan et al. Vanishing points estimation by self-similarity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination