CN111814510B - 一种遗留物主体检测方法及装置 - Google Patents
一种遗留物主体检测方法及装置 Download PDFInfo
- Publication number
- CN111814510B CN111814510B CN201910286613.9A CN201910286613A CN111814510B CN 111814510 B CN111814510 B CN 111814510B CN 201910286613 A CN201910286613 A CN 201910286613A CN 111814510 B CN111814510 B CN 111814510B
- Authority
- CN
- China
- Prior art keywords
- legacy
- video frame
- determining
- time
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000003068 static effect Effects 0.000 claims description 116
- 238000001514 detection method Methods 0.000 claims description 32
- 238000012544 monitoring process Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 11
- 230000010365 information processing Effects 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种遗留物主体检测方法及装置，在获取到相机采集的视频流之后，可以识别出各视频帧中的遗留物及各运动主体，针对每一个视频帧，在识别出该视频帧中的遗留物和各运动主体后，可以确定遗留物与各运动主体之间的距离，由于遗留物主体是在遗留物处于静止状态之前携带遗留物的运动主体，因此，通过将遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，实现了遗留物主体的自动检测，从而提高了遗留物主体的检测效率。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种遗留物主体检测方法及装置。
背景技术
随着社会的发展，公共场所的人身安全问题得到越来越多的重视，放置不明遗留物已成为恐怖袭击的一种主要手段，在一些人流密集的公共场所，如机场、火车站、地铁站等场所袭击者放置遗留物会导致严重的后果，因此，对遗留物的检测已成为公共场所的安防系统不可缺少的内容。遗留物是指在监控场景下静止超过一定时间并且没有所属主体的物体。
当前进行遗留物检测的方法，主要为：对输入的视频图像的每一帧进行静止物体检测，将已检测到静止物体的各帧图像进行位置区域关联，根据关联结果确定检测到静止物体的停留时间，如果停留时间超过预设阈值则认为该静止物体为遗留物。
在识别到遗留物之后，会产生遗留物报警信息，提示监控人员进行相关的处理，而携带遗留物的遗留物主体也是安防过程中重点关注的。在当前的监控场景下，监控人员需要通过回放历史视频数据确定出携带遗留物的遗留物主体，这种人为地操作，受人为主观影响较大，且工作量巨大，导致遗留物主体的检测效率较低。
发明内容
本发明实施例的目的在于提供一种遗留物主体检测方法及装置，以提高遗留物主体的检测效率。具体技术方案如下：
第一方面，本发明实施例提供了一种遗留物主体检测方法，所述方法包括：
获取相机采集的视频流；
识别所述视频流各视频帧中的遗留物及各运动主体；
根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。
可选的，所述识别所述视频流各视频帧中的遗留物及各运动主体，包括：
对所述视频流中的各视频帧进行目标识别，确定所述各视频帧中的各感兴趣目标及所述各感兴趣目标的位置信息，所述感兴趣目标包括遗留物类型目标及运动主体；
对所述各视频帧中的遗留物类型目标进行静止状态分析，确定处于静止状态的遗留物类型目标；
根据所述各视频帧中所述处于静止状态的遗留物类型目标的位置信息及各运动主体的位置信息，判断所述各视频帧中所述处于静止状态的遗留物类型目标的预设距离范围内是否存在运动主体；
累计所述处于静止状态的遗留物类型目标的预设距离范围内连续不存在运动主体的遗留时间；
当所述遗留时间大于预设时间阈值时，确定所述处于静止状态的遗留物类型目标为遗留物。
可选的，在所述识别所述视频流各视频帧中的遗留物及各运动主体之前，所述方法还包括：
获取用户输入的待检测位置信息及待检测时间；
所述识别所述视频流各视频帧中的遗留物，包括：
根据所述待检测时间，从所述视频流中，确定所述待检测时间对应的第一视频帧；
根据所述待检测位置信息，从所述第一视频帧中，识别遗留物；
基于从所述第一视频帧中识别出的所述遗留物，识别所述视频流各视频帧中的所述遗留物。
可选的，在所述识别所述视频流各视频帧中的遗留物及各运动主体之后，所述方法还包括：
对所述遗留物进行特征识别，确定所述遗留物的结构化特征信息；
输出所述遗留物的结构化特征信息。
可选的，所述根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，包括：
根据识别到的所述遗留物在所述各视频帧中的位置信息及所述各运动主体在所述各视频帧中的位置信息，确定在所述各视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体；
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
从所述与所述遗留物的距离小于预设距离阈值的运动主体中，确定出现在所述出现时刻至所述静止时刻之间的各第一视频帧中的运动主体为遗留物主体。
可选的，所述根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，包括：
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
确定从所述出现时刻至所述静止时刻之间的各第一视频帧；
根据识别到的所述遗留物在所述各第一视频帧中的位置信息及所述各运动主体在所述各第一视频帧中的位置信息，确定在所述各第一视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体为遗留物主体。
可选的，在所述根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体之后，所述方法还包括：
确定其他关联相机的所述遗留物及所述遗留物主体的检索结果；
若所述遗留物及所述遗留物主体同时出现在所述其他关联相机的检索结果中，则判断所述遗留物及所述遗留物主体同时出现时的距离是否小于所述预设距离阈值；
若是，则确认所述遗留物主体为携带所述遗留物的主体。
可选的，在所述确认所述遗留物主体为携带所述遗留物的主体之后，所述方法还包括：
获取并根据所述遗留物主体的时空信息，构建所述遗留物主体的运动轨迹，并对所述遗留物主体进行特征识别，确定所述遗留物主体的结构化特征信息；
输出所述遗留物主体的运动轨迹及结构化特征信息。
第二方面，本发明实施例提供了一种遗留物主体检测装置，所述装置包括：
遗留物检测模块，用于获取相机采集的视频流；识别所述视频流各视频帧中的遗留物及各运动主体；
遗留物主体关联模块，用于根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。
可选的，所述遗留物检测模块，具体用于：
对所述视频流中的各视频帧进行目标识别，确定所述各视频帧中的各感兴趣目标及所述各感兴趣目标的位置信息，所述感兴趣目标包括遗留物类型目标及运动主体；
对所述各视频帧中的遗留物类型目标进行静止状态分析，确定处于静止状态的遗留物类型目标；
根据所述各视频帧中所述处于静止状态的遗留物类型目标的位置信息及各运动主体的位置信息，判断所述各视频帧中所述处于静止状态的遗留物类型目标的预设距离范围内是否存在运动主体；
累计所述处于静止状态的遗留物类型目标的预设距离范围内连续不存在运动主体的遗留时间；
当所述遗留时间大于预设时间阈值时，确定所述处于静止状态的遗留物类型目标为遗留物。
可选的，所述装置还包括：
获取模块，用于获取用户输入的待检测位置信息及待检测时间；
所述遗留物检测模块在用于识别所述视频流各视频帧中的遗留物时，具体用于：
根据所述待检测时间，从所述视频流中，确定所述待检测时间对应的第一视频帧；
根据所述待检测位置信息，从所述第一视频帧中，识别遗留物；
基于从所述第一视频帧中识别出的所述遗留物，识别所述视频流各视频帧中的所述遗留物。
可选的，所述装置还包括：
遗留物信息输出模块，用于对所述遗留物进行特征识别，确定所述遗留物的结构化特征信息；输出所述遗留物的结构化特征信息。
可选的，所述遗留物主体关联模块，具体用于：
根据识别到的所述遗留物在所述各视频帧中的位置信息及所述各运动主体在所述各视频帧中的位置信息，确定在所述各视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体；
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
从所述与所述遗留物的距离小于预设距离阈值的运动主体中，确定出现在所述出现时刻至所述静止时刻之间的各第一视频帧中的运动主体为遗留物主体。
可选的，所述遗留物主体关联模块，具体用于：
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
确定从所述出现时刻至所述静止时刻之间的各第一视频帧；
根据识别到的所述遗留物在所述各第一视频帧中的位置信息及所述各运动主体在所述各第一视频帧中的位置信息，确定在所述各第一视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体为遗留物主体。
可选的，所述装置还包括：
遗留物主体检索模块，用于确定其他关联相机的所述遗留物及所述遗留物主体的检索结果；若所述遗留物及所述遗留物主体同时出现在所述其他关联相机的检索结果中，则判断所述遗留物及所述遗留物主体同时出现时的距离是否小于所述预设距离阈值；若是，则确认所述遗留物主体为携带所述遗留物的主体。
可选的，所述装置还包括：
遗留物主体信息输出模块，用于获取并根据所述遗留物主体的时空信息，构建所述遗留物主体的运动轨迹，并对所述遗留物主体进行特征识别，确定所述遗留物主体的结构化特征信息；输出所述遗留物主体的运动轨迹及结构化特征信息。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序时，实现本发明实施例第一方面所提供的遗留物主体检测方法的所有步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面所提供的遗留物主体检测方法的所有步骤。
第五方面，本发明实施例提供了一种监控系统，所述监控系统包括多个关联的相机及电子设备；
所述相机，用于采集视频流，将所述视频流发送至所述电子设备；
所述电子设备，用于获取相机采集的视频流；识别所述视频流各视频帧中的遗留物及各运动主体；根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。
本发明实施例提供的遗留物主体检测方法及装置，通过获取相机采集的视频流，识别视频流各视频帧中的遗留物及各运动主体，根据各视频帧中的遗留物及各运动主体，将该遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。在获取到相机采集的视频流之后，可以识别出各视频帧中的遗留物及各运动主体，针对每一个视频帧，在识别出该视频帧中的遗留物和各运动主体后，可以确定遗留物与各运动主体之间的距离，由于遗留物主体是在遗留物处于静止状态之前携带遗留物的运动主体，因此，通过将遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，实现了遗留物主体的自动检测，从而提高了遗留物主体的检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的遗留物主体检测方法的流程示意图；
图2为本发明实施例的遗留物主体检测方法的流程简图；
图3为本发明实施例的遗留物检测的流程示意图；
图4为本发明实施例的遗留物检索的流程示意图；
图5为本发明实施例的遗留物与所属的遗留物主体关联的流程示意图；
图6为本发明实施例的遗留物主体信息输出的流程示意图；
图7为本发明实施例的遗留物主体检测装置的结构示意图；
图8为本发明实施例的电子设备的结构示意图；
图9为本发明实施例的监控系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高遗留物主体的检测效率，本发明实施例提供了一种遗留物主体检测方法、装置、电子设备、计算机可读存储介质及监控系统。下面，首先对本发明实施例所提供的遗留物主体检测方法进行介绍。
本发明实施例所提供的遗留物主体检测方法的执行主体可以为具有图像处理功能的电子设备(例如服务器、图像处理器、相机等)，实现本发明实施例所提供的遗留物主体检测方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路中的至少一种。
如图1所示，本发明实施例所提供的一种遗留物主体检测方法，可以包括如下步骤。
S101，获取相机采集的视频流。
本发明实施例中，相机为在公共场所中架设的任一指定相机，一般情况下，可以选择架设在重点监控的核心区域(例如机场、火车站等公共场所中人流量最大的候车厅)的相机。相机在监控的过程中会采集到视频流，对于包含有核心处理芯片的相机，可以直接基于采集到的视频流进行遗留物和遗留物主体的检测；对于一般仅有视频采集功能的相机，相机在采集到视频流之后，可以将视频流发送至后台服务器、图像处理器等电子设备，由这些后台电子设备基于视频流进行遗留物和遗留物主体的检测。
S102，识别视频流各视频帧中的遗留物及各运动主体。
视频流中包含多个视频帧，在获取到视频流后，可以对其中的各视频帧进行目标识别，识别出各视频帧中的遗留物和各运动主体。具体的，可以采用传统基于运动目标的识别方法(例如高斯背景建模方法)，也可以采用基于深度学习的目标识别方法进行遗留物和各运动主体的识别。其中，遗留物为与所属运动主体分离后，保持静止状态超过一定时间，且所属运动主体不在遗留物附近的物体；运动主体为可能携带遗留物的主体，例如人、车等。
在进行遗留物识别时，可以采用传统的遗留物识别方法进行识别，例如，对各视频帧进行静止物体检测，将已检测到静止物体的各视频帧进行位置区域关联，根据关联结果确定检测到静止物体的停留时间，如果停留时间超过预设阈值则认为该静止物体为遗留物。
在机场、火车站等公共场所的场景下，人休息时处于静止状态，其携带的行李也会处于静止状态，如果静止时间较长，按照传统的遗留物识别方法，会将这种类型的行李也识别为遗留物，导致遗留物识别的结果出现错误。为了应对上述情况下的遗留物误检，可选的，S102具体可以通过如下步骤实现。
第一步，对视频流中的各视频帧进行目标识别，确定各视频帧中的各感兴趣目标及各感兴趣目标的位置信息，其中，感兴趣目标包括遗留物类型目标及运动主体。
本发明实施例中，可以采用基于深度学习的方法(例如FPN(Feature PyramidNetworks，特征金字塔网络)方法)对各视频帧中的感兴趣目标进行识别。具体的，基于深度学习的方法中的网络模型，可以是基于标记有遗留物类型目标和运动主体的样本图像训练得到的，通过将各视频帧输入到网络模型中，网络模型输出的即为各感兴趣目标和各感兴趣目标的位置信息，网络模型的训练过程以及具体的计算过程并不是本发明实施例重点讨论的内容，故这里不再详述。感兴趣目标包括遗留物类型目标及运动主体。遗留物类型目标是类型为行李箱、背包、袋子等类型的物体；运动主体通常是人，也可以是车等主体。
第二步，对各视频帧中的遗留物类型目标进行静止状态分析，确定处于静止状态的遗留物类型目标。
对各视频帧中的遗留物类型目标进行静止状态分析的过程，可以通过跟踪算法对遗留物类型目标进行跟踪，判断同一个遗留物类型目标在前后帧中的位置是否发生变化；也可以通过图像匹配的方法，将当前视频帧中遗留物类型目标所处的位置与上一个视频帧中相同位置进行图像相似度判断，如判断视频帧的灰度值或者纹理是否一致。如果同一个遗留物类型目标在连续一段时间内的位置保持不变，则认为该遗留物类型目标处于静止状态。
第三步，根据各视频帧中处于静止状态的遗留物类型目标的位置信息及各运动主体的位置信息，判断各视频帧中处于静止状态的遗留物类型目标的预设距离范围内是否存在运动主体。
对于处于静止状态的遗留物类型目标，可以判断该遗留物类型目标周围的预设距离范围内是否有运动主体存在，来判断该遗留物类型目标是否为遗留物。预设距离范围为基于所监控的场景内人流量的大小预先设置的，如果人流量较小，一般会将预设距离范围设置的较大；如果人流量很大，一般会将预设距离范围设置的较小，以防止出现遗留物主体将遗留物放置在固定位置后，周围仍然会出现其他正常的运动主体的情况，但是这种情况下遗留物与运动主体之间的距离一般不会太近(例如一般在50cm以上)，因此，可以通过将预设距离范围设置的较小来避免误检的情况。通过判断处于静止状态的遗留物类型目标的预设距离范围内是否存在运动主体，可以过滤掉正常的运动主体携带遗留物类型目标被识别为遗留物的虚假事件。
第四步，累计处于静止状态的遗留物类型目标的预设距离范围内连续不存在运动主体的遗留时间。
当处于静止状态的遗留物类型目标的预设距离范围内不存在运动主体时，可以开始累积遗留时间。如果是正常的运动主体短暂放置遗留物类型目标，运动主体会在短时间内回到遗留物类型目标附近；如果是遗留物主体放置遗留物，运动主体会远离遗留物，则遗留物的累积遗留时间很长，则可以通过累积遗留时间来判断遗留物类型目标究竟是否为遗留物。
第五步，当遗留时间大于预设时间阈值时，确定处于静止状态的遗留物类型目标为遗留物。
如果遗留时间大于预设时间阈值，则说明处于静止状态的遗留物类型目标为遗留物，通常情况下，需要产生报警信息，提示监控人员当前的监控场景中存在遗留物，并输出遗留物的位置信息。预设时间阈值为根据经验预先设置的时长，通常情况下，正常的运动主体会行李不离身，即便离身，离身的时间间隔也是短暂的，因此，通过设置预设时间阈值(例如设置为2分钟)，如果遗留时间超过了预设时间阈值，则认为处于静止状态的遗留物类型目标为遗留物。
对遗留物和各运动主体的识别方式，还可以为：检测各视频帧中的各感兴趣目标框，判断哪些目标框处于静止状态，并将处于静止状态的目标框与其他目标框进行距离比对，如果处于静止状态的目标框的预设距离范围内不存在其他目标框，则识别处于静止状态的目标框的类型，看处于静止状态的目标框的目标类型是否为遗留物类型，如果是，则确定处于静止状态的目标框对应的目标为遗留物。
本发明实施例中，在识别遗留物时，还通过对遗留物类型目标周围是否存在运动主体来进一步过滤掉正常的运动主体携带遗留物类型目标被识别为遗留物的虚假事件，提高了遗留物报警的准确率。
可选的，在执行S102之前，本发明实施例所提供的遗留物主体检测方法还可以执行：获取用户输入的待检测位置信息及待检测时间。
上述实施方式给出了自动识别遗留物的具体实现，但是在一些实际应用场景下，例如，行人A将行李B遗落在C处，而行人D在某一时刻捡到行李B，为了能够寻找到遗落行李B的行人A，本发明实施例中，识别遗留物的方式，还可以是：由用户(例如行人D)输入待检测位置信息(行人D捡到行李B的位置C的信息)以及待检测时间(行人D捡到行李B的时刻)，基于待检测位置信息和待检测时间，从视频流中识别出遗留物。
具体的，S102中识别视频流各视频帧中的遗留物的步骤，具体可以包括：根据待检测时间，从视频流中，确定待检测时间对应的第一视频帧；根据待检测位置信息，从第一视频帧中，识别遗留物；基于从第一视频帧中识别出的遗留物，识别视频流各视频帧中的遗留物。
待检测时间为用户指定进行遗留物识别的时刻(例如行人D捡到行李B的时刻)，待检测时间还可以是一个时间段，基于待检测时间可以从视频流中找到时间戳为待检测时间的第一视频帧，找出第一视频帧后，由于用户还输入了待检测位置信息(例如行人D捡到行李B的位置C的信息)，给定了遗留物在第一视频帧中出现的位置，则根据待检测位置信息，可以直接从第一视频帧中识别出遗留物，这样，视频流中其他各视频帧中的遗留物可以基于从第一视频帧中识别出的遗留物识别出，具体的，其他各视频帧中遗留物的识别，可以采用特征匹配的方式实现。在识别出遗留物之后，可继续采用本发明实施例所提供的运动主体识别、遗留物主体检测的方式，检测出该遗留物的主体。
可选的，在执行S102之后，本发明实施例所提供的遗留物主体检测方法还可以执行如下步骤：对遗留物进行特征识别，确定遗留物的结构化特征信息；输出遗留物的结构化特征信息。
本发明实施例中，除了可以输出遗留物的位置信息之外，还可以进一步对遗留物进行特征识别，确定出遗留物的结构化特征信息，例如遗留物的类型、颜色、大小、以及遗留物出现的时间段等，并输出遗留物的这些结构化特征信息。具体的，可以通过目标分类算法、属性分类算法、大小分类算法等，提取遗留物的类型、颜色、大小等结构化特征信息，所涉及的目标分类算法、属性分类算法、大小分类算法等可以采用传统的机器学习方法，也可以采用基于深度学习的分类算法，对于各种算法的具体计算过程，不是本发明实施例重点讨论的内容，这里不再详述。同时，还可以通过视频流回溯的方法，给出遗留物出现在相机的当前监控区域内的时间段。
S103，根据各视频帧中的遗留物及各运动主体，将遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。
在识别到各视频帧中的遗留物及各运动主体后，可以直接根据一个视频帧中，遗留物和各运动主体的图像距离，通过图像坐标与世界坐标的换算关系，换算出遗留物与各运动主体的实际距离；在识别遗留物和各运动主体时，也可以识别到遗留物和各运动主体的位置信息，则可以通过位置信息计算出在一个视频帧中，遗留物与各运动主体的实际距离，识别遗留物和各运动主体的位置信息的方式为目标识别的基本功能，这里不再赘述。遗留物主体是指在遗留物处于静止状态之前，一直携带着该遗留物的运动主体，因此，可以基于识别遗留物的步骤，确定出在遗留物处于静止状态之前，与该遗留物的距离小于预设距离阈值的运动主体为遗留物主体。在遗留物处于静止状态之前，遗留物主体一般是随身携带遗留物的，因此，预设距离阈值往往设置的较小(例如不大于10cm)，这样可以保证准确地识别出遗留物主体。
可选的，S103具体可以通过如下步骤实现。
步骤一，根据识别到的遗留物在各视频帧中的位置信息及各运动主体在各视频帧中的位置信息，确定在各视频帧中，与遗留物的距离小于预设距离阈值的运动主体。
步骤二，获取遗留物进入静止状态的静止时刻。
在进行遗留物识别时，对遗留物进行静止状态分析的过程中，可以将识别到遗留物进入静止状态的视频帧的时间戳作为遗留物进入静止状态的静止时刻，并进行记录，在进行遗留物主体检测时，可以直接获取遗留物进入静止状态的静止时刻。
步骤三，从静止时刻起往前回溯各视频帧，直至回溯到遗留物第一次出现的出现时刻。
从静止时刻起往前回溯各视频帧，如果回溯到某一视频帧识别不到遗留物了，则将最后一个识别到遗留物的视频帧的时间戳作为遗留物第一次出现的出现时刻。
步骤四，从与遗留物的距离小于预设距离阈值的运动主体中，确定出现在出现时刻至静止时刻之间的各第一视频帧中的运动主体为遗留物主体。
本发明实施例中，确定遗留物主体的过程，可以是先确定每一个视频帧中遗留物与运动主体的距离，找出每一个视频帧中与遗留物的距离小于预设距离阈值的运动主体，可以记录下来找出的这些运动主体的时间信息、相应的视频帧信息等，再对这些运动主体进行时间判断，从所有与遗留物的距离小于预设距离阈值的运动主体中，筛选出出现在出现时刻至静止时刻之间的各第一视频帧中的运动主体作为遗留物主体。
可选的，S103具体也可以通过如下步骤实现。
步骤一，获取遗留物进入静止状态的静止时刻。
步骤二，从静止时刻起往前回溯各视频帧，直至回溯到遗留物第一次出现的出现时刻。
步骤三，确定从出现时刻至静止时刻之间的各第一视频帧。
步骤四，根据识别到的遗留物在各第一视频帧中的位置信息及各运动主体在各第一视频帧中的位置信息，确定在各第一视频帧中，与遗留物的距离小于预设距离阈值的运动主体为遗留物主体。
本发明实施例中，确定遗留物主体的过程，还可以是先找出出现时刻至静止时刻之间的各第一视频帧，再从各第一视频帧中找出与遗留物的距离小于预设距离阈值的运动主体作为遗留物主体。这种先找时间段再找距离的方式，效率更高。
通过S101至S103的步骤，得到的遗留物主体为疑似的遗留物所属的主体，由于部分场景下人流量很大，易出现人与人之间距离很近的情况，则检测出的遗留物主体有可能还包括有正常的运动主体，为了进一步确认准确的遗留物主体，还可以联动关联相机进行遗留物主体检索。可选的，在执行S103之后，本发明实施例所提供的遗留物主体检测方法还可以执行如下步骤。
第一步，确定其他关联相机的遗留物及遗留物主体的检索结果。
关联相机为在同一个公共场所下，运动主体可能的运动路径上布置的不同相机，例如，在火车站候车厅场景下，候车厅入口、候车厅候车区域、检票口、候车厅出口等位置架设的相机为关联相机。各关联相机可以各自对遗留物和遗留物主体进行检索，得到检索结果，再将检索结果发至本发明实施例的执行主体；也可以将各自采集的视频流发送到本发明实施例的执行主体上，由本发明实施例的执行主体进行检索，得到检索结果。具体的检索方式，可以采用传统的机器学习算法(例如LSH(Locality-Sensitive Hashing，局部敏感哈希)算法、VLAD(Vector of Locally Aggregated Descriptors，局部聚合向量)算法等)，也可以采用基于深度学习的算法。通过检索之后，可以确定遗留物和遗留物主体在其他关联相机中出现的检索结果。
第二步，若遗留物及遗留物主体同时出现在其他关联相机的检索结果中，则判断遗留物及遗留物主体同时出现时的距离是否小于预设距离阈值。
在确定遗留物和遗留物主体在其他关联相机中出现的检索结果后，能够确定遗留物及遗留物主体是否同时出现在其他关联相机的检索结果中，如果遗留物和遗留物主体同时出现在其他关联相机的检索结果中，则可以判断遗留物及遗留物主体同时出现时的距离是否小于预设距离阈值，如果小于，则说明在其他关联相机中遗留物和遗留物主体也为携带关系，能够进一步确认遗留物主体。
第三步，若遗留物及遗留物主体同时出现时的距离小于预设距离阈值，则确认遗留物主体为携带遗留物的主体。
如果在其他关联相机检索结果中，遗留物和遗留物主体同时出现，且同时出现的距离小于预设距离阈值，则说明遗留物主体和遗留物之间为携带关系，可以确认遗留物主体为携带遗留物的主体。
为了便于监控人员对遗留物主体进行跟踪监控，进一步确认遗留物主体的身份，在确认携带遗留物的遗留物主体之后，还可以执行如下步骤：
获取并根据遗留物主体的时空信息，构建遗留物主体的运动轨迹，并对遗留物主体进行特征识别，确定遗留物主体的结构化特征信息；输出遗留物主体的运动轨迹及结构化特征信息。
在确认准确的遗留物主体后，可以根据遗留物主体的时空信息(检测到遗留物和遗留物主体同时出现的视频帧的时间戳、哪个相机采集到遗留物和遗留物主体同时出现的位置信息以及后续遗留物主体往哪个方向移动)，能够构建出遗留物主体的运动轨迹。并且，可以对遗留物主体进行特征识别，识别出遗留物主体的性别、衣服颜色、身份信息等结构化特征信息，具体的特征识别过程可以采用目标分类算法、属性分类算法、大小分类算法等。运动轨迹直观地展示了遗留物主体的走向，能够便于监控人员对其进行跟踪追捕；结构化特征信息直观地展示了遗留物主体的特征，例如性别、衣服颜色、发型，甚至长相、身份等，更便于监控人员可以直接定位出遗留物主体，即便遗留物主体不在监控范围内，也可以基于这些特征对其进行追捕。
应用本发明实施例，通过获取相机采集的视频流，识别视频流各视频帧中的遗留物及各运动主体，根据各视频帧中的遗留物及各运动主体，将该遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。在获取到相机采集的视频流之后，可以识别出各视频帧中的遗留物及各运动主体，针对每一个视频帧，在识别出该视频帧中的遗留物和各运动主体后，可以确定遗留物与各运动主体之间的距离，由于遗留物主体是在遗留物处于静止状态之前携带遗留物的运动主体，因此，通过将遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，实现了遗留物主体的自动检测，从而提高了遗留物主体的检测效率。
为了便于理解，下面结合具体的实施例，对本发明实施例所提供的遗留物主体检测方法进行详细介绍。如图2所示，本发明实施例所提供的遗留物主体检测方法可以分为两个主要步骤，第一个步骤为遗留物检测，第二个步骤为遗留物检索。
下面，首先对遗留物检测的步骤进行介绍，如图3所示，遗留物检测的步骤主要包括：
S301，目标检测。
目标检测的步骤实现了对输入的视频帧中感兴趣目标的提取检测。可以采用传统基于运动目标提取的方法(如高斯背景建模方法)，也可以采用基于深度学习的目标检测方法(如Fast R-CNN(Fast Regions with Convolutional Neural Network，快速区域卷积神经网络)、YOLO(You Only Look Once，基于单个神经网络的目标检测系统)、FPN等)。感兴趣目标的包括指定的遗留物类型目标(如行李箱、背包、袋子等)和运动主体(通常是人)。本实施例中，可以采用基于深度学习的FPN方法检测输入的视频帧中的遗留物类型目标和运动主体。
S302，静止状态分析。
在得到视频帧中的遗留物类型目标和运动主体后，开始对遗留物类型目标进行静止状态分析。对遗留物类型目标的静止状态分析可以通过跟踪算法对遗留物类型目标进行跟踪，然后判断同一个遗留物类型目标在前后两个视频帧中的位置是否发生变化；也可以通过图像匹配的方法，将当前视频帧中遗留物类型目标的位置与上一视频帧中相同位置处进行相似度判断，如判断灰度值或纹理是否一致，来确认是否为同一遗留物类型目标。如果同一个遗留物类型目标在连续一段时间以上(T>Tthd)位置保持不变，则认为该遗留物类型目标为静止状态。
S303，遗留物报警。
对上述静止状态的遗留物类型目标进行类型判断，是否为用户感兴趣的目标类型。如用户感兴趣的类型为箱包，则只分析处于静止状态的类型为箱包的遗留物类型目标。在确认当前静止状态的遗留物类型目标时用户感兴趣的目标类型后，判断该目标周围一定距离内(d<dthd)是否有运动主体存在，运动主体的类型一般为人。当该目标周围一定距离内(d<dthd)不存在运动主体时，开始累积遗留时间t，如果遗留时间超过预设的时间阈值tthd，即t>tthd时，确认该目标为遗留物，产生遗留物报警信息，输出遗留物报警信息给监控人员，用于提示监控人员在当前监控的区域内有遗留物出现。
S304，遗留物信息输出。
在产生报警信息后，除了给监控人员输出遗留物的位置信息以外，还会对遗留物进行特征识别，进一步提取遗留物的结构化特征信息(例如遗留物的类型、颜色、大小、以及遗留物出现的时间段等)。具体的，遗留物会经过目标分类算法、属性分类算法、大小分类算法，同时通过视频流回溯，输出该遗留物出现在当前相机监控范围的时间段。上述涉及的目标分类算法、属性分类算法、大小分类算法等可以采用传统的机器学习方法也可以采用基于深度学习的分类算法。
然后，对遗留物检索的步骤进行介绍，如图4所示，遗留物检索的步骤主要包括：
S401，输入遗留物信息。
在经过遗留物检测步骤得到遗留物信息后，将遗留物信息作为输入，启动遗留物检索流程。
S402，遗留物与所属的遗留物主体关联。
具体的，参见图5，遗留物与所属的遗留物主体关联可以由以下子流程实现。
S4021，往前回溯视频流。
在输入遗留物信息之后，回溯到遗留物的静止时刻(在回溯的过程中，第一个出现遗留物静止的视频帧的时间戳作为遗留物的静止时刻)。
S4022，确认遗留物位置。
可以利用对遗留物的识别结果，确认遗留物位置。
S4023，遍历视频帧中的运动主体。
S4024，遗留物与运动主体的距离是否小于阈值。若小于，则执行S4025，否则返回执行S4023.
S4025，记录运动主体为遗留物主体。
继续往前回溯，可以回溯到遗留物静止前的不同时刻，直至遗留物出现时刻(回溯到某一视频帧检测不到遗留物，将回溯过程中的上一视频帧的时间戳作为遗留物的出现时刻)，重复执行S4024的判断过程，记录每一帧中与遗留物的距离小于阈值dthd的所有运动主体，最后将遗留物的出现时刻至静止时刻之间所有与遗留物的距离小于阈值dthd的运动主体记录下来，作为遗留物主体。
S403，遗留物以及遗留物主体检索。
通过上述遗留物与所属的遗留物主体关联步骤之后，可以得到遗留物所属的遗留物主体，然后利用检索算法，在其他相机中检索该遗留物和其所属的遗留物主体，检索算法可以采用传统的机器学习算法(如LSH算法、VLAD算法等)，也可以是基于深度学习的算法。通过检索之后，可以得到遗留物和遗留物主体在其他相机中出现的所有检索结果。
S404，遗留物主体信息输出。
在得到遗留物和遗留物主体在其他相机中的检索结果之后，可以根据遗留物是否和遗留物主体同时出现在其他相机中，以及遗留物和遗留物主体之间的距离来进一步确认遗留物主体，然后再根据遗留物主体的时空信息，构建遗留物主体的运动轨迹(如某时刻出现在某位置的信息)，并对遗留物主体进行特征识别，确定遗留物主体的结构化特征信息(如性别、衣服颜色等)。输出遗留物主体的运动轨迹和结构化特征信息等遗留物主体信息。具体的，如图6所示，遗留物主体信息输出的步骤可以由以下子流程实现。
S4041，遍历其他相机的检索结果。
S4042，判断遗留物和遗留物主体是否同时存在。若是则执行S4043，否则返回执行S4041。
S4043，判断遗留物和遗留物主体的距离是否小于阈值。若是则执行S4044，否则返回执行S4041。
S4044，遗留物主体确认。
S4045，根据遗留物主体的时空信息，构建遗留物主体的运动轨迹，并对遗留物主体进行特征识别，确定遗留物主体的结构化特征信息。
S4046，输出遗留物主体的运动轨迹和结构化特征信息。
通过上述遗留物检索的步骤，可以确认遗留物以及遗留物所属的遗留物主体的结构化特征信息，并输出遗留物主体的运动轨迹，帮助监控人员进一步确认遗留物主体的身份信息。
相应于上述方法实施例，本发明实施例提供了一种遗留物主体检测装置，如图7所示，该遗留物主体检测装置可以包括：
遗留物检测模块710，用于获取相机采集的视频流；识别所述视频流各视频帧中的遗留物及各运动主体；
遗留物主体关联模块720，用于根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。
可选的，所述遗留物检测模块710，具体可以用于：
对所述视频流中的各视频帧进行目标识别，确定所述各视频帧中的各感兴趣目标及所述各感兴趣目标的位置信息，所述感兴趣目标包括遗留物类型目标及运动主体；
对所述各视频帧中的遗留物类型目标进行静止状态分析，确定处于静止状态的遗留物类型目标；
根据所述各视频帧中所述处于静止状态的遗留物类型目标的位置信息及各运动主体的位置信息，判断所述各视频帧中所述处于静止状态的遗留物类型目标的预设距离范围内是否存在运动主体；
累计所述处于静止状态的遗留物类型目标的预设距离范围内连续不存在运动主体的遗留时间；
当所述遗留时间大于预设时间阈值时，确定所述处于静止状态的遗留物类型目标为遗留物。
可选的，所述装置还可以包括：
获取模块，用于获取用户输入的待检测位置信息及待检测时间；
所述遗留物检测模块720在用于识别所述视频流各视频帧中的遗留物时，具体可以用于：
根据所述待检测时间，从所述视频流中，确定所述待检测时间对应的第一视频帧；
根据所述待检测位置信息，从所述第一视频帧中，识别遗留物；
基于从所述第一视频帧中识别出的所述遗留物，识别所述视频流各视频帧中的所述遗留物。
可选的，所述装置还可以包括：
遗留物信息输出模块，用于对所述遗留物进行特征识别，确定所述遗留物的结构化特征信息；输出所述遗留物的结构化特征信息。
可选的，所述遗留物主体关联模块720，具体可以用于：
根据识别到的所述遗留物在所述各视频帧中的位置信息及所述各运动主体在所述各视频帧中的位置信息，确定在所述各视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体；
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
从所述与所述遗留物的距离小于预设距离阈值的运动主体中，确定出现在所述出现时刻至所述静止时刻之间的各第一视频帧中的运动主体为遗留物主体。
可选的，所述遗留物主体关联模块720，具体可以用于：
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
确定从所述出现时刻至所述静止时刻之间的各第一视频帧；
根据识别到的所述遗留物在所述各第一视频帧中的位置信息及所述各运动主体在所述各第一视频帧中的位置信息，确定在所述各第一视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体为遗留物主体。
可选的，所述装置还可以包括：
遗留物主体检索模块，用于确定其他关联相机的所述遗留物及所述遗留物主体的检索结果；若所述遗留物及所述遗留物主体同时出现在所述其他关联相机的检索结果中，则判断所述遗留物及所述遗留物主体同时出现时的距离是否小于所述预设距离阈值；若是，则确认所述遗留物主体为携带所述遗留物的主体。
可选的，所述装置还可以包括：
遗留物主体信息输出模块，用于获取并根据所述遗留物主体的时空信息，构建所述遗留物主体的运动轨迹，并对所述遗留物主体进行特征识别，确定所述遗留物主体的结构化特征信息；输出所述遗留物主体的运动轨迹及结构化特征信息。
应用本发明实施例，通过获取相机采集的视频流，识别视频流各视频帧中的遗留物及各运动主体，根据各视频帧中的遗留物及各运动主体，将该遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。在获取到相机采集的视频流之后，可以识别出各视频帧中的遗留物及各运动主体，针对每一个视频帧，在识别出该视频帧中的遗留物和各运动主体后，可以确定遗留物与各运动主体之间的距离，由于遗留物主体是在遗留物处于静止状态之前携带遗留物的运动主体，因此，通过将遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，实现了遗留物主体的自动检测，从而提高了遗留物主体的检测效率。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器801和存储器802，其中，
所述存储器802，用于存放计算机程序；
所述处理器801，用于执行所述存储器802上所存放的计算机程序时，实现本发明实施例所提供的遗留物主体检测方法的所有步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述电子设备可以为相机，也可以为后台服务器、图像处理器等。
通过上述电子设备，能够实现：通过获取相机采集的视频流，识别视频流各视频帧中的遗留物及各运动主体，根据各视频帧中的遗留物及各运动主体，将该遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。在获取到相机采集的视频流之后，可以识别出各视频帧中的遗留物及各运动主体，针对每一个视频帧，在识别出该视频帧中的遗留物和各运动主体后，可以确定遗留物与各运动主体之间的距离，由于遗留物主体是在遗留物处于静止状态之前携带遗留物的运动主体，因此，通过将遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，实现了遗留物主体的自动检测，从而提高了遗留物主体的检测效率。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所提供的遗留物主体检测方法的所有步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的遗留物主体检测方法的计算机程序，因此能够实现：通过获取相机采集的视频流，识别视频流各视频帧中的遗留物及各运动主体，根据各视频帧中的遗留物及各运动主体，将该遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。在获取到相机采集的视频流之后，可以识别出各视频帧中的遗留物及各运动主体，针对每一个视频帧，在识别出该视频帧中的遗留物和各运动主体后，可以确定遗留物与各运动主体之间的距离，由于遗留物主体是在遗留物处于静止状态之前携带遗留物的运动主体，因此，通过将遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，实现了遗留物主体的自动检测，从而提高了遗留物主体的检测效率。
本发明实施例还提供了一种监控系统，如图9所示，包括多个关联的相机910及电子设备920；
所述相机910，用于采集视频流，将所述视频流发送至所述电子设备920；
所述电子设备920，用于获取相机910采集的视频流；识别所述视频流各视频帧中的遗留物及各运动主体；根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。
在本发明实施例所提供的监控系统中，电子设备920为后台服务器、图像处理器等。
可选的，所述电子设备920，在用于识别所述视频流各视频帧中的遗留物及各运动主体时，具体可以用于：
对所述视频流中的各视频帧进行目标识别，确定所述各视频帧中的各感兴趣目标及所述各感兴趣目标的位置信息，所述感兴趣目标包括遗留物类型目标及运动主体；
对所述各视频帧中的遗留物类型目标进行静止状态分析，确定处于静止状态的遗留物类型目标；
根据所述各视频帧中所述处于静止状态的遗留物类型目标的位置信息及各运动主体的位置信息，判断所述各视频帧中所述处于静止状态的遗留物类型目标的预设距离范围内是否存在运动主体；
累计所述处于静止状态的遗留物类型目标的预设距离范围内连续不存在运动主体的遗留时间；
当所述遗留时间大于预设时间阈值时，确定所述处于静止状态的遗留物类型目标为遗留物。
可选的，所述电子设备920，还可以用于：
获取用户输入的待检测位置信息及待检测时间；
所述电子设备920在用于识别所述视频流各视频帧中的遗留物时，具体可以用于：
根据所述待检测时间，从所述视频流中，确定所述待检测时间对应的第一视频帧；
根据所述待检测位置信息，从所述第一视频帧中，识别遗留物；
基于从所述第一视频帧中识别出的所述遗留物，识别所述视频流各视频帧中的所述遗留物。
可选的，所述电子设备920，还可以用于：
对所述遗留物进行特征识别，确定所述遗留物的结构化特征信息；
输出所述遗留物的结构化特征信息。
可选的，所述电子设备920，在用于根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体时，具体可以用于：
根据识别到的所述遗留物在所述各视频帧中的位置信息及所述各运动主体在所述各视频帧中的位置信息，确定在所述各视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体；
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
从所述与所述遗留物的距离小于预设距离阈值的运动主体中，确定出现在所述出现时刻至所述静止时刻之间的各第一视频帧中的运动主体为遗留物主体。
可选的，所述电子设备920，在用于根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体时，具体可以用于：
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
确定从所述出现时刻至所述静止时刻之间的各第一视频帧；
根据识别到的所述遗留物在所述各第一视频帧中的位置信息及所述各运动主体在所述各第一视频帧中的位置信息，确定在所述各第一视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体为遗留物主体。
可选的，所述电子设备920还可以用于：
确定其他关联相机的所述遗留物及所述遗留物主体的检索结果；
若所述遗留物及所述遗留物主体同时出现在所述其他关联相机的检索结果中，则判断所述遗留物及所述遗留物主体同时出现时的距离是否小于所述预设距离阈值；
若是，则确认所述遗留物主体为携带所述遗留物的主体。
可选的，所述电子设备920还可以用于：
获取并根据所述遗留物主体的时空信息，构建所述遗留物主体的运动轨迹，并对所述遗留物主体进行特征识别，确定所述遗留物主体的结构化特征信息；
输出所述遗留物主体的运动轨迹及结构化特征信息。
应用本发明实施例，电子设备通过获取相机采集的视频流，识别视频流各视频帧中的遗留物及各运动主体，根据各视频帧中的遗留物及各运动主体，将该遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体。在获取到相机采集的视频流之后，可以识别出各视频帧中的遗留物及各运动主体，针对每一个视频帧，在识别出该视频帧中的遗留物和各运动主体后，可以确定遗留物与各运动主体之间的距离，由于遗留物主体是在遗留物处于静止状态之前携带遗留物的运动主体，因此，通过将遗留物处于静止状态之前、与该遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，实现了遗留物主体的自动检测，从而提高了遗留物主体的检测效率。
对于电子设备、计算机可读存储介质及监控系统实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质及监控系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (15)
1.一种遗留物主体检测方法，其特征在于，所述方法包括：
获取相机采集的视频流；
获取用户输入的待检测位置信息及待检测时间；
识别所述视频流各视频帧中的遗留物及各运动主体；其中，所述识别所述视频流各视频帧中的遗留物，包括：根据所述待检测时间，从所述视频流中，确定所述待检测时间对应的第一视频帧；根据所述待检测位置信息，从所述第一视频帧中，识别遗留物；基于从所述第一视频帧中识别出的所述遗留物，识别所述视频流各视频帧中的所述遗留物；
根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体；
确定其他关联相机的所述遗留物及所述遗留物主体的检索结果；
若所述遗留物及所述遗留物主体同时出现在所述其他关联相机的检索结果中，则判断所述遗留物及所述遗留物主体同时出现时的距离是否小于所述预设距离阈值；
若是，则确认所述遗留物主体为携带所述遗留物的主体。
2.根据权利要求1所述的方法，其特征在于，所述识别所述视频流各视频帧中的遗留物及各运动主体，包括：
对所述视频流中的各视频帧进行目标识别，确定所述各视频帧中的各感兴趣目标及所述各感兴趣目标的位置信息，所述感兴趣目标包括遗留物类型目标及运动主体；
对所述各视频帧中的遗留物类型目标进行静止状态分析，确定处于静止状态的遗留物类型目标；
根据所述各视频帧中所述处于静止状态的遗留物类型目标的位置信息及各运动主体的位置信息，判断所述各视频帧中所述处于静止状态的遗留物类型目标的预设距离范围内是否存在运动主体；
累计所述处于静止状态的遗留物类型目标的预设距离范围内连续不存在运动主体的遗留时间；
当所述遗留时间大于预设时间阈值时，确定所述处于静止状态的遗留物类型目标为遗留物。
3.根据权利要求1所述的方法，其特征在于，在所述识别所述视频流各视频帧中的遗留物及各运动主体之后，所述方法还包括：
对所述遗留物进行特征识别，确定所述遗留物的结构化特征信息；
输出所述遗留物的结构化特征信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，包括：
根据识别到的所述遗留物在所述各视频帧中的位置信息及所述各运动主体在所述各视频帧中的位置信息，确定在所述各视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体；
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
从所述与所述遗留物的距离小于预设距离阈值的运动主体中，确定出现在所述出现时刻至所述静止时刻之间的各第一视频帧中的运动主体为遗留物主体。
5.根据权利要求1所述的方法，其特征在于，所述根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体，包括：
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
确定从所述出现时刻至所述静止时刻之间的各第一视频帧；
根据识别到的所述遗留物在所述各第一视频帧中的位置信息及所述各运动主体在所述各第一视频帧中的位置信息，确定在所述各第一视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体为遗留物主体。
6.根据权利要求1所述的方法，其特征在于，在所述确认所述遗留物主体为携带所述遗留物的主体之后，所述方法还包括：
获取并根据所述遗留物主体的时空信息，构建所述遗留物主体的运动轨迹，并对所述遗留物主体进行特征识别，确定所述遗留物主体的结构化特征信息；
输出所述遗留物主体的运动轨迹及结构化特征信息。
7.一种遗留物主体检测装置，其特征在于，所述装置包括：
获取模块，用于获取用户输入的待检测位置信息及待检测时间；
遗留物检测模块，用于获取相机采集的视频流；识别所述视频流各视频帧中的遗留物及各运动主体；其中，所述遗留物检测模块在用于识别所述视频流各视频帧中的遗留物时，具体用于：根据所述待检测时间，从所述视频流中，确定所述待检测时间对应的第一视频帧；根据所述待检测位置信息，从所述第一视频帧中，识别遗留物；基于从所述第一视频帧中识别出的所述遗留物，识别所述视频流各视频帧中的所述遗留物；
遗留物主体关联模块，用于根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体；
遗留物主体检索模块，用于确定其他关联相机的所述遗留物及所述遗留物主体的检索结果；若所述遗留物及所述遗留物主体同时出现在所述其他关联相机的检索结果中，则判断所述遗留物及所述遗留物主体同时出现时的距离是否小于所述预设距离阈值；若是，则确认所述遗留物主体为携带所述遗留物的主体。
8.根据权利要求7所述的装置，其特征在于，所述遗留物检测模块，具体用于：
对所述视频流中的各视频帧进行目标识别，确定所述各视频帧中的各感兴趣目标及所述各感兴趣目标的位置信息，所述感兴趣目标包括遗留物类型目标及运动主体；
对所述各视频帧中的遗留物类型目标进行静止状态分析，确定处于静止状态的遗留物类型目标；
根据所述各视频帧中所述处于静止状态的遗留物类型目标的位置信息及各运动主体的位置信息，判断所述各视频帧中所述处于静止状态的遗留物类型目标的预设距离范围内是否存在运动主体；
累计所述处于静止状态的遗留物类型目标的预设距离范围内连续不存在运动主体的遗留时间；
当所述遗留时间大于预设时间阈值时，确定所述处于静止状态的遗留物类型目标为遗留物。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
遗留物信息输出模块，用于对所述遗留物进行特征识别，确定所述遗留物的结构化特征信息；输出所述遗留物的结构化特征信息。
10.根据权利要求7所述的装置，其特征在于，所述遗留物主体关联模块，具体用于：
根据识别到的所述遗留物在所述各视频帧中的位置信息及所述各运动主体在所述各视频帧中的位置信息，确定在所述各视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体；
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
从所述与所述遗留物的距离小于预设距离阈值的运动主体中，确定出现在所述出现时刻至所述静止时刻之间的各第一视频帧中的运动主体为遗留物主体。
11.根据权利要求7所述的装置，其特征在于，所述遗留物主体关联模块，具体用于：
获取所述遗留物进入静止状态的静止时刻；
从所述静止时刻起往前回溯各视频帧，直至回溯到所述遗留物第一次出现的出现时刻；
确定从所述出现时刻至所述静止时刻之间的各第一视频帧；
根据识别到的所述遗留物在所述各第一视频帧中的位置信息及所述各运动主体在所述各第一视频帧中的位置信息，确定在所述各第一视频帧中，与所述遗留物的距离小于预设距离阈值的运动主体为遗留物主体。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括：
遗留物主体信息输出模块，用于获取并根据所述遗留物主体的时空信息，构建所述遗留物主体的运动轨迹，并对所述遗留物主体进行特征识别，确定所述遗留物主体的结构化特征信息；输出所述遗留物主体的运动轨迹及结构化特征信息。
13.一种电子设备，其特征在于，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
15.一种监控系统，其特征在于，所述监控系统包括多个关联的相机及电子设备；
所述相机，用于采集视频流，将所述视频流发送至所述电子设备；
所述电子设备，用于获取相机采集的视频流；识别所述视频流各视频帧中的遗留物及各运动主体；根据所述各视频帧中的遗留物及各运动主体，将所述遗留物处于静止状态之前、与所述遗留物的距离小于预设距离阈值的运动主体确定为遗留物主体；
所述电子设备，还用于：获取用户输入的待检测位置信息及待检测时间；
其中，所述电子设备在用于识别所述视频流各视频帧中的遗留物时，具体用于：根据所述待检测时间，从所述视频流中，确定所述待检测时间对应的第一视频帧；根据所述待检测位置信息，从所述第一视频帧中，识别遗留物；基于从所述第一视频帧中识别出的所述遗留物，识别所述视频流各视频帧中的所述遗留物；
所述电子设备，还用于：
确定其他关联相机的所述遗留物及所述遗留物主体的检索结果；若所述遗留物及所述遗留物主体同时出现在所述其他关联相机的检索结果中，则判断所述遗留物及所述遗留物主体同时出现时的距离是否小于所述预设距离阈值；若是，则确认所述遗留物主体为携带所述遗留物的主体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910286613.9A CN111814510B (zh) | 2019-04-10 | 2019-04-10 | 一种遗留物主体检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910286613.9A CN111814510B (zh) | 2019-04-10 | 2019-04-10 | 一种遗留物主体检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814510A CN111814510A (zh) | 2020-10-23 |
| CN111814510B true CN111814510B (zh) | 2024-04-05 |
Family
ID=72843734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910286613.9A Active CN111814510B (zh) | 2019-04-10 | 2019-04-10 | 一种遗留物主体检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814510B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112966695A (zh) * | 2021-02-04 | 2021-06-15 | 成都国翼电子技术有限公司 | 桌面遗留物检测方法、装置、设备及存储介质 |
| CN113076818A (zh) * | 2021-03-17 | 2021-07-06 | 浙江大华技术股份有限公司 | 一种宠物排泄物的识别方法、装置和计算机可读存储介质 |
| CN113313090A (zh) * | 2021-07-28 | 2021-08-27 | 四川九通智路科技有限公司 | 一种被遗弃可疑行李的遗弃人检测追踪方法 |
| CN115690046B (zh) * | 2022-10-31 | 2024-02-23 | 江苏慧眼数据科技股份有限公司 | 一种基于单目深度估计的物品遗留检测与溯源方法及系统 |
| CN117152751A (zh) * | 2023-10-30 | 2023-12-01 | 西南石油大学 | 一种图像分割方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101552910A (zh) * | 2009-03-30 | 2009-10-07 | 浙江工业大学 | 基于全方位计算机视觉的遗留物检测装置 |
| CN101854516A (zh) * | 2009-04-02 | 2010-10-06 | 北京中星微电子有限公司 | 视频监控系统、视频监控服务器及视频监控方法 |
| EP2528019A1 (en) * | 2011-05-26 | 2012-11-28 | Axis AB | Apparatus and method for detecting objects in moving images |
| JP2012235300A (ja) * | 2011-04-28 | 2012-11-29 | Saxa Inc | 置き去り又は持ち去り検知システム及び置き去り又は持ち去り検知記録の生成方法 |
| CN104850229A (zh) * | 2015-05-18 | 2015-08-19 | 小米科技有限责任公司 | 识别物体的方法及装置 |
| CN106650638A (zh) * | 2016-12-05 | 2017-05-10 | 成都通甲优博科技有限责任公司 | 一种遗留物检测方法 |
| CN109271932A (zh) * | 2018-09-17 | 2019-01-25 | 中国电子科技集团公司第二十八研究所 | 基于颜色匹配的行人再识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008029724A1 (fr) * | 2006-09-04 | 2008-03-13 | Panasonic Corporation | Dispositif de détermination de danger, procédé de détermination de danger, dispositif de rapport de danger et programme de détermination de danger |
| EP3418944B1 (en) * | 2017-05-23 | 2024-03-13 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
-
2019
- 2019-04-10 CN CN201910286613.9A patent/CN111814510B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101552910A (zh) * | 2009-03-30 | 2009-10-07 | 浙江工业大学 | 基于全方位计算机视觉的遗留物检测装置 |
| CN101854516A (zh) * | 2009-04-02 | 2010-10-06 | 北京中星微电子有限公司 | 视频监控系统、视频监控服务器及视频监控方法 |
| JP2012235300A (ja) * | 2011-04-28 | 2012-11-29 | Saxa Inc | 置き去り又は持ち去り検知システム及び置き去り又は持ち去り検知記録の生成方法 |
| EP2528019A1 (en) * | 2011-05-26 | 2012-11-28 | Axis AB | Apparatus and method for detecting objects in moving images |
| CN104850229A (zh) * | 2015-05-18 | 2015-08-19 | 小米科技有限责任公司 | 识别物体的方法及装置 |
| CN106650638A (zh) * | 2016-12-05 | 2017-05-10 | 成都通甲优博科技有限责任公司 | 一种遗留物检测方法 |
| CN109271932A (zh) * | 2018-09-17 | 2019-01-25 | 中国电子科技集团公司第二十八研究所 | 基于颜色匹配的行人再识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Recognition of pedestrian activity based on dropped-object detection;Weidong Min等;Signal Processing;第144卷;238-252 * |
| 深度学习下的行人再识别问题研究;周华捷;蒋建国;齐美彬;王继学;;信息与电脑(理论版)(第15期);136-138+143 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814510A (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814510B (zh) | 一种遗留物主体检测方法及装置 | |
| EP3654285B1 (en) | Object tracking using object attributes | |
| CN111325089B (zh) | 跟踪对象的方法和设备 | |
| CN108629791B (zh) | 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置 | |
| KR102553883B1 (ko) | 비디오 감시 시스템에서 경보들을 발생시키는 방법 | |
| JP6854881B2 (ja) | 顔画像照合システムおよび顔画像検索システム | |
| US10552687B2 (en) | Visual monitoring of queues using auxillary devices | |
| US9569531B2 (en) | System and method for multi-agent event detection and recognition | |
| WO2014050518A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| JPWO2015166612A1 (ja) | 映像解析システム、映像解析方法および映像解析プログラム | |
| CN101089875A (zh) | 面部鉴别装置、面部鉴别方法以及入口和出口管理装置 | |
| US8675917B2 (en) | Abandoned object recognition using pedestrian detection | |
| CN106355154B (zh) | 一种监控视频中检测频繁过人的方法 | |
| CN111325954B (zh) | 人员走失预警方法、装置、系统及服务器 | |
| CN108734967A (zh) | 违章车辆监控方法、装置及系统 | |
| CN104156691B (zh) | 一种基于图像处理的检测行人翻越闸机的监控方法 | |
| CN110399835A (zh) | 一种人员停留时间的分析方法、装置及系统 | |
| CN104463232A (zh) | 一种基于hog特征和颜色直方图特征的密度人群计数的方法 | |
| CN102902960A (zh) | 基于高斯建模与目标轮廓的遗留物检测方法 | |
| Piciarelli et al. | Surveillance-oriented event detection in video streams | |
| CN111539257A (zh) | 人员重识别方法、装置和存储介质 | |
| Ng et al. | Vision-based activities recognition by trajectory analysis for parking lot surveillance | |
| Patel et al. | Vehicle tracking and monitoring in surveillance video | |
| Seidenari et al. | Dense spatio-temporal features for non-parametric anomaly detection and localization | |
| KR102133045B1 (ko) | Cctv 영상 기반 데이터 처리 방법 및 그 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |