CN107871019B - 人车关联搜索方法及装置 - Google Patents
人车关联搜索方法及装置 Download PDFInfo
- Publication number
- CN107871019B CN107871019B CN201711247163.XA CN201711247163A CN107871019B CN 107871019 B CN107871019 B CN 107871019B CN 201711247163 A CN201711247163 A CN 201711247163A CN 107871019 B CN107871019 B CN 107871019B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- target
- target person
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013459 approach Methods 0.000 claims abstract description 9
- 230000003287 optical effect Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 7
- 230000006399 behavior Effects 0.000 description 22
- 230000015654 memory Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供一种人车关联搜索方法及装置。所述人车关联搜索方法包括：根据设定的人物特征查询图像采集设备采集的影像中包含所述人物特征的第一目标影像，实现对目标人物的影像搜索；当所述目标人物靠近车辆时，判断所述目标人物是否有进入该车辆的行为；当所述目标人物有进入该车辆的行为时，获取所述车辆的车辆特征；根据所述车辆特征查询所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像，实现对车辆的影像搜索。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种人车关联搜索方法及装置。
背景技术
用于视频监控影像系统，例如天眼系统，在监控区域(如，道路)的不同位置都安装有监控设备(如高清摄像头、夜视摄像头等)，用于对人、车辆等对象进行实时监控。有些时候还能够通过所述监控设备拍摄的监控视频对特定人物进行搜索，但是由于道路上的环境复杂，特定人上车、下车等行为会造成不能再获取人的影像，导致难以继续进行目标人物的搜索。
发明内容
有鉴于此，本发明实施例的目的在于提供一种人车关联搜索方法及装置。
本发明实施例提供的一种人车关联搜索方法，应用于控制终端，所述控制终端与多个图像采集设备通信连接，所述人车关联搜索方法包括：
根据设定的人物特征查询图像采集设备采集的影像中包含所述人物特征的第一目标影像实现对目标人物的影像搜索；
当所述目标人物靠近车辆时，判断所述目标人物是否有进入该车辆的行为；
当所述目标人物有进入该车辆的行为时，获取所述车辆的车辆特征；
根据所述车辆特征查询所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像实现对车辆的影像搜索。
优选地，所述人车关联搜索方法还包括：
对所述第二目标影像进行分析判断是否有所述目标人物离开所述车辆的行为；
当所述目标人物有离开该车辆的行为时，查询图像采集设备采集的影像中包含所述人物特征的第一目标影像，或者查询图像采集设备采集的影像中包含所述人物特征的第一目标影像和包含所述车辆特征的第二目标影像。
本发明实施例还提供一种人车关联搜索装置，应用于控制终端，所述控制终端与多个图像采集设备通信连接，所述人车关联识别装置包括：
第一查询模块，用于根据设定的人物特征查询图像采集设备采集的影像中包含所述人物特征的第一目标影像实现对目标人物的影像搜索；
第一判断模块，用于当所述目标人物靠近车辆时，判断所述目标人物是否有进入该车辆的行为；
获取模块，用于当所述目标人物有进入该车辆的行为时，获取所述车辆的车辆特征；
第二查询模块，用于根据所述车辆特征查询所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像实现对车辆的影像搜索。
优选地，所述人车关联搜索装置还包括：
第二判断模块，用于对所述第二目标影像进行分析判断是否有所述目标人物离开所述车辆的行为；
当有所述目标人物离开所述车辆的行为时，触发所述第一查询模块，或者触发所述第一查询模块和所述第二查询模块。
与现有技术相比，本发明实施例提供的人车关联搜索方法及装置，通过人物特征去查询图像采集设备采集到的影像中包含所述人物特征的第一目标影像实现对目标人物的影像搜索。在所述目标人物上车时，再对车辆进行搜索，实现人车关联查找，能够更有效地搜索目标人物的行踪。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的控制终端与图像采集设备进行交互的示意图。
图2为本发明较佳实施例提供的控制终端的方框示意图。
图3为本发明较佳实施例提供的人车关联搜索方法的流程图。
图4为本发明较佳实施例提供的人车关联搜索方法的流程图。
图5为本发明较佳实施例提供的人车关联搜索装置的功能模块示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，是本发明较佳实施例提供的控制终端100与图像采集设备200进行交互的示意图。所述控制终端100通过网络与一个或多个图像采集设备200进行通信连接，以进行数据通信或交互。所述控制终端100可以是网络服务器、数据库服务器等。所述控制终端100也可以是个人电脑(personal computer，PC)、平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)等。所述图像采集设备200可以是含有摄像头的个人电脑(personal computer，PC)、安装在街道上的视频监控装置等。
如图2所示，是图1所示的所述控制终端100的方框示意图。所述控制终端100包括人车关联搜索装置110、存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对控制终端100的结构造成限定。例如，控制终端100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。
所述存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人车关联搜索装置110包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器111中或固化在所述控制终端100的操作系统(Operating System，OS)中的软件功能模块。所述处理器113用于执行存储器中存储的可执行模块，例如所述人车关联搜索装置110包括的软件功能模块或计算机程序。
其中，所述存储器111可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的控制终端100所执行的方法可以应用于处理器113中，或者由处理器113实现。
所述处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述外设接口114将各种输入/输入装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
所述输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是，但不限于，鼠标和键盘等。
所述显示单元116在所述控制终端100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。
请参阅图3，是本发明较佳实施例提供的应用于图2所示的控制终端的人车关联搜索方法的流程图。下面将对图3所示的具体流程进行详细阐述。
步骤S101，根据设定的人物特征查询图像采集设备采集的影像中包含所述人物特征的第一目标影像实现对目标人物的影像搜索。
在一种实施方式中，所述控制终端根据所述目标人物的照片提取所述人物特征，再根据所述人物特征去查找所述第一目标影像。
在另一种实施方式，所述控制终端可以根据用户输入的特征描述模拟生成人物图像，再提取所述人物图像的人物特征，再根据所述人物特征去查找所述第一目标影像。所述特征描述可以是身高、体重、五官形状、发型、穿着等特征。
本实施例中，搜索到所述第一目标影像后，将在所述第一目标影像中跟踪所述目标人物。
在一种实施方式中，所述控制终端采用核相关滤波(Kernelized CorrelationFilters，KCF)实现在所述图像采集设备采集的影像中包含所述人物特征的第一目标影像中的目标人物进行跟踪。下面对本实施方式进行详细描述。
根据行人检测结果，确定目标的初始位置p0；
在当前位置p0为中心，提取采样区域的HoG(Histogram of Oriented Gradient，方向梯度直方图)特征xo；
1.利用以下公式(1)计算核回归器参数
其中，
是样本xo对应标签的傅里叶变换，
为对偶系数α的傅里叶变换，K为核相关矩阵；
2.在It帧中，在前一帧位置pt-1附近采样，提取采样区域的HoG特征zt；
3.利用公式(2)计算当前循环向量zt的相关滤波响应图yt；
yt＝αTK(zt,xt-1) (2)
取yt元素中最大值对应位置为当前目标位置pt；
4.在以当前位置pt为中心，提取采样区域的HoG特征xt；
5.基于当前目标模板xt，利用式(1)更新回归器参数
6.若跟踪未结束，t＝t+1，转向步骤4；否则，结束当前目标跟踪。
本实施例中，一个图像采集设备采集的影像跟踪结束后，根据所述人物特征查询其它图像采集设备采集的影像，以继续跟踪所述目标人物。
当在图像采集设备中进行的跟踪结束后，所述控制终端需重新从多个图像采集设备采集的影像中查询所述目标人物或车辆。在一种实施方式中，所述控制终端中存储和每个图像采集设备的具体位置，以及图像采集设备之间的位置关系，所述控制终端从与前一时间搜索的图像采集设备相邻的图像采集设备采集的影像中查询，若查询不到所述目标人物时，再逐渐扩大查找范围。在另一种实施方式中，所述控制终端根据所述目标人物的移动方向，对应查询所述方向对应进入的区域的图像采集设备所采集的影像。
步骤S102，当所述目标人物靠近车辆时，判断所述目标人物是否有进入该车辆的行为。
本实施例中，所述判断所述目标人物是否有进入该车辆的行为通过以下方式实现：当对所述图像采集设备采集的影像进行分析确定所述目标人物接近车辆时，提取当前场景的连续稠密光流矢量作为特征，输入训练好的人车关联网络进行预测，根据预测结果判断所述目标人物是否有进入该车辆的行为。
在一种实施方式中，人车关联网络包括卷积层、LSTM(Long Short-Term Memory，长短期记忆网络)层和分类层。在一个实例中，所述卷积层有五个，LSTM层有三个，分类层一个。所述分类层可以是softmax分类层。本实例中，LSTM层的结构如下：
it＝σ(wxixt+wyiyt-1+wcict-1+bi)；
ft＝σ(wxfxt+wyfyt-1+wcfct-1+bf)；
ct＝ftct-1+it·tanh(wxcxt+wycyt-1+bc)；
ot＝σ(wxoxt+wyoyt-1+wcoct+bo)；
yt＝ot·tanh(ct)；
其中，w为权重，xt、it、ft、ct、ot、yt分别为第t帧时LSTM层的输入、输入门、遗忘门、记忆原胞、输出门以及输出的状态。
本实施例中，将标注好的行人上车、下车以及人车不相关等视频数据所提取的稠密光流矢量输入所述人车关联网络进行训练，以确定所述人车关联网络中的待确定的参数，从而得到所述训练好的人车关联网络。
本实施例中，所述查询图像采集设备采集的影像中包含所述人物特征的第一目标影像或查询所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像通过以下方式实现：当所述目标人物或车辆离开其中一个图像采集设备所能采集的区域后，查询所述目标人物或车辆的移动趋势对应进入的区域的图像采集设备所采集的影像以查询所述第一目标影像和第二目标影像。
当在图像采集设备中进行的搜索结束后，所述控制终端需重新从多个图像采集设备采集的影像中查询所述目标人物或车辆。在一种实施方式中，所述控制终端中存储和每个图像采集设备的具体位置，以及图像采集设备之间的位置关系，所述控制终端从与前一时间搜索的图像采集设备相邻的图像采集设备采集的影像中查询，若查询不到所述目标人物或车辆时，再逐渐扩大查找范围。在另一种实施方式中，所述控制终端根据所述目标人物或车辆的移动方向，对应查询所述方向对应进入的区域的图像采集设备所采集的影像。
本实施例中，当所述目标人物靠近车辆时，当前场景的连续稠密光流矢量作为特征输入所述训练好的人车关联网络进行训练，根据所述分类器得到的分类结果可判断所述目标人物是否进入车辆。
当所述目标人物有进入该车辆的行为时，执行步骤S103；否则继续执行步骤S101。
步骤S103，获取所述车辆的车辆特征。
在一种实施方式中，步骤S103之后，所述方法还包括：根据所述人物特征再次查询图像采集设备采集的影像中是否包含所述人物特征；若包含所述人物特征，继续查询图像采集设备采集的影像中包含所述人物特征的第一目标影像。
步骤S104，根据所述车辆特征查询所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像实现对车辆的影像搜索。
在一种实施方式中，所述控制终端采用核相关滤波(Kernelized CorrelationFilters，KCF)实现在所述图像采集设备采集的影像中包含车辆特征的第二目标影像中的车辆进行跟踪。关于对于车辆的跟踪与上述描述的在第一目标影像中的目标人物进行跟踪的方式类似，具体可以参考上述目标人物的跟踪的描述，在此不再赘述。
本实施例中，所述查询图像采集设备采集的影像中包含所述车辆特征的第二目标影像通过以下方式实现：当所述车辆离开其中一个图像采集设备所能采集的区域后，查询所述车辆的移动趋势对应进入的区域的图像采集设备所采集的影像以查询所述第二目标影像。
当在图像采集设备中进行的搜索结束后，所述控制终端需重新从多个图像采集设备采集的影像中查询所述车辆。在一种实施方式中，所述控制终端中存储和每个图像采集设备的具体位置，以及图像采集设备之间的位置关系，所述控制终端从与前一时间搜索的图像采集设备相邻的图像采集设备采集的影像中查询，若查询不到所述目标人物或车辆时，再逐渐扩大查找范围。在另一种实施方式中，所述控制终端根据所述目标人物或车辆的移动方向，对应查询所述方向对应进入的区域的图像采集设备所采集的影像。
本实施例中，所述查询图像采集设备采集的影像中包含所述人物特征的第一目标影像或查询所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像通过以下方式实现：当所述目标人物或车辆离开其中一个图像采集设备所能采集的区域后，查询所述目标人物或车辆的移动趋势对应进入的区域的图像采集设备所采集的影像以查询所述第一目标影像和第二目标影像。
当在图像采集设备中进行的搜索结束后，所述控制终端需重新从多个图像采集设备采集的影像中查询所述目标人物或车辆。在一种实施方式中，所述控制终端中存储和每个图像采集设备的具体位置，以及图像采集设备之间的位置关系，所述控制终端从与前一时间搜索的图像采集设备相邻的图像采集设备采集的影像中查询，若查询不到所述车辆时，再逐渐扩大查找范围。在另一种实施方式中，所述控制终端根据所述车辆的移动方向，对应查询所述方向对应进入的区域的图像采集设备所采集的影像。
根据本发明实施例提供的人车关联搜索方法，通过人物特征去查询图像采集设备采集到的影像中包含所述人物特征的第一目标影像实现对目标人物的影像搜索，在判断所述目标人物上车，再对车辆进行搜索，实现人车关联查找，能够更有效地搜索目标人物的行踪。
在其它施例中，步骤S104之后，所述方法还包括步骤S105-S106。如图4所示，本实施例中的方法还包括以下步骤。
步骤S105，对所述第二目标影像进行分析判断是否有所述目标人物离开所述车辆的行为。
所述判断所述车辆的第二行踪影像中是否有所述目标人物的离开该车辆的行为通过以下方式实现：当对所述图像采集设备采集的影像进行分析确定所述车辆停车时，提取当前场景的连续稠密光流矢量作为特征，输入训练好的所述人车关联网络进行训练，根据训练结果判断所述目标人物是否有离开该车辆的行为。
当所述目标人物有离开该车辆的行为时，执行步骤S106；否则就继续对车辆的影像搜索。
步骤S106，查询图像采集设备采集的影像中包含所述人物特征的第一目标影像。
在另外一种实施方式中，所述方法还包括，步骤S107，查询图像采集设备采集的影像中包含所述人物特征的第一目标影像和包含所述车辆特征的第二目标影像。
通过判断目标人物是否有离开车辆的行为可以监控目标人物的可能出现的行为，以进一步地跟踪所述目标人物，得到目标人物的移动路线，以更准确地获取目标人物的位置，提高目标人物搜索的准确率。
请参阅图5，是本发明较佳实施例提供的图2所示的人车关联搜索装置110的功能模块示意图。本实施例的车关联搜索装置110中的各个模块用于执行上述方法实施例中的各个步骤。所述人车关联搜索装置110包括：第一查询模块1101、第一判断模块1102、获取模块1103以及第二查询模块1104。
所述第一查询模块1101，用于根据设定的人物特征查询图像采集设备采集的影像中包含所述人物特征的第一目标影像实现对目标人物的影像搜索。
所述第一判断模块1102，用于当所述目标人物靠近车辆时，判断所述目标人物是否有进入该车辆的行为。
所述获取模块1103，用于当所述目标人物有进入该车辆的行为时，获取所述车辆的车辆特征。
所述第二查询模块1104，用于根据所述车辆特征查询所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像实现对车辆的影像搜索。
本实施例中，所述人车关联搜索装置110的第一查询模块1101，还用于当第一判断模块判断目标人物有进入该车辆的行为时，根据所述人物特征再次查询图像采集设备采集的影像中是否包含所述人物特征，若包含所述人物特征，继续查询图像采集设备采集的影像中包含所述人物特征的第一目标影像。
本实施例中，所述人车关联搜索装置110还包括：
第二判断模块1105，用于对所述第二目标影像进行分析判断是否有所述目标人物离开所述车辆的行为；当所述目标人物有离开该车辆的行为时，触发所述第一查询模块1101，或者触发第一查询模块1101和第二查询模块查询1104。
本实施例中，所述第一判断模块1102通过以下方式实现：当对所述图像采集设备采集的影像进行分析确定所述目标人物接近车辆时，提取当前场景的连续稠密光流矢量作为特征，输入训练好的人车关联网络进行训练，根据训练结果判断所述目标人物是否有进入该车辆的行为。
所述第二判断模块1105通过以下方式实现：当对所述图像采集设备采集的影像进行分析确定所述车辆停车时，提取当前场景的连续稠密光流矢量作为特征，输入训练好的所述人车关联网络进行训练，根据训练结果判断所述目标人物是否有离开该车辆的行为。
本实施例中，所述第一查询模块1101还用于当所述目标人物离开其中一个图像采集设备所能采集的区域后，查询所述目标人物或车辆的移动趋势对应进入的区域的图像采集设备所采集的影像以查询所述第一目标影像。
所述第二查询模块1104还用于当所述车辆离开其中一个图像采集设备所能采集的区域后，查询所述车辆的移动趋势对应进入的区域的图像采集设备所采集的影像以查询所述第二目标影像。
关于本实施例的其它细节还可以进一步地参考上述方法实施例中的描述，在此不再赘述。
根据本发明实施例提供的人车关联搜索装置，通过人物特征去查询图像采集设备采集到的影像中包含所述人物特征的第一目标影像实现对目标人物的影像搜索，在判断所述目标人物上车，再对车辆进行搜索，实现人车关联查找，能够更有效地搜索目标人物的行踪。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种人车关联搜索方法，其特征在于，应用于控制终端，所述控制终端与多个图像采集设备通信连接，所述方法包括：
根据设定的人物特征查询图像采集设备采集的影像中包含所述人物特征的第一目标影像实现对目标人物的影像搜索；
当所述目标人物靠近车辆时，判断所述目标人物是否有进入该车辆的行为；
当所述目标人物有进入该车辆的行为时，获取所述车辆的车辆特征；
根据所述车辆特征查询所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像实现对车辆的影像搜索。
2.如权利要求1所述的人车关联搜索方法，其特征在于，当所述目标人物有进入该车辆的行为，获取所述车辆的车辆特征之后，所述方法还包括：
根据所述人物特征再次查询图像采集设备采集的影像中是否包含所述人物特征；
若包含所述人物特征，继续查询图像采集设备采集的影像中包含所述人物特征的第一目标影像。
3.如权利要求1所述的人车关联搜索方法，其特征在于，根据所述车辆特征对所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像之后，所述方法还包括：
对所述第二目标影像进行分析判断是否有所述目标人物离开所述车辆的行为；
当所述目标人物有离开该车辆的行为时，查询图像采集设备采集的影像中包含所述人物特征的第一目标影像，或者查询图像采集设备采集的影像中包含所述人物特征的第一目标影像和包含所述车辆特征的第二目标影像。
4.如权利要求3所述的人车关联搜索方法，其特征在于，所述判断所述目标人物是否有进入该车辆的行为通过以下方式实现：
当对所述图像采集设备采集的影像进行分析确定所述目标人物接近车辆时，提取当前场景的连续稠密光流矢量作为特征，输入训练好的人车关联网络进行预测，根据网络输出结果判断所述目标人物是否有进入该车辆的行为；
所述判断所述车辆的第二行踪影像中是否有所述目标人物的离开该车辆的行为通过以下方式实现：
当对所述图像采集设备采集的影像进行分析确定所述车辆停车时，提取当前场景的连续稠密光流矢量作为特征，输入训练好的所述人车关联网络进行预测，根据网络输出结果判断所述目标人物是否有离开该车辆的行为。
5.如权利要求1-4任意一项所述的人车关联搜索方法，其特征在于，所述查询图像采集设备采集的影像中包含所述人物特征的第一目标影像或查询所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像通过以下方式实现：
当所述目标人物或车辆离开其中一个图像采集设备对应的图像采集区域后，查询所述目标人物或车辆的移动趋势，对应进入的区域的图像采集设备所采集的影像以查询所述第一目标影像和第二目标影像。
6.一种人车关联搜索装置，其特征在于，应用于控制终端，所述控制终端与多个图像采集设备通信连接，所述装置包括：
第一查询模块，用于根据设定的人物特征查询图像采集设备采集的影像中包含所述人物特征的第一目标影像实现对目标人物的影像搜索；
第一判断模块，用于当所述目标人物靠近车辆时，判断所述目标人物是否有进入该车辆的行为；
获取模块，用于当所述目标人物有进入该车辆的行为时，获取所述车辆的车辆特征；
第二查询模块，用于根据所述车辆特征查询所述图像采集设备采集的影像中包含所述车辆特征的第二目标影像实现对车辆的影像搜索。
7.如权利要求6所述的人车关联搜索装置，其特征在于，所述装置还包括：
第一查询模块，还用于当第一判断模块判断目标人物有进入该车辆的行为时，根据所述人物特征再次查询图像采集设备采集的影像中是否包含所述人物特征，若包含所述人物特征，继续查询图像采集设备采集的影像中包含所述人物特征的第一目标影像。
8.如权利要求6所述的人车关联搜索装置，其特征在于，所述装置还包括：
第二判断模块，用于对所述第二目标影像进行分析判断是否有所述目标人物离开所述车辆的行为；
当有所述目标人物离开所述车辆的行为时，触发所述第一查询模块，或者触发所述第一查询模块和所述第二查询模块。
9.如权利要求8所述的人车关联搜索装置，其特征在于，所述第一判断模块通过以下方式实现：
当对所述图像采集设备采集的影像进行分析确定所述目标人物接近车辆时，提取当前场景的连续稠密光流矢量作为特征，输入训练好的人车关联网络进行预测，根据预测结果判断所述目标人物是否有进入该车辆的行为；
所述第二判断模块通过以下方式实现：
当对所述图像采集设备采集的影像进行分析确定所述车辆停车时，提取当前场景的连续稠密光流矢量作为特征，输入训练好的所述人车关联网络进行训练，根据训练结果判断所述目标人物是否有离开该车辆的行为。
10.如权利要求6-9任意一项所述的人车关联搜索装置，其特征在于，所述第一查询模块还用于当所述目标人物离开其中一个图像采集设备对应的图像采集区域后，查询所述目标人物或车辆的移动趋势对应进入的区域的图像采集设备所采集的影像以查询所述第一目标影像；
所述第二查询模块还用于当所述车辆离开其中一个图像采集设备对应的图像采集区域后，查询所述车辆的移动趋势对应进入的区域的图像采集设备所采集的影像以查询所述第二目标影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711247163.XA CN107871019B (zh) | 2017-12-01 | 2017-12-01 | 人车关联搜索方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711247163.XA CN107871019B (zh) | 2017-12-01 | 2017-12-01 | 人车关联搜索方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107871019A CN107871019A (zh) | 2018-04-03 |
| CN107871019B true CN107871019B (zh) | 2020-09-15 |
Family
ID=61755000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711247163.XA Active CN107871019B (zh) | 2017-12-01 | 2017-12-01 | 人车关联搜索方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107871019B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214320A (zh) * | 2018-08-23 | 2019-01-15 | 中国电子科技集团公司电子科学研究院 | 基于视频分析的人车关联方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101848377A (zh) * | 2010-05-26 | 2010-09-29 | 苏州安杰瑞电子科技发展有限公司 | 一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法 |
| CN103530366A (zh) * | 2013-10-12 | 2014-01-22 | 湖北微模式科技发展有限公司 | 一种基于自定义特征的车辆搜索方法与系统 |
| CN107256386A (zh) * | 2017-05-23 | 2017-10-17 | 东南大学 | 基于深度学习的人类行为分析方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200237B (zh) * | 2014-08-22 | 2019-01-11 | 浙江生辉照明有限公司 | 一种基于核化相关滤波高速自动多目标跟踪方法 |
-
2017
- 2017-12-01 CN CN201711247163.XA patent/CN107871019B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101848377A (zh) * | 2010-05-26 | 2010-09-29 | 苏州安杰瑞电子科技发展有限公司 | 一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法 |
| CN103530366A (zh) * | 2013-10-12 | 2014-01-22 | 湖北微模式科技发展有限公司 | 一种基于自定义特征的车辆搜索方法与系统 |
| CN107256386A (zh) * | 2017-05-23 | 2017-10-17 | 东南大学 | 基于深度学习的人类行为分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 视频中行人和车辆的检测及跟踪技术研究;李天宇;《中国优秀硕士学位论文全文数据库信息科技辑》;20130715(第07期);I140-591 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107871019A (zh) | 2018-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107784282B (zh) | 对象属性的识别方法、装置及系统 | |
| Wang et al. | Human fall detection in surveillance video based on PCANet | |
| JP7282851B2 (ja) | 装置、方法及びプログラム | |
| CN109145766B (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
| US10186123B2 (en) | Complex event recognition in a sensor network | |
| CN109740573B (zh) | 视频分析方法、装置、设备及服务器 | |
| WO2002069267A2 (en) | Classification of objects through model ensembles | |
| CN108009466B (zh) | 行人检测方法和装置 | |
| CN107918767B (zh) | 目标检测方法、装置、电子设备及计算机可读介质 | |
| CN112183304B (zh) | 离位检测方法、系统及计算机存储介质 | |
| CN114093022A (zh) | 活动检测装置、活动检测系统及活动检测方法 | |
| CN111931616A (zh) | 基于移动智能终端传感器设备的情绪识别方法及系统 | |
| CN110717407A (zh) | 基于唇语密码的人脸识别方法、装置及存储介质 | |
| CN116129350B (zh) | 数据中心安全作业的智能监控方法、装置、设备及介质 | |
| CN112101156B (zh) | 一种目标识别的方法、装置和电子设备 | |
| Yusro et al. | Comparison of faster r-cnn and yolov5 for overlapping objects recognition | |
| US20200097735A1 (en) | System and Method for Display of Object Movement Scheme | |
| WO2015102711A2 (en) | A method and system of enforcing privacy policies for mobile sensory devices | |
| CN111241961A (zh) | 人脸检测方法、装置及电子设备 | |
| CN107871019B (zh) | 人车关联搜索方法及装置 | |
| CN114373142A (zh) | 基于深度学习的行人跌倒检测方法 | |
| CN112148924A (zh) | 一种行李箱检索方法、装置及电子设备 | |
| CN111797075B (zh) | 数据回收方法、装置、存储介质及电子设备 | |
| Hussain et al. | A smartphone accelerometer data-driven approach to recognize activities of daily life: A comparative study | |
| Raman et al. | Beyond estimating discrete directions of walk: a fuzzy approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Person-vehicle association search method and device Effective date of registration: 20220823 Granted publication date: 20200915 Pledgee: Bank of China Limited Wuhan Economic and Technological Development Zone sub branch Pledgor: HUBEI MICROPATTERN TECHNOLOGY DEVELOPMENT CO.,LTD. Registration number: Y2022420000271 |