[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110569390B - 基于区分存储介质的海量案件数据高效检索方法 - Google Patents

基于区分存储介质的海量案件数据高效检索方法 Download PDF

Info

Publication number
CN110569390B
CN110569390B CN201910771016.5A CN201910771016A CN110569390B CN 110569390 B CN110569390 B CN 110569390B CN 201910771016 A CN201910771016 A CN 201910771016A CN 110569390 B CN110569390 B CN 110569390B
Authority
CN
China
Prior art keywords
target
face
relational database
pedestrian
cyclist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910771016.5A
Other languages
English (en)
Other versions
CN110569390A (zh
Inventor
严国建
陈斌
王彬
曾璐
何海峰
范玲珑
李健
陈秀峰
王思桐
聂瑜智
陈伟
董骏
魏伟
普应奇
梁瑞凡
李志强
乔熙
陈正义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN DAQIAN INFORMATION TECHNOLOGY CO LTD
Original Assignee
WUHAN DAQIAN INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN DAQIAN INFORMATION TECHNOLOGY CO LTD filed Critical WUHAN DAQIAN INFORMATION TECHNOLOGY CO LTD
Priority to CN201910771016.5A priority Critical patent/CN110569390B/zh
Publication of CN110569390A publication Critical patent/CN110569390A/zh
Application granted granted Critical
Publication of CN110569390B publication Critical patent/CN110569390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于区分存储介质的海量案件数据高效检索方法，该方法包括：将行人或骑车人结构化语义信息存储到关系型数据库表中，将人脸特征数据存储在非关系型数据库表中；对待检索图片的行人或骑车人目标检测、人脸检测、提取人脸特征数据；选择行人或骑车人类型和结构化语义信息的一个或多个字段，在关系型数据库表中查询出对应的目标唯一标识符，结合行人或骑车人的目标类型，在非关系型数据库中的人脸特征表中高效快速的检索出符合条件的人脸特征数据；本发明通过人脸特征数据和人体结构化语义进行组合的检索方式来对海量的案件进行快速准确检索。

Description

基于区分存储介质的海量案件数据高效检索方法
技术领域
本发明涉及海量数据的存储和检索，具体地指一种基于区分存储介质的海量案件数据高效检索方法。
背景技术
视频追踪成为侦破案件的重要手段之一，在视频追踪过程中，需要对视频数据检索出目标对象。
目前，对于视频数据的存储，根据数据结构类型的不同而使用不同的存储介质，目前存储人脸特征向量数据(非结构化数据)仍基于文件、关系型数据库作为存储介质等，不但消耗存储的空间较大，且读取的人脸特征向量数据时的性能较低下。
而传统的以案搜案的检索方式，检索(通过案件中结构化语义字段检索)出案件库中案件类型相同的案件结果太多，且检索出的有效案件结果不一定准确，尤其当案件库中存储年代久远且存储海量数量的案件时，办案人员往往花费很长时间和很大的精力来进行检索，即使再通过结果再次进行二次属性筛查，也不一定能达到较精准的检索出有效案件，在海量数据情况下，会耗费巨大的精力，甚至贻误办案时机，很不智能。
发明内容
本发明目的在于克服上述现有技术的不足而提供一种基于区分存储介质的海量案件数据高效检索方法，该方法将行人或骑车人结构化语义信息存储到关系型数据库表中，将人脸特征数据存储在非关系型数据库表中，在进行案件检索时，通过人脸特征数据和人体结构化语义进行组合的检索方式来对海量的案件进行快速准确检索。
实现本发明目的采用的技术方案是一种基于区分存储介质的海量案件数据高效检索方法，该方法包括：
S1、将行人或骑车人结构化语义信息存储到关系型数据库表中，将人脸特征数据存储在非关系型数据库表中，将行人或骑车人的目标类型、人脸特征、行人或骑车人结构化语义信息、及所涉案件的目标唯一标识符建立关系型数据库表和非关系型数据库表之间的关联关系；
S2、通过深度学习算法对上传的待检测图片中进行行人或骑车人目标检测、人脸检测、提取人脸特征数据；
S3、选择行人或骑车人类型和结构化语义信息的一个或多个字段，通过所述结构化语义信息在关系型数据库表中查询出对应的目标唯一标识符，结合行人或骑车人的目标类型，在非关系型数据库中的人脸特征表中高效快速的检索出符合条件的人脸特征数据；
S4、将S2中提取的人脸特征数据与S3中检索出的人脸特征数据与进行比对，得出相似度的分值；
S5、将目标唯一标识符在关系型数据库的人脸案件关联表中找到对应的案件唯一标识符，并结合得到的相似度分值，从而最终得到案件的相似度分值；
S6、将案件相似度分值从高到低排序然后返回最终结果。
在上述技术方案中，所述步骤S1包括：在视频快照中对行人或骑车人进行框选，通过深度学习算法，首先对行人或骑车人目标检测、再对人脸检测和人脸特征数据提取，最后提取行人或骑车人结构化语义信息，提取出这两类数据后，通过后端程序，将行人或骑车人结构化语义信息存储到关系型数据库表中，将人脸特征数据存储在非关系型数据库表中。
进一步地，在关系型数据库中建立三张数据表：行人目标信息表、骑车人目标信息、人脸案件关联表；在非关系型数据库中建立一张人脸特征表，
所述行人目标信息表字段包括:目标唯一标识符、是否有人脸、人脸坐标、删除标记、目标行人结构化信息多个字段中行人结构化语义字段；
所述骑车人目标信息表字段包括:目标唯一标识符、是否有人脸、人脸坐标、删除标记、目标骑车人结构化信息等多个字段；
所述人脸案件关联表字段包括：主键唯一标识符、案件唯一标识符、目标类型、目标唯一标识符的结构化信息；
所述人脸特征表字段包括：目标唯一标识符、目标类型、人脸特征数据，采用K-V键值方式进行存储；
将视频快照进行手工标注识别出的行人或骑车人的目标类型、人脸特征、行人或骑车人结构化语义信息、及本案件的案件唯一标识符分别按顺序存储到上述四张表中，以建立关系型数据库表和非关系型数据库表之间的关联关系。
与现有技术相比，本发明具有以下优点：
(1)除支持行人目标检测的同时还支持骑车人的目标检测、人脸特征检测、结构化语义提取。
(2)海量存储和高性能读取：根据结构化和非结构化数据结构不同，使用不同存储介质进行存储，即关系型数据库、非关系型数据库(NOSQL、NEWSQL)，有效合理利用存储空间、高性能读写数据(尤其是海量数据)和高扩展性等优点。
(3)快速识别人脸：采取手工标注方式而非自动方式，直接框选对应视频快照中行人、骑车人或人脸，省去对视频快照中所有目标(行人、骑车人、车辆)全部自动检测和自动识别的步骤，节约检测和识别时间。
(4)快速精准识别案件：针对业务场景不同，通过人脸特征数据和人体结构化语义进行组合的检索方式来对海量的案件进行快速准确检索案件。
附图说明
图1是本发明基于区分存储介质的海量案件数据高效检索方法中数据存储的流程图。
图2是本发明基于区分存储介质的海量案件数据高效检索方法中的案件检索流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
本发明基于区分存储介质的海量案件数据高效检索方法包括数据存储和案件检索两部分，其中数据存储的流程如图1所示，包括：
S1、通过手工标注，在视频快照中对行人或骑车人进行框选，通过深度学习算法，首先对行人或骑车人目标检测、再对人脸检测和人脸特征数据提取，最后提取行人或骑车人结构化语义信息，提取出这两类数据后，通过后端程序，将行人或骑车人结构化语义信息(结构化数据数据)存储到关系型数据库表中，将人脸特征数据(非结构化数据)存储在非关系型数据库(NOSQL、NEWSQL)表中，数据存储详细描述如下：
(1)、在关系型数据库中建立三张数据表：行人目标信息表、骑车人目标信息、人脸案件关联表，具体为：
第一张行人目标信息表字段包括：目标唯一标识符、是否有人脸、人脸坐标、删除标记(0：删除1：未删除)、目标行人结构化信息等多个字段(例如采用公开号为107341445A的中国专利公开的监控场景下行人目标的全景描述方法及系统中公开的行人结构化语义字段，见下方表1，不包含人脸特征数据)等结构化信息存储到关系型数据库二维表中。
表1
第二张骑车人目标信息表字段包括：目标唯一标识符、是否有人脸、人脸坐标、删除标记(0：删除1：未删除)、目标骑车人结构化信息等多个字段(见表2，不包含人脸特征数据)、等结构化信息存储到关系型数据库二维表中。
表2
第三张人脸案件关联表字段包括：主键唯一标识符、案件唯一标识符、目标类型(1：行人；4:骑车人)、目标唯一标识符(与上述行人目标信息表、骑车人目标信息中的唯一标识符分别对应)等结构化信息存储到关系型数据库二维表中。
(2)、在非关系型数据库(NOSQL、NEWSQL)中建立一张人脸特征表，字段包括：目标唯一标识符、目标类型、人脸特征数据，采用K-V键值方式进行存储，即：将目标唯一标识符、目标类型字段组合作为键，将人脸特征数据作为值，进行存储等存储到非关系型数据库表中。
(3)、通过对视频快照进行手工标注，将算法识别出的行人或骑车人的目标类型、人脸特征、行人或骑车人结构化语义信息、及本案件的案件唯一标识符等数据分别按顺序存储(通过生成的目标唯一标识符和目标类型进行关联)到这四张表中，以建立关系型数据库表和非关系型数据库表之间的关联关系。
案件检索的流程如图2所示，包括：
S2、通过深度学习算法对上传的图片或指定的图片URL中进行行人或骑车人目标检测、人脸检测、提取人脸特征数据；
S3、通过案件检索手工选择行人或骑车人类型和结构化语义信息的一个或多个字段，通所述结构化语义信息在关系型数据库表中查询出对应的目标唯一标识符，结合行人或骑车人的目标类型，在非关系型数据库中的人脸特征表中高效快速的检索出符合条件的人脸特征数据；
S4、将S2中提取的人脸特征数据与S3中检索出的人脸特征数据与进行比对，得出相似度的分值；
S5、将目标唯一标识符在关系型数据库的人脸案件关联表中找到对应的案件唯一标识符，并结合步骤S4得到的相似度分值，从而最终得到案件的相似度分值；
S6、将案件相似度分值从高到低排序然后返回最终结果。
现有技术要么纯粹通过结构化信息进行检索，要么单一使用人脸特征向量进行比对，检索和比对的结果，仍需人工进行二次筛选和过滤，当在海量数据情况下，会耗费巨大的精力，甚至贻误办案时机，本发明方法充分利用传统关系型数据库支持复杂字段(字段多)、小字段(字段长度短)检索和非关系型数据库(NOSQL、NEWSQL)的简单字段(K-V键值)、大字段(字段长度长)检索的优势，可同时结合人脸特征向量和结构化信息进行组合检索，一步到位，快速的精确找出相似嫌疑人和相似案件，海量数据陈年旧案也能快速查找和关联，更加智能更加便捷，能很大程度上解放人力，达到快速侦破的效果。

Claims (2)

1.一种基于区分存储介质的海量案件数据高效检索方法，其特征在于，包括：
S1、将行人或骑车人结构化语义信息存储到关系型数据库表中，将人脸特征数据存储在非关系型数据库表中，将行人或骑车人的目标类型、人脸特征、行人或骑车人结构化语义信息、及所涉案件的目标唯一标识符建立关系型数据库表和非关系型数据库表之间的关联关系；在关系型数据库中建立三张数据表：行人目标信息表、骑车人目标信息、人脸案件关联表；在非关系型数据库中建立一张人脸特征表，
所述行人目标信息表字段包括：目标唯一标识符、是否有人脸、人脸坐标、删除标记、目标行人结构化信息多个字段中行人结构化语义字段；
所述骑车人目标信息表字段包括：目标唯一标识符、是否有人脸、人脸坐标、删除标记、目标骑车人结构化信息等多个字段；
所述人脸案件关联表字段包括：主键唯一标识符、案件唯一标识符、目标类型、目标唯一标识符的结构化信息；
所述人脸特征表字段包括：目标唯一标识符、目标类型、人脸特征数据，采用K-V键值方式进行存储；
将视频快照进行手工标注识别出的行人或骑车人的目标类型、人脸特征、行人或骑车人结构化语义信息、及本案件的案件唯一标识符分别按顺序存储到上述四张表中，以建立关系型数据库表和非关系型数据库表之间的关联关系；
S2、通过深度学习算法对上传的待检测图片中进行行人或骑车人目标检测、人脸检测、提取人脸特征数据；
S3、选择行人或骑车人类型和结构化语义信息的一个或多个字段，通过所述结构化语义信息在所述关系型数据库表中查询出对应的目标唯一标识符，结合行人或骑车人的目标类型，在所述非关系型数据库中的人脸特征表中高效快速的检索出符合条件的人脸特征数据；
S4、将S2中提取的人脸特征数据与S3中检索出的人脸特征数据与进行比对，得出相似度的分值；
S5、将目标唯一标识符在关系型数据库的人脸案件关联表中找到对应的案件唯一标识符，并结合得到的相似度分值，从而最终得到案件的相似度分值；
S6、将案件相似度分值从高到低排序然后返回最终结果。
2.根据权利要求1所述基于区分存储介质的海量案件数据高效检索方法，其特征在于步骤S1包括：通过手工标注，在视频快照中对行人或骑车人进行框选，通过深度学习算法，首先对行人或骑车人目标检测、再对人脸检测和人脸特征数据提取，最后提取行人或骑车人结构化语义信息，提取出这两类数据后，通过后端程序，将行人或骑车人结构化语义信息存储到关系型数据库表中，将人脸特征数据存储在非关系型数据库表中。
CN201910771016.5A 2019-08-20 2019-08-20 基于区分存储介质的海量案件数据高效检索方法 Active CN110569390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910771016.5A CN110569390B (zh) 2019-08-20 2019-08-20 基于区分存储介质的海量案件数据高效检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910771016.5A CN110569390B (zh) 2019-08-20 2019-08-20 基于区分存储介质的海量案件数据高效检索方法

Publications (2)

Publication Number Publication Date
CN110569390A CN110569390A (zh) 2019-12-13
CN110569390B true CN110569390B (zh) 2024-01-30

Family

ID=68774135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910771016.5A Active CN110569390B (zh) 2019-08-20 2019-08-20 基于区分存储介质的海量案件数据高效检索方法

Country Status (1)

Country Link
CN (1) CN110569390B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586354A (zh) * 2020-04-28 2020-08-25 上海市保安服务(集团)有限公司 侦查系统
CN112231530B (zh) * 2020-11-19 2024-06-25 中国民航信息网络股份有限公司 一种基于生物信息的机场远机位登机复核方法及相关装置
CN112487222B (zh) * 2020-11-30 2021-11-30 江苏正赫通信息科技有限公司 相似人脸快速搜索及有效存储的方法
CN117493434B (zh) * 2023-11-03 2024-05-03 青岛以萨数据技术有限公司 一种人脸图像存储方法、设备及介质
CN117874133B (zh) * 2023-12-19 2024-08-20 广州极点三维信息科技有限公司 一种海量数据存储处理方法、系统、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235825A (zh) * 2013-05-08 2013-08-07 重庆大学 一种基于Hadoop云计算框架的海量人脸识别搜索引擎设计方法
JP2017076424A (ja) * 2010-12-20 2017-04-20 セールスフォース ドット コム インコーポレイティッド データ取得方法及びシステム
CN108268600A (zh) * 2017-12-20 2018-07-10 北京邮电大学 基于ai的非结构化数据管理方法及装置
CN108984598A (zh) * 2018-05-31 2018-12-11 中国地质大学（武汉） 一种关系型地质数据库与NoSQL的融合方法及系统
CN108984799A (zh) * 2018-08-21 2018-12-11 北京深瞐科技有限公司 一种视频数据处理方法及装置
CN109214315A (zh) * 2018-08-21 2019-01-15 北京深瞐科技有限公司 人车跨镜头追踪方法及装置
CN109993102A (zh) * 2019-03-28 2019-07-09 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076424A (ja) * 2010-12-20 2017-04-20 セールスフォース ドット コム インコーポレイティッド データ取得方法及びシステム
CN103235825A (zh) * 2013-05-08 2013-08-07 重庆大学 一种基于Hadoop云计算框架的海量人脸识别搜索引擎设计方法
CN108268600A (zh) * 2017-12-20 2018-07-10 北京邮电大学 基于ai的非结构化数据管理方法及装置
CN108984598A (zh) * 2018-05-31 2018-12-11 中国地质大学（武汉） 一种关系型地质数据库与NoSQL的融合方法及系统
CN108984799A (zh) * 2018-08-21 2018-12-11 北京深瞐科技有限公司 一种视频数据处理方法及装置
CN109214315A (zh) * 2018-08-21 2019-01-15 北京深瞐科技有限公司 人车跨镜头追踪方法及装置
CN109993102A (zh) * 2019-03-28 2019-07-09 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质

Also Published As

Publication number Publication date
CN110569390A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110569390B (zh) 基于区分存储介质的海量案件数据高效检索方法
CN109815364B (zh) 一种海量视频特征提取、存储和检索方法及系统
Gammeter et al. I know what you did last summer: object-level auto-annotation of holiday snaps
CN103530652B (zh) 一种基于人脸聚类的视频编目方法、检索方法及其系统
Zhao et al. Near-duplicate keyframe identification with interest point matching and pattern learning
CN102542058B (zh) 一种融合全局与局部视觉特征的层次化地标识别方法
CN104376105B (zh) 一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法
CN111460961B (zh) 一种基于cdvs的相似图聚类的静态视频摘要方法
US20080162561A1 (en) Method and apparatus for semantic super-resolution of audio-visual data
US9773058B2 (en) Methods and systems for arranging and searching a database of media content recordings
CN103853794B (zh) 一种基于部件关联的行人检索方法
US9390170B2 (en) Methods and systems for arranging and searching a database of media content recordings
CN110110147A (zh) 一种视频检索的方法及装置
CN101515286B (zh) 基于图像特征多级过滤的图像匹配方法
CN102508901A (zh) 基于内容的海量图像检索方法和系统
CN108491543A (zh) 图像检索方法、图像存储方法及图像检索系统
CN103810300A (zh) 用于非索引覆盖的数据查询方法和装置
CN111666263A (zh) 一种数据湖环境下异构数据管理的实现方法
WO2010071617A1 (en) Method and apparatus for performing image processing
CN110287369A (zh) 一种基于语义的视频检索方法及系统
Srinagesh et al. A modified shape feature extraction technique for image retrieval
Xiaoling A novel circular ring histogram for content-based image retrieval
CN103092935A (zh) 一种基于sift量化的近似拷贝图像检测方法
CN116739028A (zh) 一种纸电书籍一体化自动管理的方法、系统及图书架
CN104636330A (zh) 一种基于结构化数据的关联视频快速检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant