[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116453160A - 基于毫米波成像的可疑物品无停留式检测方法及系统 - Google Patents

基于毫米波成像的可疑物品无停留式检测方法及系统 Download PDF

Info

Publication number
CN116453160A
CN116453160A CN202310366915.3A CN202310366915A CN116453160A CN 116453160 A CN116453160 A CN 116453160A CN 202310366915 A CN202310366915 A CN 202310366915A CN 116453160 A CN116453160 A CN 116453160A
Authority
CN
China
Prior art keywords
lightweight
detection
network
millimeter wave
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310366915.3A
Other languages
English (en)
Inventor
陈振洪
郭洧华
费鹏
温鑫
田瑞蛟
姜元
熊娣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Radio Metrology and Measurement
Original Assignee
Beijing Institute of Radio Metrology and Measurement
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Radio Metrology and Measurement filed Critical Beijing Institute of Radio Metrology and Measurement
Priority to CN202310366915.3A priority Critical patent/CN116453160A/zh
Publication of CN116453160A publication Critical patent/CN116453160A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/005—Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本说明书公开了一种基于毫米波成像的可疑物品无停留式检测方法，包括：构建轻量化Ghost Module，优化YOLOv5网络结构，获得轻量化YOLO目标检测网络，结合匈牙利和卡尔曼滤波算法，同时设计一种有效的降虚警策略，构建实时在线毫米波成像目标跟踪与降虚警技术；获取待检测对象的毫米波实时图像，对于实时图像的每一帧，首先通过轻量化YOLO目标检测网络进行图像增强及检测锚框自适应计算、深层特性信息和浅层特征信息提取、特征信息的融合以及融合特征的检测分类，获得当前帧图像的检测结果；然后通过实时在线毫米波成像目标跟踪与降虚警技术进一步完成可疑物品实时在线跟踪和映射降虚警。本发明可实时无停留式进行可疑物品检测，检测效率高、准确性高。

Description

基于毫米波成像的可疑物品无停留式检测方法及系统
技术领域
本文件涉及可疑物品自动检测领域，尤其涉及一种基于毫米波成像的可疑物品无停留式检测方法及系统。
背景技术
近年来，针对机场、地铁、大型体育场馆的恐怖袭击威胁日益增加，对于往来人员的可靠性安检愈发重要。目前，近距离主动式毫米波雷达成像因其绿色、环保、对人体健康无害、可穿透衣物等特性，逐渐成为新兴的安检手段，但是当下主流的毫米波安检方法及系统要求被检人员在成像及检测时保持固定姿势静止一定时间，这对于在大客流量公共场所的应用造成了巨大的效率障碍。
无停留式安检系统是基于保障客流通行效率提出的新型安检概念，该新型系统可以保障公共场所的客流吞吐量，提升人员的安检体验。美国麻省理工学院首次实现了无停留式安检系统的原理样机[1]，成像视频速率可达10Hz。但是，该安检系统尚停留在原理样机阶段，且并未设计无停留式目标检测技术。
随着毫米波成像安检技术的应用，基于深度学习的算法开始被引入该领域进行可疑物品检测。其中，两阶目标检测网络[2]应用最为广泛且精度较高。但两阶方法推理时间较慢，无法达到无停留式效果，因而无法应用于无停留式毫米波安检系统。相比之下，单阶目标检测方法[3]在推理速度上得到一定提升，但其当下的应用依然是建立在待检人员静止成像的基础上，且并未有效利用多视角图像之间的相关性与时空特性。为了完成无停留式高精度检测，需要解决两个关键技术难题：(1)研究轻量化网络减少计算复杂度并同时抑制精度的损失；(2)结合无停留式目标追踪进行人体运动状态下的可疑物品准确检测和追踪，同时减少虚警率。
以下文献是与本发明相关的技术背景资料：
[1]W.F.Moulder,J.D.Krieger,J.J.Majewski,etc.,Mobile Testbed forVideo-Rate Multistatic Microwave Imaging Array.IEEE International Symposiumon Antennas and Propagation,Boston,USA,Jul.8-13,2018:3-4.
[2]T.Liu,Y.Zhao,Y.-C.Wei,etc.,Concealed Object Detection for ActivateMillimeter Wave Image.IEEE Transactions on Industrial Electronics 66.12(2019):9909-9917.
[3]Z.Ge,S.Liu,F.Wang,Z.Li and J.Sun.Yolox:Exceeding Yolo Series in2021.ArXiv Preprint ArXiv:2107.08430,2021.
发明内容
本说明书提供了一种基于毫米波成像的可疑物品无停留式检测方法，用以在待检人员无停留的状态下，解决可疑物品实时、高效、准确检测的问题。
本发明第一方面的基于毫米波成像的可疑物品无停留式检测方法，包括：
步骤S10，构建轻量化Ghost Module，优化YOLOv5网络结构，构建轻量化Backbone网络和轻量化Neck网络，获得轻量化YOLO目标检测网络；
步骤S20，获取待检测对象的毫米波实时图像，对于实时图像的每一帧，通过所述轻量化YOLO目标检测网络的输入层进行图像增强及检测锚框自适应计算；
步骤S30，通过所述轻量化Backbone网络，提取图像的深层特性信息和浅层特征信息；
步骤S40，通过所述轻量化Neck网络，进行所述深层特性信息和所述浅层特征信息的融合，获得融合特征；
步骤S50，通过所述轻量化YOLO目标检测网络的检测层进行所述融合特征的检测分类，获得当前帧图像的检测结果；
步骤S60，遍历待检测对象的毫米波实时图像的每一帧，完成可疑物品无停留式检测。
在一些优选的实施例中，步骤S10包括：
构建轻量化Ghost Module，并以轻量化Ghost Module替换YOLOv5网络的Backbone网络的CBS、CSP、Focus、残差网络、SPP模块的卷积层，获得轻量化Backbone网络；
通过轻量化Ghost Module替换YOLOv5网络的Neck网络的CBS、CSP模块的卷积层，获得轻量化Neck网络；
YOLOv5网络的输入层、所述轻量化Backbone网络、所述轻量化Neck网络和YOLOv5网络的检测层为构建的轻量化YOLO目标检测网络。
在一些优选的实施例中，所述轻量化YOLO目标检测网络的输入层通过Mosaic数据增强方法和MSR图像增强方法扩充数据集，提升待检测对象的目标与人体纹理间的对比度。
在一些优选的实施例中，所述轻量化YOLO目标检测网络的轻量化Neck网络，通过FPN+PAN的双塔策略进行所述深层特性信息和所述浅层特征信息的融合。
在一些优选的实施例中，所述轻量化YOLO目标检测网络的检测层，其训练损失函数包括CIOU损失、交叉熵损失和Focal loss损失。
在一些优选的实施例中，步骤S60中遍历待检测对象的毫米波实时图像的每一帧，包括在线目标跟踪：
步骤A10，通过所述轻量化YOLO目标检测网络提取实时图像的第t帧的目标检测结果，并建立具备唯一标识的目标追踪器列表，首次提取时t＝1；
步骤A20，初始化卡尔曼滤波器运动变量参数，生成相应的目标追踪框；
步骤A30，令t＝t+1，通过卡尔曼滤波器预测目标的新位置，通过所述轻量化YOLO目标检测网络提取当前帧的检测结果，并计算追踪结果与检测结果之间的交并比；
步骤A40，基于所述交并比通过匈牙利算法进行检测结果与追踪结果之间的最优匹配：
若目标检测框消失，目标追踪框存在，则删除相应的目标追踪框；
若目标检测框新增，目标追踪框未新增，则为新增的检测结果新建目标追踪项，并加入目标追踪器列表；
若目标检测框存在，目标追踪器匹配，则追踪结果准确，将检测结果应用于卡尔曼滤波器，并更新目标追踪器变量；
步骤A50，跳转步骤A30，直至处理完所有帧图像。
在一些优选的实施例中，所述可疑物品无停留式检测方法还包括降虚警删除：
步骤B10，设待检测对象的毫米波实时图像包括N帧，其中，N＞0；设定标识阈值为Thr，其中，0＜Thr＜1；
步骤B20，对于任意标识a，计算标识a在第n帧图像对应的目标追踪框和标识a在其他N-1帧图像中对应的目标追踪框的N-1个交并比，其中，n≤N；
步骤B30，统计N-1个交并比中非零交并比的数量Ian，并依次遍历N帧图像获得对应的N个非零交并比的数量Ian，以最大的Ian值作为标识a的最大概率有效数量Iamax；
步骤B40，计算Iamax在完整帧数的图像中所占比例
若则为正确检测结果；若/>则为虚警。
本发明的第二方面，提出了一种基于毫米波成像的可疑物品无停留式检测系统，包括：
网络构建模块，配置为构建轻量化Ghost Module，优化YOLOv5网络结构，构建轻量化Backbone网络和轻量化Neck网络，获得轻量化YOLO目标检测网络；
输入模块，配置为获取待检测对象的毫米波实时图像，对于实时图像的每一帧，通过所述轻量化YOLO目标检测网络的输入层进行图像增强及检测锚框自适应计算；
特征提取模块，配置为通过所述轻量化Backbone网络，提取图像的深层特性信息和浅层特征信息；
特征融合模块，配置为通过所述轻量化Neck网络，进行所述深层特性信息和所述浅层特征信息的融合，获得融合特征；
目标检测模块，配置为通过所述轻量化YOLO目标检测网络的检测层进行所述融合特征的检测分类，获得当前帧图像的检测结果；
循环模块，配置为通过输入模块、特征提取模块、特征融合模块和目标检测模块遍历待检测对象的毫米波实时图像的每一帧，完成可疑物品无停留式检测。
本发明的第三方面，提出了一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于毫米波成像的可疑物品无停留式检测方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于毫米波成像的可疑物品无停留式检测方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
(1)本发明基于毫米波成像的可疑物品无停留式检测方法，该方法优化GhostModule，使用深度可分离卷积代替其原本卷积，构建轻量化Ghost Module，并将该模块全面替代了YOLOv5中Backbone网络与Neck网络中的卷积层，获得轻量化YOLO目标检测网络，极大减小了计算复杂度，同时由于该方法保留了特征信息的冗余度，推理精度几乎无损失。
(2)本发明基于毫米波成像的可疑物品无停留式检测方法，结合匈牙利算法和卡尔曼滤波算法，并同时设计了一种有效的降虚警策略，构建了一种实时在线毫米波成像目标跟踪与降虚警技术，实现无停留状态下人体携带可疑物品的追踪和高精度检测，同时较大的降低了误报率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的通道式毫米波实时安检测试平台示意图；
图2为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的通道式毫米波实时安检测试平台成像效果图；
图3为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的轻量化Ghost Module示意图；
图4为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的轻量化YOLO目标检测网络示意图；
图5为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的实时在线毫米波成像目标跟踪与降虚警示意图；
图6为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的工作流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的通道式毫米波实时安检测试平台示意图，参见图1，包括：
通道式毫米波实时安检测试平台、轻量化YOLO目标检测网络、实时在线毫米波成像目标跟踪与降虚警，适用但不局限于机场、大型体育场馆等大客流场所的入口及通道等处，待检测对象在安检时实现无感知无停留安检，较好的提升安检体验。
通道式毫米波实时安检测试平台在通道前端和末端各有一架MIMO天线阵列，以70-80GHz的工作频率对待检测对象进行扫描。根据测试平台的结构设计，前端和末端的天线阵列分别只对人体的正面和背面进行扫描，并且由于安检通道的宽度设置，人员在通过时不会产生通道宽度向的偏移，即人员和可疑物品在毫米波图像的分布区域基本固定。天线阵列将扫描数据传输给并行计算处理平台，通过基于CUDA并行计算的波数域成像算法生成毫米波安检图像。最后，可疑物品检测算法模块对视频流毫米波图像进行检测、追踪和去虚警，并将最终检测人偶像呈现在检测显示台。毫米波成像与检测帧率可达到至少20Hz。
图2为为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的通道式毫米波实时安检测试平台成像效果图，参见图2，通道式毫米波实时安检测试平台使用基于CUDA并行计算的波数域成像算法完成毫米波成像，可分人体正面和背面两个视角稳定监测。应用本发明提出的轻量化YOLO目标检测网络，可具有视频流显示效果。毫米波成像效果图和检测人偶像配合能够给安检工作人员提供全面、直观、便捷的监测展示和危险物品报警。同时，从该图可看出毫米波图像上分布噪声干扰，这会带来虚假的目标检测，提升虚警率。因此，本发明提出的实时在线毫米波成像目标跟踪与降虚警技术对于提升检测精度具有重要意义。
图3为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的轻量化Ghost Module示意图，参见图3，本发明应用的轻量化Ghost Module需要经过本征特征提取和相干特征生成两个阶段。本征特征的提取是利用低通道数的深度可分离卷积处理输入特征，减少计算复杂度，且保证了只产生本征特征。相干特征的生成是对上一步提取的本征特征应用计算复杂度低的线性变换，能够大幅提升计算效率，且增加了特征的冗余性，保障了神经网络的推理精度。特别说明的是，相比于传统Ghost Module，本发明的轻量化Ghost Module使用了深度可分离卷积代替传统卷积，可有效提升计算效率，满足大客流场景下的无停留、无感知安检需求，配合相干特征生成，则在高效的同时保障了高精度检测。
在第一阶段，输入特征首先经过一个低通道数深度可分离卷积，相比原始卷积减少计算量，同时低通道数可抑制冗余信息的生成，该阶段获得的输出特征可以认为是本征特征。
在第二阶段，分别采取恒等变换和多个线性变换对一阶段生成的低通道数特征图进行处理，可分别得到等同于高通道数传统卷积层构建的本征特征与相干特征，起到了增加冗余信息的效果，同时由于线性变换相比于卷积计算复杂度低的多，计算量得到大幅下降。
第二阶段的变换可用公式(1)表示：
xi,j＝φi,j(si) (1)
其中，i＝1,2,…,Q(Q表示一阶段得到的输出特征的通道数)，j＝1,2,…,L(L表示对于每一个si开展的线性运算个数)，si表示第i个第一阶段的输出特征，xi，j表示第二阶段中第i×j个最终输出特征，φ表示线性变换，因而最终得到Q×L个输出特征图。需要注意的是，对于每一个一阶段输出特征si，对其应用的第L个线性变换φi,L是恒等变换，目的是为了保留本征特征。
图4为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的轻量化YOLO目标检测网络示意图，参见图4，将构建的轻量化Ghost Module嵌入单阶神经网络YOLOv5中，替代其Backbone网络与Neck网络中的卷积层，为了方便表示，图4中将轻量化Ghost Module简写为LGM。
和YOLOv5神经网络类似，本发明的轻量化YOLO目标检测网络也包括4个部分：
(1)输入层：接收图像的数据端，主要完成图像增强与检测锚框自适应计算等功能，在YOLOv5现有的Mosaic数据增强技术以外，添加了MSR(Multi Scale Retinex)图像增强技术，可进一步扩充数据集，提升目标与人体纹理间的对比度。
(2)轻量化Backbone网络：完成从输入图像提取所需特征信息的功能，本发明使用轻量化Ghost Module优化改进了Backbone网络的CBS模块、CSP模块、Focus模块、残差网络模块和SPP模块，分别形成LBS模块、L1模块、FL模块、RL模块、SL模块，减少了特征提取的计算复杂度。
(3)轻量化Neck网络：采取FPN+PAN的双塔策略进行深层特征信息与浅层特征信息的融合，同样使用轻量化Ghost Module优化改进了Neck网络中的CBS、CSP模块，形成LBS和L2模块，在增强小尺寸物品检测能力的同时，提升了检测效率。
(4)检测层：完成目标推理功能，使用CIOU损失函数计算定位回归的推理损失，使用交叉熵损失函数计算目标类别和置信度的推理损失。针对某些检测效果不佳的小目标，采取Focal loss策略进行损失函数计算。
综上所述，基于轻量化Ghost Module构建的轻量化YOLO目标检测网络，可在保障推理精度的同时，降低计算复杂度、提升检测效率。
所述方法具体可以包括如下步骤：
步骤S10，构建轻量化Ghost Module，优化YOLOv5网络结构，构建轻量化Backbone网络和轻量化Neck网络，获得轻量化YOLO目标检测网络；
步骤S20，获取待检测对象的毫米波实时图像，对于实时图像的每一帧，通过所述轻量化YOLO目标检测网络的输入层进行图像增强及检测锚框自适应计算；
步骤S30，通过所述轻量化Backbone网络，提取图像的深层特性信息和浅层特征信息；
步骤S40，通过所述轻量化Neck网络，进行所述深层特性信息和所述浅层特征信息的融合，获得融合特征；
步骤S50，通过所述轻量化YOLO目标检测网络的检测层进行所述融合特征的检测分类，获得当前帧图像的检测结果；
步骤S60，遍历待检测对象的毫米波实时图像的每一帧，完成可疑物品无停留式检测。
除此之外，本发明也提出了一种实时在线毫米波成像目标跟踪与降虚警技术以完成人体运动状态下的可疑物品高精度检测和追踪。
图5为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的实时在线毫米波成像目标跟踪与降虚警示意图，参见图5，实时在线目标跟踪技术的主要实施流程为：
步骤A10，通过所述轻量化YOLO目标检测网络提取实时图像的第t帧的目标检测结果，并建立具备唯一标识的目标追踪器列表，首次提取时t＝1；
步骤A20，初始化卡尔曼滤波器运动变量参数，生成相应的目标追踪框；
步骤A30，令t＝t+1，通过卡尔曼滤波器预测目标的新位置，通过所述轻量化YOLO目标检测网络提取当前帧的检测结果，并计算追踪结果与检测结果之间的交并比；
步骤A40，基于所述交并比通过匈牙利算法进行检测结果与追踪结果之间的最优匹配：
若目标检测框消失，目标追踪框存在，则删除相应的目标追踪框；
若目标检测框新增，目标追踪框未新增，则为新增的检测结果新建目标追踪项，并加入目标追踪器列表；
若目标检测框存在，目标追踪器匹配，则追踪结果准确，将检测结果应用于卡尔曼滤波器，并更新目标追踪器变量；
步骤A50，跳转步骤A30，直至处理完所有帧图像。
需要特别说明的是，由于本通道式毫米波实时安检测试平台可分别独立地对人体正面和背面成像，所以本实时在线目标跟踪技术可实现人体正面和背面的全方位监测。
在完成前后帧毫米波图像追踪后，最后使用映射降虚警技术结合全帧数内所有毫米波图像综合判断去虚警。
图6为本说明书一实施例提供的一种基于毫米波成像的可疑物品无停留式检测方法的工作流程示意图，参见图6，映射降虚警技术是在完成检测与追踪功能后应用，映射降虚警技术的实施流程为：
步骤B10，设待检测对象的毫米波实时图像包括N帧，其中，N＞0；设定标识阈值为Thr，其中，0＜Thr＜1；
步骤B20，对于任意标识a，计算标识a在第n帧图像对应的目标追踪框和标识a在其他N-1帧图像中对应的目标追踪框的N-1个交并比，其中，n≤N；
步骤B30，统计N-1个交并比中非零交并比的数量Ian，并依次遍历N帧图像获得对应的N个非零交并比的数量Ian，以最大的Ian值作为标识a的最大概率有效数量Iamax；
步骤B40，计算Iamax在完整帧数的图像中所占比例
若则为正确检测结果；若/>则为虚警。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于毫米波成像的可疑物品无停留式检测方法，其特征在于，包括：
步骤S10，构建轻量化Ghost Module，优化YOLOv5网络结构，构建轻量化Backbone网络和轻量化Neck网络，获得轻量化YOLO目标检测网络；
步骤S20，获取待检测对象的毫米波实时图像，对于实时图像的每一帧，通过所述轻量化YOLO目标检测网络的输入层进行图像增强及检测锚框自适应计算；
步骤S30，通过所述轻量化Backbone网络，提取图像的深层特性信息和浅层特征信息；
步骤S40，通过所述轻量化Neck网络，进行所述深层特性信息和所述浅层特征信息的融合，获得融合特征；
步骤S50，通过所述轻量化YOLO目标检测网络的检测层进行所述融合特征的检测分类，获得当前帧图像的检测结果；
步骤S60，遍历待检测对象的毫米波实时图像的每一帧，完成可疑物品无停留式检测。
2.根据权利要求1所述的基于毫米波成像的可疑物品无停留式检测方法，其特征在于，步骤S10包括：
构建轻量化Ghost Module，并以轻量化Ghost Module替换YOLOv5网络的Backbone网络的CBS、CSP、Focus、残差网络、SPP模块的卷积层，获得轻量化Backbone网络；
通过轻量化Ghost Module替换YOLOv5网络的Neck网络的CBS、CSP模块的卷积层，获得轻量化Neck网络；
YOLOv5网络的输入层、所述轻量化Backbone网络、所述轻量化Neck网络和YOLOv5网络的检测层为构建的轻量化YOLO目标检测网络。
3.根据权利要求1或2所述的基于毫米波成像的可疑物品无停留式检测方法，其特征在于，所述轻量化YOLO目标检测网络的输入层通过Mosaic数据增强方法和MSR图像增强方法扩充数据集，提升待检测对象的目标与人体纹理间的对比度。
4.根据权利要求1或2所述的基于毫米波成像的可疑物品无停留式检测方法，其特征在于，所述轻量化YOLO目标检测网络的轻量化Neck网络，通过FPN+PAN的双塔策略进行所述深层特性信息和所述浅层特征信息的融合。
5.根据权利要求1或2所述的基于毫米波成像的可疑物品无停留式检测方法，其特征在于，所述轻量化YOLO目标检测网络的检测层，其训练损失函数包括CIOU损失、交叉熵损失和Focalloss损失。
6.根据权利要求1所述的基于毫米波成像的可疑物品无停留式检测方法，其特征在于，步骤S60中遍历待检测对象的毫米波实时图像的每一帧，包括在线目标跟踪：
步骤A10，通过所述轻量化YOLO目标检测网络提取实时图像的第t帧的目标检测结果，并建立具备唯一标识的目标追踪器列表，t＝1；
步骤A20，初始化卡尔曼滤波器运动变量参数，生成相应的目标追踪框；
步骤A30，令t＝t+1，通过卡尔曼滤波器预测目标的新位置，通过所述轻量化YOLO目标检测网络提取当前帧的检测结果，并计算追踪结果与检测结果之间的交并比；
步骤A40，基于所述交并比通过匈牙利算法进行检测结果与追踪结果之间的最优匹配：
若目标检测框消失，目标追踪框存在，则删除相应的目标追踪框；
若目标检测框新增，目标追踪框未新增，则为新增的检测结果新建目标追踪项，并加入目标追踪器列表；
若目标检测框存在，目标追踪器匹配，则追踪结果准确，将检测结果应用于卡尔曼滤波器，并更新目标追踪器变量；
步骤A50，跳转步骤A30，直至处理完所有帧图像。
7.根据权利要求1所述的基于毫米波成像的可疑物品无停留式检测方法，其特征在于，所述可疑物品无停留式检测方法还包括降虚警删除：
步骤B10，设待检测对象的毫米波实时图像包括N帧，其中，N＞0；设定标识阈值为Thr，其中，0＜Thr＜1；
步骤B20，对于任意标识a，计算标识a在第n帧图像对应的目标追踪框和标识a在其他N-1帧图像中对应的目标追踪框的N-1个交并比，其中，n≤N；
步骤B30，统计N-1个交并比中非零交并比的数量Ian，并依次遍历N帧图像获得对应的N个非零交并比的数量Ian，以最大的Ian值作为标识a的最大概率有效数量Iamax；
步骤B40，计算Iamax在完整帧数的图像中所占比例
若则为正确检测结果；若/>则为虚警。
8.一种基于毫米波成像的可疑物品无停留式检测系统，其特征在于，包括：
网络构建模块，配置为构建轻量化Ghost Module，优化YOLOv5网络结构，构建轻量化Backbone网络和轻量化Neck网络，获得轻量化YOLO目标检测网络；
输入模块，配置为获取待检测对象的毫米波实时图像，对于实时图像的每一帧，通过所述轻量化YOLO目标检测网络的输入层进行图像增强及检测锚框自适应计算；
特征提取模块，配置为通过所述轻量化Backbone网络，提取图像的深层特性信息和浅层特征信息；
特征融合模块，配置为通过所述轻量化Neck网络，进行所述深层特性信息和所述浅层特征信息的融合，获得融合特征；
目标检测模块，配置为通过所述轻量化YOLO目标检测网络的检测层进行所述融合特征的检测分类，获得当前帧图像的检测结果；
循环模块，配置为通过输入模块、特征提取模块、特征融合模块和目标检测模块遍历待检测对象的毫米波实时图像的每一帧，完成可疑物品无停留式检测。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-7任一项所述的基于毫米波成像的可疑物品无停留式检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-7任一项所述的基于毫米波成像的可疑物品无停留式检测方法。
CN202310366915.3A 2023-04-07 2023-04-07 基于毫米波成像的可疑物品无停留式检测方法及系统 Pending CN116453160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310366915.3A CN116453160A (zh) 2023-04-07 2023-04-07 基于毫米波成像的可疑物品无停留式检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310366915.3A CN116453160A (zh) 2023-04-07 2023-04-07 基于毫米波成像的可疑物品无停留式检测方法及系统

Publications (1)

Publication Number Publication Date
CN116453160A true CN116453160A (zh) 2023-07-18

Family

ID=87121383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310366915.3A Pending CN116453160A (zh) 2023-04-07 2023-04-07 基于毫米波成像的可疑物品无停留式检测方法及系统

Country Status (1)

Country Link
CN (1) CN116453160A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115856A (zh) * 2023-08-02 2023-11-24 珠海微度芯创科技有限责任公司 基于图像融合的目标检测方法、人体安检设备、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115856A (zh) * 2023-08-02 2023-11-24 珠海微度芯创科技有限责任公司 基于图像融合的目标检测方法、人体安检设备、存储介质
CN117115856B (zh) * 2023-08-02 2024-04-05 珠海微度芯创科技有限责任公司 基于图像融合的目标检测方法、人体安检设备、存储介质

Similar Documents

Publication Publication Date Title
Yar et al. A modified YOLOv5 architecture for efficient fire detection in smart cities
CN109948526B (zh) 图像处理方法及装置、检测设备及存储介质
Seng et al. Probabilistic fuzzy image fusion approach for radar through wall sensing
CN114972418A (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN114862837A (zh) 基于改进YOLOv5s的人体安检图像检测方法及系统
Xiao et al. Image Fusion
CN117237740B (zh) 一种基于CNN和Transformer的SAR图像分类方法
CN105469428A (zh) 一种基于形态学滤波和svd的弱小目标检测方法
Wang et al. Study on the method of transmission line foreign body detection based on deep learning
Li et al. Fast and accuracy extraction of infrared target based on Markov random field
CN103020931B (zh) 基于方向波域隐马尔可夫树模型的多源图像融合方法
Xie et al. CSPPartial-YOLO: A lightweight YOLO-based method for typical objects detection in remote sensing images
CN116453160A (zh) 基于毫米波成像的可疑物品无停留式检测方法及系统
Nian et al. Local contrast attention guide network for detecting infrared small targets
Chen et al. Space-based infrared aerial target detection method via interframe registration and spatial local contrast
Du et al. SARNas: A hardware-aware SAR target detection algorithm via multiobjective neural architecture search
Zheng et al. Through-Wall Human Pose Estimation by Mutual Information Maximizing Deeply-Supervised Nets
Li et al. Fast and accurate concealed dangerous object detection for millimeter-wave images
Wang et al. A deep learning-based target recognition method for entangled optical quantum imaging system
US12131548B2 (en) Method for training shallow convolutional neural networks for infrared target detection using a two-phase learning strategy
Tang et al. Research on feature enhancement for small object detection
Defa et al. Infrared and visible image fusion based on shiftable complex directional pyramid transform and SUSAN edge detector
Chang et al. LVIF-Net: Learning synchronous visible and infrared image fusion and enhancement under low-light conditions
Peng et al. Research on Camouflage Object Detection Based on Improved YOLOv5s
Kim et al. Learning Visual Clue for UWB-based multi-person pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination