[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116977826A - 一种边缘端计算架构下的可重构神经网络目标检测系统及方法 - Google Patents

一种边缘端计算架构下的可重构神经网络目标检测系统及方法 Download PDF

Info

Publication number
CN116977826A
CN116977826A CN202311018319.2A CN202311018319A CN116977826A CN 116977826 A CN116977826 A CN 116977826A CN 202311018319 A CN202311018319 A CN 202311018319A CN 116977826 A CN116977826 A CN 116977826A
Authority
CN
China
Prior art keywords
neural network
module
image
target detection
reconfigurable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311018319.2A
Other languages
English (en)
Other versions
CN116977826B (zh
Inventor
张弘
娄亚鑫
杨一帆
邢万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202311018319.2A priority Critical patent/CN116977826B/zh
Publication of CN116977826A publication Critical patent/CN116977826A/zh
Application granted granted Critical
Publication of CN116977826B publication Critical patent/CN116977826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种边缘端计算架构下的可重构神经网络目标检测系统及方法，包含以下模块及功能：可重构神经网络加速器：对收集到的数字图像信号进行预处理，构建特征提取网络模块对图像进行初步特征提取，实现对图像实时智能增强处理；嵌入式处理器：承载神经网络主体推理计算功能，实现边缘计算架构下的目标检测；通信模块：进行图像数据的输入和输出，完成系统与外部的数据通信功能，满足跨处理器神经网络分布计算数据高速传输；存储器：用于存储处理器和可重构神经网络加速器所需的数据。本发明采用可重构神经网络加速器与嵌入式处理器协同处理的目标检测方法，设计合理，模块优势互补，针对边缘端计算架构下的目标检测效果良好、实时性高。

Description

一种边缘端计算架构下的可重构神经网络目标检测系统及 方法
技术领域
本发明涉及智能视频图像处理领域，具体涉及一种边缘端计算架构下的可重构神经网络目标检测系统及方法。
背景技术
集成了目标检测功能的边缘端计算架构系统主要用于在视频监控、自动驾驶、机器人等应用中对目标进行实时监测和定位。然而，在边缘端计算架构下的神经网络目标检测存在一些挑战。
一方面，边缘端计算资源有限，导致难以实现高精度的目标检测。由于边缘设备的计算能力和存储容量相对有限，部署在这些设备上的神经网络模型通常需要进行压缩和优化，以适应资源受限的环境。这可能会导致检测算法的准确性和鲁棒性下降，从而难以实现高精度的目标检测。
另一方面，边缘设备的计算能力和功耗也对目标检测速度提出了限制。为了在实时应用中满足时间要求，边缘设备上的神经网络需要在有限的计算资源下进行快速推理。然而，由于计算能力和功耗的限制，边缘设备上的神经网络可能无法达到与云端服务器相同的推理速度。这可能会导致在边缘端计算架构下的目标检测速度较慢。
为了克服这些挑战，当前研究中已经有多种相关方法。一种方法是通过优化神经网络的结构和参数，以在有限的计算资源下提高目标检测的准确性和速度。例如，可以使用轻量级网络结构、网络剪枝和量化等技术，以减少神经网络的计算和存储需求，从而提高检测性能。另一种方法是使用硬件加速器，如专用的神经网络处理器(NNP)或图像信号处理器(ISP)，来提升边缘设备的计算能力。这些硬件加速器可以高效地执行神经网络推理操作，从而提高目标检测的速度和效率。
此外，将边缘端设备与云端服务器进行协同计算也是一种解决方案。边缘设备可以将部分计算任务卸载到云端进行处理，以减轻本地计算负担，并利用云端的高计算能力来提高目标检测的精度和速度。而现有边缘端计算架构下的神经网络目标检测系统通常构成单一、检测效果不理想，单纯的追求网络轻量化不可取，将众多场景下的边缘端计算设备连接网络云服务器也不现实。
发明内容
为解决上述技术问题，本发明的目的在于提出一种边缘端计算架构下的可重构神经网络目标检测系统及方法，采用了可重构神经网络加速器与嵌入式处理器协同处理的目标检测方法，设计合理且模块之间的优势互补。因此，在边缘端计算架构下，该系统能够展现出良好的目标检测效果和高实时性。
为达到上述目的，本发明采用如下技术方案：
一种边缘端计算架构下的可重构神经网络目标检测系统，包括：
可重构神经网络加速器，对收集到的数字图像信号进行预处理，构建特征提取网络模块对图像进行初步特征提取，实现对图像实时智能增强处理；
嵌入式处理器，承载神经网络主体推理计算功能，实现边缘计算架构下的目标检测，与可重构神经网络加速器配合，协同可重构神经网络加速器进行并行优化，保证系统具有较高的计算性能；
通信模块，进行图像数据及控制信息的输入，图像数据及检测结果的输出；满足跨处理器神经网络分布计算数据高速传输需求；
存储器，用于存储处理器和可重构神经网络加速器所需的数据。
进一步地，所述可重构神经网络加速器使用FPGA，接收数字图像信号并进行格式转换与缓存，构建增强处理模块对不同输入场景进行增强处理，根据检测结果对视频图像进行叠加显示并输出。
进一步地，所述嵌入式处理器采用ARM+NPU嵌入式平台，输入预处理之后的特征图进行推理预测，将检测结果和参数进行回传。
进一步地，所述通信模块实现与上位机的信息交互，实现在可重构神经网络加速器与嵌入式处理器之间的图像数据的高速传输。
进行图像数据及控制信息的输入，图像数据及检测结果的输出；满足跨处理器神经网络分布计算数据高速传输需求综合上述，对不同输入场景进行增强处理采用神经网络引导的自适应图像实时增强措施，具体实现包括如下步骤：
步骤1，在可重构神经网络加速器上构建一个可微分的图像处理模块，包括去雾模块、增强模块、Gamma校正模块、对比度调节模块和锐化模块。
步骤2，在可重构神经网络加速器上构建一个参数预测网络，用于预测图像处理模块的增强参数。
步骤3，对原始输入图像进行降采样处理，得到一个256×256大小的图像，将降采样的RGB图像输入到参数预测网络中，预测增强参数。
步骤4，将所得增强参数分别输入去雾模块、增强模块、Gamma校正模块、对比度调节模块和锐化模块，将原始尺寸的原始输入图像输入到图像处理模块得到经过神经网络引导的自适应增强图像。
步骤5，接收嵌入式处理器检测结果，在视频流上叠加检测框并输出。
进一步地，所述的可重构神经网络加速器与嵌入式处理器之间采用协同的可重构神经网络优化方法，具体实现包括如下步骤：
步骤1，在可重构神经网络加速器上构建特征提取网络，将经过神经网络引导的自适应增强图像输入到特征提取网络中，得到大中小三个尺度特征图。
步骤2，将大中小三个尺度特征图进行拼接融合，经过通信模块发送到嵌入式处理器。
步骤3，在嵌入式处理器上部署目标检测神经网络模型，接收特征图像并输入到目标检测网络进行推理，输出检测结果经过后处理整合成一系列目标检测结果经由通信模块输出到可重构神经网络加速器。
进一步地，所述可重构神经网络加速器与嵌入式处理器之间的图像数据的高速传输采用视频转换芯片，将BT.1120格式的视频转换为MIPI格式的视频流。
进一步地，所述可重构神经网络加速器上构建的可微分的图像处理模块、参数预测网络，与嵌入式处理器上部署的目标检测网络在服务器端训练时是构建在一个模型之中。
与现有技术相比，本发明的有益效果在于：
这种边缘端计算架构下的可重构神经网络目标检测系统结构设计合理，针对边缘端设备算力资源有限、功耗限制严格但性能通常需要极致优化才能达到良好的效果场景下能够实现实时且良好的检测效果，具体具有以下优点：
(1)本发明提出了一种边缘端计算架构下的可重构神经网络目标检测系统及方法，采用的可重构神经网络加速器与嵌入式神经网络处理器结合的架构，根据神经网络检测模型的结构特点进行分布式设计，通过高速通信模块实现处理器之间协作，设计合理，模块之间互相配合，优势互补，在边缘计算场景下实现了检测准确、运行高效的目标检测。
(2)本发明提出了一种神经网络引导的自适应图像实时增强方法，充分利用可重构神经网络加速器的并行化处理优势，以检测精度为最终目标，结合去雾、增强等图像处理方法，增加检测准确度，同时对抗恶劣天气状况带来的负面影响。
(3)本发明对神经网络模型结构及大小进行了细致的优化，充分考虑了硬件架构的计算优势，采用的协同可重构神经网络优化方法，对网络模型进行了合理的分割，分别部署于不同架构的处理器，能够实现良好的目标检测效果和高实时性。
附图说明
图1为本发明的边缘端计算架构下的可重构神经网络目标检测系统组成示意图；
图2为本发明中的神经网络引导的自适应图像实时增强方法示意图；
图3为本发明中的协同的可重构神经网络优化方法示意图；
图4为本发明实现时的原始输入图像；
图5为本发明系统输出的检测结果图像。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细描述。
如图1所示，本发明的一种边缘端计算架构下的可重构神经网络目标检测系统包括以下模块和功能：
(1)可重构神经网络加速器：对收集到的数字图像信号进行预处理，构建特征提取网络模块对图像进行初步特征提取，实现对图像实时智能增强处理。可重构神经网络加速器可以根据不同的应用场景进行配置，以满足不同的应用需求；
(2)嵌入式处理器：承载神经网络主体推理计算功能，实现边缘计算架构下的目标检测，与可重构神经网络加速器配合，协同可重构神经网络加速器进行并行优化，保证系统具有较高的计算性能；
(3)通信模块：进行图像数据及控制信息的输入，图像数据及检测结果的输出；满足跨处理器神经网络分布计算数据高速传输需求。
(4)存储器：用于存储处理器和可重构神经网络加速器所需的数据；
如图1所示，通信模块分为系统与外部通信部分和系统内部处理器之间通信的部分。输入通信模块，将高清数字视频信号及识别控制信息输入到可重构神经网络加速器中；经过处理之后的图像经由视频传输模块实现两处理器之间的高速传输，高速传输采用视频转换芯片，将BT.1120视频转换为MIPI视频流；数据通信模块实现两处理器之间的检测目标及检测结果实时交互。
如图2所示，本系统使用FPGA作为可重构神经网络加速器，接收数字图像信号并进行格式转换与缓存，构建增强处理模块对不同输入场景进行增强处理，根据检测结果对视频图像进行叠加显示并输出。
对不同输入场景进行增强处理采用神经网络引导的自适应图像实时增强措施，具体包括如下步骤：
步骤1，在可重构神经网络加速器上构建一个可微分的图像处理模块，包括去雾模块、增强模块、Gamma校正模块、对比度调节模块和锐化模块。
步骤2，在可重构神经网络加速器上构建一个参数预测网络，用于预测图像处理模块的增强参数。
步骤3，对原始输入图像进行降采样处理，得到一个256×256大小的图像，将降采样的RGB图像输入到参数预测网络中，预测增强参数。
步骤4，将预测所得的增强参数分别输入去雾模块、增强模块、Gamma校正模块、对比度调节模块和锐化模块，将原始尺寸的原始输入图像输入到图像处理模块得到经过神经网络引导的自适应增强图像。
步骤5，接收嵌入式处理器检测结果，在视频流上叠加检测框并输出。
如图3所示，本系统中嵌入式处理器采用ARM+NPU嵌入式平台，输入预处理之后的特征图进行推理预测，将检测结果和参数进行回传。可重构神经网络加速器与嵌入式处理器之间采用协同的可重构神经网络优化方法，具体包括如下步骤：
步骤1，在可重构神经网络加速器上构建特征提取网络，将经过神经网络引导的自适应增强图像输入到特征提取网络中，得到大中小三个尺度特征图。
步骤2，将大中小三个尺度特征图进行拼接融合，经过通信模块发送到嵌入式处理器。
步骤3，在嵌入式处理器上部署目标检测神经网络模型，接收特征图像并输入到目标检测网络进行推理，输出检测结果经过后处理整合成一系列目标检测结果经由通信模块输出到可重构神经网络加速器。
其中通信模块承担图像数据在可重构神经网络加速器与嵌入式处理器之间的图像数据的高速传输。可重构神经网络加速器与嵌入式处理器之间的图像数据的高速传输采用视频转换芯片，将BT.1120视频转换为MIPI视频流。
特征金字塔通过多层次的特征图来解决不同尺度物体的检测问题。检测头则是每个特征金字塔层次上的一个处理模块，它负责从特征图中预测目标的包围框、置信度和目标类别。通过结合特征金字塔和检测头，能够在不同尺度上有效地进行目标检测，从而提高检测的准确性和稳定性。
上述图2、图3所示的在可重构神经网络加速器上构建的可微分的图像处理模块、参数预测网络，与嵌入式处理器上部署的目标检测网络在服务器端训练时是构建在一个模型之中。
本发明的实验环境配置如下，服务器端以GPU(型号为GTX3090)作为计算平台，采用GPU并行计算框架进行训练，使用Pytorch构建卷积网络，并在Xilinx ZU15EG FPGA与地平线Journey5 ARM+NPU嵌入式处理器构成的硬件系统上进行模型部署验证，本发明的边缘端计算架构下的可重构神经网络目标检测方法包括如下步骤：
步骤1、收集检测数据，构建模型训练数据集；
步骤2、依照图2、图3中的结构构建卷积神经网络架构，包括主干特征提取网络、特征金字塔、目标检测头、增强参数预测模块以及增强处理模块；
步骤3、使用Pytorch框架对卷积神经网络整体进行训练，得到训练好的模型参数并保存卷积神经网络模型；
步骤4、将训练好的卷积神经模型根据系统结构进行划分，分别得到在可重构神经网络加速器与嵌入式处理器上构建的网络模型部分和相应的参数；
步骤5、在Xilinx ZU15EG FPGA与地平线Journey5 ARM+NPU嵌入式处理器上部署模型，输入视频图像并测试实际检测效果。
结合上述步骤，本发明包括如下具体细节：
(1)去雾图像处理
根据大气散射抑制通道估计方法，由于大气微粒的散射作用，从景物点所反射的光部分光通量被微粒吸收和反射，到达观察者的入射光被衰减。有雾图像的形成可以公式化如下：
I(x)＝J(x)t(x)+A(1-(t(x))
其中，x表示图像像素，I(x)为有雾图像，J(x)表示无雾场景图像，其中t(x)表示有雾条件下物体反射光的传输率，可以表示为：
t(x)＝e-βd(x)
其中，β表示大气散射系数，d(x)表示景深；
通过统计有雾图像I(x)中的一系列最高亮度像素值，并估计大气光参数A，t(x)则可以近似估计为：
其中，C表示图像RGB三个通道，Ω(x)表示像素x周围临近一圈像素，y表示取这一圈像素中的一个。
进一步地，通过参数ρ控制雾的浓淡程度：
根据上述操作，可以对有雾图像进行去雾处理。
(2)增强图像处理
采用基于颜色感知的非均匀光照图像恢复方法来对图像不均匀的亮度做进一步优化。基于根据颜色恒常知觉的计算理论，物体的颜色是由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射能力来决定的，而不是由反射光强度的绝对值来决定的，物体的色彩不受光照非均匀性的影响，具有一致性。
以此为基础可以对图像做进一步处理。一幅给定的图像G(x)可以分解为两个不同的图像：反射图像R(x)和入射图像L(x)。入射光照射在反射物体上，通过反射物体的反射，形成反射光进入人眼。最后形成的图像可以如下公式表示：
M(x)＝L(x)*R(x)
之后对图像数据M(x)进行高斯模糊，并取对数，可以计算得到反射图像R(x)：
Log(R(x))＝(Log(M(x))-Log(M(x)*G(x)))
这个操作过程刨除了入射光的性质，也即去掉光照的影响，还原图像的本来面目。
为了实现保持图像真实性的同时压缩图像动态范围的目的，采用了不同范围的高斯滤波函数进行操作，并进行加权融合：
其中，Mi(x)为原始输入图像，Gn(x)是高斯滤波函数，N为叠加的数量，ωn为每个尺度的权重，Rf(x)表示在对数域的图像的输出，也即所需要的最终处理之后的图像。
(3)检测模型的Loss计算方法
目标检测结果使用一个六维向量[x,y,w,h,c,p]表示包围框，其中，x,y表示包围框中心点坐标，w,h表示包围框的宽和高，c表示目标类别编号，p表示目标预测结果置信度。检测模型损失函数包含以下三个部分：
目标包围框损失LSbox：
其中，λbox表示不同大小的包围框对损失的贡献系数，i为索引值。
类别误差损失LScls：
其中，λcls表示不同类别的包围框对损失的贡献系数。
置信度损失LSconf：
其中，λnottar表示包围框中没有目标物体时的系数。
其中，ω,h表示检测框宽高，表示标注框的宽高，x,y表示检测目标位置，/>分别表示标注目标位置，p(c)表示类别概率，/>表示标注属于类别的概率，/>分别表示检测包围框中目标的概率的预测值和标注值。S2表示所有大小的检测网格，B表示检测包围框，i∈(0,1,…,S2)，j∈(0,1,…,B)。/>表示在i,j处的包围框有目标则为1，否则为0，表示在i,j处的包围框有目标则为0，否则为1。
这种边缘端计算架构下的可重构神经网络目标检测系统，整体构建目标检测网络并训练，再进行针对硬件系统各部分的划分。然后通过在可重构神经网络加速器上构建图像特征提取网络模块、图像处理模块，在嵌入式处理器上部署目标检测模块，然后通过高速通信模块将二者进行协同运作的方式，实现了边缘计算场景下实现了检测准确、运行高效的目标检测，如图4、图5所示。
需要强调的是：以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种边缘端计算架构下的可重构神经网络目标检测系统，其特征在于，包括：
可重构神经网络加速器，对收集到的数字图像信号进行预处理，构建特征提取网络模块对图像进行初步特征提取，实现对图像实时智能增强处理；
嵌入式处理器，承载神经网络主体推理计算功能，实现边缘计算架构下的目标检测，与可重构神经网络加速器配合，协同可重构神经网络加速器进行并行优化，保证系统具有较高的计算性能；
通信模块，进行图像数据及控制信息的输入，图像数据及检测结果的输出；满足跨处理器神经网络分布计算数据高速传输需求；
存储器，用于存储处理器和可重构神经网络加速器所需的数据。
2.根据权利要求1所述的一种边缘端计算架构下的可重构神经网络目标检测系统，其特征在于，所述可重构神经网络加速器使用FPGA，接收数字图像信号并进行格式转换与缓存，构建增强处理模块对不同输入场景进行增强处理，根据检测结果对视频图像进行叠加显示并输出。
3.根据权利要求1所述的一种边缘端计算架构下的可重构神经网络目标检测系统，其特征在于，所述嵌入式处理器采用ARM+NPU嵌入式平台，输入预处理之后的特征图进行推理预测，将检测结果和参数进行回传。
4.根据权利要求1所述的一种边缘端计算架构下的可重构神经网络目标检测系统，其特征在于，所述通信模块实现与上位机的信息交互，实现在可重构神经网络加速器与嵌入式处理器之间的图像数据的高速传输。
5.根据权利要求1-4之一所述的一种边缘端计算架构下的可重构神经网络目标检测系统的检测方法，其特征在于，包括如下步骤：
步骤1，在可重构神经网络加速器上构建一个可微分的图像处理模块，包括去雾模块、增强模块、Gamma校正模块、对比度调节模块和锐化模块；
步骤2，在可重构神经网络加速器上构建一个参数预测网络，用于预测图像处理模块的增强参数；
步骤3，对原始输入图像进行降采样处理，得到一个256×256大小的图像，将降采样的RGB图像输入到参数预测网络中，预测增强参数；
步骤4，将所得增强参数分别输入去雾模块、增强模块、Gamma校正模块、对比度调节模块和锐化模块，将原始尺寸的原始输入图像输入到图像处理模块得到经过神经网络引导的自适应增强图像；
步骤5，接收嵌入式处理器检测结果，在视频流上叠加检测框并输出。
6.根据权利要求5所述的检测方法，其特征在于，所述的可重构神经网络加速器与嵌入式处理器之间采用协同的可重构神经网络优化方法，包括如下步骤：
步骤1，在可重构神经网络加速器上构建特征提取网络，将经过神经网络引导的自适应增强图像输入到特征提取网络中，得到大中小三个尺度特征图；
步骤2，将大中小三个尺度特征图进行拼接融合，经过通信模块发送到嵌入式处理器；
步骤3，在嵌入式处理器上部署目标检测神经网络模型，接收特征图像并输入到目标检测网络进行推理，输出检测结果经过后处理整合成一系列目标检测结果经由通信模块输出到可重构神经网络加速器。
7.根据权利要求5或6所述的检测方法，其特征在于，可重构神经网络加速器与嵌入式处理器之间的图像数据的高速传输采用视频转换芯片，将BT.1120格式的视频转换为MIPI格式的视频流。
8.根据权利要求5或6所述的检测方法，其特征在于，在可重构神经网络加速器上构建的可微分的图像处理模块、参数预测网络，与嵌入式处理器上部署的目标检测网络在服务器端训练时构建在一个模型之中。
CN202311018319.2A 2023-08-14 2023-08-14 一种边缘端计算架构下的可重构神经网络目标检测方法 Active CN116977826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311018319.2A CN116977826B (zh) 2023-08-14 2023-08-14 一种边缘端计算架构下的可重构神经网络目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311018319.2A CN116977826B (zh) 2023-08-14 2023-08-14 一种边缘端计算架构下的可重构神经网络目标检测方法

Publications (2)

Publication Number Publication Date
CN116977826A true CN116977826A (zh) 2023-10-31
CN116977826B CN116977826B (zh) 2024-03-22

Family

ID=88481437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311018319.2A Active CN116977826B (zh) 2023-08-14 2023-08-14 一种边缘端计算架构下的可重构神经网络目标检测方法

Country Status (1)

Country Link
CN (1) CN116977826B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705601A (zh) * 2019-09-09 2020-01-17 安徽继远软件有限公司 基于单阶段目标检测的变电站设备渗漏油图像识别方法
CN114155166A (zh) * 2021-12-06 2022-03-08 青岛海泰新光科技股份有限公司 一种基于fpga的图像颜色还原的插值方法
WO2022067668A1 (zh) * 2020-09-30 2022-04-07 中国科学院深圳先进技术研究院 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
CN115880208A (zh) * 2021-09-27 2023-03-31 深圳迈瑞生物医疗电子股份有限公司 图像处理方法、图像处理装置及医疗设备
CN115880488A (zh) * 2021-09-24 2023-03-31 英特尔公司 用于改进语义图像分割的神经网络加速器系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705601A (zh) * 2019-09-09 2020-01-17 安徽继远软件有限公司 基于单阶段目标检测的变电站设备渗漏油图像识别方法
WO2022067668A1 (zh) * 2020-09-30 2022-04-07 中国科学院深圳先进技术研究院 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
CN115880488A (zh) * 2021-09-24 2023-03-31 英特尔公司 用于改进语义图像分割的神经网络加速器系统
CN115880208A (zh) * 2021-09-27 2023-03-31 深圳迈瑞生物医疗电子股份有限公司 图像处理方法、图像处理装置及医疗设备
CN114155166A (zh) * 2021-12-06 2022-03-08 青岛海泰新光科技股份有限公司 一种基于fpga的图像颜色还原的插值方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIRUI WU: "Edge Computing Driven Low-Light Image Dynamic Enhancement for Object Detection", 《IEEE TRANSACTIONS ON NETWORK SCIENCE AND ENGINEERING》, pages 3086 - 3098 *
郑西点;袁浩巍;严佳玲;陈辰;徐胤;陈忠;: "基于CMOS+FPGA的高速视觉实时定位与跟踪系统", 上海电气技术, no. 04 *

Also Published As

Publication number Publication date
CN116977826B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN111832655B (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
CN112163628A (zh) 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN113160062A (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN113420794B (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN114140672A (zh) 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络系统及方法
CN114220126A (zh) 一种目标检测系统及获取方法
CN116205874A (zh) 一种绝缘子缺陷检测方法、装置、设备及存储介质
CN116486368A (zh) 基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法
CN117079117A (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
CN114549297A (zh) 一种基于不确定分析的无监督单目深度估计方法
CN113989631A (zh) 一种基于卷积神经网络的红外图像目标检测网络压缩方法
Li et al. IDP-YOLOV9: Improvement of Object Detection Model in Severe Weather Scenarios from Drone Perspective
CN115587987A (zh) 一种蓄电池缺陷检测方法、装置、存储介质及电子设备
CN116977826B (zh) 一种边缘端计算架构下的可重构神经网络目标检测方法
CN113870162A (zh) 一种融合光照和反射的低光图像增强方法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN116912483A (zh) 目标检测方法、电子设备以及存储介质
CN115249269A (zh) 目标检测方法、计算机程序产品、存储介质及电子设备
EP4199498A1 (en) Site model updating method and system
CN116597146A (zh) 一种针对激光雷达稀疏点云数据的语义分割方法
CN116309213A (zh) 一种基于生成对抗网络的高实时多源图像融合方法
CN115359067A (zh) 一种基于连续卷积网络的逐点融合点云语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant