[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112446245A - 一种基于运动边界小位移的高效运动表征方法及装置 - Google Patents

一种基于运动边界小位移的高效运动表征方法及装置 Download PDF

Info

Publication number
CN112446245A
CN112446245A CN201910811947.3A CN201910811947A CN112446245A CN 112446245 A CN112446245 A CN 112446245A CN 201910811947 A CN201910811947 A CN 201910811947A CN 112446245 A CN112446245 A CN 112446245A
Authority
CN
China
Prior art keywords
difference
frames
adjacent
feature
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910811947.3A
Other languages
English (en)
Inventor
邹月娴
张粲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201910811947.3A priority Critical patent/CN112446245A/zh
Publication of CN112446245A publication Critical patent/CN112446245A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于运动边界小位移的高效运动表征方法及装置。其中，所述方法包括以下步骤：步骤1、抽取视频序列中的相邻N帧的原始图像；步骤2、利用卷积神经网络处理相邻N帧的原始图像，获得相应的浅层特征图；步骤3、对相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得所有相邻两帧在特征空间中的差异图；步骤4、将所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积；步骤5、按编码方案对差异累积结果进行编码，从而获得本发明所述的高效运动表征。相比于一些依赖光流作为运动表征的方法，本发明无需预先进行复杂的光流计算，可以通过计算浅层特征空间上的差异来建模运动边界小位移，从而极大降低运动表征计算的复杂度。

Description

一种基于运动边界小位移的高效运动表征方法及装置
技术领域
本发明涉及视觉感知和人工智能技术，尤其涉及一种基于运动边界小位移的高效运动表征方法及装置，主要通过对浅层神经网络提取的特征图在特征空间进行差异计算和累积，能够有效建模运动边界小位移作为运动表征。
背景技术
运动表征在近年来的计算机视觉研究中被广泛采用，尤其是视频理解任务。当前主流的基于视频的深度学习任务，比如：动作识别、视频描述、视频预测等，除了原始彩色3通道RGB图像作为输入来提供外观信息外，还需要运动表征作为其中一种输入模态，用以提供时序相关的短程运动信息作为学习辅助。运动表征的建模逐渐成为视觉感知和人工智能领域的一个重要研究方向。视频理解在现实场景中有很多潜在的应用，比如：智能监控、视频检索、智慧安防、异常行为检测等。
当前主流的视频理解方法依赖于光流作为运动表征，由于光流卓越的性能表现，光流常被用于建模短程运动。但是，光流的预先计算需要消耗大量的计算资源和存储空间，这约束了基于光流的视频理解方法在实时场景中的应用。为了克服光流计算效率低下的问题，最近一些方法设计卷积神经网络用于快速光流估计。虽然光流估计的速度得到了较大提升，但是这类方法仍然存在两大问题：（1）先计算光流再送入深度神经网络这一过程是两阶段的，不可以端到端训练，实时场景中的应用仍然受限；（2）光流估计的准确率和最终视频理解任务的性能表现没有很好的相关性。还有一些方法试图直接从RGB图像中重建光流，然而在训练阶段，仍然需要提取好的光流作为监督信息，这严重制约了训练的速度。
由于视频时序信息的复杂性，运动信息的建模始终是视频理解任务的一个巨大的挑战。如何在网络端到端的训练过程中，快速有效地建模视频中的时序短程运动信息，对于动作识别以及其他基于视频的智能视觉感知任务而言，是非常重要的。
发明内容
本发明针对当前主流视频理解方法严重依赖光流作为运动表征，计算复杂度高、耗时的问题，提出一种基于运动边界小位移的高效运动表征方法及装置。本发明通过对浅层神经网络提取的特征图在特征空间进行差异计算和累积，能够快速有效建模运动边界小位移作为深度神经网络中所需要的运动表征；由于无需预先计算的光流作为运动辅助信息，方法及装置的运行速度满足实时视频理解的要求。
本发明所采用的技术方案如下：
一种基于运动边界小位移的高效运动表征方法，包括以下步骤：
步骤1、抽取视频序列中的相邻N帧的原始图像；
步骤2、利用卷积神经网络处理相邻N帧的原始图像，获得相应的浅层特征图；
步骤3、对相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得所有相邻两帧在特征空间中的差异图；
步骤4、将所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积；
步骤5、按编码方案对差异累积结果进行编码，从而获得本发明所述的高效运动表征。
进一步地，步骤1中所述相邻N帧为在时序关系上相邻的N个图像帧，N为预先设定好的大于等于2的整数，则一段视频序列抽取相邻N帧的原始图像作为采样帧。
进一步地，步骤2中所述卷积神经网络包括卷积层、批正则化层、ReLU层；所述卷积神经网络的输入是N个相邻采样帧的原始图像，输出是卷积神经网络特定层对应N组帧级别的特征图，作为该帧在特征空间上的外观表征。
进一步地，步骤3中所述差异计算具体指在特征空间层面对特征图进行对应通道对应像素位置的差异计算；设定这N帧的特征图通道数为C，则对相邻N帧的所有相邻两帧的特征图进行逐通道差异计算后，获得N-1组特征差异图，每组特征差异图的通道数仍为C。
进一步地，步骤4中所述差异累积以组为单位，每组特征差异图的差异累积沿着该组的通道维度进行，差异累积操作完成后，通道数变为1，则N-1组通道数为C的特征差异图在差异累积后的通道数变为1。
进一步地，步骤5中所述编码方案用于对差异结果进行编码，不同的任务需采用不同的编码方案，进而得到任务相关的所述高效运动表征。
所述差异计算的具体步骤为：设定一段视频序列抽取相邻两帧的原始图像作为采样帧，所述卷积神经网络输出的相邻两帧浅层特征图为集合{Fi(p,t)}和{Fi(p,t+Δt)}，通道数为C，空间分辨率“宽度×高度”为“W×H”；其中，C、W和H均为大于等于1的整数，i代表通道索引，i的取值范围为闭区间[1,C]，p=(x,y)为特征图空间维度上的任意一点坐标，x的取值范围为闭区间[1,W]，y的取值范围为[1,H]，t代表相邻两帧中靠前的一帧的时间戳，t+Δt代表相邻两帧中靠后的一帧的时间戳；则对相邻两帧浅层特征图进行差异计算所得到的第i个通道的差异图元素Di(p,Δt)可以表示为：
Di(p,Δt)=Fi(p,t+Δt)-Fi(p,t)；
则所述对相邻两帧浅层特征图进行差异计算后将会得到1组C个空间分辨率为W×H的差异图，表示为集合{Di(p,Δt)}。
所述差异累积的具体步骤为：设定相邻两帧浅层特征图进行差异计算后得到的差异图为集合{Di(p,Δt)}，则沿着通道维度进行差异累积可以表示为：
Figure 558804DEST_PATH_IMAGE001
；
上式D为差异累积结果，通道数由C压缩为1，空间分辨率不变，仍为W×H。
所述编码方案为：设定对相邻N帧的所有相邻两帧的浅层特征图进行差异计算和差异累积后得到N-1个通道数为1的差异累积结果，将他们按时序进行通道合并，则得到1组通道数为N-1的特征作为所述运动表征。
具体的，所述采样帧的原始图像为3通道RGB彩色图像。
具体的，所述浅层特征图为只通过卷积神经网络的第一层部分，即只经过一组卷积层输出的特征图。
本发明还提出了一种基于运动边界小位移的高效运动表征装置，可以用于视频信号或者图像序列中运动表征的提取。所采取的技术方案如下：
所述装置包括相邻帧采样单元、浅层特征提取单元、差异计算单元、差异累积单元和编码单元；所述相邻帧采样单元，用于对视频序列的相邻多帧进行采样处理，获得多个相邻采样帧的原始图像；所述浅层特征提取单元，用于利用浅层卷积神经网络对采样帧进行抽象化处理，获得所述用于代表各采样帧的浅层特征图；所述差异计算单元，用于对所述相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得在特征空间中的差异图；所述差异累积单元，用于对所述所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积，获得所述差异累积结果；所述编码单元，用于采用编码方案对差异累积结果进行编码，获得本发明所述的高效运动表征。
具体的，所述相邻帧采样单元的输出作为浅层特征提取单元的输入；所述浅层特征提取单元的输出作为差异计算单元的输入；所述差异计算单元的输出作为差异累积单元的输入；所述差异累积单元的输出作为编码单元的输入；所述编码单元的输出结果即为本发明方法所述的基于运动边界小位移的高效运动表征。
由于采取了上述技术手段，本发明具有如下优点和有益效果：
1. 本发明方法的输入仅为原始彩色3通道RGB采样帧，无需额外预先花费大量计算资源和时间计算光流图片作为输入，保障了方法的实时性，而且整个网络端到端可训练，学习的运动表征更加任务相关，学习过程更加专注；
2. 本发明方法仅在浅层特征空间上进行差异计算和累积，相较于传统的光流计算和光流估计等方法，网络模型浅、参数量少，最终运动表征计算模型的占用空间小，可以进行快速运动表征建模，并能应用于嵌入式设备；
3. 本发明提出了一种基于运动边界小位移的高效运动表征方法，通过充分利用卷积神经网络浅层特征的特点，并能进行任务相关的编码；本方法可以充分挖掘特征空间中的潜在运动信息，有效避免需要预先进行的密集光流提取，提高视频理解任务的效率；
4. 本发明方法的可解释性强：能建模运动边界是因为卷积神经网络的浅层特征图更加关注于图像外观特征中的边界、纹理等信息；能建模小位移是因为特征空间中的一个点对应到输入空间是一个区域，这个区域通常又称为感受野。因此浅层特征的差异计算和累积能很好地反映出输入空间的运动边界小位移；
5. 本发明装置硬件配置要求低，故造价成本小，维护较为容易。
附图说明
图1示出本发明所述方法的总体流程图。
图2示出本发明所述方法的计算过程示意图。
图3示出本发明一实施例中所得运动表征的可视化结果。
图4示出本发明所述装置的示意图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
图1为根据一示例示出一种基于运动边界小位移的高效运动表征方法的总体流程图，具体包括如下步骤：
步骤1：相邻采样S1，抽取视频序列中的相邻N帧的原始图像；所述相邻N帧为在时序关系上相邻的N个图像帧，N为预先设定好的大于等于2的整数，则一段视频序列抽取相邻N帧的原始图像作为采样帧；
步骤2：卷积神经网络浅层处理S2，利用卷积神经网络处理相邻N帧的原始图像，获得相应的浅层特征图；所述卷积神经网络包括卷积层、批正则化层、ReLU层；所述卷积神经网络的输入是N个相邻采样帧的原始图像，输出是卷积神经网络特定层对应N组帧级别的特征图，作为该帧在特征空间上的外观表征；
步骤3：差异计算S3，对相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得所有相邻两帧在特征空间中的差异图；所述差异计算具体指在特征空间层面对特征图进行对应通道对应像素位置的差异计算；设定这N帧的特征图通道数为C，则对相邻N帧的所有相邻两帧的特征图进行逐通道差异计算后，获得N-1组特征差异图，每组特征差异图的通道数仍为C；
步骤4：差异累积S4，将所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积；所述差异累积以组为单位，每组特征差异图的差异累积沿着该组的通道维度进行，差异累积操作完成后，通道数变为1，则N-1组通道数为C的特征差异图在差异累积后的通道数变为1；
步骤5：编码操作S5，按编码方案对差异累积结果进行编码，不同的任务需采用不同的编码方案，从而获得本发明所述的高效运动表征。
所述差异计算的具体步骤为：设定一段视频序列抽取相邻两帧的原始图像作为采样帧，所述卷积神经网络输出的相邻两帧浅层特征图为集合{Fi(p,t)}和{Fi(p,t+Δt)}，通道数为C，空间分辨率“宽度×高度”为“W×H”；其中，C、W和H均为大于等于1的整数，i代表通道索引，i的取值范围为闭区间[1,C]，p=(x,y)为特征图空间维度上的任意一点坐标，x的取值范围为闭区间[1,W]，y的取值范围为[1,H]，t代表相邻两帧中靠前的一帧的时间戳，t+Δt代表相邻两帧中靠后的一帧的时间戳；则对相邻两帧浅层特征图进行差异计算所得到的第i个通道的差异图元素Di(p,Δt)可以表示为：
Di(p,Δt)=Fi(p,t+Δt)-Fi(p,t)；
则所述对相邻两帧浅层特征图进行差异计算后将会得到1组C个空间分辨率为W×H的差异图，表示为集合{Di(p,Δt)}。
所述差异累积的具体步骤为：设定相邻两帧浅层特征图进行差异计算后得到的差异图为集合{Di(p,Δt)}，则沿着通道维度进行差异累积可以表示为：
Figure 435493DEST_PATH_IMAGE001
；
上式D为差异累积结果，通道数由C压缩为1，空间分辨率不变，仍为W×H。
所述编码方案为：设定对相邻N帧的所有相邻两帧的浅层特征图进行差异计算和差异累积后得到N-1个通道数为1的差异累积结果，将他们按时序进行通道合并，则得到1组通道数为N-1的特征作为所述运动表征。
所述采样帧的原始图像为3通道RGB彩色图像。
所述浅层特征图只通过卷积神经网络的第一层部分，即只经过一组卷积层输出的特征图。
图2为根据一示例示出一种相邻两帧的基于运动边界小位移的高效运动表征方法的计算过程示意图，以此阐明经过每一步操作后的数据维度大小；设定数据维度表示方法“C×T×W×H”为“通道数×时序长度×空间宽度×空间高度”，则其中：1-抽取得到的视频序列中相邻两帧的原始图像，相邻采样帧序列为3通道RGB彩色图像，故数据维度为3×2×W×H；2-卷积神经网络处理相邻两帧的原始图像，所述卷积神经网络包括卷积层、批正则化层、ReLU层；所述卷积神经网络的输入是两个相邻采样帧的原始图像，输出是卷积神经网络特定层对应两组帧级别的特征图，设定通道数为C，空间维度未进行下采样，则数据维度为C×2×W×H；3-相邻两帧在特征空间中的差异图，所述差异计算具体指在特征空间层面对特征图进行对应通道对应像素位置的差异计算，则其数据维度为C×1×W×H；4-所述差异累积结果，所述差异累积以组为单位，每组特征差异图的差异累积沿着该组的通道维度进行，差异累积操作完成后，通道数变为1，则示例差异累积结果的维度为1×1×W×H。
图3为根据一示例示出本发明一实施例中所得运动表征的可视化结果。1-相邻两帧中靠前的一帧3通道RGB彩色图像；2-相邻两帧中靠后的一帧3通道RGB彩色图像；3-本发明方法得到的运动表征；4-传统TVL-1光流方法得到的光流水平方向分量图片；5-传统TVL-1光流方法得到的光流垂直方向分量图片。可视化结果证明本发明方法相较于传统光流方法，能更加有效地建模运动边界小位移。在单块NVIDIA TITAN X深度学习处理器上对传统TVL-1光流方法和本发明方法做速度对比，同时保证其他硬件配置完全相同。在输入图片分辨率为224×224的情况下，本发明方法的处理速度为每秒1855帧，传统TVL-1光流方法的处理速度为每秒15帧。由此速度评估证明本发明提供的运动表征计算方法所需计算时间远低于传统光流计算方法，能够满足工程上运动表征的快速计算要求。
图4为根据一示例示出一种基于运动边界小位移的高效运动表征装置的示意图，该装置可以用于视频信号或者图像序列中快速运动表征的建模。所采取的技术方案如下：
所述装置包括：1-相邻帧采样单元；2-浅层特征提取单元；3-差异计算单元；4-差异累积单元和5-编码单元；所述相邻帧采样单元，用于对视频序列的相邻多帧进行采样处理，获得多个相邻采样帧的原始图像；所述浅层特征提取单元，用于利用浅层卷积神经网络对采样帧进行抽象化处理，获得所述用于代表各采样帧的浅层特征图；所述差异计算单元，用于对所述相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得在特征空间中的差异图；所述差异累积单元，用于对所述所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积，获得所述差异累积结果；所述编码单元，用于采用编码方案对差异累积结果进行编码，获得本发明所述的高效运动表征。
具体的，所述相邻帧采样单元的输出作为浅层特征提取单元的输入；所述浅层特征提取单元的输出作为差异计算单元的输入；所述差异计算单元的输出作为差异累积单元的输入；所述差异累积单元的输出作为编码单元的输入；所述编码单元的输出结果即为本发明方法所述的基于运动边界小位移的高效运动表征。
上述实施例仅仅是为清楚地说明本发明所作的描述，而并非对实施方式的限定，对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举，而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (8)

1.一种基于运动边界小位移的高效运动表征方法，包括以下步骤：
步骤1、抽取视频序列中的相邻N帧的原始图像；
步骤2、利用卷积神经网络处理相邻N帧的原始图像，获得相应的浅层特征图；
步骤3、对相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得所有相邻两帧在特征空间中的差异图；
步骤4、将所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积；
步骤5、按编码方案对差异累积结果进行编码，从而获得本发明所述的高效运动表征。
2.根据权利要求1所述的方法，其特征在于：
在步骤1中，所述相邻N帧为在时序关系上相邻的N个图像帧，N为预先设定好的大于等于2的整数，则一段视频序列抽取相邻N帧的原始图像作为采样帧；
在步骤2中，所述卷积神经网络包括卷积层、批正则化层、ReLU层；所述卷积神经网络的输入是N个相邻采样帧的原始图像，输出是卷积神经网络特定层对应N组帧级别的特征图，作为该帧在特征空间上的外观表征；
在步骤3中，所述差异计算具体指在特征空间层面对特征图进行对应通道对应像素位置的差异计算；设定这N帧的特征图通道数为C，则对相邻N帧的所有相邻两帧的特征图进行逐通道差异计算后，获得N-1组特征差异图，每组特征差异图的通道数仍为C；
在步骤4中，所述差异累积以组为单位，每组特征差异图的差异累积沿着该组的通道维度进行，差异累积操作完成后，通道数变为1，则N-1组通道数为C的特征差异图在差异累积后的通道数变为1；
在步骤5中，所述编码方案用于对差异结果进行编码，不同的任务需采用不同的编码方案，进而得到任务相关的所述高效运动表征。
3.根据权利要求1或2所述的方法，其特征在于，所述差异计算的具体步骤为：设定一段视频序列抽取相邻两帧的原始图像作为采样帧，所述卷积神经网络输出的相邻两帧浅层特征图为集合{Fi(p,t)}和{Fi(p,t+Δt)}，通道数为C，空间分辨率“宽度×高度”为“W×H”；其中，C、W和H均为大于等于1的整数，i代表通道索引，i的取值范围为闭区间[1,C]，p=(x,y)为特征图空间维度上的任意一点坐标，x的取值范围为闭区间[1,W]，y的取值范围为[1,H]，t代表相邻两帧中靠前的一帧的时间戳，t+Δt代表相邻两帧中靠后的一帧的时间戳；则对相邻两帧浅层特征图进行差异计算所得到的第i个通道的差异图元素Di(p,Δt)可以表示为：
Di(p,Δt)=Fi(p,t+Δt)-Fi(p,t)；
则所述对相邻两帧浅层特征图进行差异计算后将会得到1组C个空间分辨率为W×H的差异图，表示为集合{Di(p,Δt)}。
4.根据权利要求1或2所述的方法，其特征在于，所述差异累积的具体步骤为：设定相邻两帧浅层特征图进行差异计算后得到的差异图为集合{Di(p,Δt)}，则沿着通道维度进行差异累积可以表示为：
Figure 7025DEST_PATH_IMAGE001
；
上式D为差异累积结果，通道数由C压缩为1，空间分辨率不变，仍为W×H。
5.根据权利要求1或2所述的方法，其特征在于，所述编码方案为：设定对相邻N帧的所有相邻两帧的浅层特征图进行差异计算和差异累积后得到N-1个通道数为1的差异累积结果，将他们按时序进行通道合并，则得到1组通道数为N-1的特征作为所述运动表征。
6.根据权利要求1至3任意一项所述的方法，其特征在于，所述采样帧的原始图像为3通道RGB彩色图像。
7.根据权利要求1或3或4所述的方法，其特征在于，所述浅层特征图为只通过卷积神经网络的第一层部分，即只经过一组卷积层输出的特征图。
8.一种基于运动边界小位移的高效运动表征装置，其特征在于，包括：
相邻帧采样单元，用于对视频序列的相邻多帧进行采样处理，获得多个相邻采样帧的原始图像；
浅层特征提取单元，用于利用浅层卷积神经网络对采样帧进行抽象化处理，获得所述用于代表各采样帧的浅层特征图；
差异计算单元，用于对所述相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得在特征空间中的差异图；
差异累积单元，用于对所述所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积，获得所述差异累积结果；
编码单元，用于采用编码方案对差异累积结果进行编码，获得本发明所述的高效运动表征。
CN201910811947.3A 2019-08-30 2019-08-30 一种基于运动边界小位移的高效运动表征方法及装置 Pending CN112446245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910811947.3A CN112446245A (zh) 2019-08-30 2019-08-30 一种基于运动边界小位移的高效运动表征方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910811947.3A CN112446245A (zh) 2019-08-30 2019-08-30 一种基于运动边界小位移的高效运动表征方法及装置

Publications (1)

Publication Number Publication Date
CN112446245A true CN112446245A (zh) 2021-03-05

Family

ID=74741948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910811947.3A Pending CN112446245A (zh) 2019-08-30 2019-08-30 一种基于运动边界小位移的高效运动表征方法及装置

Country Status (1)

Country Link
CN (1) CN112446245A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991398A (zh) * 2021-04-20 2021-06-18 中国人民解放军国防科技大学 基于协同深度神经网络的运动边界指导的光流滤波方法
CN113111842A (zh) * 2021-04-26 2021-07-13 浙江商汤科技开发有限公司 一种动作识别方法、装置、设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991398A (zh) * 2021-04-20 2021-06-18 中国人民解放军国防科技大学 基于协同深度神经网络的运动边界指导的光流滤波方法
CN112991398B (zh) * 2021-04-20 2022-02-11 中国人民解放军国防科技大学 基于协同深度神经网络的运动边界指导的光流滤波方法
CN113111842A (zh) * 2021-04-26 2021-07-13 浙江商汤科技开发有限公司 一种动作识别方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Huang et al. Bidirectional recurrent convolutional networks for multi-frame super-resolution
CN109919032B (zh) 一种基于动作预测的视频异常行为检测方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN110853074B (zh) 一种利用光流增强目标的视频目标检测网络系统
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN103258332A (zh) 一种抗光照变化的运动目标检测方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN102457724B (zh) 一种图像运动检测系统及方法
CN109614933A (zh) 一种基于确定性拟合的运动分割方法
CN112418032A (zh) 一种人体行为识别方法、装置、电子设备及存储介质
CN102340620B (zh) 基于马氏距离的视频图像背景检测方法
CN116030498A (zh) 面向虚拟服装走秀的三维人体姿态估计方法
CN112446245A (zh) 一种基于运动边界小位移的高效运动表征方法及装置
CN116403152A (zh) 一种基于空间上下文学习网络的人群密度估计方法
CN109308709B (zh) 基于图像分割的Vibe运动目标检测算法
CN102509076B (zh) 基于主成分分析的视频图像背景检测方法
CN110322479B (zh) 一种基于时空显著性的双核kcf目标跟踪方法
CN117934308A (zh) 一种基于图卷积网络的轻量化自监督单目深度估计方法
CN111275751A (zh) 一种无监督绝对尺度计算方法及系统
CN116645718A (zh) 一种基于多流架构的微表情识别方法及系统
CN111160262A (zh) 一种融合人体关键点检测的人像分割方法
CN113627368B (zh) 基于深度学习的视频行为识别方法
CN116416649A (zh) 一种基于多尺度分辨率对齐的视频行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination