CN110378930B - 运动目标提取方法、装置和电子设备及可读存储介质 - Google Patents
运动目标提取方法、装置和电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN110378930B CN110378930B CN201910860408.9A CN201910860408A CN110378930B CN 110378930 B CN110378930 B CN 110378930B CN 201910860408 A CN201910860408 A CN 201910860408A CN 110378930 B CN110378930 B CN 110378930B
- Authority
- CN
- China
- Prior art keywords
- region
- area
- video frame
- moving
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 68
- 239000013598 vector Substances 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种运动目标提取方法,包括:利用深度神经网络从预设视频帧数据提取固定区域和移动区域;根据图像块法和固定区域得到全局运动矢量;根据移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型;利用全局运动矢量根据当前视频帧将初始背景模型进行运动补偿获得背景模型;通过背景模型对当前视频帧数据进行运动目标提取,得到运动目标区域。本申请避免了相关技术中初始背景建模过程中的已存在的运动目标、以及由于摄像机处于运动中导致背景模型建立的不准确性,提高背景模型建立的准确性进而提高运动目标提取的准确性和高效率。本申请同时还提供了运动目标提取装置、电子设备和计算机可读存储介质,均具有上述有益效果。
Description
技术领域
本申请涉及运动目标提取技术领域,特别涉及一种运动目标提取方法、运动目标提取装置、电子设备和计算机可读存储介质。
背景技术
智能视频分析是当前安防行业发展的一个重要方向,智能视频分析充分发挥了监控视频实时性和主动性,实时分析、跟踪、判别监控对象,并给出相应的报警信息,其可以为相关部门的决策和正确行动提供支持。
运动目标的提取是智能视频分析的基础,是实现实时分析、跟踪以及判别的前提。Blob是指图像中的一块连通区域,可以表示一个单独的目标,而且可以根据Blob来获得相应的目标信息。运动目标提取是视频监控系统的核心需求,常见运动目标提取方法为基于背景建模的方法等。相关技术中利用背景模型的方法进行运动目标提取。基于背景建模的方法检测结果与背景模型密切相关,在实际应用中常规的背景建模技术由于易受初始运动目标存在、摄像机自身运动影响导致背景模型的建立可靠性较差,因而导致运动目标提取的准确性差。
因此,如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种运动目标提取方法、运动目标提取装置、电子设备和计算机可读存储介质,能够提高运动目标提取的准确性。其具体方案如下:
本申请公开了一种运动目标提取方法,包括:
利用深度神经网络从预设视频帧数据提取固定区域和移动区域;
根据图像块法和所述固定区域得到全局运动矢量;
根据所述移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型;
利用所述全局运动矢量根据当前视频帧将所述初始背景模型进行运动补偿获得背景模型;
通过所述背景模型对所述当前视频帧数据进行运动目标提取,得到运动目标区域。
可选地,利用深度神经网络从预设视频帧数据提取固定区域和移动区域,包括:
利用所述深度神经网络从所述预设视频帧数据提取识别区域;
根据预设场景参数对所述识别区域进行区域提取,得到所述固定区域和所述移动区域。
可选地,根据所述移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型,包括:
根据所述移动区域以外的区域的视频帧数据利用ViBe算法进行背景建模,得到所述初始背景模型。
可选地,根据图像块法和所述固定区域得到全局运动矢量,包括:
将所述固定区域对应的视频帧进行区域划分,得到各个矩形子区域;
利用三步法计算所述矩形子区域的子区域运动矢量;
将所述子区域运动矢量进行分析,得到所述全局运动矢量。
可选地,对所述子区域运动矢量进行分析,得到所述全局运动矢量,包括:
利用K均值聚类对所述子区域运行矢量进行分析,得到所述全局运动矢量。
可选地,通过所述背景模型对所述当前视频帧数据进行运动目标提取,得到运动目标区域,包括:
通过所述背景模型对所述当前视频帧数据进行运动目标提取,得到运动区域;
判断所述运动区域的面积与所述移动区域的面积的比例是否大于预设阈值;
若是,则所述运动区域是所述运动目标区域,并输出所述运动目标区域。
本申请公开了一种运动目标提取装置,包括:
区域提取模块,用于利用深度神经网络从预设视频帧数据提取固定区域和移动区域;
全局运动矢量获取模块,用于根据图像块法和所述固定区域得到全局运动矢量;
初始背景建模模块,用于根据所述移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型;
补偿模块,用于利用所述全局运动矢量根据当前视频帧将所述初始背景模型进行运动补偿获得背景模型;
提取模块,用于通过所述背景模型对所述当前视频帧数据进行运动目标提取,得到运动目标区域。
可选地,所述提取模块包括:
运动区域获取单元,用于通过所述背景模型对所述当前视频帧数据进行运动目标提取,得到运动区域;
判断单元,用于判断所述运动区域的面积与所述移动区域的面积的比例是否大于预设阈值;
输出单元,用于若是,则所述运动区域是所述运动目标区域,并输出所述运动目标区域。
本申请公开了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述运动目标提取方法的步骤。
本申请公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述运动目标提取方法的步骤。
本申请提供一种运动目标提取方法,包括:利用深度神经网络从预设视频帧数据提取固定区域和移动区域;根据图像块法和固定区域得到全局运动矢量;根据移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型;利用全局运动矢量根据当前视频帧将初始背景模型进行运动补偿获得背景模型;通过背景模型对当前视频帧数据进行运动目标提取,得到运动目标区域。
可见,本申请通过利用移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型;利用全局运动矢量根据当前视频帧将初始背景模型进行运动补偿获得背景模型,通过上述背景模型来进行运动目标提取,提高背景模型建立的准确性进而提高运动目标提取的准确性和高效率,避免了相关技术中初始背景建模过程中的已存在的运动目标、以及由于摄像机处于运动中导致背景模型建立的不准确性,并且,本申请提供的运动目标提取适用于前景运动矢量大于背景运动矢量、前景运动矢量等于背景运动矢量、前景运动矢量小于背景运动矢量的三种场景,因此,自适应性更强。本申请同时还提供了一种运动目标提取装置、一种电子设备和计算机可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种运动目标提取方法的流程图;
图2为本申请实施例所提供的另一种运动目标提取方法的流程图;
图3为本申请实施例提供的一种运动目标提取装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
基于背景建模的方法检测结果与背景模型密切相关,在实际应用中常规的背景建模技术由于易受初始运动目标存在、摄像机自身运动影响导致背景模型的建立可靠性较差,因而导致运动目标提取的准确性差。基于上述技术问题,本实施例提供一种运动目标提取方法,避免了相关技术中初始背景建模过程中的已存在的运动目标、以及由于摄像机处于运动中导致背景模型建立的不准确性,提高背景模型建立的准确性进而提高运动目标提取的准确性、效率和自适应性,具体请参考图1,图1为本申请实施例所提供的一种运动目标提取方法的流程图,具体包括:
S101、利用深度神经网络从预设视频帧数据提取固定区域和移动区域。
本实施例不对深度神经网络进行限定,只要能够实现本实施例的目的即可,可以理解的是,上述深度神经网络是已训练好的深度神经网络,具体的训练可以采用有监督法进行训练也可以采用无监督法进行训练,具体的深度神经网络的获得,本实施例不再进行赘述。利用深度神经网络提取固定区域,对摄像机参数和场景的适应性强,且不易受摄像机自身运动的影像,本申请提供的运动目标提取适用于前景运动矢量大于背景运动矢量、前景运动矢量等于背景运动矢量、前景运动矢量小于背景运动矢量的三种场景,因此,自适应性更强。从预设视频帧数据中提取的固定区域和移动区域,当然预设视频帧数据中除了上述两个能够识别的区域外还可能存在不能够被识别的区域;其中,固定区域用于支撑后续的摄像机全局运动矢量提取,移动区域用于后续的运动目标检测结果验证。预设视频帧数据为参考数据,以便能够最终识别当前视频帧数据中的目标区域,预设视频帧数据可以是当前视频帧数据的上一帧数据或者其他帧数据,本实施例不再进行限定,用户可根据实际需求进行设置。
进一步的,利用深度神经网络从预设视频帧数据提取固定区域和移动区域,包括:利用深度神经网络从预设视频帧数据提取识别区域;根据预设场景参数对识别区域进行区域提取,得到固定区域和移动区域。
从输入的预设视频帧数据中提取出所有能够识别的识别区域;依据预设场景参数和或先验知识将识别区域分为固定区域和移动区域,具体的可以是基于深度神经网络技术的SSD算法分析输入的预设视频帧数据然后提取可识别的识别区域,并将其分成固定区域和移动区域,例如,将人体、车辆、动物等的区域标记为移动区域,将其余类别的区域标记为固定区域。可见,本实施例通过从输入的预设视频帧数据中提取出所有能够识别的识别区域进行区域提取,能够准确的获取固定区域和移动区域,提高提取的准确性。
S102、根据图像块法和固定区域得到全局运动矢量。
图像块法又称为块匹配运动估计法,主要是将图像帧划分为若干互不重叠的块,并以块为单位寻找目标帧中每块在参考帧(上一帧或者其他帧)中最有匹配的块的相对位置。具体的图像块法可以是三步法(TSS)或新三步法(NTSS)或四步法(FSS)或基于菱形的搜索方法(DS)或基于六边形的搜索算法(HEXBS)等,具体的本实施例不再进行限定,用户可根据实际情况进行选择。首先将输入视频帧划分为若干个互不重叠且大小相同的矩形子区域;然后计算每一个隶属于固定区域的矩形子区域在相邻视频帧间对应的运动矢量;最后通过分析所有隶属于固定区域的矩形子区域对应的运动矢量,得到反映摄像机自身运动的全局运动矢量。与传统全局运动提取方法相比,本实施例仅使用固定区域数据进行分析计算,可有效降低场景中可能存在的运动前景对计算结果的影响。
进一步的,根据图像块法和固定区域得到全局运动矢量,包括:将固定区域对应的视频帧进行区域划分,得到各个矩形子区域;利用三步法计算矩形子区域的运动矢量;将运动矢量进行分析,得到全局运动矢量。
具体的,在可实现的一种方式中,只将固定区域对应的视频帧进行区域划分,得到各个矩形子区域。在另一种可实现的方式中,将预设视频帧进行区域划分,分成若干个互不重叠的区域,其中区域的大小可以是的16×16的,当然也可以是其他尺寸的,只要能够满足本实施例的目的即可,以便得到预设视频帧中的固定区域的各个矩形子区域。利用三步法计算矩形子区域的子区域运动矢量,使用三步法求取固定区域所包含的每一个矩形子区域的子区域运动矢量;将子区域运动矢量进行分析,得到全局运动矢量。子区域运动矢量进行分析的方法本实施不再进行限定,可以是回归法或迭代最小二乘法或偏导数计算方法或K均值聚类法,当然也可以选择其他的方法,只要能够实现本实施例的目的即可。通过利用三步法计算矩形子区域的运动矢量,避免了进行全局搜索,大大减少了匹配运算的复杂度,且数据读取规则性优异,提高获取数据的准确性。
进一步的,对子区域运动矢量进行分析,得到全局运动矢量,包括:利用K均值聚类对子区域运行矢量进行分析,得到全局运动矢量。
K均值聚类算法是一种基于划分的方法,该算法的优点是简单易行,时间复杂度为O(n),并且适用于处理大规模数据,因此,采用K均值聚类算法,可以简化运动矢量分析过程,提高全局运动矢量获取效率。
S103、根据移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型。
本实施例不对背景建模的方法进行限定,可以是高斯背景建模或Vibe背景建模或混合高斯背景建模或核密度背景建模或码本背景建模或超像素背景建模,只要是能够实现本实施例的目的即可。通过上述背景建模方法根据移动区域以外的区域的视频帧数据得到初始背景模型,其中,移动区域以外的区域包括固定区域和不能识别的区域。在初始背景建模阶段,仅使用输入视频帧中所有移动区域以外的区域数据,这样可以避免将场景中可能存在的初始运动目标信息引入背景模型中。
进一步的,根据移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型,包括:根据移动区域以外的区域的视频帧数据利用ViBe算法进行背景建模,得到初始背景模型。
具体的,ViBe算法根据视频图像的第一帧,为每个像素点用随机采样的方式进行建模,利用每个像素点的相邻像素具有相似的特征,随机选取邻域像素值进行背景建模或更新背景,不需要大量的统计、估计或者运算,故ViBe算法复杂度低,运行速度快。本实施例根据移动区域以外的区域的视频帧数据利用ViBe算法进行背景建模,ViBe算法可以随机选取邻域20个样本为每个像素点建立一个基于样本的背景模型,初始化速度快、内存消耗小和占用资源少等优点,具体的,ViBe进行背景建模得到的初始背景模型是基于少量样本的背景模型,并且优化了初始背景模型中的相似度匹配算法,当找到一定数量的匹配样本时,停止计算,该方法,大大减少了整个算法的计算量,从而提高运算效率。
S104、利用全局运动矢量根据当前视频帧将初始背景模型进行运动补偿获得背景模型。
具体的,初始建模阶段摄像机存在运动,则依据全局运动矢量,先对已得到的部分背景模型数据做运动补偿,使其和当前输入帧的空间映射关系一致,然后再使用当前视频帧数据继续进行背景建模,这样可有效降低摄像机运动对初始背景建模的影响。利用全局运动矢量根据当前视频帧将初始背景模型进行运动补偿,得到背景模型,可以是先使用全局运动矢量对已有的初始背景模型部分做运动补偿,然后再使用当前视频帧继续进行背景建模得到背景模型。
S105、通过背景模型对当前视频帧数据进行运动目标提取,得到运动目标区域。
本步骤的目的是进行运动区域的检测,得到运动目标区域。主要是利用背景模型将输入的当前视频帧数据进行区域提取即运动目标提取,得到运动目标。
基于上述技术方案,本实施例通过利用移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型;利用全局运动矢量根据当前视频帧将初始背景模型进行运动补偿获得背景模型,通过上述背景模型来进行运动目标提取,提高背景模型建立的准确性进而提高运动目标提取的准确性和高效率,避免了相关技术中初始背景建模过程中的已存在的运动目标、以及由于摄像机处于运动中导致背景模型建立的不准确性,并且,本申请提供的运动目标提取适用于前景运动矢量大于背景运动矢量、前景运动矢量等于背景运动矢量、前景运动矢量小于背景运动矢量的三种场景,因此,自适应性更强。
基于上述实施例,为了能够提高目标运动目标提取的准确性,本实施例提供一种运动目标提取方法,通过采取判断运动区域的面积与移动区域的面积的比例大于预设阈值时确定运动目标区域,具体请参考图2,图2为本申请实施例所提供的另一种运动目标提取方法的流程图,包括:
S201、利用深度神经网络从预设视频帧数据提取固定区域和移动区域。
S202、根据图像块法和固定区域得到全局运动矢量。
S203、根据移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型。
S204、利用全局运动矢量根据当前视频帧将初始背景模型进行运动补偿获得背景模型。
具体请参考上述实施例,本实施例不再进行赘述。
S205、通过背景模型对当前视频帧数据进行运动目标提取,得到运动区域。
S206、判断运动区域的面积与移动区域的面积的比例是否大于预设阈值。
S207、若是,则运动区域是运动目标区域,并输出运动目标区域。
本实施例不对预设阈值进行限定,用户可根据实际需求进行设置,只要是能够实现本实施例的目的即可,具体可以是50%、60%、70%、80%、90%、95%中的一种,当然也可以是其他数值,只要能够满足本实施例的目的即可。当得到运动区域检测结果后即得到运动区域,计算每个运动区域外接矩形内运动区域即为运动区域的面积。具体的计算方法,本实施例不再进行限定。判断运动区域的面积与移动区域的面积的比例是否大于预设阈值,如果比例超过预设阈值,则该运动目标区域为有效检测结果即运动区域是目标区域,直接输出;反之则认定该检测结果为无效检测结果,不输出。
基于上述技术方案,本实施例通过得到运动区域的检测及过即运动区域后,判断运动区域的面积与移动区域的面积的比例是否大于预设阈值的方法,来校验提取结果,提升运动目标提取的准确性。
下面对本申请实施例提供的一种运动目标提取装置进行介绍,下文描述的运动目标提取装置与上文描述的运动目标提取方法可相互对应参照,参考图3,图3为本申请实施例所提供的一种运动目标提取装置的结构示意图,包括:
区域提取模块301,用于利用深度神经网络从预设视频帧数据提取固定区域和移动区域;
全局运动矢量获取模块302,用于根据图像块法和固定区域得到全局运动矢量;
初始背景建模模块303,用于根据移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型;
补偿模块304,用于利用全局运动矢量根据当前视频帧将初始背景模型进行运动补偿获得背景模型;
提取模块305,用于通过背景模型对当前视频帧数据进行运动目标提取,得到运动目标区域。
在一些具体的实施例中,区域提取模块301包括:
第一提取单元,用于利用深度神经网络从预设视频帧数据提取识别区域;
第二提取单元,用于根据预设场景参数对识别区域进行区域提取,得到固定区域和移动区域。
在一些具体的实施例中,初始背景建模模块303包括:
初始背景建模单元,用于根据移动区域以外的区域的视频帧数据利用ViBe算法进行背景建模,得到初始背景模型。
在一些具体的实施例中,全局运动矢量获取模块302包括:
划分单元,用于将固定区域对应的视频帧进行区域划分,得到各个矩形子区域;
计算单元,用于利用三步法计算矩形子区域的子区域运动矢量;
获取单元,用于将子区域运动矢量进行分析,得到全局运动矢量。
在一些具体的实施例中,获取单元包括:
获取子单元,用于利用K均值聚类对子区域运行矢量进行分析,得到全局运动矢量。
在一些具体的实施例中,提取模块包括:
运动区域获取单元,用于通过背景模型对当前视频帧数据进行运动目标提取,得到运动区域;
判断单元,用于判断运动区域的面积与移动区域的面积的比例是否大于预设阈值;
输出单元,用于若是,则运动区域是运动目标区域,并输出运动目标区域。
由于运动目标提取装置部分的实施例与运动目标提取方法部分的实施例相互对应,因此运动目标提取装置部分的实施例请参见运动目标提取方法部分的实施例的描述,这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍,下文描述的电子设备与上文描述的运动目标提取方法可相互对应参照。
本实施例提供一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述运动目标提取方法的步骤。
由于电子设备部分的实施例与运动目标提取方法部分的实施例相互对应,因此电子设备部分的实施例请参见运动目标提取方法部分的实施例的描述,这里暂不赘述。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍,下文描述的计算机可读存储介质与上文描述的运动目标提取方法可相互对应参照。
本实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述运动目标提取方法的步骤。
由于计算机可读存储介质部分的实施例与运动目标提取方法部分的实施例相互对应,因此计算机可读存储介质部分的实施例请参见运动目标提取方法部分的实施例的描述,这里暂不赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种运动目标提取方法、运动目标提取装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (9)
1.一种运动目标提取方法,其特征在于,包括:
利用深度神经网络从预设视频帧数据提取固定区域和移动区域;
根据图像块法和所述固定区域得到全局运动矢量;
根据所述移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型;
利用所述全局运动矢量根据当前视频帧数据将所述初始背景模型进行运动补偿获得背景模型;
通过所述背景模型对所述当前视频帧数据进行运动目标提取,得到运动目标区域;
其中,根据图像块法和所述固定区域得到全局运动矢量,包括:
将所述固定区域对应的视频帧进行区域划分,得到各个矩形子区域;
利用三步法计算所述矩形子区域的子区域运动矢量;
将所述子区域运动矢量进行分析,得到所述全局运动矢量。
2.根据权利要求1所述的运动目标提取方法,其特征在于,利用深度神经网络从预设视频帧数据提取固定区域和移动区域,包括:
利用所述深度神经网络从所述预设视频帧数据提取识别区域;
根据预设场景参数对所述识别区域进行区域提取,得到所述固定区域和所述移动区域。
3.根据权利要求1所述的运动目标提取方法,其特征在于,根据所述移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型,包括:
根据所述移动区域以外的区域的视频帧数据利用ViBe算法进行背景建模,得到所述初始背景模型。
4.根据权利要求1所述的运动目标提取方法,其特征在于,对所述子区域运动矢量进行分析,得到所述全局运动矢量,包括:
利用K均值聚类对所述子区域运行矢量进行分析,得到所述全局运动矢量。
5.根据权利要求1至4任一项所述的运动目标提取方法,其特征在于,通过所述背景模型对所述当前视频帧数据进行运动目标提取,得到运动目标区域,包括:
通过所述背景模型对所述当前视频帧数据进行运动目标提取,得到运动区域;
判断所述运动区域的面积与所述移动区域的面积的比例是否大于预设阈值;
若是,则所述运动区域是所述运动目标区域,并输出所述运动目标区域。
6.一种运动目标提取装置,其特征在于,包括:
区域提取模块,用于利用深度神经网络从预设视频帧数据提取固定区域和移动区域;
全局运动矢量获取模块,用于根据图像块法和所述固定区域得到全局运动矢量;
初始背景建模模块,用于根据所述移动区域以外的区域的视频帧数据进行背景建模,得到初始背景模型;
补偿模块,用于利用所述全局运动矢量根据当前视频帧将所述初始背景模型进行运动补偿获得背景模型;
提取模块,用于通过所述背景模型对所述当前视频帧数据进行运动目标提取,得到运动目标区域;
其中,所述全局运动矢量获取模块包括:
划分单元,用于将所述固定区域对应的视频帧进行区域划分,得到各个矩形子区域;
计算单元,用于利用三步法计算所述矩形子区域的子区域运动矢量;
获取单元,用于将所述子区域运动矢量进行分析,得到所述全局运动矢量。
7.根据权利要求6所述的运动目标提取装置,其特征在于,所述提取模块包括:
运动区域获取单元,用于通过所述背景模型对所述当前视频帧数据进行运动目标提取,得到运动区域;
判断单元,用于判断所述运动区域的面积与所述移动区域的面积的比例是否大于预设阈值;
输出单元,用于若是,则所述运动区域是所述运动目标区域,并输出所述运动目标区域。
8.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述运动目标提取方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述运动目标提取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910860408.9A CN110378930B (zh) | 2019-09-11 | 2019-09-11 | 运动目标提取方法、装置和电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910860408.9A CN110378930B (zh) | 2019-09-11 | 2019-09-11 | 运动目标提取方法、装置和电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378930A CN110378930A (zh) | 2019-10-25 |
CN110378930B true CN110378930B (zh) | 2020-01-31 |
Family
ID=68261517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910860408.9A Expired - Fee Related CN110378930B (zh) | 2019-09-11 | 2019-09-11 | 运动目标提取方法、装置和电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378930B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706573B (zh) * | 2020-05-08 | 2024-06-11 | 杭州海康威视数字技术股份有限公司 | 一种运动物体的检测方法、装置及存储介质 |
CN115379114A (zh) * | 2022-07-19 | 2022-11-22 | 阿里巴巴(中国)有限公司 | 全景视频处理方法、装置及电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1376471A1 (en) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Motion estimation for stabilization of an image sequence |
CN101216941A (zh) * | 2008-01-17 | 2008-07-09 | 上海交通大学 | 剧烈光照变化下基于角点匹配与光流法的运动估计方法 |
EP1984893A2 (en) * | 2006-02-13 | 2008-10-29 | SNELL & WILCOX LIMITED | Method and apparatus for modifying a moving image sequence |
CN101489031A (zh) * | 2009-01-16 | 2009-07-22 | 西安电子科技大学 | 基于运动分类的自适应帧速率上转换方法 |
CN101877790A (zh) * | 2010-05-26 | 2010-11-03 | 广西大学 | 一种面向全景视频编码的快速全局运动估计方法 |
CN101902609A (zh) * | 2010-07-28 | 2010-12-01 | 西安交通大学 | 一种处理游飞字幕的运动补偿帧频提升方法 |
CN102930559A (zh) * | 2012-10-23 | 2013-02-13 | 华为技术有限公司 | 图像处理的方法及装置 |
CN104463910A (zh) * | 2014-12-08 | 2015-03-25 | 中国人民解放军国防科学技术大学 | 基于运动矢量的高速运动目标提取方法 |
CN108702512A (zh) * | 2017-10-31 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 运动估计方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10552962B2 (en) * | 2017-04-27 | 2020-02-04 | Intel Corporation | Fast motion based and color assisted segmentation of video into region layers |
-
2019
- 2019-09-11 CN CN201910860408.9A patent/CN110378930B/zh not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1376471A1 (en) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Motion estimation for stabilization of an image sequence |
EP1984893A2 (en) * | 2006-02-13 | 2008-10-29 | SNELL & WILCOX LIMITED | Method and apparatus for modifying a moving image sequence |
CN101216941A (zh) * | 2008-01-17 | 2008-07-09 | 上海交通大学 | 剧烈光照变化下基于角点匹配与光流法的运动估计方法 |
CN101489031A (zh) * | 2009-01-16 | 2009-07-22 | 西安电子科技大学 | 基于运动分类的自适应帧速率上转换方法 |
CN101877790A (zh) * | 2010-05-26 | 2010-11-03 | 广西大学 | 一种面向全景视频编码的快速全局运动估计方法 |
CN101902609A (zh) * | 2010-07-28 | 2010-12-01 | 西安交通大学 | 一种处理游飞字幕的运动补偿帧频提升方法 |
CN102930559A (zh) * | 2012-10-23 | 2013-02-13 | 华为技术有限公司 | 图像处理的方法及装置 |
CN104463910A (zh) * | 2014-12-08 | 2015-03-25 | 中国人民解放军国防科学技术大学 | 基于运动矢量的高速运动目标提取方法 |
CN108702512A (zh) * | 2017-10-31 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 运动估计方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110378930A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
US10943141B2 (en) | Object detection device and object detection method | |
CN107845113B (zh) | 目标元素定位方法、装置以及用户界面测试方法、装置 | |
CN112329702B (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
KR101436369B1 (ko) | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 | |
CN111382637B (zh) | 行人检测跟踪方法、装置、终端设备及介质 | |
CN110378930B (zh) | 运动目标提取方法、装置和电子设备及可读存储介质 | |
CN112101386A (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
CN114359665A (zh) | 全任务人脸识别模型的训练方法及装置、人脸识别方法 | |
CN111723634A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
CN110599514A (zh) | 图像分割的方法、装置、电子设备及存储介质 | |
CN108960247B (zh) | 图像显著性检测方法、装置以及电子设备 | |
CN115457466A (zh) | 一种基于巡检视频的隐患检测方法、系统及电子设备 | |
KR101296318B1 (ko) | 적응적 블록 분할에 의한 객체 추적 장치 및 방법 | |
CN109711287B (zh) | 人脸采集方法及相关产品 | |
CN108509876B (zh) | 针对视频的物体检测方法、装置、设备、存储介质及程序 | |
CN111539390A (zh) | 一种基于Yolov3的小目标图像识别方法、设备和系统 | |
CN104754248B (zh) | 一种获取目标快照的方法及装置 | |
CN112819859B (zh) | 一种应用于智慧安防的多目标跟踪方法及装置 | |
CN113569771B (zh) | 视频分析方法及装置、电子设备和存储介质 | |
CN107818287B (zh) | 一种客流统计装置及系统 | |
CN111292374B (zh) | 一种自动插拔usb接口的方法及设备 | |
CN110580706A (zh) | 一种视频背景模型的提取方法及装置 | |
CN115082758A (zh) | 目标检测模型的训练方法、目标检测方法、装置和介质 | |
CN111179343B (zh) | 目标检测方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210618 Address after: Room 503, building 3, Yijing building, Debang new village, 588 Deya Road, Sifangping street, Kaifu District, Changsha, Hunan 410000 Patentee after: HUNAN SUIFUYAN ELECTRONIC TECHNOLOGY Co.,Ltd. Address before: Room 903, building B, Yongtong Jiayuan, 303 Sany Avenue, Sifangping street, Kaifu District, Changsha, Hunan 410000 Patentee before: HUNAN DEYA KUNCHUANG TECHNOLOGY Co.,Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200131 |