CN108596957B - 物体跟踪方法及装置 - Google Patents
物体跟踪方法及装置 Download PDFInfo
- Publication number
- CN108596957B CN108596957B CN201810388297.1A CN201810388297A CN108596957B CN 108596957 B CN108596957 B CN 108596957B CN 201810388297 A CN201810388297 A CN 201810388297A CN 108596957 B CN108596957 B CN 108596957B
- Authority
- CN
- China
- Prior art keywords
- candidate
- candidate region
- target
- region
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于物体跟踪方法及装置。该方法包括：确定目标物体在第一帧图像中的目标位置；在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域；获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率；确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域。该技术方案可以降低确定候选区域是否包括特定物体的难度，从而降低了物体跟踪的难度，提高了物体跟踪的成功率。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及物体跟踪方法及装置。
背景技术
物体跟踪是指获取特定物体在视频流中的运动轨迹，近年来随着机器视觉技术的发展，物体跟踪在机器视觉技术领域扮演者重要角色。相关技术中，可以通过确定特定物体在视频流的相邻两帧图像中的不同位置，获取该特定物体在视频中的运动轨迹，达到跟踪该特定物体的目的。
发明内容
为克服相关技术中存在的问题，本公开的实施例提供一种物体跟踪方法及装置。技术方案如下：
根据本公开的实施例的第一方面，提供一种物体跟踪方法，包括：
确定目标物体在第一帧图像中的目标位置；
在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域；
获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率；
确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域。
本公开的实施例提供的技术方案中，通过在第一帧图像中确定目标物体，并获取目标物体在第一帧图像中的目标位置坐标，在与第一帧图像相邻的第二帧图像中选取多个候选区域，考虑到目标物体在相邻两帧的图像间的移动距离不会过多，因此在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域，确保所选取的候选区域中包括目标物体的几率较高，在所选取的候选区域中确定包括特定物体的难度较低，通过获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率，并确定多个候选区域中对应目标概率最大的候选区域为目标物体在第二帧图像中的位置区域，上述方案降低了确定候选区域是否包括特定物体的难度，从而降低了物体跟踪的难度，提高了物体跟踪的成功率。
在一个实施例中，多个候选区域中任一个候选区域的相邻距离与该候选区域的中心距离成反比，相邻距离为候选区域至多个候选区域中与其相距最近的候选区域的距离，中心距离为候选区域至目标位置的距离。
在一个实施例中，获取多个候选区域中每个候选区域对应的目标概率，包括：
获取多个候选区域中每个候选区域的特征向量；
通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率。
在一个实施例中，获取多个候选区域中每个候选区域的特征向量，包括：
对第二帧图像进行CNN卷积神经网络运算，获取第二帧图像的特征图；
通过将多个候选区域中的每个候选区域映射到特征图中，获取多个候选区域中的每个候选区域在特征图中对应的特征区域；
对多个候选区域中的每个候选区域在特征图中对应的特征区域进行最大池化操作，获取多个候选区域中每个候选区域的特征向量。
在一个实施例中，通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率，包括：
通过将每个候选区域的特征向量输入调整多层感知器MLP神经网络，获取每个候选区域对应的目标概率以及多个候选区域中每个候选区域的位置调整量；
确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域，包括：
根据每个候选区域的位置调整量，对多个候选区域中每个候选区域位置进行调整，获取位置调整后的多个候选区域；
确定位置调整后的多个候选区域中对应目标概率满足预设条件的候选区域为目标物体所在的区域。
根据本公开的实施例的第二方面，提供一种物体跟踪装置，包括：
第一目标位置确定模块，用于确定目标物体在第一帧图像中的目标位置；
候选区域选取模块，用于在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域；
目标概率获取模块，用于获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率；
目标位置区域确定模块，用于确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域。
在一个实施例中，多个候选区域中任一个候选区域的相邻距离与该候选区域的中心距离成反比，相邻距离为候选区域至多个候选区域中与其相距最近的候选区域的距离，中心距离为候选区域至目标位置的距离。
在一个实施例中，目标概率获取模块，包括：
特征向量获取子模块，用于获取多个候选区域中每个候选区域的特征向量；
目标概率获取子模块，用于通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率。
在一个实施例中，特征向量获取子模块，包括：
特征图获取单元，用于对第二帧图像进行CNN卷积神经网络运算，获取第二帧图像的特征图；
特征图映射单元，用于通过将多个候选区域中的每个候选区域映射到特征图中，获取多个候选区域中的每个候选区域在特征图中对应的特征区域；
特征向量获取单元，用于对多个候选区域中的每个候选区域在特征图中对应的特征区域进行最大池化操作，获取多个候选区域中每个候选区域的特征向量。
在一个实施例中，目标概率获取子模块，包括：
位置调整量获取单元，用于通过将每个候选区域的特征向量输入调整多层感知器MLP神经网络，获取每个候选区域对应的目标概率以及多个候选区域中每个候选区域的位置调整量；
目标位置区域确定模块，包括：
位置调整子模块，用于根据每个候选区域的位置调整量，对多个候选区域中每个候选区域位置进行调整，获取位置调整后的多个候选区域；
目标位置区域确定子模块，用于确定位置调整后的多个候选区域中对应目标概率满足预设条件的候选区域为目标物体所在的区域。
根据本公开的实施例的第三方面，提供一种图像检测装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为：
确定目标物体在第一帧图像中的目标位置；
在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域；
获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率；
确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域。
根据本公开的实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现本公开的实施例的第一方面种任一项方法的步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1a是根据一示例性实施例示出的物体跟踪方法的流程示意图1；
图1b是根据一示例性实施例示出的物体跟踪方法的流程示意图2；
图1c是根据一示例性实施例示出的物体跟踪方法的流程示意图3；
图2a是根据一示例性实施例示出的物体跟踪装置的结构示意图1；
图2b是根据一示例性实施例示出的物体跟踪装置的结构示意图2；
图2c是根据一示例性实施例示出的物体跟踪装置的结构示意图3；
图2d是根据一示例性实施例示出的物体跟踪装置的结构示意图4；
图3是根据一示例性实施例示出的一种装置的框图；
图4是根据一示例性实施例示出的一种装置的框图；
图5是根据一示例性实施例示出的一种装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中，当确定特定物体在视频流的任一帧图像中的位置时，一般是从图像中提取特定物体的特征信息，根据该特征信息确定图像中包括特定物体的候选区域，并将该候选区域的位置确定为特定物体在图像中的位置，例如可以通过确定特定物体在视频流的相邻两帧图像中的不同位置，获取该特定物体在视频中的运动轨迹，达到跟踪该特定物体的目的。但由于视频流中的图像信息是多种多样的，并且考虑到视频流中的图像常受到外在因素例如光照、形态条件变化等的影响，因此在视频流的任一帧图像中提取特定物体的特征信息的难度较大，导致确定候选区域是否包括特定物体的难度较高，从而提高了物体跟踪的难度，降低了物体跟踪的成功率。
为了解决上述问题，本公开的实施例提供的技术方案中，通过在第一帧图像中确定目标物体，并获取目标物体在第一帧图像中的目标位置坐标，在与第一帧图像相邻的第二帧图像中选取多个候选区域，考虑到目标物体在相邻两帧的图像间的移动距离不会过多，因此在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域，确保所选取的候选区域中包括目标物体的几率较高，在所选取的候选区域中确定包括特定物体的难度较低，通过获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率，并确定多个候选区域中对应目标概率最大的候选区域为目标物体在第二帧图像中的位置区域，上述方案降低了确定候选区域是否包括特定物体的难度，从而降低了物体跟踪的难度，提高了物体跟踪的成功率。
本公开的实施例提供了一种物体跟踪方法，如图1a所示，包括如下步骤101至步骤104：
在步骤101中，确定目标物体在第一帧图像中的目标位置。
示例的，第一帧图像可以为在待检测视频中选取的一帧图像。确定目标物体在第一帧图像中的目标位置，可以为通过对第一帧图像进行物体检测以确定目标物体，获取用于显示该目标物体的像素在第一帧图像中的坐标，并根据该坐标确定目标物体在第一帧图像中的目标位置，例如，当目标物体为行人时，可以对第一帧图像进行行人检测，以确定用于显示行人的像素在第一帧图像中的坐标，以根据所获取的坐标确定行人在第一帧图像中的目标位置。
在步骤102中，在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域。
示例性的，第二帧图像可以为待检测视频中在第一帧图像之后的下一帧图像，或第二帧图像可以为待检测视频中与第一帧图像距离若干帧之后的一帧图像。在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域，可以为以预设半径围绕目标位置随机选取多个候选区域。也可以为以多个不同的半径围绕目标位置随机选取多个候选区域。例如，多个候选区域中任一个候选区域的相邻距离与该候选区域的中心距离成反比，相邻距离为候选区域至多个候选区域中与其相距最近的候选区域的距离，中心距离为候选区域至目标位置的距离，使所选取的候选区域满足候选区域的相邻距离与该候选区域的中心距离成反比即可，确保距离目标位置越近，所选取的候选区域的密度越大，所选取的候选区域中包括目标物体的几率较高，在所选取的候选区域中确定包括特定物体的难度较低。
在步骤103中，获取多个候选区域中每个候选区域对应的目标概率。
其中，目标概率为候选区域包括目标物体的概率。
在步骤104中，确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域。
示例性的，目标概率满足预设条件的候选区域，可以为目标概率大于或等于预设概率阈值的候选区域，可以为多个候选区域中目标概率最大的候选区域。
本公开的实施例提供的技术方案中，通过在第一帧图像中确定目标物体，并获取目标物体在第一帧图像中的目标位置坐标，在与第一帧图像相邻的第二帧图像中选取多个候选区域，考虑到目标物体在相邻两帧的图像间的移动距离不会过多，因此在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域，确保所选取的候选区域中包括目标物体的几率较高，在所选取的候选区域中确定包括特定物体的难度较低，通过获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率，并确定多个候选区域中对应目标概率最大的候选区域为目标物体在第二帧图像中的位置区域，上述方案降低了确定候选区域是否包括特定物体的难度，从而降低了物体跟踪的难度，提高了物体跟踪的成功率。
在一个实施例中，如图1b所示，在步骤103中，获取多个候选区域中每个候选区域对应的目标概率，可以通过步骤1031至步骤1032实现：
在步骤1031中，获取多个候选区域中每个候选区域的特征向量。
在步骤1032中，通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率。
示例性的，获取所述多个候选区域中每个候选区域的特征向量，可以为对第二帧图像进行CNN卷积神经网络运算，获取第二帧图像的特征图，通过将多个候选区域中的每个候选区域映射到特征图中，获取多个候选区域中的每个候选区域在特征图中对应的特征区域，对多个候选区域中的每个候选区域在特征图中对应的特征区域进行最大池化操作，获取多个候选区域中每个候选区域的特征向量。例如，通过每一个候选区域r映射到特征图Fc中，得到每一个候选区域r在Fc中对应的区域rc，其中rc可以通过rc＝(xc,yc,wc,hc)＝(sc*x,sc*y,sc*w,sc*h)获取，sc为输入图像尺寸到其特征图尺寸的缩放系数。通过最大值池化操作，能将不同尺寸的特征区域映射到相同尺寸或长度，以确保输入后续的特征识别网络的特征区域为固定长度。需要说明的是，CNN卷积神经网络的层数、每一层的卷积核大小和数量可以根据实际的需要来调整，在算法速度和精度上做出权衡。例如，如果想提高算法的速度，可以减少卷积的层数和每一层卷积核的数量，相应的，算法会损失一定的精度。一般情况下，在进行CNN卷积神经网络的计算过程中，会有下采样的操作，所以最后得到的特征图会比输入图像缩小很多倍。
通过获取多个候选区域中每个候选区域的特征向量，并将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率，可以提高候选区域对应的目标概率的准确性。
在一个实施例中，如图1c所示，在步骤1032中，通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率，可以通过步骤10321实现：
在步骤10321中，通过将每个候选区域的特征向量输入调整多层感知器MLP神经网络，获取每个候选区域对应的目标概率以及多个候选区域中每个候选区域的位置调整量。
在步骤104中，确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域，可以通过步骤1041至步骤1042实现：
在步骤1041中，根据每个候选区域的位置调整量，对多个候选区域中每个候选区域位置进行调整，获取位置调整后的多个候选区域。
在步骤1042中，确定位置调整后的多个候选区域中对应目标概率满足预设条件的候选区域为目标物体所在的区域。
示例性的，可以将每个候选区域的特征向量fc输入调整多层感知器MLP神经网络，计算出该候选区域为跟踪目标的概率和该候选区域的坐标位置调整量Δr＝(Δx,Δy,Δw,Δh)。根据该候选区域的坐标位置调整量Δr，通过rnew＝r+Δr＝(x+Δx,y+Δy,w+Δw,h+Δh)对候选区域的坐标进行调整，并将所有候选区域中目标概率最大的候选区域最为最终的跟踪结果，即确定位置调整后的多个候选区域中目标概率最大的候选区域为目标物体所在的区域。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图2a是根据一个示例性实施例示出的一种物体跟踪装置20的框图，物体跟踪装置20可以为服务器或服务器的一部分，也可以为终端或终端的一部分，物体跟踪装置20可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图2a所示，该物体跟踪装置20包括：
第一目标位置确定模块201，用于确定目标物体在第一帧图像中的目标位置。
候选区域选取模块202，用于在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域。
目标概率获取模块203，用于获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率。
目标位置区域确定模块204，用于确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域。
在一个实施例中，多个候选区域中任一个候选区域的相邻距离与该候选区域的中心距离成反比，相邻距离为候选区域至多个候选区域中与其相距最近的候选区域的距离，中心距离为候选区域至目标位置的距离。
在一个实施例中，如图2b所示，目标概率获取模块203，包括：
特征向量获取子模块2031，用于获取多个候选区域中每个候选区域的特征向量。
目标概率获取子模块2032，用于通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率。
在一个实施例中，如图2c所示，特征向量获取子模块2031，包括：
特征图获取单元2131，用于对第二帧图像进行CNN卷积神经网络运算，获取第二帧图像的特征图。
特征图映射单元2132，用于通过将多个候选区域中的每个候选区域映射到特征图中，获取多个候选区域中的每个候选区域在特征图中对应的特征区域。
特征向量获取单元2133，用于对多个候选区域中的每个候选区域在特征图中对应的特征区域进行最大池化操作，获取多个候选区域中每个候选区域的特征向量。
在一个实施例中，如图2d所示，目标概率获取子模块2032，包括：
位置调整量获取单元2132，用于通过将每个候选区域的特征向量输入调整多层感知器MLP神经网络，获取每个候选区域对应的目标概率以及多个候选区域中每个候选区域的位置调整量；
目标位置区域确定模块204，包括：
位置调整子模块2041，用于根据每个候选区域的位置调整量，对多个候选区域中每个候选区域位置进行调整，获取位置调整后的多个候选区域；
目标位置区域确定子模块2042，用于确定位置调整后的多个候选区域中对应目标概率满足预设条件的候选区域为目标物体所在的区域。
本公开的实施例提供一种物体跟踪装置，该物体跟踪装置可以通过在第一帧图像中确定目标物体，并获取目标物体在第一帧图像中的目标位置坐标，在与第一帧图像相邻的第二帧图像中选取多个候选区域，考虑到目标物体在相邻两帧的图像间的移动距离不会过多，因此在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域，确保所选取的候选区域中包括目标物体的几率较高，在所选取的候选区域中确定包括特定物体的难度较低，通过获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率，并确定多个候选区域中对应目标概率最大的候选区域为目标物体在第二帧图像中的位置区域，上述方案降低了确定候选区域是否包括特定物体的难度，从而降低了物体跟踪的难度，提高了物体跟踪的成功率。
图3是根据一示例性实施例示出的一种物体跟踪装置30的框图，该物体跟踪装置30可以为服务器或服务器的一部分，也可以为终端或终端的一部分，物体跟踪装置30包括：
处理器301；
用于存储处理器301可执行指令的存储器302；
其中，处理器301被配置为：
确定目标物体在第一帧图像中的目标位置；
在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域；
获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率；
确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域。
在一个实施例中，上述处理器301还可以被配置为：
多个候选区域中任一个候选区域的相邻距离与该候选区域的中心距离成反比，相邻距离为候选区域至多个候选区域中与其相距最近的候选区域的距离，中心距离为候选区域至目标位置的距离。
在一个实施例中，上述处理器301还可以被配置为：
获取多个候选区域中每个候选区域对应的目标概率，包括：
获取多个候选区域中每个候选区域的特征向量；
通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率。
在一个实施例中，上述处理器301还可以被配置为：
获取多个候选区域中每个候选区域的特征向量，包括：
对第二帧图像进行CNN卷积神经网络运算，获取第二帧图像的特征图；
通过将多个候选区域中的每个候选区域映射到特征图中，获取多个候选区域中的每个候选区域在特征图中对应的特征区域；
对多个候选区域中的每个候选区域在特征图中对应的特征区域进行最大池化操作，获取多个候选区域中每个候选区域的特征向量。
在一个实施例中，上述处理器301还可以被配置为：
通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率，包括：
通过将每个候选区域的特征向量输入调整多层感知器MLP神经网络，获取每个候选区域对应的目标概率以及多个候选区域中每个候选区域的位置调整量；
确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域，包括：
根据每个候选区域的位置调整量，对多个候选区域中每个候选区域位置进行调整，获取位置调整后的多个候选区域；
确定位置调整后的多个候选区域中对应目标概率满足预设条件的候选区域为目标物体所在的区域。
本公开的实施例提供一种物体跟踪装置，该物体跟踪装置可以通过在第一帧图像中确定目标物体，并获取目标物体在第一帧图像中的目标位置坐标，在与第一帧图像相邻的第二帧图像中选取多个候选区域，考虑到目标物体在相邻两帧的图像间的移动距离不会过多，因此在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域，确保所选取的候选区域中包括目标物体的几率较高，在所选取的候选区域中确定包括特定物体的难度较低，通过获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率，并确定多个候选区域中对应目标概率最大的候选区域为目标物体在第二帧图像中的位置区域，上述方案降低了确定候选区域是否包括特定物体的难度，从而降低了物体跟踪的难度，提高了物体跟踪的成功率。
图4是根据一示例性实施例示出的一种用于跟踪物体的装置400的框图，该装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
装置400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置未存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件406为装置400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。
多媒体组件408包括在装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到装置400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置400的处理器执行时，使得装置400能够执行上述物体跟踪方法，所述方法包括：
确定目标物体在第一帧图像中的目标位置；
在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域；
获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率；
确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域。
在一个实施例中，多个候选区域中任一个候选区域的相邻距离与该候选区域的中心距离成反比，相邻距离为候选区域至多个候选区域中与其相距最近的候选区域的距离，中心距离为候选区域至目标位置的距离。
在一个实施例中，获取多个候选区域中每个候选区域对应的目标概率，包括：
获取多个候选区域中每个候选区域的特征向量；
通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率。
在一个实施例中，获取多个候选区域中每个候选区域的特征向量，包括：
对第二帧图像进行CNN卷积神经网络运算，获取第二帧图像的特征图；
通过将多个候选区域中的每个候选区域映射到特征图中，获取多个候选区域中的每个候选区域在特征图中对应的特征区域；
对多个候选区域中的每个候选区域在特征图中对应的特征区域进行最大池化操作，获取多个候选区域中每个候选区域的特征向量。
在一个实施例中，通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率，包括：
通过将每个候选区域的特征向量输入调整多层感知器MLP神经网络，获取每个候选区域对应的目标概率以及多个候选区域中每个候选区域的位置调整量；
确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域，包括：
根据每个候选区域的位置调整量，对多个候选区域中每个候选区域位置进行调整，获取位置调整后的多个候选区域；
确定位置调整后的多个候选区域中对应目标概率满足预设条件的候选区域为目标物体所在的区域。
图5是根据一示例性实施例示出的一种用于跟踪物体的装置500的框图。例如，装置500可以被提供为一服务器。装置500包括处理组件522，其进一步包括一个或多个处理器，以及由存储器532所代表的存储器资源，用于存储可由处理组件522的执行的指令，例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行上述方法。
装置500还可以包括一个电源组件526被配置为执行装置500的电源管理，一个有线或无线网络接口550被配置为将装置500连接到网络，和一个输入输出(I/O)接口558。装置500可以操作基于存储在存储器532的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置500的处理器执行时，使得装置500能够执行物体跟踪方法，所述方法包括：
确定目标物体在第一帧图像中的目标位置；
在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域；
获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率；
确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域。
在一个实施例中，多个候选区域中任一个候选区域的相邻距离与该候选区域的中心距离成反比，相邻距离为候选区域至多个候选区域中与其相距最近的候选区域的距离，中心距离为候选区域至目标位置的距离。
在一个实施例中，获取多个候选区域中每个候选区域对应的目标概率，包括：
获取多个候选区域中每个候选区域的特征向量；
通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率。
在一个实施例中，获取多个候选区域中每个候选区域的特征向量，包括：
对第二帧图像进行CNN卷积神经网络运算，获取第二帧图像的特征图；
通过将多个候选区域中的每个候选区域映射到特征图中，获取多个候选区域中的每个候选区域在特征图中对应的特征区域；
对多个候选区域中的每个候选区域在特征图中对应的特征区域进行最大池化操作，获取多个候选区域中每个候选区域的特征向量。
在一个实施例中，通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率，包括：
通过将每个候选区域的特征向量输入调整多层感知器MLP神经网络，获取每个候选区域对应的目标概率以及多个候选区域中每个候选区域的位置调整量；
确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域，包括：
根据每个候选区域的位置调整量，对多个候选区域中每个候选区域位置进行调整，获取位置调整后的多个候选区域；
确定位置调整后的多个候选区域中对应目标概率满足预设条件的候选区域为目标物体所在的区域。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (6)
1.一种物体跟踪方法，其特征在于，包括：
确定目标物体在第一帧图像中的目标位置；
在与所述第一帧图像相邻的第二帧图像中围绕所述目标位置选取多个候选区域；其中，多个候选区域中任一个候选区域的相邻距离与该候选区域的中心距离成正比，所述相邻距离为候选区域至多个候选区域中与其相距最近的候选区域的距离，所述中心距离为候选区域至目标位置的距离；
获取所述多个候选区域中每个候选区域对应的目标概率，所述目标概率为候选区域包括所述目标物体的概率，包括：获取所述多个候选区域中每个候选区域的特征向量；通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取所述每个候选区域对应的目标概率以及所述多个候选区域中每个候选区域的位置调整量；根据所述每个候选区域的位置调整量，对所述多个候选区域中每个候选区域位置进行调整，获取位置调整后的多个候选区域对应的目标概率；
确定位置调整后的多个候选区域中目标概率满足预设条件的候选区域为所述目标物体在所述第二帧图像中的位置区域。
2.根据权利要求1所述的物体跟踪方法，其特征在于，所述获取所述多个候选区域中每个候选区域的特征向量，包括：
对所述第二帧图像进行CNN卷积神经网络运算，获取所述第二帧图像的特征图；
通过将所述多个候选区域中的每个候选区域映射到所述特征图中，获取所述多个候选区域中的每个候选区域在所述特征图中对应的特征区域；
对所述多个候选区域中的每个候选区域在所述特征图中对应的特征区域进行最大池化操作，获取所述多个候选区域中每个候选区域的特征向量。
3.一种物体跟踪装置，其特征在于，包括：
第一目标位置确定模块，用于确定目标物体在第一帧图像中的目标位置；
候选区域选取模块，用于在与第一帧图像相邻的第二帧图像中围绕目标位置选取多个候选区域；其中，多个候选区域中任一个候选区域的相邻距离与该候选区域的中心距离成正比，所述相邻距离为候选区域至多个候选区域中与其相距最近的候选区域的距离，所述中心距离为候选区域至目标位置的距离；
目标概率获取模块，用于获取多个候选区域中每个候选区域对应的目标概率，目标概率为候选区域包括目标物体的概率；
目标位置区域确定模块，用于确定多个候选区域中目标概率满足预设条件的候选区域为目标物体在第二帧图像中的位置区域；
所述目标概率获取模块，包括：
特征向量获取子模块，用于获取多个候选区域中每个候选区域的特征向量；
目标概率获取子模块，用于通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取每个候选区域对应的目标概率；
所述目标概率获取子模块，包括：
位置调整量获取单元，用于通过将每个候选区域的特征向量输入调整多层感知器MLP神经网络，获取每个候选区域对应的目标概率以及多个候选区域中每个候选区域的位置调整量；
所述目标位置区域确定模块，包括：
位置调整子模块，用于根据所述每个候选区域的位置调整量，对所述多个候选区域中每个候选区域位置进行调整，获取位置调整后的多个候选区域；
目标位置区域确定子模块，用于确定所述位置调整后的多个候选区域中对应目标概率满足所述预设条件的候选区域为所述目标物体所在的区域。
4.根据权利要求3的物体跟踪装置，其特征在于，所述特征向量获取子模块，包括：
特征图获取单元，用于对第二帧图像进行CNN卷积神经网络运算，获取第二帧图像的特征图；
特征图映射单元，用于通过将多个候选区域中的每个候选区域映射到特征图中，获取多个候选区域中的每个候选区域在特征图中对应的特征区域；
特征向量获取单元，用于对多个候选区域中的每个候选区域在特征图中对应的特征区域进行最大池化操作，获取多个候选区域中每个候选区域的特征向量。
5.一种物体跟踪装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
确定目标物体在第一帧图像中的目标位置；
在与所述第一帧图像相邻的第二帧图像中围绕所述目标位置选取多个候选区域；其中，多个候选区域中任一个候选区域的相邻距离与该候选区域的中心距离成正比，所述相邻距离为候选区域至多个候选区域中与其相距最近的候选区域的距离，所述中心距离为候选区域至目标位置的距离；
获取所述多个候选区域中每个候选区域对应的目标概率，所述目标概率为候选区域包括所述目标物体的概率，包括：获取所述多个候选区域中每个候选区域的特征向量；通过将每个候选区域的特征向量输入目标多层感知器MLP神经网络，获取所述每个候选区域对应的目标概率以及所述多个候选区域中每个候选区域的位置调整量；根据所述每个候选区域的位置调整量，对所述多个候选区域中每个候选区域位置进行调整，获取位置调整后的多个候选区域对应的目标概率；
确定位置调整后的多个候选区域中目标概率满足预设条件的候选区域为所述目标物体在所述第二帧图像中的位置区域。
6.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-2任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810388297.1A CN108596957B (zh) | 2018-04-26 | 2018-04-26 | 物体跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810388297.1A CN108596957B (zh) | 2018-04-26 | 2018-04-26 | 物体跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108596957A CN108596957A (zh) | 2018-09-28 |
| CN108596957B true CN108596957B (zh) | 2022-07-22 |
Family
ID=63609808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810388297.1A Active CN108596957B (zh) | 2018-04-26 | 2018-04-26 | 物体跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108596957B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12154188B2 (en) * | 2018-09-20 | 2024-11-26 | Nvidia Corporation | Training neural networks for vehicle re-identification |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740557B (zh) * | 2019-01-10 | 2021-05-28 | 北京市商汤科技开发有限公司 | 对象检测方法及装置、电子设备和存储介质 |
| CN110472728B (zh) * | 2019-07-30 | 2023-05-23 | 腾讯科技（深圳）有限公司 | 目标信息确定方法、目标信息确定装置、介质及电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102749996A (zh) * | 2012-06-29 | 2012-10-24 | 华南理工大学 | 空中双手的控制方法及系统 |
| CN105654515A (zh) * | 2016-01-11 | 2016-06-08 | 上海应用技术学院 | 基于分片及多特征自适应融合的目标跟踪方法 |
| CN106384098A (zh) * | 2016-09-23 | 2017-02-08 | 北京小米移动软件有限公司 | 基于图像的头部姿态检测方法、装置以及终端 |
| CN106650630A (zh) * | 2016-11-11 | 2017-05-10 | 纳恩博（北京）科技有限公司 | 一种目标跟踪方法及电子设备 |
| CN106909885A (zh) * | 2017-01-19 | 2017-06-30 | 博康智能信息技术有限公司上海分公司 | 一种基于目标候选的目标跟踪方法及装置 |
| CN106920248A (zh) * | 2017-01-19 | 2017-07-04 | 博康智能信息技术有限公司上海分公司 | 一种目标跟踪方法及装置 |
| CN106920247A (zh) * | 2017-01-19 | 2017-07-04 | 博康智能信息技术有限公司上海分公司 | 一种基于比对网络的目标跟踪方法及装置 |
| CN107729880A (zh) * | 2017-11-15 | 2018-02-23 | 北京小米移动软件有限公司 | 人脸检测方法及装置 |
| CN107784279A (zh) * | 2017-10-18 | 2018-03-09 | 北京小米移动软件有限公司 | 目标跟踪方法及装置 |
| CN107871322A (zh) * | 2016-09-27 | 2018-04-03 | 北京眼神科技有限公司 | 虹膜图像分割方法和装置 |
| CN107886048A (zh) * | 2017-10-13 | 2018-04-06 | 西安天和防务技术股份有限公司 | 目标跟踪方法及系统、存储介质及电子终端 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413120B (zh) * | 2013-07-25 | 2016-07-20 | 华南农业大学 | 基于物体整体性和局部性识别的跟踪方法 |
| CN107368810A (zh) * | 2017-07-20 | 2017-11-21 | 北京小米移动软件有限公司 | 人脸检测方法及装置 |
| CN107832683A (zh) * | 2017-10-24 | 2018-03-23 | 亮风台（上海）信息科技有限公司 | 一种目标跟踪方法及系统 |
-
2018
- 2018-04-26 CN CN201810388297.1A patent/CN108596957B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102749996A (zh) * | 2012-06-29 | 2012-10-24 | 华南理工大学 | 空中双手的控制方法及系统 |
| CN105654515A (zh) * | 2016-01-11 | 2016-06-08 | 上海应用技术学院 | 基于分片及多特征自适应融合的目标跟踪方法 |
| CN106384098A (zh) * | 2016-09-23 | 2017-02-08 | 北京小米移动软件有限公司 | 基于图像的头部姿态检测方法、装置以及终端 |
| CN107871322A (zh) * | 2016-09-27 | 2018-04-03 | 北京眼神科技有限公司 | 虹膜图像分割方法和装置 |
| CN106650630A (zh) * | 2016-11-11 | 2017-05-10 | 纳恩博（北京）科技有限公司 | 一种目标跟踪方法及电子设备 |
| CN106909885A (zh) * | 2017-01-19 | 2017-06-30 | 博康智能信息技术有限公司上海分公司 | 一种基于目标候选的目标跟踪方法及装置 |
| CN106920248A (zh) * | 2017-01-19 | 2017-07-04 | 博康智能信息技术有限公司上海分公司 | 一种目标跟踪方法及装置 |
| CN106920247A (zh) * | 2017-01-19 | 2017-07-04 | 博康智能信息技术有限公司上海分公司 | 一种基于比对网络的目标跟踪方法及装置 |
| CN107886048A (zh) * | 2017-10-13 | 2018-04-06 | 西安天和防务技术股份有限公司 | 目标跟踪方法及系统、存储介质及电子终端 |
| CN107784279A (zh) * | 2017-10-18 | 2018-03-09 | 北京小米移动软件有限公司 | 目标跟踪方法及装置 |
| CN107729880A (zh) * | 2017-11-15 | 2018-02-23 | 北京小米移动软件有限公司 | 人脸检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于局部特征的红外目标跟踪技术研究;范静;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第3期);I138-4901 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12154188B2 (en) * | 2018-09-20 | 2024-11-26 | Nvidia Corporation | Training neural networks for vehicle re-identification |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108596957A (zh) | 2018-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651955B (zh) | 图片中目标物的定位方法及装置 | |
| US9674395B2 (en) | Methods and apparatuses for generating photograph | |
| US11061202B2 (en) | Methods and devices for adjusting lens position | |
| CN104156947B (zh) | 图像分割方法、装置及设备 | |
| CN107480665B (zh) | 文字检测方法、装置及计算机可读存储介质 | |
| CN108668080B (zh) | 提示镜头脏污程度的方法及装置、电子设备 | |
| CN106778773B (zh) | 图片中目标物的定位方法及装置 | |
| CN104918107B (zh) | 视频文件的标识处理方法及装置 | |
| CN107464253B (zh) | 眉毛定位方法及装置 | |
| CN107944367B (zh) | 人脸关键点检测方法及装置 | |
| CN105631803B (zh) | 滤镜处理的方法和装置 | |
| EP3057304A1 (en) | Method and apparatus for generating image filter | |
| CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
| CN108062547B (zh) | 文字检测方法及装置 | |
| CN108154466B (zh) | 图像处理方法及装置 | |
| CN108717542B (zh) | 识别文字区域的方法、装置及计算机可读存储介质 | |
| CN111461182B (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN107729880A (zh) | 人脸检测方法及装置 | |
| CN109034150B (zh) | 图像处理方法及装置 | |
| US20220222831A1 (en) | Method for processing images and electronic device therefor | |
| CN107403144B (zh) | 嘴巴定位方法及装置 | |
| CN108596957B (zh) | 物体跟踪方法及装置 | |
| US9665925B2 (en) | Method and terminal device for retargeting images | |
| CN106469446B (zh) | 深度图像的分割方法和分割装置 | |
| CN107239758B (zh) | 人脸关键点定位的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |