[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108848304B - 一种全景视频的目标跟踪方法、装置和全景相机 - Google Patents

一种全景视频的目标跟踪方法、装置和全景相机 Download PDF

Info

Publication number
CN108848304B
CN108848304B CN201810541553.6A CN201810541553A CN108848304B CN 108848304 B CN108848304 B CN 108848304B CN 201810541553 A CN201810541553 A CN 201810541553A CN 108848304 B CN108848304 B CN 108848304B
Authority
CN
China
Prior art keywords
tracking
tracking target
scale
target
tilt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810541553.6A
Other languages
English (en)
Other versions
CN108848304A (zh
Inventor
蔡锦霖
姜文杰
陈聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN201810541553.6A priority Critical patent/CN108848304B/zh
Publication of CN108848304A publication Critical patent/CN108848304A/zh
Priority to PCT/CN2019/087274 priority patent/WO2019228196A1/zh
Priority to JP2020565936A priority patent/JP7048764B6/ja
Priority to EP19810200.6A priority patent/EP3817360A4/en
Priority to US15/733,866 priority patent/US11509824B2/en
Application granted granted Critical
Publication of CN108848304B publication Critical patent/CN108848304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明适用于全景相机领域，提供了一种全景视频的目标跟踪方法、装置和全景相机。所述方法基于多尺度相关滤波器对全景视频的目标进行跟踪，并采用自动电子云台技术。本发明跟踪的鲁棒性更高，可以应对更多的跟踪场景，而且处理速度更快，且可以使跟踪目标始终处于画面中心。

Description

一种全景视频的目标跟踪方法、装置和全景相机
技术领域
本发明属于全景相机领域，尤其涉及一种全景视频的目标跟踪方法、装置和全景相机。
背景技术
目标跟踪是计算机视觉研究中的经典问题，是指计算机、摄像机等根据某种算法对目标进行跟踪和定位，并根据目标的位置和动向采取相应的策略。近些年来，目标跟踪被广泛应用于视频监控、视频编码以及军事工程等各种领域。现有技术的全景相机可以捕获到周围360°视频信息，也有一些技术方案能实现在全景视频中进行目标跟踪，例如申请公布号为CN107315992A公开的“一种基于电子云台的跟踪方法及装置”。然而，该方法是基于特征点的跟踪，无法对一些纹理区域色彩单一，特征点不丰富的场景进行跟踪。
发明内容
本发明的目的在于提供一种全景视频的目标跟踪方法、装置、计算机可读存储介质和全景相机，旨在解决现有技术的全景相机无法对一些纹理区域色彩单一，特征点不丰富的场景进行跟踪的问题。
第一方面，本发明提供了一种全景视频的目标跟踪方法，所述方法包括：
S201、初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
S202、在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
S203、将新的跟踪目标的位置映射回全景球面方位坐标；
S204、根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回S201，直至全景视频结束。
第二方面，本发明提供了一种全景视频的目标跟踪装置，所述装置包括：
第一映射模块，用于初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
跟踪模块，用于在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
第二映射模块，用于将新的跟踪目标的位置映射回全景球面方位坐标；
第三映射模块，用于根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回第一映射模块执行步骤，直至全景视频结束。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的全景视频的目标跟踪方法的步骤。
第四方面，本发明提供了一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如上述的全景视频的目标跟踪方法的步骤。
在本发明中，由于是基于多尺度相关滤波器对全景视频的目标进行跟踪，跟踪的鲁棒性更高，可以应对更多的跟踪场景，而且处理速度更快；另外，由于通过自动电子云台技术，因此可以使跟踪目标始终处于画面中心。
附图说明
图1是本发明实施例一提供的全景视频的目标跟踪方法的流程图。
图2是本发明实施例二提供的全景视频的目标跟踪装置的功能模块框图。
图3是本发明实施例四提供的全景相机的具体结构框图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的全景视频的目标跟踪方法包括以下步骤：需注意的是，若有实质上相同的结果，本发明的全景视频的目标跟踪方法并不以图1所示的流程顺序为限。
S201、初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像，即当前局部的透视视图；
S202、在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
S203、将新的跟踪目标的位置映射回全景球面方位坐标；
S204、根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回S201，直至全景视频结束。
在本发明实施例一中，得到新的视频帧之后，所述方法还可以包括以下步骤：
S205、用卡尔曼滤波器对视频帧的中心的坐标点进行平滑，使得输出的全景视频更平稳。
在本发明实施例一中，S201具体可以包括以下步骤：
S2011、初始化跟踪目标在球面坐标系的位置及尺度。
S2012、通过电子云台(ePTZ)旋转虚拟相机到跟踪目标所在视角，调整虚拟相机的焦距，得到初始的电子云台参数
Figure BDA0001679401490000041
初始的电子云台参数使虚拟相机中心对准初始化的跟踪目标的位置，其中，
Figure BDA0001679401490000042
用于控制虚拟相机上下倾斜，
Figure BDA0001679401490000043
用于控制虚拟相机左右移动，
Figure BDA0001679401490000044
用于控制虚拟相机缩放。
电子云台技术是指通过程序设置，在摄像机内部控制镜头的视角和变焦的技术。电子云台技术可以模拟PTZ相机，实现相机的左右移动、上下倾斜以及缩放。电子云台技术包括对跟踪位置的相机运动的平滑和预测。
S2013、根据初始的电子云台参数对全景图像进行重投影变换到当前电子云台视角图像。
在本发明实施例一中，S2013具体可以为：
由
Figure BDA0001679401490000045
对全景图像进行重投影变换到当前电子云台视角图像，其中，
Figure BDA0001679401490000046
是
Figure BDA0001679401490000047
映射到电子云台视角图像中的坐标位置，
Figure BDA0001679401490000048
是全景图像坐标转化为单位圆上三维坐标，
Figure BDA0001679401490000049
Kk是虚拟相机透视矩阵，Rk是世界坐标系到虚拟相机的坐标系，
Figure BDA00016794014900000410
Figure BDA00016794014900000411
θ＝||q||，
Figure BDA00016794014900000412
为世界坐标系归一化球面坐标，
Figure BDA00016794014900000413
为Pu,v在虚拟相机成像面坐标，
Figure BDA00016794014900000414
用于控制虚拟相机缩放，cx，cy为虚拟相机投影中心，u和v是全景图像的二维坐标，分别归一化到[0,2π],[0,π]，Pu,v代表这个二维坐标映射到三维坐标上的点，qx、qy和qz是q的三个分量；这里只是为了简化公式Rk，用
Figure BDA0001679401490000051
和
Figure BDA0001679401490000052
替代q，可以推导其公式。θ只是参数表示，此处，θ＝||q||，没有具体含义，用
Figure BDA0001679401490000053
替代Φ(q)中的q可以得到此处相机旋转量Rk计算推导方法。
S2014、在当前电子云台视角图像中，接收用户手动选择的跟踪目标的位置。
在本发明实施例一中，所述跟踪目标的位置具体可以是跟踪目标的矩形框
Figure BDA0001679401490000054
其中，
Figure BDA0001679401490000055
表示初始化的跟踪目标的矩形框中心，w0,h0分别表示跟踪目标的矩形框的宽和高，x0和y0是跟踪目标的矩形框的中心坐标；
S2015、根据在当前电子云台视角图像中的跟踪目标的位置计算跟踪目标在球面坐标系的位置及尺度。
在本发明实施例一中，S2015具体可以为：
由
Figure BDA0001679401490000056
计算跟踪目标在球面坐标系的位置及尺度
Figure BDA0001679401490000057
其中，
Figure BDA0001679401490000058
其中，s0是当前检测的跟踪目标的尺度，可以用跟踪目标的宽度表示，f0是虚拟相机的焦距，h0是矩形框的高，
Figure BDA0001679401490000059
用于控制虚拟相机上下倾斜，
Figure BDA00016794014900000510
用于控制虚拟相机左右移动，
Figure BDA00016794014900000511
用于控制虚拟相机缩放。
Figure BDA00016794014900000512
和
Figure BDA00016794014900000513
分别是初始计算的虚拟相机上下倾角和左右移动量。θk、
Figure BDA00016794014900000514
是计算的跟踪目标所在的球面坐标位置，
Figure BDA0001679401490000061
是卡尔曼滤波器平滑的视点坐标位置。θ0、
Figure BDA0001679401490000062
为初始位置，
Figure BDA0001679401490000063
即初始时虚拟相机以跟踪目标为中心。
在本发明实施例一中，S202具体可以包括以下步骤：
S2021、选取跟踪目标邻域范围内平移跟踪目标的矩形框得到预定数量训练样本来训练位置跟踪模型。
在本发明实施例一中，S2021具体包括以下步骤：
将位置跟踪模型的代价函数(代价函数是指用于衡量预测值和真实值之前的差异的函数)
Figure BDA0001679401490000064
转换到傅里叶域：
Figure BDA0001679401490000065
采用梯度下降法可以求解公式(4)的解为
Figure BDA0001679401490000066
其中，
Figure BDA0001679401490000067
分别表示k时刻跟踪目标第l个训练样本的Hog(Histogram ofOriented Gradient)特征和相应的傅里叶域的特征，gk、Gk分别表示高斯回归矩阵特征和相应的傅里叶域的特征，d表示样本的个数，
Figure BDA0001679401490000068
表示卷积，
Figure BDA0001679401490000069
分别表示k时刻的相关滤波系数和相应的傅里叶域的特征，λ(λ≥0)表示正则项系数，
Figure BDA00016794014900000610
表示Gk的复数共轭，
Figure BDA00016794014900000611
表示
Figure BDA00016794014900000612
的复数共轭。
S2022、根据位置跟踪模型的解
Figure BDA00016794014900000613
来迭代更新位置跟踪模型的参数。
在本发明实施例一中，S2022具体包括以下步骤：
根据位置跟踪模型的解
Figure BDA00016794014900000614
来更新位置跟踪模型的参数如下：
Figure BDA00016794014900000615
Figure BDA00016794014900000616
其中，
Figure BDA00016794014900000617
表示第0帧位置跟踪模型的参数，
Figure BDA00016794014900000619
表示k-1时刻的位置跟踪模型的参数，
Figure BDA00016794014900000618
Bk表示k时刻的位置跟踪模型的参数，η表示学习率，表示模型更新快慢，
S2023、根据当前电子云台输出位置和尺寸以及位置跟踪模型的参数预测跟踪目标的平移位置。
在本发明实施例一中，S2023具体包括以下步骤：
由k-1的跟踪目标的位置预测后一帧的电子云台参数，并由S2014计算跟踪目标在当前电子云台参数下的跟踪目标的平面位置
Figure BDA0001679401490000071
以及尺寸
Figure BDA0001679401490000072
Figure BDA0001679401490000073
其中，λ表示正则化参数(一般取值0.01)，Bk、
Figure BDA0001679401490000074
都表示跟踪模型在k时刻的模型参数(在S2022计算)，d表示样本数量，F-1表示逆傅里叶变换，
Figure BDA0001679401490000075
表示在k时刻电子云台输出位置和尺寸所确定的跟踪目标区域Hog特征的傅里叶变换，responsek表示K时刻跟踪目标的响应图，即该响应图中每个点的值等于样本与跟踪目标的相似度，找到响应图中像素值最大位置就是找到跟跟踪目标最相似的位置。即：跟踪目标的平移位置pk＝findMax(responsek)。
S2024、根据由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度sk。
在本发明实施例一中，S2024具体包括以下步骤：
通过公式
Figure BDA0001679401490000076
中
Figure BDA0001679401490000077
获得方式，即由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度sk。
尺度变化是指在保持跟踪目标的平移位置pk不变，跟踪目标的矩形框的宽和高都乘以一个系数，得到一个新的矩形区域，作为新的样本。尺度变化由下面公式给出：
Figure BDA0001679401490000078
其中，w是指跟踪目标的矩形框的宽，h指跟踪目标的矩形框的高，S表示尺度的个数，这里取33。a＝1.01表示尺度因子。在每个尺度上都可以计算出一个最大相似度，比较找到最大相似度的尺度作为当前跟踪目标的尺度sk。
S2025、根据由跟踪目标的平移位置pk和尺度sk，得到新的跟踪目标的矩形框。
新的跟踪目标的矩形框表示为
Figure BDA0001679401490000081
其中wk-1,hk-1表示第k-1帧的跟踪目标的矩形框的宽和高。
S2026、计算新的跟踪目标的矩形框rectk在球面坐标系的位置及尺度。
实施例二：
请参阅图2，本发明实施例二提供的全景视频的目标跟踪装置包括：
第一映射模块11，用于初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
跟踪模块12，用于在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
第二映射模块13，用于将新的跟踪目标的位置映射回全景球面方位坐标；
第三映射模块14，用于根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回第一映射模块执行步骤，直至全景视频结束。
本发明实施例二提供的全景视频的目标跟踪装置及本发明实施例一提供的全景视频的目标跟踪方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
本发明实施例三提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的全景视频的目标跟踪方法的步骤。
实施例四：
图3示出了本发明实施例四提供的全景相机的具体结构框图，一种全景相机100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的全景视频的目标跟踪方法的步骤。
在本发明中，由于是基于多尺度相关滤波器对全景视频的目标进行跟踪，跟踪的鲁棒性更高，可以应对更多的跟踪场景，而且处理速度更快；另外，由于通过自动电子云台技术，因此可以使跟踪目标始终处于画面中心。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种全景视频的目标跟踪方法，其特征在于，所述方法包括：
S201、初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
S202、在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
S203、将新的跟踪目标的位置映射回全景球面方位坐标；
S204、根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回S201，直至全景视频结束；
S201具体包括：
S2011、初始化跟踪目标在球面坐标系的位置及尺度；
S2012、通过电子云台旋转虚拟相机到跟踪目标所在视角，调整虚拟相机的焦距，得到初始的电子云台参数
Figure FDA0002516093210000011
初始的电子云台参数使虚拟相机中心对准初始化的跟踪目标的位置，其中，
Figure FDA0002516093210000012
用于控制虚拟相机上下倾斜，
Figure FDA0002516093210000013
用于控制虚拟相机左右移动，
Figure FDA0002516093210000014
用于控制虚拟相机缩放；
S2013、根据初始的电子云台参数对全景图像进行重投影变换到当前电子云台视角图像；
S2014、在当前电子云台视角图像中，接收用户手动选择的跟踪目标的位置；
S2015、根据在当前电子云台视角图像中的跟踪目标的位置计算跟踪目标在球面坐标系的位置及尺度；
S202具体包括：
S2021、选取跟踪目标邻域范围内平移跟踪目标的矩形框得到预定数量训练样本来训练位置跟踪模型；
S2022、根据位置跟踪模型的解来迭代更新位置跟踪模型的参数；
S2023、根据当前电子云台输出位置和尺寸以及位置跟踪模型的参数预测跟踪目标的平移位置；
S2024、根据由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度；
S2025、根据由跟踪目标的平移位置和尺度，得到新的跟踪目标的矩形框；
S2026、计算新的跟踪目标的矩形框在球面坐标系的位置及尺度。
2.如权利要求1所述的方法，其特征在于，所述得到新的视频帧之后，所述方法还包括以下步骤：
S205、用卡尔曼滤波器对视频帧的中心的坐标点进行平滑，使得输出的全景视频更平稳。
3.如权利要求1所述的方法，其特征在于，所述S2013具体为：
由
Figure FDA0002516093210000021
公式(1)对全景图像进行重投影变换到当前电子云台视角图像，其中，
Figure FDA0002516093210000022
是
Figure FDA0002516093210000023
映射到电子云台视角图像中的坐标位置，
Figure FDA0002516093210000024
是全景图像坐标转化为单位圆上三维坐标，
Figure FDA0002516093210000025
公式(2)，Kk是虚拟相机透视矩阵，Rk是世界坐标系到虚拟相机的坐标系，
Figure FDA0002516093210000026
Figure FDA0002516093210000027
θ＝||q||，
Figure FDA0002516093210000028
为世界坐标系归一化球面坐标，
Figure FDA0002516093210000029
为Pu,v在虚拟相机成像面坐标，
Figure FDA00025160932100000210
用于控制虚拟相机缩放，cx，cy为虚拟相机投影中心，u和v是全景图像的二维坐标，分别归一化到[0,2π],[0,π]，Pu,v代表这个二维坐标映射到三维坐标上的点，qx、qy和qz是q的三个分量；为了简化公式Rk，用
Figure FDA0002516093210000031
和
Figure FDA0002516093210000032
替代q，θ是参数表示，θ＝||q||，没有具体含义，用
Figure FDA0002516093210000033
替代Φ(q)中的q得到相机旋转量Rk计算推导方法；
所述跟踪目标的位置具体是跟踪目标的矩形框
Figure FDA0002516093210000034
其中，
Figure FDA0002516093210000035
表示初始化的跟踪目标的矩形框中心，w0,h0分别表示跟踪目标的矩形框的宽和高，x0和y0是跟踪目标的矩形框的中心坐标；
所述S2015具体为：
由
Figure FDA0002516093210000036
计算跟踪目标在球面坐标系的位置及尺度
Figure FDA0002516093210000037
其中，
Figure FDA0002516093210000038
其中，s0是当前检测的跟踪目标的尺度，用跟踪目标的宽度表示，f0是虚拟相机的焦距，h0是矩形框的高，
Figure FDA0002516093210000039
用于控制虚拟相机上下倾斜，
Figure FDA00025160932100000310
用于控制虚拟相机左右移动，
Figure FDA00025160932100000311
用于控制虚拟相机缩放，
Figure FDA00025160932100000312
和
Figure FDA00025160932100000313
分别是初始计算的虚拟相机上下倾角和左右移动量，θk、
Figure FDA00025160932100000314
是计算的跟踪目标所在的球面坐标位置，
Figure FDA00025160932100000315
是卡尔曼滤波器平滑的视点坐标位置，θ0、
Figure FDA00025160932100000316
为初始位置，
Figure FDA00025160932100000317
即初始时虚拟相机以跟踪目标为中心。
4.如权利要求3所述的方法，其特征在于，所述S2021具体包括：
将位置跟踪模型的代价函数
Figure FDA00025160932100000318
公式(3)转换到傅里叶域：
Figure FDA0002516093210000041
公式(4)采用梯度下降法求解公式(4)的解为
Figure FDA0002516093210000042
其中，
Figure FDA0002516093210000043
分别表示k时刻跟踪目标第l个训练样本的Hog特征和相应的傅里叶域的特征，gk、Gk分别表示高斯回归矩阵特征和相应的傅里叶域的特征，d表示样本的个数，
Figure FDA0002516093210000044
表示卷积，
Figure FDA0002516093210000045
分别表示k时刻的相关滤波系数和相应的傅里叶域的特征，λ(λ≥0)表示正则项系数，
Figure FDA0002516093210000046
表示Gk的复数共轭，
Figure FDA0002516093210000047
表示
Figure FDA0002516093210000048
的复数共轭。
5.如权利要求4所述的方法，其特征在于，所述S2022具体包括：
根据位置跟踪模型的解
Figure FDA0002516093210000049
来更新位置跟踪模型的参数如下：
Figure FDA00025160932100000410
Figure FDA00025160932100000411
其中，
Figure FDA00025160932100000412
表示第0帧位置跟踪模型的参数，
Figure FDA00025160932100000413
Bk-1表示k-1时刻的位置跟踪模型的参数，
Figure FDA00025160932100000414
Bk表示k时刻的位置跟踪模型的参数，η表示学习率，表示模型更新快慢。
6.如权利要求5所述的方法，其特征在于，所述S2023具体包括：
由k-1的跟踪目标的位置预测后一帧的电子云台参数，并由S1013计算跟踪目标在当前电子云台参数下的跟踪目标的平面位置
Figure FDA00025160932100000415
以及尺寸
Figure FDA00025160932100000416
Figure FDA00025160932100000417
公式(10)，其中，λ表示正则化参数，Bk、
Figure FDA00025160932100000418
都表示跟踪模型在k时刻的模型参数，d表示样本数量，F-1表示逆傅里叶变换，
Figure FDA00025160932100000419
表示在k时刻电子云台输出位置和尺寸所确定的跟踪目标区域Hog特征的傅里叶变换，responsek表示K时刻跟踪目标的响应图，即该响应图中每个点的值等于样本与跟踪目标的相似度，找到响应图中像素值最大位置就是找到跟跟踪目标最相似的位置，即：跟踪目标的平移位置pk＝findMax(responsek)。
7.如权利要求6所述的方法，其特征在于，所述S2024具体包括：
通过公式
Figure FDA0002516093210000051
中
Figure FDA0002516093210000052
获得方式，即由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度sk；
尺度变化是指在保持跟踪目标的平移位置pk不变，跟踪目标的矩形框的宽和高都乘以一个系数，得到一个新的矩形区域，作为新的样本；尺度变化由下面公式给出：
Figure FDA0002516093210000053
其中，w是指跟踪目标的矩形框的宽，h指跟踪目标的矩形框的高，S表示尺度的个数，a＝1.01表示尺度因子，在每个尺度上都可以计算出一个最大相似度，比较找到最大相似度的尺度作为当前跟踪目标的尺度sk。
8.一种全景视频的目标跟踪装置，其特征在于，所述装置包括：
第一映射模块，用于初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
跟踪模块，用于在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
第二映射模块，用于将新的跟踪目标的位置映射回全景球面方位坐标；
第三映射模块，用于根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回第一映射模块执行步骤，直至全景视频结束；
第一映射模块具体用于：
S2011、初始化跟踪目标在球面坐标系的位置及尺度；
S2012、通过电子云台旋转虚拟相机到跟踪目标所在视角，调整虚拟相机的焦距，得到初始的电子云台参数
Figure FDA0002516093210000061
初始的电子云台参数使虚拟相机中心对准初始化的跟踪目标的位置，其中，
Figure FDA0002516093210000062
用于控制虚拟相机上下倾斜，
Figure FDA0002516093210000063
用于控制虚拟相机左右移动，
Figure FDA0002516093210000064
用于控制虚拟相机缩放；
S2013、根据初始的电子云台参数对全景图像进行重投影变换到当前电子云台视角图像；
S2014、在当前电子云台视角图像中，接收用户手动选择的跟踪目标的位置；
S2015、根据在当前电子云台视角图像中的跟踪目标的位置计算跟踪目标在球面坐标系的位置及尺度；
跟踪模块具体用于：
S2021、选取跟踪目标邻域范围内平移跟踪目标的矩形框得到预定数量训练样本来训练位置跟踪模型；
S2022、根据位置跟踪模型的解来迭代更新位置跟踪模型的参数；
S2023、根据当前电子云台输出位置和尺寸以及位置跟踪模型的参数预测跟踪目标的平移位置；
S2024、根据由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度；
S2025、根据由跟踪目标的平移位置和尺度，得到新的跟踪目标的矩形框；
S2026、计算新的跟踪目标的矩形框在球面坐标系的位置及尺度。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的全景视频的目标跟踪方法的步骤。
10.一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的全景视频的目标跟踪方法的步骤。
CN201810541553.6A 2018-05-30 2018-05-30 一种全景视频的目标跟踪方法、装置和全景相机 Active CN108848304B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810541553.6A CN108848304B (zh) 2018-05-30 2018-05-30 一种全景视频的目标跟踪方法、装置和全景相机
PCT/CN2019/087274 WO2019228196A1 (zh) 2018-05-30 2019-05-16 一种全景视频的目标跟踪方法和全景相机
JP2020565936A JP7048764B6 (ja) 2018-05-30 2019-05-16 パノラマビデオのターゲット追跡方法及びパノラマカメラ
EP19810200.6A EP3817360A4 (en) 2018-05-30 2019-05-16 METHOD OF TRACKING A TARGET IN A PANORAMIC VIDEO AND PANORAMIC CAMERA
US15/733,866 US11509824B2 (en) 2018-05-30 2019-05-16 Method for tracking target in panoramic video, and panoramic camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810541553.6A CN108848304B (zh) 2018-05-30 2018-05-30 一种全景视频的目标跟踪方法、装置和全景相机

Publications (2)

Publication Number Publication Date
CN108848304A CN108848304A (zh) 2018-11-20
CN108848304B true CN108848304B (zh) 2020-08-11

Family

ID=64211035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810541553.6A Active CN108848304B (zh) 2018-05-30 2018-05-30 一种全景视频的目标跟踪方法、装置和全景相机

Country Status (5)

Country Link
US (1) US11509824B2 (zh)
EP (1) EP3817360A4 (zh)
JP (1) JP7048764B6 (zh)
CN (1) CN108848304B (zh)
WO (1) WO2019228196A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848304B (zh) * 2018-05-30 2020-08-11 影石创新科技股份有限公司 一种全景视频的目标跟踪方法、装置和全景相机
CN111325077B (zh) * 2018-12-17 2024-04-12 同方威视技术股份有限公司 一种图像显示方法、装置、设备及计算机存储介质
CN110197126A (zh) * 2019-05-06 2019-09-03 深圳岚锋创视网络科技有限公司 一种目标追踪方法、装置及便携式终端
CN112073748B (zh) * 2019-06-10 2022-03-18 北京字节跳动网络技术有限公司 全景视频的处理方法、装置及存储介质
CN110570448A (zh) * 2019-09-07 2019-12-13 深圳岚锋创视网络科技有限公司 一种全景视频的目标追踪方法、装置及便携式终端
CN111369684B (zh) * 2019-12-10 2023-09-01 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111091117B (zh) * 2019-12-31 2021-01-29 北京城市网邻信息技术有限公司 用于二维全景图像的目标检测方法、装置、设备、介质
CN111163267B (zh) * 2020-01-07 2021-12-21 影石创新科技股份有限公司 一种全景视频剪辑方法、装置、设备及存储介质
CN111182218A (zh) * 2020-01-07 2020-05-19 影石创新科技股份有限公司 全景视频处理方法、装置、设备及存储介质
CN111355887A (zh) * 2020-02-26 2020-06-30 深圳英飞拓科技股份有限公司 一种高速球型摄像机目标跟踪聚焦的优化方法
CN111612809B (zh) * 2020-05-28 2023-04-07 华侨大学 一种结合时空正则化约束的视觉跟踪定位方法
CN112468828B (zh) * 2020-11-25 2022-06-17 深圳大学 全景视频的码率分配方法、装置、移动终端及存储介质
CN115082516A (zh) * 2021-03-15 2022-09-20 北京字跳网络技术有限公司 一种目标跟踪方法、装置、设备及介质
JP2022175287A (ja) * 2021-05-13 2022-11-25 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US20230029566A1 (en) * 2021-07-27 2023-02-02 Electronics And Telecommunications Research Institute Method and system for detecting unmanned aerial vehicle using plurality of image sensors
CN113888586B (zh) * 2021-09-01 2024-10-29 河北汉光重工有限责任公司 一种基于相关滤波的目标跟踪方法及装置
CN113743380B (zh) * 2021-11-03 2022-02-15 江苏博子岛智能产业技术研究院有限公司 一种基于视频图像动态监测的主动跟踪方法
CN114119666B (zh) * 2021-11-26 2024-07-05 江苏科技大学 采用极坐标变换法的不规则边框目标跟踪系统及方法
CN116630412A (zh) * 2022-02-10 2023-08-22 腾讯科技（深圳）有限公司 位姿处理方法、装置、电子设备、存储介质及程序产品
CN114882078A (zh) * 2022-05-11 2022-08-09 合肥中科深谷科技发展有限公司 一种基于位置预测的视觉跟踪方法
CN114897938A (zh) * 2022-05-25 2022-08-12 南京邮电大学 一种改进余弦窗的相关滤波目标跟踪方法
CN116055898A (zh) * 2023-01-04 2023-05-02 深圳闪新软件技术服务有限公司 一种回收终端摄像头控制系统
CN116228817B (zh) * 2023-03-10 2023-10-03 东南大学 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法
CN117857691A (zh) * 2023-03-22 2024-04-09 常州工学院 一种自动跟随目标的手机云台系统
CN116596958B (zh) * 2023-07-18 2023-10-10 四川迪晟新达类脑智能技术有限公司 一种基于在线样本增广的目标跟踪方法及装置
CN118247495B (zh) * 2024-05-29 2024-08-13 湖北楚天高速数字科技有限公司 一种多摄像头拼接的高分辨率视频的目标识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025659A (zh) * 2017-04-11 2017-08-08 西安理工大学 基于单位球面坐标映射的全景目标跟踪方法
CN107093188A (zh) * 2017-04-12 2017-08-25 湖南源信光电科技股份有限公司 一种基于全景摄像机和高速球机的智能联动与跟踪方法
CN107315992A (zh) * 2017-05-05 2017-11-03 深圳电航空技术有限公司 一种基于电子云台的跟踪方法及装置
CN107452022A (zh) * 2017-07-20 2017-12-08 西安电子科技大学 一种视频目标跟踪方法
CN107507230A (zh) * 2017-08-31 2017-12-22 成都观界创宇科技有限公司 应用于全景图像的目标跟踪方法及全景相机
CN107862704A (zh) * 2017-11-06 2018-03-30 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332580B2 (ja) 1997-04-21 2009-09-16 ソニー株式会社 制御装置および制御方法、並びに監視システム
US8335345B2 (en) * 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
KR102084253B1 (ko) 2013-11-20 2020-03-03 한국전자통신연구원 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법
MY168810A (en) * 2014-05-05 2018-12-04 Mimos Berhad Method for providing multiple perspective views and multiple pan-tilt-zoom tracking using a single camera
CN104301669A (zh) 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN104751486B (zh) * 2015-03-20 2017-07-11 安徽大学 一种多ptz相机的运动目标接力跟踪算法
JP6787394B2 (ja) 2016-03-31 2020-11-18 ソニー株式会社 情報処理装置、情報処理方法、プログラム
CN106991704A (zh) 2017-03-24 2017-07-28 深圳市圆周率软件科技有限责任公司 一种全景相机的多场景标定方法及系统
CN108848304B (zh) * 2018-05-30 2020-08-11 影石创新科技股份有限公司 一种全景视频的目标跟踪方法、装置和全景相机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025659A (zh) * 2017-04-11 2017-08-08 西安理工大学 基于单位球面坐标映射的全景目标跟踪方法
CN107093188A (zh) * 2017-04-12 2017-08-25 湖南源信光电科技股份有限公司 一种基于全景摄像机和高速球机的智能联动与跟踪方法
CN107315992A (zh) * 2017-05-05 2017-11-03 深圳电航空技术有限公司 一种基于电子云台的跟踪方法及装置
CN107452022A (zh) * 2017-07-20 2017-12-08 西安电子科技大学 一种视频目标跟踪方法
CN107507230A (zh) * 2017-08-31 2017-12-22 成都观界创宇科技有限公司 应用于全景图像的目标跟踪方法及全景相机
CN107862704A (zh) * 2017-11-06 2018-03-30 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《视频监控领域基于自适应学习因子与积分通道特征的核相关目标跟踪算法》;张桃明;《计算机测量与控制》;20180331;全文 *

Also Published As

Publication number Publication date
WO2019228196A1 (zh) 2019-12-05
JP2021527865A (ja) 2021-10-14
US20210227132A1 (en) 2021-07-22
CN108848304A (zh) 2018-11-20
EP3817360A1 (en) 2021-05-05
US11509824B2 (en) 2022-11-22
JP7048764B6 (ja) 2022-05-16
EP3817360A4 (en) 2022-03-16
JP7048764B2 (ja) 2022-04-05

Similar Documents

Publication Publication Date Title
CN108848304B (zh) 一种全景视频的目标跟踪方法、装置和全景相机
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
US10972661B2 (en) Apparatus and methods for image alignment
US9830715B2 (en) Method for determining a parameter set designed for determining the pose of a camera and/or for determining a three-dimensional structure of the at least one real object
CN105678809A (zh) 手持式自动跟拍装置及其目标跟踪方法
CN104660900A (zh) 图像处理装置及图像处理方法
Aykin et al. On feature extraction and region matching for forward scan sonar imaging
CN102436639A (zh) 一种去除图像模糊的图像采集方法和图像采集系统
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
CN115294275A (zh) 三维模型的重建方法、装置及计算机可读存储介质
CN112288628B (zh) 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统
Cheng et al. Omnidirectional depth extension networks
CN105100546A (zh) 运动估计方法及装置
CN110111364B (zh) 运动检测方法、装置、电子设备及存储介质
CN111862278A (zh) 一种动画获得方法、装置、电子设备及存储介质
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN116797713A (zh) 一种三维重建方法和终端设备
Chen et al. A particle filtering framework for joint video tracking and pose estimation
CN113344941A (zh) 一种基于聚焦图像的深度估计方法及图像处理装置
CN110136185A (zh) 一种单目深度估计方法及系统
CN115880338B (zh) 标注方法、标注装置及计算机可读存储介质
CN116152167B (zh) 滑动检测方法、装置、介质、设备
Futagami et al. 3D Reconstruction Method Using A Pendulum RGB-D Camera
JP2006106930A (ja) パラメータ推定装置、パラメータ推定方法、及び、パラメータ推定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605

Applicant after: Yingshi Innovation Technology Co., Ltd

Address before: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605

Applicant before: SHENZHEN ARASHI VISION Co.,Ltd.

GR01 Patent grant
GR01 Patent grant