[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111698467A - 基于多摄像机的智能跟踪方法及系统 - Google Patents

基于多摄像机的智能跟踪方法及系统 Download PDF

Info

Publication number
CN111698467A
CN111698467A CN202010383225.5A CN202010383225A CN111698467A CN 111698467 A CN111698467 A CN 111698467A CN 202010383225 A CN202010383225 A CN 202010383225A CN 111698467 A CN111698467 A CN 111698467A
Authority
CN
China
Prior art keywords
camera
controlled
tracking target
calculating
main camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010383225.5A
Other languages
English (en)
Other versions
CN111698467B (zh
Inventor
张朋云
李会力
吴黎明
姚威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shineon Technology Co ltd
Original Assignee
Shineon Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shineon Technology Co ltd filed Critical Shineon Technology Co ltd
Priority to CN202010383225.5A priority Critical patent/CN111698467B/zh
Publication of CN111698467A publication Critical patent/CN111698467A/zh
Application granted granted Critical
Publication of CN111698467B publication Critical patent/CN111698467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多摄像机的智能跟踪方法,包括:受控摄像机从拍摄画面中选取跟踪目标;根据受控摄像机和主摄像机的图像点的对应关系,计算所述跟踪目标在主摄像机画面中的位置;根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算所述跟踪目标的近似空间位置;根据所述近似空间位置,通过最大似然估计算法计算所述跟踪目标的精确空间位置。通过上述方法,可以精确计算出跟踪目标的空间位置,实现快速、智能、自动控制摄像机参数。

Description

基于多摄像机的智能跟踪方法及系统
技术领域
本发明涉及目标跟踪技术领域,特别涉及一种基于多摄像机的智能跟踪方法及系统。
背景技术
在视频节目制作时,通常采用每路视频信号由一名摄像师直接控制摄像机来获取最佳视频画面,或者通过远程控制器,由导播人员手动远程进行摄像机控制。这种通过手动控制摄像机的各个参数,将摄像调整到最佳画面的方法,不仅延时性高,而且操作复杂,现场工作人员也处于高度紧张的状态。
目前,现有技术中也出现了摄像机智能跟踪控制技术,通常采用识别技术估计出跟踪目标的空间位置,但是计算精度不高,不能精确计算出跟踪目标的空间位置。
发明内容
本公开实施例提供了一种基于多摄像机的智能跟踪方法及系统。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
在一些可选地实施例中,一种基于多摄像机的智能跟踪方法,包括:
受控摄像机从拍摄画面中选取跟踪目标;
根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;
根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。
进一步地,通过最大似然估计算法计算跟踪目标的精确空间位置之后,还包括:
根据精确空间位置进行策略分析,确定受控摄像机的控制参数。
进一步地,确定受控摄像机的控制参数之后,还包括:
根据控制参数实时控制受控摄像机。
进一步地,确定受控摄像机和主摄像机的图像点的对应关系,包括:
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵;
计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵;
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系;
基于二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系。
进一步地,确定受控摄像机和主摄像机的图像点的对应关系之前,还包括:
获取主摄像机和每个受控摄像机之间的基准距离;
标定拍摄场地区域;
标定主摄像机和每个受控摄像机相对于拍摄场地中心点的空间坐标。
在一些可选地实施例中,一种基于多摄像机的智能跟踪系统,包括:
受控摄像机,用于从拍摄画面中选取跟踪目标;
图像映射模块,用于根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
预估模块,用于根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;
精确模块,用于根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。
进一步地,还包括:
策略处理模块,用于根据精确空间位置进行策略分析,确定受控摄像机的控制参数。
进一步地,还包括:
控制模块,用于根据控制参数实时控制受控摄像机。
进一步地,确定受控摄像机和主摄像机的图像点的对应关系,包括:
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵;
计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵;
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系;
基于二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系。
进一步地,还包括:
获取模块,用于在确定受控摄像机和主摄像机的图像点的对应关系之前,获取主摄像机和每个受控摄像机之间的基准距离;
标定模块,用于标定拍摄场地区域,标定主摄像机和每个受控摄像机相对于拍摄场地中心点的空间坐标。
本公开实施例提供的技术方案可以包括以下有益效果:
本发明提供了一种基于多摄像机的智能跟踪方法,受控摄像机从拍摄画面中选取跟踪目标;根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。通过上述方法,可以根据导播场景,跟踪目标,自动和准确的计算出跟踪物体的三维空间位置,进而设置摄像机的相关参数,最终获取最佳的拍摄画面,减少了人工参与,降低了操作延时,提高了节目导播的效率和效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于多摄像机的智能跟踪方法的流程示意图;
图2是根据一示例性实施例示出的一种基于多摄像机的智能跟踪方法的流程示意图;
图3是根据一示例性实施例示出的一种基于多摄像机的智能跟踪系统的结构示意图;
图4是根据一示例性实施例示出的一种基于多摄像机的智能跟踪系统的结构示意图;
图5是根据一示例性实施例示出的一种基于多摄像机的智能跟踪方法的流程示意图;
图6是根据一示例性实施例示出的一种跟踪处理方法的流程示意图;
图7是根据一示例性实施例示出的一种主摄像机处理方法的流程示意图;
图8是根据一示例性实施例示出的一种策略分析方法的流程示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。在以下的技术描述中,为方便解释起见,通过多个细节以提供对所披露实施例的充分理解。然而,在没有这些细节的情况下,一个或一个以上实施例仍然可以实施。在其它情况下,为简化附图,熟知的结构和装置可以简化展示。
目前,在视频节目制作时,通常采用每路视频信号由一名摄像师直接控制摄像机来获取最佳视频画面,或者通过远程控制器由导播人员手动远程进行摄像机控制,操作复杂,延时性高,现场工作人员高度紧张。本公开实施例提供了一种基于多摄像机的智能跟踪方法,根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,采用双目辅用技术和最大似然估计算法准确快速的计算出跟踪目标的精确空间位置。通过上述方法,可以根据导播场景,跟踪目标,自动和准确的计算出跟踪物体的三维空间位置,进而设置摄像机的相关参数,最终获取最佳的拍摄画面,减少了人工参与,降低了操作延时,提高了节目导播的效率和效果。
实施例一:
本公开实施例提供了一种基于多摄像机的智能跟踪方法,图1是根据一示例性实施例示出的一种基于多摄像机的智能跟踪方法的流程示意图;如图1所示,一种基于多摄像机的智能跟踪方法,包括:
S101受控摄像机从拍摄画面中选取跟踪目标;
其中,摄像机是把光学图像信号转变为电信号,以便于存储或者传输的电子设备。受控摄像机是节目录制拍摄过程中针对场地中心分布在不同物理空间的若干个分路摄像机。坐标在平面概念是用来表示某个点的绝对位置的量,受控摄像机对应的实际物理空间坐标是若干个分路摄像机相对于场地中心而产生的不同物理空间坐标点。
在本申请实施例中,首先需要在目标场地区域不同位置设置一台主摄像机和一路或者多路受控摄像机,其中主摄像机获取目标场地区域的全部画面,一台或者多台受控摄像机获取目标场地区域的部分画面。
可选地,受控摄像机为4路受控摄像机,受控摄像机从拍摄画面中选定跟踪目标。
S102根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
具体地,受控摄像机选定跟踪目标后,计算跟踪目标在主摄像机画面中的位置。可以根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置。
首先,获取主摄像机和每个受控摄像机之间的基准距离,标定拍摄场地区域,标定主摄像机和每个受控摄像机相对于拍摄场地中心点的空间坐标。然后根据标定的距离和坐标,确定受控摄像机和主摄像机的图像点的对应关系。
具体地,确定受控摄像机和主摄像机的图像点的对应关系,包括,根据在主摄像机处理模块标定的拍摄场地区域,计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵。
Figure BDA0002483001790000061
其中,x1,y1,x2,y2,x3,y3,x4,y4表示四个图像点坐标,X1,Y1,X2,Y2,X3,Y3,X4,Y4表示四个空间点坐标,h11,h12,h13,h21,h22,h23,h31,h32表示H矩阵的参数。
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵,其中,受控摄像机的仿射变换矩阵与主摄像机的仿射变换矩阵相同。
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系,基于二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系。具体地,受控摄像机选定跟踪目标后,可以根据如下公式确定跟踪目标在主摄像机中的位置信息。
Figure BDA0002483001790000062
其中,M表示空间点坐标,m1,m2表示空间点M在不同的摄像机的图像点坐标,H1是主摄像机三维到二维的映射矩阵,H2是其中一个受控摄像机三维到二维的映射矩阵。
S103根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;
进一步地,确定跟踪目标在主摄像机和在受控摄像机画面中的位置信息后,可以采用双目立体视觉原理近似计算出跟踪目标的空间位置,具体公式如下所示:
Figure BDA0002483001790000071
Figure BDA0002483001790000072
Figure BDA0002483001790000073
Figure BDA0002483001790000074
Figure BDA0002483001790000075
Figure BDA0002483001790000076
Figure BDA0002483001790000077
其中,f表示摄像机的焦距,B表示任意两个摄像机之间的基准距离,D表示同一个空间点在两个摄像机之间的视觉差,Xc,Yc,Zc表示跟踪目标的近似空间位置坐标,x1,y1,x2,y2,表示图像点坐标。
双目立体视觉是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法,本公开实施例通过获取跟踪目标在主摄像机和受控摄像机中的位置信息,采用双目立体视觉原理,计算出跟踪目标的三维空间位置,大大提高了计算的精度。
S104根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。
进一步地,获取到跟踪目标的近似空间位置后,可以采用如下公式,通过最大似然估计算法精确计算跟踪目标的空间位置。
x=H*X
Figure BDA0002483001790000078
其中,x表示跟踪目标的图像位置坐标,X表示跟踪目标的三维空间坐标,H表示三维空间点到二维图像点之间的转换矩阵,Xij表示跟踪物体的精确空间位置,
Figure BDA0002483001790000079
表示任意多目计算的跟踪物体的近似空间位置,n表示系统的摄像机数量,m表示图像上的跟踪目标数量。
通过引入双目立体视觉原理和最大似然估计算法,可以自动精确的计算出跟踪目标的空间位置,便于后续跟踪计算。
进一步地,通过最大似然估计算法计算跟踪目标的精确空间位置之后,还包括:根据精确空间位置进行策略分析,确定受控摄像机的控制参数。
在本申请实施例中,首先设置场景应用策略,策略处理模块根据选定的应用策略,以及实时计算的跟踪目标的精确空间位置,进行数据分析及校验计算,生成最佳的Zoom,Pan,Tilte等设备参数。
进一步地,确定受控摄像机的控制参数之后,还包括:根据控制参数实时控制受控摄像机。
具体地,摄像机控制模块将生成的摄像机设备参数,通过网络或串口等协议,实时的发送到摄像机,控制摄像机获取最佳拍摄画面。例如图4所示,主摄像机和受控摄像机对应的信号1、信号2和信号3将获取的目标跟踪图像上传至智能跟踪处理服务器,智能跟踪处理服务器接收到发送来的目标跟踪图像后,将目标跟踪图像输入预先保存的策略处理模块中进行数据计算,根据计算的数据结果生成最佳的Zoom,Pan,Tilte等设备参数,然后根据生成的最佳设备参数来控制摄像机。
基于上述公开实施例,根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,采用双目辅用技术和最大似然估计算法准确快速的计算出跟踪目标的精确空间位置。通过上述方法,可以根据导播场景,跟踪目标,自动和准确的计算出跟踪物体的三维空间位置,进而设置摄像机的相关参数,最终获取最佳的拍摄画面,减少了人工参与,降低了操作延时,提高了节目导播的效率和效果。
实施例二:
本公开实施例提供了一种基于多摄像机的智能跟踪方法,图2是根据一示例性实施例示出的一种基于多摄像机的智能跟踪方法的流程示意图;如图2所示,一种基于多摄像机的智能跟踪方法,包括:
S201获取主摄像机和每个受控摄像机之间的基准距离;
S202标定拍摄场地区域;
S203标定主摄像机和每个受控摄像机相对于所述拍摄场地中心点的空间坐标;
S204确定受控摄像机和主摄像机的图像点的对应关系,包括,根据在主摄像机处理模块标定的拍摄场地区域,计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵,计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵,根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系,基于二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系;
S205受控摄像机从拍摄画面中选取跟踪目标;
S206根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
S207根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;
S208根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置;
S209根据精确空间位置进行策略分析,确定受控摄像机的控制参数,包括,根据选定的应用策略,以及实时计算的跟踪目标的精确空间位置,进行数据分析及校验计算,生成相对于各个受控摄像机获取最佳画面的设备参数;
S210根据控制参数实时控制受控摄像机,通过网络或串口等协议,将控制参数实时的发送到摄像机,控制摄像机获取最佳拍摄画面。
基于上述公开实施例,根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,采用双目辅用技术和最大似然估计算法准确快速的计算出跟踪目标的精确空间位置。通过上述方法,可以根据导播场景,跟踪目标,自动和准确的计算出跟踪物体的三维空间位置,进而设置摄像机的相关参数,最终获取最佳的拍摄画面,减少了人工参与,降低了操作延时,提高了节目导播的效率和效果。
实施例三:
本公开实施例提供了一种基于多摄像机的智能跟踪系统,图3是根据一示例性实施例示出的一种基于多摄像机的智能跟踪系统的结构示意图;如图3所示,一种基于多摄像机的智能跟踪系统,包括:
S301受控摄像机,用于从拍摄画面中选取跟踪目标;
S302图像映射模块,用于根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
S303预估模块,用于根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;
S304精确模块,用于根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。
进一步地,还包括:
策略处理模块,用于根据精确空间位置进行策略分析,确定受控摄像机的控制参数。
进一步地,还包括:
控制模块,用于根据控制参数实时控制受控摄像机。
进一步地,确定受控摄像机和主摄像机的图像点的对应关系,包括:
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵;
计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵;
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系;
基于二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系。
进一步地,还包括:
获取模块,用于在确定受控摄像机和主摄像机的图像点的对应关系之前,获取主摄像机和每个受控摄像机之间的基准距离;
标定模块,用于标定拍摄场地区域,标定主摄像机和每个受控摄像机相对于拍摄场地中心点的空间坐标。
需要说明的是,上述实施例提供的基于多摄像机的智能跟踪系统,在执行多摄像机的智能跟踪方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于多摄像机的智能跟踪系统,与基于多摄像机的智能跟踪方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本公开实施例序号仅仅为了描述,不代表实施例的优劣。
在本公开实施例中,首先受控摄像机从拍摄画面中选取跟踪目标;根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。基于本公开实施例,可以根据导播场景,跟踪目标,自动和准确的计算出跟踪物体的三维空间位置,进而设置摄像机的相关参数,最终获取最佳的拍摄画面,减少了人工参与,降低了操作延时,提高了节目导播的效率和效果。
实施例四:
本公开实施例提供了一种基于多摄像机的智能跟踪系统,图4是根据一示例性实施例示出的一种基于多摄像机的智能跟踪系统的结构示意图;如图4所示,一种基于多摄像机的智能跟踪系统,包括:
智能跟踪处理服务器、主摄像机,以及受控摄像机,主摄像机负责场地的全景画面,受控摄像机负责场地的部分画面,主摄像机和受控摄像机将拍摄的视频信号传送到智能跟踪处理服务器。
该系统执行的基于多摄像机的智能跟踪方法如图5所示,在一些可选地实施例中,受控摄像机由三路摄像机组成,受控摄像机和主摄像机进行信号采集,并将采集的视频信号传送到图像跟踪模块,图6是根据一示例性实施例示出的一种跟踪处理方法的流程示意图,如图6所示,图像跟踪模块对采集的视频信号进行处理,选取特征点,并对特征点进行处理以及跟踪计算。图7是根据一示例性实施例示出的一种主摄像机处理方法的流程示意图,如图7所示,主摄像机进行信号采集,标定主摄像机相对于拍摄场地中心点的空间坐标,然后进行投影计算,根据主摄像机处理模块标定的拍摄场地区域,计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵。受控摄像机选取跟踪目标,标定受控摄像机相对于拍摄场地中心点的空间坐标,然后进行投影计算,根据受控摄像机处理模块标定的拍摄场地区域,计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵。
图像映射模块根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,确定受控摄像机和主摄像机的图像点的对应关系,根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
预估模块用于根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置,并将近似空间位置传送到精确模块,精确模块用于根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置,并将精确空间位置传送到策略处理模块。
策略处理模块用于根据精确空间位置进行策略分析,确定受控摄像机的控制参数,包括,根据选定的应用策略,以及实时计算的跟踪目标的精确空间位置,进行数据分析及校验计算,生成相对于各个受控摄像机获取最佳画面的设备参数,并将设备参数传送到控制模块。
图8是根据一示例性实施例示出的一种策略分析方法的流程示意图,如图8所示,主摄像机将跟踪目标的计算数据以及受控摄像机将跟踪目标的计算数据发送到策略分析模块,根据选定的应用策略进行策略分析,并将分析结果进行校验计算,得到摄像机的控制参数。
摄像机控制模块用于根据控制参数实时控制受控摄像机。
基于本公开实施例,能够帮助节目制作人员,实时的控制,调节摄像机参数,大幅提高了节目生成的效率。
本申请还提供一种计算机可读介质,其上存储有程序指令,该程序指令被处理器执行时实现上述各个方法实施例提供的基于多摄像机的智能跟踪方法。
本申请还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各个方法实施例所述的基于多摄像机的智能跟踪方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于多摄像机的智能跟踪方法,其特征在于,包括:
受控摄像机从拍摄画面中选取跟踪目标;
根据受控摄像机和主摄像机的图像点的对应关系,计算所述跟踪目标在主摄像机画面中的位置;
根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算所述跟踪目标的近似空间位置;
根据所述近似空间位置,通过最大似然估计算法计算所述跟踪目标的精确空间位置。
2.根据权利要求1所述的方法,其特征在于,所述通过最大似然估计算法计算所述跟踪目标的精确空间位置之后,还包括:
根据所述精确空间位置进行策略分析,确定受控摄像机的控制参数。
3.根据权利要求2所述的方法,其特征在于,所述确定受控摄像机的控制参数之后,还包括:
根据所述控制参数实时控制所述受控摄像机。
4.根据权利要求1所述的方法,其特征在于,确定受控摄像机和主摄像机的图像点的对应关系,包括:
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵;
计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵;
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系;
基于所述二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系。
5.根据权利要求4所述的方法,其特征在于,所述确定受控摄像机和主摄像机的图像点的对应关系之前,还包括:
获取主摄像机和每个受控摄像机之间的基准距离;
标定拍摄场地区域;
标定主摄像机和每个受控摄像机相对于所述拍摄场地中心点的空间坐标。
6.一种基于多摄像机的智能跟踪系统,其特征在于,包括:
受控摄像机,用于从拍摄画面中选取跟踪目标;
图像映射模块,用于根据受控摄像机和主摄像机的图像点的对应关系,计算所述跟踪目标在主摄像机画面中的位置;
预估模块,用于根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算所述跟踪目标的近似空间位置;
精确模块,用于根据所述近似空间位置,通过最大似然估计算法计算所述跟踪目标的精确空间位置。
7.根据权利要求6所述的系统,其特征在于,还包括:
策略处理模块,用于根据所述精确空间位置进行策略分析,确定受控摄像机的控制参数。
8.根据权利要求7所述的系统,其特征在于,还包括:
控制模块,用于根据所述控制参数实时控制所述受控摄像机。
9.根据权利要求6所述的系统,其特征在于,所述确定受控摄像机和主摄像机的图像点的对应关系,包括:
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵;
计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵;
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系;
基于所述二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系。
10.根据权利要求9所述的系统,其特征在于,还包括:
获取模块,用于在确定受控摄像机和主摄像机的图像点的对应关系之前,获取主摄像机和每个受控摄像机之间的基准距离;
标定模块,用于标定拍摄场地区域,标定主摄像机和每个受控摄像机相对于所述拍摄场地中心点的空间坐标。
CN202010383225.5A 2020-05-08 2020-05-08 基于多摄像机的智能跟踪方法及系统 Active CN111698467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010383225.5A CN111698467B (zh) 2020-05-08 2020-05-08 基于多摄像机的智能跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010383225.5A CN111698467B (zh) 2020-05-08 2020-05-08 基于多摄像机的智能跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN111698467A true CN111698467A (zh) 2020-09-22
CN111698467B CN111698467B (zh) 2022-05-06

Family

ID=72477375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010383225.5A Active CN111698467B (zh) 2020-05-08 2020-05-08 基于多摄像机的智能跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN111698467B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408518A (zh) * 2021-07-06 2021-09-17 世邦通信股份有限公司 音视频采集设备控制方法、装置、电子设备和存储介质
CN114299120A (zh) * 2021-12-31 2022-04-08 北京银河方圆科技有限公司 基于多摄像机模组的补偿方法、注册方法和可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080055413A1 (en) * 2006-09-01 2008-03-06 Canon Kabushiki Kaisha Automatic-tracking camera apparatus
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN102006461A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 摄像机联合跟踪检测系统
CN102307297A (zh) * 2011-09-14 2012-01-04 镇江江大科茂信息系统有限责任公司 一种多方位视频目标跟踪检测的智能监控系统
CN103024350A (zh) * 2012-11-13 2013-04-03 清华大学 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统
CN104121892A (zh) * 2014-07-09 2014-10-29 深圳市欢创科技有限公司 一种获取光枪射击的目标位置的方法、装置及系统
CN104197928A (zh) * 2014-08-29 2014-12-10 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN106251334A (zh) * 2016-07-18 2016-12-21 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
CN107507243A (zh) * 2016-06-14 2017-12-22 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
CN107529039A (zh) * 2017-09-01 2017-12-29 广东紫旭科技有限公司 一种物联网录播跟踪方法、装置和系统
CN108111818A (zh) * 2017-12-25 2018-06-01 北京航空航天大学 基于多摄像机协同的运动目标主动感知方法和装置
CN108419014A (zh) * 2018-03-20 2018-08-17 北京天睿空间科技股份有限公司 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
US20180316906A1 (en) * 2017-05-01 2018-11-01 Panasonic Intellectual Property Management Co., Ltd. Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
CN108765496A (zh) * 2018-05-24 2018-11-06 河海大学常州校区 一种多视点汽车环视辅助驾驶系统及方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080055413A1 (en) * 2006-09-01 2008-03-06 Canon Kabushiki Kaisha Automatic-tracking camera apparatus
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN102006461A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 摄像机联合跟踪检测系统
CN102307297A (zh) * 2011-09-14 2012-01-04 镇江江大科茂信息系统有限责任公司 一种多方位视频目标跟踪检测的智能监控系统
CN103024350A (zh) * 2012-11-13 2013-04-03 清华大学 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统
CN104121892A (zh) * 2014-07-09 2014-10-29 深圳市欢创科技有限公司 一种获取光枪射击的目标位置的方法、装置及系统
CN104197928A (zh) * 2014-08-29 2014-12-10 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN107507243A (zh) * 2016-06-14 2017-12-22 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
CN106251334A (zh) * 2016-07-18 2016-12-21 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
US20180316906A1 (en) * 2017-05-01 2018-11-01 Panasonic Intellectual Property Management Co., Ltd. Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
CN107529039A (zh) * 2017-09-01 2017-12-29 广东紫旭科技有限公司 一种物联网录播跟踪方法、装置和系统
CN108111818A (zh) * 2017-12-25 2018-06-01 北京航空航天大学 基于多摄像机协同的运动目标主动感知方法和装置
CN108419014A (zh) * 2018-03-20 2018-08-17 北京天睿空间科技股份有限公司 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
CN108765496A (zh) * 2018-05-24 2018-11-06 河海大学常州校区 一种多视点汽车环视辅助驾驶系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许慧芳: "智能视频监控系统中多摄像头协同跟踪算法", 《电视技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408518A (zh) * 2021-07-06 2021-09-17 世邦通信股份有限公司 音视频采集设备控制方法、装置、电子设备和存储介质
CN114299120A (zh) * 2021-12-31 2022-04-08 北京银河方圆科技有限公司 基于多摄像机模组的补偿方法、注册方法和可读存储介质
CN114299120B (zh) * 2021-12-31 2023-08-04 北京银河方圆科技有限公司 补偿方法、注册方法和可读存储介质

Also Published As

Publication number Publication date
CN111698467B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
JP7059355B2 (ja) シーンの表現を生成するための装置及び方法
CN111899282B (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN102148965B (zh) 多目标跟踪特写拍摄视频监控系统
CN107038724A (zh) 全景鱼眼相机影像校正、合成与景深重建方法与系统
CN112288826B (zh) 双目相机的标定方法、装置及终端
US20110149031A1 (en) Stereoscopic image, multi-view image, and depth image acquisition apparatus and control method thereof
US20210377432A1 (en) Information processing apparatus, information processing method, program, and interchangeable lens
CN106170086B (zh) 绘制三维图像的方法及其装置、系统
CN111698467B (zh) 基于多摄像机的智能跟踪方法及系统
KR20130121290A (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
CN110807803A (zh) 一种摄像机定位方法、装置、设备及存储介质
KR20190063671A (ko) 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치
KR20210087511A (ko) 광각 이미지로부터의 디스패리티 추정
CN111627048B (zh) 多摄像机的协同目标搜索方法
JPH1153548A (ja) 画像処理装置、画像処理方法、および、伝送媒体
CN110068308B (zh) 一种基于多目相机的测距方法及测距系统
CN111131697B (zh) 一种多摄像机智能跟踪拍摄方法、系统、设备及存储介质
US20150271472A1 (en) System and method for stereoscopic photography
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
KR101051355B1 (ko) 3차원 공간 데이터를 이용한 카메라 영상의 3차원 좌표 획득방법 및 이를 이용한 카메라 연동 제어방법
US20200211211A1 (en) Simultaneous localization and mapping (slam) devices with scale determination and methods of operating the same
CN113487677A (zh) 一种基于任意分布式配置的多ptz相机的室外中远距场景标定方法
CN113489964B (zh) 一种基于三目视觉的场景深度信息获取系统
KR20140107973A (ko) 스테레오 영상 획득 및 시청 연동 시스템
JP2012244583A (ja) 撮像装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant