CN103986905B - 一种三维环境下基于线路特征的视频空间实时漫游方法 - Google Patents

Abstract

本发明涉及一种三维环境下基于线路特征的视频空间实时漫游方法，通过设定的漫游路径，快速搜索漫游位置指定范围内的视频，对视频图像进行拼接或不拼接处理并在三维环境下实时播放，实现在三维环境下视频的空间实时漫游。本发明可应用于公安刑侦、安保、交通等各行业，主要应用在三维视频监控、以及基于视频的大型活动安保、案事件侦破、交通监控等领域，应用领域非常广泛，市场前景非常乐观。侦、安保、交通等各行业，主要应用在三维视频监控、以及基于视频的大型活动安保、案事件侦破、交通监控等领域，应用领域非常广泛，市场前景非常乐观。

Description

一种三维环境下基于线路特征的视频空间实时漫游方法

技术领域

本发明涉及一种三维环境下基于线路特征的视频空间实时漫游方法，属于智能视频监控领域。

背景技术

视频和图像是对现实世界客观、形象的描述，对人类而言，是最直观而具体的信息表达形式，是一种重要的信息载体。视频图像在信息表达中起着非常重要的作用，随着信息技术的发展，有关视频图像的研究和应用也迅速发展起来。但在各种应用中，还存在诸多问题。

例如，在视频监控应用中，传统分镜头监控模式具有画面相互孤立、缺乏关联性的应用局限，难以直观获取监控区域的整体安全态势。视频拼接技术实现将多路视频画面拼接为一个视频画面，扩大了视野宽度，方便监控人员观察。而在实际的视频监控应用中，除了固定的监控区域，监控人员常常还需要关注的是随着目标移动的线路特征区域。视频图像拼接技术虽然可以合成宽视角图像或全景图像，得到视野更宽阔的图像和视频，但是若对大场景内所有目标视频进行处理必然造成拼接效率低下。

又例如，在公安刑侦案件侦破应用中，为了分析犯罪现场和查找犯罪线索，公安局刑侦部门通常会调取在案发地点附近的多个摄像头相关时段的视频进行甄别和分析，需要众多的刑侦人员对不同的视频记录前后反复对比观看，获取有价值的视频信息和犯罪线索。然而，这种完全靠人工查找、播放、比对视频内容的方式非常耗时耗力，如何自动搜索案发地点周边摄像头并智能拼接播放，避免多个视频重复对比观看是急需解决的技术问题。

发明内容

为了解决现有技术的不足，本发明提供了一种三维环境下基于线路特征的视频空间实时漫游方法，能够根据设定的漫游路径，快速搜索漫游位置指定范围内的视频，对视频图像进行拼接或不拼接处理并在三维环境下实时播放，实现在三维环境下视频的空间实时漫游。

本发明为解决其技术问题所采用的技术方案是：

本发明提供了一种三维环境下基于线路特征的视频空间实时漫游方法，具体包括以下步骤：

(1)设置漫游路径，采用三维直角坐标系，用一组三维数组表示漫游路径上各点的三维坐标，获取各摄像头三维坐标、摄像头的水平视角和摄像头的垂直视角，设置初始视频时刻T_x；

(2)设置漫游速度V，则三维空间坐标系中3个坐标轴方向的速度分别为V_x，V_y和V_z，开始视频漫游过程，实时记录已经过的漫游时间T_a；

(3)根据以下公式计算经过T_a漫游时间后获取视频的时间T_y：

T_y＝T_x+T_a………………………………(1)

(4)设置漫游初始点S₀(X₀，Y₀，Z₀)，并设置漫游速度V(Vx，Vy，Vz)，通过速度公式计算Ty时刻漫游到位置S(X，Y，Z)：

(5)搜索以当前漫游位置为球心、以预设值R为半径的球体范围内的所有摄像头；假定摄像头视域为一个四棱锥体，利用直线与面的交点计算公式，以各摄像头的三维坐标、水平视角和垂直视角作为输入，计算各摄像头视域四棱锥体与地面的4个交点坐标；每个摄像头视域的四个点坐标组成地理多边形，即每个摄像头视域在地平面上的可见区；

(6)分别判断各摄像头的可见区是否覆盖当前漫游位置，若是，则该摄像头为当前漫游位置的可见摄像头，可见摄像头数量累加1；否则，丢弃该摄像头；

(7)判断可见摄像头数量：若可见摄像头数量为1，进入步骤(8)；若当前位置的可见摄像头数量为2个以上，进入步骤(9)进行视频帧图像拼接；

(8)获取T_y时刻该可见摄像头的视频帧图像；为该摄像头视域可见区多边形建立三维网络模型，计算三维网络模型中的点对应在二维视频帧图像的坐标位置，为三维网格模型附加纹理坐标，进入步骤(10)；

(9)获取T_y时刻各可见摄像头的视频帧图像，将各可见摄像头的可见区进行求交计算，得到重叠区和非重叠区，分别将各重叠区和非重叠区进行三角化，建立各自的三维网络模型；

(9a)对于非重叠区，为每个非重叠区的三维网络模型添加纹理坐标；

(9b)对于重叠区，针对每个重叠区，确定覆盖该重叠区的各视频帧图像所对应的可见摄像头的数目n，并为该重叠区的三维网络模型分别添加纹理坐标，得到n重纹理坐标；确定该重叠区的重心，并利用点到面的距离公式计算重心到各摄像头视域在地平面上的可见区的距离，为重叠区对应的各摄像头赋权值；

(10)对于每个非重叠区，将三维网格纹理坐标提交绘制引擎进行视频帧图像三维显示；对于每个重叠区，将各重叠区的每一组摄像头的权值赋给对应的重叠区纹理透明度值，进行颜色混合，再进行绘制显示；

(11)重复步骤(2)到步骤(10)，以连续显示三维图像，直到漫游路径结束。

第(4)步所述的速度公式为：

X＝X₀+V_x×T_a……………………………………(2)

Y＝Y₀+V_y×T_a………………………………………(3)

Z＝Z₀+V_Z×T_a………………………………………(4)

第(9b)步中，具体通过以下公式为一个重叠区的各可见摄像头赋予权值：

W_i＝(1/S_i)/∑(1/S_i)………………………………(5)

其中，W_i为该重叠区内摄像头i的权值，S_i为该重叠区的重心到摄像头i视域在地平面上的可见区的距离，i∈(1,2...n)。

第(9b)步中，所述的重叠区的中心的横纵利用以下方法确定：中心点的横坐标为重叠区内所有点的横坐标的平均值，中心点的纵坐标为重叠区内所有点的纵坐标的平均值。

本发明基于其技术方案所具有的有益效果在于：

(1)本发明将动态视频图像在三维环境下显示，使监控视频具有了空间位置感，实现了三维场景与动态视频的融合；

(2)本发明能够将多个摄像头拍摄到的图像拼接，并经过三维建模形成一个完整的视频图像，扩大了视野宽度，方便监控人员观察；

(3)本发明在实时漫游的过程中进行视频图像拼接，避免对整个大范围场景进行视频拼接，解决了大范围场景视频拼接效率较低的问题；

(4)本发明提供了路径和时间的设置接口，操作简单，提供了高效的监控方案；

(5)本发明利用反距离加权法计算重叠区内各摄像头的权值，再利用该权值进行颜色混合以绘制三维图像，所得的图像精确可靠；

(6)本发明可应用于公安刑侦、安保、交通等各行业，主要应用在三维视频监控、以及基于视频的大型活动安保、案事件侦破、交通监控等领域，应用领域非常广泛，市场前景非常乐观。

具体实施方式

下面结合实施例对本发明作进一步说明。

本发明提供了一种三维环境下基于线路特征的视频空间实时漫游方法，具体包括以下步骤：

(1)设置漫游路径，采用三维直角坐标系，用一组三维数组表示漫游路径上各点的三维坐标，获取各摄像头三维坐标、摄像头的水平视角和摄像头的垂直视角，设置初始视频时刻T_x；

(2)设置漫游速度V，则三维空间坐标系中3个坐标轴方向的速度分别为V_x，V_y和V_z，开始视频漫游过程，实时记录已经过的漫游时间T_a；

(3)根据以下公式计算经过T_a漫游时间后获取视频的时间T_y：

T_y＝T_x+T_a………………………………(1)

(4)设置漫游初始点S₀(X₀，Y₀，Z₀)，并设置漫游速度V(Vx，Vy，Vz)，通过速度公式计算Ty时刻漫游到位置S(X，Y，Z)：

(5)搜索以当前漫游位置为球心、以预设值R为半径的球体范围内的所有摄像头；假定摄像头视域为一个四棱锥体，利用直线与面的交点计算公式，以各摄像头的三维坐标、水平视角和垂直视角作为输入，计算各摄像头视域四棱锥体与地面的4个交点坐标；每个摄像头视域的四个点坐标组成地理多边形，即每个摄像头视域在地平面上的可见区；

(6)分别判断各摄像头的可见区是否覆盖当前漫游位置，若是，则该摄像头为当前漫游位置的可见摄像头，可见摄像头数量累加1；否则，丢弃该摄像头；

(7)判断可见摄像头数量：若可见摄像头数量为1，进入步骤(8)；若当前位置的可见摄像头数量为2个以上，进入步骤(9)进行视频帧图像拼接；

(8)获取T_y时刻该可见摄像头的视频帧图像；为该摄像头视域可见区多边形建立三维网络模型，计算三维网络模型中的点对应在二维视频帧图像的坐标位置，为三维网格模型附加纹理坐标，进入步骤(10)；

(9)获取T_y时刻各可见摄像头的视频帧图像，将各可见摄像头的可见区进行求交计算，所述的求交计算为多边形求交计算方法，得到重叠区和非重叠区，分别将各重叠区和非重叠区进行三角化，建立各自的三维网络模型；

(9a)对于非重叠区，为每个非重叠区的三维网络模型添加纹理坐标；

(9b)对于重叠区，针对每个重叠区，确定覆盖该重叠区的各视频帧图像所对应的可见摄像头的数目n，并为该重叠区的三维网络模型分别添加纹理坐标，得到n重纹理坐标；确定该重叠区的重心，并利用点到面的距离公式计算重心到各摄像头视域在地平面上的可见区的距离，为重叠区对应的各摄像头赋权值；

(10)对于每个非重叠区，将三维网格纹理坐标提交绘制引擎进行视频帧图像三维显示；对于每个重叠区，将各重叠区的每一组摄像头的权值赋给对应的重叠区纹理透明度值，进行颜色混合，再进行绘制显示；

(11)重复步骤(2)到步骤(10)，以连续显示三维图像，直到漫游路径结束。

第(4)步所述的速度公式为：

X＝X₀+V_x×T_a………………………………………(2)

Y＝Y₀+V_y×T_a………………………………………(3)

Z＝Z₀+V_Z×T_a………………………………………(4)

第(9b)步中，具体通过以下公式为一个重叠区的各可见摄像头赋予权值：

W_i＝(1/S_i)/∑(1/S_i)………………………………(5)

其中，W_i为该重叠区内摄像头i的权值，S_i为该重叠区的重心到摄像头i视域在地平面上的可见区的距离，i∈(1,2...n)。

所述的重叠区的中心的横纵利用以下方法确定：中心点的横坐标为重叠区内所有点的横坐标的平均值，中心点的纵坐标为重叠区内所有点的纵坐标的平均值。

Claims (4)

1.一种三维环境下基于线路特征的视频空间实时漫游方法，其特征在于具体包括以下步骤：

(1)设置漫游路径，采用三维直角坐标系，用一组三维数组表示漫游路径上各点的三维坐标，获取各摄像头三维坐标、摄像头的水平视角和摄像头的垂直视角，设置初始视频时刻T_x；

(2)设置漫游速度V，则三维空间坐标系中3个坐标轴方向的速度分别为V_x，V_y和V_z，开始视频漫游过程，实时记录已经过的漫游时间T_a；

(3)根据以下公式计算经过T_a漫游时间后获取视频的时间T_y：

T_y＝T_x+T_a………………………………(1)

(4)设置漫游初始点S₀(X₀，Y₀，Z₀)，并设置漫游速度V(Vx，Vy，Vz)，通过速度公式计算Ty时刻漫游到位置S(X，Y，Z)：

(5)搜索以当前漫游位置为球心、以预设值R为半径的球体范围内的所有摄像头；假定摄像头视域为一个四棱锥体，利用直线与面的交点计算公式，以各摄像头的三维坐标、水平视角和垂直视角作为输入，计算各摄像头视域四棱锥体与地面的4个交点坐标；每个摄像头视域的四个点坐标组成地理多边形，即每个摄像头视域在地平面上的可见区；

(6)分别判断各摄像头的可见区是否覆盖当前漫游位置，若是，则该摄像头为当前漫游位置的可见摄像头，可见摄像头数量累加1；否则，丢弃该摄像头；

(7)判断可见摄像头数量：若可见摄像头数量为1，进入步骤(8)；若当前位置的可见摄像头数量为2个以上，进入步骤(9)进行视频帧图像拼接；

(8)获取T_y时刻该可见摄像头的视频帧图像；为该摄像头视域可见区多边形建立三维网络模型，计算三维网络模型中的点对应在二维视频帧图像的坐标位置，为三维网格模型附加纹理坐标，进入步骤(10)；

(9)获取T_y时刻各可见摄像头的视频帧图像，将各可见摄像头的可见区进行求交计算，得到重叠区和非重叠区，分别将各重叠区和非重叠区进行三角化，建立各自的三维网络模型；

(9a)对于非重叠区，为每个非重叠区的三维网络模型添加纹理坐标；

(9b)对于重叠区，针对每个重叠区，确定覆盖该重叠区的各视频帧图像所对应的可见摄像头的数目n，并为该重叠区的三维网络模型分别添加纹理坐标，得到n重纹理坐标；确定该重叠区的重心，并利用点到面的距离公式计算重心到各摄像头视域在地平面上的可见区的距离，为重叠区对应的各摄像头赋权值；

(10)对于每个非重叠区，将三维网格纹理坐标提交绘制引擎进行视频帧图像三维显示；对于每个重叠区，将各重叠区的每一组摄像头的权值赋给对应的重叠区纹理透明度值，进行颜色混合，再进行绘制显示；

(11)重复步骤(2)到步骤(10)，以连续显示三维图像，直到漫游路径结束。

2.根据权利要求1所述的视频空间实时漫游方法，其特征在于：第(4)步所述的速度公式为：

X＝X₀+V_x×T_a.............................................(2)

Y＝Y₀+V_y×T_a..............................................(3)

Z＝Z₀+V_Z×T_a..............................................(4)。

3.根据权利要求1所述的视频空间实时漫游方法，其特征在于：第(9b)步中，具体通过以下公式为一个重叠区的各可见摄像头赋予权值：

W_i＝(1/S_i)/∑(1/S_i)…………………………………(5)

其中，W_i为该重叠区内摄像头i的权值，S_i为该重叠区的重心到摄像头i视域在地平面上的可见区的距离，i∈(1,2...n)。

4.根据权利要求1所述的视频空间实时漫游方法，其特征在于：第(9b)步中，所述的重叠区的重心的横纵坐标利用以下方法确定：重心的横坐标为重叠区内所有点的横坐标的平均值，重心的纵坐标为重叠区内所有点的纵坐标的平均值。