CN108777778B - 一种基于北斗管控的全景视频采集传输装置及方法 - Google Patents

Abstract

一种基于北斗管控的全景视频采集传输装置包括：北斗信息传输模块等；本发明中控制链路采用基于北斗二代的短报文通信功能，业务链路采用无线公网，通过网管代理模块完成指令信息与业务信息的统一管控，包括网管控制及业务传输两部分工作内容，其一为通过以北斗信息传输模块为管控信道，远程控制网管代理模块对本地终端设备内部的图像采集模块、视频处理模块及无线传输模块的集中管控，其二为本地图像采集模块将采集到的VS视频流实时的传输给拼接矫正模块，通过畸变矫正、投影变换、图像配准及融合处理，输出一整副拼接后的全景图片给无线传输模块，并经地面无线网络传输给控制中心，实现视频流业务的高速实时传输。

Description

一种基于北斗管控的全景视频采集传输装置及方法

技术领域

本发明提出的一种全景视频采集传输装置及方法。

背景技术

卫星通信系统具有覆盖面广、终端部署灵活、不受地理环境和传输距离约束等特点，在大规模、非对称通信领域中有明显的优势，特别是具有短报文回传功能的北斗卫星通信系统在当前的卫星通信应用中具有更多的优越性。

传统宽带卫星通信系统，由于终端尺寸太大，资费太高，不便于大规模使用，而地面3G/4G网络存在网络盲区，终端失联等问题，也饱受诟病。

随着中国北斗卫星导航系统的迅猛发展，覆盖亚太区域全天候的定位导航授时功能的全面开放，并具备独特的短报文传输功能，加之与地面高速互联网配合使用，能够实现卫星互联网立体化管控的功能，可极大提升网络管控范围、增强移动终端的部署范围，提升系统的灵活性、可控性和可靠性。

国内现有文献主要都是将北斗卫星导航系统作为定位、导航功能使用，其短报文功能仅作为短信息的补充，网络管控合业务传输都主要是依靠地面3G/4G网络，具有覆盖面窄、管控不便等先天不足，对卫星网管的能力和优点未能充分利用。

发明内容

本发明的技术解决问题是：充分发挥北斗卫星通信系统的功能，克服地面网络覆盖不足，提供一种基于北斗管控的全景视频采集传输装置及方法，构建以北斗短报文为控制信道、以无线网络为业务信道、以高清全景摄像为实现手段的全方位一体化监控管理装置，实现全网终端的运行状态监控，为指挥中心及时调度、快速反应提供可靠的管控手段。本发明主要通过北斗系统进行全疆域内远程集中控制，有效克服地面网络覆盖盲区；通过采用地面3G/4G网络回传指定信息，遇到地面网络盲区时，依然可以接收到北斗控制信令信息，可采用存储转发处理方式，延时回传信息。

本发明的技术解决方案是：一种基于北斗管控的全景视频采集传输装置，包括：北斗信息传输模块、网管代理模块、图像采集模块、视频拼接矫正处理模块、无线传输模块；

北斗信息传输模块接收控制中心下发的广播式指令，转发给网管代理模块进行具体下发执行，同时周期性的将网管代理模块反馈的指令执行情况、设备运行状况、配置告警信息以短报文方式回传给控制中心；

网管代理模块接收北斗信息传输模块的信令信息，向下分发控制中心下发的视频采集、调取、融合、发送指令，接收图像采集模块、视频拼接矫正处理模块和无线传输模块的指令执行情况、设备运行状况和配置告警报错信息，并向上输出给北斗信息传输模块进行出局发送；

图像采集模块分别采集各个方向的视频图像，并实时传输给视频拼接矫正处理模块；

视频拼接矫正处理模块对图像采集模块发送的每路视频图像信号进行编号识别，同时通过畸变矫正、投影变换、图像配准及融合处理输出一副全景拼接图像，根据网管代理模块的信令指示，将需要的视频流挑选出来传输给无线传输模块；

无线传输模块接收网管代理模块的控制指令，设置传输参数，传输参数包括业务视频流目的地址、传输帧率，将视频拼接矫正处理模块转发的视频流进行转发，并通过检测传输链路状态将传输质量、完成状态信息反馈给网管代理模块，若无线传输模块处于网络盲区，则将视频缓存在本地存储卡上，待检测到稳定网络信号，再行转发。

所述的北斗信息传输模块工作步骤为：

接收北斗卫星转发的下行报文指令后，转发给网管代理模块进行数据分类处理，同时接收网管代理模块的反馈数据包，在下一个短报文周期发送给北斗卫星。

所述的网管代理模块的工作步骤为：

收到北斗信息传输模块的操作指令后，进行数据分类处理，根据所执行业务分离出视频拼接矫正处理模块需要传输的视频编号、帧率指令，根据传输目的地址分离出无线传输模块的目的地址，采用生命周期管理机制，在下一个时钟周期将指令下发，同时读取视频拼接矫正处理模块及无线传输模块的反馈信息，进行数据解析分析并形成反馈数据包，将反馈数据包传输给北斗信息传输模块。

所述的图像采集模块共配置8套，每套可视角90°，间隔45°分布。

所述的视频拼接矫正处理模块的工作步骤为：

对图像采集模块发送的每路视频图像信号进行编号汇聚，按顺序通过畸变矫正消除视频图像间的非线性变换，采用投影变换实现视频图像间的粗拼接，采用提取特征角点方法的图像配准技术实现图像衔接区域的平滑处理。

所述的基于北斗管控的全景视频采集传输装置进行全景视频采集传输的方法，包括步骤如下：

接收控制中心下发的广播式指令，对广播式指令进行解析处理并向下分发视频采集、调取、融合、发送指令；

根据视频采集指令，采集各个方向的视频图像；

根据视频调取、融合指令，对每路视频图像信号进行编号识别，同时通过畸变矫正、投影变换、图像配准及融合处理输出一副全景拼接图像，将需要的视频流挑选出来并发送；

根据接收的视频发送指令，设置传输参数并转发视频流，通过检测传输链路状态反馈传输质量、完成状态信息，若处于网络盲区，则将视频缓存在本地存储卡上，待检测到稳定网络信号，再行视频流转发；所述传输参数包括业务视频流目的地址、传输帧率。

本发明与现有系统相比具有如下优点：

(1)本发明融合了北斗系统、视频采集系统、视频处理系统、3G/4G传输系统为一体，具备控、视、传的综合处理功能。

(2)本发明采用了基于北斗报文传输系统的网络管理架构，并具备地面网络的远程管控能力，具有管控覆盖范围广、信道体制可靠等特点。

(3)本发明采用了8套视频采集模块，构建全景视频采集架构，具有盲区小，畸变可控等特点。

(4)本发明采用的无线传输模块，具备视频缓存功能，在网络覆盖盲区可实现视频本地存储、在网络恢复情况下，自动转发功能。

(5)本发明采用模块化设计，结构简单，集成度高，可适用各类室内及野外环境。

附图说明

图1为本发明装置的组成框图；

图2为终端主动注册流程图；

图3为网管代理模块工作流程图；

图4为图像采集模块布局设计图；

图5为视频拼接矫正处理模块工作流程图；

图6为系统网络规划工作流程图；

图7为终端设备上电工作流程图。

具体实施方式

如图1所示，一种基于北斗管控的全景视频采集传输装置包括：北斗信息传输模块、网管代理模块、图像采集模块、视频拼接矫正处理模块、无线传输模块；

北斗信息传输模块实现控制中心到本地设备间的信令控制信道的建立，上行发射载波L频段，下行接收载波S频段，首先接收控制中心下发的指令报文信息，然后转发给网管代理模块进行具体解析执行，其次将网管代理反馈的指令执行情况、设备运行状况、配置告警信息等进行封包以短报文方式回传给控制中心，报文回传频度根据终端级别可调，设置为1min/次；

网管代理模块衔接上下完成本地化代理网管功能，完成信令解析和操作反馈功能，首先接收北斗信息传输模块的信令信息并进行解析，根据要求向图像采集模块下发采集指令，向视频拼接矫正处理模块下发处理指令和流调取指令，向无线传输模块下发目标地址及传输指令，其次搜集图像采集模块、视频拼接矫正处理模块和无线传输模块的指令执行反馈信息、当前运行状况和配置告警报错等信息，并转换为报文格式向上输出给北斗信息传输模块；

图像采集模块实现周遭各方向的视频采集处理功能，接收网管代理模块的采集指令，对焦指令，缩放指令等，并将视频流实时发送给视频拼接矫正处理模块，配置8套独立的图像采集模块，间隔45°安装，分别采集8个方向的视频图像，操作指令执行完后反馈确认信息给网管代理模块；

视频拼接矫正处理模块实现8路视频信号的汇聚拼接处理功能，根据网管代理模块的信令指示，选择需要传输的视频流传输给无线传输模块，全景图像输出流程包括：对接收到的每路视频信号进行编号识别，依次通过畸变矫正消除多传感器图像间的非线性变换，采用投影变换实现多传感器图像间的粗拼接，采用提取特征角点方法的图像配准技术实现图像衔接区域的平滑处理，最终输出完整拼接图像；

无线传输模块接受网管代理的控制，首先完成业务视频流目的地址、传输帧率等传输参数的设置，接收视频拼接矫正处理模块转发过来的数据流，然后通过无线公网投送出去，同时通过检测传输链路状态将传输质量、完成状态等信息反馈给网管代理模块。

北斗信息传输模块接收北斗卫星转发的下行报文指令后，转发给网管代理模块进行具体数据分类处理，同时接收网管代理的反馈数据包，以短报文格式在下一个报文周期发送出去。

网管代理模块为终端设备的控制管理平台，工作步骤为：收到北斗信息传输模块的操作指令后，进行数据分类处理，根据所执行业务分离出视频拼接矫正处理模块需要传输的视频编号、帧率指令，根据传输目的地址分离出无线传输模块的目的地址，采用生命周期管理机制，在下一个时钟周期将指令下发，同时读取视频拼接矫正处理模块及无线传输模块的反馈信息，进行数据解析分析并形成反馈数据包，将反馈数据包传输给北斗信息传输模块。

图像采集模块实现周遭各方向的视频采集处理功能，接收网管代理模块的采集指令，对焦指令，缩放指令等，并将视频流实时发送给视频拼接矫正处理模块，配置8套独立的图像采集模块，摄像头可视角90°，间隔45°安装，分别采集8个方向的视频图像，相邻两套摄像机图像有45°的重叠区域，可实现机体5cm之外的360°全景无死角监控，操作指令执行完后反馈确认信息给网管代理模块。

视频拼接矫正处理模块，首先对各传感器视频图像进行编号汇聚，按顺序通过畸变矫正消除多传感器图像间的非线性变换，采用投影变换实现多传感器图像间的粗拼接，采用提取特征角点方法的图像配准技术实现图像衔接区域的平滑处理，根据网管代理模块的信令指示，选择需要传输的视频流传输给无线传输模块。

视频拼接矫正处理模块，将接收到的视频信息流通过3G/4G网络发送到指定服务器终端，如果检测到处于网络覆盖盲区，则将视频缓存在本地存储卡上，待检测到稳定网络时再发送出去。

使用本发明的基于北斗管控的全景视频采集传输装置进行全景视频采集传输的方法，包括步骤如下：

接收控制中心下发的广播式指令，对广播式指令进行解析处理并向下分发视频采集、调取、融合、发送指令；

根据视频采集指令，采集各个方向的视频图像；

根据视频调取、融合指令，对每路视频图像信号进行编号识别，同时通过畸变矫正、投影变换、图像配准及融合处理输出一副全景拼接图像，将需要的视频流挑选出来并发送；

根据接收的视频发送指令，设置传输参数并转发视频流，通过检测传输链路状态反馈传输质量、完成状态信息，若处于网络盲区，则将视频缓存在本地存储卡上，待检测到稳定网络信号，再行视频流转发；所述传输参数包括业务视频流目的地址、传输帧率。

实施例：

基于北斗管控的全景视频采集传输终端包括：北斗信息传输模块、网管代理模块、图像采集模块、视频拼接矫正处理模块、无线传输模块。北斗信息传输模块建立终端与网管中心的信令通道，服务频度为1min/次，收发双工。网管代理模块作为本地管控中心，分析处理上下行指令信息，负责视频采集模块、视频拼接矫正模块及无线传输模块的协同工作。

终端采用主动注册方式，加电后主动向指挥中心发送一个8字节的上线请求报文，指挥中心回复一个8字节的通信回执，确认完成一次通信握手，如果有业务传输需求，指挥中心单次可下发最大110字节的指令报文，如图2所示。

北斗信息传输模块上行发射采用码分多址直接扩频序列调制，扩频伪码采用周期伪随机序列，发射频率L波段，通过卫星转发至地面指挥中心，下行接收载波S频段，空闲状态下，定期以报文形式上报本地设备状态信息。

如图3所示，网管代理模块衔接上下链路，负责下行信令解析和上行反馈信息汇集功能，完成下行指令信息的解析工作，向图像采集模块下发采集指令，向视频拼接矫正处理模块下发处理指令和流调取指令，向无线传输模块下发目标地址及传输指令；完成上报数据的汇集，搜集图像采集模块、视频拼接矫正处理模块和无线传输模块的反馈信息、当前运行状况和配置告警报错等信息，并转换为报文格式向上输出给北斗信息传输模块。

如图4所示，图像采集模块安装在机体周围，机壳半径6cm，间隔45°共安装8套，独立采集8个方向的视频信号，摄像机可视角度90°，相邻两套摄像机图像有45°的重叠区域，可实现机体5cm之外的360°全景无死角监控，采集模块将视频反馈给视频拼接矫正处理模块，操作指令执行完后反馈确认信息给网管代理模块。

如图5所示，视频拼接矫正处理模块工作流程为:对接收到的每路视频信号进行编号识别，依次通过畸变矫正消除多传感器图像间的非线性变换，采用投影变换实现多传感器图像间的粗拼接，采用提取特征角点方法的图像配准技术实现图像衔接区域的平滑处理，再经图像融合最终完成全景图像的拼接工作，输出给无线传输模块。

无线传输模块接受网管代理的控制，完成业务视频流目的地址、传输帧率等传输参数的设置，接收视频拼接矫正处理模块转发过来的数据流，通过无线公网投送出去，同时通过检测传输链路状态将传输质量、完成状态等信息反馈给网管代理模块；如果检测到处于网络覆盖盲区，则将视频缓存在本地存储卡上，待检测到稳定网络时再发送出去。

一种基于北斗管控的全景视频采集传输装置，网络规划工作流程如图6所示：

(1)控制中心下发视频传输指令，通过北斗传输模块转发给网管代理模块进行解析分发。

(2)网管代理模块，根据指令内容，分别给图像采集模块下发采集指令、给视频拼接模块下发拼接指令、给无线传输模块下发传输指令，并接收三个模块反馈回来的状态指令，网管代理模块对汇总信息以报文格式编排后发送给北斗传输模块。

(3)北斗传输模块将网管代理模块转发的报文信息发送反馈给控制中心。

(4)无线传输模块，将本地全景视频通过地面公网发送给目的地址，完成视频采集任务。

具体加电操作流程为如图7所示：终端上电后，自动完成自检操作，并转入主动注册模式，发起注册报文，若收到主站确认注册成功后，转入在线指令接收状态，持续监测是否有业务指令信息，定期主动上报更新本地状态；若收到业务指令，则开始解析指令并下发给各个模块；各模块单元按照工作流程，执行相关业务，完成视频转发任务；系统转入持续指令跟踪状态，等待下一个业务周期。

本发明未详细说明部分属于本领域技术人员公知技术。

Claims (4)

1.一种基于北斗管控的全景视频采集传输装置，其特征在于包括：北斗信息传输模块、网管代理模块、图像采集模块、视频拼接矫正处理模块、无线传输模块；

北斗信息传输模块接收控制中心下发的广播式指令，转发给网管代理模块进行具体下发执行，同时周期性的将网管代理模块反馈的指令执行情况、设备运行状况、配置告警信息以短报文方式回传给控制中心；

网管代理模块接收北斗信息传输模块的信令信息，向下分发控制中心下发的视频采集、调取、融合、发送指令，接收图像采集模块、视频拼接矫正处理模块和无线传输模块的指令执行情况、设备运行状况和配置告警报错信息，并向上输出给北斗信息传输模块进行出局发送；

图像采集模块分别采集各个方向的视频图像，并实时传输给视频拼接矫正处理模块；

视频拼接矫正处理模块对图像采集模块发送的每路视频图像信号进行编号识别，同时通过畸变矫正、投影变换、图像配准及融合处理输出一副全景拼接图像，根据网管代理模块的信令指示，将需要的视频流挑选出来传输给无线传输模块；

无线传输模块接收网管代理模块的控制指令，设置传输参数，传输参数包括业务视频流目的地址、传输帧率，将视频拼接矫正处理模块转发的视频流进行转发，并通过检测传输链路状态将传输质量、完成状态信息反馈给网管代理模块，若无线传输模块处于网络盲区，则将视频缓存在本地存储卡上，待检测到稳定网络信号，再行转发；

所述的北斗信息传输模块工作步骤为：

接收北斗卫星转发的下行报文指令后，转发给网管代理模块进行数据分类处理，同时接收网管代理模块的反馈数据包，在下一个短报文周期发送给北斗卫星；

所述的网管代理模块的工作步骤为：

收到北斗信息传输模块的操作指令后，进行数据分类处理，根据所执行业务分离出视频拼接矫正处理模块需要传输的视频编号、帧率指令，根据传输目的地址分离出无线传输模块的目的地址，采用生命周期管理机制，在下一个时钟周期将指令下发，同时读取视频拼接矫正处理模块及无线传输模块的反馈信息，进行数据解析分析并形成反馈数据包，将反馈数据包传输给北斗信息传输模块。

2.根据权利要求1所述的一种基于北斗管控的全景视频采集传输装置，其特征在于：所述的图像采集模块共配置8套，每套可视角90°，间隔45°分布。

3.根据权利要求2所述的一种基于北斗管控的全景视频采集传输装置，其特征在于：所述的视频拼接矫正处理模块的工作步骤为：

对图像采集模块发送的每路视频图像信号进行编号汇聚，按顺序通过畸变矫正消除视频图像间的非线性变换，采用投影变换实现视频图像间的粗拼接，采用提取特征角点方法的图像配准技术实现图像衔接区域的平滑处理。

4.根据权利要求1至3中任一项权利要求所述的基于北斗管控的全景视频采集传输装置进行全景视频采集传输的方法，其特征在于，包括步骤如下：

接收控制中心下发的广播式指令，对广播式指令进行解析处理并向下分发视频采集、调取、融合、发送指令；

根据视频采集指令，采集各个方向的视频图像；

根据视频调取、融合指令，对每路视频图像信号进行编号识别，同时通过畸变矫正、投影变换、图像配准及融合处理输出一副全景拼接图像，将需要的视频流挑选出来并发送；

根据接收的视频发送指令，设置传输参数并转发视频流，通过检测传输链路状态反馈传输质量、完成状态信息，若处于网络盲区，则将视频缓存在本地存储卡上，待检测到稳定网络信号，再行视频流转发；所述传输参数包括业务视频流目的地址、传输帧率。

Images