CN109756683B - 全景音视频录制方法、装置、存储介质和计算机设备 - Google Patents

Abstract

本发明涉及一种全景音视频录制方法、装置、存储介质和计算机设备。获取多路摄像头模组所拍摄的原始视频数据，将原始视频数据通过视频拼接算法实时拼接成全景视频数据。获取多路传声器所采集的原始音频数据，将原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据。将全景视频数据和全景音频数据进行实时录制，生成全景音视频数据。采用多路传声器对拍摄场景的声音进行采集，再对多路传声器所采集的原始音频数据通过音频算法合成全景音频数据。这样就采集了所拍摄场景的全景音频数据，再将全景音频数据与全景视频数据进行合成，就生成了全景音视频数据。从而实现了真正意义上的全景沉浸效果。

Description

全景音视频录制方法、装置、存储介质和计算机设备

技术领域

本发明涉及音视频处理技术领域，特别是涉及一种全景音视频录制方法、装置、存储介质和计算机设备。

背景技术

随着虚拟现实技术的发展，摄像机也经历了从单摄像头普通图像拍摄到多摄像头全景图像拍摄的技术变革。现有的多个摄像头的全景相机能够实现全景视频的拍摄，但很少能做到全景音频的录制，全景音频的录制技术明显滞后于全景视频的拍摄技术。因为传统的虚拟现实场景中未实现全景音频录制，所以尽管实现了全景视频录制，还是无法实现真正意义上的全景沉浸效果。

发明内容

基于此，有必要针对上述技术问题，提供一种能够实现全景音频录制的全景音视频录制方法、装置、存储介质和计算机设备。

一种全景音视频录制方法，所述方法包括：

获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据；

获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据；

将所述全景视频数据和所述全景音频数据进行实时录制，生成全景音视频数据。

在其中一个实施例中，所述获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，包括：

通过视频FPGA获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，所述视频FPGA用于处理视频数据。

在其中一个实施例中，所述获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据，包括：

通过音频FPGA获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据，所述音频FPGA用于处理音频数据。

在其中一个实施例中，所述将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，包括：

通过畸变校正算法将所述原始视频数据中的畸变数据进行校正，生成校正后的视频数据；

通过图像配准算法对所述校正后的不同视频数据进行图像配准；

通过图像融合算法对进行了图像配准后的不同图像进行融合，得到融合后的全景视频数据。

在其中一个实施例中，所述多路传声器包括64路麦克风，将所述全景声Ambisonic算法配置为水平为7阶、垂直为3阶；

所述获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据，包括：

将所述64路麦克风实时采集到的原始音频数据，通过所述内置的、水平为7阶、垂直为3阶的全景声Ambisonic算法实时合成为水平7阶垂直3阶的全景音频数据。

在其中一个实施例中，在所述将所述全景视频数据和所述全景音频数据进行实时录制，生成全景音视频数据之后，还包括：

将所述全景音视频数据推流至服务器，以使所述服务器对全景音视频数据进行解码后，并实时向终端下发所述解码后的全景音视频数据。

一种全景音视频录制系统，所述系统包括：全景音视频录制设备、服务器及终端，其中：

所述全景音视频录制设备，用于获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据；获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据；将所述全景视频数据和所述全景音频数据进行实时录制，生成全景音视频数据，将所述全景音视频数据推流至服务器；

所述服务器，用于接收所述全景音视频录制设备推流的所述全景音视频数据，对所述全景音视频数据实时进行转码处理，将转码后的全景音视频数据实时发送至所述终端；

所述终端，用于从所述服务器实时获取所述转码后的全景音视频数据，并实时直播所述转码后的全景音视频数据。

一种全景音视频录制装置，所述装置包括：

全景视频数据拼接模块，用于获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据；

全景音频数据合成模块，用于获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据；

全景音视频数据生成模块，用于将所述全景视频数据和所述全景音频数据进行实时录制，生成全景音视频数据。

在其中一个实施例中，所述全景视频数据拼接模块包括：

畸变校正模块，用于通过畸变校正算法将所述原始视频数据中的畸变数据进行校正，生成校正后的视频数据；

图像配准模块，用于通过图像配准算法对所述校正后的不同视频数据进行图像配准；

图像融合模块，用于通过图像融合算法对进行了图像配准后的不同图像进行融合，得到融合后的全景视频数据。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据；

获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据；

将所述全景视频数据和所述全景音频数据进行实时录制，生成全景音视频数据。

一种计算机设备，所述计算机设备包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据；

获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据；

将所述全景视频数据和所述全景音频数据进行实时录制，生成全景音视频数据。

上述全景音视频录制方法、装置、存储介质和计算机设备，获取多路摄像头模组所拍摄的原始视频数据，将原始视频数据通过视频拼接算法实时拼接成全景视频数据。获取多路传声器所采集的原始音频数据，将原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据。将全景视频数据和全景音频数据进行实时录制，生成全景音视频数据。全景音视频录制设备采用多路传声器对拍摄场景的声音进行采集，再对多路传声器所采集的原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据。在全景音视频录制设备中内置了全景声Ambisonic算法，可以在机内即可实现全景音频合成，不需要随身携带计算机设备进行机外全景音频合成，因此方便易行。这样就采集了所拍摄场景的全景音频数据，再将全景音频数据与实时拼接的全景视频数据进行实时录制，就生成了全景音视频数据。从视觉和听觉上都实现了真正意义上的全景沉浸效果。

附图说明

图1为一个实施例中全景音视频录制方法的应用环境图；

图2为一个实施例中全景音视频录制方法的流程图；

图3为一个实施例中全景音视频录制方法的流程图；

图4为图2中将原始视频数据通过视频拼接算法拼接成全景视频数据方法的流程图；

图5为又一个实施例中全景音视频录制方法的流程图；

图6为一个实施例中全景音视频录制装置的结构示意图；

图7为图6中全景视频数据拼接模块的结构示意图；

图8为又一个实施例中全景音视频录制装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本发明实施例提供的全景音视频录制方法可应用于如图1所示的环境中。参考图1所示，全景音视频录制设备110通过网络与服务器120连接，终端130也通过网络与服务器120连接。全景音视频录制设备110包含多个用于采集不同角度视频的多个摄像头，包含用于采集多个角度音频的多个麦克风。FPGA将采集的原始视频数据实时拼接成全景视频数据，FPGA将采集的原始音频数据实时合成全景视频数据。再将全景视频数据和全景音频数据发送至处理器进行录制，最终生成全景音视频数据。可以将全景音视频数据通过网络(例如Ethernet以太网)上传至服务器120，终端130从服务器上实时获取全景音视频数据，就可以实现在线直播。也可以将全景音视频数据存储在存储器140(例如SD卡)中。

在一个实施例中，如图2所示，提供了一种全景音视频录制方法，该方法包括：

步骤202，获取多路摄像头模组所拍摄的原始视频数据，将原始视频数据通过视频拼接算法实时拼接成全景视频数据。

摄像头模组指的是可以实现拍摄照片的电子设备，具体的，可以为摄像头。本发明实施例中的全景音视频录制设备使用了多个摄像头用来拍摄全景视频数据。例如，采用9个摄像头进行拍摄，在与所拍摄的场景水平方向摆设8个摄像头，每个摄像头摆放的角度不同，分别同时对场景的某一个特定角度进行拍摄，使之能够拍摄到场景的全景。在与所拍摄场景垂直方向即场景的顶部放置1个摄像头。这样就可以实现对场景进行全景拍摄。请参见图3，FPGA(Field－Programmable Gate Array，即现场可编程门阵列)通过LVDS(LowVoltage Differential Signaling，低压差分信号传输)接口采集每一时刻多个摄像头所拍摄的原始视频数据，每一个摄像头拍摄的原始视频数据称为一路原始视频数据。LVDS是一种满足当今高性能数据传输应用的新型技术。所以FPGA获取了多路摄像头在同一时刻所拍摄的原始视频数据，再将上述多路摄像头在同一时刻所拍摄的原始视频数据通过视频拼接算法进行实时拼接，就生成了同一时刻的全景视频数据。再通过LVDS接口将全景视频数据传送至处理器，例如ARM处理器。

步骤204，获取多路传声器所采集的原始音频数据，将原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据。

传声器指的是将声音信号转换为电信号的能量转换器件，也称为麦克风或话筒。在本发明实施例中，全景音视频录制设备采取多个麦克风获取多路音频数据。例如，采用64路麦克风，均匀分布在球体的表面。其中每个麦克风的音腔背离球心指向球体外表面，用于采集不同方向的音频信号。全景音视频录制设备中内置了全景声Ambisonic算法。FPGA通过ADC采集芯片采集每一时刻多个麦克风获取的多路原始音频数据，将原始音频数据通过全景音视频录制设备中内置的全景声Ambisonic算法实时合成全景音频数据，再通过SDIO(Secure Digital Input and Output，安全数字输入输出)接口将全景音频数据传送至处理器，例如ARM处理器。市面上的VR相机，通常是单声道或者由4个麦克风组成的麦克风阵列来进行音频录制。在进行合成全景音频数据时，VR相机通常采用外接的计算机设备来进行合成全景音频数据，且这些外接的计算机设备也都是采用1阶Ambisonic算法来进行合成。在录制现场需要随身携带计算机设备进行机外全景音频合成，极其不方便。

因此，本发明实施例中，在全景音视频录制设备中内置了全景声Ambisonic算法，不需要外接具有Ambisonic算法的计算机设备，在机内即可实现实时全景音频合成。且内置的是高阶的Ambisonic算法，从空间的角度来说，Ambisonic阶数越高所采集的声场信息越准确，也越能完整的还原目标声场的声学信息。因此，高阶的Ambisonic算法相比于低阶的Ambisonic算法，具有更高的空间解析度。

步骤206，将全景视频数据和全景音频数据进行实时录制，生成全景音视频数据。

FPGA将同一时刻的全景视频数据和全景音频数据发送至处理器上进行实时处理，可以是ARM处理器。处理的过程具体为，ARM处理器获取了全景视频数据之后，使用H.264标准进行压缩，H.264标准是一个高度压缩数字视频编解码器标准。ARM处理器获取了全景音频数据之后，使用AAC标准进行压缩，AAC(Advanced Audio Coding，高级音频编码)标准，是一种基于MPEG-2的音频编码技术。将压缩后的音视频数据文件都放入MP4容器中生成MP4文件。也可以将压缩后的音视频文件都放入AVI容器中生成AVI文件。当然，还可以使用其他生成音视频文件的方式。请再次参见图3，在经过处理器实时处理生成了全景音视频文件之后，可以将全景音视频文件存储在存储器(例如SD卡)中，也可以将全景音视频数据通过网络(例如Ethernet以太网)上传至服务器实现在线直播。

本实施例中，全景音视频录制设备采用多路传声器对拍摄场景的声音进行采集，再对多路传声器所采集的原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据。在全景音视频录制设备中内置了全景声Ambisonic算法，可以在机内即可实现全景音频合成，不需要随身携带计算机设备进行机外全景音频合成，因此方便易行。这样就采集了所拍摄场景的全景音频数据，再将全景音频数据与实时拼接的全景视频数据进行实时录制，就生成了全景音视频数据。从视觉和听觉上都实现了真正意义上的全景沉浸效果。

在一个实施例中，所述获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，包括：

通过视频FPGA获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，所述视频FPGA用于处理视频数据。

如图3所示，采用不同的FPGA来分别处理视频数据和音频数据。因为一颗FPGA的数据处理能力有限，为了避免传统的同一颗FPGA同时处理音频和视频数据，大量的数据造成的拼接质量难以保证的问题。因此，为全景音视频录制设备配置了一颗或多颗视频FPGA，专门用于处理视频数据。可以在视频数据量较大的时候也依然可以高效处理，实现高质量的实时拼接。视频FPGA获取了多路摄像头在同一时刻所拍摄的原始视频数据，再将上述多路摄像头在同一时刻所拍摄的原始视频数据通过视频拼接算法进行实时拼接，就生成了同一时刻的全景视频数据。再通过LVDS接口将全景视频数据传送至处理器，例如ARM处理器。

在一个实施例中，所述获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据，包括：

通过音频FPGA获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据，所述音频FPGA用于处理音频数据。

如图3所示，采用不同的FPGA来分别处理视频数据和音频数据。因为一颗FPGA的数据处理能力有限，为了避免传统的同一颗FPGA同时处理音频和视频数据，大量的数据造成的拼接质量难以保证的问题。因此，为全景音视频录制设备配置了一颗或多颗音频FPGA，专门用于处理音频数据，达到在多路音频数据的同时输入的情况下，实现高质量的实时拼接。音频FPGA通过ADC采集芯片采集每一时刻多个麦克风获取的多路原始音频数据，将原始音频数据通过全景音视频录制设备中内置的全景声Ambisonic算法实时合成全景音频数据，再通过SDIO(Secure Digital Input and Output，安全数字输入输出)接口将全景音频数据传送至处理器，例如ARM处理器。

在一个实施例中，视频拼接算法包括畸变校正算法、图像配准算法和图像融合算法。

拍摄全景视频的摄像头一般会使用鱼眼镜头，鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。鱼眼镜头最大的作用是视角范围大，视角一般可达到220°或230°，这为近距离拍摄大范围景物创造了条件。但是鱼眼镜头拍摄的图像存在很大的畸变，需要通过畸变校正算法将畸变图像转化成正常图像。畸变校正算法是一种可以对鱼眼镜头所拍摄的有畸变的图像转换成正常图像的方法。

图像融合算法是一种通过找到不同图片的特征点，以特征点为参考对齐图像的处理方法。

图像融合算法是可以将不同的图像进行融合的方法。通过图像融合算法可以将不同摄像头所拍摄的同一时刻的不同视角的图像进行融合，融合成一张完整的全景图像。图像融合算法包含颜色插值技术或多分辨率样条等相关算法。

在本实施例中，对多路摄像头模组所拍摄的原始视频数据通过畸变校正算法进行图像校正，对畸形的图像进行了校正。再通过图像配准算法对图像进行对齐，找到了不同图像之间的对应关系，将不同图像进行对齐。最后，通过图像融合算法对图像进行融合，从而将不同摄像头所拍摄的图像进行了融合。最终生成了高质量的全景视频图像。

在一个实施例中，如图4所示，将原始视频数据通过视频拼接算法实时拼接成全景视频数据，包括：

步骤302，通过畸变校正算法将原始视频数据中的畸变数据进行校正，生成校正后的视频数据。

拍摄全景视频的摄像头一般会使用鱼眼镜头，鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。鱼眼镜头最大的作用是视角范围大，视角一般可达到220°或230°，这为近距离拍摄大范围景物创造了条件。但是鱼眼镜头拍摄的图像存在很大的畸变，通过畸变校正算法可以将畸变图像转化成正常图像。

步骤304，通过图像配准算法对校正后的不同视频数据进行图像配准。

对不同的摄像头在同一时刻所拍摄的图像，需要分别找到不同图像的特征点，以特征点为参考将不同图像对齐。具体为，通过图像配准算法来实现对齐。

步骤306，通过图像融合算法对进行了图像配准后的不同图像进行融合，得到融合后的全景视频数据。

最后，在将同一时刻所拍摄的不同图像对齐后，将图像与图像之间的拼接缝通过颜色插值技术或多分辨率样条等图像融合算法进行融合。从而得到同一时刻融合之后的全景图像，将不同时刻的全景视频图像以一定的帧数进行播放，便构成了全景视频图像。

在本实施例中，对多路摄像头模组所拍摄的原始视频数据通过畸变校正算法进行图像校正，对畸形的图像进行了校正。再通过图像配准算法对图像进行对齐，找到了不同图像之间的对应关系，将不同图像进行对齐。最后，通过图像融合算法对图像进行融合，从而将不同摄像头所拍摄的图像进行了融合。最终实时生成了高质量的全景视频图像。

在一个实施例中，多路传声器包括64路麦克风，将全景声Ambisonic算法配置为水平为7阶、垂直为3阶；

获取多路传声器所采集的原始音频数据，将原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据，包括：

将64路麦克风实时采集到的原始音频数据，通过内置的、水平为7阶、垂直为3阶的全景声Ambisonic算法实时合成为水平7阶垂直3阶的全景音频数据。

Ambisonic系统是由Michael A.Gerzon于1974年提出的，它使用了X,Y,Z三个分别指向x,y,z轴方向的“8”字型指向传声器，及1个W无指向传声器，组成可以拾取声音三维空间信息的录音系统。，在球坐标状态下，这4个传声器指向特性有严格定义

W＝0.707

使用一定数量的、围绕聆听者作均匀布置的扬声器做声重发，并对这4个传声器拾取信号进行不同比例的混合，可重现三维空间的环绕声效果。

具体的，在本发明实施例中使用64路麦克风均匀分布在球体的表面，麦克风音的腔均背离球心指向球体外表面，每个麦克风都用来采集声音。FPGA通过ADC(Analog-to-Digital Converter，模数转换电路)采集芯片实时采集麦克风数据。将Ambisonic算法配置为水平为7阶、垂直为3阶，则FPGA将采集到的64路麦克风数据通过Ambisonic算法就实时生成了水平7阶垂直3阶的Fuma格式全景音频数据。Fuma格式是将麦克风采集到的音频数据经过Ambsonic算法处理后生成的一种音频格式。一般的，将麦克风采集到的音频数据经过1阶Ambisonic算法处理后，输出4路音频；经过2阶Ambisonic算法处理后则输出9路音频；经过3阶Ambisonic算法处理后则输出16路音频。即经过Ambisonic算法输出的音频轨数是(阶数+1)的平方。

当然也可以将Ambisonic算法配置为水平3阶、垂直3阶，则FPGA将采集到的64路麦克风数据通过Ambisonic算法就生成了水平3阶垂直3阶的Fuma格式全景音频数据。也可以将Ambisonic算法只配置为水平3阶，则FPGA将采集到的64路麦克风数据通过Ambisonic算法就生成了水平3阶的Fuma格式全景音频数据。

在本实施例中，将Ambisonic算法配置为水平为7阶、垂直为3阶，则FPGA将采集到的64路麦克风数据通过Ambisonic算法就实时生成了水平7阶垂直3阶的Fuma格式全景音频数据。Ambisonic算法可以实现对不同麦克风所采集的声音实时合成全景音频数据。全景音频数据再与全景视频数据进行实时合成，就生成了全景音视频数据，加入了全景音频数据从而实现了真正意义上的全景沉浸效果。

在一个实施例中，如图5所示，在将全景视频数据和全景音频数据进行实时录制，生成全景音视频数据之后，还包括：

步骤208，将全景音视频数据推流至服务器，以使服务器对全景音视频数据进行解码后，并实时向终端下发解码后的全景音视频数据。

在本实施例中，将经过处理器实时合成后的全景音视频数据通过网络上传至服务器上，因为上传的全景音视频数据是经过编码的文件，所以服务器需要对其进行解码，并实时向终端下发解码后的全景音视频数据，以便可以直接在终端上进行播放。终端从服务器上实时获取解码后的全景音视频数据，并在终端上进行实时播放。这样就实现了全景音视频的直播推流功能。具体的，终端可以是能够实现全景音视频的新型VR设备。

在一个实施例中，一种全景音视频录制系统，请参见图1，系统包括：全景音视频录制设备110、服务器120及终端130，其中：

全景音视频录制设备110，用于获取多路摄像头模组所拍摄的原始视频数据，将原始视频数据通过视频拼接算法实时拼接成全景视频数据；获取多路传声器所采集的原始音频数据，将原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据；将全景视频数据和全景音频数据进行实时录制，生成全景音视频数据，将全景音视频数据推流至服务器。

服务器120，用于接收全景音视频录制设备推流的全景音视频数据，对全景音视频数据实时进行转码处理，将转码后的全景音视频数据实时发送至终端。

终端130，用于从服务器实时获取转码后的全景音视频数据，并实时直播转码后的全景音视频数据。

在一个实施例中，如图6所示，提供了一种全景音视频录制装置600，该装置包括：全景视频数据拼接模块602、全景音频数据合成模块604及全景音视频数据生成模块606。

全景视频数据拼接模块602，用于获取多路摄像头模组所拍摄的原始视频数据，将原始视频数据通过视频拼接算法实时拼接成全景视频数据。

全景音频数据合成模块604，用于获取多路传声器所采集的原始音频数据，将原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据。

全景音视频数据生成模块606，用于将全景视频数据和全景音频数据进行实时录制，生成全景音视频数据。

在一个实施例中，全景视频数据拼接模块602还用于通过视频FPGA获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，所述视频FPGA用于处理视频数据。

在一个实施例中，全景音视频数据生成模块606还用于通过音频FPGA获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据，所述音频FPGA用于处理音频数据。

在一个实施例中，如图7所示，全景视频数据拼接模块602包括：

畸变校正模块602a，用于通过畸变校正算法将原始视频数据中的畸变数据进行校正，生成校正后的视频数据；

图像配准模块602b，用于通过图像配准算法对校正后的不同视频数据进行图像配准；

图像融合模块602c，用于通过图像融合算法对进行了图像配准后的不同图像进行融合，得到融合后的全景视频数据。

在一个实施例中，全景音频数据合成模块604还用于将64路麦克风实时采集到的原始音频数据，通过内置的、水平为7阶、垂直为3阶的全景声Ambisonic算法实时合成为水平7阶垂直3阶的全景音频数据。

在一个实施例中，如图8所示，还提供了一种全景音视频录制装置600，该装置还包括直播推流模块608，该模块用于将全景音视频数据推流至服务器，以使服务器对全景音视频数据进行解码后，并实时向终端下发解码后的全景音视频数据。

在一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：获取多路摄像头模组所拍摄的原始视频数据，将原始视频数据通过视频拼接算法实时拼接成全景视频数据；获取多路传声器所采集的原始音频数据，将原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据；将全景视频数据和全景音频数据进行实时录制，生成全景音视频数据。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：通过视频FPGA获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，所述视频FPGA用于处理视频数据。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：通过音频FPGA获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据，所述音频FPGA用于处理音频数据。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：通过畸变校正算法将原始视频数据中的畸变数据进行校正，生成校正后的视频数据；通过图像配准算法对校正后的不同视频数据进行图像配准；通过图像融合算法对进行了图像配准后的不同图像进行融合，得到融合后的全景视频数据。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：将64路麦克风实时采集到的原始音频数据，通过内置的、水平为7阶、垂直为3阶的全景声Ambisonic算法实时合成为水平7阶垂直3阶的全景音频数据。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：将全景音视频数据推流至服务器，以使服务器对全景音视频数据进行解码后，并实时向终端下发解码后的全景音视频数据。

在一个实施例中，还提供了一种计算机设备，该计算机设备包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取多路摄像头模组所拍摄的原始视频数据，将原始视频数据通过视频拼接算法实时拼接成全景视频数据；获取多路传声器所采集的原始音频数据，将原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据；将全景视频数据和全景音频数据进行实时录制，生成全景音视频数据。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：通过视频FPGA获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，所述视频FPGA用于处理视频数据。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：通过音频FPGA获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的全景声Ambisonic算法实时合成全景音频数据，所述音频FPGA用于处理音频数据。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：通过畸变校正算法将原始视频数据中的畸变数据进行校正，生成校正后的视频数据；通过图像配准算法对校正后的不同视频数据进行图像配准；通过图像融合算法对进行了图像配准后的不同图像进行融合，得到融合后的全景视频数据。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：将64路麦克风实时采集到的原始音频数据，通过内置的、水平为7阶、垂直为3阶的全景声Ambisonic算法实时合成为水平7阶垂直3阶的全景音频数据。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：将全景音视频数据推流至服务器，以使服务器对全景音视频数据进行解码后，并实时向终端下发解码后的全景音视频数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种全景音视频录制方法，其特征在于，所述方法包括：

通过视频FPGA获取全景音视频录制设备中多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，所述视频FPGA用于处理视频数据；

通过音频FPGA获取所述全景音视频录制设备中多路传声器所采集的原始音频数据，将所述原始音频数据通过所述全景音视频录制设备中内置的高阶全景声Ambisonic算法实时合成全景音频数据，所述音频FPGA用于处理音频数据；所述多路传声器包括64路麦克风，将所述高阶全景声Ambisonic算法配置为水平为7阶、垂直为3阶；

将所述全景视频数据和所述全景音频数据进行实时录制，生成全景音视频数据。

2.根据权利要求1所述的方法，其特征在于，所述将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，包括：

通过畸变校正算法将所述原始视频数据中的畸变数据进行校正，生成校正后的视频数据；

通过图像配准算法对所述校正后的不同视频数据进行图像配准；

通过图像融合算法对进行了图像配准后的不同图像进行融合，得到融合后的全景视频数据。

3.根据权利要求1所述的方法，其特征在于，所述通过音频FPGA获取所述全景音视频录制设备中多路传声器所采集的原始音频数据，将所述原始音频数据通过所述全景音视频录制设备中内置的高阶全景声Ambisonic算法实时合成全景音频数据，包括：

通过所述音频FPGA将所述64路麦克风实时采集到的原始音频数据，通过所述内置的、水平为7阶、垂直为3阶的高阶全景声Ambisonic算法实时合成为水平7阶垂直3阶的全景音频数据。

4.根据权利要求1所述的方法，其特征在于，在所述将所述全景视频数据和所述全景音频数据进行实时录制，生成全景音视频数据之后，还包括：

将所述全景音视频数据推流至服务器，以使所述服务器对全景音视频数据进行解码后，并实时向终端下发所述解码后的全景音视频数据。

5.一种全景音视频录制系统，其特征在于，所述系统包括：全景音视频录制设备、服务器及终端，其中：

所述全景音视频录制设备，用于通过视频FPGA获取多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，所述视频FPGA用于处理视频数据；通过音频FPGA获取多路传声器所采集的原始音频数据，将所述原始音频数据通过内置的高阶全景声Ambisonic算法实时合成全景音频数据，所述音频FPGA用于处理音频数据；所述多路传声器包括64路麦克风，将所述高阶全景声Ambisonic算法配置为水平为7阶、垂直为3阶；将所述全景视频数据和所述全景音频数据进行实时录制，生成全景音视频数据，将所述全景音视频数据推流至服务器；

所述服务器，用于接收所述全景音视频录制设备推流的所述全景音视频数据，对所述全景音视频数据实时进行转码处理，将转码后的全景音视频数据实时发送至所述终端；

所述终端，用于从所述服务器实时获取所述转码后的全景音视频数据，并实时直播所述转码后的全景音视频数据。

6.一种全景音视频录制装置，其特征在于，所述装置包括：

全景视频数据拼接模块，用于通过视频FPGA获取全景音视频录制设备中多路摄像头模组所拍摄的原始视频数据，将所述原始视频数据通过视频拼接算法实时拼接成全景视频数据，所述视频FPGA用于处理视频数据；

全景音频数据合成模块，用于通过音频FPGA获取所述全景音视频录制设备中多路传声器所采集的原始音频数据，将所述原始音频数据通过所述全景音视频录制设备中内置的高阶全景声Ambisonic算法实时合成全景音频数据，所述音频FPGA用于处理音频数据；所述多路传声器包括64路麦克风，将所述高阶全景声Ambisonic算法配置为水平为7阶、垂直为3阶；

全景音视频数据生成模块，用于将所述全景视频数据和所述全景音频数据进行实时录制，生成全景音视频数据。

7.根据权利要求6所述的装置，其特征在于，所述全景视频数据拼接模块包括：

畸变校正单元，用于通过畸变校正算法将所述原始视频数据中的畸变数据进行校正，生成校正后的视频数据；

图像配准单元，用于通过图像配准算法对所述校正后的不同视频数据进行图像配准；

图像融合单元，用于通过图像融合算法对进行了图像配准后的不同图像进行融合，得到融合后的全景视频数据。

8.根据权利要求6所述的装置，其特征在于，所述全景音频数据合成模块还用于通过所述音频FPGA将所述64路麦克风实时采集到的原始音频数据，通过所述内置的、水平为7阶、垂直为3阶的高阶全景声Ambisonic算法实时合成为水平7阶垂直3阶的全景音频数据。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的全景音视频录制方法。

10.一种计算机设备，所述计算机设备包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的全景音视频录制方法。