CN101937326A - 一种多cpu并行视频处理系统、级联系统及其方法 - Google Patents

Abstract

本发明涉及显示技术领域，特别是一种多CPU并行视频处理系统、级联系统及其方法。一种多CPU并行视频处理系统，包括至少一个非透明桥、多个与视频显示系统连接的CPU系统，所述多个CPU系统通过PCI-E总线和非透明桥相连接；相邻两个非透明桥之间通过PCI-E总线连接，多个CPU系统之间通过非透明桥地址映射方式通讯。本发明采用非透明桥连接多个CPU系统，然后通过CPU系统控制视频显示，从而实现多视频并行处理，突破了单个高性能CPU或GPU的计算能力，大大提高了海量视频信号的处理能力，同时解决了接入端点受限的瓶颈，可使大屏幕显示更为流畅。

Description

一种多CPU并行视频处理系统、级联系统及其方法

技术领域

本发明涉及显示技术领域，特别是一种多CPU并行视频处理系统、级联系统及其方法。

背景技术

图像与人们的生产生活息息相关，是人类获取和交换信息的主要来源，据统计人类有80％以上的信息来自于图象。随着计算机和视频技术及硬件技术的发展，图象显示在各个领域都得到了广泛的应用，人们对图象显示的需求也在不断地提高。同时大屏幕拼墙系统在各个领域的应用越来越广，为了适应用户的多元化需求，需要对海量视频数据进行的处理越来越多，这个对视频处理技术提出了一个新的挑战。

传统的视频处理多采用图形处理器(Graphic Processing Unit，GPU)进行，限于目前单个显卡的处理能力有限，很难生成超高分辩率的图象。虽然大部分通用显示卡的输出分辨率和速度可以轻松达到2048×1536@60HZ以上，但是对于大屏幕桌面，如10240×7680@60HZ等信息量巨大的视频数据，单个显卡已经很难胜任了。在大屏幕拼墙数据处理中，有采用传统总线型的技术方案，通过信号采集卡采集VIDEO信号、RGB信号等输入图像后，通过PCI、PCIX等总线方式将该图像直接传输到显示卡输出显示或传输到系统CPU后，再传输至显示卡输出显示。该传统方案的缺点是受地址空间限制，每个接入设备均需要占用内存空间，因此外部端点设备如接入的显卡、采集卡等个数有限，不能实现无限扩展；同时因为PCI、PCIX总线已经是一种比较早的总线技术了，当输入信号或输出通道数量增多时，会出现总线带宽不足的情况，这导致出现图像无法流畅显示的问题，随着目前需要处理的信号数量的增加，这种缺陷已越来越严重。通过在各个CPU之间采用以太网交换的方式实现视频并行处理功能。这种方式在网元内部各个单板处理器之间的实用比较成熟，数据报文交换也比较灵活，但是很难满足目前海量视频数据的带宽要求，对路由的交换能力也要求非常高；同时，随着屏幕平均数的不断增加，级联的要求也越来越迫切，网络方式的并行视频处理目前还不能实现视频显示的级联功能。

发明内容

本发明的第一个发明目的，在于提供一种多CPU并行视频处理系统，以解决海量视频数据处理中单个CPU系统因处理速度限制而无法实现图像流畅显示的的技术问题。

为了实现本发明的第一个发明目的，采用的技术方案如下：

一种多CPU并行视频处理系统，包括至少一个非透明桥、多个与视频显示系统连接的CPU系统，所述多个CPU系统通过PCI-E总线和非透明桥相连接；多个CPU系统之间通过非透明桥地址映射方式通讯。

作为一种优选方案，所述非透明桥地址映射方式为：在单个CPU系统中设置有读内存映射区和写内存映射区，读内存映射区通过非透明桥从其他CPU系统的内存读取数据，写内存映射区通过非透明桥向其它CPU系统的内存写入数据。

作为一种优选方案，所述系统包括第一CPU系统、第二CPU系统和非透明桥，第一CPU系统通过第一PCI-E总线与非透明桥连接，第二CPU系统通过第二PCI-E总线与非透明桥连接；

在第一CPU系统内设置有第二CPU系统的读内存映射区和写内存映射区，第一CPU系统通过读内存映射区经非透明桥从第二CPU系统的内存读取数据，第一CPU系统通过写内存映射区经非透明桥向第二CPU系统的内存写入数据；

在第二CPU系统内设置有第一CPU系统的读内存映射区和写内存映射区，第二CPU系统通过读内存映射区经非透明桥从第一CPU系统的内存读取数据，第二CPU系统通过写内存映射区经非透明桥向第一CPU系统的内存写入数据。

作为一种优选方案，所述系统包括第一CPU系统、第三CPU系统、非透明桥，第一CPU系统通过第一PCI-E总线与非透明桥相连，第三CPU系统通过第三PCI-E总线与非透明桥连接；

在第一CPU系统内设置有第三CPU系统的读内存映射区和写内存映射区，第一CPU系统通过读内存映射区经非透明桥从第三CPU系统的内存读取数据，第一CPU系统通过写内存映射区经非透明桥向第三CPU系统的内存写入数据；

在第三CPU系统内设置有第一CPU系统的读内存映射区和写内存映射区，第三CPU系统通过读内存映射区经非透明桥从第一CPU系统的内存读取数据，第三CPU系统通过写内存映射区经非透明桥向第一CPU系统的内存写入数据。

作为进一步的优选方案，所述系统还包括时钟模块，所述时钟模块为差分时钟输出，与非透明桥的全局时钟和非透明桥多个端口时钟连接。

本发明的第二个发明目的，在于提供一种级联系统，该级联系统对多个本发明第一个发明目的所提供多CPU并行视频处理系统进行级联，以解决现有技术中，接入设备均需要占用系统的内存空间，因此外部端点设备如接入的显卡、采集卡等个数有限技术问题。

为了实现本发明的第二个发明目的，采用的技术方案如下：

一种多CPU级联并行视频处理系统，对多个权利要求1所述多CPU并行视频处理系统进行级联，多个多CPU并行视频处理系统之间通过非透明桥系统进行连接。

作为一种优选方案，所述系统包括第一多CPU并行视频处理系统和第二多CPU并行视频处理系统，第一多CPU并行视频处理系统与第二多CPU并行视频处理系统通过非透明桥系统和PCI-E总线连接。

本发明的第三个发明目的，在于提供一种多CPU并行视频处理方法，以应用本发明第一个和第二个发明目的所提出的视频处理系统。

为了实现本发明的第三个发明目的，采用的技术方案如下：

一种多CPU并行视频处理方法，采用本发明第一个和第二个发明目的所提出的多CPU并行视频处理系统，包括主CPU系统和多个子CPU系统，其特征在于，所述方法包括如下步骤：

(1)配制非透明桥寄存器；

(2)主CPU系统设定有用于读写其它多个子CPU系统的读内存映射区和写内存映射区，每个子CPU系统设定有用于读写主CPU系统的读内存映射区和写内存映射区；

(3)主CPU系统对需要处理的视频数据进行数据分块，并将其分布到多个用于写子CPU系统的写内存映射区中；

(4)主CPU系统发出读命令，多个子CPU系统从用于读主CPU系统的读映射内存中读取数据，并完成返回读完毕响应；

(5)数据读取完毕后，主CPU系统发出处理命令，多个子CPU系统完成数据的处理并在大屏幕中显示出来。

作为一种优选方案，所述步骤(4)，当子CPU系统从用于读主CPU系统的读映射内存中读取数据时，若数据没有读取完毕，则尝试重复发送读命令，发送N次命令后仍然没有读取完毕，放弃该次操作，并返回读失败信号。

作为进一步的优选方案，N小于10且大于等于3。

本发明采用非透明桥连接多个CPU系统，然后通过CPU系统控制视频显示，从而实现多视频并行处理，突破了单个高性能CPU或GPU的计算能力，大大提高了海量视频信号的处理能力，同时解决了接入端点受限的瓶颈，可使大屏幕显示更为流畅。高速的硬件通道和PCI-E协议，为系统提供了更为可靠的数据传输。采用无主多处理器系统方式，启动时候配置非透明桥，为数据传递提供了灵活性。通过非透明桥系统，该系统可以实现级联功能，级联系统中的CPU没有上限，可以实现无限个拼接屏幕的显示。多个CPU独立工作，可以实现大屏幕的多用户系统，一个拼墙多个用户，最大限度满足用户需求。同时可以利用个人PC的卓越性能，在操作系统上实现单个小视频模块的编解码、视频缩放、视频优化等性能，节省硬件成本，给用户带来性价比更好的视频处理产品。

附图说明

图1为本发明多CPU互联模式示意图；

图2是本发明多CPU并行视频处理系统硬件框图；

图3是本发明并行模式的CPU内存映射模式示意图；

图4是本发明多CPU并行视频处理系统并行处理流程图；

图5是本发明多系统间实现级联示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。如图1所示为本发明实施例的最基本的技术方案：

一种多CPU并行视频处理系统，包括至少一个非透明桥(NTB)、多个与视频显示系统连接的CPU系统，所述多个CPU系统通过PCI-E总线和非透明桥相连接；多个CPU系统之间通过非透明桥地址映射方式通讯。

多个CPU系统通过PCI-E总线(Programmable Communication Interface Express，最新的总线和接口标准，该处采用2.0规范，随着规范版本提升，带宽可以相应提升)和非透明桥相连接，利用NTB的交换(switch)功能，实现多个CPU系统之间的点对点通信。

在本实施例中，采用了一个非透明桥，八个CPU系统通过非透明桥相连接，从而组成一个并行视频处理系统。

每个CPU系统具有一个或多个外围设备相关联的信息处理部件，外围设备信息传输具有一个基础协议，即PCI-E。单通道的PCI-E总线带宽可以达到1GB/s，该总线有X1、X2、X4、X8和X16、X32(X32目前还不支持)通道规格可选，如果采用X4，通道的总带宽可以达到4GB/s(每个字节10比特来计算)，单方向带宽可以达到2GB/s，即20Gbit/s。超宽的PCI-E数据传输通道为大屏幕的海量视频数据提供了高速通道。例如逐行扫描，帧率通常为60Hz的1080P无压缩视频传输需要3Gbit/s的数据通道，采用PCI-E通道可以传输多个1080P视频数据，保证了视频信号传输的流畅。

如图2所示为本发明多CPU并行视频处理系统硬件框图。

电源模块产生各个芯片所需要的电压，负责给其他模块供电。由于高速的串行信号线(SerDes，是指一对差分对信号)需要有较为精准的时钟作为NTB内部PLL(指锁相环，该类型的桥芯片一般内置锁相环用于时钟倍频、分频)的基础，该并行视频处理架构中专门设计了时钟模块，提供所需时钟。时钟控制模块采用了高精度时钟芯片，在25Mhz的晶振基础上产生差分时钟。时钟芯片可以配置成100M或者125M差分时钟输出，输出100MHz或者125MHz(+/-300ppm)的时钟作为非透明桥芯片的全局时钟(GCLK)时钟和各个端口(Port)的时钟，通过内置PLL，提供给各路SerDes端口需要的5GHz时钟。热插拔控制模块，主要采用热交换芯片对插槽电平进行控制，实现器件检测和电流控制功能。状态显示模块可以用多个LED灯显示系统运行的各个状态，亦可以通过外部接口读取模块中寄存器设置的值来确定系统运行状态。SMBus配置IC主要用于系统的通讯用，可以用于设置系统各种初始化状态下的配置，同时支持动态修改桥芯片的配置和显示系统运行状态。EEPROM用于存储桥芯片的初始化配置，每次上电时，桥芯片首先从该器件中上载相关配置。分布在系统中的各个PCIe槽是连接各个CPU的高速通道，高速的视频数据通过这些通道在各个CPU中得到交换，使得并行处理得以实现。在该硬件架构的基础上，由系统中一个CPU发出视频并行处理请求，并传输处理命令和数据给其它CPU系统。各个CPU系统接到命令后，对视频进行相应的处理，处理可以包括缩放、图象去噪优化、3D渲染等。所述CPU系统为多个普通的个人PC或多个带操作系统的嵌入式CPU。

非透明桥采用目前通用成熟的IC来实现，非透明桥芯片在上电启动过程中通过I2C总线对其进行初始化设置，同时在上位机软件中完成各种寄存器的配置，完成中断设置、地址映射等功能。非透明桥有便笺寄存器、门铃寄存器和心跳消息等寄存器，其中便笺寄存器在非透明桥的两端都是可读写的，但是，便笺寄存器的数量在具体的实现中是可以不同的。他们可以被桥两边的设备用来传送一些状态信息。也可作为通用的可读可写寄存器使用；门铃寄存器被用来从非透明桥的一边向另一边发送中断。非透明桥的两边一般都有软件可以控制的中断请求寄存器和相应的中断屏蔽寄存器。这些寄存器在非透明桥的两边都是可以被访问的。心跳消息一般来自主设备端往从设备端的主机，可用来指示它还活着。从设备主机可监控主设备主机的状态，如果发现出错，它就可以采取一些必要的措施。通过门铃寄存器可以传送心跳消息。当从设备主机没有收到一定数量预先规定好的心跳消息时，就可以认为主设备的主机出错了。

本发明系统中通过这些寄存器来实现各个CPU之间的部分状态信息交换。通过非透明桥的连接作用，各个CPU之间有了信息交换传递的通道，实现了点对点的通信。系统中非透明桥的通信带宽可以是动态的，也可以是固定的，通过对非透明桥的动态配置，实现系统中各个CPU的PCI-E带宽的自适应。为了方便实现，本系统中采用固定带宽。

因此，为各个CPU系统之间提供了高速的视频数据交换通道。

如图3所示为本发明并行模式的CPU内存映射模式示意图。

在本发明系统中，因为各个CPU是并行模式的，所以需要有一种和主从模式不同的内存映射模式来支持并行系统的运行，因此，我们提出了一种并行模式的非透明桥地址映射方式。该方式就是在每个CPU系统中都指定了其他CPU的内存映射区，实现每个CPU系统的内存区均有一对一的交叉映射存在。考虑到每个CPU都需要和其他CPU进行通信，需要读、写两块内存映射区域，所以系统有N个CPU时每个CPU就划分为(N-1)*2块内存区。

系统中各个CPU的数据传递是通过非透明桥来实现的，需要在从一个内存地址空间穿越到另一个地址空间时进行地址翻译。子CPU系统直接读写本地经过映射后的内存，就相当于对映射端的CPU系统的内存进行操作。

下面我们以3个CPU系统组成的并行视频运算架构为例，详细说明并行模式的非透明桥地址映射方式。见图4，3个CPU系统中，每个CPU系统分别划出4块内存区，内存区1和内存区2用来做它侧CPU内存到本侧的映射，本侧CPU对该区间的操作相当于对映射过去的它侧CPU内存的操作；内存映射区间1和内存映射区间2用来做本侧CPU内存到它侧的映射，它侧CPU对其内存的操作相当于对本侧内存映射区的操作。在该种映射方式下，实现了CPU点对点的内存共享，是并行处理架构的基础。

通过该映射后，任意一个CPU系统均可以操作其他CPU系统的内存，可以实现对其他CPU系统内存的读写操作；对其他CPU内存读写在操作本身的CPU看来是对自己区域内的内存的操作，而且不会影响到目标CPU系统的其他系统任务。

如图4所示为本发明多CPU并行视频处理系统并行处理流程图。

1)各个CPU系统之间是平行的关系，任何一个CPU系统都可以发起并行视频处理命令，发起视频处理命令的CPU系统为主CPU系统，其他CPU系统则为子CPU系统。

2)首先在系统启动过程中通过配置模块对非透明桥进行配置，完成各个CPU之间的高速通道连接；

3)配置过程中同时完成各个CPU之间的内存地址映射，配置完成后，此时系统具备了并行视频数据处理能力；

4)主CPU系统对需要处理的视频数据进行数据分块，并将其分布在映射好的内存中；

5)数据准备就绪，主CPU系统发出读命令，子CPU系统从相应的映射内存中读取数据，并完成返回读完毕响应；

6)若数据没有读取完毕，则进入读取判断子程序，在读取判断子程序中继续等待一个读取周期后，若还没有完成数据读取，则尝试重复发送读命令，发送三次命令后仍然没有读取完毕，放弃该次操作，并返回读失败信号。

7)数据读取完毕后，由主CPU系统发出处理命令，各个子CPU系统完成数据的处理并在大屏幕中显示出来。

该方法突破了单个高性能CPU或GPU的计算能力，大大提高了海量视频信号的处理能力。

图5为本发明第二个实施例，实现多CPU并行视频处理系统之间的级联。

单独的多CPU并行视频处理系统之间可以实现级联。级联就是指在两个并行处理系统之间建立视频信号通道，使得两个系统之间的视频数据可以交互。级联主要是借助于非透明桥系统，在各个并行处理系统间利用PCI-E通道互联实现。非透明桥系统包括了一个计算机和一个非透明桥，该系统实现高速海量视频数据流的交换功能。并行处理系统中的一个CPU通过非透明桥系统和另外一个并行系统中的CPU进行数据交换；仍然是通过内存映射和PCI-E通道的配置实现。级联中内存的映射和通道配置可以通过加载EEPROM中的配置程序来实现。

具体实现见图5所示，在单个并行处理系统之间再连接一个非透明桥系统，给各个系统之间提供了一个高速的信息通道，使得视频数据和控制信号可以跨越一个系统到另外一个系统。两个并行处理系统之间的PCI-E通道可以是X4、X8或者X16，视具体应用而定；单个系统内部的PCI-E通道也可以是X4、X8或者X16；图中表明的通道数只是其中的一种应用；通过级联后，不同多CPU并行视频处理系统间的CPU机也可以实现互相通信。

非透明桥系统级联本质上来说，就是给两个CPU间开通高速的信息通道。利用系统的级联，可以实现无限大屏幕的拼墙显示。

以上所述仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种多CPU并行视频处理系统，包括至少一个非透明桥、多个与视频显示系统连接的CPU系统，其特征在于：所述多个CPU系统通过PCI-E总线和非透明桥相连接；多个CPU系统之间通过非透明桥地址映射方式通讯。

2.根据权利要求1所述的多CPU并行视频处理系统，其特征在于，所述非透明桥地址映射方式为：在单个CPU系统中设置有读内存映射区和写内存映射区，读内存映射区通过非透明桥从其他CPU系统的内存读取数据，写内存映射区通过非透明桥向其它CPU系统的内存写入数据。

3.根据权利要求1所述的多CPU并行视频处理系统，其特征在于，所述系统包括第一CPU系统、第二CPU系统和非透明桥，第一CPU系统通过第一PCI-E总线与非透明桥连接，第二CPU系统通过第二PCI-E总线与非透明桥连接；

在第一CPU系统内设置有第二CPU系统的读内存映射区和写内存映射区，第一CPU系统通过读内存映射区从经非透明桥从第二CPU系统的内存读取数据，第一CPU系统通过写内存映射区经非透明桥向第二CPU系统的内存写入数据；

在第二CPU系统内设置有第一CPU系统的读内存映射区和写内存映射区，第二CPU系统通过读内存映射区经非透明桥从第一CPU系统的内存读取数据，第二CPU系统通过写内存映射区经非透明桥向第一CPU系统的内存写入数据。

4.根据权利要求1所述的多CPU并行视频处理系统，其特征在于，所述系统包括第一CPU系统、第三CPU系统、非透明桥，第一CPU系统通过第一PCI-E总线与非透明桥相连，第三CPU系统通过第三PCI-E总线与非透明桥连接；

在第一CPU系统内设置有第三CPU系统的读内存映射区和写内存映射区，第一CPU系统通过读内存映射区经非透明桥从第三CPU系统的内存读取数据，第一CPU系统通过写内存映射区经非透明桥向第三CPU系统的内存写入数据；

在第三CPU系统内设置有第一CPU系统的读内存映射区和写内存映射区，第三CPU系统通过读内存映射区经非透明桥从第一CPU系统的内存读取数据，第三CPU系统通过写内存映射区经非透明桥向第一CPU系统的内存写入数据。

5.根据权利要求1-4所述的多CPU并行视频处理系统，其特征在于，所述系统还包括时钟模块，所述时钟模块为差分时钟输出，与非透明桥的全局时钟和非透明桥多个端口时钟连接。

6.一种多CPU级联并行视频处理系统，对多个权利要求1所述多CPU并行视频处理系统进行级联，其特征在于，多个多CPU并行视频处理系统之间通过非透明桥系统进行连接。

7.根据权利要求6所述的多CPU级联并行视频处理系统，其特征在于，所述系统包括第一多CPU并行视频处理系统和第二多CPU并行视频处理系统，第一多CPU并行视频处理系统与第二多CPU并行视频处理系统通过非透明桥系统和PCI-E总线连接。

8.一种多CPU并行视频处理方法，采用权利要求1或6所述的并行视频处理系统，包括主CPU系统和多个子CPU系统，其特征在于，所述方法包括如下步骤：

(1)配制非透明桥寄存器；

(2)主CPU系统设定有用于读写其它多个子CPU系统的读内存映射区和写内存映射区，每个子CPU系统设定有用于读写主CPU系统的读内存映射区和写内存映射区；

(3)主CPU系统对需要处理的视频数据进行数据分块，并将其分布到多个用于写子CPU系统的写内存映射区中；

(4)主CPU系统发出读命令，多个子CPU系统从用于读主CPU系统的读映射内存中读取数据，并完成返回读完毕响应；

(5)数据读取完毕后，主CPU系统发出处理命令，多个子CPU系统完成数据的处理并在大屏幕中显示出来。

9.根据权利要求8所述的多CPU并行视频处理方法，其特征在于，所述步骤(4)，当子CPU系统从用于读主CPU系统的读映射内存中读取数据时，若数据没有读取完毕，则尝试重复发送读命令，发送N次命令后仍然没有读取完毕，放弃该次操作，并返回读失败信号。

10.根据权利要求9所述的多CPU并行视频处理方法，其特征在于，其特征在于N小于10且大于等于3。

Images