CN100469108C - 实时视频、图像传输方法 - Google Patents

Abstract

本发明提出一种实时视频、图像传输方法，将视频场景内的视频信息区域划分为不变化的背景信息区域和产生信息变化的局部区域，对于不变化的背景信息在视频会议系统中的采集时只需要采集、存储、传送一次；而对于产生信息变化的局部区域生成连续视频流；并将产生信息变化的局部区域的位置和大小作为参数进行采集、存储和传输，并只需要传送一次。在视频会议系统的信息接收和显示端根据收到背景信息、产生信息变化的局部区域的连续视频流及其位置和大小参数重新构建为完整的场景信息。由于产生信息变化的局部区域信息量是整个场景信息量的部分，因此可以有效的减少实时视频、图像传输系统中的信息传输量，是实现实时视频、图像传输系统的有效技术。

Description

实时视频、图像传输方法

技术领域

本发明涉及利用图像数字化技术和图像信息处理技术将视频场景内的视频信息区域划分为不变化的背景信息区域和产生信息变化的局部区域，不同的信息区域采用不同的处理方式以有效的减少视频会议系统中的信息传输量，是实现实时视频会议系统的有效技术。尤其在视频会议系统的视频场景内运动区域比较少的环境可以大大降低视频信息的数据量、提高视频信息在网络中的传输速度，属于图像信息处理技术领域和信息传输技术领域。

背景技术

当今社会，多媒体信息的采集、传输、接收正在成为主要的信息沟通方式，对于经过数字化处理的图像信息和视频流信息的传播由于其直观性、易于理解性成为人们娱乐、信息交流和沟通重要形式。但是由于目前的图像和视频流信息的数字化采集方法中图像信息的数据量很大，而用于传输的网络带宽总是有限，不能满足日益增大的图像信息量和视频流信息量的传播需求，成为实现多媒体信息传播的主要障碍。在目前的视频、图像传输系统中，由于视频信息量大的问题影响了系统的实时性；一些视频、图像传输系统通过降低系统中视频图像空间分辨率和颜色分辨率来改进实时性。

为解决图像数据信息和视频流信息的传播问题，人们在信息的编解码、信息压缩、信息调制等方面进行了大量研究，并推出了各种算法和实现标准。但人们对于如何在信息采集和数字化的时候如何降低信息量的研究并不多。目前的图像信息和视频流信息的采集和数字化主要是以图像传感器为基础，将场景内的全部信息通过图像传感器生成一幅幅图像全景信息，然后对全景信息进行数字化处理后进行存储。特别在视频流信息的生成中，按满足视觉的最低要求的每秒25帧图像要求，其信息量很大。当人们对于空间分辨率和颜色色度要求提高到高清晰标准后，其信息量更大。这为视频信息在网络中的传输提出了更多的挑战。

本发明所要解决的问题是在保证视频信息质量的同时通过降低视频信息采集和数字化的原始信息量，从而从根本上解决视频信息数据量大的问题，为多媒体信息在网络中的传播提出了一种更加有效的技术，并可成为实现实时视频、图像传输系统的有效技术。

发明内容

为解决上述问题，本发明提出了将视频场景内的视频信息区域划分为不变化的背景信息区域和产生信息变化的局部区域，对于不变化的背景信息在视频会议系统中的采集时只需要采集一次、在数据存储时也只存储一次、在信息的传输中只传送一次；而对于产生信息变化的局部区域采用连续采集、存储、传输方式；同时为了确定产生信息变化的局部区域的位置，需要预先确定产生信息变化的局部区域在整个全景场景图像的位置和大小，并将产生信息变化的局部区域的位置和大小作为参数进行采集、存储和传输，并只需要传送一次。在视频会议系统的信息接收和显示端根据收到的不变化的背景信息、连续产生信息变化的局部区域的视频流和产生信息变化的局部区域的位置和大小参数重新构建为完整的场景信息。由于产生信息变化的局部区域信息量是整个场景信息量的部分，因此可以有效的减少视频、图像传输系统中的信息传输量，是实现实时视频、图像传输系统的有效技术。

本发明的技术方案描述如下：

1、一种实时视频、图像传输方法，包括如下步骤：

在发送端：

1)将整个视频流或多个视频图像根据背景的变化分成多个背景基本不变化的分段视频流或多个相同背景的视频图像集合；

2)对于每个分段视频流或多个相同背景的视频图像集合，由于其背景基本不变化，将背景设定为静止对象，在每个分段视频流或多个相同背景的视频图像集合只需要记录一幅完整的背景图像，在场景内没有任何运动物体情况下，首先获得该幅背景图像信息；

3)对于每个分段视频流或多个相同背景的视频图像集合，根据发生信息变化区域的分布，可以将发生信息变化区域划分成一个或多个发生信息变化区域，并且用长方形的长、宽和在图像场景信息中的相对位置参数标记每个发生信息变化的区域大小和在图像场景信息中的相对位置，并存储这些参数；

4)对于不变化的背景信息的采集时只需要采集一次、在数据存储时也只存储一次；

5)对于产生信息变化的区域采用连续采集、存储方式；

6)同时为了确定产生信息变化的区域的位置，需要预先确定产生信息变化的区域在整个全景场景图像的位置和大小，并将产生信息变化的区域的位置和大小作为参数进行一次采集、存储；

7)对于背景信息采用静态图像压缩、编码算法进行处理；

8)对于信息变化区域的视频流信息采用运动图像压缩、编码算法进行处理；

9)对于参数信息采用无损压缩、编码算法进行处理；

10)增加背景信息标志、变化区域数量标志；

11)将压缩后的背景信息标志、变化区域数量标志、背景信息、信息变化区域、参数信息按一定顺序排放；

12)对于信息变化的区域采用连续传输方式；

在接收端：

1)根据信息标志获得视频流的背景信息、变化区域的视频流信息、变化区域的参数信息的压缩编码信息；

2)对于背景信息采用静态图像压缩、编码算法进行解码和解压缩处理；

3)对于信息变化区域的视频流信息采用运动图像压缩、编码算法进行解码和解压缩处理；

4)对于参数信息采用无损压缩、编码算法进行解码和解压缩处理；

5)通过软件恢复出原始场景的完整视频流信息。

2、所述的拍摄场景的背景信息是在没有包含会发生运动变化的物体时拍摄的一幅静态图像，而且在所述的拍摄场景的背景信息基本不变的一段视频流信息中只需要存储一幅所述的拍摄场景的背景信息。

3、所述的发生信息变化的区域用一个长方形区域标记，并用该长方形区域的一个顶点在整个场景的相对位置信息来标识长方形区域的位置，用长方形区域的长度和宽度来标识其大小。

4、所述的分段视频流或多个相同背景的视频图像集合中的每段视频流或每个相同背景的视频图像集合存储时用不同的标志信息区分所述的背景信息、参数信息、区域连续信息。

5、所述的分段视频流或多个相同背景的视频图像集合中的每段视频流或每个相同背景的视频图像集合存储时按一定的存储结构存储所述的标志信息和所述的背景信息、参数信息、区域连续信息。

6、所述的分段视频流或多个相同背景的视频图像集合中的各个分段视频流或多个相同背景的视频图像集合存储时按拍摄的时间顺序存储、发送和接收；而且在接收端恢复出来的视频场景信息按原拍摄顺序播放或显示。

由于在视频信息流的传输过程中，只有场景的局部区域按视频流方式连续采集和处理，相比目前已知系统将整个场景按视频流方式连续采集和处理来说，原始处理的信息量减少。特别对于类似视频会议系统等背景信息变化基本没有变化的视频、图像传输系统，由于大幅度减少了信息处理和传输的数据量，可以更好地实现实时传输，同时图像传输质量不会下降。

在本发明中，为了进一步减少背景信息的信息量，当背景信息可能因为运动物体的引入和照射光线的变化而出现变化，通过记录照射光线的角度和强度参数，然后将这些参数传送到接收端。接收端利用光学原理采用一定的软件算法在接收端可以模拟出这种变化而自动调整背景信息，我们可以不需要传输实际背景因运动物体的引入和照射光线的变化而产生的原始图像。

在本发明中，为了进一步减少背景信息的信息量，当拍摄过程中存在一个大的背景，通过拍摄设备的移动或焦距变化而改变拍摄场景的背景信息。此时首先要拍摄出整个大背景的图像信息作为传输信息，同时通过记录拍摄设备的移动参数和焦距参数，然后将这些参数传送到接收端。接收端利用光学原理采用一定的软件算法在接收端可以模拟出这种变化而自动调整背景信息，我们可以不需要传输实际背景因拍摄设备的移动或焦距变化而产生的原始图像。

现实中，大部分视频流信息或图像集合信息都具有图像背景相对不便的情况。如视频会议系统，其视频背景信息通常不会发生变化；如电影拍摄或电视剧拍摄，通常是由数个背景场景基本相同的情节段构成，这些都是本发明应用的主要方向。

附图说明

图1是本发明实时视频、图像传输系统对于只有一个信息变化区域的视频场景区域划分与参数标记示意图。

图2是本发明实时视频、图像传输系统对于有两个信息变化区域的视频场景区域划分与参数标记示意图。

图3是本发明实时视频、图像传输系统中分段视频流存储结构示意图。

具体实施方式

下面结合附图和实施示例对本发明的技术方案进一步详细说明：

图1是本发明实时视频、图像传输系统对于只有一个信息变化区域的视频场景区域划分与参数标记示意图。如图1所示，对于一段视频流或图像集合，场景中只有一个信息变化区域。将场景划分为背景信息部分1、信息变化区域3。为了能够在信息接收端恢复原始场景信息，还需要记录信息变化区域3在场景中的相对位置信息5和信息变化区域3的矩形区域边长参数2、4。在拍摄本场景下的一段视频流时，只需要记录一幅背景信息，场景中变化区域的视频流信息和信息变化区域3的参数信息。对于背景信息部分1的信息采用静态图像压缩、编码算法进行处理；对于信息变化区域3的视频流信息采用运动图像压缩、编码算法进行处理，对于参数信息采用无损压缩、编码算法进行处理。这些经过处理的信息按特定的信息流顺序并附加信息标志后进行传输。信息接收端采用与发送端相对应的解码、解压缩算法恢复出背景信息、信息变化区域视频流信息、信息变化区域参数信息，然后通过软件可以有效的恢复出原始场景的完整视频流信息。由于在信息源端的信息量已经大大减少，可以解决实时视频、图像传输信息量大的问题。

图2是本发明实时视频、图像传输系统对于有两个信息变化区域的视频场景区域划分与参数标记示意图。如图2所示，对于一段视频流或图像集合，场景中有两个信息变化区域。将场景划分为背景信息部分6、信息变化区域一8、信息变化区域二12。为了能够在信息接收端恢复原始场景信息，还需要记录信息变化区域一8在场景中的相对位置信息10、信息变化区域一8的矩形区域边长参数7和9、信息变化区域二12在场景中的相对位置信息14、信息变化区域二12的矩形区域边长参数11和13。在拍摄本场景下的一段视频流时，只需要记录一幅背景信息，场景中变化区域的视频流信息和信息变化区域8、12的参数信息。对于背景信息部分6的信息采用静态图像压缩、编码算法进行处理；对于信息变化区域8、12的视频流信息分别采用运动图像压缩、编码算法进行处理，对于参数信息采用无损压缩、编码算法进行处理。这些经过处理的信息按特定的信息流顺序并附加信息标志后进行传输。信息接收端采用与发送端相对应的解码、解压缩算法恢复出背景信息、信息变化区域视频流信息、信息变化区域参数信息，然后通过软件可以有效的恢复出原始场景的完整视频流信息。由于在信息源端的信息量已经大大减少，可以解决实时视频、图像传输信息量大的问题。

图3是本发明实时视频、图像传输系统中分段视频流存储结构示意图。对于一段视频流或图像集合，采用本发明中所述的信息采集和处理方法后，为了便于信息的恢复，在存储信息时需要增加信息标志，并将信息标志和信息内容按一定顺序排放。如图3所示是一种存放顺序示例，第一段视频流的存储信息和顺序包含背景信息标志I、背景图像信息II、变化区域数量标志III、变化区域(1、2、…、n)的参数信息(IV 1、IV 2、…、IV n)、变化区域(1、2、…、n)的视频流信息(V 1、V 2、…、n)，随后存放下一段视频流信息，重复第一段的存放顺序，如下一段视频流的背景信息标志VI、背景图像信息VII、……。在接收端就可以根据信息标志获得视频流的背景信息、变化区域的视频流信息、变化区域的参数信息。通过软件就可以恢复出原始场景的完整视频流信息。如果在信息采集时还记录了照射光线的角度和强度参数和/或拍摄设备的移动参数和焦距参数，在分段视频流存储结构可以将这些参数插入存放序列中，并增加相应的信息标志。

由于本发明中的实时视频、图像传输系统中在保证了图像质量的同时从信息源端将信息量大量减少，为实现视频、图像信息的实时传输提供了可能。相比目前已知的视频流或图像处理技术和系统，本发明具有更少的信息处理量，在同样的传输带宽条件下可以更好地实现实时传输，同时由于没有采用复杂的算法或技术，因此容易实现和推广。

最后所应说明的是：以上实施示例仅用以说明而非限制本发明的技术方案，尽管参照上述实例对本发明进行了详细说明，本领域的技术人员应当理解：依然可以对本发明进行修改或者同等替换，而不脱离本发明的精神和范围的任何修改或者局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1、一种实时视频、图像传输方法，其特征在于包括如下步骤：

在发送端：

1)将整个视频流或多个视频图像根据背景的变化分成多个背景基本不变化的分段视频流或多个相同背景的视频图像集合；

2)对于每个分段视频流或多个相同背景的视频图像集合，由于其背景基本不变化，将背景设定为静止对象，在每个分段视频流或多个相同背景的视频图像集合只需要记录一幅完整的背景图像，在场景内没有任何运动物体情况下，首先获得该幅背景图像信息；

3)对于每个分段视频流或多个相同背景的视频图像集合，根据发生信息变化区域的分布，可以将发生信息变化区域划分成一个或多个发生信息变化区域，并且用长方形的长、宽和在图像场景信息中的相对位置参数标记每个发生信息变化的区域大小和在图像场景信息中的相对位置，并存储这些参数；

4)对于不变化的背景信息的采集时只需要采集一次、在数据存储时也只存储一次；

5)对于产生信息变化的区域采用连续采集、存储方式；

6)同时为了确定产生信息变化的区域的位置，需要预先确定产生信息变化的区域在整个全景场景图像的位置和大小，并将产生信息变化的区域的位置和大小作为参数进行一次采集、存储；

7)对于背景信息采用静态图像压缩、编码算法进行处理；

8)对于信息变化区域的视频流信息采用运动图像压缩、编码算法进行处理；

9)对于参数信息采用无损压缩、编码算法进行处理；

10)增加背景信息标志、变化区域数量标志；

11)将压缩后的背景信息标志、变化区域数量标志、背景信息、信息变化区域、参数信息按一定顺序排放；

12)对于信息变化的区域采用连续传输方式；

在接收端：

1)根据信息标志获得视频流的背景信息、变化区域的视频流信息、变化区域的参数信息的压缩编码信息；

2)对于背景信息采用静态图像压缩、编码算法进行解码和解压缩处理；

3)对于信息变化区域的视频流信息采用运动图像压缩、编码算法进行解码和解压缩处理；

4)对于参数信息采用无损压缩、编码算法进行解码和解压缩处理；

5)通过软件恢复出原始场景的完整视频流信息。

2、如权利要求1所述的实时视频、图像传输方法，其特征在于，所述的拍摄场景的背景信息是在没有包含会发生运动变化的物体时拍摄的一幅静态图像，而且在所述的拍摄场景的背景信息基本不变的一段视频流信息中只需要存储一幅所述的拍摄场景的背景信息。

3、如权利要求1所述的实时视频、图像传输方法，其特征在于，所述的发生信息变化的区域用一个长方形区域标记，并用该长方形区域的一个顶点在整个场景的相对位置信息来标识长方形区域的位置，用长方形区域的长度和宽度来标识其大小。

4、如权利要求1所述的实时视频、图像传输方法，其特征在于，所述的分段视频流或多个相同背景的视频图像集合中的每段视频流或每个相同背景的视频图像集合存储时用不同的标志信息区分所述的背景信息、参数信息、区域连续信息。

5、如权利要求1所述的实时视频、图像传输方法，其特征在于，所述的分段视频流或多个相同背景的视频图像集合中的每段视频流或每个相同背景的视频图像集合存储时按一定的存储结构存储所述的标志信息和所述的背景信息、参数信息、区域连续信息。

6、如权利要求1所述的实时视频、图像传输方法，其特征在于，所述的分段视频流或多个相同背景的视频图像集合中的各个分段视频流或多个相同背景的视频图像集合存储时按拍摄的时间顺序存储、发送和接收；而且在接收端恢复出来的视频场景信息按原拍摄顺序播放或显示。

Images