CN102685415A - 一种视频画面处理方法、系统、设备及终端 - Google Patents

Abstract

本发明实施例公开了一种视频画面处理方法，系统、设备及终端，应用于视频会议中对多视频画面进行处理，该方法包括：视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，该内容描述信息包括视频画面中分区画面的个数，以及每个分区画面的属性信息；根据视频画面的内容描述信息对视频画面进行处理。本发明实施例由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，如：对接收到的视频画面进行提取、放大、缩小、删除、重组等操作，提升了视频画面呈现的多样性，满足终端用户的不同需求。

Description

一种视频画面处理方法、系统、设备及终端

技术领域

本发明涉及视频处理技术领域，特别是涉及一种视频画面处理方法、系统、设备及终端。

背景技术

随着IP(Internet Protocol，网络协议)网络的迅速发展，视频会议系统，特别是基于H.323(视频会议标准)的视频会议系统得到日益广泛的应用。在现有技术一种视频会议的典型应用场景中，终端T_A、T_B、T_C分别是位于不同会场内的终端设备，这些终端设备均接入MCU(Multipoint Control Unit，多点控制单元)设备MCU_A。终端T_A、T_B、T_C分别将本终端会场内的视频画面经过编码后传递给MCU_A，MCU_A将各个视频画面进行解码，并将解码后的视频画面缩小并叠加，叠加后的多画面形成一幅视频画面，对该一幅视频画面进行视频编码，再将编码后的视频码流发送到需要观看的终端设备上进行呈现，视频设备对该一幅视频画面进行呈现时，仅能针对该一幅画面进行整体的放大、缩小等。

由此可见，现有技术中不论是终端设备发送的视频码流，还是MCU发送的多画面视频码流，对于接收上述视频码流的设备来说，只能选择对叠加后的多画面形成的一幅视频画面进行缩放处理，或者直接输出该一幅视频画面。因此，按照现有视频画面处理方式，接收终端难以根据自身需求对包含多画面的组合画面进行灵活操作，比如，当终端用户想要从接收到的组合画面中挑选其中一个会场对应的视频画面进行观看时，则按照现有实现方式难以满足该需求。

发明内容

本发明实施例提供了一种视频画面处理方法、系统、设备及终端，以解决现有技术中接收端难以对接收到的组合画面中的每个画面进行单独处理的问题。

本发明实施例公开了如下技术方案：

一种视频画面处理方法，应用于视频会议中对多视频画面进行处理，包括：

视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

根据所述视频画面的内容描述信息对所述视频画面进行处理。

一种视频画面处理方法，应用于视频会议中对多视频画面进行处理，包括：

视频码流发送端向视频码流接收端发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。

一种视频画面处理系统，应用于视频会议中对多视频画面进行处理，包括：视频码流接收端和视频码流发送端，

所述视频码流接收端，用于获取所述视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息，并根据所述视频画面的内容描述信息对所述视频画面进行处理；

所述视频码流发送端，用于向所述视频码流接收端发送视频画面的内容描述信息，并接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。

一种视频画面处理设备，应用于视频会议中对多视频画面进行处理，所述视频画面处理设备作为视频码流接收端，包括：

获取单元，用于获取视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

处理单元，用于根据所述视频画面的内容描述信息对所述视频画面进行处理。

一种视频画面处理终端，应用于视频会议中对多视频画面进行处理，所述视频画面处理终端作为视频码流发送端，包括：

第二发送单元，用于向视频码流接收端发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

接收单元，用于接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。

由上述实施例可以看出，本发明实施例中视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，该内容描述信息中包括视频画面中分区画面的个数，以及每个分区画面的属性信息，视频码流接收端根据视频画面的内容描述信息对视频画面进行处理。本发明实施例由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此使得接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，尤其应用在级联的视频会场环境中时，每个接收视频画面的设备都可以对接收到的视频画面进行提取、放大、缩小、删除、重组等操作，相应提升了视频画面呈现的多样性，满足终端用户的不同需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明视频画面处理方法的第一实施例流程图；

图2为本发明视频画面处理方法的第二实施例流程图；

图3为应用本发明视频画面处理方法实施例的第一种应用场景示意图；

图4为应用本发明视频画面处理方法实施例的第二种应用场景示意图；

图5为应用本发明视频画面处理方法实施例的第三种应用场景示意图；

图6为应用本发明视频画面处理方法实施例的第四种应用场景示意图；

图7为本发明视频画面处理系统的实施例框图；

图8为本发明视频画面处理设备的第一实施例框图；

图9A为本发明视频画面处理设备的第二实施例框图；

图9B为图9A中处理单元的实施例框图；

图10为本发明视频画面处理终端的实施例框图。

具体实施方式

本发明如下实施例提供了一种视频画面处理方法、系统、设备及终端。

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

本发明实施例应用在视频会议系统中，其中视频码流接收端与视频码流发送端之间通过交互对多视频画面进行处理，上述交互过程包括视频会议的建立过程和视频会议通话过程，其中视频会议建立过程进一步包括视频码流发送端与视频码流接收端之间的媒体协商过程，以及在媒体协商完成后打开通话双方媒体通道的过程。

结合具体的应用场景，本发明实施例中的视频码流接收端可以为MCU，视频码流发送端可以为该MCU下连接的多个终端设备；或者，视频码流接收端可以为级联的多个MCU中的最上层MCU，视频码流发送端可以为最上层MCU下连接的多个MCU；或者，视频码流接收端可以为级联的多个MCU中的最上层MCU，视频码流发送端可以为最上层MCU下连接的至少一个MCU和至少一个终端设备。

参见图1，为本发明视频画面处理方法的第一实施例流程图：

步骤101：视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，该内容描述信息包括视频画面中分区画面的个数，以及每个分区画面的属性信息。

其中，视频码流发送端和视频码流接收端之间要进行会话时，首先要进行视频通信建立过程，包括会话双方的媒体协商过程，以及打开会话双方媒体通道的过程；其次在视频通信建立的基础上进行视频通话过程。因此，本发明实施例中视频码流接收端可以在打开与视频码流发送端之间的媒体通道后，获取视频码流发送端所发送视频画面的内容描述信息，视频码流接收端也可以在与视频码流发送端进行视频通信的过程中，获取视频码流发送端携带在所发送视频画面码流中的内容描述信息；进一步，视频码流接收端可以在打开与视频码流发送端之间的媒体通道后，以及在与视频码流发送端进行视频通信的过程中，同时接收视频画面的内容描述信息。

内容描述信息包括视频画面中分区画面的个数，以及每个分区画面的属性信息。其中，分区画面的个数用于表示视频画面中所包含的分区画面的数量；每个分区画面的属性信息包括：每个分区画面是否有效的标志属性，用于表示该分区画面是否为需要被提取的分区画面；每个分区画面在视频画面中的位置信息，用于指示在视频画面中的哪个位置提取该分区画面；每个分区画面的内容长度信息及内容信息，其中内容长度信息用于表示该分区画面视频内容的起止位置，内容信息表示该分区画面的具体视频内容。

步骤102：根据视频画面的内容描述信息对该视频画面进行处理。

其中，对该视频画面进行处理包括：根据内容描述信息对视频画面中无效的分区画面进行填充；根据内容描述信息对所述视频画面中的分区画面进行提取；对所提取的分区画面进行缩小、放大、删除或重新组合。需要说明的是，上面列举了所有可能用到的对视频画面进行处理的方式，在实际应用过程中，可以根据需要仅应用其中的部分处理方式，例如，仅包含对分区画面进行提取，并对提取的分区画面进行缩小或放大，或者，仅包含对分区画面进行提取并进行重新组合等等，即对于处理方式的各种组合应用本发明实施例不进行限制。

由上述实施例可知，由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此使得接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，尤其应用在级联的视频会场环境中时，每个接收视频画面的设备都可以对接收到的视频画面进行提取、放大、缩小、删除、重组等操作，相应提升了视频画面呈现的多样性，满足终端用户的不同需求。

参见图2，为本发明视频画面处理方法的第二实施例流程图：

步骤201：视频码流接收端在与视频码流发送端进行媒体协商的过程中，向视频码流发送端发送视频码流接收端所能支持的视频画面的内容描述信息类型。

视频码流发送端和视频码流接收端之间要进行会话时，首先要进行视频通信建立过程，包括会话双方的媒体协商过程，以及打开会话双方媒体通道的过程；其次在视频通信建立的基础上进行视频通话过程。

其中，在视频码流发送端与视频码流接收端进行媒体协商过程中，通常需要协商双方使用的视频压缩协议、视频画面的分辨率、视频的压缩带宽等参数。本实施例中，进一步，视频码流接收端可以将本端所能支持的视频画面的内容描述信息类型发送给视频码流发送端。与实施例一中的描述一致，该内容描述信息类型中描述了视频码流接收端所能支持的视频画面中分区画面的个数，以及每个分区画面的属性信息。其中，分区画面的个数用于表示视频画面中所包含的分区画面的数量；每个分区画面的属性信息包括：每个分区画面是否有效的标志属性，每个分区画面在视频画面中的位置信息，每个分区画面的内容长度信息和内容信息。也就是说，视频码流接收端在协商过程中，将自身可以支持的视频画面的分区个数和分区属性告知视频码流发送端，以使视频码流发送端可以根据视频码流接收端的支持能力发送相应的视频画面。

步骤202：视频码流接收端在打开与视频码流发送端之间的媒体通道后，获取视频码流发送端所发送视频画面的内容描述信息。

在打开会话双方媒体通道的过程中，视频码流发送端可以将本端所能发送的视频画面的内容描述信息发送给视频码流接收端。与实施例一中的描述一致，该内容描述信息包括视频画面中分区画面的个数，以及每个分区画面的属性信息。其中，分区画面的个数用于表示视频画面中所包含的分区画面的数量；每个分区画面的属性信息包括：每个分区画面是否有效的标志属性，用于表示该分区画面是否为需要被提取的分区画面；每个分区画面在视频画面中的位置信息，用于指示在视频画面中的哪个位置提取该分区画面；每个分区画面的内容长度信息及内容信息，其中内容长度信息用于表示该分区画面视频内容的起止位置，内容信息表示该分区画面的具体视频内容。

需要说明的是，本发明实施例中所描述的视频码流发送端，当其发送视频码流时，也可作为视频码流接收端。因此，对于同一个视频终端来说，其作为视频码流发送端时所发送的视频画面的内容描述信息，与其作为视频码流接收端时所发送的能够接收的视频画面的内容描述信息可以不同。

步骤203：视频码流接收端在与视频码流发送端进行视频通信的过程中，获取视频码流发送端携带在所发送视频画面码流中的内容描述信息。

在视频通话过程中，视频码流发送端可以将视频画面的内容描述信息携带在视频码流中发送给视频码流接收端。与实施例一中的描述一致，该内容描述信息包括视频画面中分区画面的个数，以及每个分区画面的属性信息。其中，分区画面的个数用于表示视频画面中所包含的分区画面的数量；每个分区画面的属性信息包括：每个分区画面是否有效的标志属性，用于表示该分区画面是否为需要被提取的分区画面；每个分区画面在视频画面中的位置信息，用于指示在视频画面中的哪个位置提取该分区画面；每个分区画面的内容长度信息及内容信息，其中内容长度信息用于表示该分区画面视频内容的起止位置，内容信息表示该分区画面的具体视频内容。

步骤204：视频码流接收端根据视频画面的内容描述信息对视频画面进行处理。

其中，对该视频画面进行处理包括：根据内容描述信息对视频画面中无效的分区画面进行填充；根据内容描述信息对所述视频画面中的分区画面进行提取；对所提取的分区画面进行缩小、放大、删除或重新组合(简称：重组)。

例如，可以根据内容描述信息中的分区画面是否有效的属性信息，识别出有效的分区画面，然后根据该分区画面在视频画面中位置信息查找到该分区画面的起始位置，并根据分区画面的内容长度信息提取出有效的分区画面，对于提取出来的有效分区画面，可以进一步对其内容信息进行放大处理；或者，将提取出来的有效的多个分区画面中的若干分区画面的内容信息进行缩小，放置在包含更多分区画面的视频画面中，比如将9个分区画面中的有效分区画面提取之后缩小，作为分区画面放置在一个具有16个分区画面的视频画面中；或者，将提取出来的有效的多个分区画面中的各分区画面位置重新组合，针对不同的视频呈现终端将不同的分区画面进行重新组合，针对不同的视频呈现终端需要重点显示某个分区画面，则将其它分区画面删除，或者在无效区域填充该需要重点显示的分区画面。

需要说明的是，上述实施例示出了视频通信建立过程和视频通话过程中均传输视频画面的内容描述信息，在实际应用中，可以仅在视频通信建立过程传输视频画面的内容描述信息，或者仅在视频通话过程中传输视频画面的内容描述信息，对此本发明实施例不进行限制。另外，在视频码流发送端和视频码流接收端进行视频通话过程中，随着通话时间的变化，以及视频画面的内容切换变化，视频码流接收端和视频码流发送端之间也可以更新视频画面的内容描述信息，并将更新后的视频画面的内容描述信息携带在视频码流中进行传输。

由上述实施例可见，本发明实施例由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此使得接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，尤其应用在级联的视频会场环境中时，每个接收视频画面的设备都可以对接收到的视频画面进行提取、放大、缩小、删除、重组等操作，相应提升了视频画面呈现的多样性，满足终端用户的不同需求；进一步，由于接收端预先向发送端发送了自身可以支持的视频画面的分区个数和分区属性，因此视频码流发送端可以根据视频码流接收端的支持能力发送相应的视频画面，提高了视频画面的传输处理效率。

下面介绍几种前述视频画面处理方法实施例所应用的视频会议场景。

参见图3，为应用本发明视频画面处理方法实施例的第一种应用场景示意图：

图3中，终端T_A(媒体码流接收端)和MCU_A(媒体码流发送端)之间建立视频通话后，MCU_A将包含了多个分区画面的视频画面的内容描述信息传输给终端T_A，终端T_A根据接收的内容描述信息和视频画面的媒体码流，可以选择将多个分区画面中的若干分区画面提取出来，分别进行缩小、放大、填充、删除、重组等操作。例如，图3中，终端T_A将多个分区画面中的分区画面B单独提取出来，放大后输出到显示设备上进行独立显示。

参见图4，为应用本发明视频画面处理方法实施例的第二种应用场景示意图：

图4中，MCU_A下级联了三个终端T_A、T_B和T_C。其中，终端T_A、T_B、T_C可以分别与MCU_A建立视频通话连接。当MCU_A需要将终端T_A、T_B、T_C发送的视频画面组成一个包含多个分区画面的视频画面时，组成多画面的方式可以根据视频会议的要求得到，例如，要求四等分视频画面，并在每个分区画面中显示一个终端传输的视频画面，则MCU_A可以在分别与终端T_A、T_B、T_C进行视频通话协商过程中，根据分区画面的位置和大小等内容描述信息，告知终端T_A、T_B、T_C将本端视频画面进行缩小，并放置在视频画面中的指定位置，同时在传输视频画面码流时将视频画面的内容描述信息同时发送给MCU_A。如图4中，终端T_A发送的视频画面中，分区画面A位于左上角，终端T_B发送的视频画面中，分区画面B位于右上角，终端T_C发送的视频画面中，分区画面C位于左下角，

MCU_A作为终端T_A、T_B、T_C的接收方，根据终端T_A、T_B、T_C发送的视频画面描述信息以及视频画面码流解码出来的视频图像，进行分区画面的提取、放大、缩小、填充、删除、重组等操作。如图4中，MCU_A结合接收到的终端T_A、T_B、T_C发送的视频画面描述信息，对其中的各个分区画面进行处理，把终端T_A、T_B、T_C发送的视频画面中的分区画面提取出来，其中分区画面A、B、C均放置在一个新的视频画面中，然后MCU_A可以将该新的视频画面发送给各个终端。

参见图5，为应用本发明视频画面处理方法实施例的第三种应用场景示意图：

图5中，MCU_A下级联了终端T_A、T_B、T_C，MCU_B下级联了终端T_D、T_E、T_F，MCU_A和MCU_B之间也相互连接。其中，MCU_A可以采用如图4中所示的方式，得到包含由终端T_A、T_B、T_C所传输分区画面所组成的视频画面。

进一步，MCU_B可以通过与MCU_A协商获得视频画面的内容描述信息，或者也可以由MCU_A根据视频会议要求将得到的包含多个分区画面的视频画面的内容描述信息跟随视频画面码流传输给MCU_B。MCU_B作为MCU_A的接收方，根据MCU_A发送的视频画面的内容描述信息以及视频画面码流解码出来的视频图像，对其中的分区画面进行提取、放大、缩小、填充、删除、重组等操作。如图5中，MCU_B结合接收到的MCU_A发送的视频画面的内容描述信息，对其中的分区画面进行处理，把分区画面A、B、C分别提取出来，缩小后放置在新的视频画面中，同时将终端T_D、T_E、T_F传输的分区画面D、E、F缩小后分别放置在新的视频画面的相应位置，然后MCU_B可以将该新的视频画面发送给各个终端。

参见图6，为应用本发明视频画面处理方法实施例的第四种应用场景示意图：

图6中，MCU_A下级联了终端T_A、T_B、T_C，MCU_B下级联了终端T_D、T_E、T_F，MCU_A和MCU_B均级联到MCU_C下。其中，MCU_A和MCU_B均可以采用如图4中所示的方式，得到包含由终端级联终端传输的分区画面所组成的视频画面。其中，MCU_C和MCU_A、MCU_B分别建立视频通话后，MCU_A将终端T_A、T_B、T_C传输的视频画面根据内容描述信息组成一个视频画面，MCU_B将终端T_D、T_E、T_F传输的视频画面根据内容描述信息组成一个视频画面。MCU_C可以通过和MCU_A、MCU_B协商得到视频画面的内容描述信息，也可以由MCU_A、MCU_B根据视频会议要求将得到的包含多个分区画面的视频画面的内容描述信息跟随视频画面码流传输给MCU_C。

MCU_C作为MCU_A、MCU_B视频画面的接收方，根据MCU_A、MCU_B发送的视频画面的内容描述信息以及视频画面码流解码出来的视频图像，进行分区画面的提取、放大、缩小、填充、删除、重组等操作。如图6中，MCU_C结合接收到的MCU_A、MCU_B发送的视频画面的内容描述信息，对其中的分区画面进行处理，提取MCU_A发送的视频画面码流中的分区画面A、B、C，以及MCU_B发送的视频画面码流中的分区画面D、E、F，其中分区画面B、C、D、E、F缩小后放置在新的视频画面中的相应位置，分区画面A放大后放置在新的视频画面的相应位置，MCU_C可以将组合后的新的视频画面发送给MCU_A和MCU_B，MCU_A和MCU_B分别将该新的视频画面发送给所级联的终端。

通过上述在视频会议场景中应用本发明视频画面处理过程的描述可知，由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此使得接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，尤其应用在级联的视频会场环境中时，每个接收视频画面的设备都可以对接收到的视频画面进行提取、放大、缩小、删除、重组等操作，相应提升了视频画面呈现的多样性，满足终端用户的不同需求。

下面对视频码流发送端和视频码流接收端采用不同的协议进行视频会话时，视频画面的内容描述信息的具体形式进行描述。

一、采用SIP协议

上述视频会议应用场景中，在视频建立过程中，如果视频会话双方协商过程采用SIP协议，则在传输视频画面的内容描述信息时，可以根据SIP协议下媒体协商标准文档<rfc2327.txt>中的媒体流相关参数进行描述，如下参数中的加粗斜体字部分：

二、采用H.323协议

上述视频会议应用场景中，如果采用H.323协议进行视频会话，则在传输视频画面的内容描述信息时，需要在H.323的协商标准文档H.245协议中需要添加如下加粗斜体字部分描述的信息：

同样，在协商标准H.245的补充文档H.241协议(针对视频压缩标准H.264的协商协议)中，需要在如下表1所示的能力描述(Capability Identifier)表中增加使用加粗斜体字描述的内容：

表1

进一步，还要增加如下表2和表3，用于描述视频画面的内容描述信息，包括分区画面的个数、每个分区画面的属性(是否有效、在视频画面中的边界位置信息、相关的描述信息等)：

表2

表3

上述仅是示例性的描述，在应用不同的协议进行视频会话时，可以采用不同的方式对视频画面的内容描述信息进行描述，对此本发明实施例不进行限制。

与本发明视频画面处理方法的实施例相对应，本发明还提供了视频画面处理系统、视频画面处理设备和视频画面处理终端的实施例。

参见图7，为本发明视频画面处理系统的实施例框图。

该系统包括：视频码流接收端710和视频码流发送端720。

其中，视频码流接收端710，用于获取视频码流发送端720所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息，并根据所述视频画面的内容描述信息对所述视频画面进行处理；

所述视频码流发送端720，用于向所述视频码流接收端发送视频画面的内容描述信息，并接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。

具体的，视频码流接收端710可以在打开与所述视频码流发送端720之间的媒体通道后，获取所述视频码流发送端所发送视频画面的内容描述信息；或可以在与所述视频码流发送端720进行视频通信的过程中，获取所述视频码流发送端720携带在所发送视频画面码流中的内容描述信息。

进一步，视频码流接收端710，还用于在与所述视频码流发送端720进行媒体协商的过程中，向所述视频码流发送端720发送所述视频码流接收端710所能支持的视频画面的内容描述信息类型，以使所述视频码流发送端720根据所述视频码流接收端710所能支持的视频画面的内容描述信息，向所述视频码流接收端710发送视频画面的内容描述信息。

图7所示的视频画面处理系统中，视频码流接收端710可以为MCU，视频码流发送端720可以为MCU下连接的多个终端设备；或者，视频码流接收端710可以为级联的多个MCU中的最上层MCU，视频码流发送端720可以为最上层MCU下连接的多个MCU；或者，视频码流接收端710可以为级联的多个MCU中的最上层MCU，视频码流发送端720可以为最上层MCU下连接的至少一个MCU和至少一个终端设备。

参见图8，为本发明视频画面处理设备的第一实施例框图，该视频画面处理设备通常应用于视频会议中，作为视频码流接收端对多视频画面进行处理：

该视频画面处理设备包括：获取单元810和处理单元820。

其中，获取单元810，用于获取视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

处理单元820，用于根据所述视频画面的内容描述信息对所述视频画面进行处理。

图8中所示的视频画面处理设备可以具体为连接了多个终端设备的多点控制单元MCU，或者级联的多个MCU中的最上层MCU，或者连接的至少一个MCU和至少一个终端设备的最上层MCU。

参见图9A，为本发明视频画面处理设备的第二实施例框图，该视频画面处理设备通常应用于视频会议中，作为视频码流接收端对多视频画面进行处理：

该视频画面处理设备包括：第一发送单元910、获取单元920和处理单元930。

其中，第一发送单元910，用于在与所述视频码流发送端进行媒体协商的过程中，向所述视频码流发送端发送所述视频码流接收端所能支持的视频画面的内容描述信息类型；

获取单元920，用于获取视频码流发送端根据所述视频码流接收端所能支持的视频画面的内容描述信息类型，向所述视频码流接收端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

处理单元930，用于根据所述视频画面的内容描述信息对所述视频画面进行处理。

具体的，获取单元920可以具体用于，在打开与所述视频码流发送端之间的媒体通道后，获取所述视频码流发送端所发送视频画面的内容描述信息或者在与所述视频码流发送端进行视频通信的过程中，获取所述视频码流发送端携带在所发送视频画面码流中的内容描述信息。

图9A中所示的视频画面处理设备可以具体为连接了多个终端设备的多点控制单元MCU，或者级联的多个MCU中的最上层MCU，或者连接的至少一个MCU和至少一个终端设备的最上层MCU。

参见图9B，为图9A中处理单元的实施例框图：

该处理单元930可以包括：

填充单元931，用于根据所述内容描述信息对所述视频画面中无效的分区画面进行填充；其中，可以根据内容描述信息中的分区画面是否有效的属性信息，识别出无效的分区画面，然后根据该分区画面在视频画面中的位置信息查找到该分区画面的起始位置，并根据分区画面的内容长度信息提取出无效的分区画面，对于提取出来的无效分区画面，可以用有效的分区画面对其进行填充；

提取单元932，用于根据所述内容描述信息对所述视频画面中的分区画面进行提取；

缩小单元933，用于对所述提取单元所提取的分区画面进行缩小；

放大单元934，用于对所述提取单元所提取的分区画面进行放大；

删除单元935，用于对所述提取单元所提取的分区画面进行删除；

重组单元936，用于对所述提取单元所提取的分区画面进行重新组合。

需要说明的是，图9B中示出了处理单元930可能包含的所有功能单元，但是在实际应用过程中，可以根据需要使处理单元930仅包含其中部分功能单元。例如，该处理单元930可以具体包括：提取单元932、缩小单元933、放大单元934、填充单元931，从而实现将视频画面中的分区画面提取后，利用缩小单元933或放大单元934对提取后的分区画面进行缩小或放大，然后将缩小或放大之后的分区画面进行填充。或者，该处理单元930还可具体包括：提取单元932、缩小单元933、放大单元934、重组单元936、填充单元931，从而实现将视频画面中的分区画面提取后，利用缩小单元933或者放大单元934对提取后的分区画面进行缩小或者放大，然后将缩小或放大的分区画面利用重组单元936进行重组，而后利用填充单元931将重组之后的画面进行填充。由此可知，对于本领域技术人员来说，应该能够想到其他的组合实现方式，限于篇幅，不再赘述，即对于处理单元930中所包含的功能单元的各种组合方式本发明实施例不进行限制。

参见图10，为本发明中视频画面处理终端的实施例框图，该视频画面处理终端通常应用于视频会议中，作为视频码流发送端对视频画面进行处理：

该视频画面处理终端包括：第二发送单元1010和接收单元1020。

其中，第二发送单元1010，用于向视频码流接收端发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

接收单元1020，用于接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。

进一步，所述第二发送单元1010，具体用于在打开与所述视频码流接收端之间的媒体通道后，向所述视频码流接收端发送视频画面的内容描述信息，或者在与所述视频码流接收端进行视频通信的过程中，向所述视频码流接收端发送携带了内容描述信息的视频画面码流。

进一步，所述接收单元1020，还用于所述视频码流发送端在与所述视频码流接收端进行媒体协商的过程中，接收所述视频码流接收端发送的所述视频码流接收端所能支持的视频画面的内容描述信息类型；所述第二发送单元1010，具体用于根据所述视频码流接收端所能支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。

图10中所示的视频画面处理终端可以具体为：作为视频码流接收端的MCU下连接的多个终端设备中的一个，或者作为级联的多个MCU中的最上层MCU下连接的多个MCU中的一个，或者作为级联的多个MCU中的最上层MCU下连接的多个终端设备中的一个。

通过对以上实施方式的描述可知，本发明实施例中视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，该内容描述信息中包括视频画面中分区画面的个数，以及每个分区画面的属性信息，视频码流接收端根据视频画面的内容描述信息对视频画面进行处理。本发明实施例由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此使得接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，尤其应用在级联的视频会场环境中时，每个接收视频画面的设备都可以对接收到的视频画面进行提取、放大、缩小、删除、重组等操作，相应提升了视频画面呈现的多样性，满足终端用户的不同需求。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (21)

1.一种视频画面处理方法，应用于视频会议中对多视频画面进行处理，其特征在于，包括：

视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

根据所述视频画面的内容描述信息对所述视频画面进行处理。

2.根据权利要求1所述的方法，其特征在于，所述视频码流接收端通过至少一种下述方式，获取视频码流发送端所发送视频画面的内容描述信息：

所述视频码流接收端在打开与所述视频码流发送端之间的媒体通道后，获取所述视频码流发送端所发送视频画面的内容描述信息；

所述视频码流接收端在与所述视频码流发送端进行视频通信的过程中，获取所述视频码流发送端携带在所发送视频画面码流中的内容描述信息。

3.根据权利要求1所述的方法，其特征在于，所述视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息之前，还包括：

所述视频码流接收端在与所述视频码流发送端进行媒体协商的过程中，向所述视频码流发送端发送所述视频码流接收端所支持的视频画面的内容描述信息类型，以使所述视频码流发送端根据所述视频码流接收端所支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。

4.根据权利要求1所述的方法，其特征在于，所述视频码流接收端按照至少一种下述方式，根据所述内容描述信息对所述视频画面进行处理：

根据所述内容描述信息对所述视频画面中无效的分区画面进行填充；

根据所述内容描述信息对所述视频画面中的分区画面进行提取；

对所提取的分区画面进行缩小、放大、删除或重新组合。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述每个分区画面的属性信息包括：

每个分区画面是否有效的标志属性，每个分区画面在所述视频画面中的位置信息，每个分区画面的内容长度信息及内容信息。

6.根据权利要求1至4所述的方法，其特征在于，

所述视频码流接收端为多点控制单元MCU，所述视频码流发送端为所述MCU下连接的多个终端设备；或者，

所述视频码流接收端为级联的多个MCU中的最上层MCU，所述视频码流发送端为所述最上层MCU下连接的多个MCU；或者，

所述视频码流接收端为级联的多个MCU中的最上层MCU，所述视频码流发送端为所述最上层MCU下连接的至少一个MCU和至少一个终端设备。

7.一种视频画面处理方法，应用于视频会议中对多视频画面进行处理，其特征在于，包括：

视频码流发送端向视频码流接收端发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。

8.根据权利要求7所述的方法，其特征在于，所述视频码流发送端通过至少一种下述方式，向视频码流接收端发送视频画面的内容描述信息：

所述视频码流发送端在打开与所述视频码流接收端之间的媒体通道后，向所述视频码流接收端发送视频画面的内容描述信息；

所述视频码流发送端在与所述视频码流接收端进行视频通信的过程中，向所述视频码流接收端发送携带了内容描述信息的视频画面码流。

9.根据权利要求7所述的方法，其特征在于，所述视频码流发送端向视频码流接收端发送视频画面的内容描述信息之前，还包括：

所述视频码流发送端在与所述视频码流接收端进行媒体协商的过程中，接收所述视频码流接收端发送的所述视频码流接收端所能支持的视频画面的内容描述信息类型；

所述视频码流发送端根据所述视频码流接收端所能支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。

10.根据权利要求7至9任意一项所述的方法，其特征在于，所述每个分区画面的属性信息包括：

每个分区画面是否有效的标志属性，每个分区画面在所述视频画面中的位置信息，每个分区画面的内容长度信息及内容信息。

11.一种视频画面处理系统，应用于视频会议中对多视频画面进行处理，其特征在于，包括：视频码流接收端和视频码流发送端，

所述视频码流接收端，用于获取所述视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息，并根据所述视频画面的内容描述信息对所述视频画面进行处理；

所述视频码流发送端，用于向所述视频码流接收端发送视频画面的内容描述信息，并接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。

12.根据权利要求11所述的系统，其特征在于，

所述视频码流接收端，具体用于在打开与所述视频码流发送端之间的媒体通道后，获取所述视频码流发送端所发送视频画面的内容描述信息；或在与所述视频码流发送端进行视频通信的过程中，获取所述视频码流发送端携带在所发送视频画面码流中的内容描述信息。

13.根据权利要求11所述的系统，其特征在于，

所述视频码流接收端，还用于在与所述视频码流发送端进行媒体协商的过程中，向所述视频码流发送端发送所述视频码流接收端所支持的视频画面的内容描述信息类型，以使所述视频码流发送端根据所述视频码流接收端所支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。

14.根据权利要求11至13任意一项所述的系统，其特征在于，

所述视频码流接收端为多点控制单元MCU，所述视频码流发送端为所述MCU下连接的多个终端设备；或者，

所述视频码流接收端为级联的多个MCU中的最上层MCU，所述视频码流发送端为所述最上层MCU下连接的多个MCU；或者，

所述视频码流接收端为级联的多个MCU中的最上层MCU，所述视频码流发送端为所述最上层MCU下连接的至少一个MCU和至少一个终端设备。

15.一种视频画面处理设备，应用于视频会议中对多视频画面进行处理，其特征在于，所述视频画面处理设备作为视频码流接收端，包括：

获取单元，用于获取视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

处理单元，用于根据所述视频画面的内容描述信息对所述视频画面进行处理。

16.根据权利要求15所述的设备，其特征在于，

所述获取单元，具体用于在打开与所述视频码流发送端之间的媒体通道后，获取所述视频码流发送端所发送视频画面的内容描述信息，或在与所述视频码流发送端进行视频通信的过程中，获取所述视频码流发送端携带在所发送视频画面码流中的内容描述信息。

17.根据权利要求15所述的设备，其特征在于，还包括：

第一发送单元，用于在与所述视频码流发送端进行媒体协商的过程中，向所述视频码流发送端发送所述视频码流接收端所支持的视频画面的内容描述信息类型，以使所述视频码流发送端根据所述视频码流接收端所支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。

18.根据权利要求15至17任意一项所述的设备，其特征在于，所述处理单元包括至少一个下列单元：

填充单元，用于根据所述内容描述信息对所述视频画面中无效的分区画面进行填充；

提取单元，用于根据所述内容描述信息对所述视频画面中的分区画面进行提取；

缩小单元，用于对所述提取单元所提取的分区画面进行缩小；

放大单元，用于对所述提取单元所提取的分区画面进行放大；

删除单元，用于对所述提取单元所提取的分区画面进行删除；

重组单元，用于对所述提取单元所提取的分区画面进行重新组合。

19.一种视频画面处理终端，应用于视频会议中对多视频画面进行处理，其特征在于，所述视频画面处理终端作为视频码流发送端，包括：

第二发送单元，用于向视频码流接收端发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；

接收单元，用于接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。

20.根据权利要求19所述的终端，其特征在于，所述发送单元，具体用于在打开与所述视频码流接收端之间的媒体通道后，向所述视频码流接收端发送视频画面的内容描述信息，或者在与所述视频码流接收端进行视频通信的过程中，向所述视频码流接收端发送携带了内容描述信息的视频画面码流。

21.根据权利要求19所述的终端，其特征在于，所述接收单元，还用于所述视频码流发送端在与所述视频码流接收端进行媒体协商的过程中，接收所述视频码流接收端发送的所述视频码流接收端所支持的视频画面的内容描述信息类型；

所述发送单元，具体用于根据所述视频码流接收端所支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。

Images