发明内容
为解决上述技术问题,本发明实施例提供了一种基于图像的视讯会议控制方法、终端及系统。
本发明实施例提供的一种基于图像的视讯会议控制方法,包括步骤:
向网络侧发送控制请求消息;
根据网络侧反馈的控制消息,动态显示图像信息,所述图像信息包括本地会议终端视频源图像信息,或各个会议终端对应的会场视频源图像信息;
根据所述图像信息,选择浏览模式,分别对显示的所述本地会议终端视频源图像信息,或者所述各个会议终端对应的会场视频源图像信息进行编辑设置,完成视讯会议控制操作。
进一步,本发明实施例还提供了一种会议终端,其包括:
发送模块,用于向网络侧发送控制请求消息;
显示模块,用于根据网络侧反馈的控制消息,动态显示图像信息;具体根据网络侧反馈的维护设置控制消息,显示本地会议终端视频源图像信息,或根据网络侧反馈的会议控制消息,显示各个会议终端对应的会场视频源图像信息;
控制模块,用于根据所述图像信息,对图像进行编辑完成视讯会议控制;所述控制模块包括:选择单元,用于选择会场浏览模式或非会场浏览模式;维护设置单元,用于当根据显示的所述本地会议终端视频源的地址本信息,选择会场浏览模式时,进行浏览、新增、修改、删除地址本内容和召集会议的操作;当根据显示的所述本地会议终端视频源配置图像信息,选择非会场浏览模式时,在所述本地会议终端相应子画面位置分别设置主流或辅流视频源;会场控制单元,用于当根据显示的所述各个会议终端对应的会场视频源图像信息,选择会场浏览模式时,通过对所述各个对应的会场视频源图像的点击编辑,完成视讯会议控制操作;当根据显示的所述各个会议终端对应的会场视频源图像信息,选择非会场浏览模式时,选择切换会议中的主流或辅流视频源图像。
再进一步,本发明实施例还提供了一种多点会议控制装置,包括:
维护设置控制模块,用于接收到会议终端发送的维护设置本地会议终端的请求后,控制进行所述会议终端的相关本地视频源图像维护设置操作;
所述维护设置控制模块包括维护控制单元,用于接收到会议终端发送的维护本地会议终端的请求后,发送所述会议终端的地址本信息,控制进行浏览、新增、修改、删除地址本内容和召集会议的操作;设置控制单元,用于接收到会议终端发送的设置本地会议终端的请求后,发送所述视频源配置图像信息,控制在所述会议终端相应子画面位置分别设置主流或辅流视频源;
会议控制模块,用于接收到会议终端发送的视讯会议控制请求后,对会议中各个会议终端对应的会场视频源播放图像进行编辑操作,完成视讯会议控制;
所述会议控制模块包括浏览控制单元,用于接收到会议终端发送的加入远程视讯会议的请求后,依次将会议中所有会场的视音频码流循环发送给请求加入远程视讯会议的会议终端,在所述会议终端屏幕的子画面中动态显示各个对应的会场视频源图像;开会控制单元,用于接收到会议终端发送的会场控制请求后,对所述会议终端屏幕的子画面中动态显示的各个会场视音频信号进行编辑控制操作。
更进一步,本发明实施例还提供了一种基于图像的视讯会议控制系统,包括:
会议终端,用于向网络侧发送控制请求消息,并根据网络侧反馈的控制消息,动态显示图像信息,从而对图像编辑设置进行视讯会议控制;
多点会议控制装置,用于接收到会议终端发送的控制请求后,对会议中各个会议终端对应的会场视频源播放情况进行编辑控制操作;
所述多个会议终端和所述多点会议控制单元通过互联网或无线通信网连接起来,传送数据。
采用本发明的实施例,通过各个会议终端显示的动态图像信息,进行设置编辑,来实现视讯会议中的各种会议控制操作,避免了需要进入多级菜单来进行复杂的视讯会议控制。由于可实时观测到各个会场的动态情况,所以比采用进入多级菜单进行选择按键操作更直观容易,同时在显示屏上没有多级控制菜单和会场图像争夺有限的显示窗口,也便于会议参加人员集中注意力观看、听取会议内容。
具体实施方式
为使本发明更加容易理解,下面结合附图对本发明作进一步阐述,但附图中的实施例不构成对本发明的任何限制。
本发明实施例提供了一种基于图像的视讯会议控制方法及系统,支持在远端和本端的会议终端上通过直接操作会场画面进行所有基本会场控制,在所有组合画面模式(包括单画面)下控制是一样的,会场控制操作的对象是所有子画面所对应的会场音频源码流和视频源码流。
实施例一
如图1所示,本发明实施例一提供了一种基于图像的视讯会议控制方法,包括步骤:
101、向网络侧发送控制请求消息。
通过会议终端向网络侧的多点会议控制装置,即多点会议控制单元MCU发送控制请求消息,所述控制请求消息包括维护设置本地会议终端的请求和/或远程视讯会议的控制请求。具体的,在没加入会议情况下,通过会议终端向网络侧的多点会议控制装置发送维护设置本地会议终端的请求;在加入会议情况下,根据会议需要,通过会议终端向网络侧的多点会议控制装置发送各种远程视讯会议的控制请求。
102、根据网络侧反馈的控制消息,动态显示图像信息。
会议终端根据网络侧的多点会议控制装置反馈的控制消息,动态显示本地会议终端视频源图像信息,或各个会议终端对应的会场视频源图像信息。
103、根据所述图像信息,对图像进行编辑完成视讯会议控制。
在没加入会议情况下,通过会议终端,当控制人员根据显示的所述本地会议终端视频源的地址本信息,选择会场浏览模式时,可以进行浏览、新增、修改、删除地址本内容和召集会议的操作;或者当控制人员根据显示的所述本地会议终端视频源配置图像信息,选择非会场浏览模式时,可以在所述本地会议终端相应子画面位置分别设置主流或辅流视频源。
在加入到会议情况下,通过会议终端,当控制人员根据显示的所述各个会议终端对应的会场视频源图像信息,选择会场浏览模式时,通过对所述各个对应的会场视频源图像的点击编辑,完成视讯会议控制操作;或者当控制人员根据显示的所述各个会议终端对应的会场视频源图像信息,选择非会场浏览模式时,选择切换会议中的主流或辅流视频源图像。
其中所述主流视频源显示所述会议终端对应的会场视频情况;所述辅流视频源显示所述会议终端对应的会场人员插播的静态画面或动态画面,其中所述静态画面包括演示的电子文档或电子图片,所述动态画面包括播放的视频文件或外接摄像头的输入图像。
本发明实施例提供的方法支持在所有组合画面模式下进行会场控制操作,各个会场的人员可以在会议终端上选择浏览模式,其中浏览模式包括会场浏览模式和非会场浏览模式。所述会场浏览模式和非会场浏览模式的主要区别为,在会场浏览模式下,系统自动显示所有会场的情况,可以浏览并控制会议中的所有会场对应的视频源图像;而在非会场浏览模式下,系统不能自动显示所有会场的情况,会场控制对象和会场控制对象的数目,受限于具体的组合画面模式,例如在单画面情况下,只能针对一个视频源进行会场控制操作。
会场浏览模式也是一种虚拟场景模式,会场浏览模式支持的组合画面形式有单画面、二画面、四画面、九画面和十六画面。点对点呼叫情况下默认四画面,多点呼叫情况下默认十六画面。根据多点会议控制单元反馈的控制信息,会议终端动态显示各个会场图像信息组成的会议列表。
为实现本发明的方法,参加会议人员根据显示的会议列表中相关会场子画面图像信息,可在会议终端上直接按键操作,或通过相关遥控器功能按键完成对应的会场控制操作。例如可控制进行观看会场、声控切换、多画面设置、切换、请求发言、结束视讯会议等操作,具体操作在下面的实施例中描述。
如图2所示,当在会场浏览模式下动态浏览会议列表的流程如下:
1、会议终端申请加入远程视讯会议后,比如在遥控器上按DIRECTORY键(该按键可复用其他遥控器按键或新定义)使会议终端直接进入会场浏览模式,并向多点会议控制装置请求浏览所有会场,作为一种实施方式,该多点会议控制装置可以是远程会议系统的多点会议控制服务器。
2、多点会议控制服务器根据会场列表信息,依次将来自各个会场的视频源的码流数据发送给所述请求进行会场浏览的会议终端,多点会议控制服务器控制循环的发送相应会场的码流数据,循环更新各个会场的图像。
3、所述会议终端收到控制信令和相应会场的码流数据后,依次在显示屏对应的子画面位置显示出来,保存并维持上一码流截屏,维护会场索引信息。维持的各个码流的静止图像,可用于下一次会场浏览,也可用于地址本、群组本、呼叫记录、日志等,作为辅助信息一并记录。远端会场视频源多画面一般是一路码流,会议终端需要自己区分识别出不同会场视频源在多画面中的位置。一方面多点会议控制服务器在设置多画面时,将各个会议终端在多画面中的对应子画面位置信息通过信令发送给各个会议终端;另一方面各个会议终端在申请加入远程视讯会议时,通过向多点会议控制服务器询问各个会议终端在自己屏幕多画面中的对应子画面位置信息。若会场视频源过多,在当前会场浏览模式下无空白子画面位置显示时,则不显示相应会场的视频,但依然正常解码,等待有无其它会场退出会议释放会议资源后再显示。
如图3所示,会议建立之后,会场人员可通过遥控器上下左右的方向键查看会场列表,即移动闪烁的会场子画面框查看会场列表,对于会议中的未入会会场和纯音频会场,使用默认图片替代显示。
会议主席终端可以观看整个会场列表,根据各个会议终端显示的图像信息,通过遥控器功能按键操作完成视讯会议中相关会场的控制。如图4所示,当有新的会议终端需要加入会议时,具体控制步骤如下:
(1)需要加入会议的新会议终端通过遥控器按键向多点会议控制服务器发送入会申请信号;
(2)多点会议控制服务器将该入会申请信号转发给会议主席终端,在显示屏的会场状态栏中显示新会议终端的相关信息,包括会场名称、号码、线路类型、速率、IP地址等;
(3)会议主席终端进入会场浏览模式,观看所有会场列表,通过遥控器方向键上下左右选择选择一个空白子画面位置,添加新会议终端的相关信息,包括叠加字幕标识会场名、选择视频源等操作,最后在该确定的空白子画面位置显示新会议终端的视频。
如图5所示,如果会议中的会场数目较多,比如有十八个会场,一屏显示不完,则可以通过上、下键回卷显示,或者PAGE UP、PAGE DOWN键翻页显示,进行相关的视音频源的选择切换操作。
下面再具体以操作方式说明在该会议终端系统中基于图像进行会议控制过程。本发明实施例结合会议终端用户使用遥控器来说明具体操作过程,本发明实施例所需要的遥控器按键功能不做具体定义和限定,可以理解的是会议终端用户也可以采用其他控制方式来控制视讯会议。
一、设置本地输入视频源步骤如下:
(1)没开会情况下,选择非会场浏览模式,设置定义子画面位置1显示本地主流视频源,定义子画面位置2显示本地辅流视频源;
(2)选择子画面位置1或者子画面位置2,双击图像框激活,进行选择视频源匹配添加到对应子画面的操作。这时子画面位置1显示的图像视频源即为当前设置的本地主流视频源;子画面位置2显示的图像视频源即为当前设置的本地辅流视频源。
二、如图6所示,在非会场浏览模式下,选择画面显示视频源的控制步骤如下:
(1)在非会场浏览模式下,选择一个或多个画面双击;
(2)按遥控器的DISPLAY键切换该画面显示的视频源;
(3)所有视频源按照默认顺序依次切换,按键一次,切换一次;
(4)在没开会情况下,通过所述会议终端在相应子画面位置选择切换本地主流或辅流视频源,例如选择切换本地会场视音频信号、本地会场输入的摄像头信号、本地会场外接电脑输入的演示电子文档;在开会情况下,根据会议需要,通过所述会议终端选择切换会议中的主流或辅流视频源,比如A会场人员发言时,系统将录制A会场情况的的主流视频源广播给会议中每个会议终端,如果A会场人员需要演示一个外接电脑的WORD文档,就可以切换成辅流视频源显示WORD文档。
三、如图7所示,在会场浏览模式下,选择画面显示视频源的控制步骤如下:
(1)在会场浏览模式下,选择一个开始浏览的子画面双击;
(2)按遥控器的DISPLAY键切换各个画面显示的视频源;
(3)所有视频源按照默认顺序从所述开始浏览的子画面依次切换显示,显示效果类似VCD/DVD的九画面预览效果,如图7所示,比如点对点呼叫时,选择会场浏览模式,则进入四画面,依次显示本地主流、本地辅流、远端主流、远端辅流。整个会议显示大屏幕中,多点会议中共有9个视频源,MCU当前正在发送更新码流7的图像,码流1、2、3、4、5、6、8、9子画面位置维持显示上一次更新后的静止图像,下一个将要更新的码流是码流8。
四、设置本地及会场观看视频源步骤如下:
(1)在会场浏览模式下,多点会议中,选择一个或先后选择两个画面按键SOURCE键双击激活;
(2)若只有一个画面被激活,规定设置本地会场观看视频源,设置的观看视频源为被选择画面的显示视频源;
如图8所示,比如在当前本地会场观看画面(如选择四画面),设置本地会场的观看视频源。进入会场列表选择预观看的会场图像,可以是一个或更多,如果选择4个会场,按键SOURCE键后,会场列表中被选中的会场,会以多画面的组合形式显示在本地会场中,即在本地会场视频源1的观看画面中显示会场4、7、13、16的图像;
(3)若有两个画面被激活,规定第一个画面所对应会场的观看视频源为第二个画面所对应会场的视频源。(仅针对拥有对会场码流设置权限的会场)
如图9所示,会场一~四对应视频源1~4。以本端显示四画面为例,使能会场一、会场三,会场一所观看的会场(其他会场)被切换为会场三的画面;如果被观看会场(如会场三)同时发送辅流,会场一观看的远端辅流画面切换显示会场三的辅流。
五、对会议中发言的控制过程。
比如如果有另外的会场想发言,则通过遥控器上“申请发言”键向多点会议控制服务器发送申请信号,所述多点会议控制服务器则控制在各个会议终端显示屏上闪烁需要发言的会场对应的子画面视屏图像,提示哪个会场需要发言,请发言完毕的会议终端结束发言后释放会议资源给申请发言的会议终端。
下面再具体说明对子画面的各种操作方式。
一、高亮框显示当前用户所选的子画面。
如图10所示,用户选择的组合画面中的当前子画面会有高亮框,即闪烁框提示用户,当用户在某时间段内没有对当前子画面进行视频源切换操作,高亮框将自动消失。在图10中,组合画面左上角的子画面会场一表示当前选中的子画面,用户可以对该子画面进行操作。
二、擦除画面的操作如图11所示
(1)在非会场浏览模式下,选择一个或多个画面点击激活该画面;
(2)按键BACKSPACE键擦除画面,被选择的子画面位置就无显示图像
三、自动填充画面的操作如图12所示
(1)在非会场浏览模式下,选择一个或多个空白画面双击激活;
(2)按键DISPLAY键,使用当前视频源填充显示所有被选择的空白画面。
四、缩/放画面的操作如图13所示
(1)在会场浏览模式或非会场浏览模式下,选择一个或多个画面双击激活;
(2)按键ZOOM IN/ZOOM OUT键后,被选择的画面被缩/放;
(3)若选择画面对应本地会场视频源,则进行本地摄像机控制或者本地编解码缩/放;
(4)若选择画面对应远端会场视频源,则请求远端摄像机控制;
五、观看/取消全屏的操作如图14所示
(1)在会场浏览模式或非会场浏览模式下,选择一个画面双击激活;
(2)按键RESIZE键,若画面焦点为多画面中的子画面,则该子画面被切换到单画面模式下显示;若画面焦点为单画面,则画面被切换到原多画面模式下显示;若原多画面模式不存在,则不处理;
六、选择成为主子画面
(1)在非会场浏览模式下,选择一个画面双击激活;
(2)按键SWAP键后,系统判断出只有一个画面双击激活,自动将被选择画面视频源与当前主子画面视频对换,成为新的主子画面;
七、交换画面显示位置的操作如图15所示
(1)在会场浏览模式或非会场浏览模式下,选择两个画面双击激活;
(2)按键SWAP键,交换两个画面位置的显示视频源.
下面再具体说明会议控制操作的过程
1、设置本地多画面显示,如图16所示
(1)在会场浏览模式或非会场浏览模式下,选择一个或多个画面双击激活;
(2)按键LAYOUT键,若在多点会议中,向MCU观看请求指定的多画面,切换到新的组合画面模式,显示被选择的一个或多个画面,新的组合画面模式能够刚好满足被选择画面的显示,最大为十六画面;若被选择的画面数目大于16个,则跳到下一页显示。
2、广播会场或多画面的步骤如下:
(1)在会场浏览模式下,选择一个或多个画面双击激活;
(2)按键DISPLAY键,请求广播会场或者多画面,默认多画面模式刚好显示所选视频源。
3、申请/释放会议主席终端的步骤如下:
(1)在会场浏览模式或非会场浏览模式下,按功能键F1,直接申请/释放会议主席终端;
(2)系统通过画面叠加字幕或图标显示会议主席终端状态。
4、轮询
(1)在会场浏览模式下,选择一个或多个画面双击激活;
(2)按功能键F2,离开会场浏览模式,在原组合画面模式中的主子画面位置或者单画面轮询所选视频源.
除上述会控操作外,本发明还支持其他一些未定义的会控操作,包括基本
的会控操作、地址本的修改和删除、召集会议/发起呼叫、请求观看远端会场辅流、请求指定会场观看定制组合画面等等,都可以通过这种方法实现。
对于遥控器按键功能的定义,除了类似上述的单键定义,在具体实现时,也可以使用功能键或组合键的方式。
实施例二
如图17所示,本发明实施例二还提供了一种会议终端,包括
发送模块21,用于接收会场遥控信号,向网络侧发送控制请求消息;
显示模块22,用于根据网络侧反馈的控制消息,动态显示图像信息;
控制模块23,用于根据所述图像信息,对图像进行编辑完成视讯会议控制。
所述显示模块22根据网络侧反馈的维护设置控制消息,显示本地会议终端视频源图像信息;或根据网络侧反馈的会议控制消息,显示各个会议终端对应的会场视频源图像信息。
如图18所示,其中所述控制模块23包括:
选择单元231,用于选择会场浏览模式或非会场浏览模式;
维护设置单元232,用于当根据显示的所述本地会议终端视频源的地址本信息,选择会场浏览模式时,进行浏览、新增、修改、删除地址本内容和召集会议的操作;当根据显示的所述本地会议终端视频源配置图像信息,选择非会场浏览模式时,在所述本地会议终端相应子画面位置分别设置主流或辅流视频源;
会场控制单元233,用于当根据显示的所述各个会议终端对应的会场视频源图像信息,选择会场浏览模式时,通过对所述各个对应的会场视频源图像的点击编辑,完成视讯会议控制操作;当根据显示的所述各个会议终端对应的会场视频源图像信息,选择非会场浏览模式时,选择切换会议中的主流或辅流视频源图像。
实施例三
如图19所示,本发明实施例三还提供了一种多点会议控制装置,包括:
维护设置控制模块31,用于接收到会议终端发送的维护设置本地会议终端的请求后,控制进行所述会议终端的相关本地视频源图像维护设置操作;
会议控制模块32,用于接收到会议终端发送的视讯会议控制请求后,对会议中各个会议终端对应的会场视频源播放图像进行编辑控制操作。
其中所述维护设置控制模块包括
维护控制单元,用于接收到会议终端发送的维护本地会议终端的请求后,发送所述会议终端的地址本信息,控制进行浏览、新增、修改、删除地址本内容和召集会议的操作;
设置控制单元,用于接收到会议终端发送的设置本地会议终端的请求后,发送所述视频源配置图像信息,控制在所述会议终端相应子画面位置分别设置主流或辅流视频源。
所述会议控制模块包括
浏览控制单元,用于接收到会议终端发送的加入远程视讯会议的请求后,依次将会议中所有会场的视音频码流循环发送给请求加入远程视讯会议的会议终端,在所述会议终端屏幕的子画面中动态显示各个对应的会场视频源图像;
开会控制单元,用于接收到会议终端发送的会场控制请求后,对所述会议终端屏幕的子画面中动态显示的各个会场视音频信号进行编辑控制操作。
实施例四
如图20所示,本发明实施例四还提供了一种基于图像的视讯会议控制系统,包括:
会议终端20,用于接收会场遥控信号,向网络侧发送控制请求消息,并根据网络侧反馈的控制消息,动态显示图像信息,从而对图像编辑设置进行视讯会议控制;
多点会议控制装置30,用于接收到会议终端发送的控制请求后,集中对会议中各个会议终端对应的会场视频源播放情况进行编辑控制操作;
所述多个会议终端和所述多点会议控制装置通过互联网或无线通信网连接起来,传送数据。
采用本发明的实施例,可以根据各个会场画面本身提供的丰富信息,配合遥控器直接选择操作单、多会场画面,来实现视讯会议中的各种会议控制操作,避免了需要进入多级菜单来进行复杂的视讯会议控制。由于可实时观测到各个会场的情况,所以比采用进入多级菜单进行选择按键操作更直观,同时在显示屏上没有多级控制菜单和会场图像争夺有限的显示窗口,也便于操作人员集中注意力。
以上所述是本发明的优选实施方式而已,当然不能以此来限定本发明之权利范围,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和变动,也可以用于其他的所有需要在终端界面上,通过图像操作实现控制功能的情况,包括但不限于视讯会议,电视监控等,这些改进和变动也视为本发明的保护范围。