CN106992971A - 一种互动终端切换方法、装置和一种互动录播系统 - Google Patents
一种互动终端切换方法、装置和一种互动录播系统 Download PDFInfo
- Publication number
- CN106992971A CN106992971A CN201710135861.4A CN201710135861A CN106992971A CN 106992971 A CN106992971 A CN 106992971A CN 201710135861 A CN201710135861 A CN 201710135861A CN 106992971 A CN106992971 A CN 106992971A
- Authority
- CN
- China
- Prior art keywords
- interactive
- venue
- sub
- place
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 289
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000003993 interaction Effects 0.000 claims description 75
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 230000033764 rhythmic process Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 235000012364 Peperomia pellucida Nutrition 0.000 description 1
- 240000007711 Peperomia pellucida Species 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明实施例公开了一种互动终端切换方法,用于解决现有互动终端的切换方式容易出错、切换效率低下,且容易打乱整个系统的互动节奏的问题。本发明实施例方法包括:检测当前互动的主会场和/或分会场的语音信息;对检测得到的所述语音信息进行语音识别,得到识别结果;对所述识别结果进行关键字提取,得到指令关键字;根据所述指令关键字生成终端切换指令;根据所述终端切换指令对所述当前互动的主会场和/或分会场进行互动终端的切换处理。本发明实施例还提供一种互动终端切换装置和一种互动录播系统。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种互动终端切换方法、装置和一种互动录播系统。
背景技术
在录播领域,随着信息化和全球化发展的需要,逐渐成熟的音视频交互技术将成为解决互动录播问题的关键。互动录播系统能够跨越空间地理位置实现多方通话,共享优质的资源。
如图1所示,现有互动录播系统需要一个多点控制单元(MCU)来管理多个分会场的互动终端,只有设置有MCU的视频终端才能作为主会场,其它的互动终端只能作为分会场接入至主会场中。在分会场接入主会场后,由于互动过程中只有一个主会场和一个分会场进行互动,当另一个分会场需要与主会场互动时,需要工作人员在互动录播系统后台手动输入切换信号,根据该切换信号将当前参与互动的分会场切换为另一个分会场。
然而,手动输入切换信号的方式不仅容易出错、切换效率低下,而且容易打乱整个系统的互动节奏,大大影响互动录播系统的使用体验。
发明内容
本发明实施例提供了一种互动终端切换方法、装置和一种互动录播系统,能够提高互动终端的切换效率,减少误切换情况的出现,并且避免切换过程影响互动录播系统的互动节奏。
本发明实施例提供的一种互动终端切换方法,应用于一种互动录播系统,所述互动录播系统包括多个互动终端,所述多个互动终端中一个互动终端作为主会场,其它互动终端作为分会场;
所述互动终端切换方法包括:
检测当前互动的主会场和/或分会场的语音信息;
对检测得到的所述语音信息进行语音识别,得到识别结果;
对所述识别结果进行关键字提取,得到指令关键字;
根据所述指令关键字生成终端切换指令;
根据所述终端切换指令对所述当前互动的主会场和/或分会场进行互动终端的切换处理。
可选地,所述检测当前互动的主会场和/或分会场的语音信息包括:
获取当前互动的主会场和/或分会场的音视频信号中的第一语音信息;
对获取得到的所述第一语音信息进行音频分析,提取所述第一语音信息中指定用户的第二语音信息;
将提取得到的所述第二语音信息确定为检测得到的语音信息。
可选地,所述根据所述指令关键字生成终端切换指令包括:
对所述指令关键字进行语义识别,得到语义识别结果;
根据所述语义识别结果生成终端切换指令;
或
将所述指令关键字与预设的关键字模板进行匹配;
若所述指令关键字与预设的关键字模板匹配成功,则生成与匹配成功的所述关键字模板对应的终端切换指令。
可选地,所述根据所述终端切换指令对所述当前互动的主会场和/或分会场进行互动终端的切换处理包括:
若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括一个非互动分会场的唯一标志,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场;
若所述指令关键字包括第一指令关键字和第二指令关键字,所述第一指令关键字来自于当前互动的所述分会场,所述第二指令关键字来自于当前互动的所述主会场,所述第一指令关键字包括一个非互动分会场的唯一标志,且所述第二指令关键字中包括表示确定意思的关键字,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场;
若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括当前互动的分会场的唯一标志,则将当前互动的主会场和分会场进行互换;
其中,非互动分会场指的是当前互动的分会场以外的其它分会场。
可选地,分会场的唯一标志通过以下步骤确定:
获取各个所述分会场接入所述主会场的接入时间点;
根据所述接入时间点确定各个所述分会场的接入先后顺序;
根据所述接入先后顺序设置各个所述分会场的唯一标志。
本发明实施例提供的一种互动终端切换装置,应用于一种互动录播系统,所述互动录播系统包括多个互动终端,所述多个互动终端中一个互动终端作为主会场,其它互动终端作为分会场;
所述互动终端切换装置包括:
语音检测模块,用于检测当前互动的主会场和/或分会场的语音信息;
语音识别模块,用于对检测得到的所述语音信息进行语音识别,得到识别结果;
关键字提取模块,用于对所述识别结果进行关键字提取,得到指令关键字;
切换指令生成模块,用于根据所述指令关键字生成终端切换指令;
切换处理模块,用于根据所述终端切换指令对所述当前互动的主会场和/或分会场进行互动终端的切换处理。
可选地,所述语音检测模块包括:
第一语音信息获取单元,用于获取当前互动的主会场和/或分会场的音视频信号中的第一语音信息;
第二语音信息提取单元,用于对获取得到的所述第一语音信息进行音频分析,提取所述第一语音信息中指定用户的第二语音信息;
检测语音信息确定单元,用于将提取得到的所述第二语音信息确定为检测得到的语音信息。
可选地,所述切换指令生成模块包括:
语义识别单元,用于对所述指令关键字进行语义识别,得到语义识别结果;
第一指令生成单元,用于根据所述语义识别结果生成终端切换指令;
或
关键字匹配单元,用于将所述指令关键字与预设的关键字模板进行匹配;
第二指令生成单元,用于若所述指令关键字与预设的关键字模板匹配成功,则生成与匹配成功的所述关键字模板对应的终端切换指令。
可选地,所述切换处理模块包括:
第一切换单元,用于若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括一个非互动分会场的唯一标志,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场;
第二切换单元,用于若所述指令关键字包括第一指令关键字和第二指令关键字,所述第一指令关键字来自于当前互动的所述分会场,所述第二指令关键字来自于当前互动的所述主会场,所述第一指令关键字包括一个非互动分会场的唯一标志,且所述第二指令关键字中包括表示确定意思的关键字,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场;
第三切换单元,用于若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括当前互动的分会场的唯一标志,则将当前互动的主会场和分会场进行互换;
其中,非互动分会场指的是当前互动的分会场以外的其它分会场。
本发明实施例提供的一种互动录播系统,包括多个互动终端,所述多个互动终端中一个互动终端作为主会场,其它互动终端作为分会场;
所述互动录播系统还包括上述的互动终端切换装置。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,首先,检测当前互动的主会场和/或分会场的语音信息;然后,对检测得到的所述语音信息进行语音识别,得到识别结果;接着,对所述识别结果进行关键字提取,得到指令关键字;根据所述指令关键字生成终端切换指令;最后,根据所述终端切换指令对所述当前互动的主会场和/或分会场进行互动终端的切换处理。本发明实施例中,可以根据当前互动的主会场和/或分会场的语音信息自动生成终端切换指令,无需手动输入切换信息即可实现互动终端的切换,提高了互动终端的切换效率,减少了误切换情况的出现,并且由于终端切换指令源自于当前互动的主会场和/或分会场,不会影响互动录播系统的互动节奏,大大提高了互动录播系统的使用体验。
附图说明
图1为现有互动录播系统的原理示意图;
图2为本发明实施例中一种互动录播系统的原理示意图;
图3为本发明实施例中一种互动终端切换方法一个实施例流程图;
图4为本发明实施例中一种互动终端切换方法步骤301的具体流程示意图;
图5a为现有互动录播系统在一个应用场景下互动画面布局的示意图;
图5b为图5a的互动录播系统在互动需要时切换至主讲画面的画面布局示意图;
图6为本发明实施例中一种互动录播系统的互动画面布局的示意图;
图7为本发明实施例中一种互动终端切换方法的确定分会场的唯一标志的步骤流程图;
图8为本发明实施例中一种互动终端切换装置一个实施例结构图。
具体实施方式
本发明实施例提供了一种互动终端切换方法、装置和一种互动录播系统,用于解决现有互动终端的切换方式容易出错、切换效率低下,且容易打乱整个系统的互动节奏的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一
本实施例的一种互动终端切换方法,可以应用于一种互动录播系统,所述互动录播系统包括多个互动终端。如图2所示,互动录播系统上的任意一个互动终端均可以作为主会场或分会场,互动录播系统启动后,首先可以通过呼叫的方式确定其中一个互动终端作为主会场,其它的互动终端则作为分会场。需要说明的是,每个会场中均需要架设或安装至少一台互动终端,互动录播系统通过互动终端采集和处理会场的音视频信号。为便于说明,下面内容中所说的切换会场,也即相应地切换该会场对应的互动终端。
特别地,该互动录播系统中,该互动终端可以呼叫任意一个其它互动终端。这里的呼叫是指互动终端通过所述另一互动终端的网络地址进行初次网络通讯,当另一互动终端进行应答后,两个互动终端被连通,即这两个互动终端可进行网络通讯。此时,这两个互动终端虽已建立通讯链路,但相互之间未进行互动,也即没有音视频等数据交互。通过这种方式,在互动录播系统启动后,作为主会场的互动终端可以主动呼叫其它分会场的互动终端,并与这些分会场的互动终端一一建立通讯链路。另外,各个分会场也可以主动呼叫主会场请求接入,与主会场建立通讯链路。
在各个分会场向主会场呼叫时,主会场可以选择接入分会场的方式。主会场对分会场的接入可以选择拒绝接入或者将此会场的视频信号(数据)切入互动画面布局中。如果主会场没有执行拒绝操作,也没有执行切入操作,则此分会场仅能接收到主会场的音视频信号(数据),并不能与主会场进行互动交流;如果主会场执行切入操作,则此时分会场不仅可以接收到主会场的音视频信号,而且该分会场可以与主会场进行互动交流,该分会场的视频画面也会出现在互动画面布局中。关于互动画面布局,将在下述内容中描述。
进一步地,该互动录播系统上的各个分会场之间也可以预先建立两两之间的通讯链路,以便于当任一分会场切换为主会场时,被切换为主会场的互动终端可以即时与所有分会场实现音视频数据连接或数据交互。
请参阅图3,本实施例中一种互动终端切换方法包括:
301、检测当前互动的主会场和/或分会场的语音信息;
本实施例中,在该互动录播系统中,只有当前互动的一个主会场与一个分会场之间可以进行音视频的互动,其它分会场一般只能接收到主会场处理后的音视频信号,而不能与主会场进行互动。对于主会场来说,主会场可以接收到所有接入的分会场的音视频信号,但在同一时间主会场也只能与一个分会场进行互动。
由于在互动录播系统的实际使用过程中,主会场一般不止与一个分会场进行互动,因此需要实现分会场快速、准确的切换。本实施例中首先检测当前互动的主会场和/或分会场的语音信息,也即,可以根据需要仅检测当前互动的主会场的语音信息,也可以根据需要仅检测当前互动的分会场的语音信息,或者也可以对当前互动的主会场和分会场的语音信息均进行检测。
主会场和/或分会场的语音信息可以从两者之间交互的音视频信号中分离、提取得到。进一步地,如图4所示,上述步骤301可以包括:
401、获取当前互动的主会场和/或分会场的音视频信号中的第一语音信息;
402、对获取得到的所述第一语音信息进行音频分析,提取所述第一语音信息中指定用户的第二语音信息;
403、将提取得到的所述第二语音信息确定为检测得到的语音信息。
对于上述步骤401,首先获取主会场和/或分会场的音视频信号中的第一语音信息。一般来说,这里的语音信息可以包括主会场和/或分会场的所有语音信号,假设会场中同时存在两个以上的用户在说话,则该第一语音信息中包括了所述两个以上的用户当前说话的语音信号。
对于上述步骤402,当面对混杂的第一语音信息时,为了从第一语音信息中提取出想要的语音信息,也即指定用户的语音信息,需要对第一语音信息进行音频分析,从中提取出符合特定频率的语音信息作为第二语音信息。
可以理解的是,在主会场和/或分会场中,并非所有用户说话均具有切换互动终端的权限。例如,在教学的主讲会场中,一般只有主讲教师具有切换互动终端或分会场的权限,而听课的学生不具有这个权限,即便有学生喊出“切换至分会场2”的话,系统也不应该将其转换为对应的切换指令来执行。因此,在步骤402中,指定用户即为预设的具有切换互动终端权限的用户,通过音频分析的方式从第一语音中提取出属于该用户的第二语音信息。
对于上述步骤403,在提取到具备权限的用户的第二语音信息之后,可以将该第二语音信息确定为检测得到的语音信息,也即需要的语音信息。
302、对检测得到的所述语音信息进行语音识别,得到识别结果;
本实施例中,在检测得到语音信息之后,对该检测得到的语音信息进行语音识别,得到识别结果。例如,在一个应用场景中,识别得到的识别结果可能为“切换到分会场1”,或者“将主会场切换为分会场2”,等等。
303、对所述识别结果进行关键字提取,得到指令关键字;
在得到识别结果之后,可以对所述识别结果进行关键字提取,得到指令关键字。
在启动互动录播系统之前,可以预先设定需要提取哪些关键字,例如“切换”、“分会场”、“主会场”以及阿拉伯数字。在实际应用中,这些需要提取的关键字可以根据实际情况进行设定,此处不再赘述。
304、根据所述指令关键字生成终端切换指令;
在得到指令关键字之后,可以根据所述指令关键字生成终端切换指令。可以理解的是,切换互动终端的指令有几种,例如,将当前互动的分会场切换为另一分会场的指令;或者,将当前的主会场切换为另一分会场的指令;或者,将当前互动的主会场和分会场进行互换的指令,等等。对于这些指令来说,可以预先设置这些指令的关键字条件。比如,若指令关键字中包含有“切换”、“分会场”以及某个阿拉伯数字(假设为2),则生成一条“将当前互动的分会场切换为分会场2”的终端切换指令。注:上述的“分会场2”为一个应用场景下某个分会场的名字。
在本实施例中,提供多种根据指令关键字生成终端切换指令的方式,下面重点介绍以下两种:
第一种,通过语义识别来生成指令。上述步骤304可以具体包括:首先,对所述指令关键字进行语义识别,得到语义识别结果;然后,根据所述语义识别结果生成终端切换指令。可以理解的是,通过语义识别技术,可以让系统“理解”提取的指令关键字的整体意思,从而根据语义识别的意思来生成满足用户需求的终端切换指令。另外,本实施例先对语音识别的结果进行关键字提取,再采用语义识别技术来识别提取到的指令关键字的语义,可以大大减少语义识别过程的工作量,提高语义识别的识别效率。
第二种,通过关键字模板匹配的方式来生成指令。则,上述步骤304可以具体包括:首先,将所述指令关键字与预设的关键字模板进行匹配;若所述指令关键字与预设的关键字模板匹配成功,则生成与匹配成功的所述关键字模板对应的终端切换指令。举例说明如下:假设提取到的指令关键字包括“切换”、“分会场”、“2”和“主会场”;预设有两个关键字模板,第一个关键字模板包括“切换”、“分会场”以及任一阿拉伯数字;第二个关键字模板包括“互换”、“主会场”和“分会场”。匹配后可知,提取到的指令关键字中包括了第一关键字模板的所有关键字,因此其与第一关键字模板匹配成功。然后生成与第一关键字模板对应的终端切换指令,此时,该终端切换指令可以为“将当前互动的分会场切换为分会场2”的指令。可知,这些关键字模板与终端切换指令之间预先设置好对应关系,在关键字模板匹配成功后,查找两者的对应关系即可生成与之对应的终端切换指令。
305、根据所述终端切换指令对所述当前互动的主会场和/或分会场进行互动终端的切换处理。
本实施例中,区别于现有技术,该互动录播系统为主会场和分会场设置了特定的互动画面布局。现有技术的互动画面布局如图5a和图5b所示,主会场的互动终端接收到所有分会场的视频流后,将主会场和所有分会场的画面整合到一个互动画面上,如图5a所示。当互动需要时,将互动的另一方的会场切换至整个大画面中,如图5b所示。
而本实施例中,该互动录播系统采用分屏的画面布局,如图6所示,整个画面分为一个主显示区域和三个小的显示区域,分别用于显示主讲画面、主会场画面1、主会场画面2和当前互动的分会场的画面。例如,在教学的主讲会场中,主讲画面为主会场的电脑画面,主会场画面1和主会场画面2分别为主会场两个不同视角的拍摄画面,而分会场画面为当前互动的分会场的会场画面。若互动录播系统启动初期,未发生会场的切换操作,则默认最早接入的分会场为当前互动的分会场。
在互动录播过程中,主会场的互动终端将本地接收到的音视频信号(主会场的音视频信号)和当前互动的分会场的音视频信号进行处理,形成如图6的互动画面布局,并将此处理后的音视频信号传输至所有分会场中播放。
在互动录播系统中,不管是互动画面的布局,还是互动终端/会场的切换,均需要对各个分会场进行区分,以便于在互动录播系统中对各个会场进行操作和管理。本实施例中,可以通过以下步骤确定分会场的唯一标志,请参阅图7:
701、获取各个所述分会场接入所述主会场的接入时间点;
702、根据所述接入时间点确定各个所述分会场的接入先后顺序;
703、根据所述接入先后顺序设置各个所述分会场的唯一标志。
对于上述步骤701~703,例如,可以将最早接入主会场的会场命名为分会场1,接着是分会场2、分会场3、……,依次类推,可根据各个分会场接入主会场的时间给各个分会场命名,也即各个分会场打上唯一标志。
对于上述步骤305,不同的终端切换指令,其对当前互动的主会场和/或分会场的切换处理也不相同。
对于切换处理方面,一般存在以下几种情况:a、将当前互动的主会场切换为另一个分会场,假设切换为分会场2,则切换后分会场2成为主会场;b、将当前互动的分会场切换为另一个会场,假设切换为分会场3,则切换后分会场3成为当前与主会场互动的分会场;c、将当前互动的主会场与分会场互换,假设会场1为主会场,会场2为当前互动的分会场,互换后,会场2为主会场,会场1为当前互动的分会场。
针对上述三种切换处理的情况,进一步地,上述步骤305具体可以通过不同的终端切换指令来实现以下三种处理方式:
处理方式一:若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括一个非互动分会场的唯一标志,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场。对于处理方式一,可以理解的是,一般场景下,主会场才具有切换互动终端的权限。例如,在教学的讲课会场中,主讲教师所在会场为主会场,此时,若指令关键字来自主会场的教师,且该指令关键字中包括另一个分会场的名字(唯一标志),则可以系统可以认为需要将该分会场切换为当前互动的分会场或者主会场。其中,具体是将该唯一标志对应的分会场切换为当前互动的分会场还是主会场,这取决于所述终端切换指令。若该终端切换指令是针对当前互动的分会场的指令,则切换为分会场;反之,则切换为主会场。
处理方式二:若所述指令关键字包括第一指令关键字和第二指令关键字,所述第一指令关键字来自于当前互动的所述分会场,所述第二指令关键字来自于当前互动的所述主会场,所述第一指令关键字包括一个非互动分会场的唯一标志,且所述第二指令关键字中包括表示确定意思的关键字,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场。对于处理方式二,由于一般场景下,主会场才具有切换互动终端的权限,因此,若第一指令关键字来自于当前互动的分会场且包括另一个分会场的名字(唯一标志),可以认为,当前互动的分会场中某个用户请求切换至另一个分会场,此时,若主会场同意切换,也即第二指令关键字中包括表示确定意思的关键字,则该切换请求成立,根据该终端切换指令将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场。至于具体是切换为当前互动的分会场还是主会场,这取决于该终端切换指令。若该终端切换指令是针对当前互动的分会场的指令,则切换为分会场;反之,则切换为主会场。
处理方式三:若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括当前互动的分会场的唯一标志,则将当前互动的主会场和分会场进行互换。对于处理方式三,可以理解的是,若来自于主会场的指令关键字中包括当前互动的分会场的名字,此时,可以认为主会场希望与该分会场进行互换。
上述三种处理方式中,非互动分会场指的是当前互动的分会场以外的其它分会场。
为便于理解,下面将在三个不同的应用场景下分别对上述三种处理方式进行举例说明:
第一个应用场景:会场A为主会场,会场B为当前与主会场互动的分会场1。主会场中的教师说“切换至分会场2”,其中分会场2为会场C,则将分会场2切换为当前与主会场互动的分会场,此时,会场C与会场A互动;若主会场中的教师说“把主会场切换为会场2”,则将主会场切换为会场C,此时,会场C与会场B互动。
第二个应用场景:会场A为主会场,会场B为当前与主会场互动的分会场1。分会场1中的学生说“切换至分会场2”,主会场中的教师听到后,回复说“可以”,则将分会场2(也即会场C)切换为当前与主会场互动的分会场,此时,会场C与会场A互动;若分会场1中的学生说“把主会场切换为分会场2”,主会场中的教师听到后,回复说“可以”,则将主会场切换为会场C,此时,会场C与会场B互动。
第三个应用场景:会场A为主会场,会场B为当前与主会场互动的分会场1。主会场中的教师说“切换至分会场1”,则将会场B切换为主会场,而会场A切换为分会场1,实现主会场与分会场的互换。
由上述内容可知,本发明实施例的互动终端切换方法具有以下优点:
1、根据当前互动的主会场和/或分会场的语音信息自动生成终端切换指令,无需手动输入切换信息即可实现互动终端的切换,提高了互动终端的切换效率,减少了误切换情况的出现;
2、由于终端切换指令源自于当前互动的主会场和/或分会场,不会影响互动录播系统的互动节奏,大大提高了互动录播系统的使用体验。
实施例二
上面主要描述了一种互动终端切换方法,下面将对一种互动终端切换装置进行详细描述。
图8示出了本发明实施例中一种互动终端切换装置一个实施例结构图。
本实施例中,一种互动终端切换装置,其应用于一种互动录播系统,所述互动录播系统包括多个互动终端,所述多个互动终端中一个互动终端作为主会场,其它互动终端作为分会场;
所述互动终端切换装置可以包括:
语音检测模块801,用于检测当前互动的主会场和/或分会场的语音信息;
语音识别模块802,用于对检测得到的所述语音信息进行语音识别,得到识别结果;
关键字提取模块803,用于对所述识别结果进行关键字提取,得到指令关键字;
切换指令生成模块804,用于根据所述指令关键字生成终端切换指令;
切换处理模块805,用于根据所述终端切换指令对所述当前互动的主会场和/或分会场进行互动终端的切换处理。
进一步地,所述语音检测模块可以包括:
第一语音信息获取单元,用于获取当前互动的主会场和/或分会场的音视频信号中的第一语音信息;
第二语音信息提取单元,用于对获取得到的所述第一语音信息进行音频分析,提取所述第一语音信息中指定用户的第二语音信息;
检测语音信息确定单元,用于将提取得到的所述第二语音信息确定为检测得到的语音信息。
进一步地,所述切换指令生成模块可以包括:
语义识别单元,用于对所述指令关键字进行语义识别,得到语义识别结果;
第一指令生成单元,用于根据所述语义识别结果生成终端切换指令;
或
关键字匹配单元,用于将所述指令关键字与预设的关键字模板进行匹配;
第二指令生成单元,用于若所述指令关键字与预设的关键字模板匹配成功,则生成与匹配成功的所述关键字模板对应的终端切换指令。
进一步地,所述切换处理模块可以包括:
第一切换单元,用于若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括一个非互动分会场的唯一标志,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场;
第二切换单元,用于若所述指令关键字包括第一指令关键字和第二指令关键字,所述第一指令关键字来自于当前互动的所述分会场,所述第二指令关键字来自于当前互动的所述主会场,所述第一指令关键字包括一个非互动分会场的唯一标志,且所述第二指令关键字中包括表示确定意思的关键字,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场;
第三切换单元,用于若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括当前互动的分会场的唯一标志,则将当前互动的主会场和分会场进行互换;
其中,非互动分会场指的是当前互动的分会场以外的其它分会场。
进一步地,分会场的唯一标志可以通过以下模块确定:
接入时间点获取模块,用于获取各个所述分会场接入所述主会场的接入时间点;
接入顺序确定模块,用于根据所述接入时间点确定各个所述分会场的接入先后顺序;
会场标志设置模块,用于根据所述接入先后顺序设置各个所述分会场的唯一标志。
实施例三
本实施例提供一种互动录播系统,该互动录播系统包括多个互动终端,所述多个互动终端中一个互动终端作为主会场,其它互动终端作为分会场;
所述互动录播系统还包括上述实施例二中描述的任意一种互动终端切换装置。
另外,为描述的方便和简洁,本实施例三提供的互动录播系统还可以包括前述实施例一中描述的关于互动录播系统的技术特征。
可见,本发明实施例提供的互动录播系统具有以下优点:
1、该互动录播系统中,任意一方互动终端都可以作为中心控制方发起多方音视频互动,提高互动终端的利用率,其余分会场通过主会场的IP随时接入互动中来接收主会场的音视频信号,进行互动。
2、可以将所有分会场互动终端的音视频信号都会接入主会场中,但是只会将接入时间的最早的分会场或者实际互动中声音识别的分会场切入,形成一对一的互动布局,明确主会场和分会场两方的互动主体,提升互动效率。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种互动终端切换方法,其特征在于,应用于一种互动录播系统,所述互动录播系统包括多个互动终端,所述多个互动终端中一个互动终端作为主会场,其它互动终端作为分会场;
所述互动终端切换方法包括:
检测当前互动的主会场和/或分会场的语音信息;
对检测得到的所述语音信息进行语音识别,得到识别结果;
对所述识别结果进行关键字提取,得到指令关键字;
根据所述指令关键字生成终端切换指令;
根据所述终端切换指令对所述当前互动的主会场和/或分会场进行互动终端的切换处理。
2.根据权利要求1所述的互动终端切换方法,其特征在于,所述检测当前互动的主会场和/或分会场的语音信息包括:
获取当前互动的主会场和/或分会场的音视频信号中的第一语音信息;
对获取得到的所述第一语音信息进行音频分析,提取所述第一语音信息中指定用户的第二语音信息;
将提取得到的所述第二语音信息确定为检测得到的语音信息。
3.根据权利要求1所述的互动终端切换方法,其特征在于,所述根据所述指令关键字生成终端切换指令包括:
对所述指令关键字进行语义识别,得到语义识别结果;
根据所述语义识别结果生成终端切换指令;
或
将所述指令关键字与预设的关键字模板进行匹配;
若所述指令关键字与预设的关键字模板匹配成功,则生成与匹配成功的所述关键字模板对应的终端切换指令。
4.根据权利要求1至3中任一项所述的互动终端切换方法,其特征在于,所述根据所述终端切换指令对所述当前互动的主会场和/或分会场进行互动终端的切换处理包括:
若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括一个非互动分会场的唯一标志,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场;
若所述指令关键字包括第一指令关键字和第二指令关键字,所述第一指令关键字来自于当前互动的所述分会场,所述第二指令关键字来自于当前互动的所述主会场,所述第一指令关键字包括一个非互动分会场的唯一标志,且所述第二指令关键字中包括表示确定意思的关键字,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场;
若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括当前互动的分会场的唯一标志,则将当前互动的主会场和分会场进行互换;
其中,非互动分会场指的是当前互动的分会场以外的其它分会场。
5.根据权利要求4所述的互动终端切换方法,其特征在于,分会场的唯一标志通过以下步骤确定:
获取各个所述分会场接入所述主会场的接入时间点;
根据所述接入时间点确定各个所述分会场的接入先后顺序;
根据所述接入先后顺序设置各个所述分会场的唯一标志。
6.一种互动终端切换装置,其特征在于,应用于一种互动录播系统,所述互动录播系统包括多个互动终端,所述多个互动终端中一个互动终端作为主会场,其它互动终端作为分会场;
所述互动终端切换装置包括:
语音检测模块,用于检测当前互动的主会场和/或分会场的语音信息;
语音识别模块,用于对检测得到的所述语音信息进行语音识别,得到识别结果;
关键字提取模块,用于对所述识别结果进行关键字提取,得到指令关键字;
切换指令生成模块,用于根据所述指令关键字生成终端切换指令;
切换处理模块,用于根据所述终端切换指令对所述当前互动的主会场和/或分会场进行互动终端的切换处理。
7.根据权利要求6所述的互动终端切换装置,其特征在于,所述语音检测模块包括:
第一语音信息获取单元,用于获取当前互动的主会场和/或分会场的音视频信号中的第一语音信息;
第二语音信息提取单元,用于对获取得到的所述第一语音信息进行音频分析,提取所述第一语音信息中指定用户的第二语音信息;
检测语音信息确定单元,用于将提取得到的所述第二语音信息确定为检测得到的语音信息。
8.根据权利要求6所述的互动终端切换装置,其特征在于,所述切换指令生成模块包括:
语义识别单元,用于对所述指令关键字进行语义识别,得到语义识别结果;
第一指令生成单元,用于根据所述语义识别结果生成终端切换指令;
或
关键字匹配单元,用于将所述指令关键字与预设的关键字模板进行匹配;
第二指令生成单元,用于若所述指令关键字与预设的关键字模板匹配成功,则生成与匹配成功的所述关键字模板对应的终端切换指令。
9.根据权利要求6至8中任一项所述的互动终端切换装置,其特征在于,所述切换处理模块包括:
第一切换单元,用于若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括一个非互动分会场的唯一标志,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场;
第二切换单元,用于若所述指令关键字包括第一指令关键字和第二指令关键字,所述第一指令关键字来自于当前互动的所述分会场,所述第二指令关键字来自于当前互动的所述主会场,所述第一指令关键字包括一个非互动分会场的唯一标志,且所述第二指令关键字中包括表示确定意思的关键字,则将所述唯一标志对应的分会场切换为当前互动的分会场,或者,将所述唯一标志对应的分会场切换为当前互动的主会场;
第三切换单元,用于若提取得到的所述指令关键字来自于当前互动的所述主会场,且所述指令关键字包括当前互动的分会场的唯一标志,则将当前互动的主会场和分会场进行互换;
其中,非互动分会场指的是当前互动的分会场以外的其它分会场。
10.一种互动录播系统,其特征在于,包括多个互动终端,所述多个互动终端中一个互动终端作为主会场,其它互动终端作为分会场;
所述互动录播系统还包括如权利要求6至9中任一项所述的互动终端切换装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710135861.4A CN106992971B (zh) | 2017-03-09 | 2017-03-09 | 一种互动终端切换方法、装置和一种互动录播系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710135861.4A CN106992971B (zh) | 2017-03-09 | 2017-03-09 | 一种互动终端切换方法、装置和一种互动录播系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106992971A true CN106992971A (zh) | 2017-07-28 |
CN106992971B CN106992971B (zh) | 2021-10-26 |
Family
ID=59411545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710135861.4A Active CN106992971B (zh) | 2017-03-09 | 2017-03-09 | 一种互动终端切换方法、装置和一种互动录播系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106992971B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109698927A (zh) * | 2017-10-23 | 2019-04-30 | 中兴通讯股份有限公司 | 会议管理方法、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020138842A1 (en) * | 1999-12-17 | 2002-09-26 | Chong James I. | Interactive multimedia video distribution system |
CN101252670A (zh) * | 2008-03-17 | 2008-08-27 | 深圳华为通信技术有限公司 | 会议电视的处理方法和装置 |
CN101867768A (zh) * | 2010-05-31 | 2010-10-20 | 杭州华三通信技术有限公司 | 一种视频会议会场画面控制方法及其装置 |
CN102131071A (zh) * | 2010-01-18 | 2011-07-20 | 华为终端有限公司 | 视频画面切换的方法和装置 |
US20160261827A1 (en) * | 2011-04-21 | 2016-09-08 | Shah Talukder | Flow-Control Based Switched Group Video Chat and Real-Time Interactive Broadcast |
-
2017
- 2017-03-09 CN CN201710135861.4A patent/CN106992971B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020138842A1 (en) * | 1999-12-17 | 2002-09-26 | Chong James I. | Interactive multimedia video distribution system |
CN101252670A (zh) * | 2008-03-17 | 2008-08-27 | 深圳华为通信技术有限公司 | 会议电视的处理方法和装置 |
CN102131071A (zh) * | 2010-01-18 | 2011-07-20 | 华为终端有限公司 | 视频画面切换的方法和装置 |
CN101867768A (zh) * | 2010-05-31 | 2010-10-20 | 杭州华三通信技术有限公司 | 一种视频会议会场画面控制方法及其装置 |
US20160261827A1 (en) * | 2011-04-21 | 2016-09-08 | Shah Talukder | Flow-Control Based Switched Group Video Chat and Real-Time Interactive Broadcast |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109698927A (zh) * | 2017-10-23 | 2019-04-30 | 中兴通讯股份有限公司 | 会议管理方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106992971B (zh) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105072143B (zh) | 基于人工智能的智能机器人与客户端的交互系统 | |
CN108133707B (zh) | 一种内容分享方法及系统 | |
CN113127609B (zh) | 语音控制方法、装置、服务器、终端设备及存储介质 | |
US10956480B2 (en) | System and method for generating dialogue graphs | |
CN109101545A (zh) | 基于人机交互的自然语言处理方法、装置、设备和介质 | |
CN104091423B (zh) | 一种信号传输方法及家庭点歌系统 | |
CN109712624A (zh) | 一种多语音助手协调方法、装置和系统 | |
CN108470034A (zh) | 一种智能设备服务提供方法及系统 | |
CN109637548A (zh) | 基于声纹识别的语音交互方法及装置 | |
US20210398527A1 (en) | Terminal screen projection control method and terminal | |
CN109493866A (zh) | 智能音箱及其操作方法 | |
CN109671429B (zh) | 语音交互方法及设备 | |
CN105208014A (zh) | 一种语音通信处理方法、电子设备及系统 | |
CN107370610A (zh) | 会议同步方法和装置 | |
CN110097897A (zh) | 一种Android设备录音复用方法及系统 | |
CN103346953A (zh) | 一种群组通讯数据交互的方法、装置及系统 | |
CN105898525A (zh) | 在特定视频库中搜索视频的方法及其视频终端 | |
CN104768235B (zh) | 一种设备间自动连接的方法和设备 | |
CN105025390B (zh) | 一种播放场景保存方法、系统、播放终端及控制终端 | |
CN109271503A (zh) | 智能问答方法、装置、设备及存储介质 | |
CN111626061A (zh) | 会议记录生成方法、装置、设备及可读存储介质 | |
CN112562677B (zh) | 会议语音转写方法、装置、设备及存储介质 | |
CN107957908A (zh) | 一种麦克风共享方法、装置、计算机设备及存储介质 | |
CN112165627B (zh) | 信息处理方法、装置、存储介质、终端及系统 | |
CN113132214B (zh) | 一种对话方法、装置、服务器及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |