[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116193179A - 会议记录方法、终端设备和会议记录系统 - Google Patents

会议记录方法、终端设备和会议记录系统 Download PDF

Info

Publication number
CN116193179A
CN116193179A CN202111424519.9A CN202111424519A CN116193179A CN 116193179 A CN116193179 A CN 116193179A CN 202111424519 A CN202111424519 A CN 202111424519A CN 116193179 A CN116193179 A CN 116193179A
Authority
CN
China
Prior art keywords
audio
conference
time
audio data
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111424519.9A
Other languages
English (en)
Inventor
赵亦婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111424519.9A priority Critical patent/CN116193179A/zh
Priority to EP22897188.3A priority patent/EP4401411A1/en
Priority to PCT/CN2022/107393 priority patent/WO2023093092A1/zh
Publication of CN116193179A publication Critical patent/CN116193179A/zh
Priority to US18/674,599 priority patent/US20240314270A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/155Conference systems involving storage of or access to video conference sessions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请提供一种会议记录方法、终端设备和会议记录系统,涉及终端领域,有益于提升查找定位会议记录中目标信息的效率,该方法包括:检测线上会议结束选项的触发操作或线上会议记录查看选项的触发操作;响应于该线上会议结束选项的触发操作或线上会议记录查看选项的触发操作,显示线上会议回顾界面,该线上会议回顾界面包括多个与会人的时间轴和沿着该时间轴分布的多个音频标识,该多个音频标识中的每个音频标识用于标识该音频标识所在时间轴的与会人的一段音频数据,该音频标识在该时间轴的起始位置为该与会人的一段音频数据的起始时间,该音频标识在该时间轴的结束位置为该与会人的一段音频数据的结束时间,该与会人的一段音频数据是录制该与会人在该起始时间至结束时间之间的时间段内的会议发言语音信号生成的。

Description

会议记录方法、终端设备和会议记录系统
技术领域
本申请涉及线上会议技术领域,尤其涉及一种会议记录方法、终端设备和会议记录系统。
背景技术
随着互联网技术的快速发展,线上会议类应用程序(application,APP)得到了广泛应用。不同地点的不同用户可以使用线上会议类应用程序参加同一会议,这极大的方便了不同地点的不同用户参与会议。
线上会议类应用程序可以为用户提供开展音频会议或视频会议的功能。然而,线上会议类应用程序也存在诸多问题。例如,由于使用线上会议类应用程序的与会者处于不同地点不同环境,导致线上会议缺少正式会议的严肃性,与会人的参会状态可能不及面对面会议,导致错过一些会议要点,或者与会人由于正在记录会议中的关键信息,导致记录过程中错过了另一些关键信息等。因此,会议记录的价值对于线上会议来说越发凸显,会后用户可以根据会议记录将会议结论落实为实际行动。线上会议类应用程序通常采用如下方式生成会议记录,自动将线上会议过程中的与会人的音频转换为文字,生成线上会议全过程的对话文本,该对话文本作为会议记录供用户会后查阅。在用户需要查找会议过程中的目标信息时,线上会议类应用程序检测用户输入的关键字,通过关键字在基于上述方式得到的会议记录中,搜索定位所需查找的目标信息,并输出该目标信息,以供用户查阅。
然而,由于口语表述和书面表达的差异化,以及对于同一意图,不同用户的表述会存在不同,或者即使同一用户在不同时刻的表述也会存在不同,这样会导致用户输入的关键字无法与会议记录中的目标信息匹配。由此,基于上述方式得到会议记录的线上会议类应用程序会增大用户会后查找所需信息的难度,导致用户无法快速且有效定位所需目标信息。
发明内容
本申请实施例提供一种会议记录方法、终端设备和会议记录系统,可以提供快捷且有效定位到所需目标信息的会议记录功能,有益于提升查找定位会议记录中目标信息的效率。
第一方面,本申请实施例提供一种会议记录方法,该会议记录方法应用于提供线上会议功能的客户端,线上会议包括线上音频会议或线上视频会议,该方法可以包括:检测线上会议结束选项的触发操作或线上会议记录查看选项的触发操作;响应于线上会议结束选项的触发操作或线上会议记录查看选项的触发操作,显示线上会议回顾界面,该线上会议回顾界面包括多个与会人的时间轴和沿着时间轴分布的多个音频标识,多个音频标识中的每个音频标识用于标识该音频标识所在时间轴的与会人的一段音频数据,该音频标识在该时间轴的起始位置为该与会人的一段音频数据的起始时间,该音频标识在该时间轴的结束位置为该与会人的一段音频数据的结束时间,该与会人的一段音频数据是录制该与会人在该起始时间至结束时间之间的时间段内的会议发言语音信号生成的。
由此,在本申请实施例的第一方面中,线上会议结束后可以通过线上会议回顾界面,向与会人提供与会人维度和时间维度的会议记录信息,与会人可以通过与会人和/或时间节点来筛选所需信息,自主复现全部或部分会议场景。该线上会议回顾界面可以提供快捷且有效定位到所需目标信息的会议记录功能,有益于提升查找定位会议记录中目标信息的效率。
一个与会人的时间轴上可以分布有一个或多个音频标识。一个与会人的时间轴上分布的音频标识的个数以及每个音频标识的长度,与该与会人在线上会议上的发言时间有关。一个与会人的一个音频标识在该与会人的时间轴上的起始时间为这个与会人在线上会议的一次发言的起始时间,这个音频标识在该与会人的时间轴上的结束时间为这个与会人在该次发言的结束时间。
一种可能的设计中,该方法还包括:检测该多个音频标识中的一个音频标识的第一触发操作,响应于第一触发操作,显示该音频标识对应的音频数据的关键字。
本申请实施例的一种可能的设计,通过显示音频标识对应的音频数据的关键字,可以使得与会人通过关键字筛选音频数据,从而提升查找定位会议记录中目标信息的效率。
一种可能的设计中,该方法还包括:检测该多个音频标识中的一个音频标识的第二触发操作,响应于第二触发操作,播放该音频标识对应的音频数据。
本申请实施例的一种可能的设计,通过提供线上会议回顾界面,与会人在线上会议结束后,根据与会人和时间节点,在线上会议回顾界面上点击相应的音频标识,从而播放音频标识对应的音频数据,以音频形式复现与会人的发言,从而获知与会人在相应时间点的具体发言内容,这样能够更为简单、直观、快速的定位到所需信息,有益于提升查找定位会议记录中目标信息的效率。用音频数据取代文本,一方面,可以解决口语表述和文本表述不一致产生的查找不到、难以理解等问题,另一方面,听的方式相比看的方式能够更快的被大脑所理解,可以更快的比对、筛选信息。
一种可能的设计中,该方法还包括:检测该多个音频标识中的第一音频标识由第一时间轴至第二时间轴的第三触发操作,该第一音频标识分布在第一时间轴,至少一个第二音频标识分布在第二时间轴;响应于第三触发操作,将第一音频标识显示在第二时间轴上,并根据第一音频标识对应的第一音频数据的起始时间和结束时间,关联第一音频数据与至少一个第二音频标识对应的第二音频数据;检测第一音频标识或至少一个第二音频标识的第四触发操作,响应于第四触发操作,播放第一音频数据和至少一个第二音频标识对应的第二音频数据。
本申请实施例的一种可能的设计,如果不同与会人在一段时间内存在共同发言,既可以分别在各个与会人的时间轴上通过点击音频标识单独的听取各个与会人各自的发言内容,还可以通过上述第三触发操作,关联多个音频标识,以同时播放多个音频标识各自对应的与会人的发言内容,从而复现当时的会议讨论场景。特别是,对于会内激烈讨论的内容,在会议上,由于激烈讨论可能无法把握每一个人的观点,会后可以通过音频标识对不同与会人的发言内容进行拆分、融合,反复分析,从而把握不同与会人在会议上的观点。
一种可能的设计中,第一音频标识的时间段与至少一个第二音频标识的时间段存在交集,播放第一音频数据和至少一个第二音频标识对应的第二音频数据,包括:按照第一音频标识在第二时间轴上的时间位置和至少一个第二音频标识在第二时间轴上的时间位置,播放第一音频数据的非交集部分、第一音频数据和至少一个第二音频标识对应的第二音频数据的交集部分、或至少一个第二音频标识对应的第二音频数据的非交集部分中至少两项。
一种可能的设计中,该方法还包括:检测第一音频标识的第五触发操作,响应于第五触发操作,将第一音频标识显示在第一时间轴上,并取消关联第一音频数据和至少一个第二音频标识对应的第二音频数据,该取消关联用于第一音频数据和第二音频标识对应的第二音频数据各自独立播放。
本申请实施例的一种可能的设计,通过上述第五触发操作,可以取消关联多个音频标识,以独立播放多个音频标识各自对应的与会人的发言内容,从而可以灵活选取一个与会人的音频数据进行播放,以实现灵活复现当时的会议讨论场景的部分信息,提升查找定位会议记录中目标信息的效率。
一种可能的设计中,在检测线上会议结束选项的触发操作或线上会议记录查看选项的触发操作之前,该方法还包括:录制生成使用该客户端的与会人的至少一个音频数据,并记录该至少一个音频数据各自在与会人的时间轴的起始时间和结束时间;向服务器发送该至少一个音频数据和该至少一个音频数据各自在与会人的时间轴的起始时间和结束时间;其中,该至少一个音频数据和该至少一个音频数据各自在与会人的时间轴的起始时间和结束时间用于生成线上会议回顾界面。
以使用该客户端的与会人在线上会议中有三段发言为例,录制生成该与会人的三个音频数据,并记录3个音频数据各自在与会人的时间轴的起始时间和结束时间。以3个音频数据中的一个音频数据为例,这个音频数据在与会人的时间轴上的起始时间为这个与会人的一段发言的起始时间,这个音频数据在与会人的时间轴上的结束时间为这个与会人的该段发言的结束时间。
一种可能的设计中,该至少一个音频数据和该至少一个音频数据各自在与会人的时间轴的起始时间和结束时间存储在至少一个存储单元;该至少一个存储单元通过与会人的时间指针串联。
一种可能的设计中,该方法还包括:检测该多个音频标识中的一个音频标识的第六触发操作,响应于第六触发操作,显示该音频标识对应的视频数据的缩略图,该音频标识对应的视频数据是录制该音频标识对应的音频数据的起始时间至结束时间之间的时间段内的主界面画面生成的。
本申请实施例的一种可能的设计,通过录制主界面视频,并根据时间信息将各个与会人的音频数据和视频数据相关联,以在显示线上会议回顾界面时,基于检测到的第六触发操作,显示音频标识对应的视频数据的缩略图。通过显示与音频数据相关联的视频数据的缩略图,可以使得与会人通过缩略图筛选音频数据和视频数据,从而提升查找定位会议记录中目标信息的效率。
一种可能的设计中,该方法还包括:检测该缩略图的第七触发操作,响应于第七触发操作,播放该音频标识对应的视频数据和音频数据。
本申请实施例的一种可能的设计,通过响应于第七触发操作,播放该音频标识对应的视频数据和音频数据,以通过音频和视频结合的方式完全复现当时的会议场景,进而加快目标信息的比对确定过程。
一种可能的设计中,该线上会议回顾界面还包括至少一个标注标识,该至少一个标注标识分布在至少一个与会人的时间轴,该至少一个标注标识中的每个标注标识用于标识该标注标识所在时间轴的与会人,在该标注标识所在时间点的标注。
本申请实施例的一种可能的设计,通过在线上会议回顾界面呈现由与会人在相应时间点的标注动作所产生的标注标识,使得与会人可以在会议结束后通过标注标识快速定位到重点内容的时间节点。
至少一个标注标识可以包括各个与会人作为发言人时的标注标识。这样,可以确保标注标识在会议记录中存在对应的标注内容。至少一个标注标识还可以包括使用本实施例的客户端的与会人的标注标识。这样,可以使得不同客户端得到个性化标注的会议记录,供不同客户端各自独立查看。
一种可能的设计中,该方法还包括:检测该至少一个标注标识中的一个标注标识的第八触发操作,响应于第八触发操作,播放该标注标识所在时间点的音频数据,或音频数据和视频数据。
一种可能的设计中,该多个与会人的时间轴和沿着该时间轴分布的多个音频标识位于该线上会议回顾界面的时间轴区域,该线上会议回顾界面还包括视频显示区域。
检测缩小该时间轴区域的操作,响应于缩小该时间轴区域的操作,缩小该时间轴区域,缩小该多个与会人的时间轴之间的距离,并增大该视频显示区域;或者,检测增大该时间轴区域的操作,响应于增大该时间轴区域的操作,增大该时间轴区域,并缩小该视频显示区域。
本申请实施例的一种可能的设计,通过缩小时间轴区域的大小,增大视频区域的大小,以更加清晰的观看视频内容。通过增大时间轴区域的大小,减小视频区域的大小,从而将各个与会人的时间轴分离,以灵活播放不同与会人的音频标识对应的音频数据和/或视频数据。这样,可以实现时间轴区域和视频显示区域的灵活调整,从而满足用户使用需求。
一种可能的设计中,当缩小多个与会人的时间轴之间的距离至多个与会人的时间轴完全重叠时,多个音频标识中至少存在两个音频标识相互重叠,该方法还包括:
检测相互重叠的两个音频标识的第十触发操作,响应于第十触发操作,在时间轴上显示两个音频标识中的一个音频标识,在该时间轴上方或下方显示另一个音频标识,以使得两个音频标识不重叠。
本申请实施例的一种可能的设计,通过缩小时间轴区域,将多个与会人的时间轴合并成一个时间轴,并关联多个与会人的音频数据,关联后的多个音频数据可以适用于用户对整个线上会议进行整体回顾。在合并成一个时间轴之后,还可以通过第十触发操作,使得两个音频标识不重叠,以独立播放不同音频标识对应的音频数据。这样,可以实现会议内容的灵活复现。
第二方面,本申请实施例提供一种终端设备,包括:处理器、存储器和显示屏,该存储器、该显示屏与该处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括提供线上会议功能的客户端的计算机指令,线上会议包括线上音频会议或线上视频会议,当处理器从存储器中读取该计算机指令,以使得终端设备执行如下操作:
检测线上会议结束选项的触发操作或线上会议记录查看选项的触发操作;
响应于该线上会议结束选项的触发操作或线上会议记录查看选项的触发操作,显示线上会议回顾界面,该线上会议回顾界面包括多个与会人的时间轴和沿着该时间轴分布的多个音频标识,该多个音频标识中的每个音频标识用于标识该音频标识所在时间轴的与会人的一段音频数据,该音频标识在该时间轴的起始位置为该与会人的一段音频数据的起始时间,该音频标识在该时间轴的结束位置为该与会人的一段音频数据的结束时间,该与会人的一段音频数据是录制该与会人在该起始时间至结束时间之间的时间段内的会议发言语音信号生成的。
一种可能的设计中,该终端设备还执行:检测该多个音频标识中的一个音频标识的第一触发操作,响应于该第一触发操作,显示该音频标识对应的音频数据的关键字。
一种可能的设计中,该终端设备还执行:检测该多个音频标识中的一个音频标识的第二触发操作,响应于该第二触发操作,播放该音频标识对应的音频数据。
一种可能的设计中,该终端设备还执行:检测该多个音频标识中的第一音频标识由第一时间轴至第二时间轴的第三触发操作,该第一音频标识分布在第一时间轴,至少一个第二音频标识分布在该第二时间轴;响应于该第三触发操作,将该第一音频标识显示在该第二时间轴上,并根据该第一音频标识对应的第一音频数据的起始时间和结束时间,关联该第一音频数据与该至少一个第二音频标识对应的第二音频数据;检测该第一音频标识或该至少一个第二音频标识的第四触发操作,响应于该第四触发操作,播放该第一音频数据和该至少一个第二音频标识对应的第二音频数据。
一种可能的设计中,该第一音频标识的时间段与该至少一个第二音频标识的时间段存在交集,该播放该第一音频数据和该至少一个第二音频标识对应的第二音频数据,包括:按照该第一音频标识在该第二时间轴上的时间位置和该至少一个第二音频标识在该第二时间轴上的时间位置,播放该第一音频数据的非交集部分、该第一音频数据和该至少一个第二音频标识对应的第二音频数据的交集部分、或该至少一个第二音频标识对应的第二音频数据的非交集部分中至少两项。
一种可能的设计中,该终端设备还执行:检测该第一音频标识的第五触发操作,响应于该第五触发操作,将该第一音频标识显示在该第一时间轴上,并取消关联该第一音频数据和该至少一个第二音频标识对应的第二音频数据,该取消关联用于该第一音频数据和该第二音频标识对应的第二音频数据各自独立播放。
一种可能的设计中,该终端设备在检测线上会议结束选项的触发操作或线上会议记录查看选项的触发操作之前,还执行:录制生成使用该客户端的与会人的至少一个音频数据,并记录该至少一个音频数据各自在该与会人的时间轴的起始时间和结束时间;向服务器发送该至少一个音频数据和该至少一个音频数据各自在该与会人的时间轴的起始时间和结束时间;其中,该至少一个音频数据和该至少一个音频数据各自在该与会人的时间轴的起始时间和结束时间用于生成该线上会议回顾界面。
一种可能的设计中,该至少一个音频数据和该至少一个音频数据各自在该与会人的时间轴的起始时间和结束时间存储在至少一个存储单元;该至少一个存储单元通过该与会人的时间指针串联。
一种可能的设计中,该终端设备还执行:检测该多个音频标识中的一个音频标识的第六触发操作,响应于该第六触发操作,显示该音频标识对应的视频数据的缩略图,该音频标识对应的视频数据是录制该音频标识对应的音频数据的起始时间至结束时间之间的时间段内的主界面画面生成的。
一种可能的设计中,该终端设备还执行:检测该缩略图的第七触发操作,响应于该第七触发操作,播放该音频标识对应的视频数据和音频数据。
一种可能的设计中,该线上会议回顾界面还包括至少一个标注标识,该至少一个标注标识分布在至少一个与会人的时间轴,该至少一个标注标识中的每个标注标识用于标识该标注标识所在时间轴的与会人,在该标注标识所在时间点的标注。
一种可能的设计中,该终端设备还执行:检测该至少一个标注标识中的一个标注标识的第八触发操作,响应于该第八触发操作,播放该标注标识所在时间点的音频数据,或音频数据和视频数据。
一种可能的设计中,该多个与会人的时间轴和沿着该时间轴分布的多个音频标识位于该线上会议回顾界面的时间轴区域,该线上会议回顾界面还包括视频显示区域;检测缩小该时间轴区域的操作,响应于缩小该时间轴区域的操作,缩小该时间轴区域,缩小该多个与会人的时间轴之间的距离,并增大该视频显示区域;或者,检测增大该时间轴区域的操作,响应于增大该时间轴区域的操作,增大该时间轴区域,并缩小该视频显示区域。
一种可能的设计中,当缩小该多个与会人的时间轴之间的距离至该多个与会人的时间轴完全重叠时,该多个音频标识中至少存在两个音频标识相互重叠,该终端设备还执行:检测相互重叠的两个音频标识的第十触发操作,响应于该第十触发操作,在时间轴上显示该两个音频标识中的一个音频标识,在该时间轴上方或下方显示另一个音频标识,以使得两个音频标识不重叠。
第三方面,本申请实施例提供一种装置,该装置包含在终端设备中,该装置具有实现上述第一方面或第一方面的可能的实现方式中任一方法中终端设备行为的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如,通信模块或单元、以及处理模块或单元等。
第四方面,本申请实施例提供一种计算机可读存储介质,包括计算机指令,当计算机指令在终端设备上运行时,使得终端设备执行如上述第一方面或第一方面任一种可能的实现方式中所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如上述第一方面中及其中任一种可能的实现方式中所述的方法。
第六方面,本申请实施例提供一种会议记录系统,该会议记录系统可以包括服务器和多个客户端,服务器分别与多个客户端建立通信连接,多个终端设备各自用于执行如上述第一方面或第一方面任一种可能的实现方式中所述的方法。
其中,本申请实施例提供的终端设备,装置,计算机存储介质,计算机程序产品,或会议记录系统均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种线上会议系统的架构示意图;
图2为本申请实施例提供的一种四人(N=4)线上会议系统的示意图;
图3为本申请实施例提供的终端设备300(例如手机)的一种结构示意图;
图4为本申请实施例提供的服务器400的一种结构示意图;
图5为本申请实施例提供的一种会议记录方法的流程图;
图6A为本申请实施例提供的一种线上会议的用户界面的示意图;
图6B为本申请实施例提供的一种线上会议的用户界面的示意图;
图7为本申请实施例提供的一种线上会议的用户界面的示意图;
图8为本申请实施例提供的一种会议记录方法的存储方式的示意图;
图9为本申请实施例提供的一种会议记录方法的流程图;
图10为本申请实施例提供的一种线上会议的用户界面的示意图;
图11为本申请实施例提供的一种线上会议的用户界面的示意图;
图12为本申请实施例提供的一种会议记录方法的流程图;
图13为本申请实施例提供的一种线上会议的用户界面的示意图;
图14为本申请实施例提供的一种会议记录方法的流程图;
图15为本申请实施例提供的一种线上会议的用户界面的示意图;
图16为本申请实施例提供的一种会议记录方法的流程图;
图17为本申请实施例提供的一种线上会议的用户界面的示意图;
图18为本申请实施例提供的一种线上会议的用户界面的示意图;
图19为本申请实施例提供的一种线上会议的用户界面的示意图;
图20为本申请实施例提供的一种会议记录装置的组成示意图。
具体实施方式
下面结合附图对本申请实施例提供的一种会议记录方法、终端设备和会议记录系统进行详细地描述。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象,或者用于区别对同一对象的不同处理,而不是用于描述对象的特定顺序。
此外,本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中,除非另有说明,“多个”的含义是指两个或两个以上。本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
图1为本申请实施例提供的一种线上会议系统的架构示意图。该线上会议系统可以包括服务器和多个客户端。服务器可以和多个客户端通信。多个客户端之间可以通过该服务器建立通信连接。多个客户端可以是如图1中所示出的客户端1、客户端2、…、客户端N-1以及客户端N等。N为大于1的任意整数。
通过服务器、客户端1、客户端2、…、客户端N-1以及客户端N,可以向N个用户(以下称为与会人)提供线上会议功能。
本申请实施例以一个客户端对应一个与会人为例进行举例说明,即一个与会人使用一个客户端接入线上会议。不用与会人使用不同的客户端接入该线上会议。接入线上会议的各个客户端之间的音频数据或视频数据同步。当然可以理解的,一个客户端也可以对应多个与会人,例如,一个小组的多个与会人使用一个客户端接入线上会议,本申请实施例不以此作为限制。
接入线上会议的各个客户端之间的音频数据或视频数据同步具体指,作为发言人的与会人所使用的客户端可以将发言人的语音数据或视频数据,同步至接入线上会议的其他客户端。作为发言人的与会人可以在会议进行过程中发生切换。
上述客户端1、客户端2、…、客户端N-1以及客户端N可以分布在不同的物理地点。例如,客户端1位于城市1的办公地点1,客户端2位于城市1的办公地点2,客户端N-1位于城市3的办公地点3等,本申请实施例不一一举例说明。
客户端1、客户端2、…、客户端N-1以及客户端N可以分别作为线上会议的一个用户接口。与会人可以通过启动自身所使用的客户端接入线上会议,即与服务器建立通信连接,调用服务器所提供的线上会议服务。
服务器可以向客户端1、客户端2、…、客户端N-1以及客户端N提供线上会议服务。以客户端1为例,服务器可以通过客户端1调用客户端1的麦克风/显示屏等进行音/视频内容的记录,为每个与会人建立一个时间轴,以使得不同与会人的音/视频内容链接到该与会人的时间轴上,并在会后提供线上会议回顾界面,供与会人复盘会议场景。
本申请实施例中,任意一个客户端可以是硬件(如:终端设备),也可以是软件(如:APP)。示例性的,若客户端是终端设备,该终端设备(也可以称为用户设备(userequipment,UE))是一种具有无线收发功能的设备,可以部署在陆地上,包括室内或室外、手持或车载;也可以部署在水面上(如轮船等);还可以部署在空中(例如飞机、气球和卫星上等)。终端可以是手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)终端、增强现实(augmented reality,AR)终端、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、以及物联网(internet of things,IoT)中的无线终端等。若客户端是APP,该APP可以部署于上述任意一种终端设备中。例如,APP可以部署在手机、平板、个人计算机(personal computer,PC)、智能手环、音响、电视、智能手表或其他终端设备等中。本申请实施例对终端设备的具体形式不做具体限定。
上述服务器可以是一台或多台物理服务器(图1中以一台物理服务器为例),也可以是计算机集群,还可以是云计算场景的虚拟机或者云端服务器,等等。
需要说明的是,本申请实施例中,上述APP可以是终端设备自身内置的应用程序,也可以是用户自行安装的第三方服务商提供的应用程序,对此不做具体限定。
下述实施例以客户端为提供线上会议功能的APP为例进行举例说明。
以N=4为例,图2为本申请实施例提供的一种四人(N=4)线上会议系统的示意图,如图2所示,该四人线上会议系统包括四个客户端(211、212、213和214)和服务器220。四个客户端(211、212、213和214)可以分别部署在不同的终端设备上。客户端211的与会人(即使用客户端211加入线上会议的用户)为与会人001,客户端212的与会人为与会人002,客户端213的与会人为与会人003,客户端214的与会人为与会人004。
当与会人001作为发言人时,客户端211可以调度自身所在的终端设备的麦克风采集与会人001的会议发言语音信号,得到与会人001的一段音频数据,客户端211将与会人001的一段音频数据通过服务器220传输至客户端212、客户端213和客户端214。客户端212、客户端213和客户端214可以播放该音频数据,以使得与会人002、与会人003和与会人004接收到与会人001的会议发言语音信号。
在一些实施例中,客户端211还可以调度自身所在的终端设备的显示屏采集与会人001的显示屏的显示内容,得到与会人001的一段视频数据(也可称为录屏数据),客户端211将与会人001的一段视频数据通过服务器220传输至客户端212、客户端213和客户端214。客户端212、客户端213和客户端214可以播放该视频数据,以使得与会人002、与会人003和与会人004接收到与会人001的显示屏的显示内容。
本申请实施例的服务器可以为每个与会人分配一个时间轴,以使得不同与会人的音/视频数据链接至各自的时间轴,并在会后提供线上会议回顾界面,供与会人复盘会议场景。例如,如图2中的服务器220可以分别为与会人001、与会人002、与会人003和与会人004分配一个时间轴。对于与会人001的上述一段音频数据,服务器220可以保存该音频数据、该音频数据的起始时间和结束时间,将该音频数据、该音频数据的起始时间和结束时间关联至与会人001时间轴,以供线上会议结束后生成线上会议回顾界面,该线上会议回顾界面可以供与会人001、与会人002、与会人003或与会人004在线上会议结束后自主复现部分或全部会议场景。与会人001、与会人002、与会人003或与会人004可以通过作用在该线上会议回顾界面的操作,播放与会人的会议发言语音信号。
同理,对于与会人001的上述一段视频数据,服务器220也可以保存该视频数据、该视频数据的起始时间和结束时间,将该视频数据、该视频数据的起始时间和结束时间关联至与会人001时间轴,以供线上会议结束后生成线上会议回顾界面,该线上会议回顾界面可以供与会人001、与会人002、与会人003或与会人004在线上会议结束后自主复现部分或全部会议场景。与会人001、与会人002、与会人003或与会人004可以通过作用在该线上会议回顾界面的操作,播放与会人的显示屏的显示内容。
需要说明的是,与会人的时间轴可以是由与会人的标识信息和时间信息实现。其中,与会人的标识信息可以是与会人的身份标识(identity document,id),或者与会人所使用的终端设备标识、或者与会人的移动电话号码等,本申请实施例对此不作具体限定。时间信息可以是任意时区的时间信息,例如,北京时间等。
由此,与以文本记录会议全过程对话,之后通过关键字查找信息的方式不同,本申请实施例的会议记录方法,可以从与会人维度和时间维度,保存与会人的音/视频数据。这样,线上会议结束后可以通过线上会议回顾界面,向与会人提供与会人维度和时间维度的会议记录信息,与会人可以通过与会人和/或时间节点来筛选所需信息,自主复现全部或部分会议场景。本申请实施例的会议记录方法可以提供快捷且有效定位到所需目标信息的会议记录功能,有益于提升查找定位会议记录中目标信息的效率。其具体实施方式可以参见下述实施例的解释说明。
图3为本申请实施例提供的终端设备300(例如手机)的一种结构示意图。应该理解的是,图3所示的结构并不构成对终端设备300的具体限定。在本申请另一些实施例中,终端设备300可以包括比图3所示结构更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图3中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
示例性的,终端设备300可以包括处理器310,外部存储器接口320,内部存储器321,通用串行总线(universal serial bus,USB)接口330,充电管理模块340,电源管理模块341,电池342,天线1,天线2,移动通信模块350,无线通信模块360,音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,传感器380,按键390,马达391,指示器392,摄像头393,显示屏394,以及用户标识模块(subscriber identification module,SIM)卡接口395等。可以理解的是,本实施例示意的结构并不构成对终端设备300的具体限定。在本申请另一些实施例中,终端设备300可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件,或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元,例如:处理器310可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,终端设备300也可以包括一个或多个处理器310。其中,控制器可以是终端设备300的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器310中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据,可从所述存储器中直接调用。这就避免了重复存取,减少了处理器310的等待时间,因而提高了终端设备300系统的效率。
在一些实施例中,处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。其中,USB接口330是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为终端设备300充电,也可以用于终端设备300与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端设备300的结构限定。在本申请另一些实施例中,终端设备300也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块340用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块340可以通过USB接口330接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块340可以通过终端设备300的无线充电线圈接收无线充电输入。充电管理模块340为电池342充电的同时,还可以通过电源管理模块341为终端设备300供电。
电源管理模块341用于连接电池342,充电管理模块340与处理器310。电源管理模块341接收电池342和/或充电管理模块340的输入,为处理器310,内部存储器321,显示屏394,摄像头393,和无线通信模块360等供电。电源管理模块341还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块341也可以设置于处理器310中。在另一些实施例中,电源管理模块341和充电管理模块340也可以设置于同一个器件中。
终端设备300的无线通信功能可以通过天线1,天线2,移动通信模块350,无线通信模块360,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。终端设备300中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块350可以提供应用在终端设备300上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器等。移动通信模块350可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块350还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块350的至少部分功能模块可以被设置于处理器310中。在一些实施例中,移动通信模块350的至少部分功能模块可以与处理器310的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器370A,受话器370B等)输出声音信号,或通过显示屏394显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器310,与移动通信模块350或其他功能模块设置在同一个器件中。
无线通信模块360可以提供应用在终端设备300上的包括无线局域网(wirelesslocal area networks,WLAN),蓝牙,全球导航卫星系统(global navigation satellitesystem,GNSS),调频(frequency modulation,FM),NFC,红外技术(infrared,IR)等无线通信的解决方案。无线通信模块360可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块360经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器310。无线通信模块360还可以从处理器310接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,终端设备300的天线1和移动通信模块150耦合,天线2和无线通信模块360耦合,使得终端设备300可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括GSM,GPRS,CDMA,WCDMA,TD-SCDMA,LTE,GNSS,WLAN,NFC,FM,和/或IR技术等。上述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenithsatellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
终端设备300通过GPU,显示屏394,以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器,连接显示屏394和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器310可包括一个或多个GPU,其执行指令以生成或改变显示信息。
显示屏394用于显示图像,视频等。显示屏394包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,终端设备300可以包括1个或N个显示屏394,N为大于1的正整数。
终端设备300可以通过ISP,一个或多个摄像头393,视频编解码器,GPU,一个或多个显示屏394以及应用处理器等实现拍摄功能。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端设备300的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口320可以用于连接外部存储卡,例如Micro SD卡,实现扩展终端设备300的存储能力。外部存储卡通过外部存储器接口320与处理器310通信,实现数据存储功能。例如将音乐、照片、视频等数据文件保存在外部存储卡中。
内部存储器321可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器310可以通过运行存储在内部存储器321的上述指令,从而使得终端设备300执行本申请一些实施例中所提供的会议记录方法,以及各种功能应用以及数据处理等。内部存储器321可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储终端设备300使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器321可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。在一些实施例中,处理器310可以通过运行存储在内部存储器321的指令,和/或存储在设置于处理器310中的存储器的指令,来使得终端设备300执行本申请实施例中所提供的会议记录方法,以及各种功能应用及数据处理。
终端设备300可以通过音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,以及应用处理器等实现音频功能。例如音乐播放,录音等。其中,音频模块370用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块370还可以用于对音频信号编码和解码。在一些实施例中,音频模块370可以设置于处理器310中,或将音频模块370的部分功能模块设置于处理器310中。扬声器370A,也称“喇叭”,用于将音频电信号转换为声音信号。终端设备300可以通过扬声器370A收听音乐,或收听免提通话。受话器370B,也称“听筒”,用于将音频电信号转换成声音信号。当终端设备300接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。麦克风370C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风370C发声,将声音信号输入到麦克风370C。终端设备300可以设置至少一个麦克风370C。在另一些实施例中,终端设备300可以设置两个麦克风370C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端设备300还可以设置三个,四个或更多麦克风370C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。耳机接口370D用于连接有线耳机。耳机接口370D可以是USB接口330,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,还可以是美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
传感器380可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
按键390包括开机键,音量键等。按键390可以是机械按键,也可以是触摸式按键。终端设备300可以接收按键输入,产生与终端设备300的用户设置以及功能控制有关的键信号输入。
SIM卡接口395用于连接SIM卡。SIM卡可以通过插入SIM卡接口395,或从SIM卡接口395拔出,实现和终端设备300的接触和分离。终端设备300可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口395可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口395可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口395也可以兼容不同类型的SIM卡。SIM卡接口395也可以兼容外部存储卡。终端设备300通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端设备300采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在终端设备300中,不能和终端设备300分离。
图4为本申请实施例提供的服务器400的一种结构示意图,如图4所示,服务器400可以是图1所示实施例中的服务器。服务器400包括处理器401、存储器402(一个或多个计算机可读存储介质)和通信接口403。这些部件之间可以通过一个或多个总线404通信。
处理器401可以是一个或多个CPU,在处理器401是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
存储器402可以和处理器401通过总线404连接,也可以和处理器401耦合在一起,用于存储各种程序代码和/或多组指令、以及数据(例如,音频数据、视频数据等)。具体实现中,存储器402包括但不限于是随机存储记忆体(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable Read OnlyMemory,EPROM)、或便携式只读存储器(Compact Disc Read-Only Memory,CD-ROM)等。
通信接口403用于与其他设备通信,例如,用于接收终端设备发送的数据(例如,请求、音频数据、视频数据等),向终端设备发送数据(例如,音频数据、视频数据等)。
应当理解,图4所示的服务器400仅为本申请实施例提供的一个示例,服务器400还可以具有比图示更多的部件,本申请实施例对此不做具体限定。
本申请实施例中,处理器401通过运行存储在存储器402中的程序代码,从而执行服务器400的各种功能应用和数据处理。
图5为本申请实施例提供的一种会议记录方法的流程图,该会议记录方法可以应用于提供线上会议功能的客户端,该线上会议包括线上音频会议或线上视频会议。换言之,本实施例的执行主体可以是上述图1中的任意一个客户端。如图5所示,本实施例的方法可以包括:
步骤501、检测线上会议结束选项的触发操作或线上会议记录查看选项的触发操作。
以客户端为终端设备上的APP为例,与会人可以使用该客户端接入线上会议,例如,如图2所示的与会人001可以使用客户端211接入线上会议。其他与会人可以使用各自的客户端,例如,与会人002可以使用客户端212接入线上会议,与会人003可以使用客户端213接入线上会议等。接入线上会议的不同客户端之间,通过服务器建立有通信连接。不同客户端之间可以通过该通信连接传输音频数据和/或视频数据等。例如,与会人001在发言时,客户端211可以调用终端设备的麦克风采集与会人001的音频数据,之后可以通过该通信连接将该音频数据传输给其他客户端,例如,如图2所示的客户端212、客户端213和客户端214,客户端212、客户端213和客户端214可以各自播放该音频数据,以使得与会人002、与会人003和与会人004接收到与会人001的语音信号。其他与会人发言时,语音数据的传输方式与前述方式类似,此处不再赘述。线上会议进行过程中,不同与会人各自可以在不同时间段或相同时间段作为发言人进行发言。发言人所使用的客户端可以调用终端设备的麦克风采集发言人的音频数据,并传输给其他与会人所使用的客户端。本申请实施例还可以保存不同与会人各自在不同时间段或相同时间段的音频数据,以及不同时间段或相同时间段的起始时间和结束时间,以在线上会议结束后显示如下述步骤502中的线上会议回顾界面。
一种可实现方式,显示如下述步骤502中的线上会议回顾界面的触发方式,可以是检测到线上会议结束选项的触发操作。该线上会议结束选项的触发操作可以是与会人的手指、触控笔或其他可以被终端设备的触控显示屏所检测到的控制物体,作用在线上会议结束选项的触发操作。线上会议结束选项可以是显示在用户界面上的用于退出线上会议的控件。需要说明的是,该线上会议结束选项的触发操作还可以是与会人通过与终端设备连接的其他控制物体,作用在线上会议结束选项的触发操作,例如,鼠标、键盘等,本申请实施例不一一举例说明。
示例性的,图6A为本申请实施例提供的一种线上会议的用户界面的示意图。作为一种示例而非限定,如图6A所示,终端设备的显示组件显示了提供线上会议功能的客户端的当前一种可能的用户界面,该用户界面为线上会议进行过程中的一种主界面601,主界面601可以显示如图6A所示的内容。主界面601具体可以包括静音或取消静音控件6011、开启或关闭视频控件6012、共享屏幕控件6013、成员控件6014、更多控件6015以及结束会议控件6016。应理解,主界面601还可以包括其他更多或更少的显示内容,本申请实施例对此不作限定。其中,结束会议控件6016可以作为上述线上会议结束选项。与会人执行如图6A所示的对结束会议控件6016的点击操作,响应于该点击操作,终端设备的显示组件显示下述线上会议回顾界面。
另一种可实现方式,显示如下述步骤502中的线上会议回顾界面的触发方式,可以是检测到线上会议记录查看选项的触发操作。该线上会议记录查看选项的触发操作可以是与会人的手指、触控笔或其他可以被终端设备的触控显示屏所检测到的控制物体,作用在线上会议记录查看选项的触发操作。线上会议记录查看选项可以是显示在用户界面上的用于显示线上会议的线上会议回顾界面的控件。
示例性的,图6B为本申请实施例提供的一种线上会议的用户界面的示意图。作为一种示例而非限定,如图6B所示,终端设备的显示组件显示了提供线上会议功能的客户端的当前一种可能的用户界面,该用户界面为线上会议结束后的一种主界面602,主界面602可以显示如图6B所示的内容。主界面602具体可以包括参会人员控件6021和会议记录控件6022。应理解,主界面602还可以包括其他更多或更少的显示内容,本申请实施例对此不作限定。其中,会议记录控件6022可以作为上述线上会议记录查看选项。与会人执行如图6B所示的对会议记录控件6022的点击操作,响应于该点击操作,终端设备的显示组件显示下述线上会议回顾界面。
步骤502、响应于线上会议结束选项的触发操作或线上会议记录查看选项的触发操作,显示线上会议回顾界面,线上会议回顾界面包括多个与会人的时间轴和沿着时间轴分布的多个音频标识。
多个音频标识中的每个音频标识用于标识音频标识所在时间轴的与会人的一段音频数据。每个音频标识在所在时间轴的起始位置为一个与会人的一段音频数据的起始时间,每个音频标识在所在时间轴的结束位置为一个与会人的一段音频数据的结束时间,该与会人的一段音频数据是录制该与会人在该起始时间至该结束时间之间的时间段内的会议发言语音信号生成的。
一个与会人的时间轴上可以分布有一个或多个音频标识。一个与会人的时间轴上分布的音频标识的个数以及每个音频标识的长度,与该与会人在线上会议上的发言时间有关。
示例性,以线上会议为五个与会人的会议为例,线上会议回顾界面可以包括五个与会人的时间轴和沿着时间轴分布的多个音频标识。五个与会人的时间轴分别为与会人1的时间轴、与会人2的时间轴、与会人3的时间轴、与会人4的时间轴和与会人5的时间轴。五个与会人的时间轴的长度可以相同,也可以不同。一种示例,五个与会人的时间轴的长度相同,五个与会人的时间轴的起始位置为线上会议开始的时刻,五个与会人的时间轴的结束位置为线上会议结束的时刻。其中,线上会议开始的时刻可以是预约性的线上会议的预约起始时刻,或者可以是临时性的线上会议的发起时刻,或者可以是五个客户端中第一个接入线上会议的客户端的接入时刻等。线上会议结束的时刻可以是预约性的线上会议的预约结束时刻,或者可以是五个客户端中最后一个退出线上会议的客户端的退出时刻等。
举例而言,图7为本申请实施例提供的一种线上会议的用户界面的示意图。作为一种示例而非限定,如图7所示,终端设备的显示组件显示了提供线上会议功能的客户端的当前一种可能的用户界面,该用户界面为线上会议结束后的一种主界面701,主界面701可以显示如图7所示的内容。主界面701具体可以包括五个与会人的时间轴和沿着时间轴分布的多个音频标识。五个与会人的时间轴分别为与会人1的时间轴7011、与会人2的时间轴7012、与会人3的时间轴7013、与会人4的时间轴7014和与会人5的时间轴7015。与会人1的时间轴7011、与会人2的时间轴7012、与会人3的时间轴7013、与会人4的时间轴7014和与会人5的时间轴7015的长度相同。五个与会人的时间轴的起始位置为线上会议开始的时刻,例如,北京时间14:00。五个与会人的时间轴的起始位置为线上会议结束的时刻,例如,北京时间18:00。线上会议开始后,与会人1最先发言,得到与会人1的一段音频数据,该段音频数据的音频标识为A05。A05在与会人1的时间轴的起始位置为与会人1的该段音频数据的起始时间,即与会人1这次发言的起始时间。A05在与会人1的时间轴的结束位置为与会人1的该段音频数据的结束时间,即与会人1本次发言的结束时间。之后,与会人2发言,得到与会人2的一段音频数据,该段音频数据的音频标识为A08。A08在与会人2的时间轴的起始位置为与会人2的该段音频数据的起始时间,即与会人2这次发言的起始时间。A08在与会人2的时间轴的结束位置为与会人2的该段音频数据的结束时间,即与会人2本次发言的结束时间。以此类推,不同与会人发言,得到不同与会人的一段或多段音频数据,每段音频数据对应一个音频标识,每个音频标识的长度可以为与会人一次发言的时长,例如,30分钟。这样,在线上会议结束后可以生成如图7所述的线上会议回顾界面。该线上会议回顾界面的与会人1的时间轴7011上分布有4个音频标识(A05、A06、A07和A03),与会人2的时间轴7012上分布有3个音频标识(A08、A09和A04),与会人3的时间轴7013上分布有2个音频标识(A01和A02),与会人4的时间轴7014上分布有1个音频标识(A10),与会人5的时间轴上分布有2个音频标识(A11和A12)。该线上会议回顾界面可以供用户在线上会议回顾界面上进行操作,以音频形式复现部分或全部会议场景。应理解,主界面602还可以包括其他更多或更少的显示内容,本申请实施例对此不作限定。作为一种示例,图7中的音频标识采用矩形图标的形式显示,可以理解的,其还可以是其他图标形式,本申请实施例不一一举例说明。并且本申请实施例对矩形图标的高度也不做具体限定。
可选的,线上会议回顾界面还可以包括各个与会人在整个会议中的发言总时长。例如,如图7所示,每个与会人的时间轴的最右侧显示有对应的与会人的发言总时长。以与会人1为例,与会人1的发言总时长为2小时12分钟21秒(2:12:21)。
本实施例,通过检测线上会议结束选项的触发操作或线上会议记录查看选项的触发操作,响应于线上会议结束选项的触发操作或线上会议记录查看选项的触发操作,显示线上会议回顾界面,线上会议回顾界面包括多个与会人的时间轴和沿着时间轴分布的多个音频标识,多个音频标识中的每个音频标识用于标识音频标识所在时间轴的与会人的一段音频数据,每个音频标识在所在时间轴的起始位置为一个与会人的一段音频数据的起始时间,每个音频标识在所在时间轴的结束位置为一个与会人的一段音频数据的结束时间,该与会人的一段音频数据是录制该与会人在该起始时间至该结束时间之间的时间段内的会议发言语音信号生成的。该线上会议回顾界面可以供用户在线上会议结束后,在线上会议回顾界面上进行操作,以音频形式复现部分或全部会议场景。这样,线上会议结束后可以通过线上会议回顾界面,向与会人提供与会人维度和时间维度的会议记录信息,与会人可以通过与会人和/或时间节点来筛选所需信息,自主复现全部或部分会议场景。该线上会议回顾界面可以提供快捷且有效定位到所需目标信息的会议记录功能,有益于提升查找定位会议记录中目标信息的效率。
以与会人在线上会议结束后需要查找与会人1在15:00左右分配的准备工作的具体内容为例,采用以文本记录会议全过程对话,之后通过关键字查找信息的方式,会增加从文本中定位信息的难度。例如,与会人在线上会议结束后输入关键字“准备工作”,但是,由于与会人1在线上会议发言时说的是“筹备工作”,语音转换为文本,文本中记录的也是“筹备工作”。这样,与会人在线上会议结束后输入的关键字“准备工作”无法与文本中记录的“筹备工作”匹配。并且即使保存有会议全过程对话的音频数据,但是由于音频数据与该文本各自独立,当与会人无法通过关键字定位所需查找的信息时,往往需要通过播放音频数据查找所需信息,但是又无法准确定位所需信息所在音频数据的位置,由此使得与会人无法快速的查找到所需信息。而与这种方式不同,本申请实施例的会议记录方法,可以提供线上会议回顾界面,与会人在线上会议结束后,根据与会人(即这里的与会人1)和时间节点(15:00),在线上会议回顾界面上点击音频标识A06,从而播放音频标识A06对应的音频数据,以音频形式复现与会人1的发言,从而获知与会人1在15:00左右分配的准备工作的具体内容,这样能够更为简单、直观、快速的定位到所需信息,有益于提升查找定位会议记录中目标信息的效率。用音频数据取代文本,一方面,可以解决口语表述和文本表述不一致产生的查找不到、难以理解等问题,另一方面,听的方式相比看的方式能够更快的被大脑所理解,可以更快的比对、筛选信息。
上述多个音频标识各自所标识的一段音频数据可以是客户端录制生成的,也可以是服务录制生成的。
方式一、客户端录制生成一段或多段音频数据。具体的,客户端可以录制生成使用该客户端的与会人的一段或多段音频数据,并记录一段或多段音频数据各自的起始时间和结束时间。客户端向服务器发送一段或多段音频数据、和一段或多段音频数据各自的起始时间和结束时间,服务器将一段或多段音频数据、和一段或多段音频数据各自的起始时间和结束时间存储至一个或多个存储单元,以供服务器可以向客户端提供上述线上会议回顾界面。每个存储单元包括一段音频数据、和该段音频数据的起始时间和该段音频数据的结束时间。这里的一个或多个存储单元通过使用该客户端的与会人的一组时间指针串联。每个存储单元中的音频数据可以是一个音频文件。
以如图7所示的与会人3的客户端为例,与会人3的客户端可以录制生成与会人3的两段音频数据,并记录两段音频数据各自的起始时间和结束时间,发送给服务器,服务器将两段音频数据、和两段音频数据各自的起始时间和结束时间存储至两个存储单元中,并基于此得到如图7所示的线上会议回顾界面中沿着与会人3的时间轴分布的两个音频标识(A01和A02)。
示例性的,与会人3的两个存储单元可以是如图8所示的结构,图8为本申请实施例提供的一种会议记录方法的存储方式的示意图。作为一种示例而非限定,如图8所示,与会人3的两个存储单元分别为存储单元1和存储单元2。存储单元1包括时间指针11、起始时间1、音频数据1、结束时间1和时间指针12。时间指针11可以指向起始时间1。起始时间1可以是与会人3的第一段发言的起始时间,音频数据1包括与会人3的第一段发言的音频数据,结束时间1可以是与会人3的第一段发言的结束时间。时间指针12可以指向存储单元2的时间指针21。存储单元2包括时间指针21、起始时间2、音频数据2、结束时间2和时间指针22。时间指针21可以指向起始时间2。起始时间2可以是与会人3的第二段发言的起始时间,音频数据2包括与会人3的第二段发言的音频数据,结束时间2可以是与会人3的第二段发言的结束时间。由此,这两个存储单元可以通过与会人3的一组时间指针串联。该组时间指针包括前述时间指针11、时间指针12、时间指针21和时间指针22。
方式二、服务器录制生成多段音频数据。具体的,服务器可以录制生成使用各个客户端的与会人的一段或多段音频数据,并记录一段或多段音频数据各自的起始时间和结束时间,并将使用各个客户端的与会人的一段或多段音频数据,以及一段或多段音频数据各自的起始时间和结束时间存储至各个客户端的一个或多个存储单元,以供服务器可以向各个客户端提供上述线上会议回顾界面。每个存储单元的具体形式可以与上述方式一相同,此处不再赘述。
图9为本申请实施例提供的一种会议记录方法的流程图,该会议记录方法可以应用于提供线上会议功能的系统,该线上会议包括线上音频会议或线上视频会议。如图9所示,本实施例以该系统包括5个客户端(即与会人1的客户端1、与会人2的客户端2、与会人3的客户端3、与会人4的客户端4和与会人5的客户端5)和一个服务器为例进行举例说明,本实施例的方法可以包括:
步骤901、客户端1接入线上会议、客户端2接入线上会议、客户端3接入线上会议、客户端4接入线上会议以及客户端5接入线上会议。
客户端1、客户端2、客户端3、客户端4以及客户端5各自接入同一线上会议。该线上会议可以用会议ID标识。例如,与会人1、与会人2、与会人3、与会人4和与会人5各自分别通过点击会议链接或输入会议ID的方式,在一个时间段内的相同时刻或不同时刻接入同一线上会议。
一种可实现方式,该线上会议可以是预约性的。示例性的,如图9的虚线所示,在步骤901之前,客户端1可以向服务器发送线上会议预约请求,该线上会议预约请求可以包括会议主题、会议开始时间、会议结束时间和多个与会人信息。会议开始时间晚于发送该线上会议预约请求的时间。以本实施例的应用场景为例,多个与会人信息可以包括与会人2的标识信息、与会人3的标识信息、与会人4的标识信息和与会人5的标识信息。服务器根据该线上会议预约请求,分配线上会议ID和/或线上会议链接,该线上会议ID和/或线上会议链接用于不同与会人所使用的客户端接入线上会议,服务器向客户端1发送线上会议预约响应,该线上会议预约响应可以包括线上会议ID和/或线上会议链接。客户端1可以将线上会议ID和/或线上会议链接发送给客户端2、客户端3、客户端4和客户端5。另外,服务器还可以存储前述会议主题、会议开始时间、会议结束时间、与会人1的标识信息、与会人2的标识信息、与会人3的标识信息、与会人4的标识信息和与会人5的标识信息。当然可以理解的,该线上会议预约请求还可以包括会议议程等其他信息,本申请实施例对此不作具体限定。
另一种可实现方式,该线上会议也可以是临时性的,即未提前预约。示例性的,客户端1可以临时发起线上会议,即发起的同时,线上会议已经开始。客户端1接入线上会议之后,可以向客户端2、客户端3、客户端4和客户端5分别发送线上会议ID和/或线上会议链接,客户端2、客户端3、客户端4和客户端5可以分别根据线上会议ID或线上会议链接,接入线上会议。另外,服务器还可以存储会议开始时间(即客户端1发起线上会议的时间)和多个与会人信息。以本实施例的应用场景为例,多个与会人信息可以包括与会人1的标识信息、与会人2的标识信息、与会人3的标识信息、与会人4的标识信息和与会人5的标识信息。
步骤902、服务器分配与会人1的时间轴、与会人2的时间轴、与会人3的时间轴、与会人4的时间轴和与会人5的时间轴。
各个与会人的时间轴的具体解释说明可以参见图5所示实施例的步骤502的具体解释说明,此处不再赘述。
一种可实现方式,对于预约性的线上会议或临时性的线上会议,服务器响应于客户端1接入线上会议,分配与会人1的时间轴,服务器响应于客户端2接入线上会议,分配与会人2的时间轴,服务器响应于客户端3接入线上会议,分配与会人3的时间轴,服务器响应于客户端4接入线上会议,分配与会人4的时间轴,服务器响应于客户端5接入线上会议,分配与会人5的时间轴。
另一种可实现方式,对于预约性的线上会议,服务器响应于预约性的线上会议的会议开始时间到达或者检测到任一客户端(即客户端1、客户端2、客户端3、客户端4或客户端5)接入线上会议,服务器根据保存的该线上会议的与会人的标识信息,分配与会人1的时间轴、与会人2的时间轴、与会人3的时间轴、与会人4的时间轴和与会人5的时间轴。
需要说明的是,上述步骤901和步骤902的顺序不以序号大小作为限制,其还可以是其他顺序,例如,客户端1接入线上会议,服务器无需等待其他客户端接入线上会议,便可以分配与会人1的时间轴。
服务器可以在后续的线上会议中沿着各个与会人的时间轴存储各自的音频数据。
具体的,服务器可以分别为每个与会人建立一组时间指针,通过每个与会人的时间指针串联该与会人的多个存储单元,使串联的存储单元指向同一与会人。串联的存储单元用于存储与会人的音频数据。
步骤904、服务器录制各个客户端的语音音频生成多段音频数据,记录各个客户端的语音音频的起始时间和结束时间,并根据各个客户端的语音音频的起始时间和结束时间,将多段音频数据关联至对应的与会人的时间轴。
在会议过程中,服务器记录每个与会人的每段发言的音频数据,并将每段发言的音频数据各自存储到一个存储单元中。每个存储单元存储有一段发言的起始时间、该段发言的音频数据和发言的结束时间。这样,通过时间指针串联多个存储有音频数据的存储单元,就可以将与会人在会议过程中的一段或多段发言关联到该与会人的时间轴上。
其中,存储单元的具体形式可以参见图8所示,其具体解释说明可以参见图8所示实施例的解释说明,此处不再赘述。
需要说明的是,一段或多段音频数据,可以通过如下多种不同的方式存储:
1)根据麦克风的权限申请存储音频数据。以一个与会人所使用的客户端的麦克风为例,将麦克风的打开时间作为一段发言的起始时间,麦克风的结束时间作为该段发言的结束时间,在麦克风的打开时间内,录制麦克风所拾取的语音音频,得到一段音频数据,将该段音频数据存储在与会人的一个存储单元中。这种方式,可以适用于与会人在发言开始时打开麦克风,在发言结束时关闭麦克风的线上会议场景。
2)根据麦克风的上行数据流存储音频数据。以一个与会人所使用的客户端的麦克风为例,在检测到麦克风所拾取的语音音频上传到服务器时,将上传开始时间作为一段发言的起始时间,将上传结束时间作为该段发言的结束时间,录制麦克风所拾取的语音音频,得到一段音频数据,将该段音频数据存储在与会人的一个存储单元中。
这种方式下,音频数据是实时存储的,服务器可以跟随线上会议进行会议记录,实时记录得到若干段音频数据。且不需要与会人进行麦克风管理,与会人可以全程开启麦克风。
可选的,如果一个与会人的前后相邻的两段发言中,前一段发言的结束时间与后一段发言的开始时间之间的时间间隔小于预设阈值,则可以将前后相邻的两段音频数据存储到同一个存储单元内。该预设阈值可以根据需求进行灵活设置,例如,预设阈值可以是10秒。
3)会议结束后的重链接。在线上会议进行阶段,只要保证麦克风能够录制到与会人的全部发言即可,如果与会人全程开启麦克风,则在会议过程中,与会人的所有音频数据存储到一个存储单元中。在线上会议结束后,依次获取会议过程中得到的每个与会人的所有音频数据。然后对每个与会人的所有音频数据进行处理,以得到与会人的实际发言的一段或多段音频数据。例如,剔除掉无声片段,进行降噪处理后,就可以得到与会人的实际发言的一段或多段音频数据。将实际发言的一段或多段音频数据分别存储,并用时间指针重新链接,就可以使得与会人的一段或多段音频数据按照时间分布。
在重链接对每个与会人的所有音频数据进行分段存储时,除了从时间的角度进行分段以外,还可以从语义理解的角度进行分段。如果前后相邻的两段发言属于相关的上下文,则可以将前后相邻的两段发言的音频数据作为一段连续的音频数据。这是由于可能与会人在和其他与会人讨论同一话题,因此,可以将语义理解上属于同一话题的前后相邻的发言作为一段连续的音频数据,而不剔除中间的无声片段。同一个话题可以基于语义理解判断话题的相关度,在相关度高于设定值时,可以确定是同一个话题。语义理解和不同段落相关度的判断可以直接采用现有的语音处理技术,本申请实施例对此不再赘述。
举例来说,假设会议过程中记录到与会人A、与会人B和与会人C的以下录音:
{
与会人A的时间轴:
【14:00:30~14:02:30】A:“……下面请B进行XX项目的汇报。”
与会人B的时间轴:
【14:02:35~14:02:55】B:“下面由我来汇报一下XX项目的进度,XX项目是公司和XX大学的合作开发项目。”
【14:03:10~14:03:48】B:“是的,XX项目是公司和XX老师合作的重点技术攻关项目,主要针对XX方面的,是公司技术较为薄弱的地方,XX老师是业内这方面的顶级专家学者。”
【14:04:01~14:35:55】B:“好的,那我继续XX项目的汇报。如果有疑问可以随时打断。上周,XX项目的实验取得里程碑式进展,实验室测试结果相比公司现有XX系列产品………………。以上是关于XX项目的进展情况,请各位评委提问。”
与会人C的时间轴:
【14:03:00~14:03:05】C:“稍微打断一下,是和XX老师合作的项目吗?”
【14:03:53~14:03:56】C:“好的,请继续。”
}
基于语义理解,与会人B的三段发言都是和XX项目的汇报高度相关,因此,可以将与会人B的3个发言片段集合在一个存储单元的音频数据中,中间与会人C的发言时间为无声片段。
步骤905、客户端1检测到线上会议结束选项的触发操作,客户端1向服务器发送线上会议结束指示信息。
其中,线上会议结束选项的触发操作的具体解释说明可以参见图5所示实施例的步骤502的解释说明,此处不再赘述。
客户端1检测到线上会议结束选项的触发操作之后,可以向服务器发送线上会议结束指示信息,该线上会议结束指示信息用于指示服务器生成线上会议回顾界面。
步骤906、服务器响应于该线上会议结束指示信息,生成线上会议回顾界面,并向客户端1发送线上会议回顾界面,线上会议回顾界面包括各个与会人的时间轴和沿着时间轴分布的多个音频标识。
服务器根据沿着各个与会人的时间轴分布的多段音频数据、以及每段音频数据的起始时间和结束时间,生成线上会议回顾界面。例如,服务器可以根据如上所述的多个存储单元生成线上会议回顾界面。该线上会议回顾界面可以包括各个与会人的时间轴和沿着时间轴分布的多个音频标识。例如,该线上会议回顾界面可以如图7所示。
步骤907、客户端1响应于线上会议结束选项的触发操作,显示线上会议回顾界面。
该线上会议回顾界面可以供用户在线上会议回顾界面上进行操作,以音频形式复现部分或全部会议场景。其中,步骤907的具体解释说明可以参见图5所示实施例的步骤502的解释说明,此处不再赘述。
本实施例,通过在线上会议过程中,录制各个客户端的语音音频生成多段音频数据,记录各个客户端的语音音频的起始时间和结束时间,并根据各个客户端的语音音频的起始时间和结束时间,将多段音频数据关联至对应的与会人的时间轴,在线上会议结束后,基于记录的多段音频数据、以及各段音频数据的起始时间和结束时间,向客户端提供线上会议回顾界面,线上会议回顾界面包括多个与会人的时间轴和沿着时间轴分布的多个音频标识,多个音频标识中的每个音频标识用于标识音频标识所在时间轴的与会人的一段音频数据,每个音频标识在所在时间轴的起始位置为一个与会人的一段音频数据的起始时间,每个音频标识在所在时间轴的结束位置为一个与会人的一段音频数据的结束时间。该线上会议回顾界面可以供用户在线上会议结束后,在线上会议回顾界面上进行操作,以音频形式复现部分或全部会议场景。这样,线上会议结束后可以通过线上会议回顾界面,向与会人提供与会人维度和时间维度的会议记录信息,与会人可以通过与会人和/或时间节点来筛选所需信息,自主复现全部或部分会议场景。该线上会议回顾界面可以提供快捷且有效定位到所需目标信息的会议记录功能,有益于提升查找定位会议记录中目标信息的效率。
并且,通过时间节点配合音频数据筛选目标信息的方式,支持用户对模糊记忆的查找。
在通过如上所述任一种会议记录方法提供线上会议回顾界面之后,可以通过检测用户作用在线上会议回顾界面上的如下任一操作,以呈现全部或部分会议场景。检测用户作用在线上会议回顾界面上的如下任一操作包括但不限于:悬停、点击、双击、拖动等操作。呈现全部或部分会议场景包括但不限于呈现关键字、播放音频数据、播放视频数据等。
场景一、第一触发操作。
客户端显示如上所述的线上会议回顾界面,检测线上会议回顾界面的多个音频标识中的一个音频标识的第一触发操作,客户端响应于第一触发操作,显示音频标识对应的音频数据的关键字。音频标识对应的音频数据是指,音频标识所标识的音频数据。音频数据的关键字可以是对音频数据进行处理得到的。例如,对音频数据进行语音转文字处理,之后基于语义理解识别出的关键字。
举例而言,该第一触发操作可以是鼠标或其他控制物体的悬停操作。当客户端检测到鼠标或其他控制物体悬停在多个音频标识中的一个音频标识时,显示音频标识对应的音频数据的关键字。例如,当客户端检测到鼠标或其他控制物体悬停在如图7所示的音频标识A06,则在音频标识的上方显示如图7所示的关键字“发布会筹备工作”。当然可以理解的,关键字的位置也可以在音频标识的下方等其他位置,本申请实施例对此不作具体限制。
场景二、第二触发操作。
客户端显示如上所述的线上会议回顾界面,检测线上会议回顾界面的多个音频标识中的一个音频标识的第二触发操作,客户端响应于第二触发操作,播放音频标识对应的音频数据。
举例而言,该第二触发操作可以是点击/双击操作。当客户端检测到点击/双击一个音频标识时,播放该音频标识对应音频数据。这样,用户可以从与会人、时间两个维度回顾会议内容,实现会议内容的定位,能够较快的定位到用户需要查找的目标信息的时间节点,并能够分别知道不同与会人在该时间节点各自所说内容,帮助会后复现会议场景。
场景三、第三触发操作。
客户端显示如上所述的线上会议回顾界面,检测由线上会议回顾界面的多个音频标识中的第一音频标识由第一时间轴至第二时间轴的第三触发操作。其中,第一音频标识分布在第一时间轴,一个或多个第二音频标识分布在第二时间轴。第一音频标识和至少一个第二音频标识是位于不同时间轴的不同的音频标识,第一音频标识和至少一个第二音频标识各自所标识的音频数据不同。客户端响应于第三触发操作,将第一音频标识显示在第二时间轴上,并根据第一音频标识对应的第一音频数据的起始时间和结束时间,关联第一音频标识对应的第一音频数据与至少一个第二音频标识对应的第二音频数据。也即将第一音频数据和第二时间轴关联。之后,客户端检测第一音频标识或至少一个第二音频标识的第四触发操作,响应于第四触发操作,播放第一音频数据和至少一个第二音频标识对应的第二音频数据。
其中,第一音频标识在第二时间轴上的位置可以与第一音频标识在第一时间轴上的位置相同。
举例而言,该第三触发操作可以是拖动操作。当客户端检测到拖动第一音频标识由第一时间轴至第二时间轴时,将第一音频标识显示在第二时间轴上,并关联第一音频标识对应的第一音频数据与至少一个第二音频标识对应的第二音频数据。由此,通过拖动第一音频标识至第二时间轴,可以将第一音频数据和另一个与会人的时间轴(即这里的第二时间轴)关联,从而可以组合不同与会人的发言。
一种情况,第一音频标识的时间段与至少一个第二音频标识的时间段存在交集,即第一音频标识所在时间轴的与会人和第二音频标识所在时间轴的与会人二者至少存在一个或多个相同时间段的发言,客户端检测到第一音频标识或至少一个第二音频标识的第四触发操作,响应于第四触发操作,按照第一音频标识在第二时间轴上的时间位置和至少一个第二音频标识在第二时间轴上的时间位置,播放第一音频数据的非交集部分、第一音频数据和至少一个第二音频数据的交集部分,或至少一个第二音频数据的非交集部分中至少两项。
由此,以第一音频标识和一个第二音频标识存储重叠为例,如果拖动的第一音频标识和第二时间轴上的一个第二音频标识存在重叠(也称交集),通过将第一音频标识和第二音频标识根据时间叠加融合,各自对应的音频文件也建立关联,从而使得关联后的音频文件可以实现同步控制,实现一键播放。
可选的,不同音频标识的音频文件还可以根据时间融合成一个音频文件,不同与会人的音频文件添加到不同音轨,融合后的音频文件对应融合后的音频标识,可以点击融合后的音频标识,以播放融合后的音频文件,融合后的音频文件包括多个与会人的发言内容。
通过这样的方式,如果不同与会人在一段时间内存在共同发言,既可以分别在各个与会人的时间轴上通过点击音频标识单独的听取各个与会人各自的发言内容,还可以通过拖动音频标识,将多个音频标识叠加融合为一个音频标识,来同时播放多个与会人的发言内容,从而复现当时的会议讨论场景。特别是,对于会内激烈讨论的内容,在会议上,由于激烈讨论可能无法把握每一个人的观点,会后可以通过音频标识对不同与会人的发言内容进行拆分、融合,反复分析,从而把握不同与会人在会议上的观点。
可选的,客户端还可以检测第一音频标识的第五触发操作,响应于第五触发操作,将第一音频标识显示在第一时间轴上,并取消关联第一音频数据和第二音频数据,取消关联用于第一音频数据和第二音频数据各自独立播放。
该第五触发操作可以是第三触发操作的反向操作。例如,与上述拖动操作反方向的拖动操作。可以理解的,该第五触发操作还可以是其他操作,例如,双击等,本申请实施例对此不作具体限定。
一种举例,图10为本申请实施例提供的一种线上会议的用户界面的示意图。作为一种示例而非限定,如图10所示,在如图7所示线上会议回顾界面上进行如图10所示的操作,将与会人1的时间轴上的音频标识A03,拖到至与会人3的时间轴。由于音频标识A03在与会人1的时间轴上的位置,与音频标识A02在与会人3的时间轴上的位置存在重叠。所以,客户端可以将音频标识A03和音频标识A02各自所标识的音频文件关联。之后,客户端检测到用户点击关联后的音频标识A03或音频标识A02时,可以同步播放音频标识A03和音频标识A02的音频文件。类似的,之后还可以将与会人2的时间轴上的音频标识A04,拖到至与会人3的时间轴。由于音频标识A04在与会人2的时间轴上的位置,与音频标识A02在与会人3的时间轴上的位置存在重叠。所以,客户端可以将音频标识A03、音频标识A02和音频标识A04各自所标识的音频文件关联。之后,客户端检测到用户点击关联后的音频标识A03或音频标识A02或音频标识A04时,可以同步播放音频标识A03、音频标识A02和音频标识A04的音频文件。这样,就可以播放与会人1、与会人2、和与会人3的发言。
另一种举例,图11为本申请实施例提供的一种线上会议的用户界面的示意图。作为一种示例而非限定,如图11所示,线上会议回顾界面包括与会人A的时间轴、与会人B的时间轴和与会人C的时间轴。与会人A的时间轴上分布有一个音频标识A01,与会人B的时间轴上分布有3个音频标识(A02、A03和A04),与会人C的时间轴7上分布有2个音频标识(A05和A06)。
其中,音频标识A02对应的发言片段为【14:02:35~14:02:55】,与会人B:“下面由我来汇报一下XX项目的进度,XX项目是公司和XX大学的合作开发项目。”,音频标识A03对应的发言片段为【14:03:10~14:03:48】,与会人B:“是的,XX项目是公司和XX老师合作的重点技术攻关项目,主要针对XX方面的,是公司技术较为薄弱的地方,XX老师是业内这方面的顶级专家学者。”,音频标识A04对应的发言片段为【14:04:01~14:35:55】,与会人B:“好的,那我继续XX项目的汇报。如果有疑问可以随时打断。上周,XX项目的实验取得里程碑式进展,实验室测试结果相比公司现有XX系列产品………………。以上是关于XX项目的进展情况,请各位评委提问。”,音频标识A05对应的发言片段为【14:03:00~14:03:05】,与会人C:“稍微打断一下,是和XX老师合作的项目吗?”,音频标识A06对应的发言片段为【14:03:53~14:03:56】,与会人C:“好的,请继续。”
客户端检测到如图11所示的操作,将与会人C的音频标识A05和音频标识A06拖动到与会人B的时间轴上,根据音频标识A05和音频标识A06各自在与会人C的时间轴上的位置,移动后的音频标识A05和音频标识A06落在与会人B的时间轴上对应的时间节点处,且移动后的音频标识A05和音频标识A06和与会人B的音频标识存在重叠,可以将其融合成一个新的的音频标识,即如图11所示的与会人B的时间轴上的时间长度更长的音频标识。将与会人C时间轴的两个音频标识都拖动到与会人B的时间轴后,融合成的新的音频标识对应的发言片段为:
{
B时间轴:
【14:02:35~14:02:55】B:下面由我来汇报一下XX项目的进度,XX项目是公司和XX大学的合作开发项目。
【14:03:00~14:03:05】C:稍微打断一下,是和XX老师合作的项目吗?
【14:03:10~14:03:48】B:是的,XX项目是公司和XX老师合作的重点技术攻关项目,主要针对XX方面的,是公司技术较为薄弱的地方,XX老师是业内这方面的顶级专家学者。
【14:03:53~14:03:56】C:好的,请继续。
【14:04:01~14:35:55】B:好的,那我继续XX项目的汇报。如果有疑问可以随时打断。上周,XX项目的实验取得里程碑式进展,实验室测试结果相比公司现有XX系列产品………………。以上是关于XX项目的进展情况,请各位评委提问。
}
由此,在检测到用户点击与会人B的时间轴上新的音频标识时,可以播放如上所述的发言片段。
同样,可以通过反向操作来拆分融合后的音频标识,解除音频文件之间的关联。例如,在原来的音频标识位置进行双击操作,或者将音频标识拖动回原来的位置。拆分后,音频文件之间解除关联。
本实施例,通过在线上会议回顾界面上显示音频标识对应的音频数据的关键字,以使得用户可以基于关键字初步筛选音频数据,有益于提升查找定位会议记录中目标信息的效率。通过拖动音频标识,自由关联多个音频标识对应的音频数据,以同时播放多个与会人的发言内容,从而复现当时的会议讨论场景。对于会内激烈讨论的内容,会后可以在线上会议回顾界面上通过融合或拆分音频标识的方式,关联或取消关联音频标识对应的音频数据,以同时播放关联后的音频数据或各自独立播放取消关联的音频数据,反复分析,有利于在会后把握激烈讨论阶段,不同与会人的观点。
图12为本申请实施例提供的一种会议记录方法的流程图,该会议记录方法可以应用于提供线上会议功能的客户端或提供线上会议功能的服务器,该线上会议包括线上音频会议或线上视频会议。换言之,本实施例的执行主体可以是上述图1中的任意一个客户端,或者图1中的服务器。如图12所示,本实施例的方法可以包括:
步骤1201、录制主界面画面,生成视频数据。
本实施例的视频数据也可以称为录屏数据。主界面画面是指提供线上会议功能的客户端的主界面所显示的内容。
一种可实现方式,所有接入线上会议的客户端的主界面画面相同。例如,主界面画面可以是共享的桌面或文件,该文件可以包括但不限于幻灯片(ppt)、文本文档等。共享的桌面或文件可以是接入线上会议的任一客户端共享的桌面或文件。可选的,主界面画面还可以包括共享标注。共享标注可以是发言人所使用的客户端的标注。这样,录制主界面画面即为公共录制。线上会议结束后,通过公共录制主界面画面生成的视频数据可以在多个客户端共享。
另一种可实现方式,接入线上会议的不同客户端的主界面画面可以不同。例如,主界面画面不仅包括共享的桌面或文件,还包括与会人标注。这样,录制主界面画面即为分别录制。例如,一个客户端录制自身主界面画面,生成自身的视频数据。其中,客户端提供有标注功能,使用该客户端的与会人可以使用标注功能在自自身的屏幕上,对屏幕中显示的内容进行标注,并且在该与会人不是主讲人的时候,该与会人标注的内容只有自己能够看见。通过标注功能可以标注该与会人自己认为的重要内容。
在不同与会人可以分别标注的情况下,不同客户端的主界面画面的与会人标注不同,不同客户端可以各自分别录制自身的主界面画面,不同客户端可以各自得到自身的视频数据。这样,可以得到包括与会人标记、属于单个与会人的个性化会议记录,每个与会人的会议记录都因为标注内容的不同而存在差别。
对于分别录制,本实施例的执行主体可以是一个客户端,该客户端可以录制自身的主界面画面,生成该客户端的视频数据,即使用该客户端的与会人的视频数据。对于分别录制,本实施例的执行主体也可以是服务器,该服务器可以分别录制各个接入线上会议的客户端的主界面画面,生成各个客户端的视频数据,即各个与会人的视频数据。
开始录制主界面画面的时机可以是以下任意一项:任一客户端接入线上会议时;或者,预约性的线上会议的会议开始时间到达时;或者,任一客户端共享桌面或文件时;或者,任一与会人发言时等。开始录制主界面画面的具体时机可以根据需求进行合理设置。
步骤1202、根据视频数据的录制时间,将每个与会人的时间轴上分布的至少一个音频数据和视频数据关联。
按照视频数据的录制时间,将每个与会人的时间轴上的音频数据和录制的视频数据相关联,以使得在播放音频数据时,同步播放对应时间的视频数据。播放的音频数据可以是单个与会人的时间轴上的音频数据,也可以是用户通过拖动操作关联的音频数据。同样的,在音频数据播放结束时,停止播放视频数据,
对于公共录制得到的视频数据,可以根据视频数据的时间进度,将每个与会人的时间轴上的所有音频数据与相应时间的视频数据关联,从而播放不同与会人的时间轴上的音频数据,都会同步播放相应时间的视频数据。
对于分别录制得到的视频数据,可以根据一个客户端的视频数据的时间进度,将使用该客户端的与会人的时间轴上的所有音频数据与相应时间的该视频数据关联,从而播放该与会人的时间轴上的音频数据,都会同步播放相应时间的视频数据。
以一个与会人的时间轴上的一个音频标识所标识的音频数据为例,与该音频数据所关联的视频数据为录制该音频数据的起始时间至结束时间之间的时间段内的主界面画面得到的视频数据。
相应的,在显示线上会议回顾界面时,该线上会议回顾界面还可以包括视频显示区域,该视频显示区域用于播放视频数据。
在客户端提供线上会议回顾界面之后,可以通过检测用户作用在线上会议回顾界面上的如下操作,以呈现全部或部分会议场景。
场景四、第六触发操作。
客户端显示如上所述的线上会议回顾界面,检测线上会议回顾界面的多个音频标识中的一个音频标识的第六触发操作,客户端响应于第六触发操作,显示音频标识对应的视频数据的缩略图。音频标识对应的视频数据是指,录制该音频标识所标识的音频数据的起始时间至结束时间之间时间段内的主界面画面生成的视频数据。视频数据的缩略图可以是视频数据中的关键帧。
举例而言,该第六触发操作可以是鼠标或其他控制物体的悬停操作。当客户端检测到鼠标或其他控制物体悬停在多个音频标识中的一个音频标识时,显示音频标识对应的音频数据的关键字和音频标识对应的视频数据的缩略图。
客户端检测缩略图或音频标识的第七触发操作,响应于第七触发操作,播放音频标识对应的视频数据和音频数据。
举例而言,该第七触发操作可以是鼠标或其他控制物体的点击操作。当客户端检测到鼠标或其他控制物体点击一个音频标识时,播放音频标识对应的音频数据和音频标识对应的视频数据。其中,播放的视频数据可以呈现在视频显示区域。
一种举例,图13为本申请实施例提供的一种线上会议的用户界面的示意图。作为一种示例而非限定,如图13所示,在如图7所示线上会议回顾界面的基础上,本实施例的线上会议回顾界面还可以包括视频显示区域B01,当客户端检测到鼠标或其他控制物体悬停在如图13所示的音频标识A06,则在音频标识的上方显示如图7所示的关键字“发布会筹备工作”和音频标识对应的视频数据的缩略图B02。当然可以理解的,缩略图也可以在音频标识的下方等其他位置,本申请实施例对此不作具体限制。当客户端检测到鼠标或其他控制物体点击如图13所示的音频标识A06,则播放音频标识A06所标识的音频数据,并视频显示区域B01中播放相应的视频数据。
本实施例,通过录制主界面画面的视频数据,根据视频数据的录制时间,将各个与会人的时间轴上的音频数据和录制的主界面画面的视频数据相关联,使得在播放音频数据时,同步播放同一时刻的视频数据,通过结合音频播放和视频播放的方式能够完全复现当时的会议场景,进一步加快信息的比对确定过程。
对于主界面画面的视频录制,可以公共录制,也可以分别录制。分别录制时,可以录制与会人的标注活动,得到独属于与会人标识的个性化视频数据,最终,每个与会人都得到一个携带不同标注的会议记录视频。
图14为本申请实施例提供的一种会议记录方法的流程图,该会议记录方法可以应用于提供线上会议功能的客户端,该线上会议包括线上音频会议或线上视频会议。换言之,本实施例的执行主体可以是上述图1中的任意一个客户端。如图14所示,本实施例的方法可以包括:
步骤1401、检测标注功能的操作,响应于标注功能的操作,生成标注标识。
服务器和客户端可以提供标注功能。与会人在会议进行过程中,可以通过标注功能进行重点信息的标注,或者通过简单标注标记时间点。客户端可以实时监测与会人的标注功能的操作,之后由客户端基于标注功能的操作,新建标注标识、以及记录标记时间点。
步骤1402、根据标注功能的操作的时间点,将标注标识关联到相应的与会人的时间轴。
本实施例的执行主体为一个客户端,则该客户端可以根据使用该客户端的与会人的标注功能的操作的时间点,将标注标识关联到使用该客户端的与会人的时间轴。其中,标注标识和音频数据的记录互不干扰,同一时刻,标注和发言可以同时进行,不影响各自关联到相应的与会人的时间轴。
可选的,在上述步骤1401和步骤1402之后,本实施例的客户端还可以将关联到使用该客户端的与会人的标注标识同步至服务器。
上述标注标识可以是与会人作为发言人时的标注标识,也可以是与会人不是发言人时的标注标识。其中,作为发言人时的标注标识可以呈现在其他与会人的线上会议回顾界面中,不是发言人时的标注标识可以仅呈现在自身的线上会议回顾界面中,其他与会人的线上会议回顾界面中不可见。
在线上会议结束后,线上会议回顾界面可以包括所有发言人的标注标识。所有发言人的标注标识分布在相应的与会人的时间轴。每个标注标识用于标识该标注标识所在时间轴的与会人作为发言人,在该标注标识所在时间点的标注。
在一些实施例中,该线上会议回顾界面还可以包括显示该线上会议回顾界面的客户端的与会人的标注标识。即该与会人不作为发言人时的标注标识。这样,在与会人不作为主讲人时,可以各自进行独立的标注,并在会后独立的查看,得到个性化标注的会议记录。
在客户端提供线上会议回顾界面之后,可以通过检测用户作用在线上会议回顾界面上的如下操作,以呈现全部或部分会议场景。
场景五、第八触发操作。
客户端显示如上所述的线上会议回顾界面,检测线上会议回顾界面的一个标注标识的第八触发操作,客户端响应于第八触发操作,播放标注标识所在时间点的音频数据、或者音频数据和视频数据。
举例而言,该第八触发操作可以是点击操作等。当客户端检测到用户点击一个标注标识时,播放标注标识所在时间点的音频数据、或者音频数据和视频数据。
一种举例,图15为本申请实施例提供的一种线上会议的用户界面的示意图。作为一种示例而非限定,如图15所示,在如图7所示线上会议回顾界面的基础上,本实施例的线上会议回顾界面还可以包括一个标注标识C01和两个标注标识C02,当客户端检测到点击如图15所示的标注标识C01,则播放标注标识所在时间点的音频数据、或者音频数据和视频数据。需要说明的是,图15所示的线上会议回顾界面为与会人1所使用的客户端所显示的界面,如图15所示,对于与会人1来说,标注标识C01标识与会人3在作为主讲人时进行了标注,两个标注标识C02则是与会人1自己进行的标注。这两个标注标识C02仅提供给与会人1。当然可以理解的,这两个标注标识C02也可以提供给其他与会人,本申请实施例对此不作具体限定。
本实施例,通过检测与会人的标注功能的操作,生成对应的标注标识,并链接到相应的与会人的时间轴,在线上会议结束后,可以通过标注标识快速的定位到重点内容的时间节点,直接播放该时间节点的音频数据、或者音频数据和视频数据。
图16为本申请实施例提供的一种会议记录方法的流程图,该会议记录方法可以应用于提供线上会议功能的客户端,该线上会议包括线上音频会议或线上视频会议。换言之,本实施例的执行主体可以是上述图1中的任意一个客户端。通过如上实施例得到线上会议回顾界面,该会议界面可以包括视频显示区域和时间轴区域,时间轴区域包括多个与会人的时间轴和沿着时间轴分布的多个音频标识,之后,可以通过本实施例的方法调整线上会议回顾界面。如图16所示,本实施例的方法可以包括:
步骤1601、检测缩小或增大时间轴区域的操作。
在通过如上所述任一种会议记录方法提供线上会议回顾界面之后,可以通过检测用户作用在视频显示区域或时间轴区域的如下任一操作,以调整线上会议回顾界面,进而呈现全部或部分会议场景。检测用户作用在视频显示区域或时间轴区域的如下任一操作包括但不限于:滑动、拖动等操作。
一种举例,图17为本申请实施例提供的一种线上会议的用户界面的示意图。作为一种示例而非限定,如图17所示,该线上会议回顾界面可以包括视频显示区域B01和时间轴区域D01。视频显示区域B01位于时间轴区域D01之上。当然可以理解的,视频显示区域B01也可以位于时间轴区域D01之下,本申请实施例以图17所示界面进行举例说明。缩小时间轴区域的操作可以是用户的手指、触控笔或其他可以被终端设备的触控显示屏所检测到的控制物体作用在视频显示区域,并向下滑动;或者,用户的手指、触控笔或其他可以被终端设备的触控显示屏所检测到的控制物体作用在时间轴区域,并向上滑动;或者,用户通过鼠标作用在视频显示区域,并向下滚动滚轮;或者,用户通过鼠标作用在时间轴区域,并向上滚动滚轮等,本申请实施例不一一举例说明。类似的,增大时间轴区域的操作可以是缩小时间轴区域的反向操作。例如,增大时间轴区域的操作可以是用户的手指、触控笔或其他可以被终端设备的触控显示屏所检测到的控制物体作用在视频显示区域,并向上滑动等。
步骤1602、响应于缩小或增大时间轴区域的操作,调整视频显示区域和时间轴区域。
当检测到缩小时间轴区域的操作时,响应于缩小时间轴区域的操作,缩小时间轴区域,并缩小多个与会人的时间轴之间的距离,并增大视频显示区域,通过增大视频显示区域,可以向用户提供更清晰的会议记录的视频数据回看体验。
时间轴区域可以缩小至多个与会人的时间轴完全重叠,即多个与会人的时间轴合并成一个时间轴。一种举例,图18为本申请实施例提供的一种线上会议的用户界面的示意图。作为一种示例而非限定,如图18所示,该线上会议回顾界面的时间轴区域中的多个与会人的时间轴重叠,线上会议回顾界面显示一个合并后的时间轴D05。合并后的时间轴D05可以是任意一个与会人的时间轴,或者一个预先设定的总的时间轴。根据合并之前各个音频标识、各个标注标识在各自与会人的时间轴的位置,将各个音频标识、各个标注标识显示在合并后的时间轴D05上。示例性,如图18所示,音频标识D31、音频标识D32和标注标识D04沿着合并后的时间轴分布。其他音频标识和标注标识这里不一一示出。
可选的,还可以将在合并后的时间轴D05上分布的多个音频标识的音频数据关联。通过这种方式,可以复现线上会议时的多人讨论场景,适用于对整个会议进行整体回顾。
在合并后的时间轴D05上分布的多个音频标识中至少存在两个音频标识相互重叠,本申请实施例还可以检测相互重叠的两个音频标识的第十触发操作,该第十触发操作可以是作用在两个音频标识中的任意一个音频标识或者二者重叠部分的点击或双击等操作,响应于该第十触发操作,在合并后的时间轴D05上显示两个音频标识中的一个音频标识,在合并后的时间轴D05的上方或下方显示另一个音频标识,以使得两个音频标识不重叠。一种举例,图19为本申请实施例提供的一种线上会议的用户界面的示意图。作为一种示例而非限定,音频标识D31和音频标识D32在合并后的时间轴D05上存在重叠,用户点击二者重叠处,音频标识D31和音频标识D32相互脱离,即如图19所示,响应于用户点击二者重叠处的操作,客户端显示如图19所示的线上会议回顾界面,其中,音频标识D32可以在垂直于合并后的时间轴D05的方向上悬浮分布,也即悬浮在音频标识D31的上方。之后,用户可以分别对音频标识D31和音频标识D32进行操作,以分别播放音频标识D31和音频标识D32各自对应的音频数据。
当检测到增大时间轴区域的操作时,响应于增大时间轴区域的操作,增大时间轴区域,并增大多个与会人的时间轴之间的距离,并缩小视频显示区域,通过增大时间轴区域,可以向用户提供更清晰的会议记录的音频标识和/或标注标识,以快速定位不同与会人在不同时间点的音频数据和/或标注标识。
示例性的,时间轴区域可以增大至多个与会人的时间轴完全重叠,即多个与会人的时间轴合并成一个时间轴。
本实施例,通过缩小时间轴区域,将多个与会人的时间轴合并成一个时间轴,并关联多个与会人的音频数据,关联后的多个音频数据可以适用于用户对整个线上会议进行整体回顾。增大的视频显示区域,可以向用户提供更清晰的会议记录的视频数据回看体验。这样,可以实现时间轴区域和视频显示区域的灵活调整,从而满足用户使用需求。
基于相同的发明构思,本申请实施例还提供一种会议记录装置,该会议记录装置可以为终端设备中的芯片或者片上系统,还可以为终端设备中用于实现上述任一可能的实施方式所述方法的功能模块。该芯片或者片上系统包括存储器,所述存储器中存储有指令,当所述指令被所述片上系统或者芯片调用的时候,执行上述方法。
请参考图20,图20示出了本申请实施例提供的一种会议记录装置的组成示意图。该会议记录装置用于提供线上会议功能,线上会议包括线上音频会议或线上视频会议。如图20所示,该会议记录装置2000可以包括:处理模块2001和显示模块2002。
处理模块2001,用于检测线上会议结束选项的触发操作或线上会议记录查看选项的触发操作;
处理模块2001,还用于响应于该线上会议结束选项的触发操作或线上会议记录查看选项的触发操作,通过显示模块2002显示线上会议回顾界面,该线上会议回顾界面包括多个与会人的时间轴和沿着该时间轴分布的多个音频标识,该多个音频标识中的每个音频标识用于标识该音频标识所在时间轴的与会人的一段音频数据,该音频标识在该时间轴的起始位置为该与会人的一段音频数据的起始时间,该音频标识在该时间轴的结束位置为该与会人的一段音频数据的结束时间,该与会人的一段音频数据是录制该与会人在该起始时间至结束时间之间的时间段内的会议发言语音信号生成的。
示例性的,上述处理模块2001和显示模块2002用于执行上述图5或图9所示方法实施例的客户端1所涉及的方法步骤。
在一些实施例中,处理模块2001还用于检测该多个音频标识中的一个音频标识的第一触发操作,响应于该第一触发操作,通过显示模块2002显示该音频标识对应的音频数据的关键字。
在一些实施例中,会议记录装置还可以包括音频模块2003。处理模块2001还用于检测该多个音频标识中的一个音频标识的第二触发操作,响应于该第二触发操作,通过音频模块2003播放该音频标识对应的音频数据。
在一些实施例中,处理模块2001还用于检测该多个音频标识中的第一音频标识由第一时间轴至第二时间轴的第三触发操作,该第一音频标识分布在第一时间轴,至少一个第二音频标识分布在该第二时间轴;响应于该第三触发操作,通过显示模块2002将该第一音频标识显示在该第二时间轴上,并根据该第一音频标识对应的第一音频数据的起始时间和结束时间,关联该第一音频数据与该至少一个第二音频标识对应的第二音频数据;检测该第一音频标识或该至少一个第二音频标识的第四触发操作,响应于该第四触发操作,通过音频模块2003播放该第一音频数据和该至少一个第二音频标识对应的第二音频数据。
在一些实施例中,该第一音频标识的时间段与该至少一个第二音频标识的时间段存在交集,该播放该第一音频数据和该至少一个第二音频标识对应的第二音频数据,包括:按照该第一音频标识在该第二时间轴上的时间位置和该至少一个第二音频标识在该第二时间轴上的时间位置,播放该第一音频数据的非交集部分、该第一音频数据和该至少一个第二音频标识对应的第二音频数据的交集部分、或该至少一个第二音频标识对应的第二音频数据的非交集部分中至少两项。
在一些实施例中,处理模块2001还用于检测该第一音频标识的第五触发操作,响应于该第五触发操作,通过显示模块2002将该第一音频标识显示在该第一时间轴上,并取消关联该第一音频数据和该至少一个第二音频标识对应的第二音频数据,该取消关联用于该第一音频数据和该第二音频标识对应的第二音频数据各自独立播放。
在一些实施例中,会议记录装置还可以包括通信模块2004。处理模块2001还用于在检测线上会议结束选项的触发操作或线上会议记录查看选项的触发操作之前,通过音频模块2003录制生成使用该客户端的与会人的至少一个音频数据,并记录该至少一个音频数据各自在该与会人的时间轴的起始时间和结束时间;通过通信模块2004向服务器发送该至少一个音频数据和该至少一个音频数据各自在该与会人的时间轴的起始时间和结束时间;其中,该至少一个音频数据和该至少一个音频数据各自在该与会人的时间轴的起始时间和结束时间用于生成该线上会议回顾界面。
在一些实施例中,该至少一个音频数据和该至少一个音频数据各自在该与会人的时间轴的起始时间和结束时间存储在至少一个存储单元;该至少一个存储单元通过该与会人的时间指针串联。
在一些实施例中,处理模块2001还用于检测该多个音频标识中的一个音频标识的第六触发操作,响应于该第六触发操作,通过显示模块2002显示该音频标识对应的视频数据的缩略图,该音频标识对应的视频数据是录制该音频标识对应的音频数据的起始时间至结束时间之间的时间段内的主界面画面生成的。
在一些实施例中,处理模块2001还用于检测该缩略图的第七触发操作,响应于该第七触发操作,通过音频模块2003和显示模块2002播放该音频标识对应的视频数据和音频数据。
在一些实施例中,该线上会议回顾界面还包括至少一个标注标识,该至少一个标注标识分布在至少一个与会人的时间轴,该至少一个标注标识中的每个标注标识用于标识该标注标识所在时间轴的与会人,在该标注标识所在时间点的标注。
在一些实施例中,处理模块2001还用于检测该至少一个标注标识中的一个标注标识的第八触发操作,响应于该第八触发操作,通过音频模块2002播放该标注标识所在时间点的音频数据,或通过音频模块2003和显示模块2002播放音频数据和视频数据。
在一些实施例中,该多个与会人的时间轴和沿着该时间轴分布的多个音频标识位于该线上会议回顾界面的时间轴区域,该线上会议回顾界面还包括视频显示区域;处理模块2001还用于:检测缩小该时间轴区域的操作,响应于缩小该时间轴区域的操作,缩小该时间轴区域,缩小该多个与会人的时间轴之间的距离,并增大该视频显示区域;或者,检测增大该时间轴区域的操作,响应于增大该时间轴区域的操作,增大该时间轴区域,并缩小该视频显示区域。
在一些实施例中,当缩小该多个与会人的时间轴之间的距离至该多个与会人的时间轴完全重叠时,该多个音频标识中至少存在两个音频标识相互重叠,该处理模块2001还用于:检测相互重叠的两个音频标识的第十触发操作,响应于该第十触发操作,通过显示模块2002在时间轴上显示该两个音频标识中的一个音频标识,在该时间轴上方或下方显示另一个音频标识,以使得两个音频标识不重叠。
当然,上述会议记录装置中的单元模块包括但不限于上述处理模块2001、显示模块2002等。例如,终端设备中还可以包括存储模块等。
另外,该处理模块为一个或多个处理器。其中,上述一个或多个处理器、存储器和通信模块等可以连接在一起,例如通过总线连接。存储器用于保存计算机程序代码,计算机程序代码包括指令。当处理器执行该指令时,终端设备可执行上述实施例中的相关方法步骤实现上述实施例中的方法。该通信模块可以为无线通信单元(如图3中所示的无线通信模块350或360)。
本申请实施例还提供一种计算机可读存储介质,该计算机存储介质中存储有计算机软件指令,当计算机软件指令在信息处理装置中运行时,信息处理装置可执行上述实施例中的相关方法步骤实现上述实施例中的方法。
本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述实施例中的相关方法步骤实现上述实施例中的方法。
其中,本申请实施例提供的终端设备,计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法,可以通过其它的方式实现。例如,以上所描述的车载终端实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序指令的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (31)

1.一种会议记录方法,所述会议记录方法应用于提供线上会议功能的客户端,所述线上会议包括线上音频会议或线上视频会议,其特征在于,包括:
检测所述线上会议结束选项的触发操作或所述线上会议记录查看选项的触发操作;
响应所述线上会议结束选项的触发操作或所述线上会议记录查看选项的触发操作,显示线上会议回顾界面,所述线上会议回顾界面包括多个与会人的时间轴和沿着所述时间轴分布的多个音频标识,所述多个音频标识中的每个音频标识用于标识所述音频标识所在时间轴的与会人的一段音频数据,所述音频标识在所述时间轴的起始位置为所述与会人的一段音频数据的起始时间,所述音频标识在所述时间轴的结束位置为所述与会人的一段音频数据的结束时间,所述与会人的一段音频数据是录制所述与会人在所述起始时间至结束时间之间的时间段内的会议发言语音信号生成的。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述多个音频标识中的一个音频标识的第一触发操作,响应所述第一触发操作,显示所述音频标识对应的音频数据的关键字。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
检测所述多个音频标识中的一个音频标识的第二触发操作,响应于所述第二触发操作,播放所述音频标识对应的音频数据。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
检测所述多个音频标识中的第一音频标识由第一时间轴至第二时间轴的第三触发操作,所述第一音频标识分布在第一时间轴,至少一个第二音频标识分布在所述第二时间轴;
响应于所述第三触发操作,将所述第一音频标识显示在所述第二时间轴上,并根据所述第一音频标识对应的第一音频数据的起始时间和结束时间,关联所述第一音频数据与所述至少一个第二音频标识对应的第二音频数据;
检测所述第一音频标识或所述至少一个第二音频标识的第四触发操作,响应于所述第四触发操作,播放所述第一音频数据和所述至少一个第二音频标识对应的第二音频数据。
5.根据权利要求4所述的方法,其特征在于,所述第一音频标识的时间段与所述至少一个第二音频标识的时间段存在交集,所述播放所述第一音频数据和所述至少一个第二音频标识对应的第二音频数据,包括:
按照所述第一音频标识在所述第二时间轴上的时间位置和所述至少一个第二音频标识在所述第二时间轴上的时间位置,播放所述第一音频数据的非交集部分、所述第一音频数据和所述至少一个第二音频标识对应的第二音频数据的交集部分、或所述至少一个第二音频标识对应的第二音频数据的非交集部分中至少两项。
6.根据权利要求4或5所述的方法,其特征在于,所述方法还包括:
检测所述第一音频标识的第五触发操作,响应于所述第五触发操作,将所述第一音频标识显示在所述第一时间轴上,并取消关联所述第一音频数据和所述至少一个第二音频标识对应的第二音频数据,所述取消关联用于所述第一音频数据和所述第二音频标识对应的第二音频数据各自独立播放。
7.根据权利要求1至6任一项所述的方法,其特征在于,在检测所述线上会议结束选项的触发操作或所述线上会议记录查看选项的触发操作之前,所述方法还包括:
录制生成使用所述客户端的与会人的至少一个音频数据,并记录所述至少一个音频数据各自在所述与会人的时间轴的起始时间和结束时间;
向服务器发送所述至少一个音频数据和所述至少一个音频数据各自在所述与会人的时间轴的起始时间和结束时间;
其中,所述至少一个音频数据和所述至少一个音频数据各自在所述与会人的时间轴的起始时间和结束时间用于生成所述线上会议回顾界面。
8.根据权利要求7所述的方法,其特征在于,所述至少一个音频数据和所述至少一个音频数据各自在所述与会人的时间轴的起始时间和结束时间存储在至少一个存储单元;
所述至少一个存储单元通过所述与会人的时间指针串联。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述方法还包括:
检测所述多个音频标识中的一个音频标识的第六触发操作,响应于所述第六触发操作,显示所述音频标识对应的视频数据的缩略图,所述音频标识对应的视频数据是录制所述音频标识对应的音频数据的起始时间至结束时间之间的时间段内的主界面画面生成的。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
检测所述缩略图的第七触发操作,响应于所述第七触发操作,播放所述音频标识对应的视频数据和音频数据。
11.根据权利要求1至10任一项所述的方法,其特征在于,所述线上会议回顾界面还包括至少一个标注标识,所述至少一个标注标识分布在至少一个与会人的时间轴,所述至少一个标注标识中的每个标注标识用于标识所述标注标识所在时间轴的与会人,在所述标注标识所在时间点的标注。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
检测所述至少一个标注标识中的一个标注标识的第八触发操作,响应于所述第八触发操作,播放所述标注标识所在时间点的音频数据,或音频数据和视频数据。
13.根据权利要求1至12任一项所述的方法,其特征在于,所述多个与会人的时间轴和沿着所述时间轴分布的多个音频标识位于所述线上会议回顾界面的时间轴区域,所述线上会议回顾界面还包括视频显示区域;
检测缩小所述时间轴区域的操作,响应于缩小所述时间轴区域的操作,缩小所述时间轴区域,缩小所述多个与会人的时间轴之间的距离,并增大所述视频显示区域;或者,
检测增大所述时间轴区域的操作,响应于增大所述时间轴区域的操作,增大所述时间轴区域,并缩小所述视频显示区域。
14.根据权利要求1至13任一项所述的方法,其特征在于,当缩小所述多个与会人的时间轴之间的距离至所述多个与会人的时间轴完全重叠时,所述多个音频标识中至少存在两个音频标识相互重叠,所述方法还包括:
检测相互重叠的两个音频标识的第十触发操作,响应于所述第十触发操作,在时间轴上显示所述两个音频标识中的一个音频标识,在所述时间轴上方或下方显示另一个音频标识,以使得所述两个音频标识不重叠。
15.一种终端设备,其特征在于,包括:处理器、存储器和显示屏,所述存储器、所述显示屏与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括提供线上会议功能的客户端的计算机指令,所述线上会议包括线上音频会议或线上视频会议,当所述处理器从所述存储器中读取所述计算机指令,以使得所述终端设备执行如下操作:
检测所述线上会议结束选项的触发操作或所述线上会议记录查看选项的触发操作;
响应于所述线上会议结束选项的触发操作或所述线上会议记录查看选项的触发操作,显示线上会议回顾界面,所述线上会议回顾界面包括多个与会人的时间轴和沿着所述时间轴分布的多个音频标识,所述多个音频标识中的每个音频标识用于标识所述音频标识所在时间轴的与会人的一段音频数据,所述音频标识在所述时间轴的起始位置为所述与会人的一段音频数据的起始时间,所述音频标识在所述时间轴的结束位置为所述与会人的一段音频数据的结束时间,所述与会人的一段音频数据是录制所述与会人在所述起始时间至结束时间之间的时间段内的会议发言语音信号生成的。
16.根据权利要求15所述的终端设备,其特征在于,所述终端设备还执行:
检测所述多个音频标识中的一个音频标识的第一触发操作,响应于所述第一触发操作,显示所述音频标识对应的音频数据的关键字。
17.根据权利要求15或16所述的终端设备,其特征在于,所述终端设备还执行:
检测所述多个音频标识中的一个音频标识的第二触发操作,响应于所述第二触发操作,播放所述音频标识对应的音频数据。
18.根据权利要求15至17任一项所述的终端设备,其特征在于,所述终端设备还执行:
检测所述多个音频标识中的第一音频标识由第一时间轴至第二时间轴的第三触发操作,所述第一音频标识分布在第一时间轴,至少一个第二音频标识分布在所述第二时间轴;
响应于所述第三触发操作,将所述第一音频标识显示在所述第二时间轴上,并根据所述第一音频标识对应的第一音频数据的起始时间和结束时间,关联所述第一音频数据与所述至少一个第二音频标识对应的第二音频数据;
检测所述第一音频标识或所述至少一个第二音频标识的第四触发操作,响应于所述第四触发操作,播放所述第一音频数据和所述至少一个第二音频标识对应的第二音频数据。
19.根据权利要求18所述的终端设备,其特征在于,所述第一音频标识的时间段与所述至少一个第二音频标识的时间段存在交集,所述播放所述第一音频数据和所述至少一个第二音频标识对应的第二音频数据,包括:
按照所述第一音频标识在所述第二时间轴上的时间位置和所述至少一个第二音频标识在所述第二时间轴上的时间位置,播放所述第一音频数据的非交集部分、所述第一音频数据和所述至少一个第二音频标识对应的第二音频数据的交集部分、或所述至少一个第二音频标识对应的第二音频数据的非交集部分中至少两项。
20.根据权利要求18或19所述的终端设备,其特征在于,所述终端设备还执行:
检测所述第一音频标识的第五触发操作,响应于所述第五触发操作,将所述第一音频标识显示在所述第一时间轴上,并取消关联所述第一音频数据和所述至少一个第二音频标识对应的第二音频数据,所述取消关联用于所述第一音频数据和所述第二音频标识对应的第二音频数据各自独立播放。
21.根据权利要求15至20任一项所述的终端设备,其特征在于,所述终端设备在检测所述线上会议结束选项的触发操作或所述线上会议记录查看选项的触发操作之前,还执行:
录制生成使用所述客户端的与会人的至少一个音频数据,并记录所述至少一个音频数据各自在所述与会人的时间轴的起始时间和结束时间;
向服务器发送所述至少一个音频数据和所述至少一个音频数据各自在所述与会人的时间轴的起始时间和结束时间;
其中,所述至少一个音频数据和所述至少一个音频数据各自在所述与会人的时间轴的起始时间和结束时间用于生成所述线上会议回顾界面。
22.根据权利要求21所述的终端设备,其特征在于,所述至少一个音频数据和所述至少一个音频数据各自在所述与会人的时间轴的起始时间和结束时间存储在至少一个存储单元;
所述至少一个存储单元通过所述与会人的时间指针串联。
23.根据权利要求15至22任一项所述的终端设备,其特征在于,所述终端设备还执行:
检测所述多个音频标识中的一个音频标识的第六触发操作,响应于所述第六触发操作,显示所述音频标识对应的视频数据的缩略图,所述音频标识对应的视频数据是录制所述音频标识对应的音频数据的起始时间至结束时间之间的时间段内的主界面画面生成的。
24.根据权利要求23所述的终端设备,其特征在于,所述终端设备还执行:
检测所述缩略图的第七触发操作,响应于所述第七触发操作,播放所述音频标识对应的视频数据和音频数据。
25.根据权利要求15至24任一项所述的终端设备,其特征在于,所述线上会议回顾界面还包括至少一个标注标识,所述至少一个标注标识分布在至少一个与会人的时间轴,所述至少一个标注标识中的每个标注标识用于标识所述标注标识所在时间轴的与会人,在所述标注标识所在时间点的标注。
26.根据权利要求25所述的终端设备,其特征在于,所述终端设备还执行:
检测所述至少一个标注标识中的一个标注标识的第八触发操作,响应于所述第八触发操作,播放所述标注标识所在时间点的音频数据,或音频数据和视频数据。
27.根据权利要求15至26任一项所述的终端设备,其特征在于,所述多个与会人的时间轴和沿着所述时间轴分布的多个音频标识位于所述线上会议回顾界面的时间轴区域,所述线上会议回顾界面还包括视频显示区域;
检测缩小所述时间轴区域的操作,响应于缩小所述时间轴区域的操作,缩小所述时间轴区域,缩小所述多个与会人的时间轴之间的距离,并增大所述视频显示区域;或者,
检测增大所述时间轴区域的操作,响应于增大所述时间轴区域的操作,增大所述时间轴区域,并缩小所述视频显示区域。
28.根据权利要求15至27任一项所述的终端设备,其特征在于,当缩小所述多个与会人的时间轴之间的距离至所述多个与会人的时间轴完全重叠时,所述多个音频标识中至少存在两个音频标识相互重叠,所述终端设备还执行:
检测相互重叠的两个音频标识的第十触发操作,响应于所述第十触发操作,在时间轴上显示所述两个音频标识中的一个音频标识,在所述时间轴上方或下方显示另一个音频标识,以使得所述两个音频标识不重叠。
29.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在终端设备上运行时,使得所述终端设备执行如权利要求1-14中任一项所述的会议记录方法。
30.一种计算机程序产品,其特征在于,当计算机程序产品在计算机上运行时,使得计算机执行如权利要求1-14中任一项所述的会议记录方法。
31.一种会议记录系统,其特征在于,所述会议记录系统包括服务器和多个客户端,所述服务器分别与所述多个客户端建立通信连接,所述多个客户端各自用于执行如权利要求1-14中任一项所述的会议记录方法。
CN202111424519.9A 2021-11-26 2021-11-26 会议记录方法、终端设备和会议记录系统 Pending CN116193179A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111424519.9A CN116193179A (zh) 2021-11-26 2021-11-26 会议记录方法、终端设备和会议记录系统
EP22897188.3A EP4401411A1 (en) 2021-11-26 2022-07-22 Minuting method, and terminal device and minuting system
PCT/CN2022/107393 WO2023093092A1 (zh) 2021-11-26 2022-07-22 会议记录方法、终端设备和会议记录系统
US18/674,599 US20240314270A1 (en) 2021-11-26 2024-05-24 Conference recording method, terminal device, and conference recording system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111424519.9A CN116193179A (zh) 2021-11-26 2021-11-26 会议记录方法、终端设备和会议记录系统

Publications (1)

Publication Number Publication Date
CN116193179A true CN116193179A (zh) 2023-05-30

Family

ID=86435103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111424519.9A Pending CN116193179A (zh) 2021-11-26 2021-11-26 会议记录方法、终端设备和会议记录系统

Country Status (4)

Country Link
US (1) US20240314270A1 (zh)
EP (1) EP4401411A1 (zh)
CN (1) CN116193179A (zh)
WO (1) WO2023093092A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118072409B (zh) * 2023-11-08 2024-11-08 北京京能招标集采中心有限责任公司 评标录像自动生成方法
CN117640877B (zh) * 2024-01-24 2024-03-29 浙江华创视讯科技有限公司 线上会议的画面重构方法及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037514A1 (en) * 2006-06-27 2008-02-14 International Business Machines Corporation Method, system, and computer program product for controlling a voice over internet protocol (voip) communication session
US9020120B2 (en) * 2013-02-06 2015-04-28 Avaya Inc. Timeline interface for multi-modal collaboration
JP7046546B2 (ja) * 2017-09-28 2022-04-04 株式会社野村総合研究所 会議支援システムおよび会議支援プログラム
CN113329237B (zh) * 2021-02-02 2023-03-21 北京意匠文枢科技有限公司 一种呈现事件标签信息的方法与设备
CN113326387B (zh) * 2021-05-31 2022-12-13 引智科技(深圳)有限公司 一种会议信息智能检索方法
CN113329235A (zh) * 2021-05-31 2021-08-31 太仓韬信信息科技有限公司 一种音频处理方法、装置及云服务器

Also Published As

Publication number Publication date
EP4401411A1 (en) 2024-07-17
WO2023093092A1 (zh) 2023-06-01
US20240314270A1 (en) 2024-09-19

Similar Documents

Publication Publication Date Title
US7433327B2 (en) Method and system for coordinating communication devices to create an enhanced representation of an ongoing event
CN107644646B (zh) 语音处理方法、装置以及用于语音处理的装置
US20240314270A1 (en) Conference recording method, terminal device, and conference recording system
CN112653902B (zh) 说话人识别方法、装置及电子设备
KR20160026317A (ko) 음성 녹음 방법 및 장치
CN111726678B (zh) 一种设备间多媒体内容续播的方法
CN109257498B (zh) 一种声音处理方法及移动终端
US20140022402A1 (en) Method and apparatus for automatic capture of multimedia information
CN114371824B (zh) 一种音频处理方法、系统及相关装置
WO2021233161A1 (zh) 一种家庭日程融合的方法及装置
CN111010529A (zh) 可多人实时批注的视频会议方法及系统
CN108320761B (zh) 音频录制方法、智能录音设备及计算机可读存储介质
CN114115674A (zh) 录音和文档内容的定位方法、电子设备及存储介质
CN108763475B (zh) 一种录制方法、录制装置及终端设备
WO2023151526A1 (zh) 音频采集方法、装置、电子设备及外设组件
CN103902040A (zh) 用于移动终端的处理装置、处理方法和电子设备
CN114449333B (zh) 视频笔记生成方法及电子设备
US12028391B2 (en) System and method for controlling multi-party communication
WO2022179530A1 (zh) 一种视频配音的方法、相关设备以及计算机可读存储介质
CN115550559B (zh) 视频画面显示方法、装置、设备和存储介质
CN111328418A (zh) 自动识别音频中不同人声的方法
WO2024032111A1 (zh) 在线会议的数据处理方法、装置、设备、介质及产品
CN115051991B (zh) 音频处理方法、装置、存储介质与电子设备
WO2023071730A1 (zh) 声纹注册方法及电子设备
TW202343438A (zh) 用於改進的群通訊通信期的系統和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination