CN114257572B - 数据处理方法、装置、计算机可读介质及电子设备 - Google Patents

Abstract

本申请属于计算机技术领域，具体涉及一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。该方法包括：获取由直播发起端向直播展示端进行内容直播的多个直播数据源，多个直播数据源用于采集不同模态类型的数据以形成直播内容；分别获取各个直播数据源的数据采集状态，并根据数据采集状态确定直播数据源为正常数据源或者异常数据源；当直播数据源为异常数据源时，获取与异常数据源具有相同数据模态类型的替代数据源；通过正常数据源和替代数据源中的至少两个直播数据源获取基于多模态数据的直播内容，并将直播内容发送至直播展示端。本申请可以降低网络直播对于硬件设备的依赖性，提高网络直播的稳定性和可靠性。

Description

数据处理方法、装置、计算机可读介质及电子设备

技术领域

本申请属于计算机技术领域，具体涉及一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。

背景技术

随着计算机和互联网技术的发展，网络直播已经逐渐成为一种主流的信息传播媒介。任何人，在任何时候，都可以通过任意的网络平台，直播自己的所见所闻。因此，直播是一种更能体现信息时效性的信息传播方式，相比于报纸、电视、社交网站等其他媒介，网络直播具有更快的信息传播速度和更加广泛的信息传播范围。

网络直播主要利用互联网和流媒体技术进行实时地信息传播，直播内容融合了图像、声音、文字等多种类型的丰富元素，网络主播可以声形并茂地向观看直播的用户展示丰富多彩的直播内容。

相比于各种传统媒介，网络直播极大地降低的了媒体准入门槛，任何人都可以借助于网络直播平台形成“自媒体”。然而，受限于直播内容的形式需求，网络直播也需要一些必备的硬件设备的支持。例如，在视频直播领域，如果网络主播没有预先配置好摄像头、麦克风等音视频采集设备或者相关设备出现故障，便无法进行直播。因此，如何持续不断地产生直播内容以保证网络直播的持续性和稳定性是目前亟待解决的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请实施例的目的在于提供一种数据处理方法、数据处理装置、计算机可读介质以及电子设备，至少在一定程度上克服网络直播容易中断、直播稳定性差等技术问题。

本申请实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请实施例的实践而习得。

根据本申请实施例的一个方面，提供一种数据处理方法，该数据处理方法包括：获取由直播发起端向直播展示端进行内容直播的多个直播数据源，所述多个直播数据源用于采集不同模态类型的数据以形成直播内容；分别获取各个所述直播数据源的数据采集状态，并根据所述数据采集状态确定所述直播数据源为正常数据源或者异常数据源；当所述直播数据源为异常数据源时，获取与所述异常数据源具有相同数据模态类型的替代数据源；通过所述正常数据源和所述替代数据源中的至少两个直播数据源获取基于多模态数据的直播内容，并将所述直播内容发送至所述直播展示端。

根据本申请实施例的一个方面，提供一种数据处理装置，该数据处理装置包括：数据源获取模块，被配置为获取由直播发起端向直播展示端进行内容直播的多个直播数据源；状态获取模块，被配置为分别获取各个所述直播数据源的数据采集状态，并根据所述数据采集状态确定所述直播数据源为正常数据源或者异常数据源；数据源替代模块，被配置为当所述直播数据源为异常数据源时，获取与所述异常数据源具有相同数据模态类型的替代数据源；内容获取模块，被配置为通过所述正常数据源和所述替代数据源中的至少两个直播数据源获取基于多模态数据的直播内容，并将所述直播内容发送至所述直播展示端。

在本申请的一些实施例中，基于以上技术方案，所述状态获取模块包括：连接状态获取单元，被配置为分别获取与各个所述直播数据源相对应的各个数据采集接口的设备连接状态，所述设备连接状态用于表示所述数据采集接口是否已连接数据采集设备；第一状态确定单元，被配置为根据所述设备连接状态确定与所述数据采集接口相对应的直播数据源的数据采集状态。

在本申请的一些实施例中，基于以上技术方案，所述状态获取模块包括：数据流接收单元，被配置为分别通过各个所述直播数据源接收数据流；传输状态获取单元，被配置为分别获取各个所述直播数据源接收到的数据流的数据流传输状态；第二状态确定单元，被配置为根据所述数据流传输状态确定与所述数据流相对应的直播数据源的数据采集状态。

在本申请的一些实施例中，基于以上技术方案，所述数据源替代模块包括：模态类型获取单元，被配置为获取所述异常数据源采集数据的数据模态类型；数据源集合获取单元，被配置为根据所述数据模态类型，获取与所述异常数据源相对应的候选数据源集合；替代数据源选取单元，被配置为从所述候选数据源集合中选取替代数据源。

在本申请的一些实施例中，基于以上技术方案，所述替代数据源选取单元包括：优先级获取子单元，被配置为获取所述候选数据源集合中的各个候选数据源的数据源优先级；数据源排序子单元，被配置为按照所述数据源优先级对各个所述候选数据源进行排序；数据源选取子单元，被配置为根据所述候选数据源的排序结果从所述候选数据源集合中选取替代数据源。

在本申请的一些实施例中，基于以上技术方案，所述直播数据源包括通过视频采集设备采集视频模态数据的视频采集数据源以及通过音频采集设备采集音频模态数据的音频采集数据源；当所述视频采集数据源为异常数据源且所述音频采集数据源为正常数据源时，所述替代数据源包括通过视频文件生成视频模态数据的视频文件数据源。

在本申请的一些实施例中，基于以上技术方案，所述内容获取模块包括：音频采集单元，被配置为通过所述音频采集数据源获取音频采集设备采集到的音频模态数据；第一视频获取单元，被配置为通过所述视频文件数据源读取视频文件的文件内容，并根据所述文件内容生成视频模态数据；数据组合单元，被配置为将所述音频模态数据和所述视频模态数据组成基于多模态数据的直播内容。

在本申请的一些实施例中，基于以上技术方案，所述视频文件的文件内容包括用于展示提示文本的一个或者多个图像文件；所述第一视频获取单元包括：文件排列子单元，被配置为按照图像展示顺序将所述一个或者多个图像文件排列形成图像序列；第一视频编码子单元，被配置为按照视频帧率对所述图像序列进行视频编码以生成视频模态数据。

在本申请的一些实施例中，基于以上技术方案，所述直播数据源包括通过视频采集设备采集视频模态数据的视频采集数据源以及通过音频采集设备采集音频模态数据的音频采集数据源；当所述视频采集数据源为异常数据源且所述音频采集数据源为正常数据源时，所述替代数据源包括通过终端设备的交互界面生成视频模态数据的终端界面数据源。

在本申请的一些实施例中，基于以上技术方案，所述内容获取模块包括：音频采集单元，被配置为通过所述音频采集数据源获取音频采集设备采集到的音频模态数据；第二视频获取单元，被配置为通过所述终端界面数据源获取所述终端设备的交互界面的界面内容，并根据所述界面内容生成视频模态数据；数据组合单元，被配置为将所述音频模态数据和所述视频模态数据组成基于多模态数据的直播内容。

在本申请的一些实施例中，基于以上技术方案，所述界面内容包括所述交互界面的界面图像；所述第二视频获取单元包括：界面图像采集子单元，被配置为按照视频帧率对所述终端设备的交互界面进行图像采集，得到由所述交互界面的界面图像组成的界面图像序列；第二视频编码子单元，被配置为按照所述视频帧率对所述界面图像序列进行视频编码以生成视频模态数据。

在本申请的一些实施例中，基于以上技术方案，所述数据处理装置还包括：切换指令响应模块，被配置为响应于数据源切换指令，获取所述直播数据源中的待切换数据源；数据源切换模块，被配置为获取与所述待切换数据源具有相同数据模态类型的目标数据源，并将所述待切换数据源替换为所述目标数据源。

根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的数据处理方法。

根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的数据处理方法。

根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的数据处理方法。

在本申请实施例提供的技术方案中，通过获取直播发起端用于进行内容直播的各个直播数据源的数据采集状态，可以监测每个直播数据源是否能够正常进行数据采集，一旦发现某个直播数据源处于异常状态，可以立即将其替换为能够产生相同模态数据的替代数据源，从而确保网络直播能够正常发起并可以持续不断地产生直播内容，不仅可以降低网络直播对于硬件设备的依赖性，而且可以提高网络直播的稳定性和可靠性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请实施例的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性地示出了应用本申请实施例技术方案的示例性系统架构框图。

图2示意性地示出了本申请一个实施例中的数据处理方法的步骤流程图。

图3示意性地示出了本申请一个实施例中基于多个直播数据源进行网络直播的场景示意图。

图4示意性地示出了本申请一个实施例中基于视频文件作为替代数据源进行网络直播的场景示意图。

图5示意性地示出了本申请一个实施例中基于交互界面的界面内容作为替代数据源进行网络直播的场景示意图。

图6示意性地示出了本申请实施例提供的数据处理装置的结构框图。

图7示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请实施例的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请实施例的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性地示出了应用本申请实施例技术方案的内容直播系统的系统架构框图。

如图1所示，内容直播系统100主要可以包括直播发起端110、服务器120和直播展示端130。

直播发起端110为用于产生直播内容以发起网络直播的位于网络主播一侧的终端设备，网络主播可以利用智能手机、平板电脑、笔记本电脑、台式电脑等各种电子设备产生直播内容，并将直播内容通过网络(如有线通信链路或者无线通信链路等通信介质)上传至服务器120。

服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。

直播展示端130为用于展示直播内容的位于直播观众一侧的终端设备，直播观众可以通过网络实时地接收并观看由服务器120分发的直播内容。

根据实现需要，本申请实施例中的内容直播系统100中可以具有任意数目的终端设备和服务器。例如，服务器120可以是由多个服务器设备组成的服务器群组。另外，本申请实施例提供的技术方案可以应用于直播发起端110，也可以应用于服务器120，或者可以由直播发起端110和服务器120共同实施，本申请实施例对此不做特殊限定。

直播发起端110在发起网络直播或者进行网络直播的过程中，需要持续地进行数据采集和处理以形成源源不断的直播内容。根据直播形式的不同，用于形成直播内容的数据一般可以包括视频流、音频流、文本流、图像流等多种不同模态的流媒体数据。例如，网络主播可以通过摄像头采集视频流，同时可以通过麦克风采集音频流，视频流数据与音频流数据将被同步上传至服务器120，服务器120可以将两路数据整合成用于进行直播展示的直播内容，再通过网络推送至直播展示端130以向直播观众进行展示。

针对基于多种不同模态的数据形成的直播内容而言，各种模态的数据一般是由固定的数据源来进行采集得到。在本申请的一些相关技术中，如果用于采集数据的数据源出现故障，将会导致直播发起失败或者直播中断等问题。例如，当指定通过摄像头采集视频流数据时，如果网络主播使用的终端设备上没有安装摄像头或者摄像头出现故障，那么该网络主播便无法进行直播。另外，如果在网络直播进行的过程中，因摄像头被意外拔掉而无法采集视频流数据，那么网络直播将被迫结束，网络主播需要重新连接摄像头并重新发起网络直播，而直播观众也需要重新进入直播房间，导致用户体验极差。针对这样一些问题，本申请实施例提供了一种直播数据的处理方法，通过配置替代数据源来降低直播发起端对硬件设备的过分依赖，确保直播发起端能够持续不间断地产生直播内容，保证网络直播的整体稳定性和可靠性。

下面结合具体实施方式对本申请提供的应用于网络直播场景的数据处理方法做出详细说明。

图2示意性地示出了本申请一个实施例中的数据处理方法的步骤流程图，该数据处理方法可以由直播发起端的终端设备来执行，也可以由服务器来执行，或者还可以由终端设备和服务器共同执行。本申请实施例以直播发起端的终端设备执行的数据处理方法作为示例进行说明，如图2所示，该数据处理方法主要可以包括如下的步骤S210至步骤S240。

步骤S210：获取由直播发起端向直播展示端进行内容直播的多个直播数据源，多个直播数据源用于采集不同模态类型的数据以形成直播内容。

步骤S220：分别获取各个直播数据源的数据采集状态，并根据数据采集状态确定直播数据源为正常数据源或者异常数据源。

步骤S230：当直播数据源为异常数据源时，获取与异常数据源具有相同数据模态类型的替代数据源。

步骤S240：通过正常数据源和替代数据源中的至少两个直播数据源获取基于多模态数据的直播内容，并将直播内容发送至直播展示端。

在本申请实施例提供的数据处理方法中，通过获取直播发起端用于进行内容直播的各个直播数据源的数据采集状态，可以监测每个直播数据源是否能够正常进行数据采集，一旦发现某个直播数据源处于异常状态，可以立即将其替换为能够产生相同模态数据的替代数据源，从而确保网络直播能够正常发起并可以持续不断地产生直播内容，不仅可以降低网络直播对于硬件设备的依赖性，而且可以大幅提高网络直播的稳定性和可靠性。

下面结合网络直播的应用场景对本申请实施例中提供的数据处理方法的各个步骤做详细说明。

在步骤S210中，获取由直播发起端向直播展示端进行内容直播的多个直播数据源，多个直播数据源用于采集不同模态类型的数据以形成直播内容。

直播数据源是在直播发起端的终端设备上产生直播内容的数据来源，为了向直播观众提供视觉图像、声音、文本等多种媒体形式组合的直播内容，在直播发起端可以预先配置多个分别用于采集不同模态类型的数据的直播数据源。举例而言，在直播发起端可以配置通过视频采集设备采集视频模态数据的视频采集数据源以及通过音频采集设备采集音频模态数据的音频采集数据源。

图3示意性地示出了本申请一个实施例中基于多个直播数据源进行网络直播的场景示意图。如图3所示，在该应用场景下，网络主播的客户端程序可以通过摄像头301采集视频数据形成视频流，同时可以通过麦克风302采集音频数据形成音频流。视频流和音频流共同被发送给服务器303，服务器303可以对两路数据进行整合形成可以播放的直播内容，然后再将直播内容推送给观众一侧的客户端程序，从而向观众展示直播内容。

在步骤S220中，分别获取各个直播数据源的数据采集状态，并根据数据采集状态确定直播数据源为正常数据源或者异常数据源。

直播数据源的数据采集状态用于表示该直播数据源是否能够正常进行数据采集。如果一个直播数据源能够正常进行数据采集以形成可供直播展示的数据流，那么该直播数据源可以被确定为正常数据源。而如果一个直播数据源无法正常采集数据或者无法正常传输数据，那么该直播数据源将被确定为异常数据源。

在本申请的一个实施例中，直播数据源是通过与终端设备相连接的外部设备(如摄像头、麦克风等等)进行数据采集的，如果用于采集数据的外部设备没有与终端设备正常连接，那么该外部设备将无法提供相应的直播数据。在此基础上，本申请实施例可以通过对相应外部设备的连接状态进行检测以判断外部设备是否正常连接，进而确定直播数据源的数据采集状态。

具体而言，本申请实施例可以分别获取与各个直播数据源相对应的各个数据采集接口的设备连接状态，设备连接状态用于表示数据采集接口是否已连接数据采集设备；然后根据设备连接状态确定与数据采集接口相对应的直播数据源的数据采集状态。在本申请实施例中，每个直播数据源可以对应于终端设备上的一个数据采集接口，该数据采集接口可以是具有指定功能的物理接口或者网络接口。例如，在计算机设备上一般可以提供用于连接摄像头或者其他外部设备的物理接口，如USB接口。本申请实施例可以通过检测各个物理接口是否连接相应的外部设备来判断其设备连接状态。又例如，在计算机设备上可以提供如蓝牙连接或者wifi连接等无线通信连接功能的网络接口。本申请实施例可以通过检测网络接口是否与外部设备建立正常的无线通信连接来判断其设备连接状态。

在本申请的另一个实施例中，当直播数据源能够采集数据形成数据流时，可以对其数据流的传输状态进行监测，以判断直播数据源的数据采集状态。具体而言，本申请实施例可以分别通过各个直播数据源接收数据流；然后分别获取各个直播数据源接收到的数据流的数据流传输状态；再进一步根据数据流传输状态确定与数据流相对应的直播数据源的数据采集状态。数据流传输状态可以从数据延迟、抖动、丢包等多个维度进行状态表征，如果一个直播数据源传输的数据流存在较高的延迟率或者较高的丢包率等问题，那么可以判定数据流传输状态为异常状态。在此基础上，即便该直播数据源正常连接了用于进行数据采集的外部设备，但由于无法提供持续且稳定的数据流，该直播数据源仍然会被确定为异常数据源。

在步骤S230中，当直播数据源为异常数据源时，获取与异常数据源具有相同数据模态类型的替代数据源。

当确定一个直播数据源为异常数据源时，本申请实施例可以首先获取该异常数据源采集数据的数据模态类型；数据模态类型可以包括视频、音频、图像、文本等各种媒体形式的数据类型。根据异常数据源采集数据的数据模态类型，可以获取与异常数据源相对应的候选数据源集合，并可以进一步地从候选数据源集合中选取替代数据源。其中，候选数据源集合是由至少一个候选数据源组成的集合，每个候选数据源均可以提供与该异常数据源具有相同数据模态类型的直播数据。

在本申请的一个实施例中，在选取替代数据源时，可以获取候选数据源集合中的各个候选数据源的数据源优先级，按照数据源优先级对各个候选数据源进行排序之后，再根据候选数据源的排序结果从候选数据源集合中选取替代数据源。在本申请实施例中，可以预先为各个候选数据源配置数据源优先级，并按照优先级顺序选取一替代数据源。在本申请的另一个实施例中，也可以根据候选数据源集合中可供选择的候选数据源进行可视化展示，例如可以通过终端设备的交互界面向用户展示一数据源选取页面，然后根据用户的选取操作来确定替代数据源。

在步骤S240中，通过正常数据源和替代数据源中的至少两个直播数据源获取基于多模态数据的直播内容，并将直播内容发送至直播展示端。

在通过替代数据源对异常数据源进行替换后，将由正常数据源和替代数据源中的至少两个直播数据源进行数据采集形成基于多模态数据的直播内容，进而可以在预设的直播数据源出现异常的情况下，正常地将网络直播内容发送至直播展示端，以开启并进行网络直播。

在本申请的相关技术中，直播发起端可以预先设定网络直播的直播类型，并基于直播类型确定用于产生直播内容的各个直播数据源。例如，当直播类型为网络视频直播时，需要从多个直播数据源获取包括视频流和音频流在内的至少两路数据信号。在开启网络视频直播时或者在网络视频直播的过程中，如果任意一个直播数据源出现异常，便会因对应数据信号的缺失而导致直播中断。而在本申请实施例提供的技术方案中，当检测到直播数据源出现异常时，可以立即将异常数据源切换至替代数据源，以保持数据信号的连续传输，从而避免直播中断。其中，数据源切换的方法例如可以包括：获取由直播发起端向直播展示端推送直播内容的数据传输协议，该数据传输协议例如可以包括实时流传输协议(RealTime Streaming Protocol，RTSP)、实时消息传输协议(Real Time Messaging Protocol，RTMP)、基于HTTP的流媒体传输协议(HTTP Live Streaming，HLS)等等；将数据传输协议中配置的直播数据源的地址由异常数据源的第一地址替换为替代数据源的第二地址；按照数据传输协议从第二地址获取数据信号并继续向直播展示端推送基于替代数据源的数据流，保持数据流的连续性。

在本申请的一个实施例中，直播数据源包括通过视频采集设备采集视频模态数据的视频采集数据源以及通过音频采集设备采集音频模态数据的音频采集数据源。当视频采集数据源为异常数据源且音频采集数据源为正常数据源时，替代数据源包括通过视频文件生成视频模态数据的视频文件数据源。

在此基础上，本申请实施例可以利用视频文件数据源来代替视频采集数据源产生视频模态数据。具体而言：通过音频采集数据源获取音频采集设备采集到的音频模态数据；通过视频文件数据源读取视频文件的文件内容，并根据文件内容生成视频模态数据；将音频模态数据和视频模态数据组成基于多模态数据的直播内容。

在一些可选的实施方式中，视频文件的文件内容可以包括用于展示提示文本的一个或者多个图像文件；例如，在图像文件上可以展示“无摄像头”等提示性文字。在根据文件内容生成视频模态数据时，本申请实施例可以按照图像展示顺序将一个或者多个图像文件排列形成图像序列，并进一步按照视频帧率对图像序列进行视频编码以生成视频模态数据。

图4示意性地示出了本申请一个实施例中基于视频文件作为替代数据源进行网络直播的场景示意图。如图4所示，在该应用场景中，原本用于采集视频数据的视频采集数据源(例如图3中的摄像头)因设备连接异常或者数据传输异常而成为异常数据源，在此基础上，本申请实施例基于数据源优先级或者基于用户选择，可以将基于视频文件401产生视频数据的视频文件数据源确定为用于替换视频采集数据源的替代数据源。

网络主播的客户端程序可以通过读取视频文件401的文件内容形成视频流，同时可以通过麦克风402采集音频数据形成音频流。视频流和音频流共同被发送给服务器403，服务器403可以对两路数据进行整合形成可供播放的直播内容，然后再将直播内容推送给观众一侧的客户端程序，从而向观众展示直播内容。

在本申请的另一实施例中，直播数据源包括通过视频采集设备采集视频模态数据的视频采集数据源以及通过音频采集设备采集音频模态数据的音频采集数据源。当视频采集数据源为异常数据源且音频采集数据源为正常数据源时，替代数据源包括通过终端设备的交互界面生成视频模态数据的终端界面数据源。

在此基础上，本申请实施例可以利用终端界面数据源来代替视频采集数据源产生视频模态数据。具体而言：通过音频采集数据源获取音频采集设备采集到的音频模态数据；通过终端界面数据源获取终端设备的交互界面的界面内容，并根据界面内容生成视频模态数据；将音频模态数据和视频模态数据组成基于多模态数据的直播内容。

在一些可选的实施方式中，界面内容可以包括交互界面的界面图像。例如，网络主播在使用手机进行网络直播时，手机屏幕上实时显示的画面即为交互界面的界面图像。在根据界面内容生成视频模态数据时，本申请实施例可以按照视频帧率对终端设备的交互界面进行图像采集，得到由交互界面的界面图像组成的界面图像序列，并进一步按照视频帧率对界面图像序列进行视频编码以生成视频模态数据。

图5示意性地示出了本申请一个实施例中基于交互界面的界面内容作为替代数据源进行网络直播的场景示意图。如图5所示，在该应用场景中，原本用于采集视频数据的视频采集数据源(例如图3中的摄像头)因设备连接异常或者数据传输异常而成为异常数据源，在此基础上，本申请实施例根据数据源优先级或者根据用户选择，可以将基于交互界面的界面内容产生视频数据的终端界面数据源确定为用于替换视频采集数据源的替代数据源。

网络主播的客户端程序可以通过连续不间断地步骤屏幕501上的画面形成视频流，同时可以通过麦克风502采集音频数据形成音频流。视频流和音频流共同被发送给服务器503，服务器503可以对两路数据进行整合形成可供播放的直播内容，然后再将直播内容推送给观众一侧的客户端程序，从而向观众展示直播内容。

在本申请的一个实施例中，也可以根据直播需要由用户主动地对直播数据源进行替换。具体而言：响应于数据源切换指令，获取直播数据源中的待切换数据源；获取与待切换数据源具有相同数据模态类型的目标数据源，并将待切换数据源替换为目标数据源。

在本申请实施例中，根据用户触发的数据源切换指令，可以主动选取一目标数据源，并通过目标数据源对待切换数据源进行替换，以实现对直播内容的调整。例如，用户可以在摄像头数据与终端设备的屏幕数据之间进行切换以改变直播的视频图像内容。

基于本申请实施例提供的技术方案，网络主播可以在终端设备无摄像头的情况下开启直播。在直播过程中，如果摄像头被意外拔掉或者出现连接故障、数据传输故障等问题，视频画面可以被自动化地切换为预先配置的视频文件的内容或者被切换为终端设备屏幕的显示画面，从而保持网络直播的稳定性和可靠性。另外，根据直播需要，也可以在直播时主动进行数据源切换，以丰富直播内容并提高网络直播的灵活性。

应当注意，尽管在附图中以特定顺序描述了本申请实施例中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的数据处理方法。图6示意性地示出了本申请实施例提供的数据处理装置的结构框图。如图6所示，数据处理装置600包括：数据源获取模块610，被配置为获取由直播发起端向直播展示端进行内容直播的多个直播数据源；状态获取模块620，被配置为分别获取各个所述直播数据源的数据采集状态，并根据所述数据采集状态确定所述直播数据源为正常数据源或者异常数据源；数据源替代模块630，被配置为当所述直播数据源为异常数据源时，获取与所述异常数据源具有相同数据模态类型的替代数据源；内容获取模块640，被配置为通过所述正常数据源和所述替代数据源中的至少两个直播数据源获取基于多模态数据的直播内容，并将所述直播内容发送至所述直播展示端。

在本申请的一些实施例中，基于以上各实施例，所述状态获取模块620包括：连接状态获取单元，被配置为分别获取与各个所述直播数据源相对应的各个数据采集接口的设备连接状态，所述设备连接状态用于表示所述数据采集接口是否已连接数据采集设备；第一状态确定单元，被配置为根据所述设备连接状态确定与所述数据采集接口相对应的直播数据源的数据采集状态。

在本申请的一些实施例中，基于以上各实施例，所述状态获取模块620包括：数据流接收单元，被配置为分别通过各个所述直播数据源接收数据流；传输状态获取单元，被配置为分别获取各个所述直播数据源接收到的数据流的数据流传输状态；第二状态确定单元，被配置为根据所述数据流传输状态确定与所述数据流相对应的直播数据源的数据采集状态。

在本申请的一些实施例中，基于以上各实施例，所述数据源替代模块630包括：模态类型获取单元，被配置为获取所述异常数据源采集数据的数据模态类型；数据源集合获取单元，被配置为根据所述数据模态类型，获取与所述异常数据源相对应的候选数据源集合；替代数据源选取单元，被配置为从所述候选数据源集合中选取替代数据源。

在本申请的一些实施例中，基于以上各实施例，所述替代数据源选取单元包括：优先级获取子单元，被配置为获取所述候选数据源集合中的各个候选数据源的数据源优先级；数据源排序子单元，被配置为按照所述数据源优先级对各个所述候选数据源进行排序；数据源选取子单元，被配置为根据所述候选数据源的排序结果从所述候选数据源集合中选取替代数据源。

在本申请的一些实施例中，基于以上各实施例，所述直播数据源包括通过视频采集设备采集视频模态数据的视频采集数据源以及通过音频采集设备采集音频模态数据的音频采集数据源；当所述视频采集数据源为异常数据源且所述音频采集数据源为正常数据源时，所述替代数据源包括通过视频文件生成视频模态数据的视频文件数据源。

在本申请的一些实施例中，基于以上各实施例，所述内容获取模块640包括：音频采集单元，被配置为通过所述音频采集数据源获取音频采集设备采集到的音频模态数据；第一视频获取单元，被配置为通过所述视频文件数据源读取视频文件的文件内容，并根据所述文件内容生成视频模态数据；数据组合单元，被配置为将所述音频模态数据和所述视频模态数据组成基于多模态数据的直播内容。

在本申请的一些实施例中，基于以上各实施例，所述视频文件的文件内容包括用于展示提示文本的一个或者多个图像文件；所述第一视频获取单元包括：文件排列子单元，被配置为按照图像展示顺序将所述一个或者多个图像文件排列形成图像序列；第一视频编码子单元，被配置为按照视频帧率对所述图像序列进行视频编码以生成视频模态数据。

在本申请的一些实施例中，基于以上各实施例，所述直播数据源包括通过视频采集设备采集视频模态数据的视频采集数据源以及通过音频采集设备采集音频模态数据的音频采集数据源；当所述视频采集数据源为异常数据源且所述音频采集数据源为正常数据源时，所述替代数据源包括通过终端设备的交互界面生成视频模态数据的终端界面数据源。

在本申请的一些实施例中，基于以上各实施例，所述内容获取模块640包括：音频采集单元，被配置为通过所述音频采集数据源获取音频采集设备采集到的音频模态数据；第二视频获取单元，被配置为通过所述终端界面数据源获取所述终端设备的交互界面的界面内容，并根据所述界面内容生成视频模态数据；数据组合单元，被配置为将所述音频模态数据和所述视频模态数据组成基于多模态数据的直播内容。

在本申请的一些实施例中，基于以上各实施例，所述界面内容包括所述交互界面的界面图像；所述第二视频获取单元包括：界面图像采集子单元，被配置为按照视频帧率对所述终端设备的交互界面进行图像采集，得到由所述交互界面的界面图像组成的界面图像序列；第二视频编码子单元，被配置为按照所述视频帧率对所述界面图像序列进行视频编码以生成视频模态数据。

在本申请的一些实施例中，基于以上各实施例，所述数据处理装置600还包括：切换指令响应模块，被配置为响应于数据源切换指令，获取所述直播数据源中的待切换数据源；数据源切换模块，被配置为获取与所述待切换数据源具有相同数据模态类型的目标数据源，并将所述待切换数据源替换为所述目标数据源。

本申请各实施例中提供的数据处理装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。

图7示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。

需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理器701(Central Processing Unit，CPU)，其可以根据存储在只读存储器702(Read-Only Memory，ROM)中的程序或者从存储部分708加载到随机访问存储器703(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器703中，还存储有系统操作所需的各种程序和数据。中央处理器701、在只读存储器702以及随机访问存储器703通过总线704彼此相连。输入/输出接口705(Input/Output接口，即I/O接口)也连接至总线704。

以下部件连接至输入/输出接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至输入/输出接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理器701执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种数据处理方法，其特征在于，包括：

在直播发起端开启网络视频直播时，检测所述直播发起端的终端设备是否与视频采集设备正常连接；若所述终端设备未正常连接所述视频采集设备，则按照视频帧率对所述终端设备的交互界面进行图像采集，得到由所述交互界面的界面图像组成的界面图像序列；按照所述视频帧率对所述界面图像序列进行视频编码得到视频模态数据；获取与所述终端设备连接的音频采集设备采集的音频模态数据；将所述音频模态数据和所述视频模态数据组成基于多模态数据的直播内容，并将所述直播内容发送至直播展示端；

在所述直播发起端进行网络视频直播的过程中，获取由所述直播发起端向所述直播展示端进行内容直播的多个直播数据源，所述多个直播数据源用于采集不同模态类型的数据以形成直播内容；

分别获取各个所述直播数据源的数据采集状态，并根据所述数据采集状态确定所述直播数据源为正常数据源或者异常数据源；

当所述直播数据源为异常数据源时，获取与所述异常数据源具有相同数据模态类型的替代数据源；

通过所述正常数据源和所述替代数据源中的至少两个直播数据源获取基于多模态数据的直播内容，并将所述直播内容发送至所述直播展示端。

2.根据权利要求1所述的数据处理方法，其特征在于，所述分别获取各个所述直播数据源的数据采集状态，包括：

分别获取与各个所述直播数据源相对应的各个数据采集接口的设备连接状态，所述设备连接状态用于表示所述数据采集接口是否已连接数据采集设备；

根据所述设备连接状态确定与所述数据采集接口相对应的直播数据源的数据采集状态。

3.根据权利要求1所述的数据处理方法，其特征在于，所述分别获取各个所述直播数据源的数据采集状态，包括：

分别通过各个所述直播数据源接收数据流；

分别获取各个所述直播数据源接收到的数据流的数据流传输状态；

根据所述数据流传输状态确定与所述数据流相对应的直播数据源的数据采集状态。

4.根据权利要求1所述的数据处理方法，其特征在于，所述获取与所述异常数据源具有相同数据模态类型的替代数据源，包括：

获取所述异常数据源采集数据的数据模态类型；

根据所述数据模态类型，获取与所述异常数据源相对应的候选数据源集合；

从所述候选数据源集合中选取替代数据源。

5.根据权利要求4所述的数据处理方法，其特征在于，所述从所述候选数据源集合中选取替代数据源，包括：

获取所述候选数据源集合中的各个候选数据源的数据源优先级；

按照所述数据源优先级对各个所述候选数据源进行排序；

根据所述候选数据源的排序结果从所述候选数据源集合中选取替代数据源。

6.根据权利要求1所述的数据处理方法，其特征在于，所述直播数据源包括通过视频采集设备采集视频模态数据的视频采集数据源以及通过音频采集设备采集音频模态数据的音频采集数据源；

当所述视频采集数据源为异常数据源且所述音频采集数据源为正常数据源时，所述替代数据源包括通过视频文件生成视频模态数据的视频文件数据源。

7.根据权利要求6所述的数据处理方法，其特征在于，所述通过所述正常数据源和所述替代数据源中的至少两个直播数据源获取基于多模态数据的直播内容，包括：

通过所述音频采集数据源获取音频采集设备采集到的音频模态数据；

通过所述视频文件数据源读取视频文件的文件内容，并根据所述文件内容生成视频模态数据；

将所述音频模态数据和所述视频模态数据组成基于多模态数据的直播内容。

8.根据权利要求7所述的数据处理方法，其特征在于，所述视频文件的文件内容包括用于展示提示文本的一个或者多个图像文件；所述根据所述文件内容生成视频模态数据，包括：

按照图像展示顺序将所述一个或者多个图像文件排列形成图像序列；

按照视频帧率对所述图像序列进行视频编码以生成视频模态数据。

9.根据权利要求1所述的数据处理方法，其特征在于，所述直播数据源包括通过视频采集设备采集视频模态数据的视频采集数据源以及通过音频采集设备采集音频模态数据的音频采集数据源；

当所述视频采集数据源为异常数据源且所述音频采集数据源为正常数据源时，所述替代数据源包括通过终端设备的交互界面生成视频模态数据的终端界面数据源。

10.根据权利要求9所述的数据处理方法，其特征在于，所述通过所述正常数据源和所述替代数据源中的至少两个直播数据源获取基于多模态数据的直播内容，包括：

通过所述音频采集数据源获取音频采集设备采集到的音频模态数据；

通过所述终端界面数据源获取所述终端设备的交互界面的界面内容，并根据所述界面内容生成视频模态数据；

将所述音频模态数据和所述视频模态数据组成基于多模态数据的直播内容。

11.根据权利要求10所述的数据处理方法，其特征在于，所述界面内容包括所述交互界面的界面图像；所述根据所述界面内容生成视频模态数据，包括：

按照视频帧率对所述终端设备的交互界面进行图像采集，得到由所述交互界面的界面图像组成的界面图像序列；

按照所述视频帧率对所述界面图像序列进行视频编码以生成视频模态数据。

12.根据权利要求1至11中任意一项所述的数据处理方法，其特征在于，所述方法还包括：

响应于数据源切换指令，获取所述直播数据源中的待切换数据源；

获取与所述待切换数据源具有相同数据模态类型的目标数据源，并将所述待切换数据源替换为所述目标数据源。

13.一种数据处理装置，其特征在于，包括：

直播开启模块，被配置为在直播发起端开启网络视频直播时，检测所述直播发起端的终端设备是否与视频采集设备正常连接；若所述终端设备未正常连接所述视频采集设备，则按照视频帧率对所述终端设备的交互界面进行图像采集，得到由所述交互界面的界面图像组成的界面图像序列；按照所述视频帧率对所述界面图像序列进行视频编码得到视频模态数据；获取与所述终端设备连接的音频采集设备采集的音频模态数据；将所述音频模态数据和所述视频模态数据组成基于多模态数据的直播内容，并将所述直播内容发送至直播展示端；

数据源获取模块，被配置为在所述直播发起端进行网络视频直播的过程中，获取由所述直播发起端向所述直播展示端进行内容直播的多个直播数据源；

状态获取模块，被配置为分别获取各个所述直播数据源的数据采集状态，并根据所述数据采集状态确定所述直播数据源为正常数据源或者异常数据源；

数据源替代模块，被配置为当所述直播数据源为异常数据源时，获取与所述异常数据源具有相同数据模态类型的替代数据源；

内容获取模块，被配置为通过所述正常数据源和所述替代数据源中的至少两个直播数据源获取基于多模态数据的直播内容，并将所述直播内容发送至所述直播展示端。

14.一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至12中任意一项所述的数据处理方法。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12中任意一项所述的数据处理方法。