CN107665703A - 一种多用户的音频合成方法和系统以及远程服务器 - Google Patents

Abstract

本发明实施例涉及通信技术领域，公开了一种多用户的音频合成方法和系统、远程服务器。本发明中，远程服务器接收N个第一用户终端上传的由第一用户终端采集到的用户演唱歌曲的音频信息，其中，N为大于1的自然数；根据第一用户终端在歌曲中的演唱顺序，获取每一歌曲演唱片段所对应的第一用户终端，并根据第一用户终端的延迟时间将歌曲演唱片段所对应的第一用户终端上传的音频信息与歌曲的旋律进行合成；上一歌曲演唱片段的音频信息与旋律的合成，与下一歌曲演唱片段的音频信息的接收并行执行；在得到合成后的音频信息时，即时发送合成后的音频信息至第二用户终端。这种方法使得第二用户终端能即时且流畅地听到第一用户终端的合唱音频。

Description

一种多用户的音频合成方法和系统以及远程服务器

技术领域

本发明实施例涉及通信技术领域，特别涉及一种多用户的音频合成方法和系统以及远程服务器。

背景技术

网络KTV在现今成为了一种较为时尚的娱乐方式，所谓的网络KTV是新型音乐互动社区模式以其方便、免费或低价使用等特点，成为了白领新潮一族和大学生的“娱乐新宠”。整合在KTV点歌系统中，用户可尽情秀出自我、录制个人MV、拍摄大头贴，并发布到互动娱乐平台网站，使用户突破包房界线与更多人分享快乐的网络娱乐终端。用户在网络KTV上能够录制自己的视频和音频，上传到网上与大家分享。

然而，发明人发现现有技术中至少存在如下问题：现在使用网络KTV合唱时，用户们只能在唱完整首歌后，把整首歌的音频信息上传到服务器上，由服务器处理后再让别的用户听到这首合唱歌曲。而如果把用户合唱时上传的音频信息直接发送到别的用户终端上让别的用户收听，无法使收听网络合唱歌曲的用户能即时且流畅地收听到由不同用户合唱的歌曲。

发明内容

本发明实施方式的目的在于提供一种多用户的音频合成方法和系统以及远程服务器，使得收听网络合唱歌曲的用户能即时且流畅地收听到由不同用户合唱的歌曲。

为解决上述技术问题，本发明的实施方式提供了一种多用户的音频合成方法，包括以下步骤：

远程服务器接收N个第一用户终端上传的音频信息，其中，N为大于1的自然数；音频信息为第一用户终端采集到的用户演唱歌曲的音频信息；远程服务器根据N个第一用户终端在歌曲中的演唱顺序，获取每一歌曲演唱片段所对应的第一用户终端，并根据第一用户终端的延迟时间将歌曲演唱片段所对应的第一用户终端上传的音频信息与歌曲的旋律进行合成；延迟时间为第一用户终端的音频信息从本第一用户终端传输到所述远程服务器的时间；其中，上一歌曲演唱片段的音频信息与旋律的合成，与下一歌曲演唱片段的音频信息的接收并行执行；远程服务器在得到合成后的音频信息时，即时发送合成后的音频信息至第二用户终端。

本发明的实施方式还提供了一种远程服务器，包括：

至少一个处理器；以及，

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述至少一个处理器能够执行如上述的多用户的音频合成方法。

本发明的实施方式还提供了一种多用户音频合成系统，包括：

N个第一用户终端、至少一个第二用户终端，以及上述的远程服务器，其中，N为大于1的自然数；

远程服务器分别与第二用户终端和N个第一用户终端通过无线通信连接；

N个第一用户终端用于向远程服务器上传音频信息；

第二用户终端用于接收远程服务器发送的合成后的音频信息。

本发明实施方式相对于现有技术而言，对歌曲进行合唱的N个用户将通过N个用户终端即第一用户终端发送演唱歌曲的音频信息到远程服务器上，远程服务器通过根据N个第一用户终端在歌曲中的演唱顺序，获取每一歌曲演唱片段所对应的第一用户终端，从而获知上传的音频信息对应演唱歌曲的哪一部分以及音频信息是由哪一个第一用户终端上传的，并根据第一用户终端的延迟时间将歌曲演唱片段所对应的第一用户终端上传的音频信息与歌曲的旋律进行合成。由于音频信息存在延迟时间，即远程服务器并不能够即时地接收到音频信息，因此，在本发明实施方式中，远程服务器将根据延迟时间把音频信息与歌曲旋律合成为歌曲的片段即新的音频信息。并且上一歌曲演唱片段的音频信息与旋律的合成，与下一歌曲演唱片段的音频信息的接收并行执行，合成后的歌曲片段能够即时发送到收听音频信息的用户终端即第二用户终端上，保证了歌曲在合成的时间上是连贯的，使得收听的用户可以即时且流畅的听到整首合唱的歌曲。

另外，远程服务器在接收N个第一用户终端上传的音频信息之前，为N个第一用户终端分配歌曲演唱顺序，并向N个第一用户终端下发歌曲演唱顺序；接收的所述N个第一用户终端上传的音频信息，为第一用户终端根据预设的歌曲演唱顺序采集到的歌曲演唱片段的音频信息。即第一用户终端上传的音频信息是根据远程服务器发送的歌曲演唱顺序获得的，由于片段是多个人合唱的，由远程服务器控制麦序并下发，终端侧只需采集需要的片段录音并上传至远程服务器即可，易于网络侧的合成。

另外，通过第一用户终端获取用户的个人信息，并将用户的个人信息备注在与第一用户终端匹配的歌曲演唱片段中。即通过在歌曲演唱片段上备注演唱者的个人信息，使演唱者知道要演唱的歌曲片段到底是哪一个，以便于用户能根据歌曲演唱顺序演唱歌曲。

另外，第一用户终端具体用于在采集歌曲演唱片段的音频信息之前的预设时间段内，根据待采集的歌曲演唱片段的节拍数控制所述第一用户终端的震动次数。即第一用户终端在采集演唱歌曲演唱片段的音频信息之前的预设时间段内将震动，用以提醒所述第一用户终端的拥有者要准备开始演唱歌曲，有利于避免该第一用户终端不能采集到歌曲演唱片段的音频信息，从而保证了收听合唱歌曲的用户收听合唱歌曲时的舒适性。而待采集的歌曲演唱片段的节拍数控制该第一用户终端的震动次数，使得该第一用户终端的拥有者对什么时候开始演唱歌曲有了解，以免第一用户终端不能采集到歌曲演唱片段的音频信息，保证了收听合唱歌曲的用户收听合唱歌曲时的舒适性。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式所述的一种多用户的音频合成方法的具体流程图；

图2是根据本发明第二实施方式所述的一种多用户的音频合成方法的具体流程图；

图3是根据本发明第三实施方式所述的一种远程服务器的结构示意图；

图4是根据本发明第四实施方式所述的一种多用户音频合成系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种多用户的音频合成方法，应用于远程服务器。具体流程如图1所示。

步骤S101：远程服务器接收第一用户终端上传的音频信息。

具体的说，用户在网络KTV中进行K歌时，用户将使用手机、平板电脑等设备进行录音，并把录音的信息及时传送到远程服务器中，这些拥有录音功能，同时可与远程服务器建立了通信连接且可发送信息给服务器的手机或者平板电脑，为第一用户终端。在网络K歌时，用户对点播的歌曲进行演唱，第一用户终端将把用户演唱歌曲的音频信息录入，且把用户演唱歌曲的音频信息发送到远程服务器上，即上述音频信息为第一用户终端采集到的用户演唱歌曲的音频信息。

而当N个用户演唱同一首歌曲时，远程服务器接收N个第一用户终端上传的音频信息，其中，所述N为大于1的自然数；所述音频信息为第一用户终端采集到的用户演唱歌曲的音频信息；并且远程服务器将根据所述N个第一用户终端在歌曲中的演唱顺序，获取每一歌曲演唱片段所对应的第一用户终端，其中，N为大于1的自然数，即不同的用户会根据设定的顺序演唱歌曲中的其中一个片段，同时用户的终端将采集用户演唱歌曲的音频信息，并把采集到的音频信息发送到远程服务器上。远程服务器在接收到发送演唱歌曲音频信息的用户终端即第一用户终端发送的音频信息时，可以通过设定的用户演唱顺序以及第一用户终端的标识号，获知上传的音频信息分别是哪一个第一用户终端发送的，以及第一用户终端发送的音频信息到底是对应歌曲的哪一段演唱片段。

步骤S102：远程服务器根据第一用户终端的延迟时间将歌曲演唱片段所对应的第一用户终端上传的音频信息与歌曲的旋律进行合成。

具体的说，所述延迟时间为第一用户终端的音频信息从本第一用户终端传输到所述远程服务器的时间，延迟时间对收听歌曲的用户会造成很大的影响，比如当有两个第一用户终端按照歌曲演唱顺序向服务器发送同一首歌的合唱音频信息时，由于延迟时间的存在，在两个用户演唱歌曲中的两个演唱片段的音频信息分别由不同的第一用户终端发送，且所述不同的第一用户终端到服务器的延迟时间也不一致的情况下，当上一演唱片段的音频信息被发送到服务器上时，服务器不能马上得到下一个演唱片段的音频信息。如果服务器是即时地把接收到的音频信息发送到收听合唱歌曲的用户的终端上，所述收听合唱歌曲的用户将不能流畅地收听到整首合唱歌曲。

所以为了解决这个问题，当服务器接收到第一用户终端发送的音频信息时，首先计算得到第一用户终端发送音频信息到服务器中的延迟时间，然后根据延迟时间，把接收到的音频信息与歌曲的旋律进行合成。

比如说，当用户A和用户B利用第一用户终端A和第一用户终端B对同一首歌曲进行合唱时，第一用户终端A在5点0分0秒发送了用户A演唱歌曲在1分0秒处的歌词的音频信息到服务器中，第一用户终端A发送的音频信息到服务器中的延迟时间为1秒；第一用户终端B在5点0分01秒发送了用户B演唱歌曲在1分01秒处的歌词的音频信息到服务器中，第一用户终端B发送的音频信息到服务器中的延迟时间为2秒,；则服务器在5点0分01秒收到了第一用户终端A发送的歌曲在1分0秒处的歌词的音频信息，在5点0分03秒收到了第一用户终端B发送的歌曲在1分01秒处的歌词的音频信息，因为歌曲在1分0秒处的歌词与歌曲在1分01秒处是连贯的两句歌词，如果服务器在接收到歌曲在1分0秒处的歌词的音频信息时，马上把音频信息与歌词所属旋律结合并发送出去，会造成本来连贯的歌词出现了1秒的停顿。

因此服务器可根据延迟时间，在5点0分01秒接收到第一用户终端A发送的歌曲在1分0秒处的歌词的音频信息时，等待时间到达5点0分02秒再把歌曲在1分0秒处的歌词的音频信息与歌词所属旋律结合，在5点0分03秒接收到第一用户终端B发送的歌曲在1分01秒处的歌词的音频信息时，马上把歌曲在1分01秒处的歌词的音频信息与歌词所属旋律结合。这样使得本来连贯的歌词出现了1秒的停顿的情况得到了改善，服务器合成后的合唱歌曲的音频信息将变得流畅。

其中，上一歌曲演唱片段的音频信息与旋律的合成，与下一歌曲演唱片段的音频信息的接收并行执行，即服务器在对接收到的歌词进行合成时，不会停止对下一个歌曲演唱片段的接收，使合唱歌曲的音频信息不会因为远程服务器合成新的音频信息的行为产生不必要的卡顿，以致服务器合成后的合唱歌曲的音频信息变得流畅

步骤S103：远程服务器在得到合成后的音频信息时，即时发送合成后的音频信息至第二用户终端。

具体的说，收听合唱歌曲的用户的终端被称为第二用户终端，远程服务器把歌曲演唱片段所对应的第一用户终端上传的音频信息与歌曲的旋律进行合成后，马上把合成后的音频信息发送到第二用户终端，让收听合唱歌曲的用户能即时收听到合唱歌曲。而当多个用户对同一首歌曲进行合唱时，多个第一用户终端把用户按照歌曲演唱顺序进行合唱时的音频信息采集并发送到远程服务器上，由于延迟时间的存在，远程服务器根据多个第一用户终端的延迟时间将歌曲演唱片段所对应的第一用户终端上传的音频信息与歌曲的旋律进行合成以及服务器在对接收到的歌词进行合成，且合成时不会停止对下一个歌曲演唱片段的接收，使收听合唱歌曲的用户能流畅地收听到合唱歌曲。

由上可知，本发明第一实施方式通过把第一用户终端上传的音频信息根据每个第一用户终端到服务器的延迟时间，与歌曲的旋律进行了合成并即时发送到第二用户终端上，实现了使收听合唱歌曲的用户能即时且流畅地收听到合唱歌曲的效果。

本发明第二实施方式涉及一种多用户的音频合成方法，本发明第二实施方式应用于远程服务器，是对本发明第一实施方式的改进，主要改进之处在于：在接收N个第一用户终端上传的音频信息之前，为N个第一用户终端分配歌曲演唱顺序，并向N个第一用户终端下发歌曲演唱顺序，并且通过第一用户终端获取用户的个人信息，并将用户的个人信息备注在与第一用户终端匹配的歌曲演唱片段中。其具体流程图如图2所示，包括：

步骤S201：远程服务器为N个第一用户终端分配歌曲演唱顺序，并向N个第一用户终端下发歌曲演唱顺序，其中，N为大于1的自然数。

具体的说，远程服务器在接收第一用户终端发送的用户对合唱歌曲演唱的音频信息之前，首先会对N个第一用户终端分配歌曲演唱顺序，即决定由哪个第一用户终端收集合唱歌曲中的特定演唱片段的音频信息，具体做法为将所述歌曲分为L个歌曲演唱片段，其中，所述L为大于1的自然数；为每一个歌曲演唱片段匹配至少一个第一用户终端，然后把歌曲演唱顺序发到N个第一用户终端上，而第一用户终端可根据歌曲演唱顺序决定采集演唱歌曲的音频信息的时间，使得远程服务器接收的N个第一用户终端上传的音频信息，为第一用户终端根据预设的歌曲演唱顺序采集到的歌曲演唱片段的音频信息。

远程服务器也可以通过根据歌曲演唱顺序决定是否接收从第一用户终端发送的音频信息，保证接收到的音频信息，为第一用户终端根据预设的歌曲演唱顺序采集到的歌曲演唱片段的音频信息，即在固定的时间段允许某一个终端进行输入。其他时间不允许此终端进行输入。比如说预先设定用户A唱哪一句，远程服务器发送歌曲演唱顺序到用户A的终端上，在用户A的终端播放的歌曲到了用户A需要演唱的时间开始，采集用户A演唱歌曲时的音频信息，直到用户A需要演唱的歌曲片段结束为止，用户A的终端将一边采集音频信息，一边把音频信息发送到远程服务器。这么做可以避免几个用户同时上传对同一歌曲片段唱歌时的音频信息的情况，保证了收听合唱歌曲的用户收听合唱歌曲时的舒适性

步骤S202：远程服务器通过所述第一用户终端获取用户的个人信息，并将用户的个人信息备注在与第一用户终端匹配的歌曲演唱片段中。

具体的说，在为每一个歌曲演唱片段匹配至少一个第一用户终端后，远程服务器可以通过匹配了歌曲演唱顺序的第一用户终端，得到即将对歌曲进行演唱的用户的个人信息，比如说名字、手机号码等信息，把这些信息备注在与第一用户终端匹配的歌曲演唱片段中，用以提醒用户什么时候该开始演唱歌曲。以免该第一用户终端不能采集到歌曲演唱片段的音频信息，有利于确保收听合唱歌曲的用户收听合唱歌曲时的舒适性。

步骤S203与步骤S101一致，这里不再进行过多的叙述。

步骤S204与步骤S102一致，这里不再进行过多的叙述。

步骤S205与步骤S103一致，这里不再进行过多的叙述。

不难得知，本发明的第二实施方式不仅实现了使收听合唱歌曲的用户能即时且流畅地收听到合唱歌曲的效果，而且避免了几个用户同时上传对同一歌曲片段唱歌时的音频信息以及第一用户终端不能采集到歌曲演唱片段的音频信息的情况发生，保证了收听合唱歌曲的用户收听合唱歌曲时的舒适性。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种远程服务器，如图3所示，包括：

至少一个处理器31；以及，与至少一个处理器通信连接的存储器32。

存储器32存储有可被至少一个处理器31执行的指令，所述指令被所述至少一个处理器31执行，以使所述至少一个处理器31能够执行如本发明第二实施方式所述的多用户的音频合成方法。

其中，存储器32和处理器31采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器31和存储器32的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器31处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器31。

处理器31负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器32可以被用于存储处理器在执行操作时所使用的数据。

本发明的第四实施方式涉及一种多用户音频合成系统，如图4所示，包括:N个第一用户终端41、至少一个第二用户终端42，以及如本发明第三实施方式所述的远程服务器43，其中，所述N为大于1的自然数。

远程服务器43分别与第二用户终端42和N个第一用户终端41通过无线通信连接。

N个第一用户终端41用于向远程服务器43上传音频信息。

第一用户终端41还用于接收远程服务器43下发的歌曲演唱顺序，第一用户终端41上传的音频信息具体为第一用户终端41根据预设的歌曲演唱顺序采集到的歌曲演唱片段的音频信息；

第一用户终端41还用于在采集歌曲演唱片段的音频信息之前的预设时间段内进行震动。

具体的说，第一用户终端41用于在采集歌曲演唱片段的音频信息之前的预设时间段内，根据待采集的歌曲演唱片段的节拍数控制所述第一用户终端的震动次数。即第一用户终端41在采集演唱歌曲演唱片段的音频信息之前的预设时间段内将震动，用以提醒第一用户终端41的拥有者要准备开始演唱歌曲，以免该第一用户终端41不能采集到歌曲演唱片段的音频信息，保证了收听合唱歌曲的用户收听合唱歌曲时的舒适性。而待采集的歌曲演唱片段的节拍数控制第一用户终端的震动次数，使得第一用户终端41的拥有者对什么时候开始演唱歌曲有了解，以免第一用户终端不能采集到歌曲演唱片段的音频信息，保证了收听合唱歌曲的用户收听合唱歌曲时的舒适性。

第二用户终端42用于接收远程服务器43发送的合成后的音频信息。

不难发现，本实施方式为与第一实施方式以及第二实施方式相对应的系统实施例，本实施方式可与第一实施方式以及第二实施方式互相配合实施。第一实施方式以及第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式以及第二实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种多用户的音频合成方法，应用于远程服务器，其特征在于，包括：

接收N个第一用户终端上传的音频信息，其中，所述N为大于1的自然数；所述音频信息为所述第一用户终端采集到的用户演唱歌曲的音频信息；

根据所述N个第一用户终端在歌曲中的演唱顺序，获取每一歌曲演唱片段所对应的第一用户终端，并根据第一用户终端的延迟时间将歌曲演唱片段所对应的第一用户终端上传的音频信息与所述歌曲的旋律进行合成；所述延迟时间为所述第一用户终端的音频信息从本第一用户终端传输到所述远程服务器的时间；

其中，上一歌曲演唱片段的音频信息与旋律的合成，与下一歌曲演唱片段的音频信息的接收并行执行；在得到合成后的音频信息时，即时发送所述合成后的音频信息至第二用户终端。

2.根据权利要求1所述的多用户的音频合成方法，其特征在于，还包括：

在所述接收N个第一用户终端上传的音频信息之前，为所述N个第一用户终端分配歌曲演唱顺序，并向所述N个第一用户终端下发歌曲演唱顺序；

接收的所述N个第一用户终端上传的音频信息，为第一用户终端根据预设的歌曲演唱顺序采集到的歌曲演唱片段的音频信息。

3.根据权利要求2所述的多用户的音频合成方法，其特征在于，所述为所述N个第一用户终端分配歌曲演唱顺序，具体包括：

将所述歌曲分为L个歌曲演唱片段，其中，所述L为大于1的自然数；

为每一个所述歌曲演唱片段匹配至少一个所述第一用户终端。

4.根据权利要求3所述的多用户的音频合成方法，其特征在于，所述为每一个所述歌曲演唱片段匹配至少一个所述第一用户终端后，还包括：

通过所述第一用户终端获取用户的个人信息，并将所述用户的个人信息备注在与所述第一用户终端匹配的歌曲演唱片段中。

5.一种远程服务器，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一项所述的多用户的音频合成方法。

6.一种多用户音频合成系统，其特征在于，包括：N个第一用户终端、至少一个第二用户终端，以及如权利要求5所述的远程服务器，其中，所述N为大于1的自然数；

所述远程服务器分别与所述第二用户终端和所述N个第一用户终端通过无线通信连接；

所述N个第一用户终端用于向所述远程服务器上传音频信息；

所述第二用户终端用于接收所述远程服务器发送的合成后的音频信息。

7.根据权利要求6所述的多用户音频合成系统，其特征在于，所述远程服务器的处理器能够执行如权利要求2所述的多用户的音频合成方法；

所述第一用户终端还用于接收所述远程服务器下发的歌曲演唱顺序，所述第一用户终端上传的音频信息具体为所述第一用户终端根据预设的歌曲演唱顺序采集到的歌曲演唱片段的音频信息；

所述第一用户终端还用于在采集歌曲演唱片段的音频信息之前的预设时间段内进行震动。

8.根据权利要求7所述的多用户音频合成系统，其特征在于，所述第一用户终端具体用于在采集歌曲演唱片段的音频信息之前的预设时间段内，根据待采集的歌曲演唱片段的节拍数控制所述第一用户终端的震动次数。

9.根据权利要求6至8中任一项所述的多用户的音频合成系统，其特征在于，所述第一用户终端为手机或者平板电脑。