CN108377406A - 一种调整音画同步的方法及装置 - Google Patents
一种调整音画同步的方法及装置 Download PDFInfo
- Publication number
- CN108377406A CN108377406A CN201810374722.1A CN201810374722A CN108377406A CN 108377406 A CN108377406 A CN 108377406A CN 201810374722 A CN201810374722 A CN 201810374722A CN 108377406 A CN108377406 A CN 108377406A
- Authority
- CN
- China
- Prior art keywords
- audio
- played
- frame
- time
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000001360 synchronised effect Effects 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供一种调整音画同步的方法及装置,涉及视频、音频播放技术领域。本发明实施例能够在播放片源文件的视频以及音频时保证音画同步。该方法包括音画同步装置向音频播放装置发送待播放音频帧;音画同步装置接收音频发送装置发送的回传信号,其中音频播放装置在接收到待播放音频帧后发送回传信号;音画同步装置记录接收到回传信号的时间;音画同步装置向视频播放装置发送待播放视频帧并记录发送时间,待播放视频帧与待播放音频帧相对应;音画同步装置根据接收到回传信号的时间以及发送时间,确定向音频播放装置发送下一音频帧的时间。本发明应用于音视频播放。
Description
技术领域
本发明涉及视频、音频处理技术领域,尤其涉及一种调整音画同步的方法及装置。
背景技术
在使用电视、电脑等电子设备播放片源文件时,由于电子设备中的主芯片对片源文件中音频数据的处理速度要比对视频数据处理速度快,这就导致主芯片将处理后的音频数据和视频数据分别发送给音频播放装置和视频播放装置进行播放时,音频数据的输出比相应视频数据的输出时间早,如图1所示。进而音频播放装置播放音频的时间会提前于视频播放装置播放对应视频的时间,从而产生输出的声音、画面不同步的情况,影响用户的使用体验。
针对上述问题,目前现有技术中常用的解决方法是在主芯片端对音频数据加以一个固定的延时来达到音画同步的目的。但由于随着音频、视频的数据量变化,音频播放时间与对应的视频播放时间之间的延时也会发生变化,因此现有技术的上述解决方法效果并不理想。另外,随着无线音箱等外部设备的使用也越来越多,在这种音频数据传输路径更加复杂的情况下,使用上述现有技术中给音频数据增加固定延时的方法就更加难以满足信息传输的要求。
发明内容
本发明实施例提供一种调整音画同步的方法、装置及设备,能够在播放片源文件时保证音画同步。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明实施例提供一种调整音画同步的方法,包括:音画同步装置向音频播放装置发送待播放音频帧;所述音画同步装置接收所述音频发送装置发送的回传信号,其中所述音频播放装置在接收到所述待播放音频帧后发送所述回传信号;所述音画同步装置记录接收到所述回传信号的时间;所述音画同步装置向视频播放装置发送待播放视频帧并记录发送时间,所述待播放视频帧与所述待播放音频帧相对应;所述音画同步装置根据接收到所述回传信号的时间以及所述发送时间,确定向音频播放装置发送下一音频帧的时间。
第二方面,本发明实施例提供另一种调整音画同步的方法,包括:音频播放装置接收音画同步装置发送的待播放音频帧;所述音频播放装置在接收到所述待播放音频帧后向音画同步装置发送回传信号,以便所述音画同步装置在接收到所述回传信号后,记录接收到所述回传信号的时间,以便音画同步装置在记录向视频播放装置发送待播放视频帧的发送时间后,根据接收到所述回传信号的时间以及所述发送时间,确定向音频播放装置发送下一音频帧的时间,其中所述待播放视频帧与所述待播放音频帧相对应。
第三方面,本发明实施例提供一种音画同步装置,包括:接口模块,用于向音频播放装置发送待播放音频帧;所述接口模块,还用于接收所述回传信号,其中所述音频播放装置在接收到所述待播放音频帧后发送所述回传信号;记录模块,用于在所述接口模块接收所述回传信号后,记录接收到所述回传信号的时间;所述接口模块,还用于向视频播放装置发送待播放视频帧,所述待播放视频帧与所述待播放音频帧相对应;所述记录模块,还用于记录向视频播放装置发送待播放视频帧的发送时间;计算模块,用于根据接收到所述回传信号的时间以及所述发送时间,确定向音频播放装置发送下一音频帧的时间。
第四方面,本发明实施例提供一种音频播放装置,包括:接口模块,用于接收音画同步装置向所述音频播放装置发送的待播放音频帧;所述接口模块,还用于在接收到所述待播放音频帧后,向所述音画同步装置发送回转信号,以便所述音画同步装置在接收到所述回传信号后,记录接收到所述回传信号的时间,以便所述音画同步装置在记录向视频播放装置发送待播放视频帧的发送时间之后,并根据接收到所述回传信号的时间以及所述发送时间,确定向音频播放装置发送下一音频帧的时间,其中所述待播放视频帧与所述待播放音频帧相对应。
第五方面,本发明实施例提供一种电子设备,包括如上述第三方面所提供的音画同步装置以及视频播放装置。
第六方面,本发明实施例提供一种无线音箱设备,包括如上述第四方面所提供的音频播放装置。
本发明实施例中,在音画同步装置向音频播放装置发送待播放音频帧后,由音频播放装置向音画同步装置反馈回传信号,进而音画同步装置通过记录接收到所述回传信号的时间便可以确定音频播放装置播放该待播放音频帧的时间,也就是确定了用户听到待播放音频帧的时间。音画同步装置再通过记录向视频播放装置发送待播放视频帧的时间,确定视频播放装置播放该待播放视频帧的时间,即就是确定了用户看到待播放视频帧的时间。进而通过接收到回传信号的时间以及向视频播放装置发送待播放视频帧的发送时间,可以确定视频播放与音频播放之间的延迟值。最终再根据视频播放与音频播放之间的延迟值,调整向音频播放装置发送下一音频帧的时间,从而保证了音频帧与视频帧的同步播放。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为现有技术中用于播放音频、视频的电子设备的结构示意图;
图2为本发明的实施例提供的一种音视频播放设备的结构示意图;
图3为本发明的实施例提供的另一种音视频播放设备的结构示意图;
图4为本发明的实施例提供的一种调整音画同步的方法的流程示意图;
图5为本发明的实施例提供的音画同步装置与视频播放装置、音频播放装置之间所发送数据的结构示意图;
图6为本发明的实施例提供的另一种调整音画同步的方法的流程示意图;
图7为本发明的实施例提供的一种音画同步装置的结构示意图;
图8为本发明的实施例提供的另一种音画同步装置的结构示意图;
图9为本发明的实施例提供的又一种音画同步装置的结构示意图;
图10为本发明的实施例提供的一种音频播放装置的结构示意图。
具体实施方式
下面结合附图,对本发明的实施例进行描述。
本发明应用于音频、视频播放场景下。示例性的,如图2所示,为本发明实施例提供的一种音视频播放设备的结构示意图,其中音画同步装置101分别与音频播放装置102、视频播放装置103、主芯片104连接。主芯片104用于读取存储空间中的片源文件,对片源文件进行解码等处理,生成用于播放的视频数据和音频数据,并将视频数据和音频数据发送至音画同步装置101;音画同步装置101用于接收主芯片104发送的音频数据和视频数据,并按照本发明实施例所提供的调整音画同步的方法将音频数据和视频数据分别发送至音频播放装置102和视频播放装置103进行播放。
另外,需要说明的是,本发明实施例所提供的音视频播放设备中的音画同步装置101和主芯片104可以是两个单独的集成电路、处理芯片等。也可由音画同步装置101读取存储空间中的片源文件并对片源文件进行解码处理,以实现主芯片104的功能。本领域技术人员可以根据实际需要进行上述设计,对此本发明不作限制。
另外,需要说明的是,本发明实施例所提供的上述音视频播放设备中所包括的各单元装置可以是同一个产品设备中的多个单元装置。例如以电视机为例,主芯片104和音画同步装置101的功能可以由电视机的相应控制电路实现,音频播放装置102的功能可以由电视机的功放扬声器单元实现,视频播放装置103的功能可以由电视机的显示器单元实现。此外,上述音视频播放设备还可以包括多个产品设备,如图3所示,主芯片104和音画同步装置101的功能同样由电视机的相应控制电路实现,视频播放装置103的功能也由电视机的显示器单元实现,但音频播放装置102的功能可以由与电视机连接的无线音箱设备来实现,在进行音视频播放时电视机通过蓝牙、WIFI向无线音箱设备发送音频数据,无线音箱设备在每次接收到电视机发送的音频帧后,向电视机反馈回传信号。
实施例一:
基于上述实施例中所提供的音视频播放设备或者其他与上述音视频播放设备具有类似结构和功能的音视频播放设备,本发明实施例提供一种调整音画同步的方法,其流程如图4所示,包括:
S201、音画同步装置读取存储空间中的片源文件,对片源文件进行解码,生成音频数据和视频数据。
需要说明的是,本发明实施例中可以由音画同步装置完成上述读取存储空间中的片源文件并对片源文件进行解码,也可以由独立的主芯片对片源文件进行解码后将音频数据和视频数据发送给音画同步装置。
其中,音频数据和视频数据以数据帧的形式进行传输、读取以及播放等操作。
S202、音画同步装置向音频播放装置发送待播放音频帧。
其中,待播放音频帧指对片源文件进行解码后生成的音频数据中的一帧数据。音频播放装置在接收到待播放音频帧后,可以根据该待播放音频帧数据输出相应的声音。
另外,音频播放装置在接收到该待播放音频帧后,还向音画同步装置发送回传信号。在一种实现方式中,考虑到在音、视频播放的过程中,音画同步装置会持续向音频播放装置发送音频帧,为了使音画同步装置能够识别出接收到的回传信号对应哪个音频帧,本发明实施例还包括:
待播放音频帧中包括同步标识,该同步标识用于确定待播放音频帧在音频数据中的位置,以便音频播放装置根据同步标识生成回传信号。
其中待播放音频帧在音频数据中的位置,指该音频帧在音频数据中的哪个时间段,例如该音频帧在音频数据中的第n分第n秒。示例性的,音画同步装置在发送待播放音频帧时,可以在每一帧音频数据的末尾加上同步标识。其中同步标识中包括该帧音频数据在音频数据中的位置。之后音频播放装置在接收到待播放音频帧后,从该待播放音频帧的数据包中分解出音频数据和同步标识,将音频数据放入功放推动扬声器发声,再根据同步标识生成回传信号并将回传信号反馈至音画同步装置。其中也可以直接将分解出的同步标识进行封装作为回传信号进行发送。这样音画同步装置在接收到根据同步标识生成的回传信号后,即可知道该回传信号对应的是哪个音频帧。另外,同步标识中还可以包括音画同步装置发送待播放音频帧时的时间标记等信息,时间标记的取值是当前系统时间的分钟数乘以60加上秒数并转化为32为二进制整数。
S203、音画同步装置接收所述音频播放装置发送的回传信号并记录接收到回传信号的时间。
具体的,音画同步装置在接收到回传信号后,在确定该回传信号为音频播放装置接收到待播放音频帧后所发送的,则记录接收到回传信号的时间。
本发明中考虑到由于对音频数据的解码过程以及向音频播放装置发送音频帧的过程中都可能存在延时,特别是当音频数据经过蓝牙、WIFI网络进行传输时,由于传输路径复杂所造成的延时波动更大,因此本发明中通过音频播放装置每接收到一个音频帧后便向音画同步装置发送一个回传信号,通过音画同步装置记录接收回传信号的时间,确定用户听到该音频帧的时间。
S204、音画同步装置向视频播放装置发送待播放视频帧并记录发送时间。
其中,待播放视频帧与上述待播放音频帧相对应。
本发明中通过在对片源文件进行解码生成与上述待播放音频帧相对应的待播放视频帧后,音画同步装置将该待播放视频帧发送至视频播放装置以便视频播放装置根据该待播放视频帧播放相应画面的同时,记录音画同步装置向视频播放装置发送待播放视频帧的时间,进而确定用户看到该待播放视频帧的时间。
S205、音画同步装置根据接收到回传信号的时间以及向视频播放装置发送待播放视频帧的发送时间,确定向音频播放装置发送下一音频帧的时间。
其中,根据接收到回传信号的时间确定了用户听到待播放音频帧的时间,根据向视频播放装置发送待播放视频帧的发送时间确定了用户看到待播放视频帧的时间。进而通过接收到回传信号的时间以及向视频播放装置发送待播放视频帧的发送时间,可以确定视频播放与音频播放之间的延迟值。最终再根据视频播放与音频播放之间的延迟值,调整向音频播放装置发送下一音频帧的时间,从而保证了音频帧与视频帧的同步播放。
在一种实现方式中,步骤S205具体可以包括:
S2051、利用公式△T(N)=K×(TVS(N)-TAR(N))计算向音频播放装置发送下一音频帧的延时时间△T(N),其中TVS(N)表示向视频播放装置发送待播放视频帧的发送时间,TAR(N)表示所述接收到回传信号的时间,0<K<1。
其中K的取值可以根据CPU的运算能力进行微调。
考虑到音画同步装置接收到待播放音频帧的回传信号的时间与发送待播放视频帧的发送时间之间的时间差,即反映了相互对应的视频帧与音频帧在播放时的时间差的情况。进而本发明中通过计算上述接收回传信号的时间以及发送待播放视频帧的发送时间之差,再对计算出的差值乘以系数K,计算出下一帧音频需要延迟的时间。
S2052、利用公式TAS(N+1)=T’AS(N+1)+△T(N)确定向音频播放装置发送下一音频帧的时间,其中T’AS(N+1)表示正常向音频播放装置发送下一音频帧的时间。
其中,正常向音频播放装置发送下一音频帧的时间是指没有采用本发明的上述方法延迟音频帧发送的时候的发送时间。示例性的,例如,在没有按照本发明上述方法延迟发送音频帧的情况下,主芯片每解码出一帧音频帧数据即向音频播放装置发送该音频帧数据,此时时间为T’AS(N+1)。进而通过本发明所述方法计算出△T(N)后,则在T’AS(N+1)的基础上延迟△T(N)后再向音频播放装置发送下一音频帧数据。再例如,在没有按照本发明上述方法延迟发送音频帧的情况下,原本主芯片在解码出一帧音频帧数据后会延迟一定时间后,向音频播放装置发送该音频帧数据,T’AS(N+1)则为当前向音频播放装置发送该音频帧数据的时间。进而通过本发明所述方法计算出△T(N)后,则在T’AS(N+1)的基础上延迟△T(N)后再向音频播放装置发送下一音频帧数据。
具体的,假设当前正在播放第n帧音频帧和视频帧,并且K的取值为0.5。其中音画同步装置向视频播放装置发送第n帧视频帧时的系统时间为1点12分42秒100毫秒,并且接收到第n帧音频帧的回传信号的时间为1分12分41秒200毫秒,则可以计算出向音频播放装置发送下一音频帧的延时时间△T(N)=900ms×0.5=450ms。进而在发送下一音频帧时,在T’AS(N+1)的基础上延迟0.5ms后再进行发送。从而能够减小音频播放与视频播放之间的延时。
本发明实施例中,在音画同步装置向音频播放装置发送待播放音频帧后,由音频播放装置向音画同步装置反馈回传信号,进而音画同步装置通过记录接收到所述回传信号的时间便可以确定音频播放装置播放该待播放音频帧的时间,也就是确定了用户听到待播放音频帧的时间。音画同步装置再通过记录向视频播放装置发送待播放视频帧的时间,确定视频播放装置播放该待播放视频帧的时间,即就是确定了用户看到待播放视频帧的时间。进而通过接收到回传信号的时间以及向视频播放装置发送待播放视频帧的发送时间,可以确定视频播放与音频播放之间的延迟值。最终再根据视频播放与音频播放之间的延迟值,调整向音频播放装置发送下一音频帧的时间,从而保证了音频帧与视频帧的同步播放。
以下结合实例,对本发明所提供的调整音画同步的方法进行介绍:
如图5所示,在音画同步装置向视频播放装置发送的视频数据中,每个视频帧数据包括“Video Frame*”和“MVS(*)”两部分,“Video Frame*”指第*帧的视频数据,“MVS(*)”指第*帧视频数据的同步标识,其中“MVS(*)”中可以包括该帧视频帧在视频数据中的帧数以及发送该帧视频帧时的系统时间等信息。如图中所示,在音画同步装置向音频播放装置发送的音频数据中,每个音频帧数据中包括“Audio Frame*”和“MAS(*)”两部分,“Audio Frame*”指第*帧音频数据,“MAS(*)”指第*帧音频数据的同步标识,“MAS(*)”中可以包含该帧音频帧在音频数据中的帧数以及发送该帧音频帧时的系统时间等信息。如图中所示,在音频播放装置接收到音频帧Audio Frame*后,向音画同步装置反馈回传信号TAR(*)。
以从第N-1帧的视频帧和音频帧开始为例,主芯片对片源文件进行解码处理,分别生成第N-1帧音频帧和第N-1帧视频帧(通常音频帧会比视频帧更早输出)。然后,音画同步装置向音频播放装置发送第N-1帧音频帧,向视频播放装置发送第N-1帧视频帧,记录向视频播放装置发送第N-1帧视频帧的时间TVS(N-1)。音频播放装置在接收到第N-1帧视频帧后反馈一个回传信号,音画同步装置记录接收到回传信号的时间TAR(N-1)。其中回传信号可以是将音频帧分解后得到的同步标识MAS(N-1)后,将同步信号MAS(N-1)作为回传信号的内容。之后计算△T(N-1)=K×(TVS(N-1)-TAR(N-1)),确定出向音频播放装置发送下一音频帧的延时时间。进而在主芯片生成第N帧音频帧后,音画同步装置延时△T(N-1)后再向音频播放装置发送第N帧音频帧。这样一来,若在播放第N-1帧的音视频时存在音画不同步的问题,则可以通过上述方法及时对音频播放进行相应时长的延时,进而保证了在播放下一帧也就是第N帧音视频数据时的音画同步。之后,同理根据向视频播放装置发送第N帧视频帧的时间TVS(N)以及接收到第N帧视频帧对应的回传信号的时间TAR(N-1),确定向音频播放装置发送第N+1帧音频帧的延时时间△T(N)=K×(TVS(N)-TAR(N)),之后音画同步装置延时△T(N)后再向音频播放装置发送第N+1帧音频帧。
实施例二:
本发明实施例还提供一种调整音画同步的方法,应用于音频播放装置中。如图6所示,该方法包括:
S301、音频播放装置接收音画同步装置发送的待播放音频帧。
S302、所述音频播放装置在接收到所述待播放音频帧后向音画同步装置发送回传信号。以便所述音画同步装置在接收到所述回传信号后,记录接收到所述回传信号的时间,以便音画同步装置在记录向视频播放装置发送待播放视频帧的发送时间之后,根据接收到所述回传信号的时间以及所述发送时间,确定向音频播放装置发送下一音频帧的时间,其中所述待播放视频帧与所述待播放音频帧相对应。
其中待播放音频帧中包括同步标识,该同步标识用于确定待播放音频帧在音频数据中的帧数。进而所述方法还可以包括:音频播放装置根据同步标识生成回传信号。
本发明上述实施例二所提供的调整音画同步的方法与上述实施例一所提供的方法从原理、实施方式上具有相同或者类似的技术特征以及效果,实施例一是从音画同步装置的角度对方法的描述,实施例二是从音频播放装置的角度对方法的描述。因此实施例二中的各种实现方式以及效果可以参照实施例一中的描述,在此不再赘述。
实施例三:
本发明实施例还提供一种音画同步装置,用于执行上述家电设备上报信息的方法。本发明所提供音画同步装置使用场景可参照上述实施例一的相应描述。本发明实施例可以根据上述方法示例对该信息上报装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在采用对应各个功能划分各个功能模块的情况下,如图7为本发明实施例所涉及的音画同步装置的一种可能的结构示意图。具体的,该音画同步装置70包括:接口模块701、记录模块702,计算模块703。其中:
接口模块701,用于向音频播放装置发送待播放音频帧。
接口模块701,还用于接收回传信号。其中音频播放装置在接收到待播放音频帧后向音画同步装置发送回传信号。
记录模块702,用于在接口模块接收回传信号后,记录接收到回传信号的时间。
接口模块701,还用于向视频播放装置发送待播放视频帧,其中待播放视频帧与上述待播放音频帧相对应。
记录模块702,还用于记录向视频播放装置发送待播放视频帧的发送时间。
计算模块703,用于根据接收到所述回传信号的时间以及所述发送时间,确定向音频播放装置发送下一音频帧的时间。
在一种实现方式中,待播放音频帧中包括同步标识,该同步标识用于确定待播放音频帧在音频数据中的帧数。其中回传信号是由音频播放装置根据同步标识生成的。
在一种实现方式中,计算模块703,具体用于:
利用公式△T(N)=K×(TVS(N)-TAR(N))计算向音频播放装置发送下一音频帧的延时时间△T(N),其中TVS(N)表示向视频播放装置发送待播放视频帧的发送时间,TAR(N)表示接收到回传信号的时间,0<K<1。
计算模块703,具体还用于利用公式TAS(N+1)=T’AS(N+1)+△T(N)确定向音频播放装置发送下一音频帧的时间,其中T’AS(N+1)表示所述音画同步装置正常向音频播放装置发送下一音频帧的时间。
需要说明的是,本发明实施例中提供的音画同步装置中各单元对应的其他相应描述可以参考上述实施例中的对应描述内容,在此不再赘述。
在采用集成的单元的情况下,图8示出了上述音画同步装置的一种可能的结构示意图。该音画同步装置80包括:存储单元801、处理单元802以及接口单元803。处理单元802用于对信息上报装置80的动作进行控制管理。
其中,以处理单元为处理器,存储单元为存储器,接口单元为收发器为例。进而音画同步装置参照图9中所示,包括收发器903、处理器902、存储器901和总线904,收发器903、处理器902通过总线904与存储器901相连。
处理器902可以是一个通用中央处理器(Central Processing Unit,CPU),微处理器,特定应用集成电路(Application-Specific Integrated Circuit,ASIC),或一个或多个用于控制本发明方案程序执行的集成电路。
存储器901可以是只读存储器(Read-Only Memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(Random Access Memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器901用于存储执行本发明方案的应用程序代码,并由处理器902来控制执行。收发器903用于接收外部设备输入的内容,处理器902用于执行存储器901中存储的应用程序代码,从而实现本发明实施例中所述的调整音画同步的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
实施例四:
如图10所示,本发明还提供一种音频播放装置100,包括:接口模块1001,其中接口模块1001,用于接收音画同步装置向所述音频播放装置发送的待播放音频帧。
接口模块1001,还用于在接收到所述待播放音频帧后,向所述音画同步装置发送回转信号。以便所述音画同步装置在接收到所述回传信号后,记录接收到所述回传信号的时间,以便所述音画同步装置在记录向视频播放装置发送待播放视频帧的发送时间之后,根据接收到所述回传信号的时间以及所述发送时间,确定向音频播放装置发送下一音频帧的时间,其中所述待播放视频帧与所述待播放音频帧相对应。
在一种实现方式中,待播放音频帧中包括同步标识,该同步标识用于确定待播放音频帧在音频数据中的帧数。
接口模块1001,具体用于从待播放音频帧中获取同步标识,并根据同步标识生成并发送回传信号。
在一种实现方式中,如图10所示,音频播放装置10还包括播放模块1002。其中播放模块1002用于播放接收到的待播放音频帧中的音频数据。
本发明实施例中提供的音频播放装置中各单元对应的其他相应描述可以参考上述实施例中的对应描述内容,在此不再赘述。
在另一种实施例中,本发明还提供一种电子设备,包括上述实施例三所提供的音画同步装置以及视频播放装置。
在一种实现方式中,该电子设备还包括上述实施例四所提供的音频播放装置。
具体的,该电子设备可以是电视机、计算机、手机中的任一种。
在又一种实施例中,本发明还提供一种无线音箱设备,包括上述实施例四所提供的音频播放装置。
具体的,该无线音箱设备可以通过蓝牙、WIFI以及其他私有协议等无线通信协议与上述本发明所提供的音画同步装置进行通信。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种调整音画同步的方法,其特征在于,包括:
音画同步装置向音频播放装置发送待播放音频帧;
所述音画同步装置接收所述音频播放装置发送的回传信号,其中所述音频播放装置在接收到所述待播放音频帧后发送所述回传信号;
所述音画同步装置记录接收到所述回传信号的时间;
所述音画同步装置向视频播放装置发送待播放视频帧并记录发送时间,所述待播放视频帧与所述待播放音频帧相对应;
所述音画同步装置根据接收到所述回传信号的时间以及所述发送时间,确定向所述音频播放装置发送下一音频帧的时间。
2.根据权利要求1所述调整音画同步的方法,其特征在于,所述待播放音频帧中包括同步标识,所述同步标识用于确定所述待播放音频帧在音频数据中的位置;其中,所述回传信号是所述音频播放装置根据所述同步标识生成的。
3.根据权利要求1所述调整音画同步的方法,其特征在于,所述音画同步装置根据接收到所述回传信号的时间以及所述发送时间,确定向所述音频播放装置发送下一音频帧的时间,具体包括:
利用公式△T(N)=K×(TVS(N)-TAR(N))计算向所述音频播放装置发送下一音频帧的延时时间△T(N),其中TVS(N)表示所述发送时间,TAR(N)表示所述接收到所述回传信号的时间,0<K<1;
利用公式TAS(N+1)=T’AS(N+1)+△T(N)确定向所述音频播放装置发送下一音频帧的时间,其中T’AS(N+1)表示正常向所述音频播放装置发送下一音频帧的时间。
4.一种调整音画同步的方法,其特征在于,包括:
音频播放装置接收音画同步装置发送的待播放音频帧;
所述音频播放装置在接收到所述待播放音频帧后向所述音画同步装置发送回传信号,以便所述音画同步装置在接收到所述回传信号后,记录接收到所述回传信号的时间,以便音画同步装置在记录向视频播放装置发送待播放视频帧的发送时间后,根据接收到所述回传信号的时间以及所述发送时间,确定向所述音频播放装置发送下一音频帧的时间,其中所述待播放视频帧与所述待播放音频帧相对应。
5.根据权利要求4所述调整音画同步的方法,其特征在于,所述待播放音频帧中包括同步标识,所述同步标识用于确定所述待播放音频帧在音频数据中的位置;
所述音频播放装置根据所述同步标识生成所述回传信号。
6.一种音画同步装置,其特征在于,包括:
接口模块,用于向音频播放装置发送待播放音频帧;
所述接口模块,还用于接收所述回传信号,其中所述音频播放装置在接收到所述待播放音频帧后发送所述回传信号;
记录模块,用于在所述接口模块接收所述回传信号后,记录接收到所述回传信号的时间;
所述接口模块,还用于向视频播放装置发送待播放视频帧,所述待播放视频帧与所述待播放音频帧相对应;
所述记录模块,还用于记录向所述视频播放装置发送所述待播放视频帧的发送时间;
计算模块,用于根据接收到所述回传信号的时间以及所述发送时间,确定向音频播放装置发送下一音频帧的时间。
7.根据权利要求6所述音画同步装置,其特征在于,所述待播放音频帧中包括同步标识,所述同步标识用于确定所述待播放音频帧在音频数据中的帧数,所述回传信号是由所述音频播放装置根据所述同步标识生成。
8.根据权利要求6所述音画同步装置,其特征在于,所述计算模块,具体用于:
利用公式△T(N)=K×(TVS(N)-TAR(N))计算向音频播放装置发送下一音频帧的延时时间△T(N),其中TVS(N)表示所述发送时间,TAR(N)表示所述接收到所述回传信号的时间,0<K<1;
利用公式TAS(N+1)=T’AS(N+1)+△T(N)确定向所述音频播放装置发送下一音频帧的时间,其中T’AS(N+1)表示所述音画同步装置正常向所述音频播放装置发送下一音频帧的时间。
9.一种音频播放装置,其特征在于,包括:
接口模块,用于接收音画同步装置向所述音频播放装置发送的待播放音频帧;
所述接口模块,还用于在接收到所述待播放音频帧后,向所述音画同步装置发送回转信号,以便所述音画同步装置在接收到所述回传信号后,记录接收到所述回传信号的时间,以便所述音画同步装置在记录向视频播放装置发送待播放视频帧的发送时间之后,根据接收到所述回传信号的时间以及所述发送时间,确定向所述音频播放装置发送下一音频帧的时间,其中所述待播放视频帧与所述待播放音频帧相对应。
10.根据权利要求9所述音频播放装置,其特征在于,所述待播放音频帧中包括同步标识,所述同步标识用于确定所述待播放音频帧在音频数据中的帧数;
所述接口模块,具体用于从所述待播放音频帧中获取所述同步标识,并根据所述同步标识生成并发送所述回传信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810374722.1A CN108377406B (zh) | 2018-04-24 | 2018-04-24 | 一种调整音画同步的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810374722.1A CN108377406B (zh) | 2018-04-24 | 2018-04-24 | 一种调整音画同步的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108377406A true CN108377406A (zh) | 2018-08-07 |
CN108377406B CN108377406B (zh) | 2020-12-22 |
Family
ID=63032744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810374722.1A Active CN108377406B (zh) | 2018-04-24 | 2018-04-24 | 一种调整音画同步的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108377406B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109168059A (zh) * | 2018-10-17 | 2019-01-08 | 上海赛连信息科技有限公司 | 一种在不同设备上分别播放音频与视频的唇音同步方法 |
CN109379613A (zh) * | 2018-12-21 | 2019-02-22 | 深圳Tcl新技术有限公司 | 音视频同步调整方法、电视、计算机可读存储介质及系统 |
CN109379619A (zh) * | 2018-11-20 | 2019-02-22 | 青岛海信电器股份有限公司 | 音画同步方法及装置 |
CN109819303A (zh) * | 2019-03-06 | 2019-05-28 | Oppo广东移动通信有限公司 | 数据输出方法及相关设备 |
CN110430457A (zh) * | 2019-07-25 | 2019-11-08 | 北京奇艺世纪科技有限公司 | 异端音视频播放方法、装置及音视频播放系统 |
CN110545454A (zh) * | 2019-08-27 | 2019-12-06 | 北京奇艺世纪科技有限公司 | 一种数据同步播放方法及装置 |
CN111988603A (zh) * | 2020-08-12 | 2020-11-24 | 深圳创维-Rgb电子有限公司 | 外部功放的调测方法、装置、电子设备及存储介质 |
CN114827696A (zh) * | 2021-01-29 | 2022-07-29 | 华为技术有限公司 | 一种跨设备的音视频数据同步播放的方法和电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997003508A1 (fr) * | 1995-07-13 | 1997-01-30 | Sony Corporation | Procede, appareil et systeme de transmission de donnees |
JP2004193868A (ja) * | 2002-12-10 | 2004-07-08 | Alps Electric Co Ltd | 無線送受信システム及び無線送受信方法 |
CN1973536A (zh) * | 2004-04-07 | 2007-05-30 | 皇家飞利浦电子股份有限公司 | 视频-音频同步 |
US20120237184A1 (en) * | 2011-03-14 | 2012-09-20 | Yamaha Corporation | Signal Output Apparatus |
CN104768050A (zh) * | 2014-01-07 | 2015-07-08 | 三星电子株式会社 | 音视频装置及其控制方法 |
CN104980820A (zh) * | 2015-06-17 | 2015-10-14 | 小米科技有限责任公司 | 多媒体文件播放方法及装置 |
US20170115954A1 (en) * | 2015-10-23 | 2017-04-27 | Echostar Technologies L.L.C. | Apparatus, systems and methods for audio content diagnostics |
-
2018
- 2018-04-24 CN CN201810374722.1A patent/CN108377406B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997003508A1 (fr) * | 1995-07-13 | 1997-01-30 | Sony Corporation | Procede, appareil et systeme de transmission de donnees |
JP2004193868A (ja) * | 2002-12-10 | 2004-07-08 | Alps Electric Co Ltd | 無線送受信システム及び無線送受信方法 |
CN1973536A (zh) * | 2004-04-07 | 2007-05-30 | 皇家飞利浦电子股份有限公司 | 视频-音频同步 |
US20120237184A1 (en) * | 2011-03-14 | 2012-09-20 | Yamaha Corporation | Signal Output Apparatus |
CN104768050A (zh) * | 2014-01-07 | 2015-07-08 | 三星电子株式会社 | 音视频装置及其控制方法 |
CN104980820A (zh) * | 2015-06-17 | 2015-10-14 | 小米科技有限责任公司 | 多媒体文件播放方法及装置 |
US20170115954A1 (en) * | 2015-10-23 | 2017-04-27 | Echostar Technologies L.L.C. | Apparatus, systems and methods for audio content diagnostics |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109168059A (zh) * | 2018-10-17 | 2019-01-08 | 上海赛连信息科技有限公司 | 一种在不同设备上分别播放音频与视频的唇音同步方法 |
CN109168059B (zh) * | 2018-10-17 | 2021-06-18 | 上海赛连信息科技有限公司 | 一种在不同设备上分别播放音频与视频的唇音同步方法 |
CN109379619A (zh) * | 2018-11-20 | 2019-02-22 | 青岛海信电器股份有限公司 | 音画同步方法及装置 |
CN109379613A (zh) * | 2018-12-21 | 2019-02-22 | 深圳Tcl新技术有限公司 | 音视频同步调整方法、电视、计算机可读存储介质及系统 |
CN109379613B (zh) * | 2018-12-21 | 2021-11-09 | 深圳Tcl新技术有限公司 | 音视频同步调整方法、电视、计算机可读存储介质及系统 |
CN109819303A (zh) * | 2019-03-06 | 2019-05-28 | Oppo广东移动通信有限公司 | 数据输出方法及相关设备 |
CN109819303B (zh) * | 2019-03-06 | 2021-04-23 | Oppo广东移动通信有限公司 | 数据输出方法及相关设备 |
CN110430457A (zh) * | 2019-07-25 | 2019-11-08 | 北京奇艺世纪科技有限公司 | 异端音视频播放方法、装置及音视频播放系统 |
CN110430457B (zh) * | 2019-07-25 | 2021-09-10 | 北京奇艺世纪科技有限公司 | 异端音视频播放方法、装置及音视频播放系统 |
CN110545454A (zh) * | 2019-08-27 | 2019-12-06 | 北京奇艺世纪科技有限公司 | 一种数据同步播放方法及装置 |
CN111988603A (zh) * | 2020-08-12 | 2020-11-24 | 深圳创维-Rgb电子有限公司 | 外部功放的调测方法、装置、电子设备及存储介质 |
CN114827696A (zh) * | 2021-01-29 | 2022-07-29 | 华为技术有限公司 | 一种跨设备的音视频数据同步播放的方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108377406B (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108377406A (zh) | 一种调整音画同步的方法及装置 | |
US10856018B2 (en) | Clock synchronization techniques including modification of sample rate conversion | |
KR100893741B1 (ko) | 이종 네트워크를 통하여 멀티미디어 데이터를 분배하는 방법 및 시스템 | |
JP6522014B2 (ja) | ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイス | |
CN101355500B (zh) | 内容再现设备、内容再现方法 | |
CN104902317A (zh) | 音视频同步方法及装置 | |
CN107277594A (zh) | 一种视音频与弹幕同步方法及装置 | |
CN107277691B (zh) | 基于云的多声道音频播放方法、系统及音频网关装置 | |
CN109167890A (zh) | 一种音画同步方法和装置及显示设备 | |
CN104937919A (zh) | 基于公共事件的多设备媒体播放 | |
CN104023261A (zh) | 数字媒体播放系统 | |
CN110166723A (zh) | 一种录屏中的音视频同步方法、电子设备、存储介质 | |
US20240353889A1 (en) | Heterogeneous Computing Systems and Methods for Clock Synchronization | |
CN101458951A (zh) | 具有多功能的影音节目信号处理系统 | |
CN104506920A (zh) | 一种播放全媒体数据信息的方法及装置 | |
US10728592B2 (en) | Audio decoding and reading system | |
JP2010154418A (ja) | 無線映像伝送方法及び装置 | |
JP7024794B2 (ja) | オーディオシステム、オーディオ機器、及びオーディオ機器の制御方法 | |
CN113905321A (zh) | 基于对象音频通道元数据和生成方法、设备及存储介质 | |
TWI566173B (zh) | 音訊播放裝置及方法 | |
CN108616767B (zh) | 一种音频数据传输方法及装置 | |
US8503362B2 (en) | Speaker synchronization technique for wireless multichannel sound data transmission system | |
CN111263206B (zh) | 多媒体信息的同步播放方法、装置、存储介质及移动终端 | |
CN115802087A (zh) | 音画同步处理方法及其相关设备 | |
WO2023282959A1 (en) | System and method to synchronize rendering of multi-channel audio to video presentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218 Applicant after: Hisense Visual Technology Co., Ltd. Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No. Applicant before: QINGDAO HISENSE ELECTRONICS Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |