[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106162293A - 一种视频声音与图像同步的方法及装置 - Google Patents

一种视频声音与图像同步的方法及装置 Download PDF

Info

Publication number
CN106162293A
CN106162293A CN201510195494.8A CN201510195494A CN106162293A CN 106162293 A CN106162293 A CN 106162293A CN 201510195494 A CN201510195494 A CN 201510195494A CN 106162293 A CN106162293 A CN 106162293A
Authority
CN
China
Prior art keywords
sound
video
image
audio frequency
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510195494.8A
Other languages
English (en)
Other versions
CN106162293B (zh
Inventor
胡东方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Tvmining Juyuan Media Technology Co Ltd
Original Assignee
Wuxi Tvmining Juyuan Media Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Tvmining Juyuan Media Technology Co Ltd filed Critical Wuxi Tvmining Juyuan Media Technology Co Ltd
Priority to CN201510195494.8A priority Critical patent/CN106162293B/zh
Publication of CN106162293A publication Critical patent/CN106162293A/zh
Application granted granted Critical
Publication of CN106162293B publication Critical patent/CN106162293B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种视频声音与图像同步的方法及装置,用以减少声音与图像同步操作过程中的工作量,节约工作时间,提高工作效率。方法包括:根据当前播放声音的播放时间及预先划分的声音时间区段,检测播放时间所属的声音时间区段;调取与声音时间区段预先关联的视频关键帧,并在音频的声音时间区段的声音播放过程中显示视频关键帧的图像。该方案使得在声音播放的同时自动显示与其对应的图像,令出现声音与图像不对应的情况时,可以直接在音频的音轨上进行调整,而不需要一一点击图像去播放所点击图像对应的音频文件,简化了操作过程,且为声音与图像的同步编辑过程节约了时间,提高了编辑效率。

Description

一种视频声音与图像同步的方法及装置
技术领域
本发明涉及互联网技术领域,特别涉及一种视频声音与图像同步的方法及装置。
背景技术
随着科学技术的发展,视频等多媒体格式的信息数据越来越丰富,而其后台数据编辑的工作量也越来越大,尤其是在时限性很强的新闻等行业中,对于视频数据编辑的精准性和编辑效率要求很高。在视频数据编辑的过程中,视频声音和图像的同步是必须要处理的问题,而在现有技术的方案中,由于编辑系统中的音频文件通常是一旦加载之后就开始播放的,而视频中提取的图像的时间和音频的时间并未自动对齐,因此在进行自动播放时,播放的声音与显示的图像往往不是属于同一个时间段;而在进行同步编辑时,只有当编辑人员单击了图像才会触发对应时段内的音频,这样需要编辑人员将音视频分为一段一段逐个进行检查之后,才能找到不同步的位置并对其进行编辑,操作十分复杂且工作效率低、操作时间长。
发明内容
本发明提供一种视频声音与图像同步的方法及装置,用以减少声音与图像同步操作过程中的工作量,节约工作时间,提高工作效率。
根据本发明实施例的第一方面,提供一种视频声音与图像同步的方法,包括:
接收到同步编辑指令后,检测当前播放声音在正在播放的音频中的播放时间;
根据所述播放时间及所述音频中预先划分的声音时间区段,检测所述播放时间在所述音频中所属的声音时间区段;
调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。
在一个实施例中,所述根据所述播放时间及所述音频中预先划分的声音时间区段,检测所述播放时间在所述音频中所属的声音时间区段之前,包括:
自与所述音频对应的视频中提取视频关键帧,并对应存储各所述视频关键帧在所述视频中播放时所属的图像时间区段;
根据各所述视频关键帧在所述视频中所属的图像时间区段,将所述音频的播放时间划分为与多个声音时间区段,使得多个所述声音时间区段与多个所述图像时间区段一一对应;
将对应于各所述图像时间区段的声音时间区段与对应于各所述图像时间区段的视频关键帧关联后存储。
在一个实施例中,所述调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像,包括:
在检测到所述播放时间在所述音频中所属的声音时间区段时,调取与所述音频中的所述声音时间区段预先关联的视频关键帧;
在所述音频播放的显示界面中显示所述视频关键帧的图像。
在一个实施例中,所述调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像之后,还包括:
实时检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配;
在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时,调取与当前播放的声音所属的声音时间区段预先关联的视频关键帧,并在所述音频播放的显示界面中显示所述视频关键帧的图像;
在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时,继续在所述音频播放的显示界面中显示当前显示图像。
在一个实施例中,所述调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中同步显示所述视频关键帧的图像之后,还包括:
在当前播放的声音与当前显示图像出现不同步时,对当前播放的声音所属的声音时间区段的起始时间或/和中止时间节点进行调整。
根据本发明实施例的第二方面,还提供一种视频声音与图像同步的装置,包括:
第一检测模块,用于接收到同步编辑指令后,检测当前播放声音在正在播放的音频中的播放时间;
第二检测模块,用于根据所述播放时间及所述音频中预先划分的声音时间区段,检测所述播放时间在所述音频中所属的声音时间区段;
同步显示模块,用于调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。
在一个实施例中,所述装置还包括:
关键帧提取模块,用于自与所述音频对应的视频中提取视频关键帧,并对应存储各所述视频关键帧在所述视频中播放时所属的图像时间区段;
声音时间区段划分模块,用于根据各所述视频关键帧在所述视频中所属的图像时间区段,将所述音频的播放时间划分为与多个声音时间区段,使得多个所述声音时间区段与多个所述图像时间区段一一对应;
关联存储模块,用于将对应于各所述图像时间区段的声音时间区段与对应于各所述图像时间区段的视频关键帧关联后存储。
在一个实施例中,所述同步显示模块包括:
关键帧调取子模块,用于在检测到所述播放时间在所述音频中所属的声音时间区段时,调取与所述音频中的所述声音时间区段预先关联的视频关键帧;
同步显示子模块,用于在所述音频播放的显示界面中显示所述视频关键帧的图像。
在一个实施例中,所述装置还包括:
实时检测模块,用于实时检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配;
第一显示模块,用于在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时,调取与当前播放的声音所属的声音时间区段预先关联的视频关键帧,并在所述音频播放的显示界面中显示所述视频关键帧的图像;
第二显示模块,用于在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时,继续在所述音频播放的显示界面中显示当前显示图像。
在一个实施例中,所述装置还包括:
调整模块,用于在当前播放的声音与当前显示图像出现不同步时,对当前播放的声音所属的声音时间区段的起始时间或/和中止时间节点进行调整。
本发明实施例提供的技术方案可产生以下有益效果:接收到同步编辑指令后,检测当前播放声音在正在播放的音频中的播放时间;根据所述播放时间及所述音频中预先划分的声音时间区段,检测所述播放时间在所述音频中所属的声音时间区段;调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。该方案将提取的视频关键帧的图像与播放的音频的声音时间区段进行关联,使得在声音播放的同时自动显示与其对应的图像,令出现声音与图像不对应的情况时,可以直接在音频的音轨上进行调整,而不需要一一点击图像去播放所点击图像对应的音频文件,简化了操作过程,且为声音与图像的同步编辑过程节约了时间,提高了编辑效率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
在附图中:
图1为本发明根据一示例性实施例示出的一种视频声音与图像同步的方法的流程图;
图2为本发明根据一示例性实施例示出的另一种视频声音与图像同步的方法的流程图;
图3为本发明根据一示例性实施例示出的视频声音与图像同步的方法中步骤S30的实施方式流程图;
图4为本发明根据一示例性实施例示出的又一种视频声音与图像同步的方法的流程图;
图5为本发明根据一示例性实施例示出的再一种视频声音与图像同步的方法的流程图;
图6为本发明根据一示例性实施例示出的一种视频声音与图像同步的装置的框图;
图7为本发明根据一示例性实施例示出的另一种视频声音与图像同步的装置的框图;
图8为本发明根据一示例性实施例示出的视频声音与图像同步的装置中同步显示模块63的框图;
图9为本发明根据一示例性实施例示出的又一种视频声音与图像同步的装置的框图;
图10为本发明根据一示例性实施例示出的再一种视频声音与图像同步的装置的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本公开实施例提供了一种视频声音与图像同步的方法,用于减少声音与图像同步操作过程中的工作量,节约工作时间,提高工作效率。如图1所示,该方法包括步骤S10-S30:
在步骤S10中,接收到同步编辑指令后,检测当前播放声音在正在播放的音频中的播放时间。也即,当音频开始加载完毕并开始播放时,则开始接收到同步编辑指令,此时检测所述音频当前播放的声音在当前音频中的具体的播放时间。
在步骤S20中,根据所述播放时间及所述音频中预先划分的声音时间区段,检测所述播放时间在所述音频中所属的声音时间区段。在步骤S10中检测到所述音频当前播放的声音在当前音频中的具体的播放时间之后,判断所述播放时间在所述音频中所属的声音时间区段,也即,该播放时间属于所述音频中的哪一个声音时间区段被确定之后,可以利用该声音时间区段将当前播放声音与图像进行匹配后同步显示。其中所述声音时间区段是在所述音频中预先划分的,且预先划分之后的声音时间区段是与视频中提取的视频关键帧所属的图像时间区段一一对应的。
在步骤S30中,调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。其中,所述音频中的所述声音时间区段与视频中提取的视频关键帧是预先关联的,因此在所述音频的所述声音时间区段的声音播放时,可以设定自动显示与其关联的视频关键帧的图像。
在一个实施例中,如图3所示,所述步骤S30可包括:
步骤S301、在检测到所述播放时间在所述音频中所属的声音时间区段时,调取与所述音频中的所述声音时间区段预先关联的视频关键帧;也即,所述音频中的所述声音时间区段与视频中提取的视频关键帧是预先关联的,因此在所述音频的所述声音时间区段的声音播放时,首先找到预先关联的所述视频关键帧,并将其从数据库中调取出来,之后显示在所述音频播放的界面上,以便于编辑人员查看比对所述声音与图像是否同步匹配。
步骤S302、在所述音频播放的显示界面中显示所述视频关键帧的图像。所述图像与所述声音的音轨在同一显示界面中显示,且两者最好形成一个相互对应的显示关系,比如,将所述图像显示在所述音频的音轨中当前播放的声音时间区段的上方或者下方,形成一个对应关系,以便于编辑人员查看比对所述声音与图像是否同步匹配。
在一个实施例中,如图2所示,该方法的步骤S20之前还包括步骤S40-S60:
在步骤S40中,自与所述音频对应的视频中提取视频关键帧,并对应存储各所述视频关键帧在所述视频中播放时所属的图像时间区段。也即,在需要进行声音图像同步的视频中提取视频关键帧,且各所述视频关键帧分别对应所述视频中的一个图像时间区段,将所述时间区段信息与所述视频关键帧一并存储在数据库中,以便于在需要时进行调取。
在步骤S50中,根据各所述视频关键帧在所述视频中所属的图像时间区段,将所述音频的播放时间划分为与多个声音时间区段,使得多个所述声音时间区段与多个所述图像时间区段一一对应。也即,在提取视频关键帧并将其与各所述视频关键帧在所述视频中播放时所属的图像时间区段对应存储之后,此时将于各个图像时间区段对应的声音时间区段也一一划分出来,将多个所述声音时间区段与多个所述图像时间区段一一对应之后,只要播放音频的声音,就会将该声音所属声音时间区段的视频关键帧的图像调取出来进行显示。
在步骤S60中,将对应于各所述图像时间区段的声音时间区段与对应于各所述图像时间区段的视频关键帧关联后存储。将所述时间区段信息与所述视频关键帧的所述图像时间区段对应存储在数据库中,以便于在声音播放时自动调取和显示其对应的图像。
在一个实施例中,如图4所示,该方法的步骤S30之后还包括步骤S70-S90:
在步骤S70中,实时检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配;也即,在音频播放的过程中,当前声音时间区段的声音播放完毕之后,由于当前显示的是上一个声音时间区段关联的视频关键帧的图像,因此需要将当前显示的图像实时更换为当前播放声音的声音时间区段对应的图像,因此需要实时进行检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配,以便于实时替换当前显示的图像。
在步骤S80中,在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时,调取与当前播放的声音所属的声音时间区段预先关联的视频关键帧,并在所述音频播放的显示界面中显示所述视频关键帧的图像;在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时,需要将当前显示的图像实时更换为当前播放声音的声音时间区段对应的图像,因此,需要取消当前图像的显示,而将与当前播放声音的声音时间区段对应的图像调取出来进行实时显示。
在步骤S90中,在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时,继续在所述音频播放的显示界面中显示当前显示图像。而在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时,说明当前声音时间区段的声音播放尚未完毕,继续进行播放且显示当前图像即可。
在一个实施例中,如图5所示,该方法的步骤S30之后还包括步骤S100:
在步骤S100中,在当前播放的声音与当前显示图像出现不同步时,对当前播放的声音所属的声音时间区段的起始时间或/和中止时间节点进行调整。
也即,当编辑人员发现当前播放的声音与当前显示图像出现不同步时,比如,当前播放的声音并不是图像中显示的发言人物的发言,或者其发言并未与发言人物的口型同步,此时,需要调整所述音频的当前声音时间区段的起始时间或/和中止时间节点,也即在当前显示的音轨上对上述时间节点进行调整,调整后声音和图像同步匹配播放,且由于仅对时间节点进行了调整,声音和图像之间的对应关系并未改变,因此在播放修改时间节点之后的音频的所述声音时间区段时,还是会同步显示与其对应的视频关键帧的图像,同时也不会影响对后续的同步关系进行调整。
本发明实施例提供的上述方法,接收到同步编辑指令后,检测当前播放声音在正在播放的音频中的播放时间;根据所述播放时间及所述音频中预先划分的声音时间区段,检测所述播放时间在所述音频中所属的声音时间区段;调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。该方案将提取的视频关键帧的图像与播放的音频的声音时间区段进行关联,使得在声音播放的同时自动显示与其对应的图像,令出现声音与图像不对应的情况时,可以直接在音频的音轨上进行调整,而不需要一一点击图像去播放所点击图像对应的音频文件,简化了操作过程,且为声音与图像的同步编辑过程节约了时间,提高了编辑效率。
对应本发明实施例提供的视频声音与图像同步的方法,本发明还提供视频声音与图像同步的装置,如图6所示,该装置可包括:
第一检测模块61,用于接收到同步编辑指令后,检测当前播放声音在正在播放的音频中的播放时间;
第二检测模块62,用于根据所述播放时间及所述音频中预先划分的声音时间区段,检测所述播放时间在所述音频中所属的声音时间区段;
同步显示模块63,用于调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。
在一个实施例中,如图7所示,所述装置还包括:
关键帧提取模块64,用于自与所述音频对应的视频中提取视频关键帧,并对应存储各所述视频关键帧在所述视频中播放时所属的图像时间区段;
声音时间区段划分模块65,用于根据各所述视频关键帧在所述视频中所属的图像时间区段,将所述音频的播放时间划分为与多个声音时间区段,使得多个所述声音时间区段与多个所述图像时间区段一一对应;
关联存储模块66,用于将对应于各所述图像时间区段的声音时间区段与对应于各所述图像时间区段的视频关键帧关联后存储。
在一个实施例中,如图8所示,所述同步显示模块63包括:
关键帧调取子模块631,用于在检测到所述播放时间在所述音频中所属的声音时间区段时,调取与所述音频中的所述声音时间区段预先关联的视频关键帧;
同步显示子模块632,用于在所述音频播放的显示界面中显示所述视频关键帧的图像。
在一个实施例中,如图9所示,所述装置还包括:
实时检测模块67,用于实时检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配;
第一显示模块68,用于在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时,调取与当前播放的声音所属的声音时间区段预先关联的视频关键帧,并在所述音频播放的显示界面中显示所述视频关键帧的图像;
第二显示模块69,用于在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时,继续在所述音频播放的显示界面中显示当前显示图像。
在一个实施例中,如图10所示,所述装置还包括:
调整模块70,用于在当前播放的声音与当前显示图像出现不同步时,对当前播放的声音所属的声音时间区段的起始时间或/和中止时间节点进行调整。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种视频声音与图像同步的方法,其特征在于,包括:
接收到同步编辑指令后,检测当前播放声音在正在播放的音频中的播放时间;
根据所述播放时间及所述音频中预先划分的声音时间区段,检测所述播放时间在所述音频中所属的声音时间区段;
调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。
2.如权利要求1所述的方法,其特征在于,所述根据所述播放时间及所述音频中预先划分的声音时间区段,检测所述播放时间在所述音频中所属的声音时间区段之前,包括:
自与所述音频对应的视频中提取视频关键帧,并对应存储各所述视频关键帧在所述视频中播放时所属的图像时间区段;
根据各所述视频关键帧在所述视频中所属的图像时间区段,将所述音频的播放时间划分为与多个声音时间区段,使得多个所述声音时间区段与多个所述图像时间区段一一对应;
将对应于各所述图像时间区段的声音时间区段与对应于各所述图像时间区段的视频关键帧关联后存储。
3.如权利要求2所述的方法,其特征在于,所述调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像,包括:
在检测到所述播放时间在所述音频中所属的声音时间区段时,调取与所述音频中的所述声音时间区段预先关联的视频关键帧;
在所述音频播放的显示界面中显示所述视频关键帧的图像。
4.如权利要求2所述的方法,其特征在于,所述调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像之后,还包括:
实时检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配;
在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时,调取与当前播放的声音所属的声音时间区段预先关联的视频关键帧,并在所述音频播放的显示界面中显示所述视频关键帧的图像;
在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时,继续在所述音频播放的显示界面中显示当前显示图像。
5.如权利要求1所述的方法,其特征在于,所述调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中同步显示所述视频关键帧的图像之后,还包括:
在当前播放的声音与当前显示图像出现不同步时,对当前播放的声音所属的声音时间区段的起始时间或/和中止时间节点进行调整。
6.一种视频声音与图像同步的装置,其特征在于,包括:
第一检测模块,用于接收到同步编辑指令后,检测当前播放声音在正在播放的音频中的播放时间;
第二检测模块,用于根据所述播放时间及所述音频中预先划分的声音时间区段,检测所述播放时间在所述音频中所属的声音时间区段;
同步显示模块,用于调取与所述音频中的所述声音时间区段预先关联的视频关键帧,并在所述音频的所述声音时间区段的声音播放过程中显示所述视频关键帧的图像。
7.如权利要求6所述的装置,其特征在于,所述装置还包括:
关键帧提取模块,用于自与所述音频对应的视频中提取视频关键帧,并对应存储各所述视频关键帧在所述视频中播放时所属的图像时间区段;
声音时间区段划分模块,用于根据各所述视频关键帧在所述视频中所属的图像时间区段,将所述音频的播放时间划分为与多个声音时间区段,使得多个所述声音时间区段与多个所述图像时间区段一一对应;
关联存储模块,用于将对应于各所述图像时间区段的声音时间区段与对应于各所述图像时间区段的视频关键帧关联后存储。
8.如权利要求7所述的装置,其特征在于,所述同步显示模块包括:
关键帧调取子模块,用于在检测到所述播放时间在所述音频中所属的声音时间区段时,调取与所述音频中的所述声音时间区段预先关联的视频关键帧;
同步显示子模块,用于在所述音频播放的显示界面中显示所述视频关键帧的图像。
9.如权利要求7所述的装置,其特征在于,所述装置还包括:
实时检测模块,用于实时检测所述音频当前播放的声音所属的声音时间区段是否与当前显示图像所属的图像时间区段匹配;
第一显示模块,用于在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段不匹配时,调取与当前播放的声音所属的声音时间区段预先关联的视频关键帧,并在所述音频播放的显示界面中显示所述视频关键帧的图像;
第二显示模块,用于在当前播放的声音所属的声音时间区段与当前显示图像所属的图像时间区段匹配时,继续在所述音频播放的显示界面中显示当前显示图像。
10.如权利要求6所述的装置,其特征在于,所述装置还包括:
调整模块,用于在当前播放的声音与当前显示图像出现不同步时,对当前播放的声音所属的声音时间区段的起始时间或/和中止时间节点进行调整。
CN201510195494.8A 2015-04-22 2015-04-22 一种视频声音与图像同步的方法及装置 Expired - Fee Related CN106162293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510195494.8A CN106162293B (zh) 2015-04-22 2015-04-22 一种视频声音与图像同步的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510195494.8A CN106162293B (zh) 2015-04-22 2015-04-22 一种视频声音与图像同步的方法及装置

Publications (2)

Publication Number Publication Date
CN106162293A true CN106162293A (zh) 2016-11-23
CN106162293B CN106162293B (zh) 2019-11-08

Family

ID=57346946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510195494.8A Expired - Fee Related CN106162293B (zh) 2015-04-22 2015-04-22 一种视频声音与图像同步的方法及装置

Country Status (1)

Country Link
CN (1) CN106162293B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895581A (zh) * 2017-11-16 2018-04-10 福建弧聚网络科技有限公司 一种图像与音频结合的方法及装置
CN108616768A (zh) * 2018-05-02 2018-10-02 腾讯科技(上海)有限公司 多媒体资源的同步播放方法、装置、存储位置及电子装置
CN109862384A (zh) * 2019-03-13 2019-06-07 北京河马能量体育科技有限公司 一种音视频自动同步方法及同步系统
CN110035326A (zh) * 2019-04-04 2019-07-19 北京字节跳动网络技术有限公司 字幕生成、基于字幕的视频检索方法、装置和电子设备
CN111953921A (zh) * 2020-08-14 2020-11-17 杭州视洞科技有限公司 一种圆角泳道的展示及交互方案
CN112653916A (zh) * 2019-10-10 2021-04-13 腾讯科技(深圳)有限公司 一种音视频同步优化的方法及设备
CN113225596A (zh) * 2021-04-28 2021-08-06 百度在线网络技术(北京)有限公司 视频处理方法、装置、电子设备和存储介质
CN113435294A (zh) * 2021-06-23 2021-09-24 中国矿业大学(北京) 基于图像与声音融合的煤岩界面定位识别方法
WO2022166573A1 (zh) * 2021-02-04 2022-08-11 上海哔哩哔哩科技有限公司 阅读处理方法、装置及系统
WO2022247014A1 (zh) * 2021-05-26 2022-12-01 深圳市沃特沃德信息有限公司 基于墨水屏设备的音视频帧同步方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080313683A1 (en) * 2007-06-13 2008-12-18 Minako Shimizu Moving image communication device, moving image communication system and semiconductor integrated circuit used for communication of moving image
US20120081567A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system
CN103546662A (zh) * 2013-09-23 2014-01-29 浙江工业大学 一种网络监控系统中音视频同步方法
CN103686337A (zh) * 2013-12-30 2014-03-26 深圳Tcl新技术有限公司 一种视频图像数据的传送方法及系统
CN104104987A (zh) * 2014-07-29 2014-10-15 小米科技有限责任公司 视频播放中画面与声音同步方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080313683A1 (en) * 2007-06-13 2008-12-18 Minako Shimizu Moving image communication device, moving image communication system and semiconductor integrated circuit used for communication of moving image
US20120081567A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system
CN103546662A (zh) * 2013-09-23 2014-01-29 浙江工业大学 一种网络监控系统中音视频同步方法
CN103686337A (zh) * 2013-12-30 2014-03-26 深圳Tcl新技术有限公司 一种视频图像数据的传送方法及系统
CN104104987A (zh) * 2014-07-29 2014-10-15 小米科技有限责任公司 视频播放中画面与声音同步方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895581A (zh) * 2017-11-16 2018-04-10 福建弧聚网络科技有限公司 一种图像与音频结合的方法及装置
CN113992638A (zh) * 2018-05-02 2022-01-28 腾讯科技(上海)有限公司 多媒体资源的同步播放方法、装置、存储位置及电子装置
CN108616768A (zh) * 2018-05-02 2018-10-02 腾讯科技(上海)有限公司 多媒体资源的同步播放方法、装置、存储位置及电子装置
CN113992638B (zh) * 2018-05-02 2023-07-14 腾讯科技(上海)有限公司 多媒体资源的同步播放方法、装置、存储位置及电子装置
CN108616768B (zh) * 2018-05-02 2021-10-15 腾讯科技(上海)有限公司 多媒体资源的同步播放方法、装置、存储位置及电子装置
CN109862384A (zh) * 2019-03-13 2019-06-07 北京河马能量体育科技有限公司 一种音视频自动同步方法及同步系统
CN110035326A (zh) * 2019-04-04 2019-07-19 北京字节跳动网络技术有限公司 字幕生成、基于字幕的视频检索方法、装置和电子设备
CN112653916A (zh) * 2019-10-10 2021-04-13 腾讯科技(深圳)有限公司 一种音视频同步优化的方法及设备
CN112653916B (zh) * 2019-10-10 2023-08-29 腾讯科技(深圳)有限公司 一种音视频同步优化的方法及设备
CN111953921A (zh) * 2020-08-14 2020-11-17 杭州视洞科技有限公司 一种圆角泳道的展示及交互方案
WO2022166573A1 (zh) * 2021-02-04 2022-08-11 上海哔哩哔哩科技有限公司 阅读处理方法、装置及系统
CN113225596B (zh) * 2021-04-28 2022-11-01 百度在线网络技术(北京)有限公司 视频处理方法、装置、电子设备和存储介质
CN113225596A (zh) * 2021-04-28 2021-08-06 百度在线网络技术(北京)有限公司 视频处理方法、装置、电子设备和存储介质
WO2022247014A1 (zh) * 2021-05-26 2022-12-01 深圳市沃特沃德信息有限公司 基于墨水屏设备的音视频帧同步方法、装置和计算机设备
CN113435294B (zh) * 2021-06-23 2023-05-23 中国矿业大学(北京) 基于图像与声音融合的煤岩界面定位识别方法
CN113435294A (zh) * 2021-06-23 2021-09-24 中国矿业大学(北京) 基于图像与声音融合的煤岩界面定位识别方法

Also Published As

Publication number Publication date
CN106162293B (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN106162293A (zh) 一种视频声音与图像同步的方法及装置
US8810728B2 (en) Method and apparatus for synchronizing audio and video streams
US9854294B2 (en) Localized audio source extraction from video recordings
US20130159860A1 (en) Heads-up-display for use in a media manipulation operation
EP2899718A1 (en) Device and method for changing shape of lips on basis of automatic word translation
JP2008148121A (ja) 動画要約自動作成装置、方法、及びコンピュータ・プログラム
JP2022095945A (ja) オーディオを含むコンテンツに対する補助データの同期化
CN103546698B (zh) 一种移动终端录制视频保存方法和装置
US20200411059A1 (en) Video editing method and apparatus, computer device and readable storage medium
CN106131669A (zh) 一种合并视频的方法及装置
CN106162323A (zh) 一种视频数据处理方法及装置
CN111771385B (zh) 作为辅助数据的坐标
CN106162222A (zh) 一种视频镜头切分的方法及装置
CN111970560A (zh) 视频获取方法、装置、电子设备及存储介质
CN104240697A (zh) 一种音频数据的特征提取方法及装置
WO2014049989A1 (ja) 映像出力装置
CA2972051C (en) Use of program-schedule text and closed-captioning text to facilitate selection of a portion of a media-program recording
US8145031B2 (en) Recording apparatus
WO2024131555A1 (zh) 视频配乐方法、设备、存储介质及程序产品
CN105573844B (zh) 一种控制方法及电子设备
JPH11266428A (ja) 映像分割方法、装置および映像分割プログラムを記録した記録媒体
CN110267080A (zh) 用于机器人播报内容同步的数据处理方法以及装置
CN107273402A (zh) 一种用双摄像头搜索试题的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and device for video sound and image synchronization

Effective date of registration: 20210104

Granted publication date: 20191108

Pledgee: Inner Mongolia Huipu Energy Co.,Ltd.

Pledgor: WUXI TVMINING MEDIA SCIENCE & TECHNOLOGY Co.,Ltd.

Registration number: Y2020990001517

PE01 Entry into force of the registration of the contract for pledge of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191108

Termination date: 20210422

CF01 Termination of patent right due to non-payment of annual fee