CN1973536A

CN1973536A - 视频－音频同步

Info

Publication number: CN1973536A
Application number: CNA2005800108941A
Authority: CN
Inventors: C·亨茨彻尔
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2004-04-07
Filing date: 2005-03-29
Publication date: 2007-05-30
Also published as: US20070223874A1; WO2005099251A1; KR20070034462A; EP1736000A1; JP2007533189A

Abstract

来自视听系统(100，200，300)的视觉和听觉输出通过一个反馈处理而被同步。视觉事件和听觉事件分别在音频信号路径和视频信号路径中被识别出来。然后，一个相关性程序计算出所述信号之间的时间差，并且该视频信号或该音频信号被延迟，以便使观众/听众获得对音频和视频的同步接收。

Description

视频-音频同步

本发明涉及一种用于在视听系统中同步音频输出和视频输出的方法和系统。

在当前的视听系统中，不同设备之间的信息流动不断增加，其具有表示视觉数据(即视频数据)和声音(即音频数据)的序列的数据流的形式。通常来说，数字数据流以已编码的形式(例如MPEG)在设备之间传输，因此需要强大的数字数据编码器和解码器。这些编码器和解码器虽然在绝对意义上足够强大因而提供了令人满意的性能，但是问题出在设备之间的性能差异，尤其是考虑到视频数据相对于音频数据的性能差异。简而言之，从例如使用连接到电视单元的DVD播放器来观看电影的人的角度来看，存在关于声音和画面的同步的问题。视频信号常常相对于音频信号被延迟，因此要调用一个延时功能以作用于音频信号上。另外，用于或者处于显示设备中的视频处理典型地使用对于视频信号引起附加延迟的帧存储器。所述延迟可以根据输入源和内容(模拟的、数字的、分辨率、格式、输入信号伪像等等)、为该特定输入信号选择的视频处理以及在可缩放或自适应系统中可用于视频处理的资源而变化。特别地，当一个系统由大量不同设备组成并且所述不同设备可能来自不同的厂商时，通常没有办法预测同步问题的程度。

在已公布的英国专利申请GB2366110A中公开了一种同步安排的现有技术实例。在GB2366110A中，通过使用视觉和音频语音识别来消除同步误差。然而，GB2366110A没有讨论在考虑一个完整功能链(即从诸如DVD播放器的源到诸如电视机的输出设备)时的相关问题。例如，GB2366110A没有揭示这样的情况：由接近实际显示的视频数据处理引入延迟，比如在高端电视机或PC显卡中的情况。

因此，本发明的一个目标是克服上面讨论的与现有技术系统相关的缺点。

在本发明的系统中，通过多个步骤来获得音频输出和视频输出的同步。接收一个音频信号和一个视频信号，并且将其分别提供给扬声器和显示器。分析该音频信号，其中包括识别至少一个听觉事件；该视频信号也被分析，其中包括识别至少一个视觉事件。将该听觉事件与该视觉事件进行相关，在该相关期间，计算该听觉事件和该视觉事件之间的时间差。然后，在该音频信号和该视频信号二者的至少其中之一上施加延迟，该延迟的数值取决于所计算出的该听觉事件和该视觉事件之间的时间差。音频输出和视频输出由此被同步。

优选地，在对信号的任何视频处理(至少是引入相当大的延迟的数字视频处理)之后执行对视频信号的分析，在音频信号被扬声器发出并且通过麦克风接收之后执行对该音频信号的分析，所述麦克风优选地定位在所述系统和观众附近。

通过室内的麦克风可以相当容易地测量由显示系统的扬声器所发出的声音，由麦克风拾取声音的时间与进入观众耳朵的时间相当(因此延迟补偿被调谐到观众感觉到的程度)并且与扬声器发出声音的时间相当，至少在典型的音频/视频延迟的时间尺度(通常约十分之一秒或者更少)上是如此。

设置与麦克风对等的摄影机相当繁琐，并且可能会有与摄影机相关的附加延迟。

发明者认识到，可以恰好在视频信号由显示器进行显示之前对视频信号进行定时，其中使得在给定系统所需精度的情况下还可以忽略进一步的延迟(嘴唇同步所需的精度在心理声学实验中是公知的)。

因此，优选地在处理链的后期执行对音频信号和视频信号的分析，也就是说在系统中的接近于把音频信号和视频信号转换到机械声波和来自显示屏幕的光学发射的地方(例如，在进入LCD屏幕的驱动器、到达CRT的阴极等等之前)。这样做是有利的，因为有可能获得由观看输出的人所感知的声音和视图的非常好的同步。在通过显示硬件发射视频信号之前执行大量视频信号处理的系统中利用本发明是特别有利的，在显示之前必须对已编码媒体进行解码的数字传输系统就是这种情况。优选地，本发明在包含分析功能和延迟校正的电视机中实现。

应当注意到，所述处理可以在另一个设备中进行(比如盘读取器，其中假设关于处理链中的进一步的延迟(例如在高端电视机中的视频处理)的某些信息被传送到该盘读取器(比如对于所测量的信号或者相对于主时钟的定时信息的有线/无线传送))。传送延迟和/或在处理链中的适当点处进行测量(特别是在观众体验附近)使得补偿电视系统中的设备的延迟成为可能，其中不可能对所述电视系统进行内部访问。

由于延迟校正是先于后面的处理链中的音频测量而在信号处理链中执行的，因此所述延迟校正通过一个调节反馈环来完成。

在本发明的一个实施例中，所述音频信号和视频信号包括一个具有基本上同时的视觉和听觉事件的测试信号。为了容易地识别和精确地测量所述延迟，该测试信号优选地具有相当简单的结构。

在一个优选实施例中，延迟的数值被存储，而在另一个实施例中，关于音频信号和视频信号的源的标识信息被接收。然后，将所存储的延迟数值与所述关于音频信号和视频信号的源的信息进行相关。因此，这样的系统的优势在于，该系统能够处理一个视听系统中的大量不同输入设备，比如DVD播放器、有线电视源或者卫星接收机。

通过执行上面讨论的同步步骤，有可能通过改变延迟数值的差而以连续的方式获得来自受损的源的视频和音频信号的同步。这包括交换设备和处理路径。

例如，取决于导致可变延迟的场景内容，可以接收具有可变复杂度的压缩标准，或者所述处理可以取决于内容(例如，当一则电子邮件消息弹出时，正在背景中运行的运动画面的基于运动的上变换被改变到计算上更加简单的变量)。

下面参考附图来描述本发明：

图1示意性地示出其中实施本发明的视听系统的框图。

图2示意性地示出依照本发明的同步系统的第一优选实施例的功能框图。

图3示意性地示出依照本发明的同步系统的第二优选实施例的功能框图。

图4a和4b分别示意性也说明了视频信号分析和音频信号分析。

图1示出了音视频系统100，其包括电视机132和源部件131，该电视机132被配置成接收视频信号150和音频信号152，该源部件131提供所述视频和音频信号150、152。源部件131包含媒体源102(例如DVD源或有线电视信号源等等)，其能够提供包括视频信号150和音频信号152的数据流。

电视机132包括能够分析视频信号和音频信号的分析电路106，其可以包括诸如输入-输出接口、处理单元和存储器电路的子部件，正如本领域技术人员可以想到的那样。该分析电路分析视频信号150和音频信号152，并且把这些信号提供给电视机132中的视频处理电路124和音频处理电路126。麦克风122包括把模拟声音转换成数字形式的任何必要电路，其也和分析电路106相连接。

电视机132的视频处理电路124和音频处理电路126分别准备视觉数据和声音，并且把所述视觉数据和声音分别呈现在显示器114和扬声器112上。通常来说，由于解码(画面的重新排序)、用于帧速率上变换的画面内插等因素会发生处理延迟。

反馈线153把在视频处理电路124中处理过的视频信号提供给分析电路106，正如将结合图2到4进一步讨论的那样。所述分析还可以在并行分支等等中进行，而不是在直接路径中进行。

源部件131在可选实施例中可以包括驻留在电视机132中的一个或多个单元，比如分析电路106。举例来说，DVD播放器可以配备有分析电路，从而有可能使用现有的电视机并且仍然受益于本发明。

本领域技术人员会想到，图1中的系统通常包含大量附加单元，比如电源、放大器以及许多其他数字和模拟单元。然而，为了清楚起见，只有与本发明相关的单元被显示在图1中。此外，本领域的技术人员将认识到，取决于集成水平，系统100中的不同单元可以在一个或多个物理组件中实现。

下面将参照图2和3的功能框图进一步描述使用图1的系统100中的不同单元的本发明的操作。

在图2中利用功能块示意性地示出了依照本发明的同步系统200。源单元202(比如DVD播放器或有线电视网的机顶盒等等)为系统200提供视频信号250和音频信号252。本领域的技术人员将认识到，视频信号250和音频信号252可以通过数字数据流或模拟数据流来提供。

视频信号250在视频处理装置204中被处理，并且以画面的形式在显示器206上被呈现给观众/听众。音频信号252在音频处理装置210中被处理，并且以声音的形式通过扬声器212被输出给观众/听众。所述视频处理和音频处理都可以包含模/数和数/模转换以及解码操作。音频信号经受可调节延迟处理208，该操作取决于对时间差的分析，这将在下面进行解释。

在经过视频处理204之后，恰好在视频信号被提供到显示器206之前(或者与此同时)，该视频信号经受视频分析214。在视频分析期间，包含在视频信号中的图像序列被分析，并且在其中搜索特定的视觉事件，比如镜头改变、所刻画人物的嘴唇开始移动、突然的内容改变(例如爆炸)等等，这将在下面连同图4a做进一步的讨论。

和视频分析一起，对于通过麦克风222从扬声器212接收的音频信号执行音频分析。该麦克风优选地放置在紧邻观众/听众的地方。在音频分析期间，音频信号被分析，并且在其中搜索特定的听觉事件，比如声音间隙和声音开始、大的振幅改变、特定的音频内容事件(比如爆炸)等等，这将在下面连同图4b做进一步的讨论。

在一个可选的实施例中，所述视觉事件和听觉事件可以是由所述源单元提供的测试信号的一部分。这样的测试信号可以包含很简单的视觉事件(比如在许多只包含黑色信息的帧当中的只包含白色信息的一帧)和简单的听觉事件(比如非常短的声音片段(snippet)，例如短音调、爆破声、滴答声等等)。

视频分析214和音频分析216的结果分别具有所检测到的视觉和听觉事件的形式，二者均被提供到时间差分析功能218。例如使用相关性算法在视觉事件和听觉事件之间进行关联，并且计算、评估并用存储功能220存储两者之间的时间差。所述评估对于忽略弱分析结果以及信任具有高概率的视频和音频相关性的事件来说十分重要。在一定的调节时间之后，所述时间差变得接近于零。这也有助于识别弱音频和视频事件。在切换到不同的输入源之后，延迟数值可能改变。可以发信号到一个或多个视频-音频相关性单元214、216、218和220以便向其通知切换到新输入源以及可选地向其通知该新输入源的属性。在这种情况下，可以选择对应于新输入源的所存储的延迟数值以便立即进行延迟补偿。

然后，所存储的时间差被可调节延迟处理208使用，从而在差值分析功能218中导致所述时间差的递归收敛，并且由此获得由观众/听众感觉到的音频和视频的同步。

作为一个可选方案，对于音频信号的可调节延迟处理208可以位于源单元202中，或者位于后面的音频处理链中(比如在不同的放大器级之间)。

现在转到图3，其中利用功能框示意生地示出了依照本发明的同步系统300的另一个实施例。源单元302(比如DVD播放器或者有线电视网的机顶盒等等)为系统300提供视频信号350和音频信号352。像前面的实施例一样，视频信号350和音频信号352可以通过数字数据流或模拟数据流来提供。

视频信号350在视频处理装置304中被处理，并且以画面的形式在显示器306上被呈现给观众/听众。音频信号352在音频处理装置310中被处理，并且以声音的形式通过扬声器312被输出给观众/听众。所述视频处理和音频处理都可以包含模/数和数/模转换以及解码操作。音频信号经受可调节延迟处理308，该操作取决于对时间差的分析，这将在下面进行解释。

在经过处理304之后，恰好在视频信号被提供到显示器306之前(或者与此同时)，该视频信号经受视频分析314。在视频分析期间，包含在视频信号中的图像序列被分析，并且在其中搜索特定的视觉事件，比如镜头改变、所刻画人物的嘴唇开始移动、突然的内容改变(例如爆炸)等等，这将在下面连同图4a做进一步的讨论。

与视频分析同时，对音频信号执行音频分析316。和上面描述的实施例相对比(在上面的实施例中，通过麦克风222从扬声器212接收音频信号)，在这里将音频信号直接(即与通过扬声器312输出同时)提供给音频分析功能316。在音频分析316期间，分析音频信号，并且搜索特定的听觉事件，比如声音间隙和声音开始、大的振幅改变、特定的音频内容事件(比如爆炸)等等，这将在下面连同图4b做进一步的讨论。

和上面一样，在一个可选的实施例中，所述视觉事件和听觉事件可以是由所述源单元302提供的测试信号的一部分。

视频分析314和音频分析316的结果分别具有所检测到的视觉和听觉事件的形式，二者均被提供到时间差分析功能318。例如使用相关生算法在视觉事件和听觉事件之间进行关联，并且计算、评估以及在存储功能320中存储两者之间的时间差。所述评估对于忽略弱分析结果以及信任具有高概率的视频和音频相关生的事件来说十分重要。在一定的调节时间之后，所述时间差变得接近于零。这也有助于识别弱音频和视频事件。在切换到不同的输入源之后，延迟数值可能改变。可以发信号到一个或多个视频-音频相关性单元314、316、318和320以便向其通知切换到新输入源以及可选地向其通知该新输入源的属性。在这种情况下，可以选择对应于新输入源的所存储的延迟数值以便立即进行延迟补偿。

然后，所存储的时间差被可调节延迟处理308使用，从而在差值分析功能318中导致所述时间差的递归收敛，并且由此获得由观众/听众感觉到的音频和视频的同步。

和前面的实施例一样，对视频信号的可调节延迟处理308可以替换地位于源单元302中，或者位于后面的音频处理链中(比如在前置放大器和主放大器之间)。

现在转到图4a和4b，下面将更加详细地讨论分析视觉事件和听觉事件以及出于获得延迟数值的目的而对其进行相关的一个实施例。

在图4a中，视频信号亮度401恰好在被提供给CRT或LCD等中的显示输出硬件之前被检测，其作为时间的函数在示例性的两个不同的视频专家模块中被分析，其中一个是爆炸检测专家模块403，另一个是说话人分析模块405。这些模块的输出是一个视觉事件序列407，其例如被典型地编码成时刻的序列(Texpll是第一个检测到的爆炸的所估计时刻)。

相应地，在图4b中，声音音量信号402作为时间的函数在一个或多个音频检测专家模块404中被分析，以便获得与相同的主时钟起始时刻(t0)相关的定时，各事件由于音频-视觉延迟而被移位到将来。该示例性音频检测专家模块404包括诸如离散傅立叶变换模块(DFT)和共振峰分析模块(用于检测和模拟语音部分)之类的组件，该音频检测专家模块的输出被提供给事件时间位置映射模块406，该事件时间位置映射模块406在这个示例中被用来将各时间位置与所分析的子部分听觉波形进行相关。也就是说，时间位置映射模块406的输出是一个听觉事件序列408(可选择地，如在视频实例中一样，所述映射可以发生在所述专家模块自身中)。

这些模块，也就是视频和音频专家模块405、404(映射模块406)通常进行如下操作：识别一个片段是否是特定的类型，识别其时间范围，然后与一个时刻进行相关(例如，一次试探(heuristic)可以定义讲话的起始点)。

例如，一个能够识别爆炸的视频专家模块还计算多个附加的数据元素：颜色分析器识别出在爆炸中图像帧的大部分是发白的、发红的或者发黄的，这显示在连续画面的颜色直方图中。运动分析器识别出在爆炸之前的相对静止的场景和爆炸的快速改变之间的大量可变性。纹理分析器识别出爆炸在图像帧上的纹理方面是相当平滑的。基于所有这些测量值的特定输出，将一个场景归类为爆炸。

本领域的技术人员还可以在文献中找到面部行为模块，比如可以根据现有技术利用所谓的蛇形曲线(snake)(数学边界曲线)来跟踪嘴唇。不同的算法可以被组合来产生具有不同的所需精度和鲁棒性的专家模块。

利用试探生算法，这些测量值典型地被转换到置信度级别[0，1]中，举例来说，所有高于阈值k＝+/-1的画面被识别为爆炸。

用来识别爆炸的音频专家模块检查音量(增加)、重低音和环绕声道分布(爆炸通常在LFE(低频效果)声道中)等等。

于是，视觉事件和听觉事件之间的关联在原理上是直接明了的：音频的峰值对应于视频的峰值。

然而，情况可能更复杂。也就是说，映射到特定时刻(比如语音序列的开始)的试探可能会引入误差(不同的试探将把该时刻置于另一个地方)，对于证据的计算可能引入误差，在音频和视频之间可能存在视频内领先时间(比如由于对源信号的编辑导致音频事件被置于相应的视频事件的一小段时间之后)，并且会有假阳性(即过多的事件)和假阴性(即丢失事件)。所以，一个视觉事件到一个听觉事件的单一映射的效果可能不是很好。

另一种把视觉事件和听觉事件进行相关的方法是映射多个事件，即场景签名。例如，使用一个典型的公式，如果音频和视频事件在其时间线上发生在T_A＝T_V+D+/-E之内，则所述音频和视频事件匹配，其中T_A和T_V是由所述专家模块提供的精确的事件时刻，D是当前预测的延迟，而E是误差余量。

匹配的数目是所估计的延迟的精确程度的度量，也就是说，在所有可能延迟上获得的最大匹配(数目)产生对于实际延迟的良好估计。当然，所述事件必须是相同类型的。例如，爆炸决不应当和讲话相匹配，即使它们之间的时刻差几乎就是该实际延迟也是如此，因为这显然是一个错误。

这样已经有助于匹配，但是E不应当太大，否则将存在剩余最大误差E，其平均值是E/2。

由于通过加上高斯函数可以是误差稍微地均衡，因此可以更加精确地估计匹配。基于排序分析，例如，如果有两个连续的爆炸，那么最有可能的是第一个音频爆炸事件应当与第一个视频事件相匹配，并且对于第二个也是一样。然后对这些基于排序的匹配进行差分，从而产生一组延迟：D1＝T_A1-T_V1(爆炸1)，D2＝T_A2-T_V2(爆炸2)，依此类推。然后对于连续的事件将这些延迟相加，从而产生更加稳定的平均延迟估计。

在实践中，取代把音频和视频分段直接加载到所述专家模块中，可以在“操作中(on-the-fly)”对视频和音频信号进行处理，然后可以对加有注释(即什么类型，比如爆炸、讲话等)的事件时间序列的足够长的分段进行匹配。如果在相当长的周期内所述延迟保持相同和/或可以容许短暂的延迟失配，则可以有延迟的分析。

因此，总而言之，来自视听系统的视觉和听觉输出通过一个反馈处理而被同步。视觉事件和听觉事件分别在音频信号路径和视频信号路径中被识别。然后，一个相关性程序计算所述信号之间的时间差，并且该视频信号或音频信号被延迟，以便使观众/听众获得音频和视频的同步接收。

在实践中，所公开的算术组件可以被(整体地或部分地)实现为硬件(例如专用IC的各部分)，或者被实现为运行在专用数字信号处理器、通用处理器等等之上的软件。

所谓的计算机程序产品应当被理解成命令集合的任何物理实现，其使得(通用或专用)处理器能够在把命令加载到该处理器中的一系列加载步骤之后执行本发明的任何特征功能。特别地，所述计算机程序产品可以被实现为诸如硬盘或磁带的载体上的数据、存在于存储器中的数据、通过(有线的或无线的)网络连接传播的数据或者纸上的程序代码。除了程序代码，所述程序所需要的特征数据也可以被实现为计算机程序产品。

应该注意的是，上面提到的实施例说明而不限制本发明。除了在权利要求书中组合的本发明的元件组合以外，其他的元件组合也是可能的。任何元件组合都可以在单个专用元件中实现。

权利要求书中的括号内的任何附图标记都不是为了限制该权利要求。“包含”一词不排除没有在权利要求中列出的其他元件或方面的存在。元件前的“一个”不排除多个这样的元件的存在。

Claims

1、一种在视听系统(100，200，300)中同步音频输出和视频输出的方法，包括下面的步骤：

-接收音频信号和视频信号；

-向扬声器(112，212，312)提供该音频信号；

-分析该音频信号，其中包括从该音频信号中识别出至少一个听觉事件；

-向显示单元(114，206，306)提供该视频信号；

-分析该视频信号，其中包括从该视频信号中识别出至少一个视觉事件；

-将该听觉事件与该视觉事件进行相关，其中包括计算该听觉事件和该视觉事件之间的时间差；

-对于该音频信号和该视频信号二者的至少其中之一施加延迟，从而同步该音频输出和该视频输出，其中该延迟的数值取决于该听觉事件和该视觉事件之间的所计算出的时间差。

2、如权利要求1所述的方法，其中，所述分析视频信号的步骤是在对该信号的任何视频处理之后执行的。

3、如权利要求1或2所述的方法，其中，所述分析音频信号的步骤是在由所述扬声器发出该音频信号并且通过麦克风(122，222)接收到该音频信号之后执行的。

4、如权利要求1到3中的任意一个所述的方法，其中，所述音频信号和视频信号包括具有基本上同时的视觉和听觉事件的测试信号。

5、如权利要求1到4中的任意一个所述的方法，进一步包含存储所述延迟的数值的步骤。

6、如权利要求5所述的方法，其中，将所存储的延迟数值与关于对应的音频和视频信号源的信息进行相关。

7、如权利要求6所述的方法，进一步包含下列步骤：

-接收关于所述音频信号和视频信号源的标识信息；以及

-将所述延迟数值与关于所述音频和视频信号源的信息进行相关。

8、如权利要求1到7中的任何一个所述的方法，其中连续地重复以下步骤，从而提供所述音频输出和视频输出的动态同步：

-接收音频信号和视频信号；

-向扬声器提供该音频信号；

-向显示单元提供该视频信号；

-将该听觉事件与该视觉事件进行相关，其中包括计算该听觉事件和该视觉事件之间的时间差；以及

-对于该音频信号和该视频信号二者的至少其中之一施加延迟，其中该延迟的数值取决于该听觉事件和该视觉事件之间的所计算出的时间差。

9、一种用于同步视听系统(100，200，300)中的音频输出和视频输出的系统(131)，包括：

-用于分析来自信号源(102)的信号的装置(106)，其中包括从来自该信号源的信号的音频部分中识别出至少一个听觉事件，以及从来自该信号源的信号的视频部分中识别出至少一个视觉事件；

-用于把该听觉事件与该视觉事件进行相关的装置(106)，其中包括计算该听觉事件和该视觉事件之间的时间差；

-对于该音频信号和该视频信号二者的其中之一施加延迟的装置(106)，从而同步该音频输出和该视频输出，其中该延迟的数值取决于该听觉事件和该视觉事件之间的所计算出的时间差；以及

-用于分别向扬声器(112，222，322)提供该音频信号以及向显示器(114，206，306)提供该视频信号的装置(124，126)。

10、如权利要求9所述的系统，其中，所述用于分析视频信号的装置被定位在用于处理该视频信号的任何装置的后面。

11、如权利要求9或10所述的系统，其中，所述用于分析音频信号的装置被配置成通过麦克风(122)接收该音频信号。

12、如权利要求9到11中的任意一个所述的系统，进一步包含用于存储所述延迟的数值的装置(108)。

13、如权利要求12所述的系统，进一步包含：

-用于接收关于所述音频和视频信号源的标识信息的装置；以及

-用于把所述延迟数值与关于所述音频和视频信号源的所述信息进行相关的装置。

14、一种计算机程序产品，其包括使得处理器能够执行权利要求1的方法的代码。