CN1941071A

CN1941071A - 拍子提取及检测设备和方法、音乐同步显示设备和方法

Info

Publication number: CN1941071A
Application number: CNA2006101086490A
Authority: CN
Inventors: 山下功诚
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-07-27
Filing date: 2006-07-26
Publication date: 2007-04-04
Anticipated expiration: 2026-07-26
Also published as: JP4940588B2; US20070022867A1; US7534951B2; JP2007033851A; CN1941071B

Abstract

一种音乐同步显示设备，包括：拍子提取器，它被配置成检测输入音乐信号的声谱图中功率谱急剧变化的部分，并与输入音乐信号同步地输出时间上与变化部分同步的检测输出信号；节拍值推算部，它被配置成检测来自拍子提取器的检测输出信号的自相关，并推算输入音乐信号的节拍值；可变频率振荡器，其中振荡中心频率在来自节拍值推算部的节拍值的基础上决定，而输出振荡信号的相位在相位控制信号的基础上被控制；相位比较器；拍子同步信号生成和输出部；属性信息存储部；属性信息获取部；以及显示信息生成器。

Description

拍子提取及检测设备和方法、音乐同步显示设备和方法

相关申请的参照

本发明包含与2005年7月27日向日本专利局提交的日本专利申请第JP2005-216786号的相关主题，其全部内容通过引用而被收录于此。

技术领域

本发明涉及用于在输入音乐信号被回放的同时提取正被回放的乐曲的节奏的拍子的设备和方法。此外，本发明涉及通过使用与所提取的拍子同步的信号来显示与正被回放的乐曲同步的图像的设备和方法。此外，本发明涉及通过使用与从正被回放的乐曲提取的拍子同步的信号来提取该乐曲的节拍值的设备和方法。此外，本发明涉及通过使用与所提取的拍子同步的信号、从而即使在乐曲回放中间节拍有变化或是节奏波动的情况下也能跟得上节拍的变化和节奏的波动的节奏跟踪设备和方法。此外，本发明涉及能够与正被回放的乐曲同步地显示例如歌词的音乐同步显示发备和方法。

背景技术

演奏家或是歌手的声音所提供的乐曲是在诸如小节或拍子等时间度量的基础上组成的。音乐演奏家使用小节和拍子来作为时间的基本度量。当在捕捉乐器被演奏或是歌曲被演唱的时机的时候，音乐表演者是根据当前所到达的是哪个小节的哪个拍子来发声的，而从来不是以在开始演奏后的某段时期的时间戳形式发声来演奏的。因为乐曲是由小节和拍子来规定的，所以即使节拍和节奏有波动，乐曲也可被灵活地处理，而反过来，即使是对同一乐谱的表演，每个表演者也可实现其个性。

这些音乐表演者的表演最终以音乐内容的形式被呈送给用户。更具体地，每个音乐表演者的表演都以例如双通道立体声等形式被缩混(mix down)，并被构成为所谓的一个完整封包(已对其完成编辑的内容)。该完整封包被打包为例如PCM(脉冲编码调制)的简单音频波形格式的CD(光盘)，并被呈送给用户。这就是通常所称的采样声源。

一旦乐曲被打包为例如CD，音乐表演者所注重的诸如与小节和拍子有关的时机信息就被丢失。

但是，人类具有只要听见将PCM音频波形从数字形式转换为模拟形式的模拟声就能自然地辨识诸如与小节和拍子等有关的时机信息的能力。自然地辨识乐曲的节奏是可能的。但不幸的是，机器要这样做是很困难的。机器只能理解并不与乐曲本身直接相关的时间戳的时间信息。

作为要与上述由演奏家或歌手的声音提供的乐曲比较的对象，相关技术领域中有一种卡拉OK(跟唱机)系统。该系统能够与乐曲节奏合拍地显示歌词。但是，此类卡拉OK系统并不能辨识乐曲的节奏，而仅仅是再现称为MIDI(乐器数字界面)的专用数据。

在MIDI格式中描述了同步控制所需的表演信息和歌词信息、以及用于描述发声时机(事件时间)的时间码信息(时间戳)。该MIDI数据由内容制作者预先创建，而卡拉OK回放设备仅仅是根据MIDI数据的指令在预定时机发声。此类设备通过当场再现音乐来扬声。因此只能在MIDI数据和其所专用的回放设备的有限环境里享受娱乐。

除了MIDI以外，还存在诸如SMIL(同步多媒体集成语言)等许多其它各种格式，但基本的概念方式是相同的。

市场中所发行的音乐内容的主导格式是诸如由CD或其压缩音频MP3(MPEG(运动图像专家组)音频第3层)为代表的PCM数据等上述称为采样声源的现场音频波形而不是上述MIDI和SMIL为主的格式。

音乐回放设备通过将这些经采样的PCM音频波形等从数字形式转换为模拟形式并将其输出来向用户提供音乐内容。如FM电台广播等中可见，有音频波形本身的模拟信号被广播的例子。此外，还有诸如在音乐会、现场表演等情形中由人现场演出来将音乐内容提供给用户的例子。

如果机器可从能被听见的音乐的现场音频波形中辨识诸如音乐的小节和拍子等时机，则即使没有预先提供诸如事件时间信息等任何MIDI和SMIL信息，也能实现诸如使音乐与另一介质上的内容象卡拉OK那样被节奏同步的同步功能。

就现有的CD音乐内容而言，当前所听见的FM电台的音乐、以及当前正被演奏的现场音乐、诸如图像和歌词等在另一介质上的内容能以与听见的音乐同步的这类方式被回放，由此扩大了新娱乐的可能性。

迄今，已有数种提取节拍、并与音乐同步地执行某种处理的尝试被提出。

例如，在未经审查的日本专利申请公开第2002-116754号中，公开了一种计算作为时序信号的音乐波形信号的自相关、在自相关的基础上分析该音乐的拍子结构、并在分析结果上提取该音乐的节拍的方法。这不是在音乐被回放的同时实时提取节拍的过程，而是作为脱机过程来提取节拍的过程。

在日本专利第3066528号中，公开了从多个乐曲数据创建多个频带中的每一个的声压数据，指定节奏最明显的一个频带，并在所指定的频率时机的声压变化的周期的基础上推算节奏成分。在日本专利第3066528号中还公开了一种多次执行频率分析来从音乐中提取节奏成分的脱机过程。

发明内容

根据相关技术的用于计算节奏、拍子和节拍的技术被宽泛地分为两类：一类是诸如未经审查的日本专利申请公开第2002-116754号中的在时域中分析音乐信号的技术，而另一类是如日本专利第3066528号中的在频域中分析音乐信号的技术。

在于时域中执行分析的前一种技术中，节奏和时间波形并不总是相互吻合，因此在本质上，其缺点是提取的精度。在于频域中执行分析的后一种技术中，所有区间的数据需要由脱机过程预先分析，因此，后一种技术不适用于实时地跟踪音乐。此类技术的一些示例需要执行频率分析数次，由此就有了计算量变大的缺点。

考虑到上述要点，提供一种能够在音乐的音乐信号被再现的同时提取该音乐的节奏的拍子(有强重音的节奏)的设备和方法是合乎需要的。

根据本发明的一个实施例，音乐的节奏的拍子将在下述音乐信号的特征的基础上被提取。

图1的部分(A)示出了音乐信号的时间波形的示例。如图1的部分(A)中所示，当观察该音乐信号的时间波形时，可以看到在数个部分瞬时地到达了大峰值。表现出该大峰值的每个部分是对应于例如鼓点的信号部分。因此，在本发明中，象这样的鼓和乐器的起声变强的部分被认为是拍子的候选。当实际在听图1的部分(A)的音乐时，尽管因为其被隐藏在图1的部分(A)的时间波形中而不为知晓，但仍可注意到在实质上相等的时间区间包含了大量拍子成分。因此，要仅仅从图1的部分(A)的时间波形的大峰值部分提取音乐的节奏的实际拍子是不可能的。

图1的部分(B)示出图1的部分(A)的音乐信号的声谱图。如图1的部分(B)中所示可以看到，从该音乐信号的声谱图的波形，可以看出上述隐藏的拍子成分为相关联的声谱图中功率谱瞬时急剧变化的部分。当实际在听该声音时，可以确认此声谱图中功率谱瞬时急剧变化的部分对应于拍子成分。

根据本发明的一个实施例，提供了一种拍子提取设备，它包括拍子提取装置，用于检测输入音乐信号的声谱图中功率谱急剧变化的部分、并输出时间上与该变化部分同步的检测输出信号。根据本发明的一个实施例的配置，拍子提取装置检测输入音乐信号的声谱图中功率谱急剧变化的部分，并输出时间上与该变化部分同步的检测输出信号。因此，与图1的部分(B)中所示的功率谱急剧变化的部分对应的拍子成分作为检测输出信号被提取和输出。

在根据本发明的一个实施例的拍子提取设备中，拍子提取装置包括：功率谱计算器，用于计算输入音乐信号的功率谱；以及变化量计算器，用于计算由功率谱计算器计算出来的功率谱的变化量、并输出计算出来的变化量。

根据本发明该实施例的配置，正被再现的音乐信号的功率谱由功率谱计算器确定，而所确定的功率谱的变化由变化量计算器确定。作为对不断变化的音乐信号执行的该过程的结果，在时间上与音乐的节奏的拍子位置同步的位置处有峰值的输出波形作为检测输出信号被获取。此检测输出信号可被视为从音乐信号中提取的拍子提取信号。

根据本发明的一个实施例，就所谓的采样声源而言，还能够相对容易地实时从音乐信号中获取拍子提取信号。因此，通过使用该所提取的信号，与另一介质上的内容在音乐上同步的操作就变为可能。

附图说明

图1是示出根据本发明的一个实施例的拍子提取设备和方法的原理的波形图；

图2是示出应用了本发明的一个实施例的音乐内容回放设备的配置示例的框图；

图3是示出图2的实施例中的拍子提取处理操作的波形图；

图4是根据本发明的节奏跟踪设备的实施例的框图；

图5示出根据本发明的拍子提取设备的实施例中的变化率计算部的操作；

图6是示出根据本发明的拍子提取设备的实施例中的处理操作的流程图；

图7示出根据本发明的音乐同步显示设备的一个实施例中的显示屏幕的示例；

图8是示出根据本发明的音乐同步图像显示设备的一个实施例的流程图；

图9示出根据本发明的音乐同步显示设备的一个实施例；

图10是示出根据本发明的音乐同步显示设备的一个实施例的流程图；

图11示出应用了根据本发明的音乐同步显示设备的一个实施例的设备的示例；

图12是示出根据本发明的拍子提取设备的另一个实施例的框图。

具体实施方式

以下将参考附图来描述本发明的实施例。图2是根据本发明的实施例的音乐内容回放设备10的框图，它包括拍子提取设备和节奏跟踪设备。此实施例的音乐内容回放设备10由例如个人计算机构成。

如图2中所示，在此示例的音乐内容回放设备10中，程序ROM(只读存储器)102和工作区所使用的RAM(随机存取存储器103)经由系统总线100被连接到CPU(中央处理单元)101。CPU 101通过将RAM 103作为工作区使用来执行根据存储在ROM 102中的各种程序的处理，从而来执行各种功能处理(稍后描述)。

在此示例的音乐内容回放设备10中，介质驱动器104、音乐数据解码器105和显示接口(在附图中，接口被描述为I/F，以下均适用)106、外部输入接口107、同步活动图像生成器108、通信网络接口109、起到存储各种数据的大容量存储部作用的硬盘驱动器110、以及I/O端口111到116被连接到系统总线100。此外，诸如键盘和鼠标等操作输入部132经由操作输入部接口131被连接到系统总线100。

I/O端口111到115被用来在作为根据本发明的节奏跟踪设备的一个实施例的节奏跟踪部20与系统总线100之间交换数据。

在此实施例中，节奏跟踪部20包括作为根据本发明的拍子提取设备的实施例的拍子提取器21、以及跟踪部22。I/O端口111向节奏跟踪部20的拍子提取器21输入经由系统总线100传送的数字音频信号(对应于时间波形信号)以作为输入音乐信号(假定此输入音乐信号不仅包括音乐信号，而且还包括例如人声信号和音频频段的另一信号)。

如在稍后将详述的，拍子提取器21从输入音乐信号提取拍子成分，将指示所提取的拍子成分的检测输出信号BT供给跟踪部22，并还经由I/O端口112将其供给系统总线100。

如在稍后将描述的，首先，跟踪部22在输入到跟踪部22的拍子成分检测输出信号BT的基础上计算BPM(每分钟拍数，它意味着一分钟里有多少拍，并指示音乐的节拍)值以作为输入音乐内容的节拍值，并通过使用PLL(锁相环)电路在与拍子成分检测输出信号BT同步的相位生成频率信号。

然后，跟踪部22向计数器供给来自PLL电路的频率信号以作为时钟信号，并从此计数器输出以该音乐的一小节为单位指示拍子位置的计数值输出CNT，并经由I/O端口114将该计数值输出CNT供给系统总线100。

此外，在此实施例中，跟踪部22经由I/O端口113将起到中间值作用的BPM值供给系统总线100。

I/O端口115被用来从系统总线100为节奏跟踪部20供给控制信号。

I/O端口111还被连接到音频回放部120。即，音频回放部120包括D/A转换器121、输出放大器122和扬声器123。I/O端口111向D/A转换器121供给经由系统总线100传送的数字音频信号。D/A转换器121将输入数字音频信号转换为模拟音频信号，并经由输出放大器122将其供给扬声器123。扬声器123音响再现输入模拟音频信号。

介质驱动器104向系统总线100输入诸如CD或DVD(数字多功能盘)等其中存储了音乐内容的盘11上所存储的音乐内容的音乐数据。

音乐数据解码器105将从介质驱动器104输入的音乐数据解码，并重构数字音频信号。重构的数字音频信号被传送到I/O端口111。I/O端口111以上述方式将经由系统总线100传送的数字音频信号(对应于时间波形信号)供给节奏跟踪部20和音频回放部120。

在此例中，由例如LCD(液晶显示器)组成的显示设备117被连接到显示接口106。在显示设备117的屏幕上，如稍后将描述的，从音乐内容的音乐数据提取的拍子成分、以及节拍值被显示，并且动画图像被与音乐同步地显示，并且歌词也像卡拉OK中那样被显示。

在此示例中，A/D(模-数)转换器118被连接到外部输入接口107。外部话筒12所采集的音频信号和音乐信号由A/D转换器118转换为数字音频信号，并被供给外部输入接口107。外部输入接口107向系统总线100输入从外部输入的数字音频信号。

在此示例中，作为连接到话筒12的插头被插入到由音乐内容回放设备10中所提供的话筒插孔构成的话筒终端的结果，话筒12被连接到音乐内容回放设备10。在此示例中，假定了是从由话筒12采集的现场音乐实时地提取节奏的拍子，执行与所提取的拍子同步的显示，并使玩偶和/或机器人与所提取的拍子同步地跳舞。在此示例中，经由外部输入接口107输入的音频信号被传送到I/O端口111，并被供给节奏跟踪部20。在此实施例中，经由外部输入接口107输入的音频信号并不被供给音频回放部120。

在此实施例中，在来自节奏跟踪部20的拍子提取器21的拍子成分检测输出信号BT的基础上，同步活动图像生成器108生成诸如动画等内容与正被回放的音乐同步地变化的图像。

在来自节奏跟踪部20的计数值输出CNT的基础上，同步活动图像生成器108可生成诸如动画等其内容与正被回放的音乐同步地变化的图像。当使用此计数值输出CNT时，因为一小节内的拍子位置是可知的，所以就能够生成根据乐谱中所写的内容来精确移动的图像。

但是，另一方面也有这样的情形，即来自拍子提取器21的拍子成分检测输出信号BT包含在不是原始拍子位置的位置处生成的拍子成分，其中原始拍子位置是因表演者的所谓“调味”而造成的非周期性的拍子位置。由此，当要如此实施例中地在来自拍子提取器21的拍子成分检测输出信号BT的基础上生成移动图像时，就有获取与实际的音乐对应的移动图像的优点。

在此示例中，通信网络接口109被连接到因特网14。在此示例的回放设备10中，对存储了音乐内容的属性信息的服务器的访问经由因特网14来进行，通过使用音乐内容的标识信息作为检索关键词，获取属性信息的指令被发送到服务器，并且响应于该获取指令从服务器发来的属性信息被存储在例如硬盘驱动器110的硬盘中。

在此实施例中，音乐内容的属性信息包含乐曲构成信息。乐曲构成信息包含乐曲素材单位的分区信息，并且还由乐曲的乐曲素材单位的诸如节拍/基调/编码/音量/拍子等用来确定所谓的旋律的信息、乐谱的信息、编码进度的信息、以及歌词信息构成。

在此，术语“乐曲素材单位”是指乐曲的拍子和小节等可分配编码的单位。乐曲素材单位的分区信息是由例如从乐曲开头位置起的相对位置信息以及时间戳组成。

在此实施例中，在拍子提取器21所提取的拍子成分检测输出信号BT的基础上从跟踪部22获取的计数值输出CNT与乐曲素材单位的分区同步地变化。因此，以与从跟踪部22获取的计数值输出CNT同步的这类方式来回溯例如作为正被回放的乐曲的属性信息的乐曲构成信息中的编码进度和歌词等就变为可能。在此实施例中，I/O端口116被用于经由外部输出终端119来输出从节奏跟踪部20获取的拍子成分检测输出信号BT、BPM值和计数值输出CNT。在此情形中，从I/O端口116可输出全部的拍子成分检测输出信号BT、BPM值和计数值输出CNT，或可仅输出必要的那些信号。

[节奏跟踪部20的配置示例]

首先将要描述此实施例中的拍子提取和节奏跟踪处理的原理。在此实施例中，具体而言，鼓和乐器的起声变强的部分被假定为节奏的拍子的候选。

如图3的部分(A)中所示，当观察音乐信号的时间波形时，可以看到有数个峰值瞬时变大的部分。这是与鼓点对应的信号部分。但是，当实际在听该音乐时，尽管因为其被隐藏在该时间波形中而不为知晓，但仍可注意到在实质上相等的时间区间包含了大量拍子成分。

接下来，如图3的部分(B)中所示，当观察图3的部分(A)中所示的音乐信号的声谱图的波形时，就可看到隐藏的拍子成分。在图3的部分(B)中，声谱成分瞬时急剧变化的部分就是隐藏的拍子成分，并且可以看到，该部分以梳型方式被重复了多次。

当实际在听声音时，可以确认以梳型方式被重复多次的成分与拍子成分对应。因此，在此实施例中，声谱图中功率谱瞬时急剧变化的部分被假定为节奏的拍子的候选。

在此，节奏是拍子的重复。因此，通过测量图3的部分(B)的拍子候选的周期，就能够知道音乐的节奏的周期和BPM值。在此实施例中，将使用诸如自相关计算等一般的技术来计测周期。

接下来，将描述节奏跟踪部20的详细配置，它是根据本发明的节奏跟踪设备及其处理操作的实施例。图4是示出根据本实施例的节奏跟踪部20的详细配置的示例的框图。

[拍子提取器21的配置示例及其处理操作]

首先将给出与根据本发明的拍子提取设备的实施例对应的拍子提取器21的描述。如图4中所示，此实施例的拍子提取器21包括功率谱计算部211和变化量计算部212。

在此实施例中，如图3的部分(A)中所示的正被回放的音乐内容的时间波形的音频数据被不断输入到功率谱计算部211。即，如上所述，根据用户经由操作输入部132输入的回放指令，在介质驱动器104中，被指令的音乐内容的数据从盘11中被读取，并且该音频数据由音乐数据解码器105解码。然后，来自音乐数据解码器105的音频数据经由I/O端口111被供给音频回放部120，由此音频数据可被再现。并且，正被再现的音频数据还被供给节奏跟踪部20的拍子提取器21。

有这样的情形，即话筒12所采集的音频信号被供给A/D转换器，而被转换为数字信号的音频数据经由I/O端口111被供给节奏跟踪部20的拍子提取器21。如上所述，此时在功率谱计算部211中，将执行诸如FFT(快速傅里叶变换)等计算来计算和确定图3的部分(B)中所示的声谱图。

在此示例的情形中，在功率谱计算部211中，并当输入到拍子提取器21的音频数据的采样频率是48kHz时，FFT计算的分解率被设为大约512个样本或1024个样本的程度，并被设为实时的大约5～30毫秒的程度。此外，在此实施例中，通过在应用诸如汉宁(hanning)和海明(hamming)等窗口函数并使窗口重叠的同时执行FFT计算，就可算出功率谱以确定声谱图。

功率谱计算部211的输出被供给变化率计算部212，由此可算出功率谱的变化率。即，在变化率计算部212中，对来自功率谱计算部211的功率谱执行微分演算，由此来计算变化率。在变化率计算部212中，通过对不断变化的功率谱执行上述微分演算，就可输出图3的部分(C)中所示的拍子提取波形输出以作为拍子成分检测输出信号BT。

拍子成分检测输出信号BT使得能够获得与输入音频数据的原始时间波形不同的、在等区间的时间处出现尖峰状波峰的波形。由此，如图3的部分(C)中所示的拍子成分检测输出信号BT中朝正方向上升的波峰可被视为拍子成分。

拍子提取器21的上述操作将参考图5的说明图和图6的流程图来更加详细地描述。如图5的部分(A)、(B)、(C)中所示，在此实施例中，当窗口幅度被表示为W，并当在计算窗口幅度为W的区间的功率谱时，接着，通过将窗口移动被分割为整数分之一、在此例中是1/8的区间量，从而有2W/8的量重叠，由此来顺次计算与输入音频数据相关的功率谱。

也就是说，如图5中所示，在此实施例中，首先通过将例如作为正被回放的音乐内容的数据的输入音频数据的1024个样本的时间幅度设置为窗口幅度W，从而来接收窗口幅度量的输入音频数据(图6的步骤S1)。

接下来，将窗口幅度为W的诸如汉宁或海明等窗口函数应用于输入音频数据(步骤S2)。接着，对把窗口幅度W分割为整数分之一、在此例中为1/8的每个分割区间DV1到DV8执行输入音频数据的FFT演算，由此来算出功率谱(步骤S3)。

接着，步骤S3的过程被重复，直至计算出所有分割区间DV1到DV8的功率谱。当确定已经计算出所有分割区间DV1到DV8的功率谱时(步骤S4)，再计算分割区间DV1到DV8中计算出来的功率谱的总和，以作为窗口W的区间的输入音频数据的功率谱(步骤S5)。这就是功率谱计算部211的处理。

接下来，将计算在步骤S5所计算出来的窗口幅度的输入音频数据的功率谱的总和与这一次的、即在时间上早W/8的量的以窗口幅度W计算出来的功率谱的总和之间的差分(步骤S6)。然后，所计算出来差分作为拍子成分检测输出信号BT被输出(步骤S7)。步骤S6和步骤S7的处理是变化率计算部212的处理。

接着，CPU 101判别正被回放的音乐内容的回放是否已被最终完成(步骤S8)。当判别回放已被最终完成时，对拍子提取器21的输入音频数据的供给就被停止，并且处理完成。

当判别正被回放的音乐内容的回放尚未最终完成时，CPU 101执行控制继续对拍子提取器21供给输入音频数据。并且，在功率谱计算部211中，如图5的部分(B)中所示，窗口被移动一个分割区间(W/8)的量(步骤S9)。处理随即返回步骤S1，在此窗口幅度量的音频数据被接收，并且上述步骤S1到步骤S7的处理被重复执行。

如果正被回放的音乐内容的回放尚未被完成，则在步骤S9，如图5的部分(C)中所示，窗口再被移动一个分割区间的量(W/8)，并且重复执行步骤S1到步骤S7的处理。

以上述方式，就可执行拍子提取处理，并可与输入音频数据同步地得到图3的部分(C)中所示的拍子提取波形的输出以作为拍子成分检测输出信号BT。

以此方式所获得的拍子成分检测输出信号BT经由I/O端口112被供给系统总线100，并被供给跟踪部22。

[跟踪部22的配置示例及其处理操作的示例]

跟踪部22基本上由PLL电路构成。在此实施例中，首先，拍子成分检测输出信号BT被供给BPM值计算部221。该BPM值计算部221由自相关演算处理部构成。即，在BPM值计算部221中，对拍子成分检测输出信号BT执行自相关计算，从而时时刻刻都可求出当前所得到的拍子提取信号的周期和BPM值。

所得到的BPM值经由I/O端口113从BPM值计算部221供给到系统总线100，并且还被供给倍乘器222。倍乘器222将来自BPM值计算部221的BPM值乘以N，并将该值输入到下一级的可变频率振荡器223的频率设置输入端。

可变频率振荡器223以将供给到频率设置输入端的频率值设为自激(free run)的中心频率的振荡频率发生振荡。因此，可变频率振荡器223以比BPM值计算部221计算出来的BPM值N倍高的频率发生振荡。

意味着可变频率振荡器223的振荡频率的BPM值指示每分钟的拍数。因此，例如，在四四拍的情形中，N倍乘的振荡频率是四分音符频率N倍高的频率。

如果假定N＝4，因为该频率是四分音符频率的4倍高，所以可变频率振荡器223以十六分音符的频率发生振荡。这表示一般称为16拍的节奏。

因为上述频率控制，所以从可变频率振荡器223得到以BPM值计算部221计算出来的BPM值N倍的频率发生振荡的振荡输出。即，执行控制以使可变频率振荡器223的振荡输出频率变为与输入音频数据的BPM值对应的频率。但是，如果保持在这一状态，可变频率振荡器223的振荡输出在相位上并不与输入音频数据的节奏的拍子同步。这一相位同步控制将在接下来描述。

也就是说，与从拍子提取器21供给的输入音频数据的节奏的拍子同步的拍子成分检测输出信号BT被供给到相位比较器224。另一方面，可变频率振荡器223的振荡输出信号被供给到1/N分频器225，由其将频率分为1/N以使其回到BPM值的原始频率。然后，1/N分频的输出信号从1/N分频器225被供给到相位比较器224。

在相位比较器224，来自拍子提取器21的拍子成分检测输出信号BT被与来自1/N分频器225的信号在例如上升沿的时点进行相位比较，而比较的误差输出经由低通滤波器226被供给到可变频率振荡器223。然后，执行控制以使可变频率振荡器224的振荡输出信号的相位在相位比较的误差输出的基础上与拍子成分检测输出信号BT的相位同步。

例如，当可变频率振荡器223的振荡输出信号的相位落后于拍子成分检测输出信号BT的相位时，可变频率振荡器223的当前振荡频率被朝着补偿落后的方向被略微提高。反之，当振荡输出信号相位超前时，可变频率振荡器223的当前振荡频率被朝着补偿超前的方向被略为降低。

以上述方式，作为利用所谓负反馈的反馈控制电路，PLL电路可实现拍子成分检测输出信号BT与可变频率振荡器23的振荡输出信号之间的相位匹配。

以此方式，在跟踪部22中，可从可变频率振荡器223得到与拍子提取器21所提取的输入音频数据的拍子的频率和相位同步的振荡时钟信号。

在此，当节奏跟踪部20输出可变频率振荡器223的输出振荡信号以作为时钟信号时，4N拍(即BPM值的N倍高)的振荡时钟信号作为节奏跟踪部20的输出而被输出。

可变频率振荡器223的振荡输出信号可照其原样被输出以作为来自跟踪部22的时钟信号，并可被利用。但是，在此实施例中，如果时钟信号是用计数器来计数的，则每小节将得到与拍子同步的1～4N的计数值，并且计数值使拍子位置可被知晓。因此，作为可变频率振荡器223的振荡输出的时钟信号将作为4N进制计数器227的计数值输入而被供给。

在此示例中，从4N进制计数器226，将与输入音频数据的拍子同步地在输入音频数据的音乐的每小节得到1～4N的计数值输出CNT。例如，当N＝4时，计数值输出CNT的值反复从1计到16。

此时，当输入音频数据的音乐是现场录音的回放信号或者从话筒12采集的现场音乐时，拍子频率及其相位可能会波动。从节奏跟踪部20得到的计数值输出CNT也会随之波动。

拍子成分检测输出信号BT与输入音频数据的音乐的拍子同步。但是，并不能确保来自4N进制计数器227的1～4N的计数值与小节完全同步。

为了改进这一点，在此实施例中，使用拍子成分检测输出信号BT的峰值检测输出和/或时间波形的大振幅来执行校正以重置4N进制计数器227，以使来自4N进制计数器227的计数值输出CNT通常与小节的分割同步。

也就是说，如图4中所示，在此实施例中，来自拍子提取器21的拍子成分检测输出信号BT被供给到峰值检测器23。从峰值检测器23可得到如图3的部分(C)中所示的尖峰上的峰值位置的检测信号Dp，并且检测信号Dp被供给到重置信号发生器25。此外，输入音频数据被供给到大振幅检测器24。从大振幅检测器24可得到如图3的部分(A)中所示的时间波形的大振幅部分的检测信号La，并且检测信号La被供给给重置信号发生器25。

在此实施例中，来自4N进制计数器227的计数值输出CNT也被供给给重置信号发生器25。当来自4N进制计数器227的计数值输出CNT的值是接近4N的值时，在此实施例中，例如当N＝4的时候，在重置信号发生器25中，紧接在计数值输出CNT的值到达14或15之后最多4N＝16的短暂时间幅度内，当有来自峰值检测器23的检测信号Dp或者来自大振幅检测器24的检测信号La时，通过甚至在计数值输出CNT到达4N之前将检测信号Dp或检测信号La供给4N进制计数器227的重置终端，计数值输出CNT就可被强制地重置到“1”。

结果，即使是在小节单位有波动的情况下，4N进制计数器227的计数值输出CNT也将与输入音频数据的音乐同步。

在由节奏跟踪部预先提取拍子之后，在节奏要被跟踪的音乐内容是几拍子的基础上，可确定跟踪部22中的4N进制计数器227的计数值输出CNT。例如，在4拍子的情形中，使用4N进制的计数器，而在3拍子的情形中，使用3N进制的计数器。关于作为确定要乘以此N的值的基础的音乐是几拍子的事实在音乐内容被例如用户回放之前就被预先输入到音乐内容回放设备10中。

通过由音乐内容回放设备10自动确定要乘以N的值，用户还可省略关于乐曲是几拍子的输入。即，当分析来自拍子提取器21的拍子成分检测输出信号BT时，可以看到尖峰上的峰值以小节为单位增大，从而就能够推算乐曲是几拍子的，并可确定要乘以N的值。

但是，在此情形中，会有在乐曲的最初部分中要乘以N的值不恰当的情况，但考虑到是在乐曲的引子部分的情况下，因此实际利用中将没有什么问题。

可以执行以下动作：在回放之前，先回放所要回放的音乐内容的乐曲的一部分，得到来自拍子提取器21的拍子成分检测输出信号BT，在该信号BT的基础上检测乐曲是几拍子的音乐，并决定要乘以N的值。此后，从开始起回放该音乐内容的乐曲，并在节奏跟踪部20中，提取与正被回放的音乐内容的乐曲同步的拍子。

可变频率振荡器223的振荡信号的波形可以是锯齿波、矩形波或脉冲形波。在上述实施例中，通过使用锯齿波形的上升沿作为节奏的拍子来执行相位控制。

在节奏跟踪部20中，图4中所示的每个块可用硬件来实现，或可通过使用DSP、CPU等由软件执行实时信号处理来实现。

[节奏跟踪设备的第二实施例]

当在实际操作图4的节奏跟踪部20的时候，PLL电路具有在同步拉入范围增大时稳定时期间的相位抖动增加、而反之在相位抖动减少时PLL电路的拉入范围变窄的相反性质。

当这些性质被应用于节奏跟踪部20的时候，如果节奏跟踪可能进行的BPM值范围增大，则稳定时期间振荡输出时钟的抖动以例如±数BPM的级数增长，并且产生跟踪误差的波动增大的问题。反之，当执行设置以使跟踪误差的相位抖动减小时，PLL电路的拉入范围变窄，并且产生跟踪可能进行的BPM值的范围变窄的问题。

另一个问题是有时从紧接在未知乐曲被输入之后起直至跟踪稳定要花很长时间。其原因是构成图4的BPM值计算部221的自相关演算部的计算需要一定量的时间。为此原因，为了要让BPM值计算部221的BPM值计算结果稳定，需要给输入到自相关演算部的信号一定程度的计算区间。这是由于自相关的一般性质。该问题的结果是存在以下问题，即在音乐的最初部分中，跟踪会暂时变得偏移，并且难以得到与音乐同步的振荡输出时钟。

在节奏跟踪部20的第二实施例中，通过以下述方式来执行从而克服了这些问题。

如果输入的音乐是预先已知的，即，如果手头有例如要回放的音乐内容的数据文件可用，则预先对其执行脱机处理并求出音乐内容大致的BPM值。在第二实施例中，图4中，这是通过以脱机方式执行拍子提取器21的处理和BPM值计算部221的处理来进行的。或者可以使用预先随附了BPM值的元信息的音乐内容。例如，如果有大约120±10的非常粗略的精度的BPM信息可用，则将可显著改善此状况。

当实际在相关联音乐内容的回放期间实时执行节奏跟踪处理时，通过使用前述以脱机方式计算出来的BPM值所对应的频率作为可变频率振荡器223的振荡频率的初始值即可开始振荡。由此，音乐内容回放开始时的跟踪偏移和稳定时期间的相位抖动可被大幅减低。

前述脱机处理中，拍子提取器21和BPM值计算部221中的处理使用图4的节奏跟踪部20的一部分，并且其处理操作与前述完全相同。由此，本文中将省略对其的说明。

[节奏跟踪部20的第三实施例]

节奏跟踪设备的第三实施例是输入(回放)的音乐是未知的、并且脱机处理不可能进行的情形。在第三实施例中，在图4的节奏跟踪部20中，起初PLL电路的拉入范围被设得较宽。然后，在节奏跟踪开始稳定之后，PLL电路的拉入范围再被设得较窄。

如上所述，在第三实施例中，上述相位抖动的问题可通过使用动态地改变节奏跟踪部20的跟踪部22的PLL电路的拉入范围的常数来有效地解决。

[使用节奏跟踪部20的输出的应用示例]

在此实施例中，通过使用来自节奏跟踪部20的输出信号，即拍子成分检测输出信号BT、BPM值和计数值输出CNT来实现各种应用。

在此实施例中，如上所述，在显示设备117的显示屏幕上，通过使用来自节奏跟踪部20的输出信号来执行显示。图7示出此实施例中显示设备117的显示屏117D的显示示例。这与音乐同步显示设备的一个实施例中的显示输出形式相对应。

如图7中所示，在显示设备117的显示屏117D上，显示了BPM值显示栏301、BPM值检测中心值设定栏302、BPM值检测范围设定栏303、拍子显示框304、音乐同步图像显示栏306、歌词显示栏307等。

在BPM值显示栏301上，显示了由节奏跟踪部20的BPM值计算部221从正被回放的音乐内容的音频数据中计算出来的BPM值。

在此实施例中，用户可经由BPM值检测中心值设定栏302和BPM值检测范围设定栏303来设置BPM值检测中心值和从中心值出发的BPM检测范围的容许误差范围值以作为节奏跟踪部20中BPM检测范围的参数值。这些参数值还可在回放操作期间被改变。

在此示例中，如上所述，对于拍子显示框304，当所要回放的音乐内容是四拍的时候，因为对其执行了跟踪的拍子是由十六进制数给出的，所以将显示16拍的显示框，并且正被回放的音乐内容的拍子在拍子显示框304中被同步显示。在此示例中，拍子显示框304是以在上下两段提供16拍显示框的方式构成的。每一个16拍显示框由16个白色圆印构成。作为当前拍子位置显示305，例如，在与16个白色圆印之中从音乐内容的音频数据中提取的当前拍子位置对应的位置处的白色圆印内显示一很小的矩形印。

也就是说，当前拍子位置显示305是根据来自节奏跟踪部20的计数值输出CNT的变化而改变的。由此，正被回放的音乐内容的拍子以与正被回放的该音乐内容的音频数据同步的方式被同步改变和实时显示。

如将在稍后详细描述的，在此实施例中，将与来自节奏跟踪部20的拍子提取器21的拍子成分检测输出信号BT同步地在音乐同步图像显示栏306中显示跳舞动画。

如将在稍后详细描述的，在此实施例中，正被回放的音乐内容的歌词被与相关联的音乐内容的回放同步地以文字显示。

由于采用了这样一种显示屏幕结构，所以在此实施例的音乐内容回放设备中，当用户指示音乐内容回放开始时，由音频回放部120音响回放音乐内容的音频数据，正被再现的音频数据被供给给节奏跟踪部20。

对于正被回放的音乐内容，节奏跟踪部20提取出拍子，计算出BPM值，并在显示屏幕117的BPM值显示栏301中显示当前所检测到的BPM值。

然后，在计算出来的BPM值和拍子提取器21提取并得到的拍子成分检测输出信号BT的基础上，由PLL电路部进行拍子跟踪，并从4N进制计数器227得到给出与正被回放的音乐内容同步的拍子的十六进制数形式的计数值输出CNT。基于此计数值输出CNT，当前拍子位置显示305在拍子显示框304中进行同步显示。如上所述，拍子显示框304是以在上下两段提供的16拍显示框的方式构成的，并且当前拍子位置显示305是以在上段与下段之间被交替互换的方式被移动和显示的。

[音乐同步图像显示设备的实施例(跳舞动画)]

接下来，对音乐同步图像显示栏306中所显示的动画进行说明。如上所述，在同步活动图像生成器108中生成此动画图像。因此，由图2的节奏跟踪部20、同步活动图像生成器108和显示接口106构成的部分就构成了音乐同步图像显示设备的实施例。

音乐同步图像显示设备可用硬件构成。节奏跟踪部20和同步活动图像生成器108的各个部分可用由CPU执行的软件处理来构成。

图8是示出要由音乐同步图像显示设备的实施例执行的音乐同步图像显示操作的流程图。图8的流程图中的每个步骤的处理都是在图4的实施例中的CPU 101的控制下由同步活动图像生成器108执行的。

在此实施例中，同步活动图像生成器108预先在存储部(未示出)中存储跳舞动画的多个场景的图像数据。跳舞动画的场景被与音乐内容的拍子同步地顺次从存储部读取，并在音乐同步图像显示栏306中被显示，由此来实现跳舞动画的显示。

也就是说，在CPU 101的控制下，同步活动图像生成器108从节奏跟踪部20的拍子提取器21接收拍子成分检测输出信号BT(步骤S11)。

接下来，在同步活动图像生成器108中，拍子成分检测输出信号BT的峰值Pk与预定阈值th相比较(步骤S12)。然后确定拍子成分检测输出信号BT的峰值Pk是否≥th(步骤S13)。

当在步骤S13确定Pk≥th时，同步活动图像生成器108读取存储在存储部中的跳舞动画的下一个场景的的图像数据，并向显示接口106供给该图像数据，从而显示设备的音乐同步图像显示栏306中的动画图像被改为下一个场景(步骤S14)。

在步骤S14之后或当在步骤S13确定Pk不≥th时，同步活动图像生成器108确定乐曲的回放是否已经完成(步骤S15)。当乐曲的回放尚未完成时，过程返回步骤S11，并重复执行步骤S11及后续步骤的处理。当在步骤S15确定乐曲的回放已经完成时，图8的处理例程即告完成，并且跳舞动画图像在音乐同步图像显示栏306中的显示被停止。

通过改变在步骤S12与之进行比较的阈值th而不是使其保持固定不变，就可改变作为步骤S13中的比较结果使Pk≥th成立的峰值。由此，就可显示更适合听该乐曲时的感受的跳舞动画图像。

又如上所述，在图8的实施例中，是使用来自拍子提取器21的拍子成分检测输出信号BT来显示音乐同步图像。或者，可执行以下：作为拍子成分检测输出信号BT的代替，来自跟踪部22的计数值输出CNT被接收，并且跳舞动画的下一个场景被与计数值输出CNT的变化同步地逐一读取并显示。

在上述实施例中，跳舞动画的图像数据被预先存储，而跳舞动画的下一个场景被与拍子成分检测输出信号BT的峰值Pk同步地、或与来自节奏跟踪部20的计数值输出CNT的变化同步地逐一读取。或者，可执行与拍子成分检测输出信号BT的峰值Pk同步地或与来自节奏跟踪部20的计数值输出CNT的变化同步地实时生成跳舞动画的图像的程序。

要与乐曲同步显示的图像并不局限于动画，它也可以是以与乐曲同步回放的方式提供的活动图像或者静止图像。例如，在活动图像的情形中，可采用与乐曲同步地改变多个活动图像的显示方法。在静止图像的情形中，可用与动画相同的形式来显示静止图像。

[音乐同步显示设备的实施例(歌词的显示)]

如上所述，在图4的实施例的音乐内容回放设备10中，音乐内容的属性信息是经由网络(诸如因特网)被获得，并被存储在硬盘驱动器110的硬盘中。硬盘包含乐曲的歌词的数据。

在此实施例的音乐内容回放设备10中，通过使用音乐内容的属性信息的歌词信息，歌词就被与正在回放的乐曲同步地显示。在所谓的卡拉OK系统中，歌词是按照时间戳信息的顺序来显示的。作为对比，在此实施例中，歌词是与正在回放的乐曲的音频数据同步地显示的。因此，即使正在回放的乐曲的拍子有波动，所要显示的歌词也是以跟着波动的方式来显示的。

在图4的示例中，用于显示歌词的音乐同步显示设备的实施例是根据存储在ROM 102中的程序，通过由CPU 101执行的软件处理来实现的。

在此实施例中，当指示音乐内容回放开始时，即从例如介质驱动器104接收相关联的音乐内容的音频数据，并开始对其进行回放。同样，通过使用存储在相关联的介质驱动器104中的要被回放的音乐内容的标识信息，指示其开始回放的音乐内容的属性信息即从硬盘驱动器110的硬盘中被读取。

图9示出此时所要读取的音乐内容的属性信息的示例。即，如图9中所示，属性信息由所要回放的音乐内容的小节号和拍号、以及每个小节号与每个拍号的位置处的歌词和编码构成。CPU 101在来自节奏跟踪部20的计数值输出CNT的基础上得知当前回放位置处的小节号和拍号，确定编码和歌词，并在确定结果的基础上，在歌词显示栏307中与正被回放的乐曲同步地顺次显示歌词。

图10是此实施例中歌词显示处理的流程图。起先，CPU 101判别来自节奏跟踪部20的计数值输出CNT的计数值是否已改变(步骤S21)。

当在步骤S21判别计数值输出CNT的计数值已改变的时候，CPU 101在计数值输出CNT的计数值的基础上计算正被回放的乐曲已到达该乐曲的哪小节的哪一拍。

如上所述，计数值输出CNT以一小节为单位按4N进制的方式变化。当然，可通过从乐曲的开头顺次单独计算小节，来得知乐曲已到达哪一小节。

在步骤S22之后，CPU 101参照正被回放的乐曲的属性信息(步骤S23)并确定在步骤S22所判别的正被回放的乐曲的小节位置和拍子位置是否与在相关联的小节和拍子位置处提供的歌词的歌词显示时机相对应(步骤S24)。

当在步骤S24判别已经到达歌词显示时机的时候，CPU 101在乐曲的属性信息的基础上生成要在相关联的时机显示的文字信息，经由显示接口106向显示设备117供给文字信息，并在显示屏117D的歌词显示栏307中将其显示(步骤S25)。

当在步骤S24确定还没有到达歌词显示时机的时候，在步骤S25后面，CPU 101判别乐曲的回放是否已完成(步骤S26)。当乐曲的回放尚未完成的时候，过程返回步骤S21，并且重复步骤S21及后续步骤的处理。当在步骤S26确定乐曲的回放已经完成时，图10的处理例程结束，而歌词显示栏307中的歌词显示被停止。

在音乐同步图像显示设备中，不仅可显示歌词，还可取代歌词显示乐曲的编码。例如，可显示与乐曲的编码对应的吉他的指法等。

在上述实施例中，是在个人计算机显示屏幕上显示歌词。当将本发明的实施例如图11中所示地应用于便携式音乐回放设备时，可在连接到音乐回放设备400的遥控器401中所提供的显示部401D上显示上述跳舞动画和歌词。

在此情形中，便携式音乐回放设备在回放开始之后执行节奏跟踪处理，得知正被回放的乐曲的小节的位置和时机，并能在与属性信息实时进行比较的同时，在如图11中所示的手边的遥控器401的显示部401D上以与乐曲同步的方式顺次显示例如歌词。

[使用节奏跟踪部20的输出的应用的另一个示例]

在上述应用示例中，将动画图像和乐曲的歌词与乐曲同步地显示。但是，在此实施例中，能很容易地与正被回放的乐曲的小节和拍子同步地执行一些处理。因此，就能够很容易地执行预定的安排，执行特殊效果处理，以及再混合其它乐曲数据。

作为效果处理，可对回放音频数据进行变形和混响。

混音是一般的DJ(唱片骑士)都会执行的手法，它是一种以某些小节或拍子为单位、以不损害音乐性的方式将多个音乐素材混合为一首乐曲来再现的方法。这是一种通过使用诸如小节的分割(按乐曲素材为单位的分割)、节拍信息和编码信息等预先提供的乐曲构成信息来将多个音乐素材混合为一首乐曲来回放而不引起违和感的过程。

为此，为了实现这种混音，例如将乐器信息包含在经由网络从服务器取得的属性信息中。这些乐器信息是关于乐器(诸如鼓和吉他)的信息。例如，鼓和打击乐器一小节的音乐演奏模式可作为属性信息而被记录，以便于以循环形式来重复使用它们。那些乐器的音乐演奏模式信息还可被用来进行混音。此外，还可从其它乐曲中提取所要混音的音乐数据。

在混音的情形中，根据来自CPU 101的指令，将执行用于在参照图9中所示的属性信息的编码的同时将正在回放的乐曲以外的要被混音的音频数据混合为与来自节奏跟踪部20的计数值输出CNT同步再现的音频数据的处理。

根据上述实施例，可解决以下问题。

(1)在以MIDI和SMIL为代表的相关技术中，只可能在内容制作者预先生成的时间戳的时刻进行介质时机控制。因此，对于诸如PCM等不含时间戳信息的现场音频波形(采样声源)，与另一介质上的内容的音乐同步是不可能的。

(2)在相关技术中，当生成MIDI和SMIL的数据时，需要在乐谱的基础上单独计算和附加时间戳信息。此操作十分复杂。此外，因为需要有乐曲的所有时间戳信息，所以数据大小变得很大，处理也变得复杂。

(3)MIDI和SMIL数据预先持有发音时机以作为时间戳信息。由此，当节拍有变化或节奏有波动时，就需要重新计算时间戳信息，灵活应对就很困难。

(4)例如，对于当前正在听的乐曲、从电台收听的乐曲、当前正在回放的现场音乐等被实时听到的乐曲，由现有技术实现同步是不可能的。

就上述问题(1)而言，根据上述实施例，该设备能自动辨识乐曲的小节和拍子的时机。因此，与另一介质上的内容的音乐同步操作对于目前主流的采样声源也变为可能。此外，通过与诸如乐谱等一般很容易得到的乐曲信息相结合，该设备就能够在自动跟着乐谱的同时回放乐曲。

例如，当将本发明的实施例应用于相关技术的立体声系统时，同样，在例如现有CD等PCM数据格式的内容中，仅仅通过回放CD，就能够自动辨识正被回放的乐曲的节奏，并能够像在相关技术的卡拉OK中一样及时地与乐曲实时显示歌词。此外，通过与图像处理相结合，与诸如跳舞的人物等图像动画同步的显示变为可能。

此外，如果除了在此实施例中所提取的拍子输出信号以外还使用诸如乐谱的编码信息等音乐信息，则可期待诸如实时对乐曲本身进行重新编曲等其它广泛的应用。

就上述问题(2)而言，根据上述实施例，因为可为卡拉OK设备提供自动识别乐曲的小节和拍子的时机的能力，所以现在的卡拉OK数据创建就变得甚至更加简单。然后，就可以与自动辨识出来的乐曲的小节和拍子的时机同步地来利用诸如乐谱等很容易得到的一般的和多用的数据。

例如，因为该设备能自动辨识当前正在听的乐曲已到达哪一小节的哪一拍的情况，所以即使在没有与特定事件时间对应的时间戳信息的情况下，也能和像在乐谱中所写的那样来显示歌词。此外，还能够减少分配时间戳信息所用的数据量和存储器空间。

就上述问题(3)而言，在诸如卡拉OK等系统的情形中，当在表示乐曲中段节拍的变化或节奏的波动时，需要执行复杂的时间戳计算。此外，当想要以交互的方式来改变节拍和节奏的波动时，需要重新计算时间戳。

就以上而言，因为根据上述实施例的设备可跟踪节拍和节奏的波动，所以完全无需改变数据，并可继续播放而无需偏移。

就问题(4)而言，根据上述实施例，因为可为卡拉OK设备提供自动辨识乐曲的小节和拍子的时机的能力，所以可实现现场表演和实时卡拉OK的功能。例如，可以实现关于当前正由某人演奏的现场声音的节奏同步，并可能跟着乐谱。由此，例如，可以与现场表演同步地显示歌词和图像，控制另一声源设备以重叠声音，以及使另一设备与乐曲同步等。例如，可根据歌曲吸引人的部分或其高潮乐句来控制灯光或控制焰火的燃放。这同样适用于从FM电台收听的乐曲。

[其它实施例]

在上述实施例的拍子提取器21中，计算了关于输入音频数据的所有频带的成分的功率谱，并计算了其变化率以提取拍子成分。或者，在除去假定与拍子成分的提取比较不相关的成分之后执行拍子提取处理。

例如，如图12中所示，在功率谱计算部211的前段提供了不要成分除去滤波器213，用于除去假定于拍子成分的提取比较不相关的成分，例如高频成分和超低频成分等。然后，功率谱计算部211在由不要成分除去滤波器213除去了不要的成分之后计算音频数据的功率谱，而变化率计算部212计算功率谱的变化率以获得拍子成分检测输出信号BT。根据图12的这一示例，由于不要的频率成分被除去，所以功率谱计算部211中的计算量可被减少。

本发明的实施例不仅适用于上述个人计算机和便携式音乐回放设备。当然，本发明还可被应用于任何形式的设备或电子设备，只要是实时提取音乐内容的音乐数据的拍子，执行节奏跟踪，或是可适用其应用的场合。

本领域技术人员应当理解，取决于设计要求及其它因素，可能会产生各种修改、组合、子组合和变更，但它们仍落在所附权利要求书及其等效技术方案的范围之内。

Claims

1，一种拍子提取设备，包括：

拍子提取装置，用于检测输入音乐信号的声谱图中功率谱急剧变化的部分，并与所述输入音乐信号同步地输出与所述变化部分在时间上同步的检测输出信号。

2.如权利要求1所述的拍子提取设备，其特征在于，所述拍子提取装置包括：

功率谱计算装置，用于计算所述输入音乐信号的功率谱；以及

变化量计算装置，用于计算由所述功率谱计算装置计算出来的功率谱的变化量，并输出所计算出来的变化量。

3.如权利要求2所述的拍子提取设备，其特征在于，所述功率谱计算装置和变化量计算装置对所述输入音乐信号的每一个预定时宽的间隔计算所述功率谱及其变化量。

4.如权利要求1所述的拍子提取设备，其特征在于，还包括输出装置，用于将来自所述拍子提取装置的检测输出信号的电平与一阈值相比较，并在所述检测输出信号的电平大于所述阈值时输出预定的输出信号。

5.一种音乐同步图像显示设备，包括：

拍子提取装置，用于检测输入音乐信号的声谱图中功率谱急剧变化的部分，并与所述输入音乐信号在时间上同步地输出与所述变化部分在时间上同步的检测输出信号；以及

同步图像显示装置，用于在来自所述拍子提取装置的输出信号的基础上显示与所述输入音乐信号同步的图像。

6.如权利要求5所述的音乐同步图像显示设备，其特征在于，还包括输出装置，用于将来自所述拍子提取装置的检测输出信号的电平与一阈值比较，并在所述检测输出信号的电平大于所述阈值时输出预定的输出信号，

其中所述同步图像显示装置在来自所述输出装置的输出信号的基础上显示与所述输入音乐信号同步的图像。

7.如权利要求5所述的音乐同步图像显示设备，其特征在于，所述拍子提取装置包括：

8.一种节拍值检测设备，包括：

拍子提取装置，用于检测输入音乐信号的声谱图中功率谱急剧变化的部分，并与所述输入音乐信号同步地输出与所述变化部分在时间上同步的检测输出信号；

节拍值推算装置，用于检测来自所述拍子提取装置的检测输出信号的自相关，并推算所述输入音乐信号的节拍值；以及

输出装置，用于输出由节拍值推算装置推算出来的节拍值。

9.如权利要求8所述的节拍值检测设备，其特征在于，所述拍子提取装置包括：

10.一种节奏跟踪设备，包括：

节拍值推算装置，用于检测来自所述拍子提取装置的检测输出信号的自相关，并推算所述输入音乐信号的节拍值；

可变频率振荡器，其中振荡中心频率在来自所述节拍值推算装置的节拍值的基础上确定，而输出振荡信号的相位在相位控制信号的基础上控制；

相位比较装置，用于将来自所述可变频率振荡器的输出振荡信号的相位与所述拍子提取装置的检测输出信号的相位相比较，并向所述可变频率振荡器供给所得的比较误差信号作为所述相位控制信号；以及

输出装置，用于在所述可变频率振荡器的输出振荡信号的基础上生成并输出与所述输入音乐信号的拍子同步的拍子同步信号。

11.如权利要求10所述的节奏跟踪设备，其特征在于，所述拍子提取装置包括：

12.一种音乐同步显示设备，包括：

相位比较装置，用于将来自所述可变频率振荡器的输出振荡信号的相位与所述拍子提取装置的检测输出信号的相位相比较，并向所述可变频率振荡器供给所得的比较误差信号作为所述相位控制信号；

拍子同步信号生成和输出装置，用于在所述可变频率振荡器的输出振荡信号的基础上生成并输出与所述输入音乐信号的拍子同步的拍子同步信号；

属性信息存储装置，其中以与音乐内容的标识信息对应的方式存储属性信息，所述属性信息至少包含以所述音乐内容的乐曲素材为单位的乐曲构成信息的时序信息；

属性信息获取装置，用于从所述属性信息存储装置获取所述输入音乐信号的属性信息；以及

显示信息生成装置，用于与来自所述拍子同步信号生成和输出装置的拍子同步信号同步地参照所述属性信息获取装置获取的输入音乐信号的属性信息的时序信息，在所述乐曲构成信息的基础上生成要与所述输入音乐信号的回放同步地在显示屏幕上显示的显示信息，并向显示装置输出所述显示信息。

13.如权利要求12所述的音乐同步显示设备，其特征在于，所述拍子提取装置包括：

14.如权利要求12所述的音乐同步显示设备，其特征在于，要由所述显示信息生成装置生成的显示信息是被作为输入音乐信号的音乐内容的歌词。

15.一种拍子提取方法，包括以下步骤：

通过检测输入音乐信号的声谱图中功率谱急剧变化的部分、并与所述输入音乐信号同步地输出与所述变化部分在时间上同步的检测输出信号来提取拍子。

16.如权利要求15所述的拍子提取方法，其特征在于，所述拍子提取包括以下步骤：

计算所述输入音乐信号的功率谱；以及

计算在所述功率谱计算中计算出来的功率谱的变化量，并输出所计算出来的变化量。

17.一种音乐同步图像显示方法，包括以下步骤：

通过检测输入音乐信号的声谱图中功率谱急剧变化的部分、并与所述输入音乐信号同步地输出与所述变化部分在时间上同步的检测输出信号来提取拍子；以及

在所述拍子提取中所获取的检测输出信号的基础上，显示与所述输入音乐信号同步的图像。

18.如权利要求17所述的音乐同步图像显示方法，其特征在于，还包括以下步骤：

将来自拍子提取装置的检测输出信号的电平与阈值相比较，并在所述检测输出信号的电平大于所述阈值时输出预定的输出信号，

其中，在同步的图像显示中，在所述输出中获取的输出信号的基础上显示与所述输入音乐信号同步的图像。

19.如权利要求17所述的音乐同步图像显示方法，其特征在于，所述拍子提取包括以下步骤：

计算所述输入音乐信号的功率谱；以及

20.一种节拍值推算方法，包括以下步骤：

通过检测输入音乐信号的声谱图中功率谱急剧变化的部分、并与所述输入音乐信号同步地输出与所述变化部分在时间上同步的检测输出信号来提取拍子；

检测在所述拍子提取中输出的检测输出信号的自相关，并推算所述输入音乐信号的节拍值；以及

输出在所述节拍值推算中推算出来的节拍值。

21.如权利要求20所述的节拍值推算方法，其特征在于，所述拍子提取包括以下步骤：

计算所述输入音乐信号的功率谱；以及

22.一种节奏跟踪方法，包括以下步骤：

检测在所述拍子提取中输出的检测输出信号的自相关，并推算所述输入音乐信号的节拍值；

通过在所述节拍值推算中推算出来的节拍值的基础上控制可变频率振荡器的振荡中心频率、将来自所述可变频率振荡器的所述输出振荡信号的相位与在所述拍子提取中输出的检测输出信号的相位相比较、并向所述可变频率振荡器供给所得的比较误差信号来进行相位控制，从而来跟上所述拍子；以及

在所述可变频率振荡器所输出的振荡信号的基础上生成并输出与所述输入音乐信号的拍子同步的拍子同步信号。

23.如权利要求22所述的节奏跟踪方法，其特征在于，所述拍子提取包括以下步骤：

计算所述输入音乐信号的功率谱；以及

24.一种音乐同步显示方法，包括以下步骤：

检测在所述拍子提取步骤中输出的所述检测输出信号的自相关，并推算所述输入音乐信号的节拍值；

通过在所述节拍值推算中推算出来的节拍值的基础上控制可变频率振荡器的振荡中心频率、将来自所述可变频率振荡器的输出振荡信号的相位与在所述拍子提取中输出的检测输出信号的相位相比较、并向所述可变频率振荡器供给所得的比较误差信号来进行相位控制，从而来跟上所述拍子；

在所述可变频率振荡器所输出的振荡信号的基础上生成并输出与所述输入音乐信号的拍子同步的拍子同步信号；

从以与音乐内容的标识信息对应的方式存储属性信息的属性信息存储装置获取所述输入音乐信号的属性信息，所述属性信息至少包含以所述音乐内容的乐曲素材为单位的乐曲构成信息的时序信息；以及

与在拍子同步信号生成和输出中输出的拍子同步信号同步地参考在所述属性信息获取中所获取的所述输入音乐信号的属性信息的时序信息，在所述乐曲构成信息的基础上与所述输入音乐信号同步地生成要在显示屏幕上显示的显示信息，并将所述显示信息输出到显示装置。

25.如权利要求24所述的音乐同步显示方法，其特征在于，所述拍子提取包括以下步骤：

计算所述输入音乐信号的功率谱；

26.一种拍子提取设备，包括：

拍子提取器，它被配置成检测输入音乐信号的声谱图中功率谱急剧变化的部分、并与所述输入音乐信号同步地输出与所述变化部分在时间上同步的检测输出信号。

27.一种音乐同步图像显示设备，包括：

拍子提取器，它被配置成检测输入音乐信号的声谱图中功率谱急剧变化的部分、并在时间上与所述输入音乐信号同步地输出与所述变化部分在时间上同步的检测输出信号；以及

同步图像显示装置，它被配置成在来自所述拍子提取器的输出信号的基础上显示与所述输入音乐信号同步的图像。

28.一种节拍值检测设备，包括：

拍子提取器，它被配置成检测输入音乐信号的声谱图中功率谱急剧变化的部分、并与所述输入音乐信号同步地输出与所述变化部分在时间上同步的检测输出信号；

节拍值推算装置，它被配置成检测来自所述拍子提取器的检测输出信号的自相关，并推算所述输入音乐信号的节拍值；以及

输出装置，它被配置成输出由所述节拍值推算装置推算出来的节拍值。

29.一种节奏跟踪设备，包括：

拍子提取装置，它被配置成检测输入音乐信号的声谱图中功率谱急剧变化的部分、并与所述输入音乐信号同步地输出与所述变化部分在时间上同步的检测输出信号；

节拍值推算装置，它被配置成检测来自所述拍子提取器的检测输出信号的自相关，并推算所述输入音乐信号的节拍值；

相位比较器，它被配置成将来自所述可变频率振荡器的输出振荡信号的相位与所述拍子提取器的检测输出信号的相位相比较，并向所述可变频率振荡器供给所得的比较误差信号作为所述相位控制信号；以及

输出装置，它被配置成在所述可变频率振荡器的输出振荡信号的基础上生成并输出与所述输入音乐信号的拍子同步的拍子同步信号。

30.一种音乐同步显示设备，包括：

相位比较器，它被配置成将来自所述可变频率振荡器的输出振荡信号的相位与所述拍子提取器的检测输出信号的相位相比较，并向所述可变频率振荡器供给所得的比较误差信号作为所述相位控制信号；

拍子同步信号生成和输出装置，它被配置成在所述可变频率振荡器的输出振荡信号的基础上生成并输出与所述输入音乐信号的拍子同步的拍子同步信号；

属性信息存储装置，其中以与音乐内容的标识信息对应的方式存储了属性信息，所述属性信息至少包含以所述音乐内容的乐曲素材为单位的乐曲构成信息的时序信息；

属性信息获取装置，它被配置成从所述属性信息存储装置获取所述输入音乐信号的属性信息；以及

显示信息生成器，它被配置成与来自所述拍子同步信号生成和输出装置的拍子同步信号同步地参照由所述属性信息获取装置获取的所述输入音乐信号的属性信息的时序信息，在所述乐曲构成信息的基础上生成要与所述输入音乐信号的回放同步地在显示屏幕上显示的显示信息，并将所述显示信息输出到显示装置。