KR20040000796A - 멜로디 기반 검색이 가능한 음악 재생장치 - Google Patents

Abstract

본 발명은 음악 재생장치에서 멜로디를 기반으로 하여 음악(곡)을 검색할 수 있도록 한 음악 재생장치에 관한 것이다.

본 발명의 음악 재생장치는, 음악 검색을 위한 질의를 허밍 등의 오디오 신호로 입력하기 위한 입력수단, 상기 입력된 질의 오디오 신호에 대하여 그 멜로디 특징을 추출하고 추출된 특징정보를 검색 대상인 음악 데이터의 특징정보와 비교하여 검색하는 특징기반 검색수단, 상기 검색수단의 검색 결과에 따라 해당 음악을 선곡하는 선곡수단, 재생할 음악 데이터가 저장되는 음악 데이터 저장수단, 상기 저장된 음악 데이터에서 상기 선곡된 음악 데이터를 재생하여 출력하는 출력수단을 포함하여 이루어진다. 본 발명은 마이크를 통해서 원하는 음악의 일부분을 허밍 등의 방법으로 질의를 하고, 이 질의에 대하여 자동적으로 해당 음악을 멜로디 기반으로 검색하여 재생해 준다. 따라서, 본 발명의 음악 재생장치는 다량의 곡이 수록된 휴대용 음악 재생장치에서 곡 탐색을 위한 사용자의 어떠한 기기 수조작없이도 허밍 입력만으로 원하는 곡의 탐색과 재생이 가능하다.

Description

멜로디 기반 검색이 가능한 음악 재생장치{DEVICE FOR MUSIC REPRODUCTION BASED ON MELODY}

본 발명은 음악 재생장치에서 멜로디를 기반으로 하여 음악(곡)을 검색할 수 있도록 한 음악 재생장치에 관한 것이다.

반도체 메모리나 광 기록매체, 자기 기록매체를 저장장치로 사용하는 휴대용음악 재생 장치가 널리 이용되고 있다. 특히 오디오 압축 기술의 발전은 오디오 디코더를 채용한 휴대용 음악 재생 장치를 탄생시켰으며, 음악을 압축하여 저장함으로써 저용량의 저장 매체에 많은 음악을 저장하여 재생할 수 있게 하였다.

오디오 압축을 이용한 휴대용 음악 재생 장치에는 압축된 음악 데이터를 저장하는 매체가 부가된다. 특히 메모리의 형태나 CD의 형태로 압축된 음악 데이터가 저장된다. 그런데, 메모리의 가격대비 용량은 시간이 지남에 따라서 상승하므로 하나의 휴대용 음악 재생 장치에 부가된 저장 매체에 저장/재생 할 수 있는 음악의 수량은 기존의 CD나 테이프용 재생 장치를 통해 재생할 수 있는 음악의 수량에 비하여 대폭 늘어난다. 따라서 휴대용 음악 재생장치에서 상기와 같이 다수의 곡이 수록된 저장 매체에 저장된 음악을 검색하거나 탐색하고자 할 때, 기존의 휴대용 음악 재생 장치의 기능인 다음 곡 찾기, 이전 곡 찾기, 앞으로 빠르게 재생, 뒤로 빠르게 재생, 혹은 음악의 특정 부분만 짧은 시간에 들려주는 스캔 기능 등의 작동으로는 원하는 곡을 찾는 데는 많은 시간과 기능 작동을 필요로 한다.

즉, 다수의 음악을 저장할 수 있는 저장 매체를 이용하여 재생할 수 있는 휴대용 음악 재생 장치에서, 원하는 곡을 기존의 음악 재생 장치에 부가된 탐색 기능(다음 곡 찾기, 이전 곡 찾기, 앞으로 빠르게 재생, 뒤로 빠르게 재생, 스캔 등)에 의해서 탐색하려면 많은 시간과 반복적인 기기 조작 작업이 소요된다. 특히 휴대용 MP3/CD 플레이어와 같은 재생 장치에서는 그 저장 매체에 수십곡 이상의 많은 곡들을 저장 할 수 있기 때문에 다른 부가적인 입력 장치 없이 기존의 탐색 기능만으로 원하는 음악을 찾기는 쉽지 않다.

본 발명의 목적은 음악 재생장치에서 청취를 원하는 곡을 탐색할 때 사용자가 입력하는 멜로디를 기반으로 하여 해당 멜로디를 포함하는 곡을 자동으로 검색하여 재생해 줄 수 있도록 한 멜로디 기반 검색이 가능한 음악 재생장치를 제공하는데 있다.

본 발명의 또 다른 목적은 휴대용 음악 재생 장치와 같이 곡의 검색과 탐색을 위해 부가적인 입력 장치와 표시 장치가 부착되지 않는 음악 재생 장치에서 원하는 곡을 쉽고 편리하게 찾아 재생할 수 있는 멜로디 기반 검색이 가능한 음악 재생장치를 제공하는데 있다.

본 발명의 또 다른 목적은 휴대용 음악 재생장치에서 부가적인 입력 장치가 없는 환경에서도 사용자의 허밍(Humming)이나 노래 입력만으로도 원하는 곡을 찾아 재생해 줄 수 있도록 한 멜로디 기반 검색이 가능한 음악 재생장치를 제공하는데 있다.

도1은 본 발명의 음악 재생장치 제1실시예의 구성을 나타낸 블럭도

도2는 본 발명에서 멜로디 특정 추출과정을 나타낸 도면

도3은 본 발명에서 부분음 개선을 설명하기 위한 도면

도4는 본 발명에서 하모닉 합산을 설명하기 위한 도면

도5는 본 발명에서 노트 에너지 산출을 설명하기 위한 도면

도6은 본 발명에서 노트 분할을 설명하기 위한 도면

도7은 본 발명의 음악 재생장치 제2실시예의 구성을 나타낸 블럭도

도8은 본 발명의 음악 재생장치를 위하여 PC에서 음악 데이터 및 그 특징정보를 추출하여 매체에 기록하기 위한 방법의 예를 나타낸 도면

상기 목적을 달성하기 위한 본 발명의 음악 재생장치는, 음악 검색을 위한 질의를 오디오 신호로 입력하기 위한 입력수단, 상기 입력된 질의 오디오 신호에 대하여 그 특징을 추출하고 추출된 특징정보를 검색 대상인 음악 데이터의 특징정보와 비교하여 검색하는 특징기반 검색수단, 상기 검색수단의 검색 결과에 따라 해당 음악을 선곡하는 선곡수단, 재생할 음악 데이터가 저장되는 음악 데이터 저장수단, 상기 저장된 음악 데이터에서 상기 선곡된 음악 데이터를 재생하여 출력하는출력수단을 포함하여 이루어지는 것을 특징으로 하는 음악 재생장치이다.

또한 본 발명의 음악 재생장치에서 상기 오디오 질의와 그에 따른 특징정보의 추출 및 비교검색이 허밍 입력과 음악의 멜로디 특징인 것을 특징으로 한다.

또한 본 발명의 음악 재생장치에서, 상기 특징기반 검색수단은 질의 오디오 신호에서 멜로디 특징을 추출하는 질의 멜로디 특징 추출수단, 음악 데이터에서 멜로디 특징을 추출하는 음악 데이터 멜로디 특징 추출수단, 상기 추출된 음악 데이터 멜로디 특징정보가 저장되는 저장수단, 상기 저장된 음악 데이터 멜로디 특징정보와 상기 추출된 질의 멜로디 특징정보의 유사도를 산출하여 검색 결과를 출력하는 유사도 산출수단으로 이루어지는 것을 특징으로 한다.

또한 본 발명의 음악 재생장치에서, 상기 음악 데이터 저장수단이 음악 데이터에 대하여 추출된 멜로디 특징정보를 저장하고, 상기 특징기반 검색수단은 질의 오디오 신호에서 멜로디 특징을 추출하는 질의 멜로디 특징 추출수단, 상기 저장된 음악 데이터 멜로디 특징정보를 로딩하기 위한 로딩수단, 상기 로딩된 음악 데이터 멜로디 특징정보가 저장되는 저장수단, 상기 저장된 음악 데이터 멜로디 특징정보와 상기 추출된 질의 멜로디 특징정보의 유사도를 산출하여 검색 결과를 출력하는 유사도 산출수단으로 이루어지는 것을 특징으로 한다.

또한 본 발명의 음악 재생장치에서, 상기 음악 데이터의 멜로디 특징 추출 및 저장은 음악 재생장치에 새로운 음악 데이터를 입력할 때 추출 및 저장하거나, 전원을 온 시킬 때마다 추출 및 저장하며, 상기 음악 데이터의 멜로디 특징정보 로딩 및 저장은 음악 재생장치에 새로운 음악 데이터 및 그 특징정보를 입력할 때 로딩 및 저장하거나, 전원을 온 시킬 때마다 로딩 및 저장함을 특징으로 한다.

또한 본 발명의 음악 재생장치에서, 상기 특징기반 검색수단은 검색에 사용될 질의 오디오나 음악 데이터에 대해서, 스펙트로그램 구성, 부분음 개선, 하모닉 합산, 프레임별 노트 에너지 벡터 산출, 노트 경계 분할, 노트 프래그먼트 구성의 과정을 수행하여 특징정보를 추출하는 것을 특징으로 한다.

또한 본 발명의 음악 재생장치에서, 상기 유사도 산출수단은 음악 멜로디 특징과 질의 멜로디 특징의 시간적인 차이, 부분적인 변이, 음악과 질의 입력의 전체적인 음 높이 차이 등을 고려하여 유사도를 측정하는 것을 특징으로 한다.

상기한 바와 같이 본 발명은 휴대용 음악 재생 장치의 이어폰에 부가된 마이크 등의 입력장치를 이용해서, 검색하고자 하는 음악(곡)의 주요 멜로디를 허밍이나 노래로 입력하고, 그 멜로디가 포함되는 음악을 검색하는 장치로서, 도1은 본 발명의 음악 재생장치 제1실시예에 따른 구성을 보여주고 있다.

도1을 참조하면 본 발명의 멜로디 기반 검색이 가능한 음악 재생장치는, 사용자의 허밍이나 노래를 입력하기 위한 오디오 입력부(11), 상기 오디오 입력부(11)를 통해서 입력된 신호를 이용해서 멜로디 특징의 추출 및 추출된 특징정보를 이용한 음악 데이터 검색을 수행하는 멜로디 특징 추출 및 검색장치(12), 상기 멜로디 특징 추출 및 검색장치에서 출력된 검색 결과를 바탕으로 해당 곡을 선곡하기 위한 선곡부(13), 음악 데이터가 저장 및 출력되는 음악 데이터 저장매체(14), 상기 음악 데이터 저장매체(14)에 저장된 음악 데이터를 재생하여 출력하기 위한 오디오 출력부(15)를 포함하여 이루어진다.

그리고 상기 멜로디 특징 추출 및 검색장치(12)는, 오디오 입력부(11)를 통해서 입력된 허밍 신호에서 멜로디 특징을 추출하기 위한 허밍 데이터 멜로디 특징 추출부(121), 상기 추출된 허밍 멜로디 특징과 검색 대상인 음악의 멜로디 특징을 비교하여 유사도를 산출하는 유사도 산출부(122)와, 검색 대상인 음악 데이터의 멜로디 특징을 저장하기 위한 음악 데이터 멜로디 특징 저장부(123)와, 음악 데이터 저장매체(14)에 저장된 음악 데이터의 멜로디 특징을 추출하여 상기 저장부(123)에 저장하기 위한 음악 데이터 멜로디 특징 추출부(124)를 포함하여 이루어지고 있다.

이와 같이 구성된 본 발명의 음악 재생장치에서 이루어지는 허밍 기반 음악 검색동작을 살펴본다.

오디오 입력부(11)는 사용자가 음악(곡) 검색을 위하여 부르는 노래나 허밍음을 입력하는 장치로서, 휴대용 음악 재생 장치에 부가하여 사용할 수 있는 마이크이며, 입력된 허밍으로부터 멜로디 특징을 추출할 때 사용되는 신호의 형태로 변환하는 장치, 예를 들면 필터와 아날로그/디지털 변환기 등을 포함한다.

허밍 데이터 멜로디 특징 추출부(121)는 오디오 입력부(11)로부터 입력된 신호를 이용하여 허밍이나 노래의 멜로디 특징을 추출하는 장치로서, 허밍이나 노래의 멜로디 정보, 즉 음 높이와 음 길이에 관련된 특징을 자동으로 추출한다. 여기서, 멜로디 특징을 추출하는 방법은 후에 음악 데이터 멜로디 특징 추출부(124)에 의한 멜로디 특징 추출 동작과 함께 더욱 상세히 설명하기로 한다.

허밍 데이터 멜로디 특징 추출부(121)에서 추출된 허밍 데이터 멜로디 특징정보는 유사도 산출부(122)에 입력된다. 유사도 산출부(122)는 이 허밍 데이터 멜로디 특징정보와, 검색 대상인 음악 데이터의 멜로디 특징을 추출한 정보를 비교해서 그 유사도에 따라 검색 결과를 선곡부(13)에 입력한다.

허밍 데이터 멜로디 특징 추출부(121)로부터 추출된 허밍 데이터 멜로디 특징과 음악 데이터 멜로디 특징 추출부(124)로부터 추출된 음악 데이터 멜로디 특징은 노트 프래그먼트(note fragments)로 표현되며, 음악 검색의 입력으로 들어오는 사용자의 허밍이나 노래는 음 높이와 음 길이가 그 허밍이나 노래에 해당하는 음악의 멜로디와는 부분적으로 다르게 되는 현상이 발생하는데, 이러한 부분적인 변화를 반영하여 유사도를 산출한다.

앞서 기술한 바와 같이, 음악 데이터 멜로디 특징 추출부(124)에서 음악 데이터 저장매체(14)의 음악 데이터로부터 특징정보를 추출하여 이 것을 음악 데이터 멜로디 특징 저장부(123)에 저장하며, 상기 유사도 산출부(122)는 멜로디 특징 저장부(123)에 저장된 음악 데이터 멜로디 특징정보와 상기 허밍 데이터 멜로디 특징정보를 서로 비교해서 그 유사도에 따른 검색 결과를 선곡부(13)에 보내주는 것이다.

선곡부(13)는 유사도 산출부(122)의 검색 결과에 해당하는 곡을 선곡하여 음악 데이터 저장매체(14)로부터 오디오 출력부(15)로 해당 음악 데이터를 전달해 주고, 오디오 출력부(15)는 선곡된 음악 데이터를 처리하여 스피커나 이어폰 등의 출력장치를 이용해서 출력해 준다. 여기서 오디오 출력부(15)는 음악 데이터를 아날로그 신호로 변환하기 위한 디지털/아날로그 변환기, 증폭기, 필터 등을 포함할 수 있다.

상기 음악 데이터 멜로디 특징 저장부(123)는 음악 데이터에서 추출한 멜로디 정보를 저장하는 장치로서, 휘발성/비휘발성 메모리나, 자기 저장장치를 사용할 수 있다. 휘발성 메모리 등 저장 장치가 반영구적으로 데이터를 보관할 수 없는 경우에는 휴대용 음악 재생 장치의 전원을 켤 때마다 음악 데이터 멜로디 특징 추출부(124)가 작동되어 음악 데이터 저장매체(14)에 저장되어 있는 음악 데이터에서 멜로디 특징을 추출하여 음악 데이터 멜로디 특징 저장부(123)에 저장하고, 이 것을 멜로디 특징을 검색하는데 사용한다. 비휘발성 메모리나 자기 저장장치 등 저장 장치가 반영구적으로 데이터를 보관할 수 있는 경우에는 휴대용 음악 재생 장치에 음악 데이터 저장매체(14)를 통해 새로운 음악 데이터가 들어올 때, 한번만 음악 데이터 멜로디 특징 추출부(124)가 작동하여 음악 데이터의 멜로디 특징을 추출하고 그 추출된 정보를 음악 데이터 멜로디 특징 저장부(123)에 저장하고, 이 저장된 멜로디 특징을 상기한 검색에 사용한다.

그리고, 선곡부(13)는 유사도 산출부(122)에서 산출된 유사도를 바탕으로 허밍과의 유사도가 가장 큰 음악 데이터를 음악 데이터 저장매체(14)에서 선택하여 재생하며, 사용자의 작동에 따라 유사도가 큰 순서대로 음악을 재생한다.

음악 데이터 저장 매체(14)는 실제 재생되는 음악 데이터가 저장되는 매체로서, CD, MD, 메모리, 자기 디스크 등의 형태로 구현될 수 있으며, 저장되어있는 음악 데이터는 일정한 형식에 의하여 압축되어 있거나, 혹은 압축되지 않은 형태로 저장될 수 있다.

상기한 바와 같이 본 발명의 음악 재생장치는 마이크로 입력된 허밍음에서멜로디 특징을 추출하고, 이 추출된 멜로디 특징을 음악 데이터에서 추출한 멜로디 특징과 비교하여 사용자가 희망하는 곡을 자동으로 검색하여 선곡 및 출력해주는 것이다.

다음에는 앞서 기술한 멜로디 특징 추출부(121, 124)에 의한 허밍 또는 음악 데이터로부터의 멜로디 특징정보 추출방법에 대해서 설명한다.

멜로디 특징 추출부는 허밍이나 음악의 멜로디 정보, 즉 음 높이와 음 길이에 관련된 특징을 자동으로 추출하여 멜로디 특징을 추출하는데, 오디오 신호의 시간적인 주파수 변화를 파악할 수 있는 스펙트로그램 구성, 사람의 귀에 잘 들리는 음에 해당하는 주파수 성분을 추출하는 부분음 개선, 음 높이에 해당하는 주파수를 추출하는 하모닉 합산, 음악에서 사용하는 음 높이 단위로 주파수의 에너지를 변환하는 노트 에너지 벡터 산출, 일정한 음 높이가 지속되는 구간으로 시간상에서 분할하는 노트(note) 경계 분할, 유사도 산출 장치에서 사용할 수 있는 멜로디 특징을 구성하는 노트 프래그먼트 구성을 통해서 멜로디 특징을 추출한다.

도2에 이와 같은 멜로디 특징 추출과정을 나타내었다. 이 과정은 하드웨어(장치) 또는 소프트웨어(알고리즘) 어느 쪽으로도 구현 가능하다.

도2를 살펴보면 본 발명에 적용된 멜로디 특징 추출장치는, 멜로디 특징정보를 추출하기 위한 제1특징정보 추출부(21)가 스펙트로그램 구성부(211), 부분음 개선부(212), 하모닉 합산부(213), 프레임별 노트 에너지 벡터 산출부(214)를 포함하여 이루어지고, 제2특징정보 추출부(22)는 세그멘테이션을 위하여 상기 부분음 개선정보를 이용해서 프레임별 에너지의 산출부(221), 산출된 프레임별 에너지로부터극소점의 추출부(222)를 포함하여 이루어지고, 상기 제3특징정보 추출부(23)는 세그먼트별로 특징정보의 추출 즉, 상기 프레임별 노트 에너지 벡터 및 프레임별 에너지의 극소점을 이용한 세그먼트 노트 에너지 벡터의 산출부(231), 세그먼트 노트 에너지 벡터로부터 노트 프래그먼트의 구성부(232)로 이루어진다.

상기 도2 및 이하 설명될 도3 내지 도6을 참조하여 멜로디 특징정보를 추출하는 과정에 대해서 설명한다.

1. 스펙트로그램 구성(spectrogram construction)

멜로디 특징 추출을 위하여 신호에 대한 주파수 특성을 시간적으로 해석할 수 있는 스펙트로그램 구성을 수행하는데, 스펙트로그램 구성부(211)에 의해서 스펙트로그램을 구성하는 데는 고속 푸리어 변환(FFT, Fast Fourier Transform)을 사용한다.

2. 부분음 개선(partial enhancing]

부분음 개선은 다중음으로 구성된 보통의 음악 클립에서 중요한 음(predominant sound, 사람에게 쉽게 잘 들리는 소리 즉, 뚜렷한 음)을 추출해 내기 위한 처리 작업으로서 부분음 개선부(212)에 의해서 이루어진다. 음악은 여러 가지의 요소음으로 구성이 되는데, 이 중에서 중요한 음은 큰 에너지와 선명한 부분음(partial)들을 가지는 요소음으로 결정된다. 여러 가지의 소리가 섞여있는 음악의 경우에 하나의 요소음은 다른 요소음들이 갖는 부분음들에 의해서 그 부분음이 사라지거나 선명도가 떨어지게 된다. 따라서 선명한(뚜렷한) 부분음을 추출하기 위하여 부분음 개선 처리를 수행한다.

이 과정은 뚜렷한 부분음을 추출해 내기 위해서 현재 FFT 인덱스와 주위 FFT 인덱스의 에너지 값의 차이를 평균하여 부분음을 개선하는 과정이다.

도3의 (a)는 부분음 개선 전의 주파수별 에너지 스펙트럼 분포를 보여주고 있으며, 도3의 (b)는 부분음 개선 후의 주파수별 에너지 스펙트럼 분포를 보여주고 있다. 도3에서 알 수 있는 바와 같이 부분음 개선을 수행하면 주변의 에너지보다 상대적으로 작은 부분음은 사람의 귀에 잘 들리지 않고, 상대적으로 큰 부분음은 사람의 귀에 잘 들린다는 특징을 반영하게 되고, 이는 사람에게 쉽게 잘 들리는 소리의 부분음의 에너지를 강화하는 효과를 가져오게 된다. 부분음 개선의 결과는 후단의 하모닉 합산부(213)를 위해서 제공되는 한편, 세그멘테이션을 위한 프레임별 에너지 산출부(221)를 위해서도 제공된다.

3. 하모닉 합산(harmonic sum)

위와 같이 개선된 부분음을 입력으로 하여 하모닉 합산이 하모닉 합산부(213)에 의해서 이루어진다. 하모닉 합산과정에서는 개선된 부분음을 주파수 영역에서 등 간격으로 에너지를 합산하여 프레임별 피치값을 추출한다. 또한 합산된 부분음의 수로 합산 값을 정규화하며, 합산의 고려 대상을 FFT 크기의 절반보다 작게 설정한다.

음의 인식에 가장 중요한 요소는 음의 하모닉 특성(harmonicity)이다. 사람의 발성이나 악기의 연주에 의한 소리는 발생기관의 특성에 의해서 주파수 영역에서 부분음들이 일정한 간격으로 나타나게 된다. 음의 인식은 이러한 부분음들이 얼마나 하모닉 특성을 갖는가를 인지하는 과정이다.

도4에 하모닉 합산의 효과를 예로 나타내었다. 도4에 나타낸 바와 같이 개선된 부분음 스펙트럼을 기반으로 하여 하모닉 합산을 수행하면 기본 주파수 p에 해당하는 음의 크기 즉, 주파수별 에너지를 알 수 있게 된다.

4. 노트 에너지 계산 (note energy calculation)

프레임별 노트 에너지 벡터의 산출은 상기 하모닉 합산의 결과를 이용해서 프레임별로 노트 에너지 벡터(note energy vector)를 산출하는 것으로, 이는 프레임별 노트 에너지 벡터 산출부(214)에 의해서 이루어진다. 프레임별 노트 에너지 벡터 산출 과정에서는 음악의 표준 음계 대역별로 하모닉 합산 값을 구한다. 즉, 노트 에너지를 산출할 때 108개의 표준 음계 대역을 사용한다. 그리고 노트 대역 경계에서의 에너지 값을 FFT 인덱스에서의 에너지 값을 이용하여 보간(interpolation)해서 사용한다.

사람이 음을 인식하는 데는 어느 정도 분해능이 있기 때문에 기본 주파수 별로 하모닉 합산으로 표현한 신호를 대역별로 분리해서 표현한다. 음악에서는 표준적으로 사용하는 음계가 있기 때문에 그 표준음계에 해당하는 대역별로 신호를 표현한다. 표준음계는 C0음에 해당하는 16.532Hz부터 B8음에 해당하는 7902.1Hz까지 걸쳐있는데, 각 음별로 상한과 하한이 결정된다. 현대 음악은 옥타브 당 12음으로 나뉘어지고, 이러한 체계의 음계로 표현된 음 사이의 관계로부터 표준음계와 대역에 의해서 하모닉 합산에 대한 대역별 에너지를 구하게 되는데, 이를 노트 에너지(note energy)라 한다.

각 프레임의 노트 에너지는 108개의 요소를 가지는 벡터로 표시된다. 노트에너지로 음을 표현하면, 음의 시간적인 미세한 차이(바이브레이션 등)를 하나의 음으로 표현할 수 있고, 이후에 매칭의 과정에서 피치 시프트 과정이 간편해진다.

도5는 노트 에너지의 산출과정을 보여준다. 도5의 (a)는 FFT 인덱스에서의 하모닉 합산값과 인접한 하모닉 합산값을 이용해서 보간(interpolation)된 값이며, (b)는 FFT 인덱스, (c)는 노트 인덱스를 각각 나타내고 있다. 도5에서 알 수 있듯이 오디오 신호의 주기적인 성질을 이용해서 구한 하모닉 합산값에 대한 대역별 에너지 즉, 노트 에너지로 음을 표현하였으며, 도5의 (a)와 같은 하모닉 합산값을 기반으로 하여 (c)에 나타낸 바와 같이 노트 C2, C#2, D2, D#2, E2, F2 에 대한 에너지를 산출하였다.

이와 같이 구한 프레임별 노트 에너지 벡터는 세그먼트 노트 에너지 벡터의 산출을 위하여 제공된다.

5. 노트 분할(note segmentation)

노트 분할과정 즉, 음(계) 세그멘테이션 과정은 음의 성격이 같은 프레임들을 하나의 세그먼트로 묶는 과정으로, 이 과정을 통해 멜로디 특징을 세그먼트로 표현함으로써 저장과 매칭에 필요한 데이터의 양을 줄일 수 있게 한다. 즉, 노트 경계의 분할 과정은 상기 추출한 개선된 부분음의 프레임별 에너지의 극소점들 중에서 일정한 프레임 간격 내에서의 최소점이 극소점이 되는 점들을 세그먼트의 경계점으로 선택하는 방법으로 노트 분할을 수행하는 것이다.

사람이나 악기가 하나의 음을 내기 위해서는 일정 시간동안 경과음을 발생시키는데 이 시간동안에는 음의 에너지 값이 작다. 여러 소리가 섞여있는 음악에서중요한 음의 에너지 변화를 얻어내기 위해서 개선된 부분음 스펙트럼을 사용하여 에너지를 구한다. 이 개선된 부분음 스펙트럼으로부터 얻어진 에너지가 시간적으로 변하게 되는데, 개선된 부분음의 프레임별 에너지의 극소점들 중에서 일정한 프레임 간격 내에서의 최소점이 극소점이 되는 점들을 세그먼트의 경계점으로 설정한다.

도6은 노트 분할 과정의 예를 보여준다. 즉, 제2특징정보 추출부(22)에서 프레임별 에너지 산출부(221)과 극소점 추출부(222)를 통해서 노트 분할을 수행하는데, 부분음 개선을 통해서 개선된 부분음을 입력으로 하여, 개선된 부분음의 프레임 에너지를 구하고, 구해진 프레임 에너지의 극소점들 중에서 일정한 프레임 간격 내에서 최소점이 극소점이 되는 점들을 세그먼트의 경계점으로 설정하는 것이다. 이와 같은 방법으로 노트 분할을 수행하고, 구해진 노트 분할의 경계점에 관한 정보를 제3특징정보 추출부(23)의 세그먼트 노트 에너지 벡터 산출부(231)를 위해서 제공한다.

6. 노트 프래그먼트 구성(note fragment construction)

노트 프래그먼트 구성은 하나의 세그먼트안에 포함되어 있는 프레임 노트 에너지 벡터들의 요소 값 평균으로 세그먼트 노트 에너지를 나타내어 노트 프래그먼트를 구성하는 과정이다. 노트 프래그먼트 구성은 상기 노트 분할 과정에서 구한 노트 경계점 내의 노트 에너지 벡터를 요소별로 평균하고 여러 개의 극대값들을 추출하여 세그먼트를 표현하는 노트 에너지 벡터를 구하는 과정이다. 이 때 세그먼트를 표현하는 노트 에너지 벡터의 산출은 노트 에너지 벡터의 요소값들의 평균으로각 요소 값을 나누어 노트 에너지 벡터를 산출할 수 있다.

노트 프래그먼트 구성은 제3특징정보 추출부(23)에서 이루어진다. 노트 프래그먼트 구성은 상기 노트 세그멘테이션 과정에서 구해진 노트분할 정보와, 제1특징정보 추출부(21)의 프레임별 노트 에너지 벡터 산출부(214)를 통해서 구해진 프레임별 노트 에너지 벡터를 이용해서 세그먼트별 노트 에너지 벡터의 산출부(231)에서 프레임별 노트 에너지 벡터의 평균을 구하여 세그먼트 노트 에너지 벡터를 구하고, 이로부터 노트 프래그먼트 구성부(232)에서 노트 프래그먼트를 구성하게 된다.

이와 같이 하여 멜로디 특징정보를 추출하였다. 상기한 멜로디 특징정보 추출 장치를 통해서 추출된 멜로디 특징정보는 음악 데이터 베이스로부터의 음악 데이터에 대한 것이거나, 입력된 질의 데이터에 대한 것이다.

따라서, 도1에 나타낸 바와 같이 음악 데이터나, 입력 질의 데이터(허밍 데이터)에 대한 멜로디 특징정보 간의 유사도 계산을 통해 검색 결과가 출력된다.

7. 유사도의 계산

유사도의 계산(similarity matching) 방법에 대해서 살펴본다. 유사도의 계산은 음악 멜로디 특징과 질의 멜로디 특징의 시간적인 차이, 부분적인 변이, 음악과 질의 입력의 전체적인 음 높이 차이 등을 고려하여 계산한다.

도7은 본 발명의 멜로디 기반 검색이 가능한 음악 재생장치의 제2실시예를 나타낸 도면으로서, 사용자의 허밍이나 노래를 입력하기 위한 오디오 입력부(11), 상기 오디오 입력부(11)를 통해서 입력된 신호를 이용해서 멜로디 특징의 추출 및 추출된 특징정보를 이용한 음악 데이터 검색을 수행하는 멜로디 특징 추출 및 검색장치(12), 상기 멜로디 특징 추출 및 검색장치에서 출력된 검색 결과를 바탕으로 해당 곡을 선곡하기 위한 선곡부(13), 음악 데이터 및 음악 데이터의 멜로디 특징정보가 저장 및 출력되는 음악 데이터 및 멜로디 특징 저장매체(14a), 상기 저장매체(14a)에 저장된 음악 데이터를 재생하여 출력하기 위한 오디오 출력부(15)를 포함하여 이루어진다.

그리고 상기 멜로디 특징 추출 및 검색장치(12)는, 오디오 입력부(11)를 통해서 입력된 허밍 신호에서 멜로디 특징을 추출하기 위한 허밍 데이터 멜로디 특징 추출부(121), 상기 추출된 허밍 멜로디 특징과 검색 대상인 음악의 멜로디 특징을 비교하여 유사도를 산출하는 유사도 산출부(122)와, 검색 대상인 음악 데이터의 멜로디 특징을 저장하기 위한 음악 데이터 멜로디 특징 저장부(123)와, 음악 데이터 및 멜로디 특징 저장매체(14a)에 저장된 음악 데이터의 멜로디 특징을 로딩하여 상기 저장부(123)에 저장하기 위한 음악 데이터 멜로디 특징 로딩부(124a)를 포함하여 이루어지고 있다.

도7의 본 발명 음악 재생장치 제2실시예에서 상기 도1의 본 발명 음악 재생장치 제1실시예와 동일한 구성요소에 대해서는 동일한 부호로 표기하여 중복되는 설명은 도1을 참조하고 생략한다.

도7의 본 발명 음악 재생장치 제 2실시예에서는 저장 매체(14a)에 음악 데이터와 함께 그 음악 데이터의 멜로디 특징정보가 추출되어 저장되어 있으며, 이 저장매체(14a)에 저장된 음악 데이터 멜로디 특징정보를 로딩부(124a)를 통해서 음악 데이터 멜로디 특징 저장부(123)에 저장하는 점이 도1의 제 1실시예와 달라진 점이다.

즉, 음악 데이터 멜로디 특징 로딩부(124a)는 음악 데이터 및 멜로디 특징 저장 매체(14a)에 저장되어 있는 음악의 멜로디 정보, 즉 음 높이와 음 길이에 관련된 특징을 로딩하여 음악 데이터 멜로디 특징 저장부(123)에 저장한다.

음악 데이터 멜로디 특징 저장부(123)는 음악 데이터 및 멜로디 특징 저장 매체(14a)로부터 로딩한 음악 데이터 멜로디 특징정보를 저장하는 장치로서, 휘발성/비휘발성 메모리나, 자기 저장장치를 사용할 수 있다.

휘발성 메모리 등 저장 장치가 반영구적으로 데이터를 보관할 수 없는 경우에는 휴대용 음악 재생 장치의 전원을 켤 때마다 음악 데이터 멜로디 특징 로딩부(124a)가 작동되어 음악 데이터 및 멜로디 특징 저장 매체(14a)에 저장되어 있는 멜로디 특징을 로딩하여 저장하고, 이 멜로디 특징을 검색에 사용한다.

비휘발성 메모리나 자기 저장장치 등 저장 장치가 반영구적으로 데이터를 보관할 수 있는 경우에는 휴대용 음악 재생 장치에 음악 데이터 및 멜로디 특징 저장 매체(14a)를 통해 새로운 음악 데이터 및 멜로디 특징이 들어올 때, 한번만 음악 데이터 멜로디 특징 로딩부(124a)가 작동하여 음악 데이터의 멜로디 특징을 로딩하여 음악 데이터 멜로디 특징 저장부(123)에 저장하고, 이 멜로디 특징을 검색에 사용한다.

유사도 산출부(122)는 허밍 데이터로부터 추출된 멜로디 특징과 음악 데이터 및 멜로디 특징 저장 매체(14a)로부터 로딩되어 특징 저장부(123)에 저장된 멜로디 특징을 비교하여 허밍과 음악 데이터와의 유사도를 산출한다.

선곡부(13)는 유사도 산출부(122)에서 산출된 유사도를 바탕으로 허밍과의 유사도가 가장 큰 음악 데이터를 선택하여 재생한다.

음악 데이터 및 멜로디 특징 저장 매체(14a)는 실제 재생되는 음악과 음악 데이터에서 추출된 음악 데이터 멜로디 특징이 저장되는 매체로서, CD, MD, 메모리, 자기 디스크 등의 형태로 구현될 수 있으며, 저장되어있는 음악 데이터는 일정한 형식에 의하여 압축되어 있거나, 혹은 압축되지 않은 형태로 저장될 수 있다.

도7에 나타낸 본 발명의 음악 재생장치 제 2실시예에 따르면 음악 데이터에 대한 멜로디 특징 정보가 미리 저장매체(14a)에 음악 데이터와 함께 저장되어 있음을 알 수 있다. 따라서, 이 음악 재생장치의 검색 기능을 이용하기 위해서는 먼저 음악 데이터로부터 멜로디 특징을 추출하는 과정을 수행한다. 이를 위하여 음악 데이터 멜로디 특징 추출수단(도2 참조)이 휴대용 음악 재생 장치내에 존재하지 않고, 개인용 컴퓨터(PC) 등의 소프트웨어 등으로 음악 데이터로부터 멜로디 특징을 추출한다. 추출된 멜로디는 개인용 컴퓨터 등의 매체 기록 장치를 통해서 음악 데이터와 함께 음악 데이터 및 멜로디 특징 저장매체(14a)에 저장한다.

이 매체(14a)를 휴대용 음악 재생 장치에 입력하고, 멜로디 특징을 로딩하여 음악 검색에 사용하게 되는 것이다.

휴대용 음악 재생 장치의 음악 데이터 멜로디 특징 저장부(123)가 휘발성 메모리인 경우에는, 휴대용 음악 재생 장치의 음악 데이터 저장장치에 음악 데이터를 넣거나 휴대용 음악 재생 장치에 전원을 켜는 때에 음악 데이터 및 멜로디 특징 저장 매체(14a)에 저장된 멜로디 특징을 로딩하여 음악 데이터 멜로디 특징저장부(123)에 저장한다. 또는 휴대용 음악 재생 장치의 음악 데이터 멜로디 특징 저장부(123)가 비휘발성 메모리이거나 자기 저장 장치인 경우에는, 휴대용 음악 재생 장치의 음악 데이터 저장 장치에 음악 데이터 및 멜로디 특징 저장 매체(14a)를 넣는 때에 음악 데이터 멜로디 특징을 로딩하여 음악 데이터 멜로디 특징 저장부(123)에 저장한다.

도8은 PC에 탑재될 수 있는 음악 데이터 멜로디 특징정보 추출수단과, 그 추출된 특징정보를 음악 데이터와 함께 저장매체에 기록하는 방법의 예를 보여준다.

음악 데이터 저장부(81), 이 저장된 음악 데이터로부터 멜로디 특징을 추출하는 음악 데이터 멜로디 특징 추출부(82), 추출된 음악 데이터 멜로디 특징을 저장하는 음악 데이터 멜로디 특징 저장부(83), 저장된 음악 데이터 멜로디 특징정보를 매체에 기록하기 위한 매체 기록장치(84) 및 기록장치에 의해서 음악 데이터와 그 멜로디 특징정보가 기록된 저장매체(85)를 보여주고 있다.

음악 데이터 저장부(81)는 멜로디 특징을 추출할 대상이 되는 음악 데이터를 저장하고 있는 저장공간이며, 여기에 저장된 음악 데이터로부터 음악 데이터 멜로디 특징 추출부(82)가 앞서 기술한 도2와 같은 방법으로 음악 데이터의 멜로디 특징을 추출하고, 추출된 멜로디 특징은 음악 데이터 멜로디 특징 저장부(83)에 저장된다. 음악 데이터 멜로디 특징 저장부(83)는 상기 추출된 음악 데이터 멜로디 특징정보가 저장되는 공간이다. 여기에 저장된 음악 데이터 멜로디 특징정보는 매체 기록장치(84)를 이용해서 음악 데이터와 함께 저장매체(85)에 저장된다.

매체 기록장치(84) 및 저장매체(85)는 광 기록장치/매체이거나, 반도체 메모리 소자이거나, 자기 기록 장치/매체일 수 있다. 저장매체(85)는 도7에서 음악 데이터 및 멜로디 특징 저장매체(14a)에 해당한다.

위와 같은 방법으로 추출되어 저장된 음악 데이터 멜로디 특징과 사용자가 원하는 음악의 부분에 해당하는 멜로디로부터 추출한 허밍 데이터 멜로디 특징을 유사도 산출과정을 통해서 비교하고 그 결과를 출력한다. 사용자는 상위로 검색된 멜로디들을 청취하면서 자신이 원하는 음악을 선택하여 음악을 재생할 수 있거나, 또는 최상위(가장 유사한 곡)로 검색된 음악을 자동으로 선택하여 재생할 수 있다.

본 발명은 음악 재생장치의 저장매체에 저장된 음악을 검색함에 있어서, 다른 부가 입력장치 없이도 마이크를 통해서 원하는 음악의 일부분을 허밍 등의 방법으로 질의를 하고, 이 질의에 대하여 자동적으로 해당 음악을 멜로디 기반으로 검색하여 재생해 준다. 따라서, 본 발명의 음악 재생장치는 다량의 곡이 수록된 휴대용 음악 재생장치에서 곡 탐색을 위한 사용자의 번거로운 기기 조작없이도 허밍 입력만으로 원하는 곡의 탐색과 재생이 가능하다.

Claims (8)

1. 음악 검색을 위한 질의를 오디오 신호로 입력하기 위한 입력수단, 상기 입력된 질의 오디오 신호에 대하여 그 특징을 추출하고 추출된 특징정보를 검색 대상인 음악 데이터의 특징정보와 비교하여 검색하는 특징기반 검색수단, 상기 검색수단의 검색 결과에 따라 해당 음악을 선곡하는 선곡수단, 재생할 음악 데이터가 저장되는 음악 데이터 저장수단, 상기 저장된 음악 데이터에서 상기 선곡된 음악 데이터를 재생하여 출력하는 출력수단을 포함하여 이루어지는 것을 특징으로 하는 음악 재생장치.
2. 제 1 항에 있어서, 상기 오디오 질의와 그에 따른 특징정보의 추출 및 비교검색이 허밍 입력과 음악의 멜로디 특징인 것을 특징으로 하는 음악 재생장치.
3. 제 1 항에 있어서, 상기 특징기반 검색수단은 질의 오디오 신호에서 멜로디 특징을 추출하는 질의 멜로디 특징 추출수단, 음악 데이터에서 멜로디 특징을 추출하는 음악 데이터 멜로디 특징 추출수단, 상기 추출된 음악 데이터 멜로디 특징정보가 저장되는 저장수단, 상기 저장된 음악 데이터 멜로디 특징정보와 상기 추출된 질의 멜로디 특징정보의 유사도를 산출하여 검색 결과를 출력하는 유사도 산출수단을 포함하여 이루어지는 것을 특징으로 하는 음악 재생장치.
4. 제 1 항에 있어서, 상기 음악 데이터 저장수단이 음악 데이터에 대하여 추출된 멜로디 특징정보를 저장하고, 상기 특징기반 검색수단은 질의 오디오 신호에서 멜로디 특징을 추출하는 질의 멜로디 특징 추출수단, 상기 저장된 음악 데이터 멜로디 특징정보를 로딩하기 위한 로딩수단, 상기 로딩된 음악 데이터 멜로디 특징정보가 저장되는 저장수단, 상기 저장된 음악 데이터 멜로디 특징정보와 상기 추출된 질의 멜로디 특징정보의 유사도를 산출하여 검색 결과를 출력하는 유사도 산출수단을 포함하여 이루어지는 것을 특징으로 하는 음악 재생장치.
5. 제 3 항에 있어서, 상기 음악 데이터의 멜로디 특징 추출 및 저장은 음악 재생장치에 새로운 음악 데이터를 입력할 때 추출 및 저장하거나, 전원을 온 시킬 때마다 추출 및 저장함을 특징으로 하는 음악 재생장치.
6. 제 4 항에 있어서, 상기 음악 데이터의 멜로디 특징정보 로딩 및 저장은 음악 재생장치에 새로운 음악 데이터 및 그 특징정보를 입력할 때 로딩 및 저장하거나, 전원을 온 시킬 때마다 로딩 및 저장함을 특징으로 하는 음악 재생장치.
7. 제 1 항에 있어서, 상기 특징기반 검색수단은 검색에 사용될 질의 오디오나 음악 데이터에 대해서, 스펙트로그램 구성, 부분음 개선, 하모닉 합산, 프레임별 노트 에너지 벡터 산출, 노트 경계 분할, 노트 프래그먼트 구성의 과정을 수행하여 특징정보를 추출하는 것을 특징으로 하는 음악 재생장치.
8. 제 3 항 또는 제 4 항에 있어서, 상기 유사도 산출수단은 음악 멜로디 특징과 질의 멜로디 특징의 시간적인 차이, 부분적인 변이, 음악과 질의 입력의 전체적인 음 높이 차이 등을 고려하여 유사도를 측정하는 것을 특징으로 하는 음악 재생 장치.