KR100615522B1 - 음악 컨텐츠 분류 방법 그리고 이를 이용한 음악 컨텐츠 제공 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 음악 컨텐츠 분류 방법 그리고 이를 이용한 음악 컨텐츠 제공 시스템 및 그 방법에 관한 것이다.

본 발명에서는 음악 컨텐츠들을 클래식, 팝, 블루스, 가곡 등 일반적인 음악적 카테고리에 따라 분류하는 것이 아니고, 음악 컨텐츠간의 유사도를 표현하는 보다 근본적인 방법으로 음악 컨텐츠를 음색(Timbre), 리듬(Rhythm), 무드(Mood) 등으로 분류한다. 그리고 이와 같이 분류된 음악 컨텐츠를 토대로 하여 사용자가 요청한 음악 컨텐츠뿐만 아니라 비슷한 음악적 특징을 가진 음악 컨텐츠들도 함께 제공한다.

이러한 본 발명에 따르면 사용자에게 음악 컨텐츠를 다양하게 제공할 수 있으며, 또한 신뢰성을 가진 유사 음악 컨텐츠를 제공할 수 있다.

음악컨텐츠, 내용기반 음악검색, 유사음악, 유사도, 특징벡터, 벡터양자화

Description

음악 컨텐츠 분류 방법 그리고 이를 이용한 음악 컨텐츠 제공 시스템 및 그 방법{music contents classification method, and system and method for providing music contents using the classification method}

도 1은 본 발명의 실시 예에 따른 음악 컨텐츠 제공 시스템의 전체 구조도이다.

도 2는 도 1에 도시된 사용자 단말기의 구조도이다.

도 3은 도 1에 도시된 각 서버의 상세 구조도이다.

도 4는 본 발명의 실시 예에 따른 음악 컨텐츠 분류 과정을 나타낸 흐름도이다.

도 5a 및 도 5b는 본 발명의 실시 예에 따른 음악 컨텐츠 제공 과정을 나타낸 흐름도이다.

본 발명은 음악 컨텐츠 제공 시스템에 관한 것으로 더욱 상세하게 말하자면, 음악 컨텐츠를 내용 기반으로 분류하고 그에 따라 네트워크를 통하여 접속하는 사용자들에게 음악 컨텐츠를 제공하는 시스템 및 그 방법에 관한 것이다.

최근 데이터 압축기술, 인터넷, 그리고 방송기술의 발달로 개인이 접하고 보유할 수 있는 음악 컨텐츠의 양은 상상을 초월하고 있다. 하지만 사용자가 많은 양의 음악 컨텐츠들 중에서 원하는 곡을 텍스트 기반 검색방법을 이용하여 찾으려면 노래의 제목이나 가수를 미리 알고 있어야만 가능하다. 이에 대한 대안으로서 내용기반 검색 방법을 이용해서 원하는 곡을 제공하는 기술들이 꾸준히 연구되고 있다. 그러나 이러한 검색기술을 이용한 음악 컨텐츠 제공 서비스의 경우는 사용자가 찾고자 하는 음악과 동일한 음악 컨텐츠만을 제공한다.

음악 컨텐츠들을 유사음악 컨텐츠들로 분류하는 방법은 크게 장르(Genre), 가수(Singer), 그리고 음악 자체의 특징으로 분류하는 방법이 있다.

음악을 장르별로 구별하는 방법은 음색(Timbre), 리듬(Rhythm), 피치(Pitch), 그리고 음성 인식 분야에서 많이 쓰이고 있는 MFCC(Mel-frequency cepstral coefficient)를 이용하고 있다. 하지만 음악 장르에 대한 명확한 정의가 불가능하여 음악을 장르별로 분류하여 사용자에게 서비스하기에 어려움이 있다.

음악을 가수로 분류하는 방법으로는 주로 화자 인식에서 많이 사용하는 MFCC를 이용하고 GMM(Gaussian mixture model)을 사용하여 음악 컨텐츠를 가수별로 분류하는 연구가 되어 왔다. 이러한 방법들은 인식에 유용한 성분을 음성 신호로부터 뽑아내어 해당 음악의 특징으로 사용한다. 그러나 가수가 노래를 부를 때에 거의 항상 배경음악이 존재하기 때문에 배경음악과 가수의 음성 신호간의 간섭에 의하여 정확하게 특징을 추출하기 어려우며, 이에 따라 높은 성능을 기대하기 어려운 실정이다.

마지막으로 음악 컨텐츠들을 장르나 가수로 분류하지 않고 음악 자체의 특성을 이용해서 분류하는 방법이 있다. 이 방법에서 사용되는 정보는 장르별로 분류할 때 사용되는 정보들뿐만 아니라 비트(Beat)나 템포(Temp)등의 정보들도 이용한다. 이러한 분류 방법들은 짧은 사용자 쿼리(query)를 이용해서 유사 음악들을 검색하는 경우, 사용자 쿼리로부터 해당 음악의 비트나 템포 등을 확인하기 용이하지 않으므로 음악 전체에 대한 유사성을 구하기가 어렵다. 따라서 신뢰성이 높은 유사 음악 제공 서비스를 하기가 어려우며, 또한 현재까지 짧은 사용자 쿼리를 이용해서 유사음악을 제공하는 서비스는 없었다.

그러므로, 본 발명이 이루고자 하는 기술적 과제는 음악 컨텐츠들을 소정 특징들을 토대로 유사성을 가지는 컨텐츠들로 분류하고자 하는데 있다.

또한 본 발명이 이루고자 하는 기술적 과제는 이와 같이 분류되는 음악 컨텐츠들을 토대로 사용자들에게 내용기반 음악 검색 방법과 연계하여 신뢰성이 높은 유사 음악 컨텐츠를 제공하고자 하는데 있다.

이러한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 음악 컨텐츠 분류 방법은 상기 음악 컨텐츠를 구성하는 오디오 데이터로부터 해당 음악 컨텐츠의 특징을 나타내는 특징 벡터를 추출하는 단계; 상기 특징 벡터를 양자화하는 단계; 및 상기 양자화된 값을 토대로 상기 음악 컨텐츠를 분류하는 단계를 포함하고, 상기 특징 벡터는 음색 특징 벡터, 리듬 특징 벡터, 무드 특징 벡터 중 적어도 하나 를 포함한다.

본 발명의 다른 특징에 따른 음악 컨텐츠 제공 방법은 네트워크를 통하여 사용자 단말기로 음악 컨텐츠를 제공하는 시스템의 컨텐츠 제공 방법에 있어서, a) 상기 사용자 단말기로부터 오디오 쿼리가 전달되면, 상기 시스템이 오디오 쿼리를 구성하는 오디오 데이터로부터 특징 벡터를 추출하는 단계; b) 상기 시스템이 특징 벡터를 양자화하는 단계; c) 상기 양자화된 오디오 쿼리의 특징 벡터 관련 정보를 토대로 음악 컨텐츠가 특징 벡터를 토대로 하는 그룹별로 저장되어 있는 서비스 데이터베이스를 검색하여, 상기 오디오 쿼리에 해당하는 음악 컨텐츠, 상기 음악 컨텐츠와 관련된 유사 음악 컨텐츠를 검색하는 단계; 및 d) 상기 검색된 서버로부터 제공되는 오디오 쿼리에 해당하는 음악 컨텐츠, 유사 음악 컨텐츠 중 적어도 하나를 포함하는 검색 정보를 상기 사용자 단말기로 전달하는 단계를 포함한다.

또한 본 발명의 다른 특징에 따른 음악 컨텐츠 제공 시스템은 네트워크를 통하여 사용자 단말기로 음악 컨텐츠를 제공하는 시스템에서, 제공되는 음악 컨텐츠들이 특징 벡터를 토대로 하는 그룹별로 분류되어 저장되어 있는 서비스 데이터베이스; 음악 컨텐츠를 구성하는 오디오 데이터로부터 특징 벡터를 추출하고, 추출된 특징 벡터를 양자화하고 그 값에 따라 소정 그룹으로 분류하는 분류 처리 서버; 인가되는 오디오 쿼리의 특징 벡터 관련 정보를 토대로 상기 음악 서비스 데이터베이스를 검색하여, 상기 오디오 쿼리에 해당하는 음악 컨텐츠, 상기 음악 컨텐츠와 관련된 유사 음악 컨텐츠를 검색하는 검색 서버; 상기 사용자 단말기로부터 전달되는 오디오 쿼리를 상기 검색 서버로 전달하고, 상기 검색 서버로부터 제공되는 오디오 쿼리에 해당하는 음악 컨텐츠, 유사 음악 컨텐츠 중 적어도 하나를 포함하는 검색 정보를 상기 사용자 단말기로 전달하는 정보 제공 서버를 포함한다.

여기서 상기 사용자 단말기는 음악 컨텐츠가 저장되는 컨텐츠 저장부; 상기 음악 컨텐츠가 재생되는 재생부; 상기 음악 컨텐츠 관련 정보가 표시되는 인터페이스부; 상기 재생부에 의하여 재생되거나 상기 인터페이스부를 통하여 표시되는 음악 컨텐츠에 대한 오디오 쿼리를 생성하여 상기 시스템으로 전달하는 쿼리 처리부; 및 상기 시스템으로부터 전달되는 검색 정보에 포함된 음악 컨텐츠를 수신하여 상기 컨텐츠 저장부, 재생부, 인터페이스부 중 적어도 하나로 선택적으로 제공하는 컨텐츠 관리부를 포함할 수 있다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시 예를 첨부된 도면을 참조로 하여 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명의 실시 예에서는 음악 컨텐츠들을 클래식, 팝, 블루스, 가곡 등 일반적인 음악적 카테고리에 따라 분류하는 것이 아니고, 음악 컨텐츠를 직접 이용하여 음색(Timbre), 리듬(Rhythm), 무드(Mood) 등으로 음악 컨텐츠들을 분류한다.

그리고 이와 같이 분류된 음악 컨텐츠들을 토대로 하여 사용자가 요청한 음악 컨텐츠뿐만 아니라 비슷한 음악적 특징을 가진 유사 음악 컨텐츠들을 함께 제공한다.

도 1에 이러한 본 발명의 실시 예에 따른 음악 컨텐츠 제공 시스템의 개략도 가 도시되어 있으며, 도 2 및 도 3에 도 1에 도시된 사용자 단말기 및 각 서버의 구체적인 구조가 도시되어 있다.

본 발명의 실시 예에 따른 음악 컨텐츠 제공 시스템(100)은 인터넷 등의 네트워크(200)를 통하여 사용자들에게 음악 컨텐츠를 제공하기 위한 것으로, 첨부한 도 1에 도시되어 있듯이, 네트워크(200, 전화망, 인터넷, 무선 통신망 등 다양한 형태의 모든 네트워크를 포함)를 통하여 다수의 사용자 단말기(310, 320,330..., 이하 편의를 위하여 "300"으로 총칭함)에 연결되어 있다.

사용자 단말기(300)는 네트워크(200)를 통하여 시스템(100)에 접속할 수 있는 통신 장치이며, 예를 들어, 유선 전화, 이동 통신 단말기, 컴퓨터, 인터넷 접속 가능한 TV 등의 다양한 통신 장치가 사용될 수 있다. 따라서 사용자는 PC 통신, 인터넷, 무선 인터넷, 전화망 등을 이용하여 편리하고 신속하게 시스템(100)에 접속할 수 있다. 사용자들은 단말기(300)를 통하여 시스템(100)으로 보거나 듣고 있는 음악 컨텐츠의 정보와 원곡을 요청할 수 있으며, 사용자에 의하여 입력되는 쿼리(오디오 쿼리)는 단말기(300)를 통하여 시스템(100)으로 전송된다.

이를 위하여 사용자 단말기(300)는 도 2에 도시되어 있듯이, 다수의 음악 컨텐츠가 저장되어 있는 컨텐츠 저장부(310), 음악 컨텐츠를 재생하는 재생부(320), 사용자와의 인터페이스부(330), 상기 인터페이스부(330)를 통하여 입력되는 사용자의 요청에 따라 재생되는 음악 컨텐츠 또는 사용자에 의하여 선택된 음악 컨텐츠에 해당하는 오디오 쿼리를 시스템(100)으로 전송하는 쿼리 처리부(340), 시스템(100)으로 전달되는 검색 정보를 컨텐츠 저장부(310)에 저장하는 컨텐츠 관리부(350)를 포함한다. 여기서 "오디오 쿼리"는 음악 컨텐츠를 구성하는 오디오 데이터일 수 있으며, 또는 음악 컨텐츠에 대한 관련 정보일 수도 있다. 예를 들어, 사용자가 시스템(100)으로부터 제공받은 소정 음악 컨텐츠에 대하여 상세 정보를 알고 싶은 경우에는 상기 단말기(300)가 음악 컨텐츠를 시스템(100)으로부터 전송받은 시간 정보, 또는 컨텐츠 식별 정보를 포함하는 오디오 쿼리를 구성하여 시스템(100)으로 전송한다. 또는 시스템(100)에서 제공받지 않은 음악 컨텐츠인 경우에는 상기 음악 컨텐츠의 오디오 데이터를 오디오 쿼리로 구성하여 시스템(100)으로 전송한다. 여기서 인터페이스부(330)는 LCD 등의 표시 장치, 키보드 등의 입력 장치, 스피커 등의 음악 컨텐츠 재생 장치, 마이크 등을 포함할 수 있다.

이러한 사용자 단말기(300)에 연결되어 다수의 사용자들에게 음악 컨텐츠를 제공하는 시스템(100)은, 도 3에 도시되어 있듯이, 정보 제공 서버(10), 검색 서버(20), 분류 처리 서버(30), 및 데이터베이스 서버(40)를 포함한다.

데이터베이스 서버(40)에는 음악 컨텐츠 제공을 위한 다수의 정보가 저장되어 있으며, 구체적으로, 시스템에서 제공 가능한 음악 컨텐츠들이 본 발명에 따른 분류 방법에 따라 분류되어 저장되어 있는 서비스 데이터베이스(41), 사용자별로 제공된 음악 컨텐츠에 대한 정보가 저장되어 있는 서비스 처리 데이터베이스(42)를 포함하며, 이외에도 사용자의 ID, 연락처 등의 정보가 저장되는 별도의 데이터베이스를 더 포함할 수도 있다. 한편 서비스 처리 데이터베이스(42)에는 시간대별로 사용자에게 제공된 음악 컨텐츠, 또는 사용자별로 제공된 음악 컨텐츠 등의 음악 컨텐츠 제공 서비스가 어떻게 처리되었는지에 관한 정보가 저장될 수 있다.

정보 제공 서버(10)는 사용자 단말기(300)로부터 전송되는 오디오 쿼리를 검색 서버(20)로 전달하고, 이후 검색 서버(20)에 의하여 검색된 컨텐츠를 포함하는 검색 정보를 해당 사용자 단말기(300)로 전송한다. 검색 정보에는 사용자 요청한 음악 컨텐츠, 상기 요청한 음악 컨텐츠와 유사한 특징을 가지는 유사 음악 컨텐츠, 각 음악 컨텐츠에 대한 작곡자, 작사, 가수 등의 컨텐츠 관련 정보가 선택적으로 포함될 수 있다.

검색 서버(20)는 정보 제공 서버로부터 전달되는 오디오 쿼리를 토대로 해당 음악 컨텐츠 및 관련 정보의 검색을 수행한다. 특히 검색 서버(20)는 오디오 쿼리가 오디오 데이터인 경우에는 해당 오디오 쿼리를 분류 처리 서버(30)로 전달하여 특징 벡터 추출 및 양자화 과정을 거치도록 하고, 이에 따라 분류 처리 서버(30)로부터 제공되는 특징 벡터 관련 정보를 토대로 하여 데이터베이스 서버(40)내에서 음악 컨텐츠들을 검색한다. 또는 상기 오디오 쿼리가 컨텐츠 관련 정보인 경우에는 상기 정보를 토대로 서비스 데이터베이스(41) 및 서비스 처리 데이터베이스(42)를 검색하여, 상기 정보에 해당하는 음악 컨텐츠를 찾고 상기 찾아진 음악 컨텐츠와 동일하게 분류된 유사 음악 컨텐츠를 검색한다. 이를 위하여 검색 서버(20)는 오디오 쿼리가 어떠한 종류인지를 판단하는 쿼리 판단부(21), 전달되는 검색값을 토대로 위에 기술된 바와 같이 검색을 수행하는 검색부(22)를 포함할 수 있다. 여기서 검색값은 오디오 쿼리에 포함된 컨텐츠 관련 정보일 수도 있고, 분류 처리 서버(30)로부터 전달되는 특징 벡터 관련 정보일 수도 있다. 그리고 특징 벡터 관련 정보는 각 특징 벡터가 양자화된 값, 상기 양자화값에 따라 분류된 그룹의 식별값 등일 수 있다.

분류 처리 서버(30)는 시스템(100)에서 제공 가능한 모든 음악 컨텐츠들을 분류하고, 분류된 음악 컨텐츠들을 데이터베이스 서버(40)에 저장하여 검색 서버(20)에 의한 컨텐츠 검색이 용이하게 이루어지도록 한다. 이를 위하여, 분류 처리 서버(30)는 음악 컨텐츠들을 음색(Timbre), 리듬(Rhythm), 그리고 무드(Mood)에 따라 분류하는 제1 분류부(31), 제2 분류부(32) 및 제3 분류부(33)를 각각 포함한다.

각각의 분류부(31∼33)는 음악 컨텐츠로부터 해당하는 특징 벡터를 추출하고 이를 양자화한 후, 양자화된 값을 토대로 하여 음악 컨텐츠를 분류한다. 즉, 각각의 분류부(31∼33)는 음악 컨텐츠로부터 해당 특징 벡터(예: 음색 특징 벡터, 리듬 특징 벡터, 무드 특징 벡터)를 추출하는 추출 모듈(311,321,331), 추출 모듈로부터 추출된 특징 벡터를 양자화 하는 양자화 모듈(312,322,332), 양자화된 값을 이용하여 음악 컨텐츠를 분류하는 분류 모듈(313,323,333)을 포함한다.

이와 같이 이루어지는 본 발명의 실시 예에 따른 음악 컨텐츠 제공 시스템에서, 각 서버(10∼40)들은 그 기능상 분류된 것으로 이에 한정되지 않으며, 다양한 변경이 가능하다. 또한, 각 서버의 구성 요소들은 필요에 따라 선택적으로 포함될 수 있으며, 각 구성 요소들도 각각 독립적인 서버로서 구현되어 해당 기능을 처리할 수도 있다. 예를 들어, 위에서는 검색 서버에 쿼리 판단부가 포함되는 것으로 구현되었지만, 상기 쿼리 판단부가 정보 제공 서버내에 구현될 수도 있다. 또한, 데이터베이스들도 위에 기술된 바와 같이 분류되는 것으로 한정되지 않는다.

다음에는 위에 기술된 바와 같은 구조를 토대로 하여 본 발명이 실시 예에 따른 음악 컨텐츠 분류 및 제공 방법에 대하여 설명한다.

먼저, 음악 컨텐츠를 분류하는 방법에 대하여 설명한다.

도 4에 본 발명의 실시 예에 따른 음악 컨텐츠 분류 과정이 도시되어 있다.

음악 컨텐츠 분류 과정은 분류 처리 서버(30)에서 이루어진다. 먼저, 도 4에 도시되어 있듯이, 분류 처리 서버(30)는 음악 컨텐츠를 각 분류부(31∼33)로 전달하여 특징 벡터 추출 및 양자화가 이루어지도록 하며, 각 분류부(31∼33)는 음악 컨텐츠의 오디오 데이터를 토대로 분류 과정을 수행한다(S100∼S110).

구체적으로, 제1 분류부(31)의 추출 모듈(311)은 인가되는 오디오 데이터로부터 음색 특징 벡터를 추출한다. 음색 특징 벡터로는 스펙트럴 센트로이드(Spectral Centroid), 스펙트럴 롤오프(Spectral Rolloff), 스펙트럴 플럭스(Spectral Flux), 제로 크로싱 레이트(Zero Crossing Rate), 멜프리컨시 캡스트럴 계수(Mel-Frequency Cepstral Coefficients) 등이 포함된다(S120). 여기서 스펙트럴 센트로이드는 신호를 주파수 영역으로 표현하였을 때 주파수 성분들의 중심값을 나타내고, 스펙트럴 롤오프는 주파수 성분들의 85%를 포함하는 주파수 범위를 나타낸다. 그리고 스펙트럴 플럭스는 인접프레임의 주파수 성분들의 차를 제곱하여 합한 값을 나타내고, 제로크로싱 레이트는 신호의 값이 양수와 음수로 교차되는 정도를 나타내며, 멜프리컨시 캡스트럴 계수는 음성 인식에서 많이 사용되는 특징 벡터로써 소정의 과정을 거쳐 스펙트럼을 기반으로 인간의 청각 특성을 나타내는 특징 벡터이다.

추출 모듈(311)에 의하여 상기 음악 컨텐츠에 대한 음색 특징 벡터가 추출되 면, 양자화 모듈(312)은 추출된 각 음색 특징 벡터를 양자화한다(S130). 따라서 추출된 각 음색 특징 벡터별로 양자화에 따른 양자화값이 산출된다. 이후 분류 모듈(313)은 산출된 음색 특징 벡터의 양자화값을 토대로 해당 음악 컨텐츠가 어떠한 그룹에 해당하는지를 판단하여 상기 음악 컨텐츠를 소정 그룹으로 분류한다(S140). 상기 그룹들은 음색 특징 벡터의 양자화값에 따라 분류되는 것이다.

한편 제2 분류부(32)도 인가되는 오디오 데이터를 토대로 상기 음악 컨텐츠에 대한 분류 작업을 수행한다. 즉, 추출 모듈(321)에 의하여 상기 음악 컨텐츠에 대한 리듬 특징 벡터가 추출되며, 여기서 리듬 특징 벡터는 큰 에너지 신호가 가지는 각기 다른 주기를 히스토그램으로 표현한 비트 히스토그램(Beat Histogram)을 포함한다. 이후 양자화 모듈(322)이 추출된 리듬 특징 벡터를 양자화하고 분류 모듈(323)이 양자화값에 따라 상기 음악 컨텐츠를 소정 그룹으로 분류한다(S150∼S170).

또한 제3 분류부(33)도 인가되는 오디오 데이터를 토대로 상기 음악 컨텐츠에 대한 분류 작업을 수행한다. 즉, 추출 모듈(331)에 의하여 상기 음악 컨텐츠에 대한 무드 특징 벡터가 추출되며, 여기서 무드 특징 벡터는 일정 시간 동안 낮은 에너지를 가지는 신호의 비율을 나타내는 평균 묵음 비율(Average Silence Ratio)을 포함한다. 이후 양자화 모듈(332)이 추출된 무드 특징 벡터를 양자화하고 분류 모듈(333)이 양자화값에 따라 상기 음악 컨텐츠를 소정 그룹으로 분류한다(S180∼S200).

위에 기술된 바와 같이 하나의 음악 컨텐츠는 음색 특징 벡터, 리듬 특징 벡 터, 무드 특징 벡터를 토대로 하여 각기 다른 그룹으로 분류될 수 있으며, 이러한 방법에 따라 시스템에서 제공되는 모든 음악 컨텐츠들이 분류된다.

이와 같이 분류되는 음악 컨텐츠들에 대한 정보는 서비스 데이터베이스(41)에 저장된다. 예를 들어 서비스 데이터베이스에 음색 특징 벡터를 토대로 한 그룹별로 컨텐츠 식별 번호에 대응하여 음악 컨텐츠, 해당 음색 특징 벡터의 양자화값 등이 각각 저장될 수 있다. 또한 리듬 특징 벡터를 토대로 한 그룹별로 컨텐츠 식별 번호에 대응하여 음악 컨텐츠, 음악 컨텐츠의 리듬 특징 벡터의 양자화값 등이 각각 저장될 수 있다. 또한 무드 특징 벡터를 토대로 한 그룹별로 컨텐츠 식별 번호에 대응하여 음악 컨텐츠, 음악 컨텐츠의 무드 특징 벡터의 양자화값 등이 각각 저장될 수 있다. 이 경우, 각 특징 벡터의 그룹별로 해당 그룹에 포함하는 각 벡터들의 양자화값 범위, 해당 그룹의 식별값 등이 함께 저장되어, 이후 사용자로부터 제공되는 오디오 쿼리의 특징 벡터 관련 정보가 상기 양자화값 범위에 포함되는지의 여부에 따라 또는 특징 벡터 관련 정보에 따른 그룹의 식별값과 동일한 그룹에 속하는지의 여부에 해당 음악 컨텐츠 및 유사 음악 컨텐츠 검색이 이루어질 수 있다. 그러나 위에 기술된 바와 같이 특징 벡터별로 분류 가능한 음악 컨텐츠가 서비스 데이터베이스(41)에 저장되는 구조는 이것에 한정되지 않는다.

한편 위의 분류 과정에서, 각 특징 벡터별로 그룹화된 음악 컨텐츠에 대한 그룹화 리스트를 작성하고, 각 그룹화 리스트를 서비스 데이터베이스(41)에 저장한 후, 이후 검색시 상기 그룹화 리스트를 토대로 하여 사용자로부터 제공된 오디오 쿼리에 포함되는 음악 컨텐츠를 찾을 수도 있다.

또한 본 발명에 따른 분류 처리 서버(30)는 새로이 추가되는 음악 컨텐츠의 수가 특정 기준을 초과하면, 서비스 정보 데이터베이스에 저장된 분류 정보를 업데이트 하여, 그 유사 음악 컨텐츠 분류 정보를 저장한다.

본 발명의 실시 예에 따른 음악 컨텐츠 제공 시스템(100)은 위와 기술된 바와 같이 분류되는 음악 컨텐츠를 토대로 하여, 사용자들에게 소정의 음악 컨텐츠를 제공한다.

다음에는 본 발명의 실시 예에 따른 음악 컨텐츠 제공 방법에 대하여 설명한다.

도 5a 및 도 5b는 본 발명의 실시 예에 따른 음악 컨텐츠 제공 과정을 나타낸 흐름도이다.

첨부한 도 5a에 도시되어 있듯이, 사용자는 자신의 단말기(300)에 저장되어 재생되는 음악 컨텐츠에 대한 원곡을 제공받고자 하거나 또는 상기 음악 컨텐츠 관련 정보를 제공받고자 하는 경우, 본 발명의 실시 예에 따른 시스템으로 접속한다.

즉, 단말기(300)의 컨텐츠의 저장부(310)에 저장된 음악 컨텐츠가 재생부(320)의 제어에 따라 인터페이스부(330)를 통하여 재생되고 있는 경우, 또는 상기 음악 컨텐츠에 대한 정보가 인터페이스부(330)를 통하여 표시되고 있는 경우, 사용자는 상기 재생 또는 표시된 음악 컨텐츠에 대한 정보를 요청할 수 있으며, 쿼리 처리부(340)는 인터페이스부(330)를 통한 상기 요청에 따라 상기 재생 또는 표시되는 음악 컨텐츠에 대한 오디오 쿼리를 생성하여 시스템(100)으로 전송한다(S300∼S310). 이 경우, 쿼리 처리부(340)는 상기 요청된 음악 컨텐츠가 상기 시스템(100) 으로부터 전송된 컨텐츠이면 상기 음악 컨텐츠에 대한 식별 정보 또는 시스템으로부터 컨텐츠를 제공받은 시간 정보를 포함하는 오디오 쿼리를 생성한다. 또한 상기 요청된 음악 컨텐츠가 시스템(100)으로부터 제공받은 것이 아니라 다른 경로를 통하여 제공받은 경우에는 상기 음악 컨텐츠의 오디오 데이터를 포함하는 오디오 쿼리를 생성한다. 그러나 본 발명은 이에 한정되지 않으며 상기 요청된 음악 컨텐츠가 시스템(100)으로부터 제공받은 것인지에 상관없이 오디오 데이터를 포함하는 오디오 쿼리를 생성할 수도 있다.

이와 같이 사용자 단말기(300)로부터 오디오 쿼리가 전송되면 정보 제공 서버(10)는 이를 검색 서버(20)로 전달하며(S320), 검색 서버(20)는 오디오 쿼리를 분류 처리 서버(30)로 선택적으로 전달한다. 즉, 상기 검색 서버(20)의 쿼리 판단부(21)는 오디오 쿼리가 오디오 데이터를 포함하는 경우에는 분류 처리 서버(30)로 전달하고(S340∼S350), 상기 오디오 쿼리가 컨텐츠 관련 정보를 포함하는 경우에는 검색부(22)로 전달한다. 여기서 오디오 쿼리가 오디오 데이터로만 이루어지도록 서비스가 수행되는 경우에는 상기 오디오 쿼리의 종류를 판별하는 단계(S340)는 삭제가능하다.

분류 처리 서버(30)는 검색 서버(20)로부터 오디오 쿼리가 전달되면, 상기 오디오 쿼리에 포함된 오디오 데이터로부터 특징 벡터를 추출하고 이를 양자화시킨다. 즉, 분류 처리 서버(30)의 각각의 제1 내지 제3 분류부(31∼33)가 전달된 오디오 데이터를 토대로 음색 특징 벡터, 리듬 특징 벡터, 무드 특징 벡터를 각각 추출하고, 추출된 각 벡터의 양자화값을 산출한다(S360∼S370). 이와 같이 산출된 양자 화값이 그대로 특징 벡터 관련 정보로 처리되어 검색 서버(20)로 전달되거나 또는 상기 양자화값에 따라 해당 오디오 데이터가 각 특징 벡터별로 어떠한 그룹에 속하는지가 판단된 다음, 판단된 그룹에 해당하는 식별값들이 특징 벡터 관련 정보로 처리되어 검색 서버(20)로 전달될 수 있다(S380). 이와 같이 특징 벡터 관련 정보는 사용자 단말기(300)로부터 전달된 오디오 쿼리가 어떠한 그룹에 속하는지를 알 수 있도록 하는 정보가 되며, 여기서는 특징 벡터 관련 정보로 양자화값을 이용한 것을 예로 들어 하기의 과정을 설명한다.

검색 서버(20)는 분류 처리 서버(30)로부터 전달되는 오디오 쿼리에 대한 특징 벡터 관련 정보를 토대로 하여 서비스 데이터베이스(41)를 검색하여, 상기 오디오 쿼리에 해당하는 음악 컨텐츠 및/또는 유사 음악 컨텐츠를 찾는다(S390∼S400). 예를 들어, 상기 오디오 쿼리에 대한 특징 벡터 관련 정보가 각 특징 벡터별 양자화값인 경우, 상기 양자화값들을 토대로 서비스 데이터베이스(41)를 검색하여 각 특징 벡터별 양자화값이 동일한 음악 컨텐츠를 찾고, 또한 상기 특징 벡터별 양자화값이 포함되는 그룹에 속하는 유사 음악 컨텐츠들을 찾는다. 이 때 유사 음악 컨텐츠들을 찾을 경우 다수의 특징 벡터 중 적어도 하나 이상의 특징 벡터의 양자화값이 동일 그룹에 속하는 음악 컨텐츠를 유사 음악 컨텐츠로서 선택할 수 있다.

이와 같이 검색된 오디오 쿼리에 해당하는 음악 컨텐츠 및 유사 음악 컨텐츠는 정보 제공 서버(10)로 전달되며(S400), 정보 제공 서버(10)는 전달된 컨텐츠들을 검색 정보로 처리하여 사용자 단말기(300)로 전송한다(S410). 이에 따라 사용자 단말기(300)의 컨텐츠 관리부(350)는 전달된 검색 정보를 컨텐츠 저장부(310)에 저 장시키거나 인터페이스부(330)를 통하여 표시하거나 또는 검색 정보를 재생부(320)를 통하여 재생시킬 수도 있다(S420).

한편 단계(S340)에서, 사용자로부터 전달된 오디오 쿼리가 오디오 데이터가 아니라 컨텐츠 관련 정보인 경우에는, 도 5b에 도시되어 있듯이, 검색 서버(20)는 상기 컨텐츠 관련 정보를 토대로 서비스 데이터베이스(41)를 검색하여, 상기 컨텐츠 관련 정보를 가지는 음악 컨텐츠 또는/ 및 유사 음악 컨텐츠를 찾아서 정보 제공 서버(10)로 전달한다(S430∼S460). 예를 들어, 검색 서버(20)의 검색부(22)는 상기 컨텐츠 관련 정보가 컨텐츠 식별 번호인 경우, 해당 식별 번호를 가지는 음악 컨텐츠를 찾은 다음, 상기 음악 컨텐츠가 속한 그룹(각 특징 벡터별 그룹일 수 있음)에 포함되는 음악 컨텐츠들을 유사 음악 컨텐츠로 선택한다. 이 때, 음악 컨텐츠의 각 특징 벡터별 그룹에 속하는 유사 음악 컨텐츠들 중에서, 상기 음악 컨텐츠의 특징 벡터별 그룹과 상기 유사 음악 컨텐츠의 특징 벡터별 그룹이 모두 일치하는 컨텐츠만을 유사 음악 컨텐츠로 최종 선택할 수 있다. 이에 따라 상기 오디오 쿼리에 해당하는 음악 컨텐츠와 실제로 유사한 신뢰성 있는 음악 컨텐츠가 선택될 수 있다.

이와 같이 검색된 오디오 쿼리에 해당하는 음악 컨텐츠 및 유사 음악 컨텐츠는 위에 기술된 바와 같이 정보 제공 서버(10)를 통하여 사용자 단말기(300)로 전송되어, 단말기(300) 상에서 저장되거나 재생되거나 표시처리될 수 있다(S470∼S480).

위에 기술된 음악 컨텐츠 분류 방법 및/또는 음악 컨텐츠 제공 방법은 컴퓨 터가 읽을 수 있는 기록 매체에 저장되는 프로그램 형태로 구현될 수 있다. 기록 매체로는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치가 포함될 수 있으며, 예를 들어, CD-ROM, 자기 테이프, 플로피 디스크 등이 있으며, 또한 캐리어 웨이브(예컨대 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.

비록, 본 발명이 가장 실제적이며 바람직한 실시 예를 참조하여 설명되었지만, 본 발명은 상기 개시된 실시 예에 한정되지 않으며, 후술되는 특허청구범위 내에 속하는 다양한 변형 및 등가물들도 포함한다.

이상에서 설명한 바와 같이 본 발명의 실시 예에 따르면, 내용 기반 음악 검색 서비스와 더불어 사용자가 요청한 음악 컨텐츠와 유사한 음악 컨텐츠들을 동시에 제공함으로써 보다 다양한 서비스를 보장할 수 있다.

또한 음악 컨텐츠들을 그 특징에 따른 유사도를 토대로 하여 신뢰성 있게 분류할 수 있다.

또한 이와 같이 미리 음악 컨텐츠들을 분류해 놓음으로써, 사용자로부터 제공되는 오디오 데이터를 토대로 하여 유사 음악 컨텐츠 검색이 용이하고 신뢰성 있게 이루어진다. 그러므로 단지 가수이름, 노래 제목 등의 짧은 사용자 쿼리를 이용해서 유사 음악을 제공하는 것보다 높은 신뢰성을 가지는 유사음악 서비스가 가능하다.

또한 서비스 제공자가 보유한 방대한 양의 음악 데이터를 효과적으로 관리할 수 있다.

또한 본 발명에 따른 음악 컨텐츠 분류 방법은 사용자가 보유하고 있는 음악 데이터에도 동일하게 적용되어, 음악 컨텐츠들이 유사음악 컨텐츠별로 분류 및 정리될 수 있다.

Claims (12)

1. 음악 컨텐츠를 분류하는 방법에서,

   상기 음악 컨텐츠를 구성하는 오디오 데이터로부터 해당 음악 컨텐츠의 특징을 나타내는 특징 벡터를 추출하는 단계;

   상기 특징 벡터를 양자화하는 단계; 및

   상기 양자화된 값을 토대로 상기 음악 컨텐츠를 분류하는 단계

   를 포함하고,

   상기 특징 벡터는 음색 특징 벡터, 리듬 특징 벡터, 무드 특징 벡터 중 적어도 하나를 포함하는 음악 컨텐츠 분류 방법.
2. 제1항에 있어서

   상기 음색 특징 벡터는 스펙트럴 센트로이드(Spectral Centroid), 스펙트럴 롤오프(Spectral Rolloff), 스펙트럴 플럭스(Spectral Flux), 제로 크로싱 레이트(Zero Crossing Rate), 멜프리컨시 캡스트럴 계수(Mel-Frequency Cepstral Coefficients) 중 적어도 하나를 포함하는 음악 컨텐츠 분류 방법.
3. 제1항 또는 제2항에 있어서

   상기 리듬 특징 벡터는 비트 히스토그램(Beat Histogram)을 포함하는 악 컨텐츠 분류 방법.
4. 제1항 또는 제2항에 있어서

   상기 무드 특징 벡터는 평균 묵음 비율(Average Silence Ratio)을 포함하는 음악 컨텐츠 분류 방법.
5. 네트워크를 통하여 사용자 단말기로 음악 컨텐츠를 제공하는 시스템의 컨텐츠 제공 방법에 있어서,

   a) 상기 사용자 단말기로부터 오디오 쿼리가 전달되면, 상기 시스템이 오디오 쿼리를 구성하는 오디오 데이터로부터 특징 벡터를 추출하는 단계;

   b) 상기 시스템이 특징 벡터를 양자화하는 단계;

   c) 상기 양자화된 오디오 쿼리의 특징 벡터 관련 정보를 토대로 음악 컨텐츠가 특징 벡터를 토대로 하는 그룹별로 저장되어 있는 서비스 데이터베이스를 검색하여, 상기 오디오 쿼리에 해당하는 음악 컨텐츠, 상기 음악 컨텐츠와 관련된 유사 음악 컨텐츠를 검색하는 단계; 및

   d) 상기 검색된 서버로부터 제공되는 오디오 쿼리에 해당하는 음악 컨텐츠, 유사 음악 컨텐츠 중 적어도 하나를 포함하는 검색 정보를 상기 사용자 단말기로 전달하는 단계

   를 포함하는 음악 컨텐츠 제공 방법.
6. 제5항에 있어서

   상기 특징 벡터는 음색 특징 벡터, 리듬 특징 벡터, 무드 특징 벡터 중 적어도 하나인 음악 컨텐츠 제공 방법.
7. 제5항 또는 제6항에 있어서

   상기 검색을 위한 특징 벡터 관련 정보는 상기 양자화 값, 상기 양자화에 따라 분류될 수 있는 그룹의 식별값 중 적어도 하나인 음악 컨텐츠 제공 방법.
8. 제5항 또는 제6항에 있어서

   상기 오디오 쿼리는 음악 컨텐츠를 구성하는 오디오 데이터, 음악 컨텐츠 관련 정보 중 적어도 하나인 음악 컨텐츠 제공 방법.
9. 네트워크를 통하여 사용자 단말기로 음악 컨텐츠를 제공하는 시스템에서,

   제공되는 음악 컨텐츠들이 특징 벡터를 토대로 하는 그룹별로 분류되어 저장되어 있는 서비스 데이터베이스;

   음악 컨텐츠를 구성하는 오디오 데이터로부터 특징 벡터를 추출하고, 추출된 특징 벡터를 양자화하고 그 값에 따라 소정 그룹으로 분류하는 분류 처리 서버;

   인가되는 오디오 쿼리의 특징 벡터 관련 정보를 토대로 상기 음악 서비스 데이터베이스를 검색하여, 상기 오디오 쿼리에 해당하는 음악 컨텐츠, 상기 음악 컨텐츠와 관련된 유사 음악 컨텐츠를 검색하는 검색 서버;

   상기 사용자 단말기로부터 전달되는 오디오 쿼리를 상기 검색 서버로 전달하 고, 상기 검색 서버로부터 제공되는 오디오 쿼리에 해당하는 음악 컨텐츠, 유사 음악 컨텐츠 중 적어도 하나를 포함하는 검색 정보를 상기 사용자 단말기로 전달하는 정보 제공 서버

   를 포함하는 음악 컨텐츠 제공 시스템.
10. 제9항에 있어서

    상기 분류 처리 서버는 상기 오디오 쿼리로부터 특징 벡터를 추출하고, 추출된 특징 벡터를 양자화하여 그에 따른 특징 벡터 관련 정보를 검색 서버로 전달하고,

    상기 검색 서버는 상기 특징 벡터 관련 정보를 토대로 상기 서비스 데이터베이스를 검색하여 상기 정보에 대응하는 음악 컨텐츠 및 그의 유사 음악 컨텐츠를 검색하며,

    상기 특징 벡터 관련 정보는 상기 양자화 값, 상기 양자화에 따라 분류될 수 있는 그룹의 식별값 중 적어도 하나인 음악 컨텐츠 제공 시스템.
11. 제9항 또는 제10항에 있어서

    상기 사용자 단말기는

    음악 컨텐츠가 저장되는 컨텐츠 저장부;

    상기 음악 컨텐츠가 재생되는 재생부;

    상기 음악 컨텐츠 관련 정보가 표시되는 인터페이스부;

    상기 재생부에 의하여 재생되거나 상기 인터페이스부를 통하여 표시되는 음악 컨텐츠에 대한 오디오 쿼리를 생성하여 상기 시스템으로 전달하는 쿼리 처리부; 및

    상기 시스템으로부터 전달되는 검색 정보에 포함된 음악 컨텐츠를 수신하여 상기 컨텐츠 저장부, 재생부, 인터페이스부 중 적어도 하나로 선택적으로 제공하는 컨텐츠 관리부

    를 포함하는 음악 컨텐츠 제공 시스템.
12. 제9항 또는 제10항에 있어서

    상기 오디오 쿼리는 음악 컨텐츠를 구성하는 오디오 데이터, 음악 컨텐츠 관련 정보 중 적어도 하나이고,

    상기 검색 서버는 상기 오디오 쿼리가 오디오 데이터인 경우에는 상기 오디오 쿼리를 분류 처리 서버로 전달하고, 이후 분류 처리 서버로부터 전달되는 상기 오디오 쿼리에 대한 특징 벡터 관련 정보를 토대로 검색을 수행하고,

    상기 오디오 쿼리가 컨텐츠 관련 정보인 경우에는 상기 컨텐츠 관련 정보를 토대로 검색을 수행하는 음악 컨텐츠 제공 시스템.

Images