KR100735820B1

KR100735820B1 - 휴대 단말기에서 음성 인식에 의한 멀티미디어 데이터 검색방법 및 그 장치

Info

Publication number: KR100735820B1
Application number: KR1020060020089A
Authority: KR
Inventors: 최인정; 김남훈; 한익상; 정상배
Original assignee: 삼성전자주식회사
Priority date: 2006-03-02
Filing date: 2006-03-02
Publication date: 2007-07-06
Anticipated expiration: 2026-03-02
Also published as: US8200490B2; US20070208561A1

Abstract

본 발명은 휴대 단말기에서 사용자가 검색하고자 하는 멀티미디어 데이터의 일부 정보(음악의 경우 곡명, 가수명, 앨범명 또는 재생 목록 등)의 일부분만 발성해도 부분 매칭을 통해 멀티미디어 데이터를 검색하는 방법 및 그 장치에 관한 것이다. 본 발명에 의하면, 휴대 단말기에서 음소 디코더에 의한 음소 인식 열과 표준 발음 열 사이의 부분 심볼 매칭 과정을 통해 곡명, 가수명, 앨범명 등과 같은 일부 또는 전체 발화를 인식하여 음악 등의 멀티미디어 데이터를 검색할 수 있는 방법 및 장치를 제공할 수 있다.

부분 매칭, 음성, 인식, 음악, 검색

Description

휴대 단말기에서 음성 인식에 의한 멀티미디어 데이터 검색 방법 및 그 장치{SPEECH RECOGNITION METHOD AND APPARATUS FOR MULTIMEDIA DATA RETRIEVAL IN MOBILE DEVICE}

도 1은 본 발명의 일실시예에 따른 음악 검색 장치의 구성을 나타내는 도면이다.

도 2는 본 발명에 따른 음악 검색 장치에 있어서, 음악 정보 생성부의 일례를 나타내는 도면이다.

도 3은 본 발명에 따른 음악 검색 장치에 있어서, 기준 패턴과 인식 심볼 시퀀스에 대한 매칭의 일례를 나타내는 도면이다.

도 4는 본 발명에 따른 음악 검색 장치에 있어서, 음소 혼동 매트릭스의 일례를 나타내는 도면이다.

도 5는 본 발명에 따른 음악 검색 장치에 있어서, 음악 정보 검색 결과를 디스플레이하는 일례를 나타내는 도면이다.

도 6은 본 발명의 일실시예에 따른 음악 검색 방법의 흐름을 나타내는 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

100: 음악 검색 장치

110: 음악 데이터베이스

120: 특징 추출부

130: 음소 디코딩부

140: 매칭부

150: 계산부

160: 디스플레이부

200: 음악 제공 서버

201: 제1 음악 정보 생성부

210: 휴대 단말기

211: 제2 음악 정보 생성부

본 발명은 휴대 단말기에서 사용자가 검색하고자 하는 멀티미디어 데이터의 일부 정보(음악의 경우 곡명, 가수명, 앨범명 또는 재생 목록 등)의 일부분만 발성해도 부분 매칭을 통해 멀티미디어 데이터를 검색하는 방법 및 그 장치에 관한 것이다.

종래 음성 인식을 이용한 곡목 검색 및 재생 방법의 일례로 미국 공개특허 US2004/0064306 "Voice Activated Music Playback System"(Mitsubishi Electric)은 사용자가 음성을 음소 인식(phone lattice)하고, 상기 인식된 음소로 텍스트 쿼리 (text query)를 생성하고, 상기 생성된 텍스트를 이용하여 재생 목록을 검색하고, 음악 샘플에 의한 음악 검색을 수행한다. 하지만, 종래 음성 인식을 이용한 곡목 검색 및 재생 방법은 음소 래티스(phone lattice)에서 텍스트 쿼리로 변환할 때 정확성 및 언어 이식성 등과 같은 문제점이 있다.

한편, 하드 디스크 드라이버 네비게이션 장치에서 음성 인식에 의한 음악 검색 방법의 일례로 일본공개특허2005-078705 "재생장치 및 프로그램"은 가수명, 앨범명, 곡명에 대한 인식어를 등록하여 음성 인식에 의한 음악을 검색하고, 그 결과를 가수명, 앨범명, 곡명과 같은 각 카테고리별 매칭 여부와 카테고리 유형을 고려하여 디스플레이한다. 하지만, 종래 음성 인식에 의한 음악 검색 방법은 사용자가 가수명, 앨범명, 곡명을 확실하게 알아야만 검색이 가능한 문제점이 있다.

이와 같이, 종래 음성 인식에 의한 음악 검색 방법은 텍스트 쿼리의 변환 문제가 발생하거나 또는 사용자가 음악 정보를 정확하게 알지 못하는 경우 음악 검색을 제대로 수행하지 못하는 문제점이 있다.

따라서, 휴대 단말기에서 사용자로부터 멀티미디어 데이터와 연관된 부분적인 음성을 입력 받더라도 입력된 음성을 이용하여 원하는 음악 등의 멀티미디어 데이터를 검색할 수 있는 방안이 절실하게 요청되어 오고 있다.

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 휴대 단말기에서 음소 인식 열과 표준 발음 열 사이의 부분 심볼 매칭 과정을 통해 곡명, 가수명, 앨범명의 일부 또는 전체 발화를 인식하여 음악 등의 멀티미디 어 데이터를 검색할 수 있는 방법 및 그 장치를 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 곡목 리스트로부터 인식에 사용되는 음악 정보를 변환하는 기능을 음악 저장이나 음악 다운로드 사이트에서 실행하거나 휴대 단말기에서 자체적으로 실행할 수 있는 음악 정보 검색 방법 및 그 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 휴대 단말기에서 부분 심볼 매칭 과정을 통해 언어의 제한을 적용하여 매칭 정확도를 높일 수 있는 음악 정보 검색 방법 및 그 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 휴대 단말기에서 음소 혼동 매트릭스를 이용하여 음소 인식 결과와 어휘 발음 열 사이의 부분 매칭 점수와 매칭 부분을 이용하여 음악 정보 검색 방법 및 그 장치를 제공하는 것이다.

상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 사용자에 의해 발성된 음성 신호를 음소 열로 인식하는 단계 및 상기 음소 인식 열과 표준 발음 열 사이의 부분 심볼 매칭을 통해 음악 정보를 검색하는 단계를 포함하는 것을 특징으로 하는 음악 검색 방법을 제공한다.

본 발명의 일측에 따르는 음악 검색 장치는 음악 및 음악 정보에 대한 발음 사전을 저장하는 음악 데이터베이스와, 사용자의 음성 신호를 후보 음소 열로 디코딩하는 음소 디코딩부와, 상기 후보 음소 열과 상기 음악 정보에 대한 발음 사전의 기준 음소 패턴을 매칭하는 매칭부와, 상기 매칭 결과에 따른 매칭 스코어를 계산 하는 계산부 및 상기 계산된 매칭 스코어에 따라 음악 정보 검색 결과를 디스플레이하는 디스플레이부를 포함한다.

이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 음악 검색 방법 및 그 장치를 상세히 설명한다.

도 1을 참조하면, 음악 검색 장치(100)는 음악 데이터베이스(110), 특징 추출부(120), 음소 디코딩부(130), 매칭부(140), 계산부(150) 및 디스플레이부(160)를 포함한다.

음악 데이터베이스(110)는 음악, 음악 정보 및 상기 음악 정보에 대한 발음 사전을 저장한다. 상기 음악 정보는 가수명, 곡명, 앨범명, 재생 리스트, 장르 등과 같이 음악과 연관된 각종 정보이다. 상기 음악 정보에 대한 발음 사전(lexicon)은 사용자가 음악 검색을 하기 위해 음성으로 입력된 쿼리에 대해 인식된 음소 열과 비교하기 위한 기준 발음 패턴에 해당된다.

특징 추출부(120)는 상기 사용자로부터 음악을 검색하기 위한 쿼리로서 음성 신호를 입력 받으면, 상기 음성 신호에 대한 특징 벡터를 추출한다. 즉, 특징 추출부(120)는 상기 사용자로부터 입력되는 음성 쿼리에 대한 음성 신호의 배경 잡음을 억제하고, 상기 사용자의 음성 신호 중 음성 구간만을 검출한 후 상기 검출된 음성 구간에서 음성 인식에 사용될 특징 벡터 열을 추출한다.

음소 디코딩부(130)는 상기 추출된 특징 벡터 열을 N개의 후보 음소 열로 디 코딩한다. 즉, 음소 디코딩부(130)는 상기 추출된 특징 벡터 열을 음소 또는 트라이폰(tri-phone) 음향 모델을 사용하여 N개의 후보 음소 열로 변환하는 디코딩을 수행한다. 또한, 음소 디코딩부(130)는 상기 추출된 특징 벡터 열을 N개의 후보 음소 열로 변환할 때 음소 레벨 문법(phone-level grammar)를 적용한다. 또한, 음소 디코딩부(130)는 상기 트라이폰 음향 모델을 사용하는 경우 문맥(context)간의 연결성을 적용할 수 있다.

매칭부(140)는 동적 프로그래밍(dynamic programming) 기법에 근거하여 상기 후보 음소 열과 음악 데이터베이스(110)에 저장된 발음 사전에 포함된 기준 패턴을 매칭한다. 즉, 매칭부(140)는 상기 인식된 후보 음소 열과 상기 기준 패턴을 음소 혼동 매트릭스(phone confusion matrix) 및 언어 경계 제한(linguistic constraints)에 의해 도 3에 도시된 것과 같은 최적 경로 검색에 대한 매칭을 수행한다. 또한, 매칭부(140)는 어느 지점에서든지 상기 매칭이 시작되거나 끝날 수 있도록 허용 가능하며, 단어 또는 어절 경계와 같은 언어적 지식에 근거하여 상기 매칭의 시작 또는 끝 부분을 제한할 수 있다.

예를 들어 곡명이 "저녁 달빛의 노래"인 경우, 상기 발음 사전에 'ㅈ ㅓ ㄴ ㅕ ㄱ* ㄸ ㅏ ㄹ* ㅃ ㅣ ㅊ ㅢ ㄴ ㅗ ㄹ ㅐ'로 등록되어 있고, 상기 곡명의 부분 명칭인 "달빛"의 경우, 상기 발음 사전에 'ㄷ ㅏ ㄹ* ㅃ ㅣ ㄷ*'로 등록되어 있다. 여기서, *기호가 붙은 발음 표시는 종성을 나타낸다. 상기 전체 발음에서의 달빛과 부분 명칭에서 달빛의 발음을 부분 매칭할 때 'ㄷ'이 연음 현상으로 'ㅊ'이 됨에 따라 발음 사전의 양 끝에서 불일치하는 경우가 발생된다. 이와 같이, 매칭부 (140)는 연음 현상으로 인해 동일한 단어인데도 발음 상의 차이로 인해 부분 매칭인 경우 불일치되는 단점을 극복하기 위해 상세 매칭을 수행한다.

즉, 매칭부(140)는 상기 부분 매칭을 수행한 후 상기 연음 현상이 반영된 부분의 발음 열을 고립 발성 형태의 원래 발음 열로 변환한 후 상기 변환된 발음 열을 상기 발음 사전의 기준 음소 패턴과 상세 매칭을 수행한다. 상기 원래 발음 열로 변환은 발음 규칙으로부터 역으로 추적하여 규칙화하는 것이 가능하다.

계산부(150)는 상기 매칭 결과에 따른 매칭 스코어를 계산한다. 즉, 계산부(150)는 상기 매칭 결과에 따른 매칭 스코어를 음소 혼동 매트릭스(phone confusion matrix)의 확률 값을 사용하여 계산한다. 또한, 계산부(150)는 음소의 삽입(insertion)과 삭제(deletion) 확률도 고려하여 상기 매칭 스코어를 계산한다.

디스플레이부(160)는 상기 계산된 매칭 스코어에 따라 음악 정보 검색 결과를 도 5에 도시된 것과 같이 디스플레이한다. 디스플레이부(160)는 상기 계산된 매칭 스코어가 소정의 기준 값 이상인 음악 정보 검색 결과만을 디스플레이한다.

또한, 디스플레이부(160)는 상기 음악 정보 검색 결과에서 상기 매칭 스코어가 동일한 경우 소정의 우선 조건에 따라 상기 음악 정보 검색 결과를 정렬하여 디스플레이한다. 상기 우선 조건은 리스트의 유형, 최장 일치, 좌측 일치 등과 같은 조건일 수 있다. 상기 우선 순위는 상기 리스트의 유형인 경우 곡명, 앨범명, 가수명 등과 음악 정보를 사용자 또는 자체적으로 정해진 순서에 따라 결정된다. 상기 우선 순위는 상기 최장 일치인 경우 상기 매칭되는 내용이 긴 것을 우선으로 하고, 좌측 일치인 경우 상기 매칭되는 내용이 좌측에 있는 것을 우선으로 하는 것이 다.

또한, 디스플레이부(160)는 상기 음악 정보 검색 결과를 각 리스트별로 유형에 따라 다른 아이콘으로 표시할 수 있다. 즉, 디스플레이부(160)는 상기 음악 정보 검색 결과가 예를 들어 가수명인 경우, 상기 리스트의 유형이 가수명임을 나타내는 아이콘을 표시할 수 있고, 상기 음악 정보 검색 결과가 곡명인 경우, 상기 리스트의 유형이 곡명임을 나타내는 아이콘을 표시할 수도 있다.

또한, 디스플레이부(160)는 상기 음악 정보 검색 결과를 디스플레이할 때 사용자로부터 입력된 음성 쿼리의 부분에 대응하는 부분을 하이라이트로 처리하여 디스플레이할 수 있다. 즉, 디스플레이부(160)는 상기 사용자로부터 "사랑해"가 음성 쿼리로 입력된 경우 상기 음악 정보 검색 결과를 디스플레이할 때 "사랑해"부분을 다른 색, 밑줄 또는 더 진하게 처리하여 디스플레이할 수 있다.

이와 같이, 본 발명에 따른 음악 검색 장치는 음소 디코더에 의한 음소 인식 열과 표준 발음 열 사이의 부분 심볼 매칭 과정을 통해 곡명, 가수명, 앨범명 등과 같은 일부 또는 전체 발화를 인식하여 사용자가 원하는 음악을 손쉽게 검색할 수 있다.

도 2를 참조하면, 음악 제공 서버(200)는 음악 콘텐츠를 제공하는 음악 콘텐츠 제공 서버 또는 상기 음악 콘텐츠 제공 서버로부터 다운로드된 음악을 저장하는 컴퓨터 등을 포함한다. 제1 음악 정보 생성부(201)는 상기 음악 콘텐츠 제공 서버 또는 상기 컴퓨터에 저장된 음악 파일을 이용하여 상기 음악 파일과 연관된 각종 음악 정보를 생성한다. 상기 음악 정보는 예를 들어, 상기 음악 파일이 MP3 파일인 경우, 상기 MP3 파일의 IP3 태그에 곡명, 가수명, 앨범명 등과 같은 상기 MP3 파일과 연관된 데이터가 기록될 수 있다. 제1 음악 정보 생성부(201)는 상기 음악 파일이 MP3 파일인 경우, 상기 IP3 태그에 기록된 데이터를 추출하여 상기 음악 정보를 생성할 수 있다.

또한, 제1 음악 정보 생성부(201)는 상기 음악 파일이 자체적으로 음악 정보를 포함하지 않는 경우, 상기 음악 파일을 분석하여 상기 음악 정보를 생성할 수 있다. 또한, 제1 음악 정보 생성부(201)는 각 인식 대상 어휘에 대한 발음 사전을 생성하고, 전체 어휘에 대한 매칭 속도를 개선하기 위해 상기 생성된 발음 사전을 정렬할 수도 있다.

한편, 휴대 단말기(210)는 음악 제공 서버(200)로부터 음악 파일, 상기 음악 파일에 대한 음악 정보 및 상기 발음 사전을 다운로드 받는다. 즉, 음악 데이터베이스(110)는 상기 다운로드된 음악 파일, 상기 음악 파일에 대한 음악 정보 및 상기 발음 사전을 저장한다.

제2 음악 정보 생성부(211)는 음악 제공 서버(200)로부터 다운로드된 음악 파일에 대한 음악 정보가 존재하지 않은 경우, 휴대 단말기(210)에서 자체적으로 상기 다운로드된 음악 파일을 분석하여 음악 정보를 생성한다.

또한, 제2 음악 정보 생성부(211)는 음악 제공 서버(200)로부터 다운로드된 음악 파일에 대한 발음 사전이 존재하지 않는 경우, 휴대 단말기(210)에서 자체적 으로 각 인식 대상 어휘에 대한 발음 사전을 생성하고, 전체 어휘에 대한 매칭 속도를 개선하기 위해 발음 사전을 정렬한다.

아울러, 제2 음악 정보 생성부(211)는 휴대 단말기(210)가 상기 음악 파일을 다운로드하는 순간에 동작하거나 또는 사용자에 의해 음성 인식 버튼이 조작될 때 상기 음악 정보에 대한 발음 사전을 생성할 수 있다.

따라서, 휴대 단말기(210)는 제1 음악 정보 생성부(201) 또는 제2 음악 정보 생성부(211)에 의해 생성된 음악 정보 및 발음 사전을 음악 데이터베이스(110)에 저장할 수 있다.

도 3을 참조하면, 가로축은 음소 디코딩부(130)의 출력인 인식 심볼 시퀀스(recognition symbol sequence)의 일례로서 "샤랑에"를 나타내고, 세로축은 어휘 목록의 기준 패턴(reference pattern)의 일례로서 "널 사랑해"를 나타낸다.

본 발명에 따른 음악 검색 장치는 상기 기준 패턴에서 "널(nvL)"부분이 상기 인식 심볼 시퀀스와 매칭되지 않으므로 상기 인식 심볼 시퀀스와 매칭되는 "사랑해"부분부터 매칭시킨다.

도 4를 참조하면, 상기 음소 혼동 매트릭스는 인식 심볼(recognition symbol) 및 기준 심볼(reference symbol)들 사이의 혼동(confusion) 정도를 확률 값으로 표현하며, 상기 인식 심볼에 대한 삽입(insertion) 확률 값과 상기 기준 심볼에 대한 삭제(deletion) 확률 값이 사용된다. 상기 음소 혼동 매트릭스의 값은 log P(a|b)로 표현될 수 있다.

인식 심볼 세트(recognition symbol set)는 음소 디코딩부(130)에서 사용되는 음소 세트(phone set)이고, 기준 심볼 세트(reference symbol set)는 발음 사전 대표(Lexicon representation)에서 사용되는 음소 세트이다. 상기 인식 심볼 세트와 상기 기준 심볼 세트는 동일할 수도 있고 상이할 수도 있다.

도 5를 참조하면, 본 발명에 따른 음악 검색 장치는 사용자로부터 '사랑해'라는 음성 쿼리를 입력 받고, 상기 음성 쿼리를 음소로 인식하여 음악 데이터베이스에 저장된 발음 사전의 기준 패턴과 매칭하여 매칭 스코어가 소정 기준 값 이상인 음악 정보 검색 결과를 상기 매칭 스코어에 따라 디스플레이한다.

도 6을 참조하면, 단계(610)에서 휴대 단말기는 사용자로부터 음성 쿼리를 입력 받는다. 즉, 단계(610)에서 상기 휴대 단말기는 상기 사용자로부터 예를 들어 '사랑해'라는 문장이 포함된 곡명을 검색하고자 하는 경우, 상기 음성 쿼리로 상기 사용자에 의해 발음된 "사랑해"라는 음성 신호를 입력 받을 수 있다.

단계(620)에서 상기 휴대 단말기는 상기 입력된 음성 쿼리로부터 음성 특징 벡터를 추출한다. 즉, 단계(620)에서 상기 휴대 단말기는 상기 입력된 음성 신호에 대한 배경 잡음을 억제하고, 상기 사용자의 음성 신호 중 음성 구간만을 검출한 후 상기 검출된 음성 구간에서 음성 인식에 사용될 특징 벡터를 추출한다.

단계(630)에서 상기 휴대 단말기는 상기 추출된 음성 특징 벡터 열을 후보 음소 열로 디코딩한다. 즉, 단계(630)에서 상기 휴대 단말기는 음소 디코더(phone decoder)를 통해 상기 추출된 특징 벡터 열을 음소 또는 트라이폰(tri-phone) 음향 모델을 사용하여 N개의 후보 음소 열로 변환하는 디코딩을 수행한다.

단계(640)에서 상기 휴대 단말기는 상기 후보 음소 열과 음악 데이터베이스에 저장된 발음 사전의 기준 패턴을 이용하여 부분 매칭을 수행한다. 즉, 단계(640)에서 상기 휴대 단말기는 상기 인식된 후보 음소 열과 상기 기준 패턴을 음소 혼동 매트릭스 및 언어 제한에 의해 도 3에 도시된 것과 같은 부분 매칭을 수행한다.

iTunes 등과 같은 음악 저장 사이트 또는 Yepp studio 등과 같은 음악 다운로드 사이트인 음악 제공 서버는 하나의 구성 요소로서 음악 정보 생성 모듈을 포함한다. 상기 음악 제공 서버의 음악 정보 생성 모듈은 음악 파일로부터 인식 대상 어휘인 곡명, 가수명, 앨범명, 폴더명, 재생 목록, 장르 등과 같은 정보를 추출하고, 상기 추출된 정보를 이용하여 인식 대상 어휘에 대한 인덱스 또는 타입 등과 같은 음악 정보를 생성한다. 상기 음악 제공 서버는 상기 음악 파일 또는 상기 생성된 음악 정보를 상기 휴대 단말기로 전송하거나 다운로드시킬 수 있다.

한편, 상기 휴대 단말기는 음악 파일을 다운로드받는 순간에 자체적으로 내 장된 음악 정보 생성 모듈을 동작시켜 상기 음악 파일에 포함된 음악 정보를 추출하거나 또는 사용자가 음성 인식 버튼을 누르는 경우 음악 데이터베이스에 저장된 음악 파일을 분석하여 상기 음악 파일에 대한 음악 정보를 생성할 수 있다. 또한, 상기 휴대 단말기는 상기 음악 제공 서버로부터 상기 음악 파일 및 상기 음악 파일에 대한 음악 정보를 다운로드 받아 상기 음악 데이터베이스에 저장할 수 있다. 즉, 상기 휴대 단말기는 상기 음악 정보 생성 모듈을 통해 상기 음악 파일에 대한 인식 대상 어휘를 추출하고, 상기 추출된 어휘에 대한 인덱스 또는 유형 등과 같은 음악 정보를 생성한다. 또한, 상기 휴대 단말기는 상기 각 인식 대상 어휘에 대한 발음 사전을 생성하고, 전체 어휘에 대한 매칭 속도를 개선하기 위해 상기 발음 사전을 정렬할 수도 있다.

단계(650)에서 상기 휴대 단말기는 상기 부분 매칭 단계에서 얻어진 후보 인식 리스트의 매칭된 음소 세그먼트 부분에 대해 비터비 정렬(viterbi alignment)에 의한 상세 매칭을 수행한다. 즉, 단계(650)에서 상기 휴대 단말기는 연음 현상이 반영된 부분에 대한 발음 열을 고립 발성 형태의 발음 열로 변환한 후 상세 매칭을 수행한다.

단계(660)에서 상기 휴대 단말기는 상기 수행된 매칭 결과에 따른 매칭 스코어를 계산한다. 즉, 단계(660)에서 상기 휴대 단말기는 상기 수행된 매칭 결과에 따른 음소 혼동 매트릭스를 이용하여 상기 매칭 스코어를 계산한다. 상기 매칭 스코어는 상기 음소 혼동 매트릭스의 확률 값을 사용하여 계산되고, 음소의 추가 확률과 삭제 확률도 고려될 수 있다.

단계(670)에서 상기 휴대 단말기는 상기 계산된 매칭 스코어에 따라 음악 정보 검색 결과를 디스플레이 수단을 통해 디스플레이한다. 즉, 단계(670)에서 상기 휴대 단말기는 상기 음소 인식 열과 상기 표준 발음 열 사이의 부분 심볼 매칭을 통해 계산된 상기 매칭 스코어가 높은 후보 목록을 검색하고, 상기 검색된 후보 목록 중 상기 매칭 스코어가 높은 순서에 따라 상기 음악 정보 검색 결과를 상기 디스플레이 수단을 통해 디스플레이할 수 있다.

단계(670)에서 상기 휴대 단말기는 상기 계산된 매칭 스코어가 소정의 기준 값 이상인 음악 정보 검색 결과만을 상기 디스플레이 수단을 통해 디스플레이할 수 있다.

또한, 단계(670)에서 상기 휴대 단말기는 상기 음악 정보 검색 결과에서 상기 매칭 스코어가 동일한 경우 소정의 우선 조건에 따라 상기 음악 정보 검색 결과를 정렬하여 상기 디스플레이 수단을 통해 디스플레이한다. 상기 우선 조건은 리스트의 유형, 최장 일치, 좌측 일치 등과 같은 조건일 수 있다. 상기 우선 순위는 상기 리스트의 유형인 경우 곡명, 앨범명, 가수명 등과 음악 정보를 사용자 또는 자체적으로 정해진 순서에 따라 결정될 수 있다.

또한, 단계(670)에서 상기 휴대 단말기는 상기 음악 정보 검색 결과를 각 리스트별로 유형에 따라 다른 아이콘으로 표시할 수 있다. 즉, 단계(670)에서 상기 휴대 단말기는 상기 음악 정보 검색 결과가 예를 들어 가수명인 경우, 상기 리스트의 유형이 가수명임을 나타내는 아이콘을 표시할 수 있고, 상기 음악 정보 검색 결과가 곡명인 경우, 상기 리스트의 유형이 곡명임을 나타내는 아이콘을 표시할 수도 있다.

또한, 단계(670)에서 상기 휴대 단말기는 상기 음악 정보 검색 결과를 디스플레이할 때 사용자로부터 입력된 음성 쿼리의 부분에 대응하는 부분을 하이라이트로 처리하여 디스플레이할 수 있다. 즉, 단계(670)에서 상기 휴대 단말기는 상기 사용자로부터 "사랑해"가 음성 쿼리로 입력된 경우 상기 음악 정보 검색 결과를 디스플레이할 때 "사랑해"부분을 다른 색, 밑줄 또는 더 진하게 처리하여 디스플레이할 수 있다.

이와 같이, 본 발명에 따른 음악 검색 방법은 휴대 단말기에서 음소 디코더에 의한 음소 인식 열과 표준 발음 열 사이의 부분 심볼 매칭 과정을 통해 곡명, 가수명, 앨범명 등과 같은 일부 또는 전체 발화를 인식하여 사용자가 원하는 음악을 손쉽게 검색할 수 있다.

상술한 바와 같이 본 발명은 실시예로서 휴대 단말기에서 음성 인식에 의한 음악 검색 방법 및 그 장치를 위주로 설명하였으나, 실시예인 음악 검색에만 한정된 것이 아니라 휴대 단말기에서 음성 인식을 통해, 상기 휴대 단말기에 저장된 사진, 동영상 등과 같은 멀티미디어 데이터에 대한 검색에도 적용될 수 있다. 이러한 멀티미디어 데이터 검색 방법의 일례로, 사진 또는 동영상 데이터의 경우 파일명 등을 음성 인식의 대상이 되는 검색 쿼리로 이용할 수 있다.

또한 본 발명에 따른 음악 검색 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

본 발명에 따르면, 휴대 단말기에서 음소 디코더에 의한 음소 인식 열과 표준 발음 열 사이의 부분 심볼 매칭 과정을 통해 곡명, 가수명, 앨범명 등과 같은 일부 또는 전체 발화를 인식하여 음악 등의 멀티미디어 데이터를 검색할 수 있는 방법 및 장치를 제공할 수 있다.

또한 본 발명에 따르면, 휴대 단말기에서 곡목 리스트로부터 인식에 사용되는 정보를 변환하는 과정을 음악 저장 또는 음악 다운로드 사이트에서 실행하거나 휴대 단말기가 자체적으로 실행할 수 있는 음악 검색 방법 및 그 장치를 제공할 수 있다.

또한 본 발명에 따르면, 휴대 단말기에서 부분 심볼 매칭 과정을 통해 언어의 제한을 적용하여 매칭 정확도를 높일 수 있는 음악 검색 방법 및 그 장치를 제공할 수 있다.

또한 본 발명에 따르면, 휴대 단말기에서 음소 혼동 매트릭스를 이용하여 음소 인식 결과와 어휘의 발음 열 사이의 부분 매칭을 통해 음악을 검색할 수 있는 방법 및 그 장치를 제공할 수 있다.

또한 본 발명에 따르면, 휴대 단말기에서 부분 매칭된 발음 열에서 단어나 어절 경계에서 발음 변이를 고립 발성 형태의 원래 발음으로 변환하여 최종 음성 인식 점수를 계산하여 보다 정확한 음악 정보를 검색할 수 있는 방법 및 그 장치를 제공할 수 있다.

또한 본 발명에 따르면, 휴대 단말기에서 검색 대상 어휘 리스트를 미리 분석 등에 의한 부분 개체명의 추출이 필요 없기 때문에 어휘 검색을 위한 검색망도 필요 없는 이점이 있다.

또한 본 발명에 따르면, 휴대 단말기에서 언어/어플리케이션 확장성이 높기 때문에 다양한 언어와 어플리케이션을 사용할 수 있다.

또한 본 발명에 따르면, 휴대 단말기에서 쿼리로 입력된 음성 신호를 어휘로 인식하는 것이 아니라 음소 열로 인식하므로 인식 어휘 수가 증가하더라도 메모리의 증가량이 적은 이점이 있다.

Claims

삭제
휴대 단말기에서의 음성 인식을 통한 음악 검색 방법에 있어서,

사용자에 의해 발성된 음성 신호를 음소 열로 인식하는 단계;

상기 음소 인식 열과 표준 발음 열 사이의 부분 심볼 매칭을 수행하는 단계;

상기 수행된 매칭 결과에 따른 매칭 스코어를 계산하는 단계; 및

상기 매칭 스코어에 따라 음악 정보 검색 결과를 디스플레이하는 단계

를 포함하는 것을 특징으로 하는 음악 검색 방법.
제2항에 있어서,

사용자에 의해 발성된 음성 신호를 음소 열로 인식하는 상기 단계는,

상기 사용자에 의해 발성된 음성 신호의 특징을 추출하는 단계; 및

상기 추출된 음성 신호의 특징에 따라 음소 디코딩하는 단계

를 포함하는 것을 특징으로 하는 음악 검색 방법.
제2항에 있어서,

상기 매칭 스코어는,

음소 혼동 매트릭스에 의해 계산되는 것을 특징으로 하는 음악 검색 방법.
제2항에 있어서,

상기 매칭 스코어에 따라 음악 정보 검색 결과를 디스플레이하는 상기 단계는,

상기 매칭 스코어가 소정의 기준 값 이상인 음악 정보 검색 결과만을 디스플레이하는 것을 특징으로 하는 음악 검색 방법.
제2항에 있어서,

소정의 음악 파일로부터 인식 대상 어휘를 추출하고, 상기 추출된 인식 대상 어휘에 대한 상기 음악 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 음악 검색 방법.
제6항에 있어서,

상기 인식 대상 어휘에 대한 발음 사전을 생성하는 단계; 및

상기 생성된 발음 사전을 정렬하는 단계

를 더 포함하는 것을 특징으로 하는 음악 검색 방법.
제2항 내지 제7항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
음악 검색 장치에 있어서,

음악 및 음악 정보에 대한 발음 사전을 저장하는 음악 데이터베이스;

사용자의 음성 신호를 후보 음소 열로 디코딩하는 음소 디코딩부;

상기 후보 음소 열과 상기 음악 정보에 대한 발음 사전의 기준 음소 패턴을 매칭하는 매칭부;

상기 매칭 결과에 따른 매칭 스코어를 계산하는 계산부; 및

상기 계산된 매칭 스코어에 따라 음악 정보 검색 결과를 디스플레이하는 디스플레이부

를 포함하는 것을 특징으로 하는 음악 검색 장치.
제9항에 있어서,

상기 매칭부는,

음소 혼동 매트릭스 및 언어 경계 정보를 이용하여 상기 후보 음소 열과 상기 음악 정보에 대한 발음 사전의 기준 음소 패턴을 매칭하는 것을 특징으로 하는 음악 검색 장치.
제9항에 있어서,

상기 매칭부는,

연음 현상이 반영된 부분의 발음 열을 고립 발성 형태의 원래 발음 열로 변환한 후 상기 변환된 발음 열을 상기 발음 사전의 기준 음소 패턴과 매칭하는 것을 특징으로 하는 음악 검색 장치
제9항에 있어서,

상기 디스플레이부는,

상기 매칭 스코어가 소정의 기준 값 이상인 음악 정보 검색 결과만을 디스플레이하는 것을 특징으로 하는 음악 검색 장치.
제12항에 있어서,

상기 디스플레이부는,

상기 음악 정보 검색 결과에서 상기 매칭 스코어가 동일한 경우 소정의 우선 조건에 따라 상기 음악 정보 검색 결과를 정렬하여 디스플레이하는 것을 특징으로 하는 음악 검색 장치.
제9항에 있어서,

상기 후보 음소 열을 디코딩하기 전에 사용자의 음성 신호로부터 음성 특징 벡터를 추출하는 특징 추출부를 더 포함하는 것을 특징으로 하는 음악 검색 장치.
제9항에 있어서,

소정의 음악 파일로부터 인식 대상 어휘를 추출하고, 상기 추출된 인식 대상 어휘에 대한 상기 음악 정보를 생성하는 음악 정보 생성부를 더 포함하는 것을 특징으로 하는 음악 검색 장치.