[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR100954385B1 - 개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생시스템 - Google Patents

개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생시스템 Download PDF

Info

Publication number
KR100954385B1
KR100954385B1 KR1020080040072A KR20080040072A KR100954385B1 KR 100954385 B1 KR100954385 B1 KR 100954385B1 KR 1020080040072 A KR1020080040072 A KR 1020080040072A KR 20080040072 A KR20080040072 A KR 20080040072A KR 100954385 B1 KR100954385 B1 KR 100954385B1
Authority
KR
South Korea
Prior art keywords
audio signal
transfer function
hrtf
head transfer
personalized
Prior art date
Application number
KR1020080040072A
Other languages
English (en)
Other versions
KR20090066188A (ko
Inventor
이용주
장인선
장대영
서정일
강경옥
김진웅
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to EP08862310.3A priority Critical patent/EP2243136B1/en
Priority to PCT/KR2008/005710 priority patent/WO2009078558A1/en
Priority to EP17201558.8A priority patent/EP3313099A1/en
Priority to US12/809,458 priority patent/US20110150098A1/en
Publication of KR20090066188A publication Critical patent/KR20090066188A/ko
Application granted granted Critical
Publication of KR100954385B1 publication Critical patent/KR100954385B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00992—Circuits for stereophonic or quadraphonic recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 개인화된 머리전달함수(HRTF)를 이용한 3차원 오디오 신호 처리 장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생 시스템에 관한 것으로서, 사용자 개인의 신체 특징에 맞게 모델링된 머리전달함수(HRTF)를 이용하여 3차원 오디오 신호를 생성함으로써, 각각의 사용자에 대하여 최대의 현장감(현실감) 있는 3차원 오디오 신호를 제공하고자 한다.
이를 위하여, 본 발명은, 머리전달함수(HRTF)를 이용한 3차원 오디오 신호 처리 장치에 있어서, 오디오 데이터를 디코딩하여 원래의 오디오 신호를 복원하기 위한 오디오 디코딩 수단; 및 사용자의 신체 특징에 맞게 모델링된 머리전달함수("개인화된 머리전달함수")를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하기 위한 3차원 오디오 생성 수단을 포함한다.
3차원 오디오, 입체 음향, 고현장감, 머리전달함수, HRTF

Description

개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리 장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생 시스템{APPARATUS AND METHOD FOR PROCESSING THREE DIMENSIONAL AUDIO SIGNAL USING INDIVIDUALIZED HRTF, AND HIGH REALISTIC MULTIMEDIA PLAYING SYSTEM USING IT}
본 발명은 현장감(현실감) 있는 3차원 오디오 서비스에 관한 것으로, 더욱 상세하게는 사용자 개인의 신체 특징에 맞게 모델링된 머리전달함수(HRTF)를 이용하여 3차원 오디오 신호를 생성함으로써, 각각의 사용자에 대하여 최대의 현장감(현실감) 있는 3차원 오디오 신호를 제공할 수 있는, 개인화된 머리전달함수(HRTF)를 이용한 3차원 오디오 신호 처리 장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생 시스템에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술개발].
최근에는 MP3 플레이어(Player), PMP(Portable Multimedia Player), 핸드폰, DMB 플레이어(Player) 등과 같은 다양한 멀티미디어 재생 시스템을 통하여 멀티미디어 데이터를 시청하는 경우가 급속히 증가하고 있다.
이러한 종래의 멀티미디어 재생 시스템의 일반적인 구성을 살펴보면, 멀티미디어 재생 시스템(10)은, 도 1에 도시된 바와 같이, 역다중화부(11), 비디오 디코더(12), 오디오 디코더(13), 및 3차원 오디오 신호처리부(14)를 포함하여 이루어진다.
여기서, 역다중화부(11)가 멀티미디어 데이터를 비디오 데이터와 오디오 데이터로 분리(역다중화)하면, 비디오 디코더(12)는 분리된 비디오 데이터를 디코딩하여 원래의 비디오 신호를 복원해 내고, 오디오 디코더(13)는 분리된 오디오 데이터를 디코딩하여 원래의 오디오 신호를 복원해 낸다.
그러면, 3차원 오디오 신호처리부(14)는 오디오 디코더(13)에서 복원된 오디오 신호에 대하여 3차원 입체음향 효과를 부여함으로써 3차원 오디오 신호를 생성한다. 여기서, 3차원 입체음향 효과란 헤드폰이나 스피커를 통해 가상 공간의 특정 위치에 음원을 형성함으로써, 사용자가 듣는 소리가 마치 그 가상의 음원 위치에서 실제로 들려오는 것처럼 방향감, 거리감, 공간감을 형성해 주는 것을 말한다.
도 1에 도시된 바와 같은 멀티미디어 재생 시스템, 특히 휴대용 재생 시스템(휴대 단말)에서는 헤드폰 또는 이어폰을 통해 오디오 신호를 청취하는 방식이 일반적인데, 이러한 방식으로 오디오 신호를 청취하는 경우에는 오디오의 음상(Sound Image)이 머리 내부에 맺히는 음상 내재화(IHL: Inside-the-Head Localization) 현상이 발생하게 된다.
이러한 음상 내재화(IHL) 현상은 공간감 및 현실감을 떨어뜨리는 요인이 될 수 있기 때문에, 이를 극복하여 청취자로 하여금 3차원 효과(입체 효과)를 느낄 수 있도록 하는 다양한 기술들이 출현하고 있다. 그 대표적인 기술로는 SRS(Sound Retrieval System), DNSe(Digital Natural Sound Engine), BBE(Baseband Booster Effect) 등이 있다. 여기서, SRS는 기존의 스테레오에서 손실되었던 음의 사실감을 회복시켜주는 기술이고, DNSe는 소형 MP3 플레이어로도 콘서트장에 있는 것과 같은 자연스러운 현장감을 느낄 수 있도록, 낮은 음량의 음을 증폭시키는 자동 조절 효과 기술이며, BBE는 저음을 증폭하는 기술이다.
이러한 3차원 오디오 기술에 대한 연구는 현재에도 계속적으로 이루어지고 있는데, 그 중에서도 "개인화된 머리전달함수(Individualized HRTF)"를 이용하여 오디오 신호처리를 하는 것이 가장 현실감 있는 오디오를 재생할 수 있다는 연구 결과가 나와 있다.
종래의 머리전달함수(HRTF)를 사용하는 오디오 신호 처리 방식에서는, 실제 사람의 귀 속 또는 사람의 모양을 한 모형(예를 들면, Torso)의 귀 속에 마이크를 넣고 오디오 신호를 녹음하여 임펄스 응답을 획득할 수 있는데, 이를 오디오 신호에 적용하면 오디오 신호의 3차원 공간상의 위치를 느낄 수 있게 할 수 있다.
여기서, 머리전달함수(HRTF)는 음원과 사람의 귀 사이에 발생하는 전달함수를 나타내는 것으로서, 이는 음원의 방위와 고도에 따라 그 값을 달리질 뿐만 아니라 사람의 머리 모양/크기, 귀의 모양 등과 같은 신체 특징에도 의존하는 특징이 있다. 즉, 사람 개개인마다 고유한 머리전달함수를 갖는다.
하지만, 현재까지는 여러 종류의 모형(예를 들면, 더미 헤드)을 통해 측정한 머리전달함수(HRTF)(즉, 개인화되지 않은 HRTF)를 3차원 오디오 신호 처리에 사용하고 있는데 불과하기 때문에, 신체 특징이 제각기 다른 사람들에게 동일한 3차원 음향효과를 제공하는 것이 곤란하다는 문제점이 있다.
또한, 종래의 멀티미디어 재생 시스템에서는 사용자 개인별로 자신의 신체 특징에 맞는 머리전달함수(HRTF)를 적용할 수 있는 모듈을 구비하고 있지 않기 때문에, 사용자 개인에게 최적화된 현장감(현실감) 있는 3차원 오디오 신호를 제공할 수 없다는 문제점이 있다.
상기와 같은 종래기술은 멀티미디어 재생기에서 3차원 오디오를 재생함에 있어서, 사용자의 개인적 신체 특징(머리 모양/크기, 귀 모양 등)을 전혀 고려하지 않기 때문에, 사용자에 따라서는 3차원 오디오 신호의 현장감(현실감)이 떨어진다는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.
따라서 본 발명은 사용자 개인의 신체 특징에 맞게 모델링된 머리전달함수(HRTF)를 이용하여 3차원 오디오 신호를 생성함으로써, 각각의 사용자에 대하여 최대의 현장감(현실감) 있는 3차원 오디오 신호를 제공할 수 있는, 개인화된 머리전달함수(HRTF)를 이용한 3차원 오디오 신호 처리 장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생 시스템을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명은 상기와 같은 목적을 해결하기 위하여, 사용자 개인의 신체 특징에 맞게 모델링된 머리전달함수(HRTF)를 이용하여 3차원 오디오 신호를 생성하는 것을 특징으로 한다.
더욱 상세하게는, 본 발명은, 머리전달함수(HRTF)를 이용한 3차원 오디오 신호 처리 장치에 있어서, 오디오 데이터를 디코딩하여 원래의 오디오 신호를 복원하기 위한 오디오 디코딩 수단; 및 사용자의 신체 특징에 맞게 모델링된 머리전달함수("개인화된 머리전달함수")를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하기 위한 3차원 오디오 생성 수단을 포함한다.
또한, 본 발명은, 머리전달함수(HRTF)를 이용한 3차원 오디오 신호 처리 방법에 있어서, 오디오 데이터를 디코딩하여 원래의 오디오 신호를 복원하는 디코딩 단계; 및 사용자 신체 특징에 맞게 모델링된 머리전달함수("개인화된 머리전달함수")를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하는 3 차원 오디오 생성 단계를 포함한다.
또한, 본 발명은, 고현장감 멀티미디어 재생 시스템에 있어서, 멀티미디어 데이터를 비디오 데이터와 오디오 데이터로 분리하기 위한 역다중화 수단; 상기 분리된 비디오 데이터를 원래의 비디오 신호를 복원하기 위한 비디오 디코딩 수단; 상기 분리된 오디오 데이터를 디코딩하여 원래의 오디오 신호를 복원하기 위한 오디오 디코딩 수단; 및 사용자 신체 특징에 맞게 모델링된 머리전달함수("개인화된 머리전달함수")를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하기 위한 3차원 오디오 생성 수단을 포함한다.
상기와 같은 발명은, 사용자 개인의 신체 특징에 맞는 머리전달함수(HRTF)를 이용하여 3차원 오디오 신호를 생성하기 때문에, 각각의 사용자에 대하여 최대의 현장감(현실감) 있는 3차원 오디오 신호를 제공하는 효과가 있다.
즉, 본 발명은, 멀티미디어 재생기에 '개인화된 머리전달함수(HRTF)를 입력받아 사용할 수 있는 모듈'을 추가하여 사용함으로써, 각각의 사용자들로 하여금 자신의 멀티미디어 재생기를 이용하여 오디오 데이터를 재생함에 있어서 사용자 개인별로 최적화된 고현장감(고현실감) 3차원 오디오를 재생할 수 있게 하는 효과가 있다.
3차원 입체 음향 기술(3 Dimensional Sound Technology)이란 인간이 청각만으로 음원의 위치를 3차원 상에서 파악할 수 있는 메커니즘을 이해하고, 이를 공학적으로 응용하는 전반적인 기술을 의미한다. 일반적으로 3차원 상의 위치는 3개의 변수로 표현할 수 있으며, 이를 추정해 내려면 3개의 독립적인 변수를 측정해야만 가능하다.
그러나 인간이나 혹은 동물(특히, 부엉이류)은 양쪽 귀에서 측정한 두 개의 신호로부터 음원의 방향(전후, 좌우, 상하)뿐만 아니라 거리까지도 정확히 파악할 수 있는 능력을 가지고 있다. 이는 머리, 몸체와 외이(外耳)에 의한 음파의 산란 및 회절 등으로 양 귀에 도달하는 음파의 스펙트럼(spectrum)이 음원의 방향에 따라 변화되어 내이(內耳)에 전달되고, 뇌는 이로부터 정확한 음원의 위치를 추정할 수 있기 때문이다.
인간의 음원 위치 파악 메커니즘을 정확히 이해하고 이를 재현시킬 수 있다면, 이를 이용하여 청취자에게 가상의 음원을 들려주는 것이 가능하고(가상 입체 음장 구현) 또한 이를 거꾸로 응용하여 두 개 또는 다수의 마이크로폰으로 측정한 신호로부터 실제 음원의 위치를 알아낼 수 있다(음원 위치 추정). 이러한 기술은 기존의 시각 위주의 가상현실 시스템에 청각 가상현실을 보태어 몰입감을 높이는데 사용될 수 있고, TV 전면 스피커 두 개만으로도 5.1채널 서라운드 사운드 시스템 효과를 내는데도 사용될 수 있다. 또한 로봇으로 하여금 보이지 않는 곳에 있는 사람이나 이상 소음원의 위치를 파악하여 대처하게 함으로써 인간에게 친숙하게 다가설 수 있도록 할 수도 있다.
인간의 음원 위치 파악 메카니즘을 정확히 파악하기 위해서는, "머리전달함수(HRTF)"에 대한 이해가 필요하다. 머리전달함수(HRTF)는 머리주변 임의의 위치를 갖는 음원에서 방사되는 음파와 양귀 고막에 도달하는 음파 간의 전달함수(Transfer Function)를 의미하며, 이는 음원의 방위와 고도에 따라 그 값을 달리한다. 뿐만 아니라 머리와 외이(外耳)의 형상에도 직접적인 영향을 받아 사람 개개인마다 고유한 머리전달함수를 갖는다.
따라서, 사용자 개인의 신체 특징에 맞는 머리전달함수(HRTF)(즉, 개인화된 HRTF)를 오디오 신호(원음)에 콘볼루션(convolution) 형태로 곱한 후 재생하여 청취자에게 들려준다면, 청취자에게는 최적의 고현장감(고현실감) 3차원 오디오 신호를 제공하는 것이 될 것이다.
이러한 이유에서, 본 발명은 사용자 개인의 신체 특징에 맞는 머리전달함수(HRTF)를 이용하여 3차원 오디오 신호를 생성함으로써 사용자 개인별로 최적화된 고현장감(고현실감) 3차원 오디오 신호를 제공하는 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 2는 본 발명에 따른 개인화된 머리전달함수(HRTF)를 이용한 고현장감 멀티미디어 재생 시스템의 일실시예 구성도이다.
본 발명에 따른 고현장감 멀티미디어 재생 시스템(20)은, 도 2에 도시된 바와 같이, 역다중화부(21), 비디오 디코더(22), 오디오 디코더(23), 및 3차원 오디오 생성부(24)를 포함하여 이루어진다. 이하, 각각의 구성수단을 설명하기로 한다. 여기서, 오디오 디코더(23)와 3차원 오디오 생성부(24)를 묶어서 "3차원 오디오 신호 처리 장치"(25)라 하기로 한다.
역다중화부(21)가 멀티미디어 데이터를 비디오 데이터와 오디오 데이터로 분리(역다중화)하면, 비디오 디코더(22)는 상기 분리된 비디오 데이터를 원래의 비디오 신호를 복원하고, 오디오 디코더(23)는 상기 분리된 오디오 데이터를 디코딩하여 원래의 오디오 신호(3차원 효과가 가미되지 않은 스테레오 신호)로 복원한다.
이후, 3차원 오디오 생성부(24)는 사용자 개인의 신체 특징에 맞는 머리전달함수(HRTF)를 이용하여 오디오 디코더(23)에서 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성한다. 여기서, 3차원 오디오 생성부(24)는 개인 HRTF 제공부(241) 및 3차원 오디오 신호처리부(242)를 포함하여 이루어지는데, 그 각각은 다음과 같은 기능을 수행한다.
개인 HRTF 제공부(241)는 사용자의 개인 특징(신체 특징을 의미하며, 예를 들면, 머리의 크기/형태, 귀의 모양 등)에 맞게 모델링된 머리전달함수(HRTF)(즉, 개인화된 HRTF)를 외부로부터 입력받아 저장하고 있다가 3차원 오디오 신호처리부(242)에 제공한다.
여기서, 사용자 개인의 신체 특징에 맞는 머리전달함수(HRTF)(개인화된 HRTF)를 획득하는 구체적인 방법에 대하여 설명하면, 다음과 같다.
첫째는, 사용자의 신체 측량을 통해, 개인화된 머리전달함수(HRTF)를 구할 수 있다. 즉, 사용자의 머리 크기, 귀의 크기, 모양 등이 미치는 영향을 고려하여, 사용자의 신체 특징으로부터 머리전달함수(HRTF)를 예측함으로써, 개인화된 머리전달함수(HRTF)를 구할 수 있다.
둘째는, 사람 모형을 통해 측정한 머리전달함수(HRTF)를 사용자 개인의 신체 특징에 맞도록 변형함으로써, 개인화된 머리전달함수(HRTF)를 구할 수 있다.
셋째는, 이어(Ear) 마이크로폰을 이용하는 방법이 있는데, 이는 이어폰에 소형 마이크를 장착하여 실시간으로 머리전달함수(HRTF)를 측정하여 3차원 오디오 신호처리에 적용하는 것이다.
한편, 실시예에 따라서는, 개인 HRTF 제공부(241)가 다양한 형태의 머리전달함수(HRTF)(HRTF 샘플)를 저장(추후에 사용자에 의하여 입력되어 저장되는 경우도 포함함)하고 있다가, 사용자에 의해 특정한 머리전달함수(HRTF)가 선택되면 그 선택된 머리전달함수(HRTF)를 3차원 오디오 신호처리부(242)에 제공하게 할 수도 있다.
3차원 오디오 신호처리부(242)는 개인 HRTF 제공부(241)에서 제공되는 머리전달함수(HRTF)를 이용하여, 오디오 디코더(23)에서 복원된 오디오 신호에 대한 3차원 오디오 신호(사용자 개인에게 적응된 3차원 오디오 신호)를 생성한다. 예를 들어, 3차원 오디오 신호처리부(242)는 개인 HRTF 제공부(241)에서 제공되는 머리 전달함수(HRTF)와 오디오 디코더(23)에서 복원된 오디오 신호를 콘볼루션(Convolution)하여 3차원 오디오 신호를 생성할 수 있다.
요컨대, 본 발명에서는 멀티미디어 재생 시스템에, 개인화된 머리전달함수(HRTF)를 이용해 오디오 신호처리를 수행하여 3차원 오디오 효과를 높이는 3차원 오디오 생성부(즉, 개인화된 3차원 오디오 신호처리부)를 추가함으로써, 사용자로 하여금 더욱 현실감 있는 3차원 오디오를 청취할 수 있도록 한다. 또한, 본 발명에서는 사용자가 자신의 신체 특징에 맞는 머리전달함수(HRTF)를 멀티미디어 재생 시스템에 입력하는 것이 가능하기 때문에, 동일한 제품(멀티미디어 재생 시스템)을 가지고도 사용자 개인의 신체 특징에 맞는 신호 처리를 할 수 있게 된다.
도 3은 본 발명에 따른 도 2의 고현장감 멀티미디어 재생 시스템에서의 신호 처리 방법에 대한 일실시예 흐름도로서, 특히 개인화된 머리전달함수(HRTF)를 이용한 3차원 오디오 신호 처리 과정을 나타낸다.
본 발명에 따른 고현장감 멀티미디어 재생 시스템은 역다중화 과정을 통하여, 멀티미디어 데이터를 비디오 데이터 및 오디오 데이터로 분리한다(300).
이후, 고현장감 멀티미디어 재생 시스템은 분리된 비디오 데이터를 디코딩하여 원래의 비디오 신호를 복원한다(302).
한편, 고현장감 멀티미디어 재생 시스템은 분리된 오디오 데이터를 디코딩하여 원래의 오디오 신호를 복원한 후(304), 사용자 개인의 신체 특징에 맞는 머리전달함수(HRTF)(즉, 개인화된 머리전달함수)를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성한다(306).
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 종래의 멀티미디어 재생 시스템의 구성예시도,
도 2는 본 발명에 따른 개인화된 머리전달함수(HRTF)를 이용한 고현장감 멀티미디어 재생 시스템의 일실시예 구성도,
도 3은 본 발명에 따른 도 2의 고현장감 멀티미디어 재생 시스템에서의 신호 처리 방법에 대한 일실시예 흐름도이다.
* 도면의 주요부분에 대한 부호 설명
20: 멀티미디어 재생 시스템 21: 역다중화부
22: 비디오 디코더 23: 오디오 디코더
24: 3차원 오디오 생성부 25: 3차원 오디오 신호 처리 장치
241: 개인 HRTF 제공부 242: 3차원 오디오 신호처리부

Claims (12)

  1. 머리전달함수(HRTF)를 이용한 3차원 오디오 신호 처리 장치에 있어서,
    오디오 데이터를 디코딩하여 원래의 오디오 신호를 복원하기 위한 오디오 디코딩 수단; 및
    사용자의 신체 특징에 맞게 모델링된 머리전달함수("개인화된 머리전달함수")를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하기 위한 3차원 오디오 생성 수단
    을 포함하는 개인화된 HRTF를 이용한 3차원 오디오 신호 처리 장치.
  2. 제 1 항에 있어서,
    상기 3차원 오디오 생성 수단은,
    상기 개인화된 머리전달함수를 외부로부터 입력받아 제공하기 위한 HRTF 제공 수단; 및
    상기 HRTF 제공 수단에서 제공된 개인화된 머리전달함수를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하기 위한 3차원 오디오 신호처리 수단
    을 포함하는 개인화된 HRTF를 이용한 3차원 오디오 신호 처리 장치.
  3. 제 1 항에 있어서,
    상기 3차원 오디오 생성 수단은,
    복수의 머리전달함수 샘플 중에서 상기 사용자에 의해 선택된 머리전달함수를 상기 개인화된 머리전달함수로 제공하기 위한 HRTF 제공 수단; 및
    상기 HRTF 제공 수단에서 제공된 개인화된 머리전달함수를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하기 위한 3차원 오디오 신호처리 수단
    을 포함하는 개인화된 HRTF를 이용한 3차원 오디오 신호 처리 장치.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 3차원 오디오 신호처리 수단은,
    상기 HRTF 제공 수단에서 제공된 개인화된 머리전달함수와 상기 복원된 오디오 신호를 콘볼루션하여 상기 3차원 오디오 신호를 생성하는 것을 특징으로 하는 개인화된 HRTF를 이용한 3차원 오디오 신호 처리 장치.
  5. 제 1 항에 있어서,
    상기 개인화된 머리전달함수는,
    상기 사용자의 머리 크기, 머리 모양, 및 귀 모양에 기초하여 모델링된 것을 특징으로 하는 개인화된 HRTF를 이용한 3차원 오디오 신호 처리 장치.
  6. 머리전달함수(HRTF)를 이용한 3차원 오디오 신호 처리 방법에 있어서,
    오디오 데이터를 디코딩하여 원래의 오디오 신호를 복원하는 디코딩 단계; 및
    사용자 신체 특징에 맞게 모델링된 머리전달함수("개인화된 머리전달함수")를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하는 3차원 오디오 생성 단계
    를 포함하는 개인화된 HRTF를 이용한 3차원 오디오 신호 처리 방법.
  7. 제 6 항에 있어서,
    상기 개인화된 머리전달함수는,
    외부에서 상기 사용자의 신체 특징에 맞게 모델링되어 입력된 머리전달함수인 것을 특징으로 하는 개인화된 HRTF를 이용한 3차원 오디오 신호 처리 방법.
  8. 제 6 항에 있어서,
    상기 개인화된 머리전달함수는,
    복수의 머리전달함수(HRTF) 샘플 중에서 상기 사용자에 의하여 선택된 머리전달함수(HRTF)인 것을 특징으로 하는 개인화된 HRTF를 이용한 3차원 오디오 신호 처리 방법.
  9. 제 6 항에 있어서,
    상기 3차원 오디오 생성 단계는,
    상기 개인화된 머리전달함수(HRTF)와 상기 복원된 오디오 신호를 콘볼루션하여 상기 3차원 오디오 신호를 생성하는 것을 특징으로 하는 개인화된 HRTF를 이용한 3차원 오디오 신호 처리 방법.
  10. 고현장감 멀티미디어 재생 시스템에 있어서,
    멀티미디어 데이터를 비디오 데이터와 오디오 데이터로 분리하기 위한 역다중화 수단;
    상기 분리된 비디오 데이터를 원래의 비디오 신호를 복원하기 위한 비디오 디코딩 수단;
    상기 분리된 오디오 데이터를 디코딩하여 원래의 오디오 신호를 복원하기 위한 오디오 디코딩 수단; 및
    사용자 신체 특징에 맞게 모델링된 머리전달함수("개인화된 머리전달함수")를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하기 위한 3차원 오디오 생성 수단
    을 포함하는 고현장감 멀티미디어 재생 시스템.
  11. 제 10 항에 있어서,
    상기 3차원 오디오 생성 수단은,
    상기 개인화된 머리전달함수(HRTF)를 외부로부터 입력받아 제공하기 위한 HRTF 제공 수단; 및
    상기 HRTF 제공 수단에서 제공된 개인화된 머리전달함수(HRTF)를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하기 위한 3차원 오디오 신호처리 수단
    을 포함하는 고현장감 멀티미디어 재생 시스템.
  12. 제 10 항에 있어서,
    상기 3차원 오디오 생성 수단은,
    복수의 머리전달함수(HRTF) 샘플 중에서 상기 사용자에 의해 선택된 머리전달함수를 상기 개인화된 머리전달함수로 제공하기 위한 HRTF 제공 수단; 및
    상기 HRTF 제공 수단에서 제공된 개인화된 머리전달함수를 이용하여 상기 복원된 오디오 신호에 대한 3차원 오디오 신호를 생성하기 위한 3차원 오디오 신호처리 수단
    을 포함하는 고현장감 멀티미디어 재생 시스템.
KR1020080040072A 2007-12-18 2008-04-29 개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생시스템 KR100954385B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP08862310.3A EP2243136B1 (en) 2007-12-18 2008-09-26 Mediaplayer with 3D audio rendering based on individualised HRTF measured in real time using earpiece microphones.
PCT/KR2008/005710 WO2009078558A1 (en) 2007-12-18 2008-09-26 Apparatus and method for processing 3d audio signal based on hrtf, and highly realistic multimedia playing system using the same
EP17201558.8A EP3313099A1 (en) 2007-12-18 2008-09-26 Apparatus and method for processing 3d audio signal based on hrtf, and highly realistic multimedia playing system using the same
US12/809,458 US20110150098A1 (en) 2007-12-18 2008-09-26 Apparatus and method for processing 3d audio signal based on hrtf, and highly realistic multimedia playing system using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070133710 2007-12-18
KR1020070133710 2007-12-18

Publications (2)

Publication Number Publication Date
KR20090066188A KR20090066188A (ko) 2009-06-23
KR100954385B1 true KR100954385B1 (ko) 2010-04-26

Family

ID=40994304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080040072A KR100954385B1 (ko) 2007-12-18 2008-04-29 개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생시스템

Country Status (4)

Country Link
US (1) US20110150098A1 (ko)
EP (2) EP3313099A1 (ko)
KR (1) KR100954385B1 (ko)
WO (1) WO2009078558A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190034486A (ko) 2017-09-22 2019-04-02 주식회사 디지소닉 3차원 입체음향 제공이 가능한 입체음향서비스장치
KR102661374B1 (ko) 2023-06-01 2024-04-25 김형준 사운드 소스의 선택적 콘트롤을 통한 입체 음향 출력 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5477357B2 (ja) * 2010-11-09 2014-04-23 株式会社デンソー 音場可視化システム
EP2871842A4 (en) * 2012-07-09 2016-06-29 Lg Electronics Inc APPARATUS AND METHOD FOR PROCESSING IMPROVED 3-DIMENSIONAL AUDIO / VIDEO CONTENT (3D)
WO2019059558A1 (ko) * 2017-09-22 2019-03-28 (주)디지소닉 입체음향서비스장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
CN107734428B (zh) * 2017-11-03 2019-10-01 中广热点云科技有限公司 一种3d音频播放设备
KR102483470B1 (ko) 2018-02-13 2023-01-02 한국전자통신연구원 다중 렌더링 방식을 이용하는 입체 음향 생성 장치 및 입체 음향 생성 방법, 그리고 입체 음향 재생 장치 및 입체 음향 재생 방법
CN110493701B (zh) * 2019-07-16 2020-10-27 西北工业大学 基于稀疏主成分分析的hrtf个人化方法
CN110460927A (zh) * 2019-08-01 2019-11-15 深圳市康宸电子科技有限公司 一种基于dsp的3d游戏蓝牙耳机及处理方法
DE102021122597A1 (de) 2021-09-01 2023-03-02 Synotec Psychoinformatik Gmbh Mobiler, immersiver 3D-Audioraum

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193899A (ja) * 1993-12-27 1995-07-28 Sharp Corp ３次元音場制御用ステレオヘッドホン装置
WO2003086007A2 (en) * 2002-04-10 2003-10-16 Koninklijke Philips Electronics N.V. Audio distribution
JP2005109914A (ja) 2003-09-30 2005-04-21 Nippon Telegr & Teleph Corp <Ntt> 高臨場感音場再生方法、頭部伝達関数データベース作成方法及び高臨場感音場再生装置
KR20060059866A (ko) * 2003-09-08 2006-06-02 마쯔시다덴기산교 가부시키가이샤 음상 제어 장치의 설계 툴 및 음상 제어 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729612A (en) * 1994-08-05 1998-03-17 Aureal Semiconductor Inc. Method and apparatus for measuring head-related transfer functions
JPH09135499A (ja) * 1995-11-08 1997-05-20 Victor Co Of Japan Ltd 音像定位制御方法
US6181800B1 (en) * 1997-03-10 2001-01-30 Advanced Micro Devices, Inc. System and method for interactive approximation of a head transfer function
US7085393B1 (en) * 1998-11-13 2006-08-01 Agere Systems Inc. Method and apparatus for regularizing measured HRTF for smooth 3D digital audio
US6996244B1 (en) * 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
AUPQ514000A0 (en) * 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
JP2002199500A (ja) * 2000-12-25 2002-07-12 Sony Corp 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体
CN1771763A (zh) * 2003-04-11 2006-05-10 皇家飞利浦电子股份有限公司 包括声音再现构件和耳塞式麦克风的系统
US8054980B2 (en) * 2003-09-05 2011-11-08 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
KR100777221B1 (ko) * 2005-04-22 2007-11-19 한국정보통신대학교 산학협력단 격자형 스피커 시스템 및 그 시스템에서의 음향 처리 방법
JP5081838B2 (ja) * 2006-02-21 2012-11-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化及び復号
WO2007111560A2 (en) * 2006-03-28 2007-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Filter adaptive frequency resolution
FR2899423A1 (fr) * 2006-03-28 2007-10-05 France Telecom Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme.
WO2007137232A2 (en) * 2006-05-20 2007-11-29 Personics Holdings Inc. Method of modifying audio content
US7756281B2 (en) * 2006-05-20 2010-07-13 Personics Holdings Inc. Method of modifying audio content
FR2903562A1 (fr) * 2006-07-07 2008-01-11 France Telecom Spatialisation binaurale de donnees sonores encodees en compression.
JP4946305B2 (ja) * 2006-09-22 2012-06-06 ソニー株式会社 音響再生システム、音響再生装置および音響再生方法
US8270616B2 (en) * 2007-02-02 2012-09-18 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
US9031242B2 (en) * 2007-11-06 2015-05-12 Starkey Laboratories, Inc. Simulated surround sound hearing aid fitting system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193899A (ja) * 1993-12-27 1995-07-28 Sharp Corp ３次元音場制御用ステレオヘッドホン装置
WO2003086007A2 (en) * 2002-04-10 2003-10-16 Koninklijke Philips Electronics N.V. Audio distribution
KR20060059866A (ko) * 2003-09-08 2006-06-02 마쯔시다덴기산교 가부시키가이샤 음상 제어 장치의 설계 툴 및 음상 제어 장치
JP2005109914A (ja) 2003-09-30 2005-04-21 Nippon Telegr & Teleph Corp <Ntt> 高臨場感音場再生方法、頭部伝達関数データベース作成方法及び高臨場感音場再生装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190034486A (ko) 2017-09-22 2019-04-02 주식회사 디지소닉 3차원 입체음향 제공이 가능한 입체음향서비스장치
KR20190034487A (ko) 2017-09-22 2019-04-02 주식회사 디지소닉 입체음향서비스장치의 구동방법, 그리고 컴퓨터판독가능기록매체
KR102661374B1 (ko) 2023-06-01 2024-04-25 김형준 사운드 소스의 선택적 콘트롤을 통한 입체 음향 출력 시스템

Also Published As

Publication number Publication date
US20110150098A1 (en) 2011-06-23
EP2243136A1 (en) 2010-10-27
EP2243136B1 (en) 2017-11-15
WO2009078558A1 (en) 2009-06-25
EP3313099A1 (en) 2018-04-25
EP2243136A4 (en) 2012-04-04
KR20090066188A (ko) 2009-06-23

Similar Documents

Publication Publication Date Title
KR100954385B1 (ko) 개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생시스템
KR102502383B1 (ko) 오디오 신호 처리 방법 및 장치
JP4364326B2 (ja) 複数の聴取者用３次元音響再生装置及びその方法
JP3435141B2 (ja) 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム
US9769589B2 (en) Method of improving externalization of virtual surround sound
CN109906616A (zh) 用于确定一或多个音频源的一或多个音频表示的方法、系统和设备
EP3219115A1 (en) 3d immersive spatial audio systems and methods
CN111385728B (zh) 一种音频信号处理方法及装置
US8442244B1 (en) Surround sound system
KR20080060640A (ko) 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
Larsson et al. Auditory-induced presence in mixed reality environments and related technology
US11221820B2 (en) System and method for processing audio between multiple audio spaces
US11546703B2 (en) Methods for obtaining and reproducing a binaural recording
EP2229012A1 (en) Device, method, program, and system for canceling crosstalk when reproducing sound through plurality of speakers arranged around listener
CN103609143A (zh) 用于捕获和回放源自多个声音源的声音的方法
US11102604B2 (en) Apparatus, method, computer program or system for use in rendering audio
KR102534802B1 (ko) 멀티-채널 바이노럴 기록 및 동적 재생
KR100275779B1 (ko) 5채널 오디오 데이터를 2채널로 변환하여 헤드폰으로 재생하는 장치 및 방법
San Martín et al. Influence of recording technology on the determination of binaural psychoacoustic indicators in soundscape investigations
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20090090975A (ko) 음상 외재화를 위한 머리전달함수 생성 방법과, 그를이용한 3차원 오디오 신호 처리 장치 및 그 방법
KR200342183Y1 (ko) 개인 머리전달함수 대응 바이노럴 입체 음향 녹음용 이어폰 시스템
JPH04137900A (ja) 信号処理装置及び音響再生装置
CN116456264A (zh) 一种耳机虚拟声像头外化方法
San Martín Murugarren et al. Influence of recording technology on the determination of binaural psychoacoustic indicators in soundscape investigations

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 10