[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102149046B1 - 2차원 및 3차원 공간 상에서의 가상 음상 정위 방법 - Google Patents

2차원 및 3차원 공간 상에서의 가상 음상 정위 방법 Download PDF

Info

Publication number
KR102149046B1
KR102149046B1 KR1020140083959A KR20140083959A KR102149046B1 KR 102149046 B1 KR102149046 B1 KR 102149046B1 KR 1020140083959 A KR1020140083959 A KR 1020140083959A KR 20140083959 A KR20140083959 A KR 20140083959A KR 102149046 B1 KR102149046 B1 KR 102149046B1
Authority
KR
South Korea
Prior art keywords
virtual sound
loudspeakers
loudspeaker
sound source
panning coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140083959A
Other languages
English (en)
Other versions
KR20150005477A (ko
Inventor
유재현
이용주
서정일
강경옥
최근우
방희석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN201711353960.6A priority Critical patent/CN107968985B/zh
Priority to US14/758,719 priority patent/US20160112820A1/en
Priority to CN201480008005.7A priority patent/CN104982040B/zh
Priority to PCT/KR2014/006053 priority patent/WO2015002517A1/ko
Publication of KR20150005477A publication Critical patent/KR20150005477A/ko
Application granted granted Critical
Publication of KR102149046B1 publication Critical patent/KR102149046B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

2차원 및 3차원 공간 상에서의 가상 음상 정위 방법이 개시된다. 가상 음상 정위 방법은 출력 채널에서 사용가능한 적어도 하나의 라우드스피커들로 구성된 재생 영역을 설정하는 단계; 상기 재생 영역을 복수의 세부 영역들로 분할하는 단계; 상기 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 위치한 세부 영역을 판단하는 단계; 상기 판단된 세부 영역에 기초하여 상기 가상 음원을 재생하기 위한 패닝 계수를 결정하는 단계; 및 상기 패닝 계수에 기초하여 입력 신호를 렌더링하는 단계를 포함할 수 있다.

Description

2차원 및 3차원 공간 상에서의 가상 음상 정위 방법 {VIRTUAL SOUND IMAGE LOCALIZATION IN TWO AND THREE DIMENSIONAL SPACE}
아래 실시예들은 출력 채널에 대응하는 복수의 라우드스피커들을 이용한 가상 음상 정위 방법에 관한 것이다.
패닝(panning) 방법은 재생하고자 하는 가상 음원의 위치를 고려하여 가상 음원의 주변에 위치한 라우드스피커에 파워를 할당하여 가상 음원을 재생하는 방법이다. 이와 같이, 라우드스피커에 파워를 할당하여 라우드스피커의 출력 크기를 결정함으로써 가상 공간 상에서 가상 음원의 위치를 결정하는 것을 가상 음상 정위 방법이라고 한다.
이 때, 2개의 라우드스피커를 이용하여 가상 음원을 재생하는 것을 파워 패닝이라고 정의하고, 3개의 라우드스피커를 이용하여 가상 음원을 재생하는 것을 백터 기반 진폭 패닝(vector based amplitude panning: VBAP)라고 정의한다. 이 기술들은 가상 음상 정위 방법으로 널리 활용되고 있다.
위에서 설명한 방법들은 2개 또는 3개의 라우드스피커 사이에 가상 음원의 위치를 매핑하기 위해 라우드스피커에 파워를 배분하는 연산을 이용한다. 이러한 연산에 따르면 정교한 각도 분할이 가능하지만, 이와 같이 분할된 각도에 위치한 가상 음원을 청취자가 구분하기 어려우며 연산량도 증가한다. 또한, 출력 채널에 대응하는 라우드스피커에 패닝되는 입력 채널이 증가하는 경우 음질 저하가 발생될 수 있다. 따라서, 각도 분할에 따른 문제점을 해결하기 위한 패닝 기법이 필요하다.
한편, 일반적으로 재생 공간에 배치된 라우드스피커들은 청취자를 기준으로 왼쪽, 오른쪽, 또는 중간 등 좌우 대칭적인 배치 형태를 나타낸다. 하지만, 이러한 대칭적인 배칭 형태는 실제 생활에서는 이상적인 상황을 의미한다. 다시 말해서, 실제로 라우드스피커들은 전후/좌우의 배치 형태가 비대칭적인 경우가 많다. 따라서, 비대칭적으로 배치된 라우드스피커를 위한 패닝 기법도 필요하다.
이하의 실시예들은 2차원 및 3차원 공간 상에 존재하는 라우드스피커를 이용한 가상 음상 정위 방법 및 이러한 방법을 수행하는 라우드스피커 렌더러를 제공한다.
이하의 실시예들은 라우드스피커들이 구성하는 재생 영역을 세부 영역으로 분할하고, 재생하고자 하는 가상 음원이 위치한 세부 영역에 기초하여 패닝 계수를 결정함으로써 패닝 계수를 결정하기 위한 연산량을 줄일 수 있는 가상 음상 정위 방법 및 이러한 방법을 수행하는 라우드스피커 렌더러를 제공한다.
이하의 실시예들은 라우드스피커들이 2차원 공간 또는 3차원 공간 상에 위치했는지 여부를 고려하여 패닝 계수를 결정함으로써 가상 음원을 효과적으로 재생할 수 있는 가상 음상 정위 방법 및 이러한 방법을 수행하는 라우드스피커 렌더러를 제공한다.
일실시예에 따른 가상 음상 정위 방법은 입력 채널에 대응하는 가상 음원을 재생하기 위해 출력 채널에서 사용가능한 적어도 하나의 라우드스피커들의 재생 정보를 결정하는 단계; 및 상기 재생 정보를 이용하여 입력 신호를 렌더링하는 단계를 포함할 수 있다.
상기 라우드스피커들은, 2차원 공간 또는 3차원 공간에 존재할 수 있다.
상기 라우드스피커들의 재생 정보를 결정하는 단계는, 상기 라우드스피커들로 구성된 재생 영역을 복수의 세부 영역들로 분할하는 단계; 상기 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 위치하는 세부 영역을 판단하는 단계 및 상기 판단된 세부 영역에 기초하여 상기 라우드스피커들의 패닝 계수를 결정하는 단계를 포함할 수 있다.
상기 분할하는 단계는, 상기 라우드스피커가 2개인 경우, 상기 2개의 라우드스피커들을 연결하는 원주에 대응하는 재생 영역을 복수의 세부 영역들로 분할하고, 상기 판단하는 단계는, 상기 분할된 세부 영역들 중 상기 가상 음원이 위치하는 세부 영역을 판단할 수 있다.
상기 분할하는 단계는, 상기 라우드스피커가 K개(K>3)인 경우, 상기 라우드스피커들로 구성된 재생 영역을 X개(X≥K)의 세부 영역들로 분할하고, 상기 판단하는 단계는, 상기 분할된 세부 영역들 중 상기 가상 음원이 위치하는 세부 영역을 판단할 수 있다.
다른 실시예에 따른 가상 음상 정위 방법은 출력 채널에서 사용가능한 적어도 하나의 라우드스피커들로 구성된 재생 영역을 설정하는 단계; 상기 재생 영역을 복수의 세부 영역들로 분할하는 단계; 상기 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 위치한 세부 영역을 판단하는 단계; 상기 판단된 세부 영역에 기초하여 상기 가상 음원을 재생하기 위한 패닝 계수를 결정하는 단계; 및 상기 패닝 계수에 기초하여 입력 신호를 렌더링하는 단계를 포함할 수 있다.
상기 라우드스피커들은, 2차원 공간 또는 3차원 공간에 존재할 수 있다.
상기 분할하는 단계는, 상기 라우드스피커가 2개인 경우, 상기 2개의 라우드스피커들을 연결하는 원주에 대응하는 재생 영역을 복수의 세부 영역들로 분할하고, 상기 판단하는 단계는, 상기 분할된 세부 영역들 중 상기 가상 음원이 위치하는 세부 영역을 판단할 수 있다.
상기 분할하는 단계는, 상기 라우드스피커가 K개(K>3)인 경우, 상기 라우드스피커들로 구성된 재생 영역을 X개(X≥K)의 세부 영역들로 분할하고, 상기 판단하는 단계는, 상기 분할된 세부 영역들 중 상기 가상 음원이 위치하는 세부 영역을 판단할 수 있다.
또 다른 실시예에 따른 가상 음상 정위 방법은 평면 상에 위치한 라우드스피커들을 이용하여 가상 음원을 위한 패닝 계수를 결정할 수 있는지 여부를 판단하는 단계; 판단 결과에 기초하여 가상 음원을 위한 패닝 계수를 결정하는 단계를 포함할 수 있다.
상기 패닝 계수를 결정하는 단계는, 상기 평면 상에 위치한 라우드스피커를 이용하여 패닝 계수를 결정할 수 있는 경우, 수평각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정할 수 있다.
상기 패닝 계수를 결정하는 단계는, 상기 평면 상에 위치한 라우드스피커를 이용하여 패닝 계수를 결정할 수 없는 경우, 수직각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정할 수 있다.
또 다른 실시예에 따른 가상 음상 정위 방법은 라우드스피커들이 2차원 공간 또는 3차원 공간 상에 위치했는지 여부를 판단하는 단계; 및 판단 결과에 기초하여 가상 음원을 위한 패닝 계수를 결정하는 단계를 포함할 수 있다.
상기 패닝 계수를 결정하는 단계는, 상기 라우드스피커들이 2차원 공간에 위치한 경우, 수평각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정할 수 있다.
상기 패닝 계수를 결정하는 단계는, 상기 라우드스피커들이 3차원 공간에 위치한 경우, 수직각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정할 수 있다.
일실시예에 따른 라우드스피커 렌더러는 입력 채널에 대응하는 가상 음원을 재생하기 위해 출력 채널에서 사용가능한 적어도 하나의 라우드스피커들의 재생 정보를 결정하는 결정부; 및 상기 재생 정보를 이용하여 입력 신호를 렌더링하는 렌더링부를 포함할 수 있다.
다른 실시예에 따른 라우드스피커 렌더러는 출력 채널에서 사용가능한 적어도 하나의 라우드스피커들로 구성된 재생 영역을 분할한 세부 영역에 기초하여 가상 음원을 재생하기 위한 패닝 계수를 결정하는 결정부; 및 상기 패닝 계수에 기초하여 입력 신호를 렌더링하는 렌더링부를 포함할 수 있다.
또 다른 실시예에 따른 라우드스피커 렌더러는 평면 상에 위치한 라우드스피커들을 이용하여 가상 음원을 위한 패닝 계수를 결정할 수 있는지 여부를 판단하고, 판단 결과에 기초하여 가상 음원을 위한 패닝 계수를 결정하는 결정부; 및 상기 패닝 계수에 기초하여 입력 신호를 렌더링하는 렌더링부를 포함할 수 있다.
또 다른 실시예에 따른 라우드스피커 렌더러는 라우드스피커들이 2차원 공간 또는 3차원 공간 상에 위치했는지 여부를 판단하고, 판단 결과에 기초하여 가상 음원을 위한 패닝 계수를 결정하는 결정부; 및 상기 패닝 계수에 기초하여 입력 신호를 렌더링하는 렌더링부를 포함할 수 있다.
상기 결정부는, 상기 라우드스피커들이 2차원 공간에 위치한 경우, 수평각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정하고, 상기 라우드스피커들이 3차원 공간에 위치한 경우, 수직각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정할 수 있다.
이하의 실시예들에 따르면, 라우드스피커들이 구성하는 재생 영역을 세부 영역으로 분할하고, 재생하고자 하는 가상 음원이 위치한 세부 영역에 기초하여 패닝 계수를 결정함으로써 패닝 계수를 결정하기 위한 연산량을 줄일 수 있다..
이하의 실시예들은 라우드스피커들이 2차원 공간 또는 3차원 공간 상에 위치했는지 여부를 고려하여 패닝 계수를 결정함으로써 가상 음원을 효과적으로 재생할 수 있다.
도 1은 일실시예에 따른 가상 음상 정위 방법을 수행하는 라우드스피커 렌더러를 도시한 도면이다.
도 2는 일실시예에 따른 가상 음상 정위 방법을 도시한 도면이다.
도 3은 다른 실시예에 따른 가상 음상 정위 방법을 도시한 도면이다.
도 4는 일실시예에 따른 공간 그룹핑 기반의 패닝 기법을 도시한 도면이다.
도 5는 도 4에서 K가 3일 때 공간 그룹핑 기반의 패닝 기법을 도시한 도면이다.
도 6은 다른 실시예에 따른 공간 그룹핑 기반의 패닝 기법을 도시한 도면이다.
도 7은 도 6에서 K가 4일 때 공간 그룹핑 기반의 패닝 기법을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 가상 음상 정위 방법을 수행하는 라우드스피커 렌더러를 도시한 도면이다.
도 1을 참고하면, 라우드스피커 렌더러(102)는 결정부(103) 및 렌더링부(104)를 포함할 수 있다.
결정부(103)는 디코더(101)로부터 믹서 출력 레이아웃(mixer output layout)을 수신할 수 있다. 여기서, 믹서 출력 레이아웃은 디코더(101)가 비트스트림을 디코딩함으로써 출력한 믹서 출력 신호의 포맷을 의미할 수 있다. 라우드스피커 렌더러(102)에 대해, 믹서 출력 신호는 입력 신호일 수 있으며 이에 대응한 믹서 출력 레이아웃은 입력 포맷을 의미한다.
결정부(103)는 믹서 출력 레이아웃과 재생 레이아웃을 고려하여 복수의 라우드스피커들의 재생 정보를 결정할 수 있다. 여기서, 재생 정보는 믹서 출력 레이아웃을 나타나는 입력 포맷을 재생 레이아웃을 나타내는 출력 포맷으로 변환할 때 사용되는 정보를 의미한다. 따라서, 라우드스피커 렌더러(102)는 포맷 컨버터(format converter)로 표현될 수 있다.
구체적으로, 입력 포맷의 채널수가 출력 포맷의 채널수보다 큰 경우, 재생 정보는 입력 신호를 출력 신호로 매핑하기 위한 다운믹스 매트릭스를 의미할 수 있다. 즉, 라우드스피커 렌더러(102)는 M채널의 입력 신호를 재생할 때 고려되어야 하는 재생 레이아웃에 대응하는 N채널의 출력 신호로 변환할 수 있다. 결정부(103)는 포맷 변환을 위한 재생 정보를 결정할 수 있다.
이 때, 1채널에 대응하는 입력 신호는 라우드스피커에 따라 1채널 또는 복수의 채널에 대응하는 출력 신호로 매핑될 수 있다. 다시 말해서, 입력 신호들은 1채널에 대응하는 출력 신호로 매핑될 수 있다. 또는, 입력 신호는 2채널에 대응하는 출력 신호로 패닝될 수 있다. 그리고, 입력 신호는 3개 이상의 채널에 대응하는 출력 신호로 분배될 수 있다.
그래서, 결정부(103)는 입력 신호를 1채널 또는 복수의 채널에 대응하는 출력 신호로 매핑하기 위한 재생 정보를 결정할 수 있다. 여기서, 재생 정보는 복수의 패닝 계수들로 구성된 다운믹스 매트릭스를 포함할 수 있다.
이하의 실시예에서는 입력 신호를 출력 신호로 매핑할 때 입력 신호에 대응하는 음원을 라우드스피커에 재생될 수 있도록 재생 정보를 결정하는 과정을 설명한다. 특히, 결정부(103)는 라우드스피커에 입력된 파워를 제어함으로써 라우드스피커들 사이의 가상 공간에서 실제 음원이 아닌 가상 음원(virtual sound source)이 재생되는 효과를 청취자에게 제공하는 가상 음상 정위(virtual sound image localization)를 위해 패닝 계수(panning coefficient)를 결정할 수 있다. 패닝 계수를 결정하는 과정은 도 2 및 도 3에서 각각 설명하기로 한다.
렌더링부(104)는 재생 정보에 기초하여 디코더(101)로부터 수신한 믹서 출력 신호를 라우드스피커 신호로 매핑함으로써 믹서 출력 신호를 렌더링할 수 있다. 다시 말해서, 렌더링부(104)는 입력 포맷에 대응하는 입력 신호를 출력 포맷에 대응하는 출력 신호로 매핑함으로써, 입력 신호를 렌더링할 수 있다. 구체적으로, 렌더링부(104)는 결정부(103)에서 결정된 패닝 계수를 이용하여 입력 신호를 출력 신호로 매핑함으로써 입력 신호를 렌더링할 수 있다.
도 2는 일실시예에 따른 가상 음상 정위 방법을 도시한 도면이다.
단계(201)에서, 라우드스피커 렌더러(102)는 복수의 라우드스피커들로 구성된 재생 영역을 설정할 수 있다. 여기서, 재생 영역은 2개의 라우드스피커들을 연결하는 선을 의미하거나 또는 3개 이상의 라우드스피커들을 포함하는 평면을 의미할 수 있다. 이 때, 선은 직선 또는 곡선(원주)를 포함할 수 있다.
이 때, 입력 신호에 대응하는 가상 음원은 라우드스피커가 존재하는 위치가 아닌 재생 영역에서 재생된다고 가정한다. 다시 말해서, 재생 영역은 복수의 라우드스피커들로 구성된 가상의 2차원 또는 3차원 공간으로써, 가상 음원이 재생되는 위치를 의미할 수 있다.
단계(202)에서, 라우드스피커 렌더러(102)는 재생 영역을 복수의 세부 영역들로 분할할 수 있다. 이 때, 재생 영역은 K개의 세부 영역으로 분할될 수 있다. 분할되는 세부 영역들은 서로 동일하거나 또는 동일하지 않을 수 있다.
단계(203)에서, 라우드스피커 렌더러(102)는 가상 음원이 위치하는 세부 영역을 판단할 수 있다. 앞서 설명하였듯이, 재생 영역은 가상 음원이 재생되는 위치를 의미하므로, 라우드스피커 렌더러(102)는 가상 음원이 재생 영역을 구성하는 복수의 세부 영역들 중 어떤 세부 영역에서 재생될 지를 판단할 수 있다.
단계(204)에서, 라우드스피커 렌더러(102)는 세부 영역에 기초하여 가상 음원을 재생하기 위한 패닝 계수를 결정할 수 있다. 이 때, 라우드스피커에 대한 패닝 계수는 -1에서 1 사이로 결정될 수 있다.
단계(205)에서, 라우드스피커 렌더러(102)는 패닝 계수에 따라 입력 신호를 렌더링할 수 있다.
도 2에서 설명하는 가상 음상 정위 방법은 라우드스피커들로 구성된 재생 영역을 복수의 세부 영역들로 그룹핑한 결과를 이용하는 것이므로, 그룹핑 기반의 패닝 기법으로 정의될 수 있다.
도 2에서 설명된 가상 음상 정위 방법에 기초하여 다채널을 가지는 입력 신호의 포맷을 변환하는 과정을 설명하기로 한다. 즉, 입력 신호의 포맷을 변환하는 과정은 입력 신호를 출력 신호에 매핑함으로써 입력 신호를 렌더링하는 과정을 나타낸다.
M채널의 입력 신호를 의미하는 음원을 N채널의 라우드스피커로 재생(M>2, N>2)하기 위해서는, M채널의 입력 신호를 N채널의 출력 신호로 변환 과정이 필요하며, 이러한 변환 과정은 이하의 수학식 1에 기초하여 수행될 수 있다.
Figure 112014063386476-pat00001
여기서, Y는 n채널(n=1~N)에 대응하는 라우드스피커를 통해 재생되는 출력 신호를 의미하며, 이하의 수학식 2에 따라 표현될 수 있다.
Figure 112014063386476-pat00002
그리고, X는 m 채널(m=1~M)에 대응하는 입력 신호를 의미하며, 이하의 수학식 3에 따라 표현될 수 있다.
Figure 112014063386476-pat00003
또한, A는 NxM 매트릭스로써, 도 2에서 설명된 패닝 계수로 구성될 수 있다. 이 때, A는 하기 수학식 4에 따라 표현될 수 있다.
Figure 112014063386476-pat00004
그러면, 수학식 1을 다시 표현하면 수학식 5와 같다.
Figure 112014063386476-pat00005
그리고, 수학식 5는 수학식 6으로 간단하게 표현될 수 있다.
Figure 112014063386476-pat00006
M채널의 입력 신호가 22.2채널, 14.0채널, 11.1채널, 9.0채널의 입력 신호라고 가정하면, 하기 표 1과 같이 각 채널의 포맷에 따라 x 표시가 된 채널만이 실제로 포함될 수 있다.
Figure 112014063386476-pat00007
또한, N채널의 출력 신호가 5.1채널, 8.1채널, 10.1채널의 출력 신호로 가정하면, 하기 표 2와 같이 각 채널의 포맷에 따라 x 표시가 된 채널만이 실제로 포함될 수 있다.
Figure 112014063386476-pat00008
이하에서는 M채널의 입력 신호를 N채널의 출력 신호에 매핑하여 입력 신호를 렌더링하는 과정을 나타낸다. 즉, 입력 포맷이 출력 포맷으로 변환되는 과정이 설명된다. 이하의 수학식 7 내지 수학식 24에서 등호의 왼쪽은 표 2에서 표시된 번호를 출력 신호의 채널 번호를 의미하고, 등호의 오른쪽은 패닝 계수와 입력 신호의 채널 번호의 조합을 의미한다.
(1) 22.2채널에서 5.1채널로의 변환
Figure 112014063386476-pat00009
Figure 112014063386476-pat00010
(2) 22.2채널에서 8.1채널로의 변환
Figure 112014063386476-pat00011
Figure 112014063386476-pat00012
(3) 22.2채널에서 10.1채널로의 변환
Figure 112014063386476-pat00013
(4) 14.0채널에서 5.1채널로의 변환
Figure 112014063386476-pat00014
Figure 112014063386476-pat00015
(5) 14.0채널에서 8.1채널로의 변환
Figure 112014063386476-pat00016
Figure 112014063386476-pat00017
(6) 14.0채널에서 10.1채널로의 변환
Figure 112014063386476-pat00018
(7) 11.1채널에서 5.1채널로의 변환
Figure 112014063386476-pat00019
Figure 112014063386476-pat00020
(8) 11.1채널에서 8.1채널로의 변환
Figure 112014063386476-pat00021
Figure 112014063386476-pat00022
(9) 11.1채널에서 10.1채널로의 변환
Figure 112014063386476-pat00023
(10) 9.0채널에서 5.1채널로의 변환
Figure 112014063386476-pat00024
(11) 9.0채널에서 8.1채널로의 변환
Figure 112014063386476-pat00025
(12) 9.0채널에서 10.1채널로의 변환
Figure 112014063386476-pat00026
한편, 도 2에서 제안된 가상 음상 정위 방법은 시간 도메인뿐만 아니라, FFT(Fast Fourier transform)과 같이 주파수 도메인, 또는 QMF(quadrature mirror filter), Hybrid filter 등을 이용한 변환에서 고려되는 서브밴드 도메인 등에도 적용될 수 있다. 한편, 동일한 입력 신호와 출력 신호 간의 매핑 관계라고 하더라도, 입력 신호의 주파수 밴드 등에 따라서 영역별로 다른 패닝 계수가 적용될 수 있다.
도 3은 다른 실시예에 따른 가상 음상 정위 방법을 도시한 도면이다.
단계(301)에서, 라우드스피커 렌더러(102)는 평면 상에 존재하는 2개 이하의 라우드스피커로 패닝 계수를 결정할 수 있는지 여부를 판단할 수 있다. 만약, 패닝 계수를 결정할 수 있다고 판단된 경우, 단계(304)에서 라우드스피커 렌더러(102)는 2개의 라우드스피커에 기초한 수평각을 이용하여 가상 음원에 대한 패닝 계수를 결정할 수 있다. 즉, 평면 상에 위치한 2개의 라우드스피커를 패닝하도록 패닝 계수가 결정될 수 있다.
여기서, 가상 음원에 대한 패닝 계수는 하기 수학식 25에 기초하여 결정될 수 있다.
Figure 112014063386476-pat00027
여기서, 청취자의 정면으로 향하는 기준선과 오른쪽 라우드스피커가 이루는 각도는
Figure 112014063386476-pat00028
은 로 표현되고, 청취자의 정면으로 향하는 기준선과 오른쪽 라우드스피커가 이루는 각도는 360-
Figure 112014063386476-pat00029
로 표현될 수 있다. 한편,
Figure 112014063386476-pat00030
은 가상 음원과 청취자의 정면으로 향하는 기준선이 이루는 각도를 의미한다.
Figure 112014063386476-pat00031
은 기준선을 청취자와 오른쪽 라우드스피커 간의 가상선으로 투영하였을 때의 각도를 의미한다.
만약, 단계(301)에서 패닝 계수를 결정할 수 없다고 판단된 경우, 단계(302)에서, 라우드스피커 렌더러(102)는 평면 상의 3개의 라우드스피커로 패닝 계수를 결정할 수 있는 지 여부를 판단할 수 있다. 만약, 패닝 계수를 결정할 수 있다고 판단된 경우, 단계(304)에서 라우드스피커 렌더러(102)는 3개의 라우드스피커에 기초한 수평각을 이용하여 가상 음원에 대한 패닝 계수를 결정할 수 있다. 즉, 평면 상에 위치한 3개의 라우드스피커를 패닝하도록 패닝 계수가 결정될 수 있다.
만약, 단계(302)에서 패닝 계수를 결정할 수 없다고 판단된 경우, 단계(303)에서, 라우드스피커 렌더러(102)는 수직각을 이용하여 가상 음원에 대한 패닝 계수를 결정할 수 있다. 단계(303)의 경우, 2개 또는 3개의 라우드스피커가 존재하는 평면에 가상 음원이 위치한 경우를 의미한다. 이 경우, 라우드스피커 렌더러(102)는 가상 음원의 위치가 가장 가까운 라우드스피커를 선택하고, 2개 또는 3개의 라우드스피커를 동일한 수직각으로 투영한 위치에 존재하는 가상 음원에 대한 패닝 계수를 결정할 수 있다.
도 3에서 설명된 가상 음상 정위 방법에 기초하여 다채널을 가지는 입력 신호의 포맷을 변환하는 과정을 설명하기로 한다. 즉, 입력 신호의 포맷을 변환하는 과정은 입력 신호를 출력 신호에 매핑함으로써 입력 신호를 렌더링하는 과정을 나타낸다. 도 3의 렌더링 과정은 도 2에서 설명한 수학식 1 내지 수학식 6과 동일한 과정을 결정될 수 있다.
M채널의 입력 신호가 22.2채널, 14.0채널, 11.1채널, 9.0채널의 입력 신호라고 가정하면, 상기 표 1과 같이 각 채널의 포맷에 따라 x 표시가 된 채널만이 실제로 포함될 수 있다.
또한, N채널의 출력 신호가 5.1채널, 10.1채널의 출력 신호로 가정하면, 하기 표 3과 같이 각 채널의 포맷에 따라 x 표시가 된 채널만이 실제로 포함될 수 있다.
Figure 112014063386476-pat00032
이하에서는 M채널의 입력 신호를 N채널의 출력 신호에 매핑하여 입력 신호를 렌더링하는 과정을 나타낸다. 즉, 입력 포맷이 출력 포맷으로 변환되는 과정이 설명된다. 이하의 수학식 26 내지 수학식 33에서 등호의 왼쪽은 표 2에서 표시된 번호를 출력 신호의 채널 번호를 의미하고, 등호의 오른쪽은 패닝 계수와 입력 신호의 채널 번호의 조합을 의미한다.
(1) 22.2채널에서 5.1채널로의 변환
Figure 112014063386476-pat00033
(2) 22.2채널에서 10.1채널로의 변환
Figure 112014063386476-pat00034
(3) 14.0채널에서 5.1채널로의 변환
Figure 112014063386476-pat00035
(4) 14.0채널에서 10.1채널로의 변환
Figure 112014063386476-pat00036
(5) 11.1채널에서 5.1채널로의 변환
Figure 112014063386476-pat00037
(6) 11.1채널에서 10.1채널로의 변환
Figure 112014063386476-pat00038
(7) 9.0채널에서 5.1채널로의 변환
Figure 112014063386476-pat00039
(8) 9.0채널에서 10.1채널로의 변환
Figure 112014063386476-pat00040
수학식 27 내지 수학식 33에서 상향 채널을 나타내는 입력 신호가 수평면에 위치한 라우드스피커로 재생하는 경우와 같이, 입력 신호에 대응하는 입력 채널과 출력 신호에 대응하는 출력 채널의 수직각이 서로 다른 경우 패닝 계수 중 일부가 음수로 사용될 수 있다. 이에 의해 라우드스피커의 수직각과 다른 수직각을 가지는 가상 음원을 보다 효과적으로 재생할 수 있다.
한편, 제안된 방법은 시간 영역에서뿐 아니라, fft(fast Fourier transform) 등을 이용한 변환에 따른 주파수 도메인, 혹은 QMF(quadrature mirror filter) 그리고/혹은 Hybrid filter 등을 이용한 변환에 따른 서브밴드 도메인 등에서 적용할 수 있다. 이 경우 동일한 입출력 채널의 연결 경우라도 주파수 밴드 등에 따라서 영역별로 다른 패닝 계수를 적용할 수 있다.
도 3에 의하면, 라우드스피커가 표준화된 출력 포맷에서 정의하는 위치에 존재하지 않더라도, 라우드스피커에 대해 수평각과 수직각을 제공함으로써 패닝 계수를 결정할 수 있다. 또한, 입력 신호가 변환된 출력 신호들이 재생되는 라우드스피커들 간의 거리 차이(distance variation)도 패닝 계수를 결정할 때 이용될 수 있다.
도 2 및 도 3에서 설명되는 수학식들을 플래그를 통해 샘플별 또는 프레임별로 다르게 적용할 수 있다. 여기서, 수학식은 가상 음원을 재생하기 위한 가상 음상 정위 방법에 관한 것으로, 샘플별 또는 프레임별로 서로 다른 방법에 의해 M채널의 입력 신호가 N채널의 출력 신호로 변환될 수 있다.
도 4는 일실시예에 따른 공간 그룹핑 기반의 패닝 기법을 도시한 도면이다.
도 4를 참고하면, 2개의 라우드스피커(401, 402)가 존재한다. 이 때, 청취자(403)를 중심으로 왼쪽 라우드스피커(401)와 오른쪽 라우드스피커(402)가 위치한다. 여기서, 라우드스피커(401, 402)는 2차원 공간(선 또는 평면)에 존재한다고 가정한다.
청취자(403)를 중심으로 왼쪽 라우드스피커(401)와 오른쪽 라우드스피커(402)에 기초하여 재생 영역이 설정될 수 있다. 그러면, 재생 영역은 K개의 세부 영역(region 1, region 2, … , region K)으로 분할될 수 있다. 이러한 재생 영역은 세부 영역으로 그룹화되며, 패닝 계수는 재생하고자 하는 가상 음원이 어떤 세부 영역에 위치했는지에 기초하여 결정될 수 있다.
도 5는 도 4에서 K가 3일 때 공간 그룹핑 기반의 패닝 기법을 도시한 도면이다.
청취자(504)를 중심으로 왼쪽 라우드스피커(501)와 오른쪽 라우드스피커(502)가 위치한다. 이 때, 가상 음원(503)은 왼쪽 라우드스피커(501)와 오른쪽 라우드스피커(502)를 연결하는 원주에 위치하여 재생될 수 있다.
한편, 원주는 재생 영역을 구성하는 세부 영역으로 분할될 수 있다. 도 5는 왼쪽 라우드스피커(501)와 오른쪽 라우드스피커(502)를 구성하는 재생 영역을 3개의 세부 영역을 분할하여 가상 음원을 재생하는 경우를 도시하고 있다. 하지만, 일실시예에 따르면 반드시 균등하게 분할될 필요는 없다.
이 때, 왼쪽 라우드스피커(501)와 오른쪽 라우드스피커(502)가 이루는 각도가 θ이고, 세부 영역에 대응하는 각도가 θd인 경우 가상 음상 정위 방법에 따라 패닝 계수를 결정하는 과정은 다음과 같다.
일례로, 가상 음원(503)이 세부 영역 region 1에 대응하는 원주 위에서 재생되는 경우, 가상 음원(503)을 재생하기 위해서 왼쪽 라우드스피커(501)에 파워가 전부 할당된다. 예를 들어, θ가 60도이면 θd가 20도일 때 가상 음원이 0도에서 20도에서 재생되는 경우, 가상 음원은 0도에 있는 왼쪽 라우드스피커(501)에 의해 재생될 수 있다.
다른 예로, 가상 음원(503)이 세부 영역 region 2에 대응하는 원주 위에서 재생되는 경우, 가상 음원(503)을 재생하기 위해서 왼쪽 라우드스피커(501)와 오른쪽 라우드스피커(502)에 동일한 파워가 배분될 수 있다. 예를 들어, θ가 60도이면 θd가 20도일 때 가상 음원이 20도에서 40도에서 재생되는 경우, 왼쪽 라우드스피커(501)와 오른쪽 라우드스피커(502)에 입력 신호의
Figure 112014063386476-pat00041
의 파워가 배분됨으로써 가상 음원이 재생될 수 있다.
또 다른 예로, 가상 음원(503)이 세부 영역 region 3에 대응하는 원주 위에서 재생되는 경우, 가상 음원(503)을 재생하기 위해서 오른쪽 라우드스피커(502)에 파워가 전부 할당된다. 예를 들어, θ가 60도이면 θd가 20도일 때 가상 음원이 40도에서 60도에서 재생되는 경우, 가상 음원은 60도에 있는 오른쪽 라우드스피커(502)에 의해 재생될 수 있다.
도 5의 경우 재생 영역이 3개의 세부 영역으로 분할되는 경우를 설명하고 있다. 이와 달리, 재생 영역이 2개의 세부 영역으로 분할되는 경우 재생하고자 하는 가상 음원의 위치에 따라 라우드스피커가 선택될 수 있다.
도 6은 다른 실시예에 따른 공간 그룹핑 기반의 패닝 기법을 도시한 도면이다.
도 6은 도 5와 달리 3차원 공간에 라우드스피커(601, 602, 603)가 존재하는 경우를 설명하고 있다. 예를 들어, 라우드스피커(601, 602, 603) 중 적어도 하나는 평면에 존재하고, 나머지는 평면이 아닌 3차원 공간에 배치된 경우를 나타낸다. 다시 말해서, 도 6은 청취자가 위치한 수평 방향 뿐만 아니라 수직 방향 (상향 또는 하향)에도 라우드스피커가 존재하는 경우를 의미한다.
도 6에서 3개의 라우드스피커(601, 602, 603)로 구성되는 재생 영역은 K개의 세부 영역으로 분할될 수 있다. 재생 영역은 균등하게 분할되거나 또는 균등하지 않게 분할될 수 있다. 그러면, K개의 세부 영역들 중 가상 음원이 재생되는 위치에 해당하는 세부 영역과 관련된 라우드스피커에 파워를 할당할 수 있도록 패닝 계수가 결정될 수 있다. 패닝 계수는 -1 에서 1사이의 값을 가질 수 있다.
도 7은 도 6에서 K가 4일 때 공간 그룹핑 기반의 패닝 기법을 도시한 도면이다.
도 7을 참고하면, 3차원 공간 상에 존재하는 라우드스피커(701, 702, 703)로 구성된 재생 영역이 4개의 세부 영역들로 분할된 경우가 도시된다. 즉, 3개의 라우드스피커(701, 702, 703)로 4개의 세부 영역이 결정될 수 있다. 그러면, 재생하고자 하는 가상 음원이 4개의 세부 영역들 중 어떤 세부 영역에 존재하는지 여부에 따라 가상 음원에 대한 패닝 계수가 결정될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
101: 디코더
102: 라우드스피커 렌더러
103: 결정부
104: 렌더링부

Claims (20)

  1. 입력 채널에 대응하는 가상 음원을 재생하기 위해 출력 채널에서 사용가능한 적어도 하나의 라우드스피커들의 재생 정보를 결정하는 단계;
    상기 재생 정보를 이용하여 입력 신호를 렌더링하는 단계
    를 포함하고,
    상기 라우드스피커들의 재생 정보를 결정하는 단계는,
    상기 라우드스피커들로 구성된 재생 영역을 삼각형 형태의 복수의 세부 영역들로 분할하는 단계;
    상기 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 위치하는 세부 영역을 판단하는 단계
    상기 판단된 세부 영역에 기초하여 상기 라우드스피커들의 패닝 계수를 결정하는 단계
    를 포함하고,
    상기 패닝 계수는, 백터 기반 진폭 패닝(vector based amplitude panning: VBAP)에 기초하여 결정되고,
    상기 패닝 계수는,
    3차원 공간 상에 존재하는 복수의 라우드스피커로 구성된 재생 영역을 복수의 세부 영역으로 분할하고, 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 재생되는 위치에 해당하는 세부 영역과 관련된 라우드스피커에 파워를 할당할 수 있도록 결정되고,
    상기 패닝 계수는,
    상기 라우드스피커가 표준화된 출력 포맷에서 정의하는 위치에 존재하지 않는 경우, 상기 라우드스피커의 수평각과 수직각 및 상기 라우드스피커에 매핑되는 출력 신호들이 재생되는 라우드스피커들에 대한 거리 차이(distance variation)에 기초하여 결정되는 가상 음상 정위 방법.
  2. 제1항에 있어서,
    상기 라우드스피커들은, 2차원 공간 또는 3차원 공간에 존재하는 가상 음상 정위 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 분할하는 단계는,
    상기 라우드스피커가 2개인 경우, 상기 2개의 라우드스피커들을 연결하는 원주에 대응하는 재생 영역을 복수의 세부 영역들로 분할하고,
    상기 판단하는 단계는,
    상기 분할된 세부 영역들 중 상기 가상 음원이 위치하는 세부 영역을 판단하는 가상 음상 정위 방법.
  5. 제1항에 있어서,
    상기 분할하는 단계는,
    상기 라우드스피커가 K개(K>3)인 경우, 상기 라우드스피커들로 구성된 재생 영역을 X개(X≥K)의 세부 영역들로 분할하고,
    상기 판단하는 단계는,
    상기 분할된 세부 영역들 중 상기 가상 음원이 위치하는 세부 영역을 판단하는 가상 음상 정위 방법.
  6. 출력 채널에서 사용가능한 적어도 하나의 라우드스피커들로 구성된 재생 영역을 설정하는 단계;
    상기 재생 영역을 삼각형 형태의 복수의 세부 영역들로 분할하는 단계;
    상기 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 위치한 세부 영역을 판단하는 단계;
    상기 판단된 세부 영역에 기초하여 상기 가상 음원을 재생하기 위한 패닝 계수를 결정하는 단계; 및
    상기 패닝 계수에 기초하여 입력 신호를 렌더링하는 단계
    를 포함하고,
    상기 패닝 계수는, 백터 기반 진폭 패닝(vector based amplitude panning: VBAP)에 기초하여 결정되고,
    상기 패닝 계수는,
    3차원 공간 상에 존재하는 복수의 라우드스피커로 구성된 재생 영역을 복수의 세부 영역으로 분할하고, 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 재생되는 위치에 해당하는 세부 영역과 관련된 라우드스피커에 파워를 할당할 수 있도록 결정되고,
    상기 패닝 계수는,
    상기 라우드스피커가 표준화된 출력 포맷에서 정의하는 위치에 존재하지 않는 경우, 상기 라우드스피커의 수평각과 수직각 및 상기 라우드스피커에 매핑되는 출력 신호들이 재생되는 라우드스피커들에 대한 거리 차이(distance variation)에 기초하여 결정되는 가상 음상 정위 방법.
  7. 제6항에 있어서,
    상기 라우드스피커들은, 2차원 공간 또는 3차원 공간에 존재하는 가상 음상 정위 방법.
  8. 제6항에 있어서,
    상기 분할하는 단계는,
    상기 라우드스피커가 2개인 경우, 상기 2개의 라우드스피커들을 연결하는 원주에 대응하는 재생 영역을 복수의 세부 영역들로 분할하고,
    상기 판단하는 단계는,
    상기 분할된 세부 영역들 중 상기 가상 음원이 위치하는 세부 영역을 판단하는 가상 음상 정위 방법.
  9. 제6항에 있어서,
    상기 분할하는 단계는,
    상기 라우드스피커가 K개(K>3)인 경우, 상기 라우드스피커들로 구성된 재생 영역을 X개(X≥K)의 세부 영역들로 분할하고,
    상기 판단하는 단계는,
    상기 분할된 세부 영역들 중 상기 가상 음원이 위치하는 세부 영역을 판단하는 가상 음상 정위 방법.
  10. 평면 상에 위치한 라우드스피커들을 이용하여 가상 음원을 위한 패닝 계수를 결정할 수 있는지 여부를 판단하는 단계;
    판단 결과에 기초하여 가상 음원을 위한 패닝 계수를 결정하는 단계
    를 포함하고,
    상기 평면 상에 위치한 라우드스피커를 이용하여 패닝 계수를 결정할 수 있는 경우, 수평각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정하고,
    상기 평면 상에 위치한 라우드스피커를 이용하여 패닝 계수를 결정할 수 없는 경우, 수직각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정하고,
    상기 패닝 계수는,
    3차원 공간 상에 존재하는 복수의 라우드스피커로 구성된 재생 영역을 복수의 세부 영역으로 분할하고, 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 재생되는 위치에 해당하는 세부 영역과 관련된 라우드스피커에 파워를 할당할 수 있도록 결정되고,
    상기 패닝 계수는,
    상기 라우드스피커가 표준화된 출력 포맷에서 정의하는 위치에 존재하지 않는 경우, 상기 라우드스피커의 수평각과 수직각 및 상기 라우드스피커에 매핑되는 출력 신호들이 재생되는 라우드스피커들에 대한 거리 차이(distance variation)에 기초하여 결정되는 가상 음상 정위 방법.
  11. 삭제
  12. 삭제
  13. 라우드스피커들이 2차원 공간 또는 3차원 공간 상에 위치했는지 여부를 판단하는 단계;
    판단 결과에 기초하여 가상 음원을 위한 패닝 계수를 결정하는 단계
    를 포함하고,
    상기 패닝 계수를 결정하는 단계는,
    상기 라우드스피커들이 2차원 공간에 위치한 경우, 수평각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정하고,
    상기 패닝 계수를 결정하는 단계는,
    상기 라우드스피커들이 3차원 공간에 위치한 경우, 수직각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정하고,
    상기 패닝 계수는,
    3차원 공간 상에 존재하는 복수의 라우드스피커로 구성된 재생 영역을 복수의 세부 영역으로 분할하고, 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 재생되는 위치에 해당하는 세부 영역과 관련된 라우드스피커에 파워를 할당할 수 있도록 결정되고,
    상기 패닝 계수는,
    상기 라우드스피커가 표준화된 출력 포맷에서 정의하는 위치에 존재하지 않는 경우, 상기 라우드스피커의 수평각과 수직각 및 상기 라우드스피커에 매핑되는 출력 신호들이 재생되는 라우드스피커들에 대한 거리 차이(distance variation)에 기초하여 결정되는 가상 음상 정위 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 출력 채널에서 사용가능한 적어도 하나의 라우드스피커들로 구성된 재생 영역을 분할한 삼각형 형태의 세부 영역에 기초하여 가상 음원을 재생하기 위한 패닝 계수를 결정하는 결정부; 및
    상기 패닝 계수에 기초하여 입력 신호를 렌더링하는 렌더링부
    를 포함하고,
    상기 패닝 계수는, 백터 기반 진폭 패닝(vector based amplitude panning: VBAP)에 기초하여 결정되고,
    상기 패닝 계수는,
    3차원 공간 상에 존재하는 복수의 라우드스피커로 구성된 재생 영역을 복수의 세부 영역으로 분할하고, 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 재생되는 위치에 해당하는 세부 영역과 관련된 라우드스피커에 파워를 할당할 수 있도록 결정되고,
    상기 패닝 계수는,
    상기 라우드스피커가 표준화된 출력 포맷에서 정의하는 위치에 존재하지 않는 경우, 상기 라우드스피커의 수평각과 수직각 및 상기 라우드스피커에 매핑되는 출력 신호들이 재생되는 라우드스피커들에 대한 거리 차이(distance variation)에 기초하여 결정되는 라우드스피커 렌더러.
  18. 평면 상에 위치한 라우드스피커들을 이용하여 가상 음원을 위한 패닝 계수를 결정할 수 있는지 여부를 판단하고, 판단 결과에 기초하여 가상 음원을 위한 패닝 계수를 결정하는 결정부; 및
    상기 패닝 계수에 기초하여 입력 신호를 렌더링하는 렌더링부
    를 포함하고,
    상기 결정부는,
    상기 라우드스피커들이 2차원 공간에 위치한 경우, 수평각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정하고,
    상기 라우드스피커들이 3차원 공간에 위치한 경우, 수직각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정하고,
    상기 패닝 계수는,
    3차원 공간 상에 존재하는 복수의 라우드스피커로 구성된 재생 영역을 복수의 세부 영역으로 분할하고, 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 재생되는 위치에 해당하는 세부 영역과 관련된 라우드스피커에 파워를 할당할 수 있도록 결정되고,
    상기 패닝 계수는,
    상기 라우드스피커가 표준화된 출력 포맷에서 정의하는 위치에 존재하지 않는 경우, 상기 라우드스피커의 수평각과 수직각 및 상기 라우드스피커에 매핑되는 출력 신호들이 재생되는 라우드스피커들에 대한 거리 차이(distance variation)에 기초하여 결정되는 라우드스피커 렌더러.
  19. 라우드스피커들이 2차원 공간 또는 3차원 공간 상에 위치했는지 여부를 판단하고, 판단 결과에 기초하여 가상 음원을 위한 패닝 계수를 결정하는 결정부; 및
    상기 패닝 계수에 기초하여 입력 신호를 렌더링하는 렌더링부
    를 포함하고,
    상기 결정부는,
    상기 라우드스피커들이 2차원 공간에 위치한 경우, 수평각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정하고,
    상기 라우드스피커들이 3차원 공간에 위치한 경우, 수직각에 기초하여 상기 가상 음원을 위한 패닝 계수를 결정하고,
    상기 패닝 계수는,
    3차원 공간 상에 존재하는 복수의 라우드스피커로 구성된 재생 영역을 복수의 세부 영역으로 분할하고, 분할된 세부 영역들 중 재생하고자 하는 가상 음원이 재생되는 위치에 해당하는 세부 영역과 관련된 라우드스피커에 파워를 할당할 수 있도록 결정되고,
    상기 패닝 계수는,
    상기 라우드스피커가 표준화된 출력 포맷에서 정의하는 위치에 존재하지 않는 경우, 상기 라우드스피커의 수평각과 수직각 및 상기 라우드스피커에 매핑되는 출력 신호들이 재생되는 라우드스피커들에 대한 거리 차이(distance variation)에 기초하여 결정되는 라우드스피커 렌더러.
  20. 삭제
KR1020140083959A 2013-07-05 2014-07-04 2차원 및 3차원 공간 상에서의 가상 음상 정위 방법 Active KR102149046B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711353960.6A CN107968985B (zh) 2013-07-05 2014-07-07 在二维及三维空间上的虚拟声像定位方法
US14/758,719 US20160112820A1 (en) 2013-07-05 2014-07-07 Virtual sound image localization method for two dimensional and three dimensional spaces
CN201480008005.7A CN104982040B (zh) 2013-07-05 2014-07-07 在二维及三维空间上的虚拟声像定位方法
PCT/KR2014/006053 WO2015002517A1 (ko) 2013-07-05 2014-07-07 2차원 및 3차원 공간 상에서의 가상 음상 정위 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020130079116 2013-07-05
KR20130079263 2013-07-05
KR1020130079263 2013-07-05
KR20130079116 2013-07-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200105612A Division KR20200105455A (ko) 2013-07-05 2020-08-21 2차원 및 3차원 공간 상에서의 가상 음상 정위 방법

Publications (2)

Publication Number Publication Date
KR20150005477A KR20150005477A (ko) 2015-01-14
KR102149046B1 true KR102149046B1 (ko) 2020-08-28

Family

ID=52477292

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140083959A Active KR102149046B1 (ko) 2013-07-05 2014-07-04 2차원 및 3차원 공간 상에서의 가상 음상 정위 방법
KR1020200105612A Ceased KR20200105455A (ko) 2013-07-05 2020-08-21 2차원 및 3차원 공간 상에서의 가상 음상 정위 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020200105612A Ceased KR20200105455A (ko) 2013-07-05 2020-08-21 2차원 및 3차원 공간 상에서의 가상 음상 정위 방법

Country Status (3)

Country Link
US (1) US20160112820A1 (ko)
KR (2) KR102149046B1 (ko)
CN (2) CN104982040B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016182184A1 (ko) * 2015-05-08 2016-11-17 삼성전자 주식회사 입체 음향 재생 방법 및 장치
US9942687B1 (en) 2017-03-30 2018-04-10 Microsoft Technology Licensing, Llc System for localizing channel-based audio from non-spatial-aware applications into 3D mixed or virtual reality space
CN109391896B (zh) * 2018-10-29 2021-05-18 中国传媒大学 一种音效生成方法及装置
CN109286888B (zh) * 2018-10-29 2021-01-29 中国传媒大学 一种音视频在线检测与虚拟声像生成方法及装置
EP3709171A1 (en) * 2019-03-13 2020-09-16 Nokia Technologies Oy Audible distractions at locations external to a device
CN111954146B (zh) * 2020-07-28 2022-03-01 贵阳清文云科技有限公司 虚拟声环境合成装置
CN118678286B (zh) * 2024-08-06 2024-11-26 腾讯科技（深圳）有限公司 音频数据处理方法、装置、系统、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020172370A1 (en) * 2001-05-15 2002-11-21 Akitaka Ito Surround sound field reproduction system and surround sound field reproduction method
US20080232617A1 (en) * 2006-05-17 2008-09-25 Creative Technology Ltd Multichannel surround format conversion and generalized upmix
US20090129603A1 (en) * 2007-11-15 2009-05-21 Samsung Electronics Co., Ltd. Method and apparatus to decode audio matrix
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19646055A1 (de) * 1996-11-07 1998-05-14 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Abbildung von Schallquellen auf Lautsprecher
EP1761110A1 (en) * 2005-09-02 2007-03-07 Ecole Polytechnique Fédérale de Lausanne Method to generate multi-channel audio signals from stereo signals
JP2009077379A (ja) * 2007-08-30 2009-04-09 Victor Co Of Japan Ltd 立体音響再生装置、立体音響再生方法及びコンピュータプログラム
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
US20130003998A1 (en) * 2010-02-26 2013-01-03 Nokia Corporation Modifying Spatial Image of a Plurality of Audio Signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020172370A1 (en) * 2001-05-15 2002-11-21 Akitaka Ito Surround sound field reproduction system and surround sound field reproduction method
US20080232617A1 (en) * 2006-05-17 2008-09-25 Creative Technology Ltd Multichannel surround format conversion and generalized upmix
US20090129603A1 (en) * 2007-11-15 2009-05-21 Samsung Electronics Co., Ltd. Method and apparatus to decode audio matrix
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法

Also Published As

Publication number Publication date
KR20200105455A (ko) 2020-09-07
CN107968985A (zh) 2018-04-27
CN104982040B (zh) 2018-01-12
US20160112820A1 (en) 2016-04-21
CN107968985B (zh) 2020-03-10
CN104982040A (zh) 2015-10-14
KR20150005477A (ko) 2015-01-14

Similar Documents

Publication Publication Date Title
KR102149046B1 (ko) 2차원 및 3차원 공간 상에서의 가상 음상 정위 방법
JP7493559B2 (ja) 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理
KR102561608B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
KR102380192B1 (ko) 다채널 오디오 신호의 바이노럴 렌더링 방법 및 장치
IL290671B1 (en) Transform audio objects with visible size into arbitrary speaker arrays
CN111869241B (zh) 用于使用多通道扬声器系统的空间声音再现的装置和方法
EP3332557B1 (en) Processing object-based audio signals
EP3318070B1 (en) Determining azimuth and elevation angles from stereo recordings
KR102323529B1 (ko) 복합 차수 앰비소닉을 이용한 오디오 신호 처리 방법 및 장치
US11032639B2 (en) Determining azimuth and elevation angles from stereo recordings
US20240235511A9 (en) Rendering method of preventing object-based audio from clipping and apparatus for performing the same
US20230345197A1 (en) Method of rendering object-based audio and electronic device for performing the method
WO2018211984A1 (ja) スピーカアレイ、および信号処理装置
CN118511545A (zh) 用于上混/重混/下混应用的多声道音频处理
KR20150009426A (ko) 멀티채널 오디오 신호를 다운믹스 및 채널변환하는 오디오 신호 처리 방법 및 장치
HK1255002B (en) Determining azimuth and elevation angles from stereo recordings

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140704

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180423

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140704

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181113

Patent event code: PE09021S01D

AMND Amendment
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190517

Patent event code: PE09021S01D

AMND Amendment
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20191120

Patent event code: PE09021S02D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200326

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20191120

Comment text: Final Notice of Reason for Refusal

Patent event code: PE06011S02I

Patent event date: 20190517

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20181113

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20200326

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20200120

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20190717

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20190114

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20200521

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20200427

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200326

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20200120

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190717

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190114

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20200821

Patent event code: PA01071R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200821

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200824

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240724

Start annual number: 5

End annual number: 5