KR100857105B1

KR100857105B1 - 오디오 신호의 디코딩 방법 및 장치

Info

Publication number: KR100857105B1
Application number: KR1020087005384A
Authority: KR
Inventors: 방희석; 오현오; 임재현; 김동수; 정양원
Original assignee: 엘지전자 주식회사
Priority date: 2005-09-14
Filing date: 2006-09-14
Publication date: 2008-09-05
Also published as: KR100857107B1; KR100857108B1; US20110246208A1; AU2006291689A1; KR20080039474A; WO2007032650A1; EP1938312A4; US20080228501A1; CA2621664C; JP5108772B2; WO2007032647A1; KR20080041683A; WO2007032648A1; CA2621664A1; KR20080049730A; EP1946295A4; US20110182431A1; KR20080039475A; AU2006291689B2; EP1946295A1

Abstract

본 발명은 오디오 신호를 디코딩하는 오디오 신호의 디코딩 방법 및 장치에 관한 것으로서, 오디오 신호 및 공간정보를 수신하는 단계; 변형 공간정보의 타입을 식별하는 단계; 공간정보를 이용하여 변형 공간정보를 생성하는 단계; 및, 변형 공간정보를 이용하여 오디오 신호를 디코딩하는 단계를 포함하고, 변형 공간정보의 타입은 부분 공간정보, 조합 공간정보, 및 확대 공간정보 중 하나 이상를 포함한다.

본 발명에 따르면, 인코딩 장치에서 결정된 구조 이외의 구조로 오디오 신호를 디코딩할 수 있고, 다운믹스되기 전의 멀티채널의 개수보다 스피커의 개수가 적거나 많다고 하더라도, 다운믹스 오디오 신호로부터 스피커의 개수와 동일한 개수의 출력채널을 생성할 수 있다.

Description

오디오 신호의 디코딩 방법 및 장치{METHOD AND APPARATUS FOR DECODING AN AUDIO SIGNAL}

본 발명은 오디오 신호의 처리에 관한 것으로, 보다 상세하게는 오디오 신호를 디코딩하는 오디오 신호의 디코딩 방법 및 장치에 관한 것이다.

일반적으로, 인코딩 장치가 오디오 신호를 인코딩하는 데 있어서, 인코딩할 오디오 신호가 멀티채널 오디오 신호인 경우, 멀티채널 오디오 신호를 2개 채널이나 1개 채널로 다운믹스하여 다운믹스 오디오 신호를 생성하고, 멀티채널 오디오 신호로부터 공간 정보를 추출한다. 이 공간 정보는 다운믹스 오디오 신호로부터 멀티채널 오디오 신호로 업믹싱하는 데 사용될 수 있는 정보이다. 한편, 인코딩 장치는 정해진 트리구조에 따라 멀티채널 오디오 신호를 다운믹스한다. 여기서, 정해진 트리구조란, 오디오 신호의 디코딩 장치와 오디오 신호의 인코딩 장치간에 약속된 구조(들)일 수 있다. 즉, 정해진 트리구조들 중 어떤 것인지를 나타내는 식별정보만 존재하면, 디코딩 장치는 업믹싱된 후의 오디오 신호의 구조, 예를 들어 채널의 개수가 몇 개인지, 채널의 위치가 각각 어떤 것인지를 알 수 있다.

이와 같이 인코딩 장치가 정해진 트리구조에 따라 멀티채널 오디오 신호를 다운믹스하면, 이 과정에서 추출된 공간 정보 또한 그 구조에 종속된다. 따라서, 디코딩 장치가 구조에 종속된 공간 정보를 이용하여 다운믹스 오디오 신호를 업믹스할 경우에는, 그 구조에 따른 멀티채널 오디오 신호가 생성된다.

즉, 디코딩 장치가 인코딩 장치에 의해 생성된 공간 정보를 그대로 이용할 경우, 인코딩 장치와 디코딩 장치에 의해 약속된 구조로만 업믹스되기 때문에, 약속된 구조 이외의 출력채널 오디오 신호가 생성될 수 없는 문제점이 있었다. 예를 들어, 약속된 구조에 의해 결정되는 채널의 개수와는 다른(적거나 많은) 채널 수의 오디오 신호로 업믹스될 수 없었다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 인코딩 장치에서 결정된 구조 이외의 구조로 오디오 신호를 디코딩할 수 있는 오디오 신호의 디코딩 방법 및 장치를 제공하는 데 그 목적이 있다.

본 발명의 또 다른 목적은, 인코딩에서 생성된 공간정보를 변형한 후, 변형된 공간정보를 이용하여 오디오 신호를 디코딩할 수 있는 오디오 신호의 디코딩 방법 및 장치를 제공하는 데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 오디오 신호의 디코딩 방법은, 오디오 신호 및 공간정보를 수신하는 단계; 변형 공간정보의 타입을 식별하는 단계; 상기 공간정보를 이용하여 상기 변형 공간정보를 생성하는 단계; 및, 상기 변형 공간정보를 이용하여 상기 오디오 신호를 디코딩하는 단계를 포함하고, 상기 변형 공간정보의 타입은 부분 공간정보, 조합 공간정보, 및 확대 공간정보 중 하나 이상을 포함한다.

본 발명의 또 다른 측면에 따르면, 공간정보를 수신하는 단계; 상기 공간정보를 이용하여 조합 공간정보를 생성하는 단계; 및, 상기 조합 공간정보를 이용하여 오디오 신호를 디코딩하는 단계를 포함하고, 상기 조합 공간정보는, 상기 공간정보에 포함되는 공간 파라미터를 조합하여 생성된 것을 특징으로 하는 오디오 신호의 디코딩 방법이 제공된다.

본 발명의 또 다른 측면에 따르면, 하나 이상의 공간 파라미터를 포함하는 공간정보, 및 하나 이상의 필터 파라미터를 포함하는 공간필터정보를 수신하는 단계; 상기 공간 파라미터 및 상기 필터 파라미터를 조합하여 서라운드 효과를 가지는 조합 공간정보를 생성하는 단계; 및, 상기 조합공간정보를 이용하여 오디오 신호를 가상 서라운드 신호로 변환하는 단계를 포함하는 오디오 신호의 디코딩 방법이 제공된다.

본 발명의 또 다른 측면에 따르면, 오디오 신호를 수신하는 단계; 트리구조정보 및 공간 파라미터를 포함하는 공간정보를 수신하는 단계; 상기 공간정보에 확장 공간정보를 추가하여 변형 공간정보를 생성하는 단계; 및, 상기 변형 공간정보를 이용하여 오디오 신호를 업믹싱하는 단계를 포함하되, 상기 업믹싱하는 단계는, 상기 공간정보에 근거하여 상기 오디오 신호를 1차 업믹싱 신호로 변환하는 단계; 및, 상기 확장 공간정보에 근거하여, 상기 1차 업믹싱 오디오 신호를 2차 업믹싱 오디오 신호로 변환하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법이 제공된다.

도 1은 본 발명에 따른 오디오 신호의 인코딩 장치 및 디코딩 장치의 구성도.

도 2는 부분 공간정보를 적용하는 일 예를 개략적으로 나타낸 도면.

도 3은 부분 공간정보를 적용하는 다른 예를 개략적으로 나타낸 도면.

도 4는 부분 공간정보를 적용하는 또 다른 예를 개략적으로 나타낸 도면.

도 5는 조합 공간정보를 적용하는 일 예를 개략적으로 나타낸 도면.

도 6은 조합 공간정보를 적용하는 다른 예를 개략적으로 나타낸 도면.

도 7은 3채널 스피커의 위치 및, 스피커에서 청자까지의 음향경로를 나타낸 도면.

도 8은 서라운드 효과를 위해 스피커 각 위치에서 출력되는 신호를 나타낸 도면.

도 9는 5 채널 신호를 이용하여 3 채널 신호를 생성하는 방법을 개념적으로 나타낸 도면.

도 10은 확장채널 구성정보를 근거로 확장 채널이 구성되는 일 예를 나타낸 도면.

도 11은 도 10에 도시된 확장 채널의 구성, 및 확장 공간 파라미터와의 관계를 나타낸 도면.

도 12은 5.1 채널의 멀티채널 오디오 신호의 위치와 6.1 채널의 출력채널 오디오 신호의 위치를 나타낸 도면.

도 13는 두 채널간의 레벨 차이 및 가상 음원의 위치와의 관계를 나타내는 도면.

도 14은 두 후방 채널들의 레벨, 및 후방 센터 채널의 레벨을 나타내는 도면.

도 15는 5.1 채널의 멀티채널 오디오 신호의 위치와 7.1 채널의 출력채널 오디오 신호의 위치.

도 16은 두 왼쪽 채널들의 레벨, 및 왼쪽 프론트 사이드 채널(Lfs)의 레벨을 나타내는 도면.

도 17은 세 전방(font) 채널들의 레벨, 및 왼쪽 프론트 사이드 채널(Lfs)의 레벨을 나타내는 도면.

Best Mode for Carrying Out the Invention

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적 인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우는 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다.

본 발명은 공간정보를 이용하여 변형 공간정보를 생성한 후, 생성된 변형 공간정보를 이용하여 오디오 신호를 디코딩한다. 공간정보란, 정해진 트리구조에 따라 다운믹스되는 과정에서 추출된 공간정보이고, 변형공간정보란, 공간정보를 이용하여 새롭게 생성된 공간정보이다.

이하, 도 1을 참조하면서, 본 발명에 관해서 구체적으로 설명하고자 한다. 도 1은 본 발명의 실시예에 따른 오디오 신호의 인코딩 장치 및 디코딩 장치의 구성을 나타내는 도면이다. 도 1을 참조하면, 오디오 신호의 인코딩 장치(100)(이하, 인코딩 장치(100))는 다운믹스부(110) 및 공간정보 추출부(120)를 포함하고, 오디오 신호의 디코딩 장치(200)(이하, 디코딩 장치(200))는 출력채널 생성부(210) 및 변형 공간정보 생성부(220)를 포함한다.

인코딩 장치(100)의 다운믹스부(110)는 멀티채널 오디오 신호(IN_M)를 다운믹스하여 다운믹스 오디오 신호(d)를 생성한다. 다운믹스 오디오 신호(d)는 멀티채널 오디오 신호(IN_M)가 다운믹스부(110)에 의해 다운믹스된 것일 수도 있지만, 멀티채널 오디오 신호(IN_M)가 사용자에 의해 임의적으로 다운믹스된 임의적 다운믹스 오디오 신호일 수도 있다.

인코딩 장치(100)의 공간정보 추출부(120)는 멀티채널 오디오 신호(IN_M)로 부터 공간정보(s)를 추출한다. 여기서 공간정보는 다운믹스 오디오 신호(s)를 멀티채널 오디오 신호(IN_M)로 업믹스하기 위해 필요한 정보이다. 한편, 공간정보는 멀티채널 오디오 신호(IN_M)가 정해진 트리구조에 따라 다운믹스되는 과정에서 추출된 정보일 수 있는 데, 여기서 정해진 트리구조란, 오디오 신호의 디코딩 장치와 오디오 신호의 인코딩 장치간에 약속된 트리구조(들)일 수 있으나, 본 발명은 이에 한정되지 아니한다. 한편, 공간정보(spatial information)는, 트리구조정보, 지시자, 공간 파라미터 등을 포함할 수 있는데, 트리구조정보란, 트리구조의 유형에 관한 정보인데, 이 트리구조의 유형에 따라 멀티채널의 개수, 채널별 다운믹스 순서 등이 달라진다. 지시자는 확장 공간정보가 존재하는지 여부 등을 나타내는 정보이다. 공간 파라미터에는 두개 이상의 채널이 두개 이하의 채널로 다운믹스되는 과정에서의 채널간 레벨 차이(channel level difference)(이하, CLD), 채널간 상관관계(inter channel coherences)(이하, ICC), 채널 예측 계수(channel prediction coefficients)(이하, CPC) 등이 있을 수 있다. 한편, 공간정보 추출부(120)는 공간정보 이외에 확장 공간정보를 더 추출할 수 있는데, 확장 공간정보란 다운믹스 오디오 신호(d)가 공간 파라미터에 의해 업믹스된 이후에, 추가적으로 확장될 경우에 필요한 정보로서, 확장채널 구성정보 및 확장 공간 파라미터를 포함될 수 있다. 추후에 설명될 확장 공간정보는 공간정보 추출부(120)에 의해 추출된 것에 한정되지 아니한다.

한편, 인코딩 장치(100)는 다운믹스 오디오 신호(d)를 디코딩하여 다운믹스 오디오 비트스트림을 생성하는 코어코덱 인코딩부(미도시), 공간정보(s)를 인코딩 하여 공간정보 비트스트림을 생성하는 공간정도 인코딩부(미도시), 및 다운믹스 오디오 비트스트림 및 공간정보 비트스트림을 다중화하여 오디오 신호에 관한 비트스트림을 생성하는 다중화부(미도시)를 더 구비할 수 있으나, 본 발명은 이에 한정되지 아니한다.

디코딩 장치(200)는 오디오 신호에 관한 비트스트림을 다운믹스 오디오 비트스트림 및 공간정보 비트스트림으로 분리하는 역다중화부(미도시), 다운믹스 오디오 비트스트림을 디코딩하는 코어코덱 디코딩부(미도시), 공간정보 비트스트림을 디코딩하는 공간정보 디코딩부(미도시)를 더 포함할 수 있으나, 본 발명은 이에 한정되지 아니한다.

디코딩 장치(200)의 변형 공간정보 생성부(220)는 공간정보를 이용하여 변형 공간정보의 타입을 식별하고, 공간정보를 근거로 식별된 타입의 변형 공간정보(s')(modified spatial information)를 생성한다. 여기서 공간정보는 인코딩 장치(100)로부터 전달된 공간정보(s)일 수 있다. 변형 공간정보(modified spatial information)란, 공간정보를 이용하여 새롭게 생성된 공간정보를 일컫는 것으로서, 한편, 변형 공간정보의 타입(type)은 여러 가지가 있을 수 있는 데, 변형 공간정보의 타입은 a) 부분 공간정보, b) 조합 공간정보, c) 확대 공간정보 중 하나 이상을 포함할 수 있으나, 본 발명은 이에 한정되지 아니한다. 부분 공간정보는, 공간 파라미터의 일부를 포함하는 것이고, 조합 공간정보는 공간 파라미터를 조합하여 생성한 것이고, 확대 공간정보는 공간정보 및 확장 공간정보를 이용하여 생성한 것이다. 변형공간정보 생성부(220)가 변형 공간정보를 생성하는 방법은, 위와 같이 변 형공간정보의 타입에 따라 달라질 수 있는 데, 각 변형 공간정보의 타입별로 변형 공간정보를 생성하는 방법에 관한 설명은 추후 구체적으로 설명하고자 한다.

한편, 변형 공간정보의 유형을 결정하는 기준은 공간정보 중 트리구조정보, 공간정보 중 지시자, 출력채널 정보 등이 될 수 있다. 트리구조정보 및 지시자는 인코딩 장치로부터의 공간정보(s)에 포함되어 있는 것일 수 있다. 출력채널 정보는 디코딩 장치(200)와 연계되어 있는 스피커에 관한 정보로서, 출력채널의 수, 출력채널 각각의 위치 정보 등을 포함할 수 있다. 출력채널 정보는 제작자에 의해 기 입력되어 있는 것이거나, 사용자에 의해 입력되는 것일 수 있다. 이러한 정보들을 이용하여 변형 공간정보의 유형을 결정하는 방법에 관해서는, 추후 더욱 구체적으로 설명하고자 한다.

디코딩 장치(200)의 출력채널 생성부(210)는 변형 공간정보(s')를 이용하여 다운믹스 오디오 신호(d)로부터 출력채널 오디오 신호(OUT_N)를 생성한다.

디코딩 장치(200)의 공간필터정보(230)는 음향경로에 관한 정보로서, 변형 공간정보 생성부(220)에 제공된다. 변형 공간정보 생성부(220)가 서라운드 효과를 가지는 조합 공간정보를 생성할 경우, 상기 공간필터정보를 이용할 수 있다.

이하, 변형 공간정보의 유형별로 변형 공간정보를 생성하여 오디오 신호를 디코딩하는 방법에 관하여 (1) 부분 공간정보, (2) 조합 공간정보, (3) 확대 공간정보 순서대로 설명하고자 한다.

(1) 부분 공간정보

공간 파라미터는 멀티채널 오디오 신호가 정해진 트리구조대로 다운믹스되는 과정에서 계산된 것이기 때문에, 다운믹스 오디오 신호를 공간 파라미터를 그대로 이용하여 디코딩하면, 다운믹스되기 전인 원래의 멀티채널 오디오 신호로 복원된다. 만약, 멀티채널 오디오 신호의 채널 개수(M)보다 출력채널 오디오 신호의 채널 개수(N)를 적게 하고자 할 경우, 공간 파라미터의 일부만을 적용하여 다운믹스 오디오 신호를 디코딩할 수 있다.

이와 같은 방법은 인코딩 장치에서 멀티채널 오디오 신호가 다운믹스되는 순서와 방법, 즉 트리구조의 유형에 따라 달라질 수 있는데, 트리구조의 유형은 공간정보의 트리구조정보를 이용하여 조회할 수 있다. 또한, 이와 같은 방법은 출력채널의 개수가 몇 개인지에 따라 달라질 수 있는 데, 출력채널의 개수 등은 출력채널 정보를 이용하여 조회할 수 있다.

이하, 멀티채널 오디오 신호의 채널 개수보다 출력채널 오디오 신호의 채널 개수가 작은 경우, 공간 파라미터 중 일부를 포함하는 부분 공간정보를 적용하여 오디오 신호를 디코딩하는 방법에 관해서, 여러 가지 트리 구조의 예를 들어 설명하고자 한다.

(1)-1. 트리 구조의 제1예(5-2-5 트리 구조)

도 2는 부분 공간정보를 적용하는 일 예를 개략적으로 나타낸 도면이다. 도 2의 좌측을 참조하면, 채널 개수가 6개인 멀티채널 오디오 신호(왼쪽 앞 채널(Left Front)(L), 왼쪽 서라운드 채널(Left Surround)(Ls), 센터 채널(C), 저주파 채널(LFE), 오른쪽 앞 채널(Right Front)(R), 오른쪽 서라운드 채널(Right Surround)(Rs))가 스테레오 다운믹스 채널(L_o, R_o)로 다운믹스되는 순서 및 공간 파라미터와의 관계가 도시되어 있다.

우선, 왼쪽 채널(L)과 왼쪽 서라운드 채널(L_S)간의 다운믹스와, 센터 채널(C) 및 저주파 채널(LFE)간의 다운믹스, 오른쪽 채널(R) 및 오른쪽 서라운드 채널(R_S)간의 다운믹스가 수행된다. 이러한 제1차 다운믹스 과정에서, 왼쪽 토탈 채널(L_t), 센터 토탈 채널(C_t), 오른쪽 토탈 채널(R_t)이 생성되고, 이 제1차 다운믹스 과정에서 산출되는 공간 파라미터는 CLD₂(ICC₂ 포함), CLD₁(ICC₁ 포함), CLD₀(ICC₀ 포함)등 이다. 1차 다운믹스 과정 이후의 2차 다운믹스 과정에서는, 왼쪽 토탈 채널(L_t), 센터 토탈 채널(C_t), 오른쪽 토탈 채널(R_t)이 다운믹스되어 왼쪽 채널(L_o) 및 오른쪽 채널(R_o)이 생성되고, 2차 다운믹스 과정에서 산출되는 공간 파라미터는 CLD_TTT, CPC_TTT, ICC_TTT 등이 포함될 수 있다. 다시 말해서, 총 6개 채널의 멀티채널 오디오 신호가 위와 같은 순서를 통해 다운믹스되어 스테레오 다운믹스 오디오 신호(L_o, R_o)를 생성한다. 만약, 이와 같은 순서를 통해 산출된 공간 파라미터(CLD₂, CLD₁, CLD₀, CLD_TTT 등)을 그대로 이용할 경우, 다운믹스된 순서의 역순으로 업믹스되어 채널 개수가 6개인 멀티채널 오디오 신호(왼쪽 앞 채널(L), 왼쪽 서라운드 채널(L_S), 센터 채널(C), 저주파 채널(LFE), 오른쪽 앞 채널(R), 오른쪽 서라운드 채 널(R_S))가 생성된다.

도 2의 우측에 도시된 바와 같이, 부분 공간정보가 공간 파라미터(CLD₂, CLD₁, CLD₀, CLD_TTT 등) 중 CLD_TTT 인 경우, 왼쪽 토탈 채널(L_t), 센터 토탈 채널(C_t), 및 오른쪽 토탈 채널(R_t)으로 업믹스한 다음, 출력채널 오디오 신호로서 왼쪽 토탈 채널(L_t), 오른쪽 토탈 채널(R_t)만을 선택하면, 2개 채널의 출력채널 오디오 신호(L_t, R_t)를 생성할 수 있고, 출력채널 오디오 신호로서 왼쪽 토탈 채널(L_t), 센터 토탈 채널(C_t), 및 오른쪽 토탈 채널(R_t)를 선택하면, 3개 채널의 출력채널 오디오 신호(L_t, C_t, R_t)를 생성할 수 있다. 또한, 추가적으로 CLD₁를 사용하여 업믹스한 다음, 출력채널 오디오 신호로서 왼쪽 토탈 채널(L_t, 오른쪽 토탈 채널(R_t), 센터 채널(C) 및 저주파 채널(LFE)를 선택하면, 4개 채널의 출력채널 오디오 신호(L_t, R_t, C, LFE)를 생성할 수 있다.

(1)-2. 트리 구조의 제2예(5-1-5 트리 구조)

도 3은 부분 공간정보를 적용하는 다른 예를 개략적으로 나타낸 도면이다. 도 3의 좌측을 참조하면, 채널 개수가 6개인 멀티채널 오디오 신호(왼쪽 앞 채널(L), 왼쪽 서라운드 채널(L_S), 센터 채널(C), 저주파 채널(LFE), 오른쪽 앞 채널(R), 오른쪽 서라운드 채널(R_S))가 모노 다운믹스 오디오 신호(M)로 다운믹스되는 순서 및 공간 파라미터와의 관계가 도시되어 있다.

트리 구조의 제1예와 마찬가지로, 왼쪽 채널(L)과 왼쪽 서라운드 채널(L_S)간의 다운믹스와, 센터 채널(C) 및 저주파 채널(LFE)간의 다운믹스, 오른쪽 채널(R) 및 오른쪽 서라운드 채널(R_S)간의 다운믹스가 수행된다. 이러한 제1차 다운믹스 과정에서, 왼쪽 토탈 채널(L_t), 센터 토탈 채널(C_t), 오른쪽 토탈 채널(R_t)이 생성되고, 제1차 다운믹스 과정에서 산출되는 공간 파라미터는 CLD₃(ICC₃ 포함), CLD₄(ICC₄ 포함), CLD₅(ICC₅ 포함)(여기서의 CLD_x, ICC_x는 트리 구조의 제1예에서의 CLD_x와는 구별됨)등 이다. 1차 다운믹스 과정 이후의 2차 다운믹스 과정에서는, 왼쪽 토탈 채널(L_t)과 센터 토탈 채널(C_t)이 다운믹스되어 왼쪽 센터 채널(LC)이 생성되고, 센터 토탈 채널(C_t)과 오른쪽 토탈 채널(R_t)이 다운믹스되어 오른쪽 센터 채널(RC)이 생성되고, 제2차 다운믹스 과정에서 산출되는 공간 파라미터는 CLD₂(ICC₂포함), CLD₁(ICC₁ 포함)등 이다. 그런 다음 제3차 다운믹스 과정에서 왼쪽 센터 채널(LC)와 오른쪽 센터 채널(RC)가 다운믹스되어 모노 다운믹스 채널(M)이 생성되고, 제2차 다운믹스 과정에서 산출되는 공간 파라미터는 CLD₀(ICC₀ 포함)등 이다.

도 3의 우측에 도시된 바와 같이, 부분 공간정보가 공간 파라미터(CLD₃, CLD₄, CLD₅, CLD₁, CLD₂, CLD₀ 등) 중 CLD₀ 인 경우, 왼쪽 센터 채널(LC) 및 오른쪽 센터 채널(RC)을 생성한 후, 출력채널 오디오 신호로서 왼쪽 센터 채널(LC) 및 오른쪽 센터 채널(RC)를 선택하면, 2개 채널의 출력채널 오디오 신호(LC, RC)를 생성할 수 있다. 한편, 부분 공간정보가 공간 파라미터(CLD₃, CLD₄, CLD₅, CLD₁, CLD₂, CLD₀ 등) 중 CLD₀, CLD₁, CLD₂ 인 경우, 왼쪽 토탈 채널(L_t), 센터 토탈 채널(C_t), 오른쪽 토탈 채널(R_t)를 생성한 후, 출력채널 오디오 신호로서 왼쪽 토탈 채널(L_t) 및 오른쪽 토탈 채널(R_t)를 선택하면, 2개 채널의 출력채널 오디오 신호(L_t, R_t)를 생성할 수 있고, 출력채널 오디오 신호로서 왼쪽 토탈 채널(L_t), 센터 토탈 채널(C_t) 및 오른쪽 토탈 채널(R_t)를 선택하면, 3개 채널의 출력채널 오디오 신호(L_t, C_t, R_t)을 생성할 수 있다. 또한, 부분 공간정보가 추가적으로 CLD₄를 포함하는 경우, 센터 채널(C) 및 저주파 채널(LFE)까지 업믹스한 다음, 출력채널 오디오 신호로서 왼쪽 토탈 채널(L_t), 오른쪽 토탈 채널(R_t), 센터 채널(C) 및 저주파 채널(LFE)를 선택하면, 4개 채널의 출력채널 오디오 신호(L _t, R_t, C, LFE)를 생성할 수 있다.

(1)-3. 트리 구조의 제3예(5-1-5 트리 구조)

도 4는 부분 공간정보를 적용하는 또 다른 예를 개략적으로 나타낸 도면이다. 도 4의 좌측을 참조하면, 채널 개수가 6개인 멀티채널 오디오 신호(왼쪽 앞 채널(L), 왼쪽 서라운드 채널(L_S), 센터 채널(C), 저주파 채널(LFE), 오른쪽 앞 채널(R), 오른쪽 서라운드 채널(R_S))가 모노 다운믹스 오디오 신호(M)로 다운믹스되는 순서 및 공간 파라미터와의 관계가 도시되어 있다.

트리 구조의 제1예 및 제2예에서와 마찬가지로, 왼쪽 채널(L)과 왼쪽 서라운드 채널(L_S)간의 다운믹스와, 센터 채널(C) 및 저주파 채널(LFE)간의 다운믹스, 오른쪽 채널(R) 및 오른쪽 서라운드 채널(R_S)간의 다운믹스가 수행된다. 이러한 제1차 다운믹스 과정에서, 왼쪽 토탈 채널(L_t), 센터 토탈 채널(C_t), 오른쪽 토탈 채널(R_t)이 생성되고, 공간 파라미터는 CLD₁(ICC₁ 포함), CLD₂(ICC₂ 포함), CLD₃(ICC₃ 포함) 등(여기서의 CLD_x, ICC_X는 트리 구조의 제1예 및 제2예에서의 CLD_x, ICC_x와는 구별됨)이 산출된다. 1차 다운믹스 과정 이후의 2차 다운믹스 과정에서는, 왼쪽 토탈 채널(L_t)과 센터 토탈 채널(C_t), 및 오른쪽 토탈 채널(R_t)이 다운믹스되어 왼쪽 센터 채널(LC) 및 오른쪽 채널(R)이 생성되고, 공간 파라미터는 CLD_TTT(ICC_TTT 포함)가 산출된다. 그런 다음 제3차 다운믹스 과정에서 왼쪽 센터 채널(LC)와 오른쪽 채널(R)이 다운믹스되어 모노 다운믹스 채널(M)이 생성되고, 공간 파라미터는 CLD₀(ICC₀ 포함)가 산출된다.

도 4의 우측에 도시된 바와 같이, 부분 공간정보가 공간 파라미터(CLD₁, CLD₂, CLD₃, CLD_TTT, CLD₀ 등) 중 CLD₀, 및 CLD_TTT 인 경우, 왼쪽 토탈 채널(L_t), 센터 토탈 채널(C_t), 오른쪽 토탈 채널(R_t)을 생성한 후, 출력채널 오디오 신호로서 왼쪽 토탈 채널(L_t) 및 오른쪽 토탈 채널(R_t)를 선택하면, 2개 채널의 출력채널 오디오 신호(L_t, R_t)를 생성할 수 있고, 출력채널 오디오 신호로서 왼쪽 토탈 채널(L_t), 센터 토탈 채널(C_t) 및 오른쪽 토탈 채널(R_t)를 선택하면, 3개 채널의 출력채널 오디오 신호(L _t, C_t, R,)을 생성할 수 있다. 또한, 부분 공간정보가 추가적으로 CLD₂를 포함하는 경우, 센터 채널(C) 및 저주파 채널(LFE)까지 업믹스한 다음, 출력채널 오디오 신호로서 왼쪽 토탈 채널(L _t), 오른쪽 토탈 채널(R_t), 센터 채널(C) 및 저주파 채널(LFE)를 선택하면, 4개 채널의 출력채널 오디오 신호(L_t, R_t, C, LFE)를 생성할 수 있다.

이상 세 가지 트리구조를 예를 들어 공간 파라미터의 일부만을 적용하여 출력채널 오디오 신호를 생성하는 과정을 설명하였는 바, 위와 같이 부분 공간정보를 적용하는 데 그치는 것뿐만 아니라, 그 이후에 추가적으로, 조합 공간정보를 적용하거나 확대 공간정보를 적용할 수도 있다. 이와 같이 오디오 신호에 변형 공간정보를 적용하는 과정은 순차적, 계층적으로 수행될 수도 있지만, 일괄적이고 통합적으로도 처리될 수 있다.

(2) 조합 공간정보

공간정보는 멀티채널 오디오 신호가 정해진 트리구조대로 다운믹스되는 과정에서 계산된 것이기 때문에, 다운믹스 오디오 신호를 공간정보의 공간 파라미터를 그대로 이용하여 디코딩하면, 다운믹스되기 전인 원래의 멀티채널 오디오 신호로 복원된다. 만약, 멀티채널 오디오 신호의 채널 개수(M)가 출력채널 오디오 신호의 채널 개수(N)와 다를 경우, 공간정보를 조합하여 새로운 조합 공간정보를 생성한 후, 이를 이용하여 다운믹스 오디오 신호를 업믹스할 수 있다. 구체적으로, 공간 파라미터를 변환 공식에 대입하여 조합공간 파라미터를 생성할 수 있다.

이와 같은 방법은 인코딩 장치에서 멀티채널 오디오 신호가 다운믹스되는 순서와 방법에 따라 달라질 수 있는데, 이 다운믹스되는 순서와 방법은 공간정보의 트리구조정보를 이용하여 조회할 수 있다. 또한, 이와 같은 방법은 출력채널의 개수가 몇 개인지에 따라 달라질 수 있는 데, 출력채널의 개수 등은 출력채널 정보를 이용하여 조회할 수 있다.

이하에서는, 공간정보를 변형하는 방법의 구체적인 실시예에 관해서 설명한 후, 가상 3D 효과를 주기 위한 실시예에 관해서도 설명하고자 한다.

(2)-1. 일반적인 조합 공간정보

공간정보의 공간 파라미터를 조합하여 조합 공간 파라미터를 생성하는 방법은, 다운믹스 과정에서의 트리구조와는 다른 트리구조에 따라 업믹스하기 위한 것이기 때문에, 트리구조정보에 따른 트리 구조가 어떤 것이든 상판없이, 모든 다운믹스 오디오 신호에 적용할 수 있다.

멀티채널 오디오 신호가 5.1채널이고, 다운믹스 오디오 신호가 1채널(모노채널)일 경우, 2채널의 출력채널 오디오 신호를 생성하는 과정에 관해서, 다음 2가지의 예를 들어 설명하고자 한다.

(2)-1-1. 트리구조의 제4예(5-1-5₁ 트리 구조)

도 5는 조합 공간정보를 적용하는 일 예를 개략적으로 나타낸 도면이다. 도 5의 좌측에 나타난 바와 같이, 5.1채널의 멀티채널 오디오 신호가 다운믹스되는 과정에서 산출될 수 있는 공간 파라미터는 각각 CLD₀ 내지 CLD₄, 및 ICC₀ 내지 ICC₄(미도시)라고 할 수 있다. 예컨대, 공간 파라미터 중에서, 왼쪽 채널 신호(L)와 오른쪽 채널 신호(R)의 채널간 레벨차이는 CLD₃ 이고 채널간 상관관계는 ICC₃이며, 왼쪽 서라운드 채널(L_S) 및 오른쪽 서라운드 채널(R_S)의 채널간 레벨차이는 CLD₂이고 채널간 상관관계는 ICC₂이다.

반면, 도 5의 우측을 참조하면, 모노 다운믹스 오디오 신호(m)에 조합 공간 파라미터(CLD_α, ICC_α)를 적용함으로써 왼쪽 채널 신호(L_t) 및 오른쪽 채널 신호(R_t)를 생성하면, 모노 채널 오디오 신호(m)로부터 직접 스테레오 출력채널 오디오 신호(L_t, R_t)를 생성할 수 있다. 여기서의 조합 공간 파라미터(CLD_α, ICC_α)는 공간 파라미터(CLD₀ 내지 CLD₄, 및 ICC₀ 내지 ICC₄)를 조합하여 계산할 수 있다. 우선, 공간 파라미터 중 CLD₀ 내지 CLD₄를 조합하여 조합 공간 파라미터 중 CLD_α를 계산하는 과정을 설명한 후, 공간 파라미터 중 CLD₀ 내지 CLD₄ 및 ICC₀ 내지 ICC₄를 조합하여 조합 공간 파라미터 중 ICC_α를 계산하는 과정을 설명하고자 한다.

(2)-1-1-a. CLD_α 유도

우선, CLD_α는 왼쪽 출력 신호(L_t) 및 오른쪽 출력 신호(R_t)간의 레벨 차이이므로, CLD의 정의식에 왼쪽 출력 신호(L_t) 및 오른쪽 출력 신호(R_t)를 대입하면 다음과 같다.

[수학식 1]

P_Lt는 L_t의 파워(power), P_Rt는 R_t의 파워(power).

[수학식 2]

P_Lt는 L_t의 파워(power), P_Rt는 R_t의 파워(power), a는 매우 작은 상수.

CLD_α는 상기 수학식 1 또는 수학식 2와 같이 정의된다.

한편, P_Lt 및 P_Rt를 공간 파라미터(CLD₀ 내지 CLD₄)을 이용하여 표현하기 위해서는, 출력채널 오디오 신호의 왼쪽 출력 신호(L _t), 오른쪽 출력 신호(R_t) 및 멀티채널 신호(L, L_s, R, R_s, C, LFE)과의 관계식이 필요한 바, 그 관계식은 다음과 같이 정의될 수 있다.

[수학식 3]

수학식 3과 같은 관계식은 출력채널 오디오 신호를 어떻게 정의할지에 따라 달라질 수 있는 것이기 때문에, 수학식3과 다른 식으로도 정의될 수 있음은 당연하다. 예를 들어, 수학식 3에서 C/√2 또는 LFE/√2에서의 1/√2 인자가 0이 될 수도 있고 1이 될 수도 있다.

수학식 3에 의해 다음 수학식 4와 같은 관계식이 유도될 수 있다.

[수학식 4]

CLD_α가 수학식 1(또는 수학식 2)에 의해 P_Lt 및 P_Rt를 이용하여 표현될 수 있고, 이러한 P_Lt 및 P_Rt는 수학식 4에 의해 P_L, P_Ls, P_c, P_LFE, P_R, P_Rs를 이용하여 표현될 수 있으므로, P_L, P_Ls, P_c, P_LFE, P_R, P_Rs가 공간 파라미터(CLD₀ 내지 CLD₄)를 이용하여 표현될 수 있는 관계식을 구하는 것이 필요하다.

한편, 도 5와 같은 트리 구조일 경우, 멀티채널 오디오 신호(L, R, C, LFE, L_s, R_s) 및 모노 다운믹스 채널 신호(m)의 관계는 다음과 같다.

[수학식 5]

여기서,

,

수학식 5에 의해 다음 수학식 6과 같은 관계식이 유도될 수 있다.

[수학식 6]

여기서,

,

즉, 수학식 6을 수학식 4에 대입하고, 수학식 4를 수학식 1(또는 수학식 2)에 대입함으로써, 조합 공간 파라미터인 CLD_α는 공간 파라미터인 CLD₀ 내지 CLD₄를 조합하여 표현될 수 있다.

한편, 수학식 4에서의 Pc/2 + P_LFE/2에 수학식 6을 대입한 전개식은 다음과 같다.

[수학식 7]

여기서, c₁ 및 c₂ 의 정의에 따르면(수학식 5 참조), (C_1,x)²+ (C_2,x)²=1 이므로 (c_1,OTT4)²+ (c_2,OTT4)²=1이다.

따라서 수학식 7은 다음과 같이 간단하게 정리될 수 있다.

[수학식 8]

결론적으로, 수학식 8 및 수학식 6을 수학식 4에 대입하고, 수학식 4를 수학식 1에 대입함으로써, 조합 공간 파라미터인 CLD_α는 공간 파라미터인 CLD₀ 내지 CLD₄를 조합하여 표현될 수 있다.

(2)-1-1-b. ICC_α 유도

우선, ICC_α는 왼쪽 출력 신호(L_t) 및 오른쪽 출력 신호(R_t)간의 상관관계이므로, 그 정의식에 왼쪽 출력 신호(L_t) 및 오른쪽 출력 신호(R_t)를 대입하면 다음과 같다.

[수학식 9]

여기서,

수학식 9에서 P_Lt, P_Rt는 수학식 4, 수학식 6, 및 수학식 8에 의해 CLD₀ 내지 CLD₄를 이용하여 표현될 수 있고, P_LtP_Rt는 다음 수학식 10과 같이 전개될 수 있다.

[수학식 10]

수학식 10에서 Pc/2 + P_LFE/2은 수학식 6에 의해 CLD₀ 내지 CLD₄로 표현될 수 있고, P_LR과 P_LsRs는 ICC 정의에 의해 다음과 같이 전개될 수 있다.

[수학식 11]

수학식 11에서 √(P_LP_R)(또는 √P_LsP_Rs))를 이항하면, 다음 수학식 12이 된다.

[수학식 12]

수학식 12에서 P_L, P_R, P_Ls, P_Rs는 각각 수학식 6에 의해 CLD₀ 내지 CLD₄로 표현될 수 있다. 수학식 6을 수학식 12에 대입한 식은 다음 수학식 13과 같다.

[수학식 13]

정리하면, 수학식 6 및 수학식 13을 수학식 10에 대입하고, 수학식 10 및 수학식 4를 수학식 9에 대입함으로써, 조합 공간 파라미터인 ICC_α는 공간 파라미터인 CLD₀ 내지 CLD₃ 및, ICC₂, ICC₃를 이용하여 표현될 수 있다.

(2)-1-2. 트리구조의 제5예(5-1-5₂ 트리 구조)

도 6은 조합 공간정보를 적용하는 다른 예를 개략적으로 나타낸 도면이다. 도 6의 좌측에 나타난 바와 같이, 5.1채널의 멀티채널 오디오 신호가 다운믹스되는 과정에서 산출될 수 있는 공간 파라미터는 각각 CLD₀ 내지 CLD₄, 및 ICC₀ 내지 ICC₄(미도시)라고 할 수 있다. 공간 파라미터 중에서, 왼쪽 채널 신호(L)와 왼쪽 서라운드 채널 신호(Ls)의 채널간 레벨차이를 CLD₃ 이고 채널간 상관관계는 ICC₃이며, 오 른쪽 채널(R) 및 오른쪽 서라운드 채널(R_S)의 채널간 레벨차이는 CLD₄이고 채널간 상관관계는 ICC₄이다.

반면, 도 6의 우측을 참조하면, 모노 다운믹스 오디오 신호(m)에 조합 공간 파라미터(CLD_β, ICC_β)를 적용함으로써 왼쪽 채널 신호(L_t) 및 오른쪽 채널 신호(R_t)를 생성하면, 모노 채널 오디오 신호(m)로부터 직접 스테레오 출력채널 오디오 신호(L_t, R_t)를 생성할 수 있다. 여기서의 조합 공간 파라미터(CLD_β, ICC_β)는 공간 파라미터(CLD₀ 내지 CLD₄, 및 ICC₀ 내지 ICC₄)를 이용하여 계산할 수 있다. 우선, 공간 파라미터 중 CLD₀ 내지 CLD₄를 이용하여 조합 공간 파라미터 중 CLD_β를 계산하는 과정을 설명한 후, 공간 파라미터 중 CLD₀ 내지 CLD₄ 및 ICC₀ 내지 ICC₄를 이용하여 조합 공간 파라미터 중 ICC_β를 계산하는 과정을 설명하고자 한다.

(2)-1-2-a. CLD_β 유도

우선, CLD_β는 왼쪽 출력 신호(L_t) 및 오른쪽 출력 신호(R_t)간의 레벨 차이이므로, 그 정의식에 왼쪽 출력 신호(L_t) 및 오른쪽 출력 신호(R_t)를 대입하면 다음과 같다.

[수학식 14]

P_Lt는 L_t의 파워(power), P_Rt는 R_t의 파워.

[수학식 15]

P_Lt는 L_t의 파워(power), P_Rt는 R_t의 파워, a는 매우 작은 수.

CLD_β는 상기 수학식 14 또는 수학식 15와 같이 정의된다.

한편, P_Lt 및 P_Rt를 공간 파라미터(CLD₀ 내지 CLD₄)을 이용하여 표현하기 위해서는, 출력채널 오디오 신호의 왼쪽 출력 신호(L _t), 오른쪽 출력 신호(R_t) 및 멀티채널 신호(L, L_s, R, R_s, C, LFE)과의 관계식이 필요한 바, 그 관계식은 수학식 3과 마찬가지로 다음과 같이 정의될 수 있다.

[수학식 16]

수학식 16과 같은 관계식은 출력채널 오디오 신호를 어떻게 정의할지에 따라 달라질 수 있는 것이기 때문에, 다른 식으로도 정의될 수 있음은 당연하다. 예를 들어, C/√2 또는 LFE/√2 인자에서의 1/√2가 0이 될 수도 있고, 1이 될 수도 있다.

수학식 16에 의해 다음 수학식 17과 같은 관계식이 유도될 수 있다.

[수학식 17]

수학식 14(또는 수학식 15)에서 CLD_β가 P_Lt 및 P_Rt를 이용하여 표현될 수 있고, P_Lt 및 P_Rt는 수학식 15에서 P_L, P_Ls, P_C, P_LFE, P_R, P_Rs를 이용하여 표현될 수 있으므로, P_L, P_Ls, P_C, P_LFE, P_R, P_Rs가 공간 파라미터(CLD₀ 내지 CLD₄)를 이용하여 표현될 수 있는 관계식을 구하는 것이 필요하다.

한편, 도 6와 같은 트리 구조일 경우, 멀티채널 오디오 신호(L, R, C, LFE, L_s, R_s) 및 모노 다운믹스 채널 신호(m)의 관계는 다음과 같다.

[수학식 18]

여기서,

,

수학식 18에 의해 다음 수학식 19과 같은 관계식이 유도될 수 있다.

[수학식 19]

여기서,

,

즉, 수학식 19을 수학식 17에 대입하고, 수학식 17를 수학식 14(또는 수학식 15)에 대입함으로써, 조합 공간 파라미티인 CLD_β는 공간 파라미터인 CLD₀ 내지 CLD₄를 조합하여 표현될 수 있다.

한편, 수학식 19을 수학식 17에서의 P_L+ P_Ls에 대입한 전개식은 다음과 같다.

[수학식 20]

여기서, c₁및 c₂의 정의에 따르면(수학식 5 참조), (c_1,x)²+ (c_2,x)²=1 이므로 (C_1,OTT3)²+ (C_2,OTT3)²= 1이다.

따라서 수학식 20은 다음과 같이 간단하게 정리될 수 있다.

[수학식 21]

다른 한편, 수학식 19를 수학식 17에서의 P_R + P_Rs 에 대입한 전개식은 다음과 같다.

[수학식 22]

여기서, c₁및 c₂ 의 정의에 따르면(수학식 5 참조), (c_1,x)² + (c_2,x)²=1 이므로 (c_1,OTT4)²+ (C_2,OTT4)²= 1이다.

따라서 수학식 22은 다음과 같이 간단하게 정리될 수 있다.

[수학식 23]

또 다른 한편, 수학식 19를 수학식 17에서의 P_C/2 + P_LFE/2에 대입한 전개식은 다음과 같다.

[수학식 24]

여기서, c₁ 및 c₂의 정의에 따르면(수학식 5 참조), (C_1,x)² + (C_2,x)²=1 이므로 (c_1,OTT2)²+ (c_2,OTT2)²= 1이다.

따라서 수학식 24은 다음과 같이 간단하게 정리될 수 있다.

[수학식 25]

결론적으로, 수학식 21, 수학식 23, 및 수학식 25를 수학식 17에 대입하고, 수학식 17를 수학식 14(또는 수학식 15)에 대입함으로써, 조합 공간 파라미터인 CLD_β는 공간 파라미터인 CLD₀ 내지 CLD₄를 조합하여 표현될 수 있다.

(2)-1-2-b. ICC_β 유도

우선, ICC_β는 왼쪽 출력 신호(L_t) 및 오른쪽 출력 신호(R_t)간의 상관관계이므로, 그 정의식에 왼쪽 출력 신호(L_t) 및 오른쪽 출력 신호(R_t)를 대입하면 다음과 같다.

[수학식 26]

여기서,

수학식 26에서 P_Lt, P_Rt는 수학식 19에 의해 CLD₀ 내지 CLD₄를 이용하여 표현될 수 있고, P_LtP_Rt는 다음 수학식 27과 같이 전개될 수 있다.

[수학식 27]

수학식 27에서 P_C/2 + P_LFE/2은 수학식 19에 의해 CLD₀ 내지 CLD₄로 표현될 수 있고, P_{L_R_}는 ICC 정의에 의해 다음과 같이 전개될 수 있다.

[수학식 28]

√(P_{L_}P_{R_}) 를 이항하면, 다음 수학식 29가 된다.

[수학식 29]

수학식 29에서 P_{L_}, P_{R_}는 각각 수학식 21 및 수학식 23에 의해 CLD₀내지 CLD₄로 표현될 수 있다. 수학식 21 및 수학식 23을 수학식 29에 대입한 식은 다음 수학식 30과 같다.

[수학식 30]

정리하면, 수학식 30을 수학식 27에 대입하고, 수학식 27 및 수학식 17을 수학식 26에 대입함으로써, 조합 공간 파라미터인 ICC_β는 공간 파라미터인 CLD₀ 내지 CLD₄ 및, ICC₁를 조합하여 표현될 수 있다.

상술한 공간 파라미터를 변형하는 방법은 하나의 실시예이며, 상술한 수학식은 P_x 또는 P_xy를 구하는 데 있어서, 신호 에너지 이외에 각 채널간의 상관관계(예:ICC₀ 등)를 추가적으로 고려함에 따라 다양한 형태로 달라질 수 있음은 자명하다.

(2)-2. 서라운드 효과를 갖는 조합 공간정보

공간정보를 조합하여 조합 공간정보를 생성하는 데 있어서 음향경로를 고려할 경우, 가상 서라운드 효과를 낼 수가 있다. 가상 서라운드 효과 또는 가상 3D 효과란, 실제로는 서라운드 채널의 스피커없이도 서라운드 채널의 스피커가 있는 것과 같은 효과를 내는 것으로서, 예를 들어, 2개의 스테레오 스피커를 통해 5.1 채널 오디오 신호를 출력하는 것이다.

음향경로는 공간필터정보일 수 있는데, 공간필터정보는 HRTF(Head-Related Tranfer Function)라고 지칭되는 함수를 이용할 수 있지만 본 발명은 이에 한정되 지 아니한다. 공간필터정보는 필터 파라미터를 포함할 수 있는데, 이 필터 파라미터 및 공간 파라미터를 변환 공식에 대입하여 조합 공간 파라미터를 생성할 수 있다. 한편, 생성된 조합 공간 파라미터는 필터계수(filter co-efficients)를 포함할 수 있다.

이하에서는, 멀티채널 오디오 신호가 5채널이고, 3채널의 출력채널 오디오 신호를 생성하는 경우를 예를 들어서, 서라운드 효과를 갖는 조합 공간정보를 생성하기 위해 음향경로를 고려하는 방법에 관해 설명하고자 한다.

도 7은 3채널의 스피커의 위치 및, 스피커와 청자까지의 음향경로를 나타낸 도면이다. 도 7을 참조하면, 3개의 스피커(SPK1, SPK2, SPK3)의 위치가 각각 왼쪽 앞(L), 센터(C), 오른쪽(R)이고, 가상 서라운드 채널의 위치가 왼쪽 서라운드(Ls) 및 오른쪽 서라운드(Rs)인 것을 알 수 있다. 3개의 스피커의 위치(L, C, R) 및, 가상 서라운드 채널의 위치(Ls, Rs)로부터 청자의 왼쪽 귀 위치(l), 청자의 오른쪽 귀의 위치(r)에 이르기까지의 음향 경로가 표시되어 있다. G_{x_y}라는 표시는, x 위치로부터 y 위치까지 이르는 음향 경로를 나타낸다. 예를 들어, G_{L_r}은 왼쪽 앞(L) 위치로부터 청자의 오른쪽 귀(r)의 위치까지 이르는 음향 경로이다.

만약, 5개의 위치에 스피커가 존재(즉, 왼쪽 서라운드(Ls) 및 오른쪽 서라운드(Rs)에도 스피커가 존재)하고, 청자가 도 7에 도시되어 있는 위치에 존재한다면, 청자의 왼쪽 귀로 유입되는 신호(L₀) 및 청자의 오른쪽 귀로 유입되는 신호(R₀)는 다음과 같다.

[수학식 31]

여기서, L, C, R, Ls, Rs는 각 위치의 채널,

G_{x_y}는, x 위치로부터 y 위치까지 이르는 음향 경로,

*는 컨볼루션.

그러나, 앞서 언급한 바와 같이 3개의 위치(L, C, R)에만 스피커가 존재하는 경우, 청자의 왼쪽 귀로 유입되는 신호(L_{0_real}) 및 청자의 오른쪽 귀로 유입되는 신호(R_{0_real})는 다음과 같다.

[수학식 32]

수학식 32에 표시된 신호는 서라운드 채널 신호(Ls, Rs)가 고려되지 않기 때문에, 가상 서라운드 효과를 낼 수가 없다. 가상 서라운드 효과를 내기 위해서는, 왼쪽 서라운드 채널 신호(Ls)가 원래 위치(Ls)로부터 출력되어 청자의 위치(l,r)에 도달할 때 신호와, 원래 위치(Ls, Rs)가 아닌 3개의 위치(L, C, R)의 스피커를 통해 출력하여 청자의 위치(l,r)에 도달하는 신호와 같도록 하면 된다. 오른쪽 서라운드 채널 신호(Rs)의 경우도 마찬가지이다.

우선, 왼쪽 서라운드 채널 신호(Ls)를 살펴보면, 왼쪽 서라운드 채널 신호 (Ls)가 원래의 위치인 왼쪽 서라운드 위치(Ls)의 스피커에서 출력되는 경우, 청자의 왼쪽 귀(l) 및 청자의 오른쪽 귀(r)에 도달되는 신호는 각각 다음과 같다.

[수학식 33]

그리고 오른쪽 서라운드 채널 신호(Rs)가 원래의 위치인 오른쪽 서라운드 위치(Rs)의 스피커에서 출력되는 경우, 청자의 왼쪽 귀(l) 및 청자의 오른쪽 귀(r)에 도달되는 신호는 각각 다음과 같다.

[수학식 34]

청자의 왼쪽 귀(l) 및 청자의 오른쪽 귀(r)에 도달되는 신호가 수학식 33 및 수학식 34의 성분들과 같다면, 어떤 위치의 스피커를 통해 출력된다고 하더라도(예를 들어, 왼쪽 앞 위치의 스피커(SPK1) 등을 통한다고 하더라도), 청자는 왼쪽 서라운드의 위치(Ls) 및 오른쪽 서라운드의 위치(Rs)에 스피커가 존재하는 것처럼 느낄 수 있다.

한편, 수학식 33에 표시된 성분들은 왼쪽 서라운드 위치(Ls)의 스피커에서 출력되는 경우, 각각 청자의 왼쪽 귀(l) 및 청자의 오른쪽 귀(r)에 도달되는 신호이기 때문에, 수학식 33에 표시된 성분들 그대로 왼쪽 앞 위치의 스피커(SPK1)에서 출력하게 되면, 각각 청자의 왼쪽 귀(l) 및 청자의 오른쪽 귀(r)에 도달되는 신호는 다음과 같다.

[수학식 35]

수학식 35를 살펴보면, 왼쪽 앞 위치(L)부터 청자의 왼쪽 귀(l)(또는 오른쪽 귀(r)까지의 음향경로에 해당하는 성분인 'G_{L_l}'(또는 'G_{L_r}')가 추가된다. 그러나 청자의 왼쪽 귀(l) 및 청자의 오른쪽 귀(r)에 도달되는 신호는 수학식 35에 표시된 성분들이 아니라 수학식 33에 표시된 성분들이어야 한다. 그렇기 때문에, 왼쪽 앞 위치(L)의 스피커에서 출력하여 청자에게 도달하는 경우, 'G_{L_l}'(또는 'G_{L_r}') 성분이 추가되기 때문에, 수학식 33에 나타난 성분들을 왼쪽 앞 위치(L)의 스피커(SPK1)에서 출력하는 경우에는, 음향경로에 'G_{L_l}'(또는 'G_{L_r}')의 역함수 'G_{L_l} ^-1' (또는 'G_{L_l} ^-1')를 고려해야 한다. 다시 말해서, 수학식 33에 해당하는 성분들을 왼쪽 앞 위치(L)의 스피커(SPK1)에서 출력하는 경우, 다음 수학식과 같이 변형되어야 한다.

[수학식 36]

그리고 수학식 34에 해당하는 성분들을 왼쪽 앞 위치(L)의 스피커(SPK1)에서 출력하는 경우, 다음 수학식과 같이 변형되어야 한다.

[수학식 37]

따라서, 왼쪽 앞 위치(L)의 스피커(SPK1)에서 출력되는 신호(L')를 정리하면 다음과 같다.

[수학식 38]

(Ls*G_{Ls_r}*G_{L_r} ^-1 및 Rs*G_{Rs_r}*G_{L_l} ^-1 성분은 생략됨)

수학식 38에 표시된 신호가 왼쪽 앞 위치의 스피커(SPK1)에서 출력하여 청자의 왼쪽 귀(l) 위치에 도달하면, 음향경로 'G_{L_l}' 팩터가 추가되기 때문에 수학식 38에서의 'G_{L_l} ^-1' 항들이 상쇄되어, 결과적으로 수학식 33 및 수학식 34에 표시된 팩터가 남게 되는 것이다.

도 8은 가상 서라운드 효과를 위해 각 위치에서 출력되는 신호를 나타낸 도면이다. 도 8을 참조하면, 서라운드의 위치(Ls, Rs)에서 출력되는 신호(Ls, Rs)에 음향경로를 고려하여 각 스피커 위치(SPK1)에서 출력되는 신호(L')에 포함시키게 되면, 수학식 38과 같음을 알 수 있다.

수학식 38에서, G_{Ls_l}*G_{L_l} ^-1를 H_{Ls_L}으로 간략하게 표시하면 다음과 같다.

[수학식 39]

한편, 센터 위치(C)의 스피커(SPK2)에서 출력되는 신호(C')를 정리하면 다음과 같다.

[수학식 40]

다른 한편, 오른쪽 앞 위치(R)의 스피커(SPK3)에서 출력되는 신호(R')를 정리하면 다음과 같다.

[수학식 41]

도 9는 수학식 38, 수학식 39, 및 수학식 40과 같이 5 채널 신호를 이용하여 3채널 신호를 생성하는 방법을 개념적으로 나타낸 도면이다. 5채널 신호를 이용하여 2 채널 신호(R', L')를 생성하거나 서라운드 채널 신호(Ls, Rs)를 센터 채널 신호(C')에 포함시키지 않을 경우, H_{Ls_C} 및 H_{Rs_C}는 0 이 된다.

구현상의 편의에 따라 H_{x_y} 대신에 G_{x_y}를 사용할 수도 있고 크로스 토크(cross-talk)를 고려하여 H_{x_y}를 이용할 수도 있는 등, H_{x_y}는 G_{x_y}를 다양한 변형한 형태가 될 수 있다.

상술한 설명은 서라운드 효과를 갖는 조합 공간정보의 일 예로서, 공간필터정보의 적용방법에 따라 다양한 형태로 달라질 수 있음은 자명하다. 위와 같은 과정을 통해 스피커로 출력되는 신호(위의 예에서는 왼쪽 앞 채널(L'), 오른쪽 앞 채널(R'), 센터 채널(C'))은 앞서 설명한 바와 같이 조합 공간정보 중 특히 조합 공간 파라미터를 이용하여 다운믹스 오디오 신호로부터 생성할 수 있다.

(3) 확대 공간정보

공간정보에 확장 공간정보를 추가하여 확대 공간정보를 생성할 수 있다. 그리고 이 확대 공간정보를 이용하여 오디오 신호를 업믹싱할 수 있는 데, 이때 업믹싱하는 단계는 공간정보에 근거하여 오디오 신호를 1차 업믹싱 오디오 신호로 변환하고, 확장 공간정보에 근거하여 1차 업믹싱 오디오 신호를 2차 업믹싱 오디오 신호로 변환된다.

여기서 확장 공간정보는 확장채널 구성정보, 확장채널 매핑정보 및 확장 공간 파라미터를 포함할 수 있다. 확장채널 구성정보란, 공간정보의 트리구조정보에 의해 구성될 수 있는 채널 이외에, 구성될 수 있는 채널에 관한 정보로서 분할 식별자 및 미분할 식별자 중 하나 이상을 포함할 수 있는데, 이에 대한 구체적인 설명은 후술하고자 한다. 확장채널 매핑정보는 확장채널을 구성하는 각 채널의 위치정보이다. 확장 공간 파라미터는 하나의 채널이 두 개 이상의 채널로 업믹스되기 위해 필요한 정보로서, 채널간 레벨차이를 포함할 수 있다.

이와 같은 확장 공간정보는 i) 인코딩 장치에 의해 생성된 후 공간정보에 포함된 것일 수도 있고, ii) 디코딩 장치에 의해 자체적으로 생성된 것일 수도 있다. 확장 공간정보가 인코딩 장치에 의해 생성된 것인 경우, 확장 공간정보의 존재여부는 공간정보의 지시자를 근거로 판단될 수 있다. 확장 공간정보가 디코딩 장치에 의해 자체적으로 생성된 것인 경우, 확장 공간정보의 확장 공간 파라미터는 공간정보의 공간 파라미터를 이용하여 계산한 것일 수도 있다.

한편, 공간정보 및 확장 공간정보를 근거로 생성된 확대 공간정보를 이용하여 오디오 신호를 업믹스하는 과정은, 순차적이고 계층적으로 수행될 수도 있지만, 일괄적이고 통합적으로도 처리될 수 있다. 만약, 확대 공간정보가 공간정보 및 확장 공간정보를 근거로 하나의 매트릭스로서 산출될 수 있으면, 상기 매트릭스를 이용함으로써, 일괄적이고 직접적으로 다운믹스 오디오 신호를 멀티채널 오디오 신호로 업믹스할 수 있는 것이다. 이때 매트릭스를 구성하는 인자는, 공간 파라미터, 및 확장 공간 파라미터에 의해 정의된 것일 수 있다.

우선, 인코딩 장치에 의해 생성된 확장 공간정보를 이용하는 경우에 대해서 설명한 후, 디코딩 장치에서 확장 공간정보를 자체적으로 생성하는 경우에 관해서 설명하고자 한다.

(3)-1 : 인코딩 장치에 의해 생성된 확장 공간정보를 이용하는 경우 : 임의 트리구조(arbitrary tree configuration)

확대 공간정보는 공간정보에 확장 공간정보를 추가하여 생성되는 데 있어서, 이 확장 공간정보가 인코딩 장치에 의해 생성된 것으로서, 디코딩 장치가 확장 공간정보를 수신한 경우에 관해서 설명하기로 한다. 한편, 여기서의 확장 공간정보는 인코딩 장치가 멀티채널 오디오 신호를 다운믹스하는 과정에서 추출한 것일 수 있다.

우선, 앞서 설명한 바와 같이 확장 공간정보는 확장채널 구성정보, 확장채널 매핑정보, 확장 공간 파라미터를 포함하는 데, 여기서 확장채널 구성정보는 분할 식별자 및 미분할 식별자를 하나 이상 포함한다. 이하, 분할 식별자 및 미분할 식별자의 배열을 근거로 확장채널을 구성하는 과정에 관해서 구체적으로 설명하고자 한다.

도 10은 확장채널 구성정보를 근거로 확장 채널이 구성되는 일 예를 나타낸 도면이다. 도 10의 하단을 참조하면, 0과 1이 순서대로 반복되어 배열되어 있는데, 여기서 0은 미분할 식별자이고, 1은 분할 식별자를 의미한다. 우선 첫번째 순서((1))에 미분할 식별자(0)가 존재하는 데, 이 첫번째 순서의 미분할 식별자(0)와 매칭되는 채널은 최상단에 존재하는 왼쪽 채널(L)이다. 따라서, 미분할 식별자(0)와 매칭되는 왼쪽 채널(L)을 분할하지 않고 출력채널로서 선택한다. 그리고 두번째 순서((2))는 분할 식별자(1)가 존재하는 데, 이 두번째 순서의 분할 식별자(0)와 매칭되는 채널은 왼쪽 채널(L) 다음의 왼쪽 서라운드 채널(Ls)이다. 따라서, 분할 식별자(1)와 매칭되는 왼쪽 서라운드 채널(Ls)을 2개의 채널로 분할한다. 세번째 순서((3)) 및 네번째 순서((4))에 미분할 식별자(0)들이 존재하므로, 왼쪽 서라운드 채널(Ls)에서 분할된 2개의 채널은 각각 분할하지 않고, 그대로 출력채널로서 선택한다. 이와 같은 과정을 마지막 순서((10))까지 반복하면, 전체 확장채널을 구성할 수 있다.

채널 분할 과정은 분할 식별자(1)의 개수만큼 반복되고, 채널을 출력채널로서 선택하는 과정은 미분할 식별자(0)의 개수만큼 반복된다. 따라서, 채널 분할부(AT₀, AT₁)의 개수는 분할 식별자(1)의 개수(2개)와 동일하고, 확장채널의 개수(L, Lfs, Ls, R, Rfs, Rs, C, LFE)는 미분할 식별자(0)의 개수(8개) 동일하게 된다.

한편, 확장채널을 구성한 이후, 확장채널 매핑정보를 이용하여 각 출력채널별로 그 위치를 다시 매핑시킬 수 있다. 도 10의 경우, 왼쪽 프론트 채널(L), 왼쪽 프론트 사이드 채널(Lfs), 왼쪽 서라운드 채널(Ls), 오른쪽 프론트 채널(R), 오른쪽 프론트 사이트 채널(Rfs), 오른쪽 서라운드 채널(Rs), 센터 채널(C), 저주파 채널(LFE) 순서대로 매핑되었다.

이상 살펴본 바와 같이, 확장채널 구성정보를 근거로 확장 채널이 구성될 수 있는 데, 하나의 채널을 두 개 이상의 채널로 분할하는 채널 분할부가 필요하다. 이 채널 분할부가 하나의 채널을 두 개 이상의 채널로 분할하는 데 있어서, 확장공간 파라미터가 사용될 수 있다. 이 확장 공간 파라미터는 채널 분할부의 개수와 동일하기 때문에, 분할 식별자의 개수와도 동일하다. 따라서, 확장 공간 파라미터는 분할 식별자의 개수만큼 추출된 것일 수 있다. 도 11은 도 10에 도시된 확장 채널의 구성, 및 확장 공간 파라미터와의 관계를 나타낸 도면이다. 도 11을 참조하면, 채널 분할부(AT₀, AT₁)가 2개 존재하고, 여기에 각각 적용되는 확장 공간 파라미터(ATD₀, ATD₁)가 표시되어 있다. 확장 공간 파라미터가 채널간 레벨 차이일 경우, 채널 분할부는 이러한 확장 공간 파라미터를 이용하여 2개로 분할되는 채널들 각각의 레벨을 결정할 수 있다. 위와 같이 확장 공간정보를 추가하여 업믹싱하는 과정에 있어서, 확장 공간 파라미터의 전부가 아니라 일부만을 적용할 수도 있다.

(3)-2 확장 공간정보를 생성하는 경우 : 내삽/외삽 (interpolation/extrapolation)

확대 공간정보는 공간정보에 확장 공간정보를 추가하여 생성될 수 있는 데, 확장 공간정보가 공간정보를 이용하여 생성된 경우에 관해 설명하기로 한다. 공간 정보 중 공간 파라미터를 이용하여 확장 공간정보를 생성할 수 있는데, 여기서 내삽 또는 외삽 등의 방법이 이용될 수 있다.

(3)-2-1. 6.1 채널로 확장

멀티채널 오디오 신호가 5.1 채널일 때, 6.1 채널의 출력채널 오디오 신호를 생성하고자 할 경우를 예를 들어 설명하기로 한다.

도 12는 5.1 채널의 멀티채널 오디오 신호의 위치와 6.1 채널의 출력채널 오디오 신호의 위치를 나타낸 도면이다. 도 12의 (a)를 참조하면, 5.1 채널의 멀티채널 오디오 신호의 채널 위치가 각각 왼쪽 앞 채널(L), 오른쪽 앞 채널(R), 센터 채널(C), 저주파채널(LFE)(미도시), 왼쪽 서라운드 채널(Ls), 오른쪽 서라운드 채널(Rs)임을 알 수 있다. 만약, 이러한 5.1 채널의 멀티채널 오디오 신호가 다운믹스된 오디오 신호의 경우, 이 다운믹스 오디오 신호에 공간 파라미터만을 적용하면 다시 5.1 채널의 멀티채널 오디오 신호로 업믹스된다, 그러나, 도 12의 (b)와 같이 6.1 채널의 멀티채널 오디오 신호로 업믹스하기 위해서는, 후방 센터(rear center)(RC)의 채널 신호를 더 생성하여야 한다.

이 후방 센터(rear center)(RC)의 채널 신호는 후방의 두 개의 채널(좌측 서라운드 채널(Ls) 및 우측 서라운드 채널(Rs))과 관련된 공간 파라미터를 이용하여 생성할 수 있다. 구체적으로, 공간 파라미터 중 채널간 레벨 차이(CLD)는 두 채널 간의 레벨 차이를 나타내는데, 두 채널 간의 레벨 차이를 조정함으로써, 두 채널 사이에 존재하는 가상 음원의 위치를 변화시킬 수 있다.

이하에서는, 두 채널 사이의 레벨 차이에 따라 가상 음원의 위치가 변화하는 원리에 관해서 살펴보고자 한다.

도 13는 두 채널간의 레벨 차이 및 가상 음원의 위치와의 관계를 나타내는 도면이다. 도 13에서, 왼쪽 서라운드 채널(Ls)의 레벨이 a이고, 오른쪽 서라운드 채널(Rs)의 레벨이 b이다. 도 13의 (a)를 참조하면, 왼쪽서라운드 채널(Ls)의 레벨(a)이 오른쪽 서라운드 채널(Rs)의 레벨(b)보다 큰 경우, 가상 음원의 위치(VS)는 오른쪽 서라운드 채널(Rs)의 위치보다 왼쪽 서라운드 채널(Ls)의 위치에 가까운 것을 알 수 있다. 두 채널에서 오디오 신호가 출력되는 경우, 청자는 두 채널 사이에 가상 음원이 존재하는 것처럼 느끼게 되는 데, 이 때 가상 음원의 위치는 두 채널의 중에서 레벨이 상대적으로 높은 채널의 위치에 가깝다, 도 13의 (b)의 경우는, 왼쪽 서라운드 채널(Ls)의 레벨(a)이 오른쪽 서라운드 채널(Rs)의 레벨(b)과 거의 동일하기 때문에, 가상 음원의 위치가 왼쪽 서라운드 채널(Ls) 및 오른쪽 서라운드 채널(Rs)의 가운데에 존재하는 것으로, 청자는 느끼게 된다.

위와 같은 원리를 이용하여 후방 센터(RC)의 레벨의 결정할 수 있다. 도 14은 두 후방 채널들의 레벨, 및 후방 센터 채널의 레벨을 나타내는 도면이다. 도 14에 도시된 바와 같이, 후방 센터 채널(RC)의 레벨(c)는 왼쪽 서라운드 채널(Ls)의 레벨(a) 및 오른쪽 서라운드 채널(Rs)의 레벨(b) 차이를 내삽하는 방식으로 산출할 수 있다. 내삽 방식으로서는 선형 내삽(linear) 뿐만 아니라 비선형 내삽(non-linear interpolation) 방식도 적용될 수 있다. 선형 내삽 방식에 따라, 두 채널들(예: Ls, Rs) 사이에 존재하는 새로운 채널(예: 후방 센터 채널(RC))의 레벨(c)을 산출하는 수학식은 다음과 같다.

[수학식 40]

여기서, a, b는 두 채널 각각의 레벨,

k는 a 레벨의 채널 및 b 레벨의 채널와 c 레벨의 채널간의 상대적 위치.

만약, c 레벨의 채널(예: 후방 센터 채널(RC))이 a 레벨의 채널(예: Ls) 및 b 레벨의 채널(Rs)의 정 중앙에 위치할 경우, k는 0.5이다. k가 0.5일 경우, 수학식 40은 다음 식과 같다.

[수학식 41]

수학식 41에 따르면, c 레벨의 채널(예: 후방 센터 채널(RC))이 a 레벨의 채널(예: Ls) 및 b 레벨의 채널(Rs)의 정 중앙에 위치할 경우, 새로운 채널의 레벨(c)은 기존의 채널의 레벨(a,b)의 평균간이 된다. 위 수학식 40 및 수학식 41은 하나의 예일 뿐이며, c 레벨의 결정 뿐만 아니라 a 레벨과 b 레벨의 값도 재조정하는 것이 가능하다.

(3)-2-2. 7.1 채널로 확장

멀티채널 오디오 신호가 5.1 채널일 때, 7.1 채널의 출력채널 오디오 신호를 생성하고자 할 경우를 예를 들어 설명하기로 한다.

도 15는 5.1 채널의 멀티채널 오디오 신호의 위치와 7.1 채널의 출력채널 오디오 신호의 위치를 나타낸 도면이다. 도 15의 (a)를 참조하면, 도 12의 (a)와 마찬가지로, 5.1 채널의 멀티채널 오디오 신호의 채널 위치가 각각 왼쪽 앞 채널(L), 오른쪽 앞 채널(R), 센터 채널(C), 저주파채널(LFE)(미도시), 왼쪽 서라운드 채널(Ls), 오른쪽 서라운드 채널(Rs)임을 알 수 있다. 만약, 이러한 5.1 채널의 멀티채널 오디오 신호가 다운믹스된 오디오 신호의 경우, 이 다운믹스 오디오 신호에 공간 파라미터만을 적용하면 역시 5.1 채널의 멀티채널 오디오 신호로 업믹스된다. 그러나, 도 15의 (b)와 같이 7.1 채널의 멀티채널 오디오 신호로 업믹스하기 위해서는, 왼쪽 프론트 사이드 채널(Lfs) 및 오른쪽 프론트 사이드 채널(Rfs)을 더 생성하여야 한다.

왼쪽 프론트 사이드 채널(Lfs)은 왼쪽 전방 채널(L) 및 왼쪽 서라운드 채널(Ls) 사이에 위치하기 때문에, 왼쪽 전방 채널(L)의 레벨 및 왼쪽 서라운드 채널(Ls)의 레벨을 이용하여, 내삽 방식으로 왼쪽 프론트 사이드 채널(Lfs)의 레벨을 결정할 수 있다. 도 16은 두 왼쪽 채널들의 레벨, 및 왼쪽 프론트 사이드 채널(Lfs)의 레벨을 나타내는 도면이다. 도 16을 참조하면, 왼쪽 프론트 사이드 채널(Lfs)의 레벨(c)은 왼쪽 전방 채널(L)의 레벨(a) 및 왼쪽 서라운드 채널(Ls)의 레벨(b)를 근거로 선형적으로 내삽 값임을 알 수 있다.

한편, 왼쪽 프론트 사이드 채널(Lfs)은 왼쪽 전방 채널(L) 및 왼쪽 서라운드 채널(Ls) 사이에 위치하기도 하지만, 왼쪽 전방 채널(L), 센터 채널(C), 및 우측 전방 채널(R)의 바깥에 위치하기도 한다. 그렇기 때문에, 왼쪽 전방 채널(L)의 레벨, 센터 채널(C)의 레벨, 및 우측 전방 채널(R)의 레벨을 이용하여, 외삽 방식으로 왼쪽 프론트 사이드 채널(Lfs)의 레벨을 결정할 수도 있다. 도 17은 세 전방(font) 채널들의 레벨, 및 왼쪽 프론트 사이드 채널의 레벨을 나타내는 도면이다. 도 17를 참조하면, 왼쪽 프론트 사이드 채널(Lfs)의 레벨(d)은 왼쪽 전방 채널(L)의 레벨(a), 센터 채널(C)의 레벨(c), 및 오른쪽 전방 채널(R)의 레벨(b)를 근거로 선형적으로 외삽된 값임을 알 수 있다.

이상 2가지 경우를 예를 들어서, 공간정보에 확장 공간정보를 추가하여 출력채널 오디오 신호를 생성하는 과정을 설명하였는 바, 앞서 언급한 바와 같이, 확장 공간정보를 추가하여 업믹싱하는 과정에 있어서, 확장 공간 파라미터의 전부가 아니라 일부만을 적용할 수도 있다. 이와 같이 오디오 신호에 공간 파라미터를 적용하는 과정은 순차적, 계층적으로 수행될 수도 있지만, 일괄적이고 통합적으로도 처리될 수 있다.

본 발명의 일 측면에 따르면, 정해진 트리구조와 다른 구조의 오디오 신호를 생성할 수 있기 때문에, 다양한 구조의 오디오 신호를 생성할 수 있다.

본 발명의 다른 측면에 따르면, 정해진 트리구조와 다른 구조의 오디오 신호를 생성할 수 있기 때문에, 다운믹스되기 전의 멀티채널의 개수가 스피커의 개수보다 많거나 적다고 하더라도, 다운믹스 오디오 신호로부터 스피커의 개수와 동일한 개수의 출력채널을 생성할 수 있다.

본 발명의 또 다른 측면에 따르면, 멀티채널의 개수보다 적은 수의 출력채널을 생성할 경우, 다운믹스 오디오 신호로부터 멀티채널 오디오 신호로 업믹스한 다음 이 멀티채널 오디오 신호로부터 출력채널 오디오 신호를 다운믹스하는 것이 아니라, 다운믹스 오디오 신호로부터 직접 멀티채널 오디오 신호를 생성하는 것이기 때문에, 오디오 신호를 디코딩하는 데 소요되는 연산량이 현저히 감소되는 효과가 있다.

본 발명의 또 다른 측면에 따르면, 조합 공간정보를 생성하는 데 있어서 음향경로를 고려할 수 있기 때문에, 서라운드 채널을 출력하지 못하는 상황인 경우에도 가상(pseudo)으로 서라운드 효과를 낼 수가 있다.

Claims

오디오 신호를 수신하는 단계;

트리구조정보 및 공간 파라미터를 포함하는 공간정보를 수신하는 단계;

상기 공간정보에 확장 공간정보를 추가하여 변형 공간정보를 생성하는 단계; 및,

상기 트리구조정보 및 상기 변형 공간정보를 이용하여 오디오 신호를 업믹싱하는 단계를 포함하되,

상기 업믹싱하는 단계는,

상기 트리구조정보에 근거하여 상기 오디오 신호를 1차 업믹싱 신호로 변환하는 단계; 및,

상기 1차 업믹싱 오디오 신호를 2차 업믹싱 오디오 신호로 변환하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
제 1 항에 있어서,

상기 오디오 신호는 멀티채널 오디오 신호가 다운믹스된 다운믹스 오디오 신호이고, 상기 공간정보는, 상기 멀티채널 오디오 신호가 정해진 트리구조에 따라 다운믹스됨에 따라 결정된 것을 특징으로 하는 오디오 신호의 디코딩 방법.
제 1 항에 있어서,

상기 변형 공간정보는, 상기 공간정보 및 상기 확장 공간정보를 근거로 산출된 매트릭스이며, 상기 매트릭스를 구성하는 인자는, 상기 공간 파라미터, 및 상기 확장 공간정보의 확장 공간 파라미터에 의해 정의되는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
제 1 항에 있어서,

상기 확장 공간정보는, 확장채널 구성정보 및 확장 공간 파라미터를 포함하고, 상기 확장채널 구성정보는 분할 식별자 및 미분할 식별자 중 하나 이상을 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
제 4 항에 있어서,

상기 확장 공간 파라미터는, 채널간 레벨 차이를 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
제 4 항에 있어서,

상기 확장 공간정보는 수신된 것이며,

상기 확장 공간 파라미터는, 상기 분할 식별자의 총 개수만큼 추출된 것을 특징으로 하는 오디오 신호의 디코딩 방법.
제 4 항에 있어서,

상기 업믹싱하는 단계는,

상기 분할 식별자와 매칭되는 확장 공간 파라미터를 이용하여, 상기 분할 식별자와 매칭되는 채널을 두 개 이상의 채널로 분할하는 단계를 더 포함하고,

상기 분할하는 단계는, 상기 분할 식별자의 총 개수만큼 반복되는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
제 4 항에 있어서,

상기 업믹싱하는 단계는,

상기 미분할 식별자와 매칭되는 채널을 출력채널로서 선택하는 단계를 더 포함하고,

상기 선택하는 단계는, 상기 미분할 식별자의 총 개수만큼 반복되는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
삭제
제 1 항에 있어서,

상기 확장 공간정보는, 확장채널 매핑정보를 포함하고,

상기 업믹싱 단계 이후, 상기 확장채널 매핑정보를 이용하여 출력채널 오디 오 신호를 리매핑하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
공간정보에 확장 공간정보를 추가하여 변형 공간정보를 생성하는 변형 공간정보 생성부; 및,

트리구조정보 및 상기 변형 공간정보를 이용하여 오디오 신호를 업믹싱하는 출력채널 생성부를 포함하고,

상기 공간정보는 상기 트리구조정보 및 공간 파라미터를 포함하며, 상기 공간정보 및 상기 오디오 신호는 수신된 것이고,

상기 출력채널 생성부는, 상기 트리구조정보를 근거로 하여 상기 오디오 신호를 1차 업믹싱 신호로 변환한 후, 상기 1차 업믹싱 오디오 신호를 2차 업믹싱 오디오 신호로 변환하는 것임을 특징으로 하는 오디오 신호의 디코딩 장치.
제 11 항에 있어서,

상기 오디오 신호는 멀티채널 오디오 신호가 다운믹스된 다운믹스 오디오 신호이고, 상기 공간정보는, 상기 멀티채널 오디오 신호가 정해진 트리구조에 따라 다운믹스됨에 따라 결정된 것을 특징으로 하는 오디오 신호의 디코딩 장치.
제 11 항에 있어서,

상기 변형 공간정보는, 상기 공간정보 및 상기 확장 공간정보를 근거로 산출된 매트릭스이며, 상기 매트릭스를 구성하는 인자는, 상기 공간 파라미터, 및 상기 확장 공간정보의 확장 공간 파라미터에 의해 정의되는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
제 11 항에 있어서,

상기 확장 공간정보는, 확장채널 구성정보 및 확장 공간 파라미터를 포함하고, 상기 확장채널 구성정보는 분할 식별자 및 미분할 식별자 중 하나 이상을 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
제 14 항에 있어서,

상기 확장 공간 파라미터는, 채널간 레벨 차이를 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
제 14 항에 있어서,

상기 확장 공간정보는 수신된 것이며,

상기 확장 공간 파라미터는, 상기 분할 식별자의 총 개수만큼 추출된 것을 특징으로 하는 오디오 신호의 디코딩 장치.
제 14 항에 있어서,

상기 출력채널 생성부는, 상기 분할 식별자와 매칭되는 확장 공간 파라미터를 이용하여, 상기 분할 식별자와 매칭되는 채널을 두 개 이상의 채널로 분할하고,

상기 분할은, 상기 분할 식별자의 총 개수만큼 반복되는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
제 14 항에 있어서,

상기 출력채널 생성부는, 상기 미분할 식별자와 매칭되는 채널을 출력채널로서 선택하고,

상기 선택은 상기 미분할 식별자의 총 개수만큼 반복되는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
제 11 항에 있어서,

상기 확장 공간정보는, 확장채널 매핑정보를 포함하고,

상기 출력채널 생성부는, 상기 업믹싱 이후, 상기 확장채널 매핑정보를 이용하여 출력채널 오디오 신호를 리매핑하는 것을 특징으로 하는 오디오 신호의 디코딩 장치.