KR101120909B1 - 멀티 채널 파라미터 변환 장치, 방법 및 컴퓨터로 판독가능한 매체 - Google Patents

Abstract

파라미터 변환 장치가 멀티 채널 스피커 구성에 대한 멀티 채널 오디오 신호의 제1 및 제2 오디오 채널 사이의 에너지 관계를 나타내는 레벨 파라미터를 생성한다. 상기 레벨 파라미터는 상기 오디오 오브젝트들에 대한 오브젝트 오디오 신호를 사용하여 생성되는 다운 믹스 채널과 관련된 복수의 오디오 오브젝트들을 위한 오브젝트 파라미터들에 기초하여 생성된다. 상기 오브젝트 파라미터들은 오브젝트 오디오 신호의 에너지를 나타내는 에너지 파라미터를 포함한다. 간섭 및 레벨 파라미터의 산출을 위하여 상기 에너지 파라미터와 요구되는 렌더링 구성에 의존하는 오브젝트 렌더링 파라미터들을 조합하는 파라미터 생성자가 사용된다.

파라미터, 멀티 채널, 입체 음향, MPEG

Description

멀티 채널 파라미터 변환 장치, 방법 및 컴퓨터로 판독가능한 매체{APPARATUS AND METHOD FOR MULTI-CHANNEL PARAMETER TRANSFORMATION AND COMPUTER READABLE RECORDING MEDIUM THEREFOR}

본 발명은 멀티 채널 파라미터의 변환에 관한 것으로서, 보다 상세하게는 입체 음향 장면(spatial audio scene)의 표현에 근거한 오브젝트 파라미터(object parameter)에 기초하여 오디오 신호들 사이의 공간적 성질을 나타내는 레벨 파라미터(level parameters)와 간섭 파라미터(coherence parameters)의 생성에 관한 것이다.

다운-믹스(downmix) 신호(단선율(monophonic) 신호가 될 수도 있고, 또는 다채널을 포함할 수도 있는)와 감지된 입체적 음향 공간의 특성을 나타내는 파라미터 부가 정보('공간큐(spatial cue)')를 이용한 멀티 채널 오디오 신호의 연출을 목적으로 하는 'Parametric Stereo(PS)', 'Binaural Cue Coding(BCC) for Natural Rendering', 'MPEG Surround' 등과 같은 멀티 채널 오디오 신호의 파라메트릭 코딩(parametric coding)을 위한 몇 가지 접근 방식이 있다.

이와 같은 기술들은 채널-기반으로 불릴 수 있는데, 즉 이 기술들은 이미 존재하거나 생성된 멀티 채널 신호를 효율적인 비트전송율(bitrate)로 전송하고자 한다. 다시 말하면, 미리 정해진 스피커의 설정에 맞도록 하기 위해 신호가 전송되기 전에 입체 음향 장면을 설정된 채널 수에 따라 믹싱한다. 그리고 이 기술들은 각각의 스피커에 할당된 오디오 채널들을 압축하고자 한다.

파라메트릭 코딩 기술들은 오리지널 입체 음향 장면의 공간적 성질을 묘사하고, 멀티 채널 신호나 입체 음향 장면을 재구성하기 위하여 수신측에 사용되는 파라미터들과 함께 오디오 컨텐츠를 이송하는 다운 믹스 채널에 의존한다.

예를 들어 'BCC for Flexible Rendering'과 같은 밀접한 관련이 있는 기술 그룹은, 임의의 공간적 위치로 각 오브젝트들을 양방향 렌더링하고, 각 오브젝트들에 대한 연역적인 인코더 정보 없이도 각 오브젝트들을 독립적으로 증폭하거나 억제하기 위하여, 동일한 멀티 채널 신호의 채널들 보다는 개별적인 오디오 오브젝트의 효율적인 코딩을 위하여 고안된 것이다. 일반적인 파라메트릭 멀티 채널 오디오 코딩 기술(오디오 채널 신호의 주어진 세트(set)를 인코더로부터 디코더로 전달하는)과는 대조적으로, 오브젝트 코딩 기술은 재생 설정에 따라 디코딩된 오브젝트의 렌더링을 가능하게 한다. 즉, 디코딩 측의 사용자가 그의 기호에 따라 재생 설정(예를 들어, 스테레오, 5.1 서라운드)을 선택할 수 있도록 한다.

이와 같은 오브젝트 코딩 개념에 따르면, 수신측에서의 유연한 렌더링이 가능하도록 하기 위하여, 공간 내에서 오디오 오브젝트의 위치를 식별하는 파라미터들이 정의될 수 있다. 수신측에서의 렌더링은 비이상적인 스피커 설정 또는 임의의 스피커 설정도 높은 음질의 입체 음향 장면 연출에 사용될 수 있도록 하는 이점이 있다. 더불어 오디오 신호, 예를 들어 각각의 오브젝트에 할당된 오디오 채널들의 다운 믹스와 같이 수신측에서의 재생을 위한 기초가 되는 신호가 전송되어야 한다.

위에서 논의된 두 접근 방식 모두 오리지널 입체 음향 장면의 공간적 인상을 고음질로 재생하기 위하여 수신측에서의 멀티 채널 스피커 설정에 의존하고 있다.

위에서 약술한 바와 같이, 오리지널 멀티 채널 오디오 컨텐츠의 음향 이미지와 대략 비슷한 - 가능한 데이터 전송율에 따라 달라지는 - 입체 음향 이미지의 재생을 가능하게 하는 멀티 채널 오디오 신호의 파라메트릭 코딩에 대한 몇가지 최근의 기술들이 있다.

그러나 주어진 일부의 미리 부호화된 오디오 자료(즉, 재생 채널 신호의 설정된 수에 의해 표현되는 입체 음향)에 대하여, 그러한 코덱(Codec)은 청취자의 기호에 따른 단일 오디오 오브젝트의 귀납적인 양방향 렌더링을 위한 어떤 수단도 제공하지 못한다. 반면에 그와 같은 후자의 목적을 위해 특별히 고안된 입체 오디오 오브젝트 코딩 기술이 있다. 그러나 그와 같은 시스템 내에서 사용되는 파라메트릭 표현들은 멀티 채널 오디오 신호를 위한 것들과 다르므로, 두 개의 기술들로부터 병렬적으로 각각의 이점을 원하는 경우 별도의 디코더들이 필요하다. 이와 같은 경우에 발생할 수 있는 단점은, 비록 두 시스템의 후처리단(back-ends)이 모두 일정한 스피커 설정에 따라 입체 음향 장면을 렌더링하는 동일한 작업을 수행함에도 불구하고, 중복적인 구성이 요구된다는 것이다. 즉, 두 개의 개별적인 디코더가 두 가지 기능을 제공하기 위하여 필요하다는 것이다.

종래 기술에 의한 오브젝트 코딩 기술의 또 다른 한계는 미리 렌더링된 입체 오디오 오브젝트를 역호환 가능하게(backwards-compatible) 저장 및/또는 전송하는 수단의 부재이다. 입체 오디오 오브젝트 코딩 패러다임(paradigm)에 의해 제공되는 단일 오디오 오브젝트의 양방향 포지셔닝(positing)을 가능하게 하는 특징은 오히려 쉽게 렌더링된 음향 장면을 동일하게 연출한다는 단점이 될 수 있다.

요컨데, 비록 앞서 언급한 접근 방법들 중 어느 하나를 가능하게 하는 멀티 채널 재생 환경이 존재한다고 하더라도, 다른 하나의 접근 방법도 가능하게 하기 위해서는 그 이상의 재생 환경이 요구된다는 불운한 상황에 직면하게 된다. 긴 역사를 통해 알 수 있는 것처럼, 예를 들어 DVD에 저장되는 유명한 5.1 또는 7.1/7.2 멀티 채널 신호들과 같은 채널 기반의 코딩 방법이 보다 일반적이다.

즉, 멀티 채널 오디오 디코더 그리고 연결된 재생 장비(증폭기 스테이지(amplifier stages) 및 스피커)가 갖춰져 있더라도, 사용자는 부가적인 완비된 구성을 필요로 한다. 다시 말해, 그가 오브젝트 기반으로 부호화된 오디오 데이터를 재생하고자 하는 경우 적어도 오디오 디코더가 더 필요하다. 일반적으로, 멀티 채널 오디오 디코더들은 직접적으로 증폭기 스테이지에 결합된다. 그리고 사용자는 스피커들을 구동하기 위해 사용되는 증폭기 스테이지로 직접 접근하지 못한다. 이는 예를 들어, 공통적으로 이용 가능한 멀티 채널 오디오 또는 멀티미디어 수신기의 대부분에서 그러하다. 현존하는 가전제품들에 기초하여, 두 가지 방식에 의해 부호화된 오디오 컨텐츠 모두를 듣기를 희망하는 사용자들은 증폭기의 완비된 두 번째 세트도 필요하다. 이는 물론 만족할 수 없는 상황이다.

따라서 본 발명은 파라메트릭 멀티 채널 오디오 스트림(stream) 뿐 아니라 파라메트릭 방식으로 부호화된 입체 오디오 오브적트 스트림의 복호화도 가능한 시스템의 복잡성을 감소시킬 수 있는 방법을 제공하고자 한다.

본 발명의 일실시예는 멀티 채널 입체 오디오 신호 표현의 제1오디오 신호와 제2오디오 신호 사이의 에너지의 관계를 나타내는 레벨 파라미터를 생성하는 멀티 채널 파라미터 변환 장치로서, 상기 장치는 오디오 오브젝트들과 관련된 오브젝트 오디오 신호에 의존하는 다운믹스(down-mix) 채널과 관련된 복수의 오디오 오브젝트들로 오브젝트 파라미터를 공급하기 위한 오브젝트 파라미터 공급자, 이때 상기 오브젝트 파라미터는 상기 오디오 오브젝트들 각각에 대하여 상기 오브젝트 오디오 신호의 에너지 정보를 나타내는 에너지 파라미터를 포함한다; 그리고 상기 에너지 파라미터들과, 렌더링 구성과 관련된 오브젝트 렌더링 파라미터들을 결합하여 상기 레벨 파라미터를 유도하는 파라미터 생성자를 포함하여 구성된다.

본 발명의 다른 실시예에 의하면, 상기 파라미터 변환 장치는 멀티 채널 스피커 구성과 관련된 멀티 채널 오디오 신호의 제1 및 제2 오디오 신호 사이의 상관 또는 간섭과 에너지 관계를 나타내는 간섭 파라미터와 레벨 파라미터를 발생시킨다. 상기 상관 파라미터와 레벨 파라미터는 다운 믹스 채널과 관련된 적어도 하나의 오디오 오브젝트를 위하여 제공되는 오브젝트 파라미터들에 기초하여 생성된다. 여기서 상기 오브젝트 파라미터들은 오브젝트 오디오 신호의 에너지를 나타내는 에너지 파라미터를 포함한다. 상기 간섭 파라미터와 레벨 파라미터를 도출하기 위하여, 상기 에너지 파라미터와 재생 환경 설정에 의해 영향받는 부가 오브젝트 렌더링 파라미터들을 조합하는 파라미터 생성자가 사용된다. 일부 실시예들에 따르면, 상기 오브젝트 렌더링 파라미터들은 청취 위치에 대한 재생 스피커들의 위치를 나타내는 스피커 파라미터들을 포함한다. 또한 일부 실시예들에 따르면, 상기 오브젝트 렌더링 파라미터들은 청취 위치에 대한 오브젝트들의 위치를 나타내는 오브젝트 위치 파라미터들을 포함한다. 이 때문에 상기 파라미터 생성자는 두 입체 오디오 코딩 패러다임들의 결과로서의 시너지 효과를 얻는 이점을 갖는다.

본 발명의 또 다른 실시예에 의하면 상기 멀티 채널 파라미터 변환 장치는 MPEG 서라운드 인증되고, 나아가 MPEG 서라운드 디코더를 제어하는데 사용될 수 있는 간섭 및 레벨 파라미터들(ICC 및 CLD)을 유도하도록 동작한다. 채널간 간섭/상호 상관(cross-correlation)(ICC)은 두 입력 채널 사이의 간섭이나 상호 상관관계를 나타내는 것으로 알려져 있다. 시차가 고려되지 않을 때 간섭과 상관은 서로 같다. 달리 말하면, 두 단어는 채널간 시차 또는 채널간 위상 차이를 사용하지 않는 경우, 동일한 특성을 가리킨다.

이와 같이, 멀티 채널 파라미터 변환 장치는 표준 MPEG 서라운드 변환 장치와 함께 오브젝트 기반으로 부호화된 오디오 신호의 재생에 사용될 수 있다. 이는 입체 오디오 오브젝트 부호화(Spatial Audio Object Coded, SAOC)된 오디오 신호를 수신하여 오디오 파라미터들을 변환하는 단지 하나의 부가 파라미터 변환장치만이 요구된다는 이점을 갖는다. 이에 따라 그것들은 현존하는 재생 장비를 통해 멀티 채널 오디오 신호를 재생하기 위하여 표준 MPEG 서라운드 디코더에 의해 사용될 수 있다. 따라서 입체 오디오 오브젝트 부호화된 컨텐츠를 재생하기 위하여 큰 변경 없이 일반적인 재생 장비들이 사용될 수 있다.

본 발명의 또 다른 실시예에 의하면, 생성된 간섭 및 레벨 파라미터들은 다운 믹스 채널과 조합하여 MPEG 서라운드 인증 비트스트림으로 다중 송신된다. 그리고 이와 같은 비트스트림은 현존하는 재생 환경에 대한 다른 변경 없이 표준 MPEG 서라운드 디코더로 전송된다.

본 발명의 다른 실시예에 의하면 생성된 간섭 및 레벨 파라미터들은 조금 변경된 MPEG 서라운드 디코더로 직접 송신된다. 이는 멀티 채널 파라미터 변환 장치의 계산복잡도(Computational Complexity)를 낮게 유지할 수 있다는 장점이 있다.

본 발명의 또 다른 실시예에 의하면, 생성된 멀티 채널 파라미터들(간섭 파라미터와 레벨 파라미터)은 생성 후 저장된다. 이에 따라 멀티 채널 파라미터 변환 장치는 또한 장면 렌더링 동안에 수집된 공간 정보를 보존하는 수단으로 사용될 수도 있다. 이와 같은 장면 렌더링은 예를 들어 음악 스튜디오에서 신호를 발생하는 동안에 수행될 수도 있다. 따라서 다른 부가적인 노력 없이도, 이하에서 더 상세하게 설명되는 바와 같은 멀티 채널 파라미터 변환 장치를 사용하여 멀티 채널 호환가능 신호가 생성될 수 있다. 그러므로 미리 렌더링된(pre-rendered) 장면이 레거시(legacy) 장비를 사용하여 재생될 수 있다.

본 발명의 실시예에 대하 보다 상세한 설명에 앞서, 상기 멀티 채널 오디오 코딩과 오브젝트 오디오 코딩 기술들, 그리고 입체 오디오 오브젝트 코딩 기술들에 대한 간략한 재검토가 있을 것이다. 이 때문에, 첨부된 도면들이 또한 참조될 것이다.

도 1a는 종래기술에 의한 멀티 채널 오디오 코딩의 개요도;

도 1b는 종래기술에 의한 오브젝트 코딩의 개요도;

도 2는 입체 오디오 오브젝트 코딩의 개요도;

도 3은 멀티 채널 파라미터 변환 장치의 실시예를 도시한 도면;

도 4는 입체 오디오 컨텐츠의 재생을 위한 멀티 채널 스피커 구성의 일례를 도시한 도면; 그리고

도 5는 입체 오디오 컨텐츠의 가능한 멀티 채널 파라미터 표현의 일례를 도시한 도면;

도 6a 및 6b는 입체 오디오 오브젝트 부호화된 컨텐츠의 응용 시나리오를 도시한 도면;

도 7은 멀티 채널 파라미터 변환 장치의 일 실시예를 도시한 도면; 그리고

도 8은 간섭 파라미터와 상관 파라미터를 생성하는 방법의 일례를 도시한 도면.

도 1a는 멀티 채널 오디오 인코딩과 디코딩 도식의 개요도이고, 도 1b는 종래의 오디오 오브젝트 코딩 도식에 대한 개요도이다. 멀티 채널 코딩 방법은 다수의 제공되는 오디오 채널들, 즉 설정된 수의 스피커들에 맞게 미리 믹스(mix)된 오디오 채널들을 사용한다. 멀티 채널 인코더(4)(SAC)는 오디오 채널들(2a 내지 2d)를 사용하여 생성된 오디오 신호인 다운 믹스 신호(6)를 생성한다. 이와 같은 다운 믹스 신호(6)는 예를 들어 단선율 오디오 채널 또는 두 개의 오디오 채널들, 즉 스테레오 신호가 될 수 있다. 다운 믹스 과정에서 손실된 정보를 부분적으로 보정하 기 위해서, 멀티 채널 인코더(4)는 상기 오디오 채널들(2a 내지 2d)의 신호들의 입체적 상호관계를 설명하는 멀티 채널 파라미터들을 산출한다. 소위 부가 정보(8)라고 불리는 이러한 정보들은 상기 다운 믹스 신호(6)와 함께 멀티 채널 디코더(10)로 전송된다. 상기 멀티 채널 디코더(10)는 채널들(12a 내지 12d)을 생성하고 상기 채널들(2a 내지 2d)을 가능한한 정밀하게 복원하기 위하여 상기 부가 정보(8)의 멀티 채널 파라미터들을 이용한다. 이는 예를 들어 상기 본래의 오디오 채널들(2a 및 2d)의 각 채널 쌍 사이의 에너지 관계를 나타내고, 상기 오디오 채널들(2a 내지 2d)의 채널 쌍들 사이의 상관도를 제공하는 레벨 파라미터들과 상관 파라미터들을 전송함으로써 성취된다.

디코딩 과정에서, 이 정보는 오디오 채널들(12a 내지 12d)로 다운 믹스 신호 내에 포함된 오디오 채널들을 재분배하기 위하여 사용될 수 있다. 일반적인 멀티 채널 오디오 구성은 상기 멀티 채널 오디오 인코더(4)로 입력되는 본래의 오디오 채널들(2a 내지 2d)의 수와 같은 수의 복원된 채널들(12a 내지 12d)을 재생하는 것을 알 수 있다. 그러나, 다른 디코딩 방법에서는, 또한 본래의 오디오 채널들(2a 내지 2d)의 수보다 많거나 적은 수의 채널들이 재생되도록 할 수도 있다.

보기에 따라서는, 도 1a에 대략적으로 도시된 멀티 채널 오디오 기술들(예를 들어, 최근 표준화된 MPEG 입체 오디오 코딩 기술, 즉 MPEG 서라운드)은 멀티 채널 오디오/서라운드 사운드에 대한 현존하는 오디오 분배 기반의 비트전송효율과 호환성 확장으로 이해될 수 있다.

도 1b는 오브젝트 기반의 오디오 코딩에 대한 종래기술의 접근을 상세하게 나타낸다. 예를 들어, 사운드 오브젝트들의 코딩과 "컨텐츠 기반의 상호 작용"의 능력은 MPEG-4의 개념의 일부이다. 도 1b에 개략적으로 도시된 종래의 오디오 오브젝트 코딩 기술은 이미 존재하는 오디오 채널들의 수를 전송하려 하지 않고 그보다는 공간에 분배되는 복수의 오디오 오브젝트들(22a 내지 22d)을 갖는 완성된 음향 장면을 전송하려 하는 다른 접근법을 따른다. 이에 따라, 종래의 오디오 오브젝트 코더(20)는 복수의 오디오 오브젝트들(22a 내지 22d)을 기초 스트림들(24a 내지 24d)로 부호화하는데 사용된다. 여기서 각 오디오 오브젝트들(22a 내지 22d)은 관련된 기초 스트림을 갖는다. 상기 오디오 오브젝트들(22a 내지 22d)(음원들)은 예를 들어 단선율 오디오 채널과 그와 관련된 에너지 파라미터들로 표현될 수 있다. 여기서 에너지 파라미터는 상기 장면에 남아있는 오디오 오브젝트들에 대한 오디오 오브젝트의 상대적인 레벨을 나타낸다. 물론, 보다 정교한 방법에서는, 오디오 오브젝트들은 단선율 오디오 채널들에 의해 표현되는 것으로 한정되지 않는다. 대신에, 예를 들어 스테레오 오디오 오브젝트들이나 멀티 채널 오디오 오브젝트들이 인코딩될 수 있다.

종래의 오디오 오브젝트 디코더(28)는 복원된 오디오 오브젝트들(28a 내지 28d)을 유도하여 오디오 오브젝트들(22a 내지 22d)의 재생하는 것을 목적으로 한다. 종래의 오디오 오브젝트 디코더 내에서 장면 구성자(30)는 복원된 오디오 오브젝트들(28a 내지 28d)의 개별적 위치 조정을 수행하고 다양한 스피커 설정을 적용한다. 하나의 장면은 장면 설명(34)과 그와 관련된 오디오 오브젝트들에 의해 완전하게 정의된다. 종래의 장면 구성자(30)들 중 일부는 표준화된 언어 즉, BIFS(Binary Format for Scene Description)으로 된 장면 설명을 기대한다. 디코더 측면에서, 임의의 스피커 설정들이 존재하고, 음향 장면에 대한 충분한 정보가 디코더 측면에서 사용가능하므로 상기 디코더가 오디오 채널들(32a 내지 32e)을 상기 오디오 장면의 복원을 위해 최적화된 각각의 스피커들로 제공한다. 예를 들어, 헤드폰을 통해 듣는 경우 입체적 인상을 제공하기 위하여 생성된 두 오디오 채널을 출력하는 스테레오 렌더링이 실행가능하다.

상기 장면 구성자(30)에 대한 선택가능한 사용자 상호 작용은 재생 측면에서 각 오디오 오브젝트들의 전환(repositioning)/반복패닝(repanning)을 가능하게 한다. 추가적으로, 특별히 선택된 오디오 오브젝트들의 위치나 레벨은 예를 들어, 회의 시에 주위 소음 오브젝트들이나 다른 화자들과 관련된 다른 오디오 오브젝트을 억제하여 화자의 음성의 명료성을 증가시키도록 변경될 수 있다.

다시 말해, 종래의 오디오 오브젝트 코더는 다수의 오디오 오브젝트들을 기초 스트림들로 인코딩하고, 각 스트림들은 하나의 단일 오디오 오브젝트와만 관련된다. 종래의 디코더는 이러한 스트림들을 디코딩하고 장면 설명(BIFS)의 제어하에서 하나의 음향 장면을 구성한다. 실제 응용 조건에서는 이와 같은 접근 방식은 몇가지 단점을 가진다:

각각의 개별적인 오디오(사운드) 오브젝트들이 서로 개별적으로 인코딩됨에 따라, 전체 장면의 전송을 위하여 요구되는 비트전송률이 압축된 오디오의 모노(단선율)/스테레오 전송에 사용되는 전송률에 비하여 상당히 높아진다. 명백하게, 요구되는 비트전송률은 전송되는 오디오 오브젝트들의 수, 즉 음향 장면의 복잡성과 대략 비례적으로 증가한다.

그 결과, 각각의 사운드 오브젝트의 개별적인 디코딩에 의하여, 디코딩 과정의 계산복잡도가 일반적인 모노/스테레오 오디오 디코더의 복잡도를 상당히 넘어선다. 디코딩에 요구되는 계산복잡도는 전송되는 오브젝트들의 수에 대략 비례하여 증가한다(낮은 복잡도 구성 방법을 가정한 경우). 진보된 구성 능력을 사용하는 경우, 즉 다른 계산 노드(node)들을 사용하는 경우, 이와 같은 단점들은 대응되는 오디오 노드들의 동기화와 관련된 복잡도와 구조화된 오디오 엔진의 운영에서의 포괄적인 복잡도에 의하여 더욱 증가한다.

게다가, 전체 시스템은 수개의 오디오 디코더 구성과 BIFS 기반의 구성 유닛을 포함하므로, 요구되는 구조의 복잡도는 실세계 응용의 실행에 장애가 된다. 진보된 구성 능력은 나아가 구조화된 오디오 엔진의 위에 언급된 복잡한 구성들과의 실행을 요구한다.

도 2는 고효율의 오디오 오브젝트 코딩을 가능하게 하고 일반적인 기술의 이미 언급된 단점들을 우회하는 독창적인 입체 오디오 오브젝트 코딩 개념의 실시예를 도시한다.

도 3을 참조하여 이하에서 논의됨에 의해 명백해지는 것처럼, 상기 개념은 기존의 MPEG 서라운드 구조의 변경에 의해 실행된다. 그러나, 다른 일반적인 멀티 채널 인코딩/디코딩 구조 또한 본 발명의 개념을 실행하는데 사용될 수 있으므로 반드시 MPEG 서라운드 구조를 사용해야 하는 것은 아니다.

MPEG 서라운드와 같은 기존의 멀티 채널 오디오 코딩 구조를 사용하여, 상기 발명 개념은 오브젝트 기반의 표현 사용 능력에 대한 기존의 오디오 분배 기반의 비트전송효율과 호환성 확장으로 진화한다. 오디오 오브젝트 코딩(AOC)과 입체 오디오 코딩(멀티 채널 오디오 코딩)에 대한 종래의 접근 방식과의 구별을 위해, 본 발명의 실시예들은 이하에서 입체 오디오 오브젝트 코딩 또는 그 약어 SAOC 라는 용어로 언급될 것이다.

도 2에 도시된 입체 오디오 오브젝트 코딩 기술은 개별적인 입력 오디오 오브젝트들(50a 내지 50b)을 사용한다. 입체 오디오 오브젝트 인코더(52)는 하나 이상의 다운 믹스 신호들(54)(예를 들어 모노 또는 스테레오 신호들)을 본래의 오디오 장면의 특성에 대한 정보를 포함하는 부가정보(55)와 함께 산출한다.

상기 SAOC 디코더(56)는 상기 다운 믹스 신호(54)를 상기 부가 정보(55)와 함께 수신한다. 상기 다운 믹스 신호(54)와 상기 부가 정보(55)에 기초하여 상기 입체 오디오 오브젝트 디코더(56)는 하나의 오디오 오브젝트(58a 내지 58d) 세트를 복원한다. 복원된 오디오 오브젝트들(58a 내지 58d)은 원하는 수의 출력 채널들(62a 내지 62b)을 생성하기 위하여 상기 개별적인 오디오 오브젝트들(58a 내지 58d)을 오디오 컨텐츠로 혼합하는 믹스/렌더링 스테이지(stage)(60)로 입력된다. 여기서 출력채널들의 수는 일반적으로 재생에 사용될 멀티 채널 스피커 설정에 대응한다.

선택적으로, 상기 믹스/랜더링 장치(60)의 파라미터들은 상호적인 오디오 구성을 가능하게 하는 사용자 상호 작용 또는 제어(64)에 의해 영향을 받을 수 있고 따라서 오디오 오브젝트 코딩의 높은 유연성을 유지시킬 수 있다.

도 2에 도시된 바와 같은 입체 오디오 오브젝트 코딩의 기술은 다른 멀티 채널 재생 시나리오들에 비하여 몇 가지 큰 장점을 갖는다.

전송에 있어서, 다운 믹스 신호들의 사용과 오브젝트 파라미터들이 동반됨에 따라 비트전송률이 매우 효율적일 수 있다. 즉, 오브젝트 기반의 부가 정보가 각 오디오 오브젝트들과 관련된 오디오 신호로 구성되는 다운 믹스 신호와 함께 전송된다. 따라서 비트 전송률 수요는 각각의 개별적인 오디오 오브젝트들이 개별적으로 인코딩되고 전송되는 접근 방식에 비하여 현저하게 감소한다. 게다가 이와 같은 개념은 기존의 전송 구조에 대하여 역방향 호환가능하다. 레거시 장치들이 다운 믹스 신호를 쉽게 렌더링(구성)할 수 있다.

상기 복원된 오디오 오브젝트들(58a 내지 58d)은 상기 믹스/렌더링 장치(60)(장면 구성자)로 직접 전송될 수 있다. 일반적으로 복원된 오디오 오브젝트들(58a 내지 58d)은 외부의 믹스 장치(믹스/렌더링 장치(60))로 연결될 수 있는데, 이에 따라 상기 발명 개념은 기존의 재생 환경으로 용이하게 실행될 수 있다. 개별적인 오디오 오브젝트들(58a 내지 58d)은 대체로 단독 연출로 사용된다. 즉, 비록 일반적으로 고품질의 단독 재생으로 제공하고자 하지 않더라도 단일 오디오 스트림으로 재생된다.

개별적인 SAOC 디코딩과 그에 수반된 믹싱과는 대조적으로, 조합된 SAOC 디코더와 믹스/렌더링 장치는 매우 흥미롭다. 왜냐하면 그것은 매우 낮은 실행 복잡성을 보이기 때문이다. 직접적인 접근 방식과 비교해서, 오브젝트들(58a 내지 58d)의 완전한 디코딩/복원은 중간 표현(intermediate representation)으로서 회피될 수 있다. 필요한 연산은 계획된 출력 렌더링 채널(62a 및 62b)의 수와 주로 관계가 있다. 도 2로부터 명백해지는 바와 같이, 원칙적으로 단일 오디오 오브젝트들을 하나의 장면으로 조합하기에 적합한, 즉 멀티 채널 스피커 설정의 개별적 스피커들에 연결되는 출력 오디오 채널들(62a 및 6b)를 생성하기에 적합한 어떠한 알고리즘이라도 상기 SAOC 디코더와 연결되는 믹스/렌더링 장치(60)가 될 수 있다. 이는 예를 들어, 진폭 패닝(Amplitude Panning)(또는 진폭 및 딜레이 패닝), 벡터 기반의 진폭 패닝(Vector Based Amplitude Panning, VBAP), 그리고 스테레오 렌더링, 즉 오직 두 개의 스피커나 헤드폰만을 이용하여 입체 청취 경험을 제공하기 위한 렌더링 을 수행하는 믹서들을 포함한다. 예를 들어, MPEG 서라운드는 그와 같은 스테레오 렌더링 접근법을 채용한다.

일반적으로, 대응하는 오디오 오브젝트 정보(55)와 관련된 다운 믹스 신호들(54)을 전송하는 것은 예를 들어, 파라메트릭 스테레오, 스테레오 큐 코딩 또는 MPEG 서라운드와 같은 임의의 멀티 채널 오디오 코딩 기술들의 조합이 될 수도 있다.

도 3은 오브젝트 파라미터들이 다운 믹스 신호와 함께 전송되는 본 발명의 일실시예를 나타낸다. SAOC 디코더 구조(120)에서, MPEG 서라운드 디코더는 수신된 오브젝트 파라미터들을 사용하여 MPEG 파라미터들을 발생시키는 멀티 채널 파라미터 변환 장치와 함께 사용될 수 있다. 이와 같은 조합은 매우 낮은 복잡도를 갖는 입체 오디오 오브젝트 디코더(120)로 귀결된다. 다시 말해, 이와 같은 특별한 예는 (입체 오디오) 오브젝트 파라미터들과 각각의 오디오 오브젝트들과 관련된 패닝 정 보를 하나의 표준 인증 MPEG 서라운드 비트스트림으로 변환하여, 종래의 MPEG 서라운드 디코더들의 응용영역을 멀티 채널 오디오 컨텐츠의 재생에서부터 입체 오디오 오브젝트 코딩 장면의 양방향 렌더링까지 확장하는 방법을 제공한다. 이는 MPEG 서라운드 디코더 자체에 대한 변경을 적용하지 않고도 성취될 수 있다.

도 3에 도시된 실시예는 MPEG 서라운드 디코더와 함께 멀티 채널 파라미터 변환장치를 이용하여 종래의 기술의 결점을 회피한다. MPEG 서라운드 디코더가 일반적으로 사용가능한 기술인 한편, 멀티 채널 파라미터 변환 장치는 SAOC로부터 MPEG 서라운드로의 변환부호화(transcoding) 능력을 제공한다. 이는 조합된 기술의 일정한 양상들을 나타내고 있는 도 4와 도 5를 추가적으로 참조하는 아래 단락들에서 보다 상세하게 설명될 것이다.

도 3에서, SAOC 디코더(120)는 오디오 컨텐츠를 포함하는 다운 믹스 신호(102)를 수신하는 MPEG 서라운드 디코더(100)를 포함한다. 다운 믹스 신호는 인코더 측 다운믹서에 의해 샘플 방식에 의한 하나의 샘플에서 각 오디오 오브젝트의 오디오 오브젝트 신호들을 조합(예를 들어 더하기(adding))함으로써 생성될 수 있다. 또는 이와 같은 조합의 실행은 입체 영역이나 필터 뱅크 영역에서 수행될 수도 있다. 상기 다운 믹스 채널은 상기 파라미터 비트스트림(122)으로부터 분리될 수 있거나 파라미터 비트스트림과 동일한 비트스트림 내에 있을 수도 있다.

도 5에 도시되고, 이하에서 보다 상세하게 설명되는 바와 같이, MPEG 서라운드 디코더(100)는 MPEG 서라운드 인코딩/디코딩 방식 내에서 두 개의 오디오 신호들 사이의 신호 특성을 표현하는 간섭 파라미터들(ICC)과 레벨 파라미터들(CLD)과 같은 MPEG 서라운드 비트스트림의 입체 큐들(104)을 추가적으로 수신받는다.

멀티 채널 파라미터 변환 장치(106)는 다운 믹스 신호(102) 내에 포함된 오디오 오브젝트들에 대한 특성을 나타내는, 오디오 오브젝트들과 관련된 SAOC 파라미터들(오브젝트 파라미터들(122)을 수신한다. 나아가 상기 변환 장치(106)는 오브젝트 렌더링 파라미터의 입력에 의하여 오브젝트 렌더링 파라미터들을 수신한다. 이들 파라미터들은 렌더링 시나리오로 오디오 오브젝트들을 맵핑(mapping)하는데 유용한 파라미터들이 될 수 있다. 사용자에 의하여 전형적으로 조절되는 오브젝트 위치들과 블록(12)으로의 입력에 의존하여, 렌더링 매트릭스가 블록(112)에 의해 산출될 것이다. 그 후, 상기 블록(112)의 출력은 블록(106), 그리고 특히 상기 입체 오디오 파라미터들의 연산을 위한 파라미터 생성자(108)로 입력된다. 상기 스피커 설정이 변경되면, 상기 렌더링 매트릭스 또는 일반적으로 적어도 몇 개의 오브젝트 렌더링 파라미터들 또한 변한다. 이에 따라 렌더링 파라미터들은 스피커 구성/재생 구성 또는 전송된 오브젝트 위치 또는 사용자-선택된 오브젝트 위치(두 가지 경우 모두 상기 블록(112)로 입력될 수 있는)들을 포함하는 렌더링 구성에 의존한다.

파라미터 생성자(108)는 오브젝트 파라미터 제공자(SAOC 파서 (parser)) (110)에 의해 제공되는 오브젝트 파라미터들에 기초하여 MPEG 서라운드 입체 큐들(104)을 이끌어낸다. 상기 파라미터 생성자(108)는 가중 인수 생성자(112)에 의해 제공되는 렌더링 파라미터들을 추가적으로 사용한다. 상기 렌더링 파라미터들의 일부 또는 전부는 입체 오디오 오브젝트 디코더(120)에 의해 생성되는 채널들에 대 한 다운 믹스 신호(102)에 포함된 오디오 오브젝트들의 기여도(Contribution)를 설명하는 가중 파라미터들이 될 수 있다.

상기 가중 파라미터들은 재생에 사용되는 멀티 채널 스피커 설정의 각 스피커들에 연결되는 M 개의 오디오 채널들로 N 개의 오디오 오브젝트들이 맵핑되도록 하므로, 이들은 예를 들어, 매트릭스로 정리될 수도 있다. 이들은 상기 멀티 채널 파라미터 변환 장치(SAOC 2 MPS trascoder(변환부호기))로 입력되는 두 가지 타입의 입력 데이터가 될 수 있다. 첫번째 입력은 전송된 멀티 오브젝트 오디오 장면과 관련된 오디오 오브젝트들의 공간적 특성(예를 들어 에너지 정보)을 나타내는 각각의 오브젝트들에 대한 오브젝트 파라미터들을 포함하는 SAOC 비트스트림(122)이다. 두 번째 입력은 N 개의 오브젝트들을 M 개의 오디오 채널들로 맵핑하기 위해 사용되는 렌더링 파라미터들(가중파라미터들)(124)이다.

이미 논의된 바와 같이, 상기 SAOC 비트스트림(122)은 상기 MPEG 서라운드 디코더(100)로 입력되는 다운 믹스 신호(102)를 생성하기 위해 함께 믹스되는 오디오 오브젝트들에 대한 파라메트릭 정보를 포함한다. 상기 SAOC 비트스트림(122)의 상기 오브젝트 파라미터들은 오디오 오브젝트와 관련된 적어도 하나의 오브젝트 오디오 신호를 이용하여 순차적으로 생성되는 상기 다운 믹스 채널(102)와 관련된 적어도 하나의 오브젝트에 제공된다. 하나의 적당한 파라미터는, 예를 들어 상기 오브젝트 오디오 신호의 에너지를 나타내는 에너지 파라미터, 즉 상기 다운 믹스(102)에 대한 상기 오브젝트 오디오 신호의 기여도이다. 스테레오 다운믹스가 사용되는 경우, 스테레오 다운믹스 내의 오디오 오브젝트의 위치를 나타내는 방위 파 라미터가 제공될 수 있다. 그러나 다른 오브젝트 파라미터들 또한 적절하며, 따라서 본 발명의 수행을 위해 사용될 수 있다.

전송된 다운믹스는 반드시 단선율 신호일 필요는 없다. 그것은 예를 들어, 스테레오 신호가 될 수도 있다. 이 경우, 두 개의 에너지 파라미터들이 오브젝트 파라미터들로서 전송될 수 있고, 각각의 파라미터는 스테레오 신호의 두 채널들 중 하나에 대한 각각의 오브젝트들의 기여도를 나타낸다. 즉, 예를 들어, 만약 20개의 오디오 오브젝트들이 스테레오 다운믹스 신호의 생성을 위하여 사용되는 경우, 40개의 에너지 파라미터들이 오브젝트 파라미터들로서 전송될 수 있다.

상기 SAOC 비트스트림(122)은 SAOC 파싱(Parsing) 블록, 즉 상기 파라메트릭 정보를 다시 얻는 오브젝트 파라미터 제공자(110)로 제공된다. 여기서 후자는, 처리되는 오디오 오브젝트들의 실제 수와 더불어, 오디오 오브젝트들 각각의 시변성 스펙트럼 인벨로프를 나타내는 오브젝트 레벨 인벨로프(Object Level Envelope, OLE) 파라미터들을 주로 포함한다.

상기 SAOC 파라미터들은 예를 들어, 특정 오브젝트들이 등장하거나 다른 오브젝트들이 장면에서 사라질 때, 그들이 상기 멀티 채널 오디오 장면이 시간 경과에 따라 어떻게 변하는지에 대한 정보를 전달하기 때문에 전형적으로 매우 시간 의존적(time dependent)이 될 것이다. 대조적으로 렌더링 매트릭스(124)의 상기 가중 파라미터들은 강한 시간 또는 주파수 의존성을 보이지 않는다. 물론, 만약 오브젝트들이 장면에 등장하거나 사라지는 경우, 장면의 오디오 오브젝트들의 수에 부합하기 위하여 요구되는 파라미터들의 수가 급격히 변화한다. 게다가, 양방향 사용자 제어에 의한 응용에서, 상기 매트릭스 성분들은 그들이 사용자의 실제 입력에 의존하기 때문에 시간 의존적이 될 수 있다.

본 발명의 다른 실시예에서 상기 가중 파라미터들이나, 상기 오브젝트 렌더링 파라미터들, 또는 시변성 오브젝트 렌더링 파라미터들(가중 파라미터들)의 변화를 조종하는 파라미터들 자체는 렌더링 매트릭스(124)의 변화를 야기하도록 상기 SAOC 비트스트림에서 이송될 수 있다. 상기 가중 인수들 또는 상기 렌더링 매트릭스 성분들은 만약 주파수 의존성 렌더링 특성이 요구되는 경우(예를 들어, 특정 오브젝트의 주파수 선택적 이득이 요구되는 경우), 주파수 의존적이 될 수도 있다.

도 3의 실시예에서, 상기 렌더링 매트릭스는 상기 재생 설정(즉, 장면 설명)에 대한 정보에 기초하여 가중 인수 생성자(112)(렌더링 매트릭스 생성 블록)에 의해 생성(연산)될 수 있다. 반면에 이는 예를 들어 재생을 위해 사용되는 멀티 채널 스피커 구성의 스피커 수의 각 스피커들의 공간적 위치를 나타내는 스피커 파라미터들과 같은 재생 설정 정보일 수 있다. 상기 렌더링 매트릭스는 또한 오브젝트 렌더링 파라미터들, 예를 들어 상기 오디오 오브젝트들에 대한 위치와 상기 오디오 오브젝트의 신호의 증폭 또는 감쇠를 나타내는 정보에 기초하여 연산된다. 상기 오브젝트 렌더링 파라미터들은 다른 한편으로는 만약 상기 멀티 채널 오디오 장면의 현실적인 재생이 요구되는 경우, 상기 SAOC 비트스트림 내에서 제공될 수 있다. 상기 오브젝트 렌더링 파라미터들(예를 들어 위치 파라미터들과 증폭 정보(패닝 파라미터들))은 또한 선택적으로 사용자 인터페이스에 의하여 상호 작용 가능하게 제공될 수도 있다. 본래, 요구되는 렌더링 매트릭스, 즉 원하는 가중 파라미터들은 또 한 상기 디코더측에서의 상호적인 렌더링의 시작 지점으로서 상기 음향 장면의 자연스러운 음향 재생을 시작하기 위하여 상기 오브젝트들과 함께 전송될 수 있다.

상기 파라미터 생성자(장면 렌더링 엔진)(108)는 상기 N 개의 오디오 오브젝트들의 M 개의 출력 채널들로의 맵핑을 연산하기 위하여 가중 인수들과 오브젝트 파라미터들(예를 들어 상기 에너지 파라미터 OLE)을 모두 수신한다. 여기서 M은 N보다 크거나, 작거나 또는 같을 수 있고, 심지어 시간에 따라 변화할 수도 있다. 표준 MPEG 서라운드 디코더(100)를 사용하는 경우, 얻어지는 입체 큐들(예를 들어, 간섭 및 레벨 파라미터들)은 상기 SAOC 비트스트림과 함께 전송되는 상기 다운 믹스 신호들에 부합하는 표준 인증 서라운드 비트스트림에 의해 상기 MPEG 디코더(100)로 전송될 수 있다.

이미 설명한 바와 같이 멀티 채널 파라미터 변환 장치(106)의 사용은 복원된 음향 장면을 주어진 스피커를 통해 재생하기 위하여 상기 파라미터 변환 장치(106)에 의해 제공되는 상기 다운 믹스 신호와 상기 변환된 파라미터들을 처리하기 위한 표준 MPEG 서라운드 디코더를 사용할 수 있도록 한다. 이는 상기 오디오 오브젝트 코딩 접근방식의 고도의 유연성, 즉 재생 측에서 실제의 사용자 상호 작용을 허용하는 것에 의해 성취될 수 있다.

멀티 채널 스피커 설정의 재생에 대한 대안으로서, 상기 MPEG 서라운드 디코더의 스테레오 디코딩 모드는 헤드폰을 통한 신호 재생에 사용될 수 있다.

그러나, 만약 상기 MPEG 서라운드 디코더(100)에 대한 작은 변경이 허용된다면, 예를 들어 소프트웨어적 방법내에서, 상기 입체 큐들의 상기 MPEG 서라운드 디 코더로의 전송은 상기 파라미터 영역 내에서 직접적으로 수행될 수 있다. 즉, MPEG 서라운드 호환 가능 비트스트림을 다중 송신하고자 하는 산술적 노력이 생략될 수 있다. 산술적 복잡성의 감소를 차치하더라도, MPEG를 따르는 파라미터 양자화에 의하여 야기되는 질적 하락을 방지할 수 있다는 다른 이점이 있다. 왜냐하면 생성된 입체 큐들의 이와 같은 양자화는 이 경우 더 이상 필요하지 않기 때문이다. 이미 설명한 바와 같이, 이러한 이점은 순수한 비트스트림의 제공보다는 직접적인 파라미터의 제공의 가능성을 제공함으로써 보다 유연한 MPEG 서라운드 디코더 기술을 가능하게 한다.

본 발명의 또 다른 실시예에서는, MPEG 서라운드 호환 비트스트림이 생성된 입체 큐들과 상기 다운믹스 신호를 다중 송신함으로써 생성된다. 그리고 이에 따라 레거시 장비를 이용한 재생이 가능하도록 한다. 멀티 채널 파라미터 변환 장치(106)는 그에 따라 인코더 측에서 오디오 오브젝트 코딩된 데이터를 멀티 채널로 코딩된 데이터로 변환하도록 할 수 있다. 도 3의 멀티 채널 파라미터 변환 장치에 기초한 본 발명의 다른 실시예들은 구체적인 오브젝트 오디오와 멀티 채널 기술을 위하여 아래에 설명될 것이다. 이와 같은 기술들의 중요한 양상들이 도 4와 도 5에 도시되었다.

도 4는 오브젝트 렌더링 파라미터들과 같은 방위(위치) 파라미터들과, 오브젝트 파라미터들과 같은 에너지 파라미터들을 사용하여 하나의 특정한 방법에 기초하여 진폭 패닝을 수행하기 위한 접근 방법을 도시하고 있다. 상기 오브젝트 렌더 링 파라미터들은 오디오 오브젝트의 위치를 나타낸다. 다음 단락들에서, 각α_i(150)는 청취 위치(154)에 대하여 오디오 오브젝트(152)의 원점(origin)의 방향을 설명하는 오브젝트 렌더링(위치) 파라미터들로 사용된다. 다음의 예들에서, 단순화된 이차원의 케이스가 가정될 것이고, 그에 따라 하나의 단일 파라미터, 즉 하나의 각도가 상기 오디오 오브젝트에 대한 오디오 신호의 원점의 방향을 명백하게 파라미터로 나타내도록 사용될 수 있다. 그러나, 그것은 말할 필요도 없이, 일반적인 삼차원 케이스도 큰 변화없이 수행될 수 있다. 즉, 예로든 삼차원 공간에서, 상기 입체 음향 장면 내에서의 오디오 오브젝트들의 위치를 나타내기 위하여 벡터가 사용될 수 있다. 다음에서 본 발명 개념을 실행하기 위하여 MPEG 서라운드 디코더가 사용되기 때문에 도 4는 추가적으로 5개 채널의 MPEG 멀티 채널 스피커 구성의 스피커 위치를 보여준다. 이는 중앙 스피커 C(156a)의 위치가 0°이고, 우측 전방 스피커(156b)의 위치가 30°이고, 좌측 서라운드 스피커(156c)의 위치가 100°이며, 좌측 서라운드 스피커(156d)의 위치가 -110°이고, 좌측 전방 스피커(156e)의 위치가 -30°일 때의 예이다.

다음의 예들은 나아가 도 5에 도시된 트리 구조에 의하여 시각화될 수 있는 두 개의 가능한 파라미터화를 정의하는 MPEG 서라운드 표준에 특화된 멀티 채널 오디오 신호의 5.1 채널 표현에 기초할 것이다.

모노 다운 믹스(160)의 전송의 경우, 상기 MPEG 서라운드 디코더는 트리 구조의 파라미터화를 채용한다. 상기 트리는 제1파라미터화를 위한 소위 OTT 성분(박 스들)(162a 내지 162e)과, 제2파라미터화를 위한 OTT 성분(164a 내지 164e)에 의하여 구성된다.

각각의 OTT 성분은 모노 입력을 두 개의 출력 오디오 신호들로 업믹스(up-mix)한다. 업믹스의 수행을 위하여, 각 OTT 성분은 두 출력신호들 사이의 원하는 교차 상관관계(cross-correlation)을 나타내는 ICC 파라미터와, 각 OTT 성분의 두 개의 출력 신호들 사이의 상대적인 레벨 차이를 나타내는 CLD 파라미터를 사용한다.

구조적으로 유사하더라도, 도 4에 나타난 상기 두 파라미터화는 오디오 채널 컨텐츠가 모노 다운 믹스(160)로부터 분배되는 방식에서 상이하다. 예를 들어, 좌측의 트리 구조에서 제1 OTT 성분(162a)은 제1 출력 채널(166a)과 제2 출력 채널(166b)을 생성시킨다. 도 5에 시각화된 바에 따르면, 상기 제1출력 채널(166a)은 좌측 전면, 우측 전면, 중앙, 그리고 저주파향상(low frequency enhancement) 채널의 오디오 채널들에 대한 정보를 포함한다. 제2출력 신호(166b)는 오직 서라운드 채널들, 즉 좌측 서라운드 및 우측 서라운드 채널들에 대한 정보만을 포함한다. 두 번째 수단과 비교하면, 상기 제1 OTT 성분의 출력은 상기 오디오 채널들에 대한 중대한 차이를 보인다.

그러나, 멀티 채널 파라미터 변환 장치는 두 방법 중 어떤 것에 기초하여서도 수행될 수 있다. 일단 본 발명 개념이 이해되면, 아래에서 설명되는 경우 외에 다른 멀티 채널 구성들에도 적용 가능하다. 간결성을 위해, 본 발명에 대한 아래의 실시예들은 일반성을 잃지 않는 선에서 도 5의 좌측에 도시된 파라미터화에 대해 중점적으로 설명된다. 나아가, 도 5는 단지 MPEG 오디오 개념의 적절한 시각화를 위해 제공되며, 도 5의 시각화에 의해서 믿도록 유도된 바와 같이 연산은 일반적으로 연속적인 방식으로 수행되는 것은 아님을 알 수 있다. 일반적으로 연산은 병렬적으로 수행될 수 있다. 즉 출력 채널들은 각각 하나의 단일 연산 단계에 의하여 산출될 수 있다.

아래의 단락에서 간단히 논의되는 실시예들에서, SAOC 비트스트림은 다운 믹스 신호 내의 각각의 오디오 오브젝트의 (상대적인) 레벨을 포함한다(각 시간-주파수 타일(tile)에 대해 개별적으로, 예를 들어 필터뱅크(filterbank) 또는 시간에서 주파수로의 변환을 사용하는 주파수 영역 구성 내에서의 일반 실행과 마찬가지로).

나아가, 본 발명은 상기 오브젝트들의 특정 레벨 표현에 한정되지 않는다. 아래의 설명은 단지 상기 SAOC 오브젝트 파라미터화에 의해 산출되는 오브젝트 전력 측정치에 기초하여 상기 MPEG 서라운드 비트스트림을 위한 상기 입체 큐들을 산출하기 위한 하나의 방법만을 나타낸다.

도 3으로부터 명백한 바와 같이 가중 파라미터들에 의해 생성되고 상기 오브젝트들 o_i을 필요한 수의 출력 채널들(예를 들어 스피커 수) s로 맵핑하기 위하여 상기 파라미터 생성자(108)에 의해 사용되는 상기 렌더링 매트릭스 W는 특정 오브젝트 색인 i와 상기 채널 색인 s에 의존하는 다수의 가중 파라미터들을 포함한다. 그로써, 가중 파라미터 W_{s ,i}는 스피커 s (1≤s≤M)에 대한 오브젝트 i(1≤i≤N)의 믹스 이득을 나타낸다. 즉, W는 오브젝트들 o=[o₁ ... o_N]^T를 각각의 스피커(여기서 5.1 설정이 가정된다) y=[y_Lf y_Rf y_C y_LFE y_Ls y_Rs ]^T 에 대한 출력 신호를 발생시키는 스피커들로 맵핑한다. 그리하여:

y=Wo.

상기 파라미터 생성자(상기 렌더링 엔진(108))는 상기 렌더링 매트릭스 W를 SAOC 데이터 σ_i ² 에 기초하여 모든 CLD와 ICC 파라미터들을 추정하는데 사용한다. 도 5에 도시된 바에 의해 이 과정이 각 OTT 성분에 대하여 독립적으로 수행됨은 명백하다. 아래의 단락들이 설명하는 것은 나머지 OTT 성분들에도 별도의 창조적인 기술없이도 적용가능하기 때문에 보다 상세한 논의가 첫번째 OTT 성분(162a)에 중점을 맞추어 설명될 것이다.

도면에서 볼 수 있는 바와 같이 OTT 성분(162a)의 상기 제1출력신호(166a)는 OTT 성분들(162b, 162c, 및 162d)에 의하여 더 처리되어 결국 출력 채널들(LF, RF, C 및 LFE)로 귀결된다. 상기 제2 출력 채널(166b)는 OTT성분(162e)에 의해 더 처리되어 출력 채널(LS 및 RS)로 귀결된다. 도 5의 OTT 성분들을 하나의 단일 렌더링 매트릭스 W로 대체하는 것은 아래의 매트릭스 W를 사용하여 수행될 수 있다.

N은 오디오 오브젝트들의 수이므로 매트릭스 Wdml 행들의 수 N은 고정되지 않고 변경될 수 있다.

상기 OTT 성분(162a)을 위한 상기 입체 큐들(CLD와 ICC)을 산출하기 위한 하나의 가능성은 OTT 성분 0의 두개의 출력들에 대한 각 오브젝트들의 상대적인 기여도가 매트릭스 W 내에서의 대응되는 성분들의 합에 의하여 얻어진다. 상기 합은 OTT 성분 0의 서브-렌더링 매트릭스 W₀을 제공한다:

문제는 이제 서브-렌더링 매트릭스 W₀(그리고 OTT 성분 1, 2, 3 및 4 각각에 대하여 이와 유사하게 정의된 서브-렌더링 매트릭스들 W₁, W₂, W₃ 및 W₄)의 레벨 차이와 상관성을 추정하는 것으로 단순화되었다.

서로 간섭하지 않는(즉, 상호적으로 독립된) 오브젝트 신호들을 가정하면, OTT 성분 0의 제1출력의 추정되는 전력, P_{0 ,1} ²는 다음과 같이 주어진다:

이와 유사하게, OTT 성분 0의 제2출력의 추정되는 전력, P_{0 ,2} ²는 다음과 같이 주어진다:

교차 전력(cross-power) R₀는 다음과 같이 주어진다:

OTT 성분 0을 위한 CLD 파라미터는 다음과 같이 주어진다:

그리고 상기 ICC 파라미터는 다음과 같이 주어진다:

도 5의 좌측 부분이 고려될 때, 두 신호들을 위한 P_{0 ,1}과 P_{0 ,2}는 위에 나타난 바에 의해 결정되고, 두 신호는 가상신호에 해당한다. 왜냐하면 이 신호들은 스피커 신호들의 조합을 표현하고, 실질적으로 오디오 신호를 발생하도록 구성되지는 않기 때문이다. 여기서, 도 5의 상기 트리 구조들은 신호들의 발생에 사용되지는 않는다는 점이 강조된다. 이는 MPEG 서라운드 디코더에서는 1대2(one-to-two) 박스들 사이에는 어떤 신호들도 존재하지 않는다는 것을 의미한다. 대신에 스피커 신호들을 직접적으로 더 많이 또는 더 적게 발생시키기 위하여 다운믹스와 다른 파라미터들을 사용하는 큰 업믹스 매트릭스가 있다.

아래에서, 도 5의 왼쪽 구성을 위한 채널들의 분류 또는 식별 방법이 설명된다.

박스(162a)를 위하여, 제1가상신호는 스피커 신호들(lf, rf, c, lfe)의 조합을 표현하는 신호이다. 제2가상신호는 ls와 rs의 조합을 표현하는 가상 신호이다.

박스(162b)에 대해서는, 제1오디오 신호는 가상 신호이고 좌측 전방 채널과 우측 전방 채널을 포함하는 그룹을 표현하고, 제2오디오 신호는 가상 신호이며, 중앙 채널과 lfe 채널을 포함하는 그룹을 표현한다.

박스(162e)에서, 상기 제1오디오 신호는 상기 좌측 서라운드 채널을 위한 스피커 신호이고, 상기 제2오디오 신호는 상기 우측 서라운드 채널을 위한 스피커 신호이다.

박스(162c)에서 상기 제1오디오신호는 상기 좌측 전방 채널을 위한 스피커 신호이고, 상기 제2오디오 신호는 상기 우측 전방 채널의 스피커 신호이다.

박스(162d)에서 상기 제1오디오 신호는 상기 중앙 채널의 스피커 신호이고, 상기 제2오디오 신호는 상기 저주파수향상 채널의 스피커 신호이다.

이와 같은 박스들에서는, 추후 설명되는 바와 같이, 상기 제1오디오신호 또는 상기 제2오디오 신호를 위한 가중 파라미터들이 상기 제1오디오신호 또는 상기 제2오디오 신호에 의해 표현되는 채널들과 관련된 오브젝트 렌더링 파라미터들의 조합에 의하여 산출된다.

아래에서, 도 5의 오른쪽의 구성에 대한 채널의 분류 또는 식별에 대하여 설명된다.

박스(164a)에서, 제1오디오신호는 가상신호이고 좌측 전방 채널, 좌측 서라운드 채널, 우측 전방 채널, 그리고 우측 서라운드 채널을 포함하는 그룹을 표현한다. 그리고 제2오디오 신호는 가상 신호이고 중앙 채널과 저주파수향상 채널을 포함하는 그룹을 대표한다.

박스(164b)에 대해서는, 제1오디오신호는 가상 신호이고, 좌측 전방 채널과, 좌측 서라운드 채널을 포함하는 그룹을 표현하며, 제2오디오신호는 가상 신호이고 우측 전방 채널과 우측 서라운드 채널을 포함하는 그룹을 표현한다.

박스(164e)의 경우 제1오디오신호는 중앙 채널을 위한 스프커신호이고, 제2오디오신호는 저주파수향상 채널을 위한 스피커 신호이다.

박스(164c)에서는, 제1오디오신호는 좌측 전방 채널의 스피커 신호이고, 제2오디오 신호는 좌측 서라운드 채널을 위한 스피커 신호이다.

바스(164d)에서는 제1오디오 신호는 우측 전방채널을 위한 스피커 신호이고 제2오디오 신호는 우측 서라운드 채널을 위한 스피커 신호이다.

이와 같은 박스들에서, 추후 설명되는 바와 같이, 상기 제1오디오 신호 또는 상기 제2오디오신호를 위한 가중 파라미터들은 상기 제1오디오신호 또는 상기 제2오디오 신호에 의해 표현되는 채널들에 대한 오브젝트 렌더링 파라미터들을 조합함에 의하여 도출된다.

위에서 언급한 가상 신호들은, 그들이 실제 구현시에 반드시 발생되는 것은 아니기 때문에 가상적이다. 이 가상 신호들은 모든 박스들에 대한 CLD, 예를 들어 서로 다른 서브-렌더링 매트릭스들 W_i를 사용함으로써 결정되는 전력값의 발생 도는 에너지의 분배를 나타내는데 사용된다. 다시, 도 5의 좌측이 우선 설명된다.

박스(162a)를 위한 서브-렌더링 매트릭스 W₀는 위에서 이미 보였다.

박스(162b)를위한 서브-렌더링 매트릭스는 아래와 같이 정의된다:

박스(162e)의 서브-렌더링 매트릭스는 다음과 같이 정의된다:

박스(162c)의 서브-렌더링 매트릭스는 다음과 같이 정의된다:

박스(162d)의 서브-렌더링 매트릭스는 다음과 같이 정의된다:

도 5의 우측 구성에 대한 상태는 다음과 같다:

박스(164a)를 위한 서브-렌더링 매트릭스는 다음과 같이 정의된다:

박스(164b)를 위한 서브-렌더링 매트릭스는 다음과 같이 정의된다:

박스(164e)를 위해서, 서브-렌더링 매트릭스는 다음과 같이 정의된다:

박스(164c)를 위해서, 서브-렌더링 매트릭스는 다음과 같이 정의된다:

박스(164d)를 위한 서브-렌더링 매트릭스는 다음과 같이 정의된다:

실행하는 바에 따라서, MPEG 서라운드 디코더(100)로 제공될 수 있는 MPEG 서라운드 비트스트림으로 부합하기 위하여 각각의 CLD와 ICC 파라미터가 양자화되고, 포맷(format)될 수 있다. 택일적으로, 상기 파라미터값들은 파라미터 수준에서, 즉 비트스트림으로 양자화되고 포맷되지 않고도, 상기 MPEG 서라운드 디코더를 통과할 수 있다. 도 5의 MPEG-2 구조를 사용한 상술한 접근 방법을 이용하여 성취될 수 있는 오브젝트들의 반복패닝(repanning), 즉 이와 같은 신호 에너지들의 적절한 분배를 성취하기 위한 것뿐 아니라, 다운 믹스 신호 에너지의 변경을 위하여 또한 발생될 수 있는 소위 임의의 다운 믹스 이득이라고 불리는 감쇠 또는 증폭을 수행하기 위한 것이다. 임의의 다운 믹스 이득들(ADG)은 그것이 OTT 성분들 중 하나에 의해 처리되기 전에 다운 믹스 신호 자체의 스펙트럼 변경을 허용한다. 즉, 임의의 다운 믹스 이득들은 그 자체로 주파수 의존적이다. 효율적인 수행을 위하여, 임의의 다운 믹스 이득들(ADGs)은 CLD 파라미터들과 동일한 주파수 분해 능(resolution)과 동일한 양자화 과정으로 표현된다. ADGs의 응용의 일반적인 목적은 다운 믹스 입력 신호 내의 에너지 분배가 렌더링된 시스템 출력의 다운 믹스의 에너지와 거의 같도록 전송된 다운 믹스를 변경하는 것이다. 상기 렌더링 매트릭스 W의 상기 가중 파라미터들 W_{k ,i}과 전송된 오브젝트 전력들 σ_i ² 을 이용하여, 적절한 ADGs가 다음의 방정식에 의해 산출될 수 있다:

그리고, 입력 다운 믹스 신호의 전력이 오브젝트 전력들의 합과 같다는 것이 가정된다(i= 오브젝트 색인, k=채널 색인)

이미 설명된 바와 같이, 상기 CLD 및ICC 파라미터들의 연산은 멀티 채널 스피커 구성의 스피커들에 대한 오브젝트 오디오 신호의 에너지의 비율을 나타내는 가중 파라미터들을 이용한다. 이와 같은 가중 인수들은 일반적으로 장면 데이터와 재생 설정 데이터, 즉 오디오 오브젝트들과 멀티 채널 스피커 설정의 스피커들의 상대적인 위치에 의존한다. 아래의 단락들은 도 4에서 소개된 오브젝트 오디오 파라미터화에 기초하여 각 오디오 오브젝트들과 관련된 오브젝트 파라미터들로서 방위각과 이득 측정치를 사용함으로써 가중 파라미터들을 산출하는 하나의 가능성을 제공할 것이다.

이미 위에서 설명한 바와 같이, 각 시간/주파수 타일에 대한 독립된 렌더링 매트릭스들이 존재한다. 그러나 아래에서는, 명료한 설명을 위하여 오직 하나의 시간/주파수 타일만이 고려된다. 렌더링 매트릭스 W는 M개의 행(각각은 각 출력 채널을 위한 것)과, N개의 열(각각은 각 오디오 오브젝트를 위한 것)을 갖는다. 여기서 s행 i열에 배치된 매트릭스 성분은 특정 오디오 오브젝트들이 각각의 출력 채널에 대하여 기여하는 혼합된 가중치를 표현한다:

상기 매트릭스 성분들은 아래의 장면 설명과 스피커 구성 파라미터들로부터 산출된다:

장면 설명(이 파라미터들은 시간 경과에 의해 변경될 수 있다):

오디오 오브젝트들의 수: N ≥ 1

각 오디오 오브젝트의 방위각: α_i (1 ≤ i ≤ N)

각 오브젝트의 이득값: g_i (1 ≤ i ≤ N)

스피커 구성(보통 이 파라미터들은 시불변성이다):

출력 채널들(= 스피커들)의 수: M ≥ 2

각 스피커의 방위각: Θ_s (1 ≤ s ≤ M)

Θ_s ≤ Θ_s+1

s는 1 ≤ s ≤ M-1

상기 믹스 매트릭스의 성분들은 이러한 파라미터들로부터 각 오디오 오브젝트 i에 대하여 아래의 방법을 수행하여 산출된다:

색인 s'(1 ≤ s' ≤ M)를 구한다. 이때 Θ_s' ≤ σ_i ≤ Θ_{s' +1} (Θ_M+1 := Θ₁+2п)

증폭 패닝(예를 들어, 탄젠트 법)을 스피커 s'와 s'+1 사이(s'=M인 경우, 스피커 M과 1 사이)에 적용한다. 도 4에서 설명된 예에서와 같이, 아래의 설명에서 변수 υ는 패닝 가중치들, 즉 신호가 두 채널들에 분배되는 경우 신호에 적용되기 위한 크기 조정 인수들이다.

위의 방정식에 대하여, 이차원 케이스에서, 입체 음향 장면의 오디오 오브젝트들과 관련된 오브젝트 오디오 신호는 멀티 채널 스피커 구성에서의 오디오 오브젝트에 가장 가까운 두 개의 스피커들로 분배될 것이다. 그러나, 위의 방법을 위하여 선택된 오브젝트 파라미터들은 본 발명의 다른 실시예들을 수행하는데 사용될 수 있는 오브젝트 파라미터들에만 국한되는 것은 아니다. 예를 들어, 삼차원의 케이스에서는, 스피커들이나 오디오 오브젝트들의 위치를 나타내는 오브젝트 파라미터들이 삼차원 벡터가 될 수 있다. 일반적으로 위치가 명확히 정의된 경우, 두 파 라미터들은 이차원의 케이스에 요구되고, 3 개의 파라미터들은 삼차원 케이스에서 요구된다. 그러나 이차원 케이스에서도 다른 파라미터화 방법, 예를 들어 직교 좌표계 내에서 두 개의 좌표들을 전송하는 방법이 사용될 수도 있다. 그리고 1에서 2 사이의 범위 내의 선택적인 패닝 규칙 파라미터 p는 재생 시스템/공간의 공간 음향 특성을 반영하도록 설정되고, 본 발명의 일부 실시예들에 따라서는, 추가적으로 적용할 수 있는 임의의 패닝 규칙 파라미터임을 알 수 있다. 결론적으로, 패닝 가중치 υ_1,i와 υ_2,i가 위의 식에 따라 산출된 후에, 상기 가중 파라미터들 W_{s ,i}이 아래의 식에 의하여 산출될 수 있다. 상기 매트릭스 성분들은 즉, 아래의 방정식에 의해 주어진다.

선택적으로 각 오디오 오브젝트에 포함되는 이미 소개된 이득 인수 g_i는 개별적인 오브젝트들을 강조하거나 억제하는데 사용된다. 이는 예를 들어, 수신측, 즉 디코더에서 개별적으로 선택된 오디오 오브젝트들을 개선하기 위하여 수행될 수 있다. 도 4의 오디오 오브젝트(152)의 아래의 예는 상기 방정식들의 응용을 보다 명확히 하기 위하여 제공될 것이다. 상기 예는 이미 설명된 ITU-R BS.775-1 인증 3/2-채널 설정을 사용한다. 그 목적은 방위각 α_i= 60°, 임의의 패닝 이득 g_i는 1(즉, 0dB)로 특징되는 오디오 오브젝트 i의 요구되는 패닝 방향을 도출하는 것이다. 이와 같은 예에서 재생 공간은 패닝 규칙 파라미터 p=2에 의하여 파라미터화되는 일부 반향음을 나타낼 것이다. 도 4에 따라, 가장 가까운 스피커들은 우측 전방 스피커(156b)와 우측 서라운드 스피커(156c)들이다. 따라서, 패닝 가중치들은 다음 방정식을 해결함으로써 도출될 수 있다:

다소의 수학적 연산 후, 다음의 답이 도출된다.

따라서, 위에 설명된 바에 따라, 방위 α_i에 위치하는 특정 오디오 오브젝트에 대한 상기 가중 파라미터들(매트릭스 성분들)은 아래와 같이 산출된다:

위는 단지 단선율 신호, 즉 포인트형(point-like) 음원에 의해 표현될 수 있는 오디오 오브젝트들을 사용하는 본 발명의 구체적인 실시예를 나타낸다. 그러나 본 발명의 탄력적인 개념은 단지 단선율 음원에의 적용에 제한되지 않는다. 입체적으로 "확산"되는 것으로 생각되는 하나 이상의 오브젝트들 또한 본 발명 개념에 잘 부합된다. 포인트형이 아닌 음원 또는 오디오 오브젝트들이 표현되도록 하는 경우, 멀티 채널 파라미터들은 적절한 방식으로 산출되어야 한다. 하나 이상의 오디오 오 브젝트들 사이의 확산성(diffuseness)의 양을 양자화하기 위한 적절한 수단이 오브젝트 관련 교차 상관 파라미터 ICC이다.

지금까지 설명된 상기 SAOC 시스템에서, 모든 오디오 오브젝트들은 포인트 음원, 즉 다른 입체적 확장 없이 페어방식(Pair-wise) 비상관 모노 음원으로 가정되었다. 그러나, 특정 정도 페어방식 (비)상관을 나타내는 오디오 오브젝트들이 하나보다 더 많은 오디오 채널을 포함하도록 하는 응용 시나리오들도 있다. 이들 중 가장 단순하고 아마도 가장 중요한 경우는 스테레오 오브젝트들, 즉 함께 속하는 둘 초과 또는 미만의 상관 채널들로 구성된 오브젝트들에 의해 표현된다. 하나의 예로, 이러한 오브젝트는 심포니 오케스트라에 의해 제작된 입체 이미지를 표현할 수 있다.

스테레오 오브젝트들을 위에서 설명한 시스템에 의해 모노 오디오 오브젝트로 부드럽게 합치기 위하여, 스테레오 오브젝트의 두 채널들은 개별적인 오브젝트로서 취급된다. 서브밴드 전력값 σ_i ²의 유도를 위하여 적용되는 것과 마찬가지로 두 부분 오브젝트들의 상호 관계는 동일 시간/주파수 눈금에 기초하여 연산되는 추가적인 교차 상관 파라미터에 의해 반영된다. 다시 말해, 스테레오 오브젝트는 각 시간/주파수 타일 당 세 개로 된 하나의 파라미터 세트 {σ_i ², σ_j ², ICC_{i ,j}}에 의하여 정의된다. 여기서 ICC_{i ,j}는 하나의 오브젝트의 두 개의 구현 사이의 상기 페어 방식 상관관계를 나타낸다. 이와 같은 두 개의 구현은 페어 방식 상관관계 ICC_{i ,j}를 갖는 개별적 오브젝트들 i와 j에 의해 나타내진다.

스테레오 오브젝트들의 정확한 렌더링을 위하여 SAOC 디코더는 반드시 스테레오 오브젝트의 렌더링에 관여하는 재생 채널들 사이의 정확한 상관관계를 확립하기 위한 수단이 사용되어야 한다. 그리하여 각 채널들에 대한 스테레오 오브젝트의 기여도는 대응되는 ICC_{i ,j} 파라미터에 의해 구해지는 바에 따라 상관관계를 나타낸다. 스테레오 오브젝트들을 다룰 수 있는 MPEG 서라운드 변환부호기(transcoder)에 대한 SAOC는 순차적으로 반드시 관련된 재생 신호들을 재생하는데 사용되는 OTT 박스들을 위한 ICC 파라미터들을 유도하여야 한다. 그리하여 MPEG 서라운드 디코더의 출력 채널들 사이의 비상관 양은 이 조건을 만족하게 된다.

그렇게 하기 위하여, 이 문헌의 앞 부분에 소개된 예와 비교하여, 전력 P_{0 , 1}및 P_0,2와 교차 전력 R₀의 연산은 변경되어야 한다. 하나의 스테레오 오브젝트들을 함께 형성하는 두 개의 오디오 오브젝트의 색인을 i₁과 i₂라고 가정하면 방정식은 다음과 같이 변경된다:

이고, 그 외에는

인 경우, 이 방정식들은 문헌 앞 부분에 주어진 것들과 동일한 것을 쉽게 알 수 있다.

스테레오 오브젝트 사용 능력을 갖는 것은 포인트 음원이 아닌 오디오 음원들이 적절하게 처리될 수 있어 입체 음향 장면의 재생의 질이 상당히 향상될 수 있다는 분명한 장점을 갖는다. 나아가, 많은 수의 오디오 오브젝트들에도 널리 사용될 수 있는 미리 믹스된 스테레오 신호를 사용할 수 있는 능력을 가짐으로써 입체 음향 장면의 생성이 보다 효율적으로 수행될 수 있다.

아래의 설명들은 본 발명의 개념이 "본래의" 확산성을 갖는 포인트형 음원의 통합을 가능하게 한다는 것을 보여준다. 포인트 음원들을 표현하는 오브젝트들 대신에, 앞서 설명한 예들에서와 같이, 하나 이상의 오브젝트들이 입체적으로 '확산'되는 것으로 간주될 수도 있다. 확산성의 양은 오브젝트 관련 교차 상관 파라미터 ICC_i,j에 의하여 특징지어질 수 있다. ICC_{i ,j}=1인 경우, 오브젝트 i는 포인트 음원을 표현하고, ICC_{i ,j}=0인 경우, 오브젝트는 최대로 확산된다. 오브젝트 의존 확산성은 위에 주어진 방정식에 정확한 ICC_{i ,j}값을 대입함에 의하여 합산될 수 있다.

스테레오 오브젝트들이 이용되는 경우, 상기 매트릭스 M의 상기 가중 인수들을 유도하는 것은 적절하게 응용되어야 한다. 그러나 상기 응용은 스테레오 오브젝트들을 다루기 위해, 두 방위각 위치들(스테레오 오브젝트들의 좌측 및 우측 "가장자리(edge)"의 방위각 값을 나타내는)을 렌더링 매트릭스 성분들로 전환하는 것처럼 창조적인 기술 없이도 수행될 수 있다.

이미 설명된 바와 같이, 사용되는 오디오 오브젝트들의 형식에 관계없이, 렌더링 매트릭스 성분들은 일반적으로, 서로 다른 시간/주파수 타일들에 대해 개별적으로 정의되며 대체로 서로 다르다. 시간에 따른 변동은, 예를 들어 각각의 모든 개별적인 오브젝트들에 대한 패닝 각도들과 이득값들이 시간에 따라 임의적으로 변경되도록 하는 사용자 상호 작용을 반영한다. 주파수에 따른 변동은 음향 장면의 입체적 지각에 영향을 주는 다른 특징들, 예를 들어 균등화(equalization)와 같은, 을 허용한다.

멀티 채널 파라미터 변환 장치를 사용하여 본 발명 개념을 수행하는 것은 다수의 완전히 새로운, 전에는 실행할 수 없던 응용을 가능하게 한다. 일반적 의미에서, SAOC의 기능성은 오디오 오브젝트들의 효율적 코딩과 양방향 렌더링으로서 특징지어질 수 있기 때문에, 양방향 오디오를 요구하는 다양한 응용들은 본 발명 개념, 즉 창의적인 멀티 채널 파라미터 변환 장치 또는 멀티 채널 파라미터 변환을 위한 창의적 방법의 실행에 의하여 이점 얻을 수 있다.

하나의 예로서, 완전히 새로운 양방향 원격 회의 시나리오가 실현 가능해진다. 현재의 원격 통신 기반 시설들(전화, 원격회의 등)은 단선율이다. 즉, 전통적 인 오브젝트 오디오 코딩들은 적용될 수 없다. 왜냐 하면 이는 전송될 각 오디오 오브젝트 마다 하나의 기초 스트림 전송을 요구하기 때문이다. SAOC 확장 기능, 즉 주로 멀티 채널 파라미터 변환장치 또는 발명적 오브젝트 파라미터 변환부호기를 갖춘 원격 통신 단말기들은 기존의 코더(예를 들어 언어(speech) 코더)를 사용하여 몇 개의 음원들(오브젝트들)을 추출하여, 그들을 호환 가능한 방식으로 전송되는 하나의 단선율 다운 믹스 신호로 혼합할 수 있다. 부가정보(입체 오디오 오브젝트 파라미터들 도는 오브젝트 파라미터들)은 숨겨진, 역방향 호환 가능한 방식으로 전달된다. 이와 같은 진보된 단말기들은 몇 개의 오디오 오브젝트들을 포함하는 출력 오브젝트 스트림을 생성하는 반면에, 레거시 단말기들은 다운 믹스 신호를 생성할 것이다. 거꾸로 말하면, 레거시 단말기들에 의해 생성된 출력(즉, 오직 다운 믹스 신호)은 SAOC 변환부호기들에 의해서는 하나의 단일 오디오 오브젝트로 간주될 것이다.

그 원리는 도 6adp 도시되어 있다. 제1 원격 회의 장소(200)에 A 오브젝트들(화자들)이 있고, 제2원격 회의 장소(202)에는 B 오브젝트들(화자들)이 있다. SAOC에 의하면 오브젝트 파라미터들은 상기 제1원격 회의 장소(200)로부터 그에 대한 상기 다운 믹스 신호(204)와 함께 전송될 수 있다. 그리고 여기서 다운 믹스 신호(206)는 상기 제2원격 회의 장소(202)에서의 상기 B 오브젝트들 각각을 위한 오디오 오브젝트 파라미터들에 조합되어 상기 제2 원격 회의 장소(20)에서 상기 제1 원격 회의 장소(200)로 전송될 수 있다. 이는 복수의 화자들의 출력이 오직 하나의 단일 다운 믹스 채널을 사용하여 전송될 수 있고, 나아가 추가되는 화자들은 개별 적인 화자들에 대한 추가적인 오디오 오브젝트 파라미터들이 다운 믹스 신호와 함께 조합되어 전송되는 것으로서 그 수신 장소에서 강조될 수 있다는 상당한 이점을 갖는다.

이는 예를 들어, 오브젝트 관련 이득 값 gi를 적용함으로써 사용자가 하나의 관심있는 특정 화자를 강조할 수 있도록 한다. 그리하여 나머지 화자들은 거의 안들리도록 할 수 있다. 이는 종래의 멀티 채널 오디오 기술을 이용하는 경우에는 불가능하다. 왜냐하면 이들은 선택된 오디오 오브젝트들을 강조하기 위한 사용자의 상호 작용을 허용 가능하도록 함 없이 원래의 입체 음향 장면을 가능한한 자연스럽게 재생하고자 하기 때문이다.

도 6b는 원격 회의가 세개의 원격 회의 장소(200, 202 및 208)에서 이루어지는 보다 복잡한 시나리오를 도시하고 있다. 각각의 장소는 단지 하나의 오디오 신호를 수신 및 송신할 수 있기 때문에, 기반구조는 소위 멀티 포인트 제어 유닛 MCU(210)를 사용한다. 각 장소(200, 202 및 208)는 MCU(210)으로 연결된다. 각각의 장소로부터 MCU(210)까지, 하나의 업스트립(upstream)은 각 장소로부터의 신호를 포함한다. 각각의 장소를 위한 다운스트림(downstream)은 해당 장소 자체의 신호를 가능한한 제외하고, 다른 모든 장소들의 신호의 혼합이 된다(소위 "N-1 신호").

이미 논의된 발명 개념과 발명의 파라미터 변환부호기에 따르면, 상기 SAOC 비트스트림 포맷은 산술적으로 효율적인 방법에 의하여, 즉 송신 장소의 입체 음향 장면의 완전한 복원이 선행되지 않아도 되는 방법으로, 둘 이상의 오브젝트 스트림들, 즉 다운 믹스 채널을 갖고, 오디오 오브젝트 파라미터들과 통합되는 두 스트림 들을 하나의 스트림으로 조합하는 능력을 지원한다. 이와 같은 조합은 본 발명에 따른 오브젝트들의 디코딩/재인코딩 없이도 지원된다. 이와 같은 입체 오디오 오브젝트 코딩 시나리오는 저 지연(low delay) AAC와 같은 저 지연 MPEG 통신 코더를 사용하는 경우 특히 유용하다.

본 발명 개념을 위한 흥미로운 다른 분야는, 게임 등과 같은 양방향 오디오이다. 낮은 계산 복잡성과 특정 렌더링 설정에 대한 독립성에 기인하여, SAOC는 게임 응용과 같은 양방향 오디오를 위한 음향을 표현하는데 이상적으로 알맞다. 오디오는 또한 출력단의 능력에 따라 렌더링 될 수 있다. 하나의 예로 사용자/플레이어는 현재 음향 장면의 렌더링/믹싱에 직접 영향을 줄 수 있다. 가상의 장면을 이동하는 것은 렌더링 파라미터들의 적용에 의하여 반영된다. SAOC 시퀀스/비트스트림의 유연한 세트의 사용은 사용자 상호 작용에 의해 제어되는 비 선형 게임 스토리의 재생을 가능하게 한다.

본 발명의 또 다른 실시예에 따르면 본 발명의 SAOC 코딩은 사용자가 동일한 가상 세게/장면에서 다른 플레이어들과 상호 동작하는 멀티 플레이어 게임 내에서 적용된다. 각 사용자들을 위하여, 비디오와 오디오 장면은 가상 세계 내에서의 사용자의 위치와 방향에 기초하고, 사용자의 로컬 단말기에 따라 렌더링된다. 일반적인 게임 파라미터들과 특정 사용자 데이터(위치, 개인 오디오; 채팅 등)은 공통된 게임 서버를 사용하여 다른 플레이어들 사이에서 교환된다. 레거시 기술에 의해서는, 게임 장면에서, 각 클라이언트 게임 장치에서 디폴트값에 의해 사용 가능하지 않은 모든 개별적 음원(특히 사용자 채팅, 특수 음향 효과들)은 인코딩되어 개별적 오디오 스트림으로 게임 장면의 각 플레이어들에게 보내진다. SAOC를 사용하여, 각 사용자를 위한 관련된 오디오 스트림이 게임 서버 상에서 쉽게 구성/조합될 수 있고, 플레이어에게 단일 오디오 스트림(모든 관련 오브젝트들을 포함하는)으로 전송될 수도 있으며, 각 오디오 오브젝트(=다른 게임 플레이어들의 오디오)를 위한 정확한 공간적 위치로 렌더링될 수 있다.

본 발명의 또 다른 실시예에 따르면, SAOC는 청취자의 기호에 따른 상대적인 레벨, 공간적 위치, 그리고 악기의 가청도 등을 조절하는 능력을 사용하여 멀티 채널 믹싱 데스크(mixing desk)의 제어와 유사한 제어에 의해 오브젝트 사운드트랙을 재생하는데 사용된다. 그에 따라 사용자는 다음에 나열되는 것들을 할 수 있다:

- 따라 연주하기 위한 특정 악기의 억제/감쇠(가라오케 타입의 응용)

- 그들의 기호를 반영하기 위하여 원래의 믹스를 변경(예를 들어, 댄스 파티를 위해 드럼을 강조하고 현악기를 줄이는 것 또는 휴식을 위한 음악을 위해 드럼을 줄이고 보컬을 늘리는 것)

- 그들의 기호에 따라 다른 보컬 트랙 사이의 선택(남성 리드 보컬에서 여성 리드 보컬)

위에서 보인 예에서와 같이, 본 발명의 개념의 응용은 매우 다양한 새롭고, 기존에 실행 불가능했던 응용분야를 개척한다. 이러한 응용들은 도 7의 본 발명의 멀티 채널 파라미터 변환 장치를 사용하거나, 도 8에 도시된 바와 같이 제1 및 제2 오디오 신호와 레벨 파라미터 사이의 상관관계를 나타내는 간섭 파라미터를 생성하는 방법을 수행할 때 가능해진다.

도 7은 본 발명의 다른 실시예를 보여준다. 멀티 채널 파라미터 변환 장치(300)는 오디오 오브젝트에 관련된 오브젝트 오디오 신호를 사용하여 생성되는 다운 믹스 채널에 대한 적어도 하나의 오디오 오브젝트를 위한 오브젝트 파라미터들을 제공하는 오브젝트 파라미터 제공자(302)를 포함한다. 상기 멀티 채널 파라미터 변환 장치(300)는 또한 간섭 파라미터와 레벨 파라미터를 산출하기 위한 파라미터 생성자(304)를 포함한다. 이때 간섭 파라미터는 멀티 채널 스피커 구성에 관련된 멀티 채널 오디오 신호 표현의 제1 및 제2 오디오 신호들 사이의 상관관계를 나타낸다. 그리고 상기 레벨 파라미터는 두 오디오 신호들 사이의 에너지 관계를 나타낸다. 상기 멀티 채널 파라미터들은 오브젝트 파라미터들과 재생에 사용되기 위한 멀티 채널 스피커 구성의 스피커들의 위치를 나타내는 추가적인 스피커 파라미터들을 사용하여 생성된다.

도 8은 멀티 채널 스피커 구성과 관련된 멀티 채널 오디오 신호 표현의 제1 및 제2 오디오 신호 사이의 상관관계를 나타내는 간섭 파라미터들을 생성하는 방법과, 상기 두 신호 사이의 에너지 관계를 나타내는 레벨 파라미터를 생성하는 방법에 대한 예를 보여준다. 제공하는 단계(310)에서, 오디오 오브젝트와 관련된 오브젝트 오디오 신호를 사용하여 생성되는 다운 믹스 채널과 관련된 적어도 하나의 오디오 오브젝트를 위한 오브젝트 파라미터들이 제공된다. 이때 상기 오브젝트 파라미터들은 오디오 오브젝트의 위치를 나타내는 방위 파라미터와 오브젝트 오디오 신호의 에너지를 나타내는 에너지 파라미터들을 포함한다.

변환 단계(312)에서는, 상기 방위 파라미터와 상기 에너지 파라미터를 재생 에 사용하고자 하는 멀티 채널 스피커 구성의 스피커들의 위치를 나타내는 스피커 파라미터들과 함께 조합하여 상기 간섭 파라미터와 레벨 파라미터를 유도한다.

다른 실시예들은 멀티 채널 스피커 구성에 관련된 멀티 채널 오디오 신호 표현의 두 오디오 신호들 사이의 상관관계를 나타내는 간섭 파라미터들을 생성하고, 입체 오디오 오브젝트 코딩된 비트스트림에 기초하여 두 오디오 신호들 사이의 에너지 관계를 나타내는 레벨 파라미터를 생성하는 오브젝트 파라미터 변환부호기를 포함한다. 이 장치는 입체 오디오 오브젝트 코딩된 비트스트림으로부터 다운 믹스 채널과 관련된 오브젝트 파라미터들을 추출하는 비트스트림 분해 장치와 위에 설명한 바와 같은 멀티 채널 파라미터 변환 장치가 포함된다.

택일적으로 또는 선택적으로, 오브젝트 파라미터 변환부호기는 멀티 채널 신호의 멀티 채널 표현을 산출하기 위하여 다운 믹스 채널, 간섭 파라미터 그리고 레벨 파라미터를 조합하는 멀티 채널 비트스트림 생성자 또는 양자화 및/또는 엔트로피 인코딩 없이도 레벨 파라미터와 간섭 파라미터를 직접 출력할 수 있는 출력 인터페이스를 포함한다.

다른 하나의 오브젝트 파라미터 변환부호기는 간섭 파라미터와 레벨 파라미터의 조합에 의하여 다운 믹스 채녈을 출력하도록 동작하는 출력 인터페이스 또는 저장 매체에 레벨 파라미터와 간섭 파라미터를 저장하기 위하여 출력 인터페이스에 연결되는 저장 인터페이스를 포함한다.

나아가, 오브젝트 파라미터 변환부호기는 이미 설명한 바와 같이 멀티 채널 스피커 구성의 서로 다른 스피커들을 표현하는 다른 오디오 신호 쌍들을 위한 복수 의 간섭 파라미터와 레벨 파라미터를 산출하도록 동작하는 멀티 채널 파라미터 변환 장치를 포함한다.

본 발명의 방법들의 특정 수행 조건들에 의존하여, 본 발명 방법들은 하드웨어적으로 또는 소프트웨어적으로 구현가능하다. 본 발명의 구현은 그 내부에 전자적으로 독출가능한 제어 신호들을 포함하고, 프로그래밍 가능한 컵ㅁ퓨터시스템과 연동하여 본 발명의 방법을 수행할 수 있는 디스크, DVD 또는 CD 등의 디지털 저장 매체를 사용하여 수행될 수 있다. 따라서 본 발명은 일반적으로 기계 독출 가능한 매개체에 저장되는 프로그램 코드를 포함하는 컴퓨터 프로그램 제품이다. 이때, 상기 프로그램 코드는 컴퓨터 상에서 상기 컴퓨터 프로그램 제품을 운영할 때 상기 본 발명의 방법을 수행하기 위하여 동작된다. 다시 말해, 본 발명의 방법은 따라서 컴퓨터 프로그램이 컴퓨터 상에서 운영될 때 적어도 하나의 본 발명의 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램이 된다.

본 발명이 특정 실시예에 참조하여 도시되고 설명되었지만, 형태 및 세부사항에서 다양한 다른 변경이 본 발명의 사상이나 범위를 벗어나지 않고 이루어질 수 있다는 것을 당업자는 이해할 것이다. 다양한 변경들이 여기에 개시되고 하기의 청구범위에 의해 파악되는 광의의 컨셉으로부터 벗어나지 않고 다른 실시예들에 적응되도록 이루어질 수 있다는 것을 유념한다.

Claims (27)

1. 멀티 채널 입체 오디오 신호 표현의 제1오디오 신호와 제2오디오 신호 사이의 에너지의 관계를 나타내는 레벨 파라미터를 생성하는 멀티 채널 파라미터 변환 장치에 있어서,

   오디오 오브젝트들과 관련된 오브젝트 오디오 신호에 의존하는 다운믹스(down-mix) 채널과 관련된 복수의 오디오 오브젝트들로 오브젝트 파라미터를 공급하기 위한 오브젝트 파라미터 공급자, 여기서 상기 오브젝트 파라미터는 상기 오디오 오브젝트들 각각에 대하여 상기 오브젝트 오디오 신호의 에너지 정보를 나타내는 에너지 파라미터를 포함하고;

   렌더링 구성과 관련된 오브젝트 렌더링 파라미터와 에너지 파라미터를 결합하여 상기 레벨 파라미터를 유도하는 파라미터 생성자를 포함하여 구성되며;

   파라미터 생성자는 부가적으로 오브젝트 렌더링 파라미터와 에너지 파라미터에 근거한 간섭파라미터를 유도하기에 적절하고, 그 간섭파라미터는 제 1 오디오 신호와 제 2 오디오 신호사이의 상관을 나타내는 것이며;

   상기 오브젝트 파라미터 공급자는 제1 스테레오 서브 오브젝트와 제2스테레오 서브 오브젝트를 포함하는 스테레오 오브젝트를 위한 파라미터들과, 상기 스테레오 오디오 오브젝트의 상기 제1서브 오브젝트에 대한 제1에너지 파라미터 (σ² _i)와 상기 스테레오 오디오 오브젝트의 상기 제2서브 오브젝트에 대한 제2에너지 파라미터(σ² _j)를 포함하는 에너지 파라미터들, 그리고 상기 스테레오 오브젝트의 서브 오브젝트들 사이의 상관성을 나타내는 스테레오 상관 파라미터(ICC_i,j)를 제공하기에 적합하고,

   상기 파라미터 생성자는 멀티 채널 스피커 구성의 제1 및 제2 스피커로 분배될 상기 오브젝트 오디오 신호의 에너지의 일부를 나타내는 제1 및 제2 가중 파라미터(weighting parameter)를 오브젝트 렌더링 파라미터로 사용하기에 적절하고, 상기 제1 및 제2 가중 파라미터는 상기 멀티 채널 스피커 구성의 스피커들의 위치를 나타내는 스피커 파라미터들에 의존하며, 상기 제1 및 제2 가중파라미터는, 멀티 채널 스피커 구성의 제 1 및 제 2 스피커로 분배되기 위한 제 1 서브 오브젝트의 오브젝트 오디오 신호의 에너지의 일부를 나타내는(w _1,i) 및 (w _2,i)와, 멀티 채널 스피커 구성의 제 1 및 제 2 스피커로 분배되기 위한 제 2 서브 오브젝트의 오브젝트 오디오 신호의 에너지의 일부를 나타내는(w _1,j) 및 (w _2,j)를 포함하여 구성되며,

   상기 파라미터 생성자는, 상기 제1에너지 파라미터(σ² _i), 상기 제2에너지 파라미터(σ² _j), 상기 스테레오 상관 파라미터(ICCi,j) 및, 상기 제1 및 제2 가중파라미터(w _1,i),(w _2,i),(w _1,j) 및 (w _2,j)를 이용하여, 상기 제1오디오 신호에 대한 전력 추정치(P_0,1)와 상기 제2오디오 신호에 대한 전력 추정치(P_0,2), 그리고 교차 전력 상관(R₀)에 기초한 상기 간섭 파라미터와 상기 레벨 파라미터를 산출하도록 동작함으로써, 상기 전력 추정치들과 사이 교차 상관 추정치가 다음 방정식에 의하여 특성지어질 수 있도록 하는 것을 특징으로 하는 멀티 채널 파라미터 변환 장치:

   
2. 삭제
3. 제1항에 있어서,

   상기 오브젝트 렌더링 파라미터들은 상기 오디오 오브젝트 각각의 위치를 나타내는 오브젝트 위치 파라미터에 의존함을 특징으로 하는 멀티 채널 파라미터 변환 장치.
4. 제1항에 있어서,

   상기 렌더링 구성은 멀티 채널 스피커 구성을 포함하고,

   상기 오브젝트 렌더링 파라미터들은 상기 멀티 채널 스피커 구성의 스피커 위치를 나타내는 스피커 파라미터들에 의존함을 특징으로 하는 멀티 채널 파라미터 변환 장치.
5. 제1항에 있어서,

   상기 오브젝트 파라미터 공급자는 청취(listening) 위치에 대한 상기 오브젝트의 위치를 나타내는 방위 파라미터를 부가적으로 포함하는 오브젝트 파라미터들을 제공하도록 동작되고;

   상기 파라미터 생성자는 상기 청취 위치에 대한 스피커의 위치를 나타내는 스피커 파라미터와 상기 방위 파라미터에 의존하는 오브젝트 렌더링 파라미터를 사용하도록 동작됨을 특징으로 하는 멀티 채널 파라미터 변환 장치.
6. 제1항에 있어서,

   상기 오브젝트 파라미터 공급자는 스피커 구성 내의 청취 위치에 대한 상기 오브젝트의 사용자 선택 위치를 나타내는 방위 파라미터를 부가적으로 포함하는 사용자 입력 오브젝트 파라미터를 수신하도록 동작되고;

   상기 파라미터 생성자는 상기 청취 위치에 대한 스피커들의 위치를 나타내는 스피커 파라미터와 상기 사용자 입력 방위 파라미터에 의존하는 상기 오브젝트 렌더링 파라미터를 사용하도록 동작됨을 특징으로 하는 멀티 채널 파라미터 변환 장치.
7. 제5항에 있어서,

   상기 오브젝트 파라미터 공급자와 상기 파라미터 생성자는 레퍼런스(reference) 평면 내의 각도를 나타내는 방위 파라미터를 사용하도록 동작되고, 상기 레퍼런스 평면 내에는 상기 청취 위치와 상기 스피커 파라미터들에 의해 나타내어지는 위치를 갖는 스피커들이 포함됨을 특징으로 하는 멀티 채널 파라미터 변환 장치.
8. 제1항에 있어서,

   상기 파라미터 생성자는, 상기 제1 및 제2 가중 파라미터가 상기 멀티 채널 스피커 구성의 스피커들의 위치를 나타내는 스피커 파라미터들에 의존함으로써, 상기 스피커 파라미터들이 상기 제1 및 제2 스피커가 상기 오디오 오브젝트의 위치에 대하여 최소 거리를 갖는 스피커들에 속함을 나타낼 때 상기 가중 파라미터들은 0이 아니게 되도록 채택됨을 특징으로 하는 멀티 채널 파라미터 변환 장치.
9. 제8항에 있어서,

   상기 파라미터 생성자는, 상기 스피커 파라미터들이 상기 제2스피커와 상기 오디오 오브젝트 사이의 거리보다 상기 제1스피커와 상기 오디오 오브젝트의 위치 사이의 거리가 더 낮음을 나타낼 때, 상기 제1스피커에 대하여 더 큰 상기 오디오 신호 에너지 비율을 나타내는 가중 파라미터들을 사용하기에 적절한 것을 특징으로 하는 멀티 채널 파라미터 변환 장치.
10. 제8항에 있어서,

    상기 파라미터 생성자는,

    상기 제1 및 제2 스피커에 대한 스피커 파라미터들(Θ₁ 및 Θ₂)과 상기 오디오 오브젝트의 방위 파라미터(α)에 의존하는 상기 제1 및 제2 가중 파라미터(w₁ 및 w₂)를 제공하기 위한 가중 인수 생성자를 포함하여 구성되고, 상기 스피커 파라미터들(Θ₁, Θ₂)과 상기 방위 파라미터(α)는 청취 위치에 대한 상기 스피커들과 상기 오디오 오브젝트의 위치의 방위를 나타내는 것을 특징으로 하는 멀티 채널 파라미터 변환 장치.
11. 멀티 채널 입체 오디오 신호 표현의 제1오디오 신호와 제2오디오 신호 사이의 에너지의 관계를 나타내는 레벨 파라미터를 생성하는 멀티 채널 파라미터 변환 장치에 있어서,

    오디오 오브젝트들과 관련된 오브젝트 오디오 신호에 의존하는 다운믹스(down-mix) 채널과 관련된 복수의 오디오 오브젝트들로 오브젝트 파라미터를 공급하기 위한 오브젝트 파라미터 공급자, 여기서 상기 오브젝트 파라미터는 상기 오디오 오브젝트들 각각에 대하여 상기 오브젝트 오디오 신호의 에너지 정보를 나타내는 에너지 파라미터를 포함하고;

    렌더링 구성과 관련된 오브젝트 렌더링 파라미터와 에너지 파라미터를 결합하여 상기 레벨 파라미터를 유도하는 파라미터 생성자를 포함하여 구성되며;

    상기 파라미터 생성자는 멀티 채널 스피커 구성의 제1 및 제2 스피커로 분배될 상기 오브젝트 오디오 신호의 에너지의 일부를 나타내는 제1 및 제2 가중 파라미터(weighting parameter)를 오브젝트 렌더링 파라미터로 사용하기에 적절하고, 상기 제1 및 제2 가중 파라미터는 상기 멀티 채널 스피커 구성의 스피커들의 위치를 나타내는 스피커 파라미터들에 의존함으로써 상기 스피커 파라미터들이 상기 제1 및 제2 스피커가 상기 오디오 오브젝트의 위치에 대하여 최소 거리를 갖는 스피커들에 속함을 나타낼 때 상기 가중 파라미터들은 0이 아니게 되도록 채택되며,

    상기 파라미터 생성자는, 상기 제1 및 제2 스피커에 대한 스피커 파라미터들(Θ₁ 및 Θ₂)과 상기 오디오 오브젝트의 방위 파라미터(α)에 의존하는 상기 제1 및 제2 가중 파라미터(w₁ 및 w₂)를 제공하기 위한 가중 인수 생성자를 포함하여 구성되고, 상기 스피커 파라미터들(Θ₁, Θ₂)과 상기 방위 파라미터(α)는 청취 위치에 대한 상기 스피커들과 상기 오디오 오브젝트의 위치의 방위를 나타내며,

    상기 가중 인수 생성자는 다음 등식이 만족되도록 상기 가중 파라미터들(w₁, w₂)을 제공하도록 동작하고,

    

    ; 그리고

    

    ;

    이때 상기 P는 재생 시스템/공간의 공간 음향 특성을 반영하기 위하여 설정되고, 1≤P≤2 범위로 제한되는 선택적인 패닝(panning) 규칙 파라미터임을 특징으로 하는 멀티 채널 파라미터 변환 장치.
12. 멀티 채널 입체 오디오 신호 표현의 제1오디오 신호와 제2오디오 신호 사이의 에너지의 관계를 나타내는 레벨 파라미터를 생성하는 멀티 채널 파라미터 변환 장치에 있어서,

    오디오 오브젝트들과 관련된 오브젝트 오디오 신호에 의존하는 다운믹스(down-mix) 채널과 관련된 복수의 오디오 오브젝트들로 오브젝트 파라미터를 공급하기 위한 오브젝트 파라미터 공급자, 여기서 상기 오브젝트 파라미터는 상기 오디오 오브젝트들 각각에 대하여 상기 오브젝트 오디오 신호의 에너지 정보를 나타내는 에너지 파라미터를 포함하고;

    렌더링 구성과 관련된 오브젝트 렌더링 파라미터와 에너지 파라미터를 결합하여 상기 레벨 파라미터를 유도하는 파라미터 생성자를 포함하여 구성되며;

    상기 파라미터 생성자는 멀티 채널 스피커 구성의 제1 및 제2 스피커로 분배될 상기 오브젝트 오디오 신호의 에너지의 일부를 나타내는 제1 및 제2 가중 파라미터(weighting parameter)를 오브젝트 렌더링 파라미터로 사용하기에 적절하고, 상기 제1 및 제2 가중 파라미터는 상기 멀티 채널 스피커 구성의 스피커들의 위치를 나타내는 스피커 파라미터들에 의존함으로써 상기 스피커 파라미터들이 상기 제1 및 제2 스피커가 상기 오디오 오브젝트의 위치에 대하여 최소 거리를 갖는 스피커들에 속함을 나타낼 때 상기 가중 파라미터들은 0이 아니게 되도록 채택되며,

    상기 파라미터 생성자는, 상기 제1 및 제2 스피커에 대한 스피커 파라미터들(Θ₁ 및 Θ₂)과 상기 오디오 오브젝트의 방위 파라미터(α)에 의존하는 상기 제1 및 제2 가중 파라미터(w₁ 및 w₂)를 제공하기 위한 가중 인수 생성자를 포함하여 구성되고, 상기 스피커 파라미터들(Θ₁, Θ₂)과 상기 방위 파라미터(α)는 청취 위치에 대한 상기 스피커들과 상기 오디오 오브젝트의 위치의 방위를 나타내며,

    상기 가중 인수 생성자는 상기 오디오 오브젝트에 관련된 공배수 이득값을 적용함으로써 상기 가중 파라미터들을 부가적으로 측정하도록 동작됨을 특징으로 하는 멀티 채널 파라미터 변환 장치.
13. 제1항에 있어서,

    상기 파라미터 생성자는, 하나의 스피커를 위한 신호이거나 또는 스피커 신호들의 그룹을 표현하는 가상신호인 제1오디오 신호에 대한 제1전력 추정치(P_{k ,1})와 다른 또 하나의 스피커를 위한 신호이거나 또는 스피커 신호들의 다른 그룹을 표현하는 가상 신호인 제2오디오 신호에 대한 제2전력 추정치(P_{k ,2})에 기초하여 상기 간섭 파라미터 또는 상기 레벨 파라미터를 유도하도록 동작되고, 상기 제1오디오 신호의 상기 제1전력 추정치(P_{k ,1})는 상기 제1오디오 신호에 대한 가중 파라미터들과 상기 에너지 파라미터들에 의존하고, 상기 제2전력 추정치(P_{k ,2})는 상기 제2오디오 신호에 대한 가중 파라미터들과 상기 에너지 파라미터들에 의존하며, 이때 k는 서로 다른 제1 및 제2 신호의 복수의 쌍들 중 하나의 쌍을 나타내는 정수이고, 상기 가중 파라미터들은 상기 오브젝트 렌더링 파라미터들에 의존함을 특징으로 하는 멀티 채널 파라미터 변환 장치.
14. 삭제
15. 삭제
16. 삭제
17. 제13항에 있어서,

    상기 파라미터 생성자는 다음 등식에 기초하여 상기 레벨 파라미터(CLD_k)를 유도하기에 적절한 것을 특징으로 하는 멀티 채널 파라미터 변환 장치:

    
18. 제13항에 있어서,

    상기 파라미터 생성자는 상기 에너지 파라미터들(σ_i ²)과 상기 제1오디오 신 호에 대한 상기 가중 파라미터들(w₁)과 상기 제2오디오 신호에 대한 상기 가중 파라미터들(w₂)에 의존하는 상기 제1 및 제2 오디오 신호에 대한 교차 전력(cross power) 추정치(R_k)에 기초하여 상기 간섭 파라미터를 유도하기에 적절하고, 이때 i는 상기 복수의 오디오 오브젝트들 중 어느 하나의 오브젝트를 나타내기 위한 색인인 것을 특징으로 하는 멀티 채널 파라미터 변환 장치.
19. 삭제
20. 제18항에 있어서,

    상기 파라미터 생성자는 다음 등식에 기초하여 상기 간섭 파라미터(ICC)를유도하도록 동작하는 것을 특징으로 하는 멀티 채널 파라미터 변환 장치:

    

    .
21. 제1항에 있어서,

    상기 파라미터 공급자는 각각의 오디오 오브젝트와 복수의 주파수 대역들 또는 주파수 대역 각각으로 에너지 파라미터를 제공하기에 적합하고, 상기 파라미터 공급자는 각각의 주파수 대역에 대한 상기 레벨 파라미터 또는 상기 간섭 파라미터를 산출하도록 동작함을 특징으로 하는 멀티 채널 파라미터 변환 장치.
22. 제1항에 있어서,

    상기 파라미터 공급자는 상기 오브젝트 오디오 신호의 서로 다른 시간 비율에 대하여 서로 다른 오브젝트 렌더링 파라미터를 사용하도록 동작함을 특징으로 하는 멀티 채널 파라미터 변환 장치.
23. 멀티 채널 입체 오디오 신호 표현의 제1오디오 신호와 제2오디오 신호 사이의 에너지의 관계를 나타내는 레벨 파라미터를 생성하는 멀티 채널 파라미터 변환 장치에 있어서,

    오디오 오브젝트들과 관련된 오브젝트 오디오 신호에 의존하는 다운믹스(down-mix) 채널과 관련된 복수의 오디오 오브젝트들로 오브젝트 파라미터를 공급하기 위한 오브젝트 파라미터 공급자, 여기서 상기 오브젝트 파라미터는 상기 오디오 오브젝트들 각각에 대하여 상기 오브젝트 오디오 신호의 에너지 정보를 나타내는 에너지 파라미터를 포함하고;

    렌더링 구성과 관련된 오브젝트 렌더링 파라미터와 에너지 파라미터를 결합하여 상기 레벨 파라미터를 유도하는 파라미터 생성자를 포함하여 구성되며;

    상기 파라미터 생성자는 멀티 채널 스피커 구성의 제1 및 제2 스피커로 분배될 상기 오브젝트 오디오 신호의 에너지의 일부를 나타내는 제1 및 제2 가중 파라미터(weighting parameter)를 오브젝트 렌더링 파라미터로 사용하기에 적절하고, 상기 제1 및 제2 가중 파라미터는 상기 멀티 채널 스피커 구성의 스피커들의 위치를 나타내는 스피커 파라미터들에 의존함으로써 상기 스피커 파라미터들이 상기 제1 및 제2 스피커가 상기 오디오 오브젝트의 위치에 대하여 최소 거리를 갖는 스피커들에 속함을 나타낼 때 상기 가중 파라미터들은 0이 아니게 되도록 채택되며,

    상기 가중 인수 생성자는, 각각의 오디오 오브젝트(i)에 대하여, 오브젝트 방위 파라미터들(α_i)과 스피커 파라미터들(Θ)에 의존하는 r번째 스피커의 가중 인수(w_r,i)들을 유도하도록 동작되는 것을 특징으로 하는 멀티 채널 파라미터 변환 장치:

    
24. 삭제
25. 삭제
26. 멀티 채널 입체 오디오 신호 표현의 제1오디오 신호와 제2오디오 신호 사이의 에너지의 관계를 나타내는 레벨 파라미터를 생성하는 멀티 채널 파라미터 변환 방법에 있어서,

    오디오 오브젝트들과 관련된 오브젝트 오디오 신호들에 의존하는 다운 믹스 채널과 관련된 복수의 오디오 오브젝트로 상기 오브젝트 오디오 신호에 대한 에너지 정보를 나타내는 오디오 오브젝트 각각에 대한 에너지 파라미터를 포함하는 오브젝트 파라미터들을 제공하는 단계;

    상기 에너지 파라미터들과 렌더링 구성에 대한 오브젝트 렌더링 파라미터들을 결합하여 상기 레벨 파라미터를 유도하는 단계; 및,

    오브젝트 렌더링 파라미터와 에너지 파라미터에 근거하여, 제 1 오디오 신호와 제 2 오디오 신호사이의 상관을 나타내는 간섭파라미터를 유도하는 단계를 포함하여 구성되며,

    오브젝트 파라미터의 공급은, 제1 스테레오 서브 오브젝트와 제2스테레오 서브 오브젝트를 포함하는 스테레오 오브젝트를 위한 파라미터들을 제공하는 단계를 포함하여 구성되며, 에너지 파라미터들은 상기 스테레오 오디오 오브젝트의 상기 제1서브 오브젝트에 대한 제1에너지 파라미터 (σ² _i)와 상기 스테레오 오디오 오브젝트의 상기 제2서브 오브젝트에 대한 제2에너지 파라미터(σ² _j) 및, 상기 스테레오 오브젝트의 서브 오브젝트들 사이의 상관성을 나타내는 스테레오 상관 파라미터(ICC_i,j)를 가지며;

    상기 레벨 및 간섭파라미터의 유도는, 멀티 채널 스피커 구성의 제1 및 제2 스피커로 분배될 상기 오브젝트 오디오 신호의 에너지의 일부를 나타내는 제1 및 제2 가중 파라미터(weighting parameter)를 오브젝트 렌더링 파라미터로 사용하고, 상기 제1 및 제2 가중 파라미터는 상기 멀티 채널 스피커 구성의 스피커들의 위치를 나타내는 스피커 파라미터들에 의존하며, 상기 제1 및 제2 가중파라미터는, 멀티 채널 스피커 구성의 제 1 및 제 2 스피커로 분배되기 위한 제 1 서브 오브젝트의 오브젝트 오디오 신호의 에너지의 일부를 각각 나타내는(w _1,i) 및 (w _2,i)와, 멀티 채널 스피커 구성의 제 1 및 제 2 스피커로 분배되기 위한 제 2 서브 오브젝트의 오브젝트 오디오 신호의 에너지의 일부를 나타내는(w _1,j) 및 (w _2,j)를 각각 포함하여 구성되며,

    상기 레벨 파라미터의 유도는, 상기 제1에너지 파라미터(σ² _i), 상기 제2에너지 파라미터(σ² _j), 상기 스테레오 상관 파라미터(ICCi,j) 및, 상기 제1 및 제2 가중파라미터(w _1,i),(w _2,i),(w _1,j) 및 (w _2,j)를 이용하여, 상기 제1오디오 신호에 대한 전력 추정치(P_0,1)와 상기 제2오디오 신호에 대한 전력 추정치(P_0,2), 그리고 교차 전력 상관(R₀)에 기초한 상기 간섭 파라미터와 상기 레벨 파라미터가 유도되도록 수행되며, 상기 전력 추정치들과 사이 교차 상관 추정치가 다음 방정식에 의하여 특성지어질 수 있도록 하는 것을 특징으로 하는 멀티 채널 파라미터 변환 방법:

    
27. 청구항 26에 따른 멀티 채널 입체 오디오 신호 표현의 제1오디오 신호와 제2오디오 신호 사이의 에너지 관계를 나타내는 레벨 파라미터를 생성하는 멀티 채널 파라미터 변환 방법을 수행하는 프로그램을 기록한 컴퓨터로 판독가능한 매체.

Images