JP2013033299A

JP2013033299A - マルチチャンネル信号の復号化及び符号化方法、記録媒体及びシステム

Info

Publication number: JP2013033299A
Application number: JP2012253715A
Authority: JP
Inventors: Jung-Hoe Kim; キム，ジュン−フェ; Eun-Mi Oh; オー，ウン−ミ; Ki-Hyun Choo; ジュー，ギ−ヒョン; Lei Miao; ミアオ，レイ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2006-01-11
Filing date: 2012-11-19
Publication date: 2013-02-14
Anticipated expiration: 2027-01-11
Also published as: JP5563647B2; US9369164B2; EP1977417A1; KR20120099191A; US20070189426A1; KR20070094422A; EP2541546A1; US9706325B2; EP1977417B1; US20160302021A1; JP2009523259A; WO2007081166A1; EP1977417A4; JP5437638B2; KR101218777B1; KR101218776B1

Abstract

【課題】左側チャンネル及び右側チャンネルを最後にダウンミキシングして符号化し、左側チャンネル及び右側チャンネルを優先的にアップミキシングして復号化するマルチチャンネル符号化／復号化方法及びシステムを提供する。
【解決手段】マルチチャンネル信号の復号化及び符号化方法、記録媒体及びシステムを提供する。これにより、マルチチャンネルからダウンミックスされた信号に対して左側チャンネル及び右側チャンネルを優先的にアップミキシングすることによって、スケーラブルチャンネル復号化時にも左側及び右側の音質が低下せずに高音質で出力できる。
【選択図】図２

Description

本発明の一実施形態は、オーディオコーディングに係り、特にマルチチャンネルにオーディオ信号を符号化／復号化するサラウンドオーディオコーディングに関する。

一般的に、マルチチャンネルオーディオコーディングには、ウェーブフォームマルチチャンネルオーディオコーディング及びパラメトリックマルチチャンネルオーディオコーディングがある。ウェーブフォームマルチチャンネルオーディオコーディングには、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−２ＭＣオーディオコーディング、ＡＡＣＭＣオーディオコーディング及びＢＳＡＣ／ＡＶＳＭＣオーディオコーディングなどがあり、５個のチャンネル信号を入力として５個のチャンネル信号に出力する。パラメトリックマルチチャンネルオーディオコーディングは、ＭＰＥＧサラウンドコーディングがあり、一つまたは二つの入力チャンネルを６個または８個のマルチチャンネルに出力する。

ここで、ＭＰＥＧサラウンドコーディングは、図１Ａに示した５−１−５の１ツリー構造と、図１Ｂに示した５−１−５の２ツリー構造とを利用することによって、マルチチャンネルに信号を復号化することによってアップミキシングして出力する。かかるツリー構造は、モノ信号を入力されてＯＴＴ（１−ｔｏ−２）モジュールの組み合わせで処理してＦＬ（ＦｒｏｎｔＬｅｆｔ）、ＦＲ（ＦｒｏｎｔＲｉｇｈｔ）、Ｃ（Ｃｅｎｔｅｒ）、ＬＦＥ（ＬｏｗＦｒｅｑｕｅｎｃｙＥｎｈａｎｃｅｍｅｎｔ）、ＢＬ（ＢａｃｋＬｅｆｔ）及びＢＲ（ＢａｃｋＲｉｇｈｔ）に該当するマルチチャンネルに出力する。

図１ＡのＯＴＴ_０モジュールから出力される信号を見れば、５−１−５の１ツリー構造では、ＦＬ，ＦＲ，Ｃ及びＬＦＥがミックスされた信号、ＢＬ及びＢＲがミックスされた信号として出力される。そして、図１ＢのＯＴＴ_０モジュールから出力される信号を見れば、５−１−５の２ツリー構造では、ＦＬ，ＢＬ，ＦＲ及びＢＲがミックスされた信号、Ｃ及びＬＦＥがミックスされた信号として出力される。しかし、図１Ａに示した５−１−５の１ツリー構造及び図１Ｂに示した５−１−５の２ツリー構造に設けられたＯＴＴ_０モジュールの出力端でプルーニングを行う場合、ＯＴＴ_０モジュールは、前方チャンネル及び後方チャンネルと関連して最初にアップミキシングするので、左側チャンネル及び右側チャンネルに対して音質が低下するという問題点を有する。

これにより、後述する本発明の実施形態は、かかる問題点を克服するための実施形態である。

本発明が解決しようとする課題は、左側チャンネル及び右側チャンネルを最後にダウンミキシングして符号化し、左側チャンネル及び右側チャンネルを優先的にアップミキシングして復号化するマルチチャンネル符号化／復号化方法及びシステムを提供するところにある。

本発明のその他の側面及び利点は、以下の明細書で明細書の内容それ自体あるいは本発明の実行により理解される。

前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、左側チャンネルと右側チャンネルとの間の情報を含む。

前記課題を解決するために、定義されたチャンネルからなるマルチチャンネル信号を入力され、入力されたマルチチャンネル信号を復号化する本発明の一実施形態によるマルチチャンネル復号化方法は、ダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記定義されたチャンネルのうち少なくとも一つを復号化するための個別情報を含む。

前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、左側チャンネルと右側チャンネルとの間のＣＬＤ（ＣｈａｎｎｅｌＬｅｖｅｌＤｉｆｆｅｒｅｎｃｅ）またはＩＣＣ（ＩｎｔｅｒＣｈａｎｎｅｌＣｏｒｒｅｌａｔｉｏｎ）を含む。

前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記ダウンミックスされた信号を入力されて、左側チャンネル及び右側チャンネルにアップミキシングするモジュールで利用される空間情報を含む。

前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記ダウンミックスされた信号を左側チャンネル及び右側チャンネルに優先してアップミキシングする空間情報を含む。

前記課題を解決するために、前記方法は、コンピュータで実行されるコンピュータプログラムで具現されてコンピュータで読み取り可能な記録媒体に保存されうる。

前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成する前マトリックス適用部と、前記各生成された信号を非相関器に入力して非相関化する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、左側チャンネルと右側チャンネルとの間の情報を含む。

前記課題を解決するために、定義されたチャンネルからなるマルチチャンネル信号を入力され、入力されたマルチチャンネル信号を復号化する本発明の一実施形態によるマルチチャンネル復号化システムは、ダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成する前マトリックス適用部と、前記生成された信号を非相関器に入力して非相関化する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、前記定義されたチャンネルのうち少なくとも一つを復号化するための個別情報を含む。

前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成する前マトリックス適用部と、前記各生成された信号を非相関器に入力して非相関する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、左側チャンネルと右側チャンネルとの間のＣＬＤまたはＩＣＣを含む。

前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成する前マトリックス適用部と、前記各生成された信号を非相関器に入力して非相関化する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、前記ダウンミックスされた信号を入力されて、左側チャンネル及び右側チャンネルにアップミキシングするモジュールで利用される空間情報を含む。

前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記ダウンミックスされた信号を左側チャンネル及び右側チャンネルに優先してアップミキシングする空間情報を含む。

前記課題を解決するために、本発明の一実施形態によるマルチチャンネル符号化方法は、マルチチャンネル信号から左側チャンネル及び右側チャンネルを最後にダウンミキシングするステップと、前記ダウンミキシングされた信号の空間情報を抽出するステップと、前記ダウンミキシングされた信号及び前記抽出された空間情報を含むビットストリームを生成するステップと、を含む。

前記課題を解決するために、本発明の一実施形態によるマルチチャンネル符号化システムは、マルチチャンネル信号から左側チャンネル及び右側チャンネルを最後にダウンミキシングするダウンミキシング部と、前記ダウンミックスされた信号の空間情報を抽出する情報抽出部と、前記ダウンミックスされた信号及び前記抽出された空間情報を含むビットストリームを生成するビットストリーム生成部と、を備える。

ＭＰＥＧサラウンドの５−１−５の１ツリー構造を示す図である。ＭＰＥＧサラウンドの５−１−５の２ツリー構造を示す図である。本発明の一実施形態によるマルチチャンネル復号化方法の一実施形態を示すフローチャートである。本発明の一実施形態によるマルチチャンネル復号化システムの一実施形態を示すブロック図である。本発明の一実施形態によるマルチチャンネル復号化方法及びシステムで適用する５−１−５の３ツリー構造を示す図である。本発明の一実施形態によるマルチチャンネル復号化方法及びシステムで入力される信号と出力される信号との数学的関係を示す概念図である。本発明の一実施形態によるマルチチャンネル符号化方法の一実施形態を示すフローチャートである。本発明の一実施形態によるマルチチャンネル符号化システムの一実施形態を示すブロック図である。

以下、添付された図面を参照して、本発明によるマルチチャンネル復号化及び符号化方法及びシステムについて詳細に説明する。図面内の識別番号は、その識別番号が表す構成要素を指す。本発明を説明するための実施形態を、図面を参照して後述する。

図２は、本発明によるマルチチャンネル復号化方法の一実施形態を示すフローチャートである。以下では、復号化過程は、図４に示したように、まず、入力されたダウンミックスされたＬ（Ｌｅｆｔ）チャンネル信号とＲ（Ｒｉｇｈｔ）チャンネル信号とをアップミックスし、次いで、Ｌ，Ｒ，Ｃチャンネル信号それぞれをアップミックスするための第１レベル／ステップＯＴＴ_０（１−ｔｏ−２）モジュール及びＴＴＴ_０（２−ｔｏ−３）モジュールのために述べられることである。かかる復号化過程と共に、入力されたダウンミックスされた信号の選択的なアップミキシング／復号化が可能である。

これにより、まず、符号化端から伝送されたサラウンドビットストリームを分析して、空間情報及び付加情報を抽出する（ステップ２００）。

ステップ２００で抽出された空間情報を利用して、低ビット率で空間情報が急激に変化することを防止するために選択的に空間情報をスムージングする（ステップ２０３）。

ステップ２０３後に、既存のマトリックスサラウンド方式と互換性を維持するために、追加的なチャンネル別に利得値を計算し、プリベクトルを計算し、復号化端でエクスターナルダウンミックスを使用する場合、チャンネル別に利得値を補償するための変数を抽出することによって、行列Ｒ１を生成する（ステップ２０６）。ステップ２０６で生成された行列Ｒ１は、非相関部３４０に設けられた非相関器に入力するための信号を生成するのに使われる行列である。ステップ２０６で行列Ｒ１を生成するにおいて、空間情報を利用する。ここで、利用される空間情報は、ＬチャンネルとＲチャンネルとの間のＣＬＤまたはＩＣＣのようなＬチャンネルとＲチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をＬチャンネル及びＲチャンネルに入力して、図４の４００に設けられたＯＴＴ_０モジュールで利用される空間情報をいう。Ｌチャンネル及びＲチャンネルが復号化されるときのみ、空間情報は、ＬチャンネルとＲチャンネルとの間の個別的なＣＬＤまたはＩＣＣのみを含む。

ステップ２０６では、図４のＴＴＴ_０モジュールのモードによってＲ１を異なって生成する。例えば、ＴＴＴ_０モジュールのモードを表す変数として、ＭＰＥＧサラウンドでは、次の表に示した関係を有するｂｓＴｔｔＭｏｄｅＬｏｗを利用する。

ここで、ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘２’より小さい場合、次の式（１）に記載された行列Ｒ１を生成する。

ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘３’である場合、次の式（２）に記載された行列Ｒ１を生成する。

ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘５’である場合、次の式（３）に記載された行列Ｒ１を生成する。

ステップ２０６で生成された行列Ｒ１に対して補間を行って、行列Ｍ１を生成する（ステップ２０８）。

非相関化された信号とダイレクト信号とをミックスするのに使われる行列Ｒ２を、次に記載された式（４）を利用して生成する（ステップ２１０）。ステップ２１０で行列Ｒ２を生成するに当って、空間情報を利用する。ここで、利用される空間情報は、ＬチャンネルとＲチャンネルとの間のＣＬＤまたはＩＣＣのようなＬチャンネルとＲチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をＬチャンネル及びＲチャンネルに復号化してアップミキシングする図４の４００に設けられたＯＴＴ_０モジュールで利用される空間情報をいう。

ステップ２１０で生成された行列Ｒ２に対して補間を行って、行列Ｍ２を生成する（ステップ２１３）。

符号化端でマルチチャンネルからダウンミックスされた信号と元信号との差をＡＣＣで符号化して、レシデュアルコーディングされた信号を復号化する（ステップ２１６）。

ステップ２１６で復号化されたＭＤＣＴ（ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）係数をＱＭＦ（ＱｕａｄｒａｔｕｒｅＭｉｒｒｏｒＦｉｌｔｅｒ）ドメインに変換する（ステップ２１８）。

ステップ２１８で出力された信号に対して、フレーム間のオーバーラップアドを行う（ステップ２２０）。

低周波帯域信号がＱＭＦフィルタバンクにより周波数分解能が不足するので、追加的なフィルタリングを通じて周波数分解能を高める（ステップ２２３）。

復号化端に設けられたチャンネルまたはスピーカの設定を認識する（ステップ２３０）。ここで、チャンネルまたはスピーカの設定は、復号化端に備えられたスピーカの個数、復号化端に備えられたスピーカのうち動作可能なスピーカの位置、符号化端で符号化されたチャンネルのうち、復号化端に設けられたマルチチャンネルで利用できるチャンネルの情報などをいう。例えば、入力されたダウンミックスされた信号の復号化をどのように選択的に決定するかにおいて、他の付加的な実施形態も同一に可能である。

ステップ２３０で認識された設定を利用して、復号化するレベルの数を計算する（ステップ２３３）。

ＱＭＦハイブリッドアナリシスフィルタバンクを利用して、入力信号を周波数バンド別に分解する（ステップ２３６）。

行列Ｍ１を利用して、ダイレクト信号及び非相関器に入力する信号を生成する（ステップ２３８）。ステップ２３８では、ＯＴＴ_０に対応してＬチャンネル及びＲチャンネルを非相関する非相関器Ｄ_０ ^ＯＴＴに入力する信号、ＴＴＴ_０に対応してＬチャンネル、Ｒチャンネル及びＣチャンネルを非相関化する非相関器Ｄ_０ ^ＴＴＴに入力する信号、ＯＴＴ_２に対応してＦＬチャンネル及びＢＬチャンネルを非相関化する非相関器Ｄ_２ ^ＯＴＴに入力する信号、ＦＲチャンネル及びＢＲチャンネルを非相関化する非相関器Ｄ_３ ^ＯＴＴに入力する信号を生成する。また、ステップ２３８では、ステップ２３３で計算された復号化するレベルの数によって復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。

ステップ２３８で生成された非相関器に入力する信号に対して非相関器で非相関化を行うことによって、空間感を有するように再構成する（ステップ２４０）。

非相関器Ｄ_０ ^ＯＴＴは、ＯＴＴ_０に対応してＬチャンネル及びＲチャンネルを非相関化し、非相関器Ｄ_０ ^ＴＴＴは、ＴＴＴ_０に対応してＬチャンネル、Ｒチャンネル及びＣタチャンネルを非相関化し、非相関器Ｄ_２ ^ＯＴＴは、ＯＴＴ_２に対応してＦＲチャンネル及びＢＲチャンネルを非相関化し、非相関器Ｄ_３ ^ＯＴＴは、ＯＴＴ_３に対応してＦＬチャンネル及びＢＬチャンネルを非相関化する。

ステップ２４０で非相関化された信号及びステップ２３８で生成されたダイレクト信号に対して、それぞれステップ２１３で生成された行列Ｍ２を適用する（ステップ２４３）。ここで、ステップ２４３では、ステップ２３３で計算された復号化するレベルの数によって復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。

ステップ２４３で、行列Ｍ２が適用された信号にＴＥＳ（ＴｅｍｐｏｒａｌＥｎｖｅｌｏｐｅＳｈａｐｉｎｇ）を適用する（ステップ２４６）。

ステップ２４６で、ＴＥＳが適用された信号にＱＭＦハイブリッド合成フィルタバンクを利用して時間ドメインに変換する（ステップ２４８）。

ステップ２４８で変換された信号にＴＰ（ＴｅｍｐｏｒａｌＰｒｏｃｅｓｓｉｎｇ）を適用する（ステップ２５０）。

ここで、ステップ２４３及びステップ２５０は、アプローズのようにテンポラール構造が重要な信号の音質を向上させるためのものであって、選択的に利用でき、必須的に適用すべきものではない。

ダイレクト信号と非相関化された信号とをミックスする（ステップ２５３）。

図２では、５．１チャンネルについての一実施形態のみを示したが、当業者ならば、５．１チャンネルに限定して実施されないということが分かる。本発明によるマルチチャンネル復号化方法を、符号化端でダウンミックスされた信号を優先的にＬチャンネル及びＲチャンネルにアップミキシングするあらゆるマルチチャンネルに対して実施できる。

図３は、本発明によるマルチチャンネル復号化システムの一実施形態を示すブロック図である。

ビットストリームデコーダ３００は、サラウンドビットストリームを分析して空間情報及び付加情報を抽出する。

スムージング部３０２は、低ビット率で空間情報が急激に変化することを防止するために選択的に空間情報をスムージングする。

マトリックスコンポーネント計算部３０４は、既存のマトリックスサラウンド方式と互換性を維持するために追加的なチャンネル別に利得値を計算する。

前ベクトル計算部３０６は、プリベクトルを計算する。

アービトラリーダウンミックス利得値抽出部３０８は、復号化器でエクスターナルダウンミックスを使用する場合、チャンネル別に利得値を補償するための変数を抽出する。

マトリックス生成部３１２は、マトリックスコンポーネント計算部３０４、前ベクトル計算部３０６及びアービトラリーダウンミックス利得値抽出部３０８で出力される結果を利用して行列Ｒ１を生成する。マトリックス生成部３１２で行列Ｒ１を生成するに当って、空間情報を利用する。ここで、利用される空間情報は、ＬチャンネルとＲチャンネルとの間のＣＬＤまたはＩＣＣのようなＬチャンネルとＲチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をＬチャンネル及びＲチャンネルに復号化してアップミキシングする図４の４００に設けられたＯＴＴ_０モジュールで利用される空間情報をいう。

ここで、マトリックス生成部３１２は、図４のＴＴＴ_０モジュールのモードによってＲ１を異なって生成する。例えば、ＴＴＴ_０モジュールのモードを表す変数として、ＭＰＥＧサラウンドでは、前記表１に示した関係を有するｂｓＴｔｔＭｏｄｅＬｏｗを利用する。

ここで、ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘２’より小さい場合、前記式（１）に記載された行列Ｒ１を生成する。

ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘３’である場合、前記式（２）に記載された行列Ｒ１を生成する。

ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘５’である場合、前記式（３）に記載された行列Ｒ１を生成する。

したがって、補間処理部３１４は、マトリックス生成部３１２で生成された行列Ｒ１に対して補間を行って、行列Ｍ１を生成する。

ミックスベクトル計算部３１０は、非相関部３４０で非相関化された信号とダイレクト信号とをミックスするための行列Ｒ２を生成する。ミックスベクトル計算部３１０で行列Ｒ２を生成するに当って、空間情報を利用する。ここで、利用される空間情報は、ＬチャンネルとＲチャンネルとの間のＣＬＤまたはＩＣＣのようなＬチャンネルとＲチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をＬチャンネル及びＲチャンネルに復号化してアップミキシングする図４の４００に設けられたＯＴＴ_０モジュールで利用される空間情報をいう。

ミックスベクトル計算部３１０は、前記式（４）に記載された行列Ｒ２を生成する。

したがって、補間処理部３１６は、ミックスベクトル計算部３１０で生成された行列Ｒ２に対して補間を行って、行列Ｍ２を生成する。

ＡＡＣデコーダ３２０は、符号化端でマルチチャンネルからダウンミックスされた信号と元信号との差をＡＣＣで符号化して、レシデュアルコーディングされた信号を復号化する。

ＭＤＣＴ変換部３２２は、ＡＡＣデコーダ３２０から出力されたＭＤＣＴ係数をＱＭＦドメインに変換し、非相関部３４０を代替してアップミキシングする。

オーバーラップアド部３２４は、ＭＤＣＴ変換部３２２から出力された信号に対してフレーム間のオーバーラップアドを行う。

ハイブリッド分析部３２６は、低周波帯域信号がＱＭＦフィルタバンクにより周波数分解能が不足するので、追加的なフィルタリングを通じて周波数分解能を高める。

復号化レベル計算部３２７は、復号化端に設けられたチャンネルまたはスピーカの設定を認識して復号化するレベルの数を計算する。ここで、復号化端のマルチチャンネルの設定は、復号化端に備えられたスピーカの個数、復号化端に備えられたスピーカのうち動作可能なスピーカの位置、符号化端で符号化されたチャンネルのうち、復号化端に設けられたマルチチャンネルで利用できるチャンネルの情報などをいう。

復号化レベル制御部３２９は、復号化レベル計算部３２７で計算された復号化するレベルの数により復号化するように制御する信号を出力する。

ハイブリッド分析部３３０は、ＱＭＦハイブリッドアナリシスフィルタバンクであって、入力信号を周波数バンド別に分解する。

前マトリックス適用部３３５は、行列Ｍ１を利用してダイレクト信号及び非相関器に入力する信号を生成する。ここで、前マトリックス適用部３３５は、ＯＴＴ_０に対応してＬチャンネル及びＲチャンネルを非相関化する非相関器Ｄ_０ ^ＯＴＴに入力する信号、ＴＴＴ_０に対応してＬチャンネル、Ｒチャンネル及びＣチャンネルを非相関化する非相関器Ｄ_０ ^ＴＴＴに入力する信号、ＯＴＴ_２に対応してＦＲチャンネル及びＢＲチャンネルを非相関化する非相関器Ｄ_２ ^ＯＴＴに入力する信号、ＦＬチャンネル及びＢＬチャンネルを非相関化する非相関器Ｄ_３ ^ＯＴＴに入力する信号を生成する。また、前マトリックス適用部３３５は、復号化レベル制御部３２９から出力される制御信号に応答して復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。

非相関部３４０は、前マトリックス適用部３３５で生成された信号に対して非相関化を行うことによって、空間感を有するように再構成する。第０非相関器３４２は、ＯＴＴ_０に対応してＬチャンネル及びＲチャンネルを非相関化し、第１非相関器３４４は、ＴＴＴ_０に対応してＬチャンネル、Ｒチャンネル及びＣチャンネルに対して非相関化し、第２非相関器３４６は、ＯＴＴ_２に対応してＦＲチャンネル及びＢＲチャンネルを非相関化し、第３非相関部３４８は、ＯＴＴ_３に対応してＦＬチャンネル及びＢＬチャンネルを非相関化する。

ミックスマトリックス適用部３５０は、非相関部３４０から出力された信号及び前マトリックス適用部３３５から出力されたダイレクト信号に対してそれぞれ行列Ｍ２を適用する。ここで、ミックスマトリックス適用部３５０は、復号化レベル制御部３２９から出力される制御信号に応答して復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。

ＴＥＳ適用部３３５は、ミックスマトリックス適用部３５０から出力された信号にＴＥＳを適用する。

ＱＭＦハイブリッド合成部３６０は、ＱＭＦハイブリッド合成フィルタバンクであって、時間ドメインに変換する。

ＴＰ適用部３６５は、ＱＭＦハイブリッド合成部３６０から出力された信号にＴＰを適用する。

ここで、ＴＥＳ適用部３３５及びＴＰ適用部３６５は、アプローズのようにテンポラール構造が重要な信号の音質を向上させるためのものであって、選択的に利用でき、必須的に適用すべきものではない。

ミキシング部３７０は、ダイレクト信号と非相関化された信号とをミックスする。

図３では、５．１チャンネルについての一実施形態のみを示したが、当業者ならば、５．１チャンネルに限定して実施されないということが分かる。本発明によるマルチチャンネル復号化方法を、符号化端でダウンミックスされた信号を優先的にＬチャンネル及びＲチャンネルにアップミキシングするあらゆるマルチチャンネルに対して実施できる。

図４は、本発明によるマルチチャンネル復号化方法及びシステムで適用する５−１−５の３ツリー構造を示す概念図である。ここで、図４は、本発明によるマルチチャンネル復号化方法及びシステムで復号化してアップミキシングする順序を、ＯＴＴモジュールとＴＴＴモジュールとを利用して概念的に示す。

ＯＴＴ_０モジュール４００は、符号化器でダウンミックスされたモノ信号を入力されて、Ｌ信号及びＲ信号に復号化してアップミキシングする。ここで、Ｌ信号及びＲ信号の最初のアップミキシングは、図１Ａ及び図１Ｂに示した前記５−１−５ツリー構造と本質的に異なる。その最初のステップＯＴＴモジュールの出力は、Ｌチャンネル信号及びＲチャンネル信号を適切に再生するのに使われないが、付加的なステップが最初のステップＯＴＴモジュールのような出力をさらにアップミックスするために必要である。

したがって、そのＯＴＴ_０モジュール以後、そのＴＴＴ_０モジュール４１０は、ＯＴＴ_０モジュール４００から出力されたＬ信号及びＲ信号を入力されて、Ｌ信号、Ｒ信号及びＣ信号に復号化してアップミキシングする。

ＯＴＴ_１モジュール４２０は、ＴＴＴ_０モジュール４１０から出力されたセンタ信号を入力されて、Ｃ信号及びＬＥＦ信号に復号化してアップミキシングする。

ＯＴＴ_２モジュール４３０は、ＴＴＴ_０モジュール４１０から出力されたＬ信号を入力されて、ＦＬ信号及びＢＬ信号に復号化してアップミキシングする。

ＯＴＴ_３モジュール４４０は、ＴＴＴ_０モジュール４１０から出力されたＲ信号を入力されて、ＦＲ信号及びＢＲ信号に復号化してアップミキシングする。

図５は、本発明によるマルチチャンネル復号化方法及びシステムで入力される信号と出力される信号との数学的関係を示す概念図である。

前非相関器マトリックスＭ１は、ＣＬＤ及びＩＣＣを利用することによって、符号化器でダウンミックスされたモノ信号Ｘｍを入力として、ダイレクト信号ｍと非相関器Ｄ_０ ^ＯＴＴ，Ｄ_０ ^ＴＴＴ，Ｄ_２ ^ＯＴＴ及びＤ_３ ^ＯＴＴに入力する信号とを出力する。

非相関器Ｄ_０ ^ＯＴＴ，Ｄ_０ ^ＴＴＴ，Ｄ_２ ^ＯＴＴ及びＤ_３ ^ＯＴＴは、Ｍ１から計算された信号を非相関化する。

ミックスマトリックスＭ２は、ＣＬＤ及びＩＣＣを利用することによって、ダイレクト信号ｍと非相関化された信号ｄ０，ｄ１，ｄ２，ｄ３とをミックスしてアップミキシングする。ここで、ミックスマトリックスＭ２は、ダイレクト信号ｍと非相関化された信号ｄ０，ｄ１，ｄ２，ｄ３とを入力として、ＦＬ信号、ＢＬ信号、ＦＲ信号、ＢＲ信号、Ｃ信号及びＬＥＦ信号を出力する。

図６は、本発明によるマルチチャンネル符号化方法の一実施形態を示すフローチャートである。

まず、マルチチャンネルからダウンミキシングする（ステップ６００）。例えば、５．１チャンネルにおいて、マルチチャンネルは、ＦＬチャンネル、サラウンドＬチャンネル、ＦＲチャンネル、サラウンドＲチャンネル、Ｃチャンネル及びウーハーチャンネルから構成される。

ステップ６００でダウンミキシングにおいて、Ｌチャンネル及びＲチャンネルを最後にダウンミキシングする。例えば、５．１チャンネルでは、ＦＬチャンネル、サラウンドＬチャンネル、ＦＲチャンネル、サラウンドＲチャンネル、Ｃチャンネル及びウーハーチャンネルをＬチャンネル、Ｒチャンネル及びＣチャンネルにダウンミキシングし、ダウンミキシングされた三つのチャンネルをＬチャンネル及びＲチャンネルにダウンミキシングする。

ステップ６００でダウンミキシングしたマルチチャンネルの空間情報を抽出する（ステップ６１０）。例えば、５．１チャンネルで抽出する空間情報は、ＬチャンネルとＲチャンネル、ＬチャンネルとＲチャンネルとＣチャンネル、ＦＬチャンネルとＢＬチャンネル、ＦＲチャンネルとＢＲチャンネル、Ｃタチャンネルとウーハーチャンネルに対してそれぞれアップミキシングするのに使われる情報を含む。

ステップ６００でダウンミキシングされた信号及びステップ６１０で抽出された空間情報を含むビットストリームを生成する（ステップ６２０）。

図７は、本発明によるマルチチャンネル符号化システムの一実施形態を示すブロック図であって、マルチチャンネル符号化システムは、ダウンミキシング部７００、情報抽出部７１０及びビットストリーム生成部７２０を備える。

ダウンミキシング部７００は、入力端子ＩＮ０ないしＩＮＭに該当するマルチチャンネルからダウンミキシングする。例えば、５．１チャンネルにおいて、マルチチャンネルは、ＦＬチャンネル、サラウンドＬチャンネル、ＦＲチャンネル、サラウンドＲチャンネル、Ｃチャンネル及びウーハーチャンネルから構成される。

ここで、ダウンミキシング部７００は、Ｌチャンネル及びＲチャンネルを最後にダウンミキシングする。例えば、５．１チャンネルでは、ＦＬチャンネル、サラウンドＬチャンネル、ＦＲチャンネル、サラウンドＲチャンネル、Ｃチャンネル及びウーハーチャンネルをＬチャンネル、Ｒチャンネル及びＣチャンネルにダウンミキシングし、ダウンミキシングされた三つのチャンネルをＬチャンネル及びＲチャンネルにダウンミキシングする。

情報抽出部７１０は、ダウンミキシング部７００でダウンミキシングしたマルチチャンネルの空間情報を抽出する。例えば、５．１チャンネルにおいて、ダウンミキシング部７００で抽出する空間情報は、ＬチャンネルとＲチャンネル、ＬチャンネルとＲチャンネルとＣチャンネル、ＦＬチャンネルとＢＬチャンネル、ＦＲチャンネルとＢＲチャンネル、Ｃチャンネルとウーハーチャンネルに対してそれぞれアップミキシングするのに使われる情報を含む。

ビットストリーム生成部７２０は、ダウンミキシング部７００でダウンミキシングされた信号及び情報抽出部７１０で抽出された空間情報を含むビットストリームを生成して、出力端子ＯＵＴを通じて復号化器に出力する。

本発明によるマルチチャンネル復号化及び符号化方法及びシステムによれば、ＬチャンネルとＲチャンネルとを最後にダウンミキシングして符号化し、ＬチャンネルとＲチャンネルとを優先的にアップミキシングして復号化する。

これにより、スケーラブルチャンネル復号化でも、ＬチャンネルとＲチャンネルの音質が低下せずに高音質で出力できる効果を奏する。

また、電力消費を低減し、ステレオにおいて高音質を要求するモバイルアプリケーションでも容易に利用できる効果を奏する。

前記実施形態以外にも、本発明の実施形態は、その実施形態を具現するための少なくとも一つのプロセッシングエレメントを制御するためのコード／インストラクションを保存した記録媒体、例えばコンピュータで読み取り可能な記録媒体として具現される。その記録媒体は、コンピュータで読み取り可能なコードの保存及び／または伝送を許容するミディアム／メディアに対応する。

コンピュータで読み取り可能なコードは、多様なミディアム、例えば磁気記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク）、光学的な記録媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ）及びキャリアウェーブのような保存／伝送媒体を含むミディアムの多様な例に保存／伝送される。ここで、ミディアムは、本発明の実施形態による信号（例えば、結果信号、ビットストリーム）でありうる。媒体は、コンピュータで読み取り可能なコードが分散された方法で保存／伝送及び実行されるように、分散されたネットワークでありうる。さらに、プロセッシングエレメントは、プロセッサまたはコンピュータプロセッサを含み、単一デバイスに含まれるか、または分配される。

以上、本発明の幾つかの実施形態が記載されたが、前記明細書に記載された本発明の内容は、特許請求の範囲に記載された思想とその均等な思想の範囲を逸脱しない範囲内で当業者により多様に変形される。

７００：ダウンミキシング部
７１０：情報抽出部
７２０：ビットストリーム生成部

Claims

復号化端で利用可能なチャンネル設定を認識するステップと、
前記認識されたチャネル設定に対応して、第１マトリックスと第２マトリックスを空間情報を用いて生成するステップと、
符号化端でマルチチャンネルからダウンミックスされた信号から、各非相関器に入力される信号と前記第２マトリックスに入力されるダイレクト信号を前記第１マトリックスを用いて生成するステップと、
前記各非相関器に入力される信号を非相関化するステップと、
前記ダイレクト信号と前記非相関化された信号を前記第２マトリックスを用いてミックスして、前記認識されたチャンネル設定に対応するマルチチャンネル信号を生成するステップと、
を含むマルチチャンネル復号化方法。