JP6606190B2 - マルチチャンネル信号を符号化するためのオーディオエンコーダおよび符号化されたオーディオ信号を復号化するためのオーディオデコーダ - Google Patents

Description

本発明は、マルチチャンネルオーディオ信号を符号化するためのオーディオエンコーダおよび符号化されたオーディオ信号を復号化するためのオーディオデコーダに関連する。実施の形態は、波形維持およびパラメトリックステレオ符号化を含む切り替え知覚オーディオ符号器に関連する。

これらの信号の効率的な格納または送信のためのデータ削減の目的のためのオーディオ信号の知覚の符号化は、広く使われた慣行である。特に、最も高効率が達成される必要があるとき、信号入力特性に密接に適応する符号器が使われる。１つの例が、スピーチ信号のＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ Ｃｏｄｅ−Ｅｘｃｉｔｅｄ Ｌｉｎａｒ Ｐｒｅｄｉｃｔｉｏｎ：代数符号励振線形予測）符号化と、バックグラウンドノイズおよびミックス信号のＴＣＸ（Ｔｒａｎｓｆｏｒｍ Ｃｏｄｅｄ Ｅｘｃｉｔａｔｉｏｎ：変換符号化励振）と、音楽コンテンツのＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ：高度オーディオ符号化）とを主に使うように構成できるＭＰＥＧ−Ｄ ＵＳＡＣコア符号器である。すべての３つの内部符号器構成は、信号の内容に対応した信号順応方法で瞬時に切り替えられる。

さらに、結合マルチチャンネル符号化技術（中間／サイド符号化など）、または、最も高効率に対しては、パラメトリック符号化技術が使用される。パラメトリック符号化技術は、基本的に、与えられた波形の忠実な再構成というよりも、知覚等価オーディオ信号の再創生をめざす。例は、ノイズフィリングと、帯域幅拡張と、空間オーディオ符号化とを含む。

信号順応コアコーダと、最先端符号器の結合マルチチャンネル符号化技術またはパラメトリック符号化技術のいずれか１つとを結合するとき、コア符号器は、信号特性と合致するように切り替えられるけれども、Ｍ／Ｓ−ステレオ、空間オーディオ符号化またはパラメトリックステレオなどの、マルチチャンネル符号化技術の選択は、固定され、信号特性から独立したままである。これらの技術は、通常、コア符号器に、および、前プロセッサとしてコアエンコーダに、および、後プロセッサとしてコアデコーダに（両方とも、コア符号器の実際の選択を知らないで）使用される。

一方、帯域幅拡張のためのパラメトリック符号化技術の選択は、時々信号に依存する。例えば、時間ドメインに応用された技術は、スピーチ信号に対してより効率的である一方、周波数ドメイン処理は、他の信号に対してより関連している。そのような場合、採用されたマルチチャンネル符号化技術は、帯域幅拡張技術の両方のタイプと互換でなければならない。

最新技術の関連したトピックは、以下を含む。
ＭＰＥＧ−Ｄ ＵＳＡＣコア符号器に対して、前／後プロセッサとしてＰＳおよびＭＰＳ
ＭＰＥＧ−Ｄ ＵＳＡＣ規格
ＭＰＥＧ−Ｈ ３Ｄオーディオ規格

ＩＳＯ／ＩＥＣ ＤＩＳ２３００３−３、Ｕｓａｃ ＩＳＯ／ＩＥＣ ＤＩＳ２３００８−３、３Ｄオーディオ

ＭＰＥＧ−Ｄ ＵＳＡＣにおいて、切り替え可能なコアコーダが説明される。しかしながら、ＵＳＡＣにおいて、マルチチャンネル符号化技術は、ＡＣＥＬＰまたはＴＣＸ（「ＬＰＤ」）またはＡＡＣ（「ＦＤ」）である符号化原則のその内部のスイッチから独立して、全体のコアコーダに共通の固定された選択として定義される。従って、仮に、切り替えられたコア符号器構成が要求されるならば、符号器は、全体の信号のために、パラメトリックマルチチャンネル符号化（ＰＳ）を最後まで使うように制限される。しかし、例えば音楽信号の符号化に対して、周波数帯域毎に、およびフレーム毎にＬ／Ｒ（左／右）とＭ／Ｓ（中間／サイド）とのスキームの間で、むしろ動的に切り替わることができる結合ステレオ符号化を使うことがより適切である。

従って、改善されたアプローチのためのニーズがある。

本発明の目的は、オーディオ信号を処理するための改善された概念を提供することである。この目的は独立した請求項の主題により解決される。

本発明は、マルチチャンネルコーダを使う（時間ドメイン）パラメトリックエンコーダが、パラメトリックマルチチャンネルオーディオ符号化のために有利であるという発見に基づく。マルチチャンネルコーダは、チャンネル毎の個別の符号化に比べて、符号化パラメータの送信のために帯域幅を減らすマルチチャンネル残差コーダであってもよい。例えば、これは、周波数ドメイン結合マルチチャンネルオーディオコーダとのコンビネーションにおいて有利に使われる。時間ドメイン結合マルチチャンネル符号化技術および周波数ドメイン結合マルチチャンネル符号化技術が結合され、その結果、例えば、フレームベースの決定が、現在のフレームを時間ベースまたは周波数ベースの符号化期間に導くことができる。すなわち、実施の形態は、コアコーダの選択の依存において、異なるマルチチャンネル符号化技術を使うことを可能にする、完全に切り替え可能な知覚符号器の中に、結合マルチチャンネル符号化およびパラメトリック空間オーディオ符号化を使って、切り替え可能なコア符号器を結合するための改善された概念を示す。これは、既存の方法との対比において、実施の形態が、コアコーダに直ちに同時に切り替えられるマルチチャンネル符号化技術を示し、それゆえ、密接にマッチしてコアコーダの選択に適応するので、有利である。従って、マルチチャンネル符号化技術の固定された選択のため出現する、記載された問題は避けられる。さらに、与えられたコアコーダと、それに関連して適応したマルチチャンネル符号化技術との完全に切り替え可能なコンビネーションが可能である。例えばＬ／ＲまたはＭ／Ｓステレオ符号化を使う、例えばＡＡＣ（高度オーディオ符号化）のようなコーダは、専用の結合ステレオ、またはマルチチャンネル符号化、例えばＭ／Ｓステレオを使う周波数ドメイン（ＦＤ）コアコーダにおいて、音楽信号を符号化する可能性がある。この決定は、個々のオーディオフレームの中の個々の周波数帯域に対して別々に適用される。例えばスピーチ信号の場合において、コアコーダは、線形予測復号化（ＬＰＤ）コアコーダ、および、その関連した異なる、例えばパラメトリックステレオ符号化技術に、直ちに切り替わる。

実施の形態は、モノラルＬＰＤパスに唯一のステレオ処理、並びに、ステレオＦＤパスの出力とＬＰＤコアコーダおよびその専用のステレオ符号化からの出力とを結合するステレオ信号ベースのシームレス切り替え計画を示す。これは、アーティファクトの存在しないシームレス符号器の切り替えが可能なので、有利である。

実施の形態は、マルチチャンネル信号を符号化するためのエンコーダに関連する。エンコーダは、線形予測ドメインエンコーダと周波数ドメインエンコーダとを含む。さらに、エンコーダは、線形予測ドメインエンコーダと周波数ドメインエンコーダとの間を切り替えるためのコントローラを含む。さらに、線形予測ドメインエンコーダは、マルチチャンネル信号をダウンミックスしてダウンミックス信号を得るためのダウンミキサ、ダウンミックス信号を符号化するための線形予測ドメインコアエンコーダ、および、マルチチャンネル信号から第１マルチチャンネル情報を生成するための第１マルチチャンネルエンコーダを含む。周波数ドメインエンコーダは、マルチチャンネル信号から第２マルチチャンネル情報を符号化するための第２結合マルチチャンネルエンコーダを含む。第２マルチチャンネルエンコーダは、第１マルチチャンネルエンコーダと異なる。コントローラは、マルチチャンネルの信号の部分が、線形予測ドメインエンコーダの符号化されたフレーム、または、周波数ドメインエンコーダの符号化されたフレームのいずれかによって表現されるように構成される。線形予測ドメインエンコーダは、ＡＣＥＬＰコアエンコーダと、例えば、第１結合マルチチャンネルエンコーダとして、パラメトリックステレオ符号化アルゴリズムとを含む。周波数ドメインエンコーダは、例えば、第２結合マルチチャンネルエンコーダとして、例えばＬ／ＲまたはＭ／Ｓ処理を使うＡＡＣコアエンコーダを含む。コントローラは、例えばスピーチまたは音楽のようなフレーム特性に関するマルチチャンネル信号を分析し、個々のフレーム、一連のフレームまたはマルチチャンネルオーディオ信号の部分を決定するために、線形予測ドメインエンコーダまたは周波数ドメインエンコーダのいずれかが、マルチチャンネルオーディオ信号のこの部分を符号化するために使われる。

実施の形態は、符号化されたオーディオ信号を復号化するためのオーディオデコーダをさらに示す。オーディオデコーダは、線形予測ドメインデコーダと周波数ドメインデコーダを含む。さらに、オーディオデコーダは、線形予測ドメインデコーダの出力とマルチチャンネル情報とを使って第１マルチチャンネル表現を生成するための第１結合マルチチャンネルデコーダと、周波数ドメインデコーダの出力と第２マルチチャンネル情報とを使って第２マルチチャンネル表現を生成するための第２マルチチャンネルデコーダとを含む。さらに、オーディオデコーダは、第１マルチチャンネル表現と第２マルチチャンネル表現とを結合して復号化されたオーディオ信号を得るための第１結合器を含む。結合器は、例えば線形予測マルチチャンネルオーディオ信号である第１マルチチャンネル表現と、例えば周波数ドメイン復号化マルチチャンネルオーディオ信号である第２マルチチャンネル表現との間で、シームレスでアーティファクトの存在しない切り替えを実行する。

実施の形態は、専用のステレオ符号化を持つＬＰＤパスの中のＡＣＥＬＰ／ＴＣＸ符号化と、切り替え可能なオーディオコーダ内の周波数ドメインパスの独立したＡＡＣステレオ符号化とのコンビネーションを示す。さらに、実施の形態は、ＬＰＤとＦＤステレオとの間でシームレスの瞬時の切り替えを示す。別の実施の形態は、異なる信号内容タイプのための結合マルチチャンネル符号化の独立した選択に関連する。例えば、ＬＰＤパスを使って、主に符号化されるスピーチに対して、パラメトリックステレオが使われる。一方、ＦＤパスの中で符号化される音楽に対して、より適応的なステレオ符号化が使われる。それは、周波数帯域毎に、およびフレーム毎に、Ｌ／ＲとＭ／Ｓスキームとの間で動的に切り替えうる。

実施の形態によると、ＬＰＤパスを使って主に符号化され、そして、ステレオ画像のセンターに常に置かれるスピーチに対して、簡単なパラメトリックステレオは適切である。一方、ＦＤパスの中で符号化される音楽は、常に、より洗練された空間の分布を持ち、より適応的なステレオ符号化から利益を得ることができる。それは、周波数帯域毎に、およびフレーム毎に、Ｌ／ＲとＭ／Ｓスキームとの間で動的に切り替えうる。

別の実施の形態は、マルチチャンネル信号をダウンミックスしてダウンミックス信号を得るためのダウンミキサ（１２）と、ダウンミックス信号を符号化するための線形予測ドメインコアエンコーダと、マルチチャンネル信号のスペクトル表現を生成するためのフィルタバンクと、マルチチャンネル信号からマルチチャンネル情報を生成するための結合マルチチャンネルエンコーダと、を含むオーディオエンコーダを示す。ダウンミックス信号は低帯域および高帯域を持つ。線形予測ドメインコアエンコーダは、高帯域をパラメトリック的に符号化するために、帯域幅拡張処理を適用するように構成される。さらに、マルチチャンネルエンコーダは、マルチチャンネル信号の低帯域と高帯域とを含むスペクトル表現を処理するように構成される。これは、個々のパラメトリック符号化が、そのパラメータを得ることに対して、その最適な時間−周波数分解を使うことができるので、有利である。これは、例えば、ＡＣＥＬＰ（代数符号励振線形予測）＋ＴＤＢＷＥ（時間ドメイン帯域幅拡張）のコンビネーションを使って実施される。ＡＣＥＬＰはオーディオ信号の低帯域を符号化し、ＴＤＢＷＥはオーディオ信号の高帯域を符号化し、外部のフィルタバンク（例えば、ＤＦＴ）を持つパラメトリックマルチチャンネル符号化を符号化する。スピーチのための最もよい帯域幅拡張が時間ドメインの中にあり、マルチチャンネル処理が周波数ドメインの中にあるはずであることが知られているので、このコンビネーションは特に効率的である。ＡＣＥＬＰ＋ＴＤＢＷＥは、どの時間−周波数コンバータも持たないので、ＤＦＴのような外部のフィルタバンクまたは変換は有利である。さらに、マルチチャンネルプロセッサのフレーミングは、ＡＣＥＬＰの中で使われたものと同じである。たとえマルチチャンネル処理が周波数ドメインにおいてされても、そのパラメータの計算化またはダウンミックスのための時間解像度は、理想的に、ＡＣＥＬＰのフレーミングに近いか、または等しくさえある。

異なる信号内容タイプに対して、結合マルチチャンネル符号化の独立した選択が適用されるので、説明された実施の形態は有益である。

本発明の実施の形態は、以降、付随図面を参照して説明される。

図１は、マルチチャンネルオーディオ信号を符号化するためのエンコーダの概要ブロック図を示す。 図２は、実施の形態による線形予測ドメインエンコーダの概要ブロック図を示す。 図３は、実施の形態による周波数ドメインエンコーダの概要ブロック図を示す。 図４は、実施の形態によるオーディオエンコーダの概要ブロック図を示す。 図５ａは、実施の形態による活動的なダウンミキサの概要ブロック図を示す。 図５ｂは、実施の形態による受動的なダウンミキサの概要ブロック図を示す。 図６は、符号化されたオーディオ信号を復号化するためのデコーダの概要ブロック図を示す。 図７は、実施の形態によるデコーダの概要ブロック図を示す。 図８は、マルチチャンネル信号を符号化する方法の概要ブロック図を示す。 図９は、符号化されたオーディオ信号を復号化する方法の概要ブロック図を示す。 図１０は、別の態様によるマルチチャンネル信号を符号化するためのエンコーダの概要ブロック図を示す。 図１１は、別の態様による符号化されたオーディオ信号を復号化するためのデコーダの概要ブロック図を示す。 図１２は、別の態様によるマルチチャンネル信号を符号化するオーディオ符号化の方法の概要ブロック図を示す。 図１３は、別の態様による符号化されたオーディオ信号を復号化する方法の概要ブロック図を示す。 図１４は、周波数ドメイン符号化からＬＰＤ符号化へのシームレスな切り替えの概要タイミング・ダイアグラムを示す。 図１５は、周波数ドメイン復号化からＬＰＤドメイン復号化へのシームレスな切り替えの概要タイミング・ダイアグラムを示す。 図１６は、ＬＰＤ符号化から周波数ドメイン符号化へのシームレスな切り替えの概要タイミング・ダイアグラムを示す。 図１７は、ＬＰＤ復号化から周波数ドメイン復号化へのシームレスな切り替えの概要タイミング・ダイアグラムを示す。 図１８は、別の態様によるマルチチャンネル信号を符号化するためのエンコーダの概要ブロック図を示す。 図１９は、別の態様による符号化されたオーディオ信号を復号化するためのデコーダの概要ブロック図を示す。 図２０は、別の態様によるマルチチャンネル信号を符号化するためのオーディオ符号化の方法の概要ブロック図を示す。 図２１は、別の態様による符号化されたオーディオ信号を復号化する方法の概要ブロック図を示す。

以下において、本発明の実施の形態は、より詳細に説明される。同じまたは同様な機能を持つ個々の数字において示された要素は、それと同じ引用記号に関連する。

図１は、マルチチャンネルオーディオ信号４を符号化するためのオーディオエンコーダ２の概要ブロック図を示す。オーディオエンコーダは、線形予測ドメインエンコーダ６と、周波数ドメインエンコーダ８と、線形予測ドメインエンコーダ６と周波数ドメインエンコーダ８との間を切り替えるためのコントローラ１０とを含む。コントローラは、マルチチャンネル信号を分析し、マルチチャンネル信号の部分に対して、線形予測ドメイン符号化または周波数ドメイン符号化のいずれが有利であるかどうかを決定する。すなわち、コントローラは、マルチチャンネル信号の部分が、線形予測ドメインエンコーダの符号化されたフレームまたは周波数ドメインエンコーダの符号化されたフレームのいずれかによって表現されるように構成される。線形予測ドメインエンコーダは、マルチチャンネル信号４をダウンミックスしてダウンミックス信号１４を得るためのダウンミキサ１２を含む。線形予測ドメインエンコーダは、ダウンミックス信号を符号化するための線形予測ドメインコアエンコーダ１６をさらに含む。さらに、線形予測ドメインエンコーダは、マルチチャンネル信号４から、例えばＩＬＤ（相互耳レベル差）パラメータおよび／またはＩＰＤ（相互耳位相差）パラメータを含む、第１マルチチャンネル情報２０を生成するための第１結合マルチチャンネルエンコーダ１８を含む。マルチチャンネル信号は、例えば、ステレオ信号である。ダウンミキサは、ステレオ信号をモノラル信号に変換する。線形予測ドメインコアエンコーダは、モノラル信号を符号化する。第１結合マルチチャンネルエンコーダは、第１マルチチャンネル情報として、符号化されたモノラル信号に対して、ステレオ情報を生成する。周波数ドメインエンコーダとコントローラとは、図１０および図１１について説明された別の態様と比較したとき、任意である。しかし、時間ドメインと周波数ドメイン符号化との間の信号適応切り替えに対して、周波数ドメインエンコーダとコントローラとを使うことは有利である。

さらに、周波数ドメインエンコーダ８は、マルチチャンネル信号４から第２マルチチャンネル情報２４を生成するための第２結合マルチチャンネルエンコーダ２２を含む。第２結合マルチチャンネルエンコーダ２２は、第１マルチチャンネルエンコーダ１８と異なる。しかし、第２結合マルチチャンネルプロセッサ２２は、第２エンコーダによってより良く符号化される信号に対して、第１マルチチャンネルエンコーダによって得られた第１マルチチャンネル情報の第１再作成品質より高い、第２再作成品質を許す第２マルチチャンネル情報を得る。

すなわち、実施の形態によると、第１結合マルチチャンネルエンコーダ１８は、第１再作成品質を許す第１マルチチャンネル情報２０を生成するように構成される。第２結合マルチチャンネルエンコーダ２２は、第２再作成品質を許す第２マルチチャンネル情報２４を生成するように構成される。第２再作成品質は、第１再作成品質より高い。これは、例えばスピーチ信号などの信号に対して、少なくとも関連している。それは、第２マルチチャンネルエンコーダによって、より良く符号化される。

従って、第１マルチチャンネルエンコーダは、例えばステレオ予測コーダ、パラメトリックステレオエンコーダ、または回転ベースのパラメトリックステレオエンコーダを含む、パラメトリック結合マルチチャンネルエンコーダである。さらに、第２結合マルチチャンネルエンコーダは、例えば、中間／サイドまたは左／右ステレオコーダに対して、帯域選択的スイッチなどの波形維持である。図１において記載されるように、符号化されたダウンミックス信号２６は、オーディオデコーダに送信され、第１結合マルチチャンネルプロセッサに任意に提供する。例えば、符号化されたダウンミックス信号は、復号化されて符号化された信号を符号化の前と復号化の後とのマルチチャンネル信号からの残差信号が、デコーダ側で、符号化されたオーディオ信号の復号化された品質を高めるために計算される。さらに、コントローラ１０は、マルチチャンネル信号の現在の部分に対して適した符号化スキームを決定した後、線形予測ドメインエンコーダと周波数ドメインエンコーダとをそれぞれ制御するために、制御信号２８ａ，２８ｂを使う。

図２は、実施の形態による線形予測ドメインエンコーダ６のブロック図を示す。線形予測ドメインエンコーダ６への入力は、ダウンミキサ１２によってダウンミックスされたダウンミックス信号１４である。さらに、線形予測ドメインエンコーダは、ＡＣＥＬＰプロセッサ３０とＴＣＸプロセッサ３２とを含む。ＡＣＥＬＰプロセッサ３０は、ダウンサンプル器３５によってダウンサンプルされる、ダウンサンプリングされたダウンミックス信号３４に作用するように構成される。さらに、時間ドメイン帯域幅拡張プロセッサ３６は、ＡＣＥＬＰプロセッサ３０の中に入力されるダウンサンプリングされたダウンミックス信号３４から取り除かれる、ダウンミックス信号１４の部分の帯域をパラメトリック的に符号化する。時間ドメイン帯域幅拡張プロセッサ３６は、ダウンミックス信号１４の部分のパラメトリック的に符号化された帯域３８を出力する。すなわち、時間ドメイン帯域幅拡張プロセッサ３６は、ダウンサンプル器３５の遮断周波数と比べてより高い周波数を含むダウンミックス信号１４の周波数帯域のパラメトリック表現を計算する。従って、ダウンサンプル器３５は、時間ドメイン帯域幅拡張プロセッサ３６にダウンサンプル器の遮断周波数より高くそれらの周波数帯域を提供するために、または、時間ドメイン帯域幅拡張（ＴＤ−ＢＷＥ）プロセッサ３６がダウンミックス信号１４の正しい部分に対してパラメータ３８を計算することを可能にするために、ＴＤ−ＢＷＥプロセッサに遮断周波数を提供するために、別の特性を持つ。

さらに、ＴＣＸプロセッサは、例えば、ダウンサンプルされていない、またはＡＣＥＬＰプロセッサのためのダウンサンプリングより少ない程度でダウンサンプリングされたダウンミックス信号に作用するように構成される。ＡＣＥＬＰプロセッサのダウンサンプリングより少ない程度によるダウンサンプリングは、より高い遮断周波数を使うダウンサンプリングである。ダウンミックス信号の多数の帯域は、ＡＣＥＬＰプロセッサ３０に入力されているダウンサンプリングされたダウンミックス信号３５と比較されるとき、ＴＣＸプロセッサに提供される。ＴＣＸプロセッサは、例えばＭＤＣＴ、ＤＦＴまたはＤＣＴのような第１の時間−周波数コンバータ４０をさらに含む。ＴＣＸプロセッサ３２は、第１パラメータ生成器４２および第１量子化器エンコーダ４４をさらに含む。例えばインテリジェント・ギャップ・フィリング（ＩＧＦ）アルゴリズムを用いる第１パラメータ生成器４２は、第１帯域セット４６の第１パラメトリック表現を計算する。例えばＴＣＸアルゴリズムを用いる第１量子化器エンコーダ４４は、第２帯域セットに対して、量子化されて符号化されたスペクトルライン４８の第１セットを計算する。すなわち、第１量子化器エンコーダは、インバウンド信号の、例えばトーンバンドのような関連した帯域をパラメトリック的に符号化する。第１パラメータ生成器は、符号化されたオーディオ信号の帯域幅をさらに減らすために、例えばＩＧＦアルゴリズムを、インバウンド信号の残っている帯域に適用する。

線形予測ドメインエンコーダ６は、例えば、ＡＣＥＬＰ処理されてダウンサンプリングされたダウンミックス信号５２、および／または、第１帯域セット４６の第１パラメトリック表現、および／または、第２帯域セットのための量子化されて符号化されたスペクトルライン４８の第１セットによって表現された、ダウンミックス信号１４を復号化するための線形予測ドメインデコーダ５０をさらに含む。線形予測ドメインデコーダ５０の出力は、符号化されて復号化されたダウンミックス信号５４である。この信号５４は、符号化されて復号化されたダウンミックス信号５４を使って、マルチチャンネル残差信号５８を計算して符号化する、マルチチャンネル残差コーダ５６に入力される。符号化されたマルチチャンネル残差信号は、第１マルチチャンネル情報を用いる復号化されたマルチチャンネル表現とダウンミックス前のマルチチャンネル信号との間の誤差を表現する。従って、マルチチャンネル残差コーダ５６は、結合エンコーダ側マルチチャンネルデコーダ６０とディファレンスプロセッサ６２とを含む。結合エンコーダ側マルチチャンネルデコーダ６０は、第１マルチチャンネル情報２０と符号化されて復号化されたダウンミックス信号５４とを使って、復号化されたマルチチャンネル信号を生成する。ディファレンスプロセッサは、復号化されたマルチチャンネル信号６４とダウンミックス前のマルチチャンネル信号４と間の差を形成してマルチチャンネル残差信号５８を得る。すなわち、オーディオエンコーダ内の結合エンコーダ側マルチチャンネルデコーダは、復号化操作を実行する。それは有利なことに、デコーダ側で実行されたと同じ復号化操作である。従って、送信の後でオーディオデコーダによって導出される第１結合マルチチャンネル情報は、符号化されたダウンミックス信号を復号化するための結合エンコーダ側マルチチャンネルデコーダの中で使われる。ディファレンスプロセッサ６２は、復号化された結合マルチチャンネル信号とオリジナルのマルチチャンネル信号４との間の差を計算する。例えばパラメトリック符号化のために、復号化された信号とオリジナルの信号との間の差が、これらの２つの信号の間の差の知識によって減少するので、符号化されたマルチチャンネル残差信号５８は、オーディオデコーダの復号化品質を高める。これは、第１結合マルチチャンネルエンコーダが、マルチチャンネルオーディオ信号の全帯域幅のためのマルチチャンネル情報が導出されるような方法で動作することを可能にする。

さらに、ダウンミックス信号１４は、低帯域および高帯域を含む。線形予測ドメインエンコーダ６は、例えば、高帯域をパラメトリック的に符号化するための時間ドメイン帯域幅拡張プロセッサ３６を使って、帯域幅拡張処理を適用するように構成される。線形予測ドメインデコーダ６は、符号化されて復号化されたダウンミックス信号５４として、ダウンミックス信号１４の低帯域を表現する低帯域信号だけを得るように構成される。符号化されたマルチチャンネル残差信号は、ダウンミックス前のマルチチャンネル信号の低帯域内の周波数しか持っていない。すなわち、帯域幅拡張プロセッサは、遮断周波数より高い周波数帯域に対して、帯域幅拡張パラメータを計算する。ＡＣＥＬＰプロセッサは、遮断周波数の下の周波数を符号化する。従って、デコーダは、符号化された低帯域信号と帯域幅パラメータ３８とに基づいて、より高い周波数を再構成するように構成される。

別の実施の形態によると、マルチチャンネル残差コーダ５６は、サイド信号を計算する。ダウンミックス信号は、Ｍ／Ｓマルチチャンネルオーディオ信号の対応する中間信号である。従って、マルチチャンネル残差コーダは、フィルタバンク８２によって得られたマルチチャンネルオーディオ信号の全帯域スペクトル表現から計算される、計算されたサイド信号と、符号化されて復号化されたダウンミックス信号５４の倍数の予測されたサイド信号との差を計算して符号化する。予測情報によって表現される倍数は、マルチチャンネル情報の一部になる。しかし、ダウンミックス信号は、低帯域信号だけを含む。従って、残差コーダは、高帯域に対して、残差（またはサイド）信号をさらに計算する。これは、例えば、線形予測ドメインコアエンコーダの中でなされるように、時間ドメイン帯域幅拡張をシミュレーションすることによって実行される。または、計算された（全帯域）サイド信号と計算された（全帯域）中間信号との間の差として、サイド信号を予測することによって実行される。予測ファクターは、両方の信号の間の差を最小化するように構成される。

図３は、実施の形態による周波数ドメインエンコーダ８の概要ブロック図を示す。周波数ドメインエンコーダは、第２の時間−周波数コンバータ６６と、第２パラメータ生成器６８と、第２量子化器エンコーダ７０とを含む。第２の時間−周波数コンバータ６６は、マルチチャンネル信号の第１チャンネル４ａおよび第２チャンネル４ｂを、スペクトル表現７２ａ，７２ｂに変換する。第１チャンネルのスペクトル表現７２ａおよび第２チャンネルのスペクトル表現７２ｂは分析され、それぞれ第１帯域セット７４および第２帯域セット７６に分割される。従って、第２パラメータ生成器６８は、第２帯域セット７６の第２パラメトリック表現７８を生成する。第２量子化器エンコーダは、第１帯域セット７４の量子化されて符号化された表現８０を生成する。周波数ドメインエンコーダ、より明確には、第２の時間−周波数コンバータ６６は、例えば、第１チャンネル４ａおよび第２チャンネル４ｂに対して、ＭＤＣＴ操作を実行する。第２パラメータ生成器６８は、インテリジェント・ギャップ・フィリングアルゴリズムを実行して、第２量子化器エンコーダ７０は、例えば、ＡＡＣ操作を実行する。従って、既に線形予測ドメインエンコーダについて説明したように、周波数ドメインエンコーダは、マルチチャンネルオーディオ信号の全帯域幅のためのマルチチャンネル情報が導出されるような方法で、操作可能である。

図４は、好ましい実施の形態によるオーディオエンコーダ２の概要ブロック図を示す。ＬＰＤパス１６は、「活動的または受動的ＤＭＸ」ダウンミックス計算１２を含む結合ステレオまたはマルチチャンネル符号化から構成され、図５に記載されるように、ＬＰＤダウンミックスが、活動的（「周波数選択的」）または受動的（「一定の混合因子」）であることを示す。ダウンミックスは、ＴＤ−ＢＷＥまたはＩＧＦモジュールのいずれかによってサポートされる、切り替え可能なモノラルＡＣＥＬＰ／ＴＣＸコアによりさらに符号化される。ＡＣＥＬＰが、ダウンサンプリングされた入力オーディオデータ３４に作用することに留意されたい。切り替えによるどのようなＡＣＥＬＰ初期化でも、ダウンサンプリングされたＴＣＸ／ＩＧＦ出力において実行される。

ＡＣＥＬＰが少しの内部時間−周波数分解も含まないので、ＬＰＤステレオ符号化は、ＬＰ符号化の前の分析フィルタバンク８２、および、ＬＰＤ復号化の後のシンセサイズフィルタバンクの手段によって、特別に複雑なモジュールのフィルタバンクを追加する。好ましい実施の形態において、低い重複領域を持つオーバーサンプリングされたＤＦＴが採用される。しかし、別の実施の形態において、同様な時間的解像度を持つオーバーサンプリングされた時間−周波数分解を用いることができる。ステレオパラメータは、そのとき、周波数ドメインにおいて計算される。

パラメトリックステレオ符号化は、ＬＰＤステレオパラメータ２０をビットストリームに出力する「ＬＰＤステレオパラメータ符号化」ブロック１８によって実行される。任意で、以下のブロック「ＬＰＤステレオ残差符号化」が、ベクトル量子化されたローパスダウンミックス残差５８をビットストリームに追加する。

ＦＤパス８は、それ自身の内部に結合ステレオまたはマルチチャンネル符号化を持つように構成される。結合ステレオ符号化に対して、それは、それ自身の臨界的にサンプリングされて実数値のフィルタバンク６６、つまり例えばＭＤＣＴを再利用する。

デコーダに提供された信号は、例えば、単一のビットストリームに多重通信される。ビットストリームは、パラメトリック的に符号化された時間ドメイン帯域幅拡張された帯域３８の少なくとも１つをさらに含む符号化されたダウンミックス信号２６と、ＡＣＥＬＰ処理されてダウンサンプリングされたダウンミックス信号５２と、第１マルチチャンネル情報２０と、符号化されたマルチチャンネル残差信号５８と、第１帯域セット４６の第１パラメトリック表現と、第２帯域セット４８のための量子化されて符号化されたスペクトルラインの第１セットと、第１帯域セット８０の量子化されて符号化された表現および帯域の第１セット７８の第２パラメトリック表現を含む第２マルチチャンネル情報２４と、を含む。

実施の形態は、切り替え可能なコア符号器、結合マルチチャンネル符号化およびパラメトリック空間オーディオ符号化を、コア符号器の選択に依存して、異なるマルチチャンネル符号化技術を使うことを可能にする、完全に切り替え可能な知覚符号器に結合するための改良された方法を示す。特に、切り替え可能なオーディオの符号器内では、ネイティブの周波数ドメインステレオ符号化が、それ自身の専用の独立したパラメータステレオ符号化を持つ、線形予測符号化に基づいたＡＣＥＬＰ／ＴＣＸと結合される。

図５ａおよび図５ｂは、実施の形態による能動的および受動的なダウンミキサをそれぞれ示す。能動的なダウンミキサは、周波数ドメインにおいて、例えば、時間ドメイン信号４を周波数ドメイン信号に変換するための時間周波数コンバータ８２を使って動作する。ダウンミックスの後に、周波数−時間変換（例えばＩＤＦＴ）は、周波数ドメインからダウンミックスされた信号を、時間ドメインにおけるダウンミックス信号１４の中に変換する。

図５ｂは、実施の形態による受動的なダウンミキサ１２を示す。受動的なダウンミキサ１２は、第１チャンネル４ａおよび第２チャンネル４ｂが、重み付け８４ａと重み付け８４ｂとを使って重み付けされた後にそれぞれ結合される加算器を含む。さらに、第１チャンネル４ａおよび第２チャンネル４ｂは、ＬＰＤステレオパラメトリック符号化への送信の前に時間−周波数コンバータ８２に入力される。

すなわち、ダウンミキサは、マルチチャンネル信号をスペクトル表現に変換するように構成される。ダウンミックスは、スペクトル表現を使って、または、時間ドメイン表現を使って実行される。第１マルチチャンネルエンコーダは、スペクトル表現の個々の帯域に対して、別個の第１マルチチャンネル情報を生成するために、スペクトル表現を使用するように構成される。

図６は、実施の形態による符号化されたオーディオ信号１０３を復号化するためのオーディオデコーダ１０２の概要ブロック図を示す。オーディオデコーダ１０２は、線形予測ドメインデコーダ１０４と、周波数ドメインデコーダ１０６と、第１結合マルチチャンネルデコーダ１０８と、第２マルチチャンネルデコーダ１１０と、第１結合器１１２とを含む。例えばオーディオ信号のフレームのような、以前に説明されたエンコーダ部分の多重通信ビットストリームである、符号化されたオーディオ信号１０３は、第１マルチチャンネル情報２０を使う結合マルチチャンネルデコーダ１０８によって、または、周波数ドメインデコーダ１０６、および、第２マルチチャンネル情報２４を使う第２結合マルチチャンネルデコーダ１１０によって復号化されるマルチチャンネルによって、復号化される。第１結合マルチチャンネルデコーダは、第１マルチチャンネル表現１１４を出力し、第２結合マルチチャンネルデコーダ１１０の出力は、第２マルチチャンネル表現１１６である。

すなわち、第１結合マルチチャンネルデコーダ１０８は、線形予測ドメインエンコーダの出力と第１マルチチャンネル情報２０とを使って第１マルチチャンネル表現１１４を生成する。第２マルチチャンネルデコーダ１１０は、周波数ドメインデコーダの出力と第２マルチチャンネル情報２４とを使って第２マルチチャンネル表現１１６を生成する。さらに、第１結合器は、例えばフレームに基づいて、第１マルチチャンネル表現１１４と第２マルチチャンネル表現１１６とを結合して復号化されたオーディオ信号１１８を得る。さらに、第１結合マルチチャンネルデコーダ１０８は、例えば、複雑な予測、パラメトリックステレオ操作または回転操作を使うパラメトリック結合マルチチャンネルデコーダである。第２結合マルチチャンネルデコーダ１１０は、例えば、中間／サイド、または、左／右のステレオ復号化アルゴリズムに帯域選択的スイッチを使う波形維持結合マルチチャンネルデコーダである。

図７は、別の実施の形態によるデコーダ１０２の概要ブロック図を示す。ここに、線形予測ドメインデコーダ１０２は、ＡＣＥＬＰデコーダ１２０、低帯域シンセサイザ１２２、アップサンプリング器１２４、時間ドメイン帯域幅拡張プロセッサ１２６、またはアップサンプリングされた信号と帯域幅拡張信号とを結合するための第２結合器１２８を含む。さらに、線形予測ドメインデコーダは、図７の１つのブロックとして記載される、ＴＣＸデコーダ１３２とインテリジェント・ギャップ・フィリングプロセッサ１３２とを含む。さらに、線形予測ドメインデコーダ１０２は、第２結合器１２８とＴＣＸデコーダ１３０とＩＧＦプロセッサ１３２との出力を結合するための全帯域シンセサイズプロセッサ１３４を含む。既にエンコーダについて示されているように、時間ドメイン帯域幅拡張プロセッサ１２６、ＡＣＥＬＰデコーダ１２０およびＴＣＸデコーダ１３０は、個々の送信されたオーディオ情報を復号化するために並行して働く。

クロスパス１３６は、例えば、ＴＣＸデコーダ１３０およびＩＧＦプロセッサ１３２から周波数−時間コンバータ１３８を使って、低帯域スペクトル時間変換から導出された情報を使って低帯域シンセサイザを初期化するために提供される。ボーカルの広がりのモデルを参照することによって、ＡＣＥＬＰデータは、ボーカルの広がりのひな形を作る。ＴＣＸデータは、ボーカルの広がりの励振のひな形を作る。例えば、ＩＭＤＣＴデコーダのような低帯域周波数−時間コンバータによって表現されたクロスパス１３６は、低帯域シンセサイザ１２２がボーカルの広がりの形を使うことを、および、現在の励振が符号化された低帯域信号を再計算または復号化することを可能にする。さらに、シンセサイズされた低帯域は、アップサンプル器１２４によってアップサンプルされ、そして、アップサンプルされた周波数を作り直すために、例えば各アップサンプルされた帯域ごとにエネルギーを回復するために、例えば第２結合器１２８を使って時間ドメイン帯域幅拡張高帯域１４０と結合される。

全帯域シンセサイザ１３４は、復号化されたダウンミックス信号１４２を形成するために、第２結合器１２８の全帯域信号とＴＣＸプロセッサ１３０からの励振とを用いる。第１結合マルチチャンネルデコーダ１０８は、線形予測ドメインデコーダの出力、例えば復号化されたダウンミックス信号１４２を、スペクトル表現１４５に変換するための時間−周波数コンバータ１４４を含む。さらに、例えばステレオデコーダ１４６の中に実装されたアップミキサは、スペクトル表現をマルチチャンネル信号にアップミックスするために、第１マルチチャンネル情報２０によってコントロールされる。さらに、周波数−時間−コンバータ１４８は、アップミックスの結果を、時間表現１１４に変換する。時間−周波数および／または周波数−時間−コンバータは、例えば、ＤＦＴまたはＩＤＦＴのような複雑な操作またはオーバーサンプリングされた操作を含む。

さらに、第１結合マルチチャンネルデコーダ、またはより明確に、ステレオデコーダ１４６は、第１マルチチャンネル表現を生成するために、例えばマルチチャンネルの符号化されたオーディオ信号１０３によって提供されたマルチチャンネル残差信号５８を使う。さらに、マルチチャンネル残差信号は、第１マルチチャンネル表現より低い帯域幅を含む。第１結合マルチチャンネルデコーダは、第１マルチチャンネル情報を使って、中間的な第１マルチチャンネル表現を再構成して、マルチチャンネル残差信号を中間的な第１マルチチャンネル表現に追加するように構成される。すなわち、ステレオデコーダ１４６は、復号化されたダウンミックス信号のスペクトル表現が、マルチチャンネル信号の中にアップミックスされた後に、第１マルチチャンネル情報２０を使ってマルチチャンネル復号化と、任意に、マルチチャンネルの残差信号を、再構成されたマルチチャンネル信号に追加することによって、再構成されたマルチチャンネル信号の改良と、を含む。従って、第１マルチチャンネル情報および残差信号は、既にマルチチャンネル信号に作用する。

第２結合マルチチャンネルデコーダ１１０は、入力として、周波数ドメインデコーダにより得られたスペクトル表現を使う。スペクトル表現は、少なくとも複数の帯域について、第１チャンネル信号１５０ａおよび第２チャンネル信号１５０ｂを含む。さらに、第２結合マルチチャンネルプロセッサ１１０は、第１チャンネル信号１５０ａおよび第２チャンネル信号１５０ｂの複数の帯域に適応する。例えばマスクのような結合マルチチャンネル操作は、個々の帯域について、左／右または中間／サイド結合マルチチャンネル符号化を表示する。結合マルチチャンネル操作は、マスクによって中間／サイド表現から左／右表現に表示された帯域を変換するための、中間／サイドまたは左／右変換操作である。それは、時間表現への結合マルチチャンネル操作の結果の変換をして、第２マルチチャンネル表現を得る。さらに、周波数ドメインデコーダは、例えばＩＭＤＣＴ操作または特にサンプリングされた操作である周波数−時間コンバータ１５２を含む。すなわち、マスクは、例えばＬ／ＲまたはＭ／Ｓステレオ符号化を表示するフラグを含む。第２結合マルチチャンネルエンコーダは、対応するステレオ符号化アルゴリズムを個々のオーディオフレームに適用する。任意に、インテリジェント・ギャップ・フィリングは、符号化されたオーディオ信号の帯域幅をさらに減らすために、符号化されたオーディオ信号に適用される。従って、例えば、トーン周波数帯域は、前述のステレオ符号化アルゴリズムを使って高解像度で符号化される。他の周波数帯域は、例えばＩＧＦアルゴリズムを使うことによってパラメトリック的に符号化される。

すなわち、ＬＰＤパス１０４では、送信されたモノラル信号は、例えばＴＤ−ＢＷＥ１２６またはＩＧＦモジュール１３２によってサポートされた、切り替え可能なＡＣＥＬＰ／ＴＣＸ１２０／１３０デコーダによって再構成される。切り替えによるどのようなＡＣＥＬＰ初期化でも、ダウンサンプリングされたＴＣＸ／ＩＧＦ出力において実行される。ＡＣＥＬＰの出力は、例えばアップサンプル器１２４を使って、完全なサンプリングレートまでアップサンプリングされる。全ての信号は、例えばミキサ１２８を使って、高いサンプリングレートで時間ドメインにおいてミックスされ、ＬＰＤステレオを提供するために、ＬＰＤステレオデコーダ１４６によってさらに処理される。

ＬＰＤ「ステレオ復号化」は、送信されたステレオパラメータ２０の応用によって導かれた、送信されたダウンミックスのアップミックスで構成される。任意で、また、ダウンミックス残差５８が、ビットストリームの中に含まれる。この場合、残差は復号化されて、「ステレオ復号化」１４６によってアップミックス計算に含められる。

ＦＤパス１０６は、それ自身独立した内部結合ステレオまたはマルチチャンネル復号化を持つように構成される。結合ステレオに対して、それを復号化することは、それ自身臨界的にサンプリングされた、実数値のフィルタバンク１５２、例えばすなわちＩＭＤＣＴを再利用する。

ＬＰＤステレオ出力とＦＤステレオ出力とは、完全に切り替えられた符号器の最終的な出力１１８を提供するために、例えば第１結合器１１２を使って、時間ドメインにおいてミックスされる。

たとえマルチチャンネルが、関連した数値においてステレオ復号化について説明されても、同じ原則が、また、一般に２つ以上のチャンネルによって、マルチチャンネルの処理に適用される。

図８は、マルチチャンネル信号を符号化する方法８００の概要ブロック図を示す。方法８００は、線形予測ドメイン符号化を実行するステップ８０５と、周波数ドメイン符号化を実行するステップ８１０と、線形予測ドメイン符号化と周波数ドメイン符号化との間を切り替えるステップ８１５と、を含む。線形予測ドメイン符号化するステップは、ダウンミックス信号と、ダウンミックス信号をコア符号化する線形予測ドメインと、マルチチャンネルの信号から第１マルチチャンネル情報を生成する第１結合マルチチャンネル符号化と、を得るために、マルチチャンネル信号をダウンミックスするステップを含む。周波数ドメイン符号化は、マルチチャンネルの信号から第２マルチチャンネル情報を生成する第２結合マルチチャンネル符号化するステップを含む。第２結合マルチチャンネル符号化するステップは、第１マルチチャンネルの符号化するステップと異なる。切り替えは、マルチチャンネル信号の部分が、線形予測ドメイン符号化の符号化されたフレーム、または、周波数ドメイン符号化の符号化されたフレームのいずれかによって表現されるように実行される。

図９は、符号化されたオーディオ信号を復号化する方法９００の概要ブロック図を示す。方法９００は、線形予測ドメイン復号化するステップ９０５と、周波数ドメイン復号化するステップ９１０と、線形予測ドメイン復号化の出力および第１マルチチャンネル情報を使って第１マルチチャンネル表現を生成する第１結合マルチチャンネル復号化するステップ９１５と、周波数ドメイン復号化の出力および第２マルチチャンネル情報を使って第２マルチチャンネル表現を生成する第２マルチチャンネル復号化するステップ９２０と、復号化されたオーディオ信号を得るために、第１マルチチャンネルの表現と第２マルチチャンネルの表現とを結合するステップ９２５と、を含む。第２の第１マルチチャンネル情報復号化するステップは、第１マルチチャンネル復号化するステップと異なる。

図１０は、別の態様によるマルチチャンネル信号を符号化するためのオーディオエンコーダの概要ブロック図を示す。オーディオエンコーダ２’は、線形予測ドメインエンコーダ６およびマルチチャンネル残差符号器５６を含む。線形予測ドメインエンコーダは、ダウンミックス信号１４を得るために、マルチチャンネルの信号４をダウンミックスするためのダウンミキサ１２と、ダウンミックス信号１４を符号化するための線形予測ドメインコアエンコーダ１６と、を含む。線形予測ドメインエンコーダ６は、さらに、マルチチャンネルの信号４からマルチチャンネル情報２０を生成するための結合マルチチャンネルエンコーダ１８を含む。さらに、線形予測ドメインエンコーダは、符号化されたダウンミックス信号２６を復号化して、符号化されて復号化されたダウンミックス信号５４を得るための線形予測ドメインデコーダ５０を含む。マルチチャンネル残差符号器５６は、符号化されて復号化されたダウンミックス信号５４を使って、マルチチャンネル残差信号を計算して符号化する。マルチチャンネル残差信号は、マルチチャンネル情報２０を用いる復号化されたマルチチャンネル表現５４と、ダウンミックス前のマルチチャンネル信号４との間の誤差を表現する。

実施の形態によると、ダウンミックス信号１４は、低帯域と高帯域とを含む。線形予測ドメインデコーダは、高帯域をパラメトリック的に符号化することに対して、帯域幅拡張処理を適用するために帯域幅拡張プロセッサを用いる。線形予測ドメインエンコーダは、符号化されて復号化されたダウンミックス信号５４として、ダウンミックス信号の低帯域を表現する低帯域信号だけを得るように構成される。符号化されたマルチチャンネル残差信号は、ダウンミックス前のマルチチャンネル信号の低帯域に相当する帯域しか持たない。さらに、オーディオエンコーダ２に関する同じ説明が、オーディオエンコーダ２’に適用される。しかし、エンコーダ２の別の周波数符号化は省略される。これはエンコーダ構成を簡素化し、従って、仮にエンコーダが、単に信号を含むオーディオ信号のために使われるならば、有利である。それは、目立った品質損失が無く、または、復号化されたオーディオ信号の品質がまだ規格内にある、時間ドメインにおいてパラメトリック的に符号化される。しかし、専用の残差ステレオ符号化は、復号化されたオーディオ信号の再作成品質を増大させるために有利である。より明確には、符号化されたオーディオ信号に対する復号化されたオーディオ信号の差が、デコーダによって知られるので、符号化の前のオーディオ信号と符号化されて復号化されたオーディオ信号との間の差が、復号化されたオーディオ信号の再作成品質を増大させるために、導出されてデコーダに送信される。

図１１は、別の態様による符号化されたオーディオ信号１０３を復号化するためのオーディオデコーダ１０２’を示す。オーディオデコーダ１０２’は、線形予測ドメインデコーダ１０４と、線形予測ドメインデコーダ１０４の出力および結合マルチチャンネル情報２０を使ってマルチチャンネルの表現１１４を生成するための結合マルチチャンネルデコーダ１０８と、を含む。さらに、符号化されたオーディオ信号１０３は、マルチチャンネル表現１１４を生成するためのマルチチャンネルデコーダによって使われるマルチチャンネル残差信号５８を含む。さらに、オーディオデコーダ１０２と関連した同じ説明は、オーディオデコーダ１０２’に適用される。ここに、たとえパラメトリックで、それ故、浪費の符号化が使われても、もとのオーディオ信号から復号化されたオーディオ信号への残差信号は、もとのオーディオ信号と比較して、復号化されたオーディオ信号の同じ品質を少なくともほとんど達成するために、復号化されたオーディオ信号に使われて適用される。しかし、オーディオデコーダ１０２に関して示された周波数復号化部分は、オーディオデコーダ１０２’において省略される。

図１２は、マルチチャンネル信号を符号化するためのオーディオ符号化方法１２００の概要ブロック図を示す。方法１２００は、ダウンミックスされたマルチチャンネル信号を得るために、マルチチャンネル信号のダウンミックスを含む線形予測ドメイン符号化するステップ１２０５を含む。線形予測ドメインコアエンコーダは、マルチチャンネル信号からマルチチャンネル情報を生成する。方法は、さらに、符号化されて復号化されたダウンミックス信号を得るために、ダウンミックス信号復号化する線形予測ドメインを含む。方法１２００は、符号化されて復号化されたダウンミックス信号を使って、符号化されたマルチチャンネル残差信号を計算するマルチチャンネル残差符号化するステップ１２１０を含む。マルチチャンネル残差信号は、第１マルチチャンネル情報を用いる復号化されたマルチチャンネル表現と、ダウンミックス前のマルチチャンネル信号との間の誤差を表現する。

図１３は、符号化されたオーディオ信号を復号化する方法１３００の概要ブロック図を示す。方法１３００は、線形予測ドメイン復号化するステップ１３０５と、線形予測ドメイン復号化の出力および結合マルチチャンネル情報を使って、マルチチャンネルの表現を生成する結合マルチチャンネル復号化するステップ１３１０と、を含む。符号化されたマルチチャンネルオーディオ信号は、チャンネル残差信号を含む。結合マルチチャンネル復号化は、マルチチャンネル表現を生成するために、マルチチャンネル残差信号を使う。

説明された実施の形態は、例えばデジタルラジオ、インターネットストリーミングおよびオーディオ通信応用などのステレオまたはマルチチャンネルオーディオコンテンツ（与えられた低いビットレートで一定の知覚品質を持つ似たスピーチと音楽）の全てのタイプの放送の分配の中での使用を認める。

図１４から図１７まで、ＬＰＤ符号化と周波数ドメイン符号化との間で提案されるシームレスな切り替えをどのように適用するかの実施の形態を説明する。逆もまた同様である。一般に、過去のウィンドウ化または処理化は、細いラインを使って示し、太いラインは、現在のウィンドウ化または処理化を示す。切り替えが適用され、そして、点線は、転移または切り替えのために独占的になされる現在の処理化を表示する。ＬＰＤ符号化から周波数符号化への切り替えまたは転移。

図１４は、周波数ドメイン符号化と時間ドメイン符号化との間のシームレスな切り替えのために実施の形態を表示する概要タイミング・ダイアグラムを示す。仮に、例えばコントローラ１０が、現在のフレームが前のフレームに対して使われたＦＤ符号化の代わりにＬＰＤ符号化を使ってより良く符号化されることを示すならば、これは適切である。周波数ドメイン符号化の間において、停止ウィンドウ２００ａおよび２００ｂが、（任意に２以上のチャンネルに拡張される）各ステレオ信号に対して適用される。停止ウィンドウは、第１フレーム２０４の始まり２０２で、標準のＭＤＣＴ重畳加算フェード化と異なる。停止ウィンドウの左側部は、例えばＭＤＣＴ時間−周波数変換を使って、前のフレームを符号化するための伝統的な重畳加算である。従って、切り替えの前のフレームは、まだ適切に符号化される。現在のフレーム２０４に対して、切り替えが適用されると、たとえ、時間ドメイン符号化のための中間信号の第１パラメトリック表現が、以下のフレーム２０６のために計算されても、追加のステレオパラメータが計算される。これらの２つの追加のステレオ解析は、ＬＰＤルックアヘッドのための中間信号２０８を生成することができるようになされる。しかし、ステレオパラメータは、２つの第１ＬＰＤステレオウィンドウのために、（追加して）送信される。正常な場合において、ステレオパラメータは、遅延の２つのＬＰＤステレオフレームと共に送られる。ＬＰＣ分析またはフォワード・エイリアシング取消し（ＦＡＣ）などのＡＣＥＬＰメモリを更新するために、中間信号も過去のために利用される。後に、第１ステレオ信号のためのＬＰＤステレオウィンドウ２１０ａ〜２１０ｄ、および、第２ステレオ信号のためのＬＰＤステレオウィンドウ２１２ａ〜２１２ｄが、例えばＤＦＴを使って時間−周波数変換を適用する前に、分析フィルタバンク８２において適用される。中間信号は、ＴＣＸ符号化を使うときに、典型的なクロスフェード傾斜を含み、例示的なＬＰＤ分析ウィンドウ２１４を結果として得る。仮にＡＣＥＬＰが、モノラル低帯域信号などのオーディオ信号を符号化するために使われるならば、それは、ＬＰＣ分析が適用される、矩形のＬＰＤ分析ウィンドウ２１６により示される複数の周波数帯域を単に選択する。

さらに、垂直線２１８により示されたタイミングは、転移が適用される現在のフレームが、周波数ドメイン分析ウィンドウ２００ａ，２００ｂおよび計算された中間信号２０８ならびに対応するステレオ情報からの情報を含むことを示す。ライン２０２とライン２１８との間の周波数分析ウィンドウの水平部分の間に、フレーム２０４が、周波数ドメイン符号化を使って完全に符号化される。ライン２１８からライン２２０の周波数分析ウィンドウの終わりまで、フレーム２０４は、周波数ドメイン符号化とＬＰＤ符号化との両者からの情報を含み、ライン２２０から垂直ライン２２２のフレーム２０４の終わりまでは、ＬＰＤ符号化のみがフレームの符号化に寄与する。最初のおよび最後の（第３の）部分が、エイリアシングを持たないで１つの符号化技術から簡単に導出されるので、より一層の注意が、符号化の中間部で引き付けられる。しかし、中間部分のために、それはＡＣＥＬＰおよびＴＣＸモノラル信号符号化の間に区別されるべきである。ＴＣＸ符号化は、周波数ドメイン符号化によって既に適用されているように、クロスフェードを使うので、周波数符号化された信号の外の簡単なフェード、および、ＴＣＸ符号化された中間信号のフェードインが、現在のフレーム２０４を符号化するための完全な情報を提供する。仮にＡＣＥＬＰがモノラル信号符号化のために使われるならば、エリア２２４は、オーディオ信号を符号化するための完全な情報を含まないので、より洗練された処理が適用される。提案された方法は、例えばセクション７．１６のＵＳＡＣ規格において説明されたフォワード・エイリアシング訂正（ＦＡＣ）である。

実施の形態によると、コントローラ１０は、マルチチャンネルオーディオ信号の現在のフレーム２０４内で、前のフレームを符号化するための周波数ドメインエンコーダ８を使うことから、後のフレームを復号化するための線形予測ドメインエンコーダに切り替えるように構成される。第１結合マルチチャンネルエンコーダ１８は、現在のフレームのためにマルチチャンネルオーディオ信号から、合成マルチチャンネルパラメータ２１０ａ，２１０ｂ，２１２ａ，２１２ｂを計算する。第２結合マルチチャンネルエンコーダ２２は、停止ウィンドウを使って第２マルチチャンネル信号を重み付けするように構成される。

図１５は、図１４のエンコーダ操作に対応するデコーダの概要タイミング・ダイアグラムを示す。ここに、現在のフレーム２０４の再構成は実施の形態により説明される。図１４のエンコーダタイミング・ダイアグラムにおいて既に示されているように、周波数ドメインステレオチャンネルは、停止ウィンドウ２００ａおよび２００ｂを適用する前のフレームから提供される。ＦＤからＬＰＤモードへの転移は、モノラルの場合のように、復号化された中間信号において最初になされる。それは、ＦＤモードにおいて復号化された時間ドメイン信号１１６から中間信号２２６を人工的に創作することにより達成される。ｃｃｆｌはコア符号フレーム長さであり、Ｌ＿ｆａｃは周波数エイリアシング取消しウィンドウまたはフレームまたはブロックまたは変換の長さを示す。

この信号は、その時、メモリを更新し、ＦＤモードからＡＣＥＬＰへの転移ためのモノラルの場合にそれがなされるように、復号化するＦＡＣを適用するためのＬＰＤデコーダ１２０に伝えられる。処理は、セクション７．１６のＵＳＡＣ規格［ＩＳＯ／ＩＥＣ ＤＩＳ ２３００３−３，Ｕｓａｃ］において説明される。ＦＤモードからＴＣＸへの場合において、従来の重畳加算が実行される。ＬＰＤステレオデコーダ１４６は、既に転移がなされたステレオ処理に対して、例えば送信されたステレオパラメータ２１０および２１２を適用することによって、入力信号として（時間−周波数コンバータ１４４の時間−周波数変換が適用された後の周波数ドメインにおいて）復号化された中間信号を受信する。ステレオデコーダは、その時、ＦＤモードにおいて復号化された前のフレームとオーバーラップする、左右のチャンネル信号２２８，２３０を出力する。信号、すなわち転移が適用されるフレームのためのＦＤ復号化時間ドメイン信号とＬＰＤ復号化時間ドメイン信号とが、その時、左右のチャンネルにおいて転移を滑らかにするために、個々のチャンネルにおいて（結合器１１２の中で）クロスフェードされる。

図１５において、転移は、Ｍ＝ｃｃｆｌ／２を使って図式的に説明される。さらに、結合器は、これらのモードの間の転移無しで、ＦＤまたはＬＰＤ復号化だけを使って、復号化されている連続的なフレームでクロスフェードを実行する。

すなわち、ＦＤ復号化の重畳加算処理は、特に時間周波数／周波数時間変換のためのＭＤＣＴ／ＩＭＤＣＴを使うとき、ＦＤ復号化オーディオ信号およびＬＰＤ復号化オーディオ信号のクロスフェードによって置き換えられる。従って、デコーダは、ＬＰＤ復号化されたオーディオ信号をフェードインするために、ＦＤ復号化されたオーディオ信号のフェードアウト部分に対してＬＰＤ信号を計算するべきである。実施の形態によると、オーディオデコーダ１０２は、マルチチャンネルオーディオ信号の現在のフレーム２０４内で、前のフレームを復号化するための周波数ドメインデコーダ１０６を使うことから、後のフレームを復号化するための線形予測ドメインデコーダ１０４に切り替えるように構成される。結合器１１２は、現在のフレームの第２マルチチャンネル表現１１６から合成中間信号２２６を計算する。第１結合マルチチャンネルデコーダ１０８は、合成中間信号２２６および第１マルチチャンネル情報２０を使って、第１マルチチャンネル表現１１４を生成する。さらに、結合器１１２は、第１マルチチャンネル表現と第２マルチチャンネル表現を結合してマルチチャンネルオーディオ信号の復号化された現在のフレームを得るように構成される。

図１６は、現在のフレーム２３２の中で、ＬＰＤ符号化を使うことからＦＤ復号化を使うことへの転移を実行するためのエンコーダにおける概要タイミング・ダイアグラムを示す。ＬＰＤ符号化からＦＤ符号化への切り替えるために、開始ウィンドウ３００ａ，３００ｂが、ＦＤマルチチャンネル符号化に適用される。開始ウィンドウは、停止ウィンドウ２００ａ，２００ｂと比較されるとき、同様な機能を持つ。垂直線２３４と２３６との間のＬＰＤエンコーダのＴＣＸ符号化されたモノラル信号のフェードアウトの間、開始ウィンドウ３００ａ，３００ｂは、フェードインを実行する。ＴＣＸの代わりにＡＣＥＬＰを使うとき、モノラル信号は円滑なフェードアウトを実行しない。それにもかかわらず、正しいオーディオ信号は、例えばＦＡＣを使用してデコーダにおいて再構成される。ＬＰＤステレオウィンドウ２３８および２４０は、デフォルトによって計算されて、ＡＣＥＬＰまたはＴＣＸ符号化されたモノラル信号を参照し、ＬＰＤ分析ウィンドウ２４１によって示される。

図１７は、図１６について説明されたエンコーダのタイミング・ダイアグラムに対応しているデコーダにおいて、概要タイミング・ダイアグラムを示す。

ＬＰＤモードからＦＤモードへの転移のために、特別なフレームはステレオデコーダ１４６によって復号化される。ＬＰＤモードデコーダから来る中間信号は、フレームインデックスｉ＝ｃｃｆｌ／Ｍに対してゼロで拡張される。

以前に説明されたステレオ復号化は、最後のステレオパラメータを保持することによって実行され、スイッチを切ることによって、サイド信号逆量子化、すなわちｃｏｄｅ＿ｍｏｄｅが０に設定される。さらに、逆ＤＦＴの後の右側ウィンドウ化は適用されず、それは、特別なＬＰＤステレオウィンドウ２４４ａ，２４４ｂの鋭いエッジ２４２ａ，２４２ｂを結果として得る。具体的な形状のエッジは平坦なセクション２４６ａ，２４６ｂに置かれることが、明確に認められる。フレームの対応する部分の全体の情報は、ＦＤ符号化オーディオ信号から導出される。従って、（鋭いエッジ無しの）右側ウィンドウ化は、ＬＰＤ情報からＦＤ情報への望まれない干渉を結果として生じ、従って適用されない。

（ＬＰＤ分析ウィンドウ２４８およびステレオパラメータによって示されたＬＰＤ復号化中間信号を使って）結果として得る左右（復号化されたＬＰＤ）のチャンネル２５０ａ，２５０ｂは、その時、ＴＣＸからＦＤモードへの場合に処理する重畳加算を使うことによって、または、ＡＣＥＬＰからＦＤモードへの場合にチャンネル毎にＦＡＣを使うことによって、次のフレームのＦＤモード復号化チャンネルに結合される。転移の概要の説明は、図１７において記載される。ここで、Ｍ＝ｃｃｆｌ／２、である。

実施の形態によると、オーディオデコーダ１０２は、マルチチャンネルオーディオ信号の現在のフレーム２３２内で、前のフレームを復号化するための線形予測ドメインデコーダ１０４を使うことから、後のフレームを復号化するための周波数ドメインデコーダ１０６に切り替える。ステレオデコーダ１４６は、前のフレームのマルチチャンネルの情報を使って、現在のフレームについての、線形予測ドメインデコーダの復号化されたモノラル信号から、合成マルチチャンネルオーディオ信号を計算する。第２結合マルチチャンネルデコーダ１１０は、現在のフレームについての、第２マルチチャンネル表現を計算して、開始ウィンドウを使って、第２マルチチャンネル表現を重み付けする。結合器１１２は、合成マルチチャンネルオーディオ信号と重み付けされた第２マルチチャンネル表現とを結合してマルチチャンネルオーディオ信号の復号化された現在のフレームを得る。

図１８は、マルチチャンネル信号４を符号化するためのエンコーダ２’’の概要ブロック図を示す。オーディオエンコーダ２’’は、ダウンミキサ１２と、線形予測ドメインコアエンコーダ１６と、フィルタバンク８２と、結合マルチチャンネルエンコーダ１８と、を含む。ダウンミキサ１２は、マルチチャンネル信号４をダウンミックスしてダウンミックス信号１４を得るために構成される。ダウンミックス信号は、例えばＭ／Ｓマルチチャンネルオーディオ信号の中間信号などのモノラル信号である。線形予測ドメインコアエンコーダ１６は、ダウンミックス信号１４を符号化する。ダウンミックス信号１４は、低帯域と高帯域とを持つ。線形予測ドメインコアエンコーダ１６は、帯域幅拡張処理を適用して高帯域をパラメトリック的に符号化を適用するように構成される。さらに、フィルタバンク８２は、マルチチャンネル信号４のスペクトル表現を生成する。結合マルチチャンネルエンコーダ１８は、マルチチャンネル信号の低帯域と高帯域とを含むスペクトル表現を処理してマルチチャンネル情報２０を生成するように構成される。マルチチャンネル情報は、デコーダがモノラル信号からマルチチャンネルオーディオ信号を再計算することを可能にする、ＩＬＤおよび／またはＩＰＤおよび／またはＩＩＤ（相互聴覚強度差）パラメータを含む。この態様による実施の形態の別の態様のより詳細な図が、前の図、特に図４に認められる。

実施の形態によると、線形予測ドメインコアエンコーダ１６は、前記符号化されたダウンミックス信号２６を復号化して、符号化されて復号化されたダウンミックス信号５４を得るための線形予測ドメインデコーダをさらに含む。ここに、線形予測ドメインコアエンコーダは、デコーダへの送信のために符号化されるＭ／Ｓオーディオ信号の中間信号を形成する。さらに、オーディオエンコーダは、符号化されて復号化されたダウンミックス信号５４を使って、符号化されたマルチチャンネル残差信号５８を計算するためのマルチチャンネル残差符号器５６をさらに含む。マルチチャンネル残差信号は、マルチチャンネル情報２０を使って、復号化されたマルチチャンネル表現とダウンミックス前のマルチチャンネル信号４の間の誤差を表現する。すなわち、マルチチャンネル残差信号５８は、Ｍ／Ｓオーディオ信号のサイド信号であり、線形予測ドメインコアエンコーダを使って計算された中間信号に対応する。

別の実施の形態によると、線形予測ドメインコアエンコーダ１６は、高帯域をパラメトリック的に符号化するために、帯域幅拡張処理を適用し、符号化されて復号化されたダウンミックス信号として、ダウンミックス信号の低帯域を表現している低帯域信号だけを得るように構成される。符号化されたマルチチャンネル残差信号５８は、ダウンミックス前のマルチチャンネル信号の低帯域に相当する帯域しか持っていない。追加して、または、代わりに、マルチチャンネル残差符号器は、線形予測ドメインコアエンコーダにおいてマルチチャンネル信号の高帯域に適用される時間ドメイン帯域幅拡張をシミュレーションして、高帯域に対して残差またはサイド信号を計算して、モノラルまたは中間信号のより正確な復号化を可能にして、復号化されたマルチチャンネルオーディオ信号を導出する。シミュレーションは、帯域幅拡張高帯域を復号化するためにデコーダの中で実行される、同じまたは同様な計算を含む。帯域幅拡張をシミュレーションするための代わりのまたは追加のアプローチは、サイド信号の予測である。従って、マルチチャンネル残差符号器は、フィルタバンク８２での時間周波数変換の後に、マルチチャンネルオーディオ信号４のパラメトリック表現８３から全帯域残差信号を計算する。この全帯域サイド信号は、パラメータの表現８３から同様に導出された全帯域中間信号の周波数表現と比較する。全帯域中間信号は、例えばパラメトリック表現８３の左右のチャンネルの合計として計算され、全帯域サイド信号は、それからの差として計算される。従って、さらに、予測は、全帯域サイド信号の絶対差を最小化する全帯域中間信号の予測ファクター、および予測ファクターと全帯域中間信号との作成を計算する。

すなわち、線形予測ドメインエンコーダは、Ｍ／Ｓマルチチャンネルオーディオ信号の中間信号のパラメトリック表現として、ダウンミックス信号１４を計算するように構成される。マルチチャンネル残差符号器は、Ｍ／Ｓマルチチャンネルオーディオ信号の中間信号に相当するサイド信号を計算するように構成される。残差符号器は、シミュレーション時間ドメイン帯域幅拡張を使って、中間信号の高帯域を計算する。または、残差符号器は、前のフレームから計算されたサイド信号と計算された全帯域中間信号との間の差を最小化する予測情報の発見を使って、中間信号の高帯域を予測する。

別の実施の形態は、ＡＣＥＬＰプロセッサ３０を含む線形予測ドメインコアエンコーダ１６を示す。ＡＣＥＬＰプロセッサは、ダウンサンプリングされたダウンミックス信号３４に作用する。さらに、時間ドメイン帯域幅拡張プロセッサ３６は、第３のダウンサンプリングによってＡＣＥＬＰ入力信号から取り除かれた、ダウンミックス信号の部分の帯域をパラメトリック的に符号化するように構成される。追加して、または、代わりに、線形予測ドメインコアエンコーダ１６は、ＴＣＸプロセッサ３２を含む。ＴＣＸプロセッサ３２は、ダウンサンプルされないか、または、ＡＣＥＬＰプロセッサのためのダウンサンプリングより少ない程度でダウンサンプリングされたダウンミックス信号１４に作用する。さらに、ＴＣＸプロセッサは、第１の時間−周波数コンバータ４０と、第１帯域セットのパラメトリック表現４６を生成するための第１パラメータ生成器４２と、第２帯域セットのための量子化されて符号化されたスペクトルライン４８のセットを生成するための第１量子化器エンコーダ４４と、を含む。ＡＣＥＬＰプロセッサとＴＣＸプロセッサとは、例えば、フレームの第１の数がＡＣＥＬＰを使って符号化されて、フレームの第２の数がＴＣＸを使って符号化されること、または、ＡＣＥＬＰおよびＴＣＸの両方が結合方法において、１つのフレームを復号化するために情報を寄与すること、のどちらかを別々に実行する。

別の実施の形態は、フィルタバンク８２と異なる時間−周波数コンバータ４０を示す。フィルタバンク８２は、マルチチャンネル信号４のスペクトル表現８３を生成するために最適化されたフィルタパラメータを含む。時間−周波数コンバータ４０は、第１帯域セットのパラメトリック表現４６を生成するために最適化されたフィルタパラメータを含む。別のステップにおいて、線形予測ドメインエンコーダは、帯域幅拡張および／またはＡＣＥＬＰの場合、異なるフィルタバンクを使う、または、フィルタバンクでさえ使わないことに留意されたい。さらに、フィルタバンク８２は、線形予測ドメインエンコーダの前のパラメータ選択に依存しないで、スペクトル表現８３を生成するために、別個のフィルタパラメータを計算する。すなわち、ＬＰＤモードにおけるマルチチャンネル符号化は、帯域幅拡張（ＡＣＥＬＰための時間ドメインとＴＣＸのためのＭＤＣＴ）において使われたものではないマルチチャンネル処理（ＤＦＴ）のためのフィルタバンクを使う。その利点は、個々のパラメトリック符号化が、そのパラメータを得るために、その最適な時間−周波数分解を使うことができることである。例えば、ＡＣＥＬＰ＋ＴＤＢＷＥと外部のフィルタバンク（例えばＤＦＴ）を持つパラメトリックマルチチャンネル符号化とのコンビネーションは有利である。スピーチのための最もよい帯域幅拡張が時間ドメインの中にあり、マルチチャンネル処理が周波数ドメインの中にあることが知られているので、このコンビネーションは特に効率的である。ＡＣＥＬＰ＋ＴＤＢＷＥが、どの時間−周波数コンバータも持たないので、ＤＦＴのような外部のフィルタバンクまたは変換が好まれるか、または必要でさえある。他の概念は常に同じフィルタバンクを使い、それ故、例えば以下のような異なるフィルタバンクを使わない。
−ＭＤＣＴのＡＡＣに対して、ＩＧＦおよび結合ステレオ符号化
−ＱＭＦのＨｅＡＡＣｖ２に対して、ＳＢＲ＋ＰＳ
−ＱＭＦのＵＳＡＣに対して、ＳＢＲ＋ＭＰＳ２１２。

別の実施の形態によると、マルチチャンネルエンコーダは第１フレーム生成器を含み、線形予測ドメインコアエンコーダは、第２フレーム生成器を含む。第１および第２フレーム生成器は、マルチチャンネル信号４からフレームを形成するように構成される。第１および第２フレーム生成器は、同等の長さのフレームを形成するように構成される。すなわち、マルチチャンネルプロセッサのフレーム化は、ＡＣＥＬＰにおいて使われたものと同じである。たとえマルチチャンネル処理が、周波数ドメインにおいてなされても、そのパラメータまたはダウンミックスを計算するための時間解像度は、ＡＣＥＬＰのフレーム化に近似するか、または、等しくさえある。この場合の同等の長さは、マルチチャンネル処理またはダウンミックスに対して、パラメータを計算するための時間解像度と等しいか、または近いＡＣＥＬＰのフレーム化に関連する。

別の実施の形態によると、オーディオエンコーダは、線形予測ドメインコアエンコーダ１６およびマルチチャンネルエンコーダ１８を含む線形予測ドメインエンコーダ６と、周波数ドメインエンコーダ８と、線形予測ドメインエンコーダ６と周波数ドメインエンコーダ８との間を切り替えるためのコントローラ１０とをさらに含む。周波数ドメインエンコーダ８は、マルチチャンネル信号からの第２マルチチャンネル情報２４を符号化するための第２結合マルチチャンネルエンコーダ２２を含む。第２結合マルチチャンネルエンコーダ２２は、第１結合マルチチャンネルエンコーダ１８と異なる。さらに、コントローラ１０は、マルチチャンネル信号の部分が、線形予測ドメインエンコーダの符号化されたフレーム、または、周波数ドメインエンコーダの符号化されたフレームのいずれかによって表現されるように構成される。

図１９は、別の態様によるコア符号化された信号と、帯域幅拡張パラメータと、マルチチャンネル情報と、を含む符号化されたオーディオ信号１０３を復号化するためのデコーダ１０２’’の概要ブロック図を示す。オーディオデコーダは、線形予測ドメインコアデコーダ１０４と、分析フィルタバンク１４４と、マルチチャンネルデコーダ１４６と、シンセサイズフィルタバンクプロセッサ１４８と、を含む。線形予測ドメインコアデコーダ１０４は、コア符号化された信号を復号化してモノラル信号を生成する。これは、Ｍ／Ｓ符号化オーディオ信号の（全帯域）中間信号である。分析フィルタバンク１４４は、モノラル信号をスペクトル表現１４５に変換する。マルチチャンネルデコーダ１４６は、モノラル信号のスペクトル表現およびマルチチャンネル情報２０から、第１チャンネルスペクトルおよび第２チャンネルスペクトルを生成する。従って、マルチチャンネルデコーダは、例えば、復号化された中間信号に相当するサイド信号を含むマルチチャンネル情報を使う。シンセサイズフィルタバンクプロセッサ１４８は、第１チャンネルスペクトルをシンセサイズフィルタリングして第１チャンネル信号を得るための、および、第２チャンネルスペクトルをシンセサイズフィルタリングして第２チャンネル信号を得るために構成された。従って、好ましくは、分析フィルタバンク１４４に比べて逆の操作は、仮に分析フィルタバンクがＤＦＴを使うならば、ＩＤＦＴである第１および第２チャンネル信号に適用される。しかし、フィルタバンクプロセッサが、例えば同じフィルタバンクを使って、例えば、並列にまたは連続的な順に、２つのチャンネルスペクトルを処理する。この別の態様に関するさらに詳細な図面が、前の図面，特に図７に関して見られる。

別の実施の形態によると、線形予測ドメインコアデコーダは、帯域幅拡張パラメータおよび低帯域モノラル信号またはコア符号化された信号から、高帯域部分１４０を生成してオーディオ信号の復号化された高帯域１４０を得るための帯域幅拡張プロセッサ１２６を含む。低帯域信号プロセッサは、低帯域モノラル信号を復号化するように構成される。結合器１２８は、オーディオ信号の復号化された低帯域モノラル信号、および、オーディオ信号の復号化された高帯域を使って、全帯域モノラル信号を計算するように構成される。低帯域モノラル信号は、例えば、Ｍ／Ｓマルチチャンネルオーディオ信号の中間信号のベース帯域表現である。帯域幅拡張パラメータは、低帯域モノラル信号から全帯域モノラル信号を（結合器１２８の中で）計算するように適用される。

別の実施の形態によると、線形予測ドメインデコーダは、ＡＣＥＬＰデコーダ１２０、低帯域シンセサイザ１２２、アップサンプル器１２４、時間ドメイン帯域幅拡張プロセッサ１２６、または、第２結合器１２８とを含む。第２結合器１２８は、アップサンプルされた低帯域信号と帯域幅拡張高帯域信号１４０とを結合して全帯域ＡＣＥＬＰ復号化されたモノラル信号を得るように構成される。線形予測ドメインデコーダは、全帯域ＴＣＸ復号化されたモノラル信号を得るために、ＴＣＸデコーダ１３０およびインテリジェント・ギャップ・フィリングプロセッサ１３２をさらに含む。従って、全帯域シンセサイズプロセッサ１３４は、全帯域ＡＣＥＬＰ復号化されたモノラル信号と全帯域ＴＣＸ復号化されたモノラル信号とを結合する。さらに、ＴＣＸデコーダおよびＩＧＦプロセッサから低帯域スペクトル時間変換によって導出された情報を使って、低帯域シンセサイザを初期化するために、クロスパス１３６が提供される。

別の実施の形態によると、オーディオデコーダは、周波数ドメインデコーダ１０６と、周波数ドメインデコーダ１０６の出力２２および第２マルチチャンネル情報２４を使って、第２マルチチャンネル表現１１６を生成するための第２結合マルチチャンネルデコーダ１１０と、第１チャンネル信号と第２チャンネル信号とを、第２マルチチャンネル表現１１６に結合して復号化されたオーディオ信号１１８を得るための第１結合器１１２と、を含む。第２結合マルチチャンネルデコーダは、第１結合マルチチャンネルデコーダと異なる。従って、オーディオデコーダは、ＬＰＤまたは周波数ドメイン復号化を使って、パラメトリックマルチチャンネル復号化の間を切り替える。このアプローチは、既に前の図面について詳細に説明されている。

別の実施の形態によると、分析フィルタバンク１４４は、モノラル信号をスペクトル表現１４５に変換するためにＤＦＴを含む。全帯域シンセサイズプロセッサ１４８は、スペクトル表現１４５を第１および第２チャンネル信号に変換するためのＩＤＦＴを含む。さらに、分析フィルタバンクは、前のフレームと現在フレームは連続しており、前のフレームのスペクトル表現の右の部分と現在フレームのスペクトル表現の左の部分とがオーバーラップするように、ウィンドウを、ＤＦＴ−変換されたスペクトル表現１４５に適用する。すなわち、クロスフェードは、１つのＤＦＴブロックから別のＤＦＴブロックに適用して、連続的なＤＦＴブロックの間の円滑な転移を実行し、および／または、ブロック化アーティファクトを減らす。

別の実施の形態によると、マルチチャンネルデコーダ１４６は、第１および第２チャンネル信号をモノラル信号から得るように構成される。モノラル信号は、マルチチャンネル信号の中間信号である。マルチチャンネルデコーダ１４６は、Ｍ／Ｓマルチチャンネル復号化されたオーディオ信号を得るように構成される。マルチチャンネルデコーダは、マルチチャンネル情報からサイド信号を計算するように構成される。さらに、マルチチャンネルデコーダ１４６は、Ｍ／Ｓマルチチャンネル復号化されたオーディオ信号から、Ｌ／Ｒマルチチャンネル復号化されたオーディオ信号を計算するように構成される。マルチチャンネルのデコーダ１４６は、マルチチャンネル情報とサイド信号とを使って、低帯域のためのＬ／Ｒマルチチャンネル復号化されたオーディオ信号を計算する。追加して、または代わりに、マルチチャンネルデコーダ１４６は、中間信号から予測されたサイド信号を計算する。マルチチャンネルデコーダは、予測されたサイド信号とマルチチャンネル情報のＩＬＤ値を使って、高帯域のためのＬ／Ｒマルチチャンネル復号化されたオーディオ信号を計算するようにさらに構成される。

さらに、マルチチャンネルデコーダ１４６は、Ｌ／Ｒ復号化されたマルチチャンネルオーディオ信号に対して複雑な操作を実行するようにさらに構成される。マルチチャンネルデコーダは、符号化された中間信号のエネルギーと復号化されたＬ／Ｒマルチチャンネルオーディオ信号のエネルギーとを使って、複雑な操作のマグニチュードを計算してエネルギー補償を得る。さらに、マルチチャンネルデコーダは、マルチチャンネル情報のＩＰＤ値を使って、複雑な操作の位相を計算するように構成される。復号化の後に、復号化されたマルチチャンネル信号のエネルギー、レベルまたは位相は、復号化されたモノラル信号と異なる。従って、複雑な操作は、マルチチャンネル信号のエネルギー、レベルまたは位相が、復号化されたモノラル信号の値に適合するように決定される。さらに、位相は、例えば、エンコーダ側で計算されたマルチチャンネル情報から計算されたＩＰＤパラメータを使って、符号化の前のマルチチャンネル信号の位相の値に適合される。さらに、復号化されたマルチチャンネル信号の人間の知覚は、符号化の前のもとのマルチチャンネル信号の人間の知覚に適応する。

図２０は、マルチチャンネル信号を符号化する方法２０００のフローチャートの概要説明を示す。方法は、ダウンミックス信号を得るために、マルチチャンネル信号をダウンミックスするステップ２０５０と、ダウンミックス信号を符号化するステップ２１００とを含む。ダウンミックス信号は、低帯域および高帯域を持つ。線形予測ドメインコアエンコーダは、帯域幅拡張処理を適用してパラメトリック的に高帯域を符号化するように構成される。さらに、方法は、マルチチャンネル信号のスペクトル表現を生成するステップ２１５０と、マルチチャンネル情報を生成するために、マルチチャンネル信号の低帯域および高帯域を含むスペクトル表現を処理するステップ２２００とを含む。

図２１は、コア符号化された信号、帯域幅拡張パラメータおよびマルチチャンネル情報を含む、符号化されたオーディオ信号を復号化する方法２１００のフローチャートの概要説明を示す。方法は、モノラル信号を生成するためにコア符号化された信号を復号化するステップ２１０５と、モノラル信号をスペクトル表現に変換するステップ２１１０と、モノラル信号のスペクトル表現およびマルチチャンネル情報から、第１チャンネルスペクトルおよび第２チャンネルスペクトルを生成するステップ２１１５と、第１チャンネル信号を得るために、第１チャンネルスペクトルをシンセサイズフィルタリングするステップと、および、第２チャンネル信号を得るために、第２チャンネルスペクトルをシンセサイズフィルタリングするステップ２１２０と、を含む。

別の実施の形態は以下の通り説明される。

ビットストリーム構文変化
セクション５．３．２補助ペイロードのＵＳＡＣ規格［１］の表２３は、次の通り修正されるべきである。

以下の表が追加されるべきである。

以下のペイロード説明は、セクション６．２、ＵＳＡＣペイロードに追加されるべきである。

６．２．ｘ ｌｐｄ＿ｓｔｅｒｅｏ＿ｓｔｒｅａｍ（）
詳細な復号化手続は、７．ｘ ＬＰＤステレオ復号化セクションで説明される。

用語と定義
ｌｐｄ＿ｓｔｅｒｅｏ＿ｓｔｒｅａｍ（）：ＬＰＤモードのためのステレオデータを復号化するためのデータ要素。
ｒｅｓ＿ｍｏｄｅ：パラメータ帯域の周波数解像度を示すフラグ。
ｑ＿ｍｏｄｅ：パラメータ帯域の時間解像度を示すフラグ。
ｉｐｄ＿ｍｏｄｅ：ＩＰＤパラメータに対してパラメータ帯域の最大値を定義するビットフィールド。
ｐｒｅｄ＿ｍｏｄｅ：仮に予測が使われるならば示すフラグ。
ｃｏｄ＿ｍｏｄｅ：サイド信号が量子化されるためのパラメータ帯域の最大値を定義するビットフィールド。
Ｉｌｄ＿ｉｄｘ［ｋ］［ｂ］：フレームｋおよび帯域ｂのためのＩＬＤパラメータインデックス。
Ｉｐｄ＿ｉｄｘ［ｋ］［ｂ］：フレームｋおよび帯域ｂのためのＩＰＤパラメータインデックス。
ｐｒｅｄ＿ｇａｉｎ＿ｉｄｘ［ｋ］［ｂ］：フレームｋおよび帯域ｂのための予測利得インデックス。
ｃｏｄ＿ｇａｉｎ＿ｉｄｘ：量子化されたサイド信号のためのグローバル利得インデックス。

補助要素
ｃｃｆｌ：コア符号フレーム長さ。
Ｍ：テーブル７．ｘ．１において定義されるステレオＬＰＤフレーム長さ。
ｂａｎｄ＿ｃｏｎｆｉｇ（）：符号化されたパラメータ帯域数を戻す機能。機能は７．ｘにおいて定義される。
ｂａｎｄ＿ｌｉｍｉｔｓ（）：符号化されたパラメータ帯域数を戻す機能。機能は７．ｘにおいて定義される。
ｍａｘ＿ｂａｎｄ（）：符号化されたパラメータ帯域数を戻す機能。機能は７．ｘにおいて定義される。
ｉｐｄ＿ｍａｘ＿ｂａｎｄ（）：符号化されたパラメータ帯域数を戻す機能。機能は７．ｘにおいて定義される。
ｃｏｄ＿ｍａｘ＿ｂａｎｄ（）：符号化されたパラメータ帯域数を戻す機能。機能は７．ｘにおいて定義される。
ｃｏｄ＿Ｌ：復号化されたサイド信号のためのＤＦＴラインの数。

復号化プロセス
ＬＰＤステレオ符号化
ツール説明
ＬＰＤステレオは離散的なＭ／Ｓステレオ符号化である。中間チャンネルはモノラルＬＰＤコア符号器によって符号化され、サイド信号はＤＦＴドメインの中で符号化される。復号化された中間信号は、ＬＰＤモノラルデコーダから出力されて、それから、ＬＰＤステレオモジュールによって処理される。ステレオ復号化は、ＬチャンネルとＲチャンネルとが復号化されるＤＦＴドメインの中でなされる。２つの復号化されたチャンネルは、時間ドメインにおいて元に変換されて、それから、このドメインにおいて、ＦＤモードから復号化されたチャンネルと結合される。ＦＤ符号化モードは、複雑な予測によって、または、予測無しで、それ自身のステレオのツール、すなわち離散的なステレオを使っている。

データ要素
ｒｅｓ＿ｍｏｄｅ：パラメータ帯域の周波数解像度を示すフラグ。
ｑ＿ｍｏｄｅ：パラメータ帯域の時間解像度を示すフラグ。
ｉｐｄ＿ｍｏｄｅ：ＩＰＤパラメータに対してパラメータ帯域の最大値を定義するビットフィールド。
ｐｒｅｄ＿ｍｏｄｅ：仮に予測が使われるならば示すフラグ。
ｃｏｄ＿ｍｏｄｅ：サイド信号が量子化されるためのパラメータ帯域の最大値を定義するビットフィールド。
Ｉｌｄ＿ｉｄｘ［ｋ］［ｂ］：フレームｋおよび帯域ｂのためのＩＬＤパラメータインデックス。
Ｉｐｄ＿ｉｄｘ［ｋ］［ｂ］：フレームｋおよび帯域ｂのためのＩＰＤパラメータインデックス。
ｐｒｅｄ＿ｇａｉｎ＿ｉｄｘ［ｋ］［ｂ］：フレームｋおよび帯域ｂのための予測利得インデックス。
ｃｏｄ＿ｇａｉｎ＿ｉｄｘ：量子化されたサイド信号のためのグローバル利得インデックス。

補助要素
ｃｃｆｌ：コア符号フレーム長さ。
Ｍ：テーブル７．ｘ．１において定義されるステレオＬＰＤフレーム長さ。
ｂａｎｄ＿ｃｏｎｆｉｇ（）：符号化されたパラメータ帯域数を戻す機能。機能は７．ｘにおいて定義される。
ｂａｎｄ＿ｌｉｍｉｔｓ（）：符号化されたパラメータ帯域数を戻す機能。機能は７．ｘにおいて定義される。
ｍａｘ＿ｂａｎｄ（）：符号化されたパラメータ帯域数を戻す機能。機能は７．ｘにおいて定義される。
ｉｐｄ＿ｍａｘ＿ｂａｎｄ（）：符号化されたパラメータ帯域数を戻す機能。機能は７．ｘにおいて定義される。
ｃｏｄ＿ｍａｘ＿ｂａｎｄ（）：符号化されたパラメータ帯域数を戻す機能。機能は７．ｘにおいて定義される。
ｃｏｄ＿Ｌ：復号化されたサイド信号のためのＤＦＴラインの数。

復号化プロセス
ステレオ復号化は周波数ドメインにおいて実行される。それはＬＰＤデコーダの後処理として作動する。それはＬＰＤデコーダからモノラル中間信号のシンセサイズを受信する。サイド信号は、その時、周波数ドメインにおいて復号化されるか、または予測される。チャンネルスペクトルは、その時、時間ドメインにおいて再シンセサイズされる前に、周波数ドメインにおいて再構成される。ステレオＬＰＤは、ＬＰＤモードの中で使われた符号化モードと独立して、ＡＣＥＬＰフレームのサイズと等しい固定されたフレーム長によって働く。

周波数分析
フレームインデックスｉのＤＦＴスペクトルは、長さＭの復号化されたフレームｘから計算される。

ここで、Ｎは信号の分析のサイズである。ｗは分析ウィンドウである。ｘは、ＤＦＴのオーバーラップサイズＬにより遅延されたフレームインデックスｉで、ＬＰＤデコーダからの復号化された時間信号である。Ｍは、ＦＤモードの中で使われたサンプリングレートで、ＡＣＥＬＰフレームのサイズと等しい。Ｎは、ステレオＬＰＤフレームサイズおよびＤＦＴのオーバーラップサイズを加えたものと等しい。サイズは、表７．ｘ．１において報告されたように、使われたＬＰＤバージョンに依存している。

パラメータ帯域の構成
ＤＦＴスペクトルは、パラメータ帯域と呼ばれる非オーバーラップ周波数帯域の中に分割される。スペクトルの区分化は不均一で、聴覚の周波数分解に似る。スペクトルの２つの異なる分割が、等価矩形帯域幅（ＥＲＢ）の約２倍または約４倍に続く帯域幅によって可能である。スペクトル区分化はデータ要素ｒｅｓ＿ｍｏｄにより選択され、以下の擬似符号により定義される。

funtion nbands=band＿config(N,res＿mod)
band＿limits[0]=1;
nbands=0;
while(band＿limits[nbands++]<(N/2))[
if(stereo＿lpd＿res==0)
band＿limits[nbands]=band＿limits＿erb2[nbands];
else
band＿limits[nbands]=band＿limits＿erb4[nbands];
]
nbands--;
band＿limits[nbands]=N/2;
return nbands

ここで、ｎｂａｎｄｓはパラメータ帯域の総数であり、ＮはＤＦＴ分析ウィンドウサイズである。表ｂａｎｄ＿ｌｉｍｉｔｓ＿ｅｒｂ２とｂａｎｄ＿ｌｉｍｉｔｓ＿ｅｒｂ４は、表７．ｘ．２において定義される。デコーダは、すべての２つのステレオＬＰＤフレームでスペクトルのパラメータ帯域の解像度を順応して変更できる。

ＩＰＤのためのパラメータ帯域の最大数は、２ビットフィールドｉｐｄ＿ｍｏｄデータ要素内で送られる。

ｉｐｄ＿ｍａｘ＿ｂａｎｄ＝ｍａｘ＿ｂａｎｄ［ｒｅｓ＿ｍｏｄ］［ｉｐｄ＿ｍｏｄ］

サイド信号の符号化のためのパラメータ帯域の最大数は、２ビットフィールドｃｏｄ＿ｍｏｄデータ要素内で送られる。

ｃｏｄ＿ｍａｘ＿ｂａｎｄ＝ｍａｘ＿ｂａｎｄ［ｒｅｓ＿ｍｏｄ］［ｃｏｄ＿ｍｏｄ］

テーブルｍａｘ＿ｂａｎｄ［］［］は表７．ｘ．３において定義される。
サイド信号に対して予側するために、復号化されたラインの数は、その時、以下の式で計算される。

ｃｏｄ＿Ｌ＝２・（ｂａｎｄ＿ｌｉｍｉｔｓ［ｃｏｄ＿ｍａｘ＿ｂａｎｄ］−１）

ステレオパラメータの逆量子化
ステレオパラメータ相互チャンネルレベル差（ＩＬＤ）、相互チャンネル位相差（ＩＰＤ）および予測利得は、フラグｑ＿ｍｏｄｅに依存する全てのフレームまたは全ての２つのフレームに送られる。仮に、ｑ＿ｍｏｄｅが０に等しいならば、パラメータは全てのフレームを更新する。さもなければ、パラメータ値は、ＵＳＡＣフレーム内のステレオＬＰＤフレームの奇数のインデックスｉに対してのみ更新する。ＵＳＡＣフレーム内のステレオＬＰＤフレームのインデックスｉは、ＬＰＤバージョン０の中で０と３の間のどちらか、およびＬＰＤバージョン１の中で０と１の間のどちらかが可能である。

ＩＬＤは以下の通り復号化される。

０≦ｂ＜ｎｂａｎｄｓに対して、
ＩＬＤ_i［ｂ］＝ｉｌｄ＿ｑ［ｉｌｄ＿ｉｄｘ［ｉ］［ｂ］］

仮に、ｐｒｅｄ＿ｍｏｄｅが０に等しいならば、全ての利得は、０である。
ｑ＿ｍｏｄｅの値とは無関係に、ｃｏｄｅ＿ｍｏｄｅが非ゼロ値であれば、サイド信号の復号化がフレームごとに実行される。まず、グローバルな利益を復号化する。

ポスト処理
低音の後処理は２つのチャンネルで別々に行われる。処理は、［１］のセクション７．１７で説明したのと同じ両方のチャンネルのためのものである。

本明細書では、ライン上の信号は、ラインの参照番号によって時々命名されることがあり、時にはラインに起因する参照番号自体によって示されることが理解されるべきである。したがって、ある信号を有するラインが信号そのものを示すような表記である。回線は配線で接続された実装の物理回線にすることができる。しかし、コンピュータ化された実装では、物理的な線は存在しないが、線によって表される信号は、ある計算モジュールから他の計算モジュールに伝送される。

本発明は、ブロックが実際のまたは論理的なハードウェア構成要素を表すブロック図の文脈で説明されているが、本発明はまた、コンピュータ実装方法によって実施することもできる。後者の場合、ブロックは対応する方法ステップを表し、これらのステップは対応する論理ハードウェア・ブロックまたは物理ハードウェア・ブロックによって実行される機能を表す。

いくつかの態様が装置という文脈の中で記載されていた場合であっても、該態様も、対応する方法の説明を表現するものとして理解される。その結果、ブロックまたは装置は、方法のステップに対応するか、または方法ステップの特徴として理解されうる。類推によって、態様は、それとともに記載されていたか、または、方法ステップもブロックに対応し、または装置に対応する詳細あるいは特性の説明を表す。方法ステップのいくつかまたは全ては、ハードウェア装置（または、ハードウェア装置を使用するとともに）、例えば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路によって実行されうる。いくつかの実施の形態において、最も重要な方法ステップのいくつかまたはいくらかは、この種の装置によって実行されうる。

本発明の送信または符号化された信号は、デジタル記憶媒体に格納することができ、または無線伝送媒体またはインターネットなどの有線伝送媒体などの伝送媒体上で伝送することができる。

特定の実現要求に応じて、本発明の実施の形態は、ハードウェアにおいて、または、ソフトウェアにおいて、実行されうる。その実現態様は、それぞれの方法が実行されるように、プログラミング可能なコンピュータ・システムと協働しうるか、または、協働する、そこに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えば、フロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリを使用して実行されうる。従って、デジタル記憶媒体は、コンピュータ読み込み可能でもよい。

本発明による若干の実施の形態は、本願明細書において記載される方法のいくつかが実行されるように、プログラミング可能なコンピュータ・システムと協働することができる電子的に読み込み可能な制御信号を有するデータキャリアを含む。

通常、本発明の実施の形態は、プログラムコードを有するコンピュータ・プログラム製品として実施され、コンピュータ・プログラム製品がコンピュータ上で実行する場合、プログラムコードは、いくつかの方法を実行するために作動される。プログラムコードは、例えば、機械可読キャリアに格納される。

他の実施の形態は、本願明細書において記載される方法のいくつかを実行するためのコンピュータ・プログラムを含み、コンピュータ・プログラムが、機械可読キャリアに格納される。

換言すれば、従って、コンピュータ・プログラムがコンピュータ上で実行する場合、本発明の方法の実施の形態は、本願明細書において記載される方法のいくつかを実行するためのプログラムコードを有するコンピュータ・プログラムである。

従って、本発明の方法のさらなる実施の形態は、本願明細書において記載される方法のいくつかを実行するためのコンピュータ・プログラムを含むデータキャリア（または、デジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、典型的には、有体物および／または無体物である。

従って、本発明の方法のさらなる実施の形態は、本願明細書において記載される方法のいくつかを実行するためのコンピュータ・プログラムを表しているデータストリームまたは一連の信号である。例えば、データストリームまたは一連の信号は、データ通信接続、例えば、インターネットを介して転送されるように構成されうる。

さらなる実施の形態は、本願明細書において記載される方法のいくつかを実行するために構成され、または適応される処理手段、例えば、コンピュータ、またはプログラミング可能な論理回路を含む。

さらなる実施の形態は、その上にインストールされ、本願明細書において記載される方法のいくつかを実行するためのコンピュータ・プログラムを有するコンピュータを含む。

発明に従う別の実施の形態は、ここに記載された方法のうちの少なくとも１つを実行するためのコンピュータ・プログラムを、受信器に転送するように構成された装置またはシステムを含む。転送は、例えば、電子的にまたは光学的である。受信器は、例えば、コンピュータまたは携帯機器または記憶デバイスなどである。装置またはシステムは、例えば、コンピュータ・プログラムを受信器に転送するためのファイルサーバーを含む。

いくつかの実施の形態において、プログラミング可能な論理回路（例えば、現場でプログラム可能なゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））が、本願明細書において記載されるいくつかまたは全ての機能を実行するために使用されうる。いくつかの実施の形態において、現場でプログラム可能なゲートアレイは、本願明細書において記載される方法のいくつかを実行するために、マイクロプロセッサと協働しうる。一般に、方法は、いくつかのハードウェア装置によって、好ましくは実行される。

上述した実施の形態は、本発明の原則の例を表すだけである。本願明細書において記載される装置および詳細の修正および変更は、他の当業者にとって明らかであるものと理解される。こういうわけで、記述の手段および実施の形態の議論によって、本願明細書において表された明細書の詳細な記載によりはむしろ、以下の請求項の範囲にによってのみ制限されるように意図する。

文献
［１］ＩＳＯ／ＩＥＣ ＤＩＳ ２３００３−３， Ｕｓａｃ
［２］ＩＳＯ／ＩＥＣ ＤＩＳ ２３００８−３， ３Ｄ Ａｕｄｉｏ

Claims (20)

1. マルチチャンネル信号を符号化するためのオーディオエンコーダ（２）であって、
   線形予測ドメインエンコーダ（６）と、
   周波数ドメインエンコーダ（８）と、
   前記線形予測ドメインエンコーダ（６）と前記周波数ドメインエンコーダ（８）との間を切り替えるためのコントローラ（１０）と、
   を含み、
   前記線形予測ドメインエンコーダ（６）は、マルチチャンネル信号（４）をダウンミックスしてダウンミックス信号（１４）を得るためのダウンミキサ（１２）、前記ダウンミックス信号（１４）を符号化するための線形予測ドメインコアエンコーダ（１６）、および、前記マルチチャンネル信号から第１マルチチャンネル情報（２０）を生成するための第１結合マルチチャンネルエンコーダ（１８）を含み、
   前記周波数ドメインエンコーダ（８）は、前記マルチチャンネル信号から第２マルチチャンネル情報（２４）を符号化するための第２結合マルチチャンネルエンコーダ（２２）を含み、前記第２結合マルチチャンネルエンコーダ（２２）は前記第１結合マルチチャンネルエンコーダ（１８）と異なり、
   前記コントローラ（１０）は、前記マルチチャンネル信号の部分が、前記線形予測ドメインエンコーダの符号化されたフレーム、または、前記周波数ドメインエンコーダの符号化されたフレームのいずれかによって表現されるように構成され、
   前記線形予測ドメインエンコーダ（６）は、ＡＣＥＬＰプロセッサ（３０）とＴＣＸプロセッサ（３２）、および時間ドメイン帯域幅拡張プロセッサ（３６）を含み、前記ＡＣＥＬＰプロセッサは、ダウンサンプリングされたダウンミックス信号（３４）に作用するように構成され、前記時間ドメイン帯域幅拡張プロセッサ（３６）は、第３のダウンサンプリングによってＡＣＥＬＰ入力信号から取り除かれた前記ダウンミックス信号の一部の帯域をパラメトリック的に符号化するように構成され、前記ＴＣＸプロセッサ（３２）は、ダウンサンプリングされていない、または前記ＡＣＥＬＰプロセッサ（３０）のためのダウンサンプリングより少ない程度でダウンサンプリングされた前記ダウンミックス信号（１４）に作用するように構成され、前記ＴＣＸプロセッサが、第１の時間−周波数コンバータ（４０）と、第１帯域セットのパラメトリック表現（４６）を生成するための第１パラメータ生成器（４２）と、第２帯域セットのための量子化されたエンコーダスペクトルライン（４８）のセットを生成するための第１量子化エンコーダ（４４）とを含む、
   または、
   前記オーディオエンコーダは、前記ダウンミックス信号（１４）を復号化して、符号化されて復号化されたダウンミックス信号（５４）を得るための線形予測ドメインデコーダ（５０）と、前記第１マルチチャンネル情報（２０）を用いた復号化されたマルチチャンネル表現と、ダウンミックス前の前記マルチチャンネル信号（４）との間の誤差を表現する前記符号化されて復号化されたダウンミックス信号（５４）を使って、マルチチャンネル残差信号（５８）を計算して符号化するためのマルチチャンネル残差コーダ（５６）とを含む、
   または、
   前記コントローラ（１０）は、マルチチャンネルオーディオ信号の現在のフレーム（２０４）内で、前のフレームを符号化するための前記周波数ドメインエンコーダ（８）を使うことから、後のフレームを符号化するための前記線形予測ドメインエンコーダ（６）を使うことに切り替えるように構成され、前記第１結合マルチチャンネルエンコーダ（１８）は、前記現在のフレームのために前記マルチチャンネルオーディオ信号から合成マルチチャンネルパラメータ（２１０ａ，２１０ｂ，２１２ａ，２１２ｂ）を計算するように構成され、第２結合マルチチャンネルエンコーダ（２２）は、停止ウィンドウを使って第２マルチチャンネル信号を重み付けするように構成される、オーディオエンコーダ（２）。
2. 前記第１結合マルチチャンネルエンコーダ（１８）は、第１の時間−周波数コンバータ（８２）を含み、前記第２結合マルチチャンネルエンコーダ（２２）は、第２の時間−周波数コンバータ（６６）を含み、前記第１の時間−周波数コンバータと前記第２の時間−周波数コンバータとが互いに異なる、請求項１に記載のオーディオエンコーダ（２）。
3. 前記第１結合マルチチャンネルエンコーダ（１８）は、パラメトリック結合マルチチャンネルエンコーダであるか、または、
   前記第２結合マルチチャンネルエンコーダ（２２）は、波形維持結合マルチチャンネルエンコーダである、請求項１または請求項２に記載のオーディオエンコーダ（２）。
4. 前記パラメトリック結合マルチチャンネルエンコーダは、ステレオ予測コーダ、パラメトリックステレオエンコーダまたは回転ベースのパラメトリックステレオエンコーダを含む、または、
   前記波形維持結合マルチチャンネルエンコーダは、帯域選択的スイッチ中間／サイドまたは左／右ステレオコーダを含む、請求項３に記載のオーディオエンコーダ。
5. 前記周波数ドメインエンコーダ（８）は、前記マルチチャンネル信号（４）の第１チャンネル（４ａ）および前記マルチチャンネル信号（４）の第２チャンネル（４ｂ）を、スペクトル表現（７２ａ、７２ｂ）に変換するための第２の時間−周波数コンバータ（６６）と、第２帯域セットのパラメトリック表現を生成するための第２パラメータ生成器（６８）と、第１帯域セット（８０）の量子化されて符号化された表現を生成するための第２量子化エンコーダ（７０）とを含む、請求項１ないし請求項４のいずれかに記載のオーディオエンコーダ（２）。
6. 前記線形予測ドメインエンコーダは、時間ドメイン帯域幅拡張を持つＡＣＥＬＰプロセッサと、ＭＤＣＴ操作を持つＴＣＸプロセッサと、インテリジェント・ギャップ・フィリング機能とを含む、または、
   前記周波数ドメインエンコーダは、前記第１チャンネルおよび前記第２チャンネルのためのＭＤＣＴ操作と、ＡＡＣ操作と、インテリジェント・ギャップ・フィリング機能とを含む、または、
   前記第１結合マルチチャンネルエンコーダは、前記マルチチャンネルオーディオ信号の全帯域幅のためのマルチチャンネル情報が導出されるような方法で動作するように構成される、請求項５に記載のオーディオエンコーダ（２）。
7. 前記ダウンミックス信号は低帯域および高帯域を持ち、前記線形予測ドメインエンコーダは、前記高帯域をパラメトリック的に符号化するために帯域幅拡張処理を適用するように構成され、前記線形予測ドメインデコーダは、前記符号化されて復号化されたダウンミックス信号（５４）として、前記ダウンミックス信号の前記低帯域を表現する低帯域信号だけを得るように構成され、前記符号化されたマルチチャンネル残差信号（５８）は、ダウンミックス前の前記マルチチャンネル信号の前記低帯域内の周波数しか持っていない、請求項１に記載のオーディオエンコーダ（２）。
8. 前記マルチチャンネル残差コーダ（５６）は、
   前記第１マルチチャンネル情報（２０）および前記符号化されて復号化されたダウンミックス信号（５４）を使って、復号化されたマルチチャンネル信号（６４）を生成するための結合マルチチャンネルデコーダ（６０）と、
   前記復号化されたマルチチャンネル信号とダウンミックス化前の前記マルチチャンネル信号との間の差を形成して前記マルチチャンネル残差信号を得るためのディファレンスプロセッサ（６２）と、
   を含む、請求項１または請求項７に記載のオーディオエンコーダ（２）。
9. 前記ダウンミキサ（１２）は、前記マルチチャンネル信号をスペクトル表現に変換するように構成され、前記ダウンミックスは、前記スペクトル表現を使って、または、時間ドメイン表現を使って実行され、
   前記第１結合マルチチャンネルエンコーダは、前記スペクトル表現の個々の帯域に対して別個の第１マルチチャンネル情報を生成するために、前記スペクトル表現を使用するように構成される、請求項１ないし請求項８のいずれかに記載のオーディオエンコーダ（２）。
10. 符号化されたオーディオ信号（１０３）を復号化するためのオーディオデコーダ（１０２）であって、
    線形予測ドメインデコーダ（１０４）と、
    周波数ドメインデコーダ（１０６）と、
    前記線形予測ドメインデコーダ（１０４）の出力と第１マルチチャンネル情報（２０）とを使って第１マルチチャンネル表現（１１４）を生成するための第１結合マルチチャンネルデコーダ（１０８）と、
    前記周波数ドメインデコーダ（１０６）の出力と第２マルチチャンネル情報（２２，２４）とを使って第２マルチチャンネル表現（１１６）を生成するための第２結合マルチチャンネルデコーダ（１１０）と、
    前記第１マルチチャンネル表現（１１４）と前記第２マルチチャンネル表現（１１６）とを結合して復号化されたオーディオ信号（１１８）を得るための第１結合器（１１２）と、を含み、
    前記第２結合マルチチャンネルデコーダは、前記第１結合マルチチャンネルデコーダと異なり、
    前記第１結合マルチチャンネルデコーダ（１０８）は、パラメトリック結合マルチチャンネルデコーダであり、前記第２結合マルチチャンネルデコーダは、波形維持結合マルチチャンネルデコーダであり、前記第１結合マルチチャンネルデコーダは、複雑な予測、パラメトリックステレオ操作または回転操作に基づいて動作するように構成され、前記第２結合マルチチャンネルデコーダは、帯域選択的スイッチを、中間／サイドまたは左／右のステレオ復号化アルゴリズムに適用するように構成される、
    または、
    符号化されたマルチチャンネルオーディオ信号は、前記線形予測ドメインデコーダの前記出力のための残差信号を含み、前記第１結合マルチチャンネルデコーダは、前記マルチチャンネル残差信号を使って前記第１マルチチャンネル表現を生成するように構成される、
    または、
    前記オーディオデコーダ（１０２）は、マルチチャンネルオーディオ信号の現在のフレーム（２０４）内で、前のフレームを復号化するための前記周波数ドメインデコーダ（１０６）を使うことから、後のフレームを復号化するための前記線形予測ドメインデコーダ（１０４）に切り替えるように構成され、前記結合器（１１２）は、前記現在のフレームの前記第２マルチチャンネル表現（１１６）から合成中間信号（２２６）を計算するように構成され、前記第１結合マルチチャンネルデコーダ（１０８）は、前記合成中間信号（２２６）および第１マルチチャンネル情報（２０）を使って、前記第１マルチチャンネル表現（１１４）を生成するように構成され、前記結合器（１１２）は、前記第１マルチチャンネル表現および前記第２マルチチャンネル表現を結合して前記マルチチャンネルオーディオ信号の復号化された現在のフレームを得るように構成される、
    または、
    前記オーディオデコーダ（１０２）は、マルチチャンネルオーディオ信号の現在のフレーム（２３２）内で、前のフレームを復号化するための前記線形予測ドメインデコーダ（１０４）を使うことから、後のフレームを復号化するための前記周波数ドメインデコーダ（１０６）に切り替えるように構成され、前記第１結合マルチチャンネルデコーダ（１０８）は、ステレオデコーダ（１４６）を含み、前記ステレオデコーダ（１４６）は、前のフレームのマルチチャンネル情報を使って、現在のフレームについての前記線形予測ドメインデコーダの復号化されたモノラル信号から、合成マルチチャンネルオーディオ信号を計算するように構成され、前記第２結合マルチチャンネルデコーダ（１１０）は、前記現在のフレームについての第２マルチチャンネル表現を計算し、スタートウィンドウを使って、前記第２マルチチャンネル表現の重み付けをするように構成され、前記結合器（１１２）は、前記合成マルチチャンネルオーディオ信号と前記重み付けされた第２マルチチャンネル表現を結合して前記マルチチャンネルオーディオ信号の復号化された現在のフレームを得るように構成される、オーディオデコーダ（１０２）。
11. 前記線形予測ドメインデコーダは、
    ＡＣＥＬＰデコーダ（１２０）、低帯域シンセサイザ（１２２）、アップサンプリング器（１２４）、時間ドメイン帯域幅拡張プロセッサ（１２６）、または、アップサンプリングされた信号と帯域幅拡張された信号とを結合するための第２結合器（１２８）、
    ＴＣＸデコーダ（１３０）およびインテリジェント・ギャップ・フィリングプロセッサ（１３２）、
    前記第２結合器（１２８）の出力とＴＣＸデコーダ（１３０）およびＩＧＦプロセッサ（１３２）の出力とを結合するための完全帯域シンセサイズプロセッサ（１３４）を備える、または、
    クロスパス（１３６）は、前記ＴＣＸデコーダおよび前記ＩＧＦプロセッサからの低帯域スペクトル時間変換によって導出された情報を使って前記低帯域シンセサイザを初期設定するために設けられる、請求項１０に記載のオーディオデコーダ（１０２）。
12. 前記第１結合マルチチャンネルデコーダは、前記線形予測ドメインデコーダ（１０４）の前記出力をスペクトル表現（１４５）に変換するための時間−周波数コンバータ（１３８）と、
    前記スペクトル表現（１４５）に作用する前記第１マルチチャンネル情報によってコントロールされるアップミキサと、
    アップミックス結果を時間表現期間に変換するための周波数−時間コンバータ（１４８）とを含む、請求項１０または請求項１１に記載のオーディオデコーダ（１０２）。
13. 前記第２結合マルチチャンネルデコーダ（１１０）は、入力として、前記周波数ドメインデコーダによって得られたスペクトル表現を使うように構成され、前記スペクトル表現は、少なくとも複数の帯域について、第１チャンネル信号および第２チャンネル信号を含み、
    結合マルチチャンネル操作を前記第１チャンネル信号および前記第２チャンネル信号の複数の帯域に適用し、前記結合マルチチャンネル操作の結果を時間表現に変換して前記第２マルチチャンネル表現を得るように構成される、請求項１０ないし請求項１２のいずれかに記載のオーディオデコーダ（１０２）。
14. 前記第２マルチチャンネル情報（２４）は、個々の帯域について、左／右、または中間／サイドの結合マルチチャンネル符号化を示すマスクであり、前記結合マルチチャンネル操作は、前記マスクによって示された帯域を、前記中間／サイド表現から左／右表現に変換するための、中間／サイドから左／右への変換操作である、請求項１３に記載のオーディオデコーダ（１０２）。
15. 前記マルチチャンネル残差信号は、前記第１マルチチャンネル表現より低い帯域幅を持ち、前記第１結合マルチチャンネルデコーダは、前記第１マルチチャンネル情報を使って中間的な第１マルチチャンネル表現を再構成し、前記マルチチャンネル残差信号を前記中間的な第１マルチチャンネル表現に追加するように構成される、請求項１０に記載のオーディオデコーダ（１０２）。
16. 前記時間−周波数コンバータは、複雑な操作または過剰サンプリング操作を含み、
    前記周波数ドメインデコーダは、ＩＭＤＣＴ操作または臨界サンプリング操作を含む、請求項１２に記載のオーディオデコーダ（１０２）。
17. マルチチャンネルとは２つ以上のチャンネルを意味する、請求項１０ないし請求項１６のいずれか記載のオーディオデコーダ。
18. マルチチャンネル信号を符号化する方法（８００）であって、
    線形予測ドメイン符号化を実行するステップと、
    周波数ドメイン符号化を実行するステップと、
    前記線形予測ドメイン符号化と前記周波数ドメイン符号化との間の切り替えをするステップと、
    を含み、
    前記線形予測ドメイン符号化を実行するステップは、ダウンミックス信号と、前記ダウンミックス信号をコア符号化する線形予測ドメインと、前記マルチチャンネル信号から第１のマルチチャンネル情報を生成する第１の結合マルチチャンネル符号化を得るために、マルチチャンネル信号をダウンミックスするステップを含み、
    前記周波数ドメイン符号化を実行するステップは、前記マルチチャンネル信号から第２マルチチャンネル情報を生成する第２結合マルチチャンネル符号化するステップを含み、前記第２結合マルチチャンネル符号化するステップは、第１結合マルチチャンネル符号化するステップと異なり、
    前記切り替えするステップは、前記マルチチャンネル信号の部分が、前記線形予測ドメイン符号化の符号化されたフレーム、または、前記周波数ドメイン符号化の符号化されたフレームのいずれかによって表現されるように実行され、
    前記線形予測ドメイン符号化を実行するステップは、ＡＣＥＬＰ処理とＴＣＸ処理、および時間ドメイン帯域幅拡張処理を含み、前記ＡＣＥＬＰ処理は、ダウンサンプリングされたダウンミックス信号（３４）に作用するように構成され、前記時間ドメイン帯域幅拡張処理は、第３のダウンサンプリングによってＡＣＥＬＰ入力信号から取り除かれた前記ダウンミックス信号の一部の帯域をパラメトリック的に符号化するように構成され、前記ＴＣＸ処理は、ダウンサンプリングされていない、または前記ＡＣＥＬＰ処理のためのダウンサンプリングより少ない程度でダウンサンプリングされた前記ダウンミックス信号（１４）に作用するように構成され、前記ＴＣＸ処理は、第１帯域セットのパラメトリック表現（４６）を生成するための第１パラメータ生成し、且つ、第２帯域セットのための量子化されたエンコーダスペクトルライン（４８）のセットを生成する第１の時間−周波数変換を含む、
    または、
    符号化する方法は、前記ダウンミックス信号（１４）を復号化して、符号化されて復号化されたダウンミックス信号（５４）を得るための線形予測ドメインを復号化と、前記第１マルチチャンネル情報（２０）を用いた復号化されたマルチチャンネル表現と、ダウンミックス前の前記マルチチャンネル信号との間の誤差を表現する前記符号化されて復号化されたダウンミックス信号（５４）を使って、マルチチャンネル残差信号（５８）を計算して符号化するステップをさらに含む、
    または、
    前記切り替えするステップは、マルチチャンネルオーディオ信号の現在のフレーム（２０４）内で、前のフレームを符号化するための前記器周波数ドメイン符号化を実行するステップを使うことから、後のフレームを符号化するための前記線形予測ドメイン符号化を実行するステップに切り替えるステップを含み、前記第１結合マルチチャンネル符号化するステップは、前記現在フレームのために前記マルチチャンネルオーディオ信号から合成マルチチャンネルパラメータ（２１０ａ，２１０ｂ，２１２ａ，２１２ｂ）を計算するステップを含み、第２結合マルチチャンネル符号化するステップは、停止ウィンドウを使って前記第２マルチチャンネル信号を重み付けするステップを含む、方法（８００）。
19. 符号化されたオーディ信号を復号化する方法（９００）であって、
    線形予測ドメイン復号化するステップと、
    周波数ドメイン復号化するステップと、
    前記線形予測ドメイン復号化の出力および第１マルチチャンネル情報を使って、第１マルチチャンネル表現を生成する第１結合マルチチャンネル復号化するステップと、
    前記周波数ドメイン復号化の出力および第２マルチチャンネル情報を使って、第２マルチチャンネル表現を生成する第２結合マルチチャンネル復号化するステップと、
    復号化されたオーディオ信号を得るために、前記第１マルチチャンネル表現と前記第２マルチチャンネル表現を結合するステップと、
    を含み、
    前記第２結合マルチチャンネル復号化するステップは、前記第１結合マルチチャンネル復号化するステップと異なり、
    前記第１結合マルチチャンネル復号化するステップは、パラメトリック結合マルチチャンネル復号化するステップであり、前記第２結合マルチチャンネル復号化するステップは、波形維持結合マルチチャンネル復号化するステップであり、前記第１結合マルチチャンネル復号化するステップは、複雑な予測、パラメトリックステレオ操作または回転操作に基づいて動作し、前記第２結合マルチチャンネル復号化するステップは、帯域選択的に切り替えるステップを、中間／サイドまたは左／右のステレオ復号化アルゴリズムに適用する、
    または、
    符号化されたマルチチャンネルオーディオ信号は、前記線形予測ドメイン復号化するステップの前記出力のための残差信号を含み、前記第１結合マルチチャンネル復号化するステップは、前記マルチチャンネル残差信号を使って前記第１マルチチャンネル表現を生成するように構成される、
    または、
    前記復号化する方法は、マルチチャンネルオーディオ信号の現在のフレーム（２０４）内で、前のフレームを復号化するための前記周波数ドメイン復号化するステップを使うことから、後のフレームを復号化するための前記線形予測ドメイン復号化するステップに切り替えるステップを含み、前記結合するステップは、前記現在のフレームの前記第２マルチチャンネル表現（１１６）から合成中間信号（２２６）を計算するステップを含み、前記第１結合マルチチャンネル復号化するステップは、前記合成中間信号（２２６）および第１マルチチャンネル情報（２０）を使って、前記第１マルチチャンネル表現（１１４）を生成するステップを含み、前記結合するステップは、前記マルチチャンネルオーディオ信号の復号化された現在のフレームを得るために、前記第１マルチチャンネル表現および前記第２マルチチャンネル表現を結合するステップを含む、
    または、
    前記復号化するステップは、マルチチャンネルオーディオ信号の現在のフレーム（２３２）内で、前のフレームを復号化するための前記線形予測ドメイン復号化するステップを使うことから、後のフレームを復号化するための前記周波数ドメイン復号化するステップに切り替えするステップを含み、前記第１結合マルチチャンネル復号化するステップは、ステレオ復号化するステップを含み、前記ステレオ復号化するステップは、前のフレームのマルチチャンネル情報を使って、現在のフレームについての前記線形予測ドメイン復号化するステップの復号化されたモノラル信号から、合成マルチチャンネルオーディオ信号を計算するステップを含み、前記第２結合マルチチャンネル復号化するステップは、前記現在のフレームについての第２マルチチャンネル表現を計算し、スタートウィンドウを使って、前記第２マルチチャンネル表現の重み付けするステップを含み、前記結合するステップは、前記マルチチャンネルオーディオ信号の復号化された現在のフレームを得るために、前記合成マルチチャンネルオーディオ信号と前記重み付けされた第２マルチチャンネル表現を結合するステップを含む、方法（９００）。
20. コンピュータ・プログラムがコンピュータまたはプロセッサ上で稼働するとき、請求項１８または請求項１９の方法を実行するためのコンピュータ・プログラム。

Images