JP4740335B2 - オーディオ信号のデコーディング方法及び装置 - Google Patents

Description

本発明は、オーディオ信号の処理に係り、より詳細には、オーディオ信号をデコーディングするオーディオ信号のデコーディング方法及び装置に関する。

一般的に、エンコーディング装置がオーディオ信号をエンコーディングする場合において、エンコーディングするオーディオ信号がマルチチャンネルオーディオ信号である場合、マルチチャンネルオーディオ信号を２チャンネルや１チャンネルにダウンミックスしてダウンミックスオーディオ信号を生成し、マルチチャンネルオーディオ信号から空間情報を抽出する。この空間情報は、ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号にアップミキシングするのに使用できる情報である。一方、エンコーディング装置は、定められたツリー構造によってマルチチャンネルオーディオ信号をダウンミックスする。ここで、定められたツリー構造は、オーディオ信号のデコーディング装置とオーディオ信号のエンコーディング装置間で取り決められた構造になりうる。すなわち、定められたツリー構造のうち、どのタイプに該当するかを表す識別情報が存在すると、デコーディング装置は、アップミキシングされた後のオーディオ信号の構造、例えば、チャンネルの本数、各チャンネルの位置がわかる。

このように、エンコーディング装置が、定められたツリー構造によってマルチチャンネルオーディオ信号をダウンミックスすると、この過程で抽出された空間情報もその構造に従属する。したがって、デコーディング装置が、構造に従属した空間情報を用いてダウンミックスオーディオ信号をアップミックスする場合には、その構造によるマルチチャンネルオーディオ信号が生成される。

すなわち、デコーディング装置がエンコーディング装置により生成された空間情報をそのまま用いる場合、エンコーディング装置とデコーディング装置により取り決められた構造にのみアップミックスされるから、取り決められた構造以外の出力チャンネルオーディオ信号が生成されないという問題点があった。例えば、取り決められた構造によって決定されるチャンネルの本数と異なる（少ないまたは多い）チャンネル数のオーディオ信号にはアップミックスすることはできない。

本発明は上記の問題点を解決するためのもので、その目的は、エンコーディング装置で決定された構造以外の構造にオーディオ信号をデコーディングできるようにするオーディオ信号のデコーディング方法及び装置を提供することにある。

本発明の他の目的は、エンコーディングで生成された空間情報を変形した後、変形された空間情報を用いてオーディオ信号をデコーディングできるようにするオーディオ信号のデコーディング方法及び装置を提供することにある。

上記の目的を達成するための本発明の一側面によれば、オーディオ信号及び空間情報を受信し、変形空間情報のタイプを識別し、前記空間情報を用いて前記変形空間情報を生成し、前記変形空間情報を用いて前記オーディオ信号をデコーディングする、オーディオ信号のデコーディング方法であって、前記変形空間情報のタイプは、部分空間情報、組合せ空間情報、及び拡大空間情報のうち一つ以上を含むことを特徴とするオーディオ信号のデコーディング方法が提供される。

本発明の他の側面によれば、空間情報を受信し、前記空間情報を用いて組合せ空間情報を生成し、前記組合せ空間情報を用いてオーディオ信号をデコーディングする、オーディオ信号のデコーディング方法であって、前記組合せ空間情報は、前記空間情報に含まれる空間パラメータを組み合わせて生成されることを特徴とするオーディオ信号のデコーディング方法が提供される。

本発明のさらに他の側面によれば、一つ以上の空間パラメータを含む空間情報、及び一つ以上のフィルタパラメータを含む空間フィルタ情報を受信し、前記空間パラメータ及び前記フィルタパラメータを組み合わせてサラウンド効果を持つ組合せ空間情報を生成し、前記組合せ空間情報を用いてオーディオ信号を仮想サラウンド信号に変換する、オーディオ信号のデコーディング方法が提供される。

本発明のさらに他の側面によれば、オーディオ信号を受信し、ツリー構造情報及び空間パラメータを含む空間情報、並びに該ツリー構造情報により特定されるチャンネル数を拡張するための拡張空間情報を受信し、前記空間情報に前記拡張空間情報を追加して変形空間情報を生成し、前記変形空間情報を用いて前記オーディオ信号をアップミキシングする、オーディオ信号のデコーディング方法であって、前記アップミキシングにおいて、前記ツリー構造情報に基づいて前記オーディオ信号を１次アップミキシングオーディオ信号に変換し、前記１次アップミキシングオーディオ信号を２次アップミキシングオーディオ信号に変換し、前記ツリー構造情報は、エンコーディング装置とデコーディング装置間での予め定められた構造を示すことを特徴とするオーディオ信号のデコーディング方法が提供される。

以下、添付の図面を参照しつつ、本発明の好適な実施例を詳細に説明する。ただし、本明細書及び請求の範囲に使われた用語や単語は、通常のまたは辞典に記載の意味に限定して解釈されてはならず、発明者は自分の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立ち、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示す構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想を限定するものではないので、本出願時点においてこれらに取って代わる様々な均等物と変形例が可能であるということは明らかである。

なお、本発明で使われる用語は、可能なかぎり現在広く使われている一般的な用語を選定したが、特定の場合は、出願人が任意に選定した用語もあり、その場合には、該当する発明の説明部分で詳細にその意味を記載しておくので、単純な用語の名称ではなく用語が持つ意味で本発明を把握しなければならない。

本発明は、空間情報を用いて変形空間情報を生成した後、生成された変形空間情報を用いてオーディオ信号をデコーディングする。空間情報は、定められたツリー構造によってダウンミックスされる過程で抽出された空間情報で、変形空間情報は、空間情報を用いて新しく生成された空間情報である。

以下、図１を参照しながら、本発明について具体的に説明する。図１は、本発明の実施例によるオーディオ信号のエンコーディング装置及びデコーディング装置の構成を示す図である。図１を参照すると、オーディオ信号のエンコーディング装置（以下、エンコーディング装置という。）１００は、ダウンミックス部１１０及び空間情報抽出部１２０を含み、オーディオ信号のデコーディング装置(以下、デコーディング装置という。）２００は、出力チャンネル生成部２１０及び変形空間情報生成部２２０を含む。

エンコーディング装置１００のダウンミックス部１１０は、マルチチャンネルオーディオ信号ＩＮ＿Ｍをダウンミックスしてダウンミックスオーディオ信号ｄを生成する。ダウンミックスオーディオ信号ｄは、マルチチャンネルオーディオ信号ＩＮ＿Ｍがダウンミックス部１１０によりダウンミックスされたものであっても良いが、マルチチャンネルオーディオ信号ＩＮ＿Ｍが使用者により任意的にダウンミックスされた任意的ダウンミックスオーディオ信号であっても良い。

エンコーディング装置１００の空間情報抽出部１２０は、マルチチャンネルオーディオ信号ＩＮ＿Ｍから空間情報ｓを抽出する。ここで、空間情報は、ダウンミックスオーディオ信号ｄをマルチチャンネルオーディオ信号ＩＮ＿Ｍにアップミックスするのに必要な情報である。一方、空間情報は、マルチチャンネルオーディオ信号ＩＮ＿Ｍが定められたツリー構造によってダウンミックスされる過程で抽出された情報となりうる。ここで、定められたツリー構造とは、オーディオ信号のデコーディング装置とオーディオ信号のエンコーディング装置間で取り決められたツリー構造であるが、本発明はこれに限定されることはない。一方、空間情報（ｓｐａｔｉａｌ ｉｎｆｏｒｍａｔｉｏｎ）は、ツリー構造情報、指示子、空間パラメータなどを含むことができる。ここで、ツリー構造情報とは、ツリー構造の類型に関する情報のことをいい、このツリー構造の類型によってマルチチャンネルの本数、チャンネル別ダウンミックス順序などが変わる。指示子は、拡張空間情報が存在するか否かなどを表す情報である。空間パラメータとしては、２本以上のチャンネルが２本以下のチャンネルにダウンミックスされる過程でのチャンネル間レベル差（ｃｈａｎｎｅｌ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅ：以下、‘ＣＬＤ’という。)、チャンネル間相関関係（ｉｎｔｅｒ ｃｈａｎｎｅｌ ｃｏｈｅｒｅｎｃｅｓ：以下、‘ＩＣＣ’という。）、チャンネル予測係数（ｃｈａｎｎｅｌ ｐｒｅｄｉｃｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔｓ：以下、‘ＣＰＣ’という。）などが挙げられる。一方、空間情報抽出部１２０は、空間情報の他に、拡張空間情報をさらに抽出できる。ここで、拡張空間情報とは、ダウンミックスオーディオ信号ｄが空間パラメータによりアップミックスされた後に、追加的に拡張される場合に必要な情報のことで、拡張チャンネル構成情報及び拡張空間パラメータを含むことができる。後ほど説明される拡張空間情報は、空間情報抽出部１２０により抽出されたものに限定されない。

一方、エンコーディング装置１００は、ダウンミックスオーディオ信号ｄをデコーディングしてダウンミックスオーディオビットストリームを生成するコアコーデックエンコーディング部（図示せず）、空間情報ｓをエンコーディングして空間情報ビットストリームを生成する空間情報エンコーディング部（図示せず）、及びダウンミックスオーディオビットストリーム及び空間情報ビットストリームを多重化し、オーディオ信号に関するビットストリームを生成する多重化部（図示せず）をさらに備えることができるが、本発明がこれに限定されることはない。

デコーディング装置２００は、オーディオ信号に関するビットストリームを、ダウンミックスオーディオビットストリームと空間情報ビットストリームとに分離する逆多重化部（図示せず）、ダウンミックスオーディオビットストリームをデコーディングするコアコーデックデコーディング部（図示せず）、空間情報ビットストリームをデコーディングする空間情報デコーディング部（図示せず）をさらに含むことができるが、本発明はこれに限定されない。

デコーディング装置２００の変形空間情報生成部２２０は、空間情報を用いて変形空間情報のタイプを識別し、空間情報に基づいて識別されたタイプの変形空間情報 （ｍｏｄｉｆｉｅｄ ｓｐａｔｉａｌ ｉｎｆｏｒｍａｔｉｏｎ）ｓ’を生成する。ここで、空間情報は、エンコーディング装置１００から伝達された空間情報ｓとなりうる。変形空間情報（ｍｏｄｉｆｉｅｄ ｓｐａｔｉａｌ ｉｎｆｏｒｍａｔｉｏｎ）とは、空間情報を用いて新しく生成された空間情報のことをいう。一方、変形空間情報のタイプ（ｔｙｐｅ）は様々なものがあり、変形空間情報のタイプは、ａ）部分空間情報、ｂ）組合せ空間情報、ｃ）拡大空間情報のうち一つ以上を含むことができるが、本発明はこれに限定されない。部分空間情報は、空間パラメータの一部を含むもので、組合せ空間情報は空間パラメータを組み合わせて生成したもので、拡大空間情報は空間情報及び拡張空間情報を用いて生成したものである。変形空間情報生成部２２０が変形空間情報を生成する方法は、上のような変形空間情報のタイプによって変わる。各変形空間情報のタイプ別に変形空間情報を生成する方法についての説明は、後ほど具体的に説明する。

一方、変形空間情報の類型を決定する基準は、空間情報のうちのツリー構造情報、空間情報のうちの指示子、出力チャンネル情報などになりうる。ツリー構造情報及び指示子は、エンコーディング装置からの空間情報ｓに含めることができる。出力チャンネル情報は、デコーディング装置２００と連携されているスピーカーに関する情報で、出力チャンネルの数、出力チャンネルのそれぞれの位置情報などを含むことができる。出力チャンネル情報は、製作者により既に入力されているものであっても良く、使用者により入力されるものであっても良い。このような情報を用いて変形空間情報の類型を決定する方法については、後ほどより具体的に説明する。

デコーディング装置２００の出力チャンネル生成部２１０は、変形空間情報ｓ’を用いてダウンミックスオーディオ信号ｄから出力チャンネルオーディオ信号ＯＵＴ＿Ｎを生成する。

デコーディング装置２００の空間フィルタ情報２３０は、音響経路に関する情報で、変形空間情報生成部２２０に提供される。変形空間情報生成部２２０がサラウンド効果を持つ組合せ空間情報を生成する場合、この空間フィルタ情報を用いることができる。

以下、変形空間情報の類型別に変形空間情報を生成し、オーディオ信号をデコーディングする方法について、（１）部分空間情報、（２）組合せ空間情報、（３）拡大空間情報順に説明する。

(１)部分空間情報
空間パラメータは、マルチチャンネルオーディオ信号が定められたツリー構造にしたがってダウンミックスされる過程で計算されたものであるから、空間パラメータをそのまま用いてダウンミックスオーディオ信号をデコーディングすると、ダウンミックスされる前である元来のマルチチャンネルオーディオ信号に復元される。もし、マルチチャンネルオーディオ信号のチャンネル数（Ｍ）よりも出力チャンネルオーディオ信号のチャンネル数（Ｎ）を少なくしたい場合、空間パラメータの一部のみを適用してダウンミックスオーディオ信号をデコーディングすることができる。

このような方法は、エンコーディング装置でマルチチャンネルオーディオ信号がダウンミックスされる順序と方法、すなわち、ツリー構造の類型によって変えることができ、当該ツリー構造の類型は空間情報のツリー構造情報を用いて照会することができる。また、このような方法は、出力チャンネルの本数がいくつかによって変えることができ、この出力チャンネルの本数などは、出力チャンネル情報を用いて照会すれば良い。

以下、マルチチャンネルオーディオ信号のチャンネル数よりも出力チャンネルオーディオ信号のチャンネル数が小さい場合、空間パラメータのうち一部を含む部分空間情報を適用してオーディオ信号をデコーディングする方法について、様々なツリー構造を取り上げて説明する。

(１)−１．ツリー構造の第１例（５−２−５ツリー構造）
図２は、部分空間情報を適用する一例を概略的に示す図である。図２の左側を参照すると、チャンネル数が６本であるマルチチャンネルオーディオ信号（左側前方チャンネル（Ｌｅｆｔ Ｆｒｏｎｔ）Ｌ、左側サラウンドチャンネル（Ｌｅｆｔ Ｓｕｒｒｏｕｎｄ）Ｌ_S、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネル（Ｒｉｇｈｔ Ｆｒｏｎｔ）Ｒ、右側サラウンドチャンネル（Ｒｉｇｈｔ Ｓｕｒｒｏｕｎｄ）Ｒ_S）が、ステレオダウンミックスチャンネルＬ_o、Ｒ_oにダウンミックスされる順序及び空間パラメータとの関係が示されている。

まず、左側チャンネルＬと左側サラウンドチャンネルＬ_S間のダウンミックスと、センターチャンネルＣ及び低周波チャンネルＬＦＥ間のダウンミックス、右側チャンネルＲ及び右側サラウンドチャンネルＲ_S間のダウンミックスが行われる。このような第１次ダウンミックス過程で、左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t、右側トータルチャンネルＲ_tが生成され、この第１次ダウンミックス過程で算出される空間パラメータはＣＬＤ₂（ＩＣＣ₂含む）、ＣＬＤ₁（ＩＣＣ₁含む）、ＣＬＤ₀（ＩＣＣ₀含む）等である。１次ダウンミックス過程以降の２次ダウンミックス過程では、左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t、右側トータルチャンネルＲ_tがダウンミックスされて左側チャンネルＬ_o及び右側チャンネルＲ_oが生成され、２次ダウンミックス過程で算出される空間パラメータはＣＬＤ_TTT、ＣＰＣ_TTT、ＩＣＣ_TTTなどが含まれうる。言い換えると、合計６チャンネルのマルチチャンネルオーディオ信号が、上のような順序にしたがってダウンミックスされてステレオダウンミックスオーディオ信号Ｌ_o，Ｒ_oを生成する。もし、このような順序にしたがって算出された空間パラメータ（ＣＬＤ₂，ＣＬＤ₁，ＣＬＤ₀，ＣＬＤ_TTT等）をそのまま用いる場合、ダウンミックスされた順序の逆順でアップミックスされ、チャンネル数６のマルチチャンネルオーディオ信号（左側前方チャンネルＬ、左側サラウンドチャンネルＬ_S、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネルＲ、右側サラウンドチャンネルＲ_S）が生成される。

図２の右側に示すように、部分空間情報が空間パラメータ（ＣＬＤ_2、ＣＬＤ_1、ＣＬＤ_0、ＣＬＤ_TTT等）のうちＣＬＤ_TTTである場合、左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t、及び右側トータルチャンネルＲ_tにアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_t、右側トータルチャンネルＲ_tのみを選択すれば、２チャンネルの出力チャンネルオーディオ信号Ｌ_t，Ｒ_tを生成でき、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t、及び右側トータルチャンネルＲ_tを選択すると、３チャンネルの出力チャンネルオーディオ信号Ｌ_t，Ｃ_t，Ｒ_tを生成できる。また、追加的にＣＬＤ₁を使用してアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_t、右側トータルチャンネルＲ_t、センターチャンネルＣ及び低周波チャンネルＬＦＥを選択すると、４チャンネルの出力チャンネルオーディオ信号Ｌ_t，Ｒ_t，Ｃ，ＬＦＥを生成できる。

(１)−２．ツリー構造の第２例（５−１−５ツリー構造）
図３は、部分空間情報を適用する他の例を概略的に示す図である。図３の左側を参照すると、チャンネル数が６のマルチチャンネルオーディオ信号（左側前方チャンネルＬ、左側サラウンドチャンネルＬ_S、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネルＲ、右側サラウンドチャンネルＲ_S）が、モノダウンミックスオーディオ信号Ｍにダウンミックスされる順序及び空間パラメータとの関係が示されている。

ツリー構造の第１例と同様に、左側チャンネルＬと左側サラウンドチャンネルＬ_S間のダウンミックスと、センターチャンネルＣ及び低周波チャンネルＬＦＥ間のダウンミックス、右側チャンネルＲ及び右側サラウンドチャンネルＲ_S間のダウンミックスが行われる。このような第１次ダウンミックス過程で、左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t、右側トータルチャンネルＲ_tが生成され、第１次ダウンミックス過程で算出される空間パラメータはＣＬＤ₃（ＩＣＣ₃含む）、ＣＬＤ₄（ＩＣＣ₄含む）、ＣＬＤ₅（ＩＣＣ₅含む）（ここでのＣＬＤ_x、ＩＣＣ_xは、ツリー構造の第１例におけるＣＬＤ_xとは区別される）等である。１次ダウンミックス過程以降の２次ダウンミックス過程では、左側トータルチャンネルＬ_tとセンタートータルチャンネルＣ_tとがダウンミックスされて左側センターチャンネルＬＣが生成され、センタートータルチャンネルＣ_tと右側トータルチャンネルＲ_tとがダウンミックスされて右側センターチャンネルＲＣが生成され、第２次ダウンミックス過程で算出される空間パラメータはＣＬＤ₂（ＩＣＣ₂含む）、ＣＬＤ₁（ＩＣＣ₁含む）等である。その後、第３次ダウンミックス過程で左側センターチャンネルＬＣと右側センターチャンネルＲＣとがダウンミックスされてモノダウンミックスチャンネルＭが生成され、第２次ダウンミックス過程で算出される空間パラメータはＣＬＤ₀（ＩＣＣ₀含む）等である。

図３の右側に示すように、部分空間情報が空間パラメータ（ＣＬＤ₃，ＣＬＤ₄，ＣＬＤ₅，ＣＬＤ₁、ＣＬＤ₂，ＣＬＤ₀等）のうちＣＬＤ₀である場合、左側センターチャンネルＬＣ及び右側センターチャンネルＲＣを生成した後、出力チャンネルオーディオ信号として左側センターチャンネルＬＣ及び右側センターチャンネルＲＣを選択すると、２チャンネルの出力チャンネルオーディオ信号ＬＣ，ＲＣを生成できる。一方、部分空間情報が空間パラメータ（ＣＬＤ₃，ＣＬＤ₄，ＣＬＤ₅，ＣＬＤ₁，ＣＬＤ₂，ＣＬＤ₀等）のうちＣＬＤ₀，ＣＬＤ₁，ＣＬＤ₂である場合、左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t、右側トータルチャンネルＲ_tを生成した後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_t及び右側トータルチャンネルＲ_tを選択すると、２チャンネルの出力チャンネルオーディオ信号Ｌ_t，Ｒ_tを生成でき、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t及び右側トータルチャンネルＲ_tを選択すると、３チャンネルの出力チャンネルオーディオ信号Ｌ_t，Ｃ_t，Ｒ_tを生成できる。また、部分空間情報が追加的にＣＬＤ₄を含む場合、センターチャンネルＣ及び低周波チャンネルＬＦＥまでアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_t、右側トータルチャンネルＲ_t、センターチャンネルＣ及び低周波チャンネルＬＦＥを選択すると、４チャンネルの出力チャンネルオーディオ信号Ｌ_t，Ｒ_t、Ｃ、ＬＦＥを生成できる。

(１)−３．ツリー構造の第３例（５−１−５ツリー構造）
図４は、部分空間情報を適用するさらに他の例を概略的に示す図である。図４の左側を参照すると、チャンネル数６のマルチチャンネルオーディオ信号（左側前方チャンネルＬ、左側サラウンドチャンネルＬ_S、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネルＲ、右側サラウンドチャンネルＲ_S）がモノダウンミックスオーディオ信号Ｍにダウンミックスされる順序及び空間パラメータとの関係が示されている。

ツリー構造の第１例及び第２例と同様に、左側チャンネルＬと左側サラウンドチャンネルＬ_S間のダウンミックスと、センターチャンネルＣ及び低周波チャンネルＬＦＥ間のダウンミックス、右側チャンネルＲ及び右側サラウンドチャンネルＲ_S間のダウンミックスが行われる。このような第１次ダウンミックス過程で、左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t、右側トータルチャンネルＲ_tが生成され、空間パラメータはＣＬＤ₁（ＩＣＣ₁含む）、ＣＬＤ₂（ＩＣＣ₂含む）、ＣＬＤ₃（ＩＣＣ₃含む）等（ここでのＣＬＤ_x，ＩＣＣ_xは、ツリー構造の第１例及び第２例におけるＣＬＤ_x，ＩＣＣ_xとは区別される）が算出される。１次ダウンミックス過程以降の２次ダウンミックス過程では、左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t及び右側トータルチャンネルＲ_tがダウンミックスされて左側センターチャンネルＬＣ及び右側チャンネルＲが生成され、空間パラメータはＣＬＤ_TTT（ＩＣＣ_TTT含む）が算出される。その後、第３次ダウンミックス過程で左側センターチャンネルＬＣと右側チャンネルＲがダウンミックスされてモノダウンミックスチャンネルＭが生成され、空間パラメータはＣＬＤ₀（ＩＣＣ₀含む）が算出される。

図４の右側に示すように、部分空間情報が空間パラメータ（ＣＬＤ₁、ＣＬＤ₂、ＣＬＤ₃、ＣＬＤ_TTT、ＣＬＤ₀等）のうちＣＬＤ₀及びＣＬＤ_TTTである場合、左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t、右側トータルチャンネルＲ_tを生成した後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_t及び右側トータルチャンネルＲ_tを選択すると、２チャンネルの出力チャンネルオーディオ信号Ｌ_t，Ｒ_tを生成でき、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_t、センタートータルチャンネルＣ_t及び右側トータルチャンネルＲ_tを選択すると、３チャンネルの出力チャンネルオーディオ信号Ｌ_t，Ｃ_t，Ｒ_tを生成できる。また、部分空間情報が追加的にＣＬＤ₂を含む場合、センターチャンネルＣ及び低周波チャンネルＬＦＥまでアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_t、右側トータルチャンネルＲ_t、センターチャンネルＣ及び低周波チャンネルＬＦＥを選択すると、４チャンネルの出力チャンネルオーディオ信号Ｌ_t，Ｒ_t，Ｃ、ＬＦＥを生成できる。

以上、３種類のツリー構造を取り上げて空間パラメータの一部のみを適用して出力チャンネルオーディオ信号を生成する過程について説明したが、上記のように部分空間情報を適用するに留まらず、これ以降さらに、組合せ空間情報を適用したり拡大空間情報を適用したりしても良い。このようにオーディオ信号に変形空間情報を適用する過程は、階層的に行われても良いが、一括的で且つ統合的に処理されても良い。

（２）組合せ空間情報
空間情報は、マルチチャンネルオーディオ信号が定められたツリー構造にしたがってダウンミックスされる過程で計算されたものであるから、ダウンミックスオーディオ信号を、空間情報の空間パラメータをそのまま用いてデコーディングすると、ダウンミックスされる前の元来のマルチチャンネルオーディオ信号に復元される。もし、マルチチャンネルオーディオ信号のチャンネル数Ｍが出力チャンネルオーディオ信号のチャンネル数Ｎと異なる場合、空間情報を組み合わせて新しい組合せ空間情報を生成した後、これを用いてダウンミックスオーディオ信号をアップミックスできる。具体的に、空間パラメータを変換公式に代入し、組合せ空間パラメータを生成できる。

このような方法は、エンコーディング装置でマルチチャンネルオーディオ信号がダウンミックスされる順序と方法によって変えることができるが、このダウンミックスされる順序と方法は、空間情報のツリー構造情報を用いて照会すれば良い。また、このような方法は、出力チャンネルの本数がいくつかによって変えることができるが、出力チャンネルの本数などは、出力チャンネル情報を用いて照会すれば良い。

以下では、空間情報を変形する方法の具体的な実施例について説明し、続いて、仮想３Ｄ効果を与えるための実施例についても説明する。

(２)−１．一般的な組合せ空間情報
空間情報の空間パラメータを組み合わせて組合空間パラメータを生成する方法は、ダウンミックス過程におけるツリー構造とは異なるツリー構造によってアップミックスするためのものであるから、ツリー構造情報によるツリー構造が何であろうとも、全てのダウンミックスオーディオ信号に適用可能である。

マルチチャンネルオーディオ信号が５．１チャンネルで、ダウンミックスオーディオ信号が１チャンネル（モノチャンネル）の場合、２チャンネルの出力チャンネルオーディオ信号を生成する過程について、下記の２つの例に挙げて説明する。

(２)−１−１．ツリー構造の第４例（５−１−５₁ツリー構造）
図５は、組合せ空間情報を適用する一例を概略的に示す図である。図５の左側に示すように、５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされる過程で算出できる空間パラメータはそれぞれ、ＣＬＤ₀乃至ＣＬＤ₄、及びＩＣＣ₀乃至ＩＣＣ₄（図示せず）といえる。例えば、空間パラメータのうち、左側チャンネル信号Ｌと右側チャンネル信号Ｒのチャンネル間レベル差はＣＬＤ₃で、チャンネル間相関関係はＩＣＣ₃であり、左側サラウンドチャンネルＬＳ及び右側サラウンドチャンネルＲ_Sのチャンネル間レベル差はＣＬＤ₂で、チャンネル間相関関係はＩＣＣ₂である。

これに対し、図５の右側を参照すると、モノダウンミックスオーディオ信号ｍに組合せ空間パラメータＣＬＤ_α，ＩＣＣ_αを適用して左側チャンネル信号Ｌ_t及び右側チャンネル信号Ｒ_tを生成すると、モノチャンネルオーディオ信号ｍから直接ステレオ出力チャンネルオーディオ信号Ｌ_t，Ｒ_tを生成することができる。ここでの組合せ空間パラメータＣＬＤ_α，ＩＣＣ_αは、空間パラメータＣＬＤ₀乃至ＣＬＤ₄、及びＩＣＣ₀乃至ＩＣＣ₄を組み合わせて計算することができる。まず、空間パラメータのうち、ＣＬＤ₀乃至ＣＬＤ₄を組み合わせて組合せ空間パラメータの中ＣＬＤ_αを計算する過程について説明した後、空間パラメータのうち、ＣＬＤ₀乃至ＣＬＤ₄及びＩＣＣ₀乃至ＩＣＣ₄を組み合わせて組合せ空間パラメータの中ＩＣＣ_αを計算する過程について説明する。

(２)−１−１−ａ．ＣＬＤ_αの誘導
まず、ＣＬＤ_αは、左側出力信号Ｌ_t及び右側出力信号Ｒ_t間のレベル差であるから、ＣＬＤの定義式に左側出力信号Ｌ_t及び右側出力信号Ｒ_tを代入すると、次の通りになる。

［式１］
CLD_α=10*log₁₀(P_Lt/P_Rt)
Ｐ_LtはＬ_tのパワー（ｐｏｗｅｒ）、Ｐ_RtはＲ_tのパワーを表す。

［式２］
CLD_α=10*log₁₀(P_Lt+a/P_Rt+a)
Ｐ_LtはＬ_tのパワー、Ｐ_RtはＲ_tのパワー、ａは非常に小さい定数を表す。

ＣＬＤ_αは、上記式１または式２のように定義される。

一方、Ｐ_Lt及びＰ_Rtを空間パラメータＣＬＤ₀乃至ＣＬＤ₄を用いて表現するためには、出力チャンネルオーディオ信号の左側出力信号Ｌ_t、右側出力信号Ｒ_t及びマルチチャンネル信号Ｌ，Ｌ_s，Ｒ，Ｒ_s，Ｃ，ＬＦＥとの関係式が必要であり、その関係式は次のように定義できる。

［式３］
L_t=L+L_s+C/√2+LFE/√2
R_t=R+R_s+C/√2+LFE/√2

式３のような関係式は、出力チャンネルオーディオ信号をどのように定義するかによって変わることができるので、式３とは異なる式でも定義できることは当然である。例えば、式３で、C/√2またはLFE/√2での1/√2因子が、‘０’にも‘１’にもなりうる。

式３から下記の式４のような関係式が誘導できる。

［式４］
P_Lt=P_L+P_Ls+P_C/2+P_LFE/2
P_Rt=P_R+P_Rs+P_C/2+P_LFE/2

ＣＬＤ_αが式１（または、式２）によってＰ_Lt及びＰ_Rtを用いて表現することができ、このようなＰ_Lt及びＰ_Rtは式４によってＰ_L，Ｐ_Ls，Ｐ_C，Ｐ_LFE，Ｐ_R，Ｐ_Rsを用いて表現することができるので、Ｐ_L，Ｐ_Ls，Ｐ_C，Ｐ_LFE，Ｐ_R，Ｐ_Rsを空間パラメータＣＬＤ₀乃至ＣＬＤ₄を用いて表現できる関係式を求める必要がある。

一方、図５のようなツリー構造の場合、マルチチャンネルオーディオ信号Ｌ、Ｒ、Ｃ、ＬＦＥ、Ｌ_s、Ｒ_s及びモノダウンミックスチャンネル信号ｍの関係は、次の通りになる。

式５から、次の式６の関係式が誘導することができる。

すなわち、式６を式４に代入し、式４を式１（または、式２）に代入することで、組合せ空間パラメータであるＣＬＤ_αは、空間パラメータであるＣＬＤ₀乃至ＣＬＤ₄を組み合わせて表現することができる。

一方、式４におけるＰ_C／２＋Ｐ_LFE／２に式６を代入した展開式は、次の通りである。

［式７］
P_C/2+P_LFE/2=[(c_1,OTT4)²+(c_2,OTT4)²]*(c_2,OTT1*c_1,OTT0)²*m²/2
ここで、ｃ₁及びｃ₂の定義によれば（式５参照）、(ｃ_1,x)²＋(ｃ_2,x)²＝１なので、(ｃ_1,OTT4)²＋(ｃ_2,OTT4)²＝１である。

したがって、式７は、次のように簡単にすることができる。

［式８］
P_C/2+P_LFE/2=(c_2,OTT1*c_1,OTT0)²*m²/2

要するに、式８及び式６を式４に代入し、式４を式１に代入することによって、組合せ空間パラメータであるＣＬＤ_αは、空間パラメータであるＣＬＤ₀乃至ＣＬＤ₄を組み合わせる方式で表現されることができる。

(２)−１−１−ｂ．ＩＣＣ_αの誘導
まず、ＩＣＣ_αは、左側出力信号Ｌ_t及び右側出力信号Ｒ_t間の相関関係であるから、その定義式に左側出力信号Ｌ_t及び右側出力信号Ｒ_tを代入すると、次の通りになる。

式９で、Ｐ_Lt、Ｐ_Rtは、式４、式６、及び式８によってＣＬＤ₀乃至ＣＬＤ₄を用いて表現することができ、Ｐ_LtＰ_Rtは、次の式１０のように展開することができる。

［式１０］
P_LtRt=P_LR+P_LsRs+P_C/2+P_LFE/2

式１０で、Ｐ_C／２＋Ｐ_LFE／２は、式６によってＣＬＤ₀乃至ＣＬＤ₄で表現されることができ、Ｐ_LRとＰ_LsRsは、ＩＣＣ定義によって次のように展開することができる。

［式１１］
ICC₃=P_LR/√(P_LP_R)
ICC₂=P_LsRs/√(P_LsP_Rs)

式１１で、√(P_LP_R)（または、√(P_LsP_Rs)）を移項すると、次の式１２となる。

［式１２］
P_LR=ICC₃*√(P_LP_R)
P_LsRs=ICC₂*√(P_LsP_Rs)

式１２で、Ｐ_L，Ｐ_R，Ｐ_Ls，Ｐ_Rsはそれぞれ、式６によってＣＬＤ₀乃至ＣＬＤ₄で表現することができる。式６を式１２に代入すると、次の式１３のようになる。

［式１３］
P_LR=ICC₃ *c_1,OTT3*c_2,OTT3*(c_1,OTT1*c_1,OTT0)²*m²
P_LsRs=ICC₂*c_1,OTT2*c_2,OTT2*(c_2,OTT0)²*m²

要するに、式６及び式１３を式１０に代入し、式１０及び式４を式９に代入することで、組合せ空間パラメータであるＩＣＣ_αは、空間パラメータであるＣＬＤ₀乃至ＣＬＤ₃及びＩＣＣ₂、ＩＣＣ₃で表現することができる。

(２)−１−２．ツリー構造の第５例（５−１−５₂ツリー構造）
図６は、組合せ空間情報を適用する他の例を概略的に示す図である。図６の左側に示すように、５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされる過程で算出できる空間パラメータはそれぞれ、ＣＬＤ₀乃至ＣＬＤ₄、及びＩＣＣ₀乃至ＩＣＣ₄（図示せず）といえる。空間パラメータのうち、左側チャンネル信号Ｌと左側サラウンドチャンネル信号Ｌ_sのチャンネル間レベル差はＣＬＤ₃で、チャンネル間相関関係はＩＣＣ₃であり、右側チャンネルＲ及び右側サラウンドチャンネルＲ_Sのチャンネル間レベル差はＣＬＤ₄で、チャンネル間相関関係はＩＣＣ₄である。

これに対し、図６の右側を参照すると、モノダウンミックスオーディオ信号ｍに組合せ空間パラメータＣＬＤ_β，ＩＣＣ_βを適用して左側チャンネル信号Ｌ_t及び右側チャンネル信号Ｒ_tを生成すると、モノチャンネルオーディオ信号ｍから直接ステレオ出力チャンネルオーディオ信号Ｌ_t，Ｒ_tを生成することができる。ここでの組合せ空間パラメータＣＬＤ_β，ＩＣＣ_βは、空間パラメータＣＬＤ₀乃至ＣＬＤ₄、及びＩＣＣ₀乃至ＩＣＣ₄を用いて計算できる。まず、空間パラメータのうちＣＬＤ₀乃至ＣＬＤ₄を用いて、組合せ空間パラメータのうちＣＬＤ_βを計算する過程について説明し、続いて、空間パラメータのうちＣＬＤ₀乃至ＣＬＤ₄及びＩＣＣ₀乃至ＩＣＣ₄を用いて、組合せ空間パラメータのうちＩＣＣ_βを計算する過程について説明する。

(２)−１−２−ａ．ＣＬＤ_βの誘導
まず、ＣＬＤ_βは、左側出力信号Ｌ_t及び右側出力信号Ｒ_t間のレベル差であるから、その定義式に左側出力信号Ｌ_t及び右側出力信号Ｒ_tを代入すると、次の通りになる。

［式１４］
CLD_β=10*log₁₀(P_Lt/P_Rt)
Ｐ_LtはＬ_tのパワーで、Ｐ_RtはＲ_tのパワーである。

［式１５］
CLD_β=10*log₁₀(P_Lt+a/P_Rt+a)
Ｐ_LtはＬ_tのパワー、Ｐ_RtはＲ_tのパワー、ａは非常に小さい数である。
ＣＬＤ_βは、上記の式１４または式１５のように定義される。

一方、Ｐ_Lt及びＰ_Rtを空間パラメータＣＬＤ₀乃至ＣＬＤ₄を用いて表現するためには、出力チャンネルオーディオ信号の左側出力信号Ｌ_t、右側出力信号Ｒ_t及びマルチチャンネル信号Ｌ、Ｌ_s、Ｒ、Ｒ_s、Ｃ、ＬＦＥとの関係式が必要であり、その関係式は、式３と同様に次のように定義されることができる。

［式１６］
L_t=L+L_s +C/√2+LFE/√2
R_t=R+R_s+C/√2+LFE/√2

式１６のような関係式は出力チャンネルオーディオ信号をどのように定義するかによって変えることができるもので、よって、他の式でも定義できることは当然である。例えば、C/√2またはLFE/√2因子における1/√2が０にも１にもなりうる。

式１６から次の式１７のような関係式が誘導することができる。

［式１７］
P_Lt=P_L+P_Ls+P_C/2+P_LFE/2
P_Rt=P_R+P_Rs+P_C/2+P_LFE/2

式１４（または、式１５）で、ＣＬＤ_βがＰ_Lt及びＰ_Rtを用いて表現可能であり、Ｐ_Lt及びＰ_Rtは、式１５でＰ_L、Ｐ_Ls、Ｐ_C、Ｐ_LFE、Ｐ_R、Ｐ_Rsを用いて表現可能なので、Ｐ_L、Ｐ_Ls、Ｐ_C、Ｐ_LFE、Ｐ_R、Ｐ_Rsを、空間パラメータＣＬＤ₀乃至ＣＬＤ₄を用いて表現できる関係式を求める必要がある。

一方、図６のようなツリー構造の場合、マルチチャンネルオーディオ信号Ｌ，Ｒ，Ｃ，ＬＦＥ，Ｌ_s，Ｒ_s及びモノダウンミックスチャンネル信号ｍの関係は、次の通りである。

式１８から、次の式１９のような関係式を誘導することができる。

すなわち、式１９を式１７に代入し、式１７を式１４（または、式１５）に代入することで、組合せ空間パラメータであるＣＬＤ_βは、空間パラメータであるＣＬＤ₀乃至ＣＬＤ₄を組み合わせる方式で表現することができる。

一方、式１９を式１７におけるＰ_L＋Ｐ_Lsに代入した展開式は、次の通りである。

［式２０］
P_L+P_Ls=[(c_1,OTT3)²+(c_2,OTT3)²](c_1,OTT1*c_1,OTT0)²*m²

ここで、ｃ₁及びｃ₂の定義によれば（式５参照）、(c_1,x)²＋(ｃ_2,x)²＝１なので、(ｃ_1,OTT3)²+(ｃ_2,OTT3)²＝１である。

したがって、式２０は、次のように簡単にすることができる。

［式２１］
P_{L_}=P_L+P_Ls=(c_1,OTT1*c_1,OTT0)²*m²

一方、式１９を式１７におけるＰ_R＋Ｐ_Rsに代入した展開式は、次の通りである。

［式２２］
P_R+P_Rs=[(c_1,OTT4)²+(c_2,OTT4)²](c_2,OTT1*c_1,OTT0)²*m²

ここで、ｃ₁及びｃ₂の定義によれば（式５参照）、(ｃ_1,x)²+(ｃ_2,x)²＝１なので、(ｃ_1,OTT4)²＋(ｃ_2,OTT4)²＝１である。

したがって、式２２は、次のように簡単にすることができる。

［式２３］
P_{R_}=P_R+P_Rs=(c_2,OTT1*c_1,OTT0)²*m²

一方、式１９を式１７におけるＰ_C／２＋Ｐ_LFE／２に代入した展開式は、次の通りである。

［式２４］
P_C/2+P_LFE/2=[(c_1,OTT2)²+(c_2,OTT2)²](c_2,OTT0)²*m²/2
ここで、ｃ₁及びｃ₂の定義によれば（式５参照）、(ｃ_1,x)²+(ｃ_2,x)²＝１なので、(ｃ_1,OTT2)²＋(ｃ_2,OTT2)²＝１である。

したがって、式２４は、次のように簡単にすることができる。
［式２５］
P_C/2+P_LFE/2=(c_2,OTT0)²*m²/2

要するに、式２１、式２３及び式２５を式１７に代入し、式１７を式１４（または、式１５）に代入することで、組合せ空間パラメータであるＣＬＤ_βは、空間パラメータであるＣＬＤ₀乃至ＣＬＤ₄を組み合わせる方式で表現することができる。

(２)−１−２−ｂ．ＩＣＣ_βの誘導
まず、ＩＣＣ_βは、左側出力信号Ｌ_t及び右側出力信号Ｒ_t間の相関関係であるから、その定義式に左側出力信号Ｌ_t及び右側出力信号Ｒ_tを代入すると、次の通りになる。

式２６で、Ｐ_Lt、Ｐ_Rtは、式１９によってＣＬＤ₀乃至ＣＬＤ₄を用いて表現することができ、Ｐ_LtＰ_Rtは、次の式２７のように展開することができる。

［式２７］
P_LtRt=P_{L_R_}+P_C/2+P_LFE/2

式２７で、Ｐ_C／２＋Ｐ_LFE／２は、式１９によってＣＬＤ₀乃至ＣＬＤ₄で表現することができ、Ｐ_{L_R_}は、ＩＣＣ定義によって次のように展開することができる。

［式２８］
ICC₁=P_{L_R_}/√(P_{L_}P_{R_})

√(P_{L_}P_{R_})を移項すると、次の式２９のようになる。

［式２９］
P_{L_R_}=ICC₁*√(P_{L_}P_{R_})

式２９で、Ｐ_{L_}、Ｐ_{R_}はそれぞれ、式２１及び式２３によってＣＬＤ₀乃至ＣＬＤ₄で表現することができる。式２１及び式２３を式２９に代入すると、次の式３０となる。

［式３０］
P_{L_R_}=ICC₁*c_1,OTT1*c_1,OTT0*c_2,OTT1*c_1,OTT0*m²

要するに、式３０を式２７に代入し、式２７及び式１７を式２６に代入することで、組合空間パラメータであるＩＣＣ_βは、空間パラメータであるＣＬＤ₀乃至ＣＬＤ₄及びＩＣＣ₁を組み合わせる方式で表現することができる。

上記の空間パラメータを変形する方法は一実施例で、上記の式は、Ｐ_xまたはP_xyを求める場合において、信号エネルギーの他、各チャンネル間の相関関係（例：ＩＣＣ₀等）をさらに考慮することによって様々な形態に変えることができる。

(２)−２．サラウンド効果を持つ組合せ空間情報
空間情報を組み合わせて組合せ空間情報を生成するに当たり、音響経路を考慮すると、仮想サラウンド効果を出すことができる。仮想サラウンド効果または仮想３Ｄ効果とは、実際にはサラウンドチャンネルのスピーカーがないにもかかわらず、サラウンドチャンネルのスピーカーがあるかのような効果を出すことで、例えば、２個のステレオスピーカーを介して５．１チャンネルオーディオ信号を出力することである。

音響経路は空間フィルタ情報とすることができ、空間フィルタ情報は、ＨＲＴＦ（Ｈｅａｄ−Ｒｅｌａｔｅｄ Ｔｒａｎｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれる関数を用いれば良いが、本発明がこれに限定されることはない。空間フィルタ情報は、フィルタパラメータを含むことができ、このフィルタパラメータ及び空間パラメータを変換公式に代入して組合せ空間パラメータを生成することができる。一方、生成された組合せ空間パラメータは、フィルタ係数（ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓ）を含むことができる。

以下では、マルチチャンネルオーディオ信号が５チャンネルで、３チャンネルの出力チャンネルオーディオ信号を生成する場合を取り上げ、サラウンド効果を持つ組合せ空間情報を生成するために音響経路を考慮する方法について説明する。

図７は、３チャンネルのスピーカーの位置、及び、スピーカーと聴き手までの音響経路を示す図である。図７を参照すると、３個のスピーカーＳＰＫ１，ＳＰＫ２，ＳＰＫ３の位置がそれぞれ、左側前Ｌ、センターＣ、右側Ｒであり、仮想サラウンドチャンネルの位置が左側サラウンドＬｓ及び右側サラウンドＲｓであることがわかる。３個のスピーカーの位置Ｌ，Ｃ，Ｒ、及び、仮想サラウンドチャンネルの位置Ｌｓ，Ｒｓから聴き手の左耳の位置ｌ、聴き手の右耳の位置ｒに至るまでの音響経路が表示されている。Ｇ_{x_y}は、ｘ位置からｙ位置に至る音響経路を表示する。例えば、Ｇ_{L_r}は、左側前方の位置Ｌから聴き手の右耳の位置ｒに至る音響経路を表す。

もし、５つの位置にスピーカーが存在（すなわち、左側サラウンド（Ｌｓ）及び右側サラウンド（Ｒｓ）にもスピーカーが存在）し、聴き手が図７に示す位置に存在すると、聴き手の左耳に流入する信号Ｌ₀及び聴き手の右耳に流入する信号Ｒ₀は、次の通りである。

［式３１］
L_O=L*G_{L_l}+C*G_{C_l}+R*G_{R_l}+Ls*G_{Ls_l}+Rs*G_{Rs_l}
R_O=L*G_{L_r}+C*G_{C_r}+R*G_{R_r}+Ls*G_{Ls_r}+Rs*G_{Rs_r}

ここで、Ｌ，Ｃ，Ｒ，Ｌｓ，Ｒｓは、各位置のチャンネルを表し、Ｇ_{x_y}は、ｘ位置からｙ位置に至る音響経路を表し、＊はコンボリューションを表す。

しかし、上に言及したように、３つの位置Ｌ，Ｃ，Ｒにのみスピーカーが存在する場合、聴き手の左耳に流入する信号Ｌ_{0_real}及び聴き手の右耳に流入する信号Ｒ_{0_real}は、次の通りになる。

［式３２］
L_{O_real}=L*G_{L_l}+C*G_{C_l}+R*G_{R_l}
R_{O_real}=L*G_{L_r}+C*G_{C_r}+R*G_{R_r}

式３２に表示された信号は、サラウンドチャンネル信号Ｌｓ，Ｒｓが考慮されないので、仮想サラウンド効果を出すことができない。仮想サラウンド効果を出すためには、左側サラウンドチャンネル信号Ｌｓが元の位置Ｌｓから出力されて聴き手の位置ｌ，ｒに到達する時の信号と、元の位置Ｌｓ，Ｒｓでない３つの位置Ｌ，Ｃ，Ｒのスピーカーを介して出力し、聴き手の位置ｌ，ｒに到達する信号と同じにすれば良い。右側サラウンドチャンネル信号Ｒｓの場合も同様である。

まず、左側サラウンドチャンネル信号Ｌｓについて説明すると、左側サラウンドチャンネル信号Ｌｓが元の位置である左側サラウンド位置Ｌｓのスピーカーから出力される場合、聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号はそれぞれ次の通りである。

［式３３］
‘Ls*G_{Ls_l}’、‘Ls*G_{Ls_r}’

また、右側サラウンドチャンネル信号Ｒｓが元の位置である右側サラウンド位置Ｒｓのスピーカーから出力される場合、聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号はそれぞれ、次の通りである。

［式３４］
‘Rs*G_{Rs_l}’、‘Rs*G_{Rs_r}’

聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号が式３３及び式３４の成分と同じなら、どんな位置のスピーカーから出力されるとしても（例えば、左側前方位置のスピーカーＳＰＫ１等から出力されるとしても）、聴き手は、左側サラウンドの位置Ｌｓ及び右側サラウンドの位置Ｒｓにスピーカーが存在するかのように感じることができる。

一方、式３３に表示された成分は、左側サラウンド位置Ｌｓのスピーカーから出力される場合、それぞれ聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号であるので、式３３に表示された成分そのままに左側前方位置のスピーカーＳＰＫ１から出力すると、それぞれ聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号は、次の通りになる。

［式３５］
‘Ls*G_{Ls_l}*G_{L_l}’、‘Ls*G_{Ls_r}*G_{L_r}’

式３５では、左側前方位置Ｌから聴き手の左耳ｌ（または、右耳ｒ）までの音響経路に該当する成分である‘Ｇ_{L_l}’（または、‘Ｇ_{L_r}’）が追加される。しかし、聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号は、式３５に表示された成分ではなく式３３に表示された成分でなければならない。このため、左側前位置Ｌのスピーカーから出力して聴き手に到達する場合、‘Ｇ_{L_l}’（または、‘Ｇ_{L_r}’）成分が追加されるため、式３３に表された成分を左側前方位置ＬのスピーカーＳＰＫ１から出力する場合には、音響経路に‘Ｇ_{L_l}’（または、‘Ｇ_{L_r}’）の逆関数‘Ｇ_{L_l} ^-1’（または、‘Ｇ_{L_r} ^-1’）を考慮しなければならない。言い換えると、式３３に該当する成分を左側前方位置ＬのスピーカーＳＰＫ１から出力する場合、次の式のように変形しなければならない。

［式３６］
‘Ls*G_{Ls_l}*G_{L_l} ^-1’、‘Ls*G_{Ls_r}*G_{L_r} ^-1’

そして、式３４に該当する成分を左側前方位置ＬのスピーカーＳＰＫ１から出力する場合、次の式のように変形しなければならない。

［式３７］
‘Rs*G_{Rs_l}*G_{L_l} ^-1’、‘Rs*G_{Rs_r}*G_{L_l} ^-1’

したがって、左側前方位置ＬのスピーカーＳＰＫ１から出力される信号Ｌ’は、次のようにまとめることができる。

［式３８］
L’=L+Ls*G_{Ls_l}*G_{L_l} ^-1+Rs*G_{Rs_l}*G_{L_l} ^-1
(Ls*G_{Ls_r}*G_{L_r} ^-1及びRs*G_{Rs_r}*G_{L_l} ^-1成分は省略される。）

式３８に表示された信号が、左側前方位置のスピーカーＳＰＫ１から出力されて聴き手の左耳ｌ位置に到達すると、音響経路‘Ｇ_{L_l}’ファクターが追加されるので、式３８における‘Ｇ_{L_l} ^-1’項が相殺され、結果として式３３及び式３４に表示されたファクターが残る。

図８は、仮想サラウンド効果のために各位置から出力される信号を示す図である。

図８を参照すると、サラウンドの位置Ｌｓ，Ｒｓから出力される信号Ｌｓ，Ｒｓを、音響経路を考慮し、各スピーカー位置ＳＰＫ１から出力される信号Ｌ’に含めると、式３８のようになることがわかる。

式３８で、Ｇ_{Ls_l}＊Ｇ_{L_l} ^-1をＨＬ_{s_L}で簡略に表示すると、次の通りになる。

［式３９］
L’=L+Ls*H_{Ls_L}+Rs*H_{Rs_L}

一方、センター位置ＣのスピーカーＳＰＫ２から出力される信号Ｃ’を、次のようにまとめることができる。

［式４０］
C’=C+Ls*H_{Ls_C}+Rs*H_{Rs_C}

一方、右側前方位置ＲのスピーカーＳＰＫ３から出力される信号Ｒ’は、次のようにまとめることができる。

［式４１］
R’=R+Ls*H_{Ls_R}+Rs*H_{Rs_R}

図９は、式３８、式３９、及び式４０のように５チャンネル信号を用いて３チャンネル信号を生成する方法を概念的に示す図である。５チャンネル信号を用いて２チャンネル信号Ｒ’，Ｌ’を生成したり、サラウンドチャンネル信号Ｌｓ，Ｒｓをセンターチャンネル信号Ｃ’に含めない場合、Ｈ_{Ls_C}及びＨ_{Rs_C}は０となる。

実施の便宜上Ｈ_{x_y}の代わりにＧ_{x_y}を使用しても良く、クロストーク（ｃｒｏｓｓ−ｔａｌｋ）を考慮してＨ_{x_y}を用いても良い等、Ｈ_{x_y}は様々な変形形態になりうる。

上記の説明は、サラウンド効果を持つ組合空間情報の一例で、空間フィルタ情報の適用方法によって様々な形態に変形できることは自明である。上述の過程を通じてスピーカーから出力される信号（上の例では、左側前方チャンネルＬ’、右側前方チャンネルＲ’、センターチャンネルＣ’）は、前述したように、組合せ空間情報の中でも特に組合せ空間パラメータを用いてダウンミックスオーディオ信号から生成可能である。

（３）拡大空間情報
空間情報に拡張空間情報を追加して拡大空間情報を生成することができる。そして、この拡大空間情報を用いてオーディオ信号をアップミキシングでき、このアップミキシングする段階は、空間情報に基づいてオーディオ信号を１次アップミキシングオーディオ信号に変換し、拡張空間情報に基づいて１次アップミキシングオーディオ信号を２次アップミキシングオーディオ信号に変換する。

ここで、拡張空間情報は、拡張チャンネル構成情報、拡張チャンネルマッピング情報及び拡張空間パラメータを含むことができる。拡張チャンネル構成情報とは、空間情報のツリー構造情報によって構成できるチャンネル以外に、構成できるチャンネルに関する情報のことで、分割識別子及び未分割識別子のうち一つ以上を含むことができる。これについての具体的な説明は後述する。拡張チャンネルマッピング情報は、拡張チャンネルを構成する各チャンネルの位置情報である。拡張空間パラメータは、１チャンネルが２以上のチャンネルにアップミックスされるのに必要な情報で、チャンネル間レベル差を含むことができる。

このような拡張空間情報は、ｉ）エンコーディング装置により生成されたのち、デコーディング装置に送信されることもでき、ｉｉ）デコーディング装置自身により生成されることもできる。拡張空間情報がエンコーディング装置により生成されたものである場合、拡張空間情報の存在の有無は、空間情報の指示子を基に判断することができる。拡張空間情報がデコーディング装置自身により生成されたものである場合、拡張空間情報の拡張空間パラメータは、空間情報の空間パラメータを用いて計算したものであっても良い。

一方、空間情報及び拡張空間情報に基づいて生成された拡大空間情報を用いてオーディオ信号をアップミックスする過程は、順次的で階層的に行われても良いが、一括的で統合的に処理されても良い。もし、拡大空間情報が、空間情報及び拡張空間情報に基づいて一つのマトリックスとして算出可能であると、前記マトリックスを用いることによって、一括的で直接的にダウンミックスオーディオ信号をマルチチャンネルオーディオ信号にアップミックスできるわけである。この時、マトリックスを構成する因子は、空間パラメータ、及び拡張空間パラメータによって定義されたものであれば良い。

まず、エンコーディング装置により生成された拡張空間情報を用いる場合について説明し、続いて、デコーディング装置で拡張空間情報を自体的に生成する場合について説明する。

(３)−１：エンコーディング装置により生成された拡張空間情報を用いる場合：任意ツリー構造（arbitrary tree configuration）
まず、拡大空間情報は、空間情報に拡張空間情報を追加して生成されるにおいてエンコーディング装置により生成されたものであり、デコーディング装置が拡張空間情報を受信した場合について説明する。一方、ここでの拡張空間情報は、エンコーディング装置がマルチチャンネルオーディオ信号をダウンミックスする過程で抽出したものであれば良い。

まず、上述したように、拡張空間情報は、拡張チャンネル構成情報、拡張チャンネルマッピング情報、拡張空間パラメータを含み、ここで、拡張チャンネル構成情報は、分割識別子及び未分割識別子を一つ以上含む。以下、分割識別子及び未分割識別子の配列を基に拡張チャンネルを構成する過程について具体的に説明する。

図１０は、拡張チャンネル構成情報に基づいて拡張チャンネルが構成される一例を示す図である。図１０の下段を参照すると、０と１が順番で繰り返し配列されているが、ここで、０は未分割識別子、１は分割識別子を表す。まず、１番目（１）に未分割識別子０が存在し、この１番目の未分割識別子０とマッチングされるチャンネルは、最上端に存在する左側チャンネルＬである。したがって、未分割識別子０とマッチングされる左側チャンネルＬを分割せず出力チャンネルとして選択する。そして、２番目（２）には、分割識別子１が存在し、この２番目の分割識別子０とマッチングされるチャンネルは、左側チャンネルＬの次の左側サラウンドチャンネルＬｓである。したがって、分割識別子１とマッチングされる左側サラウンドチャンネルＬｓを２チャンネルに分割する。３番目（３）及び４番目（４）に未分割識別子（０）が存在するので、左側サラウンドチャンネルＬｓから分割された２チャンネルはそれぞれ分割せず、そのまま出力チャンネルとして選択する。このような過程を最後の順番（１０）まで繰り返すことで、全体拡張チャンネルが構成される。

チャンネル分割過程は分割識別子１の個数だけ繰り返され、チャンネルを出力チャンネルとして選択する過程は、未分割識別子０の個数だけ繰り返される。したがって、チャンネル分割部ＡＴ₀，ＡＴ₁の個数は分割識別子１の個数（２個）と同一であり、拡張チャンネルの本数Ｌ，Ｌｆｓ，Ｌｓ，Ｒ，Ｒｆｓ，Ｒｓ，Ｃ，ＬＦＥは、未分割識別子０の個数（８個）と同一になる。

一方、拡張チャンネルを構成した後、拡張チャンネルマッピング情報を用いて各出力チャンネル別にその位置を再びマッピングさせることができる。図１０の場合、左側フロントチャンネルＬ、左側フロントサイドチャンネルＬｆｓ、左側サラウンドチャンネルＬｓ、右側フロントチャンネルＲ、右側フロントサイドチャンネルＲｆｓ、右側サラウンドチャンネルＲｓ、センターチャンネルＣ、低周波チャンネルＬＦＥの順にマッピングされる。

以上説明した如く、拡張チャンネル構成情報に基づいて拡張チャンネルが構成することができ、１チャンネルを２以上のチャンネルに分割するためのチャンネル分割部が必要である。このチャンネル分割部が、１チャンネルを２以上のチャンネルに分割する際に、拡張空間パラメータを用いることができる。この拡張空間パラメータは、チャンネル分割部の個数と同一なので、分割識別子の個数とも同一である。したがって、拡張空間パラメータは分割識別子の個数だけ抽出することができる。図１１は、図１０に示す拡張チャンネルの構成、及び拡張空間パラメータとの関係を示す図である。図１１を参照すると、チャンネル分割部ＡＴ₀，ＡＴ₁が２個存在し、ここにそれぞれ適用される拡張空間パラメータＡＴＤ₀，ＡＴＤ₁が表示されている。拡張空間パラメータがチャンネル間レベル差である場合、チャンネル分割部はこのような拡張空間パラメータを用いて２つに分割されるチャンネルのそれぞれのレベルを決定することができる。上記のように拡張空間情報を追加してアップミキシングする過程において、拡張空間パラメータを全部でなく一部のみを適用しても良い。

(３)−２拡張空間情報を生成する場合：内挿／外挿（interpolation/extrapolation）
拡大空間情報は、空間情報に拡張空間情報を追加して生成することができ、拡張空間情報が空間情報を用いて生成された場合について説明する。空間情報のうち空間パラメータを用いて拡張空間情報を生成でき、この場合、内挿または外挿などの方法が用いることができる。

(３)−２−１．６．１チャンネルへの拡張
マルチチャンネルオーディオ信号が５．１チャンネルであるとき、６．１チャンネルの出力チャンネルオーディオ信号を生成したい場合に挙げて説明する。

図１２は、５．１チャンネルのマルチチャンネルオーディオ信号の位置と６．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。図１２の（ａ）を参照すると、５．１チャンネルのマルチチャンネルオーディオ信号のチャンネル位置がそれぞれ、左側前方チャンネルＬ、右側前方チャンネルＲ、センターチャンネルＣ、低周波チャンネルＬＦＥ（図示せず）、左側サラウンドチャンネルＬｓ、右側サラウンドチャンネルＲｓであることがわかる。もし、このような５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされたオーディオ信号である場合、このダウンミックスオーディオ信号に空間パラメータのみを適用すると、再び５．１チャンネルのマルチチャンネルオーディオ信号にアップミックスされる。しかし、図１２の（ｂ）のように、６．１チャンネルのマルチチャンネルオーディオ信号にアップミックスするためには、後方センター（ｒｅａｒ ｃｅｎｔｅｒ）ＲＣのチャンネル信号をさらに生成しなければならない。

この後方センターＲＣのチャンネル信号は、後方の２チャンネル（左側サラウンドチャンネルＬｓ及び右側サラウンドチャンネルＲｓ）と関連した空間パラメータを用いて生成できる。具体的に、空間パラメータのうち、チャンネル間レベル差（ＣＬＤ）は２チャンネル間のレベル差を表すが、２チャンネル間のレベル差を調整することによって、２チャンネル間に存在する仮想音源の位置を変化させることができる。

以下では、２チャンネル間のレベル差によって仮想音源の位置が変化する原理について説明する。

図１３は、２チャンネル間のレベル差と仮想音源の位置との関係を示す図である。図１３で、左側サラウンドチャンネルＬｓのレベルがａで、右側サラウンドチャンネルＲｓのレベルがｂである。図１３の（ａ）を参照すると、左側サラウンドチャンネルＬｓのレベルａが右側サラウンドチャンネルＲｓのレベルｂよりも大きい場合、仮想音源の位置ＶＳは、右側サラウンドチャンネルＲｓの位置よりも左側サラウンドチャンネルＬｓの位置に近いことがわかる。２チャンネルからオーディオ信号が出力される場合、聴き手は２チャンネル間に仮想音源が存在するかのように感じることになるが、この時、仮想音源の位置は、２チャンネルのうちレベルが相対的に高いチャンネルの位置に近い。図１３の（ｂ）の場合は、左側サラウンドチャンネルＬｓのレベルａが右側サラウンドチャンネルＲｓのレベルｂと略同一なので、仮想音源の位置が左側サラウンドチャンネルＬｓ及び右側サラウンドチャンネルＲｓの中間に存在するかのように聴き手は感じることになる。

このような原理を用いて後方センターＲＣのレベルの決定することができる。図１４は、２つの後方チャンネルのレベル、及び後方センターチャンネルのレベルを示す図である。図１４に示すように、後方センターチャンネルＲＣのレベルｃは、左側サラウンドチャンネルＬｓのレベルａ及び右側サラウンドチャンネルＲｓのレベルｂ間の差を内挿する方式で算出することができる。内挿方式としては、線形（ｌｉｎｅａｒ）内挿だけでなく、非線形（ｎｏｎ−ｌｉｎｅａｒ）内挿方式も適用されることができる。線形内挿方式によって、２チャンネル（例：Ｌｓ，Ｒｓ）間に存在する新しいチャンネル（例：後方センターチャンネルＲＣ）のレベルｃを算出する式は、次の通りである。

［式４０］
c=a*k+b*(1-k)

ここで、ａ、ｂは、２チャンネルのそれぞれのレベルを表す。

ｋは、ａレベルのチャンネル及びｂレベルのチャンネルとｃレベルのチャンネル間の相対的位置を表す。

もし、ｃレベルのチャンネル（例：後方センターチャンネルＲＣ）がａレベルのチャンネル（例：Ｌｓ）及びｂレベルのチャンネルＲｓの真中央に位置する場合、ｋは０．５である。ｋが０．５の場合、式４０は、次の式のようになる。

［式４１］
c=(a+b)/2

式４１によれば、ｃレベルのチャンネル（例：後方センターチャンネルＲＣ）がａレベルのチャンネル（例：Ｌｓ）及びｂレベルのチャンネルＲｓの真中央に位置する場合、新しいチャンネルのレベルｃは、既存のチャンネルのレベルａ，ｂの平均値となる。上の式４０及び式４１は一例に過ぎず、ｃレベルの決定だけでなく、ａレベルとｂレベルの値も再調整することが可能である。

(３)−２−２．７．１チャンネルへの拡張
マルチチャンネルオーディオ信号が５．１チャンネルである時、７．１チャンネルの出力チャンネルオーディオ信号を生成したい場合を例に挙げて説明する。

図１５は、５．１チャンネルのマルチチャンネルオーディオ信号の位置と７．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。図１５の（ａ）を参照すると、図１２の（ａ）と同様に、５．１チャンネルのマルチチャンネルオーディオ信号のチャンネル位置がそれぞれ左側前方チャンネルＬ、右側前方チャンネルＲ、センターチャンネルＣ、低周波チャンネルＬＦＥ（図示せず）、左側サラウンドチャンネルＬｓ、右側サラウンドチャンネルＲｓであることがわかる。もし、このような５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされたオーディオ信号である場合、このダウンミックスオーディオ信号に空間パラメータのみを適用すると、同様に５．１チャンネルのマルチチャンネルオーディオ信号にアップミックスされる。しかし、図１５の（ｂ）のように７．１チャンネルのマルチチャンネルオーディオ信号にアップミックスするには、左側フロントサイドチャンネルＬｆｓ及び右側フロントサイドチャンネルＲｆｓをさらに生成しなければならない。

左側フロントサイドチャンネルＬｆｓは、左側前方チャンネルＬ及び左側サラウンドチャンネルＬｓ間に位置するので、左側前方チャンネルＬのレベル及び左側サラウンドチャンネルＬｓのレベルを用いて、内挿方式で左側フロントサイドチャンネルＬｆｓのレベルを決定することができる。図１６は、２つの左側チャンネルのレベル、及び左側フロントサイドチャンネルＬｆｓのレベルを示す図である。図１６を参照すると、左側フロントサイドチャンネルＬｆｓのレベルｃは、左側前方チャンネルＬのレベルａ及び左側サラウンドチャンネルＬｓのレベルｂに基づいて線形的に内挿された値であることがわかる。

一方、左側フロントサイドチャンネルＬｆｓは、左側前方チャンネルＬ及び左側サラウンドチャンネルＬｓ間に位置してはいるが、左側前方チャンネルＬ、センターチャンネルＣ、及び右側前方チャンネルＲの外側に位置してもいる。このため、左側前方チャンネルＬのレベル、センターチャンネルＣのレベル、及び右側前方チャンネルＲのレベルを用いて、外挿方式で左側フロントサイドチャンネルＬｆｓのレベルを決定しても良い。図１７は、３つの前方チャンネルのレベル、及び左側フロントサイドチャンネルのレベルを示す図である。図１７を参照すると、左側フロントサイドチャンネルＬｆｓのレベルｄは、左側前方チャンネルＬのレベルａ、センターチャンネルＣのレベルｃ、及び右側前方チャンネルＲのレベルｂに基づいて線形的に外挿された値であることがわかる。

以上２つの場合を取り上げて、空間情報に拡張空間情報を追加して出力チャンネルオーディオ信号を生成する過程について説明した。上述の如く、拡張空間情報を追加してアップミキシングする過程において、拡張空間パラメータの全部ではなく一部のみを適用しても良い。このようにオーディオ信号に空間パラメータを適用する過程は、順次的・階層的に行われても良いが、一括的・統合的に処理されても良い。

本発明の一側面によれば、定められたツリー構造と異なる構造のオーディオ信号を生成できるため、多様な構造のオーディオ信号を生成することが可能になる。

本発明の他の側面によれば、定められたツリー構造と異なる構造のオーディオ信号を生成できるため、ダウンミックスされる前のマルチチャンネルの本数がスピーカーの個数より多いまたは少ない場合であっても、ダウンミックスオーディオ信号からスピーカーの個数と同じ本数の出力チャンネルを生成することが可能になる。

本発明のさらに他の側面によれば、マルチチャンネル数より少ない本数の出力チャンネルを生成する場合、ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号にアップミックスした後、このマルチチャンネルオーディオ信号から出力チャンネルオーディオ信号をダウンミックスするのではなく、ダウンミックスオーディオ信号から直接マルチチャンネルオーディオ信号を生成するので、オーディオ信号のデコーディングにかかる演算量を顕著に減少させることが可能になる。

本発明のさらに他の側面によれば、組合せ空間情報の生成において音響経路を考慮できるため、サラウンドチャンネルを出力できない状況においても仮想（ｐｓｅｕｄｏ）でサラウンド効果を出すことが可能になる。

本発明によるオーディオ信号のエンコーディング装置及びデコーディング装置の構成図である。 部分空間情報を適用する一例を概略的に示す図である。 部分空間情報を適用する他の例を概略的に示す図である。 部分空間情報を適用するさらに他の例を概略的に示す図である。 組合せ空間情報を適用する一例を概略的に示す図である。 組合せ空間情報を適用する他の例を概略的に示す図である。 ３チャンネルスピーカーの位置、及び、スピーカーから聴き手までの音響経路を示す図である。 サラウンド効果のためにスピーカーの各位置から出力される信号を示す図である。 ５チャンネル信号を用いて３チャンネル信号を生成する方法を概念的に示す図である。 拡張チャンネル構成情報に基づいて拡張チャンネルが構成される一例を示す図である。 図１０に示す拡張チャンネルの構成、及び、拡張空間パラメータとの関係を示す図である。 ５．１チャンネルのマルチチャンネルオーディオ信号の位置と６．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。 ２つのチャンネル間のレベル差及び仮想音源の位置との関係を示す図である。 ２つの後方チャンネルのレベル、及び、後方センターチャンネルのレベルを示す図である。 ５．１チャンネルのマルチチャンネルオーディオ信号の位置と７．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。 ２つの左側チャンネルのレベル、及び、左側フロントサイドチャンネル（Ｌｆｓ）のレベルを示す図である。 ３つの前方チャンネルのレベル、及び、左側フロントサイドチャンネル（Ｌｆｓ）のレベルを示す図である。

Claims (18)

1. オーディオ信号を受信するステップ、
   ツリー構造情報及び空間パラメータを含む空間情報、並びに該ツリー構造情報により特定されるチャンネル数を拡張するための拡張空間情報を受信するステップ、
   前記空間情報に前記拡張空間情報を追加して変形空間情報を生成するステップ、
   前記ツリー構造情報及び前記変形空間情報を用いて前記オーディオ信号をアップミキシングするステップ、を有するオーディオ信号のデコーディング方法であって、
   前記アップミキシングするステップは、
   前記ツリー構造情報に基づいて前記オーディオ信号を１次アップミキシングオーディオ信号に変換するステップ、
   前記１次アップミキシングオーディオ信号を２次アップミキシングオーディオ信号に変換するステップを有し、
   前記ツリー構造情報は、エンコーディング装置とデコーディング装置間での予め定められた構造を示す、
   ことを特徴とする、オーディオ信号のデコーディング方法。
2. 前記オーディオ信号は、マルチチャンネルオーディオ信号がダウンミックスされたダウンミックスオーディオ信号であり、前記空間情報は、前記マルチチャンネルオーディオ信号が予め定められたツリー構造にしたがってダウンミックスされる過程で決定されることを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
3. 前記変形空間情報は、前記空間情報及び前記拡張空間情報に基づいて算出されるマトリックスであり、前記マトリックスを構成する因子は、前記空間パラメータ、及び前記拡張空間情報の拡張空間パラメータによって定義されることを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
4. 前記拡張空間情報は、拡張チャンネル構成情報及び拡張空間パラメータを含み、前記拡張チャンネル構成情報は、分割識別子及び未分割識別子のうちの少なくとも一つを含むことを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
5. 前記拡張空間パラメータは、チャンネル間レベル差を含むことを特徴とする、請求項４に記載のオーディオ信号のデコーディング方法。
6. 前記拡張空間情報は受信したものであり、前記拡張空間パラメータは、前記分割識別子の総個数だけ抽出されたことを特徴とする、請求項４に記載のオーディオ信号のデコーディング方法。
7. 前記アップミキシングするステップは、前記分割識別子とマッチングする前記拡張空間パラメータを用いて、前記分割識別子とマッチングするチャンネルを２つ以上のチャンネルに分割するステップをさらに有し、
   前記分割するステップは、前記分割識別子の総個数だけ繰り返されることを特徴とする、請求項４に記載のオーディオ信号のデコーディング方法。
8. 前記アップミキシングするステップは、前記未分割識別子とマッチングするチャンネルを出力チャンネルとして選択するステップをさらに有し、
   前記選択するステップは、前記未分割識別子の総個数だけ繰り返されることを特徴とする、請求項４に記載のオーディオ信号のデコーディング方法。
9. 前記拡張空間情報は、拡張チャンネルマッピング情報を含み、前記方法は、前記アップミキシングの後、前記拡張チャンネルマッピング情報を用いて出力チャンネルオーディオ信号をリマッピングするステップをさらに有することを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
10. ツリー構造情報及び空間パラメータを含む空間情報、並びに該ツリー構造情報により特定されるチャンネル数を拡張するための拡張空間情報を受信し、該空間情報に該拡張空間情報を追加して変形空間情報を生成する変形空間情報生成部と、
    オーディオ信号を受信し、前記ツリー構造情報及び前記変形空間情報を用いて該オーディオ信号をアップミキシングする出力チャンネル生成部と、を含み、
    前記出力チャンネル生成部は、前記ツリー構造情報に基づいて前記オーディオ信号を１次アップミキシングオーディオ信号に変換し、前記１次アップミキシングオーディオ信号を２次アップミキシングオーディオ信号に変換し、
    前記ツリー構造情報は、エンコーディング装置とデコーディング装置間での予め定められた構造を示す、
    ことを特徴とする、オーディオ信号のデコーディング装置。
11. 前記オーディオ信号はマルチチャンネルオーディオ信号がダウンミックスされたダウンミックスオーディオ信号であり、前記空間情報は、前記マルチチャンネルオーディオ信号が予め定められたツリー構造にしたがってダウンミックスされる過程で決定されることを特徴とする、請求項１０に記載のオーディオ信号のデコーディング装置。
12. 前記変形空間情報は、前記空間情報及び前記拡張空間情報に基づいて算出されるマトリックスであり、前記マトリックスを構成する因子は、前記空間パラメータ、及び前記拡張空間情報の拡張空間パラメータによって定義されることを特徴とする、請求項１０に記載のオーディオ信号のデコーディング装置。
13. 前記拡張空間情報は、拡張チャンネル構成情報及び拡張空間パラメータを含み、前記拡張チャンネル構成情報は、分割識別子及び未分割識別子のうちの少なくとも一つを含むことを特徴とする、請求項１０に記載のオーディオ信号のデコーディング装置。
14. 前記拡張空間パラメータは、チャンネル間レベル差を含むことを特徴とする、請求項１３に記載のオーディオ信号のデコーディング装置。
15. 前記拡張空間情報は受信したものであり、前記拡張空間パラメータは、前記分割識別子の総個数だけ抽出されたことを特徴とする、請求項１３に記載のオーディオ信号のデコーディング装置。
16. 前記出力チャンネル生成部は、前記分割識別子とマッチングする前記拡張空間パラメータを用いて、前記分割識別子とマッチングするチャンネルを２つ以上のチャンネルに分割し、
    前記分割は、前記分割識別子の総個数だけ繰り返されることを特徴とする、請求項１３に記載のオーディオ信号のデコーディング装置。
17. 前記出力チャンネル生成部は、前記未分割識別子とマッチングするチャンネルを出力チャンネルとして選択し、
    前記選択は、前記未分割識別子の総個数だけ繰り返されることを特徴とする、請求項１３に記載のオーディオ信号のデコーディング装置。
18. 前記拡張空間情報は、拡張チャンネルマッピング情報を含み、前記出力チャンネル生成部は、前記アップミキシングの後、前記拡張チャンネルマッピング情報を用いて出力チャンネルオーディオ信号をリマッピングすることを特徴とする、請求項１０に記載のオーディオ信号のデコーディング装置。

Images