[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5302207B2 - オーディオ処理方法及び装置 - Google Patents

オーディオ処理方法及び装置 Download PDF

Info

Publication number
JP5302207B2
JP5302207B2 JP2009540167A JP2009540167A JP5302207B2 JP 5302207 B2 JP5302207 B2 JP 5302207B2 JP 2009540167 A JP2009540167 A JP 2009540167A JP 2009540167 A JP2009540167 A JP 2009540167A JP 5302207 B2 JP5302207 B2 JP 5302207B2
Authority
JP
Japan
Prior art keywords
signal
information
downmix
channel
downmix signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009540167A
Other languages
English (en)
Other versions
JP2010511912A (ja
Inventor
オ オー，ヒェン
ウォン ジュン，ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2010511912A publication Critical patent/JP2010511912A/ja
Application granted granted Critical
Publication of JP5302207B2 publication Critical patent/JP5302207B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereo-Broadcasting Methods (AREA)

Description

本発明は、オーディオ信号処理方法及び装置に関するもので、より具体的には、デジタル媒体または放送信号を通じて受信したオーディオ信号のデコーディング方法及び装置に関する。
数個のオーディオオブジェクトを一つまたは二つの信号にダウンミックスする過程で、個別オブジェクト信号からパラメータを抽出することができる。これらのパラメータは、オーディオ信号デコーダーで用いられることができ、個別ソースのリポジショニング（repositioning）及びパニング（panning）は、ユーザの選択により制御することができる。
個別オブジェクト信号の制御において、ダウンミックス信号に含まれた個別ソースのリポジショニング及びパニングは自由に行なわれなければならない。
しかしながら、チャネル基盤デコーディング方法（例：MPEG surround）に関する下位互換性（backward compatibility）のためには、オブジェクトパラメータが、アップミキシングプロセスに要求されるマルチチャネルパラメータに自由に変換されなければならない。
したがって、本発明は、上記のように関連技術の制限及び欠点から発生する問題点を実質的に回避するオーディオ信号処理方法及び装置を指向する。
本発明は、オブジェクトゲイン及びパニングを自由に制御するためのオーディオ信号処理方法及び装置を提供する。
本発明は、ユーザ選択を基盤にオブジェクトゲイン及びパニングを制御するためのオーディオ信号処理方法及び装置を提供する。
上記目的を達成するための本発明によるオーディオ信号処理方法は、ダウンミックス信号及びダウンミックスプロセシング情報を受信する段階と、前記ダウンミックスプロセシング情報を用いて前記ダウンミックス信号を処理する段階と、を含み、前記処理する段階は、前記ダウンミックス信号を無相関化する段階と、前記処理されたダウンミックス信号を出力するために前記ダウンミックス信号及び前記無相関化された信号をミキシングする段階と、を含み、前記ダウンミックスプロセシング情報は、オブジェクト情報及びミックス情報に基づいて推定されたものである。
本発明によれば、前記ダウンミックス信号のチャネル数が２以上に該当する場合、前記ダウンミックス信号を処理する段階が行なわれる。
本発明によれば、前記処理されたダウンミックス信号の一つのチャネル信号は、前記ダウンミックス信号の他のチャネル信号を含む。
本発明によれば、前記処理されたダウンミックス信号のうち一つのチャネル信号は、ゲインファクタと乗算された前記ダウンミックス信号の他のチャネルを含み、前記ゲインファクタは、前記ミックス情報から推定されたものである。
本発明によれば、前記ダウンミックス信号がステレオ信号に該当する場合、前記ダウンミックス信号を処理する段階は、前記ダウンミックス信号のための２×２マトリクスオペレーションにより行なわれる。
本発明によれば、前記２×２マトリクスオペレーションは、前記ダウンミックスプロセシング情報に含まれた０でないクロスターム（non−zero cross term）を含む。
本発明によれば、前記ダウンミックス信号を無相関化する段階は、２つ以上の無相関化器により行なわれる。
本発明によれば、前記ダウンミックス信号の無相関化は、２個の無相関化器を用いて前記ダウンミックス信号の第１チャネル及び前記ダウンミックス信号の第２チャネルを無相関化する段階を含む。
本発明によれば、前記ダウンミックス信号は、ステレオ信号に該当し、前記無相関化された信号は、同じ無相関化器を用いて無相関化された前記第１チャネル及び前記２チャネルを含む。
本発明によれば、前記ダウンミックス信号を無相関化する段階は、一つの無相関化器を用いて前記ダウンミックス信号の第１チャネルを無相関化する段階と、他の無相関化器を用いて前記ダウンミックス信号の第２チャネルを無相関化する段階と、を含む。
本発明によれば、前記ダウンミックス信号はステレオ信号に該当し、前記無相関化された信号は、無相関化された第１チャネル及び無相関化された第２チャネルを含む。
本発明によれば、前記ダウンミックス信号がステレオ信号に該当する場合、前記処理されたダウンミックス信号は、ステレオ信号に該当する。
本発明によれば、前記オブジェクト情報は、オブジェクトレベル情報及びオブジェクト相関情報のうち一つ以上を含む。
本発明によれば、前記ミックス情報は、オブジェクト位置情報及び再生設定情報のうち一つ以上を用いて生成される。
本発明によれば、前記ダウンミックス信号は、放送信号として受信される。
本発明によれば、前記ダウンミックス信号は、デジタル媒体を介して受信される。
本発明のさらに他の側面によれば、ダウンミックス信号及びダウンミックスプロセシング情報を受信する段階と、前記ダウンミックスプロセシング情報を用いて前記ダウンミックス信号を処理する段階と、を含み、前記処理する段階は、前記ダウンミックス信号を無相関化する段階と、前記処理されたダウンミックス信号を出力するために前記ダウンミックス信号及び前記無相関化された信号をミキシングする段階と、を含み、前記ダウンミックスプロセシング情報は、オブジェクト情報及びミックス情報に基づいて推定されたものであり、プロセッサが実行される時、前記プロセッサにより前記動作が行なわれる命令が記憶されている、コンピュータ読み取り可能媒体が提供される。
本発明のさらに他の側面によれば、ダウンミックス信号及びダウンミックスプロセシング情報を受信し、前記ダウンミックスプロセシング情報を用いて前記ダウンミックス信号を処理するダウンミックス処理ユニットを含み、前記ダウンミックス処理ユニットは、前記ダウンミックス信号を無相関化する無相関化パートと、前記処理されたダウンミックス信号を出力するために前記ダウンミックス信号及び前記無相関化された信号をミキシングするミキシングパートと、を含み、前記ダウンミックスプロセシング情報は、オブジェクト情報及びミックス情報に基づいて推定されたものである、オーディオ信号処理装置が提供される。
本発明のさらに他の側面によれば、複数のオブジェクト信号を用いてダウンミックス信号を獲得する段階と、前記複数のオブジェクト信号及び前記ダウンミックス信号を用いて、前記複数のオブジェクト信号間の関係を表すオブジェクト情報を生成する段階と、前記時間領域のダウンミックス信号及び前記オブジェクト情報を伝送する段階と、を含み、前記ダウンミックス信号のチャネル数が２以上に該当する場合、前記ダウンミックス信号は、処理されたダウンミックス信号になることが可能であり、前記オブジェクト情報は、オブジェクトレベル情報及びオブジェクト相関情報のうち一つ以上を含む、オーディオ信号処理方法が提供される。
本発明は、下記のような効果と利点を奏する。
第一に、本発明は、オブジェクトゲイン及びパニングを制限なく制御できるオーディオ信号処理方法及び装置を提供することができる。
第二に、本発明は、ユーザ選択を基盤にオブジェクトゲイン及びパニングを制御できるオーディオ信号処理方法及び装置を提供することができる。
再生設定及びユーザコントロールを基盤にダウンミックス信号をレンダリングする基本概念を説明するための図である。 第１方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。 第１方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。 第２方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。 第２方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。 第２方式の本発明のさらに他の実施例によるオーディオ信号処理装置を例示する構成図である。 第３方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。 第３方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。 レンダリングユニットの基本概念を説明するための図である。 図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。 図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。 図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。 図７に示すダウンミックス処理ユニットの第２実施例を示す構成図である。 図７に示すダウンミックス処理ユニットの第３実施例を示す構成図である。 図７に示すダウンミックス処理ユニットの第４実施例を示す構成図である。 本発明の第２実施例による圧縮されたオーディオ信号のビットストリーム構造を例示する構成図である。 本発明の第２実施例によるオーディオ信号処理装置を例示する構成図である。 本発明の第３実施例による圧縮されたオーディオ信号のビットストリーム構造を例示する構成図である。 本発明の第４実施例によるオーディオ信号処理装置を例示する構成図である。 様々なタイプのオブジェクトの伝送方式を説明するための例示的な構成図である。 本発明の第５実施例によるオーディオ信号処理装置を例示する構成図である。
本願の‘パラメータ’は、値（values）、狭義のパラメータ（parameters）、係数（coefficients）、成分（elements）等を含む情報を意味する。以下、パラメータ（parameter）という用語は、オブジェクトパラメータ、ミックスパラメータ、ダウンミックスプロセシングパラメータなどのように、情報（information）を代用することができるが、本発明はこれに限定されない。
数個のチャネル信号または数個のオブジェクト信号をダウンミックスする際に、オブジェクトパラメータ及び空間パラメータを抽出することができる。デコーダは、ダウンミックス信号及びオブジェクトパラメータ（または空間パラメータ）を用いて出力信号を生成することができる。出力信号は、再生設定（playback configuration）及びユーザコントロールを基盤にレンダリングすることができる。レンダリングプロセスを、図１を参照しつつ以下に詳細に説明する。
図１は、再生設定及びユーザコントロールを基盤にダウンミックスをレンダリングする基本概念を説明するための図である。図１を参照すると、デコーダ１００は、レンダリング情報生成ユニット１１０及びレンダリングユニット１２０を含むか、レンダリング情報生成ユニット１１０及びレンダリングユニット１２０を含む代わりに、レンダラ１１０ａ及び合成１２０ａを含むことができる。
レンダリング情報生成ユニット１１０は、エンコーダからオブジェクトパラメータまたは空間パラメータを含む付加情報（side information）を受信し、また、装置設定またはユーザインタフェースから再生設定またはユーザコントロールを受信する。オブジェクトパラメータ（object parameter）は、一つ以上のオブジェクト信号をダウンミックスする過程で抽出されるパラメータに該当することができ、空間パラメータ（spatial parameter）は、一つ以上のチャネル信号をダウンミックスする過程で抽出されるパラメータに該当することができる。さらに、各オブジェクトのタイプ情報及び特性情報が上記付加情報に含まれることができる。タイプ情報及び特性情報は、楽器名、演奏者名などを記述することができる。再生設定は、スピーカ位置及びアンビエント情報（ambient information）（スピーカの仮想位置）を含むことができ、ユーザコントロールは、オブジェクト位置及びオブジェクトゲインを制御するためにユーザにより入力される情報に該当することができ、再生設定のための制御情報に該当することもできる。一方、再生設定及びユーザコントロールは、ミックス情報として表現されることもできるが、本発明はこれに限定されない。
レンダリング情報生成ユニット１１０は、ミックス情報（再生設定及びユーザコントロール）及び受信された付加情報を用いてレンダリング情報を生成することができる。レンダリングユニット１２０は、オーディオ信号のダウンミックス（“ダウンミックス信号”とも略す。）が伝送されない場合、レンダリング情報を用いてマルチチャネルパラメータを生成でき、オーディオ信号のダウンミックスが伝送される場合、レンダリング情報及びダウンミックスを用いてマルチチャネル信号を生成することができる。
レンダラ１１０ａは、ミックス情報（再生設定及びユーザコントロール）及び受信した付加情報を用いてマルチチャネル信号を生成することができる。合成１２０ａは、レンダラ１１０ａで生成されたマルチチャネル信号を用いてマルチチャネル信号を合成することができる。
前述したように、デコーダは、再生設定及びユーザコントロールを基盤にダウンミックス信号をレンダリングする。一方、個別的なオブジェクト信号を制御するために、デコーダは付加情報としてオブジェクトパラメータを受信することができ、伝送されたオブジェクトパラメータに基づいてオブジェクトパニング及びオブジェクトゲインを制御することができる。
１．オブジェクト信号のゲイン及びパニング制御
個別オブジェクト信号を制御するための様々な方法を提供することができる。第一、デコーダがオブジェクトパラメータを受信し、オブジェクトパラメータを用いて個別オブジェクト信号を生成する場合、デコーダはミックス情報（再生設定、オブジェクトレベル等）を基盤に個別オブジェクト信号を制御することができる。
第二、デコーダが、マルチチャネルデコーダに入力されるマルチチャネルパラメータを生成する場合、マルチチャネルデコーダは、マルチチャネルパラメータを用いて、エンコーダから受信するダウンミックス信号をアップミキシングすることができる。この第二の方法は、次の３種類の方式に分類することができる。具体的に、１）従来のマルチチャネルデコーダを利用する方式、２）マルチチャネルデコーダを修正する方式、３）マルチチャネルデコーダに入力される前に、オーディオ信号のダウンミックスを処理する方式を提供することができる。従来のマルチチャネルデコーダは、チャネル基盤の空間オーディオコーディング（例：MPEG Surroundデコーダ）に該当することができるが、本発明はこれに限定されない。これら３種類の方式を具体的に説明すると、下記の通りである。
１.１ マルチチャネルデコーダを利用する方式
この第１方式は、従来のマルチチャネルデコーダを修正せずにそのまま利用することができる。まず、オブジェクトゲインを制御するためにＡＤＧ（任意的ダウンミックスゲイン：arbitrary downmix gain）を利用する場合、オブジェクトパニングを制御するために５−２−５構成（configuration）を用いる場合が、図２を参照しながら説明される。次いで、シーンリミキシングユニット（scene remixing unit）と関連する場合は、図３を参照しながら説明される。
図２は、第１方式の本発明の第１実施例によるオーディオ信号処理装置の構成図である。図２を参照すると、オーディオ信号処理装置２００（以下、デコーダ２００）は、情報生成ユニット２１０及びマルチチャネルデコーダ２３０を含むことができる。情報生成ユニット２１０は、エンコーダからオブジェクトパラメータを含む付加情報を、ユーザインタフェースからミックス情報を受信することができ、任意的ダウンミックスゲインまたはゲイン変形ゲイン（以下では、“ＡＤＧ”と略す。）を含むマルチチャネルパラメータを生成することができる。ＡＤＧは、ミックス情報及びオブジェクト情報に基づいて推定された第１ゲインと、オブジェクト情報に基づいて推定された第２ゲインとの比率（ratio）である。具体的に、ダウンミックス信号がモノラル信号である場合、情報生成ユニット２１０は、ＡＤＧのみを生成することができる。マルチチャネルデコーダ２３０は、エンコーダからオーディオ信号のダウンミックスを、情報生成ユニット２１０からマルチチャネルパラメータを受信し、ダウンミックス信号及びマルチチャネル信号を用いてマルチチャネル出力を生成する。
マルチチャネルパラメータは、チャネルレベル差（channel level difference）（以下、“ＣＬＤ”と略す）、チャネル間の相関関係（inter channel correlation）（以下、“ＩＣＣ”と略す）、チャネル予測係数（channel prediction coefficient）（以下、“ＣＰＣ”と略す）を含むことができる。
ＣＬＤ、ＩＣＣ、及びＣＰＣは、強度差（intensity difference）または２チャネル間の相関関係（correlation between two channels）を記述し、オブジェクトパニング及び相関関係を制御することができる。ＣＬＤ、ＩＣＣなどを用いてオブジェクト位置やオブジェクトの鳴り響きの度合（diffusenessまたはsonority）を制御可能である。一方、ＣＬＤは、絶対レベルではなく相対的なレベル差を記述し、分離された２チャネルのエネルギーは維持される。したがって、ＣＬＤなどを調節することによってオブジェクトゲインを制御することは不可能である。言い換えると、ＣＬＤなどを用いて特定オブジェクトを無音（mute）化したりボリュームを上げたりすることができない。
さらに、ＡＤＧは、ユーザによる相関性ファクタを調整するための時間及び周波数従属ゲインを表す。相関性ファクタが適用されると、マルチチャネルをアップミキシングする前にダウンミックス信号の変形（modification）を操作することができる。したがって、ＡＤＧパラメータを情報生成ユニット２１０から受信する場合、マルチチャネルデコーダ２３０は、ＡＤＧパラメータを用いて特定時間及び周波数のオブジェクトゲインを制御することができる。
一方、受信したステレオダウンミックス信号がステレオチャネルとして出力される場合は、下記の式１で定義することができる。
Figure 0005302207
 ここで、x[]は入力チャネル、y[]は出力チャネル、gxはゲイン、wxxは重み値を表す。
オブジェクトパニングのために、左側チャネル及び右側チャネル間のクロストーク（cross-talk）を制御する必要がある。具体的に、ダウンミックス信号の左側チャネルの一部を、出力チャネルの右側チャネルとして出力することができ、ダウンミックス信号の右側チャネルの一部を出力チャネルの左側チャネルとして出力することができる。上記の式１でw12及びw21は、クロストーク成分（すなわち、クロスターム）に該当することができる。
上述した場合は、２−２−２構成に該当できるが、２−２−２構成とは、２チャネル入力、２チャネル伝送、２チャネル出力を意味する。２−２−２構成が行なわれるためには、従来のチャネル基盤の空間オーディオコーディング（例：MPEG surround）の５−２−５構成（５チャネル入力、２チャネル伝送、５チャネル出力）を使用することができる。まず、２−２−２構成のための２チャネルを出力するために、５−２−５構成の５出力チャネルのうちの特定チャネルを、不能チャネル（フェークチャネル）に設定することができる。２伝送チャネル及び２出力チャネル間のクロストークを与えるために、上述のＣＬＤ及びＣＰＣを調節することができる。要するに、上記の式１におけるゲインファクタgxをＡＤＧを用いて獲得し、上記の式１における重み値w11〜w22はＣＬＤ及びＣＰＣを用いて獲得することができる。
５−２−５構成を用いて２−２−２構成を具現するにあたり、複雑度を下げるために、従来の空間オーディオコーディングのデフォルト（default）モードを適用することができる。デフォルトＣＬＤの特性は、２チャネルを出力するようになっており、デフォルトＣＬＤが適用される場合、演算量を減らすことができる。具体的に、フェークチャネルを合成する必要がないため、演算量を大きく減少させることができるわけである。したがって、デフォルトモードを適用することが適切である。具体的に、３つのＣＬＤ（MPEG Surroundで０、１、２番に対応）のデフォルトＣＬＤのみがデコーディングに用いられる。一方、左側チャネル、右側チャネル及びセンターチャネルのうちの４つのＣＬＤ（MPEG surround標準で３、４、５及び６番に対応）、及び二つのＡＤＧ（MPEG surround標準で７、８番に対応）は、オブジェクト制御のために生成される。この場合、３番及び５番に対応するＣＬＤは、左側チャネル＋右側チャネル、及びセンターチャネル間のチャネルレベル差（(l+r)/c）を表すが、センターチャネルを無音化させるために１５０ｄＢ（ほぼ無限大）にセッティングされることが好ましい。また、クロストークを具現するために、エネルギー基盤アップミックス（energy based up−mix）またはプレディクション基盤アップミックス（prediction based up−mix）が行なわれることができるが、これは、ＴＴＴモード（MPEG surround標準における‘bsTttModeLow’）がエネルギー基盤モード（減算（with subtraction）、マトリクス互換性可能）（３番目のモード）またはプレディクションモード（１番目のモードまたは２番目のモード）に該当する場合に行なわれる。
図３は、第１方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。図３を参照すると、本発明の他の実施例によるオーディオ信号処理装置３００（以下、“デコーダ３００”と略す）は、情報生成ユニット３１０、シーンレンダリングユニット（scene rendering unit）３２０、マルチチャネルデコーダ３３０、及びシーンリミキシングユニット（scene remixing unit）３５０を含むことができる。
情報生成ユニット３１０は、ダウンミックス信号がモノラルチャネル信号（すなわち、ダウンミックスチャネルの数が１である場合）に該当する場合、オブジェクトパラメータを含む付加情報をエンコーダから受信することができ、付加情報及びミックス情報を用いてマルチチャネルパラメータを生成できる。ダウンミックスチャネルの数は、付加情報に含まれているフラグ情報の他に、ダウンミックス信号及びユーザ選択に基づいて推定することができる。情報生成ユニット３１０は、上記の情報生成ユニット２１０と同じ構成を有することができる。マルチチャネルパラメータは、マルチチャネルデコーダ３３０に入力され、マルチチャネルデコーダ３３０は、マルチチャネルデコーダ２３０と同じ構成を有することができる。
シーンレンダリングユニット３２０は、ダウンミックス信号がモノラルチャネル信号でない場合（すなわち、ダウンミックスチャネルの数が２以上である場合）、エンコーダからオブジェクトパラメータを含む付加情報を受信し、ユーザインタフェースからミックス情報を受信し、これら付加情報及びミックス情報を用いてリミキシングパラメータを生成する。リミキシングパラメータは、ステレオチャネルをリミックスし、２チャネル以上の出力を生成するためのパラメータに該当する。シーンリミキシングユニット３５０は、ダウンミックス信号が２チャネル以上の信号である場合、ダウンミックス信号をリミックスすることができる。
要するに、２種類の経路は、デコーダ３００で分離された応用のための分離された具現として考慮することができる。
１.２ マルチチャネルデコーダを修正する方式
この第２方式は、従来のマルチチャネルデコーダを修正することができる。まず、オブジェクトゲインを制御するための仮想出力を利用する場合、オブジェクトパニングを制御するための装置設定を修正する場合が、図４に基づいて説明される。次いで、マルチチャネルデコーダにおけるＴＢＴ（２×２）機能を行なう場合は、図５に基づいて説明される。
図４は、第２方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。図４を参照すると、第２方式の本発明の一実施例によるオーディオ信号処理装置４００（以下、“デコーダ４００”と略す。）は、情報生成ユニット４１０、内部マルチチャネル合成４２０、出力マッピングユニット４３０を含むことができる。内部マルチチャネル合成４２０及び出力マッピングユニット４３０は、合成ユニットに含まれることができる。
情報生成ユニット４１０は、エンコーダからオブジェクトパラメータを含む付加情報を受信し、ユーザインタフェースからミックスパラメータを受信することができる。情報生成ユニット４１０は、付加情報及びミックス情報を用いてマルチチャネルパラメータ及び装置設定情報を生成することができる。マルチチャネルパラメータは、前述したマルチチャネルパラメータと同一に構成することができる。したがって、マルチチャネルパラメータの具体的な説明は省略する。装置設定情報は、バイノーラル（binaural）プロセシングのためのパラメータ化されたＨＲＴＦに該当することができ、これについては‘１.２.２ 装置設定情報を利用する方法’で後述する。
内部マルチチャネル合成４２０は、マルチチャネルパラメータ及び装置設定情報を、パラメータ生成ユニット４１０から受信し、エンコーダからダウンミックス信号を受信する。内部マルチチャネル合成４２０は、仮想出力を含む一時的マルチチャネル信号を生成できる。これについて、下記の‘１.２.１ 仮想出力を利用する方法’で説明する。
１.２.１ 仮想出力を利用する方法
マルチチャネルパラメータ（例：ＣＬＤ）は、オブジェクトパニングを制御できるため、従来のマルチチャネルデコーダによりオブジェクトパニングの他にオブジェクトゲインを制御することは難しい。
一方、オブジェクトゲインのために、デコーダ４００（特に、内部マルチチャネル合成４２０）は、オブジェクトの相対的エネルギーを仮想チャネル（例：センターチャネル）にマッピングさせることができる。オブジェクトの相対的エネルギーは、減少されるエネルギーに該当する。例えば、特定オブジェクトを無音化させるために、デコーダ４００は、オブジェクトエネルギーの９９．９％以上を仮想チャネルにマッピングさせることができる。すると、デコーダ４００（特に、出力マッピングユニット４３０）は、オブジェクトの残りのエネルギーがマッピングされた仮想チャネルを出力させない。結論的に、オブジェクトの９９．９％以上が出力されない仮想チャネルにマッピングされることで、所望のオブジェクトはほとんど無音化することができる。
１.２.２ 装置設定情報を利用する方法
デコーダ４００は、オブジェクトパニング及びオブジェクトゲインを制御する目的で装置設定情報を調節することができる。例えば、デコーダは、MPEG surround標準におけるバイノーラルプロセシングのためのパラメータ化されたＨＲＴＦを生成できる。パラメータ化されたＨＲＴＦは、装置設定によって様々なものが存在することができる。下記の式２によってオブジェクト信号が制御されると仮定することができる。
Figure 0005302207
ここで、objkはオブジェクト信号、Lnew及びRnewは所望のステレオチャネル、ak及びbkはオブジェクト制御のための係数を表す。
オブジェクト信号objkのオブジェクト情報は、伝送された付加情報に含まれたオブジェクトパラメータから推定することができる。オブジェクトゲイン及びオブジェクトパニングによって定義される係数ak及びbkは、ミックス情報から推定することができる。所望のオブジェクトゲイン及びオブジェクトパニングは係数ak、bkを用いて調節することができる。
係数ak、bkは、バイノーラルプロセシングのためのＨＲＴＦパラメータに該当するように設定することができ、その詳細は後述される。
MPEG surround標準（５−１−５1構成）（from ISO/IEC FDIS 23003-1: 2006(E), Information Technology MPEG Audio Technologies Part 1: MPEG Surround）において、バイノーラルプロセシングは下記の通りである。
Figure 0005302207
ここで、ｙBは出力、マトリクスＨはバイノーラルプロセシングのための変換マトリクスを表す。
Figure 0005302207
マトリクスＨの成分は、下記のように定義される。
Figure 0005302207
Figure 0005302207
Figure 0005302207
Figure 0005302207
１.２.３ マルチチャネルデコーダにおけるＴＢＴ（２×２）機能を行う方法
図５は、第２方式による本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。図５は、マルチチャネルデコーダのＴＢＴ機能を例示する構成図である。図５を参照すると、ＴＢＴモジュール５１０は、入力信号及びＴＢＴ制御情報を受信し、出力チャネルを生成する。ＴＢＴモジュール５１０は、図２のデコーダ２００（または、具体的にはマルチチャネルデコーダ２３０）に含まれることができる。マルチチャネルデコーダ２３０は、MPEG surround標準に従って具現することができるが、本発明はこれに限定されない。
Figure 0005302207
ここで、xは入力チャネル、yは出力チャネル、wは重み値を表す。
出力y1は、第１ゲインw11が乗じられたダウンミックスの入力x1と、第２ゲインw12が乗じられた入力x2との組合せに該当することができる。
ＴＢＴモジュール５１０に入力されるＴＢＴ制御情報は、重み値w(w11、w12、w21、w22)を合成できる構成要素を含む。
MPEG surround標準において、ＯＴＴ（One-To-Two）モジュール及びＴＴＴ（Two-To-Three）モジュールは、入力信号をアップミックスすることはできるが、入力信号をリミックスするのには適合していない。
入力信号をリミックスするために、ＴＢＴ（２×２）モジュール５１０（以下、“ＴＢＴモジュール５１０”と略す。）を提供することができる。ＴＢＴモジュール５１０は、ステレオ信号を受信し、リミックスされたステレオ信号を出力する。重み値wは、ＣＬＤ及びＩＣＣを用いて合成することができる。
ＴＢＴ制御情報として重み値タームw11〜w22を受信すると、デコーダは、受信した重み値タームを用いてオブジェクトパニングの他にオブジェクトゲインも制御することができる。重み値wの伝送においては様々な方式が用いられることができる。第一、ＴＢＴ制御情報は、w12及びw21のようなクロスタームを含むことができる。第二、ＴＢＴ制御情報は、w12及びw21のようなクロスタームを含まない。第三、ＴＢＴ制御情報としてタームの数が適応的に変化できる。
第一、入力チャネルの左側信号が出力信号の右側信号に行くオブジェクトパニングを制御するために、w12及びw21のようなクロスタームを受信する必要がある。Ｎ入力チャネル及びＭ出力チャネルの場合、Ｎ×Ｍ個のタームをＴＢＴ制御情報として伝送することができる。このタームは、MPEG surround標準で提供されたＣＬＤパラメータ量子化テーブルを基盤に量子化することができるが、本発明はこれに限定されない。
第二、左側オブジェクトが右側位置に移動しなければ（左側オブジェクトがより左側位置またはセンター位置に近い左側位置に移動したり、オブジェクトの位置のレベルのみが調整される場合）、クロスタームが使用される必要がない。この場合、クロスターム以外のタームが伝送されることが好ましい。Ｎ入力チャネル及びＭ出力チャネルの場合、Ｎ個のタームのみ伝送することができる。
第三、ＴＢＴ制御情報のビットレートを下げるために、ＴＢＴ制御情報の個数がクロスタームの必要に応じて適応的に変化できる。クロスタームが現在存在するか否かを指示するフラグ情報‘cross_flag’が、ＴＢＴ制御情報として伝送されるように設定することができる。フラグ情報‘cross_flag’の意味は、下記の表に示す通りである。
Figure 0005302207
‘cross_flag’が０の場合、ＴＢＴ制御情報は、クロスタームを含まず、w11及びw22のようなノンクロスタームのみが存在する。そうでない場合（すなわち、‘cross_flag’が１の場合）、ＴＢＴ制御情報はクロスタームを含む。
なお、クロスタームまたはノンクロスタームが存在するか否かを指示する‘reverse_flag’がＴＢＴ制御情報として伝送されるように設定することができる。フラグ情報‘reverse_flag’の意味を、下記の表２に示す。
Figure 0005302207
‘reverse_flag’が０の場合、ＴＢＴ制御情報は、クロスタームを含まず、w11及びw22のようなノンクロスタームのみを含む。そうでない場合（すなわち、‘reverse_flag’が１の場合）、ＴＢＴ制御情報はクロスタームのみを含む。
さらに、クロスタームが存在するか、ノンクロスタームが存在するかを指示するフラグ情報‘side_flag’が、ＴＢＴ制御情報として伝送されるように設定することができる。フラグ情報‘side_flag’の意味を、下記の表３に示す。
Figure 0005302207
表３は、表１及び表２の組合せに該当するから、具体的な説明は省略する。
１.２.４ バイノーラルデコーダを修正することによって、マルチチャネルデコーダにおけるＴＢＴ（２×２）機能を行なう方法
‘１.２.２ 装置設定情報を利用する方法’の場合は、バイノーラルデコーダを修正せずに行なわれることができる。以下、図６を参照しながら、MPEG surroundデコーダに採用されたバイノーラルデコーダを変形（modifying）することによってＴＢＴ機能を行なう方法について説明する。
図６は、第２方式の本発明のさらに他の実施例によるオーディオ信号処理装置を例示する構成図である。具体的に、図６に示すオーディオ信号処理装置６３０は、図２のマルチチャネルデコーダ２３０に含まれたバイノーラルデコーダ、または図４の合成ユニットに該当することができるが、本発明はこれに限定されない。
オーディオ信号処理装置６３０（以下、“バイノーラルデコーダ６３０”）は、ＱＭＦ分析６３２、パラメータ変換６３４、空間合成６３６、及びＱＭＦ合成６３８を含むことができる。バイノーラルデコーダ６３０の構成要素は、MPEG surround標準におけるMPEG surroundバイノーラルデコーダと同じ構成を有することができる。例えば、空間合成６３６は、下記の式１０によって、２×２（フィルタ）マトリクスを構成することができる。
Figure 0005302207
ここで、y0はＱＭＦ領域入力チャネル、yBはバイノーラル出力チャネル、kはハイブリッドＱＭＦチャネルインデックス、iはＨＲＴＦフィルタタップインデックス、nはＱＭＦスロットインデックスを表す。
バイノーラルデコーダ６３０は、‘１.２.２ 装置設定情報を利用する方法’の節で説明された上記の機能を行なうように構成することができる。構成要素hijは、マルチチャネルパラメータ及びＨＲＴＦパラメータの代わりに、マルチチャネルパラメータ及びミックス情報を用いて生成することができる。この場合、バイノーラルデコーダ６３０は、図５でのＴＢＴモジュールの機能を果たすことができる。バイノーラルデコーダ６３０の構成要素についての具体的な説明は省略する。
バイノーラルデコーダ６３０は、フラグ情報‘binaural_flag’に基づいて動作することができる。具体的に、バイノーラルデコーダ６３０は、フラグ情報‘binaural_flag’が０の場合にはスキップすることができ、そうでない場合（‘binaural_flag’が１の場合）には下記のように動作することができる。
Figure 0005302207
１.３ マルチチャネルデコーダに入力される前にオーディオ信号のダウンミックスを処理する方式
従来のマルチチャネルデコーダを利用する第１方式は、上の‘１.１’節で説明されており、マルチチャネルデコーダを修正する第２方式は、上の‘１.２’節で説明された。マルチチャネルデコーダに入力される前にオーディオ信号のダウンミックスを処理する第３方式ついては、以下に説明する。
図７は、第３方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。図８は、第３方式による本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。まず、図７を参照すると、オーディオ信号処理装置７００（以下、“デコーダ７００”と略す。）は、情報生成ユニット７１０、ダウンミックス処理ユニット７２０、マルチチャネルデコーダ７３０を含むことができる。図８を参照すると、オーディオ信号処理装置８００（以下、“デコーダ８００”と略す。）は、情報生成ユニット８１０、及びマルチチャネルデコーダ８３０を有するマルチチャネル合成ユニット８４０を含むことができる。デコーダ８００は、デコーダ７００の他の側面になりうる。すなわち、情報生成ユニット８１０は情報生成ユニット７１０と同一に構成され、マルチチャネルデコーダ８３０はマルチチャネルデコーダ７３０と同一に構成され、マルチチャネル合成ユニット８４０は、ダウンミックス処理ユニット７２０及びマルチチャネルデコーダ７３０の構成と同一にすることができる。したがって、デコーダ７００の構成要素については詳細に説明するが、デコーダ８００の構成要素の詳細についての説明は省略する。
情報生成ユニット７１０は、オブジェクトパラメータを含む付加情報をエンコーダから、ミックス情報をユーザインタフェースから受信し、マルチチャネルデコーダ７３０に出力するマルチチャネルパラメータを生成することができる。このような点で、情報生成ユニット７１０は、図２の情報生成ユニット２１０と同じ構成を有する。ダウンミックスプロセシングパラメータは、オブジェクト位置及びオブジェクトゲインを制御するためのパラメータに該当することができる。例えば、オブジェクト信号が左側チャネル及び右側チャネルの両方に存在する場合、オブジェクト位置またはオブジェクトゲインを変化させることが可能である。オブジェクト信号が左側チャネル及び右側チャネルのいずれか一方に位置する場合、オブジェクト信号を反対位置に位置するようにレンダリングすることが可能である。これらの場合を行なうために、ダウンミックス処理ユニット７２０は、ＴＢＴモジュール（２×２マトリクスオペレーション）になりうる。オブジェクトゲインを制御するために、情報生成ユニット７１０が、図２で説明したようにＡＤＧを生成する場合に、ダウンミックスプロセシングパラメータは、オブジェクトゲインではなくオブジェクトパニングを制御するためのパラメータを含むことができる。
なお、情報生成ユニット７１０は、ＨＲＴＦデータベースからＨＲＴＦ情報を受信し、マルチチャネルデコーダ７３０に入力されるＨＲＴＦパラメータを含む追加マルチチャネルパラメータ（extra multi−channel parameter）を生成することができる。この場合、情報生成ユニット７１０は、同じサブバンド領域でマルチチャネルパラメータ及び追加マルチチャネルパラメータを生成し、互いに同期してマルチチャネルデコーダ７３０に伝達できる。ＨＲＴＦパラメータを含む追加マルチチャネルパラメータは、‘３.バイノーラルモード処理’の節で詳細に後述される。
ダウンミックス処理ユニット７２０は、エンコーダからオーディオ信号のダウンミックスを、情報生成ユニット７１０からダウンミックスプロセシングパラメータを受信し、サブバンド分析フィルタバンクを用いてサブバンド（subband）領域信号を分析する。ダウンミックス処理ユニット７２０は、ダウンミックス信号及びダウンミックスプロセシングパラメータを用いて処理されたダウンミックス信号を生成することができる。このような処理で、オブジェクトパニング及びオブジェクトゲインを制御する目的にダウンミックス信号をあらかじめ処理（pre−process）することが可能である。処理されたダウンミックス信号は、マルチチャネルデコーダ７３０に入力されてアップミックスすることができる。
なお、処理されたダウンミックス信号は出力され、また、スピーカを通して再生することができる。処理された信号をスピーカから直接出力するために、ダウンミックス処理ユニット７２０は、処理されたサブバンド領域信号を用いて合成フィルタバンクを行い、時間領域のＰＣＭ信号を出力することができる。ユーザ選択により、ＰＣＭ信号が直接出力されるか、マルチチャネルデコーダに入力されるかを選択することが可能である。
マルチチャネルデコーダ７３０は、処理されたダウンミックス及びマルチチャネルパラメータを用いてマルチチャネル出力信号を生成することができる。処理されたダウンミックス信号及びマルチチャネルパラメータがマルチチャネルデコーダ７３０に入力される時、マルチチャネルデコーダ７３０はディレィを生じることがある。処理されたダウンミックス信号は、周波数領域（例：ＱＭＦ領域、ハイブリッドＱＭＦ領域等）で合成され、マルチチャネルパラメータは時間領域で合成することができる。MPEG surround標準で、ＨＥ−ＡＡＣと連結されるためのディレィ及び同期が生じる。したがって、マルチチャネルデコーダ７３０は、MPEG surround標準にしたがってディレィを生じることがある。
次に、ダウンミックス処理ユニット７２０の構成を、図９〜図１３を参照しながら詳細に説明する。
１.３.１ ダウンミックス処理ユニットの一般的な場合及び特別な場合
図９は、レンダリングユニットの基本コンセプトを説明するための図である。図９を参照すると、レンダリングモジュール９００は、Ｎ入力信号、再生設定、及びユーザコントロールを用いてＭ出力信号を生成することができる。Ｎ入力信号は、オブジェクト信号またはチャネル信号に該当することができる。なお、Ｎ入力信号は、オブジェクトパラメータまたはマルチチャネルパラメータに該当することができる。レンダリングモジュール９００の構成は、図７のダウンミックス処理ユニット７２０、図１のレンダリングユニット１２０、及び図１のレンダラ１１０ａのうちの一つとすれば良いが、本発明はこれに限定されない。
レンダリングモジュール９００が、特定チャネルに該当する個別オブジェクト信号を合計せずに、Ｎ個のオブジェクト信号を用いてＭ個のチャネル信号を直接生成できるように構成される場合、レンダリングモジュール９００の構成は、下記の式１１のように表現することができる。
Figure 0005302207
ここで、Ciはｉ番目のチャネル信号、Ojはｊ番目の入力信号、Rijはｊ番目の入力信号がｉ番目のチャネルにマッピングされるマトリクスを表す。
ここで、マトリクスＲがエネルギー成分Ｅと無相関化成分とに分離される場合、下記の式１１は、下記のように表現することができる。
Figure 0005302207
エネルギー成分Ｅを用いてオブジェクト位置を制御でき、無相関化成分Ｄを用いてオブジェクト拡散性（diffuseness）を制御できる。
ｉ番目の入力信号のみが入力されて、ｊ番目のチャネル及びｋ番目のチャネルを通じて出力されると仮定する場合、式１２は下記のように表現することができる。
Figure 0005302207
αj_iは、ｊ番目のチャネルにマッピングされるゲインポーション、βjk_iは、ｋ番目のチャネルにマッピングされるゲインポーション、θは拡散性レベル（diffuseness）、及びD(Oi)は無相関化出力を表す。
無相関化が省略されると仮定すれば、上記の式１３は、次のように簡略化することができる。
Figure 0005302207
特定チャネルにマッピングされる全ての入力に対する重み値が、上述の方法によって推定されると、下記の方式により各チャネルに対する重み値を獲得することができる。
１）特定チャネルにマッピングされる全ての入力に対する重み値を合計する。例えば、入力１（O1）及び入力２（O2）が入力され、左側チャネル（Ｌ）、センターチャネル（Ｃ）、右側チャネル（Ｒ）に対応するチャネルが出力される場合、総重み値αL(tot)、αC(tot)、αR(tot)は、次のように獲得することができる。
Figure 0005302207
ここで、αL1は、左側チャネル（Ｌ）にマッピングされる入力１に対する重み値で、αC1は、センターチャネル（Ｃ）にマッピングされる入力１に対する重み値で、αC2は、センターチャネル（Ｃ）にマッピングされる入力２に対する重み値で、αR2は、右側チャネル（Ｒ）にマッピングされる入力２に対する重み値である。
この場合、入力１のみが左側チャネルにマッピングされ、入力２のみが右側チャネルにマッピングされ、入力１及び入力２が共にセンターチャネルにマッピングされる。
２）特定チャネルにマッピングされる全ての入力に対する重み値を合計し、その和を最もドミナントなチャネル対（pair）に分け、無相関化された信号をサラウンド効果のために他のチャネルにマッピングする。この場合、特定入力が左側とセンターとの間に位置する場合、ドミナントチャネル対は左側チャネル及びセンターチャネルに該当することができる。
３）最もドミナントなチャネルの重み値を推定し、減殺されたコリレート信号を他のチャネルに付与するが、ここで、この値は、推定された重み値の相対的な値である。
４）各チャネル上の重み値を用いて、無相関化された信号を適切に組み合わせた後、各チャネルに対する付加情報を設定する。
１.３.２ ダウンミックス処理ユニットが２×４マトリクスに対応するミキシングパートを含む場合
図１０Ａ〜図１０Ｃは、図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。前述のように、ダウンミックス処理ユニットの第１実施例７２０ａ（以下、“ダウンミックス処理ユニット７２０ａ”と略す。）は、レンダリングモジュール９００の具現でありうる。
まず、Ｄ11＝Ｄ21＝ａＤ及びＤ12＝Ｄ22＝ｂＤとすれば、上記の式１２は、次のように簡単になる。
Figure 0005302207
上記の式１５によるダウンミックス処理ユニットは、図１０Ａに示されている。図１０Ａを参照すると、ダウンミックス処理ユニット７２０ａは、モノラル入力信号（ｍ）である場合には入力信号をバイパスし、ステレオ入力信号（Ｌ，Ｒ）である場合には入力信号を処理することができる。ダウンミックス処理ユニット７２０ａは、無相関化パート７２２ａ及びミキシングパート７２４ａを含むことができる。無相関化パート７２２ａは、入力信号を無相関化できる無相関化器ａＤと無相関化器ｂＤを含む。無相関化パート７２２ａは、２×２マトリクスに該当することができる。ミキシングパート７２４ａは、入力信号及び無相関化信号を各チャネルにマッピングさせることができる。ミキシングパート７２４ａは、２×４マトリクスに該当することができる。
第二に、Ｄ11＝ａＤ1、Ｄ21＝ｂＤ1、Ｄ12＝ｃＤ2及びＤ22＝ｄＤ2と仮定すれば、式１２は、次のように簡単になる。
Figure 0005302207
式１５−２によるダウンミックス処理ユニットは、図１０Ｂに示されている。図１０Ｂを参照すると、二つの無相関化器Ｄ1，Ｄ2を含む無相関化パート７２２’は、無相関化器信号Ｄ1(a*O1+b*O2)、Ｄ2(c*O1+d*O2)を生成することができる。
第三に、Ｄ11＝Ｄ1、Ｄ21＝０、Ｄ12＝０及びＤ22＝Ｄ2と仮定すれば、式１２は、次のように簡単になる。
Figure 0005302207
式１５−３によるダウンミックス処理ユニットが、図１０Ｃに示されている。図１０Ｃを参照すると、無相関化器Ｄ1，Ｄ2を含む無相関化パート７２２"は、無相関化された信号Ｄ1(Ｏ1)、Ｄ2(Ｏ2)を生成することができる。
１.３.２ ダウンミックス処理ユニットが２×３マトリクスに対応するミキシングパートを含む場合
上記の式１５は、次のように表現することができる。
Figure 0005302207
マトリクスＲは２×３マトリクス、マトリクスＯは３×１マトリクス、Ｃは２×１マトリクスを表す。
図１１は、図７に示すダウンミックス処理ユニットの第２実施例を示す構成図である。前述のように、ダウンミックス処理ユニットの第２実施例７２０ｂ（以下、“ダウンミックス処理ユニット７２０ｂ”と略す。）は、ダウンミックス処理ユニット７２０ａと同様、レンダリングモジュール９００の具現になりうる。図１１を参照すると、ダウンミックス処理ユニット７２０ｂは、モノラル入力信号（ｍ）である場合には入力信号をスキップし、ステレオ入力信号（Ｌ，Ｒ）の場合には入力信号を処理することができる。ダウンミックス処理ユニット７２０ｂは、無相関化パート７２２ｂ及びミキシングパート７２４ｂを含むことができる。無相関化パート７２２ｂは、入力信号Ｏ1、Ｏ2を無相関化し、無相関化された信号Ｄ(Ｏ1＋Ｏ2）として出力できる無相関化器Ｄを有する。無相関化パート７２２ｂは、１×２マトリクスに該当することができる。ミキシングパート７２４ｂは、入力信号及び無相関化された信号を各チャネルにマッピングすることができる。ミキシングパート７２４ｂは、式１６に表現されたマトリクスＲで表現された２×３マトリクスに該当することができる。
さらに、無相関化パート７２２ｂは、両入力信号（Ｏ1，Ｏ2）の共通信号として差分信号（Ｏ1−Ｏ2）を無相関化することができる。ミキシングパート７２４ｂは、入力信号及び無相関化された共通信号を各チャネルにマッピングすることができる。
１.３.３ ダウンミックス処理ユニットが、数個のマトリクスを有するミキシングパートを含む場合
特定オブジェクト信号は特定位置に位置せずに、とこでも類似な影響として聞こえることができ、これは‘空間音響信号（spatial sound signal）’と呼ばれる。例えば、コンサートホールの拍手または騒音が空間音響信号の一例である。空間音響信号は、全てのスピーカから再生される必要がある。もし、空間音響信号が全てのスピーカから同一信号として再生される場合、高い相互関連性（inter−correlation：ＩＣ）のために信号の空間感（spatialness）を感じにくい。したがって、無相関化された信号を各チャネル信号の信号に追加する必要がある。
図１２は、図７に示すダウンミックス処理ユニットの第３実施例を示す構成図である。図１２を参照すると、ダウンミックス処理ユニットの第３実施例７２０ｃ（以下、“ダウンミックス処理ユニット７２０ｃ”と略す。）は、入力信号Ｏiを用いて空間音響信号を生成できるが、ダウンミックス処理ユニットは、Ｎ個の無相関化器を有する無相関化パート７２２ｃ及びミキシングパート７２４ｃを含むことができる。無相関化パート７２２ｃは、入力信号Ｏiを無相関化できるＮ個の無相関化器Ｄ1、Ｄ2、…、ＤNを含むことができる。ミキシングパート７２４ｃは、入力信号Ｏi及び無相関化された信号ＤX(Ｏi)を用いて出力信号Ｃj，Ｃk，…，Ｃlを生成できるＮマトリクスＲj，Ｒk，…，Ｒlを含むことができる。マトリクスＲjは、下記の式のように表現することができる。
Figure 0005302207
ここで、Ｏiはｉ番目の入力信号、Ｒjは、ｉ番目の入力信号Ｏiがｊ番目のチャネルにマッピングされるマトリクス、Ｃj_iはｊ番目の出力信号を表す。θj_i値は、無相関化比率（rate）である。
θj_i値は、マルチチャネルパラメータに含まれたＩＣＣに基づいて推定することができる。なお、ミキシングパート７２４ｃは、情報生成ユニット７１０を介してユーザインタフェースから受信した無相関化比率θj_iを構成する空間感情報（spatialness）を基盤にして出力信号を生成できるが、本発明はこれに限定されない。
無相関化器の数（Ｎ）は、出力チャネルの数と同一にすることができる。一方、無相関化された信号は、ユーザにより選択された出力チャネルに追加することができる。例えば、空間音響信号を左側、右側、センターに位置させ、左側チャネルスピーカから空間音響信号として出力することができる。
１.３.４ ダウンミックス処理ユニットが追加ダウンミキシングパート（further downmixing part）を含む場合
図１３は、図７に示すダウンミックス処理ユニットの第４実施例を示す構成図である。ダウンミックス処理ユニットの第４実施例７２０ｄ（以下、“ダウンミックス処理ユニット７２０ｄ”と略す。）は、入力信号がモノラル信号（ｍ）に該当する場合にはバイパスすることができる。ダウンミックス処理ユニット７２０ｄは、入力信号がステレオ信号に該当する場合、ダウンミックス信号をモノラル信号にダウンミックスできる追加ダウンミキシングパート７２２ｄを含むことができる。追加にダウンミックスされたモノラルチャネル（ｍ）は、マルチチャネルデコーダ７３０に入力されて使用することができる。マルチチャネルデコーダ７３０は、モノラル入力信号を用いてオブジェクトパニング（特に、クロストーク）を制御することができる。この場合、情報生成ユニット７１０は、MPEG surround標準の５−１−５1構成を基盤にしてマルチチャネルパラメータを生成できる。
なお、上述した図２の任意的ダウンミックスゲイン（ＡＤＧ）のようなモノラルダウンミックスに対するゲインが適用されると、オブジェクトパニング及びオブジェクトゲインをより容易に制御することが可能である。ＡＤＧは、ミックス情報を基盤にして情報生成ユニット７１０により生成することができる。
２．チャネル信号のアップミキシング及びオブジェクト信号の制御
図１４は、本発明の第２実施例による圧縮されたオーディオ信号のビットストリーム構造を例示するブロック図である。図１５は、本発明の第２実施例によるオーディオ信号処理装置を例示する構成図である。図１４の（ａ）を参照すると、ダウンミックス信号（α）、マルチチャネルパラメータ（β）、オブジェクトパラメータ（γ）が、ビットストリーム構造に含まれている。マルチチャネルパラメータ（β）は、ダウンミックス信号をアップミキシングするためのパラメータである。一方、オブジェクトパラメータ（γ）は、オブジェクトパニング及びオブジェクトゲインを制御するためのパラメータである。図１４の（ｂ）を参照すると、ダウンミックス信号（α）、デフォルトパラメータ（β'）、オブジェクトパラメータ（γ）がビットストリーム構造に含まれている。デフォルトパラメータ（β'）は、オブジェクトゲイン及びオブジェクトパニングを制御するためのプリセット情報を含むことができる。プリセット情報は、エンコーダ側の製作者により提案された例に該当することができる。例えば、プリセット情報は、ギター（guitar）信号が左側及び右側間の地点に位置し、ギターのレベルが特定ボリュームに設定され、その時に出力チャネルの数が特定チャネルにセッティングされるということを記述することができる。各フレームまたは特定フレームに対するデフォルトパラメータがビットストリームに存在することができる。現フレームに対するデフォルトパラメータが以前フレームのデフォルトパラメータと異なるか否かを指示するフラグ情報が、ビットストリームに存在することができる。ビットストリームにデフォルトパラメータを含むことによって、オブジェクトパラメータを有する付加情報がビットストリームに含まれる場合よりも少ないビットレートで済むことができる。なお、ビットストリームのヘッダ情報は図１４では省略する。ビットストリームの順序は再整列することができる。
図１５を参照すると、本発明の第２実施例によるオーディオ信号処理装置１０００（以下、“デコーダ１０００”と略す。）は、ビットストリームデマルチプレクサ１００５、情報生成ユニット１０１０、ダウンミックス処理ユニット１０２０、及びマルチチャネルデコーダ１０３０を含むことができる。デマルチプレクサ１００５は、マルチプレクシングされたオーディオ信号を、ダウンミックス信号（α）、第１マルチチャネルパラメータ（β）、オブジェクトパラメータ（γ）に分離することができる。情報生成ユニット１０１０は、オブジェクトパラメータ（γ）及びミックスパラメータを用いて第２マルチチャネルパラメータを生成できる。ミックスパラメータは、第１マルチチャネル情報（β）が、処理されたダウンミックスに適用されるか否かを指示するモード情報を含む。モード情報は、ユーザによる選択のための情報に該当することができる。モード情報に応じて、情報生成情報１０２０は、第１マルチチャネルパラメータ（β）を伝送するか、或いは、第２マルチチャネルパラメータを伝送するかを決定する。
ダウンミックス処理ユニット１０２０は、ミックス情報に含まれたモード情報に基づいてプロセシング方式を決定することができる。さらに、ダウンミックス処理ユニット１０２０は、決定されたプロセシング方式によってダウンミックス（α）を処理することができる。そして、ダウンミックス処理ユニット１０２０は、処理されたダウンミックスをマルチチャネルデコーダ１０３０に伝達する。
マルチチャネルデコーダ１０３０は、第１マルチチャネルパラメータ（β）または第２マルチチャネルパラメータを受信することができる。デフォルトパラメータ（β'）がビットストリームに含まれた場合には、マルチチャネルデコーダ１０３０は、マルチチャネルパラメータ（β）の代わりに、デフォルトパラメータ（β'）を用いることができる。
マルチチャネルデコーダ１０３０は、処理されたダウンミックス信号及び受信したマルチチャネルパラメータを用いてマルチチャネル出力を生成する。マルチチャネルデコーダ１０３０は、上記したマルチチャネルデコーダ７３０と同じ構成を有することができるが、本発明はこれに限定されない。
３．バイノーラルプロセシング
マルチチャネルデコーダはバイノーラルモードで動作することができる。これは、頭部伝達関数（Head Related Transfer Function：ＨＲＴＦ）フィルタリングによってヘッドホンにおいてマルチチャネル効果を可能にする。バイノーラルデコーディング側において、ダウンミックス信号及びマルチチャネルパラメータは、デコーダに提供されるＨＲＴＦフィルタと組み合わせて使用される。
図１６は、本発明の第３実施例によるオーディオ信号処理装置を例示する構成図である。図１６を参照すると、オーディオ信号処理装置の第３実施例（以下、“デコーダ１１００”と略す。）は、情報生成ユニット１１１０、ダウンミックス処理ユニット１１２０、及び同期マッチングパート１１３０ａを有するマルチチャネルデコーダ１１３０を含むことができる。
情報生成ユニット１１１０は、動的ＨＲＴＦを生成するもので、図７の情報生成ユニット７１０と同じ構成を有することができる。ダウンミックス処理ユニット１１２０は、図７のダウンミックス処理ユニット７２０と同じ構成を有することができる。上の構成要素のように、同期マッチングパート１１３０ａを除いてマルチチャネルデコーダ１１３０は、上の構成要素と同一な場合である。したがって、情報生成ユニット１１１０、及びダウンミックス処理ユニット１１２０、及びマルチチャネルデコーダ１１３０の具体的な説明は省略する。
動的ＨＲＴＦは、ＨＲＴＦ方位角（azimuth）及び仰角（elevation angles）に対応する、オブジェクト信号と仮想スピーカ信号との関係を記述するもので、実時間ユーザコントロールに対応する時間従属（time dependent）情報である。
マルチチャネルデコーダがＨＲＴＦフィルタセット全体を含む場合、動的ＨＲＴＦは、ＨＲＴＦフィルタ係数それ自体、パラメータ化された係数情報、及びインデックス情報のうちいずれか一つに該当することができる。
動的ＨＲＴＦの種類によらず、動的ＨＲＴＦ情報はダウンミックスフレームとマッチングされる必要がある。ＨＲＴＦ情報とダウンミックス信号とのマッチングのために、次のような３種類の方式を提供することができる。
１）各ＨＲＴＦ情報及びビットストリームダウンミックス信号にタグ情報を挿入し、この挿入されたタグ情報に基づいてＨＲＴＦにビットストリームダウンミックス信号をマッチングさせる。この方式で、タグ情報は、MPEG surround標準における補助フィールド（ancillary filed）に挿入されることが好ましい。タグ情報は、時間情報、計数器（counter）情報、インデックス情報などで表現することができる。
２）ＨＲＴＦ情報をビットストリームのフレームに挿入する。この方式で、現在フレームがデフォルトモードに該当するかどうかを指示するモード情報を設定することが可能である。現在フレームのＨＲＴＦ情報が以前フレームのＨＲＴＦ情報と同一か否かを表すデフォルトモードが適用されると、ＨＲＴＦ情報のビットレートを低減させることができる。
２−１）さらに、現在フレームのＨＲＴＦ情報が既に伝送されたか否かを表す伝送情報（transmission information）を定義することが可能である。もし、現在フレームのＨＲＴＦ情報が、伝送されたＨＲＴＦ情報と同じであるか否かを指示する伝送情報が適用される場合、ＨＲＴＦ情報のビットレートを低減させることができる。
２−２）まず、いくつかのＨＲＴＦ情報を伝送した後、既に伝送されたＨＲＴＦのうちどのＨＲＴＦであるかを指示する識別情報をフレームごとに伝送する。
なお、ＨＲＴＦ係数が突然に変わる場合、歪が生じることがある。この歪を減らすために、係数またはレンダリングされた信号のスムージングを行なうことが好ましい。
４．レンダリング
図１７は、本発明の第４実施例によるオーディオ処理装置を例示する構成図である。第４実施例によるオーディオ信号処理装置１２００（以下、“プロセッサ１２００”と略す。）は、エンコーダ側１２００Ａにおいてエンコーダ１２１０を含み、デコーダ側１２００Ｂにおいてレンダリングユニット１２２０及び合成ユニット１２３０を含むことができる。エンコーダ１２１０は、マルチチャネルオブジェクト信号を受信し、オーディオ信号のダウンミックス信号及び付加情報を生成することができる。レンダリングユニット１２２０は、エンコーダ１２１０から付加情報を、装置設定またはユーザインタフェースから再生設定及びユーザコントロールを受信し、付加情報、再生設定、ユーザコントロールを用いてレンダリング情報を生成する。合成ユニット１２３０は、レンダリング情報及びエンコーダ１２１０から受信したダウンミックス信号を用いてマルチチャネル出力信号を合成する。
４.１ エフェクトモード（effect mode）適用
エフェクトモード（effect mode）は、リミックスされた信号または復元された信号についてのモードである。例えば、ライブモード（live mode）、クラブバンドモード（club band mode）、カラオケモード（karaoke mode）などが存在できる。エフェクトモード情報は、製作者または他のユーザにより生成されたミックスパラメータセットに該当できる。エフェクトモード情報が適用されると、ユーザが、あらかじめ定義されたエフェクトモード情報から一つを選択できるため、最終ユーザは全体的にオブジェクトパニング及びオブジェクトゲインを制御する必要がない。
エフェクトモード情報を生成する方法は、２種類に区別することができる。その一つは、エフェクトモード情報を、エンコーダ１２００Ａで生成されてデコーダ１２００Ｂに伝送することができる。他の一つは、エフェクトモード情報を、デコーダ側で自動的に生成することができる。この２種類の方式を以下に詳細に説明する。
４.１.１ エフェクトモード情報をデコーダ側に伝送
エフェクトモード情報は、製作者によりエンコーダ１２００Ａで生成することができる。この方法によると、デコーダ１２００Ｂは、エフェクトモード情報を含む付加情報を受信し、ユーザがエフェクトモード情報からいずれかを選択できるようにユーザインタフェースを出力する。デコーダ１２００Ｂは、選択されたエフェクトモード情報を基盤にして出力チャネルを生成することができる。
一方、エンコーダ１２００Ａが、オブジェクト信号の品質を高めるために信号をダウンミックスする場合、聴取者がダウンミックス信号をそのまま聞くことは適切でない。しかし、エフェクトモード情報がデコーダ１２００Ｂで適用されると、最高の品質でダウンミックス信号を再生することが可能である。
４.１.２ 効果情報をデコーダ側で生成
エフェクトモード情報はデコーダ１２００Ｂで生成することができる。デコーダ１２００Ｂは、ダウンミックス信号に対して適切なエフェクトモード情報を検索することができる。そして、デコーダ１２００Ｂは、検索されたエフェクトモードの中から一つを自分で選択したり（自動調節モード:automatic adjustment mode）、それらのモードから一つをユーザに選択させることができる（ユーザ選択モード:user selection mode）。デコーダ１２００Ｂは、付加情報に含まれたオブジェクト情報（オブジェクトの数、楽器名など）を獲得し、選択されたエフェクトモード情報及びオブジェクト情報に基づいてオブジェクトを制御することができる。
一方、類似なオブジェクトを一括して制御することが可能である。例えば、リズムに関連する楽器は、リズム強調モード（rhythm impression mode）において互いに類似なオブジェクトになりうる。‘一括して制御する’ということは、同一パラメータを用いてオブジェクトを制御するというよりは、各オブジェクトを同時に制御するということを意味する。
一方、デコーダ設定または装置環境（ヘッドホンまたはスピーカを含む）を基盤にオブジェクトを制御できる。例えば、装置のボリューム設定が低い場合、メインメロディに該当するオブジェクトを強調することができ、装置のボリューム設定が高い場合、メインメロディに該当するオブジェクトは抑えられることができる。
４.２ エンコーダへの入力信号のオブジェクトタイプ
エンコーダ１２００Ａに入力される入力信号は、下記の３通りに分類することができる。
１）モノラルオブジェクト（モノラルチャネルオブジェクト）
モノラルオブジェクトは、オブジェクトの一般的なタイプである。オブジェクトを単純に結合することによって内部ダウンミックス信号を合成することが可能である。ユーザコントロール及び提供された情報のうちの一つになりうるオブジェクトゲイン及びオブジェクトパニングを用いて内部ダウンミックス信号を合成することも可能である。内部ダウンミックス信号を生成するにおいて、オブジェクト特性、ユーザ入力、オブジェクトと一緒に提供された情報のうち一つ以上を用いてレンダリング情報を生成することも可能である。
外部ダウンミックス信号が存在する場合、外部ダウンミックス及びオブジェクトとの関係を指示する情報を抽出して伝送することができる。
２）ステレオオブジェクト（ステレオチャネルオブジェクト）
上記モノラルオブジェクトの場合と同様に、オブジェクトを単純に結合することによって内部ダウンミックス信号を合成することが可能である。ユーザコントロール及び提供された情報のうちの一つになりうるオブジェクトゲイン及びオブジェクトパニングを用いて、内部ダウンミックス信号を合成することも可能である。ダウンミックス信号がモノラル信号に該当する場合、エンコーダ１２００Ａは、ダウンミックス信号を生成するためにモノラル信号に変換されたオブジェクトを用いることが可能である。この場合、モノラル信号への変換において、オブジェクトと関連した情報（例：各時間−周波数領域でのパニング情報）を抽出して伝達することができる。上のモノラルオブジェクトと同様に、内部ダウンミックス信号の生成において、オブジェクト特性、ユーザ入力、及びオブジェクトと共に提供された情報のうち一つ以上を用いてレンダリング情報を生成することも可能である。上記モノラルオブジェクトと同様に、外部ダウンミックスが存在する場合、外部ダウンミックス及びオブジェクト間の関係を指示する情報を抽出して伝達することも可能である。
３）マルチチャネルオブジェクト
マルチチャネルオブジェクトの場合、モノラルオブジェクト及びステレオオブジェクトと一緒に上に言及された方法を行なうことができる。なおさら、MPEG surroundの形態としてマルチチャネルオブジェクトを入力することが可能である。この場合、オブジェクトダウンミックスチャネルを用いてオブジェクト基盤のダウンミックス（例：ＳＡＯＣダウンミックス）を生成することが可能であり、マルチチャネル情報及びレンダリング情報を生成するためにマルチチャネル情報（例：MPEG Surroundの空間情報）を利用することが可能である。したがって、MPEG surroundの形態として存在するマルチチャネルオブジェクトは、オブジェクト基盤のダウンミックス（例：ＳＡＯＣダウンミックス）を用いてデコーディングされたりエンコーディングされる必要がなく、よって、演算量を減らすことができる。オブジェクトダウンミックスがステレオに該当し、オブジェクト基盤ダウンミックス（ＳＡＯＣダウンミックス）がモノラルに該当する場合、ステレオオブジェクトと一緒に上述した方法を適用することが可能である。
４）様々なタイプのオブジェクトに対する伝送方式
前述したように、様々なタイプのオブジェクト（モノラルオブジェクト、ステレオオブジェクト、及びマルチチャネルオブジェクト）は、エンコーダ１２００Ａからデコーダ１２００Ｂに伝送される。様々なタイプのオブジェクトを伝送する方式は、下記の通りである。
図１８を参照すると、ダウンミックスが複数のオブジェクトを含む時、付加情報は各オブジェクトに関する情報を含む。例えば、複数のオブジェクトがＮ番目のモノラルオブジェクト（Ａ）、Ｎ＋１番目のオブジェクトの左側チャネル（Ｂ）、Ｎ＋１番目のオブジェクトの右側チャネル（Ｃ）で構成される場合、付加情報は、３個のオブジェクト（Ａ、Ｂ、Ｃ）に対する情報を含む。
上記付加情報は、オブジェクトがステレオまたはマルチチャネルのオブジェクトの一部分（例えば、モノラルオブジェクト、ステレオオブジェクトのいずれかのチャネル（ＬまたはＲ）、等）であるか否かを表す相関性フラグ情報（correlation flag information）を含むことができる。例えば、モノラルオブジェクトが存在する場合、相関性フラグ情報が‘０’であり、ステレオオブジェクトのいずれかのチャネルが存在する場合、相関性フラグ情報が‘１’である。ステレオオブジェクトの一部分とステレオオブジェクトの他の部分が連続して伝送される場合、ステレオオブジェクトの他の部分に対する相関性情報はいずれの値（例：０、１、またはその他）になっても良い。なお、ステレオオブジェクトの他の部分に対する相関性フラグ情報は伝送されなくて良い。
なお、マルチチャネルオブジェクトの場合、マルチチャネルオブジェクトの一部分に対する相関性フラグ情報は、マルチチャネルオブジェクトの個数を記述する値でありうる。例えば、５．１チャネルオブジェクトの場合、５．１チャネルの左側チャネルに対する相関性情報は‘５’になることができ、５．１チャネルの他のチャネル（Ｒ、Ｌｒ、Ｒｒ、Ｃ、ＬＦＥ）に対する相関性情報は‘０’になるか、伝送されない。
４.３ オブジェクト属性
オブジェクトは、下記のような３種類の属性を有することができる。
ａ）シングルオブジェクト（single object）
シングルオブジェクトはソースとして構成することができる。ダウンミックス信号を生成したり再生したりするにあたり、オブジェクトパニング及びオブジェクトゲインを制御するために、一つのパラメータをシングルオブジェクトに適用することができる。この‘一つのパラメータ’は、あらゆる時間及び周波数領域に対して一つという意味だけでなく、各時間周波数スロットに対して一つのパラメータであるという意味を有する。
ｂ）グルーピングされたオブジェクト（grouped object）
シングルオブジェクトは、２以上のソースで構成することができる。グルーピングされたオブジェクトが２以上のソースとして入力されても、オブジェクトパニング及びオブジェクトゲインを制御するためにグルーピングされたオブジェクトに対して一つのパラメータを適用することができる。グルーピングされたオブジェクトについて図１９を参照して詳細に説明する。図１９を参照すると、エンコーダ１３００は、グルーピングユニット１３１０及びダウンミックスユニット１３２０を含む。グルーピングユニット１３１０は、グルーピング情報に基づき、入力されたマルチオブジェクト入力のうち２以上のオブジェクトをグルーピングする。グルーピング情報はエンコーダ側で製作者により生成することができる。ダウンミックスユニット１３２０は、グルーピングユニット１３１０により生成されたグルーピングされたオブジェクトを用いてダウンミックス信号を生成する。ダウンミックスユニット１３２０は、グルーピングされたオブジェクトに対する付加情報を生成することができる。
ｃ）組合せオブジェクト（combination object）
組合せオブジェクトは、一つ以上のソースと組み合わせられたオブジェクトである。組み合わせられたオブジェクト間の関係は変化させずに、オブジェクトパニング及びオブジェクトゲインを一括して（in a lump）制御することが可能である。例えば、ドラムの場合、バスドラム（bass drum）、タムタム（tam-tam）、シンボル（symbol）間の関係を変化させずに、ドラムを制御することが可能である。例えば、バスドラムが中央に位置し、シンボルが左側地点に位置する時、ドラムが右側方向へ移動する場合、バスドラムは右側地点に位置させ、シンボルは中央と右側との中間地点に位置させることが可能である。
組み合わせられたオブジェクト間の関係情報は、デコーダに伝送することができ、デコーダは、組合せオブジェクトを用いて上記の関係情報を抽出することができる。
４.４ 階層的にオブジェクトを制御
オブジェクトを階層的に制御することが可能である。例えば、ドラムを制御した後に、ドラムの各サブ−エレメント（sub‐element）を制御できる。階層的にオブジェクトを制御するために、下記の３通りの方式が提供される。
ａ）ＵＩ（ユーザインタフェース）
全てのオブジェクトをディスプレイするのではなく、代表的なエレメントのみをディスプレイすることができる。もし、ユーザにより代表エレメントが選択されると、全てのオブジェクトがディスプレイされる。
ｂ）オブジェクトグルーピング
代表エレメントを表すためにオブジェクトをグルーピングした後に、代表エレメントとしてグルーピングされた全てのオブジェクトを制御する目的に代表エレメントを制御することが可能である。グルーピングする過程で抽出された情報は、デコーダに伝送することができる。また、グルーピング情報がデコーダで生成されても良い。一括した制御情報の適用は、各エレメントに対するあらかじめ決定された制御情報に基づいて行なわれることができる。
ｃ）オブジェクト構成（object configuration）
上述した組合せオブジェクトを利用することが可能である。組合せオブジェクトのエレメントに関する情報は、エンコーダまたはデコーダで生成することができる。エンコーダにおけるエレメントに関する情報は、組合せオブジェクトに関する情報とは異なる方式で伝送することができる。
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用することができる。

Claims (17)

  1. ダウンミックス信号、前記ダウンミックス信号に含まれる一つ以上のオブジェクトを再生成するためのオブジェクトパラメータを含むオブジェクト情報、及びミックス情報を受信する段階と、
    前記オブジェクト情報及び前記ミックス情報を用いて前記一つ以上のオブジェクトのゲイン及び／又はパニング位置を制御するためのダウンミックスプロセシング情報を生成する段階と、
    前記生成されたダウンミックスプロセシング情報を用いて前記ダウンミックス信号を処理する段階と、を含み、
    前記処理する段階は、
    前記ダウンミックス信号を無相関化する段階と、
    前記ダウンミックスプロセシング情報を用いて前記ダウンミックス信号及び前記無相関化された信号をミキシングすることにより、処理されたダウンミックス信号を生成する段階と、を含み、
    前記処理されたダウンミックス信号は、ゲイン及び／又はパニング位置が制御される前記一つ以上のオブジェクトを含み、
    前記処理されたダウンミックス信号は、前記処理されたダウンミックス信号をマルチチャネル信号にアップミックスするためのパラメータを含むマルチチャネルパラメータを用いて前記マルチチャネル信号にデコーディング可能であり、
    前記オブジェクト情報は、オブジェクトレベル情報及びオブジェクト相関情報のうち一つ以上を含むことを特徴とする、オーディオ信号処理方法。
  2. 前記ダウンミックス信号のチャネル数が２以上に該当する場合、前記ダウンミックス信号を処理する段階が行なわれることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  3. 前記処理されたダウンミックス信号の一つのチャネル信号は、前記ダウンミックス信号の他のチャネル信号を含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
  4. 前記ダウンミックス信号がステレオ信号に該当する場合、前記ダウンミックス信号を処理する段階は、前記ダウンミックス信号のための２×２マトリクスオペレーションにより行なわれることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  5. 前記２×２マトリクスオペレーションは、前記ダウンミックスプロセシング情報に含まれた０でないクロスターム（non−zero cross term）を含むことを特徴とする、請求項４に記載のオーディオ信号処理方法。
  6. 前記ダウンミックス信号を無相関化する段階は、２個以上の無相関化器により行なわれることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  7. 前記ダウンミックス信号の無相関化は、２個の無相関化器を用いて前記ダウンミックス信号の第１チャネル及び前記ダウンミックス信号の第２チャネルを無相関化する段階を含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
  8. 前記ダウンミックス信号はステレオ信号に該当し、前記無相関化された信号は、同じ無相関化器を用いて無相関化された前記第１チャネル及び前記２チャネルを含むことを特徴とする、請求項７に記載のオーディオ信号処理方法。
  9. 前記ダウンミックス信号を無相関化する段階は、
    一つの無相関化器を用いて前記ダウンミックス信号の第１チャネルを無相関化する段階と、
    他の無相関化器を用いて前記ダウンミックス信号の第２チャネルを無相関化する段階と、
    を含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
  10. 前記ダウンミックス信号はステレオ信号に該当し、前記無相関化された信号は、無相関化された第１チャネル及び無相関化された第２チャネルを含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
  11. 前記ダウンミックス信号がステレオ信号に該当する場合、前記処理されたダウンミックス信号は、ステレオ信号に該当することを特徴とする、請求項１に記載のオーディオ信号処理方法。
  12. 前記オブジェクト情報は、オブジェクトレベル情報及びオブジェクト相関情報のうち一つ以上を含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
  13. 前記ミックス情報は、オブジェクト位置情報及び再生設定情報のうち一つ以上を用いて生成されたものであることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  14. 前記ダウンミックス信号は、放送信号として受信されたものであることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  15. 前記ダウンミックス信号は、デジタル媒体を介して受信されたものであることを特徴とする、請求項１に記載のオーディオ信号処理方法。
  16. ダウンミックス信号、前記ダウンミックス信号に含まれる一つ以上のオブジェクトを再生成するためのオブジェクトパラメータを含むオブジェクト情報、及びミックス情報を受信する段階と、
    前記オブジェクト情報及び前記ミックス情報を用いて前記一つ以上のオブジェクトのゲイン及び／又はパニング位置を制御するためのダウンミックスプロセシング情報を生成する段階と、
    前記生成されたダウンミックスプロセシング情報を用いて前記ダウンミックス信号を処理する段階と、を含み、
    前記処理する段階は、
    前記ダウンミックス信号を無相関化する段階と、
    前記ダウンミックスプロセシング情報を用いて前記ダウンミックス信号及び前記無相関化された信号をミキシングすることにより、処理されたダウンミックス信号を生成する段階と、を含み、
    前記処理されたダウンミックス信号は、ゲイン及び／又はパニング位置が制御される前記一つ以上のオブジェクトを含み、
    前記処理されたダウンミックス信号は、前記処理されたダウンミックス信号をマルチチャネル信号にアップミックスするためのパラメータを含むマルチチャネルパラメータを用いて前記マルチチャネル信号にデコーディング可能であり、
    前記オブジェクト情報は、オブジェクトレベル情報及びオブジェクト相関情報のうち一つ以上を含み、
    プロセッサにより実行される時、前記プロセッサに前記段階の全てを実行させるための命令が記憶されている、コンピュータ読み取り可能媒体。
  17. ダウンミックス信号、前記ダウンミックス信号に含まれる一つ以上のオブジェクトを再生成するためのオブジェクトパラメータを含むオブジェクト情報、及びミックス情報を受信し、ダウンミックスプロセシング情報を用いて前記ダウンミックス信号を処理するダウンミックス処理ユニットであって、
    前記ダウンミックス信号を無相関化する無相関化パートと、
    前記ダウンミックスプロセシング情報を用いて前記ダウンミックス信号及び前記無相関化された信号をミキシングすることにより、処理されたダウンミックス信号を生成するミキシングパートと、を含む、ダウンミックス処理ユニットと、
    前記オブジェクト情報及び前記ミックス情報を用いて前記一つ以上のオブジェクトのゲイン及び／又はパニング位置を制御するためのダウンミックスプロセシング情報を生成する情報生成ユニットと、を含み、
    前記処理されたダウンミックス信号は、ゲイン及び／又はパニング位置が制御される前記一つ以上のオブジェクトを含み、
    前記処理されたダウンミックス信号は、前記処理されたダウンミックス信号をマルチチャネル信号にアップミックスするためのパラメータを含むマルチチャネルパラメータを用いて前記マルチチャネル信号にデコーディング可能であり、
    前記オブジェクト情報は、オブジェクトレベル情報及びオブジェクト相関情報のうち一つ以上を含むことを特徴とする、オーディオ信号処理装置。
JP2009540167A 2006-12-07 2007-12-06 オーディオ処理方法及び装置 Active JP5302207B2 (ja)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US86907706P 2006-12-07 2006-12-07
US60/869,077 2006-12-07
US87713406P 2006-12-27 2006-12-27
US60/877,134 2006-12-27
US88356907P 2007-01-05 2007-01-05
US60/883,569 2007-01-05
US88404307P 2007-01-09 2007-01-09
US60/884,043 2007-01-09
US88434707P 2007-01-10 2007-01-10
US60/884,347 2007-01-10
US88458507P 2007-01-11 2007-01-11
US60/884,585 2007-01-11
US88534707P 2007-01-17 2007-01-17
US88534307P 2007-01-17 2007-01-17
US60/885,347 2007-01-17
US60/885,343 2007-01-17
US88971507P 2007-02-13 2007-02-13
US60/889,715 2007-02-13
US95539507P 2007-08-13 2007-08-13
US60/955,395 2007-08-13
PCT/KR2007/006319 WO2008069597A1 (en) 2006-12-07 2007-12-06 A method and an apparatus for processing an audio signal

Publications (2)

Publication Number Publication Date
JP2010511912A JP2010511912A (ja) 2010-04-15
JP5302207B2 true JP5302207B2 (ja) 2013-10-02

Family

ID=39492395

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2009540163A Active JP5209637B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540164A Active JP5450085B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540167A Active JP5302207B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540165A Active JP5270566B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540166A Active JP5290988B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2009540163A Active JP5209637B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540164A Active JP5450085B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2009540165A Active JP5270566B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置
JP2009540166A Active JP5290988B2 (ja) 2006-12-07 2007-12-06 オーディオ処理方法及び装置

Country Status (11)

Country Link
US (11) US8488797B2 (ja)
EP (6) EP2102856A4 (ja)
JP (5) JP5209637B2 (ja)
KR (5) KR101100223B1 (ja)
CN (5) CN101568958B (ja)
AU (1) AU2007328614B2 (ja)
BR (1) BRPI0719884B1 (ja)
CA (1) CA2670864C (ja)
MX (1) MX2009005969A (ja)
TW (1) TWI371743B (ja)
WO (5) WO2008069594A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9564138B2 (en) 2012-07-31 2017-02-07 Intellectual Discovery Co., Ltd. Method and device for processing audio signal

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
EP1905002B1 (en) * 2005-05-26 2013-05-22 LG Electronics Inc. Method and apparatus for decoding audio signal
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
CA2613731C (en) * 2005-06-30 2012-09-18 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US8082157B2 (en) * 2005-06-30 2011-12-20 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
WO2007007500A1 (ja) * 2005-07-11 2007-01-18 Matsushita Electric Industrial Co., Ltd. 超音波探傷方法と超音波探傷装置
US20090028344A1 (en) * 2006-01-19 2009-01-29 Lg Electronics Inc. Method and Apparatus for Processing a Media Signal
TWI331322B (en) * 2006-02-07 2010-10-01 Lg Electronics Inc Apparatus and method for encoding / decoding signal
CN101578654B (zh) * 2006-07-04 2013-04-24 韩国电子通信研究院 用于恢复多通道音频信号的设备和方法
CN101568958B (zh) * 2006-12-07 2012-07-18 Lg电子株式会社 用于处理音频信号的方法和装置
KR101443568B1 (ko) * 2007-01-10 2014-09-23 코닌클리케 필립스 엔.브이. 오디오 디코더
KR20080082916A (ko) 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
US8463413B2 (en) 2007-03-09 2013-06-11 Lg Electronics Inc. Method and an apparatus for processing an audio signal
EP2278582B1 (en) * 2007-06-08 2016-08-10 LG Electronics Inc. A method and an apparatus for processing an audio signal
CN101836249B (zh) 2007-09-06 2012-11-28 Lg电子株式会社 解码音频信号的方法和装置
KR101461685B1 (ko) 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
KR101596504B1 (ko) * 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
US8639368B2 (en) 2008-07-15 2014-01-28 Lg Electronics Inc. Method and an apparatus for processing an audio signal
EP2146341B1 (en) * 2008-07-15 2013-09-11 LG Electronics Inc. A method and an apparatus for processing an audio signal
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
EP2175670A1 (en) 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
WO2010041877A2 (en) * 2008-10-08 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a signal
CN102440003B (zh) 2008-10-20 2016-01-27 吉诺迪奥公司 音频空间化和环境仿真
US8861739B2 (en) * 2008-11-10 2014-10-14 Nokia Corporation Apparatus and method for generating a multichannel signal
EP2194526A1 (en) * 2008-12-05 2010-06-09 Lg Electronics Inc. A method and apparatus for processing an audio signal
KR20100065121A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
JP5309944B2 (ja) * 2008-12-11 2013-10-09 富士通株式会社 オーディオ復号装置、方法、及びプログラム
KR101187075B1 (ko) * 2009-01-20 2012-09-27 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2209328B1 (en) 2009-01-20 2013-10-23 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
KR101137360B1 (ko) 2009-01-28 2012-04-19 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US8255821B2 (en) * 2009-01-28 2012-08-28 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
WO2010087627A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
EP4462428A2 (en) * 2009-10-16 2024-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for providing adjusted parameters
CN102640213B (zh) 2009-10-20 2014-07-09 弗兰霍菲尔运输应用研究公司 失真控制装置及方法、位流提供装置及方法
KR101106465B1 (ko) * 2009-11-09 2012-01-20 네오피델리티 주식회사 멀티밴드 ｄｒｃ 시스템의 게인 설정 방법 및 이를 이용한 멀티밴드 ｄｒｃ 시스템
PL2489038T3 (pl) * 2009-11-20 2016-07-29 Fraunhofer Ges Forschung Urządzenie do dostarczania reprezentacji sygnału upmixu na bazie reprezentacji sygnału downmixu, urządzenie do dostarczania strumienia bitów reprezentującego wielokanałowy sygnał audio, sposoby, programy komputerowe i strumień bitów reprezentujący wielokanałowy sygnał audio z zastosowaniem parametru kombinacji liniowej
WO2011071336A2 (ko) * 2009-12-11 2011-06-16 한국전자통신연구원 객체 기반 오디오 서비스를 위한 오디오 저작 장치 및 오디오 재생 장치, 이를 이용하는 오디오 저작 방법 및 오디오 재생 방법
WO2011083981A2 (en) * 2010-01-06 2011-07-14 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
WO2011122589A1 (ja) * 2010-03-29 2011-10-06 日立金属株式会社 初期超微結晶合金、ナノ結晶軟磁性合金及びその製造方法、並びにナノ結晶軟磁性合金からなる磁性部品
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
CN103069481B (zh) 2010-07-20 2014-11-05 华为技术有限公司 音频信号合成器
US8948403B2 (en) * 2010-08-06 2015-02-03 Samsung Electronics Co., Ltd. Method of processing signal, encoding apparatus thereof, decoding apparatus thereof, and signal processing system
JP5903758B2 (ja) 2010-09-08 2016-04-13 ソニー株式会社 信号処理装置および方法、プログラム、並びにデータ記録媒体
KR102608968B1 (ko) 2011-07-01 2023-12-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법
EP2560161A1 (en) * 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
CN103050124B (zh) 2011-10-13 2016-03-30 华为终端有限公司 混音方法、装置及系统
JP6096789B2 (ja) * 2011-11-01 2017-03-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． オーディオオブジェクトのエンコーディング及びデコーディング
US9584912B2 (en) 2012-01-19 2017-02-28 Koninklijke Philips N.V. Spatial audio rendering and encoding
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9479886B2 (en) * 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
KR20140017338A (ko) * 2012-07-31 2014-02-11 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 장치 및 방법
MX351687B (es) * 2012-08-03 2017-10-25 Fraunhofer Ges Forschung Método y descodificador para codificación de objeto de audio especial de multi-instancias que emplea un concepto paramétrico para casos de mezcla descendente/mezcla ascendente de multicanal.
RU2635884C2 (ru) * 2012-09-12 2017-11-16 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для предоставления улучшенных характеристик направленного понижающего микширования для трехмерного аудио
US9385674B2 (en) * 2012-10-31 2016-07-05 Maxim Integrated Products, Inc. Dynamic speaker management for multichannel audio systems
KR102037418B1 (ko) * 2012-12-04 2019-10-28 삼성전자주식회사 오디오 제공 장치 및 오디오 제공 방법
EP2946571B1 (en) 2013-01-15 2018-04-11 Koninklijke Philips N.V. Binaural audio processing
EP2946572B1 (en) 2013-01-17 2018-09-05 Koninklijke Philips N.V. Binaural audio processing
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
US9208775B2 (en) 2013-02-21 2015-12-08 Qualcomm Incorporated Systems and methods for determining pitch pulse period signal boundaries
WO2014141577A1 (ja) 2013-03-13 2014-09-18 パナソニック株式会社 オーディオ再生装置およびオーディオ再生方法
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
KR102150955B1 (ko) 2013-04-19 2020-09-02 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
US9659569B2 (en) 2013-04-26 2017-05-23 Nokia Technologies Oy Audio signal encoder
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
US9666198B2 (en) 2013-05-24 2017-05-30 Dolby International Ab Reconstruction of audio scenes from a downmix
US10026408B2 (en) 2013-05-24 2018-07-17 Dolby International Ab Coding of audio scenes
JP6248186B2 (ja) 2013-05-24 2017-12-13 ドルビー・インターナショナル・アーベー オーディオ・エンコードおよびデコード方法、対応するコンピュータ可読媒体ならびに対応するオーディオ・エンコーダおよびデコーダ
US9716959B2 (en) * 2013-05-29 2017-07-25 Qualcomm Incorporated Compensating for error in decomposed representations of sound fields
KR101454342B1 (ko) * 2013-05-31 2014-10-23 한국산업은행 서라운드 채널 오디오 신호를 이용한 추가 채널 오디오 신호 생성 장치 및 방법
CN105378826B (zh) * 2013-05-31 2019-06-11 诺基亚技术有限公司 音频场景装置
EP2830333A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
EP2830050A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
PL3022949T3 (pl) 2013-07-22 2018-04-30 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Wielokanałowy dekoder audio, wielokanałowy koder audio, sposoby, program komputerowy i zakodowana reprezentacja audio z użyciem dekorelacji renderowanych sygnałów audio
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
TWI713018B (zh) 2013-09-12 2020-12-11 瑞典商杜比國際公司 多聲道音訊系統中之解碼方法、解碼裝置、包含用於執行解碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置的音訊系統
CA2924458C (en) 2013-09-17 2021-08-31 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
CN105659320B (zh) * 2013-10-21 2019-07-12 杜比国际公司 音频编码器和解码器
US10580417B2 (en) 2013-10-22 2020-03-03 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
EP3063955B1 (en) 2013-10-31 2019-10-16 Dolby Laboratories Licensing Corporation Binaural rendering for headphones using metadata processing
EP2879131A1 (en) 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
CN106416302B (zh) 2013-12-23 2018-07-24 韦勒斯标准与技术协会公司 生成用于音频信号的滤波器的方法及其参数化装置
CN106104684A (zh) 2014-01-13 2016-11-09 诺基亚技术有限公司 多通道音频信号分类器
CN106105269B (zh) 2014-03-19 2018-06-19 韦勒斯标准与技术协会公司 音频信号处理方法和设备
CN108307272B (zh) 2014-04-02 2021-02-02 韦勒斯标准与技术协会公司 音频信号处理方法和设备
CN110636415B (zh) 2014-08-29 2021-07-23 杜比实验室特许公司 用于处理音频的方法、系统和存储介质
WO2016040623A1 (en) * 2014-09-12 2016-03-17 Dolby Laboratories Licensing Corporation Rendering audio objects in a reproduction environment that includes surround and/or height speakers
TWI587286B (zh) 2014-10-31 2017-06-11 杜比國際公司 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體
US9609383B1 (en) * 2015-03-23 2017-03-28 Amazon Technologies, Inc. Directional audio for virtual environments
KR102537541B1 (ko) 2015-06-17 2023-05-26 삼성전자주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
EA201992556A1 (ru) 2015-10-08 2021-03-31 Долби Лэборетериз Лайсенсинг Корпорейшн Аудиодекодер и способ декодирования
CN109427337B (zh) 2017-08-23 2021-03-30 华为技术有限公司 立体声信号编码时重建信号的方法和装置
TWI703557B (zh) * 2017-10-18 2020-09-01 宏達國際電子股份有限公司 聲音播放裝置、方法及非暫態儲存媒體
DE102018206025A1 (de) * 2018-02-19 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren für objektbasiertes, räumliches Audio-Mastering
KR102471718B1 (ko) * 2019-07-25 2022-11-28 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
CN114503607B (zh) * 2019-08-19 2024-01-02 杜比实验室特许公司 用于操控音频的双耳化的方法、系统和计算机可读介质
CN111654745B (zh) * 2020-06-08 2022-10-14 海信视像科技股份有限公司 多声道的信号处理方法及显示设备
CN117580779A (zh) 2023-04-25 2024-02-20 马渊马达株式会社 包装构造

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3175209D1 (en) 1981-05-29 1986-10-02 Ibm Aspirator for an ink jet printer
FR2567984B1 (fr) * 1984-07-20 1986-08-14 Centre Techn Ind Mecanique Distributeur hydraulique proportionnel
ATE138238T1 (de) 1991-01-08 1996-06-15 Dolby Lab Licensing Corp Kodierer/dekodierer für mehrdimensionale schallfelder
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US5838664A (en) 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6226325B1 (en) 1996-03-27 2001-05-01 Kabushiki Kaisha Toshiba Digital data processing system
US6128597A (en) 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US5912976A (en) 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
US6131084A (en) 1997-03-14 2000-10-10 Digital Voice Systems, Inc. Dual subframe quantization of spectral magnitudes
AU740617C (en) 1997-06-18 2002-08-08 Clarity, L.L.C. Methods and apparatus for blind signal separation
US6026168A (en) * 1997-11-14 2000-02-15 Microtek Lab, Inc. Methods and apparatus for automatically synchronizing and regulating volume in audio component systems
US6952677B1 (en) 1998-04-15 2005-10-04 Stmicroelectronics Asia Pacific Pte Limited Fast frame optimization in an audio encoder
US6122619A (en) 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
FI114833B (fi) * 1999-01-08 2004-12-31 Nokia Corp Menetelmä, puhekooderi ja matkaviestin puheenkoodauskehysten muodostamiseksi
US7103187B1 (en) * 1999-03-30 2006-09-05 Lsi Logic Corporation Audio calibration system
US6539357B1 (en) 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
CN1273082C (zh) 2000-03-03 2006-09-06 卡迪亚克M.R.I.公司 磁共振样品分析装置
CN100429960C (zh) * 2000-07-19 2008-10-29 皇家菲利浦电子有限公司 用于获得立体声环绕和/或音频中心信号的多声道立体声转换器
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7032116B2 (en) 2001-12-21 2006-04-18 Intel Corporation Thermal management for computer systems running legacy or thermal management operating systems
BR0304542A (pt) 2002-04-22 2004-07-20 Koninkl Philips Electronics Nv Método e codificador para codificar um sinal de áudio de multicanal, aparelho para fornecer um sinal de áudio, sinal de áudio codificado, meio de armazenamento, e, método e decodificador para decodificar um sinal de áudio
BR0304540A (pt) 2002-04-22 2004-07-20 Koninkl Philips Electronics Nv Métodos para codificar um sinal de áudio, e para decodificar um sinal de áudio codificado, codificador para codificar um sinal de áudio, aparelho para fornecer um sinal de áudio, sinal de áudio codificado, meio de armazenagem, e, decodificador para decodificar um sinal de áudio codificado
JP4013822B2 (ja) 2002-06-17 2007-11-28 ヤマハ株式会社 ミキサ装置およびミキサプログラム
JP2005533271A (ja) 2002-07-16 2005-11-04 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オーディオ符号化
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
JP4084990B2 (ja) 2002-11-19 2008-04-30 株式会社ケンウッド エンコード装置、デコード装置、エンコード方法およびデコード方法
JP4496379B2 (ja) 2003-09-17 2010-07-07 財団法人北九州産業学術推進機構 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法
US6937737B2 (en) 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
TWI233091B (en) * 2003-11-18 2005-05-21 Ali Corp Audio mixing output device and method for dynamic range control
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
EP1721312B1 (en) 2004-03-01 2008-03-26 Dolby Laboratories Licensing Corporation Multichannel audio coding
US7805313B2 (en) 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
SE0400997D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
US8843378B2 (en) 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
KR101120911B1 (ko) 2004-07-02 2012-02-27 파나소닉 주식회사 음성신호 복호화 장치 및 음성신호 부호화 장치
WO2006006809A1 (en) 2004-07-09 2006-01-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and cecoding multi-channel audio signal using virtual source location information
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
KR100745688B1 (ko) 2004-07-09 2007-08-03 한국전자통신연구원 다채널 오디오 신호 부호화/복호화 방법 및 장치
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR101205480B1 (ko) * 2004-07-14 2012-11-28 돌비 인터네셔널 에이비 오디오 채널 변환
EP1769655B1 (en) 2004-07-14 2011-09-28 Koninklijke Philips Electronics N.V. Method, device, encoder apparatus, decoder apparatus and audio system
JP4892184B2 (ja) * 2004-10-14 2012-03-07 パナソニック株式会社 音響信号符号化装置及び音響信号復号装置
US8204261B2 (en) 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
KR100682904B1 (ko) * 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US8346564B2 (en) * 2005-03-30 2013-01-01 Koninklijke Philips Electronics N.V. Multi-channel audio coding
US20060262936A1 (en) 2005-05-13 2006-11-23 Pioneer Corporation Virtual surround decoder apparatus
US8214220B2 (en) 2005-05-26 2012-07-03 Lg Electronics Inc. Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
KR20060122694A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 두 채널 이상의 다운믹스 오디오 신호에 공간 정보비트스트림을 삽입하는 방법
AU2006255662B2 (en) 2005-06-03 2012-08-23 Dolby Laboratories Licensing Corporation Apparatus and method for encoding audio signals with decoding instructions
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
EP1920437A4 (en) 2005-07-29 2010-01-06 Lg Electronics Inc METHOD FOR SIGNALING CUTTING INFORMATION
US20070083365A1 (en) 2005-10-06 2007-04-12 Dts, Inc. Neural network classifier for separating audio sources from a monophonic audio signal
EP1640972A1 (en) 2005-12-23 2006-03-29 Phonak AG System and method for separation of a users voice from ambient sound
US8081762B2 (en) * 2006-01-09 2011-12-20 Nokia Corporation Controlling the decoding of binaural audio signals
CA2656867C (en) * 2006-07-07 2013-01-08 Johannes Hilpert Apparatus and method for combining multiple parametrically coded audio sources
JP4399835B2 (ja) * 2006-07-07 2010-01-20 日本ビクター株式会社 音声符号化方法及び音声復号化方法
BRPI0716854B1 (pt) 2006-09-18 2020-09-15 Koninklijke Philips N.V. Codificador para codificar objetos de áudio, decodificador para decodificar objetos de áudio, centro distribuidor de teleconferência, e método para decodificar sinais de áudio
WO2008039041A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
CA2874451C (en) * 2006-10-16 2016-09-06 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding
MX2009003564A (es) 2006-10-16 2009-05-28 Fraunhofer Ges Forschung Aparato y metodo para transformacion de parametro multicanal.
CN101568958B (zh) * 2006-12-07 2012-07-18 Lg电子株式会社 用于处理音频信号的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9564138B2 (en) 2012-07-31 2017-02-07 Intellectual Discovery Co., Ltd. Method and device for processing audio signal
US9646620B1 (en) 2012-07-31 2017-05-09 Intellectual Discovery Co., Ltd. Method and device for processing audio signal

Also Published As

Publication number Publication date
AU2007328614B2 (en) 2010-08-26
MX2009005969A (es) 2009-06-16
US20090281814A1 (en) 2009-11-12
CN101553865B (zh) 2012-01-25
US20080205657A1 (en) 2008-08-28
KR20090098863A (ko) 2009-09-17
US20080192941A1 (en) 2008-08-14
EP2122612A1 (en) 2009-11-25
KR101111520B1 (ko) 2012-05-24
US20100010818A1 (en) 2010-01-14
EP2102858A4 (en) 2010-01-20
EP2102857B1 (en) 2018-07-18
KR101111521B1 (ko) 2012-03-13
US7986788B2 (en) 2011-07-26
KR20090098864A (ko) 2009-09-17
EP2122613A4 (en) 2010-01-13
CN101553865A (zh) 2009-10-07
EP2187386A2 (en) 2010-05-19
US20080205670A1 (en) 2008-08-28
KR101100223B1 (ko) 2011-12-28
US7783049B2 (en) 2010-08-24
WO2008069597A1 (en) 2008-06-12
US8340325B2 (en) 2012-12-25
JP2010511911A (ja) 2010-04-15
CN101553866B (zh) 2012-05-30
WO2008069593A1 (en) 2008-06-12
EP2122612A4 (en) 2010-01-13
EP2102858A1 (en) 2009-09-23
JP5450085B2 (ja) 2014-03-26
JP2010511909A (ja) 2010-04-15
US20100010819A1 (en) 2010-01-14
JP2010511912A (ja) 2010-04-15
WO2008069594A1 (en) 2008-06-12
JP2010511908A (ja) 2010-04-15
KR20090098865A (ko) 2009-09-17
JP5209637B2 (ja) 2013-06-12
US20100010820A1 (en) 2010-01-14
CN101553867B (zh) 2013-04-17
CA2670864A1 (en) 2008-06-12
EP2122613B1 (en) 2019-01-30
EP2187386A3 (en) 2010-07-28
EP2102856A1 (en) 2009-09-23
TW200834544A (en) 2008-08-16
EP2122613A1 (en) 2009-11-25
EP2122612B1 (en) 2018-08-15
US20080199026A1 (en) 2008-08-21
US20100010821A1 (en) 2010-01-14
CN101568958A (zh) 2009-10-28
BRPI0719884B1 (pt) 2020-10-27
EP2102856A4 (en) 2010-01-13
TWI371743B (en) 2012-09-01
US7783048B2 (en) 2010-08-24
CN101553868A (zh) 2009-10-07
KR101128815B1 (ko) 2012-03-27
WO2008069596A1 (en) 2008-06-12
US8488797B2 (en) 2013-07-16
CN101553867A (zh) 2009-10-07
EP2187386B1 (en) 2020-02-05
US8311227B2 (en) 2012-11-13
JP5270566B2 (ja) 2013-08-21
AU2007328614A1 (en) 2008-06-12
US20100014680A1 (en) 2010-01-21
BRPI0719884A2 (pt) 2014-02-11
JP5290988B2 (ja) 2013-09-18
US7783050B2 (en) 2010-08-24
KR101100222B1 (ko) 2011-12-28
EP2102857A4 (en) 2010-01-20
CA2670864C (en) 2015-09-29
US7783051B2 (en) 2010-08-24
US8428267B2 (en) 2013-04-23
US7715569B2 (en) 2010-05-11
US8005229B2 (en) 2011-08-23
KR20090098866A (ko) 2009-09-17
CN101568958B (zh) 2012-07-18
CN101553868B (zh) 2012-08-29
CN101553866A (zh) 2009-10-07
EP2102857A1 (en) 2009-09-23
US20080205671A1 (en) 2008-08-28
WO2008069595A1 (en) 2008-06-12
KR20090100386A (ko) 2009-09-23
JP2010511910A (ja) 2010-04-15

Similar Documents

Publication Publication Date Title
JP5302207B2 (ja) オーディオ処理方法及び装置
RU2417549C2 (ru) Способ и устройство для обработки аудиосигнала

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120702

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130313

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130620

R150 Certificate of patent or registration of utility model

Ref document number: 5302207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250