JP6204683B2

JP6204683B2 - 音響信号再生装置、音響信号作成装置

Info

Publication number: JP6204683B2
Application number: JP2013079622A
Authority: JP
Inventors: 大出　訓史; 訓史大出; 靖茂中山; 洋幸大久保; 渡辺　馨; 馨渡辺
Original assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Current assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2013-04-05
Filing date: 2013-04-05
Publication date: 2017-09-27
Anticipated expiration: 2033-04-05
Also published as: JP2014204322A

Description

この発明は、複数の音響空間層を持つマルチチャンネル音響方式の音響信号再生装置、音響信号作成装置に関する。

現在番組制作が行われている2チャンネル音響方式、5.1チャンネル音響方式に加え、7.1チャンネルや22.2チャンネルなどの5.1チャンネル音響方式を超えた「3次元(立体)音響方式」など複数の音響方式が提案されている。オーディオ関連の国際標準化団体であるITU-Rでは、ITU-R勧告として5.1チャンネル音響方式を超えた3次元音響方式（advanced multichannel audio system）に対する要求条件（非特許文献１）を定めており、今後も複数の音響方式が提案されることが予測される。これらの音響方式を共通のフォーマットで表現することで、次世代オーディオシステムに適用可能であり種々の方面への活用が可能な柔軟なシステムとすることができる。

"Performance requirements for an advanced multichannel stere ophonic sound system for use with or without accompanying picture", ITU-R勧告BS. 1909

種々の音響方式を表現可能な共通のフォーマットとして、「単一の音響空間層を持つ音響信号」の検討は進んでいる。ここで、空間的に配置された複数のチャンネル信号によって構築される音を単一の音響空間層とする。これまでの番組制作では番組に必要な音を全て単一の音響空間層に配置している。これまで一つにまとめていた音響空間層を幾つかの層に分割して音響番組制作を行い、「複数の音響空間層を持つ音響信号」の形式を用いることで、番組交換時の受取先や家庭の環境に合わせて受信した音響信号の変形・変換・入替を容易に行うことができるようになる。これ以降、「マルチチャンネル音響方式」とは「複数の音響空間層を持つ音響方式」を意図するものとして説明を行う。

例えば、マルチチャンネル音響方式を用いて放送される放送番組は、様々な音響方式によって制作され、様々な再生環境において再生される。しかし、番組制作時と異なるスピーカ位置で放送番組を再生すると音が聞こえてくる方向が制作時と異なることがある。スピーカ位置によらず画面上の映像位置から音が聞こえるようにするには、スピーカ位置に合わせて音が聞こえてくる方向を調整する必要があり、そのためには、放送番組として完成される前の音響信号とその絶対的な位置情報を使ったサービスが求められる。そこで、メタデータを用いて動的オブジェクト（例えば俳優のせりふなど時間経過に伴い再生位置が変化する音）の音像位置を記述することが考えられるが、時々刻々と変化する音像位置をメタデータに記載するには、情報が多い上、生放送番組ではメタデータとして音像位置を送ることはできない。

したがって、かかる点に鑑みてなされた本発明の目的は、複数の音響空間層を持つマルチチャンネル音響方式に対応し、メタデータに動的オブジェクトの音像位置を詳述することなく、動的オブジェクトの音像位置に合わせた再生が可能な音響信号再生装置、及び当該音響信号を作成する音響信号作成装置を提供することにある。

上述した諸課題を解決すべく、本発明に係る音響信号再生装置は、少なくとも１つの動的オブジェクトに関する音響空間層を含む、複数の音響空間層を持つマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号は、音響チャンネル信号とメタデータとを含み、前記動的オブジェクトの音響空間層に含まれる音響チャンネル信号は、前記動的オブジェクトの音響信号が記録された音響チャンネル信号と、前記動的オブジェクトの音響信号の制御パラメータが時間とともに変化する信号として記録された音響チャンネル信号とを有し、前記メタデータは、前記音響チャンネル信号に記録されている信号が、音響信号であるか制御パラメータであるかを区別するための識別情報を含み、前記識別情報に基づいて、前記動的オブジェクトの音響空間層に含まれる音響チャンネル信号のうち、前記音響信号が記録された音響チャンネル信号と前記制御パラメータが記録された音響チャンネル信号とを判定し、前記音響チャンネル信号から抽出した前記制御パラメータに基づき前記音響信号を変換する再生チャンネル変換部を備える。

また、前記制御パラメータは前記音響信号の再生位置情報、再生音圧レベル情報、イコライジング情報、残響情報のいずれかを含むことが好ましい。

さらに、上述した諸課題を解決すべく、本発明に係る音響信号作成装置は、少なくとも１つの動的オブジェクトに関する音響空間層を含む、複数の音響空間層を持つマルチチャンネル音響信号の作成装置であって、前記動的オブジェクトの音響空間層の音響信号が記録された音響チャンネル信号と、前記動的オブジェクトの前記音響信号の制御パラメータが時間とともに変化する信号として記録された音響チャンネル信号と、前記音響チャンネル信号に記録されている信号が、音響信号であるか制御パラメータであるかを区別するための識別情報を含むメタデータと、を多重化する多重化部を備える。

本発明に係る音響信号再生装置及び音響信号作成装置によれば、複数の音響空間層を持つマルチチャンネル音響方式に対応し、メタデータに動的オブジェクトの音像位置を詳述することなく、動的オブジェクトの音像位置に合わせた再生が可能となる。

本発明の一実施形態に係る音響信号再生装置の構成を示す図である。マルチチャンネル音響信号に含まれる音響空間層の一例を示す図である。マルチチャンネル音響信号におけるメタデータを用いた動的オブジェクトの記載例を示す図である。音響チャンネル信号による動的オブジェクトの再生位置情報の一例を示す図である。振幅パンニング法の概要を示す図である。本発明の一実施形態に係る音響信号作成装置の構成を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、本発明は、「複数の音響空間層を持つ音響信号」であるマルチチャンネル音響信号に対応するものである。本件出願人は、「単一の音響空間層を持つ音響信号」について韓国特許出願（10-2012-0112984）を行っており、また、「複数の音響空間層を持つ音響信号」について日本国特許出願（特願2013-010544）を行っている。

図１は、本発明の一実施形態に係る音響信号再生装置の構成を示す図である。音響信号再生装置１０は、デマルチプレクサ１１（ＤＥＭＵＸ）と、復号化部１２と、再生チャンネル変換部１３とを備え、音響信号再生装置１０の出力信号はスピーカ１４により音として再生される。

デマルチプレクサ１１は、入力されたマルチチャンネル音響データストリームをメタデータと音響チャンネル信号に分離する。デマルチプレクサ１１は、音響チャンネル信号を復号化部１２に出力し、メタデータを復号化部１２及び再生チャンネル変換装置１５に出力する。

図２は、本実施形態におけるマルチチャンネル音響信号（音響データストリーム）に含まれる音響空間層の一例を示す図である。図２のマルチチャンネル音響信号は、２つの音響空間層を含んで構成される。第１の音響空間層３００は通常のステレオ方式（２ｃｈ）の音響チャンネル（Ｌｃｈ３１０、Ｒｃｈ３２０）であり、チャンネル位置が静的な音響空間層である。第１の音響空間層３００はＭｕｓｉｃ（背景音、環境音、音楽など）を再生する。第２の音響空間層２００は動的オブジェクト２１０の音響空間層であって、Ｄｉａｌｏｇｕｅ（俳優のせりふ、会話など）を再生する。なお、動的オブジェクトとは、例えば自動車や飛行機の走行音、俳優のせりふなど時間経過に伴い音源位置が変化する音である。

図３は、図２に示すマルチチャンネル音響信号におけるメタデータを用いた動的オブジェクトの記載例を示す図である。図３のメタデータ（Sound Essence 000）には、当該マルチチャンネル音響信号が２層の音響空間層（Sound Field）を持つことが記載されている。第１の音響空間層３００（Sound Field 01）は、２ｃｈのステレオ方式で構成される。音響チャンネル信号３１１（Channel 01）は方位角３３０度、仰角０度、距離２ｍの位置のＬｃｈから、音響チャンネル信号３２１（Channel 02）は方位角３０度、仰角０度、距離２ｍの位置のＲｃｈから再生されるようにメタデータに記載されている。ここで、音響チャンネル信号３１１及び３２１は、再生すべき音の音響信号（データストリーム）そのものである。

第２の音響空間層２００（Sound Field 02）は、動的オブジェクトである。音響チャンネル信号２１１（Channel 03）は、動的オブジェクトの音響信号であり、当該音響チャンネル信号２１１の再生位置は、音響チャンネル信号２１２（Channel 04、方位角）、音響チャンネル信号２１３（Channel 05、仰角）及び音響チャンネル信号２１４（Channel 06、距離）を参照することが記述されている。また、音響チャンネル信号２１１の再生時刻は、０：００：１０から０：０３：２０と記述されている。即ち、第２の音響空間層２００（Sound Field 02）において、音響チャンネル信号２１１は、再生すべき音の音響信号そのものであるが、音響チャンネル信号２１２〜２１３は、動的オブジェクトである音響チャンネル信号２１１の再生位置情報を表すものである。

復号化部１２は、デマルチプレクサ１１からの音響チャンネル信号をデコードし、メタデータを参照して、デコードした音響チャンネル信号及び動的チャンネルの再生位置情報を再生チャンネル変換部１３に出力する。

再生チャンネル変換部１３は、メタデータに記載されている空間位置に音像が定位するように音響チャンネル信号を変換し、スピーカ１４に出力する。再生チャンネル変換部１３は、第１の音響空間層３００に関する音響信号については、音響チャンネル信号３１１（Channel 01）をＬｃｈ３１０に出力し、音響チャンネル信号３２１（Channel 02）をＲｃｈ３２０に出力する。

また、再生チャンネル変換部１３は、動的オブジェクトである第２の音響空間層２００に関する音響信号については、再生位置情報を示す音響チャンネル信号２１２（Channel 04、方位角）、音響チャンネル信号２１３（Channel 05、仰角）及び音響チャンネル信号２１４（Channel 06、距離）を参照し、音響信号である音響チャンネル信号２１１（Channel 03）の変換を行いスピーカ１４（Ｌｃｈ３１０、Ｒｃｈ３２０）に出力する。

図４は、音響チャンネル信号による動的オブジェクトの再生位置情報の一例を示す図である。例えば、音響チャンネル信号により左右の音像位置を示す場合、利用者の正面を規定レベルとし、左右の音像位置のずれを音圧変化として音響チャンネル信号に記録する。これにより、サンプル単位の精度で音響チャンネル信号に再生位置情報を記録することが可能となる。ここでは左右の位置のずれを示したが、左右、前後及び上下の再生位置や、方位角、仰角及び距離の再生位置など、３次元の再生位置を音響チャンネル信号に記録することで、３次元空間上の任意の位置を記録することが可能となる。

再生チャンネル変換部１３による動的オブジェクトの音響チャンネル信号の変換には、任意の好適な方法を用いることができる。例えば、音響チャンネル信号の変換方法として、ＶＢＡＰ（Vector Base Amplitude Panning）や音響インテンシティが一致するように変換する方法などがある。このほか、ＷＦＳ（Wave Field Synthesis）といった方法で音響チャンネル信号をレンダリングしてもよい。

図５は、音響信号の変換方法の一例である振幅パンニング法の概要を示す図である。音響信号Ｓ（ｔ）が重み係数Ｗ_Ｌ及びＷ_Ｒによって左右のスピーカＳＰ_Ｌ及びＳＰ_Ｒに分配される場合を考える。聴取者の正面に対する各スピーカＳＰ_Ｌ及びＳＰ_Ｒの角度をθ_０とし、左スピーカＳＰ_Ｌから仮想音源までの角度をθとすると、振幅パンニング法におけるタンゼント則では、角度θに音を定位させるための重み係数Ｗ_Ｌ及びＷ_Ｒは、式（１）により表される。

ここで、重み係数Ｗ_Ｌ及びＷ_Ｒの和を１とすると、式（１）の右辺の分母が１となり、重み係数Ｗ_Ｌ及びＷ_Ｒについて式（２）が導き出される。

振幅パンニング法を図２に示すステレオ方式のＬｃｈ３１０及びＲｃｈ３２０に適用すると、Ｌｃｈ３１０をスピーカＳＰ_Ｌ、Ｒｃｈ３２０をスピーカＳＰ_Ｒに対応させ、音響信号変換後にＬｃｈ３１０及びＲｃｈ３２０それぞれから再生すべき音響信号Ｓ_Ｌ（ｔ）及びＳ_Ｒ（ｔ）は、式（３）により表される。

このように、本実施形態によれば、再生チャンネル変換部１３は、マルチチャンネル音響信号に含まれるメタデータに基づき、動的オブジェクトの音響空間層に含まれる音響チャンネル信号のうち、音響信号を表す音響チャンネル信号と音響信号の制御パラメータ（再生位置情報）を表す音響チャンネル信号とを判定し、制御パラメータ（再生位置情報）に基づき音響信号を変換する。これにより、動的オブジェクトの再生位置情報を指定の音響チャンネル信号より取得することができるため、メタデータに動的オブジェクトの音像位置を詳述することなく、動的オブジェクトの音像位置に合わせた再生が可能となる。また、音の再生位置を時系列データとして伝送することで、精度良く音の再生方向を動的に制御することが可能となる。また、音響チャンネル信号として音像位置を記録することにより、特別な装置を追加することなく、音の再生方向を決めることができる。さらに、動的オブジェクトの再生位置情報が音響チャンネル信号として送られるため、生放送番組でも動的オブジェクトの動きにあった再生が可能となる。

図６は、本発明の一実施形態に係る音響信号作成装置の構成を示す図である。音響信号作成装置２０は、ミキサ２１と、符号化部２２と、マルチプレクサ２３（ＭＵＸ）とを備える。

ミキサ２１は、音響信号及び動的オブジェクトの再生位置情報を含む複数の音響チャンネル信号をミキシングして符号化部２２に出力する。なお、再生位置情報は、図４に例示するとおり、上下左右の位置情報などを音圧変化として記録したデータである。

符号化部２２は、ミキサ２１からの音響信号及び再生位置情報を含む音響チャンネル信号を符号化してマルチプレクサ２３に出力する。

マルチプレクサ２３（多重化部）は、番組制作者等により入力されるメタデータと、符号化された音響信号及び再生位置情報を含む音響チャンネル信号を多重化して複数の音響空間層を持つマルチチャンネル音響信号を作成する。マルチプレクサ２３は、放送又は伝送によりマルチチャンネル音響信号を伝えるため、マルチチャンネル音響信号を多重化して電波またはＩＰ回線等で家庭など遠隔地に伝送する。

このように、本実施形態によれば、マルチプレクサ２３は、動的オブジェクトの音響空間層の音響信号を表す音響チャンネル信号と、音響信号の制御パラメータ（再生位置情報）を表す音響チャンネル信号と、音響信号と制御パラメータ（再生位置情報）との識別情報を含むメタデータと、を多重化する。これにより、音響信号再生装置側で、動的オブジェクトの再生位置情報を指定の音響チャンネル信号より取得することができるため、メタデータに動的オブジェクトの音像位置を詳述することなく、動的オブジェクトの音像位置に合わせた再生が可能となる。また、音の再生位置を時系列データとして伝送することで、精度良く音の再生方向を動的に制御することが可能となる。また、音響チャンネル信号として音像位置を記録することにより、特別な装置を追加することなく、音の再生方向を決めることができる。さらに、動的オブジェクトの再生位置情報が音響チャンネル信号として送られるため、生放送番組でも動的オブジェクトの動きにあった再生が可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

たとえば、上記実施形態では動的オブジェクトを１ｃｈとして説明したが、複数の音響チャンネル信号からなる音響空間層を動的オブジェクトとして用いても良い。また、動的オブジェクトごとに再生位置を定義するため、複数の動的オブジェクトに異なる動きを設定することも可能である。

また、再生位置情報の伝送は音響チャンネル信号のみに限定されず、メタデータに再生位置情報を表す音響チャンネル信号ではなく、インターネット等の他の通信回線を通じて取得したファイルを参照して再生位置情報を取得するように記載することもできる。

また、上記実施形態において、再生位置情報を記録する音響チャンネル信号のサンプリング周波数を無視したが、メタデータにサンプリング周波数を記載することで、空間情報を圧縮することが可能である。この場合、スプライン関数などで空間位置を補完することで、なめらかな動きを実現することが可能になる。

また、上記実施形態において、動的オブジェクトの制御パラメータとして再生位置情報を記録する例を示したが、制御パラメータは再生位置情報に限定されない。例えば、音響信号作成装置は、制御パラメータとして音響信号の再生音圧レベル情報をメタデータに含め、音響信号再生装置は、当該再生音圧レベル情報に基づき音響信号の再生音圧を調整することができる。これにより、複数の音響空間層を持つマルチチャンネル音響信号において、音響空間層の音響信号毎に適切な音圧による再生を行うことが可能となる。また、例えば、音響信号作成装置は、制御パラメータとして音響信号のイコライジング情報をメタデータに含め、音響信号再生装置は、当該イコライジング情報に基づき音響信号のイコライジングを行うことができる。これにより、複数の音響空間層を持つマルチチャンネル音響信号において、音響空間層の音響信号毎に適切なイコライジングを行うことが可能となる。また、例えば、音響信号作成装置は、制御パラメータとして音響信号の残響情報をメタデータに含め、音響信号再生装置は、当該残響情報に基づき音響信号の残響成分の変換を行うことができる。これにより、複数の音響空間層を持つマルチチャンネル音響信号において、音響空間層の音響信号毎に適切な残響成分の付与を行うことが可能となる。

１０音響信号再生装置
１１デマルチプレクサ
１２復号化部
１３再生チャンネル変換部
１４スピーカ
２０音響信号作成装置
２１ミキサ
２２符号化部
２３マルチプレクサ（多重化部）

Claims

少なくとも１つの動的オブジェクトに関する音響空間層を含む、複数の音響空間層を持つマルチチャンネル音響信号の再生装置であって、
前記マルチチャンネル音響信号は、音響チャンネル信号とメタデータとを含み、
前記動的オブジェクトの音響空間層に含まれる音響チャンネル信号は、前記動的オブジェクトの音響信号が記録された音響チャンネル信号と、前記動的オブジェクトの音響信号の制御パラメータが時間とともに変化する信号として記録された音響チャンネル信号とを有し、
前記メタデータは、前記音響チャンネル信号に記録されている信号が、音響信号であるか制御パラメータであるかを区別するための識別情報を含み、
前記識別情報に基づいて、前記動的オブジェクトの音響空間層に含まれる音響チャンネル信号のうち、前記音響信号が記録された音響チャンネル信号と前記制御パラメータが記録された音響チャンネル信号とを判定し、前記音響チャンネル信号から抽出した前記制御パラメータに基づき前記音響信号を変換する再生チャンネル変換部を備える音響信号再生装置。
前記制御パラメータは前記音響信号の再生位置情報、再生音圧レベル情報、イコライジング情報、残響情報のいずれかを含む、請求項１に記載の音響信号再生装置。
少なくとも１つの動的オブジェクトに関する音響空間層を含む、複数の音響空間層を持つマルチチャンネル音響信号の作成装置であって、
前記動的オブジェクトの音響空間層の音響信号が記録された音響チャンネル信号と、
前記動的オブジェクトの前記音響信号の制御パラメータが時間とともに変化する信号として記録された音響チャンネル信号と、
前記音響チャンネル信号に記録されている信号が、音響信号であるか制御パラメータであるかを区別するための識別情報を含むメタデータと、
を多重化する多重化部を備える音響信号作成装置。
前記制御パラメータは前記音響信号の再生位置情報、再生音圧レベル情報、イコライジング情報、残響情報のいずれかを含む、請求項３に記載の音響信号作成装置。