JP2014204316A

JP2014204316A - 音響信号再生装置、音響信号作成装置

Info

Publication number: JP2014204316A
Application number: JP2013079563A
Authority: JP
Inventors: 大出　訓史; Norifumi Oide; 訓史大出; 靖茂中山; Yasushige Nakayama; 渡辺　馨; Kaoru Watanabe; 馨渡辺; 郁子澤谷; Ikuko Sawatani
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp; NHK Engineering System Inc
Current assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2013-04-05
Filing date: 2013-04-05
Publication date: 2014-10-27

Abstract

【課題】複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ位置が異なる場合でも、再生環境に適したマルチチャンネル音響信号の調整を行う。【解決手段】本発明に係る音響信号再生装置は、複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号に含まれるメタデータに記載された前記各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ位置の許容範囲に再生環境のスピーカ位置が含まれない場合、前記制作環境のスピーチ位置に虚音像が生成されるように、前記音響チャンネル信号の変換を行う再生チャンネル変換部を備える。【選択図】図１

Description

この発明は、複数の音響空間層を持つマルチチャンネル音響方式の音響信号再生装置、音響信号作成装置に関する。

現在番組制作が行われている2チャンネル音響方式、5.1チャンネル音響方式に加え、7.1チャンネルや22.2チャンネルなどの5.1チャンネル音響方式を超えた「3次元(立体)音響方式」など複数の音響方式が提案されている。オーディオ関連の国際標準化団体であるITU-Rでは、ITU-R勧告として5.1チャンネル音響方式を超えた3次元音響方式（advanced multichannel audio system）に対する要求条件（非特許文献１）を定めており、今後も複数の音響方式が提案されることが予測される。これらの音響方式を共通のフォーマットで表現することで、次世代オーディオシステムに適用可能であり種々の方面への活用が可能な柔軟なシステムとすることができる。

"Performance requirements for an advanced multichannel stere ophonic sound system for use with or without accompanying picture", ITU-R勧告BS. 1909

種々の音響方式を表現可能な共通のフォーマットとして、「単一の音響空間層を持つ音響信号」の検討は進んでいる。ここで、空間的に配置された複数のチャンネル信号によって構築される音を単一の音響空間層とする。これまでの番組制作では番組に必要な音を全て単一の音響空間層に配置している。これまで一つにまとめていた音響空間層を幾つかの層に分割して音響番組制作を行い、「複数の音響空間層を持つ音響信号」の形式を用いることで、番組交換時の受取先や家庭の環境に合わせて受信した音響信号の変形・変換・入替を容易に行うことができるようになる。これ以降、「マルチチャンネル音響方式」とは「複数の音響空間層を持つ音響方式」を意図するものとして説明を行う。

例えば、マルチチャンネル音響方式を用いて放送される放送番組は、様々な音響方式によって制作され、様々な再生環境において再生される。受信側のスピーカ設置位置は、様々な理由により制約を受け、最適な位置に設置されないことがあり、放送番組が制作された制作環境のスピーカ位置と、家庭や公共施設など受信側の再生環境のスピーカ位置が異なることによって、制作者の意図通りの音響空間が再現されない場合がある。番組制作者が聴取し、確認した放送番組の品質を受信側で再現するためには、再生環境のスピーカ位置に合わせて音響チャンネル信号を調整する必要がある。

したがって、かかる点に鑑みてなされた本発明の目的は、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ位置が異なる場合でも、再生環境に適したマルチチャンネル音響信号の調整が可能な音響信号再生装置、及び当該音響信号を作成する音響信号作成装置を提供することにある。

上述した諸課題を解決すべく、本発明に係る音響信号再生装置は、複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号に含まれるメタデータに記載された前記各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ位置の許容範囲に再生環境のスピーカ位置が含まれない場合、前記制作環境のスピーチ位置に虚音像が生成されるように、前記音響チャンネル信号の変換を行う再生チャンネル変換部を備えるものである。

また、前記再生チャンネル変換部は、前記音響チャンネル信号の前記制作環境の前記スピーカ位置の許容範囲に前記再生環境のスピーカ位置が含まれる場合、前記音響チャンネル信号の変換を行わないことが好ましい。

また、前記再生チャンネル変換部は、前記音響チャンネル信号の変換を、同じ役割のチャンネル同士で行うことが好ましい。

上述した諸課題を解決すべく、本発明に係る音響信号作成装置は、複数の音響空間層を含むマルチチャンネル音響信号の作成装置であって、各音響空間層の音響チャンネル信号と、前記音響チャンネル信号の制作環境のスピーカ位置の許容範囲を含むメタデータと、を多重化する多重化部を備えるものである。

また、前記多重化部は、前記音響チャンネル信号の役割を前記メタデータに含めることが好ましい。

本発明に係る音響信号再生装置及び音響信号作成装置によれば、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ位置が異なる場合でも、再生環境に適したマルチチャンネル音響信号の調整が可能となる。

本発明の一実施形態に係る音響信号再生装置の構成を示す図である。マルチチャンネル音響信号に含まれる音響空間層の一例を示す図である。マルチチャンネル音響信号におけるメタデータの一例を示す図である。番組制作時と再生時のスピーカ位置の違いを示す図である。振幅パンニング法の概要を示す図である。本発明の一実施形態に係る音響信号作成装置の構成を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、本発明は、「複数の音響空間層を持つ音響信号」であるマルチチャンネル音響信号に対応するものである。本件出願人は、「単一の音響空間層を持つ音響信号」について韓国特許出願（10-2012-0112984）を行っており、また、「複数の音響空間層を持つ音響信号」について日本国特許出願（特願2013-010544）を行っている。

図１は、本発明の一実施形態に係る音響信号再生装置の構成を示す図である。音響信号再生装置１０は、デマルチプレクサ１１（ＤＥＭＵＸ）と、復号化部１２と、再生チャンネル変換部１３とを備え、音響信号再生装置１０の出力信号はスピーカ１４により音として再生される。

デマルチプレクサ１１は、入力されたマルチチャンネル音響データストリームをメタデータと音響チャンネル信号に分離する。デマルチプレクサ１１は、音響チャンネル信号を復号化部１２に出力し、メタデータを復号化部１２及び再生チャンネル変換部１３に出力する。

図２は、本実施形態におけるマルチチャンネル音響信号（音響データストリーム）に含まれる音響空間層の一例を示す図である。図２に示される音響空間層１００は利用者００１を中心に１０チャンネル（１１０〜２００）が配置される。

図３は、図２に示す音響空間層を表すメタデータの一例を示す図である。図３のメタデータには、マルチチャンネル音響信号に含まれる音響空間層（Sound Field 01）は、１０チャンネルを持つことが記載される。また、各音響チャンネル信号１１０〜２００に対して、音響チャンネル信号の番号（Channel 01-10）、チャンネルラベル（FL FR FC BL BR FLc FRc SiLSiR BC）、マルチチャンネル音響信号制作時のスピーカ位置（角度）、スピーカ位置の許容範囲（角度）が記載されている。例えば、音響チャンネル信号１１０は、チャンネル番号がChannel 01、チャンネルラベルがＦＬ、スピーカ位置は利用者正面を基準に３００度（例えば時計回り）、スピーカ位置の許容範囲は＋１５度から−５度（即ち、利用者正面に対して２９５度〜３１５度の間）と記載されている。また、他の９つの音響チャンネル信号１２０〜２００についても、それぞれの音響チャンネル信号の番号、チャンネルラベル、マルチ音響信号制作時のスピーカ位置、スピーカ位置の許容範囲が記述されている。

なお、図３のメタデータでは、スピーカ位置を水平面内の配置として記載しているが、スピーカ位置を三次元的に表すことも可能である。例えば、メタデータに利用者を中心とした各音響チャンネル信号の方位角、仰角、距離を記載することによって、スピーカ位置を三次元的に表現することができる。また、スピーカ位置を三次元座標によって表現することも可能である。また、スピーカ位置の許容範囲は、全ての番組で共通である必要はなく、音像方向や絶対位置の重要度によって、番組ごとに異なる値をとってもよい。また、各音響チャンネル信号にナレーション用、低域効果用、汎用などチャンネルの役割に応じたメタデータを付与することができる。この場合、スピーカ位置の調整は同じ役割のチャンネル間で行うものとしてもよい。また、図３のメタデータではスピーカ位置とスピーカ位置の許容範囲とがそれぞれ独立した列に記載され、スピーカ位置の許容範囲がスピーカ位置に対する相対的な値として記載されているが、両者を合計し、１つの列で絶対的な値としてスピーカ位置の許容範囲を記載することも可能である。

復号化部１２は、デマルチプレクサ１１からの音響チャンネル信号をチャンネルごとに復号化し、メタデータに基づいて、音響チャンネル信号を音響空間層毎にグルーピングすする。なお、図２、図３において１つの音響空間層の例示をしているが、本実施形態にかかるマルチチャンネル音響信号はこのような音響空間層を複数含むことができるものである。

再生チャンネル変換部１３は、複数の音響空間層を一つの音響空間にまとめ、再生環境のスピーカ位置情報に合わせ、各再生スピーカに入力する音響チャンネル信号を生成する。
再生チャンネル変換部１３は、再生環境のスピーカ位置がメタデータの示すスピーカ位置の許容範囲内に含まれる場合には、そのまま対応するスピーカより音響チャンネル信号を再生させる。これにより、制作環境及び再生環境のスピーカ位置が異なる場合でも、許容範囲内の音響チャンネル信号はそのまま再生されるため、信号処理による音響品質の劣化を防ぐことができる。再生チャンネル変換部１３は、メタデータに記載された各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ位置の許容範囲に再生環境のスピーカ位置が含まれない場合、制作環境のスピーチ位置に虚音像が生成されるように、音響チャンネル信号の変換を行う。

図４は、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ位置の差を示す図である。図４（ａ）は制作環境のスピーカ位置を示し、スピーカＳＰ１１、ＳＰ１２、ＳＰ１３がそれぞれ所定位置に配置されている。また、スピーカＳＰ１３の許容範囲（例えば±１０度）は図示の通り設定されている。図４（ａ）は制作環境のスピーカ位置及び許容範囲は、図３に例示するメタデータにより記載されるものである。

図４（ｂ）は再生環境のスピーカ位置を示し、スピーカＳＰ２１及びＳＰ２２は、それぞれ制作環境のスピーカＳＰ１１及びＳＰ１２の位置に配置されている。この場合、再生チャンネル変換部１３は、スピーカＳＰ１１及びＳＰ１２に割り当てられた音響チャンネル信号については、再生環境のスピーカ位置がメタデータの示すスピーカ位置の許容範囲内に含まれるため、そのまま対応するスピーカＳＰ２１及びＳＰ２２より音響チャンネル信号を再生させる。

一方、図４（ｂ）において、スピーカＳＰ２３は、対応するスピーカＳＰ１３の許容範囲から外れて配置されている。この場合、再生チャンネル変換部１３は、スピーカＳＰ１３に割り当てられた音響チャンネル信号については、再生環境のスピーカ位置がメタデータの示すスピーカ位置の許容範囲内に含まれないため、音響チャンネル信号の変換により、虚音像によるスピーカ位置の補正を行う。再生チャンネル変換部１３による音響チャンネル信号の変換には、任意の好適な方法を用いることができる。例えば、音響チャンネル信号の変換方法として、ＶＢＡＰ（Vector Base Amplitude Panning）や音響インテンシティが一致するように変換する方法などがある。このほか、ＷＦＳ（Wave Field Synthesis）といった方法で音響チャンネル信号をレンダリングしてもよい。

図５は、音響チャンネル信号の変換方法の一例である振幅パンニング法の概要を示す図である。振幅パンニング法では、スピーカＳＰ１３の位置に虚音像を生成するため、虚音像の方向を挟み隣り合うスピーカであるスピーカＳＰ２２及びＳＰ２３が用いられる。音響チャンネル信号Ｓ（ｔ）が重み係数Ｗ_Ｌ及びＷ_Ｒによって左右のスピーカＳＰ２３及びＳＰ２２に分配される場合を考える。各スピーカＳＰ２３及びＳＰ２２の挟み込む角度を２θとし、スピーカＳＰ２３及びＳＰ２２の中心から虚音像（スピーカＳＰ１３）までの角度をφとすると、振幅パンニング法におけるタンゼント則では、角度φに音を定位させるための重み係数Ｗ_Ｌ及びＷ_Ｒは、式（１）により表される。

ここで、重み係数Ｗ_Ｌ及びＷ_Ｒの和を１とすると、式（１）の右辺の分母が１となり、重み係数Ｗ_Ｌ及びＷ_Ｒについて式（２）が導き出される。

以上より、再生チャンネル変換部１３は、スピーカＳＰ１３に割り当てられた音響チャンネル信号Ｓ（ｔ）については、式（３）に示すスピーカＳＰ２２及びＳＰ２３それぞれから再生すべき音響信号Ｓ_Ｌ（ｔ）及びＳ_Ｒ（ｔ）へと変換することにより、虚音像によるスピーカ位置の補正を行うことができる。

このように、本実施形態によれば、再生チャンネル変換部１３は、メタデータに記載された各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ位置の許容範囲に再生環境のスピーカ位置が含まれない場合、制作環境のスピーチ位置に虚音像が生成されるように、音響チャンネル信号の変換を行う。これにより、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ位置が異なる場合でも、再生環境に適したマルチチャンネル音響信号の調整が可能となる。

また、再生チャンネル変換部１３は、音響チャンネル信号の制作環境のスピーカ位置の許容範囲に再生環境のスピーカ位置が含まれる場合、音響チャンネル信号の変換を行わない。これにより、制作環境及び再生環境のスピーカ位置が多少異なる場合でも、許容範囲内の音響信号はそのまま再生されるため、信号処理による音響品質の劣化を防ぐことができる。

また、再生チャンネル変換部は、音響チャンネル信号の変換を、同じ役割のチャンネル同士で行う。これにより、メタデータに記載された各音響チャンネル信号の役割を維持したチャンネル変換が行われ、音響チャンネル信号の変換に伴う音響再生品質の劣化を低減することが可能である。

図６は、本発明の一実施形態に係る音響信号作成装置の構成を示す図である。音響信号作成装置２０は、ミキサ２１と、符号化部２２と、マルチプレクサ２３（ＭＵＸ）とを備える。

ミキサ２１は、複数の音響信号をミキシングして、音響空間層毎の音響チャンネル信号として符号化部２２に出力する。

符号化部２２は、ミキサ２１からの各音響空間層の音響チャンネル信号を符号化してマルチプレクサ２３に出力する。

マルチプレクサ２３（多重化部）は、各音響空間層の音響チャンネル信号と、各音響チャンネル信号の制作環境のスピーカ位置の許容範囲を含むメタデータとを多重化するものであり、番組制作者等により入力されるメタデータと、符号化された音響チャンネル信号を多重化して複数の音響空間層を持つマルチチャンネル音響信号を作成する。マルチプレクサ２３は、放送又は伝送によりマルチチャンネル音響信号を伝えるため、マルチチャンネル音響信号を多重化して電波またはＩＰ回線等で家庭など遠隔地に伝送する。

このように、本実施形態によれば、マルチプレクサ２３は、各音響空間層の音響チャンネル信号と、各音響チャンネル信号の制作環境のスピーカ位置の許容範囲を含むメタデータとを多重化する。これにより、音響信号再生装置側で、複数の音響空間層を持つマルチチャンネル音響方式に対応し、マルチチャンネル音響信号の制作環境と再生環境とのスピーカ位置が異なる場合でも、再生環境に適したマルチチャンネル音響信号の調整が可能となる。

また、マルチプレクサ２３は、音響チャンネル信号の役割をメタデータに含めることができる。これにより、ナレーション用、低域効果用、汎用などチャンネルの役割に応じたメタデータを付与することができ、音響信号再生装置において、信号変換を同じ役割のチャンネルの間で行うことが可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、スピーカ位置による音響信号の再生品質の差は再生環境毎に異なるため、スピーカ位置の差による再生品質の差がわかりやすい環境とわかりにくい環境などが存在する。このため、再生チャンネル変換部１３は、再生環境の特性に応じて、メタデータに記載されたスピーカ位置の許容範囲を調整して信号変換の適否を判断することができる。

１０音響信号再生装置
１１デマルチプレクサ
１２復号化部
１３再生チャンネル変換部
１４スピーカ
２０音響信号作成装置
２１ミキサ
２２符号化部
２３マルチプレクサ（多重化部）

Claims

複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、
前記マルチチャンネル音響信号に含まれるメタデータに記載された前記各音響空間層に含まれる音響チャンネル信号の制作環境のスピーカ位置の許容範囲に再生環境のスピーカ位置が含まれない場合、前記制作環境のスピーチ位置に虚音像が生成されるように、前記音響チャンネル信号の変換を行う再生チャンネル変換部を備える音響信号再生装置。
前記再生チャンネル変換部は、前記音響チャンネル信号の前記制作環境の前記スピーカ位置の許容範囲に前記再生環境のスピーカ位置が含まれる場合、前記音響チャンネル信号の変換を行わない、請求項１に記載の音響信号再生装置。
前記再生チャンネル変換部は、前記音響チャンネル信号の変換を、同じ役割のチャンネル同士で行う、請求項１又は２に記載の音響信号再生装置。
複数の音響空間層を含むマルチチャンネル音響信号の作成装置であって、
各音響空間層の音響チャンネル信号と、
前記音響チャンネル信号の制作環境のスピーカ位置の許容範囲を含むメタデータと、を多重化する多重化部を備える音響信号作成装置。
前記多重化部は、前記音響チャンネル信号の役割を前記メタデータに含める、請求項４に記載の音響信号作成装置。