JP2016522597A - 端末装置及びそのオーディオ信号の出力方法 - Google Patents

Abstract

【課題】端末装置のオーディオ信号の出力方法が開示される。【解決手段】このオーディオ信号の出力方法は、既に設定されたオーディオ信号の大きさを有する正規化オーディオ信号を含む放送信号を受信するステップと、前記放送信号から番組ジャンル情報を検出するステップと、前記検出された番組ジャンル情報に対応する好みオーディオ信号の大きさを検出するステップと、前記検出された好みオーディオ信号の大きさになるように、前記正規化オーディオ信号の大きさを制御するステップと、を含む。

Description

本発明は、正規化したオーディオ信号を受信して出力する端末装置及びそのオーディオ信号の出力方法に関する。

人間は、日常生活を営みながら様々な環境におかれ、且つ、様々な音に露出される。人間が露出される音は、様々な原因により発生するが、図１に示すように、人間が聞いたときに不快感を発生する環境騒音、人間を楽しくするマルチメディア音及び音楽、並びに人間の間において対話及び情報をやり取りするときに発生する音などがある。

人間の周りの種々の音は、音の大きさ及び種類に応じて人間に苦痛を与えることもあれば、楽しさを与えることもあり、しかも、様々な情報を提供することもある。これは、人間の聴覚構造は、空気を介して伝達された音の音圧レベルを通して音を認知するため、音の大きさ及び強さは、音による聴覚的疲労度及び音の物理的特徴を定義する有用な数値となっているためである。

音を評価する方法のうち、音の大きさ（ラウドネス）は、ある音が人間の耳に伝達されたとき、人間の聴覚システムが認知する主観的な音の大きさであり、音の強さは、人間の聴覚システムに伝達された客観的な音の強さであり、音のパワーを意味し、一般に、周知のデシベル（ｄＢ）として測定される。一般に、人間の間の対話は６０〜７０ｄＢであり、交通量が多くて且つ騒音が激しい大通りは約８０ｄＢであり、一般に、約７０ｄＢの範囲で人間は楽さを感じる。

図１を参照すると、現代人がオーディオに接する方法及び機会は益々増えつつあり、携帯用マルチメディアオーディオ機器の発達に伴い、どこでも、且つ、どのような状況下でも自分が希望するマルチメディアコンテンツ及び音楽を楽しむことが可能になった。特に、オーディオ分野においては、１９９０年代の後半にＭＰ３（ＭＰＥＧ−１ Ｌａｙｅｒ ＩＩＩ）の登場及びインターネットの大衆化が行われ、これに伴い、ＭＰ３に圧縮されたデジタル音源をインターネットを介して手軽にダウンロードし且つ聴き取ることが可能になった。

商業的なオーディオ音源市場は、マルチメディア機器の大衆化と相俟って急激に膨張された。また、オーディオ音源は、領域における競争が激しくなるにつれて、人間の関心を引くためにオーディオ音源の再生可能な最大の音響と最小の音響との間の差分比（ダイナミックレンジ）が急激に減少し、波形の最大値が増加してオーディオ音の大きさがかなり増加した。これは、「オーディオ音の大きさが大きいほど、人間が良い音楽として認識するであろう。」という考えから一層進んだ。

図２の（イ）は、１９７０年代の音楽（Ｐｏｐｓ）の波形を、（ロ）は、２０１１年の韓国歌謡（Ｋ−Ｐｏｐｓ）の波形を示す。図２を参照すると、昔に録音された音楽は、ダイナミックレンジが最近に発売された音源よりも広いことが分かり、最近、全世界的な大衆化を達成したＫ−Ｐｏｐｓ音源の波形は最大値に達するか、あるいは、最大値を超えることを確認することができる。

これに伴い、マルチメディア機器においてオーディオ音の大きさを正確に測定し、且つ、音の大きさを調節する技術が必要であり、オーディオ音の大きさを制御するための技術が必要である。

本発明は、正規化したオーディオ信号を受信して出力する端末装置及びそのオーディオ信号の出力方法を提供することを目的としている。

上述した目的を達成するための本発明の一実施形態による端末装置のオーディオ信号の出力方法は、既に設定されたオーディオ信号の大きさを有する正規化オーディオ信号を含む放送信号を受信するステップと、前記放送信号から番組ジャンル情報を検出するステップと、前記検出された番組ジャンル情報に対応する好みオーディオ信号の大きさを検出するステップと、前記検出された好みオーディオ信号の大きさになるように、前記正規化オーディオ信号の大きさを制御するステップと、を含む。

また、前記好みオーディオ信号の大きさを検出するステップにおいては、前記端末装置に関するユーザー識別情報が入力された場合、前記好みオーディオ信号の大きさのうち前記ユーザー識別情報に対応する好みオーディオ信号の大きさを検出してもよい。

さらに、前記好みオーディオ信号の大きさは、前記端末装置に関するユーザー識別情報と、前記受信された放送信号に基づいて再生中の放送番組に関する番組ジャンル情報及び前記受信された放送信号に基づいて再生中の放送番組に対するユーザー選択オーディオ信号の大きさを用いて、ユーザーに対応する番組ジャンル別の好みオーディオ信号の大きさを学習することにより生成されてもよい。

さらにまた、本発明の一実施形態による端末装置のオーディオ信号の出力方法は、前記端末装置のオーディオ信号の大きさを前記正規化オーディオ信号の大きさとするユーザー入力を受信するステップと、前記ユーザー入力が受信されれば、前記正規化オーディオ信号を出力するステップと、をさらに含んでいてもよい。

一方、上述した目的を達成するための本発明の一実施形態による端末装置は、既に設定されたオーディオ信号の大きさを有する正規化オーディオ信号を含む放送信号を受信する通信部と、前記放送信号から番組ジャンル情報を検出する検出部と、前記検出された番組ジャンル情報に対応する好みオーディオ信号の大きさを検出し、前記検出された好みオーディオ信号の大きさになるように、前記正規化オーディオ信号の大きさを制御するオーディオ信号大きさ制御部と、を備える。

また、前記検出部は、前記端末装置に関するユーザー識別情報が入力された場合、前記好みオーディオ信号の大きさのうち前記ユーザー識別情報に対応する好みオーディオ信号の大きさを検出してもよい。

さらに、前記好みオーディオ信号の大きさは、前記端末装置に関するユーザー識別情報と、前記受信された放送信号に基づいて再生中の放送番組に関する番組ジャンル情報及び前記受信された放送信号に基づいて再生中の放送番組に対するユーザー選択オーディオ信号の大きさを用いて、ユーザーに対応する番組ジャンル別の好みオーディオ信号の大きさを学習することにより生成されてもよい。

さらにまた、本発明の一実施形態による端末装置は、前記端末装置のオーディオ信号の大きさを前記正規化オーディオ信号の大きさとするユーザー入力を受信する入力部をさらに備え、前記オーディオ信号大きさ制御部は、前記ユーザー入力が受信されれば、前記正規化オーディオ信号を出力してもよい。

上述した本発明の様々な実施形態によれば、各国の放送法で定められたオーディオ信号の大きさを有する正規化オーディオ信号を手軽にユーザーに提供することができる。

また、番組ジャンル別の好みボリューム学習が持続的に更新される構造を有しているので、ユーザー好みの経時的な変化も継続的な学習更新により考慮可能になる。

さらに、放送チャンネルを切り換えたときまたは端末に電源を入れたときに、再生される番組のジャンルに応じてユーザー好みボリュームを提供することにより、ユーザーに自分の好みに応じて最上のオーディオ効果を感じさせることができる。

日常生活を営みながら発生する様々な聴覚的疲労要因を説明するための図である。 オーディオ信号の波形に対する例を示す図である。 オーディオデータのクリッピングによる歪み現象を説明するための図である。 オーディオ及び騒音による聴覚損失を説明するための図である。 デジタル放送番組のオーディオ信号の大きさの正規化を説明するための図である。 オーディオ信号の大きさを測定する方法を示す図である。 プレフィルターの周波数応答特性に対する一例を示すグラフである。 ＲＬＢフィルターの周波数応答特性に対する一例を示すグラフである。 録画及び予め製作された放送番組に対する放送システムの構造に対する一例を説明するための図である。 オーディオ信号の大きさを制御する方法に対する第１の実施形態を示す図である。 オーディオ信号の大きさを制御する方法に対する第１の実施形態を具体的に説明するための図である。 オーディオ信号の大きさを調節するためのピーク値に基づくラウドネス制御比の演算に対する基本構造を示す図である。 リアルタイム放送システムの構造に対する一例を示す図である。 オーディオ信号の大きさを制御する方法に対する第２の実施形態を示す図である。 オーディオ信号の大きさを制御する方法に対する第２の実施形態を具体的に説明するための図である。 第１の実施形態及び第２の実施形態の最終端にライブＬＤ制御ステップが追加された方法を説明するための図である。 オーディオ信号の大きさの制御による音質の劣化を補償するための方法に対する第３の実施形態を示す図である。 端末においてオーディオ信号の大きさを制御する方法に対する第４の実施形態を示す図である。 本発明の第１の実施形態によるオーディオ信号大きさの制御装置のオーディオ信号大きさの制御方法を具体的に示すフローチャートである。 ＩＴＵ−Ｒ １７７０−２において言及されたオーディオゲーティング方式が追加されたオーディオ信号の大きさの測定方法を説明するための図である。 本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明するためにゲートハンドオーバーを説明する図である。 本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明する図である。 本発明の第５の実施形態による補間の一例である線形補間を説明する図である。 本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報の一例を示す図である。 本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報のうち推奨制御要因を算出する方法を示す図である。 本発明の第２の実施形態の自動ラウドネス制御モードにおけるオーディオ信号大きさの制御方法を示す図である。 図２６によるマッピングオーディオ信号の大きさ（マッピングＬＫＦＳ）を算出するためのマッピング曲線を設計するための方法を示す図である。 本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの一つの方案を具体的に示す図である。 本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの他の方案を具体的に示す図である。 図２９をさらに具体的に示す図である。 本発明の第４の実施形態による端末装置のオーディオ信号の出力方法を具体的に示す図である。 オーディオ信号大きさ制御モジュールの動作を具体的に示す図である。 本発明の第４の実施形態によるボリュームマッピングテーブルを具体的に示す図である。 本発明の第４の実施形態によるジャンル別の好みボリュームの推奨及び学習機能を示す図である。 図３４をさらに具体的に示す図である。 入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。 入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。 入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。

以下の内容は単に本発明の原理を例示する。そのため、当業者はたとえこの明細書に明確に説明または図示されていないが、本発明の原理を実現し、本発明の概念と範囲に含まれている様々な装置を発明することができる筈である。なお、この明細書に列挙されたあらゆる条件付き用語及び実施形態は、原則的に、本発明の概念を理解させるための目的にのみ明確に意図され、このように特別に列挙された実施形態及び状態に制限的ではないものと理解されるべきである。

また、本発明の原理、観点及び実施形態だけではなく、特定の実施形態を列挙するあらゆる詳細な説明は、このような事項の構造的及び機能的な均等物を含むように意図されるものと理解されるべきである。なお、このような均等物は現在公知の均等物だけではなく、将来に開発される均等物、すなわち、構造とは無関係に同じ機能を行うように発明されたあらゆる素子を備えるものと理解されるべきである。

よって、例えば、この明細書のブロック図は、本発明の原理を具体化させる例示的な回路の概念的な観点を示すものと理解されるべきである。これと同様に、全てのフローチャート、状態変換図、疑似コードなどはコンピューターにて読み取り可能な媒体に実質的に開示することができ、コンピューターまたはプロセッサーが明示されているか否かを問わず、コンピューターまたはプロセッサーにより行われる様々なプロセスを示すものと理解されるべきである。

プロセッサーまたはこれと同じ概念として表示された機能ブロックを備える図示の様々な素子の機能は、専用ハードウェアだけではなく、適切なソフトウェアと関連してソフトウェアを起動する能力を有するハードウェアの使用により提供可能である。プロセッサーにより提供されるとき、前記機能は単一専用プロセッサー、単一共有プロセッサーまたは複数の個別的プロセッサーにより提供可能であり、これらのうちの一部は共有可能である。

また、プロセッサー、制御またはこれと同じ概念として提示される用語の明確な使用は、ソフトウェアを起動する能力を有するハードウェアを排他的に引用して解釈されてはならず、制限なしにデジタル信号プロセッサー（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのＲＯＭ、ＲＡＭ及び不揮発性メモリを暗示的に備えるものと理解されるべきである。周知慣用の他のハードウェアも備えられる。

この明細書の請求範囲において、詳細な説明に記載の機能を行うための手段として表現された構成要素は、例えば、前記機能を行う回路素子の組み合わせまたはフォームウェア／マイクロコードなどをはじめとするあらゆる形式のソフトウェアをはじめとする機能を行うあらゆる方法を含むものと意図され、前記機能を行うように前記ソフトウェアを起動するための適切な回路と結合される。このような請求範囲により定義される本発明は、種々に列挙された手段により提供される機能が結合され、請求項が求める方式と結合されるため、前記機能を提供し得るいかなる手段もこの明細書から把握されるものと均等ものであると理解されるべきである。

上述した目的、特徴及び長所は、添付図面に関する次の詳細な説明から一層明らかになり、これにより、本発明が属する技術分野において通常の知識を有する者が本発明の技術的思想を容易に実施することができる筈である。また、本発明を説明するに当たって、本発明に関する公知技術についての具体的な説明が本発明の要旨を曖昧にする虞があると認められる場合に、その詳細な説明を省略する。

以下、添付図面に基づき、本発明による好適な一実施形態について詳細に説明する。

図３は、オーディオデータクリッピングによる歪み現象を説明するための図である。

音源の波形がデジタルデータにおいて許容可能なデータ分解能の範囲を超える場合、音源の波形が削られ、このような現象がオーディオデータクリッピングである。

図３の（イ）は、クリッピングなし正弦波、（ロ）は、クリッピングなし波形周波数特性、（ハ）は、クリッピング付き正弦波、（ニ）は、クリッピング付き波形の周波数特性を示す。

図３を参照すると、オーディオデータクリッピング現象は、オーディオ信号を歪ませ、単なる正弦波形の周波数特性（図３の（ロ））とクリッピングされた正弦波形の周波数特性（図３の（ニ））を比較したとき、図３の（ニ）の点線で表示された領域のようにクリッピングなし正弦波形に存在しなかった信号歪み成分がオーディオデータクリッピングにより発生することを確認することができる。

一方、オーディオ音の大きさの増加による問題は、携帯用マルチメディア機器の大衆化により増幅されている。現在、マルチメディア機器によりオーディオ聴き取り時間がかなり増えた青少年がかなり高いオーディオ音の大きさを有する音源に持続的に長時間露出されている。

図４を参照すると、１９９０年代前半のＭＰ３に基づく携帯用マルチメディア機器の登場前と比較して、２０００年代の半ばの携帯用マルチメディア機器の方が大衆化したときに米国の青少年の聴覚損失がかなり増大されたことが分かる。

また、韓国でも、騒音性難聴患者が２０００年代の前半と後半を比較すれば、約５０％増加してマルチメディア機器、騒音環境などによる聴覚的疲労が臨界値を超えて聴覚機能の劣化に影響を及ぼしているということが分かる。

このため、人間が暮らしを営む間に安全にオーディオ及び音楽鑑賞を一生楽しむためにはオーディオによる聴覚的疲労を下げる作業が必要である。

このために、本発明の一実施形態は、マルチメディア機器においてオーディオ音の大きさを正確に測定し、音の大きさを調節する方法に関する。

図５は、デジタル放送番組のオーディオ信号の大きさの正規化を説明するための図である。

韓国では、放送法の改正を通して各放送局、コンテンツ間のオーディオ信号の大きさ（ラウドネス）の差分を低減するための努力が行われている。現在、放送から送出される番組は、放送社間、放送コンテンツ間にかなりの大きさ差を示す。

図５を参照すると、２種類の音楽コンテンツのオーディオ信号の大きさ（例えば、Ｃｈａｎｎｅｌ１ ：−２３．４ＬＫＦＳ， Ｃｈａｎｎｅｌ２ ： −８．５ＬＫＦＳ）がかなりの差分を示す。このような差分が放送の視聴者にかなりの不便さを引き起こしている。これを克服するために、ＴＴＡのＰＧ８０３ ＷＧ８０３４傘下で「デジタル放送番組音量レベル基準」という内容の標準化作業が行われている。

標準化の目標は、図５に示すように、かなりの大きさ差を有するチャンネル／放送番組を標準化した音量標準規格に基づいて調節して正規化したオーディオ信号の大きさ（例えば、Ｃｈａｎｎｅｌ１ ： −２４ＬＫＦＳ， Ｃｈａｎｎｅｌ２ ： −２４ＬＫＦＳ）を有するように出力する基準を設けるところにある。

前記標準化は放送法と連携される筈であるため、標準の重要性及び使用可能性がかなり高ければ、標準では国際オーディオ信号大きさ測定標準であるＩＴＵ−１７７０−１／２に基づいて韓国の状況に合うオーディオ信号基準及び規格を提示する筈であり、これを守るように役立つ技術及び現在のデジタル放送信号の大きさに対する分析などを行う筈である。

図６は、オーディオ信号の大きさを測定する方法を示す図である。

オーディオ信号の大きさ測定方法に対する研究は、２０００年代半ばから始まってＩＴＵにおいてオーディオ信号の大きさ測定に対する標準であるＩＴＵ−Ｒ ＢＳ．１７７０−１を２００６年に発表し、ゲーティング方式が追加されたＩＴＵ−Ｒ ＢＳ．１７７０−２が２０１１年度に発表された。

発表された標準では、オーディオ信号の大きさ測定に対する方法とトゥルーピーク測定方法のみを提示しており、オーディオ信号の大きさ制御に対する部分は行われていない。これまでもオーディオ信号の大きさを制御する方法に対する部分は標準化が行われていない。

ＩＴＵ−Ｒにおいて標準化したオーディオ信号の大きさ測定方法は、図６に示すようなＬＫＦＳ（ｌｏｕｄｎｅｓｓ， Ｋ ｗｅｉｇｈｔｅｄ， ｒｅｌａｔｉｖｅ ｔｏ ｎｏｍｉｎａｌ ｆｕｌｌ ｓｃａｌｅ）を用いて測定する。

アルゴリズムの最初のモジュール（Ｐｒｅ−ｆｉｌｔｅｒ）においては、人間の頭による音響的影響を考慮するために２次ＩＩＲフィルターとして構成される。

図７は、プレフィルター（ｐｒｅ−ｆｉｌｔｅｒ）の周波数応答特性に対する一例を示すグラフである。

フィルターの周波数特性は、図７に示すように、約１ｋＨｚを基準として１ｋＨｚ以下の領域を除去し、１ｋＨｚ以上の領域に対して通過させる。一般的に多用される４８ｋＨｚデータに対するフィルター係数は、球状の頭モデルに基づいてＩＴＵ−Ｒ ＢＳ．１７７０−１において提供されている。

図８は、ＲＬＢフィルターの周波数応答特性に対する一例を示すグラフである。

第二のモジュール（ＲＬＢ ｆｉｌｔｅｒ）においては、人間の聴覚的な特性に基づく重み付け値フィルターを適用する。このフィルターは、図８の（イ）に示すように、人間の聴覚が入力された音に対する周波数領域において互いに異なる敏感度を有する特性に基づいている。

例えば、図８の（イ）において最小レベルを基準として２５０Ｈｚにおける約２０ｄＢと１ｋＨｚにおける約１ｄＢが同じオーディオ音の大きさとして人間に認知されるということを示している。このため、人間の聴覚を考慮するためのフィルター応答は、図８の（ロ）に示すように、ＩＳＯ２２６に定義された同じオーディオ音の大きさ輪郭線を逆に適用した場合と同じフィルター応答を有するように帯域別重み付け値フィルターが設計された。

設計された重み付け値フィルターについて説明すると、低周波領域の重み付け値は減少させたのに対し、１ｋＨｚ以上の領域は低周波領域に比べて相対的な重み付け値が高く設計された。また、重み付け値フィルターを単純化させるために約１ｋＨｚ以上の領域は平らに設計された。ＲＬＢ重み付け値フィルターは、２次ＩＩＲフィルター構造を有し、ＩＴＵ−Ｒ文書に４８ｋＨｚデータに対するフィルター係数を提供している。

重み付け値フィルターを通過した結果は、図６の平均自乗エネルギーモジュールにおいて下記の数式のように変換される。

重み付け値が適用されたエネルギーを下記の数式のように各チャンネルのエネルギーにチャンネル別の重み付け値を適用して合算した後にログ数式に適用してデシベルに変換する。下記の数式により得られた音の大きさに対する単位としては、ＬＫＦＳ（ｌｏｕｄｎｅｓｓ， Ｋ ｗｅｉｇｈｔｅｄ， ｒｅｌａｔｉｖｅ ｔｏ ｎｏｍｉｎａｌ ｆｕｌｌ ｓｃａｌｅ）を用いる。

式中、Ｎはチャンネル数であり、Ｇは、チャンネルに対する重み付け値である。

このように設計されたＩＴＵに基づくオーディオ音の大きさの測定方法が正確に設計されたか否かを検証するためには、０ｄＢ、１ｋＨｚの正弦波形を入力した場合、音の大きさの測定値が−３．０１ ＬＫＦＳが出力されなければならない。

既存のオーディオ信号の大きさに対する研究は、大きく２種類に分けられる。第一は、ＩＴＵ−Ｒ１７７０−１のように人間が聴覚的に認知するオーディオ音量レベルに近い客観的なオーディオ信号の大きさ測定アルゴリズムの開発である。

第二に、既存にはオーディオ信号の大きさが非正規化して転送され、これにより、我々が聴き取るオーディオファイル及び音源の音量がそれぞれ別々であるため互いに異なるサイズを有するオーディオファイルが入力されたときに自動的にオーディオ信号の大きさを制御する研究が行われた。

各国においてオーディオ信号の大きさに対する問題を克服するためにＩＴＵ−１７７０−１／２に基づいてオーディオ信号の大きさを測定し、これを基準としてオーディオ信号の大きさの正規化基準値及び誤差範囲を提示している。現在、日本は積極的に行われているが、それ以外の国は未だ初期段階であるか、あるいは、商業広告などの一部分にのみ適用している。

すなわち、標準化及び規制法案に含まれている内容は、正規化基準と誤差範囲、適用範囲を定義しているが、このような規格を守るための方法を提示していない。すなわち、必ず達成しなければならない目標のみを提示し、方法については提示されていない。

一方、２０１１年３月に改正されたＩＴＵ−Ｒオーディオ信号の大きさ測定方法にはオーディオゲーティング方法が追加された。オーディオゲーティングとは、オーディオ音量が低い部分は除いてオーディオ音量を測定するための方法である。

オーディオ音量測定ゲーティングのためのブロックは１周期とし、隣り合うブロックとは７５％重なり合う。なお、ファイルの最後にブロック大きさを満たしていないサンプルに対しては測定しない。

まず、ブロック単位の平均自乗は、下記の数式のように演算される。

各ゲートブロックのオーディオ音量は、既存の数式に基づいて下記のように演算される。

各ブロックにゲーティングが適用される場合、ＩＴＵ−Ｒ１７７０−２においては−７０ＬＫＦＳ以上の信号に対してのみ考慮してゲーティングが適用された信号に対するＬＦＫＳを下記の数式のように測定する。

改正された方法においては、既存に用いられていたプレフィルター及びＲＬＢフィルターは同様に用いられれば、アルゴリズムの正確度の検証方法もまた同様である。

上述した内容を参照するとき、これまでの標準化及び規制法案に含まれている内容は、正規化基準、誤差範囲、適用範囲を定義しているが、このような規格を守るための方法について明確に開示していない。

これにより、後述する本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。

また、後述する本発明の第２の実施形態によれば、リアルタイム／ライブで取得された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。

さらに、後述する本発明の第３の実施形態によれば、オーディオ信号の大きさの正規化による聴感的オーディオ音質の劣化を極力抑えながらオーディオ信号の大きさを制御することができる。

さらにまた、後述する本発明の第４の実施形態によれば、オーディオ信号の大きさの正規化を考慮して、端末（ＴＶ、スマートフォン）における新たなオーディオ制御機能を提供することができる。

図９は、録画及び予め製作された放送番組に対する放送システムの構造に対する一例を説明するための図である。

図９を参照すると、現場で取得されたオーディオデータは、インジェストサーバーに格納され、格納されたファイルは編集システムに転送される。編集システムにおいては、周知の映像／音響効果、オーディオノイズ除去、映像／オーディオ同期化など各パート別に編集が行われる。

パート別の編集が行われたデータは、総合編集システムにおいて最終的に加工が行われ、主調整室において編集済みの放送番組を送出する。このような構造を見るとき、オーディオ信号の大きさ規制による録画及び予め製作された放送番組に対するオーディオ信号の大きさの正規化作業は、編集システム及び総合編集システムにおいて行われてもよい。好ましくは、ファイルとして製作されるステップにおいては、編集システムにおいてオーディオデータをそれぞれ別々に制御するため、編集システムの後処理作業により行われ得る。

図１０は、オーディオ信号の大きさを制御する方法に対する第１の実施形態を示す図である。

既存に録画された放送番組ファイルの場合には、格納されたファイルを分析してオーディオ信号の大きさの正規化が行われなければならない。これにより、図１０を参照すると、デマルチプレクサーは、既存に録画された放送番組ファイルを分離（ｄｅｍｕｘ）してオーディオデータを選択することができる（ステップＳ１０１）。

また、正規化判断部は、オーディオデータが予め正規化したか否かを判断することができる（ステップＳ１０２）。ここで、正規化とは、上述した図５に示すように、オーディオ信号の大きさを標準化したオーディオ信号の大きさ標準規格に基づいて調節して正規化させることを意味する。

もし、オーディオデータに予め正規化が行われたならば（ステップＳ１０２：Ｙ）、正規化が行われたオーディオデータを格納装置に格納することができる（ステップＳ１０３）。

もし、オーディオデータに予め正規化が行われなかったならば（ステップＳ１０２：Ｎ）、オーディオデコーダーは、オーディオデータを復号化させることができる（ステップＳ１０４）。また、オーディオ信号の大きさ制御器は、復号化したオーディオデータを用いてオーディオ信号の大きさの正規化を行うことができる（ステップＳ１０５）。なお、オーディオエンコーダーは、正規化が行われたオーディオデータを符号化させることができる（ステップＳ１０６）。

一方、マルチプレクサーは、符号化したオーディオデータをデマルチプレクサーにおいて選択されていない他のデータと多重化させることができる（ステップＳ１０７）。これにより、格納部は、オーディオ信号の大きさが正規化したオーディオデータを格納することができる（ステップＳ１０３）。

格納部に格納されたデータは送出室に提供することができる（ステップＳ１０８）。

ここで、オーディオ信号の大きさ制御器の具体的な動作については、図１１から図１２を参照して具体的に説明する。

一方、図示の点線ブロック、例えば、ステップＳ１０１、ステップＳ１０４、ステップＳ１０６、ステップＳ１０７は、オーディオデータのフォーマットなどに応じて、且つ、場合によって省略可能である。例えば、オーディオデータの圧縮有無に応じて、ステップＳ１０４、ステップＳ１０６は省略可能である。

このような本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ音量規格に合うように変換するためのオーディオ音量を制御可能にするために、まず、放送番組制作段階に対する分析を行い、これに基づいて、オーディオ音量規制により必須的なオーディオ音量測定及び制御を行うことができる。

図１１は、オーディオ信号の大きさを制御する方法に対する第１の実施形態を具体的に説明するための図である。図１２は、オーディオ信号の大きさを調節するためのピーク値に基づくラウドネス制御比演算に対する基本構造を示す図である。以下、図１１及び図１２を説明するに当たって、図１０において説明した部分についての具体的な説明を省略して説明する。

図１１を参照すると、制御情報が録画された放送番組を制御するために提供されてもよい。

まず、世界のいくつかの国が規定及び法案で定めた目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）値とオーディオ信号の大きさ誤差範囲が提供されてもよい。一般に、米国／日本は２４ＬＫＦＳ（目標値ＬＫＦＳ）＋／−２ｄＢ（誤差範囲）であり、ヨーロッパーは２３ＬＫＦＳ（目標値ＬＫＦＳ）＋／−１ｄＢ（誤差範囲）の範囲を有する。

オーディオゲーティングに関する部分は、ＩＴＵ−Ｒ１７７０−２において最初に言及された部分であり、重畳及び移動方式を適用してブロック別のＬＫＦＳを測定して低いブロックＬＫＦＳを有するものはサイレンスとして見なし、この分に対する平均値を使用しない方式である。

米国のＡＴＳＣの場合には、ＡＣ−３オーディオシステムを用いており、且つ、「ダイヤルノーム」パラメーターをメタデータパラメーターに格納するようになっている。ダイヤルノームにはアンカーエレメントに対する聴覚的オーディオ信号の大きさを入れるようになっており、すなわち、部分には基準点またはエレメントの聴覚的オーディオ信号の大きさを入れるようになっている。

アンカーエレメントは、現在放送番組の中心となるものに対する標準オーディオ信号の大きさを示すものであり、放送番組は、アンカーエレメントを基準として最終的な釣合せが行われる。なお、ダイヤルノームにはＬＫＦＳ値が格納されるが、変数空間が５ｂｉｔｓであり、−１〜−３１ＬＫＦＳ値が格納可能である。

一方、ＩＴＵ−Ｒに基づいてオーディオ信号の大きさを測定するためには、２種類のフィルターを適用しなければならない。このため、測定されたＬＫＦＳと目標値ＬＫＦＳとの間の差分値をＬＫＦＳ測定数式を用いて逆算してオーディオ信号の大きさ変換値を取り出しても二つのフィルターに対する影響があるため正確な値が得られない。

このような問題を克服するために、本発明の第１の実施形態によれば、ピーク値を用いた方式を設計して所望の目標値ＬＫＦＳに合うオーディオ信号の大きさ変換重み付け値要因を取得するアルゴリズムを提供することができる。

上述したように、入力されたオーディオのＬＫＦＳ（原値）及び目標値ＬＫＦＳだけで正確なラウドネス（ＬＤ）制御比を上述した理由により求めることができない。

このため、本発明の第１の実施形態によれば、二つのフィルターを考慮したＬＤ制御比を求めるためにピーキング方式を用いてピークに基づく制御比を演算することができる。ピーキング方式とは、ピークに基づく制御比を用いてオーディオ信号をラウドネス制御してピークされたＬＫＦＳを取得する方式を意味する。すなわち、オーディオ信号の大きさ制御器は、入力されたオーディオデータ（ステップＳ１０５−１）、ピーク重み付け値（例えば、０．９）（ステップＳ１０５−２）、目標値ＬＫＦＳ（ステップＳ１０５−３）及びＬＫＦＳ誤差範囲（１０５−４）を受信してオーディオ信号の大きさを制御するための制御比（ラウドネス制御比）を演算して（ステップＳ１０５−５）、ＬＤ制御比を算出（ステップＳ１０５−６）することができる。具体的に、入力されたオーディオデータに基づいて算出された入力されたオーディオデータのＬＫＦＳ、入力されたオーディオデータにピーク重み付け値を適用して算出されたピークＬＫＦＳ及び受信された目標値ＬＫＦＳを用いて、目標値ＬＫＦＳに近付けるための重み付け値要因（ＬＤ制御比）を演算することができる。

また、オーディオ信号の大きさ制御器は、算出された制御比（ＬＤ制御比）を用いて入力されたオーディオ信号の大きさを調節して正規化を行うことができる。

このような本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。

図１３は、リアルタイム放送システムの構造に対する一例を示す図である。

図１３を参照すると、ライブ放送システムは、録画放送システムとは多くの違いを示す。中継システムにはインジェストサーバーが組み込まれておらず、パート別の編集システムを別途に用いない。その代わりに、ライブ放送システムにおいては、中継システムがこのような機能をまとめて行う。

中継システムにおいては、映像／音響編集及び効果などの作業を行い、番組の全体の製作を司る副調整室（総合編集室）との相互指示を通じて生中継されるオーディオ音響に対する制御を行う。

このようにして調律された放送番組は、主調整室から送出される。また、衛星を介して受信される生中継データは、オーディオ音響に対する作業及び字幕埋め込みなどの追加作業を副調整室（総合編集室）において行って主調整室を介して送出される。このため、生中継放送のオーディオ音量を正確に制御するためにより多くの変数が存在する。

図１４は、オーディオ信号の大きさを制御する装置の方法に対する第２の実施形態を示す図である。

図１４を参照すると、ライブ環境においては、上述したように、マイクにより取得された信号と、衛星を介して受信された信号（以下、ライブ放送信号）を考慮することができる。デマルチプレクサーは、ライブ放送信号を分離してオーディオデータを選択することができる（ステップＳ２０１）。また、オーディオデコーダーは、選択されたオーディオデータを復号化させることができる（ステップＳ２０３）。

また、オーディオ信号の大きさ制御器は、復号化したオーディオデータを用いてオーディオ信号の大きさの正規化を行うことができる（ステップＳ２０６）。具体的に、オーディオ信号の大きさ制御器は、ライブオーディオデータのオーディオ信号の大きさを分析して、ライブオーディオ信号の大きさを制御して正規化を行うことができる。ここで、オーディオ信号の大きさ制御器は、ユーザーから手動で入力されたオーディオ信号の大きさ制御値を用いて正規化を行うことができる（ステップＳ２０５）。

さらに、オーディオエンコーダーは、正規化が行われたオーディオデータを符号化させることができる（ステップＳ２０７）。そして、マルチプレクサーは、符号化したオーディオデータをデマルチプレクサーにおいて選択されていない他のデータと多重化させることができる（ステップＳ２０８）。

一方、上述したデータ処理が行われると、データは送出室に提供される（ステップＳ２０９）。

ここで、オーディオ信号の大きさ制御器の具体的な動作については、図１５を参照して具体的に説明する。

一方、図示の点線ブロック、例えば、ステップＳ２０１、ステップＳ２０３、ステップＳ２０５、ステップＳ２０７、ステップＳ２０８は、オーディオデータのフォーマットなどに応じて、且つ、場合によって省略可能である。例えば、入力ファイルがオーディオ未加工データである場合には、オーディオ復号化が不要であり、出力としてオーディオ未加工ファイルを求める場合にオーディオ符号化モジュールが不要である。信号がストリーミングにより転送されるとき、オーディオ信号の大きさ制御システムはファイルを分離（デマックス）した後に、オーディオデータが圧縮ビットストリームである場合にオーディオ信号に復号化させ、未加工データである場合にはオーディオ復号化ブロックをバイパスする。オーディオ未加工信号は、ライブオーディオ信号を自動的にオーディオ信号の大きさ基準に従い調節し、調節された信号は、必要に応じて、オーディオ符号化及びファイルフォーマッティングが行われて送出装置を介して放送される。あるいは、出力における要求に応じて、オーディオ未加工ファイルが出力可能である。

図１５は、オーディオ信号の大きさを制御する方法に対する第２の実施形態を具体的に説明するための図である。以下、図１５を説明するに当たって、図１４において説明した部分についての具体的な説明を省略して説明する。

図１５を参照すると、既存のシステムとは異なり、提案されたシステムは、オーディオ信号の大きさの正規化に関し（ステップＳ２０６）、３種類のモードが採択可能な構造を有することが特徴である。第一は、手動ラウドネス制御モード、第二は、半自動ラウドネス制御モード、第三は、自動ラウドネス制御モードである。各モードはそれぞれ別々に動作可能であり、各モードにおいて動作していて途中に他のモードに切り換え可能であり、モードの切り換えによる両モード間の差分は、モード切り換え制御により補償可能である。

手動ラウドネス制御モードは、人間（例えば、オーディオ信号編集者）が入力されたオーディオ信号の大きさの制御のための重み付け値を手動で選択（例えば、オーディオ信号処理装置に配設された様々なボタンを用いて）し、選択された重み付け値を用いて入力されたオーディオ信号をスケーリングしてオーディオ信号の大きさを目標値オーディオ信号の大きさに整合されるように制御するモードであってもよい。半自動ラウドネス制御モードは、制御のための重み付け値を人間が手動で選択するという点は、手動ラウドネス制御モードと同様であるが、半自動ラウドネス制御モードにおいては、オーディオ信号の大きさの制御に必要な情報（例えば、オーディオ信号の大きさをスケーリングするための重み付け値、入力されたオーディオ信号の大きさ）を人間が利用可能なように、上述した情報を提供するという点で異なる。自動ラウドネス制御モードは、人間の手動制御なしに自動的にオーディオ信号の大きさを目標値オーディオ信号の大きさに整合されるように制御するモードであってもよい。ここで、各モード間を切り換えは、オーディオ信号処理装置に配設された半自動ラウドネス制御モード選択ボタン、手動ラウドネス制御モード選択ボタン、自動ラウドネス制御モード選択ボタンにより行われる。あるいは、オーディオ信号処理装置は、ラウドネス制御モードの切り換えのための一つのモード切り換えボタンを備えていてもよく、このモード切り換えボタンが選択されれば、各モードの間に順次に切り換えられる。

一方、モード切り換えによる両モード間の差分は、モード切り換え制御により補償可能である。例えば、半自動ラウドネス制御モードから自動ラウドネス制御モードに切り換えられる場合、ピーク重み付け値が変更可能であり、または、図２２及び図２３に説明された、ゲート重み付け値を補間する必要がある。この場合、モード切り換え制御は、このような変化を補償する動作を行うことができる。

また、図１５において、リアルタイム入力オーディオ信号に対しては、目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）に合わせるために必要な重み付け値は、上述したピーキング方式により演算可能である。

このような本発明の第２の実施形態によれば、リアルタイム／ライブで取得された放送番組に対してオーディオ信号の大きさを規格に合うように制御することができる。

図１６は、第１の実施形態及び第２の実施形態の最終端にライブＬＤ制御ステップが追加された方法を説明するための図である。図１６を参照すると、本発明の第１の実施形態及び第２の実施形態による方法の最終端にライブＬＤ制御ステップをさらに含んでいてもよい。

すなわち、上述したところによれば、ファイル／ローカル放送番組は、ローカルＬＤ制御（ステップＳ１０５）により格納部に格納されていて（ステップＳ１０３）、送出するのに使用可能である。また、上述したところによれば、ライブ放送番組は、ライブＬＤ制御（ステップＳ２０６）を用いてリアルタイム処理して送出することができる。

但し、放送局にとっては、規制に備えるために、最終端にライブＬＤ制御（ステップＳ２１０）をさらに行うことができる。すなわち、放送局にとっては、前端において誤って入力された放送番組が転送されるとしても、最終端において探し出すようにライブＬＤ制御（ステップＳ２１０）をさらに設けてもよい。この場合、ライブＬＤ制御（ステップＳ２１０）においては、手動ラウドネス制御モード、半自動ラウドネス制御モードまたは自動ラウドネス制御モードを利用することができる。但し、好ましくは、２４時間常に自動的に処理できるように自動ラウドネス制御モードが利用可能である。

図１７は、オーディオ信号の大きさの制御による音質の劣化を補償するための方法に対する第３の実施形態を示す図である。

オーディオ信号の大きさを制御する方法は、上述したように、入力されるデータの条件に応じて種々に行われる。但し、オーディオ信号の大きさを目標値ＬＫＦＳ及び誤差範囲に合わせると、オーディオ信号の構成が平らであるという感じが強くなることがある。

これは、オーディオ信号の大きさの正規化による逆効果である。オーディオ信号の大きさの正規化の目的を達成しながら、正規化による逆効果を解決しなければ、オーディオ正規化の波及力及びユーザーの満足度が向上できない。

これにより、本発明の第３の実施形態によれば、上述した逆効果を補償するための聴覚的劣化補償モジュールをさらに備えていてもよい。すなわち、図１７を参照すると、デマルチプレクサーは、既存に録画された放送番組データまたはライブ放送番組データを分離してオーディオデータを選択することができる（ステップＳ３０１）。

また、正規化判断部は、オーディオデータが予め正規化したか否かを判断することができる（ステップＳ３０２）。

もし、オーディオデータに予め正規化が行われたならば（ステップＳ３０２：Ｙ）、正規化が行われたオーディオデータに対する今後の手続きを行うことができる（ステップＳ３０３）。

もし、オーディオデータに予め正規化が行われなかったならば（ステップＳ３０２：Ｎ）、オーディオデコーダーはオーディオデータを復号化させることができる（ステップＳ３０４）。そして、Ｌｉｖｅ Ａｕｄｉ Ｍｉｘｉｎｇ ＆ ＥＱなどの編集者制御を行うことができる（ステップＳ３０５）。なお、オーディオ信号の大きさ制御器は、復号化したオーディオデータを用いて、オーディオ信号の大きさの正規化を行うことができる（ステップＳ３０６）。

さらに、聴覚的劣化補償モジュールは、オーディオ信号の大きさ制御器において行われた正規化による逆効果を補償することができる（ステップＳ３０７）。なお、オーディオエンコーダーは、聴覚的劣化補償が行われたオーディオデータを符号化させることができる（ステップＳ３０８）。

そして、マルチプレクサーは、符号化したオーディオデータをデマルチプレクサーにおいて選択されていない他のデータと多重化させることができる（ステップＳ３０９）。

一方、図示の点線ブロック、例えば、ステップＳ３０１、ステップＳ３０４、ステップＳ３０８、ステップＳ３０９は、オーディオデータのフォーマットなどに応じて、且つ、場合によって省略可能である。例えば、オーディオデータの圧縮有無に応じて、ステップＳ３０４及びステップＳ３０８は省略可能である。

このような本発明の第３の実施形態によれば、オーディオ信号の大きさの正規化による聴感的オーディオ音質の劣化を極力抑えながらオーディオ信号の大きさを制御することができる。

一方、上述した方法によるオーディオ信号の大きさの正規化は、デジタル放送消費者にかなりの聴き取り環境の変化を引き起こす。また、オーディオ信号の大きさが正規化することにより、デジタル放送端末に新たに求められるサービス／機能が生成可能である。すなわち、デジタル放送端末において放送オーディオ音量に関する機能を提供することができる。

図１８は、端末においてオーディオ信号の大きさを制御する方法に対する第４の実施形態を示す図である。以下、図１８を説明するに当たって、図１７において説明した部分（正規化したオーディオ信号の転送に関する処理部分（ステップＳ３０１〜Ｓ３０１０）についての具体的な説明を省略して説明する。

図１８を参照すると、端末は、正規化したオーディオ信号を受信し（ステップＳ４０１）、受信されたオーディオ信号を処理して（ステップＳ４０２）、出力することができる（ステップＳ４０３）。ここで、オーディオ信号処理（ステップＳ４０２）は、例えば、ユーザー注文型により制御可能である。すなわち、デジタル放送においては、放送に関する情報がユーザーに提供され、ユーザーが持続的に端末を用いる場合、ユーザーの使用情報も累積される。このような情報に基づいて、ユーザー情報の分析が行われてユーザーに注文型オーディオ音響サービスを提供することができる。また、ユーザー設定情報により放送情報に基づくユーザー音響サービスが直ちに適用可能である。

図１９は、本発明の第１の実施形態によるオーディオ信号大きさの制御装置のオーディオ信号大きさの制御方法を具体的に示すフローチャートである。図１９を参照すると、まず、オーディオ信号が入力される（ステップＳ５０１）。ここで、入力されたオーディオ信号は、例えば、図１０から図１２に示す分離、復号化などの動作（省略可能な動作）によるオーディオ信号であってもよい。このようなオーディオ信号は、様々な波形を有していてもよく、例えば、図５の前端に示す（すなわち、正規化する前の）波形を有するオーディオ信号であってもよい。

この場合、オーディオ信号大きさ測定部は、図６から図８において説明されたオーディオ信号の大きさ測定方法を用いて、入力オーディオ信号のＬＫＦＳ（原値ＬＫＦＳ）を測定することができる（ステップＳ５０３）。

また、オーディオ信号大きさ測定部は、初期ピークＬＫＦＳを測定（ステップＳ５０２）することができる。ここで、初期ピークＬＫＦＳは、既に設定された初期ピーク重み付け値を用いて、入力されたオーディオ信号をスケーリングし、スケーリングされたオーディオ信号に基づいてＬＫＦＳを測定することにより測定可能である。

ここで、既に設定された初期ピーク重み付け値と、オーディオ信号及び映像信号を含む放送信号に制御情報の形で提供可能である。または、オーディオ信号大きさの制御装置の設計当時に既に格納された値として提供可能である。または、ユーザーからの入力により提供可能である。

一方、重み付け値算出部は、最初には（ステップＳ５０５：Ｙ）、目標値ＬＫＦＳ（ステップＳ５０４）と、測定された初期ピークＬＫＦＳ（初期ピーク重み付け値）（ステップＳ５０２）及び測定された入力オーディオ信号のＬＫＦＳ（原値ＬＫＦＳ）（ステップＳ５０３）を用いて、オーディオ信号の大きさ制御比（ラウドネス制御比）を算出することができる（ステップＳ５０６）。具体的に、重み付け値算出部は、下記の数式７を用いてオーディオ信号の大きさ制御比（ラウドネス制御比）を算出することができる。

ここで、オーディオ信号の大きさ制御比（ラウドネス制御比）は、ｄｉｆｆ１／ｄｉｆｆ２であってもよい。

また、重み付け値算出部は、算出されたオーディオ信号の大きさ制御比（ラウドネス制御比）を下記の数式８に適用して新たなピーク重み付け値を算出することができる（ステップＳ５０７）。

ここで、ｎｅｗ＿Ｐｅｅｋ＿ｗｅｉｇｈｔとは、新たなピーク重み付け値を意味し、ｐｒｅｖｉｏｕｓ＿Ｐｅｅｋ＿ｗｅｉｇｈｔとは、ｎｅｗ＿Ｐｅｅｋ＿ｗｅｉｇｈｔの算出前に用いたピーク重み付け値を意味し、ｎｅｗ＿ｗｅｉｇｈｔとは、数式８において算出された重み付け値を意味する。例えば、上述した数式７及び８によれば、最初には（ステップＳ５０５：Ｙ）、初期ピーク重み付け値に新たな重み付け値を乗算して、新たなピーク重み付け値を算出することができる。

一方、数式８によれば、原値ＬＫＦＳとピークＬＫＦＳとの間の差分が原値ＬＫＦＳと目標値ＬＫＦＳとの間の差分よりも小さな場合には、以前のピーク重み付け値をデクリメントして新たなピーク重み付け値を算出し、原値ＬＫＦＳとピークＬＫＦＳとの間の差分が原値ＬＫＦＳと目標値ＬＫＦＳとの間の差分よりも大きな場合には、以前のピーク重み付け値をインクリメントして新たなピーク重み付け値を算出することができる。

このような数式８においては、デクリメントのための重み付け値としては０．９、インクリメントのための重み付け値としては１．１を用いたが、このような重み付け値に限定されるものではなく、様々な重み付け値が使用可能である。例えば、より細かいオーディオ信号の大きさの調節のために、デクリメントのための重み付け値としては０．９９、インクリメントのための重み付け値としては１．０１が使用可能である。

一方、ここで、目標値ＬＫＦＳは、世界のいくつかの国が規定及び法案で定めた目標値ＬＫＦＳに応じて異なる。例えば、図５の後端に示す（すなわち、正規化した後）ように、目標値ＬＫＦＳは２４ＬＫＦＳであってもよい。このような目標値ＬＫＦＳは、オーディオ信号及び映像信号を含む放送信号に制御情報の形式で提供可能である。または、オーディオ信号大きさの制御装置の設計当時に既に格納された値として提供可能である。または、ユーザーからの入力により提供可能である。

一方、オーディオ信号大きさ制御部は、上述した動作により算出された新たなピーク重み付け値を用いてオーディオ信号の大きさを制御することができる。具体的に、オーディオ信号大きさ制御部は、算出された新たなピーク重み付け値を用いて入力されたオーディオ信号（ステップＳ５０１）をスケーリングすることにより、オーディオ信号の大きさを制御することができる（ステップＳ５０８）。

また、オーディオ信号大きさ測定部は、新たなピーク重み付け値に応じてオーディオ信号の大きさが制御されたオーディオ信号（ステップＳ５０８）のＬＫＦＳ（新たなピークＬＫＦＳ）を測定することができる（ステップＳ５０９）。

一方、オーディオ信号大きさ制御部は、目標値ＬＫＦＳ（ステップＳ５０４）と測定された新たなピークＬＫＦＳ（ステップＳ５０９）を比較して、ＬＫＦＳ誤差を算出することができる（ステップＳ５１１）。

そして、オーディオ信号大きさ制御部は、ＬＫＦＳ誤差（Ｄ）と既に設定された誤差範囲（Ｔ）を比較することができる（ステップＳ５１２）。例えば、目標値ＬＫＦＳとオーディオ信号の大きさの誤差範囲が２４ＬＫＦＳ（目標値ＬＫＦＳ）＋／−２ｄＢ（誤差範囲）である場合、目標値ＬＫＦＳと新たなピークＬＫＦＳとの間の差分が誤差範囲よりも大きいか否かを判断することができる。このような既に設定された誤差範囲（ＬＫＦＳ誤差範囲）（ステップＳ５１０）は、オーディオ信号及び映像信号を含む放送信号に制御情報の形式で提供可能である。または、オーディオ信号大きさの制御装置の設計当時に既に格納された値として提供可能である。または、ユーザーからの入力により提供可能である。

もし、目標値ＬＫＦＳと新たなピークＬＫＦＳとの間の差分が誤差範囲よりも小さな場合（ステップＳ５１３：Ｙ）、オーディオ信号大きさ制御部は、新たなピーク重み付け値に応じて、オーディオ信号の大きさが制御されたオーディオ信号を出力することができる。

もし、目標値ＬＫＦＳと新たなピークＬＫＦＳとの間の差分が誤差範囲よりも大きな場合（ステップＳ５１３：Ｎ）、オーディオ信号大きさ制御部は、上述した制御動作を繰り返し行うように制御することができる。ここで、上述した制御動作を繰り返し行う場合、重み付け値算出部は最初ではないため（ステップＳ５０５：Ｎ）、目標値ＬＫＦＳ（ステップＳ５０４）と、測定された新たなピークＬＫＦＳ（ステップＳ５０９）及び測定された原値ＬＫＦＳ（ステップＳ５０３）を用いて、新たなオーディオ信号の大きさ制御比（ラウドネス制御比）を算出することができる（ステップＳ５０６）。この場合、重み付け値算出部は、上述した数式７を用いてラウドネス制御比を算出することができる。また、重み付け値算出部は、算出されたオーディオ信号の大きさ制御比（ラウドネス制御比）を上述した数式８に適用して新たなピーク重み付け値を算出することができる（ステップＳ５０７）。すなわち、オーディオ信号の大きさが目標値ＬＫＦＳ及び誤差範囲を満たすまで、上述した動作を繰り返し行うことができる。

一方、本発明の第１の実施形態による入力オーディオ信号（ステップＳ５０１）は、予め製作された放送番組に対するオーディオ信号であるが、放送番組の開始から終了までに対するオーディオ信号であってもよい。これにより、本発明の第１の実施形態によれば、放送番組の開始から終了までに対するオーディオ信号のオーディオ信号の大きさ（原値ＬＫＦＳ）に基づいて、オーディオ信号の大きさを制御することができる。

一方、出力されたオーディオ信号（ステップＳ５１３）には、図１０から図１２に示す符号化動作、多重化動作（省略可能）などが行われてもよい。

このような本発明の第１の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を製作する製作者側、または、製作されたオーディオ信号を供給する供給者側に配設または実行可能である。または、本発明の第１の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を提供されて出力するユーザー側（例えば、ＭＰ３プレーヤーなどの携帯用マルチ機器）に配設または実行可能である。

上述した本発明の第１の実施形態によれば、録画及び予め製作された放送番組に対してオーディオ信号の大きさを規格に合うように自動的に制御することができる。

図２０は、ＩＴＵ−Ｒ１７７０−２において言及されたオーディオゲーティング方式が追加されたオーディオ信号の大きさ測定方法を説明するための図である。ここで、オーディオゲーティング方式は、図２０に示すように、ゲートブロック１に対するＬＫＦＳを測定し、重畳及び移動方式を適用して、ゲートブロック２に対するＬＫＦＳを測定し、重畳及び移動方式を繰り返し行ってゲートブロック別のＬＫＦＳを測定し、測定されたゲートブロックのＬＫＦＳが臨界ＬＫＦＳ（ＩＴＵ−Ｒ１７７０−２においては、−７０ＬＫＦＳ）以下であれば、一括処理して、ゲーティングが適用されたオーディオ信号に対するオーディオ信号の大きさの測定を行うことができる。

ここで、上述したゲートブロックに対し、ＩＴＵ−Ｒ１７７０−２においては、ゲートブロックは０．４ｓのゲートサイズを有し、７５％重畳される構造を有している。

一方、リアルタイム／ライブ環境においては、オーディオ信号がそれぞれのゲートブロック別に取得されるが、それぞれのゲートブロック別のＬＫＦＳが、上述した数式４及び５により測定され、それぞれのゲートブロック別にオーディオ信号の大きさを制御するための新たなピーク重み付け値が、上述した図１９の方法により算出される。但し、それぞれのゲートブロック別に算出された新たなピーク重み付け値を用いて、それぞれのゲートブロック別にオーディオ信号の大きさを制御すれば、隣り合うゲートブロック間の重み付け値の差分により、不連続的な音が発生する虞がある。

このような問題を解消するために、本発明の第５の実施形態によるオーディオ信号大きさの制御方法は、下記の処理を行うことができる。

図２１は、本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明するためにゲートハンドオーバーを説明する図である。図２１を参照すると、ゲートブロックの非重畳領域のゲートサイズは、例えば、４８００サンプルであってもよい。また、ＡＡＣ、ＡＣ−３などのコーデックを用いる場合、一回に受け取るデータサイズを決定する一枚のフレームのサイズは、１０２４サンプルであってもよい。この場合、一枚のフレームが二つのゲートブロックに跨るゲートハンドオーバーが発生する虞がある。

図２２は、本発明の第５の実施形態によるオーディオ信号大きさの制御方法を説明する図である。図２２を参照すると、本発明の第５の実施形態によるオーディオ信号大きさの制御方法は、ゲートハンドオーバーが発生するフレームからゲート重み付け値を補間してオーディオ信号の大きさを制御することができる。ここで、ゲート重み付け値は、それぞれのゲートブロックに対して上述した図１９の方法を用いて算出した新たなピーク重み付け値であってもよい。

このような本発明の第５の実施形態によれば、ゲート重み付け値の補間によるゲート遅延が発生しない。すなわち、ゲートハンドオーバーが発生するフレームにおいてデータが受信される時点では、ゲートハンドオーバーが発生するフレームが跨る二つのゲートブロックに対するゲート重み付け値を予め算出することができるため、予め算出された二つのゲートブロックに対するゲート重み付け値を用いて、ゲートハンドオーバーが発生するフレーム時点から遅延なしにゲート重み付け値を補間することができるためである。

一方、本発明の第５の実施形態によれば、ゲート重み付け値を補間するために、様々な補間方法を用いることができる。例えば、この線形補間を用いることができる。これについては、図２３を参照して具体的に説明する。

図２３は、本発明の第５の実施形態による補間の一例である線形補間を説明する図である。図２３を参照すると、下記の数式のような線形補間を用いることができる。

数式９において、Ｗ_Ｇ１は、ゲートブロック１のゲート重み付け値であり、Ｗ_Ｇ２は、ゲートブロック２のゲート重み付け値であり、ｉは、補間するゲート重み付け値の数であり、ＩｎｔｅｒＦｒａｍｅは、補間開始フレームから種類フレームまでのフレーム枚数である。

例えば、ＩｎｔｅｒＦｒａｍｅの数を３にして前記数式９に適用すれば、図２２に示すように、二枚のフレームに適用されるゲート重み付け値（赤色で示す重み付け値：Ｗ_１、Ｗ２）が算出可能である。すなわち、ＩｎｔｅｒＦｒａｍｅの数の選択的に調節して、ゲート重み付け値が補間される数を可変的に制御することができる。

一方、上述した本発明の第５の実施形態によるゲート重み付け値補間方法は、ゲート重み付け値を用いてオーディオ信号の大きさを制御する方法にいずれも適用可能である。例えば、既存に録画された放送番組に適用されてオーディオ信号の大きさを制御することができ、ライブ放送番組に適用されてオーディオ信号の大きさを制御することができる。

また、本発明の第５の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を製作する製作者側、または、製作されたオーディオ信号を供給する供給者側に配設または実行可能である。または、本発明の第５の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を提供されて出力するユーザー側（例えば、ＭＰ３プレーヤーなどの携帯用マルチ機器）に配設または実行可能である。

このような本発明の第５の実施形態によれば、ゲートハンドオーバーが発生するフレームからゲート重み付け値を補間して、ゲート重み付け値の補間によるゲート遅延が発生することを防ぐことができる。

また、ゲート重み付け値が補間される数を可変的に制御することができる。

図２４は、本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報の一例を示す図である。ここで、半自動ラウドネス制御モードは、制御のための重み付け値を人間が手動で選択するという点は、手動ラウドネス制御モードと同様であるが、半自動ラウドネス制御モードにおいてはオーディオ信号の大きさの制御に必要な情報を人間が利用できるように、上述した情報を提供するという点で相違点がある。

このような半自動ラウドネス制御モードにおいて提供されるオーディオ信号の大きさの制御のための情報は、図２４に示すように、瞬間ＬＫＦＳ６０１、短期（３ｓ）ＬＫＦＳ６０２、集積ＬＫＦＳ６０３、再生ＬＫＦＳ６０４、残留ＬＫＦＳ６０５、推奨制御要因６０６のうちの少なくとも一つを備えていてもよい。

ここで、瞬間ＬＫＦＳ６０１は、ゲートブロックに入力されたオーディオ信号に対するＬＫＦＳ（例えば、図２０に示すように、０．４Ｓの間に入力されたオーディオ信号に対するＬＫＦＳ）、短期（３ｓ）ＬＫＦＳ６０２は、３Ｓの間に入力されたオーディオ信号に対するＬＫＦＳ、集積ＬＫＦＳ６０３は、これまで入力されたオーディオ信号に対するＬＫＦＳ、再生ＬＫＦＳ６０４は、これまで出力されたオーディオ信号に対するＬＫＦＳ、残留ＬＫＦＳ６０５は、目標値ＬＫＦＳに比べての再生ＬＫＦＳ６０４の不足分または超過分のＬＫＦＳ、推奨制御要因６０６は、残留ＬＫＦＳ６０５を用いて算出したオーディオ信号の大きさを制御するための重み付け値であってもよい。

このような瞬間ＬＫＦＳ６０１、短期（３ｓ）ＬＫＦＳ６０２、集積ＬＫＦＳ６０３は、上述した数式４及び５を用いて測定することができる。

一方、再生ＬＫＦＳ６０４は、出力されたオーディオ信号（すなわち、上述した図２２から図２３の動作に応じて、オーディオ信号の大きさが制御されてオーディオ再生装置に出力可能である。）、すなわち、オーディオ信号の大きさが制御されたオーディオ信号であるという点で、オーディオ信号の大きさが制御されていない入力オーディオ信号に対するＬＫＦＳである集積ＬＫＦＳ６０３とは異なる。

このような再生ＬＫＦＳ６０４は、下記の数式１０を用いて算出することができる。

ここで、ｘは、ＬＫＦＳ測定アルゴリズムに定義された二つのフィルターを通過した信号に対してこれまで出力されたオーディオ信号であり、Ｍは、ゲートブロックのサンプル数であり、Ｎは、これまでオーディオ信号が入力されたゲートブロックの数である。

すなわち、図２０を参照すると、リアルタイム／ライブ環境においては、毎回ゲートブロックごとにオーディオ信号が入力されるため、数式１０に示すように、これまで出力されたオーディオ信号の平均（ｐｌａｙｅｄ＿ｍｅａｎ）を持続的に演算しなければならない。これにより、平均（ｐｌａｙｅｄ＿ｍｅａｎ）が得られると、ＩＴＵ−Ｒ１７７０−２に言及された数式に適用して再生ＬＫＦＳ６０４を測定することができる。

一方、上述した数式１０のように計算する場合、オーディオ信号に対するデータが多くなると、Ｎ値がかなり大きくなるため、固定点プロセッサーの場合、ｐｒｅｖｉｏｕｓ＿ＭｅａｎとＮ−１との間の乗算の結果がプロセッサー範囲を超える場合がある。なお、浮動点プロセッサーにおいてもかなり大きな値になる。プロセッサーの処理及びメモリの格納容量に負担が生じる虞がある。

このような問題を補うために、本発明の一実施形態によれば、下記の数式１１に示すように、Ｎを乗算する方式ではなく、Ｎを除算する方式を用いて、これまで出力されたオーディオ信号に対する平均（ｐｒｅｓｅｎｔ＿ｍｅａｎ）を算出することができる。この場合、算出されたｐｒｅｓｅｎｔ＿ｍｅａｎを上述した数式１０のｐｌａｙｅｄ＿ｍｅａｎに適用することにより、再生ＬＫＦＳ６０４を測定することができる。この場合、プロセッサーの処理及びメモリの格納容量への負担が軽減される。

図２５は、本発明の第２の実施形態の半自動ラウドネス制御モードにおいて提供される情報のうちの推奨制御要因を算出する方法を示す図である。図２５を参照すると、下記の数式１２を用いて残留ＬＫＦＳ６０５を測定し、測定された残留ＬＫＦＳ６０５を用いて推奨制御要因６０６を算出することができる。

ここで、残留ＬＫＦＳ６０５は、再生ＬＫＦＳ６０４、目標値ＬＫＦＳ６０７、合計で出力されるオーディオ信号の時間（Ｔｏｔａｌ Ｐｌａｙ Ｔｉｍｅ（Ｔｓ））６０８、現在出力されたオーディオ信号の時間（Ｐｌａｙｅｄ Ｔｉｍｅ（Ｐｓ））６０９を用いて算出することができる。このような数式１２を参照すると、残留ＬＫＦＳ６０５とは、目標値ＬＫＦＳに比べての再生ＬＫＦＳ６０４の不足分または超過分のＬＫＦＳを意味する。

推奨制御要因６０６は、残留ＬＫＦＳ６０５を用いて算出したオーディオ信号の大きさを制御するための重み付け値であってもよい。すなわち、残留ＬＫＦＳ６０５とは、目標値ＬＫＦＳ６０７に比べての再生ＬＫＦＳ６０４の不足分または超過分のＬＫＦＳを意味するが、重み付け値算出部は、残留ＬＫＦＳ６０５を用いて、合計で出力されるオーディオ信号のオーディオ信号の大きさが目標値ＬＫＦＳ６０７になるための重み付け値を算出することができる。

一方、上述した瞬間ＬＫＦＳ６０１、短期（３ｓ）ＬＫＦＳ６０２、集積ＬＫＦＳ６０３、再生ＬＫＦＳ６０４、残留ＬＫＦＳ６０５、推奨制御要因６０６などの半自動ラウドネス制御モードにおいては、オーディオ信号の大きさ制御に必要な情報は、オーディオ信号大きさの制御装置に配設された表示画面を介して提供可能である。

このような本発明の実施形態によれば、オーディオ信号の大きさの制御に必要な情報を提供することにより、リアルタイム／ライブ環境においてユーザーがより手軽にオーディオ信号の大きさを制御することができる。

図２６は、本発明の第２の実施形態の自動ラウドネス制御モードにおけるオーディオ信号大きさの制御方法を示す図である。ここで、自動ラウドネス制御モードは、人間の手動制御なしに自動的にオーディオ信号の大きさを目標値オーディオ信号の大きさに整合されるように制御するモードであってもよい。このような自動ラウドネス制御モードにおいては、各ゲートブロック別に適用されるべきゲート重み付け値を自動的に算出しなければならない。

このために、本発明の一実施形態による自動ラウドネス制御モードにおいては、重み付け値算出部は、それぞれのゲートブロック別にリアルタイム取得された入力オーディオ信号の大きさ（原値ＬＫＦＳ）、それぞれのゲートブロック別にリアルタイムにて取得された入力オーディオ信号にピーク重み付け値を用いてスケーリングしたオーディオ信号の大きさ（ピークＬＫＦＳ）、入力されたオーディオ信号の大きさ（原値ＬＫＦＳ）をマッピング曲線に適用して算出されたマッピングＬＫＦＳを用いて、ゲート別にオーディオ信号をスケーリングするためのゲート重み付け値を自動的に算出し、オーディオ信号大きさ制御部は、算出されたゲート重み付け値を用いてオーディオ信号の大きさを制御することができる。

ここで、マッピング曲線は、オーディオ信号の開始から終了までに対して入力された全体のオーディオ信号のオーディオ信号の大きさを目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）（例えば、−２４ＬＫＦＳ）にしながら、出力されるオーディオ信号の全体的なサイズバラツキは維持するようにした曲線であってもよい。すなわち、入力された全体のオーディオ信号のオーディオ信号の大きさを目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）（例えば、−２４ＬＫＦＳ）にする正規化作業が行われると、それぞれのゲートブロック別にオーディオ信号の大きさが小さなブロックはサイズが大きくなり、サイズが大きなブロックはサイズが小さくなるが、人間の耳に伝達される音の大きさのバラツキが小さくなって問題になる虞がある。これにより、本発明の一実施形態によれば、出力されるオーディオ信号の全体的なサイズバラツキを維持するマッピング曲線を用いることにより、人間の耳に伝達される音の大きさのバラツキを維持することができる。

一方、重み付け値算出部は、上述した数式７の目標値ＬＫＦＳにマッピングＬＫＦＳを適用してオーディオ信号の大きさ制御比（ラウドネス制御比）であるｄｉｆｆ１／ｄｉｆｆ２を算出し、算出されたオーディオ信号の大きさ制御比（ラウドネス制御比）を数式８に適用してゲート重み付け値（新たなピーク重み付け値）を算出することができる。

また、オーディオ信号大きさ制御部は、それぞれのゲートブロック別に算出されたオーディオ信号をスケーリングするためのゲート重み付け値を用いてオーディオ信号の大きさを制御することができる。このような動作に関する具体的な説明は、図１９において上述したため省略する。

図２７は、図２６によるマッピングオーディオ信号の大きさ（マッピングＬＫＦＳ）を算出するためのマッピング曲線を設計するための方法を示す図である。ここで、マッピング曲線は、それぞれのゲートブロック別に入力されたオーディオ信号の大きさ（原値ＬＫＦＳ）とマッピングオーディオ信号の大きさ（マッピングＬＫＦＳ）との間の関係を示す曲線である。図２７（ａ）を参照すると、マッピング曲線を設計するために、主要ＬＫＦＳ領域と非主要ＬＫＦＳ領域（低いＬＫＦＳ領域）を分離してマッピング曲線を設計することができる。

ここで、非主要ＬＫＦＳ領域（低いＬＫＦＳ領域）は、人間の耳に小さく伝達される入力オーディオ信号の大きさが既に設定された値よりも小さなＬＫＦＳ領域であってもよく、主要ＬＫＦＳ領域は、人間の耳に大きく伝達される入力オーディオ信号の大きさが既に設定された値よりも大きなＬＫＦＳ領域であってもよい。

すなわち、図２７（ｂ）を参照すると、主要ＬＫＦＳ領域は、可変重み付け値に基づいてマッピング曲線を設計し、非主要ＬＫＦＳ領域は、線形状にマッピング曲線を設計することができる。

ここで、主要ＬＫＦＳ領域に対するマッピング曲線は、下記の数式１３を用いて設計することができる。

ここで、ｉＬＫＦＳは、ゲート別に入力されるオーディオ信号の大きさ（原値ＬＫＦＳ）であり、ｏＬＫＦＳは、ゲート別にマッピングされたオーディオ信号の大きさ（マッピングＬＫＦＳ）であり、ｗは、重み付け値である。これにより、主要ＬＫＦＳ領域に対する可変マッピング曲線を生成することができる。このようなマッピング曲線は、マッピング曲線を制御して調節可能である。

このような本発明の一実施形態によれば、入力されたオーディオ信号をマッピング曲線を用いて正規化させて出力することにより、正規化して出力されるオーディオ信号が入力されたオーディオ信号の大きさのバラツキを維持することができ、これにより、人間の耳に伝達される音の大きさのバラツキを維持することができる。

一方、上述した動作により入力オーディオ信号の大きさを目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）と誤差範囲に正規化させて出力すれば、出力されたオーディオ信号の構成が平らであるという感じが強くなる虞がある。このような部分は、オーディオ信号の大きさの正規化による逆効果である。このため、オーディオ信号の大きさの正規化という目的を達成しながら、オーディオ信号の大きさの正規化による逆効果を解消しなければ、オーディオ信号の大きさの正規化の波及力及びユーザーの満足度が向上できない。

また、図１７のステップＳ３０５に示すオーディオミックス及びＥＱは、オーディオ編集者が制御する部分であり、オーディオ編集者は、自分の感じ及び芸術性に基づいて放送オーディオ信号を編集／修正することができる。さらに、このようにして編集／修正されたオーディオ信号が、直ちにオーディオ信号大きさ制御モジュールに転送されれば、オーディオ信号大きさ制御モジュールは、目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）よりも高い部分は低めて低い部分を高めたり、全体的にオーディオ信号の大きさを調節したりして、目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）に正規化させることができる。なお、オーディオ信号大きさ制御モジュールは、オーディオ信号の大きさが制御されたオーディオ信号を出力する。但し、このような方式は、正規化を行うことにより、オーディオ編集者により編集／修正された音量のバラツキなどを消去または低減することができる。

これにより、本発明の第３の実施形態によれば、このような問題を解消するために二種類の方案を提供する。

図２８は、本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの一つの方案を具体的に示す図である。図２８を参照すると、本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの一つの方案は、オーディオ信号の大きさの正規化７０８を行う前に、オーディオ信号の大きさの正規化により発生する音質劣化を予め考慮して補償する方案であってもよい。

具体的に、放送信号に対するデータ（オーディオデータ、映像データ及び放送データ（放送に関するメタデータであり、例えば、番組ジャンルデータなど）を含む）が入力されれば、デフォーマッター７０１は、入力された放送信号に対するデータから番組ジャンルデータ７０２及びオーディオデータを分離することができる。もし、入力されたデータが番組ジャンルデータを含んでいる場合、既に格納されたジャンル別の帯域利得テーブル７０３のうち分離された番組ジャンルデータに対応する帯域利得テーブルを検出することができる。また、検出された帯域利得テーブルに対応する帯域利得を多帯域制御利得生成モジュール７０６に転送することができる。但し、入力されたデータが番組ジャンルデータを含んでいない場合、番組ジャンルデータに対応する帯域利得テーブルを考慮しなくてもよい。

一方、分離されたオーディオデータが圧縮されたデータである場合、オーディオ復号化器７０４により復号化可能である。また、正規化劣化補償帯域利得生成モジュール７０５は、復号化したオーディオデータを分析して、各帯域の補償利得を決定することができる。ここで、正規化劣化補償帯域利得生成モジュール７０５は、既に定義されたテーブルを用いて各帯域の補償利得を決定することができる。さらに、決定された補償利得を多帯域制御利得生成モジュール７０６に転送することができる。但し、分離されたオーディオデータが圧縮されたデータではない場合、オーディオ復号化ステップは省略可能である。

一方、多帯域制御利得生成モジュール７０６は、正規化劣化補償帯域利得生成モジュール７０５において決定された補償利得とジャンル別帯域利得テーブル７０３において決定されたジャンルによる利得を融合して多帯域の利得を算出することができる。

また、多帯域音量制御モジュール７０７は、復号化したオーディオデータを多帯域に変換することができる。さらに、多帯域音量制御モジュール７０７は、復号化したオーディオデータが変換された多帯域に、オーディオ多帯域制御利得生成モジュール７０６において算出された多帯域利得を適用することができる。なお、多帯域音量制御モジュール７０７は、適用された多帯域をオーディオデータに再び変換することができる。

この場合、変換されたオーディオデータは、正規化による劣化が予め考慮されたオーディオデータであってもよい。

一方、このような変換されたオーディオデータは、オーディオ音量正規化モジュール７０８により正規化する。ここで、オーディオ音量正規化モジュール７０８は、上述した本発明の第１及び第２の実施形態に記載の重み付け値を算出してオーディオ信号の正規化動作を行うモジュールであってもよい。

図２９は、本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの他の方案を具体的に示す図である。図３０は、図２９をさらに具体的に示す図である。図２９及び図３０を参照すると、本発明の第３の実施形態によるオーディオ信号大きさの制御方法のうちの他の方案は、オーディオ信号の大きさの正規化を行った後に、オーディオ信号の大きさの正規化により発生した音質の劣化を補償する方案であってもよい。

具体的に、放送信号に対するデータ（オーディオデータ、映像データ及び放送データ（放送に関するメタデータであり、例えば、番組ジャンルデータなど）を含む）が入力されれば、デフォーマッター８０１は、入力された放送信号に対するデータから番組ジャンルデータ８０２及びオーディオデータを分離することができる。もし、入力されたデータが番組ジャンルデータを含んでいる場合、既に格納されたジャンル別の帯域利得テーブル８０３のうち、分離された番組ジャンルデータに対応する帯域利得テーブルを検出することができる。さらに、検出された帯域利得テーブルに対応する帯域利得を多帯域制御利得生成モジュール８０６に転送することができる。ここで、ジャンル別の帯域利得テーブルは、入力される放送番組のジャンルに応じて、音声領域を強調したり、背景領域を強調したりするなどの利得値を有するテーブルであってもよい。但し、入力されたデータが番組ジャンルデータを含んでいない場合、番組ジャンルデータに対応する帯域利得テーブルを考慮しなっくてもよい。

一方、分離されたオーディオデータが圧縮されたデータである場合、オーディオ復号化器８０４により復号化可能である。また、オーディオ音量正規化利得生成モジュール８０５は、復号化したオーディオデータを用いて正規化のための利得を算出することができる。さらに、算出された正規化のための利得を多帯域制御利得生成モジュール８０６に転送することができる。ここで、オーディオ音量正規化利得生成モジュール８０５は、上述した本発明の第１及び第２の実施形態に記載の重み付け値を算出してオーディオ信号の正規化動作を行うモジュールであってもよい。ここで、分離されたオーディオデータが圧縮されたデータではない場合、オーディオ復号化ステップは省略可能である。

一方、多帯域制御利得生成モジュール８０６は、オーディオ音量正規化利得生成モジュール８０５において算出された正規化利得とジャンル別の帯域利得テーブル８０３において算出されたジャンルによる利得を融合して多帯域の利得を算出することができる。

また、多帯域音量制御モジュール８０７は、復号化したオーディオデータを多帯域に変換することができる。さらに、多帯域音量制御モジュール８０７は、復号化したオーディオデータが変換された多帯域に、多帯域制御利得生成モジュール８０６において算出された多帯域利得を適用することができる。なお、多帯域音量制御モジュール８０７は、適用された多帯域をオーディオデータに再び変換することができる。

以下、図３０を参照して、図２９の動作についてより詳細に説明する。但し、図３０を説明するに当たって、図２９において既に説明された動作についての具体的な説明は省略する。

図３０を参照すると、オーディオ音量正規化利得生成モジュール９０５は、オーディオ正規化のための利得を演算するブロックであり、入力されたオーディオ信号の大きさを測定し、目標値オーディオ信号の大きさ（目標値ＬＫＦＳ）に合わせるための利得値を演算することができる。この場合、利得を演算する方法としては、リアルタイム／ライブ環境においては、手動、半自動及び自動モードを用いた取得が挙げられる。

一方、多帯域制御利得生成モジュール９０６は、オーディオ音量正規化利得生成モジュール９０５において算出された正規化利得とジャンル別の帯域利得テーブル９０３において算出されたジャンルによる利得を融合して多帯域の利得を算出することができる。

例えば、多帯域制御利得生成モジュール９０６は、［ｎＧ_ｉ＝ｇ＊Ｇ_ｉ、ｉ＝１〜多帯域数］に適用して多帯域の利得を算出することができる。

ここで、ｇは、オーディオ音量正規化利得生成モジュール９０５において算出された正規化利得であり、Ｇ_ｉは、ジャンル別の帯域利得テーブル９０３において算出されたジャンルによる利得であり、ｎＧ_ｉは、正規化及びジャンルが両方とも考慮された多帯域の利得であってもよい。

一方、復号化したオーディオデータは、多帯域変換分析モジュール９０７において、ＱＭＦまたは多重フィルターリングなどの技法により多帯域信号に変換可能である。また、多帯域重み付けモジュール９０８は、変換された多帯域信号に、多帯域制御利得生成モジュール９０６において算出された多帯域の利得を適用することができる。さらに、利得が適用された多帯域信号は、多帯域変換合成モジュール９０９によりオーディオデータに変換可能である。

このような本発明の第３の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を製作する製作者側、または、製作されたオーディオ信号を供給する供給者側に配設または実行可能である。または、本発明の第３の実施形態によるオーディオ信号大きさの制御装置または方法は、オーディオ信号を提供されて出力するユーザー側（例えば、ＭＰ３プレーヤーなどの携帯用マルチ機器）に配設または実行可能である。

一方、本発明の正規化による聴覚的劣化補償方法によれば、人間の聴覚が低帯域に敏感であるのに対し、高帯域に鈍いという点と、正規化に伴いオーディオ信号の大きさのバラツキが低減されるという点を考慮した補完フィルターリングを行うことができる。これにより、正規化して出力されるオーディオ信号における、オーディオ信号の構成が平らになる問題、オーディオ編集者により編集／修正された音量のバラツキなどが消去または低減される問題などのオーディオ信号の大きさの正規化による逆効果を解消することができる。

一方、上述した動作に応じて、外部（例えば、放送局）から受信されるオーディオ信号が正規化したオーディオ信号である場合、これを出力する端末においては、受信された正規化オーディオ信号を出力オーディオ信号として出力する機能が必要になる場合がる。これについては、図３１から図３３を参照して具体的に説明する。

図３１は、本発明の第４の実施形態による端末装置のオーディオ信号の出力方法を具体的に示す図である。ここで、端末装置は、スマートフォン、タブレットコンピューター、個人情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ポータブルマルチメディアプレーヤー（ＰＭＰ：Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、デジタルテレビ、デスクトップコンピューター、ノート型パソコンなどのように人間の耳に提供されるオーディオ信号を出力する様々な装置により実現可能である。図３１を参照すると、端末装置は、外部から放送ストリーミングデータを受信することができる（１００１）。また、端末装置は、受信された放送ストリーミングデータを分離して（１００２）、番組ジャンルデータ１００４、オーディオ信号の正規化レベルデータ１００５及びオーディオデータを分離することができる。

ここで、番組ジャンルデータは、受信された放送のジャンル（例えば、スポーツ、ドラマ、ニュース、映画、音楽など）を示すデータであってもよい。このような番組ジャンルデータは、図３４及び図３５において説明されるジャンル別の好みボリュームの推奨及びジャンル別の好みボリュームの学習機能において使用可能である。

また、オーディオ信号の正規化レベルデータは、各国の放送法と連携されて、放送ストリーミングデータに含まれてもよく、省略してもよい。ここで、オーディオ信号の正規化レベルデータは、放送ストリーミングデータに含まれているオーディオデータが正規化したオーディオデータである場合、正規化したオーディオ信号の大きさを示すデータ（例えば、−２４ＬＫＦＳ）であってもよい。または、放送ストリーミングデータに含まれているオーディオデータが正規化していないオーディオデータである場合、端末装置において正規化を行って出力するようにするための正規化したオーディオ信号の大きさを示すデータであってもよい。

さらに、オーディオデータは、各国の放送法により、外部（例えば、放送局）から正規化して転送されるオーディオデータであってもよく、正規化せずに転送されて端末装置において正規化が行われなければならないオーディオデータであってもよい。もし、正規化せずに転送される場合、端末装置は、上述したオーディオ信号正規化方法に従い入力されるオーディオ信号を正規化させて出力することができる。

一方、端末装置は、分離されたオーディオデータを復号化させてオーディオ信号大きさ制御モジュール１００７に転送することができる。この場合、オーディオ信号大きさ制御モジュール１００７は、オーディオ信号に、「ユーザー選択ボリューム値」を適用して、制御されたオーディオ信号を出力することができる。

このような「ユーザー選択ボリューム値」は、端末装置の出力オーディオ信号の大きさを制御する制御装置（例えば、リモコンなど）を介して入力されてもよく、端末装置（例えば、デジタルテレビ）に配設されている様々なボタンを介して入力されてもよい。

例えば、「ユーザー選択ボリューム値」は、リモコンに配設されているボリュームアップボタン、ボリュームダウンボタン、デフォルトボタンを介して入力可能である。ここで、デフォルトボタンは、入力されたオーディオ信号を、各国の放送法で定めた正規化オーディオ信号の大きさに制御して出力するようにするためのボタンであってもよい。

このようなオーディオ信号大きさ制御モジュール１００７の具体的な動作については、図３２を参照して具体的に説明する。

図３２は、オーディオ信号大きさ制御モジュールの動作を具体的に示す図である。外部（例えば、放送局）から入力されるオーディオ信号が正規化（例えば、−２４ＬＫＦＳ、米国）したオーディオ信号である場合、図３２（ａ）に示すように、入力されたオーディオ信号に「ユーザー選択ボリューム値」に基づいて調節されたオーディオ増幅器の利得値を適用して、大きさが制御された出力オーディオ信号を生成することができる。例えば、デフォルトボタンが選択されれば、オーディオ増幅器の利得値を１として、入力されたオーディオ信号をそのまま出力することにより、各国の法規に定められた正規化したオーディオ信号の大きさとして出力することができる。または、ボリュームアップボタン、ボリュームダウンボタンが選択されれば、正規化したオーディオ信号の大きさよりも大きいかあるいはそれよりも小さくオーディオ信号の大きさを調節して出力することができる。

あるいは、米国の場合には、ＡＣ−３に基づいて、ＡＴＳＣにおいてはメタデータのダイヤルノームにアンカーエレメントのオーディオ音量値を格納することができる。この場合、図３２（ｂ）に示すように、アンカーエレメントＬＫＦＳを目標値ＬＫＦＳに整合させる利得を計算してデジタルオーディオチップ増幅器の利得を調節することができる。

一方、端末装置は、ユーザーから入力されたユーザー選択ボリューム値に対応する大きさを有するオーディオ信号を出力するために「ボリュームマッピングテーブル」を備えていてもよい。これについては、図３３を参照して具体的に説明する。

図３３は、本発明の第４の実施形態によるボリュームマッピングテーブルを具体的に示す図である。図３３を参照すると、「ボリュームマッピングテーブル１１０３」は、「オーディオ増幅器の利得値」と「ユーザー選択ボリューム値」との間の関係を示すテーブルであってもよい。例えば、「ボリュームマッピングテーブル１１０３」は、「ユーザー選択ボリューム値」が０から１０までの範囲に指定された場合、０から１０までボリュームごとに相当する「オーディオ増幅器の利得値」を定義しておくことができる。ここで、「オーディオ増幅器の利得値」のうち１はデフォルト値であり、端末装置に電源が入れられた場合には自動的に１に設定される。あるいは、端末装置を用いて放送を視聴する間にユーザーによりデフォルトボタンが選択されれば、「オーディオ増幅器の利得値」は自動的に１に設定される。

一方、端末装置は、リモコンを用いて選択した「ユーザー選択ボリューム値」を表示することができる。ここで、端末装置に表示されたボリューム値は、「オーディオ増幅器の利得値」または「ｄＢ」などの機械的な数値ではなく、ユーザーが見慣れている論理的な数値として表示されてもよい。例えば、端末装置のユーザー選択ボリューム値が０から１０まで定められている場合、デフォルトボタンを押下したときに４が表示され、ボリュームアップボタンを押下したときに４から１０まで段階的に表示され、逆に、ボリュームダウンボタンを押下すると、１０から段階的にデクリメントされるという方式により表示される。

このような本発明の一実施形態によれば、各国の放送法で定められたオーディオ信号の大きさを有する正規化オーディオ信号を手軽にユーザーに提供することができる。

一方、正規化したオーディオ信号が受信されれば、端末装置から出力される全ての放送のオーディオ信号の大きさの平均が等しくなる。すなわち、放送番組が端末装置において再生されるとき、出力されるオーディオ信号の大きさは絶対的な大きさとなる。このような特性を用いて、ユーザーが放送番組を視聴するときに選択するボリュームを推奨することができる。これについては、図３４及び図３５を参照して具体的に説明する。

図３４は、本発明の第４の実施形態によるジャンル別の好みボリュームの推奨及び学習機能を示す図である。図３４を説明するに当たって、図３１において既に説明された部分についての具体的な説明は省略する。

図３４を参照すると、端末装置は、再生中の放送番組に関する番組ジャンル情報１２０４と、再生中の放送番組に対するユーザー選択ボリューム値１２０７及びユーザー識別情報１２０９を用いて、番組ジャンル別の好みボリュームを学習（１２１１）することができる。

具体的に、ユーザー識別情報１２０９が提供可能な状態で、再生中の放送番組に関する番組ジャンル情報１２０４及び再生中の放送番組に対するユーザー選択ボリューム値１２０７が入力されれば、番組ジャンル別の好みボリュームを学習モジュール１２１１は、ユーザー識別情報に対応するユーザーに対する番組ジャンル別の好みボリュームを学習することができる。これにより、番組ジャンル別の好みボリュームを学習モジュール１２１１は、ユーザー識別情報に対応するユーザーに対する様々な番組ジャンルにおける好みボリュームを学習することができる。

一方、図３５に示すように、ユーザーが端末装置においてチャンネルやコンテンツの種類を変えたり電源を入れたりすると、番組ジャンル別の好みボリュームを学習モジュール１２１１は、好みボリューム情報を用いてユーザーにボリュームを推奨することができる（１２１２）。この場合、オーディオ信号大きさ制御モジュールは、推奨されたボリュームに対応する増幅器利得値を用いて、自動的にオーディオ信号の大きさを制御してもよく、ユーザーから承認するという旨の入力が受信される場合、オーディオ信号の大きさを制御してもよい。なお、制御されたオーディオ信号をユーザーが聴き取るように出力（１３０５）することができる。

一方、ユーザー識別情報が提供されていない場合には、ユーザー別の学習／推奨ではなく、端末装置の全体使用に対する学習及び推奨作業が行われてもよい。

すなわち、番組ジャンル別の好みボリューム学習構造は、下記の図に示す通りである。ユーザーに関する情報が提供されれば、ユーザー別の好みボリュームに対する学習が行われ、ユーザー情報がなければ、機器の全体を基準とする学習が行われる。

ここで、学習は、従来の学習アルゴリズムであるＨＭＭ、ＳＶＭ、神経網回路など様々なアルゴリズムを用いて行うことができる。

すなわち、従来の場合、「相対的なボリューム基準」に従い調節したが、本願発明の一実施形態によれば、各国の放送法で定めた「絶対基準」（目標値ＬＫＦＳ）に基づいて端末装置のボリュームを調節することができる。すなわち、音楽、スポーツ、ニュース、映画など特定の状況に対応する音響効果またはボリュームを絶対的な基準に従い提供することができる。なお、学習された絶対的なボリュームは、単一コンテンツまたは単一放送チャンネルにのみ限定されるものではなく、当該ローカル放送及びコンテンツの全体に対して一貫したボリュームが提供可能である。

このような本発明の一実施形態によれば、番組ジャンル別の好みボリューム学習が持続的に更新される構造を有しているので、ユーザー好みの経時的な変化も継続的な学習更新により考慮可能になる。

さらに、放送チャンネルを切り換えたときまたは端末に電源を入れたときに、再生される番組のジャンルに応じてユーザー好みボリュームを提供することにより、ユーザーに自分の好みに応じて最上のオーディオ効果を感じさせることができる。

図３６から図３８は、入力オーディオ信号の波形と正規化したオーディオ信号の波形を比較した図である。

図３６（ａ）は、ｐｏｐの入力オーディオ信号の波形、図３６（ｂ）は、ｐｏｐの正規化したオーディオ信号の波形を示す図である。図３６を参照すると、入力オーディオ信号の大きさは−２２．２３ＬＫＦＳであったが、上述した正規化動作が行われて正規化したオーディオ信号の大きさは−２２．７２ＬＫＦＳになって目標値オーディオ信号の大きさ及び誤差範囲内に正規化したことが分かる。

図３７（ａ）は、Ｋｐｏｐの入力オーディオ信号の波形、図３７（ｂ）は、Ｋｐｏｐの正規化したオーディオ信号の波形を示す図である。図３７を参照すると、入力オーディオ信号の大きさは−８．９ＬＫＦＳであったが、上述した正規化動作が行われて正規化したオーディオ信号の大きさは−２３．２８ＬＫＦＳになって目標値オーディオ信号の大きさ及び誤差範囲内に正規化したことが分かる。

図３８（ａ）は、クラシックの入力オーディオ信号の波形、図３８（ｂ）は、クラシックの正規化したオーディオ信号の波形を示す図である。図３８を参照すると、入力オーディオ信号の大きさは−２６ＬＫＦＳであったが、上述した正規化動作が行われて正規化したオーディオ信号の大きさは−２５．３４ＬＫＦＳになって目標値オーディオ信号の大きさ及び誤差範囲内に正規化したことが分かる。

一方、上述した本発明の様々な実施形態による方法は、コンピューターにおいて実行されるためのプログラムとして製作されてコンピューターにて読み取り可能な記録媒体に格納可能であり、コンピューターにて読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などが挙げられ、なお、キャリアウェーブ（例えば、インターネットを介して転送）の形式で実現されるものも含む。

コンピューターにて読み取り可能な記録媒体は、ネットワークを介して接続されたコンピューターシステムに分散されて、分散方式を用いてコンピューターにて読み取り可能なコードが格納されて実行可能である。なお、前記方法を実現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野におけるプログラマーにより容易に推論可能である。

また、以上、本発明の好適な実施形態について図示及び説明したが、本発明は上述した特定の実施形態に何ら限定されるものではなく、請求範囲において請求する本発明の要旨を逸脱することなく、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が行えるということはいうまでもなく、このような変形実施は本発明の技術的思想や見込みから個別的に理解されてはならない

Claims (8)

1. 端末装置のオーディオ信号の出力方法において、
   既に設定されたオーディオ信号の大きさを有する正規化オーディオ信号を含む放送信号を受信するステップと、
   前記放送信号から番組ジャンル情報を検出するステップと、
   前記検出された番組ジャンル情報に対応する好みオーディオ信号の大きさを検出するステップと、
   前記検出された好みオーディオ信号の大きさになるように、前記正規化オーディオ信号の大きさを制御するステップと、
   を含むオーディオ信号の出力方法。
2. 前記好みオーディオ信号の大きさを検出するステップにおいては、
   前記端末装置に関するユーザー識別情報が入力された場合、前記好みオーディオ信号の大きさのうち前記ユーザー識別情報に対応する好みオーディオ信号の大きさを検出することを特徴とする請求項１に記載のオーディオ信号の出力方法。
3. 前記好みオーディオ信号の大きさは、
   前記端末装置に関するユーザー識別情報と、前記受信された放送信号に基づいて再生中の放送番組に関する番組ジャンル情報及び前記受信された放送信号に基づいて再生中の放送番組に対するユーザー選択オーディオ信号の大きさを用いて、ユーザーに対応する番組ジャンル別の好みオーディオ信号の大きさを学習することにより生成されることを特徴とする請求項２に記載のオーディオ信号の出力方法。
4. 前記端末装置のオーディオ信号の大きさを前記正規化オーディオ信号の大きさとするユーザー入力を受信するステップと、
   前記ユーザー入力が受信されれば、前記正規化オーディオ信号を出力するステップと、
   をさらに含むことを特徴とする請求項１に記載のオーディオ信号の出力方法。
5. 端末装置において、
   既に設定されたオーディオ信号の大きさを有する正規化オーディオ信号を含む放送信号を受信する通信部と、
   前記放送信号から番組ジャンル情報を検出する検出部と、
   前記検出された番組ジャンル情報に対応する好みオーディオ信号の大きさを検出し、前記検出された好みオーディオ信号の大きさになるように、前記正規化オーディオ信号の大きさを制御するオーディオ信号大きさ制御部と、
   を備える端末装置。
6. 前記検出部は、
   前記端末装置に関するユーザー識別情報が入力された場合、前記好みオーディオ信号の大きさのうち前記ユーザー識別情報に対応する好みオーディオ信号の大きさを検出することを特徴とする請求項５に記載の端末装置。
7. 前記好みオーディオ信号の大きさは、
   前記端末装置に関するユーザー識別情報と、前記受信された放送信号に基づいて再生中の放送番組に関する番組ジャンル情報及び前記受信された放送信号に基づいて再生中の放送番組に対するユーザー選択オーディオ信号の大きさを用いて、ユーザーに対応する番組ジャンル別の好みオーディオ信号の大きさを学習することにより生成されることを特徴とする請求項６に記載の端末装置。
8. 前記端末装置のオーディオ信号の大きさを前記正規化オーディオ信号の大きさとするユーザー入力を受信する入力部をさらに備え、
   前記オーディオ信号大きさ制御部は、
   前記ユーザー入力が受信されれば、前記正規化オーディオ信号を出力することを特徴とする請求項５に記載の端末装置。