JP2008147840A - 音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラム - Google Patents

Abstract

【課題】 最適な音場を形成することが可能な、新規かつ改良された音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラムを提供すること。
【解決手段】 所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために音声情報および音源位置情報を変換して集約音声情報および集約音源位置情報を生成する変換部１４０と；音声情報および音源位置情報と、変換部で生成した集約音声情報および集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する音声信号生成部１３０と；を含むことを特徴とする、音声信号生成装置１１５が提供される。
【選択図】図１

Description

本発明は、音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラムに関する。

臨場感のある音を再生するために、複数のスピーカを用いて多チャンネルの音声信号を再生するステレオ再生システムが広く知られている。例えば、５．１チャンネルサラウンドシステムは、５つのスピーカと１つのサブウーファースピーカを用いて音の再生を行う。ＩＴＵ−Ｒ ＢＳ７７５（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｅｃｔｏｒ）の規定に従ってスピーカを配置し、それぞれのチャンネルに対応するスピーカから異なる音波が出力され、それを受聴者が耳にすることによって、受聴者は臨場感のある音を楽しむことができる。

５．１チャンネルサラウンドシステムのようなステレオ再生システムは、所定の受聴位置においては、目的となる音像定位を得ることができる。しかし、このようなステレオ再生システムは、目的となる音像定位を得られる範囲が狭いため、所定の受聴位置以外の場所においては、受聴者が耳にする再生音が、所定の受聴位置で耳にする再生音と比較して大きく異なってしまう。

そこで、本来の音源が存在した音場そのものを、空間に物理的に再現することを目的とするマルチチャンネルオーディオシステムがある。マルチチャンネルオーディオシステムは、音場合成技術である波面合成技術を用いるものであり、複数のスピーカからなるアレイスピーカから音波が出力される。出力される音波は、干渉のない波となって受聴者に伝わる。その音波を受聴者が耳にすることによって、受聴者は臨場感のある音を楽しむことができる。

図９は、音源からの波面を模式的に表している説明図である。図９の（ａ）は１つの音源（スピーカ）から音声を出力する際の波面を模式的に表し、図９の（ｂ）はマルチチャンネルオーディオシステムで音声を出力する際の波面を模式的に表している。図９の（ｂ）に示したように、個々のスピーカから放射される音声のタイミングとレベルを制御することにより、あたかも１つの音源から音声が発せられているかのような波面を生成することができる。

また、マルチチャンネルオーディオシステムは仮想的に音源を配置し、その配置した音源から音が発せられているものとするように波面を合成することで、受聴者はあたかもその場所から音が発せられているかのように臨場感のある音を楽しむことができる。

このようなマルチチャンネルオーディオシステムは、ステレオ再生システムに比べて目的となる音像定位を得られる範囲が広い。そのため、広い室内において、より多くの受聴者が臨場感のある音を楽しむことができる。

図１０は、波面合成によって２つの音源からの波面を再現する場合について説明する説明図である。図１０に示したように、波面合成技術を用いることによって音場の任意の位置から発せられる波面を、アレイスピーカから発する音声によって再現することができる。

波面合成技術を用いれば、上述のように音場の任意の位置から発せられる波面を再現することができるため、受聴者はより臨場感のある音場を楽しむことができる。図１１は、ステレオ方式とマルチチャンネルオーディオシステムとによる受聴イメージの違いについて説明する説明図である。図１１の（ａ）はステレオ方式による５つの音源の受聴イメージを示しており、図１１の（ｂ）はマルチチャンネルオーディオシステムによる５つの音源の受聴イメージを示している。

図１１の（ａ）に示したように、ステレオ方式によれば、受聴者が左右のスピーカＳＰＬ、ＳＰＲの中央に位置した場合でなければ所望の音場を再現することができず、しかも音像を左右のスピーカＳＰＬ、ＳＰＲ間のライン上に配置されたものとしてしか音像を得ることができなかった。一方、図１１の（ｂ）に示したように、マルチチャンネルオーディオシステムによれば、ｍ個のスピーカＳＰ１、ＳＰ２・・・ＳＰｍから発せられる音声によって形成される音場は、ステレオ方式の場合よりも広い範囲で所望の音場を再現することができ、さらに、音源を奥行き方向も含めた任意の位置に配置し、音像もそのように知覚させることができる。従って、モニタＭＯで表示する映像に合わせて音源を任意の位置に配置することで、受聴者はより臨場感のある音場を楽しむことができる。

マルチチャンネルオーディオシステムを用いて音を再生する際には、再生音の基となる音源データに、仮想的に音源を配置する位置情報と、想定しているシステムの構成、例えばアレイスピーカを構成するスピーカの数や想定する受聴者の受聴位置の情報を予め含めておく。そして、マルチチャンネルオーディオシステムにおいて音源データに含まれるそれらの情報に基づいて音の再生を行うことで、臨場感のある音を表現することができる（特許文献１参照）。

特開２００６−２７９５５５号公報

しかし、マルチチャンネルオーディオシステムにおいては、必ずしも想定しているシステムで音声が再生されるとは限らない。システムによってはアレイスピーカを構成するスピーカの数や、想定する受聴者の受聴位置が異なっている。そのような異なるシステムで音を再生すると、映像や音声（以下、映像や音声を総称して「コンテンツ」とも称する）を制作した制作者の想定通りに音が再生されず、臨場感のある音を再現できないという問題があった。

例えば、コンテンツ制作者が１６個のスピーカからなるアレイスピーカで音声を出力することを想定して作られたコンテンツを、１２個のスピーカからなるアレイスピーカを有するシステムで再生した場合に、スピーカ４個分の音声が出力されないおそれがある。

想定しているシステムでしか臨場感を再現できないのであれば、互換性が非常に悪くなってしまう。従って、どのような構成のマルチチャンネルオーディオシステムであっても、コンテンツ制作者の想定通りまたは想定したものに近い、臨場感のある音が再現される必要がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、マルチチャンネルオーディオシステムがどのような構成を有していても最適な音場を形成することが可能な、新規かつ改良された音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、音声情報および音源位置情報が含まれる音声データを入力し、アレイ状に配されたｍ個のスピーカからなるアレイスピーカから音声を出力することで、仮想空間内に配された仮想音源からなる音場を現実空間の想定受聴者位置を含む想定受聴領域に再生するための音声信号を生成する音声信号生成装置であって、所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために音声情報および音源位置情報を変換して集約音声情報および集約音源位置情報を生成する変換部と；音声情報および音源位置情報と、変換部で生成した集約音声情報および集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する音声信号生成部と；を含むことを特徴とする、音声信号生成装置が提供される。

かかる構成によれば、変換部は所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために音声情報および音源位置情報を変換して集約音声情報および集約音源位置情報を生成し、音声信号生成部は、音声情報および音源位置情報と、変換部で生成した集約音声情報および集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する。その結果、ｎ個の仮想音源群をｎ−１個以下の仮想音源群に集約することで、音声信号生成装置の構成がコンテンツ制作者の想定する構成と異なっている場合であっても、コンテンツ制作者の想定通りのまたは想定したものに近い音場を空間内に再生するための音声信号を生成することができる。

上記音声信号生成装置は、音声データから音声情報および音源位置情報を抽出する音場情報抽出部をさらに含んでいてもよい。かかる構成によれば、音場情報抽出部は音声データから音声情報および音源位置情報を抽出する。その結果、入力される音声データから音場を再生するための音声情報および音源位置情報を抽出することができる。

変換部は、ｎ個の仮想音源群を前記所定の範囲の中央に集約するように変換してもよく、ｎ個の仮想音源群を一番出力レベルの大きい音源に集約するように変換してもよい。かかる構成によれば、変換部は、複数の仮想音源を所定の範囲の中央に配置するように変換し、または複数の仮想音源を一番出力レベルの大きい音源に集約するように変換する。その結果、仮想音源を集約しても違和感のない音場を再生することができる。

また、上記課題を解決するために、本発明の別の観点によれば、音声情報および音源位置情報が含まれる音声データを入力し、アレイ状に配されたｍ個のスピーカからなるアレイスピーカから音声を出力することで、仮想空間内に配された仮想音源からなる音場を現実空間の想定受聴者位置を含む想定受聴領域に再生する音場再生装置であって：所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために音声情報および音源位置情報を変換して集約音声情報および集約音源位置情報を生成する変換部と；音声情報および音源位置情報と、変換部で生成した集約音声情報および集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する音声信号生成部と；ｍチャネルの音声信号を波面合成し、ｍチャネルの音声を出力することで、想定受聴者位置を含む想定受聴領域に音場を再生する音声出力部と；を含むことを特徴とする、音場再生装置が提供される。

かかる構成によれば、変換部は所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために音声情報および音源位置情報を変換して集約音声情報および集約音源位置情報を生成し、音声信号生成部は、音声情報および音源位置情報と、変換部で生成した集約音声情報および集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成し、音声出力部はｍチャネルの音声信号を波面合成し、ｍチャネルの音声を出力することで、想定受聴者位置を含む想定受聴領域に音場を再生する。その結果、ｎ個の仮想音源群をｎ−１個以下の仮想音源群に集約することで、音声信号生成装置の構成がコンテンツ制作者の想定する構成と異なっている場合であっても、コンテンツ制作者の想定通りのまたは想定したものに近い音場を空間内に再生するための音声信号を生成し、生成した音声信号に基づく音声を出力することによって、コンテンツ制作者の想定通りのまたは想定したものに近い音場を空間内に再生ことができる。

上記音場再生装置は、音声データから音声情報および音源位置情報を抽出する音場情報抽出部をさらに含んでいてもよい。かかる構成によれば、音場情報抽出部は音声データから音声情報および音源位置情報を抽出する。その結果、入力される音声データから音場を再生するための音声情報および音源位置情報を抽出することができる。

変換部は、ｎ個の仮想音源群を前記所定の範囲の中央に集約するように変換してもよく、ｎ個の仮想音源群を一番出力レベルの大きい音源に集約するように変換してもよい。かかる構成によれば、変換部は、複数の仮想音源を所定の範囲の中央に配置するように変換し、または複数の仮想音源を一番出力レベルの大きい音源に集約するように変換する。その結果、仮想音源を集約しても違和感のない音場を再生することができる。

また、上記課題を解決するために、本発明の別の観点によれば、音声情報および音源位置情報が含まれる音声データを入力し、アレイ状に配されたｍ個のスピーカからなるアレイスピーカから音声を出力することで、仮想空間内に配された仮想音源からなる音場を現実空間の想定受聴者位置を含む想定受聴領域に再生するための音声信号を生成する音声信号生成方法であって：所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために音声情報および音源位置情報を変換して集約音声情報および集約音源位置情報を生成する変換ステップと；音声情報および音源位置情報と、変換ステップで生成した集約音声情報および集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する音声信号生成ステップと；を含むことを特徴とする、音声信号生成方法が提供される。

かかる構成によれば、変換ステップは所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために音声情報および音源位置情報を変換して集約音声情報および集約音源位置情報を生成し、音声信号生成ステップは、音声情報および音源位置情報と、変換ステップで生成した集約音声情報および集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する。その結果、ｎ個の仮想音源群をｎ−１個以下の仮想音源群に集約することで、音声信号生成装置の構成がコンテンツ制作者の想定する構成と異なっている場合であっても、コンテンツ制作者の想定通りのまたは想定したものに近い音場を空間内に再生するための音声信号を生成することができる。

上記音声信号生成方法は、音声データから音声情報および音源位置情報を抽出する音場情報抽出ステップをさらに含んでいてもよい。かかる構成によれば、音場情報抽出ステップは音声データから音声情報および音源位置情報を抽出する。その結果、入力される音声データから音場を再生するための音声情報および音源位置情報を抽出することができる。

変換ステップは、ｎ個の仮想音源群を前記所定の範囲の中央に集約するように変換してもよく、ｎ個の仮想音源群を一番出力レベルの大きい音源に集約するように変換してもよい。かかる構成によれば、変換ステップは、複数の仮想音源を所定の範囲の中央に配置するように変換し、または複数の仮想音源を一番出力レベルの大きい音源に集約するように変換する。その結果、仮想音源を集約しても違和感のない音場を再生することができる。

また、上記課題を解決するために、本発明の別の観点によれば、音声情報および音源位置情報が含まれる音声データを入力し、アレイ状に配されたｍ個のスピーカからなるアレイスピーカから音声を出力することで、仮想空間内に配された仮想音源からなる音場を現実空間の想定受聴者位置を含む想定受聴領域に再生するための音声信号を生成するコンピュータプログラムであって、コンピュータに：所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために音声情報および音源位置情報を変換して集約音声情報および集約音源位置情報を生成する変換ステップと；音声情報および音源位置情報と、変換部で生成した集約音声情報および集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する音声信号生成ステップと；を含む処理を実行させるための、コンピュータプログラムが提供される。

かかる構成によれば、変換ステップは所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために音声情報および音源位置情報を変換して集約音声情報および集約音源位置情報を生成し、音声信号生成ステップは、音声情報および音源位置情報と、変換ステップで生成した集約音声情報および集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する。その結果、ｎ個の仮想音源群をｎ−１個以下の仮想音源群に集約することで、音声信号生成装置の構成がコンテンツ制作者の想定する構成と異なっている場合であっても、コンテンツ制作者の想定通りのまたは想定したものに近い音場を空間内に再生するための音声信号を生成することができる。

上記コンピュータプログラムは、音声データから音声情報および音源位置情報を抽出する音場情報抽出ステップをさらに含んでいてもよい。かかる構成によれば、音場情報抽出ステップは音声データから音声情報および音源位置情報を抽出する。その結果、入力される音声データから音場を再生するための音声情報および音源位置情報を抽出することができる。

変換ステップは、ｎ個の仮想音源群を前記所定の範囲の中央に集約するように変換してもよく、ｎ個の仮想音源群を一番出力レベルの大きい音源に集約するように変換してもよい。かかる構成によれば、変換ステップは、複数の仮想音源を所定の範囲の中央に配置するように変換し、または複数の仮想音源を一番出力レベルの大きい音源に集約するように変換する。その結果、仮想音源を集約しても違和感のない音場を再生することができる。

以上説明したように本発明によれば、オーディオシステムがどのような構成を有していても最適な音場を形成することが可能な、新規かつ改良された音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラムを提供することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
まず、本発明の第１の実施形態にかかる音場再生装置について説明する。図１は、本発明の第１の実施形態にかかる音場再生装置について説明する説明図である。以下、図１を用いて本発明の第１の実施形態にかかる音場再生装置の構成について説明する。

図１に示したように、本発明の第１の実施形態にかかる音場再生装置１０は、光ディスク再生装置１１０と、逆多重化部１１４と、音声信号生成装置１１５と、アンプ１５０と、アレイスピーカ１６０と、字幕データ抽出部１７０と、字幕データ再生部１７２と、映像データ抽出部１８０と、映像再生部１８２と、字幕スーパーインポーズ部１９０と、表示部１９２と、を含んで構成される。そして、音声信号生成装置１１５は、音場情報抽出部１２０と、音声信号生成部１３０と、変換部１４０と、を含んで構成される。

光ディスク再生装置１１０は、光ディスク（図示せず）から信号を読み込むものである。逆多重化部１１４は、光ディスク再生装置１１０で読み取った信号に対して逆多重化処理を施し、映像データや音声データを抽出するものである。本発明の第１の実施形態にかかる光ディスク再生装置で読み込む光ディスクは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、その他の数百メガバイト以上の大容量を有する光ディスクである。

音場情報抽出部１２０は、逆多重化部１１４で抽出した音声データから、仮想音源を形成するための音声情報および音源位置情報を抽出するものである。音声情報には、各仮想音源の種類や出力レベル、音の持続時間等の情報を含めることができる。音声信号生成部１３０は、音場情報抽出部１２０で抽出した音声情報および音源位置情報から、波面合成によって仮想音源を形成するための音声信号を生成するものである。

変換部１４０は、音場再生装置１０の環境が、音場情報抽出部１２０で抽出した音声情報および音源位置情報に含まれる、予め想定された再生条件を満たさないものである場合に、再生条件を満たすように音声情報や音源位置情報の変換を行うものである。音場再生装置１０の環境が再生条件を満たさない場合とは、例えばアレイスピーカ１６０を構成するスピーカの数がコンテンツに含まれる音声を出力するために必要なスピーカの数と合わない場合や、音場再生装置１０の再生能力が、コンテンツ制作者が想定した再生能力より劣っている場合、コンテンツ制作者が想定する受聴者の位置が音場再生装置１０の想定受聴者位置と異なっている場合などを指す。音声情報や音源位置情報の変換方法については後に詳述する。

アンプ１５０は、音声信号生成部１３０で生成された音声信号を、アレイスピーカ１６０での再生のために増幅するものである。アレイスピーカ１６０は、本発明の音声出力部の一例であり、ｍ個のスピーカユニット（図示せず）から音声を出力するものである。アレイスピーカ１６０から出力される音声は、波面合成されて干渉のない波面を形成する。また、アレイスピーカ１６０からは面合成によって音声を出力することで、空間上に仮想的に音源を配し、その音源から音声が発せられているような音場を再生することができる。

字幕データ抽出部１７０は、逆多重化部１１４で逆多重化した信号から字幕データを抽出する。字幕データ再生部１７２は、字幕データ抽出部１７０で抽出した字幕データの再生を行う。映像データ抽出部１８０は、逆多重化部１１４で逆多重化した信号から映像データを抽出する。映像再生部１８２は、映像データ抽出部１８０で抽出した映像データの再生を行う。字幕スーパーインポーズ部１９０は、映像データに字幕データを重ね合わせる処理を行う。表示部１９２は、字幕データが重ね合わされた映像データを表示する。

以上、本発明の第１の実施形態にかかる音場再生装置の構成について説明した。次に、本発明の第１の実施形態にかかる音場再生装置の動作について説明する。

光ディスク再生装置１１０に光ディスクが挿入されると、光ディスク再生装置１１０で光ディスクから信号を読み取る。読み取った信号データは逆多重化部１１４に送られ、逆多重化処理が行われて複数の信号となる。逆多重化部１１４で逆多重化された信号は、音場情報抽出部１２０、字幕データ抽出部１７０および映像データ抽出部１８０に送られる。そして音場情報抽出部１２０では、アレイスピーカ１６０から音声を再生することで再現する音場に関する情報の抽出を行い、字幕データ抽出部１７０では字幕データの抽出を行い、映像データ抽出部１８０は映像データの抽出を行う。

音場情報抽出部１２０で抽出する音場に関する情報とは、例えば波面合成によって仮想音源を形成する際の仮想音源の位置情報や、仮想音源が出力する音声に関する音声情報などが含まれる。音場情報抽出部１２０で抽出した情報は音声信号生成部１３０に送られ、音声信号生成部１３０において波面合成によって仮想音源を形成するための音声信号が生成される。

ここで、音声信号を生成する際に、コンテンツ制作者が想定した音場に関する条件と、音場再生装置１０が有する条件が異なる場合には、コンテンツ制作者が想定した条件に一致する、またはなるべく近くなるように、変換部１４０において音声信号の変換処理を行う。音声信号の変換処理を含めた音声信号生成方法については後述する。

音声信号生成部１３０で生成された音声信号は、アンプ１５０に送られる。アンプ１５０に送られた音声信号は、アンプ１５０において増幅処理が行われ、アレイスピーカ１６０に送られる。アレイスピーカ１６０は、アンプ１５０から送られた音声信号を基に音声を出力する。アレイスピーカ１６０から出力される音声は、波面合成によって干渉の無い波面が形成され、受聴者は、あたかも空間内に音源が仮想的に配されているような音声を楽しむことができる。

また、字幕データ抽出部１７０で抽出した字幕データは、字幕データ再生部１７２に送られて字幕の再生が行われ、映像データ抽出部１８０で抽出した映像データは、映像再生部１８２で映像の再生が行われる。そして、字幕スーパーインポーズ部１９０において映像に字幕データが重ね合わされ、表示部１９２に字幕データが重ね合わされた映像が表示される。もちろん、字幕データが存在しないコンテンツであれば、字幕データを重ね合わせずに映像を表示してもよい。

以上、本発明の第１の実施形態にかかる音場再生装置の動作について説明した。次に、本発明の第１の実施形態にかかる音声信号生成方法について説明する。

光ディスク再生装置１１０で読み込む光ディスクには、少なくとも複数の音源の位置情報と音声情報とが音声データとして多重化されて記録されている。図２は、本発明の第１の実施形態にかかる音声データの構成例について説明する説明図である。図２に示したように、本発明の第１の実施形態にかかる音声データは、１つの波面合成データセル３１、３２・・・という単位で、音場を再生するためのデータが含まれている。音場再生装置１０は、光ディスク再生装置１１０でセルを順次読み込むことで映像や音声を再生する。

第１波面合成データセル３１は、標準再生配置条件情報３１０と、音源数３１２と、音源１情報ヘッダ３１４ａと、音源１データ３１４ｂと、・・・、音源ｎ情報ヘッダ３１６ａと、音源ｎデータ３１６ｂと、を含んで構成される。

標準再生配置条件情報３１０には、例えばアレイスピーカの条件や、想定する受聴者位置等が含まれる。アレイスピーカの条件には、例えばアレイスピーカを構成するスピーカの数や、スピーカ間の間隔等が含まれる。音源数３１２には音源の数が含まれる。例えば音源の数が３つであれば「３」という値が含まれる。

各音源のヘッダには、音源ＩＤ、音源位置とその更新情報、音源の指向特性とその更新情報、音源のレベル、音源の開始時刻と終了時刻、音源のデータ種別等が含まれる。音源ＩＤは、それぞれの音源を識別するＩＤコードである。例えば、次に再生するセルである第２波面合成データセル３２に、同じ音源ＩＤが含まれていたら、それは続きのデータであることを示している。また、音源が移動したり、向きを変えたりするときは、その変化するタイミングの時刻や、変化する量、方向などをデータに含めることで、音源の変化を表すことができる。

音源のレベルには、レベルの単位種別（ｄＢ／リニア）とその値が含まれる。また、音源データ種別には、出力する音源の種別、例えばＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）。ＭＰ３（ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ−３）、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などが含まれる。

音場再生装置１０は、光ディスクからこのようなセルに格納されたデータを順次読み取り、波面合成によってアレイスピーカ１６０から音声を出力することで、空間内に仮想音源からなる音場を再現する。

図３は、インテンシティステレオ方式と波面合成方式とにおいて、受聴者が音源を知覚する位置の違いについて説明する説明図である。図３の（ａ）は、インテンシティステレオ方式による受聴者の音源知覚位置について説明するものであり、図３の（ｂ）は、波面合成方式による受聴者の音源知覚位置について説明するものである。

図３に示したように、インテンシティステレオ方式では、受聴者が左右のスピーカの中央位置に入る時のみ、コンテンツ制作者が意図した位置に音像を知覚することができる。一方、波面合成方式では、受聴者の位置がアレイスピーカの中心線上で無くても、コンテンツ制作者が意図した位置に音像を知覚することができる。

しかしながら、波面合成によって仮想音源を形成するには、アレイスピーカ１６０を構成するスピーカの数だけ波面合成を行うための畳み込み演算を行わなければならない。従って、再現する音源の数が増えれば増えるほど、演算量も増えていくことになる。

しかし、音場再生装置の構成が、コンテンツを制作したコンテンツ制作者が想定する構成とは異なる場合が十分考えられる。音場再生装置１０の構成によっては、光ディスクで読み取った音声データに基づいて音場を再生するだけの演算能力が十分でない場合や、アレイスピーカ１６０を構成するスピーカの数が合わない場合がある。このような場合で無理に音場を再生しようとすると、コンテンツ制作者の想定通りの音場が再生されないおそれがある。また、音源情報の中には直接音とその反射音のように関連性のある音源が存在することがある。このように、関連性のある複数の音源を１つにまとめることによって、演算量を少なくすることができる。

そこで、本発明の第１の実施形態においては、音場再生装置の構成がコンテンツ制作者の想定とは異なる場合に、仮想音源を集約することでコンテンツ制作者の想定に近い音場を再現する音場再生装置について説明する。

波面合成による音場生成では、受聴者からの見開き角度が３度程度に仮想音源が配置されている場合に、音像を分離して知覚できることが分かっている。そのため、受聴者からの見開き角度が３度程度に接近した位置に仮想音源を配置したコンテンツを制作することができる。しかし、仮想音源の数の増加に伴って演算量が多くなり、演算処理が不可能である場合には、音声信号を生成する際に、ｎ個の仮想音源をｎ−１個以下の仮想音源に集約する処理を行うことで、コンテンツ制作者の想定に近い音場を再現する。

例えば、受聴者からみて複数の仮想音源の見開き角度が８度以内であれば、それらの仮想音源を１または２以上の仮想音源にまとめる処理を行う。

ここで、受聴者からアレイスピーカに向かう方向（以後「奥行き方向」とも称する）の音源位置弁別能力Δｒ［ｍ］は、受聴者から音源までの距離ｒが３ｍ程度までの場合は０．１５ｒ程度であり、受聴者から音源までの距離ｒが３〜１５ｍ程度の場合は０．２５ｒ程度であることが知られている（イェンス・ブラウエルト他「空間音響」鹿島出版会、ｐｐ．１１６〜１１７）。つまり、複数の仮想音源をまとめる際の奥行き方向の距離を音源位置弁別能力程度とすると、奥行き方向の距離は受聴者から仮想音源までの距離ｒに依存することとなり、ｒに掛かる係数も３ｍ付近を境に変化する。本実施形態においては、簡単化するために、奥行き方向の距離を０．２ｒとして仮想音源を集約する処理について説明する。

図４は、本発明の第１の実施形態にかかる仮想音源の集約処理の一例について説明する説明図である。図４では、仮想音源Ａと、仮想音源Ｂとを１つの仮想音源に集約する場合を示している。

図４に示した例においては、仮想音源Ａと仮想音源Ｂとが、想定受聴者位置から見て８度程度離れており、奥行き方向には０．２ｒ程度離れている。よって、仮想音源Ａと仮想音源Ｂを１つの仮想音源に集約することで、音場再生装置１０が音場を再生するだけの演算能力を有していない場合でも、空間上に音場を再生することが可能となる。

図５は、本発明の第１の実施形態にかかる仮想音源の集約処理の一例について説明する流れ図である。以下、図５を用いて本発明の第１の実施形態にかかる仮想音源の集約処理について説明する。

光ディスクから音声データを読み込むと、音声信号生成部１３０において、読み込んだ音声データを再生できるだけの演算能力を音場再生装置１０が有しているかどうかを判断する（ステップＳ１１０）。読み込んだ音声データを再生できるだけの演算能力を音場再生装置１０が有していない場合には、読み込んだ音声データを再生するために仮想音源の集約処理を変換部１４０で行う。

仮想音源を集約する際には、まず２つの仮想音源間の見開き角度が８度以内であり、奥行き方向でΔｒ（＝０．２ｒ）以内に入っている仮想音源の選出を行う（ステップＳ１２０）。ここで選出された仮想音源が変換部１４０での集約処理の対象となる。

仮想音源を選出すると、次に選出した仮想音源の加算を行う（ステップＳ１３０）。選出した仮想音源を加算することで集約仮想音源が生成され、複数の仮想音源を１つの仮想音源に集約して出力することができる。

仮想音源の加算を行うと、次に加算した仮想音源の配置位置を決定する。本実施形態においては、選出した仮想音源間の中央に、２つの仮想音源を加算して生成した集約仮想音源を配置する（ステップＳ１４０）。そして、このようにして配置した集約仮想音源と、その他の仮想音源とを波面合成を行う（ステップＳ１５０）。

このように、所定の範囲内に位置する仮想音源を集約して集約仮想音源を生成することで、音場再生装置が十分な処理能力を有していない場合でも、波面合成によって空間内に仮想音源を生成することが可能となり、受聴者は、音場再生装置から発せられる臨場感のある音声を楽しむことができる。

以上、本発明の第１の実施形態にかかる仮想音源の集約処理について説明した。なお、図４および図５に示した集約処理の一例では、２つの仮想音源を１つの仮想音源に集約する処理について説明したが、集約するパターンはかかる例に限られず、集約仮想音源の配置位置も、仮想音源間の中央以外に配置してもよい。また、集約処理は一度だけでなく、音場再生装置が有する処理能力で音場を再生することができるようになるまで繰り返し行うようにしてもよい。

さて、図４および図５では、所定の範囲内に存在する２つの仮想音源を集約して集約仮想音源を生成し、仮想音源間の中間点（中央）に集約仮想音源を配置する場合について説明したが、続いて、別の集約仮想音源の生成方法について説明する。

図６は、本発明の第１の実施形態にかかる仮想音源の集約処理の別の例について説明する説明図である。図６では、仮想音源Ａと、仮想音源Ｂと、仮想音源Ｃとを１つの仮想音源に集約する場合について示している。

図６に示した例においては、仮想音源Ａ、仮想音源Ｂおよび仮想音源Ｃが、想定受聴者位置から見て８度程度以内に配置されており、さらに奥行き方向には０．２ｒ程度以内に配置されている。ここで、仮想音源Ａの出力レベルが一番大きい音源であるとすると、出力レベルの一番大きい仮想音源Ａが配置されている場所に、残りの仮想音源Ｂおよび仮想音源Ｃを集約することで、音場再生装置１０が音場を再生するだけの演算能力を有していない場合でも、空間上に音場を再生することが可能となる。

図７は、本発明の第１の実施形態にかかる仮想音源の集約処理の別の例について説明する流れ図である。以下、図７を用いて本発明の第１の実施形態にかかる仮想音源の集約処理について説明する。

光ディスクから音声データを読み込むと、音声信号生成部１３０において、読み込んだ音声データを再生できるだけの演算能力を音場再生装置１０が有しているかどうかを判断する（ステップＳ２１０）。読み込んだ音声データを再生できるだけの演算能力を音場再生装置１０が有していない場合には、読み込んだ音声データを再生するために仮想音源の集約処理を変換部１４０で行う。

仮想音源を集約する際には、まず音源の出力レベルが周囲の仮想音源よりも大きい仮想音源を中心として、最も離れている２つの仮想音源間の見開き角度が８度以内であり、奥行き方向でΔｒ（＝０．２ｒ）以内に入っている仮想音源の選出を行う（ステップＳ２２０）。ここで選出された仮想音源が変換部１４０での集約処理の対象となる。

仮想音源を選出すると、次に選出した仮想音源の加算を行う（ステップＳ２３０）。選出した仮想音源を加算することで集約仮想音源が生成され、複数の仮想音源を１つの仮想音源に集約して出力することができる。

仮想音源の加算を行うと、次に加算した仮想音源の配置位置を決定する。ここでは、選出した仮想音源の中で最も出力レベルの大きい仮想音源位置に、３つの仮想音源の出力レベルを加算するようにして生成した集約仮想音源を配置する（ステップＳ２４０）。そして、このようにして配置した集約仮想音源と、その他の仮想音源とでアレイスピーカ１６０から波面合成を行って音声を出力する（ステップＳ２５０）。

このように、所定の範囲内に位置する仮想音源を集約して集約仮想音源を生成することで、音場再生装置が十分な処理能力を有していない場合でも、波面合成によって空間内に仮想音源を生成することが可能となり、受聴者は、音場再生装置から発せられる臨場感のある音声を楽しむことができる。なお、図６および図７に示した集約処理の例においても、図４および図５で示した集約処理の例と同様に、集約処理は一度だけでなく、音場再生装置が有する処理能力で音場を再生することができるようになるまで繰り返し行うようにしてもよい。

以上、本発明の第１の実施形態にかかる音声信号生成方法について説明した。なお、本実施形態においては、仮想音源を集約する際の基準となる見開き角度を８度としたが、本発明はこれに限られない。

以上説明したように、本発明の第１の実施形態によれば、音場再生装置の構成がコンテンツ制作者の想定とは異なる場合に、仮想音源を集約することでコンテンツ制作者の想定に近い音場を再現することができる。

（第２の実施形態）
本発明の第１の実施形態では、光ディスクから音源データを読み込んで、読み込んだ音源データが音場再生装置の条件と合致しない場合に、所定の範囲内に含まれる仮想音源を集約することでコンテンツ制作者の想定に近い音場を再現することができる音場再生装置について説明した。

しかし、音源データの提供は光ディスクからに限られない。本発明の第２の実施形態では、インターネットなどのネットワークから音源データを受信して音場を再現する音場再生装置において本発明を適用した場合について説明する。

図８は、本発明の第２の実施形態にかかる音場再生装置について説明する説明図である。以下、図８を用いて本発明の第２の実施形態にかかる音場再生装置について説明する。

図８に示したように、本発明の第２の実施形態にかかる音場再生装置２０は、データ受信部２１０と、受信データ復号部２１２と、逆多重化部２１４と、アンプ２５０と、アレイスピーカ２６０と、字幕データ抽出部２７０と、字幕データ再生部２７２と、映像データ抽出部２８０と、映像再生部２８２と、字幕スーパーインポーズ部２９０と、表示部２９２と、を含んで構成される。そして、音声信号生成装置２１５は、音場情報抽出部２２０と、音声信号生成部２３０と、変換部２４０と、を含んで構成される。

ここで、逆多重化部２１４と、音場情報抽出部２２０と、音声信号生成部２３０と、変換部２４０と、アンプ２５０と、アレイスピーカ２６０と、字幕データ抽出部２７０と、字幕データ再生部２７２と、映像データ抽出部２８０と、映像再生部２８２と、字幕スーパーインポーズ部２９０と、表示部２９２と、は本発明の第１の実施形態にかかる音場再生装置の各部と同一の機能を有するので、詳細な説明は省略する。

データ受信部２１０は、インターネットなどのネットワークを介してデータの受信を行うものであり、本実施形態にかかるデータ受信部２１０は、外部から映像データや音声データが含まれるコンテンツの受信を行う機能を有する。

受信データ復号部２１２は、データ受信部２１０で受信したデータの復号処理を行うものである。ネットワークを介して送信されるコンテンツは、安全性を高めるためにデータの暗号化が施されている場合がある。そのような場合にはデータの復号処理を行うことで、音場再生装置２０は受信したデータの処理を行うことができる。

以上、本発明の第２の実施形態にかかる音場再生装置の構成について説明した。次に、本発明の第２の実施形態にかかる音場再生装置の動作について説明する。

まず、データ受信部２１０がネットワーク経由で映像データや音声データが含まれるコンテンツを受信する。ネットワーク経由で送られてくるコンテンツは暗号化が施されている場合があり、その場合には受信データ復号部２１２で受信したコンテンツの復号化処理を行う。

復号化されたコンテンツは、逆多重化部２１４に送られて逆多重化処理が行われる。以後の処理は、本発明の第１の実施形態にかかる音場再生装置の動作と同一であるため、詳細な説明は省略する。

以上、本発明の第２の実施形態にかかる音場再生装置の動作について説明した。

以上説明したように、本発明の第２の実施形態によれば、ネットワーク経由でコンテンツが送信されてきた場合に、音場再生装置の構成がコンテンツ制作者の想定とは異なる場合であっても、仮想音源を集約することでコンテンツ制作者の想定に近い音場を再現することができる。

なお、上述した処理は、音場再生装置または音声信号生成装置の内部に記憶部を設け、記憶部に記憶されたコンピュータプログラムを順次呼び出して実行されるようにしてもよい。記憶部として、各種のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を用いてもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では音声信号生成装置１１５、２１５に音場情報抽出部１２０、２２０が含まれるように構成したが、本発明はこれに限られない。例えば、逆多重化部１１４，２１４で逆多重化を行って音源位置情報および音声情報を直接得ることができる場合には、音場情報抽出部を用いずに直接音声信号生成部１３０、２３０に音源位置情報および音声情報を入力してもよい。

本発明の第１の実施形態にかかる音場再生装置について説明する説明図である。 本発明の第１の実施形態にかかる音声データの構成例について説明する説明図である。 インテンシティステレオ方式と波面合成方式とにおいて、受聴者が音源を知覚する位置の違いについて説明する説明図である。 本発明の第１の実施形態にかかる仮想音源の集約処理の一例について説明する説明図である。 本発明の第１の実施形態にかかる仮想音源の集約処理の一例について説明する流れ図である。 本発明の第１の実施形態にかかる仮想音源の集約処理の別の例について説明する説明図である。 本発明の第１の実施形態にかかる仮想音源の集約処理の別の例について説明する流れ図である。 本発明の第２の実施形態にかかる音場再生装置について説明する説明図である。 音源からの波面を模式的に表している説明図である。 波面合成によって２つの音源からの波面を再現する場合について説明する説明図である。 ステレオ方式とマルチチャンネルオーディオシステムとによる受聴イメージの違いについて説明する説明図である。

符号の説明

１０、２０ 音場再生装置
１１０ 光ディスク再生装置
１１４、２１４ 逆多重化部
１１５、２１５ 音声信号生成装置
１２０、２２０ 音場情報抽出部
１３０、２３０ 音声信号生成部
１４０、２４０ 変換部
１５０、２５０ アンプ
１６０、２６０ アレイスピーカ
１７０、２７０ 字幕データ抽出部
１７２、２７２ 字幕データ再生部
１８０、２８０ 映像データ抽出部
１８２、２８２ 映像再生部
１９０、２９０ 字幕スーパーインポーズ部
１９２、２９２ 表示部
２１２ 受信データ復号部

Claims (16)

1. 音声情報および音源位置情報が含まれる音声データを入力し、アレイ状に配されたｍ個のスピーカからなるアレイスピーカから音声を出力することで、仮想空間内に配された仮想音源からなる音場を現実空間の想定受聴領域に再生するための音声信号を生成する音声信号生成装置であって：
   所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために前記音声情報および前記音源位置情報を変換して集約音声情報および集約音源位置情報を生成する変換部と；
   前記音声情報および前記音源位置情報と、前記変換部で生成した前記集約音声情報および前記集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する音声信号生成部と；
   を含むことを特徴とする、音声信号生成装置。
2. 前記音声データから前記音声情報および前記音源位置情報を抽出する音場情報抽出部をさらに含むことを特徴とする、請求項１に記載の音声信号生成装置。
3. 前記変換部は、前記ｎ個の仮想音源群を前記所定の範囲の中央に集約するように変換することを特徴とする、請求項１に記載の音声信号生成装置。
4. 前記変換部は、前記ｎ個の仮想音源群を一番出力レベルの大きい音源に集約するように変換することを特徴とする、請求項１に記載の音声信号生成装置。
5. 音声情報および音源位置情報が含まれる音声データを入力し、アレイ状に配されたｍ個のスピーカからなるアレイスピーカから音声を出力することで、仮想空間内に配された仮想音源からなる音場を現実空間の想定受聴領域に再生する音場再生装置であって：
   所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために前記音声情報および前記音源位置情報を変換して集約音声情報および集約音源位置情報を生成する変換部と；
   前記音声情報および前記音源位置情報と、前記変換部で生成した前記集約音声情報および前記集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する音声信号生成部と；
   前記ｍチャネルの音声信号を波面合成し、ｍチャネルの音声を出力することで、前記想定受聴領域に音場を再生する音声出力部と；
   を含むことを特徴とする、音場再生装置。
6. 前記音声データから前記音声情報および前記音源位置情報を抽出する音場情報抽出部をさらに含むことを特徴とする、請求項５に記載の音場再生装置。
7. 前記変換部は、前記ｎ個の仮想音源群を前記所定の範囲の中央に集約するように変換することを特徴とする、請求項５に記載の音場再生装置。
8. 前記変換部は、前記ｎ個の仮想音源群を一番出力レベルの大きい音源に集約するように変換することを特徴とする、請求項５に記載の音場再生装置。
9. 音声情報および音源位置情報が含まれる音声データを入力し、アレイ状に配されたｍ個のスピーカからなるアレイスピーカから音声を出力することで、仮想空間内に配された仮想音源からなる音場を現実空間の想定受聴領域に再生するための音声信号を生成する音声信号生成方法であって：
   所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために前記音声情報および前記音源位置情報を変換して集約音声情報および集約音源位置情報を生成する変換ステップと；
   前記音声情報および前記音源位置情報と、前記変換ステップで生成した前記集約音声情報および前記集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する音声信号生成ステップと；
   を含むことを特徴とする、音声信号生成方法。
10. 前記音声データから前記音声情報および前記音源位置情報を抽出する音場情報抽出ステップをさらに含むことを特徴とする、請求項９に記載の音声信号生成方法。
11. 前記変換ステップは、前記ｎ個の仮想音源群を前記所定の範囲の中央に集約するように変換することを特徴とする、請求項９に記載の音声信号生成方法。
12. 前記変換ステップは、前記ｎ個の仮想音源群を一番出力レベルの大きい音源に集約するように変換することを特徴とする、請求項９に記載の音声信号生成方法。
13. 音声情報および音源位置情報が含まれる音声データを入力し、アレイ状に配されたｍ個のスピーカからなるアレイスピーカから音声を出力することで、仮想空間内に配された仮想音源からなる音場を現実空間の想定受聴領域に再生するための音声信号を生成するコンピュータプログラムであって、コンピュータに：
    所定の範囲内に存在するｎ個（ｎは２以上の整数）の仮想音源群をｎ−１個以下の仮想音源群に集約するために前記音声情報および前記音源位置情報を変換して集約音声情報および集約音源位置情報を生成する変換ステップと；
    前記音声情報および前記音源位置情報と、前記変換ステップで生成した前記集約音声情報および前記集約音源位置情報を用いて、波面合成によって仮想音源を形成するためのｍチャネルの音声信号を生成する音声信号生成ステップと；
    を含む処理を実行させるための、コンピュータプログラム。
14. 前記音声データから前記音声情報および前記音源位置情報を抽出する音場情報抽出ステップをさらに含むことを特徴とする、請求項１３に記載のコンピュータプログラム。
15. 前記変換ステップは、前記ｎ個の仮想音源群を前記所定の範囲の中央に集約するように変換することを特徴とする、請求項１３に記載のコンピュータプログラム。
16. 前記変換ステップは、前記ｎ個の仮想音源群を一番出力レベルの大きい音源に集約するように変換することを特徴とする、請求項１３に記載のコンピュータプログラム。

Images