JP4364326B2 - 複数の聴取者用３次元音響再生装置及びその方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は３次元立体音響再生装置に関し、特に複数の聴取者に同一の３次元音響を提供する複数の聴取者用３次元音響再生装置及びその方法に関する。
【０００２】
【従来の技術】
従来のオーディオ産業では、オーディオが１次元の点あるいは２次元の平面上で形成されるようにして臨場感があるように音響を再生しようとしている。すなわち、初期のモノシステムやステレオシステムや近年のドルビーサラウンド音響システムは、全て臨場感のある音響の再生を追求した。しかし、マルチメディア産業が発展するにしたがって、視覚的な情報と合せて聴覚的な情報すなわち音響信号の記録及び再生技術の照準は、臨場感あるように忠実に再生することから、オーディオを任意の位置に設けることができる３次元音響空間の再生へと変化している。
【０００３】
近年の大部分のオーディオ機器は、モノ音響信号の再生よりはステレオ音響信号の再生を行っている。ステレオ音響信号を再生するとき、再生される信号により感じられる臨場感の範囲は、スピーカーが設置される位置によって制限される。従って、臨場感の範囲を向上するために、スピーカーの再生能力を改善し、信号処理により仮想信号を作る研究が行われている。
【０００４】
このような研究の結果における代表的なシステムは、５個のスピーカーを用いたサラウンド再生方式のドルビーサラウンド立体音響システムである。このシステムでは、後方スピーカーに出力される仮想信号を別途に処理する。この仮想信号は、信号の空間的な移動に従って信号に遅延を与え、信号の大きさを縮小した信号を後方のスピーカーに伝達することにより生成される。現在、家庭用ビデオ及びレーザーディスクの大部分はドルビープロロジックサラウンドという立体音響技術を採用している。この技術が採用されている機器であれば、一般家庭でも映画館のような緊張感あふれる音響を体験できる。
【０００５】
上述のように、チャンネル数を増加させることによってより臨場感に充実な音響再生効果を得られるが、増加分のチャンネル数だけのスピーカーが必要となり、これに伴う費用と設置場所の問題があった。
【０００６】
このような問題は、人間が３次元空間に存在する音をどのように聞いて感じるかを研究した結果を応用することによって改善することができる。特に、人間の音認識に対する研究の中で、両耳の研究が３次元空間の音源認識に重大な影響をもたらしている。
【０００７】
このような両耳に対する研究は、両耳に入る入力信号の相互影響に対する研究、すなわち右耳と左耳で感じる音信号の大きさの差、または音の伝達時間の差で発生する右耳と左耳に入る音の位相差に関する。このような両耳に対する研究結果により、人間が空間上のある点に存在する音源を認識する認識特性がモデル化された。 このような認識特性は頭伝達関数(Head Related Transfer Function:以下HRTFという) と呼ばれる。
【０００８】
HRTFは音源から耳の鼓膜に伝えられる経路をモデル化したフィルタ係数であって、音源と頭との相対的な位置関係によってその値が違う性質を有する。HRTFは、空間上のある点に音源が存在し、その信号が両耳に伝送される場合の特徴に対する中耳でのインパルス応答または伝達関数として表現される。このようなHRTFを応用することにより、音が存在する位置を３次元空間上の任意の位置に移す処理が可能になる。
【０００９】
一方、人間の聴覚がどのように３次元音響空間を認識するかに対して多くの研究がなされていて、近年、仮想音源が提案され、実際の応用分野を探している状態である。
【００１０】
一般的に、ステレオ音響が最もバランスよく聞こえる位置は、二つのスピーカーを結ぶ直線を底辺とする正三角形の頂点にあたるところである。しかし、聴取者がこの位置でだけ音響を聞くということは、空間制約上多くの問題が発生する。また、聴取者が聞いている位置によって音響の左右のバランスをとることは非常に難しい。
【００１１】
日本のアイワは従来のスピーカー本体に正面に向けて強音を出す「単一指向性」スピーカーを内蔵してこの問題を解決した。アイワが開発したスピーカーの最も大きな特徴は、スピーカー正面のどの方向でもバランスの取れたステレオ音響を楽しめるということである。一般的なスピーカーシステムは、聞き手が左に偏る場合、右側スピーカーから発生する音が小さく聞こえるようになる。しかし、アイワから開発されたスピーカーに内蔵された単一指向性スピーカーは、内側に４５度傾いている。従って、右側スピーカーの単一指向性スピーカーは左方向に向けては強音を、右方向に向けては弱音を生成する。反対に、左側スピーカーの単一指向性スピーカーは左側方向に向けては弱音を、右側方向に向けては強音を生成する。結果的に、左右スピーカーのバランスが取れることになる。
【００１２】
１９９３年日本ビクターが開発したスピーカーシステムは、２台のスピーカーのみで実際にスピーカーのない後方からも音が聞こえるようにした仮想現実サウンドを実現した。このシステムの原理は基本的に人間の錯覚を用いたことである。人間は両耳を活用して音が聞こえる方向を無意識的に探す。音が伝えられる速度は秒速３４０ｍ、右耳と左耳の間隔は約２０ｃｍで、両耳に音が伝えられる時間は最大５００分の１秒程度の差がある。そして、両耳に入る音のレベル差も音の方向を認識するのに重要な要素である。人間はこの二つの差と目で得た情報を利用して音の発生地を認識する。従って、音が人間の両耳に到達する時間をうまく制御さえできれば、２個のスピーカーから発生する音源だけでも部屋全体をカバーできて、あたかもサラウンドシステムが装置された映画館にいるような幻想を感じさせることができる。
【００１３】
【発明が解決しようとする課題】
しかし、今までほとんど全ての３次元音響関連技術は、一人の聴取者を対象としている。すなわち、現在のオーディオ再生システムでは、一人の聴取者が二つのスピーカーを結ぶ線を底辺とする正三角形の頂点に位置する時のみ、ステレオ効果が得られる。従って、従来の技術によれば、複数の聴取者が同時に全く同じステレオ効果を聞きうる環境をほとんど提供できない問題点を有している。
【００１４】
このような問題点は特に、家庭用映画館システムで非常に深刻である。 図７に示したように家族全員が音源を囲んで座った場合、従来の技術による家庭用映画館システムでは家族全員が良好な音響効果を得ることができないので、実質的な家族用映画館システムとは言い難い。
【００１５】
最近は二つのチャンネル再生の代わりに、ドルビープロロジックシステムを設けて、さらに多くのスピーカーを利用して臨場感と空間を提供しようとする試みがある。しかしながら、この方式でも完全な立体空間感を提供するためには、複数の聴取者が全て各スピーカーを含む円の中心周囲に位置しなくてはならない。さらに、多チャンネルオーディオの再生のためには、対応する複数のスピーカーと、これらスピーカーを駆動するためのアンプを備えなくてはならない。従って、この方式では前述のようなコストと設置空間の問題が発生する。
【００１６】
本発明は上記の問題点を解決するために創作されたものであって、各位置別複数の聴取者に同一の３次元音響が提供できる、複数の聴取者用３次元音響再生装置及びその方法を提供することを目的とする。
【００１７】
上記の目的を達成するために、本発明による複数の聴取者用３次元音響再生装置は、入力音響信号を各聴取者に対して同じ仮想音源を有するようにフィルタリングする逆フィルタモジュールと、前記逆フィルタモジュールでフィルタリングされた音響信号の中で一つの音響信号を所定の周期により順次に選択する時間多重化手段と、前記時間多重化手段により選択された音響信号を音響に出力する複数のスピーカーを備え、前記所定の周期は聴取者の数によって可変的に調整可能である。
【００１８】
また、本発明による複数の聴取者に同じ３次元音響効果を提供するように、入力された音響信号を固定された複数のスピーカーにより再生する方法は、(a) 前記複数の聴取者別に前記複数のスピーカーから聴取者の耳までの経路をモデリングしたスピーカー伝達関数を求める段階と、(b) 前記スピーカー伝達関数の逆行列に、仮想音源から聴取者の耳までの経路をモデリングした仮想音源伝達関数を掛けたフィルタ値を求める段階と、(c) 所定の周期により前記フィルタ値の中で一つを順次に選択する段階と、(d) 入力された音響信号を選択されたフィルタ値とたたみこみ処理して、たたみこみ処理した結果値を前記スピーカーに出力する段階とを備え、前記所定の周期は聴取者の数によって可変的に調整可能である。
【００１９】
【発明の実施の形態】
以下、添付した図面を参照して本発明を詳細に説明する。
図１によれば、本発明による複数の聴取者用３次元音響再生装置は、逆フィルタモジュール１００と、時間多重化手段２００と、複数のスピーカー３００を備えている。
【００２０】
逆フィルタモジュール１００は、各聴取者に対応する複数の逆フィルタ部１０、２０、３０を具備し、複数の聴取者４００の各々が同一の仮想音源を有するように入力音響信号をフィルタリングする。時間多重化手段２００は、逆フィルタモジュール１００によりフィルタリングされた音響信号から一つの音響信号を所定の周期で順次に選択する。そして、複数のスピーカー３００は、時間多重化手段２００により選択された音響信号を音響として出力する。
【００２１】
本発明で提案する方法では、複数の聴取者の各位置に対応する各々のHRTF測定モデルが必要となる。その理由は、一人の聴取者の標準位置が二つのスピーカーの中央であるのに比べて、複数の聴取者の場合、その位置はかなり変化し、標準位置から外れるからである。従って、より正確なスピーカーと各聴取者間のHRTFモデルが要求される。
【００２２】
以下、本発明の実施の形態で使用するHRTFを説明する。
HRTFは音源から耳の鼓膜に伝えられる経路をモデリングしたフィルタ係数であって、自由空間で音源から人間の耳の外耳道に至るまでの音の伝搬を示す、周波数平面上での伝達関数を意味し、また人間の頭部、 耳殻、そして胴体による周波数歪曲の程度を意味する。
【００２３】
耳の構造面を考慮すれば、耳殻の不規則な形状により外耳道に音が入る前に耳に到達する信号の周波数スペクトルが歪曲される。このような歪曲は音の方向や距離に従って変化するので、人間が音の方向を認知することにおいてこのような周波数成分の変化が大きい役割をする。このような周波数歪曲の程度を示すものがHRTFである。
【００２４】
従って、HRTFは音源の位置によって大きく左右され、同一の音源の位置でも左耳と右耳のHRTFは変わりうる。また、人によって耳殻や顔の形状が全て違うため、個人によってこのHRTFの差が発生する。
【００２５】
このHRTFを応用して３次元立体音響が再現できるが、その基本原理は所定位置のHRTFと入力オーディオ信号をたたみこみ処理すると、その所定位置から音が発生するように感じられる。
【００２６】
【数１】

【００２７】
一般的に二つの信号h n 、x n の時間領域でのたたみこみは数式１で示すように、FFT(Fast Fourier Transform) 処理した二つの信号H k 、X k の周波数領域での掛け算をIFFT(Inverse Fast Fourier Transform)することと同一である。与えられたHRTFに対して、あらかじめFFT 処理を行っておく。一般的に、時間領域でのたたみこみ計算より周波数領域での掛け算の方が処理速度がより速いため、この方法を選択する。
【００２８】
スピーカーの初期位置情報に対応するHRTFを求めた後、仮想的な音源の位置に対応するHRTFを求めてマトリックス演算をする。このマトリックス演算はスピーカー位置と仮想音源の位置の間に相互連関性を与える。従って、どの位置にあるスピーカーでもマトリックス演算を通じてお互いの関係を得られるので、再生する音響の性能はスピーカーの位置とは関係ない。
【００２９】
まず、一人の聴取者がいる場合の３次元音響再生方法を述べる。
図２に示したように、聴取者の位置が二つのスピーカーの中央にあると仮定すると、３次元音響再生に必要なデータは、二つのスピーカーから聴取者の両耳までのHRTF４つと、仮想音源から聴取者の両耳までのHRTF２つの合計６つのHRTFが必要である。図２においてＬ及びＲは、各々左右スピーカーが設置された位置を示し、ＶＳは聴取者が聞こうとする仮想の位置を示す。
【００３０】
実際に音はスピーカーから出るが、聴取者にあたかも３次元空間上の任意の位置から聞こえるような感じを与える。この原理は次の通りである。二つのスピーカーから生成される音自体を除去させた後、聞こうとする任意の位置のHRTFと入力信号をたたみこみ処理すればよい。
【００３１】
ここで、二つのスピーカーと両耳間のHRTF伝達特性を除去させるために、逆フィルタを利用する。この時、左側スピーカーから出力される信号は左耳に伝えられてはいけないし、右側スピーカーから出力される信号は右耳に伝えられてはいけない。これが混線（クロストーク）消去法である。 二つのスピーカーから生成される音を除去した後、聴取者が聞こうとする方向のHRTFを入力信号と共にたたみこみ処理すれば、スピーカーの位置からは音が出ず、聴取者が聞こうとする任意の方向から音が出るように感じられる。
【００３２】
図３によれば、ブロックC １１０は、設置された二つのスピーカーから人間の両耳に伝えられる音の経路をモデリングしたフィルタメトリックスであり、ブロックD １２０は使用者が聞こうとする仮想の音源から人間の両耳に伝えられる音の経路をモデリングしたフィルタメトリックスである。そして、ブロックH １３０は仮想の音源と設置された二つのスピーカー間の関係を補償する役割をする逆フィルタのメトリックスであって、スピーカー出力前に入力信号とたたみこみ処理される。図４は上記関係を概念的に説明した図である。
【００３３】
逆フィルタH の計算方式は、図５に示したように、マトリックスにて表される。マトリックス演算の基本原理は次の通りである。二つの入力信号を各々Ｌ、Ｒとする時、スピーカーを経て両耳に伝達される最終出力信号YL、YRは各々次のように表現できる。
【００３４】
【数２】

【００３５】
また、聞こうとする位置での仮想出力値をVL、VRとすると次のように表現される。
【００３６】
【数３】

【００３７】
結果として、理想的な状態であれば数式２と数式３が同一であるべきだが、実際には二つの式間の誤差が少ないほど良い。二つの式が同一だと仮定すると、逆フィルタH マトリックスは次のように求められる。
【００３８】
【数４】

【００３９】
以下、複数の聴取者がある場合の再生方法に対して説明する。
複数の聴取者がいる場合の再生方法では、各聴取者の位置に当る正確なHRTFモデルを必要とする。MIT が提供するKEMAR モデルのような一般的なHRTFは、聴取者が中央にいる時の伝達関数だけをモデリングしたものであるので、本発明の実施の形態ではそのまま適用することができない。従って、各聴取者の位置別HRTFを測定するために、図６に示したように実験設備を配置する。ここでは、各聴取者間の間隔を３０ｃｍとし、二つのスピーカーの位置は標準ステレオ再生位置の左、右30゜とする。このような方法で得られた各聴取者位置別HRTFを利用して、各々の逆フィルタを再び計算することによって各聴取者に当る複数の逆フィルタ部１０、２０、３０を備えた逆フィルタモジュール１００を求める。
【００４０】
以下、本発明の核心部分である時間多重化方法に対して説明する。
すなわち、各聴取者別に処理された逆フィルタ部は、一定時間間隔をおいて交替に選択され、選択された逆フィルタ部で処理した信号は二つのスピーカーにより再生される。
【００４１】
これが可能な理由は、映画を見る時、実際各々の場面は非連続的であるが一定の時間間隔をおいて継続的に進行されるので、人間の目はあたかも連続的な場面を見るように感じる残像現象と類似した概念であるためである。すなわち、、各聴取者の位置から各々のフィルタ処理結果は互いに独立的であるが、この結果を一定の時間間隔をおいて交替でスピーカーに出力すると、各々の聴取者は自分の位置であたかも連続するような音響を聞くことができる。
【００４２】
このとき最も重要なことは、各位置での再生時間間隔である。ある位置に対する再生時間を非常に長く設定した場合、他の位置の聴取者は音響が聞こえなくなり、またあまり短くした場合、聴取者全体が完全な再生音を聞く時間的な余裕がなくなる。
【００４３】
本発明の作用を説明する。
複数の聴取者に同一の３次元音響効果を提供するように、入力された音響信号を固定された２台のスピーカーにより再生するためには、まず複数の聴取者別に２台のスピーカーから聴取者の耳までの経路をモデリングしたスピーカー伝達関数を求める。この際、聴取者の位置は中央に限定されず、一定の範囲内に位置できる。
【００４４】
次に、スピーカー伝達関数の逆行列に仮想音源から聴取者の耳までの経路をモデリングした仮想音源伝達関数を掛けたフィルタ値を求め、入力された音響信号をフィルタ値の一つによりたたみこみ処理する。
【００４５】
次に、フィルタ値の一つの音響信号を所定の周期により順次に選択してスピーカーに出力する。一般的に、人間の聴覚特性が音を認識するには、最低２０msの時間的間隔が必要なので、本発明における各聴取者位置別再生間隔は最低２０msを越えるべきである。そして、聴取者の数があまり多ければ、全ての聴取者に対する信号を処理するのに長時間がかかるので、本発明による時間多重化方法は聴取者の数に対する制限を有する。
【００４６】
本発明の実施の形態では、時間多重化周期は全体聴取者の数によって可変的に調節できるように構成される。
【００４７】
また、前述のような本発明の実施の形態では、スピーカーの数を２台に制限したが、本発明の属する技術分野で平均的技術水準を有する人であれば容易にそれ以上の複数のスピーカーに対しも実現することができ、このような構成は本発明の基本的な思想の範疇内に含まれる。
【００４８】
【発明の効果】
本発明によれば、二つのスピーカーだけで３次元音響を楽しむことができ、複数の聴取者に同時に同一の３次元音響効果を提供することができる。
【００４９】
特に、家庭用オーディオ・ビデオ映画館システムでは、家族全員がスクリーンを中心として正面に集まらず各々好きにな位置を占めるが、このような場合、各聴取者の位置に従って本発明を適用すれば、全ての聴取者が同時に３次元音響効果を楽しみながら映画を見ることができる。
【図面の簡単な説明】
【図１】本発明に係る複数の聴取者用３次元音響再生装置の構成を示すブロック図である。
【図２】２チャンネル再生システムに含まれる二つのスピーカーと仮想空間上の音源との関係の一例を示す図である。
【図３】２チャンネル再生システムにおける仮想の音源を作るためのスピーカー位置補償関係を伝達関数の概念を示す図である。
【図４】２チャンネル再生システムにおける仮想の音源と逆フィルタ処理された実際音源との関係を示す図である。
【図５】図４をフィルタメトリックスを使用してより詳細に構成したスピーカー位置補償システムを示すブロック構成図である。
【図６】複数の聴取者位置での正確な頭伝達関数(HRTF)モデリングのための測定実験におけるスピーカーとダミーヘッドの配置を示す図である。
【図７】一般的なステレオ再生システムにおける複数の聴取者がいる場合を示す図である。
【符号の説明】
１００…逆フィルタモジュール
２００…時間多重化手段
３００…スピーカー
４００…聴取者

Claims (3)

1. 入力音響信号を各聴取者に対して同一の仮想音源を有するようにフィルタリングする逆フィルタモジュールと、
   前記逆フィルタモジュールによりフィルタリングされた音響信号の中の一つの音響信号を所定の周期により順次に選択する時間多重化手段と、
   前記時間多重化手段により選択された音響信号を出力する複数のスピーカーと、
   を備え、
   前記所定の周期は聴取者の数によって可変的に調節可能であることを特徴とする複数の聴取者用３次元音響再生装置。
2. 前記逆フィルタモジュールは聴取者の数に相当する数の逆フィルタ部を備え、各逆フィルタ部は前記スピーカーから各逆フィルタ部に対応する聴取者の耳までの経路をモデリングしたスピーカー伝達関数Ｃの逆行列Ｃ-1に、仮想音源から前記聴取者の耳までの経路をモデリングした仮想音源伝達関数Ｄを掛けた値をフィルタ特性として有することを特徴とする請求項１に記載の複数の聴取者用３次元音響再生装置。
3. 複数の聴取者に同一の３次元音響効果を提供するように、入力された音響信号を固定された複数のスピーカーにより再生する方法であって、
   前記複数の聴取者別に前記複数のスピーカーから聴取者の耳までの経路をモデリングしたスピーカー伝達関数を求める段階と、
   前記スピーカー伝達関数の逆行列に仮想音源から聴取者の耳までの経路をモデリングした仮想音源伝達関数を掛けたフィルタ値を求める段階と、
   所定の周期により前記フィルタ値の中の一つを順次に選択する段階と、
   入力された音響信号を選択されたフィルタ値とたたみこみ処理して、たたみこみ処理した結果値を前記スピーカーに出力する段階と、
   を備え、
   前記所定の周期は聴取者の数によって可変的に調整可能であることを特徴とする複数の聴取者用３次元音響再生方法。

Images