JP2006503526A - 動的なバイノーラルサウンドの取込及び再生 - Google Patents

Abstract

生の又は録音されたのいずれかである３次元サウンドを取り込み、再生する新しい手法を説明する。ＭＴＢ又は「モーショントラックドバイノーラル」と称する方法で、複数のマイクロホン（１４）、ヘッドトラッカ（１８）、及び特殊な信号処理手順を使用して、マイクロホン（１４）によって拾われた信号を組み合わせる。ＭＴＢは、サウンドが発生している空間に聴取者の耳を効果的に置き、聴取者の頭部の動きと同期して仮想耳を移動することによって、高い度合のリアリズムを達成する。ＭＴＢは、空間音響を録音するユニバーサルフォーマットも提供する。

Description

本発明は、全般的には空間音響（ｓｐａｔｉａｌ ｓｏｕｎｄ）の取込及び再生に関し、具体的には、３次元空間音響の動的特性を取り込み、再生する方法及びシステムに関する。

関連出願の相互参照
本願は、参照によって本明細書に組み込まれる２００２年１０月１８日出願の米国特許出願第６０／４１９７３４号明細書からの優先権を主張するものである。本願は、参照によって本明細書に組み込まれる２００３年４月１５日出願の米国特許出願第１０／４１４２６１号明細書からの優先権も主張する。

連邦が出資する調査又は開発に関する陳述
本発明は、全米科学財団によって授与された許可番号ＩＩＳ−００−９７２５６号及びＩＴＲ−００−８６０７５号の下で政府の支援を受けて作られた。政府は、本発明に関するある権利を有する。

コンパクトディスクで提出される材料に関する参照による組込み
適用なし。

著作権保護の対象になる材料の告知
この特許文書の材料の一部は、米国及び他国の著作権法の下での著作権保護の対称である。著作権の所有者は、米国特許商標局の公に入手可能なファイル又は記録に現れる特許文書又は特許開示の何人による写真複製にも異議を唱えないが、それ以外のすべての著作権を留保する。著作権所有者は、これによって、米国特許施行規則第１．１４条により権利を制限なしに含む、この特許文書を秘密に保たせることに対するどの権利も放棄しない。

空間音響の取込及び再生には、複数の代替手法があり、使用される特定の手法は、通常、音源が自然音源とコンピュータ生成音源のどちらであるかに依存する。自然音響の録音及び再生に関する空間音響テクノロジの優れた概要が、Ｆ．Ｒｕｍｓｅｙ，Ｓｐａｔｉａｌ Ａｕｄｉｏ（Ｆｏｃａｌ Ｐｒｅｓｓ，Ｏｘｆｏｒｄ，２００１）にあり、仮想音源の生成及びリアルタイム「レンダリング」のコンピュータベースの方法に関する匹敵する概要が、Ｄ．Ｂ．Ｂｅｇａｕｌｔ，３−Ｄ Ｓｏｕｎｄ ｆｏｒ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ａｎｄ Ｍｕｌｔｉｍｅｄｉａ（ＡＰ Ｐｒｏｆｅｓｓｉｏｎａｌ，Ｂｏｓｔｏｎ，１９９４）にある。次は、よく知られた手法の一部の概要である。

サラウンドサウンド（たとえば、ステレオ、４チャネル方式、Ｄｏｌｂｙ（登録商標）５．１など）は、これまで、空間音響を録音し、再生する最も人気のある手法である。この手法は、概念的には単純である、すなわち、サウンドが来て欲しいところにラウドスピーカを置けば、サウンドがその位置から来るようになる。しかし、実際には、それほど単純ではない。ラウドスピーカの間、特に側面に沿った位置からサウンドが来るように見せることは、困難である。同一のサウンドが、複数のスピーカから来る場合に、先行音効果が、サウンドが最も近いスピーカから来るように見えることをもたらし、これは、スピーカの近くに座った人に特に不適当である。最良の結果は、かなり狭い「スイートスポット」の近くにいるように聴取者を制限することである。また、複数の高品質スピーカの必要が、不便かつ高価であり、家庭での使用に関して、多くの人が、３つ以上のスピーカの使用が許容不能であることに気付いている。

その制限を減らしてサラウンドサウンドを実現する代替の形がある。たとえば、ホームシアタシステムは、通常、２つのラウドスピーカの間のスペースを超えてサウンドステージを拡張する音響心理学的効果を含む２チャネルミックスを提供する。スピーカ信号をヘッドホン信号に変換することによって、複数のラウドスピーカの必要をなくすことも可能であり、これは、いわゆるＤｏｌｂｙ（登録商標）ヘッドホンに使用される技法である。しかし、これらの代替案のそれぞれが、それ自体の制限も有する。

サラウンドサウンドシステムは、遠くから来るサウンドを再生するにはよいが、一般に、耳元でささやく人など、非常に近くにある源の効果を生成することができない。最後に、効果的なサラウンドサウンド録音を生成することは、専門のサウンドエンジニアの仕事であり、その手法は、テレビ会議又はアマチュアに適しない。

もう１つの手法が、Ａｍｂｉｓｏｎｉｃｓ（商標）である。広く使用されてはいないが、サラウンドサウンドに対するＡｍｂｉｓｏｎｉｃｓ手法は、録音を行うという問題の多くを解決する（Ｍ．Ａ．Ｇｅｒｚｏｎ，“Ａｍｂｉｓｏｎｉｃｓ ｉｎ ｍｕｌｔｉｃｈａｎｎｅｌ ｂｒｏａｄｃａｓｔｉｎｇ ａｎｄ ｖｉｄｅｏ”，Ｐｒｅｐｒｉｎｔ ２０３４，７４ｔｈ Ｃｏｎｖｅｎｔｉｏｎ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ（Ｎｅｗ Ｙｏｒｋ、Ｏｃｔ．８−１２、１９８３）；後にＪ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、Ｖｏｌ．３３、Ｎｏ．１１、ｐｐ．８５９−８７１（Ｏｃｔ．、１９８５）で出版）。これは、抽象的に、低次球面調和関数によって入射音場と近似する方法と説明された（Ｊ．Ｓ．Ｂａｍｆｏｒｄ ａｎｄ Ｊ．Ｖａｎｄｅｒｋｏｏｙ，“Ａｍｂｉｓｏｎｉｃ ｓｏｕｎｄ ｆｏｒ ｕｓ”，Ｐｒｅｐｒｉｎｔ ４１３８，９９ｔｈ Ｃｏｎｖｅｎｔｉｏｎ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ（Ｎｅｗ Ｙｏｒｋ，Ｏｃｔ．６−９、１９９５））。Ａｍｂｉｓｏｎｉｃ録音では、ＳｏｕｎｄＦｉｅｌｄ（商標）マイクロホンと称する特殊なコンパクトなマイクロホンアレイを使用して、３つの直交する次元でのローカル圧力及び圧力差を感知する。基本的なＡｍｂｉｓｏｎｉｃ手法が拡張されて、３つを超える次元からの録音が可能にされ、よりよい角度分解能が、対応する複雑さの増加と共に提供された。

他のサラウンドサウンド方法と同様に、Ａｍｂｉｓｏｎｉｃｓは、マトリクス化方法を使用して、ラウドスピーカのアレイを駆動し、したがって、マルチスピーカシステムの他の長所及び短所のすべてを有する。更に、すべてのスピーカが、ローカル圧力成分を再生するのに使用される。その結果、聴取者が、スイートスポット内に位置する時に、その成分が聴取者の頭部の中にあるかのように聞かれ、頭の動きが、気を散らせるティンブラルアーティファクト（ｔｉｍｂｒａｌ ａｒｔｉｆａｃｔ）を誘導する（Ｗ．Ｇ．Ｇａｒｄｎｅｒ，３−Ｄ Ａｕｄｉｏ Ｕｓｉｎｇ Ｌｏｕｄｓｐｅａｋｅｒｓ（Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ，Ｂｏｓｔｏｎ，１９９８），ｐ．１８）。

ウェーブフィールドシンセシス（ｗａｖｅ−ｆｉｅｌｄ ｓｙｎｔｈｅｓｉｓ）は、もう１つの手法であるが、非常に実用的ではない。理論上、十分なマイクロホン及び十分なラウドスピーカがあれば、囲む表面上のマイクロホンによって取り込まれたサウンドを使用して、録音が行われた空間の中全体に存在する音圧場を再生することができる（Ｍ．Ｍ．Ｂｏｏｎｅ，“Ａｃｏｕｓｔｉｃ ｒｅｎｄｅｒｉｎｇ ｗｉｔｈ ｗａｖｅ ｆｉｅｌｄ ｓｙｎｔｈｅｓｉｓ”，Ｐｒｏｃ．ＡＣＭ ＳＩＧＧＲＡＰＨ ａｎｄ Ｅｕｒｏｇｒａｐｈｉｃｓ Ｃａｍｐｆｉｒｅ：Ａｃｏｕｓｔｉｃ Ｒｅｎｄｅｒｉｎｇ ｆｏｒ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ，Ｓｎｏｗｂｉｒｄ，ＵＴ、Ｍａｙ ２６−２９、２００１））。理論的要件は厳しいが（すなわち、数十万個のラウドスピーカ）、１００個を超えるラウドスピーカのアレイを使用するシステムが、構成され、効果的であると言われている。しかし、この手法は、明らかに費用効率が悪い。

バイノーラル（ｂｉｎａｕｒａｌ）取込が、もう１つの手法である。３次元サウンドを取り込むのに数百チャネルを有する必要がないことが周知であり、実際に、２チャネルで十分である。２チャネルバイノーラル録音又は２チャネル「ダミーヘッド」録音は、３Ｄ画像の立体再生の音響類似物であるが、空間音響を取り込むのに長く使用されてきた（Ｊ．Ｓｕｎｉｅｒ，“Ｂｉｎａｕｒａｌ ｏｖｅｒｖｉｅｗ：Ｅａｒｓ ｗｈｅｒｅ ｔｈｅ ｍｉｋｅｓ ａｒｅ． Ｐａｒｔ Ｉ”，Ａｕｄｉｏ，Ｖｏｌ．７３，Ｎｏ．１１，ｐｐ．７５−８４（Ｎｏｖ．１９８９）；Ｊ．Ｓｕｎｉｅｒ，“Ｂｉｎａｕｒａｌ ｏｖｅｒｖｉｅｗ：Ｅａｒｓ ｗｈｅｒｅ ｔｈｅ ｍｉｋｅｓ ａｒｅ．Ｐａｒｔ ＩＩ”，Ａｕｄｉｏ，Ｖｏｌ．７３，Ｎｏ．１２，ｐｐ．４９−５７（Ｄｅｃ．１９８９）；Ｋ．Ｇｅｎｕｉｔ，Ｈ．Ｗ．Ｇｉｅｒｌｉｃｈ，ａｎｄ Ｕ．Ｋｕｎｚｌｉ，“Ｉｍｐｒｏｖｅｄ ｐｏｓｓｉｂｉｌｉｔｉｅｓ ｏｆ ｂｉｎａｕｒａｌ ｒｅｃｏｒｄｉｎｇ ａｎｄ ｐｌａｙｂａｃｋ ｔｅｃｈｎｉｑｕｅｓ”，Ｐｒｅｐｒｉｎｔ ３３３２，９２ｎｄ Ｃｏｎｖｅｎｔｉｏｎ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ（Ｖｉｅｎｎａ，Ｍａｒ．１９９２））。基本的な発想は、単純である。音の空間特性を知覚するのに人間の頭脳によって使用される情報の主な源は、左右の耳の鼓膜に達する圧力波から来る。これらの圧力波を再生できるならば、聴取者は、正確にオリジナルの音が作られた時にその聴取者が存在していたかのように音を聞くことができる。

鼓膜に達する圧力波は、（ａ）音源、（ｂ）リスニング環境、ならびに（ｃ）聴取者自身の体による入射波の反射、回折、及び散乱を含む複数の要因によって影響される。聴取者と正確に同一のサイズ、形状、及び音響特性を有するマネキンが、耳道内の、人間の鼓膜が位置する場所に置かれたマイクロホンを備えるならば、鼓膜に達する信号を、伝えるか録音することができる。信号が、ヘッドホンを介して聞かれる（ヘッドホンドライバから鼓膜までの伝達関数を訂正する適切な補償付きで）時に、音の圧力波が再生され、聴取者は、マネキンの位置及び方位に実際にいるかのように、正しい空間特性のすべてを有する音を聞く。主な問題は、鼓膜の共鳴を訂正することである。ヘッドホンドライバは、耳道の外部にあるので、耳道共鳴は、２回すなわち、録音時に１回と再生時に１回現れる。これは、耳道がブロックされ、マイクロホンがブロックされた入口と同一平面にある、いわゆる「ブロックドミーティアス（ｂｌｏｃｋｅｄ ｍｅａｔｕｓ）」録音の推奨につながる（Ｈ．Ｍｏｌｌｅｒ，“Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ ｂｉｎａｕｒａｌ ｔｅｃｈｎｏｌｏｇｙ”，Ａｐｐｌｉｅｄ Ａｃｏｕｓｔｉｃｓ，Ｖｏｌ．３６，Ｎｏ．５，ｐｐ．１７１−２１８（１９９２））。バイノーラル取込では、特にテレフォニ応用例で、部屋の反響が自然に聞こえる。特に人がマイクロホンから離れて話す場合に、環境音が過度にうつろで反響することが、スピーカホンでの一般的な経験である。バイノーラルピックアップを用いて聞かれる時に、この気を散らす反響の認識が消え、環境音が自然で明瞭になる。

それでも、バイノーラルサウンドの取込及び再生に関連する問題がある。最も明白な問題は、実際に必ず重要ではない。これには、（ａ）髪及び衣服の影響を含む、マネキンと特定の聴取者の間のサイズ、形状、及び音響特性の不可避の不一致、（ｂ）圧力感知要素としての鼓膜とマイクロホンの間の差、及び（ｃ）音源の知覚される位置に対する視覚的な又は触覚的な手がかりなどの非音響要因の影響が含まれる。たとえば、ＫＥＭＡＲ（商標）マネキンでは、いわゆる「ツウィスロッキカプラ（Ｚｗｉｓｌｏｃｋｉ ｃｏｕｐｌｅｒ）」を使用して鼓膜インピーダンスの影響をシミュレートすることに、かなりの努力が捧げられた（Ｍ．Ｄ．Ｂｕｒｋｈａｒｄ ａｎｄ Ｒ．Ｍ．Ｓａｃｈｓ，“Ａｎｔｈｒｏｐｏｍｅｔｒｉｃ ｍａｎｉｋｉｎ ｆｏｒ ａｕｄｉｔｏｒｙ ｒｅｓｅａｒｃｈ”，Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．，Ｖｏｌ．５８，ｐｐ．２１４−２２２（１９７５）。ＫＥＭＡＲは、Ｋｎｏｗｌｅｓ Ｅｌｅｃｔｒｏｎｉｃｓ，１１５１ Ｍａｐｌｅｗｏｏｄ Ｄｒｉｖｅ，Ｉｔａｓｃａ，Ｉｌｌｉｎｏｉｓ，６０１４３によって製造される）。しかし、マイクロホンは、どれほどよくても、変換器として鼓膜と同等でないことを諒解されたい。

はるかに重要な制限が、聴取者の頭部の動きから生じる動的な手がかりがないことである。音源が、マネキンの左に位置すると仮定する。聴取者は、聴取者の左側から来るものとして音を聞く。しかし、聴取者が、その音がアクティブである間に源に向けて向きを変えると仮定する。録音は、聴取者の動きを知らないので、音は、聴取者の左側から来るように見え続ける。聴取者の観点からは、音源が、空間内で左側に留まるように移動したように見える。多数の音源がアクティブである場合に、聴取者が動くときに、その経験は、音響の世界全体が、聴取者と正確に同期して移動することになる。「仮想プレゼンス」の感覚すなわち、録音が行われた環境に実際に存在するという感覚を有するためには、聴取者が移動する時に、静止音源が静止したままにならなければならない。言い換えると、仮想的な聴覚の源の空間的位置は、安定し、聴取者の動きと独立にならなければならない。

聴取者の動きの影響が、バイノーラル録音の別の欠陥の責任を負うと考えるべき理由がある。バイノーラル録音を聞く時に、左又は右からの音が、自然に離れているように見えるが、真上からの音は、必ず近過ぎるように見えることが、一般的な経験である。実際に、一部の聴取者は、頭の中又は後ろにあるものとしてその音源を経験する。この「フロンタルエクスターナライゼーション（ｆｒｏｎｔａｌ ｅｘｔｅｒｎａｌｉｚａｔｉｏｎ）」の消失について、複数の理由が提案された。議論の１つは、我々が、真上にある音源を見ることを期待し、確認する視覚的手がかりがない時に、音の位置を後ろに投影するというものである。実際に、実生活の情況で、音源が前と後ろのどちらにあるかを知ることは、しばしば難しく、これが、我々が不安な時に回りを見渡す理由である。しかし、前後の曖昧さを解決するために、完全に後ろを向く必要はない。音源が、垂直の正中面のどこかにあると仮定する。我々の体は、この平面に関して基本的に対称なので、両耳に達する音は、本質的に同一である。しかし、少し左に頭を向けたと仮定する。音源が実際に前にある場合には、音は、左耳に達する前に右耳に達するが、音源が後ろにある場合には、その反対になる。この両耳間時間差の変化は、しばしば、前後の曖昧さを解決するのに十分である。

しかし、標準的なバイノーラル録音で何が起こるかに注意されたい。源が真上にある時に、我々は、左右の両方の耳で同一の信号を受け取る。録音は、聴取者の動きを知らないので、２つの信号は、我々が頭を動かす時に同一であり続ける。頭の動きにかかわらずに両耳の音が同一である場合に、音源がどこにありえるかを自問するならば、応えは「頭の中」である。動的な手がかりは、非常に強力である。標準的なバイノーラル録音は、そのような動的な手がかりを考慮に入れておらず、これが、「フロンタルコラップス（ｆｒｏｎｔａｌ ｃｏｌｌａｐｓｅ）」の主な理由である。

この問題を直す形の１つが、サーボ機構を使用して、聴取者の頭部が動く時にダミーの頭を動かすことである。実際に、そのようなシステムが、Ｈｏｒｂａｃｈ他によって実施された（Ｕ．Ｈｏｒｂａｃｈ，Ａ．Ｋａｒａｍｕｓｔａｆａｏｇｌｕ，Ｒ．Ｐｅｌｌｅｇｒｉｎｉ，Ｐ．Ｍａｃｋｅｎｓｅｎ ａｎｄ Ｇ．Ｔｈｅｉｌｅ，“Ｄｅｓｉｇｎ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ａ ｄａｔａ−ｂａｓｅｄ ａｕｒａｌｉｚａｔｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ｓｕｒｒｏｕｎｄ ｓｏｕｎｄ”，Ｐｒｅｐｒｉｎｔ ４９７６，１０６ｔｈ Ｃｏｎｖｅｎｔｉｏｎ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ（Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ，Ｍａｙ ８−１１，１９９９））。彼らは、そのシステムが極端に自然な音を作り、前後の混乱を事実上除去したと報告した。そのシステムは、非常に効果的であるが、一時に１人の聴取者だけによる使用に制限されることは明白であり、録音には全く使用することができない。

ヘッドトラッキング法を使用して、コンピュータ生成サウンドをレンダリングする際の、（ｉ）聴取者の頭部の動きと独立の仮想的な聴覚の源の安定した位置、（ｉｉ）よいフロンタルエクスターナライゼーション、及び（ｉｉｉ）ほとんど又は全くない前後の混乱という長所を達成する多数のバーチャルオーディトリスペースシステム（Ｖｉｒｔｕａｌ−Ａｕｄｉｔｏｒｙ−Ｓｐａｃｅ ｓｙｓｔｅｍｓ、ＶＡＳシステム）もある。しかし、ＶＡＳシステムは、（ｉ）各音源の分離された信号、（ｉｉ）各音源の位置の知識、（ｉｉｉ）源と同じ個数のチャネル、（ｉｖ）各源を別々にスペイシャライズ（ｓｐａｔｉａｌｉｚｅ）する、頭関連伝達関数（ＨＲＴＦ）、及び（ｖ）部屋のエコー及び反響の効果と近似する追加の信号処理を必要とする。

ステレオ録音又はサラウンドサウンド録音など、ラウドスピーカを介して聞かれることを意図された録音にＶＡＳ技法を適用することが可能である。この場合に、音源（ラウドスピーカ）が分離され、その個数及び位置が既知である。録音では、別々のチャネルが提供され、音源は、シミュレートされた部屋に置かれたシミュレートされたラウドスピーカである。ＶＡＳシステムは、これらのサウンド信号を、コンピュータ生成された信号をレンダリングするようにレンダリングする。実際に、まさにこの形でサラウンドサウンド録音にヘッドトラッキングを使用する市販製品（Ｓｏｎｙ社のＭＤＲ−ＤＳ８０００ヘッドホンなど）がある。しかし、そのようなシステムが行える最もよいことは、ヘッドホンを介して、ラウドスピーカを聞く経験を再生することである。これは、生録音に簡単に適用可能ではなく、テレビ会議には全く不適切である。これらは、複数のラウドスピーカの必要をなくすが、サラウンドサウンドシステム及びＡｍｂｉｓｏｎｉｃシステムの多数の問題のすべてを継承している。

３つ以上のマイクロホンを使用してライブ空間音響を録音し、再生する多数の方法もある。しかし、ライブサウンドの取込用のシステムのうちで、ヘッドホン再生用に設計され、聴取者の動的な動きに応答するものは、１つだけが既知である。そのシステムは、以下ではマクグラスシステムと呼称するが、米国特許第６０２１２０６号明細書及び米国特許第６２５９７９５号明細書に記載されている。これらの特許の間の主要な相違は、第１の特許が単一の聴取者に関し、第２の特許が複数の聴取者に関することである。これらの特許の両方が、ＳｏｕｎｄＦｉｅｌｄマイクロホンを用いて行われた録音のバイノーラルスペイシャライズに関する（Ｆ．Ｒｕｍｓｅｙ，Ｓｐａｔｉａｌ Ａｕｄｉｏ（Ｆｏｃａｌ Ｐｒｅｓｓ，Ｏｘｆｏｒｄ，２００１），ｐｐ．２０４−２０５）。

マクグラスシステムは、（ｉ）サウンドが録音される時に、聴取者の頭部の方位が未知である、（ｉｉ）聴取者の頭部の位置は、ヘッドトラッカを用いて測定される、（ｉｉｉ）マルチチャネル録音をバイノーラル録音に変換するのに、信号処理手順が使用される、及び（ｉｖ）主な目標は、聴取者が頭を動かす時に位置が変化しない仮想源を生成することであるという特性を有する。マクグラスシステムで使用されるＡｍｂｉｓｏｎｉｃ録音が、「聴取者が存在しない時」の聴取者の位置で展開される音場を取り込むことを試み、「聴取者が存在する時」の聴取者の位置の音場を取り込まないことに留意されたい。Ａｍｂｉｓｏｎｉｃ録音は、両耳時間差、両耳間レベル差、及び球形の頭の頭関連伝達関数（ＨＲＴＦ）によって誘導されるスペクトル変化を直接に取り込まない。したがって、マクグラスシステムは、録音された信号を使用して、複数の方向から入ってくる波を再構成しなければならず、ＨＲＴＦを使用して、各入ってくる波を別々にスペイシャライズしなければならない。マクグラスシステムは、個別化されたＨＲＴＦを使用することができるが、このシステムは、複雑であり、再構成は、Ａｍｂｉｓｏｎｉｃｓに関連する制限のすべてをこうむる。

本発明の目的は、現在のテクノロジを大幅に超えるリアリズムの感覚すなわち、「そこにいる」という現実感を伴うサウンド再生を提供することである。本発明のもう１つの目的は、サウンド取込、保管、又は伝送、及び再生の両方に関して、比較的穏当な追加の複雑さでこれを達成することである。

本発明は、前述の制限の多くを克服し、静的バイノーラル録音の３つの最も深刻な問題すなわち、（ａ）頭の回転に対する仮想的な聴覚の源の位置の感度、（ｂ）正中面エクスターナライゼーションの弱さ、及び（ｃ）深刻な前後の混乱の存在を解決する。更に、本発明は、同時に聞いている一人の聴取者又は複数の聴取者に適用可能であり、リモートリスニング及び録音の両方に適用可能である。最後に、本発明は、次の意味での空間音響の録音の「ユニバーサルフォーマット」を提供する。すべての空間音響テクノロジ（たとえば、ステレオ、４チャネル、Ｄｏｌｂｙ ６．１、Ａｍｂｉｓｏｎｉｃｓ、ウェーブフィールドシンセシスなど）によって生成されたサウンドを、本発明のフォーマットに変換し、その後、再生して、オリジナルの技法が提供できるものと同一の空間効果を再生することができる。したがって、既存録音のかなりの遺産を、品質の劣化をほとんど又は全く伴わずに保存することができる。

一般的な言葉では、本発明は、空間音響の動的３次元特性を取り込む。本明細書で「モーショントラックドバイノーラル（Ｍｏｔｉｏｎ−Ｔｒａｃｋｅｄ Ｂｉｎａｕｒａｌ）と称し、「ＭＴＢ」と省略される本発明は、リモートリスニング（たとえばテレフォニ）又は録音及び再生のいずれかに使用することができる。事実上、ＭＴＢは、１人又は複数の聴取者が、サウンドが発生しつつある（リモートリスニングの場合）又は発生しつつあった（録音の場合）空間に耳を置くことを可能にする。更に、本発明は、各聴取者が、リスニング中に独立に頭の向きを変えることを許容し、その結果、異なる聴取者が、頭を異なる方向に向けることができる。そうする際に、本発明は、頭の動きの知覚的に非常に重要な影響を正しく効率的に考慮に入れる。ＭＴＢは、サウンドが発生しつつある（又はあった）空間に聴取者の耳を効果的に置き、聴取者の頭部の動きと同期して仮想的な耳を移動することによって、高い度合のリアリズムを達成する。

これを達成するために、本発明は、そのサイズがほぼ人間の頭のサイズである表面に位置決めされた複数のマイクロホンを使用する。説明を単純にするために、マイクロホンが取り付けられる表面が球であると仮定することができる。しかし、本発明は、それに制限されず、さまざまな他の形で実施することができる。マイクロホンは、表面を均一に又は不均一にカバーすることができる。更に、必要なマイクロホンの数は、少ない。

マイクロホンアレイは、通常は、多分聴取者がいるであろうリスニング空間内の位置に置かれる。たとえば、テレビ会議の場合に、マイクロホンアレイを会議テーブルの中央に置くことができる。オーケストラ録音の場合に、マイクロホンアレイをコンサートホールで一番よい席に置くことができる。ホームシアタの場合に、マイクロホンアレイを技術的現状のシネマの一番よい席に置くことができる。マイクロホンによって取り込まれる音は、リモートリスニングの場合に録音と違う形で扱われる。リモートリスニング応用例では、マイクロホン信号が、聴取者に直接に送られるが、録音応用例では、信号が、マルチトラック録音に保管される。

各聴取者は、その人の頭の方位を動的に測定するヘッドトラッカを身に着ける。聴取者の頭部の座標の原点は、必ずマイクロホンアレイの座標の原点と一致すると仮定される。したがって、聴取者がどのように移動しても、サウンド再生システムは、聴取者の耳がマイクロホンに対してどこに位置するかを知っている。本発明の一実施形態では、本システムが、聴取者の耳に最も近い２つのマイクロホンを見つけ、この２つのマイクロホンからの適切に増幅された信号を、聴取者の頭部のヘッドホンの対にルーティングする。サウンド取込と同様に、この再生装置を実施する複数の可能な形がある。具体的に言うと、ヘッドホンリスニングだけを説明するが、いわゆる「クロストークキャンセル」技法を使用して、ヘッドホンの代わりにラウドスピーカを使用することも可能である（参照によって本明細書に組み込まれる、Ｇ．Ｇａｒｄｎｅｒ，３−Ｄ Ａｕｄｉｏ Ｕｓｉｎｇ Ｌｏｕｄｓｐｅａｋｅｒｓ（Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ，Ｂｏｓｔｏｎ，１９９８））。

好ましい実施形態では、より手の込んだ、音響心理学に基づく信号処理手順を使用して、マイクロホン信号の連続的補間を可能にし、これによって、少数のマイクロホンを用いる場合であっても、聴取者が頭を動かす時に発生する「クリック音」又は他のアーティファクトを除去する。

本発明の態様によれば、ヘッドトラッカが、聴取者の頭部の回転を補償するために信号処理を変更するのに使用される。説明を単純にするために、聴取者が、水平面内で角度θだけ頭を回すと仮定し、聴取者の両耳の特定の一方に送られる信号を検討されたい。一実施形態で、信号処理ユニットは、角度θを使用して、マイクロホンを切り替え、常に聴取者の耳の位置に最も近いマイクロホンを使用する。もう１つの実施形態で、信号処理ユニットは、角度θを使用して、最も近いマイクロホンと次に近いマイクロホンからの信号の間で補間又は「パン」する。もう１つの実施形態で、信号処理ユニットは、角度θに伴って変化する線形フィルタリング手順を使用して、最も近いマイクロホンと次に近いマイクロホンからの信号を組み合わせる。この第３の実施形態では、下でその使い方を説明する相補信号が、物理的マイクロホン又は物理的マイクロホンの出力を組み合わせた仮想マイクロホンのいずれかから入手される。一実施形態で、相補信号が、マイクロホンアレイのマイクロホンと別個であるが、同一の音場に置かれた追加マイクロホンから入手される。もう１つの実施形態で、相補信号が、アレイマイクロホンの特定の１つから入手される。もう１つの実施形態で、相補信号が、アレイマイクロホンの間で動的に切り替えることによって入手される。もう１つの実施形態で、相補信号が、動的に切り替えられるアレイマイクロホンの出力のスペクトル補間によって入手される。もう１つの実施形態で、左耳用と右耳用の２つの相補信号が、上で単一の相補信号に関して説明した方法のいずれかを使用して入手される。

本発明の態様によれば、サウンド再生装置に、オーディオ出力デバイスに接続される出力と、聴取者の頭部の動きを表す信号を供給するように構成されたヘッドトラッキングデバイスに接続される入力とを有する信号処理ユニットが含まれる。この信号処理ユニットは、聴取者の頭部が音場内でマイクロホンの位置に置かれている場合に、前記聴取者の耳の可能な位置を表す点で前記音場をサンプリングするように位置決めされた複数のマイクロホンの出力を表す信号を受信するように構成される。この信号処理ユニットは、更に、ヘッドトラッキングデバイスによって示される聴取者の頭部の移動に応答して、マイクロホン出力信号の間で選択し、オーディオ出力デバイスに１つ又は複数の選択された信号を提示するように構成される。オーディオ出力デバイス及びヘッドトラッキングデバイスは、任意選択として、信号処理ユニットに直接に接続するか、ワイヤレスとすることができる。

本発明のもう１つの態様によれば、信号処理ユニットは、ヘッドトラッキングデバイスによって示される聴取者の頭部の回転に応答して、聴取者の頭部が音場内に置かれている場合に、音場内の聴取者の耳の位置に関して複数のマイクロホンのうちの最も近いマイクロホン及び次に近いマイクロホンからの出力を表す信号を組み合わせ、組み合わされた出力をオーディオ出力デバイスに提示するように構成される。

本発明のもう１つの態様によれば、信号処理ユニットは、マイクロホン出力信号の各々に関連付けられた低域フィルタと、聴取者の左耳用の組み合わされた出力信号及び聴取者の右耳用の組み合わされた出力信号を生成するために低域フィルタの出力を組み合わせる、加算器などの手段とを含み、各組み合わされた出力信号は、聴取者の頭部が音場内に置かれている場合に、音場内の聴取者の耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの出力を表す信号の組合せを含む。

本発明のもう１つの態様によれば、信号処理ユニットは、音場内に置かれた実際の又は仮想的な相補型マイクロホンからの出力を提供するように構成された高域フィルタと、高域フィルタからの出力信号を聴取者の右耳用の組み合わされた出力信号及び聴取者の左耳用の組み合わされた出力信号と組み合わせる、加算器などの手段とを含む。一実施形態で、同一の高周波数信号が、両方の耳に使用される。もう１つの実施形態で、右耳高域フィルタは、音場に置かれた右耳の実際の又は仮想的な相補型マイクロホンから出力を供給するように構成され、左耳高域フィルタは、音場に置かれた左耳の実際の又は仮想的な相補型マイクロホンから出力を供給するように構成される。この後者の実施形態では、右耳高域フィルタからの出力信号が、聴取者の右耳用の組み合わされた出力信号と組み合わされ、左耳高域フィルタからの出力信号が、聴取者の左耳用の組み合わされた出力信号と組み合わされる。

本発明のもう１つの態様によれば、動的なバイノーラルサウンドの取込及び再生の装置が、聴取者の頭部が音場に置かれている場合に、聴取者の耳の可能な位置を表す点で音場をサンプリングするように位置決めされた複数のマイクロホンを含む。信号処理ユニットは、マイクロホンから直接に、通信リンクを介して送信される信号を介して、あるいはマイクロホン信号が録音される媒体を読み取り、かつ／又は再生することによって、マイクロホン信号を受信することができる。

本発明のさらなる目的及び態様は、本明細書の次の部分で発表され、この詳細な説明は、制限を加えることなく、本発明の好ましい実施形態を完全に開示するためのものである。

本発明は、例示のみを目的とする下記の図面を参照することによって完全に理解される。

具体的に図面を参照すると、例示のために、本発明は、図１から図１１に全般的に示された装置及び方法で実施される。それらならびに本明細書の説明から、本発明の好ましい実施形態が、（１）サウンド取込に３つ以上のマイクロホンを使用し（下で説明するように２本のマイクロホンだけでいくつかの有用な効果を達成することはできるが）、（２）聴取者の頭部の方位を測定するのにヘッドトラッキングデバイスを使用し、（３）マイクロホンの出力を選択的に組み合わせるのに音響心理学に基づく信号処理を使用することがわかる。

まず図１及び図２を参照すると、本発明によるバイノーラル動的サウンド取込再生システム１０の実施形態が示されている。図示の実施形態では、システムに、複数のマイクロホン１４を有する環状マイクロホンアレイ１２、信号処理ユニット１６、ヘッドトラッカ１８、ならびに左ヘッドホン２０及び右ヘッドホン２２などのオーディオ出力デバイスが含まれる。この図に示されたマイクロホン配置を、パノラマ構成と呼ぶ。後で説明するように、３つの異なるクラスの応用例があり、これを、全方向性応用例、パノラマ応用例、及び収束（ｆｏｃｕｓｅｄ）応用例と呼ぶ。例のみとして、本発明を、パノラマ応用例に関して下の議論で示す。

図示の実施形態では、マイクロホンアレイ１２に、その半径ａが聴取者の頭部２４の半径ｂとほぼ同一である円に沿って等間隔の８つのマイクロホン１４（０から７までの番号を付す）が含まれる。本発明の目的は、実際にマイクロホンアレイの位置にいる（又はいた）という印象を聴取者に与えることである。それを行うために、マイクロホンが置かれる円は、聴取者の頭部のサイズと近似するものでなければならない。

８つのマイクロホンが、図示の実施形態で使用される。これに関して、本発明が、２つのマイクロホンならびに多数のマイクロホンを用いて機能できることに留意されたい。しかし、２つだけのマイクロホンの使用は、８つのマイクロホンほど現実的な感覚経験をもたらさず、両耳間軸（ｉｎｔｅｒａｕｒａｌ ａｘｉｓ）に近い音源について最もよい効果を生成する。より多くのマイクロホンを使用することができるが、８つは、８チャネルを有する録音機器が簡単に入手可能なので、便利な個数である。

これらの８つのマイクロホンによって作られる信号は、信号処理ユニット１６内で組み合わされて、左ヘッドホン２０及び右ヘッドホン２２に向けられる２つの信号が作られる。たとえば、聴取者の頭部が、図１に示された方位である場合に、マイクロホン＃６からの信号が、左耳に送られ、マイクロホン＃２からの信号が、右耳に送られる。これは、標準的なバイノーラル録音で行われるものと本質的に同等である。

ここで、聴取者が頭を角度θだけ回転した、図２に示された状況を検討されたい。この角度は、ヘッドトラッカ１８によって感知され、信号処理を変更するのに使用される。ヘッドトラッカは、市販されており、ヘッドトラッカの詳細は、説明しない。ヘッドトラッカが、回転運動を表す出力信号を生成することに留意することで十分である。角度θが、４５°の正確な倍数である場合に、信号処理ユニット１６は、単に、聴取者の耳と見当のあったマイクロホンの対を選択する。たとえば、θが正確に９０°である場合に、信号処理ユニット１６は、マイクロホン＃０からの信号を左耳、マイクロホン＃４からの信号を右耳に向ける。言い換えると、信号処理ユニット１６は、図１に示された「正面向き」位置に関する、マイクロホンアレイの９０°反時計回り回転に対応する位置を有するマイクロホン対を選択する。しかし、一般に、θは、４５°の正確な倍数ではなく、信号処理ユニット１６は、下で説明するように、マイクロホン出力を組み合わせてヘッドホン用の信号を提供しなければならない。

ヘッドトラッカが、基準方位に関する聴取者の頭部の方位の変化を表す信号を供給することを諒解されたい。方位は、通常は、３つのオイラー角（ピッチ、ロール、及びヨー）によって表されるが、他の角度座標も使用することができる。測定は、毎秒１００回など、高いサンプリングレートで行われることが好ましいが、他のレートも使用することができる。

「チルトなし、ルールなし、正面」方位を定義する基準方位は、通常、処理の開始時に初期化されるが、望まれる時にいつでも、聴取者が変更することができる。図１を参照し、聴取者の左耳が、マイクロホン＃６の位置にあり、聴取者の右耳がマイクロホン＃２の位置に置かれていると仮定する。その後、聴取者が、回転せずに歩き回る場合に、聴取者の位置（及び聴取者の耳のｘｙｚ位置）は、サウンド再生に影響しない。その一方で、聴取者が頭を回転し、これによって、原点が必ず聴取者の頭部にあり、その方位が絶対に変化しない座標系での初期位置に対するユーザの耳の位置が変化する場合には、信号処理ユニット１６は、図２に示されているように、その方位の変化を補償する。

一般に、聴取者が動きまわる時に、運動の並進成分と回転成分の両方がある。ＭＴＢシステムが、並進成分を無視することを諒解されたい。聴取者の頭部の中心は、必ず、ＭＴＢマイクロホンアレイの中心と一致すると仮定する。したがって、聴取者がどのように移動しても、ヘッドトラッカ１８によって供給される信号を用いて、信号処理ユニット１６が、マイクロホンに関する聴取者の耳の「位置」を常に知ることができる。用語「位置」は、しばしば、空間内の点の絶対位置（たとえば、ある定義された基準フレーム内のｘｙｚ座標）を意味するが、本発明のＭＴＢシステムが、聴取者の耳の絶対位置を知る必要がなく、その相対位置だけでよいことに留意することが重要である。

信号処理ユニット１６が頭の回転を考慮に入れるためにマイクロホン信号をどのように組み合わせるかを説明する前に、図１及び図２に、信号処理ユニット１６に直接に供給されるマイクロホン出力が示されていることに留意されたい。しかし、この直接接続は、例示のみのために示されたものであり、実際に使用される構成を反映する必要はない。たとえば、図３に、テレビ会議構成を示す。図示の実施形態では、マイクロホン出力が、マルチプレクサ／送信器ユニット２６に供給され、このマルチプレクサ／送信器ユニット２６が、通信リンク３０を介して、離れて位置するデマルチプレクサ／受信器ユニット２８に信号を送信する。通信リンクは、無線リンク、光リンク、電話リンク、又は類似物とすることができる。その結果は、聴取者が、実際にマイクロホン位置にいるかのように、マイクロホンから拾い上げられたサウンドを経験することである。その一方で、図４に、録音構成を示す。図示の例では、マイクロホン出力が、録音ユニット３２に供給され、この録音ユニット３２は、ディスク、テープ、メモリカード、ＣＤ−ＲＯＭ、又は類似物などの記憶媒体３４に録音を保管する。後の再生について、記憶媒体が、コンピュータ／再生ユニット３６によってアクセスされ、このコンピュータ／再生ユニット３６が、信号処理ユニット１６に供給する。

したがって、図からわかるように、信号処理ユニット１６は、オーディオ入力を必要とし、その入力は、ジャック、無線入力、光入力、ハードワイヤード接続などの普通の形とすることができる。同一のことが、ヘッドトラッカ１８の入力ならびにオーディオ出力にあてはまる。したがって、信号処理ユニット１６と他のデバイスの間の接続及び本明細書で使用される用語「入力」及び「出力」が、特定の形に制限されないことを諒解されたい。

次に、図５から図７を参照して、本発明に従ってマイクロホン信号を組み合わせる異なる手順を説明する。説明を単純にするために、片方の耳だけについて説明するが、同一の手順が、必要な変更を加えてもう一方の耳に適用されることを理解されたい。これらの手順のそれぞれが、異なる状況で有用であり、それぞれを順番に説明する。

１つのそのような手順１００を、図５に示すが、本明細書ではこれを手順１と呼称する。この手順では、信号処理ユニット１６が、角度θを使用して、必ず聴取者の耳の位置に最も近いマイクロホンを使用することによって、マイクロホンを切り替える。これは、実施が最も単純な手順である。しかし、これは、頭の小さい動きに鈍感であり、性能が劣化するか多数のマイクロホンが必要になり、これによって複雑さが増す。更に、切替えは、可聴クリック音を防ぐために洗練されたフィルタリングと組み合わされなければならない。頭の方位がスイッチング境界の前後で移動する時に発生する可能な「チャタ」は、標準的なヒステリシス切替え技法を使用することによって除去することができる。

もう１つのそのような手順１２０を、図６に示すが、本明細書ではこれを手順２と呼称する。この手順では、信号処理ユニット１６が、角度θを使用して、最も近いマイクロホンからの信号と次に近いマイクロホンからの信号の間で補間又は「パン」する。手順２は、マイクロホンの間でパンするが、頭の小さい動きに敏感であり、いくつかの応用例に適する。これは、２つのラウドスピーカの間のみかけの源を生成するために振幅パン式ステレオ録音で使用される原理と本質的に同一の原理に基づく（Ｂ．Ｊ．Ｂａｕｅｒ，“Ｐｈａｓｏｒ ａｎａｌｙｓｉｓ ｏｆ ｓｏｍｅ ｓｔｅｒｅｏｐｈｏｎｉｃ ｐｈｅｎｏｍｅｎａ”，Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．，Ｖｏｌ．３３，Ｎｏ．１１，ｐｐ．１５３６−１５３９（Ｎｏｖ．，１９６１））。この原理を数学的に表すために、ｘ（ｔ）が、時刻ｔに最も近いマイクロホンによって拾われた信号であり、ｘ（ｔ−Ｔ）が、次に近いマイクロホンによって拾われた信号であると仮定するが、Ｔは、音波があるマイクロホンから次のマイクロホンに伝搬するのに要する時間である。説明を単純にするために、入射波が取付け面に沿って移動する時の入射波の回折に起因する波形の変化は、すべて無視する。これらの変化は、マイクロホンが互いに適度に近い場合に、比較的小さい。

ｘ（ｔ）に、ある周波数ｆ_ｍａｘを越える周波数が含まれず、時間遅れＴが、約１／（４ｆ_ｍａｘ）未満であり、効率ｗが０と１の間である場合に、（１−ｗ）ｘ（ｔ）＋ｗｘ（ｔ−Ｔ）≒ｘ（ｔ−ｗＴ）であることを示すことができる。したがって、耳への光線と最も近いマイクロホンへの光線との間の角度に従ってパン係数ｗを変更することによって、時間遅れが２つのマイクロホンからの信号の時間遅れの間の対応する値になる信号を得ることができる。

手順２には、２つの誤差の源がある。第１は、Ｔ＞１／（４ｆ_ｍａｘ）の時の近似の崩壊である。第２は、２つのマイクロホンの出力が線形に組み合わされるか「ミキシング」される時に必ず生じるスペクトル着色（ｓｐｅｃｔｒａｌ ｃｏｌｏｒａｔｉｏｎ）である。

信号に対する結果の制限は、アレイ内のマイクロホンの個数Ｎに関して表すことができる。ａが円の半径であり、ｃが音速であり、ｄが２つの隣接するマイクロホンの間の距離であるものとする。ｄ＝２ａｓｉｎ（π／Ｎ）≒２πａ／Ｎであり、Ｔの最大値がｄ／ｃなので、近似の崩壊は、信号にｆ_ｍａｘ≒Ｎｃ／（８πａ）を超える大きいスペクトル内容が含まれる場合に発生することになる（Ｔ＝ｄ／ｃという前提が、音源が２つのマイクロホンをつなぐ直線上に位置するワーストケース状況に対応することに留意されたい。音源への方向が、マイクロホンの間の線に直交する場合には、波面は、それらのマイクロホンに同時に達し、誤差はない。しかし、ワーストケース状況は、たとえば源が真上にあり、耳が最も近いマイクロホンの中間になる位置に聴取者が首を回転した時に発生する、一般的な状況である。ちなみに、本発明人は、Ｔ＝ｄ／ｃ＜１／（４ｆ_ｍａｘ）という条件が、ｄが１／４波長未満であるという条件と同等であることに気付いた。サンプリング理論から、マイクロホンを使って行っていることが、空間内で音響波形をサンプリングすることであることと、近似の崩壊を、空間サンプリング間隔が大きすぎる時のエイリアスの結果と解釈できることが暗示される）。

数値ａ＝０．０８７５ｍ、ｃ＝３４３ｍ／ｓ、及びＮ＝８を使用して、ｆ_ｍａｘ≒１．２５ｋＨｚを得た。言い換えると、８マイクロホンアレイを用いると、ミキシングは、１．２５ｋＨｚを超える大きいスペクトル内容がある場合に、正しい遅れた信号を生成することができなくなる。この限界は、マイクロホンの間の距離を減らすことによって引き上げることができる。２つのマイクロホンの出力が、線形に組み合わされる時に、到着時間の差も、スペクトルに櫛形フィルタパターンを導入し、これは好ましくない可能性がある。櫛形フィルタの最低周波数ノッチは、ｆ_０＝ｃ／（２ｄ）で発生する。やはり、ｄ≒２πａ／Ｎと仮定すると、ｆ_０≒Ｎｃ／（４πａ）≒２ｆ_ｍａｘが得られる。ｆ_０を、関心をもたれる最高周波数の少なくとも１オクターブ上にしたいので、誤差の両方の源が、本質的に同一の条件すなわち、ｆ_ｍａｘ≒Ｎｃ／（８πａ）を超える大きいスペクトル内容がないという要件につながることがわかる。表１に、ａ＝０．０８７５ｍでｃ＝３４３ｍ／ｓの時に、この周波数がＮに伴ってどのように変化するかを示す。

信号が、ｆ_ｍａｘを超える大きいスペクトルエネルギを有しない場合に、手順２は、よい結果を生む。信号が、ｆ_ｍａｘを超える大きいスペクトルエネルギを有し、ｆ_ｍａｘが、十分に高い（約８００Ｈｚ）場合に、手順２は、まだ許容可能である可能性がある。その理由は、人間の両耳間時間差に対する感度が、高周波数で鈍るからである。これは、近似の崩壊が関係なくなることを意味する。スペクトル着色が知覚可能になることは真実である。しかし、監視又はテレビ会議などの応用例について、「高忠実度」再生が必要でない可能性がある場合に、手順２の単純さによって、手順２が好ましい選択肢になる場合がある。

第３の、全体的に好ましい手順１４０を、図７に示すが、本明細書ではこれを手順３と呼称する。この手順では、信号処理ユニット１６が、角度θに伴って変化する線形フィルタリング手順を使用して、最も近いマイクロホンと次に近いマイクロホンからの信号を組み合わせる。

手順３では、音響心理学によって誘導される線形フィルタリングを使用して信号を組み合わせる。空間サンプリングによって引き起こされる問題を解く、少なくとも２つの形がある。一方は、空間サンプリングレートを高めることすなわち、マイクロホンの数を増やすことである。他方は、マイクロホン信号を組み合わせる前にアンチエイリアスフィルタを適用し、高周波数を多少復元することである。後者の手法が、手順３の好ましい実施形態である。

手順３では、人間が高周波の両耳間時間差に敏感でないと言う事実を利用する。正弦波について、両耳間位相感度は、８００Ｈｚを超える周波数で急激に低下し、約１．６ｋＨｚで無視できるようになる（参照によって本明細書に組み込まれるＪ．Ｂｌａｕｅｒｔ，Ｓｐａｔｉａｌ Ｈｅａｒｉｎｇ（Ｒｅｖｉｓｅｄ Ｅｄｉｔｉｏｎ），ｐ．１４９（ＭＩＴ Ｐｒｅｓｓ，Ｃａｍｂｒｉｄｇｅ，ＭＡ，１９９６））。図７ならびに図８及び図９を参照すると、下記は、Ｎマイクロホンアレイの手順３に関連する処理ステップの例であり、この実施形態ではＮ＝８である。

１．ブロック１４２で、ｋ＝１，…，Ｎについて、ｘ_ｋ（ｔ）が、マイクロホンアレイのｋ番目のマイクロホンの出力であるものとする。

２．ブロック１４４で、約１．０ｋＨｚと約１．５ｋＨｚの間の範囲のカットオフ周波数ｆ_ｃを超える鋭いロールオフを有する低域フィルタを用いてアレイのＮ個のマイクロホン（たとえば、この実施形態では８個のマイクロホン）のそれぞれの出力をフィルタリングする。ｋ＝１，…，Ｎについて、ｙ_ｋ（ｔ）が、ｋ番目の低域フィルタの出力であるものとする。

３．ブロック１４６で、手順２と同様にこれらのフィルタの出力を組み合わせて、低域出力ｚ_ＬＰ（ｔ）を生成する。たとえば、右耳の信号を検討されたい。αが、右耳２８への光線３０と最も近いマイクロホン１４_{ｃｌｏｓｅｓｔ}への光線３２との間の角度であり、α_０が、２つの隣接するマイクロホン、たとえばこの例ではマイクロホン１４_{ｃｌｏｓｅｓｔ}及びマイクロホン１４_{ｎｅｘｔ＿ｃｌｏｓｅｓｔ}への光線の間の角度であるものとする。ｙ_{ｃｌｏｓｅｓｔ}（ｔ）が、最も近いマイクロホン１４_{ｃｌｏｓｅｓｔ}の低域フィルタ２００の出力であり、ｙ_ｎｅｘｔ（ｔ）が、次に近いマイクロホン１４_{ｎｅｘｔ＿ｃｌｏｓｅｓｔ}の低域フィルタ２０２の出力であるものとする。すると、右耳の低域出力は、ｚ_ＬＰ（ｔ）＝（１−α／α_０）ｙ_{ｃｌｏｓｅｓｔ}（ｔ）＋（α／α_０）ｙ_ｎｅｘｔ（ｔ）によって与えられる。左耳の低域フィルタ出力は、同様に作られ、左耳信号の処理要素は、上で説明したものの複製なので、説明を明瞭にするために図９から省略した。

４．ブロック１４８で、相補型マイクロホン３００を導入する。相補型マイクロホンの出力ｘ_ｃ（ｔ）は、相補型高域フィルタ２０４によってフィルタリングされる。ｚ_ＨＰ（ｔ）が、この高域フィルタの出力であるものとする。相補型マイクロホンは、別々のマイクロホン、アレイ内のマイクロホンの１つ、又はアレイ内のマイクロホンの出力を組み合わせることによって作成される「仮想」マイクロホンとすることができる。更に、右耳と左耳に異なる相補型マイクロホンを使用することができる。相補型マイクロホンのさまざまな代替実施形態ならびにこれらの代替形態の長所及び短所を、下で述べる。

５．次に、ブロック１５０で、高域フィルタリングされた相補信号の出力を、低域補間信号に加算し、結果の信号ｚ（ｔ）＝ｚ_ＬＰ（ｔ）＋ｚ_ＨＰ（ｔ）を、ヘッドホンに送る。やはり、右耳の信号と左耳の信号を別々に処理しなければならないことを観察されたい。一般に、信号ｚ_ＬＰ（ｔ）は、右耳と左耳で異なる。下の代替案Ａ、Ｂ、及びＣについて、信号ｚ_ＨＰ（ｔ）は、両方の耳で同一であるが、代替案Ｄでは異なる。

上で説明した信号処理が、信号処理ユニット１６によって実行されることと、普通の低域フィルタ、高域フィルタ、加算器、及び他の信号処理要素が使用されることを諒解されたい。更に、信号処理ユニット１６に、信号処理を実行するコンピュータ及び関連するプログラミングが含まれる。

手順３が、よい結果を生じることに留意されたい。これは、手順１及び手順２より実施が複雑であるが、この手順はすべてのスペクトル範囲を忠実にカバーする信号を生成するので、高忠実度再生の好ましい実施形態である。ｆ_ｃを超えるスペクトル成分の両耳間時間差（ＩＴＤ）は、制御されないが、人間の耳は、この周波数を超える位相に鈍感である。その一方で、ｆ_ｃ未満のＩＴＤは、正しく、左右方向の音の正しい時間的定位の手がかりにつながる。

ｆ_ｃを超えると、両耳間レベル差（ＩＬＤ）が、最も重要な定位の手がかりを提供する。高周波数ＩＬＤは、相補型マイクロホン信号が正確にどのように入手されるかに依存する。これは、次に説明するマイクロホンの物理的取付け及び構成の後で説明する。

前に述べたように、マイクロホンアレイのマイクロホンは、物理的に異なる形で取り付けることができる。たとえば、固いワイヤ又は棒によって支持することによって、空間内に効果的に吊るすことができ、固い球の表面に取り付けることができ、あるいは、固い楕円体又は切り取られた円筒形又は八角形の箱など、垂直軸回りの回転の表面に取り付けることができる。

上で説明した実施形態で、マイクロホンのアレイが使用されるが、マイクロホンを均一な間隔にする必要がないことに留意することが重要である。

本発明によれば、３つの異なるクラスの応用例も区別され、これを、全方向性応用例、パノラマ応用例、及び収束応用例と呼ぶ。これまでに説明した実施形態は、パノラマ応用例に関するものである。

全方向性応用例では、聴取者が、好ましい方位を有しておらず、マイクロホンは、すべての表面（図示せず）で均一の間隔である必要がある。上で説明したパノラマ応用例では、聴取者の頭部の垂直軸が、通常は水平のままになるが、聴取者は、任意の向きに向くように回転することを望む可能性が同等に高い。この場合に、マイクロホンは、上で示したように、水平の円に沿って、好ましくは均等に離隔される。収束応用例では（コンサート、劇場、映画、テレビジョン、又はコンピュータモニタを見ることが典型である）、ユーザは、非常に好ましい方位を有する。この場合に、マイクロホンを、図１０に示されているように、期待される耳の位置の近くでより密に離隔させて、より高いカットオフ周波数の使用に必要な又はこれを可能にするマイクロホンの数を減らすことができる。

これらの代替クラスの応用例ならびにマイクロホンの構成及び取付け表面のそれぞれが、異なるマイクロホン間時間遅れ及び異なるスペクトル着色を生じる。具体的に言うと、自由空間釣り下げは、表面取付け選択肢のどれよりも短い時間遅れにつながり、より大きい半径の必要につながる。表面取付け選択肢では、マイクロホンピックアップは、もはや全方向性でない。そうではなく、マイクロホンピックアップは、表面のサウンド散乱特性を継承する。たとえば、球面又は切り取られた円筒形表面について、高周波応答は、マイクロホンの同側での源の低周波応答より約６ｄＢ高くなり、高周波応答は、対側の源の取付け表面のサウンドシャドウ（ｓｏｕｎｄ ｓｈａｄｏｗ）によって、より大きく減衰する。取付け表面の影響を使用して、正しい両耳間レベル差ならびに正しい両耳間時間差を取り込めることにも留意されたい。

異なる取付け構成が、ヘッドトラッカの異なる要件につながる可能性があることは、観察に値する。たとえば、全方向性応用例について、方位角と仰角の両方を追跡しなければならない。パノラマ応用例について、対象の音源を、水平面内又はその近くで突き止めなければならない。この場合に、マイクロホンの取付けにどの表面が使用されるかにかかわりなく、水平の円の周囲に位置決めすることが好ましい可能性がある。これによって、方位角だけを測定する、より単純なヘッドトラッカを使用することが可能になる。

これまでは、暗黙のうちに、マイクロホンアレイが静止していると仮定してきた。しかし、ＭＴＢアレイを、車両、モバイルロボット、あるいは人又は動物に取り付けられない理由はない。たとえば、マイクロホンを担持するヘッドバンド又はカラーを身に着けた人からの信号を、他の聴取者に送信し、その聴取者が、移動する人が聞くものを経験することができる。移動応用例について、位置トラッカをＭＴＢアレイに組み込むことが有利である可能性がある。すなわち、アレイが、回転され、並進される場合に、ＭＴＢアレイの回転を、聴取者の頭部の回転と組み合わせて、回転的に安定したサウンドイメージを維持することができる。

取付け表面のサイズを、聴取者の頭部のサイズに近くしなければならないと言った。しかし、ＭＴＢの可能な水中応用例もある。水中の音速は、空中の音速の約４．２倍なので、取付け表面のサイズを、それ相応にスケーリングしなければならない。これによって、媒体によって導入される両耳間時間差及び両耳間レベル差の変化の両方が訂正される。水中リモートリスニングについて、聴取者は、地上、船上、又は水中とすることができる。具体的に言うと、ダイバーが、ダイビングヘルメットに含まれるＭＴＢアレイを有することができる。水中で経験される不自然に小さい両耳間時間差及び両耳間レベル差の故に、ダイバーが音源を定位するのが難しいことが周知である。ヘルメットマウントＭＴＢアレイは、この問題を解決することができる。ダイバーが、唯一の聴取者であり、ヘルメットが、ダイバーの頭と共に回転する場合に、２つのマイクロホンを使用することで十分であり、ヘッドトラッキングなしで済ませることができる。しかし、誰かが、ダイバーが聞いているものを聞きたいと思う場合、又はダイバーがヘルメットの中で頭を回せる場合には、マルチマイクロホンＭＴＢアレイが必要である。最後に、他のモバイル応用例と同様に、ＭＴＢアレイに取り付けられたトラッカを使用して、回転的に安定化されたサウンドイメージを維持することが望ましい。

球は、理想的な取付け表面であるように見えるが、特定の全方向応用例について、他の表面が実際に好ましい場合がある。球の極端な対称性が、「輝点」の展開をもたらし、この輝点は、球の、音源と正反対にある側での不自然な強い応答である。楕円体又は切り取られた円筒形は、より弱い輝点を有する。実用的な製造及び組立の考慮では、切り取られた円筒形が優先され、長方形、六辺形、又は八辺形の箱が好ましい場合がある。しかし、説明を単純にするために、この文書の残りでは、アレイマイクロホンが固い球に取り付けられると仮定する。

上で注記したように、表面に取り付けられたマイクロホンは、その表面のサウンド散乱特性を継承する。応答挙動の結果の異方性は、正しい両耳間レベル差につながるので、実際にはアレイマイクロホンに望ましい。しかし、高周波情報を音源に対するマイクロホンの方向と独立にしたい場合に、異方性は、高周波情報を伝える相補型マイクロホンに関する問題を生じる可能性がある。これによって、本発明人は、手順３で使用される相補型マイクロホンを実施する代替の形を検討することになった。

相補型マイクロホンの目的は、Ｎアレイマイクロホン信号の低域フィルタリングによって除去される高周波情報を復元することである。図７Ｂを参照すると、１５２に示されているように、この相補型マイクロホン信号を入手する、少なくとも５つの形があり、そのそれぞれが、独自の長所及び短所を有する。

代替案Ａ：別々の相補型マイクロホンを使用する。この場合に、別々のマイクロホンが、高周波信号を拾うのに使用される。たとえば、これは、球の最上部に取り付けられた全方向性マイクロホンとすることができる。ピックアップは、球の下の音源について球の陰になるが、水平面内の音源について均一のカバレッジを提供する。

長所
（１）概念上単純である。

（２）帯域幅効率が良い。相補型マイクロホンは、全オーディオ帯域幅（ＣＤ品質で２２．０５ｋＨｚ）を必要とするが、Ｎ個のアレイマイクロホンのそれぞれは、ｆ_ｃの帯域幅だけを必要とする。たとえば、Ｎ＝８、ｆ_ｃ＝１．５ｋＨｚの場合に、８つのアレイマイクロホンは、一緒に、１２ｋＨｚだけの帯域幅を必要とする。したがって、システム全体は、普通の２チャネルステレオＣＤを超える帯域幅を必要としない。

短所
（１）別のチャネルが必要である。これは、それ以外の点では魅力的なＮ＝８アレイマイクロホンに関する短所である。というのは、８トラックレコーダ及び８チャネルＡ／Ｄコンバータが、市販製品で一般的であるが、この場合には９チャネルが必要になるからである。

（２）異方性。空間の半分について球の陰にならずに、物理的な相補型マイクロホンを置く場所がない。

（３）ＩＬＤが正しくない。同一の高周波信号が、左耳と右耳の両方に使用される時に、高周波両耳間レベル差（ＩＬＤ）がない。これは、高周波エネルギがない音源については問題を起こさないが、低周波エネルギがない音源は、聴取者の耳の中心に定位される傾向がある。更に、広帯域源の衝突する手がかりが生じる。これによって、通常は、定位のぼけが増え、「分裂したイメージ」すなわち、あるべき位置の低周波源と頭の中心の高周波源の２つの源の知覚の形成につながる可能性がある。

代替案Ｂ：アレイマイクロホンの１つを使用する。相補型マイクロホンとして、アレイマイクロホンの１つを任意に選択する。

長所
（１）概念上単純である。

（２）帯域幅効率が良い（代替案Ａと同一）。

（３）追加チャネルの必要がなくなる。

短所
（１）水平面内の源に関する異方性。相補型マイクロホンにどのマイクロホンが選択されても、そのマイクロホンは、反対側の源について、球のサウンドシャドウ内にある。これは、収束応用例については許容可能であり、望ましい場合もあるが、全方向性応用例又はパノラマ応用例については許容不能である可能性がある。

（２）ＩＬＤが正しくない（代替案Ａと同一）。

代替案Ｃ：１つの動的に切り替えられるアレイマイクロホンを使用する。ヘッドトラッカ出力を使用して、聴取者の鼻に最も近いマイクロホンを選択する。

長所
（１）追加チャネルの必要がなくなる。

（２）異方性応答を使用して、前後の区別の追加の改善を得ることができる。後ろの源の頭のシャドウが、欠けている「耳介シャドウ」のある度合の置換物になる。

短所
（１）もはや帯域幅効率が良くない。どのチャネルが相補チャネルに使用されているかを知る方法がないので、Ｎ個のチャネルのすべてが、全オーディオ帯域幅を伝送するか録音しなければならない。しかし、監視など、単一ユーザ応用例について、帯域幅を維持することができる。というのは、その聴取者のために必要な１つの全帯域幅チャネルを、マイクロホンの間で動的に切り替えることができるからである。

（２）代替案Ｄで述べるように、スイッチング遷移を除去するために追加の信号処理が必要である。

（３）ＩＬＤが正しくない（代替案Ａと同一）。

代替案Ｄ：２つの動的に切り替えられるアレイマイクロホンから仮想相補型マイクロホンを作成する。この選択肢では、右耳と左耳に異なる相補信号を使用する。所与の耳について、相補信号は、その耳に最も近い２つのマイクロホンから導出される。これは、低周波信号を入手する形に非常に似た形である。しかし、２つのマイクロホンの間のパン（許容不能な櫛形フィルタスペクトル着色を導入する）ではなく、２つのマイクロホンの間で切り替え、最も近いマイクロホンを常に選択する。この形で、球が、正しい両耳間レベル差を自動的に提供する。

長所
（１）追加チャネルの必要がない。

（２）ＩＬＤが正しい。

短所
（１）もはや帯域幅効率が良くない（代替案Ｃと同一）。

（２）スイッチング遷移を除去するために追加の信号処理が必要である。

（３）スペクトルの変化が可聴である。信号が突然に切り替えられる場合に、聴取者は、通常は、信号の不連続性によって生じるクリック音を聞く。頭の位置が本質的に切替え境界上にあり、頭の小さい震えによって頭が切替え境界をまたいで移動する時に信号が素早く２つのマイクロホンの間で切り替えられる場合に、これが特に迷惑になる。結果の一連の素早いスイッチング遷移が、非常に迷惑な「がたがたする」音を生じる可能性がある。がたがたする問題は、ヒステリシスを導入する標準的な技法によって簡単に解決される；スイッチング境界を越えたならば、スイッチング回路は、元に戻って切り替わる前に、元の領域へのある最小の角度の移動を必要とする。あるマイクロホンから別のマイクロホンに切り替える時に発生する不可避の不連続性は、単純なクロスフェード技法によって減らすことができる。瞬間的に切り替えるのではなく、第１信号のフェードアウトするバージョンと第２信号のフェードインするバージョンを加算することによって信号を導出することができる。結果は、第１信号がフェードアウトし、第２信号がフェードインする時間間隔Ｔ_ｆａｄｅの長さに依存する。シミュレーション実験から、スイッチング遷移が、Ｔ_ｆａｄｅ＝１０ｍｓの時に非常に弱く、Ｔ_ｆａｄｅ＝２０ｍｓの時に聞き取れないことが示された。これらの数字は、ヘッドトラッカのデータレート（通常はサンプリングの間に約１０ｍｓから２０ｍｓ）に対して全く互換である。しかし、仮想相補型マイクロホンが変更される時、特に源がＭＴＢアレイに近い時に、スペクトルの変化を聞くことができる場合がある。

代替案Ｅ：２つのアレイマイクロホンのスペクトルの間で補間し、時間的信号を再同期化することによって仮想相補型マイクロホンを作成する。代替案Ｄと同様に、この選択肢は、右耳と左耳に異なる相補信号を使用し、所与の耳について、相補信号が、その耳に最も近い２つのマイクロホンから導出される。代替案Ｅでは、耳に最も近い２つのマイクロホンの間で切り替えるのではなく、正しく補間することによって、代替案Ｄの知覚可能なスペクトル変化を除去する。問題は、フェーズキャンセレーション（ｐｈａｓｅ ｃａｎｃｅｌｌａｔｉｏｎ）効果に出会わずにマイクロホン信号の高周波数部分を滑らかに組み合わせることである。高周波で耳が位相に鈍感であることを利用する基本的な解決策では、（ａ）各マイクロホンからの信号の短時間スペクトルを推定するステップと、（ｂ）スペクトルの間で補間するステップと、（ｃ）スペクトルから時間波形を再合成するステップとが用いられる。スペクトル分析、変更、及び再合成によって処理される信号という問題は、信号処理分野で周知である。古典的な方法に、（ａ）高速フーリエ変換分析及び再合成と、（ｂ）フィルタバンク分析及び再合成とが含まれる。

長所
（１）追加チャネルの必要がない。

（２）ＩＬＤが正しい。

（３）スイッチング遷移又はスペクトルアーティファクトがない。

短所
（１）もはや帯域幅効率が良くない（代替案Ｃと同一）。

（２）計算要件が高い。

この５つの代替実施形態のいずれかを選好するのに適当な状況は、次のように要約することができる：代替案Ａは、帯域幅効率が主な関心事である時に好ましい；代替案Ｂは、収束応用例にとってよい妥協である；代替案Ｃは、帯域幅のコストが許容可能である場合に、リモートリスニング（テレビ会議）に魅力的である；代替案Ｄは、代替案Ｅの性能に近いものとすることができる性能を、はるかに低い計算出費で提供する；代替案Ｅは、最大のリアリズムが主な関心事である時に好ましい。

表２に、手順１及び２と、代替案Ａ及び代替案Ｄに関する手順３との長所及び短所を要約する。

ＭＴＢが、音場に球などの表面を挿入し、聴取者の耳が位置するはずの場所の近くの圧力を感知することによって、聴取者の耳に存在するはずの音場を取り込むことを試みることに留意されたい。これにより正しくない近似が生じる可能性がある２つの主な形がある。

１．頭のサイズの不一致。球が聴取者の頭部より小さい場合に、作られる両耳間差は、聴取者が通常経験する差より小さい。逆に、球が聴取者の頭部より大きい場合に、作られる両耳間差は、聴取者が通常経験する差より大きい。静的な定位誤差を生じるほかに、これは、聴取者が頭を回す時の音源の定位の不安定さにつながる。球が、聴取者の頭部より小さい場合に、源は、聴取者に伴って少し回転するように見えるが、球がより大きい場合には、源は、聴取者の動きと反対に回転するように見える。

２．耳介手がかりがない。外耳又は耳介が、最終的に鼓膜に達する音のスペクトルを変更することと、この変更が、方位角と仰角の両方に伴って変化することが、明確に確認されている。このスペクトル変化によって、源の仰角を判断するのに特に重要な耳介手がかりが作られる。その正確な性質は、複雑であり、人によって大きく異なる。しかし、主な特性は、その中心周波数が仰角に伴って規則正しく変化するスペクトルノッチである。このスペクトル変更は、源が頭上にある時に最小になる。ＭＴＢ表面には、耳介が含まれないので、対応するスペクトル変化がない。高い仰角に対応する変化がないので、ほとんどの聴取者は、実際の角度にかかわりなく、源が多少上にあると知覚する。

この２つの問題を完全に訂正する一般的な手順は、知られていない。しかし、特殊であるが重要な状況に関する有用な方法がある。

頭サイズの不一致は、聴取者が通常はだいたい１方向を見ている収束応用例について、簡単に訂正することができる。ａが球の半径であり、ｂが聴取者の頭部の半径であり、θが頭の回転角度であるものとする。真上に置かれている源のみかけの位置は、マイクロホンデータを処理する時にθの代わりに（ｂ／ａ）θを使用することによって安定化することができる。この単純な訂正は、小さい角度の頭回転についてよく働く。更に、この技法を使用するために、聴取者の頭部の半径を測定する必要はない。θの代わりにαθを使用し、イメージが安定するまで係数αを聴取者に調整させるだけでよい。

問題の音源が、だいたい水平面内にある場合にも、耳介手がかりのなさを訂正することが可能である。この場合に、耳介の伝達関数を近似するフィルタを、各耳への信号パスに導入し、ユーザに、サウンドイメージが水平面内にあるように見えるまでフィルタパラメータを調整させる。

前述の説明から、本発明の背後にある一般的な概念が、（ａ）すべての可能な頭の方位について耳の位置の近くの点での音場をサンプリングするのに複数のマイクロホンを使用することと、（ｂ）聴取者の耳からマイクロホンのそれぞれまでの距離を判定するのにヘッドトラッカを使用することと、（ｃ）マイクロホン出力を低域フィルタリングすることと、（ｄ）聴取者の耳の位置に置かれているマイクロホンによって拾い上げられるはずの信号の低周波数部分を推定するために、低域フィルタリングされた出力を線形に補間する（同等に、重み付けする、組み合わせる、「パン」する）ことと、（ｅ）高周波内容を再挿入することとであることを諒解されたい。これと同一の原理を、さまざまな代替の形で実施し、拡張することができる。下記は、代替案に含まれる。

１．非常に少数又は非常に多数のいずれかのマイクロホンの使用。少数のマイクロホンは、低域フィルタのカットオフ周波数が適当に調整される場合に使用することができる。２つのマイクロホンだけでも、源がマイクロホンの正中面に近すぎない限り、動的変更の利益を得ることが可能である。その代わりに、非常に多数のマイクロホンを経済的に使用できる場合に、低域フィルタリングステップ及び高周波数復元ステップを省略することができる。十分な個数のマイクロホンがあれば、補間手順を単純な切替えに置換することができる。

２．球の表面全体にマイクロホンを取り付け、ヘッドトラッカを使用して聴取者の仰角及び方位角を両方を感知することによる、図８に示された構成の一般化。最も近いマイクロホンと次に近いマイクロホンは、もはや水平面内にある必要がなく、任意の頭の回転に対処することができる。

３．頭の下の人工胴体の導入。胴体によるサウンドの散乱によって、仰角及びエクスターナライゼーションの両方に役立つ可能性がある追加の定位手がかりがもたらされる。胴体の導入によって、マイクロホンアレイがはるかに大きく不体裁になるが、これは、要求の過酷な特定の応用例について正当化される可能性がある。

４．望まれないサウンド拾い上げを拒絶し又は減らすためのマイクロホンアレイによる各マイクロホンの置換。これは、望まれないサウンドが高い仰角又は低い仰角のいずれかにあり、ＭＴＢ表面が切り取られた円筒である時に、特に魅力的である。この場合に、各マイクロホンを、マイクロホンの垂直の列によって置換することができ、これらのマイクロホンの出力を組み合わせて、水平面外の感度を下げることができる。

５．音響方向ファインダとしてＭＴＢアレイを使用するための、２つの同心ＭＴＢアレイの使用。たとえば、図１１に示されているように、頭のサイズの球４０２に取り付けられる小さいアレイのマイクロホン４００と、球からのびる剛体の棒４０６に取り付けられるより大きいアレイのマイクロホン４０４。小さいＭＴＢアレイは、普通に使用され、聴取者は、源に面するように回転する。次に、聴取者は、大きいＭＴＢアレイに切り替える。聴取者が、源を直接に指している場合に、源のイメージが、センタリングされて見える。小さい頭の動きが、イメージの拡大された動きをもたらし、これによって、源を定位するのが簡単になる。

特に人気のあるサラウンドサウンドシステムを用いて空間音響を録音する多数の代替技法があることを諒解されたい。本発明を使用して、ヘッドホンを介して既存の空間音響録音を再生できることが望ましい。

上で述べたように、直接の手法は、技術的現状のサラウンドサウンドシステムの「スイートスポット」にマイクロホンアレイを置いて、既存の録音を再録音することである。これは、最適のリスニング経験を聴取者に与えるという長所を有する。その一方で、過去の商業的経験から、同一内容を複数のフォーマットで公に提示することが望ましくないことが示されている。

代替の手法は、シミュレートされたラウドスピーカを使用してシミュレートされた室内でシミュレートされたマイクロホンを励起することによって、再録音のプロセスをシミュレートすることである。最も単純な情況で、球形頭モデル（参照によって本明細書に組み込まれるＶ．Ｒ．Ａｌｇａｚｉ，Ｒ．Ｏ．Ｄｕｄａ ａｎｄ Ｄ．Ｍ．Ｔｈｏｍｐｓｏｎ，“Ｔｈｅ ｕｓｅ ｏｆ ｈｅａｄ−ａｎｄ−ｔｏｒｓｏ ｍｏｄｅｌｓ ｆｏｒ ｉｍｐｒｏｖｅｄ ｓｐａｔｉａｌ ｓｏｕｎｄ ｓｙｎｔｈｅｓｉｓ”，Ｐｒｅｐｒｉｎｔ ５７１２，１１３ｔｈ Ｃｏｎｖｅｎｔｉｏｎ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ（Ｌｏｓ Ａｎｇｅｌｅｓ，ＣＡ，Ｏｃｔ．５−８，２００２））を使用して、マイクロホンアレイの特定のマイクロホンが仮想ラウドスピーカのそれぞれから拾い上げる信号を計算することができる。より高いリアリズムのために、部屋モデルを使用して、部屋の反射及び反響の影響をシミュレートすることができる（参照によって本明細書に組み込まれるＤ．Ｂ．Ｂｅｇａｕｌｔ，３−Ｄ Ｓｏｕｎｄ ｆｏｒ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ａｎｄ Ｍｕｌｔｉｍｅｄｉａ（ＡＰ Ｐｒｏｆｅｓｓｉｏｎａｌ，Ｂｏｓｔｏｎ，１９９４））。この信号処理手順は、オリジナル録音フォーマットの信号を本発明のＭＴＢ（モーショントラックドバイノーラル）フォーマットの信号に変換する特殊なリアルタイムハードウェアですぐに実施することができる。普通の再生ユニットからの信号をそのようなフォーマットコンバータを介してルーティングすることによって、１人又は複数の聴取者が、ヘッドホンを介して任意のＣＤ又はＤＶＤを聞き、なおかつ頭の動きへの応答性の利益を享受することができる。

ＭＴＢの同一の長所を、仮想聴覚空間の作成及びデータのスペイシャライズされた聴覚ディスプレイの両方について、完全にコンピュータ生成されるサウンドのレンダリングのために実現することができる。必要なものは、シミュレートされたＭＴＢマイクロホンアレイによって取り込まれるサウンドを計算することだけである。計算されたマイクロホン信号を、物理的なマイクロホンからの信号の代わりに使用することができ、その結果、１人又は複数の聴取者が、ヘッドホンを介してその仮想サウンドを聞き、なおかつ頭の動きへの応答性の利益を享受することができる。生の物理的マイクロホン、録音された物理的マイクロホン、及びシミュレートされたマイクロホンの使用をカバーするために、請求項では、物理的マイクロホンによって拾われた信号、物理的マイクロホンから録音された信号、及びシミュレートされたマイクロホンについて計算された信号を、マイクロホン出力を「表す」信号と呼称する。

したがって、理解されるように、本発明の好ましい実施形態では、サウンド取込に３つ以上のマイクロホンを使用し；聴取者の頭部の方位を測定するのにヘッドトラッキングデバイスを使用し；マイクロホンの出力を組み合わせるのに音響心理学に基づく信号処理技法を使用する。本発明は、「自然に発生するサウンド」（部屋の反射及び反響を含む）を録音し、少ない固定された個数のチャネルを使用して、聴取者の頭部の動きと独立の仮想的な聴覚の源の安定した定位；よいフロンタルエクスターナライゼーション；及びほとんど又は全くない前後の混乱を聴取者に与えるために静的バイノーラル録音の主な制限を解決する能力を有する。本発明は、更に、生サウンドの「録音」に対処する。生のサウンドに関して、知覚的に重要なエコー及び反射は言うまでもなく、すべての音源について別々の信号を入手することが困難又は不可能であり、源の位置は、通常は未知である。更に、本発明を用いると、少数の固定された個数のチャネルがあり、適当なＨＲＴＦが、マイクロホンアレイによって自動的に作られ、複雑な実際の部屋のエコー及び反響が、自動的に取り込まれる。

上の説明に、多数の詳細が含まれるが、これらを、本発明の範囲を制限するものと解釈してはならず、これらは、単に、本発明の現在好ましい実施形態の一部の例示を提供するものである。したがって、本発明の範囲が、当業者に明白になる可能性がある他の実施形態を完全に含むことと、したがって、本発明の範囲が、請求項以外の何ものによっても制限されず、請求項では、単数形の要素への言及が、明示的に述べられない限り「唯一の」を意味するのではなく、「１つ又は複数の」を意図されていることを諒解されたい。当業者に既知の、上で説明した好ましい実施形態の要素の構造的同等物、化学的同等物、及び機能的同等物のすべてが、参照によって本明細書に特に組み込まれ、請求項に含まれることが意図されている。更に、請求項に含まれるので、装置又は方法が本発明によって解決が求められる各すべての問題に対処する必要はない。更に、本開示の要素、構成要素、又は方法ステップは、その要素、構成要素、又は方法ステップが請求項に明示的に具陳されるかどうかにかかわらずに、公に捧げることを意図されたものではない。本明細書の請求項の要素は、その要素が句「〜の手段」を使用して明示的に具陳されない限り、米国特許法第１１２条第６項の規定の下で解釈されてはならない。

本発明による動的なバイノーラルサウンドの取込及び再生のシステムの実施形態を示す概略図である。 ヘッドトラッキングを示す、図１に示されたシステムを示す概略図である。 テレビ会議用に構成された図２に示されたシステムの実施形態を示す概略図である。 録音及び再生用に構成された図２に示されたシステムの実施形態を示す概略図である。 本発明によるヘッドトラッキングの方法の第一実施形態を示す図である。 本発明によるヘッドトラッキングの方法の第２実施形態を示す図である。 本発明によるヘッドトラッキングの方法の第３実施形態を示す図である。 図７に示された方法によるヘッドトラッキングを例示する概略図である。 図７及び図８に示されたヘッドトラッキングの方法による信号処理の実施形態を示すブロック図である。 本発明による収束マイクロホン構成を示す概略図である。 本発明による方向発見マイクロホン構成を示す概略図である。

Claims (30)

1. 信号処理ユニットを含むサウンド再生装置であって、
   前記信号処理ユニットは、オーディオ出力デバイスに接続される出力端子を有し、
   前記信号処理ユニットは、ヘッドトラッキングデバイスに接続される入力端子を有し、
   前記信号処理ユニットは、位置決めされた複数のマイクロホンの出力を表す信号を受信して、聴取者の頭部が音場内で前記複数のマイクロホンの位置に置かれている場合に、前記聴取者の耳の可能な位置を表す点で前記音場をサンプリングするように構成されており、
   前記信号処理ユニットが、前記ヘッドトラッキングデバイスによって示される前記聴取者の頭部の方位に応答して、前記マイクロホンの出力信号を処理し、そして、前記オーディオ出力デバイスにバイノーラル出力を提示するように構成されている
   ことを特徴とする装置。
2. 前記信号処理ユニットは、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの出力を表す信号を組み合わせるように構成されている、請求項１に記載の装置。
3. 前記信号処理ユニットが、
   前記マイクロホンの出力信号の各々に関連付けられた低域フィルタと、
   前記低域フィルタの出力を組み合わせて、前記聴取者の耳用の組み合わされた出力信号を生成するための手段であって、前記組み合わされた出力信号が、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの前記出力を表す信号の組合せを含んでいるところの手段と
   を含む、請求項１に記載の装置。
4. 信号処理ユニットが、更に、
   前記音場内に置かれた相補型マイクロホンから出力信号を提供するように構成された高域フィルタと、
   前記高域フィルタからの前記出力信号を、前記聴取者の耳用の前記組み合わされた出力信号と組み合わせる手段と
   を含む、請求項３に記載の装置。
5. 信号処理ユニットを含むサウンド再生装置であって、
   前記信号処理ユニットは、オーディオ出力デバイスに接続される出力端子を有し、
   前記信号処理ユニットは、ヘッドトラッキングデバイスに接続される入力端子を有し、
   前記信号処理ユニットは、位置決めされた複数のマイクロホンの出力を表す信号を受信して、聴取者の頭部が音場内で前記複数のマイクロホンの位置に置かれている場合に、前記聴取者の右耳及び左耳の可能な位置を表す点で前記音場をサンプリングするように構成されており、
   前記信号処理ユニットが、前記ヘッドトラッキングデバイスによって示される前記聴取者の頭部の方位に応答して、マイクロホンの出力信号を組み合わせ、そして、前記オーディオ出力デバイスにバイノーラル出力を提示するように構成されている
   ことを特徴とする装置。
6. 前記信号処理ユニットは、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の左耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの出力を表す信号を組み合わせるように構成されており、そして、
   前記信号処理ユニットは、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の右耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの出力を表す信号を組み合わせるように構成されている、
   ことを特徴とする、請求項５に記載の装置。
7. 前記信号処理ユニットが、
   前記マイクロホンの出力信号の各々に関連付けられた低域フィルタと、
   前記低域フィルタの出力を組み合わせて、前記聴取者の左耳用の組み合わされた出力信号を生成するための手段であって、前記組み合わされた出力信号が、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の左耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンの前記出力を表す信号の組合せを含んでいるところの手段と、
   前記低域フィルタの出力を組み合わせて、前記聴取者の右耳用の組み合わされた出力信号を生成するための手段であって、前記組み合わされた出力信号が、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の右耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンの前記出力を表す信号の組合せを含んでいるところの手段と
   を含む、請求項５に記載の装置。
8. 前記信号処理ユニットが、
   前記音場内に置かれた左耳相補型マイクロホンからの出力を提供するように構成された左耳高域フィルタと、
   前記音場内に置かれた右耳相補型マイクロホンからの出力を提供するように構成された右耳高域フィルタと、
   前記左耳高域フィルタからの前記出力を、前記聴取者の左耳用の前記組み合わされた出力と組み合わせる手段と、
   前記右耳高域フィルタからの前記出力を、前記聴取者の右耳用の前記組み合わされた出力と組み合わせる手段と
   を含む、請求項７に記載の装置。
9. 信号処理ユニットを含むサウンド再生装置であって、
   前記信号処理ユニットは、オーディオ出力デバイスに接続される出力端子を有し、
   前記信号処理ユニットは、ヘッドトラッキングデバイスに接続される入力端子を有し、
   前記信号処理ユニットは、位置決めされた複数のマイクロホンの出力を表す信号を受信して、聴取者の頭部が音場内で前記複数のマイクロホンの位置に置かれている場合に、前記聴取者の耳の可能な位置を表す点で前記音場をサンプリングし、前記ヘッドトラッキングデバイスによって示される前記聴取者の頭部の方位に応答して、前記マイクロホンの出力信号を処理し、そして、前記オーディオ出力デバイスにバイノーラル出力を提示する手段を含む
   ことを特徴とする装置。
10. 前記信号処理ユニットが、更に、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの前記出力を表す信号を組み合わせる手段を含んでいる、請求項９に記載の装置。
11. 前記信号処理ユニットが、更に、
    前記マイクロホンの出力信号の各々に関連付けられた低域フィルタと、
    前記低域フィルタの出力を組み合わせて、前記聴取者の耳用の組み合わされた出力信号を生成するための手段であって、前記組み合わされた出力信号が、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンの前記出力を表す信号の組合せを含んでいるところの手段と
    を含む、請求項９に記載の装置。
12. 信号処理ユニットが、更に、
    前記音場内に置かれた相補型マイクロホンから出力信号を提供するように構成された高域フィルタと、
    前記高域フィルタからの前記出力信号を、前記聴取者の耳用の前記組み合わされた出力信号と組み合わせる手段と
    を含む、請求項１１に記載の装置。
13. 聴取者の頭部が音場内で複数のマイクロホンの位置に置かれている場合に、聴取者の耳の可能な位置を表す点で前記音場をサンプリングするように位置決めされた複数のマイクロホンと、
    信号処理ユニットと
    を含む、動的なバイノーラルサウンドを取り込み、そして、再生するための装置であって、
    前記信号処理ユニットは、オーディオ出力デバイスに接続される出力端子を有し、
    前記信号処理ユニットは、ヘッドトラッキングデバイスに接続される入力端子を有し、
    前記信号処理ユニットは、前記ヘッドトラッキングデバイスによって示される前記聴取者の頭部の方位に応答して、マイクロホンの出力信号を処理し、そして、前記オーディオ出力デバイスにバイノーラル出力を提示するように構成されている
    ことを特徴とする装置。
14. 前記マイクロホンが、前記聴取者の頭部の半径と近似する半径を有する、表面に沿った環状アレイ内に位置決めされる、請求項１３に記載の装置。
15. 前記信号処理ユニットは、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの前記出力を表す信号を組み合わせるように構成されている、請求項１３に記載の装置。
16. 前記信号処理ユニットが、
    前記マイクロホンの出力信号の各々に関連付けられた低域フィルタと、
    前記低域フィルタの出力を組み合わせて、前記聴取者の耳用の組み合わされた出力信号を生成するための手段であって、前記組み合わされた出力信号が、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの前記出力を表す信号の組合せを含んでいるところの手段と
    を含む、請求項１３に記載の装置。
17. 前記音場内に置かれる相補型マイクロホンと、
    前記相補型マイクロホンから出力信号を提供するように構成された高域フィルタと、
    前記高域フィルタからの前記出力信号を、前記聴取者の耳用の前記組み合わされた出力信号と組み合わせる手段と
    を含み、前記低域フィルタによって除去された高周波数内容が、再挿入される、
    請求項１６に記載の装置。
18. 前記相補型マイクロホンが、本質的に、前記複数のマイクロホンにおける前記マイクロホンとは異なるマイクロホン、前記複数のマイクロホンにおける前記マイクロホンのうちの１つ、前記複数のマイクロホンのうちの複数の動的に切り替えられるマイクロホンからの信号から生成される仮想マイクロホン、及び、前記複数のマイクロホンのうちの２つのマイクロホンからの信号のスペクトル補間によって生成される仮想マイクロホンからなる群から選択される実際の又は仮想的なマイクロホンを含む、請求項１７に記載の装置。
19. 聴取者の頭部が音場内で複数のマイクロホンの位置に置かれている場合に、聴取者の左耳及び右耳の可能な位置を表す点で前記音場をサンプリングするように位置決めされた複数のマイクロホンと、
    信号処理ユニットと
    を含む、動的なバイノーラルサウンドを取り込み、そして、再生するための装置であって、
    前記信号処理ユニットは、オーディオ出力デバイスに接続される出力端子を有し、
    前記信号処理ユニットは、ヘッドトラッキングデバイスに接続される入力端子を有し、
    前記信号処理ユニットは、前記ヘッドトラッキングデバイスによって示される前記聴取者の頭部の方位に応答して、マイクロホンからの出力信号を組み合わせ、そして、前記オーディオ出力デバイスにバイノーラル出力を提示するように構成されている
    ことを特徴とする装置。
20. 前記マイクロホンが、前記聴取者の頭部の半径と近似する半径を有する、表面に沿った環状アレイ内で位置決めされる、請求項１９に記載の装置。
21. 前記信号処理ユニットは、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の左耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの出力を表す信号を組み合わせるように構成されており、そして、
    前記信号処理ユニットは、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の右耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの前記出力を表す信号を組み合わせるように構成されている、
    ことを特徴とする、請求項１９に記載の装置。
22. 前記信号処理ユニットが、
    前記マイクロホンの出力信号の各々に関連付けられた低域フィルタと、
    前記低域フィルタの出力を組み合わせて、前記聴取者の左耳用の組み合わされた出力信号を生成するための手段であって、前記組み合わされた出力信号が、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の左耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの前記出力を表す信号の組合せを含んでいるところの手段と、
    前記低域フィルタの出力を組み合わせて、前記聴取者の右耳用の組み合わされた出力信号を生成するための手段であって、前記組み合わされた出力信号が、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の右耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの前記出力を表す信号の組合せを含んでいるところの手段と
    を含む、請求項１９に記載の装置。
23. 前記信号処理ユニットが、
    前記音場内に置かれた左耳相補型マイクロホンからの出力を提供するように構成された左耳高域フィルタと、
    前記音場内に置かれた右耳相補型マイクロホンからの出力を提供するように構成された右耳高域フィルタと、
    前記左耳高域フィルタからの前記出力を、前記聴取者の左耳用の前記組み合わされた出力と組み合わせる手段と、
    前記右耳高域フィルタからの前記出力を、前記聴取者の右耳用の前記組み合わされた出力と組み合わせる手段と
    を含み、前記低域フィルタによって除去された高周波数内容が、再挿入される、
    請求項２２に記載の装置。
24. 前記相補型マイクロホンが、本質的に、前記複数のマイクロホンにおける前記マイクロホンとは異なるマイクロホン、前記複数のマイクロホンにおける前記マイクロホンのうちの１つ、前記複数のマイクロホンのうちの複数の動的に切り替えられるマイクロホンからの信号から生成される仮想マイクロホン、及び、前記複数のマイクロホンのうちの２つのマイクロホンからの信号のスペクトル補間によって生成される仮想マイクロホンからなる群から選択される実際の又は仮想的なマイクロホンを含む、請求項２３に記載の装置。
25. 聴取者の頭部が音場内で複数のマイクロホンの位置に置かれている場合に、聴取者の耳の可能な位置を表す点で前記音場をサンプリングするように位置決めされた複数のマイクロホンと、
    信号処理ユニットと
    を含む、動的なバイノーラルサウンドを取り込み、そして、再生するための装置であって、
    前記信号処理ユニットは、オーディオ出力デバイスに接続される出力端子を有し、
    前記信号処理ユニットは、ヘッドトラッキングデバイスに接続される入力端子を有し、
    前記信号処理ユニットは、前記ヘッドトラッキングデバイスによって示される前記聴取者の頭部の方位に応答して、前記マイクロホンの出力信号を処理し、そして、前記オーディオ出力デバイスにバイノーラル出力を提示する手段を含む
    ことを特徴とする装置。
26. 前記マイクロホンが、前記聴取者の頭部の半径と近似する半径を有する、表面に沿った環状アレイ内で位置決めされる、請求項２５に記載の装置。
27. 前記信号処理ユニットが、更に、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの前記出力を表す信号を組み合わせる手段を含んでいる、請求項２５に記載の装置。
28. 前記信号処理ユニットが、更に、
    前記マイクロホンの出力信号の各々に関連付けられた低域フィルタと、
    前記低域フィルタの出力を組み合わせて、前記聴取者の耳用の組み合わされた出力信号を生成するための手段であって、前記組み合わされた出力信号が、前記聴取者の頭部が前記音場内で前記マイクロホンの位置に置かれている場合に、前記音場内の前記聴取者の耳の位置に関して最も近いマイクロホン及び次に近いマイクロホンからの前記出力を表す信号の組合せを含んでいるところの手段と
    を含む、請求項２５に記載の装置。
29. 前記音場内に置かれた相補型マイクロホンと、
    前記相補型マイクロホンから出力信号を提供するように構成された高域フィルタと、
    前記高域フィルタからの前記出力信号を、前記聴取者の耳用の前記組み合わされた出力信号と組み合わせる手段と
    を含み、前記低域フィルタによって除去された高周波数内容が、再挿入される、
    請求項２８に記載の装置。
30. 前記相補型マイクロホンが、本質的に、前記複数のマイクロホンにおける前記マイクロホンとは異なるマイクロホン、前記複数のマイクロホンにおける前記マイクロホンのうちの１つ、前記複数のマイクロホンのうちの複数の動的に切り替えられるマイクロホンからの信号から生成される仮想マイクロホン、及び、前記複数のマイクロホンのうちの２つのマイクロホンからの信号のスペクトル補間によって生成される仮想マイクロホンからなる群から選択される実際の又は仮想的なマイクロホンを含む、請求項２９に記載の装置。

Images