JP2007235334A - オーディオ装置及び指向音生成方法 - Google Patents

Abstract

【課題】 所定の指向特性を有し、忠実度の高いマルチチャンネルオーディオ信号を収音することを可能とするオーディオ装置を実現する。
【解決手段】 トライアングルに配置された３つのマイクロホン１１〜１３を用い、外部音が各マイクロホンに到来する時間差を時間差検出手段３１ａ〜３１ｃで検出し、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すテーブルを到来方向差演算器３３２に格納し、前記テーブルを用いて、前記外部音が各マイクロホンに到来する時間差から前記外部音の方向を到来方向差演算器３３２で推定し、各マイクロホンに到来した前記外部音のレベルの分散をレベル分散検出手段３２で検出し、前記検出された前記外部音のレベルの分散に応じて、前記指向性を有するように方向性強調手段２４で重み付けした前記外部音を収音するようにしてオーディオ装置１を構成した。
【選択図】 図１

Description

本発明は、一箇所に設置されたマイクロホンによりマルチチャンネル収音を行うオーディオ装置及び指向音生成方法に関する。

最近になり、大画面と共に５．１チャンネルサラウンドオーディオを再生するホームシアターが市場に導入されるようになってきた。
一方、ビデオカメラで撮影、記録した映像を５．１チャンネルサラウンドオーディオと共にホームシアターで再生できることは好ましい。しかし、５．１チャンネルサラウンドオーディオの収音装置を可搬性、小型化が指向されているビデオカメラに組み込むことは難しい。小形でありながら簡易に５．１チャンネルサラウンドオーディオの収音ができるオーディオ装置及び指向音生成方法の実現が望まれている。

特許文献１には、ビデオカメラに搭載可能な、小型で安価、振動や風雑音の少ない３−２方式５チャンネルステレオ用マルチチャンネル収音装置が開示されている。左側に配置される第１の無指向性マイクロホン、右側に配置される第２の無指向性マイクロホン、及び左右のマイクロホンよりも前方に配置される第３の無指向性マイクロホンと、それらのマイクロホンからの出力信号を合成することにより３−２方式５チャンネルステレオ用の収音をできるようにしたマルチチャンネル収音装置が開示されている。
特開２００２−２３２９８８号公報

しかしながら、特許文献１に開示されているマルチチャンネル収音装置では、複数のマイクロホンで収音された音響信号を合成して指向特性を有した音響信号として得るようにしているため、特に極性の異なる信号を加算する場合などでは歪成分が生じるなど音質が劣化してしまい、忠実度の高いマルチチャンネルオーディオ信号を得るオーディオ装置及び指向音生成方法を実現することはできなかった。

そこで、本発明は、上記のような問題点を解消するためになされたもので、所定の指向特性を有し、忠実度の高いマルチチャンネルオーディオ信号を収音することを可能とするオーディオ装置及び指向音生成方法を提供することを目的とする。

本願発明における第１の発明は、外部から発せられる音を重み付け処理して外部音として出力するオーディオ装置において、前記外部音を収音するトライアングルに配置された３つのマイクロホンと、前記外部音が各マイクロホンに到来する時間差を検出する時間差検出手段と、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定する外部音方向推定手段と、各マイクロホンに到来した前記外部音のレベルの分散を検出するレベル分散検出手段と、前記レベル分散検出手段で検出された前記外部音のレベルの分散に応じて、前記３つのマイクロホンで収音された前記外部音を前記指向性を有するように重み付けを行う重み付け演算手段と、前記重み付け演算手段で重み付けられた前記外部音を出力する出力手段と、を備えたことを特徴とするオーディオ装置を提供する。
第２の発明は、外部から発せられる外部音を３つのマイクロホンで収音した後、重み付け処理した外部音を出力する指向音生成方法において、前記外部音が各マイクロホンに到来する時間差を検出し、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定し、各マイクロホンに到来した前記外部音のレベルの分散を検出し、前記検出された前記外部音のレベルの分散に応じて、前記外部音が前記指向性を有するように重み付けし、前記重み付けられた前記外部音を出力することを特徴とする指向音生成方法を提供する。

本発明によれば、外部音が各マイクロホンに到来する時間差を検出し、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定し、各マイクロホンに到来した前記外部音のレベルの分散を検出し、前記検出された前記外部音のレベルの分散に応じて、前記外部音が指向性を有するように重み付けし、前記重み付けられた前記外部音を出力する格別な構成があるので、所定の指向特性を有し、忠実度の高いマルチチャンネルオーディオ信号を収音することを可能とするオーディオ装置及び指向音生成方法を実現できる。

以下に本発明の各実施例に係るオーディオ装置について図１〜図２２を用いて説明する。
図１は、本発明の第１の実施に係るオーディオ装置の構成例を示すブロック図である。図２は、本発明の第１の実施に係るオーディオ装置の要部の構成例（その１）を示す図である。図３は、本発明の第１の実施に係るオーディオ装置の要部の構成例（その２）を示す図である。図４は、本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その１）を示す図である。図５は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その１）である。図６は、本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その２）を示す図である。図７は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その２）である。図８は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その３）である。図９は、本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その３）を示す図である。図１０は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その４）である。図１１は、本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その４）を示す図である。図１２は、本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その５）を示す図である。図１３は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その５）である。図１４は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その６）である。図１５は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その７）である。図１６は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その８）である。図１７は、本発明の第２の実施に係るオーディオ装置の構成例を示すブロック図である。図１８は、本発明の第２の実施に係るオーディオ装置の要部の構成例（その１）を示す図である。図１９は、本発明の第２の実施に係るオーディオ装置の要部の構成例（その２）を示す図である。図２０は、本発明の第２の実施に係るオーディオ装置の要部の構成例（その３）を示す図である。図２１は、本発明の第３の実施に係るオーディオ装置の構成例を示すブロック図である。図２２は、本発明の第４の実施に係るオーディオ装置の構成例を示すブロック図である。
そのオーディオ装置は、所定の指向特性を有し、忠実度の高いマルチチャンネルオーディオ信号を収音する装置を実現するという目的を、外部音が各マイクロホンに到来する時間差を検出し、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定し、各マイクロホンに到来した前記外部音のレベルの分散を検出し、前記検出された前記外部音のレベルの分散に応じて、前記外部音が指向性を有するように重み付けし、前記重み付けられた前記外部音を出力するようにして実現した。

図１〜図１６を参照して第１の実施例につき説明する。
オーディオ装置の構成について述べる。
図１に示すオーディオ装置１は、マイクロホン１１、１２、１３、合成部２、到来方向推定部３より構成される。マイクロホン１１は前方、マイクロホン１２は左方、マイクロホン１３は右方に配置される。オーディオ装置１からはＬ（左）、Ｒ（右）、ＳＬ（サラウンド左）、ＳＲ（サラウンド右）、Ｃ（中央）、及びＬＦＥ（Low Frequency Effect 低域効果音）の、所謂５．１チャンネルオーディオ信号が出力される。
図２に示す合成部２は、ＨＰＦ２１ａ、２１ｂ、２１ｃ、ＬＰＦ２２ａ、２２ｂ、２２ｃ、３-５変換手段２３、方向性強調手段２４、及び加算器２５より構成される。
図３に示す到来方向推定部３は、時間差検出手段３１ａ、３１ｂ、３１ｃ、レベル分散検出手段３２、及び到来方向推定手段３３より構成される。
図４に示す時間差検出手段３１は、データメモリ３１１ａ、３１１ｂ、無音区間判定器３１２、相互相関算出器３１３、及び平均化器３１４より構成される。
図６に示す到来方向推定手段３３は、到来角推定器３３１ａ、３３１ｂ、３３１ｃ、到来方向差演算器３３２、最小方向差選択器３３３、及び到来方向平均化器３３４より構成される。
図９に示すレベル分散検出手段３２はデータメモリ３２１ａ、３２１ｂ、３２１ｃ、平均電力算出器３２２ａ、３２２ｂ、３２２ｃ、加算器３２３、増幅器３２４、加算器３２５ａ、３２５ｂ、３２５ｃ、２乗器３２６ａ、３２６ｂ、３２６ｃ及び加算器３２７より構成される。
図１０に示す計測装置は、マイクロホン８１、８２、増幅器８３、８４、加算器８５、及びスピーカ８６より構成される。
図１１に示す３−５変換手段２３は、増幅器２３１、２３２、２３３、２３４、加算器２３５、２３６より構成される。
図１２に示す方向性強調手段２４は、重み付け算出器２４１、可変増幅器２４２ａ〜２４２ｅから構成される。

図１〜図３を参照してオーディオ装置の動作について述べる。
まず、図１に示す到来方向推定部３は、左右に配置されるマイクロホン１２、１３と、前方に配置されるマイクロホン１１とで受音されるオーディオ信号を入力し、受音された外部音の到来方向の推定値を出力する。さらに到来方向推定部３は、マイクロホン１１〜１３から入力されるそれぞれオーディオ信号のレベルの異なり、即ちマイク間レベル分散値を演算して出力する。合成部２は、前方及び左右にトライアングルに配置されるマイクロホン１１〜１３からのオーディオ信号からＬ、Ｃ、Ｒ、ＳＬ、ＳＲ、及びＬＦＥよりなる５．１チャンネルのサラウンドオーディオ信号を生成する。さらに、合成部２は、入力される外部音の到来方向推定値により推定される方向の信号レベルを増強する。Ｌ、Ｃ、Ｒ、ＳＬ、ＳＲよりなるサラウンドオーディオ信号の、到来方向に係るチャンネルの信号レベルを増強する。到来方向の増強のレベルはマイク間レベル分散値に応じて設定され、マイクロホン１１〜１３から出力されるオーディオ信号の間のレベル差が大きい場合には到来方向の増強レベルを大きくする。

図２に示す合成部２のＨＰＦ２１ａ〜２１ｃはマイクロホン１１〜１３から入力されるオーディオ信号のうち中域及び高域の周波数帯の信号を通過させる。ＬＰＦ２２ａ〜２２ｃは低域の周波数帯の信号を通過させる。３-５変換手段２３は中域及び高域の周波数帯の信号を後述の方法で合成してＬ、Ｒ、ＳＬ、ＳＲ、Ｃの５チャンネルのサラウンドオーディオ信号を生成する。方向性強調手段２４は到来方向推定部３から供給される外部音の到来方向の推定値及びマイク間レベル分散値を基に後述のレベル切断面を求め、入力されるＬ、Ｒ、ＳＬ、ＳＲ、Ｃの５チャンネルのサラウンドオーディオ信号を所定の指向性を有するオーディオ信号になるよう外部音の発する方向に対する指向性の強調を行う。

図３に示す到来方向推定部３の時間差検出手段３１ａ〜３１ｃは、マイクロホン１１〜１３から供給される３つのオーディオ信号に対して存在する３ペアのオーディオ信号に対する時間差を検出する。時間差検出手段３１ａは前方に対する左方のマイクロホン間の時間差を、時間差検出手段３１ｂは左方に対する右方のマイクロホン間の時間差を、時間差検出手段３１ａは右方に対する前方のマイクロホン間の時間差をそれぞれ検出する。到来方向推定手段３３は時間差検出手段３１ａ〜３１ｃから得られた時間差を基に、後述の方法により、トライアングルに配置されるマイクロホン１１〜１３に対し、到来する外部音の到来方向を推定して到来方向推定値を決定する。レベル分散検出手段３２は、後述の方法により、マイクロホン１１〜１３で受音して得られるオーディオ信号のレベル差を検出し、マイクロホン間レベル分散値を生成する。

次に、詳細に説明する。
図４を参照して到来方向推定部３の時間差検出手段３１ａ〜３１ｃについて説明する。
時間差検出手段３１ａ〜３１ｃのそれぞれは時間差検出手段３１と同一である。データメモリ３１１ａには、例えばマイクロホン１１から供給される信号を一時記憶する。相互相関算出器３１３はデータメモリ３１１ａ及び３１１ｂに記憶されたオーディオ信号の相互相関を計算し、相互相関が最大となる時間差を算出する。ここで算出される時間差は瞬時的なオーディオ信号に対する結果であるため、算出結果にばらつきや誤差が多く含まれる。平均化器３１４は算出された時間差の瞬時値を平均化し平均時間差として生成する。ここで、マイクロホン１１〜１３から得られる信号レベルが小さい場合には算出された平均時間差に含まれる誤差が大きくなる。マイクロホン１１〜１３から得られる信号に背景雑音（バックグランドノイズ）が多く含まれる場合は、平均時間差に含まれる誤差がさらに大きくなる。無音区間判定器３１２はデータメモリ３１１ａ、３１１ｂに記憶されるオーディオ信号の信号レベルを検出し、検出された信号レベルが無音であるとして判定される場合には平均化器３１４に対する平均化処理を中止させる。平均化器３１４は直前に得られた平均時間差を保持し、出力する。

図５を参照し、得られた平均時間差を基に行う外部音の到来方向の推定について述べる。
同図（Ａ）において、横軸は推定して求められる到来方向を正面方向からの角度で示し、縦軸は求められた上記の平均時間差である。実線で示される曲線（１）は左、右のマイクロホン間で得られた平均時間差に対する到来方向を示す。同様に曲線（２）は右、前のマイクロホンで得られた平均時間差に対し、曲線（３）は前、左のマイクロホンで得られた平均時間差に対して推定される到来方向である。
ここで、左、右のマイクロホン間で得られた平均時間差がｔｌｒの場合は、ｔｌｒと曲線（１）との交点ｐ１、ｐ２により与えられる角度ｄ１又はｄ２が到来方向であると推定される。同図（Ｂ）に示すように、平均時間差ｔｒｌを与える音源の位置は左、右のマイクロホンの前方に位置する第１音源、及び左、右のマイクロホンの後方に位置する第２音源の両者が該当する。右、前のマイクロホン間で得られた平均時間差がｔｒｆの場合は、同様にして交点ｐ３、ｐ４で与えられるｄ３、ｄ４が到来方向であると推定される。ｄ２とｄ３とは似通った到来方向であるため、ｄ２とｄ３の中間の角度を到来方向と推定する。
同様にして前、左のマイクロホン間で得られた平均時間差を用いて到来方向を推定できる。図示しないｄ５、ｄ６を推定し、似通った到来方向の３者の平均値を得る方法がある。又はｄ５、ｄ６のいずれかがｄ２とｄ３にに通った値である場合はｄ２とｄ３の中間の角度で良かったとする上記結果の確認に用いるようにしても良い。

図５に示した到来方向の推定についてさらに述べる。
２つのマイクロホン間の距離をｄ、音速をｃ、到来方向の角度をθとするとマイク間時間差τｄは式（１）で与えられる。

到来方向θは式（２）で与えられる。

ここで、式（２）中のアークサイン（ｓｉｎ^-1（ ））は±９０度の範囲でしか求めることは出来ない。式（３）で示すように到来方向θは２つの解を有する。

本実施例では正三角形状にマイクロホンを配置し、外部音の到来方向を特定するようにしている。

図６を参照して到来方向推定手段３３について述べる。
到来角推定器３３１ａ〜３３１ｃは、時間差検出手段３１ａ〜３１ｃから供給されるそれぞれの平均時間差を基に、図５、乃至は式（３）で示される平均時間差と到来方向との関係を記述したテーブルを図示しない記憶領域に記憶しておき、そのテーブルを参照して到来方向を推定する。到来角推定器３３１ａ〜３３１ｃのそれぞれからは到来方向の候補が２つづつ求められる。到来方向差演算器３３２は、求められた６個の到来方向の候補の、それぞれの組み合わせに対する到来方向同士の差を演算する。到来方向同士の差は６個に対する２個の組み合わせから、同一マイクロホン同士の組み合わせ数３を減じた数だけ存在する。その数は₆Ｃ₂＝１５から３を減じた１２である。最小方向差選択器３３３はその全ての組み合わせの中から最も似通った到来方向の角度を有する２個を選択する。到来方向平均化器３３４は選択された２個の到来方向角度の平均角度を算出する。到来方向推定値が求められる。

図７を参照し、音源を移動させた場合に求められた実測された時間差について述べる。
同図において横軸は音源の到来方向（角度）であり、縦軸はマイクロホン間の時間差である。時間差は、間隔が１５ｍｍに設定されている２つのマイクロホンから出力されるオーディオ信号を標本化周波数４８ｋＨｚでサンプリングして得られるディジタルオーディオ信号のサンプル数により示してある。離散値として得られたサンプルの位置の差を平均化したのが平均値である。

図８は、実際に発音される音源の到来方向と、図７に示した結果を用いて得た推定到来方向との関係を示したものである。音源を、トライアングル状マイクロホンを中心として反時計回りに３６０度回転させ、その後時計回りに３６０度回転させたときに得られた結果である。マルチチャンネルオーディ信号の到来方向の推定に使用可能な特性が得られている。

図９を参照し、到来方向推定部３のレベル分散検出手段３２について述べる。
データメモリ３２１ａ〜３２１ｃはマイクロホン１１〜１３から供給されるオーディオ信号を一時記憶する。平均電力算出器３２２ａ〜３２２ｃは入力されるそれぞれのオーディオ信号の電力値を求める。加算器３２３は求められたそれぞれの電力値を加算する。増幅器３２４は加算された電力値を１／３倍に増幅（減衰）する。平均電力算出器３２２ａ〜３２２ｃで得られた電力値の平均値が得られる。加算器３２５ａ〜３２５ｃは平均電力算出器３２２ａ〜３２２ｃで得られたそれぞれの電力値から平均電力値を減じ（極性の異なる平均電力値を加算する。）、電力値の差分値が得られる。２乗器３２６ａ〜３２６ｃはそれぞれの電力値の差分値を２乗し（差分値同士を乗算する。）マイクロホン間レベル分散値が得られる。

図１０を参照し、３-５変換について述べる。
３-５変換手段２３はトライアングル状に配置される３個のマイクロホンで収音される信号からＬ、Ｒ、ＳＬ、ＳＲ、Ｃの５チャンネルのサラウンドオーディオ信号を変換により生成する手段である。
同図において、スピーカ８６を所望のターゲット位置に配置される音源とする。マイクロホン８１、８２で受音される信号をＸｍ１、Ｘｍ２とする。点Ｏを中心としてスピーカ８６を回転させる場合に、スピーカの角度をθｔ、マイクロホン８１、８２の角度をθｍ１、θｍ２とする。ここで、所望の角度位置のスピーカ８６から発音された音響信号がマイクロホン８１、８２で受音される。マイクロホン８１、８２で受音される信号は所定の比率で分配されて受音される。２つのマイクロホン８１、８２の出力からそれらのマイクロホンの位置の中間に位置するスピーカ８６から発音される信号との関係を求める。マイクロホン８１、８２の出力信号Ｘｍ１、Ｘｍ２を増幅器８３、８４でそれぞれＫｍ１倍、Ｋｍ２倍に増幅する場合は式（４）の関係が成立する。

収音時の音場をスピーカ８６で再現するための、スピーカ８６への出力信号Ｙｔは、マイクロホンで収音された信号Ｘｍ１、Ｘｍ２を用い、式（５）により求められる。

ここで、左チャンネルのスピーカ位置を３０度の位置、前方マイクロホンは０度、左側マイクロホンは１２０度の位置にある場合には、Ｌチャンネルのスピーカの出力は前方のマイクロホンと左側のマイクロホンの出力から、式（６）によりスピーカ８６への出力信号ＹＬを得ることが出来る。

同様にして、Ｌ、Ｃ、Ｒ、ＳＲ、ＳＬに配置されるスピーカについてそれぞれの出力信号を求めるようにして３−５変換を行える。正三角形に配置されるマイクロホンで得られた信号を前方ＸＦ、左方ＸＬ、右方ＸＲとする場合のＬ、Ｒ、ＳＬ、ＳＲ、Ｃの各出力信号ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲ、ＹＣは式（７）により得られる。

図１１を参照し、３-５変換手段２３について述べる。式（７）をハードウエアにより実現したものである。
同図において、前方に配置されるマイクロホンで受音された信号Ｃ（中央）の出力が得られる。増幅器２３１でＫＦＬ倍に増幅されたマイクロホン１１の信号と、増幅器２３２でＫＬＬ倍に増幅された左方のマイクロホン１２の信号とが加算器２３５で加算され、信号Ｌ（左）の出力が得られる。増幅器２３２でＫＦＲ倍に増幅されたマイクロホン１１の信号と、増幅器２３４でＫＲＲ倍に増幅された右方のマイクロホン１３の信号とが加算器２３６で加算され、信号Ｒ（右）の出力が得られる。マイクロホン１２の信号はＳＬ（左のサラウンド）出力として得られ、マイクロホン１３の信号はＳＲ（右のサラウンド）出力として得られる。

図１２を参照して、方向性強調手段２４について述べる。
重み付け算出器２４１は、到来方向推定部３から供給されるマイク間レベル分散値と到来方向推定値に係る信号を基に、Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲの５チャンネルサラウンドオーディオ信号の増幅度に係る５つの係数信号を生成する。可変増幅器２４２ａ〜２４２ｅは重み付け算出器２４１から供給される、それぞれの増幅度に係る係数信号を基に、３-５変換手段２３から供給されるＣ、Ｌ、Ｒ、ＳＬ、ＳＲの５チャンネルサラウンドオーディオ信号を増幅し、方向性の強調されたＣ、Ｌ、Ｒ、ＳＬ、ＳＲの５チャンネルサラウンドオーディオ信号を得る。

図１３〜図１６を参照して方向性強調についてさらに述べる。
図１３において、ｘ軸は視聴者を中心とする水平面内の前方の軸であり、ｙ軸は左右方向の軸である。ｘｙ平面内にＬ、Ｃ、Ｒ、ＳＬ、ＳＲのスピーカを配置する。ｚ軸はそれらのスピーカから発音される信号の強度を示す。Ｌ、Ｃ、Ｒ、ＳＬ、ＳＲのそれぞれのスピーカの配置位置に示す円筒形は、それぞれのスピーカから出力される信号レベルを円柱の高さで示したスピーカ出力円柱である。ここでは、Ｌ、Ｃ、Ｒ、ＳＬ、ＳＲのそれぞれのスピーカから出力（発音）される信号レベルは同じレベルであり、同じ高さで示している。それらのスピーカ出力円柱の上部で接する円をレベル切断面として定義する。この図のレベル切断面は水平に配置される。マイク間レベル分散値が小さい場合のレベル切断面である。

図１４は、音源の到来方向が、例えばＳＲに配置されるスピーカの位置よりやや後方からであり、且つマイク間レベル分散値が所定の値で得られている場合について示したものである。音源の到来方向の近傍に配置されるスピーカからは増強された信号が発音され、反対側のＬ、Ｃスピーカからは減衰された信号が発音される。ＳＲのスピーカ出力円柱は高く、Ｌ、Ｃのスピーカ円柱は低い。レベル切断面はＳＲの近傍で高く、Ｌ、Ｃの近傍で低くなっている。従って、レベル切断面の法線ベクトルはｚ軸方向からＬ、Ｃの方向に傾いた法線ベクトルとされる。

図１５は、レベル切断面法線ベクトルについてさらに説明する図である。
同図において、音源の到来方向を示す到来方向ベクトル、及びｘｙ平面と垂直なｚ軸を含む到来方向面を考える。レベル切断面法線ベクトルは到来方向面内に存在するベクトルである。ｚ軸との間の角度θは、大きなマイク間レベル分散値に対して大きな角度が与えられる。

図１６は、レベル切断面法線ベクトルに対応した平面を有するレベル切断面について示したものである。レベル切断面は、到来方向ベクトルとの関係に応じ、到来方向で最もレベルが大であり、到来方向と反対の方向で最もレベルが小である。レベル切断面は、図１５に示した到来方向面とは点ｐ１と点ｐ２で交わり、ｐ１の箇所でレベルは最も大きく、ｐ２の箇所でレベルが最も小さい値を取る。
上記の重み付け算出器２４１から出力される増幅度に係る係数信号は、レベル切断面で切断される円柱の高さをデシベル値に換算して得られる値の信号が用いられる。

以上のように、本実施例１で示したオーディオ装置１によれば、外部音を収音するトライアングルに配置された３つのマイクロホン１１〜１３と、前記外部音が各マイクロホンに到来する時間差を検出する時間差検出手段３１ａ〜３１ｃと、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定する外部音方向推定手段３３と、各マイクロホンに到来した前記外部音のレベルの分散を検出するレベル分散検出手段３２と、前記レベル分散検出手段で検出された前記外部音のレベルの分散に応じて、前記３つのマイクロホンで収音された前記外部音を指向性を有するように重み付けを行う重み付け演算手段２４との格別な構成があるので、所定の指向特性を有し、忠実度の高いマルチチャンネルオーディオ信号を収音することを可能とするオーディオ装置を実現できる。Ｌ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号は、マイクロホン１１〜１３の信号を加算合成した信号であるため、マイクロホン１１〜１３の信号を減算してサラウンドオーディオ信号を生成するのと異なり、歪成分を含まないサラウンドオーディオ信号を生成することが出来ている。

図１７〜図２０を用い、実施例２のオーディオ装置について述べる。なお、実施例１で示したと同一の機能部分については同一の符号を付し説明を省く。
図１７に示すオーディオ装置１ａは、図１に示したオーディオ装置１が３個のマイクロホンを用いるのに比し、左右２個のマイクロホンのみを用い、到来方向の前後の判定は追加回路で行う点で異なっている。

オーディオ装置１ａの構成について述べる。
図１７に示すオーディオ装置１ａは２個のマイクロホン１２、１３を有している。合成部２の代わりに合成部２ａを、到来方向推定部３の代わりに到来方向推定部３ａを備え、さらに周波数分析部４及び前後判定部５を多く備えている。合成部２ａは、図１に示した合成部２に比し、マイクロホン１１から入力される信号に係る回路部を削除した構成とされる。
図１８に示す到来方向推定部３ａは時間差検出手段３１ｂ、レベル検出手段３２ａ、及び到来方向推定手段３３ａから構成される。
図１９に示す周波数分析部４は加算器４１、ＬＰＦ４２、ＨＰＦ４３、平均伝録算出器４４ａ、４４ｂ、加算器４５、レベルホールド器４６、及び加算器４７から構成される。
図２０に示す前後判定部５は閾値手段５１、選択手段５２及び加算手段５３より構成される。

オーディオ装置１ａの動作について述べる。
図１７において、到来方向推定部３ａはマイクロホン１２、１３から入力される信号に対し音源が前方にある場合を基準とした到来方向の推定値、及びマイクロホン１２、１３の２つの信号に対するマイク間レベル分散値を生成する。周波数分析部４はマイクロホン１２、１３から入力される信号の周波数成分を分析して得る。前後判定部５は、分析された周波数成分から音の到来する方向が前方であるか、又は後方からであるかを判定する。前後判定部５からは、前方であると判定された場合は到来方向推定部３ａで得られた前方の到来方向を、後方であると判定された場合は後方の到来方向に修正した到来方向が得られる。合成部２ａは、マイクロホン１２、１３から供給される信号を加算してＣチャンネルのサラウンドオーディオ信号を生成する一方、実施例１に示した合成部２で、マイクロホン１１の信号を０とした場合に相当する出力信号を得る。前後判定部５で得られた到来方向推定値と、到来方向推定部３ａで得られたマイク間レベル分散値を基に前述の合成部２で生成されたと同様のＬ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号を生成して出力する。

詳細に説明する。
図１８において、到来方向推定部３ａは、実施例１の到来方向推定部３に比しマイクロホン１１よりの信号レベルを０とした場合の到来方向推定値とマイク間レベル分散値を生成する。到来方向は前方に音源があるものとしての到来方向が得られる。

図１９において、加算器４１はマイクロホン１２及び１３の信号を加算する。平均電力算出器４４ａは、ＬＰＦ４２により加算信号のうち通過された低域成分のみの信号の平均電力を算出する。平均電力算出器４４ｂは、ＨＰＦ４２により加算信号のうち通過れた高域成分のみの信号の平均電力を算出する。加算器４５は平均電力算出器４４ａから平均電力算出器４４ｂで算出された平均電力を減算する。レベルホールド４６は加算器４５の出力信号レベルを所定時間保持する。加算器４７は保持されている平均電力値と加算器４５から供給される平均電力値の逆極性の信号とを加算（減算）する。マイクロホン１２、１３に入力される信号レベルが小さい場合、過去の所定の期間に出力された平均電力値が出力される。
ここで、前方から到来してマイクロホン１２、１３で受音される信号には音源の有する同様な高域成分と低域成分とが含まれる。しかし、音源が後方にある場合では、マイクロホン１２、１３は図示しないマイクロホン保持具の前方に配置されているケースが多いこと、及び収音者が音源とマイクロホンの間に配置されるなどにより高音域の平均電力が減衰する。低域成分の平均電力は減衰しない。従って、加算器４７から出力される平均電力のレベルが低下する。

図２０に示す前後判定部５について述べる。
閾値手段５１は周波数分析部４で得られた平均電力が所定値以上であるか否かを判定する。選択手段５２は、閾値手段５１で平均電力値が所定値以上であると判定された場合に前方の０度を選択し、所定値に満たないとして判定された場合には後方、即ち１８０度（又は-１８０度）を選択する。加算器５３は到来方向推定部３ａから得られた角度情報に、選択手段５２で選択された角度情報を加算する。到来方向推定手段３３ａから前方にあるとして求められた到来方向は選択手段５２で選択される方の到来方向に修正されて出力される。

本発明の第３実施例について図２１を用いて説明する。第１実施例に示した回路部と同一機能の回路部には同一の符号を付し説明を省力する。
同図に示すオーディオ装置１ｂはマイクロホン１１〜１３、帯域分割部６１ａ〜６１ｃ、加算器６２ａ、６２ｂ、合成部２ｃ、２ｄ、到来方向推定部３ｃ、３ｄ、及び合成器６３ａ〜６３ｅより構成される。

マイクロホン１１〜１３から入力される信号のそれぞれは帯域分割部６１ａ〜６１ｃで高域、中域、低域の周波数帯域の信号に分割される。帯域分割部６１ａ〜６１ｃで分割して得られた高域周波数成分の信号は到来方向推定部３と同様に動作し、マイク間レベル分散値と到来方向推定値を出力する。合成部２ｃは合成部２と同様の機能を有し、マイク間レベル分散値と到来方向推定値を基に５チャンネルオーディオ信号を生成する。到来方向推定部３ｄと合成部２ｄは、帯域分割部６１ａ〜６１ｃで得られた中域周波数帯域の信号に対して同様に動作し５チャンネルオーディオ信号を生成する。合成器６３ａ〜６３ｅは合成部２ｃ及び２ｄで生成された５チャンネルオーディオ信号を加算合成する。加算器６２ａ、６２ｂは帯域分割部６１ａ〜６１ｃで得られた低域周波数帯域の信号を加算し、ＬＦＥ信号を生成する。

実施例１で示したオーディオ装置１は１方向から到来する音響信号に対して指向性を有したサラウンドオーディオ信号を生成するのに比し、実施例３で示したオーディオ装置１ｂは、高域周波数帯及び中域周波数帯のそれぞれに対して異なる方向から到来する音響信号のそれぞれに対して異なる指向性を有したサラウンドオーディオ信号として生成することが出来る。
周波数帯域をさらに細かく分割する場合には、分割された周波数帯域毎に異なる方向から到来するＬ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号として生成することが出来る。

本発明の第４実施例について図２２を用いて説明する。
第４実施例は、第１実施例におけるマイクロホン１１〜１３をオーディオ装置の記録側に搭載し、再生側で指向性を有するサラウンドオーディオ信号を生成しようとするものである。第１実施例に示した回路部と同一機能の回路部には同一の符号を付し説明を省力する。
同図に示すオーディオ装置１ｃは、マイクロホン１１〜１３、ビデオカメラ１４、記録媒体１５ａからなる記録側と、再生媒体１５ｂ、再生装置１６、及びマルチチャンネル変換装置１７からなる再生側とで構成される。オーディオ装置１ｃにはＤＶＤ再生装置１８が接続されている。

まず、マイクロホン１１〜１３はビデオカメラの音声入力端子Ｆ、Ｌ、Ｒに接続すると共に、トライアングル状に配置されるマイクロホンの位置情報をビデオカメラに設定する。ビデオカメラ１４は、図示しないカメラ部で撮影して得られる動画、音声入力端子Ｆ、Ｌ、Ｒに入力される音声信号及びマイクロホンの位置情報を記録媒体１５ａに記録する。
オーディオ装置の再生側では、記録側で記録された再生媒体１５ｂを、再生装置１６で再生する。再生して得られたＦ、Ｌ、Ｒのオーディオ信号及びマイク位置情報はマルチチャンネル変換装置１７に入力される。マルチチャンネル変換装置１７には前述の図１に示した合成部２及び到来方向推定部３が組み込まれている。Ｌ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号が生成される。サラウンドオーディオ信号は、例えばＤＶＤ再生装置１８に入力され、撮像した画像と共に５．１チャンネルサラウンドオーディオ信号が再生される。

実施例１では、トライアングル状に配置されるマイクロホン同士の距離を１５ｍｍとして述べた。再生媒体１５ｂが１５ｍｍ以外の距離で配置されたマイクロホンにより収音される場合も有りうるため、再生側の到来方向推定部３はマイクロホンの位置情報を得て上述の信号処理を行うようにする。
マイクロホンの位置情報記述例を示す。

同記述例では、使用するマイクロホンの数は３であり、それらのマイクロホンの３次元の位置情報（配置情報）とそれぞれのマイクロホンの指向特性について記述されている。到来方向推定手段３３は３次元の座標を基に図５に示した時間差に対する到来方向のテーブルを作成して図示しないＲＡＭに記憶する。記憶されたテーブルを用い、上述と同様にして再生媒体から再生されたＦ、Ｌ、Ｒの信号をＬ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号に変換した出力信号を得ることが出来る。
なお、記録媒体１５ａに記録する音声信号はディジタル化された信号とすることにより、再生媒体から時間変動成分が含まれないＦ、Ｌ、Ｒのそれぞれの信号を再生できる。精度の高い到来方向推定値が得られ、所望のＬ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号を得ることが出来る。
また、実施例４ではマルチチャンネル変換装置１７を再生側に備えるとして述べた。マルチチャンネル変換装置１７は記録側のビデオカメラ１４の内部に備えるようにしても良い。その場合、記録媒体１５ａには、Ｆ、Ｌ、Ｒのオーディオ信号の代わりにＬ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号が記録される。

本発明の第１の実施に係るオーディオ装置の構成例を示すブロック図である。 本発明の第１の実施に係るオーディオ装置の要部の構成例（その１）を示す図である。 本発明の第１の実施に係るオーディオ装置の要部の構成例（その２）を示す図である。 本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その１）を示す図である。 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その１）である。 本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その２）を示す図である。 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その２）である。 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その３）である。 本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その３）を示す図である。 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その４）である。 本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その４）を示す図である。 本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その５）を示す図である。 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その５）である。 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その６）である。 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その７）である。 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その８）である。 本発明の第２の実施に係るオーディオ装置の構成例を示すブロック図である。 本発明の第２の実施に係るオーディオ装置の要部の構成例（その１）を示す図である。 本発明の第２の実施に係るオーディオ装置の要部の構成例（その２）を示す図である。 本発明の第２の実施に係るオーディオ装置の要部の構成例（その３）を示す図である。 本発明の第３の実施に係るオーディオ装置の構成例を示すブロック図である。 本発明の第４の実施に係るオーディオ装置の構成例を示すブロック図である。

符号の説明

１、１ａ、１ｂ、 オーディオ装置
２、２ｃ、２ｄ 合成部
３、３ａ、３ｃ、３ｄ 到来方向推定部
４ 周波数分析部
５ 前後判定部
１１〜１３ マイクロホン
１４ ビデオカメラ
１５ａ 記録媒体
１５ｂ 再生媒体
１６ 再生装置
１７ マルチチャンネル変換装置
１８ ＤＶＤ再生装置
２１ａ〜２１ｃ ＨＰＦ
２２ａ〜２２ｃ ＬＰＦ
２３ ３-５変換手段
２４ 方向性強調手段
２５ 加算器
３１ａ〜３１ｃ 時間差検出手段
３２、３２ａ レベル分散検出手段
３３、３３ａ 到来方向推定手段
４１ 加算器
４２ ＬＰＦ
４３ ＨＰＦ
４４ａ、４４ｂ 平均伝録算出器
４５ 加算器
４６ レベルホールド器
４７ 加算器
５１ 閾値手段
５２ 選択手段
５３ 加算手段
６１ａ〜６１ｃ 帯域分割部
６２ａ、６２ｂ 加算器
６３ａ〜６３ｅ 合成器
８１、８２ マイクロホン
８３、８４ 増幅器
８５ 加算器
８６ スピーカ
２３１〜２３４ 増幅器
２３５、２３６ 加算器
２４１ 重み付け算出器
２４２ａ〜２４２ｅ 可変増幅器
３１１ａ、３１１ｂ データメモリ
３１２ 無音区間判定器
３１３ 相互相関算出器
３１４ 平均化器
３２１ａ〜３２１ｃ データメモリ
３２２ａ〜３２２ｃ 平均電力算出器
３２３ 加算器
３２４ 増幅器
３２５ａ〜３２５ｃ 加算器
３２６ａ〜３２６ｃ ２乗器
３２７ 加算器
３３１ａ〜３３１ｃ 到来角推定器
３３２ 到来方向差演算器
３３３ 最小方向差選択器
３３４ 到来方向平均化器

Claims (2)

1. 外部から発せられる音を重み付け処理して外部音として出力するオーディオ装置において、
   前記外部音を収音するトライアングルに配置された３つのマイクロホンと、
   前記外部音が各マイクロホンに到来する時間差を検出する時間差検出手段と、
   前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定する外部音方向推定手段と、
   各マイクロホンに到来した前記外部音のレベルの分散を検出するレベル分散検出手段と、
   前記レベル分散検出手段で検出された前記外部音のレベルの分散に応じて、前記３つのマイクロホンで収音された前記外部音を前記指向性を有するように重み付けを行う重み付け演算手段と、
   前記重み付け演算手段で重み付けられた前記外部音を出力する出力手段と、
   を備えたことを特徴とするオーディオ装置。
2. 外部から発せられる外部音を３つのマイクロホンで収音した後、重み付け処理した外部音を出力する指向音生成方法において、
   前記外部音が各マイクロホンに到来する時間差を検出し、
   前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定し、
   各マイクロホンに到来した前記外部音のレベルの分散を検出し、
   前記検出された前記外部音のレベルの分散に応じて、前記外部音が前記指向性を有するように重み付けし、
   前記重み付けられた前記外部音を出力することを特徴とする指向音生成方法。
   

Images