JP6149818B2 - 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム - Google Patents

Description

本発明は、収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システムに関し、例えば、複数のエリア内に存在する音（「音」は音声、音響等を含む。）をそれぞれ収音した後、各エリアの音を加工、混合し、立体的に再生する場合に適用し得るものである。

ＩＣＴの発達に伴い、遠隔地の映像や音情報を用い、あたかも遠隔地にいるかのように体感させる技術への需要が高まっている。

非特許文献１では、離れた場所に存在する複数のオフィス間を接続し、映像や音、各種センサ情報を相互に授受して、遠隔地と円滑にコミュニケーションを取ることができるテレワークシステムを提案している。このシステムでは、オフィス内のいたるところに複数のカメラと複数のマイクロホンを配置し、カメラ・マイクロホンから得られる映像・音情報を別の離れたオフィスヘ伝送する。ユーザは、遠隔地のカメラを自由に切替えることができ、カメラを切替える度にカメラの近くに配置してあるマイクロホンにより収音された音が再生され、リアルタイムに遠隔地の状況を知ることができる。

また非特許文献２では、室内に複数のカメラとマイクロホンをアレイ状に配置し、その室内で録画録音したオーケストラ演奏などのコンテンツを、ユーザが自由に視聴位置を選んで鑑賞できるシステムを提案している。このシステムでは、マイクロホンアレイを用いて録音した音を独立成分分析（以後、ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）により音源ごとに分離する。通常、ＩＣＡによる音源分離は、分離した各音源の成分が周波数成分毎に入れ替わって出力されてしまうパーミュテーション問題を解く必要があるが、このシステムでは空間類似性をもとに周波数成分をグルーピングすることにより、近い位置に存在する音源毎にまとめて分離している。分離後の音には複数の音源が混ざる可能性があるが、最終的に全ての音源を再生するため影響は少ない。分離した音源の位置情報を推定し、選択したカメラの画角に合わせて音源に立体音響効果を付加し再生することで、ユーザに臨場感のある音を聞かせることができる。

野中 他、"複数の映像・音・センサ情報を利用するオフィスコミュニケーションシステム"、ヒューマンインタフェース学会研究報告集 Ｖｏｌ．１３Ｎｏ．１０、２０１１ 丹羽 他、"受聴位置選択型音場再現のためのブラインド音源分離を用いた多マイクロホンアレー信号の符号化"、電子情報通信学会技術研究報告、ＥＡ、応用音響１０７（５３２）、２００８

しかしながら、非特許文献１及び非特許文献２に記載されているシステムを用いても、ユーザに遠隔地の様々な場所の現在の状況を臨場感豊かに体感させるには不十分な点がある。

非特許文献１に記載のシステムを用いれば、ユーザは、遠隔地にあるオフィス内をリアルタイムにあらゆる方向から見ることができ、またその場所の音も聞くことができる。しかしながら、音に関しては、単純にマイクロホンによって収音されたものをそのまま再生するだけであるので、周囲に存在する全ての音（音声や音響）が混ざってしまい、しかも方向感もないため臨場感に欠ける。

また、非特許文献２に記載のシステムを用いれば、分離した音源を立体音響処理し再生することにより、臨場感のある遠隔地の音をユーザに聞かせることができる。しかしながら、音源を分離するために、ＩＣＡや仮想音源成分の推定、更に位置情報の推定など多くの計算を必要とするため、実時間で収音と再生処理を同時に行うことは難しい。また、実際に存在する音源数、仮想音源数、グルーピング数の設定により出力が変わるため、あらゆる状況下で安定した性能を得ることは難しい。

そのため、遠隔地の様々な場所の現在の状況を臨場感豊かに体感させることができる収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システムが求められている。

かかる課題を解決するために、第１の本発明に係る収音再生システムは、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生システムであって、（１）空間内の各エリアの収音に必要なマイクロホンアレイを選択するマイクロホンアレイ選択部と、（２）マイクロホンアレイ選択部により選択されたエリア毎のマイクロホンアレイを用いて、全エリアを収音するエリア収音部と、（３）エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、（４）エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節するエリア音量調節部と、（５）エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部とを備えることを特徴とする。

第２の本発明に係る収音再生装置は、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生装置であって、（１）空間内の各エリアの収音に必要なマイクロホンアレイを選択するマイクロホンアレイ選択部と、（２）マイクロホンアレイ選択部により選択されたエリア毎のマイクロホンアレイを用いて、全エリアを収音するエリア収音部と、（３）エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、（４）エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節するエリア音量調節部と、（５）エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部とを備えることを特徴とする。

第３の本発明に係る収音再生方法は、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生方法であって、（１）マイクロホンアレイ選択部が、空間内の各エリアの収音に必要なマイクロホンアレイを選択し、（２）エリア収音部が、マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音し、（３）エリア音選択部が、エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択し、（４）エリア音量調節部が、エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節し、（５）立体音響処理部が、エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行うことを特徴とする。

第４の本発明に係る収音再生プログラムは、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生プログラムであって、コンピュータを、（１）空間内の各エリアの収音に必要なマイクロホンアレイを選択するマイクロホンアレイ選択部と、（２）マイクロホンアレイ選択部により選択されたエリア毎のマイクロホンアレイを用いて、全エリアを収音するエリア収音部と、（３）エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、（４）エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節するエリア音量調節部と、（５）エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部として機能させることを特徴とする。

第５の本発明に係る収音システムは、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音する収音システムであって、（１）空間内の各エリアの収音に必要なマイクロホンアレイの組み合わせを選択するマイクロホンアレイ選択部と、（２）マイクロホンアレイ選択部により選択されたエリア毎のマイクロホンアレイの組み合わせを用いて、全エリアを収音するエリア収音部とを備えることを特徴とする。

第６の本発明に係る再生システムは、空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する再生システムであって、（１）全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、（２）エリア音選択部により選択された各エリア音の音量を指定聴取位置からの距離に応じて調節するエリア音量調節部と、（３）エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部とを備えることを特徴とする。

本発明によれば、ユーザに遠隔地の様々な場所の現在の状況を臨場感豊かに体感させることができる。

実施形態に係る収音再生装置の構成を示すブロック図である。 実施形態に係るエリア収音部の内部構成を示すブロック図である。 実施形態に係る遠隔地の空間を９個のエリアに分割して収音したエリア音をユーザの指定位置と音響再生環境に応じて選択、再生することを示した模式図である。 実施形態に係る２個の３チャンネル−マイクロホンアレイを用い、２個の収音エリアから収音する状況を説明する説明図である。

（Ａ）主たる実施形態
以下では、本発明に係る収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システムの実施形態を、図面を参照しながら詳細に説明する。

（Ａ−１）実施形態の技術的概念の説明
まず、本発明に係る実施形態の技術的概念を説明する。本願発明者は、遠隔地の空間を複数のエリアに分割し、遠隔地の空間に配置させたマイクロホンアレイを用いて、それぞれのエリア毎に収音する収音システムを提案している（参考文献１：特願２０１３−１７９８８６号明細書及び図面）。この実施形態に係る収音再生システムは、本願発明者が提案する収音手法を利用する。この収音手法は、マイクロホンアレイの配置を変えることにより収音するエリアの広さを変えることができるので、遠隔地の環境に合わせて遠隔地の空間を分割することができる。また、この収音手法は、分割した全てのエリアのエリア音を同時に収音することができる。

そこで、実施形態に係る収音再生システムは、遠隔地の空間における全てのエリアのエリア音を同時に収音し、ユーザにより選択された遠隔地の視聴位置及び方向に応じて、ユーザの音響再生環境に応じたエリア音を選択し、その選択したエリア音に立体音響処理を施して出力する。

（Ａ−２）実施形態の構成
図１は、実施形態に係る収音再生装置（収音再生システム）の構成を示すブロック図である。図１において、実施形態に係る収音再生装置１００は、マイクロホンアレイＭＡ１〜ＭＡｍ（ｍは整数）、データ入力部１、空間座標データ保持部２、マイクロホンアレイ選択部３、エリア収音部４、位置・方向情報取得部５、エリア音選択部６、エリア音量調節部７、立体音響処理部８、スピーカ出力部９、伝達関数データ保持部１０、スピーカアレイＳＡ１〜ＳＡｎ（ｎは整数）を有する。

実施形態に係る収音再生システム１００は、マイクロホンアレイＭＡ１〜ＭＡｍ及びスピーカアレイＳＡ１〜ＳＡｎを除く図１に示す部分は、ハードウェア的に各種回路を接続して構築されても良く、またＣＰＵ、ＲＯＭ、ＲＡＭ等を有する汎用的な装置若しくはユニットが所定のプログラムを実行することで該当する機能を実現するように構築されても良く、いずれの構築方法を採用した場合であっても、機能的には、図１で表すことができる。

また、収音再生装置１００は、遠隔地とユーザにより視聴される場所との間で情報を伝送可能な収音再生システムであっても良く、例えば、遠隔地に、マイクロホンアレイＭＡ１〜ＭＡｍによる音（音声、音響を含む）の収音部分が構築され、視聴場所に、エリア音を選択してユーザ側の音響再生環境に合わせて音を再生する部分が構築されるようにしても良い。その場合、遠隔地とユーザ側の視聴場所とは、遠隔地とユーザ側の視聴場所との間で情報伝送を行なうための通信部（図示しない）を備えるようにしても良い。

マイクロホンアレイＭＡ１〜ＭＡｍは、遠隔地の空間を複数に分割した全てのエリアに存在する音源からの音（音声、音響を含む）を収音できるように配置されている。マイクロホンアレイＭＡ１〜ＭＡｍはそれぞれ、１つのマイクロホンアレイが２個以上のマイクロホンから構成されており、各マイクロホンにより捕捉された音響信号を収音する。各マイクロホンアレイＭＡ１〜ＭＡｍはデータ入力部１に接続しており、マイクロホンアレイＭＡ１〜ＭＡｍのそれぞれは、収音した音響信号をデータ入力部１に与える。

データ入力部１は、マイクロホンアレイＭＡ１〜ＭＡｍからの音響信号をアナログ信号からデジタル信号に変換して、マイクロホンアレイ選択部３に出力する。

空間座標データ保持部２は、エリア（の中心）の位置情報や、各マイクロホンアレイＭＡ１〜ＭＡｍの位置情報や、各マイクロホンアレイＭＡ１〜ＭＡｍを構成するマイクロホンの距離情報等を保持しているものである。

マイクロホンアレイ選択部３は、各エリアを収音するために使用するマイクロホンアレイＭＡ１〜ＭＡｍの組み合わせを、空間座標データ保持部２に保持されるエリアの位置情報とマイクロホンアレイＭＡ１〜ＭＡｍの位置情報に基づいて決定するものである。また、マイクロホンアレイ選択部３は、マイクロホンアレイＭＡ１〜ＭＡｍが３個以上のマイクロホンから構成される場合、指向性を形成するために必要なマイクロホンを選択する。

ここで、マイクロホンアレイ選択部３による各マイクロホンアレイの指向性を形成するマイクロホンの選択方法の一例を説明する。図４は、実施形態に係るマイクロホンアレイ選択部３による指向性を形成するマイクロホンの選択方法の一例を説明する。

例えば、図４に示すマイクロホンアレイＭＡ１は、同一平面上に、３個の全指向性マイクロホンであるマイクロホンＭ１、Ｍ２、Ｍ３を有している。マイクロホンＭ１、Ｍ２、Ｍ３は直角三角形の頂点に配置されている。マイクロホンＭ１とＭ２との間の距離、マイクロホンＭ２とＭ３との間の距離は同じであるとする。また、マイクロホンアレイＭＡ２も、マイクロホンアレイＭＡ１と同様の構成をしており、３個のマイクロホンＭ４、Ｍ５、Ｍ６を有している。

例えば、図４において、収音エリアＡに存在する音源からの音を収音するために、マイクロホンアレイ選択部３は、マイクロホンアレイＭＡ１のマイクロホンＭ２とＭ３、マイクロホンアレイＭＡ２のマイクロホンＭ５とＭ６を選択する。これにより、マイクロホンアレイＭＡ１の指向性と、マイクロホンアレイＭＡ２の指向性とを、収音エリアＡ方向に形成することができる。また、収音エリアＢに存在する音源からの音を収音する際は、マイクロホンアレイ選択部３は、各マイクロホンアレイＭＡ１とＭＡ２のマイクロホンの組み合わせを変えて、マイクロホンアレイＭＡ１のマイクロホンＭ１とＭ２、マイクロホンアレイＭＡ２のマイクロホンＭ４とＭ５を選択する。これにより、マイクロホンアレイＭＡ１及びＭＡ２のそれぞれの指向性を、収音エリアＢ方向に形成することができる。

エリア収音部４は、マイクロホンアレイ選択部３により選択されたマイクロホンアレイの組み合わせ毎に、全エリアのエリア音を収音するものである。

図２は、この実施形態に係るエリア収音部４の内部構成を示すブロック図である。図２に示すように、エリア収音部４は、指向性形成部４１、遅延補正部４２、エリア音パワー補正係数算出部４３、エリア音抽出部４４を有する。

指向性形成部４１は、各マイクロホンアレイＭＡ１〜ＭＡｍでビームフォーマ（以下、ＢＦとも呼ぶ。）により収音エリア方向に向けて指向性ビームを形成するものである。ここで、ビームフォーマ（ＢＦ）は、加算型の遅延和法、減算型のスペクトル減算法（以下、ＳＳとも呼ぶ。）等の各種手法を用いることができる。また、指向性形成部４１は、ターゲットとする収音エリアの範囲に応じて、指向性の強度を変更する。

遅延補正部４２は、全てのエリアのそれぞれと、各エリアの収音に使用される全マイクロホンアレイとの距離の違いにより発生する伝搬遅延時間を算出し、前記全マイクロホンアレイの伝搬遅延時間を補正するものである。具体的には、遅延補正部４２は、空間座標データ保持部２からエリアの位置情報と、当該エリアの収音に使用される全マイクロホンアレイＭＡ１〜ＭＡｍの位置情報を取得し、当該エリアから、当該エリアの収音に使用される全マイクロホンアレイＭＡ１〜ＭＡｍへのエリア音の到達時間の差（伝搬遅延時間）を算出する。そして、遅延補正部４２は、当該エリアから最も遠い位置に配置されたマイクロホンアレイを基準として、全てのマイクロホンアレイにエリア音が同時に到達するように、全てのマイクロホンアレイからのビームフォーマ後の出力信号に伝搬遅延時間を加えて遅延を補正する。また、遅延補正部４２は、全てのエリアについて、それぞれのエリアの収音に使用される全マイクロホンアレイからのビームフォーマ出力信号に対して遅延補正を行う。

エリア音パワー補正係数算出部４３は、全てのエリアのそれぞれの収音に使用される各マイクロホンアレイからの各ビームフォーマ出力信号に含まれるエリア音のパワーをそれぞれ同じにするためのパワー補正係数を算出するものである。ここで、パワー補正係数を求めるために、例えば、エリア音パワー補正係数算出部４３は、各ビームフォーマ出力信号の間で周波数毎の振幅スペクトルの比率を算出する。次に、エリア音パワー補正係数算出部４３は、求めた各周波数の振幅スペクトルの比率から最頻値若しくは中央値を算出し、その値をパワー補正係数とする。

エリア音抽出部４４は、全てのエリアについて、エリア音パワー補正係数算出部４３により補正されたパワー補正係数で補正した各ビームフォーマ出力データをスペクトル減算して、収音エリア方向に存在する雑音を抽出する。さらに、エリア音抽出部４４は、抽出した雑音を各ビームフォーマ出力からスペクトル減算することにより、エリア音を抽出する。エリア音抽出部４４により抽出された各エリアのエリア音は、エリア収音部４の出力としてエリア音選択部６に出力される。

位置・方向情報取得部５は、空間座標データ保持部２を参照して、ユーザにより希望される位置（指定聴取位置）及び方向（聴取方向）を取得するものである。例えば、ユーザの視聴場所で映し出される遠隔地の映像に基づき、ユーザがＧＵＩ等を用いて目的エリアを指定したり又は目的エリアを切り替えたりする場合、そのユーザ指定に従って、指定された位置を映すカメラに切り替えられる。この場合、位置・方向情報取得部５は、指定されたエリアの位置を目的エリアの位置とし、カメラの位置から目的エリアを映し出す方向を取得する。

エリア音選択部６は、位置・方向情報取得部５により取得された位置情報及び方向情報に基づいて、音響再生に使用するエリア音を選択する。ここで、エリア音選択部６は、まずユーザにより指定された位置に最も近いエリア音を基準（すなわち中心音源）に設定する。エリア音選択部６は、方向情報に従って、中心音源を含む目的エリアの前後左右の各エリアのエリア音、更に前記目的エリアの斜め方向（斜め右前、斜め左前、斜め右後、斜め左後）に位置する各エリアのエリア音を音源として設定する。また、エリア音選択部６は、ユーザ側の音響再生環境に応じて、音響再生に使用するエリア音を選択する。

エリア音量調節部７は、ユーザにより指定される位置（目的エリアの中心位置）及び方向情報に従って、目的エリアの中心位置からの距離に応じて、エリア音選択部６により選択されたエリア音の音量を調整する。音量の調整方法は、目的エリアの中心位置から距離が大きくなるエリアほど、エリア音の音量を小さくしたり、又は、中心音源である目的エリアのエリア音の音量を一番大きくし、その周囲のエリアのエリア音の音量を小さくしたりしても良い。より具体的には、例えば、目的エリアのエリア音の音量に対して周囲のエリアのエリア音の音量が小さくなるように、周囲のエリアのエリア音の音量に所定値ａ（０＜ａ＜１）を乗算して調節しても良いし、また例えば、周囲のエリアのエリア音の音量について所定値だけ減算しても良い。

立体音響処理部８は、ユーザの環境に応じて、各エリア音を立体音響処理する。立体音響処理部８は、ユーザ側の音響再生環境に応じて、適宜、各種立体音響処理を施すことができる。すなわち、立体音響処理部８が施す立体音響処理は、特に限定されるものではない。

例えば、ユーザがヘッドホン及びイヤホンを使用する場合、立体音響処理部８は、エリア音選択部６により選択されたエリア音に、伝達関数データ保持部１０により保持されている視聴位置からの各方向に対応する頭部伝達関数（ＨＲＴＦ）を畳み込み、バイノーラル音源を作成する。また例えば、ステレオスピーカを使用する場合、立体音響処理部８は、伝達関数データ保持部１０により保持されているユーザとスピーカ間の室内伝達関数を用い設計したクロストークキャンセラにより、バイノーラル音源をトランスオーラル音源に変換する。更に３つ以上のスピーカを使用する場合、立体音響処理部８は、スピーカの位置がエリア音の位置と同じであるなら処理はしないか、もしくはトランスオーラル音源と組み合わせ、スピーカと同じ数の新たな音源を作成する。

スピーカ出力部９は、立体音響処理部８において立体音響処理が施された音源データをそれぞれ対応したスピーカに出力する。

伝達関数データ保持部１０は、立体音響処理を施すために必要なユーザ側の伝達関数を保持するものである。伝達関数データ保持部１０は、例えば、各方向に対応する頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ−Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、ユーザとスピーカとの間の室内伝達関数等を保持する。また、伝達関数データ保持部１０は、例えば室内の環境変化に応じて室内伝達関数のデータを学習したものを保持できるようにしても良い。

スピーカアレイＳＡ１〜ＳＡｎは、ユーザ側の音響再生系であるスピーカである。スピーカアレイＳＡ１〜ＳＡｎは、立体音響再生を可能とするものであり、例えば、イヤホン、ステレオスピーカ、３台以上のスピーカ等とすることができる。この実施形態では、立体音響を再生するために、スピーカアレイＳＡ１〜ＳＡｎが、例えば、２個以上のスピーカからなり、ユーザの前方、又はユーザを取り囲むように配置される場合を例示する。

（Ａ−３）実施形態の動作
次に、実施形態に係る収音再生装置１００の動作を、図面を参照しながら詳細に説明する。

ここでは、ユーザが遠隔地の空間の映像や音声を視聴する遠隔システムに本発明を適用する場合を例示する。遠隔地の空間は複数に分割（この実施形態では、例えば９分割した場合を例示する。）され、複数に分割された各エリアの映像や各エリアに存在する音源を収音可能なように、複数のカメラと複数のマイクロホンアレイＭＡ１〜ＭＡｍが配置されているものとする。

マイクロホンアレイＭＡ１〜ＭＡｍは、遠隔地の空間を複数に分割した複数の全てのエリアを収音できるように配置されている。１個のマイクロホンアレイは、２個以上のマイクロホンから構成され、各マイクロホンにより音響信号を収音する。

各マイクロホンアレイＭＡ１〜ＭＡｍを構成する各マイクロホンにより収音された音響信号は、データ入力部１に与えられる。データ入力部１では、各マイクロホンアレイＭＡ１〜ＭＡｍの各マイクロホンからの音響信号が、アナログ信号からデジタル信号に変換される。

マイクロホンアレイ選択部３では、空間座標データ保持部２に保持されている各マイクロホンアレイＭＡ１〜ＭＡｍの位置情報と、各エリアの位置情報とが取得され、各エリアを収音するために使用するマイクロホンアレイの組み合わせが決定される。さらに、マイクロホンアレイ選択部３では、各エリアを収音するために使用するマイクロホンアレイの組み合わせの選択と共に、各エリア方向へ指向性を形成するために必要なマイクロホンが選択される。

エリア収音部４では、マイクロホンアレイ選択部３によって選択された各エリアを収音するために使用するマイクロホンアレイＭＡ１〜ＭＡｍの組み合わせ毎に、全てのエリアを収音する。

マイクロホンアレイ選択部３によって選択された各エリアを収音するためのマイクロホンアレイの組み合わせと、各エリア方向に指向性を形成するためのマイクロホンに関する情報が、エリア収音部４の指向性形成部４１に与えられる。

指向性形成部４１では、各エリア方向に指向性を形成するための各マイクロホンアレイＭＡ１〜ＭＡｍのマイクロホンの位置情報（距離）を空間座標データ保持部２から取得する。そして、指向性形成部４１は、各マイクロホンアレイＭＡ１〜ＭＡｍのマイクロホンからの出力（デジタル信号）に対するビームフォーマ（ＢＦ）により、全てのエリアのそれぞれについて、収音エリア方向に向けた指向性ビームを形成する。つまり、指向性形成部４１は、遠隔地の全てエリアの各エリアを収音するために使用するマイクロホンアレイＭＡ１〜ＭＡｍの組み合わせ毎に、指向性ビームを形成する。

また、指向性形成部４１は、ターゲットとする収音エリアの範囲に応じて、指向性の強度を変更するようにしても良い。例えば、指向性形成部４１は、ターゲットとする収音エリアの範囲が所定値よりも広いときには指向性の強度を緩くなるようにしても良く、又逆に収音エリアの範囲が所定値よりも狭いときには指向性の強度を強くするようにしても良い。

指向性形成部４１による各エリアへの指向性ビームの形成方法は、種々の方法を広く適用することができる。例えば、指向性形成部４１は、参考文献１（特願２０１３−１７９８８６号明細書及び図面）に記載される方法を適用することができる。例えば、マイクロホンアレイＭＡ１〜ＭＡｍを構成する、同一平面上の直角三角形の頂点に配置された３個の全指向性マイクロホンからの出力を用いて雑音を抽出し、その雑音を入力信号からスペクトル減算することにより、目的方向にのみ鋭い指向性ビームを形成するようにしても良い。

遅延補正部４２では、空間座標データ保持部２から各マイクロホンアレイＭＡ１〜ＭＡｍの位置情報と、各エリアの位置情報とを取得し、各マイクロホンアレイＭＡ１〜ＭＡｍに到達するエリア音の到達時間の差（伝搬遅延時間）を算出する。そして、収音エリアの位置情報から最も遠い位置に配置されているマイクロホンアレイＭＡ１〜ＭＡｍを基準として、全てのマイクロホンアレイＭＡ１〜ＭＡｍにエリア音が同時に到達するように、指向性形成部４１からの各マイクロホンアレイからのビームフォーマ出力信号に伝搬遅延時間が加えられる。

エリア音パワー補正係数算出部４３では、各ビームフォーマ出力信号に含まれるエリア音のパワーをそれぞれ同じにするためのパワー補正係数を算出する。

まず、エリア音パワー補正係数算出部４３は、パワー補正係数を求めるために、各ビームフォーマ出力信号間で周波数毎に振幅スペクトルの比率を求める。このとき、指向性形成部４１において、ビームフォーマを時間領域で行なっている場合は、エリア音パワー補正係数算出部４３は周波数領域に変換する。

次に、エリア音パワー補正係数算出部４３は、（１）式に従って、求めた周波数毎の振幅スペクトルの比率から最頻値を算出し、その値をエリア音パワー補正係数とする。また別の方法として、エリア音パワー補正係数算出部４３は、（２）式に従って、求めた周波数毎の振幅スペクトルの比率から中央値を算出し、エリア音パワー補正係数としても良い。

ここで、Ｘ_ik（ｎ）、Ｘ_jk（ｎ）は、マイクロホンアレイ選択部３によって選択されたマイクロホンアレイｉ、ｊのビームフォーマの出力データ、ｋは周波数、Ｎは周波数ビンの総数、α_ij（ｎ）は、ビームフォーマ出力データに対するパワー補正係数である。

エリア音抽出部４４では、エリア音パワー補正係数算出部４３により算出されたパワー補正係数を用いて各ビームフォーマ出力信号を補正する。そして、補正後の各ビームフォーマ出力データをスペクトル減算して、収音エリア方向に存在する雑音を抽出する。さらに、エリア音抽出部４４は、抽出した雑音を各ビームフォーマ出力データからスペクトル減算して目的エリアのエリア音を抽出する。

マイクロホンアレイｉからみた収音エリア方向に存在する雑音Ｎ_ij（ｎ）を抽出するには、（３）式に示すように、マイクロホンアレイｉのビームフォーマ出力Ｘ_i（ｎ）からマイクロホンアレイｊのビームフォーマ出力Ｘ_j（ｎ）にパワー補正係数α_ijを掛けたものをスペクトル減算する。その後、（４）式に従い、各ビームフォーマ出力から雑音をスペクトル減算することによりエリア音を抽出する。γ_ij（ｎ）はスペクトル減算時の強度を変更するための係数である。

式（３）では、エリア音抽出部４４がマイクロホンアレイｉから見た収音エリア方向に存在する雑音成分Ｎ_ij（ｎ）を抽出する式である。エリア音抽出部４４は、マイクロホンアレイｉのビームフォーマ出力データＸ_i（ｎ）から、マイクロホンアレイｊのビームフォーマ出力データＸ_j（ｎ）にパワー補正係数α_ij（ｎ）を掛けたものをスペクトル減算している。つまり、ターゲットとする目的エリアから収音するために選択されたマイクロホンアレイｉのビームフォーマ出力Ｘi（ｎ）とマイクロホンアレイｊのビームフォーマ出力Ｘj（ｎ）とのパワー補正がなされた上で、ビームフォーマ出力Ｘi（ｎ）とビームフォーマ出力Ｘj（ｎ）とを減算することで、雑音成分を求めることを意図している。

式（４）では、求めた雑音成分Ｎ_ij（ｎ）を用いて、エリア音抽出部４４がエリア音を抽出する式である。エリア音抽出部４４は、求めた雑音成分Ｎ_ij（ｎ）にスペクトル減算時の強度変更のための係数γ_ij（ｎ）を掛けたものを、マイクロホンアレイｉのビームフォーマ出力データＸ_i（ｎ）からスペクトル減算している。つまり、マイクロホンアレイｉのビームフォーマＸ_i（ｎ）から、式（３）により求めた雑音成分を減算することにより目的エリアのエリア音を求めることを意図している。なお、（４）式では、マイクロホンアレイｉから見たエリア音を求めているが、マイクロホンアレイｊから見たエリア音を求めるようにしても良い。

位置・方向情報取得部５では、空間座標データ保持部２を参照して、ユーザにより希望される目的エリアの位置及び方向を取得するものである。例えば、ユーザが現在見ている映像のカメラ位置やカメラがフォーカスしている位置などから、位置・方向情報取得部５は、空間座標データ保持部２を参照し、ユーザが視聴したい目的エリアの位置と方向を取得する。この場合の位置と方向は、ユーザが例えば遠隔システムのＧＵＩなどを通じて取得できるようにしても良い。

エリア音選択部６では、位置・方向情報取得部５により取得された目的エリアの位置情報及び方向情報を用いて、音響再生環境に応じて、再生に使用するエリア音を選択する。

まず、エリア音選択部６は、例えばユーザの視聴位置に最も近いエリアのエリア音を中心音源とする。例えば、図３（Ａ）の「エリアＥ」を視聴位置とすると、「エリアＥ」のエリア音を中心音源とする。

エリア音選択部６は、カメラが映し出す方向（例えば図３の例では、エリアＢからエリアＥの方向）と同じ方向から、中心音源のエリアの前後左右のエリアのエリア音、すなわち「エリアＨ」のエリア音を「前方音源」、「エリアＢ」のエリア音を「後方音源」、「エリアＦ」のエリア音を「左方音源」、「エリアＤ」のエリア音を「右方音源」とする。さらに、エリア音選択部６は、エリア収音に係る方向情報に従って、「エリアＩ」のエリア音を「斜め左前方の音源」、「エリアＧ」のエリア音を「斜め右前方の音源」、「エリアＣ」のエリア音を「斜め左後方の音源」、「エリアＡ」のエリア音を「斜め右後方の音源」を設定するようにしても良い。

次に、エリア音選択部６は、ユーザ側の音響再生環境に応じて、再生に使用するエリア音を選択する。つまり、ユーザ側がヘッドホンやイヤホン等で立体音響を再生するか又はステレオスピーカで立体音響を再生するか、更にステレオスピーカで再生するときには、いくつのスピーカで再生するか等の音響際せ環境に応じて、再生に使用するエリア音を選択する。ここで、ユーザ側の音響再生環境に関する情報を予め設定しておき、エリア音選択部６が設定されている音響再生環境に応じてエリア音を選択する。さらに、音響再生環境に関する情報が設定変更された場合も、その変更後の音響再生環境の情報に基づいて、エリア音選択部６はエリア音を選択するようにしても良い。

エリア音量調節部７では、視聴位置（目的エリアの位置）からの距離に応じて各エリア音の音量を調節する。音量は視聴位置から遠いエリアほど小さくする。もしくは中心のエリア音を一番大きくし、周囲のエリア音を小さくしても良い。

立体音響処理部８では、ユーザ側の音響再生環境に応じて、伝達関数データ保持部１０に保持されている伝達関数データを取得し、その伝達関数データを用いてエリア音の立体音響処理を施して出力する。

そして、スピーカ出力部９では、立体音響処理部８により立体音響処理が施された音源データをそれぞれ対応したスピーカアレイＳＡ１〜ＳＡｎに出力する。

以下では、実施形態に係る収音再生システム１００により遠隔地のエリア音の選択及び立体音響処理を施した再生処理の様子を説明する。

図３（Ａ）は、遠隔地の空間を９個に分割したものを真上から見た図である。遠隔地の空間には、エリアＡ〜エリアＩを映し出す複数のカメラと、エリアＡ〜エリアＩの各エリア音を収音できるように複数のマイクロホンアレイＭＡ１〜ＭＡｍとが配置されているものとする。

例えば、図３（Ａ）の複数のエリアのうち、ユーザにより視聴位置としてエリアＥが選択され、カメラがエリアＢからエリアＥに向けた方向でエリアＥを映している場合、エリア音選択部６は、視聴位置であるエリアＥに存在する音（エリア音Ｅ）を中心の音源（中心音源）とし、エリア音Ｈを「前方音源」、エリア音Ｂを「後方音源」、エリア音Ｄを「右側音源」、エリア音Ｆを「左側音源」とする。

その後、立体音響処理部８は、ユーザの音響再生環境に合わせて、再生に使用するエリア音を選択し、選択したエリア音に立体音響処理を施して出力する。

例えば、ユーザの音響再生環境が２ｃｈの再生系である場合、エリア音選択部６は、中心音源としてエリア音Ｅ、右方音源としてエリア音Ｄ、左方音源としてエリア音Ｆ、前方音源としてエリアＨを選択する。また、視聴位置であるエリアＥの中心から離れるほどエリア音の音量が徐々に小さくなるように制御する。この場合、例えば視聴位置であるエリアＥよりも遠くに位置するエリア音Ｈの音量を弱く調整する。また、収音再生システムは、再生に使用するエリア音として選択した音源に、それぞれの方向に対応する頭部伝達関数（ＨＲＴＦ）を畳み込みバイノーラル音源を作成する。

より具体的には、ユーザの音響再生環境がヘッドホンやイヤホン等の再生系である場合、収音再生システムにより作成されたバイノーラル音源をそのまま出力する。しかし、図３（Ｂ）のようにステレオスピーカ５１及び５２等の再生系の場合、そのままバイノーラル音源を再生すると立体音響の性能が劣化する。例えば、図３（Ｂ）の左側のスピーカ（ユーザから見たときには右側に位置するスピーカ）５１が、右耳用のバイノーラル音源を再生すると、スピーカ５１が出力した右耳用のバイノーラル音源がユーザの左耳にも聞こえてしまうクロストークにより立体音響の性能が劣化する。そこで、この実施形態に係る収音再生システム１００は、予めユーザと各スピーカ５１、５２との間の室内伝達関数を測定しておき、この室内伝達関数値を元にクロストークキャンセラを設計する。バイノーラル音源にクロストークキャンセラを適用し、トランスオーラル音源に変換した後、再生することでバイノーラル再生と同じ立体音響効果を得ることができる。

また例えば、音響再生環境が３ｃｈ以上の再生系の場合（例えば３ｃｈ以上のスピーカを使用する場合）は、スピーカの配置に合わせて、再生に使用するエリア音に対して立体音響処理を施して再生する。さらに例えば、音響再生環境が４ｃｈの再生系の場合（例えば、ユーザの前後左右に１台ずつ計４個のスピーカを配置する場合）、エリア音Ｅは全てのスピーカから同時に再生されるようにし、前後左右のエリア音Ｈ、Ｂ、Ｄ、Ｆは、それぞれの方向に対応したスピーカから再生されるようにする。さらに、エリア音Ｅに対して斜め前に存在するエリア音Ｉとエリア音Ｇ、エリア音Ｅに対して斜め後ろに存在するエリア音Ｃとエリア音Ａは、トランスオーラル音源に変換して再生するようにしても良い。これにより、例えばエリア音Ｉはユーザの前方と左側に位置するスピーカから再生されるため、前方のスピーカと左側のスピーカとの間からエリア音Ｉが聞こえるようになる。

上記のように、この実施形態に係る収音再生システム１００は、エリア毎に収音するため、遠隔地の空間に存在する音源の総数は問題とならない。また、予め収音エリアの位置関係は決まっているため、ユーザの視聴位置に応じて容易にエリアの方向を変えることができる。さらに、本願発明者が提案する参考文献１に記載されているエリア収音の手法は演算量が少なく、立体音響処理を追加してもシステムを実時間動作させることが可能である。

（Ａ−３）実施形態の効果
以上のように、実施形態によれば、遠隔地の空間を複数のエリアに分割し、エリア毎に収音し、ユーザによる指定位置に応じて、各エリア音に立体音響処理を行った後、音響を再生し、更にこれらの処理を実時間動作させることにより、遠隔地の様々な場所の現在の状況を臨場感豊かに体感させることができる。

（Ｂ）他の実施形態
上述した実施形態においても種々の変形実施形態を言及したが、本発明は以下の変形実施形態にも適用可能である。

上述した実施形態では、遠隔地の空間に複数のカメラ及び複数のマイクロホンアレイを配置させて、カメラ映像と連携させて立体音響を再生する遠隔システムに本発明を例示する場合を説明したが、カメラ映像と連携させずに遠隔地の立体音響を再生するシステムに適用可能である。

上述した実施形態では、各エリアを収音するマイクロホンアレイが直角二等辺三角形の頂点にマイクホンが配置されているものを用いる場合を例示したが、正三角形の頂点にマイクロホンが配置されているものであっても良い。その場合のエリア収音の手法は、参考文献１に記載されている手法を用いてエリア収音することができる。

上述した実施形態に係る収音再生システムは、遠隔地側に設けられる収音システム（収音装置）と、ユーザ側に設けられる再生システム（再生装置）とに区別し、収音システムと再生システムとを通信回線で接続させて実現するようにしても良い。その場合、収音システムは、図１に例示するマイクロホンアレイＭＡ１〜ＭＡｍ、データ入力部１、空間座標データ保持部２、マイクロホンアレイ選択部３、エリア収音部４を含むものとすることができる。また、再生システムは、図１に例示する位置・方向情報取得部５、エリア音選択部６、エリア音量調節部７、立体音響処理部８、伝達関数データ保持部１０を含むものとすることができる。

１００…収音再生装置（収音再生システム）、１…データ入力部、２…空間座標データ保持部、３…マイクロホンアレイ選択部、４…エリア収音部、５…位置・方向情報取得部、６…エリア音選択部、７…エリア音量調節部、８…立体音響処理部、９…スピーカ出力部、１０…伝達関数データ保持部、ＭＡ１〜ＭＡｍ…マイクロホンアレイ、ＳＡ１〜ＳＡｎ…スピーカアレイ、４１…指向性形成部、４２…遅延補正部、４３…エリア音パワー補正係数算出部、４４…エリア音抽出部。

Claims (7)

1. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生システムであって、
   空間内の各エリアの収音に必要な上記マイクロホンアレイを選択するマイクロホンアレイ選択部と、
   上記マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音するエリア収音部と、
   上記エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、
   上記エリア音選択部により選択された各エリア音の音量を上記指定聴取位置からの距離に応じて調節するエリア音量調節部と、
   上記エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部と
   を備えることを特徴とする収音再生システム。
2. 上記エリア収音部が、
   上記各マイクロホンアレイの出力信号をビームフォーマによって収音エリア方向へ指向性を形成する指向性形成部と、
   上記各マイクロホンアレイのビームフォーマ後の出力信号において、各エリアからのエリア音が、当該エリアの収音に用いられる全てのマイクロホンアレイに同時に到着するように伝搬遅延量を補正する遅延補正部と、
   上記各マイクロホンアレイのビームフォーマ出力信号間で周波数毎に振幅スペクトルの比率を算出し、比率の頻度に基づく補正係数を算出するエリア音パワー補正係数算出部と、
   上記エリア音パワー補正係数算出部により算出された上記補正係数を用いて補正された上記各マイクロホンアレイのビームフォーマ出力信号をスペクトル減算して収音エリア方向に存在する雑音を抽出し、その抽出した雑音を各マイクロホンアレイのビームフォーマ出力信号からスペクトル減算することによりエリア音を抽出するエリア音抽出部と
   を備えることを特徴とする請求項１に記載の収音再生システム。
3. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生装置であって、
   空間内の各エリアの収音に必要な上記マイクロホンアレイを選択するマイクロホンアレイ選択部と、
   上記マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音するエリア収音部と、
   上記エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、
   上記エリア音選択部により選択された各エリア音の音量を上記指定聴取位置からの距離に応じて調節するエリア音量調節部と、
   上記エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部と
   を備えることを特徴とする収音再生装置。
4. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生方法であって、
   マイクロホンアレイ選択部が、空間内の各エリアの収音に必要な上記マイクロホンアレイを選択し、
   エリア収音部が、上記マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音し、
   エリア音選択部が、上記エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択し、
   エリア音量調節部が、上記エリア音選択部により選択された各エリア音の音量を上記指定聴取位置からの距離に応じて調節し、
   立体音響処理部が、上記エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う
   ことを特徴とする収音再生方法。
5. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生プログラムであって、
   コンピュータを、
   空間内の各エリアの収音に必要な上記マイクロホンアレイを選択するマイクロホンアレイ選択部と、
   上記マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイを用いて、全エリアを収音するエリア収音部と、
   上記エリア収音部により収音された全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、
   上記エリア音選択部により選択された各エリア音の音量を上記指定聴取位置からの距離に応じて調節するエリア音量調節部と、
   上記エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部と
   して機能させることを特徴とする収音再生プログラム。
6. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音する収音システムであって、
   空間内の各エリアの収音に必要な上記マイクロホンアレイの組み合わせを選択するマイクロホンアレイ選択部と、
   上記マイクロホンアレイ選択部により選択されたエリア毎の上記マイクロホンアレイの組み合わせを用いて、全エリアを収音するエリア収音部と
   を備えることを特徴とする収音システム。
7. 空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する再生システムであって、
   上記全エリアのエリア音のうち、指定聴取位置に対応するエリアのエリア音と、聴取方向に応じた当該エリアの周囲エリアのエリア音とを、音響再生環境に応じて選択するエリア音選択部と、
   上記エリア音選択部により選択された各エリア音の音量を上記指定聴取位置からの距離に応じて調節するエリア音量調節部と、
   上記エリア音量調節部により音量調節された各エリア音に、音響再生環境に応じた伝達関数を用いて立体音響処理を行う立体音響処理部と
   を備えることを特徴とする再生システム。

Images