JP6742216B2 - 音響処理システム、音響処理方法、プログラム - Google Patents

Description

本発明は音響システム及びその制御方法、信号生成装置、コンピュータプログラムに関する。

空間を複数のエリアに分割してエリアごとの音声を取得することが知られている（特許文献１）。

特開２０１４−７２７０８号公報

しかしながら、複数のエリアに分割した音声をリアルタイム処理し、放送しようとすると、処理や伝送が間に合わずデータが欠損し、音声が途切れてしまう可能性があった。

本発明は上記課題に鑑みなされたものであり、空間を分割した複数のエリアから音声を取得して再生用信号を生成する構成において、処理を効率化する技術を提供することを目的とする。

上記目的を達成するため、本発明による音響システムは以下の構成を備える。即ち、
制御装置と複数の信号処理装置とを有する音響処理システムであって、
前記複数の信号処理装置は、
仮想聴取点の位置に応じた再生用音響信号の生成に用いられる複数のエリア音響信号であって、収音領域内の複数の部分エリアにそれぞれ対応する複数のエリア音響信号を、１以上のマイクにより前記収音領域の音を収音することで得られる１以上の収音信号に基づいて生成し、
前記制御装置は、
前記仮想聴取点の位置を示す聴取点情報を取得する情報取得手段と、
前記複数のエリア音響信号を生成する処理の前記複数の信号処理装置への割り当てを、前記情報取得手段により取得された前記聴取点情報に基づいて決定する決定手段と、を有する。

本発明によれば、空間を分割した複数のエリアから音声を取得して再生用信号を生成する構成において、処理を効率化する技術を提供することができる。

音響システムの構成を示すブロック図。 収音処理部の構成を示すブロック図。 再生信号生成部の構成を示すブロック図。 担当空間制御の説明図。 再生信号生成部のハードウェア構成例を示すブロック図。 音響システムの処理を示すフローチャート。 担当空間を設定するためのＵＩを示す図。 撮影システムの構成を示すブロック図。 撮影処理部の構成を示すブロック図。 再生信号生成部の構成を示すブロック図。 処理分担制御の説明図。 撮影システムの処理を示すフローチャート。 処理分担を示す表示の一例を示す図。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜実施形態１＞
本実施形態では、聴取点に基づき各マイクアレイに割り当てる担当空間を調整することで処理を平滑化し、リアルタイム処理を確実に行うことが可能な構成を説明する。

（音響システム）
図１は本発明の一実施形態（実施形態１）に係る音響システム１００の構成を示すブロック図である。音響システム１００は、複数の収音処理部１１０および再生信号生成部１２０を備える。複数の収音処理部１１０と再生信号生成部１２０は互いに有線もしくは無線の伝送経路を通じてデータの送受信を行うことができる。収音処理部１１０は、マイクアレイにより担当する空間エリアから音声を収集する装置である。再生信号生成部１２０は、各収音処理部１１０が担当する空間エリアを制御するとともに、各収音処理部１１０から音声を受信し、ミキシングを行って再生用信号を生成する装置である。

本実施形態の音響システム１００は複数の収音処理部１１０Ａ、１１０Ｂ、・・・を備えるところ、本明細書では、これらの収音処理部１１０Ａ、１１０Ｂ、・・・を総称して収音処理部１１０と表記する。また、収音処理部１１０の後述する構成要素の参照番号にＡ、Ｂ、・・・を付して、その構成要素がどの収音処理部１１０Ａ、１１０Ｂ、・・・に属するかを識別する。例えば、マイクアレイ１１１Ａは収音処理部１１０Ａの構成要素であり、音源分離部１１２Ｂは収音処理部１１０Ｂの構成要素である。なお、収音処理部１１０と再生信号生成部１２０との間の伝送経路はＬＡＮ等の専用の通信経路により実現されるが、インターネット等の公衆通信網を経由してもよい。

収音処理部１１０の収音可能な空間（空間的範囲）が別の収音処理部１１０の収音可能な空間と少なくとも一部が重複するように、複数の収音処理部は配置される。ここで収音可能な空間は、後述するマイクアレイの指向性や感度によって決まる。例えば、所定のＳ／Ｎ以上で音声が収音できる範囲を収音可能な空間とすることができる。

（収音処理部）
図２は収音処理部１１０の構成を示すブロック図である。収音処理部１１０は、マイクアレイ１１１、音源分離部１１２、信号処理部１１３、第１送受信部１１４、第１記憶部１１５、及び、音源分離エリア制御部１１６を備える。

マイクアレイ１１１は複数のマイクロホンからなる。マイクアレイ１１１は、その収音処理部１１０が担当する空間の音声をマイクロホンで収音する。マイクアレイ１１１を構成する各マイクロホンがそれぞれ収音するため、マイクアレイ１１１が収集する音声は、全体として、各マイクロホンが収集した複数の音声からなるマルチチャネルの信号となる。マイクアレイ１１１は、収音した信号をＡ／Ｄ変換（アナログ／デジタル変換）したのち、音源分離部１１２および第１記憶部１１５へ出力する。

音源分離部１１２はＣＰＵ（中央演算処理装置）などの処理装置を備える。音源分離部１１２は、収音処理部１１０が収音を担当する空間をＮ（Ｎ＞１）個のエリア（以下、「分割エリア」と称する）に分割した場合に、マイクアレイ１１１から入力された信号を各分割エリアにおける音声に分離する音源分離処理を行う。前述のように、マイクアレイ１１１から入力される信号は各マイクロホンが収集した複数の音声からなるマルチチャネルの信号である。そのため、マイクアレイ１１１を構成する各マイクロホンと集音したい分割エリアとの位置関係に基づき、マイクロホンが収集した音声信号に位相制御および重みづけをして加算することで、任意の分割エリアの音声を再現することができる。

分離処理は処理フレームごと、つまり所定の時間間隔ごとに行われる。例えば、所定の時間ごとにビームフォーミング処理を行う。音源分離の処理結果は信号処理部１１３および第１記憶部１１５へ出力される。ここで担当空間、分割数Ｎ、処理の順番は後述する音源分離エリア制御部１１６から入力される制御信号に基づいて設定される。設定された分割数Ｎが所定の数Ｍを超えた場合、予め設定された処理の順番に基づいて、所定の数Ｍを超えた分割エリアの分離処理は行わず、処理を行えなかったフレームの番号と分割エリアを未分離リストとして管理する。未分離リストに登録された音声は、分割数Ｎが所定の数Ｍより小さく設定されたフレームにおいて処理を行っていく。処理が行われた項目は未分離リストから削除する。このように、各分割エリアに優先順位を付与し、分割数Ｎが所定の数Ｍを超えたときは優先順位の低い分割エリアの処理を保留することで、処理のリアルタイム性を保障することができる。さらに、優先順位の高い分割エリアから順に処理を行うことで、重要な音声をリアルタイムに再現することができる。

信号処理部１１３は、例えばＣＰＵなどの処理装置からなる。信号処理部１１３は、時間、分割エリアごとの音声信号に対して、入力された音声信号の処理順序の制御信号に従って処理を行う。信号処理部１１３で行われる処理は、例えば分割エリアとその収音処理部１１０との距離による影響を補正するための遅延補正処理、ゲイン補正処理や、エコー除去などである。処理を行った信号は、第１送受信部１１４および第１記憶部１１５へ出力される。

第１送受信部１１４は入力された処理済みの分割エリアごとの音声信号を送信する。さらに第１送受信部１１４は、再生信号生成部１２０から担当空間の割当てを受信し、その割当てを音源分離エリア制御部１１６へ出力する。担当空間の割当てについては後で詳しく説明する。

第１記憶部１１５は入力された各段階での音声信号をすべて記録する。第１記憶部１１５は、例えばＨＤＤやＳＳＤ、メモリのような記憶装置により実現される。

音源分離エリア制御部１１６は入力される担当空間の割当ておよび聴取点などの情報に基づき、音源分離を行う分割エリア、そして処理順序などを制御する信号を出力する。

（再生信号生成部）
図３は再生信号生成部１２０の構成を示すブロック図である。再生信号生成部１２０は第２送受信部１２１、リアルタイム再生用信号生成部１２２、第２記憶部１２３、リプレイ再生用信号生成部１２４、及び、担当空間制御部１２５を備える。

第２送受信部１２１は、収音処理部１１０の第１送受信部１１４から出力された音声信号を受信し、リアルタイム再生用信号生成部１２２および第２記憶部１２３へ出力する。さらに第２送受信部１２１は、後述する担当空間制御部１２５から担当空間の割当てを受け取って、複数の収音処理部１１０へ出力する。

リアルタイム再生用信号生成部１２２では、分割エリアごとの音声を収音から所定の時間内にミキシングすることでリアルタイム再生用の信号を生成し出力する。例えば外部から時間に応じて変化する空間内の仮想聴取点と仮想の聴取者の向き（以下単に聴取点と聴取者の向きとする）と、再生環境の情報を取得し、音源のミキシングを行う。ここで再生環境とはリアルタイム再生用信号生成部１２２で生成した信号を再生する再生装置がスピーカ（ステレオ、サラウンド、その他マルチチャンネル）か、あるはヘッドホンかといった環境である。すなわち、音源のミキシングにおいては、各分割エリアの音声信号を、再生装置のチャンネル数等の環境に合わせて合成・変換する処理を行う。また、聴取点と聴取者の向きの情報を担当空間制御部１２５へ出力する。

第２記憶部１２３は例えばＨＤＤやＳＳＤ、メモリのような記憶装置であり、第２送受信部１２１が受信した分割エリアごとの音声信号を、分割エリアと時刻情報とともに記録する。

リプレイ再生用信号生成部１２４は、リプレイ再生が要求された場合に、該当する時刻のデータを第２記憶部１２３から取得し、リアルタイム再生用信号生成部１２２と同様の処理を行い出力する。

担当空間制御部１２５は、複数の収音処理部１１０の担当空間を制御する。図４に担当空間の制御の例を示す。図４は、担当空間制御の説明図である。

例えば図４（Ａ）に示すように聴取点４０１が収音空間の外にある場合、それぞれのマイクアレイ１１１Ａから１１１Ｄの担当空間はそれぞれ４０２Ａから４０２Ｄのように均等に割り当てられる。マイクアレイ１１１Ａから１１１Ｄは収音処理部１１０Ａから１１０Ｄの構成要素であり、担当空間４０２Ａから４０２Ｄは収音処理部１１０Ａから１１０Ｄに割り当てられる空間である。

ここで担当空間４０２の中の複数の小さな枠は分割エリア４０３を表している。図４は、収音対象の空間全体が６×６個に区分されるように分割エリア４０３の配置が予め定められており、その分割エリア４０３を各収音処理部１１０Ａ〜１１０Ｄに割り当てることで各収音処理部１１０が担当する分割エリアを決定する例を示している。ただし、分割エリアの配置は予め定められている必要はなく、例えば、担当空間４０２の決定の後にその担当空間を適宜複数の分割エリアに区分するようにしてもよい。

続いて図４（Ｂ）に示すように聴取点４０１が収音空間内にある場合、聴取点近傍の音声はリアルタイム再生用信号を生成する際に重要になる。そこで、聴取点近傍の分割エリアを均等に複数の収音処理部１１０に割り振るために、担当空間４０２は図に示すように聴取点を中心に分割される。担当空間制御部１２５は、各分割エリアを担当する収音処理部１１０に担当エリアを通知するための情報を送信する。また、聴取点４０１からの距離に応じて処理の順番を設定し、その順番を示す情報も併せて送信する。例えば、聴取点４０１からの距離が近いものから順に処理の順番を設定することができる。図４（Ｃ）、図４（Ｄ）については後述する。

このように本実施形態では、聴取点の位置に基づき収音対象の空間全体を分割して、各収音処理部１１０に担当空間４０２を割り当てるため、音声の発生状況等に応じて各収音処理部１１０に割り当てる処理の負荷を平滑化することができる。また、聴取点を起点として複数のマイクアレイにより収音される空間の全体を区分して、複数のマイクアレイがそれぞれ担当する空間を制御するため、立体的な音声の再現が可能である。さらに、各収音処理部１１０に割り当てられた担当空間４０２を分割エリアに分割し、各収音処理部１１０において聴取点４０１の近傍の分割エリアから順に音源分離及び信号処理を行う。そのため、リアルタイム性を損なうことなく、聴取点の近傍の優先度の高い分割エリアの音声を確実に再生信号生成部１２０へ送ることができる。

図５は、再生信号生成部１２０のハードウェア構成例を示すブロック図である。再生信号生成部１２０は、例えば、パーソナルコンピュータ（ＰＣ）や組込みシステム、タブレット端末、スマートフォン等により実現される。

図５において、ＣＰＵ９９０は中央演算処理装置であり、コンピュータプログラムに基づいて他の構成要素と協働し、再生信号生成部１２０全体の動作を制御する。ＲＯＭ９９１は読出し専用メモリであり、基本プログラムや基本処理に使用するデータ等を記憶する。ＲＡＭ９９２は書込み可能メモリであり、ＣＰＵ９９０のワークエリア等として機能する。

外部記憶ドライブ９９３は記録媒体へのアクセスを実現し、ＵＳＢメモリ等のメディア（記録媒体）９９４に記憶されたコンピュータプログラムやデータを本システムにロードすることができる。ストレージ９９５はＳＳＤ（ソリッドステートドライブ）等の大容量メモリとして機能する装置である。ストレージ９９５には、各種コンピュータプログラムやデータが格納される。

操作部９９６はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等がこれに相当する。ディスプレイ９９７は、操作部９９６から入力されたコマンドや、それに対する再生信号生成部１２０の応答出力等を表示する表示装置である。インターフェイス（Ｉ／Ｆ）９９８は外部装置とのデータのやり取りを中継する装置である。システムバス９９９は、再生信号生成部１２０内のデータの流れを司るデータバスである。

なお、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

（信号生成処理）
続いて図６（Ａ）から図６（Ｂ）は、本実施形態に係る音響システム１００が実行する処理の手順を示すフローチャートである。図６（Ａ）は、収音からリアルタイム再生用信号を生成する処理（信号生成処理）の処理手順を示すフローチャートである。これらの処理はフレームごとに順次行われる。

はじめに再生信号生成部１２０のリアルタイム再生用信号生成部１２２において聴取点が設定される（Ｓ１０１）。設定された聴取点は再生信号生成部１２０の担当空間制御部１２５へ出力される。聴取点の設定は、例えば、ユーザの指示入力や、外部機器からの設定信号に基づき行うことができる。

続いて担当空間制御部１２５において、複数の収音処理部１１０がどの空間を担当するのか、及び、どの分割エリアから順に処理をするのかが決定される（Ｓ１０２）。担当空間の決定や処理の順序は、前述のように、聴取点の位置に基づいて決定することができる。決められた空間とその分割数Ｎ、エリア処理順序の制御情報（以下、これらの情報をまとめて「担当空間制御情報」という）は第２送受信部１２１へ出力される。

続いて再生信号生成部１２０の第２送受信部１２１から担当空間制御情報が出力され（Ｓ１０３）、収音処理部１１０の第１送受信部１１４において受信される（Ｓ１０４）。受信された担当空間制御情報は音源分離エリア制御部１１６へ出力される。

続いてマイクアレイ１１１において収音が行われる（Ｓ１０５）。前述のように、ここで収集される音声信号はマイクアレイ１１１を構成する各マイクロホンが収集した複数の音声からなるマルチチャネルの信号である。Ａ／Ｄ変換された音声信号は第１記憶部１１５および音源分離部１１２へ出力される。

続いて第１記憶部１１５において、マイクアレイ１１１から入力された音声の記録が行われる（Ｓ１０６）。

続いて音源分離エリア制御部１１６に入力された分割数Ｎとあらかじめ決められた処理エリア数の制限値であるＭとの大小を比較する（Ｓ１０７）。Ｎ＞Ｍである場合（Ｓ１０７でＮＯ）、収音処理部１１０の音源分離部１１２において未分離リストが作成される（Ｓ１１７）。分割エリアの処理の順番設定においてＭ＋１番目以降のエリアは今回のフレーム処理の中では処理が行われず、未分離リストにフレーム番号とエリア番号が記録される。

一方、Ｎ≦Ｍである場合（Ｓ１０７でＹＥＳ）、続いて音源分離部１１２で管理されている未分離リストに未分離の音声があるか判定される（Ｓ１０８）。未分離リストに未分離の音声の記録がない場合（Ｓ１０８でＮＯ）はＳ１０９へ進む。未分離リストに記録がある場合（Ｓ１０８でＹＥＳ）、音源分離部１１２では第１記憶部１１５から、未分離リストに記載のフレームの音声を取得する（Ｓ１１８）。

続いて音源分離部１１２において音源分離が行われる（Ｓ１０９）。すなわち、Ｓ１０５で集音したマルチチャネルの信号をもとに、担当空間制御情報により通知された分割エリアの順に各分割エリアにおける音声を分離する。前述のように、分割エリアの音声は、マイクアレイ１１１を構成するマイクロホンと、分割エリアの位置との関係に基づき、各マイクロホンが収集した音声信号に位相制御および重みづけをして加算することで再現することができる。分離された分割エリアの音声信号は、第１記憶部１１５および信号処理部１１３へ出力される。

続いて第１記憶部１１５において音源分離された分割エリアごとの音声が記録される（Ｓ１１０）。

続いて信号処理部１１３において、各分割エリアの音声に対して処理がされる（Ｓ１１１）。信号処理部１１３による処理は、前述のように、例えば、分割エリアとその収音処理部１１０との距離による影響を補正するための遅延補正処理、ゲイン補正処理や、エコー除去による雑音処理などである。処理された音声は第１記憶部１１５および第１送受信部１１４へ出力される。

続いて信号処理部１１３において信号処理された音声が第１記憶部１１５に記録される（Ｓ１１２）。

続いて、収音処理部１１０の第１送受信部１１４から再生信号生成部１２０へ、分割エリアごとの処理された音声信号が送信される（Ｓ１１３）。送信された音声信号は信号伝送経路を通って再生信号生成部１２０まで送られる。

続いて再生信号生成部１２０の第２送受信部１２１において分割エリアごとの音声信号が受信される（Ｓ１１４）。受信された音声信号はリアルタイム再生用信号生成部１２２および第２記憶部１２３へ出力される。

続いてリアルタイム再生用信号生成部１２２においてリアルタイム再生用の音声のミキシングが行われる（Ｓ１１５）。ミキシングにおいては、再生機器の仕様（例えば、チャンネル数等）に合わせて再生できるように信号を合成・変換したりする。リアルタイム再生用にミキシングされた音声は外部の再生機器あるいは放送用信号として出力される。

続いて第２記憶部１２３において各分割エリアの音声の記録が行われる（Ｓ１１６）。リプレイ再生用の音声信号は第２記憶部１２３の分割エリアごとの音声を用いて作成される。そして、処理を終了する。

（リプレイ処理）
次に、図２Ｂを用いてリプレイが要求された場合の処理フローを説明する。ユーザや外部装置によりリプレイが要求されると、リプレイ再生用信号生成部１２４は第２記憶部１２３からリプレイ時間に対応した分割エリアごとの音声信号を読み出す（Ｓ１２１）。

続いてリプレイ再生用信号生成部１２４においてリプレイ再生用の音声のミキシングが行われる（Ｓ１２２）。リプレイ再生用にミキシングされた音声は外部の再生機器あるいは放送用信号として出力される。そして、処理を終了する。

以上説明したように、聴取点の位置等に応じて複数の収音処理部１１０の担当空間を制御することで、聴取点近傍エリアの音声をリアルタイム再生用信号生成に間に合わせることができる。

本実施形態においては、マイクアレイ１１１がマイクロホンからなる例を説明したが、反射板などの構造物とセットであってもよい。また、マイクアレイ１１１で使用するマイクロホンは無指向性であってもよいし、指向性マイクであってもよく、それらの混合でもよい。

本実施形態において第１記憶部１１５はマイクアレイ１１１から入力された音声、音源分離部１１２で音源分離された音声、信号処理部１１３で信号処理された音声を全て記録する例を説明した。しかし、例えば実際の装置では、記録できる音声のデータサイズが限定されている可能性がある。そこで、音源分離エリア制御部１１６においてＮ＞Ｍとなった時のみマイクアレイ１１１の音声を記録するようにしてもよい。さらに未分離リストから削除されたことに応じて、記録していたフレームの音声データを削除するようにしてもよい。これにより、記憶装置の容量が限られている場合にも各マイクアレイの処理を平滑化することが可能となる。

また、本実施形態では、収音エリアの分割数Ｎと所定のエリア数Ｍとの大小に応じて音源分離処理を行うか否かを決定する例を説明したが、ＣＰＵの信号処理量や信号伝送経路の伝送量を監視し、これらの量を考慮して処理するエリア数を決定してもよい。また、音源分離（Ｓ１０９）はＮ個の分割エリア全てに対して行い、信号処理（Ｓ１１１）をＭ個の分割エリアまでにとどめるようにしてもよい。あるいは、Ｎ個の分割エリア全てに対して信号処理まで行い、送信（Ｓ１１３）をＭ個の分割エリアまでにとどめるようにしてもよい。これにより、システムを構成する装置の特性に応じて柔軟に処理を平滑化することが可能となる。

本実施形態において担当空間制御部１２５は聴取点４０１を中心に空間を分割する例を説明した。もっとも、マイクアレイ１１１が収音可能な距離には限度があるため、各収音処理部１１０が収音可能な空間は必ずしも収音空間の全領域にわたって重複するとは限らない。例えば、図４は、６×６個の分割エリアからなる収音空間の例を示しているところ、各マイクアレイ１１１は４×４個の分割エリアが占める領域の範囲しか収音することができない場合を考える。そして、図４において、マイクアレイ１１１Ａは、紙面左上の角の分割エリアを含む４×４個の分割エリアが占める領域から収音可能であるとする。この場合、マイクアレイ１１１Ａは、紙面右２列又は紙面下２列に存在する分割エリアからは収音することができない。同様に、マイクアレイ１１１Ｂは紙面右上の角の分割エリアを含む領域から、マイクアレイ１１１Ｃは紙面左下の角の分割エリアを含む領域から、及び、マイクアレイ１１１Ｄは紙面右下の角の分割エリアを含む領域から収音可能であるとする。この場合、紙面左上の角の分割エリアを含む２×２個の分割エリアが占める領域から収音することができるのはマイクアレイ１１１Ａのみである。そのため、この領域においては、マイクアレイ１１１Ａが収音可能な空間と他の収音処理部１１０が収音可能な空間とは重複しない。同様に、紙面の右上、左下、右下の角の分割エリアを含む２×２個の分割エリアが占める領域においても、収音処理部１１０が収音可能な空間は重複しない。

そこで、例えば図４（Ｃ）に示すように聴取点があるマイクアレイ１１１（図の例では１１１Ａ、１１１Ｃ）から収音できない距離に存在するときは、その聴取点４０１を取り囲むように小さく区切られた担当空間４０２Ｄを設定するようにしてもよい。このように、聴取点近傍に十分なリソースを有する収音処理部を割り当てることで、聴取点近傍の音声を確実に精度よく取得して忠実に再現することができる。また、担当エリアが少なく設定された収音処理部１１０Ｄでは処理量が少ないため、処理を短時間で終わらせて、高速に処理を進めることができる。さらに、このような場合、収音処理部１１０Ｄと再生信号生成部１２０との間のデータ伝送の優先度を高く設定することで、他の収音処理部１１０に対して短時間でデータを転送し、重要度の高い音声を優先的に再生することができる。

また、本実施形態において担当空間制御部１２５は聴取点４０１を中心に空間を分割する例を説明した。上述した通り、すべての収音処理部１１０が全ての分割エリアの音声を収音できるわけではないため、担当空間の大きさには限界が設定されるようにすることができる。音声信号の強度は音源と収音装置との間の距離の拡がりに応じて減衰するため、収音処理部１１０のマイクアレイ１１１で収音できる範囲は限られている。また、マイクアレイ１１１から距離が離れるほど分割エリアの分解能が低下してしまう。そこで、担当空間の大きさに上限を設けることで、収音レベルおよび分割エリアの分解能を維持・保障することが可能となる。

また、聴取者の向きに応じて担当空間を決定するように制御するようにしてもよい。例えば、聴取者の前方の音声は一般に重要であるため、聴取者の前方にはより小さな担当空間を設定して処理を優先させるようにしてもよい。

本実施形態において担当空間制御部１２５は聴取点４０１を基準に空間を分割する例を説明したが、空間を分割する起点は分割エリアもしくは位置の重要度などから決定するようにしてもよい。例えば、分割エリアごとの直前数フレームにおける音声のレベルなどから分割エリアの重要度を設定する重要度設定部を設け、重要度の高い分割エリアが各収音処理部１１０にできるだけ均等に割り振られるように空間を分割するようにしてもよい。これにより重要度の高い領域についての処理が複数の収音処理部１１０に均等に割り当てられるため、処理の負荷を平滑化するとともに、立体的な音響を忠実に再現することが可能である。

また、連続音源に対して途中で担当する収音処理部１１０が変更されると音質や背景音が変わってしまい、違和感につながる可能性がある。そのため、音声の連続性に応じて収音処理部１１０が変わらないようにしてもよい。また、複数の収音処理部１１０の収音空間全体をカバーするような撮影範囲を持つ撮影装置を備え、撮影装置で撮影した画像から人物検知を行い、重要度を設定するようにしてもよい。例えば、その人物の周囲はより重要度の高い領域と判定することができる。またさらに、事前に音声や映像を学習し、学習に基づいて重要度が設定されるようにしてもよい。

本実施形態において音源分離部１１２はビームフォーミングを用いて分割エリアごとの音声の取得を行う例を説明したが、その他の音源分離を用いてもよい。例えば分割エリアごとのパワースペクトル密度（ＰＳＤ：Power Spectral Density）を推定し、推定したＰＳＤに基づいてウィナーフィルタによる分離を行ってもよい。

本実施形態においてリプレイ再生用信号生成部１２４とリアルタイム再生用信号生成部１２２は同様の処理を行う例を説明した。ただし、リプレイ再生用信号生成部１２４とリアルタイム再生用信号生成部１２２では異なるミキシングをしてもよい。例えば、リアルタイム再生時とリプレイ再生時では仮想の聴取点が異なるため異なるミキシングになってもよい。

本実施形態において全ての収音処理部１１０が同じ構成を有する例を説明したが、異なる構成であってもよい。例えばマイクアレイのマイクの数などが違っていてもよい。また例えば再生信号生成部１２０はいずれか１つ又は複数の収音処理部１１０と同一のコンピュータにより実現してもよい。

さらに、例えば、収音処理部１１０の処理装置のスペックが異なるようになっていてもよい。このようなスペックとしては、ＣＰＵの処理速度や、メモリ・ストレージの容量、音声信号処理チップのスペック等が含まれうる。あらかじめ聴取点が生成されやすい空間Ｘを担当する収音処理部１１０Ｘの処理装置のスペックを高く設定し、収音処理部１１０Ｘは空間Ｘに付近に聴取点がない場合に他の収音処理部１１０と比べて広い空間を担当するようになっていてもよい。

また本実施形態では再生信号生成部１２０は一つとしたが、少なくとも１つ以上備えていればよく、複数の再生信号生成部１２０に対してそれぞれ聴取点が設定されてもよい。その場合、例えば図４（Ｄ）に示すように可能な限り聴取点近傍の分割エリアが複数の収音処理部１１０に割り当てられるように空間を分割する。図４（Ｄ）の例では、聴取点４０１Ａには担当空間４０２Ａ、４０２Ｂ、４０２Ｃが隣接し、聴取点４０１Ｂには担当空間４０２Ｂ、４０２Ｃ、４０２Ｄが隣接するように、担当空間が割り当てられている。

また本実施形態では説明の都合上、担当空間制御部１２５は分割エリア４０３があらかじめ決まっていてその分割エリアをどのように分配するかを制御したが、担当空間制御部１２５はあらかじめ設定された分割エリアとは異なる境界で空間を分割してもよい。その場合、音源分離エリア制御部１１６は割り当てられた空間内をどのように分割エリア分けするか決定し、音源分離部１１２に出力するようになっていればよい。

また本実施形態では特に設けなかったが、担当空間を示す表示装置などを備えていてもよく、表示装置には時間ごとの担当空間の変化が分かるようにすることができる。さらに未分離の分割エリアが分かるような表示を行ってもよい。さらに未分離の分割エリアを選択し、その分割エリアの音声の分離を指示するユーザインターフェイス（ＵＩ）を備えていてもよい。また、担当空間制御部１２５に対して担当空間をユーザが設定できるようなＵＩを備えていてもよい。例えば図７の（Ａ）（Ｂ）に示すように、担当空間の境界を選択して移動させることで任意の時間の担当空間をユーザが指定できるようにしてもよい。

図７は、ユーザが担当空間を選択するためのＵＩの一例を示す図である。図７において、４５０は表示装置に表示された収音空間である。４５１は担当空間の割当てを決定するための基準となる指標であり、ユーザはポインティング装置のポインタやタッチパネルにより指標４５１を選択することができる。ユーザが指標４５１を選択すると、音響システム１００は、指標４５１を通過する水平線及び垂直線により収音空間４５０を４つの担当空間４０２Ａ、４０２Ｂ、４０２Ｃ、４０２Ｄに分割する（図７（Ａ））。ユーザが指標４５１をある方向（例えば、４５３）に移動させると、それに応じて音響システム１００は指標４５１を通過する水平線及び垂直線を移動させ、担当空間４０２Ａ、４０２Ｂ、４０２Ｃ、４０２Ｄの占める領域も変化させる（図７（Ｂ））。したがって、ユーザは、指標４５１を選択するだけで容易に収音空間を所望の領域に分割することが可能である。

＜実施形態２＞
実施形態１では、聴取点に基づき各マイクアレイ（収音処理部）に割り当てる担当空間を調整する例を説明した。本実施形態では、撮影情報に基づき音声を再現する上で重要なエリアを判定して、各マイクアレイに割り当てる担当空間を調整する例を説明する。

（撮影システム）
図８は撮影システム２００の構成を示すブロック図である。撮影システム２００は複数の撮影処理部２１０、再生信号生成部１２０、及び、視点生成部２３０を備える。複数の撮影処理部２１０と再生信号生成部１２０および視点生成部２３０は互いに有線もしくは無線の伝送経路を通じてデータの送受信を行うことができる。

（撮影処理部）
図９は撮影処理部２１０の構成を示すブロック図である。撮影処理部２１０はマイクアレイ１１１、音源分離部１１２、信号処理制御部２１７、信号処理部１１３、第１送受信部１１４、及び、撮影部２１８を備える。

マイクアレイ１１１、音源分離部１１２および第１送受信部１１４は、実施形態１において図２を参照して説明した構成と同様のため、詳細な説明を省略する。信号処理部１１３は、実施形態１の音声信号処理に加え、撮影部２１８で撮影した画像データに対する処理を行う。例えば、雑音除去処理などを行う。

信号処理制御部２１７は第１送受信部１１４から入力される処理分担の情報に基づいて分割エリアごとの音声信号を信号処理部１１３あるいは第１送受信部１１４に出力する。撮影部２１８はビデオカメラなどの画像を撮影する撮影装置であり、少なくとも各撮影処理部２１０が担当する空間を含む画像を撮影する。撮影した画像を信号処理部１１３へ出力する。

（再生信号生成部）
図１０は再生信号生成部１２０の構成を示すブロック図である。再生信号生成部１２０は第２送受信部１２１、リアルタイム再生用信号生成部１２２、第２記憶部１２３、リプレイ再生用信号生成部１２４、エリア重要度設定部２２６、及び、処理分担制御部２２７を備える。

本実施形態において第２送受信部１２１、第２記憶部１２３は、実施形態１において図３を参照して説明した処理に加えて、各撮影処理部２１０で撮影された画像の送信、記録も行う。その他、基本的には実施形態１と同様のため詳細な構成の説明は省略する。

リアルタイム再生用信号生成部１２２では、後述する視点生成部２３０において生成された視点に応じて、複数の撮影処理部２１０から送信される画像を切り替えてリアルタイム再生用の映像信号を生成する。さらに視点を聴取点として音源のミキシングを行う。生成された映像と音声が出力される。

リプレイ再生用信号生成部１２４では、リプレイ再生が要求された場合に、該当する時刻のデータを第２記憶部１２３から取得し、リアルタイム再生用信号生成部１２２と同様の処理を行い出力する。

エリア重要度設定部２２６は、各撮影処理部２１０から送信された画像を第２送受信部１２１から取得する。エリア重要度設定部２２６ではそれらの画像から音源となりうる被写体を検出し、各分割エリアの被写体数に基づいてエリア重要度を設定する。例えば人物検知を行い、特定の被写体（例えば、人物）の多い分割エリアは重要度を高く設定する。設定された分割エリアごとの重要度は処理分担制御部２２７へ出力される。

処理分担制御部２２７では入力された分割エリアごとの重要度に基づき、撮影処理部２１０ごとの処理分担を決定する。例えば担当する空間のエリア重要度が高く設定された撮影処理部２１０に対しては、処理する分割エリアの音声を減らし、担当空間内のあまり重要度の高くない分割エリアの処理を他の撮影処理部２１０に担当させるように分担を決定する。

例えば図１１（Ａ）に示すように、２台の撮影処理部２１０Ａおよび２１０Ｂのマイクアレイ１１１Ａおよび１１１Ｂの担当空間が４０２Ａおよび４０２Ｂと定められていて、それぞれ分割エリアが１１〜１９および２１〜２９と定められているとする。ここでエリア重要度設定部２２６において分割エリア１７が重要エリアとして設定された場合、処理分担制御部２２７では、分割エリア１７を担当する撮影処理部２１０Ａの処理量を低減するための分割エリアの割当てを行う。具体的には、撮影処理部２１０Ａに当初割り当てられていた分割エリアの一部他の撮影処理部２１０が担当するように設定する。例えば図１１（Ｂ）に示すように分割エリア１３に対応する音声の信号処理を撮影処理部２１０Ｂが担当するように設定する。つまり、撮影処理部２１０Ａが担当する分割エリアは４０４Ａ、撮影処理部２１０Ｂが処理を担当する分割エリアは４０４Ｂとなる。

このように重要度が高い分割エリアが多い撮影処理部２１０の一部の信号処理を重要度が高い分割エリアの少ない撮影処理部２１０に分担させる。また処理分担制御部２２７は処理が一部の撮影処理部２１０に偏らないように処理を割り振る。例えば連続して処理を割り振る場合、フレームごとに異なる撮影処理部２１０に処理を割り振る。これにより、重要度が高い分割エリアを担当する撮影処理部２１０の処理負担を軽減することができ、重要な分割エリアにおける音声の再生を確実に行うことが可能となる。

視点生成部２３０は、例えばカメラの映像切替器（スイッチャー）および受信画像表示装置を備え、ユーザは、複数の撮影処理部２１０の撮影部２１８からの映像を見ながら使用する映像を選択することができる。選択した映像を撮影した撮影部２１８の位置および向きが視点となる。視点生成部２３０は生成した視点、及び、その視点と対応する時刻を出力する。ここで時刻情報は視点がどのタイミングでそこにあったかを示す情報であり、映像と音声の時刻情報と同一であることが望ましい。

（信号生成処理）
続いて図１２（Ａ）は本実施形態の収音からリアルタイム再生用信号を生成する処理（信号生成処理）の処理手順を示すフローチャートである。

収音（Ｓ２０１）および分離（Ｓ２０２）は実施形態１のＳ１０５およびＳ１０９と同様のため、詳細な説明は省略する。

続いて撮影処理部２１０の撮影部２１８において空間の撮影が行われる（Ｓ２０３）。撮影された画像は信号処理部１１３へ出力される。

続いて信号処理部１１３において画像処理が行われる（Ｓ２０４）。具体的には、分割エリアとその収音処理部１１０との位置関係に基づき光学補正等を行う。処理された画像は第１送受信部１１４に送られる。

続いて第１送受信部１１４から画像データが送信され、再生信号生成部１２０の第２送受信部１２１および視点生成部２３０において画像データが受信される（Ｓ２０５）。再生信号生成部１２０の第２送受信部１２１において受信された画像データは、エリア重要度設定部２２６およびリアルタイム再生用信号生成部１２２、第２記憶部１２３に出力される。また視点生成部２３０において受信された画像データはそれぞれ受信画像表示装置に表示される。

続いてエリア重要度設定部２２６において分割エリアごとの重要度が設定される（Ｓ２０６）。前述のように、分割エリアの重要度は、分割エリアの撮影画像を解析し、その分割エリアに写り込んでいる人物の数に基づき決定する。設定された分割エリアごとの重要度は処理分担制御部２２７へ送られる。

続いて処理分担制御部２２７において、各撮影処理部２１０の音声信号処理の処理分担を決定する（Ｓ２０７）。決められた処理分担を示す制御情報は第２送受信部１２１へ出力される。

続いて処理分担の制御情報は第２送受信部１２１から送信され、各撮影処理部２１０の第１送受信部１１４において受信される（Ｓ２０８）。第１送受信部１１４で受信された処理分担の制御情報は信号処理制御部２１７へ出力される。

続いて信号処理制御部２１７において入力された制御情報に基づき、各分割エリアの信号が本撮影処理部２１０の信号処理部１１３において処理する信号か、他の撮影処理部２１０において処理される信号かを判定する（Ｓ２０９）。本撮影処理部２１０において処理する信号の場合（Ｓ２０９でＹＥＳ）はＳ２１０へ進む。

他の撮影処理部２１０で処理する信号の場合（Ｓ２０９ＮＯ）は、本撮影処理部２１０の第１送受信部１１４から、その信号を担当の撮影処理部２１０の第１送受信部１１４へ送信する（Ｓ２１６）。受信された分割エリアの音声信号は信号処理制御部２１７へ出力される。

続いて信号処理部１１３において音声信号の処理が行われる（Ｓ２１０）。Ｓ２１０では、図６（Ａ）のＳ１１１と同様に、例えば、分割エリアとその収音処理部１１０との距離による影響を補正するための遅延補正処理、ゲイン補正処理や、エコー除去による雑音処理などである。信号処理された音声信号は第１送受信部１１４へ出力される。

続いて第１送受信部１１４から第２送受信部１２１へ処理された分割エリアごとの音声信号が送られる（Ｓ２１１）。第２送受信部１２１において受信された分割エリアごとの音声信号はリアルタイム再生用信号生成部１２２および第２記憶部１２３へ出力される。

続いて視点生成部２３０において視点が生成される（Ｓ２１２）。生成された視点および時刻情報は再生信号生成部１２０に送られる。

続いて第２送受信部１２１において前記視点と対応する時刻情報を受信する（Ｓ２１３）。受信した視点と時刻情報はリアルタイム再生用信号生成部１２２へ出力される。

続いてリアルタイム再生用信号生成部１２２においてリアルタイム再生用信号生成が行われる。視点生成部２３０で生成された視点情報に基づいて、複数の視点の映像から１つを選択し、またその視点に応じた音源のミキシングを行う（Ｓ２１４）。映像と音声は時間同期を行い音声付映像情報として出力される。

最後に第２記憶部１２３において第２送受信部１２１で受信した全ての画像と、音声信号を記録する（Ｓ２１５）。そして、処理を終了する。

（リプレイ処理）
図１２（Ｂ）はリプレイ再生用信号生成時のフローを示すフローチャートである。はじめに、視点生成部２３０において撮影中あるいは撮影後にリプレイ用に過去の時刻の視点が生成される（Ｓ２２１）。

生成された視点と、その視点と対応する時刻情報は第２送受信部１２１へ送られる（Ｓ２２２）。第２送受信部１２１で受信された視点と時刻の情報はリプレイ再生用信号生成部１２４へ送られる。

続いてリプレイ再生用信号生成部１２４は、前記時刻および視点に対応した映像と、前記時刻に対応した音声を第２記憶部１２３から読み出す（Ｓ２２３）。

続いてリプレイ再生用信号生成部１２４においてリプレイ信号が生成される（Ｓ２２４）。Ｓ２２４の処理はＳ２１４とほぼ同様のため説明を省略する。

以上説明したように、分割エリアごとの重要度を判定し、重要度に基づいて各撮影処理部２１０が処理を担当する空間（分割エリア）を制御する。そのため、より重要な分割エリアを優先して処理することができ、リアルタイム再生に間に合わせることができる。

本実施形態において、複数の撮影処理部２１０は同様の機能を有する場合の例を説明したが、それぞれ異なる性能であってもよい。例えば撮影部２１８の性能が異なっていてもよい。

本実施形態において、視点生成部２３０および再生信号生成部１２０が一つずつの例を示したが、複数あってもよい。もっとも、その場合、撮影システム２００の中の複数のエリア重要度設定部２２６および処理分担制御部２２７のうちいずれか一つが機能するようにする。

本実施形態において音声の信号処理のみを別の撮影処理部２１０で行うように制御する例を説明したが、撮影した画像に対する信号処理も合わせて行うように制御してもよい。本実施形態において分割エリアごとの音声の収音にはマイクアレイ１１１および音源分離部１１２を用いたが、無指向性のマイクロホンを設定した分割エリアそれぞれの略中心に配置して音声を取得するようにしてもよい。本実施形態において信号処理部１１３処理順序などは特に設定しなかったが、エリア重要度設定部２２６で設定されたエリア重要度に基づいてエリア重要度の高い分割エリアから処理を行うようにしてもよい。

本実施形態では、エリア重要度設定部２２６は画像から得た分割エリア内の被写体の数に応じてエリア重要度を設定したが、その他の情報を用いてもよい。例えば音声から判断してもよく、分割エリアごとの音量や音声認識結果などを用いて重要度を設定してもよい。また事前にユーザの操作により設定されるようにしてもよいし、過去の画像と音声のデータを事前に学習して入力された画像と音声から自動で重要度を決定するような処理を行ってもよい。あるいは被写体の動きを予測する装置を備え、予測した被写体の場所に応じて分割エリア重要度が設定されるようになっていてもよい。

本実施形態において処理分担制御部２２７はエリア重要度に基づいて処理分担を行ったが、例えば撮影処理部２１０の処理負荷を監視する負荷検出装置を備え、処理負荷に応じて各撮影処理部２１０の処理が平滑化されるように処理分担を割り振ってもよい。また、処理分担を行うとデータを他の撮影処理部２１０に送る必要が出てくる。そのため信号伝送経路の負荷が高くなる可能性がある。そこで信号伝送経路の伝送負荷を監視し、負荷状況に応じて処理分担を調整し、データ送信量を減らすようにしてもよい。

本実施形態において撮影処理部２１０には記憶装置を設けなかったが、処理分担により処理が間に合わなくなった場合、そのデータを記憶する記憶装置を設けるようにしてもよい。

本実施形態において処理分担制御部２２７はエリア重要度に基づいて処理分担を行ったが、重要度は分割エリアで指定されなくてもよい。例えば空間内のある点の座標で指定されるようにしてもよい。撮影処理部２１０ごとの担当の空間ごとに重要度が設定され、それらに基づいて処理分担を制御してもよい。

本実施形態では視点生成部２３０はカメラの映像切替器としたが、空間内のカメラの向きと軌跡を入力するようなものであってもよい。例えば映像切替えの場合、カメラの軌跡はカメラの位置に依存した離散的な値をとるが、連続的に変化するような空間内の自由視点を生成するようなものであってもよい。

本実施形態では視点を仮想聴取点としたが、ユーザが仮想聴取点を指定する仮想聴取点指定装置を備え、その入力に応じて処理を行ってもよい。

また、本実施形態では省略したが、処理分担の実施状況が分かる画像を表示装置に表示させる表示制御を行うようにしてもよい。図１３は表示装置に表示される画面の例を示す。例えば図１３（Ａ）において表示画面には、担当空間を表す４０２Ａから４０２Ｄとその内部の分割エリアが表示される。ここでタイムバー６０１は現在までの録音時間を表すバーで、タイムカーソル６０２の位置が表示画面の時間を表す。分割エリアそれぞれその分割エリアの音声がどの撮影処理部２１０で処理されるのか表示される。この例では担当空間４０２Ａから４０２Ｄを担当する撮影処理部２１０をそれぞれ２１０Ａから２１０Ｄとし、処理の割り振りが分かるような表示をする。この表示は例えば色分けして行ってもよい。さらに、この表示画面の分割エリアを選択し、どこの処理装置に処理を割り振るかをユーザが指定できるようなユーザインターフェイスを備えるようにしていてもよい。

あるいはより簡易に図１３（Ｂ）に示すように、担当空間４０２Ａから４０２Ｄに対してそれぞれいくつの分割エリアの信号処理がどの撮影処理部２１０へ割り振られたかが分かるようなものでもよい。その場合、ユーザに各撮影処理部２１０に対していくつの分割エリアを割り振るかの数字を調整できるようになっているとよい。また表示画面にはリアルタイム時の視点やリプレイ時の視点、被写体の位置などを重ねて表示するようにしてもよい。また、全エリア表示は実際の空間の画像に重ねて表示してもよい。

上記のように、本発明の各実施形態によれば、再生までの時間が限られているリアルタイム再生においてもエリア収音をする収音装置の分担を制御することで重要な音声を欠損することなく再生することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：音響システム、１１０：収音処理部、１１１：マイクアレイ、１１２：音源分離部１１３：信号処理部、１１４：第１送受信部、１１５：第１記憶部、１１６：音源分離エリア制御部、１２０：再生信号生成部、１２１：第２送受信部、１２２：リアルタイム再生用信号生成部、１２３：第２記憶部、１２４：リプレイ再生用信号生成部、１２５：担当空間制御部

Claims (19)

1. 制御装置と複数の信号処理装置とを有する音響処理システムであって、
   前記複数の信号処理装置は、
   仮想聴取点の位置に応じた再生用音響信号の生成に用いられる複数のエリア音響信号であって、収音領域内の複数の部分エリアにそれぞれ対応する複数のエリア音響信号を、１以上のマイクにより前記収音領域の音を収音することで得られる１以上の収音信号に基づいて生成し、
   前記制御装置は、
   前記仮想聴取点の位置を示す聴取点情報を取得する情報取得手段と、
   前記複数のエリア音響信号を生成する処理の前記複数の信号処理装置への割り当てを、前記情報取得手段により取得された前記聴取点情報に基づいて決定する決定手段と、を有する
   ことを特徴とする音響処理システム。
2. 前記複数の信号処理装置により生成される前記複数のエリア音響信号に対応する部分エリアの数は、前記複数の信号処理装置の数より多いことを特徴とする請求項１に記載の音響処理システム。
3. 前記複数の信号処理装置は、前記複数の信号処理装置にそれぞれ対応する複数のマイクアレイによって取得された収音信号に基づいて、前記複数のエリア音響信号を生成し、
   前記複数のマイクアレイのそれぞれは、少なくとも１つのマイクを有することを特徴とする請求項１又は２に記載の音響処理システム。
4. 前記複数のマイクアレイに含まれる第１のマイクアレイに対応する第１の収音領域と、前記複数のマイクアレイに含まれる第２のマイクアレイに対応する第２の収音領域とが、少なくとも一部重なることを特徴とする請求項３に記載の音響処理システム。
5. 前記制御装置は、
   前記複数の部分エリアに含まれる部分エリアに対して優先度を設定する優先度設定手段と有し、
   前記決定手段は、前記優先度設定手段により設定された優先度に基づいて、前記複数のエリア音響信号の生成の順序を決定することを特徴とする請求項１乃至４の何れか１項に記載の音響処理システム。
6. 前記決定手段は、前記聴取点情報が示す前記仮想聴取点の位置の近傍に位置する複数の部分エリアに対応する複数のエリア音響信号それぞれの生成処理が、異なる信号処理装置に割り当てられるように、前記割り当てを決定することを特徴とする請求項１乃至５の何れか１項に記載の音響処理システム。
7. 前記情報取得手段により取得される前記聴取点情報は、前記仮想聴取点の位置及び聴取方向を示し、
   前記決定手段は、前記仮想聴取点の位置及び聴取方向に基づいて前記割り当てを決定することを特徴とする請求項１乃至６の何れか１項に記載の音響処理システム。
8. 前記制御装置は、
   前記複数の部分エリアに含まれる部分エリアに対して評価値を設定する評価値設定手段を有し、
   前記決定手段は、前記評価値設定手段により設定された評価値に基づいて前記割り当てを決定することを特徴とする請求項１乃至７の何れか１項に記載の音響処理システム。
9. 前記評価値設定手段は、前記収音領域の少なくとも一部を撮像することで得られる撮像画像における特定のオブジェクトの位置に基づいて、前記評価値を設定することを特徴とする請求項８に記載の音響処理システム。
10. 前記評価値設定手段は、機械学習処理の結果に基づいて、または、ユーザの操作に基づいて、前記評価値を決定することを特徴とする請求項８に記載の音響処理システム。
11. 前記決定手段は、前記１以上の収音信号に含まれる収音信号の連続性に応じて決まるタイミングで前記割り当てを変更することを特徴とする請求項１乃至１０の何れか１項に記載の音響処理システム。
12. 前記決定手段は、前記複数の信号処理装置に含まれる信号処理装置の処理負荷に基づいて前記割り当てを決定することを特徴とする請求項１乃至１１の何れか１項に記載の音響処理システム。
13. 前記決定手段により決定された前記割り当てを示す画像を表示部に表示させる表示制御手段を有することを特徴とする請求項１乃至１２の何れか１項に記載の音響処理システム。
14. 前記決定手段により決定された割り当てに応じて前記複数の信号処理装置によって生成された前記複数のエリア音響信号の少なくとも一部と、前記仮想聴取点の位置とに基づいて、前記再生用音響信号を生成する生成手段を有することを特徴とする請求項１乃至１３の何れか１項に記載の音響処理システム。
15. 前記複数の信号処理装置は、前記１以上の収音信号に対して、ビームフォーミング処理またはウィーナーフィルタを用いた処理を実行することにより、前記複数のエリア音響信号を生成することを特徴とする請求項１乃至１４の何れか１項に記載の音響処理システム。
16. 前記制御装置は、信号処理装置に割り当てられるエリア音響信号に対応する部分エリアを当該信号処理装置に通知する通知手段を有することを特徴とする請求項１乃至１５の何れか１項に記載の音響処理システム。
17. 制御装置と複数の信号処理装置とを有する音響処理システムにより実行される音響処理方法であって、
    前記複数の信号処理装置において、
    仮想聴取点の位置に応じた再生用音響信号の生成に用いられる複数のエリア音響信号であって、収音領域内の複数の部分エリアにそれぞれ対応する複数のエリア音響信号を、１以上のマイクにより前記収音領域の音を収音することで得られる１以上の収音信号に基づいて生成し、
    前記制御装置において、
    前記仮想聴取点の位置を示す聴取点情報を取得し、
    前記複数のエリア音響信号を生成する処理の前記複数の信号処理装置への割り当てを、前記聴取点情報に基づいて決定する
    ことを特徴とする音響処理方法。
18. 前記複数の信号処理装置により生成される前記複数のエリア音響信号に対応する部分エリアの数は、前記複数の信号処理装置の数より多いことを特徴とする請求項１７に記載の音響処理方法。
19. コンピュータを、請求項１乃至１６の何れか１項に記載の制御装置として機能させるためのプログラム。

Images