JP2005148301A - 音声処理装置と音声処理方法 - Google Patents

Abstract

【課題】主の発話者の音声信号を特定して翻訳処理し、翻訳されたクリアな音声信号を出力することができる音声処理装置および音声処理方法を提供する。
【解決手段】複数のマイクロフォンＭＣ１〜６から集音した音声信号から、ＤＳＰ２５は主の発話者を特定し、特定された一の集音信号は、ＤＳＰ２６でエコーキャンセルされた後に、翻訳用ＤＳＰ４０において、音声認識処理・翻訳処理・音声合成処理が施されて、出力される。
【選択図】図２４

Description

本発明は、たとえば複数の会議出席者が発する音声信号を処理する音声処理装置および音声処理方法に関するものである。

近年、国際化に伴い、外国人とコミュニケーションを行う機会が増加している。たとえば、日本人が遠隔の地にいる外国人と電話会議を行うことは、頻繁に行われている。
その場合、電話会議を行う日本人が、電話会議の相手先の外国人が理解できる言語を話すことができない場合や、逆に、電話会議の相手先の外国人が日本語を話すことができない場合では、お互いの意思疎通が図れないので、会議の進行に支障がある。
そこで、従来は、通訳ができる人を介して会議を行ったり、または、特定の接話型マイクロフォンを使用し、専用のヘッドセットを装着して、発言ごとにオペレータが翻訳したり、自動翻訳を行ったりしていた。

しかし、電話会議に多くの会議参加者がいる場合や、電話会議が長時間になる場合には、上述した専用のヘッドセットを使用することは現実的に困難である。すなわち、ヘッドセットを装着した状態では、会議参加者である日本人同士のコミュニケーションに支障があり、また、複数の会議参加者が同時に発話した場合等には翻訳が難しいという問題がある。

本発明はかかる事情に鑑みてなされたものであり、その目的は、主の発話者の音声信号を特定して翻訳処理し、翻訳されたクリアな音声信号を全方位に出力することができる音声処理装置および音声処理方法を提供することにある。

上記目的を達成するための本発明の第１の観点は、複数のマイクロフォンと、前記複数のマイクロフォンの集音信号のうち１つを選択するマイクロフォン信号選択手段と、前記マイクロフォン信号選択手段によって選択されたマイクロフォン集音信号に基づいて、第１のテキストデータを生成する音声認識手段と、前記音声認識手段により生成された第１のテキストデータを翻訳して第２のテキストデータを生成するテキスト翻訳手段と、前記テキスト翻訳手段により生成された第２のテキストデータに基づいて、音声信号を生成する音声合成手段とを具備する音声処理装置である。

好適には、前記選択されたマイクロフォン集音信号について事前に登録された声紋と一致するか否かの声紋認証を行う声紋認識手段を有し、前記音声認識手段は、前記声紋認識手段が、マイクロフォン信号選択手段により選択されたマイクロフォン集音信号から得られた声紋と、事前に登録された声紋と一致すると判断した場合に限り、前記マイクロフォン集音信号に基づいて、第１のテキストデータを生成する。

上記目的を達成するための本発明の第２の観点は、複数のマイクロフォンの集音信号のうち１つを選択するステップと、選択されたマイクロフォン集音信号に基づいて、第１のテキストデータを生成するステップと、生成された第１のテキストデータを翻訳して第２のテキストデータを生成するステップと、生成された第２のテキストデータに基づいて、音声信号を生成するステップとを具備する音声処理方法である。

上記本発明の第１の観点に係る音声処理装置によれば、発話者に対向した複数のマイクロフォンから集音したマイクロフォン集音信号のうち、マイクロフォン信号選択手段が１つを選択すると、音声認識手段は、選択されたマイクロフォン集音信号に基づいて、第１のテキストデータを生成し、テキスト翻訳手段は、前記音声認識手段により生成された第１のテキストデータを翻訳して第２のテキストデータを生成し、音声合成手段は、前記テキスト翻訳手段により生成された第２のテキストデータに基づいて、音声信号を生成するので、複数のマイクロフォンから集音信号から主の発話者を特定して翻訳処理を行うことが可能となる。

本発明によれば、主の発話者の音声信号を特定して翻訳処理し、翻訳されたクリアな音声信号を出力することができるので、コニュニケーション性能が向上するという利点がある。

以下、後述する本発明の第１〜３の実施形態の説明の便宜のため、はじめに、本発明の音声処理装置のマイクロフォン選択手段としての通話装置（双方向通話装置）について述べる。
図１（Ａ）〜（Ｃ）は本発明の通話装置が適用される１例を示す構成図である。
図１（Ａ）に図解したように、遠隔に位置する２つの会議室９０１、９０２にそれぞれ通話装置１Ａ、１Ｂが設置されており、これらの通話装置１Ａ、１Ｂが電話回線９２０で接続されている。
図１（Ｂ）に図解したように、２つの会議室９０１、９０２において、双方向通話装置１Ａ、１Ｂがそれぞれテーブル９１１、９１２の上に置かれている。ただし、図１（Ｂ）においては、図解の簡略化のため、会議室９０１内の双方向通話装置１Ａについてのみ図解している。会議室９０２内の双方向通話装置１Ｂも同様である。双方向通話装置１Ａ、１Ｂの外観斜視図を図２に示す。
図１（Ｃ）に図解したように、双方向通話装置１Ａ、１Ｂの周囲にそれぞれ複数（本実施の形態においては６名）の会議参加者Ａ１〜Ａ６が位置している。ただし、図１（Ｃ）においては、図解の簡略化のため、会議室９０１内の双方向通話装置１Ａの周囲の会議参加者のみ図解している。他方の会議室９０２内の双方向通話装置１Ｂの周囲に位置する会議参加者の配置も同様である。

本発明の双方向通話装置は、たとえば、２つの会議室９０１、９０２との間で電話回線９２０を介して音声による応答が可能である。
通常、電話回線９２０を介しての会話は、一人の話者と一人の話者同士、すなわち、１対１で通話を行うが、本発明の双方向通話装置は１つの電話回線９２０を用いて複数の会議参加者Ａ１〜Ａ６同士が通話できる。ただし、詳細は後述するが、音声の混雑を回避するため、同時刻（同じ時間帯）の話者は、相互に一人に限定する。
本発明の双方向通話装置は音声（通話）を対象としているから、電話回線９２０を介して音声を伝送するだけである。換言すれば、テレビ会議システムのような多量の画像データは伝送しない。さらに、本発明の双方向通話装置は会議参加者の通話を圧縮して伝送しているので電話回線９２０の伝送負担は軽い。

双方向通話装置の構成
図２〜図４を参照して本発明の１実施の形態としての双方向通話装置の構成について述べる。
図２は本発明の１実施の形態としての双方向通話装置の斜視図である。
図３は図２に図解した双方向通話装置の断面図である。
図４は図１に図解した双方向通話装置のマイクロフォン・電子回路収容部の平面図であり、図３の線Ｘ−Ｘ−Ｙにおける平面図である。

図２に図解したように、双方向通話装置１は、上部カバー１１と、音反射板１２と、連結部材１３と、スピーカ収容部１４と、操作部１５とを有する。
図３に図解したように、スピーカ収容部１４は、音反射面１４ａと、底面１４ｂと、上部音出力開口部１４ｃとを有する。音反射面１４ａと底面１４ｂで包囲された空間である内腔１４ｄに受話再生スピーカ１６が収容されている。スピーカ収容部１４の上部に音反射板１２が位置し、スピーカ収容部１４と音反射板１２とが連結部材１３によって連結されている。

連結部材１３内には拘束部材１７が貫通しており、拘束部材１７は、スピーカ収容部１４の底面１４ｂの拘束部材・下部固定部１４ｅと、音反射板１２の拘束部材固定部１２ｂとの間を拘束している。ただし、拘束部材１７はスピーカ収容部１４の拘束部材・貫通部１４ｆは貫通しているだけである。拘束部材１７が拘束部材・貫通部１４ｆを貫通してここで拘束していないのはスピーカ１６の動作によってスピーカ収容部１４が振動するが、その振動を上部音出力開口部１４ｃの周囲においては拘束させないためである。

スピーカ
相手会議室の話者が話した音声は、受話再生スピーカ１６を介して上部音出力開口部１４ｃから抜け、音反射板１２の音反射面１２ａとスピーカ収容部１４の音反射面１４ａとで規定される空間に沿って軸Ｃ−Ｃを中心として３６０度の全方位に拡散する。
音反射板１２の音反射面１２ａの断面は図解したように、ゆるやかなラッパ型の弧を描いている。音反射面１２ａの断面は軸Ｃ−Ｃを中心として３６０度にわたり（全方位）、図解した断面形状をしている。
同様にスピーカ収容部１４の音反射面１４ａの断面も図解したように、ゆるやかな凸面を描いている。音反射面１４ａの断面も軸Ｃ−Ｃを中心として３６０度にわたり（全方位）、図解した断面形状をしている。

受話再生スピーカ１６から出た音Ｓは、上部音出力開口部１４ｃを抜け、音反射面１２ａと音反射面１４ａとで規定される断面がラッパ状の音出力空間を経て、音声応答装置１が載置されているテーブル９１１の面に沿って、軸Ｃ−Ｃを中心として３６０度全方位に拡散していき、全ての会議参加者Ａ１〜Ａ６に等しい音量で聞き取られる。本実施の形態においては、テーブル９１１の面も音伝播手段の一部として利用している。
受話再生スピーカ１６から出力された音Ｓの拡散状態を矢印で図示した。

音反射板１２は、プリント基板２１を支持している。
プリント基板２１には、図４に平面を図解したように、マイクロフォン・電子回路収容部２のマイクロフォンＭＣ１〜ＭＣ６、発光ダイオードＬＥＤ１〜６、マイクロプロセッサ２３、コーデック（ＣＯＤＥＣ）２４、第１のディジタルシグナルプロセッサ（ＤＳＰ１）ＤＳＰ２５、第２のディジタルシグナルプロセッサ（ＤＳＰ２）ＤＳＰ２６、Ａ／Ｄ変換器ブロック２７、Ｄ／Ａ変換器ブロック２８、増幅器ブロック２９などの各種電子回路が搭載されており、音反射板１２はマイクロフォン・電子回路収容部２を支持する部材としても機能している。

プリント基板２１には、受話再生スピーカ１６からの振動が音反射板１２を伝達してマイクロフォンＭＣ１〜ＭＣ６などに進入して騒音とならないように、受話再生スピーカ１６からの振動を吸収するダンパー１８が取り付けられている。ダンパー１８は、ネジと、このネジとプリント基板２１との間に挿入された防振ゴムなどの緩衝材とからなり、緩衝材をネジでプリント基板２１にネジ止めしている。すなわち、緩衝材によって受話再生スピーカ１６からプリント基板２１に伝達される振動が吸収される。これにより、マイクロフォンＭＣ１〜ＭＣ６は、スピーカ１６からの音の影響を受けない。

マイクロフォンの配置
図４に図解したように、プリント基板２１の中心軸Ｃから放射状に等間隔（本実施の形態では６０度間隔で）で６本のマイクロフォンＭＣ１〜ＭＣ６が位置している。各マイクロフォンは単一指向性を持つマイクロフォンである。その特性については後述する。
各マイクロフォンＭＣ１〜ＭＣ６は、共に柔軟性または弾力性のある第１のマイク支持部材２２ａと第２のマイク支持部材２２ｂとで、揺動自在に支持されており（図解を簡単にするため、マイクロフォンＭＣ１の部分の第１のマイク支持部材２２ａと第２のマイク支持部材２２ｂとについてのみ図解している）、上述した緩衝材を用いたダンパー１８による受話再生スピーカ１６からの振動の影響を受けない対策に加えて、柔軟性または弾力性のある第１のマイク支持部材２２ａと第２のマイク支持部材２２ｂとで受話再生スピーカ１６からの振動で振動するプリント基板２１の振動を吸収して受話再生スピーカ１６の振動の影響を受けないようにして、受話再生スピーカ１６の騒音を回避している。

図３に図解したように、受話再生スピーカ１６はマイクロフォンＭＣ１〜ＭＣ６が位置する平面の中心軸Ｃ−Ｃに対して垂直に指向しており（本実施の形態においては上方向に向いている（指向している））、このような受話再生スピーカ１６と６本のマイクロフォンＭＣ１〜ＭＣ６の配置により、受話再生スピーカ１６と各マイクロフォンＭＣ１〜ＭＣ６との距離は等距離となり、受話再生スピーカ１６からの音声は、各マイクロフォンＭＣ１〜ＭＣ６に対しほとんど同音量、同位相で届く。ただし、上述した音反射板１２の音反射面１２ａおよびスピーカ収容部１４の音反射面１４ａの構成により、受話再生スピーカ１６の音が直接マイクロフォンＭＣ１〜ＭＣ６には直接入力されないようにしている。加えて、上述したように、緩衝材を用いたダンパー１８と、柔軟性または弾力性のある第１のマイク支持部材２２ａと第２のマイク支持部材２２ｂとを用いることにより、受話再生スピーカ１６の振動の影響を低減している。
会議参加者Ａ１〜Ａ６は、通常、図１（Ｃ）に例示したように、音声応答装置１の周囲３６０度方向に、６０度間隔で配設されているマイクロフォンＭＣ１〜ＭＣ６の近傍にほぼ等間隔で位置している。

発光ダイオード
後述する話者を決定したことを通報する手段として発光ダイオードＬＥＤ１〜６がマイクロフォンＭＣ１〜ＭＣ６の近傍に配置されている。
発光ダイオードＬＥＤ１〜６は上部カバー１１を装着した状態でも、全ての会議参加者Ａ１〜Ａ６から視認可能に設けられている。したがって、上部カバー１１は発光ダイオードＬＥＤ１〜６の発光状態が視認可能なように透明窓が設けられている。もちろん、上部カバー１１に発光ダイオードＬＥＤ１〜６の部分に開口が設けられていてもよいが、マイクロフォン・電子回路収容部２への防塵の観点からは透光窓が好ましい。

プリント基板２１には、後述する各種の信号処理を行うために、第１のディジタルシグナルプロセッサ（ＤＳＰ１）２５、第２のディジタルシグナルプロセッサ（ＤＳＰ２）２６、各種電子回路２７〜２９が、マイクロフォンＭＣ１〜ＭＣ６が位置する部分以外の空間に配置されている。
本実施の形態においては、ＤＳＰ２５を各種電子回路２７〜２９とともにフィルタ処理、マイクロフォン選択処理などの処理を行う信号処理手段として用い、ＤＳＰ２６をエコーキャンセラーとして用いている。

図５は、マイクロプロセッサ２３、コーデック２４、ＤＳＰ２５、ＤＳＰ２６、Ａ／Ｄ変換器ブロック２７、Ｄ／Ａ変換器ブロック２８、増幅器ブロック２９、その他各種電子回路の概略構成図である。
マイクロプロセッサ２３はマイクロフォン・電子回路収容部２の全体制御処理を行う。 コーデック２４は相手方会議室に送信する音声を圧縮符号化する。
ＤＳＰ２５が下記に述べる各種の信号処理、たとえば、フィルタ処理、マイクロフォン選択処理などを行う。
ＤＳＰ２６はエコーキャンセラーとして機能する。
図５においては、Ａ／Ｄ変換器ブロック２７の１例として、４個のＡ／Ｄ変換器２７１〜２７４を例示し、Ｄ／Ａ変換器ブロック２８の１例として、２個のＤ／Ａ変換器２８１〜２８２を例示し、増幅器ブロック２９の１例として、２個の増幅器２９１〜２９２を例示している。
その他、マイクロフォン・電子回路収容部２としては電源回路など各種の回路がプリント基板２１に搭載されている。

図４においてプリント基板２１の中心軸Ｃに対してそれぞれ対称（または対向する）位置に一直線上に配設された１対のマイクロフォンＭＣ１−ＭＣ４：ＭＣ２−ＭＣ５：ＭＣ３−Ｍ６が、それぞれ２チャネルのアナログ信号をディジタル信号に変換するＡ／Ｄ変換器２７１〜２７３に入力されている。本実施の形態においては、１個のＡ／Ｄ変換器が２チャネルのアナログ入力信号をディジタル信号に変換する。そこで、中心軸Ｃを挟んで一直線上に位置する２個（１対）のマイクロフォン、たとえば、マイクロフォンＭＣ１とＭＣ４の検出信号を１個のＡ／Ｄ変換器に入力してディジタル信号に変換している。また、本実施の形態においては、相手の会議室に送出する音声の話者を特定するため、一直線上に位置する２個のマイクロフォンの音声の差、音声の大きさなどを参照するから、一直線上に位置する２個のマイクロフォンの信号を同じＡ／Ｄ変換器に入力すると、変換タイミングもほぼ同じになり、２個のマイクロフォンの音声出力の差をとるときにタイミング誤差が少ない、信号処理が容易になるなどの利点がある。
なお、Ａ／Ｄ変換器２７１〜２７４は可変利得型増幅機能付きのＡ／Ｄ変換器２７１〜２７４として構成することもできる。
Ａ／Ｄ変換器２７１〜２７４で変換したマイクロフォンＭＣ１〜ＭＣ６の集音信号はＤＳＰ２５に入力されて、後述する各種の信号処理が行われる。
ＤＳＰ２５の処理結果の１つとして、マイクロフォンＭＣ１〜ＭＣ６のうちの１つを選択した結果が、発光ダイオードＬＥＤ１〜６に出力される。

ＤＳＰ２５の処理結果が、ＤＳＰ２６に出力されてエコーキャンセル処理が行われる。ＤＳＰ２６は、たとえば、エコーキャンセル送話処理部とエコーキャンセル受話部とを有する。
ＤＳＰ２６の処理結果が、Ｄ／Ａ変換器２８１〜２８２でアナログ信号に変換される。Ｄ／Ａ変換器２８１からの出力が、必要に応じて、コーデック２４で符号化されて、増幅器２９１を介して電話回線９２０（図１（Ａ））のラインアウトに出力され、相手方会議室に設置された音声応答装置１の受話再生スピーカ１６を介して音として出力される。
相手方の会議室に設置された双方向通話装置１からの音声が電話回線９２０（図１（Ａ））のラインインを介して入力され、Ａ／Ｄ変換器２７４においてディジタル信号に変換されて、ＤＳＰ２６に入力されてエコーキャンセル処理に使用される。また、相手方の会議室に設置された双方向通話装置１からの音声は図示しない経路でスピーカ１６に印加されて音として出力される。
Ｄ／Ａ変換器２８２からの出力が増幅器２９２を介してこの双方向通話装置１の受話再生スピーカ１６から音として出力される。すなわち、会議参加者Ａ１〜Ａ６は、上述した受話再生スピーカ１６から相手会議室の選択された話者の音声に加えて、その会議室のいる発言者が発した音声をも受話再生スピーカ１６を介して聞くことが出来る。

マイクロフォンＭＣ１〜ＭＣ６
図６は各マイクロフォンＭＣ１〜ＭＣ６の特性を示すグラフである。
各単一指向特性マイクフォンは発言者からマイクロフォンへの音声の到達角度により図６に図解のように周波数特性、レベル特性が変化する。複数の曲線は、集音信号の周波数が、１００Ｈｚ、１５０Ｈｚ、２００Ｈｚ、３００Ｈｚ、４００Ｈｚ、５００Ｈｚ、７００Ｈｚ、１０００Ｈｚ、１５００Ｈｚ、２０００Ｈｚ、３０００Ｈｚ、４０００Ｈｚ、５０００Ｈｚ、７０００Ｈｚの時の指向性を示している。ただし、図解を簡単にするため、図６は代表的に、１５０Ｈｚ、５００Ｈｚ、１５００Ｈｚ、３０００Ｈｚ、７０００Ｈｚについての指向性を図解している。

図７（Ａ）〜（Ｄ）は音源の位置とマイクロフォンの集音レベルの分析結果を示すグラフであり、双方向通話装置１と所定距離、たとえば、１．５メートルの距離にスピーカを置いて各マイクロフォンが集音した音声を一定時間間隔で高速フーリエ変換（ＦＦＴ）した結果を示している。Ｘ軸が周波数を、Ｙ軸が信号レベルを、Ｚ軸が時間を表している。
図６の指向性を持つマイクロフォンを用いた場合、マイクロフォンの正面に強い指向性を示す。本実施の形態においては、このような特性を活用して、ＤＳＰ２５においてマイクロフォンの選定処理を行う。

本発明のように指向性を持つマイクロフォンではなく無指向性のマイクロフォンを用いた場合、マイクロフォン周辺の全ての音を集音するので発言者の音声と周辺ノイズとのＳ／Ｎが混同してあまり良い音が集音できない。これを避けるため、本発明においては、指向性マイクロフォン１本で集音することによって周辺のノイズとのＳ／Ｎを改善している。
さらに、マイクロフォンの指向性を得る方法として、複数の無指向性マイクロフォンを使用したマイクアレイを用いることができるが、このような方法では、複数の信号の時間軸（位相）の一致のため複雑な処理を要するため、時間がかかり応答性が低いし、装置構成を複雑になる。すなわち、ＤＳＰの信号処理系にも複雑な信号処理を必要とする。本発明は図６に例示した指向性のあるマイクロフォンを用いてそのような問題を解決している。
また、マイクアレイ信号を合成して指向性収音マイクロフォンとして利用するためには外形形状が通過周波数特性によって規制され外形形状が大きくなるという不利益がある。本発明はこの問題も解決している。

通話装置の装置構成の効果
上述した構成の通話装置は下記の利点を示す。
（１）等角度で放射状かつ等間隔に配設された偶数個のマイクロフォンＭＣ１〜ＭＣ６と受話再生スピーカ１６との位置関係が一定であり、さらにその距離が非常に近いことで受話再生スピーカ１６から出た音が会議室（部屋）環境を経てマイクロフォンＭＣ１〜ＭＣ６に戻ってくるレベルより直接戻ってくるレベルが圧倒的に大きく支配的である。そのために、スピーカ１６からマイクロフォンＭＣ１〜ＭＣ６に音が到達する特性（信号レベル（強度）、周波数特性（ｆ特）、位相）がいつも同じである。つまり、本発明の実施の形態における双方向通話装置１においてはいつも伝達関数が同じという利点がある。
（２）それ故、話者が異なった時に相手方会議室に送出するマイクロフォンの出力を切り替えた時の伝達関数の変化がなく、マイクロフォンを切り替える都度、マイクロフォン系の利得を調整をする必要がないという利点を有する。換言すれば、本双方向通話装置の製造時に一度調整をすると調整をやり直す必要がないという利点がある。
（３）上記と同じ理由で話者が異なった時にマイクロフォンを切り替えても、エコーキャンセラー（ＤＳＰ２６）が一つでよい。ＤＳＰは高価であり、種々の部材が搭載されて空きが少ないプリント基板２１に複数のＤＳＰを配置する必要がなく、プリント基板２１におけるＤＳＰの配置するスペースも少なくてよい。その結果、プリント基板２１、ひいては、本発明の通話装置を小型にできる。
（４）上述したように、受話再生スピーカ１６とマイクロフォンＭＣ１〜ＭＣ６間の伝達関数が一定であるため、たとえば、±３ｄＢもあるマイクロフォン自体の感度差調整を双方向通話装置のマイクロフォンユニット単独で出来るという利点がある。感度差調整の詳細は後述する。
（５）双方向通話装置１が搭載されるテーブルは、通常、円いテーブル（円卓）または多角テーブルを用いるが、双方向通話装置１１内の一つの受話再生スピーカ１６で均等な品質の音声を軸Ｃを中心として３６０度全方位に均等に分散（拡散）するスピーカシステムが可能になった。
（６）受話再生スピーカ１６から出た音は円卓のテーブル面を伝達して（バウンダリ効果）会議参加者まで有効に能率良く均等に上質な音が届き、会議室の天井方向に対しては対向側の音と位相がキャンセルされて小さな音になり、会議参加者に対して天井方向からの反射音が少なく、結果として参加者に明瞭な音が配給されるという利点がある。
（７）受話再生スピーカ１６から出た音は等角度で放射状かつ等間隔に配設された全てのマイクロフォンＭＣ１〜ＭＣ６に同時に同じ音量で届くので発言者の音声なのか受話音声なのかの判断が容易になる。その結果、マイクロフォン選択処理の誤判別が減る。その詳細は後述する。
（８）偶数個、たとえば、６本のマイクロフォンを等角度で放射状かつ等間隔で、対向する１対のマイクロフォンを一直線上に配置したことで方向検出の為のレベル比較が容易に出来る。
（９）ダンパー１８、マイクロフォン支持部材２２などにより、受話再生スピーカ１６の音による振動が、マイクロフォンＭＣ１〜ＭＣ６の集音に与える影響を低減することができる。
（１０）図３に図解したように、構造的に、受話再生スピーカ１６の音が直接、マイクロフォンＭＣ１〜ＭＣ６には伝搬しない。したがって、この双方向通話装置１においは受話再生スピーカ１６からのノイズの影響が少ない。

変形例
図２〜図３を参照して述べた通話装置１は、下部に受話再生スピーカ１６を配置させ、上部にマイクロフォンＭＣ１〜ＭＣ６（および関連する電子回路）を配置させたが、受話再生スピーカ１６とマイクロフォンＭＣ１〜ＭＣ６（および関連する電子回路）の位置を、図８に図解したように、上下逆にすることもできる。このような場合でも上述した効果を奏する。

マイクロフォンの本数は６には限定されず、４本、８本などと任意の偶数本のマイクロフォンを等角度で放射状かつ等間隔で軸Ｃを複数対それぞれ一直線に（同方向に）、たとえば、マイクロフォンＭＣ１とＭＣ４のように一直線に配置する。２本のマイクロフォンＭＣ１、ＭＣ４を対向させて一直線に配置する理由は、マイクロフォンの選定して話者を特定するためである。

信号処理内容
以下、主として第１のディジタルシグナルプロセッサ（ＤＳＰ）２５で行う処理内容について述べる。
図９はＤＳＰ２５が行う処理の概要を図解した図である。以下、その概要を述べる。

（１）周囲のノイズの測定
初期動作として、好ましくは、双方向通話装置１が設置される周囲のノイズの測定する。
双方向通話装置１は種々の環境（会議室）で使用されうる。マイクロフォンの選択の正確さを期し、双方向通話装置１の性能を高めるために、本発明においては、初期段階において、双方向通話装置１が設置される周囲環境のノイズを測定し、そのノイズの影響をマイクロフォンで集音した信号から排除することを可能とする。
もちろん、双方向通話装置１を同じ会議室で反復して使用するような場合、事前にノイズ測定が行われており、ノイズ状態が変化しないような場合にこの処理は割愛できる。
なお、ノイズ測定は通常状態においても行うことができる。
ノイズ測定の詳細は後述する。

（２）議長の選定
たとえば、双方向通話装置１を双方向会議に使用する場合、それぞれの会議室における議事運営を取りまとめる議長がいることが有益である。したがって、本発明の１態様としては、双方向通話装置１を使用する初期段階において、双方向通話装置１の操作部１５から議長を設定する。議長の設定方法としては、たとえば、操作部１５の近傍に位置する第１マイクロフォンＭＣ１を議長用マイクロフォンとする。もちろん、議長用マイクロフォンを任意のものにすることもできる。
なお、双方向通話装置１を反復して使用する議長が同じ場合はこの処理は割愛できる。あるいは、事前に議長が座る位置のマイクロフォンを決めておいてもよい。その場合はその都度、議長の選定動作は不要である。
もちろん、議長の選定は初期状態に限らず、任意のタイミングで行うことができる。
議長選定の詳細は後述する。

（３）マイクロフォンの感度差調整
初期動作として、好ましくは、受話再生スピーカ１６とマイクロフォンＭＣ１〜ＭＣ６との音響結合が等しくなるように、マイクロフォンＭＣ１〜ＭＣ６の信号を増幅する増幅部の利得または減衰部の減衰値を自動的に調整する。
感度差調整については後述する。

通常処理として下記に例示する各種の処理を行う。
（４）マイクロフォン選択、切り替え処理
１つの会議室において同時に複数の会議参加者が通話すると、音声が入り交じり相手側会議室内の会議参加者Ａ１〜Ａ６にとって聞きにくい。そこで、本発明においては、原則として、ある時間帯には１人ずつ通話させる。そのため、ＤＳＰ２５においてマイクロフォンの選択・切り替え処理を行う。
その結果、選択されたマイクロフォンからの通話のみが、電話回線９２０を介して相手方会議室の音声応答装置１に伝送されてスピーカから出力される。もちろん、図５を参照して述べたように、選択された話者のマイクロフォンの近傍のＬＥＤが点灯し、さらに、その部屋の双方向通話装置１のスピーカからも選択された話者の音声を聞くことができ、誰が許可された話者かを認識することができる。
この処理により、発言者に対向した単一指向性マイクの信号を選択し、送話信号として相手方にＳ／Ｎの良い信号を送ることを目的としている。
（５）選択したマイクロフォンの表示
話者のマイクロフォンが選択され、話すことが許可された会議参加者のマイクロフォンがどれであるかを、会議参加者Ａ１〜Ａ６全員に容易に認識できるように、発光ダイオードＬＥＤ１〜６の該当するものを点灯させる。
（６）上述したマイクロフォン選択処理の背景技術として、または、マイクロフォン選択処理を正確に遂行するため下記に例示する各種の信号処理を行う。
（ａ）マイクロフォンの集音信号の帯域分離と、レベル変換処理
（ｂ）発言の開始、終了の判定処理
発言者方向に対向したマイク信号の選択判定開始トリガとして使用するた め。
（ｃ）発言者方向マイクロフォンの検出処理
各マイクロフォンの集音信号を分析し、発言者の使用しているマイクロフ ォンを判定するため。
（ｄ）発言者方向マイクロフォンの切り換えタイミング判定処理、および、検出された発言者に対向したマイク信号の選択切り替え処理
上述した処理結果から選択したマイクロフォンへ切り換えの指示をする。 （ｅ）通常動作時のフロアノイズの測定

フロア（環境）ノイズの測定
この処理は双方向通話装置の電源投入直後の初期処理と通常処理に分かれる。
なお、この処理は下記の例示的な前提条件の下に行う。

双方向通話装置１の電源投入直後、ＤＳＰ２５は図１０〜図１２を参照して述べる下記のノイズ測定を行う。
双方向通話装置１の電源投入直後のＤＳＰ２５の初期処理は、フロアノイズと基準信号レベルを測定し、その差を元に話者と本システムとの有効距離の目安と発言開始、終了判定閾値レベルの設定するために行う。
ＤＳＰ２５内の音圧レベル検出部でピークホールドしたレベル値を一定時間間隔、たとえば、10mSecで読み出し、単位時間の値の平均値を算出しフロアノイズとする。そして、ＤＳＰ２５は測定されたフロアノイズレベルを元に発言開始の検出レベル、発言終了の検出レベルの閾値を決定する。

図１０、処理１：テストレベル測定
ＤＳＰ２５は、図１０に図解した処理に従い、図５に図解した受話信号系のラインイン端子にテストトーンを出力し、受話再生スピーカ１６からの音を各マイクロフォンＭＣ１〜ＭＣ６で集音し、その信号を発言開始基準レベルとして平均値を求める。

図１１、処理２：ノイズ測定１
ＤＳＰ２５は、図１１に図解した処理に従い、各マイクロフォンＭＣ１〜ＭＣ６からの集音信号のレベルをフロアノイズレベルとして一定時間収集し、平均値を求める。

図１２、処理３：有効距離試算
ＤＳＰ２５は、図１２に図解した処理に従い、発言開始基準レベルとフロアノイズレベルを比較し、双方向通話装置１の設置されている会議室などの部屋の騒音レベルを推定し、本双方向通話装置１が良好に働く発言者と本双方向通話装置１との有効距離を計算する。

マイク選択禁止判定
処理３の結果、フロアノイズの方が発言開始基準レベルより大きい（高い）場合、ＤＳＰ２５はそのマイクロフォンの方向に強大なノイズ源が有ると判定し、その方向のマイクロフォンの自動選択を禁止に設定し、それを、たとえば、発光ダイオードＬＥＤ１〜６または操作部１５に表示する。

しきい値決定
ＤＳＰ２５は、図１３に図解したように、発言開始基準レベルとフロアノイズレベルを比較し、その差から発言開始、終了レベルの閾値を決定する。

ノイズ測定に関する限り、次の処理は通常処理なので、ＤＳＰ２５は各タイマ（カウンタ）をセットして次処理の準備をする。

ノイズ通常処理
ＤＳＰ２５は、双方向通話装置１の初期動作時の上記ノイズ測定の後も、通常動作状態において、図１４に示す処理に従って、ノイズ処理を行い、６本のマイクロフォンＭＣ１〜ＭＣ６に対しそれぞれ選択された発言者の音量レベル平均値と発言終了検出後のノイズレベルを測定し一定時間単位で、発言開始、終了判定閾値レベルを再設定する。

図１４、処理１：ＤＳＰ２５は、発言中か発言終了かの判断で処理２か処理３への分岐を決定する。

図１４、処理２：発言者レベル測定
ＤＳＰ２５は、発言中の単位時間、たとえば、１０秒分のレベルデータを複数回、たとえば、１０回分平均して発言者レベルとして記録する。
単位時間内に発言終了になった場合、新たな発言開始まで時間計測及び発言レベル測定を中止し、新たな発言検出後、測定処理を再開する。

図１４、処理３：フロアノイズ測定２
ＤＳＰ２５は、発言終了検出後から発言開始までの間の単位時間、たとえば、１０秒分のノイズレベルデータを複数回、たとえば、１０回分平均してフロアノイズレベルとして記録する。
単位時間内に新たな発言があった場合は、ＤＳＰ２５は途中で時間計測及びノイズ測定を中止し、新たな発言終了検出後、測定処理を再開する。

図１４、処理４：閾値決定２
ＤＳＰ２５は、発言レベルとフロアノイズレベルを比較し、その差から発言開始、終了レベルの閾値を決定する。
なおこのほかに応用として、発言者の発言レベルの平均値が求められているのでそのマイクロフォンに対向した発言者固有の発言開始、終了検出閾値レベルを設定することもできる。

フィルタ処理による各種周波数成分信号の生成
図１５はマイクロフォンで集音した音信号を前処理として、ＤＳＰ２５で行うフィルタリング処理を示す構成図である。図１５は１マイクロフォン（チャネル（１集音信号））分の処理について示す。
各マイクロフォンの集音信号は、たとえば、１００Ｈｚのカットオフ周波数を持つアナログ・ローカットフィルタ１０１で処理され、１００Ｈｚ以下の周波数が除去されたフィルタ処理された音声信号がＡ／Ｄ変換器１０２に出力され、Ａ／Ｄ変換器１０２でディジタル信号に変換された集音信号が、それぞれ７．５ＫＨｚ、４ＫＨｚ、１．５ＫＨｚ、６００Ｈｚ、２５０Ｈｚのカットオフ周波数を持つ、ディジタル・ハイカットフィルタ１０３ａ〜１０３ｅ（総称して１０３）で高周波成分が除去される（ハイカット処理）。ディジタル・ハイカットフィルタ１０３ａ〜１０３ｅの結果はさらに、減算器１０４ａ〜１０４ｄ（総称して１０４）において隣接するディジタル・ハイカットフィルタ１０３ａ〜１０３ｅのフィルタ信号ごとの減算が行われる。
本発明の実施の形態において、ディジタル・ハイカットフィルタ１０３ａ〜１０３ｅおよび減算器１０４ａ〜１０４ｄは、実際はＤＳＰ２５において処理している。Ａ／Ｄ変換器１０２はＡ／Ｄ変換器ブロック２７の１つとして実現できる。

図１６は、図１５を参照して述べたフィルタ処理結果を示す周波数特性図である。このように１つの指向性を持つマイクロフォンで集音した信号から、各種の周波数成分をもつ複数の信号が生成される。

バンドパス・フィルタ処理およびマイク信号レベル変換処理
マイクロフォン選択処理の開始のトリガの１つに発言の開始、終了の判定を行う。そのために使用する信号が、ＤＳＰ２５で行う図１７に図解したバンドパス・フィルタ処理およびレベル変換処理によって得られる。図１７はマイクロフォンＭＣ１〜ＭＣ６で集音した６チャネル（ＣＨ）の入力信号処理中の１ＣＨのみを示す。
ＤＳＰ２５内のバンドパス・フィルタ処理およびレベル変換処理部は、各チャネルのマイクロフォンの集音信号を、それぞれ１００〜６００Ｈｚ、２００〜２５０Ｈｚ、２５０〜６００Ｈｚ、６００〜１５００Ｈｚ、１５００〜４０００Ｈｚ、４０００〜７５００Ｈｚの帯域通過特性を持つバンドパス・フィルタ２０１ａ〜２０１ａ（総称してバンドパス・フィルタ・ブロック２０１）と、元のマイクロフォン集音信号および上記帯域通過集音信号をレベル変換するレベル変換器２０２ａ〜２０２ｇ（総称して、レベル変換ブロック２０２）を有する。

各レベル変換部２０２ａ〜２０２ｇは、信号絶対値処理部２０３とピークホールド処理部２０４を有する。したがって、波形図を例示したように、信号絶対値処理部２０３は破線で示した負の信号が入力されたとき符号を反転して正の信号に変換する。ピークホールド処理部２０４は、信号絶対値処理部２０３の出力信号の最大値を保持する。ただし、本実施の形態では、時間の経過により、保持した最大値は幾分低下していく。もちろん、ピークホールド処理部２０４を改良して、低下分を少なくして長時間最大値を保持可能にすることもできる。

バンドパス・フィルタについて述べる。双方向通話装置１に使用するバンドパス・フィルタは、たとえば、２次ＩＩＲハイカット・フィルタと、マイク信号入力段のローカット・フィルタのみでバンドパス・フィルタを構成している。
本実施の形態においては周波数特性がフラットな信号からハイカットフィルタを通した信号を引き算すれば残りはローカットフィルタを通した信号とほぼ同等になることを利用する。
周波数−レベル特性を合わせる為に、１バンド余分に全体帯域通過のバンドパス・フィルタが必要となるが、必要とするバンドパス・フィルタのバンド数＋１のフィルタ段数とフィルタ係数により必要とされるバンドパスが得られる。今回必要とされるハンドパス・フィルタの帯域周波数はマイク信号１チャネル（ＣＨ）当りで下記６バンドのバンドパス・フィルタとなる。

この方法でＤＳＰ２５における上記のＩＩＲ・フィルタの計算プログラムは、６ＣＨ（チャネル）×５（ＩＩＲ・フィルタ) ＝３０のみである。
従来のバンドパス・フィルタの構成と対比する。バンドパス・フィルタの構成は２次ＩＩＲフィルタを使用するとして、本発明のように６本のマイク信号にそれぞれ６バンドのバンドパス・フィルタを用意すると、従来方法では、６×６×２＝７２回路のＩＩＲ・フィルタ処理が必要になる。この処理には、最新の優秀なＤＳＰでもかなりのプログラム処理を要し他の処理への影響が出る。
本発明の実施の形態においては、100Hzのローカット・フィルタは入力段のアナログフィルタで処理する。用意する２次ＩＩＲハイカット・フィルタのカットオフ周波数は、250Hz,600Hz,1.5KHz,4KHz,7.5KHzの５種類である。このうちのカットオフ周波数7.5KHzのハイカット・フィルタは、実はサンプリング周波数が 16KHzなので必要が無いが、減算処理の過程で、ＩＩＲフィルタの位相回りの影響で、バンドパス・フィルタの出力レベルが減少する現象を軽減する為に意図的に被減数の位相を回す。

図１８は図１７に図解した構成による処理をＤＳＰ２５で処理したときのフローチャートである。

図１８に図解したＤＳＰ２５におけるフィルタ処理は１段目の処理としてハイパス・フィルタ処理、２段目の処理として１段目のハイパス・フィルタ処理結果からの減算処理を行う。図１６はその信号処理結果のイメージ周波数特性図である。下記、〔ｘ〕は図１６における各処理ケースを示す。

第一段階
〔１〕全体帯域通過フィルタ用として、入力信号を7.5KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカット合わせにより [100Hz-7.5KHz] のバンドパス・フィルタ出力となる。

〔２〕入力信号を4KHzのハイカットフィルタに通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-4KHz] のバンドパス・フィルタ出力となる。

〔３〕入力信号を1.5KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-1.5KHz] は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-1.5KHz] 入力のアナログのローカットフィルタとの組み合わせにより [100Hz-1.5KHz] のバンドパス・フィルタ出力となる。

〔４〕入力信号を600KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-600Hz] のバンドパス・フィルタ出力となる。

〔５〕入力信号を250KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-250Hz] のバンドパス・フィルタ出力となる。

第二段階
〔１〕バンドパス・フィルタ(BPF5=[4KHz〜7.5KHz])は、フィルタ出力[1]-[2]([100Hz〜7.5KHz] - [100Hz〜4KHz])の処理を実行すると上記信号出力[4KHz〜7.5KHz]となる。
〔２〕バンドパス・フィルタ(BPF4=[1.5KHz〜4KHz])は、フィルタ出力[2]-[3]([100Hz〜4KHz] - [100Hz〜1.5KHz])の処理を実行すると、上記信号出力[1.5KHz〜4KHz]となる。
〔３〕バンドパス・フィルタ(BPF3=[600Hz〜1.5KHz])は、フィルタ出力[3]-[4]([100Hz〜1.5KHz] - [100Hz〜600Hz])の処理を実行すると、上記信号出力[600Hz〜1.5KHz]となる。
〔４〕バンドパス・フィルタ(BPF2=[250Hz〜600Hz])は、フィルタ出力[4]-[5]([100Hz〜600Hz] - [100Hz〜250Hz]) の処理を実行すると上記信号出力[250Hz〜600Hz]となる。 〔５〕バンドパス・フィルタ(BPF1=[100Hz〜250Hz])は上記[5]の信号をそのままで出力信号[5]とする。
〔６〕バンドパス・フィルタ(BPF6=[100Hz〜600Hz])は[4]の信号をそのままで上記（４）の出力信号とする。
ＤＳＰ２５における以上の処理で必要とされるバンドパス・フィルタ出力が得られる。

入力されたマイクロフォンの集音信号ＭＩＣ１〜ＭＩＣ６は、ＤＳＰ２５において、全帯域の音圧レベル、バンドパス・フィルタを通過した６帯域の音圧レベルとして表５のように常時更新される。

表５において、たとえば、L1-1はマイクロフォンＭＣ１の集音信号が第１バンドパス・フィルタ２０１ａを通過したときのピークレベルを示す。
発言の開始、終了判定は、図１７に図示した100Hz〜600Hzのバンドパス・フィルタ２０１ａを通過し、レベル変換部２０２ｂで音圧レベル変換されたマイクロフォン集音信号を用いる。

従来のバンドパス・フィルタの構成は、バンドパス・フィルタ１段当りにハイ・パスフィルタとロー・パスフィルタの組み合わせで行うので、本実施の形態で使用する仕様の３６回路のバンドパス・フィルタを構築すると７２回路のフィルタ処理が必要となる。これに対して本発明の実施の形態のフィルタ構成は上述したように簡単になる。

発言の開始・終了判定処理
第１のディジタルシグナルプロセッサ（ＤＳＰ１）２５は、音圧レベル検出部から出力される値を元に、図１９に図解したように、マイクロフォン集音信号レベルがフロアノイズより上昇し、発言開始レベルの閾値を越した場合発言開始と判定し、その後開始レベルの閾値よりも高いレベルが継続した場合発言中、発言終了の閾値よりレベルが下がった場合をフロアノイズと判定し、発言終了判定時間、たとえば、０．５秒間継続した場合発言終了と判定する。
発言の開始、終了判定は、図１７に図解したマイク信号変換処理部２０２ｂで音圧レベル変換された１００Ｈｚ〜６００Ｈｚのバンドパス・フィルタを通過した音圧レベルデータ（マイク信号レベル（１））が図１９に例示した閾値レベル以上になった時から発言開始と判定する。
ＤＳＰ２５は、頻繁なマイクロフォン切り替えに伴う動作不良を回避するため、発言開始を検出してから、発言終了判定時間、たとえば、０．５秒間は次の発言開始を検出しないようにしている。

マイクロフォン選択
ＤＳＰ２５は、相互通話システムにおける発言者方向検出および発言者に対向したマイク信号の自動選択を、いわゆる、「星取表方式」に基づいて行う。
図２０は双方向通話装置１の動作形態を図解したグラフである。
図２１は双方向通話装置１の通常処理を示すフローチャートである。

双方向通話装置１は図２０に図解したように、マイクロフォンＭＣ１〜ＭＣ６からの集音信号に応じて音声信号監視処理を行い、発言開始・終了判定を行い、発言方向判定を行い、マイクロフォン選択を行い、その結果を発光ダイオードＬＥＤ１〜６に表示する。
以下、図２１のフローチャートを参照して双方向通話装置１におけるＤＳＰ２５を主体として動作を述べる。なお、マイクロフォン・電子回路収容部２の全体制御はマイクロプロセッサ２３によって行われるが、ＤＳＰ２５の処理を中心に述べる。

ステップ１：レベル変換信号の監視
マイクロフォンＭＣ１〜ＭＣ６で集音した信号はそれぞれ、図１６〜図１８、特に、図１７を参照して述べた、バンドパス・フィルタ・ブロック２０１、レベル変換ブロック２０２において、７種類のレベルデータとして変換されているから、ＤＳＰ２５は各マイクロフォン集音信号についての７種類の信号を常時監視する。
その監視結果に基づいて、ＤＳＰ２５は、発言者方向検出処理１、発言者方向検出処理２、発言開始・終了判定処理のいずれかの処理に移行する。

ステップ２：発言開始・終了判定処理
ＤＳＰ２５は図１９を参照して、さらに下記に詳述する方法に従って、発言の開始、終了の判定を行う。ＤＳＰ２５が処理が発言開始を検出した場合、ステップ４の発言者方向の判定処理へ発言開始検出を知らせる。
なお、ステップ２における発言の開始、終了の判定処理が発言レベルが発言終了レベルより小さくなった時、発言終了判定時間（たとえば、0.5秒）のタイマを起動し発言終了判定時間、発言レベルが発言終了レベルより小さい時、発言終了と判定する。
発言終了判定時間以内に発言終了レベルより大きくなったら再び発言終了レベルより小さくなるまで待ちの処理に入る。

ステップ３：発言者方向の検出処理
ＤＳＰ２５における発言者方向の検出処理は、常時発言者方向をサーチし続けて行う。その後、ステップ４の発言者方向の判定処理へデータを供給する。

ステップ４：発言者方向マイクの切り換え処理
ＤＳＰ２５に発言者方向マイクの切り換え処理におけるタイミング判定処理はステップ２の処理とステップ３の処理の結果から、その時の発言者検出方向と今まで選択していた発言者方向が違う場合に、新たな発言者方向のマイク選択をステップ４のマイク信号切り換え処理へ指示する。
ただし、議長のマイクロフォンが操作部１５から設定されていて、議長のマイクロフォンと他の会議参加者とが同時的に発言がある場合、議長の発言を優先する。
この時に、選択されたマイク情報を発光ダイオードＬＥＤ１〜６に表示する。

ステップ５：マイクロフォン集音信号の伝送
マイク信号切り換え処理は６本のマイク信号の中からステップ４処理により選択されたマイク信号のみを送話信号として、双方向通話装置１から電話回線９２０を介して相手側の双方向通話装置に伝送するため、図５に図解した電話回線９２０のラインアウトへ出力する。

発言開始レベル閾値、発言終了閾値の設定
処理１：電源を投入直後に各マイクロフォンそれぞれの所定時間、たとえば、１秒間分のフロアノイズを測定する。
ＤＳＰ２５は、音圧レベル検出部のピークホールドされたレベル値を一定時間間隔、本実施の形態では、たとえば、10mSec間隔で読み出し、所定時間、たとえば、１分間の値の平均値を算出しフロアノイズとする。
ＤＳＰ２５は測定されたフロアノイズレベルを元に発言開始の検出レベル（フロアノイズ +9dB)、発言終了の検出レベルの閾値（フロアノイズ＋６ｄＢ）を決定する。ＤＳＰ２５は、以後も、音圧レベル検出器のピークホールドされたレベル値を一定時間間隔で読み出す。
発言終了と判定された時は、ＤＳＰ２５は、フロアノイズの測定として働き、発言開始の検出し、発言終了の検出レベルの閾値を更新する。

この方法によれば、この閾値設定はマイクロフォンの置かれた位置のフロアノイズレベルがそれぞれ違うので各マイクロフォンにそれぞれ閾値が設定出来され、ノイズ音源によるマイクロフォンの選択における誤判定を防げる。

処理２：周辺ノイズ（フロアノイズの大きい）部屋への対応
処理２は処理１ではフロアノイズが大きく自動で閾値レベルを更新されると、発言開始、終了検出がしにくい時の対策として下記を行う。
ＤＳＰ２５は、予測されるフロアノイズレベルを元に発言開始の検出レベル、発言終了の検出レベルの閾値を決定する。
ＤＳＰ２５は、発言開始閾値レベルは発言終了閾値レベルより大きく（たとえば、３dB以上の差)に設定する。
ＤＳＰ２５は、音圧レベル検出器でピークホールドされたレベル値を一定時間間隔で読み出す。

この方法によれば、この閾値設定は閾値が全てのマイクロフォンに対して同じ値なので、ノイズ源を背にした人と、そうでない人とで声の大きさが同程度で発言開始が認識できる。

発言開始判定
処理１：６個のマイクロフォンに対応した音圧レベル検出器の出力レベルと、発言開始レベルの閾値を比較し発言開始レベルの閾値を越した場合発言開始と判定する。
ＤＳＰ２５は、全てのマイクロフォンに対応した音圧レベル検出器の出力レベルが、発言開始レベルの閾値を越した場合は、受話再生スピーカ１６からの信号であると判定し、発言開始とは判定しない。なぜなら、受話再生スピーカ１６と全てのマイクロフォンＭＣ１〜ＭＣ６との距離は同じであるから、受話再生スピーカ１６からの音は全てのマイクロフォンＭＣ１〜ＭＣ６にほぼ均等に到達するからである。

処理２：図４に図解した６個のマイクロフォンについての６０度の等角度で放射状かつ等間隔の配置で、指向性軸を反対方向に１８０度ずらした単一指向性マイク２本（マイクロフォンＭＣ１とＭＣ４、マイクロフォンＭＣ２とＭＣ５、マイクロフォンＭＣ３とＭＣ６）の３組構成し、マイク信号のレベル差を利用する。すなわち下記の演算を実行する。

ＤＳＰ２５は上記絶対値[１],[２],[３]と発言開始レベルの閾値を比較し発言開始レベルの閾値を越した場合発言開始と判定する。
この処理の場合、処理１のように全ての絶対値が発言開始レベルの閾値より大きくなることは無いので（受話再生スピーカ１６からの音が全てのマイクロフォンに等しく到達するから）、受話再生スピーカ１６からの音か話者からの音声かの判定は不要になる。

発言者方向の検出処理
発言者方向の検出には図６に例示した単一指向性マイクロフォンの特性を利用する。単一指向特性マイクロフォンは発言者からマイクロフォンへの音声の到達角度により図６に例示したように、周波数特性、レベル特性が変化する。その結果を図７（Ａ）〜（Ｄ）に例示した。図７（Ａ）〜（Ｄ）は、双方向通話装置１から所定距離、たとえば、１．５メートルの距離にスピーカーを置いて各マイクロフォンが集音した音声を一定時間間隔で高速フーリエ変換（ＦＦＴ）した結果を示す。Ｘ軸が周波数を、Ｙ軸が信号レベルを、Ｚ軸が時間を表している。横線は、バンドパス・フィルタのカットオフ周波数を表し、この線にはさまれた周波数帯域のレベルが、図１５〜図１８を参照して述べたマイク信号レベル変換処理からの５バンドのバンドパス・フィルタを通した音圧レベルに変換されたデータとなる。

本発明の１実施の形態としての双方向通話装置１における発言者方向の検出のために実際の処理として適用した判定方法を述べる。
各帯域バンドパス・フィルタの出力レベルに対しそれぞれ適切な重み付け処理（１ｄＢフルスパン（1dBFs）ステップなら0dBFsの時０、-3dBFsなら３というように、又はこの逆に）を行う。この重み付けのステップで処理の分解能が決まる。
１サンプルクロック毎に上記の重み付け処理を実行し、各マイクの重み付けされた得点を加算して一定サンプル数で平均値化して合計点の小さい（大きい）マイク信号を発言者に対向したマイクロフォンと判定する。この結果をイメージ化したものが下記表７である。

表７に例示したこの例では一番合計点が小さいのは第１マイクロフォンＭＣ１なので、ＤＳＰ２５は第１マイクロフォンＭＣ１の方向に音源が有る（話者がいる）と判定する。ＤＳＰ２５はその結果を音源方向マイク番号という形で保持する。
上述したように、ＤＳＰ２５は各マイクロフォン毎の周波数帯域のバンドパス・フィルタの出力レベルに重み付けを付けを実行し、各帯域バンドパス・フィルタの出力の、得点の小さい（または大きい）マイク信号順に順位をつけ、１位の順位が３つの帯域以上に有るマイク信号を発言者に対向したマイクロフォンと判定する。そして、ＤＳＰ２５は第１マイクロフォンＭＣ１の方向に音源が有る（話者がいる）として、下記表８のような成績表を作成する。

実際には部屋の特性により音の反射や定在波の影響で、必ずしも第１マイクロフォンＭＣ１の成績が全てのバンドパス・フィルタの出力で一番となるとは限らないが、５バンド中の過半数が１位であれば第１マイクロフォンＭＣ１の方向に音源が有る（話者がいる）と判定することができる。ＤＳＰ２５はその結果を音源方向マイク番号という形で保持する。

ＤＳＰ２５は各マイクロフォンの各帯域バンドパス・フィルタの出力レベルデータを下記表９に示した形態で合計し、レベルの大きいマイク信号を発言者に対向したマイクロフォンと判定し、その結果を音源方向マイク番号という形で保持する。

発言者方向マイクの切り換えタイミング判定処理
図２１のステップ２の発言開始判定結果により起動し、ステップ３の発言者方向の検出処理結果と過去の選択情報から新しい発言者のマイクロフォンが検出された時、ＤＳＰ２５は、ステップ５のマイク信号の選択切り替え処理へマイク信号の切り換えコマンドを発効すると共に、発光ダイオードＬＥＤ１〜６へ発言者マイクが切り替わったことを通知し、発言者に自分の発言に対し本双方向通話装置１が応答した事を知らせる。

反響の大きい部屋で、反射音や定在波の影響を除くため、ＤＳＰ２５は、マイクロフォンを切り換えてから発言終了判定時間（たとえば、0.5 秒)経過しないと、新しいマイク選択コマンドの発効は禁止する。
図２１のステップ１のマイク信号レベル変換処理結果、および、ステップ３の発言者方向の検出処理結果から、本実施の形態においては、マイク選択切り替えタイミングは２通りを準備する。

第１の方法：発言開始が明らかに判定できる時
選択されていたマイクロフォンの方向からの発言が終了し新たに別の方向から発言があった場合。
この場合は、ＤＳＰ２５は、全てのマイク信号レベル(１)とマイク信号レベル(２)が発言終了閾値レベル以下になってから発言終了判定時間（たとえば、0.5 秒)以上経過してから発言が開始され、どれかのマイク信号レベル(１)が発言開始閾値レベル以上になった時発言が開始されたと判断し、音源方向マイク番号の情報を元に発言者方向に対向したマイクロフォンを正当な集音マイクロフォンと決定し、ステップ５のマイク信号選択切り替え処理を開始する。

第２の方法：発言継続中に新たに別の方向からより大きな声の発言があった場合
この場合はＤＳＰ２５は発言開始（マイク信号レベル(１)が閾値レベル以上になった時）から発言終了判定時間（たとえば、0.5 秒)以上経過してから判定処理を開始する。 発言終了検出前に、３の処理からの音源方向マイク番号が変更になり、安定していると判定された場合、ＤＳＰ２５は音源方向マイク番号に相当するマイクロフォンに現在選択されている発言者よりも大声で発言している話者がいると判断し、その音源方向マイクロフォンを正当な集音マイクロフォンと決定し、ステップ５のマイク信号選択切り替え処理を起動する。

検出された発言者に対向したマイク信号の選択切り替え処理
ＤＳＰ２５は図２１のステップ４の発言者方向マイクの切り換えタイミング判定処理からのコマンドで選択判定されたコマンドにより起動する。
ＤＳＰ２５のマイク信号の選択切り替え処理は、図２２に図解したように、６回路の乗算器と６入力の加算器で構成する。マイク信号を選択する為には、ＤＳＰ２５は選択したいマイク信号が接続されている乗算器のチャネルゲイン（チャネル利得：CH Gain）を〔１〕に、その他の乗算器のCH Gainを〔０〕とする事で、加算器には選択された（マイク信号×〔１])の信号と（マイク信号×〔０])の処理結果が加算されて希望のマイク選択信号が出力に得られる。

上記の様にチャネルゲインを[１]か[０]に切り換えると切り換えるマイク信号のレベル差によりクリック音が発生する可能性が有る。そこで、双方向通話装置１では、図２３に図解したように、CH Gainの変化を[１]から[０]へ、[０]から[１]へ変化するのに、切替遷移時間、たとえば、１０ｍ秒の時間で連続的に変化させてクロスするようにして、マイク信号のレベル差によるクリック音の発生を避けている。

また、チャネルゲインの最大を[1]以外、たとえば[0.5]の様にセットする事で後段のＤＳＰ２５におけるエコーキャンセル処理動作の調整を行うこともできる。

上述したように、本発明の実施形態の通話装置は、ノイズの影響を受けず、有効に会議などの通話装置に適用できる。

本発明の実施形態の通話装置は構造面から下記の利点を有する。
（１）複数の単一指向性を持つマイクロフォンと受話再生スピーカとの位置関係が一定であり、さらにその距離が非常に近いことで受話再生スピーカから出た音が会議室（部屋）環境を経て複数のマイクロフォンに戻ってくるレベルより直接戻ってくるレベルが圧倒的に大きく支配的である。そのために、受話再生スピーカから複数のマイクロフォンに音が到達する特性（信号レベル（強度）、周波数特性（ｆ特）、位相）がいつも同じである。つまり、通話装置においてはいつも伝達関数が同じという利点がある。

（２）それ故、マイクロフォンを切り替えた時の伝達関数の変化がなく、マイクロフォンを切り替える都度、マイクロフォン系の利得を調整をする必要がないという利点を有する。換言すれば、通話装置の製造時に一度調整をするとやり直す必要がないという利点がある。

（３）上記と同じ理由でマイクロフォンを切り替えても、ディジタルシグナルプロセッサ（ＤＳＰ）で構成するエコーキャンセラが一つでよい。ＤＳＰは高価であり、種々の部材が搭載されて空きが少ないプリント基板にＤＳＰを配置するスペースも少なくてよい。

（４）受話再生スピーカと複数のマイクロフォン間の伝達関数が一定であるため、±３ｄＢもあるマイクロフォン自体の感度差調整をユニット単独で出来るという利点がある。 （５）通話装置が搭載されるテーブルは、通常、円卓を用いるが、通話装置内の一つの受話再生スピーカで均等な品質の音声を全方位に均等に分散（閑散）するスピーカシステムが可能になった。

（６）受話再生スピーカから出た音はテーブル面を伝達して（バウンダリ効果）会議参加者まで有効に能率良く均等に上質な音が届き、会議室の天井方向に対しては対向側の音 と位相キャンセルされて小さな音になり、会議参加者に対して天井方向からの反射音が少なく、結果として参加者に明瞭な音が配給されるという利点がある。

（７）受話再生スピーカから出た音は複数の全てのマイクロフォンに同時に同じ音量で届くので発言者の音声なのか受話音声なのかの判断が容易になる。その結果、マイクロフォン選択処理の誤判別が減る。

（８）偶数個のマイクロフォンを等間隔で配置したことで方向検出の為のレベル比較が容易に出来る。

（９）緩衝材を用いたダンパー、柔軟性または弾力性を持つマイクロフォン支持部材などにより、マイクロフォンが搭載されているプリント基板を介して伝達され得る受話再生スピーカの音による振動が、マイクロフォンの集音に影響を低減することができる。

（１０）受話再生スピーカの音が直接、マイクロフォンには進入しない。したがって、この双方向通話装置においは受話再生スピーカからのノイズの影響が少ない。

上述した通話装置は信号処理面から下記の利点を有する。
（ａ）複数の単一指向性マイクを等間隔で放射状に配置して音源方向を検知可能とし、マイク信号を切り換えてＳ／Ｎの良い音、クリアな音を集音（収音）して、相手方に送信することができる。
（ｂ）周辺の発言者からの音声をＳ／Ｎ良く集音して、発言者に対向したマイクを自動選択できる。
（ｃ）本発明においては、マイク選択処理の方法として通過音声周波数帯域を分割し、それぞれの分割された周波数帯域事のレベルを比較する事で、信号分析を簡略化している。
（ｄ）本発明のマイク信号切り換え処理をＤＳＰの信号処理として実現し、複数の信号をすべてにクロス・フェード処理する事で切り換え時のクリック音を出さないようにしている。
（ｅ）マイク選択結果を、発光ダイオードなどの表示手段、または、外部への通知処理することができる。したがって、たとえば、テレビカメラへの発言者位置情報として活用することもできる。

以上、双方向通話装置１の構成、処理動作について詳述した。
本双方向通話装置１の上述した効果・特徴を利用した技術が、以下の実施形態で述べる本発明の音声処理装置としての翻訳機能付通話装置である。

第１の実施形態
図２４は、本実施形態における翻訳機能付通話装置１ａの回路ブロック図の１例である。
図２４に示す翻訳機能付通話装置１ａの回路ブロック図は、図５で示した双方向通話装置１の回路ブロック図と比較して、第３のディジタルシグナルプロセッサ（ＤＳＰ）である翻訳用ＤＳＰ４０と、音声認識メモリ４１と、翻訳辞書メモリ４２と、音素片メモリ４３とを備えている点で異なる。
これらの追加された構成要素は、上述した双方向通話装置１の外部に構成してもよいが、本実施形態においては、図４で示した回路基板上の空き領域に実装される。

図２５に示すように、翻訳用ＤＳＰ４０は、音声認識手段としての音声認識部４０１と、テキスト翻訳手段としての翻訳部４０２と、音声合成手段としての音声合成部４０３とから構成され、音声認識部４０１は音声認識メモリ４１と接続され、翻訳部４０２は翻訳辞書メモリ４２と接続され、音声合成部４０３は音素片メモリ４３と接続される。
以下、これらの各構成要素について説明する。

音声認識部４０１は、ＤＳＰ２６により出力される音声信号である信号Ｓ２６を、文字列データ（テキストデータ）に変換する。
具体的には、信号Ｓ２６を入力すると、入力された音声信号を分析し、後述するように、音声認識メモリ４１に格納された音響モデルから音響的な特徴量（音響特徴）を抽出する。すなわち、入力された音声信号Ｓ２６に対して、音声認識に用いる基本的な音の単位、すなわち、子音や母音などの人間の発音の小さい単位（音素）ごとに音響特徴を抽出する。
さらに、音声認識部４０１は、抽出した音声信号Ｓ２６の音素ごとの音響特徴を、音声認識メモリ４１に格納された認識辞書と参照し、認識対象のテキストデータの中で、入力された音声信号Ｓ２６の各音素に最も近い候補を、音声認識結果（テキストデータである信号Ｓ４０１）として出力する。すなわち、認識辞書には、音素単位の音響特徴に対応するテキストデータが記述されているので、信号Ｓ２６から抽出した音響特徴を、認識辞書に記述された音響特徴と比較して、その中で最も近い音響特徴に対応するテキストデータを選択して出力する。

なお、その際、上述した音声認識における認識率を向上させるため、認識したい言葉をあらかじめ特定の人の声で登録しておくことで、登録者の音声が特に良く認識可能とするように構成することも可能である（特定話者音声認識）。したがって、あらかじめ翻訳機能付通話装置１ａを使用して、会議を行う話者（会議参加者）が特定されている場合には、これらの会議参加者の音響特徴を音声認識メモリ４１に登録しておくことで、音声認識の認識率を向上させることができる。

音声認識メモリ４１には、上述した音響モデルと認識辞書が格納されている。
音響モデルは、人間の発音の小さな単位（音素）が音響特徴によって記述されており、音声信号の音素単位と対応する音響特徴を参照することが可能となる。この音響特徴は、多数の話者の音声から求めた音素の統計的な音響特徴情報である。
認識辞書には、音声認識をさせるテキストデータが記述されており、音素単位の音響特徴に対応するテキストデータを参照することが可能となる。

翻訳部４０２は、音声認識部４０１よりテキストデータＳ４０１を入力し、翻訳処理をした後に、テキストデータＳ４０２を出力する。
翻訳処理としては、様々な翻訳処理ソフトウエアが公知技術として知られており、それらを適用することが可能である。たとえば、言語Ｘのテキストデータを言語Ｙのテキストデータに翻訳処理を行う場合、一般に、下記のような処理が必要となる。
（１）言語Ｘのテキストデータ（信号Ｓ４０１）の構文解析
言語Ｘのテキストデータ（信号Ｓ４０１）を入力し、構文解析を行う。すなわち、入力した言語Ｘのテキストデータを解析し、各単語の主語，述語等が特定し、単語間の関連がツリー構造で記述されるデータ（構文木）を作成する。
（２）言語Ｙの構文木の生成
得られた言語Ｘの構文木を、定められた規則に従って変換する。すなわち、翻訳辞書メモリ４２に格納された翻訳辞書（言語Ｘ→言語Ｙ）を参照して、（１）で得られた構文木を単語単位で言語Ｙの構文木に変換する。そして、得られた言語Ｙの構文木を、言語Ｙに適応した単語順序の変換や助詞の付加等の所定の規則にしたがって変換する。
（３）言語Ｙのテキストデータの生成
変換された言語Ｙの構文木から言語Ｙのテキストデータ（信号Ｓ４０２）を生成する。

翻訳辞書メモリ４２は、上述したように、特定の言語の単語単位のテキストデータと、異なる言語の単語単位のテキストデータとが、翻訳辞書として対応付けられて記述される。
なお、翻訳辞書メモリ４２に対して、翻訳機能付通話装置１ａの外部からアクセスすることにより、新規翻訳辞書を適宜、追加登録可能に構成されることは言うまでもない。

音声合成部４０３は、翻訳部４０２によって翻訳されたテキストデータＳ４０２を入力し、音声信号に変換する（音声合成）。
具体的には、以下の処理を行う。
（１）テキスト解析処理
入力されたテキストデータＳ４０２を、音素片メモリ４３に格納された単語辞書を参照して、テキスト解析を行う。
テキスト解析は、上記単語辞書を用いて、連接する単語の文法的接続関係に基づいて、アクセントの設定・ポーズ等の情報を、入力されたテキストデータに付加する。同一の単語に対しても、前後の文脈等によりアクセントを設定する位置が異なることがあるためである。
（２）音声合成処理
音声合成処理では、上記テキスト解析処理で生成されたアクセント等が付加されたテキストデータを、音声信号に変換する。すなわち、上記テキスト解析処理がなされたテキストデータを、音素毎の音声信号が格納される音素片メモリ４３と参照して、対応する音声信号に変換して出力する（音声信号Ｓ４０）。

音素片メモリ４３には、上述したように、単語辞書と音素片データが格納される。
単語辞書は、各単語（テキストデータ）ごとの読み、アクセントの設定・ポーズ等の情報であり、音声合成部４０３で実行されるテキスト解析処理において参照される。
音素片データは、各音素毎に対応する音声信号のデータであり、音声合成部４０３で実行される音声合成処理において参照される。

なお、上述した翻訳部４０２が、日本語のテキストを英語のテキストに変換する場合には、英語の単語辞書および音素片データが音素片メモリ４３に格納されることは言うまでもない。

以上、双方向通話装置１に対して付加された翻訳機能付通話装置１ａの各構成要素について説明した。
次に、本実施形態における翻訳機能付通話装置１ａの動作について、図２４に関連付けて説明する。なお、以下の動作の説明においては、翻訳用ＤＳＰ４０が日本語から英語の翻訳機能を備えている場合を１例として説明する。

前述した双方向通話装置１の信号処理動作と同様に、図２４に示す翻訳機能付通話装置１ａにおいては、６本のマイクロフォンＭＣ１〜ＭＣ６から集音した日本語によるアナログの音声信号を入力すると、それぞれ２チャネルのＡ／Ｄ変換器２７１〜２７３により、ディジタル信号に変換される。
変換されたディジタル信号は、ＤＳＰ２５による前述した信号処理、すなわちマイクロフォンの選択・切り替え処理を行う。これにより、主たる話者が特定されて、その音声信号がＤＳＰ２６に出力される。

ＤＳＰ２６では、特定された話者の音声信号に対して、エコーキャンセル処理が行われ、翻訳用ＤＳＰ４０に出力される。

翻訳用ＤＳＰ４０では、音声認識部４０１においてエコーキャンセル処理された日本語の音声信号が文字列（テキストデータ）に変換され、さらに、そのテキストデータが翻訳部４０２において英語のテキストデータに変換される。
さらに、音声合成部４０３において、翻訳部４０２で変換された英語のテキストデータに基づいて、英語の音声信号が生成される（信号Ｓ４０）。

したがって、ＤＳＰ２５により選択された話者の日本語の音声信号（ディジタル）が、翻訳用ＤＳＰ４０により、英語の音声信号に変換され、Ｄ／Ａ変換器２８によりアナログ信号に変換され、増幅器２９１により増幅されてラインアウトから出力される。

次に、翻訳機能付通話装置１ａの適用例について説明する。
図２６は、たとえば、それぞれ遠隔地にいる複数の日本人Ａ１０，Ａ１１と複数の米国人Ａ２０，Ａ２１が、それぞれ翻訳機能付通話装置１ａ，１ａ’を使用し、電話回線９２０を介して会議を行う場合の適用例を示す図である。
なお、翻訳機能付通話装置１ａは日本語から英語の翻訳機能を、翻訳機能付通話装置１ａ’は英語から日本語の翻訳機能を、それぞれ有している。したがって、翻訳機能付通話装置１ａと翻訳機能付通話装置１ａ’とでは、翻訳用ＤＳＰ４０，音声認識メモリ４１，翻訳辞書メモリ４２，および音素片メモリ４３が異なる。

上述の動作の説明のとおり、複数の日本人Ａ１０，Ａ１１の日本語による発言（音声信号）は、翻訳機能付通話装置１ａによって、１人の話者が特定され、特定された話者の音声信号が英語のアナログ音声信号に変換される。英語のアナログ音声信号は、電話回線９２０を通して、相手方会議室に設置された翻訳機能付通話装置１ａ’のラインインに入力され、受話再生スピーカ１６から、エコーキャンセルされた音が出力される。これにより、複数の米国人Ａ２０，Ａ２１は、日本人の会議における発言の内容が理解できる。
また、複数の日本人Ａ１０，Ａ１１の日本語による発言（音声信号）は、翻訳機能付通話装置１ａの受話再生スピーカ１６から日本語のまま出力されるので、会議に参加している他の日本人も発言内容が理解できる。

一方、複数の米国人Ａ２０，Ａ２１の英語による発言（音声信号）は、翻訳機能付通話装置１ａ’によって、１人の話者が特定され、特定された話者の音声信号が日本語のアナログ音声信号に変換される。日本語のアナログ音声信号は、電話回線９２０を通して、相手方会議室に設置された翻訳機能付通話装置１ａのラインインに入力され、受話再生スピーカ１６から、エコーキャンセルされた音が出力される。これにより、複数の日本人Ａ１０，Ａ１１は、米国人の会議における発言の内容が理解できる。
また、複数の米国人Ａ２０，Ａ２１の英語による発言（音声信号）は、翻訳機能付通話装置１ａ’の受話再生スピーカ１６から英語のまま出力されるので、会議に参加している他の米国人も発言内容が理解できる。

以上のようにして、異なる言語間の複数の人間同士が、それぞれ相手の言語を話すことができない場合でも、翻訳機能付通話装置１ａ，１ａ’を使用することにより、電話会議等が可能となる。
また、翻訳用ＤＳＰ４０の音声認識部４０１と翻訳部４０２において、翻訳前後のテキストデータが得られるので、これを出力させることにより、議事録等として活用することもできる。
さらに、本実施形態において、翻訳機能付通話装置１ａは、双方向通話装置１の特徴を引き継ぐため、以下の効果を備えている。
（１）３６０度全方位に均等に分散するスピーカシステムを備えているので、翻訳された音声信号が、均等な品質で会議参加者全員に伝搬される。
（２）受話再生スピーカから出力された翻訳された音声が、翻訳機能付通話装置１ａが設置されたテーブル面を伝達して各会議参加者に対し、均等に上質な音として届き、会議室の天井方向に対しては対向側の音と位相キャンセルされて小さな音になり、会議参加者に対して天井方向からの反射音が少なく、結果として参加者に明瞭に翻訳された音声信号が配給される。

本実施形態は、上述した内容に拘泥せず、様々な変更が可能である。
たとえば、上述した説明では、翻訳用ＤＳＰ４０は、１対１の言語間の翻訳処理を行うこととしたが、多言語間の翻訳が可能なように構成してもよい。
また、日本人同士で日本語による会議を行うことが多い場合には、翻訳機能付通話装置１ａの翻訳用ＤＳＰ４０での処理を実行させるか否かを選択するためのスイッチング機能を付加し、翻訳機能付通話装置１ａに設置されたディップスイッチ等によりユーザに選択させるようにしてもよい。

また、上述した翻訳機能付通話装置１ａでは、翻訳用ＤＳＰ４０をラインアウトによって出力される側に設定したが、受話スピーカ１６によって出力される側、すなわち、ＤＳＰ２６とＤ／Ａ変換器２８２の間に設定してもよい。
そして、翻訳用ＤＳＰ４０を、異なる言語の双方向の翻訳機能、たとえば日本語から英語、および英語から日本語の翻訳処理を、スイッチ等に切り替えられるように構成すれば、１つの翻訳機能付通話装置を用いて、同じ会議室で、日本人と米国人がそれぞれ母国語を使って会話することが可能となる。
この場合でも、お互いの翻訳された音声信号は、受話スピーカ１６から出力されるので、翻訳機能付通話装置を中心にしてどの位置に話者（日本人と米国人）がいたとしても、双方向通話装置の特徴からクリアな音として認識されるという利点がある。

第２の実施形態
以下、第２の実施形態について説明する。
本実施形態のおける翻訳機能付通話装置は、第１の実施形態で説明した翻訳機能付通話装置１ａと比較して、声紋認証された音声信号のみ翻訳して出力する。
図２７〜２８は、本実施形態における翻訳機能付通話装置１ｂの構成を示すブロック図の１例である。
図２７〜２８に示すように、本実施形態における翻訳機能付通話装置１ｂは、第１の実施形態における翻訳機能付通話装置１ａと比較して、声紋データメモリ４４と、翻訳用ＤＳＰ４０の中に声紋認識手段としての声紋認識部４０４が追加されて構成される。
また、声紋認識部４０４と声紋データメモリ４４は、お互い接続されて構成される。

以下、第１の実施形態における翻訳機能付通話装置１ａに対して追加されたこれらの構成要素について説明する。
声紋認識部４０４は、入力された音声信号の声紋認証を行い、声紋認証された音声信号のみを後段の声認識部４０１に出力する。
すなわち、個々人の声紋の相違は、その人の顔形から生ずる口腔・鼻孔の容積・構造の相違、および身長や性別から生ずる声帯の相違から決定されるので、このような声紋に対して周波数分析を行い、登録された声紋データと照合することにより、本人を特定することが可能となる。
このような声紋認証は、通話者が風邪等によって声がかすれたり鼻声になったとしても、声紋の波形の強さや周波数には変化として現れないため、本人特定の認識率が高いとされている。

具体的には、声紋認証は、以下の処理を行う。
（１）音声信号Ｓ２６に対して周波数分析を行い、その音声信号を、時間，周波数，音の強さの三次元のパターンで表現した声紋データを生成する。
（２）生成された声紋データを、声紋データメモリ４４に格納されて事前に登録された会議参加者の声紋データと比較し、合致する声紋データが存在する場合には限り、音声信号を音声認識部４０に対して信号Ｓ４０４として出力する。

声紋データメモリ４４には、上述したとおり、事前に登録された会議参加者の声紋データが格納され、声紋認識部４０４より参照される。

以上説明したように、本実施形態における翻訳機能付通話装置１ｂによれば、会議参加者の１の話者が特定され、さらに、特定された話者の音声信号が声紋認証され、登録された話者であることが確認された後に翻訳処理し、会議の相手先に対して、翻訳された音声信号を出力するので、第１の実施形態における翻訳機能付通話装置１ａにより得られた効果に加えて、以下の効果を得ることができる。
すなわち、
（１）会議参加者以外の音声信号は、会議の相手先に出力されず、会議参加者のみの有効な音声信号だけが会議の相手先に出力されるので、会議がスムーズに進行することが期待される。
（２）声紋認証処理により本人認証が可能となるので、会議の相手先に出力する音声信号に対して、必要に応じて、本人認証された発言者名の情報等を重畳させることが可能となる。

第３の実施形態
第１および第２の実施形態においては、翻訳用ＤＳＰ４０に翻訳処理機能（翻訳部４０２）を内蔵させていたが、本実施形態においては、外部の翻訳処理機能を利用する点で異なる。
本実施形態における通話装置１ｃ，１ｄは、翻訳機能付通話装置１ａをベースとするが、外部の翻訳処理機能に対して、ディジタル音声信号を送信するか、または、テキストデータを送信するかによって本実施形態における翻訳機能付通話装置の構成は異なる。

たとえば、ディジタル音声信号を送信する場合には、ＤＳＰ２６でエコーキャンセル処理された音声信号を送信し、翻訳処理された音声信号を受信して出力するので、翻訳用ＤＳＰ４０に相当する構成要素は必要ない。
また、テキストデータを送信する場合には、ＤＳＰ２６でエコーキャンセル処理された音声信号を音声認識部４０１でテキストデータに変換した後に送信し、翻訳処理されたテキストデータを音声合成部４０３によって音声信号に変換して出力するか、または、ＤＳＰ２６でエコーキャンセル処理された音声信号を送信し、翻訳処理された音声信号を受信して出力するので、音声認識部４０１が少なくとも必要である。

図２９は、本実施形態における通話装置１ｃ，１ｃ’が、それぞれＬＡＮ装置９５０，９５１を介して、ウェブ上の翻訳処理用サーバ９３０に対して、テキストデータまたは音声信号を送信する場合の実施態様を示す図である。
このように、無線通信により、ウェブ上の翻訳処理用サーバ９３０で行われる翻訳サービスが実用化されつつあり、このような翻訳サービスを利用することで、第１の実施形態における翻訳機能付通話装置１ａと同様な効果を得ることができる。

図３０は、本実施形態における通話装置１ｄ，１ｄ’が、それぞれ携帯電話機９４０，９４１を介して、翻訳処理センタ９３１に対して、テキストデータまたは音声信号を送信する場合の実施態様を示す図である。
このように、無線通信により、翻訳処理センタ９３１で行われる翻訳サービスが実用化されつつあり、このような翻訳サービスを利用することで、第１の実施形態における翻訳機能付通話装置１ａと同様な効果を得ることができる。

また、上述した通話装置１ｃ，１ｄにおいて、受信した翻訳結果である翻訳された音声信号を、受話スピーカ１６によって出力するように構成すれば、これらの通話装置を翻訳機として使用することが可能となる。すなわち、１つの通話装置を用いて、同じ会議室で、たとえば、日本人と米国人がそれぞれの母国語を使って会話することが可能となる。
この場合でも、お互いの翻訳された音声信号（受信信号）は、受話スピーカ１６から出力されるので、通話装置を中心にしてどの位置に話者（日本人と米国人）がいたとしても、双方向通話装置の特徴からクリアな音として認識されるという利点がある。

（Ａ）は双方向通話装置が適用される１例しての会議システムの概要を示す図であり、（Ｂ）は（Ａ）における通話装置が載置される状態を示す図であり、（Ｃ）はテーブルに載置された通話装置と会議参加者との配置を示す図である。 双方向通話装置の斜視図である。 図１に図解した双方向通話装置の内部断面図である。 図１に図解した双方向通話装置の上部カバーを取り外したマイクロフォン・電子回路収容部の平面図である。 マイクロフォン・電子回路収容部の主要回路の接続状態を示す図であり、第１のディジタルシグナルプロセッサ（ＤＳＰ１）および第２のディジタルシグナルプロセッサ（ＤＳＰ２）の接続の接続状態を示している。 図４に図解したマイクロフォンの特性図である。 （Ａ）〜（Ｄ）は、図６に図解した特性を持つマイクロフォンの指向性を分析した結果を示すグラフである。 双方向通話装置の変形態様の部分構成図である。 第１のディジタルシグナルプロセッサ（ＤＳＰ１）における全体処理内容の概要を示すグラフである。 双方向通話装置のノイズ測定方法の第１形態を示すフローチャートである。 双方向通話装置のノイズ測定方法の第２形態を示すフローチャートである。 双方向通話装置のノイズ測定方法の第３形態を示すフローチャートである。 双方向通話装置のノイズ測定方法の第４形態を示すフローチャートである。 双方向通話装置のノイズ測定方法の第５形態を示すフローチャートである。 本発明の通話装置内のフィルタリング処理を示す図面である。 図１５の処理結果を示す周波数特性図である。 バンドパス・フィルタリング処理とレベル変換処理を示すブロック図である。 図１７の処理を示すフローチャートである。 双方向通話装置の発言開始、終了を判定する処理を示すグラフである。 双方向通話装置の通常処理の流れを示すグラフである。 双方向通話装置の通常処理の流れを示すフローチャートである。 双方向通話装置のマイクロフォン切り替え処理を図解したブロック図である。 双方向通話装置のマイクロフォン切り替え処理の方法を図解したブロック図である。 本発明の第１の実施形態である翻訳機能付通話装置のブロック図の１例である。 本発明の第１の実施形態である翻訳機能付通話装置のブロック図の１例である。 第１の実施形態の翻訳機能付通話装置の適用例を例示する図である。 本発明の第２の実施形態である翻訳機能付通話装置のブロック図の１例である。 本発明の第２の実施形態である翻訳機能付通話装置のブロック図の１例である。 第３の実施形態の翻訳機能付通話装置の適用例を例示する図である。 第３の実施形態の翻訳機能付通話装置の適用例を例示する図である。

符号の説明

１…双方向通話装置１、ＭＣ１〜ＭＣ６…マイクロフォン、１６…受話スピーカ、２３…マイクロプロセッサ、２４…コーデック、２５…第１のディジタルシグナルプロセッサ（ＤＳＰ１）、２６…第２のディジタルシグナルプロセッサ（ＤＳＰ２）、２７…Ａ／Ｄ変換器ブロック、２８…Ｄ／Ａ変換器ブロック、２９…増幅器ブロック、１ａ，１ａ’，１ｂ…翻訳機能付通話装置、１ｃ，１ｃ’，１ｄ，１ｄ’…通話装置、４０…翻訳用ＤＳＰ、４０１…音声認識部、４０２…翻訳部、４０３…音声合成部、４０４…声紋認識部、４１…音声認識メモリ、４２…翻訳辞書メモリ、４３…音素片メモリ、４４…声紋データメモリ、９２０…９３０…翻訳処理サーバ、９３１…翻訳処理センタ、９４０，９４１…携帯電話機、９５０，９５１…ＬＡＮ装置。

Claims (4)

1. 複数のマイクロフォンと、
   前記複数のマイクロフォンの集音信号のうち１つを選択するマイクロフォン信号選択手段と、
   前記マイクロフォン信号選択手段によって選択されたマイクロフォン集音信号に基づいて、第１のテキストデータを生成する音声認識手段と、
   前記音声認識手段により生成された第１のテキストデータを翻訳して第２のテキストデータを生成するテキスト翻訳手段と、
   前記テキスト翻訳手段により生成された第２のテキストデータに基づいて、音声信号を生成する音声合成手段と
   を具備する音声処理装置。
2. 前記選択されたマイクロフォン集音信号について事前に登録された声紋と一致するか否かの声紋認証を行う声紋認識手段を有し、
   前記音声認識手段は、
   前記声紋認識手段が、マイクロフォン信号選択手段により選択されたマイクロフォン集音信号から得られた声紋と、事前に登録された声紋と一致すると判断した場合に限り、
   前記マイクロフォン集音信号に基づいて、第１のテキストデータを生成する
   請求項１に記載の音声処理装置。
3. 複数のマイクロフォンの集音信号のうち１つを選択するステップと、
   選択されたマイクロフォン集音信号に基づいて、第１のテキストデータを生成するステップと、
   生成された第１のテキストデータを翻訳して第２のテキストデータを生成するステップと、
   生成された第２のテキストデータに基づいて、音声信号を生成するステップと
   を具備する音声処理方法。
4. 選択されたマイクロフォン集音信号から得られた声紋と、事前に登録された声紋と一致すると判断した場合に限り、前記マイクロフォン集音信号に基づいて、第１のテキストデータを生成する
   請求項３に記載の音声処理方法。

Images