JP3572849B2 - 音源位置計測装置、及びカメラ撮影制御装置 - Google Patents
音源位置計測装置、及びカメラ撮影制御装置 Download PDFInfo
- Publication number
- JP3572849B2 JP3572849B2 JP3029297A JP3029297A JP3572849B2 JP 3572849 B2 JP3572849 B2 JP 3572849B2 JP 3029297 A JP3029297 A JP 3029297A JP 3029297 A JP3029297 A JP 3029297A JP 3572849 B2 JP3572849 B2 JP 3572849B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- sound
- microphone
- camera
- microphones
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Focusing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は音源からの音情報によって音源位置を計算する音源位置計測装置、及び音源位置の情報に基づいてカメラの撮影位置を制御するカメラ撮影制御装置に関し、特に同一音源からの音が複数のマイクに到達するときの時間差を利用して音源位置を計算する音源位置計測装置、及びその計算結果に基づいてカメラの撮影位置を制御するカメラ撮影制御装置に関する。
【０００２】
【従来の技術】
会議の映像記録や遠隔会議システムにおいては、会議の場全体を撮影したり、個々の発言者をズームアップして捉えることが重要である。これによって、発言者の表情や会議の雰囲気をよりよく捉え、会議の臨場感を高めることができるからである。しかも、このような撮影は自動的に行われることが望まれている。
【０００３】
そこで、発言者を撮影できる会議システムとして特開平４−１２２１８４号公報や特開平４−２９７１９６号公報のような発明がなされている。前者は、個々の音源すなわち各発言者それぞれにマイクを割り当て、そのマイクからの信号によって発言者の検出を行うもので、発言者の撮影は１台のカメラによって行われる。一方後者の発明は、各話者ごとにカメラとマイクを割り当て、それぞれの話者の発言を各話者の声紋によって判別するという方法を採っている。また、特開平６−２１７３０４号公報では、話者ごとに固有の無線信号を発信する発信機を各マイクに取り付け、この無線信号を受信する受信機によって計測された受信信号をもとに発信機の座標位置を求める方法を採っている。
【０００４】
ところが、これらのシステムでは、参加者全員に対してマイクを用意しなければならないため煩雑な設置作業が必要になると共に、カメラで撮影する位置はあらかじめ設定された場所のみであるため、柔軟性にかけていた。
【０００５】
それに対し、特開平７−１４０５２７号公報に見られるカメラ撮影制御装置では、同一音源からの音を２本のマイクが捉えたときに、マイク間の音の位相差を利用して音源の方向を知るという方法をとることによって、少ないマイクで多くの音源方向にカメラを向けることができるように工夫している。
【０００６】
また、同一音源からの音が複数のマイクに到達するときの時間差を利用して、音源の方向を知ること、すなわち音源定位が可能であることは広く知られている。この場合、２本のマイクでは、それらを結ぶ線の中点に垂直な面を対称面とした対称性が残るため、前後の判定ができなくなる。このため、特開平７−１４０５２７号公報に開示された発明では、カメラの脇にマイクを取り付け、カメラ前方の音のみを捉えるようにしている。
【０００７】
また、会議の映像記録を行う際に各話者の発話時刻の情報を取得できると、後に映像の編集に場合に便利である。そこで従来は、各話者に割り当てられたマイクへの音声入力を検知することによって、発話時刻の情報を取得することも行われていた。
【０００８】
【発明が解決しようとする課題】
しかし、話者をカメラで撮影する場合には、従来の方法によって求められるのはあくまで音源の方向であって、音源位置を求めるには至っていないという問題点があった。すなわち、求められる音源の方向はマイクの位置が基準となっていることから、マイクとカメラが一体でなくてはならない。その結果、マイクとカメラとを分離することができず、各話者からの発声を捉えやすい位置にマイクを配置することができないという制約があった。しかも、カメラで撮影する場合には、カメラから音源までの位置によってズームの度合いが変わるため、音源からの距離が分からないと、ズーム量を調節することはできない。
【０００９】
また、発話時刻の情報を取得する場合に、話者ごとにマイクを割り当てるのでは、マイクの設置やケーブルの取り回し等のために煩雑な作業が必要となる。従って、もっと簡単な構成で、マイクの捉えた音声と話者とを対応づけられることが望まれている。
【００１０】
本発明はこのような点に鑑みてなされたものであり、同一音源からの音が複数のマイクに到達するときの時間差を利用して、音源位置を求めることができる音源位置計測装置を提供することを目的とする。
【００１１】
また、本発明の別の目的は、カメラとマイクとを異なる位置に配置しても、音源の方向へカメラを向けることができるカメラ撮影制御置を提供することである。
【００１３】
【課題を解決するための手段】
本発明では上記課題を解決するために、音情報によって音源位置を計算する音源位置計測装置において、正三角形の３つの頂点に設置されたマイクと、１つの音源の発した音が前記マイクのそれぞれで捉えられた時刻を音検出時刻として検出する音信号検出手段と、前記マイクごとの音検出時刻に基づいて、前記マイクの２個ずつを組合わせることにより得られる３組のマイクペアごとの音の到達時間差を測定する時間差測定手段と、前記各マイクペアを結ぶ線から±６０度の範囲を前記各マイクペアの音源計測範囲とし、前記各マイクペアが捉えた音の到達時間差の符号によって音源の存在可能範囲を限定し、それぞれの前記マイクの位置と前記マイクペアごとの音の到達時間差とから、音源位置を計算する音源位置計算手段と、を有することを特徴とする音源位置計測装置が提供される。
【００１４】
このような音源位置計測装置によれば、ある音源から音が発せられると、各マイクにより、その音源からの距離に応じた時刻にその音が捉えられる。次いで、マイクが音を捉えた時刻が音信号検出手段で検出され、音検出時刻とされる。すると、その音検出時刻に基づいて、時間差測定手段により、マイクペアごとの音の到達時間差が測定される。そして、音源位置計算手段により、各マイクペアが捉えた音の到達時間差の符号によって音源の存在可能範囲が限定され、マイクペアごとの音の到達時間差に基づいて音源位置が計算される。
【００１５】
また、回転台の上に設置されたカメラの向きを制御しながら撮影を行うカメラ撮影装置において、正三角形の３つの頂点に設置されたマイクと、１つの音源の発した音が前記マイクのそれぞれで捉えられた時刻を音検出時刻として検出する音信号検出手段と、前記マイクごとの音検出時刻に基づいて、前記マイクの２個ずつを組合わせることにより得られる３組のマイクペアごとの音の到達時間差を測定する時間差測定手段と、前記各マイクペアを結ぶ線から±６０度の範囲を前記各マイクペアの音源計測範囲とし、前記各マイクペアが捉えた音の到達時間差の符号によって音源の存在可能範囲を限定し、それぞれの前記マイクの位置、前記マイクペアごとの音の到達時間差及び前記カメラの位置の情報に基づき、前記カメラに対する音源の相対的な位置を計算する音源位置計算手段と、前記音源位置計算手段が算出した音源の位置情報に基づき、音源の方向へカメラの向きを制御するカメラ制御手段と、を有することを特徴とするカメラ撮影制御装置が提供される。
【００１６】
このようなカメラ撮影装置によれば、ある音源から音が発せられると、各マイクが、その音源からの距離に応じた時刻にその音を捉える。マイクが音を捉えた時刻が音信号検出手段により音検出時刻とされ、その音検出時刻に基づいて、時間差測定手段によりマイクペアごとの音の到達時間差が測定され、音源位置計算手段により、各マイクペアが捉えた音の到達時間差の符号によって音源の存在可能範囲が限定され、マイクペアごとの音の到達時間差に基づいて音源位置が計算される。そして、カメラ制御手段により、音源の方向へカメラの向きが制御される。これにより、常に話者に対してカメラを向けておくことができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明のカメラ撮影制御装置の原理構成図である。まず、所定の形状の三角形の３つの頂点にマイク１〜３が配置されている。音信号検出手段４は、１つの音源の発した音がマイク１〜３のそれぞれで捉えられた時刻を音検出時刻として検出するとともに、マイク１〜３の捉えた音声信号を映像・音声記録再生手段１２に送る。時間差測定手段５は、マイクごとの音検出時刻に基づいて、マイク１〜３の２個ずつを組合わせることにより得られる３組のマイクペアごとの音の到達時間差を測定する。音源位置計算手段６は、それぞれのマイク１〜３の位置とマイクペアごとの音の到達時間差とから、音源位置を計算する。計算された音源位置の情報は、カメラ制御手段７と発話情報記録手段１１とに渡される。
【００２２】
カメラ制御手段７は、カメラ本体９が載せられてた回転台を回転させるカメラ駆動手段８と、カメラ本体９のズーム量を調整するための電動レンズ１０とを制御している。そして、カメラ制御手段７は、音源位置情報に基づき、カメラが音源を所定の大きさで捉えるようにカメラの向きとズーム量を制御する。カメラ本体９で撮影された映像信号は、映像・音声記録再生手段１２に送られる。
【００２３】
発話情報記録手段１１は、マイクが音を捉えた際の音源位置情報と、発話時刻とを記録する。映像・音声記録再生手段１２は、カメラ本体９から送られた映像情報を記録再生する。再生指示手段１３は、発話情報記録手段１１に格納された情報を用いて、映像・音声記録再生手段１２に対して再生指示を与える。
【００２４】
このようなカメラ撮影制御装置によれば、ある場所で発言をした者がいると、その声は３本のマイク１〜３で捉えられる。すると、音信号検出手段４により、各マイク１〜３が音を捉えた時刻が検出され、音検出時刻とされる。この際、話者のいる位置から各マイク１〜３までの距離の違いにより、各マイク１〜３が音を捉える時刻には時間差が生じている。そこで、時間差測定手段５によりマイク１〜３の２個ずつを組合わせることにより３組のマイクペアが作られ、そのマイクぺアごとの音の到達時間差が測定される。そして、各マイクペアの音の到達時間差を用いて、音源位置計算手段６によって音源位置が計算される。この際、カメラ本体９の位置を基準とした座標系における音源位置が算出される。
【００２５】
音源位置が求まると、カメラ制御手段７によりカメラ本体９から見た音源の方向と距離とが計算され、カメラ駆動手段８を制御することによりカメラ本体９が音源の方向に向けられるるとともに、電動レンズ１０を制御することによりズーム量が調節される。
【００２６】
一方、音信号検出手段４が検出した音声情報と、カメラ本体９が撮影した映像情報とが映像・音声記録再生手段１２に記録されるとともに、音源ごとの発話時刻が発話情報記録手段１１に格納される。そして、この装置のオペレータは、発話情報記録手段１１に格納された情報により任意の話者の発話時刻を知ることができ、特定の話者の発言のみを映像・音声記録再生手段１２から抽出して再生することもできる。
【００２７】
このようにして、３本のマイクのみで音源位置を測定できるため、マイクとカメラとを離しておいてもカメラを音源に向けることができるとともに、カメラから音源までの距離に応じてズーム量を調整することもできる。さらに、音源位置と発話時刻とを対応づけて記録しておくことができるため、各話者の発話時刻と映像・音声記録再生手段１２に記録された情報とを対応づけることにより、映像のインデックスを作成することができる。
【００２８】
ところで、本発明のカメラ撮影制御装置は、テレビ会議システムや重要な会議のビデオ撮影として有効に利用できる。そこで、本発明のカメラ撮影制御装置を用いて会議の内容を撮影する場合を例にとり実施の形態を説明する。
【００２９】
図２は、第１の実施の形態に係るカメラ撮影制御装置の配置図である。この例では、司会者２１と向き合って、複数の参加者２２ａ〜２２ｋがコの字形のテーブル２３に着いている。会議室の中央には、正三角形の頂点に配置された３本のマイク１〜３が置かれている。これらのマイク１〜３は、カメラ撮影制御装置の装置本体１００に接続されている。装置本体１００には、カメラ２００が接続されている。
【００３０】
発言者の声をマイク１〜３が捉えると、装置本体１００によって音源位置が計算され、カメラが発言者の方向に向けられるとともに、カメラから発言者までの距離に応じてズーム・インやズーム・アウトが行われる。
【００３１】
なお、３本のマイク１〜３の作る正三角形の辺の長さ、すなわちマイク間の距離は任意に設定可能であるが、ここでは会議の場で設置しやすく、常温での音速値３４０ｍ／ ｓから計算しやすい値である６８ｃｍとしている。
【００３２】
図３は、第１の実施の形態に係るカメラ撮影制御装置の内部構成図である。音声入力手段である正三角形の頂点に配置された３本のマイク１〜３は音信号検出器１１０に接続されている。音信号検出器１１０は、マイク１〜３の捉えた音を音声信号として出力するとともに、各マイク１〜３が音を捉えた時刻に応じた信号を出力する。その信号は、時間差測定器１２０に入力される。時間差測定器１２０は、各マイク１〜３が音を捉えた時刻の時間差を計算して、時間差データを出力する。その時間差データは音源位置計算器１３０に入力される。音源位置計算器１３０は、時間差データから音源位置を計算して出力する。
【００３３】
基準信号発生器１０１は、同一音源からの音を各マイクが捉えた時刻の時間差を計測するため基準クロックを発生し、その基準クロックを時間差測定器１２０と音源位置計算器１３０とに供給する。ここでは周期０．５μｓの方形波を生成している。この周期によって音の時間差計測の分解能が決まる。この実施の形態ではマイク間の距離が６８ｃｍであるため、マイク間の最大の時間差は６８ｃｍを音速（３４０ｍ／ ｓ）で割った値、すなわち２ｍｓとなる。０．５μｓという値はこの４０００分の１の値であるため、会議における話者位置計算には十分な分解能である。
【００３４】
カメラ制御装置１４０は、音源位置計算器１３０から音源位置データを受け取り、カメラ本体２０３の方向およびズーム量を制御する。カメラ本体２０３は回転台２０１の上に固定されており、回転台２０１を回転させることによりカメラ本体２０３の方向を変えることができる。また、カメラ本体２０３には、撮影範囲を変える電動レンズ２０２を備えており、この電動レンズ２０２の調整によりズーム量が調整できる。カメラ本体２０３の撮影した画像は、映像出力１０３として出力される。
【００３５】
このような構成のカメラ撮影制御装置によれば、図２の司会者２１若しくは参加者２２ａ〜２２ｋが発言すると、その音声は３つのマイク１〜３で捉えられ音信号検出器１１０に入力される。以下に、音信号検出器１１０の詳細を説明する。
【００３６】
図４は、音信号検出器１１０の内部構成を示す図である。音信号検出器１１０は、基本的に、アンプ１１１ａ〜１１１ｃ、信号・電力変換器１１２ａ〜１１２ｃ、レベル判定器１１３ａ〜１１３ｃ、及び微分器１１４ａ〜１１４ｃの４つの要素を１組とした、３つの組から構成されている。
【００３７】
各マイク１〜３からの信号１０３ａ〜１０３ｃは、信号を増幅するアンプ１１１ａ〜１１１ｃに入力される。アンプ１１１ａ〜１１１ｃの出力は、それぞれに対応して設けられた信号・電力変換器１１２ａ〜１１２ｃに入力されるとともに、ミキサー１１５にも入力される。ミキサー１１５は、アンプによって増幅された音声信号をステレオ信号に変換し、音声出力１０２として出力する。
【００３８】
各信号・電力変換器１１２ａ〜１１２ｃは、アンプ１１１ａ〜１１１ｃの出力信号から音信号のパワーを求め、パワー信号をそれぞれに対応して設けられたレベル判定器１１３ａ〜１１３ｃに入力する。各レベル判定器１１３ａ〜１１３ｃは、パワー信号を特定のしきい値によって２値化したのちＴＴＬ（Transistor-Transistor-Logic ）レベルの信号を、それぞれに対応して設けられた微分器１１４ａ〜１１４ｃに入力する。各微分器１１４ａ〜１１４ｃは、入力された信号の出力の立ち上がりを検出し、立ち上がりを示すトリガ信号１０４ａ〜１０４ｃを出力する。
【００３９】
なお、微分器１１４ａ〜１１４ｃの出力の前には、ダイオードの働きにより、正の微分結果のみを出力するようにしてある。また、アンプ１１１ａ〜１１１ｃの増幅度とレベル判定器１１３ａ〜１１３ｃのしきい値は、各組ごとにボリュームによって任意に設定することができる。
【００４０】
このような音信号検出器１１０における信号の変化を、マイク１からの信号１０３ａを例にとり以下に説明する。
図５は、音信号検出器１１０における信号の変化を示す図である。なお、この図では全て横軸が時間であり、縦軸が電圧である。
【００４１】
（Ａ）はマイク１から入力された信号の波形を示す図である。マイク１からは比較的弱い波形の信号１０３ａが入力されている。この信号１０３ａがアンプ１１１ａで増幅される。
【００４２】
（Ｂ）はアンプ１１１ａで増幅後の信号の波形を示す図である。アンプ１１１ａにより増幅されることにより、（Ａ）に示した波形に比べ振幅の大きい波形となっている。この信号は、信号・電圧変換器１１２ａにより、パワー信号に変換される。
【００４３】
（Ｃ）は、パワー信号の波形を示す図である。パワー信号は、正の値だけの信号である。この信号は、レベル判別器１１３ａでしきい値１１６によってレベル判定がなされる。
【００４４】
（Ｄ）は、レベル判定後の信号の波形を示す図である。レベル判定により２値化された信号が得られる。この信号が微分器１１４ａを通過することにより、トリガ状の信号となる。
【００４５】
（Ｅ）は、微分器１１４ａから出力される信号の波形を示す図である。微分器１１４ａから出力されるトリガ信号状の波形は、微分器１１４ａに入力された信号の立ち上がり時を示している。
【００４６】
このようにして、マイク１が捉えた音から、その音を捉えた時点を示すトリガ信号状の波形が得られる。この処理は、他の２つのマイク２，３の捉えた音に対しても同様に行われ、それぞれのマイク２，３に対応するトリガ信号１０４ｂ〜１０４ｃが音信号検出器１１０の出力信号となる。
【００４７】
各音信号検出器１１０から出力された３つのトリガ信号１０４ａ〜１０４ｃは、基準信号発生器１０１からのクロック信号とともに時間差測定器１２０に入力される。
【００４８】
図６は、時間差測定器１２０の内部構成を示す図である。時間差測定器１２０は、３つのトリガ信号変換器１２１ａ〜１２１ｃと、３つの遅延器１２２ａ〜１２２ｃとから構成される。トリガ信号変換器１２１ａ〜１２１ｃは、入力されたトリガ信号１０４ａ〜１０４ｃを基準信号発生器１０１が生成する方形波のＨ（ハイ）レベルと同じ時間幅の方形波に変換する。また、各遅延器１２２ａ〜１２２ｃは、２つの方形波の時間差を測定する。
【００４９】
このような構成の時間差測定器１２０によれば、入力されたトリガ信号１０４ａ〜１０４ｃは、トリガ信号変換器１２１ａ〜１２１ｃにより、基準信号である方形波のＨレベルと同じ時間幅の方形波に変換される。
【００５０】
図７は、トリガ信号から得られる方形波を示す図である。（Ａ）はトリガ信号を表しており、（Ｂ）は方形波を表している。すなわち、ある時刻から１６０．８μｓ後にトリガ信号１０４ａがあったとすると、そのトリガ信号１０４ａはつぎの基準クロックがＨレベルとなっている１６１．０μｓから１６１．２５μｓの間がＨレベルであるような方形波１２０ａに変換される。
【００５１】
基準クロックの周期に量子化された信号は、次に２つずつの信号をペアにして、遅延器１２２ａ〜１２２ｃに入力される。すなわち、マイク１とマイク２とによる信号のペア、マイク２とマイク３とによる信号のペア、そしてマイク３とマイク１とによる信号のペアの３つの組が遅延器１２２ａ〜１２２ｃに入力される。
【００５２】
図８は、遅延器１２２ａの内部構成を示す図である。遅延器１２２ａは、実際にディレイ回路によって構成することも可能であるが、この例では信号がクロックの周期に合わせて量子化されていることを利用して、順序判定器１２２ａａ、カウンタ１２２ａｂおよびデータ変換器１２２ａｃによって構成している。
【００５３】
順序判定器１２２ａａはどちらの入力が先にあったかを判定するもので、マイク１による信号１２３ａ、マイク２による信号１２３ｂ、およびクリア信号１２２ａｄの３つの入力を持つ。そして、順序判定器１２２ａａは、順序を判定するための出力である順序判定ビット１２２ａｅ，１２２ａｆをデータ変換器１２２ａｃに対して出力するとともに、時間差計測のための信号１２２ａｇをカウンタ１２２ａｂへ出力する。
【００５４】
カウンタ１２２ａｂには、順序判定器１２２ａａの出力１２２ａｇ以外に、基準信号発生器１０１からのクロック信号１２２ａｈが入力されている。カウンタ１２２ａｂは、順序判定器１２２ａａの出力した信号１２２ａｇがＨレベルである間だけ、入力されているクロック信号１２２ａｈのＨレベルの回数を計数するものであり、計数結果である計数出力１２２ａｉをデータ変換器１２２ａｃに対して出力する。また、カウンタ１２２ａｂは、順序判定器１２２ａａに対するクリア信号１２２ａｄも出力する。
【００５５】
データ変換器１２２ａｃは、順序判定器１２２ａａの２つの順序判定ビット１２２ａｅ，１２２ａｆと、２バイトの符号無し２進数のカウンタ１２２ａｂの計数出力１２２ａｉを、２バイトの符号付き２進数に変換するものである。そして、変換結果を出力データ１０５ａとするとともにデータ変換終了信号１０６ａを１パルスのＨレベルとして出力する。
【００５６】
このような構成の遅延器１２２ａは、次のように動作する。
２つの信号１２３ａ，１２３ｂが入力されると、順序判定器１２２ａａにより、どちらの信号の入力が早かったかが判定される。信号１２３ａの入力のほうが早くＨレベルになれば順序判定ビット１２２ａｅがＨレベルに保たれ、逆に信号１２３ｂの入力のほうが早くＨレベルになれば順序判定ビット１２２ａｆがＨレベルに保たれる。そして、カウンタ１２２ａｂへ出力される信号１２２ａｇは、２つの信号１２３ａ，１２３ｂ入力のどちらかがＨレベルになった時点から他方の信号がＨレベルになるまでＨレベルが保たれる。これらの順序判定器１２２ａａの状態は、クリア信号１２２ａｄがＨレベルになることによってクリアされる。したがって、順序判定ビット１２２ａｅおよび順序判定ビット１２２ａｆの出力がこの順序で（１，０）ならば信号１２３ａの入力が早く、また（０，１）ならば信号１２３ｂの入力が早いことが判定できる。
【００５７】
カウンタ１２２ａｂは、信号１２２ａｇがＨレベルになると、入力されているクロック信号１２２ａｈのＨレベルの回数の計数を開始する。信号１２２ａｇがＬ（ロー）レベルになると、カウンタ１２２ａｂは計数を停止し、計数した情報を１６ビットの符号なし２進数として計数出力１２２ａｉとする。したがって、クロックの周期０．５μｓにこの計数結果を乗じた値が計測された時間差となるが、ここではカウンタ１２２ａｂの計数した値をそのまま用いる。カウンタ１２２ａｂは、計数出力１２２ａｉが出力されると同時にクリア信号１２２ａｄにも１パルスのＨレベルの信号を送り出す。このクリア信号１２２ａｄによって、順序判定器１２２ａａの状態がクリアされ、次の入力に備える。
【００５８】
２つの順序判定ビット１２２ａｅ，１２２ａｆの出力と２バイトの符号無し２進数のカウンタ１２２ａｂの計数出力１２２ａｉとは、データ変換器１２２ａｃにより２バイトの符号付き２進数に変換され、出力データ１０５ａとなる。データ変換が終了すると、データ変換終了信号１０６ａを１パルスのＨレベルとして出力する。出力データ１０５ａとデータ変換終了信号１０６ａとは、次の音源位置計算器１３０に送られる。なお、３つの遅延器１２２ａ〜１２２ｃのそれぞれのデータ変換器は、マイクペアの順序を（１、２）、（２、３）および（３、１）とし、それぞれ第１列のマイクの音のほうが先であると、符号をプラスにし、逆の場合は符号をマイナスにする。
【００５９】
ここで、音源位置計算器１３０の機能の詳細を説明する前に、音源位置の計算方法について述べる。音源位置計算の基本は、２つのマイクにおける音源方向の計算にある。
【００６０】
図９は、音源方向の計算のためのマイクの座標系を示す図である。図に示すように、２つのマイク１，２を通る直線をｕ軸とし、２つのマイク１，２の中点を原点としたｕ−ｖ座標系を考える。そして原点から−ａだけ離れた位置（−ａ，０）にマイク１が、またａだけ離れた位置（ａ，０）にマイク２が置かれており、音源Ｐの位置が原点から（ｒ，Θ）の位置にあるとすると、音源Ｐからの音がそれぞれのマイクに到達するときの時間差ｄｔは、
【００６１】
【数１】
ｄｔ＝〔（ｒ２ ＋２ｒａｃｏｓ Θ＋ａ２ ）１／２ −（ｒ２ −２ｒａｃｏｓ Θ＋ａ２ ）１／２ 〕／Ｖ０ ・・・（１）
となる。ただし、Ｖ０ は音速の値（常温で３４０ｍ／ ｓ）である。これをｒをパラメータとしてプロットしてみる。
【００６２】
図１０は、マイク間の時間差と音源方向との関係式を示すグラフである。ただし、ここではａ＝１ｍで計算している。このように、ｄｔに対するｒの効果はΘに比べて十分小さく、ｒの値を変化させたとしても角度誤差は５度程度であることと、いずれのｒをとってもΘが約２５度より小さくなる領域ではそれまでの領域に比べてｄｔに対する角度感度が高くなっていることが分かる。このことから、マイクペアへの音の到達時間差を知ることによって、その音の音源の方向、すなわちｕ−ｖ座標の原点と音源とを結ぶ直線を求めることができる。別のマイクペアによってもうひとつの直線を求めれば、それらの直線の交点から音源位置が求められる。
【００６３】
本実施の形態では、マイクペアの組み合わせによって音源位置の計算を行うため、Ｘ軸から±６０度の範囲を各マイクペアの計測範囲として音源位置計算を行う。
【００６４】
図１１は、１組のマイクペアの計測範囲を示す図である。２本のマイク１，２がｕ軸上に原点を挟んで配置されているとすれば、このマイクペアの計測範囲は、原点から見て、ｕ軸を中心に正の方向に±６０°、負の方向に±６０°である。このように計測範囲を定め、３組のマイクペアのうち、音源位置が計測範囲内にある２つのマイクペアを使って音源位置の計算を行う。３本のマイクは正三角形の頂点に配置されているため、任意の音源位置に対して必ず２つのマイクペアがこの範囲に収まる。したがって、音源位置計算に利用するデータは、３つの時間差計数データから最も時間差の小さいデータを除外したものとなる。
【００６５】
そこで、音源位置の計算には、まず、それぞれのマイクペアにおいて個別に図１１に示したような座標系をとって音源方向を求める。音源方向は、計測された時間差データを角度−時間差情報テーブルと比較することによって求める。
【００６６】
図１２は角度−時間差情報テーブルを示す図である。この例ではマイク間の距離が６８ｃｍであるので、図のテーブルではｒの値を３ｍに設定して、上の式でΘが０度から６０度まで５度ごと２つのマイクの時間差情報を入力してある。テーブルの第１列目は、上から順に６０度から５度ごとに０度までの角度が与えられており、第２列目にはその角度での２つのマイクの時間差データが格納されている。時間差データは、上の式で計算した時間差を基準クロックの周期である０．５μｓで割った値の２バイトの符号付き整数表現にしてある。これによって、時間差測定器１２０で求めた時間差データとの比較が直接行える。時間差データから方向を知るには、このテーブルの第２列目を参照し、時間差データの絶対値がテーブル内の値を超えない最大のセルを見出せば、そのテーブルの第１列から角度データを得ることができる。このとき、図１１のｖ軸の両側で線対称になっているが、時間差データの値がマイナスならばマイク１側に発話位置があり、またプラスならばマイク２側に発話位置があることになる。
【００６７】
また、ここで求められた角度データは、２つのマイクを結ぶ軸（図１１のｕ軸）を対称軸としてその軸から両側の２つの直線が解として成り立つが、この対称性の問題は、時間差データとマイクペアの組み合わせ情報とによって解決することができる。
【００６８】
図１３は、２つの時間差情報から音源位置を求めるための方法を説明する図である。この例では、マイク３，１のマイクペアとマイク２，３のマイクペアにより音源位置を求める。なお、各マイク１〜３を頂点とする正三角形の重心（各頂点と対辺の中点とを結ぶ線分の交点）が原点となるようにｘ−ｙ座標が定義されている。マイク３，１のマイクペアからは２本の直線３１ａ，３１ｂが求められ、マイク２，３のマイクペアからも２本の直線３２ａ，３２ｂが求められる。また、音源Ｐからの音はマイク３に達するよりも速くマイク１およびマイク２に達するため、マイク２とマイク３とのペアからはプラスの角度情報（マイク２側に音源があることを示す）が得られ、またマイク３とマイク１のペアからはマイナスの角度情報（マイク１側に音源があることを示す）が得られる。しかも、図１１に示したように、各マイクペアの計測範囲は制限されている。したがって、時間差情報の組み合わせにより、音源の範囲が限定できる。図１３の例における音源位置は、第１象限のｘ軸からの角度が０〜６０度の範囲に限定される。すなわち、直線３１ｂおよび直線３２ｂの可能性はないことになり、結局直線３１ａおよび直線３２ａの２つが残ることになる。
【００６９】
このように、マイクペアの組み合わせと各マイクペアにおける時間差データの符号によって音源位置の範囲が特定される。その全部の組み合わせを以下に示す。
【００７０】
図１４は、マイクペアの組み合わせと時間差データの符号によって決まる音源の範囲を示す図である。図中での１、２、３はそれぞれマイク１，２，３の位置を示している。また、マイク１，２のマイクペアの時間差データを（１，２）、マイク２，３のマイクペアの時間差データを（２，３）、マイク３，１のマイクペアの時間差データを（３，１）としている。したがって、マイクペアの時間差データの符号と音源の範囲との関係は以下のようになる。なお、以下の説明における角度は、正のｘ軸からの角度（反時計回り）で表す。
【００７１】
（２，３）＞０、（３，１）＜０であれば、音源は正のｘ軸からの角度が０〜６０度の範囲内に限定される。
（１，２）＞０、（３，１）＜０であれば、音源は正のｘ軸からの角度が６０〜１２０度の範囲内に限定される。
【００７２】
（１，２）＞０、（２，３）＜０であれば、音源は正のｘ軸からの角度が１２０〜１８０度の範囲内に限定される。
（２，３）＜０、（３，１）＞０であれば、音源は正のｘ軸からの角度が１８０〜２４０度の範囲内に限定される。
【００７３】
（１，２）＜０、（３，１）＞０であれば、音源は正のｘ軸からの角度が２４０〜３００度の範囲内に限定される。
（１，２）＜０、（２，３）＞０であれば、音源は正のｘ軸からの角度が３００〜３６０度の範囲内に限定される。
【００７４】
なお、この図に示したマイクペアの時間差データの符号と音源の範囲との関係は、音源位置領域テーブルとして音源位置計算器１３０内に予め保持しておく。以上のようにして特定された２つの直線を図１１のｕ−ｖ座標系から図１３のようなｘ−ｙ座標系に座標変換すれば、それらの交点から音源位置Ｐ（ｘ，ｙ）が求められる。図１３の例では、マイク３，１のペアの場合は点（−ａ／ ２，ａ／ ２√３）を通り、ｘ軸と「６０度＋上記の方法で求めたｕ−ｖ座標系での角度」の角度をなす直線３１ａを、またマイク２，３のペアの場合は点（０，−ａ／ ２√３）を通りｘ軸と「上記の方法で求めたｕ−ｖ座標系での角度」の角度をなす直線３２ａを得て、それら直線の交点を求めればよい。
【００７５】
位置の計算は、時間差測定器１２０で得られた３つの符号付き２進数情報を用いて、音源位置計算器１３０で行われる。音源位置計算器１３０はコンピュータ上に構築されている。
【００７６】
図１５は、音源位置測定器の内部構成を示す図である。図に示すように、音源位置測定器１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ）１３３を中心に構成されている。
【００７７】
３つのポート１３１ａ〜１３１ｃは、時間差測定器１２０で計測されたデータを取り込みＣＰＵ１３３に供給する。ＡＮＤゲート１３２は、データをＣＰＵ１３３に取り込むタイミングを与える。ＣＰＵ１３３は、各ポート１３１ａ〜１３１ｃからのデータを蓄えるためのレジスタ１３３ａ〜１３３ｃを有している。また、ＣＰＵ１３３は、バス１３４を介して各種周辺機器との間のデータ転送を行う。
【００７８】
バス１３４には、入力装置１３５、出力ポート１３６、メモリ１３７、およびハードディスク１３８が接続されている。入力装置１３５は、カメラとマイクとの位置関係を入力するためのものである。出力ポート１３６は、計算結果をカメラ制御装置１４０へ出力するための通信ポートである。メモリ１３７は、ＣＰＵ１３３が実行するプログラムを一時的に保持するためのものである。ハードディスク１３８は、プログラム、角度−時間差情報テーブル、音源位置領域テーブルおよび座標変換テーブルを保持している。なお、音源位置計算器１３０で行われる音源位置の計算処理は、ハードディスク１３８に格納されたプログラムをメモリ１３７にロードし、そのプログラムをＣＰＵ１３３が実行することにより実施される処理である。
【００７９】
このような音源位置計算器１３０に入力される時間差測定器１２０からの３つのデータ出力１０５ａ〜１０５ｃは、まず３つのポート１３１ａ〜１３１ｃに伝えられ、時間差測定器１２０からの出力１０６ａ〜１０６ｃがすべてＨレベルになってＡＮＤゲート１３２の出力がＨレベルになった時点で、ＣＰＵ１３３の中の３つのレジスタ１３３ａ〜１３３ｃに取り込まれる。３つのレジスタ１３３ａ〜１３３ｃに取り込まれた３つの時間差データの内、最も時間差の少ないデータを除いた２つの時間差データが、あらかじめメモリ上に確保されている変数領域ｔ１およびｔ２に書き込まれる。そして、この２つの時間差データに基づいて、前述の音源位置の計算が行われる。これにより、図１３のｘ−ｙ座標系での音源位置が求められる。その後、カメラ位置を原点にとったＸ−Ｙ座標系へ座標変換し、Ｘ−Ｙ座標系での音源位置Ｐ（Ｘ，Ｙ）を求める。
図１６は、マイクの座標系とカメラの座標系の関係を示す図である。マイク１〜３の中心（三角形の重心）がｘ−ｙ座標の原点であり、カメラ２００（図２に示す）の回転中心が、Ｘ−Ｙ座標の原点である。
【００８０】
実際には、マイク２およびマイク３を結ぶ線と平行なｘ軸と回転台２０１の０度の方向が平行となるようにマイク１〜３とカメラ２００とが設置される。したがってこの際の座標変換は平行移動のみである。平行移動量のデータは、装置を設置した時点で測定し、入力装置１３５によって音源位置計算器１３０に入力する。音源位置計算器１３０は、このデータを用いて座標変換を行う。座標変換は平行移動だけでなく、両方の座標系がある角度をなしていた場合でも、この回転による座標変換を行うだけでよい。ただし、その際にはｘ−ｙ座標系とＸ−Ｙ座標系のなす角度を測定しておく必要がある。このようにして求められた音源位置Ｐ（Ｘ，Ｙ）は、２バイトの浮動小数点データとして出力ポート１３６から送り出され、カメラ制御装置１４０に入力される。
【００８１】
図１７は、カメラ制御装置１４０の内部構成を示す図である。この図に示すように、カメラ制御装置１４０は、角度計算部１４１、ズーム量計算部１４２、データ出力部１４３、キャリブレーション部１４４、ボリューム１４５、及びキャリブレーション設定ボタン１４６から構成される。
【００８２】
角度計算部１４１には、音源位置データＰ（Ｘ，Ｙ）と回転台２０１の動作を知らせる信号２０４とが入力されている。角度計算部１４１は、信号２０４がＬレベルのときに、音源位置データＰ（Ｘ，Ｙ）を極座標系のデータ（Ｒ，Θ）に変換する。Ｒはカメラから音源位置までの距離、Θは音源位置ＰとＸ−Ｙ座標系の原点とを結んだ線がＸ軸となす角度である。さらに、Θの値はロータリーエンコーダのデータフォーマットに変換され、データ出力部１４３に送られる。ここでは、角度Θを１．４で割った値の整数値を８ビットの符号無し２進数に変換する。この１．４という値は、３６０度を８ビットのデータの最大値２５６で割ったものである。角度計算部１４１で計算された音源までの距離Ｒは、ズーム量計算部１４２とキャリブレーション部１４４に送られる。キャリブレーション部１４４は、カメラと人物との距離が変化すると、それに合わせてカメラのズーム量も変化するため、基準距離と基準ズーム量の値という２つの基準情報をズーム量計算部１４２に設定するために設けている。キャリブレーション部１４４にはズーム量を手動で設定できるボリューム１４５およびキャリブレーション設定ボタン１４６が接続されている。キャリブレーション部１４４は、角度計算部１４１が出力する距離データを用い、その時点でのズーム量をボリューム１４５によって設定する。ボリューム１４５を回すとカメラ２００の電動レンズが駆動され、ズーム量が変化するようになっている。ボリューム１４５を操作してちょうどよいズーム量となった時点でキャリブレーション設定ボタン１４６を押すと、その時点での距離データＲｏとズーム量データＺｏが基準情報としてズーム量計算部１４２に出力される。これらのデータを受け取ったズーム量計算部１４２は、それらの値をメモリに保持し、それ以後のズーム量の計算に用いる。ただし、本装置のように撮影対象が人物であるような場合には撮影対象の大きさが決まっているとみて差し支えないため、あらかじめ上の２つの基準情報のデフォルト値を設定してあってもよい。
【００８３】
さて、角度計算部１４１で計算された音源までの距離Ｒはズーム量計算部１４２に送られ、ズーム量が計算される。ズーム量の計算は、距離Ｒを基準距離Ｒｏで割り、その値に基準ズーム量Ｚｏを乗じることによって行う。計算された角度データとズーム量は、データ出力部１４３を経てそれぞれ回転台２０１および電動レンズ２０２に送られ、カメラ撮影装置が駆動される。このとき、回転台２０１の動作が終了しない間に次の撮影位置情報が出力されないよう、回転台２０１の動作を知らせる信号２０４が回転台２０１からカメラ制御装置１４０に送り出される。この信号はＨレベルならば回転台２０１が動作中であることを示し、その間はカメラ制御装置１４０における計算は行われない。具体的には、この信号は角度計算部１４１に送られ、この信号がＨレベルの間は音源位置計算器１３０から送られてくるデータを内部に取り込まない。
【００８４】
このようにしてカメラ撮影が行われた会議は、映像出力１０３および音声出力１０２を通して記録したり遠隔地に電送することができる。この際、各会議場においては参加者全員のためにマイクを用意する必要がないとともに、３本のマイクとカメラとが同じ場所にある必要もない。したがって、マイクは全員の会話を捉えやすい位置に配置し、カメラは全員の表情を捉えやすい位置に配置できる。
【００８５】
なお、上記の説明では、２本のマイクが捉えた音の到達時間差と音源方向との関係が、音源までの距離に依存しないことを利用して音源位置の計算を行っているが、３つのマイクが捉えた音の時間差から幾何学的に音源位置を計算することもできる。以下にその計算方法について説明する。
【００８６】
まず、簡単のために、ｘ−ｙ座標系の（０，ａ）、（０，０）、（ａ，０）の３個所に３本のマイク１〜３が設置されているものとする。音源Ｐ（ｘ，ｙ）から発せられた音がそれぞれのマイク１〜３に達した時間を、それぞれｔ１、ｔ２、ｔ３とする。音源Ｐと各マイクとの距離をそれぞれｌ１，ｌ２
，ｌ３とすると、
【００８７】
【数２】
である。各マイク間の時間差すなわちｔ１−ｔ２をｄｔ１ 、ｔ２−ｔ３をｄｔ２ 、ｔ３−ｔ１をｄｔ３ とし、音速の値をｖｓとすると、各マイク間の音の到達時間差は音源から各マイクまでの距離によって次のように与えられる。
【００８８】
【数３】
これらの、式（２）、式（３）から
【００８９】
【数４】
となり、この連立方程式を解けば音源位置Ｐ（ｘ，ｙ）を求めることができる。このような音源位置の求め方は、三角測量の原理と同様のものであって、広く知られている。この計算方法を用いるか、あるいは前述の第１の実施の形態で用いた方法で計算するのかは、音源位置計算器の性能や、要求される音の時間差計測の分解能によって判断する。例えば、高い分解能が要求される場合には、簡単な計算で高速に演算できる第１の実施の形態で説明した方法を用い、分解能が低くてよい場合には、角度−時間差情報テーブルなどの事前の準備が省ける幾何学的な音源位置計算方法を用いることができる。
【００９０】
また、上記の第１の実施の形態では、マイクの床からの高さとカメラの床からの高さが同じ高さであるようなシステムであったが、カメラの位置を高くすることも可能である。この場合、マイクの床からの高さからカメラの床からの高さを引いた値をＺ軸方向へのオフセット量ｄとして、カメラ制御装置内の計算において鉛直方向のカメラの向きを計算すればよい。ただし、上の座標系においては、鉛直下向きをＺ軸の正の方向としている。すなわち、音源位置計算器１３０で求めてカメラ位置のオフセットを加えた音源位置Ｐ（Ｘ，Ｙ）をＰ（Ｘ，Ｙ，ｄ）とし、床と垂直な方向の角度Φを
【００９１】
【数５】
ｄ／（Ｘ２＋Ｙ２）１／２ ＝ｔａｎ Φ・・・（５）
によって求めればよい。Ｚ軸方向にも回転可能な回転機構を実施例１の回転台に付加すれば、Ｚ軸方向にオフセットがあった場合でも正しく話者を捉えることが可能となる。この回転機構は、第１の実施の形態と全く同様の構成で実現することができる。
【００９２】
さらに、第１の実施の形態においては２次元平面内での音源位置計算を行っていたが、マイクを正三角錐の４つの頂点に配置することによって、３次元空間内の音源位置を知ることが可能である。正三角錐では４つの正三角形があり、それぞれの三角形で実施例１のような計算を行って各三角形の平面上での音源方向を示す三角形面に垂直な面を割り出すことができる。各正三角形ごとに音源方向を示す平面を見出せば、あとは各平面の交点を求めることで３次元空間内の音源位置を知ることができる。
【００９３】
ところで、上記の第１の実施の形態では算出された音源位置情報をカメラの制御に利用する場合のみを説明したが、音源位置情報を映像信号のインデックス情報として利用することもできる。そのようなインデックス機能を有する音源位置記録装置を第２の実施の形態として以下に説明する。
【００９４】
図１８は、音源位置記録装置の内部構成図である。この音源位置記録装置は、３本のマイク１〜３、音信号検出器１１０、時間差測定器１２０、音源位置計算器１３０及び基準信号発生器１０１の構成は、図３に示した第１の実施の形態の構成と同じであるため、同一の番号を付して説明を省略する。また、この図には示していないが、音源位置計算器１３０には図３に示したものと同様のカメラ制御装置１４０が接続されており、そのカメラ制御装置１４０はカメラ本体２０３が設置された回転台２０１と電動レンズ２０２とを制御している。
【００９５】
この実施の形態では、音源位置計算器１３０の出力は、カメラ制御装置１４０とともにコンピュータ１５１にも入力されている。コンピュータ１５１には、入力装置１５２、表示装置１５３、記憶装置１５４及び制御装置１５５が接続されていている。制御装置１５５には、さらに記録再生装置１５６が接続されている。
【００９６】
コンピュータ１５１は、音源位置テーブルと時刻テーブルとを有しており、音源位置計算器１３０が出力した音源位置情報を音源位置テーブルに、またその情報を受け取った時刻を時刻テーブルに登録する。なお、コンピュータ１５１が実行する処理内容、及び音源位置テーブルと時刻テーブルとの詳細は後述する。
【００９７】
入力装置１５２は、音源位置計算終了の合図やコメントデータなどの入力を行うためのものである。表示装置１５３は、音源位置データ、時刻データおよびコメントデータを表示するためのものである。記憶装置１５４は、音源位置データと時刻データおよびコメントデータを記憶するためのものであり、ハードディスク装置等を使用する。
【００９８】
制御装置１５５は、記録再生装置１５６を制御するためものもである。記録再生装置１５６には音源位置記録と同時に、第１の実施の形態によって記録された映像記録が収められる。この第２の実施の形態では、ハードディスク上にディジタル記録された映像記録を用いている。ハードディスクは通常のテープ記録と異なり、ランダムアクセスが素早く行えるため、映像の検索作業を短時間に済ませることができる。利用者は、すでに記憶装置１５４に保存されている音源位置データと時刻データおよびコメントデータを表示装置１５３上に表示し、ここで再生の指示を作成する。例えば、司会者の発言部分だけを通して再生すれば、会議の議題リストを作成するといった作業が効率よく行える。制御装置１５５は、コンピュータが作成した再生時刻リストを元に再生装置の早送りや再生の指示を行う。再生が開始されると、入力装置から早送りの指示があるまで再生を続ける。
【００９９】
図１９は、音源位置テーブルの例を示す図である。音源位置テーブル４１は２列３６行のマトリックスであり、第１列目および第２列目にはそれぞれｘ座標値及びｙ座標値が格納される。このマトリックスには初期値として「ｎｕｌ」が入力されている。なお、３６行という行数は、角度分解能が５度程度であることと、会場における参加者の数として高々この程度を想定していることによる。
【０１００】
そして、マトリックスに格納されていない新しい音源位置データが音源位置計算器１３０から送られてくると、その座標値を次の行に追加して格納していく。このとき、すでに登録済みのデータと比較して角度誤差が５度以内で、かつ距離の誤差がｘ方向、ｙ方向ともに±２５ｃｍ以内であれば同じ位置とみなし、追加処理は行わない。その理由は、話者は着座姿勢を保っているとしても常に固定しているわけではなく、椅子を動かしたり頭をゆすったりすることが考えられるためである。
【０１０１】
図２０は、時刻テーブルの例を示す図である。時刻テーブル４２は初期状態で３６列１０２４行のマトリックスであり、各行のインデックスが音源位置テーブル４１の各行のインデックスに対応している。このマトリックスは、第１列以外には初期値として「ｎｕｌ」が入力されているが、第１列目には初期値として１が格納されている。この第１列目はポインタ情報を格納するために利用する。すなわち、この例では音源Ｐ１の時刻データがすでに３つ記録されているので、Ｐ１のポインタを与える第１行目には４が設定される。この情報により、音源Ｐ１からの次の時刻データがあった場合、このポインタを参照することによってどのアドレスにその時刻データを記入すればよいかをたやすく知ることができる。時刻データの記入が終わると、ポインタの値はインクリメントされる。
【０１０２】
時刻の表現形式は、ここでは計測開始時からの経過時間を０．１秒単位で計り、その値を２バイトの符号無し２進数によって表現している。したがって、１．３秒後の場合の時刻表現は「１３」となる。もちろん、計測開始時からの経過時間が分かればよいので、別の表現をとっても構わない。この時、受け取った音源位置がすでに音源位置テーブル４１に登録されているものであれば、その音源位置を示す行インデックスを求め、時刻テーブル４２の対応する列インデックスのすでに記録されている時刻情報の後に新しい時刻情報が追加される。受け取った音源位置が音源位置テーブル４１に未登録であれば、この音源位置を新たに音源位置テーブル４１に時刻とともに登録する。
【０１０３】
音源位置テーブル４１は２×３６の大きさの２次元マトリックスであり、コンピュータのメモリ上に確保される。また時刻テーブル４２は記録開始時は３６×１０２４の大きさの２次元マトリックスがコンピュータのメモリ上に確保され、同一位置の時刻情報が満杯になると自動的にメモリアロケーション機能によって新たに１０２４行が追加される。
【０１０４】
図２１は、音源位置記録の処理手順を示すフローチャートである。これはコンピュータ１５１によって行われる処理である。以下、処理手順をステップ番号に沿って説明する。
〔Ｓ１〕音源位置テーブルＴ１ と時刻テーブルＴ２ との領域をメモリ上に確保する。
〔Ｓ２〕位置格納変数Ｐと時刻格納変数ｘを確保する。
〔Ｓ３〕音源位置テーブルＴ１ と時刻テーブルＴ２ とを初期化する。
〔Ｓ４〕時刻ｔのカウントを開始する
〔Ｓ５〕音源位置計算器からの出力があるか否かを判断する。出力があればステップＳ６に進み、出力がなければこの処理を繰り返す。
〔Ｓ６〕現在の時刻ｔを時刻格納変数ｘに入力する。
〔Ｓ７〕音源位置（ｘ、ｙ）を位置格納変数Ｐに入力する。
〔Ｓ８〕位置格納変数Ｐが既に音源位置テーブルＴ１ に登録されているが否かを判断する。登録済みであればステップＳ１０に進み、未登録であればステップＳ９に進む。
〔Ｓ９〕音源位置テーブルＴ１ に位置格納変数Ｐの値を新たに格納し、ステップＳ１０に進む。
〔Ｓ１０〕音源位置テーブルＴ１ での位置格納変数Ｐの行インデックスｋを求める。
〔Ｓ１１〕時刻テーブルＴ２ の列ｋの第１行目に格納されているポインタ値ａを求め、時刻テーブルＴ２ のａ行ｋ列にｘの値を格納する。
〔Ｓ１２〕時刻テーブルＴ２ の列ｋの第１行目に格納されているポインタ値ａをインクリメントする。
〔Ｓ１３〕音源位置の計算が終了かいなかを判断する。終了であればステップＳ１４に進み、終了でなければステップ５に進む。
〔Ｓ１４〕記憶装置上に音源位置テーブルＴ１ および時刻テーブルＴ２ のデータを保存する。
〔Ｓ１５〕必要に応じてコメントを付加し、処理を終了する。
【０１０５】
このようにして、音源位置と発話時刻の情報を映像のインデックスとして利用することができる。
【０１０６】
【発明の効果】
以上説明したように本発明の音源位置計測装置では、３本のマイクを所定の三角形の頂点に配置し、同一音源からの音が３本のマイクに到達する時間差を測定するようにしたため、各マイクの位置とマイクペアごとの音の到達時間差とから、音源の方向のみならず音源位置を算出することができる。
【０１０７】
また、本発明のカメラ撮影制御装置では、各マイクの位置、マイクペアごとの音の到達時間差及びカメラの位置から、カメラに対する音源の相対的な位置を計算するようにしたため、カメラとマイクとが離れた位置にあっても、カメラが音源の方向を向くように制御することができる。
【図面の簡単な説明】
【図１】本発明のカメラ撮影制御装置の原理構成図である。
【図２】第１の実施の形態に係るカメラ撮影制御装置の配置図である。
【図３】第１の実施の形態に係るカメラ撮影制御装置の内部構成図である。
【図４】音信号検出装置の内部構成を示す図である。
【図５】音信号検出器における信号の変化を示す図である。（Ａ）はマイクから入力された信号の波形を示す図であり、（Ｂ）はアンプで増幅後の信号の波形を示す図であり、（Ｃ）は、パワー信号の波形を示す図であり、（Ｄ）は、レベル判定後の信号の波形を示す図であり、（Ｅ）は、微分器から出力される信号の波形を示す図である。
【図６】時間差測定器の内部構成を示す図である。
【図７】トリガ信号から得られる方形波を示す図である。（Ａ）はトリガ信号を表しており、（Ｂ）は方形波を表している。
【図８】遅延器の内部構成を示す図である。
【図９】音源方向の計算のためのマイクの座標系を示す図である。
【図１０】マイク間の時間差と音源方向との関係式を示すグラフである。
【図１１】１組のマイクペアの計測範囲を示す図である。
【図１２】角度−時間差情報テーブルを示す図である。
【図１３】２つの時間差情報から音源位置を求めるための方法を説明する図である。
【図１４】マイクペアの組み合わせと時間差データの符号によって決まる音源の範囲を示す図である。
【図１５】音源位置測定器の内部構成を示す図である。
【図１６】マイクの座標系とカメラの座標系の関係を示す図である。
【図１７】カメラ制御装置の内部構成を示す図である。
【図１８】音源位置記録装置の内部構成図である。
【図１９】音源位置テーブルの例を示す図である。
【図２０】時刻テーブルの例を示す図である。
【図２１】音源位置記録の処理手順を示すフローチャートである。
【符号の説明】
１〜３ マイク
４ 音信号検出手段
５ 時間差測定手段
６ 音源位置計算手段
７ カメラ制御手段
８ カメラ駆動手段
９ カメラ本体
１０ 電動レンズ
１１ 発話情報記録手段
１２ 映像・音声記録再生手段
１３ 再生指示手段
【発明の属する技術分野】
本発明は音源からの音情報によって音源位置を計算する音源位置計測装置、及び音源位置の情報に基づいてカメラの撮影位置を制御するカメラ撮影制御装置に関し、特に同一音源からの音が複数のマイクに到達するときの時間差を利用して音源位置を計算する音源位置計測装置、及びその計算結果に基づいてカメラの撮影位置を制御するカメラ撮影制御装置に関する。
【０００２】
【従来の技術】
会議の映像記録や遠隔会議システムにおいては、会議の場全体を撮影したり、個々の発言者をズームアップして捉えることが重要である。これによって、発言者の表情や会議の雰囲気をよりよく捉え、会議の臨場感を高めることができるからである。しかも、このような撮影は自動的に行われることが望まれている。
【０００３】
そこで、発言者を撮影できる会議システムとして特開平４−１２２１８４号公報や特開平４−２９７１９６号公報のような発明がなされている。前者は、個々の音源すなわち各発言者それぞれにマイクを割り当て、そのマイクからの信号によって発言者の検出を行うもので、発言者の撮影は１台のカメラによって行われる。一方後者の発明は、各話者ごとにカメラとマイクを割り当て、それぞれの話者の発言を各話者の声紋によって判別するという方法を採っている。また、特開平６−２１７３０４号公報では、話者ごとに固有の無線信号を発信する発信機を各マイクに取り付け、この無線信号を受信する受信機によって計測された受信信号をもとに発信機の座標位置を求める方法を採っている。
【０００４】
ところが、これらのシステムでは、参加者全員に対してマイクを用意しなければならないため煩雑な設置作業が必要になると共に、カメラで撮影する位置はあらかじめ設定された場所のみであるため、柔軟性にかけていた。
【０００５】
それに対し、特開平７−１４０５２７号公報に見られるカメラ撮影制御装置では、同一音源からの音を２本のマイクが捉えたときに、マイク間の音の位相差を利用して音源の方向を知るという方法をとることによって、少ないマイクで多くの音源方向にカメラを向けることができるように工夫している。
【０００６】
また、同一音源からの音が複数のマイクに到達するときの時間差を利用して、音源の方向を知ること、すなわち音源定位が可能であることは広く知られている。この場合、２本のマイクでは、それらを結ぶ線の中点に垂直な面を対称面とした対称性が残るため、前後の判定ができなくなる。このため、特開平７−１４０５２７号公報に開示された発明では、カメラの脇にマイクを取り付け、カメラ前方の音のみを捉えるようにしている。
【０００７】
また、会議の映像記録を行う際に各話者の発話時刻の情報を取得できると、後に映像の編集に場合に便利である。そこで従来は、各話者に割り当てられたマイクへの音声入力を検知することによって、発話時刻の情報を取得することも行われていた。
【０００８】
【発明が解決しようとする課題】
しかし、話者をカメラで撮影する場合には、従来の方法によって求められるのはあくまで音源の方向であって、音源位置を求めるには至っていないという問題点があった。すなわち、求められる音源の方向はマイクの位置が基準となっていることから、マイクとカメラが一体でなくてはならない。その結果、マイクとカメラとを分離することができず、各話者からの発声を捉えやすい位置にマイクを配置することができないという制約があった。しかも、カメラで撮影する場合には、カメラから音源までの位置によってズームの度合いが変わるため、音源からの距離が分からないと、ズーム量を調節することはできない。
【０００９】
また、発話時刻の情報を取得する場合に、話者ごとにマイクを割り当てるのでは、マイクの設置やケーブルの取り回し等のために煩雑な作業が必要となる。従って、もっと簡単な構成で、マイクの捉えた音声と話者とを対応づけられることが望まれている。
【００１０】
本発明はこのような点に鑑みてなされたものであり、同一音源からの音が複数のマイクに到達するときの時間差を利用して、音源位置を求めることができる音源位置計測装置を提供することを目的とする。
【００１１】
また、本発明の別の目的は、カメラとマイクとを異なる位置に配置しても、音源の方向へカメラを向けることができるカメラ撮影制御置を提供することである。
【００１３】
【課題を解決するための手段】
本発明では上記課題を解決するために、音情報によって音源位置を計算する音源位置計測装置において、正三角形の３つの頂点に設置されたマイクと、１つの音源の発した音が前記マイクのそれぞれで捉えられた時刻を音検出時刻として検出する音信号検出手段と、前記マイクごとの音検出時刻に基づいて、前記マイクの２個ずつを組合わせることにより得られる３組のマイクペアごとの音の到達時間差を測定する時間差測定手段と、前記各マイクペアを結ぶ線から±６０度の範囲を前記各マイクペアの音源計測範囲とし、前記各マイクペアが捉えた音の到達時間差の符号によって音源の存在可能範囲を限定し、それぞれの前記マイクの位置と前記マイクペアごとの音の到達時間差とから、音源位置を計算する音源位置計算手段と、を有することを特徴とする音源位置計測装置が提供される。
【００１４】
このような音源位置計測装置によれば、ある音源から音が発せられると、各マイクにより、その音源からの距離に応じた時刻にその音が捉えられる。次いで、マイクが音を捉えた時刻が音信号検出手段で検出され、音検出時刻とされる。すると、その音検出時刻に基づいて、時間差測定手段により、マイクペアごとの音の到達時間差が測定される。そして、音源位置計算手段により、各マイクペアが捉えた音の到達時間差の符号によって音源の存在可能範囲が限定され、マイクペアごとの音の到達時間差に基づいて音源位置が計算される。
【００１５】
また、回転台の上に設置されたカメラの向きを制御しながら撮影を行うカメラ撮影装置において、正三角形の３つの頂点に設置されたマイクと、１つの音源の発した音が前記マイクのそれぞれで捉えられた時刻を音検出時刻として検出する音信号検出手段と、前記マイクごとの音検出時刻に基づいて、前記マイクの２個ずつを組合わせることにより得られる３組のマイクペアごとの音の到達時間差を測定する時間差測定手段と、前記各マイクペアを結ぶ線から±６０度の範囲を前記各マイクペアの音源計測範囲とし、前記各マイクペアが捉えた音の到達時間差の符号によって音源の存在可能範囲を限定し、それぞれの前記マイクの位置、前記マイクペアごとの音の到達時間差及び前記カメラの位置の情報に基づき、前記カメラに対する音源の相対的な位置を計算する音源位置計算手段と、前記音源位置計算手段が算出した音源の位置情報に基づき、音源の方向へカメラの向きを制御するカメラ制御手段と、を有することを特徴とするカメラ撮影制御装置が提供される。
【００１６】
このようなカメラ撮影装置によれば、ある音源から音が発せられると、各マイクが、その音源からの距離に応じた時刻にその音を捉える。マイクが音を捉えた時刻が音信号検出手段により音検出時刻とされ、その音検出時刻に基づいて、時間差測定手段によりマイクペアごとの音の到達時間差が測定され、音源位置計算手段により、各マイクペアが捉えた音の到達時間差の符号によって音源の存在可能範囲が限定され、マイクペアごとの音の到達時間差に基づいて音源位置が計算される。そして、カメラ制御手段により、音源の方向へカメラの向きが制御される。これにより、常に話者に対してカメラを向けておくことができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明のカメラ撮影制御装置の原理構成図である。まず、所定の形状の三角形の３つの頂点にマイク１〜３が配置されている。音信号検出手段４は、１つの音源の発した音がマイク１〜３のそれぞれで捉えられた時刻を音検出時刻として検出するとともに、マイク１〜３の捉えた音声信号を映像・音声記録再生手段１２に送る。時間差測定手段５は、マイクごとの音検出時刻に基づいて、マイク１〜３の２個ずつを組合わせることにより得られる３組のマイクペアごとの音の到達時間差を測定する。音源位置計算手段６は、それぞれのマイク１〜３の位置とマイクペアごとの音の到達時間差とから、音源位置を計算する。計算された音源位置の情報は、カメラ制御手段７と発話情報記録手段１１とに渡される。
【００２２】
カメラ制御手段７は、カメラ本体９が載せられてた回転台を回転させるカメラ駆動手段８と、カメラ本体９のズーム量を調整するための電動レンズ１０とを制御している。そして、カメラ制御手段７は、音源位置情報に基づき、カメラが音源を所定の大きさで捉えるようにカメラの向きとズーム量を制御する。カメラ本体９で撮影された映像信号は、映像・音声記録再生手段１２に送られる。
【００２３】
発話情報記録手段１１は、マイクが音を捉えた際の音源位置情報と、発話時刻とを記録する。映像・音声記録再生手段１２は、カメラ本体９から送られた映像情報を記録再生する。再生指示手段１３は、発話情報記録手段１１に格納された情報を用いて、映像・音声記録再生手段１２に対して再生指示を与える。
【００２４】
このようなカメラ撮影制御装置によれば、ある場所で発言をした者がいると、その声は３本のマイク１〜３で捉えられる。すると、音信号検出手段４により、各マイク１〜３が音を捉えた時刻が検出され、音検出時刻とされる。この際、話者のいる位置から各マイク１〜３までの距離の違いにより、各マイク１〜３が音を捉える時刻には時間差が生じている。そこで、時間差測定手段５によりマイク１〜３の２個ずつを組合わせることにより３組のマイクペアが作られ、そのマイクぺアごとの音の到達時間差が測定される。そして、各マイクペアの音の到達時間差を用いて、音源位置計算手段６によって音源位置が計算される。この際、カメラ本体９の位置を基準とした座標系における音源位置が算出される。
【００２５】
音源位置が求まると、カメラ制御手段７によりカメラ本体９から見た音源の方向と距離とが計算され、カメラ駆動手段８を制御することによりカメラ本体９が音源の方向に向けられるるとともに、電動レンズ１０を制御することによりズーム量が調節される。
【００２６】
一方、音信号検出手段４が検出した音声情報と、カメラ本体９が撮影した映像情報とが映像・音声記録再生手段１２に記録されるとともに、音源ごとの発話時刻が発話情報記録手段１１に格納される。そして、この装置のオペレータは、発話情報記録手段１１に格納された情報により任意の話者の発話時刻を知ることができ、特定の話者の発言のみを映像・音声記録再生手段１２から抽出して再生することもできる。
【００２７】
このようにして、３本のマイクのみで音源位置を測定できるため、マイクとカメラとを離しておいてもカメラを音源に向けることができるとともに、カメラから音源までの距離に応じてズーム量を調整することもできる。さらに、音源位置と発話時刻とを対応づけて記録しておくことができるため、各話者の発話時刻と映像・音声記録再生手段１２に記録された情報とを対応づけることにより、映像のインデックスを作成することができる。
【００２８】
ところで、本発明のカメラ撮影制御装置は、テレビ会議システムや重要な会議のビデオ撮影として有効に利用できる。そこで、本発明のカメラ撮影制御装置を用いて会議の内容を撮影する場合を例にとり実施の形態を説明する。
【００２９】
図２は、第１の実施の形態に係るカメラ撮影制御装置の配置図である。この例では、司会者２１と向き合って、複数の参加者２２ａ〜２２ｋがコの字形のテーブル２３に着いている。会議室の中央には、正三角形の頂点に配置された３本のマイク１〜３が置かれている。これらのマイク１〜３は、カメラ撮影制御装置の装置本体１００に接続されている。装置本体１００には、カメラ２００が接続されている。
【００３０】
発言者の声をマイク１〜３が捉えると、装置本体１００によって音源位置が計算され、カメラが発言者の方向に向けられるとともに、カメラから発言者までの距離に応じてズーム・インやズーム・アウトが行われる。
【００３１】
なお、３本のマイク１〜３の作る正三角形の辺の長さ、すなわちマイク間の距離は任意に設定可能であるが、ここでは会議の場で設置しやすく、常温での音速値３４０ｍ／ ｓから計算しやすい値である６８ｃｍとしている。
【００３２】
図３は、第１の実施の形態に係るカメラ撮影制御装置の内部構成図である。音声入力手段である正三角形の頂点に配置された３本のマイク１〜３は音信号検出器１１０に接続されている。音信号検出器１１０は、マイク１〜３の捉えた音を音声信号として出力するとともに、各マイク１〜３が音を捉えた時刻に応じた信号を出力する。その信号は、時間差測定器１２０に入力される。時間差測定器１２０は、各マイク１〜３が音を捉えた時刻の時間差を計算して、時間差データを出力する。その時間差データは音源位置計算器１３０に入力される。音源位置計算器１３０は、時間差データから音源位置を計算して出力する。
【００３３】
基準信号発生器１０１は、同一音源からの音を各マイクが捉えた時刻の時間差を計測するため基準クロックを発生し、その基準クロックを時間差測定器１２０と音源位置計算器１３０とに供給する。ここでは周期０．５μｓの方形波を生成している。この周期によって音の時間差計測の分解能が決まる。この実施の形態ではマイク間の距離が６８ｃｍであるため、マイク間の最大の時間差は６８ｃｍを音速（３４０ｍ／ ｓ）で割った値、すなわち２ｍｓとなる。０．５μｓという値はこの４０００分の１の値であるため、会議における話者位置計算には十分な分解能である。
【００３４】
カメラ制御装置１４０は、音源位置計算器１３０から音源位置データを受け取り、カメラ本体２０３の方向およびズーム量を制御する。カメラ本体２０３は回転台２０１の上に固定されており、回転台２０１を回転させることによりカメラ本体２０３の方向を変えることができる。また、カメラ本体２０３には、撮影範囲を変える電動レンズ２０２を備えており、この電動レンズ２０２の調整によりズーム量が調整できる。カメラ本体２０３の撮影した画像は、映像出力１０３として出力される。
【００３５】
このような構成のカメラ撮影制御装置によれば、図２の司会者２１若しくは参加者２２ａ〜２２ｋが発言すると、その音声は３つのマイク１〜３で捉えられ音信号検出器１１０に入力される。以下に、音信号検出器１１０の詳細を説明する。
【００３６】
図４は、音信号検出器１１０の内部構成を示す図である。音信号検出器１１０は、基本的に、アンプ１１１ａ〜１１１ｃ、信号・電力変換器１１２ａ〜１１２ｃ、レベル判定器１１３ａ〜１１３ｃ、及び微分器１１４ａ〜１１４ｃの４つの要素を１組とした、３つの組から構成されている。
【００３７】
各マイク１〜３からの信号１０３ａ〜１０３ｃは、信号を増幅するアンプ１１１ａ〜１１１ｃに入力される。アンプ１１１ａ〜１１１ｃの出力は、それぞれに対応して設けられた信号・電力変換器１１２ａ〜１１２ｃに入力されるとともに、ミキサー１１５にも入力される。ミキサー１１５は、アンプによって増幅された音声信号をステレオ信号に変換し、音声出力１０２として出力する。
【００３８】
各信号・電力変換器１１２ａ〜１１２ｃは、アンプ１１１ａ〜１１１ｃの出力信号から音信号のパワーを求め、パワー信号をそれぞれに対応して設けられたレベル判定器１１３ａ〜１１３ｃに入力する。各レベル判定器１１３ａ〜１１３ｃは、パワー信号を特定のしきい値によって２値化したのちＴＴＬ（Transistor-Transistor-Logic ）レベルの信号を、それぞれに対応して設けられた微分器１１４ａ〜１１４ｃに入力する。各微分器１１４ａ〜１１４ｃは、入力された信号の出力の立ち上がりを検出し、立ち上がりを示すトリガ信号１０４ａ〜１０４ｃを出力する。
【００３９】
なお、微分器１１４ａ〜１１４ｃの出力の前には、ダイオードの働きにより、正の微分結果のみを出力するようにしてある。また、アンプ１１１ａ〜１１１ｃの増幅度とレベル判定器１１３ａ〜１１３ｃのしきい値は、各組ごとにボリュームによって任意に設定することができる。
【００４０】
このような音信号検出器１１０における信号の変化を、マイク１からの信号１０３ａを例にとり以下に説明する。
図５は、音信号検出器１１０における信号の変化を示す図である。なお、この図では全て横軸が時間であり、縦軸が電圧である。
【００４１】
（Ａ）はマイク１から入力された信号の波形を示す図である。マイク１からは比較的弱い波形の信号１０３ａが入力されている。この信号１０３ａがアンプ１１１ａで増幅される。
【００４２】
（Ｂ）はアンプ１１１ａで増幅後の信号の波形を示す図である。アンプ１１１ａにより増幅されることにより、（Ａ）に示した波形に比べ振幅の大きい波形となっている。この信号は、信号・電圧変換器１１２ａにより、パワー信号に変換される。
【００４３】
（Ｃ）は、パワー信号の波形を示す図である。パワー信号は、正の値だけの信号である。この信号は、レベル判別器１１３ａでしきい値１１６によってレベル判定がなされる。
【００４４】
（Ｄ）は、レベル判定後の信号の波形を示す図である。レベル判定により２値化された信号が得られる。この信号が微分器１１４ａを通過することにより、トリガ状の信号となる。
【００４５】
（Ｅ）は、微分器１１４ａから出力される信号の波形を示す図である。微分器１１４ａから出力されるトリガ信号状の波形は、微分器１１４ａに入力された信号の立ち上がり時を示している。
【００４６】
このようにして、マイク１が捉えた音から、その音を捉えた時点を示すトリガ信号状の波形が得られる。この処理は、他の２つのマイク２，３の捉えた音に対しても同様に行われ、それぞれのマイク２，３に対応するトリガ信号１０４ｂ〜１０４ｃが音信号検出器１１０の出力信号となる。
【００４７】
各音信号検出器１１０から出力された３つのトリガ信号１０４ａ〜１０４ｃは、基準信号発生器１０１からのクロック信号とともに時間差測定器１２０に入力される。
【００４８】
図６は、時間差測定器１２０の内部構成を示す図である。時間差測定器１２０は、３つのトリガ信号変換器１２１ａ〜１２１ｃと、３つの遅延器１２２ａ〜１２２ｃとから構成される。トリガ信号変換器１２１ａ〜１２１ｃは、入力されたトリガ信号１０４ａ〜１０４ｃを基準信号発生器１０１が生成する方形波のＨ（ハイ）レベルと同じ時間幅の方形波に変換する。また、各遅延器１２２ａ〜１２２ｃは、２つの方形波の時間差を測定する。
【００４９】
このような構成の時間差測定器１２０によれば、入力されたトリガ信号１０４ａ〜１０４ｃは、トリガ信号変換器１２１ａ〜１２１ｃにより、基準信号である方形波のＨレベルと同じ時間幅の方形波に変換される。
【００５０】
図７は、トリガ信号から得られる方形波を示す図である。（Ａ）はトリガ信号を表しており、（Ｂ）は方形波を表している。すなわち、ある時刻から１６０．８μｓ後にトリガ信号１０４ａがあったとすると、そのトリガ信号１０４ａはつぎの基準クロックがＨレベルとなっている１６１．０μｓから１６１．２５μｓの間がＨレベルであるような方形波１２０ａに変換される。
【００５１】
基準クロックの周期に量子化された信号は、次に２つずつの信号をペアにして、遅延器１２２ａ〜１２２ｃに入力される。すなわち、マイク１とマイク２とによる信号のペア、マイク２とマイク３とによる信号のペア、そしてマイク３とマイク１とによる信号のペアの３つの組が遅延器１２２ａ〜１２２ｃに入力される。
【００５２】
図８は、遅延器１２２ａの内部構成を示す図である。遅延器１２２ａは、実際にディレイ回路によって構成することも可能であるが、この例では信号がクロックの周期に合わせて量子化されていることを利用して、順序判定器１２２ａａ、カウンタ１２２ａｂおよびデータ変換器１２２ａｃによって構成している。
【００５３】
順序判定器１２２ａａはどちらの入力が先にあったかを判定するもので、マイク１による信号１２３ａ、マイク２による信号１２３ｂ、およびクリア信号１２２ａｄの３つの入力を持つ。そして、順序判定器１２２ａａは、順序を判定するための出力である順序判定ビット１２２ａｅ，１２２ａｆをデータ変換器１２２ａｃに対して出力するとともに、時間差計測のための信号１２２ａｇをカウンタ１２２ａｂへ出力する。
【００５４】
カウンタ１２２ａｂには、順序判定器１２２ａａの出力１２２ａｇ以外に、基準信号発生器１０１からのクロック信号１２２ａｈが入力されている。カウンタ１２２ａｂは、順序判定器１２２ａａの出力した信号１２２ａｇがＨレベルである間だけ、入力されているクロック信号１２２ａｈのＨレベルの回数を計数するものであり、計数結果である計数出力１２２ａｉをデータ変換器１２２ａｃに対して出力する。また、カウンタ１２２ａｂは、順序判定器１２２ａａに対するクリア信号１２２ａｄも出力する。
【００５５】
データ変換器１２２ａｃは、順序判定器１２２ａａの２つの順序判定ビット１２２ａｅ，１２２ａｆと、２バイトの符号無し２進数のカウンタ１２２ａｂの計数出力１２２ａｉを、２バイトの符号付き２進数に変換するものである。そして、変換結果を出力データ１０５ａとするとともにデータ変換終了信号１０６ａを１パルスのＨレベルとして出力する。
【００５６】
このような構成の遅延器１２２ａは、次のように動作する。
２つの信号１２３ａ，１２３ｂが入力されると、順序判定器１２２ａａにより、どちらの信号の入力が早かったかが判定される。信号１２３ａの入力のほうが早くＨレベルになれば順序判定ビット１２２ａｅがＨレベルに保たれ、逆に信号１２３ｂの入力のほうが早くＨレベルになれば順序判定ビット１２２ａｆがＨレベルに保たれる。そして、カウンタ１２２ａｂへ出力される信号１２２ａｇは、２つの信号１２３ａ，１２３ｂ入力のどちらかがＨレベルになった時点から他方の信号がＨレベルになるまでＨレベルが保たれる。これらの順序判定器１２２ａａの状態は、クリア信号１２２ａｄがＨレベルになることによってクリアされる。したがって、順序判定ビット１２２ａｅおよび順序判定ビット１２２ａｆの出力がこの順序で（１，０）ならば信号１２３ａの入力が早く、また（０，１）ならば信号１２３ｂの入力が早いことが判定できる。
【００５７】
カウンタ１２２ａｂは、信号１２２ａｇがＨレベルになると、入力されているクロック信号１２２ａｈのＨレベルの回数の計数を開始する。信号１２２ａｇがＬ（ロー）レベルになると、カウンタ１２２ａｂは計数を停止し、計数した情報を１６ビットの符号なし２進数として計数出力１２２ａｉとする。したがって、クロックの周期０．５μｓにこの計数結果を乗じた値が計測された時間差となるが、ここではカウンタ１２２ａｂの計数した値をそのまま用いる。カウンタ１２２ａｂは、計数出力１２２ａｉが出力されると同時にクリア信号１２２ａｄにも１パルスのＨレベルの信号を送り出す。このクリア信号１２２ａｄによって、順序判定器１２２ａａの状態がクリアされ、次の入力に備える。
【００５８】
２つの順序判定ビット１２２ａｅ，１２２ａｆの出力と２バイトの符号無し２進数のカウンタ１２２ａｂの計数出力１２２ａｉとは、データ変換器１２２ａｃにより２バイトの符号付き２進数に変換され、出力データ１０５ａとなる。データ変換が終了すると、データ変換終了信号１０６ａを１パルスのＨレベルとして出力する。出力データ１０５ａとデータ変換終了信号１０６ａとは、次の音源位置計算器１３０に送られる。なお、３つの遅延器１２２ａ〜１２２ｃのそれぞれのデータ変換器は、マイクペアの順序を（１、２）、（２、３）および（３、１）とし、それぞれ第１列のマイクの音のほうが先であると、符号をプラスにし、逆の場合は符号をマイナスにする。
【００５９】
ここで、音源位置計算器１３０の機能の詳細を説明する前に、音源位置の計算方法について述べる。音源位置計算の基本は、２つのマイクにおける音源方向の計算にある。
【００６０】
図９は、音源方向の計算のためのマイクの座標系を示す図である。図に示すように、２つのマイク１，２を通る直線をｕ軸とし、２つのマイク１，２の中点を原点としたｕ−ｖ座標系を考える。そして原点から−ａだけ離れた位置（−ａ，０）にマイク１が、またａだけ離れた位置（ａ，０）にマイク２が置かれており、音源Ｐの位置が原点から（ｒ，Θ）の位置にあるとすると、音源Ｐからの音がそれぞれのマイクに到達するときの時間差ｄｔは、
【００６１】
【数１】
ｄｔ＝〔（ｒ２ ＋２ｒａｃｏｓ Θ＋ａ２ ）１／２ −（ｒ２ −２ｒａｃｏｓ Θ＋ａ２ ）１／２ 〕／Ｖ０ ・・・（１）
となる。ただし、Ｖ０ は音速の値（常温で３４０ｍ／ ｓ）である。これをｒをパラメータとしてプロットしてみる。
【００６２】
図１０は、マイク間の時間差と音源方向との関係式を示すグラフである。ただし、ここではａ＝１ｍで計算している。このように、ｄｔに対するｒの効果はΘに比べて十分小さく、ｒの値を変化させたとしても角度誤差は５度程度であることと、いずれのｒをとってもΘが約２５度より小さくなる領域ではそれまでの領域に比べてｄｔに対する角度感度が高くなっていることが分かる。このことから、マイクペアへの音の到達時間差を知ることによって、その音の音源の方向、すなわちｕ−ｖ座標の原点と音源とを結ぶ直線を求めることができる。別のマイクペアによってもうひとつの直線を求めれば、それらの直線の交点から音源位置が求められる。
【００６３】
本実施の形態では、マイクペアの組み合わせによって音源位置の計算を行うため、Ｘ軸から±６０度の範囲を各マイクペアの計測範囲として音源位置計算を行う。
【００６４】
図１１は、１組のマイクペアの計測範囲を示す図である。２本のマイク１，２がｕ軸上に原点を挟んで配置されているとすれば、このマイクペアの計測範囲は、原点から見て、ｕ軸を中心に正の方向に±６０°、負の方向に±６０°である。このように計測範囲を定め、３組のマイクペアのうち、音源位置が計測範囲内にある２つのマイクペアを使って音源位置の計算を行う。３本のマイクは正三角形の頂点に配置されているため、任意の音源位置に対して必ず２つのマイクペアがこの範囲に収まる。したがって、音源位置計算に利用するデータは、３つの時間差計数データから最も時間差の小さいデータを除外したものとなる。
【００６５】
そこで、音源位置の計算には、まず、それぞれのマイクペアにおいて個別に図１１に示したような座標系をとって音源方向を求める。音源方向は、計測された時間差データを角度−時間差情報テーブルと比較することによって求める。
【００６６】
図１２は角度−時間差情報テーブルを示す図である。この例ではマイク間の距離が６８ｃｍであるので、図のテーブルではｒの値を３ｍに設定して、上の式でΘが０度から６０度まで５度ごと２つのマイクの時間差情報を入力してある。テーブルの第１列目は、上から順に６０度から５度ごとに０度までの角度が与えられており、第２列目にはその角度での２つのマイクの時間差データが格納されている。時間差データは、上の式で計算した時間差を基準クロックの周期である０．５μｓで割った値の２バイトの符号付き整数表現にしてある。これによって、時間差測定器１２０で求めた時間差データとの比較が直接行える。時間差データから方向を知るには、このテーブルの第２列目を参照し、時間差データの絶対値がテーブル内の値を超えない最大のセルを見出せば、そのテーブルの第１列から角度データを得ることができる。このとき、図１１のｖ軸の両側で線対称になっているが、時間差データの値がマイナスならばマイク１側に発話位置があり、またプラスならばマイク２側に発話位置があることになる。
【００６７】
また、ここで求められた角度データは、２つのマイクを結ぶ軸（図１１のｕ軸）を対称軸としてその軸から両側の２つの直線が解として成り立つが、この対称性の問題は、時間差データとマイクペアの組み合わせ情報とによって解決することができる。
【００６８】
図１３は、２つの時間差情報から音源位置を求めるための方法を説明する図である。この例では、マイク３，１のマイクペアとマイク２，３のマイクペアにより音源位置を求める。なお、各マイク１〜３を頂点とする正三角形の重心（各頂点と対辺の中点とを結ぶ線分の交点）が原点となるようにｘ−ｙ座標が定義されている。マイク３，１のマイクペアからは２本の直線３１ａ，３１ｂが求められ、マイク２，３のマイクペアからも２本の直線３２ａ，３２ｂが求められる。また、音源Ｐからの音はマイク３に達するよりも速くマイク１およびマイク２に達するため、マイク２とマイク３とのペアからはプラスの角度情報（マイク２側に音源があることを示す）が得られ、またマイク３とマイク１のペアからはマイナスの角度情報（マイク１側に音源があることを示す）が得られる。しかも、図１１に示したように、各マイクペアの計測範囲は制限されている。したがって、時間差情報の組み合わせにより、音源の範囲が限定できる。図１３の例における音源位置は、第１象限のｘ軸からの角度が０〜６０度の範囲に限定される。すなわち、直線３１ｂおよび直線３２ｂの可能性はないことになり、結局直線３１ａおよび直線３２ａの２つが残ることになる。
【００６９】
このように、マイクペアの組み合わせと各マイクペアにおける時間差データの符号によって音源位置の範囲が特定される。その全部の組み合わせを以下に示す。
【００７０】
図１４は、マイクペアの組み合わせと時間差データの符号によって決まる音源の範囲を示す図である。図中での１、２、３はそれぞれマイク１，２，３の位置を示している。また、マイク１，２のマイクペアの時間差データを（１，２）、マイク２，３のマイクペアの時間差データを（２，３）、マイク３，１のマイクペアの時間差データを（３，１）としている。したがって、マイクペアの時間差データの符号と音源の範囲との関係は以下のようになる。なお、以下の説明における角度は、正のｘ軸からの角度（反時計回り）で表す。
【００７１】
（２，３）＞０、（３，１）＜０であれば、音源は正のｘ軸からの角度が０〜６０度の範囲内に限定される。
（１，２）＞０、（３，１）＜０であれば、音源は正のｘ軸からの角度が６０〜１２０度の範囲内に限定される。
【００７２】
（１，２）＞０、（２，３）＜０であれば、音源は正のｘ軸からの角度が１２０〜１８０度の範囲内に限定される。
（２，３）＜０、（３，１）＞０であれば、音源は正のｘ軸からの角度が１８０〜２４０度の範囲内に限定される。
【００７３】
（１，２）＜０、（３，１）＞０であれば、音源は正のｘ軸からの角度が２４０〜３００度の範囲内に限定される。
（１，２）＜０、（２，３）＞０であれば、音源は正のｘ軸からの角度が３００〜３６０度の範囲内に限定される。
【００７４】
なお、この図に示したマイクペアの時間差データの符号と音源の範囲との関係は、音源位置領域テーブルとして音源位置計算器１３０内に予め保持しておく。以上のようにして特定された２つの直線を図１１のｕ−ｖ座標系から図１３のようなｘ−ｙ座標系に座標変換すれば、それらの交点から音源位置Ｐ（ｘ，ｙ）が求められる。図１３の例では、マイク３，１のペアの場合は点（−ａ／ ２，ａ／ ２√３）を通り、ｘ軸と「６０度＋上記の方法で求めたｕ−ｖ座標系での角度」の角度をなす直線３１ａを、またマイク２，３のペアの場合は点（０，−ａ／ ２√３）を通りｘ軸と「上記の方法で求めたｕ−ｖ座標系での角度」の角度をなす直線３２ａを得て、それら直線の交点を求めればよい。
【００７５】
位置の計算は、時間差測定器１２０で得られた３つの符号付き２進数情報を用いて、音源位置計算器１３０で行われる。音源位置計算器１３０はコンピュータ上に構築されている。
【００７６】
図１５は、音源位置測定器の内部構成を示す図である。図に示すように、音源位置測定器１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ）１３３を中心に構成されている。
【００７７】
３つのポート１３１ａ〜１３１ｃは、時間差測定器１２０で計測されたデータを取り込みＣＰＵ１３３に供給する。ＡＮＤゲート１３２は、データをＣＰＵ１３３に取り込むタイミングを与える。ＣＰＵ１３３は、各ポート１３１ａ〜１３１ｃからのデータを蓄えるためのレジスタ１３３ａ〜１３３ｃを有している。また、ＣＰＵ１３３は、バス１３４を介して各種周辺機器との間のデータ転送を行う。
【００７８】
バス１３４には、入力装置１３５、出力ポート１３６、メモリ１３７、およびハードディスク１３８が接続されている。入力装置１３５は、カメラとマイクとの位置関係を入力するためのものである。出力ポート１３６は、計算結果をカメラ制御装置１４０へ出力するための通信ポートである。メモリ１３７は、ＣＰＵ１３３が実行するプログラムを一時的に保持するためのものである。ハードディスク１３８は、プログラム、角度−時間差情報テーブル、音源位置領域テーブルおよび座標変換テーブルを保持している。なお、音源位置計算器１３０で行われる音源位置の計算処理は、ハードディスク１３８に格納されたプログラムをメモリ１３７にロードし、そのプログラムをＣＰＵ１３３が実行することにより実施される処理である。
【００７９】
このような音源位置計算器１３０に入力される時間差測定器１２０からの３つのデータ出力１０５ａ〜１０５ｃは、まず３つのポート１３１ａ〜１３１ｃに伝えられ、時間差測定器１２０からの出力１０６ａ〜１０６ｃがすべてＨレベルになってＡＮＤゲート１３２の出力がＨレベルになった時点で、ＣＰＵ１３３の中の３つのレジスタ１３３ａ〜１３３ｃに取り込まれる。３つのレジスタ１３３ａ〜１３３ｃに取り込まれた３つの時間差データの内、最も時間差の少ないデータを除いた２つの時間差データが、あらかじめメモリ上に確保されている変数領域ｔ１およびｔ２に書き込まれる。そして、この２つの時間差データに基づいて、前述の音源位置の計算が行われる。これにより、図１３のｘ−ｙ座標系での音源位置が求められる。その後、カメラ位置を原点にとったＸ−Ｙ座標系へ座標変換し、Ｘ−Ｙ座標系での音源位置Ｐ（Ｘ，Ｙ）を求める。
図１６は、マイクの座標系とカメラの座標系の関係を示す図である。マイク１〜３の中心（三角形の重心）がｘ−ｙ座標の原点であり、カメラ２００（図２に示す）の回転中心が、Ｘ−Ｙ座標の原点である。
【００８０】
実際には、マイク２およびマイク３を結ぶ線と平行なｘ軸と回転台２０１の０度の方向が平行となるようにマイク１〜３とカメラ２００とが設置される。したがってこの際の座標変換は平行移動のみである。平行移動量のデータは、装置を設置した時点で測定し、入力装置１３５によって音源位置計算器１３０に入力する。音源位置計算器１３０は、このデータを用いて座標変換を行う。座標変換は平行移動だけでなく、両方の座標系がある角度をなしていた場合でも、この回転による座標変換を行うだけでよい。ただし、その際にはｘ−ｙ座標系とＸ−Ｙ座標系のなす角度を測定しておく必要がある。このようにして求められた音源位置Ｐ（Ｘ，Ｙ）は、２バイトの浮動小数点データとして出力ポート１３６から送り出され、カメラ制御装置１４０に入力される。
【００８１】
図１７は、カメラ制御装置１４０の内部構成を示す図である。この図に示すように、カメラ制御装置１４０は、角度計算部１４１、ズーム量計算部１４２、データ出力部１４３、キャリブレーション部１４４、ボリューム１４５、及びキャリブレーション設定ボタン１４６から構成される。
【００８２】
角度計算部１４１には、音源位置データＰ（Ｘ，Ｙ）と回転台２０１の動作を知らせる信号２０４とが入力されている。角度計算部１４１は、信号２０４がＬレベルのときに、音源位置データＰ（Ｘ，Ｙ）を極座標系のデータ（Ｒ，Θ）に変換する。Ｒはカメラから音源位置までの距離、Θは音源位置ＰとＸ−Ｙ座標系の原点とを結んだ線がＸ軸となす角度である。さらに、Θの値はロータリーエンコーダのデータフォーマットに変換され、データ出力部１４３に送られる。ここでは、角度Θを１．４で割った値の整数値を８ビットの符号無し２進数に変換する。この１．４という値は、３６０度を８ビットのデータの最大値２５６で割ったものである。角度計算部１４１で計算された音源までの距離Ｒは、ズーム量計算部１４２とキャリブレーション部１４４に送られる。キャリブレーション部１４４は、カメラと人物との距離が変化すると、それに合わせてカメラのズーム量も変化するため、基準距離と基準ズーム量の値という２つの基準情報をズーム量計算部１４２に設定するために設けている。キャリブレーション部１４４にはズーム量を手動で設定できるボリューム１４５およびキャリブレーション設定ボタン１４６が接続されている。キャリブレーション部１４４は、角度計算部１４１が出力する距離データを用い、その時点でのズーム量をボリューム１４５によって設定する。ボリューム１４５を回すとカメラ２００の電動レンズが駆動され、ズーム量が変化するようになっている。ボリューム１４５を操作してちょうどよいズーム量となった時点でキャリブレーション設定ボタン１４６を押すと、その時点での距離データＲｏとズーム量データＺｏが基準情報としてズーム量計算部１４２に出力される。これらのデータを受け取ったズーム量計算部１４２は、それらの値をメモリに保持し、それ以後のズーム量の計算に用いる。ただし、本装置のように撮影対象が人物であるような場合には撮影対象の大きさが決まっているとみて差し支えないため、あらかじめ上の２つの基準情報のデフォルト値を設定してあってもよい。
【００８３】
さて、角度計算部１４１で計算された音源までの距離Ｒはズーム量計算部１４２に送られ、ズーム量が計算される。ズーム量の計算は、距離Ｒを基準距離Ｒｏで割り、その値に基準ズーム量Ｚｏを乗じることによって行う。計算された角度データとズーム量は、データ出力部１４３を経てそれぞれ回転台２０１および電動レンズ２０２に送られ、カメラ撮影装置が駆動される。このとき、回転台２０１の動作が終了しない間に次の撮影位置情報が出力されないよう、回転台２０１の動作を知らせる信号２０４が回転台２０１からカメラ制御装置１４０に送り出される。この信号はＨレベルならば回転台２０１が動作中であることを示し、その間はカメラ制御装置１４０における計算は行われない。具体的には、この信号は角度計算部１４１に送られ、この信号がＨレベルの間は音源位置計算器１３０から送られてくるデータを内部に取り込まない。
【００８４】
このようにしてカメラ撮影が行われた会議は、映像出力１０３および音声出力１０２を通して記録したり遠隔地に電送することができる。この際、各会議場においては参加者全員のためにマイクを用意する必要がないとともに、３本のマイクとカメラとが同じ場所にある必要もない。したがって、マイクは全員の会話を捉えやすい位置に配置し、カメラは全員の表情を捉えやすい位置に配置できる。
【００８５】
なお、上記の説明では、２本のマイクが捉えた音の到達時間差と音源方向との関係が、音源までの距離に依存しないことを利用して音源位置の計算を行っているが、３つのマイクが捉えた音の時間差から幾何学的に音源位置を計算することもできる。以下にその計算方法について説明する。
【００８６】
まず、簡単のために、ｘ−ｙ座標系の（０，ａ）、（０，０）、（ａ，０）の３個所に３本のマイク１〜３が設置されているものとする。音源Ｐ（ｘ，ｙ）から発せられた音がそれぞれのマイク１〜３に達した時間を、それぞれｔ１、ｔ２、ｔ３とする。音源Ｐと各マイクとの距離をそれぞれｌ１，ｌ２
，ｌ３とすると、
【００８７】
【数２】
【００８８】
【数３】
【００８９】
【数４】
【００９０】
また、上記の第１の実施の形態では、マイクの床からの高さとカメラの床からの高さが同じ高さであるようなシステムであったが、カメラの位置を高くすることも可能である。この場合、マイクの床からの高さからカメラの床からの高さを引いた値をＺ軸方向へのオフセット量ｄとして、カメラ制御装置内の計算において鉛直方向のカメラの向きを計算すればよい。ただし、上の座標系においては、鉛直下向きをＺ軸の正の方向としている。すなわち、音源位置計算器１３０で求めてカメラ位置のオフセットを加えた音源位置Ｐ（Ｘ，Ｙ）をＰ（Ｘ，Ｙ，ｄ）とし、床と垂直な方向の角度Φを
【００９１】
【数５】
ｄ／（Ｘ２＋Ｙ２）１／２ ＝ｔａｎ Φ・・・（５）
によって求めればよい。Ｚ軸方向にも回転可能な回転機構を実施例１の回転台に付加すれば、Ｚ軸方向にオフセットがあった場合でも正しく話者を捉えることが可能となる。この回転機構は、第１の実施の形態と全く同様の構成で実現することができる。
【００９２】
さらに、第１の実施の形態においては２次元平面内での音源位置計算を行っていたが、マイクを正三角錐の４つの頂点に配置することによって、３次元空間内の音源位置を知ることが可能である。正三角錐では４つの正三角形があり、それぞれの三角形で実施例１のような計算を行って各三角形の平面上での音源方向を示す三角形面に垂直な面を割り出すことができる。各正三角形ごとに音源方向を示す平面を見出せば、あとは各平面の交点を求めることで３次元空間内の音源位置を知ることができる。
【００９３】
ところで、上記の第１の実施の形態では算出された音源位置情報をカメラの制御に利用する場合のみを説明したが、音源位置情報を映像信号のインデックス情報として利用することもできる。そのようなインデックス機能を有する音源位置記録装置を第２の実施の形態として以下に説明する。
【００９４】
図１８は、音源位置記録装置の内部構成図である。この音源位置記録装置は、３本のマイク１〜３、音信号検出器１１０、時間差測定器１２０、音源位置計算器１３０及び基準信号発生器１０１の構成は、図３に示した第１の実施の形態の構成と同じであるため、同一の番号を付して説明を省略する。また、この図には示していないが、音源位置計算器１３０には図３に示したものと同様のカメラ制御装置１４０が接続されており、そのカメラ制御装置１４０はカメラ本体２０３が設置された回転台２０１と電動レンズ２０２とを制御している。
【００９５】
この実施の形態では、音源位置計算器１３０の出力は、カメラ制御装置１４０とともにコンピュータ１５１にも入力されている。コンピュータ１５１には、入力装置１５２、表示装置１５３、記憶装置１５４及び制御装置１５５が接続されていている。制御装置１５５には、さらに記録再生装置１５６が接続されている。
【００９６】
コンピュータ１５１は、音源位置テーブルと時刻テーブルとを有しており、音源位置計算器１３０が出力した音源位置情報を音源位置テーブルに、またその情報を受け取った時刻を時刻テーブルに登録する。なお、コンピュータ１５１が実行する処理内容、及び音源位置テーブルと時刻テーブルとの詳細は後述する。
【００９７】
入力装置１５２は、音源位置計算終了の合図やコメントデータなどの入力を行うためのものである。表示装置１５３は、音源位置データ、時刻データおよびコメントデータを表示するためのものである。記憶装置１５４は、音源位置データと時刻データおよびコメントデータを記憶するためのものであり、ハードディスク装置等を使用する。
【００９８】
制御装置１５５は、記録再生装置１５６を制御するためものもである。記録再生装置１５６には音源位置記録と同時に、第１の実施の形態によって記録された映像記録が収められる。この第２の実施の形態では、ハードディスク上にディジタル記録された映像記録を用いている。ハードディスクは通常のテープ記録と異なり、ランダムアクセスが素早く行えるため、映像の検索作業を短時間に済ませることができる。利用者は、すでに記憶装置１５４に保存されている音源位置データと時刻データおよびコメントデータを表示装置１５３上に表示し、ここで再生の指示を作成する。例えば、司会者の発言部分だけを通して再生すれば、会議の議題リストを作成するといった作業が効率よく行える。制御装置１５５は、コンピュータが作成した再生時刻リストを元に再生装置の早送りや再生の指示を行う。再生が開始されると、入力装置から早送りの指示があるまで再生を続ける。
【００９９】
図１９は、音源位置テーブルの例を示す図である。音源位置テーブル４１は２列３６行のマトリックスであり、第１列目および第２列目にはそれぞれｘ座標値及びｙ座標値が格納される。このマトリックスには初期値として「ｎｕｌ」が入力されている。なお、３６行という行数は、角度分解能が５度程度であることと、会場における参加者の数として高々この程度を想定していることによる。
【０１００】
そして、マトリックスに格納されていない新しい音源位置データが音源位置計算器１３０から送られてくると、その座標値を次の行に追加して格納していく。このとき、すでに登録済みのデータと比較して角度誤差が５度以内で、かつ距離の誤差がｘ方向、ｙ方向ともに±２５ｃｍ以内であれば同じ位置とみなし、追加処理は行わない。その理由は、話者は着座姿勢を保っているとしても常に固定しているわけではなく、椅子を動かしたり頭をゆすったりすることが考えられるためである。
【０１０１】
図２０は、時刻テーブルの例を示す図である。時刻テーブル４２は初期状態で３６列１０２４行のマトリックスであり、各行のインデックスが音源位置テーブル４１の各行のインデックスに対応している。このマトリックスは、第１列以外には初期値として「ｎｕｌ」が入力されているが、第１列目には初期値として１が格納されている。この第１列目はポインタ情報を格納するために利用する。すなわち、この例では音源Ｐ１の時刻データがすでに３つ記録されているので、Ｐ１のポインタを与える第１行目には４が設定される。この情報により、音源Ｐ１からの次の時刻データがあった場合、このポインタを参照することによってどのアドレスにその時刻データを記入すればよいかをたやすく知ることができる。時刻データの記入が終わると、ポインタの値はインクリメントされる。
【０１０２】
時刻の表現形式は、ここでは計測開始時からの経過時間を０．１秒単位で計り、その値を２バイトの符号無し２進数によって表現している。したがって、１．３秒後の場合の時刻表現は「１３」となる。もちろん、計測開始時からの経過時間が分かればよいので、別の表現をとっても構わない。この時、受け取った音源位置がすでに音源位置テーブル４１に登録されているものであれば、その音源位置を示す行インデックスを求め、時刻テーブル４２の対応する列インデックスのすでに記録されている時刻情報の後に新しい時刻情報が追加される。受け取った音源位置が音源位置テーブル４１に未登録であれば、この音源位置を新たに音源位置テーブル４１に時刻とともに登録する。
【０１０３】
音源位置テーブル４１は２×３６の大きさの２次元マトリックスであり、コンピュータのメモリ上に確保される。また時刻テーブル４２は記録開始時は３６×１０２４の大きさの２次元マトリックスがコンピュータのメモリ上に確保され、同一位置の時刻情報が満杯になると自動的にメモリアロケーション機能によって新たに１０２４行が追加される。
【０１０４】
図２１は、音源位置記録の処理手順を示すフローチャートである。これはコンピュータ１５１によって行われる処理である。以下、処理手順をステップ番号に沿って説明する。
〔Ｓ１〕音源位置テーブルＴ１ と時刻テーブルＴ２ との領域をメモリ上に確保する。
〔Ｓ２〕位置格納変数Ｐと時刻格納変数ｘを確保する。
〔Ｓ３〕音源位置テーブルＴ１ と時刻テーブルＴ２ とを初期化する。
〔Ｓ４〕時刻ｔのカウントを開始する
〔Ｓ５〕音源位置計算器からの出力があるか否かを判断する。出力があればステップＳ６に進み、出力がなければこの処理を繰り返す。
〔Ｓ６〕現在の時刻ｔを時刻格納変数ｘに入力する。
〔Ｓ７〕音源位置（ｘ、ｙ）を位置格納変数Ｐに入力する。
〔Ｓ８〕位置格納変数Ｐが既に音源位置テーブルＴ１ に登録されているが否かを判断する。登録済みであればステップＳ１０に進み、未登録であればステップＳ９に進む。
〔Ｓ９〕音源位置テーブルＴ１ に位置格納変数Ｐの値を新たに格納し、ステップＳ１０に進む。
〔Ｓ１０〕音源位置テーブルＴ１ での位置格納変数Ｐの行インデックスｋを求める。
〔Ｓ１１〕時刻テーブルＴ２ の列ｋの第１行目に格納されているポインタ値ａを求め、時刻テーブルＴ２ のａ行ｋ列にｘの値を格納する。
〔Ｓ１２〕時刻テーブルＴ２ の列ｋの第１行目に格納されているポインタ値ａをインクリメントする。
〔Ｓ１３〕音源位置の計算が終了かいなかを判断する。終了であればステップＳ１４に進み、終了でなければステップ５に進む。
〔Ｓ１４〕記憶装置上に音源位置テーブルＴ１ および時刻テーブルＴ２ のデータを保存する。
〔Ｓ１５〕必要に応じてコメントを付加し、処理を終了する。
【０１０５】
このようにして、音源位置と発話時刻の情報を映像のインデックスとして利用することができる。
【０１０６】
【発明の効果】
以上説明したように本発明の音源位置計測装置では、３本のマイクを所定の三角形の頂点に配置し、同一音源からの音が３本のマイクに到達する時間差を測定するようにしたため、各マイクの位置とマイクペアごとの音の到達時間差とから、音源の方向のみならず音源位置を算出することができる。
【０１０７】
また、本発明のカメラ撮影制御装置では、各マイクの位置、マイクペアごとの音の到達時間差及びカメラの位置から、カメラに対する音源の相対的な位置を計算するようにしたため、カメラとマイクとが離れた位置にあっても、カメラが音源の方向を向くように制御することができる。
【図面の簡単な説明】
【図１】本発明のカメラ撮影制御装置の原理構成図である。
【図２】第１の実施の形態に係るカメラ撮影制御装置の配置図である。
【図３】第１の実施の形態に係るカメラ撮影制御装置の内部構成図である。
【図４】音信号検出装置の内部構成を示す図である。
【図５】音信号検出器における信号の変化を示す図である。（Ａ）はマイクから入力された信号の波形を示す図であり、（Ｂ）はアンプで増幅後の信号の波形を示す図であり、（Ｃ）は、パワー信号の波形を示す図であり、（Ｄ）は、レベル判定後の信号の波形を示す図であり、（Ｅ）は、微分器から出力される信号の波形を示す図である。
【図６】時間差測定器の内部構成を示す図である。
【図７】トリガ信号から得られる方形波を示す図である。（Ａ）はトリガ信号を表しており、（Ｂ）は方形波を表している。
【図８】遅延器の内部構成を示す図である。
【図９】音源方向の計算のためのマイクの座標系を示す図である。
【図１０】マイク間の時間差と音源方向との関係式を示すグラフである。
【図１１】１組のマイクペアの計測範囲を示す図である。
【図１２】角度−時間差情報テーブルを示す図である。
【図１３】２つの時間差情報から音源位置を求めるための方法を説明する図である。
【図１４】マイクペアの組み合わせと時間差データの符号によって決まる音源の範囲を示す図である。
【図１５】音源位置測定器の内部構成を示す図である。
【図１６】マイクの座標系とカメラの座標系の関係を示す図である。
【図１７】カメラ制御装置の内部構成を示す図である。
【図１８】音源位置記録装置の内部構成図である。
【図１９】音源位置テーブルの例を示す図である。
【図２０】時刻テーブルの例を示す図である。
【図２１】音源位置記録の処理手順を示すフローチャートである。
【符号の説明】
１〜３ マイク
４ 音信号検出手段
５ 時間差測定手段
６ 音源位置計算手段
７ カメラ制御手段
８ カメラ駆動手段
９ カメラ本体
１０ 電動レンズ
１１ 発話情報記録手段
１２ 映像・音声記録再生手段
１３ 再生指示手段
Claims (3)
- 音情報によって音源位置を計算する音源位置計測装置において、
正三角形の３つの頂点に設置されたマイクと、
１つの音源の発した音が前記マイクのそれぞれで捉えられた時刻を音検出時刻として検出する音信号検出手段と、
前記マイクごとの音検出時刻に基づいて、前記マイクの２個ずつを組合わせることにより得られる３組のマイクペアごとの音の到達時間差を測定する時間差測定手段と、
前記各マイクペアを結ぶ線から±６０度の範囲を前記各マイクペアの音源計測範囲とし、前記各マイクペアが捉えた音の到達時間差の符号によって音源の存在可能範囲を限定し、それぞれの前記マイクの位置と前記マイクペアごとの音の到達時間差とから、音源位置を計算する音源位置計算手段と、
を有することを特徴とする音源位置計測装置。 - 回転台の上に設置されたカメラの向きを制御しながら撮影を行うカメラ撮影装置において、
正三角形の３つの頂点に設置されたマイクと、
１つの音源の発した音が前記マイクのそれぞれで捉えられた時刻を音検出時刻として検出する音信号検出手段と、
前記マイクごとの音検出時刻に基づいて、前記マイクの２個ずつを組合わせることにより得られる３組のマイクペアごとの音の到達時間差を測定する時間差測定手段と、
前記各マイクペアを結ぶ線から±６０度の範囲を前記各マイクペアの音源計測範囲とし、前記各マイクペアが捉えた音の到達時間差の符号によって音源の存在可能範囲を限定し、それぞれの前記マイクの位置、前記マイクペアごとの音の到達時間差及び前記カメラの位置の情報に基づき、前記カメラに対する音源の相対的な位置情報を計算する音源位置計算手段と、
前記音源位置計算手段が算出した音源の位置情報に基づき、音源の方向へカメラの向きを制御するカメラ制御手段と、
を有することを特徴とするカメラ撮影制御装置。 - 回転台の上に設置されたカメラの向きを制御しながら撮影を行うカメラ撮影装置において、
所定の形状の三角形の３つの頂点に設置されたマイクと、
１つの音源の発した音が前記マイクのそれぞれで捉えられた時刻を音検出時刻として検出する音信号検出手段と、
前記マイクごとの音検出時刻に基づいて、前記マイクの２個ずつを組合わせることにより得られる３組のマイクペアごとの音の到達時間差を測定する時間差測定手段と、
それぞれの前記マイクの位置、マイクペアごとの音の到達時間差及び前記カメラの位置の情報に基づき、前記カメラに対する音源の相対的な位置情報を計算する音源位置計算手段と、
前記音源位置計算手段が算出した音源の前記位置情報に基づき、音源の方向へカメラの向きを制御するカメラ制御手段と、
前記マイクの捉えた音及び前記カメラの撮影した映像を、記録及び再生する映像・音声記録再生手段と、
前記音源位置計算手段の計算結果に基づいて、前記映像・音声記録再生手段が記録した映像のインデックスとして、音源位置ごとの発話時刻を記録する発話情報記録手段と、
を有することを特徴とするカメラ撮影制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3029297A JP3572849B2 (ja) | 1997-02-14 | 1997-02-14 | 音源位置計測装置、及びカメラ撮影制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3029297A JP3572849B2 (ja) | 1997-02-14 | 1997-02-14 | 音源位置計測装置、及びカメラ撮影制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10227849A JPH10227849A (ja) | 1998-08-25 |
| JP3572849B2 true JP3572849B2 (ja) | 2004-10-06 |
Family
ID=12299664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3029297A Expired - Lifetime JP3572849B2 (ja) | 1997-02-14 | 1997-02-14 | 音源位置計測装置、及びカメラ撮影制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3572849B2 (ja) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000341658A (ja) * | 1999-05-27 | 2000-12-08 | Nec Eng Ltd | 話者方向検出システム |
| DE10035222A1 (de) * | 2000-07-20 | 2002-02-07 | Bosch Gmbh Robert | Verfahren zur aktustischen Ortung von Personen in einem Detektionsraum |
| JP4868671B2 (ja) * | 2001-09-27 | 2012-02-01 | 中部電力株式会社 | 音源探査システム |
| JP4722347B2 (ja) * | 2000-10-02 | 2011-07-13 | 中部電力株式会社 | 音源探査システム |
| WO2002029432A1 (en) * | 2000-10-02 | 2002-04-11 | Chubu Electric Power Co., Inc., | Sound source probing system |
| JP2004257877A (ja) * | 2003-02-26 | 2004-09-16 | Seiko Epson Corp | 音源検出方法、音源検出装置及びロボット |
| NO318096B1 (no) | 2003-05-08 | 2005-01-31 | Tandberg Telecom As | Arrangement og fremgangsmate for lokalisering av lydkilde |
| JP4812302B2 (ja) * | 2005-01-12 | 2011-11-09 | 学校法人鶴学園 | 音源方向推定システム、音源方向推定方法及び音源方向推定プログラム |
| JP2007263614A (ja) * | 2006-03-27 | 2007-10-11 | Oki Electric Ind Co Ltd | 受波器位置校正装置及び方法 |
| JPWO2007122729A1 (ja) * | 2006-04-18 | 2009-08-27 | 株式会社日立製作所 | 通信システム、通信装置及び音源方向特定装置 |
| JP4660740B2 (ja) * | 2006-09-13 | 2011-03-30 | 独立行政法人産業技術総合研究所 | 電動車椅子搭載用音声入力装置 |
| JP4451892B2 (ja) * | 2007-03-19 | 2010-04-14 | 株式会社リコー | 映像再生装置、映像再生方法、及び映像再生プログラム |
| JP5047882B2 (ja) * | 2008-06-04 | 2012-10-10 | 日本電信電話株式会社 | 発話関連情報提示装置及び方法 |
| KR100958932B1 (ko) | 2008-08-19 | 2010-05-19 | 주식회사 에스원 | 3차원 음원 위치 측정 기술을 이용한 침입 감지 장치 및 방법 |
| JP2011033369A (ja) * | 2009-07-30 | 2011-02-17 | Ricoh Co Ltd | 会議装置 |
| CN102033223B (zh) * | 2010-12-29 | 2012-10-03 | 北京信息科技大学 | 使用麦克风阵列对声源定位的方法 |
| JP5647070B2 (ja) * | 2011-05-23 | 2014-12-24 | Kddi株式会社 | ポインティングシステム |
| WO2013015461A1 (ko) * | 2011-07-22 | 2013-01-31 | 엘지전자 주식회사 | 음원 방향 탐지 장치 및 이를 포함하는 감시 카메라 |
| JP2015161659A (ja) * | 2014-02-28 | 2015-09-07 | 株式会社熊谷組 | 音源方向推定装置、及び、音源推定用画像の表示装置 |
| CN104502893B (zh) * | 2014-12-10 | 2017-05-10 | 北京智谷睿拓技术服务有限公司 | 定位方法、定位装置以及用户设备 |
| KR101630614B1 (ko) * | 2015-03-25 | 2016-06-24 | (주)에어사운드 | 동영상 강의 콘텐츠 제작 시스템 및 방법 |
| CN106328130A (zh) * | 2015-06-30 | 2017-01-11 | 芋头科技（杭州）有限公司 | 一种机器人语音寻向转动系统及方法 |
| CN105005027A (zh) * | 2015-08-05 | 2015-10-28 | 张亚光 | 一种区域范围内目标对象的定位系统 |
| JP2017156122A (ja) * | 2016-02-29 | 2017-09-07 | 沖電気工業株式会社 | 制御装置、制御方法、及び探知システム |
| JP6697982B2 (ja) * | 2016-08-29 | 2020-05-27 | Kddi株式会社 | ロボットシステム |
| JP6976131B2 (ja) * | 2017-10-16 | 2021-12-08 | 三菱重工サーマルシステムズ株式会社 | 空調システム及び空調制御方法 |
| JP7154530B2 (ja) * | 2018-01-16 | 2022-10-18 | 株式会社ユピテル | 音源方向特定装置 |
| JP2019123055A (ja) * | 2018-01-18 | 2019-07-25 | 株式会社ユピテル | 装置 |
| CN110389597B (zh) * | 2018-04-17 | 2024-05-17 | 北京京东尚科信息技术有限公司 | 基于声源定位的摄像头调整方法、装置和系统 |
| JP2019211393A (ja) * | 2018-06-07 | 2019-12-12 | 旭化成エレクトロニクス株式会社 | 判定装置、判定方法、判定プログラム |
| US10565977B1 (en) | 2018-08-20 | 2020-02-18 | Verb Surgical Inc. | Surgical tool having integrated microphones |
| JP2021072575A (ja) * | 2019-10-31 | 2021-05-06 | パナソニックＩｐマネジメント株式会社 | 音源表示システム及び音源表示装置 |
| CN112104928A (zh) * | 2020-05-13 | 2020-12-18 | 苏州触达信息技术有限公司 | 一种智能音箱、控制智能音箱的方法和系统 |
| CN113453138B (zh) * | 2021-06-29 | 2022-06-21 | 四川长虹电器股份有限公司 | 麦克风阵列中麦克风顺序的检测方法 |
-
1997
- 1997-02-14 JP JP3029297A patent/JP3572849B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10227849A (ja) | 1998-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3572849B2 (ja) | 音源位置計測装置、及びカメラ撮影制御装置 | |
| CN101218853B (zh) | 音频传输系统及通信会议装置 | |
| CN104240606B (zh) | 显示装置及显示装置观看角度的调节方法 | |
| CN104065798B (zh) | 声音信号处理方法及设备 | |
| US20120163610A1 (en) | Apparatus, system, and method of image processing, and recording medium storing image processing control program | |
| JP2023508002A (ja) | オーディオデバイス自動場所選定 | |
| CN112672251B (zh) | 一种扬声器的控制方法和系统、存储介质及扬声器 | |
| JP5206151B2 (ja) | 音声入力ロボット、遠隔会議支援システム、遠隔会議支援方法 | |
| JP2004120459A (ja) | 音声出力装置 | |
| JP2009177480A (ja) | 撮影装置 | |
| JP3531084B2 (ja) | 指向性マイクロフォン装置 | |
| WO2016078415A1 (zh) | 一种终端拾音控制方法、终端及终端拾音控制系统 | |
| JP2008061186A (ja) | 指向特性制御装置、収音装置および収音システム | |
| JP2006166007A (ja) | 音源方向検出方法、音源方向検出装置及び撮影装置 | |
| JP2006304124A (ja) | 音源方向確定装置および音源方向確定方法 | |
| US11425502B2 (en) | Detection of microphone orientation and location for directional audio pickup | |
| CN112098949B (zh) | 一种定位智能设备的方法和装置 | |
| JP2006270522A (ja) | 音像定位制御装置 | |
| CN112099754A (zh) | 一种获取介绍信息的方法和智能设备 | |
| JP2019186743A (ja) | スピーカ、スピーカシステム、及びこれを備えたテレビジョン受信機 | |
| JPH07140527A (ja) | カメラ撮影制御装置 | |
| TWI756607B (zh) | 自動擺位的音箱裝置及其音響系統 | |
| JP7403778B2 (ja) | 音源方向特定装置 | |
| JP2020115609A (ja) | 音声録音装置及びその制御方法、並びにプログラム | |
| EP4404580A1 (en) | Broadcast-directing control method and apparatus, and storage medium and computer program product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040621 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 6 |