JP4422656B2

JP4422656B2 - ネットワークを用いた遠隔多地点合奏システム

Info

Publication number: JP4422656B2
Application number: JP2005225878A
Authority: JP
Inventors: 雅俊浜中
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2005-08-03
Filing date: 2005-08-03
Publication date: 2010-02-24
Anticipated expiration: 2025-08-03
Also published as: JP2007041320A

Description

本発明は、ネットワークを介して接続された複数の演奏端末装置を用いて、複数の演奏端末装置がそれぞれ置かれた場所において、他の場所にいる演奏者の演奏と合奏をすることを可能にするネットワークを用いた遠隔多地点合奏システムネットワークに関するものである。

従来、ネットワークを介して音楽、音声をリアルタイムで送受信して合奏を実現するシステムが種々提案されている。特開平02-204794号公報（特許文献１）に示された合奏システムでは、遠隔地からネットワークを介して送られてくる演奏情報を端末装置のシンセサイザーで合成してスピーカーから増幅して出力して、遠隔地間での合奏を可能にしている。また別の合奏システムでは、１箇所にミキサを備えた集配装置を設け、この集配装置で各端末装置から送信されてきた演奏情報を混合多重化して、各端末装置に送信し、各端末装置では送信された演奏情報をシンセサイザーで合成してスピーカーから増幅して出力して、遠隔地間での合奏を可能にしている。

また特開平6-35456号公報（特許文献２）に示された電子楽器演奏システムでは、ネットワークを介して送られてくる演奏情報をクライアントに供給するだけでなく、演奏状態、指揮内容をディスプレイに表示する技術を開示している。

特開2005-77485号公報（特許文献３）には、ネットワークを介してカラオケのデュエットを可能にするために、多拠点の空間の映像・音響信号を遠隔地同士の利用者で共有することを内容とする「多拠点におけるデュエット・合唱カラオケ制御方式」が記載されている。またこの公報には、相互の音響信号データの遅延を極小化するために、映像信号ストリーム等よりも音響信号を優先して通信網に配信することが開示されている。

しかし実際に、遠隔地にいる複数の演奏者がネットワークを介して演奏する場合には、通信にかかる遅延時間が問題となる。すなわち遅延時間が長くなるにしたがって、合奏をリアルタイムで実現することは困難となる。そこでこのような問題を克服するための試みとして様々な装置が提案されてきた。例えば、特開2002-207492公報（特許文献４）には、遠隔地にある実演収録装置を数珠繋ぎにして順番を設定し、その設定した順番で演奏信号を順次次の実演収録装置に送ることによって演奏音の同期を可能にしている。しかしこの技術では、先頭の演奏者は、他の演奏者の演奏を聴くことができなかった。

また特開2005-128296号公報（特許文献５）に記載の技術では、正確な演奏操作を即すためのテンポに従った報知音（メトロノーム音）を電波時計に基づき発生させることによって、複数の演奏者の演奏音を同期させてミキシングすることを可能としていた。しかし、この技術では、遠隔地の各演奏者は他の演奏者の演奏を聴くことができず、あらかじめ決められた楽曲を所定のテンポで演奏するだけであった。

さらに特開2004-325775号公報（特許文献６）に記載の合奏用演奏装置の技術では、遠隔地との通信にかかる遅延時間を測定し、その測定した遅延時間に基づき自己の演奏情報を遅延させることで、演奏音を同期してミキシングすることを可能としていた。しかし、この技術では自己の演奏情報を遅延させて相手の演奏に同期させてミキシングするだけであるため、遅延時間の異なる３地点以上の遠隔地でネットワークを介して演奏する場合には、対応できない。

一方、特開2003-280644号公報（特許文献７）及び特開2003-323173号公報（特許文献８）並びに非特許文献１に記載の技術では、遠隔地から受け取った演奏を１小節から数小節の音楽的な区切りの長さ時間遅延させて、自分の演奏に同期させることによって、ネットワークによる遅延の影響を吸収していた。しかし、この技術では相手の演奏が自分に伝わるまでに数小節かかるため、相手の数小節前の演奏に合わせて演奏することになることから、合奏という性格が弱い。
特開平02-204794号公報特開平6-35456号公報特開2005-77485号公報特開2002-207492公報特開2005-128296号公報特開2004-325775号公報特開2003-280644号公報特開2003-323173号公報後藤真孝, 根山亮: "Open RemoteGIG: 遅延を考慮した不特定多数による遠隔セッションシステム", 情報処理学会論文誌, Vol.43, No.2, pp.299-309, February 2002.

しかしながら従来提案されている各種の技術では、合奏に参加を希望する者から送信されてくる演奏信号をすべて対象とするため、遅延時間の長い演奏信号の補正処理が複雑なものとなり、また遅延時間の補正処理が上手に行われていない場合には、時間遅れの演奏が耳障りなものとして聞こえる問題があった。

本発明の目的は、複雑な遅延時間の補正処理を行うことなく、遠隔地にいる複数の演奏者がネットワークを介して合奏をすることを可能にする遠隔多地点合奏システムを提供することにある。

本発明の他の目的は、耳障りとなるような時間遅れの演奏を聞くことなく、合奏をすることができる遠隔多地点合奏システムを提供することにある。

本出願に係わる発明は、ネットワークを利用するがサーバは利用しないタイプの遠隔多地点合奏システムと、ネットワークとサーバの両方を利用するタイプの遠隔多地点合奏システムに分けられる。サーバを利用しないタイプの本発明の遠隔多地点合奏システムは、ネットワークを介して接続された複数の演奏端末装置を用いて、複数の演奏端末装置がそれぞれ置かれた場所において、他の場所にいる演奏者の演奏と合奏をすることを可能にする。ここで「演奏」「合奏」とは、楽器を使用した演奏・合奏だけでなく、声だけの演奏・合奏や、楽器と声の両方が混在した演奏・合奏のいずれでもよい。また演奏には、拍手、手拍子、観客の声、叫び声等が含まれていてもよい。

本発明では、演奏端末装置として、実際の演奏を演奏信号に変換する変換手段と、演奏信号をネットワークを介して他の１以上の演奏端末装置との間で送受信する送受信手段と、受信した演奏信号の遅延時間を測定する遅延時間測定手段と、変換手段から出力した演奏信号と受信した演奏信号をミキシングして混合信号を作成するミキシング手段と、混合信号を再生する再生手段とを少なくとも備えたものを用いる。ここで「演奏信号」とは、演奏を再現するために使用可能な信号（例えば、音響信号、ＭＩＤＩ信号等）のすべてを含むものである。また遅延時間測定手段で採用する遅延時間の測定方法は、任意である。例えば、遅延時間測定手段を、一つの演奏端末装置から他の１以上の演奏端末装置に対して遅延測定用信号を送信してから、他の１以上の演奏端末装置が遅延測定用信号に応じて返信信号を一つの演奏端末装置に送信し、前記一つの演奏端末装置が返信信号を受信するまでの時間に基づいて、遅延時間を測定するように構成することができる。なお最近は、パーソナルコンピュータ用のオペレーションシステムにこのような遅延時間の測定機能が含まれているものも販売されているので、この機能を利用するようにしてもよいのは勿論である。

そして本発明では、複数の演奏端末装置のミキンング手段を、それぞれ、変換手段から出力した演奏信号を基準として測定した受信した１以上の演奏信号の遅延時間が長くなるほど１以上の演奏信号の増幅率を小さくするように構成している。ここで「遅延時間が長くなるほど１以上の演奏信号の増幅率を小さくする関係」は、負の傾きを持った比例関係や、反比例の関係である。負の傾きを持った比例関係とは、ｘｙ軸で考えた場合におけるｙ＝−ｍｘ＋ｋで表される比例関係である。ここでｍは比例係数（傾き）である。また反比例とは、遅延時間の長さが２倍、３倍であれば、増幅率を１／２倍、１／３倍とする関係である。本発明によれば、遅延時間が長くなるほど、増幅率が小さくなるため、ある程度遅延時間が長くなると、増幅率がかなり小さいものとなって、実際に再生手段から聞こえる合奏からは、耳障りなほどに遅れた演奏が聞こえることはない。また遅延時間が長い演奏信号ほど、増幅率が小さくなるため、その演奏信号に基づく演奏は、合奏の中では目立たない存在となる。そのため演奏間に多少の遅れがあったとしても、聞く者にとって耳障りな存在となることはない。このシステムでは、ある演奏端末装置Ａを考えた場合、その演奏端末装置Ａから遠く離れている（遅延時間がかなり長くなる）位置にある他の演奏端末装置Ｅから送信されてきた演奏信号は、演奏端末装置Ａのミキシング手段においては、増幅率が小さいために、実質的に増幅されない状態となるために、演奏端末装置Ａでは演奏端末装置Ｅが置かれている場所で行われている演奏を合奏中に聴くことはできない。このことと逆のことは、演奏端末装置Ｅにおいても発生している。したがってこのシステムでは、演奏端末装置Ａを中心にしてみれば、遅延時間が合奏に支障がない程度の長さになる距離の範囲内に置かれている他の演奏端末装置だけが、合奏に参加することになる。そのためこのシステムでは、参加しているすべての演奏端末装置が、遅延時間が合奏に支障がない程度の長さになる距離の範囲内に置かれている場合には、合奏に加わる各演奏に音量の差はあるもののすべての演奏端末装置において同じ種類の演奏による合奏が再生されている。これに対して、ある演奏端末装置からみると、遅延時間が合奏に支障を生じさせるほどに長くなる距離にある演奏端末装置が合奏に参加している場合には、すべての演奏端末装置において同じ種類の演奏による合奏が再生されることはなく、演奏端末装置によって異なる種類の演奏による合奏が再生される場合がある。しかしながらこのような事態が発生しても、参加者全員で合奏することを必須の要件としなければ特に問題は生じない。

理論的には、このシステムに参加できる演奏端末装置の台数に制限はない。しかしながら参加台数が多くなり過ぎると、合奏事態が耳障りなものとなることもある。そこで参加台数を予め制限するようにしてもよい。台数制限の方法は任意である。例えば、複数の演奏端末装置のミキシング手段を次のように動作するように構成することにより、結果として台数制限をすることができる。すなわち、受信した１以上の演奏信号の遅延時間を予め定めた基準遅延時間と対比して、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外する。そして遅延時間が基準遅延時間内にある演奏信号の増幅率を、該演奏信号の遅延時間の長さに反比例の関係で小さくする。このようにすると基準遅延時間の設定を変えることによって、システムに参加できる演奏端末装置の台数を制限できる。

上記のように基準遅延時間を設定する場合、基準遅延時間の定め方によっては、必ずしも遅延時間に応じて増幅率を小さくする必要がない場合もある。人間の耳の識別能力から考えると、約５０ｍｓ以内の遅延時間であれば、時間を遅れを感じることはないと言われている。したがって基準遅延時間を、人間が時間遅れを識別できない時間に設定した場合には、特に遅延時間に応じて増幅率を小さくしなくてもよい。そのためこの場合には、複数の演奏端末装置のミキシング手段は、それぞれ、受信した１以上の演奏信号の遅延時間を予め定めた基準遅延時間と対比し、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外し、残った演奏信号をそのまま混合して出力するように構成すればよい。

増幅率の変更の方法は任意である。例えば、ミキシング手段をコンピュータを用いて構成して音量調節をする場合には、音量調節変数を遅延時間に応じて変更するようにすればよい。このようにすると増幅率の変更を簡単に行える。

上記のシステムでは、各演奏端末装置で聴くことができる合奏に大きな相違が生じることがある。そこで参加者全員が同じ合奏を聴くことを可能にするためには、ネットワークを介してミキシング用サーバに複数の演奏端末装置を接続する本発明の遠隔多地点合奏システムを採用することができる。このシステムでは、演奏端末装置は、実際の演奏を演奏信号に変換する変換手段と、演奏信号をネットワークを介してミキシング用サーバに送信し且つミキシング用サーバから混合信号を受信する送受信手段と、混合信号を再生する再生手段とを少なくとも備えていればよい。そしてミキシング用サーバを、複数の演奏端末装置から送信される複数の演奏信号を受信する機能と、受信した複数の演奏信号の遅延時間を測定する遅延時間測定機能と、受信した複数の演奏信号の増幅率を測定した遅延時間の長さに反比例の関係で小さくして、複数の演奏信号を混合することにより混合信号を生成する機能と、混合信号を複数の演奏端末装置に送信する機能とを実現できる構成とする。このシステムでは、ミキシング用サーバを中心にして遅延時間が判定されるため、ミキシング用サーバから所定の距離の範囲内に置かれた複数の演奏端末装置だけが、合奏に参加できることになる。遅延時間は、例えば、最初に受信した演奏信号を基準にして、他の演奏信号の遅延時間を測定してもよいし、前述のように、遅延測定用信号をミキシング用サーバから演奏端末装置に送信して、遅延時間を測定してもよい。そして遅延時間が長くなる遠隔地に置かれた演奏端末装置では、ミキシング用サーバから送信された混合信号を再生して、参加者と同じ合奏を聴くことが可能になる。このシステムでも、遅延時間の長さに反比例の関係で演奏信号の増幅率を小さくするため、合奏中における時間遅れの演奏が耳障りなものとなることがない。またミキシング用サーバを中心にすると、遅延時間の判断を１箇所で行うことになるため、演奏端末装置側の負担が少なくなる上、遅延時間の判断に遅れが生じることはない。

ミキシング用サーバを用いる場合でも参加できる演奏端末装置の台数に制限を付ける場合には、前述と同様に、基準遅延時間を予め定めて、受信した１以上の演奏信号の遅延時間を予め定めた基準遅延時間と対比し、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外するようにすればよい。またこの場合においても、基準遅延時間を適当な長さとすれば、遅延時間の長さに対して、負の傾きを持った比例関係を持って増幅率を小さくしたり、反比例の関係で増幅率を小さくすることは、必ずしも必要がない。この場合には、ミキシング用サーバは、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外し、残った演奏信号をそのまま混合して混合信号を生成する機能を有していればよい。

ミキシング用サーバを用いる本発明のシステムでは、合奏から除外したすべての演奏端末装置をミキシング用サーバで認識している。そこでミキシング用サーバに、ミキシングから除外した演奏信号を送信してきた演奏端末装置に対して、除外したことを通知する機能を更に付加することができる。このような機能があれば、除外された演奏端末装置を使用する参加希望者は、自分が除外されていることに気が付かずに、演奏を続けるといった事態が発生することがなくなる。また除外された参加希望者も、自分の演奏端末装置を通して合奏を聴くことができるので、除外されたとしても合奏を楽しむことができる。

以下図面を参照して、本発明のネットワークを用いた遠隔多地点合奏システムの実施の形態を詳細に説明する。図１は、サーバを利用しないタイプの本発明の遠隔多地点合奏システムの実施の形態の一例を説明するための概念図である。図１においては、符号１で示した部分が、インターネット等によって構成されるネットワークである。本実施の形態では、ネットワーク１に５台（複数）の演奏端末装置Ａ〜Ｅが接続されている。演奏端末装置Ａ〜Ｅがそれぞれ置かれた場所において、演奏者３Ａ〜３Ｅは他の場所にいる演奏者の演奏と合奏をするが可能になる。図１の例では、演奏者３Ａ〜３Ｅは、それぞれ異なる楽器を演奏するように表示してあるが、演奏者がすべて同じ楽器を演奏する場合でも、また演奏者が楽器を演奏するのではなく歌を歌って演奏する場合も、また演奏者が手拍子で演奏に参加する場合でも、いずれの場合であってもよい。演奏端末装置Ａ〜Ｅは、主たる制御装置として、一般に使用されているパーソナルコンピュータ５Ａ〜５Ｅを用いており、この例ではＭＩＤＩ信号を音響信号に変換し、また音響信号をＭＩＤＩ信号に変換するＭＩＤＩ音源７Ａ〜７Ｅを備えている。なお図１においては、符号９Ａ〜９Ｅで示したボリューム表示は、後述するミキシング手段の内部の複数の増幅部の増幅率の相違を模擬的に表示したものである。

演奏端末装置Ａ〜Ｅは、それぞれ同じ構成を有している。その構成は図２に示すとおりであり、概念として分けると、変換手段５１と、送受信手段５３と、遅延時間測定手段５５と、ミキシング手段５７と、ミキシング手段５７から出力される混合信号を再生する再生手段５９とから構成されているものと考えることができる。なお前述のＭＩＤＩ音源は、変換手段５１，送受信手段５３及び再生手段５９の一部を構成している。図２に示した変換手段５１は、例えばマイクロフォンを含んで構成されて実際の演奏を演奏信号に変換するもののほか、電子楽器の内部に内蔵されて電子楽器の操作に応じてＭＩＤＩ信号を演奏信号として発生することにより実際の演奏を演奏信号に変換するものを含むものである。この例では、変換手段５１として、マイクロフォンで集音した音に基づく音響信号をＭＩＤＩ信号に変換して演奏信号とするものの他に、電子楽器に内蔵されて直接ＭＩＤＩ信号を出力するものの両方が用いられているものとする。この例ではネットワークに接続している５台の演奏端末装置Ａ〜Ｅは、お互いにアドレスを知っていて、互いに演奏信号を送受信する関係が成立しているものとする。そこで送受信手段５３は、演奏信号をネットワーク１を介して他の４台の演奏端末装置との間で演奏信号の送受信をする。遅延時間測定手段５５は、受信した複数の演奏信号（この例では４つの演奏信号）の遅延時間を測定する。本実施の形態で用いる遅延時間測定手段５５は、図３に示すように、一つの演奏端末装置（例えば５Ａ）から他の１以上の演奏端末装置（５Ｂ〜５Ｅ）に対して遅延測定用信号を送信してから、他の１以上の演奏端末装置（５Ｂ〜５Ｅ）が遅延測定用信号に応じて返信信号を一つの演奏端末装置（５Ａ）に送信し、一つの演奏端末装置（５Ａ）が返信信号を受信するまでの時間に基づいて、遅延時間を測定するように構成されている。この遅延時間の測定は、演奏信号を送信するときに、遅延測定用信号を一緒に送信して、演奏と並行して行うようにしてもよいし、演奏信号の送信とは別に周期的に（例えば０．５秒間隔で）遅延測定用信号を送信するようにしてもよい。なおこのような遅延時間測定機能は、例えば、アップルコンピュータ（商標）が、ＭａｃＯＳＸＴｉｇｅｒ（商標）の名前で販売しているオペレーションシステムには、標準的な機能として装備されている。したがってこの機能を用いれば、簡単に遅延時間の測定を行うことができる。

この例のミキシング手段５７は、受信した複数の演奏信号をミキシングして混合信号を作成する機能の他に、受信した１以上の演奏信号の遅延時間が長くなるほど１以上の演奏信号の増幅率を小さくする機能を有している。より具体的には、演奏信号の遅延時間に対して負の傾きを持った比例関係（ｙ＝−ｍｘの関係）や、反比例の関係を持って、遅延時間に応じて増幅率を小さくする機能を、ミキシング手段５７が備えている。図１の例では、自らの変換手段５１から出力される演奏信号を基準にして、受信する１以上の演奏信号の遅延時間を測定する。ミキンング手段５５が、演奏信号の遅延時間が長くなればなるほど１以上の演奏信号の増幅率を小さくする場合の関係を図４に示す。図４（Ａ）は、遅延時間の長さに対して、負の傾き（−ｍ）一定で増幅率が減少する場合の遅延時間と増幅率との関係を示しており、図４（Ｂ）は、反比例の関係で増幅率が減少する場合の遅延時間と増幅率との関係を示している。

このように遅延時間が長くなるほど、受信した演奏信号の増幅率を小さくすると、ある程度遅延時間が長くなると、増幅率がかなり小さいものとなって、実際に再生手段５９から聞こえる合奏からは、耳障りなほどに遅れた演奏が聞こえることがなくなる。また遅延時間が長い演奏信号ほど、増幅率が小さくなるため、その演奏信号に基づく演奏は、合奏の中では目立たない存在となる。そのため演奏間に多少の遅れがあったとしても、聞く者にとって耳障りな存在となることはない。なお再生手段５９としては、コンピュータに付随している音楽再生装置を利用することができる。

理論的には、このシステムに参加できる演奏端末装置の台数に制限はない。しかしながら参加台数が多くなり過ぎると、合奏事態が耳障りなものとなることもある。そこで参加台数を予め制限するようにしてもよい。図５は、予め参加できる最大台数を設定する場合に用いる各演奏端末装置のコンピュータにインストールするプログラムのアルゴリズムを示すフローチャートである。このフローチャートでは、ステップＳＴ１で、一緒に合奏できる遠隔地の演奏端末装置の最大数を設定する。そしてステップＳＴ２では、遠隔地の１以上の演奏端末装置に対して演奏信号を送信する。次にステップＳＴ３で、遠隔地から演奏信号を受信する。そしてステップＳＴ４で各遠隔地とネットワークによる遅延時間（受信した演奏信号の遅延時間）を測定（算出）する。次にステップＳＴ５で、測定した遅延時間に応じて、増幅率（音量調節変数）を変えて音量を調節する。すなわち各演奏信号の増幅率を遅延時間が長くなればなるほど小さくなるように変更する。そしてステップＳＴ６で、各演奏信号に対する増幅率（音量調節変数）を変更してミキシング手段ですべての演奏信号を混合することにより混合信号を得て、再生が行われる。合奏終了（自ら演奏端末装置の変換手段５１から演奏信号が所定の時間出力されなくなったこと）を、ステップＳＴ７で検出すると、終了する。

図６は、予め台数を制限せずに、ミキシング手段５７を次のように構成することにより、結果として台数制限をする場合に用いるプログラムのアルゴリズムの一例を示している。この例では、ステップＳＴ１１〜ステップＳＴ１３が図５のステップＳＴ２〜ステップＳＴ４に対応しており、ステップＳＴ１５〜ステップＳＴ１７までが図５のステップＳＴ５〜ステップＳＴ７に対応している。図６のアルゴリズムと図５のアルゴリズムとを対比すると、予め参加できる台数を限定せずに、ステップＳＴ１４において、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外するステップが追加されている点で、両者は相違する。すなわちこの例では、受信した１以上の演奏信号の遅延時間を予め定めた基準遅延時間と対比して、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外する。そして遅延時間が基準遅延時間内にある演奏信号の増幅率を、該演奏信号の遅延時間の長さに応じて小さくする。このようにすると基準遅延時間の設定を変えることによって、システムに参加できる演奏端末装置の台数を結果として制限することになる。

図６の例のように基準遅延時間を設定する場合、基準遅延時間の定め方によっては、必ずしも遅延時間に応じて増幅率を小さくする必要がない場合もある。人間の耳の識別能力から考えると、約５０ｍｓ以内の遅延時間であれば、時間遅れを感じることはないと言われている。したがって基準遅延時間を、人間が時間遅れを識別できない時間に設定した場合には、特に遅延時間に応じて増幅率を小さくしなくてもよい。そのためこの場合には、複数の演奏端末装置のミキシング手段５７は、それぞれ、受信した１以上の演奏信号の遅延時間を予め定めた基準遅延時間と対比し、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外し、残った演奏信号をそのまま混合して出力するように構成すればよい。図７は、この場合に用いるプログラムのアルゴリズムの一例を示している。

上記の実施の形態のシステムでは、各演奏端末装置で聴くことができる合奏に大きな相違が生じることがある。そこで参加者全員が同じ合奏を聴くことを可能にするためには、図８に示すようにネットワーク１を介してミキシング用サーバ３１に複数（５台）の演奏端末装置２５Ａ〜２５Ｅを接続する別の遠隔多地点合奏システムを採用することができる。このシステムでは、演奏端末装置２５Ａ〜２５Ｅは、図示していないが図２に示した前の実施の形態の構成と同様に、実際の演奏を演奏信号に変換する変換手段と、演奏信号をネットワーク１を介してミキシング用サーバ３１に送信し且つミキシング用サーバ３１から混合信号を受信する送受信手段と、混合信号を再生する再生手段とを少なくとも備えている。

この例では、ミキシング用サーバ３１に付随してＭＩＤＩ信号を音響信号に変換するＭＩＤＩ音源３３が設けられている。そしてミキシング用サーバ３１の内部には、プログラムによって図９にその構成の概略を示すように、複数の演奏端末装置から送信される複数の演奏信号を受信する機能と、混合信号を複数の演奏端末装置に送信する機能とを実現する送受信手段３５を備えている。また、ミキシング用サーバ３１は、受信した複数の演奏信号の遅延時間を測定する遅延時間測定機能を備えた遅延時間測定手段３７と、受信した複数の演奏信号の増幅率を測定した遅延時間の長さに反比例の関係で小さくして、複数の演奏信号を混合することにより混合信号を生成する機能を備えたミキシング手段３９とをプログラムによって内部に実現している。遅延時間測定手段３７の構成は、前の実施の形態と同じである。

またミキシング用サーバ３１内には、後述する通知手段４１が実現されている。このシステムでは、ミキシング用サーバ３１を中心にして遅延時間が判定されるため、ミキシング用サーバ３１から所定の距離の範囲内に置かれた複数の演奏端末装置だけが、合奏に参加できることになる。そして遅延時間が長くなる遠隔地に置かれた演奏端末装置２５Ａ〜２５Ｅでは、ミキシング用サーバ３１から送信された混合信号（音響信号）を再生して、参加者と同じ合奏を聴くことが可能になる。

図１０は、このシステムのミキシング用サーバ３１にインストールされるプログラムの一例のアルゴリズムを示している。このアルゴリズムでは、少なくとも１台の演奏端末装置（クライアント）が置かれて位置で、合奏のための演奏が開始されると、ミキシング用サーバ３１は処理をスタートする。そしてステップＳＴ１０１で、遠隔地にある演奏端末装置（クライアント）からの演奏信号（ＭＩＤＩ信号）を受信する。次にステップＳＴ１０２で、各演奏信号の遅延時間が測定され、ステップＳＴ１０３で測定した遅延時間の長さに反比例の関係で各演奏信号の増幅率を小さくしてＭＩＤＩ信号をＭＩＤＩ音源３３へと送る。ＭＩＤＩ音源は、ＭＩＤＩ信号を音響信号に変化して、ミキシング用サーバ３１へと音響信号を送る（ステップＳＴ１０４）。そしてミキシング用サーバ３１は、音響信号を複数の演奏端末装置（クライアント）２５Ａ〜２５Ｅへと送信する。そしてミキシング用サーバ３１にすべての演奏端末装置（クライアント）２５Ａ〜２５Ｅから演奏信号が送信されてこなくなったことをステップＳＴ１０６で確認すると、合奏を終了する。

このシステムでも、遠隔地から送信されてくる演奏信号に対する増幅率を、遅延時間に応じて（負の傾きを持った比例関係または反比例の関係等で）小さくしているので、合奏中における時間遅れの演奏が耳障りなものとなることがない。またミキシング用サーバ３１を中心にすると、遅延時間の判断を１箇所で行うことになるため、演奏端末装置側の負担が少なくなる上、遅延時間の判断に遅れが生じることはない。

ミキシング用サーバを用いる場合でも参加できる演奏端末装置の台数に制限を付ける場合には、図１１に示すように、ミキシング用サーバ３１側で基準遅延時間を予め定めて（ステップＳＴ２０３）、受信した１以上の演奏信号の遅延時間を基準遅延時間と対比し、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外するようにすればよい（ステップＳＴ２０３）。図１１のアルゴリズムでは、合奏から除外したすべての演奏端末装置をミキシング用サーバで認識しているので、ミキシング用サーバに、ミキシングから除外した演奏信号を送信してきた演奏端末装置に対して、除外したことを通知する機能（図９の通知手段４１）を更に付加している。この機能は図１１のステップＳＴ２０７で実現されている。このような機能があれば、除外された演奏端末装置を使用する参加希望者は、自分が除外されていることに気が付かずに、演奏を続けるといった事態が発生することがなくなる。除外したことの通知は、図８の演奏端末装置２５Ｃの画面に例えば除外を意味するレッドカードを表示するようにして行うことができる。言葉による通知であってもよいのは勿論である。このシステムでは、ように除外された参加希望者は、自分の演奏端末装置２５Ｃを通して合奏を聴くことができるので、除外されたとしても、観客となって合奏を楽しむことができる。

図１２は、このシステムにおける演奏端末装置側のコンピュータにインストールされるプログラムのアルゴリズムを示している。このアルゴリズムでは、演奏モードと観客モードとを備えている。そしてサーバから警告（除外することを通知するもの）を受信すると（ステップＳＴ３０４）、警告（レッドカードＲ）をその演奏端末装置の画面に表示する（ステップＳＴ３０５）。そして合奏への参加が終了すると、ステップＳＴ３０６からステップＳＴ３０７へと移って、演奏モードから観客モードになる。観客モードは、合奏を聴くことを終了することにより終了する（ステップＳＴ３０８）。

またミキシング用サーバ３１を用いる場合においても、基準遅延時間を適当な長さとすれば、遅延時間の長さに応じて増幅率を小さくすることは、必ずしも必要がない。そこでこの場合には、図１３に示すアルゴリズムのように、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外し（ステップＳＴ４０３）、残った演奏信号をそのまま混合して混合信号を生成する（ステップＳＴ２０４）機能をミキシング用サーバ３１内に実現するようにしてもよい。

サーバを利用しないタイプの本発明の遠隔多地点合奏システムの実施の形態の一例を説明するための概念図である。演奏端末装置の構成の一例を示す図である。遅延時間を測定する方法の一例を説明するために用いる図である。（Ａ）及び（Ｂ）は、演奏信号の増幅率を遅延時間の長さに反比例の関係で小さくする場合の関係を示す図である。予め参加できる最大台数を設定する場合に用いる各演奏端末装置のコンピュータにインストールするプログラムのアルゴリズムを示すフローチャートである。演奏端末装置のコンピュータにインストールすることができる他のプログラムのアルゴリズムを示すフローチャートである。演奏端末装置のコンピュータにインストールすることができるその他のプログラムのアルゴリズムを示すフローチャートである。ネットワークを介してミキシング用サーバに複数の演奏端末装置を接続する本発明の別の遠隔多地点合奏システムの概略構成を示す図である。ミキシング用サーバ内に実現する機能実現手段の構成を示す図である。ミキシング用サーバにインストールされるプログラムの一例のアルゴリズムを示すフローチャートである。ミキシング用サーバにインストールされる他のプログラムの一例のアルゴリズムを示すフローチャートである。演奏端末装置のコンピュータにインストールされるプログラムの一例のアルゴリズムを示すフローチャートである。ミキシング用サーバにインストールされる他のプログラムの一例のアルゴリズムを示すフローチャートである。

符号の説明

１ネットワーク
３Ａ〜３Ｅ演奏者
５Ａ〜５Ｅパーソナルコンピュータ
Ａ〜Ｅ演奏端末装置
５１変換手段
５３，３５送受信手段
５５，３７遅延時間測定手段
５７，３９ミキシング手段
５９再生手段
３１ミキシング用サーバ
４１通知手段

Claims

ネットワークを介して接続された複数の演奏端末装置を用いて、前記複数の演奏端末装置がそれぞれ置かれた場所において、他の場所にいる演奏者の演奏と合奏をすることを可能にするネットワークを用いた遠隔多地点合奏システムであって、
前記演奏端末装置として、実際の演奏を演奏信号に変換する変換手段と、前記演奏信号を前記ネットワークを介して他の１以上の前記演奏端末装置との間で送受信する送受信手段と、前記変換手段から出力した前記演奏信号を基準にして受信した演奏信号の遅延時間を測定する遅延時間測定手段と、前記変換手段から出力した前記演奏信号と受信した１以上の前記演奏信号をミキシングして混合信号を作成するミキシング手段と、前記混合信号を再生する再生手段とを少なくとも備えたものを用い、
前記複数の演奏端末装置の前記ミキシング手段が、それぞれ、受信した１以上の前記演奏信号の遅延時間を予め定めた基準遅延時間と対比して、前記遅延時間が前記基準遅延時間よりも長い演奏信号をミキシングから除外し、前記遅延時間が前記基準遅延時間内にある演奏信号の増幅率を、該演奏信号の前記遅延時間が長くなればなるほど小さくするように構成されていることを特徴とするネットワークを用いた遠隔多地点合奏システム。
ネットワークを介してミキシング用サーバに接続された複数の演奏端末装置を用いて、前記複数の演奏端末装置がそれぞれ置かれた場所において、他の場所にいる演奏者の演奏と合奏をすることを可能にするネットワークを用いた遠隔多地点合奏システムであって、
前記演奏端末装置は、実際の演奏を演奏信号に変換する変換手段と、前記演奏信号を前記ネットワークを介して前記ミキシング用サーバに送信し且つ前記ミキシング用サーバから混合信号を受信する送受信手段と、前記混合信号を再生する再生手段とを少なくとも備えており、
前記ミキシング用サーバが、前記複数の演奏端末装置から送信される複数の前記演奏信号を受信する機能と、受信した前記複数の演奏信号の遅延時間を測定する遅延時間測定機能と、受信した１以上の前記演奏信号の遅延時間を予め定めた基準遅延時間と対比し、前記遅延時間が前記基準遅延時間よりも長い演奏信号をミキシングから除外し、前記遅延時間が前記基準遅延時間内にある演奏信号の増幅率を、該演奏信号の前記遅延時間が長くなればなるほど小さくなるように変更して、前記複数の演奏信号を混合することにより前記混合信号を生成する機能と、前記混合信号を前記複数の演奏端末装置に送信する機能とを備えていることを特徴とするネットワークを用いた遠隔多地点合奏システム。
前記ミキシング用サーバは、ミキシングから除外した前記演奏信号を送信してきた前記演奏端末装置に対して、除外したことを通知する機能を更に備えていることを特徴とする請求項２に記載の遠隔多地点合奏システム。