JP5153695B2 - 会議システム、管理サーバ、中継サーバ、クライアント端末、および会議方法 - Google Patents

Description

本発明は、会議システムに関し、特に会議システムの各クライアント端末に表示させる会議画面の生成技術に関する。

特許文献１には、端末からの映像とともに、蓄積された資料映像や過去の映像などを所望の形態で表示して利用したり、会議履歴を蓄積して所望の形態で表示して閲覧したりなど、多様な利用状況に対応可能な会議システムが開示されている。この会議システムにおいて、サーバは、会議に参加する各端末からの映像を受信して合成し、各端末に送り返して、各端末に会議画面を表示させる。また、サーバは、資料映像の再生制御コマンドを端末から受信した場合には、資料映像と各端末からの映像とを合成し、各端末に送り返して、各端末に会議画面を表示させる。

ここで、会議画面に含める映像は、会議に参加するすべての端末、または会議画面を表示する端末側で指定した任意の端末、あるいは予め設定された端末からの映像とすることができる。また、会議画面で表示可能な端末の映像数が、会議に参加している端末数よりも少ない場合に、会議画面を表示する端末側で指定した任意の端末、または予め定められたルールに従い特定の端末からの映像を表示することができる。

特開２００１−３１３９１５号公報

特許文献１に記載の会議システムでは、サーバが、各端末からの映像を受信して合成する。したがって、上述のように、会議画面を表示する端末側で、会議画面に含める端末からの映像を指定できるようにした場合、端末毎に異なる会議画面を生成する必要が生じる。このため、会議に参加する端末数が増えると、サーバの負荷が過大となり、会議画面および音声の配信が遅延することもある。

また、特許文献１に記載の会議システムは、会議画面を表示する端末側で指定した任意の端末、あるいは予め設定された端末からの映像を会議画面に含めることができる。しかし、会議の予約、および会議の予約者による会議画面の設定を考慮していない。

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、会議システムにおいて、サーバの負荷を軽減することにある。また、会議の予約者が、会議に参加する各端末に表示させる映像を設定可能とすることにある。

上記課題を解決するために、本発明において、管理サーバは、会議に参加する参加端末としてクライアント端末の指定を、表示枠の予約の有無とともに受け付けて、各参加端末に、すべての参加端末の識別情報および表示枠の予約の有無を含む予約情報を送信する。

また、中継サーバは、各参加端末から音声データおよび映像データを収集して、各参加端末に、当該参加端末以外の参加端末の音声データを配信するとともに、各参加端末に、当該参加端末より指定を受け付けた送信元から受信した映像データを配信する。

また、クライアント端末は、管理サーバから受信した予約情報に含まれている識別情報により特定される参加端末を送信元とする映像データの配信を中継サーバに要求して、中継サーバから各参加端末の音声データおよび映像データを受信してそれぞれ合成し出力するとともに、中継サーバに音声データおよび映像データを送信する。この際、予約情報において表示枠が予約されている参加端末を送信元とする映像データが、予め優先順位が付与された複数の表示枠からなる会議画面上の当該予約されている表示枠に表示されるように、映像データを合成する。

例えば、本発明は、管理サーバ、中継サーバ、および複数のクライアント端末がネットワークで接続されて構成された会議システムであって、
前記管理サーバは、
会議に参加する参加端末として前記クライアント端末の指定を、表示枠の予約の有無とともに受け付ける予約受付手段と、
前記参加端末各々に、すべての前記参加端末の識別情報および表示枠の予約の有無を含む予約情報を送信する予約情報送信手段と、を有し、
前記中継サーバは、
前記参加端末各々から音声データを受信する音声データ収集手段と、
前記参加端末各々から映像データを受信する映像データ収集手段と、
前記参加端末各々から、当該参加端末が配信を要求する映像データの送信元の指定を受け付ける配信要求受付手段と、
前記参加端末各々に、前記音声データ収集手段により受信した当該参加端末以外の前記参加端末の音声データを配信する音声データ配信手段と、
前記参加端末毎に、前記映像データ収集手段により受信した当該参加端末以外の映像データのなかから、前記配信要求受付手段によって当該参加端末より配信を要求された前記送信元から受信した映像データを選択し、当該選択した映像データを当該参加端末に配信する映像データ配信手段と、を有し、
前記クライアント端末は、
前記管理サーバから予約情報を受信する予約情報受信手段と、
前記中継サーバに、前記予約情報受信手段により受信した予約情報に含まれている識別情報により特定される前記参加端末の少なくとも一つを送信元とする映像データの配信を要求する配信要求手段と、
前記中継サーバに音声データを送信する音声データ送信手段と、
前記中継サーバに映像データを送信する映像データ送信手段と、
前記中継サーバから音声データを受信する音声データ受信手段と、
前記中継サーバから映像データを受信する映像データ受信手段と、
前記音声データ受信手段により受信した音声データを合成して出力する音声合成手段と、
前記映像データ受信手段により受信した映像データを合成して出力する映像合成手段と、を有し、
前記映像合成手段は、
前記予約情報受信手段により受信した予約情報において表示枠が予約されている前記参加端末を送信元とする映像データが、予め優先順位が付与された複数の表示枠からなる会議画面上の当該予約されている表示枠に表示されるように、前記映像データ受信手段により受信した映像データを合成する。

本発明によれば、会議システムのサーバの負荷を軽減することができる。また、会議の予約者が、各参加端末に、所望の参加端末からの映像を会議画面上の所望の位置に表示させるよう設定することが可能となる。

図１は、本発明の一実施の形態が適用された会議システムの概略図である。 図２は、管理サーバ１の概略構成図である。 図３は、端末情報記憶部１２の登録内容例を模式的に表した図である。 図４は、所属情報記憶部１３の登録内容例を模式的に表した図である。 図５は、予約情報記憶部１４の登録内容例を模式的に表した図である。 図６は、予約受付画面の一例を示す図である。 図７は、図２に示す管理サーバ１の動作を説明するためのフロー図である。 図８は、中継サーバ２の概略構成図である。 図９は、中継情報記憶部２２の登録内容例を模式的に表した図である。 図１０は、図８に示す中継サーバ２の動作を説明するためのフロー図である。 図１１は、クライアント端末３の概略構成図である。 図１２（Ａ）は、会議画面の構成情報によって構成される標準会議画面３１１０の一例を示す図であり、図１２（Ｂ）は、会議画面の構成情報によって構成されるクローズアップ用会議画面３１１１の一例を示す図である。 図１３は、図１１に示すクライアント端末３の動作を説明するためのフロー図である。 図１４は、図１３に示す会議制御処理Ｓ３１２を説明するためのフロー図である。 図１５（Ａ）は、標準会議画面３１１０の表示例を示す図であり、図１５（Ｂ）は、クローズアップ用会議画面３１１１の表示例を示す図である。 図１６は、ＧＷ４の概略構成図である。 図１７は、図１６に示すＧＷ４の動作を説明するためのフロー図である。 図１８は、図１に示す会議システムの動作例を説明するためのシーケンス図である。 図１９は、図１に示す会議システムの動作例を説明するためのシーケンス図である。

以下、本発明の実施の形態について説明する。

図１は、本発明の一実施の形態が適用された会議システムの概略図である。

図示するように、本実施の形態に係る会議システムは、管理サーバ１と、中継サーバ２と、複数のクライアント端末３と、ＧＷ４とが、ＬＡＮ５を介して相互接続されて構成されている。

管理サーバ１は、クライアント端末３から会議の予約要求を、この会議に参加するクライアント端末３（参加端末と呼ぶ）の指定とともに受け付ける。そして、各参加端末に、この会議に参加する参加端末のリスト（予約情報）を通知する。

クライアント端末３は、管理サーバ１から通知されたリストから参加端末を少なくとも一つ選択し、選択した参加端末を送信元とする映像データの配信を中継サーバ２に要求する。また、中継サーバ２から他の各参加端末の音声および映像データを受信して、それぞれ合成し出力するとともに、中継サーバ２に音声および映像データを送信する。

中継サーバ２は、各参加端末から音声および映像データを収集する。そして、各参加端末に、他の参加端末の音声データを配信するとともに、映像配信要求元の参加端末に、その参加端末が要求した参加端末の映像データを配信する。

そして、ＧＷ４は、ＰＢＸ（構内交換機）６をＬＡＮ５に接続するためのゲートウェイである。ＧＷ４は、管理サーバ１における会議の予約において、参加端末としての指定を受けることが可能である。参加端末として指定された場合、ＧＷ４は、ＰＢＸ６の配下のアナログ電話機７およびＩＰ電話機８を会議に参加させる。すなわち、ＰＢＸ６から受信した音声データを中継サーバ２に送信するとともに、中継サーバ２から受信した各参加端末の音声データをＰＢＸ６に送信する。

以下、本実施の形態に係る会議システムを構成する各装置を詳細に説明する。

まず、管理サーバ１を説明する。

図２は、管理サーバ１の概略構成図である。

図示するように、管理サーバ１は、ＬＡＮインターフェース部１１と、端末情報記憶部１２と、所属情報記憶部１３と、予約情報記憶部１４と、予約受付部１５と、予約情報送信部１６と、会議制御部１７と、を有する。

ＬＡＮインターフェース部１１は、ＬＡＮ５に接続するためのインターフェースである。

端末情報記憶部１２には、会議に参加可能なクライアント端末３およびＧＷ４の情報が記憶されている。図３は、端末情報記憶部１２の登録内容例を模式的に表した図である。図示するように、端末情報記憶部１２には、会議に参加可能なクライアント端末３およびＧＷ４のそれぞれについてレコード１２００が登録されている。

レコード１２００は、対象となるクライアント端末３あるいはＧＷ４の識別情報である端末ＩＤが登録されたフィールド１２０１と、このクライアント端末３あるいはＧＷ４のアドレスが登録されたフィールド１２０２と、このクライアント端末３あるいはＧＷ４のアカウント名が登録されたフィールド１２０３と、このクライアント端末３あるいはＧＷ４の属性が登録されたフィールド１２０４と、このクライアント端末３あるいはＧＷ４が会議の際に取り扱うことのできるデータ種別（音声のみ、あるいは音声および映像）が登録されたフィールド１２０５と、このクライアント端末３あるいはＧＷ４の会議画面上における表示枠の予約の可否が登録されたフィールド１２０６と、を有する。

ここで、属性は、例えば、クライアント端末３、あるいはＧＷ４に接続されたＰＢＸ６配下のアナログ電話機７、ＩＰ電話機８のユーザの職位によって定められる。また、会議画面とは、各参加端末が表示する複数の表示枠からなる会議用の画面である。

所属情報記憶部１３には、会議に参加可能なクライアント端末３およびＧＷ４のユーザの所属に関する情報が記憶されている。図４は、所属情報記憶部１３の登録内容例を模式的に表した図である。図示するように、所属情報記憶部１３には、会議に参加可能なクライアント端末３およびＧＷ４の端末ＩＤ１３００が、階層構造を持つ所属情報１３０１〜１３０４に対応付けられて登録されている。

図４に示す例において、階層「２」１３０２の所属「Ｂ事業部」、「Ｃ事業部」は、その上位の階層である階層「１」１３０１の所属「Ａ会社」に対応付けられている。階層「３」１３０３の所属「Ｄ課」、「Ｅ課」は、その上位の階層である階層「２」１３０２の所属「Ｂ事業部」に対応付けられている。そして、階層「３」１３０３の所属「Ｆ課」、「Ｇ課」は、その上位の階層である階層「２」１３０２の所属「Ｃ事業部」に対応付けられている。

また、図４に示す例において、端末ＩＤ「００１」１３００は、階層「２」１３０２において、その上位の階層である階層「１」１３０１の所属「Ａ会社」に対応付けられて登録されている。端末ＩＤ「００２」１３００は、階層「３」１３０３において、その上位の階層である階層「２」１３０２の所属「Ｂ事業部」に対応付けられて登録されている。端末ＩＤ「００３」１３００は、階層「３」１３０３において、その上位の階層である階層「２」１３０２の所属「Ｃ事業部」に対応付けられて登録されている。端末ＩＤ「００４」〜「０２４」１３００は、階層「４」１３０４において、その上位の階層である階層「３」１３０３の所属「Ｄ課」に対応付けられて登録されている。端末ＩＤ「＊＊＊」１３００は、階層「４」１３０４において、その上位の階層である階層「３」１３０３の所属「Ｅ課」に対応付けられて登録されている。端末ＩＤ「０２５」〜「０５０」１３００は、階層「４」１３０４において、その上位の階層である階層「３」１３０３の所属「Ｆ課」に対応付けられて登録されている。そして、端末ＩＤ「０５１」〜「０６０」１３００は、階層「４」１３０４において、その上位の階層である階層「３」１３０３の所属「Ｇ課」に対応付けられて登録されている。

予約情報記憶部１４には、予約された会議の情報が記憶される。図５は、予約情報記憶部１４の登録内容例を模式的に表した図である。図示するように、予約情報記憶部１４には、予約された会議に付与される識別情報である予約ＩＤ毎にテーブル１４０が登録される。

テーブル１４０には、会議の予約日時が登録されている。また、テーブル１４０には、このテーブル１４０の予約ＩＤが付与されている会議の参加端末毎に、参加端末情報が格納されるレコード１４００が登録されている。レコード１４００は、参加端末の端末ＩＤを登録するフィールド１４０１と、この参加端末のアドレスを登録するフィールド１４０２と、この参加端末のアカウント名を登録するフィールド１４０３と、この参加端末が会議の際に取り扱うことのできるデータ種別を登録するフィールド１４０４と、会議画面上におけるこの参加端末の表示枠が予約されている場合に、その予約枠を登録するフィールド１４０５と、を有する。

予約受付部１５は、ＬＡＮインターフェース部１１を介して任意のクライアント端末３から会議の予約要求を受け付けた場合に、このクライアント端末３に所定の予約受付画面を表示し、この予約受付画面を介して会議の予約を受け付ける。そして、予約を受け付けた会議に予約ＩＤを付与して、この予約ＩＤに対応するテーブル１４０を予約情報記憶部１４に追加し、参加端末に関するレコード１４００をこのテーブル１４０に登録する。

図６は、予約受付画面の一例を示す図である。ここで、符号１５０は、予約受付部１５がこの予約受付画面を介して予約を受け付ける会議に付与した予約ＩＤである。また、符号１５１は会議の予約日時の入力欄、符号１５２は所属選択画面、符号１５３は参加端末選択画面、符号１５４は予約ボタン、そして符号１５５は取消ボタンである。

所属選択画面１５２には、所属情報記憶部１３に記憶されている、階層構造を持つ所属情報１３０１〜１３０４が階層表示される。ここで、クライアント端末３のユーザが図示していないカーソルを操作して所望の所属を選択すると、予約受付部１５は、所属情報記憶部１３においてその所属の配下にあるすべてのクライアント端末３およびＧＷ４のレコード１２００を端末情報記憶部１２から読み出す。そして、読み出したレコード１２００に登録されている情報に基づいて、選択された所属の配下にあるすべてのクライアント端末３およびＧＷ４の情報表示欄１５３０を参加端末選択画面１５３に表示する。

情報表示欄１５３０は、参加端末の選択欄１５３１と、アカウント名の表示欄１５３２と、データ種別の表示欄１５３３と、表示枠の選択欄１５３４と、を有する。参加端末の選択欄１５３１は、この情報表示欄１５３０により特定されるクライアント端末３あるいはＧＷ４を参加端末として会議に参加させるか否かのチェックを受け付けるためのチェックボックスである。表示枠の選択欄１５３４は、例えばプルダウンメニューから表示枠の情報を選択することで、この情報表示欄１５３０により特定されるクライアント端末３の、会議画面上における表示枠を予約するためのものである。

ここで、会議画面を構成する各表示枠には、後述するように、予め優先順位が割り当てられており、「優先順位ｎ］（ただしｎは自然数）とは、会議画面上においてｎ番目の優先順位を持つ表示枠を指す。

なお、予約受付部１５は、端末情報記憶部１２に記憶されているレコード１２００において、フィールド１２０５に登録されているデータ種別が「音声」のみの場合、あるいはフィールド１２０６に登録されている予約可否が「不可」の場合、このレコード１２００に対応する情報表示欄１５３０の表示枠の選択欄１５３４を無効にして、会議画面上の表示枠を選択できないようにしている。

また、予約受付部１５は、端末情報記憶部１２に記憶されているレコード１２００において、フィールド１２０４に登録されているデータ属性が所定の属性である場合、この属性に予め対応付けられている表示枠が選択されたものとして、このレコード１２００に対応する情報表示欄１５３０の表示枠の選択欄１５３４に、その表示枠の情報を表示する。

さて、図６において、クライアント端末３のユーザが図示していないカーソルを操作して取消ボタン１５５を選択すると、予約受付部１５は、予約日時の入力欄１５１、所属選択画面１５２、および参加端末選択画面１５３の状態をクリアする。一方、ユーザが予約ボタン１５４を選択すると、予約受付部１５は、予約ＩＤ１５０に対応するテーブル１４０を予約情報記憶部１４に追加して、入力欄１５１の予約日時を登録する。また、選択欄１５３１にチェックが入れられた情報表示欄１５３０毎に、新たなレコード１４００を、このテーブル１４０に登録する。そして、このレコード１４００のフィールド１４０１〜１４０４に、この情報表示欄１５３０に対応する端末情報記憶部１２のレコード１２００のフィールド１２０１〜１２０３、１２０５の内容を登録するとともに、このレコード１４００のフィールド１４０５に、この情報表示欄１５３０の選択欄１５３４で選択された表示枠の情報を登録する。

予約情報送信部１６は、予約情報記憶部１４にテーブル１４０が追加された場合に、このテーブル１４０に登録されているレコード１４００により特定される参加端末各々に、このテーブル１４０の情報（予約ＩＤ、予約日時、参加端末情報のリスト）を含む予約情報を送信する。

そして、会議制御部１７は、クライアント端末３およびＧＷ４の会議への参加を制御する。

図７は、図２に示す管理サーバ１の動作を説明するためのフロー図である。

予約受付部１５は、ＬＡＮインターフェース部１１を介してクライアント端末３から会議の予約要求を受信すると（Ｓ１０１でＹＥＳ）、このクライアント端末３に、図６に示すような予約受付画面を表示する（Ｓ１０２）。そして、予約受付部１５は、この予約受付画面を介して会議の予約を受け付けて、予約ＩＤ、予約日時、およびこの会議に参加する参加端末のレコード１４００が登録されたテーブル１４０を、予約情報記憶部１４に追加する（Ｓ１０３）。

次に、予約情報送信部１６は、ＬＡＮインターフェース部１１を介して、予約情報記憶部１４に追加されたテーブル１４０に登録されているレコード１４００により特定される参加端末各々に、このテーブル１４０の情報（予約ＩＤ、予約日時、参加端末情報のリスト）を含む予約情報を送信する（Ｓ１０４）。

また、会議制御部１７は、ＬＡＮインターフェース部１１を介してクライアント端末３あるいはＧＷ４から、端末ＩＤおよび予約ＩＤの指定を伴う会議の参加要求を受信すると（Ｓ１０５でＹＥＳ）、予約情報記憶部１４を参照し、参加要求送信元が、この予約ＩＤにより特定される会議の参加端末として登録されているか否かを調べる（Ｓ１０６）。具体的には、この予約ＩＤに対応するテーブル１４０から、この端末ＩＤおよび参加要求送信元のアドレスがフィールド１４０１、１４０２に登録されているレコード１４００を検索する。

このようなレコード１４００を検索できなかった場合（Ｓ１０６でＮＯ）、この参加要求送信元は、この予約ＩＤにより特定される会議の参加端末でない。この場合、会議制御部１７は、ＬＡＮインターフェース部１１を介して参加要求送信元に、参加拒否応答を通知する（Ｓ１１０）。

一方、このようなレコード１４００を検索できた場合（Ｓ１０６でＹＥＳ）、会議制御部１７は、この予約ＩＤに対応するテーブル１４０に登録されている予約日時の時間帯に現在時刻が属しているか否かをさらに調べる（Ｓ１０７）。現在日時が予約日時の時間帯に属していない場合（Ｓ１０７でＮＯ）、現在、この予約ＩＤにより特定される会議は開催されてない。この場合、会議制御部１７は、ＬＡＮインターフェース部１１を介して参加要求送信元に、参加拒否応答を通知する（Ｓ１１０）。

一方、現在日時が予約日時の時間帯に属している場合（Ｓ１０７でＹＥＳ）、会議制御部１７は、ＬＡＮインターフェース部１１を介して参加要求送信元に、中継サーバ２のアドレスの指定を伴う参加許可応答を通知する（Ｓ１０８）。それから、会議制御部１７は、ＬＡＮインターフェース部１１を介して中継サーバ２に、予約ＩＤおよび参加要求送信元のアドレスを通知して、この参加要求送信元に対する中継の開始を指示する（Ｓ１０９）。

また、会議制御部１７は、ＬＡＮインターフェース部１１を介して参加端末から会議の離脱要求を受信すると（Ｓ１１１でＹＥＳ）、この参加端末に応答を返すとともに、ＬＡＮインターフェース部１１を介して中継サーバ２に、この参加端末のアドレスおよびこの参加端末が参加している会議の予約ＩＤを通知して、この参加端末に対する中継の終了を指示する（Ｓ１１２）。

次に、中継サーバ２を説明する。

図８は、中継サーバ２の概略構成図である。

図示するように、中継サーバ２は、ＬＡＮインターフェース部２１と、中継情報記憶部２２と、音声バッファ部２３と、映像バッファ部２４と、指示受付部２５と、音声中継部２６と、発言検出部２７と、映像中継部２８と、を有する。

ＬＡＮインターフェース部２１は、ＬＡＮ５に接続するためのインターフェースである。

中継情報記憶部２２には、開催中の会議毎に参加端末の情報が記憶される。図９は、中継情報記憶部２２の登録内容例を模式的に表した図である。図示するように、中継情報記憶部２２には、開催中の会議に付与された予約ＩＤ毎にテーブル２２０が登録される。

テーブル２２０には、このテーブル２２０の予約ＩＤが付与されている会議に参加中の参加端末毎にレコード２２００が登録される。レコード２２００は、参加端末のアドレスを登録するフィールド２２０１と、この参加端末に配信する映像の送信元端末（他の参加端末）のアドレスリストを登録するフィールド２２０２と、を有する。

音声バッファ部２３には、開催中の会議に参加している参加端末から受信した音声データが参加端末毎にバッファリングされる。

映像バッファ部２４は、開催中の会議に参加している参加端末のうち、映像データを取り扱うことが可能な参加端末（端末情報記憶部１２のレコード１２００のフィールド１２０５に登録されているデータ種別が「音声および映像」である参加端末）から受信した映像データが参加端末毎にバッファリングされる。

指示受付部２５は、ＬＡＮインターフェース部２１を介して管理サーバ１から受信した中継開始および中継終了の指示に従い、あるいはＬＡＮインターフェース部２１を介して参加端末から受信した後述の映像配信要求に従い、中継情報記憶部２２を更新する。

音声中継部２６は、参加端末間でやり取りされる音声データを中継する。図示するように、音声中継部２６は、音声収集部２６１と、音声配信部２６２と、を有する。音声収集部２６１は、ＬＡＮインターフェース部２１を介して各参加端末から受信した音声データを、音声バッファ部２３に参加端末毎にバッファリングする。音声配信部２６２は、ＬＡＮインターフェース部２１を介して各参加端末に、同じ会議に参加している他の参加端末の音声データを配信する。

発言検出部２７は、音声収集部２６１が受信した参加端末の音声データの音声レベルが所定レベル以上であるか否かを判断することにより、この参加端末のユーザによる発言の有無を検出する。そして、発言の有無を示す発言有無情報（フラグ）を、この音声データに付加する。

映像中継部２８は、参加端末間でやり取りされる映像データを中継する。図示するように、映像中継部２８は、映像収集部２８１と、映像配信部２８２と、を有する。映像収集部２８１は、ＬＡＮインターフェース部２１を介して各参加端末から受信した映像データを、映像バッファ部２４に参加端末毎にバッファリングする。映像配信部２８２は、ＬＡＮインターフェース部２１を介して映像データを取り扱うことが可能な各参加端末に、同じ会議に参加している他の参加端末のうち、対象の参加端末から映像配信を要求された参加端末の映像データを配信する。

図１０は、図８に示す中継サーバ２の動作を説明するためのフロー図である。

指示受付部２５は、ＬＡＮインターフェース部２１を介して管理サーバ１から、会議の中継開始あるいは中継終了の指示を受信すると（Ｓ２０１でＹＥＳ）、この会議の予約ＩＤに対応するテーブル２２０に、中継開始の対象となる参加端末のレコード２２００を追加、あるいはこのテーブル２２０から中継終了の対象となる参加端末のレコード２２００を削除する（Ｓ２０２）。

具体的には、管理サーバ１から中継開始の指示を受信したならば、この指示で指定されている予約ＩＤに対応付けられて中継情報記憶部２２に記憶されているテーブル２２０にレコード２２００を追加して、そのフィールド２２０１に、この指示で指定されている参加要求送信元のアドレスを登録する。この指示で指定されている予約ＩＤに対応するテーブル２２０が中継情報記憶部２２に登録されていない場合は、この予約ＩＤに対応するテーブル２２０を中継情報記憶部２２に登録するとともに、このテーブル２２０にレコード２２００を追加して、そのフィールド２２０１に、この指示で指定されている参加要求送信元のアドレスを登録する。

また、管理サーバ１から中継終了の指示を受信したならば、この指示で指定されている予約ＩＤに対応付けられて中継情報記憶部２２に記憶されているテーブル２２０から、この指示で指定されている離脱要求送信元のアドレスがフィールド２２０１に登録されたレコード２２００を削除する。その結果、テーブル２２０にレコード２２００が一つもない状態になったならば、このテーブル２２０を中継情報記憶部２２から削除する。

また、指示受付部２５は、ＬＡＮインターフェース部２１を介して参加端末から、後述の映像配信要求を受信すると（Ｓ２０３でＹＥＳ）、この参加端末が参加している会議の予約ＩＤに対応するテーブル２２０に登録されているこの参加端末のレコード２２００を更新する（Ｓ２０４）。

具体的には、映像配信要求で指定されている予約ＩＤに対応付けられて中継情報記憶部２２に記憶されているテーブル２２０から、映像配信要求元のアドレスがフィールド２２０１に登録されているレコード２２００を検索する。そして、このレコード２２００のフィールド２２０２に登録されているアドレスリストを、この要求に含まれているアドレスリストに更新する。

また、音声収集部２６１は、ＬＡＮインターフェース部２１を介して参加端末から音声データを受信すると（Ｓ２０５でＹＥＳ）、発言検出部２７を用いてこの音声データに発言有無情報（フラグ）を付加し（Ｓ２０６）、それから、この音声データを音声バッファ部２３に参加端末毎にバッファリングする（Ｓ２０７）。

また、映像収集部２８１は、ＬＡＮインターフェース部２１を介して参加端末から映像データを受信すると（Ｓ２０８でＹＥＳ）、この映像データを映像バッファ部２４に参加端末毎にバッファリングする（Ｓ２０９）。

また、定期的に到来する所定の配信タイミングになると（Ｓ２１０でＹＥＳ）、音声配信部２６２は、ＬＡＮインターフェース部２１を介して各参加端末に、同じ会議に参加している他の参加端末の音声データを配信する（Ｓ２１１）。また、映像配信部２８２は、ＬＡＮインターフェース部２１を介して、映像データを取り扱うことが可能な各参加端末に、同じ会議に参加している他の参加端末のうち、対象の参加端末から映像配信を要求された参加端末の映像データを配信する（Ｓ２１２）。

具体的には、音声配信部２６２は、中継情報記憶部２２に記憶されているテーブル２２０毎に次の処理を行う。すなわち、テーブル２２０に登録されたレコード２２００により特定される各参加端末の音声データを音声バッファ部２３から取り出して、それらの参加端末毎に、取り出した他の参加端末の音声データを複製する。そして、ＬＡＮインターフェース部２１を介して各参加端末に、他のすべての参加端末（合計で参加端末数−１）の音声データを配信する。

また、映像配信部２８２は、中継情報記憶部２２に記憶されているテーブル２２０毎に次の処理を行う。すなわち、テーブル２２０に登録されたレコード２２００により特定される参加端末のうち、映像バッファ部２４に映像データが格納されている各参加端末の映像データを、映像バッファ部２４から取り出す。次に、フィールド２２０２にアドレスリストが登録されているレコード２２００毎に、このアドレスリストにアドレスが掲載されている各参加端末の映像データを複製し、ＬＡＮインターフェース部２１を介して、このレコード２２００のフィールド２２０１に登録されたアドレスにより特定される参加端末に、このアドレスリストにアドレスが登録された各参加端末の映像データを配信する。

次に、クライアント端末３を説明する。

図１１は、クライアント端末３の概略構成図である。

図示するように、クライアント端末３は、ＬＡＮインターフェース部３０１と、音声入出力部３０２と、映像入出力部３０３と、操作受付部３０４と、音声処理部３０５と、映像処理部３０６と、音声合成部３０７と、映像合成部３０８と、予約情報記憶部３０９と、発言情報記憶部３１０と、会議画面構成情報記憶部３１１と、アプリケーション処理部３１２と、主制御部３１３と、を有する。

ＬＡＮインターフェース部３０１は、ＬＡＮ５に接続するためのインターフェースである。

音声入出力部３０２は、音声を入出力するためのものであり、マイクおよびスピーカを備える。

映像入出力部３０３は、映像を入出力するためのものであり、カメラおよびディスプレイを備える。

操作受付部３０４は、ユーザから各種操作を受け付けるためのものであり、マウス、キーボードなどを備える。

音声処理部３０５は、音声の符号化および復号を行うコーデックであり、音声入出力部３０２のマイクで集音された音声信号を音声データに符号化し、この音声データを主制御部３１３に送るとともに、主制御部３１３から受け取った音声データを音声信号に復号し、この音声信号を音声入出力部３０２のスピーカから出力する。

映像処理部３０６は、映像の符号化および復号を行うコーデックであり、映像入出力部３０３のカメラで撮像された映像信号を映像データに符号化し、この映像データを主制御部３１３に送るとともに、主制御部３１３から受け取った映像データを映像信号に復号し、この映像信号を映像入出力部３０３のディスプレイに表示する。

音声合成部３０７は、主制御部３１３から受け取った複数の参加端末の音声データを合成して、会議音声用の音声データを生成する。

映像合成部３０８は、主制御部３１３の指示に従い、主制御部３１３から受け取った複数の参加端末の映像データを合成して、会議画面用の映像データを生成する。

予約情報記憶部３０９には、主制御部３１３から受け取った予約情報、つまり自クライアント端末３が参加する会議の予約情報（図５に示すテーブル２２０に登録されている情報）が記憶される。

発言情報記憶部３１０には、自クライアント端末３と同じ会議に参加している参加端末（予約情報記憶部３０９に記憶された予約情報に登録されている端末ＩＤの参加端末）毎に、この参加端末から受信した、発言有無情報が「発言あり」である音声データの最新の送信時刻（あるいは受信時刻）が発言時刻として登録される。

会議画面情報記憶部３１１には、映像入出力部３０３のディスプレイに表示する会議画面の構成情報が記憶される。

図１２（Ａ）は、会議画面の構成情報によって構成される標準会議画面３１１０の一例を示す図である。図示するように、標準会議画面３１１０は、複数の表示枠３１１２で構成される。各表示枠３１１２には優先順位が割り当てられており、図１２（Ａ）に示す例では、同じラインであれば左側ほど優先順位が高く、かつ同じコラムであれば上側ほど優先順位が高くなるように、各表示枠３１１２に優先順位が割り当てられている。なお、後述するように、標準会議画面３１１０上のどの位置にどの優先順位の表示枠３１１２を配置するかは、クライアント端末３のユーザ各々が自由に設定可能である。

図１２（Ｂ）は、会議画面の構成情報によって構成されるクローズアップ用会議画面３１１１の一例を示す図である。図示するように、クローズアップ用会議画面３１１１は、複数の表示枠３１１２および表示枠３１１２より大きいエリアが割り当てられたクローズアップ表示枠３１１３で構成される。各表示枠３１１２には優先順位が割り当てられており、図１２（Ｂ）に示す例では、同じラインであれば左側ほど優先順位が高く、かつ同じコラムであれば上側ほど優先順位が高くなるように、各表示枠３１１２に優先順位が割り当てられている。なお、後述するように、クローズアップ用会議画面３１１１上のどの位置にどの優先順位の表示枠３１１２を配置するかは、クライアント端末３のユーザ各々が自由に設定可能である。

アプリケーション処理部３１２は、主制御部３１３の指示に従い、プレゼンテーション用プログラム等の所定のアプリケーションを処理する。

そして、主制御部３１３は、自クライアント端末３の各部３０１〜３１２を統括的に制御する。

図１３は、図１１に示すクライアント端末３の動作を説明するためのフロー図である。

主制御部３１３は、操作受付部３０４を介して、自クライアント端末３のユーザより会議予約の指示を受け付けると（Ｓ３０１でＹＥＳ）、ＬＡＮインターフェース部３０１を介して管理サーバ１に会議の予約要求を送信する（Ｓ３０２）。そして、主制御部３１３は、ＬＡＮインターフェース部３０１を介して管理サーバ１から予約受付画面のデータを受信し、映像処理部３０６を介して映像入出力部３０３のディスプレイに、図６に示すような予約受付画面を表示する（Ｓ３０３）。自クライアント端末３ユーザが、操作受付部３０４を操作して、映像入出力部３０３のディスプレイに表示された予約受付画面の各項目に情報を入力し、予約ボタン１５４をクリックすると、主制御部３１３は、これらの入力情報を管理サーバ１に送信する（Ｓ３０４）。

また、主制御部３１３は、ＬＡＮインターフェース部３０１を介して管理サーバ１から予約情報を受信すると（Ｓ３０６でＹＥＳ）、この予約情報を予約情報記憶部３０９に記憶する（Ｓ３０７）。

また、主制御部３１３は、操作受付部３０４を介して、自クライアント端末３のユーザより会議参加の指示を受け付けると（Ｓ３０８でＹＥＳ）、映像入出力部３０３のディスプレイに、予約情報記憶部３０９に記憶されている予約情報を表示して、ユーザから、参加する会議の予約ＩＤの指定を受け付ける（Ｓ３０９）。それから、主制御部３１３は、ＬＡＮインターフェース部３０１を介して管理サーバ１に、自クライアント端末３の端末ＩＤおよび予約ＩＤの指定を伴う会議の参加要求を送信する（Ｓ３１０）。

その後、主制御部３１３は、ＬＡＮインターフェース部３０１を介して管理サーバ１から、参加要求に対する応答を受信したならば、この応答が参加許可応答であるか否かを判断する（Ｓ３１１）。参加許可応答ならば（Ｓ３１１でＹＥＳ）、後述の会議制御処理を実施する（Ｓ３１２）。一方、参加拒否応答ならば（Ｓ３１１でＮＯ）、主制御部３１３は、映像入出力部３０３のディスプレイに、会議に参加できない旨のメッセージを表示するなどの所定のエラー処理を実施する（Ｓ３１３）。

図１４は、図１３に示す会議制御処理Ｓ３１２を説明するためのフロー図である。

主制御部３１３は、ＬＡＮインターフェース部３０１を介して、参加許可応答によりアドレスが通知された中継サーバ２に、自クライアント端末３が映像データの配信を要求する参加端末のアドレスリストを含む映像配信要求を送信する（Ｓ３１２０１）。

ここで、映像配信要求に含めるアドレスリストは次のようにして決定する。

まず、標準会議画面３１１０を構成する表示枠３１１２の枠数をｎとする（図１２（Ａ）参照）。参加している会議の予約ＩＤに対応付けられて予約情報記憶部３０９に登録されている予約情報において、表示枠が予約されている参加端末のアドレスをアドレスリストに含める。次に、表示枠が予約されている参加端末の端末数をｍとする。発言情報記憶部３１０に登録されている発言時刻が新しい参加端末から順番に（ｎ−ｍ）台の参加端末を選択して、これらの参加端末のアドレスをアドレスリストに含める。なお、発言情報記憶部３１０に発言時刻が登録されている参加端末が（ｎ−ｍ）台未満である場合は、アドレスリストにアドレスを含ませる残り参加端末を、この予約情報に登録されている自クライアント端末３以外の参加端末から任意（たとえば予約情報への登録順）に選択する。

その後、主制御部３１３は、自クライアント端末３の各部３０１〜３１２を制御して、中継サーバ２と音声および映像データを送受する（Ｓ３１２０２〜Ｓ３１２０８）。

具体的には、主制御部３１３は、音声入出力部３０２のマイクで集音され、音声処理部３０５で音声信号から変換された音声データを、ＬＡＮインターフェース部３０１を介して中継サーバ２に送信する。同様に、主制御部３１３は、映像入出力部３０３のカメラで撮像され、映像処理部３０６で映像信号から変換された映像データを、ＬＡＮインターフェース部３０１を介して中継サーバ２に送信する。なお、送信対象の映像データとして、すべての参加端末のクローズアップ用会議画面３１１１のクローズアップ表示枠３１１３に表示すべき共有アプリケーション画面データが指定されている場合、主制御部３１３は、アプリケーション処理部３１２が生成するアプリケーション画面の映像データを、それが共有アプリケーション画面データであることを示す情報を付加してＬＡＮインターフェース部３０１から中継サーバ２に送信する（Ｓ３１２０２）。

また、主制御部３１３は、ＬＡＮインターフェース部３０１を介して中継サーバ２から、同じ会議に参加している他のすべての参加端末の音声データを受信して（Ｓ３１２０３）、各参加端末の音声データに付加されている発言有無情報に従い、発言情報記憶部３１０に登録されている発言時刻を更新する（Ｓ３１２０４）。また、主制御部３１３は、各参加端末の音声データを音声合成部３０７で合成して会議音声用の音声データを生成し、この会議音声用の音声データを音声処理部３０５で音声信号に変換して、音声入出力部３０２のスピーカから出力する（Ｓ３１２０５）。

また、主制御部３１３は、ＬＡＮインターフェース部３０１を介して中継サーバ２から、映像配信要求のアドレスリストに記述した各参加端末の映像データを受信して（Ｓ３１２０６）、予約情報記憶部３０９に記憶された予約情報、発言情報記憶部３１０に登録された各参加端末の発言時刻、および会議画面情報記憶部３１１に記憶された会議画面の構成情報に基づいて、会議画面における各参加端末の映像データの配置を決定する（Ｓ３１２０７）。

具体的には、操作受付部３０４を介してユーザにより標準会議画面３１１０の表示が選択されている場合、主制御部３１３は、まず、予約情報記憶部３０９に記憶された予約情報において、表示枠３１１２が予約されている参加端末の映像データを、標準会議画面３１１０上のその予約された表示枠３１１２に割り当てる。次に、標準会議画面３１１０上に残りの表示枠３１１２があるならば、予約情報記憶部３０９に記憶された予約情報において、表示枠３１１２が予約されていない参加端末の映像データを、発言情報記憶部３１０に登録されている発言時刻が新しいものほど高い優先順位となるように残りの表示枠３１１２に割り当てる。

また、操作受付部３０４を介してユーザによりクローズアップ用会議画面３１１１の表示が選択されている場合、主制御部３１３は、まず、共有アプリケーション画面データであることを示す情報が付加されている映像データを、クローズアップ用会議画面３１１１上のクローズアップ表示枠３１１３に割り当てる。次に、予約情報記憶部３０９に記憶された予約情報において、表示枠３１１２が予約されている参加端末の映像データを、クローズアップ用会議画面３１１１上のその予約された表示枠３１１２に割り当てる。次に、クローズアップ会議画面３１１１上に残りの表示枠３１１２があるならば、予約情報記憶部３０９に記憶された予約情報において、表示枠３１１２が予約されていない参加端末の映像データを、発言情報記憶部３１０に登録された発言時刻の新しいものほど高い優先順位となるように残りの表示枠３１１２に割り当てる。

次に、主制御部３１３は、会議画面に表示する各参加端末の映像データを、映像処理部３０６で、決定された会議画面上の配置に従って合成して会議画面用の映像データを生成し、この会議画面用の映像データを映像処理部３０６で映像信号に変換して映像入出力部３０３のディスプレイに表示する（Ｓ３１２０８）。

図１５（Ａ）は、標準会議画面３１１０の表示例を示す図である。この例では、図１２（Ａ）の標準会議画面３１１０において、優先順位１〜３の表示枠３１１２に、アカウント名「ＣＬＩＥＮＴ０１」、「ＣＬＩＥＮＴ０２」、「ＣＬＩＥＮＴ０３」の参加端末の映像データが割り当てられ、残りの優先順位４〜９の表示枠３１１２に、カウント名「ＣＬＩＥＮＴ０５」、「ＣＬＩＥＮＴ０６」、「ＣＬＩＥＮＴ０８」、「ＣＬＩＥＮＴ１５」、「ＣＬＩＥＮＴ１０」、「ＣＬＩＥＮＴ２４」の参加端末の映像データが、発言の新しい順に割り当てられている。

図１５（Ｂ）は、クローズアップ用会議画面３１１１の表示例を示す図である。この例では、図１２（Ｂ）のクローズアップ用会議画面３１１１において、クローズアップ表示枠３１１３に、アカウント名「ＣＬＩＥＮＴ０６」の参加端末の映像データ（共有アプリケーション画面データ）が割り当てられ、優先順位１〜３の表示枠３１１２に、アカウント名「ＣＬＩＥＮＴ０１」、「ＣＬＩＥＮＴ０２」、「ＣＬＩＥＮＴ０３」の参加端末の映像データが割り当てられ、残りの優先順位４、５の表示枠３１１２に、カウント名「ＣＬＩＥＮＴ０５」、「ＣＬＩＥＮＴ０６」の参加端末の映像データが、発言の新しい順に割り当てられている。

さて、上述の処理（Ｓ３１２０２〜Ｓ３１２０８）の最中に、発言情報記憶部３１０に登録されている発言時刻の新しい参加端末の順番が変更されたならば（Ｓ３１２０９でＹＥＳ）、主制御部３１３は、上述のＳ３１２０１と同様の要領により、ＬＡＮインターフェース部３０１を介して中継サーバ２に、自クライアント端末３が映像データの配信を要求する参加端末のアドレスリストを含む映像配信要求を送信する（Ｓ３１２１０）。

また、映像入出力部３０３のディスプレイに表示中の標準会議画面３１１０あるいはクローズアップ用会議画面３１１１において、操作受付部３０４を介してユーザより２つの表示枠３１１２が選択され、その位置の入替えが指示されたならば（Ｓ３１２１１でＹＥＳ）、主制御部３１３は、標準会議画面３１１０あるいはクローズアップ用会議画面３１１１において、選択された２つの表示枠３１１２の位置が入れ替わるように、会議画面情報記憶部３１１に記憶されている標準会議画面３１１０あるいはクローズアップ用会議画面３１１１の構成情報を更新する（Ｓ３１２１２）。

また、主制御部３１３は、操作受付部３０４を介してユーザより、アプリケーション画面の共有指示がなされているならば（Ｓ３１２１３でＹＥＳ）、送信対象の映像データを、アプリケーション処理部３１２が生成するアプリケーション画面の映像データに変更する（Ｓ３１２１４）。

また、主制御部３１３は、操作受付部３０４を介してユーザより、会議からの離脱指示を受け付けたならば（Ｓ３１２１５でＹＥＳ）、ＬＡＮインターフェース部３０１を介して管理サーバ１に、会議の離脱要求を送信する（Ｓ３１２１６）。

次に、ＧＷ４を説明する。

図１６は、ＧＷ４の概略構成図である。

図示するように、ＧＷ４は、ＬＡＮインターフェース部４１と、ＰＢＸインターフェース部４２と、予約情報記憶部４３と、上り中継部４４と、下り中継部４５と、主制御部４６と、を有する。

ＬＡＮインターフェース部４１は、ＬＡＮ５に接続するためのインターフェースである。

ＰＢＸインターフェース部４２は、ＰＢＸ６に接続するためのインターフェースである。

予約情報記憶部４３には、主制御部４６から受け取った予約情報、つまり自ＧＷ４が参加する会議の予約情報（図５に示すテーブル２２０に登録された情報）が記憶される。

上り中継部４４は、主制御部４６の指示に従い、ＰＢＸインターフェース部４２を介してＰＢＸ６から受信した音声データを、ＬＡＮインターフェース部４１を介して中継サーバ２に送信する。

下り中継部４５は、主制御部４６の指示に従い、ＬＡＮインターフェース部４１を介してＬＡＮ５から受け取った複数の参加端末の音声データを合成して会議音声用の音声データを生成し、この会議音声用の音声データを、ＰＢＸインターフェース部４２を介してＰＢＸ６に送信する。

そして、主制御部４６は、自ＧＷ４の各部４１〜４５を統括的に制御する。

図１７は、図１６に示すＧＷ４の動作を説明するためのフロー図である。

主制御部４６は、ＬＡＮインターフェース部４１を介して管理サーバ１から予約情報を受信すると（Ｓ４０１でＹＥＳ）、この予約情報を予約情報記憶部４３に記憶する（Ｓ４０２）。

また、主制御部４６は、ＰＢＸインターフェース部４２を介してＰＢＸ６より接続要求を受信すると（Ｓ４０３でＹＥＳ）、自ＧＷ４の端末ＩＤおよび予約情報記憶部４３に記憶された予約情報の予約ＩＤの指定を伴う会議の参加要求を送信する（Ｓ４０４）。その後、主制御部４６は、ＬＡＮインターフェース部４１を介して管理サーバ１から、参加要求に対する応答を受信したならば、この応答が参加許可応答であるか否かを判断する（Ｓ４０５）。

管理サーバ１から受信した応答が参加許可応答ならば（Ｓ４０５でＹＥＳ）、ＰＢＸインターフェース部４２を介してＰＢＸ６に接続応答を返信する（Ｓ４０６）。それから、主制御部４６は、上り中継部４４および下り中継部４５を制御して、参加許可応答で指定された中継サーバ２とＰＢＸ６との間の音声データの中継処理を開始する（Ｓ４０７）。これにより、上り中継部４４は、ＰＢＸインターフェース部４２を介してＰＢＸ６から受信した音声データを、ＬＡＮインターフェース部４１を介して中継サーバ２に送信する。また、下り中継部４５は、ＬＡＮインターフェース部４１を介してＬＡＮ５から受け取った複数の参加端末の音声データを合成して会議音声用の音声データを生成し、この会議音声用の音声データを、ＰＢＸインターフェース部４２を介してＰＢＸ６に送信する。

一方、管理サーバ１から受信した応答が参加拒否応答であるならば（Ｓ４０５でＮＯ）、ＰＢＸインターフェース部４２を介してＰＢＸ６にＢＵＳＹ信号を返信するなどの所定のエラー処理を実施する（Ｓ４０８）。

また、主制御部４６は、ＰＢＸインターフェース部４２を介してＰＢＸ６より切断要求を受信すると（Ｓ４０９でＹＥＳ）、自ＧＷ４の端末ＩＤおよび予約情報記憶部４３に記憶された予約情報の予約ＩＤの指定を伴う会議の離脱要求を送信する（Ｓ４１０）。また、主制御部４６は、ＰＢＸインターフェース部４２を介してＰＢＸ６に切断応答を返信する（Ｓ４１１）。それから、主制御部４６は、上り中継部４４および下り中継部４５を制御して、中継サーバ２とＰＢＸ６との間の音声データの中継処理を終了する（Ｓ４１２）。

次に、本実施の形態が適用された会議システムの動作例を説明する。

図１８および図１９は、図１に示す会議システムの動作例を説明するためのシーケンス図である。ここでは、端末ＩＤ［００１］のクライアント端末３、端末ＩＤ［００２］のクライアント端末３、およびＧＷ４に接続されたＰＢＸ６配下のアナログ電話機７あるいはＩＰ電話機８間において、会議が実施される場合の動作例を示している。

まず、端末ＩＤ［００１］のクライアント端末３は、ユーザから会議予約の指示を受け付けると（Ｓ５０１）、管理サーバ１に会議の予約要求を送信する（Ｓ５０２）。これを受けて、管理サーバ１は、端末ＩＤ［００１］のクライアント端末３に、図６に示すような予約受付画面を表示して（Ｓ５０３）、会議の予約を受け付ける（Ｓ５０４）。それから、管理サーバ１は、予約された会議の予約情報を、この会議に参加する端末ＩＤ［００１］のクライアント端末３、端末ＩＤ［００２］のクライアント端末３、およびＧＷ４に送信する（Ｓ５０５）。

次に、端末ＩＤ［００１］のクライアント端末３は、予約された会議の開始時間が到来し、ユーザから会議参加の指示を受け付けると（Ｓ５０６）、管理サーバ１に会議の参加要求を送信する（Ｓ５０７）。これを受けて、管理サーバ１は、端末ＩＤ［００１］のクライアント端末３に、中継サーバ２のアドレスの指定を伴う参加許可応答を返信するとともに（Ｓ５０８）、中継サーバ２に、端末ＩＤ［００１］のクライアント端末３のアドレスを伴う中継開始指示を送信する（Ｓ５０９）。また、端末ＩＤ［００１］のクライアント端末３は、中継サーバ２に、配信を要求する映像データの送信元のアドレスリストを含む映像配信要求を送信する（Ｓ５１０）。

これにより、端末ＩＤ［００１］のクライアント端末３は、音声データを中継サーバ２に送信するとともに、自クライアント端末３以外の各参加端末の音声データを中継サーバ２から受信し、これらを合成して会議音声用の音声データを生成し出力する（Ｓ５１１）。また、端末ＩＤ［００１］のクライアント端末３は、映像データを中継サーバ２に送信するとともに、映像配信要求のアドレスリストに記述された参加端末の映像データを中継サーバ２から受信し、これらを合成して図１５（Ａ）、（Ｂ）に示すような会議画面用の映像データを生成し表示する（Ｓ５１２）。

同様に、端末ＩＤ［００２］のクライアント端末３は、予約された会議の開始時間が到来し、ユーザから会議参加の指示を受け付けると（Ｓ５１３）、管理サーバ１に会議の参加要求を送信する（Ｓ５１４）。これを受けて、管理サーバ１は、端末ＩＤ［００２］のクライアント端末３に、中継サーバ２のアドレスの指定を伴う参加許可応答を返信するとともに（Ｓ５１５）、端末ＩＤ［００２］のクライアント端末３のアドレスを伴う中継開始指示を中継サーバ２に送信する（Ｓ５１６）。また、端末ＩＤ［００２］のクライアント端末３は、配信を要求する映像データの送信元のアドレスリストを含む映像配信要求を中継サーバ２に送信する（Ｓ５１７）。

これにより、端末ＩＤ［００２］のクライアント端末３は、音声データを中継サーバ２に送信するとともに、自クライアント端末３以外の各参加端末の音声データを中継サーバ２から受信し、これらを合成して会議音声用の音声データを生成し出力する（Ｓ５１８）。また、端末ＩＤ［００２］のクライアント端末３は、映像データを中継サーバ２に送信するとともに、映像配信要求のアドレスリストに記述された参加端末の映像データを中継サーバ２から受信し、これらを合成して図１５（Ａ）、（Ｂ）に示すような会議画面用の映像データを生成し表示する（Ｓ５１９）。

また、ＧＷ４は、予約された会議の開始時間が到来し、ＰＢＸ６から接続要求を受信すると（Ｓ５２０）、管理サーバ１に会議の参加要求を送信する（Ｓ５２１）。これを受けて、管理サーバ１は、中継サーバ２のアドレスの指定を伴う参加許可応答をＧＷ４に返信するとともに（Ｓ５２２）、ＧＷ４のアドレスを伴う中継開始指示を中継サーバ２に送信する（Ｓ５２４）。また、ＧＷ４は、ＰＢＸ６に接続応答を返信する（Ｓ５２３）。

これにより、ＧＷ４は、ＰＢＸ６から受信した音声データを中継サーバ２に送信するとともに、自クライアント端末３以外の各参加端末の音声データを中継サーバ２から受信し、これらを合成して会議音声用の音声データを生成する。そして、この会議音声用の音声データをＰＢＸ６に送信する（Ｓ５２５、Ｓ５２６）。なお、ＧＷ４は、中継サーバ２に映像配信要求を送信しない。このため、中継サーバ２からＧＷ４に映像データの配信は行われない。

さて、端末ＩＤ［００１］のクライアント端末３は、会議からの離脱指示をユーザから受け付けると（Ｓ５３１）、管理サーバ１に会議の離脱要求を送信する（Ｓ５３２）。これを受けて、管理サーバ１は、端末ＩＤ［００１］のクライアント端末３に離脱許可応答を返信するとともに（Ｓ５３３）、中継サーバ２に、端末ＩＤ［００１］のクライアント端末３のアドレスを伴う中継終了指示を送信する（Ｓ５３４）。これにより、中継サーバ２は、端末ＩＤ［００１］のクライアント端末３との間の音声および映像データの送受を終了する。

同様に、端末ＩＤ［００２］のクライアント端末３は、会議からの離脱指示をユーザから受け付けると（Ｓ５３５）、管理サーバ１に会議の離脱要求を送信する（Ｓ５３６）。これを受けて、管理サーバ１は、端末ＩＤ［００２］のクライアント端末３に離脱許可応答を返信するとともに（Ｓ５３７）、中継サーバ２に、端末ＩＤ［００２］のクライアント端末３のアドレスを伴う中継終了指示を送信する（Ｓ５３８）。これにより、中継サーバ２は、端末ＩＤ［００２］のクライアント端末３との間の音声および映像データの送受を終了する。

また、ＧＷ４は、ＰＢＸ６から切断要求を受信すると（Ｓ５３９）、管理サーバ１に会議の離脱要求を送信する（Ｓ５４０）。これを受けて、管理サーバ１は、ＧＷ４に離脱許可応答を返信するとともに（Ｓ５４１）、中継サーバ２に、ＧＷ４のアドレスを伴う中継終了指示を送信する（Ｓ５４３）。また、ＧＷ４は、ＰＢＸ６に切断応答を送信する（Ｓ５４２）。これにより、中継サーバ２は、ＧＷ４との間の音声データの送受を終了する。

以上、本発明の一実施の形態を説明した。

本実施の形態において、管理サーバ１は、会議に参加する参加端末としてクライアント端末３の指定を、表示枠３１１２の予約の有無とともに受け付けて、各参加端末に、すべての参加端末の端末ＩＤおよび表示枠３１１２の予約の有無を含む予約情報を送信する。

また、中継サーバ２は、各参加端末から音声および映像データを収集して、各参加端末に他の参加端末の音声データを配信するとともに、映像配信要求元の参加端末に、映像配信要求元の参加端末より受信した映像配信要求で指定されている参加端末の映像データを配信する。

また、クライアント端末３は、管理サーバ１から受信した予約情報に含まれている端末ＩＤにより特定される少なくとも一つの参加端末の映像データの配信を中継サーバ２に要求する。また、中継サーバ２から各参加端末の音声および映像データを受信してそれぞれ合成し出力するとともに、中継サーバ２に音声および映像データを送信する。この際、予約情報において表示枠３１１２が予約されている参加端末の映像データが、会議画面３１１０、３１１１上の予約された表示枠３１１２内に表示されるように、中継サーバ２から受信した各参加端末の映像データを合成する。

したがって、本実施の形態によれば、クライアント端末３が音声および映像データの合成処理を実施するので、中継サーバ２の負荷を軽減することができる。また、会議の予約者が、各参加端末に、所望の参加端末の映像データを会議画面３１１０、３１１１上の所望の表示枠３１１２に表示させるよう設定することができる。

また、本実施の形態において、クライアント端末３は、表示枠３１１２が予約されていない参加端末の映像データが、参加端末の音声データの音声レベルにより特定される発言の新しい順番で、会議画面３１１０、３１１１上の予約されていない表示枠３１１２に表示されるように、中継サーバ２から受信した各参加端末の映像データを合成する。

したがって、本実施の形態によれば、各参加端末に、会議で積極的に発言しているユーザの参加端末の映像を、優先的に表示させることができる。

また、本実施の形態において、クライアント端末３は、表示枠３１１２が予約されている参加端末のアドレスと、表示枠３１１２が予約されていない残りの参加端末のうち、参加端末の音声データの音声レベルにより特定される発言の新しい順番で、会議画面３１１０、３１１１の表示枠３１１２の全表示枠数から予約済みの表示枠数を差し引いた数に対応する順番までの参加端末のアドレスとが、アドレスリストに記述された映像配信要求を、中継サーバ２に送信する。

したがって、本実施の形態によれば、クライアント端末３で表示される可能性の低い参加端末の映像データが、中継サーバ２からこのクライアント端末３に送信されるのを防止することができ、これによりＬＡＮ５上におけるトラヒックの発生を低減できる。

また、本実施の形態において、管理サーバ１は、参加端末として、所定の属性がフィールド１２０４に登録されているレコード１２００に対応するクライアント端末３の指定を受け付ける場合に、予めこの属性に対応付けられている表示枠３１１２が予約されたものとして取り扱うようにしている。

したがって、本実施の形態によれば、各参加端末に、所定の属性を有する参加端末の映像データを会議画面３１１０、３１１１上の所定の表示枠３１１２に表示させるよう設定することができる。

また、本実施の形態において、管理サーバ１は、参加端末として、予約可否「不可」がフィールド１２０４に登録されているレコード１２００に対応するクライアント端末３の指定を受け付ける場合に、このクライアント端末３に対して表示枠３１１２の予約の受け付けを無効にしている。

したがって、本実施の形態によれば、クライアント端末３毎に、表示枠３１１２の予約の可否を設定することができる。

また、本実施の形態において、クライアント端末３は、会議画面３１１０、３１１１上の位置を入れ替える二つの表示枠３１１２の指定を伴う入替え指示をユーザから受け付けた場合に、この二つの表示枠３１１２の会議画面３１１０、３１１２上の位置を入れ替えて、中継サーバ２から受信した各参加端末の映像データを合成する。

したがって、本実施の形態によれば、クライアント端末３毎に、会議画面３１１０、３１１１をカスタマイズすることができる。

また、本実施の形態において、クライアント端末３は、アプリケーション画面の共有指示を受け付けた場合に、このアプリケーション画面の表示データを映像データとして、それが共有アプリケーション画面データであることを示す情報を付加して、中継サーバ２に送信する。また、クライアント端末３は、共有アプリケーション画面データであることを示す情報が付加されている映像データを受信している場合に、クローズアップ用会議画面３１１１において、この映像データがクローズアップ表示枠３１１３に表示されるように各参加端末の映像データを合成する。

したがって、本実施の形態によれば、アプリケーションの表示データを参加端末間で共有することができる。

また、本実施の形態において、管理サーバ１は、参加端末としてＧＷ４の指定を受け付ける場合、表示枠３１１２の予約受付を不可としている。また、ＧＷ４は、ＰＢＸ６から音声データを受信して中継サーバ２に送信するとともに、中継サーバ２から、自ＧＷ４以外の参加端末各々の音声データを受信して合成し、ＰＢＸ６に送信する。

したがって、本実施の形態によれば、映像を取り扱うことのできない既存のアナログ電話機７やＩＰ電話機８を会議に参加させることができる。

なお、本発明は上記の実施の形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

例えば、上記の実施の形態において、クライアント端末３は、操作受付部３０４を介してユーザより受け付けた指示に従い、会議画面情報記憶部３１１に記憶されている構成情報により特定される会議画面３１１０、３１１１を構成する表示枠３１１２の枠数を変更できるようにしてもよい。

また、上記の実施の形態において、管理サーバ１は、いずれかのクライアント端末３あるいはＧＷ４から会議の参加要求を受信した場合に、他の参加端末に会議の開催を通知して呼び出すようにしてもよい。

また、上記の実施の形態では、中継サーバ２が各参加端末の音声データに発言有無情報を付加している。しかし、本発明はこれに限定されない。各参加端末が、中継サーバ２から受信した自参加端末以外の参加端末各々の音声データの音声レベルを調べて、これらの音声データに発言有無情報を付加するようにしてもよい。

また、上記の実施の形態において、図２に示す管理サーバ１、図８に示す中継サーバ２、図１１に示すクライアント端末３、および図１６に示すＧＷ４は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積ロジックＩＣによりハード的に実現されるものでもよいし、あるいはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの計算機によりソフトウエア的に実現されるものでもよい。または、ＣＰＵ、メモリ、ＨＤＤ、ＤＶＤ−ＲＯＭ等の補助記憶装置、およびＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、モデム等の通信インターフェース（クライアント端末３は、これらに加えてマイク、スピーカ等の音声入出力装置、カメラ、ディスプレイ等の映像入出力装置、およびキーボード、マウス等の入力装置）を備えたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の汎用コンピュータにおいて、ＣＰＵが所定のプログラムを補助記憶装置からメモリ上にロードして実行することで実現されるものでもよい。

１：管理サーバ、２：中継サーバ、３：クライアント端末、４：ＧＷ、５：ＬＡＮ、６：ＰＢＸ、７：アナログ電話機、８：ＩＰ電話機、１１：ＬＡＮインターフェース部、１２：端末情報記憶部、１３：所属情報記憶部、１４：予約情報記憶部、１５：予約受付部、１６：予約情報送信部、１７：会議制御部、２１：ＬＡＮインターフェース部、２２：中継情報記憶部、２３：音声バッファ部、２４：映像バッファ部、２５：指示受付部、２６：音声中継部、２７：発言検出部、２８：映像中継部、４１：ＬＡＮインターフェース部、４２：ＰＢＸインターフェース部、４３：予約情報記憶部、４４：上り中継部、４５：下り中継部、４６：主制御部、２６１：音声収集部、２６２：音声配信部、２８１：映像収集部、２８２：映像配信部、３０１：ＬＡＮインターフェース部、３０２：音声入出力部、３０３：映像入出力部、３０４：操作受付部、３０５：音声処理部、３０６：映像処理部、３０７：音声合成部、３０８：映像合成部、３０９：予約情報記憶部、３１０：発言情報記憶部、３１１：会議画面構成情報記憶部、３１２：アプリケーション処理部、３１３：主制御部

Claims (12)

1. 管理サーバ、中継サーバ、および複数のクライアント端末がネットワークで接続されて構成された会議システムであって、
   前記管理サーバは、
   会議に参加する参加端末として前記クライアント端末の指定を、表示枠の予約の有無とともに受け付ける予約受付手段と、
   前記参加端末各々に、すべての前記参加端末の識別情報および表示枠の予約の有無を含む予約情報を送信する予約情報送信手段と、を有し、
   前記中継サーバは、
   前記参加端末各々から音声データを受信する音声データ収集手段と、
   前記参加端末各々から映像データを受信する映像データ収集手段と、
   前記参加端末各々から、当該参加端末が配信を要求する映像データの送信元の指定を受け付ける配信要求受付手段と、
   前記参加端末各々に、前記音声データ収集手段により受信した当該参加端末以外の前記参加端末の音声データを配信する音声データ配信手段と、
   前記参加端末毎に、前記映像データ収集手段により受信した当該参加端末以外の映像データのなかから、前記配信要求受付手段によって当該参加端末より配信を要求された前記送信元から受信した映像データを選択し、当該選択した映像データを当該参加端末に配信する映像データ配信手段と、を有し、
   前記クライアント端末は、
   前記管理サーバから予約情報を受信する予約情報受信手段と、
   前記中継サーバに、前記予約情報受信手段により受信した予約情報に含まれている識別情報により特定される前記参加端末の少なくとも一つを送信元とする映像データの配信を要求する配信要求手段と、
   前記中継サーバに音声データを送信する音声データ送信手段と、
   前記中継サーバに映像データを送信する映像データ送信手段と、
   前記中継サーバから音声データを受信する音声データ受信手段と、
   前記中継サーバから映像データを受信する映像データ受信手段と、
   前記音声データ受信手段により受信した音声データを合成して出力する音声合成手段と、
   前記映像データ受信手段により受信した映像データを合成して出力する映像合成手段と、を有し、
   前記映像合成手段は、
   前記予約情報受信手段により受信した予約情報において表示枠が予約されている前記参加端末を送信元とする映像データが、予め優先順位が付与された複数の表示枠からなる会議画面上の当該予約されている表示枠に表示されるように、前記映像データ受信手段により受信した映像データを合成する
   ことを特徴とする会議システム。
2. 請求項１に記載の会議システムであって、
   前記映像合成手段は、
   前記予約情報受信手段により受信した予約情報において表示枠が予約されていない前記参加端末を送信元とする映像データが、前記音声データ受信手段により受信した音声データから検出される発言の新しい送信元の順番で、前記会議画面上の予約されていない表示枠に表示されるように、前記映像データ受信手段により受信した映像データを合成する
   ことを特徴とする会議システム。
3. 請求項１または２に記載の会議システムであって、
   前記配信要求手段は、
   前記予約情報受信手段により受信した予約情報において表示枠が予約されている前記参加端末、および当該予約情報において表示枠が予約されていない前記参加端末であって、前記音声データ受信手段により受信した音声データから検出される発言の新しい送信元の順番で、前記会議画面を構成する表示枠数から、予約されている表示枠数を差し引いた数に対応する順番までの前記参加端末を送信元とする映像データの配信を、前記中継サーバに要求する
   ことを特徴とする会議システム。
4. 請求項１ないし３のいずれか一項に記載の会議システムであって、
   前記管理サーバは、
   前記クライアント端末毎に、当該クライアント端末のユーザの属性情報を記憶する属性情報記憶手段をさらに有し、
   前記予約受付手段は、
   前記参加端末として前記属性情報記憶手段に記憶されている前記ユーザの属性情報が所定の属性情報である前記クライアント端末の指定を受け付ける場合、所定の表示枠が予約されたものとして当該指定を受け付ける
   ことを特徴とする会議システム。
5. 請求項１ないし４のいずれか一項に記載の会議システムであって、
   前記管理サーバは、
   前記クライアント端末毎に、表示枠の予約受付の可否に関する設定情報を記憶する設定情報記憶手段をさらに有し、
   前記予約受付手段は、
   前記参加端末として前記設定情報記憶手段に記憶されている前記表示枠の予約受付の可否に関する設定情報が「不可」に設定されている前記クライアント端末の指定を受け付ける場合、表示枠の予約受付を不可とする
   ことを特徴とする会議システム。
6. 請求項１ないし５のいずれか一項に記載の会議システムであって、
   前記クライアント端末は、
   前記会議画面上の位置を入れ替える二つの表示枠の指定を伴う入替え指示を受け付ける入替え指示受付手段をさらに有し、
   前記映像合成手段は、
   前記入替え指示受付手段により入替え指示を受け付けた場合に、当該入替え指示で指定された二つの表示枠の前記会議画面上の位置を入れ替えて、前記映像データ受信手段により受信した映像データを合成する
   ことを特徴とする会議システム。
7. 請求項１ないし６のいずれか一項に記載の会議システムであって、
   前記クライアント端末は、
   アプリケーションの共有指示を受け付ける共有指示受付手段と、
   会議画面の変更指示を受け付ける変更指示受付手段と、をさらに有し、
   前記映像データ送信手段は、
   前記共有指示受付手段により前記共有指示を受け付けた前記アプリケーションの表示データを映像データとして、当該映像データが共有データであることを示す情報を付加して前記中継サーバに送信し、
   前記映像合成手段は、
   前記変更指示受付手段により前記会議画面の変更指示を受け付けた場合に、前記複数の表示枠の少なくとも一つと前記表示枠より大きい拡大表示枠とからなる拡大表示用の会議画面上において、前記共有データであることを示す情報が付加された映像データが前記拡大表示枠に表示されるように、前記映像データ受信手段により受信した映像データを合成する
   ことを特徴とする会議システム。
8. 請求項１ないし７のいずれか一項に記載の会議システムであって、
   電話端末あるいは交換機を前記ネットワークに接続するためのゲートウェイをさらに有し、
   前記予約受付手段は、
   前記参加端末として前記ゲートウェイの指定を受け付ける場合、表示枠の予約受付を不可とし、
   前記ゲートウェイは、
   前記管理サーバから予約情報を受信する予約情報受信手段と、
   前記電話端末あるいは交換機から音声データを受信して前記中継サーバに送信する第一の音声データ中継手段と、
   前記中継サーバから、前記予約情報に含まれている識別情報により特定される自ゲートウェイ以外の前記参加端末各々の音声データを受信して合成し、前記電話端末あるいは交換機に送信する第二の音声データ中継手段と、を有する
   ことを特徴とする会議システム。
9. 請求項１ないし８のいずれか一項に記載の管理サーバ。
10. 請求項１ないし８のいずれか一項に記載の中継サーバ。
11. 請求項１ないし８のいずれか一項に記載のクライアント端末。
12. 管理サーバ、中継サーバ、および複数のクライアント端末を有する会議システムにおける会議方法であって、
    前記管理サーバが、
    会議に参加する参加端末として前記クライアント端末の指定を、表示枠の予約の有無とともに受け付けて、
    前記参加端末各々に、すべての前記参加端末の識別情報および表示枠の予約の有無を含む予約情報を送信し、
    前記中継サーバが、
    前記参加端末各々から音声データおよび映像データを収集して、
    前記参加端末各々に、当該参加端末以外の前記参加端末の音声データを配信するとともに、当該参加端末より配信を要求された送信元から受信した映像データを配信し、
    前記クライアント端末が、
    前記管理サーバから受信した予約情報に含まれている識別情報により特定される前記参加端末の少なくとも一つを送信元とする映像データの配信を前記中継サーバに要求し、
    前記中継サーバに音声データを送信するとともに、前記中継サーバから音声データを受信し合成して出力し、かつ
    前記中継サーバに映像データを送信するとともに、前記中継サーバから映像データを受信し、前記管理サーバから受信した前記予約情報において表示枠が予約されている参加端末を送信元とする映像データが、予め優先順位が付与された複数の表示枠からなる会議画面上の当該予約されている表示枠に表示されるように合成し出力する
    ことを特徴とする会議方法。

Images