JP5621196B2

JP5621196B2 - Network control system, method and program

Info

Publication number: JP5621196B2
Application number: JP2009046022A
Authority: JP
Inventors: 啓明三原
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2009-02-27
Filing date: 2009-02-27
Publication date: 2014-11-05
Anticipated expiration: 2029-02-27
Also published as: JP2010200273A

Description

本発明は、ネットワーク制御システム、方法及びプログラムに関し、例えば、ネットワークを介した多地点会議を行うシステムに適用し得るものである。 The present invention relates to a network control system, method, and program, and can be applied to a system that performs a multipoint conference via a network, for example.

ネットワークを介して複数の参加者による多地点で会議を行う会議システムでは、音声、映像、データを相互交換するＭＣＵ（Multi-point Control Unit）を用いるのが一般的である。 In a conference system that performs a conference at a multipoint by a plurality of participants via a network, an MCU (Multi-point Control Unit) that exchanges voice, video, and data is generally used.

ＭＣＵの主な機能として、呼制御機能、会議に参加する複数の端末から音声、映像、データを受信し、必要に応じてそれらデータの復号等を行う計算処理機能、集まった音声、映像、データのスイッチング機能、音声の重ね合わせによる合成や映像の空間的合成を行う合成機能、最後にこれら加工されたデータを特定のコーデック、ビットレート、映像の場合は映像サイズで符号化し、参加者に音声、映像、データを配信する符号化配信機能などがある。 The main functions of the MCU are call control functions, calculation processing functions that receive audio, video, and data from multiple terminals participating in the conference and decode such data as necessary, collected audio, video, and data Switching function, composition function for audio composition and spatial composition, and finally, the processed data is encoded with a specific codec, bit rate, and video size in the case of video, and audio is sent to participants. There is an encoded distribution function for distributing video and data.

このようなＭＣＵの機能により、直接的に相互通信のできない端末同士が、ＭＣＵを介して同一会議に参加することで、相互に音声、映像等の通信を行うことを可能としている。 With such MCU functions, terminals that cannot directly communicate with each other participate in the same conference via the MCU, thereby enabling communication such as voice and video between each other.

一方で、会議中に何らかの理由でＭＣＵが停止すると、ＭＣＵの上記機能が行なわれず端末間の相互通信ができなくなる。 On the other hand, if the MCU stops for some reason during the conference, the above functions of the MCU are not performed, and mutual communication between terminals becomes impossible.

このような課題を解決する技術として、特許文献１に記載の技術がある。特許文献１には、ＭＣＵが停止した場合、停止したＭＣＵに接続していた端末を特定し、この端末に対してＭＣＵが停止したことを通知する。そして、新規に接続すべきＭＣＵを用意し、この新ＭＣＵに再度新規の接続を確立させるようにする技術である。 As a technique for solving such a problem, there is a technique described in Patent Document 1. In Patent Literature 1, when the MCU is stopped, the terminal connected to the stopped MCU is specified, and the fact that the MCU has stopped is notified to this terminal. This is a technique for preparing an MCU to be newly connected and allowing the new MCU to establish a new connection again.

これにより、会議中に何らかの理由でビデオ会議サーバが停止した場合でも、なるべく短時間で会議の状態を復元させることができ、会議を再開させることができる。 Thereby, even if a video conference server stops for some reason during a meeting, the state of a meeting can be restored in as short a time as possible, and a meeting can be resumed.

米国特許出願公開第２００８／００７７６６６号US Patent Application Publication No. 2008/0077666

しかしながら、上述した特許文献１の記載方法は、ＭＣＵを切り替える際に、一旦すべての呼を切断し、再度新しいＭＣＵとの間で呼接続手続を行うことが必要となる。従って、それまで行っていた会議の状態に戻るまでに、相当の時間を要してしまうおそれが生じ得る。 However, the method described in Patent Document 1 described above requires that all calls are once disconnected and a call connection procedure is performed again with a new MCU when switching MCUs. Therefore, it may take a considerable amount of time to return to the state of the conference that has been held.

また、上述した特許文献１の記載方法は、ＭＣＵが停止した場合のみ、ＭＣＵの切り替えを行うこととしている。そのため、例えばネットワークの混雑等が原因で、音声や映像等の品質が劣化する場合に、このＭＣＵよりも品質の良い通信を提供できる別のＭＣＵへの切り替えができないことも生じ得る。 In addition, the method described in Patent Document 1 described above switches the MCU only when the MCU is stopped. For this reason, for example, when the quality of audio or video deteriorates due to network congestion or the like, it may not be possible to switch to another MCU that can provide communication with higher quality than this MCU.

さらに、例えば従来の会議システムは、会議に参加する各端末が、ＭＣＵに対して音声や映像等のデータを送信することが必要となるが、この各端末からのデータ送信により、ネットワークの負荷が増大し、トラフィック障害や品質劣化を引き起こすことも考えられる。そのため、ネットワークの通信帯域を縮小することができる接続形態が強く望まれる。 Further, for example, in a conventional conference system, each terminal participating in the conference needs to transmit data such as audio and video to the MCU, and the data transmission from each terminal reduces the network load. It may increase, causing traffic interruption and quality degradation. Therefore, a connection form that can reduce the communication band of the network is strongly desired.

そのため、上記課題に鑑み、切替時に、呼の切断を行わず新しいＭＣＵに切り替えることができること、ＭＣＵの停止時以外でも新しいＭＣＵを切り替えることができること、ネットワークの通信帯域を縮小できる接続形態を提供できるようにすることが可能なネットワーク制御システム、方法及びプログラムが求められている。 Therefore, in view of the above problems, it is possible to provide a connection form that can switch to a new MCU without disconnecting a call at the time of switching, can switch to a new MCU even when the MCU is not stopped, and can reduce the communication bandwidth of the network. There is a need for a network control system, method and program capable of doing so.

かかる課題を解決するために、第１の本発明のネットワーク制御システムは、（１）受信した複数のメディアデータを合成して送信する第１のメディア合成手段と、（２）複数の通信端末と第１のメディア合成手段との間に配置され、複数の通信端末からのメディアデータのうち必要なメディアデータを第１のメディア合成手段に送信する第１の中継手段と、（３）第１のメディア合成手段と複数の通信端末との間に配置され、第１のメディア合成手段からの合成メディアデータを複数の通信端末の数のデータにコピーし、複数の通信端末に配信する第２の中継手段と、（４）少なくとも第１のメディア合成手段及び第２のメディア合成手段から定期的に状態情報を取得し、その状態情報に基づいて、第１のメディア合成手段において、処理負荷の増大に伴い処理能力が低下することにより、メディアデータにおける音声又は映像の劣化が発生した場合、又はメディアデータにおける音声又は映像の劣化が予測される場合に、第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行う切替手段第１のメディア合成手段、第１の中継手段及び第２の中継手段から定期的に状態情報を取得し、その状態情報に基づいて第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行う切替手段と、（５）第１のメディア合成手段で実行されるメディア合成処理に係る、会議に参加する通信端末の数に応じて生成された受信部の数及び復号部の数に関する情報と、合成処理された合成メディアデータを符号化する符号化部の数に関する情報と、符号化された合成メディアデータを送信する送信部の数に関する情報とを含む、仮想会議室に関連する会議状態情報を管理する会議状態情報管理手段と、（６）少なくとも、第１の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報、及び、第２の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報を管理する接続情報管理手段とを備え、切替手段が、第２のメディア合成手段に切り替える前に、第１のメディア合成手段の会議状態情報及び接続情報を、第２のメディア合成手段に受け渡し、その後第１の中継手段に第２のメディア合成手段のアドレス情報を通知して切り替えを実行させるものであるを備えることを特徴とする。 In order to solve this problem, a network control system according to a first aspect of the present invention includes (1) first media composition means for combining and transmitting a plurality of received media data, and (2) a plurality of communication terminals. A first relay unit arranged between the first media synthesizing unit and transmitting necessary media data among media data from a plurality of communication terminals to the first media synthesizing unit; and (3) a first A second relay that is arranged between the media synthesizing means and the plurality of communication terminals, copies the synthesized media data from the first media synthesizing means to the data of the number of the plurality of communication terminals, and distributes to the plurality of communication terminals. And (4) periodically acquiring status information from at least the first media synthesizing unit and the second media synthesizing unit, and in the first media synthesizing unit based on the state information, By processing capability with the load increase is reduced, if the case where the deterioration of audio or video in the media data is generated, or degradation of audio or video in the media data is predicted, the switching from the first media combining means Switching means for switching to the previous second media composition means The status information is periodically acquired from the first media composition means, the first relay means, and the second relay means, and based on the status information, A switching means for switching from the first media composition means to the second media composition means to be switched ; and (5) a communication terminal participating in the conference relating to the media composition processing executed by the first media composition means. Information on the number of reception units and the number of decoding units generated according to the number, information on the number of encoding units for encoding the synthesized media data that has been synthesized, and code Conference status information management means for managing conference status information related to the virtual conference room, including information regarding the number of transmission units that transmit the synthesized media data, and (6) at least a first relay means and a plurality of Connection information between the communication terminal or the first media composition means, and connection information management means for managing connection information between the second relay means and the plurality of communication terminals or the first media composition means. And the switching means transfers the conference state information and connection information of the first media composition means to the second media composition means before switching to the second media composition means, and then the second relay to the first relay means. The address information of the media synthesizing means is notified and switching is executed .

第２の本発明のネットワーク制御方法は、（１）受信した複数のメディアデータを合成して送信する第１のメディア合成手段と、（２）複数の通信端末と第１のメディア合成手段との間に配置され、複数の通信端末からのメディアデータのうち必要なメディアデータを第１のメディア合成手段に送信する第１の中継手段と、（３）第１のメディア合成手段と複数の通信端末との間に配置され、第１のメディア合成手段からの合成メディアデータを複数の通信端末の数のデータにコピーし、複数の通信端末に配信する第２の中継手段とを備えるネットワークで、（４）切替手段が、少なくとも第１のメディア合成手段及び第２のメディア合成手段から定期的に状態情報を取得し、その状態情報に基づいて、第１のメディア合成手段において、処理負荷の増大に伴い処理能力が低下することにより、メディアデータにおける音声又は映像の劣化が発生した場合、又はメディアデータにおける音声又は映像の劣化が予測される場合に、第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行う切替手段第１のメディア合成手段、第１の中継手段及び第２の中継手段から定期的に状態情報を取得し、その状態情報に基づいて第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行い、（５）会議状態情報管理手段が、第１のメディア合成手段で実行されるメディア合成処理に係る、会議に参加する通信端末の数に応じて生成された受信部の数及び復号部の数に関する情報と、合成処理された合成メディアデータを符号化する符号化部の数に関する情報と、符号化された合成メディアデータを送信する送信部の数に関する情報とを含む、仮想会議室に関連する会議状態情報を管理し、（６）接続情報管理手段が、少なくとも、第１の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報、及び、第２の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報を管理し、（７）切替手段が、第２のメディア合成手段に切り替える前に、第１のメディア合成手段の会議状態情報及び接続情報を、第２のメディア合成手段に受け渡し、その後第１の中継手段に第２のメディア合成手段のアドレス情報を通知して切り替えを実行させることを特徴とする。 A network control method according to a second aspect of the present invention includes: (1) first media combining means for combining and transmitting a plurality of received media data; and (2) a plurality of communication terminals and first media combining means. A first relay unit arranged between the plurality of communication terminals for transmitting necessary media data to the first media combining unit; and (3) a first media combining unit and a plurality of communication terminals. And a second relay unit that copies the combined media data from the first media combining unit to the data of the number of the plurality of communication terminals and distributes the data to the plurality of communication terminals. 4) The switching means periodically obtains status information from at least the first media composition means and the second media composition means, and the first media composition means performs processing based on the status information. By processing capacity with increasing load drops, when if the deterioration of the audio or video in the media data is generated, or degradation of audio or video in the media data is predicted, the switching from the first media combining means Switching means for switching to the previous second media composition means The status information is periodically acquired from the first media composition means, the first relay means, and the second relay means, and based on the status information, There line switching from the first media combining means to the second media combining means of the switching destination, (5) conference state information management means, according to the media synthesizing process executed by the first media combining means, the conference Information on the number of reception units and the number of decoding units generated according to the number of participating communication terminals, and the number of encoding units that encode the combined media data that has been combined And conference state information related to the virtual conference room, including information regarding the number of transmission units that transmit the encoded composite media data, and (6) the connection information management means includes at least a first Connection information between the relay means and the plurality of communication terminals or the first media composition means, and connection information between the second relay means and the plurality of communication terminals or the first media composition means. (7) Before the switching means switches to the second media composition means, the conference state information and connection information of the first media composition means are transferred to the second media composition means, and then to the first relay means. The address information of the second media composition means is notified and switching is executed .

第３の本発明のネットワーク制御プログラムは、（１）受信した複数のメディアデータを合成して送信する第１のメディア合成手段と、（２）複数の通信端末と第１のメディア合成手段との間に配置され、複数の通信端末からのメディアデータのうち必要なメディアデータを第１のメディア合成手段に送信する第１の中継手段と、（３）第１のメディア合成手段と複数の通信端末との間に配置され、第１のメディア合成手段からの合成メディアデータを複数の通信端末の数のデータにコピーし、複数の通信端末に配信する第２の中継手段とを備えるネットワークのネットワーク制御プログラムであって、コンピュータを、少なくとも第１のメディア合成手段及び第２のメディア合成手段から定期的に状態情報を取得し、その状態情報に基づいて、第１のメディア合成手段において、処理負荷の増大に伴い処理能力が低下することにより、メディアデータにおける音声又は映像の劣化が発生した場合、メディアデータにおける音声又は映像の劣化が予測される場合に、第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行う切替手段、第１のメディア合成手段で実行されるメディア合成処理に係る、会議に参加する通信端末の数に応じて生成された受信部の数及び復号部の数に関する情報と、合成処理された合成メディアデータを符号化する符号化部の数に関する情報と、符号化された合成メディアデータを送信する送信部の数に関する情報とを含む、仮想会議室に関連する会議状態情報を管理する会議状態情報管理手段、少なくとも、第１の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報、及び、第２の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報を管理する接続情報管理手段として機能させ、切替手段が、第２のメディア合成手段に切り替える前に、第１のメディア合成手段の会議状態情報及び接続情報を、第２のメディア合成手段に受け渡し、その後第１の中継手段に第２のメディア合成手段のアドレス情報を通知して切り替えを実行させることを特徴とする。
A network control program according to a third aspect of the present invention includes: (1) a first media composition unit that synthesizes and transmits a plurality of received media data; and (2) a plurality of communication terminals and a first media composition unit. A first relay unit arranged between the plurality of communication terminals for transmitting necessary media data to the first media combining unit; and (3) a first media combining unit and a plurality of communication terminals. And a second relay means for copying the synthesized media data from the first media synthesizing means to the data of the number of the plurality of communication terminals and distributing the data to the plurality of communication terminals. A program that periodically obtains status information from at least the first media synthesis means and the second media synthesis means, and based on the status information In the first media synthesizing means, when the processing capability decreases with an increase in the processing load, audio or video degradation in the media data occurs, or audio or video degradation in the media data is predicted. , Switching means for switching from the first media composition means to the second media composition means as the switching destination, and the number of communication terminals participating in the conference related to the media composition processing executed by the first media composition means Information on the number of reception units and the number of decoding units generated in response, information on the number of encoding units for encoding the synthesized media data that has undergone synthesis processing, and a transmission unit that transmits the encoded synthesized media data Conference status information management means for managing conference status information related to the virtual conference room, including at least the first relay means. As connection information management means for managing connection information between the communication terminal or the first media composition means and connection information between the second relay means and the plurality of communication terminals or the first media composition means Before the switching means switches to the second media composition means, the conference state information and the connection information of the first media composition means are transferred to the second media composition means, and then the first relay means The address information of the second media composing means is notified and the switching is executed .

本発明によれば、切替時に、呼の切断を行わず新しいメディア合成手段に切り替えることができ、メディア合成手段の停止時以外でも新しいメディア合成手段に切り替えることができ、ネットワークの通信帯域を縮小できる接続形態を提供できる According to the present invention, at the time of switching, it is possible to switch to a new media synthesizing unit without disconnecting a call, and to switch to a new media synthesizing unit even when the media synthesizing unit is not stopped, thereby reducing the network communication band. Can provide connection form

第１の実施形態の会議システムの構成を示す構成図である。It is a block diagram which shows the structure of the conference system of 1st Embodiment. 第１の実施形態のメディア合成装置の内部構成を示す機能ブロック図である。It is a functional block diagram which shows the internal structure of the media composition apparatus of 1st Embodiment. 第１の実施形態の上り中継装置の内部構成を示す機能ブロック図である。It is a functional block diagram which shows the internal structure of the uplink relay apparatus of 1st Embodiment. 第１の実施形態の下り中継装置の内部構成を示す機能ブロック図である。It is a functional block diagram which shows the internal structure of the downlink relay apparatus of 1st Embodiment. 第１の実施形態の制御装置の内部構成を示す機能ブロック図である。It is a functional block diagram which shows the internal structure of the control apparatus of 1st Embodiment. 第１の実施形態の画面合成レイアウトを説明する説明図である。It is explanatory drawing explaining the screen composition layout of 1st Embodiment. 第１の実施形態の会議システムの通信処理を示すフローチャートである。It is a flowchart which shows the communication processing of the conference system of 1st Embodiment. 第１の実施形態のＭＣＵ切り替え処理を示すフローチャートである。It is a flowchart which shows the MCU switching process of 1st Embodiment.

（Ａ）第１の実施形態
以下では、本発明のネットワーク制御システム、方法及びプログラムの第１の実施形態について、図面を参照しながら説明する。 (A) First Embodiment Hereinafter, a first embodiment of a network control system, method, and program according to the present invention will be described with reference to the drawings.

第１の実施形態は、本発明を利用して多地点の会議システムを実現する実施形態を例示して説明する。 The first embodiment will be described by exemplifying an embodiment that realizes a multipoint conference system using the present invention.

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の会議システムの全体構成を示す構成図である。 (A-1) Configuration of the First Embodiment FIG. 1 is a configuration diagram showing the overall configuration of the conference system of the first embodiment.

図１において、第１の実施形態に会議システム１０は、例えばＩＰ（インターネットプロトコル）を通信プロトコルとするネットワークを介して、制御装置１、メディア合成装置２−１及び２−２、上り中継装置３、下り中継装置４、複数（図１では４台）の通信端末５−１〜５−４、ゲートキーパ６を少なくとも有して構成される。 In FIG. 1, the conference system 10 according to the first embodiment includes a control device 1, media synthesis devices 2-1 and 2-2, and an upstream relay device 3 via a network using IP (Internet Protocol) as a communication protocol. , The downlink relay device 4, a plurality (four in FIG. 1) of communication terminals 5-1 to 5-4, and a gatekeeper 6.

会議システム１０では、４台の通信端末５−１〜５−４を会議参加端末として仮想的な会議室を設立し、これら通信端末５−１〜５−４からの映像／音声データを合成して、通信端末５−１〜５−４間で相互通信を実現する。 In the conference system 10, a virtual conference room is established with the four communication terminals 5-1 to 5-4 as conference participation terminals, and the video / audio data from these communication terminals 5-1 to 5-4 is synthesized. Thus, mutual communication is realized between the communication terminals 5-1 to 5-4.

複数の通信端末５−１〜５−４と上り中継装置３又は下り中継装置４との間や、上り中継装置３又は下り中継装置４とメディア合成装置２−１、２−２との間では、ＲＴＰ（Real-time Translation Protocol）パケットにより映像データ、音声データが授受され、ＲＴＣＰ(RTP Control Protocol)パケットにより、ＲＴＰ通信の制御情報、通信に関わる統計情報が授受される。 Between the plurality of communication terminals 5-1 to 5-4 and the uplink relay device 3 or the downlink relay device 4, or between the uplink relay device 3 or the downlink relay device 4 and the media combining devices 2-1 and 2-2. Video data and audio data are exchanged by RTP (Real-time Translation Protocol) packets, and control information of RTP communication and statistical information related to communication are exchanged by RTCP (RTP Control Protocol) packets.

ここで、第１の実施形態では分散型ＭＣＵを適用する場合を例示する。ＭＣＵの機能を実現する装置が必ずしも物理的に同一の装置に存在している必要はなく、各機能の一部を実行する装置がネットワークを通じて分散的に配置されている場合を例示する。 Here, in the first embodiment, a case where a distributed MCU is applied is illustrated. An example in which devices that realize the functions of the MCU are not necessarily physically present in the same device, and devices that execute a part of each function are distributed over the network will be exemplified.

第１の実施形態の場合、制御装置１、メディア合成装置２−１及び２−２、上り中継装置３、下り中継装置４が分散型ＭＣＵの構成要素である。 In the case of the first embodiment, the control device 1, the media composition devices 2-1 and 2-2, the uplink relay device 3, and the downlink relay device 4 are constituent elements of the distributed MCU.

なお、図１では、１個の上り中継装置３及び１個の下り中継装置４を表記するが、会議に参加する通信端末の接続形態に応じて複数個の上り中継装置３及び下り中継装置４を設けるようにしてもよい。 In FIG. 1, one uplink relay device 3 and one downlink relay device 4 are shown, but a plurality of uplink relay devices 3 and downlink relay devices 4 depending on the connection form of the communication terminals participating in the conference. May be provided.

ゲートキーパ６は、呼接続を行うものであり、通信端末５−１〜５−４の仮想会議室への接続許可やアドレス変換機能を有するものである。呼接続方法は、種々の方法を広く適用することができ、例えばＨ．３２３に準拠する標準化技術やＳＩＰに従った呼接続方式を適用することができる。 The gatekeeper 6 performs call connection and has a function of permitting connection of the communication terminals 5-1 to 5-4 to the virtual conference room and an address conversion function. As the call connection method, various methods can be widely applied. A standardized technology conforming to H.323 and a call connection method according to SIP can be applied.

メディア合成装置２−１及び２−２は、制御装置１の制御を受けて、接続する通信端末５−１〜５−４から受信した映像／音声データを復号し、これら映像、音声の少なくとも１つのメディアを合成し、この合成データを符号化して配信するものである。 Under the control of the control device 1, the media synthesis devices 2-1 and 2-2 decode the video / audio data received from the connected communication terminals 5-1 to 5-4, and at least one of these video and audio data. Two media are synthesized, and the synthesized data is encoded and distributed.

ここで、メディア合成装置２−１は切り替え前に動作する装置とし、メディア合成装置２−２は切り替え後に動作する装置とする。両者は機能的に同じものである。 Here, the media composition device 2-1 is a device that operates before switching, and the media composition device 2-2 is a device that operates after switching. Both are functionally the same.

図２は、メディア合成装置２−１及び２−２の内部構成を示す機能ブロック図である。 FIG. 2 is a functional block diagram showing an internal configuration of the media composition apparatuses 2-1 and 2-2.

図２において、メディア合成装置２は、データ受信部２１−１〜２１−４、復号部２２−１〜２２−４、合成部２３、符号化部２４−１〜２４−４、データ送信部２５−１及び２５−２、通信部２６、生存確認部２７、リソース確認部２８、通信品質測定部２９を少なくとも有する。 In FIG. 2, the media composition device 2 includes data reception units 21-1 to 21-4, decoding units 22-1 to 22-4, composition unit 23, encoding units 24-1 to 24-4, and data transmission unit 25. -1 and 25-2, a communication unit 26, a survival confirmation unit 27, a resource confirmation unit 28, and a communication quality measurement unit 29.

データ受信部２１−１〜２１−４は、ネットワークＮＴを通じて通信端末５−１〜５−４からの映像／音声データを受信するものである。また、データ受信部２１−１〜２１−４は、受信パケット計測機能部２１１を有する。 The data receiving units 21-1 to 21-4 receive video / audio data from the communication terminals 5-1 to 5-4 through the network NT. Further, the data receiving units 21-1 to 21-4 have a received packet measuring function unit 211.

この受信パケット計測機能部２１１は、受信パケットに基づいて、パケット損失、遅延時間、ジッター等の数値を取得し、その結果を、通信部２６を通じて制御装置１に与えるものである。 The received packet measuring function unit 211 acquires numerical values such as packet loss, delay time, and jitter based on the received packet, and gives the result to the control device 1 through the communication unit 26.

復号部２２−１〜２２−４は、対応するデータ受信部２１−１〜２１−４が受信したデータを復号し、復号データを合成部２３に与えるものである。 The decoding units 22-1 to 22-4 decode the data received by the corresponding data receiving units 21-1 to 21-4, and give the decoded data to the synthesizing unit 23.

ここで、データ受信部２１−１〜２１−４及び復号部２２−１〜２２−４は、制御装置１からの制御を受けて、会議参加する通信端末数と同数だけ生成される。 Here, the data reception units 21-1 to 21-4 and the decoding units 22-1 to 22-4 are generated as many as the number of communication terminals participating in the conference under the control of the control device 1.

合成部２３は、復号部２２−１〜２２−４からの復号データを合成し、その合成データを符号化部２４−１〜２４−２に与えるものである。 The synthesizing unit 23 synthesizes the decoded data from the decoding units 22-1 to 22-4 and supplies the synthesized data to the encoding units 24-1 to 24-2.

ここで、合成部２３による合成方法は、種々の合成方法を広く適用することができる。例えば、図６は、合成部２３が合成する画面合成レイアウトの例を示す図である。合成部２３は、会議に参加する人数に応じて、さまざまなレイアウトの画面合成を行うことができ、例えば第１の実施形態では４台の通信端末５−１〜５−４が参加者であるから、図６（ａ）に示すような４分割した各フレームに、通信端末５−１〜５−４からの画像をはめ込むように合成する方法を適用できる。 Here, as a synthesis method by the synthesis unit 23, various synthesis methods can be widely applied. For example, FIG. 6 is a diagram illustrating an example of a screen composition layout that the composition unit 23 composes. The composition unit 23 can perform screen composition of various layouts according to the number of participants in the conference. For example, in the first embodiment, four communication terminals 5-1 to 5-4 are participants. Therefore, a method of combining the images from the communication terminals 5-1 to 5-4 into each of the four divided frames as shown in FIG. 6A can be applied.

符号化部２４−１〜２４−２は、合成部２３からの合成データを符号化し、その符号化データをデータ送信部２５−１〜２５−２に与えるものである。符号化部２４−１〜２４−２は、制御装置１の制御に従って、１つの会議室に対して少なくとも１以上の任意の数だけ生成されるものである。また、制御装置１の制御に従って、符号化部の数を増減させることもできる。 The encoding units 24-1 to 24-2 encode the combined data from the combining unit 23 and provide the encoded data to the data transmission units 25-1 to 25-2. The encoding units 24-1 to 24-2 are generated by an arbitrary number of at least one or more for one conference room according to the control of the control device 1. Further, the number of encoding units can be increased or decreased according to the control of the control device 1.

データ送信部２５−１〜２５−２は、符号化部２４−１〜２４−２からの符号化データを送信するものである。データ送信部２５−１〜２５−２も、制御装置１の制御に従って、少なくとも以上の任意の数だけ生成されるものである。 The data transmission units 25-1 to 25-2 transmit the encoded data from the encoding units 24-1 to 24-2. The data transmission units 25-1 to 25-2 are also generated by an arbitrary number of at least the number according to the control of the control device 1.

通信部２６は、制御装置１と通信する通信処理部である。 The communication unit 26 is a communication processing unit that communicates with the control device 1.

生存確認部２７は、通信部２６を介して、制御装置１から生存確認信号（例えばｐｉｎｇ等）を受信すると、これに対する応答信号を制御装置１に返信させるものである。これにより、メディア合成装置２−１の生存確認を制御装置１に知らせることができる。 When the survival confirmation unit 27 receives a survival confirmation signal (for example, ping or the like) from the control device 1 via the communication unit 26, the survival confirmation unit 27 returns a response signal to the response to the control device 1. Thereby, it is possible to notify the control device 1 of the existence confirmation of the media composition device 2-1 .

リソース確認部２８は、メディア合成装置（サーバ）内のリソース情報を確認し、これを通信部２６を介して制御装置１に定期的に送信させるものである。ここで、サーバ内のリソース情報としては、例えば、ＣＰＵ使用率、メモリ使用量（メモリ残量）、ネットワーク帯域使用率等がある。これにより、メディア合成装置の処理負担を制御装置１に知らせることができる。 The resource confirmation unit 28 confirms the resource information in the media composition device (server) and periodically transmits it to the control device 1 via the communication unit 26. Here, the resource information in the server includes, for example, a CPU usage rate, a memory usage amount (memory remaining amount), a network bandwidth usage rate, and the like. Thereby, it is possible to notify the control device 1 of the processing load of the media composition device.

通信品質測定部２９は、上り中継装置３と下り中継装置４との間の通信品質を定期的に測定し、その測定結果を通信部２６を介して制御装置１に送信させるものである。通信品質を測定する方法としては、例えば、ＲＴＣＰパケットから得られる情報を利用する方法や、定期的に試験パケットを送受信し、その試験パケットの遅延時間、ゆらぎ、ジッター等を測定する方法などが適用できる。 The communication quality measurement unit 29 periodically measures the communication quality between the uplink relay device 3 and the downlink relay device 4 and transmits the measurement result to the control device 1 via the communication unit 26. As a method for measuring communication quality, for example, a method using information obtained from an RTCP packet, a method of periodically transmitting / receiving a test packet, and measuring a delay time, fluctuation, jitter, etc. of the test packet are applied. it can.

上り中継装置３は、複数の通信端末５−１〜５−４とメディア合成装置２−１との間に介在するものであり、各通信端末５−１〜５−４から受信した映像／音声データをメディア合成装置２−１に与えるものである。 The uplink relay device 3 is interposed between the plurality of communication terminals 5-1 to 5-4 and the media composition device 2-1, and the video / audio received from each of the communication terminals 5-1 to 5-4. Data is given to the media composition device 2-1.

図３は、上り中継装置３の内部構成を示す機能ブロック図である。 FIG. 3 is a functional block diagram showing the internal configuration of the uplink relay device 3.

図３において、上り中継装置３は、データ受信部３１−１〜３１−４、音量計測部３２、フィルタ部３３、データ送信部３４−１〜３４−４、通信部３５、通信品質測定部３６、フィルタ制御部３７を少なくとも有する。 In FIG. 3, the uplink relay device 3 includes data receiving units 31-1 to 31-4, a sound volume measuring unit 32, a filter unit 33, data transmitting units 34-1 to 34-4, a communication unit 35, and a communication quality measuring unit 36. And at least a filter control unit 37.

データ受信部３１−１〜３１−４は、通信端末側のネットワークＮＴを介して、各通信端末５−１〜５−４からの映像／音声データを受信するものであり、音量計測部３２及びフィルタ部３３に与えるものである。また、データ受信部３１−１〜３１−４は、受信パケット計測機能部３１１を有する。 The data receiving units 31-1 to 31-4 receive video / audio data from the communication terminals 5-1 to 5-4 via the network NT on the communication terminal side. This is given to the filter unit 33. Further, the data reception units 31-1 to 31-4 have a reception packet measurement function unit 311.

この受信パケット計測機能部３１１は、受信したＲＴＰ（Real-time Translation Protocol）データのＲＴＰヘッダ、ＲＴＣＰヘッダに基づいて、対応する通信端末５−１〜５−４からのパケット列のパケット損失、遅延時間、ジッターなどを計測し、その計測結果を、通信部３５を介して制御装置１に与えるものである。 The received packet measuring function unit 311 receives packet loss and delay of the packet sequence from the corresponding communication terminals 5-1 to 5-4 based on the RTP header and RTCP header of the received RTP (Real-time Translation Protocol) data. Time, jitter, and the like are measured, and the measurement results are given to the control device 1 via the communication unit 35.

音量計測部３２は、データ受信部３１−１〜３１−４が受信した音声データに関し、その音量を計算し、その計測値を通信部３５を介して制御装置１に送信させるものである。 The volume measuring unit 32 calculates the volume of the audio data received by the data receiving units 31-1 to 31-4 and transmits the measured value to the control device 1 via the communication unit 35.

ここで、音量計測部３２による音量計測方法は、特に限定されるものではなく種々の方法を適用することができる。 Here, the sound volume measuring method by the sound volume measuring unit 32 is not particularly limited, and various methods can be applied.

例えば、音量計測部３２は、各チャネルの受信データに基づいて、各フレーム区間の瞬時音圧時系列データの最大値（ＭＡＸ）と最小値（ＭＩＮ）との差を計測する方法や、各フレーム区間の例えば９０％ＭＡＸ値と９０％ＭＩＮ値との差を計測する方法を適用できる。また例えば、音量計測部３２は、各チャネルの受信データに基づいて各フレーム区間の平均パワー値を計測する方法を適用できる。 For example, the sound volume measurement unit 32 measures the difference between the maximum value (MAX) and the minimum value (MIN) of the instantaneous sound pressure time-series data in each frame section based on the reception data of each channel, For example, a method of measuring a difference between, for example, a 90% MAX value and a 90% MIN value can be applied. For example, the sound volume measurement unit 32 can apply a method of measuring the average power value of each frame section based on the reception data of each channel.

フィルタ制御部３７は、音量計測部３２から音量計測値を受け取り、この音量計測値に基づいて、どのチャネルのデータを通過させるかを決定するものであり、その決定指示をフィルタ部３３に送信するものである。また、フィルタ制御部３７はフィルタ部３３に送信した決定指示情報を通信部３５を通じて制御装置１に送信するものである。 The filter control unit 37 receives the volume measurement value from the volume measurement unit 32, determines which channel data is to be passed based on the volume measurement value, and transmits the determination instruction to the filter unit 33. Is. The filter control unit 37 transmits the determination instruction information transmitted to the filter unit 33 to the control device 1 through the communication unit 35.

フィルタ部３３は、制御装置１からの命令もしくはフィルタ制御部３７からの命令を受けて、データ受信部３１−１〜３１−４からのデータに対してフィルタリングするものである。これにより、制御装置１もしくはフィルタ制御部３７からの命令に従って、データの通過を阻止し、それ以外のデータの通過を許可することができる。 The filter unit 33 receives the command from the control device 1 or the command from the filter control unit 37, and filters the data from the data receiving units 31-1 to 31-4. Thereby, according to the command from the control apparatus 1 or the filter control part 37, passage of data can be blocked | prevented and passage of other data can be permitted.

データ送信部３４−１〜３４−４は、フィルタ部３３から通過したデータをメディア合成装置２−１、２−２に向けてネットワークＮＴに送信するものである。 The data transmission units 34-1 to 34-4 transmit the data passed from the filter unit 33 to the network NT toward the media composition devices 2-1 and 2-2.

通信部３５は、制御装置１と通信する通信処理部である。 The communication unit 35 is a communication processing unit that communicates with the control device 1.

通信品質測定部３６は、メディア合成装置２−２との間の通信品質を定期的に測定し、その測定結果を通信部３５を介して制御装置１に送信させるものである。通信品質を測定する方法としては、例えば、定期的に試験パケットを送受信し、その試験パケットの遅延時間、ゆらぎ、ジッター等を測定する方法を適用できる。これにより、切替先であるメディア合成装置２−２との間のネットワークの通信品質を測定できる。 The communication quality measuring unit 36 periodically measures the communication quality with the media synthesizing device 2-2 and transmits the measurement result to the control device 1 via the communication unit 35. As a method for measuring the communication quality, for example, a method of periodically transmitting / receiving a test packet and measuring the delay time, fluctuation, jitter, etc. of the test packet can be applied. As a result, the communication quality of the network with the media composition device 2-2 that is the switching destination can be measured.

下り中継装置４は、メディア合成装置２−１、２−２から受信したデータを、接続する通信端末の数に応じた数だけコピーし、このコピーしたデータを通信端末５−１〜５−４に送信するものである。 The downlink relay device 4 copies the data received from the media synthesis devices 2-1 and 2-2 by the number corresponding to the number of connected communication terminals, and the copied data is transmitted to the communication terminals 5-1 to 5-4. To send to.

図４は、下り中継装置４の内部構成を示す機能ブロック図である。図４において、下り中継装置４は、データ受信部４１、データ分配部４２、データ送信部４３−１〜４３−４、通信部４４を少なくとも有する。 FIG. 4 is a functional block diagram showing the internal configuration of the downlink relay device 4. In FIG. 4, the downlink relay device 4 includes at least a data reception unit 41, a data distribution unit 42, data transmission units 43-1 to 43-4, and a communication unit 44.

データ受信部４１は、ネットワークＮＴを介して、メディア合成装置２−１、２−２から合成データを受信し、データ分配部４２に与えるものである。また、データ受信部４１は、受信パケット計測機能部４１１を有する。 The data receiving unit 41 receives the synthesized data from the media synthesizing apparatuses 2-1 and 2-2 via the network NT and supplies the synthesized data to the data distributing unit 42. In addition, the data receiving unit 41 includes a received packet measuring function unit 411.

この受信パケット計測機能部４１１は、受信したＲＴＰデータのＲＴＰヘッダ、ＲＴＣＰヘッダに基づいて、パケット列のパケット損失、遅延時間、ジッターなどを計測し、その計測結果を、通信部４４を介して制御装置１に与えるものである。 The received packet measurement function unit 411 measures packet loss, delay time, jitter, and the like of the packet sequence based on the RTP header and RTCP header of the received RTP data, and controls the measurement result via the communication unit 44. This is given to the device 1.

データ分配部４２は、データ受信部４１からのデータを必要数だけコピーし、そのコピーしたデータをデータ送信部４３−１〜４３−４に与えるものである。 The data distribution unit 42 copies the required number of data from the data reception unit 41 and gives the copied data to the data transmission units 43-1 to 43-4.

データ送信部４３−１〜４３−４は、データ分配部４２からのデータを通信端末５−１〜５−２に向けてネットワークＮＴに送信するものである。 The data transmission units 43-1 to 43-4 transmit data from the data distribution unit 42 to the network NT toward the communication terminals 5-1 to 5-2.

通信部４４は、制御装置１と通信を行う通信処理部である。 The communication unit 44 is a communication processing unit that communicates with the control device 1.

通信品質測定部４５は、メディア合成装置２−２との間の通信品質を定期的に測定し、その測定結果を通信部４４を介して制御装置１に送信させるものである。通信品質を測定する方法としては、例えば、定期的に試験パケットを送受信し、その試験パケットの遅延時間、ゆらぎ、ジッター等を測定する方法がある。これにより、切替先のメディア合成装置２−２との間のネットワークの通信品質を測定できる。 The communication quality measuring unit 45 periodically measures the communication quality with the media synthesizing device 2-2 and transmits the measurement result to the control device 1 via the communication unit 44. As a method of measuring the communication quality, for example, there is a method of periodically transmitting / receiving a test packet and measuring a delay time, fluctuation, jitter, and the like of the test packet. Thereby, it is possible to measure the communication quality of the network with the switching destination media composition device 2-2.

制御装置１は、メディア合成装置２−１及び２−２、上り中継装置３、下り中継装置４の処理を制御するものである。また、制御装置１は、メディア合成装置２−１及び２−２（ＭＣＵ）の切り替え制御を行うものである。 The control device 1 controls processing of the media composition devices 2-1 and 2-2, the upstream relay device 3, and the downstream relay device 4. The control device 1 performs switching control between the media composition devices 2-1 and 2-2 (MCU).

図５は、制御装置１の内部構成を示す機能ブロック図である。図５において、制御装置１は、ＭＣＵ切り替え部１１、通信部１２、メディア合成装置２−１、２−２に対して定期的に生存確認信号（例えばｐｉｎｇ等）を送信する生存確認部１３、ネットワーク接続構成管理部１４、会議状態データ管理部１５、フィルタ制御部１６を少なくとも有する。 FIG. 5 is a functional block diagram showing the internal configuration of the control device 1. In FIG. 5, the control device 1 includes an MCU switching unit 11, a communication unit 12, a survival confirmation unit 13 that periodically transmits a survival confirmation signal (such as ping) to the media composition devices 2-1 and 2-2. The network connection configuration management unit 14, the conference state data management unit 15, and the filter control unit 16 are included.

ＭＣＵ切り替え部１１は、メディア合成装置２−１、２−２の切り替え制御を行うものである。また、ＭＣＵ切り替え部１１は、データ記憶部１１１、状態計算部１１２、命令実行部１１３を少なくとも有する。 The MCU switching unit 11 performs switching control between the media composition apparatuses 2-1 and 2-2. The MCU switching unit 11 includes at least a data storage unit 111, a state calculation unit 112, and an instruction execution unit 113.

ここで、ＭＣＵ切り替え処理が必要となる場面としては、次のような状況が考えられる。 Here, as the scene where the MCU switching process is necessary, the following situation can be considered.

（ア）メディア合成装置２−１が停止した場合
（イ）メディア合成装置２−１の処理負荷の増大に伴い処理性能が低下し、音声／映像の劣化が発生した場合、及び近い将来に劣化が予想される場合
（ウ）上り中継装置３又は下り中継装置４とメディア合成装置２−１との間の通信品質が低下した場合、及び近い将来に品質低下が予想される場合
ＭＣＵ切り替え部１１が上記のような状況を把握し、ＭＣＵ切り替えを行う方式として、以下のような方法がある。 (A) When the media synthesizing apparatus 2-1 is stopped (b) When the processing performance of the media synthesizing apparatus 2-1 is increased, the processing performance is lowered, and the audio / video is deteriorated, or is deteriorated in the near future. (C) When the communication quality between the uplink relay device 3 or the downlink relay device 4 and the media composition device 2-1 is reduced, and when the quality is expected to be reduced in the near future MCU switching unit 11 However, as a method of grasping the above situation and switching the MCU, there are the following methods.

（ａ）制御装置１とメディア合成装置２−１及び２−２との間で、生存確認信号（例えばｐｉｎｇ等）を定期的に送受信し、メディア合成装置２−１が動作しているかを定期的に調べる。 (A) A liveness confirmation signal (for example, ping) is periodically transmitted and received between the control device 1 and the media composition devices 2-1 and 2-2 to determine whether the media composition device 2-1 is operating. Inspect.

（ｂ）メディア合成装置２−１及び２−２内のＣＰＵ使用率、メモリ使用量、ネットワーク帯域使用率等のデータを定期的に収集し、制御装置１に送信する。 (B) Data such as CPU usage rate, memory usage amount, and network bandwidth usage rate in the media synthesis devices 2-1 and 2-2 are periodically collected and transmitted to the control device 1.

（ｃ）メディア合成装置２−１のデータ受信部２１−１〜２１−４及び下り中継装置４のデータ受信部４１において受信したパケット列からパケット損失、遅延時間、ジッター等の数値を取得し、その結果を制御装置１に送信する。 (C) Obtain numerical values such as packet loss, delay time, and jitter from the packet sequences received by the data reception units 21-1 to 21-4 of the media synthesis device 2-1 and the data reception unit 41 of the downlink relay device 4, The result is transmitted to the control device 1.

（ｄ）上り中継装置３及び下り中継装置４とメディア合成装置２−２との間で試験パケットを送受信し、各装置間の通信品質を定期的に測定し、その測定結果を制御装置１に送信する。 (D) The test packet is transmitted / received between the uplink relay device 3 and the downlink relay device 4 and the media composition device 2-2, the communication quality between the devices is periodically measured, and the measurement result is sent to the control device 1. Send.

データ記憶部１１１は、通信部１２を通じて、分散型ＭＣＵを構成するメディア合成装置２−１及び２−２、上り中継装置３、下り中継装置４と通信し、ＭＣＵ切り替えのために必要となる情報を記憶するものである。 The data storage unit 111 communicates with the media synthesis devices 2-1 and 2-2, the upstream relay device 3, and the downstream relay device 4 that constitute the distributed MCU through the communication unit 12, and is information necessary for MCU switching. Is memorized.

状態計算部１１２は、データ記憶部１１１に記憶されるＭＣＵ切り替えのための情報に基づいて、メディア合成装置２−１及び２−２、上り中継装置３、下り中継装置４のそれぞれの状態と、これら構成要素の集合としての分散型ＭＣＵの状態を数値化するものである。また、状態計算部１１２は、数値化された各状態に基づいて、ＭＣＵ切り替えが必要な状態か否かの判定を行うものである。 Based on the information for MCU switching stored in the data storage unit 111, the state calculation unit 112 determines the respective states of the media synthesis devices 2-1 and 2-2, the upstream relay device 3, and the downstream relay device 4, The state of the distributed MCU as a set of these components is quantified. The state calculation unit 112 determines whether or not MCU switching is necessary based on each digitized state.

命令実行部１１３は、状態計算部１１２のＭＣＵ切り替え判定に基づき、データ記憶部１１１から各装置内の構成、接続関係など必要なデータを取得し、通信部１２を通してＭＣＵ切り替えに必要な制御命令を発行するものである。 The instruction execution unit 113 acquires necessary data such as the configuration and connection relationship in each device from the data storage unit 111 based on the MCU switching determination of the state calculation unit 112, and sends a control command necessary for MCU switching through the communication unit 12. Is issued.

ネットワーク接続構成管理部１４は、会議システム１０のネットワーク構成の接続関係に必要なデータを管理するものである。 The network connection configuration management unit 14 manages data necessary for the connection relationship of the network configuration of the conference system 10.

例えば、通信端末５−１〜５−４と上り中継装置３のデータ受信部３１−１〜３１−４との間の接続情報、上り中継装置３のデータ送信部３４−１〜３４−４とメディア合成装置２のデータ受信部２１−１〜２１−４との間の接続情報、メディア合成装置２のデータ送信部２５−１〜２５−２と下り中継装置４のデータ受信部４１との間の接続情報、下り中継装置４のデータ送信部４３−１〜４３−４と通信端末５−１〜５−４との間の接続情報の少なくとも全部又は一部を、ネットワーク接続構成管理部１４が管理する。 For example, the connection information between the communication terminals 5-1 to 5-4 and the data receiving units 31-1 to 31-4 of the uplink relay device 3, the data transmitting units 34-1 to 34-4 of the uplink relay device 3, and Connection information between the data receivers 21-1 to 21-4 of the media synthesizer 2 and between the data transmitters 25-1 to 25-2 of the media synthesizer 2 and the data receiver 41 of the downlink relay device 4 The network connection configuration management unit 14 obtains at least all or a part of the connection information between the data transmission units 43-1 to 43-4 of the downlink relay device 4 and the communication terminals 5-1 to 5-4. to manage.

会議状態データ管理部１５は、メディア合成装置２−１により開催されている仮想会議室に関連する状態データを管理するものである。メディア合成装置の切り替えを行う際、当該仮想会議室の状態をそのまま引き継いで切り替えができるように、現在の仮想会議室の状態データを管理する。切り替え時には、ＭＣＵ切り替え部１１により、この状態データが切替先のメディア合成装置内としてコピーされる。これにより、そのままの状態で仮想会議室を引き継がせることができる。 The conference status data management unit 15 manages status data related to the virtual conference room held by the media composition device 2-1. When switching the media composition device, the current virtual conference room state data is managed so that the state of the virtual conference room can be taken over as it is. At the time of switching, the MCU switching unit 11 copies this state data as the switching destination media composition apparatus. Thereby, a virtual conference room can be taken over as it is.

フィルタ制御部１６は、上り中継装置３から各チャネルの音量計測値を受け取り、この音量計測値に基づいて、どのチャネルのデータを通過させるかを決定するものであり、その決定指示を通信部１２を介して上り中継装置３に送信するものである。 The filter control unit 16 receives the volume measurement value of each channel from the uplink relay apparatus 3 and determines which channel data is allowed to pass based on the volume measurement value. Is transmitted to the uplink relay apparatus 3 via

通信端末５−１〜５−４は、例えば、ビデオ会議専用端末、パーソナルコンピュータ（デスクトップ型ＰＣ、ノート型ＰＣ等）や、通信機能を有する携帯端末（例えば、携帯電話機、ＰＤＡ、ゲーム機等）を適用することができる。 The communication terminals 5-1 to 5-4 are, for example, video conference dedicated terminals, personal computers (desktop PCs, notebook PCs, etc.), and mobile terminals (for example, mobile phones, PDAs, game machines, etc.) having communication functions. Can be applied.

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の会議システム１０における処理の動作を図面を参照しながら説明する。以下では、まず会議システム１０の通信処理を説明した後、ＭＣＵの切り替え処理の動作を説明する。 (A-2) Operation of the First Embodiment Next, the operation of processing in the conference system 10 of the first embodiment will be described with reference to the drawings. In the following, the communication process of the conference system 10 will be described first, and then the operation of the MCU switching process will be described.

（Ａ−２−１）会議システム１０の通信処理
図７は、会議システム１０での通信処理の動作を説明するフローチャートである。 (A-2-1) Communication Process of Conference System 10 FIG. 7 is a flowchart for explaining the operation of the communication process in the conference system 10.

まず、会議に参加を希望する通信端末５−１〜５−４若しくはＭＣＵが呼を発し、分散型ＭＣＵ内に作成された仮想会議室と通信端末５−１〜５−４との接続を確立する（ステップＳ１０１）。 First, communication terminals 5-1 to 5-4 or MCUs who wish to participate in the conference make a call and establish a connection between the virtual conference room created in the distributed MCU and the communication terminals 5-1 to 5-4. (Step S101).

具体的には、通信端末５−１〜５−４と上り中継装置３のデータ受信部３１−１〜３１−４との間の接続、上り中継装置３のデータ送信部３４−１〜３４−４とメディア合成装置２のデータ受信部２１−１〜２１−４との間の接続、メディア合成装置２のデータ送信部２５−１〜２５−２と下り中継装置４のデータ受信部４１との間の接続、下り中継装置４のデータ送信部４３−１〜４３−４と通信端末５−１〜５−４との間の接続について、各接続先のアドレス情報及びポート番号情報をもとに確立される。 Specifically, the connection between the communication terminals 5-1 to 5-4 and the data reception units 31-1 to 31-4 of the uplink relay device 3, and the data transmission units 34-1 to 34-4 of the uplink relay device 3 4 between the data receivers 21-1 to 21-4 of the media synthesizer 2 and the data transmitters 25-1 to 25-2 of the media synthesizer 2 and the data receiver 41 of the downlink relay device 4 Connection between the data transmission units 43-1 to 43-4 of the downlink relay device 4 and the communication terminals 5-1 to 5-4, based on the address information and port number information of each connection destination Established.

また、上り中継装置３、メディア合成装置２−１及び下り中継装置４は、制御装置１の制御に従って必要な処理部の生成を行う（ステップＳ１０２）。 Further, the uplink relay device 3, the media synthesis device 2-1, and the downlink relay device 4 generate necessary processing units according to the control of the control device 1 (step S102).

このとき、上り中継装置３では、制御装置１から接続する通信端末５−１〜５−４の数の通知を受け、この通信端末数と同数のデータ受信部３１−１〜３１−４及びデータ送信部３４−１〜３４−４が作成される。 At this time, the uplink relay device 3 receives a notification of the number of communication terminals 5-1 to 5-4 connected from the control device 1, and receives the same number of data receiving units 31-1 to 31-4 and data as the number of communication terminals. Transmitters 34-1 to 34-4 are created.

また、メディア合成装置２−１では、制御装置１から接続する通信端末５−１〜５−４の数の通知を受けると、この通信端末数と同数のデータ受信部２１−１〜２１−４及び復号部２２−１〜２２−４が生成されると共に、制御装置１から指示された任意の数の符号化部２４−１〜２４−２及びデータ送信部２５−１〜２５−２が生成される。 In addition, when receiving the notification of the number of communication terminals 5-1 to 5-4 connected from the control device 1, the media composition device 2-1 receives the same number of data receiving units 21-1 to 21-4 as the number of communication terminals. And decoding units 22-1 to 22-4 are generated, and any number of encoding units 24-1 to 24-2 and data transmission units 25-1 to 25-2 instructed by the control device 1 are generated. Is done.

さらに、下り中継装置では、制御装置１からの通知を受けて、１つのデータ受信部４１、データ分配部４２、１以上任意の数のデータ送信部４３−１〜４３−４というセットがメディア合成装置２−１から配信されるデータのチャネル数の分だけ作成される。 Further, in the downlink relay device, upon receiving the notification from the control device 1, a set of one data receiving unit 41, data distributing unit 42, and any number of data transmitting units 43-1 to 43-4 is combined in the media composition. It is created for the number of channels of data distributed from the device 2-1.

呼の確立及び各装置（メディア合成装置２−１、上り中継装置３及び下り中継装置４）内の処理部が作成された後、通信端末５−１〜５−４は音声／映像データの送信開始を行う（ステップＳ１０３）。 After the call establishment and the processing unit in each device (media synthesis device 2-1, uplink relay device 3 and downlink relay device 4) are created, communication terminals 5-1 to 5-4 transmit audio / video data. Start is performed (step S103).

通信端末５−１〜５−４から送信された映像／音声データは、上り中継装置３に受信され（ステップＳ１０４）、制御装置１からの命令に従って必要なデータのみがメディア合成装置２−１に送信される（ステップＳ１０５）。 The video / audio data transmitted from the communication terminals 5-1 to 5-4 is received by the uplink relay device 3 (step S104), and only necessary data is sent to the media composition device 2-1 in accordance with a command from the control device 1. It is transmitted (step S105).

例えば、会議に参加する複数人の画面と音声をメディア合成装置２−１が合成する場合、表示する人を音声の大小に基づいて判定する方法を適用することができる。 For example, when the media synthesizer 2-1 synthesizes the screens and sounds of a plurality of people participating in the conference, a method of determining the person to be displayed based on the magnitude of the sound can be applied.

この場合、上り中継装置３の音量計測部３２が、データ受信部３１−１〜３１−４で受信された各チャネルの音声データに基づいて音量の大小を数値化し、その計測結果を制御装置１に通信する。 In this case, the volume measuring unit 32 of the uplink relay device 3 digitizes the volume based on the audio data of each channel received by the data receiving units 31-1 to 31-4, and the measurement result is represented by the control device 1. To communicate.

制御装置１は、上り中継装置３で計測された各チャネルの計測結果に基づいて、合成すべき音声及び映像のチャネルを決定し、これを上り中継装置３に通知する。制御装置１でのチャネルの決定は、例えば、音量が一番大きな１つのチャネルとしたり、大きい順から所定数のチャネルとしたりすることができる。 The control device 1 determines the audio and video channels to be synthesized based on the measurement result of each channel measured by the uplink relay device 3 and notifies the uplink relay device 3 of this. The determination of the channel in the control device 1 can be, for example, one channel with the highest volume or a predetermined number of channels in descending order.

この合成すべきチャネルリストを受けて、上り中継装置３では、フィルタ部３３が制御装置１もしくはフィルタ制御部３７から指示されたチャネルの映像／音声データのみを通過させ、それ以外の映像／音声データの通過をフィルタリングする。 Upon receiving this channel list to be combined, in the upstream relay device 3, the filter unit 33 passes only the video / audio data of the channel designated by the control device 1 or the filter control unit 37, and other video / audio data. Filter the passage of.

これにより、制御装置１からの命令に従って必要なチャネルのデータのみをメディア合成装置２−１に送信させることができる。 Thereby, according to the command from the control apparatus 1, only the data of a required channel can be transmitted to the media composition apparatus 2-1.

メディア合成装置２−１では、制御装置１からの命令を受けて、上り中継装置３から受信した映像／音声データを合成する（ステップＳ１０６）。 In response to the command from the control device 1, the media composition device 2-1 synthesizes the video / audio data received from the upstream relay device 3 (step S106).

ここで、メディア合成装置２−１において、データ受信部２１−１〜２１−４に受信された映像／音声データは、対応する復号部２２−１〜２２−４により復号される。 Here, in the media synthesizer 2-1, the video / audio data received by the data receiving units 21-1 to 21-4 is decoded by the corresponding decoding units 22-1 to 22-4.

合成部２３において、復号された音声データは、制御装置１の命令に従って増幅、減衰等の変換処理が施され、その後に加算される。また、映像データは、制御装置からの命令に従って、縮小、拡大等の変換処理が施され、例えば図６に例示する平面内（フレーム内）の所定の位置に配置することで合成される。 In the synthesizing unit 23, the decoded audio data is subjected to conversion processing such as amplification and attenuation in accordance with a command from the control device 1 and then added. Further, the video data is subjected to conversion processing such as reduction and enlargement in accordance with a command from the control device, and is synthesized, for example, by being arranged at a predetermined position in a plane (in a frame) illustrated in FIG.

合成された映像／音声データは、メディア合成装置２−１から下り中継装置４に送信される（ステップＳ１０７）。 The synthesized video / audio data is transmitted from the media synthesis device 2-1 to the downlink relay device 4 (step S107).

下り中継装置４内には、制御装置１からの命令により、必要な数のデータ送信部４３−１〜４３−４が作成され、各データ送信部４３−１〜４３−４が通信端末５−１〜５−４とチャネルを接続した状態になっている。 In the downlink relay device 4, a necessary number of data transmission units 43-1 to 43-4 are created according to instructions from the control device 1, and each data transmission unit 43-1 to 43-4 is connected to the communication terminal 5-. 1 to 5-4 are connected to the channel.

データ受信部４１で受信されたデータ（合成された映像／音声データ）は、データ分配部４２により、データ送信部４３−１〜４３−４の数に応じた数だけコピーし（ステップＳ１０８）、これを各データ送信部４３−１〜４３−４に与えて、各通信端末５−１〜５−４に配信される（ステップＳ１０９）。 The data (synthesized video / audio data) received by the data receiver 41 is copied by the data distributor 42 by the number corresponding to the number of the data transmitters 43-1 to 43-4 (step S108). This is given to each data transmission part 43-1 to 43-4, and is distributed to each communication terminal 5-1 to 5-4 (step S109).

（Ａ−２−２）ＭＣＵの切り替え処理
次に、ＭＣＵの切り替え処理の動作について図面を参照しながら説明する。 (A-2-2) MCU Switching Process Next, the operation of the MCU switching process will be described with reference to the drawings.

制御装置１のＭＣＵ切り替え部１１は、メディア合成装置２−１、上り中継装置３、下り中継装置４との間で以下のような情報を取得し、これらの情報に基づいてＭＣＵ切り替え処理を行うか否かを判定し、ＭＣＵ切り替えを行う場合にその旨の命令を、メディア合成装置２−１、上り中継装置３、下り中継装置４に対して送信する。 The MCU switching unit 11 of the control device 1 acquires the following information among the media synthesis device 2-1, the upstream relay device 3, and the downstream relay device 4, and performs MCU switching processing based on these information. When the MCU is switched, an instruction to that effect is transmitted to the media composition device 2-1, the upstream relay device 3, and the downstream relay device 4.

（ａ）制御装置１とメディア合成装置２−１との間で、生存確認信号（例えばｐｉｎｇ等）を定期的に送受信し、メディア合成装置２−１が動作しているかを定期的に調べる。 (A) A survival confirmation signal (such as ping) is periodically transmitted and received between the control device 1 and the media composition device 2-1, and it is periodically checked whether the media composition device 2-1 is operating.

（ｂ）メディア合成装置２−１内のＣＰＵ使用率、メモリ使用量、ネットワーク帯域使用率等のデータを定期的に収集し、制御装置１に送信する。 (B) Data such as CPU usage rate, memory usage amount, and network bandwidth usage rate in the media synthesis device 2-1 is periodically collected and transmitted to the control device 1 .

以下では、メディア合成装置２−１が停止あるいは処理負荷の増大により処理性能が低下した場合、若しくはメディア合成装置２−１と各中継装置３及び４との間の通信品質が低下した場合に、メディア合成装置２−１からメディア合成装置２−２に切り替える場合について具体的な手順を図８のフローチャートを用いて説明する。 In the following, when the media synthesis device 2-1 is stopped or the processing performance is reduced due to an increase in processing load, or when the communication quality between the media synthesis device 2-1 and each of the relay devices 3 and 4 is lowered, A specific procedure for switching from the media composition device 2-1 to the media composition device 2-2 will be described with reference to the flowchart of FIG.

制御装置１は、メディア合成装置２−１、上り中継装置３、下り中継装置４から切り替え処理を判断する上記（ａ）〜（ｄ）に関するデータを受信し（ステップＳ２０１）、これらデータをデータ記憶部１１１に記憶する。 The control device 1 receives the data related to the above (a) to (d) for determining the switching process from the media composition device 2-1, the upstream relay device 3, and the downstream relay device 4 (step S201), and stores these data in the data storage Store in the unit 111.

状態計算部１１２は、データ記憶部１１１に記憶されるデータに基づいて、メディア合成装置２−１を利用した仮想会議室で映像／音声の品質劣化が生じているか、送受信の停止が発生しているか、又は近い将来に問題が発生するという判定を下す（ステップＳ２０２）。 Based on the data stored in the data storage unit 111, the state calculation unit 112 has a video / audio quality degradation in the virtual conference room using the media synthesis device 2-1, or transmission / reception has stopped. Or a determination is made that a problem will occur in the near future (step S202).

このとき、制御装置１は、代替えとなるメディア合成装置としてのメディア合成装置２−２の状態に関するデータも取得している。つまり、代替えのメディア合成装置２−２の処理負荷状態、メディア合成装置２−２と上り中継装置３及び下り中継装置４との間の通信品質に関するデータも収集している。 At this time, the control device 1 also acquires data relating to the state of the media composition device 2-2 as an alternative media composition device. That is, data on the processing load state of the alternative media composition device 2-2 and the communication quality between the media composition device 2-2 and the upstream relay device 3 and downstream relay device 4 are also collected.

また、制御装置１の状態計測部１１２による判定方法として、次のような方法を適用できる。 Further, as a determination method by the state measuring unit 112 of the control device 1, the following method can be applied.

例えば、上記（ａ）の方法は、メディア合成装置２−１自体の生存を確認する方法である。従って、メディア合成装置２−１からｐｉｎｇに対する応答信号が返信されない場合、状態計測部１１２は、すぐに代替のメディア合成装置２−２への切り替え処理を行う。 For example, the method (a) is a method for confirming the survival of the media composition device 2-1 itself. Therefore, when a response signal to ping is not returned from the media synthesizing apparatus 2-1, the state measurement unit 112 immediately performs a switching process to the alternative media synthesizing apparatus 2-2.

また、上記（ｂ）の方法は、メディア合成装置２−１のリソース状況に基づく方法である。この場合、例えば、あらかじめ切り替え処理を実施するための閾値を設けておき、ＣＰＵ使用率、メモリ使用量、ネットワーク帯域使用率等が閾値を超えたときに、状態計測部１１２は、切り替え処理を行うと判定する。 The method (b) is a method based on the resource status of the media composition device 2-1. In this case, for example, a threshold value for executing the switching process is provided in advance, and the state measurement unit 112 performs the switching process when the CPU usage rate, the memory usage amount, the network bandwidth usage rate, or the like exceeds the threshold value. Is determined.

また、上記（ｃ）の方法は、メディア合成装置２−１と上り中継装置３及び下り中継装置４とのネットワークの通信品質に基づく方法である。この場合、例えば、あらかじめ切り替え処理を実施するための閾値を設けておき、状態計測部１１２が、メディア合成装置２−１のデータ受信部２１−１〜２１−４や、下り中継装置４のデータ受信部４１から受信したパケット列からパケット損失、遅延時間、ジッター等の数値が閾値を超えたときに、状態計測部１１２は、切り替え処理を行うと判定する。 The method (c) is a method based on the communication quality of the network between the media composition device 2-1, the upstream relay device 3, and the downstream relay device 4. In this case, for example, a threshold value for executing the switching process is provided in advance, and the state measurement unit 112 performs data reception of the data reception units 21-1 to 21-4 of the media synthesis device 2-1 and the data of the downlink relay device 4. When numerical values such as packet loss, delay time, and jitter exceed the threshold from the packet sequence received from the reception unit 41, the state measurement unit 112 determines to perform switching processing.

上記（ｄ）の方法は、代替先のメディア合成装置２−２と上り中継装置３及び下り中継装置４とのネットワークの通信品質に基づく方法である。この方法により代替先のメディア合成装置２−２とのネットワーク通信品質を取得できるので、上記（ｃ）の方法で取得した現在のメディア合成装置２−１とのネットワーク通信品質と比較することができ、その比較結果を用いて切り替え処理を行うか否かを判定できる。例えば、切替先のネットワークの通信品質が、現在のネットワークの通信品質よりも所定値以上良い場合には、切り替え処理が可能と判定できる。 The method (d) is a method based on the communication quality of the network between the alternative media composition device 2-2, the upstream relay device 3, and the downstream relay device 4. Since the network communication quality with the alternative media composition device 2-2 can be obtained by this method, it can be compared with the network communication quality with the current media composition device 2-1 obtained by the method (c). Whether or not to perform the switching process can be determined using the comparison result. For example, when the communication quality of the switching destination network is better than the communication quality of the current network by a predetermined value or more, it can be determined that the switching process is possible.

なお、状態計測部１１２は、上記（ｂ）〜（ｄ）の方法による判定処理のうち、いずれかの判定方法で切り替え処理を行うべきと判定した場合に切り替え処理を実行しても良いし、また予め優先させる判定方法を決める等のポリシーを決めておき、そのポリシーに従って切り替え処理を実行するようにしても良い。 The state measurement unit 112 may execute the switching process when it is determined that the switching process should be performed by any one of the determination processes according to the methods (b) to (d). Further, a policy such as determining a determination method to be prioritized may be determined in advance, and the switching process may be executed according to the policy.

制御装置１では、データ記憶部１１１に保存されたメディア合成装置２−１内の該当する仮想会議室の状態データから、同一の構成を形成する仮想会議室に関する状態／構成データをメディア合成装置２内に作成することを命じる命令を発行する（ステップＳ２０３）。 In the control device 1, from the state data of the corresponding virtual conference room in the media composition device 2-1 stored in the data storage unit 111, the state / configuration data relating to the virtual conference room forming the same configuration is transmitted to the media composition device 2. A command for instructing to be created is issued (step S203).

なお、仮想会議室に関する状態データ及び構成に関するデータの作成は、あらかじめ問題が発生する前に行うようにしても良いし、又は実際にメディア合成装置２−１で問題が発生したと判定してから行うようにしても良い。 It should be noted that the creation of the status data related to the virtual conference room and the data related to the configuration may be performed in advance before the problem occurs, or after it is determined that the problem has actually occurred in the media composition device 2-1. You may make it do.

このとき、メディア合成装置内の各部の構成、接続関係などは忠実にコピーされることが必要であるが、各装置のデータ受信部の待ち受けポート番号は異なる番号となっても構わない。 At this time, it is necessary to faithfully copy the configuration, connection relationship, and the like of each unit in the media composition device, but the standby port number of the data reception unit of each device may be a different number.

制御装置１においてメディア合成装置２−２内の仮想会議室に関する状態／構成データにコピーが作成された後、制御装置１は、メディア合成装置２−２のデータ受信部２１−１〜２１−４が待ち受けするポート番号を取得し（ステップＳ２０６）、メディア合成装置２−２のサーバアドレス情報及びポート番号を上り中継装置３に送信する（ステップＳ２０５）。 After the control device 1 makes a copy of the state / configuration data related to the virtual conference room in the media composition device 2-2, the control device 1 receives the data reception units 21-1 to 21-4 of the media composition device 2-2. Obtains the port number on which it waits (step S206), and transmits the server address information and port number of the media composition device 2-2 to the upstream relay device 3 (step S205).

上り中継装置３は、データの送信先が変更されたことを知り、それまでメディア合成装置２−１に送信していた音声／映像データをメディア合成装置２−２に送信する（ステップＳ２０６）。 The uplink relay device 3 learns that the data transmission destination has been changed, and transmits the audio / video data that has been transmitted to the media composition device 2-1 until then to the media composition device 2-2 (step S206).

下り中継装置４は、同一の待ち受けポートでメディア合成装置からのデータを受信しているので、特に動作の変更はなく、新たにメディア合成装置２−２から送信されてきたデータを接続している通信端末に送信する。 Since the downstream relay device 4 receives the data from the media composition device at the same standby port, there is no particular change in operation, and the newly transmitted data from the media composition device 2-2 is connected. Send to communication terminal.

この一連の動作により、メディア合成装置の切り替えが完了する。 This series of operations completes the switching of the media composition device.

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、呼の切断、再接続をせずに、最適なＭＣＵに会議接続を動的に切り替えることを実現することができる。 (A-3) Effect of First Embodiment As described above, according to the first embodiment, it is possible to dynamically switch the conference connection to the optimum MCU without disconnecting or reconnecting the call. Can be realized.

また、第１の実施形態によれば、ＭＣＵが停止する場合のみならず、ネットワークの通信品質など会議中に動的に変化する状態に応じて最適なＭＣＵへ会議室を動的に切り替えることを実現することができる。 In addition, according to the first embodiment, not only when the MCU stops, but also dynamically switching the conference room to the optimum MCU according to the state that dynamically changes during the conference such as the communication quality of the network. Can be realized.

（Ｂ）第２の実施形態
次に、本発明のネットワーク制御システム、方法及びプログラムの第２の実施形態について図面を参照しながら説明する。 (B) Second Embodiment Next, a second embodiment of the network control system, method and program of the present invention will be described with reference to the drawings.

従来の会議システムは、図１に示すような上り中継装置及び下り中継装置を経由することなく、複数の通信端末がそれぞれ仮想会議室に接続する接続構成としている。 A conventional conference system has a connection configuration in which a plurality of communication terminals are connected to a virtual conference room without going through an uplink relay device and a downlink relay device as shown in FIG.

これに対して、第１の実施形態では、上り中継装置及び下り中継装置を経由させることで、各中継装置とメディア合成装置との間のデータ通信帯域を大幅に縮小させることができる。 On the other hand, in the first embodiment, the data communication band between each relay device and the media composition device can be significantly reduced by passing through the uplink relay device and the downlink relay device.

そこで、第２の実施形態では、上り中継装置及び下り中継装置を経由させて仮想会議室に接続させる接続構成の具体的な実施形態を例示して説明する。 Therefore, in the second embodiment, a specific embodiment of a connection configuration for connecting to a virtual conference room via an uplink relay device and a downlink relay device will be described as an example.

（Ｂ−１）第２の実施形態の構成及び動作
第２の実施形態の会議システムの構成は、第１の実施形態で説明した構成と同じであり、第２の実施形態でも図１を用いて説明する。 (B-1) Configuration and Operation of Second Embodiment The configuration of the conference system of the second embodiment is the same as the configuration described in the first embodiment, and FIG. 1 is also used in the second embodiment. I will explain.

上り中継装置３及び下り中継装置４は、例えば、ローカルネットワーク（例えば社内ＬＡＮ等）とグローバルネットワーク（例えばインターネット等）との境界に設けられている。 The upstream relay device 3 and the downstream relay device 4 are provided, for example, at the boundary between a local network (for example, an in-house LAN) and a global network (for example, the Internet).

上り中継装置３は、制御装置１からの命令に従って、データ受信部３１−１〜３１−４及びデータ送信部３４−１〜３４−４を生成するが、そのとき、データ受信部３１−１〜３１−４には、ローカルネットワーク内のユニークなアドレス情報（プライベートＩＰアドレス）を付与し、データ送信部３４−１〜３４−４にはグローバルネットワーク内のユニークなアドレス情報（グローバルＩＰアドレス）を付与する。 The uplink relay device 3 generates the data reception units 31-1 to 31-4 and the data transmission units 34-1 to 34-4 according to the command from the control device 1, and at that time, the data reception units 31-1 to 31-1 to 31-4. The unique address information (private IP address) in the local network is assigned to 31-4, and the unique address information (global IP address) in the global network is assigned to the data transmission units 34-1 to 34-4. To do.

このようにすることで、上り中継装置３は、通信端末５−１〜５−４とデータ受信部３１−１〜３１−４との間の接続と、データ送信部３４−１〜３４−４とメディア合成装置２−１との間の接続の２つのセッションを結ぶことができる。 By doing in this way, the uplink relay apparatus 3 is connected between the communication terminals 5-1 to 5-4 and the data receiving units 31-1 to 31-4, and the data transmitting units 34-1 to 34-4. And two sessions of connection between the media synthesizer 2-1.

その結果、上り中継装置３にプロキシサーバ相当の機能を実現することが可能となり、例えばローカルエリアネットワーク内に配置された通信端末５−１〜５−４と、グローバルネットワーク上のメディア合成装置２−１との双方向通信が実現する。 As a result, it is possible to realize a function equivalent to a proxy server in the upstream relay device 3. For example, the communication terminals 5-1 to 5-4 disposed in the local area network and the media composition device 2-2 on the global network. Two-way communication with 1 is realized.

同様に、下り中継装置４も、制御装置１からの命令に従って、データ受信部４１及びデータ送信部４３−１〜４３−４を生成とき、データ受信部４１には、グローバルネットワーク内のユニークなアドレス情報（グローバルＩＰアドレス）を付与し、データ送信部４３−１〜４３−４には、ローカルネットワーク内のユニークなアドレス情報（プライベートＩＰアドレス）を付与する。 Similarly, when the downlink relay device 4 generates the data reception unit 41 and the data transmission units 43-1 to 43-4 according to the command from the control device 1, the data reception unit 41 has a unique address in the global network. Information (global IP address) is assigned, and unique address information (private IP address) in the local network is assigned to the data transmission units 43-1 to 43-4.

（Ｂ−２）第２の実施形態の効果
以上のように、上り中継装置及び下り中継装置を経由させることで、各中継装置とメディア合成装置との間のデータ通信帯域を大幅に縮小させることができる。 (B-2) Effect of Second Embodiment As described above, the data communication band between each relay device and the media composition device can be significantly reduced by passing through the uplink relay device and the downlink relay device. Can do.

また、中継装置にプロキシサーバ相当の機能を実現することが可能となり、ローカルエリアネットワーク内に配置された通信端末とグローバルネットワーク上のメディア合成装置２−１との双方向通信を実現させることができる。 In addition, a function equivalent to a proxy server can be realized in the relay device, and bidirectional communication between the communication terminal arranged in the local area network and the media composition device 2-1 on the global network can be realized. .

（Ｃ）他の実施形態
第１及び第２の実施形態では、ビデオ会議におけるメディア合成装置の切り替え処理を説明したが、図１の通信端末のいくつかを蓄積したメディアデータの送信元端末とした場合、ネットワークを利用した耐障害性の高い音声／映像放送システムとして利用することが可能である。 (C) Other Embodiments In the first and second embodiments, the switching process of the media synthesizing apparatus in the video conference has been described. However, some of the communication terminals in FIG. In this case, it can be used as a highly fault-tolerant audio / video broadcasting system using a network.

１…制御装置、
１１…ＭＣＵ切り替え部、１２…通信部、１３…生存確認部、１１１…データ記憶部、
１１２…状態計算部、１１３…命令実行部、
２−１及び２−２…メディア合成装置、
２１−１〜２１−４…データ受信部、２２−１〜２２−４…復号部、２３…合成部、
２４−１〜２４−２…符号化部、２５−１及び２５−２…データ送信部、
２６…通信部、２７…生存確認部、２８…リソース確認部、２９…通信品質測定部、
２１１…受信パケット計測機能部、
３…上り中継装置、
３１−１〜３１−４…データ受信部、３２…音量計測部、３３…フィルタ部、
３４−１〜３４−４…データ送信部、３５…通信部、３６…通信品質計測部、
３１１…受信パケット計測部、
４…下り中継装置、
４１…データ受信部、４２…データ分配部、４３−１〜４３−４…データ送信部、
４４…通信部、４５…通信品質測定部、
５−１〜５−４…通信端末、６…ゲートキーパ、１０…会議システム。 1 ... Control device,
DESCRIPTION OF SYMBOLS 11 ... MCU switching part, 12 ... Communication part, 13 ... Survival confirmation part, 111 ... Data storage part,
112 ... State calculation unit, 113 ... Instruction execution unit,
2-1 and 2-2 ... Media composition device,
21-1 to 21-4 ... data receiving unit, 22-1 to 22-4 ... decoding unit, 23 ... combining unit,
24-1 to 24-2 ... encoding unit, 25-1 and 25-2 ... data transmission unit,
26 ... Communication unit, 27 ... Survival confirmation unit, 28 ... Resource confirmation unit, 29 ... Communication quality measurement unit,
211 ... Received packet measurement function unit,
3 ... Uplink relay device,
31-1 to 31-4 ... data receiving unit, 32 ... volume measuring unit, 33 ... filter unit,
34-1 to 34-4 ... data transmission unit, 35 ... communication unit, 36 ... communication quality measurement unit,
311: Received packet measurement unit,
4 ... Downlink relay device,
41... Data receiving unit, 42... Data distributing unit, 43-1 to 43-4.
44 ... Communication unit, 45 ... Communication quality measurement unit,
5-1 to 5-4 ... communication terminal, 6 ... gatekeeper, 10 ... conference system.

Claims

First media combining means for combining and transmitting a plurality of received media data;
First relay means arranged between a plurality of communication terminals and the first media composition means for transmitting necessary media data among the media data from the plurality of communication terminals to the first media composition means When,
It is arranged between the first media synthesizing means and the plurality of communication terminals, and the synthesized media data from the first media synthesizing means is copied to the number of data of the plurality of communication terminals, and the plurality of communication A second relay means for delivering to the terminal;
Periodically acquires status information from at least the first media combining means及beauty second media synthesizing means, on the basis of the status information, in the first media combining means, with the increase in the processing load capacity When the audio or video deterioration in the media data occurs due to the decrease in the media data, or when the audio or video deterioration in the media data is predicted, the second media to be switched from the first media composition means Switching means for switching to the combining means ;
Information on the number of receiving units and the number of decoding units generated according to the number of communication terminals participating in the conference, and the synthesized media subjected to the synthesis process, related to the media composition process executed by the first media composition unit Conference state information management for managing conference state information related to a virtual conference room, including information on the number of encoding units for encoding data and information on the number of transmission units for transmitting encoded composite media data Means,
At least connection information between the first relay means and the plurality of communication terminals or the first media composition means, and the second relay means and the plurality of communication terminals or the first media composition. Connection information management means for managing connection information between the means and
With
Before the switching means switches to the second media composition means, the conference state information and the connection information of the first media composition means are transferred to the second media composition means, and then the first media composition means. A network control system characterized in that the relay means notifies the address information of the second media composition means to execute switching .

Control means for determining and instructing media data to be transmitted from the first relay means to the media synthesizing means from the received plurality of media data based on a volume value of each audio data in the received plurality of media data The network control system according to claim 1, further comprising:

The first relay means and the second relay means are:
A first communication unit assigned a global address for communicating with the first media composition means;
Network control system according to claim 1 or 2, characterized in that a second communication unit that imparts private address to communicate with the plurality of communication terminals.

First media combining means for combining and transmitting a plurality of received media data;
First relay means arranged between a plurality of communication terminals and the first media composition means for transmitting necessary media data among the media data from the plurality of communication terminals to the first media composition means When,
It is arranged between the first media synthesizing means and the plurality of communication terminals, and the synthesized media data from the first media synthesizing means is copied to the number of data of the plurality of communication terminals, and the plurality of communication A second relay means for delivering to the terminal ;
Switching means periodically acquires the status information from at least the first media combining means及beauty second media synthesizing means, on the basis of the status information, in the first media combining means, increase in the processing load When the audio or video degradation in the media data occurs due to a decrease in the processing capacity accompanying this, or when the audio or video degradation in the media data is predicted, the switching destination from the first media synthesis means Switch to the second media composition means ,
Information regarding the number of receiving units and the number of decoding units generated according to the number of communication terminals participating in the conference, the conference state information managing unit according to the media combining process executed by the first media combining unit; Conference state information related to the virtual conference room, including information regarding the number of encoding units that encode the combined media data that has been combined and information regarding the number of transmission units that transmit the encoded combined media data Manage
Connection information management means includes at least connection information between the first relay means and the plurality of communication terminals or the first media composition means, and the second relay means and the plurality of communication terminals or Managing connection information with the first media composition means;
Before the switching means switches to the second media composition means, the conference state information and the connection information of the first media composition means are transferred to the second media composition means, and then the first media composition means. A network control method, characterized in that the relay means is notified of the address information of the second media composition means to perform switching .

First media combining means for combining and transmitting a plurality of received media data;
First relay means arranged between a plurality of communication terminals and the first media composition means for transmitting necessary media data among the media data from the plurality of communication terminals to the first media composition means When,
It is arranged between the first media synthesizing means and the plurality of communication terminals, and the synthesized media data from the first media synthesizing means is copied to the number of data of the plurality of communication terminals, and the plurality of communication A network control program for a network comprising: a second relay means for distributing to a terminal;
Computer
Periodically acquires status information from at least the first media combining means及beauty second media synthesizing means, on the basis of the status information, in the first media combining means, with the increase in the processing load capacity When the audio or video deterioration in the media data occurs due to the decrease in the media data, or when the audio or video deterioration in the media data is predicted, the second media to be switched from the first media composition means Switching means for switching to the combining means ,
Information on the number of receiving units and the number of decoding units generated according to the number of communication terminals participating in the conference, and the synthesized media subjected to the synthesis process, related to the media composition process executed by the first media composition unit Conference state information management for managing conference state information related to a virtual conference room, including information on the number of encoding units for encoding data and information on the number of transmission units for transmitting encoded composite media data means,
At least connection information between the first relay means and the plurality of communication terminals or the first media composition means, and the second relay means and the plurality of communication terminals or the first media composition. Information management means for managing connection information with the means
Function as
Before the switching means switches to the second media composition means, the conference state information and the connection information of the first media composition means are transferred to the second media composition means, and then the first media composition means. A network control program characterized by notifying the relay means of the address information of the second media composition means and executing switching .