JP2005217697A - 双方向映像コミュニケーションシステムにおけるフィードバック品質制御方法、端末、およびプログラム - Google Patents

Abstract

【課題】 双方向映像コミュニケーションシステムにおいて、適正な品質でのサービス継続を可能にする。
【解決手段】 送信設定部１１，１３により送信ビットレート、送信フレームレート、送信パケットサイズ等のうち１つ以上のパラメータを設定する。品質監視部２１は、受信ビットレート、受信フレームレート、受信パケットサイズ等のうち１つ以上のパラメータを監視する。品質監視部１４はパケット転送装置４または受信側端末２にプローブを送信し、その応答によりネットワーク帯域、パケット損失率、パケット応答時間の内１つ以上を算出する。品質監視部３１は、映像が転送される経路上のネットワーク帯域、パケット損失率、パケット応答時間の内１つ以上を算出する。閾値判断部１５は品質監視部１３と２１と１４と３１のいずれか１つ以上における監視情報が予め設定された許容変動値を超えた場合、送信設定部１１に対して送信パラメータの再設定を実行する。
【選択図】 図１

Description

本発明は、複数のユーザがネットワークを介して接続された環境における双方向映像コミュニケーションシステムに関する。

双方向映像コミュニケーションシステムにおいて、最終的な品質を左右する要素はネットワークの状態変化、送信側における送信状態変化、受信側における受信状態変化の３つである。従来技術では、受信端末におけるフレームレート等のアプリケーション受信品質が低下すると、フィードバック制御により送信端末上のアプリケーションの送信パラメータを制御する方法、もしくはＲＴＰパケット等のアプリケーションパケットがネットワーク上で損失するなどして、受信側で検出される受信品質より推定されるネットワーク品質の劣化に対して、送信端末にフィードバックを実施し、転送レート等のパラメータを変更するどちらかの手法を取ることが一般的であった（非特許文献１、２参照）。

しかし、これらの方法ではネットワークの状態変化、送信側における送信状態変化、受信側における受信状態変化による複合的要因から発生する品質劣化を回避するための品質制御が困難であり、必要以上に映像の品質劣化やサービスの中断を招くことがあった。
"ＲＴＰを利用した動画像配信システムにおけるＱｏＳ制御方式"，下間，ｅｔ ａｌ，情報処理学会論文誌 Ｖｏｌ．４３ Ｎｏ．８，Ａｕｇ．２００２． "ＫＤＤＩ、ＭＰＥＧ−４のライブ伝送システムを展示"，杉浦正武，ＺＤＮｅｔ／ＪＡＰＡＮ，２００２年５月２２日 ０１：５５ ＰＭ 更新，２００２年１２月２５日検索，ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｚｄｎｅｔ．ｃｏ．ｊｐ／ｂｒｏａｄｂａｎｄ／０２０５／２２／ｋｄｄｉ．ｈｔｍｌ

本発明の目的は、ネットワークの状態変化や端末における状況に応じて適正な品質でのサービスの継続が可能な、双方向映像コミュニケーションシステムにおける品質制御方法、端末、およびプログラムを提供することにある。

上記目的を達成するために、本発明は、送信側端末における送信ビットレート、送信フレームレート、送信パケットサイズ、Ｉフレーム挿入間隔、画素数のうち１つ以上のパラメータを監視する第１の品質監視部と、対向の受信側端末における、受信ビットレート、受信フレームレート、受信パケットサイズ、受信パケット損失率、Ｉフレーム挿入間隔、画素数のうち１つ以上のパラメータを監視する第２の品質監視部と、ネットワーク上のパケット転送装置もしくは受信側端末に対してプローブを送信して、それぞれからの応答パケットを受信することで観測されるネットワーク帯域、パケット損失率、パケット応答時間のうち１つ以上のパラメータを監視する第３の品質監視部と、ネットワーク上のパケット転送装置から任意の経路上のネットワーク帯域、パケット損失率、パケット応答時間のうち１つ以上のパラメータを監視する第４の品質監視部のうちの１つ以上を用意する。そして、第１の品質監視部と第２の品質監視部と第３の品質監視部と第４の品質監視部で観測された値が予め設定した許容変動範囲を超えるか許容変動範囲に戻った場合に、送信側端末における送信ビットレート、送信フレームレート、送信パケットサイズ、Ｉフレーム挿入間隔、画素数のうちの１つ以上のパラメータを変更するようなフィードバック制御を行なう。

複数のユーザが参加する双方向映像コミュニケーションシステムにおいて、ネットワークの態変化や端末における状態変化に応じた品質でのサービスの継続が可能になる。すなわち、悪条件下では、設定品質を下げることで画像の停止やサービスの中断を未然に防ぎ、条件回復時には、設定品質を上げることでより高品質なサービスを提供することができる。

次に、本発明の実施の形態について図面を参照して説明する。

［第１の実施の形態］
図１は本発明の一実施形態の双方向映像コミュニケーションシステムの構成図である。

本実施形態の映像コミュニケーションシステムは送信側端末１と受信側端末２とネットワーク監視装置３とパケット転送装置４とネットワーク５で構成されている。

送信側端末１は送信設定部１１と送信部１２と品質監視部１３，１４と閾値判断部１５を有し、パケット転送装置４で構成されるネットワーク５を介して受信側端末２に接続される。受信側端末２は品質監視部２１と受信部２２を有している。ネットワーク監視装置３は品質監視部３１を有している。

送信設定部１１により、送信ビットレート、送信フレームレート、送信パケットサイズ、Ｉフレーム挿入間隔、画素数のうち１つ以上のパラメータを設定する。送信部１２が映像を送信し、受信端末２における受信部２２で受信する。品質監視部１３は送信ビットレート、送信フレームレート、送信パケットサイズ、Ｉフレーム挿入間隔、画素数のうち１つ以上の設定されたパラメータを監視する。品質監視部２１は、受信ビットレート、受信フレームレート、受信パケットサイズ、受信パケット損失率、Ｉフレーム挿入間隔、画素数のうち１つ以上のパラメータを監視する。品質監視部１４は、ネットワーク５上のパケット転送装置４もしくは受信側端末２に対してプローブを送信し、それぞれの装置からの応答によりネットワーク帯域、パケット損失率、パケット応答時間の内１つ以上を算出する。ネットワーク監視装置３は品質監視部３１により、ネットワーク５上のパケット転送装置４からの情報により、映像が転送される経路上のネットワーク帯域、パケット損失率、パケット応答時間の内１つ以上を算出する。閾値判断部１５は、品質監視部１３と品質監視部２１と品質監視部１４と品質監視部３１のいずれか１つ以上における監視情報が予め設定された許容変動値を超えた場合、送信設定部１１に対して送信パラメータの再設定を実行する。

ネットワーク品質監視装置３は複数の送信側端末１に対してネットワーク５を介して接続することで共通利用が可能となるため、双方向映像コミュニケーションシステムのユーザ数が増加に対してコスト削減効果が大きくなる。

図２は、品質監視部１３の、送信部１２におけるパラメータの観測点を図示したものである。送信部１２はエンコーダ５１とパケット組立部５２と送信バッファ５３からなる。エンコーダ５１は、外部に接続されたＵＳＢカメラ等からの映像入力に対して、映像の符号化を実施する。パケット組立部５２は、符号化された映像をネットワーク５に送出するためのパケットに組立を行う。送信バッファ５３は、一定時間パケットを蓄えた後、一定時間間隔でネットワーク５へパケットを送信する。品質監視部１３は観測点ａにおいては、送信フレームレートとＩフレーム挿入間隔、画素数を観測し、観測点ｂにおいては送信パケットサイズを観測し、観測点ｃにおいては、送信ビットレートを観測する。

図３は、品質監視部２１の受信部２２におけるパラメータの観測点を図示したものである。受信部２２は受信バッファ６１とパケット分解部６２とデコーダ６３からなる。受信バッファ６１はネットワーク５から受信される映像パケットに対して、ネットワーク５の遅延揺らぎを吸収するために設けるバッファである。パケット分解部６２は、映像パケットを分解し、映像データに変換してデコーダ６３へ送る。デコーダ６３は、映像データの復号を行い、外部のディスプレイ等の表示装置に接続する。品質監視部２１は観測点ｄにおいては受信ビットレートを観測し、観測点ｅにおいては、受信パケットサイズ、受信パケット損失率を観測し、観測点ｆにおいては、フレームレートとＩフレーム挿入間隔を観測する。

図４は、品質監視部１４の、ネットワーク帯域、パケット損失率、パケット応答時間を算出するための構成を示している。図４に示すように、品質監視部１４はプローブ送出部７１と応答パケット受信部７２とパラメータ計算部７３を有している。パラメータ計算部７３で、送出するプローブを定義し、プローブ送出部７１でプローブをパケット転送装置４もしくは受信側装置２に送信し、パケット転送装置４もしくは受信側装置２からの応答パケットを応答パケット受信部７２で受信し、パラメータ計算部７３にて、応答パケットの到着間隔からネットワーク帯域を、応答パケット損失数からパケット損失率を、応答パケットの到着時刻からパケット応答時間を求める。なお、ネットワーク帯域の推定方法に関しては、Robert L. Carter and Mark E. Crovella, "Measuring Bottleneck Link Speed in Packet-Switched Networks", Technical Report TR-96-006, Boston University, CS Dept, Boston, MA 02215, March 15, 1996.、宮様昌弘，岩井隆典，笠原秀樹，“パケット遅延相関による利用可能帯域推定方式の検討，” 信学技報，NS2002-291, 2002.、Manish Jain, Constantinos Dovrolis, "End-to-End Available Bandwidth: Measurement methodology, Dynamics, and Relation with TCP Throughput", ACM/IEEE Transactions on Networking, 2003等を利用する方法が考えられる。

図５は、品質パラメータフィードバック制御のフローチャートである。

送信設定部１１で送信パラメータの設定を行い（ステップ１０１）、監視パラメータの許容変動範囲を設定する（ステップ１０２）。次に、送信部１２より映像の送信を開始する（ステップ１０３）。映像の送信を停止するか判断する（ステップ１０５）。映像の送信を停止しなければ、品質監視部１３、品質監視部２１、品質監視部１４、品質監視部３１においてパラメータを監視する（ステップ１０５，１０６）。閾値判断部１５は監視パラメータが予め設定された許容変動範囲を超えた場合、設定された送信パラメータを変更するようにフィードバックを実行する（ステップ１０７）。

図６は、任意の監視パラメータの変動に対して送信パラメータの設定変更を実行するタイミングを図示したものである。図６において、横軸は時間、縦軸は品質監視部１３または品質監視部２１または品質監視部１４で測定される任意のパラメータの変動値を示している。該パラメータが予め設定された許容変動範囲を逸脱した場合、一定の保護時間経過後に設定変更を実行する契機を図示している。これにより、ネットワーク５や端末性能に応じた送信条件へ設定変更する方法により、送信パラメータ調整（適正化）することができる。なお、監視パラメータは、その種類により増加時に送信パラメータを増加させる場合と減少させる場合、減少時に送信パラメータを減少させる場合と増加させる場合の４通りのケースが考えられる。

図７は、複数のユーザが参加した場合の双方向映像コミュニケーションシステムの構成図である。図７は３つの端末８０がフルメッシュで接続された例であり、それぞれの端末８０は図１で示した送信側端末１の機能と受信側端末２の機能を具備することで、３対地による双方向映像コミュニケーションシステムが実現できる。対地数が増えた場合も同様にフルメッシュで端末同士を接続する。この場合、対地ｎが増加するに従いｎの２乗に比例してネットワークの必要帯域が増大し、端末での処理も対地毎にフィードバック制御が必要になるため、端末数ｎが増加するに従いｎ倍に増大する。

図８は、複数のユーザが参加した場合の双方向映像コミュニケーションシステムの他の構成図である。図８は３つの端末８０がサーバ８１を介してスター型に接続された例であり、それぞれの端末８０は図１で示した送信側端末１の機能と受信側端末２の機能を具備することで、３対地による双方向映像コミュニケーションシステムが実現できる。対地数が増えた場合も同様に端末８０をサーバ８１へ接続する。この場合、端末数ｎの増加に対しては、ネットワークの必要帯域は比例して増大するのみであり、端末の処理能力は変わらない。しかし、サーバでの処理能力がボトルネックとなるため、端末数増大に従い、サーバ８１の能力の増強が必要になる。

［第２の実施の形態］
図９は本発明の第２の実施の形態の双方向映像コミュニケーションシステムの構成図である。本実施形態では品質監視部３１が受信端末２内に実装されている。

本実施形態によれば、第１の実施形態のように外部にネットワーク品質監視装置３を用意する必要がなくなるため、完全ピア−ピアでのシステム構築が可能になる。

［第３の実施の形態］
図１０は本発明の第３の実施の双方向形態双方向の映像コミュニケーションシステムの構成図である。本実施形態では品質監視部１４が、送信側端末１から分離されている。

本実施形態によれば、送信側端末１はネットワーク帯域、パケット損失率、パケット応答時間を監視する機能を持たずに済むため、映像コミュニケーションシステムの開発の工数が少なくて済む。

以上の説明では端末１を送信側端末、２を受信側端末としたが、双方向なので、端末１，２は実際には送信側と受信側の両方の機能を持つことになる。

なお、本発明の端末の機能は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。

本発明の第１の実施の形態の双方向映像コミュニケーションシステムの構成図である。 送信側端末１の送信部１２の構成と品質監視部１３の観測点を示す図である。 受信側端末２の受信部２２の構成と品質監視部２１の観測点を示す図である。 品質監視部１４の構成図である。 パラメータ監視のフィードバック制御のフローチャートである。 任意の監視パラメータの変動に対して送信パラメータの設定変更を実行するタイミングを示す図である。 映像コミュニケーションシステムにおける端末の接続例を示す図双方向である。 映像コミュニケーションシステムにおける端末の他の接続例を示す図である。 本発明の第２の実施の形態の映像コミュニケーションシステムの構成図である。 本発明の第３の実施の形態の双方向映像コミュニケーションシステムの構成図である。

符号の説明

１ 送信側端末
２ 受信側端末
３ ネットワーク監視装置
４ パケット転送装置
５ ネットワーク
１１ 送信設定部
１２ 送信部
１３，１４ 品質監視部
１５ 閾値判断部
２１ 品質監視部
２２ 受信部
３１ 品質監視部
５１ エンコーダ
５２ パケット組立部
５３ 送信バッファ
６１ 受信バッファ
６２ パケット分解部
６３ デコーダ
７１ プローブ送出部
７２ 応答パケット受信部
７３ パラメータ計算部
８０ 端末
８１ サーバ
１０１〜１０６ ステップ

Claims (6)

1. 複数のユーザ参加が可能な双方向映像コミュニケーションシステムにおいて、送信側端末にあって、送信ビットレート、送信フレームレート、送信パケットサイズ、Ｉフレーム挿入間隔、画素数のうち１つ以上のパラメータの監視を行う第１の品質監視部と、受信側端末にあって、受信ビットレート、受信フレームレート、受信パケットサイズ、受信パケット損失率、Ｉフレーム挿入間隔、画素数のうち１つ以上のパラメータの監視を行う第２の品質監視部と、前記受信側端末またはネットワーク上のパケット転送装置に対してプローブパケットを送信し、該応答パケットを受信することでネットワーク帯域、パケット損失率、パケット応答時間のうち１つ以上のパラメータの監視を行う第３の品質監視部と、ネットワーク上の任意の経路上でのネットワーク帯域、パケット損失率、パケット応答時間のうち１つ以上のパラメータの監視を行う第４の品質監視部のうち少なくとも１つを設け、設けられた品質監視部のいずれかで観測された値が予め設定した許容変動範囲を超えるか許容変動範囲に戻った場合、前記送信側端末における送信設定部において、送信ビットレート、送信フレームレート、送信パケットサイズ、Ｉフレーム挿入間隔、画素数のうち１つ以上のパラメータを変更する品質制御方法。
2. 複数のユーザが参加可能な双方向映像コミュニケーションシステムを構成する端末において、
   送信ビットレート、送信フレームレート、送信パケットサイズ、Ｉフレーム挿入間隔、画素数のうち１つ以上のパラメータを設定する送信設定手段と、
   送信ビットレート、送信フレームレート、送信パケットサイズ、Ｉフレーム挿入間隔、画素数のうち送信設定手段で設定されたパラメータを監視する第１の品質監視手段と、
   第１の品質監視手段と、対向側端末にあって、受信ビットレート、受信フレームレート、受信パケットサイズ、受信パケット損失率、Ｉフレーム挿入間隔、画素数のうち１つ以上のパラメータを監視する第２の品質監視手段と、ネットワーク上のパケット転送装置もしくは前記受信側端末に対してプローブパケットを送信し、該応答パケットを受信することによりネットワーク帯域、パケット損失率、パケット応答時間の内１つ以上のパラメータの監視を行う第３の品質監視手段と、ネットワーク上の任意の経路上でのネットワーク帯域、パケット損失率、パケット応答時間のうちの１つ以上のパラメータの監視を行う第４の品質監視手段のいずれか１つ以上の品質監視手段で監視を行なうパラメータが予め設定された許容変動値を越えた場合、前記送信設定手段に対して送信パラメータの再設定を実行させる閾値判断手段とを有することを特徴とする端末。
3. 前記第２の品質監視手段と同一の品質監視手段を有する、請求項２に記載の端末。
4. 前記第４の品質監視手段を有する、請求項３に記載の端末。
5. 前記第３の品質監視手段を有する、請求項２に記載の端末。
6. 請求項２から５のいずれかに記載の端末の機能をコンピュータに実行させるためのプログラム。

Images