JP2006033884A - 画像データ送受信システムの受信側装置及びそのプログラムを記憶した記憶媒体 - Google Patents

Abstract

【課題】受信側装置の表示能力に合わせてフレームレートを変更することのできるようにすること。
【解決手段】動画像の画像データを送受信する画像データ送受信システムの受信側装置１１において、実際の表示制御を行う表示制御部１３と、表示制御部１３が実際に表示を行っている表示フレームレートを測定する表示フレームレート測定部１４と、表示可能なフレームレートに基づいて指定フレームレートを求める指定フレームレート決定部１５とを備え、指定フレームレート決定部１５は、表示フレームレート測定部１４が測定した表示フレームレートに基づき送信側装置１に送信画像のフレームレートを指示する。
【選択図】 図１

Description

本発明は、動画像データを保持する送信側装置が、受信側装置からの要求により画像データを送信する画像データ送受信システムに関する。特に、送信側装置はマルチメディアの動画像データを蓄積し、受信側装置の要求に応じて受信側装置で指定するフレームレートにより送信フレームレートを調整しながら画像データを送信する画像データ送受信システムの受信側装置及びそのプログラムを記憶した記憶媒体に関するものである。

従来の画像データ送受信システムは、受信側装置から送信側装置にマルチメディアデータの送信要求がなされた時に、送信側装置はデータファイルに記録されているデータを送信するが、受信側装置のＣＰＵや送信側装置、受信側装置間のネットワークの負荷状況など、受信側装置の表示再生状況の変化によって、送信側装置のフレームレートを自動的に調整することはなかった。このため、受信側装置で実際に表示再生できている以上のフレームレートで送信側装置がデータを送信し続けるので、データの損失や、さらに受信側装置側での処理能力の一層の低下を招くことがあった。

あらかじめ、数種類の送信フレームレートのデータを用意し、早送りなどの要求や目的に応じたフレームレートの画像データを選んで送信を行うシステムはあるが、状況に応じて自動的にフレームレートの調整を行うものはない。また、テレビ会議システムなどライブ型の動画像通信システムでは受信側の処理能力に応じて、Ｃａｐｔｕｒｅ（データの取込み）フレームレートを変えることでデータ量を調節し、送信側装置から送信フレームレートを制御するものはあるが、あらかじめ決められたフレームレートでデータが用意されている蓄積型の場合、受信側装置の処理状況と送信側のフレームレートに基づいて、送信側装置でデータを間引くなどで転送フレームレートを適切に制御するものはなかった。

受信側装置のＣＰＵがネックとなって表示再生状況が低下している時、送信側装置からの送信フレームレートを変えず、受信側装置で処理可能なフレームレートまでデータを間引くことで対処することも考えられる。

しかし、この方法は、最終的に受信側装置で間引かれる画像データも送信側装置からネットワークを介して転送されることであり、ネットワークに無駄なデータが流されることであり、ネットワーク資源が不足傾向にある現在の状況においては適切な制御方法ではない。また、ネットワークの負荷が高いことが原因で受信側装置の表示再生状況が低下している場合には受信側装置のみで制御を行うこの方法では対処することができない。

以上のことから、本発明は、送信側装置で受信側装置の表示能力に合わせてフレームレートを変更することのできる画像データ送受信システムの受信側装置及びそのプログラムを格納する記憶媒体を提供することを目的とする。

本発明は、送信側装置に蓄積されているマルチメディアデータをネットワークを介して受信側装置に転送する時、受信側装置で実際に表示可能なフレームレートを送信側装置にフィードバックし、送信側装置は受信側装置から通知された表示可能なフレームレートと、データの持つオリジナルのフレームレート（ファイルフレームレート）をもとに送信フレームレートを調整し、動的に送信フレームレートを制御するようにした。そのようにして、受信側装置のＣＰＵの負荷およびネットワーク負荷が変動しても適切なフレームレートで画像データを送信できるようにした。

すなわち、本発明は、動画像データを送受信する画像データ送受信システムにおいて、受信側装置は、送信側装置に送信画像のフレームレートを指示する指定フレームレート求める指定フレームレート決定部を備え、送信側装置は、受信側装置から該指定フレームレートを受信し、該指定フレームレートに基づいて送信フレームレートを調整するフレームレート調整部を備え、受信側装置は表示可能なフレームレートに基づいて指定フレームレートを求めて送信側装置に送り、送信側装置は該指定フレームレートに基づいて送信フレームを調整するようにした。

図１は本発明の基本構成を示す。図１において、１は送信側装置であって、画像データ記憶装置６に蓄積された動画像の画像データを受信側装置１１に送信するものである。２はデータ読み出し部であって、画像データ記憶装置６の画像データを読み出すものである。３はフレーム送信部であって、データ読み出し部２で読み出された画像データを受信側装置１１に送信するものである。４はフレームレート調整部であって、フレーム送信部３から送信する画像データの送信フレームレートを調整するものである。５は指定フレームレートであって、受信側装置１１から送信側装置に要求してきた送信フレームレートである。６は画像データ記憶装置であって、動画像データ保持するものである。画像データ記憶装置６に保持されている画像データはフレームレート（ファイルフレームレート）が予め決められている（例えば、３０ｆｐｓ等）。

１１は受信側装置である。１２はフレーム受信部であって、送信側装置１から送信される画像データを受信するものである。１３は表示制御部であって、受信した画像データの表示制御をするものである。１４は表示フレームレート測定部であって、表示制御で実際に表示されている画像のフレームレート（表示フレームレート）を測定するものである。１５は指定フレームレート決定部であって、表示フレームレートに基づいて送信側装置に要求するフレームレートを決定するものである。１６は指定フレームレートであって、指定フレームレート決定部１５で生成された指定フレームレートを表す。１７は出力装置であって、受信した画像データを表示するものである。

図１の本発明の基本構成の動作を説明する。

データ読み出し部２は画像データ記憶装置６から画像データを読み出す。フレーム送信部３は画像データを受信側装置１１に送信する。この時、指定フレームレート５が受信側装置１１から送られていなければ、ファイルフレームレートで送信する。指定フレームレート５が受信されていれば、フレームレート調整部４は送信フレームレートを指定フレームレートに基づいて調整し、受信側装置１１に画像データを送信する。

受信側装置１１において、フレーム受信部１２は送信側装置１から送られてくる画像データを受信する。表示制御部１３は受信された画像データの表示制御をする。出力装置１７は受信した画像データを表示する。この時、受信側装置１１の状態が正常であれば、送られているフレームレートで表示できるが、ＣＰＵ負荷が大きい等で表示能力が低下している場合には、表示フレームレートが送られているフレームレート以下に低下する。

表示フレームレート測定部１４は実際に表示されている表示フレームレートを測定する。そして、指定フレームレート決定部１５は送信側装置１に対して要求する送信フレームレート（指定フレームレート１６）を求め、送信側装置１に通知する。

送信側装置１は、受信側装置１１から通知された指定フレームレート１６を受け取ると、フレームレート調整部４が受信した指定フレームレートに応じて、送信フレームを決定する。そして、フレーム送信部３はフレームレート調整部４の決めたフレームレートで画像データを送信する。

上記のように、本発明によれば、受信側装置で実際に表示可能なフレームレートをもとに生成された指定フレームレートにより、送信側装置は画像データの送信フレームレートを調整して送信するので、ネットワークに余分な負荷をかけない。また受信側装置も余分な負荷を受けずに効率良く画像データを再生できる。また、受信側で生成する指定フレームレートは実際に表示可能なフレームレートと過去の指定フレームレート等をもとに動的に決定できるので、受信側装置のＣＰＵおよび送信側装置、受信側装置間のネットワーク負荷の変化等に応じた適切なデータ転送を可能にする。また、送信側装置の負荷が重い等の状態で送信フレームレートが低下している状態でも、受信側装置が実際に受信して表示している表示フレームレートをもとに指定フレームレートを生成し、その指定フレームレートをもとに送信フレームレートを調整するので送信側装置の負荷も軽減できる。

以上のように、本発明によれば次のような効果がある。

本発明によれば、送信側装置は、受信側装置で実際に表示可能なフレームレートをもとに生成された指定フレームレートに基づいて画像データの送信フレームレートを調整するので、送信側装置の無駄な動作を減らすことができ、ネットワークに余分な負荷をかけない。また受信側装置も余分な負荷を受けないで効率良く画像データを受信できる。また、受信側で生成する指定フレームレートは実際に表示可能なフレームレートと過去の指定フレームレート等をもとに動的に決定できるので、受信側装置のＣＰＵおよび送信側装置、受信側装置間のネットワーク負荷に急激な変化があっても、適切なフレームレートで送信できる。

以下の説明では画像データ送信システムをＶＯＤシステム、受信側装置をクライアント、送信側装置をサーバとして説明する。

図２は本発明のシステム構成の実施の形態を示す図であって、サーバ側の構成である。図２において、４０はサーバである。４２はデータ読み取り部である。４３はフレーム送信部である。６５は画像データ記憶装置であって、動画像を記憶するものである。

１１０はＣＰＵである。１１１は入力インタフェースＡである。１１４は入力インタフェースＢである。１２０はメモリである。１２１は画像データ送受信プログラムである。１２２はフレームレート調整プログラムである。１２５は入出力インタフェースである。１３０はドライブ装置であって、記憶媒体１３１のデータを読み出すものである。１３１は記憶媒体であって、磁気ディスク等の磁気記憶媒体、ＣＤＲＯＭ等の光記憶媒体であって、本発明の画像データ送受信プログラムを格納するものである。１３２は画像データ送受信プログラムである。１３３はフレームレート調整プログラムである。１４０はネットワークである。

図３は本発明のシステム構成の実施の形態を示す図であって、クライアント側の構成である。図３において、２０はクライアントである。２２はフレーム受信部である。２３は表示制御部である。２８は出力装置であって、ディスプレイである。

１４０はネットワークである。１５０はＣＰＵである。１５１は入出力インタフェースである。１５３は出力インタフェースである。１５４は入力インタフェースである。１５５はメモリである。１６１は画像データ送受信プログラムである。１６２は表示フレームレート測定プログラムである。１６３は指定フレームレート決定プログラムである。１７０は記憶媒体であって、磁気ディスク等の磁気記憶媒体、ＣＤＲＯＭ等の光記憶媒体である。１７１は画像データ送受信プログラムである。１７２は表示フレームレート測定プログラムである。１７３は指定フレームレート決定プログラムである。

図４は本発明のクライアントの実施の形態１である。クライアントは一定周期で表示フレームレートを測定する。そして、その表示フレームレートを指定フレームレートとしてサーバに送信するものである。図４において、２０はクライアントであって、受信側装置である。２１は受信制御部であって、画像データの受信制御を行うものである。２２はフレーム受信部あって、サーバから送られてくる画像データを受信するものである。２３は表示制御部である。２４はフレームレート送信部であって、クライアントで生成した指定フレームレートをサーバに送信するものである。２６は表示フレームレート測定部である。２７は指定フレームレート決定部である。２８は指定フレームレートであって、表示フレームレートを指定フレームレートにしたものである。

図４の構成の動作を説明する。

表示フレームレート測定部２６は表示フレームレートを一定周期で測定する。そして、指定フレームレート決定部２７はその表示フレームレートを指定フレームレート２８とする。フレームレート送信部２４はそのフレームレートをサーバに送信する。

図５は本発明のサーバの実施の形態１である。図５において、４０はサーバであって、送信側装置である。４１は送受信制御部であって、送受信制御を行うものである。４２はデータ読み出し部である。４３はフレーム送信部である。４４はフレームレート調整部である。５２は指定フレームレート変更判定部であって、指定フレームレートに変更があったかないかを判定するものである。５３は指定フレーム表示間隔算出部であって、指定フレームレートの逆数により指定フレームレートで表示するフレーム間隔（指定フレーム表示間隔）を求めるものである。５４は送信フレーム決定部であって、送信フレームレートを決定するものである。５５は誤差計算部であって、ファイルフレーム表示間隔（ファイルフレームレートの逆数）と指定フレーム表示間隔との差を求めるものである。５６は間引き数決定部であって、上記の誤差を１フレーム送信する毎に累積し、累積値に基づいて間引きするフレーム数を求めるものである。

６１はフレームレート受信部であって、クライアントから送信される指定フレームレートを受信するものである。６２は指定フレームレート保持部であって、受信した指定フレームレートを保持するものである。６５は画像データ記憶装置である。

図６は図５のサーバの実施の形態１のフレームレート調整のフローチャートである。図６を参照して図５の構成の動作を説明する。

図５において、データ読み出し部４２は画像データ記憶装置６５から画像データを取り出してフレーム送信部４３に転送する。フレーム送信部４３はフレームレート調整部４４の求めたフレーム間隔で画像データをクライアントに送信する。フレームレート受信部６１はクライアントから送信される指定フレームレートを受信する。そして、フレームレート調整部４４はその指定フレームレートに従って、フレーム送信部４３で送信するフレームレートを決定する。

図６のフローチャートによりフレームレート調整の動作を説明する。

Ｓ１ 初期化処理であって、フレーム表示間隔＝１／ファイルフレームレートとする。指定フレーム表示間隔＝ファイルフレーム表示間隔とする。誤差＝０、間引き数＝０とする。

Ｓ２ クライアントからの制御メッセージの中に新しい指定フレームレートが指定されているか判定する（指定フレームレート変更判定部）。変更があればＳ３の処理を行い、変更がなければＳ４の処理を行う。

Ｓ３ 指定フレーム表示間隔＝１／指定フレームレートにより指定フレーム表示間隔を求める（指定表示間隔算出部）。

Ｓ４ 指定フレーム表示間隔−ファイルフレーム表示間隔を誤差とし、求まっている誤差に加える。間引き数＝（誤差／ファイルフレーム表示間隔）の整数部として求める（間引き数決定部）。

Ｓ５ 間引き数が１より大きいか大きくないかを判定する（間引き数決定部）。１より大きければＳ６の処理を行い、１未満であればＳ７の処理をする（間引き数決定部）。

Ｓ６ 間引き数だけファイル上のフレームをスキップする。間引き数×ファイルフレーム間隔だけ誤差の値を減算する（間引き数決定部）。

Ｓ７ ファイル上の次のフレームを送信する（フレーム送信部）。

Ｓ８ サーバの制御周期に達していればＳ２の処理に戻り、指定フレームレートの変更の有無を判定し、Ｓ２以降の処理を繰り返す。
サーバの制御周期に達していなければＳ４以降の処理を繰り返す。

サーバのフレームレートの調整方法について具体的に説明する。

クライアントから送信された指定フレームレートが２４．５ｆｐｓであるとする。データ保持部の画像データのファイルフレームレートは３０ｆｐｓとする。この時、ファイルフレーム表示間隔＝１／３０
＝０．０３３３（ｓｅｃ）
である。

指定フレーム表示間隔＝１／２４．５
＝０．０４０８（ｓｅｃ）
である。

ｎフレーム目から誤差が蓄積されたとする。

ｎフレーム目
誤差＝０．０４０８−０．０３３３
＝０．００７５
間引き数＝０．００７５／０．０３３３の整数部
＝０
（ｎ＋１）フレーム目
誤差＝０．０１５
間引き数＝０．４５０４の整数部
＝０
・・・・・・・・・・・・・・・・・・・・・・・・・
（ｎ＋４）フレーム目
誤差＝０．０３７５
間引き数＝１．１２６１の整数部
＝１
ここで１フレームスキップして、次のフレームを送信する。

図７は本発明のクライアントの実施の形態２である。図７のクライアントはＣＰＵ負荷、ネットワーク負荷等に応じて動的に指定フレームレートを決定するものである。

指定フレームレートの決定は、クライアントがサーバにフレームレートを指定してから実際にそのフレームレートでクライアントがデータを受け取れるようになるまでの遅延を考慮することが必要である。あるいは新規アプリケーションの起動時などＣＰＵやネットワーク負荷の一次的な変化に急激に対応しないことが必要である。しかし、それ以外の変動（一時的でない変動）には素早く対応することが求められる。図７のクライアントはそのような状況に適切に対応して指定フレームレートを決定する。

図７において、２０はクライアントである。２１は送受信制御部である。２２はフレーム受信部である。２３は表示制御部である。２４はフレームレート送信部である。２６は表示フレームレート測定部である。２７は指定フレームレート決定部である。３１は変化フレームレート保持部であって、フレームレートの増加もしくは減少を必要とする場合に増加もしくは減少を段階的に行うフレームレートの値を保持するものである。３２は指定フレームレートを減少するための減少フレームレートである。３３は指定フレームレートを増加するための増加フレームレートである。３４は前回指定フレームレート保持部であって、前回の指定フレームレートを保持するものである。３５はフレームレート比較部である。３６はフレームレート変更部であって、前回フレームレートと表示フレームレートを比較し、指定フレームレートの増加もしくは減少を判定し、フレームレートを変更するものである。３７は決定された指定フレームレートを表す。

図７のクライアントの動作を図８のフローチャートを参照して説明する。フレーム受信部２２はサーバから送信されてくる画像データを受信する。表示制御部２３は表示制御を行い、表示装置２９は受信した画像データ表示する。表示フレームレート測定部２６は表示フレームレートを測定する。指定フレームレート決定部２７は表示フレームレートを受け取り、指定フレームレートを生成する。

図８は図７のクライアントの実施の形態２の指定フレームレート生成のフローチャートである。

Ｓ１ 初期化の処理である。指定フレームレート＝ファイルフレームレート、変化フレーム１レート＝ｎ１、変化フレームレート２＝ｎ２とする。

Ｓ２ 表示フレームレートと指定フレームレートを比較する（フレーム比較部）。表示フレームレート＜指定フレームレートでなければ（表示フレームレートが指定フレームレートより大きい）、Ｓ３で指定フレームレートにｎ１を加算する。表示フレームレート＜指定フレームレートであれば（表示フレームレートが指定フレームレートより小さい）、Ｓ６で指定フレームレートからｎ２を減算する。

Ｓ３ 指定フレームレートにｎ１を加算し、指定フレームレートとする（フレームレート変更部）。

Ｓ４ 指定フレームレートとファイルフレームレートの大小を判定し、指定フレームレートがファイルフレームレートより大きければＳ５の処理を行い、指定フレームレートがファイルフレームレートより大きくなければＳ２の以降の処理を繰り返す。

Ｓ５ 指定フレームレートをファイルフレームレートにする（指定フレーム＝ファイルフレームレート）（フレームレート変更部）。

Ｓ６ Ｓ２の判定で表示フレームレート＜指定フレームレートであれば、指定フレームレートからｎ２を減算する（フレームレート変更部）。

Ｓ７ 指定フレームレートが１ｆｐｓより小さくないか判定する（フレームレート変更部）。指定フレームレート＜１（指定フレームレートが１秒に１画面を送るレートより小さい）であればＳ８で指定フレームレート＝１とする（少なくとも１秒に１フレームは送信するようにする）。指定フレームレートが１を越えていれば、求めた指定フレームレートを指定フレームとして、Ｓ２以降の処理を繰り返す。

具体的な数値を使用して、図７のクライアントの実施の形態２の指定フレームレート決定方法について説明する。

クライアントから送信された指定フレームレートが２４．５ｆｐｓであるとする。データ保持部の画像データのファイルフレームレートが３０ｆｐｓとする。表示フレームレートの測定値が２０ｆｐｓであるとする。前回の指定フレームレートは２５ｆｐｓであるとする。また、減少フレームレート＝０．５ｆｐｓとする。

表示フレームレートの測定値は２０ｆｐｓであるが、指定フレームレートをすぐには２０ｆｐｓにしない。そして、指定フレームレートを前回のフレームレート２５ｆｐｓから減少フレームレート０．５ｆｐｓだけ減らした値にする。即ち、
指定フレームレート＝前回の指定フレームレート−減少フレームレート
＝２５−０．５
＝２４．５ｆｐｓ
として、指定フレームレートを２４．５にする。そしてサーバに指定フレーム＝２４．５ｆｐｓを送信する。

図９は本発明のクライアントの実施の形態３である。

指定フレームレートを決定する際、クライアントがサーバにフレームレートを指定してから、実際にそのフレームレートでクライアントがデータを受け取れるようになるまでの遅延を考慮する必要がある。あるいは、新規アプリケーションの起動時などＣＰＵやネットワーク負荷の一次的な変化に急激に対応しないことが必要である。しかし、それ以外の変動（一時的でない変動）には素早く対応することが求められる。図９のクライアントはそのようにするために、過去の指定フレームレートを保持し、その加重平均と現在の表示フレームレートを考慮して指定フレームレートを求めるものである。

図９において、２０はクライアントである。２１は受信制御部である。２２はフレーム受信部である。２３は表示制御部である。２４はフレームレート送信部である。

２６は表示フレームレート測定部である。２７は指定フレームレート決定部である。３７は決定された指定フレームレートを表す。７１は過去のフレームレート保持部である。７２は過去の指定フレームレートの加重平均計算部であって、過去の指定フレームレートの加重平均を求めるものである（加重平均は単純平均も含む）。７３は指定フレームレート計算部であって、過去の指定フレームレートの加重平均に比率を掛けた値、および現在の表示フレームレートおよび調整フレームレートに従って指定フレームレートを計算するものである。７４は比率保持部あって、加重平均にかける比率を保持するものである。７５は調整フレームレート保持部であって、指定フレームレートから増加もしくは減少するフレームレートを保持するものである。２９は表示装置である。

図９の構成の動作を図１０のフローチャートを参照して説明する。

図１０のフローチャートは図９の本発明のクライアントの実施の形態３の指定フレームレート生成のフローチャートである。

フレーム受信部２２はサーバから送信される画像データを受信し、表示制御部２３は画像データの表示制御をして表示装置２９に表示する。表示フレームレート測定部２６は表示フレームレートを測定し、指定フレームレート決定部２７は指定フレームレートを決定する。そして、フレームレート送信部２４は指定フレームレートをサーバに送信する。

クライアント２０の指定フレームレート生成の動作を図１０のフローチャートに従って説明する。

Ｓ１ 初期化の処理である。比率１＝ａ、比率２＝ｂ、調整フレームレート１＝ｎ１、調整フレームレート２＝ｎ２にする。

Ｓ２ 表示フレームレート測定部２６は、表示できなかったフレーム数と表示フレームレートを測定する。

Ｓ３ 表示できなかったフレームがあるか判定する（指定フレームレート計算部）。表示できなかったフレームがなければＳ４の処理を行い、あればＳ７の処理を行う。

Ｓ４ 表示フレームレートに調整フレームレートｎ１を加算し、指定フレームレートにする（指定フレームレート＝表示フレームレート＋調整フレームレートｎ１）（指定フレームレート計算部）。

Ｓ５ 指定フレームレートと過去の表示フレームレートの加重平均×ｂの大小を判定する。指定フレームレート＞過去の表示フレームレートの加重平均×ｂであればＳ６の処理を行い、そうでなければＳ２以降の処理を繰り返す。

Ｓ６ 指定フレームレートが過去の表示フレームレートの加重平均×ｂより大きければ、指定フレームレートを過去の表示フレームレートの加重平均×ｂにする（指定フレームレート＝過去の表示フレームレート＝過去の表示フレームレートの加重平均×ｂ）。

Ｓ７ Ｓ３の判定で、表示できなかったフレームがあれば、指定フレームレートを表示フレームレートから調整フレームレートｎ２を差し引いた値にする（指定フレームレート＝表示フレームレート−調整フレームレートｎ２）（指定フレームレート計算部）。

Ｓ８ 指定フレームレートと過去の表示フレームレートの加重平均×ａの大小を判定する。指定フレームレートが過去の表示フレームレートの加重平均より小さければ（指定フレームレート＜過去の表示フレームレートの加重平均×ａ）であれば、Ｓ９の指定フレームレートを過去の表示フレームレートの加重平均×ａにする。指定フレームレートが過去の表示フレームレートの加重平均より小さくなければ、Ｓ２以降の処理を繰り返す。

図１１は本発明のサーバの実施の形態２である。

ＶＯＤシステムではフレームを送信する時に表示開始時間（以下サンプリング時間と称する）を情報としてフレームに付加する場合がある。本発明のサーバの実施の形態２は指定フレーム表示時間間隔の送信フレーム毎の累積値を表示開始時間として付加するものである。

図１１において、４０はサーバである。４１は送受信制御部である。４２はデータ読み出し部である。４３はフレーム送信部である。４３１はフレーム開始時間設定部であって、実際にフレームを送信する時間間隔により表示開始時間を時間情報（仮想サンプル時間）として付加するものである。４４はフレームレート調整部である。５３は指定フレームレート表示間隔算出部であって、指定フレームレートの逆数により指定フレーム表示間隔を求めるものである。５４は送信フレーム決定部であって、指定フレームレート表示間隔とファイルフレーム表示間隔に基づいて送信フレームを決定するものである。５４１はフレーム送信間隔累積部であって、指定フレーム送信時間間隔の送信フレーム毎の累積値を算出するものである。６１はフレームレート受信部である。６２は指定フレームレート保持部である。

図１１の構成の動作を説明する。データ読み出し部４２は画像データ記憶装置６５から画像データを読み出す。

フレームレート受信部６１はクライアントから送信される指定フレームレートを保持する。フレームレート調整部４４において、指定フレームレート表示間隔算出部５３は指定フレーム表示間隔を計算する。送信フレーム決定部５４は指定フレーム表示間隔とファイルフレーム表示間隔の差を累積し、その累積値をファイルフレーム表示間隔で割算した整数値を求め、間引きフレーム数とする。そしてその間引きフレーム数に従って、送信フレームを間引き、送信するフレームを決定する。そして、フレームを送信する毎に指定フレーム表示間隔時間を累積する。

フレーム送信部４３は送信フレーム決定部５４の決定に従って、フレームを送信する。この時、フレーム送信毎のフレーム送信間隔時間の累積値を仮想サンプル時間として送信フレームに付加する。

本発明の基本構成を示す図である。 本発明のシステム構成の実施の形態（サーバ側）を示す図である。 本発明のシステム構成の実施の形態（クライアント側）を示す図である。 本発明のクライアントの実施の形態１を示す図である。 本発明のサーバの実施の形態１を示す図である。 本発明のサーバの実施の形態１のフレームレート調整のフローチャートを示す図である。 本発明のクライアントの実施の形態２を示す図である。 本発明のクライアントの実施の形態２のフローチャートを示す図である。 本発明のクライアントの実施の形態３を示す図である。 本発明のクライアントの実施の形態３の指定フレームレート生成のフローチャートを示す図である。 本発明のサーバの実施の形態２を示す図である。

符号の説明

１：送信側装置
２：データ読み出し部
３：フレーム送信部
４：フレームレート調整部
５：指定フレームレート
６：画像データ記憶装置
１１：受信側装置
１２：フレーム受信部
１３：表示制御部
１４：表示フレームレート測定部
１５：指定フレームレート決定部
１６：指定フレームレート
１７：出力装置

Claims (3)

1. 動画像の画像データを送受信する画像データ送受信システムの受信側装置において、
   実際の表示制御を行う表示制御部と、
   前記表示制御部が実際に表示を行っている表示フレームレートを測定する表示フレームレート測定部と、
   表示可能なフレームレートに基づいて指定フレームレートを求める指定フレームレート決定部とを備え、
   前記指定フレームレート決定部は、前記表示フレームレート測定部が測定した表示フレームレートに基づき送信側装置に送信画像のフレームレートを指示することを特徴とする画像データ送受信システムの受信側装置。
2. 前記指定フレームレート決定部は、前記表示フレームレート測定部が測定した表示フレームレートと過去の指定フレームレートに基づき送信側装置に送信画像のフレームレートを指示することを特徴とする請求項１記載の画像データ送受信システムの受信側装置。
3. 送信側装置と受信側装置との間で動画像データを送受信する画像データ送受信プログラムを記憶した記憶媒体において、
   実際の表示制御を行う表示制御プログラムと、
   前記表示制御プログラムが実際に表示を行っている表示フレームレートを測定する表示フレームレート測定プログラムと、
   表示可能なフレームレートに基づいて指定フレームレートを求める指定フレームレート決定プログラムとを備え、
   前記指定フレームレート決定プログラムは、前記表示フレームレート測定プログラムが測定した表示フレームレートに基づき送信側装置に送信画像のフレームレートを指示することを特徴とする画像データ送受信プログラムを記憶した記憶媒体。

Images