JP5991598B2 - データ処理装置及びデータ処理方法 - Google Patents

Description

本開示は、映像データのデータパケットに付加する冗長パケット数を算出するデータ処理装置及びデータ処理方法に関する。

ＴＶ会議システム等のＩＰベースのリアルタイムコミュニケーションシステムにおいて、フルハイビジョン（Full HD）の映像伝送が既に可能となっている。ＩＰネットワーク環境では数％程度のパケットロスが発生するため、再送（ＡＲＱ：Automatic Repeat reQuest）やパケット消失訂正（ＦＥＣ：Forward Error Correction）機能を用いて映像又は音声の品質を確保している。リアルタイムでの映像伝送システムの場合、ＲＴＴ（Round Trip Time）が短い環境ではＡＲＱが有効であり、ＲＴＴが長い環境やパケットロス率が高い環境ではＦＥＣが有効である。

近年、ＷｉＭＡＸやＬＴＥ（Long Term Evolution）といった無線回線の高速化に伴い、モバイル環境での映像伝送システムが登場してきている。無線環境では端末の移動による電波環境の変化やハンドオーバといった現象が頻繁に起こるため、パケットロス率やＲＴＴは有線環境よりも悪くなりがちである。したがって、モバイル環境において映像又は音声の品質を確保する方法としてはＦＥＣが適している。ＦＥＣでは、映像や音声のデータパケットから冗長パケット（「パリティ」ともいう）を生成し、データパケットと一緒にネットワーク上に送信する。しかしながら、伝送帯域が限られる無線環境では冗長パケットのオーバヘッドによりデータパケットの伝送帯域が圧迫され、映像又は音声の品質に悪影響を及ぼす可能性がある。そのため、冗長量を抑えつつ、ある程度の品質を確保するようなシステム設計が必要となる。

特許文献１には、映像伝送システムにおける送信側の構成が示される。図１７は、特許文献１に示された通信システムを構成する送信装置と受信装置の構成例を示すブロック図である。送信装置５００が備えるレート制御部５０１は、ＲＴＣＰ部２１１から通知されるネットワーク情報（パケットロス率、ＲＴＴなど）より総伝送レートを決定し、冗長度決定部５０３に通知する。また、ＲＴＣＰ部２１１は、受信装置３００からのＮＡＣＫ情報をＡＲＱ部２１０に通知する。冗長度決定部５０３は、レート制御部５０１から通知される総伝送レートと、ＡＲＱ部２１０より通知される再送データサイズから、実際のデータ送信に使用可能な調整レートを算出し、符号化部２０２に通知する。また、冗長度決定部５０３は、総伝送レートから再送データレートを引いた調整レートとＲＴＴとから構成される図１８に示した冗長度テーブルを用いて冗長パケット数を決定し、ＦＥＣ符号化部２０５に通知する。

日本国特許第４５１３７２５号公報

上記説明した特許文献１では、図１８に示した冗長度テーブルを用いて冗長パケット数を決定する際に、総伝送レートから再送データレートを引いた調整レートがパラメータとして利用される。この調整レートは、図１９に示すように、ＦＥＣによる冗長パケットのデータレート（以下「ＦＥＣレート」という）を含むレートである。図１８に示した冗長度テーブルによれば、例えば、調整レート（＝総伝送レート−再送データレート）が２Ｍｂｐｓのときの冗長パケット数がＲＴＴに応じて０〜７個に設定されている。このため、再送を考慮しない場合に付加される冗長パケット数の最大値は７個である。一般的なネットワークのパケットサイズが１２００ｂｙｔｅであることを想定すると、総伝送レートが２Ｍｂｐｓのときに送信可能なパケット数は２０８パケットである。なお、当該送信可能なパケット数には、ＦＥＣによる冗長パケット数も含まれる。

映像データが伝送される場合、ＦＥＣの符号化単位は映像のフレーム毎であるため、図２０に示すように、フレームレートが高くなると総伝送レートに対するＦＥＣレートの割合が高くなる。例えば、フレームレートが２０ｆｐｓのとき、冗長パケット数は１４０パケット（＝７個×２０フレーム）であり、総伝送レートに占めるＦＥＣレートは６０％を超える。さらに、フレームレートが３０ｆｐｓのとき、冗長パケット数は２１０パケット（＝７個×３０フレーム）となり、総伝送レートに占めるＦＥＣレートは１００％を超えてしまう。

このように、上記説明した冗長パケット数の算出方法では、符号化部２０２に通知される調整レートにＦＥＣレートが考慮されていない。このため、映像データを伝送する際に、映像のフレームレートが高くなるにつれ、映像コンテンツに係るデータ本体を送信できなくなる。

また、上述したように、ＦＥＣの符号化単位はフレーム毎のため、冗長パケット数とフレームレートよりＦＥＣレートを算出することができる。ＦＥＣ符号化部２０５は、ＦＥＣレートに応じた冗長パケットを生成して、映像の各フレームに付与する。

符号化部２０２が映像データを符号化すると、フレーム内符号化を用いたフレーム（Ｉフレーム）と、フレーム間予測符号化を用いたフレーム（Ｐフレーム）とが生成される。１秒あたりに含まれる各フレームの数は、Ｉフレームが例えば１秒あたり数フレームである一方、Ｐフレームは例えば１秒あたり数十フレームと多い。また、１枚のフレームを表すために必要なパケット数は、ＰフレームよりもＩフレームの方が多い。

したがって、ＦＥＣ符号化部２０５が、ＦＥＣレートに応じた冗長パケットを映像データの各フレームに付与すると、図２１に示すように、映像の各フレームにはフレームの種類にかかわらず同数の冗長パケットが付与される。しかし、上述したように、Ｉフレームのパケット数はＰフレームのパケット数よりも多いため、１枚のフレームを構成するパケット数とそのフレームに付与される冗長パケット数とのバランスがＩフレームとＰフレームとでは異なってしまう。その結果、伝送中におけるＩフレームのパケットロス耐性が低下し、受信側における伝送された映像データの再生品質が劣化してしまう。

当該状態は、映像のフレームレートが低ければＦＥＣレートを上げることによって改善できる。しかし、フレームレートが高いときには、図２０に示したように、ＦＥＣレートをできる限り抑えた方が良いため、ＦＥＣレートを上げる方法は得策ではない。

本開示の目的は、映像のフレームレートが高くても、伝送レートに占める冗長パケットのデータレートを抑えつつ、パケットロス環境における受信側での映像データの再生品質を向上可能なデータ処理装置及びデータ処理方法を提供することである。

本開示は、無線ネットワークを介して送信する映像データを処理するデータ処理装置であって、前記無線ネットワークの伝送レートを推定する帯域推定部と、映像を構成するフレーム内符号化を用いたＩフレームとフレーム間予測符号化を用いたＰフレームの比であるフレーム構成比を導出するフレーム構成比導出部と、前記帯域推定部が推定した伝送レート及び前記フレーム構成比に基づいて仮の冗長パケット数を算出し、前記伝送レート及び前記仮の冗長パケット数から仮冗長パケットレートを算出する仮冗長パケットレート算出部と、前記伝送レート及び前記仮冗長パケットレートから、前記映像データを符号化する際のエンコードレートを算出するエンコードレート算出部と、前記エンコードレートで前記映像データを符号化してパケット化する映像データ処理部と、前記映像データ処理部における処理の結果得られた各フレームに付加する冗長パケット数を算出して、符号化された映像データのデータパケットに対して冗長符号化処理を行うことで得られる冗長パケットを各フレームに付加する冗長符号化処理部と、を備えたデータ処理装置を提供する。

また、本開示は、無線ネットワークを介して送信する映像データを処理するデータ処理方法であって、前記無線ネットワークの伝送レートを推定する帯域推定ステップと、映像を構成するフレーム内符号化を用いたＩフレームとフレーム間予測符号化を用いたＰフレームの比であるフレーム構成比を導出するフレーム構成比導出ステップと、前記帯域推定ステップで推定した伝送レート及び前記フレーム構成比に基づいて仮の冗長パケット数を算出し、前記伝送レート及び前記仮の冗長パケット数から仮冗長パケットレートを算出する仮冗長パケットレート算出ステップと、前記伝送レート及び前記仮冗長パケットレートから、前記映像データを符号化する際のエンコードレートを算出するエンコードレート算出ステップと、前記エンコードレートで前記映像データを符号化してパケット化する映像データ処理ステップと、前記映像データ処理ステップでの処理の結果得られた各フレームに付加する冗長パケット数を算出して、符号化された映像データのデータパケットに対して冗長符号化処理を行うことで得られる冗長パケットを各フレームに付加する冗長符号化処理ステップと、を有するデータ処理方法を提供する。

本開示に係るデータ処理装置及びデータ処理方法によれば、映像のフレームレートが高くても、伝送レートに占める冗長パケットのデータレートを抑えつつ、パケットロス環境における受信側での映像データの再生品質を向上できる。

映像に係るデータが送信側の端末から受信側の端末に無線ネットワークを介して伝送される一実施形態の映像伝送システムにおける各端末の動作を示す図 送信端末が行う冗長パケット数の算出方法を説明する図 送信端末が行う冗長パケット数の算出方法を説明する図 送信端末が行う冗長パケット数の算出方法を説明する図 第１の実施形態の送信端末の構成を示すブロック図 第１の実施形態の送信端末が備える再送／ＦＥＣ部１０９の内部構成を示すブロック図 冗長パケット数算出テーブルの一例を示す図 データパケットから冗長パケットを生成する様子を示す図 第１の実施形態の受信端末の構成を示すブロック図 受信端末が備えるパケットロス回復部１５９の動作を示すフローチャート 第２の実施形態の送信端末の内部構成を示すブロック図 第２の実施形態の送信端末が備える再送／ＦＥＣ部２０９の内部構成を示すブロック図 第２の実施形態の送信端末が備えた再送／ＦＥＣ部２０９が有する予測結果比較部２０１が出力する修正予測データパケット数を決定する際のフローチャート 第３の実施形態の送信端末の内部構成を示すブロック図 第３の実施形態の送信端末が備えるエンコード部３０５の内部構成を示すブロック図 第３の実施形態の送信端末が備える再送／ＦＥＣ部３０９の内部構成を示すブロック図 特許文献１に示された通信システムを構成する送信装置と受信装置の構成例を示すブロック図 特許文献１に示された冗長度テーブルの一例を示す図 総伝送レートと調整レートと再送データレートとＦＥＣレートとの関係を示す図 映像のフレームレート毎の総伝送レートに対するＦＥＣレートの割合を示す図 符号化後のフレームに対する冗長（ＦＥＣ）パケットの付加

以下、本開示の実施形態について、図面を参照して説明する。

（第１の実施形態）
図１は、映像に係るデータが送信側の端末から受信側の端末に無線ネットワークを介して伝送される一実施形態の映像伝送システムにおける各端末の動作を示す図である。なお、通常の映像伝送システムの場合、伝送レートは映像レートと音声レートの合計値であるが、本実施形態では映像レートのみを対象に説明する。

送信側の端末（以下「送信端末」という）は、帯域推定されたネットワーク帯域（＝エンコードレート）に基づいて、映像データをエンコードする。送信端末は、エンコードした映像データをパケット化し、再送に備えて送信バッファにコピーする。さらに、送信端末は、パケット化された映像データをＦＥＣ符号化する。送信端末は、通常は、映像データのデータパケットとＦＥＣパケットを映像パケットとしてネットワーク上に送信する。なお、送信端末は、受信側からの再送要求があった場合は、新規のデータパケットを送信するのではなく、送信バッファに格納されているデータパケットを送信する。

エンコードレートを導出するための帯域推定は、ＲＴＴ、パケットロス率といったフィードバックパケット情報に基づいて行われる。但し、初回送信時はフィードバックパケットが存在しないため、送信端末は初期帯域推定を行う。また、帯域推定時には、ＦＥＣパケット分のＦＥＣレートを除いたレートがエンコードレートとして導出される。

受信側の端末（以下「受信端末」という）は、映像パケットを受信後、受信処理を行い、データパケットの抽出とヘッダ部分に記載される送信時刻からＲＴＴを計算する。受信端末は、受信パケットにパケットロスを検出した場合、パケットロス率を算出し、ＲＴＴとパケットロス率から再送判定を行い、再送判定結果を通知する。ＲＴＴが大きく再送が不可能な場合、受信端末は、パケットロス回復処理としてＦＥＣ復号化を行い、ロスパケットを回復後、符号化された映像データのデコードを行い、映像データを出力する。

一方、再送が可能な場合、受信端末は、送信端末に再送要求を行う。送信端末が帯域推定やＦＥＣ符号化を行うために、受信端末で算出されたＲＴＴやパケットロス情報はフィードバックパケットとして送信端末に通知されるが、受信端末が送信端末に再送を要求する場合には、再送要求もフィードバックパケットに含まれる。受信端末が再送パケットを受信し、受信パケットにパケットロスがなければ、受信端末は、符号化された映像データのデコードを行い、映像データを出力する。

次に、図２〜図４を参照して、送信端末が行う冗長パケット数の算出方法について説明する。

送信端末は、初めに、映像符号化区間あたりの利用可能なネットワーク帯域を示す伝送レートを推定する。図２に示した例では、ネットワークの伝送レートが２Ｍｂｐｓと推定されている。次に、送信端末は、推定伝送レートと映像のフレームレートに基づいて、フレーム内符号化を用いたＩフレームとフレーム間予測符号化を用いたＰフレームのフレーム構成比を予測する。

フレーム構成比は、Ｉフレーム及びＰフレームを構成する各パケット数を予測することで求まる。図２に示した例では、１パケットのデータサイズを１２００ｂｙｔｅ＝９．６ｋｂｉｔとした場合、推定伝送レート２Ｍｂｐｓで１秒間に伝送可能なパケット数は２０８パケットであることを示す。仮に、フレームレートを３０ｆｐｓ、すなわち、１秒あたりのフレーム数が３０であるとする。このとき、送信端末は、Ｐフレームあたりのパケット数（図２では５パケット）と、１秒あたりのＩフレーム数（図２では２フレーム）とを予測することで、ＩフレームとＰフレームの各パケット総数の予測値を算出できる。また、送信端末は、Ｉフレームあたりのパケット数の予測値（図２では３４フレーム）も算出できる。なお、Ｐフレームあたりのパケット数及び１秒あたりのＩフレーム数の予測方法については後述する。

次に、送信端末は、図３に示すように、仮（temporary）の冗長パケット数を算出する。すなわち、送信端末は、各フレームのデータパケット数に対して、所要の映像品質に対応するパケットロスまたはフレームロス以下となるように、ＦＥＣ方式の理論式から各フレームの仮冗長パケット数を算出する。当該ＦＥＣ方式の理論式については後述する。

次に、送信端末は、推定伝送レートに対応するパケット数と仮冗長パケット数より、予測ＦＥＣレートを算出する。図３に示した例では、推定伝送レート２Ｍｂｐｓに対応するパケット数２０８と仮冗長パケット数９６（＝６×２＋３×２８）との合計パケット数３０４（＝２０８＋９６）に対する仮冗長パケット数９６の割合（＝９６／（２０８＋９６））を推定伝送レート２Ｍｂｐｓに乗算した０．６３Ｍｂｐｓが予測ＦＥＣレートとして算出される。

次に、送信端末は、推定伝送レートと予測ＦＥＣレートよりエンコードレートを求め、映像データをエンコードする。なお、図３に示した例では、予測ＦＥＣレート０．６３Ｍｂｐｓを推定伝送レート２Ｍｂｐｓから減算した１．３７Ｍｂｐｓが、映像データのエンコードレートである。エンコードレート１．３７Ｍｂｐｓに対応するパケット総数は１４３パケットであり、送信端末における映像データのエンコードの結果、エンコードレートに近いパケット数が出力される。図４に示した例では、Ｉフレーム数２、Ｐフレーム数２８のフレーム構成であり、１４３パケットのうちＩフレーム分が５９パケット、残り８４パケットがＰフレーム分である。

最後に、送信端末は、各フレームのデータパケット数に対して、ＦＥＣ方式の理論式から各フレームの冗長パケット数を算出し、映像データのデータパケットに付加する。なお、冗長パケット数の算出方法は図３に示した仮冗長パケット数の算出方法と同じである。図４に示した例では、６８個（＝６×２＋２×２８）の冗長パケットが生成され、映像データのエンコードレートが１．３７Ｍｂｐｓであるため、ＦＥＣレートは０．６６Ｍｂｐｓとなる。したがって、エンコードレートとＦＥＣレートを合計した実伝送レートは２．０３Ｍｂｐｓであるため、この実伝送レートは推定伝送レート２Ｍｂｐｓにほぼ沿うものとなっている。

以上説明した方法によれば、伝送レートに占めるＦＥＣレートを予測した上で算出されるエンコードレートで映像データをエンコードするため、映像のフレーム構成（Ｉフレーム及びＰフレームの各データパケット数）に応じた適切な数の冗長パケットが付加される。このため、映像のフレームレートが高い場合でも、冗長パケットのデータレートを抑えつつ、映像データの帯域は確保される。その結果、無線通信ネットワークを介した映像データの伝送といったパケットロス環境における受信側での映像データの再生品質を改善できる。

図５は、第１の実施形態の送信端末の構成を示すブロック図である。なお、図５中の記号（１）〜（６）は、図２〜図４に示した各動作の番号を示す。図５に示すように、送信端末は、ＲＴＣＰ受信部１０１と、帯域推定部１０３と、エンコード部１０５と、パケット化部１０７と、再送／ＦＥＣ部１０９と、ＲＴＰ送信部１１１とを備える。

ＲＴＣＰ受信部１０１は、受信端末から送信されたフィードバックパケットを受信し、ネットワークのパケットロス率、ＲＴＴ、再送要求に係る情報を抽出する。パケットロス率、ＲＴＴ、再送要求に係る情報は、帯域推定部１０３と再送／ＦＥＣ部１０９に入力される。

帯域推定部１０３は、パケットロス率とＲＴＴから推定したネットワーク帯域を推定伝送レート情報として再送／ＦＥＣ部１０９に入力する。また、再送／ＦＥＣ部１０９から再送レート、予測ＦＥＣレートを受け取り、推定伝送レートから再送レート及び予測ＦＥＣレートを除いたレートをエンコードレートとしてエンコード部１０５に入力する。

エンコード部１０５は、映像データの符号化処理を行う。具体的には、エンコード部１０５は、帯域推定部１０３より通知されるエンコードレートに応じて映像データをｈ．２６４等の符号化方式を用いて圧縮符号化し、Ｉフレーム及びＰフレームによって表される映像の符号化データをパケット化部１０７に入力する。また、エンコード部１０５は、映像のフレームレート情報を再送／ＦＥＣ部１０９に入力する。

パケット化部１０７は、エンコード部１０５から入力される符号化データを規定のパケットサイズにパケット化し、映像データのデータパケットとして再送／ＦＥＣ部１０９に入力する。このとき、パケット化部１０７は、各フレームのデータパケット数も再送／ＦＥＣ部１０９に通知する。

再送／ＦＥＣ部１０９は、受信端末から再送要求があった場合、格納していた再送データをＲＴＰ送信部１１１に出力する。再送要求がなかった場合、再送／ＦＥＣ部１０９は、ＲＴＴに基づいて、パケットロス回復手段として、再送のみを行うか、再送とＦＥＣのハイブリッドで行うか、ＦＥＣのみを行うかを判断する。再送のみを行うと判断した場合、再送／ＦＥＣ部１０９は、データパケットを送信バッファに格納するとともにＲＴＰ送信部１１１へ出力する。再送とＦＥＣのハイブリッドで行うと判断した場合またはＦＥＣのみを行うと判断した場合、再送／ＦＥＣ部１０９は、フレーム毎のデータパケット数とパケットロス率から算出した数の冗長パケットを生成し、生成した冗長パケットを映像データのデータパケットに付加して、符号化パケットとしてＲＴＰ送信部１１１に入力する。なお、再送とＦＥＣのハイブリッドで行うと判断した場合、再送／ＦＥＣ部１０９は、上記パケットロス率として、再送によってある程度回復されたあとのパケットロス率を使用する。また、再送／ＦＥＣ部１０９では、帯域推定部１０３から入力される推定伝送レート情報と、エンコード部１０５から入力されるフレームレート情報より算出する予測ＦＥＣレート情報と、再送要求から算出する再送レート情報とを算出し、帯域推定部１０３に入力する。

ＲＴＰ送信部１１１は、入力される符号化パケットや再送パケットにヘッダ情報を付加して、ＲＴＰパケットとしてネットワークに送信する。

以下、再送／ＦＥＣ部１０９について、図６を参照して詳細に説明する。図６は、第１の実施形態の送信端末が備える再送／ＦＥＣ部１０９の内部構成を示すブロック図である。図６に示すように、再送／ＦＥＣ部１０９は、フレーム構成比予測部１２１と、冗長パケット数算出部１２３と、予測ＦＥＣレート算出部１２５と、ＦＥＣ符号化部１２７と、再送部１２９とを有する。

フレーム構成比予測部１２１は、帯域推定部１０３からの推定伝送レート情報とエンコード部１０５からの映像のフレームレート情報に基づいて、各フレームの予測データパケット数を算出して、フレーム構成比を予測する。推定伝送レートをＲ［Ｍｂｐｓ］、１パケットのデータサイズをＳ［ｂｙｔｅ］、フレームレートをｆ_R［ｆｐｓ］とおく。映像符号化区間あたりのＩフレーム数予測値をＮ_Iframe、Ｐフレームあたりのパケット数予測値をＮ_{packet_P}とおくと、Ｐフレームのパケット総数Ｐ_packetは式（１）から求められる。

一方、Ｉフレームのパケット総数Ｉ_packetは、推定伝送レートＲ、１パケットのデータサイズＳ、式（１）で求めたＰフレームのパケット総数Ｐ_packetより、式（２）から求められる。

なお、フレーム構成比予測部１２１が式（１）よりＰフレームのパケット総数Ｐ_packetを算出する際には、Ｉフレーム数予測値Ｎ_IframeとＰフレームあたりのパケット数予測値Ｎ_{packet_P}を決定する。

Ｐフレームのパケット総数Ｐ_packetとＩフレームのパケット総数Ｉ_packetを映像データのデータパケット数として、冗長パケット数算出部１２３は、所要の映像品質に対応するパケットロス率（ＦＥＣ後パケットロス率）を満たす冗長パケット数を、演算用冗長パケット数情報として算出する。リードソロモン符号を例にとると、ＦＥＣ前のパケットロス率をｐ、データパケット数をＫ、冗長パケット数をＬ、ＦＥＣ後のパケットロス率をＰとおくと、ＦＥＣ後のパケットロス率Ｐは式（３）から求められる。

ＦＥＣ後のパケットロス率Ｐ、ＦＥＣ前のパケットロス率ｐは既知情報であり、データパケット数Ｋも冗長パケット数算出部１２３に入力されるので、式（３）より所要の映像品質を満たす冗長パケット数の最適値Ｌ_optを式（４）から求めることができる。

式（４）のデータパケット数ＫにＰフレームのパケット総数Ｐ_packetとＩフレームのパケット総数Ｉ_packetをそれぞれ代入することで、演算用冗長パケット数が求まる。演算用冗長パケット数の最適値Ｌ_optは、予測値であるＰ_packet、Ｉ_packetが変われば変化するので、以下に示す式（５Ｉ），（５Ｐ）によって表される。

本実施形態では、総伝送レートに占めるＦＥＣレートが最小となるように冗長パケット数を決める。このため、式（５Ｉ），（５Ｐ）に示す演算用冗長パケット数の最適値Ｌ_optが最小となるように、予測値であるＰフレームのパケット総数Ｐ_packetとＩフレームのパケット総数Ｉ_packetを決定する。Ｐフレームのパケット総数Ｐ_packetとＩフレームのパケット総数Ｉ_packetは、式（１），（２）より映像符号化区間あたりのＩフレーム数予測値Ｎ_Iframe、Ｐフレームあたりのパケット数予測値Ｎ_{packet_P}から求まる値であるので、言い換えれば、式（５Ｉ），（５Ｐ）に示す演算用冗長パケット数の最適値Ｌ_optが最小となるように、Ｉフレーム数予測値Ｎ_IframeとＰフレームあたりのパケット数予測値Ｎ_{packet_P}を決定する。以上より、Ｉフレーム数予測値Ｎ_Iframeの最適値Ｎ_{Iframe_opt}とＰフレームあたりのパケット数予測値Ｎ_{packet_P}の最適値Ｎ_{packet_P_opt}は、式（６）より求めることができる。

冗長パケット数算出部１２３は、データパケット数とパケットロス率より、所望の映像品質を満たす各フレームの冗長パケット数の最適値を算出する。また、冗長パケット数算出部１２３は、予測ＦＥＣレートの算出に必要な仮冗長パケット数を決定するため、フレーム構成比予測部１２１に対して、予測データパケット数が入力されれば演算用冗長パケット数を返す。

初めに、仮冗長パケット数の算出方法について説明する。フレーム構成比予測部１２１によってＦＥＣレートを最小とする予測データパケット数の最適値Ｐ_{packet_opt}，Ｉ_{packet_opt}が求まるので、式（５Ｉ），（５Ｐ）にこれを代入することで、冗長パケット数算出部１２３は、仮冗長パケット数を求めることができる。仮冗長パケット数をＬ_{opt_temp}とおくと、仮冗長パケット数Ｌ_{opt_temp}は式（７）より求められる。

次に、冗長パケット数の算出方法であるが、ＦＥＣ前のパケットロス率ｐとデータパケット数Ｋが入力され、ＦＥＣ後のパケットロス率Ｐも映像品質目標に応じて設定される値なので、冗長パケット数算出部１２３は、式（４）にそれぞれの値を代入することで冗長パケット数を算出する。なお、再送部１２９より再送時パケットロス率が入力される場合、ＦＥＣ前のパケットロス率ｐに代わって再送時パケットロス率が使用される。

なお、冗長パケット数の算出に関して、映像品質に対応するＦＥＣ後パケットロス率が固定値であれば、あらかじめ式（４）の値を計算して冗長パケット数算出テーブルとして保持しておいても良い。この場合、冗長パケット数算出部１２３は、データパケット数とパケットロス率が入力された際に、冗長パケット数算出テーブルを参照して冗長パケット数を返すことができる。式（４）においてＰ＝０．１％とした場合の冗長パケット数算出テーブルの一例を図７に示す。

予測ＦＥＣレート算出部１２５は、帯域推定部１０３から通知される推定伝送レート情報と冗長パケット数算出部１２３が算出した仮パケット数情報より、予測ＦＥＣレートを算出する。予測ＦＥＣレートは再送部１２９からの再送レートと合計され、再送／予測ＦＥＣレート情報として帯域推定部１０３に通知される。

推定伝送レート情報をＲ［Ｍｂｐｓ］、１パケットのデータサイズをＳ［ｂｙｔｅ］、仮冗長パケット数をＬ_{opt_temp}とおくと、予測ＦＥＣレートＲ_FEC［Ｍｂｐｓ］は式（８）より求められる。

ＦＥＣ符号化部１２７は、データパケットと冗長パケット数算出部１２３が算出した冗長パケット数に基づいてデータパケットから冗長パケットを生成し、データパケットと合わせて符号化パケットとして出力する。データパケット数をＫ、冗長パケット数Ｌをとしたとき、（Ｋ＋Ｌ，Ｋ）がＦＥＣ符号化パラメータとして通知されてもよい。データパケットから冗長パケットを生成する様子を図８に示す。図８に示すように、データパケットを一度に符号化処理することはできず、符号化単位毎に１パケット分の処理を繰り返すことで、冗長パケットが生成される。図８は、ＦＥＣパラメータ（６，４）の符号化の様子を示している。

再送部１２９は、受信端末からの再送要求があった場合に、再送部１２９内の図示しない送信バッファに格納されるデータパケットを再送データとしてＲＴＰ送信部１１１に出力する。さらに、再送部１２９は、再送データ量から再送レート情報を算出して出力する。また、再送部１２９は、パケットロス回復手段として再送を行うかどうかの可否をＲＴＴより判断し、再送を行う場合の再送時パケットロス率を算出して冗長パケット数算出部１２３に出力する。

再送回数をＮ_ARQ、受信許容遅延時間をｔ_adm［ｍｓ］、ＲＴＴをｔ_RTT［ｍｓ］とおくと、再送回数をＮ_ARQは式（９）より求められる。

なお、受信許容遅延時間ｔ_admはシステムによりあらかじめ設定される値である。

また、再送時パケットロス率をｐ’とおくと、再送回数Ｎ_ARQとパケットロス率ｐより、再送時パケットロス率ｐ’は式（１０）より求められる。

また、再送レートは、予測ＦＥＣレートを算出する単位と同じ単位で計算する必要があるので、映像符号化区間ごとに計算される。再送レートをＲ_ARQ［Ｍｂｐｓ］、再送要求の合ったパケット数をＮ_{packet_ARQ}とおくと、１パケットのデータサイズＳ［ｂｙｔｅ］に対して、１パケットのデータレートは８Ｓ／１０^６［Ｍｂｐｓ］より求められ、再送レートＲ_ARQは式（１１）より求められる。

図９は、第１の実施形態の受信端末の構成を示すブロック図である。図９に示すように、受信端末は、ＲＴＰ受信部１５１と、パケットロス検出部１５３と、フィードバックパケット生成部１５５と、再送判定部１５７と、パケットロス回復部１５９と、デパケット化部１６１と、デコード部１６３と、ＲＴＣＰ送信部１６５とを備える。

ＲＴＰ受信部１５１は、ＲＴＰパケットを受信し、ヘッダ情報からＲＴＴを抽出する。ＦＥＣパケットが付加されている場合は、データパケット数と「データパケット数＋冗長パケット数」を示すＦＥＣパラメータを抽出する。ＲＴＰ受信部１５１で受信された符号化パケット又は再送パケットはパケットロス検出部１５３に入力される。

パケットロス検出部１５３は、パケットヘッダのシーケンス番号よりロスパケットを検出し、パケットロス数を算出し、パケットロス回復部１５９とフィードバックパケット生成部１５５に入力するとともに、パケットロス率を計算する。パケットロス率の計算は映像符号化区間において、「ロスしたパケット数／総送信パケット数」より求められる。但し、受信パケット数が少なく、パケットロス率の粒度が荒くなる場合、パケットロス検出部１５３は、複数の区間にわたる平均パケットロスを使用することもできる。パケットロス率は、フィードバックパケット生成部１５５へ入力される。また、パケットロス検出後の符号化パケットや再送パケットは、パケットロス回復部１５９へ入力される。さらに、再送パケットにロスがあった場合、フィードバックパケット生成部１５５に対して再送パケットのロス情報が通知される。

フィードバックパケット生成部１５５は、フィードバックパケットを生成し、ＲＴＣＰ送信部１６５へ入力する。フィードバックパケットに含まれる情報として、ＲＴＴ、パケットロス率、再送要求がある。再送要求は、再送が可能であるかを示す再送判定結果とパケットロス数より生成される。フィードバックパケットはＲＴＣＰ送信部１６５より送信される。

再送判定部１５７は、パケットロス発生時に再送が可能であるかをＲＴＴより判定し、再送判定結果をパケットロス回復部１５９とフィードバックパケット生成部１５５に通知する。式（９）に示すように、受信許容遅延時間とＲＴＴより再送回数を求めることができ、再送判定部１５７は、再送回数が１以上の場合には「再送あり」、それ以外の場合には「再送なし」の再送判定結果を生成する。

パケットロス回復部１５９は、パケットロス検出部１５３から通知されるパケットロス数が１以上である場合にパケットロス回復処理を行い、ロスパケットを回復したデータパケットを出力する。デパケット化部１６１は、データパケットをフレームに変換し、デコード部１６３へ出力する。デコード部１６３は、デパケット化部１６１から入力されるフレームをデコードし、映像データを出力する。

図１０は、受信端末が備えるパケットロス回復部１５９の動作を示すフローチャートである。パケットロス回復部１５９は、はじめに入力されるパケットの種別をパケットヘッダより判別する（ステップＳ１０１）。受信パケットが再送パケットの場合、再送パケットの受信によりパケットロスは回復されるので、パケットロス回復部１５９は、受信端末でバッファされているデータパケットと再送パケットを合わせて出力する（ステップＳ１０３）。受信パケットがデータパケットの場合、ステップＳ１０５における再送判定の結果、再送を行う場合はロスしていないパケットを受信バッファに格納し、受信許容遅延時間の間再送パケットの到着を待つ（ステップＳ１０７）。ステップＳ１０９における判断で受信許容遅延時間を超えた場合、パケットロス回復部１５９は、ロスしていないデータパケットのみデパケット化部１６１へ出力する（ステップＳ１１１）。受信パケットがデータパケットで、再送をしない場合、ＦＥＣパケットがデータパケットに付加されていれば、パケットロス回復部１５９は、ＦＥＣ復号によるパケットロス回復処理を行う。ステップＳ１１３における判定でＦＥＣパラメータより算出される冗長パケット数がロスしたパケット数以上の場合、パケットロス回復部１５９は、受信符号化パケットとＦＥＣパラメータよりＦＥＣ復号化を行い、ロスパケットを回復し、回復されたパケットを含むデータパケットのみをデパケット化部１６１へ出力する（ステップＳ１１５）。冗長パケット数がロスパケット数未満の場合（ＦＥＣパケットが付加されなかったケースも含まれる）、ＦＥＣでの回復は不可能なので、パケットロス回復部１５９は、ロスしていないデータパケットのみデパケット化部１６１へ出力する（ステップＳ１１７）。

このように、映像データのエンコードレートを決定する際に、総伝送レートに占める再送レート、ＦＥＣレートが通知されているので、フレームレートが高い場合でも映像データの帯域は確保される。また、エンコード後のフレーム構成に即して、ＩフレームとＰフレームに対してそれぞれ適切な数の冗長パケットが付加される。したがって、冗長パケットのデータレートを抑えつつ、パケットロス環境における受信端末での映像データの再生品質を改善できる。

（第２の実施形態）
図１１は、第２の実施形態の送信端末の内部構成を示すブロック図である。第２の実施形態の送信端末が第１の実施形態の送信端末と異なる点は、再送／ＦＥＣ部２０９である。この点以外は第１の実施形態と同様であり、図１１において、図５と共通する構成要素には同じ参照符号を付して、第１実施形態の送信端末と同一又は同等部分の説明は簡略化又は省略する。

第１の実施形態では、エンコード部１０５より再送／ＦＥＣ部２０９にフレームレート情報が通知されていたが、本実施形態では、直前のエンコード結果を示すコーデック情報がエンコード部１０５から再送／ＦＥＣ部２０９に通知される。コーデック情報には、Ｉフレーム数、Ｐフレーム数、Ｉフレーム情報量及びＰフレーム情報量が含まれる。

図１２は、第２の実施形態の送信端末が備える再送／ＦＥＣ部２０９の内部構成を示すブロック図である。図１２に示すように、本実施形態の再送／ＦＥＣ部２０９は、第１の実施形態の再送／ＦＥＣ部１０９が有する構成要素に加えて、予測結果比較部２０１を有する。

予測結果比較部２０１は、上記説明したコーデック情報とフレーム構成比予測部１２１より入力される予測データパケット数より、修正予測データパケット数を出力する。１パケットのデータサイズをＳ［ｂｙｔｅ］、コーデック情報に含まれるＩフレーム数をＮ_{codec_Iframe}、Ｐフレーム数をＮ_{codec_Pframe}、Ｉフレーム情報量をＤ_Iframe［ｂｙｔｅ］、Ｐフレーム情報量をＤ_Pframe［ｂｙｔｅ］とおくと、過去情報であるエンコード後のＩフレームのデータパケット数Ｉ_{codec_packet}とＰフレームのデータパケット数Ｐ_{codec_packet}は式（１２Ｉ），（１２Ｐ）より求められる。

図１３は、第２の実施形態の送信端末が備えた再送／ＦＥＣ部２０９が有する予測結果比較部２０１が出力する修正予測データパケット数を決定する際のフローチャートである。図１３に示すように、予測結果比較部２０１は、式（１２Ｉ），（１２Ｐ）より算出されるデータパケット数Ｉ_{codec_packet}，Ｐ_{codec_packet}と、フレーム構成比予測部１２１が式（１），（２）から算出した予測データパケット数Ｉ_packet，Ｐ_packetとを比較し、修正予測データパケット数Ｉ_{packet_rev}，Ｐ_{packet_rev}を出力する。推定伝送レートの変動が閾値以上の場合やコーデック情報から算出可能なシーンチェンジ情報が検出された場合、予測結果比較部２０１は、過去のエンコード結果との比較は行わず、フレーム構成比予測部１２１が算出した予測データパケット数Ｉ_packet，Ｐ_packetを修正予測データパケット数Ｉ_{packet_rev}，Ｐ_{packet_rev}として出力する。

一方、推定伝送レートの変動が閾値未満かつシーンチェンジが検出されなかった場合、予測結果比較部２０１は、過去情報との比較を行う。データパケット数を比較した結果、過去情報であるエンコード後のＩフレームのデータパケット数Ｉ_{codec_packet}やＰフレームのデータパケット数Ｐ_{codec_packet}の方が予測データパケット数Ｉ_packet，Ｐ_packetより大きかった場合（Ｉフレーム、Ｐフレーム個別に判断）、予測結果比較部２０１は、予測データパケット数Ｉ_packet，Ｐ_packetに一定の補正値ΔＩ，ΔＰを加算した修正予測データパケット数を出力する。なお、補正値ΔＩ，ΔＰはシステムで設定される値である。一方、エンコード後のＩフレームのデータパケット数Ｉ_{codec_packet}やＰフレームのデータパケット数Ｐ_{codec_packet}の方が予測データパケット数Ｉ_packet，Ｐ_packetより小さかった場合、予測結果比較部２０１は、予測データパケット数Ｉ_packet，Ｐ_packetに一定の補正値ΔＩ，ΔＰを減算した修正予測データパケット数を出力する。なお、両者が等しかった場合、予測結果比較部２０１は、補正を加えず予測データパケット数Ｉ_packet，Ｐ_packetを修正予測データパケット数Ｉ_{packet_rev}，Ｐ_{packet_rev}としてそのまま出力する。

以上説明したように、本実施形態では、Ｉフレーム、Ｐフレームのデータパケット数のレベルに応じてフレーム構成比の予測値を調整するので、予測精度を高めることができ、ＩフレームとＰフレームに対して適切な数の冗長パケットが付加される。その結果、冗長パケットのデータレートを抑えつつ、パケットロス環境における受信端末での映像データの再生品質をさらに改善できる。

（第３の実施形態）
図１４は、第３の実施形態の送信端末の内部構成を示すブロック図である。第３の実施形態の送信端末が第１の実施形態の送信端末と異なる点は、エンコード部３０５及び再送／ＦＥＣ部３０９である。この点以外は第１の実施形態と同様であり、図１４において、図５と共通する構成要素には同じ参照符号を付して、第１実施形態の送信端末と同一又は同等部分の説明は簡略化又は省略する。

第１の実施形態では、エンコード部１０５より再送／ＦＥＣ部１０９にフレームレート情報が通知されていたが、本実施形態ではフレーム構成比が通知される。

図１５は、第３の実施形態の送信端末が備えるエンコード部３０５の内部構成を示すブロック図である。図１５に示すように、本実施形態のエンコード部３０５は、映像符号化部３１１と、フレーム構成比算出部３１３と、リセット情報生成部３１５と、平均値算出部３１７とを有する。

映像符号化部３１１は、帯域推定部１０３から通知されたエンコードレートで映像データの圧縮符号化を行い、フレームとして出力する。映像符号化部３１１は、符号化結果のフレームを参照することで、フレームレート情報や、Ｉフレーム数、Ｐフレーム数、Ｉフレーム情報量及びＰフレーム情報量含むコーデック情報を生成することができる。

フレーム構成比算出部３１３は、符号化結果のフレームを参照し、Ｉフレーム情報量とＰフレーム情報量より瞬時フレーム構成比を求める。Ｉフレーム情報量をＩ_info［ｂｙｔｅ］、Ｐフレーム情報量をＰ_info［ｂｙｔｅ］とおくと、瞬時フレーム構成比ＦＲ_isntは「ＦＲ_isnt＝Ｉ_info／Ｐ_info」の計算式から求まる。フレーム構成比算出部３１３が算出した瞬時フレーム構成比は、平均値算出部３１７に入力される。また、フレーム構成比算出部３１３は、Ｉフレーム数やＰフレーム数といったフレーム構成を示すＧＯＰ（Group Of Picture）情報の変化よりシーンチェンジを検出し、検出結果に基づく映像切替情報をリセット情報生成部３１５に出力する。

リセット情報生成部３１５は、エンコードレートが一定以上変化したか映像切替情報が入力された場合にリセット情報を生成し、平均値算出部３１７に入力する。

平均値算出部３１７は、映像符号化単位毎に出力される瞬時フレーム構成比ＦＲ_isntを一定時間蓄積し、その平均値を計算し、フレーム構成比として出力する。瞬時フレーム構成比ＦＲ_isntの平均値が出力されるまでの間又はリセット情報が入力された場合、平均値算出部３１７は、あらかじめ設定した初期値をフレーム構成比として出力する。なお、平均値を算出する瞬時値のサンプル数をＮ_sとおくと、フレーム構成比ＦＲ_aveは式（１３）より求められる。

図１６は、第３の実施形態の送信端末が備える再送／ＦＥＣ部３０９の内部構成を示すブロック図である。図１６に示すように、本実施形態の再送／ＦＥＣ部３０９は、フレーム構成比予測部１２１を有さず、冗長パケット数算出部３２３の動作が第１の実施形態の冗長パケット数算出部１２３とは異なる。すなわち、本実施形態の冗長パケット数算出部３２３は、エンコード部３０５より通知されるフレーム構成比を用いて、仮冗長パケット数を算出する点が、第１の実施形態と異なる。

本実施形態における仮冗長パケット数の算出方法について説明する。エンコード部３０５より通知されるフレーム構成比をＦＲ_ave、推定伝送レート情報をＲ［Ｍｂｐｓ］、１パケットのデータサイズをＳ［ｂｙｔｅ］とおくと、Ｐフレームのパケット総数Ｐ_packet、Ｉフレームのパケット総数Ｉ_packetは式（１４Ｐ），（１４Ｉ）より求められる。

式（１４Ｐ），（１４Ｉ）のＰフレームのパケット総数Ｐ_packet、Ｉフレームのパケット総数Ｉ_packetを第１の実施形態で説明した式（７）に代入することで、仮冗長パケット数Ｌ_{opt_temp}が求まる。冗長パケット数の算出方法は第１の実施形態と同じである。

以上説明したように、本実施形態では、実際のエンコード結果をフレーム構成比の予測に活用することで、予測精度を高めることができ、ＩフレームとＰフレームに対して適切な数の冗長パケットが付加される。その結果、冗長パケットのデータレートを抑えつつ、パケットロス環境における受信端末での映像データの再生品質をさらに改善できる。また、シーンチェンジにも対応することで、予測精度の劣化を予防できる。

上記各実施形態では、本開示をハードウェアで構成する場合を例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記各実施形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示を詳細にまた特定の実施態様を参照して説明したが、本開示の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、2011年9月28日出願の日本特許出願（特願2011-212916）に基づくものであり、その内容はここに参照として取り込まれる。

本開示に係るデータ処理装置は、映像データのデータパケットに適切な数の冗長パケットを付加して伝送する映像伝送システムの送信端末等として有用である。

１０１ ＲＴＣＰ受信部
１０３ 帯域推定部
１０５，３０５ エンコード部
１０７ パケット化部
１０９，２０９，３０９ 再送／ＦＥＣ部
１１１ ＲＴＰ送信部
１２１ フレーム構成比予測部
１２３，３２３ 冗長パケット数算出部
１２５ 予測ＦＥＣレート算出部
１２７ ＦＥＣ符号化部
１２９ 再送部
１５１ ＲＴＰ受信部
１５３ パケットロス検出部
１５５ フィードバックパケット生成部
１５７ 再送判定部
１５９ パケットロス回復部
１６１ デパケット化部
１６３ デコード部
１６５ ＲＴＣＰ送信部
２０１ 予測結果比較部
３１１ 映像符号化部
３１３ フレーム構成比算出部
３１５ リセット情報生成部
３１７ 平均値算出部

Claims (12)

1. 無線ネットワークを介して送信する映像データを処理するデータ処理装置であって、
   前記無線ネットワークの伝送レートを推定する帯域推定部と、
   映像を構成するフレーム内符号化を用いたＩフレームとフレーム間予測符号化を用いたＰフレームの比であるフレーム構成比を導出するフレーム構成比導出部と、
   前記帯域推定部が推定した伝送レート及び前記フレーム構成比に基づいて仮の冗長パケット数を算出し、前記伝送レート及び前記仮の冗長パケット数から仮冗長パケットレートを算出する仮冗長パケットレート算出部と、
   前記伝送レート及び前記仮冗長パケットレートから、前記映像データを符号化する際のエンコードレートを算出するエンコードレート算出部と、
   前記エンコードレートで前記映像データを符号化してパケット化する映像データ処理部と、
   前記映像データ処理部における処理の結果得られた各フレームに付加する冗長パケット数を算出して、符号化された映像データのデータパケットに対して冗長符号化処理を行うことで得られる冗長パケットを各フレームに付加する冗長符号化処理部と、
   を備えたことを特徴とするデータ処理装置。
2. 請求項１に記載のデータ処理装置であって、
   前記フレーム構成比導出部は、前記帯域推定部が推定した伝送レート及び映像のフレームレートに基づいて、前記フレーム構成比を導出することを特徴とするデータ処理装置。
3. 請求項２に記載のデータ処理装置であって、
   前記フレーム構成比導出部は、前記伝送レートに占める前記仮冗長パケットレートの割合が最小となるフレーム構成比を導出することを特徴とするデータ処理装置。
4. 請求項２に記載のデータ処理装置であって、
   前記映像データ処理部による符号化の結果得られた前記映像の各フレームのデータパケット数と、前記フレーム構成比導出部が導出したフレーム構成比及び前記伝送レートから得られる各フレームのデータパケット数とを比較する比較部を備え、
   前記仮冗長パケットレート算出部は、前記比較部による比較結果に応じて前記フレーム構成比を調整することを特徴とするデータ処理装置。
5. 請求項１に記載のデータ処理装置であって、
   前記フレーム構成比は、前記映像データが過去に符号化した結果から算出したフレーム構成比の平均値であることを特徴とするデータ処理装置。
6. 請求項１〜５のいずれか一項に記載のデータ処理装置であって、
   前記フレーム構成比導出部は、前記伝送レート及び１パケットのデータサイズに基づいて、前記伝送レートで単位時間に伝送可能なパケット数を算出することを特徴とするデータ処理装置。
7. 無線ネットワークを介して送信する映像データを処理するデータ処理方法であって、
   前記無線ネットワークの伝送レートを推定する帯域推定ステップと、
   映像を構成するフレーム内符号化を用いたＩフレームとフレーム間予測符号化を用いたＰフレームの比であるフレーム構成比を導出するフレーム構成比導出ステップと、
   前記帯域推定ステップで推定した伝送レート及び前記フレーム構成比に基づいて仮の冗長パケット数を算出し、前記伝送レート及び前記仮の冗長パケット数から仮冗長パケットレートを算出する仮冗長パケットレート算出ステップと、
   前記伝送レート及び前記仮冗長パケットレートから、前記映像データを符号化する際のエンコードレートを算出するエンコードレート算出ステップと、
   前記エンコードレートで前記映像データを符号化してパケット化する映像データ処理ステップと、
   前記映像データ処理ステップでの処理の結果得られた各フレームに付加する冗長パケット数を算出して、符号化された映像データのデータパケットに対して冗長符号化処理を行うことで得られる冗長パケットを各フレームに付加する冗長符号化処理ステップと、
   を有することを特徴とするデータ処理方法。
8. 請求項７に記載のデータ処理方法であって、
   前記フレーム構成比導出ステップでは、前記帯域推定ステップで推定した伝送レート及び映像のフレームレートに基づいて、前記フレーム構成比を導出することを特徴とするデータ処理方法。
9. 請求項８に記載のデータ処理方法であって、
   前記フレーム構成比導出ステップでは、前記伝送レートに占める前記仮冗長パケットレートの割合が最小となるフレーム構成比を導出することを特徴とするデータ処理方法。
10. 請求項８に記載のデータ処理方法であって、
    前記映像データ処理ステップでの符号化の結果得られた前記映像の各フレームのデータパケット数と、前記フレーム構成比導出ステップで導出したフレーム構成比及び前記伝送レートから得られる各フレームのデータパケット数とを比較する比較ステップを有し、
    前記仮冗長パケットレート算出ステップでは、前記比較ステップでの比較結果に応じて前記フレーム構成比を調整することを特徴とするデータ処理方法。
11. 請求項７に記載のデータ処理方法であって、
    前記フレーム構成比は、前記映像データが過去に符号化した結果から算出したフレーム構成比の平均値であることを特徴とするデータ処理方法。
12. 請求項７〜１１のいずれか一項に記載のデータ処理方法であって、
    前記フレーム構成比導出ステップでは、前記伝送レート及び１パケットのデータサイズに基づいて、前記伝送レートで単位時間に伝送可能なパケット数を算出することを特徴とするデータ処理方法。

Images