JP6938769B2 - 通信装置、生成データサイズ制御方法、通信方法及びプログラム - Google Patents

Description

本発明は、通信装置、生成データサイズ制御方法、通信方法及びプログラムに関する。

近年、頭部に装着して眼前に表示される映像を鑑賞できるヘッドマウントディスプレイ（ＨＭＤ）が普及し始めている。このようなＨＭＤのなかには、ゲームプログラム等のプログラムを実行するエンタテインメント装置と有線接続されており、エンタテインメント装置で生成される映像を受信して表示させるものが存在する。

またこのようなＨＭＤのなかにはユーザの頭部の動きに応じて表示される映像が変化するものがある。このようなＨＭＤは例えばモーションセンサやカメラなどを備えており、モーションセンサの検出結果を示すデータやカメラが撮影する画像などといったセンシングデータを生成し、生成されたセンシングデータをエンタテインメント装置に送信する。センシングデータを受信したエンタテインメント装置は、当該センシングデータに基づいて映像を生成して、当該映像をＨＭＤに送信する。そしてＨＭＤは受信した映像を表示させることで、ユーザは頭部の動きに応じて変化する映像を鑑賞できることとなる。

発明者らは、エンタテインメント装置とＨＭＤとの間の通信経路に、例えばＷｉ−Ｆｉ（登録商標）等の規格に沿った半二重無線通信による通信経路が含まれるようにすることを検討している。半二重無線通信では送信側の装置（以下、通信装置と呼ぶ。）から受信側の装置（以下、通信相手装置と呼ぶ。）へのデータの送信と、通信相手装置から通信装置へのデータの送信と、が交互に行われる。上述の例では、エンタテインメント装置からＨＭＤへの映像のデータの送信と、ＨＭＤからエンタテインメント装置へのセンシングデータの送信と、が交互に行われる。

上述のエンタテインメント装置で生成される映像を構成するデータのような、通信相手装置において利用されるデータはできるだけ高品質であることが望ましい。例えば上述した用途で用いられるＨＭＤにおいては、表示される映像ができるだけ高画質であることが望ましい。従って、エンタテインメント装置で生成される映像を構成するデータのような、単位時間あたりに生成されるデータのサイズはできるだけ大きいことが望ましい。

一方で、上述のような即時性が求められる通信では、ユーザの違和感を低減するために、単位時間あたりに生成されるデータのサイズを小さくしてでも一往復の通信にかかる時間を所与の目標時間に近づけることが重要となる。

ここで一往復の通信で通信されたデータのサイズと当該通信にかかった時間とに基づいて単位時間あたりに生成されるデータのサイズを制御することによって一往復の通信にかかる時間を所与の目標時間に近づけるようことが考えられる。

しかし通信環境が悪い場合などにおいては、データの一部が欠落して、欠落した当該一部が通信相手に届かないことがある。このような場合には、通信相手が通信に成功したデータのサイズを考慮して単位時間あたりに生成されるデータのサイズを制御しないと一往復の通信にかかる時間が所与の目標時間に近づかないことがある。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、半二重無線通信における一往復の通信にかかる時間を所与の目標時間に近づけることができる通信装置、生成データサイズ制御方法、通信方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る通信装置は、通信相手装置との間で半二重無線通信を行う通信装置であって、データ生成部が生成するデータを前記通信相手装置に送信する送信部と、前記通信相手装置が受信に成功した前記データのサイズを示すサイズデータを含む、前記通信相手装置から送信されるデータを受信する受信部と、前記通信相手装置との間での半二重無線通信による一往復の通信にかかった時間を特定する時間特定部と、特定される前記時間、前記サイズデータが示すサイズ、及び、一往復の通信についての所与の目標時間に基づいて、前記データ生成部が単位時間あたりに生成するデータのサイズを制御する生成制御部と、を含む。

本発明の一態様では、前記時間特定部は、第１期間における前記通信相手装置へのデータの送信の開始から当該第１期間に後続する第２期間における前記通信相手装置が送信するデータの受信の終了までに相当する一往復の通信にかかった時間を特定し、前記受信部は、前記第１期間に前記通信相手装置が受信に成功したデータのサイズを示す前記サイズデータを受信する。

また、本発明の一態様では、前記受信部は、前記通信相手装置から送信されるセンシングデータを受信し、前記データ生成部は、映像のデータを生成し、前記生成制御部は、前記映像のデータの品質を制御する。

また、本発明に係る別の通信装置は、通信相手装置との間で半二重無線通信を行う通信装置であって、前記通信相手装置からデータを受信する受信部と、受信に成功したデータのサイズを示すサイズデータを前記通信相手装置に送信する送信部と、を含み、前記送信部は、前記通信相手装置が送信したデータの一部の受信に失敗した場合でも前記サイズデータを送信する。

また、本発明の一態様では、前記受信部は、エンコード済の映像のデータを前記通信相手装置から受信し、前記映像のデータをデコード部に出力する出力部、をさらに含み、前記出力部は、受信に失敗した前記映像のデータの一部については所定のデータで補完された前記映像のデータを前記デコード部に出力する。

また、本発明の一態様では、前記受信部は、一度の通信においてそれぞれシーケンス番号が付与された複数のパケットを受信し、前記送信部は、前記複数のパケットのうちシーケンス番号が最後であるものの受信に成功した際には、当該複数のパケットの受信に応じて前記複数の前記パケットのうちの少なくとも１つの受信に失敗した場合でも前記サイズデータを送信する。

また、本発明に係る生成データサイズ制御方法は、データ生成部が生成するデータを通信相手装置に送信するステップと、前記通信相手装置が受信に成功した前記データのサイズを示すサイズデータを含む、前記通信相手装置から送信されるデータを受信するステップと、前記通信相手装置との間での半二重無線通信による一往復の通信にかかった時間を特定するステップと、特定される前記時間、前記サイズデータが示すサイズ、及び、一往復の通信についての所与の目標時間に基づいて、前記データ生成部が単位時間あたりに生成するデータのサイズを制御するステップと、を含む。

また、本発明に係る通信方法は、通信相手装置からデータを受信するステップと、受信に成功したデータのサイズを示すサイズデータを前記通信相手装置に送信するステップと、を含み、前記送信するステップでは、前記通信相手装置が送信したデータの一部の受信に失敗した場合でも前記サイズデータを送信する。

また、本発明に係るプログラムは、データ生成部が生成するデータを通信相手装置に送信する手順、前記通信相手装置が受信に成功した前記データのサイズを示すサイズデータを含む、前記通信相手装置から送信されるデータを受信する手順、前記通信相手装置との間での半二重無線通信による一往復の通信にかかった時間を特定する手順、特定される前記時間、前記サイズデータが示すサイズ、及び、一往復の通信についての所与の目標時間に基づいて、前記データ生成部が単位時間あたりに生成するデータのサイズを制御する手順、をコンピュータに実行させる。

また、本発明に係る別のプログラムは、通信相手装置からデータを受信する手順、受信に成功したデータのサイズを示すサイズデータを前記通信相手装置に送信する手順、を含み、前記送信する手順では、前記通信相手装置が送信したデータの一部の受信に失敗した場合でも前記サイズデータを送信する。

本発明の一実施形態に係るエンタテインメントシステムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。 本発明の一実施形態に係る中継装置の構成の一例を示す図である。 中継装置とＨＭＤとの間の半二重無線通信の様子の一例を模式的に示す図である。 トランザクションデータのデータ構造の一例を示す図である。 映像データと当該映像データに相当するペイロードデータとの関係の一例を示す図である。 一往復の通信毎に特定される時間Ｔ＿ＲＴの変化の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイ、エンタテインメント装置、及び、中継装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る中継装置及びヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る中継装置において行われる処理の流れの一例を示すフロー図である。 本発明の別の一実施形態に係るヘッドマウントディスプレイ、エンタテインメント装置、及び、中継装置で実装される機能の一例を示す機能ブロック図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係るエンタテインメントシステム１０の全体構成の一例を示す図である。図２Ａは、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。図２Ｂは、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。図２Ｃは、本実施形態に係る中継装置１６の構成の一例を示す図である。

図１に示すように、本実施形態に係るエンタテインメントシステム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。

本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、プロセッサ３０、記憶部３２、通信部３４、入出力部３６、表示部３８、センサ部４０、音声出力部４２、カメラ部４４が含まれる。

プロセッサ３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。なお、ＨＭＤ１２に、プロセッサ３０の代わりに、プロセッサ３０によって実行される処理の実装が可能な制御回路が含まれるようにしてもよい。

記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。

通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。本実施形態では図１に示すように、通信部３４は、ＨＭＤ１２の前側上方に配置されている。

入出力部３６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。

表示部３８は、ＨＭＤ１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。また表示部３８は、ＨＭＤ１２の筐体に収容される。表示部３８は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部３８は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３８は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

センサ部４０は、例えば加速度や角速度を検出可能なモーションセンサなどといったセンサである。センサ部４０は、ＨＭＤ１２の回転量、移動量などの検出結果を所定のサンプリングレートで、プロセッサ３０に出力する。

音声出力部４２は、例えばヘッドホンやイヤホン等の、ユーザの耳の近傍に配置されるスピーカであり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。音声出力部４２は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される音声信号を受信して、当該音声信号が表す音声を出力する。

カメラ部４４は、例えばデジタルカメラなどのカメラであり、所定のフレームレートでＨＭＤ１２を装着するユーザの周辺の様子を撮影する。図１に示すように、本実施形態に係るカメラ部４４は、表示部３８の上方に、表示部３８の前方を撮影できるように２つ配置されている。そのため本実施形態に係るカメラ部４４は、ＨＭＤ１２を装着するユーザの前方を撮影できることとなる。また本実施形態に係るカメラ部４４は、例えば左目用の画像を撮影するためのレンズ及び右目用の画像を生成するためのレンズを備えたステレオカメラである。

本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。

本実施形態に係るエンタテインメント装置１４には、例えば図２Ｂに示すように、プロセッサ５０、記憶部５２、通信部５４、入出力部５６が含まれる。

プロセッサ５０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ５０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。なお、エンタテインメント装置１４に、プロセッサ５０の代わりに、プロセッサ５０によって実行される処理の実装が可能な制御回路が含まれるようにしてもよい。

記憶部５２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部５２には、プロセッサ５０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部５２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。

通信部５４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。

入出力部５６は、ＨＤＭＩポート、ＵＳＢポートなどの入出力ポートである。

本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力するコンピュータである。

本実施形態に係る中継装置１６には、例えば図２Ｃに示すように、プロセッサ６０、記憶部６２、通信部６４、入出力部６６が含まれる。

プロセッサ６０は、例えば中継装置１６にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。なお、中継装置１６に、プロセッサ６０の代わりに、プロセッサ６０によって実行される処理の実装が可能な制御回路が含まれるようにしてもよい。

記憶部６２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部６２には、プロセッサ６０によって実行されるプログラムなどが記憶される。

通信部６４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。本実施形態では、図１に示すように、中継装置１６の前側に、通信部６４が含まれている。

入出力部６６は、ＨＤＭＩポート、ＵＳＢポートなどの入出力ポートである。

本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。

本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像などといったカメラマイクユニット２０の周辺の様子を表すデータをエンタテインメント装置１４に出力するカメラ２０ａを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。また本実施形態に係るカメラマイクユニット２０は、周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。

ＨＭＤ１２と中継装置１６とは、例えば、無線通信によるデータの送受信が互いに可能になっている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。

本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。

本実施形態では例えば、エンタテインメント装置１４で、ゲームプログラム等のプログラムが実行される。そしてエンタテインメント装置１４は、当該プログラムの実行状況に応じた３次元の仮想空間の映像等の映像を生成する。この映像は、例えば、当該仮想空間内に配置された視点から視線方向を見た様子を表す。そしてエンタテインメント装置１４で生成される映像を表す映像データは、エンタテインメント装置１４から中継装置１６を経由してＨＭＤ１２に送信される。

また本実施形態では、ＨＭＤ１２においてセンシングデータが生成される。ここでセンシングデータとしては、例えば、センサ部４０が検出する加速度や角速度の検出結果を示すデータや、カメラ部４４が撮影する画像などが挙げられる。そしてＨＭＤ１２で生成されるセンシングデータは、中継装置１６を経由してエンタテインメント装置１４に送信される。

エンタテインメント装置１４は、ＨＭＤ１２から受信するセンシングデータに応じた映像を生成する。エンタテインメント装置１４は例えば、ＨＭＤ１２から受信するセンシングデータに応じて、上述の仮想空間内に配置された視点の位置や視線方向を変化させる。そしてエンタテインメント装置１４は、変化後の視点の位置から変化後の視線方向を見た様子を表す映像を生成して、ＨＭＤ１２に送信する。そして当該映像を受信したＨＭＤ１２は、当該映像を表示部３８に表示させる。このようにして本実施形態では、ユーザの頭部の動きに応じて表示部３８に表示される映像が変化することとなる。

本実施形態では例えば、中継装置１６とＨＭＤ１２との間で、例えばＷｉ−Ｆｉ（登録商標）等の規格に沿った半二重無線通信が行われる。図３は、中継装置１６とＨＭＤ１２との間の半二重無線通信の様子の一例を模式的に示す図である。

図３に示すように、本実施形態では例えば、中継装置１６からＨＭＤ１２への映像データの送信と、ＨＭＤ１２から中継装置１６へのセンシングデータの送信とが交互に行われる。以下、中継装置１６からＨＭＤ１２にデータが送信されている期間を第１期間と呼び、ＨＭＤ１２から中継装置１６にデータが送信されている期間を第２期間と呼ぶこととする。すなわち、本実施形態における半二重無線通信では、第１期間と第２期間とが交互に到来することとなる。

図４は、本実施形態に係るトランザクションデータ７０のデータ構造の一例を示す図である。例えば、１つの第１期間で中継装置１６からＨＭＤ１２に送信されるトランザクションデータ７０には、当該第１期間で中継装置１６からＨＭＤ１２に送信される映像データが含まれる。また例えば、１つの第２期間でＨＭＤ１２から中継装置１６に送信されるトランザクションデータ７０には、当該第２期間でＨＭＤ１２から中継装置１６に送信されるセンシングデータが含まれる。

図４に示すように、１つのトランザクションデータ７０には、１つのパケットヘッダ７２（図４ではＰＨと表現）と複数の分割パケット７４とが含まれている。図４には、トランザクションデータ７０に（Ｎ＋１）個の分割パケット７４が含まれることが示されている。そして１つの分割パケット７４には、１つのフラグメント情報７６（図４ではＦＩ（０）などと表現）と１つのペイロードデータ７８（図４ではＰａｙｌｏａｄ（０）などと表現）とが含まれている。

中継装置１６がＨＭＤ１２に送信するトランザクションデータ７０のパケットヘッダ７２には例えば、ＨＭＤ１２が中継装置１６に送信可能なビットレートの値（後述の値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰ）が含まれている。

またＨＭＤ１２が中継装置１６に送信するトランザクションデータ７０のパケットヘッダ７２には例えば、ＨＭＤ１２が受信に成功したデータのサイズを示す値（後述の値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔ）が含まれている。

またこの他に、パケットヘッダ７２には例えば、最後の分割パケット７４のシーケンス番号が含まれている。

分割パケット７４に含まれるフラグメント情報７６には例えば、当該分割パケット７４のシーケンス番号と当該分割パケット７４が含まれるトランザクションデータ７０における最後の分割パケット７４のシーケンス番号とが含まれている。

ペイロードデータ７８は、例えば中継装置１６からＨＭＤ１２に送信される映像データやＨＭＤ１２から中継装置１６に送信されるセンシングデータに相当する。

図５は、中継装置１６からＨＭＤ１２に送信される映像データと当該映像データに相当するペイロードデータ７８との関係の一例を示す図である。

ここで本実施形態に係る映像データは例えば、ＭＰＥＧの規格に沿ってエンコードされる。そしてエンコード済の映像データは、可変長のパケットであるパケット化エレメンタリストリーム（Packetized Elementary Stream：ＰＥＳ）に分割される。図５には４つのＰＥＳのパケット（ＰＥＳ（０）〜ＰＥＳ（３））が示されている。

そして本実施形態では例えば、ＰＥＳがさらに、４バイトのヘッダと１８４バイトのペイロードを含む１８８バイトの固定長であるトランスポートパケット（ＴＳ）に分割される。

図５には、２０個のＴＳ（ＴＳ（０）〜ＴＳ（１９））が示されている。図５の例では、ＰＥＳ（０）に基づいて、６個のＴＳ（ＴＳ（０）〜ＴＳ（５））が生成されることが示されている。また、ＰＥＳ（１）に基づいて、６個のＴＳ（ＴＳ（６）〜ＴＳ（１１））が生成されることが示されている。また、ＰＥＳ（２）に基づいて、５個のＴＳ（ＴＳ（１２）〜ＴＳ（１６））が生成されることが示されている。また、ＰＥＳ（３）に基づいて、３個のＴＳ（ＴＳ（１７）〜ＴＳ（１９））が生成されることが示されている。ここで例えばＴＳ（１１）、ＴＳ（１６）、ＴＳ（１９）のような、相当するＰＥＳが存在しない部分を含むＴＳについては、当該部分に所定値がパディングされる。

そしてそれぞれ１又は複数のＴＳに相当するペイロードデータ７８が生成される。図５の例では５個のペイロードデータ７８（Ｐａｙｌｏａｄ（０）〜Ｐａｙｌｏａｄ（４））が示されている。図５の例では、Ｐａｙｌｏａｄ（０）は、ＴＳ（０）〜ＴＳ（３）に相当することが示されている。また、Ｐａｙｌｏａｄ（１）は、ＴＳ（４）〜ＴＳ（７）に相当することが示されている。また、Ｐａｙｌｏａｄ（２）は、ＴＳ（８）〜ＴＳ（１１）に相当することが示されている。また、Ｐａｙｌｏａｄ（３）は、ＴＳ（１２）〜ＴＳ（１５）に相当することが示されている。また、Ｐａｙｌｏａｄ（４）は、ＴＳ（１６）〜ＴＳ（１９）に相当することが示されている。ここでペイロードデータ７８は、必ずＴＳにアラインメントされるため、１つのＴＳが複数のペイロードデータ７８に分かれて割り当てられることはない。

図３に示すように、１つの第１期間において、中継装置１６は、ＨＭＤ１２にパケットヘッダ７２を送信し、これに続いて残りのトランザクションデータ７０をＨＭＤ１２に送信する。そしてＨＭＤ１２は、当該トランザクションデータ７０の受信に応じて、当該第１期間に後続する１つの第２期間において、中継装置１６にパケットヘッダ７２を送信し、これに続いて残りのトランザクションデータ７０を中継装置１６に送信する。なお、中継装置１６とＨＭＤ１２との間では、音声データや制御用メッセージなどのようなトランザクションデータ７０以外のデータの通信が行われても構わない。

そして本実施形態では図３に示すように、中継装置１６において、映像データのパケットヘッダ７２を送信してから、映像データの受信に応じて送信されるセンシングデータのすべてを受信するまでの、一往復の通信にかかった時間（ラウンドトリップタイム）を特定できる。以下、この時間を、時間Ｔ＿ＲＴと表現することとする。ここで時間Ｔ＿ＲＴは、１つの第１期間における映像データの送信の開始から当該第１期間に後続する第２期間におけるセンシングデータの受信の終了までに相当する一往復の通信にかかった時間に相当する。

また本実施形態では図３に示すように、中継装置１６において、映像データのパケットヘッダ７２を送信してから、映像データの受信の終了に応じてＨＭＤ１２から送信されるセンシングデータのパケットヘッダ７２を受信するまでの時間を特定できる。この時間は、中継装置１６からＨＭＤ１２への映像データの送信にかかった時間に概ね相当する。以下、この時間を、時間Ｔ＿ｐｈと表現することとする。また、時間Ｔ＿ＲＴから時間Ｔ＿ｐｈを引いた時間は、ＨＭＤ１２から中継装置１６へのセンシングデータの送信にかかった時間に概ね相当する。以下、この時間を、時間Ｔ＿ｈｐと表現することとする。

また本実施形態では予め、半二重無線通信による一往復の通信についての所与の目標時間が設定されている。以下、当該目標時間を時間ＴａｒｇｅｔＴｒａｎｆｅｒＴｉｍｅと表現することとする。

本実施形態に係る映像データのような、ＨＭＤ１２において利用されるデータはできるだけ高品質であることが望ましい。従って、エンタテインメント装置１４で単位時間あたりに生成されるデータのサイズはできるだけ大きいことが望ましい。一方で、本実施形態のような即時性が求められる通信では、ユーザの違和感を低減するために、単位時間あたりに生成されるデータのサイズを小さくしてでもラウンドトリップタイムを時間ＴａｒｇｅｔＴｒａｎｆｅｒＴｉｍｅに近づけることが重要となる。例えばＨＭＤ１２で表示される映像を構成するフレーム画像のそれぞれのレイテンシを短くすることが重要となる。

以上の点を踏まえ、本実施形態では、以下のようにして、できる限り時間Ｔ＿ＲＴが時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅ以下となるよう、エンタテインメント装置１４が単位時間あたりに生成するデータのサイズを制御するようにした。

また、通信環境が悪い場合などにおいては、データの一部が欠落して、欠落した当該一部が通信相手に届かないことがある。例えば１又は複数の分割パケット７４が通信相手に届かないことがある。

このような場合には、通信相手が通信に成功したデータのサイズを考慮して単位時間あたりに生成されるデータのサイズを制御しないと一往復の通信にかかる時間が所与の目標時間に近づかないことがある。

そこで本実施形態では以下のようにして、通信相手が通信に成功したデータのサイズに基づいて単位時間あたりに生成されるデータのサイズが制御されることとした。

また中継装置１６からＨＭＤ１２に送信されたデータの一部が欠落した際に、ＨＭＤ１２から中継装置１６へのセンシングデータが送信されないと、中継装置１６において時間Ｔ＿ＲＴが算出できない。その結果、エンタテインメント装置１４が単位時間あたりに生成すべきデータのサイズを算出できない。

そこで本実施形態では以下のようにして、中継装置１６からＨＭＤ１２に送信されるデータの一部が欠落しても、ＨＭＤ１２から中継装置１６にセンシングデータが送信されるようにした。

また例えば通信環境が悪化した際にビームフォーミング等による通信経路探索処理が発生し、通信環境が不安定になることがある。図６は、一往復の通信毎に特定される時間Ｔ＿ＲＴの変化の一例を示す図である。図６の例では、通信経路探索処理において断続的に連続してビームフォーミングが発生している。図６の例では、概ね２０００マイクロ秒から５５００マイクロ秒までと示されている時間の範囲において、時間Ｔ＿ＲＴが大きく変動している。このような状況において、例えば時間Ｔ＿ＲＴが目標時間よりも短かったことに基づいて単位時間あたりに生成されるデータのサイズが大きくなるよう制御しても、次の一往復の通信では大きいサイズのデータの通信ができない可能性がある。そのためこのような状況では、時間Ｔ＿ＲＴが目標時間よりも短い場合でも単位時間あたりに生成されるデータのサイズをそれほど大きくしない方がよい。

以上の点を踏まえ、本実施形態では以下のようにして、単位時間あたりに生成されるデータのサイズに対応する値が変化する大きさが、通信経路探索処理が発生しているか否かの推定の結果に応じたものとなるようにした。

また逆に上述の状況において、例えば時間Ｔ＿ＲＴが目標時間よりも長かったことに基づいて単位時間あたりに生成されるデータのサイズが小さくなるよう制御した際に、次の一往復の通信では目標時間よりも短い時間でデータの通信を行える可能性がある。このような場合にその次の一往復の通信を直ちに開始すると、映像データの生成が間に合っておらず、空の映像データが中継装置１６からＨＭＤ１２に送信されるおそれがある。このような空のデータの送信は消費電力の無駄である。

以上の点を踏まえ、本実施形態では以下のようにして、上述のような消費電力の無駄を抑制できるようにした。

ここで、以上で説明した点を中心に、本実施形態に係るエンタテインメントシステム１０の機能及び本実施形態に係るエンタテインメントシステム１０で実行される処理についてさらに説明する。

図７は、本実施形態に係るＨＭＤ１２、エンタテインメント装置１４、及び、中継装置１６で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメントシステム１０で、図７に示す機能のすべてが実装される必要はなく、また、図７に示す機能以外の機能が実装されていても構わない。

図７に示すように、本実施形態に係るエンタテインメント装置１４は、機能的には例えば、映像データ生成部８０、映像データ送信部８２、生成制御受信部８４、センシングデータ受信部８６、を含んでいる。映像データ生成部８０は、プロセッサ５０を主として実装される。映像データ送信部８２、生成制御受信部８４、センシングデータ受信部８６は、入出力部５６を主として実装される。

以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ５０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給されてもよい。

また図７に示すように、本実施形態に係る中継装置１６は、機能的には例えば、目標時間情報記憶部９０、映像データ受信部９２、映像データバッファ９４、映像データ送信部９６、センシングデータ受信部９８、センシングデータ送信部１００、所要時間特定部１０２、探索発生推定部１０４、ビットレート決定部１０６、データサイズ決定部１０８、生成制御部１１０、を含んでいる。目標時間情報記憶部９０、映像データバッファ９４は、記憶部６２を主として実装される。映像データ受信部９２、センシングデータ送信部１００は、入出力部６６を主として実装される。映像データ送信部９６、センシングデータ受信部９８は、通信部６４を主として実装される。所要時間特定部１０２、探索発生推定部１０４、ビットレート決定部１０６、データサイズ決定部１０８は、プロセッサ６０を主として実装される。生成制御部１１０は、プロセッサ６０及び入出力部６６を主として実装される。

以上の機能は、コンピュータである中継装置１６にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ６０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して中継装置１６に供給されてもよい。

また図７に示すように、本実施形態に係るＨＭＤ１２は、機能的には例えば、映像データ受信部１２０、映像データ出力部１２２、デコード部１２４、表示制御部１２６、センシングデータ生成部１２８、センシングデータバッファ１３０、センシングデータ送信部１３２、を含んでいる。映像データ受信部１２０、センシングデータ送信部１３２は、通信部３４を主として実装される。映像データ出力部１２２、デコード部１２４は、プロセッサ３０を主として実装される。表示制御部１２６は、プロセッサ３０、表示部３８を主として実装される。センシングデータ生成部１２８は、プロセッサ３０、センサ部４０、カメラ部４４を主として実装される。センシングデータバッファ１３０は、記憶部３２を主として実装される。

以上の機能は、コンピュータであるＨＭＤ１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１２に供給されてもよい。

映像データ生成部８０は、本実施形態では例えば、ＨＭＤ１２の表示部３８に表示される映像を表す映像データを生成する。

映像データ送信部８２は、本実施形態では例えば、映像データ生成部８０が生成する映像データを中継装置１６に送信する。

生成制御受信部８４は、本実施形態では例えば、中継装置１６が送信する生成制御情報を受信する。ここで生成制御情報は、例えば、単位時間あたりに生成すべきデータのサイズを示す情報である。映像データ生成部８０は、生成制御受信部８４による生成制御情報の受信に応じて、当該生成制御情報が示すサイズのデータを単位時間あたりに生成するよう制御されることとなる。

センシングデータ受信部８６は、本実施形態では例えば、ＨＭＤ１２のセンサ部４０による検出結果を示すデータやカメラ部４４が撮影する画像などといったセンシングデータを、中継装置１６から受信する。本実施形態では、映像データ生成部８０は、センシングデータ受信部８６が受け付けるセンシングデータに応じた映像データを生成することとなる。

目標時間情報記憶部９０は、本実施形態では例えば、上述の目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅの値が設定された目標時間情報を記憶する。

映像データ受信部９２は、本実施形態では例えば、エンタテインメント装置１４から送信される映像データを受信する。

映像データバッファ９４は、本実施形態では例えば、映像データ受信部９２が受信する映像データを記憶する。

映像データ送信部９６は、本実施形態では例えば、映像データ生成部８０が生成する映像データをＨＭＤ１２に送信する。例えば映像データ送信部９６は、映像データバッファ９４に記憶されている映像データをＨＭＤ１２に送信する。

センシングデータ受信部９８は、本実施形態では例えば、ＨＭＤ１２が送信するセンシングデータを受信する。

センシングデータ送信部１００は、本実施形態では例えば、センシングデータ受信部９８が受信するセンシングデータをエンタテインメント装置１４に送信する。

所要時間特定部１０２は、本実施形態では例えば、中継装置１６とＨＭＤ１２との間の半二重無線通信における一往復の通信が終了したことに応じて、当該一往復の通信にかかった時間Ｔ＿ＲＴを特定する。

探索発生推定部１０４は、中継装置１６とＨＭＤ１２との間での通信経路探索処理が発生しているか否かを推定する。ここで当該通信経路探索処理は、連続して発生するビームフォーミングが含まれていてもよい。

また探索発生推定部１０４は、時間Ｔ＿ＲＴの長さに基づいて、通信経路探索処理が発生しているか否かについての評価値を決定してもよい。ここでは評価値の一例としては、時間Ｔ＿ＲＴを示す値から後述する所与の値ＴＨＲ＿ＩＮＴを引いた値などが挙げられる。

なお、探索発生推定部１０４による推定の詳細については後述する。

ビットレート決定部１０６は、本実施形態では例えば、後の一往復の通信において中継装置１６がＨＭＤ１２に送信可能なビットレートを決定する。ここで例えば、特定される時間Ｔ＿ＲＴ、一往復の通信においてＨＭＤ１２との間で通信されたデータのサイズ、及び、一往復の通信についての所与の目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅに基づいて、当該ビットレートが決定されてもよい。またビットレート決定部１０６は、ＨＭＤ１２が中継装置１６に送信可能なビットレートを決定してもよい。

以下、中継装置１６がＨＭＤ１２に送信可能なビットレートの値を、ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨと表現することとする。また、ＨＭＤ１２が中継装置１６に送信可能なビットレートの値を、ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰと表現することとする。上述のように中継装置１６がＨＭＤ１２に送信するトランザクションデータ７０のパケットヘッダ７２に、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰが含まれてもよい。ここでビットレート決定部１０６は、決定された値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨを保持してもよい。またビットレート決定部１０６は、決定された値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰを保持してもよい。

またビットレート決定部１０６は、例えばエンタテインメント装置１４や中継装置１６のスペックに応じた、中継装置１６がＨＭＤ１２に送信可能なビットレートの最大値及び最小値を示す情報を保持してもよい。またビットレート決定部１０６は、例えばＨＭＤ１２のスペックに応じた、ＨＭＤ１２が中継装置１６に送信可能なビットレートの最大値及び最小値を示す情報を保持してもよい。以下、中継装置１６がＨＭＤ１２に送信可能なビットレートの最大値及び最小値を、それぞれ、Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭａｘ、Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭｉｎと表現することとする。また、ＨＭＤ１２が中継装置１６に送信可能なビットレートの最大値及び最小値を、それぞれ、Ｔｐ＿ＨｔｏＰ＿ＲｅｑＭａｘ、Ｔｐ＿ＨｔｏＰ＿ＲｅｑＭｉｎと表現することとする。

ここで値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭａｘとしては、例えば、ＨＭＤ１２及び中継装置１６のスペックを満たす最高品質の映像データ、及び、データ量の制御対象とはならない固定データ（例えば音声データや制御メッセージなど）の通信帯域を確保できるビットレートを示す値が設定されるのが望ましい。また値Ｔｐ＿ＨｔｏＰ＿ＲｅｑＭａｘとしては、ＨＭＤ１２及び中継装置１６のスペックを満たす最高品質のセンシングデータ、及び、データ量の制御対象とはならない固定データ（例えば音声データや制御メッセージなど）の通信帯域を確保できるビットレートを示す値が設定されるのが望ましい。

また値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭｉｎとしては、例えば、ＨＭＤ１２及び中継装置１６のスペックを満たす最低限の品質の映像データ、及び、データ量の制御対象とはならない固定データ（例えば音声データや制御メッセージなど）の通信帯域を確保できるビットレートを示す値が設定されるのが望ましい。また値Ｔｐ＿ＨｔｏＰ＿ＲｅｑＭｉｎとしては、例えば、ＨＭＤ１２及び中継装置１６のスペックを満たす最低限の品質のセンシングデータ、及び、データ量の制御対象とはならない固定データ（例えば音声データや制御メッセージなど）の通信帯域を確保できるビットレートを示す値が設定されるのが望ましい。

なお、ビットレートの決定方法の詳細については後述する。

データサイズ決定部１０８は、本実施形態では例えば、ＨＭＤ１２との間で行われる後の一往復の無線通信において中継装置１６がＨＭＤ１２に送信するデータのサイズを決定する。ここで例えば、ビットレート決定部１０６が決定するビットレートと、所与の目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅとに基づいて、後の一往復の無線通信において中継装置１６がＨＭＤ１２に送信するデータのサイズが決定されてもよい。またデータサイズ決定部１０８は、後の一往復の無線通信においてＨＭＤ１２が中継装置１６に送信するデータのサイズを決定してもよい。以下、一往復の無線通信において中継装置１６がＨＭＤ１２に送信するデータのサイズをＴｒａｎｓＳｉｚｅ＿ＰｔｏＨと表現することとする。また、一往復の無線通信においてＨＭＤ１２が中継装置１６に送信するデータのサイズをＴｒａｎｓＳｉｚｅ＿ＨｔｏＰと表現することとする。

またデータサイズ決定部１０８は、上述のようにして決定される、一往復の無線通信において中継装置１６がＨＭＤ１２に送信するデータのサイズの値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨが設定された情報を保持してもよい。またデータサイズ決定部１０８は、上述のようにして決定される、一往復の無線通信においてＨＭＤ１２が中継装置１６に送信するデータのサイズの値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰが設定された情報を保持してもよい。

生成制御部１１０は、本実施形態では例えば、映像データ生成部８０が単位時間あたりに生成するデータのサイズを制御する。ここで時間Ｔ＿ＲＴ、一往復の通信においてＨＭＤ１２との間で通信されたデータのサイズ、及び、一往復の通信についての所与の目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅに基づいて、当該サイズが決定されてもよい。またビットレート決定部１０６により決定されるビットレートに応じて当該サイズが決定されてもよい。例えば生成制御部１１０が、決定されるビットレートに相当するサイズのデータを単位時間あたりに生成するよう映像データ生成部８０を制御してもよい。また生成制御部１１０は、当該サイズを示す生成制御情報をエンタテインメント装置１４に送信してもよい。

また生成制御部１１０は、ビットレート決定部１０６により決定されるビットレートに応じて、映像データ生成部８０が生成する映像のデータの解像度や圧縮率などといった品質を制御してもよい。

一往復の通信においてＨＭＤ１２から中継装置１６に送信されるセンシングデータのサイズが小さくなるとセンシングデータの精度が悪くなる。そのためセンシングデータのサイズを小さくすることは望ましくない。一方で、表示される映像のデータの品質が下がってもそれほど大きな問題とはならない。そこで中継装置１６がＨＭＤ１２に送信可能なビットレートが下がった場合に、生成される映像の圧縮率や解像度などいった品質を下げることによってレイテンシの発生を防ぐようにすれば、センシングデータの精度が確保できることとなる。

映像データ受信部１２０は、本実施形態では例えば、中継装置１６から送信される映像データを受信する。

映像データ出力部１２２は、本実施形態では例えば、映像データ受信部１２０が受信する映像データをデコード部１２４に出力する。

ここで映像データ出力部１２２は、中継装置１６が送信した映像データの一部の受信に失敗した場合に、当該一部についてはＮＵＬＬ ＴＳなどの所定のデータで補完された映像データをデコード部１２４に出力してもよい。

本実施形態におけるデータの欠落は分割パケット７４の単位で発生する。ここで例えば図４及び図５に示すＰａｙｌｏａｄ（１）を含む分割パケット７４の受信をＨＭＤ１２が失敗したとする。この場合、映像データ出力部１２２は、ＴＳ（４）〜ＴＳ（７）に相当する部分をＮＵＬＬ ＴＳなどの所定のデータで補完する映像データをデコード部１２４に出力する。

デコード部１２４は、本実施形態では例えば、映像データ出力部１２２から受け付ける映像データをデコードする。ここでは例えば映像データ出力部１２２から受け付ける映像データに基づいて、ＰＥＳが生成される。

ここでデコード部１２４によるデコードにおいてＰＥＳが生成される際に、当該ＰＥＳに含まれるべきＴＳにＮＵＬＬ ＴＳなどの所定のデータで補完されたＴＳが含まれている場合は、デコードは失敗する。この場合はＰＥＳが生成されない。例えば上述のように、ＴＳ（４）及びＴＳ（５）に相当する部分がＮＵＬＬ ＴＳなどの所定のデータで補完されていたとする。この場合、デコード部１２４は、ＴＳ（４）及びＴＳ（５）を一部として含むＰＥＳ（０）の生成に失敗する。また例えば、ＴＳ（６）及びＴＳ（７）に相当する部分がＮＵＬＬ ＴＳなどの所定のデータで補完されていたとする。この場合、デコード部１２４は、ＴＳ（６）及びＴＳ（７）を一部として含むＰＥＳ（１）の生成に失敗する。

表示制御部１２６は、本実施形態では例えば、映像データ受信部１２０が受信する映像データが表す映像を表示させる。ここで例えば、表示制御部１２６は、デコード部１２４がデコードした映像データが表す映像を表示させてもよい。ここでデコード部１２４がデコードに失敗したＰＥＳに対応付けられる画面の一部については更新されずに直前のフレームと同じ画像（フレーム画像の一部）が表示されるようにしてもよい。例えば上述のようにデコード部１２４がＰＥＳ（０）及びＰＥＳ（１）のデコードに失敗した場合は、ＰＥＳ（０）及びＰＥＳ（１）に対応付けられる画面の一部については更新されずに直前のフレームと同じ画像が表示されるようにしてもよい。

センシングデータ生成部１２８は、本実施形態では例えば、ＨＭＤ１２のセンサ部４０による検出結果を示すデータやカメラ部４４が撮影する画像などといったセンシングデータを生成する。またセンシングデータ生成部１２８が、上述の目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅの値が設定された目標時間情報を保持していてもよい。

センシングデータバッファ１３０は、本実施形態では例えば、センシングデータ生成部１２８が生成するセンシングデータを記憶する。

センシングデータ送信部１３２は、センシングデータバッファ１３０に記憶されているセンシングデータを中継装置１６に送信する。

上述したように本実施形態において例えば、中継装置１６の通信相手であるＨＭＤ１２が通信に成功したデータのサイズに基づいて単位時間あたりに生成されるデータのサイズが制御されるようにしてもよい。

ここで例えば、一往復の通信においてＨＭＤ１２が受信に成功したデータのサイズを示す値を、ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔと表現する。また一往復の通信において中継装置１６が受信に成功したデータのサイズを示す値を、ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰ＿Ａｃｔと表現する。ここで例えば、値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔが、１つの第１期間にＨＭＤ１２が受信に成功したデータのサイズを示していてもよい。また値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰ＿Ａｃｔが、当該第１期間に後続する１つの第２期間に中継装置１６が受信に成功したデータのサイズを示していてもよい。

ここで例えばＨＭＤ１２のセンシングデータ送信部１３２が、ＨＭＤ１２が受信に成功したデータのサイズを特定してもよい。そしてＨＭＤ１２のセンシングデータ送信部１３２が、特定されたサイズを示すサイズデータを中継装置１６に送信してもよい。そして中継装置１６の生成制御部１１０が、当該サイズデータが示すサイズに基づいて、映像データ生成部８０が単位時間あたりに生成するデータのサイズを制御してもよい。

具体的には例えば、ＨＭＤ１２のセンシングデータ送信部１３２が、値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔをパケットヘッダ７２に含むトランザクションデータ７０を中継装置１６に送信してもよい。そして中継装置１６の生成制御部１１０が、当該パケットヘッダ７２に含まれる値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔに基づいて、映像データ生成部８０が単位時間あたりに生成するデータのサイズを制御してもよい。

ここでセンシングデータ送信部１３２が、中継装置１６が送信したデータの一部の受信にＨＭＤ１２が失敗した場合でも値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔをパケットヘッダ７２に含むトランザクションデータ７０を中継装置１６に送信してもよい。

また例えばＨＭＤ１２が、一度の通信においてそれぞれシーケンス番号が付与された複数の分割パケット７４を含むトランザクションデータ７０における、最後のシーケンス番号が設定されたフラグメント情報７６を含む分割パケット７４の受信に成功したとする。この場合にセンシングデータ送信部１３２が、値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔをパケットヘッダ７２に含むトランザクションデータ７０を中継装置１６に送信するようにしてもよい。

また中継装置１６のビットレート決定部１０６が、時間Ｔ＿ＲＴ、値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔ、及び、目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅに基づいて、中継装置１６がＨＭＤ１２に送信可能なビットレートを決定してもよい。

また例えば中継装置１６のデータサイズ決定部１０８が時間Ｔ＿ＲＴ、値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔ、及び、目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅに基づいて、映像データ生成部８０が単位時間あたりに生成するデータのサイズを決定してもよい。

また上述したように本実施形態において例えば、単位時間あたりに生成されるデータのサイズに対応する値が変化する大きさが、通信経路探索処理が発生しているか否かの推定の結果に応じたものとなるようにしてもよい。

例えばビットレート決定部１０６が、時間Ｔ＿ＲＴ、及び、目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅに基づいて決定される、映像データ生成部８０が単位時間あたりに生成するデータのサイズに対応する値を、値が変化する大きさが、通信経路探索処理が発生しているか否かの推定の結果に応じたものとなるよう変更してもよい。

ここで例えば、値が変化する大きさが直近複数回の一往復の通信における探索発生推定部１０４が決定する評価値の合計に応じたものとなるよう、決定される値が変更されてもよい。

ここで例えば、映像データ生成部８０が単位時間あたりに生成するデータのサイズが増える際には、通信経路探索処理が発生していると推定される場合の方が発生していないと推定される場合よりも小さな変化となるよう、決定される値が変更されてもよい。

また例えば、映像データ生成部８０が単位時間あたりに生成するデータのサイズが減る際には、通信経路探索処理が発生していると推定される場合の方が発生していないと推定される場合よりも大きな変化となるよう、決定される値が変更されてもよい。

以上のようにすることで、通信経路探索処理の発生に伴い通信環境が不安定になってもデータの欠落を抑えることができる。

また例えば、生成制御部１１０が、一往復の通信にかかった時間Ｔ＿ＲＴが所与の下限時間よりも短い場合は、当該一往復の通信の開始から当該下限時間が経過するまで映像データ生成部８０が生成するデータの送信を行わないよう制御してもよい。ここで例えば生成制御部１１０が、映像データ生成部８０が生成するデータの送信を行わないよう中継装置１６の映像データ送信部９６を制御してもよい。

ここで上述の下限時間は、目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅよりも短い時間であってもよい。

このようにすれば、空のデータを送信することによる消費電力の無駄を抑制できることとなる。

なお、上述の映像データは、図４に示すトランザクションデータ７０の形式で、エンタテインメント装置１４から中継装置１６に、また、中継装置１６からＨＭＤ１２に送信されてもよい。この場合、映像データに相当するトランザクションデータ７０は映像データ生成部８０において生成されることとなる。また生成制御部１１０は、映像データ生成部８０が単位時間あたりに生成するトランザクションデータ７０のサイズを制御することとなる。

また上述のセンシングデータは、図４に示すトランザクションデータ７０の形式で、ＨＭＤ１２から中継装置１６に、また、中継装置１６からエンタテインメント装置１４に送信されてもよい。この場合、センシングデータに相当するトランザクションデータ７０はセンシングデータ生成部１２８において生成されることとなる。

以下、本実施形態に係る中継装置１６及びＨＭＤ１２で行われる、エンタテインメント装置１４において単位時間あたりに生成される映像データのサイズの制御処理の流れの一例を、図８に例示するフロー図を参照しながら説明する。図８に示す処理例では以下に示すＳ１０１〜Ｓ１１６に示す処理のループが繰り返し実行される。また中継装置１６とＨＭＤ１２との間で一往復の通信が行われることに応じて、Ｓ１０１〜Ｓ１１６に示す処理が一度実行される。

まず、中継装置１６の映像データ送信部９６が、データサイズ決定部１０８が保持している情報に設定されている値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ、及び、ビットレート決定部１０６が保持する値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰを特定する（Ｓ１０１）。

そして中継装置１６の映像データ送信部９６が、Ｓ１０１に示す処理で特定された値が示すサイズのトランザクションデータ７０を映像データバッファ９４から取得してＨＭＤ１２に送信する。するとＨＭＤ１２の映像データ受信部１２０が、当該トランザクションデータ７０を受信する（Ｓ１０２）。当該トランザクションデータ７０は、映像データに相当するものである。ここで例えば、映像データ送信部９６は、Ｓ１０１に示す処理で特定された値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰをパケットヘッダ７２に設定した上で当該パケットヘッダ７２を含む、映像データに相当するトランザクションデータ７０を送信する。

そしてＨＭＤ１２の映像データ出力部１２２が、Ｓ１０２に示す処理で受信したトランザクションデータ７０をデコード部１２４に出力する（Ｓ１０３）。ここでは例えば、映像データ出力部１２２は、受信に失敗したＴＳについてはＮＵＬＬ ＴＳなどの所定のデータで補完した上で、トランザクションデータ７０をデコード部１２４に出力する。

そしてＨＭＤ１２のデコード部１２４が、Ｓ１０３に示す処理で受け付けたトランザクションデータ７０をデコードしてＰＥＳを生成する（Ｓ１０４）。ここでは例えば、ＮＵＬＬ ＴＳなどの所定のデータで補完されたＴＳを含むＰＥＳについては生成されない。

そしてＨＭＤ１２の表示制御部１２６が、Ｓ１０４に示す処理で生成されたＰＥＳに応じた映像をＨＭＤ１２の表示部３８に表示させる（Ｓ１０５）。ここで生成されなかったＰＥＳに相当する画面の一部については表示されている画像が更新されない。

そしてＨＭＤ１２のセンシングデータ生成部１２８は、上述のセンシングデータに相当するトランザクションデータ７０を生成して、当該トランザクションデータ７０をセンシングデータバッファ１３０に記憶させる（Ｓ１０６）。ここで例えば、Ｓ１０２に示す処理で受信したトランザクションデータ７０のパケットヘッダ７２に設定された、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰに相当するサイズのトランザクションデータ７０が単位時間あたり（例えば１秒あたり）に生成される。

そしてＨＭＤ１２のセンシングデータ送信部１３２は、Ｓ１０６に示す処理でセンシングデータバッファ１３０に記憶されたトランザクションデータ７０を中継装置１６に送信する。そして中継装置１６のセンシングデータ受信部９８が、当該トランザクションデータ７０を受信する（Ｓ１０７）。

ここでＳ１０２に示す処理で受信したトランザクションデータ７０のパケットヘッダ７２に設定された、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰに基づいて、値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰが算出されてもよい。例えば値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰに目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅを乗じ、８で割った値が、値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰとして算出されてもよい。そして算出された値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰに相当するサイズのトランザクションデータ７０がセンシングデータバッファ１３０から取得されて、取得されたトランザクションデータ７０が送信されてもよい。なおここでは、値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰの単位はバイトであり、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰの単位はビットであることとする。そのためビットをバイトに変換するため８で割る処理が実行されている。

またここで例えば、センシングデータ送信部１３２は、ＨＭＤ１２が受信に成功したトランザクションデータ７０のサイズを示す値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔをパケットヘッダ７２に設定した上で当該パケットヘッダ７２を含む、センシングデータに相当するトランザクションデータ７０を中継装置１６に送信する。

また中継装置１６のセンシングデータ受信部９８は、センシングデータの一部の受信に失敗した場合に、当該一部についてはＮＵＬＬ ＴＳなどの所定のデータを補完してもよい。

そして中継装置１６の所要時間特定部１０２は、時間Ｔ＿ＲＴ、時間Ｔ＿ｐｈ、及び、時間Ｔ＿ｈｐを特定する（Ｓ１０８）。

そして中継装置１６のビットレート決定部１０６が、Ｓ１０７に示す処理で受信したトランザクションデータ７０のパケットヘッダ７２に設定された値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔを特定する（Ｓ１０９）。

そして中継装置１６のビットレート決定部１０６が、Ｓ１０９に示す処理で特定された値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔに８を乗じ、Ｓ１０８に示す処理で特定された時間Ｔ＿ｐｈで割ることで、単位時間あたりのデータ送信量（スループット）の値Ｔｐ＿ｐｈを算出する（Ｓ１１０）。なおここでは、値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ＿Ａｃｔの単位はバイトであり、値Ｔｐ＿ｐｈの単位はビットであることとする。そのためＳ１１０に示す処理では、バイトをビットに変換するため８を乗じる処理が実行されている。

そしてビットレート決定部１０６が、中継装置１６からＨＭＤ１２へのデータ送信に割当可能な時間ｎｅｗ＿ｔｉｍｅ＿ｐｈを算出する（Ｓ１１１）。ここでは例えば、目標時間情報記憶部９０が記憶する目標時間情報の値ＴａｒｇｅｔＴｒａｎｆｅｒＴｉｍｅからＳ１０８に示す処理で特定された時間Ｔ＿ｈｐを減じ、さらにジッタを吸収するための定数を減じた値が時間ｎｅｗ＿ｔｉｍｅ＿ｐｈとして算出される。当該定数は、例えば、値ＴａｒｇｅｔＴｒａｎｆｅｒＴｉｍｅの５〜１０％に相当する定数であってもよい。

そしてビットレート決定部１０６が、中継装置１６からＨＭＤ１２へのデータ送信に相当する部分スループットの値ｎｅｗ＿ｔｐ＿ｐｈを特定する（Ｓ１１２）。ここでは例えば、Ｓ１１１に示す処理で算出された時間ｎｅｗ＿ｔｉｍｅ＿ｐｈにＳ１１０に示す処理で算出された値Ｔｐ＿ｐｈを乗じ、値ＴａｒｇｅｔＴｒａｎｆｅｒＴｉｍｅで割った値が、値ｎｅｗ＿ｔｐ＿ｐｈとして特定される。

そしてビットレート決定部１０６が、Ｓ１１２に示す処理で特定された値ｎｅｗ＿ｔｐ＿ｐｈに基づいて、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨ及び値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰを決定する（Ｓ１１３）。

ここで例えば値ｎｅｗ＿ｔｐ＿ｐｈが、通信環境の悪化傾向の判断に用いられる閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄ以上であるとする。この場合は、特定された値ｎｅｗ＿ｔｐ＿ｐｈを保持している値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭｉｎから値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭａｘまでの範囲に収まるようクリッピング処理を実行した結果の値が、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨとして決定される。またこの場合は、値Ｔｐ＿ＨｔｏＰ＿ＲｅｑＭａｘが、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰとして決定される。

ここで例えば閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄは、値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭｉｎ以上、値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭａｘ以下の範囲で決定されてもよい。より具体的には例えば、閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄは、値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭｉｎと値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭａｘとの和を２で割った値であってもよい。

一方、値ｎｅｗ＿ｔｐ＿ｐｈが、閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄより小さいとする。この場合は、閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄから値ｎｅｗ＿ｔｐ＿ｐｈを減じた値が、値ｄｅｌｔａ＿ｔｐ＿ｐｈとして算出される。そして値Ｔｐ＿ＨｔｏＰ＿ＲｅｑＭａｘから値ｄｅｌｔａ＿ｔｐ＿ｐｈを減じた値が、値ｎｅｗ＿ｔｐ＿ｈｐとして算出される。ここで、算出された値ｎｅｗ＿ｔｐ＿ｈｐが値Ｔｐ＿ＨｔｏＰ＿ＲｅｑＭｉｎよりも小さい場合は、値ｎｅｗ＿ｔｐ＿ｈｐは値Ｔｐ＿ＨｔｏＰ＿ＲｅｑＭｉｎに変更される。

そして値ｎｅｗ＿ｔｐ＿ｐｈを、保持している値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭｉｎから値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭａｘまでの範囲に収まるようクリッピング処理を実行した結果の値が、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨとして決定される。また、値ｎｅｗ＿ｔｐ＿ｈｐが、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰとして決定される。

このようにして一往復の通信において中継装置１６がＨＭＤ１２に送信可能なビットレートに相当する値ｎｅｗ＿ｔｐ＿ｐｈが閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄを下回った場合には、ＨＭＤ１２が後の一往復の通信において単位時間あたりに送信するデータのサイズが減ることとなる。なおこの場合にＨＭＤ１２において通信環境が悪化したことを示すメッセージが出力されるようにしてもよい。

この場合、後の一往復の通信において、センシングデータ生成部１２８によって生成されてセンシングデータバッファ１３０に記憶されるセンシングデータの一部は、センシングデータ送信部１３２によって送信されず、欠落する。

このようにすれば、最低限の品質の映像データについては中継装置１６からＨＭＤ１２に送信されることとなる。

なおこの場合において、センシングデータ生成部１２８が、単位時間あたりに生成するデータのサイズを減らすようにしてもよい。

また閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄは、中継装置１６とＨＭＤ１２との間の距離又は中継装置１６に対するＨＭＤ１２の向きに応じた値であってもよい。ここでビットレート決定部１０６は、例えば、センシングデータ受信部８６が受信するセンシングデータの値に基づいて、中継装置１６とＨＭＤ１２との間の距離、又は、中継装置１６に対するＨＭＤ１２の向きを特定してもよい。そしてビットレート決定部１０６は、特定された距離又は向きに基づいて、閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄを決定してもよい。

ここで例えば値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭａｘと値Ｔｐ＿ＰｔｏＨ＿ＲｅｑＭｉｎとの和を２で割った値が、閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄの基準値とされてもよい。そして例えば、中継装置１６とＨＭＤ１２との間の距離が長くなればなるほど、基準値よりも値が大きくなるよう、閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄが決定されてもよい。また例えば、ＨＭＤ１２を装着したユーザから中継装置１６に向かう向きとＨＭＤ１２を装着したユーザの後頭部から前頭部に向かう向きとの角度が大きくなればなるほど、基準値よりも値が大きくなるよう、閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄが決定されてもよい。

そしてビットレート決定部１０６は、Ｓ１１３に示す処理で決定された値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨに対してフィルタリング処理を実行することで、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨを変更（補正）する（Ｓ１１４）。ここでは例えば、時間Ｔ＿ＲＴ、及び、目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅに基づいて決定された値を、通信経路探索処理が発生しているか否かの推定の結果に基づいて補正してもよい。

またここで例えばローパスフィルタによるフィルタリング処理が実行されてもよい。

なおＳ１１４に示す処理において、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰに対してフィルタリング処理が実行されることで、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰが補正されてもよい。

ここで本処理例では、ビットレート決定部１０６が保持している値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨや値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰが、Ｓ１１４に示す処理で算出された補正後の値に更新される。

なおＳ１１４に示すフィルタリング処理については後述する。

そしてデータサイズ決定部１０８が、値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ及び値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰを算出する。そしてデータサイズ決定部１０８は、保持している値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨ及び値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨを、算出された値に更新する（Ｓ１１５）。ここでは例えば、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨに目標時間情報記憶部９０が記憶する目標時間情報が示す値ＴａｒｇｅｔＴｒａｎｆｅｒＴｉｍｅを乗じ、８で割ることで、値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨが算出されてもよい。ここで値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨは、Ｓ１１４に示す処理で補正された後の値であってもよい。また例えば、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰに目標時間情報記憶部９０が記憶する目標時間情報が示す値ＴａｒｇｅｔＴｒａｎｆｅｒＴｉｍｅを乗じ、８で割ることで、値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰが算出されてもよい。ここで値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰは、Ｓ１１４に示す処理で補正された後の値であってもよい。なおここでは、ビットをバイトに変換するため８で割る処理が実行されている。

そして生成制御部１１０が、Ｓ１１４に示す処理で補正された値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨを示す生成制御情報をエンタテインメント装置１４に送信して（Ｓ１１６）、Ｓ１０１に示す処理に戻る。この場合、生成制御受信部８４が当該生成制御情報を受け付け、映像データ生成部８０は、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨに相当するサイズのトランザクションデータ７０を単位時間あたり（例えば１秒あたり）に生成することとなる。

そして上述のように本処理例では、上述のＳ１０１〜Ｓ１１６に示す処理が繰り返し実行されることとなる。

本処理例では、一往復の通信において中継装置１６がＨＭＤ１２に送信可能なビットレートに相当する値ｎｅｗ＿ｔｐ＿ｐｈが閾値Ｔｐ＿ＰｔｏＨ＿ＬｏｗＴｈｒｅｓｈｏｌｄを下回った場合、Ｓ１１３に示す処理で決定される値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰが減ることとなる。そしてこの場合、次回のループにおけるＳ１０２に示す処理で、映像データ送信部９６が、後の一往復の通信において単位時間あたりに送信するデータのサイズを減らす指示をＨＭＤ１２に送信することとなる。このように本処理例ではＨＭＤ１２が中継装置１６に送信するデータのビットレートを中継装置１６において制御できる。

なお本処理例において上述のＳ１１４に示すフィルタリング処理が実行されなくても構わない。この場合は、Ｓ１１３に示す処理で決定された値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨに基づいて、値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨが算出されることとなる。またＳ１１３に示す処理で決定された値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰに基づいて、値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰが算出されることとなる。

ここで上述のように、映像データ生成部８０は、Ｓ１１６に示す処理で送信される生成制御情報が示す値の変化に応じて、生成する映像の解像度や圧縮率などといった品質を変化させてもよい。例えば生成制御情報が示す値が小さくなった際に、映像データ生成部８０が生成する映像の品質が下がるようにしてもよい。

本実施形態において、目標時間ＴａｒｇｅｔＴｒａｎｓｅｒＴｉｍｅの値としては例えば１．５ミリ秒、あるいは、２ミリ秒が想定される。そして例えば映像データバッファ９４には、１ミリ秒毎に１２５キロバイトのトランザクションデータ７０が書き込まれる。以下、映像データバッファ９４に一度に書き込まれるトランザクションデータ７０（ここでは１２５キロバイトのトランザクションデータ７０）を１ブロックと呼ぶこととする。そして映像データ送信部９６は、目標時間ＴａｒｇｅｔＴｒａｎｓｅｒＴｉｍｅが１．５ミリ秒である場合は、１．５ミリ秒毎に４ブロック（ここでは例えば５００キロバイト）のトランザクションデータ７０の送信が行われることが望ましい。またセンシングデータ送信部１３２は、１．５ミリ秒毎に１メガバイトのトランザクションデータ７０の送信を行うことが望ましい。

また本実施形態において、映像データ送信部９６は、所定サイズの１ブロック単位で映像データを送信してもよい。例えば特定された値ＴｒａｎｓＳｉｚｅ＿ＰｔｏＨが２５０キロバイトである際には、映像データ送信部９６は、一往復の通信において２ブロック（ここでは例えば２５０キロバイト）の映像データを送信してもよい。またこの場合、映像データバッファ９４に書き込まれたブロックのうち最新のものから順に２つのブロックを取得して、これら２つのブロックを送信してもよい。

なお、上述の処理例において例えば、ビットレート決定部１０６が、中継装置１６が受信に成功したトランザクションデータ７０のサイズを示す値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰ＿Ａｃｔを特定してもよい。そしてビットレート決定部１０６が、値ＴｒａｎｓＳｉｚｅ＿ＨｔｏＰ＿Ａｃｔに８を乗じ、Ｓ１０８に示す処理で特定された時間Ｔ＿ｈｐで割ることで、単位時間あたりのデータ送信量（スループット）の値Ｔｐ＿ｈｐを算出してもよい。

そしてビットレート決定部１０６が、ＨＭＤ１２から中継装置１６へのデータ送信に割当可能な時間ｎｅｗ＿ｔｉｍｅ＿ｈｐを算出してもよい。ここでは例えば、目標時間情報記憶部９０が記憶する目標時間情報の値ＴａｒｇｅｔＴｒａｎｆｅｒＴｉｍｅから時間Ｔ＿ｐｈを減じ、さらにジッタを吸収するための定数を減じた値が時間ｎｅｗ＿ｔｉｍｅ＿ｈｐとして算出されてもよい。

そしてビットレート決定部１０６が、ＨＭＤ１２から中継装置１６へのデータ送信に相当する部分スループットの値ｎｅｗ＿ｔｐ＿ｈｐを特定してもよい。ここでは例えば、算出された時間ｎｅｗ＿ｔｉｍｅ＿ｈｐに値Ｔｐ＿ｈｐを乗じ、値ＴａｒｇｅｔＴｒａｎｆｅｒＴｉｍｅで割った値が、値ｎｅｗ＿ｔｐ＿ｈｐとして特定されてもよい。そして上述のようにして、値ｎｅｗ＿ｔｐ＿ｈｐに基づいて、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＨｔｏＰが算出されてもよい。

次に、本実施形態に係る中継装置１６で行われる、上述のＳ１１４に示すフィルタリング処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。

以下の処理例に示す処理では、通信経路探索処理が発生しているか否かについての評価値の累積値を示す変数Ｉｎｔｅｇｒａｔｏｒの値に基づいて、通信経路探索処理が発生しているか否かが推定される。そして当該推定の結果に応じたフィルタ定数のローパスフィルタによるフィルタリング処理が実行される。なお変数Ｉｎｔｅｇｒａｔｏｒの初期値は０であることとする。また探索発生推定部１０４が、上述の所与の値ＴＨＲ＿ＩＮＴを保持していることとする。なお値ＴＨＲ＿ＩＮＴは、目標時間ＴａｒｇｅｔＴｒａｎｓｆｅｒＴｉｍｅを示す値より大きいこととする。

また探索発生推定部１０４は、Ｌｏｗモードでのフィルタリング処理を実行する基準となる所与の値ＴＨＲ＿ＬＯＷ、及び、Ｈｉｇｈモードでのフィルタリング処理を実行する基準となる所与の値ＴＨＲ＿ＨＩＧＨも保持していることとする。またビットレート決定部１０６は、変数Ｉｎｔｅｇｒａｔｏｒを０にリセットすることを決定するための変数Ｃｌｅａｒ＿Ｃｏｕｎｔｅｒの初期値ＤＥＴ＿ＣＮＴも保持していることとする。

まず、探索発生推定部１０４は、Ｓ１０８に示す処理で特定された時間Ｔ＿ＲＴを示す値と値ＴＨＲ＿ＩＮＴとを比較する（Ｓ２０１）。

ここで時間Ｔ＿ＲＴを示す値が、値ＴＨＲ＿ＩＮＴより大きいことが確認された場合は、探索発生推定部１０４は、時間Ｔ＿ＲＴを示す値から所与の値ＴＨＲ＿ＩＮＴを引いた値を変数Ｉｎｔｅｇｒａｔｏｒの値に加算する（Ｓ２０２）。そして探索発生推定部１０４は、変数Ｃｌｅａｒ＿Ｃｏｕｎｔｅｒの値として、値ＤＥＴ＿ＣＮＴを設定する（Ｓ２０３）。

Ｓ２０１に示す処理で時間Ｔ＿ＲＴを示す値が、値ＴＨＲ＿ＩＮＴより小さいことが確認された場合は、探索発生推定部１０４は、変数Ｃｌｅａｒ＿Ｃｏｕｎｔｅｒの値を１減らす（Ｓ２０４）。なおここで変数Ｃｌｅａｒ＿Ｃｏｕｎｔｅｒの値が０である場合は、探索発生推定部１０４は、変数Ｃｌｅａｒ＿Ｃｏｕｎｔｅｒの値を更新しない。そしてビットレート決定部１０６は、変数Ｃｌｅａｒ＿Ｃｏｕｎｔｅｒの値が０であるか否かを確認する（Ｓ２０５）。

ここで０でないことが確認された場合は（Ｓ２０５：Ｎ）、Ｓ２０７に示す処理に進む。０であることが確認された場合は（Ｓ２０５：Ｙ）、探索発生推定部１０４は、変数Ｉｎｔｅｇｒａｔｏｒの値を０に設定して（Ｓ２０６）、Ｓ２０７に示す処理に進む。すなわち値ＤＥＴ＿ＣＮＴに相当する回数だけ連続して時間Ｔ＿ＲＴを示す値が、値ＴＨＲ＿ＩＮＴより小さい場合は、変数Ｉｎｔｅｇｒａｔｏｒの値は０にリセットされる。

Ｓ２０１〜Ｓ２０６に示す処理が終了された後に、探索発生推定部１０４は、変数Ｉｎｔｅｇｒａｔｏｒの値を確認する（Ｓ２０７）。なお本処理例ではＳ２０１に示す処理で時間Ｔ＿ＲＴを示す値が、値ＴＨＲ＿ＩＮＴと同じであることが確認された場合もＳ２０７に示す処理が実行される。

変数Ｉｎｔｅｇｒａｔｏｒの値が値ＴＨＲ＿ＨＩＧＨ以上である場合は、ビットレート決定部１０６は、Ｈｉｇｈモードでのフィルタリング処理を実行して（Ｓ２０８）、Ｓ１１４に示す処理は終了される。

変数Ｉｎｔｅｇｒａｔｏｒの値が値ＴＨＲ＿ＬＯＷ以上値ＴＨＲ＿ＨＩＧＨ未満である場合は、ビットレート決定部１０６は、Ｌｏｗモードでのフィルタリング処理を実行して（Ｓ２０９）、Ｓ１１４に示す処理は終了される。

変数Ｉｎｔｅｇｒａｔｏｒの値が値ＴＨＲ＿ＬＯＷ未満である場合は、ビットレート決定部１０６は、Ｎｏｒｍａｌモードでのフィルタリング処理を実行して（Ｓ２１０）、Ｓ１１４に示す処理は終了される。

ここで例えばＨｉｇｈモードの方がＬｏｗモードよりも、またＬｏｗモードの方がＮｏｒｍａｌモードよりも、ビットレート決定部１０６が保持している値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨとの差が小さくなるよう、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨが変更されてもよい。例えばＨｉｇｈモードの方がＬｏｗモードよりも、またＬｏｗモードの方がＮｏｒｍａｌモードよりも時定数が大きくなるようフィルタ定数が決定されてもよい。

また例えば、ビットレート決定部１０６が保持している値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨに、当該値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨと今回のループにおいてＳ１１３に示す処理で決定された値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨとの差に０より大きく１より小さな係数を加えた値となるよう、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨが変更されてもよい。

また値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨを減少させる変更の場合は、ＨｉｇｈモードやＬｏｗモードにおいてはＮｏｒｍａｌモードよりも、保持されている値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨとの差が大きくなるよう、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨが変更されてもよい。例えば値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨを減少させる変更の場合は、ＨｉｇｈモードやＬｏｗモードにおいてはＮｏｒｍａｌモードよりも時定数が小さくなるようフィルタ定数が決定されてもよい。また例えば、ＨｉｇｈモードやＬｏｗモードにおける上述の係数がＮｏｒｍａｌモードにおける上述の係数よりも大きくてもよい。この場合、ＨｉｇｈモードやＬｏｗモードにおいてはＮｏｒｍａｌモードよりも大きな変化となるよう、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨが変更されることとなる。なお値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨを減少させる変更の場合は、ＨｉｇｈモードやＬｏｗモードにおいてはフィルタリング処理が実行されなくてもよい。

なお、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨを減少させる変更の場合は、ＨｉｇｈモードにおいてはＬｏｗモードよりも、保持されている値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨとの差が大きくなるよう、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨが変更されてもよい。

また値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨを増加させる変更の場合は、ＨｉｇｈモードやＬｏｗモードにおいてはＮｏｒｍａｌモードよりも、保持されている値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨとの差が小さくなるよう、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨが変更されてもよい。例えば値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨを増加させる変更の場合は、ＨｉｇｈモードやＬｏｗモードにおいてはＮｏｒｍａｌモードよりも時定数が大きくなるようフィルタ定数が決定されてもよい。また例えば、ＨｉｇｈモードやＬｏｗモードにおける上述の係数がＮｏｒｍａｌモードにおける上述の係数よりも小さくてもよい。この場合は、ＨｉｇｈモードやＬｏｗモードにおいてはＮｏｒｍａｌモードよりも小さな変化となるよう、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨが変更されることとなる。

なお、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨを増加させる変更の場合は、ＨｉｇｈモードにおいてはＬｏｗモードよりも、保持されている値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨとの差が小さくなるよう、値ＰａｙｌｏａｄＢｉｔｒａｔｅ＿ＰｔｏＨが変更されてもよい。

またフィルタ定数は、映像データ生成部８０の応答性に基づいて決定されてもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えば以上の説明における図７においてエンタテインメント装置１４の機能として示されている示す機能の一部又は全部が、ＨＭＤ１２や中継装置１６において実装されても構わない。

図１０は、本発明の別の一実施形態に係るＨＭＤ１２、エンタテインメント装置１４、及び、中継装置１６で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメントシステム１０で、図１０に示す機能のすべてが実装される必要はなく、また、図１０に示す機能以外の機能が実装されていても構わない。

図１０に示すように、本実施形態に係るエンタテインメント装置１４は、機能的には例えば、非圧縮映像データ生成部１４０、映像データ送信部８２、センシングデータ受信部８６、を含んでいる。非圧縮映像データ生成部１４０は、プロセッサ５０を主として実装される。映像データ送信部８２、センシングデータ受信部８６は、入出力部５６を主として実装される。

以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ５０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給されてもよい。

また図１０に示すように、本実施形態に係る中継装置１６は、機能的には例えば、目標時間情報記憶部９０、映像データ受信部９２、映像データ圧縮部１５０、映像データバッファ９４、映像データ送信部９６、センシングデータ受信部９８、センシングデータ送信部１００、所要時間特定部１０２、探索発生推定部１０４、ビットレート決定部１０６、データサイズ決定部１０８、生成制御部１１０、を含んでいる。目標時間情報記憶部９０、映像データバッファ９４は、記憶部６２を主として実装される。映像データ受信部９２、センシングデータ送信部１００は、入出力部６６を主として実装される。映像データ送信部９６、センシングデータ受信部９８は、通信部６４を主として実装される。所要時間特定部１０２、探索発生推定部１０４、ビットレート決定部１０６、データサイズ決定部１０８、映像データ圧縮部１５０は、プロセッサ６０を主として実装される。生成制御部１１０は、プロセッサ６０及び入出力部６６を主として実装される。

以上の機能は、コンピュータである中継装置１６にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ６０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して中継装置１６に供給されてもよい。

また図１０に示すように、本実施形態に係るＨＭＤ１２は、機能的には例えば、映像データ受信部１２０、映像データ出力部１２２、デコード部１２４、表示制御部１２６、センシングデータ生成部１２８、センシングデータバッファ１３０、センシングデータ送信部１３２、を含んでいる。映像データ受信部１２０、センシングデータ送信部１３２は、通信部３４を主として実装される。映像データ出力部１２２、デコード部１２４は、プロセッサ３０を主として実装される。表示制御部１２６は、プロセッサ３０、表示部３８を主として実装される。センシングデータ生成部１２８は、プロセッサ３０、センサ部４０、カメラ部４４を主として実装される。センシングデータバッファ１３０は、記憶部３２を主として実装される。

以上の機能は、コンピュータであるＨＭＤ１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１２に供給されてもよい。

非圧縮映像データ生成部１４０は、本実施形態では例えば、ＨＭＤ１２の表示部３８に表示される映像を表す非圧縮の映像データ（圧縮されていない映像データ）を生成する。

映像データ送信部８２は、本実施形態では例えば、非圧縮映像データ生成部１４０が生成する非圧縮の映像データを中継装置１６に送信する。

映像データ受信部９２は、本実施形態では例えば、エンタテインメント装置１４から送信される非圧縮の映像データを受信する。

映像データ圧縮部１５０は、本実施形態では例えば、映像データ受信部９２が受信した非圧縮の映像データを圧縮することによって、圧縮済の映像データを生成する。また映像データ圧縮部１５０は、映像データ受信部９２が受信した非圧縮の映像データを圧縮した上で、圧縮済の映像データに相当するトランザクションデータ７０を生成してもよい。

映像データバッファ９４は、本実施形態では例えば、映像データ圧縮部１５０が生成する圧縮済の映像データを記憶する。

映像データ送信部９６は、本実施形態では例えば、映像データ圧縮部１５０が生成する圧縮済の映像データをＨＭＤ１２に送信する。例えば映像データ送信部９６は、映像データバッファ９４に記憶されている映像データをＨＭＤ１２に送信する。

生成制御部１１０は、本実施形態では例えば、上述のようにしてビットレート決定部１０６により決定されるビットレートに相当するサイズのデータ（例えばトランザクションデータ７０）を単位時間あたりに生成するよう映像データ圧縮部１５０を制御する。ここで例えば、生成制御部１１０は、決定されるビットレートに相当するサイズのデータを単位時間あたりに生成するよう映像データ圧縮部１５０による映像の圧縮における圧縮率を制御してもよい。

以上で説明した内容以外は、図７を参照して説明した内容と同様であるので、その説明を省略する。

図１０の例では、生成制御部１１０は、決定されるビットレートに相当するサイズのデータを単位時間あたりに生成するよう中継装置１６を制御することとなる。またこの場合、生成制御部１１０は、生成制御情報をエンタテインメント装置１４に送信しない。

また図７において中継装置１６の機能として示されている示す機能の一部又は全部が、ＨＭＤ１２やエンタテインメント装置１４において実装されても構わない。

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (10)

1. 通信相手装置との間で半二重無線通信を行う通信装置であって、
   データ生成部が生成するデータを前記通信相手装置に送信する送信部と、
   前記通信相手装置が受信に成功した前記データのサイズを示すサイズデータを含む、前記通信相手装置から送信されるデータを受信する受信部と、
   前記通信相手装置との間での半二重無線通信による一往復の通信にかかった時間を特定する時間特定部と、
   特定される前記時間、前記サイズデータが示すサイズ、及び、一往復の通信についての所与の目標時間に基づいて、前記データ生成部が単位時間あたりに生成するデータのサイズを制御する生成制御部と、
   を含むことを特徴とする通信装置。
2. 前記時間特定部は、第１期間における前記通信相手装置へのデータの送信の開始から当該第１期間に後続する第２期間における前記通信相手装置が送信するデータの受信の終了までに相当する一往復の通信にかかった時間を特定し、
   前記受信部は、前記第１期間に前記通信相手装置が受信に成功したデータのサイズを示す前記サイズデータを受信する、
   ことを特徴とする請求項１に記載の通信装置。
3. 前記受信部は、前記通信相手装置から送信されるセンシングデータを受信し、
   前記データ生成部は、映像のデータを生成し、
   前記生成制御部は、前記映像のデータの品質を制御する、
   ことを特徴とする請求項１又は２に記載の通信装置。
4. 通信相手装置との間で半二重無線通信を行う通信装置であって、
   前記通信相手装置からデータを受信する受信部と、
   受信に成功したデータのサイズを示すサイズデータをヘッダに含むセンシングデータを前記通信相手装置に送信する送信部と、を含み、
   前記送信部は、前記通信相手装置が送信したデータの一部の受信に失敗した場合でも前記センシングデータを送信する、
   ことを特徴とする通信装置。
5. 前記受信部は、エンコード済の映像のデータを前記通信相手装置から受信し、
   前記映像のデータをデコード部に出力する出力部、をさらに含み、
   前記出力部は、受信に失敗した前記映像のデータの一部については所定のデータで補完された前記映像のデータを前記デコード部に出力する、
   ことを特徴とする請求項４に記載の通信装置。
6. 前記受信部は、一度の通信においてそれぞれシーケンス番号が付与された複数のパケットを受信し、
   前記送信部は、前記複数のパケットのうちシーケンス番号が最後であるものの受信に成功した際には、当該複数のパケットの受信に応じて前記複数の前記パケットのうちの少なくとも１つの受信に失敗した場合でも前記サイズデータを送信する、
   ことを特徴とする請求項４又は５に記載の通信装置。
7. データ生成部が生成するデータを通信相手装置に送信するステップと、
   前記通信相手装置が受信に成功した前記データのサイズを示すサイズデータを含む、前記通信相手装置から送信されるデータを受信するステップと、
   前記通信相手装置との間での半二重無線通信による一往復の通信にかかった時間を特定するステップと、
   特定される前記時間、前記サイズデータが示すサイズ、及び、一往復の通信についての所与の目標時間に基づいて、前記データ生成部が単位時間あたりに生成するデータのサイズを制御するステップと、
   を含むことを特徴とする生成データサイズ制御方法。
8. 通信相手装置からデータを受信するステップと、
   受信に成功したデータのサイズを示すサイズデータをヘッダに含むセンシングデータを前記通信相手装置に送信するステップと、を含み、
   前記送信するステップでは、前記通信相手装置が送信したデータの一部の受信に失敗した場合でも前記センシングデータを送信する、
   ことを特徴とする通信方法。
9. データ生成部が生成するデータを通信相手装置に送信する手順、
   前記通信相手装置が受信に成功した前記データのサイズを示すサイズデータを含む、前記通信相手装置から送信されるデータを受信する手順、
   前記通信相手装置との間での半二重無線通信による一往復の通信にかかった時間を特定する手順、
   特定される前記時間、前記サイズデータが示すサイズ、及び、一往復の通信についての所与の目標時間に基づいて、前記データ生成部が単位時間あたりに生成するデータのサイズを制御する手順、
   をコンピュータに実行させることを特徴とするプログラム。
10. 通信相手装置からデータを受信する手順、
    受信に成功したデータのサイズを示すサイズデータをヘッダに含むセンシングデータを前記通信相手装置に送信する手順、を含み、
    前記送信する手順では、前記通信相手装置が送信したデータの一部の受信に失敗した場合でも前記センシングデータを送信する、
    ことを特徴とするプログラム。

Images