JP2013229858A - 携帯端末、情報再生システムおよび情報再生方法 - Google Patents

Abstract

【課題】複数の装置がコンテンツを同期再生する。
【解決手段】第１携帯端末１と１以上の再生装置とが同期してコンテンツを再生する情報再生システム１０であって、第１携帯端末１は、コンテンツを取得するデータ取得管理部１７１と、コンテンツに含まれる複数のメディア要素の各々を、第１携帯端末１及び再生装置のいずれの装置で再生するか決定する再生パターン決定部１７２と、第１携帯端末１と再生装置との間のデータ転送時間をそれぞれ測定する測定部１６と、複数のメディア要素をコンテンツから抽出するメディア要素抽出部１７３と、複数のメディア要素の各々を、再生パターン決定部１７２によって決定された装置に、データ転送時間に基づいて再生させる同期再生制御部１７４とを備え、再生装置は、同期再生制御部１７４によって送信されたメディア要素を再生する。
【選択図】図１

Description

本発明は、携帯端末、情報再生システムおよび情報再生方法に関する。

従来、映像、音声およびテキストデータなどの複数のメディア要素を含むＡＶコンテンツを視聴可能な携帯端末がある。このようなデジタル放送およびビデオストリーミングなどのコンテンツは、膨大なデータ量を有するので、携帯端末は高速無線通信装置、高性能出力装置および演算装置により処理を行っている。しかしながら、コンテンツに含まれるメディア要素が多いので、単一の携帯端末では各要素の表示領域および大きさなどを調整する必要があり、コンテンツを十分に再生できない。これに対し、特許文献１および特許文献２には、複数の携帯端末を用いてコンテンツを再生する構成が開示されている。

特開２０００−１２２９５７号公報 特開２００３−５９４７号公報

しかしながら、特許文献１および特許文献２に記載された構成では、ストリーミングデータなどのコンテンツに含まれるメディア要素を分割して再生する場合、各再生装置の処理能力の差および携帯端末と各再生装置との間のデータ転送遅延によって、複数の再生装置の再生タイミングがずれることがある。

そこで本発明は、このような問題点を解決するために、他の再生装置と同期してストリーミングデータなどのコンテンツを再生可能な携帯端末、情報再生システムおよび情報再生方法を提供することを目的とする。

上記課題を解決するため、本発明の情報再生システムは、第１携帯端末と１以上の再生装置とが同期してコンテンツを再生する情報再生システムである。第１携帯端末は、コンテンツを取得する第１データ取得手段と、第１データ取得手段によって取得されたコンテンツに含まれる複数のメディア要素の各々を、第１携帯端末及び１以上の再生装置のいずれの装置で再生するか決定する再生パターン決定手段と、第１携帯端末と１以上の再生装置との間のデータ転送時間をそれぞれ測定する測定手段と、複数のメディア要素をコンテンツから抽出するメディア要素抽出手段と、メディア要素抽出手段によって抽出された複数のメディア要素の各々を、再生パターン決定手段によって決定された装置に、測定手段によって測定されたデータ転送時間に基づいて再生させる第１同期再生制御手段と、を備える。再生装置は、第１同期再生制御手段によって送信されたメディア要素を再生する。

また、本発明の情報再生方法は、第１携帯端末と１以上の再生装置とが同期してコンテンツを再生する情報再生システムにおける情報再生方法である。この情報再生方法は、第１携帯端末において、コンテンツを取得する第１データ取得ステップと、第１データ取得ステップにおいて取得されたコンテンツに含まれる複数のメディア要素の各々を、第１携帯端末及び１以上の再生装置のいずれの装置で再生するか決定する再生パターン決定ステップと、複数のメディア要素をコンテンツから抽出するメディア要素抽出ステップと、第１携帯端末と１以上の再生装置との間のデータ転送時間をそれぞれ測定する測定ステップと、メディア要素抽出ステップにおいて抽出された複数のメディア要素の各々を、再生パターン決定ステップにおいて決定された装置に、測定ステップにおいて測定されたデータ転送時間に基づいて再生させる第１同期再生ステップと、を備える。また、情報再生方法は、再生装置において、第１同期再生ステップにおいて送信されたメディア要素を再生する再生ステップを備える。

また、本発明の携帯端末は、１以上の再生装置と同期してコンテンツを再生する携帯端末である。この携帯端末は、コンテンツを取得するデータ取得手段と、データ取得手段によって取得されたコンテンツに含まれる複数のメディア要素の各々を、携帯端末及び１以上の再生装置のいずれの装置で再生するか決定する再生パターン決定手段と、複数のメディア要素をコンテンツから抽出するメディア要素抽出手段と、携帯端末と１以上の再生装置との間のデータ転送時間をそれぞれ測定する測定手段と、メディア要素抽出手段によって抽出された複数のメディア要素の各々を、再生パターン決定手段によって決定された装置に、測定手段によって測定されたデータ転送時間に基づいて再生させる同期再生制御手段と、を備える。

本発明によれば、コンテンツに含まれる複数のメディア要素の各々を、携帯端末及び１以上の再生装置のいずれの装置で再生するかが決定されることにより、１つのコンテンツをメディア要素毎に分割して複数の装置において再生することができる。そして、第１携帯端末と１以上の再生装置との間のデータ転送時間に基づいて、メディア要素の各々を決定された装置において再生させることにより、第１携帯端末から各再生装置へのデータ転送により生じる遅延時間を考慮して、各装置における再生開始タイミングのずれを低減することができる。このため、複数の装置にメディア要素毎に分割された１つのコンテンツを同期して再生することが可能となる。

再生装置は、１以上の第２携帯端末を含んでもよい。この場合、再生パターン決定手段は、第１データ取得手段によって取得されたコンテンツに含まれる複数のメディア要素のうち、第１携帯端末において再生する第１メディア要素と、第２携帯端末に再生させる第２メディア要素とを決定し、第１同期再生制御手段は、メディア要素抽出手段によって抽出された複数のメディア要素のうち第２メディア要素を第２携帯端末に送信するとともに、測定手段によって測定されたデータ転送時間に基づいて決定された再生開始タイミングを第２携帯端末に通知して、再生開始タイミングに第１メディア要素を再生してもよい。また、第２携帯端末は、第１同期再生制御手段によって送信された第２メディア要素を取得する第２データ取得手段と、第１同期再生制御手段によって通知された再生開始タイミングに、第２データ取得手段によって取得された第２メディア要素を再生する第２同期再生制御手段と、を備えてもよい。

この構成によれば、コンテンツに含まれる複数のメディア要素のうち、第１携帯端末において再生する第１メディア要素と、第２携帯端末において再生する第２メディア要素とが決定されることにより、１つのコンテンツをメディア要素毎に分割して第１携帯端末と第２携帯端末とにおいて再生することができる。そして、第１携帯端末と第２携帯端末とのデータ転送時間に基づいて決定された再生開始タイミングに、第１携帯端末および第２携帯端末でそれぞれ第１メディア要素および第２メディア要素が再生されることにより、第１携帯端末から第２携帯端末へのデータ転送により生じる遅延時間を考慮して再生を同時に開始することができる。このため、第１携帯端末と第２携帯端末とにメディア要素毎に分割された１つのコンテンツを同期して再生することが可能となる。

再生パターン決定手段は、第１携帯端末および第２携帯端末の処理能力に基づいて、第１メディア要素および第２メディア要素を決定してもよい。この構成によれば、コンテンツに含まれる複数のメディア要素のうち、第１携帯端末において処理可能なメディア要素を第１メディア要素とし、第２携帯端末において処理可能なメディア要素を第２メディア要素とすることができる。このため、第１携帯端末および第２携帯端末におけるメディア要素の再生を確実に行うことが可能となる。

第２同期再生制御手段は、コンテンツの再生時間を区分した再生インターバルごとに、第２携帯端末における再生インターバルの再生終了時刻を第１携帯端末に通知し、第１同期再生制御手段は、第２同期再生制御手段によって通知された第２携帯端末における再生インターバルの再生終了時刻と、第１携帯端末における再生インターバルの再生終了時刻との差分に基づいて、第２携帯端末に再生レートを指示し、第２同期再生制御手段は、第１同期再生制御手段によって指示された再生レートで、第２メディア要素を再生してもよい。

第１携帯端末および第２携帯端末において実行される処理は、時間に応じて変化する。このため、再生インターバルにおける第１メディア要素の再生に第１携帯端末が実際に要した時間と、再生インターバルにおける第２メディア要素の再生に第２携帯端末が実際に要した時間との差分に基づいて、第２携帯端末の再生レートを決定することにより、第１携帯端末の再生インターバルの再生終了時刻と第２携帯端末の再生インターバルの再生終了時刻との差を抑えるようにすることができる。このため、第１携帯端末および第２携帯端末の処理負荷が変化することにより、第１携帯端末および第２携帯端末ごとに再生インターバルの再生時間が変化したとしても、再生レートを変更することによって、同期ずれを低減することができる。その結果、第１携帯端末と第２携帯端末とが同期してコンテンツを再生することが可能となる。

第１同期再生制御手段は、データ転送時間に基づいて決定された送信レートで、第２メディア要素を第２携帯端末に送信してもよい。この構成によれば、データ転送時間を考慮して、第２メディア要素を第２携帯端末に送信する送信レートを決定することにより、第２携帯端末において再生すべきデータが不足することを抑制できる。このため、第２携帯端末において、再生の遅延を抑制でき、第１携帯端末と第２携帯端末とが同期してコンテンツを再生することが可能となる。

測定手段は、コンテンツの再生時間を区分した再生インターバルごとにデータ転送時間を測定し、第１同期再生制御手段は、測定されたデータ転送時間に基づいて、送信レートを調整してもよい。第１携帯端末と第２携帯端末との間のトラフィックなど通信経路の状態によって、第１携帯端末と第２携帯端末との間のデータ転送時間は変化することがある。この構成によれば、再生インターバルごとに測定されたデータ転送時間に基づいて送信レートを調整することにより、データ転送時間の変化に応じた送信レートとすることができる。このため、第２携帯端末において、再生の遅延をさらに抑制できる。

第２携帯端末は、第１携帯端末がコンテンツを取得できない切断状態であるか否かを検出する切断検出手段と、切断検出手段によって第１携帯端末の切断状態が検出された場合に、第２携帯端末においてコンテンツを継続して再生するように制御する継続再生制御手段と、をさらに備えてもよい。この場合、第１同期再生制御手段は、コンテンツのアドレス情報を第２携帯端末に送信し、第２データ取得手段は、切断検出手段によって第１携帯端末の切断状態が検出された場合に、第１同期再生制御手段によって送信されたアドレス情報に基づいて、コンテンツの未再生部分を取得し、継続再生制御手段は、第２データ取得手段によって取得されたコンテンツの未再生部分を再生してもよい。この構成によれば、第１携帯端末がコンテンツを取得できない状態になったとしても、第２携帯端末がコンテンツの未再生部分を取得できる。このため、第２携帯端末においてコンテンツを継続して再生することが可能となる。すなわち、再生デバイスの変更およびネットワーク環境の変更に応じて動的に再生を継続することが可能となる。

また、第２データ取得手段は、切断検出手段によって第１携帯端末の切断状態が検出された場合に、第１携帯端末において再生されていない第１メディア要素を第１携帯端末から取得し、継続再生制御手段は、第２データ取得手段によって取得された第１メディア要素と第２携帯端末において再生されていない第２メディア要素とを用いてコンテンツを再構成するようにしてもよい。この構成によれば、第１携帯端末が切断状態になったとしても、送信済みでかつ未再生のコンテンツを第２携帯端末において再構成することができる。このため、第２携帯端末において、送信済みのコンテンツを継続して再生することが可能となる。すなわち、再生デバイスの変更およびネットワーク環境の変更に応じて動的に再生を継続することが可能となる。

再生開始タイミングは絶対時刻であってもよい。第１携帯端末と第２携帯端末との間のデータ転送時間は、第１携帯端末と第２携帯端末との間の通信経路のデータ量に応じて変化することがある。このような場合でも、再生開始タイミングを絶対時刻とすることによって、データ転送時間の変化の影響を受けることなく、第１携帯端末および第２携帯端末はそれぞれ第１メディア要素および第２メディア要素を同期して再生することができる。

再生開始タイミングは相対時刻であってもよい。この場合、第１携帯端末が保持している絶対時刻と第２携帯端末が保持している絶対時刻とにずれがある場合でも、第１携帯端末と第２携帯端末とが同期してコンテンツを再生することが可能となる。

コンテンツはストリーミングデータであってもよい。この場合、複数の装置にメディア要素毎に分割されたストリーミングデータを同期して再生することが可能となる。

本発明によれば、複数の装置が同期してストリーミングデータなどのコンテンツを再生できる。

本発明の第１実施形態に係る情報再生システムの機能構成を概略的に示す図である。 図１の第１携帯端末のハードウェア構成を示す図である。 ストリーミングデータ管理テーブルの一例を示す図である。 再生管理テーブルの一例を示す図である。 図１の情報再生システムにおけるストリーミングデータの再生状態を示す図である。 図１の情報再生システムの接続確立プロセスを示すシーケンス図である。 図１の情報再生システムの同期再生制御プロセスの一例を示すシーケンス図である。 図１の情報再生システムの継続再生制御プロセスの一例を示すシーケンス図である。 図１の情報再生システムの継続再生制御プロセスの一例を示すシーケンス図である。 図６および図７の第１携帯端末および第２端末装置の画面の遷移の一例を示す図である。 図６および図７の第１携帯端末および第２携帯端末の画面の遷移の一例を示す図である。 図８の第１携帯端末および第２携帯端末の画面の遷移の一例を示す図である。 図９の第１携帯端末および第２携帯端末の画面の遷移の一例を示す図である。 第２実施形態に係る情報再生システムの機能構成を概略的に示す図である。 図１４の第１携帯端末の画面の一例を示す図である。 図１４の情報再生システムの同期再生制御プロセスの一例を示すシーケンス図である。

以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は相当要素には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
図１は、第１実施形態に係る情報再生システムの機能構成を概略的に示す図である。図１に示されるように、情報再生システム１０は、第１携帯端末１（携帯端末）と、第２携帯端末２（他の携帯端末）と、ストリーミングサーバ３と、を含んで構成されており、第１携帯端末１と第２携帯端末２とがストリーミングデータなどの情報をマルチデバイス再生するシステムである。なお、マルチデバイス再生とは、１つのストリーミングデータなどのコンテンツを構成する複数のメディア要素を複数の端末に分配して、各端末において分配されたメディア要素を同期再生する再生方法である。

第１携帯端末１は、第２携帯端末２とともにマルチデバイス再生を行う装置であって、マルチデバイス再生処理を主導するメインデバイスである。この第１携帯端末１は、例えば、タブレット端末、ＰＤＡ（Personal Digital Assistants）、ノートＰＣ、スマートフォンおよび携帯電話などの装置である。また、第１携帯端末１は、ローカルネットワークＬＮを介して第２携帯端末２と通信可能に構成され、かつ、ネットワークＮＷに接続されている。第１携帯端末１は、例えば、無線ＬＡＮ（Local Area Network）、ブルートゥースなどの近距離無線通信または専用のケーブルなどによって第２携帯端末２と通信を行う。また、第１携帯端末１は、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）などの無線ＷＡＮ（Wide Area Network）によってネットワークＮＷと通信を行う。

図２は、第１携帯端末１のハードウェア構成を示す図である。図２に示されるように、第１携帯端末１は、物理的には、ＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３、ハードディスクなどの補助記憶装置１０４、ネットワークカードなどのデータ送受信デバイスである通信モジュール１０５、タッチパネル、マウスおよびキーボードなどの入力デバイスである入力装置１０６、液晶ディスプレイおよびスピーカなどの出力デバイスである出力装置１０７、時間を計測するタイマ１０８などのハードウェアにより構成されている。後述する第１端末装置１の各機能は、ＣＰＵ１０１、ＲＡＭ１０２などのハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで入力装置１０６、出力装置１０７およびタイマ１０８などを動作させるとともに、ＲＡＭ１０２や補助記憶装置１０４におけるデータの読み出しおよび書き込みを行うことで実現される。

第２携帯端末２は、第１携帯端末１とともにマルチデバイス再生を行う装置であって、第１携帯端末１からの指示に基づいてマルチデバイス再生処理を行うサブデバイスである。この第２携帯端末２は、例えば、スマートフォン、携帯電話、タブレット端末、ＰＤＡおよびノートＰＣなどの装置である。また、第２携帯端末２は、ローカルネットワークＬＮを介して第１携帯端末１と通信可能に構成され、かつ、ネットワークＮＷに接続されている。第２携帯端末２は、例えば、無線ＬＡＮ、ブルートゥースなどの近距離無線通信または専用のケーブルなどによって第１携帯端末１と通信を行う。また、第２携帯端末２は、３Ｇ、ＬＴＥなどの無線ＷＡＮによってネットワークＮＷと通信を行う。

第２携帯端末２は、第１携帯端末１と同様のハードウェア構成を有し、ＣＰＵ、ＲＡＭ、ＲＯＭ、通信モジュール、補助記憶装置、入力装置、出力装置およびタイマなどのハードウェアを備えている。後述する第２携帯端末２の各機能は、ＣＰＵ、ＲＡＭなどのハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵの制御のもとで入力装置、出力装置およびタイマなどを動作させるとともに、ＲＡＭや補助記憶装置におけるデータの読み出しおよび書き込みを行うことで実現される。

ストリーミングサーバ３は、第１携帯端末１または第２携帯端末２にストリーミングデータを配信する装置である。また、ストリーミングサーバ３は、ネットワークＮＷに接続されている。ストリーミングサーバ３は、例えばサーバ装置などの情報処理装置から構成され、ＣＰＵ、ＲＡＭ、ＲＯＭ、ネットワークＮＷ上の第１携帯端末１および第２携帯端末２との通信を行う通信モジュール、情報を記憶する記憶デバイスなどのハードウェアを備えている。これらの構成要素が動作することにより、後述するストリーミングサーバ３の各機能が発揮される。

ネットワークＮＷは、有線および無線のいずれで構成されてもよく、例えば、無線ＷＡＮ、有線ＷＡＮ、移動体通信網およびインターネットなどのネットワークである。第１携帯端末１と、第２携帯端末２と、ストリーミングサーバ３とは、ネットワークＮＷを介して相互に通信接続されている。

次に、情報再生システム１０の機能構成について説明する。図１に示されるように、ストリーミングサーバ３は、機能的には、通信部３１と、ストリーミングデータ記憶部３２と、ストリーミングデータ管理部３３と、再生管理部３４と、を備えている。

通信制御部３１は、ネットワークＮＷとのデータ送受信およびセッション管理を行う通信制御手段として機能する。この通信制御部３１は、第１携帯端末１または第２携帯端末２から接続要求を受信すると、接続の可否を示す接続応答を送信して、第１携帯端末１または第２携帯端末２との通信接続を確立する。また、通信制御部３１は、データ送信中に通信接続が切断されると、送信データをバッファ内に格納してデータ送信をサスペンド状態にする。

ストリーミングデータ記憶部３２は、第１携帯端末１および第２携帯端末２において再生される複数のストリーミングデータを格納しているストリーミングデータ記憶手段として機能する。このストリーミングデータ記憶部３２に格納されているストリーミングデータは、ストリーミングデータ管理部３３によって管理されている。

ストリーミングデータ管理部３３は、ストリーミングデータ記憶部３２に格納されているストリーミングデータのメタ情報を管理するストリーミングデータ管理手段として機能する。ストリーミングデータ管理部３３は、第１携帯端末１または第２携帯端末２からストリーミングデータ配信要求を受信すると、ストリーミングデータ配信要求を送信した第１携帯端末１または第２携帯端末２に、ストリーミングデータ配信要求に対応するストリーミングデータのメタ情報を含むストリーミングデータ配信応答を、通信制御部３１を介して送信する。

ストリーミングデータ管理部３３は、ストリーミングデータ管理テーブルを用いて、ストリーミングデータ記憶部３２に格納されているストリーミングデータのメタ情報を管理している。また、ストリーミングデータ管理部３３は、第１携帯端末１および第２携帯端末２とのネゴシエーションにおいて、ストリーミングデータ管理テーブルを参照する。

図３は、ストリーミングデータ管理テーブルの一例を示す図である。図３に示されるように、ストリーミングデータ管理テーブルは、ストリーミングデータＩＤと、ファイル名と、ＵＲＬ（Uniform Resource Locator）情報と、メディア構成情報と、コーデック情報と、データレート情報と、ＤＲＭ（Digital Rights Management）情報と、を対応付けて記憶している。ストリーミングデータＩＤは、ストリーミングデータ記憶部３２に格納されているストリーミングデータを識別するための識別情報である。ファイル名は、ストリーミングデータＩＤで示されるストリーミングデータのファイル名を示す情報である。ＵＲＬ情報は、ストリーミングデータＩＤで示されるストリーミングデータのネットワークＮＷ上の所在地を示すアドレス情報である。

メディア構成情報は、ストリーミングデータＩＤで示されるストリーミングデータを構成するメディア要素を示す情報である。このメディア要素には、例えば、ビデオデータ（映像）、オーディオデータ（音声）、テキストデータなどが含まれる。この例では、ビデオデータを「ｖ」、オーディオデータを「ａ」、テキストデータを「ｔ」と表している。コーデック情報は、ストリーミングデータＩＤで示されるストリーミングデータを構成する各メディア要素のコーデックを示す情報である。このコーデック情報には、ビデオデータのコーデックを示す情報（Ｈ．２６４、ＷＭＶなど）、オーディオデータのコーデックを示す情報（ＡＡＣ、ＡＡＣ＋、ＡＭＲなど）などが含まれている。

データレート情報は、ストリーミングデータＩＤで示されるストリーミングデータを構成する各メディア要素について、ストリーミングサーバ３が提供可能なデータレートを示す情報である。このデータレート情報には、ビデオデータのデータレートを示す情報、オーディオデータのデータレートを示す情報などが含まれている。ＤＲＭ情報は、ストリーミングデータＩＤで示されるストリーミングデータの著作権を管理するための情報である。このＤＲＭ情報には、例えば、ストリーミングデータの再生期限を示す情報、ストリーミングデータがマルチデバイス再生可能か否かを示すマルチデバイス情報などが含まれている。

このストリーミングデータ管理テーブルでは、例えば、ストリーミングデータＩＤが「１」のストリーミングデータは、ファイル名が「ａａａ．ｆｌｖ」で、ＵＲＬが「ａａａ／ｉｎｄｅｘ．ｈｔｍｌ／ａａａ．ｆｌｖ」で、ビデオデータとオーディオデータとテキストデータとから構成されていることが示されている。そして、このストリーミングデータのビデオデータのコーデックは「Ｈ．２６４」、オーディオデータのコーデックは「ＡＡＣ＋」、テキストデータのコーデックは「ｔｅｘｔ」であることが示されている。また、このビデオデータのデータレートは「７５６ｋｂｐｓ／３８４ｋｂｐｓ」、オーディオデータのデータレートは「１２８ｋｂｐｓ／６４ｋｂｐｓ」であることが示されている。また、このストリーミングデータの再生期限は、２０１２年１２月３１日で、マルチデバイス再生可能であることが示されている。

例えば、ストリーミングデータ管理部３３は、第１携帯端末１または第２携帯端末２から再生レートの通知を受けると、ストリーミングデータ管理テーブルからストリーミングサーバ３が提供可能なデータレートを取得する。そして、ストリーミングデータ管理部３３は、通知された再生レートに基づいて、ストリーミングサーバ３が提供可能なデータレートの中からデータ送信レートを決定する。そして、ストリーミングデータ管理部３３は、データ送信レートおよび送信データサイズを指定したデータ送信レート応答を第１携帯端末１または第２携帯端末２に送信する。

また、ストリーミングデータ管理部３３は、第１携帯端末１からストリーミングデータ送信要求を受信すると、ストリーミングデータ送信要求に対応するストリーミングデータをストリーミングデータ記憶部３２から取得する。そして、ストリーミングデータ管理部３３は、ストリーミングデータを再生順に所定のデータサイズの分割データに分割する。そして、ストリーミングデータ管理部３３は、分割データを再生順に第１携帯端末１に通信制御部３１を介して送信する。なお、最初の分割データは、ストリーミングデータ配信応答に含められてもよい。

また、ストリーミングデータ管理部３３は、サブデバイスである第２携帯端末２から、継続再生開始時間が指定されたストリーミングデータ送信要求を受信すると、その継続再生開始時間以降の分割データを再生順に、第２携帯端末２に通信制御部３１を介して送信する。また、ストリーミングデータ管理部３３は、継続再生開始時間が指定されていないストリーミングデータ送信要求を第２携帯端末２から受信すると、再生管理部３４から受信した送信済みタイムスタンプが示す時間以降の分割データを再生順に、第２携帯端末２に通信制御部３１を介して送信する。

再生管理部３４は、第１携帯端末１および第２携帯端末２を含む特定のクライアントでの再生状態を動的に管理する再生管理手段として機能する。再生管理部３４は、再生管理テーブルを用いて、ストリーミングデータの再生状態を管理している。

図４は、再生管理テーブルの一例を示す図である。図４に示されるように、再生管理テーブルは、ストリーミングデータＩＤと、ファイル名と、再生デバイスＩＤと、送信済みデータ量情報と、送信済みタイムスタンプと、データ送信レート情報と、を対応付けて管理している。ストリーミングデータＩＤは、再生中のストリーミングデータを識別するための識別情報である。ファイル名は、ストリーミングデータＩＤで示されるストリーミングデータのファイル名を示す情報である。

再生デバイスＩＤは、ストリーミングデータＩＤで示されるストリーミングデータの供給先のデバイスを識別するための識別情報である。すなわち、再生デバイスＩＤは、ストリーミングデータＩＤで示されるストリーミングデータを再生しているデバイスを識別するための識別情報である。この再生デバイスＩＤには、メインデバイスＩＤとサブデバイスＩＤとが含まれている。メインデバイスＩＤは、マルチデバイス再生を行っているメインデバイスを識別するための識別情報である。サブデバイスＩＤは、マルチデバイス再生を行っているサブデバイスを識別するための識別情報である。単一のデバイスで再生を行っている場合には、メインデバイスＩＤにそのデバイスを識別するための識別情報が登録され、サブデバイスＩＤには何も登録されない。デバイスを識別するための識別情報としては、例えばＵＭＴＳ（Universal Mobile Telecommunications System）方式におけるＩＭＳＩ（International Mobile Subscriber Identity；国際移動体加入者識別番号）などのデバイス契約者の識別情報などが用いられる。

送信済みデータ量情報は、ストリーミングデータＩＤで示されるストリーミングデータのうち、再生デバイスに送信したデータ量を示す情報である。送信済みタイムスタンプは、送信済みデータ量をストリーミングデータの再生開始時点からの経過時間として表した情報であって、再生開始時点をｈｈ：ｍｍ：ｓｓ表記で００：００：００とし、経過時間をカウントした情報である。データ送信レート情報は、ストリーミングデータＩＤで示されるストリーミングデータのストリーミングサーバ３からのデータ送信レートを示す情報である。再生管理部３４は、ストリーミングデータの送信状況に応じて、送信済みデータ量情報、送信済みタイムスタンプおよびデータ送信レート情報を動的に管理している。

この再生管理テーブルでは、例えば、ストリーミングデータＩＤが「１」のストリーミングデータは、ファイル名が「ａａａ．ｆｌｖ」で、メインデバイスＩＤが「３５＊＊＊＊＊＊＊＊＊＊＊＊」のデバイスと、サブデバイスＩＤが「３５＊＊＊＊＊＊＊＊＊＊＊＊」のデバイスとによってマルチデバイス再生されていることが示されている。また、このストリーミングデータの送信済みのデータ量は３００００ｋｂｙｔｅで、送信済みタイムスタンプは２７分２５秒、データ送信レートは２０４８ｋｂｐｓであることが示されている。

また、再生管理部３４は、サブデバイスである第２携帯端末２から、継続再生開始時間が指定されていないストリーミングデータ送信要求を受信すると、そのストリーミングデータ送信要求に対応するストリーミングデータの送信済みタイムスタンプをストリーミングデータ管理部３３に送信する。

第１携帯端末１は、機能的には、入力部１１と、出力部１２と、端末情報管理部１３と、通信制御部１４と、バッファ制御部１５と、測定部１６（測定手段）と、再生制御部１７と、を備えている。

入力部１１は、入力装置１０６を介してユーザの操作を受け付ける入力手段として機能する。入力部１１は、受け付けた操作に関する操作情報を再生制御部１７に送信する。出力部１２は、再生制御部１７によって抽出されたメディア要素を、出力装置１０７により再生する出力手段として機能する。

端末情報管理部１３は、第１携帯端末１の端末能力（静的情報）および処理負荷など（動的情報）を管理する端末情報管理手段として機能する。端末情報管理部１３は、例えば、第１携帯端末１がサポートする映像コーデックおよび音声コーデックなどのコーデック情報、映像再生可能レートおよび音声再生可能レートなどの再生可能レート情報、出力装置１０７の画面の解像度を示す解像度情報、第１携帯端末１がサポートするＷＡＮプロトコルなどの通信プロトコル情報を第１能力情報として管理している。また、端末情報管理部１３は、例えば、処理負荷を示す負荷情報、メモリの消費量を示すメモリ消費量情報、バッテリーの残量を示すバッテリー残量情報などを第１状態情報として管理している。

通信制御部１４は、データ送受信、セッション管理および通信ベアラ制御を行う通信制御手段として機能する。通信制御部１４は、外部ＮＷ通信部１４１と、ローカルＮＷ通信部１４２とを備えている。外部ＮＷ通信部１４１は、ネットワークＮＷとのデータ送受信およびセッション管理などを行う。外部ＮＷ通信部１４１は、例えば、ネットワークＮＷ上のストリーミングサーバ３に接続要求を送信し、ストリーミングサーバ３から接続応答を受信して、ストリーミングサーバ３との通信接続を確立する。

ローカルＮＷ通信部１４２は、ローカルネットワークＬＮとのデータ送受信およびセッション管理などを行う。ローカルＮＷ通信部１４２は、例えば、ストリーミングデータがマルチデバイス再生可能な場合に、ローカルネットワークＬＮ上の第２携帯端末２に接続要求を送信する。そして、ローカルＮＷ通信部１４２は、第２携帯端末２から接続応答を受信して、第２携帯端末２との通信接続を確立する。

また、ローカルＮＷ通信部１４２は、入力部１１から第１携帯端末１の電源をオフにする操作を示す操作情報、および、第１携帯端末１とストリーミングサーバ３との通信接続を切断する操作を示す操作情報を受信すると、第２携帯端末２に切断要求を送信する。また、ローカルＮＷ通信部１４２は、ストリーミングサーバ３との通信接続が切断されたことを検出すると、第２携帯端末２に切断要求を送信する。

バッファ制御部１５は、ネットワークＮＷとのデータの送受信に用いられる送受信バッファのバッファサイズおよびバッファ内のデータ量を制御する。また、バッファ制御部１５は、ローカルネットワークＬＮとのデータの送受信に用いられる送受信バッファのバッファサイズおよびバッファ内のデータ量を制御する。また、バッファ制御部１５は、予め定められたバッファリングデータ量に基づいて、メディア要素抽出部１７３から受信した第１メディア要素および第２メディア要素をバッファに格納する。また、バッファ制御部１５は、第２携帯端末２から第１メディア要素転送要求を受信すると、バッファ内に格納している第１メディア要素をローカルＮＷ通信部１４２を介して第２携帯端末２に送信する。

測定部１６は、第１携帯端末１と第２携帯端末２との間のデータ転送時間を測定する測定手段として機能する。測定部１６は、例えば、第２携帯端末２にデータを送信してから、第２携帯端末２からその応答を受信するまでの時間であるＲＴＴ（round trip time；ラウンドトリップタイム）を測定する。測定部１６は、ストリーミングデータの再生時間を所定の時間間隔で区分した再生インターバル（以下、単に「インターバル」という。）ごとにＲＴＴを測定する。そして、測定部１６は、測定を行うごとに再生制御部１７にＲＴＴを示すＲＴＴ情報を送信する。

再生制御部１７は、第１携帯端末１におけるストリーミングデータの再生を制御する再生制御手段として機能する。再生制御部１７は、データ取得管理部１７１（第１データ取得手段）と、再生パターン決定部１７２（再生パターン決定手段）と、メディア要素抽出部１７３（メディア要素抽出手段）と、同期再生制御部１７４（第１同期再生制御手段）と、を備えている。

データ取得管理部１７１は、ストリーミングデータを取得する第１データ取得手段として機能する。データ取得管理部１７１は、例えば、ストリーミングデータを取得するための操作を示す操作情報を入力部１１から受信する。そして、データ取得管理部１７１は、ストリーミングサーバ３に外部ＮＷ通信部１４１を介してストリーミングデータ配信要求を送信する。そして、データ取得管理部１７１は、ストリーミングデータ配信要求に対応するストリーミングデータのメタ情報を含むストリーミングデータ配信応答を、ストリーミングサーバ３から外部ＮＷ通信部１４１を介して受信する。

また、データ取得管理部１７１は、ストリーミングサーバ３に外部ＮＷ通信部１４１を介してストリーミングデータ送信要求を送信する。そして、データ取得管理部１７１は、ストリーミングデータ送信要求に対応するストリーミングデータの分割データを、ストリーミングサーバ３から外部ＮＷ通信部１４１を介して受信する。データ取得管理部１７１は、受信した分割データをバッファ制御部１５に送信してバッファに格納させる。

再生パターン決定部１７２は、第１携帯端末１および第２携帯端末２の処理能力に基づいて、データ取得管理部１７１によって取得されたストリーミングデータに含まれる複数のメディア要素のうち、第１携帯端末１において再生する第１メディア要素と、第２携帯端末２に再生させる第２メディア要素とを決定する再生パターン決定手段として機能する。具体的に説明すると、再生パターン決定部１７２は、例えば、第２携帯端末２の処理能力を示す第２能力情報を取得するために、能力通知要求をローカルＮＷ通信部１４２を介して第２携帯端末２に送信する。そして、再生パターン決定部１７２は、第２携帯端末２からローカルＮＷ通信部１４２を介して第２能力情報を受信する。また、再生パターン決定部１７２は、端末情報管理部１３から第１能力情報を取得する。

また、再生パターン決定部１７２は、ストリーミングデータのメタ情報、第１能力情報および第２能力情報に基づいて、第１メディア要素と第２メディア要素とを決定する。例えば、マルチデバイス情報がマルチデバイス再生できないことを示す場合、再生パターン決定部１７２は、ストリーミングデータを構成するメディア要素のすべてを第１メディア要素とする。マルチデバイス情報がマルチデバイス再生可能を示す場合、再生パターン決定部１７２は、ストリーミングデータを構成するメディア要素のコーデックに第１携帯端末１および第２携帯端末２が対応しているか否かを判定する。そして、第２携帯端末２が、そのメディア要素のコーデックに対応している場合、そのメディア要素を第２メディア要素とし、対応していない場合、そのメディア要素を第１メディア要素とする。

また、ストリーミングデータを構成するメディア要素のコーデックに第１携帯端末１および第２携帯端末２が対応している場合、再生パターン決定部１７２は、メディア要素の数あるいは処理負荷が均等になるように、第１メディア要素および第２メディア要素のいずれかに含めてもよい。また、再生パターン決定部１７２は、第１メディア要素および第２メディア要素の複数の候補を出力部１２によって出力装置１０７に表示し、ユーザによっていずれかの候補が選択されることによって、第１メディア要素および第２メディア要素を決定してもよい。

メディア要素抽出部１７３は、再生パターン決定部１７２によって決定された第１メディア要素と第２メディア要素とを、ストリーミングデータから抽出するメディア要素抽出手段として機能する。メディア要素抽出部１７３は、バッファ内の分割データから第１メディア要素と第２メディア要素とを抽出する。そして、メディア要素抽出部１７３は、抽出した第１メディア要素および第２メディア要素をバッファ制御部１５に送信し、バッファに格納させる。

同期再生制御部１７４は、メディア要素抽出部１７３によって抽出された第２メディア要素を第２携帯端末２に送信するとともに、測定部１６によって測定されたデータ転送時間に基づいて決定された再生開始時刻を第２携帯端末２に通知して、再生開始時刻に出力装置１０７を用いて第１メディア要素を再生する第１同期再生制御手段として機能する。具体的に説明すると、同期再生制御部１７４は、測定部１６によって測定されたＲＴＴに基づいて再生開始時刻を決定する。すなわち、第１携帯端末１が再生開始要求を第２携帯端末２に送信してから、第２携帯端末２からの再生開始応答が第１携帯端末１に到達するまでに、ＲＴＴと同等のデータ転送遅延が生じる。このため、同期再生制御部１７４は、現在の時刻からデータ転送遅延を加えた時刻以降を再生開始時刻として決定する。

また、同期再生制御部１７４は、第１能力情報および第２能力情報に基づいて、第１携帯端末１の再生レートと第２携帯端末２の再生レートとを算出する。すなわち、同期再生制御部１７４は、第１携帯端末１と第２携帯端末２とでストリーミングデータを同期して再生できるように、各端末の処理能力に応じた再生レートを算出する。

また、同期再生制御部１７４は、測定部１６によって測定されたＲＴＴに基づいて、第２携帯端末２へのデータ送信レートおよび第２携帯端末２に予め送信しておくバッファリングデータ量を調整する。すなわち、同期再生制御部１７４は、データ転送遅延によって第２携帯端末２において再生すべきデータが不足しないように、第２携帯端末２へのデータ送信レート、送信データ量およびバッファリングデータ量を決定する。

また、同期再生制御部１７４は、再生開始時刻、再生レート、データ送信レートおよび送信データ量を指定した再生開始要求をローカルＮＷ通信部１４２を介して第２携帯端末２に送信する。また、同期再生制御部１７４は、第２携帯端末２からローカルＮＷ通信部１４２を介して再生開始応答を受信する。そして、同期再生制御部１７４は、受信した再生開始応答が再生可能であることを示す場合、バッファに格納されている第１メディア要素をバッファ制御部１５によって出力部１２に送信させ、再生開始要求において指定した再生開始時刻に出力装置１０７で再生させる。

また、同期再生制御部１７４は、受信した再生開始応答が再生可能であることを示す場合、決定したデータ送信レートおよび送信データ量で、バッファに格納されている第２メディア要素を第２携帯端末２に送信する。また、同期再生制御部１７４は、決定したバッファリングデータ量分の第２メディア要素を、再生開始要求を送信するまでにローカルＮＷ通信部１４２を介して第２携帯端末２に送信する。このとき、同期再生制御部１７４は、ストリーミングデータのＵＲＬ情報を付加して第２メディア要素を第２携帯端末２に送信する。また、同期再生制御部１７４は、同期再生開始後においては、決定したデータ送信レートおよび送信データ量に基づいて、第２メディア要素を第２携帯端末２に送信する。

なお、上記説明において説明を省略しているが、メディア要素抽出部１７３によって抽出された第２メディア要素はバッファに格納されているので、同期再生制御部１７４は、バッファに格納された第２メディア要素をバッファ制御部１５によって取得させ、この第２メディア要素をローカルＮＷ通信部１４２を介して第２携帯端末２に送信している。

また、同期再生制御部１７４は、第１携帯端末１において、ストリーミングデータの各インターバルの再生が終了するごとに、そのインターバルの再生が終了した時刻であるインターバル再生終了時刻を算出する。また、同期再生制御部１７４は、第２携帯端末２からローカルＮＷ通信部１４２を介して、第２携帯端末２において、ストリーミングデータの各インターバルの再生が終了した時刻であるインターバル再生終了時刻を示す情報を受信する。そして、同期再生制御部１７４は、第１携帯端末１の第ｎ（ｎは１以上の整数）インターバル再生終了時刻と第２携帯端末２の第ｎインターバル再生終了時刻とを比較し、その差分を算出する。そして、同期再生制御部１７４は、同期ずれを解消するために、算出した差分が小さくなるように、第２携帯端末２の第（ｎ＋２）インターバルでの再生レートを算出する。

例えば、第１携帯端末１の第ｎインターバル再生終了時刻が第２携帯端末２の第ｎインターバル再生終了時刻よりも遅い場合、第１携帯端末１の再生レートを小さくする。また、第１携帯端末１の第ｎインターバル再生終了時刻が第２携帯端末２の第ｎインターバル再生終了時刻よりも早い場合、第２携帯端末２の再生レートを小さくする。そして、同期再生制御部１７４は、第２携帯端末２に第（ｎ＋２）インターバルでの再生レートを指示する。

また、同期再生制御部１７４は、ストリーミングデータの再生中において、測定部１６によって測定されたＲＴＴに基づいて、第２携帯端末２へのデータ送信レートおよび送信データ量を調整してもよい。

第２携帯端末２は、機能的には、入力部２１と、出力部２２と、端末情報管理部２３と、通信制御部２４と、バッファ制御部２５と、再生制御部２７と、切断検出部２８と、を備えている。

入力部２１は、入力装置を介してユーザの操作を受け付ける入力手段として機能する。入力部２１は、受け付けた操作に関する操作情報を再生制御部２７に送信する。出力部２２は、第２メディア要素またはストリーミングデータを、出力装置１０７により再生する出力手段として機能する。

端末情報管理部２３は、第２携帯端末２の端末能力（静的情報）および処理負荷など（動的情報）を管理する端末情報管理手段として機能する。端末情報管理部２３は、例えば、第２携帯端末２がサポートする映像コーデックおよび音声コーデックなどのコーデック情報、映像再生可能レートおよび音声再生可能レートなどの再生可能レート情報、出力装置の画面の解像度を示す解像度情報、第２携帯端末２がサポートするＷＡＮプロトコルなどの通信プロトコル情報を第２能力情報として管理している。

また、端末情報管理部２３は、例えば、処理負荷を示す負荷情報、メモリの消費量を示すメモリ消費量情報、バッテリーの残量を示すバッテリー残量情報などを第２状態情報として管理している。端末情報管理部２３は、第１携帯端末１からローカルＮＷ通信部２４２を介して能力通知要求を受信すると、第２携帯端末２の端末能力を含む能力情報をローカルＮＷ通信部２４２を介して第１携帯端末１に送信する。

通信制御部２４は、データ送受信、セッション管理および通信ベアラ制御を行う通信制御手段として機能する。通信制御部２４は、外部ＮＷ通信部２４１と、ローカルＮＷ通信部２４２と、を備えている。外部ＮＷ通信部２４１は、ネットワークＮＷとのデータ送受信およびセッション管理などを行う。外部ＮＷ通信部２４１は、例えば、ネットワークＮＷ上のストリーミングサーバ３に接続要求を送信し、ストリーミングサーバ３から接続応答を受信して、ストリーミングサーバ３との通信接続を確立する。ローカルＮＷ通信部２４２は、ローカルネットワークＬＮとのデータ送受信およびセッション管理などを行う。ローカルＮＷ通信部２４２は、第１携帯端末１から接続要求を受信すると、接続の可否を示す接続応答を送信する。

バッファ制御部２５は、ネットワークＮＷとのデータの送受信に用いられる送受信バッファのバッファサイズおよびバッファ内のデータ量を制御する。また、バッファ制御部２５は、ローカルネットワークＬＮを介した第１携帯端末１とのデータの送受信に用いられる送受信バッファのバッファサイズおよびバッファ内のデータ量を制御する。また、バッファ制御部２５は、データ取得管理部２７１によって取得された第２メディア要素およびストリーミングデータをバッファに格納する。また、バッファ制御部２５は、継続再生制御部２７５からバッファ済みデータの破棄の指示を受けて、バッファ内のデータを破棄する。

再生制御部２７は、第２携帯端末２におけるストリーミングデータの再生を制御する再生制御手段として機能する。再生制御部２７は、データ取得管理部２７１（第２データ取得手段）と、同期再生制御部２７４（第２同期再生制御手段）と、継続再生制御部２７５（継続再生制御手段）と、を備えている。

データ取得管理部２７１は、第２携帯端末２において再生するストリーミングデータを取得する第２データ取得手段として機能する。このデータ取得管理部２７１は、第１携帯端末１からローカルＮＷ通信部２４２を介して第２メディア要素およびストリーミングデータのＵＲＬ情報を受信する。そして、データ取得管理部２７１は、受信した第２メディア要素をバッファ制御部２５に送信してバッファに格納させる。

また、データ取得管理部２７１は、後述の切断検出部２８によって第１携帯端末１の切断状態が検出された場合に、第１携帯端末１から受信したＵＲＬ情報に基づいてストリーミングデータの未再生部分を取得する。具体的には、データ取得管理部２７１は、切断検出部２８によって第１携帯端末１とストリーミングサーバ３との通信が切断されたと判定されると、第１携帯端末１から受信したＵＲＬ情報に基づいて、ストリーミングサーバ３に外部ＮＷ通信部２４１を介してストリーミングデータ配信要求を送信する。そして、データ取得管理部２７１は、ストリーミングデータ配信要求に対応するストリーミングデータのメタ情報を含むストリーミングデータ配信応答を、ストリーミングサーバ３から外部ＮＷ通信部２４１を介して受信する。

また、データ取得管理部２７１は、後述の継続再生制御部２７５によって決定された再生レートをストリーミングサーバ３に通知する。そして、データ取得管理部２７１は、データ送信レートおよび送信データサイズが指定されたデータ送信レート応答をストリーミングサーバ３から受信する。そして、データ取得管理部２７１は、ストリーミングサーバ３に外部ＮＷ通信部１４１を介してストリーミングデータ送信要求を送信する。そして、データ取得管理部２７１は、ストリーミングデータ送信要求に対応するストリーミングデータの分割データを、ストリーミングサーバ３から外部ＮＷ通信部２４１を介して受信する。そして、データ取得管理部２７１は、受信した分割データをバッファ制御部２５に送信してバッファに格納させる。

なお、データ取得管理部２７１は、継続再生開始時間を指定してストリーミングデータ送信要求をストリーミングサーバ３に送信してもよい。この場合、データ取得管理部２７１は、継続再生制御部２７５から通知されたタイムスタンプが示す時間を継続再生開始時間とし、この継続再生開始時間を指定してストリーミングデータ送信要求を送信する。

また、データ取得管理部２７１は、切断検出部２８によって第１携帯端末１の切断状態が検出された場合に、第１携帯端末１において再生されていない第１メディア要素を第１携帯端末１から取得してもよい。この場合、データ取得管理部２７１は、切断検出部２８によって第１携帯端末１とストリーミングサーバ３との通信が切断されたと判定されると、バッファリング済みの第１メディア要素を取得するために、第１携帯端末１に第１メディア要素転送要求を送信する。そして、データ取得管理部２７１は、第１携帯端末１からバッファリング済みの第１メディア要素を受信すると、受信した第１メディア要素をバッファ制御部２５に送信してバッファに格納させる。

同期再生制御部２７４は、同期再生制御部１７４によって通知された再生開始時刻に基づいて、データ取得管理部２７１によって受信された第２メディア要素を再生する第２同期再生制御手段として機能する。この同期再生制御部２７４は、再生開始時刻、再生レート、データ送信レートおよび送信データ量が指定された再生開始要求を同期再生制御部１７４からローカルＮＷ通信部２４２を介して受信すると、再生開始の可否情報を含む再生開始応答を送信する。

また、同期再生制御部２７４は、バッファに格納された第２メディア要素を、バッファ制御部２５によって出力部２２に送信させる。そして、同期再生制御部２７４は、再生開始要求において指定された再生開始時刻に第２メディア要素を出力装置で再生させる。このとき、同期再生制御部２７４は、再生開始要求において指定された再生レートで、第２メディア要素を再生させる。

また、同期再生制御部２７４は、第２携帯端末２において、ストリーミングデータの各インターバルの再生が終了するごとに、そのインターバルの再生が終了した時刻であるインターバル再生終了時刻を算出する。そして、同期再生制御部２７４は、インターバル再生終了時刻を示す情報を第１携帯端末１に送信する。

継続再生制御部２７５は、後述の切断検出部２８によって第１携帯端末１の切断状態が検出された場合に、第２携帯端末２においてストリーミングデータを継続して再生するように制御する継続再生制御手段として機能する。この継続再生制御部２７５は、データ取得管理部２７１によって取得されたストリーミングデータの未再生部分を再生する。具体的には、継続再生制御部２７５は、データ取得管理部２７１によって取得されたストリーミングデータの未再生部分をバッファから取得して、出力部２２に再生させる。

また、データ取得管理部２７１が第１携帯端末１において再生されていない第１メディア要素を第１携帯端末１から取得した場合には、継続再生制御部２７５は、バッファから当該第１メディア要素を取得する。そして、継続再生制御部２７５は、第１メディア要素と第２携帯端末２において再生されていないバッファリング済みの第２メディア要素とを組み合わせて、ストリーミングデータの分割データを再構成する。

また、継続再生制御部２７５は、端末情報管理部２３から第２能力情報を取得し、第２能力情報に基づいて、継続再生するストリーミングデータの再生レートを決定する。ここで、継続再生するストリーミングデータとは、継続再生制御部２７５によって再構成された分割データおよびデータ取得管理部２７１がストリーミングサーバ３から取得したストリーミングデータが含まれる。

また、継続再生制御部２７５は、第２能力情報に基づいて、継続再生するストリーミングデータに第２携帯端末２の処理能力を超えるメディア要素が含まれているか否かを判定する。そして、継続再生制御部２７５は、継続再生するストリーミングデータに第２携帯端末２の処理能力を超えるメディア要素が含まれていると判定した場合には、そのメディア要素を破棄する。例えば、第２携帯端末２がサポートしていないコーデックの音声データが継続再生するストリーミングデータに含まれている場合には、継続再生制御部２７５は、その音声データを破棄する。

また、継続再生制御部２７５は、再構成された分割データを出力部２２に再生させる。このとき、継続再生制御部２７５は、未取得の分割データのタイムスタンプをデータ取得管理部２７１に通知する。また、継続再生制御部２７５は、再構成した分割データの再生後、ストリーミングサーバ３から受信した分割データを出力部２２に再生させる。

また、継続再生制御部２７５は、第１携帯端末１からバッファリング済み第１メディア要素を受信できなかった場合、第１携帯端末１は使用不可状態であると判定し、バッファ制御部２５にバッファ済みの（未再生の）第２メディア要素を破棄するように指示する。このとき、継続再生制御部２７５は、未再生の分割データのタイムスタンプをデータ取得管理部２７１に通知してもよい。

切断検出部２８は、第１携帯端末１がストリーミングデータをストリーミングサーバ３から取得できない切断状態であるか否かを検出する切断検出手段として機能する。例えば、切断検出部２８は、第１携帯端末１から切断要求を受信したことにより、第１携帯端末１とストリーミングサーバ３との通信が切断されたと判定する。また、切断検出部２８は、第１携帯端末１から受信しているデータのデータ転送レートが低下していることを検出することにより、第１携帯端末１とストリーミングサーバ３との通信が切断されたと判定する。

続いて、上述した構成を有する情報再生システム１０におけるストリーミングデータの再生状態を説明する。図５の（ａ）は第１携帯端末１と第２携帯端末２とが同期再生している再生状態を示す図、（ｂ）は第１携帯端末１が切断され、第２携帯端末２が単独再生している再生状態を示す図である。図５の（ａ）に示されているように、第１携帯端末１と第２携帯端末２とがストリーミングデータを同期再生している状態（第１状態ＳＴ１）では、ストリーミングサーバ３から配信されるストリーミングデータを第１携帯端末１が受信している。

また、第１携帯端末１は、第２携帯端末２との間にローカルネットワークＬＮの接続を確立する。そして、第１携帯端末１は、受信したストリーミングデータを複数のメディア要素に分離し、第１携帯端末１で再生する第１メディア要素と第２携帯端末２で再生する第２メディア要素とを抽出する。そして、第１携帯端末１は、第１メディア要素をバッファに格納し、第２メディア要素を第２携帯端末２に転送する。一方、第２携帯端末２は、受信した第２メディア要素をバッファに格納する。その後、第１携帯端末１は、第２携帯端末２との同期再生制御および再生レート調整を行って、第２携帯端末２とともに同期再生を行う。

一方、図５の（ｂ）に示されているように、ユーザ選択、無線ＷＡＮの切断などの事由により第１携帯端末１とストリーミングサーバ３との通信が切断された状態（第２状態ＳＴ２）では、まず、第２携帯端末２は、第１携帯端末１から送信されるデータの転送レートが連続的に低下していることを検出するか、あるいは、第１携帯端末１から切断要求を受信すると、第２メディア要素の再生を停止する。そして、第２携帯端末２は、第１携帯端末１に第１メディア要素転送要求を送信する。

その後、第２携帯端末２は、第１携帯端末１から第１メディア要素を受信した場合、第２携帯端末２にバッファリングされている第２メディア要素と結合し、ストリーミングデータの分割データを再構成する。そして、第２携帯端末２は、第２携帯端末２の処理能力に応じて再生レートを調整し、再構成した分割データの再生を開始する。次に、第２携帯端末２は、第１携帯端末１から受信したＵＲＬ情報に基づいてストリーミングサーバ３にアクセスし、ストリーミングサーバ３に未再生かつ第１携帯端末１から受信していないデータを要求する。また、第２携帯端末２は、第１携帯端末１から第１メディア要素を受信できなかった場合、再生停止時以降のデータをストリーミングサーバ３に要求する。

そして、第２携帯端末２は、ストリーミングサーバ３とネゴシエーションを行う。このとき、第２携帯端末２の処理能力およびバッファリング済みのデータ量を考慮して、データ送信レート、バッファリングするデータサイズおよび再生レートが決定される。そして、第２携帯端末２は、ストリーミングサーバ３との通信が確立されると、再生停止位置から再生を開始する。

続いて、図６〜図９を参照して、情報再生システム１０における情報再生方法について説明する。図６は、情報再生システム１０の接続確立（ネゴシエーション）プロセスを示すシーケンス図である。このプロセスは、第１携帯端末１が、ストリーミングデータを取得するための操作を示す操作情報を入力部１１から受信することにより開始される。

なお、第１携帯端末１と第２携帯端末２との通信は、ローカルＮＷ通信部１４２およびローカルＮＷ通信部２４２を介して行われ、第１携帯端末１とストリーミングサーバ３との通信は、外部ＮＷ通信部１４１および通信制御部３１を介して行われ、第２携帯端末２とストリーミングサーバ３との通信は、外部ＮＷ通信部２４１および通信制御部３１を介して行われるが、図６〜図９の説明においては、これを省略する。

図６に示されるように、まず、第１携帯端末１のデータ取得管理部１７１は、ストリーミングサーバ３にストリーミングデータ配信要求を送信する（ステップＳ０１）。そして、ストリーミングサーバ３のストリーミングデータ管理部３３は、第１携帯端末１からストリーミングデータ配信要求を受信すると、ストリーミングデータ配信要求に対応するストリーミングデータのメタ情報を含むストリーミングデータ配信応答を第１携帯端末１に送信する（ステップＳ０２）。

次に、データ取得管理部１７１は、ストリーミングデータ配信応答をストリーミングサーバ３から受信すると、メタ情報を再生パターン決定部１７２に送信する。そして、再生パターン決定部１７２は、メタ情報に含まれるマルチデバイス情報がマルチデバイス再生可能を示すか否かを判定する（ステップＳ０３）。

マルチデバイス情報がマルチデバイス再生可能を示す場合、ローカルＮＷ通信部１４２は、ローカルネットワークＬＮ上の第２携帯端末２に接続要求を送信する（ステップＳ０４）。第２携帯端末２のローカルＮＷ通信部２４２は、第１携帯端末１から接続要求を受信すると、接続の可否を示す接続応答を送信する。そして、ローカルＮＷ通信部１４２は、第２携帯端末２から接続可能を示す接続応答を受信して、第２携帯端末２との通信接続を確立する（ステップＳ０５）。

第１携帯端末１と第２携帯端末２との通信接続が確立されると、再生パターン決定部１７２は、能力通知要求を第２携帯端末２に送信する（ステップＳ０６）。第２携帯端末２の端末情報管理部２３は、第１携帯端末１から能力通知要求を受信すると、第２能力情報を第１携帯端末１に送信する（ステップＳ０７）。そして、再生パターン決定部１７２は、第２携帯端末２から第２能力情報を受信する。また、再生パターン決定部１７２は、端末情報管理部１３から第１能力情報を取得する。

次に、再生パターン決定部１７２は、ストリーミングデータのメタ情報、第１能力情報および第２能力情報に基づいて、第１メディア要素と第２メディア要素とを決定する（ステップＳ０８，再生パターン決定ステップ）。再生パターン決定部１７２は、例えば、ストリーミングデータを構成するメディア要素のコーデックに第１携帯端末１および第２携帯端末２が対応しているか否かによって、第１携帯端末１および第２携帯端末２で再生可能なメディア要素を判定する。そして、再生パターン決定部１７２は、第１携帯端末１で再生可能なメディア要素を第１メディア要素とし、第２携帯端末２で再生可能なメディア要素を第２メディア要素とする。また、第１メディア要素と第２メディア要素との組合せが複数存在する場合、再生パターン決定部１７２は、第１メディア要素および第２メディア要素の組合せの候補を出力部１２によって出力装置１０７に表示する。そして、再生パターン決定部１７２は、ユーザによっていずれかの候補が選択されることにより、第１メディア要素および第２メディア要素を決定する。

一方、データ取得管理部１７１は、ストリーミングサーバ３にストリーミングデータ送信要求を送信する（ステップＳ０９）。ストリーミングデータ管理部３３は、第１携帯端末１からストリーミングデータ送信要求を受信すると、ストリーミングデータ送信要求に対応するストリーミングデータをストリーミングデータ記憶部３２から取得する。そして、ストリーミングデータ管理部３３は、ストリーミングデータを再生順に所定のデータサイズの分割データに分割する。

続いて、ストリーミングデータ管理部３３は、分割データを再生順に第１携帯端末１に送信する（ステップＳ１０）。そして、データ取得管理部１７１は、ストリーミングデータ送信要求に対応するストリーミングデータの分割データを、ストリーミングサーバ３から受信する。データ取得管理部１７１は、受信した分割データをバッファ制御部１５に送信してバッファに格納させる（第１データ取得ステップ）。なお、このステップＳ０９およびステップＳ１０は、ステップＳ０３〜ステップＳ０８と並行して行われてもよい。

次に、メディア要素抽出部１７３は、再生パターン決定部１７２によって決定された第１メディア要素と第２メディア要素とをバッファ内の分割データから抽出する（ステップＳ１２，メディア要素抽出ステップ）。そして、メディア要素抽出部１７３は、抽出した第１メディア要素および第２メディア要素をバッファ制御部１５に送信し、バッファに格納させる。

その後、同期再生制御部１７４は、バッファ内の第２メディア要素を第２携帯端末２に送信する（ステップＳ１３）。また、同期再生制御部１７４は、このストリーミングデータのＵＲＬ情報（コンテンツＵＲＬ）を第２メディア要素とともに送信する（ステップＳ１４）。第２携帯端末２のデータ取得管理部２７１は、第１携帯端末１から第２メディア要素とＵＲＬ情報とを受信し、受信した第２メディア要素をバッファ制御部２５に送信して、バッファに格納させる（ステップＳ１５）。

図７は、情報再生システム１０の第１状態ＳＴ１における同期再生制御プロセスを示すシーケンス図である。このプロセスは、図６のプロセスに引き続いて行われる。

図７に示されるように、ストリーミングデータ管理部３３は、分割データを再生順に第１携帯端末１に送信し、データ取得管理部１７１は、分割データをストリーミングサーバ３から受信する（ステップＳ２１，第１データ取得ステップ）。なお、このステップＳ２１は、図６のステップＳ１０と同じ処理であって、ストリーミングデータの送信が完了するまで一定の時間間隔で繰り返し実施される。これ以降の処理は、このステップＳ２１と並行して実施される。

第１携帯端末１の測定部１６は、第２携帯端末２に対するＲＴＴを測定する（ステップＳ２２，測定ステップ）。同期再生制御部１７４は、ステップＳ２２において測定されたＲＴＴに基づいて、第２携帯端末２において再生すべきデータが不足しないように、データ送信レートおよびバッファリングデータ量を決定する（ステップＳ２３）。また、同期再生制御部１７４は、現在の時刻にＲＴＴを加えた時刻以降を再生開始時刻として決定する。また、同期再生制御部１７４は、ストリーミングデータを同期して再生できるように、第１能力情報および第２能力情報に基づいて、第１携帯端末１の再生レートと第２携帯端末２の再生レートとを算出する。

そして、同期再生制御部１７４は、このストリーミングデータのＵＲＬ情報を第２メディア要素とともに送信し、データ取得管理部２７１は、第１携帯端末１から受信した第２メディア要素をバッファ制御部２５に送信して、バッファに格納させる（ステップＳ２４，第２データ取得ステップ）。このステップＳ２４は、図６のステップＳ１３〜ステップＳ１５と同じ処理である。ステップＳ２４は、ステップＳ２３などにおいて決定されたデータ送信レートに応じて繰り返し実施される。

次に、同期再生制御部１７４は、再生開始時刻、再生レート、データ送信レートおよび送信データ量を指定した再生開始要求を第２携帯端末２に送信する（ステップＳ２５）。そして、同期再生制御部２７４は、再生開始要求を同期再生制御部１７４から受信すると、再生開始の可否情報を含む再生開始応答を送信する（ステップＳ２６）。

同期再生制御部１７４は、再生開始可能であることを示す再生開始応答を第２携帯端末２から受信すると、バッファに格納されている第１メディア要素をバッファ制御部１５によって出力部１２に送信させ、再生開始要求において指定した再生開始時刻に出力装置１０７で再生させる（第１同期再生ステップ）。また、同期再生制御部２７４は、バッファに格納されている第２メディア要素をバッファ制御部２５によって出力部２２に送信させ、再生開始要求において指定された再生開始時刻に出力装置で再生させる（ステップＳ２７，第２同期再生ステップ）。

これ以降、同期再生制御部１７４は、第１携帯端末１の再生レートに応じて、バッファに格納されている第１メディア要素を出力装置１０７で再生させる。また、同期再生制御部２７４は、第２携帯端末２の再生レートに応じて、バッファに格納されている第２メディア要素を出力装置で再生させる。以降の処理は、この同期再生中に行われ、インターバルを単位として行われる。

測定部１６は、第１インターバルにおいて、ＲＴＴを測定する（ステップＳ２８）。その後、同期再生制御部１７４は、第１携帯端末１において第１インターバルの再生が終了すると、第１インターバルの再生が終了した時刻である第１インターバル再生終了時刻を算出する（ステップＳ２９）。

一方、同期再生制御部２７４は、第２携帯端末２において第１インターバルの再生が終了すると、第１インターバル再生終了時刻を算出する（ステップＳ３０）。そして、同期再生制御部２７４は、第１インターバル再生終了時刻を示す情報を第１携帯端末１に送信し、同期再生制御部１７４は、第１インターバル再生終了時刻を示す情報を第２携帯端末２から受信する（ステップＳ３１）。また、測定部１６は、第２インターバルにおいてＲＴＴを測定する（ステップＳ３２）。そして、同期再生制御部１７４は、ステップＳ３２において測定されたＲＴＴに基づいて、第２携帯端末２において再生すべきデータが不足しないように、データ送信レートおよび送信データサイズを調整する（ステップＳ３３）。

次に、同期再生制御部１７４は、第１携帯端末１の第１インターバル再生終了時刻と第２携帯端末２の第１インターバル再生終了時刻とを比較し、その差分を算出する。そして、同期再生制御部１７４は、同期ずれを解消するために、算出した差分が小さくなるように、第２携帯端末２の第３インターバルでの再生レートを算出する（ステップＳ３４）。そして、同期再生制御部１７４は、第３インターバルでの再生レートを第２携帯端末２に指示する（ステップＳ３５）。

その後、同期再生制御部１７４は、第１携帯端末１において第２インターバルの再生が終了すると、第２インターバルの再生が終了した時刻である第２インターバル再生終了時刻を算出する（ステップＳ３６）。一方、同期再生制御部２７４は、第２携帯端末２において第２インターバルの再生が終了すると、第２インターバル再生終了時刻を算出する（ステップＳ３７）。

以降、第２インターバルにおけるステップＳ３１〜ステップＳ３７と同様の処理を、第３インターバルにおいて繰り返す（ステップＳ３８〜ステップＳ４４）。それ以降のインターバルにおいても、ステップＳ３１〜ステップＳ３７と同様の処理を繰り返し、同期再生を継続する。

図８は、情報再生システム１０の第２状態ＳＴ２における継続再生制御プロセスの一例を示すシーケンス図である。図８に示されるように、このプロセスは、無線の切断などのユーザが意図しない理由により、第１携帯端末１がストリーミングサーバ３との通信接続を切断されたことにより開始される（ステップＳ５１）。ストリーミングサーバ３の通信制御部３１は、第１携帯端末１へのデータ送信中に第１携帯端末１との通信接続が切断されると、送信データをバッファ内に格納してデータ送信をサスペンド状態にする（ステップＳ５２）。そして、再生管理部３４は、再生管理テーブルに送信済みタイムスタンプを記憶する。

また、第１携帯端末１のローカルＮＷ通信部１４２は、ストリーミングサーバ３との通信接続が切断されたことを検出すると、第２携帯端末２に切断要求を送信する（ステップＳ５３）。そして、第２携帯端末２の切断検出部２８は、第１携帯端末１から切断要求を受信したことにより、第１携帯端末１とストリーミングサーバ３との通信が切断されたと判定する（ステップＳ５４）。このステップＳ５３において、第１携帯端末１は第２携帯端末２に切断要求を送信しないこともある。この場合、切断検出部２８は、第１携帯端末１から受信しているデータのデータ転送レートが低下していることを検出することにより、第１携帯端末１とストリーミングサーバ３との通信が切断されたと判定する（ステップＳ５４）。

ステップＳ５４において第１携帯端末１とストリーミングサーバ３との通信が切断されたと判定されると、データ取得管理部２７１は、第１携帯端末１においてバッファリング済みの第１メディア要素を取得するために、第１携帯端末１に第１メディア要素転送要求を送信する（ステップＳ５５）。バッファ制御部１５は、第２携帯端末２から第１メディア要素転送要求を受信すると、バッファ内に格納している第１メディア要素を第２携帯端末２に送信する（ステップＳ５６）。そして、ローカルＮＷ通信部１４２は、バッファ内に格納している第１メディア要素の転送が完了すると、第２携帯端末２との通信接続（コネクション）を切断する。

そして、データ取得管理部２７１は、第１携帯端末１からバッファリング済みの第１メディア要素を受信すると、バッファ制御部２５に送信してバッファに格納させる。その後、継続再生制御部２７５は、第２携帯端末２においてバッファリング済みの第２メディア要素と、受信した第１メディア要素とを組み合わせて、ストリーミングデータの分割データを再構成する（ステップＳ５７）。続いて、継続再生制御部２７５は、端末情報管理部２３から第２能力情報を取得し、第２能力情報に基づいて、再構成された分割データの再生レートを決定する。

また、継続再生制御部２７５は、第２能力情報に基づいて、再構成された分割データに第２携帯端末２の処理能力を超えるメディア要素が含まれているか否かを判定する。そして、継続再生制御部２７５は、再構成された分割データに第２携帯端末２の処理能力を超えるメディア要素が含まれていると判定した場合には、そのメディア要素を破棄する（ステップＳ５８）。そして、継続再生制御部２７５は、再構成された分割データを出力部２２に再生させる（ステップＳ５９）。このとき、継続再生制御部２７５は、未取得の分割データのタイムスタンプをデータ取得管理部２７１に通知してもよい。

次に、データ取得管理部２７１は、第１携帯端末１から受信したＵＲＬ情報に基づいて、ストリーミングサーバ３にストリーミングデータ配信要求を送信する（ステップＳ６０）。ストリーミングサーバ３のストリーミングデータ管理部３３は、第２携帯端末２からストリーミングデータ配信要求を受信すると、ストリーミングデータ配信要求に対応するストリーミングデータのメタ情報を含むストリーミングデータ配信応答を、第２携帯端末２に送信する（ステップＳ６１）。

続いて、データ取得管理部２７１は、ストリーミングデータ配信応答をストリーミングサーバ３から受信すると、継続再生制御部２７５によって決定された再生レートをストリーミングサーバ３に通知する（ステップＳ６２）。ストリーミングデータ管理部３３は、第２携帯端末２から再生レートの通知を受けると、ストリーミングデータ管理テーブルからストリーミングサーバ３が提供可能なデータレートを取得する。そして、ストリーミングデータ管理部３３は、ステップＳ６２において通知された再生レートに基づいて、データ送信レートおよび送信データサイズを決定する。その後、ストリーミングデータ管理部３３は、データ送信レートおよび送信データサイズを指定したデータ送信レート応答を第２携帯端末２に送信する（ステップＳ６３）。

次に、データ取得管理部２７１は、データ送信レート応答をストリーミングサーバ３から受信すると、ストリーミングサーバ３にストリーミングデータ送信要求を送信する（ステップＳ６４）。ストリーミングデータ管理部３３は、ストリーミングデータ送信要求を第２携帯端末２から受信すると、再生管理部３４から送信済みタイムスタンプを取得する。そして、ストリーミングデータ管理部３３は、送信済みタイムスタンプが示す時間以降の分割データを再生順に、第２携帯端末２に送信する（ステップＳ６５）。

次に、データ取得管理部２７１は、ストリーミングデータ送信要求に対応するストリーミングデータの分割データを、ストリーミングサーバ３から受信する。続いて、データ取得管理部２７１は、受信した分割データをバッファ制御部２５に送信してバッファに格納させる。そして、継続再生制御部２７５は、再構成された分割データの再生が終了した後、ストリーミングサーバ３から受信した分割データを、ステップＳ６２において通知した再生レートに応じて出力部２２に再生させる。

なお、ステップＳ６３において、ストリーミングデータ管理部３３は、第２携帯端末２に対するＲＴＴを測定し、そのＲＴＴを考慮してデータ送信レートおよび送信データサイズを決定してもよい。また、第２携帯端末２は、ＲＴＴを考慮してバッファリングデータサイズを決定してもよい。

図９は、情報再生システム１０の第２状態ＳＴ２における継続再生制御プロセスの他の例を示すシーケンス図である。図９に示されるように、このプロセスは、ユーザが意図的に第１携帯端末１の電源をオフにする操作を行ったことにより開始される（ステップＳ７１）。ストリーミングサーバ３の通信制御部３１は、第１携帯端末１へのデータ送信中に第１携帯端末１との通信接続が切断されると（ステップＳ７２）、送信データをバッファ内に格納してデータ送信をサスペンド状態にする（ステップＳ７３）。そして、再生管理部３４は、再生管理テーブルに送信済みタイムスタンプを記憶する。

また、第１携帯端末１のローカルＮＷ通信部１４２は、第１携帯端末１の電源をオフにする操作を検出すると、第２携帯端末２に切断要求を送信する（ステップＳ７４）。そして、第２携帯端末２の切断検出部２８は、第１携帯端末１から切断要求を受信したことにより、第１携帯端末１とストリーミングサーバ３との通信が切断されたと判定する（ステップＳ７５）。ステップＳ７５において第１携帯端末１とストリーミングサーバ３との通信が切断されたと判定されると、データ取得管理部２７１は、第１携帯端末１においてバッファリング済みの第１メディア要素を取得するために、第１携帯端末１に第１メディア要素転送要求を送信する（ステップＳ７６）。

ユーザが意図的に第１携帯端末１の電源をオフにする操作を行った場合、第１携帯端末１の電源がオフになっているため、第１携帯端末１はバッファリング済みの第１メディア要素を第２携帯端末２に送信することはできない。このため、データ取得管理部２７１は、第１携帯端末１からバッファリング済みの第１メディア要素を受信できないので、継続再生制御部２７５は、第１携帯端末１が使用不可状態であると判定する（ステップＳ７７）。

そして、継続再生制御部２７５は、バッファ済みの（未再生の）第２メディア要素を破棄するようにバッファ制御部２５に指示する。バッファ制御部２５は、継続再生制御部２７５からバッファ済みデータの破棄の指示を受けると、バッファ内の第２メディア要素を破棄する（ステップＳ７８）。このとき、継続再生制御部２７５は、未再生の分割データのタイムスタンプをデータ取得管理部２７１に通知する。

次に、データ取得管理部２７１は、第１携帯端末１から受信したＵＲＬ情報に基づいて、ストリーミングサーバ３にストリーミングデータ配信要求を送信する（ステップＳ７９）。ストリーミングサーバ３のストリーミングデータ管理部３３は、第２携帯端末２からストリーミングデータ配信要求を受信すると、ストリーミングデータ配信要求に対応するストリーミングデータのメタ情報を含むストリーミングデータ配信応答を、第２携帯端末２に送信する（ステップＳ８０）。

そして、データ取得管理部２７１がストリーミングデータ配信応答をストリーミングサーバ３から受信すると、継続再生制御部２７５は、データレート情報と第２能力情報とを比較し、より低いデータレートを再生レートとして決定する。次に、データ取得管理部２７１は、継続再生制御部２７５によって決定された再生レートをストリーミングサーバ３に通知する（ステップＳ８１）。

ストリーミングデータ管理部３３は、第２携帯端末２から再生レートの通知を受けると、ストリーミングデータ管理テーブルからストリーミングサーバ３が提供可能なデータレートを取得する。そして、ストリーミングデータ管理部３３は、ステップＳ６２において通知された再生レートに基づいて、データ送信レートおよび送信データサイズを決定する。その後、ストリーミングデータ管理部３３は、データ送信レートおよび送信データサイズを指定したデータ送信レート応答を第２携帯端末２に送信する（ステップＳ８２）。

そして、データ取得管理部２７１は、データ送信レート応答をストリーミングサーバ３から受信すると、ストリーミングデータ送信要求をストリーミングサーバ３に送信する（ステップＳ８３）。このとき、データ取得管理部２７１は、ストリーミングデータ送信要求において、ステップＳ７８において通知されたタイムスタンプが示す時間を継続再生開始時間として指定する。ストリーミングデータ管理部３３は、ストリーミングデータ送信要求を第２携帯端末２から受信すると、ストリーミングデータ送信要求において指定された継続再生開始時間を取得する。そして、ストリーミングデータ管理部３３は、継続再生開始時間以降の分割データを再生順に、第２携帯端末２に送信する（ステップＳ８４）。

そして、データ取得管理部２７１は、ストリーミングデータ送信要求に対応するストリーミングデータの分割データを、ストリーミングサーバ３から受信する。続いて、データ取得管理部２７１は、受信した分割データをバッファ制御部２５に送信してバッファに格納させる。そして、継続再生制御部２７５は、必要なデータ量（バッファリングデータサイズ）をバッファに格納した後、バッファ内に格納されている分割データを、ステップＳ８１において通知した再生レートに応じて出力部２２に再生させる。

なお、ステップＳ８２において、ストリーミングデータ管理部３３は、第２携帯端末２に対するＲＴＴを測定し、そのＲＴＴを考慮してデータ送信レートおよび送信データサイズを決定してもよい。また、第２携帯端末２は、ＲＴＴを考慮してバッファリングデータサイズを決定してもよい。

続いて、図１０〜図１３を参照して、第１携帯端末１および第２携帯端末２の画面の遷移について説明する。図１０および図１１は、マルチデバイス再生時の第１携帯端末および第２携帯端末の画面の遷移の一例を示す図である。

図１０に示されるように、第１携帯端末１がストリーミングサーバ３とネゴシエーションを行っている間（図６のステップＳ０１〜ステップＳ０２に相当）、第１携帯端末１は、「バッファリング中」といったメッセージが表示された画面Ａ０１を出力する。このとき、第２携帯端末２は、何も表示されない画面Ｂ０１を出力する（ステップＳ１０１）。続いて、ストリーミングデータがマルチデバイス再生可能である場合、第１携帯端末１は、「マルチデバイス再生を利用しますか？［Ｙ／Ｎ］」といったメッセージが表示された画面Ａ０２を出力する。このとき、第２携帯端末２は、何も表示されない画面Ｂ０２を出力する（ステップＳ１０２）。

そして、画面Ａ０２においてユーザが「Ｙ」を選択すると（図６のステップＳ０３に相当）、第１携帯端末１は、「デバイスを接続してください。［ＯＫ］」といったメッセージが表示された画面Ａ０３を出力する。このとき、第２携帯端末２は、何も表示されない画面Ｂ０３を出力する（ステップＳ１０３）。そして、ユーザは、ブルートゥースなどによって第１携帯端末１と第２携帯端末２との接続を確立して、画面Ａ０３において「ＯＫ」を選択する（図６のステップＳ０４〜ステップＳ０５に相当）。

続いて、第１携帯端末１は、第２能力情報を取得した後（図６のステップＳ０６〜ステップＳ０７に相当）、再生パターンの候補が表示された画面Ａ０４を出力する。このとき、第２携帯端末２は、「待機中…（第１携帯端末１で再生パターンを選択してください）」といったメッセージが表示された画面Ｂ０４を出力する（ステップＳ１０４）。

続いて、図１１に示されるように、ステップＳ１０４において、画面Ａ０４から候補１を選択した場合（図６のステップＳ０８に相当）、第１携帯端末１は、「映像を再生します。［ＯＫ］」といったメッセージが表示された画面Ａ０５を出力する。一方、第２携帯端末２は、「音声とテキストを再生します。［ＯＫ］」といったメッセージが表示された画面Ｂ０５を出力する（ステップＳ１０５）。

そして、画面Ａ０５および画面Ｂ０５においてユーザが「ＯＫ」を選択すると、ストリーミングデータの分割データから第１メディア要素と第２メディア要素とが抽出されて、第１携帯端末１のバッファに第１メディア要素が格納され、第２携帯端末２のバッファに第２メディア要素が格納される。さらに、データ送信レートなどが決定される（図６のステップＳ１２〜ステップＳ１５，図７のステップＳ２１〜ステップＳ２４に相当）。この間、第１携帯端末１および第２携帯端末２は、「再生準備中」といったメッセージが表示された画面Ａ０６，Ｂ０６を出力する（ステップＳ１０６）。

次に、再生の準備が完了すると、第１携帯端末１および第２携帯端末２は、「再生を開始します。［ＯＫ］」といったメッセージが表示された画面Ａ０７，Ｂ０７を出力する（ステップＳ１０７）。そして、画面Ａ０７および画面Ｂ０７においてユーザが「ＯＫ」を選択すると、第１携帯端末１において映像データが再生され、第２携帯端末２において音声データおよびテキストデータが再生される（図７のステップＳ２５〜ステップＳ２７に相当）。このとき、第１携帯端末１は、映像データの再生画面Ａ０８を出力し、第２携帯端末２は、音声データおよびテキストデータの再生画面Ｂ０８を出力する（ステップＳ１０８）。

図１２は、第１携帯端末１が切断された時の第１携帯端末および第２携帯端末の画面の遷移の一例を示す図である。図１２に示されるように、第１携帯端末１とストリーミングサーバ３との通信接続が切断されると（図８のステップＳ５１〜ステップＳ５４に相当）、第１携帯端末１は、「サーバから切断されました。第２携帯端末２で継続再生します。」といったメッセージが表示された画面Ａ１１を出力する。一方、第２携帯端末２は、「継続再生準備中です。」といったメッセージが表示された画面Ｂ１１を出力する（ステップＳ１１１）。

このステップＳ１１１の間に、第１携帯端末１にバッファリング済みの映像データが第２携帯端末２に送信され、ストリーミングデータの分割データが再構成されて、継続再生の準備が行われる（図８のステップＳ５５〜ステップＳ５８に相当）。そして、継続再生の準備が完了し、再生に必要なデータ量がバッファ内に格納されると、第２携帯端末２においてストリーミングデータが継続再生される（図８のステップＳ５９〜ステップＳ６５に相当）。このとき、第１携帯端末１は、何も表示されない画面Ａ１２を出力し、第２携帯端末２は、映像データ、音声データおよびテキストデータの再生画面Ｂ１２を出力する（ステップＳ１１２）。

図１３は、第１携帯端末１の電源がオフにされた時の第１携帯端末および第２携帯端末の画面の遷移の一例を示す図である。図１３に示されるように、ユーザによって第１携帯端末１の電源がオフにされると（図９のステップＳ７１〜ステップＳ７５に相当）、第１携帯端末１は、電源がオフ状態であることを示す画面Ａ２１を出力する。一方、第２携帯端末２は、「継続再生準備中です。」といったメッセージが表示された画面Ｂ２１を出力する（ステップＳ１２１）。

このステップＳ１２１の間に、第２携帯端末２はストリーミングサーバ３にアクセスして、未再生のストリーミングデータを取得する（図９のステップＳ７６〜ステップＳ８４に相当）。そして、再生に必要なデータ量がバッファ内に格納されると、第２携帯端末２においてストリーミングデータが継続再生される（図９のステップＳ８４に相当）。このとき、第１携帯端末１は、電源がオフ状態であることを示す画面Ａ２２を出力し、第２携帯端末２は、映像データ、音声データおよびテキストデータの再生画面Ｂ２２を出力する（ステップＳ１２２）。

次に、情報再生システム１０の作用効果について説明する。情報再生システム１０は、第１携帯端末１と第２携帯端末２とが同期してストリーミングデータを再生する情報再生システムである。第１携帯端末１は、ストリーミングデータを取得するデータ取得管理部１７１と、第１携帯端末１および第２携帯端末２の処理能力に基づいて、データ取得管理部１７１によって取得されたストリーミングデータに含まれる複数のメディア要素のうち、第１携帯端末１において再生する第１メディア要素と、第２携帯端末２に再生させる第２メディア要素とを決定する再生パターン決定部１７２と、第１携帯端末１と第２携帯端末２との間のデータ転送時間を測定する測定部１６と、再生パターン決定部１７２によって決定された第１メディア要素および第２メディア要素をストリーミングデータから抽出するメディア要素抽出部１７３と、メディア要素抽出部１７３によって抽出された第２メディア要素を第２携帯端末２に送信するとともに、測定部１６によって測定されたデータ転送時間に基づいて決定された再生開始時刻を第２携帯端末２に通知して、再生開始時刻に第１メディア要素を再生する同期再生制御部１７４と、を備える。第２携帯端末２は、同期再生制御部１７４によって送信された第２メディア要素を取得するデータ取得管理部２７１と、同期再生制御部１７４によって通知された再生開始時刻に、データ取得管理部２７１によって取得された第２メディア要素を再生する同期再生制御部２７４と、を備える。

これにより、第１携帯端末１および第２携帯端末２の処理能力に応じて、ストリーミングデータに含まれる複数のメディア要素のうち、第１携帯端末１において再生する第１メディア要素と、第２携帯端末２において再生する第２メディア要素とが決定されることにより、１つのストリーミングデータをメディア要素毎に分割して第１携帯端末１と第２携帯端末２とにおいて再生することができる。そして、第１携帯端末１と第２携帯端末２とのデータ転送時間に基づいて決定された再生開始時刻に第１携帯端末１および第２携帯端末２でそれぞれ第１メディア要素および第２メディア要素が再生されることにより、第１携帯端末１から第２携帯端末２へのデータ転送により生じる遅延時間を考慮して、第１携帯端末１と第２携帯端末２とで再生を同時に開始することができる。このため、第１携帯端末１と第２携帯端末２とにメディア要素毎に分割された１つのストリーミングデータを同期して再生することが可能となる。

同期再生制御部２７４は、ストリーミングデータの再生時間を区分した再生インターバルごとに、第２携帯端末２における再生インターバルの再生終了時刻を第１携帯端末１に通知する。また、同期再生制御部１７４は、同期再生制御部２７４によって通知された第２携帯端末２における再生インターバルの再生終了時刻と、第１携帯端末１における再生インターバルの再生終了時刻との差分に基づいて、第２携帯端末２に再生レートを指示する。そして、同期再生制御部２７４は、同期再生制御部１７４によって指示された再生レートで、第２メディア要素を再生する。

第１携帯端末１および第２携帯端末２において実行される処理は、時間に応じて変化する。このため、再生インターバルにおける第１メディア要素の再生に第１携帯端末１が実際に要した時間と、再生インターバルにおける第２メディア要素の再生に第２携帯端末２が実際に要した時間との差分に基づいて、第２携帯端末２の再生レートを決定することにより、第１携帯端末１の再生インターバルの再生終了時刻と第２携帯端末２の再生インターバルの再生終了時刻との差を抑えることができる。このため、第１携帯端末１および第２携帯端末２の処理負荷が変化することにより、第１携帯端末１および第２携帯端末２ごとに再生インターバルの再生時間が変化したとしても、再生レートを変更することによって、同期ずれを低減することができる。その結果、第１携帯端末１と第２携帯端末２とが同期してストリーミングデータを再生することが可能となる。

同期再生制御部１７４は、データ転送時間に基づいて決定された送信レートで、第２メディア要素を第２携帯端末２に送信してもよい。この構成によれば、データ転送時間を考慮して、第２メディア要素を第２携帯端末２に送信する送信レートを決定することにより、第２携帯端末２において再生すべきデータが不足することを抑制できる。このため、第２携帯端末２において、再生の遅延を抑制でき、第１携帯端末１と第２携帯端末２とが同期してストリーミングデータを再生することが可能となる。

測定部１６は、ストリーミングデータの再生時間を区分した再生インターバルごとにデータ転送時間を測定し、同期再生制御部１７４は、測定されたデータ転送時間に基づいて、送信レートを調整してもよい。第１携帯端末１と第２携帯端末２との間のトラフィックなど通信経路の状態によって、第１携帯端末１と第２携帯端末２との間のデータ転送時間は変化することがある。この構成によれば、再生インターバルごとに測定されたデータ転送時間に基づいて送信レートを調整することにより、データ転送時間の変化に応じた送信レートとすることができる。このため、第２携帯端末２において、再生の遅延をさらに抑制できる。

第２携帯端末２は、第１携帯端末１がストリーミングデータを取得できない切断状態であるか否かを検出する切断検出部２８と、切断検出部２８によって第１携帯端末１の切断状態が検出された場合に、第２携帯端末２においてストリーミングデータを継続して再生するように制御する継続再生制御部２７５と、をさらに備えてもよい。この場合、同期再生制御部１７４は、ストリーミングデータのＵＲＬ情報を第２携帯端末２に送信し、データ取得管理部２７１は、切断検出部２８によって第１携帯端末１の切断状態が検出された場合に、同期再生制御部１７４によって送信されたＵＲＬ情報に基づいて、ストリーミングデータの未再生部分を取得し、継続再生制御部２７５は、データ取得管理部２７１によって取得されたストリーミングデータの未再生部分を再生してもよい。この構成によれば、第１携帯端末１がストリーミングデータを取得できない状態になったとしても、第２携帯端末２がストリーミングデータの未再生部分を取得できる。このため、第２携帯端末２においてストリーミングデータを継続して再生することが可能となる。すなわち、視聴スタイルなどによる再生デバイスの変更およびネットワーク環境の変更に応じて動的に再生を継続することが可能となる。

データ取得管理部２７１は、切断検出部２８によって第１携帯端末１の切断状態が検出された場合に、第１携帯端末１において再生されていない第１メディア要素を第１携帯端末１から取得し、継続再生制御部２７５は、データ取得管理部２７１によって取得された第１メディア要素と第２携帯端末２において再生されていない第２メディア要素とを用いてストリーミングデータを再構成するようにしてもよい。この構成によれば、第１携帯端末１が切断状態になったとしても、ストリーミングサーバ３からストリーミングデータを再取得することなく、送信済みでかつ未再生のストリーミングデータを、第２携帯端末２において再構成することができる。このため、第２携帯端末２において、送信済みのストリーミングデータを継続して再生することが可能となる。すなわち、視聴スタイルなどによる再生デバイスの変更およびネットワーク環境の変更に応じて動的に再生を継続することが可能となる。

このように、情報再生システム１０では、スマートフォンおよびタブレット端末といったモバイルデバイスの属性およびユーザの視聴スタイルに応じて、ストリーミングデータを構成するメディア要素単位でデバイス間で分割して、ストリーミングデータを複数のデバイスで同期再生する。このため、コンテンツの魅力を十分に活かすとともに、バッテリー消費およびメモリ消費を抑えることができる。また、ユーザが何らかの事由により一方のデバイスをオフにしたり、意図しない無線通信の切断が生じたとしても、他方のデバイスにおいて継続してストリーミングデータの視聴を行うことができる。

（第２実施形態）
図１４は、第２実施形態に係る情報再生システムの機能構成を概略的に示す図である。図１４に示されるように、情報再生システム１０Ａは、機器４（再生装置）をさらに備える点、第１携帯端末１に代えて第１携帯端末１Ａ（携帯端末）を備える点、および、ストリーミングサーバ３を備えていない点で情報再生システム１０と相違している。また、情報再生システム１０では、第２携帯端末２は絶対時刻を保持している（計時手段を有している）が、情報再生システム１０Ａでは、機器４は計時手段を有していない点でも相違する。

情報再生システム１０Ａは、第１携帯端末１Ａが記憶しているコンテンツを、第２携帯端末２（他の携帯端末、再生装置）および機器４のうちの複数の再生装置によってマルチデバイス再生するシステムである。機器４は、ローカルネットワークＬＮに接続されるとともに、いずれかのメディア要素を再生可能な１以上の機器である。この機器４には、例えば、パーソナルコンピュータ５、スピーカ６、テレビ７などが含まれる。機器４は、これらに限られず、ローカルネットワークＬＮに接続可能であり、かつ、いずれかのメディア要素を再生可能な機器であればよい。

第１携帯端末１Ａは、端末情報管理部１３、測定部１６および再生制御部１７に代えて、端末情報管理部１３Ａ、測定部１６Ａ（測定手段）および再生制御部１７Ａを備える点、並びに、コンテンツ記憶部３２Ａ、コンテンツ管理部３３Ａおよび再生管理部３４Ａをさらに備える点で第１携帯端末１と相違している。

コンテンツ記憶部３２Ａは、第２携帯端末２および機器４において再生される複数のコンテンツを格納しているコンテンツ記憶手段として機能する。第１携帯端末１Ａは、外部のコンテンツサーバから取得したコンテンツ、第１携帯端末１Ａが録画したコンテンツ、第１携帯端末１Ａで作成したスライドショーなどをコンテンツ記憶部３２Ａに格納する。このコンテンツ記憶部３２Ａに格納されているコンテンツは、コンテンツ管理部３３Ａによって管理されている。

コンテンツ管理部３３Ａは、コンテンツ記憶部３２Ａに格納されているコンテンツのメタ情報を管理するコンテンツ管理手段として機能する。コンテンツ管理部３３Ａは、図３のストリーミングデータ管理テーブルと同様のコンテンツ管理テーブルを用いて、コンテンツ記憶部３２Ａに格納されているコンテンツのメタ情報を管理している。

再生管理部３４Ａは、第２携帯端末２および機器４を含む再生装置での再生状態を動的に管理する再生管理手段として機能する。再生管理部３４Ａは、図４の再生管理テーブルと同様の再生管理テーブルを用いて、コンテンツの再生状態を管理している。

端末情報管理部１３Ａは、第２携帯端末２および機器４の再生装置それぞれの端末能力（静的情報）および処理負荷など（動的情報）を管理する端末情報管理手段として機能する。端末情報管理部１３Ａは、例えば、再生装置がサポートする映像コーデックおよび音声コーデックなどのコーデック情報、映像再生可能レートおよび音声再生可能レートなどの再生可能レート情報、出力装置１０７の画面の解像度を示す解像度情報を再生能力情報として管理している。また、端末情報管理部１３Ａは、例えば、処理負荷を示す負荷情報、メモリの消費量を示すメモリ消費量情報、バッテリーの残量を示すバッテリー残量情報などを再生状態情報として管理している。

測定部１６Ａは、第１携帯端末１Ａと各再生装置との間のデータ転送時間をそれぞれ測定する測定手段として機能する。測定部１６Ａは、例えば、再生装置にデータを送信してから、再生装置からその応答を受信するまでの時間であるＲＴＴを測定し、その半分をデータ転送時間としてもよい。そして、測定部１６Ａは、再生制御部１７Ａにデータ転送時間を示す転送時間情報を送信する。また、測定部１６Ａは、所定の時間間隔でデータ転送時間を測定してもよい。

測定部１６Ａは、再生装置が第１携帯端末１Ａに受信応答を送信する機能を有しない場合、他の方法でデータ転送時間を測定する。例えば、再生装置がスピーカ６である場合、測定部１６Ａは、所定の音声パターンのオーディオデータを出力し、出力したオーディオデータの音声パターンがスピーカ６から出力されるまでの時間を測定する。具体的に説明すると、測定部１６Ａは、スピーカ６にオーディオデータを出力し、マイク（不図示）を用いてスピーカ６から出力される音声を受信する。そして、測定部１６Ａは、受信した音声のパターンと出力したオーディオデータの音声のパターンとを比較することによって、出力したオーディオデータの音声パターンがスピーカ６から出力されたか否かを判定する。測定部１６Ａは、音声パターンが一致した場合、オーディオデータを出力してから、その音声パターンを受信するまでの時間を算出し、その時間をデータ転送時間とする。

また、再生装置がパーソナルコンピュータ５またはテレビ７である場合、測定部１６Ａは、所定の画像のビデオデータを出力し、出力したビデオデータの画像がパーソナルコンピュータ５またはテレビ７に表示されるまでの時間を測定する。具体的に説明すると、測定部１６Ａは、パーソナルコンピュータ５またはテレビ７にビデオデータを出力し、カメラ（不図示）を用いてパーソナルコンピュータ５またはテレビ７に表示される画像を撮像する。そして、測定部１６Ａは、撮像した画像を画像処理し、出力したビデオデータと比較することによって、出力したビデオデータの画像がパーソナルコンピュータ５またはテレビ７に表示されたか否かを判定する。測定部１６Ａは、出力したビデオデータの画像が表示されたと判定された場合、ビデオデータを出力してからその画像が表示されるまでの時間を算出し、その時間をデータ転送時間とする。再生装置がパーソナルコンピュータ５またはテレビ７である場合、スピーカ６と同様に音声パターンによりデータ転送時間を測定してもよい。

再生制御部１７Ａは、再生装置におけるコンテンツのマルチデバイス再生を制御する再生制御手段として機能する。再生制御部１７Ａは、データ取得管理部１７１Ａ（第１データ取得手段）と、再生パターン決定部１７２Ａ（再生パターン決定手段）と、メディア要素抽出部１７３Ａ（メディア要素抽出手段）と、同期再生制御部１７４Ａ（第１同期再生制御手段）と、を備えている。

データ取得管理部１７１Ａは、コンテンツを取得する第１データ取得手段として機能する。データ取得管理部１７１は、例えば、コンテンツを再生するための操作を示す操作情報を入力部１１から受信する。そして、データ取得管理部１７１は、コンテンツ管理部３３Ａからコンテンツのメタ情報を取得する。また、データ取得管理部１７１Ａは、コンテンツ記憶部３２Ａからコンテンツを取得し、バッファ制御部１５に送信してバッファに格納させる。

再生パターン決定部１７２Ａは、データ取得管理部１７１Ａによって取得されたコンテンツに含まれる複数のメディア要素のそれぞれについて、いずれの再生装置に再生させるか決定する再生パターン決定手段として機能する。具体的に説明すると、再生パターン決定部１７２Ａは、コンテンツのメタ情報に基づいて、コンテンツに含まれる各メディア要素の再生装置を決定する。

例えば、マルチデバイス情報がマルチデバイス再生可能を示す場合、再生パターン決定部１７２Ａは、ユーザにマルチデバイス再生を行うか否かを選択させるための画面を出力装置１０７に表示させる。そして、ユーザによってコンテンツのマルチデバイス再生が選択された場合、再生パターン決定部１７２Ａは、端末情報管理部１３Ａによって管理されている再生能力情報に基づいて、コンテンツを構成するメディア要素ごとに、そのメディア要素のコーデックに対応している再生装置を抽出する。そして、再生パターン決定部１７２Ａは、各メディア要素を再生する再生装置をユーザに選択させるために、抽出した再生装置の一覧を出力装置１０７に表示させる。

図１５は、第１携帯端末１Ａの画面の一例を示す図である。図１５に示されるように、再生パターン決定部１７２Ａは、例えば、メディア要素の音声を再生する再生装置をユーザに選択させるために、第２携帯端末２、パーソナルコンピュータ５、スピーカ６およびテレビ７の一覧を出力装置１０７に表示させる。

再生パターン決定部１７２Ａは、コンテンツを構成するメディア要素ごとに、いずれかの再生装置を選択するための操作を示す操作情報を入力部１１から受信すると、そのメディア要素を再生する再生装置として決定する。また、再生パターン決定部１７２Ａは、端末情報管理部１３Ａによって管理されている端末情報に基づいて、メディア要素の数あるいは処理負荷が均等になるように、メディア要素のコーデックに対応している再生装置のうちメディア要素を再生する再生装置を決定してもよい。

一方、マルチデバイス情報がマルチデバイス再生可能を示す場合であって、ユーザによってコンテンツのマルチデバイス再生が選択されなかった場合、および、マルチデバイス情報がマルチデバイス再生できないことを示す場合、再生パターン決定部１７２Ａは、端末情報管理部１３Ａによって管理されている端末情報に基づいて、コンテンツを構成するすべてのメディア要素を再生可能な再生装置を抽出する。そして、再生パターン決定部１７２Ａは、コンテンツを再生する再生装置をユーザに選択させるために、抽出した再生装置の一覧を出力装置１０７に表示させる。また、再生パターン決定部１７２Ａは、予め定められた再生装置を選択してもよい。

メディア要素抽出部１７３Ａは、再生パターン決定部１７２Ａによって決定された再生装置ごとにメディア要素をコンテンツから抽出するメディア要素抽出手段として機能する。メディア要素抽出部１７３Ａは、バッファ内のデータから、再生装置ごとにメディア要素を抽出する。そして、メディア要素抽出部１７３Ａは、抽出したメディア要素をバッファ制御部１５に送信し、バッファに格納させる。

同期再生制御部１７４Ａは、メディア要素抽出部１７３Ａによって抽出された複数のメディア要素の各々を、再生パターン決定部１７２Ａによって決定された装置に、測定部１６Ａによって測定されたデータ転送時間に基づいて再生させる第１同期再生制御手段として機能する。同期再生制御部１７４Ａは、例えば、測定部１６Ａによって測定されたデータ転送時間に基づいて、メディア要素抽出部１７３Ａによって抽出されたメディア要素を再生装置に送信する。具体的に説明すると、同期再生制御部１７４Ａは、測定部１６Ａによって測定されたデータ転送時間に基づいて再生開始タイミングを決定する。すなわち、第１携帯端末１Ａがメディア要素を各再生装置に送信してから、再生装置がメディア要素を受信するまでに、データ転送時間と同等のデータ転送遅延が生じる。このため、同期再生制御部１７４Ａは、各再生装置がメディア要素を受信するタイミングを合わせるように、再生装置のデータ転送時間に応じてメディア要素を送信するタイミングを再生装置ごとに決定する。

また、同期再生制御部１７４Ａは、測定部１６Ａによって測定されたデータ転送時間に基づいて、各再生装置へのデータ送信レートを調整する。すなわち、同期再生制御部１７４Ａは、データ転送遅延によって各再生装置において再生すべきデータが不足しないように、各再生装置へのデータ送信レートおよび送信データ量を決定し、決定したデータ送信レートおよび送信データ量で、バッファに格納されているメディア要素を各再生装置に送信する。

なお、上記説明において説明を省略しているが、メディア要素抽出部１７３Ａによって抽出されたメディア要素はバッファに格納されているので、同期再生制御部１７４Ａは、バッファに格納されたメディア要素をバッファ制御部１５によって取得させ、このメディア要素をローカルＮＷ通信部１４２を介して第２携帯端末２及び機器４に送信している。

また、同期再生制御部１７４Ａは、コンテンツの再生中において、測定部１６Ａによって測定されたデータ転送時間に基づいて、第２携帯端末２及び機器４へのデータ送信レートおよび送信データ量を調整してもよい。

図１６は、情報再生システム１０Ａの同期再生制御プロセスの一例を示すシーケンス図である。このプロセスは、第１携帯端末１Ａが、コンテンツ再生のための操作を示す操作情報を入力部１１から受信することによって開始される。

図１６に示されるように、まず、第１携帯端末１Ａのデータ取得管理部１７１Ａは、コンテンツ管理部３３Ａから再生対象のコンテンツのメタ情報を取得して、再生パターン決定部１７２Ａに送信する。また、データ取得管理部１７１Ａは、コンテンツ記憶部３２Ａからコンテンツを取得し、バッファ制御部１５に送信してバッファに格納させる。

次に、再生パターン決定部１７２Ａは、メタ情報に含まれるマルチデバイス情報がマルチデバイス再生可能を示すか否かを判定する。マルチデバイス情報がマルチデバイス再生可能を示す場合、再生パターン決定部１７２Ａは、ユーザにマルチデバイス再生を行うか否かを選択させるための画面を出力装置１０７に表示させる。

そして、マルチデバイス再生のための操作を示す操作情報を入力部１１から受信する（ステップＳ２０１）と、再生パターン決定部１７２Ａは、コンテンツのメタ情報に基づいて、コンテンツを構成するメディア要素のコーデックを判別する。そして、再生パターン決定部１７２Ａは、端末情報管理部１３Ａによって管理されている再生能力情報に基づいて、コンテンツを構成するメディア要素ごとに、そのメディア要素のコーデックに対応している再生装置を抽出する。続いて、再生パターン決定部１７２Ａは、各メディア要素を再生する再生装置をユーザに選択させるために、抽出した再生装置の一覧を出力装置１０７に表示させる。

再生パターン決定部１７２Ａは、コンテンツを構成するメディア要素ごとに、いずれかの再生装置を選択するための操作を示す操作情報を入力部１１から受信すると、そのメディア要素を再生する再生装置として決定する（ステップＳ２０２）。ここでは、パーソナルコンピュータ５がビデオデータ及びテキストデータを再生する再生装置として決定され、スピーカ６がオーディオデータを再生する再生装置として決定された場合について説明する。

次に、ローカルＮＷ通信部１４２は、再生パターン決定部１７２Ａによって決定された各再生装置に対して接続要求を送信する（ステップＳ２０３）。各再生装置は、第１携帯端末１Ａから接続要求を受信すると、接続の可否を示す接続応答を送信する。そして、ローカルＮＷ通信部１４２は、再生装置から接続可能を示す接続応答を受信して、再生装置との通信接続を確立する（ステップＳ２０４）。

第１携帯端末１Ａと各再生装置との通信接続が確立されると、測定部１６Ａは、各再生装置に対するデータ転送時間を測定する（ステップＳ２０５）。また、メディア要素抽出部１７３Ａは、バッファに格納されているコンテンツから各メディア要素を抽出する（ステップＳ２０６）。そして、メディア要素抽出部１７３Ａは、抽出したメディア要素をバッファ制御部１５に送信し、バッファに格納させる。

また、同期再生制御部１７４Ａは、ステップＳ２０５において測定されたデータ転送時間に基づいて、再生装置において再生すべきデータが不足しないように、データ送信レートおよび送信データ量を決定する（ステップＳ２０７）。そして、同期再生制御部１７４Ａは、測定部１６Ａによって測定されたデータ転送時間に基づいて再生開始タイミングを決定する。すなわち、同期再生制御部１７４Ａは、各再生装置がメディア要素を受信するタイミングを合わせるように、再生装置のデータ転送時間に応じてメディア要素を送信するタイミングを再生装置ごとに決定する。

そして、同期再生制御部１７４Ａは、再生装置ごとに決定した送信タイミングにおいて、再生装置ごとに決定したデータ送信レートおよび送信データ量で、バッファに格納されているメディア要素を各再生装置に送信する（ステップＳ２０８）。以降、ステップＳ２０８は、ステップＳ２０７などにおいて決定されたデータ送信レートに応じて繰り返し実施される。再生装置は、メディア要素を受信すると、受信したメディア要素を順次再生する（ステップＳ２０９）。このとき、同期再生制御部１７４Ａは、各再生装置がほぼ同時にメディア要素を受信するようにメディア要素を送信しているので、同期再生が実現される。

なお、測定部１６Ａは、所定の時間間隔でデータ転送時間を測定してもよく、この場合、同期再生制御部１７４Ａは、測定されたデータ転送時間に応じてデータ転送レートおよび送信データ量を調整してもよい。

次に、情報再生システム１０Ａの作用効果について説明する。情報再生システム１０Ａは、複数の再生装置が同期してコンテンツを再生する情報再生システムである。第１携帯端末１Ａは、コンテンツを取得するデータ取得管理部１７１Ａと、データ取得管理部１７１Ａによって取得されたコンテンツに含まれる複数のメディア要素の各々を、複数の再生装置のいずれの装置で再生するか決定する再生パターン決定部１７２Ａと、第１携帯端末１Ａと複数の再生装置との間のデータ転送時間をそれぞれ測定する測定部１６Ａと、複数のメディア要素をコンテンツから抽出するメディア要素抽出部１７３Ａと、メディア要素抽出部１７３Ａによって抽出された複数のメディア要素の各々を、再生パターン決定手段１７２Ａによって決定された装置に、測定手段１６Ａによって測定されたデータ転送時間に基づくタイミングで再生させる同期再生制御部１７４Ａと、を備える。再生装置は、同期再生制御部１７４Ａによって送信されたメディア要素を再生する。

これにより、コンテンツに含まれる複数のメディア要素の各々を、複数の再生装置のいずれの装置で再生するかが決定されることにより、１つのコンテンツをメディア要素毎に分割して複数の装置において再生することができる。そして、第１携帯端末１Ａと複数の再生装置との間のデータ転送時間に基づいて、決定された装置においてメディア要素の各々を再生させることにより、第１携帯端末１Ａから各再生装置へのデータ転送により生じる遅延時間を考慮して、各装置における再生開始タイミングのずれを低減することができる。このため、複数の装置にメディア要素毎に分割された１つのコンテンツを同期して再生することが可能となる。

このように、情報再生システム１０Ａでは、第１携帯端末１Ａがリモコンのように使用され、第１携帯端末１Ａで取得または録画等したデータを複数の再生装置で同期再生する。この情報再生システム１０Ａによれば、複数の再生装置に再生処理の負荷を分散できる。さらに、情報再生システム１０Ａでは、例えば、ステレオ再生による音質向上などのようにユーザの好みに応じて再生装置を選択できることから、ユーザの満足度を向上することが可能となる。

なお、本発明に係る端末装置、情報表示システムおよび情報表示方法は上記実施形態に記載したものに限定されない。例えば、上記第１実施形態では、第１携帯端末１とストリーミングサーバ３とのネゴシエーションにおいて、第２携帯端末２とストリーミングサーバ３とのネゴシエーションと同様に、第１携帯端末１からストリーミングサーバ３に再生レートを通知し、ストリーミングサーバ３から第１携帯端末１にデータ送信レートの応答を送信する構成としてもよい。

また、上記第１実施形態では、ストリーミングデータの再生インターバルは、サンプリング可能な時間間隔であるが、再生インターバルをより短い時間間隔に設定することにより、同期再生制御の精度の向上が可能となる。

また、上記第１実施形態では、第１携帯端末１および第２携帯端末２が絶対時刻を保持していることを前提としているが、絶対時刻が正確でない場合もある。この場合、相対時刻を用いて同期再生制御を行ってもよい。例えば、第１携帯端末１は、設定時間［ｍｓｅｃ］後に再生を開始するという情報を含む再生開始要求を第２携帯端末２に送信する。そして、第１携帯端末１は、ＲＴＴによって設定時間の補正を行い、再生開始タイミングを調整する。具体的には、第２携帯端末２に再生開始要求を送信した時刻から（設定時間＋ＲＴＴ／２）後に再生を開始する。

また、上記第１実施形態では、再生パターン決定部１７２は、第１メディア要素および第２メディア要素の組合せの候補が複数存在する場合、第１携帯端末１のメモリ消費量および第２携帯端末２のメモリ消費量に応じて、第１メディア要素および第２メディア要素を決定してもよい。例えば、第１携帯端末１のメモリ消費量よりも第２携帯端末２のメモリ消費量が大きい場合には、処理負荷が小さいメディア要素を第２メディア要素としてもよい。また、第１携帯端末１のメモリ消費量よりも第２携帯端末２のメモリ消費量が小さい場合には、より多くのメディア要素を第２メディア要素としてもよい。

また、上記第１実施形態では、再生パターン決定部１７２は、第１メディア要素および第２メディア要素の組合せの候補が複数存在する場合、第１携帯端末１のバッテリー残量および第２携帯端末２のバッテリー残量に応じて、第１メディア要素および第２メディア要素を決定してもよい。例えば、第１携帯端末１のバッテリー残量よりも第２携帯端末２のバッテリー残量が多い場合には、処理負荷が大きいメディア要素を第２メディア要素としてもよい。また、第１携帯端末１のバッテリー残量よりも第２携帯端末２のバッテリー残量が少ない場合には、処理負荷が小さいメディア要素を第２メディア要素としてもよい。

さらに、再生パターン決定部１７２は、能力情報に含まれる１以上の情報を組み合わせて、第１メディア要素および第２メディア要素を決定してもよい。

また、再生パターン決定部１７２は、ストリーミングデータを構成するすべてのメディア要素を出力部１２によって出力装置１０７に表示し、ユーザによって第１メディア要素および第２メディア要素のいずれかに各メディア要素が設定されることによって、第１メディア要素および第２メディア要素を決定してもよい。

また、上記第１実施形態では、同期再生制御部１７４は、ストリーミングデータの分割データとともにストリーミングデータのＵＲＬ情報を送信しているが、これに限られず、分割データとは別にストリーミングデータのＵＲＬ情報を第２携帯端末２に送信してもよい。また、電源オフの操作がされた場合に、同期再生制御部１７４は、ストリーミングデータのＵＲＬ情報を第２携帯端末２に送信してもよい。すなわち、同期再生制御部１７４は、第１携帯端末１と第２携帯端末２との通信が切断される前に、ストリーミングデータのＵＲＬ情報を第２携帯端末２に送信すればよい。

また、上記第１実施形態では、ストリーミングデータのマルチデバイス再生について説明したが、マルチデバイス再生の対象となるデータは、ストリーミングデータに限られず、複数のメディア要素を含むデータであればよい。例えば、第１携帯端末１で撮影した動画データ、第１携帯端末１によって予め取得されたコンテンツ、音声及び文字付きのスライドショーなどが、情報再生システム１０におけるマルチデバイス再生の対象とされてもよい。

また、上記第１実施形態では、第１携帯端末１が受信したストリーミングデータを構成する複数のメディア要素を、第１携帯端末１と１台の第２携帯端末２とに分配して、各端末において分配されたメディア要素を同期再生する構成を中心に説明を行ったが、これに限定されない。例えば、第１携帯端末１が受信したストリーミングデータなどのコンテンツを構成する複数のメディア要素を、第１携帯端末１と２台以上の再生装置とに分配して、各端末において分配されたメディア要素を同期再生する構成としてもよい。この場合、第１携帯端末１は、メディア要素の再生を行わず、２台以上の再生装置にマルチデバイス再生を行わせてもよい。また、再生装置は、第２携帯端末２に限定されず、いずれかのメディア要素を再生可能な装置であってもよい。再生装置としては、例えば、パーソナルコンピュータ、スピーカおよびテレビなどがある。

また、上記第２実施形態において、情報再生システム１０Ａは、ストリーミングデータのマルチデバイス再生を行う場合には、ストリーミングサーバ３を備えてもよい。この場合、第１携帯端末１Ａは、第１携帯端末１と同様にして、ストリーミングサーバ３との処理を行ってもよい。

また、上記第２実施形態において、再生パターン決定部１７２Ａは、データ取得管理部１７１Ａによって取得されたコンテンツに含まれる複数のメディア要素の各々を、第１携帯端末１Ａ及び１以上の再生装置のいずれの装置で再生するか決定してもよい。すなわち、第１携帯端末１Ａは、いずれかのメディア要素を再生してもよく、再生装置は、コンテンツを構成する複数のメディア要素のうち、第１携帯端末１Ａによって再生されるメディア要素以外のメディア要素を再生してもよい。

１，１Ａ…第１携帯端末（携帯端末）、２…第２携帯端末（他の携帯端末、再生装置）、４…機器（再生装置）、１０，１０Ａ…情報再生システム、１６，１６Ａ…測定部（測定手段）、２８…切断検出部（切断検出手段）、１７１，１７１Ａ…データ取得管理部（第１データ取得手段）、１７２，１７２Ａ…再生パターン決定部（再生パターン決定手段）、１７３，１７３Ａ…メディア要素抽出部（メディア要素抽出手段）、１７４，１７４Ａ…同期再生制御部（第１同期再生制御手段）、２７１…データ取得管理部（第２データ取得手段）、２７４…同期再生制御部（第２同期再生制御手段）、２７５…継続再生制御部（継続再生制御手段）。

Claims (17)

1. 第１携帯端末と１以上の再生装置とが同期してコンテンツを再生する情報再生システムであって、
   前記第１携帯端末は、
   前記コンテンツを取得する第１データ取得手段と、
   前記第１データ取得手段によって取得された前記コンテンツに含まれる複数のメディア要素の各々を、前記第１携帯端末及び前記１以上の再生装置のいずれの装置で再生するか決定する再生パターン決定手段と、
   前記第１携帯端末と前記１以上の再生装置との間のデータ転送時間をそれぞれ測定する測定手段と、
   前記複数のメディア要素を前記コンテンツから抽出するメディア要素抽出手段と、
   前記メディア要素抽出手段によって抽出された前記複数のメディア要素の各々を、前記再生パターン決定手段によって決定された装置に、前記測定手段によって測定されたデータ転送時間に基づいて再生させる第１同期再生制御手段と、
   を備え、
   前記再生装置は、前記第１同期再生制御手段によって送信された前記メディア要素を再生することを特徴とする情報再生システム。
2. 前記再生装置は、１以上の第２携帯端末を含み、
   前記再生パターン決定手段は、前記第１データ取得手段によって取得された前記コンテンツに含まれる複数のメディア要素のうち、前記第１携帯端末において再生する第１メディア要素と、前記第２携帯端末に再生させる第２メディア要素とを決定し、
   前記第１同期再生制御手段は、前記メディア要素抽出手段によって抽出された前記複数のメディア要素のうち前記第２メディア要素を前記第２携帯端末に送信するとともに、前記測定手段によって測定された前記データ転送時間に基づいて決定された再生開始タイミングを前記第２携帯端末に通知して、前記再生開始タイミングに前記第１メディア要素を再生し、
   前記第２携帯端末は、
   前記第１同期再生制御手段によって送信された前記第２メディア要素を取得する第２データ取得手段と、
   前記第１同期再生制御手段によって通知された前記再生開始タイミングに、前記第２データ取得手段によって取得された前記第２メディア要素を再生する第２同期再生制御手段と、
   を備えることを特徴とする請求項１に記載の情報再生システム。
3. 前記再生パターン決定手段は、前記第１携帯端末および前記第２携帯端末の処理能力に基づいて、前記第１メディア要素および前記第２メディア要素を決定することを特徴とする請求項２に記載の情報再生システム。
4. 前記第２同期再生制御手段は、前記コンテンツの再生時間を区分した再生インターバルごとに、前記第２携帯端末における前記再生インターバルの再生終了時刻を前記第１携帯端末に通知し、
   前記第１同期再生制御手段は、前記第２同期再生制御手段によって通知された前記第２携帯端末における前記再生インターバルの再生終了時刻と、前記第１携帯端末における前記再生インターバルの再生終了時刻との差分に基づいて、前記第２携帯端末に再生レートを指示し、
   前記第２同期再生制御手段は、前記第１同期再生制御手段によって指示された前記再生レートで、前記第２メディア要素を再生することを特徴とする請求項２または請求項３に記載の情報再生システム。
5. 前記第１同期再生制御手段は、前記データ転送時間に基づいて決定された送信レートで、前記第２メディア要素を前記第２携帯端末に送信することを特徴とする請求項２〜請求項４のいずれか一項に記載の情報再生システム。
6. 前記測定手段は、前記コンテンツの再生時間を区分した再生インターバルごとに前記データ転送時間を測定し、
   前記第１同期再生制御手段は、測定された前記データ転送時間に基づいて、前記送信レートを調整することを特徴とする請求項５に記載の情報再生システム。
7. 前記第２携帯端末は、
   前記第１携帯端末が前記コンテンツを取得できない切断状態であるか否かを検出する切断検出手段と、
   前記切断検出手段によって前記第１携帯端末の切断状態が検出された場合に、前記第２携帯端末において前記コンテンツを継続して再生するように制御する継続再生制御手段と、
   をさらに備え、
   前記第１同期再生制御手段は、前記コンテンツのアドレス情報を前記第２携帯端末に送信し、
   前記第２データ取得手段は、前記切断検出手段によって前記第１携帯端末の切断状態が検出された場合に、前記第１同期再生制御手段によって送信された前記アドレス情報に基づいて、前記コンテンツの未再生部分を取得し、
   前記継続再生制御手段は、前記第２データ取得手段によって取得された前記コンテンツの未再生部分を再生することを特徴とする請求項２〜請求項６のいずれか一項に記載の情報再生システム。
8. 前記第２携帯端末は、
   前記第１携帯端末が前記コンテンツを取得できない切断状態であるか否かを検出する切断検出手段と、
   前記切断検出手段によって前記第１携帯端末の切断状態が検出された場合に、前記第２携帯端末において前記コンテンツを継続して再生するように制御する継続再生制御手段と、
   をさらに備え、
   前記第２データ取得手段は、前記切断検出手段によって前記第１携帯端末の切断状態が検出された場合に、前記第１携帯端末において再生されていない前記第１メディア要素を前記第１携帯端末から取得し、
   前記継続再生制御手段は、前記第２データ取得手段によって取得された前記第１メディア要素と前記第２携帯端末において再生されていない前記第２メディア要素とを用いて前記コンテンツを再構成することを特徴とする請求項２〜請求項６のいずれか一項に記載の情報再生システム。
9. 前記再生開始タイミングは、絶対時刻であることを特徴とする請求項２〜請求項８のいずれか一項に記載の情報再生システム。
10. 前記再生開始タイミングは、相対時刻であることを特徴とする請求項２〜請求項８のいずれか一項に記載の情報再生システム。
11. 前記コンテンツは、ストリーミングデータであることを特徴とする請求項１〜請求項１０のいずれか一項に記載の情報再生システム。
12. １以上の再生装置と同期してコンテンツを再生する携帯端末であって、
    前記コンテンツを取得するデータ取得手段と、
    前記データ取得手段によって取得された前記コンテンツに含まれる複数のメディア要素の各々を、前記携帯端末及び前記１以上の再生装置のいずれの装置で再生するか決定する再生パターン決定手段と、
    前記複数のメディア要素を前記コンテンツから抽出するメディア要素抽出手段と、
    前記携帯端末と前記１以上の再生装置との間のデータ転送時間をそれぞれ測定する測定手段と、
    前記メディア要素抽出手段によって抽出された前記複数のメディア要素の各々を、前記再生パターン決定手段によって決定された装置に、前記測定手段によって測定されたデータ転送時間に基づいて再生させる同期再生制御手段と、
    を備えることを特徴とする携帯端末。
13. 前記再生装置は、他の携帯端末を含み、
    前記再生パターン決定手段は、前記データ取得手段によって取得された前記コンテンツに含まれる複数のメディア要素のうち、前記携帯端末において再生する第１メディア要素と、前記他の携帯端末に再生させる第２メディア要素とを決定し、
    前記同期再生制御手段は、前記メディア要素抽出手段によって抽出された前記複数のメディア要素のうち前記第２メディア要素を前記他の携帯端末に送信するとともに、前記測定手段によって測定された前記データ転送時間に基づいて決定された再生開始タイミングを前記他の携帯端末に通知して、前記再生開始タイミングに前記第１メディア要素を再生することを特徴とする請求項１２に記載の携帯端末。
14. 前記同期再生制御手段は、前記コンテンツの再生時間を区分した再生インターバルごとに、前記他の携帯端末における前記再生インターバルの再生終了時刻と、前記携帯端末における前記再生インターバルの再生終了時刻との差分に基づいて、前記他の携帯端末に再生レートを指示することを特徴とする請求項１３に記載の携帯端末。
15. 前記測定手段は、前記コンテンツの再生時間を区分した再生インターバルごとに前記データ転送時間を測定し、
    前記同期再生制御手段は、測定された前記データ転送時間に基づいて調整された送信レートで、前記第２メディア要素を前記他の携帯端末に送信することを特徴とする請求項１３または請求項１４に記載の携帯端末。
16. 第１携帯端末と１以上の再生装置とが同期してコンテンツを再生する情報再生システムにおける情報再生方法であって、
    前記第１携帯端末において、
    前記コンテンツを取得する第１データ取得ステップと、
    前記第１データ取得ステップにおいて取得された前記コンテンツに含まれる複数のメディア要素の各々を、前記第１携帯端末及び前記１以上の再生装置のいずれの装置で再生するか決定する再生パターン決定ステップと、
    前記複数のメディア要素を前記コンテンツから抽出するメディア要素抽出ステップと、
    前記第１携帯端末と前記１以上の再生装置との間のデータ転送時間をそれぞれ測定する測定ステップと、
    前記メディア要素抽出ステップにおいて抽出された前記複数のメディア要素の各々を、前記再生パターン決定ステップにおいて決定された装置に、前記測定ステップにおいて測定されたデータ転送時間に基づいて再生させる第１同期再生ステップと、
    を備え、
    前記再生装置において、前記第１同期再生ステップにおいて送信された前記メディア要素を再生する再生ステップを備えることを特徴とする情報再生方法。
17. 前記再生装置は、１以上の第２携帯端末を含み、
    前記再生パターン決定ステップでは、前記第１データ取得ステップにおいて取得された前記コンテンツに含まれる複数のメディア要素のうち、前記第１携帯端末において再生する第１メディア要素と、前記第２携帯端末に再生させる第２メディア要素とを決定し、
    前記第１同期再生ステップでは、前記メディア要素抽出ステップによって抽出された前記複数のメディア要素のうち前記第２メディア要素を前記第２携帯端末に送信するとともに、前記測定ステップにおいて測定された前記データ転送時間に基づいて決定された再生開始タイミングを前記第２携帯端末に通知して、前記再生開始タイミングに前記第１メディア要素を再生し、
    前記第２携帯端末において、
    前記第１同期再生ステップにおいて送信された前記第２メディア要素を取得する第２データ取得ステップと、
    前記第１同期再生ステップにおいて通知された前記再生開始タイミングに、前記第２データ取得ステップにおいて取得された前記第２メディア要素を再生する第２同期再生ステップと、
    をさらに備えることを特徴とする請求項１６に記載の情報再生方法。