WO2005006748A1

WO2005006748A1 - メディア再生装置

Info

Publication number: WO2005006748A1
Application number: PCT/JP2003/008811
Authority: WO
Inventors: Seiya Shimizu
Original assignee: Fujitsu Limited
Priority date: 2003-07-10
Filing date: 2003-07-10
Publication date: 2005-01-20
Also published as: US20060034583A1; JP4134164B2; JPWO2005006748A1

Abstract

　分岐再生のあるストリーミングメディアに対し、各ビデオの繋ぎ目で発生していた非表示区間をなくし、シームレスな再生を実現する。スケジューリング部（２１）は、一方のメディアの再生後に連続再生または分岐再生する他方のメディアに対して、一方のメディアの再生処理終了時間から他方のメディアの再生処理開始時間までのタイムラグを除去するようにスケジューリングを施す。復号化処理部（２２）は、スケジューリングにもとづいて配分されたメディアの復号化処理を並列して行う複数のデコーダ（２２−１）～（２２−ｎ）を含む。表示制御部（２３）は、デコーダ（２２−１）～（２２−ｎ）からの再生出力の切替えを行い、再生されたメディアを表示する。

Description

メディア再生装置技術分野

本発明はメディァ再生装置に関し、特にストリ一ミングメディァの再生を行うメディア再生装置に関する。

明

背景技術

近年、イン夕一ネットを中心とする I Pネットワーク · トラフィックの爆発的な増大に伴い、画像 Z音声データの配信が盛ん書に行われており、さらなるサ一ビスの高度化、広域化が望まれている。ネットワークを使った配信サービスとして欠かせない技術にストリーミングメディァ配信がある。

ストリーミングメディアとは、時間軸にしたがって再生される音声や動画などのメディアのことである。ストリーミングメディアは、クライアント側のソフトウェアが再生する場合に、メディア全体が送信されている必要はなく、ある瞬間で再生するのに必要なだけのデータが送信されていればよい。このため、クライアント側では、ファイルを受信しながらの再生が可能であり（クライアント端末側での大容量の保存が不要）、これによりデータ量が膨大な長時間ビデオでも、クライアントはインタ一ネットで見ることができる。

ストリーミングメディァ配信の活用例としては、インタラクティブドラマや e — L e r n i n gなどがある。インタラクティブドラマは、視聴者の指示にもとづいて、ドラマの進行が変わるタイプの放送であり、例えば、視聴者がドラマ中の主人公に成り代って指示を出す度に、サーバ側では、指示にもとづく場面のピデォ映像を配信したりする。

また、 e— L e r n i n gは、自宅のパソコンからネットヮ一クを介してサーバにアクセスし、サーバの中にある教材コンテンツを使って学習を行う教育システムであり、生徒は、時間や場所の制約を受けずに、自分に適したレベルの学習を受けられる。また、サーバ側では、生徒の学習進度や生徒が提出した問題解答にもとづいて、難易度を変化させた教材ビデオを配信したりする。

一方、このようなストリーミングメディア配信で、複数ビデオをネットワーク経由で連続的にストリ一ミング再生すると、ビデオの繋ぎ目の部分でビデオ映像が表示されない時間帯が生じる。これはビデオの繋ぎ目で、前段のビデオが終了した後に、後段のビデオが再生開始するまでのタイムラグによるものである。図 2 6はビデオの繋ぎ目における非表示区間の発生を示す図である。ビデオ V 1を再生して、時間 t 1でビデオ V Iが再生終了し、時間 t 1以降ではビデオ V 2 - 1またはビデオ V 2 - 2のいずれかが再生（分岐再生）されるとする。

例えば、インタラクティブドラマでは、ビデオ V Iのドラマが進行中にクライアン卜が場面変更の指示を出して、時間 t 1でビデオ V 2— 1、ビデオ V 2 - 2 のいずれかの場面に変更するような場合や、 _e— L e r n i n gでは、ビデオ V 1の教材の問題に対してクライアントが解答を出したとき、解答の正誤によって、時間 t 1で難易度の異なるビデオ V 2— 1、ビデオ V 2 - 2のいずれかの教材に変更するような場合である。

このようなス！ ^一リ分岐のあるビデオ表示に対して、ビデオ V Iからビデオ V 2— 1へ分岐再生したとすると、ビデオの繋ぎ目部分である時間 t 1から即時に再生は行われず、タイムラグ後の時間 t 2からビデオ V 2一 1が再生開始することになり、時間 t l〜t 2の間は非表示区間となる。この非表示区間は、ストリーミングビデオの終了処理や初期化処理に起因している。

図 2 7は非表示区間の発生理由を示す図である。ビデオ V Iからビデオ V 2— 1へ分岐再生する場合、受信側のデコーダモジュールでは、ビデオ V Iの終了処理を行った後に、ビデオ V 2— 1の初期化処理を行い、その後に再生処理を行う。したがって、 1台のデコーダモジュールでストリーミングビデオの分岐再生を行うと、ビデオの繋ぎ目の部分で、前段ビデオの終了処理に要する時間と後段ビデオの初期化処理に要する時間△ sによる△ e + Δ sのタイムラグが生じ、この時間帯はビデオを表示することはできない。

タイムラグを見かけ上なくす従来技術としては、繰り返し再生の開始位置が指定された場合、出力の行われているデコーダとは別のデコーダで、繰り返し再生準備を行って、デコーダ出力を切り替える技術が提案されている（例えば、特許文献 1参照）。

また、ファイルの頭だし用のプリ口一ドデ一夕を分岐先候補画像のプリロード部分に挿入して、分岐先決定時にはプリロードデータを再生し、この間に後続の画像デ一タをロードする技術が提案されている（例えば、特許文献 2参照）。

特許文献 1

特開 2001— 203977号公報（段落番号〔0016〕〜〔006 6〕，第 1図）

特許文献 2

特開平 7— 79399号公報（段落番号〔0006〕〜〔0007〕，第 1図）

しかし、上記のような従来技術（特開 2001— 203977号公報）は、再生するビデオを複数繋げるものの、そのビデオの繋がりはあらかじめ一意に決まつていることを前提としており、分岐指定のパラメータが与えられるまで、どのビデオが分岐されるかがわからいようなインタラクティブドラマや e— L e r n i n gのようなサービスには適用することができない。

また、従来技術（特開平 7— 79399号公報）では、メディアとして CD— ROMを想定しており、かつ映像表示のタイムラグの原因として CD— ROMからの再生データの読込み時間を想定している。そのためタイムラグの解消方法として再生分岐先となるビデオデータのうち最初の区間を小サイズのプリロード画像として準備することを提案しており、ストリーミングでの配信に応用可能な技術とはいえない。発明の開示

本発明はこのような点に鑑みてなされたものであり、各ビデオの繋ぎ目で発生していた非表示区間をなくし、分岐再生のあるストリーミングメディアのシ一ムレスな再生を実現したメディァ再生装置を提供することを目的とする。

本発明では上記課題を解決するために、図 1に示すような、ストリーミングメディアの再生を行うメディア再生装置 20において、一方のメディアの再生後に連続再生または分岐再生する他方のメディァに対して、一方のメディァの再生処理終了時間から他方のメディアの再生処理開始時間までのタイムラグを除去するようにスケジューリングを施すスケジューリング部 2 1と、スケジューリングにもとづいて配分されたメディァの復号化処理を並列して行う複数のデコーダ 2 2 — 1〜2 2— nを含む復号化処理部 2 2と、デコーダ 2 2— 1〜2 2 _ nからの再生出力の切替えを行い、再生されたメディアを表示する表示制御部 2 3と、を有することを特徴とするメディア再生装置 2 0が提供される。

ここで、スケジューリング部 2 1は、一方のメディアの再生後に連続再生または分岐再生する他方のメディアに対して、一方のメディアの再生処理終了時間から他方のメディアの再生処理開始時間までのタイムラグを除去するようにスケジュ一リングを施す。復号化処理部 2 2は、スケジューリングにもとづいて配分されたメディアの復号化処理を並列して行う複数のデコーダ 2 2— 1〜 2 2— nを含む。表示制御部 2 3は、デコーダ 2 2— 1〜2 2— nからの再生出力の切替えを行い、再生されたメディアを表示する。

本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。図面の簡単な説明

図 1は、本発明のメディア再生装置の原理図である。

図 2は、本発明により非表示区間をなくしたストリーミングビデオ再生を示す図である。

図 3は、ストリ一ミングメディア配信システムの構成を示す図である。

図 4は、ストリーミングメディア配信システムの構成を示す図である。

図 5は、スケジューリング動作を示す図である。

図 6は、ビデオソースの構造を示す図である。

図 7は、ビデオソースの構造を示す図である。

図 8は、サブシナリオの構造を示す図である。

図 9は、シナリオの構造を示す図である。

図 1 0は、 XML形式のシナリオコンテンツ例を示す図である。

図 1 1は、サブシナリオの例を示す図である。図 1 2は、サブシナリオの例を示す図である。

図 1 3は、サブシナリオの例を示す図である。

図 1 4は、 3つの条件式を満たすビデオを示す図である。

図 1 5は、デコーダを選択する際の条件を示す図である。

図 1 6は、デコーダを選択する際の条件を示す図である。

図 1 7は、デコーダ配分アルゴリズムを示すフローチャートである。

図 1 8は、デコーダ配分アルゴリズムを示すフローチャートである。

図 1 9は、シナリオ管理部の構成を示す図である。

図 2 0は、同期コントローラの状態遷移を示す図である。

図 2 1は、初期化処理を行っている状態を示す図である。

図 2 2は、再生処理を行っている状態を示す図である。

図 2 3は、終了処理を行っている状態を示す図である。

図 2 4は、ビデオプレイヤの状態遷移を示す図である。

図 2 5は、ビデオプレイヤの可視 Z不可視の切替えを示す図である。

図 2 6は、ビデオの繋ぎ目における非表示区間の発生を示す図である。

図 2 7は、非表示区間の発生理由を示す図である。発明を実施するための最良の形態

以下、本発明の実施の形態を図面を参照して説明する。図 1は本発明のメディァ再生装置の原理図である。メディア再生装置 2 0は、クライアントの任意の操作により複数のビデオソースを切り替えて、ストリーミングメディアの再生表示を行う装置である。適用分野としては、ストリーミング配信によるインタラクテイブドラマや、生徒の学習進度や解答により難易度を変化させる e— L e r n i n gなどがあげられる。

スケジューリング部 2 1は、一方のメディアソース（ストリーミングビデオ）の再生後に連続再生または分岐再生する他方のメディァソ一スに対して、一方のメディアソースの再生処理終了時間から他方のメディアソースの再生処理開始時間までのタイムラグを除去するようにスケジューリングを施す。具体的には、シナリオ情報にもとづいて、一方のメディアソースの再生処理終了時間までに、他方のメディアソースの初期化処理が終了して、再生処理終了時間から他方のメディァソースの再生処理が可能となるようなスケジユーリングを行う。

復号化処理部 2 2は、複数のデコーダ 2 2— 1〜2 2— n (総称する場合はデコーダ 2 2とする）を含む。デコーダ 2 2 _：!〜 2 2— nは、スケジューリングにもとづいてそれぞれ配分（以下、割り当てとも呼ぶ）されたメディアソースの復号化処理（デコード：初期化処理、再生処理、終了処理の 3つの処理を含む）を並列して行う。

なお、復号化処理部 2 2は、図には示さないが、ストリーミングバッファを有し、ネットワークの不安定さを緩和して安定したビデオ再生を行うために、ストリ一ミングバッファで数秒〜数十秒のビットストリームを一時格納した後にデコ一ドを行う。

表示制御部 2 3は、表示切替えスィッチ 2 3 a、表示部 2 3 bを含み、デコーダ 2 2— 1〜2 2 _ nからの再生出力の切替えを行って、再生されたメディアソースを表示する。ここで、メディアソースとは、単一のメディアを意味する。以降ではメディア、メディアソースをビデオ、ビデオソースとも呼ぶ。

次に概略動作について説明する。図 2は本発明により非表示区間をなくしたストリーミングビデオ再生を示す図である。ビデオの分岐再生時、非表示区間をなくしてシームレスな再生を実現するためには、複数のデコーダを用意して、ビデォのデコードを並列で行えばよい。

簡単な例として、 2本のビデオ V 1、 V 2に対して、時間 t 1でビデオ V 1からビデオ V 2へ分岐再生する場合を考える。ビデオ V I、 V 2は、デコーダ 2 2 — 1、 2 2— 2へ振り分けられて、ビデオ V 1のデコードはデコーダ 2 2— 1で行い、ビデオ V 2のデコ一ドはデコーダ 2 2— 2で行うものとする。

このとき、一方のデコーダ 2 2— 1でビデオ V Iの再生処理が終了したら、他方のデコーダ 2 2 - 2では即時にビデオ V 2の再生処理が開始できるような状態になっていれば、従来、分岐再生時間 t 1で発生していた非表示区間をなくすことができる。

このため、スケジューリング部 2 1は、ビデオ V 1の再生処理終了時間 t 1 分岐再生時間）までに、少なくともビデオ V 2の初期化処理が終了して、時間 t 1からビデオ V 2の再生処理が開始できるようにスケジユーリングしておけばよい。

ビデオ V 2の初期化処理に要する時間を△ sとすると、デコーダ 2 2— 1が時間 t 0からビデオ V Iの再生処理の実行中、デコーダ 2 2— 2では、時間（t l - A s ) になるまでには、ビデオ V 2の初期化処理を開始しておく（すなわち、ビデオ V 2の初期化処理開始時間を t iとすると、 t O≤ t i≤ ( t— A s ) である）。そして、時間 t 1においては、デコーダ 2 2— 1は、ビデオ V Iの再生処理を終了して終了処理（終了処理に要する時間は A e ) を行い、デコーダ 2 2 一 2ではビデオ V 2の再生処理を行う（図では時間 t 2でビデオ V 2の再生処理は終了している）。

このようにして、デコーダ 2 2— 1、 2 2— 2にビデオ V I 、 V 2を割り当てて（スケジューリングして）デコードを行い、表示切替えスィッチ 2 3 aで時間 t 0〜t 1まではデコーダ 2 2— 1の出力を選択し、時間 t 1〜！： 2まではデコ —ダ 2 2— 2の出力を選択することで、表示部 2 3 bでは、非表示区間のないシームレスなビデオ表示を行うことが可能になる。

次にメディア再生装置 2 0を含むシステム全体の構成について説明する。図 3、図 4はストリーミングメディァ配信システムの構成を示す図である。ストリーミングメディア配信システム 1は、図 3に示すメディア配信サーバ 1 0と、図 4に示すメディア再生装置 2 0とから構成され、ネットヮ一ク 3を介して、ストリーミングメディアの配信を行う。

メディア配信サーバ 1 0は、ストリーミングサーバ 1 1、コンテンツサーバ 1 2から構成される。ストリーミングサーバ 1 1は、ビデオ V I〜ビデオ V nの各種ビデオコンテンツを保存管理する。ストリ一ミングサーバ 1 1は、通常の. HT T Pサーバであつて、 Real Serverや Windows Media Serverなどの既存製品が該当する。なお、シナリオ次第で複数個のストリーミンダサ一パを利用することになる。

コンテンツサーバ 1 2は、ビデオ V 1〜ビデオ V nのシナリオを保存管理する。なお、シナリオとは、ビデオコンテンツの再生手順が記述されているものである。例えば、ビデオ Aを時間 t aから時間 t bまで再生した後に、ビデオ Bに分岐して時間 t cから時間 t dまで再生する、といったような再生手順の内容（再生順番、分岐条件等）が記述されている。

メディア再生装置 2 0は、シナリオ管理部（スケジューリング部 2 1に該当） 2 1 a、復号化処理部 2 2、表示制御部 2 3、全体制御部 2 4、ユーザインタフェ一ス部 2 5から構成される。

ユーザインタフェース部 2 5は、再生するシナリオの指定（U R L入力）、シナリオの再生、停止、一時停止などをクライアントが指示するための G U I (Graphical User Interface) を提供し、キーボード、スィッチ、マウスなどに該当する。また、画面上のポタン操作により分岐パラメ一夕の設定（クライアントによる分岐画面の選択）を行うことができる。

全体制御部 2 4は、ユーザインタフェース部 2 5で入力したクライアントからの指示を各モジュールへの動作指示に変換する。例えば、シナリオの UR L入力があると、全体制御部 2 4は、シナリオ管理部 2 1 aに対してシナリオの読み込みを指示する。

シナリオ管理部 2 l aは、シナリオ配信要求をコンテンツサーバ 1 2に送信し、コンテンツサーバ 1 2に格納されているシナリオを取得する。そして、シナリオにもとづき、デコーダ割り当てのスケジューリングを行い、ストリ一ミンダサ一バ 1 1にビデオのス卜リ一ミング配信要求を通知する。

また、シナリオ管理部 2 l aは、ユーザインタフェース部 2 5からの外部入力により、分岐パラメ一夕を設定し、設定した分岐パラメ一夕をシナリオに記載された分岐条件と比較し、条件に合ったビデオを選択し、所定のデコーダに再生開始を指示する。

次にシナリオ管理部 2 1 aのスケジューリング動作について説明する。図 5はスケジュ一リング動作を示す図である。複数ビデオに対するスケジュ一リングを示している。ビデオ V 7、 V 8を連続再生した後に、分岐時間 T b lで、ビデオ V 9〜V 1 1の組またはビデオ V I 2、 V I 3の組のいずれかに分岐するシナリォに対して、クライアントの分岐パラメ一夕指示により、ビデオ V I 2、 V I 3 の組が分岐選択された場合を表している。

なお、ビデオ再生時間の前半に表示している点線の区間は初期化処理であり、すべてのビデオの初期化処理に要する時間間隔は Δ sとする。また、ビデオ再生時間の後半に表示している点線の区間は終了処理であり、すべてのビデオの終了処理に要する時間間隔は Δ eとする。

まず、シナリオ管理部 2 l aは、時間（Tb l+A s) の区間（図中、初期スケジユーリング区間）にビデオ再生を開始する可能性のあるビデオをデコーダ 2 2— 1〜22— 4に割り当てる。ここでは、時間（Tb l+A s) の区間には、ビデオ V7、 V8の他に、ビデオ V9、 VI 0、 VI 2も含まれる。

デコーダ 22— 1〜22— 4への割り当てとしては、デコーダ 22 - 1にビデォ V7、デコーダ 22— 2にビデオ V 8を割り当てる。また、分岐される一方の組の最初のビデオ V 9をデコーダ 22一 3へ割り当て、分岐される他方の組の最初のビデオ VI 2をデコーダ 22— 4へ割り当てる。さらに、ビデオ VI 0も初期スケジユーリング区間に入るので、最も速くデコード処理が終わるデコーダ 2 2—1にビデオ VI 0を割り当てる。

それぞれのビデオのデコード開始スケジューリング時間は、デコーダ 22- 1 は、時間 0. 0からビデオ V 7の再生処理を行う。デコーダ 22— 2は、ビデオ V 7の再生終了時間 T 1までにビデオ V 8の初期化処理が終了して、時間 T 1から再生処理を可能とするため、ビデオ V 8のデコード開始時間は、時間（T1一 Δ s ) となる。

デコーダ 22— 3は、分岐時間 T b 1までにビデオ V 9の初期化処理が終了して、分岐時間 Tb 1から再生処理を可能とするため、ビデオ V9のデコード開始時間は、時間（Tb l— A s) となる。同様にデコーダ 22— 4は、分岐時間 T b 1までにビデオ VI 2の初期化処理が終了して、分岐時間 Tb 1から再生処理を可能とするため、ビデオ VI 2のデコード開始時間は、時間（Tb l— A s) となる。

また、デコーダ 22 _ 1は、ビデオ V 9の再生終了時間 T 2までにビデオ V 1 0の初期化処理が終了して、時間 T 2から再生処理を可能とするため、ビデオ V 10のデコード開始時間は、時間（T2— A s) となる。

このような初期スケジュ一リング区間に対するスケジュ一リングが終わると、分岐時間 Tb 1より前の時間帯では、デコーダ 22— 1、 22— 2は、スケジュ一リングされた時間でビデオ V 7、 V 8をデコードし、デコーダ 22— 3、 22 一 4は、スケジューリングされた時間で、ビデオ V9、 VI 2の初期化処理を行ラ。

その後、分岐時間 Tb lになって、クライアントがビデオ VI 2、 13の組を選択したとする。すると、デコーダ 22— 4は、すでに初期化処理が終了しているビデオ VI 2の再生処理を開始する。また、選択されなかったビデオ V 9、 V 10が割り当てられたデコーダ 22— 1、 22— 3は開放する。

そして、次の分岐時間 Tb 2のスケジューリング区間（時間（Tb 2 + A s) —時間 Tb l) に対するスケジューリングを再び行う。この場合は、ビデオ VI 3がデコーダ 22-2に割り当てられて再生が続けられる。

また、表示切替えスィッチ 23 aは、時間 0. 0から時間 T1まではデコーダ 22- 1の出力を選択し、時間 T 1から時間 Tb 1まではデコーダ 22— 2の出力を選択し、時間 Tb lから時間 T3 (ビデオ VI 2の再生終了時間）まではデコーダ 22— 4の出力を選択し、時間 T3から時間 T4 (ビデオ VI 3の再生終了時間）まではデコーダ 22— 2の出力を選択する。

このようなスケジューリングを施して、デコード及び表示切替えを行うことにより、再生ビデオの繋ぎ目から非表示区間をなくすことができ、シームレスな再生表示が可能になる。

次にコンテンツサーバ 12に格納されるシナリオの構造について説明する。図 6はビデオソースの構造を示す図である。ビデオソース Vmは、 URL、 start, local starts duration, decoder の項目から構成される。 URLはビデオソ一ス実体の格納場所（アドレス）であり、 start はシナリオ時間内で再生開始する時間である。 local startは、ビデオ時間（ビデオローカル時間）での再生開始時間であり、 duration は、ビデオソースの再生時間間隔であり、 decoder は配分されるデコーダの I Dである。

図 7はビデオソースの構造を示す図である。図 6を図式化したものである。ビデォソース Vmの実体は、コンテンツサーバ 12のアドレス（URL) に格納されている。また、ビデオソース Vmの 1本の再生時間（ビデオ時間）に対し、 local start は、ビデオソース Vmの再生開始時間、 duration はビデオソース V mの再生時間であるので、例えば、ビデオソース Vmが 1時間のビデオで、開始 1 0秒後から 3 0秒後までを再生するならば、 local start は 1 0秒、 duration は 2 0秒となる。さらに、このビデオソース Vmが実際に再生される時間が、シナリオ時間としての startとなる。

図 8はサブシナリオの構造を示す図である。サブシナリオ s iは、サブシナリォ I D、ビデオソース配列、分岐時間、分岐条件、分岐先サブシナリオ配列の項目から構成される。なお、サブシナリオとは、分岐と分岐の間に挟まれたビデオのことである。例えば、図 5では、ビデオ V 7、 V 8が 1つのサブシナリオ、ビデォ V 9〜 V 1 1が 1つのサブシナリォ、ビデオ V 1 2、 V 1 3が 1つのサブシナリオに該当する。

ビデオソース配列は、サブシナリオ I Dに属する、図 6、図 7で上述したビデォソース Vmを、 startで昇順（再生時間の速い順）にソートして配列させる。分岐時間には実行時の分岐時間が格納し、分岐条件には実行時の分岐条件が格納される。分岐先サブシナリオ配列には、分岐先となるサブシナリオ I Dが格納される。

図 9はシナリオの構造を示す図である。図 5を例にしたシナリオ構造を示している。ビデオ V 7、 V 8がサブシナリオ s 1、ビデオ V 9〜 V 1 1がサブシナリォ s 2、ビデオ V 1 2、 V 1 3がサブシナリオ s 3とする。

サブシナリオ s 1は、ビデオソース配列にビデオソース V 7、 V 8が格納され、分岐先サブシナリオ配列として、サブシナリオ s 2、 S 3が格納されている。また、分岐先のサブシナリオ s 2には、ビデオソース配列にビデオソース V 9、 V 1 0、 V I I、 · · ·が格納され、分岐先のサブシナリオ s 3には、ビデオソース配列にビデオソース V 1 2、 V 1 3、 · · 'が格納される。

なお、具体的な表記例を、図 1 0〜図 1 3に示す。図 1 0は X M L (extensible markup language： S GM Lをべ一スに簡素化した、文書情報などの言語仕様を定義するための言語）形式のシナリォコンテンッのリスト Lを示しており、図 1 1〜図 1 3はサブシナリオ s l〜s 3の例を示す。

次に同一デコーダに対する配分アルゴリズムについて説明する。ここで、スケジューリング区間内に存在するビデオ（スケジュ一リング候補のビデオのこと）をビデオ V*mと記載する。例えば、図 5の場合、初期スケジューリング区間内に存在するビデオは、 V7〜V 10と V 12の 5個あるので、 V*m (m= 7〜 10、 12) であり、再生時間の速い順に、 V* 7=V7> V*8=V8、 V* 9 = V9、 V* 12=V 12, V* 10=V 10である。

今、複数のデコーダ 22— 1〜22—nの中の 1つのデコーダに、ビデオ V* maのデコードを割り当てたとする。このとき、次にデコードすべきビデオを V *mbとしたときに、ビデオ V*mbを再生すると、そのままビデオ V*m aの継続再生につながるような場合には（前段ビデオの終了処理及び後段ビデオの初期化処理が不要の場合には）、ビデオ V*mbは、ビデオ V*m aをデコードしているデコーダに割り当てることが望ましい。

したがって、ビデオ V*mbのデコーダへの割り当てを行う場合には、まず、すでに割り当てたビデオ V*m aとの関係を調べて、ビデオ V*m aと同じデコ —ダに割り当てるか否かの判断処理を行うことにする。この判断に用いる条件式は、以下の式（1 a) 、（1 b) 、 (1 c) であり、これら 3つの式が成り立てば、ビデオ V*mbは、ビデオ V*maと同じデコーダに割り当てることになる。

V*ma. URL = V*mb. URL … （l a)

V*ma. local start + V * m a . duration = V*mb . local start

… (l b)

V*ma. start+V*ma. duration= V*mb . start ··· ( 1 c ) 図 14は 3つの条件式（1 a) 、 (l b) , ( 1 c ) を満たすビデオ V*mb を示す図である。上記の式を図式化したものである。式（l a) は、ビデオ V* mbの URLと、ビデオ V*maの URLとが等しい（ビデオの実体が等しい）ことを表している。式（l b) は、ビデオ時間上で、ビデオ V*maの再生終了時間（=V*ma. local start+ V*m a . duration) と、ビデオ V*mbの再生開始時間（=V*mb. local start) とが等しいことを表している。

さらに、式（l c) は、シナリオ時間上で、ビデオ V*maの再生終了時間 ( = V*ma. start+V*ma. duration) と、ビデオ V *m bの再生開始時間 ( = V*mb. start) とが等しいことを表している。

式（l a) で、ビデオ V*mbがビデオ V*maと同じ URLであり、式（1 b) のビデオ時間上でビデオ V*maの終了時間と、ビデオ V*mbの開始時間とが一致し、式（l c) のシナリオ時間上でビデオ V*maの終了時間と、ビデォ V*mbの開始時間とがー致すれば、 1つのビデオ上の連続区間として再生できるので、ビデオ V*mbは、ビデオ V*maを割り当てた同じデコーダに割り当てる（ビデオ V*m aの終了処理と、ビデオ V*mbの初期化処理とが不要）。次に上記の条件式を満たさない場合のデコーダ配分について説明する。ビデオ V*maをデコーダに配分して、次にビデオ V*mbの配分を行う場合、上記で示した 3つの条件式（l a) 、（l b) 、（l c) を 1つでも満たさない場合には、時間 V*mb. start において、空きのあるデコーダを選択することになる。図 15、図 16はデコーダを選択する際の条件を示す図である。ビデオ V*m aの再生終了時間が T、ビデオ V*maの終了処理に要する時間が Δ e、ビデオ ¥*0113の再生開始時間が¥*111 . start, ビデオ V*mbの初期化処理に要する時間が Δ sとする。

このとき、ビデオ V*mbを時間（V*mb. start— A s) で再生処理が可能とするには、ビデオ V*maは、時間 Tまでにはビデオ V*maの再生処理が終了している必要がある。したがって、時間 V*mb. startで選択できるデコーダの条件は以下の式（2) となる。

(V*mb. start- Δ s ) ≥ (Τ + Δ e) ··· (2) 図 15は式（2) の等号が成り立つ場合、図 16は式（2) の不等号が成り立つ場合を図式化している。式（2) の右辺（T + Ae) は、該当デコーダが再利用可能となる時間を示しており、左辺（V*mb. start- Δ s) は、ビデオ V* maが指定時間 V*mb. start に再生可能となるための初期化開始期限を示している。左辺の値が右辺の値より小さい場合は、該当デコーダでは V*mb. start までに初期化を終了できないことを意味しており、ビデオ V*mbの処理は不可能とわかる。

次にシナリオ管理部 21 aにおける上記のデコーダ配分アルゴリズムのフローチャートを示す。図 17、図 18はデコーダ配分アルゴリズムを示すフロ一チヤ一卜である。

〔S 1〕ビデオソースの番号を示す mを初期化する（m— 1 ：図 5の初期スケジユーリング区間の場合では、 mは 7からである）。

CS 2] ビデオ V*mbをデコーダへ配分する際、式（l a) 、 (l b) 、 (1 c) のすベての条件を満たす、ビデオ V*maが配分されているデコーダの検索を行う。

〔S 3〕式（l a) 、 (l b) , (1 c) の条件を満たすデコーダがあればステップ S 5へいき、なければステツプ S 4へいく。

CS 4〕ビデオ V*maが配分されているデコーダにビデオ V*mbを配分する。ステップ S 10へいく。

〔S 5〕式（2) の条件を満たす、時間 V*mb. start における空きデコーダの検索を行う。

〔S 6〕式（2) の条件を満たすデコーダが 1個あればステップ S 7へいき、複数個あればステップ S 8へいき、存在しなければステップ S 9へいく。

CS 7) 該当する 1個のデコーダにビデオ V*mbを配分する。ステップ S 10 へいく。

〔S 8〕式（2) の条件を満たすデコーダ中で、最初にデコード処理が終了するデコーダにビデオ V*mbを配分する（初期化処理の Δ s及び終了処理の Δ eは、ネットワーク 3のトラフィック状態によって変動する可能性がある。このため、デコード処理が最初に終了して最も余裕のあるデコーダを選択する）。ステップ S 10へいく。

〔S 9〕すべてのデコーダ中で一番速くデコード処理が終了するデコーダにビデォ V*mbを配分する。

〔S 10〕 mを更新する（m— m+ 1) 。

CS 11〕スケジューリング区間内のすべてのビデオソースをデコーダに配分したならば終了し、そうでなければステツプ S 2へ戻る。

次にシナリオ管理部 21 aの詳細構成について説明する。図 19はシナリオ管理部 21 aの構成を示す図である。シナリオ管理部 2 l aは、シナリオパーザ (parser) 21 a— l、同期コントローラ 21 a— 2、スケジューラ 2 l a— 3、分岐判定部 21 a— 4から構成される。

シナリォパーザ 21 a— 1は、シナリォ読み込み指示がなされたときに、コンテンッサーバ 1 2と通信して該当するシナリオをダウンロードし、内部形式に変換する（シナリオをサーバから読み込み、サブシナリオに展開する）。読み込んだシナリオデータは、全体制御部 2 4経由で同期コントローラ 2 1 a— 2の再生対象としてセットされる。

同期コントローラ 2 1 a— 2は、シナリオがセットされると、デコーダ 2 2— 1〜2 2— nとスケジューラ 2 1 a— 3との同期を管理する。また、同期コントローラ 2 l a— 2は、全体制御部 2 4からシナリオ再生指示があると、微小時間 (例えば数 msec) 毎に周期起動されるようになる。この場合、シナリオ一時停止指定があると周期起動を中断し、かつシナリオ時間の増加も停止する。シナリォ停止指定があると周期起動を中断し、かつシナリオ時間を初期状態（0 . 0 sec) に戻す（詳細な状態遷移は図 2 0で後述する）。

スケジューラ 2 1 a _ 3は、図 1 7、図 1 8のフローチャートで上述したデコーダ配分アルゴリズムを実行する。分岐判定部 2 l a— 4は、ュ一ザイン夕フエース部 2 5を通じて設定された分岐パラメータを、シナリオに記載された分岐条件と比較し、条件に合ったビデオを選択して、選択指示を同期コントローラ 2 1 a _ 2に与える。

一方、ビデオ再生時間が再生中のサブシナリオの分岐時間に達すると（または分岐時間前に分岐が確定した場合）、同期コント口一ラ 2 1 a— 2は、分岐判定部 2 1 a— 4に次の分岐先サブシナリオを問い合わせる。分岐判定部 2 1 a— 4 は、ュ一ザイン夕フェース部 2 5により指定されている分岐パラメータとサブシナリオの分岐条件を比較し、次のサブシナリオを選択する。

次のサブシナリオ s i + 1が選択されると、同期コント口一ラ 2 1 a— 2は、選択されなかった分岐のビデオソースが配分されたデコーダ 2 2を開放すると共に、スケジューラ 2 1 a _ 3は新たなビデオソースをデコーダ 2 2に配分する。図 2 0は同期コントローラ 2 1 a— 2の状態遷移を示す図である。

〔S 2 1〕初期状態からシナリオ s iがセットされると、シナリオ停止状態へ遷移する。シナリオ停止状態では、周期起動が O F F、シナリオ時間 T s == 0 . 0 sec となる。シナリオ時間 T sは、同期コントローラ 2 1 a— 2が周期起動したときに、シナリオ再生開始からの経過時間を反映した時間である。 CS 22] シナリォ停止状態において、全体制御部 24からシナリォ再生指示 (Play) があると、シナリオ再生状態（周期起動 ON) へ遷移する。

〔S 23 a〕シナリオ再生状態において、全体制御部 24からシナリオ一時停止 (Pause) があると、シナリオ一時停止状態（周期起動 OFF) へ遷移する。〔S 23 b〕シナリオ再生状態において、全体制御部 24からシナリオ停止 (Stop) があると、シナリオ停止状態へ遷移する。

CS 24 a] シナリオ一時停止状態において、全体制御部 24からシナリオ再生指示（Play) があると、シナリオ停止状態（周期起動 OFF) へ遷移する。

〔S 24b〕シナリオ一時停止状態において、全体制御部 24からシナリオ停止 (Stop) があると、シナリオ再生状態へ遷移する。

次にデコーダ 22の動作について説明する。デコーダ 22は、ビデオ V*mに対して、初期化処理、再生処理、終了処理を行うが、現在時間（シナリオ時間 T sとする）において、どの処理を行っているかは以下の式（3 a) 、（3 b) 、 (3 c) にもとづく。

T s<V*m. start … （3 a)

V*m. start≤T s<V*m. start+V*m. duration … （3 b)

V*m. start +V*m. duration^ T s ··· (3 c) 以下、式（3 a) 、（3b) 、（3 c) の意味を図 21〜図 23を用いて説明する。図 21は初期化処理を行っている状態を示す図である。式（3 a) は、初期化処理を行う場合であり、現在のシナリオ時間 Tsが式（3 a) を満たし、かつ該当デコーダが停止している場合にはビデオ V*mの初期化処理が行われる。すなわち、ビデオ V*m_ 1が停止中ならば、ビデオ V*mの URLを設定してプリフェッチを行うことになる。プリフェッチとは、ビデオ再生の前処理のことであり（バッファリングや初期化処理などが含まれる）、ビデオを即時に再生可能な状態にもっていく処理のことである（プリフェッチ処理を行った後は、ュ一ザはスィツチを押せばすぐに映像が表示されることになる）。

図 22は再生処理を行っている状態を示す図である。ビデオ時間で現在再生されている位置を再生位置 pとして、この再生位置 pをシナリオ時間 T sとすると、 Tsが満たす条件が式（3 b) となる。ビデオ V*mの再生開始時間は、シナリォ時間で見ると、（V*m. local start +V*m. start— Ts) secである。

図 23は終了処理を行っている状態を示す図である。式（3 c) は、終了処理を行う場合であり、現在のシナリオ時間 Tsが式（3 c) を満たす場合にはビデォ V*mの終了処理が行われる。すなわち、ビデオ V*mが再生中で、シナリオ時間 Tsが V*m. start+V*m. duration を過ぎたらすみやかに再生を終了する（停止状態に遷移する）。

なお、上記の式（3 a) は、 m=lのとき、すなわち稼動しているデコーダが存在しないときは、この条件のみが適用される。また、ビデオ V*mが式（3 c) を満たした場合でも、図 14で上述した式（1 a) 、 (l b) , (1 c) をを満たすビデオ V*m+ 1が存在する場合は、後段のビデオ V*m+ 1の式（3 b) の条件による再生を優先する（ビデオ V*mのデコード終了条件を満たしていても、ビデオ V*mに継続する V*m+ 1が存在する場合は、ビデオ V*m+ 1 の再生条件を優先する）。すなわち、同じデコーダ V*m.decodei' (=V*m + 1.decoder) において、同一 UR Lのビデオが連続的に再生され続けることになる。

さらに、式（3 a) でプリフェッチ状態への遷移がおきたにもかかわらず、プリフエツチ遷移が完了せずに式（3 b) の条件に合致してしまった場合（すなわち、初期化処理が延長してしまい、 V*m. start に達してしまった場合）、そのデコードは再生を開始することができない。この場合、プリフェッチ遷移完了まで Ts=V*m. startから T sを増加させないようにして（ビデオ再生可能状態に遷移）、プリフェッチが完了次第、ビデオ再生状態に遷移して、 Tsの増加を再開する（再生開始時間を遅らせるということ）。

次にデコーダ 22及び表示制御部 23の状態遷移について説明する。デコーダ 22及び表示制御部 23を含めて、以下、ビデオプレイヤと記す。図 24はビデォプレイヤの状態遷移を示す図である。

〔S 31〕停止状態からビデオ V*m. URLがセットされると、プリフェッチ状態へ遷移する。

〔S 32〕プリフェッチ状態において、プリフェッチが完了すると、ビデオ再生可能状態へ遷移する。〔S 3 3 a〕ビデオ再生可能状態（動画の一時停止かつ不可視状態）において、ビデオ再生（Play) があると、ビデオ再生に遷移する。

〔S 3 3 b〕ビデオ再生可能状態において、ビデオ停止（Stop) があると、停止状態に遷移する。

〔S 3 4 a〕ビデオ再生状態（動画の可視状態）において、ビデオ一時停止 (Pause) があると、ビデオ再生可能状態へ遷移する。

〔S 3 4 b〕ビデオ再生状態において、ビデオ停止（Stop) があると、停止状態に遷移する。

図 2 5はビデオプレイヤの可視 Z不可視の切替えを示す図である。ビデオプレィャでは、画面 2 3 b— 1の中の同一領域に対して、複数のビデオ再生画（メディァプレイヤ画面）をスケジューリングにもとづき作成しておく（重畳表示可能にしておく）。

そして、各メディアプレイヤ画面に対して、不可視（ビデオ再生可能状態）とするには、属性が "hidden" となり、可視（ビデオ再生状態）とするには、属性が " visible" となることで画面表示を行う。このように、あらかじめ再生画を作成しておき、可視/不可視の属性を変えることで、スイッチング機能を行うことになり、所望の画面を表示する。

このように、本発明によれば、複数のストリーミングが配信されるビデオシナリオにおいて、クライアント指示により分岐がある場合でも、シナリオに記述したとおりの順番で、かつ各ビデオの繋ぎ目部分で非表示がなく、なめらかにビデォを連続して再生することが可能になる。

以上説明したように、本発明のメディア再生装置は、一方のメディアの再生処理終了時間から他方のメディアの再生処理開始時間までのタイムラグを除去するように、複数のデコーダにスケジューリングを施し、デコーダからの再生出力の切替えを行ってメディアを表示する構成とした。これにより、分岐再生のあるストリーミングメディアに対し、各ビデオの繋ぎ目で発生していた非表示区間をなくすことができるので、シームレスなビデオ再生を実現することが可能になる。上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

Claims

請求の範囲

1 . ストリ一ミングメディァの再生を行うメディァ再生装置において、

一方のメディアの再生後に連続再生または分岐再生する他方のメディアに対して、一方のメディアの再生処理終了時間から他方のメディアの再生処理開始時間までのタイムラグを除去するようにスケジユーリングを施すスケジュ一リング部と、

前記スケジユーリングにもとづいて配分されたメディァの復号化処理を並列して行う複数のデコーダを含む復号化処理部と、

デコーダからの再生出力の切替えを行い、再生されたメディアを表示する表示制御部と、

を有することを特徴とするメディア再生装置。

2 . 前記スケジューリング部は、分岐時間を T b、メディアの初期化処理に要する時間を Δ sとした場合に、時間（T b + A s ) をスケジューリング区間とし、前記スケジューリング区間に含まれるメディアをスケジューリング候補とすることを特徴とする請求の範囲第 1項記載のメディァ再生装置。

3 . 前記スケジューリング部は、分岐時間に到達した場合、または分岐時間前に分岐が確定した場合は、分岐しなかったメディァが配分されたデコーダは開放し、開放されたデコーダにあらたな分岐先ビデオの再配分を行うことを特徴とする請求の範囲第 1項記載のメディァ再生装置。

4. 前記スケジューリング部は、デコーダに第 1のメディアを配分して、次に第 2のメディアの配分を行う場合、第 1のメディアと第 2のメディアとのメディァ実体の格納場所が等しく、かつメディア時間上で、第 1のメディアの再生終了時間と第 2のメディアの再生開始時間が等しく、かつシナリオ時間上で、第 1のメディァの再生終了時間と第 2のメディァの再生開始時間とが等しい場合には、第 2のメディァは、第 1のメディァを配分した同じデコーダに配分することを特徴とする請求の範囲第 1項記載のメディァ再生装置。

5 . 前記スケジューリング部は、第 1のメディアの再生終了時間を T、第 1のメディァの終了処理に要する時間を Δ e、第 2のメディァの再生開始時間を V * m b . start, 第 2のメディアの初期化処理に要する時間を Δ sとした場合、

(V *m b . start - Δ s ) ≥ (Τ + Δ e )

の条件式を満たすデコーダに対して、第 2のメディアを配分することを特徴とする請求の範囲第 1項記載のメディァ再生装置。

6 . 前記デコーダは、デコード対象のメディアを V *m、現在のシナリオ時間を T s、メディア V *mのシナリオ時間での再生処理開始時間を V*m. start とした場合に、

T s <V *m. start

の第 1の条件を満たす場合には初期化処理を行い、

V *m. start≤T s <V*m. start+ V*m. duration

の第 2の条件を満たす場合には再生処理を行い、

V*m. start + V *m. duration^ T s

の第 3の条件を満たす場合には終了処理を行うことを特徴とする請求の範囲第 1 項記載のメディァ再生装置。

7 . 前記デコーダは、前記第 3の条件を満たしていても、第 1のメディアと第 2のメディアとのメディア実体の格納場所が等しく、かつメディア時間上で、第 1のメディアの再生終了時間と第 2のメディアの再生開始時間が等しく、かつシナリォ時間上で、第 1のメディァの再生終了時間と第 2のメディァの再生開始時間とが等しいビデオ V *m+ 1が存在する場合は、ビデオ V *m+ 1の前記第 2 の条件による再生を優先することを特徴とする請求の範囲第 6項記載のメディア再生装置。

8 . 前記デコーダは、前記第 1の条件で初期化処理を含むプリフェッチ状態への遷移がおきたにもかかわらず、プリフェッチ遷移が完了せずに前記第 2の条件に合致した場合は、プリフェッチ遷移が完了するまでは、再生開始時間であるシナリオ時間を増加させず、プリフェッチが完了した後に、再生状態に遷移して、シナリォ時間を増加することを特徴とする請求の範囲第 6項記載のメディァ再生装置。