JP3789854B2

JP3789854B2 - Live distribution server and live distribution method

Info

Publication number: JP3789854B2
Application number: JP2002170512A
Authority: JP
Inventors: 透有賀; 政寛山田; 智子伊藤; 誠中村
Original assignee: エヌ・ティ・ティ・コムウェア株式会社
Priority date: 2002-06-11
Filing date: 2002-06-11
Publication date: 2006-06-28
Anticipated expiration: 2022-06-11
Also published as: JP2004015750A

Description

【０００１】
【発明の属する技術分野】
本発明は、マルチメディアコンテンツをライブ配信するライブ配信サーバ、及びライブ配信方法に関し、特に、複数のライブ映像を一つの画面で同期表示し、また、ライブ映像とライブ閲覧者からのコミュニケーション情報（例えば、チャット）とを１つの画面でリアルタイムで同期表示し、さらに、同期表示させたライブ配信データを保存し、オンデマンドで閲覧する機能を有する、ライブ配信サーバ、及びライブ配信方法に関する。
【０００２】
【従来の技術】
現在、マルチメディアコンテンツ（単に、「コンテンツ」ともいう）のライブ配信は、配信者側から閲覧者側への一方通行的なものであり、ライブ配信を利用して同じコンテンツを見ているユーザ間でコミュニケーションを行うことができない。コミュニケーションを行おうとした場合、以下のようなものを利用しなければならない。
（１）Ｗｅｂブラウザで閲覧できるようなチャットルームを形成しておき、ライブ配信ページとリンクしておき、ユーザ間での利用を促す。
（２）ライブ放送のページをログインが必要な構造にしておき、閲覧している人のリストを作り、ユーザ同士でのコミュニティを形成させる。
（３）ＩＲＣチャット、インスタントメッセンジャーなどでライブ閲覧者用のチャンネルを作成し、同じコンテンツを閲覧している人に参加を促す。
【０００３】
【発明が解決しようとする課題】
以上説明したように、従来のライブ配信システムでは、以下に示す課題がある。
（１）現状で存在するマルチメディアコンテンツのライブ配信システムでは、ライブ配信とコミュニケーション機能との連携が取れておらず、ライブ配信者側の一方的な映像情報の配信になりがちである。
（２）ライブ配信と共にチャットなどのコミュニケーションを行ったとしても、それは一時的なものであり、後から、ライブの特定部分でどのようなコミュニケーションを行っていたかを探し出して確認することは難しい。
（３）チャットなどのコミュニティに存在する人と、存在しない人は、同時に同じコンテンツを見ることができない。
【０００４】
本発明はこのような問題を解決するためになされたもので、その目的は、複数のライブ映像を一つの画面で同期表示し、また、ライブ映像とライブ閲覧者からのコミュニケーション情報（例えば、チャット入力）とを１つの画面でリアルタイムで同期表示し、さらに、同期表示させたライブ配信データを保存し、オンデマンドで閲覧する機能を有する、ライブ配信サーバ、及びライブ配信方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明のライブ配信サーバは、マルチメディアコンテンツのライブ映像を配信するライブ配信サーバと、該ライブ配信サーバを介してライブ映像を配信するクライアントの端末と、ライブ映像を閲覧するクライアントの端末とが通信ネットワークで接続されたライブ配信システムにおける前記ライブ配信サーバであって、前記ライブ配信を行うクライアントの端末から、ライブ配信する画面内の１または２以上のレイアウトの指定情報と各レイアウトごとの属性情報を受信しデータベースに保存するためのレイアウト及び属性情報格納手段と、前記ライブ配信を行うクライアントの端末から送信されるライブ映像を、前記データベースを参照して指定されたレイアウトに割り当て、各レイアウトのライブ映像を同期させてライブ配信するためのライブ映像同期配信手段と、配信されたライブ映像を閲覧中のクライアントの端末から、該クライアントが入力するコミュニケーション情報とレイアウト指定情報を受信した場合には、前記データベースを参照して指定されたレイアウトに割り当て、該コミュニケーション情報を前記ライブ映像と同期させてライブ配信するためのコミュニケーション情報同期配信手段とを具備することを特徴とする。
これにより、配信されるライブ映像を閲覧しながら、チャットなどのコミュニケーション情報を同じ画面上でリアルタイムで表示できる。
【０００６】
また、本発明のライブ配信サーバは、前記ライブ映像同期配信手段およびコミュニケーション情報同期配信手段として、各レイアウトの配信データを含む同期マルチメディア言語ファイルを生成する同期マルチメディア言語ファイル生成手段を用いることを特徴とする。
これにより、同期マルチメディア言語の機能を活用して、ライブ映像とコミュニケーション情報との同期制御が容易に行えるようになる。
【０００７】
また、本発明のライブ配信サーバは、前記コミュニケーション情報がテキスト文字のチャット情報を含むマルチメディアコンテンツであることを特徴とする。
これにより、クライアントは、配信されるライブ映像を閲覧しながら、同じ画面上でチャット、動画、静止画、音声によりコミュニケーションを行うことができる。
【０００８】
また、本発明のライブ配信サーバは、前記ライブ映像を閲覧するクライアントの端末から、閲覧するレイアウトの選択情報を受信するためのレイアウト選択情報受信手段と、前記レイアウト選択情報受信手段により選択されたレイアウトの部分についてのみ、当該クライアントの端末に対してライブ映像を配信するためのライブ配信手段とをさらに具備することを特徴とする。
これにより、クライアントは自分の見たい映像だけを選択して見ることができる。
【０００９】
また、本発明のライブ配信サーバは、前記ライブ映像とクライアントが入力するコミュニケーション情報とを含むライブ配信データをライブデータデータベースに格納するためのライブデータ格納手段と、前記クライアントの端末からの要求により、前記ライブデータデータベースに格納されたライブ配信データをクライアントの端末に配信するためのオンデマンド配信手段とをさらに具備することを特徴とする。
これにより、クライアントは見落としたライブ映像や、再度確認したいライブ映像をオンデマンドで閲覧することができる。
【００１０】
また、本発明のライブ配信サーバは、前記ライブ配信を行うクライアントの端末から、ライブ配信する画像内のレイアウトの指定情報と各レイアウトごとの属性情報を受信する際に、さらに各レイアウトごとのアクセス制限情報として、閲覧できるクライアントの選択情報と閲覧できるクライアント数の制限情報のいずれかまたは両方を受信し、該アクセス制限情報を基に、クライアントの端末からのアクセスを制限するためのコンテンツアクセス管理手段をさらに具備することを特徴とする。
これにより、ライブ配信者は個人的な仲間内でのライブ放送と、情報の交換が行えるようになる。また、サーバ管理者が課金を行うことも容易になる。
【００１１】
また、本発明のライブ配信方法は、マルチメディアコンテンツのライブ映像を配信するライブ配信サーバと、該ライブ配信サーバを介してライブ映像を配信するクライアントの端末と、ライブ映像を閲覧するクライアントの端末とが通信ネットワークで接続されたライブ配信システムにおける前記ライブ配信サーバで使用されるライブ配信方法であって、前記ライブ配信を行うクライアントの端末から、ライブ配信する画面内の１または２以上のレイアウトの指定情報と各レイアウトごとの属性情報を受信しデータベースに保存するためのレイアウト及び属性情報格納手順と、前記ライブ配信を行うクライアントの端末から送信されるライブ映像を、前記データベースを参照して指定されたレイアウトに割り当て、各レイアウトのライブ映像を同期させてライブ配信するためのライブ映像同期配信手順と、配信されたライブ映像を閲覧中のクライアントの端末から、該クライアントが入力するコミュニケーション情報とレイアウト指定情報を受信した場合には、前記データベースを参照して指定されたレイアウトに割り当て、該コミュニケーション情報を前記ライブ映像と同期させてライブ配信するためのコミュニケーション情報同期配信手順とを含むことを特徴とする。
これにより、配信されるライブ映像を閲覧しながら、チャットなどのコミュニケーション情報を同じ画面上でリアルタイムで表示できる。
【００１２】
また、本発明のコンピュータプログラムは、マルチメディアコンテンツのライブ映像を配信するライブ配信サーバと、該ライブ配信サーバを介してライブ映像を配信するクライアントの端末と、ライブ映像を閲覧するクライアントの端末とが通信ネットワークで接続されたライブ配信システムにおける前記ライブ配信サーバ内のコンピュータに、前記ライブ配信を行うクライアントの端末から、ライブ配信する画面内の１または２以上のレイアウトの指定情報と各レイアウトごとの属性情報を受信しデータベースに保存するためのレイアウト及び属性情報格納手順と、前記ライブ配信を行うクライアントの端末から送信されるライブ映像を、前記データベースを参照して指定されたレイアウトに割り当て、各レイアウトのライブ映像を同期させてライブ配信するためのライブ映像同期配信手順と、配信されたライブ映像を閲覧中のクライアントの端末から、該クライアントが入力するコミュニケーション情報とレイアウト指定情報を受信した場合には、前記データベースを参照して指定されたレイアウトに割り当て、該コミュニケーション情報を前記ライブ映像と同期させてライブ配信するためのコミュニケーション情報同期配信手順とを実行させるためのプログラムである。
【００１３】
また、本発明は、マルチメディアコンテンツのライブ映像を配信するライブ配信サーバと、該ライブ配信サーバを介してライブ映像を配信するクライアントの端末と、ライブ映像を閲覧するクライアントの端末とが通信ネットワークで接続されたライブ配信システムにおける前記ライブ配信サーバ内のコンピュータに、前記ライブ配信を行うクライアントの端末から、ライブ配信する画面内の１または２以上のレイアウトの指定情報と各レイアウトごとの属性情報を受信しデータベースに保存するためのレイアウト及び属性情報格納手順と、前記ライブ配信を行うクライアントの端末から送信されるライブ映像を、前記データベースを参照して指定されたレイアウトに割り当て、各レイアウトのライブ映像を同期させてライブ配信するためのライブ映像同期配信手順と、配信されたライブ映像を閲覧中のクライアントの端末から、該クライアントが入力するコミュニケーション情報とレイアウト指定情報を受信した場合には、前記データベースを参照して指定されたレイアウトに割り当て、該コミュニケーション情報を前記ライブ映像と同期させてライブ配信するためのコミュニケーション情報同期配信手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１４】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
まず、本明細書で使用する用語について、ここで定義しておく。
・マルチメディアコンテンツとは、動画像、音声、テキスト、静止画像を指す。なお、本明細書では、マルチメディアコンテンツを単に「コンテンツ」ともいう。
・ライブ予約とは、コンテンツを配信するユーザが、コンテンツを通信ネットワーク上にライブ配信するライブ配信サーバに対して、配信時間枠を予約することを指す。
・エンコードとは、ネットワークの配信帯域にあわせて、コンテンツ（映像や音声データのファイル）をストリーミング形式に変換（ストリーミング再生用に圧縮する）ことを指す。
・同期マルチメディア言語とは、動画、静止画、音声、音楽、文字など様々な形式のデータの再生を制御して同期させるＸＭＬベースのマークアップ言語である。再生するクリップを、どの位置（領域）に、どのタイミングで、どのくらいの時間表示するのか、といったことを制御することができる。例としてＷ３Ｃにより勧告された「SMIL（Synchronized Multimedia Integration Language）」などがある。
【００１５】
［本発明の概念説明］
ユーザがライブ放送等を見ながら、同じライブを閲覧しているユーザとコミュニケーションを図ろうとした場合、現在のシステムでは、ライブ放送とは別にチャットルーム等のコミュニケーションシステムを用意する必要がある。
【００１６】
このため、以下に示す機能を有するシステムの提供が必要とされている。
（１）ライブ配信を見ながら同じ画面上で、ユーザがリアルタイムでチャット（または動画、静止画、音声情報など）などの情報を入力してコミュニケーションを図ることが可能であること
（２）ライブ画面の好きな所（領域）にメッセージなどの書き込みや、動画、静止画などを挿入することができること
（３）複数のライブ映像を管理し、１つの動画として放送することが可能なこと
（４）システムコミュニケーションを中心としたライブ放送の実現も可能であること（例えば、チャットルームの中で、人数が揃った場合に、同じ画面で皆でライブ放送を見るようなこと）
（５）ライブ映像と、ライブ映像画面中にユーザが入力したコミュニケーション情報（チャット、動画、静止画、音声情報など）の内容を保存し、後からオンデマンドで閲覧及び検索が可能であること
【００１７】
上記の要求を満たすために、本発明のライブ配信サーバは、ライブ放送の際に、該ライブ放送と同期して、ユーザが同じ画面上でチャットなどのコミュニケーション情報の交換をリアルタイムで行うことを可能にすると共に、配信データを保存しオンデマンドで閲覧することを可能にするために、以下の機能を備えている。
・複数のカメラからの映像を制御し、複数のレイアウトで同時に配信する機能
・ライブ放送の映像と、チャットなどのユーザが入力するコミュニケーション情報とを同一の画面で配信する機能
・ユーザからのコミュニケーション情報（チャット、動画、静止画、音声情報など）の入力があると、ライブ放送画像中にリアルタイムで反映する機能
・ユーザからのコミュニケーション情報（チャット、動画、静止画、音声情報など）を入力する際に、ライブ放送のどの場所に表示するか指定する機能
・ライブ放送画像と、ユーザが入力するコミュニケーション情報（チャット、動画、静止画、音声情報など）の内容とを１つのコンテンツとして保存する機能
・ユーザ（ライブ配信者）がライブ配信の予約時に、画面のレイアウトの指定、及び各イアウトごとに閲覧する人数などを設定する機能
・チャットルーム中で、チャット参加中のユーザがライブ配信を行い、閲覧者間で共有する機能
【００１８】
なお、上記各機能については、以下で順次詳細に説明する。
【００１９】
［ライブ配信システムの構成と動作概要］
図１は、本発明のライブ配信サーバを使用したライブ配信システムの構成と動作概要を説明するための図であり、本例のライブ配信システムは、ライブ配信サーバ２が中核となり、ライブ配信サーバ２と、ライブ配信者端末３と、クライアント端末４（ライブ閲覧者）と、チャット参加者端末５とが通信ネットワーク１により接続されて構成される。
【００２０】
図１に示すライブ配信システムでは、以下のように動作する。
（１）ライブ配信者端末３では、カメラ映像３ａまたは動画ファイル３ｂから動画を取り込み（矢付線ａ）、ライブ配信サーバ２にライブ映像データを送信する（矢付線ｂ）。
（２）ライブ配信サーバ２は、ライブ配信者端末３から受信したライブ映像データを、クライアント端末４およびチャット参加者端末５に配信する（矢付線ｃ）。
（３）チャット参加者端末５からライブ配信サーバ２に、チャット参加者が入力したチャットのメッセージが送信される（矢付線ｄ）。
（４）ライブ配信サーバ２では、チャット参加者端末５から受信したチャットデータをライブ映像データに付加して、クライアント端末４およびチャット参加者端末５に配信する（矢付線ｃ）。
（５）また、ライブ配信サーバ２は、配信した内容（ライブ映像データとチャットデータ）を１つのコンテンツとして保存する（矢付線ｅ）。
【００２１】
なお、図１に示す例では、ライブ画像中にユーザ（チャット参加者）がリアルタイム送信するコミュニケーション情報として、チャット（テキスト文による情報）を入力する例を示しているが、ユーザは、ライブ画像中に動画、静止画などのマルチメディア情報を入力して表示することもできる。
【００２２】
［ライブ配信システムの構成例］
また、図２は、本発明のライブ配信サーバを用いたライブ配信システムの構成例を示す図であり、本発明に直接関係する部分について示したものである。
【００２３】
図２に例示するライブ配信システムは、ライブ配信サーバ１００と、クライアントであるライブ配信者１０のライブ配信者端末１１と、クライアントであるライブ閲覧者２０のライブ閲覧者端末２１とが通信ネットワーク１を介して接続されて構成される。なお、ライブ配信者１０及びライブ閲覧者２０は予めライブ配信サーバ１００に登録されたユーザであり、ユーザＩＤ（識別コード）やユーザ認証情報（パスワードなど）が発行されているユーザである。
【００２４】
ライブ配信者１０は、映像や音声などのマルチメディアコンテンツを作成し、ライブ配信サーバ１００にライブ配信（ストリーミングによるリアルタイム配信）を予約し、ライブ予約で指定した時間にライブ配信を行うクライアントである。
ライブ配信者１０のライブ配信者端末１１には、以下の機能（又は装置）が備えられている。
・通信装置１２は、ライブ配信者端末１１を通信ネットワーク１と接続するための装置である。
・カメラ１３は、ライブ配信するためのライブ映像を撮影する装置である。
・エンコード機能１４は、カメラから取り込まれるライブ映像を圧縮してサーバ１００側へ送信するための機能である。
・入力装置１５は、キーボード、マウス等の入力装置である。
・表示装置１６は、液晶やＣＲＴなどのディスプレイ装置である。
【００２５】
ライブ閲覧者２０は、ライブ配信サーバ１００から配信されるライブを閲覧し、チャットに参加するクライアントであり、ライブ閲覧者２０のライブ閲覧者端末２１には、以下の機能（又は装置）が備えられている。
・通信装置２２は、ライブ閲覧者端末２１を通信ネットワーク１と接続するための装置である。
・メディア再生プレイヤー２３は、ライブ配信される映像や音声などを再生する処理部であり、専用のソフトウェアにより再生が行われる。例えば、ＲｅａｌＰｌａｙｅｒ（登録商標）などがある。
・チャット入力機能２４は、メディア再生プレイヤー２３によりマルチメディアコンテンツを再生中に、そのコンテンツに対して、チャットの情報を入力するための機能である。
・入力装置２５は、キーボード、マウス等の入力装置である。
・表示装置２６は、液晶やＣＲＴなどのディスプレイ装置である。
【００２６】
また、ライブ配信サーバ１００には、以下の処理部（又は装置）が備えられている。
・通信装置１０１は、ライブ配信サーバ１００を通信ネットワーク１と接続するための装置である。
・ライブ配信処理部１０２は、ライブ映像などのマルチメディアストリーミングデータをクライアント（ライブ閲覧者２０）に配信する処理部である。
【００２７】
・ライブ予約処理部１０３は、ライブ配信者の端末１１から、ライブ配信の予約を受け付けるための処理部である。
【００２８】
・コンテンツアクセス管理処理部１０４は、ライブ配信者１０が予約指定したコンテンツに対する、ライブ配信者１０自身が指定するアクセス権限（無制限、ユーザ数指定、ユーザ名指定等）情報を取得し、閲覧管理ＤＢ１１４に保存する処理部である。例えば、各レイアウトごとに閲覧できる人数（端末数）を制限する処理や、各レイアウトごとに閲覧者を選択指定するための処理部である。
【００２９】
・チャット情報格納処理部１０５は、ライブ閲覧者２０のライブ閲覧者端末２１内のチャット入力機能２４から送信されるチャット入力データを処理し、チャット情報ＤＢ１１３に格納するための処理部である。
【００３０】
・レイアウト及び属性格納処理部１０６は、ライブ配信者端末１１から送信される指定情報により、コンテンツのレイアウトを定義し、それぞれについての属性（ライブ映像、チャット部分、静止画等）を定義する処理部である。
【００３１】
・ライブデータ格納処理部１０７は、チャット等を含めたコンテンツを保存するかどうかを選択し、保存する場合は、ライブデータＤＢ１１１に格納する処理を行うための処理部である。
【００３２】
・同期マルチメディア言語ファイル生成処理部１０８は、クライアント（ライブ閲覧者）のコンテンツ配信要求を受けてコンテンツアクセス管理処理部１０４などから情報を取得し、ライブ閲覧者端末２１内のメディア再生プレイヤー２３に対して同期マルチメディア言語ファイルを送信する処理部である。
【００３３】
・ライブ配信データ発行処理部１０９は、クライアント（ライブ配信者１０）からの要求に応じて、ライブ配信者１０のライブ配信者端末１１のエンコード機能１４を実際に使用するための設定データを発行するための処理部である。
【００３４】
また、ライブ配信サーバ１００内の各データベースには以下のデータが格納される。なお、図３に各データベースのデータ構成例を示す。
・ライブデータデータベース（ライブデータＤＢ）１１１は、「ライブを保存する」を選択した場合にコンテンツを保存しておくデータベースである。格納データは、「ライブＩＤ」、「レイアウトＩＤ」、「コンテンツ情報（ライブデータファイル名、画像データファイル名、チャット情報ＩＤ）」などである。
【００３５】
・レイアウトデータベース（レイアウトＤＢ）１１２は、各ライブのレイアウトがどのような属性を持っているかを保持しておくデータベースである。格納データは、「ライブＩＤ」、「レイアウトＩＤ」、「属性ＩＤ」、「属性内容（チャット、静止画、ライブ動画）」等である。
【００３６】
・チャット情報データベース（チャット情報ＤＢ）１１３は、ライブ閲覧者端末２１のチャット入力機能２４によって行われたチャット情報のログを記録しておくデータベースである。格納データは、「ライブＩＤ」、「発言者」、「発言時間（ライブ開始からの差分時間）」、「ライブ上での発言場所（レイアウトＩＤまたは、ＸＹ座標での表記）」、「発言及びその他の情報（色、スクロール方法等）」等である。
【００３７】
・閲覧管理データベース１１４は、コンテンツの各レイアウトごとの配信制限情報を保持するデータベースである。格納データは、「ライブＩＤ」、「レイアウトＩＤ」、「属性ＩＤ」、「配信制限情報（配信制限人数、ユーザ指定情報、その他）」等である。
【００３８】
なお、図２に示すシステムでは、ライブ画像中にユーザがリアルタイムで表示するコミュニケーション情報として、チャット（テキスト文による情報）を表示する例を想定しているが、ユーザは、ライブ画面中に動画、静止画、音声情報などを表示することもできる。
【００３９】
［ライブ放送中でのチャットの実施手順］
次に、図２に例示するライブ配信システムにおける「ライブ放送上でのチャットの実施手順の流れ」について説明する。
【００４０】
図４は、ライブ配信者によるライブ予約手順の流れを示す図であり、以下、図４を基に、その手順の流れについて説明する。
【００４１】
（１）ライブ配信者による予約手順
ライブ配信者１０は、ライブ配信サーバ１００に対して、配信するライブの「タイトル」、「配信日時」などを予約指定しているものとする（ステップＳ１、Ｓ２）。
▲１▼ レイアウト及び属性格納処理部１０６は、ライブ配信者１０が指定したレイアウト、及びそれぞれのレイアウトが持つ属性情報（ライブ配信用、チャット用、動画配信用等）を取得し、レイアウトＤＢ１１２に保存する（ステップＳ３、Ｓ４）。
【００４２】
▲２▼ コンテンツアクセス管理処理部１０４は、ライブ配信者１０が指定したそれぞれのレイアウトに対するアクセス権限（無制限、ユーザ数指定、ユーザ名指定等）情報を取得し、閲覧管理ＤＢ１１４に保存する（ステップＳ５、Ｓ６）。
【００４３】
▲３▼ ライブデータ格納処理部１０７は、ユーザ（ライブ配信者１０）が指定したチャット入力を含めた配信データをサーバ上に保存するかどうかの情報を取得し（ステップＳ７、Ｓ８）、「保存する」が選択されていた場合は、ライブ配信データをライブデータＤＢ１１１に保存する。
【００４４】
（２）ライブ閲覧者によるレイアウトの選択とチャット入力手順
また、図５は、図２に例示するライブ配信システムにおける「ライブ閲覧者によるレイアウトの選択とチャット入力手順の流れ」を示す図であり、以下、図５を基に、その手順の流れについて説明する。
ライブを閲覧したいユーザ（ライブ閲覧者２０）は、ライブ閲覧者端末２１かライブ配信サーバ１００のライブ配信ページにログインし、閲覧したいコンテンツを選択しているものとする(ステップＳ２１〜ステップＳ２４）。
▲１▼ コンテンツアクセス管理処理部１０４は、閲覧管理ＤＢ１１４を参照して、コンテンツを選択したユーザ（ライブ閲覧者２０）のチェックを行い、アクセス権限があるレイアウト（領域）を確認する（ステップＳ２５）。
【００４５】
▲２▼ コンテンツアクセス管理処理部１０４は、▲１▼で確認したレイアウト（領域）をライブ閲覧者端末２１に表示し、ライブ閲覧者２０に閲覧するレイアウトを選択させる（ステップＳ２６、Ｓ２７）。
【００４６】
▲３▼ライブ配信サーバ１００では、ライブ閲覧者２０が表示したいと選択したレイアウト（領域）のデータのみを、ライブ閲覧者端末２１に配信する（ステップＳ２８、Ｓ２９）。この場合、同期マルチメディア言語ファイル生成処理部１０８は、ライブ閲覧者２０が選択指定したレイアウトを持つ同期マルチメディア言語ファイルを生成し、ライブ閲覧者端末２１のメディア再生プレイヤー２３に向けて送信する。
【００４７】
▲４▼コンテンツアクセス管理処理部１０４は、ライブ閲覧者２０がチャット領域にアクセスし、ライブ閲覧者端末２１からチャット情報格納処理部１０５にチャット入力情報が送られてきた場合に（ステップＳ３０、Ｓ３１）、ライブ閲覧者２０がチャット情報を入力した領域（レイアウト）がチャット可能な領域であるかどうか判断し（ステップＳ３２）、チャット情報格納処理部１０５に送信する。
【００４８】
▲５▼チャット情報格納処理部１０５はコンテンツアクセス管理処理部１０４によりチャットの許可が得られた場合、ライブ閲覧者端末２１のチャット入力機能２４から入力されたチャット情報を受け取る（ステップＳ３３）。許可が得られなかった場合は、チャット入力情報の受け取りを拒否する（ステップＳ３４）。
【００４９】
▲６▼チャット情報が受け取られると、受信したチャット入力データをライブ映像データに付加して、ライブ閲覧者２０の端末２１にリアルタイムで配信する（ステップＳ３５、Ｓ３６）。
【００５０】
また、図９は、チャット入力画面の例を示す図であり、チャットに参加するクライアント（例えば、ライブ閲覧者２０）が、ライブ閲覧者端末２１内のチャット入力機能２４によりチャットを行う場合の例を示す図である。
▲１▼あるチャット参加者が、Ｗｅｂブラウザなどのチャット入力用のアプリケーション（ＡＰ）画面ａ中で、レイアウト（領域２）を指定して、チャット文「この人って誰？」を入力する。
▲２▼配信映像ｂ中に、チャット文「この人って誰？」が表示される。
▲３▼別のチャット参加者がチャット入力用のアプリケーション（ＡＰ）画面ｃ中で、レイアウト（領域４）を指定して、チャット文「松井じゃない？」を入力する。
▲４▼配信映像ｂ中に、チャット文「松井じゃない？」が表示される。
【００５１】
［チャット画面中での動画の同期再生手順］
本発明では、ライブ放送中にユーザ間でリアルタイムでのコミュニケーションが可能である他、チャットルームの画面中でライブ放送を行うなどの、コミュニケーションを中心としたライブ放送の実現も可能である。例えば、チャットルーム画面中で、人数が揃った場合に、皆でライブ放送を見るような場合に使用するものである。
【００５２】
（１）チャットルームの作成
図６は、チャットルームの作成手順の流れを示す図であり、以下、その手順について説明する。
▲１▼チャットルーム作成を行うユーザ（例えば、ライブ配信者１０など）はライブ配信サーバ１００上で、チャットルームのタイトル、利用日時を選択（予約）しているものとする（ステップＳ４１、Ｓ４２）．
【００５３】
▲２▼レイアウト及び属性格納処理部１０６はチャットルーム作成者が指定したレイアウト、及びそれぞれのレイアウトが持つ属性情報（ライブ配信用、チャット用、動画配信用等）を取得し、レイアウトＤＢ１１２に保存する（ステップＳ４３、Ｓ４４）。
【００５４】
▲３▼コンテンツアクセス管理処理部１０４は、▲１▼でユーザが指定したそれぞれのレイアウトに対する、ユーザが指定するアクセス権限（無制限、ユーザ数指定、ユーザ名指定等）を取得し、閲覧管理ＤＢ１１４に保存する（ステップＳ４５、Ｓ４６）。
【００５５】
▲４▼ライブデータ格納処理部１０７は、ユーザ（ライブ配信者１０）が指定したチャット入力を含めた配信をサーバ上に保存するかどうかの選択情報を取得し、「保存する」が選択されていた場合は、ライブ配信データをライブデータＤＢ１１１に保存するように設定する（ステップＳ４７、Ｓ４８）。
【００５６】
（２）チャットルーム上での動画配信
また、図７は、チャットルーム上での動画の配信手順の流れを示す図であり、以下、その手順について説明する。
▲１▼ チャットルーム中で、ライブ配信を行おうとするユーザ（例えば、ライブ配信者１０）が、ライブ配信者端末１１からライブ配信サーバ１００にライブ配信の要求を行う（ステップＳ５１、Ｓ５２）。コンテンツアクセス管理処理部１０４は、チャットルームの属性がライブ配信用になっている場合で、かつ、アクセスしているユーザ（ライブ配信者１０）がライブ配信の権限をもっている場合、ライブ配信データ発行処理部１０９を呼び出す（ステップＳ５３）。
【００５７】
▲２▼ ライブ配信データ発行処理部１０９は、ユーザからのライブ配信要求を受け取り、ユーザ（ライブ配信者１０）のライブ配信者端末１１内のエンコード機能１４がライブ配信可能になるような設定データを発行する（ステップＳ５４）。
【００５８】
▲３▼ ライブ配信者端末１１内のエンコード機能１４は、ライブ配信データ発行処理部１０９から受け取ったデータをもとにカメラ１３などからの動画のエンコードを行いライブ配信サーバ１００に送信する（ステップＳ５５、Ｓ５６）。ライブ配信サーバ１００は、ライブ配信者端末１１から受信したデータを、ライブ閲覧者端末２１に向けてライブ配信する（ステップＳ５６、Ｓ５７）。
【００５９】
以上説明したコミュニケーションを中心としたライブ放送の具体的な画面の例を図１０に示す。図１０示す例では、チャットルーム作成者（例えば、ライブ配信者１０）により、レイアウト１がライブ映像領域、レイアウト２が静止画領域、レイアウト３がチャット（テキスト）入力領域に指定された場合の例である。この場合、ライブ配信を許可されたユーザが「ライブ配信開始ボタン２００」をクリックすることで、該ユーザの端末のライブ配信装置（エンコード装置）が立ち上がり、ライブ放送が開始される。また、静止画像の配信を許可されたユーザが「静止画表示ボタン２０１」をクリックすることで、該ユーザの端末から静止画像ファイルがアップロードされて表示される。また、チャット入力を許可されたユーザが、該ユーザの端末にチャット文を入力し「チャット入力ボタン２０２」を押すことで、メッセージが表示される。
【００６０】
［放送したライブチャットの保存と検索］
ライブ放送とコミュニケーション情報（チャットなど）の動画配信は、リアルタイムでライブ放送として配信するほかに、コミュニケーション情報（チャットなど）の入力も含むオンデマンドのビデオクリップとして保存することが可能である。
【００６１】
図８は、ライブ放送時のチャットの保存と閲覧の手順を示す図であり、ライブ放送時のチャットの保存と閲覧は以下のようにして行われる。
（１）ライブ配信が開始され（ステップＳ６１〜Ｓ６３）、ライブ閲覧者端末２１のチャット入力機能２４によりレイアウトの選択とチャット入力による発言があった場合（ステップＳ６４）、選択されたレイアウトがチャット入力可能な領域であるかが確認される（ステップＳ６５）。
【００６２】
（２）チャット入力が可能な領域である場合は、ライブデータとチャット入力情報とを同期させて、リアルタイムで配信する（ステップＳ６６、６７）。
（３）また、チャット情報格納処理部１０５はチャット情報ＤＢ１１３に、「発言のあったライブ放送のライブＩＤ」、「発言時刻（ライブの開始時刻からの差分）」、「発言者のユーザＩＤ」、「発言場所（領域）」、「発言した内容」などを保存する（ステップＳ６８）。
【００６３】
（４）ライブ終了時に（ステップＳ６９）、同期マルチメディア言語ファイル生成処理部１０８は、生成したファイル（ライブ配信データ）をライブデータＤＢ１１１に保存する（ステップＳ７０）。
【００６４】
（５）また、ライブデータＤＢ１１１に保存されたライブデータは、ユーザにより後で検索できるように格納される。ライブ閲覧者端末２１からライブデータＤＢ１１１の閲覧（検索）要求があった場合は（ステップＳ７１）、ライブデータＤＢ１１１を検索し、該当するライブデータをオンデマンドで配信する（ステップＳ７２、Ｓ７３、Ｓ７４）。
例えば、動画とチャット情報が保存されたライブデータＤＢ１１１から、「おはよう」などのテキスト文字を検索できるようにし、「おはよう」を含む部分のライブデータをオンデマンドで閲覧できるようにする。
【００６５】
以上、本発明の実施の形態について説明したが、図２に示すライブ配信サーバ１００内の各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、図２のライブ配信サーバ１００内の各処理部に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６６】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可般媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６７】
以上、本発明のライブ配信サーバの実施の形態について説明したが、本発明は上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００６８】
【発明の効果】
以上説明したように、本発明のライブ配信サーバ、及びライブ配信方法においては、ライブ配信を行うクライアントの端末から、ライブ配信する画面内のレイアウトの指定情報と各レイアウトごとの属性情報を受信しデータベースに保存する。また、ライブ配信を行うクライアントの端末から送信されるライブ映像と、ライブを閲覧するクライアントの端末から送信されるコミュニケーション情報（例えば、チャット）とを同期させ、それぞれを同じ画面内の指定されたレイアウトにリアルタイムで表示させる。
これにより、配信されるライブ映像を閲覧しながら、チャットなどのコミュニケーション情報を同じ画面上でリアルタイムで表示できる。
【００６９】
また、本発明のライブ配信サーバにおいては、ライブ映像とコミュニケーション情報を同期させて表示するために、各レイアウトの配信データを含む同期マルチメディア言語ファイルを生成する。
これにより、同期マルチメディア言語の機能を活用して、ライブ映像とコミュニケーション情報との同期制御が容易に行えるようになる。
【００７０】
また、本発明のライブ配信サーバにおいては、ライブ映像と同期して表示するコミュニケーション情報がテキスト文字（チャット入力情報）を含むマルチメディアコンテンツである。
これにより、クライアントは、配信されるライブ映像を閲覧しながら、同じ画面上でチャット、動画、静止画、音声によりコミュニケーションを行うことができる。
【００７１】
また、本発明のライブ配信サーバにおいては、ライブ映像を閲覧するクライアントの端末から、閲覧するレイアウトの選択情報を受信し、クライアントに選択されたレイアウトの部分についてのみ、当該クライアントの端末に対してライブ配信を行う。
これにより、クライアントは自分の見たい映像だけを選択して見ることができる。
【００７２】
また、本発明のライブ配信サーバにおいては、ライブ映像とユーザ入力情報とを含むライブ配信データをライブデータデータベースに格納し、クライアントの端末からの要求によりオンデマンドで配信する。
これにより、クライアントは見落としたライブ映像や、再度確認したいライブ映像をオンデマンドで閲覧することができる。
【００７３】
また、本発明のライブ配信サーバにおいては、ライブ配信者の端末から、各レイアウトごとのアクセス制限情報を受信し、該アクセス制限情報を基に、クライアントの端末からのアクセスを制限できるようする。
これにより、ライブ配信者は個人的な仲間内でのライブ放送と、情報の交換が行えるようになる。また、サーバ管理者が課金を行うことも容易になる。
【図面の簡単な説明】
【図１】ライブ配信システムの構成と動作の概要を説明するための図である。
【図２】ライブ配信システムのシステム構成例を示す図である。
【図３】データベースのデータ構成例を示す図である。
【図４】ライブ配信者によるライブ予約手順の流れを示す図である。
【図５】ライブ閲覧者によるレイアウトの選択とチャット入力手順の流れを示す図である。
【図６】チャットルームの作成手順の流れを示す図である。
【図７】チャットルーム上での動画の配信手順の流れを示す図である。
【図８】ライブ放送時のチャットの保存と閲覧の手順を示す図である。
【図９】チャット入力画面の例を示す図である。
【図１０】コミュニケーションを中心としたライブ放送の具体的な画面の例を示す図である。
【符号の説明】
１通信ネットワーク
２ライブ配信サーバ
３ライブ配信者端末
４クライアント端末
５チャット参加者端末
１０ライブ配信者
１１ライブ配信者端末
１２通信装置
１３カメラ
１４エンコード機能
２０ライブ閲覧者
２１ライブ閲覧者端末
２２通信装置
２３メディア再生プレイヤー
２４チャット入力機能
１００ライブ配信サーバ
１０１通信装置
１０２ライブ配信処理部
１０３ライブ予約処理部
１０４コンテンツアクセス管理処理部
１０５チャット情報格納処理部
１０６レイアウト及び属性情報格納処理部
１０７ライブデータ格納処理部
１０８同期マルチメディア言語ファイル生成処理部
１０９ライブ配信データ発行処理部
１１１ライブデータＤＢ
１１２レイアウトＤＢ
１１３チャット情報ＤＢ
１１４閲覧管理ＤＢ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a live delivery server and live delivery method for live delivery of multimedia content, and in particular, displays a plurality of live videos in a synchronized manner on a single screen, and communication information from live viewers and live viewers (for example, , Chat) on a single screen in real time, and further relates to a live distribution server and a live distribution method having a function of storing live distribution data displayed synchronously and browsing on-demand.
[0002]
[Prior art]
Currently, live delivery of multimedia content (also simply referred to as “content”) is one-way from the distributor side to the viewer side, and between users viewing the same content using live distribution I can't communicate. When trying to communicate, you must use something like the following:
(1) A chat room that can be browsed by a Web browser is formed and linked to a live distribution page to encourage use among users.
(2) A live broadcast page is structured to require login, a list of people who are browsing is created, and a community between users is formed.
(3) Create a channel for live viewers using IRC chat, instant messenger, etc., and encourage people who are browsing the same content to participate.
[0003]
[Problems to be solved by the invention]
As described above, the conventional live distribution system has the following problems.
(1) In the live distribution system for multimedia contents that currently exists, the live distribution and the communication function are not linked, and the live distributor tends to distribute the video information unilaterally.
(2) Even if communication such as chat is performed together with live distribution, it is temporary, and it is difficult to find out and confirm what kind of communication was performed in a specific part of the live later.
(3) A person who exists in a community such as a chat and a person who does not exist cannot view the same content at the same time.
[0004]
The present invention has been made to solve such a problem, and an object of the present invention is to display a plurality of live videos in a synchronized manner on one screen, and to display communication information from live viewers and live viewers (for example, chatting). To provide a live delivery server and a live delivery method having a function of storing live delivery data synchronized and displayed on a single screen in real time, and storing the live delivery data displayed in synchronization and browsing on demand. .
[0005]
[Means for Solving the Problems]
The present invention has been made to solve the above problems, and a live distribution server of the present invention distributes a live video through a live distribution server that distributes live video of multimedia content, and the live distribution server. A live distribution server in a live distribution system in which a client terminal and a client terminal that browses live video are connected via a communication network, wherein 1 in a screen for live distribution from the client terminal that performs the live distribution Or, layout information and attribute information storage means for receiving specification information of two or more layouts and attribute information for each layout and storing them in a database, and live video transmitted from a client terminal that performs the live distribution, Assign to the specified layout with reference to each When live communication synchronized distribution means for synchronizing live video of i-out, and communication information and layout designation information input by the client from a client terminal viewing the distributed live video are received. Comprises a communication information synchronization distribution means for allocating the communication information to a designated layout with reference to the database and for performing live distribution of the communication information in synchronization with the live video.
Accordingly, communication information such as chat can be displayed in real time on the same screen while viewing the live video to be distributed.
[0006]
Further, the live distribution server of the present invention uses a synchronized multimedia language file generating unit that generates a synchronized multimedia language file including distribution data of each layout as the live video synchronized distribution unit and the communication information synchronized distribution unit. Features.
As a result, the synchronization control between the live video and the communication information can be easily performed by utilizing the function of the synchronous multimedia language.
[0007]
The live distribution server of the present invention is characterized in that the communication information is multimedia content including chat information of text characters.
Thereby, the client can communicate by chat, a moving image, a still image, and sound on the same screen while browsing the distributed live video.
[0008]
The live distribution server of the present invention includes a layout selection information receiving unit for receiving selection information of a layout to be browsed from a client terminal that browses the live video, and a layout selected by the layout selection information receiving unit. Only about the part, it is further provided with a live distribution means for distributing a live video to the terminal of the client.
As a result, the client can select and view only the video he / she wants to see.
[0009]
The live distribution server of the present invention is a live data storage means for storing live distribution data including the live video and communication information input by the client in a live data database, and a request from the client terminal, It further comprises on-demand distribution means for distributing live distribution data stored in the live data database to a client terminal.
As a result, the client can browse on-demand the live video that has been overlooked or the live video that the user wants to check again.
[0010]
The live distribution server according to the present invention further provides access restriction for each layout when receiving the designation information of the layout in the image for live distribution and the attribute information for each layout from the terminal of the client that performs the live distribution. Information access management means for receiving either or both of selection information of clients that can be browsed and restriction information on the number of clients that can be browsed as information, and restricting access from the client terminal based on the access restriction information Furthermore, it is characterized by comprising.
As a result, the live distributor can exchange information and exchange live broadcasts with personal friends. In addition, it becomes easy for the server administrator to charge.
[0011]
The live distribution method of the present invention includes a live distribution server that distributes live video of multimedia content, a client terminal that distributes live video via the live distribution server, and a client terminal that browses live video. Is a live delivery method used in the live delivery server in a live delivery system connected by a communication network, and specifies one or more layouts in a screen for live delivery from a client terminal that performs the live delivery A layout and attribute information storage procedure for receiving information and attribute information for each layout and storing it in the database, and a live video transmitted from the client terminal that performs the live distribution are specified with reference to the database Assign to layout and live video of each layout In the case of receiving a live video synchronous delivery procedure for synchronous live delivery, and communication information and layout designation information input by the client from a client terminal that is viewing the distributed live video, the database is A communication information synchronous distribution procedure for allocating the communication information to the layout designated by reference and performing the live distribution in synchronization with the live video.
Accordingly, communication information such as chat can be displayed in real time on the same screen while viewing the live video to be distributed.
[0012]
The computer program according to the present invention includes a live distribution server that distributes live video of multimedia content, a client terminal that distributes live video via the live distribution server, and a client terminal that browses live video. One or more layout designation information and attributes for each layout in a live distribution screen from a client terminal that performs the live distribution to a computer in the live distribution server in a live distribution system connected via a communication network A layout and attribute information storage procedure for receiving information and storing it in a database, and a live video transmitted from a client terminal that performs the live distribution are assigned to a layout designated with reference to the database, and each layout Synchronize live video If the communication information and layout designation information input by the client are received from the client terminal that is viewing the distributed live video, and the live video synchronous distribution procedure for live distribution, the database is referred to. And a communication information synchronous distribution procedure for distributing the communication information in synchronism with the live video and performing live distribution.
[0013]
Further, the present invention provides a communication network including a live distribution server that distributes live video of multimedia content, a client terminal that distributes live video via the live distribution server, and a client terminal that browses live video. The computer in the live distribution server in the connected live distribution system receives the designation information of one or more layouts in the screen for live distribution and the attribute information for each layout from the terminal of the client that performs the live distribution. The layout and attribute information storage procedure for storing in the database and the live video transmitted from the terminal of the client that performs the live distribution are assigned to the layout designated with reference to the database, and the live video of each layout is assigned. To synchronize live delivery If the communication information and layout designation information input by the client are received from the terminal of the client who is viewing the live video and the distributed live video, the layout designated by referring to the database is used. A computer-readable recording medium recording a program for causing a computer to execute a communication information synchronous distribution procedure for allocating and transmitting the communication information in synchronization with the live video.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
First, terms used in this specification are defined here.
Multimedia content refers to moving images, audio, text, and still images. In this specification, the multimedia content is also simply referred to as “content”.
Live reservation means that a user who distributes content reserves a distribution time frame for a live distribution server that distributes the content live on a communication network.
Encoding refers to converting content (video or audio data file) into a streaming format (compressed for streaming playback) in accordance with the network distribution band.
Synchronous multimedia language is an XML-based markup language that controls and synchronizes playback of various types of data such as moving images, still images, audio, music, and characters. It is possible to control in which position (area) the clip to be played is displayed at what timing and for how long. An example is "SMIL (Synchronized Multimedia Integration Language)" recommended by the W3C.
[0015]
[Description of the concept of the present invention]
When a user tries to communicate with a user who is viewing the same live while watching a live broadcast or the like, the current system needs to prepare a communication system such as a chat room separately from the live broadcast.
[0016]
For this reason, it is necessary to provide a system having the following functions.
(1) It is possible for the user to enter information such as chat (or video, still image, audio information, etc.) in real time on the same screen while watching the live broadcast to communicate.
(2) Ability to write a message, insert a movie, still image, etc. at any place (area) on the live screen
(3) Ability to manage multiple live videos and broadcast them as a single video
(4) Realization of live broadcasting centering on system communication is also possible (for example, everyone watching a live broadcast on the same screen when the number of people is equal in a chat room)
(5) The content of the live video and the communication information (chat, video, still image, audio information, etc.) entered by the user on the live video screen can be saved and later viewed and searched on demand.
[0017]
In order to satisfy the above requirements, the live distribution server of the present invention enables a user to exchange communication information such as chat in real time on the same screen in synchronization with the live broadcast during the live broadcast. In addition, the following functions are provided to enable distribution data to be stored and viewed on demand.
・ Function to control images from multiple cameras and distribute them simultaneously in multiple layouts
・ A function that delivers live broadcast video and communication information entered by users such as chat on the same screen
・ Function to reflect in real time on live broadcast image when there is input of communication information (chat, video, still image, audio information, etc.) from user
-A function to specify where to display live broadcasts when entering communication information (chat, video, still image, audio information, etc.) from the user
A function for saving live broadcast images and communication information (chat, video, still image, audio information, etc.) input by the user as a single content
-A function that allows the user (live distributor) to specify the screen layout and set the number of viewers for each outlet when making a live distribution reservation
-A function that allows users who are participating in a chat to broadcast live in a chat room and share it among viewers
[0018]
Each of the above functions will be described in detail below sequentially.
[0019]
[Configuration and operation overview of live distribution system]
FIG. 1 is a diagram for explaining the configuration and operation outline of a live distribution system using the live distribution server of the present invention. In the live distribution system of this example, the live distribution server 2 is the core, and the live distribution server 2 The live distributor terminal 3, the client terminal 4 (live viewer), and the chat participant terminal 5 are connected by the communication network 1.
[0020]
The live distribution system shown in FIG. 1 operates as follows.
(1) The live distributor terminal 3 captures a moving image from the camera image 3a or the moving image file 3b (arrow line a) and transmits live video data to the live distribution server 2 (arrow line b).
(2) The live distribution server 2 distributes the live video data received from the live distributor terminal 3 to the client terminal 4 and the chat participant terminal 5 (arrow line c).
(3) A chat message input by the chat participant is transmitted from the chat participant terminal 5 to the live distribution server 2 (arrow line d).
(4) The live distribution server 2 adds the chat data received from the chat participant terminal 5 to the live video data and distributes it to the client terminal 4 and the chat participant terminal 5 (arrow line c).
(5) The live distribution server 2 stores the distributed contents (live video data and chat data) as one content (arrow line e).
[0021]
In addition, although the example shown in FIG. 1 shows an example in which chat (information by text) is input as communication information that the user (chat participant) transmits in real time in the live image, the user is in the live image. It is also possible to input and display multimedia information such as moving images and still images.
[0022]
[Configuration example of live distribution system]
FIG. 2 is a diagram showing a configuration example of a live delivery system using the live delivery server of the present invention, and shows a part directly related to the present invention.
[0023]
In the live distribution system illustrated in FIG. 2, a live distribution server 100, a live distributor terminal 11 of a live distributor 10 that is a client, and a live viewer terminal 21 of a live viewer 20 that is a client configure a communication network 1. Connected and configured. The live distributor 10 and the live viewer 20 are users registered in advance in the live distribution server 100, and are users who have been issued a user ID (identification code) and user authentication information (password, etc.).
[0024]
The live distributor 10 is a client that creates multimedia contents such as video and audio, reserves live distribution (real-time distribution by streaming) in the live distribution server 100, and performs live distribution at a time specified by the live reservation.
The live distributor terminal 11 of the live distributor 10 has the following functions (or devices).
The communication device 12 is a device for connecting the live distributor terminal 11 to the communication network 1.
The camera 13 is a device that captures live video for live distribution.
The encoding function 14 is a function for compressing live video captured from the camera and transmitting it to the server 100 side.
The input device 15 is an input device such as a keyboard and a mouse.
The display device 16 is a display device such as a liquid crystal or a CRT.
[0025]
The live viewer 20 is a client who views the live distributed from the live distribution server 100 and participates in the chat, and the live viewer terminal 21 of the live viewer 20 has the following functions (or devices). ing.
The communication device 22 is a device for connecting the live viewer terminal 21 to the communication network 1.
The media playback player 23 is a processing unit that plays back video and audio distributed live, and is played back by dedicated software. For example, there is RealPlayer (registered trademark).
The chat input function 24 is a function for inputting chat information to the content while the multimedia playback player 23 is playing back the multimedia content.
The input device 25 is an input device such as a keyboard and a mouse.
The display device 26 is a display device such as a liquid crystal or a CRT.
[0026]
The live distribution server 100 includes the following processing unit (or device).
The communication device 101 is a device for connecting the live distribution server 100 to the communication network 1.
The live distribution processing unit 102 is a processing unit that distributes multimedia streaming data such as live video to a client (live viewer 20).
[0027]
The live reservation processing unit 103 is a processing unit for accepting a live distribution reservation from the live distributor terminal 11.
[0028]
The content access management processing unit 104 acquires access authority (unlimited, user number designation, user name designation, etc.) information designated by the live distributor 10 for the content designated by the live distributor 10 for reservation, and the browsing management DB 114 It is a processing part to save in. For example, it is processing for limiting the number of users (number of terminals) that can be browsed for each layout, and a processing unit for selecting and specifying a viewer for each layout.
[0029]
The chat information storage processing unit 105 is a processing unit for processing chat input data transmitted from the chat input function 24 in the live viewer terminal 21 of the live viewer 20 and storing it in the chat information DB 113.
[0030]
The layout and attribute storage processing unit 106 defines the layout of the content based on the designation information transmitted from the live distributor terminal 11, and defines the attributes (live video, chat part, still image, etc.) for each. It is.
[0031]
The live data storage processing unit 107 is a processing unit for selecting whether to save content including chat or the like and, when saving, storing the live data in the live data DB 111.
[0032]
The synchronous multimedia language file generation processing unit 108 receives the content distribution request from the client (live viewer), acquires information from the content access management processing unit 104, etc., and sends it to the media playback player 23 in the live viewer terminal 21. A processing unit that transmits a synchronous multimedia language file.
[0033]
The live distribution data issuing processing unit 109 issues setting data for actually using the encoding function 14 of the live distributor terminal 11 of the live distributor 10 in response to a request from the client (live distributor 10). Is a processing unit.
[0034]
The following data is stored in each database in the live distribution server 100. FIG. 3 shows a data configuration example of each database.
The live data database (live data DB) 111 is a database for storing contents when “save live” is selected. The stored data includes “live ID”, “layout ID”, “content information (live data file name, image data file name, chat information ID)”, and the like.
[0035]
The layout database (layout DB) 112 is a database that holds what attributes each live layout has. The stored data includes “live ID”, “layout ID”, “attribute ID”, “attribute contents (chat, still image, live video)”, and the like.
[0036]
The chat information database (chat information DB) 113 is a database in which a log of chat information performed by the chat input function 24 of the live viewer terminal 21 is recorded. The stored data includes “live ID”, “speaker”, “speech time (difference time from the start of live)”, “speaking place on live (notation in layout ID or XY coordinates)”, “speaking and Other information (color, scrolling method, etc.) ".
[0037]
The browsing management database 114 is a database that holds distribution restriction information for each layout of content. The stored data includes “live ID”, “layout ID”, “attribute ID”, “distribution restriction information (distribution restriction number of people, user designation information, etc.)” and the like.
[0038]
In the system shown in FIG. 2, it is assumed that chat (information by text) is displayed as communication information that the user displays in real time in the live image. Still images and audio information can also be displayed.
[0039]
[Procedure for chatting during live broadcasting]
Next, “the flow of the execution procedure of the chat on the live broadcast” in the live distribution system illustrated in FIG. 2 will be described.
[0040]
FIG. 4 is a diagram showing a flow of a live reservation procedure by a live distributor. Hereinafter, the flow of the procedure will be described with reference to FIG.
[0041]
(1) Reservation procedure by live distributor
It is assumed that the live distributor 10 reserves a live “title” to be distributed, “distribution date”, and the like for the live distribution server 100 (steps S1 and S2).
(1) The layout and attribute storage processing unit 106 acquires the layout specified by the live distributor 10 and the attribute information (for live distribution, chat, video distribution, etc.) of each layout, and stores them in the layout DB 112. (Steps S3 and S4).
[0042]
(2) The content access management processing unit 104 acquires access authority (unlimited, user number designation, user name designation, etc.) information for each layout designated by the live distributor 10, and stores it in the browsing management DB 114 (step S5). , S6).
[0043]
(3) The live data storage processing unit 107 acquires information as to whether or not the distribution data including the chat input designated by the user (live distributor 10) is stored on the server (steps S7 and S8). When “Yes” is selected, the live distribution data is stored in the live data DB 111.
[0044]
(2) Layout selection and chat input procedure by live viewers
FIG. 5 is a diagram showing a “flow of layout selection and chat input procedure by a live viewer” in the live distribution system illustrated in FIG. 2, and the flow of the procedure will be described below based on FIG. To do.
It is assumed that a user who wants to browse live (live viewer 20) logs into the live viewer terminal 21 or the live distribution page of the live distribution server 100 and selects the content he / she wants to browse (steps S21 to S24).
(1) The content access management processing unit 104 refers to the browsing management DB 114, checks the user (live viewer 20) who has selected the content, and confirms the layout (area) with the access authority (step S25). .
[0045]
(2) The content access management processing unit 104 displays the layout (area) confirmed in (1) on the live viewer terminal 21 and causes the live viewer 20 to select a layout to browse (steps S26 and S27).
[0046]
(3) The live distribution server 100 distributes only the data of the layout (area) selected by the live viewer 20 to the live viewer terminal 21 (steps S28 and S29). In this case, the synchronized multimedia language file generation processing unit 108 generates a synchronized multimedia language file having a layout selected and designated by the live viewer 20 and transmits it to the media playback player 23 of the live viewer terminal 21.
[0047]
(4) The content access management processing unit 104, when the live viewer 20 accesses the chat area and chat input information is sent from the live viewer terminal 21 to the chat information storage processing unit 105 (steps S30 and S31). ), It is determined whether or not the area (layout) in which the chat information is input by the live viewer 20 is an area in which chat is possible (step S32), and is transmitted to the chat information storage processing unit 105.
[0048]
(5) The chat information storage processing unit 105 receives the chat information input from the chat input function 24 of the live viewer terminal 21 when the permission of the chat is obtained by the content access management processing unit 104 (step S33). When permission is not obtained, reception of chat input information is refused (step S34).
[0049]
(6) When the chat information is received, the received chat input data is added to the live video data and distributed in real time to the terminal 21 of the live viewer 20 (steps S35 and S36).
[0050]
FIG. 9 is a diagram illustrating an example of a chat input screen, and an example in which a client participating in the chat (for example, a live viewer 20) performs a chat using the chat input function 24 in the live viewer terminal 21. FIG.
(1) A chat participant designates a layout (area 2) in a chat input application (AP) screen a such as a Web browser and inputs a chat sentence “who is this person?”.
(2) A chat sentence “Who is this person?” Is displayed in the distribution video b.
(3) Another chat participant designates a layout (area 4) in the chat input application (AP) screen c and inputs a chat sentence "not Matsui?"
(4) In the distribution video b, the chat sentence “isn't Matsui?” Is displayed.
[0051]
[Synchronous playback procedure of video in chat screen]
In the present invention, real-time communication between users during live broadcasting is possible, and live broadcasting centering on communication, such as live broadcasting on a chat room screen, can be realized. For example, it is used when everyone sees a live broadcast when the number of people is equal on the chat room screen.
[0052]
(1) Creating a chat room
FIG. 6 is a diagram showing a flow of a procedure for creating a chat room, which will be described below.
(1) It is assumed that a user (for example, live distributor 10) who creates a chat room has selected (reserved) a chat room title and use date / time on the live distribution server 100 (steps S41 and S42). .
[0053]
(2) Layout and attribute storage processing unit 106 acquires a layout designated by the chat room creator and attribute information (for live distribution, chat, video distribution, etc.) of each layout, and stores them in layout DB 112. (Steps S43 and S44).
[0054]
(3) The content access management processing unit 104 acquires the access authority (unlimited, user number designation, user name designation, etc.) designated by the user for each layout designated by the user in (1), and stores it in the browsing management DB 114. Save (steps S45 and S46).
[0055]
(4) The live data storage processing unit 107 acquires selection information on whether or not to save the delivery including the chat input designated by the user (live distributor 10) on the server, and “Save” is selected. In the case where it is determined, the live delivery data is set to be stored in the live data DB 111 (steps S47 and S48).
[0056]
(2) Video distribution on chat rooms
Moreover, FIG. 7 is a figure which shows the flow of the delivery procedure of the moving image on a chat room, and demonstrates the procedure below.
(1) In a chat room, a user (for example, live distributor 10) who wants to perform live distribution requests live distribution from the live distributor terminal 11 to the live distribution server 100 (steps S51 and S52). The content access management processing unit 104 performs live distribution data issuance processing when the chat room attribute is for live distribution and the accessing user (live distributor 10) has the authority of live distribution. The unit 109 is called (step S53).
[0057]
(2) The live distribution data issuance processing unit 109 receives the live distribution request from the user, and sets the setting data that enables the encoding function 14 in the live distributor terminal 11 of the user (live distributor 10) to perform live distribution. Issue (step S54).
[0058]
(3) The encoding function 14 in the live distributor terminal 11 encodes a video from the camera 13 or the like based on the data received from the live distribution data issuing processor 109 and transmits it to the live distribution server 100 (step S55). , S56). The live distribution server 100 performs live distribution of the data received from the live distributor terminal 11 toward the live viewer terminal 21 (steps S56 and S57).
[0059]
An example of a specific screen of live broadcasting centering on the communication described above is shown in FIG. In the example shown in FIG. 10, the chat room creator (for example, live distributor 10) specifies layout 1 as the live video area, layout 2 as the still image area, and layout 3 as the chat (text) input area. It is. In this case, when a user who is permitted to perform live distribution clicks the “live distribution start button 200”, a live distribution device (encoding device) of the user's terminal is started and live broadcasting is started. In addition, when a user who is permitted to distribute a still image clicks the “still image display button 201”, a still image file is uploaded and displayed from the user terminal. Further, when a user who is permitted to input a chat enters a chat text on the terminal of the user and presses the “chat input button 202”, a message is displayed.
[0060]
[Save and search live chats]
In addition to distributing live broadcasts and communication information (such as chat) as live broadcasts in real time, it can be stored as on-demand video clips that include input of communication information (such as chat).
[0061]
FIG. 8 is a diagram showing a procedure for storing and browsing a chat during live broadcasting. Saving and browsing a chat during live broadcasting is performed as follows.
(1) When live distribution is started (steps S61 to S63) and the chat input function 24 of the live viewer terminal 21 makes a selection by a layout and a chat input (step S64), the selected layout is a chat input. It is confirmed whether it is a possible area (step S65).
[0062]
(2) If the area allows chat input, live data and chat input information are synchronized and distributed in real time (steps S66 and 67).
(3) In addition, the chat information storage processing unit 105 stores, in the chat information DB 113, “live ID of live broadcast that made a statement”, “speech time (difference from live start time)”, and “user ID of the speaker”. , “Speaking place (area)”, “speaking content”, and the like are stored (step S68).
[0063]
(4) At the end of live (step S69), the synchronized multimedia language file generation processing unit 108 stores the generated file (live distribution data) in the live data DB 111 (step S70).
[0064]
(5) The live data stored in the live data DB 111 is stored so that the user can search later. When there is a request for browsing (searching) the live data DB 111 from the live viewer terminal 21 (step S71), the live data DB 111 is searched and the corresponding live data is distributed on demand (steps S72, S73, S74). .
For example, text characters such as “good morning” can be searched from the live data DB 111 in which the moving image and chat information are stored, and live data including “good morning” can be browsed on demand.
[0065]
Although the embodiment of the present invention has been described above, a program for realizing the functions of each processing unit in the live distribution server 100 shown in FIG. 2 is recorded on a computer-readable recording medium, and the recording medium is recorded on the recording medium. The recorded program may be read into the computer system and executed to perform processing necessary for each processing unit in the live distribution server 100 in FIG. Here, the “computer system” includes an OS and hardware such as peripheral devices.
[0066]
The “computer-readable recording medium” refers to a storage device such as a flexible disk, a magneto-optical disk, a general medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system.
Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, it is intended to include those that hold a program for a certain period of time, such as a volatile memory inside a computer system that becomes a server or a client in that case (transmission medium or transmission wave).
The program may be for realizing a part of the functions described above, and further, a program that can realize the functions described above in combination with a program already recorded in a computer system, a so-called difference file (difference). Program).
[0067]
As mentioned above, although the embodiment of the live delivery server of the present invention has been described, the present invention is not limited only to the illustrated examples described above, and various modifications can be made without departing from the gist of the present invention. Of course.
[0068]
【The invention's effect】
As described above, in the live distribution server and the live distribution method of the present invention, the database that receives the designation information of the layout in the screen for live distribution and the attribute information for each layout is received from the terminal of the client that performs the live distribution. Save to. In addition, the live video transmitted from the terminal of the client that performs live distribution and the communication information (for example, chat) transmitted from the terminal of the client that browses the live are synchronized, and each is designated layout in the same screen. To display in real time.
Accordingly, communication information such as chat can be displayed in real time on the same screen while viewing the live video to be distributed.
[0069]
In the live distribution server of the present invention, a synchronized multimedia language file including distribution data of each layout is generated in order to display live video and communication information in synchronization.
As a result, the synchronization control between the live video and the communication information can be easily performed by utilizing the function of the synchronous multimedia language.
[0070]
In the live distribution server of the present invention, the communication information displayed in synchronization with the live video is multimedia content including text characters (chat input information).
Thereby, the client can communicate by chat, a moving image, a still image, and sound on the same screen while browsing the distributed live video.
[0071]
Further, in the live distribution server of the present invention, the selection information of the layout to be browsed is received from the client terminal browsing the live video, and only the portion of the layout selected by the client is live to the client terminal. Deliver.
As a result, the client can select and view only the video he / she wants to see.
[0072]
In the live delivery server of the present invention, live delivery data including live video and user input information is stored in a live data database and delivered on demand according to a request from a client terminal.
As a result, the client can browse on-demand the live video that has been overlooked or the live video that the user wants to check again.
[0073]
In the live distribution server of the present invention, access restriction information for each layout is received from the terminal of the live distributor and access from the client terminal can be restricted based on the access restriction information.
As a result, the live distributor can exchange information and exchange live broadcasts with personal friends. In addition, it becomes easy for the server administrator to charge.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining an outline of a configuration and operation of a live distribution system.
FIG. 2 is a diagram illustrating a system configuration example of a live distribution system.
FIG. 3 is a diagram illustrating a data configuration example of a database.
FIG. 4 is a diagram showing a flow of a live reservation procedure by a live distributor.
FIG. 5 is a diagram showing a flow of a layout selection and chat input procedure by a live viewer.
FIG. 6 is a diagram showing a flow of a procedure for creating a chat room.
FIG. 7 is a diagram illustrating a flow of a moving image distribution procedure on a chat room.
FIG. 8 is a diagram illustrating a procedure for saving and browsing a chat during live broadcasting.
FIG. 9 is a diagram showing an example of a chat input screen.
FIG. 10 is a diagram illustrating an example of a specific screen of live broadcasting centering on communication.
[Explanation of symbols]
1 Communication network
2 Live distribution server
3 Live distributor terminal
4 Client terminals
5 Chat participant terminals
10 Live broadcasters
11 Live distributor terminal
12 Communication device
13 Camera
14 Encoding function
20 Live viewers
21 Live viewer terminal
22 Communication device
23 Media player
24 Chat input function
100 live distribution server
101 Communication device
102 Live distribution processor
103 Live reservation processing part
104 Content Access Management Processing Unit
105 Chat information storage processing unit
106 Layout and attribute information storage processing unit
107 Live data storage processing unit
108 Synchronous multimedia language file generation processing unit
109 Live distribution data issue processing section
111 Live Data DB
112 Layout DB
113 Chat information DB
114 browsing management DB

Claims

A communication network connects a live distribution server that distributes live video of multimedia content, a distribution terminal that transmits live video to be distributed via the live distribution server, and a browsing terminal that receives and browses the live video The live distribution server in the live distribution system,
Layout and attribute information storage means for receiving designation information of one or more layouts in a screen to be distributed live and attribute information for each layout from the distribution terminal and storing them in a layout database;
Live video synchronization distribution means for referring to the layout database, allocating live video transmitted from the distribution terminal to a designated layout, synchronizing the live video of each layout, and performing live distribution to the viewing terminal; ,
When receiving the communication information and the layout designation information inputted in the browsing terminal browsing distributed live video, referring to the layout database assigns the communication information to the specified layout, the live video Communication information synchronous distribution means for performing live distribution in synchronization with
Selection information of the viewing terminal that can be browsed as access restriction information for each layout when receiving the designation information of the layout in the image for live delivery and the attribute information for each layout from the delivery terminal that performs the live delivery; A live distribution server comprising: content access management means for receiving either or both of restriction information on the number of browsing terminals that can be browsed and restricting access from the browsing terminals based on the access restriction information .

The live distribution server according to claim 1 , wherein the communication information is multimedia content including chat information of text characters.

Layout selection information receiving means for receiving selection information of a layout to be browsed from the browsing terminal for browsing live video;
The portion of the layout that the selected by the layout selection information receiving unit only, according to claim 1 or 2, characterized by further comprising a live distribution means for distributing the live video with respect to the viewing station Live streaming server.

Live data storage means for storing live distribution data including the communication information inputted from the live video and the viewing terminal to the live data database,
The request from the viewing terminal, wherein the live distribution data stored in the live data database to any of claims 1 to 3, characterized by comprising further a demand delivery means for delivering to the viewing station Live streaming server.

A communication network connects a live distribution server that distributes live video of multimedia content, a distribution terminal that transmits live video to be distributed via the live distribution server, and a browsing terminal that receives and browses the live video a live distribution method definitive to live distribution system that has been,
A layout and attribute information storage procedure in which the live distribution server receives designation information of one or more layouts in a screen to be distributed live from the distribution terminal and attribute information for each layout and stores them in a layout database;
The live distribution server refers to the layout database, assigns live video transmitted from the distribution terminal to a designated layout, synchronizes the live video of each layout, and performs live distribution to the viewing terminal. Live video synchronization delivery procedure,
When receiving the communication information and the layout designation information inputted in the browsing terminal browsing distributed live video, the live distribution server, by referring to the layout database, the communication information to the specified layout the assignment, and communication information synchronization distribution procedure for live distribution in synchronization with the live video,
When receiving the designation information of the layout in the image to be live-distributed and the attribute information for each layout from the distribution terminal that performs the live distribution, the live distribution server can be browsed as the access restriction information for each layout receiving one or both of the viewing device limits the information that can be viewed with the selection information of the browsing terminal, based on the access restriction information, characterized by having a content access management procedures to limit access from the viewing terminal And live delivery method.

A communication network connects a live distribution server that distributes live video of multimedia content, a distribution terminal that transmits live video to be distributed via the live distribution server, and a browsing terminal that receives and browses the live video A live distribution program operating on the live distribution server in the live distribution system,
Layout and attribute information storage processing for receiving designation information of one or more layouts in a screen to be distributed live and attribute information for each layout from the distribution terminal and storing them in a layout database;
A live video synchronization distribution process of referring to the layout database, allocating a live video transmitted from the distribution terminal to a designated layout, synchronizing a live video of each layout, and performing a live distribution to the viewing terminal; ,
When receiving the communication information and the layout designation information inputted in the browsing terminal browsing distributed live video, referring to the layout database assigns the communication information to the specified layout, the live video Communication information synchronous distribution processing that synchronizes with live distribution,
Selection information of the viewing terminal that can be browsed as access restriction information for each layout when receiving the designation information of the layout in the image for live delivery and the attribute information for each layout from the delivery terminal that performs the live delivery; One or both of the restriction information on the number of browsing terminals that can be browsed are received, and based on the access restriction information, a content access management process for restricting access from the browsing terminals is performed by a computer. Delivery program.

A computer-readable recording medium on which the live distribution program according to claim 6 is recorded.