[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4510005B2 - メディア配信装置及びメディア受信装置 - Google Patents

メディア配信装置及びメディア受信装置 Download PDF

Info

Publication number
JP4510005B2
JP4510005B2 JP2006510561A JP2006510561A JP4510005B2 JP 4510005 B2 JP4510005 B2 JP 4510005B2 JP 2006510561 A JP2006510561 A JP 2006510561A JP 2006510561 A JP2006510561 A JP 2006510561A JP 4510005 B2 JP4510005 B2 JP 4510005B2
Authority
JP
Japan
Prior art keywords
media
metadata
data
importance
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006510561A
Other languages
English (en)
Other versions
JPWO2005086009A1 (ja
Inventor
優一 出原
純一 横里
文伸 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2005086009A1 publication Critical patent/JPWO2005086009A1/ja
Application granted granted Critical
Publication of JP4510005B2 publication Critical patent/JP4510005B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25825Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99935Query augmenting and refining, e.g. inexact access
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99948Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

この発明はメディアデータをネットワークを介して配信するメディア配信装置、及び配信されたメディアデータを受信するメディア受信装置に関するものである。
映像、音声等を含む複数のメディアデータをネットワークを介して配信し、配信されたメディアデータを記述言語であるXML(extensible markup language)等に記述されたシナリオ通りに忠実に再生するためには、配信する各メディアデータの同期を保つ必要がある。そのための一手法として、例えば特開2003−9120号公報に記載されている複数のメディアデータの配信では、ネットワーク状況に応じて動的にメディアデータのコマ落としや画質落とし等が行われている。
図1は上記公報に記載されているメディア配信システムを説明する図である。メディアデータを配信するサーバSa,Sb,Scは、ネットワーク1のそれぞれ非常に細い回線、細い回線、太い回線により、メディアデータを再生する端末装置cと接続されている。例えば、サーバSa,Sb,Scからメディアデータを同時に配信する場合には、非常に細い回線に接続されたサーバSaはコマ落としや画質落としがなされたメディアデータを配信することにより、端末装置cは各サーバSa,Sb,Scから同時に配信されたメディアデータをXML等に記述されたシナリオ通りに同期再生を行うことができる。
従来のメディア配信装置は以上のように構成されているので、XML記述によるシナリオ作成時点でメディア受信装置の受信性能を考慮していないため、XML記述によるシナリオ自体がメディア受信装置の受信性能次第で実行不可能な場合があり、再生不可能なメディアデータを配信してしまう可能性があった。また、ネットワークの通信能力によっては、同期再生に適応するまでに時間を要してしまい、その間、メディア受信装置でメディアデータの再生が正常に行われない可能性があった。このように、メディア配信装置がシナリオ配信時点の状況に応じてXML記述によるシナリオを作成できず、メディア受信装置で正常に再生できないという課題があった。
この発明は上記のような課題を解決するためになされたもので、メディアデータを正常に再生できるように、メディア受信装置の受信性能やネットワークの通信能力を考慮してメディアデータを配信するためのメタデータを作成するメディア配信装置を得ることを目的とする。
また、この発明はメディア配信装置から配信されたメタデータに基づきメディアデータを正常に再生できるメディア受信装置を得ることを目的とする。
この発明に係るメディア配信装置は、メディアデータをネットワークを介してメディア受信装置に配信するものにおいて、上記ネットワークの通信能力と上記メディア受信装置の受信性能の少なくとも一方を取得するパラメータ取得部と、上記各メディアデータに割り振られたメディア重要度及び上記通信能力と上記受信性能の少なくとも一方に基づき、配信するメディアデータを選択するメディア選択部と、選択されたメディアデータの所在を示すアドレス情報と、選択されたメディアデータのメディア重要度及び上記通信能力と上記受信性能の少なくとも一方に基づき決定した上記メディア受信装置の画面配置を示す再生レイアウト情報とを記述したメタデータを作成する送信データ生成部と、上記メタデータを上記ネットワークを介して上記メディア受信装置に配信するデータ送信部と、上記メタデータを受信した上記メディア受信装置からの要求に基づき上記メディアデータを配信するメディア通信部と、メディア重要度の変更指示を受けて上記メディア重要度を変更すると共に上記メディア重要度の変更をメディア選択部に通知する重要度変化監視部とを備え、上記メディア選択部は変更後のメディア重要度及び通信能力と受信性能の少なくとも一方に基づき配信するメディアデータを選択し、上記送信データ生成部は、変更後のメディア重要度に基づき選択されたメディアデータの所在を示すアドレス情報と、上記変更後のメディア重要度及び上記通信能力と上記受信性能の少なくとも一方に基づき決定したメディア受信装置の画面配置を示す再生レイアウト情報とを記述した変更後のメタデータを作成し、上記データ送信部は上記変更後のメタデータを配信するものである。
この発明により、メディアデータを正常に再生することができると共に、各メディア受信装置に適応したメディアデータの配信を行うことができるという効果がある。
従来のメディア配信システムを説明する図である。 この発明の実施の形態1によるメタデータを用いた基本的なメディア配信システムを説明する図である。 この発明の実施の形態1によるメディア配信装置の内部の構成を示すブロック図である。 この発明の実施の形態1によるメディア配信装置におけるメディア通信部の内部の構成を示すブロック図である。 この発明の実施の形態1によるメディア受信装置の内部の構成を示すブロック図である。 この発明の実施の形態1による4地点同時監視の場合の再生レイアウトの例を示す図である。 この発明の実施の形態1によるメタデータの具体例を示す図である。 この発明の実施の形態1によるメタデータを用いたメディア配信システムを説明する図である。 この発明の実施の形態1によるメディア配信装置の内部の構成を示すブロック図である。 この発明の実施の形態1による6地点同時監視の場合の再生レイアウトの例を示す図である。 この発明の実施の形態1によるメタデータの具体例を示す図である。 この発明の実施の形態1による4地点監視の場合の再生レイアウトの例を示す図である。 この発明の実施の形態1によるメタデータの具体例を示す図である。 この発明の実施の形態1による3地点監視の場合の再生レイアウトの例を示す図である。 この発明の実施の形態1によるメタデータの具体例を示す図である。 この発明の実施の形態1による再生レイアウトを決定するための条件分岐が含まれるメタデータの具体例を示す図である。 この発明の実施の形態1によるメタデータを用いた他のメディア配信システムを説明する図である。 この発明の実施の形態1によるメディア配信装置の内部の構成を示すブロック図である。 この発明の実施の形態1によるメディア受信装置の内部の構成を示すブロック図である。 この発明の実施の形態1による6地点同時監視の場合でメディア重要度が変更される場合の再生レイアウトの推移の例を示す図である。 この発明の実施の形態1によるメディア重要度が変更される場合のメタデータの変更例を示す図である。 この発明の実施の形態1による3地点監視の場合でメディア重要度が変更される場合の再生レイアウトの遷移の例を示す図である。 この発明の実施の形態1によるメディア重要度が変更される場合のメタデータの変更例を示す図である。 この発明の実施の形態1による変更コマンド書式の定義の例とメタデータの例を示す図である。 この発明の実施の形態1による変更コマンドの例を示す図である。 この発明の実施の形態1による変更コマンドの例を示す図である。 この発明の実施の形態2によるメタデータを用いたメディア配信システムを説明する図である。 この発明の実施の形態2によるメディア配信装置の内部の構成を示すブロック図である。 この発明の実施の形態2によるメディア重要度の時間的変化及びメディア重要度の変化時刻があらかじめ既知である場合のメタデータの具体例を示す図である。 この発明の実施の形態2によるメディア重要度の時間的変化及びメディア重要度の変化時刻があらかじめ既知である場合のメタデータと変更コマンドの具体例を示す図である。 この発明の実施の形態2による4地点同時監視の場合の再生レイアウトの例とメタデータの例を示す図である。 この発明の実施の形態2によるメタデータを用いた他のメディア配信システムを説明する図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
この実施の形態1では、メディアデータをMPEG−4 Visualで符号化された監視映像とした例を用いて説明を行うが、メディアデータ自体は映像、音声等一般的なメディアデータであれば何でもよく、また、アプリケーションとして監視システムに限定するものでもない。さらに、メディアデータの特徴をコンパクトに記述したメタデータについては、XMLベースのマルチメディアプレゼンテーション記述言語であるSMIL(synchronized multimedia integration language)を用い、さらに、メディア配信プロトコルとしてはRTP(real time transport protocol,IETF RFC3550)、メディア配信の制御プロトコルとしてRTSP(real time streaming protocol,IETF RFC2326)をそれぞれ用いて説明を行うが、実用上、特にそれらに限定するものではない。
この実施の形態1では、メディア配信装置がメディア重要度に基づきメディアデータを選択して配信を行うことにより、ユーザはメディア受信装置で重要なメディアデータを優先的に参照することが可能となる。メディア重要度の状況によっては、メディアデータは複数選択されることもある。そして、メディア配信装置がメディア重要度に応じて動的に作成したメタデータに基づきメディアデータの配信を行うことにより、メディア受信装置は配信されたメタデータに従った同期再生動作を行うだけでメディアデータの受信を行うことができる。
図2はこの発明の実施の形態1によるメタデータを用いた基本的なメディア配信システムを説明する図である。図2において、メディア配信装置201は、ネットワーク203を介してメディア受信装置202と接続され、メディア重要度204とメディアデータ205にアクセス可能となっている。
図2の動作について説明する。
メディアデータ205がひとつ又は複数あり、各メディアデータ205に対し各々メディア重要度204が割り振られている。各メディアデータ205はシステム内で一意に識別できるアドレスを有している。メディア配信装置201は、メディア受信装置202からメディアデータ205の配信要求を受信したとき、各メディア重要度204を参照し、参照した各メディア重要度204をパラメータとして、配信すべきメディアデータ205をひとつ又は複数選択し、選択されたメディアデータ205のアドレス情報及びメディア受信装置202上の画面配置を示す再生レイアウト情報を記述したメタデータ206を作成し、メディア受信装置202に対してそのメタデータ206の配信207を行う。
メディア配信装置201はメディア重要度204をパラメータとしてメタデータ206を作成する。例えば、メディア配信装置201は、「メディア重要度が中以上」といった閾値を根拠としてメディアデータ205を選択してメタデータ206を作成する。メディア受信装置202はそのメタデータ206を受信し、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置201はリクエスト208を受け、メディア受信装置202に対して、リクエスト応答209を返すと共に、リクエストされたメディアデータ205の配信210を行う。メディア受信装置202は、配信されたメディアデータ205を受信し、メタデータ206に記述されている再生レイアウト情報に基づき再生を行う。メディア受信装置202は、メディアデータ205を複数同時に受信する場合には、メディアデータ205同士の同期を取りながら再生を行う。
図3はメディア配信装置201の内部の構成を示すブロック図である。メディア配信装置201は、メディア選択部2706、送信データ生成部2707、データ送信部2708及びメディア通信部2712を備えており、メディア重要度204とメディアデータ205にアクセス可能となっている。
図3の動作について説明する。
メディア配信装置201のメディア選択部2706は、メディア重要度204を参照し、参照したメディア重要度204をパラメータとして配信すべきメディアデータ205を選択する。送信データ生成部2707は、メディア選択部2706で選択されたメディアデータ205のアドレス情報と選択されたメディアデータ205のメディア重要度204に基づき決定したメディア受信装置202上の画面配置を示す再生レイアウト情報とを記述したメタデータ206を作成し、データ送信部2708はメディア受信装置202に対して作成されたメタデータ206の配信207を行う。
メディア受信装置202は配信されたメタデータ206を受信し、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置201のメディア通信部2712は、そのリクエスト208を受けて、メディア受信装置202に対して、リクエスト応答209を返すと共に、リクエストされたメディアデータ205の配信210を行う。メディア受信装置202は、配信されたメディアデータ205を受信し、メタデータ206に記述されている再生レイアウト情報に基づき同期再生を行う。
図4はメディア配信装置201におけるメディア通信部2712の内部の構成を示すブロック図であり、メディア通信部2712はRTSP通信部2805及びRTP送信部2808を備えている。
図4の動作について説明する。
RTSP通信部2805はメディア受信装置202からRTSPによるメディアデータ205のリクエスト208を受けて、メディア受信装置202に対してリクエスト応答209を返すと共に、RTP送信部2808に対してリクエストされたメディアデータ205を配信するよう指示を出す。RTP送信部2808はRTSP通信部2805から指示されたメディアデータ205の配信210を行う。
図5はメディア受信装置202の内部の構成を示すブロック図である。メディア受信装置202は、データ受信部2909、データ解析部2910、同期管理部2911、RTSP通信部2912、メディア表示部2913及びメディア受信部2914を備えている。
図5の動作について説明する。
メディア受信装置202のデータ受信部2909は、メディア配信装置201から配信されたメタデータ206を受信してデータ解析部2910へ渡す。メタデータ206には、メディアデータ205の所在を示すアドレス情報及び画面配置を示す再生レイアウト情報が記述されており、必要に応じて画面の切り替えタイミングを示す同期情報が含まれることもある。
データ解析部2910はデータ受信部2909で受信したメタデータ206を解析し、メタデータ206に記述されているメディアデータ205のアドレス情報をRTSP通信部2912に対して通知し、メタデータ206に同期情報が含まれている場合には、メディアデータ205のリクエストタイミングの一覧を作成して同期管理部2911に対して通知し、メタデータ206に記述されているメディアデータ205の再生レイアウト情報をメディア表示部2913に対して通知する。また、データ解析部2910は、メタデータ206に同期情報が含まれていない場合には、再生開始時点のリクエストを行うリクエストタイミングの一覧を作成して同期管理部2911に対して通知する。
同期管理部2911は、データ解析部2910から通知されたリクエストタイミングの一覧に基づき、RTSP通信部2912に対してリクエストタイミングを指示する。RTSP通信部2912は、同期管理部2911から指示されたリクエストタイミングで、データ解析部2910から通知されたアドレス情報に基づき、メディアデータ205のリクエスト208を行う。
メディア配信装置201はこのリクエスト208を受け、メディア受信装置202に対して、リクエスト応答209を返すと共に、リクエストされたメディアデータ205の配信210を行う。メディア受信装置202のメディア受信部2914は、配信されたメディアデータ205を受信してメディア表示部2913へ渡す。メディア表示部2913は、メディア受信部2914よりメディアデータ205を受け取り、データ解析部2910から通知された再生レイアウト情報に基づき同期再生を行う。
図2に示すメディア配信システムについて、監視システムという具体的な例で説明を行う。
例えば、4台の監視カメラで4つの監視映像のメディアデータ205の配信を行う際に、監視カメラが置いてある場所に応じてメディア重要度204があらかじめ設定されており、メディア配信装置201はそのメディア重要度204をパラメータとして配信する監視映像のメディアデータ205を選択し、選択されたメディアデータ205のアドレス情報及び再生レイアウト情報を記述したメタデータ206を作成し、メディア受信装置202に対して作成したメタデータ206の配信207を行う。
図6は4地点(A地点〜D地点)同時監視の場合の再生レイアウトの例を示す図である。重要度一覧706の場合には、メディア受信装置202の画面全体701の中に、A地点映像702、B地点映像703、C地点映像704及びD地点映像705が表示される再生レイアウトとなっており、重要度一覧708の場合には、A地点映像702のみを表示する再生レイアウトとなっている。
メディア配信装置201は、メディア重要度204を参照し、あるメディア重要度204を閾値とし、配信するメディアデータ205の選択を動的に行う。例えば、メディア重要度204が「中」以上の監視地点に関するメディアデータ205の配信を行う際には、メディア配信装置201は、重要度一覧706の場合に、A地点映像702〜D地点映像705の全てのメディアデータ205の同時配信を行うことを想定したメタデータ206を動的に作成し、一方、重要度一覧708の場合には、A地点映像702のみのメディアデータ205の配信を行うことを想定したメタデータ206を動的に作成する。このように、メディア受信装置202のユーザが、メディア配信装置201に対してメディアデータ205の配信を要求したときのメディア重要度204に基づき、メディア配信装置201は動的にメタデータ206の生成を行う。
図7はメタデータ206の具体例を示す図であり、このメタデータ1301は、図6の画面全体701の映像のメディアデータ205を配信をするためのものである。ここでは、マルチメディア同期記述言語SMILを用いているが、特にSMILに限定しているわけではない。図7のメタデータ1301において、smilタグ1302は、</smil>で閉じられる部分までがSMILデータであることを示す。headタグ1303は</head>で閉じられる部分までがヘッダ部分であることを示す。layoutタグ1304は</layout>で閉じられる部分までが再生レイアウト情報に関する記述であることを示す。root−layoutタグ1305は画面全体の大きさを示し、widthが横幅、heightが縦幅を示す。regionタグ1306は画面内の領域の定義を行うタグであり、idがその領域の識別用idを、leftが水平方向に関するオフセット値を、topが垂直方向に関するオフセット値を、widthが横幅、heightが縦幅を示す。bodyタグ1307は</body>で閉じられる部分までがボディ部分であることを示す。parタグ1308は</par>で閉じられる部分までのメディアデータを同時再生することを示す。videoタグ1309はメディアデータ205の定義を行うタグであり、regionが再生レイアウト情報で設定したregionタグのidを指定しその領域に再生を行うことを示し、srcがそのメディアデータ205のアドレス情報を示す。
メディア受信装置202は図7のメタデータ1301を受信し、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置201はそのリクエスト208を受け、メディア受信装置202に対してメディアデータ205の配信210を行う。メディア受信装置202は、配信されたメディアデータ205を受信し、メタデータ1301に記述されている図6に示す画面全体701の再生レイアウトとなるように同期再生を行う。
図6は4地点監視の例であるが、監視アプリケーションの例としては、複数のセクション、例えば複数のビル等の監視を行う場合に、例えばこの4地点は同じセクションに属しており、メディア受信装置202のユーザが該セクションの映像配信を要求することをトリガーとし、メディア配信装置201が該セクション内のメディア重要度204に基づきメタデータ206を動的に作成し、メディア受信装置202に対して配信するといったアプリケーションが考えられる。このような監視アプリケーションの場合には、メディア受信装置202のユーザは、映像配信を要求するセクションの選択が可能であり、メディア配信装置201は、要求されたセクション内で閉じた形でのメディア重要度204に基づきメタデータ206を作成する。
メディア配信装置201がメタデータ206を動的に作成することにより、メディア受信装置202としては、そのメタデータ206に基づくリクエスト208を行うだけで、その時点で重要なメディアデータ205だけを選択した再生が可能となる。つまりメディア受信装置202はメタデータ206の通りにメディアデータ205を再生しているのみである。この仕組みにより、メディア受信装置202はメタデータ206を解釈してリクエスト208を行うことが可能であれば、どんな種類のメディア受信装置202でも正しいタイミングでメディアデータ205の受信が可能となり、さらに、メディアデータ205のデコーダを搭載していれば、どんな種類のメディア受信装置202でもメタデータ206に基づいたメディアデータ205の同期再生を行うことが可能となる。しかし、ネットワーク203の通信能力やメディア受信装置202の受信性能によっては、配信するメディアデータ205の数が多すぎる場合には過負荷となり、正しい再生が行われない可能性がある。次にそれを回避するためのメディア配信システムを説明する。
図8はこの発明の実施の形態1によるメタデータを用いたメディア配信システムを説明する図である。図8において、メディア配信装置301はネットワーク203を介してメディア受信装置202と接続され、メディア重要度204とメディアデータ205にアクセス可能となっている。
図8の動作について説明する。
メディアデータ205がひとつ又は複数あり、各メディアデータ205に対し各々メディア重要度204が割り振られている。各メディアデータ205は、システム内で一意に識別できるアドレスを有している。図8のメディア配信装置301では、図2のメディア配信装置201と比較して、メタデータ306を自動生成するための各種パラメータが増加している。具体的には、メディア配信装置301は、メディア受信装置202からメディアデータ205の配信の要求を受信したときに、次の(a)に示すパラメータの他に、(b)〜(d)に示すパラメータのうちのひとつ又は複数のパラメータを使用する。
(a)メディア重要度204
(b)メディア配信装置301とメディア受信装置202間のネットワーク203の通信能力312
(c)メディア受信装置202の受信性能313としての画面サイズ
(d)メディア受信装置202の受信性能313としてのデコーダ数や符号化レート等のデコード能力
このように、(a)に示すパラメータの他に、(b)〜(d)に示すパラメータのうちのひとつ又は複数のパラメータを使用することで、メディア重要度204だけではなく、ネットワーク203の通信能力312やメディア受信装置202の受信性能313も考慮して、配信すべきメディアデータ205をひとつ又は複数選択し、選択されたメディアデータ205のアドレス情報及び再生レイアウト情報を記述したメタデータ306を作成し、メディア受信装置202に対しそのメタデータ306の配信207を行う。メディア受信装置202はそのメタデータ306を受信し、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置301はリクエスト208を受け、メディア受信装置202に対して、リクエスト応答209を返すと共に、メディアデータ205の配信210を行う。メディア受信装置202は配信されたメディアデータ205を受信し、メタデータ306に記述されている再生レイアウト情報に基づきメディアデータ205の同期再生を行う。
図8のメディア配信装置301では、メディアデータ205の選択や、一度に配信するメディアデータ205の数や、配信されるメディアデータ205の品質が、上記(a)〜(d)に示すパラメータに基づくものとなる。具体的には、重要度の高いメディアデータ205ほど選択されやすくなり、ネットワーク203の通信能力312やメディア受信装置202の受信性能313が高いほど一度に配信するメディアデータ205の数が増加しメディアデータ205の品質が高くなる。
図9はメディア配信装置301の内部の構成を示すブロック図である。このメディア配信装置301は図3のメディア配信装置201にパラメータ取得部3007を追加し、メディア選択部2706をメディア選択部3006に置き換え、送信データ生成部2707を送信データ生成部3008に置き換えたものである。
図9の動作について説明する。
パラメータ取得部3007は、何らかの手段を用いて上記(b)〜(d)に示すパラメータ、すなわち、ネットワーク203の通信能力312とメディア受信装置202の受信性能313の少なくとも一方を取得してメディア選択部3006に通知する。このパラメータを取得する手段は、例えばあらかじめメディア受信装置202と通信能力交換や受信性能交換のための通信を行う等の手段が考えられるが、ここでは特にその手段は限定しないこととする。
メディア選択部3006は、メディア重要度204及びネットワーク203の通信能力312とメディア受信装置202の受信性能313の少なくとも一方に基づき配信するメディアデータ205を決定する。送信データ生成部3008は、メディア選択部3006により選択されたメディアデータ205の所在を示すアドレス情報と、選択されたメディアデータ205のメディア重要度204、及びネットワーク203の通信能力312とメディア受信装置202の受信性能313の少なくとも一方に基づき決定したメディア受信装置202上の画面配置を示す再生レイアウト情報とを記述したメタデータ306を作成する。その他の動作は図3のメディア配信装置201と同じである。
図8に示すメディア配信システムに関して、監視システムという具体的な例で説明する。例えば、図8において、上記(a)〜(d)に示す全てのパラメータを使用した場合で、通信能力が高いネットワーク203を介して受信性能が高いメディア受信装置202に配信する例について説明する。この例では、ネットワーク203の通信帯域1.5Mbps、メディア受信装置202の解像度はXGA(1024×768)で、デコード能力として10個の映像のメディアデータ205を同時デコード可能とする。
図10は6地点(A地点〜F地点)同時監視の場合の再生レイアウトの例を示す図である。ここでは、重要度一覧607に基づき、画面全体601の中に、A地点映像602、B地点映像603、C地点映像604、D地点映像605及びE地点映像606が表示される再生レイアウトとなっている。画面全体601は、重要度一覧607に示すとおり、E地点がメディア重要度「高」の監視地点で、A地点〜D地点はメディア重要度「中」程度の監視地点の場合の監視映像の再生レイアウトとなっている。メディア受信装置202の画面サイズが十分大きくデコード能力が高いため、メディア重要度の閾値を「中」とし、メディア重要度が「低」のF地点を除いた5地点同時に、ネットワーク203の通信能力が高いため高品質な映像による監視を行い、かつ重要度が「高」のE地点に関して、より高品質かつ高い解像度(1Mbps、VGA解像度)で監視を行い、A地点〜D地点をサムネール表示(64kbps、SQVGA解像度)する再生レイアウトとなっている。ここで、VGA解像度は640×480、SQVGA解像度は160×120であり、5映像同時再生を行う。
このような場合、メディア配信装置301は、図10に示すような再生レイアウトを想定した監視映像を配信をするためのメタデータ306を生成し、メディア受信装置202に配信する。
図11はメタデータ306の具体例を示す図であり、図10の画面全体601の映像のメディアデータ205を配信をするためのものである。図11のメタデータ1201における各タグは既に説明した図7のメタデータ1301における各タグと同じ意味を持っている。
メディア受信装置202は図11のメタデータ1201を受信し、記述されているアドレス情報に基づくメディアデータ205のリクエスト208を行う。メディア配信装置301はリクエスト208を受け、メディア受信装置202に対してメディアデータ205の配信210を行う。メディア受信装置202は、配信されたメディアデータ205を受信し、図11のメタデータ1201に記述されている再生レイアウト情報に基づき図10に示す再生レイアウトで同期再生を行う。
一方、同じ図10の重要度一覧607の6地点監視の場合でも、ネットワーク203の通信能力312が例えば32kbps等と低い場合に、メディア配信装置301は、図11のメタデータ1201とは異なるメタデータ306を作成する。ネットワーク203の通信能力312が低い場合に、メディア重要度204の閾値を「中」ではなく「高」とし、まずメディアデータ205の配信数を制限する。図10の重要度一覧607の例では、メディア重要度の閾値を「高」とすると、配信数は、E地点映像1つになる。そうした上で、メディア配信装置301は、メディア受信装置202に対して、32kbpsのE地点映像を配信するためのメタデータ306を動的に作成して配信207を行う。
次に、図8において、上記(a)〜(d)に示す全てのパラメータを使用した場合で、ネットワーク203の通信能力312及びメディア受信装置202の受信性能313が全て低い場合の例を説明する。この例では、ネットワーク203の通信能力312が32kbpsと低く、解像度SQVGA(160×120)を持ち、デコード能力として1度に1映像のみデコード可能な受信性能313の低いメディア受信装置202とする。このような場合、メディア配信装置301では、図12に示すような映像配信をするために、図13に示すメタデータ1401を作成してメディア受信装置202に対して配信207を行う。
図12は4地点(A地点〜D地点)監視の場合の再生レイアウトの例を示す図である。ここでは、重要度一覧806に基づき、A地点映像801、B地点映像802、C地点映像803、D地点映像804、A地点映像805が順次送信されて再生される。
図12は、重要度一覧806に示すとおり、監視地点によるメディア重要度204の差がない場合の例であり、メディア受信装置202の画面サイズが小さくデコード能力も低い場合の例であるため、1度に1地点しか再生しない。また、ネットワーク203の通信能力312が低いため、より低いビットレートの映像で監視を行う。メディア重要度204の差がない4地点監視であるため、一定周期でA→B→C→D→A→・・・と映像を順次切り替えて監視を行う。メディア配信装置301は、メディア受信装置202の低い解像度に基づき、このような再生レイアウトを実現するためのメタデータ306を作成してメディア受信装置202に対して配信207を行う。
図13はメタデータ306の具体例を示す図であり、図12の再生レイアウトを実現するための例である。メタデータ1401において、seqタグ1402は、</seq>で閉じられる部分までのメディアデータ205を順番に再生することを示し、repeat=“indefinite”は無限リピートすることを示す。videoタグ1403はメディアデータ205の定義を行うタグであり、regionが再生レイアウトで設定したregionタグのidを指定しその領域に再生を行うことを示し、srcがそのメディアデータ205のアドレスを示し、durが再生時間を示す。
図8において、メディア受信装置202は図13のメタデータ1401を受信し、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置301はそのリクエスト208を受け、メディア受信装置202に対してメディアデータ205の配信210を行う。メディア受信装置202は配信されたメディアデータ205を受信し、メタデータ1401に記述されている図12の再生レイアウトで再生を行う。映像を切り替えるタイミングは図13のメタデータ1401のvideoタグ1403におけるdurに記述されており、図13のメタデータ1401の場合は、図12でn=30秒とした場合に相当する。メディア受信装置202は、映像を切り替えるタイミングで、メタデータ1401に記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行い、順次再生映像を切り替える。
また、図8において、上記(a)〜(d)に示す全てのパラメータを使用した場合で、ネットワーク203の通信能力312及びメディア受信装置202の受信性能313が全て低い場合で、監視地点による重要度の差がある場合は、メディア配信装置301では、例えば図14に示すような映像配信をするために図15に示すメタデータ1601を作成してメディア受信装置202に対して配信207を行う。
図14は3地点(A地点〜C地点)監視の場合の再生レイアウトの例を示す図である。ここでは、重要度一覧905に基づき、B地点映像901、C地点映像902、A地点映像903、B地点映像904が順次送信されて再生される。図14は、重要度一覧905に示すとおり、B地点映像のメディア重要度204が「高」で、A地点、B地点映像のメディア重要度204が「中」の場合の再生レイアウトの例であり、メディア受信装置202の画面サイズが小さくデコード能力も低い場合の例であるため、1度に1地点しか再生しない。また、ネットワーク203の通信能力312が低いため、ビットレートの低い映像で監視を行う。B地点がメディア重要度204の高い3地点監視であるため、B地点の再生時間をA地点やC地点と比較して時間的に長く取り、B→C→A→B・・・と映像を順次切り替えて監視を行う。
図15はメタデータ306の具体例を示す図であり、図14の再生レイアウトを実現するための例である。このメタデータ1601の各タグは上記の各メタデータの各タグと同種である。
図8において、メディア受信装置202は図15のメタデータ1601を受信し、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置301はそのリクエスト208を受け、メディア受信装置202に対してメディアデータ205の配信210を行う。メディア受信装置202は配信されたメディアデータ205を受信し、メタデータ1601に記述されている図14に示す再生レイアウトで再生を行う。映像を切り替えるタイミングは図15のメタデータ1601に記述されており、この場合は、図14においてm=60秒、n=30秒とした場合に相当する。メディア受信装置202は、映像を切り替えるタイミングで、メタデータ1601に記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行い、順次再生映像を切り替える。
また、図8のメディア配信装置301が作成するメタデータ306について、再生レイアウトを決定するための条件分岐を含めた形でメタデータ306を記述することも可能である。この条件分岐は、上記(b)〜(d)に示すパラメータだけでなく、その他のパラメータに関する条件分岐も記述することが可能である。メディア受信装置202が、メディア配信装置301から配信された条件分岐記述のあるメタデータ306を解析して条件を判断し、その判断に基づき、受信するメディアデータ205及び再生レイアウトを選択し、受信するメディアデータ205に関するアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置301は、そのリクエスト208を受けて、メディア受信装置202に対してメディアデータ205の配信210を行う。メディア受信装置202は、配信されたメディアデータ205を受信して、上記判断で選択した再生レイアウトで再生を行う。
図16は再生レイアウトを決定するための条件分岐が含まれるメタデータ306の具体例を示す図である。図16のメタデータ1501において、switchタグ1502は、</switch>で閉じられる部分までのタグのうち、上から順に条件調査し該当する条件を残すということを示すためのタグであり、layoutタグ1503は、</layout>で閉じられる部分までが再生レイアウトを記述していることを示し、systemBitrateはネットワーク203の通信能力312に関する条件を示し、parタグ1504は、</par>で閉じられる部分までのメディアデータ205を同時再生することを示している。
このメタデータ1501は、上記(b)に示すパラメータの条件により、メディア受信装置202側で、図10又は図12の再生レイアウトを選択することが可能なメタデータ306の例である。具体的には、上記(b)に示すパラメータの条件において、メディア受信装置側202が、ネットワーク203の通信能力312が高いと判断した場合に、図10のような再生レイアウトを行うようにメディアデータ205のリクエスト208を行い、ネットワーク203の通信能力312が低いと判断した場合には、図12のような再生レイアウトを行うようにメディアデータ205のリクエスト208を行うということが、メディア受信装置202側で選択可能である。
このように、上記(b)〜(d)に示すパラメータに基づきメディア配信装置301がメタデータ306を作成することにより、メディアデータ205のメディア重要度204、ネットワーク203の通信能力312及びメディア受信装置202の受信性能313を考慮してメディアデータ205を配信することができる。
次にメディア重要度204が再生途中で変更される場合の処理について説明する。メディア重要度204が変更される場合は、メディア重要度204が高い方に変更されたメディアデータ205を優先的に配信するための処理が必要である。
図17はこの発明の実施の形態1によるメタデータを用いた他のメディア配信システムを説明する図である。図17において、メディア配信装置401はネットワーク203を介してメディア受信装置402と接続され、メディア重要度204とメディアデータ205にアクセス可能となっている。
図17の動作について説明する。
図17は、図8に示す手続きを経てメディア配信を行っている状態において、あるときにメディアデータ205のメディア重要度204に変更指示414がある場合を示している。図17のメディア配信装置401は、図8のメディア配信装置301と比較して、メディア重要度204の変更に対応する機能が追加されている。具体的には、メディア重要度204が変更される場合は、メディア配信装置401は、次の(e)に示すパラメータも使用する。
(e)変更後のメディア重要度204
例えば、上記(e)に示すパラメータの他に、上記(b)〜(d)に示すパラメータのうち、ひとつ又は複数のパラメータを使用することで、変更後のメディア重要度204だけではなく、ネットワーク203の通信能力312やメディア受信装置202の受信性能313を考慮して、メディアデータ205をひとつ又は複数選択し、選択されたメディアデータ205のアドレス情報及び再生レイアウト情報を記述したメタデータ306を更新してメタデータ406を作成し、メディア受信装置402に対して更新されたメタデータ406の配信207を行う。
メディア受信装置402は、図8のメディア受信装置202と比較して、変更コマンドを解析する機能が追加されている。変更コマンドについては後述する。メディア受信装置402は上記メタデータ406を受信し、現在再生中のメディアデータ205の再生を停止し、新たに受信したメタデータ406に記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置401はリクエスト208を受け、メディア受信装置402に対して、リクエスト応答209を返すと共に、メディアデータ205の配信210を行う。メディア受信装置402は、配信されたメディアデータ205を受信し、新たに受信したメタデータ406に記述されている再生レイアウトで同期再生を行う。
なお、メディア配信装置401では、上記メタデータ406の代わりに、メディア重要度204が変更前のメタデータ306とメディア重要度204が変更後のメタデータとの差分を変更コマンド406として作成して配信207を行うことも可能である。その場合、メディア受信装置402は、変更コマンド406を解釈して、再生中のメタデータ306に対して更新を行う。これにより、上記のように変更後のメタデータ406全体を受信した場合と同じ効果が得られる。変更コマンド406は一般にメタデータ406全体よりデータ量が少なくて同様の効果が得られるため有用である。
メディア重要度204の変更指示414が発生する要因としては、例えば監視先からメディア配信装置401宛に通知される警報情報の受信が挙げられるが、実用上、特にそれに限定するものではない。
図18は図17のメディア配信装置401の内部の構成を示すブロック図である。このメディア配信装置401は、図9のメディア配信装置301に、重要度変化監視部3106を追加し、メディア選択部3006をメディア選択部3107に置き換え、送信データ生成部3008を送信データ生成部3109に置き換えたものである。
図18の動作について説明する。
重要度変化監視部3106は、メディア重要度204の変更指示414を常に監視しており、メディア重要度204の変更が発生する場合に、該当のメディア重要度204を変更すると共に、該当のメディア重要度204が変更されたことをメディア選択部3107に通知する。メディア選択部3107は、その通知を受け、変更後のメディア重要度204及びネットワーク203の通信能力312とメディア受信装置402の受信性能313の少なくとも一方に基づきメディアデータ205の選択を行い、送信データ生成部3109へ通知する。
送信データ生成部3109は、送信データ生成部3008と比較して、変更前のメタデータ306と変更後のメタデータとの差分を示す変更コマンド406を作成する機能が追加されている。送信データ生成部3109は、メディア選択部3107で選択されたメディアデータ205の所在を示すアドレス情報と、変更後のメディア重要度204及びネットワーク203の通信能力312とメディア受信装置402の受信性能313の少なくとも一方に基づき決定したメディア受信装置402上の画面配置を示す再生レイアウト情報とを記述した変更後のメタデータ406を作成するか、又は変更後のメディア重要度204及びネットワーク203の通信能力312とメディア受信装置402の受信性能313の少なくとも一方に基づき変更前のメタデータ306と変更後のメタデータとの差分を示す変更コマンド406を作成し、データ送信部2708に渡す。変更コマンド406についての詳細説明は後述する。その他の動作は図9のメディア配信装置301と同じである。
図19は図17のメディア受信装置402の内部の構成を示すブロック図である。このメディア受信装置402は、図5のメディア受信装置202と比較して、データ解析部2910をデータ解析部3210に置き換えたものである。
図19の動作について説明する。
データ解析部3210は、図5のデータ解析部2910と比較して、メタデータ406だけではなく、変更コマンド406も解釈し、既に受信しているメタデータ306と比較しメタデータ306を更新する機能が追加されている。その他の動作は図5のメディア受信装置202と同様である。
図17に関して監視システムという具体的な例で説明を行う。ここでは、図17において、上記(a)〜(e)に示す全てのパラメータを使用し、ネットワーク203の通信能力312及びメディア受信装置402の受信性能313が全て高い場合の例について説明する。
図20は6地点(A地点〜F地点)同時監視の場合でメディア重要度204が変更される場合の再生レイアウトの推移の例を示す図である。ここでは、重要度一覧1013に基づき、画面全体1001の中に、A地点映像1003、B地点映像1004、C地点映像1005、D地点映像1006及びE地点映像1007の再生レイアウトとなっているものが、変更後の重要度一覧1014に基づき、画面全体1002の中に、A地点映像1008、E地点映像1009、C地点映像1010、D地点映像1011及びB地点映像1007の再生レイアウトに変更されている。そして、変更前の重要度一覧1013に基づき、画面全体1001では、E地点が重要度「高」の監視地点で、A地点〜D地点は重要度「中」程度の監視地点の場合の監視映像の再生レイアウトとなっているが、変更後の重要度一覧1014に基づき、画面全体1002では、B地点に警報が発生したため、B地点が重要度「最高」の監視地点に遷移する場合の監視映像の再生レイアウトとなっている。
図21は、図20のように、メディア重要度204が変更される場合のメタデータの変更例を示す図である。ここでは、重要度一覧1703に基づくメタデータ1701が、B地点の重要度増加により、重要度一覧1704に基づくメタデータ1702に変更される場合を示している。
メディア配信装置401は、図20の重要度一覧1013のような重要度の分布の場合に、画面全体1001の再生レイアウトを想定した映像配信をするための図21のメタデータ1701の配信207をメディア受信装置402に対して行う。メディア受信装置402はメタデータ1701を受信し、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置401はそのリクエスト208を受け、メディア受信装置402に対しメディアデータ205の配信210を行う。メディア受信装置402は配信されたメディアデータ205を受信し、メタデータ1701に記述されている再生レイアウト情報に基づき、図20の画面全体1001の再生レイアウトで同期再生を行う。
その後、メディア重要度204に変更指示414が発生すると、図20の重要度一覧1014に変更され、メディア配信装置401は、図20の画面全体1002の再生レイアウトを想定し、再生レイアウトを更新するためのメタデータ1702の配信207をメディア受信装置402に対して行う。メディア受信装置402は、メタデータ1702を受信した時点で、これまで再生していたメディアデータ205の再生を停止し、新たに受信したメタデータ1702に記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置401はそのリクエスト208を受け、メディア受信装置402に対しメディアデータ205の配信210を行う。メディア受信装置402は配信されたメディアデータ205を受信し、メタデータ1702に記述されている再生レイアウト情報に基づき図20の画面全体1002の再生レイアウトで同期再生を行う。
次に、図17において、上記(a)〜(e)に示す全てのパラメータを使用した場合で、ネットワーク203の通信能力312及びメディア受信装置402の受信性能313が全て低い場合の例について説明する。
図22は3地点(A地点〜C地点)監視の場合でメディア重要度204が変更される場合の再生レイアウトの遷移の例を示す図である。ここでは、メディア重要度204が変更前の重要度一覧1110に基づき、A地点映像1101、B地点映像1102、C地点映像1103、A地点映像1104が順次送信されて再生されているが、警報発生によりB地点のメディア重要度204が増加すると、変更後の重要度一覧1111に基づきB地点映像1105のみが送信されて再生され、その後、警報解除によりB地点のメディア重要度204が微減すると、さらに変更後の重要度一覧1112に基づきA地点映像1106、B地点映像1107、C地点映像1108、A地点映像1109が順次送信されて再生されている。
図23は、図22のように、メディア重要度204が変更される場合のメタデータの変更例を示す図である。ここでは、重要度一覧1804に基づくメタデータ1801が、B地点の重要度増加により、重要度一覧1805に基づくメタデータ1802に変更され、さらにB地点の重要度微減により、重要度一覧1806に基づくメタデータ1803に変更される場合を示している。
この例は、「重要度中以上」の地点を順次再生する例であり、「重要度最高」が存在した場合は、「重要度最高」が解除されるまで、その地点のみを再生することとする。
メディア配信装置401では、図22の変更前の重要度一覧1110のような重要度の分布の場合、A地点映像1101、B地点映像1102、C地点映像1103、A地点映像1104のような順次再生を想定した映像配信をするための図23のメタデータ1801をメディア受信装置402に配信する。メディア受信装置402はメタデータ1801を受信し、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置401はそのリクエスト208を受け、メディア受信装置402に対してメディアデータ205の配信210を行う。メディア受信装置402は配信されたメディアデータ205を受信し、メタデータ1801に記述されている再生レイアウト情報に基づき、A地点映像1101、B地点映像1102、C地点映像1103、A地点映像1104の順序で再生を行う。映像を切り替えるタイミングはメタデータ1801に記述されており、メディア受信装置402は、映像を切り替えるタイミングで、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行い、順次映像を切り替える。
その後、B地点に警報が発生し、その結果、図22の重要度一覧1111のように変更された場合には、メディア配信装置401は、B地点のみを再生することを想定し、再生レイアウトを変更するための図23のメタデータ1802をメディア受信装置402に配信する。メディア受信装置402は、メタデータ1802を受信した時点で、これまで再生していたメディアデータ205の再生を停止し、新たに受信したメタデータ1802に記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置401はそのリクエスト208を受け、メディア受信装置402に対して、メディアデータ205の配信210を行う。メディア受信装置402は、配信されたメディアデータ205を受信して、新たに受信したメタデータ1802に記述されている再生レイアウト情報に基づきB地点映像1105のみの再生を行う。
さらに、その後、B地点の警報が解除され、図22の重要度一覧1112のように変更された場合には、メディア配信装置401は、図22のA地点映像1106、B地点映像1107、C地点映像1108、A地点映像1109のような順次再生を想定した映像配信をするための図23のメタデータ1803をメディア受信装置402に配信する。メディア受信装置402は、図23のメタデータ1803を受信した時点で、その時点まで再生していたメディアデータ205の再生を停止し、新たに受信したメタデータ1803に記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置401はそのリクエスト208を受け、メディア受信装置402に対しメディアデータ205の配信210を行う。メディア受信装置402は、配信されたメディアデータ205を受信し、新たに受信したメタデータ1803に記述されている再生レイアウト情報に基づき、A地点映像1106、B地点映像1107、C地点映像1108、A地点映像1109の順序で再生を行う。映像を切り替えるタイミングは図23のメタデータ1803に記述されており、メディア受信装置402は、映像を切り替えるタイミングで、記述されているアドレス情報に基づき、メディアデータ205のリクエスト208を行い、順次再生映像を切り替える。
また、図17において、メディア重要度204が変更される際に、メディア配信装置401において、メタデータ306を更新し更新後のメタデータ406全体をメディア受信装置402に配信する代わりに、更新前と更新後のメタデータにおける変更点のみを変更コマンド406として送信する方式もある。
図24は変更コマンド書式の定義の例とメタデータの例を示す図である。変更コマンド書式2401に示すとおり、変更コマンドとして、add(追加)、replace(置き換え)、delete(削除)があり、それぞれにエレメントとアトリビュートに関する操作が可能である。実施時刻は省略可能であり、省略した場合には即実行するものとする。絶対ノードはメタデータの階層位置を示し、メタデータ2402に対する各変更コマンドは、絶対ノード対応表2403により対応付けられている。この実施の形態1では、図24に示す変更コマンドを定義したが、この方式に限定するものではない。
図24で定義された変更コマンドを用いた例を説明する。
図25は変更コマンドの例を示す図である。メディア配信装置401において、メタデータの更新の際に、図21の変更後のメタデータ1702を全て送るのではなく、その代わりとして、図21のメタデータ1701とメタデータ1702の差分にあたる図25のような変更コマンド1901を送信する。メディア受信装置402は図25の変更コマンド1901を受信し、既に受信している図21のメタデータ1701を参照し、変更コマンド1901に基づきメタデータ1701の変更を行う。図21のメタデータ1701に図25の変更コマンド1901によりメタデータの更新を行うと、図21のメタデータ1702となる。メディア受信装置402は変更コマンド1901を受信した時点で受信中の映像の再生を停止し、変更コマンド1901に基づきメタデータ1701の更新を行い、その変更されたメタデータ1702に記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置401はそのリクエスト208を受け、メディア受信装置402に対してメディアデータ205の配信210を行う。メディア受信装置402は、配信されたメディアデータ205を受信し、変更コマンド1901により新たに生成された図21のメタデータ1702に記述されている再生レイアウト情報に基づき同期再生を行う。
図26も変更コマンドの例を示す図である。また、図23のメタデータ1802、メタデータ1803へのメタデータの更新の際も、メディア配信装置401は、変更後のメタデータ1802,1803を全て送るのではなく、図23のメタデータ1801とメタデータ1802、メタデータ1802とメタデータ1803それぞれの差分にあたる図26の変更コマンド2001,2002のみを送信する。まず、メディア受信装置402では図26の変更コマンド2001を受信し、既に受信している図23のメタデータ1801を参照し、変更コマンド2001に基づくメタデータ1801の変更を行う。図20の変更コマンド2001により図23のメタデータ1801の更新を行うと、図23のメタデータ1802となる。同様に、図26の変更コマンド2002により図23のメタデータ1802の更新を行うと、図23のメタデータ1803となる。メディア受信装置402は、変更コマンド2001,2002を受信するたびに、受信中の映像の再生を停止し、その変更されたメタデータ1802,1803に記述されているアドレス情報に基づきメディアデータ205のリクエスト408を行う。メディア配信装置401はそのリクエスト208を受け、メディア受信装置402に対し、メディアデータ205の配信210を行う。メディア受信装置402は、配信されたメディアデータ205を受信し、変更コマンド2001,2002により新たに生成されたメタデータ1802,1803に記述されている再生レイアウト情報に基づき同期再生を行う。
このように、メディア重要度204が変更された場合に、既に配信済みのメタデータを変更するための変更コマンドを配信することにより、メタデータのデータ量を削減する利点がある。
以上のように、この実施の形態1によれば、メディア配信装置301が、メディア重要度204の他にネットワーク203の通信能力312やメディア受信装置202の受信性能313を考慮して、メディアデータ205のアドレス情報及び再生レイアウト情報を記述したメタデータ306を作成してメディア受信装置202に配信し、メディア受信装置202は、配信されたメタデータ306に基づきメディアデータ205を再生することにより、メディアデータ205を正常に再生することができると共に、各メディア受信装置202に適応したメディアデータ205の配信を行うことができるという効果が得られる。
また、この実施の形態1によれば、メディア配信装置401が、変更されたメディア重要度204の他にネットワーク203の通信能力312やメディア受信装置402の受信性能313を考慮して、メディアデータ205のアドレス情報及び再生レイアウト情報を記述したメタデータ406を作成してメディア受信装置402に配信し、メディア受信装置402は、配信されたメタデータ406に基づきメディアデータ205を再生することにより、メディア重要度204が変更された場合でも、メディアデータ205を正常に再生することができると共に、各メディア受信装置402に適応したメディアデータ205の配信を行うことができるという効果が得られる。
さらに、この実施の形態1によれば、メディア重要度204が変更された場合に、メディア配信装置401が、既に配信済みのメタデータを変更するための変更コマンド406を配信することにより、メタデータのデータ量を削減することができるという効果が得られる。
実施の形態2.
この実施の形態2においても、メディアデータ205をMPEG−4 Visualで符号化された監視映像、メタデータはSMIL、メディア配信プロトコルRTP、メディア配信制御プロトコルRTSPを例に説明を行うが、実用上特にそれらに限定するものではない。
上記実施の形態1では、その時点におけるメディアデータ205のメディア重要度204のみが既知であり、未来のメディア重要度は未知である。つまりメディア重要度204が変更された時点で、メディア重要度204が変更されたことを、メディア配信装置401からメディア受信装置402へメタデータ406又は変更コマンド406を用いて通知する必要があった。
この実施の形態2では、メディアデータ205毎のメディア重要度があらかじめ時間的変化を有している場合について説明する。すなわち、この実施の形態2は、メディアデータ205が各メディアデータ205の時間的変化を有するメディア重要度と共にあらかじめ複数蓄積されており、時間的変化を有するメディア重要度等をパラメータとして、メディアデータ205の検索を行ってメタデータを作成するものである。
図27はこの発明の実施の形態2によるメタデータを用いたメディア配信システムを説明する図である。図27において、メディア配信装置501はネットワーク203を介してメディア受信装置402と接続され、時間的変化を有するメディア重要度504とメディアデータ205にアクセス可能となっている。
図27の動作について説明する。
メディアデータ205がひとつ又は複数あり、各メディアデータ205に対し各々時間的変化を有するメディア重要度504が割り振られている。各メディアデータ205は、システム内で一意に識別できるアドレスを有している。この実施の形態2においては、時間的変化を有するメディア重要度504は、時間的広がりを持っており時間的変化を含んだ形で蓄積されている。メディア配信装置501は、図17のメディア配信装置401と比較して、時間的変化を有するメディア重要度504をパラメータとしたメタデータ506を作成する機能が追加されている。具体的には、メディア配信装置501は、メディア受信装置402からメディアデータ配信の要求を受信したとき、次の(f)に示すパラメータの他に、(b)〜(d)に示すパラメータのうちのひとつ又は複数のパラメータを使用する。
(b)ネットワーク203の通信能力312
(c)メディア受信装置402の受信性能313としての画面サイズ
(d)メディア受信装置402の受信性能313としてのデコード能力
(f)時間的変化を有するメディア重要度504
このように、(f)に示すパラメータの他に、(b)〜(d)に示すパラメータのうちのひとつ又は複数のパラメータを使用することで、時間的変化を有するメディア重要度504だけではなく、ネットワーク203の通信能力312やメディア受信装置402の受信性能313を考慮し、メディアデータ205をひとつ又は複数選択し、時間的変化を有するメディア重要度504に応じてあらかじめ配信する再生レイアウトの変化を考慮した上で、選択されたメディアデータ205のアドレス情報及び時間的変化を有する再生レイアウト情報を記述したメタデータ506を作成し、メディア受信装置402に対しそのメタデータ506の配信207を行う。メディア受信装置402はそのメタデータ506を受信し、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置501はリクエスト208を受け、メディア受信装置402に対し、応答209を返すと共に、メディアデータ205の配信210を行う。メディア受信装置402は、配信されたメディアデータ205を受信し、メタデータ506に記述されている時間的変化を有する再生レイアウト情報に基づき再生を行う。映像を切り替えるタイミングもあらかじめメタデータ506に記述されており、メディア受信装置402は、映像を切り替えるタイミングで、記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行うことにより、順次再生映像を切り替える。
なお、メディア配信装置501では、メタデータ506の代わりに、「再生開始に必要な最低限の初期メタデータとその後の変更点に関する変更コマンド」506を作成して配信507を行うことも可能である。この場合の変更コマンドには実行時刻を記載する。このような、「初期メタデータと変更コマンド」506というデータの場合、メディア受信装置402は、変更コマンド実行時刻に到達した時点で変更コマンドを解釈し、実行中のメタデータに対し更新を行う。このような処理を行うことにより、上記のように時間的変化を全て含んだ形でのメタデータ506全体を受信した場合と、全く同じ効果が得られる。「初期メタデータと変更コマンド」506は一般にメタデータ506全体よりデータ量が少なくて同様の効果が得られるため有用である。
図28はメディア配信装置501の内部の構成を示すブロック図である。このメディア配信装置501は図18のメディア配信装置401と比較して、メディア重要度204が時間的変化を有するメディア重要度504に置き換わっているため、重要度変化監視部3106を削除し、メディア選択部3107をメディア選択部3306に置き換え、送信データ生成部3109を送信データ生成部3307に置き換えたものである。
図28の動作について説明する。
メディア選択部3306は、メディア選択部3107と比較して、時間的変化を有するメディア重要度504をパラメータとしてメディア選択を行う機能が追加されている。つまり、メディア選択部3306は、時間的変化を有するメディア重要度504及びネットワーク203の通信能力312とメディア受信装置402の受信性能313の少なくとも一方に基づき、配信するメディアデータ205を選択することにより、メディア重要度の時間的変化をあらかじめ考慮した上でメディアデータ205を選択して送信データ生成部3307へ通知する。
送信データ生成部3307は、選択されたメディアデータ205の所在を示すアドレス情報と、選択されたメディアデータ205の時間的変化を有するメディア重要度504及びネットワーク203の通信能力312とメディア受信装置402の受信性能313の少なくとも一方に基づき決定したメディア受信装置402上の画面配置を示す再生レイアウト情報とを記述したメタデータ506を作成して出力するか、又は、選択されたメディアデータ205の所在を示すアドレス情報と、選択されたメディアデータ205の時間的変化を有するメディア重要度504及びネットワーク203の通信能力312とメディア受信装置402の受信性能313の少なくとも一方に基づき決定したメディア受信装置402上の画面配置を示す再生レイアウト情報とを記述した再生開始時点の初期メタデータを作成すると共に、時間的変化を有するメディア重要度504の時間的変化に対応して初期メタデータを変更するための変更コマンドを作成し、作成した「初期メタデータと変更コマンド」506を出力する。
このように、送信データ生成部3307はメディア選択部3306で選択されたメディアデータ205に関するメタデータ506、又は「初期メタデータと変更コマンド」506を作成してデータ送信部2708に渡す。変更コマンドの説明は既に図24に記述したとおりである。その他の動作は図18のメディア配信装置401と同じである。
図27に関して監視システムという具体的な例で説明を行う。例えば、図27において、上記(b)〜(d)に示すパラメータと上記(f)に示すパラメータの全てのパラメータを使用した場合で、ネットワーク203の通信能力312及びメディア受信装置402の受信性能313が全て高い場合について説明する。
図29はメディア重要度の時間的変化及びメディア重要度の変化時刻があらかじめ既知である場合のメタデータ506の具体例を示す図である。ここでは、14:00〜14:30のA地点〜E地点の監視映像を監視する場合で、重要度一覧2104,2105に示すように、B地点の重要度増加をあらかじめ考慮して再生レイアウトの変更を設定する場合を示している。このメタデータ2101において、parタグ2102は、</par>で閉じられる部分までのメディアデータ205を同時再生することを示し、durが再生時間を示し、videoタグ2103のbeginは再生開始時刻を示している。
メディア配信装置501は、14:00〜14:10における映像再生は図20の画面全体1001のような再生レイアウトを、14:10〜14:30では図20の画面全体1002のような再生レイアウトを、という再生レイアウトの変化をあらかじめ想定し、メディア受信装置402に、その想定を含んだ図29に示すメタデータ2101の配信207を行う。メディア受信装置402は、図29のメタデータ2101を受信し、メタデータ2101の前半部分に記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置501はそのリクエスト208を受け、メディア受信装置402に対してメディアデータ205の配信210を行う。メディア受信装置402は配信されたメディアデータ205を受信し、メタデータ2101に記述されている時間的変化を有する再生レイアウト情報に基づき図20の画面全体1001の再生レイアウトで再生を行う。
その後、再生時刻が14:10の時点に到達したときに、メディア受信装置402は、これまで再生していたメディアデータ205を再生停止し、図29のメタデータ2101の後半部分に記述されているアドレス情報に基づきメディアデータ205のリクエスト208を行う。メディア配信装置501はそのリクエスト208を受け、メディア受信装置402に対しメディアデータ205の配信210を行う。メディア受信装置402は、配信されたメディアデータ205を受信し、メタデータ2101に記述されている時間的変化を有する再生レイアウト情報に基づき図20の全体画面1002の再生レイアウトで再生を行う。
図30はメディア重要度の時間的変化及びメディア重要度の変化時刻があらかじめ既知である場合の「初期メタデータと変更コマンド」506の具体例を示す図である。図29のメタデータ2101の代わりに、図30のように、再生開始時に必要な最低限の再生開始時点の初期メタデータ2201と変更時刻を含む変更コマンド2202を同時に送信しても同様の効果が得られる。このように変更コマンド2202を用いることでメタデータ2101を全て送信するより少ないデータ量で同じ効果を得ることが可能となる。
図29はメディア重要度の時間的変化及びメディア重要度の変化時刻があらかじめ既知である場合の6地点監視の例であるが、監視アプリケーションの例としては、例えば上記6地点は同じセクション、例えば同じビルに属しており、メディア受信装置402のユーザが該セクションの指定時刻の映像配信を要求することをトリガーとし、該セクション内の指定時刻における重要度状況に基づいてメディア配信装置501がメタデータ506を動的に作成し、メディア受信装置402に対して配信207を行うといったアプリケーションが考えられる。このような監視アプリケーションの場合、メディア受信装置402のユーザは、映像配信を要求するセクションの選択及び再生開始日時の指定が可能であり、メディア配信装置501は、要求されたセクション内で閉じた形で再生開始日時における重要度状況に基づくメタデータ506を作成する。
さらに、ユーザが日時指定を行うための情報をメディア配信装置501が提供することも考えられ、その場合、例えば、メディア受信装置402のユーザが、特定の期間と重要度の閾値(中、高等)をメディア配信装置501に対し指定すると、メディア配信装置501は、時間的変化を有するメディア重要度504を参照し、ユーザにより指定された期間におけるメディア重要度の閾値を越えた日時をメディア受信装置402に通知する。メディア受信装置402のユーザはその情報に基づき日時指定するといったアプリケーション例がある。
図31は4地点(A地点〜D地点)同時監視の場合の再生レイアウトの例とメタデータの例を示す図である。ここでは、重要度一覧2306に基づき、画面全体2301に、A地点映像2302、B地点映像2303、C地点映像2304、D地点映像2305があり、時刻に拠らず各地点において警報が発生した時刻の映像を一度にたくさん確認する場合で、メタデータ2307はこれを実現するためのものである。
図27において、上記(b)〜(d)、(f)に示す全てのパラメータを使用する場合で、ネットワーク203の通信能力312及びメディア受信装置402の受信性能313が全て高い場合で、さまざまな地点におけるメディア重要度が図31のような重要度であらかじめ既知である場合に、メディア配信装置501は、それぞれの地点において図31に示す画面全体2301の再生レイアウトを想定し、各地点における重要度の高い時刻の映像を同時再生させるためのメタデータ2307又は「初期メタデータと変更コマンド」を作成する。図29及び図30の例では、同時刻の映像を同時再生させメディア重要度の高い地点映像を拡大表示する例であったが、図31の例は、重要度最高というのは警報発生を意味し、時刻に拠らず各地点において警報が発生した時刻の映像を一度にたくさん確認したい場合に用いる。
図32はこの発明の実施の形態2による他のメディア配信システムを説明する図である。このメディア配信システムでは、図27のメディア配信システムに、検索用装置3414と属性情報3417が追加され、時間的変化を有するメディア重要度504を検索用装置3414により作成されたメディア重要度3418に置き換えている。
図32の動作について説明する。
属性情報3417には、この例の場合、各メディアデータ205に関連付けられた警報情報を含むこととする。メディア受信装置402は、例えば「温度センサ異常」というキーワードで、検索用装置3414にアクセス3415を行う。検索用装置3414は、メディアデータ205と関連付けられた属性情報3417を参照し、「温度センサ異常」の警報と関連するメディアデータ205に対応してメディア重要度3418を作成する。例えば、検索用装置3414は、「温度センサ異常」のメディアデータ205に関するメディア重要度を全て「中」としたメディア重要度3418を作成し、一番最近に発生した「温度センサ異常」のメディアデータ205のメディア重要度を「高」としたメディア重要度3418を作成する。メディア配信装置501は、作成されたメディア重要度3418及びネットワーク203の通信能力312やメディア受信装置402の受信性能313をパラメータとし、配信すべき再生レイアウトを動的に決定し、そのメタデータ506又は「初期メタデータと変更コマンド」506を作成し、メディア受信装置402に対して配信207を行う。具体的には、作成されたメディア重要度3418に基づきメディア配信装置501がメディアデータ205を選択するため、配信するメディアデータ205としては「温度センサ異常」のメディアデータ205が選択される。同時に配信するメディア数及びメディアの品質は、今まで述べてきた実施の形態と同様に、ネットワーク203の通信能力312やメディア受信装置402の受信性能313のパラメータに基づき、メディア配信装置501が決定する。例えば、通信能力312も受信性能313も高い場合に、図10の画面全体601に示すような再生レイアウトを想定し、重要度「高」のメディアデータ205をVGA解像度で、残りの重要度「中」のメディアデータ205をSQVGA解像度で、という再生レイアウトを想定する。また、例えば、通信能力312も受信性能313も低い場合には、1度に配信する映像数は1とし、重要度「高」のメディアデータ205から開始し、以降、重要度「中」以上のメディアデータ205を順次再生する再生レイアウトを想定する。
同時に配信するメディア数が複数の場合、メディア配信装置501は全て「温度センサ異常」のメディアデータ205を選択するため、例えば異なる時刻で「温度センサ異常」が発生していた場合、異なる時刻の映像を同時に配信するメタデータ506を作成する。メディア配信装置501がこのようなメタデータ506を作成することで、メディア受信装置402は、検索条件に合致した検索結果のメディアデータ205を複数同時に効率的に確認できる。異なる時刻の映像を同時に受信再生する場合に、メディア受信装置402は、メディアデータ205間の同期を保って再生を行う。また、同時に配信するメディア数が1個の場合でも、より重要度の高いものから順次再生されるため、メディア受信端末402のユーザは効率的な確認が可能となる。
以上のように、この実施の形態2によれば、メディア配信装置501が、時間的変化を有するメディア重要度504の他にネットワーク203の通信能力312やメディア受信装置402の受信性能313を考慮して、メディアデータ205のアドレス情報及び時間的変化を有する再生レイアウト情報を記述したメタデータ506を作成してメディア受信装置402に配信し、メディア受信装置402は、配信されたメタデータ506に基づきメディアデータ205を再生することにより、メディアデータ205を正常に再生することができると共に、各メディア受信装置402に適応したメディアデータ205の配信を行うことができるという効果が得られる。
また、この実施の形態2によれば、時間的変化を有するメディア重要度504の他にネットワーク203の通信能力312やメディア受信装置402の受信性能313を考慮して、メディアデータ205のアドレス情報及び再生レイアウト情報を記述した「初期のメタデータと変更コマンド」506を作成してメディア受信装置402に配信することにより、メタデータのデータ量を削減することができるという効果が得られる。
さらに、この実施の形態2によれば、検索用装置3414が所定のキーワードで検索したメディアデータ205に対応するメディア重要度3418を作成し、メディア配信装置501が、メディア重要度3418の他に、ネットワーク203の通信能力312やメディア受信装置402の受信性能313を考慮して、メディアデータ205のアドレス情報及び再生レイアウト情報を記述したメタデータ506を作成してメディア受信装置402に配信し、メディア受信装置402は、配信されたメタデータ506に基づきメディアデータ205を再生することにより、所定のキーワードに関連するメディアデータ205を正常に再生することができると共に、各メディア受信装置402に適応したメディアデータ205の配信を行うことができるという効果が得られる。
以上のように、この発明に係るメディア配信装置及びメディア受信装置は、メディア重要度204の他にネットワーク203の通信能力312やメディア受信装置202の受信性能313を考慮して、メディアデータ205のアドレス情報及び再生レイアウト情報を記述したメタデータ306を作成して配信し、配信されたメタデータ306に基づきメディアデータ205を再生することにより、メディアデータ205を正常に再生すると共に、各メディア受信装置202に適応したメディアデータ205の配信を行うのに適している。

Claims (7)

  1. メディアデータをネットワークを介してメディア受信装置に配信するメディア配信装置において、
    上記ネットワークの通信能力と上記メディア受信装置の受信性能の少なくとも一方を取得するパラメータ取得部と、
    上記各メディアデータに割り振られたメディア重要度及び上記通信能力と上記受信性能の少なくとも一方に基づき、配信するメディアデータを選択するメディア選択部と、
    選択されたメディアデータの所在を示すアドレス情報と、選択されたメディアデータのメディア重要度及び上記通信能力と上記受信性能の少なくとも一方に基づき決定した上記メディア受信装置の画面配置を示す再生レイアウト情報とを記述したメタデータを作成する送信データ生成部と、
    上記メタデータを上記ネットワークを介して上記メディア受信装置に配信するデータ送信部と、
    上記メタデータを受信した上記メディア受信装置からの要求に基づき上記メディアデータを配信するメディア通信部と
    メディア重要度の変更指示を受けて上記メディア重要度を変更すると共に上記メディア重要度の変更をメディア選択部に通知する重要度変化監視部とを備え、
    上記メディア選択部は変更後のメディア重要度及び通信能力と受信性能の少なくとも一方に基づき配信するメディアデータを選択し、
    上記送信データ生成部は、変更後のメディア重要度に基づき選択されたメディアデータの所在を示すアドレス情報と、上記変更後のメディア重要度及び上記通信能力と上記受信性能の少なくとも一方に基づき決定したメディア受信装置の画面配置を示す再生レイアウト情報とを記述した変更後のメタデータを作成し、
    上記データ送信部は上記変更後のメタデータを配信することを特徴とするメディア配信装置。
  2. メディア重要度の変更指示を受けて上記メディア重要度を変更すると共に上記メディア重要度の変更をメディア選択部に通知する重要度変化監視部を備え、
    上記メディア選択部は変更後のメディア重要度及び通信能力と受信性能の少なくとも一方に基づき配信するメディアデータを選択し、
    送信データ生成部は変更後のメディア重要度及び通信能力と受信性能の少なくとも一方に基づき、上記メディア重要度の変更前に作成したメタデータを変更するための変更コマンドを作成し、
    データ送信部は上記変更コマンドを配信することを特徴とする請求項1記載のメディア配信装置。
  3. 送信データ生成部はメディア受信装置における画面の切り替えタイミングを示す同期情報をメタデータに記述することを特徴とする請求項1記載のメディア配信装置。
  4. 送信データ生成部はメディア受信装置で再生レイアウトを決定するための通信能力と受信性能の少なくとも一方に関する条件分岐をメタデータに記述することを特徴とする請求項1記載のメディア配信装置。
  5. メディアデータをネットワークを介してメディア受信装置に配信するメディア配信装置において、
    上記ネットワークの通信能力と上記メディア受信装置の受信性能の少なくとも一方を取得するパラメータ取得部と、
    上記各メディアデータに割り振られた時間的変化を有するメディア重要度及び上記通信能力と上記受信性能の少なくとも一方に基づき、配信するメディアデータを選択するメディア選択部と、
    選択されたメディアデータの所在を示すアドレス情報と、選択されたメディアデータの時間的変化を有するメディア重要度及び上記通信能力と上記受信性能の少なくとも一方に基づき決定した上記メディア受信装置の画面配置を示す再生レイアウト情報とを記述したメタデータを作成する送信データ生成部と、
    上記メタデータを上記ネットワークを介して上記メディア受信装置に配信するデータ送信部と、
    上記メタデータを受信した上記メディア受信装置からの要求に基づき上記メディアデータを配信するメディア通信部とを備えたことを特徴とするメディア配信装置。
  6. メディアデータをネットワークを介してメディア受信装置に配信するメディア配信装置において、
    上記ネットワークの通信能力と上記メディア受信装置の受信性能の少なくとも一方を取得するパラメータ取得部と、
    上記各メディアデータに割り振られた時間的変化を有するメディア重要度及び上記通信能力と上記受信性能の少なくとも一方に基づき、配信するメディアデータを選択するメディア選択部と、
    選択されたメディアデータの所在を示すアドレス情報と、選択されたメディアデータの時間的変化を有するメディア重要度及び上記通信能力と上記受信性能の少なくとも一方に基づき決定した上記メディア受信装置の画面配置を示す再生レイアウト情報とを記述した再生開始時点の初期メタデータを作成すると共に、上記メディア重要度の時間的変化に対応して上記初期メタデータを変更するための変更コマンドを作成する送信データ生成部と、
    上記初期メタデータと上記変更コマンドを上記ネットワークを介して上記メディア受信装置に配信するデータ送信部と、
    上記初期メタデータと上記変更コマンドを受信した上記メディア受信装置からの要求に基づき上記メディアデータを配信するメディア通信部とを備えたことを特徴とするメディア配信装置。
  7. 配信されたメディアデータをネットワークを介して受信するメディア受信装置において、
    上記各メディアデータに割り振られたメディア重要度及び上記ネットワークの通信能力と上記メディア受信装置の受信性能の少なくとも一方に基づき、配信するメディアデータの所在を示すアドレス情報と上記メディア受信装置の画面配置を示す再生レイアウト情報とを記述したメタデータを受信するデータ受信部と、
    受信した上記メタデータを解析するデータ解析部と、
    解析した上記メタデータに記述されているアドレス情報に基づき上記メディアデータの配信を要求するRTSP通信部と、
    配信されたメディアデータを受信するメディア受信部と、
    解析した上記メタデータに記述されている再生レイアウト情報に基づき、受信したメディアデータを再生するメディア表示部とを備え、
    上記データ受信部は、メディア重要度が変更されたことによる受信済みのメタデータを変更するための変更コマンドを受信し、
    上記データ解析部は受信した上記変更コマンドを解釈して受信済みの上記メタデータを更新することを特徴とするメディア受信装置。
JP2006510561A 2004-03-02 2004-03-02 メディア配信装置及びメディア受信装置 Expired - Fee Related JP4510005B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/002541 WO2005086009A1 (ja) 2004-03-02 2004-03-02 メディア配信装置及びメディア受信装置

Publications (2)

Publication Number Publication Date
JPWO2005086009A1 JPWO2005086009A1 (ja) 2008-01-24
JP4510005B2 true JP4510005B2 (ja) 2010-07-21

Family

ID=34917808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006510561A Expired - Fee Related JP4510005B2 (ja) 2004-03-02 2004-03-02 メディア配信装置及びメディア受信装置

Country Status (3)

Country Link
US (1) US7613730B2 (ja)
JP (1) JP4510005B2 (ja)
WO (1) WO2005086009A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041884A (ja) * 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US8055783B2 (en) * 2005-08-22 2011-11-08 Utc Fire & Security Americas Corporation, Inc. Systems and methods for media stream processing
US8127036B2 (en) * 2006-06-30 2012-02-28 Microsoft Corporation Remote session media data flow and playback
KR100837406B1 (ko) * 2006-11-13 2008-06-12 삼성전자주식회사 영상 감시 장치를 포함한 휴대 단말기 및 이를 이용한 영상감시 방법, 및 영상 감시 시스템
US11783925B2 (en) 2006-12-29 2023-10-10 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US20170344703A1 (en) 2006-12-29 2017-11-30 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US9602880B2 (en) * 2006-12-29 2017-03-21 Kip Prod P1 Lp Display inserts, overlays, and graphical user interfaces for multimedia systems
US8397264B2 (en) 2006-12-29 2013-03-12 Prodea Systems, Inc. Display inserts, overlays, and graphical user interfaces for multimedia systems
KR101264822B1 (ko) * 2007-01-04 2013-05-15 삼성전자주식회사 컨텐츠 서비스 방법 및 장치
GB0704834D0 (en) * 2007-03-13 2007-04-18 Skype Ltd Method of transmitting data in a communication system
US9509618B2 (en) 2007-03-13 2016-11-29 Skype Method of transmitting data in a communication system
GB0819389D0 (en) * 2008-03-12 2008-11-26 Skype Ltd Method of transmitting data in a communication system
FR2921503B1 (fr) * 2007-09-20 2010-01-29 Alcatel Lucent Dispositif d'indexage automatique de contenus
US9031939B2 (en) * 2007-10-03 2015-05-12 Peter Neal Nissen Media sequencing method to provide location-relevant entertainment
FR2932054B1 (fr) * 2008-06-03 2010-08-13 Thales Sa Systeme de videosurveillance intelligent reconfigurable dynamiquement
US8922659B2 (en) 2008-06-03 2014-12-30 Thales Dynamically reconfigurable intelligent video surveillance system
KR101475939B1 (ko) * 2008-07-02 2014-12-23 삼성전자 주식회사 이미지 처리 장치의 제어 방법과 이미지 처리 장치, 이미지파일
JP2010093342A (ja) * 2008-10-03 2010-04-22 Canon Inc 映像サーバ装置、映像クライアント装置、映像送受信システム及び情報処理方法
US8584132B2 (en) * 2008-12-12 2013-11-12 Microsoft Corporation Ultra-wideband radio controller driver (URCD)-PAL interface
US8719351B2 (en) * 2009-09-15 2014-05-06 International Business Machines Corporation Image rescale based on defined characteristics
US9235452B2 (en) * 2010-02-05 2016-01-12 Microsoft Technology Licensing, Llc Graphics remoting using augmentation data
US9615119B2 (en) * 2010-04-02 2017-04-04 Samsung Electronics Co., Ltd. Method and apparatus for providing timeshift service in digital broadcasting system and system thereof
US8667164B2 (en) * 2010-04-26 2014-03-04 Samsung Electronics Co., Ltd. Method and apparatus for playing live content
CA2878735C (en) * 2012-07-10 2018-08-14 Sharp Kabushiki Kaisha Playback device, playback method, distribution device, distribution method, distribution program, playback program, recording medium, and metadata
JP6525576B2 (ja) * 2014-12-17 2019-06-05 キヤノン株式会社 制御装置、制御システム、制御方法、医用画像撮影装置、医用画像撮影システム、撮影制御方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054095A (ja) * 1999-08-09 2001-02-23 Fujitsu Ltd 情報配信/再生制御装置、情報配信/再生制御方法および情報配信/再生制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001297015A (ja) * 2000-04-13 2001-10-26 Nec Eng Ltd 監視システム及びそれに用いる監視方法
JP2003174639A (ja) * 2001-12-05 2003-06-20 Nippon Telegr & Teleph Corp <Ntt> プレビュー映像登録方法及び装置及びプレビュー映像登録プログラム及びプレビュ映像登録プログラムを格納した記憶媒体及びプレビュー映像再生制御方法及び装置及びプレビュー映像再生制御プログラム及びプレビュー映像再生制御プログラムを格納した記憶媒体
JP2003324707A (ja) * 2002-05-02 2003-11-14 Mitsubishi Electric Corp 複数ストリームの評価・出力制御方式、マルチメディアコミュニケーションシステムおよび監視システム
JP2004023664A (ja) * 2002-06-19 2004-01-22 Sony Corp ストリーミングデータ配信方法、データ配信サーバ及びデータ受信装置
JP2004054712A (ja) * 2002-07-22 2004-02-19 Sony Corp 電子機器装置、サーバ装置、レイアウト記述文書の提供方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983310B2 (en) * 2000-12-29 2006-01-03 International Business Machines Corporation System and method for providing search capabilties on a wireless device
JP4123331B2 (ja) * 2001-03-16 2008-07-23 日本電気株式会社 マルチメディア通信システムとマルチメディア通信可能な携帯無線通信端末及びメッセージ送受信方法
JP3925611B2 (ja) 2001-03-22 2007-06-06 セイコーエプソン株式会社 情報提供システム、情報提供装置、プログラム、情報記憶媒体およびユーザーインタフェースの設定方法
JP4319791B2 (ja) * 2001-06-08 2009-08-26 パナソニック コミュニケーションズ株式会社 データ通信装置及びインターネットファクシミリ装置
JP2003009113A (ja) 2001-06-21 2003-01-10 Matsushita Electric Ind Co Ltd コンテンツ再生装置及び方法、並びにプログラム
JP2003009120A (ja) 2001-06-21 2003-01-10 Matsushita Electric Ind Co Ltd コンテンツ再生装置及び方法、並びにそれに用いるプロトコル、プログラム
JP3859495B2 (ja) * 2001-11-22 2006-12-20 シャープ株式会社 自動情報収集システム
JP2003208384A (ja) 2002-01-11 2003-07-25 Ricoh Co Ltd 情報提供方法及び情報提供装置
JP2003233552A (ja) 2002-02-06 2003-08-22 Matsushita Electric Ind Co Ltd サーバ、データ配信システム、データ配信方法、プログラム、および媒体
JP3969176B2 (ja) 2002-05-10 2007-09-05 日本電気株式会社 ブラウザシステム及びその制御方法
JP3823929B2 (ja) * 2002-05-17 2006-09-20 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツ配信装置、コンテンツ配信方法、並びにコンピュータ・プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054095A (ja) * 1999-08-09 2001-02-23 Fujitsu Ltd 情報配信/再生制御装置、情報配信/再生制御方法および情報配信/再生制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001297015A (ja) * 2000-04-13 2001-10-26 Nec Eng Ltd 監視システム及びそれに用いる監視方法
JP2003174639A (ja) * 2001-12-05 2003-06-20 Nippon Telegr & Teleph Corp <Ntt> プレビュー映像登録方法及び装置及びプレビュー映像登録プログラム及びプレビュ映像登録プログラムを格納した記憶媒体及びプレビュー映像再生制御方法及び装置及びプレビュー映像再生制御プログラム及びプレビュー映像再生制御プログラムを格納した記憶媒体
JP2003324707A (ja) * 2002-05-02 2003-11-14 Mitsubishi Electric Corp 複数ストリームの評価・出力制御方式、マルチメディアコミュニケーションシステムおよび監視システム
JP2004023664A (ja) * 2002-06-19 2004-01-22 Sony Corp ストリーミングデータ配信方法、データ配信サーバ及びデータ受信装置
JP2004054712A (ja) * 2002-07-22 2004-02-19 Sony Corp 電子機器装置、サーバ装置、レイアウト記述文書の提供方法

Also Published As

Publication number Publication date
US7613730B2 (en) 2009-11-03
US20070174881A1 (en) 2007-07-26
JPWO2005086009A1 (ja) 2008-01-24
WO2005086009A1 (ja) 2005-09-15

Similar Documents

Publication Publication Date Title
JP4510005B2 (ja) メディア配信装置及びメディア受信装置
US9558282B2 (en) Playlists for real-time or near real-time streaming
JP6054398B2 (ja) 適応httpストリーミングのための表示の改善された切り替えを提供する切替シグナリング方法
US20130046861A1 (en) Variant streams for real-time or near real-time streaming to provide failover protection
JP4315827B2 (ja) 画像表示方法及び画像表示装置並びに画像表示プログラム
US20100166387A1 (en) Method and apparatus for playing video data of high bit rate format by a player capable of playing video data of low bit rate format
JP4294933B2 (ja) マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置
JP4915208B2 (ja) ストリームデータ再生システム
EP3371978B1 (en) Contiguous streaming of media stream
JP2005086362A (ja) データ多重化方法、データ送信方法およびデータ受信方法
CN110431848B (zh) 内容提供系统、内容提供方法和程序
JP4222253B2 (ja) クライアント端末、ストリーミングサーバ及びストリーミング切り替え配信システム
JP2002112158A (ja) 画像送信装置および画像表示装置並びに画像伝送方法
JP4181962B2 (ja) 受信装置及び受信方法
JP4629330B2 (ja) 映像蓄積配信装置および映像配信システム
JP4533408B2 (ja) 受信装置及び受信方法
KR20170141676A (ko) 수신 장치, 송신 장치 및 데이터 처리 방법
JP2004023664A (ja) ストリーミングデータ配信方法、データ配信サーバ及びデータ受信装置
JP5358916B2 (ja) コンテンツ配信装置およびコンテンツ配信方法
JP2003304525A (ja) データ配信再生システム、データ配信再生方法、プログラム及び記憶媒体
JP6258897B2 (ja) コンテンツ取得装置、コンテンツ取得方法、メタデータ配信装置、メタデータ配信方法
JP4271452B2 (ja) 動画像配信方法、動画像配信システム、利用側装置、配信側装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100420

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100428

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees