[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2004505519A - Mpeg−4符号器及び斯様な符号器の出力符号化信号 - Google Patents

Mpeg−4符号器及び斯様な符号器の出力符号化信号 Download PDF

Info

Publication number
JP2004505519A
JP2004505519A JP2002515025A JP2002515025A JP2004505519A JP 2004505519 A JP2004505519 A JP 2004505519A JP 2002515025 A JP2002515025 A JP 2002515025A JP 2002515025 A JP2002515025 A JP 2002515025A JP 2004505519 A JP2004505519 A JP 2004505519A
Authority
JP
Japan
Prior art keywords
file
mpeg
encoder
fragment
hint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002515025A
Other languages
English (en)
Inventor
ゲントリック フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2004505519A publication Critical patent/JP2004505519A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

本発明は、符号化コンテンツが特定の付加的なヒントトラックと共に.mp4ファイルフォーマットで記憶されるMPEG−4符号器に関する。これらのトラックは、パケット伝送(packetized transmission)(ATM、MPEG−2 TS、IP、…)に用いられるパケットの大きさに合致させるためにアクセスユニットに編成される符号化データを断片化する方法を示すプリセグメンテーション情報を含む。本発明によれば、符号化ビットストリームを独立エンティティ中に構成する断片化情報は、符号化する間に、.mp4ファイルから独立している断片構造中に記憶される。本発明はまた、斯様な符号器の出力部において利用可能な符号化信号、及び前記符号化信号を受け取り、適当な構文を持つファイル構造に応じて該符号化信号を読み取る端末にも関する。

Description

【0001】
【発明の属する技術分野】
本発明は、伝送ネットワークによって送られるべき出力符号化コンテンツに対応するビットストリームが、メディアトラックとして所謂.mp4ファイルフォーマットで記憶され、転送機構(transport mechanism)が、特定ヒントトラックを付加することによりメディアトラック毎に1つ記憶され、前記ヒントトラックは、前記符号化コンテンツを所与のタイプのネットワークに対応する伝送パケットの大きさに適合させるため、前記メディアトラックに記憶されるMPEG−4データエンティティ(又はアクセスユニット)を該パケットの大きさに合致させるために断片化する(fragment)方法を示すプリセグメンテーション情報(pre−segmentation information)を含めるのに用いられるMPEG−4符号器に関する。本発明は、MPEG−4規格による、それ故MPEG−4ファイルフォーマット(ファイル拡張子.mp4)を用いるビデオ・オン・デマンド関連の用途に供される。
【0002】
【従来の技術】
ネットワークを介する転送、又はストリーミングを取り扱うために、MPEG−1規格及びMPEG−2規格は、ファイルに書き込まれ得るビットストリーム構造を規定し、そして別個に転送機構(例えばMPEG−2 TS)を規定した。しかしながら、所与のタイプのコンテンツは、各々が特定の性質を持つ実に様々な転送(又はネットワーク)システム、例えばATM又はIPにおいて転送され得る。その場合には、最適性のために特定の転送の機構のセットが規定されなければならず、このことは、コンテンツ製作者(content maker)が所与の「転送」フォーマットで符号化コンテンツを記憶する方法を規定している場合には、前記フォーマットはおそらく異なるネットワークにおいて最適に再利用することは出来ないであろうという問題を招く。
【0003】
MPEG−4システムの仕様は、ストリーミングを取り扱う特定の方式を持つファイルフォーマット、.mp4を規定しており、符号化コンテンツはメディアトラックとして.mp4ファイルフォーマットで記憶される(例えば、オーディオはメディアトラックであり、ビデオは別のメディアトラックである等々)。更に、転送機構が、特定ヒントトラックを付加することによりファイル中にメディアトラック毎に1つ記憶され得る。即ち、斯様な機構では、単一のファイルが、メディアトラック中のメディアデータ自体及びヒントトラック中の転送の特定のデータのための単一のコンテナとして用いられ得る。そして、このファイルが異なる2つのネットワークにおける転送のために書かれる場合には、メディアトラック毎の2つのヒントトラックなどがあるであろう。
【0004】
これらのヒントトラックは必須でないことに注意されたい。前記ヒントトラックは例えば(ディスクからの)ローカルな再生には必要とされない。その上、これらのヒントトラックは無視し得ない大きさを持つ。実際には、サーバのパフォーマンスの観点から、最適のヒントの添付(hinting)は、ヒントトラック中にネットワークパケットを直接的に記憶することにより、元のファイルの2倍以上の大きさを持つファイルを必要とする。それ故、ヒントトラックは、該ヒントトラックが必要であることが確実でない場合には、ファイル中に必要とされない。
【0005】
MPEG−4ファイルフォーマットは規範的に規定されており、メディアトラック中に記憶されるデータエンティティがMPEG−4アクセスユニットであり、MPEG−4アクセスユニットは一般にネットワークパケットより大きい。そして、ヒントトラックの役割は、ネットワークパケットがどのように作られ、前記ネットワークパケットがどのように満たされ得るのかについての情報を記憶することにあり、ヒントトラックは、サーバが各アクセスユニットをネットワークパケットに断片化する方法を知るようにプリセグメンテーション情報を実際に収容している。それ故、先ずメディアトラックを生成し、前記メディアトラックを.mp4ファイル中に記憶し、次いで、このファイルをパーズ(parse)し、アクセスユニット構造を解析し、適切な付加的なヒントトラックを生成するために別個のヒント添付プログラム(hinter program)を用いることが出来る。
【0006】
しかしながら、最大のネットワークパケットの大きさに対応するパケットを構成するブラインド・セグメンテーション(blind segmentation)、又は関係しているメディアに対して規定される誤り耐性戦略(error resilience strategy)を当てにするスマート・セグメンテーション(smart segmentation)のいずれかである、パケットを生成する2つの主要な方式がある。損失が生じる場合には、(クライアント側の)復号器がギャップの後のビットストリームを正確に復号することは困難であり得る。ビットストリームは一般に最小限の帯域使用のために設計されている(このことは可能な限り冗長性が取り除かれていることを意味する)ので、項目(item)を認識するには、ビットストリームの断片(fragment)自体が失われる場合に失われ得るいくらかの文脈(context)を必要とする。
【0007】
この問題を解決するため、ビットストリームは独立エンティティ(又は断片)中に構成され、故に各断片は1つのネットワークパケットにおいて転送され得る。パケットが失われる場合には、独立エンティティである次のパケットが、復号器が損失をものともせずいくらかの文脈を回復させることを可能にする。メディア固有のものである(各メディアのタイプ、即ちオーディオ、ビデオ、…に対して異なり、別個の符号化オプションに対してさえも異なる)断片化情報(fragmentation information) は、.mp4ファイルフォーマットのヒントトラック中に置かれ、符号器の出力部において利用可能である。パケット損の場合には、メディアがヒントトラックなしに符号化する間に.mp4ファイル中に記憶される場合に、スマート断片化情報が失われ、ヒント添付プログラムはブラインド・セグメンテーションしか行うことが出来ず、このことは、復号問題(大きなプリゼンテーション品質の劣化)をもたらす。
【0008】
【課題を解決するための手段】
それ故、本発明の目的は、データエンティティの転送のための別の解決策を実施するMPEG−4符号器を提案することにある。
【0009】
この目的のため、本発明は明細書の導入部に規定されているMPEG−4符号器に関し、更に、前記MPEG−4符号器は、パケットが失われる場合でもいくらかの文脈を回復させるために目下独立しているエンティティ中に符号化ビットストリームを構成する断片化情報が、符号化する間に、前記.mp4ファイルから独立している断片構造ファイル(fragment structure file)中に記憶されるようなMPEG−4符号器である。
【0010】
コンテンツ生産者(content producer)のための解決策は、常に、2つの.mp4ファイル、ヒントトラックを備える.mp4ファイル及びヒントトラックのない別の.mp4ファイルを生成することにある。しかしながら、ヒント付きファイル(hinted file)は元のファイルの2倍以上大きいことから、この従来の解決策の場合に必要とされる記憶容量は、元のメディアの大きさの3倍以上である。提案した解決策は、断片化情報ファイルがメディアの大きさと比べて非常に小さいことから、よりはるかに効率的である。
【0011】
別の解決策は、常にヒント付きファイルを生成し、特定のツールを用いて、このファイルを編集し、ヒント付きトラックを取り除き、メディアデータしか持たない.mp4ファイルを作成せんとするものであろう。しかしながら、この解決策は、別個のエディションステップを含む。その上、前記ヒントトラックはネットワーク固有のものであり(ATM、MPEG−2 TS又はIPに対して異なるヒントトラックが必要とされる)、この解決策は、容易には例えばATM転送からIP転送に変わることを許容しない。反対に、本発明による解決策では、全ての所要情報を収容している断片化情報ファイルが、ネットワーク固有のものではなく、それ故、如何なるネットワーク固有のヒント付きファイルの生成に対しても用いられ得る。
【0012】
本発明はまた、伝送ネットワークによって送られるべきビットストリームの形態で斯様な符号器の出力部において利用可能な、一方で所謂.mp4ファイルフォーマットで記憶されるメディアデータを含み、他方で前記メディアデータに対応するMPEG−4データエンティティ(又はアクセスユニット)を前記伝送ネットワークのパケットの大きさに合致させるために断片化する方法を示すプリセグメンテーション情報を含む符号化信号に関する。
【0013】
更に、本発明は、斯様な符号化信号を受けるMPEG−4端末に関し、前記符号化信号は以下の構文を持つファイル構造に応じて読み取られる。
−MPEG−4アクセスユニットにおいて、ファイルの終わりまで、各アクセスユニットに対して以下をループする、
−断片の数Nを読み取る、
−断片において、N個まで、各断片に対して以下をループする、
−(ビット単位で)断片の大きさを読み取る、
−断片におけるループの終わり、
−アクセスユニットにおけるループの終わり。
【0014】
【発明の実施の形態】
本発明の原理は、符号化する間に、断片化情報を別個に記憶することにある。この場合に、符号化プロセスは、1つのファイル(.mp4ファイル)しか生成しないのではなく、同時に2つのファイル、即ちメディアを備える.mp4ファイル及び断片構造ファイルを作成するであろう。コンテンツの符号化の後に、生産者が該コンテンツをストリーミングアプリケーションにおいて用いることを決定する場合には、ヒントの添付が必要とされる。通常、ブラインド・セグメンテーションしか行われ得ない。しかしながら、最適の(メディア固有の)断片化を含有する別個のファイルがアーカイブされている場合には、前記ファイルが、最適のヒントトラックを収容している新しい.mp4ファイルを生成するために−前記.mp4ファイルと共に−ヒント添付プログラムにより用いられ得る。その場合には、このヒント付きファイルが、多重再生(multiple playback)のため、ビデオ・オン・デマンドサーバにより用いられ得る。
【0015】
他の例において、放送アプリケーション(broadcasting application)は、コンテンツの「生」放送のためのヒント付きファイルを用いることができ、又は前記コンテンツの「生」放送のための断片構造ファイル及び元の(即ちヒントが添付されていない).mp4ファイルも用いることが出来る。
【0016】
提案したファイル構造は、以下に示すような構文を持つ。
−MPEG−4アクセスユニットにおいて、ファイルの終わりまで、各アクセスユニットに対して以下をループする、
−断片の数Nを読み取る、
−断片において、N個まで、各断片に対して以下をループする、
−(ビット単位で)断片の大きさを読み取る、
−断片におけるループの終わり、
−アクセスユニットにおけるループの終わり。
【0017】
断片の大きさがビット単位であるべき理由は、幾つかのメディアが断片の大きさが8ビットの倍数ではない(即ちバイト数が整数ではない)最適の断片を持つことにある。斯様な状況の例は、MPEG−4ビデオの「データパーティション」のアクセスユニットの断片により与えられる。ファイルがバイナリファイルである場合には、断片の数が非常に大きくはなり得ないことから、Nに対しては16ビットで十分であろう。同様に、断片の大きさに対しては16ビットで十分であろう(最大の断片の大きさは8000バイトより大きくなるであろう)。
【0018】
他の方法は、分離文字(separator character)、典型的にはスペース及び/又は行の終わりの符号(end of line character)での数のASCII(普通テキスト)表現を用いるものである。その場合には、fscanf(“%d”)などの標準的なC関数を用いることが出来るからである。

Claims (4)

  1. 伝送ネットワークによって送られるべき出力符号化コンテンツに対応するビットストリームが、メディアトラックとして所謂.mp4ファイルフォーマットで記憶され、転送機構が、特定ヒントトラックを付加することによりファイル中にメディアトラック毎に1つ記憶され、前記ヒントトラックは、前記符号化コンテンツを所与のタイプのネットワークに対応する伝送パケットの大きさに適合させるため、前記メディアトラックに記憶されるMPEG−4データエンティティ(又はアクセスユニット)を該パケットの大きさに合致させるために断片化する方法を示すプリセグメンテーション情報を含めるのに用いられるMPEG−4符号器であり、パケットが失われる場合でもいくらかの文脈を回復させるために目下独立しているエンティティ中に符号化ビットストリームを構成する断片化情報が、符号化する間に、前記.mp4ファイルから独立している断片構造ファイル中に記憶されるようなMPEG−4符号器。
  2. 伝送ネットワークによって送られるべきビットストリームの形態でMPEG−4符号器の出力部において利用可能な、一方で所謂.mp4ファイルフォーマットで記憶されるメディアデータを含み、他方で前記メディアデータに対応するMPEG−4データエンティティ(又はアクセスユニット)を前記伝送ネットワークのパケットの大きさに合致させるために断片化する方法を示すプリセグメンテーション情報を含む符号化信号。
  3. 請求項2に記載の符号化信号を受け、
    −MPEG−4アクセスユニットにおいて、ファイルの終わりまで、各アクセスユニットに対して以下をループする、
    −断片の数Nを読み取る、
    −断片において、N個まで、各断片に対して以下をループする、
    −(ビット単位で)断片の大きさを読み取る、
    −断片におけるループの終わり、
    −アクセスユニットにおけるループの終わり
    という構文を持つファイル構造に応じて前記符号化信号が読み取られるMPEG−4端末。
  4. ヒント添付プログラムが、最適のヒントトラックを収容している新しい.mp4ファイルを前記.mp4ファイルと共に生成するために供給され、次いで、ヒント付きの前記ファイルが、関係しているアプリケーションに応じて当該端末により用いられる請求項3に記載のMPEG−4端末。
JP2002515025A 2000-07-13 2001-07-04 Mpeg−4符号器及び斯様な符号器の出力符号化信号 Withdrawn JP2004505519A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00402027 2000-07-13
PCT/EP2001/007687 WO2002009436A1 (en) 2000-07-13 2001-07-04 Mpeg-4 encoder and output coded signal of such an encoder

Publications (1)

Publication Number Publication Date
JP2004505519A true JP2004505519A (ja) 2004-02-19

Family

ID=8173770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002515025A Withdrawn JP2004505519A (ja) 2000-07-13 2001-07-04 Mpeg−4符号器及び斯様な符号器の出力符号化信号

Country Status (6)

Country Link
US (1) US20020009151A1 (ja)
EP (1) EP1303987A1 (ja)
JP (1) JP2004505519A (ja)
KR (1) KR20020064776A (ja)
CN (1) CN1386375A (ja)
WO (1) WO2002009436A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555009B2 (en) 2003-11-14 2009-06-30 Canon Kabushiki Kaisha Data processing method and apparatus, and data distribution method and information processing apparatus
US7929463B2 (en) 2002-03-04 2011-04-19 Fujitsu Limited Layered codec data distribution apparatus and method
US10759762B2 (en) 2014-10-10 2020-09-01 High Force Research Limited Fluorescent synthetic retinoids

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20011871A (fi) * 2001-09-24 2003-03-25 Nokia Corp Multimediadatan prosessointi
US20050254498A1 (en) * 2002-07-12 2005-11-17 Masanori Itoh Data processing device
JP2006503516A (ja) * 2002-10-15 2006-01-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ipネットワークでfgs符号化映像をストリーミングするための誤り回復を備えるシステム及び方法
WO2004036916A1 (en) * 2002-10-15 2004-04-29 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
KR100513736B1 (ko) * 2002-12-05 2005-09-08 삼성전자주식회사 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일생성 방법 및 시스템
US7653000B2 (en) * 2003-03-21 2010-01-26 Siemens Aktiengesellschaft Method and device for provision and efficient utilization of resources for generating and outputting information in packet-oriented networks
KR100695126B1 (ko) * 2003-12-02 2007-03-14 삼성전자주식회사 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일생성 방법 및 시스템과, afx부호화 방법 및 장치
WO2008012739A2 (en) * 2006-07-28 2008-01-31 Nxp B.V. Media playback decoder tracing
US8365060B2 (en) * 2006-08-24 2013-01-29 Nokia Corporation System and method for indicating track relationships in media files
WO2012021697A1 (en) 2010-08-12 2012-02-16 Medrad, Inc. Infusion flow system and fluid coupling
CN102098557B (zh) * 2010-12-30 2013-05-08 广州杰赛科技股份有限公司 一种双向数字机顶盒控制方法
MX358607B (es) * 2013-07-22 2018-08-24 Sony Corp Aparato de procesamiento de informacion y metodo.
KR102380285B1 (ko) 2015-10-14 2022-03-30 삼성전자주식회사 멀티미디어 시스템에서 패킷을 송/수신하는 방법 및 장치
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11109067B2 (en) 2019-06-26 2021-08-31 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453355B1 (en) * 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
CN101035277A (zh) * 2000-03-13 2007-09-12 索尼公司 产生压缩的代码转换提示元数据的方法和设备
US7830969B2 (en) * 2001-05-04 2010-11-09 Hewlett-Packard Development Company, L.P. Encoding devices for scalable data streaming

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929463B2 (en) 2002-03-04 2011-04-19 Fujitsu Limited Layered codec data distribution apparatus and method
US7555009B2 (en) 2003-11-14 2009-06-30 Canon Kabushiki Kaisha Data processing method and apparatus, and data distribution method and information processing apparatus
US10759762B2 (en) 2014-10-10 2020-09-01 High Force Research Limited Fluorescent synthetic retinoids

Also Published As

Publication number Publication date
US20020009151A1 (en) 2002-01-24
WO2002009436A1 (en) 2002-01-31
CN1386375A (zh) 2002-12-18
KR20020064776A (ko) 2002-08-09
EP1303987A1 (en) 2003-04-23

Similar Documents

Publication Publication Date Title
JP2004505519A (ja) Mpeg−4符号器及び斯様な符号器の出力符号化信号
US8139611B2 (en) Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
KR101022471B1 (ko) 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
JP2005176352A (ja) 移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル、サービス方法及びシステム
EP2058968A1 (en) Method and apparatus for FEC encoding and decoding
US20050193138A1 (en) Storage medium storing multimedia data, and method and apparatus for reproducing the multimedia data
CN105007465A (zh) 基于live555框架和ffmpeg库的密文H264视频直播和点播平台
JP4907039B2 (ja) 信号符号化方法
JPH10336625A (ja) 映像配信方法およびシステム
JP4491918B2 (ja) データ配信装置及び方法、データ配信システム
KR101656102B1 (ko) 컨텐츠 파일 생성/제공 장치 및 방법
JP2005236719A (ja) 符号多重化装置及び多重化方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20081007