[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2018014641A - Mmtコンテンツ作成装置および作成プログラム - Google Patents

Mmtコンテンツ作成装置および作成プログラム Download PDF

Info

Publication number
JP2018014641A
JP2018014641A JP2016143572A JP2016143572A JP2018014641A JP 2018014641 A JP2018014641 A JP 2018014641A JP 2016143572 A JP2016143572 A JP 2016143572A JP 2016143572 A JP2016143572 A JP 2016143572A JP 2018014641 A JP2018014641 A JP 2018014641A
Authority
JP
Japan
Prior art keywords
content
packet
block
mmt
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016143572A
Other languages
English (en)
Other versions
JP6583171B2 (ja
Inventor
山下 剛
Takeshi Yamashita
剛 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2016143572A priority Critical patent/JP6583171B2/ja
Publication of JP2018014641A publication Critical patent/JP2018014641A/ja
Application granted granted Critical
Publication of JP6583171B2 publication Critical patent/JP6583171B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることが可能なMMTコンテンツ作成装置および作成プログラムを提供する。【解決手段】MMTコンテンツ作成装置は、コンテンツを取得する取得部と、MMT(MPEG Media Transport)に従い、前記取得部によって取得された前記コンテンツを複数のパケットに分割するパケット生成部と、複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部とを備え、前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する。【選択図】図2

Description

本発明は、MMTコンテンツ作成装置および作成プログラムに関する。
従来、MMTP(MPEG Media Transport Protocol)パケットを用いてコンテンツを伝送する技術が開発されている。
たとえば、非特許文献1(社団法人 電波産業会、”デジタル放送におけるMMTによるメディアトランスポート方式 ARIB STD−B60 1.6版”、[online]、[平成28年5月16日検索]、インターネット〈URL:http://www.arib.or.jp/english/html/overview/doc/2−STD−B60v1_6.pdf〉)には、放送システムにおけるクロック同期について記載されている。
より詳細には、MMT規格は、クロックの伝送等について規定しないため、MMTを用いる放送システムにおける送出システムおよび受信機は以下の各要件を満たす必要がある。すなわち、送出システムは、NTP(Network Time Protocol)タイムスタンプに基づくクロックを保持すること。送出システムでは、上記クロックと映像および音声のエンコード処理を行うクロックとが同期していること。受信機は、受信したNTP形式の時刻情報に基づくクロックを再生しかつ保持すること。受信機では、上記クロックを保持するためのシステムクロックと映像および音声等のデコード処理を行うクロックとが同期していること。
また、非特許文献2(IPTV規定 IP放送仕様、IPTVFJ STD−0004 1.3版、IPTVフォーラム、2012年4月13日)には、パケットロスに対処するためのFEC(Forward Error Correction)について記載されている。
特表2015−536592号公報 特開2015−149680号公報
社団法人 電波産業会、"デジタル放送におけるMMTによるメディアトランスポート方式 ARIB STD−B60 1.6版"、[online]、[平成28年5月16日検索]、インターネット〈URL:http://www.arib.or.jp/english/html/overview/doc/2−STD−B60v1_6.pdf〉 IPTV規定 IP放送仕様、IPTVFJ STD−0004 1.3版、IPTVフォーラム、2012年4月13日 " Information technology −− High efficiency coding and media delivery in heterogeneous environments −− Part 1: MPEG media transport (MMT)"、INTERNATIONAL STANDARD、2014年6月1日、ISO/IEC 23008−1
非特許文献2に記載のFEC処理は、複数のパケットを含むブロック単位で行われることがある。このような場合、受信側の装置では、パケットロスの発生の有無に関わらず、ブロックを構成する全パケットを受信するまでパケットの処理を開始することができない。
また、非特許文献2に記載のFEC処理のようにブロックのサイズを固定的に運用する場合、送信側の装置においてコンテンツの取得が遅れると、その遅れが受信側の装置に波及してしまう。
非特許文献1に示すNTPでは、絶対時刻である協定世界時(Coordinated Universal Time, UTC)が用いられるため、受信側の装置に遅れが波及すると、受信側の装置においてコンテンツの再生が困難になってしまうことがある。
この発明は、上述の課題を解決するためになされたもので、その目的は、複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることが可能なMMTコンテンツ作成装置および作成プログラムを提供することである。
(1)上記課題を解決するために、この発明のある局面に係わるMMTコンテンツ作成装置は、コンテンツを取得する取得部と、MMT(MPEG Media Transport)に従い、前記取得部によって取得された前記コンテンツを複数のパケットに分割するパケット生成部と、複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部とを備え、前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する。
(4)上記課題を解決するために、この発明のある局面に係わる作成プログラムは、MMTコンテンツ作成装置において用いられる作成プログラムであって、コンピュータを、コンテンツを取得する取得部と、前記取得部によって取得された前記コンテンツを、MMTに従い複数のパケットに分割するパケット生成部と、複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部と、として機能させるためのプログラムであり、前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する。
本発明は、このような特徴的な処理部を備えるMMTコンテンツ作成装置として実現することができるだけでなく、MMTコンテンツ作成装置を備えるMMTコンテンツ作成システムとして実現したり、かかる特徴的な処理をステップとする方法として実現したり、MMTコンテンツ作成装置の一部または全部を実現する半導体集積回路として実現したりすることができる。
本発明によれば、複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることができる。
図1は、本発明の第1の実施の形態に係るMMTコンテンツ作成システムの構成を示す図である。 図2は、本発明の第1の実施の形態に係るMMTコンテンツ作成装置の構成を示す図である。 図3は、本発明の第1の実施の形態に係るMMTコンテンツ作成システムにおいて用いられるソースブロックおよびFECパケットを説明するための図である。 図4は、本発明の第1の実施の形態に係るMMTPパケットの欠損補償の一例を示す図である。 図5は、本発明の第1の実施の形態に係るMMTコンテンツ作成装置におけるパケット処理部がMMTPパケットを受けるタイミングの一例を示す図である。 図6は、本発明の第1の実施の形態に係るMMTコンテンツ作成装置がソースブロックおよびFEC符号化ブロックを作成する際の動作手順を定めたフローチャートである。 図7は、本発明の第2の実施の形態に係るMMTコンテンツ作成システムの構成を示す図である。 図8は、本発明の第2の実施の形態に係るMMTコンテンツ作成装置におけるパケット処理部がMMTPパケットを受けるタイミングの一例を示す図である。
最初に、本発明の実施形態の内容を列記して説明する。
(1)本発明の実施の形態に係るMMTコンテンツ作成装置は、コンテンツを取得する取得部と、MMT(MPEG Media Transport)に従い、前記取得部によって取得された前記コンテンツを複数のパケットに分割するパケット生成部と、複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部とを備え、前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する。
このような構成により、コンテンツの取得時刻に基づいて当該コンテンツの適正な取得タイミングからのずれを認識することができるので、認識したずれに応じてブロックのサイズを調整することができる。したがって、複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることができる。たとえば、コンテンツの取得が遅れている場合、その遅れ度合いに応じてブロックのサイズを小さくすることができる。これにより、受信側の装置では、より小さいブロック単位で復元処理を行うことができるので、ブロックを構成する全パケットの受信が完了するタイミングを早めることができる。すなわち、MMTコンテンツ作成装置においてコンテンツの取得が遅れても、受信側の装置においてブロックを構成するパケットの処理開始タイミングを早めることができるので、受信側の装置においてコンテンツの再生が困難になってしまう可能性を低減することができる。
(2)好ましくは、前記パケット処理部は、前記コンテンツの提示時刻に基づく時刻と前記取得時刻とに基づいて前記ブロックのサイズを決定する。
このような構成により、ブロックを構成する全パケットが、たとえば提示時刻の所定時間前までに受信側の装置により受信されるようにブロックのサイズを決定することができるので、受信側の装置は、当該全パケットの処理を提示時刻の所定時間前から開始することができる。
(3)好ましくは、前記取得部は、複数のコンテンツを取得可能であり、前記パケット処理部は、前記取得部による複数のコンテンツの各々の前記取得時刻に基づいて前記ブロックのサイズを前記コンテンツごとに決定する。
このような構成により、たとえば、同じ時刻に提示すべき複数のコンテンツの取得時刻が互いに異なる場合においても、取得が遅れているコンテンツに対して、その遅れ度合いに応じてブロックのサイズを小さくして受信側の装置へ送信することができるので、受信側の装置において、取得が遅れているコンテンツ側のブロックを構成するパケットの処理開始タイミングを早めることができる。これにより、受信側の装置において、取得が遅れているコンテンツの処理が開始されないために、これらのコンテンツの同期が困難になる可能性を低減させることができる。
(4)本発明の実施の形態に係る作成プログラムは、MMTコンテンツ作成装置において用いられる作成プログラムであって、コンピュータを、コンテンツを取得する取得部と、前記取得部によって取得された前記コンテンツを、MMTに従い複数のパケットに分割するパケット生成部と、複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部と、として機能させるためのプログラムであり、前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する。
このような構成により、コンテンツの取得時刻に基づいて当該コンテンツの適正な取得タイミングからのずれを認識することができるので、認識したずれに応じてブロックのサイズを調整することができる。したがって、複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることができる。たとえば、コンテンツの取得が遅れている場合、その遅れ度合いに応じてブロックのサイズを小さくすることができる。これにより、受信側の装置では、より小さいブロック単位で復元処理を行うことができるので、ブロックを構成する全パケットの受信が完了するタイミングを早めることができる。すなわち、MMTコンテンツ作成装置においてコンテンツの取得が遅れても、受信側の装置においてブロックを構成するパケットの処理開始タイミングを早めることができるので、受信側の装置においてコンテンツの再生が困難になってしまう可能性を低減することができる。
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施の形態の少なくとも一部を任意に組み合わせてもよい。
<第1の実施の形態>
[構成および基本動作]
図1は、本発明の第1の実施の形態に係るMMTコンテンツ作成システムの構成を示す図である。
図1を参照して、MMTコンテンツ作成システム301は、MMTコンテンツ作成装置101と、エンコーダ151とを備える。
エンコーダ151、MMTコンテンツ作成装置101およびMMTコンテンツ再生装置171は、たとえば、絶対時刻に従って動作する。
エンコーダ151は、コンテンツを作成する。ここで、コンテンツは、たとえば提示時刻が指定されている。具体的には、エンコーダ151は、たとえば映像および音声を含むコンテンツを作成する。なお、コンテンツは、映像および音声のいずれか一方であってもよい。
詳細には、エンコーダ151は、たとえば、スポーツ等を行う被写体を撮影する図示しないカメラから映像および音声を取得する。
より詳細には、映像には、複数の画像が含まれる。たとえば、60fps(frame per second)のフレームレートで撮影された映像には、1秒あたり60枚の画像が含まれる。
すなわち、エンコーダ151は、所定のフレームレートで撮影を行うカメラから、当該フレームレートの逆数であるフレーム周期ごとに画像を取得するとともに、当該カメラにより集音された音声を取得する。
エンコーダ151は、取得した画像および音声をエンコードし、エンコード結果を示す画像情報および音声情報をそれぞれ作成する。
また、エンコーダ151は、画像情報の示す画像を提示すべき時刻(以下、提示時刻とも称する。)を当該画像情報に含める。同様に、エンコーダ151は、音声情報の示す音声の提示時刻を当該音声情報に含める。そして、エンコーダ151は、画像情報および音声情報をMMTコンテンツ作成装置101へ送信する。
図2は、本発明の第1の実施の形態に係るMMTコンテンツ作成装置の構成を示す図である。
図2を参照して、MMTコンテンツ作成装置101は、コンテンツ取得部51と、パケット生成部52と、パケット処理部53と、送信部54と、絶対時刻保持部55とを備える。
MMTコンテンツ作成装置101は、たとえばサーバであり、エンコーダ151によって作成されたコンテンツを含む、非特許文献1および3に記載のMMTPパケットを作成し、作成したMMTPパケットを送信する。
MMTコンテンツ作成装置101における絶対時刻保持部55は、たとえば、カウンタであり、絶対時刻要求を受けると、UTCを示す絶対時刻情報を出力する。
コンテンツ取得部51は、コンテンツを取得する。より詳細には、コンテンツ取得部51は、エンコーダ151から画像情報および音声情報を受信すると、以下の処理を行う。
すなわち、コンテンツ取得部51は、絶対時刻要求を絶対時刻保持部55へ出力し、絶対時刻要求の応答である絶対時刻情報を絶対時刻保持部55から受ける。
そして、コンテンツ取得部51は、画像情報および音声情報をパケット生成部52へ出力するとともに、絶対時刻保持部55から受けた絶対時刻情報の示すUTCをコンテンツの取得時刻としてパケット生成部52に通知する。
パケット生成部52は、MMTに従い、取得部51によって取得されたコンテンツを複数のパケットに分割する。
具体的には、パケット生成部52は、コンテンツ取得部51から画像情報および音声情報を受けると、以下の処理を行う。すなわち、パケット生成部52は、たとえば、非特許文献1に記載されたMMT規格に従い、画像情報または音声情報を含むMMTPパケットを生成する。そして、パケット生成部52は、生成したMMTPパケットを、コンテンツ取得部51から通知された取得時刻を示す取得時刻情報とともにパケット処理部53へ出力する。
パケット処理部53は、複数のパケットからなるブロック単位で、コンテンツの受信側の装置においてブロックを復元するための復元用パケットをブロックに基づいて作成する。
具体的には、パケット処理部53は、たとえば、後述する方法により決定された個数のMMTPパケットからなるソースブロック単位で、復元用パケットであるFECパケットをソースブロックに基づいて作成する。
図3は、本発明の第1の実施の形態に係るMMTコンテンツ作成システムにおいて用いられるソースブロックおよびFECパケットを説明するための図である。図3では、20個のMMTPパケットを含むソースブロックSB1の一例が示される。
図3を参照して、パケット処理部53は、たとえば、非特許文献2に記載のPro−MPEG(the Professional−MPEG) 1D FEC方式に準拠した処理を行うことにより、伝送経路の途中で欠損したMMTPパケットをMMTコンテンツ再生装置171において復元できるようにする。
具体的には、パケット処理部53は、たとえば、ソースブロックSB1のサイズを、20個のMMTPパケットが含まれるサイズに決定した場合、MMTPパケット1からMMTPパケット20までの20個のMMTPパケットを含む4行5列のソースブロックSB1を作成する。
ソースブロックSB1には、20個のMMTPパケットがたとえば左上から右方向へ番号順に並べられる。
そして、パケット処理部53は、ソースブロックSB1の各列におけるMMTPパケットのビットストリングに対して排他的論理和(XOR)を計算し、計算した排他的論理和、すなわち各ビットストリングの冗長データをペイロードに含む復元用のMMTPパケット(以下、FECパケットとも称する。)を作成する。以下、ソースブロックSB1に対応する複数のFECパケットを、FEC符号化ブロックFB1とも称する。
具体的には、パケット処理部53は、ソースブロックSB1の1列目を構成するMMTPパケット1,MMTPパケット6,MMTPパケット11,MMTPパケット16の各ビットストリングに対して排他的論理和を計算することにより、冗長データを取得する。
そして、パケット処理部53は、上記冗長データにMMTPヘッダ(以下、FECヘッダとも称する。)を付加することにより、FECパケット1を作成する。FECヘッダには、たとえばPro−MPEG 1D FECといったFEC方式、ソースブロックSB1のサイズおよびFEC符号化ブロックFB1のサイズ等が含められる。
なお、上記サイズは、ソースブロックSB1またはFEC符号化ブロックFB1の行数および列数の積を示す。従って、ソースブロックSB1のサイズは、当該ソースブロックに収容されるMMTPパケットの個数すなわち20個を示す。また、FEC符号化ブロックFB1のサイズは、FEC符号化ブロックFB1に収容されるFECパケットの個数すなわち5個を示す。
パケット処理部53は、ソースブロックSB1の2列目から5列目についても同様の処理を行い、FECパケット2〜FECパケット5を作成する。FECパケット1〜FECパケット5は、ソースブロックSB1に対応するFEC符号化ブロックFB1を構成する。
図4は、本発明の第1の実施の形態に係るMMTPパケットの欠損補償の一例を示す図である。
図4を参照して、たとえば、MMTPパケット11が欠損した場合、「欠損」により示される位置に対応する列に属するMMTPパケット1,MMTPパケット6,MMTPパケット16、および当該列に対応するFECパケット1に基づいて、欠損したMMTPパケット11が復元される。
具体的には、MMTPパケット1,MMTPパケット6,MMTPパケット16の各ビットストリングおよびFECパケット1のビットストリングに対して計算された排他的論理和が、欠損したMMTPパケット11のビットストリングと同じになる。これにより、欠損したMMTPパケット11が復元される。
再び図2を参照して、パケット処理部53は、取得部51によるコンテンツの取得時刻に基づいてソースブロックのサイズを決定する。
より詳細には、パケット処理部53は、たとえば、コンテンツの提示時刻に基づく時刻と取得時刻とに基づいてソースブロックのサイズを決定する。
図5は、本発明の第1の実施の形態に係るMMTコンテンツ作成装置におけるパケット処理部がMMTPパケットを受けるタイミングの一例を示す図である。
図5を参照して、パケット処理部53は、たとえば、パケット生成部52からMMTPパケットaをソースブロックの先頭パケットとして受けると、以下の処理を行う。
すなわち、パケット処理部53は、MMTPパケットaに含まれる画像情報または音声情報を参照し、画像情報または音声情報に含まれる提示時刻tpaを取得する。また、パケット処理部53は、画像情報または音声情報とともにパケット生成部52から受けた取得時刻情報の示す取得時刻ta1を取得する。
そして、パケット処理部53は、MMTコンテンツ再生装置171が、画像情報および音声情報を取得すべき時刻(以下、取得目標時刻とも称する。)を算出する。具体的には、パケット処理部53は、取得した提示時刻tpaから早着時間Trを差し引くことにより取得目標時刻を算出する。ここで、早着時間Trは、MMTコンテンツ再生装置171が、MMTPパケットに含まれる画像または音声の提示時刻に対して先んじて取得すべき時間であり、たとえばMMTコンテンツ作成装置101に予め登録されている。パケット処理部53は、取得目標時刻から取得時刻ta1を差し引くことにより、対象時間Tsを算出する。
パケット処理部53は、取得時刻ta1から対象時間Tsが経過するまでにパケット生成部52から受けるMMTPパケットを蓄積し、蓄積したMMTPパケットの個数をソースブロックのサイズとして決定する。
図5の例では、パケット処理部53は、MMTPパケットa〜MMTPパケットpの個数をソースブロックのサイズとして決定する。
パケット処理部53は、決定したサイズのソースブロックを作成し、作成したソースブロックに基づいて対応のFEC符号化ブロックを作成する。そして、パケット処理部53は、作成したソースブロックおよびFEC符号化ブロックを送信部54へ出力する。
送信部54は、パケット処理部53からソースブロックおよびFEC符号化ブロックを受けると、受けたソースブロックおよびFEC符号化ブロックをMMTコンテンツ再生装置171へ送信する。
より詳細には、送信部54は、コンテンツをインターネット10経由でMMTコンテンツ再生装置171へ送信するように指定されている場合、たとえばソースブロックおよびFEC符号化ブロックにそれぞれ含まれるMMTPパケットおよびFECパケットに、UDPヘッダまたはTCPヘッダを付加した後、IPヘッダを付加することによりIPパケットを作成する。
そして、送信部54は、作成したIPパケットをインターネット10経由でMMTコンテンツ再生装置171へ送信する。
一方、送信部54は、コンテンツを放送装置161経由でMMTコンテンツ再生装置171へ送信するように指定されている場合、たとえばソースブロックおよびFEC符号化ブロックにそれぞれ含まれるMMTPパケットおよびFECパケットに、UDPヘッダを付加した後、IPヘッダを付加することによりIPパケットを作成する。
そして、送信部54は、作成したIPパケットにTLV(Type Length Value)ヘッダを付加することによりTLVパケットを作成し、作成したTLVパケットを放送装置161へ送信する。
再び図1を参照して、放送装置161は、MMTコンテンツ作成装置101からTLVパケットを受信すると、受信したTLVパケットを含めた放送波を送信する。
MMTコンテンツ再生装置171は、インターネット10経由でIPパケットを受信すると、受信したIPパケットからMMTPパケットおよびFECパケットを取得する。
また、MMTコンテンツ再生装置171は、放送装置161から放送波を受信すると、受信した放送波からTLVパケットを取得し、取得したTLVパケットからMMTPパケットおよびFECパケットを取得する。
MMTコンテンツ再生装置171は、たとえば、取得したFECパケットにおけるFECヘッダの内容からソースブロックのサイズおよびFEC符号化ブロックのサイズを認識し、取得したMMTPパケットおよびFECパケットからソースブロックおよびFEC符号化ブロックをそれぞれ作成する。
MMTコンテンツ再生装置171は、たとえば、MMTPパケットに欠損がある場合、図4に示す方法を用いて、欠損したMMTPパケットを復元する。
また、MMTコンテンツ再生装置171は、図2に示す絶対時刻保持部55と同様の絶対時刻保持部を備える。
MMTコンテンツ再生装置171は、MMTPパケットに含まれる画像情報の示す画像を再生し、当該画像情報に含まれる提示時刻と絶対時刻保持部におけるUTCのカウント値とが一致したタイミングで再生した画像を出力する。
同様に、MMTコンテンツ再生装置171は、MMTPパケットに含まれる音声情報の示す音声を再生し、当該音声情報に含まれる提示時刻と絶対時刻保持部におけるUTCのカウント値とが一致したタイミングで再生した音声を出力する。
MMTコンテンツ作成システムにおける各装置は、コンピュータを備え、当該コンピュータにおけるCPU等の演算処理部は、以下のシーケンス図またはフローチャートの各ステップの一部または全部を含むプログラムを図示しないメモリからそれぞれ読み出して実行する。これら複数の装置のプログラムは、それぞれ、外部からインストールすることができる。これら複数の装置のプログラムは、それぞれ、記録媒体に格納された状態で流通する。
[動作]
図6は、本発明の第1の実施の形態に係るMMTコンテンツ作成装置がソースブロックおよびFEC符号化ブロックを作成する際の動作手順を定めたフローチャートである。
図6を参照して、まず、MMTコンテンツ作成装置101は、エンコーダ151から画像情報または音声情報を受信するまで待機する(ステップS102でNO)。
そして、MMTコンテンツ作成装置101は、エンコーダ151から画像情報または音声情報を受信すると(ステップS102でYES)、受信した画像情報または音声情報の取得時刻を取得する(ステップS104)。
次に、MMTコンテンツ作成装置101は、画像情報または音声情報を含むMMTPパケットを作成する(ステップS106)。
次に、MMTコンテンツ作成装置101は、作成したMMTPパケットがソースブロックの先頭にすべきMMTPパケットである場合(ステップS108でYES)、対象時間Tsを決定する(ステップS120)。
次に、MMTコンテンツ作成装置101は、エンコーダ151から新たな画像情報または音声情報を受信するまで待機する(ステップS102でNO)。
一方、MMTコンテンツ作成装置101は、作成したMMTPパケットがソースブロックの先頭にすべきMMTPパケットでない場合(ステップS108でNO)、ソースブロックの先頭にすべきMMTPパケットの取得時刻ta1から対象時間Tsが経過したか否かを判断する(ステップS110)。
MMTコンテンツ作成装置101は、取得時刻ta1から対象時間Tsが経過していないと判断した場合(ステップS110でNO)、MMTPパケットを蓄積する(ステップS112)。
次に、MMTコンテンツ作成装置101は、エンコーダ151から新たな画像情報または音声情報を受信するまで待機する(ステップS102でNO)。
一方、MMTコンテンツ作成装置101は、取得時刻ta1から対象時間Tsが経過したと判断した場合(ステップS110でYES)、以下の処理を行う。
すなわち、MMTコンテンツ作成装置101は、取得時刻ta1から対象時間Tsが経過するまでに作成したMMTPパケットの個数をソースブロックのサイズとして決定するとともに、取得時刻ta1から対象時間Tsが経過するまでに蓄積したMMTPパケットを含むソースブロックを作成する(ステップS114)。
次に、MMTコンテンツ作成装置101は、作成したソースブロックに対応するFEC符号化ブロックを作成する(ステップS116)。
次に、MMTコンテンツ作成装置101は、作成したソースブロックおよびFEC符号化ブロックを送信する(ステップS118)。
次に、MMTコンテンツ作成装置101は、エンコーダ151から新たな画像情報または音声情報を受信するまで待機する(ステップS102でNO)。
なお、本発明の第1の実施の形態に係るMMTコンテンツ作成装置では、パケット処理部53は、コンテンツの提示時刻に基づく時刻とコンテンツの取得時刻とに基づいてソースブロックのサイズを決定する構成であるとしたが、これに限定するものではない。パケット処理部53は、コンテンツの取得時刻に基づいてソースブロックのサイズを決定する構成であってもよい。具体的には、たとえば、コンテンツの取得が周期的に行われる構成において、パケット処理部53は、コンテンツを取得すべき周期ごとのタイミングと取得時刻とに基づいて、コンテンツの取得タイミングの適正値からのずれを認識し、認識したずれに基づいてソースブロックのサイズを決定する。
また、本発明の第1の実施の形態に係るMMTコンテンツ作成装置では、コンテンツ取得部51は、エンコーダ151からコンテンツを受信する構成であるとしたが、これに限定するものではない。コンテンツ取得部51は、コンテンツを作成して取得する構成であってもよいし、コンテンツが保存された記憶部から当該コンテンツを取得する構成であってもよい。
ところで、非特許文献2に記載のFEC処理は、複数のパケットを含むブロック単位で行われることがある。このような場合、受信側の装置では、パケットロスの発生の有無に関わらず、ブロックを構成する全パケットを受信するまでパケットの処理を開始することができない。
また、非特許文献2に記載のFEC処理のようにブロックのサイズを固定的に運用する場合、送信側の装置においてコンテンツの取得が遅れると、その遅れが受信側の装置に波及してしまう。
非特許文献1に示すNTPでは、絶対時刻である協定世界時が用いられるため、受信側の装置に遅れが波及すると、受信側の装置においてコンテンツの再生が困難になってしまうことがある。
これに対して、本発明の第1の実施の形態に係るMMTコンテンツ作成装置は、コンテンツ取得部51は、コンテンツを取得する。パケット生成部52は、MMTに従い、コンテンツ取得部51によって取得されたコンテンツを複数のMMTPパケットに分割する。パケット処理部53は、複数のMMTPパケットからなるソースブロック単位で、コンテンツの受信側の装置においてソースブロックを復元するためのFECパケットを当該ソースブロックに基づいて作成する。そして、パケット処理部53は、コンテンツ取得部51によるコンテンツの取得時刻に基づいてソースブロックのサイズを決定する。
このような構成により、コンテンツの取得時刻に基づいて当該コンテンツの適正な取得タイミングからのずれを認識することができるので、認識したずれに応じてソースブロックのサイズを調整することができる。したがって、複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることができる。たとえば、コンテンツの取得が遅れている場合、その遅れ度合いに応じてソースブロックのサイズを小さくすることができる。これにより、受信側の装置では、より小さいソースブロック単位で復元処理を行うことができるので、ソースブロックを構成する全MMTPパケットの受信が完了するタイミングを早めることができる。すなわち、MMTコンテンツ作成装置101においてコンテンツの取得が遅れても、受信側の装置においてソースブロックを構成するMMTPパケットの処理開始タイミングを早めることができるので、受信側の装置においてコンテンツの再生が困難になってしまう可能性を低減することができる。
また、本発明の第1の実施の形態に係るMMTコンテンツ作成装置は、パケット処理部53は、コンテンツの提示時刻に基づく時刻と取得時刻とに基づいてソースブロックのサイズを決定する。
このような構成により、ソースブロックを構成する全MMTPパケットが、たとえば提示時刻の早着時間前までに受信側の装置により受信されるようにソースブロックのサイズを決定することができるので、受信側の装置は、当該全MMTPパケットの処理を提示時刻の早着時間前から開始することができる。
次に、本発明の他の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
<第2の実施の形態>
本実施の形態は、第1の実施の形態に係るMMTコンテンツ作成システムと比べて複数のエンコーダを備えるMMTコンテンツ作成システムに関する。以下で説明する内容以外は第1の実施の形態に係るMMTコンテンツ作成システムと同様である。
図7は、本発明の第2の実施の形態に係るMMTコンテンツ作成システムの構成を示す図である。
図7を参照して、MMTコンテンツ作成システム302は、MMTコンテンツ作成装置101と、エンコーダ151であるエンコーダ151A,151Bとを備える。なお、MMTコンテンツ作成システム302は、3つ以上のエンコーダ151を備える構成であってもよい。
エンコーダ151Aは、たとえば、スポーツ等を行う被写体を撮影する図示しないカメラから映像および音声を取得する。エンコーダ151Bは、当該カメラの角度と異なる角度から当該被写体を撮影する図示しない他のカメラから映像および音声を取得する。
エンコーダ151Aによってエンコードされた映像および音声は、たとえば放送装置161経由でMMTコンテンツ再生装置171へ伝送される。また、エンコーダ151Bによってエンコードされた映像および音声は、たとえばインターネット10経由でMMTコンテンツ再生装置171へ伝送される。
再び図2を参照して、取得部51は、たとえば複数のコンテンツを取得可能である。具体的には、コンテンツ取得部51は、たとえば、エンコーダ151Aから画像情報および音声情報を受信すると、絶対時刻保持部55から絶対時刻情報を取得し、受信した画像情報および音声情報をパケット生成部52へ出力するとともに、絶対時刻情報の示すUTCをコンテンツの取得時刻としてパケット生成部52に通知する。コンテンツ取得部51は、エンコーダ151Bから受信する画像情報および音声情報についても同様に処理する。
パケット生成部52は、エンコーダ151Aからの画像情報および音声情報をコンテンツ取得部51から受けると、以下の処理を行う。すなわち、パケット生成部52は、たとえば、非特許文献1に記載されたMMT規格に従い、画像情報または音声情報を含むMMTPパケットAを生成する。そして、パケット生成部52は、生成したMMTPパケットAを、コンテンツ取得部51から通知された取得時刻を示す取得時刻情報とともにパケット処理部53へ出力する。
同様に、パケット生成部52は、エンコーダ151Bからの画像情報および音声情報をコンテンツ取得部51から受けると、上記MMT規格に従い、画像情報または音声情報を含むMMTPパケットBを生成する。そして、パケット生成部52は、生成したMMTPパケットBを、コンテンツ取得部51から通知された取得時刻を示す取得時刻情報とともにパケット処理部53へ出力する。
図8は、本発明の第2の実施の形態に係るMMTコンテンツ作成装置におけるパケット処理部がMMTPパケットを受けるタイミングの一例を示す図である。
図8を参照して、パケット処理部53は、たとえば、取得部51による複数のコンテンツの各々の取得時刻に基づいてブロックのサイズをコンテンツごとに決定する。
より詳細には、パケット処理部53は、たとえば、パケット生成部52からMMTPパケットAaをソースブロックの先頭パケットとして受けると、以下の処理を行う。
すなわち、パケット処理部53は、MMTPパケットAaに含まれる画像情報または音声情報を参照し、画像情報または音声情報に含まれる提示時刻tpaを取得する。また、パケット処理部53は、画像情報または音声情報とともにパケット生成部52から受けた取得時刻情報の示す取得時刻ta1を取得する。
そして、パケット処理部53は、取得した提示時刻tpaから早着時間Trおよび取得時刻ta1を差し引くことにより対象時間Tsaを算出する。
パケット処理部53は、取得時刻ta1から対象時間Tsaが経過するまでにパケット生成部52から受けるMMTPパケットAを蓄積し、蓄積したMMTPパケットAの個数を、放送装置161経由でMMTコンテンツ再生装置171へ送信すべきソースブロックSBAのサイズとして決定する。
図8の例では、パケット処理部53は、MMTPパケットAa〜MMTPパケットApの個数をソースブロックSBAのサイズとして決定する。
パケット処理部53は、決定したサイズのソースブロックSBAを作成し、作成したソースブロックSBAに基づいて対応のFEC符号化ブロックFBAを作成する。そして、パケット処理部53は、作成したソースブロックSBAおよびFEC符号化ブロックFBAを送信部54へ出力する。
一方、たとえば、MMTPパケットAaの提示時刻tpaと同一の提示時刻を含む画像情報または音声情報が格納されたMMTPパケットBaが、取得時刻ta1から時間Td1経過した時刻においてパケット生成部52からパケット処理部53へ出力される。
パケット処理部53は、パケット生成部52からMMTPパケットBaを受けると、受けたMMTPパケットBaをソースブロックの先頭パケットとして処理すべきと認識し、以下の処理を行う。
すなわち、パケット処理部53は、MMTPパケットBaに含まれる画像情報または音声情報から提示時刻tpaを取得するとともに、画像情報または音声情報とともにパケット生成部52から受けた取得時刻情報の示す取得時刻tb1すなわち(ta1+Td1)を取得する。
そして、パケット処理部53は、取得した提示時刻tpaから早着時間Trおよび取得時刻tb1を差し引くことにより対象時間Tsbを算出する。
パケット処理部53は、取得時刻tb1から対象時間Tsbが経過するまでにパケット生成部52から受けるMMTPパケットBを蓄積し、蓄積したMMTPパケットBの個数を、インターネット10経由でMMTコンテンツ再生装置171へ送信すべきソースブロックSBBのサイズとして決定する。
図8の例では、パケット処理部53は、MMTPパケットBa〜MMTPパケットBiの個数をソースブロックSBBのサイズとして決定する。
パケット処理部53は、決定したサイズのソースブロックSBBを作成し、作成したソースブロックSBBに基づいて対応のFEC符号化ブロックFBBを作成する。そして、パケット処理部53は、作成したソースブロックSBBおよびFEC符号化ブロックFBBを送信部54へ出力する。
送信部54は、パケット処理部53からソースブロックSBAおよびFEC符号化ブロックFBAを受けると、ソースブロックSBAおよびFEC符号化ブロックFBAにそれぞれ含まれるMMTPパケットおよびFECパケットに、UDPヘッダを付加した後、IPヘッダを付加することによりIPパケットを作成する。
そして、送信部54は、作成したIPパケットにTLVヘッダを付加することによりTLVパケットを作成し、作成したTLVパケットを放送装置161へ送信する。
また、送信部54は、パケット処理部53からソースブロックSBBおよびFEC符号化ブロックFBBを受けると、ソースブロックSBBおよびFEC符号化ブロックFBBにそれぞれ含まれるMMTPパケットおよびFECパケットに、UDPヘッダまたはTCPヘッダを付加した後、IPヘッダを付加することによりIPパケットを作成する。
そして、送信部54は、作成したIPパケットをインターネット10経由でMMTコンテンツ再生装置171へ送信する。
以上のように、本発明の第2の実施の形態に係るMMTコンテンツ作成装置では、コンテンツ取得部51は、複数のコンテンツを取得可能である。そして、パケット処理部53は、コンテンツ取得部51による複数のコンテンツの各々の取得時刻に基づいてソースブロックのサイズをコンテンツごとに決定する。
このような構成により、たとえば、同じ時刻に提示すべき複数のコンテンツの取得時刻が互いに異なる場合においても、取得が遅れているコンテンツに対して、その遅れ度合いに応じてソースブロックのサイズを小さくして受信側の装置へ送信することができるので、受信側の装置において、取得が遅れているコンテンツ側のソースブロックを構成するMMTPパケットの処理開始タイミングを早めることができる。これにより、受信側の装置において、取得が遅れているコンテンツの処理が開始されないために、これらのコンテンツの同期が困難になる可能性を低減させることができる。
なお、本発明の第1の実施の形態および第2の実施の形態に係る各装置の構成要素および動作のうち、一部または全部を適宜組み合わせることも可能である。
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
以上の説明は、以下に付記する特徴を含む。
[付記1]
コンテンツを取得する取得部と、
MMT(MPEG Media Transport)に従い、前記取得部によって取得された前記コンテンツを複数のパケットに分割するパケット生成部と、
複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部とを備え、
前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定し、
前記コンテンツは、画像および前記画像の提示時刻を含む画像情報、ならびに音声および前記音声の提示時刻を示す音声情報を含み、
前記パケット生成部は、前記画像情報および前記音声情報を含む複数のMMTP(MMT Protocol)パケットを生成し、
前記パケット処理部は、前記取得部により取得された前記コンテンツの取得時刻から所定の早着時間と前記コンテンツに含まれる前記画像の提示時刻または前記音声の提示時刻とを差し引くことにより対象時間を取得し、
前記パケット処理部は、前記取得時刻から前記対象時間が経過するまでに前記取得部により取得された前記コンテンツを含む前記MMTPパケットの個数を前記サイズとして決定する、MMTコンテンツ作成装置。
10 インターネット
51 コンテンツ取得部
52 パケット生成部
53 パケット処理部
54 送信部
55 絶対時刻保持部
101 MMTコンテンツ作成装置
151 エンコーダ
161 放送装置
171 MMTコンテンツ再生装置
301,302 MMTコンテンツ作成システム

Claims (4)

  1. コンテンツを取得する取得部と、
    MMT(MPEG Media Transport)に従い、前記取得部によって取得された前記コンテンツを複数のパケットに分割するパケット生成部と、
    複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部とを備え、
    前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する、MMTコンテンツ作成装置。
  2. 前記パケット処理部は、前記コンテンツの提示時刻に基づく時刻と前記取得時刻とに基づいて前記ブロックのサイズを決定する、請求項1に記載のMMTコンテンツ作成装置。
  3. 前記取得部は、複数のコンテンツを取得可能であり、
    前記パケット処理部は、前記取得部による複数のコンテンツの各々の前記取得時刻に基づいて前記ブロックのサイズを前記コンテンツごとに決定する、請求項1または請求項2に記載のMMTコンテンツ作成装置。
  4. MMTコンテンツ作成装置において用いられる作成プログラムであって、
    コンピュータを、
    コンテンツを取得する取得部と、
    前記取得部によって取得された前記コンテンツを、MMTに従い複数のパケットに分割するパケット生成部と、
    複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部と、
    として機能させるためのプログラムであり、
    前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する、作成プログラム。
JP2016143572A 2016-07-21 2016-07-21 Mmtコンテンツ作成装置および作成プログラム Active JP6583171B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016143572A JP6583171B2 (ja) 2016-07-21 2016-07-21 Mmtコンテンツ作成装置および作成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016143572A JP6583171B2 (ja) 2016-07-21 2016-07-21 Mmtコンテンツ作成装置および作成プログラム

Publications (2)

Publication Number Publication Date
JP2018014641A true JP2018014641A (ja) 2018-01-25
JP6583171B2 JP6583171B2 (ja) 2019-10-02

Family

ID=61019638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016143572A Active JP6583171B2 (ja) 2016-07-21 2016-07-21 Mmtコンテンツ作成装置および作成プログラム

Country Status (1)

Country Link
JP (1) JP6583171B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250481A (ja) * 2006-12-28 2011-12-08 Mitsubishi Electric Corp 通信システム、基地局および移動局
JP2013223056A (ja) * 2012-04-16 2013-10-28 Sumitomo Electric Ind Ltd ストリーム送信装置、ストリーム送信方法およびストリーム送信プログラム
JP2016092640A (ja) * 2014-11-06 2016-05-23 キヤノン株式会社 生成装置、生成方法及びプログラム
US20160182188A1 (en) * 2013-07-18 2016-06-23 Sumsung Electronics Co., Ltd. Apparatus and method for sending/receiving packet in multimedia communication system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250481A (ja) * 2006-12-28 2011-12-08 Mitsubishi Electric Corp 通信システム、基地局および移動局
JP2013223056A (ja) * 2012-04-16 2013-10-28 Sumitomo Electric Ind Ltd ストリーム送信装置、ストリーム送信方法およびストリーム送信プログラム
US20160182188A1 (en) * 2013-07-18 2016-06-23 Sumsung Electronics Co., Ltd. Apparatus and method for sending/receiving packet in multimedia communication system
JP2016092640A (ja) * 2014-11-06 2016-05-23 キヤノン株式会社 生成装置、生成方法及びプログラム

Also Published As

Publication number Publication date
JP6583171B2 (ja) 2019-10-02

Similar Documents

Publication Publication Date Title
JP7260687B2 (ja) 送信方法および送信装置
JP5086285B2 (ja) 映像配信システム,映像配信装置,及び同期補正処理装置
JP2023106456A (ja) 受信装置および受信方法
KR102523470B1 (ko) 데이터 처리 장치 및 데이터 처리 방법
JP6617809B2 (ja) 復号装置、復号方法、および復号用プログラム
WO2017092434A1 (zh) 音视频实时传输方法及装置、音视频实时播放方法及装置
JP6323534B2 (ja) 受信装置および受信方法
WO2017092433A1 (zh) 视频实时播放方法及装置
JP2014093584A (ja) 送信装置、送信方法、受信装置、受信方法およびコンピュータプログラム
JP6593423B2 (ja) 受信機器、および復号・提示方法
WO2018224839A2 (en) Methods and systems for generating a reaction video
JP6583171B2 (ja) Mmtコンテンツ作成装置および作成プログラム
JP2007324876A (ja) データ送信装置、データ受信装置、データ送信方法、データ受信方法、及びプログラム
JP5632711B2 (ja) 送信装置、受信装置及び伝送システム
JP5082715B2 (ja) 受信装置、受信方法およびコンピュータプログラム
CN110545447B (zh) 一种音视频同步的方法及装置
JP2010239433A (ja) 映像符号化装置、方法及びプログラム
JP2011176684A (ja) 送信装置、受信装置、通信システム、送信方法および変換方法
JP6359074B2 (ja) コンテンツ配信システム
JP6763439B2 (ja) 受信装置、送信装置、通信システム、受信方法、送信方法、通信方法、受信用プログラム、および送信用プログラム
Fernando MMT: the next-generation media transport standard
US9313253B2 (en) Communication apparatus, communication system, communication method, and program
JP2021005880A (ja) 受信装置、および通信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190819

R150 Certificate of patent or registration of utility model

Ref document number: 6583171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250