JP2004266599A - Transmitting side terminal and receiving side terminal - Google Patents
Transmitting side terminal and receiving side terminal Download PDFInfo
- Publication number
- JP2004266599A JP2004266599A JP2003055252A JP2003055252A JP2004266599A JP 2004266599 A JP2004266599 A JP 2004266599A JP 2003055252 A JP2003055252 A JP 2003055252A JP 2003055252 A JP2003055252 A JP 2003055252A JP 2004266599 A JP2004266599 A JP 2004266599A
- Authority
- JP
- Japan
- Prior art keywords
- synchronization signal
- delay transmission
- terminal
- transmission line
- variable delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Synchronizing For Television (AREA)
- Television Systems (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
この発明は、可変遅延伝送路を介して、映像、音声、その他のリアルタイムデータを伝送する通信システムに関するものである。
【0002】
【従来の技術】
インターネットのようなIPネットワークやATM(Asynchronous Transfer Mode)網は、網内の混み具合が時間的に変化するために、送受間の伝送遅延が変動する。すなわち遅延揺らぎが大きい、可変遅延伝送路である。一方、映像・音声等のリアルタイム性を必要とするリアルタイムデータの伝送においては、送信側端末と受信側端末の同期が必要となる。可変遅延伝送路を介して、リアルタイムデータを伝送するときに、この同期のための情報データも可変遅延伝送路を介して伝送すると、遅延揺らぎのために送受間の同期を維持することが困難になる。
【0003】
この問題に対する従来例としては、例えば特開平11−88305号公報がある。これは、同期のための信号情報を、可変遅延伝送路とは別の固定遅延伝送路にて送受信端末に供給する方式である。
【0004】
図8は、この特開平11−88305号公報に示された従来のリアルタイムデータ通信システムである。このシステムでは、送信側端末1と受信側端末2は、可変遅延伝送路3を介して接続されており、映像等のリアルタイムデータ6を送受する。
【0005】
また、同期信号発生源4から出力される同期信号7は、可変遅延伝送路3とは異なる固定遅延伝送路51および52で、送信側端末1と受信側端末2に入力される。
【0006】
この特開平11−88305号公報に記載の従来技術においては、同期信号発生源4としてBS放送衛星が、固定遅延伝送路51および52としてその放送電波が、同期信号7としてアナログテレビ映像の垂直同期信号が、リアルタイムデータ6として記録装置に保存されている映像データが、想定されている。
【0007】
次に、図9に示すタイムチャートを参照して、動作について説明する。図9は同期信号及びデータが転送されるタイミングを示した図で、横方向は時間の経過をあらわし、同期信号を白抜き矩形で、データが転送されている部分を斜線で示している。
【0008】
同期信号発生源4は、一定の周期で同期信号7を発生する(図9(a))。この同期信号7は、固定遅延伝送路51および52を経由して伝送され、送信側端末1および受信側端末2にて受信される(図9(b)、(d))。この時の伝送遅延は、固定遅延伝送路51と52でそれぞれ固定であるため、送信側端末1および受信側端末2で受信される同期信号7の時間間隔は、同期信号発生源4における時間間隔のまま維持される。
【0009】
送信側端末1は、受信した同期信号7に基づく一定の周期で、記録装置に保存されている映像データ1フレームを読み出し、データ6として可変遅延伝送路3経由で送信する(図9(c))。受信側端末2は、このデータ6を受信し、受信した同期信号7に基づく一定の周期で、モニタ画面上に映像出力する(図9(e))。
【0010】
送信側端末1は、一定周期t1でデータを出力しているが、受信側端末2では、可変遅延伝送路3の遅延揺らぎの影響により、送信側端末1が出力したタイミングに対してt2やt3などの可変遅延を持ってデータが入力されることとなる。従って、受信側端末2で受信されるデータの時間間隔は不均一になる。しかしながら、この受信データの映像出力を受信同期信号7のタイミングまで待ち合わせることにより、時間的に等間隔の映像出力が復元されるものである。
【0011】
なお、映像データは通常1/30秒で1フレームであり、上記想定例におけるt1も1/30秒となる。
【0012】
図8においては、同期信号発生源4は、送信側端末1と受信側端末2と分離されているが、送信側端末1あるいは受信側端末2の内部に同期信号発生源4を備えてもよい。
【0013】
【特許文献1】
特開平11−88305号公報
【0014】
【発明が解決しようとする課題】
ところで、上記従来技術には、同期周期よりも伝送遅延揺らぎが大きい場合に、リアルタイム性を維持できないという問題点がある。図10に示すタイムチャートを参照して、この問題点を説明する。図9と同様に、横方向は時間の経過をあらわし、同期信号を白抜き矩形で、データが転送されている部分を斜線で示している。
【0015】
図10においては、送信側端末1が送信したデータ6が受信側端末2で受信されるまでの遅延が図9よりも大きく揺らいでいるため、受信側端末2において、1同期周期内に複数フレーム分の映像データを受信したり、同期周期内に映像フレームを受信できなかったり、といった現象が発生する。このために、映像フレームの欠落やフレーム落ちが発生し、結果的にデータの連続性・等時性が損なわれる。即ち、リアルタイム性が維持できなくなる。
【0016】
逆にいえば、遅延揺らぎの大きさよりも同期周期が長くなければならないので、遅延揺らぎの大きい可変遅延伝送路では、より高い精度の同期周期を適用することができない。
【0017】
また、上記従来技術では特に言及されていないが、BS衛星放送等の電波には複数のチャンネルが含まれており、それらチャンネルでそれぞれテレビ映像が放送されている。送信側端末1と受信側端末2が、異なるチャンネルのテレビ映像から同期信号を受信すると、それら同期信号の周波数は完全に同一ではないため、いずれ送受信端末間の同期がとれなくなる。このように、送受信端末が参照する同期信号の同一性が保証されず、リアルタイムデータ通信が成立しない恐れがあった。
【0018】
この発明は,上記のような問題点を解決するためになされたもので、伝送遅延揺らぎの大きい可変遅延伝送路でも送受間で高精度の同期を維持することのできる送信側端末および受信側端末を提供することを目的とする。
【0019】
【課題を解決するための手段】
上記課題を解決するため、本発明では、送信側端末と受信側端末が、可変遅延伝送路を介して、同期信号を必要とするリアルタイムデータを送受するリアルタイムデータ通信システムにおける送信側端末において、前記可変遅延伝送路と、それとは別の固定遅延伝送路との両方で、前記同期信号を伝送することことを基本とする。また、送信側端末と受信側端末が、可変遅延伝送路を介して、同期信号を必要とするリアルタイムデータを送受するリアルタイムデータ通信システムにおける受信側端末において、前記可変遅延伝送路と、それとは別の固定遅延伝送路との両方で、前記同期信号を受信して前記リアルタイムデータを再生することを基本とする。
【0020】
【発明の実施の形態】
実施の形態1.
図1は、この発明の実施の形態1を示すシステム構成図である。
図1において、送信側端末1と受信側端末2は、可変遅延伝送路3を介して接続されており、映像等のリアルタイムデータ6を送受する。
【0021】
同期信号発生源4は、計数的同期信号71を発生する。計数的同期信号71は、可変遅延伝送路3とは異なる固定遅延伝送路51および52で、送信側端末1と受信側端末2に入力される。
【0022】
また、送信側端末1は、同期信号発生源4から受信した計数的同期信号71を、可変遅延伝送路3経由で受信側端末2に送信する。受信側端末2は、その計数的同期信号71を受信する。
【0023】
次に、図2に示すタイムチャートを参照して、動作について説明する。
図2は,同期信号及びデータが転送されるタイミングを示した図で、横方向は時間の経過をあらわし、計数的同期信号71を白抜き矩形で、データが転送されている部分を斜線で示している。計数的同期信号71には、その計数値を付記している。
【0024】
同期信号発生源4は、一定の周期で計数的同期信号71を発生する(図2(a))。この計数的同期信号71は、固定遅延伝送路51および52を経由して伝送され、送信側端末1および受信側端末2にて受信される(図2(b)、(d))。この時の伝送遅延は、固定遅延伝送路51と52でそれぞれ固定であるため、送信側端末1および受信側端末2で受信される計数的同期信号71の時間間隔は、同期信号発生源4における時間間隔のまま維持される。しかし、送信側端末1および受信側端末2は同期信号発生源4からの距離、すなわち固定遅延伝送路51,52をデータが通る時間が通常は異なるので、送信側端末1および受信側端末2で受信される計数的同期信号71の受信タイミングは、一定時間間隔でずれることになる。
【0025】
送信側端末1は、固定遅延伝送路51を介し同期信号発生源4から受信した計数的同期同期信号71に基づく一定の周期で、送信側端末1内外の記録装置(図示せず)に保存されている映像データ1フレームを読み出し、データ6として、計数的同期信号71とともに、可変遅延伝送路3経由で受信側端末2へ送信する(図2(c))。
【0026】
受信側端末2は、固定遅延伝送路51を介した同期信号発生源4からの計数的同期同期信号71を受信すると共に、可変遅延伝送路3を介した送信側端末1からのデータ6と計数的同期信号71とを受信する。
その際、受信側端末2は、固定遅延伝送路52から受信される計数的同期信号71を基準タイミングとして、その基準タイミングと可変遅延伝送路3から受信される計数的同期信号71との計数値比較に基づいて、データ6の処理を行う。具体的には、可変遅延伝送路3の最大遅延、固定遅延伝送路51の遅延時間、および固定遅延伝送路52の遅延時間を考慮して、例えば、可変遅延伝送路3から受信される計数的同期信号71の計数値に、+20のオフセットを加えた基準タイミングまで待ち合わせてから、映像出力を行うようにする(図2(e))。
【0027】
図2においても図10と同様に、送信側端末1が送信したデータ6が受信側端末2で受信されるまでの遅延は、同期周期以上に大きく揺らいでおり、受信側端末2において、1同期周期内に複数フレーム分の映像データを受信したり、同期周期内に映像フレームを受信できなかったり、といった現象が発生している。しかしながら、可変遅延伝送路3と固定遅延伝送路52から受信される計数的同期信号71を比較することにより、送信側端末1が送信したデータ6の時間間隔が正しく復元されるので、リアルタイム性が精度よく維持できる。
【0028】
つまり、上記の例では、可変遅延伝送路3から受信される計数的同期信号71の計数値に対し+20のオフセットとしたが、このオフセット値は、(可変遅延伝送路3の最大遅延)+(固定遅延伝送路51の遅延時間)−(固定遅延伝送路52の遅延時間)より大きな時間に相当する値が望ましい。この値が既知の場合は当該値を適用してもよい。そうでなければ、受信側端末2において、可変遅延伝送路3と固定遅延伝送路52から受信される計数的同期信号71の計数値を比較・監視することにより、動的に決定してもよい。なお、この(可変遅延伝送路3の最大遅延)+(固定遅延伝送路51の遅延時間)は、同期信号発生源4から送信側端末1へ伝送された計数的同期信号71が、固定遅延伝送路51と、可変遅延伝送路3とを介して受信側端末2へ到達しているので、これらでの遅延時間を求めることで求められる。
【0029】
なお、上記の例では、同期信号発生源4は一定の周期で計数的同期信号71を発生するものとして説明したが、必ずしも等間隔で発生しなくてもよい。送信側端末1や受信側端末2がPLL(Phase Locked Loop)等を用いた周波数再生機構を備えれば、非等間隔な計数的同期信号71から基準タイミングを再生できるからである。例えば、図2において計数値40の計数的同期信号71が抜けたとしても、計数値40に相当するタイミングは、計数値0〜計数値30までの時間の4/3倍の時刻であるというように、それまでの計数的同期信号71に基づいて判断できる。
【0030】
また、図2においては、同期信号発生源4は、送信側端末1と受信側端末2と分離されているが、送信側端末1あるいは受信側端末2の内部に同期信号発生源4を備えてもよいのは、前記従来例と同様である。ただし、同期信号発生源4を送信側端末1内に設ける場合には、固定遅延伝送路51がなくるので、上記のオフセット値は、(可変遅延伝送路3の最大遅延)−(固定遅延伝送路52の遅延時間)より大きな時間が望ましいことになる。また、同期信号発生源4を受信側端末2内に設ける場合には、固定遅延伝送路52がなくるので、上記のオフセット値は、(可変遅延伝送路3の最大遅延)+(固定遅延伝送路51の遅延時間)(可変遅延伝送路3の最大遅延)−(固定遅延伝送路52の遅延時間)より大きな時間が望ましいことになる。
【0031】
以上のように、本実施の形態1によれば、計数的同期信号71を、同期信号発生源4と受信側端末2間の固定遅延伝送路51経由だけでなく、送信側端末1と受信側端末2間の可変遅延伝送路3の両方で伝送するようにしたので、可変遅延伝送路3の伝送遅延揺らぎが大きい場合でも、受信側端末2では、可変遅延伝送路3における伝送遅延揺らぎによる遅延時間を考慮して、リアルタイムデータの再生に必要とする同期信号の再生タイミングを決定することができる。その結果、可変遅延伝送路3の伝送遅延揺らぎが大きい場合でも、送受間で高精度の同期を維持することのでき、リアルタイム性が維持できるリアルタイムデータ通信システムを得ることができる。
【0032】
実施の形態2.
以上の実施の形態1では、送信側端末1が記録装置に保存されている映像データを送信する場合を示したが、ライブ映像のような場合には、同期信号発生源4からの同期信号周期と映像フレーム周期の位相が一致しない。次にこのような場合の実施の形態を示す。
【0033】
図3は、この発明の実施の形態2を示すシステム構成図である。
図1との違いは、送信側端末1から受信側端末2に対し可変遅延伝送路3経由で転送される同期信号が、計数的相対同期信号72である点である。また、図3においては、送信側端末1および受信側端末2は、それぞれ周波数再生手段8を備える。
【0034】
次に、図4に示すタイムチャートを参照して、動作について説明する。
図4は同期信号及びデータが転送されるタイミングを示した図で、横方向は時間の経過をあらわし、計数的同期信号71および計数的相対同期信号72を白抜き矩形で、データが転送されている部分を斜線で示している。計数的同期信号71および計数的相対同期信号72には、その計数値を付記している。
【0035】
同期信号発生源4は、一定の周期で計数的同期信号71を発生する(図4(a))。この計数的同期信号71は、固定遅延伝送路51および52を経由して伝送され、送信側端末1および受信側端末2にて、時間間隔を維持して受信される(図4(b)、(d))。なお、上述したように、送信側端末1および受信側端末2は同期信号発生源4からの距離、すなわち固定遅延伝送路51,52をデータが通る時間が通常は異なるので、送信側端末1および受信側端末2で受信される計数的同期信号71の受信タイミングは、一定時間間隔でずれることになる。
【0036】
送信側端末1および受信側端末2は、受信した計数的同期信号71から、周波数再生手段8により、同期信号発生源4における計数値の歩進周波数を再生する。従って、計数的同期信号71を受信する合間の期間であっても、任意の時点において、その時点に相当する計数値を識別できる。例えば、計数値13に相当する時刻は、計数値10の計数的同期信号71を受信した時点から、3歩進周期を経過した時点である。この各時点に相当する計数値を、以下では再生計数値とよぶ。
【0037】
送信側端末1は、図示しない映像データ発生源(例えばビデオカメラ)から映像1フレームが発生すると、それをデータ6として可変遅延伝送路3経由で送信する。この時、当該映像フレームが発生した時点の再生計数値を、計数的相対同期信号72として、データ6に付随して送信する(図4(c))。
【0038】
受信側端末2は、このデータ6と計数的相対同期信号72を受信する。受信側端末2は、固定遅延伝送路52で受信される計数的同期信号71から周波数再生手段8によって再生した再生計数値を基準タイミングとして、可変遅延伝送路3から受信される計数的相対同期信号72とその基準タイミングとの計数値比較に基づいて、データ6の処理を行う。図4においては、可変遅延伝送路3から受信される計数的相対同期信号72の計数値に、例えば+17のオフセットを加えた基準タイミングまで待ち合わせてから、映像出力を行う(図4(e))。
【0039】
図4においても、送信側端末1が送信したデータ6が受信側端末2で受信されるまでの遅延は、同期周期以上に大きく揺らいでいるが、図2と同様に、送信側端末1で発生した映像フレームの時間間隔が正しく復元され、リアルタイム性が精度よく維持できる。
【0040】
なお、上記実施の形態2中の、オフセット値に関する議論、同期信号発生源4の信号発生間隔に関する議論については、実施の形態1と同様である。
【0041】
また、送信側端末1あるいは受信側端末2の内部に同期信号発生源4を備えるようにしてよいのも、実施の形態1と同様であるが、その場合同期信号発生源4を備える端末は周波数再生手段8を省略することができる。
【0042】
また、同期信号発生源4が、計数値歩進のたびに計数的同期信号71を発生するようにすれば、送信側端末1および受信側端末2の周波数再生手段8を省略することも可能である。
【0043】
また、上記例では、一定周期で定期的に発生する映像データを想定したが、不定期に発生するデータであっても、その発生時点の再生計数値を付随させればよいので、構わない。
【0044】
更に、上記例では、送信側端末が、映像データ発生と同時にデータ送信するものとして説明したが、データ発生時点の再生計数値を付随させれば、送信を適宜待ち合わせても構わない。
【0045】
以上のように、本実施の形態2によれば、同期信号発生源4からの計数的同期信号71を固定遅延伝送路51,52経由でそれぞれ送信側端末1および受信側端末2へ伝送するだけでなく、計数的同期信号71の計数値に対するデータ発生時点の相対的な計数値を、計数的相対同期信号72としてデータ6と共に可変遅延伝送路3を介し送信側端末1から受信側端末2へ伝送するようにしているので、同期信号周期と位相のずれたリアルタイムデータについて、可変遅延伝送路の伝送遅延揺らぎが大きい場合でも、送受間で高精度の同期を維持することのでき、リアルタイム性が維持できる通信システムを得ることができる。
【0046】
実施の形態3.
ところで、デジタル映像・音声の伝送方式として、MPEG System(国際規格ISO13818−1)があり、衛星放送やケーブルテレビ放送など、主に固定遅延伝送路を介した伝送に利用されている。
【0047】
MPEG Systemは、映像や音声等の個別メディアのデータを圧縮・符号化したMPEG個別ストリームを、MPEG多重化ストリームとして1本に多重化するための規格である。MPEG Systemの送信側端末と受信側端末は、それぞれSTC(System Time Clock)と呼ばれる計数値を備える。送信側端末は、自身のSTC値をSCR(System Clock Reference)あるいはPCR(Program Clock Reference)と呼ばれる同期信号として、MPEG多重化ストリームに挿入する。MPEG多重化ストリームを受信する受信側端末は、PLL等を用いた周波数再生機構にこのSCR/PCRを入力して、送信側端末のSTC歩進周波数を再生することで、送信側端末のSTC値を再生する。
【0048】
また、MPEG個別ストリームには、映像・音声フレームのような復号データ単位毎に、PTS(Presentation Time Stamp)あるいはDTS(Decode Time Stamp)と呼ばれる同期信号が付加される。これらの同期信号は、対応する復号データ単位の復号再生を実施すべきタイミングのSTC値を示す。
【0049】
実施の形態3として、本発明をMPEG多重化ストリームの伝送に適用した場合の実施の形態を示す。
【0050】
図5は、本発明の実施の形態3を示すシステム構成図である。
図5において、送信側端末1と受信側端末2は、可変遅延伝送路3を介して接続されており、MPEG多重化ストリーム61を送受する。
【0051】
同期信号発生源4はSTC発生器41を備え、そのSTC値としてSCR/PCR711発生する。SCR/PCR711は、固定遅延伝送路51および52で、それぞれ送信側端末1と受信側端末2に入力される。
【0052】
送信側端末1は、MPEG多重化器101を備える。MPEG多重化器101は、MPEG多重化ストリーム61に、同期信号発生源4から受信するSCR/PCR711を挿入し、可変遅延伝送路3へ送信する。
【0053】
受信側端末2は、可変遅延伝送路3から受信されるMPEG多重化ストリーム61を一時的に蓄積するバッファ201、バッファ201からMPEG多重化ストリーム61を読み出す読出制御部202、MPEG多重化ストリーム61を個別MPEGストリーム62に分離するMPEG分離器203、個別MPEGストリーム62を復号再生するMPEG復号器204を備える。
【0054】
受信側端末2において、固定遅延伝送路52経由で受信するSCR/PCR711は、読出制御部202に入力される。読出制御部202は、そのSCR/PCR711を基準タイミングとして、バッファ201からの読み出しを実行する。つまり、バッファ201内のMPEG多重化ストリーム61に挿入されているSCR/PCR711を読み出す時の基準タイミングが、その挿入されているSCR/PCR711に一定のオフセットを加えた値になるように、読み出し速度を調整する。
【0055】
本実施の形態3を実施の形態1と対比すると、MPEG多重化ストリーム61はデータ6に、SCR/PCR711は計数的同期信号71に該当する。
【0056】
以上のように、本実施の形態3によれば、可変遅延伝送路3と固定遅延伝送路52から受信されるSCR/PCR711を比較することにより、受信側端末2の読出制御部202の出力において、送信側端末1が送信したMPEG多重化ストリームが時間的に正しく復元される。
【0057】
上記オフセット値に関する議論、周波数再生機構の議論、および同期信号発生源4の分離・一体の議論は、実施の形態1と同様である。本実施の形態における周波数再生機構は、上記STC再生の手段に該当することになる。
【0058】
なお、上記例では、固定遅延伝送路51および52上のSCR/PCR711伝送形式を限定しなかったが、MPEG多重化ストリームの形式で伝送してもよいし、その他の形式でもよい。
【0059】
また、、上記例では、MPEG多重化ストリーム61にSCR/PCR711を挿入するものと想定して説明したが、MPEG多重化ストリーム61とSCR/PCR711の対応づけが可能であれば、それ以外の方法でもよい。例えば、可変遅延伝送路3がIPネットワークである場合には、TCP/IPプロトコルスタックのヘッダ領域に、SCR/PCR711、あるいはSCR/PCR711を一定の規則で変換した値を挿入するようにしても、同様の効果が得られる。一例として、RTP(Realtime Transport Protocol)のヘッダ領域に挿入したり、専用のプロトコルを設けてそのヘッダ領域に挿入することも考えられる。
【0060】
以上のように、本実施の形態3によれば、SCR/PCR711を、固定遅延伝送路51,52と可変遅延伝送路3の両方で伝送するようにしているので、可変遅延伝送路3の伝送遅延揺らぎが大きい場合でも、リアルタイム性が維持できるMPEG多重化ストリーム通信システムを得ることができる。
【0061】
実施の形態4.
本発明をMPEG多重化ストリームの伝送に適用した場合の、別の実施の形態を示す。
【0062】
図6は、本発明の実施の形態4を示すシステム構成図である。
図6において、送信側端末1と受信側端末2は、可変遅延伝送路3を介して接続されており、MPEG多重化ストリーム61を送受する。
【0063】
同期信号発生源4はSTC発生器41を備え、そのSTC値としてSCR/PCR711を発生する。SCR/PCR711は、固定遅延伝送路51および52で、送信側端末1と受信側端末2に入力される。
【0064】
送信側端末1は、MPEG多重化器101、MPEG符号器102、STC再生手段81を備える。同期信号発生源4から固定遅延伝送路51を介し受信するSCR/PCR711は、STC再生手段81に入力される。STC再生手段81は、前述のように再生STC712を再生する。MPEG符号器102は、この再生STC712を参照して、MPEG個別ストリーム62にPTS/DTS713を付加する。MPEG多重化器101は、MPEG符号器102からのMPEG個別ストリーム62を多重化してMPEG多重化ストリーム61を構成し、可変遅延伝送路3へ送信する。
【0065】
受信側端末2は、可変遅延伝送路3から受信されるMPEG多重化ストリーム61を個別MPEGストリーム62に分離するMPEG分離器203、MPEG個別ストリーム62を一時的に蓄積するバッファ201、バッファ201からMPEG個別ストリーム62を読み出す読出制御部202、MPEG個別ストリーム62を復号再生するMPEG復号器204を備える。また、STC再生手段81を備える。
【0066】
受信側端末2において、同期信号発生源4から固定遅延伝送路52を介し受信するSCR/PCR711は、STC再生手段81に入力される。STC再生手段81は前述のように再生STC712を再生する。再生STC712は、読出制御部202に入力される。読出制御部202は、その再生STC712を基準タイミングとして、バッファ201からの読み出しを実行する。つまり、バッファ201内のMPEG個別ストリーム62に含まれる復号データ単位を、その付加されているPTS/DTS713に一定のオフセットを加えた値と、再生STC712の値が一致した時点で読み出し、MPEG復号器204に供給する。
【0067】
本実施の形態4を実施の形態2と対比すると、MPEG多重化ストリーム61はデータ6に、SCR/PCR711は計数的同期信号71に、PTS/DTS713は計数的相対同期信号72に、STC再生手段81は周波数再生手段8に該当する。
【0068】
以上のように、本実施の形態4によれば、固定遅延伝送路52から受信されるSCR/PCR711からSTC再生手段81によって再生した再生STC712を基準タイミングとして、可変遅延伝送路3から受信されるPTS/DTS713とその再生STC712との比較に基づいて、復号データ単位の復号再生処理を行うので、送信側端末1で発生した映像・音声等の時間間隔が、受信側端末2において正しく復元される。
【0069】
なお、上記オフセット値に関する議論、周波数再生機構の議論、および同期信号発生源4の分離・一体の議論は、実施の形態2と同様である。また、固定遅延伝送路上のSCR/PCR伝送形式の議論は、実施の形態3と同様である。
【0070】
以上のように、本実施の形態4によれば、SCR/PCR711を固定遅延伝送路51,52で伝送し、PTS/DTS713を可変遅延伝送路3で伝送するようにしているので、本実施の形態4によっても、可変遅延伝送路3の伝送遅延揺らぎが大きい場合でも、リアルタイム性が維持できるMPEG多重化ストリーム通信システムを得ることができる。
【0071】
実施の形態5.
図7は、本発明の実施の形態5を示すシステム構成図である。
本実施の形態5では、送信側端末1と受信側端末2は同期信号選択手段91を備える。送信側端末1では、更に同期信号決定手段92を備え、同期信号決定手段92は同期信号選択手段91に同期信号選択情報93を通知する。同期信号決定手段92は、更に可変遅延伝送路3を介して、受信側端末2の同期信号選択手段91にも、同期信号選択情報93を通知する。これ以外は図8に示す従来技術のシステムと同じ構成である。
【0072】
同期信号決定手段92は、あるリアルタイムデータ通信について送信側端末1と受信側端末2が共通に参照すべき同期信号を決定し、当該同期信号を特定できる情報を同期信号選択情報93として、同期信号選択手段91に通知する。
【0073】
同期信号選択情報93としては、例えば、BS衛星放送・CS衛星放送・地上波放送・ケーブル放送など放送種別や、放送チャンネル番号あるいは搬送周波数、水平同期信号や垂直同期信号等の信号種別といった一組の情報で同期信号を特定することが考えられる。
【0074】
同期信号選択手段91は、同期信号選択情報93に従って、同期信号7を選択的に受信する。この選択は、具体的には例えば、放送受信アンテナの選択であったり、チューナーによる特定周波数への同調であったりする。
【0075】
送信側端末1および受信側端末2は、同期信号選択手段91が選択的に受信した同期信号7に基づいて、それぞれのリアルタイムデータ通信処理を実行する。
【0076】
図7においては、同期信号決定手段92を送信側端末1の内部に配置したが、特定のリアルタイム通信と同期信号選択情報との対応づけができる場所であれば、システム内の別の場所に配置してもよい。例えば、受信側端末2から開始するリアルタイム通信セッションであれば、受信側端末2内部に同期信号決定手段92を配置してもよい。
【0077】
以上のように、本実施の形態5によれば、送信側端末1と受信側端末2の両方に、同一の同期信号選択情報93を通知するように構成しているので、参照する同期信号の同一性が保証されるリアルタイムデータ通信システムを得ることができる。
【0078】
また、本実施の形態5と前記実施の形態1〜4を組合せたシステムを構成することも可能である。その場合、同期信号選択情報93は計数的同期信号71あるいはSCR/PCR711を特定できる情報である。特に、固定遅延伝送路上のSCR/PCR711伝送形式がMPEG多重化ストリームである場合には、当該MPEG多重化ストリームを特定するための放送種別(BS衛星放送・CS衛星放送・地上波放送・ケーブル放送など)、放送チャンネル(サービス)番号や、MPEG多重化ストリーム識別番号(Transport Stream Identifier)、PID(Program Identifier)といったMPEG System規定の識別子を組合せて特定することができる。
【0079】
【発明の効果】
以上のように本発明によれば、送信側端末と受信側端末が、可変遅延伝送路を介して、同期信号を必要とするリアルタイムデータを送受するリアルタイムデータ通信システムにおける送信側端末において、送信側では、可変遅延伝送路と、それとは別の固定遅延伝送路との両方で、前記同期信号を伝送することことを基本とし、受信側では、可変遅延伝送路と、それとは別の固定遅延伝送路との両方で、前記同期信号を受信して前記リアルタイムデータを再生することを基本としたので、、受信側端末では、可変遅延伝送路における伝送遅延揺らぎによる遅延時間を考慮して、リアルタイムデータの再生に必要とする同期信号の再生タイミングを決定することができる。その結果、可変遅延伝送路の伝送遅延揺らぎが大きい場合でも、送受間で高精度の同期を維持することのでき、リアルタイム性が維持できるリアルタイムデータ通信システムを得ることができる。これにより、同期信号周期と位相のずれたリアルタイムデータについても、同様の効果を得ることができる。また、例えば、MPEG等の多重化ストリームの伝送についても、同様の効果を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示すシステム構成図。
【図2】本発明の第1の実施の形態の動作を示すタイムチャート。
【図3】本発明の第2の実施の形態を示すシステム構成図。
【図4】本発明の第2の実施の形態の動作を示すタイムチャート。
【図5】本発明の第3の実施の形態を示すシステム構成図。
【図6】本発明の第4の実施の形態を示すシステム構成図。
【図7】本発明の第5の実施の形態を示すシステム構成図。
【図8】従来の通信システムの構成を示すシステム構成図。
【図9】従来の通信システムの動作を示すタイムチャート。
【図10】従来の通信システムの問題を示すタイムチャート。
【符号の説明】
1 送信側端末
2 受信側端末
3 可変遅延伝送路
4 同期信号発生源
51、52 固定遅延伝送路
7 同期信号
71 計数的同期信号
72 計数的相対同期信号
61 MPEG多重化ストリーム
711 SCR/PCR
713 PTS/DTS
92 同期信号決定手段
93 同期信号選択情報[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a communication system for transmitting video, audio, and other real-time data via a variable delay transmission path.
[0002]
[Prior art]
2. Description of the Related Art In an IP network such as the Internet or an ATM (Asynchronous Transfer Mode) network, the transmission delay between transmission and reception fluctuates because the degree of congestion in the network changes with time. That is, the variable delay transmission line has a large delay fluctuation. On the other hand, in transmission of real-time data such as video and audio that requires real-time performance, synchronization between the transmitting terminal and the receiving terminal is required. When transmitting real-time data via the variable delay transmission line, if information data for synchronization is also transmitted via the variable delay transmission line, it becomes difficult to maintain synchronization between transmission and reception due to delay fluctuation. Become.
[0003]
As a conventional example for this problem, there is, for example, Japanese Patent Application Laid-Open No. 11-88305. This is a method in which signal information for synchronization is supplied to a transmitting / receiving terminal via a fixed delay transmission line different from a variable delay transmission line.
[0004]
FIG. 8 shows a conventional real-time data communication system disclosed in Japanese Patent Application Laid-Open No. 11-88305. In this system, a
[0005]
The
[0006]
In the prior art described in Japanese Patent Application Laid-Open No. 11-88305, a BS broadcast satellite is used as a synchronizing
[0007]
Next, the operation will be described with reference to a time chart shown in FIG. FIG. 9 is a diagram showing the timing at which the synchronization signal and the data are transferred. The horizontal direction indicates the passage of time, the synchronization signal is indicated by a white rectangle, and the portion at which the data is transferred is indicated by hatching.
[0008]
The synchronization
[0009]
The transmitting
[0010]
The transmitting
[0011]
Note that the video data is usually 1/30 second and one frame, and t1 in the above assumed example is also 1/30 second.
[0012]
In FIG. 8, the synchronization
[0013]
[Patent Document 1]
JP-A-11-88305
[0014]
[Problems to be solved by the invention]
By the way, the above conventional technique has a problem that the real-time property cannot be maintained when the transmission delay fluctuation is larger than the synchronization cycle. This problem will be described with reference to a time chart shown in FIG. As in FIG. 9, the horizontal direction indicates the passage of time, the synchronization signal is indicated by a white rectangle, and the portion to which data is transferred is indicated by oblique lines.
[0015]
In FIG. 10, the delay until the
[0016]
Conversely, since the synchronization cycle must be longer than the magnitude of the delay fluctuation, a highly accurate synchronization cycle cannot be applied to a variable delay transmission line having a large delay fluctuation.
[0017]
Further, although not particularly mentioned in the above-mentioned conventional technology, a radio wave such as a BS satellite broadcast includes a plurality of channels, and television images are broadcast on these channels. When the transmitting
[0018]
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and a transmission terminal and a reception terminal capable of maintaining high-precision synchronization between transmission and reception even on a variable delay transmission line having large transmission delay fluctuation. The purpose is to provide.
[0019]
[Means for Solving the Problems]
In order to solve the above problems, in the present invention, the transmitting terminal and the receiving terminal, via a variable delay transmission line, in the transmitting terminal in a real-time data communication system that transmits and receives real-time data that requires a synchronization signal, Basically, the synchronization signal is transmitted through both a variable delay transmission line and another fixed delay transmission line. Also, in a receiving terminal in a real-time data communication system in which a transmitting terminal and a receiving terminal transmit and receive real-time data requiring a synchronization signal via a variable delay transmission path, the variable delay transmission path is different from the variable delay transmission path. Basically, the synchronous signal is received and the real-time data is reproduced on both of the fixed delay transmission path.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a system configuration
In FIG. 1, a transmitting
[0021]
The synchronization
[0022]
In addition, the transmitting
[0023]
Next, the operation will be described with reference to the time chart shown in FIG.
FIG. 2 is a diagram showing the timing at which the synchronization signal and the data are transferred. The horizontal direction indicates the passage of time, the numerical synchronization signal 71 is indicated by a white rectangle, and the portion at which the data is transferred is indicated by hatching. ing. The count value is added to the numerical synchronization signal 71.
[0024]
The synchronization
[0025]
The
[0026]
The receiving
At this time, the receiving
[0027]
In FIG. 2, similarly to FIG. 10, the delay until the
[0028]
That is, in the above example, the count value of the numerical synchronization signal 71 received from the variable
[0029]
In the above example, the synchronizing
[0030]
Further, in FIG. 2, the synchronization
[0031]
As described above, according to the first embodiment, the count synchronization signal 71 is transmitted not only via the fixed delay transmission line 51 between the synchronization
[0032]
In the above first embodiment, the case where the transmitting
[0033]
FIG. 3 is a system configuration
The difference from FIG. 1 is that the synchronization signal transferred from the
[0034]
Next, the operation will be described with reference to the time chart shown in FIG.
FIG. 4 is a diagram showing timings at which the synchronization signal and the data are transferred. The horizontal direction indicates the passage of time, and the count synchronization signal 71 and the count relative synchronization signal 72 are outlined rectangles. Are indicated by oblique lines. The count value is added to the count synchronization signal 71 and the count relative synchronization signal 72.
[0035]
The synchronization
[0036]
The transmitting
[0037]
When a video frame is generated from a video data generation source (for example, a video camera) (not shown), the transmitting
[0038]
The receiving
[0039]
In FIG. 4 as well, the delay until the
[0040]
Note that the discussion on the offset value and the discussion on the signal generation interval of the synchronization
[0041]
Also, the synchronization
[0042]
Further, if the synchronization
[0043]
Further, in the above example, video data that is generated periodically at a fixed period is assumed. However, even data that is generated at irregular intervals may be accompanied by the reproduction count value at the time of occurrence, so that it does not matter.
[0044]
Furthermore, in the above example, the transmitting terminal has been described as transmitting data at the same time as the generation of video data. However, if the reproduction count value at the time of data generation is appended, transmission may be appropriately delayed.
[0045]
As described above, according to the second embodiment, the count synchronization signal 71 from the synchronization
[0046]
By the way, there is an MPEG System (international standard ISO13818-1) as a digital video / audio transmission system, which is mainly used for transmission via a fixed delay transmission line such as satellite broadcasting and cable television broadcasting.
[0047]
The MPEG System is a standard for multiplexing MPEG individual streams obtained by compressing and encoding data of individual media such as video and audio into one MPEG multiplexed stream. The transmitting side terminal and the receiving side terminal of the MPEG System each have a count value called STC (System Time Clock). The transmitting terminal inserts its own STC value into the MPEG multiplexed stream as a synchronization signal called SCR (System Clock Reference) or PCR (Program Clock Reference). The receiving terminal that receives the MPEG multiplexed stream inputs the SCR / PCR to a frequency reproducing mechanism using a PLL or the like and reproduces the STC stepping frequency of the transmitting terminal, thereby obtaining the STC value of the transmitting terminal. To play.
[0048]
A synchronization signal called PTS (Presentation Time Stamp) or DTS (Decode Time Stamp) is added to the MPEG individual stream for each decoded data unit such as a video / audio frame. These synchronization signals indicate the STC value of the timing at which decoding and reproduction of the corresponding decoding data unit should be performed.
[0049]
As
[0050]
FIG. 5 is a system configuration diagram showing the third embodiment of the present invention.
In FIG. 5, a transmitting
[0051]
The synchronization
[0052]
The transmitting
[0053]
The receiving
[0054]
In the receiving
[0055]
When the third embodiment is compared with the first embodiment, the MPEG multiplexed stream 61 corresponds to the
[0056]
As described above, according to the third embodiment, by comparing the SCR / PCR 711 received from the variable
[0057]
The discussion on the offset value, the discussion on the frequency reproduction mechanism, and the discussion on the separation and integration of the
[0058]
In the above example, the transmission format of the SCR / PCR 711 on the fixed delay transmission lines 51 and 52 is not limited. However, the transmission format may be an MPEG multiplexed stream or another format.
[0059]
Further, in the above example, the description has been made assuming that the SCR / PCR 711 is inserted into the MPEG multiplexed stream 61. However, if the MPEG multiplexed stream 61 can be associated with the SCR / PCR 711, other methods may be used. May be. For example, when the variable
[0060]
As described above, according to the third embodiment, the SCR / PCR 711 is transmitted through both the fixed delay transmission lines 51 and 52 and the variable
[0061]
Another embodiment when the present invention is applied to the transmission of an MPEG multiplexed stream will be described.
[0062]
FIG. 6 is a system configuration diagram showing the fourth embodiment of the present invention.
In FIG. 6, a transmitting
[0063]
The synchronization
[0064]
The transmitting
[0065]
The receiving
[0066]
In the receiving
[0067]
When the fourth embodiment is compared with the second embodiment, the MPEG multiplexed stream 61 is used as the
[0068]
As described above, according to the fourth embodiment, the SCR / PCR 711 received from the fixed delay transmission line 52 is received from the variable
[0069]
The discussion on the offset value, the discussion on the frequency reproduction mechanism, and the discussion on the separation and integration of the
[0070]
As described above, according to the fourth embodiment, the SCR / PCR 711 is transmitted through the fixed delay transmission lines 51 and 52, and the PTS / DTS 713 is transmitted through the variable
[0071]
Embodiment 5 FIG.
FIG. 7 is a system configuration diagram showing Embodiment 5 of the present invention.
In the fifth embodiment, the transmitting
[0072]
The synchronization signal determining means 92 determines a synchronization signal to be commonly referred to by the transmitting
[0073]
As the synchronization signal selection information 93, for example, a set such as a broadcasting type such as BS satellite broadcasting, CS satellite broadcasting, terrestrial broadcasting, and cable broadcasting; It is conceivable that the synchronization signal is specified by the information of (1).
[0074]
The synchronization signal selection means 91 selectively receives the
[0075]
The transmitting
[0076]
In FIG. 7, the synchronization signal determination means 92 is arranged inside the
[0077]
As described above, according to the fifth embodiment, since the same synchronization signal selection information 93 is notified to both the transmitting
[0078]
It is also possible to configure a system in which the fifth embodiment is combined with the first to fourth embodiments. In this case, the synchronization signal selection information 93 is information that can specify the numerical synchronization signal 71 or the SCR / PCR 711. In particular, when the SCR / PCR711 transmission format on the fixed delay transmission path is an MPEG multiplexed stream, a broadcast type (BS satellite broadcast, CS satellite broadcast, terrestrial broadcast, cable broadcast) for specifying the MPEG multiplexed stream is used. ), A broadcast channel (service) number, an MPEG multiplexed stream identification number (Transport Stream Identifier), and a PID (Program Identifier) -specific identifier.
[0079]
【The invention's effect】
As described above, according to the present invention, a transmitting side terminal and a receiving side terminal transmit and receive a real time data requiring a synchronization signal via a variable delay transmission line. The basic concept is to transmit the synchronization signal on both a variable delay transmission line and a fixed delay transmission line different from the variable delay transmission line. On the receiving side, the variable delay transmission line and another fixed delay transmission line The basic principle is to receive the synchronization signal and reproduce the real-time data on both sides of the transmission path, so that the receiving terminal considers the delay time due to the transmission delay fluctuation in the variable delay transmission path, and , It is possible to determine the reproduction timing of the synchronization signal required for the reproduction of As a result, even when the transmission delay fluctuation of the variable delay transmission line is large, a highly accurate synchronization between transmission and reception can be maintained, and a real-time data communication system capable of maintaining real-time performance can be obtained. Thus, the same effect can be obtained for real-time data that is out of phase with the synchronization signal cycle. Also, for example, the same effect can be obtained for transmission of a multiplexed stream such as MPEG.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram showing a first embodiment of the present invention.
FIG. 2 is a time chart showing the operation of the first embodiment of the present invention.
FIG. 3 is a system configuration diagram showing a second embodiment of the present invention.
FIG. 4 is a time chart showing the operation of the second embodiment of the present invention.
FIG. 5 is a system configuration diagram showing a third embodiment of the present invention.
FIG. 6 is a system configuration diagram showing a fourth embodiment of the present invention.
FIG. 7 is a system configuration diagram showing a fifth embodiment of the present invention.
FIG. 8 is a system configuration diagram showing a configuration of a conventional communication system.
FIG. 9 is a time chart showing the operation of a conventional communication system.
FIG. 10 is a time chart showing a problem of a conventional communication system.
[Explanation of symbols]
1 sender terminal
2 Receiving terminal
3 Variable delay transmission line
4 Synchronous signal source
51, 52 Fixed delay transmission line
7 Sync signal
71 Counting synchronization signal
72 count relative synchronization signal
61 MPEG multiplexed stream
711 SCR / PCR
713 PTS / DTS
92 Synchronization signal determination means
93 Sync signal selection information
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003055252A JP2004266599A (en) | 2003-03-03 | 2003-03-03 | Transmitting side terminal and receiving side terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003055252A JP2004266599A (en) | 2003-03-03 | 2003-03-03 | Transmitting side terminal and receiving side terminal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004266599A true JP2004266599A (en) | 2004-09-24 |
Family
ID=33119316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003055252A Abandoned JP2004266599A (en) | 2003-03-03 | 2003-03-03 | Transmitting side terminal and receiving side terminal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004266599A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101748268B1 (en) * | 2015-11-09 | 2017-06-16 | 현대자동차주식회사 | Synchronization method of can communication and computer-readable medium storing program for executing the same |
-
2003
- 2003-03-03 JP JP2003055252A patent/JP2004266599A/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101748268B1 (en) * | 2015-11-09 | 2017-06-16 | 현대자동차주식회사 | Synchronization method of can communication and computer-readable medium storing program for executing the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2506570B1 (en) | Method and system for playing video information, and video information content | |
EP2728858B1 (en) | Receiving apparatus and receiving method thereof | |
JP3666625B2 (en) | Data recording method and data recording apparatus | |
JP4208398B2 (en) | Moving picture decoding / reproducing apparatus, moving picture decoding / reproducing method, and multimedia information receiving apparatus | |
JP6617809B2 (en) | Decoding device, decoding method, and decoding program | |
EP2955925A1 (en) | Method and system for multiplexed transport interface between demodulators (demods) and set-top-box (stb) system-on-chips (socs) | |
JP7120352B2 (en) | Switching method, IP retransmission system, IP retransmission device and control device | |
US6731658B1 (en) | Data recording method and data recording apparatus | |
JP2018182677A (en) | Information processing apparatus, information processing method, program, and recording medium manufacturing method | |
JP6593423B2 (en) | Receiving device and decoding / presentation method | |
US20050147175A1 (en) | Stream data communication system | |
JP4192766B2 (en) | Receiving apparatus and method, recording medium, and program | |
WO2013157220A1 (en) | Server, client device, data delivery method, and data delivery system | |
JP3893643B2 (en) | Signal multiplexing method and transmission signal generating apparatus using the same | |
WO2017082059A1 (en) | Information processing device, information processing method, and program | |
JP4689231B2 (en) | Transport stream switching device | |
JP2018182617A (en) | Information processing apparatus, information processing method, program, and recording medium manufacturing method | |
JPH11205789A (en) | Transmission rate converter of mpeg2 transport stream | |
JP2003348489A (en) | Broadcast receiver | |
JPH1141193A (en) | Data packet re-multiplexing method and re-multiplexer | |
KR20070008069A (en) | Appratus and method for synchronizing audio/video signal | |
JP2004266599A (en) | Transmitting side terminal and receiving side terminal | |
JP2001111610A (en) | Receiver for information data transmission system | |
JP2013223090A (en) | Server, client device, transmission method, program reproduction method, and distribution system | |
JP3978814B2 (en) | Transmitting apparatus and method, receiving apparatus, and transmitting apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040712 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20070914 |