JP4845709B2 - オーディオ・ビジュアル機器及びそのオーディオ・ビデオフレーム作成方法 - Google Patents

Description

本発明はオーディオ・ビジュアル機器及びそのオーディオ・ビデオフレーム作成方法に係わり、特に、再生時間が異なるビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを、多数のチャンネルを有するオーディオ・ビデオフレーム（AVフレーム）の所定チャンネルを用いて伝送するオーディオ・ビジュアル機器及びそのオーディオ・ビデオフレーム作成方法に関する。

・MOSTシステム
自動車向けオーディオビデオ（AV）伝送システムとして、MOST（MediaOriented SystemTransport）システムが提案されている。かかるMOSTシステムは、図１０に示すようにDVDプレーヤ１やモニター２，３、アンプ/オーディオプロセッサ４などのノードをバス線５でリング状に接続して構成され、１フレーム６０チャンネルを有するMOSTフレームがバス線５を介して転送されるようになっており、最大ノード数は６４、データの転送速度は２５Mbpsである。DVDプレーヤ１などのMOSTフレーム出力部は、DVDディスク等から取得したMPEGストリームのビデオパケットとオーディオパケットを順次MOSTフレームの所定チャンネルンに挿入してMOSTフレームを生成し、該MOSTフレームをバス線に出力し、モニター２，３やアンプ/オーディオプロセッサ４などが該MOSTフレームの所定のチャンネルからオーディオ、ビデオデータを取り込んで再生出力するようになっている。
MOSTシステムでは、オーディオとビデオのデータをDTCPで暗号化して保護したMPEGストリームとして伝送する方法が検討されている。しかし、オーディオとビデオを一本のMPEGストリームとして伝送すると，オーディオアンプ側にもDTCP解読機能とMPEGのデマックス機能，タイムスタンプ管理機能が必要となり、システムが複雑で高価となる。このため、ビデオを含むDTCPプロテクトMPEGストリームと、DTCPプロテクトしないオーディオのパケッタイズド・エレメンタリーストリーム(PES)をそれぞれ、MOSTフレームのオーディオ用チャンネル、ビデオ用のチャンネルで多重化して伝送する方法が提案されている。

・MOSTフレーム構成
図１１はかかる場合のMOSTフレームの構成図であり、MOSTフレームは６０チャンネル（CH0〜CH59）で構成され、サイズはサンプリング速度44.1kHzの場合は1/44.1μs、48ｋHzの場合は1/48μsであり、20数μsである。
最初の６チャンネル（CH0〜CH5)がオーディオ用チャンネルとして使用され、次の２６チャンネル（CH6〜CH31）がビデオ用チャンネルとして使用され、残りのチャンネルは別のオーディオ・ビデオデータを送信するために使用される。ビデオ用チャンネルは、ビットレートにより４種類の割り当て法があり、圧縮率が高くビットレートが小さい場合にはビデオ用として２チャンネル（CH6,CH7）を使用し、圧縮率が低くビットレートが大きい場合にはビデオ用として２６チャンネル（CH6〜CH31）を使用する。オーディオアンプやオーディオプロセッサはCH0〜CH5からPESオーディオデータを取得し、モニターは指定されたビデオ用チャンネルからMPEGストリーム（例えばMPEG-PS）を取得する。
・MPEGストリームにおけるPESの構成
図１２はMPEGストリームにおけるPES(Packetized Elementary Stream)の構成説明図である。PESは所定サイズ（2048バイト）のPESパケット（アクセスユニット）で構成され、各PESパケットはパケットヘッダHdrとES(Elementary Stream)データで構成され、パケットヘッダHdrには、PESパケットの再生出力時刻を指定する再生出力時刻管理情報PTS(Presentation Time Stamp)、復号器の復号開始時刻を指示する復号時刻管理情報DTS（Decoding Time Stamp）,受信側（復号側）のシステム時刻基準参照値SCR(System Clock Reference)が含まれている。SCRは受信側の時刻基準となるSTC（System Time Clock）の値を送信側（符号器側）が意図する時刻にセットするためのものであり、MPEG対応の受信装置はSTCがPTSに一致したときPESパケットを再生出力する。ESデータは固定時間のオーディオフレームを所定の圧縮方式によりデータ圧縮したものである。PESパケットからパディングパケットを破棄し、ESデータのみを連結するとエレメンタリーストリームESとなり、ESデータをデコードすると固定時間の非圧縮データ（オーディオフレーム）が得られる。

・従来技術の問題点
一旦オーディオとビデオの同期（AV同期）が確立された後であれば、オーディオフレームが連続していればデコードしたオーディオフレームを順次出力するだけでよく、何等のAV同期ずれの問題は発生しない。
ところで、DVD-V規格では二つのMPEG-PSを連結するためのビデオオブジェクト（VOB）シームレス接続方法が規定されている。このシームレス接続において、アクセスユニットである１オーディオフレームのサイズ（時間幅）Taと１ビデオフレームのサイズTvが異なるため、オーディオフレーム間にギャップ（オーディオギャップ）が発生する。オーディオフレームサイズTaは数ms~数十msであり、ビデオフレームサイズTvは１/30sec（=33.3msec）である。
図１３はオーディオギャップ発生の説明図である。図１３（A）に示すように、ビデオを連続させるために、前側のMPEG-PSのビデオフレームVF1の末尾と後側のMPEG-PSのビデオフレームVF2の先頭がシームレス接続される。この結果、前側のMPEG-PSのオーディオフレームAF1の末尾と後側のMPEG-PSのオーディオフレームAF2の間にオーディオギャップGPaが発生する。このオーディオギャップGPaの発生箇所に図１３（B）に示すように無音のオーディオフレームを挿入すると、GPa≠Ta（図ではGPa<Ta）であるため、オーディオとビデオ間に同期ズレが発生する。この場合、オーディオギャップGPaがオーディオフレームの時間Taの整数倍であれば、該整数個の無音のオーディオフレームを挿入するだけで簡単にAV同期を維持できる。しかし、上記シームレス接続方法では、オーディオギャップGPaをオーディオフレームの時間Taの整数倍にしなければならないとは何ら規定されていない。

MPEG-PSストリームが記録されるDVDディスクでは、オーディオギャップGPaの時間分、前述のPTS値を用いてオーディオフレームAF2を再生出力しないようにして、オーディオとビデオ間に同期ズレが発生しないようにしている。すなわち、オーディオフレームAF2のPTS値を通常値よりオーディオギャップ分増加し、ギャップ発生によるオーディオフレーム出力開始タイミングを調整してAV同期を維持する。しかし、MOSTフレームを受信して再生するオーディオアンプはMPEG-PSに対応しておらずPTS値を用いたオーディオフレーム出力開始タイミングの調整ができない。
図１３は後側のMPEG-PSのビデオフレームVF2とオーディオフレームAF2の先頭が一致する場合であるが、図１４に示すように一致しない場合もある。かかる場合にも図１３と同様にAV同期を維持する必要がある。
第１の従来技術として、ヌルパケットを挿入してAV同期を確立する方法がある（特許文献１）。この第1従来技術は、接続する後側のストリームの先頭において、ビデオと比較して再生時刻が先行するオーディオパケットをヌルパケットで置換し、前側のストリームの末尾において無音パケットを追加することによりAV同期を確立するものである。
第２従来技術として、ビデオストリームとオーディオストリームの処理単位の違いから生じるオーディオギャップを無音オーディオフレームで埋める方法がある（特許文献２）。
特開２００４−１０４７２８号 特開平１１−１１２９４４号

第１従来技術は、オーディオパケットをヌルパケットで置換するものであり、音質上問題がある。又、第1従来技術は無音パケットを挿入するものであり、無音パケット幅より短いギャップに対応できない問題がある。第２従来技術はオーディオギャップを無音オーディオフレームで埋めるものであり、オーディオフレームより短いギャップに対応できない問題がある。
以上より、従来は、２つのMPEG-PSを接続する場合に発生するオーディオフレーム幅より短いギャップに対応できず、AV同期を維持できない問題がある。
本発明の目的は、２つのMPEG-PSをシームレス接続する際に接続部にオーディオフレーム幅より短いギャップが発生してもAV同期を維持できるようにすることである。
本発明の別の目的は、MOSTフレームを伝送するMOSTシステムにおいて、２つのMPEG-PSをシームレス接続する際に、接続部にオーディオフレーム幅より短いオーディオギャップが発生してもAV同期を維持できるようにすることである。
本発明の別の目的は、スキップ動作によりスキップ元とスキップ先の２つのMPEG-PSを接続する際に、接続部にオーディオフレーム幅より短いオーディオギャップが発生してもAV同期を維持できるようにすることである。

・オーディオ・ビデオフレーム作成方法
本発明は、再生時間が異なるビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを、多数のチャンネルを有するオーディオ・ビデオフレーム（AVフレーム）の所定チャンネルを用いて伝送するオーディオ・ビジュアル機器のオーディオ・ビデオフレーム作成方法である。
第１のオーディオ・ビデオフレーム作成方法は、第１、第２のデータストリームがシームレスに接続されてなるデータストリームが入力されたとき、接続部におけるオーディオギャップ長を求める第１ステップ、前記オーディオギャップ長に相当するAVフレーム数Nを算出する第２ステップ、第１のデータストリームの最後のオーディオフレームの末尾部分を含むAVフレーム以降に続くＮ個のAVフレームのオーディオ用チャンネルで無音を意味する所定のデータパターンを伝送し、以降のAVフレームのオーディオ用チャンネルで第２のデータストリームのオーディオフレームを連続して伝送し、かつ、第１、第２のデータストリームのビデオフレームを各AVフレームのビデオ用チャンネルで連続して伝送する第３ステップを有し、前記データストリームはビデオフレームとオーディオフレームをパケット化して多重して構成され、オーディオパケットヘッダが該オーディオフレームを再生して出力する時刻（再生出力時刻）PTSを含んでいるとき、前記第１ステップは、再生出力時刻PTSの時間間隔が一定時間間隔より大きくなったとき、該一定時間間隔との差を前記オーディオギャップ長として求める。
第２のオーディオ・ビデオフレーム作成方法は、AVフレームを生成してAVバス線に出力中において、スキップが指示されたとき、スキップ元のデータストリームとスキップ先のデータストリームをシームレス接続する際に発生するオーディオギャップ長を求める第１ステップ、前記オーディオギャップ長に相当するAVフレーム数Nを算出する第２ステップ、スキップ元のオーディオフレームの末尾部分を含むAVフレーム以降に続くＮ個のAVフレームのオーディオ用チャンネルで無音を意味する所定のデータパターンを伝送し、以降のAVフレームのオーディオ用チャンネルでスキップ先のデータストリームのオーディオフレームを連続して伝送し、かつ、スキップ元及びスキップ先のビデオフレームを各AVフレームのビデオ用チャンネルで連続して伝送する第３ステップを有し、第１ステップにおいて、スキップ元のオーディオフレームの末尾がビデオフレームの末尾より時間的に等しいか、あるいは前に位置している場合において、該両方の末尾の時間間隔をＡ、スキップ先のビデオフレームの先頭がオーディオフレームの先頭より時間的に等しいか、前に位置している場合において、該両方の先頭の時間間隔をＢとするとき、時間間隔の和(Ａ＋Ｂ）を前記オーディオギャップ長として算出する。

・オーディオ・ビジュアル機器
本発明は再生時間が異なるビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを、多数のチャンネルを有するオーディオ・ビデオフレーム（AVフレーム）の所定チャンネルを用いて伝送するオーディオ・ビジュアル機器である。
第１のオーディオ・ビジュアル機器は、第１、第２のデータストリームがシームレスに接続されてなるデータストリームを受信するデータストリーム受信部、シームレス接続部におけるオーディオギャップ長を求めるオーディオギャップ長取得部、ビデオフレームとオーディオフレームを夫々オーディオ用チャンネルとビデオ用チャンネルで伝送するためのAVフレームを生成するAVフレーム生成部、前記オーディオギャップ長に相当するAVフレーム数Nを算出し、第１のデータストリームの最後のオーディオフレームの末尾部分を含むAVフレーム以降に続くＮ個のAVフレームのオーディオ用チャンネルで無音を意味する所定のデータパターンを伝送し、以降のAVフレームのオーディオ用チャンネルで第２のデータストリームのオーディオフレームを連続して伝送し、かつ、第１、第２のデータストリームのビデオフレームを各AVフレームのビデオ用チャンネルで連続して伝送するよう、前記AVフレーム生成部を制御する制御部を有し、前記データストリームはビデオフレームとオーディオフレームをパケット化して多重して構成され、オーディオパケットヘッダが該オーディオフレームを再生して出力する時刻（再生出力時刻）PTSを含んでいるとき、前記オーディオギャップ長取得部は、再生出力時刻PTSの時間間隔が一定時間間隔より大きくなったとき、該一定時間間隔との差を前記オーディオギャップ長として算出する。
第２のオーディオ・ビジュアル機器は、再生位置をスキップするスキップを指示するスキップ指示部、ビデオフレームとオーディオフレームを夫々オーディオ用チャンネルとビデオ用チャンネルで伝送するためのAVフレームを生成するAVフレーム生成部、前記AVフレーム生成部が、AVフレームを生成してAVバス線に出力中において、スキップが指示されたとき、スキップ元のデータストリームとスキップ先のデータストリームをシームレス接続する際に発生するオーディオギャップ長を求めるオーディオギャップ長取得部、前記オーディオギャップ長に相当するAVフレーム数Nを算出し、スキップ元のオーディオフレームの末尾部分を含むAVフレーム以降に続くＮ個のAVフレームのオーディオ用チャンネルで無音を意味する所定のデータパターンを伝送し、以降のAVフレームのオーディオ用チャンネルでスキップ先のデータストリームのオーディオフレームを連続して伝送し、かつ、スキップ元及びスキップ先のビデオフレームを各AVフレームのビデオ用チャンネルで連続して伝送するよう、前記AVフレーム生成部を制御する制御部を有し、前記オーディオギャップ長取得部は、スキップ元のオーディオフレームの末尾がビデオフレームの末尾より時間的に等しいか、あるいは前に位置している場合において、該両方の末尾の時間間隔をＡ、スキップ先のビデオフレームの先頭がオーディオフレームの先頭より時間的に等しいか、あるいは前に位置している場合において、該両方の先頭の時間間隔をＢとするとき、時間間隔の和(Ａ＋Ｂ）を前記オーディオギャップ長として算出する。

本発明によれば、第１、第２のデータストリームがシームレスに接続されてなるデータストリームが入力されたとき、接続部におけるオーディオギャップ長を求め、該オーディオギャップ長に相当するMOSTフレーム（AVフレーム）数Nを算出し、第１のデータストリームの最後のオーディオフレームの末尾部分を含むMOSTフレーム以降に続くＮ個のMOSTフレームのオーディオ用チャンネルで無音を意味する所定のデータパターンを伝送する。MOSTフレームの時間幅は短く、30μsec以下であるため、オーディオギャップに無音MOSTフレームを挿入することにより正確にオーディオギャップの開始、終了をMOST対応のアンプやオーディオプロセッサに認識させることができ、しかも、AV同期を正しく維持することができる。
本発明によれば、データストリームはビデオフレームとオーディオフレームをパケット化して多重して構成され、オーディオパケットヘッダが該オーディオフレームを再生して出力する時刻（再生出力時刻）PTSを含んでいるときは、再生出力時刻PTSの時間間隔が一定時間間隔より大きくなったことを検出し、該一定時間間隔との差を前記オーディオギャップ長として求めるようにしたから、簡単な方法でオーディオギャップの開始位置、ギャップ長を求めることができる。
本発明によれば、スキップが指示されたとき、スキップ元のデータストリームとスキップ先のデータストリームをシームレス接続する際に発生するオーディオギャップ長を求め、該オーディオギャップ長に相当するMOSTフレーム数Nを算出し、スキップ元のオーディオフレームの末尾部分を含むMOSTフレーム以降に続くＮ個のMOSTフレームのオーディオ用チャンネルで無音を意味する所定のデータパターンを伝送する。MOSTフレームの時間幅は短く、30μsec以下であるため、スキップ時に生じるオーディオギャップに無音MOSTフレームを挿入することにより正確にオーディオギャップの開始、終了位置をMOST対応のアンプやオーディオプロセッサに認識させることができ、しかも、AV同期を正しく維持することができる。

（Ａ）本発明の概略
図１は本発明の概略説明図である。
第１、第２のデータストリームがシームレスに接続されてなるデータストリームが入力されたとき、接続部におけるオーディオギャップ長GPaを求め、該オーディオギャップ長に相当するMOSTフレーム数N(図ではN=1)を求める。データストリームがMPEGストリームの場合、オーディオフレームを再生して出力する時刻（再生出力時刻）PTSを含んでいるから、この再生出力時刻PTSの時間間隔が一定時間間隔より大きくなったとき、該一定時間間隔との差をオーディオギャップ長として求めることができる。
ついで、第１のデータストリームの最後のオーディオフレーム１１の末尾部分を含むMOSTフレーム１１aの後に続くＮ個のMOSTフレーム１３のオーディオ用チャンネルで無音を意味する所定のデータパターン(無音パターンで例えばオール0のパターン)を伝送する。そして、MOSTフレーム１３以降のMOSTフレーム１２a，１２b,….のオーディオ用チャンネルで第２のデータストリームを形成するオーディオフレーム１２のPESオーディオデータを連続して伝送する。
なお、各MOSTフレーム１１a，１３，１２a，１２b,….のビデオ用チャンネルで第１、第２のデータストリームのビデオストリーム（MPEG-PS）を連続して伝送する。
図１(Ｂ)の(１)はオーディオギャップGPaがMOSTフレームの１個分の長さTmfの場合であり、１個のMOSTフレームに無音パターンが挿入される。(２)はオーディオギャップGPaがMOSTフレームの２個分の長さ２×Tmfの場合であり、２個のMOSTフレームに無音パターンが挿入される。（３）はオーディオギャップGPaがMOSTフレームのn個分の長さn×Tmfの場合であり、n個のMOSTフレームに無音パターンが挿入される。

（Ｂ)第１実施例
図２は第１実施例のオーディオ・ビジュアル機器の構成図であり、DVDプレーヤがディスクから読み取ったMPEG-PSデータストリームが入力されている場合を示している。
分離部２０はMPEG-PSデータストリームよりビデオパケットとオーディオパケットを分離し、それぞれをビデオバッファ２１、オーディオバッファ２２に格納する。トランスコード部２３は図示しないデコーダでビデオデータをデコード後、指定されたビットレートでエンコードし、多重部２４はエンコードされたビデオデータやサブピクチャSP、ハイライト、OSDなどを多重し、暗号化部２５は多重データにDTCP暗号化処理してMOST多重部２６に入力する。パケット化部２７はオーディオESデータをオーディオPESに加工してMOST多重部２６に入力する。

STC発生部２８はMPEG-PSデータストリームに含まれているSCR(System Clock Reference)を入力され、時刻基準となるSTC（System Time Clock）を発生する。ギャップ検出部２９はオーディオ用の再生出力時刻PTS(A-PTS)の時間間隔が一定時間間隔より大きくなったとき、該一定時間間隔との差をオーディオギャップ長として求める。図３はオーディオギャップ長取得方法の説明図である。オーディオフレームサイズ(時間幅)を５msecとすれば、図３(Ａ)に示すように各PESパケットのヘッダに含まれる再生出力時刻A-PTSは５msec刻みで増加する。しかし、オーディオギャップを挿入する必要がある場合、該オーディオギャップ長を２msecとすれば、図３(Ｂ)に示すようにオーディオギャップを挿入するPESパケット１５の再生出力時刻A-PTSは１７msecになる。このため、PESパケット１５とその前のPESパケット１４の再生出力時刻A-PTS（＝１０msec）との間隔が７msecとなり、５msec刻みでなくなる。ギャップ検出部２９は再生出力時刻A-PTSが５msecでなく、7msecなったとき、2(=７−5) msecのオーディオギャップが存在すると判断する。AV同期制御部３０はオーディオ、ビデオの両再生出力時刻A-PTS、V-PTSを監視し、オーディオ、ビデオが同期するようにMOST多重部２６を制御する。これにより、MOST多重部２６はMOSTフレームを順次生成して１本のMOST−AVストリームとしてMOSTバスに送出する。
また、AV同期制御部３０はギャップ検出部２９からオーディオギャップ検出及びギャップ長が入力すると、オーディオギャップ長に相当するMOSTフレーム数Nを算出し、N個の無音パターンを有するMOSTフレームを出力するようMOST多重部２６を制御する。MOST多重部２６はAV同期制御部３０の制御により、ギャップ前の第１のデータストリームの最後のオーディオフレーム１１a(図１参照)の末尾部分を含むMOSTフレーム以降に続くＮ個のMOSTフレーム１３のオーディオ用チャンネルで無音パターンを伝送し、以降のMOSTフレーム１２a，１２b，…のオーディオ用チャンネルでギャップ後の第２のデータストリームのオーディオフレーム１２を連続して伝送する。また、MOST多重部２６はAV同期制御部３０の制御により、第１、第２のデータストリームのビデオフレームを全MOST フレーム１１a，１３，１２a，１２b,….のビデオ用チャンネルで連続して伝送する。なお、図２において３１はチャプタースキップなどの各種操作コマンドを入力する操作部である。

図４は図２のオーディオ・ビジュアル機器の処理フローである。
ギャップ検出部２９はオーディオ用のPTS(A-PTS)を抽出し(ステップ１０１)、オーディオギャップが存在するかチェックする(ステップ１０２)。AV同期制御部３０はオーディオギャップが存在しなければ、MOSTフレームのオーディオチャンネルに無音パターン("０"パターン)を挿入せず、オーディオ、ビデオの両再生出力時刻A-PTS、V-PTSを監視し、オーディオ、ビデオが同期するようにMOST多重部２６を制御する(ステップ１０３)。
一方、ステップ１０２においてギャップが存在すれば、ギャップ検出部２９はギャップ長を算出し、AV同期制御部３０に入力する(ステップ１０４)。AV同期制御部３０はギャップ長が入力すると、ギャップ長に相当するMOSTフレーム数Nを算出し、無音パターンを有するN個のMOSTフレームを出力するようMOST多重部２６を制御する(ステップ１０５)。

図５はMOST対応アンプの構成図である。MOST分離部４１は受信MOSTフレームよりMPEG−PSとＰＥＳオーディオデータを分離し、MOSTビデオ処理部４２は所定のMOSTビデオ処理を行って映像を再生してモニター４３に表示する。オーディオ側の無音パターン検出部４４はMOSTフレームにより伝送されてくる無音パターンの検出動作を行ない、オーディオデータ通過制御部４５は無音パターンでなければPESオーディオデータをMOSTオーディオ処理部４６に入力し、無音パターンであればMOSTオーディオ処理部４６に何も入力しない。MOSTオーディオ処理部４６は入力されたPESオーディオデータの圧縮を復号してPCMオーディオデータを発生してオーディオ回路４７に入力する。オーディオ回路４７は入力されたPCMオーディオデータをアナログに変換すると共に、所定のオーディオ処理を施してスピーカ４８から音を発生する。
以上第１実施例によれば、２つのMPEG-PSをシームレス接続する際に接続部にオーディオフレーム幅より短いギャップが発生してもAV同期を正確に維持できる。また、MOSTフレームを伝送するMOSTシステムにおいて、２つのMPEG-PSをシームレス接続する際、接続部にオーディオフレーム幅より短いオーディオギャップが発生しても、無音パターンのMOSTフレームを挿入することによりAV同期を正確に維持することが可能になる。

（Ｃ）第２実施例
第１実施例は、第１、第２のデータストリームがシームレスに接続されてなるデータストリームが入力されたとき、接続部におけるオーディオギャップ長GPaを求め、該オーディオギャップ長に相当する数の無音MOSTフレームを挿入する。
ところで、再生中に、再生位置をスキップするスキップ動作、例えばチャプタースキップを行なう場合にも、オーディオギャップ長が発生する。すなわち、スキップが指示されたとき、スキップ元のデータストリームとスキップ先のデータストリームをシームレス接続する際にオーディオギャップが発生する。第２実施例は、このスキップ元のデータストリームとスキップ先のデータストリームをシームレス接続する際に生じるオーディオギャップ長を求め、該オーディオギャップ長に相当する数の無音MOSTフレームを挿入する。

図６（Ａ）は連続再生時におけるMOSTストリームの説明図であり、(１)はMPEGストリームによるビデオフレーム（ビデオアクスユニット）とオーディオフレーム（オーディオアクセスユニット）がオーディオ・ビジュアル機器へ連続入力する例であり、（２）はオーディオ、ビデオアクセスユニットがMOSTフレームのオーディオチャンネル、ビデオチャンネルにマッピングされてオーディオ・ビジュアル機器からMOSTバスへ連続して転送される例である。図６（Ｂ）はスキップ説明図であり、ビデオACSUn／オーディオACSUｍを再生中に矢印Ａで示すスキップ動作が指示された場合である。かかるスキップにおいて、アクセスユニットのデータ送信を途中で中断すると、受信側において途中までの乱れた映像や音声を出してしまう。そこで、送信中のアクセスユニットはすべて送信完了してから、スキップ先のアクセスユニットの送信を始める。図６（Ｂ）の例では、ビデオACSUnとオーディオACSUｍを送信してから、スキップ先のビデオACSUtとオーディオACSUsを送信する。このとき、MOSTフレームへのデータマッピングは図７に示すようになる。すなわち、スキップが指示によりスキップ元のデータストリームとスキップ先のデータストリームをシームレス接続する際、スキップ元のオーディオACSUｍとビデオACSUnの末尾の時間間隔がオーディオギャップGPaとして発生する。
このため、第２実施例では、オーディオギャップGPaに対応するビデオACSUnを転送するMOSTフレーム１６のオーディオチャンネルには無音パターンを挿入する。

図８（A）はスキップ時のオーディオギャップGPaの別の説明図であり、スキップ元のデータストリームとスキップ先のデータストリームをシームレス接続すると接続部にオーディオギャップGPaが発生する。第２実施例では、このオーディオギャップGPaに相当するMOSTフレーム数Nを求め、N個のMOSTフレームに無音パターンを挿入してAV同期を維持する。以上ではスキップ先で、ビデオオーディオACSUの先頭とオーディオASCUの先頭が一致する場合であるが、図８（Ｂ）に示すようにビデオオーディオACSUの先頭とオーディオASCUの先頭が一致しない場合もある。この場合、オーディオギャップ長は、スキップ元のギャップ長Ａとスキップ先のギャップ長Ｂの和になる。なお、スキップ先のビデオASCUtは先頭から再生し、該ビデオASCUtの先頭から直後のオーディオASCUsの先頭までは無音にする。

図９は第２実施例のＡＶ同期維持制御処理フローであり、ハードウェア構成は図２と同じである。
操作部３１よりスキップが指示されると（ステップ２０１）、ＡＶ同期制御部３０は、
スキップ元の現ビデオACSUｎの終了時刻（V-TIME）と現オーディオACSUmの終了時刻（A-TIME）を、再生出力時刻A-PTS、V-PTS及びオーディオフレームサイズTa、ビデオフレームサイズTvに基づいて計算する(ステップ２０２，２０３)。
ついで、ＡＶ同期制御部３０は、V-TIME≧A-TIMEであるかチェックし（ステップ２０４）、V-TIME＜A-TIMEであれば、次のビデオACSUｎ+1の終了時刻をV-TIMEとする（ステップ２０５）。しかる後、あるいは、ステップ２０４で「YES」の場合、ＡＶ同期制御部３０は(V-TIME−A-TIME A)をスキップ元のギャップ長Ａとする（ステップ２０６）。
ついで、ＡＶ同期制御部３０は、スキップ先のビデオASCUtの先頭時刻（V′-TIME）と、該ビデオASCUtの先頭より直後に存在する最初のオーディオASCUsの先頭時刻（A′-TIME）を取得し（ステップ２０７、２０８）、(A′-TIME−V′-TIME )をスキップ先のギャップ長Ｂとする（ステップ２０9）。
最後にＡＶ同期制御部３０は、ギャップ長（Ａ＋Ｂ）に相当するMOSTフレーム数Nを算出し、無音パターンを有するN個のMOSTフレームを出力するようMOST多重部２６を制御する(ステップ２１０)。
第２実施例によれば、スキップ動作によりスキップ元とスキップ先の２つのMPEG-PSを接続する際に、接続部にオーディオギャップが発生してもAV同期を確実に維持することができる。また、該オーディオギャップ長がオーディオフレーム幅より短い場合であっても正確にAV同期を維持することができる。
以上の実施例ではＭＯＳＴシステムについて本発明を適用した場合について説明したが、本発明はＭＯＳＴシステムだけでなく類似したシステムにも適用できるものである。

本発明の概略説明図である。 第１実施例のオーディオ・ビジュアル機器の構成図である。 オーディオギャップ長取得方法の説明図である。 オーディオ・ビジュアル機器の処理フローである。 MOST対応アンプの構成図である。 連続再生時におけるMOSTストリームの説明図である。 スキップ動作説明図である。 スキップ時におけるオーディオギャップGPaの説明図である。 第２実施例のＡＶ同期維持制御処理フローである。 MOSTシステムの説明図である。 MOSTフレームの構成図である。 PESの構成説明図である。 オーディオギャップ発生の説明図である。 オーディオギャップ発生の別の説明図である。

符号の説明

２０ 分離部
２１ ビデオバッファ
２２ オーディオバッファ
２３ トランスコード部
２４ 多重部
２５ 暗号化部
２６ MOST多重部
２７ パケット化部
２８ STC発生部
２９ ギャップ検出部
３０ AV同期制御部
３１ 操作部

Claims (4)

1. 再生時間が異なるビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを、多数のチャンネルを有するオーディオ・ビデオフレーム（AVフレーム）の所定チャンネルを用いて伝送するオーディオ・ビジュアル機器のオーディオ・ビデオフレーム作成方法において、
   第１、第２のデータストリームがシームレスに接続されてなるデータストリームが入力されたとき、接続部におけるオーディオギャップ長を求める第１ステップ、
   前記オーディオギャップ長に相当するAVフレーム数Nを算出する第２ステップ、
   第１のデータストリームの最後のオーディオフレームの末尾部分を含むAVフレーム以降に続くＮ個のAVフレームのオーディオ用チャンネルで無音を意味する所定のデータパターンを伝送し、以降のAVフレームのオーディオ用チャンネルで第２のデータストリームのオーディオフレームを連続して伝送し、かつ、第１、第２のデータストリームのビデオフレームを各AVフレームのビデオ用チャンネルで連続して伝送する第３ステップ、
   を有し、前記データストリームはビデオフレームとオーディオフレームをパケット化して多重して構成され、オーディオパケットヘッダが該オーディオフレームを再生して出力する時刻（再生出力時刻）PTSを含んでいるとき、
   前記第１ステップは、再生出力時刻PTSの時間間隔が一定時間間隔より大きくなったとき、該一定時間間隔との差を前記オーディオギャップ長として求める、
   ことを特徴とするオーディオ・ビデオフレーム作成方法。
2. 再生時間が異なるビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを、多数のチャンネルを有するオーディオ・ビデオフレーム（AVフレーム）の所定チャンネルを用いて伝送するオーディオ・ビジュアル機器のオーディオ・ビデオフレーム作成方法において、
   AVフレームを生成してAVバス線に出力中において、スキップが指示されたとき、スキップ元のデータストリームとスキップ先のデータストリームをシームレス接続する際に発生するオーディオギャップ長を求める第１ステップ、
   前記オーディオギャップ長に相当するAVフレーム数Nを算出する第２ステップ、
   スキップ元のオーディオフレームの末尾部分を含むAVフレーム以降に続くＮ個のAVフレームのオーディオ用チャンネルで無音を意味する所定のデータパターンを伝送し、以降のAVフレームのオーディオ用チャンネルでスキップ先のデータストリームのオーディオフレームを連続して伝送し、かつ、スキップ元及びスキップ先のビデオフレームを各AVフレームのビデオ用チャンネルで連続して伝送する第３ステップ、
   を有し、第１ステップにおいて、スキップ元のオーディオフレームの末尾がビデオフレームの末尾より時間的に等しいか、あるいは前に位置している場合において、該両方の末尾の時間間隔をＡ、スキップ先のビデオフレームの先頭がオーディオフレームの先頭より時間的に等しいか、前に位置している場合において、該両方の先頭の時間間隔をＢとするとき、時間間隔の和(Ａ＋Ｂ）を前記オーディオギャップ長として算出する、
   ことを特徴とするオーディオ・ビデオフレーム作成方法。
3. 再生時間が異なるビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを、多数のチャンネルを有するオーディオ・ビデオフレーム（AVフレーム）の所定チャンネルを用いて伝送するオーディオ・ビジュアル機器において、
   第１、第２のデータストリームがシームレスに接続されてなるデータストリームを受信するデータストリーム受信部、
   シームレス接続部におけるオーディオギャップ長を求めるオーディオギャップ長取得部、
   ビデオフレームとオーディオフレームを夫々オーディオ用チャンネルとビデオ用チャンネルで伝送するためのAVフレームを生成するAVフレーム生成部、
   前記オーディオギャップ長に相当するAVフレーム数Nを算出し、第１のデータストリームの最後のオーディオフレームの末尾部分を含むAVフレーム以降に続くＮ個のAVフレームのオーディオ用チャンネルで無音を意味する所定のデータパターンを伝送し、以降のAVフレームのオーディオ用チャンネルで第２のデータストリームのオーディオフレームを連続して伝送し、かつ、第１、第２のデータストリームのビデオフレームを各AVフレームのビデオ用チャンネルで連続して伝送するよう、前記AVフレーム生成部を制御する制御部、
   を有し、前記データストリームはビデオフレームとオーディオフレームをパケット化して多重して構成され、オーディオパケットヘッダが該オーディオフレームを再生して出力する時刻（再生出力時刻）PTSを含んでいるとき、
   前記オーディオギャップ長取得部は、再生出力時刻PTSの時間間隔が一定時間間隔より大きくなったとき、該一定時間間隔との差を前記オーディオギャップ長として算出する、
   ことを特徴とするオーディオ・ビジュアル機器。
4. 再生時間が異なるビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを、多数のチャンネルを有するオーディオ・ビデオフレーム（AVフレーム）の所定チャンネルを用いて伝送するオーディオ・ビジュアル機器において、
   再生位置をスキップするスキップを指示するスキップ指示部、
   ビデオフレームとオーディオフレームを夫々オーディオ用チャンネルとビデオ用チャンネルで伝送するためのAVフレームを生成するAVフレーム生成部、
   前記AVフレーム生成部が、AVフレームを生成してAVバス線に出力中において、スキップが指示されたとき、スキップ元のデータストリームとスキップ先のデータストリームをシームレス接続する際に発生するオーディオギャップ長を求めるオーディオギャップ長取得部、
   前記オーディオギャップ長に相当するAVフレーム数Nを算出し、スキップ元のオーディオフレームの末尾部分を含むAVフレーム以降に続くＮ個のAVフレームのオーディオ用チャンネルで無音を意味する所定のデータパターンを伝送し、以降のAVフレームのオーディオ用チャンネルでスキップ先のデータストリームのオーディオフレームを連続して伝送し、かつ、スキップ元及びスキップ先のビデオフレームを各AVフレームのビデオ用チャンネルで連続して伝送するよう、前記AVフレーム生成部を制御する制御部、
   を有し、前記オーディオギャップ長取得部は、スキップ元のオーディオフレームの末尾がビデオフレームの末尾より時間的に等しいか、あるいは前に位置している場合において、該両方の末尾の時間間隔をＡ、スキップ先のビデオフレームの先頭がオーディオフレームの先頭より時間的に等しいか、あるいは前に位置している場合において、該両方の先頭の時間間隔をＢとするとき、時間間隔の和(Ａ＋Ｂ）を前記オーディオギャップ長として算出する、
   ことを特徴とするオーディオ・ビジュアル機器。

Images