JP4464101B2 - トランスポートストリーム編集方法及び装置 - Google Patents

Description

本発明は、ディジタル動画音声圧縮技術規格（Moving Picture Experts Group：以下ＭＰＥＧと呼称 )を用いて、符号化ディジタル動画像データとディジタル音声データとを時分割多重化したＭＰＥＧ−２トランスポートストリームデータを分割編集する方法及び装置に関するものである。

現在、公知技術としてＩＥＣ／ＩＳＯ１３８１８において規定されるＭＰＥＧ規格は、日本国内及び欧米における衛星ディジタル放送や地上波ディジタル放送等においての映像及び音声信号を伝送するデータ方式としてＭＰＥＧ−２ＴＳ方式が適用されている。

このようなＭＰＥＧ−２ＴＳ方式で情報圧縮されたデータをそのままのディジタル信号状態で、例えば、ハードディスクや光ディスク或いは高速読み書きが可能な半導体メモリ等のランダムアクセス可能な記録媒体に書き込み記録やユーザーがアクセス可能なデータファイルとして保存することができれば、画質や音質を全く劣化させることなく、高品質のＡＶプログラムを随時繰り返して視聴することや、即応性が高いランダムアクセス再生及び自由度の高いプログラム編集が可能となり得る。

図６は記録媒体上に記録されたＭＰＥＧ−２ＴＳのデータ構造を示す。ＭＰＥＧ−２ＴＳは１８８バイト固定サイズのＴＳパケットにより構成され、このＴＳパケットは４バイトのヘッダー情報と、残り１８４バイトの実質的なＡＶ情報を持つペイロード情報部から構成されている。

ＴＳパケットのヘッダー情報内には、ヘッダー情報以降に続くＴＳパケットのペイロード情報がビデオデータなのか、オーディオデータなのかを識別する識別子（Packet ＩＤ：以下ＰＩＤ）が設けられている。また、ヘッダー情報内には、ペイロード情報に新たなＰＥＳパケットデータが開始するか否かを示す情報ビット（unit start indicator）が設けられている。unit start indicatorが”１”である場合は、新たなＰＥＳパケットが開始することを意味し、そうでない場合には、続くペイロードデータがＰＥＳパケットデータの連続する一部であることを意味する。

更に、ＴＳパケットの特殊な情報として、ストリームを構成するデータのマップ情報を管理するProgram Map Table（以下：ＰＭＴ）が規程されており、パケットデータで対応する映像信号を持つＴＳパケット及び音声データを持つＴＳパケットのＰＩＤが一意に定められている。このようなＭＰＥＧ−２ＴＳの技術に関しては、例えば、非特許文献１〜３に記載されている。

次に、ランダムアクセス可能な記録媒体上に記録された図６に示すようなデータ構造を持つＭＰＥＧ２−ＴＳデータを二つに分割する場合の編集処理について説明する。図７はこの分割編集処理を説明する図である。

まず、図６及び図７に示すＶはビデオ情報を持つＴＳパケットデータを表し、Ａはオーディオ情報を持つＴＳパケットデータを表す。ビデオ情報を持つＴＳバケットとしては白抜きで示すＶと斜線で示すＶがあるが、そのうち斜線で示すＶはＧＯＰ開始コードを含むビデオ情報ＴＳパケットデータである。また、オーディオ情報を持つＴＳパケットに関しても白抜きで示すＡと斜線で示すＡがあるが、そのうちの斜線で示すＡは音声フレーム開始コードを含むオーディオ情報ＴＳパケットデータである。なお、各パケットの添数字はビデオ情報とオーディオ情報を同期再生するタイミングを示すパケット番号である。例えば、ビデオ情報ＴＳパケットＶ０とオーディオ情報パケットＡ０が同期再生される。

通常、ビデオ信号とオーディオ信号の多重化を行うタイミングは、オーディオ信号とビデオ信号の符号化装置の機能とＭＰＥＧ規格の復号化規定により決まるが、図６、図７に示すように同期再生するビデオ情報パケットとオーディオ情報パケットは物理的に離れている場所に格納されるため、１ＧＯＰ分のＴＳパケット化された映像信号の途中に、他のＧＯＳに属するＴＳパケット化されたオーディオフレーム信号が存在する場合がほとんどである。

上記方法によって記録媒体上に記録されたＭＰＥＧ−２ＴＳデータを、例えば、図７に示すＧＯＰ単位の境界となる位置ＤＩＶで分割する要求がユーザーから発生した場合には、分割編集によって図７に示すように先頭から分割位置までのストリームと、分割位置から終端までのストリームのデータが生成される。

図７中の分割位置ＤＩＶでＭＰＥＧ−２ＴＳを分割すると、分割位置近傍で１ＧＯＰ分のビデオ情報を持つＴＳパケットの途中にオーディオ情報を持つＴＳパケットが存在するため、ストリーム先頭から分割位置までのデータとして作成されるストリームの場合には、図７に示すように最後のオーディオ情報を持つデータが最小復号単位としてのオーディオフレームのデータ構造を満たしていない不完全なオーディオデータとなっている。また、分割位置からストリーム終端までのデータとして作成されるストリームの場合には、図７に示すように最初のオーディオ情報のデータが同様に最小復号単位としてのオーディオフレームのデータ構造を満たしていない不完全なオーディオデータとなっている。
ＩＳＯＩＥＣ １３８１８シリーズ 日本電気工業会発行 ポイント図解式最新ＭＰＥＧ教科書 藤原 洋 監修 アスキー出版社（１９９４．８．１発行） インターフェース増刊（画像アンド音声圧縮技術のすべて） 藤原 洋 監修（２０００．４．１発行）

ところで、ＭＰＥＧ方式で圧縮符号化されたビデオ信号及びオーディオ信号をＴＳの状態で記録及び編集するシステムには次の課題がある。即ち、ビデオ信号はＧＯＰ単位でＭＰＥＧ符号化圧縮されるが、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ等の画像のタイプ、また画像の絵柄等によって１フレームの画像データの長さが一定ではなくなるため、固定ビットレートで符号化圧縮されないことがある。

一方、オーディオ信号は固定レートで圧縮されるため、対応するビデオ信号とオーディオ信号が同時に符号化されたとしても、対応するビデオ信号とオーディオ信号のパケットがＴＳ上において物理的に離れた位置に配置されてしまう可能性がある。対応するビデオ信号とオーディオ信号のパケットがＴＳ上において離れた位置に配置された場合には、多重化されたＴＳデータを途中で分割するような編集を実行すると、ビデオ信号のつながりのタイミングとオーディオ信号のつながりのタイミングがずれたり、一方のデータが不足してしまうという問題があった。

従って、図７で説明した従来の編集方法では、分割位置前後におけるオーディオフレームデータ構造が非連続になり、分割処理後のＴＳデータの再生時に復号不良となり、ユーザーに違和感を与えるような異音の発生や無音状態が生じてしまう恐れがあった。

本発明は、上記従来の問題点に鑑みなされたもので、その目的は、分割処理を行っても違和感を与える異音の発生や無音状態の発生することのないＭＰＥＧ−２トランスポートストリームの編集方法及び装置を提供することにある。

本発明のＭＰＥＧ−２トランスポートストリーム編集方法は、上記目的を達成するため、ランダムアクセス可能な記録媒体上に記録され、ＭＰＥＧ−２トランスポート方式によって時分割多重化圧縮されたビデオ信号とオーディオ信号からなるストリームデータの編集を行なう方法において、分割編集位置から前方のストリームデータに対応するオーディオ信号が前記分割編集位置を跨いで後方のストリームデータ中に存在する場合、前方のストリームデータには、該オーディオ信号を含み、且つ前記分割編集位置から該オーディオ信号間のビデオ信号をダミーデータに書き換えたＴＳパケットデータを追加し、前記分割編集位置から後方のストリームデータには、該オーディオ信号のＴＳパケットデータをダミーデータに書き換える編集を施すことを特徴とする。

本発明においては、分割位置より前方のストリームに関しては、分割位置を跨いで構成されるオーディオ情報が完全なオーディオフレーム構造となり、且つ、分割位置までのビデオ情報に再生同期したオーディオ情報がすべて格納されるまで、分割位置以降にあるビデオ情報ＴＳパケットデータを、復号再生を行わない映像或いは音声情報のいずれの情報を持たないＮＵＬＬ等のダミーデータに置き換える。また、分割位置以降のストリームに関しては、分割位置を跨いで構成されるオーディオ情報ＴＳパケットデータも含め、加えて分割位置以降の最初のＧＯＰ構造をもつビデオ情報データと同期再生するオーディオＴＳパケットが現れるまでオーディオＴＳパケットデータにダミーＴＳパケットデータを上書きする。

従来技術においては、分割要求の後、分割位置でのストリーム分割を行い、分割編集処理を終了していたため、不完全なデータ構造をもつオーディオ情報の存在を許していたが、本発明においては、分割位置より前方のストリームに対しては、最後のビデオ情報と同期再生する音声フレームデータが途中で途切れないように補償し、分割位置以降のストリームに対しては、分割位置以降の最初のＧＯＰ構造を持つビデオ情報と同期再生するタイミングを持つオーディオデータが現れるまで、復号再生に必要ではないオーディオ情報へアクセスすることを回避している。

本発明によれば、分割位置より前方のストリームには、分割位置を跨ぐオーディオフレームデータが完全に構成されるようにビデオ情報ＴＳパケットを映像信号も音声信号の何れも持たないダミーデータに置換したＴＳパケットを追加し、分割位置以降のストリームには、分割位置のビデオ情報の再生タイミングと一致するオーディオ情報パケットデータが現れるまで、オーディオ情報をダミーデータに置換したＴＳパケットを上書きすることにより、分割後に生成された二つのストリームを復号再生した時にユーザーに違和感を与えるような異音の発生或いは無音状態を生じる可能性のある音声データを除去することができ、快適なＡＶ情報の視聴を実現することができる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。図１は本発明によるＭＰＥＧ−２トランスポート編集装置の一実施形態を示すブロック図である。また、図２〜図４は本実施形態によるランダムアクセス可能な記録媒体に記録されたＭＰＥＧ−２ＴＳデータの分割編集処理手順を示すフローチャート、図５はその分割処理を説明するための図である。

なお、図２は分割処理を、図３、図４は後述するように分割処理後の音声データの補償処理を示す。また、図５に示す分割処理前のＭＰＥＧ−２ストリームは従来例における図６と同様に記録媒体上に記録を行ったＭＰＥＧ−２ＴＳ形式で時分割多重化圧縮を施したＡＶ情報のデータの構造を持つ。

更に、図６、図７と同様に図５に示すＶはビデオ情報を持つＴＳパケットデータ、Ａはオーディオ情報を持つＴＳパケットデータを表す。ビデオ情報を持つＴＳバケットとしては白抜きで示すＶと斜線で示すＶがあるが、斜線で示すＶはＧＯＰ開始コードを含むビデオ情報ＴＳパケットデータである。また、オーディオ情報を持つＴＳパケットに関しても白抜きで示すＡと斜線で示すＡがあるが、斜線で示すＡは音声フレーム開始コードを含むオーディオ情報ＴＳパケットデータである。各パケットの添数字はビデオ情報とオーディオ情報を同期再生するタイミングを示すパケット番号である。

まず、図１において、１０１はアプリケーション、１０２はライブラリー、１０３はＳＲＡＭやＤＲＡＭ等の不揮発性メモリである。アプリケーション１０１からＭＰＥＧ−２ＴＳデータの分割処理要求が発行されると、後述するようにライブラリー１０２は分割処理を行う。また、１０４はファイル管理を行うファイルシステム、１０５はコントローラ、１０６は情報記録媒体であるところのディスクである。コントローラ１０５はディスク１０６に対してデータの読み書きを行う。

次に、本実施形態によるＭＰＥＧ−２ストリームデータの編集処理方法を説明する。まず、アプリケーション１０１からＭＰＥＧ−２ＴＳを図５中のＤＩＶで表すＧＯＰ（Group Of Pictures）データの境界に対応するＴＳパケット位置でストリーム分割要求が発生したとする。この要求が発生するとライブラリー１０２は図２の分割編集処理を行う。最初に、ディスク１０６上に記録されている編集対象のＭＰＥＧ−２ＴＳストリームの先頭或いは分割要求位置から１８８バイトの単位で構成されるＴＳパケットデータ１つ分をメモリ１０３に読み込みを行う（ステップ２０１）。

次いで、メモリ１０３に読み込んだＴＳパケットのヘッダー部を解析し、分割処理の対象となるＭＰＥＧ−２ＴＳのシステムストリーム情報を持つプログラムマップテーブル（ＰＭＴ）パケットの検出を行う（ステップ２０２）。ＰＴＭパケットは図５では不図示であるが、図５のストリームデータ中に存在する。ＰＭＴパケットを検出できなかった場合には、ステップ２０１に戻って再度後続のＴＳパケットを記録媒体からメモリ１０３に読み込み、ステップ２０２で同様にＰＭＴパケットの検出を行う。以下、ＰＭＴパケットを検出するまでステップ２０１〜２０２の処理を繰り返し行う。

ＰＭＴパケットデータの検出に成功すると、そのパケット内のストリーム情報から編集対象のＭＰＥＧ−２ＴＳを構成する映像データ及び音声データを持つＴＳパケットの識別子（ＰＩＤ）を取得する（ステップ２０３）。ＰＭＴパケットには、そのストリームのすべてのパケットの識別子が含まれている。本実施形態では、取得した映像ＴＳパケットのＰＩＤをＶ＿ＰＩＤ、音声ＴＳパケットのＰＩＤをＡ＿ＰＩＤとする。

次いで、図５に示すように分割処理を指定されたＧＯＰ開始コードを含むＴＳパケットでＭＰＥＧ−２ＴＳデータを二つに分割し、分割前のＭＰＥＧ−２ＴＳデータの先頭から分割位置までのデータ（以降Ｍ１と呼ぶ）と、分割位置から終端までのデータ（以降Ｍ２と呼ぶ）の二つのＭＰＥＧ−２ＴＳを作成する（ステップ２０４）。本実施形態による分割処理は、ディスク１０６上に存在する編集元のＭＰＥＧ−２ＴＳデータ自体に対して新たなデータを上書きしたり、或いはデータ破壊を行わないことを前提とし、単に編集元のデータをコピーし、新たにＭＰＥＧ−２ＴＳデータを作成するものとする。

次に、分割要求によって指定されたＧＯＰ開始コードを含むＴＳパケットのペイロードによって構成されるビデオＰＥＳパケットのＰＥＳヘッダーよりＰＥＳパケットデータの復号再生器における出力再生時間情報（ＰＴＳ_ＧＯＰ）を取得する（ステップ２０５）。即ち、図７に示すようにＧＯＰ開始コードを含むＴＳパケットデータのヘッダー情報には、ＰＥＳスタートコード、再生出力時間情報、復号時間情報等が含まれており、ＰＥＳパケットデータの復号再生器における再生時間情報とはその再生出力時間情報を指す。この出力再生時間情報（ＰＴＳ_ＧＯＰ）は１Ｐ毎の画面に表示する時間（映像信号の再生時間）である。

なお、ステップ２０４の処理とステップ２０５の処理の説明は、分割位置で新たに二つのＭＰＥＧ−２ＴＳデータを作成すること、及び分割ＧＯＰ位置における再生出力時間の取得が必要であることを言及したものであって、処理順を定義したものではない。

このように分割処理が終了すると、ステップ２０４で作成した二つのＭＰＥＧ−２ＴＳ（Ｍ１、Ｍ２）に対して音声データの補償処理を行う。Ｍ１に対する音声データ補償処理をステップ２０６で、Ｍ２に対する音声データ補償処理をステップ２０７でそれぞれ行う。以上の処理をもって一連の分割処理を終了し、その結果をアプリケーション（ユーザー）１０１に通知する。

図３は図２のステップ２０６におけるＭ１に対する音声データ補償処理を示すフローチャート、図４はステップ２０７におけるＭ２に対する音声データ補償処理を示すフローチャートである。まず、図３を参照してＭ１に対する音声データ補償処理を説明する。

始めに、図５に示す編集元のＭＰＥＧ−２ＴＳに対して編集ＧＯＰ境界のＴＳパケット位置からストリーム終端に向かってディスク１０６からＴＳパケットデータを１つ分メモリ１０３に読み込む（ステップ３０１）。図５の例では分割位置の映像情報ＴＳパケットＶ２から読み込む。次いで、メモリ１０３に読み込んだＴＳパケットのヘッダー情報を解析し、ＴＳパケットのＰＩＤを取得する（ステップ３０２）。

次に、取得したＴＳパケットのＰＩＤが図２のステップ２０３で取得した映像ＴＳパケットのＰＩＤ（Ｖ＿ＰＩＤ）と一致するかを判定する（ステップ３０３）。両方のＰＩＤが一致する場合には、図５に示すように映像信号や音声信号を持たないＮＵＬＬＴＳパケットデータ（ダミーＴＳパケットデータ）Ｄを編集後のＭＰＥＧ−２ストリームデータＭ１のデータ終端に追加記録する（ステップ３０４）。その後、ステップ３０１に戻って同様の処理を行うが、図５の例では分割位置以降に映像情報ＴＳパケットＶ２が３個連続しているので、ダミーデータＤを３個追加記録する。

また、ステップ３０３でＶ＿ＰＩＤが一致しない場合には、ステップ３０５に進み、ＴＳパケットのＰＩＤと図２のステップ２０３で取得した音声情報ＴＳパケットのＰＩＤ（Ａ＿ＰＩＤ）が一致するかを判断する。一致しない場合には、ステップ３０４と同様に映像信号や音声信号を持たないＮＵＬＬＴＳパケットデータを編集後のＭＰＥＧ−２ストリームデータＭ１のデータ終端に追加記録し（ステップ３０６）、一致する場合には、ステップ３０７に進み、そのＴＳパケットのヘッダー情報からＴＳパケットのペイロード部に新たなＰＥＳパケットが開始するか否かを示す情報ビット（unit start indicator）を検出する。

図５の例では、ステップ３０１で次の音声情報ＴＳパケットＡ１を読み込み、それに対してステップ３０２〜３０５の処理を行うが、この場合には、ステップ３０５で一致すると判断し、ステップ３０７に進んで、新たなＰＥＳパケットが開始するかを判断する。

ここで、ステップ３０７において検出した情報ビットが０の場合、即ち、新たなＰＥＳパケットが開始しない場合には、そのＴＳパケットを編集処理後のＭＰＥＧ−２ストリームＭ１の終端にそのままコピー追加記録し（ステップ３０８）、ステップ３０１に戻る。図５の例では、音声情報ＴＳパケットＡ１は分割位置より前方のストリームの音声情報ＴＳパケットＡ１の後に続いており、新たなＰＥＳパケットが開始しないので図５に示すように３個のダミーＴＳパケットデータＤの後に音声情報ＴＳパケットＡ１をそのままコピーする。

一方、情報ビットが１の場合、即ち、新たなＰＥＳパケットが開始する場合には、そのＴＳパケットのペイロードデータ内に含まれているＰＥＳパケットデータを解析し、音声フレームの再生開始時間（ＰＴＳ_ＡＵＤ）を取得する（ステップ３０９）。

次いで、取得した音声フレームの再生開始時間（ＰＴＳ_ＡＵＤ）と図２のステップ２０５で取得した分割ＧＯＰ位置の映像データの再生出力時間（ＰＴＳ_ＧＯＰ）の時間軸における関係を比較する（ステップ３１０）。ここで、比較結果がＰＴＳ_ＡＵＤ＞ＰＴＳ_ＧＯＰである場合、即ち、音声フレームの再生出力時間の方が分割ＧＯＰ位置における映像データの再生出力時間よりも未来である場合には、以上の処理をもって編集後のＭＰＥＧ−２ＴＳストリームＭ１に対する音声データ補償処理を終了する。

一方、ＰＴＳ_ＡＵＤ＜ＰＴＳ_ＧＯＰである場合、即ち、音声フレームの再生出力時間の方が分割ＧＯＰ位置における映像データの再生出力時間よりも過去である場合には、編集後のＭＰＥＧ−２ＴＳストリームＭ１の終端にそのＴＳパケットをそのままコピー追加記録し（ステップ３１１）、その後、ステップ３０１に戻って同様の処理を行う。

図５の例では、ステップ３０１で音声情報パケットＡ１の次の音声情報ＴＳパケットＡ２を読み込み、それに対して処理を行うが、この場合には、図５に示すように音声情報ＴＳパケットＡ２は新たに開始している音声情報ＴＳパケットであるので、ステップ３０９に進んで、その音声情報ＴＳパケットＡ２からＰＴＳ_ＡＵＤを取得し、ステップ３１０の処理を行う。

ここで、再生開始時間（ＰＴＳ_ＡＵＤ）とは、その音声情報ＴＳパケットＡ２（図５の例では３個分）の再生時間であり、再生出力時間（ＰＴＳ_ＧＯＰ）は映像情報の再生時間（図５の例では分割位置以降の映像情報の再生時間）であり、図５の場合には、ＰＴＳ_ＡＵＤ＞ＰＴＳ_ＡＵＤとなるため処理を終了する。なお、図５に示すように補償処理終了後のダミーＴＳパケットデータＤ（３個分）と音声情報ＴＳパケットＡ１を分割位置前方のＭ１終端に付加するとＭ１が完成する。

このようにＭ１に対して音声データ補償処理を行うことにより、図５に示すようにＭ１の終端にダミーＴＳパケットデータＤが３個、その次に音声情報ＴＳパケットＡ１が付加された状態となり、Ｍ１の最後の音声データ（図５の例ではＡ１）が完全な音声データとなる。

次に、分割後のＭＰＥＧ−２ＴＳストリームＭ２に対する音声データ補償処理を図４のフローチャートを用いて説明する。まず、編集元のＭＰＥＧ−２ＴＳに対して編集ＧＯＰ境界のＴＳパケット位置からストリーム終端に向かって、ディスク１０６からＴＳパケットデータを１つ分メモリ１０３に読み込む（ステップ４０１）。また、メモリ１０３に読み込んだＴＳパケットのヘッダー情報を解析し、そのＴＳパケットのＰＩＤを取得する（ステップ４０２）。

次いで、取得したＴＳパケットのＰＩＤが図２のステップ２０３で取得した映像情報ＴＳパケットのＰＩＤ（Ｖ＿ＰＩＤ）と一致するかを判断する（ステップ４０３）。一致する場合には、ステップ４０１に戻って同様の処理を行う。即ち、次のＴＳパケットデータを読み込み、そのＴＳパケットのヘッダー部からＰＩＤを取得し、そのＰＩＤが図２のステップ２０３で取得した映像情報ＴＳパケットのＰＩＤ（Ｖ＿ＰＩＤ）と一致するかを判断する。図５の例では、分割位置から映像情報ＴＳパケットＶ２が３個続いており、ステップ４０１〜４０３の処理を３回行い、図５に示すようにＶ２を３個分読み込む。

ステップ４０３で一致しない場合には、ステップ４０４に進み、そのＴＳパケットのＰＩＤが図２のステップ２０３で取得した音声情報ＴＳパケットのＰＩＤ（Ａ＿ＰＩＤ）と一致するかを判断する。この時、一致しない場合には、ＮＵＬＬＴＳパケットデータを上書きする。これは、図５には示していないが、映像情報でも音声情報でもないデータの場合にも同様である。

一方、ステップ４０４で一致すると判断した場合には、ステップ４０６に進み、新たなＰＥＳパケットが開始するかどうか、即ち、そのパケットのヘッダー情報からＴＳパケットのペイロード部に新たなＰＥＳパケットが開始するか否かを示す情報ビット（unit start indicator）を検出する（ステップ３０６）。この時、検出した情報ビットが０の場合、即ち、新たなＰＥＳパケットが開始しない場合には、映像信号も音声信号も持たないＮＵＬＬＴＳパケットデータをそのパケットの位置に上書きする。

図５の例では、ステップ４０１で分割位置から４番目の音声情報ＴＳパケットＡ１を読み込み、それに対してステップ４０２以降の処理を行うが、この場合には、ステップ４０４で一致すると判断し、ステップ４０６の処理を行う。この時、図５に示すように音声情報ＴＳパケットＡ１は分割位置前方のストリームの音声情報ＴＳパケットＡ１に続いており、ステップ４０６では新たなＰＥＳは開始しないと判断する。従って、ステップ４０７に進んで映像信号も音声信号も持たないＮＵＬＬＴＳパケットデータＤを編集元のＴＳパケット位置と同じ編集後のＭＰＥＧ−２ストリームＭ２のＴＳパケット位置に上書きし、ステップ４０１に戻る。図５に示す３個の映像情報ＴＳパケットＶ２の後に続くＤはこのダミーＴＳパケットデータである。

一方、情報ビットが１の場合、即ち、新たなＰＥＳパケットが開始する場合には、そのＴＳパケットのペイロードデータ内に含まれているＰＥＳパケットデータを解析し、音声フレームの再生開始時間（ＰＴＳ_ＡＵＤ）を取得する（ステップ４０８）。次に、取得した音声フレームの再生開始時間（ＰＴＳ_ＡＵＤ）と図２のステップ２０５で取得した分割ＧＯＰ位置の映像データの再生出力時間（ＰＴＳ_ＧＯＰ）の時間軸における関係を比較する（ステップ４０９）。

この時、比較結果がＰＴＳ_ＡＵＤ＞ＰＴＳ_ＧＯＰである場合、即ち、音声フレームの再生出力時間の方が分割ＧＯＰ位置における映像データの再生出力時間よりも未来である場合には、以上の処理をもって編集後のＭＰＥＧ−２ＴＳストリームＭ２に対する音声データ補償処理を終了する。

一方、ＰＴＳ_ＡＵＤ＜ＰＴＳ_ＧＯＰである場合、即ち、音声フレームの再生出力時間の方が分割ＧＯＰ位置における映像データの再生出力時間よりも過去である場合には、映像信号も音声信号も持たないＮＵＬＬＴＳパケットデータを編集元のＴＳパケット位置と同じ編集後ＭＰＥＧ−２ＴＳストリームＭ２のＴＳパケット位置に上書き記録を行う（ステップ４１０）。

図５の例では、ステップ４０１で音声情報パケットＡ１の次の音声情報ＴＳパケットＡ２を読み込み、それに対してステップ４０２以降の処理を行うが、この場合には、図５に示すように音声情報ＴＳパケットＡ２は新たに開始しているので、ステップ４０８に進んで、その音声情報ＴＳパケットＡ２からＰＴＳ_ＡＵＤを取得し、ステップ４０９の処理を行う。

ここで、再生開始時間（ＰＴＳ_ＡＵＤ）とは、上述のようにその音声情報ＴＳパケットＡ２（図５の例では３個分）の再生時間であり、再生出力時間（ＰＴＳ_ＧＯＰ）は映像情報の再生時間（図５の例では分割位置以降の映像情報の再生時間）であり、図５の場合には、同様にＰＴＳ_ＡＵＤ＞ＰＴＳ_ＧＯＰとなるため処理を終了する。なお、図５の例では、ダミーＴＳパケットデータＤの後の音声情報ＴＳパケットＡ２で補償処理を終了し、それ以降のデータを付加するとＭ２が完成する。

このように分割位置以降のストリームに対しては、分割位置のビデオ情報（図５の例ではＶ２）の再生タイミングと一致するオーディオ情報パケットデータ（図５の例ではＡ２）が現れるまでオーディオ情報をダミーデータに置換したＴＳパケットを上書きすることにより、分割位置以降のＭ２における最初のオーディオデータを完全なデータとすることができる。

なお、このように分割編集処理を行ったディスク１０６上のデータを再生する場合には、ダミーＴＳパケットデータＤは伸張再生しない、即ち、読み飛ばすものとする。

本発明によるＭＰＥＧ−２ＴＳデータ編集処理装置の一実施形態を示すブロック図である。 図１の実施形態の分割編集処理方法を示すフローチャートである。 図２の分割処理後のＭ１に対する音声データ補償処理を示すフローチャートである。 図２の分割処理後のＭ２に対する音声データ補償処理を示すフローチャートである。 図２の分割編集処理方法を説明する説明図である。 ＭＰＥＧ−２ＴＳのデータ構造を説明する図である。 従来例のＭＰＥＧ−２ＴＳの分割処理を説明する図である。

符号の説明

１０１ アプリケーション
１０２ ライブラリー
１０３ メモリ
１０４ ファイルシステム
１０５ コントローラ
１０６ ディスク

Claims (3)

1. ランダムアクセス可能な記録媒体上に記録され、ＭＰＥＧ−２トランスポート方式によって時分割多重化圧縮されたビデオ信号とオーディオ信号からなるストリームデータの編集を行なう方法において、分割編集位置から前方のストリームデータに対応するオーディオ信号が前記分割編集位置を跨いで後方のストリームデータ中に存在する場合、前方のストリームデータには、該オーディオ信号を含み、且つ前記分割編集位置から該オーディオ信号間のビデオ信号をダミーデータに書き換えたＴＳパケットデータを追加し、前記分割編集位置から後方のストリームデータには、該オーディオ信号のＴＳパケットデータをダミーデータに書き換える編集を施すことを特徴とするＭＰＥＧ−２トランスポートストリーム編集方法。
2. 前記ダミーデータは、ＮＵＬＬデータであることを特徴とする請求項１に記載のＭＰＥＧ−２トランスポートストリーム編集方法。
3. 編集後のストリームデータを再生する場合には、前記ダミーデータは読み飛ばすことを特徴とする請求項１に記載のＭＰＥＧ−２トランスポートストリーム編集方法。