JP2008153945A - 映像／音声同期化装置 - Google Patents

Abstract

【課題】フレームシンクロナイザにより遅延した出力映像に対して出力音声を自動的に同期させる。
【解決手段】入力トランスポートストリームに含まれるプログラムクロックレファレンスからシステムタイムクロックを再生するシステムタイムクロック再生手段と、基準垂直信号の時刻をシステムタイムクロックで計測する垂直同期信号／システムタイムクロック変換手段と、映像パケタイズドエレメンタリストリームからプレゼンテーションタイムスタンプを抽出するプレゼンテーションタイムスタンプ抽出手段と、システムタイムクロックで計測された基準垂直信号の時刻とプレゼンテーションタイムスタンプの時刻とを基に映像の遅延時間を算出する映像遅延時間算出手段と、遅延時間だけ音声を遅延させる第１の音声遅延手段と、を備える。
【選択図】図１

Description

本発明は、映像／音声同期化装置に関し、特に、基準同期信号に同期した映像信号に音声信号を同期させる映像／音声同期化装置に関する。

放送局などでは、局内の各系統の映像信号が局内の基準同期信号に同期している必要があり、ＭＰＥＧ２デコーダの出力映像信号も基準同期信号に同期している必要がある。この為、ＭＰＥＧ２デコーダでは、フレームシンクロナイザを内蔵し、この内蔵フレームシンクロナイザで映像信号を基準同期信号に同期した垂直同期信号位相で出力するようにしている。この為、デコーダ出力映像は、デコーダ内部の復号化部の出力からフレームシンクロナイザで遅らせた分遅延されて出力される。

同様にＭＰＥＧ２デコーダの出力音声信号も基準同期信号に同期したサンプリングレートの音声信号である必要があり、ＭＰＥＧ２デコーダでは、音声サンプリングコンバータを内蔵し、基準クロックに同期した音声信号を出力させるが、この音声サンプリングコンバータでの遅延は殆どない。

図３に映像デコーダからの出力映像と、音声デコーダからの出力音声と、映像フレームシンクロナイザからの出力映像と、音声サンプリングレートコンバータ出力からの出力音声のタイミングを示す。この図より、映像フレームシンクロナイザからの出力映像と、音声サンプリングレートコンバータ出力からの出力音声との間で相対的な遅延時間のずれが生じていることがわかる。
特開２００４−０２３１３４号公報 特開２００６−２３７８２９号公報

前述したように、ＭＰＥＧ２デコーダで基準同期信号に同期した映像／音声を出力させようとした場合、出力映像はフレームシンクロナイザによる遅延が発生するが、出力音声は遅延が殆どないため、映像と音声との間の相対遅延が大きくなってしまうという問題があった。

また、従来は、この相対遅延を小さくするために、担当者が、専用の映像音声同期確認信号素材を準備し、この素材をＭＰＥＧ２エコーダにて符号化したストリームをデコーダに入力し、デコーダ出力の映像と音声の相対遅延を測定し、この測定した結果により担当者がデコーダ出力音声の遅延量を設定する必要があった。

また、上記のように映像と音声の相対遅延を調整しても、エンコーダに入力される映像と局内の基準信号が同期していない場合、しばらくするとフレームシンクロナイザでの映像の遅延量が変化し、デコーダ出力の映像と音声で、相対遅延が大きくなってしまう問題があった。

図５に音声遅延調整後の映像デコーダからの出力映像と、音声デコーダからの出力音声と、映像フレームシンクロナイザからの出力映像と、音声遅延調整後の音声サンプリングレートコンバータ出力からの出力音声のタイミングと、時間経過後の各信号のタイミングを示す。

そこで本発明は、フレームシンクロナイザにより遅延した出力映像に対して出力音声を自動的に同期させることを目的とする。

本発明では、内蔵フレームシンクロナイザによる映像遅延を算出し、この算出した映像の遅延量だけ音声の出力を遅延させることにより、デコーダから出力される映像音声の相対遅延を少なくするＭＰＥＧ２デコーダ装置を提供する。

また、音声遅延部を２つ以上設け、その上でとクロスフェード部を有することにより、映像音声の相対遅延が調整されたあとも音声ノイズの発生なしに音声遅延部を切り替え、映像音声の相対遅延が一定以上大きくならないＭＰＥＧ２デコーダを提供する。

図１において、基準同期信号入力端１３に入力された基準同期信号から垂直同期信号を検出する垂直同期信号検出部１５とこの垂直同期信号検出部１５で垂直同期信号を検出した時の時刻をシステムタイムクロック(System Time Clock)値に変換する垂直同期信号／システムタイムクロック変換部１６と、多重分離部２から出力される映像ＰＥＳ(packetized elementary stream)から映像プレゼンテーションタイムスタンプ(Presentation Time Stamp)値を抽出するプレゼンテーションタイムスタンプ抽出部１４を有し、前記垂直同期信号／システムタイムクロック変換部１６から出力される垂直同期信号のシステムタイムクロック値と前述プレゼンテーションタイムスタンプ抽出部１４から出力される映像プレゼンテーションタイムスタンプ値から映像フレームシンクロナイザ９での映像遅延時間を算出する映像遅延時間算出部１７と、音声ＤＥＣ部４から出力される音声信号を制御部１８からの設定によりそれぞれ個別に一定時間音声信号を遅延させる音声遅延部Ａ（６）および音声遅延部Ｂ（７）と、この音声遅延部Ａ（６）の出力音声から音声遅延部Ｂ（７）の出力音声に、または音声遅延部Ｂ（７）の出力音声から音声遅延部Ａ（６）の出力音声に音声ノイズの発生を少なく切り替えるクロスフェード部８を有し、前記映像遅延時間算出部１７により算出した映像フレームシンクロナイザ９での映像遅延時間により制御部１８から音声遅延部Ａ（６）または音声遅延部Ｂ（７）に対し音声遅延設定値を設定することにより映像と音声の相対遅延を調整する機能とをＭＰＥＧ２でコーダに具備させる。

また、映像と音声の相対遅延の調整後も映像遅延時間算出部１７により算出した映像フレームシンクロナイザ９での映像遅延時間を制御部１８で監視し、前記映像フレームシンクロナイザ９での映像遅延量が一定以上変化した場合、現在デコーダから出力している音声を出力している音声遅延部とは別の音声遅延部の遅延量を現在のフレームシンクロナイザでの映像遅延量に調整後クロスフェードにて音声遅延部の出力を切り替える機能とをＭＰＥＧ２でコーダに具備させる。

以上説明したように本発明によれば、専用の映像音声相対遅延確認素材による相対遅延を測定する必要がなく、また、この測定結果により担当者がデコーダに音声遅延量を設定する必要がなくなるという効果が得られる。

また、映像デコーダの出力映像と基準同期信号が非同期な場合、時間と共に映像音声相対遅延が変化することに対し、音声遅延部を複数有し、これらの音声遅延部出力音声をクロスフェード部で切り替えることにより、切替時の音声にショックがなく、映像音声相対遅延を自動調整することが出来る。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

本発明は、デコーダに内蔵されたフレームシンクロナイザで、デコーダ外部から入力された基準同期信号に映像を同期出力させる機能を有するＭＰＥＧ２デコーダにおいて、外部からの基準同期信号の垂直同期信号時のシステムタイムクロック値と入力ＴＳの映像ＰＥＳのプレゼンテーションタイムスタンプ値から前記フレームシンクロナイザでの映像遅延量を算出する機能と、この映像遅延量分だけ音声出力を遅延させる音声遅延部により映像／音声相対遅延を自動的に調整する機能を有することを特徴とする。

また、音声遅延部を２つ以上と、この２つ以上の音声遅延部の出力音声信号を切り替えるクロスフェード部を有し、上記特徴である映像／音声相対遅延自動調整動作後、映像音声相対遅延量が一定以上大きくなった場合、現在デコーダから出力している音声を出力している音声遅延部の音声信号から、遅延時間の最適化を行った別の音声遅延部の音声信号へ前記クロスフェード部にてショック無く切り替えることにより映像音声遅延時間を再調整する機能を有する。

本発明の実施例の構成の一例を以下に示す。図１は本発明に係わるＭＰＥＧ２デコーダの全体ブロック構成の要部を表したものである。

本実施例のＭＰＥＧ２デコーダは、少なくとも入力ＴＳ信号から少なくとも映像／音声ＰＥＳデータ、プログラムクロックレファレンス(Program Clock Reference)を出力する多重分離部２と、この多重分離部２から出力されたプログラムクロックレファレンスからシステムタイムクロック(System Time Clock)を再生するシステムタイムクロック再生部５と、前記多重分離部２から出力された映像ＰＥＳをデコードし映像信号を出力する映像デコーダ３と、前記多重分離部２から出力された音声ＰＥＳをデコードし音声信号を出力する音声デコーダ４と有している。映像デコーダから出力された映像信号は、映像フレームシンクロナイザ９に入力され、映像フレームシンクロナイザ９で基準同期信号に同期した映像信号として出力される。

基準同期信号入力端１３より入力された基準同期信号の垂直同期信号を検出する垂直同期信号検出部１５と、垂直同期信号検出部１５から出力される垂直同期信号タイミング信号と前記システムタイムクロック再生部５から出力されるシステムタイムクロックとを入力して、垂直同期信号でシステムタイムクロックをサンプリングする垂直同期信号／システムタイムクロック変換部１６と、多重分離部２から出力される映像ＰＥＳから映像プレゼンテーションタイムスタンプを抽出するプレゼンテーションタイムスタンプ抽出部１４と、垂直同期信号／システムタイムクロック変換部１６から出力される垂直同期信号タイミングのシステムタイムクロックの時刻情報とプレゼンテーションタイムスタンプ抽出部１４から出力された映像プレゼンテーションタイムスタンプを入力して、映像信号の遅延時間を算出する映像遅延時間算出部１７を有している。

音声遅延部Ａ（６）と音声遅延部Ｂ（７）は、音声デコーダ４から出力された音声データを制御部１８から設定された遅延時間分遅延させ、クロスフェード部８に音声信号を入力する。クロスフェード部８の出力音声信号は、出力音声信号を音声サンプリングレートコンバータ(Sampling Rate Converter)部１０に入力される。音声サンプリングレートコンバータ１０の出力音声では、音声データを基準同期信号に同期した音声サンプリング周波数で変換して出力する。

本発明の実施例の構成の一例を以下に示す。図１は本発明に係わるＭＰＥＧ２デコーダの全体ブロック構成の要部を表したものである。

本実施例のＭＰＥＧ２デコーダは、少なくとも入力ＴＳ信号から少なくとも映像／音声ＰＥＳデータ、プログラムクロックレファレンスを出力する多重分離部２と、この多重分離部２から出力されたプログラムクロックレファレンスからシステムタイムクロック(System Time Clock)を再生するシステムタイムクロック再生部５と、前記多重分離部２から出力された映像ＰＥＳをデコードし映像信号を出力する映像デコーダ３と、前記多重分離部２から出力された音声ＰＥＳをデコードし音声信号を出力する音声デコーダ４と有している。前記映像デコーダ３は、映像ＰＥＳに含まれるプレゼンテーションタイムスタンプ(Presentation Time Stamp)と前記システムタイムクロック再生部５により出力されるシステムタイムクロックが一致した時刻に映像を出力する。同様に前記音声デコーダ４は、音声ＰＥＳに含まれるプレゼンテーションタイムスタンプと前記システムタイムクロック再生部５により出力されるシステムタイムクロックが一致した時刻に音声を出力する。このとき、映像デコーダ３から出力される映像信号と音声デコーダ４から出力音声信号の相対遅延は、殆ど無い状態である。

基準同期信号入力端１３より入力された基準同期信号は、垂直同期信号検出部１５にて、垂直同期信号タイミング信号に変換され、垂直同期信号／システムタイムクロック変換部１６に入力される。垂直同期信号／システムタイムクロック変換部１６では、入力された垂直同期信号タイミング信号により、垂直同期信号タイミング入力時刻をシステムタイムクロックの時刻情報に変換し出力する。プレゼンテーションタイムスタンプ抽出部１４では映像ＰＥＳから映像プレゼンテーションタイムスタンプを抽出し出力する。前記垂直同期信号／システムタイムクロック変換部１６から出力される垂直同期信号のシステムタイムクロックの時刻情報とプレゼンテーションタイムスタンプ抽出部１４から出力される映像プレゼンテーションタイムスタンプから映像遅延時間算出部１７でフレームシンクロナイザで映像が遅延される映像遅延量を算出する。

制御部１８は、映像遅延時間算出部１７で算出されたフレームシンクロナイザで遅延される映像遅延量と同じく遅延量を音声遅延部Ａ（６）に設定する。音声遅延部Ａ（６）は、音声デコーダから出力された音声データを、制御部１８から設定された遅延時間分遅延させて、音声データを出力する。音声遅延部Ａ（６）から出力された音声データは、クロスフェード部を経由して、音声サンプリングレートコンバータ(Sampling Rate Converter)部に入力される。音声サンプリングレートコンバータでは、音声データを音声サンプリング周波数を基準同期信号に同期した周波数に変換して出力する。

図２は、映像デコーダ３の出力映像と、音声デコーダ４の出力音声と、入力基準信号と、映像フレームシンクロナイザ９の出力映像と、音声遅延部出力音声の遅延関係を示したものであり、音声遅延部での音声遅延動作により、映像フレームシンクロナイザ９の出力映像と音声遅延部出力音声の相対遅延が殆どなくなることを示す。

また、一般に映像デコーダ３の出力映像と基準同期信号は非同期であり、時間の経過と共に、フレームシンクロナイザ９での映像遅延時間が変化する。フレームシンクロナイザ９での映像遅延時間が変化は、映像遅延時間算出部１７で算出されたフレームシンクロナイザで遅延される映像遅延量の変化を制御部１８で監視することにより、チェックすることが出来る。

音声遅延部Ａ（６）では制御部１８から設定された遅延時間分遅延させており、音声遅延部Ａ（６）での遅延時間は一定である。この為、時間の経過と共に映像と音声の相対遅延時間が増加する。そこで、映像フレームシンクロナイザ９で遅延される映像遅延量の変化がある一定量以上になった場合、制御部１８は、映像遅延時間算出部１７で算出されたフレームシンクロナイザで遅延される映像遅延量と同じく遅延量を音声遅延部Ａ（６）とは別の音声遅延部Ｂ（７）に設定する。音声遅延部Ｂ（７）は、音声デコーダから出力された音声データを、制御部１８から設定された遅延時間分遅延させて、音声データを出力する。

クロスフェード部は、音声遅延部Ａ（６）から出力される音声と音声遅延部Ｂ（７）から出力される音声をクロスフェードしながら、音声遅延部Ａ（６）の出力音声から音声遅延部Ｂ（７）の出力音声に切り替える。このクロスフェード切替により、デコーダ出力音声の遅延時間が映像フレームシンクロナイザ９で遅延される映像遅延量と同じになり、また、音声切替による音声ノイズを抑えることが出来る。

図４は、映像デコーダ３の出力映像と、音声デコーダ４の出力音声と、入力基準信号と、フレームシンクロナイザ出力映像と、音声遅延部Ａ（６）出力音声で、映像音声相対遅延調整後の遅延関係と、時間が経過し、映像フレームシンクロナイザ９での映像遅延時間が変化した後の遅延関係を示す。また、時間が経過し、映像フレームシンクロナイザ９での映像遅延時間が変化した後に音声遅延部Ｂ（７）に制御部１８から時間が経過後の映像フレームシンクロナイザ９での映像遅延時間と同じ遅延量を設定した時の音声遅延部Ｂ（７）の出力音声をする。更に、クロスフェード部８により音声遅延部Ａ（６）の出力音声から音声遅延部Ｂ（７）の出力音声に切り替えたときのクロスフェード部の出力音声を示す。

更に本発明では、前記した映像遅延時間算出部１７への入力が、プレゼンテーションタイムスタンプ抽出部１４から出力された映像プレゼンテーションタイムスタンプの代わりに、映像フレームシンクロナイザ９に入力される映像デコーダ３の出力映像信号の垂直同期信号をシステムタイムクロックの時刻情報に変換した情報を使用し、この変換された映像デコーダ３の出力映像信号のシステムタイムクロックの時刻情報と前記垂直同期信号／システムタイムクロック変換部１６から出力される垂直同期信号のシステムタイムクロックの時刻情報から、映像フレームシンクロナイザ９での映像遅延量を求めることが出来る。

なお、図１に示す映像音声復号化装置は、ハードウェア、ソフトウェア又はそれらの組合せにより実現することができる。

ＭＰＥＧ２デコーダ、ＳＴＢ(Set Top Box)、ＩＲＤ(Integrated Reciever Decoder)等のＭＰＥＧ２映像デコード機能を有する装置であって、外部から入力する基準同期信号に同期した映像を出力する装置に本発明を利用することができる。

本発明の実施形態による映像音声復号化装置の構成を示すブロック図である。 本発明の実施形態による映像音声復号化装置の入力信号、中間信号及び出力信号のタイミングを示すタイミング図である。 従来例による映像音声復号化装置の入力信号、中間信号及び出力信号のタイミングを示すタイミング図である。 本発明の実施形態によるクロスフェードを説明するためのタイミング図である。 従来例によるタイミングのドリフトを説明するためのタイミング図である。

符号の説明

２ 多重分離部
３ 映像デコーダ
４ 音声デコーダ
５ システムタイムクロック再生部
６ 音声遅延部Ａ
７ 音声遅延部Ｂ
８ クロスフェード部
９ 映像フレームシンクロナイザ
１０ 音声サンプリングレートコンバータ
１４ プレゼンテーションタイムスタンプ抽出部
１５ 垂直同期信号検出部
１６ 垂直同期信号／システムタイムクロック変換部
１７ 映像遅延時間算出部
１８ 制御部（ＣＰＵ）

Claims (10)

1. 入力トランスポートストリームに含まれるプログラムクロックレファレンスからシステムタイムクロックを再生するシステムタイムクロック再生手段と、
   基準垂直信号の時刻を前記システムタイムクロックで計測する垂直同期信号／システムタイムクロック変換手段と、
   映像パケタイズドエレメンタリストリームからプレゼンテーションタイムスタンプを抽出するプレゼンテーションタイムスタンプ抽出手段と、
   前記システムタイムクロックで計測された基準垂直信号の時刻と前記プレゼンテーションタイムスタンプの時刻とを基に映像の遅延時間を算出する映像遅延時間算出手段と、
   前記遅延時間だけ音声を遅延させる第１の音声遅延手段と、
   を備えることを特徴とする映像／音声同期化装置。
2. 請求項１に記載の映像／音声同期化装置において、
   前記遅延時間を基に第２の遅延時間を設定する手段と、
   前記第２の遅延時間だけ遅延させる第２の音声遅延手段と、
   前記第１の音声遅延手段により遅延された音声と前記第２の音声遅延手段により遅延された音声とをクロスフェードするクロスフェード手段と、
   を更に備えることを特徴とする映像／音声同期化装置。
3. 入力トランスポートストリームから映像パケタイズドエレメンタリストリーム、音声パケタイズドエレメンタリストリーム及びプログラムクロックレファレンスを分離する多重分離手段と、
   前記映像パケタイズドエレメンタリストリームから映像信号を復号する映像復号手段と、
   前記音声パケタイズドエレメンタリストリームから音声信号を復号する音声復号手段と、
   前記プログラムクロックレファレンスからシステムタイムクロックを再生するシステムタイムクロック再生手段と、
   基準垂直信号を出力時刻基準として、復号された映像信号を出力する映像フレームシンクロナイザと、
   を備える映像音声復号装置であって、
   基準垂直同期信号の時刻を前記システムタイムクロックで計測する垂直同期信号／システムタイムクロック変換手段と、
   前記映像パケタイズドエレメンタリストリームからプレゼンテーションタイムスタンプを抽出するプレゼンテーションタイムスタンプ抽出手段と、
   前記システムタイムクロックで計測された基準垂直信号の時刻と前記プレゼンテーションタイムスタンプの時刻を基に、映像信号の遅延時間を算出する映像遅延時間算出手段と、
   前記遅延時間だけ音声信号を遅延させる第１の音声遅延手段と、
   を備えることを特徴とする映像音声復号装置。
4. 請求項３に記載の映像音声復号装置において、
   前記遅延時間を基に第２の遅延時間を設定する手段と、
   前記第２の遅延時間だけ遅延させる第２の音声遅延手段と、
   前記第１の音声遅延手段により遅延された音声と前記第２の音声遅延手段により遅延された音声とをクロスフェードするクロスフェード手段と、
   を更に備えることを特徴とする映像音声復号装置。
5. 入力トランスポートストリームに含まれるプログラムクロックレファレンスからシステムタイムクロックを再生するシステムタイムクロック再生ステップと、
   基準垂直信号の時刻を前記システムタイムクロックで計測する垂直同期信号／システムタイムクロック変換ステップと、
   映像パケタイズドエレメンタリストリームからプレゼンテーションタイムスタンプを抽出するプレゼンテーションタイムスタンプ抽出ステップと、
   前記システムタイムクロックで計測された基準垂直信号の時刻と前記プレゼンテーションタイムスタンプの時刻とを基に映像の遅延時間を算出する映像遅延時間算出ステップと、
   前記遅延時間だけ音声を遅延させる第１の音声遅延ステップと、
   を備えることを特徴とする映像／音声同期化方法。
6. 請求項５に記載の映像／音声同期化方法において、
   前記遅延時間を基に第２の遅延時間を設定するステップと、
   前記第２の遅延時間だけ遅延させる第２の音声遅延ステップと、
   前記第１の音声遅延ステップにより遅延された音声と前記第２の音声遅延ステップにより遅延された音声とをクロスフェードするクロスフェードステップと、
   を更に備えることを特徴とする映像／音声同期化方法。
7. 入力トランスポートストリームから映像パケタイズドエレメンタリストリーム、音声パケタイズドエレメンタリストリーム及びプログラムクロックレファレンスを分離する多重分離ステップと、
   前記映像パケタイズドエレメンタリストリームから映像信号を復号する映像復号ステップと、
   前記音声パケタイズドエレメンタリストリームから音声信号を復号する音声復号ステップと、
   前記プログラムクロックレファレンスからシステムタイムクロックを再生するシステムタイムクロック再生ステップと、
   基準垂直信号を出力時刻基準として、復号された映像信号を出力する映像フレームシンクロナイザと、
   を備える映像音声復号方法であって、
   基準垂直同期信号の時刻を前記システムタイムクロックで計測する垂直同期信号／システムタイムクロック変換ステップと、
   前記映像パケタイズドエレメンタリストリームからプレゼンテーションタイムスタンプを抽出するプレゼンテーションタイムスタンプ抽出ステップと、
   前記システムタイムクロックで計測された基準垂直信号の時刻と前記プレゼンテーションタイムスタンプの時刻を基に、映像信号の遅延時間を算出する映像遅延時間算出ステップと、
   前記遅延時間だけ音声信号を遅延させる第１の音声遅延ステップと、
   を備えることを特徴とする映像音声復号方法。
8. 請求項７に記載の映像音声復号方法において、
   前記遅延時間を基に第２の遅延時間を設定するステップと、
   前記第２の遅延時間だけ遅延させる第２の音声遅延ステップと、
   前記第１の音声遅延ステップにより遅延された音声と前記第２の音声遅延ステップにより遅延された音声とをクロスフェードするクロスフェードステップと、
   を更に備えることを特徴とする映像音声復号方法。
9. コンピュータに請求項５又は６に記載の映像／音声同期化方法を行わせるためのプログラム。
10. コンピュータに請求項７又は８に記載の映像音声復号方法を行わせるためのプログラム。

Images