JP2020145585A - 同期化装置、同期化方法及びプログラム - Google Patents

Abstract

【課題】映像音声信号の周波数を変更する際に、サンプリングレート変換に依拠することなく、音声に生じるノイズを抑制することを可能とすること。【解決手段】同期化装置は、第１周波数で入力される映像音声信号から分離される映像信号を記憶する映像記憶部と、上記映像音声信号から分離される音声信号を記憶する音声記憶部と、上記映像記憶部から読み出される上記映像信号及び上記音声記憶部から読み出される上記音声信号に基づいて出力信号を生成する出力信号生成部と、第２周波数で上記映像信号を読み出すように上記出力信号生成部を制御する制御部と、を備える。上記制御部は、上記第２周波数で上記音声信号を読み出すように上記出力信号生成部を制御し、但し、上記映像信号の二重の読出し又は読出しの欠落が発生する際に、上記第２周波数とは異なる第３周波数で上記音声信号を読み出すように上記出力信号生成部を制御する。【選択図】図３

Description

本開示は、同期化装置、同期化方法及びプログラムに関する。

テレビジョン放送の分野では、放送素材を搬送する映像音声信号がしばしば放送局間又はスタジオ間で非同期的に送受信される。受信側のシステムは、非同期的に送信された映像音声信号を受信すると、映像音声信号のフレームレートを自システムの周波数に合わせるための同期化処理を実行する。こうした同期化処理を実行する装置を、フレームシンクロナイザともいう。また、周波数の異なるストリーム間でデータを乗せ換える意味において、上記同期化処理を非同期乗せ換え処理ともいう。

多くの場合、音声信号は映像信号に多重化され、映像データ及び音声データの双方を含む多重化信号、即ち映像音声信号として扱われる。例えば、ＳＤ−ＳＤＩ（Standard Definition - Serial Digital Interface）方式の信号は最大で８チャンネル分の音声データを、ＨＤ−ＳＤＩ（High Definition - Serial Digital Interface）方式の信号は最大で１６チャンネル分の音声データを含むことができる。このように単一の映像信号ストリームに埋め込まれる音声データを、「エンベデッドオーディオ」ともいう。

同期化処理において、変更前の周波数よりも変更後の周波数が低い場合（即ち、フレームレートが引き下げられる場合）には、読出しの遅延を吸収するために、入力フレームの読出しが時折スキップされ得る。一方、変更前の周波数よりも変更後の周波数が高い場合（即ち、フレームレートが引き上げられる場合）には、入力フレームの不足を補うために、入力フレームが時折二重に読み出され得る。概して、映像フレームの欠落（絵飛び）及び二重読出し（絵の反復）は画質の劣化としてユーザに感知されにくいのに対し、音声フレームの欠落（音飛び）及び二重読出し（音の反復）は、ノイズとしてユーザに感知され易い。そこで、特許文献１、２及び３は、同期化の対象である音声データにいわゆるサンプリングレート変換を適用して音声データの連続性を保全し、ノイズを低減する手法を開示している。なお、特許文献４は、映像位相と音声位相との間の位相差に応じて、音声レベルの低い弱音信号を音声信号に挿入し又は音声信号から削除することにより、映像と音声とのずれを解消する手法を開示している。

特開２０００−０９２３４８号公報 特開２００４−０２３１３４号公報 特開２０１７−０９８８２０号公報 特開２０１７−０５０６２２号公報

しかしながら、サンプリングレート変換によって簡易に周波数を変換することができるのは、純粋な非圧縮の音声データのみである。例えば、映像音声信号に圧縮済みの音声データが多重化されている場合には、圧縮済みの音声データは、音声信号の波形をそのまま表現しているわけではないため、データを逆圧縮しない限りサンプリングレート変換を適用し得ない。また、映像音声信号の音声データに制御データが混在する場合、その制御データにサンプリングレート変換を適用するとデータが壊れてしまう。

したがって、映像音声信号の周波数を変更する際に、サンプリングレート変換に依拠することなく、音声に生じるノイズを抑制することのできる仕組みが実現されることが望ましい。

ある観点によれば、第１周波数で入力される映像音声信号から分離される映像信号を一時的に記憶する映像記憶部と、上記映像音声信号から分離される音声信号を一時的に記憶する音声記憶部と、上記映像記憶部から読み出される上記映像信号及び上記音声記憶部から読み出される上記音声信号に基づいて出力信号を生成する出力信号生成部と、第２周波数で上記映像記憶部から上記映像信号を読み出すように上記出力信号生成部を制御する制御部と、を備え、上記制御部は、上記第２周波数で上記音声記憶部から上記音声信号を読み出すように上記出力信号生成部を制御し、但し、上記映像信号の二重の読出し又は読出しの欠落が発生する際に、上記第２周波数とは異なる第３周波数で上記音声記憶部から上記音声信号を読み出すように上記出力信号生成部を制御する、同期化装置が提供される。

また別の観点によれば、第１周波数で入力される映像音声信号から分離される映像信号を映像記憶部に一時的に記憶させることと、上記映像音声信号から分離される音声信号を音声記憶部に一時的に記憶させることと、第２周波数で上記映像記憶部から上記映像信号を読み出すように上記映像信号の読出しを制御することと、上記第２周波数で上記音声記憶部から上記音声信号を読み出すように上記音声信号の読出しを制御することと、上記映像信号の二重の読出し又は読出しの欠落が発生する際に、上記第２周波数とは異なる第３周波数で上記音声記憶部から上記音声信号を読み出すように上記音声信号の読出しを制御することと、上記映像記憶部から読み出される上記映像信号及び上記音声記憶部から読み出される上記音声信号に基づいて出力信号を生成することと、を含む同期化方法が提供される。

また別の観点によれば、上記同期化方法をプロセッサに実行させるコンピュータプログラムが提供されてもよい。上記コンピュータプログラムを記憶した非一時的なコンピュータ読取可能な記憶媒体が提供されてもよい。

本開示に係る技術によれば、映像音声信号の周波数を変更する際に、サンプリングレート変換に依拠することなく、音声に生じるノイズを抑制することが可能となる。なお、本開示に係る技術により、当該効果の代わりに、又は当該効果とともに、他の効果が奏されてもよい。

同期化装置による入力フレームの二重の読出しについて説明するための説明図である。 同期化装置による入力フレームの読出しの欠落について説明するための説明図である。 第１の実施形態に係る同期化装置の構成の一例を示すブロック図である。 映像信号の二重の読出しが発生する場合の音声信号の読出し周波数の制御の一例について説明するための説明図である。 映像信号の読出しの欠落が発生する場合の音声信号の読出し周波数の制御の一例について説明するための説明図である。 第１の実施形態に係る同期化装置により実行される同期化処理の流れの一例を示すフローチャートである。 映像信号の二重の読出しが発生する場合の音声信号の読出し周波数の制御の一変形例について説明するための説明図である。 映像信号の読出しの欠落が発生する場合の音声信号の読出し周波数の制御の一変形例について説明するための説明図である。 第２の実施形態に係る同期化装置の構成の一例を示すブロック図である。 第３の実施形態に係る同期化装置の構成の一例を示すブロック図である。

以下、添付の図面を参照して本開示に係る技術の実施形態を詳細に説明する。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。

説明は、以下の順序で行われる。
１．概要
１−１．関連技術の説明
１−２．課題
２．第１の実施形態
２−１．同期化装置の構成例
２−２．処理の流れ
２−３．変形例
３．第２の実施形態
４．第３の実施形態
５．まとめ

＜＜１．概要＞＞
まず、図１及び図２を用いて、本開示に係る技術の実施形態に関連する技術の概要について説明する。

＜１−１．関連技術の説明＞
テレビジョン放送の分野では、放送素材を搬送する映像音声信号がしばしば放送局間又はスタジオ間で非同期的に送受信される。受信側のシステムは、非同期的に送信された映像音声信号を受信すると、映像音声信号の周波数を自システムの周波数に合わせるための同期化処理を実行する。こうした同期化処理を実行する装置を、フレームシンクロナイザともいう。多くの場合、音声信号は映像信号に多重化され、映像データ及び音声データの双方を含む多重化信号、即ち映像音声信号として扱われる。単一の映像信号ストリームに音声データが埋め込まれる場合には、そうした音声データを「エンベデッドオーディオ」ともいう。

同期化処理において、変更前の周波数よりも変更後の周波数が低い場合には、読出しの遅延を吸収するために、入力フレームが時折読み出されることなく破棄され得る。一方、変更前の周波数よりも変更後の周波数が高い場合には、入力フレームの不足を補うために、入力フレームが時折二重に読み出され得る。このように入力フレームが非連続的に読み出される事象を、本明細書では「非同期ジャンプ」という。「非同期ジャンプ」は、フレームの二重の読出し及び読出しの欠落を含む概念である。

概して、映像フレームの欠落（絵飛び）及び二重読出し（絵の反復）は画質の劣化としてユーザに感知されにくいのに対し、音声フレームの欠落（音飛び）及び二重読出し（音の反復）は、ノイズとしてユーザに感知され易い。このノイズを低減する手法として、同期化の対象である音声データにいわゆるサンプリングレート変換を適用して音声データの連続性を保全する技術が知られている（特許文献１、２及び３参照）。

図１は、同期化装置による入力フレームの二重の読出しについて説明するための説明図である。図１の上段には、第１周波数（周波数Ｆ_１）で入力される映像音声信号の一連の入力フレーム１１、１２、１３、１４…が示されている。図１の例では、入力される映像音声信号はインターレース方式の信号であり、Ｎ番目の入力フレーム（Ｎ＝１，２，…）は、第１フィールドの映像データＶＮｏ、第１フィールドの音声データＡＮｏ、第２フィールドの映像データＶＮｅ及び第２フィールドの音声データＡＮｅを含む。同期化装置は、こうした映像データ及び音声データを受信すると、受信したデータを例えばフレーム単位でメモリへ書き込む。そして、同期化装置は、メモリにより一時的に記憶されるデータを、後続の処理のために、第１周波数とは異なる第２周波数（周波数Ｆ_２）で読み出す。

図１の下段には、周波数Ｆ_２での入力フレーム１１、１２、１３、１４…の読出しのタイミングが示されている。ここでは、周波数Ｆ_２は周波数Ｆ_１よりも高いものとする（Ｆ_２＞Ｆ_１）。例えば、同期化装置は、時刻Ｔ_１１において、入力フレーム１１をメモリから読み出す。次に、同期化装置は、時刻Ｔ_１２において、入力フレーム１２をメモリから読み出す。次に、時刻Ｔ_１３が到来すると、入力フレーム１３は未だメモリに書き込まれていない。そこで、同期化装置は、時刻Ｔ_１３においても、入力フレーム１２をメモリから読み出す。即ち、この時点で入力フレーム１２が二重に読み出される。次に、同期化装置は、時刻Ｔ_１４において、入力フレーム１３をメモリから読み出す。

図１の例では、時刻Ｔ_１３の前後で入力フレーム１２の二重の読出しが発生する。これは、周波数Ｆ_２が周波数Ｆ_１よりも高い結果として、入力フレームの読出しのタイミングが書込みのタイミングを追い越してしまうためである。例えば、読み出されたコンテンツが再生される場合、映像はフレーム単位で符号化されることから、映像フレームが二重に読み出されても同じ映像が２フレーム期間にわたって表示されるに過ぎず、画質の劣化はユーザに感知されにくい。一方、音声は時刻Ｔ_１３において不連続となるため（音声データＡ２ｅ→Ａ２ｏ）、ノイズとしてユーザに感知され易い。そこで、既存の技術では、音声データＡ２ｅ及びＡ２ｏにサンプリングレート変換を適用することにより、音声データＡ２ｅ及びＡ２ｏが音声データＡ２ｅ´及びＡ２ｏ´へ変換される。その結果、時刻Ｔ_１３における音声データの不連続性が改善される。

図２は、同期化装置による入力フレームの読出しの欠落について説明するための説明図である。図２の上段には、周波数Ｆ_１で入力される映像音声信号の一連の入力フレーム１１、１２、１３、１４…が再び示されている。また、図２の下段には、周波数Ｆ_２での入力フレーム１１、１２、１３、１４…の読出しのタイミングが示されている。ここでは、周波数Ｆ_２は周波数Ｆ_１よりも低いものとする（Ｆ_２＜Ｆ_１）。

例えば、同期化装置は、時刻Ｔ_２１において、入力フレーム１１をメモリから読み出す。次に、時刻Ｔ_２２が到来すると、入力フレーム１３が既にメモリに書き込まれている。そこで、同期化装置は、入力フレーム１３をメモリから読み出す。次に、同期化装置は、時刻Ｔ_２３において、入力フレーム１４をメモリから読み出す。

図２の例では、時刻Ｔ_２２において入力フレーム１２の読出しの欠落が発生する。これは、周波数Ｆ_２が周波数Ｆ_１よりも低い結果として、入力フレームの書込みのタイミングが、読出しのタイミングを追い越してしまうためである。例えば、読み出されたコンテンツが再生される場合、映像フレームが１枚欠落しても画質の劣化はユーザに感知されにくい。一方、音声は時刻Ｔ_２２において不連続となるため（音声データＡ１ｅ→Ａ３ｏ）、ノイズとしてユーザに感知され易い。そこで、既存の技術では、音声データＡ１ｅ及びＡ３ｏにサンプリングレート変換を適用することにより、音声データＡ１ｅ及びＡ３ｏが音声データＡ１ｅ´及びＡ３ｏ´へ変換される。その結果、時刻Ｔ_２２における音声データの不連続性が改善される。

なお、ここでは、インターレース方式の信号の例を図１及び図２に示しているが、本開示に係る技術は、プログレッシブ方式の映像音声信号にも同等に適用可能である。

＜１−２．課題＞
上述した既存の技術によれば、例えば音声サンプルをアップサンプリングし又はダウンサンプリングする簡易なフィルタリング処理を通じて、音声の連続性を保全することができる。しかしながら、そうしたサンプリングレート変換によって周波数を変換することができるのは、純粋な非圧縮の音声データのみである。例えば、映像音声信号に圧縮済みの音声データが多重化されている場合には、圧縮済みの音声データは、音声信号の波形をそのまま表現しているわけではないため、データを逆圧縮しない限りサンプリングレート変換を適用し得ない。また、映像音声信号の音声データに制御データが混在する場合、その制御データにサンプリングレート変換を適用するとデータが壊れてしまう。

そこで、映像音声信号の周波数を変更する際にサンプリングレート変換に依拠することなく音声に生じるノイズを抑制するための本開示に係る技術の実施形態を、次節より詳細に説明する。

＜＜２．第１の実施形態＞＞
＜２−１．同期化装置の構成例＞
図３は、第１の実施形態に係る同期化装置１００の構成の一例を示すブロック図である。同期化装置１００は、例えば、放送局内、あるいは放送局のスタジオ内で使用される、いわゆるフレームシンクロナイザである。

同期化装置１００は、他の放送局から又は他のスタジオから第１周波数で送信される映像音声信号Ｉ_ＥＭＢを入力信号として受信する。映像音声信号Ｉ_ＥＭＢは、フレーム単位でセグメント化された映像データ及び音声データを搬送する多重化信号である。また、同期化装置１００は、自システムの同期ソースから第２周波数で送信される同期信号Ｉ_ＳＹＮを受信する。同期信号Ｉ_ＳＹＮは、基準信号又はクロック信号と呼ばれてもよい。同期化装置１００は、以下に具体的に説明する構成を通じ、同期信号Ｉ_ＳＹＮを参照して、映像音声信号Ｉ_ＥＭＢに含まれる映像データ及び音声データの周波数を第１周波数から第２周波数へ変換する。そして、同期化装置１００は、出力信号Ｏ_ＥＭＢを出力する。

図３を参照すると、同期化装置１００は、書込み信号生成部１１０、分離部１１５、映像記憶部１２０、音声記憶部１２５、出力信号生成部１３０、読出し信号生成部１５０、及び制御部１６０を備える。制御部１６０は、ジャンプ検出部１６１、周波数判定部１６３及びメモリ制御部１６５を含む。

（１）書込み信号生成部
書込み信号生成部１１０は、映像音声信号Ｉ_ＥＭＢに基づいて、書込み信号Ｐ_１を生成する。書込み信号Ｐ_１は、例えば、映像音声信号Ｉ_ＥＭＢにより示される第１周波数で周期的にオンとオフとを繰り返すパルス信号であってよい。書込み信号生成部１１０は、生成される書込み信号Ｐ_１をジャンプ検出部１６１、周波数判定部１６３及びメモリ制御部１６５へ出力する。

（２）分離部
分離部１１５は、映像音声信号Ｉ_ＥＭＢに多重化されている映像信号と音声信号とを分離（逆多重化）する。そして、分離部１１５は、分離された映像信号を例えばフレーム単位で映像記憶部１２０へ書き込む。また、分離部１１５は、分離された音声信号を例えばフレーム単位で音声記憶部１２５へ書き込む。一例として、映像音声信号Ｉ_ＥＭＢから分離される音声信号は、圧縮済み音声データを搬送する信号であってもよい。他の例として、映像音声信号Ｉ_ＥＭＢから分離される音声信号は、音声データと共に制御データを搬送する信号であってもよい。

（３）映像記憶部
映像記憶部１２０は、映像音声信号Ｉ_ＥＭＢから分離される映像信号を一時的に記憶する。例えば、分離部１１５は、後述するメモリ制御部１６５から入力される書込み信号Ｐ_１に従って、第１周波数で映像信号のそれぞれの映像フレームを映像記憶部１２０へ書き込む。映像記憶部１２０へ書き込まれたそれぞれの映像フレームは、後述する出力信号生成部１３０により読み出される。

（４）音声記憶部
音声記憶部１２５は、映像音声信号Ｉ_ＥＭＢから分離される音声信号を一時的に記憶する。例えば、分離部１１５は、書込み信号Ｐ_１に従って、第１周波数で音声信号のそれぞれの音声フレームを音声記憶部１２５へ書き込む。音声記憶部１２５へ書き込まれたそれぞれの音声フレームは、後述する出力信号生成部１３０により読み出される。

（５）出力信号生成部
出力信号生成部１３０は、映像記憶部１２０から読み出される映像信号及び音声記憶部１２５から読み出される音声信号に基づいて出力信号Ｏ_ＥＭＢを生成する。出力信号生成部１３０は、例えば、映像記憶部１２０から読み出される映像信号と音声記憶部１２５から読み出される音声信号とを多重化することにより、出力信号としての再多重化映像音声信号を生成してもよい。その代わりに、出力信号生成部１３０は、映像信号のみを含む映像信号ストリームと音声信号のみを含む音声信号ストリームとを別々に生成してもよい。

（６）読出し信号生成部
読出し信号生成部１５０は、同期信号Ｉ_ＳＹＮに基づいて、読出し信号Ｐ_２を生成する。読出し信号Ｐ_２は、例えば、第１周波数とは異なる第２周波数で周期的にオンとオフとを繰り返すパルス信号であってよい。読出し信号生成部１５０は、生成される読出し信号Ｐ_２をジャンプ検出部１６１、周波数判定部１６３及びメモリ制御部１６５へ出力する。

（７）ジャンプ検出部
ジャンプ検出部１６１は、書込み信号Ｐ_１及び読出し信号Ｐ_２に基づいて、非同期ジャンプが発生するタイミングを検出する。例えば、書込み信号Ｐ_１のパルスの累積的な個数と読出し信号Ｐ_２のパルスの累積的な個数との差の絶対値が１に達する時点が、非同期ジャンプが発生するタイミングであり得る。ジャンプ検出部１６１は、非同期ジャンプが発生するタイミングを特定するジャンプ検出信号をメモリ制御部１６５へ出力する。

（８）周波数判定部
周波数判定部１６３は、書込み信号Ｐ_１により示される第１周波数と読出し信号Ｐ_２により示される第２周波数とを比較（例えば、一方のパルスを基準として他方のパルスをカウント）することにより、発生する非同期ジャンプの種類を判定する。非同期ジャンプの種類は、フレームの二重の読出し及び読出しの欠落のうちのいずれかである。そして、周波数判定部１６３は、発生する非同期ジャンプの種類を示す周波数判定信号をメモリ制御部１６５へ出力する。

（９）メモリ制御部
メモリ制御部１６５は、読出し信号Ｐ_２により示される第２周波数で映像記憶部１２０から映像信号を読み出すように出力信号生成部１３０を制御する。また、メモリ制御部１６５は、上述したジャンプ検出信号及び周波数判定信号に応じて、上記第２周波数又は上記第２周波数とは異なる第３周波数で音声記憶部１２５から音声信号を読み出すように出力信号生成部１３０を制御する。

より具体的には、メモリ制御部１６５は、映像信号の二重の読出し又は読出しの欠落が発生しないことをジャンプ検出信号が示す場合、出力信号生成部１３０に、上記第２周波数で音声記憶部１２５から音声信号を読み出させる。一方、メモリ制御部１６５は、映像信号の二重の読出し又は読出しの欠落が発生することをジャンプ検出信号が示す場合、出力信号生成部１３０に、第３周波数で音声記憶部１２５から音声信号を読み出させる。映像信号の二重の読出しが発生する場合、第３周波数は第２周波数よりも低い値に設定され、よって映像フレームよりも低いレートで音声フレームが音声記憶部１２５から読み出される。映像信号の読出しの欠落が発生する場合、第３周波数は第２周波数よりも高い値に設定され、よって映像信号よりも高いレートで音声信号が音声記憶部１２５から読み出される。メモリ制御部１６５は、映像信号の二重の読出し又は読出しの欠落が発生するかに関わらず、映像記憶部１２０からの映像信号の読出しの周波数を上記第２周波数に維持する。

図４は、映像信号の二重の読出しが発生する場合の音声信号の読出し周波数の制御の一例について説明するための説明図である。図４の上段には、入力信号Ｉ_ＥＭＢを構成する一連の入力フレーム２１、２２、２３、２４…が示されている。入力フレーム２１、２２、２３、２４…は、第１周波数（周波数Ｆ_１）でメモリへ書き込まれる（映像フレームは映像記憶部１２０へ、音声フレームは音声記憶部１２５へ書き込まれる）。図４の例では、Ｍ番目の入力フレーム（Ｍ＝１，２，…）は、第１フィールドの映像データＶＭｏ、第１フィールドの音声データＡＭｏ、第２フィールドの映像データＶＭｅ及び第２フィールドの音声データＡＭｅを含む。

図４の中段には、周波数Ｆ_２での入力フレーム２１、２２、２３、２４…の読出しのタイミングが示されている。ここでは、周波数Ｆ_２は周波数Ｆ_１よりも高いものとする（Ｆ_２＞Ｆ_１）。例えば、時刻Ｔ_１１において、読出し信号Ｐ_２に従い、入力フレーム２１の映像データが映像記憶部１２０から、音声データが音声記憶部１２５から読み出される。次に、時刻Ｔ_１２において、読出し信号Ｐ_２に従い、入力フレーム２２の映像データが映像記憶部１２０から、音声データが音声記憶部１２５から読み出される。次に、時刻Ｔ_１３の時点では、入力フレーム１３は未だメモリに書き込まれていない。ここで、映像データの読出しは読出し信号Ｐ_２に従い周波数Ｆ_２で行われるため、時刻Ｔ_１３において、入力フレーム２２の映像データが映像記憶部１２０から再び読み出される。一方、音声データの読出しは、例えば、読出し信号Ｐ_２の半分の周波数に設定される読出し信号Ｐ_２´に従って周波数Ｆ_３（＝Ｆ_２／２）で行われる。そのため、時刻Ｔ_１３において音声記憶部１２５から音声データは読み出されない。次に、時刻Ｔ_１４において、入力フレーム２３の映像データが映像記憶部１２０から、音声データが音声記憶部１２５から読み出される。この時点で、音声データの読出しの周波数は、周波数Ｆ_２に復帰する。

このように、本実施形態では、映像信号の二重の読出しが発生する期間において音声データの読出しの周波数が一時的に引き下げられる。具体的には、図４の例では、二重に読み出される映像フレームの２回の読出しに対応する期間、第２周波数の半分に等しい第３周波数で音声信号が読み出される。こうした手法により、同期化前後の周波数の相違に起因してフレームの二重の読出しが発生する場合にも、サンプリングレート変換に依拠することなく、音声データの連続性を保全することができる。

図５は、映像信号の読出しの欠落が発生する場合の音声信号の読出し周波数の制御の一例について説明するための説明図である。図５の上段には、入力信号Ｉ_ＥＭＢを構成する一連の入力フレーム２１、２２、２３、２４…が再び示されている。

図５の中段には、周波数Ｆ_２での入力フレーム２１、２２、２３、２４…の読出しのタイミングが示されている。ここでは、周波数Ｆ_２は周波数Ｆ_１よりも低いものとする（Ｆ_２＜Ｆ_１）。例えば、時刻Ｔ_２１において、読出し信号Ｐ_２に従い、入力フレーム２１の映像データが映像記憶部１２０から、音声データが音声記憶部１２５から読み出される。次に、時刻Ｔ_２２においてデータの読出しが行われるとすると、その時点で既に入力フレーム２３がメモリへ書込み済みとなることから、入力フレーム２２の読出しが欠落し得る。そこで、メモリ制御部１６５は、映像データの読出しの周波数を周波数Ｆ_２に維持する一方で、音声データの読出しの周波数を読出し信号Ｐ_２の２倍の周波数Ｆ_３（＝２×Ｆ_２）に設定する。その結果、時刻Ｔ_２１´において、入力フレーム２２の音声データが音声記憶部１２５から読み出される。一方、入力フレーム２２の映像データの読出しは欠落する。次に、時刻Ｔ_２２において、入力フレーム２３の映像データが映像記憶部１２０から、音声データが音声記憶部１２５から読み出される。この時点で、音声データの読出しの周波数は、周波数Ｆ_２に復帰する。次に、時刻Ｔ_２３において、入力フレーム２４の映像データが映像記憶部１２０から、音声データが音声記憶部１２５から読み出される。

このように、本実施形態では、映像信号の読出しの欠落が発生する期間において音声データの読出しの周波数が一時的に引き上げられる。具体的には、図５の例では、読み出されない映像フレームの直前のフィールドの読出し及び読み出されない上記映像フレームの直後のフィールドの読出しに対応する期間、第２周波数の２倍に等しい第３周波数で音声信号が読み出される。こうした手法により、同期化前後の周波数の相違に起因してフレームの読出しの欠落が発生する場合にも、サンプリングレート変換に依拠することなく、音声データの連続性を保全することができる。

＜２−２．処理の流れ＞
図６は、第１の実施形態に係る同期化装置１００により実行される同期化処理の流れの一例を示すフローチャートである。

図６を参照すると、まず、分離部１１５は、入力信号である映像音声信号Ｉ_ＥＭＢから、映像信号及び音声信号を分離する（ステップＳ１０５）。

次いで、分離部１１５は、書込み信号生成部１１０により生成される書込み信号Ｐ_１に従って、第１周波数で、分離した映像信号を映像記憶部１２０へ、分離した音声信号を音声記憶部１２５へ書き込む（ステップＳ１１０）。

次いで、出力信号生成部１３０は、メモリ制御部１６５による制御の下で、読出し信号Ｐ_２に従って、第２周波数で、映像記憶部１２０から映像信号を読み出す（ステップＳ１１５）。

一方、音声信号の読出しの周波数は、非同期ジャンプが発生するか否かに依存して異なる値に設定される（ステップＳ１２０）。例えば、非同期ジャンプが発生しないことをジャンプ検出信号が示す場合、メモリ制御部１６５は、出力信号生成部１３０に、読出し信号Ｐ_２に従って第２周波数で音声記憶部１２５から音声信号を読み出させる（ステップＳ１２５）。一方、非同期ジャンプが発生することをジャンプ検出信号が示す場合、メモリ制御部１６５は、出力信号生成部１３０に、読出し信号Ｐ_２´に従って第３周波数で音声記憶部１２５から音声信号を読み出させる（ステップＳ１３０）。

次いで、出力信号生成部１３０は、映像記憶部１２０から読み出した映像信号及び音声記憶部１２５から読み出した音声信号に基づいて、出力信号を生成する（ステップＳ１３５）。

その後、処理すべき次の信号が存在する場合には、図６に示した同期化処理はステップＳ１０５へ戻る。処理すべき次の信号が存在しない場合には、同期化処理は終了する。

なお、図６は、同期化装置１００により実行される同期化処理の流れの概略を示しているものの、上述した処理ステップは、必ずしも図示した順序の通りに実行されなくてよい。例えば、第２周波数が第１周波数よりも高い場合、ステップＳ１１０における信号の書込みが行われることなく、ステップＳ１１５における映像信号の読出しが行われることがあり得る。また、第３周波数が第２周波数よりも高い場合、ステップＳ１１５における映像信号の読出しが行われることなく、ステップＳ１３０における音声信号の読出しが行われることがあり得る。さらに、非同期ジャンプの発生に関するステップＳ１２０での判定は、反復的な信号の書込み及び読出しとは並列的に行われ得る。これら例に関わらず、任意の２つ以上の処理ステップが並列的に実行されてもよく、一部の処理ステップが削除されてもよく、又はさらなる処理ステップが追加されてもよい。

＜２−３．変形例＞
図４では、映像信号の二重の読出しが発生する場合に、音声データの読出しの周波数が一時的に周波数Ｆ_２から周波数Ｆ_２の半分に等しい周波数Ｆ_３へ引き下げられる例を説明した。しかしながら、周波数の引き下げの割合は、かかる例には限定されない。例えば、図７を参照すると、音声データの読出しの周波数は、周波数Ｆ_２の３／４へ引き下げられており、それに応じて、時刻Ｔ_３１から時刻Ｔ_３４までの期間にわたって、映像フレームが４回読み出されている（入力フレーム２２の映像データの二重の読出しを含む）のに対し、音声フレームは３回のみ読み出されている（二重の読出しを含まない）。この場合にも、サンプリングレート変換に依拠することなく、音声データの連続性を保全することができる。

また、図５では、映像信号の読出しの欠落が発生する場合に、音声データの読出しの周波数が一時的に周波数Ｆ_２から周波数Ｆ_２の２倍に等しい周波数Ｆ_３へ引き上げられる例を説明した。しかしながら、周波数の引き上げの割合は、かかる例には限定されない。例えば、図８を参照すると、音声データの読出しの周波数は、周波数Ｆ_２の３／２へ引き上げられており、それに応じて、時刻Ｔ_４１から時刻Ｔ_４４までの期間にわたって、映像フレームが２回読み出されている（入力フレーム２２の映像データの読出しは欠落する）のに対し、音声フレームは３回読み出されている（音声データの読出しは欠落しない）。この場合にも、サンプリングレート変換に依拠することなく、音声データの連続性を保全することができる。

図７及び図８の例のように、（それぞれ図４及び図５の例と比較して）より長い期間にわたって音声データの読出しの周波数を変更することで、周波数の変更の割合をより緩やかに設定することが可能であり、ユーザにより感知される音声の品質への影響を小さく抑えることができる（変更の割合が１に近いほど、音声の聞こえ方の変化がより少ない）。

＜＜３．第２の実施形態＞＞
図９は、第２の実施形態に係る同期化装置２００の構成の一例を示すブロック図である。同期化装置２００は、例えば、第１の実施形態に係る同期化装置１００と同様の、いわゆるフレームシンクロナイザであってよい。図９を参照すると、同期化装置２００は、書込み信号生成部１１０、分離部１１５、映像記憶部１２０、音声記憶部１２５、出力信号生成部１３０、レベル判定部２４０、読出し信号生成部１５０、及び制御部２６０を備える。制御部２６０は、ジャンプ検出部２６１、周波数判定部１６３及びメモリ制御部２６５を含む。

（１）レベル判定部
レベル判定部２４０は、分離部１１５により分離される音声信号の音声レベルを判定する。例えば、レベル判定部２４０は、分離部１１５から出力される音声信号を解析して音声フレームごとの音声レベルの平均値を算出し、その算出結果を示す音声レベル信号をジャンプ検出部２６１へ出力する。

（２）ジャンプ検出部
ジャンプ検出部２６１は、第１の実施形態に係るジャンプ検出部１６１と同様に、書込み信号Ｐ_１及び読出し信号Ｐ_２に基づいて、非同期ジャンプが発生するタイミングを検出する。また、ジャンプ検出部２６１は、レベル判定部２４０から入力される音声レベル信号に基づいて、非同期ジャンプが発生するタイミングから最も近くの、音声レベルが所定の閾値を下回る（又はゼロに等しい）タイミングを決定する。本実施形態では、このように決定されるタイミング（即ち、必ずしも非同期ジャンプが発生するタイミングには一致しないタイミング）で、音声データの読出しの周波数が一時的に変更され得る。ジャンプ検出部２６１は、決定したタイミングを特定するジャンプ検出信号をメモリ制御部２６５へ出力する。

（３）メモリ制御部
メモリ制御部２６５は、読出し信号Ｐ_２により示される第２周波数で映像記憶部１２０から映像信号を読み出すように出力信号生成部１３０を制御する。また、メモリ制御部２６５は、上述したジャンプ検出信号及び周波数判定信号に応じて、上記第２周波数又は上記第２周波数とは異なる第３周波数で音声記憶部１２５から音声信号を読み出すように出力信号生成部１３０を制御する。

より具体的には、メモリ制御部２６５は、映像信号の二重の読出し又は読出しの欠落が発生しないことをジャンプ検出信号が示す場合、出力信号生成部１３０に、上記第２周波数で音声記憶部１２５から音声信号を読み出させる。一方、メモリ制御部２６５は、映像信号の二重の読出し又は読出しの欠落が発生することをジャンプ検出信号が示す場合、出力信号生成部１３０に、第３周波数で音声記憶部１２５から音声信号を読み出させる。とりわけ、本実施形態において、メモリ制御部２６５は、映像信号の二重の読出し又は読出しの欠落が発生する場合に、（ジャンプ検出信号により示される）音声信号の音声レベルがゼロであるか又は相対的に低いと判定される期間に上記第３周波数で音声信号を読み出すように出力信号生成部１３０を制御する。

このように、音声レベルがゼロであるか又は相対的に低いタイミングで音声データの読出しを一時的に変更することで、音声の周波数の変化に起因してユーザにより音声の品質の劣化が感知される可能性を排除し、音声の聞こえ方を一定に保つことができる。

＜＜４．第３の実施形態＞＞
次いで、図１０を用いて、第３の実施形態について説明する。上述した第１及び第２の実施形態は具体的な実施形態であり、一方で第３の実施形態はより一般化された実施形態である。

図１０は、第３の実施形態に係る同期化装置３００の構成の一例を示すブロック図である。図１０を参照すると、同期化装置３００は、映像記憶部３２０、音声記憶部３２５、出力信号生成部３３０及び制御部３６０を備える。

映像記憶部３２０は、第１周波数で入力される映像音声信号から分離される映像信号Ｉ_Ｖを一時的に記憶する。音声記憶部３２５は、上記映像音声信号から分離される音声信号Ｉ_Ａを一時的に記憶する。出力信号生成部３３０は、映像記憶部３２０から読み出される上記映像信号及び音声記憶部３２５から読み出される上記音声信号に基づいて、出力信号を生成する。

制御部３６０は、第２周波数Ｆ_２で映像記憶部３２０から上記映像信号を読み出すように出力信号生成部３３０を制御する。また、制御部３６０は、第２周波数Ｆ_２で音声記憶部３２５から上記音声信号を読み出すように出力信号生成部３３０を制御する。但し、制御部３６０は、映像信号の二重の読出し又は読出しの欠落が発生する際に、第２周波数Ｆ_２とは異なる第３周波数Ｆ_２´で音声記憶部３２５から上記音声信号を読み出すように出力信号生成部３３０を制御する。

なお、第１及び第２の実施形態において説明した任意の構成又は処理が本実施形態に適用されてよい。

＜＜５．まとめ＞＞
ここまで、図１〜図１０を用いて本開示のいくつかの実施形態について詳細に説明した。上述した実施形態では、第１周波数で入力される映像音声信号から分離される映像信号及び音声信号が記憶部により一時的に記憶され、上記記憶部からの上記映像信号の読み出しが第２周波数で行われるように制御され、上記記憶部からの上記音声信号の読み出しもまた第２周波数で行われるように制御され、但し、映像信号の二重の読出し又は読出しの欠落が発生する際に、上記第２周波数とは異なる第３周波数で上記記憶部から上記音声信号が読み出される。かかる構成によれば、同期化処理において生じる非同期ジャンプの際の音声の反復又は欠落に起因するノイズを、サンプリングレート変換に依拠することなく抑制することができる。また、上述した実施形態がサンプリングレート変換に依拠しないという特徴は、その仕組みが圧縮済み音声データを搬送する信号又は音声データと共に制御データを搬送する信号にも（データの逆圧縮又は制御データの分離といった）特別な処理を追加する必要性なく適用可能であるという利点をもたらす。

ある実施形態では、上記映像音声信号から分離される上記音声信号の音声レベルが判定され、上記音声レベルがゼロであるか又は相対的に低いと判定される期間に、上記記憶部から上記第３周波数で上記音声信号が読み出され得る。かかる構成によれば、音声の反復又は欠落に起因するノイズが抑制されるのみならず、音声の周波数の変化に起因して音声の品質の劣化が感知される可能性をも排除し、同期化処理を通じて音声の聞こえ方を一定に保つことができる。

なお、本開示に係る技術は、上述した実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、並びに、本開示のスコープ及び精神から逸脱することなく様々な変形が可能であるということが、当業者に理解されるであろう。

また、本明細書において説明した装置の機能は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組み合わせのいずれで実現されてもよい。ソフトウェアを構成するコンピュータプログラムのプログラム命令は、例えば、装置の内部又は外部のコンピュータ読取可能な記憶媒体において記憶され、実行時にメモリへ読み込まれてプロセッサにより実行される。

上記実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）
第１周波数で入力される映像音声信号から分離される映像信号を一時的に記憶する映像記憶部と、
前記映像音声信号から分離される音声信号を一時的に記憶する音声記憶部と、
前記映像記憶部から読み出される前記映像信号及び前記音声記憶部から読み出される前記音声信号に基づいて出力信号を生成する出力信号生成部と、
第２周波数で前記映像記憶部から前記映像信号を読み出すように前記出力信号生成部を制御する制御部と、
を備え、
前記制御部は、前記第２周波数で前記音声記憶部から前記音声信号を読み出すように前記出力信号生成部を制御し、但し、前記映像信号の二重の読出し又は読出しの欠落が発生する際に、前記第２周波数とは異なる第３周波数で前記音声記憶部から前記音声信号を読み出すように前記出力信号生成部を制御する、
同期化装置。

（付記２）
前記同期化装置は、前記音声信号の音声レベルを判定する判定部、をさらに備え、
前記制御部は、前記映像信号の前記二重の読出し又は前記読出しの欠落が発生する場合に、前記音声信号の前記音声レベルがゼロであるか又は相対的に低いと判定される期間、前記第３周波数で前記音声信号を読み出すように前記出力信号生成部を制御する、
付記１に記載の同期化装置。

（付記３）
前記制御部は、前記映像信号の前記二重の読出し又は前記読出しの欠落が発生するかに関わらず、前記映像記憶部からの前記映像信号の読出しの周波数を前記第２周波数に維持する、付記１又は付記２に記載の同期化装置。

（付記４）
前記音声信号は、圧縮済み音声データを搬送する信号である、付記１〜３のいずれか１項に記載の同期化装置。

（付記５）
前記音声信号は、音声データと共に制御データを搬送する信号である、付記１〜４のいずれか１項に記載の同期化装置。

（付記６）
前記制御部は、映像フレームの二重の読出しが発生する場合に、二重に読み出される当該映像フレームの２回の読出しに対応する期間、前記第２周波数の半分に等しい前記第３周波数で前記音声信号を読み出すように前記出力信号生成部を制御する、付記１〜５のいずれか１項に記載の同期化装置。

（付記７）
前記制御部は、映像フレームの読出しの欠落が発生する場合に、読み出されない当該映像フレームの直前のフィールドの読出し及び読み出されない当該映像フレームの直後のフィールドの読出しに対応する期間、前記第２周波数の２倍に等しい前記第３周波数で前記音声信号を読み出すように前記出力信号生成部を制御する、付記１〜５のいずれか１項に記載の同期化装置。

（付記８）
前記出力信号生成部は、前記映像記憶部から読み出される前記映像信号と前記音声記憶部から読み出される前記音声信号とを多重化することにより、前記出力信号としての再多重化映像音声信号を生成する、付記１〜７のいずれか１項に記載の同期化装置。

（付記９）
第１周波数で入力される映像音声信号から分離される映像信号を映像記憶部に一時的に記憶させることと、
前記映像音声信号から分離される音声信号を音声記憶部に一時的に記憶させることと、
第２周波数で前記映像記憶部から前記映像信号を読み出すように前記映像信号の読出しを制御することと、
前記第２周波数で前記音声記憶部から前記音声信号を読み出すように前記音声信号の読出しを制御することと、
前記映像信号の二重の読出し又は読出しの欠落が発生する際に、前記第２周波数とは異なる第３周波数で前記音声記憶部から前記音声信号を読み出すように前記音声信号の読出しを制御することと、
前記映像記憶部から読み出される前記映像信号及び前記音声記憶部から読み出される前記音声信号に基づいて出力信号を生成することと、
を含む同期化方法。

（付記１０）
第１周波数で入力される映像音声信号から分離される映像信号を一時的に記憶する映像記憶部と、
前記映像音声信号から分離される音声信号を一時的に記憶する音声記憶部と、
前記映像記憶部から読み出される前記映像信号及び前記音声記憶部から読み出される前記音声信号に基づいて出力信号を生成する出力信号生成部と、
を備える同期化装置のプロセッサに、
第２周波数で前記映像記憶部から前記映像信号を読み出すように前記出力信号生成部を制御することと、
前記第２周波数で前記音声記憶部から前記音声信号を読み出すように前記出力信号生成部を制御し、但し、前記映像信号の二重の読出し又は読出しの欠落が発生する際に、前記第２周波数とは異なる第３周波数で前記音声記憶部から前記音声信号を読み出すように前記出力信号生成部を制御することと、
を実行させるためのコンピュータプログラム。

本開示に係る技術は、限定ではないものの、テレビジョン放送の分野において、放送局間又はスタジオ間で非同期的に送受信される映像音声信号について同期化処理を実行する放送局システムにおいて利用可能である。

１００，２００，３００ 同期化装置
１１０ 書込み信号生成部
１１５ 分離部
１２０，３２０ 映像記憶部
１２５，３２５ 音声記憶部
１３０，３３０ 出力信号生成部
２４０ レベル判定部
１５０ 読出し信号生成部
１６０，２６０，３６０ 制御部
１６１，２６１ ジャンプ検出部
１６３ 周波数判定部
１６５，２６５ メモリ制御部

Claims (10)

1. 第１周波数で入力される映像音声信号から分離される映像信号を一時的に記憶する映像記憶部と、
   前記映像音声信号から分離される音声信号を一時的に記憶する音声記憶部と、
   前記映像記憶部から読み出される前記映像信号及び前記音声記憶部から読み出される前記音声信号に基づいて出力信号を生成する出力信号生成部と、
   第２周波数で前記映像記憶部から前記映像信号を読み出すように前記出力信号生成部を制御する制御部と、
   を備え、
   前記制御部は、前記第２周波数で前記音声記憶部から前記音声信号を読み出すように前記出力信号生成部を制御し、但し、前記映像信号の二重の読出し又は読出しの欠落が発生する際に、前記第２周波数とは異なる第３周波数で前記音声記憶部から前記音声信号を読み出すように前記出力信号生成部を制御する、
   同期化装置。
2. 前記同期化装置は、前記音声信号の音声レベルを判定する判定部、をさらに備え、
   前記制御部は、前記映像信号の前記二重の読出し又は前記読出しの欠落が発生する場合に、前記音声信号の前記音声レベルがゼロであるか又は相対的に低いと判定される期間、前記第３周波数で前記音声信号を読み出すように前記出力信号生成部を制御する、
   請求項１に記載の同期化装置。
3. 前記制御部は、前記映像信号の前記二重の読出し又は前記読出しの欠落が発生するかに関わらず、前記映像記憶部からの前記映像信号の読出しの周波数を前記第２周波数に維持する、請求項１又は請求項２に記載の同期化装置。
4. 前記音声信号は、圧縮済み音声データを搬送する信号である、請求項１〜３のいずれか１項に記載の同期化装置。
5. 前記音声信号は、音声データと共に制御データを搬送する信号である、請求項１〜４のいずれか１項に記載の同期化装置。
6. 前記制御部は、映像フレームの二重の読出しが発生する場合に、二重に読み出される当該映像フレームの２回の読出しに対応する期間、前記第２周波数の半分に等しい前記第３周波数で前記音声信号を読み出すように前記出力信号生成部を制御する、請求項１〜５のいずれか１項に記載の同期化装置。
7. 前記制御部は、映像フレームの読出しの欠落が発生する場合に、読み出されない当該映像フレームの直前のフィールドの読出し及び読み出されない当該映像フレームの直後のフィールドの読出しに対応する期間、前記第２周波数の２倍に等しい前記第３周波数で前記音声信号を読み出すように前記出力信号生成部を制御する、請求項１〜５のいずれか１項に記載の同期化装置。
8. 前記出力信号生成部は、前記映像記憶部から読み出される前記映像信号と前記音声記憶部から読み出される前記音声信号とを多重化することにより、前記出力信号としての再多重化映像音声信号を生成する、請求項１〜７のいずれか１項に記載の同期化装置。
9. 第１周波数で入力される映像音声信号から分離される映像信号を映像記憶部に一時的に記憶させることと、
   前記映像音声信号から分離される音声信号を音声記憶部に一時的に記憶させることと、
   第２周波数で前記映像記憶部から前記映像信号を読み出すように前記映像信号の読出しを制御することと、
   前記第２周波数で前記音声記憶部から前記音声信号を読み出すように前記音声信号の読出しを制御することと、
   前記映像信号の二重の読出し又は読出しの欠落が発生する際に、前記第２周波数とは異なる第３周波数で前記音声記憶部から前記音声信号を読み出すように前記音声信号の読出しを制御することと、
   前記映像記憶部から読み出される前記映像信号及び前記音声記憶部から読み出される前記音声信号に基づいて出力信号を生成することと、
   を含む同期化方法。
10. 第１周波数で入力される映像音声信号から分離される映像信号を一時的に記憶する映像記憶部と、
    前記映像音声信号から分離される音声信号を一時的に記憶する音声記憶部と、
    前記映像記憶部から読み出される前記映像信号及び前記音声記憶部から読み出される前記音声信号に基づいて出力信号を生成する出力信号生成部と、
    を備える同期化装置のプロセッサに、
    第２周波数で前記映像記憶部から前記映像信号を読み出すように前記出力信号生成部を制御することと、
    前記第２周波数で前記音声記憶部から前記音声信号を読み出すように前記出力信号生成部を制御し、但し、前記映像信号の二重の読出し又は読出しの欠落が発生する際に、前記第２周波数とは異なる第３周波数で前記音声記憶部から前記音声信号を読み出すように前記出力信号生成部を制御することと、
    を実行させるためのコンピュータプログラム。
    

Images