JP2009088654A - Frame synchronizer, frame synchronizing method, and program - Google Patents
Frame synchronizer, frame synchronizing method, and program Download PDFInfo
- Publication number
- JP2009088654A JP2009088654A JP2007252038A JP2007252038A JP2009088654A JP 2009088654 A JP2009088654 A JP 2009088654A JP 2007252038 A JP2007252038 A JP 2007252038A JP 2007252038 A JP2007252038 A JP 2007252038A JP 2009088654 A JP2009088654 A JP 2009088654A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- audio signal
- audio
- frame
- discontinuity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 13
- 230000005236 sound signal Effects 0.000 claims abstract description 180
- 238000001514 detection method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 230000003111 delayed effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Television Receiver Circuits (AREA)
- Television Systems (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Circuits Of Receivers In General (AREA)
- Synchronizing For Television (AREA)
Abstract
Description
本発明は、音声多重信号を処理可能なフレームシンクロナイザ、フレーム同期方法、およびプログラムに関する。 The present invention relates to a frame synchronizer, a frame synchronization method, and a program capable of processing an audio multiplexed signal.
フレームシンクロナイザは、例えば、放送局などにおいて、入力される映像信号の同期を基準信号の同期に一致させるために用いられる。一般に、映像信号と基準信号との間には、僅かな周波数差が存在する。このため、フレームシンクロナイザは、内蔵されたフレームメモリに対して映像信号を書込み/読出しを行うことで、周波数差を吸収しながら映像信号を出力する。そして、フレームシンクロナイザは、フレームメモリの容量に応じた閾値を超える映像信号がフレームメモリに書込まれる場合には、映像信号のフレーム単位でフレームの飛越しまたは繰返しを伴う不連続を発生させることで、周波数差を吸収する。 The frame synchronizer is used, for example, in a broadcasting station or the like to make the synchronization of the input video signal coincide with the synchronization of the reference signal. In general, there is a slight frequency difference between the video signal and the reference signal. Therefore, the frame synchronizer outputs the video signal while absorbing the frequency difference by writing / reading the video signal to / from the built-in frame memory. When a video signal exceeding a threshold corresponding to the capacity of the frame memory is written to the frame memory, the frame synchronizer generates a discontinuity that involves skipping or repeating frames in units of frames of the video signal. Absorb frequency difference.
デジタル化された映像信号および音声信号を多重した多重信号として伝送、記録するための標準規格が下記非特許文献1、2により規定され、各種の映像処理機器により採用されている。
フレームシンクロナイザでは、多重信号のままで処理を行うと、フレーム不連続の発生に際して、音声信号の出力にも不連続が生じ、大きなノイズとして認識されてしまう。このため、フレームシンクロナイザでは、映像信号のみを処理し、音声信号を別系統で処理することが一般的である。 In the frame synchronizer, when processing is performed with the multiplexed signal as it is, when the frame discontinuity occurs, the output of the audio signal also becomes discontinuous and is recognized as a large noise. For this reason, in a frame synchronizer, it is common to process only a video signal and process an audio signal in another system.
下記特許文献1には、音声信号の分離機能および多重機能を有し、フレーム不連続の発生が音声信号の出力に及ぼす影響を抑制するためのフレームシンクロナイザが開示されている。
しかしながら、このフレームシンクロナイザでは、多重信号が入出力信号として処理可能となるが、装置内部で音声信号の分離および多重を行うための音声処理回路が必要となり、装置構成が複雑になるという問題がある。また、音声信号の連続性が維持された状態で、映像信号に不連続が生じるので、フレーム不連続の発生時点の前後では、映像信号と音声信号との間で出力時点のズレが生じるという問題がある。 However, this frame synchronizer can process multiplexed signals as input / output signals, but requires an audio processing circuit for separating and multiplexing audio signals inside the apparatus, which complicates the apparatus configuration. . In addition, since discontinuity occurs in the video signal while the continuity of the audio signal is maintained, there is a problem that the output time is shifted between the video signal and the audio signal before and after the occurrence point of the frame discontinuity. There is.
本発明は上記問題点に鑑みてなされたものであり、その目的は、フレーム不連続の発生に際して、音声ノイズの発生、および映像信号と音声信号との間での出力時点のズレの発生を抑制可能な、新規かつ改良された、フレームシンクロナイザ、フレーム同期方法およびプログラムを提供することにある。また、本発明の他の目的は、簡易な構成を用いて、音声信号の分離および多重処理を伴うことなしに、多重信号のままでフレーム同期を実現可能な、多重信号を処理可能な、新規かつ改良された、フレームシンクロナイザ、フレーム同期方法およびプログラムを提供することにある。 The present invention has been made in view of the above problems, and an object thereof is to suppress the generation of audio noise and the occurrence of a shift in the output time between the video signal and the audio signal when a frame discontinuity occurs. It is an object of the present invention to provide a new and improved frame synchronizer, frame synchronization method and program. Another object of the present invention is to provide a novel configuration capable of processing multiple signals using a simple configuration and capable of realizing frame synchronization with the multiplexed signals without any separation and multiplexing processing of the audio signals. Another object of the present invention is to provide a frame synchronizer, a frame synchronization method and a program which are improved.
上記課題を解決するために、本発明の第1の観点によれば、映像信号および音声信号が多重された信号を入力するための信号入力部と、入力された信号が書込まれ、書込まれた信号が読出されるフレームメモリと、基準信号が入力され、入力された基準信号に応じて信号の書込みおよび読出しを制御し、信号の書込み時点と読出し時点との差から、読出される信号のフレーム間の不連続を検出し、不連続が検出された場合にフレームの飛越しまたは繰返しを発生させて信号の読出しを行う制御部と、不連続が検出された場合に、音声信号の振幅を調節してミュート状態を形成し、多重された音声信号を不連続にする音声信号処理部と、音声信号処理部により処理された音声信号を、映像信号および音声信号が多重された信号として出力するための信号出力部と、を備えるフレームシンクロナイザが提供される。 In order to solve the above problems, according to a first aspect of the present invention, a signal input unit for inputting a signal in which a video signal and an audio signal are multiplexed, and the input signal are written and written. A frame memory from which a read signal is read, a reference signal is input, signal writing and reading are controlled in accordance with the input reference signal, and a signal read from the difference between the signal writing time and the reading time A control unit that detects a discontinuity between frames and reads a signal by skipping or repeating a frame when the discontinuity is detected, and an amplitude of the audio signal when the discontinuity is detected The audio signal processing unit which forms a mute state by adjusting the audio signal processing unit to make the multiplexed audio signal discontinuous, and the audio signal processed by the audio signal processing unit is output as a signal in which the video signal and the audio signal are multiplexed Shita Frame synchronizer comprising: a signal output unit, a is provided.
かかる構成によれば、不連続が検出された場合に、音声信号の振幅を調節してミュート状態を形成し、多重された音声信号が不連続にされる。これにより、フレーム不連続の発生に際して、音声ノイズの発生を抑制することができる。また、フレーム不連続の発生に際して、多重された音声信号が不連続にされるので、映像信号と音声信号との間での出力時点のズレが原理的に発生しない。さらに、簡易な構成を用いて、音声信号の分離および多重処理を伴うことなしに、多重信号のままでフレーム同期を実現することができる。 According to this configuration, when discontinuity is detected, the amplitude of the audio signal is adjusted to form a mute state, and the multiplexed audio signal is made discontinuous. As a result, it is possible to suppress the occurrence of audio noise when frame discontinuity occurs. In addition, when the frame discontinuity occurs, the multiplexed audio signal is discontinuous, and thus there is no theoretical shift in the output time between the video signal and the audio signal. Furthermore, using a simple configuration, frame synchronization can be realized with the multiplexed signal as it is without accompanying separation and multiplexing processing of the audio signal.
また、上記音声信号処理部は、不連続が検出された場合に、映像信号が不連続にされると同時に、多重された音声信号を不連続にしてもよい。かかる構成によれば、映像信号が不連続にされると同時に、多重された音声信号が不連続にされる。これにより、フレーム不連続の発生に際して、映像信号と音声信号との間での出力時点のズレの発生を抑制することができる。 The audio signal processing unit may make the multiplexed audio signal discontinuous at the same time that the video signal is made discontinuous when discontinuity is detected. According to this configuration, the video signal is made discontinuous and at the same time the multiplexed audio signal is made discontinuous. Thereby, when the frame discontinuity occurs, it is possible to suppress the occurrence of a shift in the output time between the video signal and the audio signal.
また、上記信号から抽出された音声信号が書込まれ、書込まれた音声信号が読出される音声メモリと、音声信号の振幅から無音状態を検出する無音検出部と、をさらに含み、制御部は、入力された基準信号および無音状態の検出結果に応じて音声信号の書込みおよび読出しを制御し、音声信号の書込み時点と読出し時点との差から、読出される音声信号のフレーム間の不連続を検出し、不連続が検出された場合にフレームの飛越しまたは繰返しを発生させて音声信号の読出しを行い、音声信号処理部は、不連続が検出され、かつ、無音状態が検出された場合に、多重された音声信号を不連続にしてもよい。かかる構成によれば、不連続が検出され、かつ、無音状態が検出された場合に、多重された音声信号が不連続にされる。これにより、音声信号の無音状態を考慮した上で、フレーム不連続に伴う音声ノイズの発生を抑制することができる。 The control unit further includes an audio memory in which an audio signal extracted from the signal is written, an audio memory from which the written audio signal is read, and a silence detection unit that detects a silence state from the amplitude of the audio signal, Controls the writing and reading of the audio signal according to the input reference signal and the detection result of the silence state, and the discontinuity between the frames of the read audio signal is determined from the difference between the writing time and the reading time of the audio signal. When a discontinuity is detected, the audio signal is read by skipping or repeating the frame, and the audio signal processing unit detects a discontinuity and a silence state is detected. In addition, the multiplexed audio signal may be discontinuous. According to this configuration, when a discontinuity is detected and a silence state is detected, the multiplexed audio signal is discontinuous. Accordingly, it is possible to suppress the generation of audio noise due to frame discontinuity in consideration of the silence state of the audio signal.
また、上記音声信号処理部は、不連続が検出され、かつ、音声メモリの容量に応じた閾値を超える音声信号が音声メモリに書込まれる場合には、無音状態の検出の有無にかかわらずに、多重された音声信号を不連続にしてもよい。かかる構成によれば、不連続が検出され、かつ、音声メモリに閾値以上の音声信号が書込まれる場合には、無音状態の検出の有無にかかわらずに、多重された音声信号が不連続にされる。これにより、音声メモリの状態を考慮した上で、フレーム不連続に伴う音声ノイズの発生を抑制することができる。 In addition, when the audio signal processing unit detects discontinuity and an audio signal exceeding a threshold value corresponding to the capacity of the audio memory is written to the audio memory, the audio signal processing unit regardless of whether or not a silent state is detected. The multiplexed audio signal may be discontinuous. According to this configuration, when discontinuity is detected and an audio signal that is equal to or greater than the threshold value is written in the audio memory, the multiplexed audio signal is discontinuous regardless of whether or not a silence state is detected. Is done. As a result, it is possible to suppress the occurrence of audio noise due to frame discontinuity in consideration of the state of the audio memory.
また、上記音声信号処理部は、多重された音声信号を不連続にする前に、音声信号の振幅を漸減させ、多重された音声信号を不連続にした後に、音声信号の振幅を漸増させてもよい。かかる構成によれば、音声信号の振幅は、多重された音声信号を不連続にする前に漸減され、不連続にした後に漸増される。これにより、フレーム不連続に伴う音声ノイズの発生を認識され難くすることができる。 The audio signal processing unit gradually decreases the amplitude of the audio signal before making the multiplexed audio signal discontinuous, and gradually increases the amplitude of the audio signal after making the multiplexed audio signal discontinuous. Also good. According to such a configuration, the amplitude of the audio signal is gradually reduced before the multiplexed audio signal is made discontinuous, and gradually increased after being made discontinuous. As a result, it is possible to make it difficult to recognize the occurrence of audio noise due to frame discontinuity.
上記課題を解決するために、本発明の第2の観点によれば、映像信号および音声信号が多重された信号を入力するための信号入力ステップと、基準信号が入力され、入力された基準信号に応じて信号の書込みおよび読出しを制御し、信号の書込み時点と読出し時点との差から、読出される信号のフレーム間の不連続を検出し、不連続が検出された場合にフレームの飛越しまたは繰返しを発生させて信号の読出しを行う制御ステップと、不連続が検出された場合に、音声信号の振幅を調節してミュート状態を形成し、多重された音声信号を不連続にする音声信号処理ステップと、音声信号処理ステップで処理された音声信号を、映像信号および音声信号が多重された信号として出力するための信号出力ステップと、を含むフレーム同期方法が提供される。 In order to solve the above problems, according to a second aspect of the present invention, a signal input step for inputting a signal in which a video signal and an audio signal are multiplexed, a reference signal is input, and the input reference signal is input. Controls signal writing and reading according to the signal, detects the discontinuity between the frames of the signal to be read from the difference between the signal writing time and the reading time, and skips frames when a discontinuity is detected. Or, a control step for reading signals by generating repetition, and an audio signal that makes the multiplexed audio signal discontinuous by adjusting the amplitude of the audio signal to form a mute state when discontinuity is detected A frame synchronization method is provided that includes a processing step and a signal output step for outputting the audio signal processed in the audio signal processing step as a signal in which the video signal and the audio signal are multiplexed. It is.
かかる方法によれば、不連続が検出された場合に、音声信号の振幅を調節してミュート状態を形成し、多重された音声信号が不連続にされる。これにより、フレーム不連続の発生に際して、音声ノイズの発生を抑制することができる。また、フレーム不連続の発生に際して、多重された音声信号が不連続にされるので、映像信号と音声信号との間での出力時点のズレが原理的に発生しない。 According to this method, when discontinuity is detected, the amplitude of the audio signal is adjusted to form a mute state, and the multiplexed audio signal is made discontinuous. As a result, it is possible to suppress the occurrence of audio noise when frame discontinuity occurs. In addition, when the frame discontinuity occurs, the multiplexed audio signal is discontinuous, and thus there is no theoretical shift in the output time between the video signal and the audio signal.
上記課題を解決するために、本発明の第3の観点によれば、第1の観点に係るフレームシンクロナイザとしてコンピュータを機能させるためのプログラムが提供される。 In order to solve the above problems, according to a third aspect of the present invention, there is provided a program for causing a computer to function as a frame synchronizer according to the first aspect.
本発明によれば、フレーム不連続の発生に際して、音声ノイズの発生、および映像信号と音声信号との間での出力時点のズレの発生を抑制可能な、フレームシンクロナイザ、フレーム同期方法およびプログラムを提供することができる。また、簡易な構成を用いて、音声信号の分離および多重処理を伴うことなしに、多重信号のままでフレーム同期を実現可能な、多重信号を処理可能な、フレームシンクロナイザ、フレーム同期方法およびプログラムを提供することができる。 According to the present invention, it is possible to provide a frame synchronizer, a frame synchronization method, and a program capable of suppressing the generation of audio noise and the occurrence of a shift in output time between a video signal and an audio signal when a frame discontinuity occurs. can do. In addition, a frame synchronizer, a frame synchronization method, and a program capable of processing a multiplexed signal that can realize frame synchronization with a multiplexed signal without using separation and multiplexing processing of an audio signal by using a simple configuration. Can be provided.
以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.
(第1の実施形態)
図1は、本発明の第1の実施形態に係るフレームシンクロナイザを示す説明図である。図1に示すように、本実施形態に係るフレームシンクロナイザ100は、信号入力(S/P)部110、フレームメモリ120、制御部130、音声信号処理部140、および信号出力(P/S)部160を含んで構成される。
(First embodiment)
FIG. 1 is an explanatory diagram showing a frame synchronizer according to the first embodiment of the present invention. As shown in FIG. 1, the
信号入力(S/P)部110は、SDI(シリアルデジタルインターフェース)信号など、デジタル化された映像信号および音声信号が多重された信号を外部から入力され、シリアル/パラレル変換する。フレームメモリ120は、パラレル形式に変換された映像信号および音声信号をフレーム単位で1フレーム以上まで一時的に記憶する。
The signal input (S / P)
制御部130は、同期信号抽出部132、および制御信号生成部136で構成される。同期信号抽出部132は、入力された信号に含まれる映像同期信号を抽出する。制御信号生成部136は、基準信号を外部から入力され、入力された基準信号および映像同期信号に基づいて、フレームメモリ120に出力するために、信号の書込み制御信号および読出し制御信号を生成し、また、音声レベル調節部146に出力するために音声レベル制御信号Kaを生成する。
The
音声信号処理部140は、音声信号抽出部142、音声レベル調節部146、遅延補正部148、および音声多重(付替)部150で構成される。音声信号抽出部142は、入力された信号から多重された音声信号を抽出する。音声レベル調節部146は、抽出された音声信号に関して、制御信号生成部136から出力された音声レベル制御信号Kaに応じて振幅を調節する。遅延補正部148は、音声レベル調節部146から出力される振幅を調節された音声信号と、フレームメモリ120から出力される信号との間で出力時点を調整する。音声多重(付替)部150は、遅延補正部148から出力された信号に対して、音声レベル調節部146から出力された音声信号を多重(付替)する。
The audio
信号出力(P/S)部160は、パラレル形式の信号をパラレル/シリアル変換し、SDI信号など、映像信号および音声信号が多重された多重信号として外部に出力する。
The signal output (P / S)
図2は、本実施形態に係るフレームシンクロナイザの動作を示す説明図である。図2には、外部から入力された信号の書込みおよび読出しの動作が示されている。 FIG. 2 is an explanatory diagram showing the operation of the frame synchronizer according to the present embodiment. FIG. 2 shows write and read operations of a signal input from the outside.
フレームシンクロナイザ100では、多重信号が外部から信号入力部110に入力され、基準信号が外部から制御信号生成部136に入力される。そして、信号入力部110に入力された信号に関して、制御信号生成部136で生成される制御信号によって、フレームメモリ120に対する書込みまたは読出しが制御される。
In the
ここで、多重信号および基準信号が非同期の場合には、多重信号と基準信号との間に僅かな周波数差が存在する。よって、フレームメモリ120への信号の書込み時点と、基準信号の入力時点に一致するフレームメモリ120からの信号の読出し時点との間に少しずつズレが生じることになる。
Here, when the multiplexed signal and the reference signal are asynchronous, there is a slight frequency difference between the multiplexed signal and the reference signal. Therefore, there is a slight difference between the signal writing time to the
制御信号生成部136では、多重信号が基準信号よりも高い周波数を伴う場合(入力に対して出力が遅れる場合)には、書込み制御信号が生成され、信号がフレームメモリ120に書込まれる。そして、出力の遅れが1フレーム分になることが検出されると、フレームの飛越しを伴うフレーム不連続を発生させることで、入出力時点のズレが吸収される。一方、多重信号が基準信号よりも低い周波数を伴う場合(出力に対して入力が遅れる場合)には、制御信号生成部136により読出し制御信号が生成され、信号がフレームメモリ120から読出される。そして、入力の遅れが1フレーム分になることが検出されると、フレームの繰返しを伴うフレーム不連続を発生させることで、入出力時点のズレが吸収される。
In the control
図2には、多重信号が基準信号よりも高い周波数を伴い、入出力時点のズレがフレームの飛越しにより吸収される場合の例が示されている。この場合、入力された信号がフレーム1、2、3、4、…という順序でフレームメモリ120に書込まれるが、フレーム1の出力が遅れているので、フレーム4を飛越して、フレーム1、2、3、5、…という順序でフレームメモリ120から読出される。なお、以下では、多重信号が基準信号よりも高い周波数を伴う場合について説明するが、逆の場合には、同様にして、入出力時点のズレがフレームの繰返しにより吸収される。
FIG. 2 shows an example in which the multiplex signal has a higher frequency than the reference signal, and the shift at the input / output time is absorbed by skipping frames. In this case, the input signals are written in the
また、制御信号生成部136では、フレーム不連続の発生に応じて、音声レベル制御信号Kaが生成され、音声レベル調節部146に出力される。音声レベル制御信号Kaは、音声信号の振幅を調節するために、音声信号抽出部142により抽出された音声信号の振幅に乗算される係数として用いられる。音声レベル制御信号Kaは、通常時にはKa=1に設定され、フレーム不連続の発生に応じて、Ka=0〜1の範囲に設定される。なお、音声レベル制御信号Kaの値は、映像信号の1ライン内では固定とし、ライン毎に変化するように設定される。
In addition, the control
図2には、フレーム3からフレーム4を飛越してフレーム5に遷移する期間で、音声レベル制御信号KaがKa=0〜1の範囲の値として出力される場合の例が示されている。この場合、音声レベル制御信号Kaは、フレーム不連続の発生時点(フレーム3からフレーム5への切替時点)でKa=0、不連続の発生時点より前の期間でKa=1からKa=0に漸減し、不連続の発生時点より前の期間でKa=0からKa=1に漸増する値として出力されている。
FIG. 2 shows an example in which the audio level control signal Ka is output as a value in the range of Ka = 0 to 1 during the period of transition from
これにより、フレーム不連続が検出された場合に、音声信号の振幅を調節してミュート状態を形成し、多重された音声信号が不連続にされるので、フレーム不連続の発生に際して、音声ノイズの発生を抑制することができる。また、不連続の発生時点の前後で音声信号の振幅が漸変されるので、フレーム不連続に伴う音声ノイズの発生を認識され難くすることができる。 As a result, when a frame discontinuity is detected, the audio signal amplitude is adjusted to form a mute state, and the multiplexed audio signal is discontinuous. Occurrence can be suppressed. In addition, since the amplitude of the audio signal is gradually changed before and after the occurrence of the discontinuity, it is possible to make it difficult to recognize the occurrence of the audio noise due to the frame discontinuity.
なお、図2には、フレーム不連続の発生時点の前後で、音声レベル制御信号KaがKa=0〜1の範囲で漸変する値として出力される場合が示されているが、Ka=0の一定値として出力されてもよい。この場合でも、フレーム不連続の発生に際して、音声ノイズの発生を抑制することができる。 FIG. 2 shows a case where the audio level control signal Ka is output as a value that gradually changes in the range of Ka = 0 to 1 before and after the occurrence of the frame discontinuity, but Ka = 0. May be output as a constant value. Even in this case, the occurrence of audio noise can be suppressed when the frame discontinuity occurs.
音声レベル調節部146では、音声レベル制御信号Kaにより、音声信号の振幅を調節するための演算が行われる。振幅調節の演算は、ライン単位に行われ、演算結果により変化するパリティビット、チェックサム値についても考慮される。音声信号は、演算結果に基づいて振幅が調節されて、音声多重部150に出力される。
In the sound
音声多重部150では、フレームメモリ120から読出された信号に、音声レベル調節部146から出力された音声信号が付替えられる。なお、音声多重部150には、フレームメモリ120から読出され、遅延補正部148によって、音声レベル調節部146との間で出力時点が調整された信号が出力される。
In the
信号出力部160では、音声信号が付替えられた信号が入力され、入力された信号がシリアル形式に変換され、SDI信号として外部に出力される。
In the
以上説明したように、本実施形態に係るフレームシンクロナイザ100によれば、不連続が検出された場合に、音声信号の振幅を調節してミュート状態を形成し、多重された音声信号が不連続にされる。これにより、フレーム不連続の発生に際して、音声ノイズの発生を抑制することができる。また、フレーム不連続の発生に際して、多重された音声信号が不連続にされるので、映像信号と音声信号との間での出力時点のズレが原理的に発生しない。さらに、簡易な構成を用いて、音声信号の分離および多重処理を伴うことなしに、多重信号のままでフレーム同期を実現することができる。
As described above, according to the
特に、本実施形態に係るフレームシンクロナイザ100によれば、映像信号が不連続にされると同時に、多重された音声信号が不連続にされる。これにより、フレーム不連続の発生に際して、映像信号と音声信号との間での出力時点のズレの発生を抑制することができる。
In particular, according to the
(第2の実施形態)
図3は、本発明の第2の実施形態に係るフレームシンクロナイザを示す説明図である。なお、以下では、本実施形態に係るフレームシンクロナイザ200について説明するが、第1の実施形態と重複する説明は省略する。
(Second Embodiment)
FIG. 3 is an explanatory diagram showing a frame synchronizer according to the second embodiment of the present invention. In the following, the
図3に示すように、本実施形態に係るフレームシンクロナイザ200は、信号入力(S/P)部210、フレームメモリ220、制御部230、音声信号処理部240、および信号出力(P/S)部260を含んで構成される。本実施形態に係るフレームシンクロナイザ200では、制御部230および音声信号処理部240の構成が第1の実施形態と異なる。
As shown in FIG. 3, the
制御部230は、同期信号抽出部232、無音検出部234、および制御信号生成部236で構成される。無音検出部234は、入力された信号に含まれる多重された音声信号の振幅を検出し、音声信号に含まれる音声の有無を検出する。制御信号生成部236は、フレームメモリ220に出力するために、信号の書込み制御信号および読出し制御信号を生成し、また、音声レベル調節部246に出力するために音声レベル制御信号Kaを生成する。また、制御信号生成部236は、入力された基準信号、映像同期信号、および無音検出部234による検出結果に基づいて、後述する音声メモリ244に出力するために、音声信号の書込み制御信号および読出し制御信号を生成する。
The
音声信号処理部240は、音声信号抽出部242、音声メモリ244、音声レベル調節部246、遅延補正部248、および音声多重(付替)部250で構成される。音声メモリ244は、音声信号抽出部242により抽出された音声信号をフレーム単位で2フレーム以上まで一時的に記憶する。音声レベル調節部246は、音声メモリ244から読出された音声信号に関して、制御信号生成部236から出力された音声レベル制御信号Kaに応じて振幅を調節する。
The audio
図4および図5は、本実施形態に係るフレームシンクロナイザの動作を示す説明図である。図4および図5には、外部から入力された信号および音声信号の書込みおよび読出しの動作が示されている。 4 and 5 are explanatory diagrams showing the operation of the frame synchronizer according to the present embodiment. 4 and 5 show operations of writing and reading of signals and audio signals input from the outside.
本実施形態に係るフレームシンクロナイザ200では、入力された信号がフレームメモリ220に書込まれるとともに、入力された信号から抽出された音声信号が音声メモリ244に書込まれている。ここで、多重信号および基準信号が非同期の場合には、フレームメモリ220に対する信号の書込み時点と読出し時点との間にズレが生じるとともに、音声メモリ244に対する音声信号の書込み時点と読出し時点との間にもズレが生じることになる。
In the
このため、フレームシンクロナイザ200は、音声信号の入出力時点のズレを吸収するために、音声信号に関するフレームの飛越しまたは繰返しを伴うフレーム不連続を発生させることになる。ここで、音声信号に関するフレーム不連続は、入力される信号に関するフレーム不連続の発生と同時に処理される代わりに、以下のように処理される。
For this reason, the
図4には、多重信号が基準信号よりも高い周波数を伴い、入力された信号に関する入力時点のズレがフレームの飛越しにより吸収される場合の例が示されている。この場合、入力された信号がフレーム1、2、3、4、…という順序でフレームメモリ220に書込まれるが、フレーム1の出力が遅れているので、フレーム4を飛越して、フレーム1、2、3、5、…という順序でフレームメモリ220から読出される。
FIG. 4 shows an example in which the multiplex signal has a higher frequency than the reference signal, and the shift of the input time point with respect to the input signal is absorbed by skipping frames. In this case, the input signals are written in the
また、音声信号も、入力された信号と同様に、フレーム1、2、3、4、…という順序で音声メモリ244に書込まれる。ここで、フレーム7〜9の入力時点には、無音検出部234によって、無音状態が検出されている。このため、音声信号は、入力された信号の場合とは異なり、フレーム4を飛越す代わりに、無音状態が検出されるフレーム7の入力時点でフレーム7を飛越して、フレーム1、2、3、4、5、6、8、9、…という順序で音声メモリ244から読出される。
Similarly to the input signal, the audio signal is also written in the
すなわち、入力された信号に関するフレーム不連続が検出された場合(フレーム5の入力時点)において、図4に示すように、無音状態が検出されない場合には、音声信号に関するフレーム不連続を発生させずに、無音状態が検出されるまで、音声信号に関するフレーム不連続の発生を遅らせる。これにより、音声信号の無音状態を考慮した上で、フレーム不連続に伴う音声ノイズの発生を抑制することができる。 That is, when a frame discontinuity related to the input signal is detected (at the time of input of frame 5), if no silence is detected as shown in FIG. 4, no frame discontinuity related to the audio signal is generated. In addition, the generation of frame discontinuity regarding the audio signal is delayed until a silence state is detected. Accordingly, it is possible to suppress the generation of audio noise due to frame discontinuity in consideration of the silence state of the audio signal.
図5には、多重信号が基準信号よりも高い周波数を伴い、入力された信号に関する入出力時点のズレがフレームの飛越しにより吸収される場合の例が示されている。この場合、入力された信号がフレーム1、2、3、4、…という順序でフレームメモリ220に書込まれるが、フレーム1の出力が遅れているので、フレーム1を飛越して、フレーム2、3、4、5…という順序でフレームメモリ220から読出される。
FIG. 5 shows an example in which the multiplex signal has a higher frequency than the reference signal, and the shift at the input / output time point with respect to the input signal is absorbed by skipping frames. In this case, the input signals are written in the
一方、音声信号も、入力された信号と同様に、フレーム1、2、3、4、…という順序で音声メモリ244に書込まれる。ここで、フレーム1〜10の入力時点には、無音検出部234によって、無音状態が検出されていない。また、フレーム7の入力時点には、音声メモリ244の容量に応じた閾値を超える音声信号が音声メモリ244に書込まれる状態となっている。このため、音声信号は、入力された信号の場合とは異なり、フレーム1を飛越す代わりに、音声メモリ244の容量閾値オーバが検出されるフレーム7の入力時点でフレーム6を飛越して、フレーム1、2、3、4、5、7、8、9、…という順序で音声メモリ244から読出される。
On the other hand, the audio signal is also written in the
すなわち、入力された信号に関するフレーム不連続が検出され(フレーム2の入力時点)、図5に示すように、無音状態が長期間に亘って検出されず、音声メモリ244の容量に応じた閾値を超える音声信号が音声メモリ244に記憶される場合には、無音状態の検出の有無にかかわらずに、音声信号に関するフレーム不連続を強制的に発生させる。これにより、音声メモリ244の状態を考慮した上で、フレーム不連続に伴う音声ノイズの発生を抑制することができる。
That is, the discontinuity of the frame related to the input signal is detected (at the input time of frame 2), and as shown in FIG. 5, the silent state is not detected over a long period of time, and a threshold value corresponding to the capacity of the
ここで、無音状態が検出されない状態で音声信号に関するフレーム不連続を強制的に発生させると、音声ノイズの発生が問題となる。しかし、音声信号に関するフレーム不連続の強制的な発生に際しては、第1の実施形態と同様に、音声レベル制御信号Kaを用いて、音声信号の振幅が調節される。 Here, if a frame discontinuity related to an audio signal is forcibly generated in a state where no silence is detected, the generation of audio noise becomes a problem. However, when the frame discontinuity related to the audio signal is forcibly generated, the amplitude of the audio signal is adjusted using the audio level control signal Ka as in the first embodiment.
図5には、音声信号に関するフレーム5からフレーム6を飛越してフレーム7に遷移する期間で、音声レベル制御信号KaがKa=0〜1の範囲の値として出力される場合の例が示されている。この場合、音声レベル制御信号Kaは、音声信号に関するフレーム不連続の発生時点(フレーム5からフレーム7への切替時点)でKa=0、不連続の発生時点より前の期間でKa=1からKa=0に漸減し、不連続の発生時点より前の期間でKa=0からKa=1に漸増する値として出力されている。
FIG. 5 shows an example in which the audio level control signal Ka is output as a value in the range of Ka = 0 to 1 during the period of transition from
これにより、フレーム不連続が検出された場合に、音声信号の振幅を調節してミュート状態を形成し、多重された音声信号が不連続にされるので、フレーム不連続の発生に際して、音声ノイズの発生を抑制することができる。また、不連続の発生時点の前後で音声信号の振幅が漸変されるので、フレーム不連続に伴う音声ノイズの発生を認識され難くすることができる。 As a result, when a frame discontinuity is detected, the audio signal amplitude is adjusted to form a mute state, and the multiplexed audio signal is discontinuous. Occurrence can be suppressed. In addition, since the amplitude of the audio signal is gradually changed before and after the occurrence of the discontinuity, it is possible to make it difficult to recognize the occurrence of the audio noise due to the frame discontinuity.
以上説明したように、本実施形態に係るフレームシンクロナイザ200によれば、不連続が検出され、かつ、無音状態が検出された場合に、多重された音声信号が不連続にされる。また、不連続が検出され、かつ、音声メモリ244に閾値以上の音声信号が書込まれる場合には、無音状態の検出の有無にかかわらずに、多重された音声信号が不連続にされる。これにより、音声信号の無音状態、音声メモリ244の状態を考慮した上で、映像信号と音声信号との間での出力時点のズレの発生を抑制することができる。
As described above, according to the
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, this invention is not limited to the example which concerns. It is obvious for those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea described in the claims. It is understood that it belongs to.
例えば、上記説明では、フレームシンクロナイザ100、200が単一の装置として構成される場合について説明した。しかし、本発明は、フレームシンクロナイザが一般的な映像処理装置、例えば、MPEG2CODECなどの映像・音声の符号化、復号化装置の機能の一部として構成される場合にも、同様に適用可能である。
For example, in the above description, the case where the
また、上記説明では、標準テレビ信号(SDTV:Standard Definition Television)の規定に基づいて説明した。しかし、本発明は、SMPTE−292M、299Mなどにより規定されたHDTV(High Definition Television)システムに対しても、同様に適用可能である。 In the above description, the description is based on the standard television signal (SDTV: Standard Definition Television). However, the present invention can be similarly applied to an HDTV (High Definition Television) system defined by SMPTE-292M, 299M or the like.
100、200 フレームシンクロナイザ
110、210 信号入力(S/P)部
120、220 フレームメモリ
130、230 制御部
132、232 同期信号抽出部
234 無音検出部
136、236 制御信号生成部
140、240 音声信号処理部
142、242 音声信号抽出部
244 音声メモリ
146、246 音声レベル調節部
148、248 遅延補正部
150、250 音声多重(付替)部
160、260 信号出力(P/S)部
100, 200
Claims (7)
前記入力された信号が書込まれ、前記書込まれた信号が読出されるフレームメモリと、
基準信号が入力され、前記入力された基準信号に応じて前記信号の書込みおよび読出しを制御し、前記信号の書込み時点と読出し時点との差から、前記読出される信号のフレーム間の不連続を検出し、前記不連続が検出された場合にフレームの飛越しまたは繰返しを発生させて前記信号の読出しを行う制御部と、
前記不連続が検出された場合に、前記音声信号の振幅を調節してミュート状態を形成し、前記多重された音声信号を不連続にする音声信号処理部と、
前記音声信号処理部により処理された前記音声信号を、映像信号および音声信号が多重された信号として出力するための信号出力部と、
を備えることを特徴とする、フレームシンクロナイザ。 A signal input unit for inputting a signal in which a video signal and an audio signal are multiplexed;
A frame memory in which the input signal is written and the written signal is read;
A reference signal is input, and the writing and reading of the signal are controlled in accordance with the input reference signal, and the discontinuity between frames of the signal to be read is determined based on the difference between the writing time and the reading time of the signal. A controller that detects and reads out the signal by causing a skip or repetition of a frame when the discontinuity is detected;
When the discontinuity is detected, an audio signal processing unit that adjusts the amplitude of the audio signal to form a mute state and discontinues the multiplexed audio signal;
A signal output unit for outputting the audio signal processed by the audio signal processing unit as a signal in which a video signal and an audio signal are multiplexed;
A frame synchronizer, comprising:
前記音声信号の振幅から無音状態を検出する無音検出部と、をさらに含み、
前記制御部は、前記入力された基準信号および前記無音状態の検出結果に応じて前記音声信号の書込みおよび読出しを制御し、前記音声信号の書込み時点と読出し時点との差から、前記読出される音声信号のフレーム間の不連続を検出し、前記不連続が検出された場合にフレームの飛越しまたは繰返しを発生させて前記音声信号の読出しを行い、
前記音声信号処理部は、前記不連続が検出され、かつ、前記無音状態が検出された場合に、前記多重された音声信号を不連続にすることを特徴とする、請求項1に記載のフレームシンクロナイザ。 An audio memory in which an audio signal extracted from the signal is written, and the written audio signal is read;
A silence detector that detects a silence state from the amplitude of the audio signal, and
The control unit controls writing and reading of the audio signal according to the input reference signal and a detection result of the silence state, and the reading is performed based on a difference between a writing time and a reading time of the audio signal. Detecting a discontinuity between frames of an audio signal, and reading out the audio signal by generating interlaced or repeated frames when the discontinuity is detected;
The frame according to claim 1, wherein the audio signal processing unit makes the multiplexed audio signal discontinuous when the discontinuity is detected and the silence state is detected. Synchronizer.
基準信号が入力され、前記入力された基準信号に応じて前記信号の書込みおよび読出しを制御し、前記信号の書込み時点と読出し時点との差から、前記読出される信号のフレーム間の不連続を検出し、前記不連続が検出された場合にフレームの飛越しまたは繰返しを発生させて前記信号の読出しを行う制御ステップと、
前記不連続が検出された場合に、前記音声信号の振幅を調節してミュート状態を形成し、前記多重された音声信号を不連続にする音声信号処理ステップと、
前記音声信号処理ステップで処理された前記音声信号を、映像信号および音声信号が多重された信号として出力するための信号出力ステップと、
を含むことを特徴とする、フレーム同期方法。 A signal input step for inputting a signal in which a video signal and an audio signal are multiplexed;
A reference signal is input, and the writing and reading of the signal are controlled in accordance with the input reference signal, and the discontinuity between frames of the signal to be read is determined from the difference between the writing time and the reading time of the signal. A control step of detecting and reading out the signal by generating a frame skip or repetition when the discontinuity is detected;
An audio signal processing step of adjusting the amplitude of the audio signal to form a mute state when the discontinuity is detected, and making the multiplexed audio signal discontinuous;
A signal output step for outputting the audio signal processed in the audio signal processing step as a signal in which a video signal and an audio signal are multiplexed;
A frame synchronization method comprising:
前記入力された信号が書込まれ、前記書込まれた信号が読出されるフレームメモリ手段、
基準信号が入力され、前記入力された基準信号に応じて前記信号の書込みおよび読出しを制御し、前記信号の書込み時点と読出し時点との差から、前記読出される信号のフレーム間の不連続を検出し、前記不連続が検出された場合にフレームの飛越しまたは繰返しを発生させて前記信号の読出しを行う制御手段、
前記不連続が検出された場合に、前記音声信号の振幅を調節してミュート状態を形成し、前記多重された音声信号を不連続にする音声信号処理手段、
前記音声信号処理手段により処理された前記音声信号を、映像信号および音声信号が多重された信号として出力するための信号出力手段、
としてコンピュータを機能させるためのプログラム。 A signal input means for inputting a signal in which a video signal and an audio signal are multiplexed;
Frame memory means for writing the inputted signal and reading the written signal;
A reference signal is input, and the writing and reading of the signal are controlled in accordance with the input reference signal, and the discontinuity between frames of the signal to be read is determined from the difference between the writing time and the reading time of the signal. Control means for detecting and reading out the signal by causing a skip or repetition of a frame when the discontinuity is detected;
Audio signal processing means for adjusting the amplitude of the audio signal to form a mute state when the discontinuity is detected, and making the multiplexed audio signal discontinuous;
Signal output means for outputting the audio signal processed by the audio signal processing means as a signal in which a video signal and an audio signal are multiplexed;
As a program to make the computer function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007252038A JP5023930B2 (en) | 2007-09-27 | 2007-09-27 | Frame synchronizer, frame synchronization method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007252038A JP5023930B2 (en) | 2007-09-27 | 2007-09-27 | Frame synchronizer, frame synchronization method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009088654A true JP2009088654A (en) | 2009-04-23 |
JP5023930B2 JP5023930B2 (en) | 2012-09-12 |
Family
ID=40661548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007252038A Active JP5023930B2 (en) | 2007-09-27 | 2007-09-27 | Frame synchronizer, frame synchronization method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5023930B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011109327A (en) * | 2009-11-16 | 2011-06-02 | Canon Inc | Signal processor |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004023134A (en) * | 2002-06-12 | 2004-01-22 | Sony Corp | Device for synchronizing image with sound |
JP2005295134A (en) * | 2004-03-31 | 2005-10-20 | Pioneer Electronic Corp | Adaptive frame synchronization system |
-
2007
- 2007-09-27 JP JP2007252038A patent/JP5023930B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004023134A (en) * | 2002-06-12 | 2004-01-22 | Sony Corp | Device for synchronizing image with sound |
JP2005295134A (en) * | 2004-03-31 | 2005-10-20 | Pioneer Electronic Corp | Adaptive frame synchronization system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011109327A (en) * | 2009-11-16 | 2011-06-02 | Canon Inc | Signal processor |
Also Published As
Publication number | Publication date |
---|---|
JP5023930B2 (en) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9489980B2 (en) | Video/audio synchronization apparatus and video/audio synchronization method | |
KR101849749B1 (en) | Method for synchronizing an audio and a video in the transcoding system | |
WO2000035189A1 (en) | Serial digital interface system transmission/reception method and device therefor | |
US20120081604A1 (en) | Electronic apparatus | |
JP4452136B2 (en) | Data synchronized playback device and terminal device | |
US8229270B2 (en) | Method and apparatus for compensating audio/video synchronization | |
JP2008236493A (en) | Data transmission apparatus and clock switching circuit | |
JP5023930B2 (en) | Frame synchronizer, frame synchronization method, and program | |
JP4875035B2 (en) | Video recording / playback device | |
GB2424160A (en) | Digital information reproducing apparatus and method | |
JP2013051656A (en) | Signal processing device, electronic apparatus and input signal processing method | |
JP4270084B2 (en) | Recording / playback device | |
JP2007295514A (en) | Data receiver | |
JP3882688B2 (en) | Image and audio synchronization device | |
JP2020145585A (en) | Synchronization device, synchronization method, and program | |
US10262690B2 (en) | Signal processing device, signal processing system, signal processing method, and program | |
KR102709016B1 (en) | Multimedia device for processing audio/video data and method thereof | |
JP4893363B2 (en) | Stream data receiving / reproducing device | |
JP2010233119A (en) | Video encoder apparatus, and encoded data output method used for the same | |
KR20180080186A (en) | Content playback apparatus, and content playback method | |
JP2010034760A (en) | Video/audio signal processing apparatus and video/audio signal processing method | |
JP2020120208A (en) | Image signal transmission device | |
JP2008153945A (en) | Video/audio synchronizing device | |
JP2009100066A (en) | Synchronous reproducer and synchronous processor | |
JP2010210807A (en) | Signal switching device and sdi signal processing method in signal switching device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100316 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20110114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120522 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120604 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5023930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |