JP4425115B2 - Clock synchronization apparatus and program - Google Patents
Clock synchronization apparatus and program Download PDFInfo
- Publication number
- JP4425115B2 JP4425115B2 JP2004331971A JP2004331971A JP4425115B2 JP 4425115 B2 JP4425115 B2 JP 4425115B2 JP 2004331971 A JP2004331971 A JP 2004331971A JP 2004331971 A JP2004331971 A JP 2004331971A JP 4425115 B2 JP4425115 B2 JP 4425115B2
- Authority
- JP
- Japan
- Prior art keywords
- clock
- unit
- packet
- continuous data
- reception buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000005540 biological transmission Effects 0.000 claims description 103
- 239000000872 buffer Substances 0.000 claims description 89
- 238000004891 communication Methods 0.000 claims description 28
- 230000001360 synchronised effect Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims 1
- 230000007704 transition Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000003139 buffering effect Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Synchronisation In Digital Transmission Systems (AREA)
Description
本発明は、クロック同期装置およびプログラムに係り、特に、映像データ等の一定レートで連続して生成されるデータを伝送するシステムで、連続データをパケット化して伝送するシステムにおける送受信間のデータクロックの同期化装置に関する。 The present invention relates to a clock synchronizer and a program, and more particularly to a system for transmitting data continuously generated at a constant rate, such as video data, in a data clock between transmission and reception in a system for packetizing and transmitting continuous data. The present invention relates to a synchronization device.
映像データ等の一定レートで連続して生成されるデータを、ATMやIP(Internet Protocol)等のパケット通信回線を用いて伝送する場合において、送信側に入力されるデータのクロック周波数と、パケット受信側で連続データを再生し出力するためのクロック周波数に差がある場合、パケット受信側で再生する連続データのアンダーフローによるデータの途切れや、受信側バッファのオーバーフローによるデータ欠落の問題が発生する。
そのため、MPEG−TS等のパケット伝送方式においては、送信側で入力データのクロック信号を基にした時刻情報を各パケットに付加し、受信側で受信したパケット内の時刻情報と、受信側のデータ再生用クロックをもとにした時刻情報の比較を行い、比較結果にもとづき受信側のデータ再生用クロックの周波数を制御することにより、送受信間のデータクロック周波数を一致させる。
When data generated continuously at a constant rate such as video data is transmitted using a packet communication line such as ATM or IP (Internet Protocol), the clock frequency of data input to the transmission side and packet reception When there is a difference in the clock frequency for reproducing and outputting continuous data on the side, there are problems of data interruption due to underflow of continuous data reproduced on the packet receiving side and data loss due to overflow of the receiving side buffer.
Therefore, in a packet transmission method such as MPEG-TS, time information based on a clock signal of input data is added to each packet on the transmission side, and time information in the packet received on the reception side and data on the reception side are added. By comparing the time information based on the reproduction clock and controlling the frequency of the data reproduction clock on the receiving side based on the comparison result, the data clock frequencies between the transmission and reception are matched.
なお、本願発明に関連する先行技術文献としては以下のものがある。
従来のMPEG−TS方式の映像クロック同期装置は、図11に示す構成で実現されるのが一般的である。
図11に示す装置では、マスタークロック11に同期した映像機器12からの映像信号が、送信部13から伝送路14を介して受信部15に伝送される。
送信部13においては、映像入力部16において2系統に分割され、一方の映像信号は送信バッファ部17において一時バッファリングされる。他方の映像信号はクロック再生部19において映像信号から周波数成分が抽出され、それを基に送信側時刻を生成する。
パケット送信部18においては、映像信号をパケット化すると共に、クロック再生部19から出力される送信時刻情報(PCR)を埋め込み、伝送路14に出力する。
受信部15では、パケット受信部20でパケットを受信し、受信バッファ部21で組み立てを行うとともに、PCR抽出23で、パケット内に格納された送信時刻情報(PCR)を抜き出す。
一方、受信部15では、VCXO部26で生成されたクロック情報を用い、STC生成部27で、受信時刻情報(STC)を作成し、比較器24でPCRとSTCの比較を行い、比較値をLPF部25においてノイズ成分を除いた後に、VCXO部26の周波数を制御することで、送信側のクロックを再生し、映像出力部22において再生されたクロックに従った映像信号を出力する。
A conventional MPEG-TS video clock synchronizer is generally realized by the configuration shown in FIG.
In the apparatus shown in FIG. 11, the video signal from the
In the
The
In the
On the other hand, the
しかしながら、従来の技術では、以下のような問題点がある。
(1)伝送路14が、IPネットワーク等のジッタの多い場合には送信時刻情報(PCR)と受信時刻情報(STC)の比較値に大きな時間変動を生じ、受信部15で安定した映像クロック信号が得られない。
(2)送信部13の映像クロックを受信部15で再生する方式のため、用途が限定される。例えば、生中継等では中継先内の送信部13から中継先のマスタークロック11に従って送られてくる映像を、放送局内の受信部15で受けた後、放送局内で使用する映像クロックへの載せ替えが必要となる。その際に、映像クロックの周波数差によって、コマ落ち、コマ余りの問題が発生する。
(3)送受信間のクロックの遅延(位相差)の制御が出来ない。
However, the conventional techniques have the following problems.
(1) When the
(2) Since the video clock of the
(3) The clock delay (phase difference) between transmission and reception cannot be controlled.
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、IPネットワーク等のジッタの多い伝送路を用いた映像伝送においても、送受信間の映像クロックを同期させることが可能で、コマ落ちのない映像伝送を実現するクロック同期装置を提供することにある。
また、本発明の他の目的は、受信側に設置した映像のマスタークロックに同期した映像クロック信号を送信側映像機器に供給することにより、生中継においても放送局内で映像クロックの載せ替えが不要であり、コマ落ちのない放送が可能となるクロック同期装置を提供することにある。
また、本発明の他の目的は、送受信間の遅延を制御することにより、伝送路を介して設置された複数の映像機器の同期が可能となるクロック同期装置を提供することにある。
また、本発明の他の目的は、前述のクロック同期装置の一部の処理をコンピュータに実行させるためのプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
The present invention has been made to solve the problems of the prior art, and an object of the present invention is to provide a video clock between transmission and reception even in video transmission using a jittery transmission line such as an IP network. It is an object of the present invention to provide a clock synchronization device that can be synchronized and realizes video transmission without dropping frames.
Another object of the present invention is to supply a video clock signal synchronized with the video master clock installed on the receiving side to the transmitting side video equipment, so that it is not necessary to replace the video clock in the broadcasting station even during live broadcasting. Therefore, an object of the present invention is to provide a clock synchronizer capable of broadcasting without dropping frames.
Another object of the present invention is to provide a clock synchronizer that can synchronize a plurality of video devices installed via a transmission line by controlling a delay between transmission and reception.
Another object of the present invention is to provide a program for causing a computer to execute a part of the processing of the clock synchronizer.
The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の目的を達成するために、本発明は、通信回線を介して互いに接続されるパケット送信装置とパケット受信装置とを備え、外部の連続データ出力装置から送出される連続データを前記パケット送信装置から前記通信回線を介して前記パケット受信装置へ送信する際に前記連続データのクロックを送受信間で同期化するクロック同期装置であって、前記パケット受信装置は、前記通信回線から前記連続データをパケットとして受信するパケット受信部と、受信したパケット内の情報をデータとして蓄える受信バッファ部と、前記通信回線から見て前記パケット受信装置側にある外部クロック源から入力される外部クロックに同期して前記連続データを出力するデータ出力部と、前記受信バッファ部のバッファ使用量を観測する受信バッファ観測部と、前記受信バッファ使用量から、前記外部クロックと前記連続データクロックとの差分を求めてクロック調整量を決定し、該クロック調整量から前記連続データのクロック制御量を計算して前記通信回線に該クロック制御量を送信するクロック制御部とを有し、前記パケット送信装置は、前記通信回線から前記クロック制御量を入力としてVCXO制御信号を生成する制御部と、前記VCXO制御信号を入力制御電圧に変換するD/A変換部と、前記入力制御電圧により決定される周波数の基本クロックを生成するVCXO部と、前記VCXO部で生成された基本クロックに基づき、前記連続データ出力装置に供給するクロックを生成するクロック生成部とを有し、前記外部クロック源に同期した前記連続データのクロックを前記連続データ出力装置に供給することを特徴とする。
Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
In order to achieve the above-mentioned object, the present invention comprises a packet transmission device and a packet reception device connected to each other via a communication line , and transmits continuous data sent from an external continuous data output device to the packet transmission device. wherein the continuous data clock a clock synchronization system for synchronizing between the transmitter, the packet reception device, the communication times line or al the continuous data when transmitting to the packet receiving apparatus via the communication line from a packet receiving unit that receives a packet, a receiving buffer unit for storing information in the received packet as data, in synchronization with an external clock supplied from an external clock source in the packet receiving apparatus side when viewed from the communication line a data output unit which outputs the continuous data Te, reception buffer to observe the buffer usage of the receiving buffer unit A measuring unit, from the reception buffer usage, the external clock and the seeking the difference between successive data clock determines the clock adjustment amount, the communication by calculating a clock control amount of the continuous data from the clock adjustment amount and a clock control unit for transmitting the clock control amount in time line, the packet transmission apparatus includes a controller that generates a VCXO control signal the communication times line or al the clock control amount as an input, the VCXO control a D / a converter for converting a signal to the input control voltage, the VCXO unit for generating a reference clock of the frequency determined by the input control voltage, based on the basic clock generated by the VCXO unit, the continuous data output and a clock generator for generating a clock supplied device, the communication clock of the continuous data synchronized with said external clock source It characterized the Turkey be supplied to the data output device.
また、本発明は、通信回線を介して互いに接続されるパケット送信装置とパケット受信装置とを備え、外部の連続データ出力装置から送出される連続データを前記パケット送信装置から前記通信回線を介して前記パケット受信装置へ送信する際に前記連続データから生成した擬似連続データのクロックと前記連続データのクロックとを同期化するクロック同期装置であって、前記パケット受信装置は、前記通信回線から前記擬似連続データをパケットとして受信する疑似パケット受信部と、前記疑似パケット受信部で受信したパケット内の情報をデータとして蓄える受信バッファ部と、前記通信回線から見て前記パケット受信装置側にある外部クロック源からの外部クロックが入力される疑似データ出力部と、前記受信バッファ部のバッファ使用量を観測する受信バッファ観測部と、前記受信バッファ使用量から、前記外部クロックと前記擬似連続データクロックとの差分を求めてクロック調整量を決定し、該クロック調整量から前記擬似連続データのクロック制御量を計算して前記通信回線に該クロック制御量を送信するクロック制御部とを有し、前記パケット送信装置は、前記連続データから前記擬似連続データを生成し、該擬似連続データをパケットとして前記通信回線に送信する疑似パケット送信部と、前記通信回線上から前記クロック制御量を入力してVCXO制御信号を生成する制御部と、前記前記VCXO制御信号を入力制御電圧に変換するD/A変換部と、前記入力制御電圧により決定される周波数の基本クロックを生成するVCXO部と、前記VCXO部で生成された基本クロックに基づき、前記連続データ出力装置に供給するクロックを生成するクロック生成部とを有し、前記外部クロック源に同期した前記連続データのクロックを前記連続データ出力装置に供給することを特徴とする。 The present invention also includes a packet transmission device and a packet reception device connected to each other via a communication line , and continuous data sent from an external continuous data output device is transmitted from the packet transmission device via the communication line. a said clock synchronization device for synchronizing the generated pseudo consecutive data clock and the said consecutive data clock from the continuous data when transmitting to the packet receiving device, the packet reception device, the communication times line or al and a pseudo packet receiving unit that receives the pseudo-continuous data as packets, external with the information in the received by the pseudo packet receiving unit packet and the receiving buffer unit for storing as data, in the packet receiving apparatus side when viewed from the communication line and a pseudo data output unit external clock from the clock source is input, the buffer of the receiving buffer unit A receive buffer observation unit for observing the dose, from the amount for the reception buffer used to seek a difference between the external clock and the pseudo-continuous data clock determines the clock adjustment amount, the pseudo-continuous data from said clock adjustment amount It has of a clock control unit for the clock control amount is calculated to transmit the clock control amount to said communication round wire, wherein the packet transmitting apparatus generates the pseudo-continuous data from the continuous data, pseudo continuous data A pseudo-packet transmission unit that transmits the packet as a packet to the communication line, a control unit that inputs the clock control amount from the communication line and generates a VCXO control signal , and converts the VCXO control signal into an input control voltage Generated by a D / A converter, a VCXO unit that generates a basic clock having a frequency determined by the input control voltage, and the VCXO unit Based on the basic clocks, wherein and a clock generator for generating a clock to be supplied to the continuous data output device, to supply the said continuous data synchronized to an external clock source clock to the continuous data output device Turkey And features.
また、伝送路としてIPネットワーク等のジッタの大きい伝送路を使用した場合、受信バッファ部の使用量にも大きなジッタ成分が含まれるので、受信バッファ使用量のジッタ成分を軽減するため、本発明では、前記受信バッファ観測部が、一定時間間隔でサンプリングしたバッファ使用量をさらに一定時間分累積し、その平均値を前記受信バッファ部の使用量とすることを特徴とする。
また、本発明は、前述のクロック同期装置の一部の処理をコンピュータに実行させるためのプログラムである。
また、本発明は、前述のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
In addition, when a transmission path with a large jitter such as an IP network is used as a transmission path, a large jitter component is also included in the usage amount of the reception buffer unit. Therefore, in the present invention, the jitter component of the reception buffer usage amount is reduced. The reception buffer observation unit further accumulates the buffer usage sampled at a constant time interval for a predetermined time, and the average value is used as the usage amount of the reception buffer unit.
Further, the present invention is a program for causing a computer to execute a part of the processing of the clock synchronization device described above.
The present invention is also a computer-readable recording medium that records the above-described program.
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
(1)本発明によれば、IPネットワーク等のジッタの多い伝送路を用いた映像伝送においても、送受信間の映像クロックを同期させることが可能で、コマ落ちのない映像伝送を実現することが可能となる。
(2)本発明によれば、受信側に設置した映像のマスタークロックに同期した映像クロック信号を送信側映像機器に供給することにより、生中継においても放送局内で映像クロックの載せ替えが不要であり、コマ落ちのない放送が可能となる。
(3)本発明によれば、同一のマスタークロックが供給された複数の受信側と、それぞれに対する複数の送信側との間の遅延を制御することにより、伝送路を介して設置された複数の映像機器の同期が可能となる。
The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.
(1) According to the present invention, even in video transmission using a jittery transmission line such as an IP network, it is possible to synchronize the video clock between transmission and reception, and to realize video transmission without dropping frames. It becomes possible.
(2) According to the present invention, the video clock signal synchronized with the master clock of the video installed on the receiving side is supplied to the transmitting side video equipment, so that it is not necessary to replace the video clock in the broadcasting station even in live broadcasting. Yes, broadcasts without frame dropping are possible.
(3) According to the present invention, by controlling delays between a plurality of receiving sides to which the same master clock is supplied and a plurality of transmitting sides with respect to each of the plurality of receiving sides, Video equipment can be synchronized.
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
[実施例1]
図1は、本発明の実施例1の映像クロック同期装置の概略構成を示すブロック図であり、パケット送信部(以下、単に、送信部という)13内の同期クロック生成部36と、パケット受信部(以下、単に、受信部という)15内のクロック同期化制御部37が、本発明の部分である。
同図において、16は外部機器から入力された映像データを送信バッファへ書き込む映像入力部、17は映像入力部とパケット送信部との間のバッファリングを行う送信バッファ部、28は映像データをパケット化し伝送路へ送出するパケット送信部、20は伝送路から入力された映像データを受信バッファ部21へ書き込むパケット受信部、21はパケット受信部と映像出力部との間のバッファリングを行う受信バッファ部、22は外部から入力された映像クロック信号のタイミングに従って、受信バッファ部21から映像データを読み込み映像信号を出力する映像出力部、34は受信バッファ部21の使用量を観測する受信バッファ観測部、35は送信側クロック周波数の制御量を決定し、制御量情報をVCXO制御部29へ伝送路14を介して送信するクロック制御部、29はクロック制御部35から制御量情報を受け取り、VCXO制御信号を出力するVCXO制御部、30はD/A変換を行いVCXO制御電圧を生成するD/A変換部、31はVCXOの制御電圧の高域周波数成分を抑制するLPF部、32は送信側映像クロック用基本周波数を生成するVCXO部、33はVCXOの出力を用いて、外部映像機器に供給する映像クロック(3値同期信号、ブラックバースト信号等)を生成する映像クロック生成部である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In all the drawings for explaining the embodiments, parts having the same functions are given the same reference numerals, and repeated explanation thereof is omitted.
[Example 1]
1, Ri block diagram showing a schematic configuration of a video clock synchronization device of Example 1 of the present invention, the packet transmission unit (hereinafter, simply, a transmission unit hereinafter) and the
In the figure, 16 is a video input unit for writing video data input from an external device to a transmission buffer, 17 is a transmission buffer unit for buffering between the video input unit and the packet transmission unit, and 28 is a packet for video data. A packet transmission unit for sending the data to the transmission line, 20 a packet reception unit for writing the video data input from the transmission line to the
図1に示す映像クロック同期装置において、外部の映像機器12から入力された映像信号は、送信部13内で、映像信号をパケット化するパケット送信部28を経由して伝送路14に出力され、受信部15において受信処理が行われ映像信号に再生され出力される。
このとき、受信部15からの出力映像は、受信側に置かれるマスタークロック11に同期して出力される。
一方、送信部13に入力される映像機器12の映像信号は、受信部15内のクロック同期化制御部37から伝送路14を介して、送信部13内の同期クロック生成部36に制御信号が送られることによって、生成された映像クロック出力に同期させる場合を示す。
ここで、クロック同期化制御部37の受信バッファ観測部34、およびクロック制御部35は、汎用パソコンやワークステーションで動作するプログラムやボード上でプログラムと協調して動作するマイクロプログラムによるコントローラ等のハードウェアで構成可能である。
また、同期クロック生成部36のVCXO制御部29は、汎用パソコンやワークステーションで動作し、ボード等のレジスタを設定するプログラムやボード上でプログラムと協調して動作するマイクロプログラムによるコントローラ等のハードウェアで構成可能である。
また、D/A変換部30、LPF部31、VCXO部32、映像クロック生成部33は、市販のD/A変換IC、RCフィルタ回路、VCXO部品、映像信号IC等で構成可能である。
In the video clock synchronization apparatus shown in FIG. 1, the video signal input from the
At this time, the output video from the
On the other hand, the video signal of the
Here, the reception
Further, the VCXO
Further, the D /
以下、受信部15のクロック同期化制御部37の動作を説明する。
受信バッファ観測部34においては、受信バッファ部21のバッファ使用量を観測する。仮に、マスタークロック11の周波数が、映像機器12に入力されるクロックより高い場合には、バッファ量の減少が観測され、マスタークロック11の周波数が映像機器12に入力されるクロックより低い場合にはバッファ量の増加として観測される。
伝送路14として、IPネットワーク等のジッタの大きい伝送路の場合には、受信バッファ部の使用量の増減にも大きなジッタ成分が観測される。
そのため、受信バッファ使用量のジッタ成分を軽減するため、一定時間間隔でサンプリングしたバッファ使用量をさらに一定時間分(Ts秒)累積し、その平均値を受信バッファ部の使用量とする。
次に、動作の一例として、HDTV1080/30i(毎秒30フレームの1080インターレースHDTV方式)の場合には、以下のように動作する。
(1)1フレーム(1/30秒)毎に受信バッファ部21の使用量を観測する。
(2)30秒(30×30=900サンプル)分のサンプルデータを累積し、平均値を計算する。
(3)計算した平均値を受信バッファ使用量としてクロック制御部35へ送る。
クロック制御部35では、受信バッファ観測部34より受け取った受信バッファ使用量を元に、送受信間のクロック差を推定し、さらに送受信間の遅延量があらかじめ設定された値となるようにバッファリング量を調整するため送信側のクロックの調整量を計算する。
このクロック差、および、調整量をもとに、送信側クロック周波数の制御量を決定し、制御量情報をVCXO制御部29へ伝送路14を介して送る。
Hereinafter, the operation of the clock
The reception
When the
Therefore, in order to reduce the jitter component of the reception buffer usage, the buffer usage sampled at regular time intervals is further accumulated for a certain time (Ts seconds), and the average value is used as the usage of the reception buffer unit.
Next, as an example of the operation, in the case of HDTV 1080 / 30i (1080 interlace HDTV system at 30 frames per second), the operation is as follows.
(1) The usage amount of the
(2) Accumulate sample data for 30 seconds (30 × 30 = 900 samples) and calculate an average value.
(3) The calculated average value is sent to the
The
Based on the clock difference and the adjustment amount, the control amount of the transmission side clock frequency is determined, and the control amount information is sent to the
次に、クロック制御部35の動作を詳細に説明する。
まず、クロック制御部35の動作において必要となる目標受信バッファ使用量(Bt)、受信バッファ変動閾値(Bth)、送信クロック調整量(fa)の決定関数を以下のように定義する。
目標受信バッファ使用量(Bt)は、目標とする送受信間の遅延から、送信側遅延量、伝送路の遅延量、受信バッファ部21を除く受信部の遅延量を差し引くことにより、目標とする受信バッファ部21の遅延時間を計算し、それから、目標とする受信バッファ使用量(Bt)を計算する。送受信間の遅延値の設定が不要の場合は、最初に観測される受信バッファ使用量をBtとする。
ここで、通常、送信バッファ部17の使用量は、受信バッファ部21の使用量に比べ、量、変動共に小さいため、送信側遅延量の変動は少なく、定数としてあらかじめ用意することが可能である。
また、伝送路の遅延量は、伝送距離から計算する方法、あるいは、IPネットワークのICMPを使ったラウンドトリップ時間の測定等によりあらかじめ用意することが可能である。
また受信バッファ部21を除く、受信部15の遅延量は回路構成等により決定し、あらかじめ用意することが可能となる。
Next, the operation of the
First, a function for determining a target reception buffer usage (Bt), a reception buffer fluctuation threshold (Bth), and a transmission clock adjustment amount (fa) necessary for the operation of the
The target reception buffer usage (Bt) is obtained by subtracting the transmission side delay amount, the transmission path delay amount, and the delay amount of the reception unit excluding the
Here, since the amount of use of the transmission buffer unit 17 is usually smaller than the amount of use of the
Further, the delay amount of the transmission path can be prepared in advance by a method of calculating from the transmission distance or by measuring a round trip time using ICMP of the IP network.
Further, the delay amount of the receiving
受信バッファ変動閾値(Bth)は、受信バッファ観測部34によって観測される受信バッファ使用量の観測精度を参考にあらかじめ設定した値である。
一例では、受信バッファ使用量が、±10ライン内の精度で観測可能とした場合には、Bthは受信バッファ使用量観測精度の2倍程度として、20ラインと設定する。
送信クロック調整量(fa)の決定関数は、受信バッファ使用量(B)と目標受信バッファ使用量(Bt)の差(ΔB)を元に送信クロック調整量(fa)を求める関数として定義され、一例を図2に示す。
図2に示す例では、接続機器の特性に合わせて、最大クロック調整量(fa_max)を10ppmとし、100ラインのずれを約5分以内に制御する場合を考える。
1ppmの周波数差の場合、HDTV1080/30i方式で約30秒あたり1ラインの差となることから、この場合には、ΔB=100ラインの時、fa=fa_maxとなるように設定する。
The reception buffer fluctuation threshold (Bth) is a value set in advance with reference to the observation accuracy of the reception buffer usage observed by the reception
In one example, if the reception buffer usage is observable with an accuracy within ± 10 lines, Bth is set to 20 lines, which is about twice the reception buffer usage observation accuracy.
The transmission clock adjustment amount (fa) determination function is defined as a function for obtaining the transmission clock adjustment amount (fa) based on the difference (ΔB) between the reception buffer usage amount (B) and the target reception buffer usage amount (Bt). An example is shown in FIG.
In the example shown in FIG. 2, a case is considered in which the maximum clock adjustment amount (fa_max) is set to 10 ppm in accordance with the characteristics of the connected device, and the shift of 100 lines is controlled within about 5 minutes.
In the case of a frequency difference of 1 ppm, the difference is about 1 line per 30 seconds in the HDTV 1080 / 30i system. In this case, when ΔB = 100 lines, fa = fa_max is set.
クロック制御部35は、受信バッファ観測部34より、受信バッファ使用量(B)が送られてくる毎に、図3に示す遷移状態に従って動作する。図3の51が初期状態、52が調整状態、53が定常状態を示す。起動時は初期状態51より開始する。
また、初期状態51の動作を、図4のフローチャートに、調整状態52の動作を図5のフローチャートに、定常状態53の動作を図6のフローチャートにそれぞれ示す。
以下では、クロック制御部35内の時刻カウンタ値をt秒、t時間前の受信バッファ使用量をB0、受信バッファ使用量の予測値をBe、BeとBtの差分をΔBe、送受信間クロック差の推定値をΔfとする。
図4のフローチャートを用いて、初期状態51での動作について説明する。
送受信間の遅延値の設定が不要の場合は、受信バッファ観測部34から最初に出力されるバッファ使用量をBtとし(ステップ102)、ΔB、tの計算(ステップ103)、Δfの初期化(ステップ104)、faの初期値設定(ステップ105)を行う。
ΔB>Bth、あるいはΔB<−Bthの場合(ステップ106)、faを再計算(ステップ107)、収束予測時間(T)の計算(ステップ108)、制御量fcの計算とVCXO制御部29への送付(ステップ109)、時刻tのリセットとB0の更新(ステップ110)を行い、調整状態52へ遷移する(ステップ111)。
−Bth≦ΔB≦Bthの場合(ステップ106)、時刻tのリセットとB0の更新(ステップ112)を行い、定常状態53へ遷移する(ステップ113)。
The
The operation in the
In the following, the time counter value in the
The operation in the
When setting of a delay value between transmission and reception is unnecessary, the buffer usage amount first output from the reception
When ΔB> Bth or ΔB <−Bth (step 106), fa is recalculated (step 107), the convergence prediction time (T) is calculated (step 108), the control amount fc is calculated, and the
When −Bth ≦ ΔB ≦ Bth (step 106), reset at time t and update B0 (step 112), and transition to the steady state 53 (step 113).
図5のフローチャートを用いて、調整状態52での動作について説明する。
受信バッファ観測部34より送られてきた受信バッファ使用量をBとし(ステップ115)、受信バッファの予想量(Be)を計算し(ステップ116)、ΔBe、ΔB、tを計算する(ステップ117)。
ΔBe>BthあるいはΔBe<―Bthの場合(ステップ118)、Δfの計算(ステップ119)、faの計算(ステップ119)、Tの計算(ステップ121)、fcの計算とVCXO制御部29への送付(ステップ122)、t、B0の更新(ステップ123)を行い、調整状態52へ遷移する(ステップ124)。
−Bth≦ΔBe≦Bthの場合(ステップ118)、t<Tなら(ステップ125)、調整状態52へ遷移(ステップ129)し、t≧Tなら(ステップ125)、fcの計算とVCXO制御部29への送付(ステップ126)、t、B0の更新(ステップ127)を行い、定常状態53へ遷移する(ステップ128)。
図6のフローチャートを用いて、定常状態53での動作について説明する。
受信バッファ観測部34より送られてきた受信バッファ使用量をBとし(ステップ131)、ΔB、tを計算する(ステップ132)。
ΔB>BthあるいはΔB<―Bthの場合(ステップ133)、Δfの計算(ステップ134)、faの計算(ステップ135)、Tの計算(ステップ136)、fcの計算とVCXO制御部29への送付(ステップ137)、t、B0の更新(ステップ138)を行い、調整状態52へ遷移する(ステップ139)。
−Bth≦ΔB≦Bthの場合(ステップ133)、定常状態53へ遷移する(ステップ140)。
The operation in the
The reception buffer usage amount sent from the reception
If ΔBe> Bth or ΔBe <−Bth (step 118), Δf is calculated (step 119), fa is calculated (step 119), T is calculated (step 121), fc is calculated and sent to the
When −Bth ≦ ΔBe ≦ Bth (step 118), if t <T (step 125), transition to the adjustment state 52 (step 129), and if t ≧ T (step 125), the calculation of fc and the VCXO control unit 29 (Step 126), t and B0 are updated (step 127), and a transition is made to the steady state 53 (step 128).
The operation in the
The reception buffer usage amount sent from the reception
When ΔB> Bth or ΔB <−Bth (step 133), Δf is calculated (step 134), fa is calculated (step 135), T is calculated (step 136), fc is calculated and sent to the
When −Bth ≦ ΔB ≦ Bth (step 133), the state transitions to the steady state 53 (step 140).
以下、送信部13の同期クロック生成部36の動作を説明する。
クロック同期化制御部37内のクロック制御部35から伝送路14を介して映像クロック生成部36で制御量情報fcを受け取り、VCXO制御部29ではVCXO制御信号Vcを、図7に示すように出力するために次の動作を行う。なお、VcはD/A変換部30の入力値で整数値である。
(1)起動時、VCXO制御信号Vcに初期値を設定する。
(2)クロック制御部35から制御情報fcを受け取った場合、制御量ΔVcを、ΔVc=fc/kとして計算する。
ただし、kは、後段のD/A変換部30、LPF部31、VCXO部32の特性によってあらかじめ決定された値である。単位は(ppm/div)であり、D/A変換部30の入力値を1増加させたときのVCXO部32の出力周波数変化量となる。
(3)あらかじめ決定された制御速度v(div/s)に従って徐々にVcをΔVc分変化させる。
ここで、vは単位時間当たりのVcの出力変化量で、1/v(秒)毎にVcを1増加(減少)させる。急激な映像クロック周波数変化を抑制するための値である。
例えば、10bit制御、5V出力D/A変換器と、50(ppm/V)のVCXO部品を使用した場合、LPFの利得を無視できるものとして、D/A変換部30の出力は約5(mV/div)となることから、k=50*(5/1000)=0.25(ppm/div)となる。
また、1秒当たりの最大周波数変化量を1ppmと設定すると、v=1/0.25=4(div/s)となる。
VCXO制御部29で生成されたVcをボード上のレジスタに設定することでD/A変換部30では電圧に変換し、高域周波数成分をRCフィルタ等で構成されるLPF部31を介してVCXO部32に入力し、VCXO部32では入力電圧により決定される周波数の基本クロックを発生し、映像クロック生成部33で外部の映像機器12に供給する映像クロック(3値同期信号、ブラックバースト信号等)を生成する。
Hereinafter, the operation of the synchronous
Control amount information fc is received by the video
(1) At startup, an initial value is set for the VCXO control signal Vc.
(2) When the control information fc is received from the
However, k is a value determined in advance by the characteristics of the D /
(3) Vc is gradually changed by ΔVc in accordance with a predetermined control speed v (div / s).
Here, v is an output change amount of Vc per unit time, and Vc is incremented (decreased) by 1 / v (second). This is a value for suppressing an abrupt video clock frequency change.
For example, when a 10-bit control, 5V output D / A converter and a 50 (ppm / V) VCXO component are used, the output of the D /
Further, when the maximum frequency change amount per second is set to 1 ppm, v = 1 / 0.25 = 4 (div / s).
By setting the Vc generated by the
[参考例]
図8は、本発明の参考例の映像クロック同期装置の概略構成を示すブロック図であり、受信部15内に同期クロック生成部36とクロック同期化制御部37が共に設置されている。
同図の動作は、送信側のマスタークロック11に同期した映像機器12から入力された映像信号が送信部13から伝送路14に出力され、受信部15において受信処理が行われ映像信号が再生され出力される。
このとき、受信部15内の受信バッファ部21をクロック同期化制御部37が観測し、調整信号を同期クロック生成部36に送ることによって、送信部側のマスタークロック11に同期した周波数の基本クロックが生成されて、この基本クロックを元に映像出力部22で同期化することで、映像出力を行う。
ただし、参考例のクロック制御部35の出力する制御量fcは、実施例1における制御量fcの符号を反転したものとする。
[ Reference example ]
Figure 8 is a reference example of a block diagram showing a schematic configuration of a video clock synchronizer is, synchronization in the
In the operation of the figure, the video signal input from the
At this time, the clock
However, the control amount fc output from the
[実施例2]
図9は、本発明の実施例2の映像クロック同期装置の概略構成を示すブロック図であり、実際の映像データの代わりに疑似映像データを送ることにより、送受信間の映像クロックの同期が可能な実施例である。
同図において、38が映像信号の代わりにダミーのパケットデータを送信する擬似パケット送信部、39が擬似データを受け取り処理する擬似受信部、40が擬似データを受け取って元の映像データの長さに伸張する擬似パケット受信部、41が擬似的に映像出力動作を行う擬似映像出力部である。
同図の動作は、映像機器12から入力された映像信号は、送信部13内で映像信号をパケット化するパケット送信部28を経由して伝送路14に出力すると同時に、擬似パケット送信部38から短い擬似映像データが伝送路14に出力される。
受信部15においては、実際の映像信号だけを受信し映像信号がマスタークロック11に同期して出力される。
一方、擬似受信部39では、擬似映像データを擬似パケット受信部40で受け取り、実際の映像データの長さに伸張した上で、受信バッファ部21に渡し、擬似映像出力部41ではマスタークロック11に同期しながら、映像を擬似的に出力する。
これにより、実際の映像データを使わずに、クロック同期化制御部37が動作でき、伝送路14を介して調整指示を送信部13内の同期クロック生成部36に送ることで、映像機器12に対して、受信側のマスタークロックに同期したクロックを与えることができる。
[ Example 2 ]
9, Ri block diagram showing a schematic configuration of a video clock synchronization device according to a second embodiment of the present invention, by sending the actual pseudo video data instead of the video data, can be synchronized video clocks between transmitting and receiving This is an example.
In the figure, 38 is a pseudo packet transmitter for transmitting dummy packet data instead of a video signal, 39 is a pseudo receiver for receiving and processing pseudo data, and 40 is receiving the pseudo data to the length of the original video data. A decompressed pseudo packet receiving unit 41 is a pseudo video output unit that performs a pseudo video output operation.
The operation shown in FIG. 5 is that the video signal input from the
The receiving
On the other hand, the
As a result, the clock
以上説明したように、前述の各実施例によれば、IPネットワーク等のジッタの多い伝送路を用いた映像伝送においても、送受信間の映像クロックを同期させることが可能で、コマ落ちのない映像伝送を実現することが可能となる。
また、受信側に設置した映像のマスタークロックに同期した映像クロック信号を送信側映像機器に供給することにより、生中継においても放送局内で映像クロックの載せ替えが不要であり、コマ落ちのない放送が可能となる。
さらに、図10に示すように同一のマスタークロックが供給された複数の受信側と、それぞれに対する複数の送信側との間の遅延を制御することにより、伝送路を介して設置された複数の映像機器の同期が可能となる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
As described above, according to each of the above-described embodiments, it is possible to synchronize the video clock between transmission and reception even in video transmission using a jittery transmission line such as an IP network, and the video without dropping frames. Transmission can be realized.
In addition, by supplying a video clock signal synchronized with the master clock of the video installed on the receiving side to the transmitting side video equipment, it is not necessary to replace the video clock in the broadcasting station even during live broadcasting, and broadcast without frame dropping Is possible.
Furthermore, as shown in FIG. 10, by controlling the delays between a plurality of receiving sides to which the same master clock is supplied and a plurality of transmitting sides for each, a plurality of images installed via a transmission path Device synchronization is possible.
As mentioned above, the invention made by the present inventor has been specifically described based on the above embodiments. However, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Of course.
11 マスタークロック
12 映像機器
13 パケット送信部
14 伝送路
15 パケット受信部
16 映像入力部
17 送信バッファ部
18 パケット送信部(PCR挿入)
19 クロック再生部
20 パケット受信部
21 受信バッファ部
22 映像出力部
23 PCR抽出
24 比較器
25,31 LPF部
26,32 VCXO部
27 STC生成部
28 パケット送信部
29 VCXO制御部
30 D/A変換部
33 映像クロック生成部
34 受信バッファ観測部
35 クロック制御部
36 同期クロック生成部
37 クロック同期化制御部
38 擬似パケット送信部
39 擬似受信部
40 疑似パケット受信部
41 疑似映像出力部
DESCRIPTION OF
19 clock recovery unit 20
Claims (6)
前記パケット受信装置は、前記通信回線から前記連続データをパケットとして受信するパケット受信部と、
受信したパケット内の情報をデータとして蓄える受信バッファ部と、
前記通信回線から見て前記パケット受信装置側にある外部クロック源から入力される外部クロックに同期して前記連続データを出力するデータ出力部と、
前記受信バッファ部のバッファ使用量を観測する受信バッファ観測部と、
前記受信バッファ使用量から、前記外部クロックと前記連続データクロックとの差分を求めてクロック調整量を決定し、該クロック調整量から前記連続データのクロック制御量を計算して前記通信回線に該クロック制御量を送信するクロック制御部とを有し、
前記パケット送信装置は、前記通信回線から前記クロック制御量を入力としてVCXO制御信号を生成する制御部と、
前記VCXO制御信号を入力制御電圧に変換するD/A変換部と、
前記入力制御電圧により決定される周波数の基本クロックを生成するVCXO部と、
前記VCXO部で生成された基本クロックに基づき、前記連続データ出力装置に供給するクロックを生成するクロック生成部とを有し、
前記外部クロック源に同期した前記連続データのクロックを前記連続データ出力装置に供給することを特徴とするクロック同期装置。 A packet transmitter and a packet receiver connected to each other via a communication line are provided , and continuous data transmitted from an external continuous data output device is transmitted from the packet transmitter to the packet receiver via the communication line. A clock synchronization device for synchronizing the clock of the continuous data between transmission and reception when
The packet receiving apparatus, a packet receiving unit that receives the communication times line or al the continuous data as packets,
A reception buffer unit that stores information in the received packet as data;
A data output unit for outputting the continuous data in synchronization with an external clock input from an external clock source on the packet receiving device side as seen from the communication line ;
A reception buffer observation unit for observing the buffer usage of the reception buffer unit;
From the receiving buffer usage, the external clock and the seeking the difference between successive data clock determines the clock adjustment amount, the clock to the communication line to calculate the clock control amount of the continuous data from the clock adjustment amount A clock control unit for transmitting a control amount ;
The packet transmission device includes a control unit for generating a VCXO control signal the communication times line or al the clock control amount as an input,
A D / A converter for converting the VCXO control signal into an input control voltage;
A VCXO unit for generating a basic clock having a frequency determined by the input control voltage;
Based on the basic clock generated by the VCXO unit, and a clock generator for generating a clock to be supplied to the continuous data output device,
Clock synchronization device comprising a Turkey to supply the said continuous data clock synchronized to an external clock source to the continuous data output device.
前記パケット受信装置は、前記通信回線から前記擬似連続データをパケットとして受信する疑似パケット受信部と、
前記疑似パケット受信部で受信したパケット内の情報をデータとして蓄える受信バッファ部と、
前記通信回線から見て前記パケット受信装置側にある外部クロック源からの外部クロックが入力される疑似データ出力部と、
前記受信バッファ部のバッファ使用量を観測する受信バッファ観測部と、
前記受信バッファ使用量から、前記外部クロックと前記擬似連続データクロックとの差分を求めてクロック調整量を決定し、該クロック調整量から前記擬似連続データのクロック制御量を計算して前記通信回線に該クロック制御量を送信するクロック制御部とを有し、
前記パケット送信装置は、前記連続データから前記擬似連続データを生成し、該擬似連続データをパケットとして前記通信回線に送信する疑似パケット送信部と、
前記通信回線上から前記クロック制御量を入力してVCXO制御信号を生成する制御部と、
前記VCXO制御信号を入力制御電圧に変換するD/A変換部と、
前記入力制御電圧により決定される周波数の基本クロックを生成するVCXO部と、
前記VCXO部で生成された基本クロックに基づき、前記連続データ出力装置に供給するクロックを生成するクロック生成部とを有し、
前記外部クロック源に同期した前記連続データのクロックを前記連続データ出力装置に供給することを特徴とするクロック同期装置。 A packet transmitter and a packet receiver connected to each other via a communication line are provided , and continuous data transmitted from an external continuous data output device is transmitted from the packet transmitter to the packet receiver via the communication line. A clock synchronization device that synchronizes a clock of pseudo continuous data generated from the continuous data and a clock of the continuous data when
The packet receiving apparatus, and a pseudo packet receiving unit that receives the communication times line or al the pseudo-continuous data as packets,
A reception buffer for storing information in the packet received by the pseudo packet receiver as data;
A pseudo data output unit to which an external clock from an external clock source on the packet receiving device side as viewed from the communication line is input;
A reception buffer observation unit for observing the buffer usage of the reception buffer unit;
From the amount for the reception buffer used, the external clock and by obtaining a difference between the pseudo-continuous data clock determines the clock adjustment amount, the communication from the clock adjustment amount by calculating the clock control of the pseudo-continuous data A clock control unit for transmitting the clock control amount to the line,
The packet transmission device generates the pseudo continuous data from the continuous data, and transmits the pseudo continuous data as a packet to the communication line;
A control unit that inputs the clock control amount from the communication line and generates a VCXO control signal ;
A D / A converter for converting the VCXO control signal into an input control voltage;
A VCXO unit for generating a basic clock having a frequency determined by the input control voltage;
Based on the basic clock generated by the VCXO unit, and a clock generator for generating a clock to be supplied to the continuous data output device,
Clock synchronization device comprising a Turkey to supply the said continuous data clock synchronized to an external clock source to the continuous data output device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004331971A JP4425115B2 (en) | 2004-11-16 | 2004-11-16 | Clock synchronization apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004331971A JP4425115B2 (en) | 2004-11-16 | 2004-11-16 | Clock synchronization apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006148227A JP2006148227A (en) | 2006-06-08 |
JP4425115B2 true JP4425115B2 (en) | 2010-03-03 |
Family
ID=36627441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004331971A Expired - Lifetime JP4425115B2 (en) | 2004-11-16 | 2004-11-16 | Clock synchronization apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4425115B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4905060B2 (en) | 2006-11-07 | 2012-03-28 | 富士通株式会社 | Reception device and data reproduction method |
JP4701189B2 (en) * | 2007-01-19 | 2011-06-15 | 富士通株式会社 | Data processing apparatus, data processing method, and data processing program |
EP2822284B1 (en) * | 2007-10-04 | 2015-12-30 | Microchip Technology Germany GmbH | Real-time video transmission system |
JP2010135880A (en) * | 2008-12-02 | 2010-06-17 | Hitachi Ltd | Clock synchronization system and clock synchronization method |
JP5948361B2 (en) | 2014-03-28 | 2016-07-06 | 株式会社Pfu | Information processing apparatus and output adjustment method |
WO2021134397A1 (en) * | 2019-12-31 | 2021-07-08 | 上海飞来信息科技有限公司 | Method and apparatus for wireless transmission of an image, storage medium, and electronic device |
KR20230045306A (en) * | 2021-09-28 | 2023-04-04 | 삼성전자주식회사 | Storage device and system of controlling operation through flow control monitoring |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0575666A (en) * | 1991-09-17 | 1993-03-26 | Toshiba Corp | Transmission flow control system |
JP3178505B2 (en) * | 1995-07-31 | 2001-06-18 | 日本ビクター株式会社 | Transmission playback device |
JP3169335B2 (en) * | 1996-03-06 | 2001-05-21 | 三菱電機株式会社 | Line connection device |
JP2001230750A (en) * | 2000-02-17 | 2001-08-24 | Matsushita Electric Ind Co Ltd | Stream transmitter, receiver therefor and fundamental frequency synchronization method |
JP2004158065A (en) * | 2002-11-05 | 2004-06-03 | Matsushita Electric Ind Co Ltd | Digital data transmission apparatus |
JP4093034B2 (en) * | 2002-12-02 | 2008-05-28 | オンキヨー株式会社 | Content transmission / reception system and content transmission apparatus |
-
2004
- 2004-11-16 JP JP2004331971A patent/JP4425115B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2006148227A (en) | 2006-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6493832B1 (en) | Communication apparatus which handles a time stamp | |
JP5101016B2 (en) | System and method for multimedia distribution in a wireless environment | |
JP4990762B2 (en) | Maintaining synchronization between streaming audio and streaming video used for Internet protocols | |
US6636270B2 (en) | Clock slaving methods and arrangements | |
JP4905060B2 (en) | Reception device and data reproduction method | |
US20110043694A1 (en) | Transmitting apparatus, receiving apparatus and contents reproducing system | |
US8842218B2 (en) | Video/audio data output device and method | |
JPH09275420A (en) | Packet transmitting method | |
KR101787424B1 (en) | Mechanism for clock recovery for streaming content being communicated over a packetized communication network | |
JP4425115B2 (en) | Clock synchronization apparatus and program | |
JP2007258932A (en) | Packet transmission system | |
US20080307470A1 (en) | Control method for an information processing device | |
JPH11239179A (en) | Device and method for repeating multimedia data | |
JP4081936B2 (en) | COMMUNICATION DEVICE, COMMUNICATION METHOD, AND RECORDING MEDIUM | |
KR100457508B1 (en) | Apparatus for setting time stamp offset and method thereof | |
US7783200B2 (en) | Method and apparatus for constant bit rate data transmission in an optical burst switching network | |
EP1667447B1 (en) | Data conversion system | |
JP5375021B2 (en) | Clock recovery system and method | |
JP6259227B2 (en) | Clock reproduction control device and video signal receiving device | |
JP5958008B2 (en) | Stream processing apparatus, stream processing method, and stream processing program | |
JP2000122681A (en) | Sound data synchronizing regenerator | |
JP6484403B2 (en) | Communication device, communication program, and communication method | |
JP2002374220A (en) | Stream transmission reception system, and stream transmitter and receiver | |
KR100784949B1 (en) | Data conversion system | |
US20080138047A1 (en) | Information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4425115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131218 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |