KR19990081408A - Digital TV Receive Decoder Device - Google Patents
Digital TV Receive Decoder Device Download PDFInfo
- Publication number
- KR19990081408A KR19990081408A KR1019980015324A KR19980015324A KR19990081408A KR 19990081408 A KR19990081408 A KR 19990081408A KR 1019980015324 A KR1019980015324 A KR 1019980015324A KR 19980015324 A KR19980015324 A KR 19980015324A KR 19990081408 A KR19990081408 A KR 19990081408A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- format
- group
- digital
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 description 18
- 239000013598 vector Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 241000519995 Stachys sylvatica Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
본 발명은 영상신호를 압축하여 전송하고, 이 전송된 압축영상신호를 수신기의 디코더에서 복호화하여 디스플레이하는 디지탈 티브이 수신기(Digital TV Receiver)의 영상 디코더 장치에 관한 것이다The present invention relates to a video decoder device of a digital TV receiver for compressing and transmitting a video signal, and decoding and displaying the transmitted compressed video signal in a decoder of the receiver.
본 발명의 디지탈 티브이 수신 디코더 장치는, SDTV(standard definition television)에서 HD(high definition)급 영상을 수신하기 위하여 다운컨버팅(down converting)을 수행할때 그 휘도(Y) 및 칼라(C)신호의 포맷을 색신호에 대해서는 거의 다운샘플링이 일어나지 않을 정도로 많은 정보량을 가질 수 있게하고 최종 출력단계에서는 크로마 업샘플링이 필요하지 않도록, 최종 디스플레이 포맷으로 메모리에 기억시켜 처리하고 또 포맷변환하여 출력함으로써 화질을 개선할 수 있도록 한 디지탈 티브이 수신 디코더 장치를 제공한다.In the digital TV receiver decoder of the present invention, when downconverting is performed in order to receive a high definition (HD) -class image from a standard definition television (SDTV), the luminance (Y) and color (C) signals of The format can be stored in memory as the final display format, processed, reformatted, and outputted so that the format can have a large amount of information so that almost no downsampling occurs for color signals, and no chroma upsampling is required in the final output stage. A digital TV receiver decoder device is provided.
Description
본 발명은 영상신호를 압축하여 전송하고, 이 전송된 압축영상신호를 수신기의 디코더에서 복호화하여 디스플레이하는 디지탈 티브이 수신기(Digital TV Receiver)의 영상 디코더 장치에 관한 것으로서 특히 SD급 수신기로 HD급 데이타를 수신하기 위하여 수행하는 다운 컨버팅(down converting)시에 영상신호의 화질 개선을 위하여 영상신호의 처리포맷을 변환하는 것을 특징으로 하는 디지탈 티브이 수신 디코더 장치에 관한 것이다.The present invention relates to a video decoder device of a digital TV receiver for compressing and transmitting a video signal, and decoding and displaying the transmitted compressed video signal at a decoder of a receiver. The present invention relates to a digital TV receiving decoder apparatus for converting a processing format of a video signal to improve the quality of the video signal during down-converting.
실시예로서 본 발명은 MPEG영상신호를 수신하여 이 수신된 영상신호를 복호화하는 디지탈 티브이 디코더에 있어서, SDTV수신기를 이용해서 HD급 영상을 수신하기 위한 디코더 장치로서, B프레임 픽쳐는 디스플레이 사이즈에 맞게 줄여서 메모리에 저장하고, 또 데이타 엔코딩(data encoding)하여 저장하며, 출력시에는 디코딩 및, I,P픽쳐에 대한 종횡비 및 포맷변환을 수행하여 디스플레이 출력을 수행하는데,, 이때 포맷변환을 최종 디스플레이 포맷과 같은 포맷으로 수행하여 메모리에 저장하고 또 출력함으로써 종단의 업샘플링 단계를 배제시킬 수 있도록 한 디지탈 티브이 수신 디코더 장치에 관한 것이다.As an embodiment, the present invention provides a digital TV decoder that receives an MPEG video signal and decodes the received video signal, wherein the decoder device is configured to receive an HD video using an SDTV receiver. It is shortened and stored in memory, data encoded and stored, and when outputted, the display is performed by decoding, aspect ratio and format conversion for I and P pictures, wherein the format conversion is performed in the final display format. The present invention relates to a digital TV reception decoder device capable of eliminating an upsampling step of an end by storing the same in a memory and outputting the same.
디지탈 티브이 수신기는 MPEG2로 압축전송된 영상신호를 복호기에서 복호화하여 화면에 디스플레이 한다.The digital TV receiver decodes the video signal compressed and transmitted in MPEG2 by the decoder and displays it on the screen.
통상적으로, 디지탈 티브이 수신기는 선명도/영상재현성능(화질)과 관련하여 화소(pel = picture element)의 수에 따라 HDTV급과 SDTV급으로 대별되며, HDTV의 경우는 예를 들면 최대 1920pels/1080lines의 성능을 갖추고, SDTV의 경우는 예를 들면 640pels/480lines을 갖추고 있다.In general, digital TV receivers are classified into HDTV class and SDTV class according to the number of pixels (pel = picture elements) with respect to clarity / reproduction performance (quality), and for HDTV, for example, up to 1920pels / 1080lines Performance and SDTV, for example, has 640pels / 480lines.
이하, 도1 내지 도9에 나타낸 화소단위들은 본 발명의 설명을 위하여 한 예로써 제시하며 이 것에 제한되지 않는다.Hereinafter, the pixel units shown in FIGS. 1 to 9 are presented as an example for explanation of the present invention and are not limited thereto.
도1은 디지탈 TV수신기에서 디코더의 일예를 나타내며, 1화소를 8비트로 표현하고, 1매크로블록(macro block)은 16*16 화소의 데이타 구조를 가지며, DCT계수와 움직임벡터 정보를 포함하는 각 급에 상당하는 수준의 비트스트림(bit stream)을 처리한다.1 shows an example of a decoder in a digital TV receiver, one pixel is represented by 8 bits, and one macro block has a data structure of 16 * 16 pixels and includes DCT coefficients and motion vector information. It handles a bit stream equivalent to.
도1에서, VLD(Variable Length Decoder)(1)는 입력된 비트 스트림 데이타를 가변장 복호화하고, IDCT(2)는 가변장 복호화된 데이타를 역 이산코사인변환(Inverse Discrete Cosine Transform)하여 복호화하고, 가산기(3)에서는 복호화된 데이타에 움직임 추정보상부(4)의 움직임 보상된 정보를 이용해서 복원된 영상을 프레임 메모리(5)에 4:2:0 영상신호 포맷으로 저장하고, 저장된 데이타는 4:2:2의 영상신호 포맷으로 업샘플링하여 디스플레이수단으로 출력(Video out)된다.In Figure 1, Variable Length Decoder (VLD) 1 variable length decodes the input bit stream data, IDCT 2 decodes the variable length decoded data by Inverse Discrete Cosine Transform, The adder 3 stores the reconstructed image using the motion compensated information of the motion estimation compensator 4 in the decoded data in the frame memory 5 in a 4: 2: 0 image signal format, and the stored data is 4 It is upsampled to the video signal format of 2: 2 and output to the display means.
상기의 HDTV수신기는 HD급 데이타를 수신하여 복호화하므로 SD급 데이타를 수신하여 복호화하는데 전혀 장애를 받지 않는다.Since the HDTV receiver receives and decodes HD class data, there is no obstacle in receiving and decoding SD data.
상기의 SDTV수신기는 SD급 데이타를 수신하여 복호화하므로 SD급 데이타를 수신하여 복호화하는데 전혀 장애를 받지 않지만, 호환성의 관점에서 HD급 데이타를 수신하여 처리(복호화/디스플레이)할 수 있어야 한다.Since the SDTV receiver receives and decodes the SD level data, there is no obstacle in receiving and decoding the SD level data, but from the viewpoint of compatibility, the SDTV receiver should be able to receive and process (decode / display) the HD level data.
이 것을 위해서 SD급 TV수신기의 디코더장치는 HD급 데이타에 대한 SD급 수신을 위한 '데이타 처리'를 수행하게 된다.To this end, the decoder of the SD TV receiver performs 'data processing' for the SD reception of HD data.
이러한 데이타 처리 과정을 우리는 다운샘플링(downsampling)/또는 다운 컨버팅-즉, 필터링/데시메이션(filtering/decimation)-을 통해서 확보하고 있다.This data processing process is secured by downsampling / or down-converting, ie filtering / decimation.
도2의 a는 4:4:4의 영상신호 포맷을 나타내며, b는 4:2:2의 영상신호 포맷을 나타내고, 도3은 4:2:0의 영상신호 포맷을 나타낸다.2 shows a 4: 4: 4 video signal format, b shows a 4: 2: 2 video signal format, and FIG. 3 shows a 4: 2: 0 video signal format.
도2 및 도3에서 가위표시(cross)는 휘도신호이며, 원표시(circle)는 색신호(Cb,Cr)를 표현하고 있다.In Figs. 2 and 3, the cross is the luminance signal, and the circle represents the color signals Cb and Cr.
도4는 종래에 SD급 TV수신기에서 HD급 데이타를 수신하여 복호화하고 디스플레이하기 위한 디코더장치의 다운샘플링 기술의 일 예를 보이고 있다.4 shows an example of a downsampling technique of a decoder device for receiving, decoding and displaying HD data in an SD TV receiver.
도4는 8*8크기의 블럭 데이타를 4*4로 줄여서 디코딩하는 기법이다.4 is a method of decoding 8 * 8 block data by reducing it to 4 * 4.
8*8크기의 데이타블록(41)을 IDCT/다운샘플러(42)에서 수평과 수직으로 8화소에 대하여 역이산코사인변환과 다운샘플링을 수행함으로써 8*8의 크기의 블럭을 4*4크기로 줄인다.The 8 * 8 sized data block 41 is inversely cosine transformed and downsampled on the 8 pixels in the IDCT / downsampler 42 horizontally and vertically to reduce the size of the 8 * 8 sized block to 4 * 4 size. Reduce
도4에서는 데이타 블록(41)의 상위단으로부터 흑점으로 표시된 바와같이 16개의 DCT계수들을 선택하여 이 것을 4*4 크기의 역이산코사인변환함으로써 다운샘플링된 이미지 데이타를 구하였다.In FIG. 4, 16 samples of DCT coefficients were selected from the upper end of the data block 41, and 4x4 inverse discrete cosine transform was used to obtain downsampled image data.
선택된 계수(selected coefficient)를 제외한 제거된 계수(discarded coefficient)는 백색점(공란)으로 나타내었다.The discarded coefficients, except for the selected coefficients, are shown as white spots (blanks).
여기서 선택된 계수의 갯수나, 계수를 선택하는 방법은 이외에도 여러가지가 있다.The number of coefficients selected here and the method of selecting the coefficients are various as well.
4*4로 다운샘플링된 이미지 데이타는 가산기(43)를 거쳐서 프레임 메모리(44)에 저장된다(또는 필드 메모리일 수도 있다).The image data downsampled to 4 * 4 is stored in the frame memory 44 via the adder 43 (or may be a field memory).
프레임 메모리(44)의 이미지 데이타는 다운 샘플링된 이미지 데이타에 적응하는 움직임 벡터정보(motion vectors)처리를 위해서, 업샘플러(45)에 의하여 8*8로 수평/수직방향의 업샘플링(upsampling)되고, 업샘플링된 이미지 데이타는 움직임 보상예측기(46)에서 움직임 벡터(Motion Vectors)에 의해서 움직임 보상처리되고, 이 보상된 정보는 8*8크기이므로 다운샘플러(47)에서 다시 4*4크기로 수평/수직 방향의 다운샘플링이 행해진 다음, 이 4*4의 다운샘플링된 움직임 보상된 블럭이 가산기(43)에 가해짐으로써, 최종적으로 우리가 원하는-8*8이 4*4로 다운샘플링된-영상블럭을 얻어서 프레임 메모리에 저장하게 된다.The image data of the frame memory 44 is upsampled horizontally and vertically up to 8 * 8 by the upsampler 45 for processing motion vectors adapted to the down sampled image data. The upsampled image data is motion compensated by motion vectors in the motion compensation predictor 46, and the compensated information is 8 * 8 in size, so the downsampler 47 is again horizontally 4 * 4 in size. After downsampling in the vertical direction is performed, this 4 * 4 downsampled motion compensated block is applied to the adder 43, so that the final 8 * 8 we want is downsampled to 4 * 4. The image block is obtained and stored in the frame memory.
출력시에는 프레임 메모리(44)의 출력값을 포맷 변환기(48)에서 4:2:0포맷으로 변환하고 이 것을 업샘플링기(49)에서 4:2:2포맷으로 변환하여 출력한다.At the time of output, the output value of the frame memory 44 is converted into 4: 2: 0 format by the format converter 48, and this is converted into 4: 2: 2 format by the upsampler 49 and output.
도5는 종래에 SD급 TV수신기에서 HD급 데이타를 수신하여 복호화하고 디스플레이하기 위한 디코더장치의 다운샘플링 기술의 다른 예를 보이고 있다.Figure 5 shows another example of a downsampling technique of a decoder device for receiving, decoding and displaying HD data in an SD TV receiver.
도5는 8*8크기의 데이타를 8*4로 줄이는 기법이다.5 is a technique of reducing 8 * 8 size data to 8 * 4.
8*8크기의 데이타블록(51)을 IDCT/다운샘플러(52)에서 수평으로 8pels에 대하여 역이산코사인변환과 다운샘플링을 수행함으로써 8*8의 크기를 8*4크기로 줄인다.The size of 8 * 8 is reduced to 8 * 4 by performing inverse discrete cosine transform and downsampling on the 8 * 8 data block 51 horizontally in IDCT / downsampler 52.
선택된 계수(selected coefficient)를 제외한 제거된 계수(discarded coefficient)는 백색점(공란)으로 나타내었다.The discarded coefficients, except for the selected coefficients, are shown as white spots (blanks).
여기서 선택된 계수의 갯수나, 계수를 선택하는 방법은 이외에도 여러가지가 있다.The number of coefficients selected here and the method of selecting the coefficients are various as well.
8*4로 다운샘플링된 이미지 데이타는 가산기(53)를 거쳐서 프레임 메모리(54)에 저장된다(또는 필드 메모리일 수도 있다).The image data downsampled to 8 * 4 is stored in the frame memory 54 via the adder 53 (or may be a field memory).
프레임 메모리(54)의 이미지 데이타는 다운 샘플링된 이미지 데이타에 적응하는 움직임 벡터정보(motion vectors)처리를 위해서, 업샘플러(55)에 의하여 8*8로 업샘플링(upsampling)되고, 업샘플링된 이미지 데이타는 움직임 보상예측기(56)에서 움직임 벡터(Motion Vectors)에 의해서 움직임 보상처리되고, 이 보상된 정보는 8*8크기이므로 다운샘플러(57)에서 다시 8*4크기로 다운샘플링이 행해진 다음, 이 8*4의 다운샘플링 움직임처리정보가 가산기(53)에 가해짐으로써, 최종적으로 우리가 원하는-8*8이 8*4로 다운샘플링된-영상블럭을 얻어서 프레임 메모리에 저장된다.The image data of the frame memory 54 is upsampled to 8 * 8 by the upsampler 55, and upsampled by the upsampler 55 for motion vectors processing to adapt to the down sampled image data. The data is motion compensated by the motion vectors in the motion compensation predictor 56. Since the compensated information is 8 * 8 size, downsampling is performed again in the downsampler 57 to 8 * 4 size. The 8 * 4 downsampling motion processing information is added to the adder 53, so that finally, the desired 8 * 8 downsampled to 8 * 4 -image block is stored in the frame memory.
출력시에는 프레임 메모리(54)의 출력값을 포맷 변환기(58)에서 4:2:0포맷으로 변환하고 이 것을 업샘플링기(59)에서 4:2:2포맷으로 변환하여 출력한다.At the time of output, the output value of the frame memory 54 is converted into 4: 2: 0 format by the format converter 58, and this is converted into 4: 2: 2 format by the upsampler 59 and output.
도6은 디지탈 티브이 수신 디코더 장치의 또다른 실시예이며 본 출원인이 이미 출원한 특허98-5292 호의 내용으로 I,P,B픽쳐를 8*4로 다운샘플링하여 디코딩한 다음 B픽쳐는 720pels/480lines 크기의 프레임 변환과 데이타 엔코딩을 수행하여 메모리에 저장하고, I,P픽쳐는 비트 엔코딩을 수행하여 메모리에 앵커프레임으로 저장하며, B픽쳐는 데이타 디코딩하고 I,P픽쳐는 데이타 디코딩후에 720pels/ 480lines 크기에 맞게 프레임을 변환하여 상기 비트 디코딩된 B픽쳐와 함께 출력하는 실시예이다.FIG. 6 is another embodiment of a digital TV receiver decoder, and the contents of Patent No. 98-5292, filed by the present applicant, downsample and decode I, P, and B pictures to 8 * 4, and then B pictures are 720pels / 480lines Frame size conversion and data encoding are performed and stored in memory, I, P picture is bit-encoded and stored as an anchor frame, B picture is decoded data and I, P picture is 720pels / 480lines after data decoding The embodiment converts a frame to a size and outputs the same with the bit decoded B picture.
IDCT/다운샘플링부(61)은 입력된 DCT계수를 역이산코사인변환하고, 또 수평방향으로 필터링/다운샘플링을 수행하여 8*8크기를 8*4로 줄인다.The IDCT / down sampling unit 61 inverses discrete DC cosine conversion of the input DCT coefficient and performs filtering / down sampling in the horizontal direction to reduce the size of 8 * 8 to 8 * 4.
여기서 다운샘플링은 I,P,B픽쳐 모두에 대하여 수행하고 이 8*4데이타를 가산기(62)에 입력한다.Here, downsampling is performed on all I, P, and B pictures, and this 8 * 4 data is input to the adder 62.
가산기(62)의 출력은 I,P픽쳐와 B픽쳐에 따라 다르게 처리된다.The output of the adder 62 is processed differently according to the I, P picture and the B picture.
B픽쳐에 대해서는 디스플레이 사이즈 변환부(64)을 거치면서 4:2:0의 포맷으로 변환이 이루어진다.The B picture is converted into a 4: 2: 0 format while passing through the display size converting unit 64.
포맷 변환이 이루어진 B픽쳐 정보는 데이타 엔코딩부(65b)를 거쳐서 비트 저감이 이루어진 후에 메모리부(66)의 B프레임 메모리(66b)에 저장된다.The B-picture information that has undergone format conversion is stored in the B-frame memory 66b of the memory 66 after bit reduction is performed via the data encoding section 65b.
데이타 엔코딩부(65b)에 의한 비트 저감의 작용을 도7에 나타내었으며, 이 작용은 I,P픽쳐에 대한 데이타 엔코딩부(65a)에도 적용되고, 데이타 디코딩은 엔코딩의 역과정에 해당한다.The operation of bit reduction by the data encoding unit 65b is shown in Fig. 7, which also applies to the data encoding unit 65a for the I and P pictures, and the data decoding corresponds to the reverse process of encoding.
도7에서 보는 바와같이, 메모리의 용량제한을 고려해서 인접 화소의 상관성을 이용하여 비트량을 줄인다.As shown in Fig. 7, the amount of bits is reduced by using the correlation of adjacent pixels in consideration of the capacity limitation of the memory.
즉, 비트량은 8*4를 기본으로 하여, 수평(또는 수직)방향으로 인접 화소의 상관성을 고려하여 14비트로 줄인다.That is, the bit amount is reduced to 14 bits based on 8 * 4 in consideration of the correlation of adjacent pixels in the horizontal (or vertical) direction.
비트수를 줄이는 방법의 일예로서, DPCM을 들 수 있다.An example of a method of reducing the number of bits is DPCM.
화소(decoded image pels)(700)의 수평(또는 수직) 화소p1,p2,p3,p4(701)에 대해서 p1(원래의 값),p2-p1(인접화소 차값) 및 p3(원래의 값),p4-p3(인접화소 차값)(702)으로 상기 다운샘플링 데이타를 부호화(coding)하는데, p1은 8비트값으로, p2-p1은 6비트값으로, p3은 8비트값으로, p4-p3는 6비트값으로 비균일 양자화(non-uniform quantization)기법으로 부호화한다(703).P1 (original value), p2-p1 (adjacent pixel difference value) and p3 (original value) for horizontal (or vertical) pixels p1, p2, p3, p4 701 of the decoded image pels 700 p4-p3 (adjacent pixel difference value) 702 encodes the downsampling data, wherein p1 is an 8-bit value, p2-p1 is a 6-bit value, p3 is an 8-bit value, and p4-p3 The 6-bit value is encoded by using a non-uniform quantization technique (703).
부호화된 결과(704)는 해당 메모리(705)에 저장되는데 이 메모리는 도6에서 앵커 프레임 메모리이거나 B프레임 메모리일 수 있다.The encoded result 704 is stored in the memory 705, which may be an anchor frame memory or a B frame memory in FIG.
위와같이 비트 저감된 데이타는 B프레임 메모리(66b)에 저장되며, 영상복원(재현)을 위해서 데이타 디코딩부(71)에 의해서 상기 복호화의 역과정을 통해 디코딩된다.The bit-reduced data as described above is stored in the B-frame memory 66b and decoded by the data decoding unit 71 through the reverse process of decoding for image restoration (reproduction).
또한 스위칭부(63)의 선택에 의해서 I,P픽쳐도 데이타 엔코딩부(65a)을 통해서 비트 저감되고 이것은 앵커프레임메모리(66a)에 저장되며, 영상 복원을 위해서 데이타 디코딩부(67)에 의해서 디코딩된다.In addition, by selecting the switching unit 63, the I and P pictures are also bit-reduced through the data encoding unit 65a, which is stored in the anchor frame memory 66a, and decoded by the data decoding unit 67 to restore the image. do.
디코딩된 8*4데이타는 움직임보상을 위해서 움직임 벡터정보(Motion Vectors)를 입력으로 하는 수평 업샘플링기(68)에서 수평방향으로 업샘플링되어 8*8데이타로 출력된다.The decoded 8 * 4 data is upsampled in the horizontal direction by a horizontal upsampler 68 that receives motion vector information for motion compensation and output as 8 * 8 data.
이 업샘플링된 8*8데이타는 움직임 보상예측기(69)에 입력되어 움직임 벡터정보에 의해서 움직임 보상되고, 움직임 보상된 정보는 8*8크기로 수평 다운샘플링기(70)에 입력된다.This upsampled 8 * 8 data is input to the motion compensation predictor 69 and motion compensated by the motion vector information, and the motion compensated information is input to the horizontal downsampler 70 in 8 * 8 size.
수평 다운샘플링기(70)는 입력된 8*8움직임 보상정보를 8*4로 수평 다운샘플링하여 상기 가산기(62)에 공급함으로써, IDCT/다운샘플링부(61)에 의해서 8*4로 다운샘플링된 I,P,B 픽쳐데이타(크기)에 맞는 움직임 보상된 I,P,B픽쳐신호를 출력하도록 한다.The horizontal downsampler 70 horizontally downsamples the input 8 * 8 motion compensation information to 8 * 4 and supplies it to the adder 62, thereby downsampling to 8 * 4 by the IDCT / downsampling unit 61. And outputs motion compensated I, P, B picture signals corresponding to the I, P, B picture data (size).
위와같은 과정을 반복하여 I,P,B 프레임의 데이타 처리가 이루어지며, 앵커 프레임 메모리(66a)로부터 출력되어 데이타 디코더(72)에서 디코딩된 8*4데이타는 프레임 크기 변환부(73)에 의해서 4:2:0의 포맷으로 변환(B프레임 포맷과 일치시킨다)된 다음, 업샘플링기(74)에서 4:2:2의 포맷으로 변환이 이루어져서 상기 B픽쳐 정보와 함께 최종적인 영상신호로서 출력(Video Out)된다.By repeating the above process, data processing of I, P, and B frames is performed, and 8 * 4 data output from the anchor frame memory 66a and decoded by the data decoder 72 by the frame size converter 73. After converting to 4: 2: 0 format (consistent with the B frame format), the upsampler 74 converts to 4: 2: 2 format and outputs the final picture signal together with the B picture information. (Video Out).
상기한 바와같은 종래의 디지탈 티브이 수신 디코더장치는 메모리 사이즈를 고려하여 영상신호를 4:2:0의 포맷으로 변환하여 저장하며 또한 이 것을 4:2:2 포맷으로 변환하여 출력(포맷변환)하고 있다.The conventional digital TV decoder device as described above converts and stores a video signal into a 4: 2: 0 format in consideration of a memory size, and converts it into a 4: 2: 2 format for output (format conversion). have.
그러므로 디코더장치내에서의 데이타 처리를 위해서 4:2:0의 포맷으로 변환된 데이타를 최종 디스플레이 포맷에 적합한 4:2:2의 포맷으로 재차 변환하는 업샘플링회로가 종단에 필요하게 된다.Therefore, an upsampling circuit for converting the data converted into 4: 2: 0 format into 4: 2: 2 format suitable for the final display format is required at the end for data processing in the decoder device.
이와같이 4:2:0의 포맷으로 변환하여 내부 처리를 거치기 때문에 결과적으로 4:2:0의 포맷에서는 색신호가 상대적으로 적게 포함될 수 밖에 없고, 이 것은 색신호가 상대적으로 적게 포함된 4:2:0의 포맷처리 데이타를 다시 4:2:2의 포맷으로 변환하여도 역시 색신호가 적게 포함된 것을 재변환하는 정도에 그치므로 화질이 극히 저하되는 것을 피할 수 없다.As the result is converted to 4: 2: 0 format and processed internally, the 4: 2: 0 format can only contain relatively few color signals, which is 4: 2: 0 with relatively few color signals. Even if the format processing data is converted back into the 4: 2: 2 format, the image quality is inevitably reduced because only the small amount of the color signal is converted again.
본 발명은 I,P픽쳐와 B픽쳐를 구분하여 다운샘플링과 데이타 엔코딩 및 디코딩을 하고, B픽쳐의 경우 저장시에 디스플레이 사이즈로의 변환을 수행함에 있어서,In the present invention, I, P picture and B picture are separated, downsampling, data encoding and decoding are performed, and in case of B picture, the conversion to display size is performed during storage.
다운샘플링된 B픽쳐 데이타의 포맷을 최종 디스플레이 포맷인 4:2:2의 포맷으로 변환하여 메모리에 저장함으로써, 최초 다운샘플링 단계에서 이미 최종 디스플레이 포맷에 부합되는 포맷을 가지도록 하고, 이로 인하여 색신호에 대해서는 거의 다운샘플링이 일어나지 않을 정도로 많은 색정보량을 가질 수 있고 종단의 4:2:0포맷을 4:2:2의 포맷으로 업샘플링하는 회로 사용을 배제시킬 수 있도록 한 디지탈 티브이 수신 디코더 장치를 제공한다.By converting the format of the downsampled B-picture data into a format of 4: 2: 2, which is the final display format, and storing it in a memory, it is possible to have a format that already matches the final display format during the initial downsampling step. Provide a digital receiving decoder device capable of having a large amount of color information with little downsampling for the first time, and eliminating the use of circuits for upsampling the 4: 2: 0 format of the terminal to a 4: 2: 2 format. do.
도1은 디지탈 티브이 수신기 디코더의 블럭 구성도1 is a block diagram of a digital TV receiver decoder
도2의 a,b와 도3은 디지탈 티브이 수신기 디코더에서 종래의 영상신호 저장 포맷을 나타낸 도면.2, 3 and 3 show a conventional video signal storage format in a digital TV receiver decoder.
도4는 종래의 다운컨버터 제 1 실시예의 블럭구성도Figure 4 is a block diagram of a conventional downconverter first embodiment
도5는 종래의 다운컨버터 제 2 실시예의 블럭구성도Fig. 5 is a block diagram of a second embodiment of a conventional downconverter.
도6은 종래의 다운컨버터 제 3 실시예의 블럭구성도Figure 6 is a block diagram of a conventional downconverter third embodiment
도7은 데이타 엔코딩/디코딩 방법을 나타낸 도면7 shows a data encoding / decoding method
도8은 본 발명의 디지탈 티브이 수신 디코더 장치의 제 1 실시예의 블럭 구성도8 is a block diagram of a first embodiment of a digital TV receiver decoder device of the present invention;
도9는 본 발명의 디지탈 티브이 수신 디코더 장치의 제 2 실시예의 블럭 구성도Fig. 9 is a block diagram of a second embodiment of the digital TV receiver decoder device of the present invention.
도10은 본 발명과 종래의 기술을 비교표10 is a table comparing the present invention and the prior art
도8은 상기의 본 발명 디지탈 티브이 수신 디코더 장치의 제 1 실시예이며종횡비 4:3의 화면에 종횡비 16:9의 스크린 포맷으로 디스플레이 하는 경우의 예로써 720pels/360lines 의 사이즈를 가진다.FIG. 8 is a first embodiment of the digital TV receiver decoder of the present invention described above, and has a size of 720pels / 360lines as an example of displaying in a screen format with an aspect ratio of 16: 9 on a screen having an aspect ratio of 4: 3.
이 것은 letter-box 방식이라 한다.This is called letter-box.
이하, 제 1 실시예에 의하여 본 발명의 디지탈 티브이 수신 디코더 장치의 구성 및 작용을 설명한다.Hereinafter, the configuration and operation of the digital TV reception decoder device of the present invention will be described according to the first embodiment.
본 발명은 8*8사이즈의 입력 데이타(I,P,B픽쳐)에 대한 DCT계수를 입력으로 하여 역이산코사인변환(IDCT) 및 필터링과 수평 다운샘플링을 수행하여 8*4사이즈 데이타로 출력하는 IDCT/다운샘플링수단(81)과, 상기 8*4데이타와 움직임보상정보를 가산하여 출력하는 가산수단(82)과, 상기 가산수단(82)에서 선택된 B픽쳐에 대하여 최종 스크린 디스플레이 포맷으로 사이즈 변환을 수행하기 위한 포맷 변환수단(84)과, 상기 가산수단(82)에서 선택된 I,P픽쳐 및 상기 포맷 변환수단(84)에서 출력된 B픽쳐에 대하여 각각 데이타엔코딩을 수행하는 데이타 엔코딩수단(85a)(85b)과, 상기 데이타 엔코딩된 I,P픽쳐정보가 저장되는 앵커 프레임 메모리(86a) 및 B픽쳐정보가 저장되는 B프레임 메모리(86b)를 포함하는 기억수단(86)과, 상기 앵커 프레임 메모리(86a) 출력을 데이타 디코딩하는 데이타 디코딩수단(87)과, 상기 데이타 디코딩된 정보를 수평방향으로 업샘플링하여 8*8사이즈로 변환하는 수평 업샘플링수단(88)과, 상기 수평 업샘플링수단(88)의 출력을 입력받아 움직임 베터정보로부터 움직임 보상 및 예측을 수행하는 움직임 보상예측수단(89)과, 상기 움직임 보상예측수단(89)의 출력을 수평방향으로 다운샘플링하여 8*4사이즈로 변환하여 가산수단(82)에 공급하는 수평 다운샘플링수단(90)과, 상기 B프레임 메모리(86b)의 출력을 데이타 디코딩하여 B프레임정보를 출력하는 데이타 디코딩수단(91)과, 상기 앵커프레임 메모리(86a)의 출력을 데이타 디코딩하는 데이타 디코딩수단(92)과, 상기 데이타 디코딩수단(92)의 출력을 상기 포맷 변환수단(84)과 동일한 포맷으로 최종 스크린 디스플레이 포맷으로 사이즈 변환을 수행하는 포맷 변환수단(93)을 포함하여 구성됨을 특징으로 한다.The present invention outputs 8 * 4 size data by performing inverse discrete cosine transform (IDCT), filtering, and horizontal downsampling using DCT coefficients for 8 * 8 size input data (I, P, B pictures) as input. An IDCT / downsampling means 81, an adder 82 which adds and outputs the 8 * 4 data and motion compensation information, and converts the size of the B picture selected by the adder 82 into a final screen display format. Data encoding means 85a for performing data encoding on the I, P picture selected by the adding means 82, and the B picture output from the format converting means 84, respectively. Storage means 86 including a) 85b, an anchor frame memory 86a for storing the data encoded I, P picture information, and a B frame memory 86b for storing B picture information, and the anchor frame. Decode the Memory 86a Output Inputs data decoding means 87, horizontal upsampling means 88 for upsampling the data decoded information in a horizontal direction, and converts the data decoded information into an 8 * 8 size, and outputs the horizontal upsampling means 88. Motion compensation prediction means 89 for performing motion compensation and prediction from the motion bettor information, and down-sampling the output of the motion compensation prediction means 89 in a horizontal direction to convert it into 8 * 4 size to adder 82. Horizontal downsampling means 90 for supplying, data decoding means 91 for outputting B frame information by data decoding the output of the B frame memory 86b, and data decoding for the output of the anchor frame memory 86a. The number of format conversions for performing size conversion of the data decoding means 92 and the output of the data decoding means 92 to the final screen display format in the same format as the format conversion means 84. It characterized in that it comprises a stage (93).
이하, 도8을 참조하여 본 발명의 작용을 설명한다.Hereinafter, the operation of the present invention will be described with reference to FIG.
IDCT/다운샘플링수단(81)은 입력된 1920pels/1080lines 사이즈의 DCT계수를 역이산코사인변환하고, 또 수평방향으로 다운샘플링을 수행하여 8*8크기를 8*4로 줄여서 960pels/1088lines의 데이타로 출력한다.The IDCT / downsampling means 81 performs inverse discrete cosine conversion of the input 1920pels / 1080lines size DCT coefficient, and also performs downsampling in the horizontal direction to reduce the 8 * 8 size to 8 * 4 to 960pels / 1088lines of data. Output
여기서 다운샘플링은 I,P,B픽쳐 모두에 대하여 수행하고 이 8*4데이타를 가산수단(82)에 입력한다.Here, downsampling is performed on all of the I, P, and B pictures, and this 8 * 4 data is input to the adding means 82.
이하 본 발명에서 다운 샘플링방법(업샘플링 또한 같다)은 이미 알려진 다양한 방법을 통해서 이루어진다.In the present invention, the down sampling method (upsampling is also the same) is performed through various known methods.
위와같이 하여 8*8 I,P,B픽쳐에 대한 8*4수평 다운샘플링을 수행한 결과는 가산수단(82)에 가해진다.The result of performing 8 * 4 horizontal downsampling on the 8 * 8 I, P, and B pictures as described above is applied to the adding means 82.
가산수단(82)의 출력은 스위칭수단(83)에 의해서 I,P픽쳐와 B픽쳐가 선택된다.As for the output of the adding means 82, I, P picture and B picture are selected by the switching means 83.
B픽쳐에 대해서는 포맷 변환수단(84)을 거치면서 720pels/360lines 크기로 변환이 이루어진다.The B picture is converted into 720pels / 360lines in size through the format converting means 84.
즉, 입력된 960pels/1088lines 사이즈의 B픽쳐를 720pels/360lines 사이즈의 4:2:2의 포맷으로 변환시킨다.That is, the B-picture of size 960pels / 1088lines is converted into a 4: 2: 2 format of 720pels / 360lines.
이 포맷은 4:3스크린 포맷에 16:9의 영상을 디스플레이하는 사이즈에 대응하는 포맷이며, letter-box 방식이라 불린다.This format corresponds to a size for displaying a 16: 9 image in a 4: 3 screen format and is called a letter-box method.
이와같이 포맷 변환이 이루어지면 색신호 성분이 16:9의 레터박스(letter box)의 잔여영역에 해당하는 메모리 영역을 차지할 수 있기 때문에 색신호에 대해서는 거의 다운샘플링이 일어나지 않을 정도로 많은 양의 색신호성분을 가질 수 있게 되고, 이 것은 후에 디스플레이되는 영상신호에서 색신호에 대한 화질의 향상을 보장하게 한다.In this way, since the color signal component may occupy a memory area corresponding to the remaining area of a 16: 9 letter box, the color signal component may have a large amount of color signal component so that almost no downsampling occurs for the color signal. This ensures an improvement of the picture quality for the color signal in the image signal displayed later.
위와같이 포맷 변환이 이루어진 B픽쳐 정보는 데이타 엔코딩수단(85b)을 거쳐서 비트 저감이 이루어진 후에 기억수단(86)의 B프레임 메모리(86b)에 저장된다.The B-picture information having the format conversion as described above is stored in the B-frame memory 86b of the storage means 86 after bit reduction is performed via the data encoding means 85b.
한편, I,P프레임 또한 엔코딩수단(85a)을 거쳐서 앵커프레임 메모리(86a)에 저장된다.Meanwhile, the I and P frames are also stored in the anchor frame memory 86a via the encoding means 85a.
데이타 엔코딩수단에 의한 비트 저감의 작용을 도7에 나타낸 바와같다.The effect of bit reduction by the data encoding means is shown in FIG.
앵커프레임 메모리(86a)에서 출력된 데이타는 디코딩수단(87)에 의해서 디코딩되고, 디코딩된 8*4데이타는 움직임보상을 위해서 움직임 벡터정보(Motion Vectors)를 입력으로 하는 수평 업샘플링수단(88)에서 수평방향으로 업샘플링되어 8*8데이타로 출력된다.Data output from the anchor frame memory 86a is decoded by the decoding means 87, and the decoded 8 * 4 data is horizontal upsampling means 88 which inputs motion vector information for motion compensation. Up-sampled in the horizontal direction at, output as 8 * 8 data.
이 업샘플링된 8*8데이타는 움직임 보상예측수단(89)에 입력되어 움직임 벡터정보에 의해서 움직임 보상되고, 움직임 보상된 정보는 8*8크기로 수평 다운샘플링수단(90)에 입력된다.This upsampled 8 * 8 data is input to the motion compensation predicting means 89 and motion compensated by the motion vector information, and the motion compensated information is input to the horizontal downsampling means 90 with 8 * 8 size.
수평 다운샘플링수단(90)은 입력된 8*8움직임 보상정보를 8*4로 수평 다운샘플링하여 상기 가산수단(82)에 공급함으로써, IDCT/다운샘플링수단(81)에 의해서 8*4로 다운샘플링된 I,P,B 픽쳐데이타(크기)에 맞는 움직임 보상된 I,P,B픽쳐신호를 출력하도록 한다.The horizontal downsampling means 90 horizontally downsamples the input 8 * 8 motion compensation information to 8 * 4 and supplies it to the adding means 82, thereby downgrading it to 8 * 4 by the IDCT / downsampling means 81. Outputs motion-compensated I, P, and B picture signals that match the sampled I, P, and B picture data (sizes).
위와같은 과정을 반복하여 I,P,B 프레임의 데이타 처리가 이루어지며, 앵커 프레임 메모리(86a)로부터 출력되는 I,P픽쳐 데이타는 데이타 디코딩수단(92)에 의해서 디코딩되고, 이 디코딩된 8*4데이타는 포맷 변환수단(93)을 거치면서 상기 B프레임의 포맷에 맞춰주기 위한 포맷 변환(720pels/360lines의 4:2:2)이 이루어진다.By repeating the above process, I, P, B frame data processing is performed, and I, P picture data output from the anchor frame memory 86a is decoded by the data decoding means 92, and the decoded 8 * The 4 data is subjected to a format conversion means (4: 2: 2 of 720pels / 360lines) to match the format of the B frame while passing through the format conversion means 93.
그래서, B프레임 메모리(86b)의 출력을 디코딩수단(91)에서 디코딩한 값과 상기 I,P픽쳐의 포맷 변환이 이루어진 값을 최종적인 디스플레이 사이즈 변환(종래의 1:2 크로마 업샘플링기)없이 직접 그 스크린 포맷에 맞게 출력할 수 있게된다.Thus, the value decoded by the decoding means 91 of the output of the B frame memory 86b and the value obtained by the format conversion of the I and P pictures are converted without the final display size conversion (traditional 1: 2 chroma upsampler). You can output directly to the screen format.
도9는 본 발명의 디지탈 티브이 수신 디코더 장치의 제 2 실시예로서, 도8의 제 1 실시예와 동일한 부분에 대해서는 동일 부호로 표기하고 중복되는 설명은 생략한다.FIG. 9 is a second embodiment of the digital TV receiver decoder of the present invention, in which the same portions as those in the first embodiment of FIG. 8 are denoted by the same reference numerals, and description thereof will be omitted.
도9에 나타낸 본 발명 제 2 실시예의 경우는 포맷변환수단(84A)(92A)이 각각720pels/480lines의 사이즈로 스크린 포맷 4:2:2에 맞게 변환하는 경우이며, 이 경우는 제 1 실시예에 비하여 메모리양은 소폭 증가하지만 letter-box방식이 아닌 16:9의 광폭TV(wide TV)의 경우에도 색신호를 거의 그대로 저장할 수 있는 경우이다.In the second embodiment of the present invention shown in Fig. 9, the format converting means 84A and 92A convert the screen format 4: 2: 2 into 720pels / 480lines, respectively, in this case. Compared to the case of 16: 9 wide TV, the amount of memory can be stored as it is.
도10은 종래의 기술과 본 발명 제 1 실시예 및 제 2 실시예를 서로 비교한 비교표이다.Fig. 10 is a comparison table comparing the prior art and the first and second embodiments of the present invention.
도표에서 보는 바와같이 본 발명의 제 1 실시예에 비해서 제 2 실시예는 소량의 메모리 증가를 가져오지만, 이 것은 모두 종래기술에 대비하여 볼때 색신호(Cb,Cr)성분을 더 많이 포함할 수 있기 때문에 동일내지 근사한 증가폭의 메모리로도 고화질의 영상 재현이 가능하게 됨을 알 수 있다.As shown in the diagram, the second embodiment results in a small amount of memory increase compared to the first embodiment of the present invention, but this may all include more color signal (Cb, Cr) components as compared to the prior art. Therefore, it can be seen that a high quality image can be reproduced even with the memory of the same or approximate increment.
본 발명에 의하면 MPEG2를 이용하는 SDTV수신기에서 HD급 영상을 수신하여 처리할때 색신호 성분에 대해서는 거의 다운 샘플링이 일어나지 않을 정도로 많은 양의 색정보를 가질 수 있기 때문에 고화질 재현이 가능하고, 별도의 종단 업샘플링기를 필요로 하지 않게되는 잇점이 있다.According to the present invention, when the HDTV image is received and processed by the SDTV receiver using MPEG2, since the color signal component can have a large amount of color information so that almost no downsampling occurs, high-definition reproduction is possible. The advantage is that no sampler is required.
또한, 메모리를 소폭 증가시키는 것만으로도 색신호를 거의 저장할 수 있기 때문에 고화질 재현이 가능하게 된다.In addition, since the color signal can be stored almost by only slightly increasing the memory, high quality reproduction is possible.
Claims (5)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019980015324A KR100308007B1 (en) | 1998-04-29 | 1998-04-29 | Digital tv decoder |
DE19919412A DE19919412B4 (en) | 1998-04-29 | 1999-04-28 | Decoder for a digital television receiver |
US09/301,762 US6333952B1 (en) | 1998-04-29 | 1999-04-29 | Decoder for digital TV receiver |
GB9909982A GB2338366B (en) | 1998-04-29 | 1999-04-29 | Decoder for digital TV receiver |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019980015324A KR100308007B1 (en) | 1998-04-29 | 1998-04-29 | Digital tv decoder |
Publications (2)
Publication Number | Publication Date |
---|---|
KR19990081408A true KR19990081408A (en) | 1999-11-15 |
KR100308007B1 KR100308007B1 (en) | 2001-10-19 |
Family
ID=37530506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019980015324A Expired - Fee Related KR100308007B1 (en) | 1998-04-29 | 1998-04-29 | Digital tv decoder |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100308007B1 (en) |
-
1998
- 1998-04-29 KR KR1019980015324A patent/KR100308007B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR100308007B1 (en) | 2001-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100370076B1 (en) | video decoder with down conversion function and method of decoding a video signal | |
US6885707B2 (en) | Systems for MPEG subsample decoding | |
US6104753A (en) | Device and method for decoding HDTV video | |
US6665343B1 (en) | Methods and arrangements for a converting a high definition image to a lower definition image using wavelet transforms | |
US6256045B1 (en) | Device and method for processing picture in MPEG decoder | |
US20010016010A1 (en) | Apparatus for receiving digital moving picture | |
KR100282307B1 (en) | Digital TV Receive Decoder Device | |
US6333952B1 (en) | Decoder for digital TV receiver | |
KR100323676B1 (en) | Apparatus for receiving digital moving picture | |
US7262806B2 (en) | System and method for aligned compression of interlaced video | |
KR100463515B1 (en) | Video decoding system | |
KR100308007B1 (en) | Digital tv decoder | |
KR100296817B1 (en) | Decoder of digital tv receiver | |
KR100323688B1 (en) | Apparatus for receiving digital moving picture | |
KR100255777B1 (en) | Digital TV Receive Decoder Device | |
KR100734348B1 (en) | Digital TV's Down Conversion Processor | |
KR100367727B1 (en) | Methods and arrangements for converting a high definition image to a lower definition image using wavelet transforms | |
KR100255773B1 (en) | Cosine transmitter of digital tv receiver decoder | |
KR100359824B1 (en) | Apparatus for decoding video and method for the same | |
KR100232182B1 (en) | Directive's Image Compressor and Its Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 19980429 |
|
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 19980429 Comment text: Request for Examination of Application |
|
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20001027 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20010612 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20010827 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20010828 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20040702 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20050607 Start annual number: 5 End annual number: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20060616 Start annual number: 6 End annual number: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20070629 Start annual number: 7 End annual number: 7 |
|
PR1001 | Payment of annual fee |
Payment date: 20080618 Start annual number: 8 End annual number: 8 |
|
PR1001 | Payment of annual fee |
Payment date: 20090619 Start annual number: 9 End annual number: 9 |
|
FPAY | Annual fee payment |
Payment date: 20100630 Year of fee payment: 10 |
|
PR1001 | Payment of annual fee |
Payment date: 20100630 Start annual number: 10 End annual number: 10 |
|
LAPS | Lapse due to unpaid annual fee | ||
PC1903 | Unpaid annual fee |