KR0178202B1 - Method for establishing the window in motion estimation - Google Patents
Method for establishing the window in motion estimation Download PDFInfo
- Publication number
- KR0178202B1 KR0178202B1 KR1019950028093A KR19950028093A KR0178202B1 KR 0178202 B1 KR0178202 B1 KR 0178202B1 KR 1019950028093 A KR1019950028093 A KR 1019950028093A KR 19950028093 A KR19950028093 A KR 19950028093A KR 0178202 B1 KR0178202 B1 KR 0178202B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- image data
- window
- motion estimation
- frame image
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 움직임 추정에서의 윈도우 설정방법에 관한 것으로, I 프레임과 P 프레임 영상데이타 간에 연결된 선상에 존재하는 B 프레임의 매크로블럭 위치를 계산하고, 계산된 위치에 대한 탐색영역(A)을 구성하며, 예측방향에 따라 I 프레임과 P 프레임 영상데이타 상에서 윈도우의 크기를 설정한 다음 움직임 추정을 수행하므로써, 움직임 추정을 위한 매크로블럭의 서치시에 윈도우의 크기를 적절히 조절하므로, 연산시간의 절감 및 정확한 움직임벡터를 연산할 수 있도록 한 것이다.The present invention relates to a method for setting a window in motion estimation. The present invention relates to calculating a macroblock position of a B frame existing on a line connected between I frame and P frame image data, and configuring a search area A for the calculated position. By setting the window size on the I-frame and P-frame image data according to the prediction direction, and then performing the motion estimation, the window size is properly adjusted during the search of the macroblock for motion estimation, thereby reducing the computation time and accurate The motion vector can be calculated.
Description
제1도는 통상의 전형적인 디지탈 영상부호기의 개략적인 블럭구성도.1 is a schematic block diagram of a typical typical digital video encoder.
제2도는 본 발명의 바람직한 실시예에 따라 윈도우의 크기를 조절하는 동작과정을 도시한 플로우 챠트.2 is a flowchart illustrating an operation of adjusting the size of a window according to a preferred embodiment of the present invention.
제3도는 본 발명에 따라 윈도우의 크기를 설정하는 것을 설명하기 위한 도면.3 is a view for explaining the setting of the size of the window according to the present invention.
* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings
110 : 감산기 120 : DCT부110: subtractor 120: DCT unit
130 : 양자화부 140 : 역양자화부130: quantization unit 140: inverse quantization unit
150 : IDCT부 160 : 가산기150: IDCT unit 160: adder
170 : 프레임 메모리 180 : 움직임 추정부170: frame memory 180: motion estimation unit
190 : 움직임 보상부190: motion compensation unit
본 발명은 움직임 추정방법에 관한 것으로, 움직임 추정시에 윈도우의 크기를 조절하여 움직임추정을 수행할 수 있도록 한 움직임 추정에서의 윈도우 설정방법에 관한 것이다.The present invention relates to a motion estimation method, and more particularly, to a method for setting a window in motion estimation, in which a motion estimation is performed by adjusting the size of a window during motion estimation.
통상적으로, 영상전화기, HDTV등과 같이 동영상데이타를 디지탈신호로 전송하고자 하는 경우, 이에 수반되는 방대한 데이타량을 저감시키기 위하여 고율의 데이타 압축방법을 이용하여 전송되는 디지탈 데이타를 압축, 즉 부호화하여 전송하게 된다.In general, when video data is to be transmitted as a digital signal such as a video telephone or HDTV, digital data transmitted by using a high rate data compression method is compressed, that is, encoded and transmitted in order to reduce the enormous amount of data. do.
이와같은 동영상데이타의 부호화에 있어서, 실질적으로 가장 중요한 것은 전송하고자 하는 데이타량을 줄이는데 있다고 볼 수 있다. 따라서, 송신측에서는 동영상데이타를 전송할 때 영상데이타가 갖는 공간적, 시간적인 상관성을 이용하여 부호화한 다음 전송채널을 통해 수신측에 전송하게 된다.In encoding such video data, the most important thing is to reduce the amount of data to be transmitted. Therefore, the transmitting side encodes the moving image data using the spatial and temporal correlation of the image data and then transmits the moving image data to the receiving side through the transmission channel.
보다 상세하게, 송신측의 부호화시스템에서는 이산 코사인 변환(DISCRETE COSINE TRANSFORM ; 이하 DCT라 약칭함) 등의 변환부호화를 이용하여 영상데이타의 공간적인 중복성을 제거하고, 또한 움직임 추정과 예측 등을 통한 차분부호화를 이용하여 영상데이타의 시간적인 중복성을 제거함으로서, 영상데이타를 효율적으로 압축하게 된다.More specifically, the encoding system on the transmitting side removes spatial redundancy of image data by using transform coding such as DISCRETE COSINE TRANSFORM (hereinafter abbreviated as DCT). By eliminating temporal redundancy of the image data using encoding, the image data is efficiently compressed.
한편, 카메라로부터 촬상되어 디지탈 영상데이타로 전환된 프레임 영상데이타는 I, B, B, P, B, B, P, B, B, P, B, B, I ....의 순서로 제공되는데, 이는 MPEG(MOTION PICTURE EXPERTS GROUP) 표준에서의 영상데이타의 프레임 순서로서, 일련의 프레임 영상데이타는 움직임 보상없이 부호화된 I 프레임과, 이전의 I 프레임 또는 P 프레임으로부터 생성되며 움직임 보상정보와 예측잔여 혹은 인트라 프레임 정보를 내포하는 P 프레임, 그리고 이전 및 이후의 I 프레임과 P 프레임을 사용하는 움직임 보상으로 생성된 B 프레임으로 구성된다.On the other hand, frame image data captured by the camera and converted into digital image data are provided in the order of I, B, B, P, B, B, P, B, B, P, B, B, I .... This is a frame order of image data in the MPEG (MOTION PICTURE EXPERTS GROUP) standard. A series of frame image data is generated from an I frame coded without motion compensation and a previous I frame or P frame. Or a P frame containing intra frame information, and a B frame generated by motion compensation using I and P frames before and after.
여기에서, 움직임 추정은 현재 프레임의 영상데이타와 인접한 프레임의 영상데이타 간에 매크로블럭을 이용하여 동일시되는 블럭을 서치(SEARCH)하고, 서치된 블럭의 변위, 즉 움직임벡터를 이용하여 움직임 보상을 수행한다.Here, motion estimation searches for a block to be identified using a macroblock between image data of a current frame and image data of an adjacent frame, and performs motion compensation using a displacement of the searched block, that is, a motion vector. .
한편, 현재 프레임의 영상데이타와 인접한 프레임의 영상데이타 간에 매크로블럭을 이용하여 동일시되는 매크로블럭을 서치(SEARCH)하는 방법에 있어서, 윈도우(WINDOW)로서 프레임 영상데이타를 구분한 다음, 구분된 윈도우 내에서 서치하고자 하는 매크로블럭의 동일시되는 블럭을 서치하였다. 그러나, 종래기술에서는 윈도우의 크기가 미리 정해져 있으므로, 매크로블럭의 범위가 크면 정확한 움직임벡터를 구성할 수 있지만 연산시간이 오래 걸리고, 하드웨어적으로 구현이 복잡한 문제점이 있다. 또한, 매크로블럭의 범위가 작으면 연산시간은 짧지만 정확한 움직임벡터를 구성할 수 없는 문제점이 있다.Meanwhile, in the method of searching for macro blocks that are identified by using a macro block between the image data of the current frame and the image data of an adjacent frame, the frame image data is classified as a window and then divided into the divided windows. We searched the identified blocks of macroblocks to be searched in. However, in the prior art, since the size of the window is predetermined, a large range of macroblocks can constitute an accurate motion vector, but it takes a long operation time and has a complicated hardware implementation. In addition, if the range of the macroblock is small, the operation time is short, but there is a problem that an accurate motion vector cannot be constructed.
따라서, 본 발명은 상기한 바와 같은 종래기술의 문제점을 감안하여 착안한 것으로, 간삽되는 프레임 영상데이타의 움직임 추정시 윈도우의 크기를 최소화할 수 있는 움직임추정에 있어서 윈도우 조절방법을 제공하는데 그 목적이 있다.Accordingly, the present invention has been made in view of the above-described problems of the prior art, and an object of the present invention is to provide a window adjusting method in motion estimation that can minimize the size of a window when estimating the motion of interpolated frame image data. have.
상기 목적을 달성하기 위하여 본 발명은, 움직임추정수단을 통해 I 프레임과 P 프레임 영상데이타의 움직임벡터를 추정하는 방법에 있어서, 거대 탐색영역에 대한 윈도우를 설정한 다음 상기 움직임추정수단을 통해 상기 I 프레임과 상기 P 프레임에 대한 움직임벡터를 추정하는 제1단계와, B 프레임 영상데이타에 대한 매크로블럭의 상대위치를 판별하고, 상기 매크로블럭의 상대위치에 대한 예측방향이 전방예측이면 상기 I 프레임 영상데이타에 상기 거대 탐색영역에 대한 윈도우에 비해 작은 윈도우를 설정하는 제2단계와, 상기 매크로블럭의 상대위치에 대한 에측방향이 후방예측이면 상기 P 프레임 영상데이타에 대한 상기 거대 탐색영역에 대한 윈도우에 비해 작은 윈도우를 설정하는 제3단계와, 상기 제2 및 제3단계에서 설정된 상기 거대 탐색영역에 대한 윈도우에 비해 작은 윈도우를 이용하여 상기 움직임추정수단을 통해 상기 움직임벡터를 추정하는 제4단계로 이루어진 것을 특징으로 하는 움직임 추정에서의 윈도우 설정방법을 제공한다.In order to achieve the above object, the present invention provides a method for estimating a motion vector of I frame and P frame image data through motion estimation means, wherein a window for a huge search region is set and then the I through motion estimation means. A first step of estimating a motion vector with respect to the frame and the P frame; determining a relative position of the macroblock with respect to the B frame image data; and if the prediction direction with respect to the relative position of the macroblock is forward prediction, the I frame image A second step of setting a smaller window in the data than the window for the giant search area; and if the predictive direction with respect to the relative position of the macroblock is backward prediction, the window for the giant search area for the P-frame image data. A third step of setting a relatively small window and the huge search area set in the second and third steps; And a fourth step of estimating the motion vector through the motion estimating means using a window smaller than the window for.
본 발명의 상기 및 기타 목적과 여러 가지 장점을 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.The above and other objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
제1도는 통상의 전형적인 디지탈 영상 부호기의 개략적인 블럭구성도로서, 감산기(110), DCT부(120), 양자화부(130), 역양자화부(140), IDCT부(150), 가산기(160), 프레임 메모리(170), 움직임 추정부(180) 및 움직임 보상부(190)로 구성된다.FIG. 1 is a schematic block diagram of a typical digital video encoder. The subtractor 110, the DCT unit 120, the quantizer 130, the inverse quantizer 140, the IDCT unit 150, and the adder 160 are shown in FIG. ), A frame memory 170, a motion estimator 180, and a motion compensator 190.
제1도에 있어서, 감산기(110)는 입력되는 프레임 영상데이타와 움직임 보상부(190)에서 보상된 프레임 영상데이타를 감산하여 DCT부(120)로 출력하고, DCT부(120)는 입력되는 시간영역의 프레임 영상데이타를 주파수영역의 변환계수로 변환하며, 양자화부(130)는 DCT부(120)로부터 입력되는 변환계수로서의 프레임 영상데이타에 대해 유한한 갯수의 값으로 근사화 시켜 양자화한다.In FIG. 1, the subtractor 110 subtracts the input frame image data and the frame image data compensated by the motion compensator 190 and outputs them to the DCT unit 120, and the DCT unit 120 receives the input time. The frame image data of the region is converted into a transform coefficient of the frequency domain, and the quantization unit 130 quantizes the frame image data as the transformation coefficient input from the DCT unit 120 by approximating a finite number of values.
그리고, 역양자화부(140) 및 역이산 코사인 변환부(INVERSE DISCRETE CO SINE TRANSFORM ; 이하 IDCT 부라 약칭함, 140)는 DCT부(120)와 양자화부(130)에서 변환 및 양자화된 프레임 영상데이타를 움직임 보상을 위해 원래의 프레임 영상데이타로 복원하고, 프레임 메모리(170)는 IDCT부(150)로부터의 복원된 프레임 영상데이타와 가산기(160)를 통해 가산되는 움직임 보상된 프레임 영상데이타를 이전 프레임으로 저장한다.In addition, the inverse quantization unit 140 and the inverse discrete cosine transform unit (hereinafter, referred to as IDCT unit) 140 convert the frame image data transformed and quantized by the DCT unit 120 and the quantization unit 130. The frame image data is restored to the original frame image data for motion compensation, and the frame memory 170 restores the frame image data restored from the IDCT unit 150 and the motion compensated frame image data added through the adder 160 to the previous frame. Save it.
또한, 움직임 추정부(180)는 움직임 보상을 위해 가산기(160) 이전의 프레임 영상데이타 중에 현재 프레임 영상데이타와 프레임 메모리(170)에 저장되어 있는 이전 프레임 영상데이타를 이용하여 움직임을 추정하고, 움직임 보상부(190)는 움직임 추정부(180)로부터의 움직임 추정에 따라 이전 프레임의 영상데이타를 움직임벡터 만큼 이동시켜 프레임 영상데이타의 움직임을 보상한다.In addition, the motion estimator 180 estimates the motion by using the current frame image data and the previous frame image data stored in the frame memory 170 among the frame image data before the adder 160 to compensate for the motion. The compensator 190 compensates for the motion of the frame image data by moving the image data of the previous frame by the motion vector according to the motion estimation from the motion estimator 180.
상기한 바와 같은 디지탈 영상부호기의 구성부재 중 움직임 추정부(180)가 프레임 메모리(170)에 저장되어 있는 이전 프레임 영상데이타와 현재 프레임 영상데이타의 움직임을 추정하는데 있어서, 본 발명에 따라 윈도우 크기를 설정하는 동작과정에 대하여 제1도와 제2도를 참조하여 보다 상세하게 설명하기로 한다.In estimating the motion of the previous frame image data and the current frame image data stored in the frame memory 170, the motion estimation unit 180 among the components of the digital image encoder as described above, The operation process of setting will be described in more detail with reference to FIGS. 1 and 2.
먼저, 움직임 추정부(180)는 I 프레임과 P 프레임 간에 탐색영역(B)에 대한 윈도우를 설정한 다음 움직임벡터를 구하고, B 프레임의 매크로블럭의 위치를 구한다(단계 210,220).First, the motion estimation unit 180 sets a window for the search area B between an I frame and a P frame, obtains a motion vector, and obtains positions of macroblocks of the B frames (steps 210 and 220).
그 다음, B 프레임 영상데이타는 제3도에 도시된 바와 같이, I 프레임과 P 프레임 간에 연결된 선상에서 B 프레임의 매크로블럭 위치를 계산하는데, 제3도를 참조하면, M=3인 경우 I 프레임과 P 프레임간에 구해진 움직임벡터의 좌표가 X 라고 했을 때, B1의 프레임 영상데이타의 매크로블럭의 위치는 (X1, Y1) = (2/3X, 2/3Y)이고, B2의 프레임 영상데이타의 매크로블럭의 위치는 (X2, Y2) = (1/3X, 1/3Y)가 된다.Next, as shown in FIG. 3, the B frame image data calculates the macroblock position of the B frame on the line connected between the I frame and the P frame. Referring to FIG. When the coordinate of the motion vector obtained between the frame and P is X, the position of the macroblock of the frame image data of B1 is (X1, Y1) = (2 / 3X, 2 / 3Y), and the macro of the frame image data of B2. The position of the block is (X2, Y2) = (1 / 3X, 1 / 3Y).
따라서, 단계(210,220)에서 구해진 매크로블럭의 위치를 예측하여(단계 240), 전방예측인 경우 I 프레임 영상데이타에 탐색영역(A)에 대한 윈도우를 설정하여 움직임벡터를 구성하고(단계 250), 후방예측인 경우 P 프레임 영상데이타에 탐색영역(A)에 대한 윈도우를 설정하여 움직임벡터를 구성한다(단계 260).Therefore, by predicting the position of the macroblock obtained in steps 210 and 220 (step 240), in the case of forward prediction, a window for the search area A is set in the I frame image data to construct a motion vector (step 250). In the case of backward prediction, a motion vector is configured by setting a window for the search area A in the P frame image data (step 260).
그리고, 단계(250,260)에서 구성된 탐색영역(A)에 대한 윈도우 내에서 움직임벡터를 추정한다(단계 270).The motion vector is estimated in the window for the search area A configured in steps 250 and 260 (step 270).
상술한 바와 같이, I 프레임과 P 프레임 영상데이타 간에 연결된 선상에 존재하는 B 프레임의 매크로블럭의 위치를 계산하고, 계산된 위치에 대한 탐색영역(A)을 구성하며, 예측방향에 따라 I 프레임과 P 프레임 영상데이타 상에서 윈도우의 크기를 설정한 다음 움직임 추정을 수행한다.As described above, the position of the macroblock of the B frame existing on the line connected between the I frame and the P frame image data is calculated, and a search area A is formed for the calculated position. After setting the window size on the P frame image data, motion estimation is performed.
따라서, 본 발명을 이용하면 움직임 추정을 위한 매크로블럭의 서치시에 윈도우의 크기를 적절히 조절하므로, 연산시간의 절감 및 정확한 움직임벡터를 연산할 수 있는 잇점이 있다.Therefore, when the present invention is used, the size of the window is appropriately adjusted during the search of the macroblock for motion estimation, thereby reducing the computation time and calculating the accurate motion vector.
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019950028093A KR0178202B1 (en) | 1995-08-31 | 1995-08-31 | Method for establishing the window in motion estimation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019950028093A KR0178202B1 (en) | 1995-08-31 | 1995-08-31 | Method for establishing the window in motion estimation |
Publications (2)
Publication Number | Publication Date |
---|---|
KR970014394A KR970014394A (en) | 1997-03-29 |
KR0178202B1 true KR0178202B1 (en) | 1999-05-01 |
Family
ID=19425511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019950028093A KR0178202B1 (en) | 1995-08-31 | 1995-08-31 | Method for establishing the window in motion estimation |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR0178202B1 (en) |
-
1995
- 1995-08-31 KR KR1019950028093A patent/KR0178202B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR970014394A (en) | 1997-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4755095B2 (en) | Bidirectional prediction method used for encoding / decoding side of video encoding | |
KR100955152B1 (en) | Multi-dimensional neighboring block prediction for video encoding | |
US6289052B1 (en) | Methods and apparatus for motion estimation using causal templates | |
KR100703283B1 (en) | Image encoding apparatus and method for estimating motion using rotation matching | |
US9667961B2 (en) | Video encoding and decoding apparatus, method, and system | |
US7088772B2 (en) | Method and apparatus for updating motion vector memories | |
JPH0795594A (en) | Method and apparatus for detection of motion vector of half pixel accuracy | |
US20120008686A1 (en) | Motion compensation using vector quantized interpolation filters | |
JP4417054B2 (en) | Motion estimation method and apparatus referring to discrete cosine transform coefficient | |
KR20040070490A (en) | Method and apparatus for encoding/decoding video signal in interlaced video | |
JPH089375A (en) | Inverse discrete cosine transformation anticoincidence controller and picture encoding device | |
JP2002335529A (en) | Moving image encoding method and its device | |
KR0178202B1 (en) | Method for establishing the window in motion estimation | |
KR100602148B1 (en) | Method for motion picture encoding use of the a quarter of a pixel motion vector in mpeg system | |
KR100240620B1 (en) | Method and apparatus to form symmetric search windows for bidirectional half pel motion estimation | |
KR100203638B1 (en) | Method for estimating motion using half-pixel by half-pixel | |
KR0181067B1 (en) | Moving picture encoder of having compatibility | |
KR0124162B1 (en) | Prediction coding method | |
KR100382540B1 (en) | Motion estimation method | |
KR0174441B1 (en) | Full motion image encoder by using adaptive motion compensation | |
KR100757832B1 (en) | Method for compressing moving picture using 1/4 pixel motion vector | |
KR0169657B1 (en) | Device for encoding moving picture signals | |
KR100778473B1 (en) | Bit rate control method | |
KR100228675B1 (en) | Method and apparatus for predictive encoding | |
JPH0646411A (en) | Picture coder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20111101 Year of fee payment: 14 |
|
FPAY | Annual fee payment |
Payment date: 20121101 Year of fee payment: 15 |
|
LAPS | Lapse due to unpaid annual fee |