KR100759870B1 - H.264 scalable image coding / decoding method and apparatus therefor for performing inter-layer prediction using interpolation filter selected based on CPU - Google Patents
H.264 scalable image coding / decoding method and apparatus therefor for performing inter-layer prediction using interpolation filter selected based on CPU Download PDFInfo
- Publication number
- KR100759870B1 KR100759870B1 KR1020060027115A KR20060027115A KR100759870B1 KR 100759870 B1 KR100759870 B1 KR 100759870B1 KR 1020060027115 A KR1020060027115 A KR 1020060027115A KR 20060027115 A KR20060027115 A KR 20060027115A KR 100759870 B1 KR100759870 B1 KR 100759870B1
- Authority
- KR
- South Korea
- Prior art keywords
- cbp
- image frame
- lower layer
- interpolation filter
- order
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000011229 interlayer Substances 0.000 title 1
- 238000007689 inspection Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 71
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 235000019557 luminance Nutrition 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 H.264 기반 스케일러블 부호화 및 복호화 방법에 관한 것으로, 보다 구체적으로 하위 계층의 영상 프레임에서 매크로 블록의 CBP에 기초하여 선택된 차수의 보간 필터에 의해 부호화하고자 하는 상위 계층의 영상 프레임을 부호화하는 방법에 관한 것이다.The present invention relates to a H.264-based scalable encoding and decoding method, and more particularly, to encode an image frame of an upper layer to be encoded by an interpolation filter of an order selected based on the CBP of a macroblock in an image frame of a lower layer. It is about how to.
본 발명에 따른 H.264 기반 스케일러블 영상 부호화 및 복호화 방법은 부호화하고자 하는 하위 계층의 영상 프레임을 하위 계층의 영상 프레임 특징, 즉 매크로 블록의 CBP에 기초하여 선택된 차수의 보간 필터를 이용하여 보간하거나 상기 매크로 블록의 CBP에 기초하여 선택된 차수의 보간 필터를 이용하여 복호함으로써, H.264 스케일러블 부호화 또는 복호화에서 공간 계층 간에 예측을 통해 생성되는 잔여 신호의 부호화 효율을 높일 수 있다.The H.264 based scalable image encoding and decoding method according to the present invention interpolates an image frame of a lower layer to be encoded using an interpolation filter of an order selected based on the image frame feature of the lower layer, that is, the CBP of a macroblock. By decoding using an interpolation filter of an order selected based on the CBP of the macroblock, the coding efficiency of the residual signal generated through prediction between spatial layers in H.264 scalable encoding or decoding may be increased.
Description
도 1은 H.264 기반 스케일러블(scalable) 영상 부호화 장치의 기능 블록도를 도시하고 있다.FIG. 1 illustrates a functional block diagram of an H.264-based scalable video encoding apparatus.
도 2는 본 발명에 따른 H.264 기반 스케일러블 영상 부호화 장치를 설명하는 기능 블록도이다. 2 is a functional block diagram illustrating an H.264 based scalable video encoding apparatus according to the present invention.
도 3은 매크로 블록을 구성하는 서브 블록의 예를 도시하고 있다.3 shows an example of a sub block constituting a macro block.
도 4는 본 발명의 일 실시예에 상응하는 보간 필터부의 기능 블록도를 도시하고 있다.4 is a functional block diagram of an interpolation filter unit according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 상응하는 잔여 신호 생성부(40)의 기능 블록도를 도시하고 있다.5 shows a functional block diagram of the
도 6은 본 발명의 일 실시예에 상응하는 스케일러블 부호화 방법을 설명하는 흐름도이다.6 is a flowchart illustrating a scalable encoding method according to an embodiment of the present invention.
도 7은 본 발명의 잔여 신호를 생성하는 단계(단계 9)를 보다 구체적으로 설명하는 흐름도이다.7 is a flow chart illustrating in more detail the step (step 9) of generating the residual signal of the present invention.
본 발명은 H.264 기반 스케일러블 부호화 및 복호화 방법에 관한 것으로, 보다 구체적으로 하위 계층의 영상 프레임에서 매크로 블록의 CBP(Coded Block Pattern)에 기초하여 선택된 차수의 보간 필터에 의해 부호화하고자 하는 상위 계층의 영상 프레임을 부호화하는 방법에 관한 것이다.The present invention relates to a H.264-based scalable encoding and decoding method, and more particularly, to a higher layer to be encoded by an interpolation filter of an order selected based on a CBP (Coded Block Pattern) of a macroblock in a lower layer image frame. The present invention relates to a method of encoding a video frame.
언제 어디서 누구에게나 영상 정보를 이용하여 통신이 이루어질 수 있도록 하는 이동 통신 서비스나 무선 인터넷 등의 등장으로 사람들은 노트북, 개인 휴대단말기 등과 같은 다양한 컴퓨터와 접합된 정보 가전을 이용하여 원격지의 영상 정보를 얻기를 원한다. 앞으로는 더욱 다양한 형태의 영상 정보 가전들이 출현될 것이며, 출현할 영상 정보 가전제품의 복호화 능력이나 전송 환경 등은 각각의 단말기가 가져야 하는 특성이나 적응 환경에 따라 다르게 된다. With the advent of mobile communication services or wireless Internet, which allows communication to be made by anyone using video information anytime, anywhere, people can obtain video information from remote locations using information appliances connected to various computers such as laptops and personal mobile terminals. Want. In the future, more various types of image information appliances will appear, and the decoding capability and transmission environment of the image information appliances to appear will vary depending on characteristics and adaptation environments that each terminal should have.
이러한 문제를 해결하기 위해 영상을 부호화하여 전송하는데 있어서 수신 단말기 특성이나 성능에 따라 다양한 화질을 제공할 수 있도록 설계되어 있다. 예를 들어, 수신 단말기의 성능이 우수하고 전송 선로 등의 상태가 좋을 때는 고화질의 동영상을 수신하여 디스플레이할 수 있지만 수신 단말기의 성능이 우수하지 않거나 전송 선로의 상태가 좋지 않을 때는 고화질의 동영상을 수신할 수 없다. 위의 두 경우를 모두 수용하기 위해 H.264 표준안에서는 스케일러블 영상 부호화를 규정하는 중이다.In order to solve this problem, in encoding and transmitting an image, it is designed to provide various image quality according to characteristics and performance of a receiving terminal. For example, when the performance of the receiving terminal is excellent and the condition of the transmission line is good, it is possible to receive and display high quality video, but when the performance of the receiving terminal is not good or the condition of the transmission line is poor, the image of high quality is received. Can not. In order to accommodate both of these cases, the H.264 standard defines scalable image coding.
스케일러블 영상 부호화는 수신 단말기에서 다양한 화질의 영상을 수신할 수 있도록 인코더 측에서 스케일러블한 비트스트림을 만들어서 전송하는 것이다. 즉, 전송 비트스트림이 스케일러블하다면 다양한 종류의 수신 단말기가 존재할 수 있게 되어 저성능 수신기는 하위 계층에서 인코딩된 하위 계층의 영상 비트스트림을 전송받아 디스플레이하고 고성능 수신 단말기는 하위 계층의 비트스트림과 상위 계층에서 인코딩된 화질의 영상 스트림을 전송받아 디스플레이할 수 있다.In scalable video encoding, a scalable bitstream is generated and transmitted at an encoder so that a receiver terminal can receive a variety of image quality. That is, if the transmission bitstream is scalable, there can be various types of receiving terminals, so that the low performance receiver receives and displays the video bitstream of the lower layer encoded in the lower layer, and the high performance receiving terminal is higher than the bitstream of the lower layer. The video stream of the encoded picture quality in the layer may be received and displayed.
도 1은 H.264 기반 스케일러블(scalable) 영상 부호화 장치의 기능 블록도를 도시하고 있다. H.264 기반의 스케일러블 영상 부호화 장치는 공간 스케일러빌리티를 구현하기 위해 서로 다른 해상도를 갖는 영상 프레임들로 계층화하여 부호화한다.FIG. 1 illustrates a functional block diagram of an H.264-based scalable video encoding apparatus. The H.264-based scalable image encoding apparatus hierarchically encodes image frames having different resolutions to implement spatial scalability.
도 1을 참고로, 보간부(2)는 낮은 해상도를 가지는 하위 계층의 영상 프레임을 현재 부호화하고자 하는 상위 계층의 영상 프레임과 동일한 해상도로 보간한다. 상기 하위 계층의 영상 프레임을 보간하기 위해 보간 필터가 사용되며 보간 필터의 차수는 2 내지 6 중 어느 하나로 고정되어 있다. 한편, 잔여 신호 생성부(4)는 상기 보간된 하위 계층의 영상 프레임과 현재 부호화하고자 하는 상위 계층의 영상 프레임 사이의 중복된 영상 신호를 제거하여 부호화되는 잔여 신호를 생성한다. 부호화부(6)는 양자화(quantization)를 통해 상기 부호화되는 잔여 신호를 압축하고 상기 압축된 영상 정보를 소정의 방식, 예를 들어 예측 부호화, 가변 길이 부호화(variable length coding), 산술 부호화 등의 방식에 따라 부호화하여 H.264 비트스트림을 생성한다.Referring to FIG. 1, the
상기 언급한 종래의 H.264 기반 스케일러블 영상 부호화 장치에서 상기 보간부(2)는 하위 계층의 영상 프레임을 고정된 차수의 보간 필터를 이용하여 보간한다. 영상 프레임의 종류에 따라 어떠한 차수의 보간 필터를 사용하느냐에 의해 상기 잔여 신호의 부호화 성능이 달라진다. 예를 들어, 영상 프레임의 변화가 적어서 영상 신호 간에 상관도가 아주 높은 경우 또는 영상 프레임의 변화가 아주 커서 영상 신호 간에 상관도가 아주 낮은 경우에는 낮은 차수의 보간 필터를 사용하는 것이 바람직하다. 한편, 영상 프레임의 변화가 아주 크지 않은 경우에는 상대적으로 높은 차수의 보간 필터를 사용하는 것이 바람직하다.In the above-described H.264-based scalable image encoding apparatus, the
따라서, 본 발명이 달성하고자 하는 목적은 하위 계층의 영상 프레임에서 매크로 블록의 CBP를 검사하고 상기 검사된 CBP에 기초하여 선택된 차수의 보간 필터를 이용하여 현재 부호화하고자 하는 상위 계층을 부호화하는 방법을 제공하는 것이다.Accordingly, an object of the present invention is to provide a method of checking a CBP of a macroblock in an image frame of a lower layer and encoding a higher layer to be currently encoded using an interpolation filter of an order selected based on the checked CBP. It is.
본 발명이 이루고자 하는 다른 목적은 하위 계층의 영상 프레임에서 매크로 블록의 CBP를 검사하고 상기 검사된 CBP에 기초하여 선택된 차수의 보간 필터를 이용하여 현재 부호화하고자 하는 상위 계층을 부호화하는 장치를 제공하는 것이다.Another object of the present invention is to provide an apparatus for checking a CBP of a macroblock in an image frame of a lower layer and encoding an upper layer to be currently encoded using an interpolation filter of the order selected based on the checked CBP. .
본 발명의 상기 목적을 달성하기 위한 H.264 기반 스케일러블 부호화 방법은 하위 계층의 영상 프레임에서 부호화되는 잔여 영상의 서브 블록의 개수를 판단하는 단계(a 단계), 상기 부호화되는 잔여 영상의 서브 블록의 개수에 기초하여 상기 하위 계층의 영상 프레임을 부호화하고자 하는 상위 계층의 영상 프레임과 동일한 해상도로 보간하는 필터의 차수를 제어하는 단계(b 단계) 및 상기 제어된 차수의 보간 필터에 의해 보간된 하위 계층의 영상 프레임과 상기 부호화하고자 하는 상위 계층의 영상 프레임을 감산하여 생성되는 잔여 신호를 부호화하는 단계(c 단계)를 포함하는 것을 특징으로 한다.In the H.264-based scalable encoding method for achieving the above object of the present invention, determining the number of sub-blocks of the residual image encoded in the image frame of the lower layer (step a), the sub-blocks of the encoded residual image Controlling the order of a filter that interpolates the image frame of the lower layer to the same resolution as the image frame of the upper layer to be encoded (step b) and the lower level interpolated by the controlled order interpolation filter And encoding (c) the residual signal generated by subtracting the image frame of the layer and the image frame of the upper layer to be encoded.
바람직하게, 상기 부호화되는 서브 블록의 개수는 상기 하위 계층의 영상 프레임에서 매크로 블록의 CBP를 검사하여 부호화되는 잔여 영상의 서브 블록의 개수를 매크로 블록 단위로 판단하는 것을 특징으로 한다. Preferably, the number of subblocks to be encoded is determined by checking the CBP of the macroblock in the image frame of the lower layer to determine the number of subblocks of the residual image to be encoded in macroblock units.
본 발명의 상기 목적을 달성하기 위한 H.264 기반 스케일러블 부호화 장치는 하위 계층의 영상 프레임에서 매크로 블록의 CBP를 검사하고 상기 검사된 CBP에 기초하여 선택된 차수의 보간 필터로 상기 하위 계층의 영상 프레임을 부호화하고자 하는 상위 계층의 영상 프레임과 동일한 해상도로 보간하는 보간부, 상기 보간된 하위 계층의 영상 프레임과 상기 부호화하고자 하는 상위 계층의 영상 프레임을 차감하여 잔여 신호를 생성하는 잔여 신호 생성부 및 상기 생성된 잔여 신호를 부호화하는 부호화부를 포함하는 것을 특징으로 한다.H.264-based scalable coding apparatus for achieving the object of the present invention is to examine the CBP of the macro block in the image frame of the lower layer and the image frame of the lower layer with the interpolation filter of the order selected based on the checked CBP An interpolation unit interpolating the same resolution as an image frame of an upper layer to be encoded, a residual signal generation unit generating a residual signal by subtracting the interpolated lower layer image frame and the image layer of the upper layer to be encoded, and And an encoder which encodes the generated residual signal.
이하 첨부된 도면을 참고로 본 발명에 따른 H. 264 기반 스케일러블 부호화 방법 및 장치에 대해 보다 구체적으로 설명한다.Hereinafter, an H. 264 based scalable encoding method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명에 따른 H.264 기반 스케일러블 영상 부호화 장치를 설명하는 기능 블록도이다. 2 is a functional block diagram illustrating an H.264 based scalable video encoding apparatus according to the present invention.
도 2를 참고로, CBP 검사부(10)는 입력되는 하위 계층의 영상 프레임에서 매 크로 블록의 CBP를 검사한다. 하위 계층의 P 프레임 또는 B 프레임과 같은 영상 프레임은 다수의 매크로 블록으로 구성되어 있으며, 각 매크로 블록은 16×16 픽셀 크기로 6개의 8×8 픽셀의 서브 블록으로 구성되어 있다. 도 3은 매크로 블록의 예로서, 4개의 서브 블록은 휘도(Y0, Y1, Y2, Y3)를 나타내며, 2개의 서브 블록(Cb, Cr)은 색상을 나타낸다. 각 서브 블록들은 부호화 과정에서 소정 양자화 계수로 양자화되 후, DCT 계수가 존재하는 블록들만 부호화된다. 상기 CBP는 양자화된 각 매크로 블록에서 부호화될 서브 블록과 부호화되지 않을 서브 블록를 나타낸다. 예를 들어, 서브 블록이 부호화되는 경우 1로 표현되고, 부호화되지 않는 경우 0으로 표현된다. 따라서, 상기 CBP는 6비트로 표현된다. Referring to FIG. 2, the
차수 제어부(20)는 상기 검사된 매크로 블록의 CBP에 기초하여 하위 계층의 영상 프레임을 보간하는 보간 필터의 차수를 제어한다. H. 264 기반 스케일러블 영상 부호화 방법에서는 다중 계층의 부호화 과정에서 각 계층에 대해 계층 간 중복된 정보를 제거하기 위해 현재 부호화하고자 하는 상위 계층의 해상도보다 낮은 하위 계층을 이용하여 현재 부호화하고자 하는 계층을 보간한다. The
하위 계층의 P프레임 또는 B 프레임과 같은 잔여 영상을 이용하여 상위 계층을 보간하는 경우, 상기 하위 계층의 잔여 영상을 보간하는 필터의 차수에 따라 보간 성능이 달라진다. 예를 들어, 인터(inter) 블록들 중에서 배경 영상과 같이 변화가 거의 없는 영역의 매크로 블록은 프레임 간의 예측이 잘되어 신호가 부호화되는 신호가 거의 남지 않는 반면, 변화가 많은 영역의 매크로 블록은 예측이 잘되지 않아 부호화되는 신호가 어느 정도 포함되어 있다. 상기와 같이 예측이 잘되는 매크로 블록은 낮은 차수의 필터를 이용하여 보간하며, 예측이 잘되지 않는 매크로 블록은 높은 차수의 필터를 이용하여 보간하는 것이 효율적이다. 본 발명에 따른 차수 제어부(20)는 CBP 검사부(10)에서 검사된 매크로 블록의 CBP에 기초하여, 매크로 블록의 CBP가 제1 임계값 이하인 경우에는 낮은 차수로 상기 보간 필터의 차수를 제어하며, 매크로 블록의 CBP가 제1 임계값 이상인 경우에는 높은 차수로 상기 보간 필터의 차수를 제어한다.When interpolating an upper layer using a residual image such as a P frame or a B frame of a lower layer, interpolation performance varies according to the order of a filter interpolating the residual image of the lower layer. For example, a macroblock in an area where there is little change among inter blocks, such as a background image, is well predicted between frames, so that a signal in which a signal is encoded hardly remains, whereas a macroblock in an area that has many changes is predicted. This does not go well and contains a signal that is encoded to some extent. As described above, macro blocks that are well predicted are interpolated using low order filters, and macro blocks that are not well predicted are efficiently interpolated using high order filters. The
보간 필터부(30)는 차수 제어부(20)에 의해 제어된 차수의 보간 필터를 생성하여, 하위 계층의 영상 프레임을 현재 부호하하고자 하는 상위 계층의 영상 프레임에 상응하는 해상도로 보간한다. 잔여 신호 생성부(40)는 현재 부호화하고자 하는 상위 계층의 영상 프레임에서 상기 보간된 하위 계층의 영상 프레임을 차감하여 보간된 하위 계층의 영상 프레임과 현재 부호화하고자 하는 상위 계층의 영상 프레임 사이에 존재하는 중복된 영상 신호를 제거하여 잔여 신호를 생성한다. 부호화부(50)는 상기 생성된 잔여 신호와 검사된 매크로 블록의 CBP를 소정의 부호화 방법으로 부호화한다. The interpolation filter unit 30 generates an interpolation filter of the order controlled by the
스케일러블 부호화하고자 하는 하위 계층의 영상 프레임이 상위 계층의 영상 프레임과 동일한 해상도를 가지는 경우, 하위 계층의 영상 프레임은 보간 필터부(30)에 의해 보간되지 않고 직접 잔여 신호 생성부(40)로 제공될 수 있다.If the lower layer image frame to be scalable encoded has the same resolution as the upper layer image frame, the lower layer image frame is not directly interpolated by the interpolation filter unit 30 and is provided directly to the
도 4는 본 발명의 일 실시예에 상응하는 보간 필터부의 기능 블록도를 도시하고 있다. 입력 영상 신호(x[n])은 각각 쉬프트 레지스터(12-1 내지 12-L)에 의 해 지연되어 계수(g0 내지 gL)와 곱해지고, 모두 합해져 식(1)과 같은 출력 영상 신호(y(n))로 출력된다. 4 is a functional block diagram of an interpolation filter unit according to an embodiment of the present invention. The input video signals x [n] are respectively delayed by the shift registers 12-1 to 12-L and multiplied by the coefficients g 0 to g L , and summed up together to output video signals as shown in equation (1). is output as (y (n)).
[수학식1][Equation 1]
y(n) = gLx[n-L] + gL -1[n-(L-1)] + ......+ g1x[n-1] + g0x[n]y (n) = g L x [nL] + g L -1 [n- (L-1)] + ...... + g 1 x [n-1] + g 0 x [n]
차수 제어부(20)는 상기 검사된 하위 계층의 각 매크로 블록의 CBP에 기초하여 상기 하위 계층의 영상 프레임을 보간하는 보간 필터부(30)가 서로 다른 차수를 가지도록 계수(g0 내지 gL) 값을 제어한다. 바람직하게, 차수 제어부(20)는 상기 매크로 블록의 CBP에 기초하여 보간 필터부(30)의 계수(g0 내지 gL)를 제어하여 각각 (-5/32. 20/32, 20/32, -5/32)와 (16/32, 16/32)의 계수를 가지는 4-탭 필터 또는 H.264/AVC 단순 쌍일차 필터를 생성한다. The
도 5는 본 발명의 일 실시예에 상응하는 잔여 신호 생성부(40)의 기능 블록도를 도시하고 있다. 도 5를 참고로, 보간 필터부(30)에 의해 보간된 하위 계층의 영상 프레임과 현재 부호화하고자 하는 상위 계층의 영상 프레임은 제1 감산부(42)로 입력된다. 제1 감산부(42)는 상기 보간된 하위 계층의 영상 프레임과 상위 계층의 영상 프레임을 차감하여 잔여 차감 영상 신호를 생성한다. 5 shows a functional block diagram of the
한편, 움직임 벡터 보간부(44)는 하위 계층의 영상 프레임으로부터 계산된 움직임 벡터를 이용하여 현재 부호화하고자 하는 상위 계층의 영상 프레임에 대한 움직임 벡터를 보간한다. 움직임 보상부(46)는 상기 보간된 움직임 벡터를 이용하여 참조 영상으로부터 현재 부호화하고자 하는 상위 계층 영상의 영상 프레임에 대 한 예측 영상 신호를 생성한다. 제2 감산부(48)는 상기 잔여 차감 영상 신호와 예측 영상 신호를 차감하여 부호화되는 잔여 신호를 생성한다. On the other hand, the
바람직하게, 움직임 벡터 보상부(44)와 움직임 보상부(46)는 마크로 블록 단위로 예측 영상 신호를 생성하며, 제1 감산부(42)와 제2 감산부(48)는 각각 마크로 블록 단위로 잔여 차감 영상 신호와 부호화되는 잔여 신호를 생성한다.Preferably, the
도 6은 본 발명의 일 실시예에 상응하는 스케일러블 부호화 방법을 설명하는 흐름도이다.6 is a flowchart illustrating a scalable encoding method according to an embodiment of the present invention.
도 6을 참고로, 상기 하위 계층의 영상 프레임에 포함되어 있는 각 매크로 블록의 CBP를 검사한다(단계 1). 상기 매크로 블록의 CBP는 매크로 블록에서 부호화되는 서브 블록의 개수로 상기 검사된 매크로 블록의 CBP에 기초하여 보간될 하위 계층의 영상 프레임의 특징을 판단한다.Referring to FIG. 6, the CBP of each macro block included in the image frame of the lower layer is examined (step 1). The CBP of the macroblock is the number of subblocks encoded in the macroblock, and determines the feature of the video frame of the lower layer to be interpolated based on the checked CBP of the macroblock.
상기 검사된 매크로 블록의 CBP에 기초하여, 하위 계층의 영상 프레임을 보간할 필터의 차수, 즉 보간 필터의 계수를 제어한다(단계 3). 상기 보간 필터의 계수 값들을 0 또는 0 이외의 값으로 설정함으로써, 상기 보간 필터의 차수를 제어할 수 있다. 예를 들어, 상기 보간 필터를 4-탭 필터와 같이 4의 차수로 설정하기 위해 상기 보간 필터의 계수에 각각 -5/32, 20/32, 20/32, -5/32의 값을 설정하고 그 외의 보간 필터의 계수에는 0의 값을 설정한다. 한편, 상기 보간 필터를 H.264/AVC 단순 쌍일차 필터와 같이 2의 차수로 설정하기 위해 상기 보간 필터의 계수에 각각 16/32, 16/32의 값을 설정하고 그 외의 보간 필터 계수에는 0의 값을 설정한다.Based on the checked CBP of the macroblock, the order of the filter to interpolate the image frame of the lower layer, that is, the coefficient of the interpolation filter is controlled (step 3). By setting coefficient values of the interpolation filter to 0 or a value other than 0, the order of the interpolation filter may be controlled. For example, in order to set the interpolation filter to the order of 4 like the 4-tap filter, the values of -5/32, 20/32, 20/32, and -5/32 are set to the coefficients of the interpolation filter, respectively. A value of 0 is set for the coefficients of other interpolation filters. On the other hand, in order to set the interpolation filter to the order of 2 as in the H.264 / AVC simple bilinear filter, values of 16/32 and 16/32 are respectively set to the coefficients of the interpolation filter, and 0 to the other interpolation filter coefficients. Set the value of.
상기 보간 필터의 차수를 제어함으로써 상기 검사된 매크로 블록의 CBP에 기초하여 서로 다른 차수를 가지는 복수의 보간 필터를 생성하고(단계 7), 상기 생성된 보간 필터를 이용하여 보간된 하위 계층의 영상 프레임과 상위 계층의 영상 프레임 사이의 잔여 신호를 생성한다(단계 9). By controlling the order of the interpolation filter, a plurality of interpolation filters having different orders are generated based on the checked CBP of the macroblock (step 7), and the image frames of the lower layer interpolated using the generated interpolation filter. And a residual signal between the upper and the video frames of the upper layer (step 9).
도 7은 본 발명의 잔여 신호를 생성하는 단계(단계 9)를 보다 구체적으로 설명하는 흐름도이다.7 is a flow chart illustrating in more detail the step (step 9) of generating the residual signal of the present invention.
도 7을 참고로, 상기 생성된 보간 필터를 이용하여 하위 계층의 영상 프레임을 보간한다(단계 11). 상기 하위 계층의 영상 프레임을 보간하는 필터의 차수는 상기 하위 계층의 영상 프레임의 특징, 즉 하위 계층의 영상 프레임을 구성하는 매크로 블록에 포함되어 있는 CBP에 기초하여 제어된다.Referring to FIG. 7, an image frame of a lower layer is interpolated using the generated interpolation filter (step 11). The order of the filter interpolating the video frame of the lower layer is controlled based on the characteristics of the video frame of the lower layer, that is, the CBP included in the macro block constituting the video frame of the lower layer.
상기 보간된 하위 계층의 영상 프레임과 현재 부호화하고자 하는 상위 계층의 영상 프레임을 차감하여 잔여 신호를 생성하고(단계 13), 상기 생성된 잔여 신호와 각 매크로 블록의 CBP를 소정의 부호화 방식으로 부호화한다(단계 15). 상기 부호화된 잔여 신호와 각 매크로 블록의 CBP는 안테나를 통해 수신 단말기로 송신된다. The residual signal is generated by subtracting the interpolated lower layer image frame and the image frame of the upper layer to be currently encoded (step 13), and the generated residual signal and the CBP of each macro block are encoded by a predetermined encoding method. (Step 15). The encoded residual signal and the CBP of each macro block are transmitted to a receiving terminal through an antenna.
수신 단말기에서는 상기 부호화된 잔여 신호와 각 매크로 블록의 CBP를 수신하고, 상기 수신된 CBP에 기초하여 수신된 잔여 신호를 보간하는 필터의 계수를 선택하여 상기 수신된 잔여 신호를 복호화한다.The receiving terminal receives the encoded residual signal and the CBP of each macro block, and selects a coefficient of a filter to interpolate the received residual signal based on the received CBP to decode the received residual signal.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.The computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, DVD, etc.) and a carrier wave (for example, the Internet). Storage medium).
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다. Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
본 발명에 따른 H.264 기반 스케일러블 영상 부호화 및 복호화 방법은 부호화하고자 하는 하위 계층의 영상 프레임을 하위 계층의 영상 프레임 특징, 즉 매크로 블록의 CBP에 기초하여 선택된 차수의 보간 필터를 이용하여 보간하거나 상기 매크로 블록의 CBP에 기초하여 선택된 차수의 보간 필터를 이용하여 복호함으로써, H.264 스케일러블 부호화 또는 복호화에서 공간 계층 간에 예측을 통해 생성되는 잔여 신호의 부호화 효율을 높일 수 있다.The H.264 based scalable image encoding and decoding method according to the present invention interpolates an image frame of a lower layer to be encoded using an interpolation filter of an order selected based on the image frame feature of the lower layer, that is, the CBP of a macroblock. By decoding using an interpolation filter of an order selected based on the CBP of the macroblock, the coding efficiency of the residual signal generated through prediction between spatial layers in H.264 scalable encoding or decoding may be increased.
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060027115A KR100759870B1 (en) | 2006-03-24 | 2006-03-24 | H.264 scalable image coding / decoding method and apparatus therefor for performing inter-layer prediction using interpolation filter selected based on CPU |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060027115A KR100759870B1 (en) | 2006-03-24 | 2006-03-24 | H.264 scalable image coding / decoding method and apparatus therefor for performing inter-layer prediction using interpolation filter selected based on CPU |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100759870B1 true KR100759870B1 (en) | 2007-09-18 |
Family
ID=38738223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060027115A KR100759870B1 (en) | 2006-03-24 | 2006-03-24 | H.264 scalable image coding / decoding method and apparatus therefor for performing inter-layer prediction using interpolation filter selected based on CPU |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100759870B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010087620A2 (en) * | 2009-01-28 | 2010-08-05 | 삼성전자 주식회사 | Method and apparatus for encoding and decoding images by adaptively using an interpolation filter |
WO2012044093A2 (en) * | 2010-09-29 | 2012-04-05 | 한국전자통신연구원 | Method and apparatus for video-encoding/decoding using filter information prediction |
US9363533B2 (en) | 2010-09-29 | 2016-06-07 | Electronics And Telecommunications Research Institute | Method and apparatus for video-encoding/decoding using filter information prediction |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030062345A (en) * | 2001-09-18 | 2003-07-23 | 마쯔시다덴기산교 가부시키가이샤 | Image encoding method and image decoding method |
KR20040054747A (en) * | 2001-10-26 | 2004-06-25 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Spatial scalable compression |
KR20040077774A (en) * | 2002-01-23 | 2004-09-06 | 소니 가부시끼 가이샤 | Image information coding device and method and image information decoding device and method |
KR20050009226A (en) * | 2003-07-16 | 2005-01-24 | 삼성전자주식회사 | A video encoding/ decoding apparatus and method for color image |
KR20050052949A (en) * | 2003-12-01 | 2005-06-07 | 에스케이 텔레콤주식회사 | System and method for providing log service with memory card |
KR20050096790A (en) * | 2004-03-31 | 2005-10-06 | 삼성전자주식회사 | Method and apparatus for effectively compressing motion vectors in multi-layer |
-
2006
- 2006-03-24 KR KR1020060027115A patent/KR100759870B1/en not_active IP Right Cessation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030062345A (en) * | 2001-09-18 | 2003-07-23 | 마쯔시다덴기산교 가부시키가이샤 | Image encoding method and image decoding method |
KR20040054747A (en) * | 2001-10-26 | 2004-06-25 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Spatial scalable compression |
KR20040077774A (en) * | 2002-01-23 | 2004-09-06 | 소니 가부시끼 가이샤 | Image information coding device and method and image information decoding device and method |
KR20050009226A (en) * | 2003-07-16 | 2005-01-24 | 삼성전자주식회사 | A video encoding/ decoding apparatus and method for color image |
KR20050052949A (en) * | 2003-12-01 | 2005-06-07 | 에스케이 텔레콤주식회사 | System and method for providing log service with memory card |
KR20050096790A (en) * | 2004-03-31 | 2005-10-06 | 삼성전자주식회사 | Method and apparatus for effectively compressing motion vectors in multi-layer |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010087620A2 (en) * | 2009-01-28 | 2010-08-05 | 삼성전자 주식회사 | Method and apparatus for encoding and decoding images by adaptively using an interpolation filter |
WO2010087620A3 (en) * | 2009-01-28 | 2010-10-21 | 삼성전자 주식회사 | Method and apparatus for encoding and decoding images by adaptively using an interpolation filter |
US8897360B2 (en) | 2009-01-28 | 2014-11-25 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding images by adaptively using an interpolation filter |
KR101538704B1 (en) * | 2009-01-28 | 2015-07-28 | 삼성전자주식회사 | Method and apparatus for encoding and decoding an image using an interpolation filter adaptively |
WO2012044093A2 (en) * | 2010-09-29 | 2012-04-05 | 한국전자통신연구원 | Method and apparatus for video-encoding/decoding using filter information prediction |
WO2012044093A3 (en) * | 2010-09-29 | 2012-05-31 | 한국전자통신연구원 | Method and apparatus for video-encoding/decoding using filter information prediction |
US9363533B2 (en) | 2010-09-29 | 2016-06-07 | Electronics And Telecommunications Research Institute | Method and apparatus for video-encoding/decoding using filter information prediction |
USRE49308E1 (en) | 2010-09-29 | 2022-11-22 | Electronics And Telecommunications Research Instit | Method and apparatus for video-encoding/decoding using filter information prediction |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI533667B (en) | An apparatus, a method and a computer program for video coding | |
JP5134001B2 (en) | Scalable video coding with lower layer filtering | |
CN100553321C (en) | Coded Dynamic Filter | |
RU2420915C2 (en) | Operations for re-discretisation and measurement of image size for coding and decoding multiresolution video | |
CN100452668C (en) | Method and system for selecting interpolation filter type in video coding | |
TWI587685B (en) | An apparatus, a method and a computer program for video processing | |
CN109996080B (en) | Image prediction method and device and coder-decoder | |
CN112866697B (en) | Video image coding and decoding method and device, electronic equipment and storage medium | |
JP2005507587A (en) | Spatial scalable compression | |
KR20070032111A (en) | Lossless encoding and decoding method for video | |
KR20120035843A (en) | Method and apparatus for image encoding/decoding using high resolution filter | |
KR20130070644A (en) | Methods, apparatuses and computer programs for video coding | |
KR20080033754A (en) | Image coding method and apparatus | |
KR100759870B1 (en) | H.264 scalable image coding / decoding method and apparatus therefor for performing inter-layer prediction using interpolation filter selected based on CPU | |
KR100754841B1 (en) | Scalable H.264 encoding / decoding method for performing inter-layer prediction using spatial interpolation filter selected based on bit rate distortion cost | |
JPH08294125A (en) | Moving image coder and moving image decoder | |
KR20100074272A (en) | Fixed-point implementation of an adaptive image filter with high coding efficiency | |
US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
KR101615503B1 (en) | Method for scaling a resolution using intra mode and an apparatus thereof | |
KR101562343B1 (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
US8223840B2 (en) | Image decoding method of decoding hierarchy-encoded image data in respective hierarchies, and a device thereof | |
JP2009065714A (en) | Moving image encoder and moving image encoding method | |
KR102111437B1 (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
JP2006180173A (en) | Device and method for encoding dynamic image, and device and method for decoding dynamic image | |
KR0178206B1 (en) | Adaptive Video Coding System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20060324 |
|
PA0201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20070521 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20070817 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20070912 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20070912 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20100820 Start annual number: 4 End annual number: 4 |
|
FPAY | Annual fee payment |
Payment date: 20110902 Year of fee payment: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20110902 Start annual number: 5 End annual number: 5 |
|
FPAY | Annual fee payment |
Payment date: 20120913 Year of fee payment: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20120913 Start annual number: 6 End annual number: 6 |
|
LAPS | Lapse due to unpaid annual fee | ||
PC1903 | Unpaid annual fee |