KR20100009718A

KR20100009718A - 예측 방향을 이용한 영상 부호화/복호화 장치 및 방법

Info

Publication number: KR20100009718A
Application number: KR1020080070466A
Authority: KR
Inventors: 김하윤; 이영렬; 문주희; 김해광; 전병우; 김대연; 서정훈
Original assignee: 에스케이 텔레콤주식회사
Priority date: 2008-07-21
Filing date: 2008-07-21
Publication date: 2010-01-29
Also published as: KR101418095B1

Abstract

본 발명은 예측 방향을 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다.

본 발명은 영상을 부호화하는 장치에 있어서, 현재 블록을 예측하여 예측 블록을 생성하는 인트라 예측부; 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하는 감산부; 잔차 블록을 다운 샘플링하는 다운 샘플링부; 다운 샘플링된 잔차 블록을 주파수 영역으로 변환하고 양자화하는 변환 및 양자화부; 및 변환 및 양자화된 잔차 블록을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

본 발명에 의하면, 영상을 부호화하거나 복호화하는 데 있어서, 계산에 소요되는 비용과 시간을 줄일 수 있을 뿐만 아니라 부호화된 비트스트림의 크기를 줄일 수 있어 압축 효율을 크게 향상시킬 수 있다.

영상, 부호, 복호, 블록, 예측, 인트라, 방향, 샘플링

Description

예측 방향을 이용한 영상 부호화/복호화 장치 및 방법{Video Encoding/Decoding Apparatus and Mehod Using Direction of Prediction}

본 발명은 예측 방향을 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 영상을 부호화하고 복호화하는 데 있어서, 인트라 예측 모드의 예측 방향에 따라 부호화 또는 복호화 방법을 달리함으로써, 압축 효율을 향상시키기 위한 장치 및 방법에 관한 것이다.

MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동으로 발표되었다. 이러한 H.264/AVC(이하 'H.264'라 약칭함)에서는 MPEG-1, MPEG-2, MPEG-4 Part2 Visual 등 기존의 동영상 부호화와 관련된 국제 표준과는 다른 방법인 공간 예측 부호화(Spatial Predictive Coding) 방법을 사용한다.

기존의 동영상 부호화 방법에서는 이산 코사인 변환 영역(DCT Domain: Discrete Cosine Transform Domain)에서 변환된 계수(Coefficient)값에 대한 "인트 라 예측(Intra Prediction)"을 사용함으로써 부호화 효율 증대를 추구하여, 그로 인해 저역 전송 비트율 대의 주관적 화질을 열화시키는 결과를 초래하였다. 하지만, H.264에서는 변환 영역(Transform Domain)이 아닌 공간 영역(Spatial Domain)에서의 공간적 인트라 예측(Spatial Intra Prediction)을 기반으로 하는 부호화 방법을 채택하고 있다.

기존의 공간적 인트라 예측을 기반으로 하는 부호화 방법을 사용하는 부호화기(Encoder)는 이미 부호화가 완료되어 재생된 이전 블록의 정보로부터 현재 부호화하고자 하는 블록 정보를 예측하고 부호화하고자 하는 실제 블록 정보의 차이(Difference) 정보만을 부호화해서 복호화기(Decoder)로 전송한다. 이때, 블록 정보를 예측하는 데 필요한 파라미터를 복호화기로 전송하거나, 부호화기와 복호화기를 동기화시켜 예측에 필요한 파라미터를 공유하도록 함으로써 복호화기가 블록 정보를 예측하도록 할 수도 있다. 복호화기는 이미 복호화가 완료되어 재생된 주변 블록의 정보를 이용하여 현재 복호화하고자 하는 블록의 정보를 예측하고, 부호화기로부터 전송된 오차 정보와의 합을 구하여 원하는 현재 복호화하고자 하는 블록의 정보를 생성하여 재생한다. 이때도 역시 부호화기로부터 예측에 필요한 파라미터가 전송되었다면, 복호화기는 해당 파라미터를 이용하여 주변 블록의 정보를 예측하는데 이용한다.

한편, 인트라 예측에는 인트라 4×4 예측, 인트라 16×16 예측 및 인트라 8×8 예측 등이 있는데, 각 인트라 예측은 복수 개의 예측 모드를 포함하고 있다.

도 1은 통상적인 인트라 8×8 예측에서의 9 가지의 예측 모드를 나타내는 예 시도이다.

도 1을 참조하면, 인트라 8×8 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC 모드, 대각선 왼쪽(Diagonal down-left) 모드, 대각선 오른쪽(Diagonal down-right), 수직 오른쪽(Vertical-right) 모드, 수평 아래쪽(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 및 수평 위쪽(Horizontal-up) 모드를 포함하는 9 가지의 예측 모드가 있다.

도 2는 통상적인 인트라 16×16 예측에서의 4 가지의 예측 모드를 나타내는 예시도이다.

도 2를 참조하면, 인트라 16×16 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC 모드 및 플래인(Plane) 모드를 포함하는 4 가지의 예측 모드가 있다. 인트라 4×4 예측도 인트라 8×8 예측과 유사하게 9 가지의 예측 모드가 있다.

통상적인 영상 부호화 장치 또는 영상 복호화 장치는 전술한 다수의 예측 모드 중에서 가장 좋은 최적의 예측 모드를 선택하여 인트라 예측을 수행하는데, 어떤 예측 모드를 최적의 예측 모드로서 선택하여 블록을 예측하는가에 따라 압축 효율이 달라진다. 따라서, 모든 예측 모드를 이용하여 블록을 예측하고 소정의 비용 함수를 사용하여 블록을 예측하는 데에 따른 비용을 계산한 후, 계산된 비용이 가장 작은 예측 모드를 최적의 예측 모드로서 선택한다.

H.264/AVC에서는 부호화하고자 하는 블록에 대한 정보와 예측된 블록에 대한 정보와 차이를 부호화하고 복호화하여 압축 효율을 향상시킬 수 있는데, 더욱 향상 된 압축 효율을 달성하기 위해서는 부호화하고 복호화하는 데에 따른 비용을 최소화할 수 있는 추가적인 기술의 개발이 요구된다.

전술한 요구에 부응하기 위해 본 발명은, 영상을 부호화하고 복호화하는 데 있어서, 인트라 예측 모드의 예측 방향에 따라 잔차 신호의 블록 크기를 줄임으로써 압축 효율을 향상시키는 데 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 장치에 있어서, 현재 블록을 예측하여 예측 블록을 생성하는 인트라 예측부; 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하는 감산부; 잔차 블록을 다운 샘플링하는 다운 샘플링부; 다운 샘플링된 잔차 블록을 주파수 영역으로 변환하고 양자화하는 변환 및 양자화부; 및 변환 및 양자화된 잔차 블록을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

또한, 본 발명의 다른 목적에 의하면, 영상 부호화 방법에 있어서, 현재 블록을 예측하여 예측 블록을 생성하는 인트라 예측 단계; 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하는 감산 단계; 잔차 블록을 다운 샘플링하는 다운 샘플링 단계; 다운 샘플링된 잔차 블록을 주파수 영역으로 변환하고 양자화하는 변환 및 양자화 단계; 및 변환 및 양자화된 잔차 블록을 부호화하는 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림을 복호화하여 잔차 블록을 추출하는 복호화부; 잔차 블록을 역 양자화하고 시간 영역으로 역 변환하는 역 양자화 및 역 변환부; 역 양자화되고 역 변환된 잔차 블록을 업 샘플링하는 업 샘플링부; 현재 블록을 예측하여 예측 블록을 생성하는 인트라 예측부; 및 예측 블록에 업 샘플링된 잔차 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림을 복호화하여 잔차 블록을 추출하는 복호화 단계; 잔차 블록을 역 양자화하고 시간 영역으로 역 변환하는 역 양자화 및 역 변환 단계; 역 양자화되고 역 변환된 잔차 블록을 업 샘플링하는 업 샘플링 단계; 현재 블록을 예측하여 예측 블록을 생성하는 인트라 예측 단계; 및 예측 블록에 업 샘플링된 잔차 블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 영상을 부호화하거나 복호화하는 데 있어서, 계산에 소요되는 비용과 시간을 줄일 수 있을 뿐만 아니라 부호화된 비트스트림의 크기를 줄일 수 있어 압축 효율을 크게 향상시킬 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 영상을 부호화하는 장치로서, 인트라 예측부(310), 감산부(320), 다운 샘플링부(330), 변환 및 양자화부(340) 및 부호화부(350)를 포함하여 구성된다.

이러한 영상 부호화 장치(300)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.

인트라 예측부(310)는 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 인트라 예측부(310)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소 값(Pixel Value)을 기 결정된 최적의 예측 모드(Prediction Mode)에 따라 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 또한, 인트라 예측부(310)는 예측 모드에 대한 정보를 부호화부(350)로 전달하여 부호화부(350)로 하여금 예측 모드에 대한 정보를 부호화하도록 할 수 있다.

감산부(320)는 현재 블록에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(320)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 인트라 예측부(310)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호(Residual Signal)인 잔차 블록을 생성한다. 여기서, 생성되는 잔차 블록은 4 X 4 휘도(Luma) 잔차 블록, 8 X 8 휘도 잔차 블록 및 16 X 16 휘도 잔차 블록 중 어느 하나일 수 있지만 반드시 이에 한정되는 것은 아니다.

다운 샘플링부(330)는 잔차 블록을 다운 샘플링한다. 여기서, 통상적으로 다운 샘플링(Down Sampling)이란 영상의 샘플 수를 줄이는 과정을 말하지만, 본 발명에서는 잔차 블록의 각 화소 즉, 각 잔차 신호의 개수를 줄여 잔차 블록의 크기를 줄이는 것을 말한다. 통상적인 영상 부호화 장치에서는 잔차 블록을 그대로 변환하고 양자화하여 부호화하는데, 본 발명에서는 잔차 블록을 다운 샘플링하여 잔차 블록의 크기를 줄여 변환하고 양자화하여 부호화한다. 이와 같이 본 발명에서는 잔차 블록의 크기를 줄여서 부호화하여 부호화해야 할 정보를 줄임으로써 효율적으로 영상을 부호화할 수 있다.

또한, 다운 샘플링부(330)는 예측 모드의 예측 방향(Direction of Prediction)에 따라 잔차 블록을 다운 샘플링할 수 있다. 즉, 다운 샘플링부(330)는 잔차 블록을 다운 샘플링하는 데 있어서, 인트라 예측부(310)에서 현재 블록을 예측하기 위해 이용한 예측 모드의 예측 방향에 따라 잔차 블록을 다운 샘플링할 수 있다. 예를 들어, 다운 샘플링부(330)는 예측 방향이 수직 방향인 경우 잔차 블록을 수직 방향으로 다운 샘플링할 수 있으며, 예측 방향이 수평 방향인 경우 잔차 블록을 수평 방향으로 다운 샘플링할 수 있으며, 예측 방향이 평균인 경우 잔차 블록을 수평 방향 및 수직 방향 중 하나 이상으로 다운 샘플링할 수 있다. 이뿐만 아니라 그 외의 다른 예측 모드에서도 해당 예측 모드의 예측 방향에 따라 개량된 방식으로 잔차 블록을 다운 샘플링할 수 있다. 다운 샘플링부(330)가 잔차 블록을 다운 샘플링하는 것에 대해서는 후술하는 과정에서 도 6 및 도 7을 통해 상세히 설명한다.

여기서, 예측 방향이란 인트라 예측을 위한 다양한 인트라 예측 모드(즉, 인트라 8×8 예측과 인트라 4 X 4 예측 각각에서의 9 가지의 예측 모드와 인트라 16 X 16 예측에서의 4 가지의 예측 모드)에 따른 예측 방향으로서, 최적의 예측 모드가 결정되면 해당 예측 모드에 따른 예측 방향이 결정된다.

또한, 다운 샘플링부(330)는 예측 모드에 따라 잔차 블록을 다운 샘플링할지 여부를 결정할 수 있는데, 예를 들면, 다운 샘플링부(330)는 다운 샘플링할 예측 방향을 미리 결정하여 설정해 두고, 예측 모드의 예측 방향을 확인하여 예측 방향이 기 정해진 예측 방향인 경우에만 잔차 블록을 다운 샘플링할 수 있다. 따라서, 다운 샘플링부(330)는 예측 모드에 따라 잔차 블록을 다운 샘플링하는 것으로 결정한 경우에는 잔차 블록을 예측 모드의 예측 방향에 따라 다운 샘플링하여 변환 및 양자화부(340)로 전달하지만, 예측 모드에 따라 잔차 블록을 다운 샘플링하지 않는 것으로 결정한 경우에는 잔차 블록을 다운 샘플링하지 않고 그대로 변환 및 양자화부(340)로 전달한다. 잔차 블록을 다운 샘플링하지 않는 경우에는 통상적인 영상 부호화 장치와 동일하게 영상을 부호화하므로 그에 대한 상세한 설명은 생략한다.

또한, 다운 샘플링부(330)는 다운 샘플링 수행 여부 및 다운 샘플링 수행 방식 중 하나 이상을 포함하는 정보인 다운 샘플링 모드 정보를 생성하여 부호화부(350)로 전달할 수 있다. 즉, 다운 샘플링부(330)는 후술할 영상 복호화 장치에서 복호화할 때 비트스트림으로부터 추출된 잔차 블록이 다운 샘플링된 잔차 블록이므로 업 샘플링하여 원래의 잔차 블록을 복원할 수 있도록, 잔차 블록을 다운 샘플링했는지 여부에 대한 정보와 다운 샘플링 방식에 대한 정보를 포함하는 다운 샘플링 모드 정보를 생성하여 부호화부(350)로 전달함으로써, 부호화부(350)에서 다운 샘플링된 잔차 블록을 부호화할 때, 다운 샘플링 모드 정보를 함께 부호화하도록 할 수 있다. 다만, 다운 샘플링부(330)가 다운 샘플링 모드 정보를 생성하고 부호화부(350)가 다운 샘플링 모드 정보를 부호화하는 것은 선택적인 사항일 뿐, 영상 부호화 장치(300)와 후술한 영상 복호화 장치 간에 동기(규약 또는 약속)를 통해 해결할 수도 있다. 여기서, 다운 샘플링 방식에 대한 정보란 원래의 잔차 블록의 크기 및 다운 샘플링된 잔차 블록의 크기 중 하나 이상일 수 있다. 영상 복호화 장치는 이러한 다운 샘플링 방식에 대한 정보에 포함된 원래의 잔차 블록의 크기와 다운 샘플링된 잔차 블록의 크기를 이용하여 업 샘플링하는 방식을 결정할 수 있다.

변환 및 양자화부(340)는 다운 샘플링된 잔차 블록을 주파수 영역으로 변환하고 양자화한다. 즉, 변환 및 양자화부(340)는 다운 샘플링부(330)에 의해 다운 샘플링된 잔차 블록을 이산 코사인 변환(DCT: Discrete Cosine Transform) 또는 웨이블릿 변환(Wavelet Transform) 등을 이용하여 주파수 영역으로 변환하고 양자화 파라미터(QP: Quantization Parameter)를 이용하여 양자화한다.

이때, 변환 및 양자화부(340)는 4 X 4 블록 단위 또는 다운 샘플링된 잔차 블록 단위로 변환과 양자화를 수행할 수 있다. 즉, 다운 샘플링된 잔차 블록은 16 X 8 블록, 8 X 16 블록, 8 X 4 블록 또는 4 X 8 블록 등의 다양한 크기로 다운 샘플링될 수 있는데, DCT 변환과 양자화를 수행할 때, 통상적인 4 X 4 변환(Transform)으로 변환하고 양자화할 수도 있지만, 행렬 변환과 같은 기법을 통해 다운 샘플링된 잔차 블록의 크기 단위로 변환하고 양자화할 수 있다.

부호화부(350)는 변환되고 양자화된 (다운 샘플링된) 잔차 블록을 엔트로피 부호화(Entropy Coding) 기법 등을 이용하여 부호화함으로써 비트스트림을 출력한다. 또한, 부호화부(350)는 다운 샘플링부(330)로부터 전달되는 다운 샘플링 모드 정보를 잔차 블록과 함께 부호화할 수도 있으며, 인트라 예측부(310)로부터 전달되는 예측 모드에 대한 정보를 잔차 블록과 함께 부호화할 수도 있다. 즉, 부호화부(350)는 후술할 영상 복호화 장치와 다운 샘플링의 수행 여부, 다운 샘플링의 수행 방식에 대한 정보 또는 예측 모드에 대한 정보에 대해 동기(규약 또는 약속)된 경우에는 다운 샘플링 모드 정보와 예측 모드에 대한 정보를 부호화하지 않을 수 있다.

도 4는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.

영상 부호화 장치(300)는 부호화하고자 하는 영상이 입력되면 영상을 매크로 블록 또는 매크로 블록의 서브 블록 단위로 구분하고 다양한 블록 모드(또는 부호화 모드) 중 최적의 블록 모드를 결정하여 결정된 블록 모드에 따라 부호화하고자 하는 현재 블록을 예측하여 부호화한다.

이때, 블록 모드로서 인트라 모드가 결정되어 인트라 예측을 수행하는 경우, 영상 부호화 장치(300)는 부호화하고자 하는 현재 블록을 예측하여 예측 블록을 생성하고(S410), 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성한다(S420). 즉, 영상 부호화 장치(300)는 부호화하고자 하는 현재 블록을 기 결정된 예측 모드에 따라서 현재 블록 이전에 부호화되고 현재 블록 주변에 있는 주변 블록의 인접 화소를 이용하여 예측함으로써 예측 블록을 생성하고, 현재 블록의 원 화소값에서 예측 블록의 예측 화소값을 감산한 잔차 신호로 구성되는 잔차 블록을 생성한다.

잔차 블록을 생성한 영상 부호화 장치(300)는 잔차 블록을 다운 샘플링한다(S430). 즉, 영상 부호화 장치(300)는 현재 블록을 예측하는 데 활용한 예측 모드의 예측 방향에 따라 잔차 블록을 다운 샘플링한다. 이때, 영상 부호화 장치(300)는 예측 방향을 이용하여 잔차 블록을 다운 샘플링할지 여부를 결정할 수 있는데, 예측 방향이 기 설정된 예측 방향(예를 들면, 수직 방향, 수평 방향, 평균 등)이면 다운 샘플링하는 것으로 결정할 수 있다.

잔차 블록을 다운 샘플링한 영상 부호화 장치(300)는 다운 샘플링된 잔차 블록을 주파수 영역으로 변환하고 양자화하며(S440), 양자화된 잔차 블록을 엔트로피 부호화 등을 이용하여 부호화하여(S450), 비트스트림을 출력한다.

도 5는 블록 모드(또는 부호화 모드)가 인트라 8 X 8인 경우의 예측에 사용되는 화소들을 나타낸 예시도이다.

도 5에서 Z_0,0 내지 Z_7,7의 64 개 화소값들은 블록 모드가 인트라 8 X 8인 경우, 현재 블록의 각 화소의 화소값들이고 A 내지 Y의 25 개 화소값들은 현재 블록을 부호화하기 전에 부호화된 주변 블록의 인접 화소들의 화소값들이다.

도 1을 통해 전술한 9 개의 인트라 8 X 8 예측 모드를 이용하여 도 5에 도시한 현재 블록에 대해 인트라 예측을 수행하면, 인접 화소들의 화소값 A 내지 Y를 이용하여 9 개의 인트라 8 X 8 예측 모드의 예측 방향에 따라 현재 블록의 각 화소의 화소값 z_0,0 내지 z_7,7을 예측하여 정해진 알고리즘에 따라 최적의 예측 모드를 결정하고 결정된 최적의 예측 모드의 예측 방향에 따라 현재 블록을 예측한다. 현재 블록을 예측하여 예측 블록이 생성되면 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성한다.

예를 들어, 최적의 예측 모드가 도 1에 도시한 1 번 예측 모드인 수평(Horizontal) 모드로 결정되었다면, 현재 블록의 첫 번째 행의 화소들의 화소값 z_0,j(j=0,1,2,…,7)은 수평 방향으로 인접한 인접 화소의 화소값 'Q'로 예측되고, 그에 따라 잔차 블록의 첫 번째 행의 화소값 z'_0,j(j=0,1,2,…,7)는 수학식 1과 같이 결정된다. 마찬가지로, 현재 블록의 두 번째 행 내지 여덟 번째 행의 화소들의 화소값도 수학식 1과 유사하게 해당 행의 화소들과 수평 방향으로 인접한 인접 화소의 화소값 R 내지 X로부터 예측되고 잔차 블록의 두 번째 행 내지 여덟 번째 행의 화소값도 결정되어, 최종적으로 잔차 블록이 생성된다.

z'_0,j=z_0,j-Q (j=0,1,2,…,7)

또 하나의 예로서, 최적의 예측 모드가 도 1에 도시한 3 번 예측 모드인 대각선 왼쪽(Diagonal down-left) 모드로 결정되었다면, 현재 블록의 첫 번째 행의 화소들의 화소값 z_0,j(j=0,1,2,…,7)은 각 화소와 대각선 방향으로 인접한 인접 화소들로부터 예측되고 그에 따라 잔차 블록의 첫 번째 행의 화소값 z'_0,j(j=0,1,2,…,7)는 수학식 2와 같이 생성된다. 마찬가지로, 현재 블록의 두 번째 행 내지 여덟 번째 행의 화소들의 화소값도 수학식 2와 유사하게 해당 행의 화소들과 대각선 방향으로 인접한 인접 화소의 화소값으로부터 예측되고 잔차 블록의 두 번째 행 내지 여덟 번째 행의 화소값도 결정되어, 최종적으로 잔차 블록이 생성된다.

z'_0,0=(z_0,0-(A+C+2B)/4)

z'_0,1=(z_0,1-(B+D+2C)/4)

z'_0,2=(z_0,2-(C+E+2D)/4)

z'_0,3=(z_0,3-(D+F+2E)/4)

z'_0,4=(z_0,4-(E+G+2F)/4)

z'_0,5=(z_0,5-(F+H+2G)/4)

z'_0,6=(z_0,6-(G+I+2H)/4)

z'_0,7=(z_0,7-(H+J+2I)/4)

그 외의 다른 예측 모드에서도 이와 유사한 방법으로 이미 부호화된 주변 블록의 인접 화소들의 화소값을 이용하여 예측을 수행하고 잔차 블록을 생성할 수 있다.

한편, 본 발명에서는 영상 부호화 장치가 잔차 블록을 다운 샘플링하는데, 영상 부호화 장치(300)의 다운 샘플링부(310)는 현재 블록의 예측 모드에 따라서 선택적으로 잔차 블록을 다운 샘플링하며, 예측 모드의 예측 방향에 따라 잔차 블록을 다운 샘플링할 방향을 결정하고 결정된 방향에 따라 잔차 블록을 다운 샘플링하여 다운 샘플링된 잔차 블록을 생성한다.

도 6은 본 발명의 일 실시예에 따라 잔차 블록을 수직 방향으로 다운 샘플링하는 과정을 설명하기 위한 예시도이다.

6A는 블록 모드가 인트라 8 X 8이고, 결정된 인트라 8 X 8 예측 모드가 수직 모드인 경우, 영상 부호화 장치(300)의 감산부(320)로부터 출력되어 다운 샘플링 부(330)로 입력되는 잔차 블록을 나타낸 것이다. 도시한 바와 같이, 다운 샘플링되기 전의 잔차 블록의 각 화소값은 z'_0,0 내지 z'_7,7이고, 잔차 블록의 크기는 8 X 8이다. 6A에서 빗금친 화소들의 화소값 z'_i,j (i=1,3,5,7, j=0,1,2,3,4,5,6,7)은 샘플링되어 다운 샘플링된 잔차 블록에 포함될 화소들의 화소값을 나타낸다.

이때, 현재 블록을 예측하기 위한 예측 모드가 수직 모드로 결정되어 수직 모드로 예측되었다는 것은 현재 블록 내의 화소들이 수직 모드의 예측 방향인 수직 방향으로 상관성이 크다(화소들이 상호 간에 유사하다)는 것을 의미한다. 따라서, 수직 방향으로 1/2 크기로 다운 샘플링하여 8 X 4 크기의 잔차 블록을 생성하고 부호화해도 영상의 품질에 크게 영향을 미칠 만큼의 잔차 신호에 대한 정보를 잃지 않을 수 있다. 그리고 복호화할 때에도 수직 방향으로 2 배 크기로 업 샘플링하여 원래의 크기와 동일한 8 X 8 크기의 잔차 블록으로 복원할 수 있다.

6B는 6A에 나타낸 잔차 블록을 다운 샘플링하여 생성된 다운 샘플링된 잔차 블록을 나타낸 것이다. 6A에 나타낸 8 X 8 크기의 잔차 블록을 수직 방향으로 1/2 크기로 다운 샘플링하면, 6B에 나타낸 바와 같은 8 X 4 크기의 다운 샘플링된 잔차 블록을 생성할 수 있다. 6A에서 빗금친 화소들의 화소값 z'_i,j (i=1,3,5,7, j=0,1,2,3,4,5,6,7)만을 남기고(샘플링하고) 나머지 화소들의 화소값은 제거하여 6B에서는 빗금친 화소들의 화소값 z'_i,j (i=1,3,5,7, j=0,1,2,3,4,5,6,7)만이 다운 샘플링된 잔차 블록으로 남았다.

즉, 원래의 잔차 블록의 각 행의 화소들 중에 격 행의 화소들은 제거하고 나 머지 격 행의 화소들을 샘플링하여 남긴 것이다. 다만, 이와 같이 격 행의 화소들을 샘플링하여 남김으로써 다운 샘플링된 잔차 블록을 생성하는 것은 예시적으로 설명한 것일 뿐, 다른 방식으로 특정한 어느 하나 이상의 행의 화소들을 샘플링하여 다운 샘플링된 잔차 블록을 생성할 수도 있을 것이다. 예를 들면, 6A에 나타낸 바와 같이, 총 8 행으로 구성된 잔차 블록 중에서 네 번째 행과 여덟 번째 행의 화소들의 화소값(z'_i,j (i=3,7, j=0,1,2,3,4,5,6,7))만을 샘플링하여 8 X 2 크기의 다운 샘플링된 잔차 블록을 생성할 수도 있다.

도 7은 본 발명의 일 실시예에 따라 잔차 블록을 수평 방향으로 다운 샘플링하는 과정을 설명하기 위한 예시도이다.

7A는 블록 모드가 인트라 8 X 8이고, 결정된 인트라 8 X 8 예측 모드가 수평 모드인 경우, 영상 부호화 장치(300)의 감산부(320)로부터 출력되어 다운 샘플링부(330)로 입력되는 잔차 블록을 나타낸 것이다. 도시한 바와 같이, 다운 샘플링되기 전의 잔차 블록의 각 화소값은 z'_0,0 내지 z'_7,7이고, 잔차 블록의 크기는 8 X 8이다. 7A에서 빗금친 화소들의 화소값 z'_i,j (i=0,1,2,3,4,5,6,7, j=1,3,5,7)은 샘플링되어 다운 샘플링된 잔차 블록에 포함될 화소들의 화소값을 나타낸다.

이때, 현재 블록을 예측하기 위한 예측 모드가 수평 모드로 결정되어 수평 모드로 예측되었다는 것은 현재 블록 내의 화소들이 수평 모드의 예측 방향인 수평 방향으로 상관성이 크다(화소들이 상호 간에 유사하다)는 것을 의미한다. 따라서, 수평 방향으로 1/2 크기로 다운 샘플링하여 4 X 8 크기의 잔차 블록을 생성하고 부 호화해도 영상의 품질에 크게 영향을 미칠 만큼의 잔차 신호에 대한 정보를 잃지 않을 수 있다. 그리고 복호화할 때에도 수평 방향으로 2 배 크기로 업 샘플링하여 원래의 크기와 동일한 8 X 8 크기의 잔차 블록으로 복원할 수 있다.

7B는 7A에 나타낸 잔차 블록을 수평 방향으로 다운 샘플링하여 생성된 다운 샘플링된 잔차 블록을 나타낸 것이다. 7A에 나타낸 8 X 8 크기의 잔차 블록을 수평 방향으로 1/2 크기로 다운 샘플링하면, 7B에 나타낸 바와 같은 4 X 8 크기의 다운 샘플링된 잔차 블록을 생성할 수 있다. 7A에서 빗금친 화소들의 화소값 z'_i,j (i=0,1,2,3,4,5,6,7, j=1,3,5,7)만을 남기고(샘플링하고) 나머지 화소들의 화소값은 제거하여 7B에서는 빗금친 화소들의 화소값 z'_i,j (i=0,1,2,3,4,5,6,7, j=1,3,5,7)만이 다운 샘플링된 잔차 블록으로 남았다.

즉, 원래의 잔차 블록의 각 열의 화소들 중에 격 열의 화소들은 제거하고 나머지 격 열의 화소들을 샘플링하여 남긴 것이다. 다만, 이와 같이 격 열의 화소들을 샘플링하여 남김으로써 다운 샘플링된 잔차 블록을 생성하는 것은 예시적으로 설명한 것일 뿐, 다른 방식으로 특정한 어느 하나 이상의 열의 화소들을 샘플링하여 다운 샘플링된 잔차 블록을 생성할 수도 있을 것이다. 예를 들면, 7A에 나타낸 바와 같이, 총 8 열로 구성된 잔차 블록 중에서 네 번째 열과 여덟 번째 열의 화소들의 화소값(z'_i,j (i=0,1,2,3,4,5,6,7, j=3,7)만을 샘플링하여 2 X 8 크기의 다운 샘플링된 잔차 블록을 생성할 수도 있다.

한편, 도 6 및 도 7을 통해서는 예측 모드가 수직 모드인 경우와 수평 모드 인 경우에 대해서만 설명했지만, 기타 다른 예측 모드에서도 예측 모드의 예측 방향을 이용하여 잔차 블록을 다운 샘플링할 수도 있을 것이다. 이 경우, 다운 샘플링 방식은 도 6 및 도 7을 통해 전술한 방식을 개량한 방식이 될 수 있다.

예를 들어, 예측 모드가 DC 모드인 경우에는 인접 화소들의 화소값의 평균으로 현재 블록의 각 화소의 화소값을 예측하므로 정해진 예측 방향이 없고 현재 블록의 각 화소의 화소값은 동일한 값을 갖는다. 예측 모드가 DC 모드인 경우에는 수직 방향을 다운 샘플링해도 되고 수평 방향으로 다운 샘플링해도 될 뿐만 아니라 수직 방향과 수평 방향으로 모두 다운 샘플링할 수 있다. 즉, 현재 블록의 각 화소의 화소값이 동일하므로, 현재 블록의 각 화소의 화소값은 서로 상관성이 크며 그에 따라 어느 방향으로 다운 샘플링해도 영상의 품질에 크게 영향을 미칠 만큼의 잔차 신호에 대한 정보를 잃지 않을 수 있다. 따라서, 예측 모드가 DC 모드인 경우에는 8 X 8 크기의 잔차 블록이 4 X 8 크기, 2 X 8 크기 등으로 다운 샘플링되거나 8 X 4 크기, 8 X 2 크기 등으로 다운 샘플링될 수도 있고, 4 X 4 크기로 다운 샘플링될 수도 있으며, 심지어는 1 X 8 크기나 8 X 1 크기로 다운 샘플링될 수도 있을 것이다.

전술한 바와 같이, 영상 부호화 장치(300)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 복호화 장치(800)는 영상을 복호화하는 장치로서, 복호화부(810), 역 양자화 및 역 변환부(820), 업 샘플링부(830), 인트라 예측부(840) 및 가산부(850)를 포함하여 구성된다.

복호화부(810)는 비트스트림을 복호화하여 잔차 블록을 추출한다. 즉, 복호화부(810)는 영상 부호화 장치(300) 또는 기타 다른 장치로부터 전달되는 부호화된 비트스트림을 복호화하여 복호화하고자 하는 현재 블록에 대한 잔차 블록을 추출한다. 이때, 복호화부(810)는 비트스트림에 다운 샘플링 모드 정보가 포함된 경우에는 다운 샘플링 모드 정보를 추가로 추출하여 업 샘플링부(830)로 전달함으로써, 업 샘플링부(830)로 하여금 잔차 블록을 업 샘플링하도록 할 수 있다. 또한, 복호화부(810)는 비트스트림에 예측 모드에 대한 정보가 포함된 경우에는 예측 모드에 대한 정보를 추가로 추출하여 업 샘플링부(830)와 인트라 예측부(840)로 전달함으로써, 인트라 예측부(840)로 하여금 해당 예측 모드에 따라 현재 블록을 예측하도록 할 수 있으며 업 샘플링부(830)로 하여금 해당 예측 모드의 예측 방향에 따라 잔차 블록을 업 샘플링하도록 할 수 있다.

역 양자화 및 역 변환부(820)는 잔차 블록을 역 양자화하고 시간 영역으로 역 변환한다. 즉, 복호화부(810)로부터 전달되는 잔차 블록은 양자화되어 있으므로, 역 양자화 및 역 변환부(820)는 잔차 블록을 역 양자화하고 역 양자화된 잔차 블록을 시간 영역으로 역 변환한다. 이때, 역 양자화 및 역 변환부(820)는 4 X 4 블록 단위 또는 잔차 블록 단위로 역 변환하고 역 양자화할 수 있다.

업 샘플링부(830)는 역 양자화되고 역 변환된 잔차 블록을 업 샘플링한다. 이때, 업 샘플링부(830)는 복호화부(810)로부터 전달되는 예측 모드에 대한 정보를 이용하여 예측 모드를 파악하고, 파악된 예측 모드에 따라 잔차 블록을 업 샘플링할지 여부를 결정할 수 있다. 즉, 업 샘플링부(830)는 예측 모드의 예측 방향이 기 정해진 예측 방향인 경우에만 잔차 블록을 업 샘플링하고 예측 모드의 예측 방향이 기 정해진 예측 방향이 아닌 경우에는 잔차 블록이 다운 샘플링되지 않았다고 판단하여 업 샘플링하지 않고 잔차 블록을 그대로 가산부(850)로 전달할 수 있다.

또한, 업 샘플링부(830)는 예측 모드의 예측 방향을 확인하고 예측 방향에 따라 잔차 블록을 업 샘플링할 수 있는데, 예측 방향이 수직 방향인 경우에는 잔차 블록을 수직 방향으로 업 샘플링할 수 있고, 예측 방향이 수평 방향인 경우에는 잔차 블록을 수평 방향으로 업 샘플링할 수 있으며, 예측 방향이 평균인 경우에는 잔차 블록을 수평 방향 및 수직 방향 중 하나 이상으로 업 샘플링할 수 있다.

인트라 예측부(840)는 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 인트라 예측부(840)는 복호화부(810)로부터 전달된 예측 모드에 대한 정보를 이용하여 파악한 예측 모드 또는 기 설정된(영상 부호화 장치(300)와 동기화되어 기 설정된) 예측 방향에 따라 현재 블록의 각 화소의 화소값을 예측하여 예측 화소값을 각 화소값으로 갖는 예측 블록을 생성한다.

가산부(850)는 예측 블록에 업 샘플링된 잔차 블록을 가산하여 현재 블록을 복원한다. 즉, 가산부(850)는 인트라 예측부(840)에서 예측한 예측 블록의 각 화소 의 화소값에 업 샘플링부(830)에 의해 업 샘플링된 잔차 블록의 각 화소의 화소값을 가산하여 현재 블록의 각 화소의 화소값을 복원함으로써 현재 블록을 복원한다.

도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.

유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(800)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다.

이를 위해, 영상 복호화 장치(800)는 비트스트림을 복호화하여 잔차 블록을 추출한다(S910). 이때, 영상 복호화 장치(800)는 비트스트림에서 다운 샘플링 모드 정보와 예측 모드에 대한 정보를 추가로 추출할 수 있다.

잔차 블록을 추출한 영상 복호화 장치(800)는 추출한 잔차 블록을 역 양자화하고 시간 영역으로 역 변환하며(S920), 역 양자화되고 역 변환된 잔차 블록을 예측 방향에 따라 업 샘플링한다(S930). 이때, 영상 복호화 장치(800)는 비트스트림에서 추가로 추출한 예측 모드에 대한 정보를 이용하거나 영상 부호화 장치(300)와 동기화된 정보를 이용하여 예측 모드를 파악할 수 있으며, 예측 모드가 기 결정된 예측 모드가 아닌 경우에는 잔차 블록을 업 샘플링하지 않을 수 있다. 또한, 영상 복호화 장치(800)는 비트스트림에서 추가로 추출한 다운 샘플링 모드 정보를 이용하거나 영상 부호화 장치(300)와 동기화된 정보를 이용하여 다운 샘플링 수행 여부와 다운 샘플링 수행 방식을 파악할 수 있다.

또한, 영상 복호화 장치(800)는 현재 블록을 예측하여 예측 블록을 생성한 다(S940). 이때, 영상 복호화 장치(800)는 비트스트림에서 추가로 추출한 예측 모드에 대한 정보를 이용하여 예측 모드를 파악하고 파악된 예측 모드의 예측 방향에 따라 현재 블록을 예측할 수 있다.

영상 복호화 장치(800)는 단계 S940에서 예측된 예측 블록에 단계 S930에서 업 샘플링된 잔차 블록을 가산하여 현재 블록을 복원한다(S950).

도 10은 본 발명의 일 실시예에 따라 잔차 블록을 수직 방향으로 업 샘플링하는 과정을 설명하기 위한 예시도이다.

10A는 업 샘플링부(830)에 입력될 수 있는 8 X 4 크기의 잔차 블록을 나타낸 것이다. 영상 복호화 장치(800)의 복호화부(810)에서 비트스트림으로부터 추출하고 역 양자화 및 역 변환부(820)에서 역 양자화되고 역 변환된 잔차 블록은 10A에 도시한 바와 같이, z'_i,j (i=1,3,5,7, j=0,1,2,3,4,5,6,7)의 화소값을 갖는 8 X 4 크기의 블록일 수 있다. 이 경우, 업 샘플링부(830)는 예측 모드의 예측 방향을 확인하여 예측 방향인 수직 방향으로 8 X 4 크기의 잔차 블록을 업 샘플링한다. 이때, 업 샘플링을 위해 선형 보간법(Linear Interpolation)과 같은 다양한 보간법이 사용될 수 있다.

또한, 업 샘플링을 하는 방식은 다운 샘플링 모드 정보에 포함된 다운 샘플링 방식에 대한 정보를 토대로 결정되거나 영상 부호화 장치(800)와 동기(또는 약속)된 정보를 토대로 결정될 수 있다. 예를 들어, 다운 샘플링 방식에 대한 정보에 포함된 원래의 잔차 블록의 크기가 8 X 8이고, 역 양자화 및 역 변환부(820)에서 역 양자화되고 역 변환된 잔차 블록의 크기가 8 X 4라면, 업 샘플링부(830)는 8 X 4 크기의 잔차 블록을 예측 방향으로 2 배로 업 샘플링한다.

10B는 10A에서 나타낸 8 X 4 크기의 잔차 블록을 업 샘플링한 8 X 8 크기의 잔차 블록을 나타낸 것이다. 보간법을 이용하여 10A에 나타낸 8 X 4 크기의 잔차 블록을 수직 방향으로 2 배의 크기로 업 샘플링하면 10B에 나타낸 바와 같이 잔차 블록이 복원된다. 즉, 8 X 4 크기의 잔차 블록에서 첫 번째 행의 화소의 화소값 z'_i,j (i=1, j=0,1,2,3,4,5,6,7)을 기초로 보간법을 수행하여 z"_i,j (i=0, j=0,1,2,3,4,5,6,7)을 계산하고 계산된 z"_i,j (i=0, j=0,1,2,3,4,5,6,7)와 첫 번째 행의 화소의 화소값 z'_i,j (i=1, j=0,1,2,3,4,5,6,7)을 순서대로 8 X 8 크기의 업 샘플링된 잔차 블록의 첫 번째 행과 두 번째 행으로 배열한다. 마찬가지 방법으로, 8 X 4 크기의 잔차 블록에서 두 번째 행의 화소의 화소값 z'_i,j (i=3, j=0,1,2,3,4,5,6,7)을 기초로 보간법을 수행하여 z"_i,j (i=2, j=0,1,2,3,4,5,6,7)을 계산하고 계산된 z"_i,j (i=2, j=0,1,2,3,4,5,6,7)와 두 번째 행의 화소의 화소값 z'_i,j (i=3, j=0,1,2,3,4,5,6,7)을 순서대로 8 X 8 크기의 업 샘플링된 잔차 블록의 세 번째 행과 네 번째 행으로 배열하는 과정을 반복함으로써 8 X 8 크기의 업 샘플링된 잔차 블록의 여덟 개의 행을 모두 복원한다.

여기서는 2 배의 크기로 업 샘플링하는 과정에 대해서만 설명했지만, 잔차 블록의 크기에 따라 보간법을 이용한 다양한 방식으로 업 샘플링할 수도 있다. 예 를 들어, 잔차 블록의 크기가 2 X 8인 경우에는 4 배의 크기로 업 샘플링할 수 있는데, 이 경우 2 X 8 크기의 잔차 블록의 첫 번째 행과 두 번째 행을 기초로 보간법을 이용하여 총 여덟 개의 행을 갖는 8 X 8 크기의 잔차 블록으로 업 샘플링될 수 있다.

도 11은 본 발명의 일 실시예에 따라 잔차 블록을 수평 방향으로 업 샘플링하는 과정을 설명하기 위한 예시도이다.

11A는 업 샘플링부(830)에 입력될 수 있는 4 X 8 크기의 잔차 블록을 나타낸 것이다. 영상 복호화 장치(800)의 복호화부(810)에서 비트스트림으로부터 추출하고 역 양자화 및 역 변환부(820)에서 역 양자화되고 역 변환된 잔차 블록은 11A에 도시한 바와 같이, z'_i,j (i=0,1,2,3,4,5,6,7, j=1,3,5,7)의 화소값을 갖는 4 X 8 크기의 블록일 수 있다. 이 경우, 업 샘플링부(830)는 예측 모드의 예측 방향을 확인하여 예측 방향인 수평 방향으로 4 X 8 크기의 잔차 블록을 업 샘플링한다. 이때, 업 샘플링을 위해 선형 보간법(Linear Interpolation)과 같은 다양한 보간법이 사용될 수 있다.

11B는 11A에서 나타낸 4 X 8 크기의 잔차 블록을 업 샘플링한 8 X 8 크기의 잔차 블록을 나타낸 것이다. 보간법을 이용하여 11A에 나타낸 4 X 8 크기의 잔차 블록을 수평 방향으로 2 배의 크기로 업 샘플링하면 11B에 나타낸 바와 같이 잔차 블록이 복원된다. 즉, 4 X 8 크기의 잔차 블록에서 첫 번째 열의 화소의 화소값 z'_i,j (i=0,1,2,3,4,5,6,7, j=1)을 기초로 보간법을 수행하여 z"_i,j (i=0,1,2,3,4,5,6,7, j=0)을 계산하고 계산된 z"_i,j (i=0,1,2,3,4,5,6,7, j=0)와 첫 번째 행의 화소의 화소값 z'_i,j (i=0,1,2,3,4,5,6,7, j=1)을 순서대로 8 X 8 크기의 업 샘플링된 잔차 블록의 첫 번째 열과 두 번째 열로 배열한다. 마찬가지 방법으로, 4 X 8 크기의 잔차 블록에서 두 번째 열의 화소의 화소값 z'_i,j (i=0,1,2,3,4,5,6,7, j=3)을 기초로 보간법을 수행하여 z"_i,j (i=0,1,2,3,4,5,6,7, j=2)을 계산하고 계산된 z"_i,j (i=0,1,2,3,4,5,6,7, j=2)와 두 번째 열의 화소의 화소값 z'_i,j (i=0,1,2,3,4,5,6,7, j=3)을 순서대로 8 X 8 크기의 업 샘플링된 잔차 블록의 세 번째 열과 네 번째 열로 배열하는 과정을 반복함으로써 8 X 8 크기의 업 샘플링된 잔차 블록의 여덟 개의 열을 모두 복원한다.

이상에서는 도 10 및 도 11을 통해 예측 모드가 수직 모드인 경우와 수평 모드인 경우, 잔차 블록을 업 샘플링하는 과정을 예를 들어 설명했지만, 기타 다른 예측 모드에서도 예측 모드의 예측 방향에 따라 개량된 업 샘플링 방식으로 잔차 블록을 업 샘플링할 수도 있을 것이다. 이 경우 업 샘플링 방식은 도 10 및 도 11을 통해 전술한 방식을 개량한 방식이 될 수 있다. 예를 들어, 예측 모드가 DC 모드인 경우에는 잔차 블록의 크기가 원래의 잔차 블록의 크기가 되도록 잔차 블록을 수평 방향 및 수직 방향 중 어느 하나 이상으로 업 샘플링하여 원래의 잔차 블록을 복원할 수 있다.

도 6 및 도 7과 도 10 및 도 11을 통해 전술한 바를 통해 알 수 있듯이, 본 발명에 따르면 16 X 16 크기의 잔차 블록을 16 X 8 크기의 잔차 블록, 8 X 16 크기의 잔차 블록, 8 X 8 크기의 잔차 블록 등으로 다운 샘플링하거나 8 X 8 크기의 잔차 블록을 8 X 4 크기의 잔차 블록, 4 X 8 크기의 잔차 블록 4 X 4 크기의 잔차 블록 등으로 다운 샘플링하거나 4 X 4 크기의 잔차 블록을 4 X 2 크기의 잔차 블록, 2 X 4 크기의 잔차 블록 등으로 다운 샘플링하여 잔차 블록의 크기를 줄일 수 있다. 그에 따라, 본 발명에 따르면 작은 크기의 잔차 블록을 주파수 변환하고 양자화하여 엔트로피 부호화 등을 수행할 수 있고, 작은 크기의 잔차 블록을 복호화하고 역 양자화하며 역 변환할 수 있으므로, 계산에 소요되는 비용과 시간을 줄일 수 있을 뿐만 아니라 부호화된 비트스트림의 크기를 줄일 수 있어 압축 효율을 크게 향상시킬 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명은 영상을 부호화하고 복호화하는 데 있 어서, 인트라 예측 모드의 예측 방향에 따라 부호화 또는 복호화 방법을 달리함으로써, 압축 효율을 향상시키기 위한 장치 및 방법 분야에 적용되어, 계산에 소요되는 비용과 시간을 줄일 수 있을 뿐만 아니라 부호화된 비트스트림의 크기를 줄일 수 있어 압축 효율을 크게 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.

도 1은 통상적인 인트라 8×8 예측에서의 9 가지의 예측 모드를 나타내는 예시도,

도 2는 통상적인 인트라 16×16 예측에서의 4 가지의 예측 모드를 나타내는 예시도,

도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,

도 4는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,

도 5는 블록 모드(또는 부호화 모드)가 인트라 8 X 8인 경우의 예측에 사용되는 화소들을 나타낸 예시도,

도 6은 본 발명의 일 실시예에 따라 잔차 블록을 수직 방향으로 다운 샘플링하는 과정을 설명하기 위한 예시도,

도 7은 본 발명의 일 실시예에 따라 잔차 블록을 수평 방향으로 다운 샘플링하는 과정을 설명하기 위한 예시도,

도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,

도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,

도 10은 본 발명의 일 실시예에 따라 잔차 블록을 수직 방향으로 업 샘플링 하는 과정을 설명하기 위한 예시도,

< 도면의 주요 부분에 대한 부호의 설명 >

300: 영상 부호화 장치 310: 인트라 예측부

320: 감산부 330: 다운 샘플링부

340: 변환 및 양자화부 350: 부호화부

800: 영상 복호화 장치 810: 복호화부

820: 역 양자화 및 역 변환부 830: 업 샘플링부

840: 인트라 예측부 850: 가산부

Claims

영상을 부호화하는 장치에 있어서,

현재 블록을 예측하여 예측 블록을 생성하는 인트라 예측부;

상기 현재 블록에서 상기 예측 블록을 감산하여 잔차 블록을 생성하는 감산부;

상기 잔차 블록을 다운 샘플링하는 다운 샘플링부;

상기 다운 샘플링된 잔차 블록을 주파수 영역으로 변환하고 양자화하는 변환 및 양자화부; 및

상기 변환 및 양자화된 잔차 블록을 부호화하는 부호화부

를 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 1 항에 있어서, 상기 다운 샘플링부는,

예측 모드의 예측 방향에 따라 상기 잔차 블록을 다운 샘플링하는 것을 특징으로 하는 영상 부호화 장치.
제 2 항에 있어서, 상기 다운 샘플링부는,

상기 예측 방향이 수직 방향인 경우, 상기 잔차 블록을 상기 수직 방향으로 다운 샘플링하는 것을 특징으로 하는 영상 부호화 장치.
제 2 항에 있어서, 상기 다운 샘플링부는,

상기 예측 방향이 수평 방향인 경우, 상기 잔차 블록을 상기 수평 방향으로 다운 샘플링하는 것을 특징으로 하는 영상 부호화 장치.
제 2 항에 있어서, 상기 다운 샘플링부는,

상기 예측 방향이 평균인 경우, 상기 잔차 블록을 수평 방향 및 수직 방향 중 하나 이상으로 다운 샘플링하는 것을 특징으로 하는 영상 부호화 장치.
제 1 항에 있어서, 상기 다운 샘플링부는,

예측 모드에 따라 상기 잔차 블록을 다운 샘플링할지 여부를 결정하는 것을 특징으로 하는 영상 부호화 장치.
제 1 항에 있어서, 상기 다운 샘플링부는,

예측 모드의 예측 방향이 기 정해진 예측 방향인 경우에만 상기 잔차 블록을 다운 샘플링하는 것을 특징으로 하는 영상 부호화 장치.
제 1 항에 있어서, 상기 부호화부는,

다운 샘플링 모드 정보를 추가로 부호화하는 것을 특징으로 하는 영상 부호화 장치.
제 1 항에 있어서, 상기 잔차 블록은,

4 X 4 휘도 잔차 블록, 8 X 8 휘도 잔차 블록 및 16 X 16 휘도 잔차 블록 중 어느 하나인 것을 특징으로 하는 영상 부호화 장치.
제 1 항에 있어서, 상기 변환 및 양자화부는,

4 X 4 블록 단위 또는 상기 다운 샘플링된 잔차 블록 단위로 변환하고 양자화하는 것을 특징으로 하는 영상 부호화 장치.
영상 부호화 방법에 있어서,

현재 블록을 예측하여 예측 블록을 생성하는 인트라 예측 단계;

상기 현재 블록에서 상기 예측 블록을 감산하여 잔차 블록을 생성하는 감산 단계;

상기 잔차 블록을 다운 샘플링하는 다운 샘플링 단계;

상기 다운 샘플링된 잔차 블록을 주파수 영역으로 변환하고 양자화하는 변환 및 양자화 단계; 및

상기 변환 및 양자화된 잔차 블록을 부호화하는 부호화 단계

를 포함하는 것을 특징으로 하는 영상 부호화 방법.
영상을 복호화하는 장치에 있어서,

비트스트림을 복호화하여 잔차 블록을 추출하는 복호화부;

상기 잔차 블록을 역 양자화하고 시간 영역으로 역 변환하는 역 양자화 및 역 변환부;

상기 역 양자화되고 역 변환된 잔차 블록을 업 샘플링하는 업 샘플링부;

현재 블록을 예측하여 예측 블록을 생성하는 인트라 예측부; 및

상기 예측 블록에 상기 업 샘플링된 잔차 블록을 가산하여 현재 블록을 복원하는 가산부

를 포함하는 것을 특징으로 하는 영상 복호화 장치.
제 12 항에 있어서, 상기 업 샘플링부는,

예측 모드의 예측 방향에 따라 상기 잔차 블록을 업 샘플링하는 것을 특징으로 하는 영상 복호화 장치.
제 13 항에 있어서, 상기 업 샘플링부는,

상기 예측 방향이 수직 방향인 경우, 상기 잔차 블록을 상기 수직 방향으로 업 샘플링하는 것을 특징으로 하는 영상 복호화 장치.
제 13 항에 있어서, 상기 업 샘플링부는,

상기 예측 방향이 수평 방향인 경우, 상기 잔차 블록을 상기 수평 방향으로 업 샘플링하는 것을 특징으로 하는 영상 복호화 장치.
제 13 항에 있어서, 상기 업 샘플링부는,

상기 예측 방향이 평균인 경우, 상기 잔차 블록을 수평 방향 및 수직 방향 중 하나 이상으로 업 샘플링하는 것을 특징으로 하는 영상 복호화 장치.
제 12 항에 있어서, 상기 업 샘플링부는,

예측 모드에 따라 상기 잔차 블록을 업 샘플링할지 여부를 결정하는 것을 특징으로 하는 영상 복호화 장치.
제 12 항에 있어서, 상기 업 샘플링부는,

예측 모드의 예측 방향이 기 정해진 예측 방향인 경우에만 상기 잔차 블록을 업 샘플링하는 것을 특징으로 하는 영상 복호화 장치.
제 12 항에 있어서,

상기 복호화부는 상기 비트스트림에서 다운 샘플링 모드 정보를 추가로 복호화하되, 상기 업 샘플링부는 상기 다운 샘플링 모드 정보를 이용하여 상기 잔차 블록을 업 샘플링할지 여부를 결정하는 것을 특징으로 하는 영상 복호화 장치.
제 12 항에 있어서, 상기 업 샘플링된 잔차 블록은,

4 X 4 휘도 잔차 블록, 8 X 8 휘도 잔차 블록 및 16 X 16 휘도 잔차 블록 중 어느 하나인 것을 특징으로 하는 영상 복호화 장치.
제 12 항에 있어서, 상기 역 변환 및 역 양자화부는,

4 X 4 블록 단위 또는 상기 잔차 블록 단위로 역 변환하고 역 양자화하는 것을 특징으로 하는 영상 복호화 장치.
영상을 복호화하는 방법에 있어서,

비트스트림을 복호화하여 잔차 블록을 추출하는 복호화 단계;

상기 잔차 블록을 역 양자화하고 시간 영역으로 역 변환하는 역 양자화 및 역 변환 단계;

상기 역 양자화되고 역 변환된 잔차 블록을 업 샘플링하는 업 샘플링 단계;

현재 블록을 예측하여 예측 블록을 생성하는 인트라 예측 단계; 및

상기 예측 블록에 상기 업 샘플링된 잔차 블록을 가산하여 현재 블록을 복원하는 가산 단계

를 포함하는 것을 특징으로 하는 영상 복호화 방법.