KR101059649B1 - 적응적 보간 필터를 이용한 부호화 장치, 그 방법 및 복호화 장치 - Google Patents

Abstract

영상 부호화 장치, 그 방법 및 복호화 장치가 개시된다. 개시된 영상 부호화 장치는 하나 이상의 필터계수를 포함하는 적어도 하나의 딕셔너리를 저장하는 딕셔너리 저장부, 참조 영상의 탐색 영역 내 정수 단위 픽셀에 대해 상기 딕서너리 저장부로부터 최적의 필터계수를 검색하여 상기 탐색 영역의 상기 정수 단위 픽셀 사이에 서브 픽셀을 보간하는 서브픽셀 보간부, 보간된 상기 탐색 영역에 대해 상기 참조 영상의 탐색 블록과의 정합을 통해 서브 픽셀 움직임 벡터를 추정하는 서브픽셀 움직임 벡터 추정부 및, 상기 서브 픽셀 움직임 벡터를 기반으로 상기 서브 픽셀의 움직임을 추정하고 상기 참조 영상을 부호화하는 부호화부를 포함한다.

해상도, 보간, 패치, 클러스터링, 합성

Description

적응적 보간 필터를 이용한 부호화 장치, 그 방법 및 복호화 장치{ENCODING APPARATUS AND METHOD USING ADAPTIVE INTERPOLATION FILTER AND DECODING APPARATUS}

본 발명의 실시예들은 부호화 장치, 그 방법 및 복호화 장치에 관한 것으로, 더욱 상세하게는 적응적 보간 필터를 이용한 부호화 장치 그 방법 및 복호화 장치에 관한 것이다.

보간 필터, 양자화기, 후처리 필터, 변환기, 움직임 정보 부호화, 엔트로피 부호화 등 비디오 코덱 전반에 걸친 넓은 범위의 새로운 부호화 알고리즘에 계속 발표되고 있다.

H.264에서는 1/4 픽셀 간격의 움직임에 대한 예측 및 보상을 지원한다. 이를 위해 참조 영상을 4배 확대하고, 각 픽셀 사이에 1/2픽셀 및 1/4 픽셀값을 보간하기 위해 보간 필터를 이용한다. 보간 필터로는 (1/32, -5/32, 20/32, 20/32, -5/32, 1/32)의 6탭 필터와 이선형(bilinear) 보간 필터(1/2, 1/2)를 이용하여 1/2 위치 및 1/4 위치의 픽셀값을 계산한다.

하지만, 필터계수가 미리 정해져 있는 고정 필터는 개별적인 영상의 특성을 반영하기가 어렵다. 따라서, 각 영상의 특성을 고려하여 각 영상별로 최적의 필터 계수를 구하여 보간 필터로 활용하는 적응형 보간 필터(AIF: Adaptive Interpolation Filter) 방식이 연구되고 있다. 현재 KTA에서는 NSAIF(Non-Separable Interpolation Filter), SAIF(Separable Interpolation Filter), DIF(Directional Interpolation Filter), Enhanced DAIF, Enhanced-AIF 등이 포함된다. 상기 필터들은 공통적으로 각 영상별로 최적의 필터 계수를 구하여 복호기에 전달하는 특성을 가진다. 다만, 필터 구조, 필터 계수의 대칭 가정(symmetric assumption) 등이 서로 다르다.

상기 기술들은 화면 단위로 하나의 보간 필터 계수를 정하여 사용하는데, 50여개의 필터 계수를 보내는 형태다. 비록 계수 당 8bit라고 하면, 픽처당 400여 비트가 소요되므로 로 비트 레이트(low bit rate)에서는 부담이 될 수 있다. 또한, 픽처 당 하나의 적응형 보간 필터를 사용하므로 효율이 떨어질 수 있다.

본 발명의 일 실시예는 복수의 필터 계수를 가지는 딕셔너리를 형성하여 최적의 필터 계수를 선택할 수 있는 영상 부호화 장치 및 방법을 제공한다.

또한 본 발명의 일 실시예는 픽처별로 복수의 딕셔너리 중 하나를 선택하여 압축 효율을 향상시킬 수 있는 영상 부호화 장치 및 방법을 제공한다.

또한 본 발명의 일 실시예는 최적의 필터 계수를 이용해 압축된 영상을 효율적으로 복호화할 수 있는 영상 복호화 장치를 제공한다.

본 발명의 일 실시예에 따른 영상 부호화 장치는 하나 이상의 필터계수를 포함하는 적어도 하나의 딕셔너리를 저장하는 딕셔너리 저장부; 참조 영상의 탐색 영역 내 정수 단위 픽셀에 대해 상기 딕서너리 저장부로부터 최적의 필터계수를 검색하여 상기 탐색 영역의 상기 정수 단위 픽셀 사이에 서브 픽셀을 보간하는 서브픽셀 보간부; 보간된 상기 탐색 영역에 대해 상기 참조 영상의 탐색 블록과의 정합을 통해 서브 픽셀 움직임 벡터를 추정하는 서브픽셀 움직임 벡터 추정부; 및 상기 서브 픽셀 움직임 벡터를 기반으로 상기 서브 픽셀의 움직임을 추정하고 상기 참조 영상을 부호화하는 부호화부;를 포함한다.

본 발명의 일 실시예에서, 상기 딕셔너리 저장부는 상기 영상을 클래스별로 나누어 형성한 복수의 딕셔너리를 포함하고, 상기 부호화부는 픽쳐 단위로 상기 복수의 딕셔너리 중 하나를 선택하여 선택 정보를 스트림에 포함해 복호기로 전송할 수 있다.

본 발명의 일 실시예에서, 상기 딕셔너리 저장부는 저해상도 블록과 고해상도 블록 및 라플라시안으로 정규화된 저해상도 블록의 쌍 중 상기 저해상도 블록의 라플라시안 특성이 서로 유사한 블록 쌍끼리 클러스터링하고, 각 클러스터 내 저해상도 블록과 고해상도 블록 내 픽셀을 서로 대응시키는 필터 계수를 추출하여 저장할 수 있다.

본 발명의 일 실시예에서, 상기 서브픽셀 보간부는 상기 탐색 영역 중 저해상도 블록의 라플라시안을 추출하여 정규화한 후 상기 라플라시안 특성과 유사한 클러스터를 상기 딕셔너리 저장부에서 검색하고 상기 클러스터 중 상기 저해상도 블록에 대응하는 최적의 필터계수를 적용하여 고해상도 블록을 생성함으로써 상기 탐색 영역을 보간할 수 있다.

본 발명의 다른 일 실시예에 따른 영상 부호화 방법은 하나 이상의 필터계수를 포함하는 적어도 하나의 딕셔너리를 형성하는 단계; 참조 영상의 탐색 영역 내 정수 단위 픽셀에 대해 상기 딕서너리 저장부로부터 최적의 필터계수를 검색하여 상기 탐색 영역의 상기 정수 단위 픽셀 사이에 서브 픽셀을 보간하는 단계; 보간된 상기 탐색 영역에 대해 상기 참조 영상의 탐색 블록과의 정합을 통해 서브 픽셀 움직임 벡터를 추정하는 단계; 및 상기 서브 픽셀 움직임 벡터를 기반으로 상기 서브 픽셀의 움직임을 추정하고 상기 참조 영상을 부호화하는 단계;를 포함한다.

본 발명의 다른 일 실시예에 따른 영상 복호화 장치는 정수 단위 픽셀에 대해 부호화된 참조 영상의 탐색 영역 내 영상을 복호화하여 재구성하는 제1복호화 부; 상기 탐색 영역의 상기 정수 단위 픽셀 사이에 서브 픽셀을 딕셔너리에서 검색되는 하나 이상의 필터 계수를 이용해 보간된 보간 영상에 대해 서브 픽셀 움직임 벡터를 기반으로 복호화하여 재구성하는 제2복호화부; 상기 제1복호화부와 상기 제2복호화부로부터 전달되는 상기 참조 영상을 재생 및 합성하는 재생부; 및 상기 재생부로부터 전달받은 상기 참조 영상을 화면에 출력하는 표시부;를 포함한다.

본 발명의 일실시예에 따르면, 탐색 블록 단위로 최적의 필터 계수를 선택할 수 있어 보간을 위한 별도의 정보 전송을 요하지 않아 부호화 속도를 향상시킬 수 있다.

또한 본 발명의 일실시예에 따르면, 픽처 단위로 복수의 딕셔너리 중 하나를 선택할 수 있어 압축효율을 향상시킬 수 있다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 적응형 보간 필터를 이용한 영상 부호화 장치의 구성을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 영상 부호화 장치(10)는 딕셔너리 저장부(11), 서브픽셀 보간부(13), 서브픽셀 움직임 벡터 추정부(15) 및, 부호화부(17)를 포함한다. 각 구성요소의 기능에 대해서는 아래에서 상술한다

도 2는 본 발명의 일 실시예에 따른 적응형 보간 필터를 이용한 영상 부호화 방법의 플로우 차트이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 영상 부호화 방법은 학습을 통해 추출된 복수의 필터계수를 저장하는 적어도 하나의 딕셔너리를 형성하는 단계(S1), 참조 영상의 탐색 영역 중 정수 단위 픽셀에 대해 상기 딕서너리로부터 최적의 필터계수를 검색하여 상기 탐색 영역의 상기 정수 단위 픽셀 사이의 서브 픽셀을 보간하는 단계(S2), 보간된 상기 탐색 영역에 대해 상기 참조 영상의 탐색 블록과의 정합을 통해 서브 픽셀 움직임 벡터를 추정하는 단계(S3) 및, 상기 서브픽셀 움직임 벡터를 기반으로 상기 서브픽셀의 움직임을 보상하고 상기 참조 영상을 부호화하는 단계(S5)로 이루어진다.

이하, 도 1 내지 도 5를 참조하면 본 발명의 일 실시예에 따른 영상 부호화 장치 및 방법을 상호 연결하여 상세히 설명한다.

도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치(10)로 입력되는 탐색 블록과 탐색 영역을 보이는 도면이다.

도 1 및 도 3을 참조하면, 학습을 통해 형성된 적어도 하나의 딕셔너리를 저장하는 딕셔너리 저장부(11)로 먼저 탐색 블록에 대응하는 정수 단위 움직임 벡터에 따른 참조 영상 내 탐색 영역이 입력된다. 여기서, 탐색 영역의 픽셀은 모두 복원된 픽셀이다. 이 픽셀이 딕셔너리 저장부(11)에 입력되면, 딕셔너리 저장부(11)는 이에 대응하는 필터 계수를 서브 픽셀 보간부(13)로 출력한다.

서브 픽셀 보간부(13)는 출력된 필터계수를 이용하여 1/4 픽셀 단위 픽셀을 포함하는 업 스케일 탐색 영역(up-scaled search area)을 생성한다.

서브 픽셀 움직임 벡터 추정부(15)는 당해 탐색 블록과 서브 픽셀 보간부(13)로부터 입력되는 업 스케일 탐색 영역의 후보 블록을 정합하여 1/4 픽셀 단위 움직임 벡터(MV: Motion Vector)를 출력한다.

부호화부(17)는 서브 픽셀 움직임 벡터 추정부(15)에서 출력되는 서브 픽셀 움직임 벡터에 기반하여 서브 픽셀의 움직임을 추정하고 참조 영상을 부호화한다. 이는 H.264와 같이 일반적인 방법으로 수행이 가능하고 본 발명의 범위가 아니므로 여기서는 설명을 생략한다.

예를 들어, 4X4 블록의 경우 해당 블록의 정수 단위 움직임 벡터에 대응하는 1/4 픽셀 단위 움직임 추정을 위해 도 3과 같이 점선으로 표시된 영역 내의 1/4 픽셀 단위 픽셀(흰색 픽셀)이 보간을 통해 생성되어야 한다. 보간은 딕셔너리에서 제공되는 필터계수와 정수 단위 움직임 벡터 정합 블록 내 정수 단위 픽셀(검은색 픽셀)을 포함한 소정 영역의 정수 단위 픽셀을 이용하여 이루어진다.

딕셔너리 저장부(11)는 학습(learning)을 통해 딕셔너리를 생성한다. 딕셔너리 생성을 위해 다양한 고해상도(HR: High Resolution) 영상과 저해상도 (LR: Low Resolution) 영상을 사용한다. 본 발명의 일 예로 1/4 단위의 픽셀 보간을 위해 저해상도 영상으로 가로 세로 각각의 1/4 크기의 저해상도 영상을 선택한다.

도 4는 딕셔너리 저장부(11)에서 학습을 통해 딕셔너리를 생성하기 위한 영상의 샘플을 보인다. 아래에서는 도 2의 복수의 필터계수를 저장하는 딕셔너리 형성 단계(S1)을 상세히 설명한다.

저해상도 영상으로부터 도 4에서 도시된 바와 같이 소정 크기의 LR 블록(검은색 픽셀)을 추출하고, 이에 대응하는 소정 크기의 HR 블록(A 표시 흰색 픽셀)을 고해상도 영상으로부터 다수 추출한다. 효과적인 학습을 위해 LR 기준으로 가로와 세로 1 픽셀씩 적당한 간격으로 이동하면서 블록을 추출한다.

도 4를 참조하면, 블록의 크기가 6X6 인 LR 블록과 5X5 인 HR 블록이 예시로 보인다. 도면에서는 A표시 흰색 픽셀으로 5X5 HR 블록을 예로 들지만 1/4 단위 움직임의 추정 및 보상을 위해서는 점선 표시의 영역 내 모든 HR 픽셀을 보간할 수 있어야 하므로, 나머지 패턴의 HR 블록을 생성하기 위해서 A표시 흰색 픽셀의 위치를 왼쪽 또는 아래쪽으로 한 픽셀씩 이동시키며 5X5 HR 블록을 추출한다. 정수 움직임 벡터 정합 블록을 제외하고 총 15개의 HR 패턴이 존재하므로, 총 15개의 딕셔너리를 생성할 수 있다.

LRt와 HRt를 학습을 위해 사용하는 LR 블록 및 HR 블록이라고 할 때, LRt-HRt 쌍의 추출이 끝나면 특징이 유사한 블록 쌍으로 분류하는 과정을 수행한다. 고주파 및 에지의 특징을 충분히 반영할 수 있도록 각 LR 블록에 라플라시안 오퍼레이터(Laplacian Operator)를 적용하여 LR 라플라시안(LRLt)을 추출한다. 본 발명에서는 일 예로 도 5에 도시된 바와 같은 3x3 라플라시안 오퍼레이터를 LR 화소에 적용한다.

그리고 LRLt 블록에 대해 정규화(normalization)을 실행한다. 즉, LRLt 블록의 평균을 μ, 표준편차를 σ라고 할 때, LRLt 블록 내 각 픽셀값 x에 대한 정규화 결과는 수학식 1과 같이 제시된다.

정규화된 LRL을 LRLⁿ _t 라고 한다.

LRt-HRt 블록 쌍으로부터 LRLⁿ _t - LR_t-HR_t형태의 쌍을 완성할 수 있다. 이와 같이 블록쌍이 학습용으로 총 M개가 존재할 때, 초기 학습 정보를 수학식 2와 같이 정의한다.

여기서, 블록쌍 BPm은 (LRLⁿ _{t ,m}, LR_{t ,m}, HR_{t ,m})을 의미한다.

그 다음 LRLⁿ _t 을 기준으로 한 클러스터링(clustering)을 통해 라플라시안 특성이 유사한 쌍끼리 그룹화한다. 이 때 K-means clustering 등을 사용하여 M보다 훨씬 적은 L 개의 클러스터로 그룹핑된다고 하면, 수학식 3과 같이 L 개의 LRLⁿ _t 클러스터 블록을 정의할 수 있다.

여기서, 각 클러스터에는 한 개 이상의 특성이 비슷한 LR_t-HR_t 블록 쌍이 포함될 수 있다. 도 4에서와 같은 LR_t-HR_t 블록 쌍 내 픽셀 간에는 다음 수학식 4와 같은 관계가 성립할 수 있다.

여기서, I_H(i,j)는 HR 5x5 블록 내 (i,j) 위치에 있는 픽셀을, I_L(k,l) 은 LR 6x6 블록 내 (k,l) 위치에 있는 픽셀을 의미한다. 즉, HR 블록 내 각 위치 당 6x6 필터 계수가 하나씩 존재하도록 해야 한다.

학습을 통해 각 클러스터에 적합한 2차원 필터계수를 구한다. L개의 클러스터는 각각 한 개 이상의 LR_t-HR_t 블록쌍을 가지고 있다. 예를 들어, l번째 클러스터에 CS_l개의 LR-HR 블록 쌍이 존재한다고 하면, 전체 블록 쌍의 개수가 M이므로 수학식 5를 만족한다.

l번째 클러스터에 속하는 LRt-HRt 블록쌍은 라플라시안 특징이 유사한 것이므로, 수학식 4에 따른 필터계수가 유사할 가능성이 높다. l번째 속한 클러스터에 속한 LRt-HRt 블록 쌍들에 대한 학습 과정에 LMS(Least Mean Square) 알고리즘을 사용한다. l번째 클러스터에 속한 LR 블록에 대해 HR 블록 내 (i,j)위치에 대응하는 필터계수는 w^l _ij(k,l)로 정의된다. 여기서, 0≤k.l≤N-1이다.

최종적인 딕셔너리는 도 6과 같이 인덱싱을 위한 L개의 LRLCⁿ _t 과 해당 필터 계수의 쌍들로 이루어진다. LRLCⁿ _t 는 6x6 크기를 가지며 웨이트(weight)에는 HR 위치별로 6x6 필터계수가 존재한다. 따라서, HR 위치가 5x5일 때 각 클러스터 당 필터계수는 총 900이 된다. L=512 라고 할 때 A 패턴에 대한 필터계수 정보의 크기는 450KB(필터계수 당 1byte)이다. A 패턴 포함 총 15개의 HR 샘플링 패턴이 존재하므로 딕셔너리 내 필터계수의 크기는 6.6MB 정도 된다. 대칭성 및 텍스처(texture)의 복잡도 등을 고려하여 단순한 영역은 필터계수 저장을 피하는 방식을 선택하면 획기적으로 크기를 줄일 수 있다.

상술한 바와 같이 학습을 통해 딕셔너리 구축이 완성되면 도 1에 도시된 딕셔너리 저장부(11)에 저장된다. 그리고 도 3에 도시된 바와 같이 정수 단위 MV(움직임 벡터) 정합 블록 4x4 블록을 포함한 주변 픽셀을 포함한 6x6 블록(검은색)으로 이루어진 탐색 영역이 입력된다. 입력 6x6 LR 블록의 탐색 영역을 LRin 이라고 한다.

그러면 서브 픽셀 보간부(13)에서는 도 2에서의 단계(S2)를 실행한다. 즉, 최적의 필터계수를 검색하여 서브 픽셀을 보간한다. 예를 들어 도 4의 A 패턴 위치 의 보간을 먼저 수행한다고 가정하면, LRin 블록에 대해 LRL을 추출하여 정규화한 다음 LRLⁿ _in 에 근사한 LRLCⁿ _t 을 A 패턴 대응 딕셔너리에서 검색한다. 즉, 입력 LRLⁿ _in 과 딕셔너리에 존재하는 L개의 LRLCⁿ _t간의 거리를 계산하여 최소의 거리를 가지는 클러스터를 검색하는 정합(matching) 과정을 실행한다. 정합을 위한 거리 측정으로는 L1-norm 이나 L2-norm 과 같은 널리 알려진 거리 측정을 포함하여 다양한 거리 측정 방식을 채용할 수 있다. 정합을 통해 얻은 최적의 클러스터가 l_best 번째 클러스터라고 하면, 입력 LR 블록에 대응하는 HR 블록 내 (i,j) 위치 픽셀은 w^lbest _ij(k,l)를 이용하여 수학식 4를 통해 얻어진다. 이런 식으로 A 패턴의 HR 블록 생성 즉, 보간이 이루어진다. 유사하게 다른 패턴의 딕셔너리와의 매칭을 통해 점선 내 모든 1/4 픽셀을 생성할 수 있다. 여기서 복호기에는 어떤 부가 정보도 전달하지 않음에 유의한다.

도 1의 서브픽셀 보간부(13)에서 보간이 완료된 업 스케일 탐색 영역이 서브픽셀 움직임 벡터 추정부(15)로 보내지면, 탐색 블록과의 정합을 통해 정수 단위 픽셀간 서브 픽셀의 움직임 벡터를 추정하고(도 2의 단계 S3), 추정된 서브 픽셀 움직임 벡터는 부호화부(17)로 출력되고, 부호화부(17)에서는 서브픽셀 움직임 벡터를 기반으로 서브 픽셀의 움직임을 보상하고, 이를 바탕으로 참조 영상을 부호화한다(도 2의 S4).

다만, 필터 계수가 픽처별로 생성되어 보내질 수 있다. 이를 위해 영상을 적절한 개수로 클래스로 나누어 클래스별도 딕셔너리를 구성할 수 있으며, 영상 부호화 장치(10)는 참조 영상에 대해 다양한 딕셔너리를 가지고 부호화를 수행하여 최적의 딕셔너리를 선택할 수 있다. 이 선택 정보는 스트림(stream)에 포함되어 복호화기로 전송된다.

본 발명의 다른 일 실시예에 따른 영상 복호화 장치는 정수 단위 픽셀에 대해 부호화된 참조 영상의 탐색 영역 내 영상을 복호화하여 재구성하는 제1복호화부, 상기 탐색 영역의 상기 정수 단위 픽셀 사이에 서브 픽셀을 딕셔너리에서 검색되는 하나 이상의 필터 계수를 이용해 보간된 보간 영상에 대해 서브 픽셀 움직임 벡터를 기반으로 복호화하여 재구성하는 제2복호화부, 상기 제1복호화부와 상기 제2복호화부로부터 전달되는 상기 참조 영상을 재생 및 합성하는 재생부 및, 상기 재생부로부터 전달받은 상기 참조 영상을 화면에 출력하는 표시부를 포함하여 제공될 수 있다.

이와 같이, 본 발명의 일 실시예에 따른 영상 부호화 장치 및 방법은 영상에 따라 딕셔너리에서 적합한 필터 계수를 검색하여 압축 효율을 향상시킬 수 있다.

또한 본 발명의 일 실시예에 따른 영상 복호화 장치는 최적의 필터 계수를 이용해 압축된 영상을 서브 픽셀 움직임 벡터를 바탕으로 효율적으로 복호화할 수 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도,

도 2는 본 발명의 일실시예에 따른 영상 부호화 방법의 단계를 나타내는 플로우 차트,

도 3은 본 발명의 일실시예에 따른 영상 부호화 장치에 입력되는 탐색 영역과 탐색 블록을 보이는 도면,

도 4는 본 발명의 일실시예에 따른 영상 부호화 장치의 딕셔너리 저장부에 저장되는 딕셔너리 학습을 위한 영상 샘플을 나타내는 도면,

도 5는 본 발명의 일실시예에 따른 본 발명의 일실시예에 따른 영상 부호화 방법의 라플라시안 오퍼레이터의 일 예를 보이는 도면,

도 6은 본 발명의 일실시예에 따른 영상 부호화 방법의 딕셔너리 구성을 나타내는 도면.

Claims (5)

1. 하나 이상의 필터계수를 저장하는 딕셔너리 저장부;

   참조 영상의 탐색 영역 내 정수 단위 픽셀에 대해 상기 딕셔너리 저장부로부터 최적의 필터 계수를 검색하여 상기 탐색 영역의 상기 정수 단위 픽셀 사이에 서브 픽셀을 보간하는 서브픽셀 보간부;

   보간된 상기 탐색 영역에 대해 상기 참조 영상의 탐색 블록과의 정합을 통해 서브 픽셀 움직임 벡터를 추정하는 서브픽셀 움직임 벡터 추정부; 및

   상기 서브 픽셀 움직임 벡터를 기반으로 상기 서브 픽셀의 움직임을 추정하고 상기 참조 영상을 부호화하는 부호화부;

   를 포함하는 영상 부호화 장치.
2. 제1항에 있어서,

   상기 딕셔너리 저장부는 저해상도 블록과 고해상도 블록 및 라플라시안으로 정규화된 저해상도 블록의 쌍 중 상기 저해상도 블록의 라플라시안 특성이 서로 유사한 블록 쌍끼리 클러스터링하고, 각 클러스터 내 저해상도 블록과 고해상도 블록 내 픽셀을 서로 대응시키는 필터 계수를 추출하여 저장하는 영상 부호화 장치.
3. 제2항에 있어서,

   상기 서브픽셀 보간부는 상기 탐색 영역 중 저해상도 블록의 라플라시안을 추출하여 정규화한 후 상기 라플라시안 특성과 유사한 클러스터를 상기 딕셔너리 저장부에서 검색하고 상기 클러스터 중 상기 저해상도 블록에 대응하는 최적의 필터계수를 적용하여 고해상도 블록을 생성함으로써 상기 탐색 영역을 보간하는 영상 부호화 장치.
4. 하나 이상의 필터계수를 딕셔너리 저장부에 저장하는 단계;

   참조 영상의 탐색 영역 내 정수 단위 픽셀에 대해 상기 딕셔너리 저장부로부터 최적의 필터계수를 검색하여 상기 탐색 영역의 상기 정수 단위 픽셀 사이에 서브 픽셀을 보간하는 단계;

   보간된 상기 탐색 영역에 대해 상기 참조 영상의 탐색 블록과의 정합을 통해 서브 픽셀 움직임 벡터를 추정하는 단계; 및

   상기 서브 픽셀 움직임 벡터를 기반으로 상기 서브 픽셀의 움직임을 추정하고 상기 참조 영상을 부호화하는 단계;

   를 포함하는 영상 부호화 방법.
5. 정수 단위 픽셀에 대해 부호화된 참조 영상의 탐색 영역 내 영상을 복호화하여 재구성하는 제1복호화부;

   상기 탐색 영역의 상기 정수 단위 픽셀 사이에 서브 픽셀을 딕셔너리에서 검색되는 하나 이상의 필터 계수를 이용해 보간된 보간 영상에 대해 서브 픽셀 움직임 벡터를 기반으로 복호화하여 재구성하는 제2복호화부;

   상기 제1복호화부와 상기 제2복호화부로부터 전달되는 상기 참조 영상을 재생 및 합성하는 재생부; 및

   상기 재생부로부터 전달받은 상기 참조 영상을 화면에 출력하는 표시부;

   를 포함하는 영상 복호화 장치.

Images