KR100727989B1

KR100727989B1 - 동영상 부호화시의 인터 모드 결정 방법 및 장치

Info

Publication number: KR100727989B1
Application number: KR1020050092660A
Authority: KR
Inventors: 이남숙
Original assignee: 삼성전자주식회사
Priority date: 2005-10-01
Filing date: 2005-10-01
Publication date: 2007-06-14
Also published as: KR20070037531A; US20070076795A1

Abstract

본 발명은 동영상 부호화시의 인터 모드 결정 방법 및 장치에 관한 것으로, 본 발명에 따른 인터 모드 결정 방법은 부호화되는 현재 블록에 대한 정화소 단위의 계층적 움직임 추정을 수행하여 움직임 벡터를 계산하고, 움직임 벡터가 가리키는 참조 영역 데이터를 내부 메모리에 저장한 다음, 내부 메모리에 저장된 참조 영역 데이터를 이용하여 부화소 단위의 움직임 추정을 수행하여 제 1 코스트를 계산하는 단계와, 현재 블록 주변의 블록들이 갖는 움직임 벡터를 이용하여 계산된 예측 움직임 벡터가 가리키는 참조 영역 데이터가 내부 메모리에 존재하는 경우 예측 움직임 벡터를 이용한 움직임 추정을 수행하여 현재 블록에 대한 제 2 코스트를 계산하는 단계와, 제 1 및 제 2 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정하는 단계를 포함하는 것을 특징으로 한다. 본 발명에 따르면 외부의 메모리를 액세스하지 않고 움직임 추정부에서 사용하는 내부 메모리를 사용함으로써, 외부 메모리 액세스에 따른 버스의 부담을 줄이면서 처리 시간도 단축하고 복수 개의 인터 모드 중 현재 블록의 효율적인 부호화를 가능하게 하는 인터 모드를 신속하게 결정할 수 있다.

Description

동영상 부호화시의 인터 모드 결정 방법 및 장치{Method and apparatus for inter-mode decision in video coding}

도 1은 본 발명에 따른 동영상 부호화기의 구성을 나타낸 블록도이다.

도 2는 상기 도 1의 움직임 추정부의 구체적인 구성을 나타낸 블록도이다.

도 3은 본 발명에 따른 인터 모드 결정 방법을 나타낸 플로우 차트이다.

도 4는 상기 도 2의 계층적 움직임 추정부에서 수행되는 계층적 움직임 추정 과정을 설명하기 위한 도면이다.

도 5는 본 발명에 따른 움직임 추정부에 구비된 내부 메모리의 구조를 나타낸 도면이다.

도 6a 및 도 6b는 본 발명에 따른 움직임 벡터 추정부에서 예측 움직임 벡터를 계산하는 과정을 설명하기 위한 도면이다.

본 발명은 동영상 코덱(codec)에 관한 것으로, 보다 구체적으로는 동영상 부호화시의 인터 모드 결정 방법 및 장치에 관한 것이다.

ITU-T H.264/MPEG-4 AVC(Advanced Video Coding) 비디오 코덱(codec)에서는 블록 단위의 샘플 데이터에 대하여 예측을 수행하여 예측 블록을 구하고, 이를 변환 및 양자화하는 방식으로 비디오 데이터를 압축한다.

예측의 방식으로는 인트라 예측(intra prediction)과 인터 예측(inter prediction)의 두 가지 종류가 있다. 인트라 예측의 경우, 현재 슬라이스에 존재하는 이미 인코딩되고 디코딩되어 복원된 주변 블록의 데이터를 이용하여 예측을 수행한다. 인터 예측의 경우, 블록 기반 움직임 보상을 이용하여 이전에 인코딩된 하나 또는 그 이상의 비디오 프레임 또는 필드로부터 예측 모델을 생성한다. 특히, 이전의 비디오 압축 표준안과 구분되게 H.264에서는 다양한 블록 사이즈(16×16부터 4×4까지), 세밀한 서브 샘플 움직임 벡터를 지원하며, 메인(main) 프로파일과 확장(extended) 프로파일은 B-슬라이스와 가중치 예측을 지원한다. 예측, 변환 및 양자화 과정을 거쳐 압축된 비디오 데이터는, 엔트로피 인코딩(entropy encoding) 과정을 통하여 다시 한번 압축되어 H.264 표준에 따른 비트스트림이 된다.

일반적으로 동영상 부호화기에서 가장 많은 연산량을 차지하는 부분이 움직임 추정부이다. 이러한 움직임 추정부의 연산량을 줄이기 위하여 다양한 고속 움직임 추정 방법이 개발되었다. 즉, 움직임 추정에서 전역 탐색(Full Search)의 경우를 하드웨어로 구현할 때 상기 전역 탐색 영역의 데이터 저장을 위한 내부 메모리의 사이즈가 커지므로, 내부 메모리를 줄이기 위해 계층적 움직임 추정 방법을 사용한다.

한편, H.264에서는 P 슬라이스에 포함된 매크로블록의 움직임 벡터(Motion Vector)가 예측 움직임 벡터(Motion Vector Predicted)와 동일하거나, B 슬라이스에 포함된 매크로블록의 움직임 벡터가 직접(direct) 움직임 벡터와 동일할 때, 현재 매크로블록은 스킵(Skip)된다. 이러한 스킵된 매크로블록은 상기 매크로블록이 스킵되었다는 소정의 표시를 제외하고는 부호화되지 않는다. 그런데, 상기 직접 움직임 벡터와 예측 움직임 벡터는 그 움직임 벡터값이 정해진 값 내에 있는 것이 아니다. 왜냐하면, 상기 직접 움직임 벡터와 예측 움직임 벡터는 각각 참조 픽쳐로부터 예측되거나 주변 블록의 움직임 벡터로부터 계산되기 때문이다. 따라서, 인코더의 예측 모드를 결정하는 경우, 직접 움직임 벡터 또는 예측 움직임 벡터에 대한 코스트를 구하기 위하여 외부 메모리에 액세스하여 움직임 보상에 필요한 데이터를 독출하는 과정이 필요하다. 이 때, 외부 메모리를 액세스하여야 하므로 버스에 부담이 늘어나는 문제점이 있다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 계층적 움직임 추정시에 내부 메모리에 저장된 참조 영역 데이터를 이용하여 효율적인 인터 모드를 결정하는 방법 및 장치를 제공하는 데에 목적이 있다.

또한, 본 발명은 인터 모드 결정시 직접 움직임 벡터와 예측 움직임 벡터에 대한 움직임 추정시에 외부 메모리에 액세스하지 않고, 계층적 움직임 추정시에 상기 내부 메모리에 저장된 참조 영역 데이터를 이용함으로써 버스의 부담을 줄이고 처리 시간을 단축시키는 인터 모드 결정 방법 및 장치를 제공하는 데에 목적이 있다.

상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 동영상 부호화를 위한 인터 예측 모드 결정 방법은, 부호화되는 현재 블록에 대한 정화소 단위의 계층적 움직임 추정을 수행하여 움직임 벡터를 계산하는 단계; 상기 움직임 벡터가 가리키는 참조 영역 데이터를 내부 메모리에 저장하는 단계; 상기 내부 메모리에 저장된 참조 영역 데이터를 이용하여 부화소 단위의 움직임 추정을 수행하여 제 1 코스트를 계산하는 단계; 상기 현재 블록 주변의 블록들이 갖는 움직임 벡터를 이용하여 계산된 예측 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리에 존재하는 경우, 상기 예측 움직임 벡터를 이용한 움직임 추정을 수행하여 상기 현재 블록에 대한 제 2 코스트를 계산하는 단계; 및 상기 제 1 및 제 2 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 동영상 부호화를 위한 인터 예측 모드 결정 장치는, 부호화되는 현재 블록에 대한 정화소 단위의 계층적 움직임 추정을 수행하여 움직임 벡터를 계산하는 계층적 움직임 추정부; 상기 움직임 벡터가 가리키는 참조 영역 데이터를 저장하는 내부 메모리; 상기 내부 메모리에 저장된 참조 영역 데이터를 이용하여 부화소 단위의 움직임 추정을 수행하여 제 1 코스트를 계산하는 부화소 움직임 추정부; 상기 현재 블록 주변의 블록들이 갖는 움직임 벡터를 이용하여 계산된 예측 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리에 존재하는 경우, 상기 예측 움직임 벡터를 이용한 움직임 추정을 수행하여 상기 현재 블록에 대 한 제 2 코스트를 계산하는 움직임 벡터 추정부; 및 상기 제 1 및 제 2 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정하는 인터 모드 결정부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

움직임 벡터는 주위의 움직임 벡터와 비슷한 값을 가지는 경향이 있다. 이를 움직임 벡터의 상관성(correlation)이라 한다. 또한, 직접 모드(direct mode)의 움직임 벡터 및 예측 움직임 벡터는 이러한 움직임 벡터의 상관성을 이용하여 구해지므로, 주위의 움직임 벡터와 비슷한 경향을 가진다. 여기서, 직접 모드의 움직임 벡터(이하, "직접 움직임 벡터"라고 함)는 H.264 표준안에서 B 슬라이스 매크로블록 또는 매크로블록 파티션에 대해서 이전에 코딩된 벡터에 기초하여 list 0과 list 1로 표현되는 참조 픽쳐로부터 계산된 벡터를 의미한다. 직접 모드에서 인터 예측 부호화되는 블록에 대해서는 움직임 벡터가 전송되지 않고 상기 참조 픽쳐로부터 직접 움직임 벡터가 계산된다. 또한, 상기 예측 움직임 벡터는 이전에 부호화된 현재 블록 주변의 블록이 갖는 벡터로부터 계산되는 벡터를 의미한다. 상기 직접 움직임 벡터 및 예측 움직임 벡터에 대해서는 H.264 표준안에 상세히 설명되어 있는바 구체적인 설명은 생략한다.

계층적 움직임 추정 방법은 주위의 움직임 벡터와의 연관성을 이용함으로, 직접 모드의 움직임 벡터 및 예측 움직임 벡터가 가리키는 참조 영역 데이터는 계 층적 움직임 추정에서 이용된 데이터가 저장된 내부 메모리 안에 있을 확률이 높다. 만약 직접 움직임 벡터 및 예측 움직임 벡터가 가리키는 참조 영역 데이터가 내부 메모리 안에 있지 않는 경우에는, 직접 모드의 움직임 벡터 및 예측 움직임 벡터가 가리키는 참조 영역 데이터를 외부의 메모리에 액세스하여 독출한 다음 움직임 추정 및 움직임 보상을 수행한다고 하더라도 그 코스트가 클 것이다. 즉, 직접 움직임 벡터 및 예측 움직임 벡터가 가리키는 참조 영역 데이터가 내부 메모리 안에 존재하지 않는 경우에는 직접 움직임 벡터 및 예측 움직임 벡터를 이용하는 인터 모드에 대한 움직임 보상을 하지 않더라도 코덱의 성능에 크게 영향을 미치지 않을 것이다.

따라서, 본 발명은 계층적 움직임 추정을 통해 움직임 추정부의 내부 메모리에 저장된 참조 영역 데이터를 이용하여, 직접 움직임 벡터 또는 예측 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리에 존재하는 경우에만 상기 직접 움직임 벡터 또는 예측 움직임 벡터를 이용한 움직임 추정을 수행하여 코스트를 계산하고, 계산된 코스트에 기초하여 인터 모드를 결정한다.

도 1을 참조하면, 본 발명에 따른 동영상 부호화기는 예측부(110), 변환 및 양자화부(120), 및 엔트로피 코딩부(130)를 포함한다.

예측부(110)는, 인터 예측과 인트라 예측을 수행한다. 인터 예측은, 이미 디코딩된 후 디블로킹 필터링이 수행되어 버퍼에 저장되어 있는 참조 픽처(reference picture)를 이용하여, 현재 블록을 예측하는 것을 말한다. 즉, 픽처들 간의 정보를 이용하여 예측을 수행한다. 이를 위하여 상기 예측부는 움직임 추정부(111) 및 움직임 보상부(112)를 구비한다. 인트라 예측은, 이미 부호화 및 복호화된 픽처 내에서, 예측하고자 하는 블록에 인접한 블록의 픽셀 데이터를 이용하여 블록 예측을 수행하는 것을 말하며, 이를 위하여 인트라 예측 수행부(116)를 구비한다. H.264 표준안에서는 각 픽쳐내의 매크로블록들을 슬라이스에 배열하며, I 슬라이스는 I 매크로블록만을 포함할 수 있고, P 슬라이스는 P 매크로블록과 I 매크로블록을 포함할 수 있으며, B 슬라이스는 B 매크로블록과 I 매크로블록을 포함할 수 있다. 또한, I 매크로블록은 현재 슬라이스 내의 복호화된 샘플로부터 인트라 예측을 수행하여 예측되며, P 및 B 매크로블록은 참조 픽쳐로부터 인터 예측을 수행하여 예측된다.

특히 본 발명에 따른 상기 움직임 추정부(111)는 인터 예측되는 P 또는 B 매크로블록, 매크로블록 파티션 및 서브 매크로블록 파티션에 대해서 수행되는 복수 개의 다양한 인터 모드 중에서 계층적 움직임 추정 결과에 따라 상기 내부 메모리(111a)에 저장된 참조 영역 데이터를 이용하여 움직임 추정을 수행하고 각 모드에 따른 코스트를 비교하여 인터 모드를 결정함으로써, 외부 메모리에 액세스하지 않고 버스의 부담을 줄이며 인터 모드 결정에 소요되는 처리 시간을 단축시킬 수 있다.

참조 픽처나 재구성 픽처는 외부 메모리(SDRAM)에 저장된다. 움직임 추정부(111)는 그 내부에 별도의 내부 메모리(111a)를 구비한다. 외부 메모리가 버스를 통해 직접 메모리 액세스(Direct Memory Access:DMA)되는 반면, 내부 메모리는 버 스를 통해 액세스할 필요가 없으므로 버스에 대한 부담이 없다는 특징이 있다.

변환 및 양자화부(120)는, 예측부(110)에서 예측을 수행하여 얻은 예측 샘플과 원 영상 데이터를 감산한 레지듀(residue)를 변환하고 양자화한다.

엔트로피 코딩부(130)는, 양자화된 영상 데이터에 대하여 소정의 방식에 따라 부호화를 수행하여 H.264 표준에 따르는 비트스트림을 출력한다.

도 2는 상기 도 1의 움직임 추정부(111)의 구체적인 구성을 나타낸 블록도이고, 도 3은 본 발명에 따른 인터 모드 결정 방법을 나타낸 플로우 차트이다. 이하에서는 도 2 및 도 3을 참조하여 본 발명에 따른 인터 예측 모드 결정 방법 및 장치에 대하여 상세히 설명한다.

본 발명에 따른 움직임 추정부(111)는 계층적 움직임 추정부(210), 부화소 움직임 추정부(220), 움직임 벡터 추정부(230), B 슬라이스 확장 추정부(240) 및 내부 메모리(111a)를 포함한다. 상기 B 슬라이스 확장 추정부(240)은 현재 부호화할 매크로블록이 B 슬라이스에 포함된 경우에 한하여 각각 양방향 움직임 추정 및 다이렉트 모드로 인터 예측을 수행하는 양방향 움직임 추정부(241) 및 다이렉트 모드 수행부(242)를 포함한다.

단계 305에서, 상기 계층적 움직임 추정부(210)는 부호화되는 현재 블록에 대한 계층적 움직임 추정을 수행하여 정화소 단위의 움직임 벡터를 계산한다. 계층적 움직임 추정은 원래의 프레임을 다양한 해상도의 프레임으로 나누고 각 해상도의 프레임에 대하여 계층적으로 움직임 벡터를 생성하는 것을 말한다. 일 실시예로서, 상기 계층적 움직임 추정부(210)는 다해상도 다중 후보 탐색법(Multi- Resolution Multiple Candidate Search: 이하 "MRMCS"라 함)을 이용하여 계층적 움직임 추정을 수행할 수 있다.

도 4는 상기 도 2의 계층적 움직임 추정부(210)에서 수행되는 계층적 움직임 추정 과정을 설명하기 위한 도면이다. 상기 계층적 움직임 추정부(210)는 정수 화소 단위로 움직임 추정을 수행한다.

도 4를 참조하면, 부호화할 현재 프레임과 이전 프레임을 그 자체로서 원래 해상도를 가지는 하위 레벨(lower level)(430)과, 하위 레벨 영상을 1/2로 데시메이팅(decimating)하여 해상도를 낮춘 중간 레벨(Middle level)(420), 그리고 중간 레벨의 영상을 다시 한번 1/2로 데시메이팅하여 해상도를 낮춘 상위 레벨(Upper level)(410)으로 나누어 계층적으로 움직임 추정되는 방법이 도시되어 있다. 계층적 움직임 추정 방법은 각 계층에 따라 해상도가 서로 다른 영상을 이용하여 탐색범위를 달리하는 움직임 추정을 수행함으로써 고속 움직임 추정이 가능하다.

보다 구체적으로, 계층적 움직임 추정 방법에 대하여 설명한다. 16x16 크기의 매크로 블록 단위로 움직임 추정을 하고, 움직임 추정의 탐색 범위는 [-16, +16]이라고 가정한다.

첫 번째 단계로, 상위 레벨(210)에서 원래 크기의 1/4로 줄어든 이전 프레임에 대해, 원래 매크로 블록의 크기의 1/4인 4×4 크기의 현재 매크로 블록과 가장 유사한 매크로 블록을 이전 프레임에서 찾는다. 탐색 범위는 원래 탐색 범위의 1/4인 [-4, +4]가 된다. 일반적으로, 정합 기준값, 즉 유사도를 측정하기 위한 측정 함수로는 SAD(Sum of Absolute Differences) 함수를 사용한다. SAD는 현재 매크로 블록의 픽셀값에서 탐색 매크로 블록의 픽셀값을 뺀 값에 절대값을 취하여 모두 더한 값이다. SAD 값을 이용하여 찾은, 현재 매크로 블록과 가장 유사한 매크로 블록과 두 번째로 유사한 매크로 블록을 결정하고, 각각의 경우의 움직임 벡터를 구한다.

두 번째 단계로, 중간 레벨(220)에서는 첫 번째 단계에서 찾아진 두 개의 움직임 벡터에 대응되는 탐색점과, 이미 부호화되어 움직임 벡터가 정해진 매크로 블록들로서 현재 매크로 블록의 좌측, 상측 및 우상측에 위치한 3개의 매크로 블록들의 움직임 벡터들의 중간값(median)을 취하여 얻어진 움직임 벡터가 가리키는 세 개의 탐색점을 중심으로 원래 크기의 1/2로 줄어든 이전 프레임의 [-s, +s] 탐색영역에 대해서 탐색을 수행하여 현재 매크로 블록과 가장 유사한 매크로 블록 및 그에 대응되는 움직임 벡터를 구한다. 이 때, s값은 2 내지 4 사이의 값을 갖는 것이 일반적이다.

세 번째 단계로, 하위 레벨(230)의 이전 프레임, 즉 원래 크기의 이전 프레임에서 두 번째 단계에서 찾아진 매크로 블록에 대응되는 탐색점, 즉 매크로 블록의 좌상측 꼭지점을 중심으로 [-s, +s]의 부분 탐색을 수행하여 현재 매크로 블록과 가장 유사한 매크로 블록 및 그 매크로 블록의 최종 움직임 벡터를 구한다.

다음, 단계 310에서 상기 계층적 움직임 추정부(210)는 상기 계층적 움직임 추정에 의한 마지막 레벨, 즉 상기 도 4에 도시된 하위 레벨(430)에서 필요한 참조 영역 데이터들만을 외부의 메모리에 액세스하여 독출한 다음 상기 내부 메모리(111a)에 저장한다.

도 5를 참조하면, 상기 내부 메모리(111a)는, 상기 현재 블록이 참조하는 참조 영역의 개수를 n, 상기 현재 블록의 크기를 N×M, 계층적 움직임 추정에서 하위 레벨(430)에서의 탐색 영역 크기를 수평 방향으로 [-a,+a], 수직 방향으로 [-b,+b], 상기 하나의 참조 영역의 크기를 (2a+N)×(2b+M)이라고 할 때, N×(2b+M)n 크기를 갖는 복수 개의 저장 단위로 구성될 수 있다. 도 5에서는, 현재 블록이 참조하는 참조 영역의 개수를 n, 현재 블록이 16×16 매크로블록, 각 화소당 비트수를 8 비트, 참조 영역의 크기를 수평 방향으로 [-8,+8], 수직 방향으로 [-8,+8], 계층적 움직임 추정 결과 상기 하위 레벨(430)에서 필요한 참조 영역 데이터의 크기를 32×32라고 하였을 때, 16×32n 크기를 갖는 2개의 저장단위(111a₁,111a₂)를 도시하고 있다. 상기와 같은 구조를 갖는 내부 메모리(111a)는 이용되는 게이트수를 감소시키고, 움직임 추정시에 효율적으로 데이터를 제공할 수 있다.

다시 도 2 및 도 3을 참조하면, 단계 313에서 상기 부화소 움직임 추정부(220)는 상기 계층적 움직임 추정에 의하여 상기 내부 메모리(111a)에 저장된 참조 영역 데이터를 이용하여 부화소(sub pixel) 단위로 움직임 추정을 수행하여 제 1 코스트를 계산한다. 즉, 상기 부화소 움직임 추정부(220)는 상기 부화소 단위 움직임 추정 결과에 따른 움직임 벡터가 가리키는 참조 영역 데이터를 상기 내부 메모리(111a)로부터 독출하고, 원 영상 데이터와 독출된 참조 영역 데이터 사이의 절 대값 차이를 이용한 제 1 코스트를 계산한다. 상기 제 1 코스트 계산시 전술한 SAD 등이 이용될 수 있다.

단계 315에서, 상기 움직임 벡터 추정부(230)는 예측 움직임 벡터(Motion Vector Predicted:MVP)를 계산하고, 상기 예측 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리(111a)에 존재하는지 여부를 판단한다. 전술한 바와 같이, 인접하고 있는 블록들의 움직임 벡터는 높은 상관 관계가 있으므로, 현재 블록의 움직임 벡터는 주위에 있는 이전에 부호화된 블록의 벡터로부터 예측될 수 있다.

도 6a 및 도 6b는 본 발명에 따른 움직임 벡터 추정부(230)에서 예측 움직임 벡터(MVP)를 계산하는 과정을 설명하기 위한 도면이다. 도 6a는 현재 블록(E)와 인접 블록(A,B,C)이 모두 동일한 크기를 갖는 경우 예측 움직임 벡터를 계산하는 과정을 나타내며, 도 6b는 현재 블록(E)과 인접 블록(A,B,C)이 다른 크기를 갖는 경우 예측 움직임 벡터를 계산하는 과정을 나타낸다. 도 6a 및 도 6b를 참조하면, 상기 현재 블록(E)의 예측 움직임 벡터(MVP)는 다음과 같이 계산된다.

① 16×8 및 8×16 블록을 제외한 현재 블록(E)의 예측 움직임 벡터는 인접 블록(A,B,C)들이 갖는 움직임 벡터의 중간값으로 계산된다.

② 16×8 블록에 대해, 위쪽에 위치한 16×8 현재 블록(E)의 예측 움직임 벡터는 B로부터 예측되고, 아래쪽에 위치한 16×8 현재 블록(E)의 예측 움직임 벡터는 A로부터 계산된다.

③ 8×16 블록에 대해, 왼쪽에 위치한 8×16 현재 블록(E)의 예측 움직임 벡 터는 A로부터 예측되고, 오른쪽에 위치한 8×16 현재 블록(E)의 예측 움직임 벡터는 C로부터 예측된다.

④ 스킵된 매크로블록의 경우, 상기 ①과 같이 계산된다.

단계 320에서, 상기 단계315의 판단 결과 예측 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리(111a)에 존재하는 경우, 상기 움직임 벡터 추정부(230)는 상기 예측 움직임 벡터를 이용한 움직임 추정을 수행하고, 제 2 코스트를 계산한다. 즉, 상기 움직임 벡터 추정부(230)는 상기 계산된 예측 움직임 벡터가 가리키는 참조 영역 데이터를 상기 내부 메모리(111a)로부터 독출하고 원 영상 데이터와 독출된 참조 영역 데이터 사이의 절대값 차이를 이용한 제 2 코스트를 계산한다. 한편, 상기 단계 315의 판단 결과, 상기 예측 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리(111a)에 존재하지 않는 경우에는, 예측 움직임 벡터를 이용한 코스트가 클 것으로 예상하여 상기 예측 움직임 벡터를 이용한 움직임 추정이 수행되지 않는다.

다음, 단계 325에서 현재 블록이 B(Bi-directional) 슬라이스에 포함되는지 여부를 판단한다. H.264 표준안에 의할 때, B 슬라이스 내의 블록은 직접 모드(direct mode), list 0 참조 픽쳐를 이용한 움직임 예측 모드, list 1 참조 픽처를 이용한 움직임 예측, 또는 list 0과 list 1 참조 픽처들을 이용한 양방향 움직임 예측 모드와 같은 여러 가지 모드들 중 한 가지로 예측된다. 특히, 본 발명에 따른 다이렉트 모드 추정부(242)는 직접 모드에서 계산된 직접 움직임 벡터가 상기 내부 메모리(111a)에 존재하는 경우만 직접 모드 움직임 예측을 수행하고, 그렇지 않은 경우에는 상기 직접 움직임 벡터에 의한 움직임 예측을 수행하더라도 그 코스트가 클 것으로 예상하여 상기 직접 움직임 벡터에 의한 움직임 예측 및 움직임 보상 과정을 생략한다.

단계 330에서, 상기 양방향 움직임 추정부(241)는 B 슬라이스에 포함되는 현재 블록에 대해서 양방향 움직임 추정을 수행하여 상기 현재 블록에 대한 제 3 코스트를 계산한다. 상기 양방향 움직임 추정은 전술한 바와 같이 두 개의 list 0과 list 1 참조 픽처를 이용하는 것으로 상기 list 0과 list 1로부터 추출된 예측 샘플의 평균을 이용하는 것이다. 즉, 상기 양방향 움직임 추정부(230)는 상기 list 0과 list 1로부터 추출된 예측 샘플의 평균과 원 영상 데이터 사이의 절대값 차이를 이용한 제 3 코스트를 계산한다.

단계 335에서, 상기 다이렉트 모드 수행부(242)는 상기 내부 메모리(111a)에 저장된 참조 영역 데이터를 이용하여 직접 모드에서 상기 현재 블록의 직접 움직임 벡터를 계산하고, 상기 직접 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리에 존재하는 경우 상기 직접 움직임 벡터를 이용하여 상기 현재 블록에 대한 제 4 코스트를 계산한다. 구체적으로는, 직접 모드에서는 B 슬라이스에 포함된 블록의 인터 예측을 위하여, 이전에 코딩된 블록의 벡터에 기초하여 list 0과 list 1 벡터를 계산하고, 상기 list 0과 list 1 벡터로부터 직접 움직임 벡터를 계산한다. 상기 직접 움직임 벡터에 관한 내용은 H.264 표준안에 개시된 내용에 따르며, 구체적인 설명은 생략한다. 다음, 상기 다이렉트 모드 수행부(242)는 상기 직접 움직임 벡터가 가리키는 참조 영역 데이터를 상기 내부 메모리(111a)로부터 독출하고, 독출된 참조 영역 데이터와 원 영상 데이터 사이의 절대값 차이를 이용한 제 4 코스트를 계산한다.

상기 인터 모드 결정부(250)은 상기 제 1 내지 제 4 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정한다. 여기서, 현재 블록이 속하는 슬라이스 유형 및 현재 블록의 유형에 따라 상기 제 1 내지 제 4 코스트 중 계산되지 않는 코스트가 존재할 수 있으므로, 이와 같은 경우에는 이용가능한 코스트들 중에서 최소 코스트를 갖는 인터 모드를 결정하게 된다. 한편, 상기 코스트로는 상기 SAD(Sum of Absolute Difference)이외에 SATD(Sum of Absolute Transformed Difference) 또는 SSD(Sum of Squared Difference) 등이 사용될 수 있다.

전술한 바와 같은 본 발명에 따르면 다양한 인터 모드에서 이용되는 현재 블록의 움직임 벡터가 내부 메모리 안에 존재하지 않는 경우, 움직임 벡터의 연관성을 고려하여 움직임 예측에 의하여 계산되는 코스트가 커질 것으로 가정하여, 이 움직임 벡터를 사용한 인터 모드 과정은 생략함으로써 화질에 큰 영향을 주지 않으면서 인터 모드 결정에 소요되는 처리시간을 단축할 수 있다. 또한 본 발명에 따르면 외부의 메모리를 액세스하지 않고 움직임 추정부에서 사용하는 내부 메모리를 사용함으로써, 외부 메모리 액세스에 따른 버스의 부담을 줄이면서 처리 시간도 단축하고 복수 개의 인터 모드 중 현재 블록의 효율적인 부호화를 가능하게 하는 인터 모드를 신속하게 결정할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스 템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

전술한 바와 같은 본 발명에 따르면 외부의 메모리를 액세스하지 않고 움직임 추정부에서 사용하는 내부 메모리를 사용함으로써, 외부 메모리 액세스에 따른 버스의 부담을 줄이면서 처리 시간도 단축하고 복수 개의 인터 모드 중 현재 블록의 효율적인 부호화를 가능하게 하는 인터 모드를 신속하게 결정할 수 있다.

Claims

동영상 부호화를 위한 인터 예측 모드 결정 방법에 있어서,

부호화되는 현재 블록에 대한 정화소 단위의 계층적 움직임 추정을 수행하여 움직임 벡터를 계산하는 단계;

상기 움직임 벡터가 가리키는 참조 영역 데이터를 내부 메모리에 저장하는 단계;

상기 내부 메모리에 저장된 참조 영역 데이터를 이용하여 부화소 단위의 움직임 추정을 수행하여 제 1 코스트를 계산하는 단계;

상기 현재 블록 주변의 블록들이 갖는 움직임 벡터를 이용하여 계산된 예측 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리에 존재하는 경우, 상기 예측 움직임 벡터를 이용한 움직임 추정을 수행하여 상기 현재 블록에 대한 제 2 코스트를 계산하는 단계; 및

상기 제 1 및 제 2 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정하는 단계를 포함하는 것을 특징으로 하는 인터 모드 결정 방법.
제 1항에 있어서,

상기 현재 블록이 B(Bi-directional) 슬라이스에 포함된 경우, 양방향 움직임 예측을 수행하여 상기 현재 블록에 대한 제 3 코스트를 계산하고, 상기 제 1 내지 제 3 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정하는 단계 를 더 포함하는 것을 특징으로 하는 인터 모드 결정 방법.
제 2항에 있어서,

상기 내부 메모리에 저장된 참조 영역 데이터를 이용하여 직접 모드에서 계산된 상기 현재 블록의 직접 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리에 존재하는 경우, 상기 직접 움직임 벡터를 이용하여 상기 현재 블록에 대한 제 4 코스트를 계산하고, 상기 제 1 내지 제 4 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정하는 단계를 더 포함하는 것을 특징으로 하는 인터 모드 결정 방법.
제 1 내지 제 3항 중 어느 한 항에 있어서,

상기 제 1 내지 제 4 코스트들은 각각 움직임 예측 결과에 따른 참조 영역 데이터와 원 영상 데이터 사이에 화소값 차이의 절대값을 이용하여 계산되는 것을 특징으로 하는 인터 모드 결정 방법.
제 1항에 있어서,

상기 내부 메모리는,

상기 현재 블록이 참조하는 참조 영역의 개수를 n, 상기 현재 블록의 크기를 N×M, 탐색 영역의 크기를 수평 방향으로 [-a,+a], 수직 방향으로 [-b,+b], 상기 참조 영역의 크기를 (2a+N)×(2b+M)이라고 할 때, N×(2b+M)n 크기를 갖는 복수 개의 저장 단위로 구성되는 것을 특징으로 하는 인터 모드 결정 방법.
동영상 부호화를 위한 인터 예측 모드 결정 장치에 있어서,

부호화되는 현재 블록에 대한 정화소 단위의 계층적 움직임 추정을 수행하여 움직임 벡터를 계산하는 계층적 움직임 추정부;

상기 움직임 벡터가 가리키는 참조 영역 데이터를 저장하는 내부 메모리;

상기 내부 메모리에 저장된 참조 영역 데이터를 이용하여 부화소 단위의 움직임 추정을 수행하여 제 1 코스트를 계산하는 부화소 움직임 추정부;

상기 현재 블록 주변의 블록들이 갖는 움직임 벡터를 이용하여 계산된 예측 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리에 존재하는 경우, 상기 예측 움직임 벡터를 이용한 움직임 추정을 수행하여 상기 현재 블록에 대한 제 2 코스트를 계산하는 움직임 벡터 추정부; 및

상기 제 1 및 제 2 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정하는 인터 모드 결정부를 포함하는 것을 특징으로 하는 인터 모드 결정 장치.
제 6항에 있어서,

상기 현재 블록이 B(Bi-directional) 슬라이스에 포함된 경우, 양방향 움직임 예측을 수행하여 상기 현재 블록에 대한 제 3 코스트를 계산하는 양방향 움직임 추정부를 더 포함하고,

상기 인터 모드 결정부는 상기 제 1 내지 제 3 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정하는 것을 특징으로 하는 인터 모드 결정 장치.
제 6항에 있어서,

상기 내부 메모리에 저장된 참조 영역 데이터를 이용하여 직접 모드에서 계산된 상기 현재 블록의 직접 움직임 벡터가 가리키는 참조 영역 데이터가 상기 내부 메모리에 존재하는 경우, 상기 직접 움직임 벡터를 이용하여 상기 현재 블록에 대한 제 4 코스트를 계산하고, 상기 제 1 내지 제 4 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정하는 다이렉트 모드 수행부를 더 포함하고,

상기 인터 모드 결정부는 상기 제 1 내지 제 4 코스트를 비교하여 그 중 최소 코스트를 갖는 인터 모드를 결정하는 것을 특징으로 하는 인터 모드 결정 장치.
제 6 내지 제 9항 중 어느 한 항에 있어서,

상기 제 1 내지 제 4 코스트들은 각각 움직임 예측 결과에 따른 참조 영역 데이터와 원 영상 데이터 사이에 화소값 차이의 절대값을 이용하여 계산되는 것을 특징으로 하는 인터 모드 결정 장치.
제 6항에 있어서,

상기 내부 메모리는,

상기 현재 블록이 참조하는 참조 영역의 개수를 n, 상기 현재 블록의 크기를 N×M, 탐색 영역의 크기를 수평 방향으로 [-a,+a], 수직 방향으로 [-b,+b], 상기 참조 영역의 크기를 (2a+N)×(2b+M)이라고 할 때, N×(2b+M)n 크기를 갖는 복수 개의 저장 단위로 구성되는 것을 특징으로 하는 인터 모드 결정 장치.