KR20010012110A

KR20010012110A - 화상 부호화 장치 및 방법

Info

Publication number: KR20010012110A
Application number: KR1019997009832A
Authority: KR
Inventors: 오구라에이지; 다카시마마사토시; 히라나카다이스케; 미우라다케시
Original assignee: 이데이 노부유끼; 소니 가부시끼 가이샤
Priority date: 1998-02-25
Filing date: 1999-02-25
Publication date: 2001-02-15
Also published as: WO1999044369A1; JPH11243546A

Abstract

메모리로부터는 보존된 검색 필드가 간이 이동 검출 회로에 입력된다. 간이 이동 검출 회로로부터는 이동량이 출력되어 제어 판단 회로에 입력된다. 이동 검출 회로에서는 현 프레임 및 검색 프레임을 입력하여 실제로 이동 보상에 사용하는 최종 이동 벡터를 구한다. 제어 판단 회로로부터는 간이 이동 벡터에 의한 예측 이동량에 따라서 서치 범위의 설정 파라미터가 이 이동 검출 회로에 이송되어 서치 범위가 설정된다. 이와 같은 구성으로 스포츠 프로그램 등과 같이 매우 이동이 심한 화상을 취급하는 경우, 종래의 풀서치 블록 매칭법에서 발생되는 매우 회로량이 증대되는 문제를 해결할 수 있다.

Description

화상 부호화 장치 및 방법{Device and method for coding image}

MPEG 방식은 직교변환(Discrete Cosine Transform; DCT)과 이동 보상 예측과 가변 길이 부호화를 조합하여 화상 데이터의 압축을 실행하는 부호화 방식이다.

도 1에 MPEG 방식에 따른 화상 부호화 장치의 구성을 도시한다. 이 화상 부호화 장치에는 입력 단자(T1)를 통하여 화상 데이터가 공급된다. 이 화상 데이터는 이동 벡터 검출 회로(21)와 감산 회로(22)로 입력된다. 이동 벡터 검출 회로(21)는 입력된 화상 데이터를 사용하여 현 프레임과 참조 프레임(예를 들면, 앞 프레임)의 이동 벡터를 구하여 이동 보상 회로(23)에 부여한다.

참조 프레임의 화상 데이터는 프레임 메모리(24)내에도 격납되어 있다. 이 화상 데이터는 이동 보상 회로(23)에 공급된다. 이동 보상 회로(23)에서는 이동 벡터 검출 회로(21)로부터 이송된 이동 벡터를 사용하여, 프레임 메모리(24)로부터 이송된 화상 데이터의 이동 보상을 실행한다. 이동 보상 회로(23)의 출력은 감산 회로(22)와 가산 회로(25)로 이송된다.

감산 회로(22)에서는 입력 단자(T1)로부터 공급되는 현 프레임의 화상 데이터와, 이동 보상 회로(23)로부터 공급되는 이동 보상된 참조 프레임의 화상 데이터를 감산하여 예측 오차 데이터를 구하여 DCT 회로(26)에 공급한다.

DCT 회로(26)는 이 예측 오차 데이터를 DCT 처리하여 양자화기(27)로 이송한다. 양자화기(27)는 DCT 회로(26)의 출력을 양자화하여, 가변 길이 부호화 회로(도시 생략)로 이송한다.

양자화기(27)의 출력은 역양자화기(29)에도 공급된다. 그리고, 여기서 역양자화 처리를 받으며, 이 출력은 역 DCT 회로(30)에서 역 DCT 처리를 받아, 본래의 예측 오차 데이터로 복귀되어 가산회로(25)에 주어진다.

가산회로(25)에서는 예측 오차 데이터를 이동 보상 회로(23)의 출력 데이터에 가산하여 현 프레임의 화상 데이터를 구한다. 구해진 화상 데이터는 다음 참조 프레임 화상 데이터로서 프레임 메모리(24)에 격납된다.

이 중에서, 이동 보상 회로(23)에서 동화상의 이동 보상을 실행하기 위해서는 이동 벡터 검출 회로(21)에서 이동 벡터의 검출을 실행할 필요가 있다. 통상적으로, 기준 프레임내를 동일한 블록으로 분할하며, 과거 또는 미래의 프레임(검색 프레임)으로 기준 블록과 동일한 크기의 검색 블록을 서치 범위내에서 이동시켜 가장 매칭되는 블록을 탐색하여 그 거리를 이동 벡터로 한다. 일반적으로, 가장 매칭되는 블록을 탐색할 때에는 기준 블록, 검색 블록내의 모든 화소끼리 감산하여, 그 절대치 합 또는 자승 합을 구하여, 최소 위치의 값을 이동 벡터로 하는 풀서치 블록 매칭법이 공지되어 있다.

이러한 풀서치 블록 매칭법에 있어서의, 블록 크기로서는 횡 8화소×종 8화소(이하 8×8로 간략하게 기재), 16×16 등이 있다. 다음에 도 2를 참조하면서 상기 블록 매칭법에 대해서 설명한다.

도 2에 있어서, 기준 프레임(41)내에 M×N의 기준 블록(RB)을 설정한다. 또한, 검색 프레임(42)내에 기준 블록(RB)과 동일한 크기의 검사 블록(SB)을 설정한다. 검사 블록(SB)은 기준 블록(RB)과 동일한 위치를 중심으로 ±m×±n의 소정의 서치 범위(43)내를 순회하여 이동된다. 그리고, 기준 블록(RB)과 검사 블록(SB)의 일치도를 계산하여 가장 일치도가 높은 검사 블록을 매칭 블록로 하며, 이 매칭 블록으로부터 이동 벡터를 구한다.

즉, 기준 블록(RB)과 동일한 위치에 있는 검사 블록(SB0)으로부터 (u, v) 시프트한 위치에 있는 검사 블록(SBk)의 일치도가 가장 높은 경우에는 그 기준 블록(RB)의 이동 벡터를 (u, v)로 한다. 이 때, 기준 블록(RB)과 검사 블록(SB)의 동일한 위치의 화소마다 절대치 차분 합계나 화소마다 차분의 2승의 합계 등이 최소가 되는 검사 블록을 가장 일치도가 높은 검사 블록으로 한다.

MPEG 방식에 있어서는 동화상의 1시퀀스를 복수의 프레임(픽쳐)으로 이루어진 GOP(Group of Picture)로 분할하여 부호화를 실행한다. GOP는 프레임내 부호화 화상(I픽쳐)과, 이미 부호화된 시간적으로 앞의 프레임으로부터 예측하는 프레임간 부호화 화상(P픽쳐)와, 이미 부호화된 시간적으로 전후의 2프레임으로부터 예측하는 프레임간 부호화 화상(B픽쳐)으로 구성된다.

예를 들면, 도 3에 있어서는 처음에 P픽쳐인 P3을 기준 프레임로 하고, I픽쳐인 I0를 검색 프레임으로 하여 이동 검출을 행한다. 다음에 B픽쳐인 B1을 기준 프레임으로 하고, I0와 P3을 검색 프레임으로 하여 양방향의 이동 검출을 실행한다. 다음에 B픽쳐인 B2를 기준 프레임로 하고, I0와 P3을 검색 프레임으로 하여 양방향의 이동 검출을 실행한다.

도 4a 내지 도 4c에 도시된 바와 같이, 일반적으로 이동 검출에 필요한 서치 범위는 기준 프레임과 검색 프레임의 프레임 간격에 비례하여 증대하는 것이 바람직하다. 여기서는 블록 크기가 16×16인 경우에 대해서 설명한다. 예를 들면, 1프레임 떨어진 경우에 도 4a와 같이 서치 범위가 수평 방향 또는 수직 방향으로 ±16으로 하면, 2프레임 떨어진 경우에는 도 4b에 도시된 바와 같이 ±32, 3프레임 떨어진 경우에는 도 4c에 도시된 바와 같이 ±48의 서치 범위로 하는 것이 바람직하다.

그런데, 이와 같이 프레임 간격에 비례하여 서치 범위를 확대한 경우에는 이동 검출에 필요한 하드량도 각각 1프레임 떨어진 경우의 4배, 9배로 증가하게 된다. 요컨대, P3을 기준 프레임로 하고, I0를 검색 프레임으로 한 이동 검출과 같은 3프레임간 떨어진 이동 검출을 실행하기 위해서는 매우 큰 하드량이 필요하게 된다.

그래서, 하드량을 삭감하기 위해서, 과거 이동 벡터의 이력에 의해 프레임간의 이동을 추정하여 서치 범위를 제어하고, 서치 범위를 확대하는 다른 방법 등이 있다.

그런데, 스포츠 프로그램 등과 같이 매우 이동이 심한 화상을 취급하는 경우, 종래의 풀서치 블록 매칭법에서는 회로량이 대단히 커진다고 하는 문제가 있었다.

또한 회로량을 줄이기 위해서 종래의 과거 벡터의 이력에 의해 서치 범위를 제어하는 또다른 방법에 있어서도, 갑작스럽게 큰 이동이 있으면 그 이동을 추종하여 서치 범위를 정확하게 설정할 수 없었다. 예를 들면, 카메라를 갑작스럽게 크게 팬하기 시작하는 경우 등이 여기에 해당한다. 또한, 이동 속도가 불규칙하거나, 가속, 감속 등이 있는 경우에는 동일하게 예측 정밀도가 떨어진다고 하는 문제가 있었다.

본 발명은 예를 들면, MPEG(Moving Picture Image Coding Experts Group)에 따른 화상 부호화 장치 및 방법에 관한 것이다.

도 1은 MPEG 방식에 따른 일반적인 화상 부호화 장치의 구성을 도시한 블록도.

도 2는 블록 매칭법에 대해 설명하기 위한 도면.

도 3은 MPEG에서의 이동 검출의 예를 도시한 도면.

도 4a 내지 도 4c는 프레임 간격과 바람직한 서치 범위와의 관계를 도시한 도면.

도 5는 본 발명의 실시예로 이루어진 화상 부호화 장치의 블록도.

도 6a 내지 도 6d는 상기 실시예의 동작을 설명하기 위한 도면.

도 7은 상기 도 5에 도시된 화상 부호화 장치를 구성하는 간이 이동 검출 회로에 입력된 현 필드와 검색 필드의 관계를 도시한 도면.

도 8a 내지 도 8c는 상기 실시예를 구성하는 제어 판단 회로로부터 이송되는 설정 파라미터를 사용하여 이동 검출 회로가 서치 범위를 설정하는 동작을 설명하기 위한 도면.

도 9a 및 도 9b는 상기 실시예를 구성하는 간이 이동 검출 회로의 수평 방향 벡터 검출 동작을 설명하기 위한 도 및 회로 구성 블록도.

도 10은 상기 간이 이동 검출 회로의 수직 방향 벡터 검출 동작을 설명하기 위한 도면.

도 11은 본 발명의 다른 실시예의 블록도.

본 발명은 상기 실정을 감안하여 이루어진 것으로, 큰 이동이 있을 때나 이동 속도의 시간적 변화가 불규칙하다거나, 가속, 감속이 있을 때에도, 서치 범위를 적절하게 설정 가능하게 하며, 정밀도가 높은 이동 예측을 실행하여 화질을 향상시킬 수 있는 화상 부호화 장치 및 방법의 제공을 목적으로 한다.

본 발명에 관련되는 화상 부호화 장치는 상기 과제를 해결하기 위해서, 시간적으로 먼저 동작하는 간이형 제 1 이동 검출 수단으로부터의 검출 결과에 근거하여, 통상적인 기준 블록의 화상 데이터와 서치 범위내의 검사 블록의 화상 데이터를 연산하여 이동 벡터를 검출하는 제 2 이동 검출 수단의 상기 서치 범위를 제어 판정 수단이 제어한다.

여기서, 상기 제 1 이동 검출 수단의 연산량은 상기 제2 연산량보다도 적다. 또한, 이 제 1 이동 검출 수단은 2차원을 1차원으로 변환하는 사영(射影)에 의해 연산량이 감소되어 간이형 이동 검출을 실행한다.

또한, 상기 제어 판정 수단은 상기 제 1 이동 검출 수단으로부터의 이동량 및 상기 제 2 이동 검출 수단에 의해 이미 구해진 이동 벡터에 근거하여 상기 제 2 이동 검출 수단의 서치 범위를 제어한다.

여기서, 상기 제 2 이동 검출 수단은 독립된 서치 범위를 설정 가능한 적어도 2개의 이동 검출 블록을 가져도 된다.

본 발명에 관계되는 화상 부호화 방법은 상기 과제를 해결하기 위해서, 시간적으로 먼저 동작하는 간이형 제 1 이동 검출 공정에서의 검출 결과에 근거하여 통상적인 기준 블록의 화상 데이터와 서치 범위내의 검사 블록의 화상 데이터를 연산하여 이동 벡터를 검출하는 제 2 이동 검출 공정의 상기 서치 범위를 제어 판정 공정이 제어된다.

여기서, 상기 제 1 이동 검출 공정의 연산량은 상기 제2 연산량보다도 적다. 또한, 이 제 1 이동 검출 공정은 2차원을 1차원으로 변환하는 사영에 의해 연산량을 절감하여 간이형 이동 검출을 실행한다.

또한, 상기 제어 판정 공정은 상기 제 1 이동 검출 공정에서 이동량 및 상기 제 2 이동 검출 공정에 의해 이미 구해진 이동 벡터에 근거하여 상기 제 2 이동 검출 공정의 서치 범위를 제어한다.

여기서, 상기 제 2 이동 검출 공정은 독립된 서치 범위를 설정할 수 있는 적어도 2개의 이동 검출 블록을 가져도 된다.

이와 같이, 본 발명에 의하면 화상에 큰 이동이 있는 경우에, 사전에 이의 이동을 검출할 수 있기 때문에 최종적으로 사용하는 고정밀도의 이동 검출 회로의 서치 범위를 적절하게 설정 가능하게 된다. 또한, 화질을 향상시키는 것이 가능하게 된다. 또한 이동 속도의 시간적 변화가 불규칙하다거나, 가속, 감속이 있는 경우에도, 정밀도가 높은 이동 예측을 행하는 것이 가능하게 된다.

이하, 본 발명에 관련된 화상 부호화 장치 및 방법의 실시예에 관해서 설명한다. 이 실시예는 MPEG 방식에 따른 화상 부호화 장치이며, 도 5에 도시된 바와 같이, 시간적으로 먼저 동작하는 간이 이동 검출 회로(2)와, 기준 블록의 화상 데이터와 서치 범위내의 검사 블록의 화상 데이터를 연산하여 이동 벡터를 검출하는 이동 검출 회로(3)와, 간이 이동 검출 회로(2)에서 검출된 이동량에 근거하여 이동 검출 회로(3)의 서치 범위를 제어하는 제어 판단 회로(4)를 구비하여 이루어진다. 또한, 본 발명의 취지를 일탈하지 않는 범위에 있어서는 여러가지 변형이나 응용예를 들 수 있다. 따라서, 본 발명의 요지는 실시예에 한정되는 것이 아니다.

간이 이동 검출 회로(2)는 이동 검출 회로(3)보다도 연산량을 적게 할 수 있다. 구체적으로는 후술하는 바와 같이 2차원을 1차원으로 변환하는 사영 처리를 이용하여 연산량을 적게 하고 있다.

도 5에 있어서, 입력 화상(현 필드)(101)은 입력 단자로부터 메모리(1)와 간이 이동 검출 회로(2)에 입력된다. 여기서는 필드 단위로 간이 이동 검출 회로(2)가 동작하는 경우에 대해서 설명한다. 실제로는, 프레임 단위로 간이 이동 검출을 행하여도 되지만, 인터레이스 화상인 경우에는 필드 단위로 실행하는 편이 검출 정밀도가 높아진다.

메모리(1)에서는 보존된 검색 필드(102)가 간이 이동 검출 회로(2)에 입력된다. 간이 이동 검출 회로(2)에서는 간이 이동 벡터인 이동량(105)이 출력되어 제어 판단 회로(4)에 입력된다. 이 제어 판단 회로(4)에서는 이동 검출 회로(3)에서 실제로 사용하는 프레임간(현 프레임(103)과 검색 프레임(104)간)의 이동량을 연산에 의해 추정한다. 실제로 실행하는 연산은 예를 들면, 필요한 프레임 간에 따라서, 1필드간의 이동량(105)을 적산한다.

이동 검출 회로(3)에서는 현 프레임(103) 및 검색 프레임(104)을 입력하여 실제로 이동 보상에 사용하는 최종 이동 벡터(107)를 구한다. 이 때, 제어 판단 회로(4)에서는 간이 이동 벡터(105)에 의한 예측 이동량에 따라서 서치 범위의 설정 파라미터(106)가 이 이동 검출 회로(3)에 이송되어 서치 범위가 설정된다.

다음에, 도 6a 내지 도 6d를 참조하여 상기 화상 부호화 장치의 동작을 종래 예와 비교하면서 설명한다. 이 도 6a 내지 6d에서 "I"은 인트라 프레임, "B"는 양방향 예측 프레임, "P"는 전방향 예측 프레임이다. 계속되는 숫자는 프레임 번호를 0부터 순서대로 나타내고 있다.

우선, 도 6a에 도시한 바와 같은 순서로 인코드를 실행하는 경우에 대해서 설명한다. 즉, 처음에 P 픽쳐인 P3를 기준 프레임로 하고, I픽쳐인 I0를 검색 프레임로 하여 이동 검출을 실행한다. 다음에 B픽쳐인 B1을 기준 프레임로 하여, I0와 P3를 검색 프레임로 하여 양방향 이동 검출을 행한다. 다음에 B픽쳐인 B2를 기준 프레임로 하고, I0와 P3을 검색 프레임으로 하여 양방향 이동 검출을 행하여 인코드를 행한다.

각 프레임은 도 6b에 도시된 바와 같이 톱 필드(Top Field) 및 보텀 필드(Bottom Field)로 이루어진 필드 구조로 되어 있다.

도 5의 간이 이동 검출 회로(2)에 입력 단자(T1)를 통해서 입력되는 현 필드(101)와, 메모리(1)로부터 판독되어 입력되는 검색 필드(102) 사이에는 도 7에 도시된 바와 같이, 1필드간의 시간만큼 시간차가 있는 필드의 데이터라고 하는 관계가 있다. 그리고 이 간이 이동 검출 회로(2)는 예를 들면, 화상 전체에서 어느 쪽으로 이동하고 있는지를 나타내는 바와 같은 이동량(105)을 구한다.

이러한 상태를 도 6c에 도시한다. 이동량(105)은 예로서 프레임 전체의 이동 벡터로 생각하기로 한다. 실제로는 프레임내를 분할하여, 그 단위로 구해도 된다.

도 6c의 가장 좌측의 데이터는 I0t(TOP)와 I0b(Bottom)간의 이동량이며, 시각(1)에서 구해진다. 시각(2)에서는 I0b와 B1t 사이의 이동량이 구해진다. 또한 시각(1)으로부터 시각(7)까지의 동안에 I0에서 P3까지의 모든 필드 간의 이동량이 구해진다. 이들을 가산함으로써 예를 들면, I0에서 P3간의 이동량이 시각(7)까지 구해진다. 실제로 6필드간을 가산하여 구한 값을 도 6d의 흰색 막대 그래프로 도시한다.

I0에서 P3간의 검출이 도 5의 이동 검출 회로(3)에서 행하여지는 시각은 시각(8, 9)이므로, 이 때에 사전에 간이 이동 검출 회로(2)와 제어 판단 회로(4)에서 예측한 이동량에 따라 서치 범위를 설정하는 것이 가능하게 된다. 서치 범위의 설정예는 후술한다.

실제로 도 6c의 흑색 막대 그래프는 종래 방법에 의해 이동 벡터 분포로부터 예측하여 구한 값이다. 예를 들면, 도 6c에서 가장 좌측의 흑색 값은 B1t에서 I0b에 대한 이동량이 되며, 본래의 이동 벡터 검출의 B1에서 I0에 대한 이동 벡터의 일부 벡터의 분포로부터 구한다. 이와 같이 종래는 도 6c의 일부의 이동 벡터분포를 사전에 구하여, 이로써 예측을 실행한다. 이러한 예측 방법은 예를 들면, 상기 예와 같이 필드간의 이동 벡터를 알고 있는 경우에는 그 값을 6배하여 3프레임간의 이동을 예측하고 있었다. 이 예측치를 도 6d의 흑색 막대 그래프로 도시한다. 좌측은 본 발명의 간이적으로 이동량을 구한 값이 누적된 값으로 된다. 종래 방법에서는 P3 에서 P6 사이와 같이 이동이 일정한 경우에는 실제의 이동량과 거의 동일하게 된다. 그렇지만, 예를 들면, I0에서 P3과 같이 이동에 큰 변화가 있는 경우나, P6에서 P9, P9에서 P12와 같이 이동이 감속하는 경우에는 본 발명에 의한 예측치의 쪽이 실제로 이동량에 가까운 값이 된다. 종래의 방법에서는 I0에서 P3 사이와 같이, 큰 오차가 생기는 경우가 있었다.

다음에, 상술과 같이 간이 이동 검출 회로(2)와 제어 판단 회로(4)에서 예측한 이동량을 어떻게 이용할지에 대해서 설명한다.

이동 검출 회로(3)가 독립하여 서치 범위의 설정 가능한 2개의 이동 검출 회로(ME1, ME2)를 가지는 경우에 대해서 도 8a 내지 도 8c를 참조하여 설명한다. 이동 검출 회로(ME1 및 ME2)에는 서치 범위의 중심 벡터(SMV1 및 SMV2)를 기재하고 있다.

도 8a는 큰 이동량이 검출되지 않은 경우의 서치 범위의 예를 도시한다. 이 경우에는 2개의 이동 검출 회로(ME1, ME2)는 나열하여 배치된다. 도 8b에는 수평 방향으로 큰 이동량이 예측되는 경우의 예를 도시한다. 이 경우, MEl은 좌표의 중심에 배치되어 작은 이동 벡터를 커버하고, ME2는 서치 범위의 중심(SMV2)이 예측되는 수평 방향으로 큰 이동량이 되도록 설정되어 있다. 이와 같이, 예측되는 이동량이 정확하면 할 수록, 이동 보상의 효율이 상승하여 인코드된 화질이 향상된다. 반드시 1개의 이동 검출 회로가 작은 이동 벡터를 커버하는 이유는 이동이 작은 이동 벡터가 있는 경우에 이것을 놓치게 되면 크게 화질이 열화되기 때문이다.

또한, 이 예에서는 이동 검출 회로(3)가 독립하여 서치 범위의 설정가능한 이동 검출 회로를 2개 가지는 경우의 실시예이지만, 3개 이상 있는 경우에도 동일하게 예측되는 이동량에 따라서 각각의 서치 범위를 설정한다. 특히, 프레임내의 이동이 복잡하며 예측되는 이동량이 여러개 있는 경우에는 이동 검출 회로가 3개 이상 있으면 유효하다. 예측되는 이동량이 2종류 있고, 3개의 이동 검출 회로를 가지는 예를 도 8c에 도시한다. 이 예의 이동은 화면의 상반분이 오른쪽으로 이동하고, 하반분이 반대 값의 왼쪽방향으로 이동하고 있는 경우 등에 상당한다.

다음에, 간이 이동 검출 회로(2)에 대해서 설명한다. 간이 이동 검출 회로(2)로서는 간단한 회로 구성으로 프레임내의 큰 영역의 이동을 구하는 것이 필요하고, 본래의 이동 검출 회로와 같이 작은 1매크로 블록마다 이동 벡터를 구할 필요는 없다. 여기서는 거의 프레임 전체에 대해서 수평 방향, 수직 방향 사영을 구하여, 이것을 1프레임 전체의 이동 벡터 검출에 이용하는 구체예를 기술한다. 간이 이동 검출 회로(2)에서 얻어지는 이동 벡터는 통상적인 이동 보상에 직접적으로 사용하는 것은 아니고, 종래의 이동 검출 회로의 서치 범위의 설정에 사용하기 위해서, 1화소 정밀도와 같은 정밀도는 필요하지 않고, 간이적인 이동 벡터로 가능하다. 실제로는 화면내를 분할하여 그 단위로 간이적인 이동 벡터(이동량)을 구하여도 된다. 화면 전체에서 어느 쪽으로 이동하고 있는지를 알 수 있도록 한 간이적인 이동 벡터로 가능하다. 이의 구체적인 예에서는 수평 방향, 수직 방향의 이동 벡터를 각각, 독립적으로 검출하도록 하는 간이적인 방법을 사용한다.

도 9a에는 수평 방향 벡터 검출 방법을, 도 9b에는 회로도를 도시한다. 우선 현 필드의 양측 3 라인을 제외한 부분에 대하여, 각 수직 라인의 모든 화소를 가산하여 수직 방향 사영(13)을 구한다. 이 수직 방향 사영(13)은 현 필드의 2차원 화상정보를 1차원 화상 정보로 변환한 것이다. 검색 필드에서는 각 수직 라인의 모든 화소를 가산하여 수직 방향 사영(14)을 구한다. 연산으로서는 현 필드의 수직 방향 사영과 가장 일치하는 검색 필드 수직 방향 사영의 위치를 구한다. 검색 필드의 수직 방향 사영(14)내에 나타낸 굵은 테두리의 위치는 이동 벡터 제로의 데이터를 나타내고 있다. 이 예에서는 -3 에서 +3의 7개소의 각각의 차분 절대치 합을 구하여, 이 최소 위치의 값을 수평 이동 벡터로 한다. 이 예에서는 1화소 정밀도의 이동 벡터를 사용하고 있지만, 실제로는 4화소 정밀도 등 상당히 큰 단위의 정밀도로 충분한 경우가 대부분이다.

회로 구성예로서는 도 9b에 도시된 바와 같이, 가산회로(5)에 현 필드를 입력하여 수직 방향 사영(13)을 레지스터(8)에서 구한다. 동일하게 검색 필드의 데이터를 가산회로(6)에 입력하여 레지스터(9)에 수직 방향 사영(14)을 보존한다. 차분, 절대치 산출 회로(11) 및 가산회로(7)에서 레지스터(8) 및 레지스터(9)로부터 판독된 수직 방향 사영(13 및 14)을 사용한 차분 절대치 합을 연산하여 레지스터(10)에 보존한다. 그리고, 최소치 회로(12)에 의해 차분 절대치 합이 최소가 되는 두개의 수직 방향 사영(13 및 14)을 구하여, 이것으로부터 수평 방향 이동 벡터(108)를 구한다.

수직 방향의 벡터 검출은 도 10에 도시된 바와 같이, 1 라인의 모든 화소치를 가산한 현 필드의 수평 방향 사영(15)을 구하고, 검색 필드의 수평 방향 사영(16)과의 사이에서, 차분 절대치 합의 최소 위치를 구하여 수직 이동 벡터를 구한다. 회로도는 상기 도 9b와 동일한 구성이므로 설명을 생략한다.

또한, 이 실시예의 변형예로서, 1필드내를 저역 필터를 통해 화상을 축소한 화상에 대하여 이동 벡터를 구하는 방법 등이 생각된다.

다음에, 도 11을 참조하여 다른 실시예에 대해서 설명한다. 이밖의 실시예도 MPEG에 따른 화상 부호화 장치이지만, 도 5에 도시된 화상 부호화 장치에 있어서의 이동 검출 회로(3)로부터 제어 판단 회로(4)에, 새롭게 이동 벡터(110)를 입력하는 패스를 형성하는 것이다. 제어 판단 회로(4)에서는 이동량(105) 및 이동 벡터(110)의 양쪽을 사용하여 판단하고 있다.

이동 벡터(110)는 도 6c의 흑색 막대로 도시된 종래 방법에서 사용되는 값에 상당한다. 일반적으로, MPEG 등에서는 16×16과 작은 블록 크기마다 행하여지기 때문에, 얻어지는 이동 벡터의 수가 많고 공간적인 해상도도 높다. 또한, 이동 벡터도 1화소 정밀도로 정밀도가 높다. 그러나, 도 6c의 흑색 막대 그래프로 도시된 바와 같이 모든 필드간의 이동 벡터를 구할 수 있는 것은 아니기 때문에, 시간적인 해상도는 낮아지게 된다. 따라서, 제어 판단 회로(4)에서는 시간적인 정밀도를 요구하는 경우에는 이동량(105)을 사용하여 이동 예측을 행하고, 반대로 시간적인 정밀도를 요구하지 않는 경우나 공간적인 정밀도를 요구하는 경우에는 이동 벡터 (110)를 사용하여 이동량의 예측을 행한다.

시간적인 정밀도를 요구하는 경우의 예는 도 6d의 "I0toP3"와 같이 이동이 크게 변화하는 경우이고, 이 경우에는 이동량(105)이 사용된다.

시간적인 정밀도를 요구하지 않는 경우란, 도 6d의 "P3toP6"와 같이 이동이 거의 일정한 경우이며, 이 경우에는 벡터의 정밀도가 높은 이동 벡터(110)가 판단에 사용된다. 또한, 화면내에 여러가지 복잡한 이동이 있어, 이동량(105)을 잘 구할 수 없는 경우 등이 공간적인 정밀도를 요구하는 경우에 해당하고, 이 경우에도 이동 벡터(110)를 사용하여 이동량의 예측을 행한다.

이와 같이 성질이 다른 2개의 값, 이동량(105)과 이동 벡터(110)의 양쪽을 사용함으로써, 각각 단체로 행하는 경우보다도 이동량의 예측을 보다 높은 정밀도로 행하는 것이 가능하게 된다.

본 발명에 의해 큰 이동이 있는 경우에, 사전에 이동을 검출할 수 있기 때문에, 최종적으로 사용하는 고정밀도인 이동 검출 회로의 서치 범위를 적절하게 설정 가능하게 된다. 그 결과, 화질을 대폭 향상시키는 것이 가능하게 된다. 또한, 종래의 과거 이동 벡터의 이력을 사용하는 경우와 비교하여, 이동 예측 정밀도가 향상되어 결과적으로 인코드된 화질이 향상된다. 특히, 카메라의 고속 팬, 틸트한 화상 등으로, 이동 예측 정밀도 향상으로 인해 크게 화질이 향상된다.

Claims

시간적으로 먼저 동작하는 제 1 이동 검출 수단과,

기준 블록의 화상 데이터와 서치 범위내의 검사 블록의 화상 데이터를 연산하여 이동 벡터를 검출하는 제 2 이동 검출 수단과,

상기 제 1 이동 검출 수단의 검출 결과에 근거하여 상기 제 2 이동 검출 수단의 서치 범위를 제어하는 제어 판정 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
제 1 항에 있어서, 상기 제 1 이동 검출 수단은 상기 제 2 이동 검출 수단보다도 연산량이 적은 간이형인 것을 특징으로 하는 화상 부호화 장치.
제 1 항에 있어서, 상기 제 1 이동 검출 수단은 2차원을 1차원으로 변환하는 사영에 의해 이동 검출을 행하는 것을 특징으로 하는 화상 부호화 장치.
제 1 항에 있어서, 상기 제 2 이동 검출 수단은 독립된 서치 범위가 설정 가능한 적어도 2개의 이동 검출 블록을 갖는 것을 특징으로 하는 화상 부호화 장치.
제 1 항에 있어서, 상기 제어 판정 수단은 상기 제 1 이동 검출 수단으로부터의 이동량 및 상기 제 2 이동 검출 수단에 의해 이미 구해진 이동 벡터에 근거하여 상기 제 2 이동 검출 수단의 서치 범위를 제어하는 것을 특징으로 하는 화상 부호화 장치.
시간적으로 먼저 동작하는 제 1 이동 검출 공정과,

기준 블록의 화상 데이터와 서치 범위내의 검사 블록의 화상 데이터를 연산하여 이동 벡터를 검출하는 제 2 이동 검출 공정과,

상기 제 1 이동 검출 공정의 검출 결과에 근거하여 상기 제 2 이동 검출 공정의 서치 범위를 제어하는 제어 판정 공정을 구비하는 것을 특징으로 하는 화상 부호화 방법.
제 6 항에 있어서, 상기 제 1 이동 검출 공정은 상기 제 2 이동 검출 공정보다도 연산량이 적은 것을 특징으로 하는 화상 부호화 방법.
제 6 항에 있어서, 상기 제 1 이동 검출 공정은 2차원을 1차원으로 변환하는 사영에 의해 이동 검출을 행하는 것을 특징으로 하는 화상 부호화 방법.
제 6 항에 있어서, 상기 제 2 이동 검출 공정은 독립된 서치 범위가 설정 가능한 적어도 2개의 이동 검출 블록을 사용하는 것을 특징으로 하는 화상 부호화 방법.
제 6 항에 있어서, 상기 제어 판정 공정은 상기 제 1 이동 검출 공정에서의 이동량 및 상기 제 2 이동 검출 공정에 의해 이미 구해진 이동 벡터에 근거하여 상기 제 2 이동 검출 공정의 서치 범위를 제어하는 것을 특징으로 하는 화상 부호화 방법.