KR20050012768A - 현재 모션 벡터를 추정하는 유닛 및 방법 - Google Patents

Abstract

제1 화소 그룹에 대해 현재 모션 벡터를 추정하기 위해 배열된 모션 추정 유닛(100)으로서, 제1 화소 그룹에 대해 선추정 모션 벡터들의 셋트로부터 추출되는 후보 모션 벡터들의 셋트를 발생하는 발생 유닛(106); 각 후보 모션 벡터들의 매치 에러를 계산하는 매치 에러 유닛(102); 및 후보 모션 벡터로부터 현재 모션 벡터를 선택하는 선택 유닛(104)을 포함하는 모션 추정 유닛이 개시된다. 모션 추정 유닛(100)은 제1 이미지에 대해 화소들의 세그먼트들로 분할된 결과에 기초하여 매치 에러를 변조하도록 배열되고, 후보 모션 벡터가 결정되는 것에 기초하여, 제1 화소 그룹과 제2 화소 그룹 양자가 동일한 세그먼트에 대응하는 확률에 분할의 결과가 관계된다.

Description

현재 모션 벡터를 추정하는 유닛 및 방법{Unit for and method of estimating a current motion vector}

서두에 기술된 종류의 모션 추정 유닛의 실시예는 G.de Haan 등에 의한 1993년 10월 논문 vol.3, no.5, "True-Motion Estimation with 3-D Recursive Search Block Matching" in IEEE Transactions on circuits and systems for video technology의 페이지 368-379에 공지된다.

비디오 신호 처리에 관한 다수의 애플리케이션들에 대해, 광흐름으로서 공지된, 이미지 시퀀스의 겉보기 속도 필드를 아는 것이 필요하다. 이 광흐름은 시변 모션 벡터 필드(time-varying motion vector field), 즉, 이미지쌍 당 하나의 모션 벡터 필드로서 주어진다. 이미지가 몇 개의 이미지-쌍들의 부분일 수 있다는 점에 주의하라. 인용된 논문에서, 이 모션 벡터 필드는 이미지를 블록들로 분할함으로써 추정된다. 각 블록의 후보 모션 벡터들의 셋트에 대해, 블록의 후보 모션 벡터들의 셋트로부터 가장 적절한 모션 벡터를 찾기 위해 매치 에러들이 계산되고, 최소화 프로시져에 사용된다.

인용된 모션 추정 유닛은 두가지 기본적인 가정들에 의존한다. 첫째로, 객체들이 블록들보다 크다는 것인데, 이것은 인접 블록에서 추정된 모션 벡터가 이 블록의 실제 모션 벡터와 높은 상관을 갖게 될 것이고, 그러므로 이 모션 벡터에 대해, 소위 공간 예측, 즉, 공간 후보 모션 벡터로서 사용될 수 있다는 것을 의미한다. 둘째로, 객체들은 관성(inertia)을 갖는다. 이것은 객체들의 모션이 이미지마다 불규칙하게 변하지 않고, 현재 블록에 대한 실제 모션 벡터는 이전 이미지들 내 대응하는 블록들의 모션 벡터들과 높은 상관을 갖게 될 것이라는 것을 의미한다. 이 블록들로부터의 모션 벡터들은 현재 블록의 모션 벡터에 대해, 소위 시간 예측들, 즉, 시간 후보 모션 벡터들로서 사용될 수 있다. 모션 벡터들의 업데이트들을 허용하기 위해, 랜덤 예측들이라 불리는 여분의 예측들, 즉, 랜덤 후보 모션 벡터들은 소잡음 모션 벡터가 부가되는 공간 후보 모션 벡터들과 동일하게 부가된다.

어떤 후보 모션 벡터는 타 후보 모션 벡터들보다 현재 블록의 모션 벡터에 대해 더 높은 상관을 갖기 때문에, 더 낮은 상관을 갖는 후보 모션 벡터들에 패널티들이 할당된다. 이 패널티들은 후보 모션 벡터의 매치 에러(일반적으로 절대차들의 합)에 부가되고, 그것은 후보 보션 벡터가 최상의 매칭 모션 벡터로 선택되는 것을 어렵게 한다. 랜덤 후보 모션 벡터들은 최고의 패널티를 받고, 공간 후보 모션 벡터들은 최저의 패널티를 받으며, 시간 후보 모션 벡터들은 공간 후보 모션 벡터 패널티와 랜덤 후보 모션 백터 패널티 사이의 패널티를 갖는다.

이 모션 추정 유닛이 갖는 문제들 중 하나는, 공간 후보 모션 벡터가 사용될 수 있는 가정이 객체 경계들에서 어긋난다는 점이다. 또다른 객체에 위치된 공간 후보 모션 벡터는 현재 블록의 모션 벡터와 상관을 갖지 않을 것이다.

본 발명은 이미지의 화소 그룹에 대해 현재 모션 벡터를 추정하는 모션 추정 유닛에 있어서,

- 제1 화소 그룹에 대해, 선추정 모션 벡터들의 셋트로부터 추출되는 후보 모션 벡터들의 셋트를 발생하는 발생 수단;

- 각 후보 모션 벡터들(candidate motion vectors)의 매치 에러들(match errors)을 계산하는 매치 에러 유닛으로서, 후보 모션 벡터들 중 제1 후보 모션 벡터의 매치 에러는 제1 성분 및 제2 성분에 기초하고, 제1 성분은 제2 이미지의 제2 화소 그룹의 화소 값들과 제1 화소 그룹의 화소 값들의 비교에 대응하며, 제2 성분은 제1 화소 그룹과 선추정 모션 벡터들 중 제1 선추정 모션 벡터가 추정되는 제3 화소 그룹 사이의 관계에 의존하고, 후보 모션 벡터들 중 제1 후보 모션 벡터는 선추정 모션 벡터들 중 제1 모션 벡터에 기초하는, 상기 매치 에러 유닛; 및

- 각 후보 모션 벡터들의 매치 에러들을 비교함으로써, 후보 모션 벡터들로부터 현재 모션 벡터를 선택하는 선택 유닛을 포함하는, 상기 모션 추정 유닛에 관한 것이다.

본 발명은 또한 이미지의 화소 그룹에 대해 현재 모션 벡터를 추정하는 방법에 있어서,

- 제1 화소 그룹에 대해, 선추정 모션 벡터들의 셋트로부터 추출되는 후보 모션 벡터들의 셋트를 발생하는 단계;

- 각 후보 모션 벡터들의 매치 에러들을 계산하는 단계로서, 후보 모션 벡터들 중 제1 후보 모션 벡터의 매치 에러는 제1 성분 및 제2 성분에 기초하고, 제1 성분은 제2 이미지의 제2 화소 그룹의 화소 값들과 제1 화소 그룹의 화소 값들의 비교에 대응하며, 제2 성분은 제1 화소 그룹과 선추정 모션 벡터들 중 제1 선추정 모션 벡터가 추정되는 제3 화소 그룹 사이의 관계에 의존하고, 후보 모션 벡터들 중 제1 후보 모션 벡터는 선추정 모션 벡터들 중 제1 선추정 모션 벡터에 기초하는, 상기 매치 에러 계산 단계; 및

- 각 후보 모션 벡터들의 매치 에러들을 비교함으로써, 후보 모션 벡터들로부터 현재 모션 벡터를 선택하는 단계를 포함하는, 상기 모션 벡터 추정 방법에 관한 것이다.

본 발명은 또한,

- 일련의 이미지들을 나타내는 신호를 수신하는 수신 수단;

- 상기 모션 추정 유닛; 및

- 이미지들과 현재 모션 벡터에 기초하여 처리된 이미지들을 결정하는 모션 보상된 이미지 처리 유닛을 포함하는 이미지 처리 장치에 관한 것이다.

도 1은 이미지 분할 유닛과 결합한 모션 추정 유닛을 개략적으로 도시하는 도면.

도 2는 모션 벡터 필드를 개략적으로 도시하는 도면.

도 3은 본 발명에 따라, 모션 추정 유닛을 포함하는 이미지 처리 장치의 요소들을 개략적으로 도시하는 도면.

본 발명의 목적은 서두에 기술된 종류의 보다 정확한 모션 벡터 필드들을 제공하는 모션 추정 유닛을 제공하는 것이다.

본 발명의 상기 목적은, 모션 추정 유닛이 제1 이미지에 대한 분할 결과에기초하여 제2 성분을 화소 세그먼트들로 변조하도록 배열되고, 제1 화소 그룹의 제1 부분과 제3 화소 그룹의 제1 부분 양자가 세그먼트들 중 특정 세그먼트에 대응하는 확률에 분할의 결과가 관계되는 경우 달성된다. 전술된 문제에 대한 해결책으로서 이미지 분할이 적용된다. 어떤 특징이 일정하거나 미리결정된 임계들 사이에 있는 세그먼트들로 이미지를 분할하는 것이 이미지 분할의 목적이다. 이미지의 화소 또는 화소 그룹에 대해, 임의의 세그먼트에 속할 확률들을 나타내는 값들이 계산된다. 특징은 간단한 그레이(grey) 값부터 색상 정보와 결합된 복잡한 직조 방법들(texture measures)까지 임의의 것일 수 있다. 선택된 특징들에 기초한 분할 방법, 즉 세그먼트들을 추출하는 방법은 간단한 임계화(thresholding)부터 워터쉐드 알고리즘(watershed algorithms)까지 임의의 것일 수 있다. 이미지 내 객체들의 에지들이 세그먼트 에지들의 서브셋트라면, 이 정보를 사용함으로써 모션 추정이 품질면에서 개선된다. 타 객체들로부터의 후보 모션 벡터들, 즉, 타 객체들에 속하는 선추정 모션 벡터들은 동일한 객체로부터의 후보 모션 벡터들로서 현재 (제1) 화소 그룹과의 상관이 적기 때문에, 현재 화소 그룹으로서 또다른 세그먼트의 후보 모션 벡터의 패널티가 높아져야 한다. 다시 말해서, 현재 화소 그룹으로서 또다른 세그먼트의 모션 벡터 후보의 제2 성분이 증가되어야 한다.

모션 보상을 위해 분할의 결과를 적용하는 것은 신규하지 않다. 예컨대, 유럽특허출원번호 01202615.9(대리인 문서 PHNL010445)에서, 계층적 분할 방법이 모션 추정과 결합된다. 그러나, 제2 성분이 분할의 결과에 기초하여 변조되는 본 발명에 따른 분할 결과의 적용은 신규하다. 최종 매치 에러는 제1 및 제2 성분에 기초한다. 따라서, 제2 이미지의 제2 화소 그룹의 화소 값들과 제1 화소 그룹의 화소 값들의 비교와, 분할의 결과 양자가 매치 에러를 계산하도록 적용된다. 본 발명에 따른 모션 추정 유닛의 이점은 매치 에러의 품질에 있다.

본 발명에 따른 모션 추정 유닛의 실시예가 확률의 사이즈에 기초하여 제2 성분을 변조하도록 배열된다. 분할은 2진일 것이고, 화소가 특정 세그먼트에 속하는지의 여부를 나타내는 화소당 라벨을 유발한다. 그러나, 양호하게, 분할 방법은 화소, 또는 화소 그룹에 대해 특정 세그먼트에 속할 확률을 제공한다. 화소에 대해, 예컨대, 세그먼트 A에 속할 20%의 제1 확률과 세그먼트 B에 속할 80%의 제2 확률과 같은 다수의 확률들이 또한 가능하다. 본 발명에 따른 이 실시예는 제2 성분을 변조하기 위해 실제 확률을 적용하도록 배열된다. 예를 들어, 만약 동일한 객체에 속하지 않는 확률이 상대적으로 높다면, 제2 성분들은 상대적으로 높아야 하고, 그 역도 또한 같다. 이 접근법의 이점은 보다 정확한 제2 성분, 그에 따른 보다 정확한 매치 에러에 있다.

본 발명에 따른 모션 추정 유닛의 또다른 실시예는 제1 화소 그룹의 제1 부분의 제1 화소들의 수와 제1 화소 그룹의 제2 화소들의 수의 비에 기초하여 제2 성분을 변조하도록 배열된다. 분할과 모션 추정은 매우 상관될 것이다. 이것은, 예컨대, 분할이 화소 그룹들에 대해 행해지고, 모션 추정이 동일한 화소 그룹들상에서 수행된다는 것을 의미한다. 그러나, 분할과 모션 추정은 독립적으로 수행될 것이다. 이 경우, 분할은 예컨대, 화소 단위로 수행되고, 모션 추정은 블록 단위로 수행된다. 그 결과, 모션 추정을 위해 사용될 화소 그룹의 제1 화소들의 부분은세그먼트 A에 속하는 것으로서 분류되고, 또다른 화소들의 부분은 세그먼트 B에 속하는 것으로서 분류된다. 후자의 경우, "세그먼트 A에 속할 전체 확률"은 제1 부분의 화소들의 수와 전체 화소 그룹의 화소들의 수의 비에 기초하여 화소 그룹에 대해 계산될 수 있다. 이 접근법의 이점은 보다 정확한 제2 성분, 그에 따른 보다 정확한 매치 에러에 있다.

본 발명에 따른 모션 추정 유닛의 실시예에서, 제1 화소 그룹은 화소 블록이다. 대체로, 화소 그룹은 임의의 형태, 심지어 불규칙적일 수 있다. 모션 추정 유닛 설계의 복잡성을 감소시키기 때문에 블록 기반 형태가 선호된다.

본 발명에 따른 모션 추정 유닛의 또다른 실시예에서, 대응하는 매치 에러가 매치 에러들 중 최소인 경우, 선택 유닛은 후보 모션 벡터들의 셋트로부터 현재 모션 벡터로서 특정 모션 벡터를 선택하도록 배열된다. 이것은 후보 모션 벡터들의 셋트로부터 현재 모션 벡터를 선택하기 위한 상대적으로 용이한 접근법이다.

본 발명에 따른 모션 추정 유닛의 또다른 실시예에서, 매치 에러 유닛은 제2 이미지의 제2 화소 그룹의 화소들의 휘도 값들에서 제1 화소 그룹의 화소들의 휘도 값들을 감함으로써, 후보 모션 벡터들 중 제1 후보 모션 벡터의 매치 에러를 계산하도록 설계된다. 양호하게, 절대 휘도 차들의 합(SAD)이 계산된다. SAD는 상대적으로 빠르게 계산될 수 있는 상관에 대한 상대적으로 신뢰할 수 있는 측정이다.

본 발명의 또다른 목적은 서두에 기술된 종류의 보다 정확한 모션 벡터 필드들을 제공하는 방법을 제공하는 것이다.

본 발명의 상기 목적은, 제1 이미지에 대한 분할 결과에 기초하여 제2 성분을 화소 세그먼트들로 변조하고, 제1 화소 그룹의 제1 부분과 제3 화소 그룹의 제1 부분 양자가 세그먼트들 중 특정한 세그먼트에 대응하는 확률에 분할의 결과가 관계되는 경우 달성된다.

서두에 기술된 바와 같이 이미지 처리 장치에 본 발명에 따른 모션 추정 유닛의 실시예를 적용하는 것이 바람직하다. 이미지 처리 장치는 예컨대, 처리된 이미지들을 디스플레이하는 디스플레이 장치 또는 처리된 이미지들을 저장하는 저장 수단과 같은 부가적인 성분들을 포함할 수 있다. 모션 보상된 이미지 처리 유닛은 하나 이상의 이하의 이미지 처리 유형들을 지원할 것이다:

- 디-인터레이싱 : 인터레이싱은 홀수 또는 짝수 이미지 선들을 교대로 전송하는 일반적인 비디오 방송 프로시져이다. 디-인터레이싱은 전체 수직 해상도를 복원하도록, 즉, 각각의 이미지에 대해 동시에 이용가능한 홀수 및 짝수 선들을 형성하게 한다;

- 업-컨버젼 : 일련의 원입력 이미지들로부터, 더 큰 일련의 출력이미지들이 계산된다. 출력 이미지들은 두개의 원입력 이미지들 사이에 일시적으로 위치된다;

- 일시적 잡음 감소 : 이것은 또한 공간 처리를 포함할 수 있고, 공간-일시 잡음 감소를 유발한다; 및

- 비디오 압축, 즉, 예컨대 MPEG 표준이나 H26L 표준에 따른 인코딩 또는 디코딩.

이미지 처리 장치의 변경들 및 변화들이 기술된 모션 추정 유닛의 변경들 및 변화들에 대응한다.

본 발명에 따른 이미지 처리 장치 및 방법의 모션 추정 유닛의 상기 및 다른 양상들이 하기된 구현들 및 실시예들에 관하여 첨부 도면들을 참조하여 분명해지고 명백해질 것이다.

대응하는 참조 번호들은 모든 도면들에서 동일한 의미를 갖는다.

도 1은 이미지 분할 유닛(108) 및 이미지들의 저장을 위한 메모리 장치(110)와 결합한 모션 추정 유닛(100)을 개략적으로 도시한다. 모션 추정 유닛(100)은 제1 이미지의 제1 화소 그룹(212)에 대해 현재 모션 벡터를 추정하도록 배열되고, 이하를 포함한다:

- 제1 화소 그룹(212)에 대해, 선추정 모션 벡터들의 셋트로부터 추출되는 후보 모션 벡터들의 셋트를 발생하는 발생 유닛(106);

- 각 후보 모션 벡터들의 매치 에러들을 계산하는 매치 에러 유닛(102)에 있어서, 후보 모션 벡터들 중 제1 후보 모션 벡터의 매치 에러는 제1 성분 및 제2 성분에 기초하는, 상기 매치 에러 유닛; 및

- 각 후보 모션 벡터들의 매치 에러들을 비교함으로써, 후보 모션 벡터들로부터 현재 모션 벡터를 선택하는 선택 유닛(104).

제1 화소 그룹(212)의 화소 값들을 제2 이미지의 제2 화소 그룹의 화소 값들과 비교함으로써, 매치 에러의 제1 성분이 계산된다. 이 경우, 매치 에러의 제1 성분은 SAD에 대응하는데, 상기 SAD는 제1 이미지의 블럭내 화소들과, 후보 모션 벡터에 의해 쉬프트된 참조 이미지, 즉 제2 이미지에서 블록의 화소들 사이의 절대 휘도 차들의 합이다. 만약 참조 이미지와 제1 이미지가 서로 바로 이어진다면, SAD가 이하로 계산될 수 있다:

여기서 (x,y)는 블록의 위치, (d_x,d_y)는 모션 벡터, n은 이미지 번호, N과 M은 블록의 폭과 높이, Y(x,y,n)은 이미지 n내 위치(x,y)에서 화소의 휘도 값이다.

모션 추정 유닛(100)은 제1 이미지에 대해 화소들의 세그먼트들로 분할된 결과에 기초하여 제2 성분을 변조하도록 배열된다. 우선, 분할 유닛(108)이 블록 단위로 분할을 수행하도록 배열된다는 것이 가정된다. 이미지 분할시, 블록 B(x,y)마다 그것이 속하는 세그먼트 S_k에 대응하는 라벨 l_k이 할당된다. 이 정보는 이미지 분할 마스크 M(x,y)에 저장된다. 객체 경계들상에서 모션 추정 유닛의 공간적일관성을 감소시키기 위해, 제2 성분 C₂이 이하에 따라 변조된다:

여기서, 공간적 일관성을 보강하도록 c_low는 작은 값이고, 객체들에서 일관성을 방해하도록 c_high는 높은 값이며, (x,y)는 현재 블록의 위치, (x_p,y_p)는 타 화소 블록의 위치, 즉, 모션 벡터가 추정되고, 모션 벡터 후보가 기초되는 화소 블록이다. 이 경우, 제2 성분 C₂에 대해 두개의 상이한 값들이 있다:

- 분할의 결과, 현재 블록과 타 블록 모두가 동일한 세그먼트 S_k에 속하는 경우 c_low; 및

- 분할의 결과, 현재 블록과 타 블록이 동일한 세그먼트 S_k에 속하지 않는 경우 c_high.

특정 모션 벡터 후보의 매치 에러 ME(x,y,d_x,d_y,n)가 특정 모션 벡터 후보의 제1 성분 및 제2 성분의 합에 의해 계산된다.

다음, 분할 유닛(108)이 분할을 화소 단위로 수행하도록 배열되는 것이 가정된다. 그것은 각각의 화소에 대해 세그먼트 S_k에 속할 확률이 할당된다는 것을 의미한다. 모션 추정은 여전히 블록 단위에 기초하고 있고, 즉, 모션 벡터들이 화소블록들에 대해 추정된다. 제2 성분은, k∈K에 대해, 현재 블록의 화소들과 타 블록의 화소들이 동일한 세그먼트 S_k에 속할 확률에 기초한다. S_k는 세그먼트들의 셋트 중 하나이다. 제2 성분 C_k이 식 4로 계산될 수 있다.

여기서 C는 상수이다. 만약 현재 블록의 화소들이 세그먼트 S_k에 속할 확률, 즉,

과

타 블록의 화소들이 세그먼트 S_k에 속할 확률, 즉,

이

상대적으로 높다면, 제2 성분 C₂는 상대적으로 낮다.

화소당 특정 세그먼트 S_k에 속할 확률의 값과 임의의 확률을 갖는 화소들의 수가 관련있다는 것이 명백할 것이다. 이진 분할의 경우, 이 화소들에 대해, 특정 세그먼트 S_k에 속할 확률은 동일하기 때문에, 즉 100%이므로, 세그먼트 S_k내에 위치된 블록 일부의 화소 수만이 카운트되어야 한다.

도 1에서, 모션 추정 유닛(100)의 출력(114)으로부터 분할 유닛(108)으로의 접속(116)이 도시된다. 이 접속(116)은 선택적이다. 이 접속(116)에 의해, 예컨대, 모션 벡터 필드와 같은 모션 추정 결과들이 화소 세그먼트들로의 이미지 분할을 위해 적용될 수 있다. 이것은 모션 추정이 수행되는 동일한 이미지이거나 일련의 이미지들의 또다른 이미지일 수 있다. 게다가, 특정 이미지를 포함하지 않고 일련의 이미지들의 또다른 이미지인 이미지 쌍의 모션 추정에 특정 이미지의 분할 결과가 사용되는 것이 또한 가능하다.

모션 추정 유닛(100)의 매치 에러 유닛(102), 선택 유닛(104), 및 발생 유닛(106)이 하나의 프로세서를 사용하여 구현될 수 있다. 일반적으로, 이 기능들은 소프트웨어 프로그램 제품의 제어하에서 수행된다. 실행시, 일반적으로 소프트웨어 프로그램 제품은 RAM과 같은 메모리에 로딩되고, 그곳에서 실행된다. 프로그램은 ROM, 하드 디스크, 또는 자기 및/또는 광학 스토리지와 같은 백그라운드 메모리로부터 로딩될 수 있거나, 인터넷과 같은 네트워크를 통해 로딩될 수 있다. 선택적으로, 주문형 반도체(application specific integrated circuit)가 개시된 기능을 제공한다.

도 2는 공(202)이 배경과 반대 반향으로 이동하는 전면에 흰색 배경을 갖는 장면을 나타내는 이미지의 모션 벡터 필드(200), 즉, 구성중인 모션 벡터 필드의 부분을 개략적으로 도시한다. 다수의 화소 블록들(204-210)에 대해, 모션 벡터들(214-226)이 추정되고, 현재 화소 블록(212)에 대해, 모션 벡터가 추정될 것이다. 이 추정을 위해, 화소 블록들(204-210)에 대해 이전에 계산된 모션 벡터들(214-226)에 기초하여 후보 모션 벡터들(214-220)의 셋트가 생성된다. 도 1에서, 현재 화소 블록(212)이 공(202)에 대응하는 세그먼트 내에 위치된다는 점이 관찰될 수있다. 또한, 화소 블록(204)도 공(202)에 대응하는 세그먼트 내에 위치된다. 그러나 화소 블록(210)은 배경에 대응하고, 블록들(206,208)은 일부는 공(202)에 속하고, 일부는 배경에 속한다. 각각의 후보 모션 벡터들에 대한 제2 성분들은 공(202)을 나타내는 세그먼트에 속하는 것으로서, 분할에 의해 라벨링되는 각 블록들(204-210)의 화소들의 수에 의존할 것이다. 따라서, 화소 블록(204)로부터 도출된 후보 모션 벡터(220)의 매치 에러의 제2 성분은 가장 낮을 것이고, 화소 블록(210)으로부터 도출된 후보 모션 벡터(218)의 매치 에러의 제2 성분은 가장 낮을 것이다.

도 3은 이하를 포함하는 이미지 처리 장치(300)의 요소들을 개략적으로 도시한다:

- 임의의 처리가 수행된 후 디스플레이될 이미지들을 나타내는 신호를 수신하는 수신 유닛(302). 신호는 안테나나 케이블을 통해 수신된 방송 신호일 수도 있고, VCR(Video Cassette Recorder)이나 DVD(Digital Versatile Disk)와 같은 저장 장치로부터의 신호일 수도 있다. 신호는 입력 접속기(310)에 제공된다.

- 도 1과 관련하여 기술된 바와 같이 모션 추정 유닛(100)과 분할 유닛(108)을 포함하는 처리 유닛(304);

- 모션 보상된 이미지 처리 유닛(306); 및

- 처리된 이미지를 디스플레이하는 디스플레이 장치(308). 이 디스플레이 장치(308)는 선택적이다.

모션 보상된 이미지 처리 유닛(308)은 입력으로서 이미지들과 모션 벡터들을요구한다. 모션 보상된 이미지 처리 유닛(308)은 디-인터레이싱(de-interlacing), 업-컨버젼(up-conversion), 일시적 잡음 감소, 및 비디오 압축 중 하나 이상의 이미지 처리 유형들을 지원할 수 있다.

전술된 실시예들은 본 발명을 제한하기 보다는 예시하고 있고, 당업자들은 첨부된 청구범위를 벗어나지 않고 대안적인 실시예들을 설계할 수 있을 것이라는 점에 유의해야 한다. 청구범위에서, 괄호 사이의 참조 기호들은 청구항을 제한하는 것으로서 해석되지 않는다. 단어 "포함하다"는 청구항에 나열된 것 이상의 성분들 또는 단계들의 존재를 배제하지 않는다. 성분 앞의 단어 "하나"라는 표현은 복수의 성분들의 존재를 배제하지 않는다. 본 발명은 몇몇 별개의 요소들을 포함하는 하드웨어와 적합하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 나열하는 장치 청구항에서, 이 수단들 중 몇몇은 하드웨어 및 하드웨어의 동일 아이템에 의해 구현될 수 있다.

Claims (12)

1. 제1 이미지의 제1 화소 그룹에 대해 현재 모션 벡터(motion vector)를 추정하는 모션 추정 유닛에 있어서,

   - 상기 제1 화소 그룹에 대해, 선추정 모션 벡터들(previously estimated motion vectors)의 셋트로부터 추출되는 후보 모션 벡터들의 셋트를 발생하는 발생 수단;

   - 각 후보 모션 벡터들의 매치 에러들(match errors)을 계산하는 매치 에러 유닛으로서, 상기 후보 모션 벡터들 중 제1 후보 모션 벡터의 상기 매치 에러는 제1 성분 및 제2 성분에 기초하고, 상기 제1 성분은 제2 이미지의 제2 화소 그룹의 화소 값들과 상기 제1 화소 그룹의 화소 값들의 비교에 대응하며, 상기 제2 성분은상기 선추정 모션 벡터들 중 제1 선추정 모션 벡터가 추정되었던 제3 화소 그룹과 상기 제1 화소 그룹 사이의 관계에 의존하고, 상기 후보 모션 벡터들 중 상기 제1 후보 모션 벡터는 상기 선추정 모션 벡터들 중 상기 제1 선추정 모션 벡터에 기초하는, 상기 매치 에러 유닛; 및

   - 상기 각 후보 모션 벡터들의 상기 매치 에러들을 비교함으로써 상기 후보 모션 벡터들로부터 상기 현재 모션 벡터를 선택하는 선택 유닛을 포함하고,

   상기 모션 추정 유닛은 상기 제1 이미지에 대한 분할(segmentation) 결과에 기초하여 상기 제2 성분을 화소 세그먼트들(segments)로 변조하도록 배열되고, 상기 분할의 결과는 상기 제1 화소 그룹의 제1 부분과 상기 제3 화소 그룹의 제1 부분 양자가 상기 세그먼트들 중 특정한 세그먼트에 대응하는 확률에 관계되는 것을 특징으로 하는, 모션 추정 유닛.
2. 제 1 항에 있어서, 상기 모션 추정 유닛(100)은 상기 확률의 사이즈에 기초하여 상기 제2 성분을 변조하도록 배열되는 것을 특징으로 하는, 모션 추정 유닛.
3. 제 1 항에 있어서, 상기 모션 추정 유닛은 상기 제1 화소 그룹의 상기 제1 부분의 제1 화소들의 수와 상기 제1 화소 그룹의 제2 화소들의 수의 비에 기초하여 상기 제2 성분이 변조되도록 배열되는 것을 특징으로 하는, 모션 추정 유닛.
4. 제 1 항에 있어서, 상기 제1 화소 그룹은 화소 블록인 것을 특징으로 하는, 모션 추정 유닛.
5. 제 1 항에 있어서, 상기 대응하는 매치 에러가 상기 매치 에러들 중 최소인 경우, 상기 선택 유닛은 상기 후보 모션 벡터들의 셋트로부터 상기 현재 모션 벡터로서 특정 모션 벡터를 선택하도록 배열되는 것을 특징으로 하는, 모션 추정 유닛.
6. 제 1 항에 있어서, 상기 매치 에러 유닛은 상기 제2 이미지의 상기 제2 화소 그룹의 화소들의 휘도 값들에서 상기 제1 화소 그룹의 화소들의 휘도 값들을 감함으로써, 상기 후보 모션 벡터들 중 상기 제1 후보 모션 벡터의 상기 매치 에러를계산하도록 설계되는 것을 특징으로 하는, 모션 추정 유닛.
7. 제1 이미지의 제1 화소 그룹에 대해 현재 모션 벡터를 추정하는 방법에 있어서,

   - 상기 제1 화소 그룹에 대해, 선추정 모션 벡터들로부터 추출되는 후보 모션 벡터들의 셋트를 발생하는 단계;

   - 각 후보 모션 벡터들의 매치 에러들을 계산하는 단계로서, 상기 후보 모션 벡터들 중 제1 후보 모션 벡터의 상기 매치 에러는 제1 성분 및 제2 성분에 기초하고, 상기 제1 성분은 제2 이미지의 제2 화소 그룹의 화소 값들과 상기 제1 화소 그룹의 화소 값들의 비교에 대응하며, 상기 제2 성분은 상기 선추정 모션 벡터들 중 제1 선추정 모션 벡터가 추정되었던 제3 화소 그룹과 상기 제1 화소 그룹 사이의 관계에 의존하고, 상기 후보 모션 벡터들 중 상기 제1 후보 모션 벡터는 상기 선추정 모션 벡터들 중 상기 제1 선추정 모션 벡터에 기초하는, 상기 매치 에러들의 계산 단계; 및

   - 상기 각 후보 모션 벡터들의 상기 매치 에러들을 비교함으로써 상기 후보 모션 벡터들로부터 상기 현재 모션 벡터를 선택하는 단계를 포함하고,

   상기 제1 이미지에 대한 분할 결과에 기초하여 상기 제2 성분을 화소 세그먼트들로 변조하고, 상기 분할의 결과는 상기 제1 화소 그룹의 제1 부분과 상기 제3 화소 그룹의 제1 부분 양자가 상기 세그먼트들 중 특정한 세그먼트에 대응하는 확률에 관계되는 것을 특징으로 하는, 모션 추정 방법.
8. - 제1 이미지를 포함하는 일련의 이미지들을 나타내는 신호를 수신하는 수신 수단;

   - 상기 제1 이미지의 제1 화소 그룹에 대해 현재 모션 벡터를 추정하기 위한 제 1 항에 청구된 모션 추정 유닛; 및

   - 상기 이미지들과 상기 현재 모션 벡터에 기초하여 처리된 이미지들을 결정하기 위한 모션 보상된 이미지 처리 유닛(306)을 포함하는, 이미지 처리 장치.
9. 제 8 항에 있어서, 상기 모션 보상된 이미지 처리 유닛은 비디오 압축을 수행하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.
10. 제 8 항에 있어서, 상기 모션 보상된 이미지 처리 유닛은 상기 일련의 이미지들에서 잡음을 감소하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.
11. 제 8 항에 있어서, 상기 모션 보상된 이미지 처리 유닛은 상기 일련의 이미지들을 디-인터레이싱(de-interlace)하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.
12. 제 8 항에 있어서, 상기 모션 보상된 이미지 처리 유닛은 업-컨버젼(up-conversion)을 수행하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.