KR20060103430A - 작고 고속으로 움직이는 오브젝트들을 추적하기 위한움직임 벡터 필드들 정제 방법 - Google Patents
작고 고속으로 움직이는 오브젝트들을 추적하기 위한움직임 벡터 필드들 정제 방법 Download PDFInfo
- Publication number
- KR20060103430A KR20060103430A KR1020067008332A KR20067008332A KR20060103430A KR 20060103430 A KR20060103430 A KR 20060103430A KR 1020067008332 A KR1020067008332 A KR 1020067008332A KR 20067008332 A KR20067008332 A KR 20067008332A KR 20060103430 A KR20060103430 A KR 20060103430A
- Authority
- KR
- South Korea
- Prior art keywords
- motion vector
- pixels
- image
- group
- vector field
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 216
- 239000013598 vector Substances 0.000 title claims abstract description 193
- 238000000034 method Methods 0.000 title claims description 25
- 238000007670 refining Methods 0.000 title 1
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 230000002123 temporal effect Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/553—Motion estimation dealing with occlusions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
Abstract
제 1 움직임 벡터 필드(MVF1)를 제 2 움직임 벡터 필드(MVF2)로 변환하는 변환 유닛(300)이 개시되어 있다. 제 1 움직임 벡터 필드는, 이미지들의 시퀀스의 제 1 이미지 및 제 2 이미지에 기초하여, 제 1 이미지와 제 2 이미지 사이의 시간적 위치에 대해 계산된다. 변환 유닛(300)은: 제 1 이미지에서 참조되지 않은 픽셀들의 제 1 그룹을 확립하는 제 1 확립 수단(302); 제 2 이미지에서 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 제 2 확립 수단(304); 참조되지 않은 픽셀들의 제 1 그룹으로부터 참조되지 않은 픽셀들의 제 2 그룹으로 향해진 후보 움직임 벡터의 매칭 에러를 계산하는 계산 수단(306); 및 매칭 에러를 미리 결정된 매칭 임계값과 비교하고, 매칭 에러가 미리 결정된 매칭 임계값보다 아래이면, 제 2 움직임 벡터 필드의 움직임 벡터들 중 제 1 벡터에 후보 움직임 벡터를 할당하는 계산 수단(308)을 포함한다.
움직임 벡터 필드, 후보 움직임 벡터, 참조되지 않은 픽셀들, 매칭 에러, 시간적 보간
Description
본 발명은 제 2 움직임 벡터 필드의 움직임 벡터들 중 제 1 벡터를 결정함으로써 제 1 움직임 벡터 필드를 제 2 움직임 벡터 필드로 변환하는 방법으로서, 상기 제 1 움직임 벡터 필드는, 이미지들의 시퀀스의 제 1 이미지 및 제 2 이미지에 기초하여, 제 1 이미지와 제 2 이미지 사이의 시간적 위치에 대해 계산되는, 상기 변환 방법에 관한 것이다.
본 발명은 또한 제 1 움직임 벡터 필드를 제 2 움직임 벡터 필드로 변환하는 변환 유닛에 관한 것이다.
본 발명은 또한 이미지 처리 장치로서,
- 입력 이미지들의 시퀀스에 대응하는 신호를 수신하는 수신 수단; 및
- 입력 이미지들의 시퀀스에 기초하고, 상기한 변환 유닛에 의해 제공되는 제 2 움직임 벡터 필드에 기초하여, 출력 이미지들의 시퀀스를 계산하는 상기 이미지 처리 유닛에 관한 것이다.
본 발명은 또한, 상기한 변환 유닛을 포함하는 비디오 인코딩 유닛에 관한 것이다.
본 발명은 또한, 컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품으로서, 제 1 움직임 벡터 필드를 제 2 움직임 벡터 필드로 변환하는 명령들을 포함하는, 상기 컴퓨터 프로그램 제품에 관한 것이다.
1993년 10월 제3권 제5호 368 내지 379쪽의 비디오 기술에 대한 회로들 및 시스템들에 관한 IEEE 트랜잭션들에서 G. de Haan 등에 의한 "True-Motion Estimation with 3-D Recursive Search Block Matching"의 논문에는 소위 움직임 추정 유닛이 개시되어 있다. 이 움직임 추정 유닛은 입력 이미지들의 시퀀스에 기초하여 움직임 벡터들을 추정하도록 설계되어 있다. 이들 추정된 움직임 벡터들은 예를 들면 보간된 출력 이미지를 계산하는데 이용될 수 있다. 움직임 벡터는 시퀀스의 제 1 이미지의 한 픽셀 그룹에서 시퀀스의 제 2 이미지의 다른 픽셀 그룹으로 변환하는 것에 관련된다. 통상적으로, 픽셀 그룹들은 예를 들면 8*8 픽셀들의 픽셀 블록들이다. 입력 이미지들의 세트에 기초하여 계산되거나 출력 이미지에 적용 가능한 움직임 벡터들의 세트는 움직임 벡터 필드라 불린다. 상기한 움직임 추정 유닛은 실시간 비디오 응용들에 적절하다. 반복적 방식(recursive approach)은 비교적 일치된 움직임 벡터 필드들을 유발한다.
배경에 대해 고속으로 움직이는 상대적으로 작은 오브젝트들의 움직임의 추정은 문제가 있는 것으로 드러난다. 특히, 오브젝트들이 움직임 추정 유닛에 의해 적용되는 블록 크기보다 더 작은 경우에, 움직임 추정 유닛은 때때로 부정확한 움직임 벡터들을 추정한다. 이것은, 특히 오브젝트들의 속도가 움직임 벡터 그리드(motion vector grid)의 샘플 거리보다 더 큰 경우에 그러하다. 결과적으로, 상대 적으로 작은 오브젝트들은 움직임 보상된 출력 이미지에서 사라질 때가 있다. 움직임 보상된 출력 이미지는 움직임 벡터 필드 및 다수의 입력 이미지들의 시간적 보간에 기초한다.
본 발명의 목적은 전제부에 기술된 종류의 방법을 제공하고, 그에 의해 제 2 움직임 벡터 필드가 제 1 움직임 벡터 필드에 비해 상대적으로 작은 오브젝트들의 움직임을 더 양호하게 표현하는 것이다.
본 발명의 목적은,
- 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 제 1 이미지의 상호 접속된 픽셀들의 제 1 세트를 선택함으로써, 제 1 이미지에서 참조되지 않은 픽셀들(un-referenced pixels)의 제 1 그룹을 확립하는 단계;
- 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 제 2 이미지의 상호 접속된 픽셀들의 제 2 세트를 선택함으로써, 제 2 이미지에서 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 단계;
- 참조되지 않은 픽셀들의 제 1 그룹으로부터 참조되지 않은 픽셀들의 제 2 그룹으로 향해진 후보 움직임 벡터(candidate motion vector)의 매칭 에러를 계산하는 단계; 및
- 매칭 에러를 미리 결정된 매칭 임계값과 비교하고, 매칭 에러가 미리 결정된 매칭 임계값보다 아래이면, 제 2 움직임 벡터 필드의 움직임 벡터들 중 제 1 벡터에 후보 움직임 벡터를 할당하는 단계를 포함하는 변환 방법에 의해 달성된다.
일반적으로, 움직임 보상, 즉, 시간적 보간은 하나 이상의 오리지널 입력 이미지들로부터 픽셀값들을 페칭하여 출력 이미지의 픽셀들 모두를 정확하게 규칙적으로 실행함으로써 수행된다. 그렇게 함으로써, 모든 출력 픽셀에 값이 할당되기 때문에, 출력 이미지에 구멍(holes)이 생기지 않는다. 그러나 일반적으로는, 모든 출력 픽셀을 통과하여 실행함으로써, 움직임 보상된 출력 이미지에 기여하지 않는 오리지널 입력 이미지들의 픽셀들이 존재할 것이다. 그것은 입력 이미지들에서 참조되지 않음(un-referenced)을 의미한다. 통상적으로, 참조되지 않은 픽셀들은 폐쇄된 영역들에서 발생할 것이며, 이것은 정확하고 바람직한 현상이다. 본 발명자들은 움직임 추적 유닛이 고속의 상대적으로 작은 오브젝트들을 추적하는데 실패하는 경우에 참조되지 않은 픽셀들이 발생되는 것을 관찰하였다. 본 발명은 이러한 관찰에 기초하고 있다. 2개의 입력 이미지들에서, 참조되지 않은 픽셀들이 검색되어 후속적으로 후보 움직임 벡터에 의해 서로 링크된다. 후보 움직임 벡터가 적절하다고 보이는 경우에, 부정확하다고 생각되는 미리 추정된 움직임 벡터에 할당된다. 미리 추정된 움직임 벡터의 좌표와 참조되지 않은 픽셀들의 2개의 그룹들 사이의 관계는 2개의 입력 이미지들과 움직임 벡터 필드 사이의 시간적 관계와 참조되지 않은 픽셀들의 2개의 그룹들의 공간적 좌표에 의해 주어진다.
참조되지 않은 픽셀들의 제 1 그룹을 확립하는 것과 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 것은 서로 독립적으로 수행될 수 있다. 그러나 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 것은 참조되지 않은 픽셀들의 제 1 그룹에 기초하는 것이 바람직하다. 의존적 이점은 효율성이 증가되는 점이다. 다른 이점은 견고성(robustness)이 증가되는 점이다.
본 발명에 따른 방법의 실시예에서, 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 것은 참조되지 않은 픽셀들의 제 1 그룹의 공간적 환경과 특정한 움직임 벡터에 기초하며, 특정한 움직임 벡터는 제 1 움직임 벡터 필드에 속하고 참조되지 않은 픽셀들의 제 1 그룹의 공간적 환경 내에 위치된다. 참조되지 않은 픽셀들의 제 1 그룹과 참조되지 않은 픽셀들의 제 2 그룹은 서로 상대적으로 가깝게 위치되어야 한다. 그것은, 참조되지 않은 픽셀들의 제 1 그룹이 주어지면, 참조되지 않은 픽셀들의 제 2 그룹은 참조되지 않은 픽셀들이 제 1 그룹의 공간적 위치와 특정한 오프셋에 기초하여 발견될 수 있음을 의미한다. 그 오프셋은, 예를 들면 제 1 움직임 벡터 필드로부터 특정한 움직임 벡터를 취하여 미리 결정된 델타를 부가함으로써 구성되거나 또는 제 1 움직임 벡터 필드로부터 움직임 벡터에 의해 정의되는 것이 바람직하다. 오프셋은 또한 영이 될 수도 있으며, 소위 널 움직임 벡터(null motion vector)가 적용될 수도 있다.
본 발명에 따른 방법의 실시예에서, 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 것은 참조되지 않은 픽셀들의 제 1 그룹과 제 2 이미지에서 참조되지 않은 픽셀들의 후보 그룹 사이의 오버랩을 계산하는 것에 기초한다. 오버랩은 참조되지 않은 픽셀들의 제 1 그룹의 픽셀들의 제 1 수와 참조되지 않은 픽셀들의 제 2 그룹의 픽셀들의 제 2 수에 관련된다. 게다가, 오버랩은 참조되지 않은 픽셀들의 제 1 그룹의 형상과 참조되지 않은 픽셀들의 제 2 그룹의 형상에 관련될 수도 있다. 오버랩을 계산하는 것은, 참조되지 않은 픽셀들의 제 1 그룹과 참조되지 않은 픽셀들의 제 2 그룹 사이의 관계를 정의하는 후보 움직임 벡터가 주어진 두 이미지들에서 참조되지 않은 픽셀들의 수를 계산하는 것이다. 상대적으로 높은 오버랩 비율(예컨대, 75퍼센트보다 높게)이 확립되는 경우에, 후보 움직임 벡터는 적절한 것으로 가정된다. 후속적으로, 대응하는 매칭 에러가 계산된다.
참조되지 않은 픽셀들의 제 1 그룹의 크기는 너무 작지 않은 것이 바람직하다. 그러므로 참조되지 않은 픽셀들의 제 1 그룹의 픽셀들의 제 1 수는 제 1 미리 결정된 카운트 임계값보다 위인 것이 바람직하다. 또한, 참조되지 않은 픽셀들의 제 1 그룹의 크기는 너무 크지 않다. 그러므로 참조되지 않은 픽셀들의 제 1 그룹의 픽셀들의 수는 제 2 미리 결정된 카운트 임계값보다 아래인 것이 바람직하다. 동일한 2개의 조건들은 참조되지 않은 픽셀들의 제 2 그룹에 대해 이행되는 것이 바람직하다. 비디오 이미지의 표준적 정의를 위해, 통상적인 값들은: 제 1 미리 결정된 카운트 임계값이 4*4 픽셀들과 같다; 제 2 미리 결정된 카운트 임계값이 10*10 픽셀들과 같다.
본 발명에 따른 방법의 실시예에서, 매칭 에러를 확립하는 것은 참조되지 않은 픽셀들의 제 1 및 제 2 그룹의 각각의 픽셀값들 사이의 차를 계산하는 것을 포함한다. 예를 들면, 매칭 에러는 절대차의 합(SAD: Sum of Absolute Difference)이 될 수 있다. 이러한 매칭 에러는 이미지 부분들 사이의 매칭을 확립하기 위한 상대적으로 양호한 측정이며, 광범위한 계산들을 요구하지 않는다.
본 발명의 다른 목적은, 전제부에 기술된 종류의 변환 유닛으로서, 제 2 움직임 벡터 필드가 제 1 움직임 벡터 필드에 비해, 상대적으로 작은 오브젝트들의 움직임을 더 양호하게 표현하는, 상기 변환 유닛을 제공하는 것이다.
본 발명의 이러한 목적은:
- 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 제 1 이미지의 상호 접속된 픽셀들의 제 1 세트를 선택함으로써, 제 1 이미지에서 참조되지 않은 픽셀들의 제 1 그룹을 확립하는 제 1 확립 수단;
- 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 제 2 이미지의 상호 접속된 픽셀들의 제 2 세트를 선택함으로써, 제 2 이미지에서 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 제 2 확립 수단;
- 참조되지 않은 픽셀들의 제 1 그룹으로부터 참조되지 않은 픽셀들의 제 2 그룹으로 향해진 후보 움직임 벡터의 매칭 에러를 계산하는 계산 수단; 및
- 매칭 에러를 미리 결정된 매칭 임계값과 비교하고, 매칭 에러가 미리 결정된 매칭 임계값보다 아래이면, 제 2 움직임 벡터 필드의 움직임 벡터들 중 제 1 벡터에 후보 움직임 벡터를 할당하는 비교 수단을 포함하는, 상기 변환 유닛에 의해 달성된다.
본 발명의 다른 목적은, 전제부에 기술된 종류의 이미지 처리 장치로서, 시간적 보간된 출력 이미지들이 상대적으로 고속이며 상대적으로 양호한 작은 오브젝트들을 표현하는, 상기 이미지 처리 장치를 제공하는 것이다.
본 발명의 이러한 목적은:
- 제 1 움직임 벡터 필드는 각각의 움직임 벡터들을 포함하지 않는 제 1 이미지의 상호 접속된 픽셀들의 제 1 세트를 선택함으로써 제 1 이미지 내의 참조되지 않은 픽셀들의 제 1 그룹을 확립하는 제 1 확립 수단;
- 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 제 2 이미지의 상호 접속된 픽셀들의 제 2 세트를 선택함으로써, 제 2 이미지에서 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 제 2 확립 수단;
- 참조되지 않은 픽셀들의 제 1 그룹으로부터 참조되지 않은 픽셀들의 제 2 그룹으로 향해진 후보 움직임 벡터의 매칭 에러를 계산하는 계산 수단; 및
- 매칭 에러를 미리 결정된 매칭 임계값과 비교하고, 매칭 에러가 미리 결정된 매칭 임계값보다 아래이면, 제 2 움직임 벡터 필드의 움직임 벡터들 중 제 1 벡터에 후보 움직임 벡터를 할당하는 비교 수단을 포함하는, 상기 변환 유닛으로 달성된다.
이미지 처리 장치는 부가의 구성요소들, 예를 들면 출력 이미지들을 디스플레이하는 디스플레이 디바이스를 포함할 수 있다. 이미지 처리 유닛은 이미지 처리의 하나 이상의 다음 종류들을 지원할 수 있다:
- 비디오 압축, 즉 예컨대 MPEG 표준에 따른 인코딩 또는 디코딩.
- 디인터리빙: 인터리빙은 홀수 또는 짝수의 이미지 라인들을 교대로 전송하기 위한 공동의 비디오 방송 절차이다. 디인터리빙은 전체 수직 해상도를 복원하기 위해, 즉 홀수 및 짝수 라인들을 각각의 이미지에 대해 동시에 이용 가능하게 한다;
- 이미지 레이트 변환: 오리지널 입력 이미지들의 일련으로부터, 출력 이미지들의 더 큰 일련이 계산된다. 출력 이미지들은 2개의 오리지널 입력 이미지들 사이에 일시적으로 위치된다; 및
- 시간적 잡음 감소. 이것은 공간적 처리를 포함할 수 있으며 시공간적 잡음 감소를 유발한다.
이미지 처리 장치는 예를 들면 TV, 셋톱 박스, VCR(Video Cassette Recorder) 플레이어, 위성 동조기, DVD(Digital Versatile Disk) 플레이어 또는 레코더일 수 있다.
본 발명의 또 다른 목적은, 전제부에 기술된 종류의 컴퓨터 프로그램 제품으로서, 제 2 움직임 벡터 필드가 제 1 움직임 벡터 필드에 비해, 상대적으로 작은 오브젝트들의 움직임을 보다 양호하게 표현하는, 상기 컴퓨터 프로그램 제품을 제공하는 것이다.
본 발명의 이러한 목적은, 컴퓨터 장치가 처리 수단 및 메모리를 포함하고, 로딩 후에,
- 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 제 1 이미지의 상호 접속된 픽셀들의 제 1 세트를 선택함으로써, 제 1 이미지에서 참조되지 않은 픽셀들의 제 1 그룹을 확립하고;
- 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 제 2 이미지의 상호 접속된 픽셀들의 제 2 세트를 선택함으로써, 제 2 이미지에서 참조되지 않은 픽셀들의 제 2 그룹을 확립하고;
- 참조되지 않은 픽셀들의 제 1 그룹으로부터 참조되지 않은 픽셀들의 제 2 그룹으로 향해진 후보 움직임 벡터의 매칭 에러를 계산하며;
- 매칭 에러를 미리 결정된 매칭 임계값과 비교하고, 매칭 에러가 미리 결정된 매칭 임계값보다 아래이면, 제 2 움직임 벡터 필드의 움직임 벡터들 중 제 1 벡터에 후보 움직임 벡터를 할당하는 것을 실행하는 능력을 처리 수단에 제공하는, 상기 컴퓨터 프로그램 제품에 의해 달성된다.
본 발명의 또 다른 목적은, 개선된 압축률을 갖는 전제부에 기술된 종류의 비디오 인코딩 유닛을 제공하는 것이다.
본 발명의 이러한 목적은:
- 제 1 움직임 벡터 필드는 각각의 움직임 벡터들을 포함하지 않는 제 1 이미지의 상호 접속된 픽셀들의 제 1 세트를 선택함으로써 제 1 이미지 내의 참조되지 않은 픽셀들의 제 1 그룹을 확립하는 제 1 확립 수단;
- 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 제 2 이미지의 상호 접속된 픽셀들의 제 2 세트를 선택함으로써, 제 2 이미지에서 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 제 2 확립 수단;
- 참조되지 않은 픽셀들의 제 1 그룹으로부터 참조되지 않은 픽셀들의 제 2 그룹으로 향해진 후보 움직임 벡터의 매칭 에러를 계산하는 계산 수단; 및
- 매칭 에러를 미리 결정된 매칭 임계값과 비교하고, 매칭 에러가 미리 결정된 매칭 임계값보다 아래이면, 제 2 움직임 벡터 필드의 움직임 벡터들 중 제 1 벡터에 후보 움직임 벡터를 할당하는 비교 수단을 포함하는, 상기 변환 유닛으로 달성된다.
결과로서 생긴 움직임 벡터 필드가 실제의 움직임을 더 양호하게 표현하기 때문에, 비디오 데이터는 더욱 효과적으로 압축될 수 있다. 나머지는 그다지 중요하지 않다.
변환 유닛의 수정들 및 변형들은 기술된 이미지 처리 장치, 방법, 비디오 인코딩 유닛 및 컴퓨터 프로그램 제품의 수정들 및 변형들에 대응할 수 있다.
도 1은 출력 이미지들의 시퀀스로서, 출력 이미지들 중 하나는 종래 기술에 따라 움직임 추정 유닛에 의해 추정되는 움직임 벡터 필드 및 2개의 입력 이미지들에 기초하여 보간되는, 출력 이미지들의 시퀀스를 도시한 도면.
도 2는 2개의 입력 이미지들에서 참조되지 않은 픽셀들을 개략적으로 도시한 도면.
도 3은 본 발명에 따라 변환 유닛을 개략적으로 도시한 도면.
도 4는 본 발명에 따라 이미지 처리 장치를 개략적으로 도시한 도면.
도 5는 출력 이미지들의 시퀀스로서, 출력 이미지들 중 하나는 본 발명에 따라 변환 유닛에 의해 갱신되는 움직임 벡터 필드 및 2개의 입력 이미지들에 기초하여 보간되는, 상기 출력 이미지들의 시퀀스를 도시한 도면.
본 발명에 따른 이미지 처리 장치, 방법 및 컴퓨터 프로그램 제품의 변환 유닛의 이들 및 다른 양상들은 첨부된 도면들을 참조하여 이후 기술되는 구현들 및 실시예들에 대한 설명으로부터 명확할 것이다.
동일한 참조 번호들은 도면 전반에 걸쳐 동일한 부분들을 표시하기 위하여 이용된다.
도 1은 출력 이미지들의 시퀀스로서, 출력 이미지들 중 하나(102)는 종래 기술에 따라 움직임 추정 유닛에 의해 추정되는 움직임 벡터 필드 및 2개의 입력 이미지들에 기초하여 보간되는, 출력 이미지들의 시퀀스를 도시한다. 출력 이미지들 중 제 1 이미지(100)는 입력 이미지들 중 제 1 이미지와 같다. 출력 이미지들 중 제 2 이미지(104)는 입력 이미지들 중 제 2 이미지와 같다. 입력 이미지들의 시퀀스는 축구 시합의 일부를 표현한다. 카메라는 이러한 입력 이미지들의 시퀀스를 만들 때를 패닝하였다(pan). 각각의 입력 이미지들의 직접 복사본들인 두 출력 이미지들(101, 104)에서, 다수의 축구 선수들(106, 108, 110), 라인맨(112) 및 볼(114)이 보일 수 있다. 카메라의 패닝에 의해 발생되는 배경의 이동에 대한 선수들(106, 108, 110), 라인맨(112) 및 볼(114)의 속도들이 높다. 그로 인해, 움직임 추정 유닛은 이들 속도들을 정확하게 추정하는데 실패했다. 불행히도, 선수들(106, 108, 110), 라인맨(112) 및 볼(114)은 부정확한 움직임 추정으로 인해, 시간 보상에 의해 계산되는 출력 이미지(102)에서 보이지 않는다. 나중의 출력 이미지(102)만 빈 축구 필드를 보여준다. 출력 이미지들(100, 102, 104)의 시퀀스의 시청자는 깜박이는 시퀀스를 관찰할 것이다: 가시 가능한 선수들, 가시 가능한 선수들, 가시 가능한 선수들 등.
도 2는 참조되지 않은 픽셀들(204-212, 214-222)을 표현하는 마스크들로 겹쳐진 2개의 입력 이미지들(200, 202)을 개략적으로 도시한다. 이것은 제 1 입력 이미지가 참조되지 않은 픽셀들의 이진 맵으로 병합됨을 의미한다. 이들 참조되지 않 은 픽셀들은 입력 이미지에서 백 스트라이프들 및 블록들로서 표현된다. 참조되지 않음은, 이들 픽셀들이 도 1에 도시된 바와 같이 출력 이미지(102)의 시간적 보간에 이용되지 않음을 의미한다. 그 이유는, 추정된 움직임 벡터 필드가 이들 픽셀들에 대응하는 움직임 벡터를 포함하지 않은 픽셀들이 이용되지 않았기 때문이다.
2개의 이미지들(200, 202)의 간단한 조사는 이들 2개의 이미지들이 다수의 상대적으로 큰 영역들 또는 참조되지 않은 픽셀들의 그룹들(204-212, 214-222)을 포함하는 것을 보여준다. 2개의 이미지들 중 제 1 이미지(200)의 참조되지 않은 픽셀들의 상이한 그룹들(204-212)의 형상 및 크기는 2개의 이미지들 중 제 2 이미지(200)의 상이한 그룹들(214-222)의 형상 및 크기와 상대적으로 잘 매칭한다. 예를 들면, 2개의 이미지들 중 제 1 이미지(200)의 참조되지 않은 픽셀들의 제 1 그룹(204)은 2개의 이미지들 중 제 2 이미지(202)의 참조되지 않은 픽셀들의 제 2 그룹(202)과 상대적으로 잘 매칭한다. 또한, 2개의 이미지들 중 제 1 이미지(200)의 참조되지 않은 픽셀들의 제 3 그룹(210)은 2개의 이미지들 중 제 2 이미지(202)의 참조되지 않은 픽셀들의 제 4 그룹(220)과 상대적으로 잘 매칭한다. 본 발명에 따른 변환 유닛(300) 및 방법이 이러한 관찰에 기초한다. 변환 유닛 및 방법은 너무 크거나 너무 작지 않는 크기를 가지고 서로의 공간적 환경 내에 위치되는 것과 같은, 다수의 조건들을 이행하는 후속 이미지들 내의 참조되지 않은 픽셀들의 상관된 그룹들을 발견하는 것을 포함한다. 참조되지 않은 픽셀들의 제 1 그룹(204)의 제 1 공간적 위치와 참조되지 않은 픽셀들의 제 2 그룹(214)의 제 2 공간적 위치 사이의 추정된 차는 참조되지 않은 픽셀들의 2개의 그룹들(들4, 214)을 링크하는 후보 움 직임 벡터를 표현한다.
도 2의 2개의 이미지들의 다른 관찰은, 참조되지 않은 픽셀들의 상이한 그룹들(204-212, 214-222)이 선수들(106-110), 라인맨(112) 및 볼(114)에 대응한다. 이것은 참조되지 않은 픽셀들의 상이한 그룹들(204-212, 214-222)은 배경에 비해 고속으로 움직이는 상대적으로 작은 오브젝트들에 대응한다.
도 3은 본 발명에 따른 변환 유닛(300)을 개략적으로 도시한다. 변환 유닛(300)은 제 1 움직임 벡터 필드(MVF1)를 제 2 움직임 벡터 필드(MVF2)로 변환하도록 구성된다. 제 1 움직임 벡터 필드(MVF1)는 제 1 이미지(100)와 제 2 이미지(104) 사이에서, 시간적 위치 n+a(0<a<1)에 대해 이미지들의 시퀀스 중 제 1 이미지(100) 및 제 2 이미지(104)에 기초하여 계산된다. 제 1 움직임 벡터 필드(MVF1)는, 1993년 10월 제3권 제5호 368 내지 379쪽의 비디오 기술에 대한 회로들 및 시스템들에 관한 IEEE 트랜잭션들에서 G. de Haan 등에 의한 "True-Motion Estimation with 3-D Recursive Search Block Matching"의 논문에 명시된 움직임 추정 유닛에 의해 계사되는 것이 바람직하다.
변환은 제 1 움직임 벡터 필드들(MVF1)의 다수의 움직임 벡터들이 갱신, 즉 새로운 움직임 벡터들에 의해 대체됨을 의미한다. 통상적으로, 제 2 움직임 벡터 필드(MVF2)의 움직임 벡터들 대부분은 제 1 움직임 벡터 필드(MVF1)의 각각의 움직임 벡터들과 같다. 통상적으로, 제 2 움직임 벡터 필드(MVF2)의 상대적으로 작은 수의 움직임 벡터들만이 제 1 움직임 벡터 필드(MVF1)의 각각의 움직임 벡터들과 상이하다. 갱신된 움직임 벡터들은 상대적으로 작은 오브젝트들의 움직임에 대응한 다. 통상적으로 소수의 움직임 벡터들만이 갱신되어, 결국 보간된 출력 이미지가 크게 될 수 있다. 그것은 보간된 출력 이미지에서 보일 수 있는 풋볼과 다른 보간된 출력 이미지에서 보일 수 있는 풋볼 사이의 차가 될 수 있다. 또는 보일 수 있거나 없는 축구 선수 사이의 차가 될 수 있다.
변환 유닛(300)은:
- 제 1 이미지에서 참조되지 않은 픽셀들의 제 1 그룹을 확립하는 제 1 확립 수단(302);
- 제 2 이미지에서 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 제 2 확립 수단(304);
- 참조되지 않은 픽셀들의 제 1 그룹으로부터 참조되지 않은 픽셀들의 제 2 그룹으로 향해진 후보 움직임 벡터의 매칭 에러를 계산하는 계산 수단(306); 및
- 매칭 에러를 미리 결정된 매칭 임계값과 비교하고, 매칭 에러가 미리 결정된 매칭 임계값보다 아래이면, 제 2 움직임 벡터 필드(MVF2)의 움직임 벡터들 중 제 1 벡터에 후보 움직임 벡터를 할당하는 비교 수단(308)을 포함한다.
변환 유닛(300)의 작동은 다음과 같다. 변환 유닛(300)은 제 1 입력 접속기(310)에서 제 1 움직임 벡터 필드(MVF1)가 제공된다. 제 1 움직임 벡터 필드(MVF1)와 제 1 이미지(100) 사이의 시간적 관계에 기초하여, 제 1 확립 유닛(302)은 제 1 이미지의 픽셀들 중 어느 것이 참조되지 않는지를 결정하도록 구성된다. 제 1 움직임 벡터 필드(MVF1)가 t=n+a에 속하고 제 1 이미지가 t=n에 속하는 것을 주지한다. 참조되지 않는다는 것은, 그들 픽셀들에서 시작 또는 종료되는 제 1 움직임 벡터 필드(MVF1)에 어떠한 움직임 벡터도 없다는 것을 의미한다. 이 결정 처리의 첫 번째 중간 결과는 참조된 픽셀들과 참조되지 않은 픽셀들의 이진 맵이다(도 2 참조). 후속적으로, 상호 접속된 픽셀들의 그룹들은 첫 번째 중간 결과에서 검색된다. 이 검색은 이진 영역 성장이 뒤따르는 4*4 픽셀들의 커넬(kernel)과 템플릿 매칭(template matching)에 의해 수행되는 것이 바람직하다. 결국, 참조되지 않은 픽셀들의 제 1 그룹은 제 1 이미지(100)에 대해 확립된다. 확립은 참조되지 않은 픽셀들의 제 1 그룹의 크기의 하한 및 상한에 의해 경계된다. 이들 상한 및 하한은 제 2 입력 접속기(318)를 통해 카운트 임계값들로서 제공된다.
선택적으로, 참조되지 않은 픽셀들에 대한 검색은 제 1 일관성 조사, 즉 제 1 움직임 벡터 필드(MVF1)의 연속성에 의해 제어된다. 참조되지 않은 픽셀들을 발견할 가능성은 제 1 움직임 벡터 필드(MVF1)의 불연속성의 공간적 환경에서 상대적으로 높다. 게다가, 제 1 움직임 벡터 필드의 각각의 움직임 벡터들의 매칭 에러들은 참조되지 않은 픽셀들에 대한 검색을 제어하기 위해 적용될 수 있다. 참조되지 않은 픽셀들을 발견할 가능성은 상대적으로 높은 매칭 에러를 갖는 움직임 벡터의 공간적 환경에서 상대적으로 높다.
유사한 방식으로, 제 2 확립 수단(304)은 제 2 이미지의 어느 픽셀들이 참조되지 않는지를 결정하도록 구성된다(도 2 참조). 이것은 제 1 움직임 벡터 필드(MVF1)와 제 2 이미지(104) 사이의 시간적 관계에 기초하는 것을 의미한다.
제 2 이미지(104)에 대한 참조 및 참조되지 않은 픽셀들의 이진 맵과 참조되지 않은 픽셀들의 제 1 그룹을 확립하면, 변환 유닛(300)은 참조되지 않은 픽셀들 의 제 1 그룹이 제 2 이미지(104)에서 참조되지 않은 픽셀들의 제 2 그룹과 매칭될 수 있는지 여부를 조사하기 시작한다. 이 조사는 참조되지 않은 픽셀들의 제 1 그룹의 공간적 위치와 다수의 공간 오프셋들에 기초한다. 공간 오프셋들 중 제 1 오프셋은 영이다. 공간 오프셋들 중 제 2 오프셋은 제 1 움직임 벡터 필드(MVF1)의 움직임 벡터에 대응한다. 공간 오프셋들 중 제 3 오프셋은 델타와 조합된 후자의 움직임 벡터에 대응한다. 각각의 공간 오프셋들에 대해, 참조되지 않은 픽셀들의 제 1 그룹은 제 2 이미지(104)의 이진 맵과 비교된다. 이점에서의 비교는 템플릿 매칭의 종류를 의미한다. 달리 말하면, 각각의 공간 오프셋에 대해, 참조되지 않은 픽셀들의 제 1 그룹과 제 2 이미지(104)의 이진 맵의 "1"값 사이의 오버랩이 계산된다. 75퍼센트보다 많은 오버랩에 대응하는 공간 오프셋은 후보 움직임 벡터로서 적절히 가정된다.
이 후보 움직임 벡터는 계산 유닛(306)에 의해 실질적으로 평가된다. 계산 유닛(306)은 제 2 확립 유닛(304)에 의해 제공되는 공간 오프셋과, 제 3 입력 접속기(314)에 의해 제공되는 제 1 입력 이미지(100)의 픽셀값들과, 제 4 입력 접속기(312)에 의해 제공되는 제 2 입력 이미지(104)의 픽셀값들에 기초하여 매칭 에러를 계산한다. 픽셀값들은, 예를 들어 휘도 및/또는 색도를 표현할 수 있다. 통상적으로, 참조되지 않은 픽셀들의 제 1 그룹 및 제 2 그룹이 픽셀들의 픽셀값들이 적용된다.
그 후, 계산된 매칭 에러 및 후보 움직임 벡터는 계산 유닛(308)에 제공된다. 계산 유닛(308)은 매칭 에러를 미리 결정된 매치 임계값(T1)과 비교하며, 미리 결정된 매치 임계값(T1)은 제 5 입력 접속기(322)에 의해 제공되거나, 제 5 입력 접속기(322)에 의해 제공되는 외부 입력으로부터 유도된다. 이미지들의 휘도 레벨들의 수가 256이고, 참조되지 않은 픽셀들의 제 1 그룹의 크기가 16픽셀인 경우에 미리 결정된 매치 임계값(T1)의 통상적인 값은 48이다. 계산된 매칭 에러가 미리 결정된 매칭 임계값(T1)보다 아래이면, 후보 움직임 벡터는 제 2 움직임 벡터 필드(MVF2)의 적절한 움직임 벡터들에 할당된다. 적절한 움직임 벡터들의 좌표는 제 2 움직임 벡터 필드(MVF2)(n+a)의 시간적 위치와, 참조되지 않은 픽셀들의 제 1 그룹의 공간적 위치에 기초하여 결정되고, 후보 움직임 벡터에 기초하여 계산된다. 참조되지 않은 픽셀들의 제 1 그룹의 크기는 갱신되는 적절한 움직임 벡터들의 수에 관련됨을 명백히 알 것이다.
제 1 확립 유닛(302), 제 2 확립 유닛(304), 계산 유닛(306) 및 계산 유닛(308)은 하나의 처리기를 사용하여 구현될 수 있다. 보통, 이들 함수들은 소프트웨어 프로그램 제품의 제어 하에 실행된다. 실행 동안, 보통 소프트웨어 프로그램 제품은 RAM과 같은 메모리에 로딩되어 그로부터 실행된다. 프로그램은 ROM과 같은 배경 메모리, 하드 디스크 또는 자기 및/또는 광 저장으로부터 로딩될 수 있거나, 또는 인터넷과 같은 네트워크로부터 로딩될 수도 있다. 선택적으로, 주문형 반도체가 개시된 기능을 제공한다.
도 4는 본 발명에 따른 이미지 처리 장치(400)를 개략적으로 도시하며, 이미지 처리 장치는:
- 입력 이미지들의 시퀀스에 대응하는 신호를 수신하는 수신 수단(402); 및
- 입력 이미지들 중 제 1 이미지와 입력 이미지들 중 제 2 이미지 중간의 시간적 위치에 대해 제 1 움직임 벡터 필드를 추정하도록 구성된 움직임 추정 유닛(408). 제 1 움직임 벡터 필드는 제 1 움직임 벡터 필드의 시간적 위치에서 이미지의 픽셀들에 대한 각각의 움직임 벡터들을 포함한다;
- 도 3을 참조하여 기술되고 제 2 움직임 벡터 필드를 계산하도록 구성된 변환 유닛(300);
- 입력 이미지들의 시퀀스 및 제 2 움직임 벡터 필드에 기초하여 출력 이미지를 계산하도록 구성된 이미지 처리 유닛(404); 및
- 이미지 처리 유닛(404)의 출력 이미지들을 디스플레이하는 디스플레이 디바이스(406)를 포함한다.
신호는 안테나 또는 케이블을 통해 수신된 방송 신호일 수도 있지만, VCR(Video Cassette Recorder) 또는 디지털 비디오 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수 있다. 신호는 입력 접속기(410)에서 제공된다. 이미지 처리 장치(400)는 예를 들면 TV가 될 수도 있다. 대안적으로, 이미지 처리 장치(400)는 선택적 디스플레이 디바이스를 포함하는 것이 아니라, 디스플레이 디바이스(406)를 포함하는 장치에 출력 이미지들을 제공한다. 그 후, 이미지 처리 장치(400)는 예를 들면, 셋톱 박스, 위성 동조기, VCR 플레이어, DVD 플레이어 또는 레코더가 될 수 있다. 선택적으로, 이미지 처리 장치(400)는 하드 디스크와 같은 저장 수단 또는 예를 들면 광 디스크들과 같은 삭제 가능한 매체 상의 저장 수단을 포함한다. 이미지 처리 장치(400)는 필름-스튜디오 또는 브로드캐스터에 의해 적용 되는 시스템이 될 수 도 있다.
대안적으로 변환 유닛(300)은 비디오 인코딩 유닛에 적용된다. 본 발명에 따른 변환 유닛(300)은 예컨대 MPEG 인코딩에서 B 프레임들의 계산에 특히 관심 있다.
도 5는 출력 이미지들(100, 101, 104)의 시퀀스로서, 출력 이미지들 중 하나(101)는 본 발명에 따라 변환 유닛(300)에 의해 갱신되는 움직임 벡터 필드와 2개의 입력 이미지들에 기초하여 보간되는, 상기 출력 이미지들의 시퀀스를 도시한다. 출력 이미지들의 시퀀스의 제 1 이미지(100) 및 제 2 이미지(104)는 도 1에서 도시된 것과 동일함을 주지한다. 그러나 도 5에 도시된 출력 이미지들의 시퀀스의 제 3 이미지(101)는 도 1에 도시된 출력 이미지들의 시퀀스의 제 3 이미지(102)와 실질적으로 상이하다. 갱신된 움직임 벡터 필드, 즉 개선된 움직임 벡터 필드를 적용함으로써, 실질적으로 더 양호한 보간된 출력 이미지가 계산되는 것을 명확히 알 수 있다. 이제, 축구 선수들(106, 108, 110), 라인맨(112) 및 볼(114)은 출력 이미지들의 시퀀스에서 볼 수 있다. 시퀀스의 시청자는 도 1에 관련하여 기술된 깜박임을 관찰하는 것이 아니라, 부드러운 움직임 풍경을 관찰할 것이다.
상기 언급한 실시예들이 본 발명을 제한하기보다는 설명하기 위함이며, 당업자들은 첨부된 청구항들의 범위를 벗어나지 않고 대안적인 실시예들을 설계할 수 있음을 주지한다. 청구항들에서, 괄호 안에 놓인 임의의 참조 부호들은 청구항을 제한하는 것으로 구성되어서는 안 된다. 단어 '포함(comprising)'은 청구항에 나열되지 않은 구성 요소들 또는 단계들의 존재를 배제하지 않는다. 구성 요소 앞에 있 는 단어 "a" 또는 "an"은 복수의 구성 요소들의 존재를 배제하지 않는다. 본 발명은 여러 개의 개별 구성 요소들을 포함하는 하드웨어와, 적당히 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 여러 개의 수단을 열거하는 유닛 청구항들에서, 이들 여러 개의 수단은 하나 또는 동일 항목의 하드웨어에 의해 구현될 수 있다. "제 1", "제 2" 및 "제 3" 등의 단어 사용은 어떤 순서를 나타내지 않는다. 이들 단어들은 명칭들로서 해석되어야 한다. 그것은 예를 들면, 제 1 이미지는 제 2 이미지보다 앞에 있거나 뒤에 있을 수 있음을 의미한다.
Claims (14)
- 제 2 움직임 벡터 필드의 움직임 벡터들 중 제 1 벡터를 결정함으로써 제 1 움직임 벡터 필드를 상기 제 2 움직임 벡터 필드로 변환하는 방법으로서, 상기 제 1 움직임 벡터 필드는, 이미지들의 시퀀스의 제 1 이미지 및 제 2 이미지에 기초하여, 상기 제 1 이미지와 상기 제 2 이미지 사이의 시간적 위치에 대해 계산되는, 상기 변환 방법에 있어서:- 상기 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 상기 제 1 이미지의 상호 접속된 픽셀들의 제 1 세트를 선택함으로써, 상기 제 1 이미지에서 참조되지 않은 픽셀들(un-referenced pixels)의 제 1 그룹을 확립하는 단계;- 상기 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 상기 제 2 이미지의 상호 접속된 픽셀들의 제 2 세트를 선택함으로써, 상기 제 2 이미지에서 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 단계;- 상기 참조되지 않은 픽셀들의 제 1 그룹으로부터 상기 참조되지 않은 픽셀들의 제 2 그룹으로 향해진 후보 움직임 벡터(candidate motion vector)의 매칭 에러를 계산하는 단계; 및- 상기 매칭 에러를 미리 결정된 매칭 임계값과 비교하고, 상기 매칭 에러가 상기 미리 결정된 매칭 임계값보다 아래이면, 상기 제 2 움직임 벡터 필드의 움직임 벡터들 중 상기 제 1 벡터에 상기 후보 움직임 벡터를 할당하는 단계를 포함하는 변환 방법.
- 제 1 항에 있어서,상기 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 단계는 상기 참조되지 않은 픽셀들의 제 1 그룹에 기초하는, 변환 방법.
- 제 2 항에 있어서,상기 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 단계는 상기 참조되지 않은 픽셀들의 제 1 그룹의 공간적 환경(spatial environment) 및 특정한 움직임 벡터에 기초하고, 상기 특정한 움직임 벡터는 상기 제 1 움직임 벡터 필드에 속하고 상기 참조되지 않은 픽셀들의 제 1 그룹의 상기 공간적 환경 내에 위치되는, 변환 방법.
- 제 2 항에 있어서,상기 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 단계는 상기 참조되지 않은 픽셀들의 제 1 그룹의 공간적 환경 및 널 움직임 벡터(null motion vector)에 기초하는, 변환 방법.
- 제 1 항에 있어서,상기 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 단계는 상기 참조되지 않은 픽셀들의 제 1 그룹과 상기 제 2 이미지 내의 참조되지 않은 픽셀들의 후보 그룹 사이의 오버랩(overlap) 계산에 기초하는, 변환 방법.
- 제 1 항에 있어서,상기 참조되지 않은 픽셀들의 제 1 그룹의 픽셀들의 제 1 수는 제 1 미리 결정된 카운트 임계값보다 위인, 변환 방법.
- 제 1 항에 있어서,상기 참조되지 않은 픽셀들의 제 1 그룹의 픽셀들의 제 1 수는 제 2 미리 결정된 카운트 임계값보다 아래인, 변환 방법.
- 제 1 항에 있어서,상기 매칭 에러를 확립하는 단계는 상기 참조되지 않은 픽셀들의 제 1 그룹과 제 2 그룹의 각각의 픽셀값들 사이의 차들을 계산하는 단계를 포함하는, 변환 방법.
- 제 2 움직임 벡터 필드의 움직임 벡터들 중 제 1 벡터를 결정함으로써 제 1 움직임 벡터 필드를 상기 제 2 움직임 벡터 필드로 변환하는 변환 유닛(300)으로서, 상기 제 1 움직임 벡터 필드는, 이미지들의 시퀀스의 제 1 이미지 및 제 2 이미지에 기초하여, 상기 제 1 이미지와 상기 제 2 이미지 사이의 시간적 위치에 대해 계산되는, 상기 변환 유닛에 있어서:- 상기 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 상기 제 1 이미지의 상호 접속된 픽셀들의 제 1 세트를 선택함으로써, 상기 제 1 이미지에서 참조되지 않은 픽셀들의 제 1 그룹을 확립하는 제 1 확립 수단(302);- 상기 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 상기 제 2 이미지의 상호 접속된 픽셀들의 제 2 세트를 선택함으로써, 상기 제 2 이미지에서 참조되지 않은 픽셀들의 제 2 그룹을 확립하는 제 2 확립 수단(304);- 상기 참조되지 않은 픽셀들의 제 1 그룹으로부터 상기 참조되지 않은 픽셀들의 제 2 그룹으로 향해진 후보 움직임 벡터의 매칭 에러를 계산하는 계산 수단(306); 및- 상기 매칭 에러를 미리 결정된 매칭 임계값과 비교하고, 상기 매칭 에러가 상기 미리 결정된 매칭 임계값보다 아래이면, 상기 제 2 움직임 벡터 필드의 움직임 벡터들 중 상기 제 1 벡터에 상기 후보 움직임 벡터를 할당하는 비교 수단(308)을 포함하는 변환 유닛.
- 이미지 처리 장치(400)에 있어서:- 입력 이미지들의 시퀀스에 대응하는 신호를 수신하는 수신 수단(402); 및- 상기 입력 이미지들의 시퀀스에 기초하고, 제 9 항에 청구된 변환을 위한 변환 유닛에 의해 제공되는 제 2 움직임 벡터 필드에 기초하여, 출력 이미지들의 시퀀스를 계산하는 이미지 처리 유닛(404)을 포함하는 이미지 처리 장치.
- 제 10 항에 있어서,상기 출력 이미지들을 디스플레이하는 디스플레이 디바이스(406)를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
- 제 11 항에 있어서,상기 디스플레이 디바이스는 TV인 것을 특징으로 하는 이미지 처리 장치.
- 제 9 항에 청구된 변환 유닛을 포함하는 비디오 인코딩 유닛.
- 컴퓨터 장치(computer arrangement)에 의해 로딩되는 컴퓨터 프로그램 제품으로서, 제 2 움직임 벡터 필드의 움직임 벡터들 중 제 1 벡터를 결정함으로써 제 1 움직임 벡터 필드를 상기 제 2 움직임 벡터 필드로 변환하는 명령들을 포함하고, 상기 제 1 움직임 벡터 필드는, 이미지들의 시퀀스의 제 1 이미지 및 제 2 이미지에 기초하여, 상기 제 1 이미지와 상기 제 2 이미지 사이의 시간적 위치에 대해 계산되고, 상기 컴퓨터 장치는 처리 수단 및 메모리를 포함하고, 상기 컴퓨터 프로그램 제품은 로딩 후에,- 상기 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 상기 제 1 이미지의 상호 접속된 픽셀들의 제 1 세트를 선택함으로써, 상기 제 1 이미지에서 참조되지 않은 픽셀들의 제 1 그룹을 확립하고;- 상기 제 1 움직임 벡터 필드가 각각의 움직임 벡터들을 포함하지 않는 상기 제 2 이미지의 상호 접속된 픽셀들의 제 2 세트를 선택함으로써, 상기 제 2 이미지에서 참조되지 않은 픽셀들의 제 2 그룹을 확립하고;- 상기 참조되지 않은 픽셀들의 제 1 그룹으로부터 상기 참조되지 않은 픽셀들의 제 2 그룹으로 향해진 후보 움직임 벡터의 매칭 에러를 계산하며;- 상기 매칭 에러를 미리 결정된 매칭 임계값과 비교하고, 상기 매칭 에러가 상기 미리 결정된 매칭 임계값보다 아래이면, 상기 제 2 움직임 벡터 필드의 움직임 벡터들 중 상기 제 1 벡터에 상기 후보 움직임 벡터를 할당하는 것을 실행하는 능력을 상기 처리 수단에 제공하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP03103993.6 | 2003-10-28 | ||
| EP03103993 | 2003-10-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20060103430A true KR20060103430A (ko) | 2006-09-29 |
Family
ID=34486373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020067008332A KR20060103430A (ko) | 2003-10-28 | 2004-10-19 | 작고 고속으로 움직이는 오브젝트들을 추적하기 위한움직임 벡터 필드들 정제 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8102915B2 (ko) |
| EP (1) | EP1683362A1 (ko) |
| JP (1) | JP2007510213A (ko) |
| KR (1) | KR20060103430A (ko) |
| CN (1) | CN100588253C (ko) |
| WO (1) | WO2005041586A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100929608B1 (ko) * | 2008-01-17 | 2009-12-03 | 한양대학교 산학협력단 | 고속 전역탐색 블록정합 알고리즘을 이용한 동영상 움직임추정 방법 및 장치 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101364195B1 (ko) | 2008-06-26 | 2014-02-21 | 에스케이텔레콤 주식회사 | 움직임벡터 부호화/복호화 방법 및 그 장치 |
| US8718142B2 (en) * | 2009-03-04 | 2014-05-06 | Entropic Communications, Inc. | System and method for frame rate conversion that utilizes motion estimation and motion compensated temporal interpolation employing embedded video compression |
| TWI423170B (zh) * | 2010-12-31 | 2014-01-11 | Altek Corp | 多畫面中物體移動的追蹤方法 |
| TWI533663B (zh) * | 2012-01-17 | 2016-05-11 | 晨星半導體股份有限公司 | 立體影像處理裝置及立體影像處理方法 |
| WO2015158577A1 (en) | 2014-04-17 | 2015-10-22 | Koninklijke Philips N.V. | Method and system for detecting a fast moving surgical device |
| US10215851B2 (en) * | 2014-09-19 | 2019-02-26 | GM Global Technology Operations LLC | Doppler-based segmentation and optical flow in radar images |
| US10042047B2 (en) | 2014-09-19 | 2018-08-07 | GM Global Technology Operations LLC | Doppler-based segmentation and optical flow in radar images |
| EP3220642B1 (en) | 2016-03-15 | 2018-03-07 | Axis AB | Method, apparatus and system for encoding a video stream by defining areas within a second image frame with image data common to a first image frame |
| US10761841B2 (en) | 2018-10-17 | 2020-09-01 | Denso International America, Inc. | Systems and methods for identifying source code from binaries using machine learning |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2231749B (en) | 1989-04-27 | 1993-09-29 | Sony Corp | Motion dependent video signal processing |
| US5477272A (en) * | 1993-07-22 | 1995-12-19 | Gte Laboratories Incorporated | Variable-block size multi-resolution motion estimation scheme for pyramid coding |
| US5398068A (en) * | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
| US5619268A (en) * | 1995-01-17 | 1997-04-08 | Graphics Communication Laboratories | Motion estimation method and apparatus for calculating a motion vector |
| EP0957367A1 (en) * | 1998-04-14 | 1999-11-17 | THOMSON multimedia | Method for estimating the noise level in a video sequence |
| JP3753578B2 (ja) * | 1999-12-07 | 2006-03-08 | Ｎｅｃエレクトロニクス株式会社 | 動きベクトル探索装置および方法 |
| JP2001251632A (ja) * | 1999-12-27 | 2001-09-14 | Toshiba Corp | 動きベクトル検出方法および装置並びに動きベクトル検出プログラム |
| EP1128678A1 (en) | 2000-02-24 | 2001-08-29 | Koninklijke Philips Electronics N.V. | Motion estimation apparatus and method |
| DE10022520A1 (de) | 2000-05-10 | 2001-11-15 | Bosch Gmbh Robert | Verfahren zur örtlichen skalierbaren Bewegtbildcodierung |
| KR20030082794A (ko) | 2002-04-18 | 2003-10-23 | 엘지전자 주식회사 | 비디오 부호화기의 장면전환 검출 방법 및 장치 |
| KR200382794Y1 (ko) | 2005-02-15 | 2005-04-22 | 한국수자원공사 | 정수처리시설용 일체형 응집 및 침전시스템 |
-
2004
- 2004-10-19 CN CN200480031694A patent/CN100588253C/zh not_active Expired - Fee Related
- 2004-10-19 EP EP04770288A patent/EP1683362A1/en not_active Withdrawn
- 2004-10-19 WO PCT/IB2004/052142 patent/WO2005041586A1/en active Application Filing
- 2004-10-19 US US10/577,105 patent/US8102915B2/en not_active Expired - Fee Related
- 2004-10-19 JP JP2006537502A patent/JP2007510213A/ja active Pending
- 2004-10-19 KR KR1020067008332A patent/KR20060103430A/ko not_active Application Discontinuation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100929608B1 (ko) * | 2008-01-17 | 2009-12-03 | 한양대학교 산학협력단 | 고속 전역탐색 블록정합 알고리즘을 이용한 동영상 움직임추정 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2005041586A1 (en) | 2005-05-06 |
| US8102915B2 (en) | 2012-01-24 |
| EP1683362A1 (en) | 2006-07-26 |
| CN1875633A (zh) | 2006-12-06 |
| US20070081096A1 (en) | 2007-04-12 |
| CN100588253C (zh) | 2010-02-03 |
| JP2007510213A (ja) | 2007-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101135454B1 (ko) | 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 | |
| KR100973429B1 (ko) | 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| KR100840133B1 (ko) | Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기 | |
| US7949205B2 (en) | Image processing unit with fall-back | |
| US7382899B2 (en) | System and method for segmenting | |
| EP1665806A1 (en) | Motion vector field re-timing | |
| KR20050012766A (ko) | 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법 | |
| JP2005505841A (ja) | 動き推定のための装置及び方法 | |
| US20050226462A1 (en) | Unit for and method of estimating a motion vector | |
| JP2009533887A (ja) | 動きベクトル場修正装置及び方法 | |
| US20050163355A1 (en) | Method and unit for estimating a motion vector of a group of pixels | |
| KR100976718B1 (ko) | 필드 레이트 업변환을 위한 방법 및 장치 | |
| KR20060103430A (ko) | 작고 고속으로 움직이는 오브젝트들을 추적하기 위한움직임 벡터 필드들 정제 방법 | |
| JP2007502042A (ja) | グラフィクス重畳検出 | |
| JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20060428 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
Patent event date: 20081031 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20091019 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20110405 Patent event code: PE09021S01D |
|
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20110801 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20110405 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |