KR100976718B1 - 필드 레이트 업변환을 위한 방법 및 장치 - Google Patents
필드 레이트 업변환을 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR100976718B1 KR100976718B1 KR1020047013230A KR20047013230A KR100976718B1 KR 100976718 B1 KR100976718 B1 KR 100976718B1 KR 1020047013230 A KR1020047013230 A KR 1020047013230A KR 20047013230 A KR20047013230 A KR 20047013230A KR 100976718 B1 KR100976718 B1 KR 100976718B1
- Authority
- KR
- South Korea
- Prior art keywords
- value
- pixel
- new
- motion vector
- new pixel
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
보간 유닛(400)은, 새로운 픽셀(112)에 적용가능한 제 1 움직임 벡터(118)에 기초하여, 제 1 입력 화상(104)의 제 1 원 픽셀(114)의 제 1 값을 꺼내오는 페치 유닛(fetching unit)(402)과, 제 2 원 픽셀(110)에 적용가능한 제 2 움직임 벡터(116)에 기초하여 제 2 입력 화상(100)의 제 2 원 픽셀(110)의 제 2 값을 투영하는 투영 유닛(404)과, 제 2 값과 제 1 값을 비교하는 것에 의해 새로운 픽셀(112)의 값을 할당하는 선택 유닛(406)을 포함한다.
Description
본 발명은, 연속하는 입력 화상 사이의 시간 위치에 새로운 화상의 새로운 픽셀의 값을, 상기 새로운 픽셀에 적용가능한 제 1 움직임 벡터에 기초하여 상기 입력 화상의 제 1 화상으로부터 제 1 원 픽셀의 제 1 값을 페치(fetch)하는 것에 기초하여, 할당함으로써 업변환을 하기 위한 방법에 관한 것이다.
나아가, 본 발명은, 연속하는 입력 화상 사이의 시간 위치에 새로운 화상의 새로운 픽셀의 값을, 상기 새로운 픽셀에 적용가능한 제 1 움직임 벡터에 기초하여 상기 입력 화상의 제 1 화상으로부터 제 1 원 픽셀의 제 1 값을 페치하는 것에 기초하여, 할당함으로써 업변환을 하기 위한 보간 유닛(interpolation unit)에 관한 것이다.
또한 본 발명은,
- 연속하는 입력 화상에 기초하여 움직임 벡터 필드를 계산하는 움직임 추정 유닛(motion estimation unit)과,
- 상기 연속하는 입력 화상 사이의 시간 위치에 새로운 화상의 새로운 픽셀의 값을, 상기 새로운 픽셀에 적용가능하며 상기 움직임 벡터 필드 중 하나의 필드의 제 1 움직임 벡터에 기초하여 상기 입력 화상의 제 1 화상으로부터 제 1 원 픽 셀의 제 1 값을 페치하는 것에 기초하여, 할당함으로써 업변환을 하기 위한 보간 유닛
을 포함하는 연속하는 입력 화상을 업변환하기 위한 업변환 유닛(up-conversion unit)에 관한 것이다.
또한 본 발명은,
- 연속하는 입력 화상을 수신하는 수신 수단과,
- 상기 연속하는 입력 화상을 업변환하는 그러한 업변환 유닛
포함하는 화상 처리 장치(image processing apparatus)에 관한 것이다.
개시 문단에서 기술된 종류의 유닛은 "Robust motion-compensated video upconversion"(by O. Ojo and G. de Haan, IEEE Transactions on Consumer Electronics, Vol. 43, No. 4, Nov. 1997, pp.1045-1056)이라는 논문으로부터 알려져 있다. 이 논문은, 연속하는 입력 화상 사이의 시간 위치에 보간될 화상을 위해 결정되는 움직임 벡터 필드의 움직임 벡터에 기초하여, 픽셀의 값이 연속하는 입력 화상으로부터 페치되는 것을 기술한다. 이들 페치된 값을 결합함으로써, 보간될 화상의 새로운 픽셀의 값이 결정된다. 결합하는 것은 값 세트(set of values)를 평균한 것이거나 값 세트로부터 중간 값(median value)을 취하는 것일 수 있다. 이 알려져 있는 유닛에서는, 캡쳐된 화면의 배경 물체(background object)가 전경 물체 (foreground object)를 이동시키는 것에 의해 덮이거나(covered) 덮이지 않는, 소위 폐색 영역(occlusion area)에 결함이 발생된다.
이 폐색 영역에서 볼 수 있는 일반적인 결함의 유형은, 그 배경이 국부적으로 왜곡되는 소위 후광(halo)이다. 이것은 페치에 사용되는 움직임 벡터와 그로 인한 보간이 부정확하다는 사실에 의해 유발된다.
본 발명의 목적은 비교적 결함이 없는 업변환된 화상을 제공하는 개시 문단에서 기술된 유형의 방법을 제공하는 것이다.
본 발명의 목적은, 본 방법이
- 제 2 원 픽셀에 적용가능한 제 2 움직임 벡터에 기초하여, 상기 입력 화상의 제 1 화상으로부터 또는 상기 입력 화상의 다른 화상으로부터 선택된, 제 2 원 픽셀의 제 2 값을 투영하는 투영 단계와,
- 새로운 픽셀의 값을 상기 제 2 값과 비교함으로써 상기 새로운 픽셀의 값을 조건부로 업데이트하는 업데이트 단계
를 포함하는 것에 의해 달성된다.
업변환에 적용될 움직임 벡터는, 다음의 시간 위치에서, 즉 보간될 새로운 화상의 시간 위치에서, 보간될 새로운 화상에 앞서는 원 화상에 대응하는 시간 위치에서, 그리고 보간될 새로운 화상에 뒤지는 다른 원 화상에 대응하는 시간 위치에서 계산될 수 있다. 위에서 인용된 종래 기술에 기술된 유닛에서 사용되는 움직임 벡터 필드는 보간될 새로운 화상의 시간 위치를 위해 계산된다. 그러한 움직임 벡터 필드의 주요 잇점은, 보간될 새로운 화상의 각 픽셀에 대해 움직임 벡터가 있다는 것, 즉 거기에는 홀(hole)이 없다는 것이다. 원 픽셀의 값은 이들 움직임 벡터에 기초하여 페치될 수 있다. 그리하여 그 보간은 간단하다. 보간된 화상이 되는 다른 전략은 원 화상의 시간 위치에 대응하는 움직임 벡터 필드를 적용하는 것에 의한 것이다. 이 경우에, 이 원 화상의 픽셀의 값은 보간될 새로운 화상에 투영된다. 그러나, 거기에는 투영되지 않은 상태로 보간될 새로운 화상의 픽셀이 존재할 확률이 높으며, 즉 할당에 홀(hole)이 있을 수 있다. 즉 다시 말해, 새로운 화상의 각 픽셀에 대해서 값이 투영되지 않는다. 이 외에, 보간될 새로운 화상의 픽셀의 일부에 대한 이중 할당이 있을 수 있다. 원 화상에 대응하는 움직임 벡터 필드를 적용하는 경우의 잇점은 대부분의 경우 보간될 새로운 화상에 대응하는 움직임 벡터 필드보다 물체의 실제 움직임을 더 잘 나타내는 것이다.
그리하여, 본 발명에 따른 방법은 원 화상에 대응하는 움직임 벡터 필드에 기초하여 적어도 하나의 원 화상으로부터의 픽셀의 값을 투영하는 단계와 보간될 새로운 화상에 대응하는 움직임 벡터 필드에 기초하여 적어도 하나의 원 화상으로부터의 픽셀의 값을 페치하는 단계를 결합한다.
본 발명에 따른 방법의 일 실시예는, 상기 업데이트 단계에서 새로운 픽셀의 값이, 만일 새로운 픽셀 값과 제 2 값 사이의 절대 차(absolute difference)가 미리결정된 임계값보다 더 크면 업데이트된 값으로 업데이트되고, 그리고 그 업데이트된 값은 제 2 값과 같게 이루어지는 것을 특징으로 한다. 이 새로운 픽셀의 값은, 만일 제 2 값이 페치에 기초한 값으로부터 미리결정된 임계값보다 더 크게 차이나는 경우에는, 투영에 기초하는, 제 2 값의 값에 대응한다. 만일 제 2 값이 페치에 기초한 값으로부터 미리 결정된 임계값보다 더 작게 차이나는 경우에는, 즉 이들이 서로 거의 동일한 경우에는, 2개의 값 중 어느 값이 새로운 픽셀의 값으로 선택되든지 상관없다. 이 경우에, 페치에 기초한 값이 선택된다. 적절한 제 2 값이 없는 경우에, 페치에 기초한 값이 또한 선택된다.
본 발명에 따른 방법의 다른 실시예는, 입력 화상의 제 1 화상으로부터나 입력 화상의 다른 화상으로부터 선택된 제 3 원 픽셀의 제 3 값을 투영하는 제 2 투영 단계를 더 포함하며, 여기서 제 2 원 픽셀과 제 3 원 픽셀은 다른 입력 화상에 속하며, 상기 투영은 제 3 원 픽셀에 적용가능한 제 3 움직임 벡터에 기초하며, 그리고 상기 새로운 픽셀의 값을 조건부로 업데이트하는 상기 업데이트 단계는 제 2 값과 그리고 제 3 값과 상기 새로운 픽셀의 값을 비교하는 것에 기초한다. 상기 새로운 픽셀의 값은 적어도 하나의 페치된 값에 기초하여 그리고 뒤지는 화상의 픽셀로부터의 제 1 투영된 값에 기초하여 그리고 앞서는 화상의 다른 픽셀로부터 제 2 투영된 값에 기초하여 결정된다.
본 발명에 따른 방법의 일실시예는, 상기 업데이트 단계에서 상기 새로운 픽셀의 값이, 만일 새로운 픽셀의 값이 새로운 픽셀의 값과 제 2 값과 제 3 값을 포함하는 값 세트(set of values)의 중간 값과 다른 경우 업데이트된 값으로 업데이트 되며, 그리고 이 업데이트된 값은 이 값 세트의 중간 값과 같게 이루어지는 것을 특징으로 한다. 중간 연산자(median operator)의 잇점은, 이것이 비교적 로버스트(robust)하다는 것이다. 후광(halo) 이외에, 업변환된 화상에서 매우 일반적인 다른 타입의 결함은 전경 물체와 배경 물체를 혼합하는 것에 의해 유발된다. 그리고 다른 유형의 결함은, 전경 물체가 원 화상에서보다 업변환된 화상에서 더 작다 는 특징을 갖는다. 본 발명에 따라 본 실시예를 적용하는 것에 의해 이들 결함은 거의 일어나지 않는다.
본 발명에 따라 본 방법의 다른 실시예는, 새로운 픽셀의 값이 새로운 픽셀에 적용가능한 움직임 벡터에 기초하여 입력 화상의 다른 화상으로부터 페치되는 다른 원 픽셀의 다른 값과 제 1 값을 결합한 것에 기초하여 결정된다. 이 페치는 단방향 또는 양방향일 수 있다. 이 픽셀의 값은 앞서는 원 화상이나 뒤지는 원 화상으로부터 페치될 수 있다.
본 발명의 다른 목적은 비교적 결함이 거의 없는 업변환된 화상을 제공하는 개시 문단에서 기술된 유형의 보간 유닛(interpolation unit)을 제공하는 것이다. 본 발명의 목적은, 상기 보간 유닛이
- 제 2 원 픽셀에 적용가능한 제 2 움직임 벡터에 기초하여, 입력 화상의 제 1 화상으로부터나 입력 화상의 다른 화상으로부터 선택된, 제 2 원 픽셀의 제 2 값을 투영하는 투영 유닛과,
- 새로운 픽셀의 값을 제 2 값과 비교함으로써 새로운 픽셀의 값을 조건부로 업데이트 하는 업데이트 유닛
을 포함하는 것에 의해 달성된다.
상기 보간 유닛의 변경과 상기 보간 유닛의 변형은 기술된 방법 및 기술된 화상 처리 장치의 보간 유닛의 변경과 변형에 대응할 수 있다.
본 발명에 따라 보간 유닛과 업변환 유닛과 본 방법과, 본 화상 처리 장치의 이들 측면과 다른 측면은 첨부 도면을 참조하여 이후 기술되는 구현예와 실시예를 통해 명확하게 될 것이고 명료하게 설명될 것이다.
도 1a 는 적절한 픽셀의 제 1 값이 투영되며 부적절한 픽셀의 제 2 값이 페치되는 경우의 방법을 개략적으로 도시하는 도면.
도 1b 는 적절한 픽셀의 제 1 값이 투영되고 적절한 픽셀의 제 2 값이 페치되는 경우의 방법을 개략적으로 도시하는 도면.
도 1c 는 적절한 픽셀의 값이 투영되지 않지만 적절한 픽셀의 값만이 페치되는 경우의 방법을 개략적으로 도시하는 도면.
도 2 는 적절한 픽셀의 제 1 값이 제 1 화상으로부터 투영되며, 부적절한 픽셀의 제 2 값이 페치되며, 그리고 적절한 픽셀의 제 3 값이 제 2 화상으로부터 투영되는 경우의 방법을 개략적으로 도시하는 도면.
도 3a 는 2개의 시간 위치에 대한 움직임 벡터 필드가 정확한 경우에 화상을 2차원적으로 표현하는 것에 의한 방법을 개략적으로 도시하는 도면.
도 3b 및 도 3c 는 움직임 벡터 필드가 하나의 시간 위치에 대해서는 정확하며 다른 시간 위치에 대해서는 정확하지 않은 경우에 화상을 2차원적으로 표현하는 것에 의한 방법을 개략적으로 도시하는 도면.
도 4a 는 하나의 입력 화상으로부터 투영한 것에 기초하여 보간 유닛의 일 실시예를 개략적으로 도시하는 도면.
도 4b 는 2개의 입력 화상으로부터 투영한 것에 기초하여 보간 유닛의 일 실시예를 개략적으로 도시하는 도면.
도 5 는 화상 처리 장치의 일실시예를 개략적으로 도시하는 도면.
대응하는 참조 번호는 전 도면에서 동일하거나 유사한 의미를 가진다.
도 1a 는 적절한 픽셀(110)의 제 1 값이 투영되며 부적절한 픽셀(114)의 제 2 값이 페치되는 경우의 방법을 개략적으로 도시한다. 도 1a에서, 3개의 화상(100, 102, 104)은 각 시간 위치(t0, t1, 및 t2)에 대응하는 것으로 도시된다. 3개의 화상(100 및 104) 중 2개는 원 화상이고 제 3 화상(102)은 2개의 원 화상(100 및 104)에 기초하여 보간될 화상이다. 상기 화상(100, 102, 104)은 정지 배경 (stationary background)(108)의 앞에 위 방향으로 움직이는 전경 물체(foreground object)(106)를 나타낸다. 움직임 벡터 필드는 원 화상(100)에 대해 결정된다. 이 움직임 벡터 필드의 하나의 움직임 벡터(116)가 도시되어 있다. 이 움직임 벡터는 시간 위치(t0 및 t1) 사이의 시간 간격에 전경 물체(106)의 움직임에 대응한다. 다른 움직임 벡터 필드는 보간될 화상(102)에 대해 결정된다. 이 보간될 화상의 움직임 벡터 필드의 하나의 움직임 벡터(118)가 도시된다. 이 움직임 벡터(118)는 부정확하며, 즉 이 움직임 벡터는 전경 물체(106)의 움직임에 대응하지 않는다. 그러나, 이 움직임 벡터는 널 벡터(null vector)와 동일하며, 즉 움직임이 없는 벡터에 해당한다.
그 목적은, 예를 들어, 보간될 화상(102)의 픽셀(112)의 값을 결정하는 것이다. 이것은 본 발명에 따라 본 방법을 적용하는 것에 의해 달성된다. 이것은, 원 화상(104)으로부터 픽셀(114)의 값이 페치되는 것을 의미한다. 픽셀(112)이 전경 (106)에 대응하며 픽셀(114)이 배경(108)에 대응하므로, 픽셀(114)의 값이 픽셀 (112)을 위해 사용되기에 적합할 확률은 낮다. 이후 다른 원 화상(100)의 픽셀 (110)의 값이 투영된다. 픽셀(112)이 전경(106)에 대응하며 픽셀(110)이 또한 배경 (106)에 대응하므로, 픽셀(110)의 값이 픽셀(112)을 위해 사용되기에 적합할 확률은 높다. 그 다음 단계는 픽셀(114 및 110)의 값을 비교하는 것이다: 즉 픽셀(114 및 110)의 값 사이의 차이가 계산되며 미리결정된 임계값과 비교된다. 이 절대차가 미리결정된 임계값보다 더 높기 때문에, 픽셀(110)의 값은 픽셀(112)을 위한 값으로 선택된다. 이 예에서, "페치된(fetched)" 픽셀(114)과 "투영된(projected)" 픽셀(110)은 동일한 원 화상에 더 이상 속하지 않는다는 것을 주목하여야 한다. 그러나, 그 반대의 경우도 일어날 수 있다.
도 1b 는, 적절한 픽셀(110)의 제 1 값이 투영되며 적절한 픽셀(120)의 제 2 값이 페치되는 경우의 방법을 개략적으로 도시한다. 도 1b 에 도시된 예는 도 1a 와 연계하여 기술된 예와 매우 유사하다. 그러나, 이 경우에 픽셀(120)의 값이 또한 적절하다. 이 값은 움직임 벡터(122)에 기초하여 페치된다. 픽셀(120)의 값의 페치 후에 그리고 픽셀(110)의 값의 투영 후에, 두 값은 서로 비교된다. 그 두 값이 서로 거의 동일하기 때문에, 두 값 중 어느 값이 픽셀(112)에 할당되도록 선택될 것는 실제 중요하지 않다. 이 예에서, 픽셀(120)의 값이 선택된다. 그러나, 픽셀(110)의 값의 선택도 또한 적절할 것이다. 픽셀(112)에 할당될 값을 계산하기 위해 두 개의 값을 평균내는 것은 제 3 대안이다.
도 1c 는 적절한 픽셀의 값이 투영되지는 않지만 적절한 픽셀(128)의 값만이 페치되는 경우의 방법을 개략적으로 도시한다. 이 경우에, 그 목적은, 보간될 화상(102)의 픽셀(126)의 값을 결정하는 것이다. 픽셀(126)은 t0 및 t1 사이의 시간 간격에 커버되지 않는 배경(108) 부분에 대응한다. 그 결과, 픽셀(126)에 투영하는 원 화상(100)에 대응하는 움직임 벡터 필드에는 움직임 벡터가 존재하지 않는다. 그리하여 픽셀(126)에 할당될 값은 움직임 벡터(124)에 기초하여 원 화상(104)으로부터 페치된 픽셀(128)의 값과 동일하다. 두 픽셀(126 및 128)이 배경에 대응하므로 픽셀(128)의 값이 적절할 확률이 높다는 것을 주목하여야 한다. 이 경우에, "투영된" 픽셀과 "페치된" 픽셀(128)로부터의 값 사이에는 비교 단계가 존재하지 않는다.
도 2 는 적절한 픽셀(110)의 제 1 값(P
1 )이 제 1 화상(100)으로부터 투영되며, 부적절한 픽셀(114)의 제 2 값(F)이 페치되며, 그리고 적절한 픽셀(202)의 제 3 값(P
2 )이 제 2 화상(104)으로부터 투영되는 경우의 방법을 개략적으로 도시한다. 도 2에 도시된 예는 도 1a와 연계하여 기술된 예와 매우 유사하다. 그러나, 이 경우에, 제 2 원 화상(104)에 이용가능한 제 2 움직임 벡터 필드가 존재한다. 움직임 벡터(200)는 이 제 2 움직임 벡터 필드의 움직임 벡터 중 하나이다. 픽셀(112)에 할당될 값은 3개의 값(P
1
, F, 및 P
2 )을 비교하는 것에 의해 결정된다. 이것은 중간 연산자(median operator)를 적용하는 것에 의해 행해진다. 픽셀(112)에 할당될 값(P
0 )은 수식 1을 적용하여 계산된다:
[수식 1]
P
0
=Median(P
1
, P
2
, F)
중간 연산자는 분리물 제거자(outlier rejector)로 볼 수 있다. 3개의 요소가 있는 경우에, 중간 연산자는 서로에 대하여 최소값을 가지거나 또는 차이를 가지지 않는 2개의 요소 중 하나를 선택한다. 이 경우에, 픽셀(110) 또는 픽셀(202)의 값은 픽셀(112)에 할당된다.
도 1c 와 연관하여, 보간될 화상(102)의 픽셀 각각에 대해 투영 값이 없을 수 있다는 것을 기술한다. 수식 1을 적용할 수 있기 위해, 더미 값(dummy value)이 사용될 수 있다. 유효 제 1 값(P
1 )이 없다고 가정하면, 이 값은 미리 결정된 최소 값으로 설정된다. 그 결과는 이 제 1 값(P
1 )이 중간 연산자에 의해 선택되지 않는다는 것이다. 유사한 접근법이 제 3 값(P
2 )에도 적용된다. 제 1 값(P
1
)과 제 3 값(P
2 ) 모두가 유효하지 않을 확률은 무시할 수 있다. 그러나, 이들이 모두 유효하지 않을 경우에는 페치된 값이 사용된다.
도 3a 는 2개의 시간 위치에 대해 움직임 벡터 필드가 정확한 경우에 화상(300, 302, 304)을 2차원적으로 표현하는 것에 의한 방법을 개략적으로 도시한다. 사실 도 1a와 도 1c 와 연관하여 기술된 경우는 다른 표현으로 예시된다. 원 화상(300)은 정지 배경 앞에서 움직이는 물체의 화면을 캡쳐한 원 화상의 시퀀스의 일부이다. 이 화상(300)의 일부(306)는 그 물체에 대응한다. 원 화상(304)은 또한 원 화상의 시퀀스의 일부이며 원 화상(300)의 연속 화상이다. 원 화상(304)의 일부(310)는 그 물체에 대응한다. 그 목적은, 원 화상(300 및 304)의 시간 위치 사이에 있는 시간 위치에서 새로운 화상(302)을 각각 계산하는 것이다. 이것은, 본 발명에 따라,
- 원화상(300)의 제 1 픽셀은 원 화상(300)에 적용될 수 있는 움직임 벡터 필드에 기초하여 투영된다. 그 결과는 중간 픽셀 매트릭스(320)이다. 픽셀 매트릭스(320)의 픽셀(313)의 대부분은 배경에 대응하는 값을 가진다. 픽셀(312)의 일부분은 움직이는 물체에 대응하는 값을 가진다. 그리고 픽셀(316)의 제 3 부분은, 유효 투영된 픽셀 값이 없기 때문에, 설정된 더미 값을 가진다.
- 원 화상(304)의 픽셀이 새로운 화상(302)에 적용가능한 움직임 벡터 필드에 기초하여 페치된다. 그 결과는 중간 픽셀 매트릭스(324)이다. 픽셀 매트릭스 (324)의 대부분의 픽셀(315)은 배경에 대응하는 값을 가진다. 픽셀(314)의 일부분은 움직이는 물체에 대응하는 값을 가진다.
- 2개의 픽셀 매트릭스(320 및 324)의 대응하는 픽셀이 보간될 화상(302)의 픽셀의 값을 할당하기 위해 비교된다. 이것은 도 1a 와 연관하여 기술된 바와 같이 행해진다. 일부분(316)에 대응하는 픽셀은 예외로 처리된다. 이들 픽셀에 대해 도 1c와 연관하여 기술된 바와 같은 접근법이 취해지며, 즉 "페치된" 픽셀의 값이 취해진다.
도 3b 및 도 3c 는, 움직임 벡터 필드가 하나의 시간 위치에서는 정확하며 다른 시간 위치에서는 부정확한 경우에 화상(300, 302, 304)을 2차원적으로 표현하는 것에 의한 방법을 개략적으로 도시한다. 도 3b에서, 화상(302)에 적용가능한 움직임 벡터 필드에 기초하여 픽셀의 값을 페치하는 것에 의해 만들어진 중간 픽셀 매트릭스(324)는 정확하지 않다는 것을 알 수 있다: 일부분(330)은 불규칙한 형태를 가진다. 이것은, 화상(302)에 적용가능한 움직임 벡터 필드가 정확하지 않다는 사실에 의해 유발된다. 일부분(330)은 매우 작다. 그러나, 본 발명에 따른 방법을 적용하는 것에 의해 정확한 새로운 화상(302)이 만들어진다.
도 3c에서, 다시 중간 픽셀 매트릭스(324)가 정확하지 않은 것을 알 수 있다: 일부분(332)은 불규칙한 형태를 가진다. 이것은, 화상(302)에 적용가능한 움직임 벡터 필드가 정확하지 않다는 사실에 의해 유발된다. 이제, 일부분(332)은 너무 크다. 본 발명에 따른 방법을 적용하는 것에 의해 올바른 새로운 화상(302)이 만들어진다.
도 4a 는 하나의 입력 화상으로부터 투영하는 것과 페치하는 것에 기초하여 보간 유닛(400)의 일 실시예를 개략적으로 도시한다. 보간 유닛(400)의 제 1 입력 커넥터(connector)(408)에는 일련의 연속 화상이 제공된다. 보간 유닛(400)의 제 2 입력 커넥터(410)에는 일련의 움직임 벡터 필드가 제공된다. 이 보간 유닛(400)은 그 출력 커넥터에 일련의 출력 화상을 제공한다. 출력 화상의 일부분은 입력 화상의 직접적인 복사본(direct copy)이다. 다른 출력 화상은 업변환에 의해 입력 화상에 기초하여 계산된다. 업변환에 의해 연속하는 입력 화상 사이의 시간 위치에 새로운 화상의 새로운 픽셀의 값이 입력 화상의 픽셀의 적어도 하나의 값에 기초하여 할당된다. 이 보간 유닛(400)은
- 새로운 픽셀에 적용가능한 제 1 움직임 벡터에 기초하여 상기 입력 화상의 제 1 화상으로부터 제 1 원 픽셀의 제 1 값을 페치하는 페치 유닛(402)과,
- 제 2 원 픽셀에 적용가능한 제 2 움직임 벡터에 기초하여, 입력 화상의 제 1 화상으로부터나 상기 입력 화상의 다른 화상으로부터 선택된, 제 2 원 픽셀의 제 2 값을 투영하는 투영 유닛(404)과,
- 상기 제 1 값과 제 2 값을 비교하는 것에 의해 새로운 픽셀의 값을 할당하는 선택 유닛(406)
을 포함한다. 보간 유닛(400)의 동작은 도 1a, 도 1b, 및 도 1c 와 연관하여 기술된 방법에 대응한다.
도 4b 는 2개의 입력 화상으로부터 투영하는 것에 기초하여 보간 유닛(401)의 일 실시예를 개략적으로 도시한다. 이 보간 유닛(401)은,
- 할당될 새로운 픽셀에 적용가능한 제 1 움직임 벡터에 기초하여 입력 화상의 제 1 화상으로부터 제 1 원 픽셀의 제 1 값을 페치하는 페치 유닛(402)과,
- 제 2 원 픽셀에 적용가능한 제 2 움직임 벡터에 기초하여 입력 화상의 제 1 화상의 제 2 원 픽셀의 제 2 값을 투영하는 제 1 투영 유닛(404)과,
- 제 3 원 픽셀에 적용가능한 제 3 움직임 벡터에 기초하여 입력 화상의 제 2 화상의 제 3 원 픽셀의 제 3 값을 투영하는 제 2 투영 유닛(414)과,
- 제 2 값과 제 3 값을 제 1 값과 비교하는 것에 의해 새로운 픽셀의 값을 할당하는 선택수단(406)
을 포함한다. 이 보간 유닛(401)의 동작은 도 2와 연관하여 기술된 방법에 대응한다.
선택적으로 복수의 픽셀의 값이 본 도면과 연관하여 기술된 예에서 페치된다. 이것은, 예를 들어, 또한 상기 입력 화상의 제 2 화상으로부터 하나의 값이 페치된다는 것을 의미한다. 이들 복수의 값은 "Robust motion-compensated video unpconversion"(by. Ojo and G de Haan, IEEE Transactions on Consumer Electronics, Vo.. 43, No.4, Nov.1997, pp.1045-1056)이라는 논문에 기술된 바와 같이 결합될 수 있다.
선택적으로 본 발명에 따른 보간 유닛(400, 401)은 폐색 검출기(occlusion detector)를 포함한다. 움직임 벡터의 정확성에 대한 확률은 폐색 검출기에 의하여 결정될 수 있다. 아마 부정확한 움직임 벡터에 관한 픽셀의 값은 무시될 수 있다, 이것은, 예를 들어, 페치, 즉 뒤지는 화상이나 앞서는 화상으로부터의 페치를 제어할 수 있게 한다. 움직임 벡터 필드에 기초하여 폐색 지도(occlusion map)를 계산하기 위한 접근법은 "Problem area location in an image signal"이라는 명칭의 국제공개번호 WO 0011863으로 반포된 특허 출원에 기술되어 있다. 이 특허 출원에는 움직임 벡터 필드의 인접하는 움직임 벡터를 비교하는 것에 의해 폐색 지도가 결정되는 것이 기술되어 있다. 인접한 움직임 벡터가 거의 동일한 경우, 즉 인접한 움직임 벡터 사이의 절대 차가 미리 결정된 임계값보다 낮은 경우, 움직임 벡터가 대응하는 픽셀 그룹은 비-커버 영역에 위치된다고 가정된다. 그러나, 움직임 벡터 중 하나의 벡터가 인접한 움직임 벡터보다 상당히 더 큰 경우에는, 그 픽셀 그룹은 커버 영역이나 비-커버 영역 중 어느 하나에 위치된다고 가정된다. 이 인접한 움직임 벡터의 방향은 2타입의 영역 중 어느 하나를 결정한다.
도 5 는,
- 일부 처리가 수행된 후에 디스플레이될 화상을 나타내는 신호를 수신하는 수신 수단(502)으로서, 여기서 이 신호는 안테나 또는 케이블을 통해 수신된 방송 신호일 수도 있으나 VCR(Video Cassette Recorder) 또는 Digital Versatile Disk(DVD)와 같은 저장 디바이스로부터 오는 신호일 수도 있으며, 그리고 이 신호는 입력 커넥터(512)에서 제공되는, 수신 수단(502)과,
- 업변환 유닛(504)으로서, 상기 업변환 유닛(504)은, "True-Motion Estimation with 3-D Recursive Search Block Matching"(by G. de Haan et. al. IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October, 1993, pages 368-379)이라는 논문으로부터 알려져 있는 움직임 추정 유닛일 수 있는, 움직임 벡터 필드를 계산하기 위한 움직임 추정 유닛(508)과, 도 4a 또는 도 4b와 연관하여 기술된 바와 같은 보간 유닛(510)을 포함하는, 업변환 유닛(504)과,
- 상기 업변환 유닛(504)의 출력 화상을 디스플레이하는 디스플레이 디바이스(506){이 디스플레이 디바이스(506)는 선택적이다}
를 포함하는 화상 처리 장치(500)의 일 실시예를 개략적으로 도시한다.
위에 언급된 실시예는 본 발명을 제한하는 것이 아니라 예시하는 것이며 이 기술 분야에 통상의 지식을 가진 자라면 첨부하는 청구항의 범위를 벗어나지 않고 대안적인 실시예를 설계할 수 있다는 것을 주목하여야 한다. 청구항에서, 괄호 안에 있는 임의의 참조 부호는 청구항을 제한하는 것으로 해석되어서는 아니된다. '포함하는'이라는 단어는 청구항에 나열되어 있지 않은 요소나 단계의 존재를 배재 하지 않는다. 요소 앞에 있는 '하나' 또는 '하나의'라는 단어는 복수의 그러한 요소의 존재를 배재하지 않는다. 본 발명은 수 개의 별도의 요소를 포함하는 하드웨어에 의하여 그리고 적절히 프로그래밍된 컴퓨터에 의하여 구현될 수 있다. 수 개의 수단을 열거하는 유닛 청구항에서, 이들 수단 중 몇몇은 하나의 동일한 하드웨어 아이템으로 구현될 수 있다.
전술된 바와 같이, 본 발명은 캡쳐된 화면의 배경 물체가 전경 물체의 이동에 의해 커버되거나 커버되지 않는 소위 폐색 영역(occlusion area)에 결함이 발생되는 것을 막아주기 위해 페치에 사용되는 움직임 벡터와 그리하여 보간을 정확하게 하는데 이용가능하다.
Claims (10)
- 연속하는 입력 화상들(100, 104) 사이의 시간 위치에 새로운 화상(102)의 새로운 픽셀(112)의 값을 할당하되, 상기 새로운 픽셀(112)에 적용가능한 제 1 움직임 벡터(118)에 기초하여 상기 입력 화상들 중의 제 1 화상(104)으로부터의 제 1 원 픽셀(original pixel)(114)의 제 1 값을 페치(fetch)한 것에 기초하여 상기 새로운 픽셀(112)의 값을 할당하는 것에 의한 업변환(up-conversion) 방법으로서,- 상기 입력 화상들 중의 상기 제 1 화상(104)으로부터 또는 상기 입력 화상들 중의 다른 화상(100)으로부터 선택된 제 2 원 픽셀(110)의 제 2 값을 상기 제 2 원 픽셀(110)에 적용가능한 제 2 움직임 벡터(116)에 기초하여, 투영하는 투영 단계와,- 상기 새로운 픽셀(112)의 값을 상기 제 2 값과 비교함으로써 상기 새로운 픽셀(112)의 값을 조건부로 업데이트하는 업데이트 단계를 더 포함하는 것을 특징으로 하는업변환 방법.
- 제 1 항에 있어서,상기 업데이트 단계에서, 상기 새로운 픽셀(112)의 값과 제 2 값 사이의 절대 차가 미리결정된 임계값보다 더 크다면, 상기 새로운 픽셀(112)의 값은 업데이트된 값으로 업데이트되고, 상기 업데이트된 값은 상기 제 2 값과 같게 되는 것을 특징으로 하는업변환 방법.
- 제 1 항에 있어서,상기 방법은, 상기 입력 화상들 중의 상기 제 1 화상(104)으로부터 또는 상기 입력 화상들 중의 상기 다른 화상(100)으로부터 선택된 제 3 원 픽셀(202)의 제 3 값을 투영하는 제 2 투영 단계를 더 포함하되, 상기 제 2 원 픽셀(110)과 상기 제 3 원 픽셀(202)은 상이한 입력 화상들(100, 104)에 속하고, 상기 투영 단계는 상기 제 3 원 픽셀(202)에 적용가능한 제 3 움직임 벡터(200)에 기초하며,상기 새로운 픽셀(112)의 값을 조건부로 업데이트하는 상기 업데이트 단계는 상기 새로운 픽셀(112)의 값과 상기 제 2 값 및 상기 제 3 값의 비교에 기초하는 것을 특징으로 하는업변환 방법.
- 제 3 항에 있어서,상기 업데이트 단계에서, 상기 새로운 픽셀(112)의 값이 상기 새로운 픽셀(112)의 값과 상기 제 2 값과 상기 제 3 값을 포함하는 값들의 세트(set of values)의 중간 값(median value)과 상이하다면, 상기 새로운 픽셀(112)의 값은 업데이트된 값으로 업데이트되고, 상기 업데이트된 값은 상기 세트의 중간 값과 같게 되는업변환 방법.
- 제 1 항에 있어서,상기 새로운 픽셀(112)의 값은, 상기 새로운 픽셀(112)에 적용가능한 움직임 벡터에 기초하여 상기 입력 화상들 중의 상기 다른 화상(100)으로부터 페치되는 다른 원 픽셀의 다른 값과 상기 제 1 값을 결합하는 것에 기초하여 결정되는 것을 특징으로 하는업변환 방법.
- 연속하는 입력 화상들(100, 104) 사이의 시간 위치에 새로운 화상(102)의 새로운 픽셀(112)의 값을 할당하되, 상기 새로운 픽셀(112)에 적용가능한 제 1 움직임 벡터(118)에 기초하여 상기 입력 화상들 중의 제 1 화상(104)으로부터의 제 1 원 픽셀(114)의 제 1 값을 페치한 것에 기초하여 상기 새로운 픽셀(112)의 값을 할당하는 것에 의해 업변환을 하기 위한 보간 유닛(interpolation unit)(400, 401)으로서,- 상기 입력 화상들 중의 상기 제 1 화상(104)으로부터 또는 상기 입력 화상들 중의 다른 화상(100)으로부터 선택된 제 2 원 픽셀(110)의 제 2 값을 상기 제 2 원 픽셀(110)에 적용가능한 제 2 움직임 벡터(116)에 기초하여 투영하는 투영 유닛(404)과,- 상기 새로운 픽셀(112)의 값을 상기 제 2 값과 비교함으로써 상기 새로운 픽셀(112)의 값을 조건부로 업데이트 하는 업데이트 유닛(406)을 포함하는 것을 특징으로 하는보간 유닛,
- 연속하는 입력 화상들(100, 104)의 업변환을 위한 업변환 유닛(504)으로서,- 상기 연속하는 입력 화상들(100, 104)에 기초하여 움직임 벡터 필드를 계산하는 움직임 추정 유닛(508)과,- 상기 연속하는 입력 화상들(100, 104) 사이의 시간 위치에 새로운 화상(102)의 새로운 픽셀(112)의 값을 할당하되, 상기 새로운 픽셀(112)에 적용가능하며 상기 움직임 벡터 필드 중 하나의 벡터 필드인 제 1 움직임 벡터(118)에 기초하여 상기 입력 화상들 중의 제 1 화상(104)으로부터의 제 1 원 픽셀(114)의 제 1 값을 페치한 것에 기초하여 상기 새로운 픽셀(112)의 값을 할당하는 것에 의해, 업변환을 하는 보간 유닛(400, 401)을 포함하되,상기 보간 유닛(400, 401)은,- 상기 입력 화상들 중의 상기 제 1 화상(104)으로부터 또는 상기 입력 화상들 중의 다른 화상(100)으로부터 선택된 제 2 원 픽셀(110)의 제 2 값을 상기 제 2 원 픽셀(110)에 적용가능한 제 2 움직임 벡터(116)에 기초하여 투영하는 투영 유닛(404)과,- 상기 새로운 픽셀(112)의 값을 상기 제 2 값과 비교함으로써 상기 새로운 픽셀(112)의 값을 조건부로 업데이트하는 업데이트 유닛(406)을 포함하는 것을 특징으로 하는업변환 유닛.
- 화상 처리 장치(500)로서,- 연속하는 입력 화상들(100, 104)을 수신하는 수신 수단(502)과,- 상기 연속하는 입력 화상(100, 104) 사이의 시간 위치에 새로운 화상(102)의 새로운 픽셀(112)의 값을 할당하되, 상기 새로운 픽셀(112)에 적용가능한 제 1 움직임 벡터(118)에 기초하여 상기 입력 화상의 제 1 화상(104)으로부터의 제 1 원 픽셀(114)의 제 1 값을 페치한 것에 기초하여 상기 새로운 픽셀(112)의 값을 할당함으로써 업변환을 하는 보간 유닛(510)을 포함하고,상기 보간 유닛(510)은,- 상기 입력 화상들 중의 상기 제 1 화상(104)으로부터 또는 상기 입력 화상들 중의 다른 화상(100)으로부터 선택된 제 2 원 픽셀(110)의 제 2 값을 상기 제 2 원 픽셀(110)에 적용가능한 제 2 움직임 벡터(116)에 기초하여 투영하는 투영 유닛(404)과,- 상기 새로운 픽셀(112)의 값을 상기 제 2 값과 비교함으로써 상기 새로운 픽셀(112)의 값을 조건부로 업데이트하는 업데이트 유닛(406)을 포함하는화상 처리 장치.
- 제 8 항에 있어서,상기 새로운 화상(102)을 디스플레이하는 디스플레이 수단(506)을 더 포함하는 것을 특징으로 하는화상 처리 장치.
- 제 9 항에 있어서,상기 화상처리장치는 TV인 것을 특징으로 하는화상 처리 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP02075800.9 | 2002-02-28 | ||
| EP02075800 | 2002-02-28 | ||
| PCT/IB2003/000492 WO2003073757A1 (en) | 2002-02-28 | 2003-02-05 | Method and apparatus for field rate up-conversion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040088539A KR20040088539A (ko) | 2004-10-16 |
| KR100976718B1 true KR100976718B1 (ko) | 2010-08-18 |
Family
ID=27763403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020047013230A KR100976718B1 (ko) | 2002-02-28 | 2003-02-05 | 필드 레이트 업변환을 위한 방법 및 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8374465B2 (ko) |
| EP (1) | EP1481546A1 (ko) |
| JP (1) | JP2005519498A (ko) |
| KR (1) | KR100976718B1 (ko) |
| CN (1) | CN100358356C (ko) |
| AU (1) | AU2003202777A1 (ko) |
| WO (1) | WO2003073757A1 (ko) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080151106A1 (en) * | 2004-02-23 | 2008-06-26 | Koninklijke Philips Electronics, N.V. | Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images |
| CN103826133B (zh) | 2004-05-04 | 2017-11-24 | 高通股份有限公司 | 运动补偿帧速率上调方法和设备 |
| AR049454A1 (es) | 2004-07-01 | 2006-08-02 | Qualcomm Inc | Metodo y aparato para utilizar tecnicas de conversion hacia arriba de velocidad de cuadro (frame rate up conversion) en la codificacion de video escalable |
| CA2574297A1 (en) | 2004-07-20 | 2006-02-02 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression |
| US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| US20100271554A1 (en) * | 2007-09-10 | 2010-10-28 | Volker Blume | Method And Apparatus For Motion Estimation In Video Image Data |
| US7990476B2 (en) * | 2007-09-19 | 2011-08-02 | Samsung Electronics Co., Ltd. | System and method for detecting visual occlusion based on motion vector density |
| CN101521738B (zh) * | 2008-02-26 | 2011-09-28 | 瑞昱半导体股份有限公司 | 图像画面的差补方法及其图像处理装置 |
| JP5863273B2 (ja) * | 2011-05-02 | 2016-02-16 | キヤノン株式会社 | 画像処理装置、制御方法及びプログラム |
| WO2013095180A1 (en) * | 2011-12-22 | 2013-06-27 | Intel Corporation | Complexity scalable frame rate up-conversion |
| US9106793B2 (en) | 2013-01-03 | 2015-08-11 | Cisco Technology, Inc. | Method and apparatus for motion based participant switching in multipoint video conferences |
| KR102080859B1 (ko) | 2013-04-08 | 2020-02-24 | 삼성전자주식회사 | 이미지 프로세서 및 이미지 프로세서의 이미지 처리 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5214751A (en) | 1987-06-04 | 1993-05-25 | Thomson Grand Public | Method for the temporal interpolation of images and device for implementing this method |
| US5353119A (en) | 1990-11-15 | 1994-10-04 | Sony United Kingdom Limited | Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2616248B1 (fr) * | 1987-06-04 | 1992-04-24 | Thomson Grand Public | Procede d'interpolation temporelle d'images et dispositif pour la mise en oeuvre de ce procede |
| GB2251755B (en) * | 1991-01-08 | 1994-07-27 | Sony Broadcast & Communication | Video standards up-conversion |
| ES2118173T3 (es) * | 1992-11-19 | 1998-09-16 | Thomson Multimedia Sa | Metodo y aparato para conversion ascendente de frecuencia de campo. |
| EP0598333B1 (en) | 1992-11-19 | 1998-05-06 | THOMSON multimedia | Method and apparatus for field rate upconversion |
| GB2279531B (en) | 1993-06-24 | 1997-07-16 | Sony Uk Ltd | Motion compensated image interpolation |
| US5504831A (en) | 1993-11-10 | 1996-04-02 | Micron Semiconductor, Inc. | System for compensating against wafer edge heat loss in rapid thermal processing |
| US5943096A (en) | 1995-03-24 | 1999-08-24 | National Semiconductor Corporation | Motion vector based frame insertion process for increasing the frame rate of moving images |
| EP0735746B1 (en) | 1995-03-31 | 1999-09-08 | THOMSON multimedia | Method and apparatus for motion compensated frame rate upconversion |
| FR2742900B1 (fr) | 1995-12-22 | 1998-02-13 | Thomson Multimedia Sa | Procede d'interpolation de trames progressives |
| JPH09322019A (ja) * | 1996-05-30 | 1997-12-12 | Matsushita Electric Ind Co Ltd | ノイズ抑圧回路 |
| US6008865A (en) | 1997-02-14 | 1999-12-28 | Eastman Kodak Company | Segmentation-based method for motion-compensated frame interpolation |
| DE69727911D1 (de) * | 1997-04-24 | 2004-04-08 | St Microelectronics Srl | Verfahren zur Erhöhung der bewegungsgeschätzten und bewegungskompensierten Bildfrequenz für Videoanwendungen, und Vorrichtung zur Verwendung eines solchen Verfahrens |
| DE69811631T2 (de) | 1997-10-29 | 2003-10-30 | Koninklijke Philips Electronics N.V., Eindhoven | Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen |
| US6317460B1 (en) | 1998-05-12 | 2001-11-13 | Sarnoff Corporation | Motion vector generation by temporal interpolation |
| EP1048170A1 (en) | 1998-08-21 | 2000-11-02 | Koninklijke Philips Electronics N.V. | Problem area location in an image signal |
| EP1290639A2 (en) | 2000-05-18 | 2003-03-12 | Koninklijke Philips Electronics N.V. | Image foreground/background velocity detector |
| WO2001088852A2 (en) | 2000-05-18 | 2001-11-22 | Koninklijke Philips Electronics N.V. | Motion estimator for reduced halos in motion compensared picture rate up-conversion |
| KR100924906B1 (ko) * | 2001-11-07 | 2009-11-03 | 엔엑스피 비 브이 | 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 |
| US7101039B2 (en) | 2004-06-24 | 2006-09-05 | Maling Chris E | Durable eyeglasses frame assembly |
-
2003
- 2003-02-05 EP EP03701688A patent/EP1481546A1/en not_active Withdrawn
- 2003-02-05 WO PCT/IB2003/000492 patent/WO2003073757A1/en active Application Filing
- 2003-02-05 US US10/505,499 patent/US8374465B2/en active Active
- 2003-02-05 CN CNB038048183A patent/CN100358356C/zh not_active Expired - Fee Related
- 2003-02-05 KR KR1020047013230A patent/KR100976718B1/ko not_active IP Right Cessation
- 2003-02-05 JP JP2003572299A patent/JP2005519498A/ja not_active Ceased
- 2003-02-05 AU AU2003202777A patent/AU2003202777A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5214751A (en) | 1987-06-04 | 1993-05-25 | Thomson Grand Public | Method for the temporal interpolation of images and device for implementing this method |
| US5353119A (en) | 1990-11-15 | 1994-10-04 | Sony United Kingdom Limited | Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images |
Non-Patent Citations (1)
| Title |
|---|
| Ojo, O.A. de Haan, G. "Robust motion-compensated video upconversion", IEEE, Volume 43, Issue 4, pages 1045-1056, Nov 1997 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003073757A1 (en) | 2003-09-04 |
| KR20040088539A (ko) | 2004-10-16 |
| AU2003202777A1 (en) | 2003-09-09 |
| CN100358356C (zh) | 2007-12-26 |
| US8374465B2 (en) | 2013-02-12 |
| JP2005519498A (ja) | 2005-06-30 |
| US20050105000A1 (en) | 2005-05-19 |
| CN1640126A (zh) | 2005-07-13 |
| EP1481546A1 (en) | 2004-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7536031B2 (en) | Temporal interpolation of a pixel on basis of occlusion detection | |
| US7519230B2 (en) | Background motion vector detection | |
| JP4472986B2 (ja) | 動き推定および／または補償 | |
| US7949205B2 (en) | Image processing unit with fall-back | |
| CN1853416B (zh) | 运动矢量场的再定时 | |
| KR100976718B1 (ko) | 필드 레이트 업변환을 위한 방법 및 장치 | |
| US8355442B2 (en) | Method and system for automatically turning off motion compensation when motion vectors are inaccurate | |
| JP2005505841A (ja) | 動き推定のための装置及び方法 | |
| KR20050012766A (ko) | 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법 | |
| US20050226462A1 (en) | Unit for and method of estimating a motion vector | |
| US20050163355A1 (en) | Method and unit for estimating a motion vector of a group of pixels | |
| US20070081096A1 (en) | Motion vector fields refinement to track small fast moving objects | |
| KR20060029283A (ko) | 모션-보상된 영상 신호 보간 | |
| KR100880116B1 (ko) | 화상 시간 간격 전환 유닛 및 방법, 및 화상 처리 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130725 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20140725 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |