KR20090041562A - 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치 - Google Patents

Abstract

폐색 아티펙트의 최소화와 객체 윤곽의 예리한 보존이 가능하게 영상 프레임을 보간하는 프레임 보간 장치가 개시된다.

프레임 보간 장치는, 이전 영상 프레임 및 다음 영상 프레임의 픽셀 정보들을 이용한 양방향 비교을 통하여 보간 영상 프레임의 블록별 움직임 벡터를 연산하는 움직임 연산기; 및 상기 보간 영상 프레임 상의 보간할 블록과 인접한 블록의 움직임 벡터의 신뢰성에 기초하여, 가중 치환 윈도우 계수를 적응적으로 조절함과 아울러 이 적응 조절된 가중 치환 윈도우 계수가 선택적으로 적용되는 상기 이전 및 다음 영상 프레임 프레임의 픽셀 정보 및 상기 보간 블록의 움직임 벡터의 연산을 수행하여, 상기 보간 영상 프레임 상의 픽셀들을 보간하는 적응적 중첩 움직임 보상형 픽셀 보간기를 구비한다.

프레임 보간, 움직임 보상, 가변 블록 움직임 보상, 양방향 움직임 연산, 가중 치환 윈도우 계수.

Description

프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환 장치{Frame Interpolating Device and Frame Rate Up-Converting Apparatus having the same}

본 명세서는 영상 프레임 열의 시간적 해상도를 향상시키기 위하여 영상 프레임 속도를 상향 변환하는 장치에 관한 것이다.

통상적으로, 제한된 대역폭의 채널을 통한 대량의 비디오 데이터의 전송은 비디오 정보의 시공간적 해상도를 감소시켜 목표 전송 속도를 달성한다. 시간 영역에서의 전송 속도는 프레임의 스킵에 의하여 감소될 수 있으나, 그 경우 재구성된 비디오의 질은 낮아질 수밖에 없다. 시간적 해상도의 손실을 복원하기 위하여, 영상 프레임 속도를 상향 변환하는 알고리즘이, 영상 디코더(Decoder) 및 표시 장치와 같은 종단 처리 장치에 사용된다.

프레임 속도 상향 변환 알고리즘은 일련의 영상 프레임들 사이에 보간 영상 프레임을 간삽하여 프레임 주파수를 높인다. 이를 위하여, 프레임 속도 상향 변환 알고리즘은 영상 프레임 보간 방법을 사용한다. 가장 간단한 영상 프레임 보간 방법으로는, 객체 움직임의 고려 없이 동일한 공간적 위치의 픽셀들을 조합하여 보간 프레임을 생성하는 것이다. 예를 들면, 프레임 반복 또는 프레임 평균화가 간단한 영상 프레임 보간 방법에 속한다. 이들 프레임 보간 방법들은, 움직임이 없는 경우에 수용 가능한 가시적인 품질을 제공할 수 있지만, 이동 객체의 블러링(Bluring) 및 실룩성 움직임과 같은 아티펙트들을 야기할 수 있다.

이러한 아티펙트들(Artifacts)을 줄이기 위하여, 움직임 정보에 기초하여 보간 프레임을 재구성하는 움직임 보상형 프레임 보간 방법들이 제안되고 있다. 충실한 보간 프레임의 재구성을 위해서는, 움직임 정보가 정확하게 산출되어야만 한다. 다시 말하여, 비디오 압축과는 달리, 움직임 보상형 프레임 속도 상향 변환 알고리즘에서는 진위의 움직임 궤적들을 구하는 것이 가장 중요하다.

움직임 연산을 위하여, 대부분의 움직임 보상형 프레임 보간 방법들은 블록 매칭 알고리즘(Block Matching Algorithm)을 이용한다. 이는 블록 매칭 알고리즘의 구현이 간단하고 용이할 뿐만 아니라 간략하게 표시된 움직임 영역의 생성이 가능하기 때문이다.

그러나, 관련 기술의 프레임 보간 방법에 사용된 블록 매칭 알고리즘은 연산된 움직임 벡터들은 종종 진위의 객체의 움직임에 충실하지 못한 움직임 벡터들이 종종 산출되게 한다. 실제로, 블록 매칭 알고리즘이 관련 기술의 프레임 보간 방법에 사용될 경우, 다수의 움직임 궤적들이 보간 프레임 상의 한 픽셀를 경유하거나 또는 보간 프레임 상의 한 픽셀를 경유하는 움직임 궤적이 없을 수도 있다. 다시 말하여, 블록 매칭 알고리즘을 이용하는 관련 기술의 프레임 보간 방법에서는, 전자의 경우와 같은 중첩의 문제(Overlaping Problem) 및/또는 후자와 경우와 같은 홀의 문제(Hole Problem)가 야기될 수 있다. 또한, 블록별 처리를 수행하는 관련 기술의 프레임 보간 방법은, 보간 프레임 상의 한 블록이 다른 움직임을 가지는 다수의 객체를 포함하는 경우, 복잡한 움직임 궤적들을 산출하기 곤란하다.

이러한 진위의 움직임 산출이 곤란하기 때문에, 관련 기술의 프레임 보간 방법에 의해 보간된 영상 프레임에서는 객체의 경계 부분이 심하게 열화될 수밖에 없었다. 또한, 관련 기술의 프레임 보간 방법 및 프레임 속도 상향 변환 알고리즘은 양질의 영상 프레임 열을 제공하기 곤란하였다.

따라서, 본 명세서의 목적은 객체의 윤곽이 예리하게 보존된 영상 프레임 보간이 가능한 프레임 보간 장치 및 방법의 실시 예를 제공함에 있다.

본 명세서의 다른 목적은 객체의 경계 부분의 열화 없이 영상 프레임 열의 속도 상향 변환이 가능한 프레임 속도 상향 변환 장치 및 방법의 실시 예를 제공함에 있다.

상기 목적을 달성하기 위한 일 실시 예에 따른 프레임 보간 장치는, 이전 영상 프레임 및 다음 영상 프레임의 픽셀 정보들을 이용한 양방향 비교을 통하여 보간 영상 프레임의 블록별 움직임 벡터를 연산하는 움직임 연산기; 및 상기 보간 영상 프레임 상의 보간할 블록과 인접한 블록의 움직임 벡터의 신뢰성에 기초하여, 가중 치환 윈도우 계수를 적응적으로 조절함과 아울러 이 적응 조절된 가중 치환 윈도우 계수가 선택적으로 적용되는 상기 이전 및 다음 영상 프레임 프레임의 픽셀 정보 및 상기 보간 블록의 움직임 벡터의 연산을 수행하여, 상기 보간 영상 프레임 상의 픽셀들을 보간하는 적응적 중첩 움직임 보상형 픽셀 보간기를 구비한다.

상기 프레임 보간 장치는, 상기 양방향 움직임 연산기로부터의 상기 블록별 움직임 벡터들에 기초하여 상기 보간 영상 프레임 상의 객체간 경계 영역을 구분하는 객체 구별기; 및 상기 양방향 움직임 연산기로부터의 상기 블록 움직임 벡터들 중 상기 객체 구별기에 의해 구별된 경계 영역에 포함되는 경계 블록의 움직임 벡터를 서브 블록 움직임 벡터들로 재구성하여, 상기 서브 블록 움직임 벡터들 및 상기 블록 움직임 벡터들을 포함하는 가변 블록 움직임 벡터들을 상기 적응적 중첩 블록 움직임 보상형 픽셀 보간기에 공급하는 가변 블록 움직임 보상기를 추가로 구비할 수 있다.

상기 적응적 중첩 블록 움직임 보상형 픽셀 보간기는, 상기 인접 블록의 움직임 벡터의 신뢰성이 "0"일 때, 상기 적응 조절된 가중 치환 윈도우 계수를 픽셀 보간에 적용하지 않는다.

실시 예에 따른 프레임 보간 방법은, 이전 영상 프레임 및 다음 영상 프레임의 픽셀 정보들을 이용한 양방향 비교을 통하여 보간 영상 프레임의 블록별 움직임 벡터를 연산하는 단계; 상기 보간 영상 프레임 상의 보간할 블록과 인접한 블록의 움직임 벡터의 신뢰도를 연산하는 단계; 상기 인접 블록의 움직임 벡터의 신뢰도에 근거하여, 가중 치환 윈도우 계수를 조절하는 단계; 및 상기 인접 블록의 신뢰도에 따라, 상기 조절된 가중 치환 윈도우 계수를 선택적으로 적용한 상기 이전 및 다음 영상 프레임 프레임의 픽셀 정보 및 상기 보간 블록의 움직임 벡터의 연산을 수행하여, 상기 보간 영상 프레임 상의 픽셀들을 보간하는 단계를 포함한다.

상기 움직임 벡터 연산 단계는, 상기 블록별 움직임 벡터들에 기초하여 상기 보간 영상 프레임 상의 객체간 경계 영역을 구분하는 단계; 및 상기 블록 움직임 벡터들 중 상기 경계 영역에 포함되는 경계 블록의 움직임 벡터를 서브 블록 움직임 벡터들로 재구성하는 단계를 추가로 포함할 수 있다.

실시 예에 따른 프레임 속도 상향 변환 장치는, 입력 라인으로부터의 제1 프레임 주파수의 영상 프레임을 제1 주파수 프레임의 기간 동안 지연시키는 지연기; 상기 지연기로부터의 영상 프레임 및 상기 입력 라인으로부터의 영상 프레임의 픽셀 정보들을 이용한 양방향 비교을 통하여 보간 영상 프레임의 블록별 움직임 벡터를 연산하는 움직임 연산기; 상기 보간 영상 프레임 상의 보간할 블록과 인접한 블록의 움직임 벡터의 신뢰성에 기초하여, 가중 치환 윈도우 계수를 적응적으로 조절함과 아울러 이 적응 조절된 가중 치환 윈도우 계수가 선택적으로 적용되는 상기 입력 라인 및 상기 지연기로부터의 영상 프레임들의 픽셀 정보과 상기 보간 블록의 움직임 벡터와의 연산을 수행하여, 상기 보간 영상 프레임 상의 픽셀들을 보간하는 적응적 중첩 움직임 보상형 픽셀 보간기; 및 상기 지연기로부터의 지연된 영상 프레임과 상기 적응적 중첩 블록 움직임 보상형 픽셀 보간기로부터의 상기 보간 영상 프레인을 상기 제1 프레임 주파수보다 높은 제2 프레임 주파수로 높이고 상기 프레임 주파수 상향된 지연 영상 프레인들 사이에 상기 프레임 주파수 상향된 보간 영 상 프레임을 삽입-조합하는 속도 상향 및 조합부를 구비한다.

상기 제2 프레임 주파수는 상기 제1 프레임 주파수의 1.5배 및 2배 중 어느 하나로 설정될 것이다.

실시 예에 따른 프레임 속도 상향 변환 방법은, 입력 라인 상의 제1 프레임 주파수의 영상 프레임을 제1 프레임 주파수의 주기에 해당하는 기간 동안 지연시키는 단계; 상기 입력 라인 상의 영상 프레임 및 상기 지연된 영상 프레임의 픽셀 정보들을 이용한 양방향 비교을 통하여 보간 영상 프레임의 블록별 움직임 벡터를 연산하는 단계; 상기 보간 영상 프레임 상의 보간할 블록과 인접한 블록의 움직임 벡터의 신뢰도를 연산하는 단계; 상기 인접 블록의 움직임 벡터의 신뢰도에 근거하여, 가중 치환 윈도우 계수를 조절하는 단계; 상기 인접 블록의 신뢰도에 따라, 상기 조절된 가중 치환 윈도우 계수를 선택적으로 적용한 상기 이전 및 다음 영상 프레임 프레임의 픽셀 정보 및 상기 보간 블록의 움직임 벡터의 연산을 수행하여, 상기 보간 영상 프레임 상의 픽셀들을 보간하는 단계; 및 상기 지연된 영상 프레임과 상기 보간 영상 프레인을 상기 제1 프레임 주파수보다 높은 제2 프레임 주파수로 높이고 상기 프레임 주파수 상향된 지연 영상 프레인들 사이에 상기 프레임 주파수 상향된 보간 영상 프레임을 삽입-조합하는 단계를 포함한다.

상기와 같은 구성에 의하여, 실시 예의 프레임 보간 장치 및 방법은 폐색 아티펙트를 최소화하면서도 객체의 윤곽이 예리하게 보존되는 양질의 보간 영상 프레임을 제공할 수 있다. 실시 예의 프레임 속도 상향 변환 장치 및 방법은, 폐색 아 티펙트 및 객체의 윤곽의 열화를 최소하면서도, 영상 프레임 열을 프레임 속도 상향 변환할 수 있다. 이에 더하여, 실시 예의 프레임 보간 장치 및 방법과 실시 예의 프레임 속도 상향 변환 장치 및 방법은, 영상 프레임의 신호대잡음 비율을 대략 2dB 정도까지 향상시킬 수 있다.

상기 실시 예들 외에도, 본 명세서의 다른 목적들, 다른 특징들 및 다른 이점들은 첨부한 도면과 결부된 실시 예의 상세한 설명을 통하여 명백하게 드러나게 될 것이다.

실시 예들을 설명하기에 앞서서, 관련 기술의 프레임 보간 알고리즘들을 살펴보기로 한다.

움직임 보상형의 프레임 보간 알고리즘에 의해 보간된 영상 프레임의 품질은, 주로, 보간 프레임 전반에서 움직임 궤적들을 정확하게 산출하는 방법과 비 자연적인(또는 비 본질적인) 결함 없이 움직임 보상된 블록들을 합병하는 방법에 의존한다. 블록 매칭 방식을 이용하는 움직임 보상형 프레임 보간 알고리즘의 경우, 스킵된 (중간의 또는 보간될) 프레임이 블록들로 분할되고, 각 블록은 이전 프레임 및 다음 프레임의 정보를 이용하여 보간된다. "f_{n -1}", "f_n" 및 "f_{n +1}"은 이전, 중간(또는 보간) 및 다음 프레임들을 각각 나타낸다고 하자. 또한, 픽셀 위치를 나타내는 2차원 벡터(s)가 있다고 하자. 그러면, f_n에서의 s 번째 픽셀의 보간 강도(세 기)는 수학식 1과 같이 주어진다.

f_n[s,v] = (f_{n -1}[s-v] + f_{n +1}[s+v])/2

여기서, "v"는 보간될 픽셀에 대한 연산된 움직임 벡터이고, "f_n[s]"는 n번째 프레임인 f_n상의 s 번째 픽셀(Pixel)의 원래 강도(계조 값)를 나타낸다. 수학식 1을 이용한 프레임의 보간을 위해서는, 보간 프레임(f_n) 내의 각각의 보간 픽셀에 대한 움직임 벡터(v)가 산출되어야만 한다. 이러한 보간 프레임(f_n)용 움직임 벡터들(v)은 3 단계의 처리 과정에 의하여 산출된다. 첫 번째로, 보간될 프레임(f_n)에 대한 모든 움직임 벡터들이 "0"으로 리세트 된다. 이는 프레임 보존(Frame Hold) 기법으로 알려져 있다. 이어서, "0"의 보간 프레임(f_n)의 움직임 벡터들은 이전 프레임(f_{n -1})의 움직임 벡터들로 대치된다. 마지막으로, 이전 및 다음 프레임들 간의 후보 움직임 벡터들의 선형적 조합에 의하여 보간 프레임의 블록별 움직임 벡터들이 구해진다. 블록 매칭 방법에 의하여 이전 프레임과 다음 프레임 간의 블록별 움직임 벡터 영역이 구해지더라도, 보간 프레임 상의 픽셀들 중에는, 움직임 궤적들이 적용되지 않는 홀의 영역들 또는 다수의 움직임 궤적들이 같은 픽셀을경유하는 중첩 영역들이 생길 수밖에 없다. 다시 말하여, 블록별 움직임 벡터들은 확대, 회전 및 괴기형(변형)과 같은 객체의 복잡한 움직임을 표현할 수 없다. 나아가, 객체의 경계부들이 블록의 경계부들과 일치하지 않거나 인접 블록들과는 크게 다른 움직임 벡터들을 가짐으로 인하여, 심각한 폐색 아티펙트들이 야기될 수도 있다.

이러한 문제점들을 극복하기 위하여, 복잡한 움직임들을 표현하여 폐색 아티펙트들을 줄이는 여러 가지 접근법들이 제안되었다. 첫 번째로, 공간 변환을 추가적으로 이용하는 프레임 보간 알고리즘을 들 수 있다. 이 프레임 보간 알고리즘에서는, 제어 그리드 포인트(Control Grid Point)에 대한 움직임 벡터들을 산출한 다음 그들을 보간하여 평활 움직임 벡터 영역들을 얻는다. 다음으로는, 중첩의 문제 극복하고자 중첩 블록 움직임 보상을 추가적으로 이용하는 프레임 보간 알고리즘이 제안되었다. 중첩 블록 움직임 보상형 프레임 보간 알고리즘은, 가중 치환 윈도우를 이용하여 기준 프레임으로부터 중첩 블록의 위치를 정하여 보간 프레임을 예측한다.

이와 같이, 공간 변환 방법 또는 중첩 블록 움직임 보상 방법을 블록 매칭 방법과 함께 이용하는 관련 기술의 프레임 보간 알고리즘에서도, 움직임 보상 에러가 여전히 발생되고 있다. 이로 인하여, 폐색 아티펙트 및 객체 경계 부분의 열화 등이 보간 프레임에서 나타나고, 나아가 보간 프레임의 품질이 낮을 수밖에 없었다.

다음으로, 폐색 아티펙트 및 객체 경계 부분의 열화를 최소화하면서도 양질의 영상 프레임의 보간이 가능한 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환 장치의 실시 예들이 첨부된 도면과 결부되어 상세하게 설명될 것이다.

도 1은 폐색 아티펙트 및 객체 경계 부분의 열화를 최소화하면서도 영상 프레임 속도의 상향 변환이 가능한 실시 예에 따른 프레임 속도 상향 변환 장치를 개 략적으로 도시하는 블록도이다. 도 1의 프레임 속도 상향 변환 장치는, 입력 라인(11)에 직렬 접속된 제1 지연기(10), 양방향 움직임 연산기(Bilateral Motion Estimator)(12), 객체 구별기(Object Segmentator)(14), 가변 블록 움직임 보상기(Variable-Size Block Motion Compensator)(16), 및 적응 중첩 블록 움직임 보상(Adaptively Overlaped Block Motion Compensation)형 픽셀 보간기(18)를 구비한다. 입력 라인(11)은 도시하지 않은 비디오 소스(예를 들면, 비디오 인코더(Video Encoder), 텔레비젼 수신기의 복조 모듈 및 컴퓨터 시스템의 그래픽 모듈 등 중 어느 하나)에 연결된다. 이 입력 라인(11)에는 제1 프레임 주파수의 비디오 프레임 열이 입력된다. 제1 지연기(10)는 입력 라인(11) 상의 비디오 프레임 열은 제1 프레임의 기간 동안 지연시킨다. 예를 들어, 입력 라인(11) 상의 비디오 프레임 열이 60 Hz의 주파수를 가지면(즉, 1초에 60장의 화상이 표시되게 하는 비디오 데이터인 경우), 제1 지연기(10)는 1/60 초(second)의 기간 동안 제1 비디오 프레임 열을 지연시킨다. 이에 따라, 제1 지연기(10)에 의하여 지연된 영상 프레임을 "이전의 영상 프레임(f_{n -1})"이라 하면, 입력 라인(11) 상의 영상 프레임은 "다음의 영상 프레임(f_{n +1})"이 된다. 이에 더하여, 이전 및 다음 영상 프레임들(f_{n -1},f_{n +1}) 사이에 추가될 영상 프레임은 "보간 영상 프레임(f_n)"이 되게 된다. 예를 들어, 도 2a 및 도 2b와 같은 2 개의 영상 프레임이 순차적으로 입력 라인(11)을 입력될 경우, 도 2a의 영상 프레임이 이전 영상 프레임(f_{n -1})으로서 제1 지연기(10)에서 출력될 때 도 2b의 영상 프레임이 다음 영상 프레임(f_{n +1})으로서 입력 라인(11)에 입력된다.

양방향 움직임 연산기(12), 객체 구별기(14), 가변 블록 움직임 보상기(16) 및 AOBMC형 픽셀 보간기(18)는 이전 및 다음 영상 프레임들(f_{n -1},f_{n +1})을 이용하여 보간 영상 프레임(f_n)을 생성하는 "영상 프레임 보간부"를 구성한다. 영상 프레임 보간부는 제1 지연기(10)로부터의 이전 영상 프레임(f_{n -1}) 및 입력 라인(11) 상의 다음 영상 프레임(f_{n +1})을 이용하여 보간 영상 프레임(f_n)을 생성한다. 예를 들어, 제1 지연기(10) 및 입력 라인(11)으로부터 도 2a와 같은 이전 영상 프레임(f_{n -1}) 및 도 2b와 같은 다음 영상 프레임(f_{n +1})이 공급될 경우, 영상 프레임 보간부는 도 2f와 같은 보간 영상 프레임(f_n)을 생성한다.

영상 프레임 보간부에 포함된 양방향 움직임 연산기(12)는, 이전 및 다음 영상 프레임(f_{n -1},f_{n +1})의 정보를 이용하여, 보간 영상 프레임(f_n)의 블록별 움직임 벡터들을 산출한다. 그러나, 보간 영상 프레임(f_n)이 원래의 픽셀 값들을 가지지 못하기 때문에, 양방향 움직임 연산기(12)가 보간 영상 프레임(f_n) 상의 블록들에 대한 움직임 벡터들을 연산하기에 쉽지 않다. 블록 움직임 벡터들의 산출을 위하여, 양방향 움직임 연산기(12)는, 이전 및 다음 영상 프레임들(f_{n -1},f_{n +1})의 정보들을 이용하여 움직임 벡터들을 구하는 움직임 연산용의 양방향 비교 방법을 채용한다.

이를 상세히 하면, 양방향 움직임 연산기(12)는, 도 3에 도시된 바와 같이, 이전 영상 프레임(f_{n -1})에서의 쉬프트된 위치의 블록과 다음 영상 프레임(f_{n +1})에서의 대응 위치의 블록을 비교하여, 보간 영상 프레임(f_n)에서의 한 블록을 경유하는 움직임 궤적을 얻는다. 도 3에 있어서, "s"는 보간 영상 프레임(f_n) 상의 어느 한 픽셀을 나타내고, "v"는 그 픽셀의 후보 움직임 벡터를 나타낸다. 그러면, 보간 영상 프레임(f_n) 상의 픽셀(s)은, 수학식 2와 같이 주어지는 이전 프레임(f_{n -1}) 상의 픽셀(s_b)의 뒤쪽에 맵핑된다.

s_b = s - v

전향 움직임 벡터가 후향 움직임 벡터와 동일한 것으로 가정된다면, 보간 영상 프레임(f_n) 상의 픽셀(s)은, 수학식 3과 같이 주어진 다음 영상 프레임(f_{n +1}) 상의 픽셀(s_f)의 앞쪽에 맵핑된다.

s_f = s + v

이에 따라, "s_b" 및 "s_f"는 "s"를 중심으로 대응된 위치가 된다.

또한, 양방향 움직임 연산기(12)는 블록 움직임 모델을 이용한다. "B_{i ,j}"가 보간 영상 프레임(f_n)에서의 한 블록이라면, 각 후보 움직임 벡터(v)에 대한 양방향 절대 차이의 합(SBAD)이 수학식 4와 같이 연산될 수 있다.

양방향 움직임 절대 차의 합(SBAD)을 최소화하는 후보 움직임 벡터의 검색을 통하여, 양방향 움직임 연산기(12)는 단지 이전 및 다음 프레임들(f_{n -1},f_{n +1})의 정보로부터 보간 영상 프레임(f_n) 상의 한 블록의 움직임 벡터를 산출할 수 있다. 비디오 열(Video Sequence)이 간단한 변형(기형) 움직임들을 포함한다면, 양방향 움직임 연산기(12)가 적절한 블록 움직임 벡터들을 산출한다는 것이 입증될 것이다. 그러나, 객체들이 회전 또는 확대 움직임들을 가지는 경우에는, 신뢰할 만한 움직임 궤적이 산출될 수 없다. 이는, 현재 블록을 경유하는 많은 궤적들이 작은 양방향 움직임 절대 차의 합(SBAD)들을 가지는 유력한 후보들이 될 수 있기 때문이다.

블록 움직임 연산의 확실성(또는 신뢰성)을 향상시키기 위하여, 양방향 움직임 연산기(12)는 공간적 평활 억제를 수행한다. 실제로, 양방향 움직임 연산기(12)에는, 도 4에 도시된 바와 같이, 블록 경계부들 전반에서의 공간적 평활도를 측정하는 측방 정합 방식(Side Match Criterion)이 적용된다. 이 측방 정합 방식에 따라, 양방향 움직임 연산기(12)는 상하좌우 경계부들을 따라 예측 블록(B_{i ,j})과 인접 블록들(B_{i -1,j},B_{i +1,j},B_{i ,j-1},B_{i ,j+1})의 인접 픽셀간의 절대 차이들의 평균치(SMD)를 수학식 5와 같이 연산한다.

수학식 5에서, "g_k" 및 "h_k"는 예측된 블록( B _{i ,j} ) 및 인접 블록들(B_{i -1,j},B_{i +1,j},B_{i ,j-1},B_i,j+1)의 경계부들 상의 k 번째 픽셀들을 각각 지시하고, "N"은 경계부 상의 픽셀들의 수이다. 수학식 1에서와 같이, "f_n[g_k,v]" 은 움직임 벡터가 "v"로 설정되었을 때의 예측 블록( B _{i ,j} )의 보간될 픽셀 값을 나타낸다. 인접 블록들(B_{i -1,j},B_i+1,j,B_i,j-1,B_i,j+1)에서의 보간될 픽셀 값들, 즉 "f_n[h_k]"은 경계 픽셀 절대 차의 평균값(SMD)의 연산에 이용 가능할 것이다. 이어서, 양방향 움직임 연산기(12)는, 수학식 6과 같이, 양방향 움직임 절대 차이의 합(SBAD)과 경계 픽셀 절대 차의 평균값(SMD)과의 가중 치환 합이 최소화되게 하는 보간 블록(B_{i ,j})용의 최상의 블록 움직임 벡터(v_{i ,j})를 찾는다.

v_{i ,j} = arg min{μ·SBAD[v_{i ,j},v] + (1 - μ)·SMD[v_{i ,j},v]}

수학식 6에 있어서, "μ"는 가중치 계수이다. 경계 픽셀 절대 차의 평균값(SMD)의 연산은 우측 및 하측 블록들은 물론 좌측 및 상측 블록들의 픽셀 값들을 필요로 하기 때문에, 블록 움직임 벡터의 산출은 보간 블록 다음의 블록들 상의 픽셀 값들의 영향을 받는다. 수학식 6에서의 가중 치환 합의 최소화는, 연산된 후보 블록 움직 임 벡터들(v_{i ,j})이 변하지(변경되지) 않을 때까지, 보간 영상 프레임(f_n) 상의 모든 블록들에 대하여 반복적으로 적용된다. 실험을 통해, 수학식 6에서의 가중치 계수(μ)가 0.4일 때, 양방향 움직임 연산기(12)가 가장 좋은 성능을 제공하고, 그 성능이 "μ"의 변동에 아주 민감하지 않은 것으로 나타났다. 그러므로, 양방향 움직임 연산기(12)에서는, 가중치 계수(μ)가 0.4로 고정된다. 이렇게 블록 움직임 모델링 및 측방 매칭을 통하여, 공간 평활이 억제되게 함과 아울러 신뢰성이 향상되게끔 양방향 움직임 연산기(12)는 블록별 움직임 벡터를 산출할 수 있다. 예를 들어, 도 2a 및 도 2b의 이전 및 다음 영상 프레임이 입력될 경우, 양방향 움직임 연산기(12)는 도 2c와 같은 블록별 움직임 벡터들을 산출한다.

객체 구별기(14)는, 양방향 움직임 연산기(12)로부터 움직임 벡터들에 근거하여, 보간 영상 프레임(f_n) 상의 블록들을 여러 부분들(예를 들면, 객체 영역, 배경 영역 및 경계 영역)로 구분한다. 각 분류 부분은 비슷한 움직임 벡터들을 가지는 볼록들을 포함하여 거칠게 구별된 이동 객체를 표시한다. 예를 들어, 양방향 움직임 연산기(12)로부터 도 2c와 같은 보간 영상 프레임의 블록별 움직임 벡터들이 입력될 경우, 객체 구별기(14)는 도 2d와 같이 객체 영역, 배경 영역 및 경계 영역으로 구별된 보간 영상 프레임을 생성한다. 도 2d에 있어서, 회색 및 백색 블록들은 각각 움직이는 대상체의 내부 및 경계부들을 나타내고, 흑색 블록들은 배경을 묘사한다. 이러한 객체의 구별을 위하여, 객체 구별기(14)는 k-평균 군집화 알고리즘(K-means Clustering Algorithm)을 이용하여 양방향 움직임 연산기(12)로부 터의 블록 움직임 벡터들을 비슷한 것들끼리 그룹핑 한다.

이를 구체적으로 설명하면, 객체 구별기(14)는, 첫 번째 단계로서, 보간 영상 프레임 상의 모든 블록들을 하나의 객체로 간주하여, 블록들의 평균 움직임 벡터를 집중 중심으로 설정한다. 제2 단계에서, 객체 구별기(14)는, 각 블록의 움직임 벡터와 집중 중심과의 차이가 미리 설정된 문턱 값(τ)보다 큰지를 검사한다. 블록의 움직임 벡터와 집중 중심과의 차이가 문턱 값(τ)보다 크면, 그 블록은 새로운 객체에 속하는 것으로 판명된다. 본 실시 예에서는, 문턱 값(τ)이 실험을 통해 얻어진 "8"로 설정된다. 세 번째 단계에서, 객체 구별기(14)는 각 블록 움직임 벡터를 가장 가까운 집중 중심에 할당한다. 이어지는 네 번째 단계에서, 객체 구별기(14)는, 각 집중 중심을 각 군집에 포함된 블록 움직임 벡터들의 평균으로 갱신한다. 마지막으로, 이동 객체 구별기(14)는, 집중 중심들이 변경되지 않을 때까지, 두 번째 내지 네 번째 단계들을 반복적으로 되풀이한다. 이러한 K-평균 군집화를 통하여, 이동 객체 구별기(14)는 양방향 움직임 연산기(12)로부터의 도 2c와 같은 블록 움직임 벡터들을 이용하여 도 2d에 도시된 바와 같은 이동 객체 구분 정보를 생성한다.

가변 블록 움직임 보상기(16)는, 객체 구별기(14)로부터의 보간 영상 프레임의 이동 객체 구분 정보에 근거하여, 양방향 움직임 연산기(12)로부터의 블록 움직임 벡터들 중 경계 영역의 블록 움직임 벡터들을 정밀한 서브 블록 움직임 벡터들로 재구성하여, 원하지 않은 블러링 아티펙트 및 폐색 결함을 경감시킨다. 예를 들어, 도 5에 도시된 바와 같이, 두 개의 객체들 사이의 경계나 또는 다른 내부 블 록과의 사이의 경계에 있는 블록(회색으로 표시됨)이 경계 블록이라 한다. 경계 블록들 각각의 움직임 벡터는, 가변 블록 움직임 보상기(16)에 의하여, 다중 움직임 궤적을 표시하는 서브 블록 움직임 벡터들로 재구성된다. 다시 말하여, 가변 블록 움직임 보상기(16)는, 객체 구별기(14)로부터의 객체 구별 정보에 따라, 양방향 움직임 연산기(12)로부터의 블록 움직임 벡터들 중 경계 부분의 블록에 해당하는 블록 움직임 벡터를 좀 더 정밀한 서브 블록 움직임 벡터로 정련한다. 이를 상세히 설명하면, 양방향 움직임 연산기(12) 및 객체 구별기(14)가 8×8의 픽셀를 포함하는 블록을 최소 단위 영역으로 사용하기 때문에, 블록별 경계가 진위의 객체의 경계와 완전하게 일치하지 않는다. 실제로, 경계 부분의 경계 블록은, 도 6에서와 같이, 다른 움직임의 다수의 객체를 포함할 수 있다. 그러한 복잡한 움직임을 표현하기 위하여, 가변 블록 움직임 보상기(16)는 경계 블록들을 재구성한다. 가변 블록 움직임 보상기(16)는, 불규칙한 움직임을 나타내는데 있어서, 고정 크기의 블록 움직임 보상 수단보다 좀 더 효과적이다. 좀 더 작은 서브 블록들이 객체 경계부들 근처의 복잡한 움직임을 표현하는데 사용되는 반면, 큰 블록들은 동종의 움직임 영역들에 표현하는데 사용된다.

이를 위하여, 가변 블록 움직임 보상기(16)는, 도 6에서와 같이, 8×8 경계 블록을 4×4 또는 2×2 픽셀들을 포함하는 서브 블록들로 분할하는 쿼드-트리(Quad-Tree) 기반의 가변-크기 블록 움직임 보상을 수행한다. "B_ℓ ⁽ⁿ⁾"이 2ⁿ×2ⁿ 크기의 ℓ번째 서브 블록을 나타내고 "v_ℓ ⁽ⁿ⁾"이 그 서브 블록(B_ℓ ⁽ⁿ⁾)의 움직임 벡터 를 나타낸다고 하자. 그러면, 가변 블록 움직임 보상기(16)는, 먼저, "n"을 3(즉, n=3)으로 초기화 한다. 두 번째 단계로, 가변 블록 움직임 보상기(16)는 현재의 "2ⁿ×2ⁿ"의 블록을, 수학식 7과 같이, 4개의 "2^n-1×2^n-1"의 서브 블록들로 분할한다.

B_l ⁿ → {B₀ ^(n-1), B₁ ^(n-1), B₂ ^(n-1), B₃ ^(n-1)}

이때, 가변 블록 움직임 보상기(16)은, 수학식 4에서와 같은 각 후보 움직임 벡터에 대한 양방향 움직임 절대 차이의 합(SBAD))을 측정을 통하여 각 서브 블록(B_m ^(n-1))의 움직임 벡터(v₀ ^(n-1))를 찾는다. 제3 단계로서, 가변 블록 움직임 보상기(16)는 모든 서브 블록에 대한 서브 움직임 벡터 절대 차이의 합인 "SABD[B_m ^(n-1),v_m ^(n-1)]"가 2ⁿ×2ⁿ의 원래 블록에 대한 블록 움직임 벡터 절대 차이의 합인 "SABD[B_ℓ ⁽ⁿ⁾,v_ℓ ⁽ⁿ⁾]"의 쿼터보다 작으면, 서브 분할을 용인 가능한 것으로 판단한다. 다시 말하여, 만약, 0≤m≤3 일 때, 수학식 8이 성립하면,

SABD[B_m ^(n-1),v_m ^(n-1)] ＜ (1/4)·SABD[B_ℓ ⁽ⁿ⁾,v_ℓ ⁽ⁿ⁾], "0≤m≤3"인 경우

가변 블록 움직임 보상기(16)는 서브 분할을 용인하여 "n"이 n-1로 감소시킨다. 그렇지 않으면, 가변 블록 움직임 보상기(16)는 원래의 블록을 유지시키고 절차를 종료한다. 마지막 단계로서, 가변 블록 움직임 보상기(16)는 "n"이 1인가를 검사한다. 여기서, "n"이 1이면 가변 블록 움직임 보상기(16)는 절차를 종료하는 반면, "n"이 1이 아니면 가변 블록 움직임 보상기(16)는 제2 단계로 되돌아 간다. 이와 같이, 가변 블록 움직임 보상기(16)는, 객체의 경계 부분에서의 블록 움직임 벡터를 좀 더 정밀한 서브 움직임 벡터들로 재구성하여, 고정-크기의 블록 움직임 보상 방식의 결함을 감소시킨다. 실제로, 도 2c 또는 도 5와 같은 블록별 움직임 벡터들이 양방향 움직임 연산기(12)에서 산출되는 경우, 가변 블록 움직임 보상기(16)는 객체 구별기(14)로부터의 이동 객체 구분 정보에 응답하여 경계 영역 상의 블록 움직임 벡터들을 좀 더 정밀한 서브 블록 움직임 벡터들로 재구성된 도 2e 또는 도 6과 같은 가변 블록 움직임 벡터들을 생성한다.

AOBMC형 픽셀 보간기(18)는, 적응형 윈도우 계수를 이용하여, 배경 및 객체 영역들 상의 블록 움직임 벡터들이 적응적으로 보상되게끔, 블록 움직임 벡터들과 이전 및 다음 영상 프레임(f_{n -1},f_{n +1}) 정보로부터 보간 영상 프레임(f_n) 상의 픽셀들을 보간한다. AOBMC형 픽셀 보간기(18)는, 각 블록의 픽설들의 보간에 해당 블록의 움직임 벡터만을 적용하는 관련 기술의 중첩 블록 움직임 보상형 픽셀 보간기와는 달리, 가중 치환된 적응형 윈도우를 이용하여 블록 움직임 벡터를 좀 더 큰 픽셀 세트에 적용한다. 설명의 편의를 위하여, "s"가 (i,j)번째 블록(B_{i ,j})의 우하 4분면에 위치하는 픽셀인 것으로 가정한다. AOBMC형 픽셀 보간기(18)는, 블록(B_{i ,j}) 의 각 픽셀(f_n[s])을, 그 블록 자체, 하측 블록(B_{i +1,j}), 우측 블록(B_{i ,j+1}), 및 우하측 블록(B_{i +1,j+1})의 움직임 벡터들을 이용하여 예측한다. "v_{i +p,j+q}"가 블록(B_{i +p,j+q})의 움직임 벡터를 나타내고, "w_p,q"가 대응하는 가중 치환 윈도우 계수를 나타낸다고 하자. 그러면, AOBMC형 픽셀 보간기(18)는 예측 픽셀(f_n[s])을 수학식 9와 같이 산출할 수 있다.

가중 치환 윈도우 계수(w_{p ,q}[s])는 블록(B_{i ,j}) 내의 픽셀(s)의 상대 위치에 의하여 결정된다. 실제로, 수학식 11로부터의 상승 코사인 윈도우(Raised Cosine window)와 같은 평활 함수는 가중 치환 윈도우 계수(w_{p ,q}[·])에 종종 사용된다. 다른 4분면의 픽셀들을 예측하는 방법은 좀 더 쉽게 유도될 수 있다. 예를 들면, 블록의 좌상측 4분면에 대해서는, 그 블록 자체, 상측 블록, 좌측 블록, 및 좌상측 블록의 움직임 벡터들이 사용된다.

일반적으로, 움직임 활성도가 낮으면, 중첩 블록 움직임 보상은 폐색 아티펙트들을 효과적으로 감쇠시키어 좋은 가시 품질을 제공할 수 있다. 반대로, 인접 블록들이 실질적으로 다른 움직임들을 가지면, 중첩 블록 움직임 보상은 블러링 또는 과도 평활 아티펙트들을 발생할 수 있다. 두 개의 블록들이 서로 인접하고, 그 중 한 블록이 빠르게 움직이는 대상체의 일부인 반면 다른 블록은 배경에 속한다고 하자. 이 경우, 움직이는 블록의 움직임 벡터는 배경 블록의 픽셀의 영향을 받지 않는다. 불행하게도, 관련 기술의 중첩 블록 움직임 보상에서는, 가중 치환 계수들이 단지 그 블록 내의 픽셀들의 상대적인 거리(또는 간격)에 의하여 결정되어, 배경 블록의 경계 픽셀들은 움직이는 블록의 움직임 벡터에 의하여 충분하게 영향을 받는다.

이 결점을 해소하기 위하여, AOBMC형 픽셀 보간기(18)는 인접 움직임 벡터들의 신뢰성에 따라 적응적으로 가중 치환 윈도우 계수들을 제어한다. 도 7은 관련 기술의 중첩 블록 움직임 보상형 픽셀 보간기와 AOBMC형 픽셀 보간기(18)에 의한 픽셀 위치에 따른 가중 치환 윈도우 계수의 변화 상태들을 비교-설명한다. 도 7에 있어서, 점선의 파형은 관련 기술의 중첩 움직임 블록 보상형 픽셀 보간기에 의하여 픽셀의 위치에 따른 가중 치환 윈도우 계수의 변화 상태를 설명하고, 실선의 파형은 AOBMC형 픽셀 보간기(18)에 의하여 픽셀 위치에 따른 가중 치환 윈도우 계수의 변화 상태를 설명한다. 도 7을 참조하면, 블록(B_{i ,j})의 우반부의 각 픽셀(s)은, 블록(B_{i ,j})의 움직임 벡터들에 의하여 특정된 두 픽셀 값들의 가중 치환된 합에 의하여 움직임-보상된다. 관련 기술의 중첩 블록 움직임 보상형 픽셀 보간기에서는, 가중 치환 윈도우 계수들(w_{i ,j}[s] 및 w_{i +1,j}[s])이 블록(B_{i ,j}) 내의 픽셀(s)의 상대적 인 위치에 의하여 결정된다. 이에 반하여, AOBMC형 픽셀 보간기(18)는 인접 움직임 벡터의 신뢰도에 따라 적응적으로 가중 치환 윈도우 계수들을 변경한다. 일 예로, 블록(B_{i +1,j})의 움직임 벡터가 블록(B_{i ,j})의 예측에 사용될 정도로 충분히 신뢰받지 못한다고 하자. 이 경우, 도 7에서와 같이, 대응하는 가중 치환 윈도우 계수(w_{i +1,j}[s])는 "w'_{i +1,j}[s]"로 감소되는 반면에 다른 가중 치환 윈도우 계수들(w_{i ,j}[s])는 "w'_{i ,j}[s]"로 증가한다.

가중 치환 윈도우 계수의 적응적인 변경을 위하여, AOBMC형 픽셀 보간기(18)는 현재 블록(B_{i ,j})의 예측용의 인접 블록 움직임 벡터(v_{i +p,j+q})의 신뢰도를 수학식 10과 같이 산출한다.

블록 움직임 벡터(v_{i ,j})가 양방향 움직임 절대 차이의 합(SBAD)의 값을 포함하는 수학식 6에서의 가중 치환 합을 최소화하게 선택되었다면, 대부분의 경우, 예측 블록의 양방향 움직임 절대 차이의 합(SBAD[B_{i ,j},v_{i ,j}])은 인접 블록의 양방향 움직임 절대 차이의 합(SBAD[B_{i ,j},v_{i +p,j+q}])과 같거나 작아지게 되어 신뢰도는 "0"과 "1" 및 그들 사이의 값들 어느 하나, 즉 "0 ≤ Φ_{Bi ,j}[v_{i +p,j+q}] ≥ 1",가 된다. 신뢰도(Φ B_i,j[v_i+p,j+q])가 커지는 것만큼, 인접 움직임 벡터(v_{i +p,j+q})는 현재(또는 예측) 블록(B_{i ,j})을 움직임-보상하는데 좀 더 신뢰성 있게 사용될 수 있다. 결과적으로, 신뢰도 정보를 이용하여, 수학식 10에서의 가중 치환 윈도우 계수들(w_{p ,q}[s])은 수학식 11의 형태로 변형된다.

변경된 가중 치환 윈도우 계수는 신뢰도(ΦB_{i ,j}[v_{i +p,j+q}])에 비례한다. 수학식 11에서의 분모는 수학식 9a에서와 같은 가중 치환 계수들을 정규화(Normalize)하는데 필요하다. 도 8은 인접 블록의 움직임 벡터의 신뢰도에 따른 도 7에서의 상승 코사인 윈도우의 변경 방식을 설명한다. 도 8에서와 같이, 인접 블록의 움직임 벡터가 "1"의 신뢰도를 가지면, AOBMC형 픽셀 보간기(18)는 상승 코사인 윈도우를 변경하지 않는다. 이와는 반대로, 인접 블록의 움직임 벡터가 "0"의 신뢰도를 가지게 되면, AOBMC형 픽셀 보간기(18)는 상승 코사인 계수를 현재 블록에 사용하지 않음은 물론 가중 치환 윈도우가, 관련 기술의 중첩 블록 움직임 보상형 픽셀 보간기에서와 같이, 직각(또는 직사각형)을 이룬다. 이 경우, AOBMC형 픽셀 보간기(16)는 보간 블록(B_{i ,j})의 각 픽셀(f_n[s])을 수학식 12와 같이 산출한다.

f_n[s,v_ℓ ⁽ⁿ⁾] = (f_{n -1}[s-v_ℓ ⁽ⁿ⁾] + f_{n +1}[s+v_ℓ ⁽ⁿ⁾])/2, 여기서 s∈B_ℓ ⁽ⁿ⁾ 경우

따라서, 본 실시 예에서의 적응형 중첩 블록 움직임 보상부는, 윈도우 형태를 적응적으로 제어하여, 관련 기술의 중첩 블록 움직임 보상부의 단점을 해소할 수 있다. 이와 같이, AOBMC형 픽셀 보간기(18)는 인접 블록의 움직임 벡터의 신뢰도에 따라 가중 치환 윈도우 계수의 적응적인 변경 적용 또는 비적용하여 블록 움직임 벡터들과 이전 및 다음 영상 프레임 상의 픽셀들로 보간 영상 프레임의 픽셀들을 보간한다. 예를 들어, 도 2a 및 도 2b와 같은 이전 및 다음 영상 프레임과 도 2e와 같은 블록별 움직임 벡터들이 제1 지연기(10), 입력 라인(11) 및 가변 블록 움직임 보상기(16)로부터 입력된 경우, AOBMC형 픽셀 보간기(18)는 도 2f와 같은 보간 영상 프레임을 생성한다.

AOBMC형 픽셀 보간기(18)에서 출력되는 보간 영상 프레임에서는, 폐색 아티펙트들이 현저하게 줄어들고 있음은 물론 객체의 예리한 에지들을 보전된다. 다시 말하여, 본 명세서에서 개시된 실시 예에 따른 프레임 보간부는 좀 더 나은 품질의 영상 프레임을 보간한다. 이는 보간 영상 프레임의 품질 개선은 관련 기술의 프레임 보간 알고리즘에 의한 보간 영상 프레임과의 대비를 통하여 명백하게 드러난다.

도 9a 내지 도 9c는 빠르고 복합적인 움직임들을 가지는 풋볼의 영상 프레임 열로부터 보간된 영상 프레임들이고, 도 10a 내지 도 10c는 절도 있는(즉, 간소한) 움직임들을 가지는 건축 십장의 영상 프레임 열로부터 보간된 영상 프레임들이고, 도 11a 내지 도 11c는 빠르게 움직이는 객체 및 장면 전환(변화)을 가지는 탁구의 영상 프레임 열로부터 보간된 영상 프레임들이고, 도 12a 내지 도 12c는 발산형 움직임들의 다중 객체를 포함하는 자동차의 영상 프레임 열로부터 보간된 영상 프레임들이다. 도 9a 내지 도 12a는 3차원 귀납적 움직임 보상형 프레임 보간 알고리즘에 의하여 생성된 보간 영상 프레임들이고, 도 9b 내지 도 12b는 Zhai et al의 움직임 보상형 프레임 보간 알고리즘에 의하여 생성된 보간 영상 프레임들이고, 그리고 도 9c 내지 도 12c는 본 명세서의 실시 예에 따른 AOBMC형 프레임 보간부에 의하여 생성된 보간 영상 프레임이다.

도 9 내지 도 12의 보간 영상 프레임들의 보간을 위하여, 블록 크기는 8×8픽셀을 포함하는 크기로 설정됨과 아울러 검색 범위는 수평 및 수직 방향들 양쪽에 대하여 16 픽셀들로 설정한 상태에서 보간된 것이다. 또한, 가변-크기 블록 움직임 보상기(16)에 의하여, 경계 블록들 각각은 다중 4×4 또는 다중 2×2 서브 블록들로 분할되었다. 이에 더하여, 프레임 전송 속도는 초당 30 프레임의 원래 프레임 전송 속도의 두 배인 60fps로 설정된 상태에서 도 9 내지 도 12의 영상 프레임들이 보간되었다. 본 명세서의 실시 예에 따른 프레임 보간부에 의하여 보간된 도 9c 내지 도 12c의 보간 영상 프레임들에서는, 3차원 귀납적 움직임 보상형 프레임 보간 알고리즘에 의한 도 9a 내지 도 12a의 보간 영상 프레임들은 물론 Zhai et al의 프레임 보간 알고리즘에 의한 도 9b 내지 도 12b의 보간 영상 프레임들에서 보다도, 폐색 아티펙트들이 현저하게 줄어들고 있음은 물론 객체의 에지들이 예리하게 보전되고 있다. 이러한 화상의 품질 개선은, 도 9 내지 도 12의 보간 영상 프레임 상의 객체들, 즉 풋볼 선수들의 신체들, 건축 십장의 얼굴, 탁구 선수의 팔 들, 및 구르는 공의 주위에서 쉽게 관찰될 수 있다.

이에 더하여, 본 명세서의 실시 예에 따른 AOBMC형 프레임 보간부는, 3차원 귀납적 움직임 보상형 프레임 보간 알고리즘 및 Zhai et al의 움직임 보상형 프레임 보간 알고리즘에 비하여, 향상된 신호대잡음 비율을 보인다. n번째의 보간 영상 프레임(f_n)이 이전(n-1번째) 영상 프레임 및 다음(n+1 번째) 영상 프레임으로부터 보간되기는 하나, 신호대잡음 비율(PSNR)은 원래의 n번째 프레임과 보간된 n 번째 프레임 사이에 연산된다. "f_n" 및 "f'_n"은 원래의 영상 프레임과 보간 영상 프레임을 각각 나타낸다고 하면, 신호대잡음 비율(PSNR)은 수학식 13과 같이 정의된다.

수학식 13에 있어서, "W×H"는 이미지 열의 공간적 해상도이다. 도 13a 내지 도 13d는 "풋볼", "건축 십장", "탁구", 및 "자동차" 이미지 열에서 100개의 프레임들로부터 보간된 보간 영상 프레임들에 대한 신호대잡음 비율의 특성을 설명한다. 도 13a 내지 도 13d에 있어서, "PIC"는 본 명세서의 실시 예에 따른 AOBMC형 프레임 보간부에 의해 보간된 50개의 보간 영상 프레임들에 대응한 신호대잡음 비율의 변환 상태를 나타내고, "RA1"는 3차원 귀납적 움직임 보상형 프레임 보간 알고리즘에 의하여 보간된 50개의 보간 영상 프레임에 따른 신호대잡음 비율의 변환 상태를 나타내고, 마지막으로 "RA2"는 Zhai et al의 프레임 보간 알고리즘에 의하여 보간된 50개의 보간 영상 프레임에 따른 신호대잡음 비율의 변환 상태를 나타낸다. 도 13a 내지 도 13d에서와 같이, 본 명세서의 실시 예에 따른 AOBMC형 프레임 보간부는, 3차원 귀납적 움직임 보상형 프레임 보간 알고리즘 및 Zhai et al의 프레임 보간 알고리즘에 비하여, 대략 2dB 정도까지 더 나은 신호대잡음 비율 성능을 제공한다.

도 1의 프레임 속도 상향 변환 장치는 제1 지연기(10)로부터의 지연된 영상 프레임(f_{n -1})과 AOBMC형 픽셀 보간기(18)로부터의 보간 영상 프레임(f_n)을 입력하는 속도 상향 및 조합부(20)를 추가로 구비한다. 속도 상향 및 조합부(20)는 제1 프레임 주파수의 지연 영상 프레임(f_{n -1}) 및 보간 영상 프레임(f_n)을 제1 프레임 주파수보다 높은 제2 프레임 주파수로 전송 속도 상향 변환한다. 제2 프레임 주파수는 제1 프레임 주파수의 1.5배 또는 2배에 해당하게 설정될 수 있다. 예를 들어, 제1 프레임 주파수가 60Hz인 경우 제2 프레임 주파수는 90Hz 또는 120Hz가 된다. 또한, 속도 상향 및 조합부(20)는 보간 영상 프레임(f_n)을 지연된 영상 프레임들(f_{n -1},f_n+1) 사이에 삽입하여 속도 상향 변환된 영상 프레임 열(즉, 제2 프레임 주파수의 영상 프레임 열)(fru)을 생성한다. 속도 상향 및 조합부(20)에서 생성되는 속도 상향 변환된 영상 프레임들(fru)은 출력 라인(13)을 통해 순차적으로 출력된다. 제2 프레임 주파수가 제1 프레임 주파수의 1.5배로 설정된 경우, 속도 상향 및 조합부(20)는 2개의 지연된 영상 프레임마다 하나의 보간 영상 프레임(f_n)을 삽입한다. 이와는 달리, 제2 프레임 주파수가 제1 프레임 주파수의 2배로 설정되었다면, 속도 상향 및 조합부(20)는 지연된 영상 프레임과 보간 영상 프레임을 교번적으로 배열시킨다. 나아가, 속도 상향 및 조합부(20)는 영상 프레임의 속도를 높이는 동작과 영상 프레임의 조합 동작을 순차적으로 또는 동시에 수행할 수 있다. 이러한 속도 상향 동작 및 조합 동작의 순차 또는 동시 수행하기 위하여, 속도 상향 및 조합부(20)는 적어도 4 프레임의 용량을 가지는 메모리를 포함한다.

출력 라인(13)에는 액정 표시 장치, 전계 발광 표시 장치 및 플라즈마 표시 장치와 같은 홀드형 표시 장치가 접속될 수 있다. 출력 라인(13)에 접속된 홀드형 표시 장치는, 프레임 속도 상향 변환된 영상 프레임들(fru)에 의하여 구동되기 때문에, 블러링 현상 및 폐색 아티팩트의 발생을 최소화하면서도 객체의 윤곽을 예리하게 보존된 양질의 화상을 제공할 수 있다.

또한, 실시 예의 프레임 속도 상향 변환 장치는, 제1 지연기(10)와 속도 상향 및 조합부(20) 사이에 접속되는 제2 지연기(22)를 추가로 구비할 수 있다. 제2 지연기(22)는, 프레임 보간부의 데이터 처리 시간(즉, 양방향 움직임 연산기(12), 객체 구별기(14), 가변 블록 움직임 보상기(16) 및 AOBMC형 픽셀 보간기(18)에서의 데이터 처리 시간)에 해당하는 기간 동안, 제1 지연기(10)로부터 속도 상향 및 조합부(22)에 공급될 영상 프레임들(f_{n -1},f_{n +1})을 2차적으로 지연시킨다. 이 제2 지연기(22)의 지연 동작에 의하여, 속도 상향 및 조합부(20)는 제1 지연기(10)에서 출력되는 지연 영상 프레임(f_{n -1},f_{n +1})과 AOBMC형 픽셀 보간기(18)에서 출력되는 보간 영상 프레임(f_n)을 동시에 입력할 수 있다.

상술한 바와 같이, 본 명세서에서 개시된 실시 예의 프레임 보간 장치 및 그 를 포함하는 실시 예의 프레임 속도 상향 변환 장치는, 양방향 움직임 연산을 통하여, 홀 및 중첩 아티펙트들을 전혀 발생시키지 않으면서 움직임 벡터들을 효과적으로 예측한다. 또한, 실시 예의 프레임 보간 장치 및 그를 포함하는 실시 예의 프레임 속도 상향 변환 장치는, 인접 움직임 벡터들의 신뢰도에 기초하여, 가중 치환 윈도우 계수를 적응적으로 제어함과 아울러 그 적응적 가중 치환 윈도우 계수가 선택적으로 적용되는 픽셀 보간을 수행하여, 과도한 평활이 억제되게 한다. 이에 따라, 실시 예의 프레임 보간 장치는 폐색 아티펙트를 최소화하면서도 객체의 윤곽이 예리하게 보존되는 양질의 보간 영상 프레임을 제공할 수 있다. 또한, 실시 예의 프레임 속도 상향 변환 장치는, 폐색 아티펙트 및 객체의 윤곽의 열화를 최소하면서도, 영상 프레임 열을 프레임 속도 상향 변환할 수 있다. 이에 더하여, 실시 예의 프레임 보간 장치 및 그를 포함하는 실시 예의 프레임 속도 상향 변환 장치는, 영상 프레임의 신호대잡음 비율을 대략 2dB 정도까지 향상시킬 수 있다.

이상과 같이, 도 1 내지 도 13을 통하여, 단지 두 개의 프레임들(즉, 이전 및 다음 프레임들)만을 중간 프레임의 보간에 사용하는 프레임 보간 장치 및 프레임 속도 상향 변환 장치로 국한하여 실시 예들이 설명되었으나, 실시 예들이 속하는 기술 분야에 대한 통상의 지식을 가진 자라면 실시 예를 통해 드러난 기술적 사상 및 범위를 일탈하지 않으면서 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 예를 들면, 보간된 프레임의 품질의 향상을 위하여, 실시 예의 기술 분야에 대한 통상의 지식을 가진 자라면 적어도 3 이상의 인접 프레임들을 이용할 수 있다는 것을 쉽게 알 수 있을 것이다. 따라서, 실시 예들에서 드러난 기술적 사상 및 범위는 실시 예의 설명에 국한될 수는 없고 첨부된 특허청구의 범위에 기재된 사항에 의하여 설정되어야 할 것이다.

도 1 은 본 발명의 실시 예에 따른 프레임 속도 상향 변환 장치를 개략적으로 설명하는 블록도이다.

도 2a 내지 도 2f 는 도 1의 각 부분의 입력 및 출력 결과를 영상 프레임들을 도시하는 도면이다.

도 3 은 도 1의 양방향 움직임 연산기에 의하여 수행되는 양방향 움직임 연산 과정을 설명하는 도면이다.

도 4 는 도 1의 양방향 움직임 연산기에 의하여 수행되는 측방 정합 과정을 설명하는 도면이다.

도 5 는 도 1의 객체 구별기에 의하여 영역별로 군집화된 블록 움직임 벡터 들을 상세하게 설명하는 도면이다.

도 6 은 도 1의 가변 블록 움직임 보상기에 의하여 경계 블록 움직임 벡터들이 정밀하게 재구성된 상태를 설명하는 도면이다.

도 7 는 관련 기술의 중첩 블록 움직임 보상형 픽셀 보간기와 도 1의 AOBMC형 픽셀 보간기에 의한 픽셀 위치에 따른 가중 치환 윈도우 계수의 변화 상태들을 비교-설명하는 도면이다.

도 8 은 인접 블록의 움직임 벡터의 신뢰도에 따라 도 7에서의 상승 코사인 윈도우가 변경하는 방식을 설명하는 도면이다.

도 9a 내지 도 9c는 관련 기술의 프레임 보간 방식과 도 1의 프레임 보간부에 의해 보간된 풋불 영상 프레임들이다.

도 10a 내지 도 10c는 관련 기술의 프레임 보간 방식과 도 1의 프레임 보간부에 의해 보간된 건축 십장의 영상 프레임들이다.

도 11a 내지 도 11c는 관련 기술의 프레임 보간 방식과 도 1의 프레임 보간부에 의해 보간된 탁구 영상 프레임들이다.

도 12a 내지 도 12c는 관련 기술의 프레임 보간 방식과 도 1의 프레임 보간부에 의해 보간된 자동차 영상 프레임들이다.

도 13a 내지 도 13d는 도 9 내지 도 12의 영상 프레임을 보간하는 관련 기술 및 도 1의 프레임 보간부에 의해 보간된 도 9 내지 도 12의 영상 프레임 열에 대한 PSNR을 대비-설명하는 특성도들이다.

≪도면의 주요 부분에 대한 부호의 설명≫

10 : 제1 지연기 12 : 양방향 움직임 산출기

14 : 객체 구별기 16 : 가변 블록 움직임 보상기

18 : AOBMC형 픽셀 보간기 20 : 제2 지연기

22 : 속도 상향 및 조합기

Claims (12)

1. 이전 영상 프레임 및 다음 영상 프레임의 픽셀 정보들을 이용한 양방향 비교을 통하여 보간 영상 프레임의 블록별 움직임 벡터를 연산하는 움직임 연산기; 및

   상기 보간 영상 프레임 상의 보간할 블록과 인접한 블록의 움직임 벡터의 신뢰성에 기초하여, 가중 치환 윈도우 계수를 적응적으로 조절함과 아울러 이 적응 조절된 가중 치환 윈도우 계수가 선택적으로 적용되는 상기 이전 및 다음 영상 프레임 프레임의 픽셀 정보 및 상기 보간 블록의 움직임 벡터의 연산을 수행하여, 상기 보간 영상 프레임 상의 픽셀들을 보간하는 적응적 중첩 움직임 보상형 픽셀 보간기를 구비하는 것을 특징으로 하는 프레임 보간 장치.
2. 제 1 항에 있어서,

   상기 양방향 움직임 연산기로부터의 상기 블록별 움직임 벡터들에 기초하여 상기 보간 영상 프레임 상의 객체간 경계 영역을 구분하는 객체 구별기; 및

   상기 양방향 움직임 연산기로부터의 상기 블록 움직임 벡터들 중 상기 객체 구별기에 의해 구별된 경계 영역에 포함되는 경계 블록의 움직임 벡터를 서브 블록 움직임 벡터들로 재구성하여, 상기 서브 블록 움직임 벡터들 및 상기 블록 움직임 벡터들을 포함하는 가변 블록 움직임 벡터들을 상기 적응적 중첩 블록 움직임 보상형 픽셀 보간기에 공급하는 가변 블록 움직임 보상기를 추가로 구비하는 프레임 보간 장치.
3. 제 1 항에 있어서,

   상기 적응적 중첩 블록 움직임 보상형 픽셀 보간기는, 상기 인접 블록의 움직임 벡터의 신뢰성이 "0"일 때, 상기 적응 조절된 가중 치환 윈도우 계수를 픽셀 보간에 적용하지 않는 것을 특징으로 하는 프레임 보간 장치.
4. 이전 영상 프레임 및 다음 영상 프레임의 픽셀 정보들을 이용한 양방향 비교을 통하여 보간 영상 프레임의 블록별 움직임 벡터를 연산하는 단계;

   상기 보간 영상 프레임 상의 보간할 블록과 인접한 블록의 움직임 벡터의 신뢰도를 연산하는 단계;

   상기 인접 블록의 움직임 벡터의 신뢰도에 근거하여, 가중 치환 윈도우 계수를 조절하는 단계; 및

   상기 인접 블록의 신뢰도에 따라, 상기 조절된 가중 치환 윈도우 계수를 선택적으로 적용한 상기 이전 및 다음 영상 프레임 프레임의 픽셀 정보 및 상기 보간 블록의 움직임 벡터의 연산을 수행하여, 상기 보간 영상 프레임 상의 픽셀들을 보간하는 단계를 포함하는 것을 특징으로 하는 프레임 보간 방법.
5. 제 4 항에 있어서, 움직임 벡터 연산 단계는,

   상기 블록별 움직임 벡터들에 기초하여 상기 보간 영상 프레임 상의 객체간 경계 영역을 구분하는 단계; 및

   상기 블록 움직임 벡터들 중 상기 경계 영역에 포함되는 경계 블록의 움직임 벡터를 서브 블록 움직임 벡터들로 재구성하는 단계를 추가로 포함하는 것을 특징으로 하는 프레임 보간 방법.
6. 제 5 항에 있어서,

   상기 픽셀 보간 단계는, 상기 인접 블록의 움직임 벡터의 신뢰도가 "0"일 때, 상기 조절된 가중 치환 윈도우 계수를 픽셀 보간에 적용하지 않는 것을 특징으로 하는 프레임 보간 방법.
7. 입력 라인으로부터의 제1 프레임 주파수의 영상 프레임을 제1 주파수 프레임의 기간 동안 지연시키는 지연기;

   상기 지연기로부터의 영상 프레임 및 상기 입력 라인으로부터의 영상 프레임의 픽셀 정보들을 이용한 양방향 비교을 통하여 보간 영상 프레임의 블록별 움직임 벡터를 연산하는 움직임 연산기;

   상기 보간 영상 프레임 상의 보간할 블록과 인접한 블록의 움직임 벡터의 신뢰성에 기초하여, 가중 치환 윈도우 계수를 적응적으로 조절함과 아울러 이 적응 조절된 가중 치환 윈도우 계수가 선택적으로 적용되는 상기 입력 라인 및 상기 지연기로부터의 영상 프레임들의 픽셀 정보과 상기 보간 블록의 움직임 벡터와의 연산을 수행하여, 상기 보간 영상 프레임 상의 픽셀들을 보간하는 적응적 중첩 움직임 보상형 픽셀 보간기; 및

   상기 지연기로부터의 지연된 영상 프레임과 상기 적응적 중첩 블록 움직임 보상형 픽셀 보간기로부터의 상기 보간 영상 프레인을 상기 제1 프레임 주파수보다 높은 제2 프레임 주파수로 높이고 상기 프레임 주파수 상향된 지연 영상 프레인들 사이에 상기 프레임 주파수 상향된 보간 영상 프레임을 삽입-조합하는 속도 상향 및 조합부를 구비하는 것을 특징으로 하는 프레임 속도 상향 변환 장치.
8. 제 7 항에 있어서,

   상기 양방향 움직임 연산기로부터의 상기 블록별 움직임 벡터들에 기초하여 상기 보간 영상 프레임 상의 객체간 경계 영역을 구분하는 객체 구별기; 및

   상기 양방향 움직임 연산기로부터의 상기 블록 움직임 벡터들 중 상기 객체 구별기에 의해 구별된 경계 영역에 포함되는 경계 블록의 움직임 벡터를 서브 블록 움직임 벡터들로 재구성하여, 상기 서브 블록 움직임 벡터들 및 상기 블록 움직임 벡터들을 포함하는 가변 블록 움직임 벡터들을 상기 적응적 중첩 블록 움직임 보상형 픽셀 보간기에 공급하는 가변 블록 움직임 보상기를 추가로 구비하는 것을 특징으로 하는 프레임 속도 상향 변환 장치.
9. 제 8 항에 있어서,

   상기 제2 프레임 주파수는 상기 제1 프레임 주파수의 1.5배 및 2배 중 어느 하나로 설정된 것을 특징으로 하는 프레임 속도 상향 변환 장치.
10. 입력 라인 상의 제1 프레임 주파수의 영상 프레임을 제1 프레임 주파수의 주기에 해당하는 기간 동안 지연시키는 단계;

    상기 입력 라인 상의 영상 프레임 및 상기 지연된 영상 프레임의 픽셀 정보들을 이용한 양방향 비교을 통하여 보간 영상 프레임의 블록별 움직임 벡터를 연산하는 단계;

    상기 보간 영상 프레임 상의 보간할 블록과 인접한 블록의 움직임 벡터의 신뢰도를 연산하는 단계;

    상기 인접 블록의 움직임 벡터의 신뢰도에 근거하여, 가중 치환 윈도우 계수를 조절하는 단계;

    상기 인접 블록의 신뢰도에 따라, 상기 조절된 가중 치환 윈도우 계수를 선택적으로 적용한 상기 이전 및 다음 영상 프레임 프레임의 픽셀 정보 및 상기 보간 블록의 움직임 벡터의 연산을 수행하여, 상기 보간 영상 프레임 상의 픽셀들을 보간하는 단계; 및

    상기 지연된 영상 프레임과 상기 보간 영상 프레인을 상기 제1 프레임 주파수보다 높은 제2 프레임 주파수로 높이고 상기 프레임 주파수 상향된 지연 영상 프레인들 사이에 상기 프레임 주파수 상향된 보간 영상 프레임을 삽입-조합하는 단계를 포함하는 것을 특징으로 하는 프레임 속도 상향 변환 방법.
11. 제 10 항에 있어서, 움직임 벡터 연산 단계는,

    상기 블록별 움직임 벡터들에 기초하여 상기 보간 영상 프레임 상의 객체간 경계 영역을 구분하는 단계; 및

    상기 블록 움직임 벡터들 중 상기 경계 영역에 포함되는 경계 블록의 움직임 벡터를 서브 블록 움직임 벡터들로 재구성하는 단계를 추가로 포함하는 것을 특징으로 하는 프레임 속도 상향 변환 방법.
12. 제 5 항에 있어서,

    상기 픽셀 보간 단계는, 상기 인접 블록의 움직임 벡터의 신뢰도가 "0"일 때, 상기 조절된 가중 치환 윈도우 계수를 픽셀 보간에 적용하지 않는 것을 특징으로 하는 프레임 속도 상향 변환 방법.

Images