KR101675117B1 - 다계층의 저해상도 영상을 이용한 고해상도 영상 생성 방법 및 그 장치 - Google Patents

Abstract

저해상도 영상을 복수 개의 저해상도 텍스처 계층 영상들 및 복수 개의 저해상도 기본 계층 영상들로 분리하고, 복수 개의 저해상도 텍스처 계층 영상들을 합성하여 고해상도 텍스처 계층 영상을 생성하고, 복수 개의 저해상도 기본 계층 영상들을 합성하여 고해상도 기본 계층 영상을 생성하여, 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상을 합성하여 고해상도 영상을 출력하는 고해상도 영상 생성 방법이 개시된다.

Description

다계층의 저해상도 영상을 이용한 고해상도 영상 생성 방법 및 그 장치{Method and apparatus for reconstructing high-resolution image by using multi-layer low-resolution image}

본 발명은 영상의 해상도 증폭에 관한 것이다.

디스플레이 크기가 커짐에 따라, 영상 크기를 효과적으로 확대하는 기술이 요구된다. 영상 확대 기법으로는, 바이리니어(bilinear) 필터, 바이큐빅(bicubic) 필터 또는 란초스 커널(Lanczos kernel) 기반의 필터를 포함한 선형 보간 필터(Linear interpolation filter)가 이용될 수 있다.

또한, SD(Standard Definition)급 비디오 및 HD(High Definition)급 비디오의 화질을 개선하기 위해 초해상도(Super-resolution) 영상 처리 기법이 이용되고 있다. 초해상도 영상 처리 기법은, 기존 처리된 결과 영상을 다시 입력 영상을 이용하는 과정을 반복적으로 수행하여 신뢰도 높은 영상 정보 획득하는 재귀적 연산 기법에 의한다.

본 발명은, 계층별로 분리된 저해상도 영상을 이용하여 고해상도 영상을 재구성하는 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따라 다계층 저해상도 영상을 이용하는 고해상도 영상 생성 방법은, 저해상도 영상을 복수 개의 저해상도 텍스처 계층 영상들 및 복수 개의 저해상도 기본 계층 영상들로 분리하는 단계; 상기 복수 개의 저해상도 텍스처 계층 영상들을 합성하여 고해상도 텍스처 계층 영상을 생성하고, 상기 복수 개의 저해상도 기본 계층 영상들을 합성하여 고해상도 기본 계층 영상을 생성하는 단계; 및 상기 고해상도 텍스처 계층 영상 및 상기 고해상도 기본 계층 영상을 합성하여 고해상도 영상을 출력하는 단계를 포함한다

일 실시예에 따른 상기 고해상도 영상 출력 단계는, 상기 고해상도 영상의 고주파 성분을 복원하는 단계를 더 포함할 수 있다.

일 실시예에 따른 상기 분리 단계는 복수 개의 저해상도 영상들 중 각각을 저해상도 텍스처 계층 영상 및 기본 계층 영상으로 분리함으로써, 상기 복수 개의 저하생도 텍스처 계층 영상들 및 상기 복수 개의 기본 계층 영상들이 분리될 수 있다. 일 실시예에 따른 상기 분리 단계는, 상기 저해상도 영상에 대하여 영상의 에지 성분을 보존하면서 영상을 평탄화하는 필터를 적용시켜 상기 저해상도 기본 계층 영상을 생성하는 단계; 및 상기 저해상도 영상 및 상기 저해상도 기본 계층 영상의 차이 영상을 상기 저해상도 텍스처 계층 영상으로 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상 생성 단계는, 상기 복수 개의 저해상도 텍스처 계층 영상들에 대한 비재귀적인 필터링을 통해 상기 고해상도 텍스처 계층 영상을 생성하고, 상기 복수 개의 저해상도 기본 계층 영상들에 대한 비재귀적인 필터링을 통해 상기 고해상도 기본 계층 영상을 생성할 수 있다.

일 실시예에 따른 상기 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상 생성 단계는, 각각의 저해상도 텍스처 계층 영상의 제 1 현재 프레임, 상기 제 1 현재 프레임의 시간적 인접 프레임들, 및 공간적 인접 프레임들에 대한 가중합 필터링을 통해 상기 고해상도 텍스처 계층 영상을 생성하고, 각각의 저해상도 기본 계층 영상의 제 2 현재 프레임, 상기 제 2 현재 프레임의 시간적 인접 프레임들 및 공간적 인접 프레임들에 대한 가중합 필터링을 통해 상기 고해상도 기본 계층 영상을 생성할 수 있다.

일 실시예에 따른 상기 고해상도 영상 출력 단계는, 상기 고해상도 텍스처 계층 영상 및 상기 고해상도 기본 계층 영상에 대한 가중 평균 필터링에 의해 상기 고해상도 영상을 합성할 수 있다.

일 실시예에 따른 상기 고주파 성분 복원 단계는, 상기 고해상도 영상에 대한 비재귀적 필터링을 통해 상기 고해상도 영상의 고주파 성분을 복원할 수 있다.

본 발명의 일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치는, 저해상도 영상을 복수 개의 저해상도 텍스처 계층 영상들 및 복수 개의 저해상도 기본 계층 영상들로 분리하는 저해상도 영상 계층 분리부; 상기 복수 개의 저해상도 텍스처 계층 영상들을 합성하여 고해상도 텍스처 계층 영상을 생성하는 고해상도 텍스처 계층 영상 생성부; 상기 복수 개의 저해상도 기본 계층 영상들을 합성하여 고해상도 기본 계층 영상을 생성하는 고해상도 기본 계층 영상 생성부; 및 상기 고해상도 텍스처 계층 영상 및 상기 고해상도 기본 계층 영상을 합성하여 고해상도 영상을 출력하는 고해상도 영상 합성부를 포함한다.

일 실시예에 따른 상기 고해상도 영상 합성부는, 상기 고해상도 영상의 고주파 성분을 복원하는 고주파 성분 복원부를 포함할 수 있다.

일 실시예에 따른 상기 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치는, 상기 저해상도 영상의 현재 프레임 및 연속되는 인접 프레임들 간의 움직임 정보를 추정하는 움직임 추정부를 더 포함하고, 상기 고해상도 텍스처 계층 영상 생성부는, 상기 움직임 정보에 기초하여 움직임 보상된 인접 프레임들을 이용하여, 각각의 저해상도 텍스처 계층 영상의 제 1 현재 프레임, 상기 제 1 현재 프레임의 시간적 인접 프레임들, 및 공간적 인접 프레임들에 대한 가중합 필터링을 통해 상기 고해상도 텍스처 계층 영상을 생성하고, 상기 고해상도 기본 계층 영상 생성부는, 상기 움직임 정보에 기초하여 움직임 보상된 인접 프레임들을 이용하여, 각각의 저해상도 기본 계층 영상의 제 2 현재 프레임, 상기 제 2 현재 프레임의 시간적 인접 프레임들 및 공간적 인접 프레임들에 대한 가중합 필터링을 통해 상기 고해상도 기본 계층 영상을 생성할 수 있다.

일 실시예에 따른 상기 고해상도 영상 합성부는, 상기 고해상도 텍스처 계층 영상 및 상기 고해상도 기본 계층 영상에 대한 가중 평균 필터링에 의해 상기 고해상도 영상을 합성할 수 있다.

일 실시예에 따른 상기 고주파 성분 복원부는, 상기 고해상도 영상의 손상된 고주파 성분을 복원하기 위한 제 1 필터링 및 잡음 증폭을 방지하기 위한 제 2 필터링에 의해, 상기 고해상도 영상, 상기 고해상도 영상에 대한 상기 제 1 필터링 결과 및 상기 제 2 필터링 결과의 가중합 필터링에 의해 상기 고해상도 영상을 합성할 수 있다.

일 실시예에 따라, 상기 고해상도 텍스처 계층 영상 생성부, 상기 고해상도 기본 계층 영상 생성부 및 상기 고해상도 영상 합성부 중 적어도 하나는, 각각 입력되는 영상에 대한 비재귀적인 가중합 필터링을 수행할 수 있다.

본 발명의 다른 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치는, 복수 개의 계층들 중 각각의 계층마다, 입력된 저해상도 영상을 해당 계층의 복수 개의 저해상도 영상들로 분리하는 저해상도 영상 다계층 분리부; 상기 각각의 계층마다, 해당 계층의 상기 복수 개의 저해상도 영상들을 합성하여 상기 해당 계층의 고해상도 영상을 생성하는 계층별 고해상도 영상 생성부; 상기 각각의 계층마다 생성된 고해상도 영상들을 합성하여 고해상도 영상을 출력하는 다계층 고해상도 영상 합성부를 포함한다.

본 발명은, 본 발명의 일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.

도 1 은 본 발명의 일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치의 블록도를 도시한다.
도 2 는 복수 개의 확대된 저해상도 영상들을 이용한 고해상도 영상의 합성을 도시한다.
도 3 는 관련 기술에 따른 저해상도 영상을 이용한 고해상도 영상 생성 장치의 블록도를 도시한다.
도 4 는 관련 기술에 따른 고해상도 영상 생성 장치에 의한 고해상도 영상 재구성 방식의 개요도를 도시한다.
도 5 는 일 실시예에 따른 고해상도 영상 생성 장치를 구현하기 위한 일례의 블록도를 도시한다.
도 6 은 일 실시예에 따른 고해상도 영상 생성 장치의 고해상도 영상 재구성 방식의 개요도를 도시한다.
도 7 은 일 실시예에 따른 고해상도 영상 생성 장치의 저해상도 영상 계층 분리부를 구현하기 위한 일례의 블록도를 도시한다.
도 8 은 일 실시예에 따른 고해상도 영상 생성 장치의 고해상도 텍스처 계층 영상 생성부 또는 고해상도 기본 계층 영상 생성부를 구현하기 위한 일례의 블록도를 도시한다.
도 9 은 일 실시예에 따른 고해상도 영상 생성 장치의 고해상도 영상 합성부 중 고주파 성분 복원부를 구현하기 위한 일례의 블록도를 도시한다.
도 10 은 본 발명의 다른 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치의 블록도를 도시한다.
도 11 은 본 발명의 일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법의 흐름도를 도시한다.

도 1 은 본 발명의 일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치의 블록도를 도시한다.

일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치(100)는, 저해상도 영상 계층 분리부(110), 고해상도 텍스처 계층 영상 생성부(120), 고해상도 기본 계층 영상 생성부(130) 및 고해상도 영상 합성부(140)를 포함한다.

일 실시예에 따른 저해상도 영상 계층 분리부(110)는, 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치(100)로 입력된 저해상도 영상을 복수 개의 저해상도 텍스처 계층 영상들 및 복수 개의 저해상도 기본 계층 영상들로 분리한다.

일 실시예에 따른 저해상도 영상 계층 분리부(110)는, 복수 개의 저해상도 영상 중 각각을 저해상도 텍스처 계층 영상 및 기본 계층 영상으로 분리하여, 결과적으로 복수 개의 저해상도 텍스처 계층 영상들 및 복수 개의 저해상도 기본 계층 영상들이 분리될 수도 있다.

일 실시예에 따른 저해상도 영상 계층 분리부(110)는, 저해상도 영상을 텍스처 계층 및 기본 계층의 두 개의 계층으로 분리한다. 가장 단순한 일례에서, 영상의 텍스처 계층 및 기본 계층은 영상의 주파수 특성에 따라 영상의 고주파 성분 및 저주파 성분으로 구별될 수 있다.

또는 일 실시예에 따른 영상의 기본 계층은 영상의 저주파 성분 및 강한 방향성 에지 성분으로 구성될 수 있다. 이 경우 일 실시예에 따른 텍스처 계층은 저해상도 영상 중 저주파 성분 및 강한 방향성의 에지 성분을 제외한, 세밀한 디테일 정보를 나타내는 고주파 성분을 포함할 수 있다.

즉, 일 실시예에 따른 텍스처 계층 영상은, 원본 영상으로부터 기본 계층의 영상 성분을 제외한 나머지 영상 성분으로 구성될 수 있다. 따라서 일 실시예에 따른 저해상도 영상 계층 분리부(110)는, 저해상도 영상으로부터 저해상도 기본 계층 영상을 분리하고, 저해상도 영상으로부터 저해상도 기본 계층 영상 성분을 제외한 나머지 영상 성분으로 구성된 저해상도 텍스처 계층 영상을 분리할 수 있다.

일 실시예에 따른 저해상도 영상 계층 분리부(110)는, 영상의 저주파 성분 및 강한 방향성의 에지 성분을 포함하는 기본 계층 영상 성분을 분리하기 위해, 저해상도 영상에 대하여 영상의 에지 성분을 보존하면서 영상을 평탄화하는 필터(이하, '에지 보존 평탄화 필터'로 지칭한다.)를 이용할 수 있다. 따라서, 일 실시예에 따른 저해상도 영상 계층 분리부(110)는, 저해상도 영상에 대하여 에지 보존 평탄화 필터를 적용시켜, 저해상도 기본 계층 영상을 생성할 수 있다.

일 실시예에 따른 저해상도 영상 계층 분리부(110)로 입력된 저해상도 영상은, 원본 영상을 확대한 영상일 수 있다. 복수 개의 저해상도 영상들이 사용되는 경우, 시간적으로 연속하는 복수 개의 저해상도 영상들일 수 있으며, 공간적으로 인접하는 복수 개의 저해상도 영상들일 수 있다.

일 실시예에 따른 저해상도 영상 계층 분리부(110)에 의해 두 계층으로 분리된 저해상도 텍스처 계층 영상들 및 저해상도 기본 계층 영상들은, 계층별로 각각 일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120) 및 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130)로 출력된다.

일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120)는 복수 개의 저해상도 텍스처 계층 영상들을 합성하여 고해상도 텍스처 계층 영상을 생성한다. 또한, 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130)는 복수 개의 저해상도 기본 계층 영상들을 합성하여 고해상도 기본 계층 영상을 생성한다.

일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120) 및 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130)는, 각각의 계층에 해당하는 복수 개의 계층별 저해상도 영상들에 대한 시공간적 가중합 필터링을 이용하여, 해당 계층의 고해상도 영상을 생성할 수 있다.

구체적으로 살펴보면, 일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120)는, 각각의 저해상도 텍스처 계층 영상의 현재 프레임 및 현재 프레임에 시간적으로 인접하는 프레임들과 공간적으로 인접하는 프레임들에 대한 가중합 필터링을 이용하여, 고해상도 텍스처 계층 영상을 생성할 수 있다. 또한, 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130)는, 각각의 저해상도 기본 계층 영상의 현재 프레임, 현재 프레임의 시간적으로 인접하는 프레임들 및 공간적으로 인접하는 프레임들에 대한 가중합 필터링을 이용하여, 고해상도 기본 계층 영상을 생성할 수 있다.

일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120) 및 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130)는, 해당 계층의 저해상도 영상의 현재 프레임에 대비하여 움직임 추정 또는 움직임 보상된 시간적 또는 공간적 인접 프레임들을 이용하여, 해당 현재 프레임에 대하여 가중합 필터링을 수행할 수도 있다.

일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120) 및 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130)는, 가중합 필터링의 가중치를 결정하기 위해, 해당 계층의 현재 프레임에 대한 인접 프레임의 공간적 근접성, 시간적 근접성, 휘도 차이, 강한 에지에 대한 근접성 및 움직임 추정의 신뢰도 중 적어도 하나를 고려할 수 있다.

공간적 근접성의 예로, 현재 프레임의 현재 영역 및 인접 프레임의 참조 영역의 공간적 거리, 중심 픽셀 위치들 간의 거리 등이 이용될 수 있다. 또한, 시간적 근접성의 예로, 현재 프레임 및 인접 프레임 간의 시간차, 프레임 인덱스 차이 등이 이용될 수 있다.

일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120) 및 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130)는, 해당 계층의 연속적인 복수 개의 저해상도 영상들에 대하여, 현재 프레임과 인접 프레임의 시공간적 근접성 또는 유사도에 기초한 가중치를 이용한 시공간적 가중합 필터링을 수행하여, 해당 계층의 고해상도 영상을 생성할 수 있다.

유사도의 예로, 해당 픽셀들의 픽셀값들 또는 휘도들 간의 차이를 나타내는 다양한 수치들이 이용될 수 있다.

또한, 일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120) 및 고해상도 기본 계층 영상 생성부(130)는, 해당 계층의 복수 개의 연속적인 저해상도 영상들을 이용한 필터링을 이용하므로, 비재귀적인 필터링을 통해 해당 계층의 고해상도 영상을 생성할 수 있다.

일 실시예에 따른 고해상도 영상 합성부(140)는, 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상을 합성하여 고해상도 영상을 출력한다. 일 실시예에 따른 고해상도 영상 합성부(140)는, 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상에 대한 가중 평균 필터링에 의해 고해상도 영상을 합성할 수 있다.

일 실시예에 따른 고해상도 영상 합성부(140)는 원본 영상의 텍스처 성분의 손상을 최소화하면서, 원본 영상의 에지 방향을 고려하기 위한 가중 평균 필터링을 수행할 수 있다. 따라서, 일 실시예에 따른 고해상도 영상 합성부(140)는 원본 영상의 텍스처 성분의 손상을 최소화하기 위한 제 1 가중치를 고해상도 텍스처 계층 영상에 대해 적용하고, 원본 영상의 에지 방향을 고려한 평탄화를 위한 제 2 가중치를 고해상도 기본 계층 영상에 대해 적용할 수 있다.

일 실시예에 따른 고해상도 영상 합성부(140)는, 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상에 대한 가중 평균 필터링에 의해 생성된 초기 고해상도 영상의 고주파 성분을 복원함으로써, 고주파 성분이 복원된 고해상도 영상을 생성할 수 있다.

초기 고해상도 영상의 고주파 성분을 복원하기 위해, 일 실시예에 따른 고해상도 영상 합성부(140)는 고해상도 영상의 손상된 고주파 성분을 복원하기 위한 제 1 필터링 및 잡음 증폭을 방지하기 위한 제 2 필터링을 수행할 수 있다. 일 실시예에 따른 고해상도 영상 합성부(140)는, 초기 고해상도 영상, 초기 고해상도 영상에 대한 제 1 필터링 결과 및 제 2 필터링 결과의 가중합 필터링을 수행함으로써 고해상도 영상을 합성할 수 있다.

일 실시예에 따른 고해상도 영상 합성부(140)는, 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상에 대한 비재귀적인 가중합 필터링에 의해 초기 고해상도 영상 및 고주파 성분이 복원된 고해상도 영상을 생성할 수 있다.

따라서, 일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치(100)는, 저해상도 영상을 둘 이상의 계층으로 분리하고, 또한 계층별로 복수 개의 저해상도 영상을 생성하여 합성함으로서 고해상도 영상을 생성하므로 비재귀적인 연산 방식에 따른다.

일반적으로 저해상도 영상으로부터 고해상도 영상을 재구성하는 기존 기술들은 재귀적인 연산 방식에 따른다. 재귀적 연산에 따르는 경우 최적의 결과를 결정하기 위한 반복적인 연산에 따라 연산량이 많은 반면에, 일 실시예에 따른 고해상도 영상 생성 장치(00)는, 비재귀적인 연산 방식을 택하므로 연산량의 부담이 경감된다.

또한, 계층별로 해당 계층의 복수 개의 저해상도 영상들에 대한 가중합 필터링을 통해 해당 계층의 고해상도 영상을 생성하는 데 있어, 복수 개의 저해상도 영상들 간의, 시간적 근접성, 공간적 근접성, 휘도 차이, 움직임 추정의 신뢰도 등을 고려하여 가중치를 결정하므로, 현재 픽셀의 주변 정보에 기초하는 가중합 필터링이 가능하다.

이에 따라 일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치(100)는, 현재 픽셀과 주변 정보와의 상관성이 작은 텍스처 성분에 대한 손상을 방지하며 에지 방향을 고려하여 잡음 증폭이 방지되어, 시각적으로 자연스러운 고해상도 영상을 생성할 수 있다.

도 2 는 관련 기술 중 복수 개의 확대된 저해상도 영상들을 이용한 고해상도 영상의 합성을 도시한다.

복수 개의 저해상도 영상들을 이용하여 고해상도 영상을 합성하는 과정의 예로서, 저해상도 영상의 가로 및 세로가 각각 2배로 확대된 저해상도 영상들을 이용하여 하나의 고해상도 영상이 합성되는 경우가 후술된다. 영상들(210, 220, 230, 240) 중 검정 원형 픽셀은 보간 전의 샘플 픽셀이며, 흰색 세모형 픽셀은 보간된 픽셀 또는 픽셀값이 할당되지 않은 빈 픽셀을 나타낸다.

이상적인 경우, 저해상도 영상의 가로 및 크기가 각각 2개 확대된 고해상도 영상을 합성하기 위해서는, 가로 및 세로가 각각 2배로 확대된 4개의 저해상도 영상들(210, 220, 230, 240)이 필요하다. 4개의 확대된 저해상도 영상들(210, 220, 230, 240)이 합성되어 고해상도 영상(250)이 생성될 수 있다.

다만, 고해상도 영상을 생성하기 위해 필요한 유효 픽셀의 개수가 충분하지 않은 경우, 부정합이 발생한 경우 또는 유효 픽셀이 영역별로 불균일하게 분포된 경우, 복수 개의 저해상도 영상들의 합성에 의해 생성된 고해상도 영상에서 에일리어싱(aliasing), 경계 현상(jagging artifact) 또는 깜박거림 현상(flickering artifact) 등의 왜곡이 발생할 수 있다.

따라서 저해상도 영상의 합성에 의해 생성된 고해상도 영상의 왜곡을 방지하기 위해서, 저해상도 영상의 합성 과정에서 주변 정보를 이용하여 현재 픽셀을 다시 필터링하거나 샘플링하여, 고해상도 영상을 재구성하는 과정이 필요하다.

이하 도 3 및 도 4를 참조하여 저해상도 영상을 이용하여 고해상도 영상을 재구성하는 관련 기술들과 관련하여 기술된다.

도 3 는 관련 기술에 따른 저해상도 영상을 이용한 고해상도 영상 생성 장치의 블록도를 도시한다.

관련 기술에 따른 고해상도 영상 생성 장치(300)는, 움직임 추정부(320)에서 입력된 저해상도 영상에 대해 움직임 정보를 획득하고, 고해상도 영상 재구성부(310)는 움직임 추정부(320)의 움직임 정보를 이용하여 움직임 보상된 주변 정보들을 이용하여, 입력된 저해상도 영상에 대한 고해상도 영상을 재구성한다. 고주파 성분 복원부(330)는 고해상도 영상의 고주파 성분을 복원하기 위해 고해상도 영상 재구성부(310)의 출력 영상에 대해 역평탄화(Deblurring) 기술을 적용시켜 고해상도 영상을 출력한다.

관련 기술에 따른 고해상도 영상 재구성부(310)는, 고해상도 영상의 재구성을 위해 복수 개의 저해상도 영상들에 대한 선형 필터링 또는 비선형 필터링을 이용한다. 선형 필터링 또는 비선형 필터링을 이용하는 경우, 현재 픽셀이 주변 픽셀들과 상관성이 높은 평탄한 영역의 픽셀 또는 에지 영역의 픽셀은, 주변 정보를 참조하여 신뢰도가 높은 예측값으로 복원될 수 있다. 하지만, 주변 픽셀들과의 상관성이 낮은 텍스처 성분의 픽셀의 영상 정보는 주변 정보에 의해 훼손될 수 있다.

도 4 는 관련 기술에 따른 고해상도 영상 생성 장치에 의한 고해상도 영상 재구성 방식의 개요도를 도시한다. 관련 기술에 따른 고해상도 영상 생성 장치(300)의 고해상도 영상 재구성부(310)는, 도 4의 고해상도 영상 재구성 방식에 따른다.

그래프 410 및 440는 각각, 저해상도 영상으로부터 합성된 제 1 고해상도 영상, 및 선형 필터링 또는 비선형 필터링을 이용하여 재구성된 제 2 고해상도 영상에 관하여, 픽셀 p1, p2, p3, p4, p5, p6, p7 및 p8의 휘도를 도시한다.

저해상도 영상으로부터 합성된 제 1 고해상도 영상에 관한 그래프 410에서, 픽셀들의 휘도값(412, 414, 416, 420, 422, 424, 426)은 저해상도 영상의 샘플 픽셀이 합성된 휘도값이다. 다만 저해상도 영상의 합성에 의하더라도 불충분한 정보 또는 불균일한 픽셀 분포에 의해 픽셀 p4과 같이 휘도값이 결정되지 않은 빈 공간(418)의 픽셀이 발생할 수 있다.

재구성된 제 2 고해상도 영상에 관한 그래프 440에서, 주변 픽셀들 p1, p2, p3, p5, p6, p7 및 p8의 휘도값(412, 414, 416, 420, 422, 424, 426) 중 적어도 하나를 이용한 보간에 의해, 제 1 고해상도 영상의 빈 공간(418)의 픽셀 p4에 대해 재구성된 픽셀값(448)이 결정될 수 있다. 모든 픽셀들, 즉 픽셀 p4 및 주변 픽셀들 p1, p2, p3, p5, p6, p7 및 p8의 휘도값들(412, 414, 416, 418, 420, 422, 424, 426)이 고해상도 영상의 재구성을 위한 보간 필터링에 의해 재구성되므로, 휘도값(442, 444, 446, 448, 450, 452, 454, 456)으로 변경된다.

주변 픽셀들과의 상관성이 높은 평탄한 영역이나 에지 영역에서 주변 픽셀 정보를 참조하며 현재 픽셀을 복원하는 경우에는, 주변 픽셀의 휘도값들을 이용한 보간 필터링의 결과가 신뢰도가 높을 수 있지만, 주변 픽셀과의 상관도가 낮은 텍스처 성분의 영역에서는 주변 픽셀을 참조한 보간 필터링은 텍스처 성분을 훼손할 수 있다.

예를 들어, 제 1 고해상도 영상의 픽셀들의 휘도값들(412, 414, 416, 420, 422, 424, 426)이 기울기(430)를 중심으로 각각의 디테일 정보를 가지며 분포되어 있으며, 픽셀 각각의 디테일 정보는 서로 상관도가 낮다. 그러나, 제 2 고해상도 영상의 픽셀들의 휘도값(442, 444, 446, 448, 450, 452, 454, 456)은, 보간 필터링에 의해 상관도가 낮은 픽셀 각각의 디테일 정보가 상실되면서, 기울기(430)를 따라 분포되도록 변경될 수 있다.

따라서 관련 기술에 따른 고해상도 영상 재구성부(310)의 선형 필터링 또는 비선형 필터링을 이용한 고해상도 영상 재구성 동작에 의하면, 고해상도 영상의 디테일 정보 및 텍스처 성분과 관련된 영상 질감 등이 훼손될 수 있다.

비록 관련 기술에 따른 고해상도 영상 생성 장치(300)의 고주파 성분 복원부(330)에서, 재구성된 고해상도 영상의 고주파 성분을 복원한다고 하더라도, 이미 고해상도 영상 재구성부(310)의 저해상도 영상의 확대 과정 또는 고해상도 영상의 재구성 과정을 통해 훼손되거나 상실된 고주파 성분을 복원하기는 어렵다.

도 5 는 일 실시예에 따른 고해상도 영상 생성 장치를 구현하기 위한 일례의 블록도를 도시한다.

일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치(500)는, 일 실시예에 따른 고해상도 영상 생성 장치(100)의 구체적인 일 실시예이다.

일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치(500)는, 저해상도 영상 계층 분리부(510), 고해상도 텍스처 계층 영상 생성부(520), 고해상도 기본 계층 영상 생성부(530), 고해상도 영상 합성부(540) 및 움직임 추정부(550)를 포함한다. 또한 고해상도 영상 합성부(540)는 고주파 성분 복원부(545)를 포함한다.

일 실시예에 따른 고해상도 영상 생성 장치(500)는 고해상도 영상의 재구성을 위한 저해상도 영상들의 합성 이전에, 저해상도 영상 계층 분리부(510)에서, 저해상도 영상의 각각 프레임을 기본 계층의 저해상도 영상 프레임 및 텍스처 계층의 저해상도 영상 프레임으로 분리한다.

고해상도 텍스처 계층 영상 생성부(520)는 텍스처 계층의 저해상도 영상 프레임들을 합성하여 텍스처 계층의 고해상도 영상 프레임을 생성하고, 고해상도 기본 계층 영상 생성부(530)는 기본 계층의 저해상도 영상 프레임들을 합성하여 기본 계층의 고해상도 영상 프레임을 생성한다.

일 실시예에 따른 고해상도 영상 생성 장치(500)에서는, 움직임 추정부(550)에 의해 확대된 저해상도 영상의 현재 프레임에 대한 주변 프레임의 움직임 정보가 획득된다. 고해상도 텍스처 계층 영상 생성부(520) 및 고해상도 기본 계층 영상 생성부(530)는 각각, 움직임 추정부(550)에 의해 획득된 움직임 정보 또는 예측 정보를 이용하여, 해당 계층의 저해상도 영상의 현재 프레임에 대해 시공간적으로 적응적인, 해당 계층의 고해상도 영상을 재구성할 수 있다.

또한, 현재 프레임과 주변 프레임들 간의 시간적 근접성, 공간적 근접성, 움직임 추정의 신뢰도 및 휘도의 유사도 중 적어도 하나를 고려함으로써, 계층별 저해상도 영상의 현재 프레임의 시간적 또는 공간적으로 인접하는 프레임들의 영상 정보에 기초하여 재구성된 해당 계층의 고해상도 영상이 생성될 수 있다.

고해상도 영상 합성부(540)는, 고해상도 텍스처 계층 영상 생성부(520) 및 고해상도 기본 계층 영상 생성부(530)에 의해 생성된 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상을 합성하여 초기 고해상도 영상을 생성할 수 있다. 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상의 가중 평균 필터링에 의해 초기 고해상도 영상이 합성될 수 있다.

또한, 고해상도 영상 합성부(540) 중 고주파 성분 복원부(545)는, 초기 고해상도 영상에 대해 부가적으로 고주파 성분을 복원할 수 있다. 일 실시예에 따른 고주파 성분 복원부(545)는, 초기 고해상도 영상 잡음의 증폭을 최소화하면서 고주파 성분을 복원하기 위해, 필터 특성이 다른 필터들을 이용할 수 있다. 예를 들어, 영상 잡음의 증폭을 최소화하기 위한 바이래터럴 필터 및, 고주파 성분을 복원하기 위한 밴드패스 필터가 함께 이용될 수 있다.

이에 따라, 일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치(500)는, 저해상도 영상에 대한 계층별 프로세스를 통해 영상의 텍스처 성분을 보존하면서 잡음이 증폭되지 않은 고해상도 영상을 생성할 수 있다.

도 6 은 일 실시예에 따른 고해상도 영상 생성 장치의 고해상도 영상 재구성 방식의 개요도를 도시한다.

일 실시예에 따른 고해상도 영상 생성 장치(100, 500)의 고해상도 텍스처 계층 영상 생성부(120, 520) 및 고해상도 기본 계층 영상 생성부(130, 530) 및 고해상도 영상 합성부(140, 540)는 도 6의 고해상도 영상 재구성 방식에 따를 수 있다.

그래프 410는 저해상도 영상의 합성을 통해 생성된 제 1 고해상도 영상의 픽셀의 휘도를 나타낸다. 일 실시예에 따른 고해상도 영상 생성 장치(100, 500)는 저해상도 영상을 저해상도 텍스처 계층 영상 및 저해상도 기본 계층 영상으로 저해상도 영상으로 분리하여 이용한다. 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130, 530)는 복수 개의 저해상도 기본 계층 영상들을 합성하여, 그래프 610에 대응하는 초기 고해상도 기본 계층 영상을 생성하고, 일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120, 520)는 복수 개의 저해상도 텍스처 계층 영상들을 합성하여, 그래프 630에 대응하는 초기 고해상도 텍스처 계층 영상을 생성한다.

그래프 600의 초기 고해상도 기본 계층 영상은, 영상의 텍스처 성분이 제외된 기본 계층의 영상 성분으로 구성되며, 픽셀들 p1, p2, p3, p5, p6, p7, p8의 휘도값(602, 604, 606, 610, 612, 614, 616)은 소정 기울기(430)에 따라 나열될 수 있다. 초기 고해상도 기본 계층 영상 중 빈 공간(608)의 픽셀 p4이 존재할 수 있다.

그래프 620의 초기 고해상도 텍스처 계층 영상은, 영상의 텍스처 성분으로 구성되며, 픽셀들 p1, p2, p3, p5, p6, p7, p8의 휘도값(622, 624, 626, 630, 632, 634, 636)은 주변 픽셀들 간에 상관도가 작은 것이 특징이다. 초기 고해상도 텍스처 계층 영상 중 빈 공간의 픽셀(628)이 존재할 수 있다.

일 실시예에 따른 고해상도 기본 계층 영상 생성부(130, 530)는, 초기 고해상도 기본 계층 영상의 빈 공간(608)의 픽셀 p4을 보충하여 고해상도 기본 계층 영상을 재구성할 수 있다. 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130, 530)는, 주변 픽셀들 간의 시간적 근접성, 공간적 근접성, 휘도 거리, 예측의 신뢰도 등을 고려하여, 빈 공간(618)의 픽셀 p4에 대해 재구성된 휘도값(648)을 결정할 수 있다.

유사한 방식으로, 고해상도 기본 계층 영상의 픽셀들 p1, p2, p3, p4, p5, p6, p7 및 p8은 각각 주변 픽셀들과의 관계를 고려하여 재구성되어 휘도값(642, 644, 646, 648, 650, 652, 654, 656)으로 변경될 수 있다. 따라서, 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130, 530)에 의해, 저해상도 기본 계층 영상들로부터 합성 및 재구성된 고해상도 기본 계층 영상의 일부 픽셀들의 휘도 분포는, 그래프 640에 따른다.

일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120, 520)는, 초기 고해상도 텍스처 계층 영상의 빈 공간(628)의 픽셀을 보충하여 고해상도 텍스처 계층 영상을 재구성할 수 있다. 일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120, 520)는, 주변 픽셀들과의 시간적 근접성 및 유사도, 공간적 근접성 및 유사도, 휘도 거리, 예측의 신뢰도 등을 고려하여, 빈 공간(628)의 픽셀에 대해 재구성된 휘도값(668)을 할당할 수 있다.

유사한 방식으로, 고해상도 텍스처 계층 영상의 일부 영역의 픽셀들 p1, p2, p3, p4, p5, p6, p7 및 p8은 각각 주변 픽셀들과의 관계에 기초하여 재구성되어, 휘도값(662, 664, 666, 668, 670, 672, 674, 676)으로 변경될 수 있다. 따라서, 일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120, 520)에 의해, 저해상도 텍스처 계층 영상들로부터 합성 및 재구성된 고해상도 텍스처 계층 영상의 일부 픽셀들의 휘도 분포는 그래프 660에 따른다.

일 실시예에 따른 고해상도 영상 합성부(140, 540)는, 일 실시예에 따른 고해상도 텍스처 계층 영상 생성부(120, 520)으로부터 생성된 고해상도 텍스처 계층 영상 및 일 실시예에 따른 고해상도 기본 계층 영상 생성부(130, 530)에 의해 생성된 고해상도 기본 계층 영상을 합성한다. 일 실시예에 따른 고해상도 영상 합성부(140, 540)에 의해 합성된 고해상도 영상의 일부 픽셀들의 휘도값은, 그래프 680의 픽셀들의 휘도값(682, 684, 686, 688, 690, 692, 694, 696)으로 결정될 수 있다. 그래프 680에 따르면, 빈 공간의 픽셀들도 모두 보충되면서 기울기 430을 중심으로 디테일 정보가 보존되는 고해상도 영상이 생성된 것이 확인된다.

도 7 은 일 실시예에 따른 고해상도 영상 생성 장치의 저해상도 영상 계층 분리부를 구현하기 위한 일례의 블록도를 도시한다.

저해상도 영상 계층 분리부(700)는 일 실시예에 따른 고해상도 영상 생성 장치(100, 500)의 저해상도 영상 계층 분리부(110, 510)를 구현하기 위한 구체적인 실시예에 해당한다.

저해상도 영상 계층 분리부(700)로 입력된 저해상도 영상은, 원본 영상을 확대한 영상일 수 있다. 원본 영상은 바이리니어 보간(bilinear interpolation), 바이큐빅 보간(bi-cubic interpolation) 및 란초스 보간(Lanczos interpolation) 등의 다양한 보간 기법들에 의해 확대될 수 있다.

저해상도 영상 계층 분리부(700)는, 저해상도 영상을 기본 성분과 텍스처 성분으로 분리하기 위해, 바이래터럴 필터를 이용할 수 있다. 바이래터럴 필터는 에지 보존 평탄화 필터로서, 입력 영상으로부터 강한 에지 영역을 보존하며 저주파 성분으로 구성된 기본 계층 영상을 추출할 수 있다. 일 실시예에 따른 저해상도 영상 계층 분리부(700)는 바이래터럴 필터링부(710)와 뺄셈기(720)를 포함할 수 있다.

저해상도 영상 계층 분리부(700)에 저해상도 영상이 입력되면, 바이래터럴 필터링부(710)는 입력된 저해상도 영상으로부터 저해상도 기본 계층 영상을 생성하여 출력하고, 뺄셈기(720)는 저해상도 영상 성분으로부터 저해상도 기본 계층 영상 성분을 뺀 저해상도 텍스처 계층 영상을 출력할 수 있다.

저해상도 영상 계층 분리부(700)는, 일 실시예에 따른 저해상도 영상 계층 분리부(110, 510)의 일 구현례일 뿐, 저해상도 영상의 계층 분리는 바이래터럴 필터에 한정되지 않고, 동일한 기술분야에서 영상의 텍스처 성분을 추출하기 위해 사용되는 다양한 기법들에 의해 구현될 수도 있다.

도 8 은 일 실시예에 따른 고해상도 영상 생성 장치의 고해상도 텍스처 계층 영상 생성부 또는 고해상도 기본 계층 영상 생성부를 구현하기 위한 일례의 블록도를 도시한다.

설명의 편의를 위해, 고해상도 텍스처 계층 영상 생성부 또는 고해상도 기본 계층 영상 생성부를 '소정 계층의 고해상도 영상 생성부;라 지칭한다. 소정 계층의 고해상도 영상 생성부(800)는, 일 실시예에 따른 고해상도 영상 생성 장치(100, 500)의 고해상도 텍스처 계층 생성부(120, 520) 또는 고해상도 기본 계층 생성부(130, 530)의 일 구현례에 해당한다.

소정 계층의 고해상도 영상 생성부(800)는 시공간적 가중합 필터링부(810) 및 가중치 결정부(820)를 포함한다. 시공간적 가중합 필터링부(810)의 가중합 필터링을 위한 가중치는 가중치 결정부(820)로부터 획득된다. 시공간적 가중합 필터링부(810) 및 가중치 결정부(820)는, 현재 픽셀의 주변 정보에 기초하여 고해상도 영상을 재구성하기 위해, 현재 픽셀의 주변 정보와의 움직임 정보를 이용할 수 있다.

고해상도 텍스처 계층 영상 생성부 또는 고해상도 기본 계층 영상 생성부는, 소정 계층의 고해상도 영상 생성부(800)의 시공간적 가중합 필터링(810) 및 가중치 결정부(820)과 동일한 구성 요소들로 구성될 수 있다. 다만, 입력되는 영상 및 시공간적 가중합을 위한 가중치가 계층별로 다르기 때문에, 결과 영상이 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상으로 구별되어 출력될 수 있다.

계층별로 구체적으로 살펴보면, 소정 계층의 고해상도 영상 생성부(800)에 저해상도 텍스처 계층 영상이 입력되면, 시공간적 가중합 필터링부(810)는 저해상도 텍스처 계층 영상의 현재 프레임 및 시간적, 공간적으로 인접한 프레임들에 대한 가중합 필터링을 수행한다. 가중치 결정부(820)는, 저해상도 텍스처 계층 영상의 현재 프레임에 대하여, 시간적으로 인접한 프레임들의 움직임 정보 및 시간적 근접성, 공간적으로 인접한 프레임들의 공간적 근접성, 및 예측 정보의 신뢰도 등을 고려하여, 저해상도 텍스처 계층 영상의 연속적인 프레임별로 시공간적 가중치를 결정한다. 시공간적 가중합 필터링부(810)는, 가중치 결정부(820)에 의해 결정된 시공간적 가중치들을 이용하여, 저해상도 텍스처 계층 영상의 시공간적 인접 프레임들 및 현재 프레임에 대한 가중합 필터링을 수행함으로써, 고해상도 텍스처 계층 영상을 출력할 수 있다.

유사한 방식으로, 소정 계층의 고해상도 영상 생성부(800)에 저해상도 기본 계층 영상이 입력되면, 시공간적 가중합 필터링부(810)는 저해상도 기본 계층 영상의 현재 프레임 및 시간적, 공간적으로 인접한 프레임들에 대한 가중합 필터링을 수행한다. 가중치 결정부(820)는, 저해상도 기본 계층 영상의 현재 프레임에 대하여, 시간적으로 인접한 프레임들의 움직임 정보 및 시간적 근접성, 공간적으로 인접한 프레임들의 및 공간적 근접성, 및 예측 정보의 신뢰도 등을 고려하여, 저해상도 기본 계층 영상의 연속적인 프레임별로 시공간적 가중치를 결정한다. 시공간적 가중합 필터링부(810)는, 가중치 결정부(820)에 의해 결정된 시공간적 가중치들을 이용하여 저해상도 기본 계층 영상의 시공간적 인접 프레임들 및 현재 프레임에 대한 가중합 필터링을 수행함으로써, 고해상도 기본 계층 영상을 출력할 수 있다.

소정 계층의 고해상도 영상 생성부(800)는 텍스처 계층 및 기본 계층에 대해서, 시간적 또는 공간적 주변 정보와의 근접성 및 유사도를 고려한 시간적 가중치 또는 공간적 가중치를 이용하는 가중합 필터링을 통해 해당 계층의 고해상도 영상을 재구성한다는 구조는 동일하지만, 텍스처 계층의 영상 및 기본 계층의 저해상도 영상들에 대한 가중합 필터링을 위한 가중치 결정 방식에서 구별될 수 있다.

예를 들어, 가중치 결정부(820)는 프레임별 가중치를 결정하는 파라미터로서, 현재 블록 및 주변 블록 간의 절대차합(Sum of Absolute Difference; SAD), 중앙 픽셀로부터의 공간적 거리, 주변 프레임들로부터의 시간적 거리, 강한 에지 방향으로부터의 거리 및 중앙 픽셀과의 휘도 거리(luminance distance)를 이용할 수 있다.

텍스처 계층은 영상 성분들이 서로 공간적으로 상관도가 낮으므로, 영상 성분들의 공간적 특성이 각각 보존될 필요가 있다. 공간적 가중치 결정부(820)는 고해상도 텍스처 계층 영상의 재구성을 위한 가중치를 결정하기 위해, 중앙 픽셀로부터의 공간적 거리, 강한 에지 방향으로부터의 거리 및 중앙 픽셀과의 휘도 거리에 기초한 가중치를 약화시킬 수 있다.

고해상도 기본 계층 영상의 재구성을 위해서는 에지가 보존되어야 하므로, 에지 방향을 고려한 평탄화가 필요하다. 따라서 가중치 결정부(820)는 고해상도 기본 계층 영상의 재구성을 위한 가중치를 결정하기 위해, 강한 에지 방향으로부터 거리에 기초한 가중치를 강화할 수 있다.

이러한 방식에 따라, 소정 계층의 고해상도 영상 생성부(800)는 해당 계층의 복수 개의 저해상도 영상을 이용한 가중합을 통해 해당 계층의 고해상도 영상을 생성하므로, 비재귀적인 연산 방식으로 저해상도 영상으로부터 고해상도 영상을 재구성할 수 있다.

소정 계층의 고해상도 영상 생성부(800)로부터 계층별로 출력된 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상은, 일 실시예에 따른 고해상도 영상 생성 장치(100, 500)의 고해상도 영상 합성부(140, 540)에 의해, 하나의 고해상도 영상으로 합성될 수 있다.

일 실시예에 따른 고해상도 영상 합성부(140, 540)는 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상에 대한 가중 평균에 의해 고해상도 영상을 합성할 수 있다. 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상의 가중 평균을 위한, 각각의 가중치는 텍스처 계층의 영상 성분 및 기본 계층의 영상 성분 중 어느 계층을 더 강조할 것인지에 따라 결정될 수 있다.

고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상의 가중 평균에 의해 생성된 초기 고해상도 영상은, 일 실시예에 따른 고해상도 영상 합성부(540)의 고주파 성분 복원부(545)에 의해 고주파 성분이 복원될 수 있다.

도 9 은 일 실시예에 따른 고해상도 영상 생성 장치의 고해상도 영상 합성부 중 고주파 성분 복원부를 구현하기 위한 일례의 블록도를 도시한다.

고주파 성분 복원부(900)는, 일 실시예에 따른 고해상도 영상 생성 장치(500)의 고해상도 영상 합성부(540)의 고주파 성분 복원부(545)의 일 구현례에 해당한다.

고주파 성분 복원부(900)는, 바이래터럴 필터링부(910), 밴드패스 필터링부(920), 곱셈기(930, 940, 950) 및 덧셈기(960)를 포함한다. 고주파 성분 복원부(900)는, 초기 고해상도 영상의 손상된 고주파 성분을 복원하기 위한 필터의 일례로서, 주파수 밴드에 따라 구별되는 적어도 하나의 밴드패스 필터(bandpass filter)를 이용할 수 있다. 또한 고주파 성분 복원부(900)는, 잡음 증폭을 방지하기 위한 필터의 일례로서, 밴드 특성에 따라 구별되는 적어도 하나의 바이래터럴 필터(bilateral filter)를 이용할 수 있다.

바이래터럴 필터링부(910)는 주파수 밴드에 따라 밴드 특성이 다른 다수의 바이래터럴 필터군으로 구성될 수 있다. 또한, 주파수 밴드별로 고주파 성분을 복원하기 위해 밴드패스 필터링부(920)는 주파수 밴드별로 구별되는 다수의 밴드패스 필터군으로 구성될 수 있다.

고주파 성분 복원부(900)는, 초기 고해상도 영상, 바이래터럴 필터링부(910)의 결과 영상 및 및 밴드패스 필터링부(920)의 결과 영상의 가중합 필터링을 통해, 고주파 성분이 복원된 고해상도 영상을 생성할 수 있다. 초기 고해상도 영상, 바이래터럴 필터링부(910)의 결과 영상 및 및 밴드패스 필터링부(920)의 결과 영상 중 각각을 위한 가중치 a, b 및 c는, 어느 영상 성분을 강조할지 여부에 따라 결정될 수 있다.

곱셈기(930, 940, 950)는, 각각 초기 고해상도 영상, 바이래터럴 필터링부(910)의 결과 영상 및 및 밴드패스 필터링부(920)의 결과 영상에 가중치 a, b 및 c가 곱해지고, 그 결과치는 덧셈기(960)에 의해 합산된다. 덧셈기(960)의 연산 과정에서, 밴드패스 필터링부(920)에 해당하는 결과치에 대해서 역으로 뺄셈 연산이 수행됨으로써, 해당 주파수 밴드를 통과한 영상 성분을 제외한 고주파 성분이 복원될 수 있다.

고주파 성분 복원부(900)는, 초기 고해상도 영상, 바이래터럴 필터링부(910)의 결과 영상 및 및 밴드패스 필터링부(920)의 결과 영상의 가중합 필터링을 통해, 비재귀적인 연산 방식으로 고해상도 영상의 고주파 성분을 복원할 수 있으며, 잡음 증폭이 방지되면서 고주파 성분이 복원된 고해상도 영상을 출력할 수 있다.

고주파 성분 복원부(900)는, 일 실시예에 따른 고주파 성분 복원부(545)의 일 구현례일 뿐, 영상 잡음 증폭을 위한 필터는 바이래터럴 필터에 한정되지 않고, 고주파 성분 복원을 위한 필터는 밴드패스 필터에 한정되지 않으며, 동일한 기술분야에서 동일한 목적으로 사용되는 다양한 기법들에 의해 구현될 수도 있다.

도 10 은 본 발명의 다른 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치의 블록도를 도시한다.

다른 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치(1000)는, 저해상도 영상 다계층 분리부(1010), 계층별 고해상도 영상 생성부(1020), 및 다계층 고해상도 영상 합성부(1030)를 포함한다.

다른 실시예에 따른 저해상도 영상 다계층 분리부(1010)는, 고해상도 영상 생성 장치(100)에 입력된 저해상도 영상을 계층들로 구별되는 계층별 저해상도 영상들로 분리한다. 다른 실시예에 따른 저해상도 영상 다계층 분리부(1010)는, 적어도 하나의 저해상도 영상으로부터, 계층마다 복수 개의 저해상도 영상들로 분리할 수 있다.

다른 실시예에 따른 저해상도 영상 다계층 분리부(1010)는, 계층에 따라 분리된 계층별 저해상도 영상들을 일 실시예에 따른 계층별 고해상도 영상 생성부(1020)로 출력한다.

다른 실시예에 따른 계층별 고해상도 영상 생성부(1020)는, 저해상도 영상 다계층 분리부(1010)로부터 입력된 각각의 계층별 저해상도 영상들을, 각각 계층에 대응하는 제 1 계층 고해상도 영상 생성부(1022), 제 2 계층 고해상도 영상 생성부(1024) 및 제 N 계층 고해상도 영상 생성부(1026) 등으로 배분한다. 다른 실시예에 따른 계층별 고해상도 영상 생성부(1020)는, 계층마다 해당 계층의 복수 개의 저해상도 영상들을 합성하여, 해당 계층의 고해상도 영상을 생성한다.

구체적으로 살펴보면, 제 1 계층 고해상도 영상 생성부(1022)로부터 제 1 계층의 고해상도 영상이 생성되고, 제 2 계층 고해상도 영상 생성부(1024)로부터 제 2 계층의 고해상도 영상이 생성되며, 제 N 계층 고해상도 영상 생성부(1026)로부터 제 N 계층의 고해상도 영상이 생성된다.

이러한 방식으로 다른 실시예에 따른 계층별 고해상도 영상 생성부(1020)는 각각의 계층마다 해당 계층의 고해상도 영상들을 생성하고, 생성된 계층별 고해상도 영상들을 다계층 고해상도 영상 합성부(140)로 출력한다.

다른 실시예에 따른 다계층 고해상도 영상 합성부(1030)는, 입력된 계층별 고해상도 영상들을 합성하여 고해상도 영상을 출력한다. 다계층 고해상도 영상 합성부(1030)는 계층별 고해상도 영상들의 계층별 특성을 고려하여 계층별 가중치를 결정할 수 있다. 다계층 고해상도 영상 합성부(1030)는 계층별 가중치를 이용하여 계층별 고해상도 영상들에 대한 가중 평균 필터링을 통해 고해상도 영상을 합성할 수 있다. 다계층 고해상도 영상 합성부(1030)는, 합성된 고해상도 영상으로부터 고주파 성분을 복원하기 위해, 고해상도 영상의 잡음을 최소화하면서 고주파 성분을 증폭시킬 수 있다.

도 11 은 본 발명의 일 실시예에 따라 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법의 흐름도를 도시한다.

단계 1110에서, 저해상도 영상이 복수 개의 저해상도 텍스처 계층 영상들 및 복수 개의 저해상도 기본 계층 영상들로 분리된다.

단계 1120에서, 복수 개의 저해상도 텍스처 계층 영상들이 합성되어 고해상도 텍스처 계층 영상이 생성되고, 복수 개의 저해상도 기본 계층 영상들이 합성되어 고해상도 기본 계층 영상이 생성된다.

각각의 저해상도 텍스처 계층 영상의 현재 프레임, 시간적 인접 프레임들, 및 공간적 인접 프레임들에 대한 가중합 필터링을 통해 고해상도 텍스처 계층 영상이 생성될 수 있으며, 각각의 저해상도 기본 계층 영상의 현재 프레임, 시간적 인접 프레임들 및 공간적 인접 프레임들에 대한 가중합 필터링을 통해 고해상도 기본 계층 영상이 생성될 수 있다. 가중합 필터링의 가중치는, 각각의 인접 프레임의 해당 현재 프레임에 대한 공간적 근접성 또는 유사도, 시간적 근접성 또는 유사도, 휘도 거리, 강한 에지에 대한 근접성 및 움직임 추정의 신뢰도 중 적어도 하나에 기초하여 결정될 수 있다.

단계 1130에서, 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상이 합성되어 고해상도 영상이 출력된다. 고해상도 텍스처 계층 영상 및 고해상도 기본 계층 영상에 대한 가중 평균 필터링에 의해 고해상도 영상이 합성될 수 있다.

원본 영상의 텍스처 성분의 손상을 최소화하기 위한 가중치가 고해상도 텍스처 계층 영상에 대해 결정되고, 원본 영상의 에지 방향을 고려한 평탄화를 위한 가중치가 고해상도 기본 계층 영상에 대해 결정될 수 있다.

고해상도 영상의 손상된 고주파 성분을 복원하기 위해, 고해상도 영상에 대해 고주파 성분의 복원을 위한 필터링 및 잡음 증폭을 방지하기 위한 필터링이 수행될 수 있다.

일 실시예에 따른 고해상도 영상 생성 방법 및 그 장치는, 계층별 고해상도 영상 합성을 위한 가중합 필터링 및 고해상도 영상의 고주파 성분 복원을 위한 가중합 필터링을 이용하므로, 재귀적 연산에 따른 연산량의 부담이 경감되며, 시공간적으로 주변 정보를 고려하며 고주파 성분의 손상을 최소화하고 잡음 증폭을 방지하면서 저해상도 영상으로부터 고해상도 영상을 재구성할 수 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (25)

1. 복수 개의 저해상도 영상들을 복수 개의 저해상도 텍스처 계층 영상들 및 복수 개의 저해상도 기본 계층 영상들로 분리하는 단계;
   상기 복수 개의 저해상도 텍스처 계층 영상들 중 제 1 저해상도 텍스처 계층 영상, 상기 제 1 저해상도 텍스처 계층 영상의 시간적 인접 저해상도 텍스처 계층 영상들, 및 상기 제 1 저해상도 텍스처 계층 영상의 공간적 인접 저해상도 텍스처 계층 영상들에 대한 제 1 가중합 필터링을 통해 고해상도 텍스처 계층 영상을 생성하는 단계;
   상기 복수 개의 저해상도 기본 계층 영상들 중 제 1 저해상도 기본 계층 영상, 상기 제 1 저해상도 기본 계층 영상의 시간적 인접 저해상도 기본 계층 영상들, 및 상기 제 1 저해상도 기본 계층 영상의 공간적 인접 저해상도 기본 계층 영상들에 대한 제 2 가중합 필터링을 통해 고해상도 기본 계층 영상을 생성하는 단계; 및
   상기 고해상도 텍스처 계층 영상 및 상기 고해상도 기본 계층 영상을 합성하여 고해상도 영상을 출력하는 단계를 포함하고,
   상기 복수 개의 저해상도 기본 계층 영상들은 상기 복수 개의 저해상도 영상의 저주파 성분들 및 강한 방향성의 에지 성분들을 포함하며, 상기 복수 개의 저해상도 텍스처 계층 영상들은 상기 복수 개의 저해상도 영상들로부터 상기 저주파 성분들 및 상기 강한 방향성의 에지 성분들을 제외하여 얻어지는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
2. 제 1 항에 있어서, 상기 고해상도 영상 출력 단계는,
   상기 고해상도 영상의 고주파 성분을 복원하는 단계를 더 포함하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
3. 삭제
4. 삭제
5. 제 1 항에 있어서, 상기 분리 단계는,
   상기 복수 개의 저해상도 영상들 중 제 1 저해상도 영상에 대하여 영상의 에지 성분을 보존하면서 영상을 평탄화하는 필터를 적용시켜 상기 제 1 저해상도 기본 계층 영상을 생성하는 단계; 및
   상기 제 1 저해상도 영상 및 상기 제 1 저해상도 기본 계층 영상의 차이 영상을 상기 제 1 저해상도 텍스처 계층 영상으로 생성하는 단계를 포함하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
6. 제 1 항에 있어서, 상기 고해상도 텍스처 계층 영상 생성 단계는,
   상기 복수 개의 저해상도 텍스처 계층 영상들에 대한 비재귀적인 필터링을 통해 상기 고해상도 텍스처 계층 영상을 생성하고,
   상기 고해상도 기본 계층 영상 생성 단계는,
   상기 복수 개의 저해상도 기본 계층 영상들에 대한 비재귀적인 필터링을 통해 상기 고해상도 기본 계층 영상을 생성하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
7. 삭제
8. 제 1 항에 있어서,
   상기 제 1 저해상도 텍스처 계층 영상의 시간적 인접 영상들 및 공간적 인접 영상들은, 상기 제 1 저해상도 텍스처 계층 영상에 대비하여 움직임 추정 또는 움직임 보상된 영상들로부터 결정되고,
   상기 제 1 저해상도 기본 계층 영상의 시간적 인접 영상들 및 공간적 인접 영상들은, 상기 제 1 저해상도 기본 계층 영상에 대비하여 움직임 추정 또는 움직임 보상된 영상들로부터 결정되는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
9. 제 1 항에 있어서,
   상기 제 1 가중합 필터링의 가중치는, 각각의 상기 제 1 저해상도 텍스처 계층 영상의 시간적 인접 저해상도 텍스처 계층 영상들, 및 상기 제 1 저해상도 텍스처 계층 영상의 공간적 인접 저해상도 텍스처 계층 영상들의 상기 제 1 저해상도 텍스처 계층 영상에 대한 공간적 근접성, 시간적 근접성, 휘도 차이, 강한 에지에 대한 근접성 및 움직임 추정의 신뢰도 중 적어도 하나에 기초하여 결정되고,
   상기 제 2 가중합 필터링의 가중치는, 각각의 상기 제 1 저해상도 기본 계층 영상의 시간적 인접 저해상도 텍스처 계층 영상들, 및 상기 제 1 저해상도 기본 계층 영상의 공간적 인접 저해상도 기본 계층 영상들의 상기 제 1 저해상도 기본 계층 영상에 대한 공간적 근접성, 시간적 근접성, 휘도 차이, 강한 에지에 대한 근접성 및 움직임 추정의 신뢰도 중 적어도 하나에 기초하여 결정되는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
10. 제 1 항에 있어서, 상기 고해상도 영상 출력 단계는,
    상기 고해상도 텍스처 계층 영상 및 상기 고해상도 기본 계층 영상에 대한 가중 평균 필터링에 의해 상기 고해상도 영상을 합성하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
11. 제 10 항에 있어서,
    상기 가중 평균 필터링은, 원본 영상의 텍스처 성분의 손상을 최소화하기 위한 제 1 가중치를 상기 고해상도 텍스처 계층 영상에 대해 적용하고, 상기 원본 영상의 에지 방향을 고려한 평탄화를 위한 제 2 가중치를 상기 고해상도 기본 계층 영상에 대해 적용하는 것을 특징으로 하는 고해상도 영상 생성 방법.
12. 제 2 항에 있어서, 상기 고주파 성분 복원 단계는,
    상기 고해상도 영상에 대한 비재귀적 필터링을 통해 상기 고해상도 영상의 고주파 성분을 복원하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
13. 제 12 항에 있어서, 상기 고주파 성분 복원 단계는,
    상기 고해상도 영상의 손상된 고주파 성분을 복원하기 위한 제 1 필터링 및 잡음 증폭을 방지하기 위한 제 2 필터링에 의해, 상기 고해상도 영상, 상기 고해상도 영상에 대한 상기 제 1 필터링 결과 및 상기 제 2 필터링 결과의 가중합 필터링에 의해 상기 고해상도 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
14. 제 13 항에 있어서,
    상기 제 1 필터링은, 밴드 특성에 따라 구별되는 적어도 하나의 밴드패스 필터(bandpass filter)를 포함하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
15. 제 13 항에 있어서,
    상기 제 2 필터링은, 밴드 특성에 따라 구별되는 적어도 하나의 바이래터럴 필터(bilateral filter)를 포함하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
16. 제 1 항에 있어서,
    상기 복수 개의 저해상도 영상들은, 원본 영상들을 확대한 영상인 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
17. 제 5 항에 있어서,
    상기 영상의 에지 성분을 보존하면서 영상을 평탄화하는 필터는 바이래터럴 필터를 포함하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법.
18. 복수 개의 저해상도 영상들을 복수 개의 저해상도 텍스처 계층 영상들 및 복수 개의 저해상도 기본 계층 영상들로 분리하는 저해상도 영상 계층 분리부;
    상기 복수 개의 저해상도 텍스처 계층 영상들 중 제 1 저해상도 텍스처 계층 영상, 상기 제 1 저해상도 텍스처 계층 영상의 시간적 인접 저해상도 텍스처 계층 영상들, 및 상기 제 1 저해상도 텍스처 계층 영상의 공간적 인접 저해상도 텍스처 계층 영상들에 대한 제 1 가중합 필터링을 통해 고해상도 텍스처 계층 영상을 생성하는 고해상도 텍스처 계층 영상 생성부;
    상기 복수 개의 저해상도 기본 계층 영상들 중 제 1 저해상도 기본 계층 영상, 상기 제 1 저해상도 기본 계층 영상의 시간적 인접 저해상도 기본 계층 영상들, 및 상기 제 1 저해상도 기본 계층 영상의 공간적 인접 저해상도 기본 계층 영상들에 대한 제 2 가중합 필터링을 통해 고해상도 기본 계층 영상을 생성하는 고해상도 기본 계층 영상 생성부; 및
    상기 고해상도 텍스처 계층 영상 및 상기 고해상도 기본 계층 영상을 합성하여 고해상도 영상을 출력하는 고해상도 영상 합성부를 포함하고,
    상기 복수 개의 저해상도 기본 계층 영상들은 상기 복수 개의 저해상도 영상의 저주파 성분들 및 강한 방향성의 에지 성분들을 포함하며, 상기 복수 개의 저해상도 텍스처 계층 영상들은 상기 복수 개의 저해상도 영상들로부터 상기 저주파 성분들 및 상기 강한 방향성의 에지 성분들을 제외하여 얻어지는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치.
19. 제 18 항에 있어서, 상기 고해상도 영상 합성부는,
    상기 고해상도 영상의 고주파 성분을 복원하는 고주파 성분 복원부를 포함하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치.
20. 제 18 항에 있어서, 상기 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치는,
    상기 복수 개의 저해상도 영상들 중 제 1 저해상도 영상 및 연속되는 인접 영상들 간의 움직임 정보를 추정하는 움직임 추정부를 더 포함하는 장치.
21. 제 18 항에 있어서, 상기 고해상도 영상 합성부는,
    상기 고해상도 텍스처 계층 영상 및 상기 고해상도 기본 계층 영상에 대한 가중 평균 필터링에 의해 상기 고해상도 영상을 합성하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치.
22. 제 19 항에 있어서, 상기 고주파 성분 복원부는,
    상기 고해상도 영상의 손상된 고주파 성분을 복원하기 위한 제 1 필터링 및 잡음 증폭을 방지하기 위한 제 2 필터링에 의해, 상기 고해상도 영상, 상기 고해상도 영상에 대한 상기 제 1 필터링 결과 및 상기 제 2 필터링 결과의 가중합 필터링에 의해 상기 고해상도 영상을 합성하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치.
23. 제 18 항에 있어서,
    상기 고해상도 텍스처 계층 영상 생성부, 상기 고해상도 기본 계층 영상 생성부 및 상기 고해상도 영상 합성부 중 적어도 하나는, 각각 입력되는 영상에 대한 비재귀적인 가중합 필터링을 수행하는 것을 특징으로 하는 다계층 저해상도 영상을 이용한 고해상도 영상 생성 장치.
24. 삭제
25. 제 1 항 내지 제 2 항, 제 5 항 내지 제 6 항, 및 제 8 항 내지 제 17 항 중 어느 한 항의 다계층 저해상도 영상을 이용한 고해상도 영상 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
    

Images