[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101634562B1 - 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 - Google Patents

저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 Download PDF

Info

Publication number
KR101634562B1
KR101634562B1 KR1020090089503A KR20090089503A KR101634562B1 KR 101634562 B1 KR101634562 B1 KR 101634562B1 KR 1020090089503 A KR1020090089503 A KR 1020090089503A KR 20090089503 A KR20090089503 A KR 20090089503A KR 101634562 B1 KR101634562 B1 KR 101634562B1
Authority
KR
South Korea
Prior art keywords
pixel
resolution video
frame
feature region
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020090089503A
Other languages
English (en)
Other versions
KR20110032157A (ko
Inventor
조양호
박두식
이호영
황규영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090089503A priority Critical patent/KR101634562B1/ko
Priority to EP10177851.2A priority patent/EP2299703B1/en
Priority to US12/923,439 priority patent/US9179092B2/en
Priority to JP2010211405A priority patent/JP5777311B2/ja
Priority to CN201010290834.2A priority patent/CN102025959B/zh
Publication of KR20110032157A publication Critical patent/KR20110032157A/ko
Application granted granted Critical
Publication of KR101634562B1 publication Critical patent/KR101634562B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

저해상도 비디오로부터 고해상도 비디오를 생성하는 방법이 개시된다. 본 발명의 실시예들에 따르면, 저해상도 비디오의 이전 프레임의 모든 화소에 대해서 화소 추적 및 정합을 수행하지 않고, 이전 프레임의 특징 영역 화소에 대해서만 화소 추적 및 정합을 수행함으로써, 계산량을 줄일 수 있어 메모리 사용의 효율을 향상 시킬 수 있고, 고해상도 비디오의 실시간 생성이 가능하며, 또한 특징 영역에 대해서는 보다 정밀한 고해상도 영상을 생성할 수 있다.
고해상도 비디오, 저해상도 비디오, 화소 추적, 정합, 특징 영역, 균등 영역

Description

저해상도 비디오로부터 고해상도 비디오를 생성하는 방법{Method for producing high definition video from low definition video}
본 발명의 실시예들은 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 관한 것으로, 보다 구체적으로 화소 추적 및 보간을 이용하여 고해상도 비디오를 생성하는 방법에 관한 것이다.
저해상도 비디오에서 고해상도 비디오로의 영상 확대는 영상기기의 중요한 기능 중 하나로서, 캠코더와 같은 민생용 제품에서부터 천문학이나 의료 등의 전문적인 분야까지도 널리 적용되는 필수적인 요소이다. 최근에는 디지털 카메라 또는 캠코더에서 획득한 저해상도 비디오를 고해상도 비디오로 변환하거나, 저해상도 비디오 콘텐츠를 고해상도 디스플레이 장치에서 재현하거나, 고해상도 비디오를 저해상도 비디오로 압축한 후 다시 고해상도 비디오로 복원해야 하는 경우가 증가하여 저해상도 비디오에서 고해상도 비디오로의 영상 확대의 필요성은 증가하고 있다.
영상확대는 렌즈들의 조합을 이용하여 구현될 수 있는데, 이러한 광학적인 확대기법을 이용하여 고배율의 확대를 하고자 할 경우, 그에 따르는 부피와 가격 그리고 무게 등이 상당히 증대하는 문제를 수반한다. 이러한 문제를 해결하기 위 하여 사용되고 있는 것이 디지털 영상 처리 기술을 이용한 영상 확대기법이다. 디지털 영상 처리 기술을 이용할 경우, 영상확대는 반도체 칩을 이용하여 구현되므로 전술한 광학적인 확대기법에 비해 비용이 적게 들고, 기존의 광학적인 확대기법과 결합하여 사용한다면 보다 효율적으로 고배율로 확대된 영상을 얻을 수 있다. 또한, 신호처리 측면에서의 영상 확대 기법은 영상의 해상도나 크기의 증가에만 이용되는 것이 아니고, 서로 다른 크기의 영상을 이용하는 시스템간의 호환성을 유지하는 데에도 사용되며, 영상 압축과 관련하여 영상을 표현하는 데에 필요한 데이타의 양을 감소시키는 데에도 응용될 수 있다. 신호처리 혹은 영상처리 측면에서의 영상 확대기법에는 여러 가지 접근방법이 있으나, 신호의 보간(interpolation)을 이용하는 방식이 구현하기가 쉽고, 또한 실제로 이용되고 있는 방법이기도 하다. 영상의 보간은 이산적인 원 영상이 가진 화소들 간의 간격을 확장시키고, 확장된 간격 사이의 값을 추정하여 삽입함으로써 영상이 확대되는 효과를 얻는 기법이다. 이때 어떠한 방식으로 확장된 간격 사이의 값들을 추정하느냐에 따라 영상 확대방법이 결정되며, 결정된 영상 확대방법에 따라 확대된 영상이 달라지게 된다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 있어서, 상기 저해상도 비디오의 현재 프레임을 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작 및 상기 특징 영역에 대해서 상기 저해상도 비디오의 복수 개의 프레임에 기초하여 고해상도 비디오를 생성하고, 상기 균등 영역에 대해서 보간을 이용하여 고해상도 비디오를 생성하는 동작을 포함할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 있어서, 상기 저해상도 비디오의 i-1 번째 프레임의 특징 영역 화소를 화소 추적하여 상기 저해상도 비디오의 i 번째 프레임의 특징 영역 화소를 결정하는 동작, 상기 i 번째 프레임의 상기 특징 영역 화소 및 상기 i 번째 프레임의 상기 특징 영역 화소에 대응하는 적어도 하나 이상의 이전 프레임의 특징 영역 화소를 정합하여 상기 i 번째 프레임에 대응하는 고해상도 비디오의 프레임의 화소들의 화소값을 결정하는 동작 및 상기 i 번째 프레임에 대응하는 상기 고해상도 비디오의 상기 프레임에서 화소값이 결정되지 않은 화소들에 대해 보간을 이용하여 화소값을 결정하는 동작을 포함할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 있어서, 상기 저해상도 비디오의 현재 프레임을 공간 주파수(space spectrum)에 따라 특징 영역(feature region) 및 균등 영역(uniform region)으로 분류(divide)하는 동작 및 상기 특징 영역에 대해서 상기 저해상도 비디오의 복수 개의 프레임에 기초하여 고해상도 비디오를 생성하고, 상기 균등 영역에 대해서 현재 프레임에 기초하여 고해상도 비디오를 생성하는 동작을 포함할 수 있다.
본 발명의 실시예들에 따르면, 저해상도 비디오의 이전 프레임의 모든 화소에 대해서 화소 추적 및 정합을 수행하지 않고, 이전 프레임의 특징 영역 화소에 대해서만 화소 추적 및 정합을 수행함으로써, 계산량을 줄일 수 있어 메모리 사용의 효율을 향상 시킬 수 있고, 고해상도 비디오의 실시간 생성이 가능하며, 또한 특징 영역에 대해서는 보다 정밀한 고해상도 영상을 생성할 수 있다.
또한, 본 발명의 실시예들에 따르면, 특징 영역 화소인 화소들 간에 최소 거리를 유지하도록 조정함으로써, 혹은 저해상도 비디오의 프레임을 N x M개의 블록으로 분할하여 하나의 블록에 하나의 특징 영역 화소만 갖도록 하고, N과 M의 값을 조정하여 현재 프레임의 특징 영역 화소 개수를 조정함으로써, 계산량을 줄일 수 있어 메모리 사용의 효율을 향상할 수 있고, 화소 추적 작업 시 궤적이 중복되는 것을 방지할 수 있어 화소 추적의 효율을 향상할 수 있다.
이하에서, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 명세서에서 사용되는 '비디오'는 전기 신호를 이용한, 눈으로 볼 수 있는 모든 형태의 화면 또는 영상을 뜻한다.
이하, 본 발명의 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법을 나타낸 흐름도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은 저해상도 비디오의 현재 프레임을 공간 주파수(space spectrum)에 따라 특징 영역(feature region) 및 균등 영역(uniform region)으로 분류(divide)할 수 있다(S110). '특징 영역'은 비디오가 담고 있는 영상 정보에서 세밀하고 변화가 상대적으로 많은 부분을 말한다. 예를 들어, 비디오가 담고 있는 영상 정보의 임의의 부분이 체크 무늬와 같이 다양한 밝기와 색상을 가져서 상기 부분 내의 화소의 화소값을 인접 화소의 화소값으로부터 유추하기 어려운 경우, 상기 부분은 특징 영역이 될 수 있다. '균등 영역'은 비디오가 담고 있는 영상 정보에서 평활하고 변화가 상대적으로 적은 부분을 말한다. 예를 들어, 비디오가 담고 있는 영상 정보의 임의의 부분이 같은 밝기와 색상을 가져서 상기 부분 내의 화소의 화소값을 인접 화소의 화소값으로부터 유추하기 쉬운 경우, 상기 부분은 균등 영역이 될 수 있다. 특징 영역과 균등 영역을 분류하는 동작에 대해서는 뒤에서 상세히 설명한다.
또한, 특징 영역에 대해서 고해상도 비디오를 생성할 수 있다(S120). 실시예에 따라서는, 특징 영역에 대해서 저해상도 비디오의 복수 개의 프레임에 기초하여 고해상도 비디오를 생성할 수 있다. 특징 영역에 대해서 고해상도 비디오를 생 성하는 동작에 대해서는 뒤에서 상세히 설명한다.
또한, 균등 영역에 대해서 고해상도 비디오를 생성할 수 있다(S130). 실시예에 따라서는, 균등 영역에 대해서 보간(interpolation)을 이용하여 고해상도 비디오를 생성할 수 있다. 즉, 균등 영역에 대해서 저해상도 비디오의 단일 프레임에 기초하여 고해상도 비디오를 생성할 수 있다. 균등 영역에 대해서 고해상도 비디오를 생성하는 동작에 대해서는 뒤에서 상세히 설명한다.
또한, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은 상기 과정에 의해 고해상도 비디오를 생성할 수 있다(S140). 실시예에 따라서는, 특징 영역 및 균등 영역 각각에 대해 고해상도 비디오를 별개로 생성한 뒤에, 각 영역에 대응하여 생성된 복수 개의 고해상도 비디오를 결합하여 저해상도 비디오에 대응하는 고해상도 비디오를 생성할 수 있다.
이하 본 발명의 일실시예에 따른 특징 영역과 균등 영역을 분류하는 동작에 대해서 상세히 살펴본다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 상대적으로 공간 주파수가 높은 영역을 특징 영역으로, 상대적으로 공간 주파수가 낮은 영역을 균등 영역으로 분류할 수 있다.
실시예에 따라서는, 저해상도 비디오의 현재 프레임을 현재 프레임의 화소의 그라디언트(gradient) 값에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 현재 프레임의 화소의 그라디언트 값이 기준값 이상이면 화소를 특징 영역으로 분류하고, 현재 프레임의 화소의 그리디언트 값이 기준값 미만이면 화소를 균등 영역으 로 분류할 수 있다. '그라디언트 값'은 화소가 포함하는 밝기, 색상 기타 정보의 변화율이 될 수 있다. 실시예에 따라서는, x축으로의 변화율 및 y축으로의 변화율을 종합한 그라디언트 값을 이용할 수 있다. 예를 들어, 그라디언트 값은 다음과 같은 수식으로 나타날 수 있다.
Figure 112009058111627-pat00001
상기 수식에서
Figure 112009058111627-pat00002
는 그라디언트 값,
Figure 112009058111627-pat00003
는 x축으로의 변화율, 그리고
Figure 112009058111627-pat00004
는 y축으로의 변화율을 나타낸다. 실시예에 따라서는, 그라디언트 값은 x축으로의 변화율 또는 y축으로의 변화율만을 개별적으로 고려할 수 있다.
실시예에 따라서는, 저해상도 비디오의 현재 프레임을 현재 프레임의 화소의 2차 미분 값에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 현재 프레임의 화소의 2차 미분 값이 기준값 이상이면 화소를 특징 영역으로 분류하고, 현재 프레임의 화소의 2차 미분 값이 기준값 미만이면 화소를 균등 영역으로 분류할 수 있다. '2차 미분 값'을 구하는 방법의 실시예로서, Laplacian, 가우시안-라플라시안(Laplacian of Gaussian : LOG)이 있다.
실시예에 따라서는, 저해상도 비디오의 현재 프레임을 현재 프레임의 화소와 인접 화소와의 밝기 차의 분산에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. '인접 화소'는 임의의 화소의 주변 화소를 말하며, 화소로부터 인접한 정도에 대한 기준값은 조정될 수 있다(예를 들어, 화소로부터 3 화소(pixel) 내의 화소만 을 인접 화소로 함). 현재 프레임의 화소와 인접 화소와의 밝기(intensity) 차의 분산이 기준값 이상이면 화소를 특징 영역으로 분류하고, 현재 프레임의 화소와 인접 화소와의 밝기 차의 분산이 기준값 미만이면 화소를 균등 영역으로 분류할 수 있다. '밝기 차의 분산'은 현재 프레임의 화소와 인접 화소와의 밝기 차 및 상기 밝기 차의 평균값과의 차이를 말하며, 밝기 차의 평균값을 기준으로 한 밝기 차의 분포된 정도를 나타내는 척도가 될 수 있다.
실시예에 따라서는, 저해상도 비디오의 현재 프레임을 현재 프레임의 화소와 인접 화소와의 화소값의 차에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 현재 프레임의 화소와 인접 화소와의 화소값의 차가 기준값 이상이면 화소를 특징 영역으로 분류하고, 현재 프레임의 화소와 인접 화소와의 화소값의 차가 기준값 미만이면 화소를 균등 영역으로 분류할 수 있다. '화소값'은 화소가 포함하는 색상값, 밝기값 기타 정보가 될 수 있다.
또한, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 현재 프레임의 모든 화소에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 것이 아니라, 특징 영역에 속하는 화소(이하, '특징 영역 화소'라고 함)인 화소들 간에 최소 거리를 유지하도록 조정하기 위해서, 일부 화소에 대해서만 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 실시예에 따라서는, 임의의 화소에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류를 한 뒤에, 상기 임의의 화소가 특징 영역 화소로 분류된 경우, 상기 임의의 화소로부터 일정한 최소 거리가 떨어진 화소에 대해서 공간 주파수에 따 라 특징 영역 및 균등 영역으로 분류하는 동작을 수행함으로써, 특징 영역 화소들 간에 최소 거리를 유지하도록 조정할 수 있다. 임의의 화소가 균등 영역에 속하는 화소(이하 '균등 영역 화소'라 함)로 분류된 경우, 최소 거리의 판단 없이, 상기 임의의 화소에 인접한 화소에 대해서 분류하는 동작을 수행할 수 있다. 최소 거리의 크기를 조절함으로써, 현재 프레임의 특징 영역 화소의 개수를 조절할 수 있다.
실시예에 따라서는, 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은 최소 거리를 입력 받는 동작을 더 포함할 수 있다.
이하 도 2 및 도 3을 참조하여, 특징 영역 화소인 화소들 간에 최소 거리를 유지하도록 조정하는 동작에 대해서 더욱 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 특징 영역 화소인 화소들 간에 최소 거리를 유지하도록 조정하는 동작을 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 현재 프레임(210)의 임의의 화소(220)를 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 화소(220)가 균등 영역 화소로 분류된 경우, 최소 거리의 판단 없이, 화소(220)에 인접한 화소에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 화소(220)가 특징 영역 화소로 분류된 경우, 화소(220)로부터 최소 거리(250)를 반지름으로 하는 원 영역 내의 화소에 대해서는 분류하는 동작을 수행하지 않고, 화소(220)로부터 최소 거리(250)를 반지름으로 하는 원 영역 밖의 화소인 화소(230)에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있 다.
그 후에, 화소(230)가 특징 영역 화소로 분류된 경우, 화소(230)로부터 최소 거리를 반지름으로 하는 원 영역 밖의 화소인 화소(240)에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있고, 이로써 현재 프레임(210)을 구성하는 화소들 중 특징 영역 화소인 화소들(220, 230, 240) 간에 최소 거리를 유지하도록 조정할 수 있다.
도 3은 본 발명의 다른 일실시예에 따른 특징 영역 화소인 화소들 간에 최소 거리를 유지하도록 조정하는 동작을 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 현재 프레임(310)의 임의의 화소(320)를 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 화소(320)가 균등 영역 화소로 분류된 경우, 최소 거리의 판단 없이, 화소(320)에 인접한 화소에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 화소(320)가 특징 영역 화소로 분류된 경우, 화소(320)로부터 x축 방향으로 최소 거리(370) 내의 화소에 대해서는 분류하는 동작을 수행하지 않고, 화소(320)로부터 x축 방향으로 최소 거리(370) 밖의 화소인 화소(330)에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다.
그 후에, 화소(330)이 특징 영역 화소로 분류된 경우, 화소(330)로부터 x축 방향으로 최소 거리 밖의 화소인 화소(340)에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다.
도 3의 실시예에 따르면, x축 방향으로만 최소 거리를 유지하도록 조정하고, y축 방향으로는 최소 거리를 유지하도록 조정하지 않는다. 따라서 화소(320) 및 화소(340)이 모두 특징 영역 화소로 분류된 경우, 화소(350)는 화소(320)로부터 y축 방향으로 최소 거리 밖의 화소가 아니지만, 화소(340)로부터 x축 방향으로 최소 거리 밖의 화소이므로, 화소(340)에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 그 후에 마찬가지로, 화소(340)이 특징 영역 화소로 분류된 경우, 화소(360)는 화소(340)로부터 y축 방향으로 최소 거리 밖의 화소가 아니지만 화소(350)로부터 x축 방향으로 최소 거리 밖의 화소이므로, 화소(360)에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다.
실시예에 따라서는, x축 방향이 아닌 y축 방향으로 최소 거리를 유지하도록 조정할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 특징 영역 화소로부터 최소 거리 밖의 화소에 대해서 상대적으로 공간 주파수가 높으면 특징 영역으로, 상대적으로 공간 주파수가 낮으면 균등 영역으로 분류할 수 있다.
실시예에 따라서는, 특징 영역 화소로부터 최소 거리 밖의 화소에 대해서 상기 화소의 그라디언트(gradient) 값에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 특징 영역 화소로부터 최소 거리 밖의 화소의 그라디언트 값이 기준값 이상이면 상기 화소를 특징 영역으로 분류하고, 특징 영역 화소로부터 최소 거리 밖의 화소의 그리디언트 값이 기준값 미만이면 상기 화소를 균등 영역으로 분류할 수 있 다. '그라디언트 값'은 특징 영역 화소로부터 최소 거리 밖의 화소가 포함하는 밝기, 색상 기타 정보의 변화율이 될 수 있다. 실시예에 따라서는, x축으로의 변화율 및 y축으로의 변화율을 종합한 그라디언트 값을 이용할 수 있다.
실시예에 따라서는, 특징 영역 화소로부터 최소 거리 밖의 화소에 대해서 상기 화소의 2차 미분 값에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 특징 영역 화소로부터 최소 거리 밖의 화소의 2차 미분 값이 기준값 이상이면 상기 화소를 특징 영역으로 분류하고, 특징 영역 화소로부터 최소 거리 밖의 화소의 2차 미분 값이 기준값 미만이면 상기 화소를 균등 영역으로 분류할 수 있다. '2차 미분 값'을 구하는 방법의 실시예로서, Laplacian, 가우시안-라플라시안(Laplacian of Gaussian : LOG)이 있다.
실시예에 따라서는, 특징 영역 화소로부터 최소 거리 밖의 화소에 대해서 특징 영역 화소로부터 최소 거리 밖의 화소와 인접 화소와의 밝기 차의 분산에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. '인접 화소'는 특징 영역 화소로부터 최소 거리 밖의 화소의 주변 화소를 말하며, 화소로부터 인접한 정도에 대한 기준값은 조정될 수 있다(예를 들어, 특징 영역 화소로부터 최소 거리 밖의 화소로부터 3 화소(pixel) 내의 화소만을 인접 화소로 함). 특징 영역 화소로부터 최소 거리 밖의 화소와 인접 화소와의 밝기(intensity) 차의 분산이 기준값 이상이면 특징 영역 화소로부터 최소 거리 밖의 화소를 특징 영역으로 분류하고, 특징 영역 화소로부터 최소 거리 밖의 화소와 인접 화소와의 밝기 차의 분산이 기준값 미만이면 특징 영역 화소로부터 최소 거리 밖의 화소를 균등 영역으로 분류할 수 있다. '밝 기 차의 분산'은 특징 영역 화소로부터 최소 거리 밖의 화소와 인접 화소와의 밝기 차 및 상기 밝기 차의 평균값과의 차이를 말하며, 밝기 차의 평균값을 기준으로 한 밝기 차의 분포된 정도를 나타내는 척도가 될 수 있다.
실시예에 따라서는, 특징 영역 화소로부터 최소 거리 밖의 화소에 대해서 특징 영역 화소로부터 최소 거리 밖의 화소와 인접 화소와의 화소값의 차에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. 특징 영역 화소로부터 최소 거리 밖의 화소와 인접 화소와의 화소값의 차가 기준값 이상이면 특징 영역 화소로부터 최소 거리 밖의 화소를 특징 영역으로 분류하고, 특징 영역 화소로부터 최소 거리 밖의 화소와 인접 화소와의 화소값의 차가 기준값 미만이면 특징 영역 화소로부터 최소 거리 밖의 화소를 균등 영역으로 분류할 수 있다. '화소값'은 특징 영역 화소로부터 최소 거리 밖의 화소가 포함하는 색상값, 밝기값 기타 정보가 될 수 있다.
또한, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 현재 프레임을 N x M개의 블록(block)으로 분할하는 동작, N x M개의 블록 각각에 대해서 블록 내에서 그라디언트 값이 가장 큰 화소로서, 그라디언트 값이 기준값 이상인 화소를 특징 영역 화소로 결정하는 동작을 더 포함할 수 있다. 즉, 현재 프레임을 N x M개의 블록으로 분할한 뒤, N x M개의 블록 중 임의의 블록 내의 모든 화소에 대해서 그라디언트 값을 조사하여, 블록 내에서 그라디언트 값이 가장 큰 화소가 기준값 이상의 그라디언트 값을 갖는 경우, 상기 화소를 특징 영역 화소로 할 수 있다. 블록 내에서 그라이던트 값이 가장 큰 화소가 기준값 미만의 그라디언트 값을 갖는 경우, 블록 내의 모든 화소는 균등 영역 화소가 될 수 있다. '그라디언트 값'은 블록 내의 화소가 포함하는 밝기, 색상 기타 정보의 변화율이 될 수 있다. 실시예에 따라서는, x축으로의 변화율 및 y축으로의 변화율을 종합한 그라디언트 값을 이용할 수 있다.
이하 도 4를 참조하여, 현재 프레임을 N x M개의 블록으로 분할하여 특징 영역 화소를 결정하는 동작에 대해서 더욱 상세히 설명한다.
도 4는 본 발명의 일실시예에 따른 현재 프레임을 N x M개의 블록으로 분할하여 특징 영역 화소를 결정하는 동작을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 현재 프레임(410)을 x축으로 M개로 분할, y축으로 N개로 분할할 수 있다. N x M개의 블록 중 임의의 블록(420) 내의 모든 화소에 대해서 그라디언트 값을 조사할 수 있다. 블록(420) 내에서 그라디언트 값이 가장 큰 화소가 기준값 이상의 그라디언트 값을 갖는 경우, 상기 화소를 특징 영역 화소로 할 수 있다. 블록(420) 내에서 그라이던트 값이 가장 큰 화소가 기준값 미만의 그라디언트 값을 갖는 경우, 블록(420) 내의 모든 화소를 균등 영역 화소로 할 수 있다. N 또는 M의 크기를 조절함으로써, 현재 프레임의 특징 영역 화소의 개수를 조절할 수 있다.
실시예에 따라서는, 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은 블록 내의 그라디언트 값이 가장 큰 화소에 대해서 특징 영역 화소와 균등 영역 화소로 분류하기 위한 기준값을 입력 받는 동작을 더 포함할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성 하는 방법은, 현재 프레임의 블록 내에서 공간 주파수가 가장 큰 화소로서 공간 주파수가 기준값 이상인 화소를 특징 영역 화소로 결정할 수 있다. 블록 내에서 공간 주파수가 가장 큰 화소가 기준값 미만의 공간 주파수를 갖는 경우, 블록 내의 모든 화소는 균등 영역에 속할 수 있다.
실시예에 따라서는, 현재 프레임의 블록 내에서 2차 미분 값이 가장 큰 화소로서 2차 미분 값이 기준값 이상인 화소를 특징 영역 화소로 결정할 수 있다. 블록 내에서 2차 미분 값이 가장 큰 화소가 기준값 미만의 2차 미분 값을 갖는 경우, 블록 내의 모든 화소는 균등 영역에 속할 수 있다. '2차 미분 값'을 구하는 방법의 실시예로서, Laplacian, 가우시안-라플라시안(Laplacian of Gaussian : LOG)이 있다.
실시예에 따라서는, 현재 프레임의 블록 내에서 인접 화소와의 밝기 차의 분산이 가장 큰 화소로서, 밝기 차의 분산이 기준값 이상인 화소를 특징 영역 화소로 결정할 수 있다. 블록 내에서 인접 화소와의 밝기 차의 분산이 가장 큰 화소가 기준값 미만의 밝기 차의 분산을 갖는 경우, 블록 내의 모든 화소는 균등 영역에 속할 수 있다. '인접 화소'는 블록 내의 화소의 주변 화소를 말하며, 화소로부터 인접한 정도에 대한 기준값은 조정될 수 있다(예를 들어, 블록 내의 임의의 화소로부터 3 화소(pixel) 내의 화소만을 인접 화소로 함). '밝기 차의 분산'은 블록 내의 화소와 인접 화소와의 밝기 차와 상기 밝기 차의 평균값과의 차이를 말하며, 밝기 차의 평균값을 기준으로 한 밝기 차의 분포된 정도를 나타내는 척도가 될 수 있다.
실시예에 따라서는, 현재 프레임의 블록 내에서 인접 화소와의 화소값의 차 가 가장 큰 화소로서, 화소값의 차가 기준값 이상인 화소를 특징 영역 화소로 결정할 수 있다. 블록 내에서 인접 화소와의 화소값의 차가 가장 큰 화소가 기준값 미만의 화소값 차를 갖는 경우, 블록 내의 모든 화소는 균등 영역에 속할 수 있다. '화소값'은 블록 내의 화소가 포함하는 색상값, 밝기값 기타 정보가 될 수 있다.
도 5는 본 발명의 일실시예에 따른 현재 프레임을 특징 영역 및 균등 영역으로 분류하는 동작을 나타낸 도면이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 이전 프레임(510)의 특징 영역 화소인 화소(511)로부터 화소 추적(530)된 현재 프레임(520)의 화소(521)를 특징 영역 화소로 할 수 있고, 그 후에 현재 프레임(520) 내의 화소 추적(530)되어 특징 영역 화소로 결정된 화소(521)를 제외한 화소(522)에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다.
즉, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 현재 프레임의 모든 화소에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 것이 아니라, 현재 프레임의 이전 프레임에서 특징 영역 화소로 판단된 화소로부터 화소 추적(trajectory estimation)된 현재 프레임의 화소를 특징 영역 화소로 결정하고, 그 외의 현재 프레임의 화소에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다.
이하 본 발명의 일실시예에 따른 화소 추적하는 동작에 대해서 상세히 설명 한다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 이전 프레임의 모든 화소에 대해서 현재 프레임으로 화소 추적하지 않고, 이전 프레임의 특징 영역 화소에 대해서만 현재 프레임으로 화소 추적할 수 있다. 즉, 이전 프레임의 균등 영역 화소에 대해서는 현재 프레임으로 화소 추적하지 않고, 단일 프레임(즉, 현재 프레임)의 정보만을 보간을 이용하여 현재 프레임에 대응하는 고해상도 비디오를 생성할 수 있다. '화소 추적'은 화소의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보를 이용하여, 화소 추적되는 프레임(예를 들어, 현재 프레임)의 여러 화소 중 화소 추적하는 프레임(예를 들어, 이전 프레임)의 특징 영역 화소와 상관 관계가 가장 높은 화소를 선택하는 동작을 말한다. 실시예에 따라서는, 밝기 차를 이용하여 화소 추적하는 SAM(sum of absolute difference) 방법이 있다.
장면 전환, 화면 폐쇄(occlusion) 등이 있는 경우 이전 프레임의 특징 영역 화소에 대응하는 현재 프레임의 화소가 추적되지 않을 수 있다. 화소 추적이 실패한 경우, 이전 프레임의 특징 영역 화소에 대응하는 화소 추적된 현재 프레임의 화소를 제외한 화소에 대해서는 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작을 수행할 수 있다.
도 6은 본 발명의 일실시예에 따른 특징 영역 화소에 대해서 화소 추적하는 동작을 나타낸 도면이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상 도 비디오를 생성하는 방법은, 현재 프레임(640)의 3 프레임 전의 이전 프레임(610)의 특징 영역 화소인 화소(601)에 대해서 현재 프레임(640)으로 화소 추적할 수 있다. 즉, 이전 프레임(610)에 대해서 현재 프레임(640)의 2 프레임 전의 이전 프레임(620)으로 화소 추적할 수 있고, 화소 추적된 화소(602)는 이전 프레임(620)의 특징 영역 화소가 될 수 있다. 또한, 이전 프레임(620)에 대해서 현재 프레임(640)의 1 프레임 전의 이전 프레임(630)으로 화소 추적할 수 있고, 화소 추적된 화소(603)는 이전 프레임(630)의 특징 영역 화소가 될 수 있다. 마찬가지로, 이전 프레임(630)에 대해서 현재 프레임(640)으로 화소 추적할 수 있고, 화소 추적된 화소(604)는 현재 프레임(640)의 특징 영역 화소가 될 수 있다. 즉, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 이전 프레임(610, 620, 630)의 특징 영역 화소(601, 602, 603)에 대해서만 화소 추적을 하고, 이전 프레임(610, 620, 630)의 그 외의 화소(즉, 균등 영역 화소)에 대해서는 화소 추적을 하지 않을 수 있다.
도 7은 본 발명의 일실시예에 따른 특징 영역 화소에 대해서 부화소 단위까지 화소 추적하는 동작을 나타낸 도면이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 현재 프레임(710)의 이전 프레임의 특징 영역 화소에서 화소 추적된 현재 프레임(710)의 화소(701)를 특징 영역 화소로 결정할 수 있을 뿐 아니라, 현재 프레임(710)의 이전 프레임의 특징 영역 화소에 대해서 부화소 단위까지 화소 추적하여 현재 프레임의 부화소(702)를 특징 영역 화소로 결정할 수 있다. 즉, 실시예에 따라서는, 이전 프레임의 특징 영역 화소에 대해서 화소 추적하여 현재 프레임의 특징 영역 화소를 결정하는 동작은, 현재 프레임의 부화소(subpixel) 단위까지 화소 추적할 수 있다. 부화소 단위의 화소(702)의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보는 인접 화소로부터 보간을 이용하여 결정될 수 있다. 실시예에 따라서는, 부화소 단위의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보는 정수 단위로 보간되어 결정될 수 있다.
도 8은 본 발명의 일실시예에 따른 저해상도 비디오의 프레임의 특징 영역 화소 및 인접 화소의 화소값과 위치를 저장하는 동작을 나타낸 도면이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 현재 프레임(830)의 2 프레임 전의 이전 프레임(810)의 특징 영역 화소인 화소(811)에 대해서 현재 프레임(830)으로 화소 추적할 수 있고, 또한 특징 영역 화소인 화소(811)의 화소값 및 위치를 저장할 수 있다. 특징 영역 화소의 '화소값'은 특징 영역 화소의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보가 될 수 있다. 또한, 특징 영역 화소의 '위치'는 저해상도 비디오의 프레임에서 특징 영역 화소의 위치를 뜻하며, 실시예에 따라서는, 좌표, 벡터 등의 방법으로 표현될 수 있다.
또한, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은 이전 프레임(810)의 특징 영역 화소인 화소(811)의 인접 화 소(812)의 화소값 및 위치를 저장할 수 있다. '인접 화소'는 특징 영역 화소의 주변 화소를 말하며, 화소로부터 인접한 정도에 대한 기준값은 조정될 수 있다(예를 들어, 특징 영역 화소로부터 3 화소(pixel) 내의 화소만을 인접 화소로 함). 인접 화소의 '화소값'은 인접 화소의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보가 될 수 있다. 또한, 인접 화소의 '위치'는 저해상도 비디오의 프레임에서 인접 화소의 위치를 뜻하며, 실시예에 따라서는, 좌표, 벡터 등의 방법으로 표현될 수 있다. 인접 화소의 위치는, 절대적인 값을 갖는 좌표, 벡터로 표현될 수 있을 뿐 아니라(예를 들어, 영점을 기준으로 한 좌표값 또는 영점으로부터의 거리 및 각도로 표현되는 벡터값), 특징 영역 화소와의 상대적인 값을 갖는 좌표, 벡터로 표현될 수 있다(예를 들어, 특징 영역 화소를 기준으로 상대적인 값을 갖는 좌표, 특징 영역 화소로부터의 거리 및 각도로 표현되는 벡터값). 또한, 인접 화소의 개수는 정합의 정확도 및 시스템의 복잡도 등을 고려하여 조정될 수 있다. 또한, 특징 영역 화소가 부화소 단위의 화소인 경우, 좌표 값을 버림 연산을 통해 계산하고, 상기 계산된 좌표값을 기준으로 하여 인접 화소를 결정할 수 있다. 예를 들어, 특징 영역 화소가 좌표(2, 2.5)를 갖는 경우, 좌표값을 (2, 2)로 계산한 뒤, 좌표(2,2)의 인접한 화소들을 인접화소로 할 수 있다. 실시예에 따라서는, 올림 연산을 통하여 좌표값을 계산할 수도 있다.
또한, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 현재 프레임(830)의 1 프레임 전의 이전 프레임(820)의 특징 영역 화소인 화소(821) 및 화소(821)의 인접 화소(822)의 화소값 및 위치를 저장할 수 있다. 마찬가지로, 현재 프레임(830)의 특징 영역 화소인 화소(831) 및 화소(831)의 인접 화소(832)의 화소값 및 위치를 저장할 수 있다.
이하 본 발명의 일실시예에 따른 현재 프레임의 특징 영역 화소 및 이전 프레임의 특징 영역 화소를 정합하는 동작을 상세히 설명한다.
도 9는 본 발명의 일실시예에 따른 특징 영역 화소를 정합하는 동작을 나타낸 도면이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 현재 프레임(940)의 특징 영역 화소(941) 및 현재 프레임(940)의 특징 영역 화소(941)에 대응하는 적어도 하나 이상의 이전 프레임(910, 920, 930)의 특징 영역 화소(911, 921, 931)를 정합하여 현재 프레임(940)에 대응하는 고해상도 비디오의 프레임의 화소들의 화소값을 결정할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 현재 프레임(940)의 3 프레임 전의 이전 프레임(910)에 대해서 특징 영역 화소인 화소(911)와 화소(911)의 인접 화소(912)의 화소값 및 위치를 저장한다. 그 후에 이전 프레임(910)의 특징 영역 화소인 화소(911)에 대해서 현재 프레임의 2 프레임 전의 이전 프레임(920)으로 화소 추적할 수 있다. 또한, 이전 프레임(920)의 특징 영역 화소인 화소(921) 및 인접 화소(922)의 화소값 및 위치를 저장하고, 이전 프레임(920)의 특징 영역 화소인 화소(921)에 대해서 현재 프레임(940)의 1 프레임 전의 이전 프레임(930)으로 화소 추적할 수 있다. 또한, 이전 프레임(930)의 특징 영역 화소인 화소(931) 및 인접 화소(932)의 화소값 및 위치를 저장하고, 이전 프레임(930)의 특징 영역 화소인 화소(931)에 대해서 현재 프레임(940)으로 화소 추적할 수 있다. 마찬가지로, 현재 프레임(940)의 특징 영역 화소인 화소(941) 및 인접 화소의 화소값 및 위치를 저장할 수 있다.
따라서, 현재 프레임(940)에서, 현재 프레임(940)의 특징 영역 화소인 화소(941)에 대해서뿐 아니라 이전 프레임(910, 920, 930)의 특징 영역 화소인 화소들(912, 922, 932)과 인접 화소들(912, 922, 932)에 대해서도 화소값 및 위치에 대한 정보를 가질 수 있다. 상기 화소값 및 위치에 대한 정보를 이용하여 현재 프레임(940)에 대응하는 고해상도 비디오의 프레임의 각 화소들의 화소값을 결정함으로써 고해상도 비디오를 생성할 수 있다.
실시예에 따라서는, 이전 프레임(910)의 특징 영역 화소인 화소(911)는 좌표(2,2)를 갖고, 인접 화소(912)는 화소(911)를 기준으로 한 상대 좌표(-1, 1)를 가질 수 있다. 이전 프레임(920)의 특징 영역 화소인 화소(921)는 좌표(2, 2.5)를 갖고, 인접 화소(922)는 화소(921)를 기준으로 한 상대 좌표(-1, 0.5)를 가질 수 있다. 또한, 이전 프레임(930)의 특징 영역 화소인 화소(931)는 좌표(5.5, 1.5)를 갖고, 인접 화소(932)는 화소(931)를 기준으로 한 상대 좌표(-0.5, -1.5)의 값을 가질 수 있다. 이 때, 인접 화소들(912, 922, 932)의 위치뿐 아니라 화소값들도 함께 저장할 수 있다. 현재 프레임(940)에서 화소 추적된 특징 영역 화소인 화소(941)는 좌표(4.5, 2)를 가진다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 현재 프레임(940)의 특징 영역 화소인 화소(941) 및 이전 프레 임(910, 920, 930)의 특징 영역 화소들(911, 921, 931)과 인접 화소들(912, 922, 932)을 정합할 수 있다. 인접 화소(912)가 화소(911)를 기준으로 한 상대 좌표(-1, 1)의 위치에 있다는 상기 저장한 위치 정보를 이용하여, 현재 프레임(940)의 인접 화소(942)는 현재 프레임(940)의 특징 영역 화소인 화소(941)를 기준으로 한 상대 좌표(-1, 1) 위치에 있고, 따라서 인접 화소(942)는 좌표(3.5, 3)를 가진다고 판단할 수 있다. 마찬가지로, 현재 프레임(940)의 특징 영역 화소인 화소(943)는 좌표(3.5, 2.5)를 갖고, 현재 프레임(940)의 특징 영역 화소인 화소(944)는 좌표(4, 0.5)를 가진다고 판단할 수 있다.
상기 과정에 의해 저해상도 비디오의 현재 프레임(940)은 특징 영역 화소인 화소(941)의 복수 개의 인접 화소의 위치 및 화소값을 갖게 되고, 상기 복수 개의 인접 화소의 위치 및 화소값을 이용하여 정밀한 고해상도 비디오를 생성할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 이전 프레임의 특징 영역 화소의 화소값과 현재 프레임의 화소 추적된 특징 영역 화소의 화소값의 차이가 기준값 이하가 되는 경우에 한하여, 정합하는 동작을 수행할 수 있다. 이전 프레임의 특징 영역 화소의 화소값과 현재 프레임의 화소 추적된 특징 영역 화소의 화소값의 차이가 너무 크면, 이전 프레임의 특징 영역 화소와 현재 프레임의 특징 영역 화소는 상관 관계가 작은 것으로 볼 수 있어, 현재 프레임에 대응하는 고해상도 비디오의 생성을 위한 자료가 되기에 부적합할 수 있다. 즉, 이전 프레임의 특징 영역 화소의 화소값과 현재 프레임의 화소 추적된 특징 영역 화소의 화소값의 차이가 기준값 이하가 되는 경우에 한하여, 정합하는 동작을 수행함으로써 특징 영역 화소의 정합의 오류를 보정할 수 있다.
예를 들어, 이전 프레임(920)의 특징 영역 화소인 화소(921)의 화소값(예를 들어, 밝기 값)과 현재 프레임(940)의 특징 영역 화소인 화소(941)의 화소값의 차이가 기준값 이상인 경우, 화소(921)와 화소(941)는 상관 관계가 적은 것으로 볼 수 있어, 현재 프레임(940)에 대응하는 고해상도 비디오의 생성을 위한 자료로서 화소(921) 및 인접 화소(922)에 대한 정보는 정합 시 제외할 수 있다.
실시예에 따라서는, 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은 상기 기준값을 입력 받는 동작을 더 포함할 수 있다.
도 10은 본 발명의 일실시예에 따른 특징 영역 화소의 정합의 오류를 보정하기 위한 동작을 나타낸 도면이다.
도 10을 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 현재 프레임의 특징 영역 화소를 텍스처 영역(texture region)과 에지 영역(edge region)으로 분류할 수 있다(S1010).
현재 프레임의 특징 영역 화소가 텍스처 영역으로 분류된 경우, 텍스처 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 이전 프레임의 특징 영역 화소의 화소값의 차이가 기준값인 Thtexture 이하인지 판단할 수 있다(S1020). 텍스처 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 이전 프레임의 특징 영역 화소의 화소값의 차이가 Thtexture 이하인 경우, 이전 프레임의 특징 영역 화소를 정합할 수 있다(S1021). 다만, 텍스처 영역의 특징 영역 화소 및 상기 특 징 영역 화소에 대응하는 이전 프레임의 특징 영역 화소의 화소값의 차이가 Thtexture 를 초과하는 경우, 이전 프레임의 특징 영역 화소를 정합 과정에서 제외할 수 있다(S1022).
현재 프레임의 특징 영역 화소가 에지 영역으로 분류된 경우, 에지 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 이전 프레임의 특징 영역 화소의 화소값의 차이가 기준값인 Thedge 이하인지 판단할 수 있다(S1030). 에지 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 이전 프레임의 특징 영역 화소의 화소값의 차이가 Thedge 이하인 경우, 이전 프레임의 특징 영역 화소를 정합할 수 있다(S1031). 다만, 에지 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 이전 프레임의 특징 영역 화소의 화소값의 차이가 Thedge 를 초과하는 경우, 이전 프레임의 특징 영역 화소를 정합 과정에서 제외할 수 있다(S1032). 실시예에 따라서는, 부가적으로 정합의 오류를 보정하기 위해, 에지 영역의 특징 영역 화소에 대해서는 에지 보존 로패스 필터(edge preserving low pass filter)를 적용할 수 있다.
실시예에 따라서는, 현재 프레임의 상기 특징 영역 화소가 텍스처 영역 또는 에지 영역 중 어디에 속하는지에 따라 기준값인 Thtexture 와 Thedge 를 다르게 설정할 수 있다. 텍스처 영역의 경우 정합의 오류가 발생하더라도 쉽게 인지되지 않는 반면, 에지 영역의 경우 정합의 오류가 발생하면 경계에서 오류로 인한 화질 열화가 쉽게 인지될 수 있다. 따라서 텍스처 영역에서 정합의 오류를 보정하기 위한 기준값인 Thtexture 는, 에지 영역에서 정합의 오류를 보정하기 위한 기준값인 Thedge 보다 높게 설정될 수 있다.
도 11은 본 발명의 일실시예에 따른 저해상도 비디오의 프레임에 대응하는 고해상도 비디오의 프레임을 나타낸 도면이다.
도 11을 참조하면, 본 발명의 일실시예에 따른 저해상도 비디오의 현재 프레임(1110)은 특징 영역 화소인 화소들(1111, 1112, 1113, 1114, 1115, 1116, 1117)을 가질 수 있다. 저해상도 비디오의 현재 프레임(1110)의 특징 영역 화소인 화소(1111)는 좌표(0, 0)를, 화소(1112)는 좌표(1, 0.5)를, 화소(1113)는 좌표(3, 1)를, 화소(1114)는 좌표(1.5, 1.5)를, 화소(1115)는 좌표(1, 2)를, 화소(1116)는 좌표(3, 2)를, 화소(1117)는 좌표(2, 3)를 가질 수 있다. 또한, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 현재 프레임(1110)의 특징 영역 화소인 화소들(1111, 1112, 1113, 1114, 1115, 1116, 1117)의 위치뿐 아니라 화소값도 저장할 수 있다. 실시예에 따라서는, 저해상도 비디오의 현재 프레임(1110)은 저해상도 비디오의 현재 프레임(1110)의 특징 영역 화소 및 저해상도 비디오의 현재 프레임(1110)에 대응하는 적어도 하나 이상의 이전 프레임의 특징 영역 화소가 정합된 프레임일 수 있고, 따라서 화소들(1111, 1112, 1113, 1114, 1115, 1116, 1117)은 저해상도 비디오의 현재 프레임(1110)의 특징 영역 화소 및 저해상도 비디오의 현재 프레임(1110)에 대응하는 적어도 하나 이상의 이전 프레임의 특징 영역 화소 및 인접 화소일 수 있다.
저해상도 비디오의 현재 프레임(1110)에 대응하는 고해상도 비디오가 저해상도 비디오에 비해 2배의 해상도를 갖는 경우, 저해상도 비디오의 현재 프레 임(1110)의 특징 영역 화소인 화소들(1111, 1112, 1113, 1114, 1115, 1116, 1117)에 대응하는 고해상도 비디오의 프레임(1120)의 특징 영역 화소인 화소들(1121, 1122, 1123, 1124, 1125, 1126, 1127)은, 저해상도 비디오의 현재 프레임(1110)의 특징 영역 화소인 화소들(1111, 1112, 1113, 1114, 1115, 1116, 1117)의 좌표값의 2배인 좌표값을 가질 수 있다. 즉, 고해상도 비디오의 프레임(1120)의 특징 영역 화소인 화소(1121)는 좌표(0, 0)를, 화소(1122)는 좌표(2, 1)를, 화소(1123)는 좌표(6, 2)를, 화소(1124)는 좌표(3, 3)를, 화소(1125)는 좌표(2,4)를, 화소(1126)는 좌표(6, 4)를, 화소(1127)는 좌표(4, 6)를 가질 수 있다. 또한, 저해상도 비디오의 현재 프레임(1110)의 특징 영역 화소인 화소들(1111, 1112, 1113, 1114, 1115, 1116, 1117)에 대응하는 고해상도 비디오의 프레임(1120)의 특징 영역 화소인 화소들(1121, 1122, 1123, 1124, 1125, 1126, 1127)은 저해상도 비디오의 현재 프레임(1110)의 특징 영역 화소인 화소들(1111, 1112, 1113, 1114, 1115, 1116, 1117)의 화소값과 동일한 화소값을 가질 수 있다.
고해상도 비디오의 프레임(1120)에서 저해상도 비디오의 현재 프레임(1110)의 특징 영역 화소에 대응하는 화소들(1121, 1122, 1123, 1124, 1125, 1126, 1127)이 아닌 화소(1128)의 화소값은, 보간(interpolation)에 의해 구할 수 있다.
도 12는 본 발명의 일실시예에 따른 고해상도 비디오의 프레임의 화소를 보간 하는 동작을 나타낸 도면이다.
도 12를 참조하면, 고해상도 비디오의 프레임(1210)은 저해상도 비디오의 특징 영역 화소에 대응하는 특징 영역 화소인 화소(1211) 및 그 외의 화소(1212)를 가질 수 있다. 도 11에서 살펴본 실시예와 같이, 특징 영역 화소인 화소(1121)는 화소값을 가질 수 있다. 다만, 하얀 화소(1212)의 화소값은 보간에 의해 구할 수 있다.
고해상도 비디오의 프레임(1210)의 특징 영역 화소인 화소(1212)와 화소(1212)의 상관도(1220)를 참고하면, 화소(1212)의 화소값은 다음과 같은 수식으로서 보간될 수 있다.
Figure 112009058111627-pat00005
상기 식에서 wi 는 가중치 값으로서, 다음과 같은 수식으로 정의 될 수 있다.
Figure 112009058111627-pat00006
여기서, di 는 검은 화소(1211)와 하얀 화소(1212)의 거리이고, p는 거리의 크기를 제어하는 상수값이다. 즉, 인접 화소와의 거리를 가중치로 고해상도 비디오의 프레임의 화소값을 보간할 수 있다.
이하 본 발명의 다른 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법을 설명한다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 i-1 번째 프레임의 특징 영역 화소에 대해서 화소 추적하여 저해상도 비디오의 i 번째 프레임의 특징 영역 화소를 결정할 수 있다.
또한, i 번째 프레임의 특징 영역 화소 및 i 번째 프레임의 특징 영역 화소에 대응하는 적어도 하나 이상의 이전 프레임의 특징 영역 화소를 정합하여 i 번째 프레임에 대응하는 고해상도 비디오의 프레임의 화소들의 화소값을 결정할 수 있다.
또한, i 번째 프레임에 대응하는 고해상도 비디오의 프레임에서 화소값이 결정되지 않은 화소들에 대해 보간을 이용하여 화소값을 결정할 수 있다.
실시예에 따라서는, i-1 번째 프레임의 특징 영역 화소는 저해상도 비디오의 i-2 번째 프레임의 특징 영역 화소로부터 화소 추적되었거나 공간 주파수가 상대적으로 높은 화소일 수 있다. 즉, i-2 번째 프레임에서 특징 영역 화소로 판단된 화소로부터 화소 추적(trajectory estimation)된 i-1 번째 프레임의 화소를 특징 영역 화소로 결정하고, 그 외의 i-1 번째 프레임의 화소에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i-1 번째 프레임에서 상대적으로 공간 주파수가 높은 영역을 특징 영역으로, 상대적으로 공간 주파수가 낮은 영역을 균등 영역으로 분류할 수 있다.
실시예에 따라서는, 저해상도 비디오의 i-1 번째 프레임을 i-1 번째 프레임의 화소의 그라디언트(gradient) 값에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. i-1 번째 프레임의 화소의 그라디언트 값이 기준값 이상이면 화소를 특징 영역으로 분류하고, i-1 번째 프레임의 화소의 그리디언트 값이 기준값 미만이면 화소를 균등 영역으로 분류할 수 있다. '그라디언트 값'은 화소가 포함하는 밝기, 색상 기타 정보의 변화율이 될 수 있다. 실시예에 따라서는, x축으로의 변화율 및 y축으로의 변화율을 종합한 그라디언트 값을 이용할 수 있다. 예를 들어, 그라디언트 값은 다음과 같은 수식으로 나타날 수 있다.
Figure 112009058111627-pat00007
상기 수식에서
Figure 112009058111627-pat00008
는 그라디언트 값,
Figure 112009058111627-pat00009
는 x축으로의 변화율, 그리고
Figure 112009058111627-pat00010
는 y축으로의 변화율을 나타낸다. 실시예에 따라서는, 그라디언트 값은 x축으로의 변화율 또는 y축으로의 변화율만을 개별적으로 고려할 수 있다.
실시예에 따라서는, 저해상도 비디오의 i-1 번째 프레임을 i-1 번째 프레임의 화소의 2차 미분 값에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. i-1 번째 프레임의 화소의 2차 미분 값이 기준값 이상이면 화소를 특징 영역으로 분류하고, i-1 번째 프레임의 화소의 2차 미분 값이 기준값 미만이면 화소를 균등 영역으로 분류할 수 있다. '2차 미분 값'을 구하는 방법의 실시예로서, Laplacian, 가우시안-라플라시안(Laplacian of Gaussian : LOG)이 있다.
실시예에 따라서는, 저해상도 비디오의 i-1 번째 프레임을 i-1 번째 프레임의 화소와 인접 화소와의 밝기 차의 분산에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. '인접 화소'는 임의의 화소의 주변 화소를 말하며, 화소로부터 인접한 정도에 대한 기준값은 조정될 수 있다(예를 들어, 화소로부터 3 화소(pixel) 내 의 화소만을 인접 화소로 함). i-1 번째 프레임의 화소와 인접 화소와의 밝기(intensity) 차의 분산이 기준값 이상이면 화소를 특징 영역으로 분류하고, i-1 번째 프레임의 화소와 인접 화소와의 밝기 차의 분산이 기준값 미만이면 화소를 균등 영역으로 분류할 수 있다. '밝기 차의 분산'은 i-1 번째 프레임의 화소와 인접 화소와의 밝기 차와 상기 밝기 차의 평균값과의 차이를 말하며, 밝기 차의 평균값을 기준으로 한 밝기 차의 분포된 정도를 나타내는 척도가 될 수 있다.
실시예에 따라서는, 저해상도 비디오의 i-1 번째 프레임을 i-1 번째 프레임의 화소와 인접 화소와의 화소값의 차에 따라 특징 영역 및 균등 영역으로 분류할 수 있다. i-1 번째 프레임의 화소와 인접 화소와의 화소값의 차가 기준값 이상이면 화소를 특징 영역으로 분류하고, i-1 번째 프레임의 화소와 인접 화소와의 화소값의 차가 기준값 미만이면 화소를 균등 영역으로 분류할 수 있다. '화소값'은 화소가 포함하는 색상값, 밝기값 기타 정보가 될 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i-1 번째 프레임의 특징 영역 화소 간에 최소 거리가 유지하도록 조정하기 위해서, i-1 번째 프레임의 모든 화소가 아니라 일부 화소에 대해서만 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다.
예를 들어, i-1 번째 프레임의 임의의 화소에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류를 한 뒤에, 상기 임의의 화소가 특징 영역 화소로 분류된 경우, 상기 임의의 화소로부터 일정한 최소 거리가 떨어진 화소에 대해서 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작을 수행함으로써, 특징 영역 화소들 간에 최소 거리를 유지하도록 조정할 수 있다. i-1 번째 프레임의 임의의 화소가 균등 영역에 속하는 화소(이하 '균등 영역 화소'라 함)로 분류된 경우, 최소 거리의 판단 없이, 상기 임의의 화소에 인접한 화소에 대해서 분류하는 동작을 수행할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i-1 번째 프레임을 N x M개의 블록(block)으로 분할하고, N x M개의 블록 각각에 대해서 블록 내에서 그라디언트 값이 가장 큰 화소로서, 그라디언트 값이 기준값 이상인 화소를 특징 영역 화소로 결정할 수 있다. '그라디언트 값'은 블록 내의 화소가 포함하는 밝기, 색상 기타 정보의 변화율이 될 수 있다. 또한, x축으로의 변화율 및 y축으로의 변화율을 종합한 그라디언트 값을 이용할 수 있다.
실시예에 따라서는, 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은 블록 내의 그라디언트 값이 가장 큰 화소에 대해서 특징 영역 화소와 균등 영역 화소로 분류하기 위한 기준값을 입력 받는 동작을 더 포함할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i-1 번째 프레임의 블록 내에서 공간 주파수가 가장 큰 화소로서 공간 주파수가 기준값 이상인 화소를 특징 영역 화소로 결정할 수 있다. 블록 내에서 공간 주파수가 가장 큰 화소가 기준값 미만의 공간 주파수를 갖는 경우, 블록 내의 모든 화소는 균등 영역에 속할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i-1 번째 프레임의 모든 화소에 대해서 i 번째 프레임으로 화소 추적 하지 않고, i-1 번째 프레임의 특징 영역 화소에 대해서만 i 번째 프레임으로 화소 추적할 수 있다. 즉, i-1 번째 프레임의 균등 영역 화소에 대해서는 i 번째 프레임으로 화소 추적하지 않고, 보간을 이용하여 고해상도 비디오를 생성할 수 있다. '화소 추적'은 화소의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보를 이용하여, 화소 추적되는 프레임(예를 들어, i 번째 프레임)의 여러 화소 중 화소 추적하는 프레임(예를 들어, i-1 번째 프레임)의 특징 영역 화소와 상관 관계가 가장 높은 화소를 선택하는 동작을 말한다. 실시예에 따라서는, 밝기 차를 이용하여 화소 추적하는 SAM(sum of absolute difference) 방법이 있다.
실시예에 따라서는, i-1 번째 프레임에서 부화소 단위까지 화소 추적하여 i 번째 프레임의 부화소를 특징 영역 화소로 결정할 수 있다. i 번째 프레임의 부화소 단위의 화소의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보는 인접 화소로부터 보간을 이용하여 결정될 수 있다. 실시예에 따라서는, 부화소 단위의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보는 정수 단위로 보간되어 결정될 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 i-1 번째 프레임의 특징 영역 화소의 화소값 및 위치를 저장할 수 있고, 또한 저해상도 비디오의 i-1 번째 프레임의 특징 영역 화소의 인접 화소의 화소값 및 위치를 저장할 수 있다. '화소값'은 화소의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보가 될 수 있다. 또한, '위치'는 저해상도 비디오의 프레임에서 특징 영역 화소의 위치를 뜻하며, 실시예에 따라서는, 좌표, 벡터 등의 방법으로 표현될 수 있다. 인접 화소의 위치는, 절대적인 값을 갖는 좌표, 벡터로 표현될 수 있을 뿐 아니라(예를 들어, 영점을 기준으로 한 좌표값 또는 영점으로부터의 거리 및 각도로 표현되는 벡터값), 특징 영역 화소와의 상대적인 값을 갖는 좌표, 벡터로 표현될 수 있다(예를 들어, 특징 영역 화소를 기준으로 상대적인 값을 갖는 좌표, 특징 영역 화소로부터의 거리 및 각도로 표현되는 벡터값). 또한, 인접 화소의 개수는 정합의 정확도 및 시스템의 복잡도 등을 고려하여 조정될 수 있다. 또한, 특징 영역 화소가 부화소 단위의 화소인 경우, 좌표 값을 버림 연산을 통해 계산하고, 상기 계산된 좌표값을 기준으로 하여 인접 화소를 결정할 수 있다. 예를 들어, 특징 영역 화소가 좌표(2, 2.5)를 갖는 경우, 좌표값을 (2, 2)로 계산한 뒤, 좌표(2,2)의 인접한 화소들을 인접화소로 할 수 있다. 실시예에 따라서는, 올림 연산을 통하여 좌표값을 계산할 수도 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i 번째 프레임의 특징 영역 화소 및 i 번째 프레임의 특징 영역 화소에 대응하는 적어도 하나 이상의 i-1 번째 프레임의 특징 영역 화소를 정합하여 i 번째 프레임에 대응하는 고해상도 비디오의 프레임의 화소들의 화소값을 결정할 수 있다.
실시예에 따라서는, i-1 번째 프레임의 특징 영역 화소의 화소값과 i 번째 프레임의 화소 추적된 특징 영역 화소의 화소값의 차이가 기준값 이하가 되는 경우에만, 정합하는 동작을 수행할 수 있다. i-1 번째 프레임의 특징 영역 화소의 화소값과 i 번째 프레임의 화소 추적된 특징 영역 화소의 화소값의 차이가 너무 크면, i-1 번째 프레임의 특징 영역 화소와 i 번째 프레임의 특징 영역 화소는 상관 관계가 작은 것으로 볼 수 있어, i 번째 프레임에 대응하는 고해상도 비디오의 생성을 위한 자료가 되기에 부적합할 수 있다. 즉, 이전 프레임의 특징 영역 화소의 화소값과 현재 프레임의 화소 추적된 특징 영역 화소의 화소값의 차이가 기준값 이하가 되는 경우에 한하여, 정합하는 동작을 수행함으로써 특징 영역 화소의 정합의 오류를 보정할 수 있다.
실시예에 따라서는, 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은 상기 기준값을 입력 받는 동작을 더 포함할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i 번째 프레임의 특징 영역 화소를 텍스처 영역(texture region)과 에지 영역(edge region)으로 분류할 수 있다.
i 번째 프레임의 특징 영역 화소가 텍스처 영역으로 분류된 경우, 텍스처 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 i-1 번째 프레임의 특징 영역 화소의 화소값의 차이가 기준값인 Thtexture 이하인지 판단할 수 있다. 텍스처 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 i-1 번째 프레임의 특징 영역 화소의 화소값의 차이가 Thtexture 이하인 경우, i-1 번째 프레임의 특징 영역 화소를 정합할 수 있다. 다만, 텍스처 영역의 특징 영역 화소 및 상기 특 징 영역 화소에 대응하는 i-1 번째 프레임의 특징 영역 화소의 화소값의 차이가 Thtexture 를 초과하는 경우, i-1 번째 프레임의 특징 영역 화소를 정합 과정에서 제외할 수 있다.
i 번째 프레임의 특징 영역 화소가 에지 영역으로 분류된 경우, 에지 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 i-1 번째 프레임의 특징 영역 화소의 화소값의 차이가 기준값인 Thedge 이하인지 판단할 수 있다. 에지 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 i-1 번째 프레임의 특징 영역 화소의 화소값의 차이가 Thedge 이하인 경우, i-1 번째 프레임의 특징 영역 화소를 정합할 수 있다. 다만, 에지 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 i-1 번째 프레임의 특징 영역 화소의 화소값의 차이가 Thedge 를 초과하는 경우, i-1 번째 프레임의 특징 영역 화소를 정합 과정에서 제외할 수 있다. 실시예에 따라서는, 부가적으로 정합의 오류를 보정하기 위해, 에지 영역의 특징 영역 화소에 대해서는 에지 보존 로패스 필터(edge preserving low pass filter)를 적용할 수 있다.
실시예에 따라서는, 현재 프레임의 상기 특징 영역 화소가 텍스처 영역 또는 에지 영역 중 어디에 속하는지에 따라 기준값인 Thtexture 와 Thedge 를 다르게 설정할 수 있다. 텍스처 영역의 경우 정합의 오류가 발생하더라도 쉽게 인지되지 않는 반면, 에지 영역의 경우 정합의 오류가 발생하면 경계에서 오류로 인한 화질 열화가 쉽게 인지될 수 있다. 따라서 텍스처 영역에서 정합의 오류를 보정하기 위한 기준값인 Thtexture 는, 에지 영역에서 정합의 오류를 보정하기 위한 기준값인 Thedge 보다 높게 설정될 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i 번째 프레임에 대응하는 고해상도 비디오의 프레임에서 화소값이 결정되지 않은 화소들에 대해서는 보간을 이용하여 화소값을 결정할 수 있다.
이하 본 발명의 또 다른 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법을 설명한다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 현재 프레임을 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류할 수 있다.
또한, 특징 영역에 대해서 저해상도 비디오의 복수 개의 프레임에 기초하여 고해상도 비디오를 생성하고, 균등 영역에 대해서 현재 프레임에 기초하여 고해상도 비디오를 생성할 수 있다.
이하, 본 발명의 또 다른 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법을 설명한다.
첫 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 1번째 프레임을 입력 받을 수 있다.
두 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 입력 받은 저해상도 비디오의 1번째 프레임을 N x M개의 블록으로 분할할 수 있다. N 또는 M의 크기를 조절함으로써, 1번째 프레임의 특징 영역 화소의 개수를 조절할 수 있다.
세 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, N x M개의 블록 중 임의의 블록 내의 모든 화소에 대해서 그라디언트 값을 조사할 수 있다. 블록 내에서 그라디언트 값이 가장 큰 화소를 결정할 수 있다. 실시예에 따라서는, 공간 주파수, 2차 미분 값, 밝기 차의 분산 또는 화소값이 가장 큰 화소를 결정할 수 있다.
네 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 블록 내에서 그라디언트 값이 가장 큰 화소의 그라디언트 값이 기준값 미만이면 상기 블록을 균등 영역으로 결정할 수 있다.
실시예에 따라서는, 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은 블록 내의 그라디언트 값이 가장 큰 화소에 대해서 특징 영역 화소와 균등 영역 화소로 분류하기 위한 기준값을 입력 받는 동작을 더 포함할 수 있다.
다섯 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 블록 내에서 그라디언트 값이 가장 큰 화소의 그라디언트 값이 기준값 이상이면 상기 블록을 특징 영역으로 결정하고, 블록 내에서 그라디언트 값이 가장 큰 화소를 특징 영역 화소로 결정할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 1번째 프레임의 블록 내에서 공간 주파수가 가장 큰 화소로서 공간 주파수가 기준값 이상인 화소를 특징 영역 화소로 결정할 수 있다. 블록 내에서 공간 주파수가 가장 큰 화소가 기준값 미만의 공간 주파수를 갖는 경우, 블록 내의 모든 화소는 균등 영역에 속할 수 있다.
실시예에 따라서는, 1번째 프레임의 블록 내에서 2차 미분 값이 가장 큰 화소로서 2차 미분 값이 기준값 이상인 화소를 특징 영역 화소로 결정할 수 있다. 블록 내에서 2차 미분 값이 가장 큰 화소가 기준값 미만의 2차 미분 값을 갖는 경우, 블록 내의 모든 화소는 균등 영역에 속할 수 있다. '2차 미분 값'을 구하는 방법의 실시예로서, Laplacian, 가우시안-라플라시안(Laplacian of Gaussian : LOG)이 있다.
실시예에 따라서는, 1번째 프레임의 블록 내에서 인접 화소와의 밝기 차의 분산이 가장 큰 화소로서, 밝기 차의 분산이 기준값 이상인 화소를 특징 영역 화소로 결정할 수 있다. 블록 내에서 인접 화소와의 밝기 차의 분산이 가장 큰 화소가 기준값 미만의 밝기 차의 분산을 갖는 경우, 블록 내의 모든 화소는 균등 영역에 속할 수 있다. '인접 화소'는 블록 내의 화소의 주변 화소를 말하며, 화소로부터 인접한 정도에 대한 기준값은 조정될 수 있다(예를 들어, 블록 내의 임의의 화소로부터 3 화소(pixel) 내의 화소만을 인접 화소로 함). '밝기 차의 분산'은 블록 내의 화소와 인접 화소와의 밝기 차와 상기 밝기 차의 평균값과의 차이를 말하며, 밝기 차의 평균값을 기준으로 한 밝기 차의 분포된 정도를 나타내는 척도가 될 수 있다.
실시예에 따라서는, 1번째 프레임의 블록 내에서 인접 화소와의 화소값의 차가 가장 큰 화소로서, 화소값의 차가 기준값 이상인 화소를 특징 영역 화소로 결정할 수 있다. 블록 내에서 인접 화소와의 화소값의 차가 가장 큰 화소가 기준값 미만의 화소값 차를 갖는 경우, 블록 내의 모든 화소는 균등 영역에 속할 수 있다. '화소값'은 블록 내의 화소가 포함하는 색상값, 밝기값 기타 정보가 될 수 있다.
여섯 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 1번째 프레임의 특징 영역 화소의 위치 및 화소값을 저장할 수 있다. 또한, 1번째 프레임의 특징 영역 화소의 인접 화소의 위치 및 화소값을 저장할 수 있다.
'화소값'은 화소의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보가 될 수 있다. 또한, '위치'는 저해상도 비디오의 프레임에서 특징 영역 화소의 위치를 뜻하며, 실시예에 따라서는, 좌표, 벡터 등의 방법으로 표현될 수 있다. 인접 화소의 위치는, 절대적인 값을 갖는 좌표, 벡터로 표현될 수 있을 뿐 아니라(예를 들어, 영점을 기준으로 한 좌표값 또는 영점으로부터의 거리 및 각도로 표현되는 벡터값), 특징 영역 화소와의 상대적인 값을 갖는 좌표, 벡터로 표현될 수 있다(예를 들어, 특징 영역 화소를 기준으로 상대적인 값을 갖는 좌표, 특징 영역 화소로부터의 거리 및 각도로 표현되는 벡터값). 또한, 인접 화소의 개수는 정합의 정확도 및 시스템의 복잡도 등을 고려하여 조정될 수 있다. 또한, 특징 영역 화소가 부화소 단위의 화소인 경우, 좌표 값을 버림 연산을 통해 계산하고, 상기 계산된 좌표값을 기준으로 하여 인접 화소를 결정할 수 있다. 예를 들어, 특징 영역 화소가 좌표(2, 2.5)를 갖는 경우, 좌표값을 (2, 2)로 계산한 뒤, 좌표(2,2)의 인접한 화소들을 인접화소로 할 수 있다. 실시예에 따라서는, 올림 연산을 통하여 좌표값을 계산할 수도 있다.
일곱 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 2번째 프레임을 입력 받을 수 있다.
여덟 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 2번째 프레임을 N x M개의 블록으로 분할할 수 있다. N 또는 M의 크기를 조절함으로써, 2번째 프레임의 특징 영역 화소의 개수를 조절할 수 있다.
아홉 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 1번째 프레임에서 특징 영역 화소로 결정된 화소로부터 화소 추적하여 1번째 프레임의 특징 영역 화소에 대응하는 2번째 프레임의 화소를 결정할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 1번째 프레임의 모든 화소에 대해서 2번째 프레임으로 화소 추적하지 않고, 1번째 프레임의 특징 영역 화소에 대해서만 2번째 프레임으로 화소 추적할 수 있다. 즉, 1번째 프레임의 균등 영역 화소에 대해서는 2번째 프레임으로 화소 추적하지 않고, 보간을 이용하여 고해상도 비디오를 생성할 수 있다. '화소 추적'은 화소의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보를 이용하여, 화소 추적되는 프레임(예를 들어, 2번째 프레임)의 여러 화소 중 화소 추적하는 프레임(예를 들어, 1번째 프레임)의 특징 영역 화소와 상관 관계가 가장 높은 화소를 선택하는 동작을 말한다. 실시예에 따라서는, 밝기 차를 이용하여 화소 추적하는 SAM(sum of absolute difference) 방법이 있다.
실시예에 따라서는, 1번째 프레임에서 부화소 단위까지 화소 추적하여 2번째 프레임의 부화소를 특징 영역 화소로 결정할 수 있다. 2번째 프레임의 부화소 단위의 화소의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보는 인접 화소로부터 보간을 이용하여 결정될 수 있다. 실시예에 따라서는, 부화소 단위의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보는 정수 단위로 보간되어 결정될 수 있다.
장면 전환, 화면 폐쇄(occlusion) 등이 있는 경우 1번째 프레임의 특징 영역 화소에 대응하는 2번째 프레임의 화소가 추적되지 않을 수 있고, 이 경우 1번째 프레임의 특징 영역 화소에 대응하는 2번째 프레임의 화소가 없을 수 있다. 화소 추적된 2번째 프레임의 화소는 공간 주파수가 크다는 것을 의미할 수 있다.
열 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 2번째 프레임의 화소 추적된 화소를 특징 영역 화소로 결정할 수 있다. 또한, 결정된 특징 영역 화소의 위치 및 화소값을 저장할 수 있다. 또한, 2번째 프레임의 특징 영역 화소의 인접 화소의 위치 및 화소값을 저장할 수 있다.
인접 화소의 개수는 정합의 정확도 및 시스템의 복잡도 등을 고려하여 조정될 수 있다. 또한, 특징 영역 화소가 부화소 단위의 화소인 경우, 좌표 값을 버림 연산을 통해 계산하고, 상기 계산된 좌표값을 기준으로 하여 인접 화소를 결정할 수 있다. 예를 들어, 특징 영역 화소가 좌표(2, 2.5)를 갖는 경우, 좌표값을 (2, 2)로 계산한 뒤, 좌표(2,2)의 인접한 화소들을 인접화소로 할 수 있다. 실시예에 따라서는, 올림 연산을 통하여 좌표값을 계산할 수도 있다.
열한 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 2번째 프레임의 N x M개의 블록 중에서, 화소 추적하여 1번째 프레임의 특징 영역 화소에 대응하는 2번째 프레임의 화소로 결정된 화소를 포함하고 있지 않은 블록에 대해서는, 앞의 세 번째에서 여섯 번째 동작을 수행할 수 있다.
열두 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의 i 번째 프레임을 입력 받을 수 있다.
열세 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 저해상도 비디오의i 번째 프레임을 N x M개의 블록으로 분할할 수 있다. N 또는 M의 크기를 조절함으로써, i 번째 프레임의 특징 영역 화소의 개수를 조절할 수 있다.
열네 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i-1 번째 프레임에서 특징 영역 화소로 결정된 화소로부터 화소 추적하여 i-1 번째 프레임의 특징 영역 화소에 대응하는 i 번째 프레임의 화소를 결정할 수 있다.
실시예에 따라서는, i-1 번째 프레임에서 부화소 단위까지 화소 추적하여 i 번째 프레임의 부화소를 특징 영역 화소로 결정할 수 있다. 실시예에 따라서는, 부화소 단위의 밝기 값, 그라디언트 값, 2차 미분 값, 공간 주파수 값, 화소값 기타 화소가 포함하는 정보는 정수 단위로 보간되어 결정될 수 있다.
장면 전환, 화면 폐쇄(occlusion) 등이 있는 경우 i-1 번째 프레임의 특징 영역 화소에 대응하는 i 번째 프레임의 화소가 추적되지 않을 수 있고, 이 경우 i-1 번째 프레임의 특징 영역 화소에 대응하는 i 번째 프레임의 화소가 없을 수 있다. 화소 추적된 i 번째 프레임의 화소는 공간 주파수가 크다는 것을 의미할 수 있다.
열다섯 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i 번째 프레임의 화소 추적된 화소를 특징 영역 화소로 결정할 수 있다. 또한, 결정된 특징 영역 화소의 위치 및 화소값을 저장할 수 있다. 또한, i 번째 프레임의 특징 영역 화소의 인접 화소의 위치 및 화소값을 저장할 수 있다.
인접 화소의 개수는 정합의 정확도 및 시스템의 복잡도 등을 고려하여 조정될 수 있다. 또한, 특징 영역 화소가 부화소 단위의 화소인 경우, 좌표 값을 버림 연산을 통해 계산하고, 상기 계산된 좌표값을 기준으로 하여 인접 화소를 결정할 수 있다. 예를 들어, 특징 영역 화소가 좌표(2, 2.5)를 갖는 경우, 좌표값을 (2, 2)로 계산한 뒤, 좌표(2,2)의 인접한 화소들을 인접화소로 할 수 있다. 실시예에 따라서는, 올림 연산을 통하여 좌표값을 계산할 수도 있다.
열여섯 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i 번째 프레임의 N x M개의 블록 중에서, 화소 추적하여 i-1 번째 프레임의 특징 영역 화소에 대응하는 i 번째 프레임의 화소로 결정된 화소를 포함하고 있지 않은 블록에 대해서는, 앞의 세 번째에서 여섯 번째 동작을 수행할 수 있다.
열일곱 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i 번째 프레임의 특징 영역 화소 및 1번째 프레임에서 i-1 번째 프레임까지의 프레임 중 i 번째 프레임의 특징 영역 화소에 대응하는 특징 영역 화소를 정합하여 i 번째 프레임에 대응하는 고해상도 비디오의 프레임의 화소값을 결정할 수 있다.
실시예에 따라서는, 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소의 화소값과 i 번째 프레임의 화소 추적된 특징 영역 화소의 화소값의 차이가 기준값 이하가 되는 경우에만, 정합하는 동작을 수행할 수 있다. 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소의 화소값과 i 번째 프레임의 화소 추적된 특징 영역 화소의 화소값의 차이가 너무 크면, 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소와 i 번째 프레임의 특징 영역 화소는 상관 관계가 작은 것으로 볼 수 있어, i 번째 프레임에 대응하는 고해상도 비디오의 생성을 위한 자료가 되기에 부적합할 수 있다. 즉, 특징 영역 화소의 정합의 오류를 보정할 수 있다.
실시예에 따라서는, 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은 상기 기준값을 입력 받는 동작을 더 포함할 수 있다.
본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i 번째 프레임의 특징 영역 화소를 텍스처 영역(texture region)과 에지 영역(edge region)으로 분류할 수 있다.
i 번째 프레임의 특징 영역 화소가 텍스처 영역으로 분류된 경우, 텍스처 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소의 화소값의 차이가 기준값인 Thtexture 이하인지 판단할 수 있다. 텍스처 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소의 화소값의 차이가 Thtexture 이하인 경우, 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소를 정합할 수 있다. 다만, 텍스처 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소의 화소값의 차이가 Thtexture 를 초과하는 경우, 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소를 정합 과정에서 제외할 수 있다.
i 번째 프레임의 특징 영역 화소가 에지 영역으로 분류된 경우, 에지 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소의 화소값의 차이가 기준값인 Thedge 이하인지 판단할 수 있다. 에지 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소의 화소값의 차이가 Thedge 이하인 경우, 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소를 정합할 수 있다. 다만, 에지 영역의 특징 영역 화소 및 상기 특징 영역 화소에 대응하는 1번째 프레임에서 i-1 번째 프레임까지의 프레임의 특징 영역 화소의 화소값의 차이가 Thedge 를 초과하는 경우, 1번째 프레임에서 i-1 번째 프 레임까지의 프레임의 특징 영역 화소를 정합 과정에서 제외할 수 있다. 실시예에 따라서는, 부가적으로 정합의 오류를 보정하기 위해, 에지 영역의 특징 영역 화소에 대해서는 에지 보존 로패스 필터(edge preserving low pass filter)를 적용할 수 있다.
실시예에 따라서는, 현재 프레임의 상기 특징 영역 화소가 텍스처 영역 또는 에지 영역 중 어디에 속하는지에 따라 기준값인 Thtexture 와 Thedge 를 다르게 설정할 수 있다. 텍스처 영역의 경우 정합의 오류가 발생하더라도 쉽게 인지되지 않는 반면, 에지 영역의 경우 정합의 오류가 발생하면 경계에서 오류로 인한 화질 열화가 쉽게 인지될 수 있다. 따라서 텍스처 영역에서 정합의 오류를 보정하기 위한 기준값인 Thtexture 는, 에지 영역에서 정합의 오류를 보정하기 위한 기준값인 Thedge 보다 높게 설정될 수 있다.
열여덟 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, i 번째 프레임에 대응하는 고해상도 비디오의 프레임에서 화소값이 결정되지 않은 화소들에 대해서는 보간을 이용하여 화소값을 결정할 수 있다.
열아홉 번째로, 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법은, 상기 첫 번째에서 열여덟 번째까지의 과정에 의해 생성된 저해상도 비디오의 i 번째 프레임에 대응하는 고해상도 비디오의 프레임을 출력할 수 있다. 마찬가지로 고해상도 비디오의 i+1 번째, i+2 번째 등의 프레임이 실시간으로 생성될 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일실시예에 따른 특징 영역 화소인 화소들 간에 최소 거리를 유지하도록 조정하는 동작을 나타낸 도면이다.
도 3은 본 발명의 다른 일실시예에 따른 특징 영역 화소인 화소들 간에 최소 거리를 유지하도록 조정하는 동작을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 현재 프레임을 N x M개의 블록으로 분할하여 특징 영역 화소를 결정하는 동작을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 현재 프레임을 특징 영역 및 균등 영역으로 분류하는 동작을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 특징 영역 화소에 대해서 화소 추적하는 동작을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 특징 영역 화소에 대해서 부화소 단위까지 화소 추적하는 동작을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 저해상도 비디오의 프레임의 특징 영역 화소 및 인접 화소의 화소값과 위치를 저장하는 동작을 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 특징 영역 화소를 정합하는 동작을 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 특징 영역 화소의 정합의 오류를 보정하 기 위한 동작을 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 저해상도 비디오의 프레임에 대응하는 고해상도 비디오의 프레임을 나타낸 도면이다.
도 12는 본 발명의 일실시예에 따른 고해상도 비디오의 프레임의 화소를 보간 하는 동작을 나타낸 도면이다.

Claims (25)

  1. 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 있어서,
    상기 저해상도 비디오의 현재 프레임을 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작; 및
    상기 특징 영역에 대해서 상기 저해상도 비디오의 복수 개의 프레임에 기초하여 고해상도 비디오를 생성하고, 상기 균등 영역에 대해서 보간을 이용하여 고해상도 비디오를 생성하는 동작
    을 포함하고,
    상기 저해상도 비디오의 현재 프레임을 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작은,
    상기 현재 프레임 중 상대적으로 상기 공간 주파수가 높은 영역을 상기 특징 영역으로, 상대적으로 상기 공간 주파수가 낮은 영역을 상기 균등 영역으로 분류하는 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  2. 제1항에 있어서, 상기 특징 영역에 대해서 상기 저해상도 비디오의 복수 개의 프레임에 기초하여 고해상도 비디오를 생성하는 동작은,
    상기 현재 프레임의 특징 영역 화소 및 상기 현재 프레임의 상기 특징 영역 화소에 대응하는 적어도 하나 이상의 이전 프레임의 특징 영역 화소를 정합하여 상기 현재 프레임에 대응하는 고해상도 비디오의 프레임의 화소들의 화소값을 결정하는
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  3. 제2항에 있어서, 상기 현재 프레임에 대응하는 고해상도 비디오의 프레임의 화소들의 화소값을 결정하는 동작은,
    상기 현재 프레임의 상기 특징 영역 화소에 대응하는 적어도 하나 이상의 상기 이전 프레임의 상기 특징 영역 화소 중 상기 현재 프레임의 상기 특징 영역 화소와 상기 화소값의 차이가 기준값 이하인 상기 이전 프레임의 상기 특징 영역 화소만 정합하는
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  4. 제3항에 있어서,
    상기 현재 프레임의 상기 특징 영역 화소가 텍스쳐 영역 또는 에지 영역 중 어디에 속하는지에 따라 상기 기준값이 다른
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  5. 제1항에 있어서,
    상기 현재 프레임의 이전 프레임에서 특징 영역 화소로 판단된 화소로부터 화소 추적된 상기 현재 프레임의 화소를 상기 특징 영역 화소로 결정하는 동작
    을 더 포함하는 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  6. 제1항에 있어서,
    상기 현재 프레임을 구성하는 화소들 중 특징 영역 화소인 화소들 간에 최소 거리를 유지하도록 조정하는 동작
    을 더 포함하는 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  7. 제6항에 있어서, 상기 현재 프레임을 구성하는 화소들 중 특징 영역 화소인 화소들 간에 최소 거리를 유지하도록 조정하는 동작은,
    상기 현재 프레임을 구성하는 상기 화소들 중 제1 화소가 상기 특징 영역 화소로 결정되면, 상기 제1 화소로부터 상기 최소 거리 이상인 화소들에 대해서 상기 공간 주파수에 따라 상기 특징 영역 및 상기 균등 영역으로 분류하는
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  8. 제1항에 있어서,
    상기 현재 프레임을 N x M개의 블록으로 분할하는 동작; 및
    상기 N x M개의 블록 각각에 대해, 상기 블록 내에서 그라디언트 값이 가장 큰 화소로서, 상기 그라디언트 값이 기준값 이상인 화소를 특징 영역 화소로 결정하는 동작
    을 더 포함하는 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  9. 삭제
  10. 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 있어서,
    상기 저해상도 비디오의 현재 프레임을 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작; 및
    상기 특징 영역에 대해서 상기 저해상도 비디오의 복수 개의 프레임에 기초하여 고해상도 비디오를 생성하고, 상기 균등 영역에 대해서 보간을 이용하여 고해상도 비디오를 생성하는 동작
    을 포함하고,
    상기 저해상도 비디오의 현재 프레임을 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작은,
    상기 현재 프레임의 화소의 그라디언트 값이 기준값 이상이면 상기 화소를 상기 특징 영역으로 분류하고, 상기 현재 프레임의 상기 화소의 상기 그라디언트 값이 상기 기준값 미만이면 상기 화소를 상기 균등 영역으로 분류하는
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  11. 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 있어서,
    상기 저해상도 비디오의 현재 프레임을 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작; 및
    상기 특징 영역에 대해서 상기 저해상도 비디오의 복수 개의 프레임에 기초하여 고해상도 비디오를 생성하고, 상기 균등 영역에 대해서 보간을 이용하여 고해상도 비디오를 생성하는 동작
    을 포함하고,
    상기 저해상도 비디오의 현재 프레임을 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작은,
    상기 현재 프레임의 화소의 2차 미분 값이 기준값 이상이면 상기 화소를 상기 특징 영역으로 분류하고, 상기 현재 프레임의 상기 화소의 상기 2차 미분 값이 상기 기준값 미만이면 상기 화소를 상기 균등 영역으로 분류하는
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  12. 삭제
  13. 삭제
  14. 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 있어서,
    상기 저해상도 비디오의 i-1 번째 프레임의 특징 영역 화소를 화소 추적하여 상기 저해상도 비디오의 i 번째 프레임의 특징 영역 화소를 결정하는 동작;
    상기 i 번째 프레임의 상기 특징 영역 화소 및 상기 i 번째 프레임의 상기 특징 영역 화소에 대응하는 적어도 하나 이상의 이전 프레임의 특징 영역 화소를 정합하여 상기 i 번째 프레임에 대응하는 고해상도 비디오의 프레임의 화소들의 화소값을 결정하는 동작; 및
    상기 i 번째 프레임에 대응하는 상기 고해상도 비디오의 상기 프레임에서 화소값이 결정되지 않은 화소들에 대해 보간을 이용하여 화소값을 결정하는 동작
    을 포함하고,
    상기 i-1 번째 프레임의 상기 특징 영역 화소는 상기 저해상도 비디오의 i-2 번째 프레임의 특징 영역 화소로부터 화소 추적되었거나 공간 주파수가 상대적으로 높은 화소인 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  15. 삭제
  16. 제14항에 있어서, 상기 공간 주파수가 상대적으로 높은 화소는,
    상기 화소의 그라디언트 값이 기준값 이상인 화소인
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  17. 제14항에 있어서,
    상기 i-1 번째 프레임의 상기 특징 영역 화소 간에 최소 거리가 유지되는
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  18. 제14항에 있어서,
    상기 i-1 번째 프레임을 N x M개의 블록으로 분할하는 동작; 및
    상기 N x M개의 블록의 각각에 대해, 상기 블록 내에서 공간 주파수가 가장 큰 화소로서, 그라디언트 값이 기준값 이상인 화소를 상기 i-1 번째 프레임의 상기 특징 영역 화소로 결정하는 동작
    을 더 포함하는 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  19. 제18항에 있어서,
    상기 블록 내에서 상기 공간 주파수가 가장 큰 화소의 공간 주파수가 기준값보다 작으면, 상기 화소를 상기 특징 영역 화소에서 제외하는 동작
    을 더 포함하는 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  20. 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 있어서,
    상기 저해상도 비디오의 i-1 번째 프레임의 특징 영역 화소를 화소 추적하여 상기 저해상도 비디오의 i 번째 프레임의 특징 영역 화소를 결정하는 동작;
    상기 i 번째 프레임의 상기 특징 영역 화소 및 상기 i 번째 프레임의 상기 특징 영역 화소에 대응하는 적어도 하나 이상의 이전 프레임의 특징 영역 화소를 정합하여 상기 i 번째 프레임에 대응하는 고해상도 비디오의 프레임의 화소들의 화소값을 결정하는 동작; 및
    상기 i 번째 프레임에 대응하는 상기 고해상도 비디오의 상기 프레임에서 화소값이 결정되지 않은 화소들에 대해 보간을 이용하여 화소값을 결정하는 동작
    을 포함하고,
    상기 i-1 번째 프레임의 상기 특징 영역 화소의 화소값 및 위치를 저장하는 동작; 및
    상기 i-1 번째 프레임의 상기 특징 영역 화소의 인접 화소의 화소값 및 위치를 저장하는 동작
    을 더 포함하는 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  21. 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 있어서,
    상기 저해상도 비디오의 i-1 번째 프레임의 특징 영역 화소를 화소 추적하여 상기 저해상도 비디오의 i 번째 프레임의 특징 영역 화소를 결정하는 동작;
    상기 i 번째 프레임의 상기 특징 영역 화소 및 상기 i 번째 프레임의 상기 특징 영역 화소에 대응하는 적어도 하나 이상의 이전 프레임의 특징 영역 화소를 정합하여 상기 i 번째 프레임에 대응하는 고해상도 비디오의 프레임의 화소들의 화소값을 결정하는 동작; 및
    상기 i 번째 프레임에 대응하는 상기 고해상도 비디오의 상기 프레임에서 화소값이 결정되지 않은 화소들에 대해 보간을 이용하여 화소값을 결정하는 동작
    을 포함하고,
    상기 저해상도 비디오의 i-1 번째 프레임의 특징 영역 화소를 화소 추적하여 상기 저해상도 비디오의 i 번째 프레임의 특징 영역 화소를 결정하는 동작은,
    상기 i 번째 프레임의 부화소 단위까지 추적하는
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  22. 제14항에 있어서,
    상기 i 번째 프레임에 대응하는 고해상도 비디오의 프레임의 화소들의 화소값을 결정하는 동작은,
    상기 i 번째 프레임의 특징 영역 화소에 대응하는 적어도 하나 이상의 이전 프레임의 특징 영역 화소 중 상기 i 번째 프레임의 특징 영역 화소와 화소값의 차이가 기준값 이하인 상기 이전 프레임의 특징 영역 화소만 정합하는
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  23. 제22항에 있어서,
    상기 i 번째 프레임의 특징 영역 화소가 텍스쳐 영역 또는 에지 영역 중 어디에 속하는지에 따라 상기 기준값이 다른
    저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  24. 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법에 있어서,
    상기 저해상도 비디오의 현재 프레임을 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작; 및
    상기 특징 영역에 대해서 상기 저해상도 비디오의 복수 개의 프레임에 기초하여 고해상도 비디오를 생성하고, 상기 균등 영역에 대해서 현재 프레임에 기초하여 고해상도 비디오를 생성하는 동작
    을 포함하고,
    상기 저해상도 비디오의 현재 프레임을 공간 주파수에 따라 특징 영역 및 균등 영역으로 분류하는 동작은,
    상기 현재 프레임 중 상대적으로 상기 공간 주파수가 높은 영역을 상기 특징 영역으로, 상대적으로 상기 공간 주파수가 낮은 영역을 상기 균등 영역으로 분류하는 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법.
  25. 제1항 내지 제8항, 제10항 내지 제11항, 제14항, 제16항 내지 제24항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020090089503A 2009-09-22 2009-09-22 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 Active KR101634562B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090089503A KR101634562B1 (ko) 2009-09-22 2009-09-22 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
EP10177851.2A EP2299703B1 (en) 2009-09-22 2010-09-21 System and method for producing high definition video from low definition video
US12/923,439 US9179092B2 (en) 2009-09-22 2010-09-21 System and method producing high definition video from low definition video
JP2010211405A JP5777311B2 (ja) 2009-09-22 2010-09-21 低解像度ビデオから高解像度ビデオを生成する方法
CN201010290834.2A CN102025959B (zh) 2009-09-22 2010-09-21 从低清晰度视频产生高清晰度视频的系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090089503A KR101634562B1 (ko) 2009-09-22 2009-09-22 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법

Publications (2)

Publication Number Publication Date
KR20110032157A KR20110032157A (ko) 2011-03-30
KR101634562B1 true KR101634562B1 (ko) 2016-06-30

Family

ID=42940806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090089503A Active KR101634562B1 (ko) 2009-09-22 2009-09-22 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법

Country Status (5)

Country Link
US (1) US9179092B2 (ko)
EP (1) EP2299703B1 (ko)
JP (1) JP5777311B2 (ko)
KR (1) KR101634562B1 (ko)
CN (1) CN102025959B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108093A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 전자 장치 및 그 제어 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101538313B1 (ko) * 2012-12-21 2015-07-22 서울시립대학교 산학협력단 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치
CN103179424B (zh) * 2013-03-26 2015-03-11 深圳市掌网立体时代视讯技术有限公司 立体图像合成方法及装置
KR102211592B1 (ko) * 2014-03-19 2021-02-04 삼성전자주식회사 전자 장치 및 이의 영상 처리 방법
KR102091141B1 (ko) * 2015-01-14 2020-04-14 삼성전자주식회사 주파수 적응적 디스크리닝 방법 및 이를 수행하기 위한 장치
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
US10551913B2 (en) 2015-03-21 2020-02-04 Mine One Gmbh Virtual 3D methods, systems and software
US12322071B2 (en) 2015-03-21 2025-06-03 Mine One Gmbh Temporal de-noising
US12169944B2 (en) 2015-03-21 2024-12-17 Mine One Gmbh Image reconstruction for virtual 3D
US11501406B2 (en) 2015-03-21 2022-11-15 Mine One Gmbh Disparity cache
US10142613B2 (en) * 2015-09-03 2018-11-27 Kabushiki Kaisha Toshiba Image processing apparatus, image processing system, and image processing method
CN108370454B (zh) * 2015-12-03 2020-11-03 深圳市大疆创新科技有限公司 用于视频处理的系统和方法
US10964326B2 (en) * 2016-02-16 2021-03-30 Carnegie Mellon University, A Pennsylvania Non-Profit Corporation System and method for audio-visual speech recognition
EP3721378A4 (en) * 2017-12-05 2021-08-18 Mine One GmbH DISPARITY CACHE MEMORY
CN110896476B (zh) * 2018-09-13 2021-11-26 阿里巴巴（中国）有限公司 图像处理方法、装置及存储介质
CN110570877B (zh) * 2019-07-25 2022-03-22 咪咕文化科技有限公司 手语视频生成方法、电子设备及计算机可读存储介质
US11810492B2 (en) * 2021-12-15 2023-11-07 Htc Corporation Method for determining ambient light luminance, host, and computer readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128342A (ja) * 2005-11-04 2007-05-24 Seiko Epson Corp 画像判定装置、画像判定方法および画像判定プログラム
JP2007334625A (ja) * 2006-06-15 2007-12-27 Sony Corp 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
JP2009070123A (ja) * 2007-09-13 2009-04-02 Toshiba Corp 画像処理装置及びその方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6788347B1 (en) * 1997-03-12 2004-09-07 Matsushita Electric Industrial Co., Ltd. HDTV downconversion system
EP0901735A1 (en) * 1997-03-12 1999-03-17 Matsushita Electric Industrial Co., Ltd Hdtv downconversion system
JP2000149052A (ja) 1998-11-13 2000-05-30 Sega Enterp Ltd 画像処理装置及び記憶媒体
WO2004090812A1 (en) 2003-04-10 2004-10-21 Koninklijke Philips Electronics N.V. Spatial image conversion
CN1333327C (zh) * 2004-05-26 2007-08-22 凌阳科技股份有限公司 用以判断轨迹行为的最佳相关匹配方法及系统
JP2005354124A (ja) 2004-06-08 2005-12-22 Seiko Epson Corp 複数の低画素密度画像からの高画素密度画像の生成
JP3837575B2 (ja) 2004-10-29 2006-10-25 国立大学法人東京工業大学 超解像処理の高速化方法
JP2007193508A (ja) * 2006-01-18 2007-08-02 Sanyo Electric Co Ltd 画像処理装置及び画像処理プログラム
US7701509B2 (en) * 2006-04-25 2010-04-20 Nokia Corporation Motion compensated video spatial up-conversion
KR20070119879A (ko) 2006-06-16 2007-12-21 삼성전자주식회사 영상의 해상도 변환 방법 및 그 장치
WO2008091205A1 (en) 2007-01-26 2008-07-31 Telefonaktiebolaget Lm Ericsson (Publ) Image block classification
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
JP4886583B2 (ja) 2007-04-26 2012-02-29 株式会社東芝 画像拡大装置および方法
JP2008294950A (ja) 2007-05-28 2008-12-04 Sanyo Electric Co Ltd 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP4942563B2 (ja) 2007-06-22 2012-05-30 三洋電機株式会社 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP2009037460A (ja) 2007-08-02 2009-02-19 Sanyo Electric Co Ltd 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP2009100407A (ja) * 2007-10-19 2009-05-07 Toshiba Corp 画像処理装置及びその方法
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
JP5263753B2 (ja) 2007-11-19 2013-08-14 株式会社ザクティ 超解像処理装置及び方法並びに撮像装置
EP2081150A1 (en) 2008-01-18 2009-07-22 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method of improving the resolution of a moving object in a digital image sequence
EP2240903B1 (en) 2008-01-18 2018-11-14 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Method of improving the resolution of a moving object in a digital image sequence
JP2009181508A (ja) * 2008-01-31 2009-08-13 Sharp Corp 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
US8553783B2 (en) * 2008-12-29 2013-10-08 Stmicroelectronics Asia Pacific Pte Ltd. Apparatus and method of motion detection for temporal mosquito noise reduction in video sequences

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128342A (ja) * 2005-11-04 2007-05-24 Seiko Epson Corp 画像判定装置、画像判定方法および画像判定プログラム
JP2007334625A (ja) * 2006-06-15 2007-12-27 Sony Corp 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
JP2009070123A (ja) * 2007-09-13 2009-04-02 Toshiba Corp 画像処理装置及びその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108093A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
EP2299703B1 (en) 2019-01-23
KR20110032157A (ko) 2011-03-30
CN102025959B (zh) 2015-11-25
JP5777311B2 (ja) 2015-09-09
CN102025959A (zh) 2011-04-20
US9179092B2 (en) 2015-11-03
EP2299703A2 (en) 2011-03-23
US20110075025A1 (en) 2011-03-31
JP2011071986A (ja) 2011-04-07
EP2299703A3 (en) 2014-01-22

Similar Documents

Publication Publication Date Title
KR101634562B1 (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
US11562498B2 (en) Systems and methods for hybrid depth regularization
CN112926726B (zh) 卷积引擎、用于处理数据的方法和电子设备
Gallego et al. Accurate angular velocity estimation with an event camera
JP4074062B2 (ja) ベクトル画像シーケンスにおける意味対象物の追跡
CN110637297B (zh) 卷积引擎、数据处理方法和电子设备
CN101924874B (zh) 一种匹配块分级的实时电子稳像方法
CN117474959B (zh) 基于视频数据的目标对象运动轨迹处理方法及系统
KR20130102626A (ko) 글로벌 모션에 기초한 심도 추정
CN111539892A (zh) Bayer图像的处理方法、系统、电子设备和存储介质
EP2898473A1 (en) Systems and methods for reducing noise in video streams
EP2221763A1 (en) Image generation method, device, its program and recording medium stored with program
JP6830712B1 (ja) ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法
CN108765317A (zh) 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法
JP2012208553A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20170046140A (ko) 얼굴 이미지 편집 방법 및 디바이스
Zhao et al. Adaptively meshed video stabilization
US20100040304A1 (en) Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program
JP2019020839A (ja) 画像処理装置、画像処理方法、及びプログラム
CN115546027B (zh) 图像缝合线确定方法、装置以及存储介质
CN102779335B (zh) 数字图像处理装置及其处理方法
CN105701515A (zh) 一种基于双层流形约束的人脸超分辨率处理方法及系统
He et al. Enhancing RAW-to-sRGB with decoupled style structure in Fourier domain
Bouma et al. Precise local blur estimation based on the first-order derivative
CN107945119B (zh) 基于拜耳模式的图像内相关噪声估计方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20090922

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140605

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20090922

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150821

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160205

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160323

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160623

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160624

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190520

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200518

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210513

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240516

Start annual number: 9

End annual number: 9