[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101538313B1 - 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치 - Google Patents

블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치 Download PDF

Info

Publication number
KR101538313B1
KR101538313B1 KR1020120151269A KR20120151269A KR101538313B1 KR 101538313 B1 KR101538313 B1 KR 101538313B1 KR 1020120151269 A KR1020120151269 A KR 1020120151269A KR 20120151269 A KR20120151269 A KR 20120151269A KR 101538313 B1 KR101538313 B1 KR 101538313B1
Authority
KR
South Korea
Prior art keywords
image
matching
unit block
unit
images
Prior art date
Application number
KR1020120151269A
Other languages
English (en)
Other versions
KR20140081481A (ko
Inventor
김기철
송세현
박선호
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020120151269A priority Critical patent/KR101538313B1/ko
Publication of KR20140081481A publication Critical patent/KR20140081481A/ko
Application granted granted Critical
Publication of KR101538313B1 publication Critical patent/KR101538313B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명의 블록단위의 영상 정합을 이용한 초해상도 영상 복원 방법에 따르면, 블록화 초해상도 영상 복원 과정 중에 블록과 블록 사이에 영상 정보 왜곡 현상을 방지하기 위해 블록을 나눌 때 다른 블록의 외곽 영역과 일부 겹치도록 분할하여 영상 정합과정을 거친다. 영상 정합 과정에서도 복원 영상의 영역보다 큰 영역에서 위치를 비교하는 방식으로 정합과정을 수행하여 영상 정합의 정확성을 높일 수 있다.

Description

블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치 {Block based image Registration for Super Resolution Image Reconstruction Method and Apparatus}
본 발명은 초해상도 영상 정합 방법 및 장치에 관한 것으로서, 구체적으로는 블록화된 영상과 다수의 비교영상을 참고로 하여, 쌍입방 보간법을 이용한 영상 정합 방법 및 장치에 관한 것이다.
'본 연구는 지식경제부 및 IDEC 플랫폼 센터의 지원으로 수행하였음.'
'This work was supported by Ministry if Knowledge Economy(MKE) and IDEC Platform center(IPC).'
저해상도 영상을 처리하여 고해상도, 고품질의 영상을 얻고자 하는 영상 처리 기술은 꾸준히 제안되어 왔다. 이러한 기술들의 배경 기술로서, 다음의 선행 문헌들을 발견할 수 있다.
[1] 1991년 CVGIP: Graphical Models and Image Proc. 53권 231 - 239면, 엠.이라니(M. Irani) 및 에스. 펠렉(S.Peleg) 저, "영상 정합에 의한 해상도의 향상(Improving Resolution by Image Registration)",
[2] 1984년 코네티컷 그린위치 소재, 자이 프레스사(Jai Press) 발행, Advances in Computer and Image Processing, 제1권 {티. 에스. 후앙(T. S. Huang) 편집}, 317면 - 339면, 알. 와이. 차이(R. Y. Tsai) 및 티. 에스. 후앙(T. S. Huang) 저, "다중 프레임 영상의 복원 및 정합 (Multiframe Image Restoration and Registration)"
[3] 1994년 NASA Technical Report FIA-94-12, 피. 치즈만(P. Cheeseman), 비.카네스프키(B. Kanesfky), 알. 크루프트(R. Kruft), 제이. 스투쯔(J. Stutz) 및 알. 핸슨(R. Hanson) 저 "다중 영상으로부터의 초분해 표면 재구성(Super-Resolved Surface Reconstruction from Multiple Images)"
[4] 1992년 캘리포니아 샌프란시스코에서 개최된 음향, 음성 및 신호 처리에 대한 IEEE 국제 회의(IEEE International Conference on Acoustics, Speech, and Signal Processing), Ⅲ권, 169 - 172면, A. M. Tekalp, M. K. Ozakan 및 M. I. Sezan 저, "저해상도 영상 시퀀스 및 공간 변화 영상 복구를 위한 고해상도 영상 재구성 (High-Resolution Image Reconstruction for Lower-Resolution Image Sequences and Space-Varying Image Restoration)"
[5] 애디슨-웨슬리사(Addison-Wesley) 발행, 알. 씨. 곤잘레즈(R. C. Gonzalez) 및 알. 이. 우드 (R. E. Wood) 저, "디지털 영상 처리 (Digital Image Processing)"
[6] 2001년, 뉴욕 소재, 윌리사(Wiley) 발행, 더블유. 케이. 프라트(W. K. Pratt) 저, "디지털 영상 처리 (Digital Image Processing)" 제2판
[7] 미국 특허 제6,330,344호
[8] 미국 특허 제5,969,848호
영상 촬영 장치의 제조 기술이 발전함에 따라 촬영된 영상의 해상도는 날로 높아지고 있지만, 여전히 환경적 제약, 비용 등의 문제로 인하여 때로는 낮은 해상도의 영상만을 얻을 수 밖에 없는 경우가 존재한다. 인간의 눈으로 보이는 화질 및 해상도를 향상시키기 위해서는 2 이상의 입력 영상이 필요하다. 영상 시퀀스를 이용하여, 나쁜 화질의 흐릿한 장면(blurring scene), 희미한 그림(dim figure) 또는 뚜렷하지 않은 피사체를 해상도가 향상된 출력 영상으로 재구성할 수 있고, 그러면 쉽게 관찰되고 인식될 수 있다. 저해상도의 영상을 이용하여 해상도 향상 영상을 재구성하는 것에 관한 종래의 연구는 주로 [1] 반복법(iterative methods), [2] 주파수 도메인법(frequency domain methods) 및 [3] 베이지안 통계 분석법(Bayesian statistical method)으로 구분된다. 지금까지는 전술한 방법들 중, [1] 1991년 이라니(Irani)에 의해 개발되어 주로 영상 등록(image registration)에 의하여 해상도 향상 영상을 재구성하는 반복 알고리즘이 해상도 향상 영상의 재구성에 관한 종래 기술 중 여전히 가장 신뢰성이 있다. 반복법은 주로 3가지 단계, 즉 초기 추정(initial guess), 촬상 공정(imaging process) 및 재구성 공정(reconstruction)으로 이루어진다.
그러나, 상기 반복법은 이 반복법에서 미리 결정되는 증폭 인자(magnification factor)가 커질수록, 즉 재구성된 영상의 크기가 커질수록 더 많은 계산 시간을 소비하게 된다는 것이 알려져 있다. 전형적으로, 반복법에 의한 영상 재구성의 런타임(runtime)은 수 시간 정도로서 컴퓨터 시스템의 성능에 좌우된다
이러한 문제점을 해결하고자 제시된 선행기술 중의 하나가 한국등록특허 제10-0570630호 "복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을 생성하는 방법"에 제안되었다. 이 방법은 이라니의 반복법을 기초로 하고 적절한 초기 보간, 자동 영상 선택 및 로버스트 영상 정합 등의 기법을 개량된 해상도 향상 알고리즘 등을 이용하여 영상을 보간 및 재구성하였다.
그러나 상기 선행기술에 의하더라도 주어지는 화면의 데이터 양이 증가하면 할수록 계산량이 증가하는 문제는 여전히 존재하며, 또한 입력으로 활용하는 저해상도 영상의 개수가 증가하는 경우에 대응할 수 있는 해결책으로는 부족한 면이 있다.
따라서 저해상도 영상의 개수가 증가하는 경우에도 계산량을 감소시키면서 효과적으로 대응할 수 있는 초해상도 영상 복원 기술의 필요성이 대두되었다
한국등록특허 제10-0570630호 (등록일 2006.04.06) 한국등록특허 제10-1200490호 (등록일 2012.11.06)
[1] S. C. Park, M. K. Park, and M. G. Kang, "Super-resolution image reconstruction: A technical overview," IEEE Signal Process. Mag., vol. 20, pp. 21. 2003. [2] Moshe, B. E. Assaf, Z. and Shree, K. N. "Video Super-Resolution Using Controlled Subpixel Detector Shifts" IEEE Transactions on Pattern analysis and Machine intelligence vol. 27, pp.1-2, June 2005 [3] Hiroyuki, T. Peyman, M. Matin, P. and Micheal, E., "Super-Resolution Without Explicit Subpixel Motiion Estimation" IEEE Transactions on Image Processing vol.18, pp.1, September 2009
본 발명은 상기와 같은 문제점을 해결하고자 도출된 것으로서, 기준영상의 블록 단위 영역 분할을 이용해 2개 이상의 참조영상과 정합을 수행하고 정합 결과를 이용하여 고해상도 영상으로 복원을 목적으로 한다.
구체적으로, 본 발명은 별도의 키프레임 없이 영상을 블록단위로 영역을 분할하여 개별적으로 영상정합 과정을 수행함을 목적으로 한다.
또한, 본 발명은 블록단위 처리의 초해상도 영상 복원의 정합과정에서 움직임 벡터 연산의 정확도를 높여주며 복원 시 향상된 고해상도 영상을 얻는 것을 목적으로 한다.
또한, 본 발명은 정합과정을 위한 움직임 벡터 계산 시, 블록단위보다 넓은 영역에 대해 비교 연산을 수행하여 블록화 현상을 제거하고, 블록 연산 횟수 조절만으로 다양한 사이즈의 저해상도 영상을 처리를 가능하게 하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 초해상도 영상 복원 방법은, 복수 개의 입력 영상들 중 적어도 하나 이상의 입력 영상을 복수 개의 단위 블록들로 분할하여 단위 블록 영상을 생성하는 단계; 상기 단위 블록 영상을 이용하여 영상 정합을 수행하고, 정합된 단위 블록 영상을 생성하는 단계; 및 상기 정합된 단위 블록 영상을 합성하여 초해상도 복원 영상을 생성하는 단계를 포함한다.
이때, 상기 정합된 단위 블록 영상을 생성하는 단계는, 상기 단위 블록 영상 각각을 포함하며 상기 단위 블록 영상 각각보다 많은 픽셀을 포함하는 정합 기준 영상을 생성하는 단계; 를 포함할 수 있고, 상기 정합 기준 영상을 이용하여 상기 정합된 단위 블록 영상을 생성할 수 있다.
또한, 상기 정합된 단위 블록 영상을 생성하는 단계는, 상기 정합 기준 영상을 이용하여 수행된 영상 정합 과정 후 결과 영상으로부터 상기 단위 블록의 크기에 맞춘 상기 정합된 단위 블록 영상을 생성할 수 있다.
본 발명의 일 실시 예에 따른 초해상도 영상 복원 장치는 복수 개의 입력 영상들 중 적어도 하나 이상의 입력 영상을 복수 개의 단위 블록들로 분할하여 상기 단위 블록 영상을 생성하는 분할부; 상기 단위 블록 영상을 이용하여 영상 정합을 수행하는 정합부; 상기 단위 블록 영상의 영상 정합 결과를 이용하여 상기 정합된 단위 블록 영상을 생성하는 정합 단위블록 생성부; 및 상기 정합된 단위 블록 영상을 합성하여 초해상도 복원 영상을 생성하는 초해상도 합성부를 포함한다.
본 발명의 블록단위의 영상 정합을 이용한 초해상도 영상 복원 방법에 따르면, 블록화 초해상도 영상 복원 과정 중에 블록과 블록 사이에 영상 정보 왜곡 현상을 방지하기 위해 블록을 나눌 때 다른 블록의 외곽 영역과 일부 겹치도록 분할하여 영상 정합과정을 거친다. 영상 정합 과정에서도 복원 영상의 영역보다 큰 영역에서 위치를 비교하는 방식으로 정합과정을 수행하여 영상 정합의 정확성을 높일 수 있다.
또한, 블록단위 처리를 함으로서, 초해상도 영상 복원의 정합과정에서 움직임 벡터 연산의 정확도를 높여주며 복원 시 향상된 고해상도 영상을 얻을 수 있다.
또한, 정합과정을 위한 움직임 벡터 계산 시, 블록단위보다 넓은 영역에 대해 비교 연산을 수행하여 블록화 현상을 제거할 수 있고, 블록 연산 횟수 조절만으로 다양한 사이즈의 저해상도 영상을 처리할 수 있다.
또한, 초해상도 영상 복원 기술은 스마트 TV 및 다양한 어플리케이션에서 본 발명을 이용할 경우 향상된 성능을 나타낼 수 있으며, 이를 활용할 경우 다양한 어플리케이션 응용이 가능하다.
또한, 상기 초해상도 복원 영상을 생성하는 단계는, 상기 정합된 단위 블록 영상에 쌍입방 보간법을 적용하여 상기 초해상도 복원 영상을 생성한다.
도 1은 본 발명의 일 실시 예에 따른 블록단위 영상정합 초해상도 영상을 복원하는 방법을 도시한 동작 흐름도이다.
도 2는 도 1의 일 단계인 블록영상을 이용한 영상 정합 과정의 일 실시예를 상세히 도시한 동작 흐름도이다.
도 3은 본 발명의 다른 실시 예에 따른 단위블록 영상정합 및 쌍입방 보간법을 이용한 초해상도 영상을 복원하는 방법을 도시한 동작 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 블록단위 영상정합 초해상도 영상복원 장치의 개념적인 구성을 도시한 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 분할된 단위블록 및 정합 기준 영상을 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 따른 분할블록의 정합 및 초해상도 복원 과정을 개념적으로 나타낸 일 실시 예를 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 서브 픽셀 영상 정합 과정의 일 실시 예를 나타내는 도면이다.
도 8은 단위블록 영상을 정합하여 초해상도 영상으로 나타낸 일 실시 예를 나타내는 도면이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시 예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
그러나, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
이하에서는, 본 발명의 일 실시 예에 따른 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치를 첨부된 도 1 내지 도 8를 참조하여 상세히 설명한다
도 1은 본 발명의 일 실시 예에 따른 블록단위 영상정합 초해상도 영상을 복원하는 과정을 도시한 도면이다.
도 1을 참조하면 입력영상을 복수개의 단위블록들로 분할한다(S110).
실시예에 따라서는 입력 영상들 각각을 단위 블록으로 나누어 영상 정합 및 초해상도 복원 과정을 수행할 수도 있고, 다른 실시예에 따라서는 입력 영상들 중 어느 하나가 주 기준영상(main reference image)이고, 나머지 입력 영상들은 정합 과정에서 사용되는 부 기준 영상(sub reference image)이 되어 주 기준 영상만 단위 블록으로 분할하고, 부 기준 영상들은 전체를 다 영상 정합 (또는 유사도 탐색)에 이용하는 실시 예도 가능하다.
상기 단위 블록 영상을 이용하여 영상 정합을 수행하고(S120), 정합된 단위 블록 영상을 생성한다(S130).
영상 정합으로 정합된 단위블록 영상을 통해 정합된 단위블록 영상을 합성하여 초해상도 영상을 복원한다(S140)
도 2는 본 발명의 일 실시 예에 따른 블록영상을 이용한 영상 정합 과정을 도시한 도면이다.
블록영상의 블록은 기준영상의 분할된 영역(단위 블록)보다 큰 크기를 가지게 하여 정합 기준 영상들끼리는 일부 영역이 겹치도록 한다(S210). 그 이유는 이미지의 영역을 벗어나는 부분은 미러 패딩(Mirror padding)을 통해 이미지 정보를 보완하기 위함이다. 미러 패딩은 이미지 범위를 벗어나는 영역을 이미지 최외곽 부분을 대칭으로 값을 보완하는 방법이다.
상기 과정을 거쳐, 정합기준 영상을 이용한 영상 정합 과정의 결과 영상으로부터 정합된 단위블록 영상을 생성한다(S220). 이를 통해 정합된 단위블록 영상의 정합을 수행하고, 정합된 단위 블록 영상을 생성하게 된다.
다시 도 1 및 도 2를 참조하면, 단계(S120)에서 본 발명의 일 실시예에 따라서는 영상 정합을 위하여 단위 블록보다 큰 크기의 영역을 정합 기준 영상으로 생성할 수도 있다. 예를 들어, 전체 영상을 균등하게 분할한 단위 블록이 16 x 16 픽셀인 경우, 정합 기준 영상은 단위 블록을 포함하되, 단위 블록보다 큰 20 x 20 픽셀로 구성될 수 있다.
이 때, 20 x 20 픽셀의 정합 기준 영상을 이용하여 영상 간의 유사도를 탐색하거나 특징점(feature point)을 기준으로 한 correlation 등을 계산하여, 픽셀 단위의 영상 정합이 이루어질 수 있다. 정합 기준 영상을 이용한 영상 정합 과정의 결과 영상으로부터 16 x 16 픽셀을 잘라내어 정합된 단위 블록 영상을 생성한다(S220).
도 3은 본 발명의 일 실시 예에 따른 단위블록 영상정합 및 쌍입방 보간법을 이용한 초해상도 영상을 복원하는 과정을 도시한 도면이다.
우선 입력영상을 복수개의 단위블록들로 분할한다(S310). 이때 각 입력 영상들은 대등한 조건으로 정합에 이용될 수 있다.
블록영상의 블록은 기준영상의 분할된 영역(단위 블록)보다 큰 크기를 가지게 하여 정합 기준 영상들끼리는 일부 영역이 겹칠 수 있는 크기의 정합 기준 영상을 생성 한다(S320).
블록화된 주 기준영상과 상기 부 기준 영상의 같은 위치에 놓인 픽셀들 간의 정수픽셀단위 모션벡터를 추출한다(S330).
쌍입방 보간법을 이용하여 주 기준영상을 8배 확장하고 상기 부 기준영상의 픽셀을 8픽셀 간격으로 두어, 서브픽셀 모션벡터를 구하고 1/8픽셀 단위로 가장 유사성이 높은 위치를 일치시킨다(S340). 이를 통해 가장 유사성이 높은 위치에 놓인 픽셀들 간의 서브픽셀단위 모션벡터를 얻어 상술한 정수픽셀 모션벡터와 합성한다(S350).
상술한 정수픽셀단위 모션벡터 또는, 서브픽셀단위 모션벡터를 얻는 과정에서, 각 단위 블록마다 주 기준 영상과 부 기준 영상의 같은 위치에 놓인 픽셀들 간의 편차를 구한다. 이 픽셀들의 편차들을 모두 더한 값을 SAD(Sum of Absolute Difference)라고 한다. SAD가 작은 것은 영역 안의 이미지정보의 차이가 적다는 것을 의미한다. 그만큼 이미지의 유사성이 높다는 것이다. 부 기준 영상의 위치를 정수픽셀 단위 또는, 예를 들면 1/8픽셀 단위로 이동해가며 최적의 정수픽셀단위의 SAD 또는 서브픽셀단위의 SAD를 구한다. 주 기준 영상의 범위를 넘어가는 영역의 영상 정보는 상술한 미러패딩 이미지 정보로 대체하여 수행한다.
모든 위치에 대한 SAD를 연산을 수행하기에는 연산 시간이 오래 소모된다. 그러므로, 연산 시간을 줄이기 위해 부 기준영상의 위치를 상하좌우 ±2픽셀 이내에서 이동시키며 SAD 연산을 수행할 수도 있다.
위 과정을 거쳐 분할된 블록을 연결하고, 상기 정수픽셀 모션벡터와 상기 서브픽셀 모션벡터를 정합하여 초해상도 영상을 복원한다(S360).
도 4는 본 발명의 일 실시 예에 따른 블록단위 영상정합 초해상도 영상복원 장치의 구성에 관한 도면 이다.
블록단위 영상정합 초해상도 영상복원 장치(400)은 기준영상 영역을 분할하고 분할된 영역 각각을 블록화 하여 단위 블록영상을 생성하는 분할부(410)를 포함하고, 단위 블록 영상 각각을 포함하며 상기 단위 블록 영상 각각보다 많은 픽셀을 포함하는 정합 기준 영상을 생성하는 정합부(420) 및 정합 기준 영상을 이용하여 영상 정합을 수행하고, 상기 영상 정합 과정 후 상기 정합 기준 영상으로부터 상기 단위 블록의 크기에 맞춘 상기 정합된 단위블록 영상을 생성하는 정합 단위블록 생성부(430)를 포함하고, 정합한 단위블록 영상을 이용해 초해상도 영상을 복원하는 초해상도 합성부(440)을 포함한다.
도 5는 본 발명의 일 실시 예에 따른 분할된 단위블록 및 정합 기준 영상을 나타낸 도면이다.
분할된 단위블록(510)은 주 기준 영상을 분할하여 동일한 크기의 블록(511)을 갖는다. 정합 기준 영상(520)은 블록영상의 블록은 기준영상의 분할된 영역(단위 블록)보다 큰 크기를 가지게 하는 블록(521)으로 정합 기준 영상들끼리는 일부 영역이 겹치도록 하여 정합 기준 영상을 생성한다
도 6은 본 발명의 일 실시 예에 따른 분할블록의 정합과정을 나타낸 일 실시 예를 나타내는 도면이다.
분할된 단위블록(610)을 정합기준 영상(620)의 한 블록(621)을 포함한 정합과정을 거쳐 최적의 SAD를 구해 초해상도 영상 복원을 한 결과(630)을 나타낸 예 이다.
도 7은 본 발명의 일 실시 예에 따른 서브 픽셀 영상 정합 과정의 일 실시 예를 나타내는 도면이다.
주 기준영상 픽셀(710)과 부 기준영상 픽셀(720)을 비교하는 과정을 나타낸 도면으로 부 기준영상의 위치를 예를 들어 상하좌우 ±2픽셀 이내에서 이동시키며 SAD 연산을 수행하는 과정을 나타내고 쌍입방 보간법을 이용해 주 기준영상에서 보간된 픽셀(730)이 보간된 예를 나타낸 도면이다.
도 8은 단위블록 영상을 정합하여 초해상도 영상으로 나타낸 일 실시 예를 나타내는 도면이다.
블록화된 저해상도 영상을 정합하여 정합기준 영상으로 정합 하는 과정을 거쳐, 각 블록당 최적의 SAD를 구해 최종적으로 재구성된 초해상도 영상복원을 한 결과를 나타낸 도면이다.

Claims (8)

  1. 복수 개의 입력 영상들 중 적어도 하나 이상의 입력 영상을 복수 개의 단위 블록들로 분할하여 단위 블록 영상을 생성하는 단계;
    상기 단위 블록 영상을 이용하여 영상 정합을 수행하고, 정합된 단위 블록 영상을 생성하는 단계; 및
    상기 정합된 단위 블록 영상을 합성하여 초해상도 복원 영상을 생성하는 단계;를 포함하고,
    상기 정합된 단위 블록 영상을 생성하는 단계는,
    상기 단위 블록 영상 각각을 포함하며 상기 단위 블록 영상 각각보다 많은 픽셀을 포함하는 정합 기준 영상을 생성하고, 상기 정합 기준 영상을 이용하여 상기 영상 정합을 수행하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  2. 제1항에 있어서,
    상기 정합된 단위 블록 영상을 생성하는 단계는,
    상기 단위 블록 영상 각각을 포함하며 상기 단위 블록 영상 각각보다 많은 픽셀을 포함하는 정합 기준 영상을 생성하는 단계;
    를 포함하고,
    상기 정합 기준 영상을 이용하여 상기 정합된 단위 블록 영상을 생성하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  3. 제2항에 있어서,
    상기 정합된 단위 블록 영상을 생성하는 단계는,
    상기 정합 기준 영상을 이용하여 영상 정합을 수행하고, 상기 영상 정합 과정 후 상기 영상 정합의 결과 영상으로부터 상기 단위 블록의 크기에 맞춘 상기 정합된 단위 블록 영상을 생성하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  4. 제1항에 있어서,
    상기 초해상도 복원 영상을 생성하는 단계는
    상기 정합된 단위 블록 영상에 쌍입방 보간법을 적용하여 상기 초해상도 복원 영상을 생성하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  5. 복수 개의 입력 영상들 중 적어도 하나 이상의 입력 영상을 복수 개의 단위 블록들로 분할하여 단위 블록 영상을 생성하는 분할부;
    상기 단위 블록 영상을 이용하여 영상 정합을 수행하는 정합부;
    상기 단위 블록 영상의 영상 정합 결과를 이용하여 정합된 단위 블록 영상을 생성하는 정합 단위블록 생성부; 및
    상기 정합된 단위 블록 영상을 합성하여 초해상도 복원 영상을 생성하는 초해상도 합성부;를 포함하고,
    상기 정합부는,
    상기 단위 블록 영상 각각을 포함하며 상기 단위 블록 영상 각각보다 많은 픽셀을 포함하는 정합 기준 영상을 생성하고, 상기 정합 기준 영상을 이용하여 상기 영상 정합을 수행하는 것을 특징으로 하는 초해상도 영상 복원 장치.
  6. 삭제
  7. 제5항에 있어서,
    상기 정합 단위블록 생성부는,
    상기 정합 기준 영상을 이용하여 수행된 상기 영상 정합의 결과 영상으로부터 상기 단위 블록의 크기에 맞춘 상기 정합된 단위 블록 영상을 생성하는 것을 특징으로 하는 초해상도 영상 복원 장치.
  8. 제5항에 있어서,
    상기 초해상도 합성부는,
    상기 정합된 단위 블록 영상에 쌍입방 보간법을 적용하여 상기 초해상도 복원 영상을 생성하는 것을 특징으로 하는 초해상도 영상 복원 장치.
KR1020120151269A 2012-12-21 2012-12-21 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치 KR101538313B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120151269A KR101538313B1 (ko) 2012-12-21 2012-12-21 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120151269A KR101538313B1 (ko) 2012-12-21 2012-12-21 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140081481A KR20140081481A (ko) 2014-07-01
KR101538313B1 true KR101538313B1 (ko) 2015-07-22

Family

ID=51732767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120151269A KR101538313B1 (ko) 2012-12-21 2012-12-21 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101538313B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513033A (zh) * 2015-12-07 2016-04-20 天津大学 一种非局部联合稀疏表示的超分辨率重建方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811882B2 (en) 2014-09-30 2017-11-07 Electronics And Telecommunications Research Institute Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering
CN104933678B (zh) * 2015-06-30 2018-04-10 西安理工大学 一种基于像素强度的图像超分辨率重建方法
JP2020524418A (ja) 2018-05-21 2020-08-13 ジーディーエフラボ カンパニー リミテッド Ａｉ映像学習プラットフォームベースのｖｏｄサービスシステム
CN110503618A (zh) * 2019-08-30 2019-11-26 维沃移动通信有限公司 图像处理方法及电子设备
WO2021092797A1 (zh) * 2019-11-13 2021-05-20 Oppo广东移动通信有限公司 图像的配准方法、终端以及计算机存储介质
CN115578255B (zh) * 2022-09-22 2024-06-21 北京航空航天大学 一种基于帧间亚像素块匹配的超分辨率重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076984A (ja) * 2007-09-18 2009-04-09 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
KR20100139030A (ko) * 2008-03-17 2010-12-31 에이티아이 테크놀로지스 유엘씨 이미지들의 수퍼 해상도를 위한 방법 및 장치
KR20110032157A (ko) * 2009-09-22 2011-03-30 삼성전자주식회사 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
KR101285810B1 (ko) * 2011-12-29 2013-07-12 광운대학교 산학협력단 6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076984A (ja) * 2007-09-18 2009-04-09 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
KR20100139030A (ko) * 2008-03-17 2010-12-31 에이티아이 테크놀로지스 유엘씨 이미지들의 수퍼 해상도를 위한 방법 및 장치
KR20110032157A (ko) * 2009-09-22 2011-03-30 삼성전자주식회사 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
KR101285810B1 (ko) * 2011-12-29 2013-07-12 광운대학교 산학협력단 6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513033A (zh) * 2015-12-07 2016-04-20 天津大学 一种非局部联合稀疏表示的超分辨率重建方法

Also Published As

Publication number Publication date
KR20140081481A (ko) 2014-07-01

Similar Documents

Publication Publication Date Title
KR101538313B1 (ko) 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치
US9258518B2 (en) Method and apparatus for performing super-resolution
Nazeri et al. Edge-informed single image super-resolution
WO2011111819A1 (ja) 画像処理装置、画像処理プログラム、および、画像を生成する方法
JP6462372B2 (ja) 超解像装置及びプログラム
JP5566199B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
Wee et al. A novel fast fractal super resolution technique
Al Ismaeil et al. Dynamic super resolution of depth sequences with non-rigid motions
Salvador et al. Patch-based spatio-temporal super-resolution for video with non-rigid motion
Tanaka et al. A fast MAP-based super-resolution algorithm for general motion
Rohit et al. A robust face hallucination technique based on adaptive learning method
An et al. Improved image super-resolution by support vector regression
Lafenetre et al. Implementing handheld burst super-resolution
Patanavijit et al. An iterative super-resolution reconstruction of image sequences using a Bayesian approach with BTV prior and affine block-based registration
Al Ismaeil et al. Multi-frame super-resolution by enhanced shift & add
Deepak et al. Analysis of Single Image Super-Resolution Techniques: An Evolutionary Study
CN113379602A (zh) 利用零样本学习的光场超分辨率增强方法
Battiato et al. Analysis and characterization of super-resolution reconstruction methods
Sv et al. Detail warping based video super-resolution using image guides
de Jesus et al. Super-resolution in a nutshell
Iyanda et al. Uniqueness of iterative back projection in super resolution techniques
Zhu et al. Image super-resolution via low-pass filter based multi-scale image decomposition
Lokhande A matlab based GUI for multiframe super resolution reconstruction of different gray scale images with and without adaptive filter
Omer et al. Super-resolution based on region-matching motion estimation
JP2017220200A (ja) 超解像装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 4