[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101279576B1 - 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법 - Google Patents

디지털 영상 처리 장치에서의 파노라마 영상 생성 방법 Download PDF

Info

Publication number
KR101279576B1
KR101279576B1 KR1020110057978A KR20110057978A KR101279576B1 KR 101279576 B1 KR101279576 B1 KR 101279576B1 KR 1020110057978 A KR1020110057978 A KR 1020110057978A KR 20110057978 A KR20110057978 A KR 20110057978A KR 101279576 B1 KR101279576 B1 KR 101279576B1
Authority
KR
South Korea
Prior art keywords
image
area
representative
gray
green
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110057978A
Other languages
English (en)
Other versions
KR20120138477A (ko
Inventor
배순민
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020110057978A priority Critical patent/KR101279576B1/ko
Priority to US13/524,694 priority patent/US8798360B2/en
Priority to CN201210202661.3A priority patent/CN102903091B/zh
Publication of KR20120138477A publication Critical patent/KR20120138477A/ko
Application granted granted Critical
Publication of KR101279576B1 publication Critical patent/KR101279576B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

디지털 영상 처리 장치에서 적어도 제1 영상과 제2 영상이 연결되는 파노라마 영상을 생성하는 파노라마 영상 생성 방법이 개시된다. 본 발명의 실시예에 따른 파노라마 영상 생성 방법은 단계들 (a) 내지 (c)를 포함한다. 단계 (a)에서는, 제1 영상 위에 제2 영상이 겹쳐지는 영역인 제1 영상과 제2 영상의 정합 영역이 구해진다. 단계 (b)에서는, 제1 영상의 정합 영역에서의 대표 계조와 제2 영상의 정합 영역에서의 대표 계조가 같아지도록 제2 영상의 전체 영역의 계조들이 변경되되, 제2 영상의 전체 영역의 계조들 각각의 변화율이 변경 전의 계조에 반비례하도록 변경된다. 단계 (c)에서는, 제2 영상의 정합 영역의 각각의 화소의 계조가 제1 영상의 정합 영역의 대응 화소의 계조에 따라 변경되되, 제1 영상에 대한 제2 영상의 경계선에 가까운 제2 영상의 화소들의 계조들이 제1 영상의 대응 화소들의 계조들에 가까와지도록 변경된다.

Description

디지털 영상 처리 장치에서의 파노라마 영상 생성 방법{Method for generating panorama image within digital image processing apparatus}
본 발명은, 디지털 영상 처리 장치에서의 파노라마(panorama) 영상 생성 방법에관한 것으로서, 보다 상세하게는, 감시 카메라, 디지털 카메라, 폰 카메라, 및 카메라-영상 수신 장치와 같은 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법에 관한 것이다.
감시 카메라, 디지털 카메라, 폰 카메라, 및 카메라-영상 수신 장치와 같은 디지털 영상 처리 장치는 적어도 제1 영상과 제2 영상이 연결되는 파노라마(panorama) 영상을 생성할 수 있다.
이와 같이 적어도 제1 영상과 제2 영상을 연결하는 파노라마 영상 생성 방법에 있어서, 제1 영상 위에 제2 영상이 겹쳐지는 영역인 제1 영상과 제2 영상의 정합 영역(matching)에서의 계조 처리가 중요하다. 왜냐하면, 정합 영역(matching)에서 단순히 제2 영상의 계조들을 그대로 사용할 경우, 상기 제1 영상에 대한 상기 제2 영상의 경계선 주위가 두드러지게 보이기 때문이다.
따라서, 종래의 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법에 의하면 다음의 두 단계들이 수행된다.
먼저, 제1 영상 위에 제2 영상이 겹쳐지는 영역인 제1 영상과 제2 영상의 정합 영역(matching)을 구한다.
그리고, 제2 영상의 정합 영역의 각각의 화소의 계조를 제1 영상의 정합 영역의 대응 화소의 계조에 따라 변경시키되, 제1 영상에 대한 제2 영상의 경계선에 가까운 제2 영상의 화소들의 계조들이 제1 영상의 대응 화소들의 계조들에 가까와지도록 변경시킨다.
이에 따라, 제1 영상에 대한 제2 영상의 경계선 주위가 두드러지게 보이지 않는다.
하지만, 제1 영상과 제2 영상의 계조 차이가 클 경우, 제1 영상에 대한 제2 영상의 경계선 주위에서 얼룩들이 발생하는 것처럼 보이는 문제점이 남아 있다.
본 발명의 실시예는, 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법에 있어서, 제1 영상과 제2 영상의 계조 차이가 클 경우에 제1 영상에 대한 제2 영상의 경계선 주위에서 얼룩들이 발생하는 것처럼 보이는 문제점을 개선할 수 있는 파노라마 영상 생성 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 디지털 영상 처리 장치에서 적어도 제1 영상과 제2 영상이 연결되는 파노라마 영상을 생성하는 파노라마 영상 생성 방법에 있어서, 단계들 (a) 내지 (c)를 포함할 수 있다.
상기 단계 (a)에서는, 상기 제1 영상 위에 상기 제2 영상이 겹쳐지는 영역인 상기 제1 영상과 상기 제2 영상의 정합 영역이 구해진다.
상기 단계 (b)에서는, 상기 제1 영상의 정합 영역에서의 대표 계조와 상기 제2 영상의 정합 영역에서의 대표 계조가 같아지도록 상기 제2 영상의 전체 영역의 계조들이 변경되되, 상기 제2 영상의 전체 영역의 계조들 각각의 변화율이 변경 전의 계조에 반비례하도록 변경된다.
상기 단계 (c)에서는, 상기 제2 영상의 정합 영역의 각각의 화소의 계조가 상기 제1 영상의 정합 영역의 대응 화소의 계조에 따라 변경되되, 상기 제1 영상에 대한 상기 제2 영상의 경계선에 가까운 상기 제2 영상의 화소들의 계조들이 상기 제1 영상의 대응 화소들의 계조들에 가까와지도록 변경된다.
더 나아가, 상기 단계 (b)는 단계들 (b1) 내지 (b3)을 포함할 수 있다.
상기 단계 (b1)에서는, 상기 제1 영상의 정합 영역에서의 대표 적색(R) 계조와 상기 제2 영상의 정합 영역에서의 대표 적색(R) 계조가 같아지도록 상기 제2 영상의 전체 영역의 적색(R) 계조들이 변경되되, 상기 제2 영상의 전체 영역의 적색(R) 계조들 각각의 변화율이 변경 전의 적색(R) 계조에 반비례하도록 변경된다.
상기 단계 (b2)에서는, 상기 제1 영상의 정합 영역에서의 대표 녹색(G) 계조와 상기 제2 영상의 정합 영역에서의 대표 녹색(G) 계조가 같아지도록 상기 제2 영상의 전체 영역의 녹색(G) 계조들이 변경되되, 상기 제2 영상의 전체 영역의 녹색(G) 계조들 각각의 변화율이 변경 전의 녹색(G) 계조에 반비례하도록 변경된다.
상기 단계 (b3)에서는, 상기 제1 영상의 정합 영역에서의 대표 청색(B) 계조와 상기 제2 영상의 정합 영역에서의 대표 청색(B) 계조가 같아지도록 상기 제2 영상의 전체 영역의 청색(B) 계조들이 변경되되, 상기 제2 영상의 전체 영역의 청색(B) 계조들 각각의 변화율이 변경 전의 청색(B) 계조에 반비례하도록 변경된다.
더 나아가, 상기 단계 (b1)에서 상기 제1 영상의 정합 영역에서의 대표 적색(R) 계조와 상기 제2 영상의 정합 영역에서의 대표 적색(R) 계조를 설정함에 있어서, 단계들 (b1-1a) 내지 (b1-1d)가 수행될 수 있다.
상기 단계 (b1-1a)에서는, 상기 제1 영상의 정합 영역에서의 모든 적색(R) 계조들 각각에 대한 백분위(percentile)가 구해진다.
상기 단계 (b1-1b)에서는, 상기 제2 영상의 정합 영역에서의 모든 적색(R) 계조들 각각에 대한 백분위(percentile)가 구해진다.
상기 단계 (b1-1c)에서는, 상기 제1 영상의 정합 영역에서의 모든 적색(R) 계조들 중에서 설정 백분위(percentile)에 상응하는 적색(R) 계조가 상기 제1 영상의 정합 영역에서의 대표 적색(R) 계조로 설정된다.
상기 단계 (b1-1d)에서는, 상기 제2 영상의 정합 영역에서의 모든 적색(R) 계조들 중에서 상기 설정 백분위(percentile)에 상응하는 적색(R) 계조가 상기 제2 영상의 정합 영역에서의 대표 적색(R) 계조로 설정된다.
더 나아가, 상기 단계 (b1)에서 단계들 (b1-2a) 내지 (b1-2e)가 수행될 수 있다.
상기 단계 (b1-2a)에서는, 상기 제2 영상의 전체 영역의 적색(R) 계조들이 영(0) 내지 일(1)의 범위에 들도록 정규화된다.
상기 단계 (b1-2b)에서는, 상기 제1 영상의 정합 영역에서의 정규화된 대표 적색(R) 계조를 Rd(i-1), 상기 제2 영상의 정합 영역에서의 정규화된 대표 적색(R) 계조를 Rd(i)라 하면,
Figure 112011045244791-pat00001
의 수학식에 따라 적색(R) 감마 값
Figure 112011045244791-pat00002
이 구해진다.
상기 단계 (b1-2c)에서는, 구해진 적색(R) 감마 값
Figure 112011045244791-pat00003
을 승수로 하여 상기 제2 영상의 전체 영역의 정규화된 적색(R) 계조들 각각에
Figure 112011045244791-pat00004
제곱이 수행된다.
상기 단계 (b1-2d)에서는, 상기
Figure 112011045244791-pat00005
제곱의 결과 값들이 원래의 계조 범위에 속하도록 확대된다.
상기 단계 (b1-2e)에서는, 확대된 결과 값들이 상기 제2 영상의 전체 영역의 적색(R) 계조들로서 설정된다.
또한, 상기 단계 (b2)에서 상기 제1 영상의 정합 영역에서의 대표 녹색(G) 계조와 상기 제2 영상의 정합 영역에서의 대표 녹색(G) 계조를 설정함에 있어서, 단계들 (b2-1a) 내지 (b2-1d)가 수행될 수 있다.
상기 단계 (b2-1a)에서는, 상기 제1 영상의 정합 영역에서의 모든 녹색(G) 계조들 각각에 대한 백분위(percentile)가 구해진다.
상기 단계 (b2-1b)에서는, 상기 제2 영상의 정합 영역에서의 모든 녹색(G) 계조들 각각에 대한 백분위(percentile)가 구해진다.
상기 단계 (b2-1c)에서는, 상기 제1 영상의 정합 영역에서의 모든 녹색(G) 계조들 중에서 설정 백분위(percentile)에 상응하는 녹색(G) 계조가 상기 제1 영상의 정합 영역에서의 대표 녹색(G) 계조로 설정된다.
상기 단계 (b2-1d)에서는, 상기 제2 영상의 정합 영역에서의 모든 녹색(G) 계조들 중에서 상기 설정 백분위(percentile)에 상응하는 녹색(G) 계조가 상기 제2 영상의 정합 영역에서의 대표 녹색(G) 계조로 설정된다.
또한, 상기 단계 (b2)에서, (b2-2a) 내지 (b2-2e)가 수행될 수 있다.
상기 단계 (b2-2a)에서는, 상기 제2 영상의 전체 영역의 녹색(G) 계조들이 영(0) 내지 일(1)의 범위에 들도록 정규화된다.
상기 단계 (b2-2b)에서는, 상기 제1 영상의 정합 영역에서의 정규화된 대표 녹색(G) 계조를 Gd(i-1), 상기 제2 영상의 정합 영역에서의 정규화된 대표 녹색(G) 계조를 Gd(i)라 하면,
Figure 112011045244791-pat00006
의 수학식에 따라 녹색(G) 감마 값
Figure 112011045244791-pat00007
이 구해진다.
상기 단계 (b2-2c)에서는, 구해진 녹색(G) 감마 값
Figure 112011045244791-pat00008
를 승수로 하여 상기 제2 영상의 전체 영역의 정규화된 녹색(G) 계조들 각각에
Figure 112011045244791-pat00009
제곱이 수행된다.
상기 단계 (b2-2d)에서는, 상기
Figure 112011045244791-pat00010
제곱의 결과 값들이 원래의 계조 범위에 속하도록 확대된다.
상기 단계 (b2-2e)에서는, 확대된 결과 값들이 상기 제2 영상의 전체 영역의 녹색(G) 계조들로서 설정된다.
또한, 상기 단계 (b3)에서 상기 제1 영상의 정합 영역에서의 대표 청색(B) 계조와 상기 제2 영상의 정합 영역에서의 대표 청색(B) 계조를 설정함에 있어서, 단계들 (b3-1a) 내지 (b3-1d)가 수행될 수 있다.
상기 단계 (b3-1a)에서는, 상기 제1 영상의 정합 영역에서의 모든 청색(B) 계조들 각각에 대한 백분위(percentile)가 구해진다.
상기 단계 (b3-1b)에서는, 상기 제2 영상의 정합 영역에서의 모든 청색(B) 계조들 각각에 대한 백분위(percentile)가 구해진다.
상기 단계 (b3-1c)에서는, 상기 제1 영상의 정합 영역에서의 모든 청색(B) 계조들 중에서 설정 백분위(percentile)에 상응하는 청색(B) 계조가 상기 제1 영상의 정합 영역에서의 대표 청색(B) 계조로 설정된다.
상기 단계 (b3-1d)에서는, 상기 제2 영상의 정합 영역에서의 모든 청색(B) 계조들 중에서 상기 설정 백분위(percentile)에 상응하는 청색(B) 계조가 상기 제2 영상의 정합 영역에서의 대표 청색(B) 계조로 설정된다.
또한, 상기 단계 (b3)에서 단계들 (b3-2a) 내지 (b3-2e)가 수행될 수 있다.
상기 단계 (b3-2a)에서는, 상기 제2 영상의 전체 영역의 청색(B) 계조들이 영(0) 내지 일(1)의 범위에 들도록 정규화된다.
상기 단계 (b3-2b)에서는, 상기 제1 영상의 정합 영역에서의 정규화된 대표 청색(B) 계조를 Bd(i-1), 상기 제2 영상의 정합 영역에서의 정규화된 대표 청색(B) 계조를 Bd(i)라 하면,
Figure 112011045244791-pat00011
의 수학식에 따라 청색(B) 감마 값
Figure 112011045244791-pat00012
이 구해진다.
상기 단계 (b3-2c)에서는, 구해진 청색(B) 감마 값
Figure 112011045244791-pat00013
를 승수로 하여 상기 제2 영상의 전체 영역의 정규화된 청색(B) 계조들 각각에
Figure 112011045244791-pat00014
제곱이 수행된다.
상기 단계 (b3-2d)에서는, 상기
Figure 112011045244791-pat00015
제곱의 결과 값들이 원래의 계조 범위에 속하도록 확대된다.
그리고 상기 단계 (b3-2e)에서는, 확대된 결과 값들이 상기 제2 영상의 전체 영역의 청색(B) 계조들로서 설정된다.
본 발명의 실시예에 의하면, 상기 제1 영상의 정합 영역에서의 대표 계조와 상기 제2 영상의 정합 영역에서의 대표 계조가 같아지도록 상기 제2 영상의 전체 영역의 계조들이 변경된다. 따라서, 상기 제1 영상과 상기 제2 영상의 계조 차이가 클 경우에 상기 제1 영상에 대한 상기 제2 영상의 경계선 주위에서 얼룩들이 발생하는 것처럼 보이는 문제점이 개선될 수 있다.
여기에서, 상기 제2 영상의 전체 영역의 계조들 각각의 변화율이 변경 전의 계조에 반비례하도록 변경된다. 즉, 상기 제2 영상의 낮은 계조들이 상기 제1 영상의 낮은 계조들과 비슷해지도록 변하는 반면에, 상기 제2 영상의 높은 계조들이 상기 제1 영상의 높은 계조들에 약간 가까워지도록 변한다.
따라서, 낮은 계조의 차이에 민감한 시각 특성을 이용하여, 상기 제2 영상의 낮은 계조들만 상기 제1 영상의 낮은 계조들과 비슷해지도록 변하게 하므로, 상기 얼룩들이 발생하는 것처럼 보이는 문제점이 개선되는 한편, 상기 제2 영상의 계조 변화가 최소화될 수 있다(이상 단계 (b)에 의한 효과임).
한편, 이와 같이 변화된 상기 제2 영상의 정합 영역의 각각의 화소의 계조가 상기 제1 영상의 정합 영역의 대응 화소의 계조에 따라 변경되되, 상기 제1 영상에 대한 상기 제2 영상의 경계선에 가까운 상기 제2 영상의 화소들의 계조들이 상기 제1 영상의 대응 화소들의 계조들에 가까와지도록 변경된다.
이에 따라, 상기 제1 영상에 대한 상기 제2 영상의 경계선 주위가 두드러지게 보이지 않는다(이상 단계 (c)에 의한 효과임).
도 1은 본 발명의 일 실시예에 의하여 서로 연결될 제1 영상과 제2 영상을 보여주는 도면이다.
도 2는 도 1의 제1 영상과 제2 영상 각각의 정합 영역을 보여주는 도면이다.
도 3은 도 2의 제1 영상 위에 도 2의 제2 영상이 연결된 파노라마 영상을 보여주는 도면이다.
도 4는 본 발명의 일 실시예의 파노라마 영상 생성 방법을 보여주는 흐름도이다.
도 5는 도 4의 단계 (b)를 설명하기 위한 그래프이다.
도 6은, 도 4의 단계 (c)에서, 제2 영상의 정합 영역에서 화소들의 계조들을 변경시키기 위한 비율로서의 알파(α) 값 배치표를 보여주는 도면이다.
도 7은 도 4의 단계 (b)의 상세 알고리즘을 보여주는 흐름도이다.
도 8은 도 7의 단계 (b1)을 설명하기 위한 그래프이다.
도 9는 도 7의 단계 (b2)를 설명하기 위한 그래프이다.
도 10은 도 7의 단계 (b3)을 설명하기 위한 그래프이다.
도 11은 도 7의 단계 (b1)에서 제1 영상의 정합 영역에서의 대표 적색(R) 계조와 제2 영상의 정합 영역에서의 대표 적색(R) 계조를 설정하기 위한 상세 알고리즘을 보여주는 흐름도이다.
도 12는 도 11의 알고리즘을 설명하기 위한 도면이다.
도 13은 도 7의 단계 (b1)에서 도 11의 설정이 완료된 후에 수행되는 나머지 상세 알고리즘을 보여주는 흐름도이다.
도 14는 도 7의 단계 (b2)에서 제1 영상의 정합 영역에서의 대표 녹색(G) 계조와 제2 영상의 정합 영역에서의 대표 녹색(G) 계조를 설정하기 위한 상세 알고리즘을 보여주는 흐름도이다.
도 15는 도 7의 단계 (b2)에서 도 14의 설정이 완료된 후에 수행되는 나머지 상세 알고리즘을 보여주는 흐름도이다.
도 16은 도 7의 단계 (b3)에서 제1 영상의 정합 영역에서의 대표 청색(B) 계조와 제2 영상의 정합 영역에서의 대표 청색(B) 계조를 설정하기 위한 상세 알고리즘을 보여주는 흐름도이다.
도 17은 도 7의 단계 (b3)에서 도 16의 설정이 완료된 후에 수행되는 나머지 상세 알고리즘을 보여주는 흐름도이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예가 설명된다.
도 1은 본 발명의 일 실시예에 의하여 서로 연결될 제1 영상(11)과 제2 영상(12)을 보여준다.
도 1을 참조하면, 감시 카메라, 디지털 카메라, 폰 카메라, 및 카메라-영상 수신 장치와 같은 디지털 영상 처리 장치에서, 본 발명의 일 실시예의 파노라마 영상 생성 방법에 따라 제1 영상(11)과 제2 영상(12)이 연결된다. 제1 영상(11)과 제2 영상(12) 각각은 세로 방향으로 m 개의 화소들을, 그리고 가로 방향으로 n 개의 화소들을 가진다.
도 2는 도 1의 제1 영상(11)과 제2 영상(12) 각각의 정합(matching) 영역(11d, 12d)을 보여준다.
도 2를 참조하면, 제1 영상(11)은 주 영역(11a)과 정합 영역(11d)으로 구분된다. 이와 마찬가지로 제2 영상(11)도 주 영역(12a)과 정합 영역(12d)으로 구분된다. 여기에서, 정합 영역들(11d, 12d) 각각은 제1 영상(11) 위에 제2 영상(12)이 겹쳐지는 영역을 의미한다.
도 3은 도 2의 제1 영상(11) 위에 도 2의 제2 영상(12)이 연결된 파노라마 영상(31)을 보여준다.
도 2 및 3을 참조하면, 제1 영상(11)의 정합 영역(11d) 위에 제2 영상(12)의 정합 영역(12d)이 겹쳐짐에 있어서, 제2 영상(12)의 계조들이 본 발명의 일 실시예에 의하여 변경된다.
따라서, 본 발명의 일 실시예에 의하여 생성된 파노라마 영상(31)은 제1 영상(11)의 주 영역(11a), 제2 영상(12)의 계조-변경된 정합 영역(312) 및 제2 영상(12)의 계조-변경된 주 영역(313)으로 구분된다.
도 4는 본 발명의 일 실시예의 파노라마 영상 생성 방법을 보여준다.
도 5는 도 4의 단계 (b)를 설명하기 위한 그래프이다. 즉, 제1 영상(11)의 정합 영역(11d) 또는 제2 영상(12)의 정합 영역(12d)에서 각 계조의 백분위(percentile)를 보여주는 그래프이다. 본 실시예의 경우, 계조 범위는 0 내지 255 이지만, 연산 결과의 범위 이탈 방지를 위하여 계조들이 0 내지 1로 정규화되어 처리된 후에 복원된다. 도 5에서 참조 부호 51은 제1 영상(도 2의 11)의 정합 영역(도 2의 11d)에서의 계조 백분위를, 52old는 제2 영상(도 2의 12)의 정합 영역(도 2의 12d)에서의 원래의 계조 백분위를, 52new는 제2 영상(12)의 정합 영역(11d)에서의 변경된 계조 백분위를, Pset는 설정 백분위를, Sd(i-1)은 제1 영상(11)의 정합 영역(11d)에서의 대표 계조를, 그리고 Sdi는 제2 영상(12)의 정합 영역(12d)에서의 대표 계조를 각각 가리킨다. 본 실시예와 같은 영상 처리 방법에서는 백분율(percentage)보다 백분위(percentile)를 사용함으로써 보다 빠르게 적절한 대표 값을 얻을 수 있다.
도 6은, 도 4의 단계 (c)에서, 제2 영상(12)의 정합 영역(12d)에서 화소들의 계조들을 변경시키기 위한 비율로서의 알파(α) 값 배치표를 보여준다.
도 1 내지 3, 도 5 및 도 6에서 동일한 참조 부호는 동일한 기능의 대상을 가리킨다.
도 2 내지 6을 참조하여 도 4의 파노라마 영상 생성 방법을 설명하면 다음과 같다.
본 발명의 실시예에 따른 파노라마 영상 생성 방법은 단계들 (a) 내지 (c)를 포함한다.
단계 (a)에서는, 제1 영상(11) 위에 제2 영상(12)이 겹쳐지는 영역인 제1 영상(11)과 제2 영상(12)의 정합 영역(11d, 12d)이 구해진다. 파노라마 영상 생성을 위하여 정합 영역(11d, 12d)을 구하는 방법은 이미 잘 알려져 있다. 예를 들어, 공통 특징점들을 사용하여 정합 영역(11d, 12d)을 구할 수 있고, 미리 정밀하게 설정되어 있는 영역이 정합 영역(11d, 12d)으로서 구해질 수 있다. 따라서, 그 상세한 설명이 생략된다.
단계 (b)에서는, 제1 영상(11)의 정합 영역(11d)에서의 대표 계조(도 5의 Sd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 계조(도 5의 Sdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 계조들이 변경되되, 제2 영상(12)의 전체 영역(12d 및 12a)의 계조들 각각의 변화율이 변경 전의 계조에 반비례하도록 변경된다.
상기 단계 (b)에 있어서, 도 5에서는 제2 영상(12)의 정합 영역(11d)에서의 변경된 계조 백분위의 그래프(52new)만이 그려져 있고, 제2 영상(12)의 주 영역(12a)에서의 변경된 계조 백분위의 그래프가 생략되어 있다. 즉, 제1 영상(11)의 정합 영역(11d)에서의 대표 계조(Sd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 계조(Sdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 계조들이 변경된다. 물론, 제2 영상(12)의 정합 영역(11d)의 계조들만 변경된다면, 제2 영상(12)의 정합 영역(11d)과 제2 영상(12)의 주 영역(12a)이 서로 다른 밝기로 보여질 수 있다.
따라서, 상기와 같이 제2 영상(12)의 전체 영역(12d 및 12a)의 계조들이 변경되므로, 제1 영상(11)과 제2 영상(12)의 계조 차이가 클 경우에 제1 영상(11)에 대한 제2 영상(12)의 경계선(도 3의 31b) 주위에서 얼룩들이 발생하는 것처럼 보이는 문제점이 개선될 수 있다.
여기에서, 제2 영상(12)의 전체 영역(12d 및 12a)의 계조들 각각의 변화율이 변경 전의 계조에 반비례하도록 변경된다. 즉, 제2 영상(12)의 낮은 계조들이 제1 영상(11)의 낮은 계조들과 비슷해지도록 변하는 반면에, 제2 영상(12)의 높은 계조들이 제1 영상(11)의 높은 계조들에 약간 가까워지도록 변한다.
따라서, 낮은 계조의 차이에 민감한 시각 특성을 이용하여, 제2 영상(12)의 낮은 계조들만 제1 영상(11)의 낮은 계조들과 비슷해지도록 변하게 하므로, 얼룩들이 발생하는 것처럼 보이는 문제점이 개선되는 한편, 제2 영상(12)의 계조 변화가 최소화될 수 있다.
단계 (c)에서는, 제2 영상(12)의 정합 영역(12d)의 각각의 화소의 계조가 제1 영상(11)의 정합 영역(11d)의 대응 화소의 계조에 따라 변경되되, 제1 영상(11)에 대한 제2 영상(12)의 경계선(도 3의 31b)에 가까운 제2 영상(12)의 화소들의 계조들이 제1 영상(11)의 대응 화소들의 계조들에 가까와지도록 변경된다.
본 실시예의 단계 (c)에서 적용되는 도 6의 알파(α) 값은 아래의 수학식 1에 대입된다.
Figure 112011045244791-pat00016
상기 수학식 1에서, Ri3(x,y)는 제2 영상(12)의 정합 영역(12d)의 (x,y)번째 화소의 변경 후 계조를 가리킨다. Ri2(x,y)는 제2 영상(12)의 정합 영역(12d)의 (x,y)번째 화소의 변경 전 계조 즉, 단계 (b)의 수행 결과의 계조를 가리킨다. R(i-1)(f(x,y))는 제1 영상(12)의 정합 영역(11d)의 대응 화소의 계조를 가리킨다. 여기에서, f(x,y)는 제2 영상(12)의 정합 영역(12d)의 좌표에 대응하기 위하여 제1 영상(12)의 정합 영역(11d)의 좌표가 변환됨을 의미한다.
따라서, 도 6의 알파(α) 값을 상기 수학식 1에 대입하면, 도 6에서 경계선(31b)에 가장 가까운 열에 있는 제2 영상(12)의 화소들의 계조들은 제1 영상(11)의 대응 화소들의 계조들과 동일하게 변한다. 도 6에서 경계선(31b)에 두번째로 가까운 열에 있는 제2 영상(12)의 화소들의 계조들 각각은, 변경전 계조들 각각의 절반과 제1 영상(12)의 정합 영역(11d)의 대응 화소의 계조의 절반을 합친 값으로 변한다. 제2 영상(12)의 정합 영역(12d)에서 나머지 화소들의 계조들은 변경전 계조들과 동일하다.
따라서, 상기와 같은 단계 (c)의 수행에 의하면, 제1 영상(11)에 대한 제2 영상(12)의 경계선 주위(31b)가 두드러지게 보이지 않는다. 여기에서, 도 6의 알파(α) 값들은 일 예에 불과하다. 예를 들어, "0", "0.25", "0.5", "0.75" 및 "1"의 알파(α) 값들이 도 6처럼 적용될 수 있다.
상기와 같은 단계 (c)의 방법은 이미 알려져 있으므로, 더 이상의 설명이 생략된다. 본 실시예에서 가장 중요한 것은, 상기 단계 (b)가 삽입됨에 의하여 상기 추가적 효과들을 얻을 수 있다는 것이다. 따라서, 이하에서는 상기 단계 (b)에 대해서 상세히 설명된다.
도 7은 도 4의 단계 (b)의 상세 알고리즘을 보여준다.
도 8은 도 7의 단계 (b1)을 설명하기 위한 그래프이다. 즉, 제1 영상(11)의 정합 영역(11d) 또는 제2 영상(12)의 정합 영역(12d)에서 각 적색(R) 계조의 백분위(percentile)를 보여주는 그래프이다. 본 실시예의 경우, 계조 범위는 0 내지 255 이지만, 연산 결과의 범위 이탈 방지를 위하여 계조들이 0 내지 1로 정규화되어 처리된 후에 복원된다. 도 8에서 참조 부호 81은 제1 영상(도 2의 11)의 정합 영역(도 2의 11d)에서의 적색(R) 계조 백분위를, 82old는 제2 영상(도 2의 12)의 정합 영역(도 2의 12d)에서의 원래의 적색(R) 계조 백분위를, 82new는 제2 영상(12)의 정합 영역(11d)에서의 변경된 적색(R) 계조 백분위를, Pset(R)은 설정 백분위를, Rd(i-1)은 제1 영상(11)의 정합 영역(11d)에서의 대표 적색(R) 계조를, 그리고 Rdi는 제2 영상(12)의 정합 영역(12d)에서의 대표 적색(R) 계조를 각각 가리킨다.
도 9는 도 7의 단계 (b2)를 설명하기 위한 그래프이다. 즉, 제1 영상(11)의 정합 영역(11d) 또는 제2 영상(12)의 정합 영역(12d)에서 각 녹색(G) 계조의 백분위(percentile)를 보여주는 그래프이다. 도 9에서 참조 부호 91은 제1 영상(도 2의 11)의 정합 영역(도 2의 11d)에서의 녹색(G) 계조 백분위를, 92old는 제2 영상(도 2의 12)의 정합 영역(도 2의 12d)에서의 원래의 녹색(G) 계조 백분위를, 92new는 제2 영상(12)의 정합 영역(11d)에서의 변경된 녹색(G) 계조 백분위를, Pset(G)는 설정 백분위를, Gd(i-1)은 제1 영상(11)의 정합 영역(11d)에서의 대표 녹색(G) 계조를, 그리고 Gdi는 제2 영상(12)의 정합 영역(12d)에서의 대표 녹색(G) 계조를 각각 가리킨다.
도 10은 도 7의 단계 (b3)을 설명하기 위한 그래프이다. 즉, 제1 영상(11)의 정합 영역(11d) 또는 제2 영상(12)의 정합 영역(12d)에서 각 청색(B) 계조의 백분위(percentile)를 보여주는 그래프이다. 도 10에서 참조 부호 101은 제1 영상(도 2의 11)의 정합 영역(도 2의 11d)에서의 청색(B) 계조 백분위를, 102old는 제2 영상(도 2의 12)의 정합 영역(도 2의 12d)에서의 원래의 청색(B) 계조 백분위를, 102new는 제2 영상(12)의 정합 영역(11d)에서의 변경된 청색(B) 계조 백분위를, Pset(B)는 설정 백분위를, Bd(i-1)은 제1 영상(11)의 정합 영역(11d)에서의 대표 청색(B) 계조를, 그리고 Bdi는 제2 영상(12)의 정합 영역(12d)에서의 대표 청색(B) 계조를 각각 가리킨다.
도 7 내지 10을 참조하면, 도 4의 단계 (b)는 단계들 (b1) 내지 (b3)을 포함한다.
단계 (b1)에서는, 제1 영상(11)의 정합 영역(11d)에서의 대표 적색(R) 계조(도 8의 Rd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 적색(R) 계조(도 8의 Rdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 적색(R) 계조들이 변경되되, 제2 영상(12)의 전체 영역(12d 및 12a)의 적색(R) 계조들 각각의 변화율이 변경 전의 적색(R) 계조에 반비례하도록 변경된다.
상기 단계 (b1)에 있어서, 도 8에서는 제2 영상(12)의 정합 영역(11d)에서의 변경된 적색(R) 계조 백분위의 그래프(82new)만이 그려져 있고, 제2 영상(12)의 주 영역(12a)에서의 변경된 적색(R) 계조 백분위의 그래프가 생략되어 있다. 즉, 제1 영상(11)의 정합 영역(11d)에서의 대표 적색(R) 계조(Rd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 적색(R) 계조(Sdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 적색(R) 계조들이 변경된다.
단계 (b2)에서는, 제1 영상(11)의 정합 영역(11d)에서의 대표 녹색(G) 계조(도 9의 Gd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 녹색(G) 계조(도 9의 Gdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 녹색(G) 계조들이 변경되되, 제2 영상(12)의 전체 영역(12d 및 12a)의 녹색(G) 계조들 각각의 변화율이 변경 전의 녹색(G) 계조에 반비례하도록 변경된다.
상기 단계 (b2)에 있어서, 도 9에서는 제2 영상(12)의 정합 영역(11d)에서의 변경된 녹색(G) 계조 백분위의 그래프(92new)만이 그려져 있고, 제2 영상(12)의 주 영역(12a)에서의 변경된 녹색(G) 계조 백분위의 그래프가 생략되어 있다. 즉, 제1 영상(11)의 정합 영역(11d)에서의 대표 녹색(G) 계조(Gd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 녹색(G) 계조(Gdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 녹색(G) 계조들이 변경된다.
단계 (b3)에서는, 제1 영상(11)의 정합 영역(11d)에서의 대표 청색(B) 계조(도 10의 Bd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 청색(B) 계조(도 10의 Bdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 청색(B) 계조들이 변경되되, 제2 영상(12)의 전체 영역(12d 및 12a)의 녹색(G) 계조들 각각의 변화율이 변경 전의 녹색(G) 계조에 반비례하도록 변경된다.
상기 단계 (b3)에 있어서, 도 10에서는 제2 영상(12)의 정합 영역(11d)에서의 변경된 청색(B) 계조 백분위의 그래프(102new)만이 그려져 있고, 제2 영상(12)의 주 영역(12a)에서의 변경된 청색(B) 계조 백분위의 그래프가 생략되어 있다. 즉, 제1 영상(11)의 정합 영역(11d)에서의 대표 청색(B) 계조(Bd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 청색(B) 계조(Bdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 청색(B) 계조들이 변경된다.
따라서, 도 7 내지 10을 참조하여 설명된 바와 같이 제2 영상(12)의 전체 영역(12d 및 12a)의 적색(R), 녹색(G) 및 청색(B) 계조들이 각각 변경되므로, 제1 영상(11)과 제2 영상(12)의 계조 차이가 클 경우에 제1 영상(11)에 대한 제2 영상(12)의 경계선(도 3의 31b) 주위에서 얼룩들이 발생하는 것처럼 보이는 문제점이 개선될 수 있다.
여기에서, 제2 영상(12)의 전체 영역(12d 및 12a)의 계조들 각각의 변화율이 변경 전의 계조에 반비례하도록 변경된다. 즉, 제2 영상(12)의 낮은 계조들이 제1 영상(11)의 낮은 계조들과 비슷해지도록 변하는 반면에, 제2 영상(12)의 높은 계조들이 제1 영상(11)의 높은 계조들에 약간 가까워지도록 변한다.
따라서, 낮은 계조의 차이에 민감한 시각 특성을 이용하여, 제2 영상(12)의 낮은 계조들만 제1 영상(11)의 낮은 계조들과 비슷해지도록 변하게 하므로, 얼룩들이 발생하는 것처럼 보이는 문제점이 개선되는 한편, 제2 영상(12)의 계조 변화가 최소화될 수 있다.
도 11은 도 7의 단계 (b1)에서 제1 영상의 정합 영역(도 2의 11d)에서의 대표 적색(R) 계조(도 8의 Rd(i-1))와 제2 영상(12)의 정합 영역(도 2의 12d)에서의 대표 적색(R) 계조를 설정하기 위한 상세 알고리즘을 보여준다. 도 12는 도 11의 알고리즘을 설명하기 위한 도면이다. 도 12에서 참조 부호 121은 제1 영상(11) 또는 제2 영상(12)의 정합 영역(11d 또는 12d)에서의 계조들을 예를 들어 가리킨다.
도 2, 8, 11 및 12를 참조하여, 도 7의 단계 (b1)에서 제1 영상(11)의 정합 영역(11d)에서의 대표 적색(R) 계조(Rd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 적색(R) 계조(Rdi)를 설정하기 위한 상세 알고리즘을 설명하면 다음과 같다.
단계 (b1-1a)에서는, 제1 영상(11)의 정합 영역(11d)에서의 모든 적색(R) 계조들(예를 들어, 121) 각각에 대한 백분위(percentile)가 구해진다.
단계 (b1-1b)에서는, 제2 영상(12)의 정합 영역(12d)에서의 모든 적색(R) 계조들(예를 들어, 121) 각각에 대한 백분위(percentile)가 구해진다.
단계 (b1-1c)에서는, 제1 영상(11)의 정합 영역(11d)에서의 모든 적색(R) 계조들(예를 들어, 121) 중에서 설정 백분위(percentile)에 상응하는 적색(R) 계조가 제1 영상(11)의 정합 영역(11d)에서의 대표 적색(R) 계조(Rd(i-1))로 설정된다.
그리고 단계 (b1-1d)에서는, 제2 영상(12)의 정합 영역(12d)에서의 모든 적색(R) 계조들(예를 들어, 121) 중에서 상기 설정 백분위(percentile)에 상응하는 적색(R) 계조가 제2 영상(12)의 정합 영역(12d)에서의 대표 적색(R) 계조로 설정된다.
상기한 바와 같이, 본 실시예와 같은 영상 처리 방법에서는 백분율(percentage)보다 백분위(percentile)를 사용함으로써 보다 빠르게 적절한 대표 값을 얻을 수 있다.
여기에서, 설정 백분위(percentile)로서 "50"이 적절하다는 것이 일반적인 관념이겠으나, "50"보다 낮은 백분위도 적절할 수 있다. 왜냐하면, 낮은 계조의 차이에 민감한 시각 특성을 감안하여 보면, "50"보다 낮은 백분위의 계조가 실질적으로 대표 계조가 될 수 있기 때문이다. 예를 들어, 극한적으로 설정 백분위가 "20"일 수도 있다. 물론, 설정 백분위는 실험 등에 의하여 최종적으로 결정지어져야 한다.
참고로, 도 12에서, 설정 백분위가 "20"이면 대표 계조가 "50"이고, 설정 백분위가 "30"이면 대표 계조가 "90"이며, 설정 백분위가 "40"이면 대표 계조가 "115"이고, 설정 백분위가 "50"이면 대표 계조가 "127"이다.
도 13은 도 7의 단계 (b1)에서 도 11의 설정이 완료된 후에 수행되는 나머지 상세 알고리즘을 보여준다. 도 2, 8 및 13을 참조하여, 도 7의 단계 (b1)에서 도 11의 설정이 완료된 후에 수행되는 나머지 상세 알고리즘을 설명하면 다음과 같다.
단계 (b1-2a)에서는, 제2 영상(12)의 전체 영역(12d 및 12a)의 적색(R) 계조들이 영(0) 내지 일(1)의 범위에 들도록 정규화된다. 위에서 설명된 바와 같이, 본 실시예의 경우에 계조 범위는 0 내지 255 이지만, 연산 결과의 범위 이탈 방지를 위하여 계조들이 0 내지 1로 정규화되어 처리된 후에 복원된다.
여기에서, 제1 영상(11)의 정합 영역(11d)에서의 대표 적색(R) 계조 및 제2 영상(12)의 정합 영역(12d)에서의 대표 적색(R) 계조도 당연히 정규화된다.
한편, 제1 영상(11)의 정합 영역(11d)의 적색(R) 계조들 및 제2 영상(12)의 전체 영역(12d 및 12a)의 적색(R) 계조들이 먼저 정규화된 후, 제1 영상(11)의 정합 영역(11d)에서의 대표 적색(R) 계조 및 제2 영상(12)의 정합 영역(12d)에서의 대표 적색(R) 계조가 구해질 수도 있다.
단계 (b1-2b)에서는, 제1 영상(11)의 정합 영역(11d)에서의 정규화된 대표 적색(R) 계조를 Rd(i-1), 제2 영상(12)의 정합 영역(12d)에서의 정규화된 대표 적색(R) 계조를 Rd(i)라 하면,
Figure 112011045244791-pat00017
의 수학식에 따라 적색(R) 감마 값
Figure 112011045244791-pat00018
이 구해진다.
보다 상세하게는, 상기 수학식의 양변에 상용대수(log)를 취하면 아래의 수학식 2가 성립한다.
Figure 112011045244791-pat00019
따라서, 적색(R) 감마 값
Figure 112011045244791-pat00020
은 아래의 수학식 3에 의하여 구해질 수 있다.
Figure 112011045244791-pat00021
다음에, 단계 (b1-2c)에서는, 구해진 적색(R) 감마 값
Figure 112011045244791-pat00022
을 승수로 하여 제2 영상(12)의 전체 영역(12d 및 12a)의 정규화된 적색(R) 계조들 각각에
Figure 112011045244791-pat00023
제곱이 수행된다.
이에 따라, 도 8을 참조하여 설명된 바와 같이, 제1 영상(11)의 정합 영역(11d)에서의 대표 적색(R) 계조(Rd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 적색(R) 계조(Rdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 적색(R) 계조들이 변경된다.
여기에서, 제1 영상(11)의 정합 영역(11d)에서의 대표 적색(R) 계조(Rd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 적색(R) 계조(Rdi)를 위한 설정 백분위(percentile)가 "50" 미만임에 따라, 제2 영상(12)의 전체 영역(12d 및 12a)의 적색(R) 계조들 각각의 변화율이 변경 전의 적색(R) 계조에 반비례하도록 변경될 수 있다.
한편, 실험에 의하면, 적색(R) 감마 값
Figure 112011045244791-pat00024
이 "0.4"보다 적을 경우에 밝기 포화(saturation)가 나타남을 발견하였다. 따라서, 적색(R) 감마 값
Figure 112011045244791-pat00025
이 "0.4" 이상이 되도록 적용하는 것이 바람직하다.
다음에, 단계 (b1-2d)에서는 상기
Figure 112011045244791-pat00026
제곱의 결과 값들이 원래의 계조 범위에 속하도록 확대된다.
그리고 단계 (b1-2e)에서는 확대된 결과 값들이 제2 영상(12)의 전체 영역(12d 및 12a)의 적색(R) 계조들로서 설정된다.
도 14는 도 7의 단계 (b2)에서 제1 영상(도 2의 11)의 정합 영역(도 2의 11d)에서의 대표 녹색(G) 계조와 제2 영상(도 2의 12)의 정합 영역(도 2의 12d)에서의 대표 녹색(G) 계조를 설정하기 위한 상세 알고리즘을 보여준다. 도 14의 알고리즘은 실질적으로 도 11의 것과 동일하다. 하지만, 상세하고 명확한 실시를 위하여, 도 2, 9, 12 및 14를 참조하여 도 14의 상세 알고리즘을 설명하면 다음과 같다.
단계 (b2-1a)에서는, 제1 영상(11)의 정합 영역(11d)에서의 모든 녹색(G) 계조들(예를 들어, 121) 각각에 대한 백분위(percentile)가 구해진다.
단계 (b2-1b)에서는, 제2 영상(12)의 정합 영역(12d)에서의 모든 녹색(G) 계조들(예를 들어, 121) 각각에 대한 백분위(percentile)가 구해진다.
단계 (b2-1c)에서는, 제1 영상(11)의 정합 영역(11d)에서의 모든 녹색(G) 계조들(예를 들어, 121) 중에서 설정 백분위(percentile)에 상응하는 녹색(G) 계조가 제1 영상(11)의 정합 영역(11d)에서의 대표 녹색(G) 계조(Gd(i-1))로 설정된다.
그리고 단계 (b2-1d)에서는, 제2 영상(12)의 정합 영역(12d)에서의 모든 녹색(G) 계조들(예를 들어, 121) 중에서 상기 설정 백분위(percentile)에 상응하는 녹색(G) 계조가 제2 영상(12)의 정합 영역(12d)에서의 대표 녹색(G) 계조로 설정된다.
상기한 바와 같이, 도 12에서, 설정 백분위가 "20"이면 대표 계조가 "50"이고, 설정 백분위가 "30"이면 대표 계조가 "90"이며, 설정 백분위가 "40"이면 대표 계조가 "115"이고, 설정 백분위가 "50"이면 대표 계조가 "127"이다.
도 15는 도 7의 단계 (b2)에서 도 14의 설정이 완료된 후에 수행되는 나머지 상세 알고리즘을 보여준다. 도 15의 알고리즘은 실질적으로 도 13의 것과 동일하다. 하지만, 상세하고 명확한 실시를 위하여, 도 2, 9 및 15를 참조하여 도 15의 상세 알고리즘을 설명하면 다음과 같다.
단계 (b2-2a)에서는, 제2 영상(12)의 전체 영역(12d 및 12a)의 녹색(G) 계조들이 영(0) 내지 일(1)의 범위에 들도록 정규화된다. 위에서 설명된 바와 같이, 본 실시예의 경우에 계조 범위는 0 내지 255 이지만, 연산 결과의 범위 이탈 방지를 위하여 계조들이 0 내지 1로 정규화되어 처리된 후에 복원된다.
여기에서, 제1 영상(11)의 정합 영역(11d)에서의 대표 녹색(G) 계조 및 제2 영상(12)의 정합 영역(12d)에서의 대표 녹색(G) 계조도 당연히 정규화된다.
한편, 제1 영상(11)의 정합 영역(11d)의 녹색(G) 계조들 및 제2 영상(12)의 전체 영역(12d 및 12a)의 녹색(G) 계조들이 먼저 정규화된 후, 제1 영상(11)의 정합 영역(11d)에서의 대표 녹색(G) 계조 및 제2 영상(12)의 정합 영역(12d)에서의 대표 녹색(G) 계조가 구해질 수도 있다.
단계 (b2-2b)에서는, 제1 영상(11)의 정합 영역(11d)에서의 정규화된 대표 녹색(G) 계조를 Gd(i-1), 제2 영상(12)의 정합 영역(12d)에서의 정규화된 대표 녹색(G) 계조를 Gd(i)라 하면,
Figure 112011045244791-pat00027
의 수학식에 따라 녹색(G) 감마 값
Figure 112011045244791-pat00028
가 구해진다.
보다 상세하게는, 상기 수학식의 양변에 상용대수(log)를 취하면 아래의 수학식 4가 성립한다.
Figure 112011045244791-pat00029
따라서, 녹색(G) 감마 값
Figure 112011045244791-pat00030
는 아래의 수학식 5에 의하여 구해질 수 있다.
Figure 112011045244791-pat00031
다음에, 단계 (b2-2c)에서는, 구해진 녹색(G) 감마 값
Figure 112011045244791-pat00032
를 승수로 하여 제2 영상(12)의 전체 영역(12d 및 12a)의 정규화된 녹색(G) 계조들 각각에
Figure 112011045244791-pat00033
제곱이 수행된다.
이에 따라, 도 9를 참조하여 설명된 바와 같이, 제1 영상(11)의 정합 영역(11d)에서의 대표 녹색(G) 계조(Gd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 녹색(G) 계조(Gdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 녹색(G) 계조들이 변경된다.
여기에서, 제1 영상(11)의 정합 영역(11d)에서의 대표 녹색(G) 계조(Gd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 녹색(G) 계조(Gdi)를 위한 설정 백분위(percentile)가 "50" 미만임에 따라, 제2 영상(12)의 전체 영역(12d 및 12a)의 녹색(G) 계조들 각각의 변화율이 변경 전의 녹색(G) 계조에 반비례하도록 변경될 수 있다.
한편, 실험에 의하면, 녹색(G) 감마 값
Figure 112011045244791-pat00034
가 "0.4"보다 적을 경우에 밝기 포화(saturation)가 나타남을 발견하였다. 따라서, 녹색(G) 감마 값
Figure 112011045244791-pat00035
가 "0.4" 이상이 되도록 적용하는 것이 바람직하다.
다음에, 단계 (b2-2d)에서는 상기
Figure 112011045244791-pat00036
제곱의 결과 값들이 원래의 계조 범위에 속하도록 확대된다.
그리고 단계 (b2-2e)에서는 확대된 결과 값들이 제2 영상(12)의 전체 영역(12d 및 12a)의 녹색(G) 계조들로서 설정된다.
도 16은 도 7의 단계 (b3)에서 제1 영상(도 2의 11)의 정합 영역(도 2의 11d)에서의 대표 청색(B) 계조와 제2 영상(도 2의 12)의 정합 영역(도 2의 12d)에서의 대표 청색(B) 계조를 설정하기 위한 상세 알고리즘을 보여준다. 도 16의 알고리즘은 실질적으로 도 11의 것과 동일하다. 하지만, 상세하고 명확한 실시를 위하여, 도 2, 10, 12 및 16을 참조하여 도 16의 상세 알고리즘을 설명하면 다음과 같다.
단계 (b3-1a)에서는, 제1 영상(11)의 정합 영역(11d)에서의 모든 청색(B) 계조들(예를 들어, 121) 각각에 대한 백분위(percentile)가 구해진다.
단계 (b3-1b)에서는, 제2 영상(12)의 정합 영역(12d)에서의 모든 청색(B) 계조들(예를 들어, 121) 각각에 대한 백분위(percentile)가 구해진다.
단계 (b3-1c)에서는, 제1 영상(11)의 정합 영역(11d)에서의 모든 청색(B) 계조들(예를 들어, 121) 중에서 설정 백분위(percentile)에 상응하는 청색(B) 계조가 제1 영상(11)의 정합 영역(11d)에서의 대표 청색(B) 계조(Bd(i-1))로 설정된다.
그리고 단계 (b3-1d)에서는, 제2 영상(12)의 정합 영역(12d)에서의 모든 청색(B) 계조들(예를 들어, 121) 중에서 상기 설정 백분위(percentile)에 상응하는 청색(B) 계조가 제2 영상(12)의 정합 영역(12d)에서의 대표 청색(B) 계조로 설정된다.
상기한 바와 같이, 도 12에서, 설정 백분위가 "20"이면 대표 계조가 "50"이고, 설정 백분위가 "30"이면 대표 계조가 "90"이며, 설정 백분위가 "40"이면 대표 계조가 "115"이고, 설정 백분위가 "50"이면 대표 계조가 "127"이다.
도 17은 도 7의 단계 (b3)에서 도 16의 설정이 완료된 후에 수행되는 나머지 상세 알고리즘을 보여준다. 도 17의 알고리즘은 실질적으로 도 13의 것과 동일하다. 하지만, 상세하고 명확한 실시를 위하여, 도 2, 10 및 17을 참조하여 도 17의 상세 알고리즘을 설명하면 다음과 같다.
단계 (b3-2a)에서는, 제2 영상(12)의 전체 영역(12d 및 12a)의 청색(B) 계조들이 영(0) 내지 일(1)의 범위에 들도록 정규화된다. 위에서 설명된 바와 같이, 본 실시예의 경우에 계조 범위는 0 내지 255 이지만, 연산 결과의 범위 이탈 방지를 위하여 계조들이 0 내지 1로 정규화되어 처리된 후에 복원된다.
여기에서, 제1 영상(11)의 정합 영역(11d)에서의 대표 청색(B) 계조 및 제2 영상(12)의 정합 영역(12d)에서의 대표 청색(B) 계조도 당연히 정규화된다.
한편, 제1 영상(11)의 정합 영역(11d)의 청색(B) 계조들 및 제2 영상(12)의 전체 영역(12d 및 12a)의 청색(B) 계조들이 먼저 정규화된 후, 제1 영상(11)의 정합 영역(11d)에서의 대표 청색(B) 계조 및 제2 영상(12)의 정합 영역(12d)에서의 대표 청색(B) 계조가 구해질 수도 있다.
단계 (b3-2b)에서는, 제1 영상(11)의 정합 영역(11d)에서의 정규화된 대표 청색(B) 계조를 Bd(i-1), 제2 영상(12)의 정합 영역(12d)에서의 정규화된 대표 청색(B) 계조를 Bd(i)라 하면,
Figure 112011045244791-pat00037
의 수학식에 따라 청색(B) 감마 값
Figure 112011045244791-pat00038
가 구해진다.
보다 상세하게는, 상기 수학식의 양변에 상용대수(log)를 취하면 아래의 수학식 6이 성립한다.
Figure 112011045244791-pat00039
따라서, 청색(B) 감마 값
Figure 112011045244791-pat00040
는 아래의 수학식 7에 의하여 구해질 수 있다.
Figure 112011045244791-pat00041
다음에, 단계 (b3-2c)에서는, 구해진 청색(B) 감마 값
Figure 112011045244791-pat00042
를 승수로 하여 제2 영상(12)의 전체 영역(12d 및 12a)의 정규화된 청색(B) 계조들 각각에
Figure 112011045244791-pat00043
제곱이 수행된다.
이에 따라, 도 10을 참조하여 설명된 바와 같이, 제1 영상(11)의 정합 영역(11d)에서의 대표 청색(B) 계조(Bd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 청색(B) 계조(Bdi)가 같아지도록 제2 영상(12)의 전체 영역(12d 및 12a)의 청색(B) 계조들이 변경된다.
여기에서, 제1 영상(11)의 정합 영역(11d)에서의 대표 청색(B) 계조(Bd(i-1))와 제2 영상(12)의 정합 영역(12d)에서의 대표 청색(B) 계조(Bdi)를 위한 설정 백분위(percentile)가 "50" 미만임에 따라, 제2 영상(12)의 전체 영역(12d 및 12a)의 청색(B) 계조들 각각의 변화율이 변경 전의 청색(B) 계조에 반비례하도록 변경될 수 있다.
한편, 실험에 의하면, 청색(B) 감마 값
Figure 112011045244791-pat00044
가 "0.4"보다 적을 경우에 밝기 포화(saturation)가 나타남을 발견하였다. 따라서, 청색(B) 감마 값
Figure 112011045244791-pat00045
가 "0.4" 이상이 되도록 적용하는 것이 바람직하다.
다음에, 단계 (b3-2d)에서는 상기
Figure 112011045244791-pat00046
제곱의 결과 값들이 원래의 계조 범위에 속하도록 확대된다.
그리고 단계 (b3-2e)에서는 확대된 결과 값들이 제2 영상(12)의 전체 영역(12d 및 12a)의 청색(B) 계조들로서 설정된다.
이상 설명된 바와 같이, 본 발명의 실시예에 의하면, 제1 영상의 정합 영역에서의 대표 계조와 제2 영상의 정합 영역에서의 대표 계조가 같아지도록 제2 영상의 전체 영역의 계조들이 변경된다. 따라서, 제1 영상과 제2 영상의 계조 차이가 클 경우에 제1 영상에 대한 제2 영상의 경계선 주위에서 얼룩들이 발생하는 것처럼 보이는 문제점이 개선될 수 있다.
여기에서, 제2 영상의 전체 영역의 계조들 각각의 변화율이 변경 전의 계조에 반비례하도록 변경된다. 즉, 제2 영상의 낮은 계조들이 제1 영상의 낮은 계조들과 비슷해지도록 변하는 반면에, 제2 영상의 높은 계조들이 제1 영상의 높은 계조들에 약간 가까워지도록 변한다.
따라서, 낮은 계조의 차이에 민감한 시각 특성을 이용하여, 제2 영상의 낮은 계조들만 제1 영상의 낮은 계조들과 비슷해지도록 변하게 하므로, 얼룩들이 발생하는 것처럼 보이는 문제점이 개선되는 한편, 제2 영상의 계조 변화가 최소화될 수 있다.
한편, 이와 같이 변화된 제2 영상의 정합 영역의 각각의 화소의 계조가 제1 영상의 정합 영역의 대응 화소의 계조에 따라 변경되되, 제1 영상에 대한 제2 영상의 경계선에 가까운 제2 영상의 화소들의 계조들이 제1 영상의 대응 화소들의 계조들에 가까와지도록 변경된다.
이에 따라, 제1 영상에 대한 제2 영상의 경계선 주위가 두드러지게 보이지 않는다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
파노라마 영상 생성이 아닌 단순 영상 연결에도 이용될 수 있다.
11...제1 영상, 12...제2 영상,
11a, 12a...주 영역들, 11d, 12d...정합 영역들,
31...파노라마 영상, 31b...경계선,
Pset...설정 백분위(percentile),
Sd(i-1)...제1 영상의 정합 영역에서의 대표 계조,
Sdi...제2 영상의 정합 영역에서의 대표 계조,
Rd(i-1)...제1 영상의 정합 영역에서의 대표 적색(R) 계조,
Rdi...제2 영상의 정합 영역에서의 대표 적색(R) 계조,
Gd(i-1)...제1 영상의 정합 영역에서의 대표 녹색(G) 계조,
Gdi...제2 영상의 정합 영역에서의 대표 녹색(G) 계조,
Bd(i-1)...제1 영상의 정합 영역에서의 대표 청색(B) 계조,
Bdi...제2 영상의 정합 영역에서의 대표 청색(B) 계조,
121...정합 영역에서의 계조들.

Claims (8)

  1. 디지털 영상 처리 장치에서 적어도 제1 영상과 제2 영상이 연결되는 파노라마 영상을 생성하는 파노라마 영상 생성 방법에 있어서,
    (a) 상기 제1 영상 위에 상기 제2 영상이 겹쳐지는 영역인 상기 제1 영상과 상기 제2 영상의 정합 영역을 구하는 단계;
    (b) 상기 제1 영상의 정합 영역에서의 대표 계조와 상기 제2 영상의 정합 영역에서의 대표 계조가 같아지도록 상기 제2 영상의 전체 영역의 계조들을 변경시키되, 상기 제2 영상의 전체 영역의 계조들 각각의 변화율이 변경 전의 계조에 반비례하도록 변경시키는 단계; 및
    (c) 상기 제2 영상의 정합 영역의 각각의 화소의 계조를 상기 제1 영상의 정합 영역의 대응 화소의 계조에 따라 변경시키되, 상기 제2 영상의 화소들이 상기 제1 영상에 대한 상기 제2 영상의 경계선에 가까와질수록, 상기 제2 영상의 화소들의 계조들이 상기 제1 영상의 대응 화소들의 계조들에 가까와지도록 변경시키는 단계를 포함한 파노라마 영상 생성 방법.
  2. 제1항에 있어서, 상기 단계 (b)가,
    (b1) 상기 제1 영상의 정합 영역에서의 대표 적색(R) 계조와 상기 제2 영상의 정합 영역에서의 대표 적색(R) 계조가 같아지도록 상기 제2 영상의 전체 영역의 적색(R) 계조들을 변경시키되, 상기 제2 영상의 전체 영역의 적색(R) 계조들 각각의 변화율이 변경 전의 적색(R) 계조에 반비례하도록 변경시키는 단계;
    (b2) 상기 제1 영상의 정합 영역에서의 대표 녹색(G) 계조와 상기 제2 영상의 정합 영역에서의 대표 녹색(G) 계조가 같아지도록 상기 제2 영상의 전체 영역의 녹색(G) 계조들을 변경시키되, 상기 제2 영상의 전체 영역의 녹색(G) 계조들 각각의 변화율이 변경 전의 녹색(G) 계조에 반비례하도록 변경시키는 단계; 및
    (b3) 상기 제1 영상의 정합 영역에서의 대표 청색(B) 계조와 상기 제2 영상의 정합 영역에서의 대표 청색(B) 계조가 같아지도록 상기 제2 영상의 전체 영역의 청색(B) 계조들을 변경시키되, 상기 제2 영상의 전체 영역의 청색(B) 계조들 각각의 변화율이 변경 전의 청색(B) 계조에 반비례하도록 변경시키는 단계를 포함한 파노라마 영상 생성 방법.
  3. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.
    제2항에 있어서, 상기 단계 (b1)에서 상기 제1 영상의 정합 영역에서의 대표 적색(R) 계조와 상기 제2 영상의 정합 영역에서의 대표 적색(R) 계조를 설정함에 있어서,
    (b1-1a) 상기 제1 영상의 정합 영역에서의 모든 적색(R) 계조들 각각에 대한 백분위(percentile)를 구하는 단계;
    (b1-1b) 상기 제2 영상의 정합 영역에서의 모든 적색(R) 계조들 각각에 대한 백분위(percentile)를 구하는 단계;
    (b1-1c) 상기 제1 영상의 정합 영역에서의 모든 적색(R) 계조들 중에서 설정 백분위(percentile)에 상응하는 적색(R) 계조를 상기 제1 영상의 정합 영역에서의 대표 적색(R) 계조로 설정하는 단계; 및
    (b1-1d) 상기 제2 영상의 정합 영역에서의 모든 적색(R) 계조들 중에서 상기 설정 백분위(percentile)에 상응하는 적색(R) 계조를 상기 제2 영상의 정합 영역에서의 대표 적색(R) 계조로 설정하는 단계가 수행되는 파노라마 영상 생성 방법.
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    제3항에 있어서, 상기 단계 (b1)에서,
    (b1-2a) 상기 제2 영상의 전체 영역의 적색(R) 계조들이 영(0) 내지 일(1)의 범위에 들도록 정규화시키는 단계;
    (b1-2b) 상기 제1 영상의 정합 영역에서의 정규화된 대표 적색(R) 계조를 Rd(i-1), 상기 제2 영상의 정합 영역에서의 정규화된 대표 적색(R) 계조를 Rd(i)라 하면,
    Figure 112011045244791-pat00047
    의 수학식에 따라 적색(R) 감마 값
    Figure 112011045244791-pat00048
    을 구하는 단계;
    (b1-2c) 구해진 적색(R) 감마 값
    Figure 112011045244791-pat00049
    을 승수로 하여 상기 제2 영상의 전체 영역의 정규화된 적색(R) 계조들 각각에
    Figure 112011045244791-pat00050
    제곱을 하는 단계;
    (b1-2d) 상기
    Figure 112011045244791-pat00051
    제곱의 결과 값들이 원래의 계조 범위에 속하도록 확대시키는 단계; 및
    (b1-2e) 확대된 결과 값들을 상기 제2 영상의 전체 영역의 적색(R) 계조들로서 설정하는 단계가 수행되는 파노라마 영상 생성 방법.
  5. 제2항에 있어서, 상기 단계 (b2)에서 상기 제1 영상의 정합 영역에서의 대표 녹색(G) 계조와 상기 제2 영상의 정합 영역에서의 대표 녹색(G) 계조를 설정함에 있어서,
    (b2-1a) 상기 제1 영상의 정합 영역에서의 모든 녹색(G) 계조들 각각에 대한 백분위(percentile)를 구하는 단계;
    (b2-1b) 상기 제2 영상의 정합 영역에서의 모든 녹색(G) 계조들 각각에 대한 백분위(percentile)를 구하는 단계;
    (b2-1c) 상기 제1 영상의 정합 영역에서의 모든 녹색(G) 계조들 중에서 설정 백분위(percentile)에 상응하는 녹색(G) 계조를 상기 제1 영상의 정합 영역에서의 대표 녹색(G) 계조로 설정하는 단계; 및
    (b2-1d) 상기 제2 영상의 정합 영역에서의 모든 녹색(G) 계조들 중에서 상기 설정 백분위(percentile)에 상응하는 녹색(G) 계조를 상기 제2 영상의 정합 영역에서의 대표 녹색(G) 계조로 설정하는 단계가 수행되는 파노라마 영상 생성 방법.
  6. 청구항 6은(는) 설정등록료 납부시 포기되었습니다.
    제5항에 있어서, 상기 단계 (b2)에서,
    (b2-2a) 상기 제2 영상의 전체 영역의 녹색(G) 계조들이 영(0) 내지 일(1)의 범위에 들도록 정규화시키는 단계;
    (b2-2b) 상기 제1 영상의 정합 영역에서의 정규화된 대표 녹색(G) 계조를 Gd(i-1), 상기 제2 영상의 정합 영역에서의 정규화된 대표 녹색(G) 계조를 Gd(i)라 하면,
    Figure 112011045244791-pat00052
    의 수학식에 따라 녹색(G) 감마 값
    Figure 112011045244791-pat00053
    를 구하는 단계;
    (b2-2c) 구해진 녹색(G) 감마 값
    Figure 112011045244791-pat00054
    를 승수로 하여 상기 제2 영상의 전체 영역의 정규화된 녹색(G) 계조들 각각에
    Figure 112011045244791-pat00055
    제곱을 하는 단계;
    (b2-2d) 상기
    Figure 112011045244791-pat00056
    제곱의 결과 값들이 원래의 계조 범위에 속하도록 확대시키는 단계; 및
    (b2-2e) 확대된 결과 값들을 상기 제2 영상의 전체 영역의 녹색(G) 계조들로서 설정하는 단계가 수행되는 파노라마 영상 생성 방법.
  7. 제2항에 있어서, 상기 단계 (b3)에서 상기 제1 영상의 정합 영역에서의 대표 청색(B) 계조와 상기 제2 영상의 정합 영역에서의 대표 청색(B) 계조를 설정함에 있어서,
    (b3-1a) 상기 제1 영상의 정합 영역에서의 모든 청색(B) 계조들 각각에 대한 백분위(percentile)를 구하는 단계;
    (b3-1b) 상기 제2 영상의 정합 영역에서의 모든 청색(B) 계조들 각각에 대한 백분위(percentile)를 구하는 단계;
    (b3-1c) 상기 제1 영상의 정합 영역에서의 모든 청색(B) 계조들 중에서 설정 백분위(percentile)에 상응하는 청색(B) 계조를 상기 제1 영상의 정합 영역에서의 대표 청색(B) 계조로 설정하는 단계; 및
    (b3-1d) 상기 제2 영상의 정합 영역에서의 모든 청색(B) 계조들 중에서 상기 설정 백분위(percentile)에 상응하는 청색(B) 계조를 상기 제2 영상의 정합 영역에서의 대표 청색(B) 계조로 설정하는 단계가 수행되는 파노라마 영상 생성 방법.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제7항에 있어서, 상기 단계 (b3)에서,
    (b3-2a) 상기 제2 영상의 전체 영역의 청색(B) 계조들이 영(0) 내지 일(1)의 범위에 들도록 정규화시키는 단계;
    (b3-2b) 상기 제1 영상의 정합 영역에서의 정규화된 대표 청색(B) 계조를 Bd(i-1), 상기 제2 영상의 정합 영역에서의 정규화된 대표 청색(B) 계조를 Bd(i)라 하면,
    Figure 112011045244791-pat00057
    의 수학식에 따라 청색(B) 감마 값
    Figure 112011045244791-pat00058
    를 구하는 단계;
    (b3-2c) 구해진 청색(B) 감마 값
    Figure 112011045244791-pat00059
    를 승수로 하여 상기 제2 영상의 전체 영역의 정규화된 청색(B) 계조들 각각에
    Figure 112011045244791-pat00060
    제곱을 하는 단계;
    (b3-2d) 상기
    Figure 112011045244791-pat00061
    제곱의 결과 값들이 원래의 계조 범위에 속하도록 확대시키는 단계; 및
    (b3-2e) 확대된 결과 값들을 상기 제2 영상의 전체 영역의 청색(B) 계조들로서 설정하는 단계가 수행되는 파노라마 영상 생성 방법.
KR1020110057978A 2011-06-15 2011-06-15 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법 Active KR101279576B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110057978A KR101279576B1 (ko) 2011-06-15 2011-06-15 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법
US13/524,694 US8798360B2 (en) 2011-06-15 2012-06-15 Method for stitching image in digital image processing apparatus
CN201210202661.3A CN102903091B (zh) 2011-06-15 2012-06-15 用于在数字图像处理设备中拼接图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110057978A KR101279576B1 (ko) 2011-06-15 2011-06-15 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법

Publications (2)

Publication Number Publication Date
KR20120138477A KR20120138477A (ko) 2012-12-26
KR101279576B1 true KR101279576B1 (ko) 2013-06-27

Family

ID=47353708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110057978A Active KR101279576B1 (ko) 2011-06-15 2011-06-15 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법

Country Status (3)

Country Link
US (1) US8798360B2 (ko)
KR (1) KR101279576B1 (ko)
CN (1) CN102903091B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11843863B2 (en) 2021-03-15 2023-12-12 SK Hynix Inc. Apparatus and method for generating panorama image

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710629B2 (en) * 2014-05-13 2017-07-18 Google Technology Holdings LLC Electronic device with method for controlling access to same
KR101579005B1 (ko) * 2014-08-08 2015-12-21 중앙대학교 산학협력단 영상생성장치 및 영상생성방법
TW201926251A (zh) * 2017-11-24 2019-07-01 鴻海精密工業股份有限公司 全景攝像機、圖像處理系統及圖像處理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09321972A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像合成装置及び方法
JPH11112790A (ja) * 1997-10-06 1999-04-23 Canon Inc 画像合成装置および方法
JPH11205648A (ja) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd 画像合成装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2230915B (en) 1989-04-21 1993-09-15 Sony Corp Digital colour correction
US5189511A (en) 1990-03-19 1993-02-23 Eastman Kodak Company Method and apparatus for improving the color rendition of hardcopy images from electronic cameras
JP3605870B2 (ja) 1995-02-16 2004-12-22 ソニー株式会社 パノラマ静止画像作成装置
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US6424752B1 (en) * 1997-10-06 2002-07-23 Canon Kabushiki Kaisha Image synthesis apparatus and image synthesis method
KR100297714B1 (ko) 1998-09-01 2001-08-07 윤종용 넓은동적범위를갖는영상장치및이의영상신호처리방법
US6493705B1 (en) * 1998-09-30 2002-12-10 Canon Kabushiki Kaisha Information search apparatus and method, and computer readable memory
US6277075B1 (en) 1999-11-26 2001-08-21 Ge Medical Systems Global Technology Company, Llc Method and apparatus for visualization of motion in ultrasound flow imaging using continuous data acquisition
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
FR2821172B1 (fr) 2001-02-16 2003-05-23 Immervision Internat Pte Ltd Procede et dispositif pour l'orientation d'une image panoramique numerique
FR2821156B1 (fr) 2001-02-16 2003-05-23 Immervision Internat Pte Ltd Procede et dispositif pour l'obtention d'une image panoramique numerique a teinte constante
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7259784B2 (en) 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
JP3783956B2 (ja) 2002-07-23 2006-06-07 株式会社リコー 画像記録装置及び画像データ選択方法
WO2004093438A1 (en) 2003-04-17 2004-10-28 Nokia Corporation An improved mobile camera telephone
FI116327B (fi) 2003-09-24 2005-10-31 Nokia Corp Menetelmä ja järjestelmä väritasapainon automaattiseksi säätämiseksi digitaalisessa kuvankäsittelyketjussa, vastaava laitteisto ja ohjelmalliset välineet menetelmän toteuttamiseksi
JP4431415B2 (ja) * 2004-02-12 2010-03-17 株式会社リコー 異常診断方法、状態判定装置及び画像形成装置
US7508990B2 (en) * 2004-07-30 2009-03-24 Euclid Discoveries, Llc Apparatus and method for processing video data
US20070030396A1 (en) 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
US20070047803A1 (en) 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
KR100848589B1 (ko) 2005-10-11 2008-07-28 노키아 코포레이션 휴대용 카메라폰, 이미지 레코딩 방법 및 카메라 모듈
JP4732370B2 (ja) 2006-02-13 2011-07-27 キヤノン株式会社 デジタルカメラ、その制御方法、プログラム
CN100515038C (zh) 2006-02-13 2009-07-15 佳能株式会社 图像处理装置及其控制方法
US7577314B2 (en) 2006-04-06 2009-08-18 Seiko Epson Corporation Method and apparatus for generating a panorama background from a set of images
JP2008122745A (ja) 2006-11-14 2008-05-29 Epson Imaging Devices Corp ガンマ補正用テーブルの作成方法、表示装置用駆動回路、及び電気光学装置
US7835588B2 (en) 2006-11-29 2010-11-16 Nokia Corporation Contrast optimization of images
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US8392430B2 (en) * 2009-09-23 2013-03-05 Microsoft Corp. Concept-structured image search
CN101964891B (zh) * 2010-09-13 2012-07-25 广东威创视讯科技股份有限公司 屏幕无缝拼接的图像处理方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09321972A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像合成装置及び方法
JPH11112790A (ja) * 1997-10-06 1999-04-23 Canon Inc 画像合成装置および方法
JPH11205648A (ja) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd 画像合成装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11843863B2 (en) 2021-03-15 2023-12-12 SK Hynix Inc. Apparatus and method for generating panorama image

Also Published As

Publication number Publication date
CN102903091A (zh) 2013-01-30
KR20120138477A (ko) 2012-12-26
US8798360B2 (en) 2014-08-05
CN102903091B (zh) 2017-05-24
US20120321178A1 (en) 2012-12-20

Similar Documents

Publication Publication Date Title
US8965120B2 (en) Image processing apparatus and method of controlling the same
JP6381215B2 (ja) 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
US8284271B2 (en) Chroma noise reduction for cameras
CN103339661B (zh) 对象显示装置、对象显示方法和对象显示程序
JP2005269639A (ja) カラー画像−グレースケール画像変換方法及びシステム、グレースケール画像、カラー−グレースケール変換改善方法、及び、エッジ強調方法
JP2011107702A (ja) 入力画像の画像処理システム、画像表示システム、及び画像処理方法
CN103826113B (zh) 一种色彩还原方法及装置
US20060152603A1 (en) White balance correction in digital camera images
JP5367455B2 (ja) 複数のカラーカメラ間の色調整装置および方法
JP2008072692A (ja) 統合ヒストグラム自動適応型コントラスト制御（ａｃｃ）
CN106575434A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
KR101279576B1 (ko) 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법
JP6771134B2 (ja) 画像補正方法及び画像補正装置
EP1947609A1 (en) Method to map the differences between two images
CN113793249A (zh) 一种Pentile图像转换为RGB图像的方法、装置及存储介质
CN109509161B (zh) 图像增强装置及图像增强方法
EP2958101A1 (en) Methods and apparatus for displaying HDR image on LDR screen
KR20110095556A (ko) 영상투사장치 및 그 영상보정방법
JP6548516B2 (ja) 画像表示装置、画像処理装置、画像表示装置の制御方法、及び、画像処理装置の制御方法
JP2016046701A (ja) 画像処理装置、画像処理方法、及び、プログラム
KR102470242B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
JP2018182550A (ja) 画像処理装置
TWI544451B (zh) 影像處理方法
KR101634652B1 (ko) 영상의 대비 강화 방법 및 장치
JP5494249B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110615

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20121030

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130530

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130621

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130624

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160530

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170529

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180521

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180521

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190527

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20200525

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210526

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230523

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20240523

Start annual number: 12

End annual number: 12