이하에서 첨부된 도면들을 참조하여 본 발명에 따른 복수의 광원을 포함하는 영상의 색상 보정 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 2는 본 발명에 따른 복수의 광원을 포함하는 영상의 색상 보정 장치 및 방법에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명에 따른 색상 보정 장치는 영상 입력부(110), 곡선 산출부(120), 매트릭스 산출부(130), 보정영상 생성부(140) 및 합성영상 생성부(150)를 구비한다.
영상 입력부(110)는 서로 다른 종류의 복수의 광원 중에서 한 개씩의 광원이 각각 점등된 경우 및 복수의 광원이 모두 점등된 경우 각각에 대하여 적색, 녹색, 청색 및 그레이 스케일의 색상이 포함된 견본 컬러차트를 사전에 설정된 촬영대상영역 내에 배치하여 촬영한 복수의 제1영상 및 촬영대상영역만을 촬영한 복수의 제2영상을 입력받는다.
복수의 광원 하에서 촬영된 영상에 포함된 객체의 색상이 항등성을 가지도록 하기 위해서는 각각의 광원이 한 개씩만 점등되었을 때 및 모든 광원이 점등되었을 때 촬영된 영상의 정보가 필요하다. 수집된 각각의 영상의 정보를 기초로 표준 광원 하에서 촬영된 영상의 색상에 가까운 영상을 생성할 수 있다.
제1영상 및 제2영상을 촬영하기 위해 설정되는 광원의 설정 상태에 대한 경우의 수는 복수의 광원이 순차적으로 한 개씩 점등된 경우 및 복수의 광원이 모두 점등된 경우를 포함하여야 하기 때문에 '복수의 광원의 개수+1'이 된다. 각각의 경우로 점등 상태가 설정된 광원 하에서 동일한 촬영대상영역이 촬영되어 제1영상 및 제2영상이 생성된다. 여기서 제1영상은 촬영대상영역 내에 컬러차트를 위치시켜 촬영한 영상으로, 색상 보정을 위한 파라미터들을 산출하기 위해 사용되는 영상이다. 또한 제2영상은 컬러차트를 제외하고 촬영대상영역만을 촬영한 영상으로, 제1영상으로부터 산출된 파라미터들을 적용하여 색상이 보정되는 영상에 해당한다.
제1영상의 촬영을 위해 사용되는 컬러차트는 적색, 녹색, 청색 및 그레이 스케일의 색상으로 구성되어 영상의 색상을 보정할 때 기준으로 사용된다. 광원의 점등 상태를 다르게 설정함에 따라 각각의 제1영상에 포함된 컬러차트의 색상은 광원의 영향으로 서로 다르게 나타난다. 따라서 서로 다르게 나타나는 컬러차트의 색상 을 실제 컬러차트의 색상으로 일치시키는 파라미터들을 산출하여 이를 제2영상에 적용하면 제2영상에 포함된 객체의 색상이 실제 객체의 색상에 가깝게 되도록 보정된다.
컬러차트로는 카메라에 의해 촬영된 색상을 실제 색상에 가깝도록 보정하기 위해 일반적으로 사용되는 Qpcard를 사용할 수 있다. 도 3은 컬러차트로서 사용되는 Qpcard 201의 색상 구성을 나타낸 도면이다. 도 3의 Qpcard를 구성하는 복수의 색상 중에서 적색, 녹색 및 청색의 세 가지 색상(310), 그리고 그레이 스케일에 해당하는 여섯 가지의 색상(320)이 색상 보정을 위한 파라미터 산출에 사용된다.
이하에서는 설명의 편의를 위해 백열등과 형광등의 두 가지 광원이 사용되었을 때 제1영상 및 제2영상이 촬영되는 경우를 대표적인 실시예로 하여 설명한다. 그러나 광원의 종류가 이에 한정되는 것은 아니며, 본 발명은 어떠한 종류의 광원에 대하여도 적용이 가능하다.
도 4는 동일한 촬영대상영역에 대해 광원의 종류를 달리하여 촬영한 제1영상들의 예를 나타낸 도면이다. 도 4의 (a)는 백열등만 점등되었을 때 촬영된 제1영상, (b)는 형광등만 점등되었을 때 촬영된 제1영상, 그리고 (c)는 백열등과 형광등이 모두 점등되었을 때 촬영된 제1영상을 나타낸다. 또한 도 4의 (a) 내지 (c)에 나타난 제1영상에서 Qpcard가 제외된 상태의 영상은 제2영상이 된다.
도 4를 참조하여 알 수 있듯이 광원의 종류가 서로 다른 경우에는 각각의 광원으로부터 조사되는 빛의 방향이 서로 상이하도록 광원의 점등 상태를 설정하고, 컬러차트는 광원으로부터 조사되는 빛의 경로 상에 위치하도록 할 수 있다. 실제로 서로 다른 종류의 복수의 광원 하에서 촬영이 이루어지는 경우는 복수의 광원이 서로 다른 방향에서 빛을 조사하여 객체의 각 부분이 서로 다른 광원에 의해 영향을 받게 되는 경우가 많기 때문이다.
즉, 도 4의 (a)를 참조하면, 백열등이 촬영대상영역의 왼쪽에 위치하므로 Qpcard 역시 백열등이 위치하는 지점을 향해 백열등이 조사하는 빛의 경로와 수직하도록 배치된다. 또한 도 4의 (b)를 참조하면, 형광등이 촬영대상영역의 오른쪽에 위치하므로 Qpcard는 형광등이 위치하는 지점을 향해 형광등이 조사하는 빛의 경로와 수직하도록 배치된다. 다만, 도 4의 (c)를 참조하면, 백열등과 형광등이 촬영대상영역의 왼쪽 및 오른쪽에서 모두 빛을 조사하고 있으므로 Qpcard는 촬영대상영역을 촬영하는 카메라에 대해 정면으로 배치된다.
이와 같이 광원의 점등 상태를 달리하여 복수의 제1영상 및 제2영상을 촬영할 때 광원 및 Qpcard의 배치에 관한 사항을 제외한 다른 사항들, 예를 들면 촬영대상영역 내의 객체의 배치 및 카메라의 촬영조건 설정에 관한 사항 등은 모두 동일하다. 다만, 광원의 종류에 따라 객체의 반사노출 값이 달라져 각각의 제1영상에서 나타내는 색상의 범위가 지나치게 상이하게 되면 ICC 프로파일의 색재현율(color gamut)의 범위를 벗어나는 색상이 생성되므로 색상 보정시에 다른 색상으로 대체하여야 하는 불편함이 발생한다. 따라서 광원의 종류가 달라져도 객체의 반사노출 값이 항상 일정하게 유지되도록 카메라의 노출값을 설정하여 제1영상 및 제2영상을 촬영하게 된다. 예를 들면, 도 4의 (a)와 같은 영상을 촬영할 때에는 노출값을 -0.3으로 설정하고, 도 4의 (b)와 같은 영상을 촬영할 때에는 노출값을 -0.5로 설정할 수 있다.
곡선 산출부(120)는 복수의 제1영상으로부터 추출된 컬러차트에 대응하는 영역인 참조영역을 구성하는 각각의 색상을 컬러차트의 색상과 대비하여 각각의 제1영상에 대응하는 색조 재현 곡선을 산출한다. 참조영역은 도 4에 나타난 것과 같은 제1영상으로부터 컬러차트에 대응하는 영역만이 선택되어 추출된 영역이다. 제1영상으로부터 참조영역을 추출하는 과정은 사용자의 입력에 의해 이루어질 수 있다.
색조 재현 곡선(Tone Reproduction Curve : TRC)은 이미지 출력 장치와 프로파일 접속 공간(PCS)의 CIE XYZ 또는 Lab 인코딩(encoding) 사이의 변환에 필요한 정보를 제공한다. 곡선 산출부(120)는 제1영상으로부터 추출된 참조영역을 구성하는 색상 중에서 적색에 해당하는 지점과 컬러차트의 실제 적색을 대비하여 적색 컬러채널에 해당하는 색조 재현 곡선을 산출하고, 동일한 방법으로 녹색 및 청색 컬러채널에 해당하는 색조 재현 곡선을 산출한다. 이때 컬러차트의 실제 적색, 녹색 및 청색은 도 3의 컬러차트 상에 표시된 적색, 녹색 및 청색의 부분(310)을 사용하게 된다. 또한 도 3의 컬러차트 상에 표시된 여섯 가지 그레이 스케일 색상들(320)은 참조영역에서 그에 대응하는 그레이 스케일 색상과 대비되어 색조 재현 곡선을 산출하는 데 사용된다.
적색, 녹색 및 청색의 컬러채널에 해당하는 색조 재현 곡선의 관계식은 각각의 제1영상에서 추출된 참조영역을 구성하는 적색, 녹색 및 청색을 컬러차트의 실제 적색, 녹색 및 청색으로 일치시키는 함수로서 표현되며, 곡선 회귀(curve regression)를 사용하여 다음의 수학식 1과 같이 추정된다.
여기서, g(x)는 색조 재현 곡선의 함수, an(n=1,2,3,4)은 참조영역의 각 색상과 컬러차트의 실제 색상의 색상값 간의 최소 제곱 차(least-squares dirrerence)를 최소화하도록 설정되는 계수, x는 정규화된 색상값이며, f1(x) 내지 f4(x)는 다음의 수학식 2와 같이 정의된다.
이상에서 설명한 과정에 의해 적색, 녹색 및 청색의 컬러채널에 대해 각각 산출된 색조 재현 곡선은 ICC 프로파일에 적용되어 색상 보정에 사용되며, 이에 관하여는 뒤에 상세하게 설명한다.
다음으로 매트릭스 산출부(130)는 참조영역을 구성하는 각각의 색상을 컬러차트를 구성하는 각각의 실제 색상으로 선형 변환시키는 색상 보정 매트릭스를 각각의 제1영상에 대응하여산출한다.
참조영역을 구성하는 각각의 색상으로부터 컬러차트의 실제 색상으로의 선형 변환은 다음의 수학식 3과 같이 정의된다.
여기서, MXYZ는 컬러차트의 실제 색상값들로 이루어진 매트릭스, MCrr는 색상 보정 매트릭스, 그리고 M' XYZ는 참조영역을 구성하는 색상값들로 이루어진 매트릭스이며, 각각 다음과 같이 정의된다.
즉, Xi, Yi 및 Zi는 컬러차트의 실제 색상값을 나타내며, X' i, Y' i 및 Z' i는 참조영역을 구성하는 색상값들을 나타내는 것이다.
특이값 분해(Singular Value Decomposition : SVD)를 사용한 간단한 재배치 과정에 의해 위 수학식 3은 다음의 수학식 4 내지 수학식 6과 같이 다시 나타낼 수 있다.
수학식 4 내지 수학식 6으로부터 색상 보정 매트릭스를 구성하는 각 원소의 값을 산출할 수 있으며, 완성된 색상 보정 매트릭스는 색조 재현 곡선과 마찬가지로 ICC 프로파일에 적용되어 색상 보정에 사용된다.
보정영상 생성부(140)는 각각의 색조 재현 곡선 및 색상 보정 매트릭스를 ICC 프로파일 태그에 적용시켜 생성된 수정 ICC 프로파일을 기초로 각각의 제1영상에 대응하는 제2영상의 색상을 보정하여 복수의 보정영상을 생성한다. 색조 재현 곡선 및 색상 보정 매트릭스는 각각의 제1영상에 대해 산출된 것이므로, 수정 ICC 프로파일도 제1영상과 동일한 개수로 생성된다.
앞에서 제1영상으로부터 추출된 참조영역을 기초로 참조영역의 색상을 컬러차트의 실제 색상에 가깝도록 하기 위한 색조 재현 곡선 및 색상 보정 매트릭스가 얻어졌다. 제2영상은 제1영상에 포함된 컬러차트가 제외되었을 뿐 제1영상과 동일한 촬영대상영역을 동일한 촬영조건 하에서 촬영한 것이므로 참조영역으로부터 얻 어진 색조 재현 곡선 및 색상 보정 매트릭스를 제2영상에 적용한다면 컬러차트를 구성하는 실제 색상에 가까운 색상을 얻을 수 있다.
이를 위해 보정영상 생성부(140)는 제2영상을 나타내는 ICC 프로파일, 정확하게는 제2영상을 촬영한 카메라의 ICC 프로파일에 복수의 색조 재현 곡선 및 색상 보정 매트릭스를 각각 적용하여 수정함으로써 복수의 수정 ICC 프로파일을 생성한다. 이러한 수정 ICC 프로파일에 의해 제2영상으로부터 색상이 보정된 보정영상이 생성되며, 제2영상에 포함되었던 각각의 객체의 색상은 실제 색상에 가깝게 되도록 보정되어 보정영상에 포함된다. 다음의 표 1에 ICC 프로파일에 포함된 ICC 프로파일 태그의 일부를 나타내었다.
태그명 |
기호 |
데이터 유형 |
mediaWhitePointTag |
wtpt |
XYZType |
mediaBlackPointTag |
bkpt |
XYZType |
CopyrightTag |
cprt |
multiLocalizedUnicodeTag |
profileDescriptionTag |
desc |
multiLocalizedUnicodeTag |
redMatrixColumnTag |
rXYZ |
XYZType |
greenMatrixColumnTag |
gXYZ |
XYZType |
blueMatrixColumnTag |
bXYZ |
XYZType |
redTRCTag |
rTRC |
curveType |
greenTRCTag |
gTRC |
curveType |
blueTRCTag |
bTRC |
curveType |
표 1에 나타낸 ICC 프로파일 태그들은 ICC. 1:2004-10의 명세서에 상세하게 설명되어 있다. 이 중에서 mediaWhitePointTag은 D65 광원, 즉 표준 광원 하에서의 흰색으로 설정된다. mediaBlackPointTag은 검정색을 나타내는 것이다.
매트릭스 산출부(130)에 의해 산출된 색상 보정 매트릭스는 표 1의 ICC 프로파일 태그들 중에서 redMatrixColumnTag, greenMatrixColumnTag 및 blueMatrixColumnTag에 적용되어 수정 ICC 프로파일 태그가 생성되도록 한다. edMatrixColumnTag, greenMatrixColumnTag 및 blueMatrixColumnTag는 TRC/매트릭스 변환에 사용되는 매트릭스의 각 컬럼(column)을 나타내는 것이다. 본 발명에서는 색상 보정 매트릭스의 각 원소가 각각의 컬러 태그에 다음의 수학식 7에 나타난 바와 같이 적용된다.
한편, 보정영상 생성부는 색상 보정 매트릭스에 ICC 표준으로 정의되는 색채 적응 변환 모델(chromatic adaptation transformation)을 적용하여 수정 ICC 프로파일을 생성할 수 있다. 색상 장치의 광원이 프로파일 접속 공간(PCS)과 일치하지 않기 때문에 색상 보정 매트릭스를 적용할 때에는 색채 적응 변환을 고려해야 한다. ICC.1:2004-10에서는 색채 적응 변환을 위한 선형 브래드포드(Bradford) 모델을 제안한다. 이는 다음의 수학식 8과 같이 표현된다.
따라서 색채 적응 변환 후의 새로운 색상 보정 매트릭스는 다음의 수학식 9와 같이 얻어진다.
보정영상 생성부(140)는 수정 ICC 프로파일을 생성할 때 색채 적응 변환이 고려된 수학식 9의 색상 보정 매트릭스를 적용할 수 있다.
한편, 앞에서 설명한 바와 같이 적색, 녹색, 청색의 컬러채널에 대해 각각 산출된 색조 재현 곡선은 표 1의 ICC 프로파일 태그 중에서 redTRCTag, greenTRCTag 및 blueTRCTag에 각각 적용된다. 세 개의 색조 재현 곡선은 1차원의 룩업 테이블(Look-Up Table : LUT)에 의해 입력 색상 화소를 출력 색상 화소로 매핑하기 위해 사용된다. 룩업 테이블은 다음의 수학식 10과 같이 표현된다.
여기서, i는 복수의 색상 화소에 부여된 번호, gR(xi)는 적색 컬러채널에 대해 산출된 색조 재현 곡선, gG(xi)는 녹색 컬러채널에 대해 산출된 색조 재현 곡선, 그리고 gB(xi)는 청색 컬러채널에 대해 산출된 색조 재현 곡선이다.
이상과 같은 과정을 통해 보정영상 생성부(140)는 수정 ICC 프로파일을 얻을 수 있으며, 수정 ICC 프로파일은 프로파일 접속 공간(PCS)을 통해 복수의 제2영상에 각각 적용되며, 그 결과 색상이 보정된 복수의 보정영상이 얻어진다.
합성영상 생성부(150)는 복수의 보정영상에서 동일한 위치에 해당하는 각각 의 화소를 사전에 설정된 합성 비율에 따라 합성하여 하나의 합성영상을 생성한다.
보정영상 생성부(140)에 의해 생성되는 복수의 보정영상은 복수의 제2영상에 수정 ICC 프로파일이 적용되어 얻어진 것이며, 복수의 제2영상은 서로 다른 종류의 복수의 광원 중에서 한 개씩의 광원이 각각 점등된 경우 및 복수의 광원이 모두 점등된 경우 각각에 대하여 촬영된 것이다. 따라서 복수의 보정영상을 모두 합성하여 얻어진 합성영상은 서로 다른 종류의 복수의 광원 하에서 촬영된 영상으로서 객체의 실제 색상과 가까운 색상을 나타내는 영상이 된다.
합성영상 생성부(150)는 복수의 보정영상으로부터 하나의 합성영상을 생성하기 위해 색상 혼합 모델(color mixture model)을 사용한다. 색상 혼합 모델은 각각의 보정영상을 구성하는 색상들 중에서 흰색에 해당하는 색상과 컬러차트를 구성하는 실제 색상들 중에서 흰색에 해당하는 색상 사이의 색차값을 기초로 생성되며, 합성영상을 생성하는 합성 비율 역시 이를 기초로 설정된다. 이를 위해 합성영상 생성부(150)는 복수의 보정영상을 Lab 색상공간으로 변환한다. 따라서 색차값은 Lab 색상공간에서 보정영상에 포함된 흰색에 해당하는 지점과 컬러차트에 포함된 흰색에 해당하는 지점 사이의 거리를 산출함으로써 얻어진다.
도 5는 도 4의 (a)에 나타난 제1영상에 대응하는 제2영상으로부터 생성된 보정영상을 구성하는 복수의 색상과 컬러차트의 실제 색상을 Lab 색상공간에서 대응시킨 예를 도시한 그래프이다. 도 5에 도시된 색상들 중에서 흰색이 합성영상 생성부(150)에 의해 색상 혼합 모델을 생성하는 데 사용된다.
설명의 편의를 위해 도 4의 (a) 내지 (c)에 나타난 세 개의 제1영상에 대응 하는 제2영상으로부터 보정영상 생성부(140)에 의해 생성된 보정영상을 각각 'T 영상', 'F 영상' 및 'P 영상'이라 하면, 각각의 보정영상에 포함된 흰색과 컬러차트에 포함된 실제 흰색 사이의 색차값은 다음의 수학식 11에 의해 산출된다.
여기서, dET, dEF 및 dEP는 각각 T 영상, F 영상 및 P 영상에 포함된 흰색과 컬러차트에 포함된 흰색 사이의 색차값, WpR은 Lab 색상공간에서 컬러차트에 포함된 흰색에 해당하는 지점의 위치, 그리고 WpT, WpF 및 WpP는 각각 Lab 색상공간에서 T 영상, F 영상 및 P 영상에 포함된 흰색에 해당하는 지점의 위치이다.
합성 비율은 수학식 11에 의해 산출된 색차값을 기초로 설정되며, 각각의 보정영상에서 동일한 위치에 해당하는 화소 중에서 색차값이 작은 화소가 합성영상에 더 큰 비율로 포함되도록 설정된다. 합성영상에 나타난 객체의 색상이 컬러차트의 실제 색상에 가깝게 나타나도록 하기 위해서이다. 합성 비율은 보정영상을 구성하는 각각의 화소에 대해 설정되며, 합성영상의 생성도 화소 단위로 이루어진다. 예를 들면, 수학식 11로부터 설정되는 합성 비율을 기초로 합성영상을 생성할 때, 합성영상을 구성하는 각각의 화소의 화소값은 다음의 수학식 12에 의해 결정된다.
여기서,
은 합성영상을 구성하는 화소의 화소값이고, TCorr, FCorr 및 PCorr은 각각 T 영상, F 영상 및 P 영상에서 해당 화소와 동일한 위치에 해당하는 화소의 화소값이다.
이상적인 경우에는 보정영상을 구성하는 각각의 화소가 모두 동일한 비율로 혼합되며, 이때
과 같은 관계가 성립하게 된다.
도 6은 T 영상, F 영상 및 P 영상에서 동일한 위치에 해당하는 화소에 대해 산출된 색차값 및 그를 기초로 설정되는 합성 비율에 의해 합성영상의 동일한 위치의 화소값이 결정되는 예를 나타낸 도면이다. 도 6을 참조하면, T 영상의 화소에 대해 산출된 색차값이 가장 크므로 합성 비율은 가장 작게 설정되고, P 영상의 화소에 대해 산출된 색차값이 가장 작으므로 합성 비율이 가장 크게 설정되는 것을 확인할 수 있다.
한편, 이와 같이 생성된 합성영상은 블록현상이나 색상의 부조화와 같은 에러를 발생시킬 수 있다. 블록현상은 JPEG와 같은 압축 표준을 사용할 때 흔히 발생하는 현상이고, 색상 부조화는 에지 경계선에서 보통 나타나는 현상이다. 따라서 이러한 에러를 감소시키기 위해 합성영상 생성부(150)는 합성영상의 L채널을 복수 의 광원이 모두 점등되었을 때 촬영된 제2영상의 L채널로 교체한다. 제2영상의 L채널은 색조의 변화에 무관하게 명도 비율을 유지시켜주기 때문이다.
도 7은 합성영상에 나타난 에러와 L채널이 교체된 합성영상을 나타낸 도면이다. 도 7의 (a)는 T 영상, F 영상 및 P 영상으로부터 생성된 합성영상이고, (b)는 P 영상에 대응하는 제2영상이다. 도 7의 (c)를 참조하면, 합성영상에 포함된 객체의 색상이 고르지 않아서 색상 부조화가 나타나는 것을 확인할 수 있다. 도 7의 (d)는 합성영상 및 제2영상을 L채널, a채널 및 b채널에 대해 나타낸 것으로, 합성영상의 a채널 및 b채널과 제2영상의 L채널을 결합하면 도 7의 (e)와 같이 L채널이 교체된 합성영상을 얻을 수 있다. 도 7의 (e)에 나타난 최종 결과영상은 복수의 광원 하에서 촬영된 것임에도 단일 광원에 의해 촬영된 것과 같이 실제 색상에 가까운 일정한 색상을 나타내고 있다.
도 8은 본 발명에 따른 복수의 광원을 포함하는 영상의 색상 보정 장치 및 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 8을 참조하면, 영상 입력부(110)는 서로 다른 종류의 복수의 광원 중에서 한 개씩의 광원이 각각 점등된 경우 및 복수의 광원이 모두 점등된 경우 각각에 대하여 적색, 녹색, 청색 및 그레이 스케일의 색상으로 구성된 컬러차트를 사전에 설정된 촬영대상영역 내에 배치하여 촬영한 복수의 제1영상 및 촬영대상영역만을 촬영한 복수의 제2영상을 입력받는다(S810). 이때 촬영대상영역 내에서 컬러차트의 배치 방향 또는 광원의 종류에 따른 노출값의 조절에 관한 사항은 앞에서 설명한 것과 동일하다.
다음으로 곡선 산출부(120)는 복수의 제1영상으로부터 추출된 컬러차트에 대응하는 영역인 참조영역을 구성하는 각각의 색상을 컬러차트의 실제 색상과 대비하여 각각의 제1영상에 대응하는 색조 재현 곡선을 산출한다(S820). 색조 재현 곡선은 적색, 녹색 및 청색의 컬러채널에 대해 각각 산출된다. 또한 매트릭스 산출부(130)는 참조영역을 구성하는 각각의 색상을 컬러차트를 구성하는 각각의 실제 색상으로 선형 변환시키는 색상 보정 매트릭스를 각각의 제1영상에 대응하여 산출한다(S830).
보정영상 생성부(140)는 각각의 색조 재현 곡선 및 색상 보정 매트릭스를 ICC 프로파일 태그에 적용시켜 생성된 수정 ICC 프로파일을 기초로 각각의 제1영상에 대응하는 제2영상의 색상을 보정하여 복수의 보정영상을 생성한다(S840). 색조 재현 곡선 및 색상 보정 매트릭스가 복수 개이므로 수정 ICC 프로파일도 복수 개가 생성되며, 이는 각각의 제2영상에 적용된다. 마지막으로 합성영상 생성부(150)는 복수의 보정영상에서 동일한 위치에 해당하는 각각의 화소를 사전에 설정된 합성 비율에 따라 합성하여 하나의 합성영상을 생성한다(S850). 합성 비율은 색차값을 기초로 설정되며, 색차값은 Lab 색상공간에서 보정영상의 흰색에 해당하는 지점과 컬러차트의 흰색에 해당하는 지점 사이의 거리에 의해 산출된다.
본 발명의 성능을 확인하기 위한 실험을 수행하였다. 실험은 한 방향으로 빛을 조사하는 백열등 및 다른 방향으로 빛을 조사하는 형광등 하에서 촬영된 영상에 대해 이루어졌으며, 자연광도 포함되었다. 실험 결과의 질적 평가를 위해 ab 색상공간 상에 표현된 색상 산점도(color scatter plot)가 사용되었다.
도 9는 백열등과 형광등을 사용한 실험 결과 얻어진 영상들을 나타낸 도면이다. 도 9의 (a)는 백열등만 점등되었을 때 촬영된 제2영상, (b)는 형광등만 점등되었을 때 촬영된 제2영상, (c)는 백열등과 형광등이 모두 점등되었을 때 촬영된 제2영상을 나타낸 것이다. 도 9의 (d) 내지 (f)는 각각 도 9의 (a) 내지 (c)의 제2영상들로부터 얻어진 색상 혼합 모델을 나타낸 것으로, 제2영상을 구성하는 각각의 화소에 합성 비율을 적용한 것이다. (d)의 영상은 왼편에서 가장 큰 에러를 보이며, (e)의 영상은 오른편에서 가장 큰 에러를 보이는데, 이는 각각의 영상이 촬영될 때 빛을 조사하는 광원의 방향과 대응하는 것이다. 따라서 색상의 보정 및 보정영상의 합성에 의해 광원으로 인해 나타나는 에러는 사라지게 됨을 알 수 있다. 도 9의 (g)는 합성영상을 나타내며, (h)는 L채널이 교체된 합성영상을 나타내는 것이다. L채널이 교체됨으로써 색상 부조화와 같은 에러가 사라짐을 확인할 수 있다.
도 10은 복수의 광원이 모두 점등되었을 때 얻어진 제2영상과 보정영상의 색상 산점도를 나타낸 도면이다. 도 10의 (a)는 백열등과 형광등이 모두 점등되었을 때 촬영된 제2영상인 P 영상으로, 산점도가 ab 색상공간 내에서 균일하게 분포되어 있지 않아 영상의 낮은 색상 질감을 나타낸다. 반면, 도 10의 (b)는 P 영상에 대해 색상 보정이 이루어진 후의 보정영상의 색상 산점도로, 색상 분포가 고르게 이루어져 영상의 색상 질감이 높아졌다는 것을 확인할 수 있다.
도 11은 영상 내에서 색상 그라디언트(gradient) 또는 변화가 나타나는 부분에 대해 색상 보정의 전, 후를 시각적으로 비교하기 위한 도면이다. 도 11의 (a) 내지 (c)에서 상단의 영상은 색상 보정이 이루어지지 않은 제2영상 중에서 백열등 과 형광등이 모두 점등되었을 때 촬영된 P 영상이고, 하단의 영상은 제2영상에 수정 ICC 프로파일이 적용되어 생성된 보정영상이다. 도 11의 (a) 내지 (c) 모두에서 색상 보정이 이루어진 경우의 색상 산점도가 더 고른 분포를 보인다는 것을 확인할 수 있다.
도 12는 다양한 테스트 영상에 대해 본 발명의 성능을 시험한 결과를 나타낸 도면이다. 도 12의 (a)는 실내에서 촬영된 영상이고, (b)는 실외에서 촬영된 영상이며, (c)는 합성영상(synthetic image)이다. 세 경우 모두 캐논(Canon)사의 D-10 모델의 카메라에 의해 백열등 및 형광등 하에서 촬영된 영상을 바탕으로 한 것이다. 도 12의 (a) 및 (c)를 참조하면, 자연광이 존재할 때 촬영한 영상에 대하여도 본 발명은 색상 보정에 있어서 우수한 성능을 보인다는 것을 알 수 있다. 도 12의 (c)의 경우에도 이전의 실험 결과들과 마찬가지로 향상된 색상 질감을 보인다.
앞의 실험에서 사용된 광원인 백열등과 형광등 외에 다른 광원 하에서 촬영된 영상에 대하여 본 발명의 성능을 시험하였다. 또한 본 발명의 성능은 에러의 실효치(root-mean-square error)의 형태로 기존의 색상 보정 기법들인 PROFILE MAKERTM 및 I-1과 비교되었다. 아래의 표 2에 그 결과를 나타내었다.
광원 |
PROFILE MAKERTM |
I-1 |
본 발명 |
A_CWF |
119.4761 |
67.7193 |
53.0244 |
CWF-HORIZON |
127.2063 |
81.3686 |
53.2583 |
CWF-U30 |
121.8296 |
69.035 |
59.539 |
D65-A |
106.7238 |
39.8982 |
35.9207 |
D65-CWF |
103.0539 |
35.5892 |
31.9188 |
D65-U30 |
108.719 |
45.3516 |
42.1452 |
HORIZON-A |
122.0171 |
70.1249 |
41.2256 |
HORIZON-U30 |
154.8729 |
123.3306 |
52.9711 |
U30-A |
130.1626 |
83.9268 |
53.8381 |
표 2에 나타난 바와 같이 실험 환경은 HORIZON(1750럭스, 6319K), CWF(1606럭스, 3970K), A(1969럭스, 2863K), U30(1675럭스, 2843K) 및 D-65(1660럭스, 6319K)를 포함하는 다양한 광원의 조합으로 설정되었다. 표 2를 참조하면, 모든 종류의 광원에 대해 본 발명은 기존의 기법들에 비해 우수한 성능을 보이고 있음을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.