KR101068653B1 - 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 - Google Patents

Abstract

본 발명은 색 항상성 유지와 더불어 색 불균형을 보정하는 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 본 발명은 입력 영상과 기준 영상을 비교하며, 이 비교를 통해 입력 영상으로부터 무채색 영역을 추출하는 영역 추출부; 무채색 영역으로부터 선택된 기준 채널 영역의 색 특성값을 고려하여 무채색 영역으로부터 선택된 목적 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제1 보상값을 추정하는 제1 보상값 추정부; 기준 영상으로부터 선택된 제1 채널 영역의 색 특성값을 고려하여 제1 채널과 동일 채널이며 무채색 영역으로부터 선택된 제2 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제2 보상값을 추정하는 제2 보상값 추정부; 및 제1 보상값과 제2 보상값으로부터 얻은 이득값으로 입력 영상에서의 색을 보정하는 색 보정부를 포함하는 것을 특징으로 하는 영상 컬러 보정 장치를 제공한다. 본 발명에 따르면, 영상에서 컬러 롤링을 제거할 수 있으며, 밝기나 색 변화 없이 일관된 영상을 획득할 수 있다. 또한, 영상의 품질도 향상시킬 수 있다.

Description

영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 {Apparatus and method for compensating color of image, and the recording media storing the program performing the said method}

본 발명은 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 색 항상성 유지와 더불어 색 불균형을 보정하는 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다.

디지털 이미징 장치를 이용하여 영상을 획득하는 경우, 장치 내부적 요인 뿐만 아니라 외부 환경에 의한 영향도 받는다. 외부 환경 중에서 가장 큰 영향을 미치는 것은 빛의 종류를 결정하는 광원으로, 이러한 광원의 색온도에 따라 동일한 물체라 하더라도 서로 다른 색상의 영상을 얻게 된다. 이와 같이 외부 조명의 색온도에 의해 현재 획득하는 영상의 색이 변하는 경우 물체의 색 항상성(color constancy)이 깨지면서 색 불균형이 발생한다. 일반적으로 이러한 현상을 화이트 밸런스(white balance)가 맞지 않는다고 정의한다. 반면, 획득된 동영상이 장치 내부적 요인에 의해 색온도가 프레임에 따라 변하는 현상도 발생할 수 있다. 이러한 현상을 컬러 롤링(color rolling)이라 정의한다. 컬러 롤링은 동일한 환경에서 획득한 영상임에도 불구하고 영상의 색온도가 지속적으로 변하는 현상으로, 영상 전체 색이 황색, 청색, 무채색 등 서로 다른 밝기값을 가지면서 반복적으로 나타날 때 일어난다.

이처럼 영상 입력 장치의 내부적 혹은 외부적 요인으로 인해 영상의 색이 변질되는 경우, 동영상의 안정성이 떨어지면서 플리커(flicker) 등의 문제점이 발생한다. 더불어, 지속적으로 색이 변하면서 오브젝트 디텍션(object detection) 등 영상 응용에도 어려움이 따른다. 그래서, 종래에는 컬러 롤링을 저감시킬 수 있게 여러 방안이 제안되었다.

종래 컬러 롤링을 저감시키는 방법으로 자동 조리개 렌즈를 이용한 방법이 통용되고 있다. 자동 조리개 렌즈를 사용하면, 셔터 스피드(shutter speed)에 대해서 일정한 빛을 받아들일 수 있기 때문에 컬러 롤링 현상 없이 영상을 획득할 수 있다. 그러나, 자동 조리개 조절 렌즈가 고가인 이유로 이를 카메라 구성에 포함시킬 경우 카메라의 제조 비용이 급증하는 문제점이 있다.

컬러 롤링을 저감시키는 방법으로 영상의 샘플링 주파수를 외부 광원(ex. 형광등)의 전원 주파수에 맞추는 라인 락(line lock) 모드 방법도 있다. 이 방법은 컬러 롤링의 근본적인 문제인 외부 광원의 전원 주파수와 영상의 샘플링 주파수의 차이를 보상하기 때문에 색온도 변화 없이 일정한 영상을 획득할 수 있다. 그러나, 이 방법은 하드웨어의 추가적 구성이 필요하여 제조 비용과 장치 부피가 증가하는 문제점을 발생시킨다.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 컬러 영상 시퀀스에서 발생하는 색 유동성 억제와 색 불균형 보정을 동시에 수행하는 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 입력 영상과 기준 영상을 비교하며, 상기 비교를 통해 상기 입력 영상으로부터 무채색 영역을 추출하는 영역 추출부; 상기 무채색 영역으로부터 선택된 기준 채널 영역의 색 특성값을 고려하여 상기 무채색 영역으로부터 선택된 목적 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제1 보상값을 추정하는 제1 보상값 추정부; 상기 기준 영상으로부터 선택된 제1 채널 영역의 색 특성값을 고려하여 상기 제1 채널과 동일 채널이며 상기 무채색 영역으로부터 선택된 제2 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제2 보상값을 추정하는 제2 보상값 추정부; 및 상기 제1 보상값과 상기 제2 보상값으로부터 얻은 이득값으로 상기 입력 영상에서의 색을 보정하는 색 보정부를 포함하는 것을 특징으로 하는 영상 컬러 보정 장치를 제공한다.

바람직하게는, 상기 제1 보상값 추정부는 상기 목적 채널 영역의 색 특성 평균값에 대한 상기 기준 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 상기 제1 보상값을 추정한다.

바람직하게는, 상기 제2 보상값 추정부는 상기 제2 채널 영역의 색 특성 평균값에 대한 상기 제1 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 상기 제2 보상값을 추정한다.

바람직하게는, 상기 색 보정부는 상기 이득값으로 상기 제1 보상값과 상기 제2 보상값의 곱셈값을 이용한다.

바람직하게는, 상기 영역 추출부는 상기 기준 영상으로 움직임이 없을 때 최대 밝기값을 가지는 영상을 선택하는 기준 영상 선택부를 포함한다.

바람직하게는, 상기 영역 추출부는 상기 입력 영상으로부터 선택된 목적 영역이 색온도에 기반하여 미리 정해진 광원의 무채색 영역에 포함되면 상기 목적 영역을 무채색 영역으로 추출한다.

바람직하게는, 상기 영역 추출부는 상기 입력 영상과 상기 기준 영상을 비교하는 영상 비교부; 상기 비교를 통해 상기 입력 영상으로부터 움직임 영역을 추출하는 움직임 영역 추출부; 상기 입력 영상에서 상기 추출된 움직임 영역을 제외한 나머지 영역인 비움직임 영역을 대상으로 상기 무채색 영역을 추출하는 무채색 영역 추출부를 포함한다. 더욱 바람직하게는, 상기 영상 비교부는 상기 입력 영상과 상기 기준 영상을 블록 단위로 구분하여 비교하며, 상기 움직임 영역 추출부는 상기 입력 영상에 구비되는 목적 블록과 상기 기준 영상에 구비되는 대상 블록 간의 색분포 차이값이 미리 정해진 기준값 이상일 경우 상기 목적 블록을 움직임 영역으로 추출한다.

바람직하게는, 상기 영상 컬러 보정 장치는 입력 영상을 복호화시키는 장치 에 구비되며, 상기 입력 영상으로 색 보간(color interpolation)된 영상을 이용한다.

또한, 본 발명은 (a) 입력 영상과 기준 영상을 비교하며, 상기 비교를 통해 상기 입력 영상으로부터 무채색 영역을 추출하는 단계; (b) 상기 무채색 영역으로부터 선택된 기준 채널 영역의 색 특성값을 고려하여 상기 무채색 영역으로부터 선택된 목적 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제1 보상값을 추정하는 단계; (c) 상기 기준 영상으로부터 선택된 제1 채널 영역의 색 특성값을 고려하여 상기 제1 채널과 동일 채널이며 상기 무채색 영역으로부터 선택된 제2 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제2 보상값을 추정하는 단계; 및 (d) 상기 제1 보상값과 상기 제2 보상값으로부터 얻은 이득값으로 상기 입력 영상에서의 색을 보정하는 단계를 포함하는 것을 특징으로 하는 영상 컬러 보정 방법을 제공한다.

바람직하게는, 상기 (b) 단계는 상기 목적 채널 영역의 색 특성 평균값에 대한 상기 기준 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 상기 제1 보상값을 추정한다.

바람직하게는, 상기 (c) 단계는 상기 제2 채널 영역의 색 특성 평균값에 대한 상기 제1 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 상기 제2 보상값을 추정한다.

바람직하게는, 상기 (d) 단계는 상기 이득값으로 상기 제1 보상값과 상기 제2 보상값의 곱셈값을 이용한다.

바람직하게는, 상기 (a) 단계는 상기 기준 영상으로 움직임이 없을 때 최대 밝기값을 가지는 영상을 선택하며, 상기 입력 영상으로부터 선택된 목적 영역이 색온도에 기반하여 미리 정해진 광원의 무채색 영역에 포함되면 상기 목적 영역을 무채색 영역으로 추출한다.

바람직하게는, 상기 (a) 단계는 (aa) 상기 입력 영상과 상기 기준 영상을 블록 단위로 구분하여 비교하는 단계; (ab) 상기 비교를 통해 상기 입력 영상으로부터 움직임 영역을 추출하되, 상기 입력 영상에 구비되는 목적 블록과 상기 기준 영상에 구비되는 대상 블록 간의 색분포 차이값이 미리 정해진 기준값 이상일 경우 상기 목적 블록을 움직임 영역으로 추출하는 단계; (ac) 상기 입력 영상에서 상기 추출된 움직임 영역을 제외한 나머지 영역인 비움직임 영역을 대상으로 상기 무채색 영역을 추출하는 단계를 포함한다.

본 발명에 따르면, 다음과 같은 효과를 얻을 수 있다. 첫째, 컬러 영상 시퀀스에서 발생하는 색 유동성 억제와 색 불균형 보정을 동시에 수행함으로써 영상에서 컬러 롤링을 제거할 수 있다. 또한, 밝기나 색 변화 없이 일관된 영상을 획득할 수 있으며, 영상의 품질도 향상시킬 수 있다. 둘째, 색 항상성을 유지시키면서 색 불균형을 보정하기 때문에 플리커가 발생하지 않으며, 디지털 이미징 장치를 안정적으로 구동시킬 수 있다. 세째, 하드웨어의 추가 없이 신호 처리 방법에 따라 소프트웨어적으로 구현하기 때문에 카메라 제조 원가를 절감시킬 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 영상 컬러 보정 장치를 개략적으로 도시한 블록도이다. 도 1에 따르면, 영상 컬러 보정 장치(100)는 영상 입력부(110), 영역 추출부(120), 제1 보상값 추정부(130), 제2 보상값 추정부(140), 색 보정부(150), 영상 출력부(160), 전원부(170) 및 제어부(180)를 포함한다.

영상 컬러 보정 장치(100)는 컬러 영상 시퀀스에서 발생하는 색 유동성 억제(컬러 롤링 현상 방지)와 더불어 색 불균형 보정을 수행한다. 자세하게는, 영상 컬러 보정 장치(100)는 다음과 같이 작동한다. 먼저, 영상 컬러 보정 장치(100)는 미리 설정해 놓은 기준 프레임에 대해 현재 프레임과의 비교를 통해 화상 내부의 움직임을 파악한다. 이후, 영상 컬러 보정 장치(100)는 현재 프레임과 기준 프레임 상에서 추출한 정지 영역에 포함된 무채색 영역의 채널별 컬러 특성을 이용하여 현재 프레임의 밝기 변화분을 보상한다. 영상 컬러 보정 장치(100)는 이러한 구동을 통하여 영상 시퀀스의 시간축 상에서 발생하는 색 유동성을 방지하고 하나의 영상 에서 발생하는 색 불균형을 동시에 해결한다. 또한, 영상에서 일정 밝기를 가짐과 동시에 물체의 색이 실제와 가장 유사하게 나타나도록 한다.

영상 컬러 보정 장치(100)는 가중치를 이용하여 영상의 밝기를 보상함으로써 색감을 향상시키는 데에 기여한다. 컬러 롤링 현상은 형광등에 전원을 공급하는 전원 주파수 60Hz와 동영상의 샘플링 주파수(sampling frequency) 59.94Hz 사이의 차이로 인해 각 프레임마다 받아들이는 광량에 변화가 생기기 때문에 나타난다. 이때, R, G에 비해 상대적으로 파장이 짧은 B 채널 값에 대해서는 센서의 수광부에서 받아들이는 광량 변화가 크게 나타나며, 주변 광원의 종류에 따라 각 채널의 색 변화가 다르게 나타나기도 한다. 또한, 각 시점에 대해서 형광등에서 나오는 빛의 파장이 달라질 수 있는데, 이 역시 컬러 롤링의 원인 중 하나이다.

영상 컬러 보정 장치(100)는 연속된 영상에서 나타나는 색 유동성을 신호처리적인 관점에서 억제시킨다. 특히, 영상 컬러 보정 장치(100)는 ISP(Image Signal Processing) 모듈에서 색 보간(color interpolation) 과정 이후의 영상에 대해 적용하여 동영상의 색 유동성을 방지하며, 컬러 롤링 억제와 함께 화이트 밸런스를 동시에 수행한다.

영상 컬러 보정 장치(100)는 입력 영상을 복호화시키는 장치에 구비된다. 본 실시예에서 반드시 이에 한정되는 것은 아니므로, 영상 컬러 보정 장치(100)는 입력 영상을 부호화시키는 장치에 구비되는 것도 가능하다. 영상 컬러 보정 장치(100)는 예컨대 감시용 카메라에 구비될 수 있다.

영상 입력부(110)는 영상을 입력받는 기능을 수행한다.

영역 추출부(120)는 입력 영상 프레임과 기준 영상 프레임을 비교하며, 이 비교를 통해 입력 영상 프레임으로부터 무채색 영역을 추출하는 기능을 수행한다. 이러한 영역 추출부(120)는 기준 영상 프레임 선택부(121), 영상 프레임 비교부(122), 움직임 영역 추출부(123) 및 무채색 영역 추출부(124)를 포함한다. 이하 설명은 도 2를 참조한다.

기준 영상 프레임 선택부(121)는 컬러 롤링 제거를 위해 설정한 밝기 보상의 기준이 되는 기준 영상 프레임을 선택하는 기능을 수행한다. 바람직하게는, 기준 영상 프레임 선택부(121)는 움직임이 없을 때 최대 밝기값을 가지는 영상 프레임을 기준 영상 프레임으로 선택한다.

영상 프레임 비교부(122)는 입력 영상 프레임과 기준 영상 프레임을 비교하는 기능을 수행한다. 바람직하게는, 영상 프레임 비교부(122)는 입력 영상 프레임과 기준 영상 프레임을 블록 단위로 구분하여 비교한다.

움직임 영역 추출부(123)는 입력 영상 프레임과 기준 영상 프레임의 비교를 통해 입력 영상 프레임으로부터 움직임 영역을 추출하는 기능을 수행한다. 본 실시예에서 움직임 영역을 추출하는 것은 입력 영상 프레임에서 움직임 영역을 배제시켜 비움직임 영역을 구하기 위해서이다.

움직임 영역 추출부(123)는 입력 영상 프레임에 구비되는 목적 블록과 기준 영상 프레임에 구비되는 대상 블록 간의 색분포 차이값이 미리 정해진 기준값 이상일 경우 목적 블록을 움직임 영역으로 추출한다. 움직임 영역 추출부(123)는 이를 위해 제1 색 분포값 계산부(미도시), 제2 색 분포값 계산부(미도시), 및 색분포 비 교부(미도시)를 구비할 수 있다. 상기에서, 제1 색 분포값 계산부는 입력 영상 프레임에 구비되는 블록들에 대하여 각 블록의 색 분포값을 계산하는 기능을 수행한다. 또한, 제2 색분포 계산부는 기준 영상 프레임에 구비되는 블록들에 대하여 각 블록의 색 분포값을 계산하는 기능을 수행한다. 또한, 색분포 비교부는 입력 영상 프레임에 구비되는 특정 블록과 기준 영상 프레임에 구비되는 비교대상 블록 간의 색분포 값을 비교하는 기능을 수행한다.

움직임 판단 방법은 기준 프레임과 입력 프레임 사이의 변화 정도를 파악함으로써 이루어진다. 본 실시예에서는 정확한 기준에 따라 기준 프레임으로 삼았다는 가정 하에 알고리즘을 진행한다. 본 실시예에서는 기준 프레임으로 움직임이 없는 상태의 밝기가 가장 밝은 프레임을 선택한다. 그 이유는 다음과 같다. 첫째, 움직임을 판단하는 데에 적합한 기준이어야 하기 때문이다. 둘째, 색 유동성이 발생하는 경우 가장 밝기가 밝은 부분으로 수렴시키는 것이 컬러 롤링 저감에 유리하기 때문이다.

프레임 내 움직임 판단은 기준 프레임과 입력 프레임의 비교를 바탕으로 국지적 움직임에 대해 검출하는 것이다. 이때, 대부분의 하드웨어 구성에서는 프레임 메모리 사용에 대한 제약이 있기 때문에, 본 실시예에서는 하나의 프레임을 다수의 블록으로 나눈 뒤 움직임을 판단하는 블록 모션 맵 기반 움직임 판단 방법을 이용한다.

먼저, 프레임을 블록으로 나누었을 때, 각 블록에 대한 색분포 통계치로써 평균을 추출한다. 이후, 각 블록 평균에 대해서 기준 프레임과의 비교를 통해 차이 가 큰 부분에 대해서는 국지적 움직임이 있는 것으로 판단한다. 반면, 유사한 부분에 대해서는 국지적 움직임이 없는 것으로 판단한다. 이때, 입력 프레임에서의 m번째 블록 평균은 다음과 같이 정의할 수 있다.

상기에서, N_m은 m번째 블록에 속하는 픽셀의 위치를 나타내며, A(i, j)는 입력 프레임의 (i, j)에서의 A 채널 성분을 나타낸다.

이를 바탕으로 m번째 블록에 대한 국지적 움직임 여부는 수학식 2와 같이 판단된다. 한편, 도 3에서 블록 단위 모션 맵을 구하는 과정은 수학식 2에서

와 같다. 이 과정으로부터 얻어진 결과값은 블록 단위의 로컬 모션 맵(local motion map)(300)으로, 움직임 영역(310)과 비움직임 영역(320)을 포함한다. 도면부호 330은 입력 영상 프레임을 가리키며, 도면부호 340은 기준 영상 프레임을 가리킨다.

상기에서, A는 R 채널, G 채널, B 채널 중 어느 하나를 의미한다. gain은 기준 프레임과 현재 프레임의 밝기 차이를 보정하기 위한 가중치 값이며, Thres(·) 는 움직임 여부를 판단하는 경판정(hard decision) 함수이다. 일반적으로 실시간 구현을 위해 gain은 이전 프레임에서의 밝기 보정 값을 사용한다. 이때, 각각의 채널에 대해서 분포하고 있는 국지적 움직임 정보를 통합하기 위해 어느 한 채널에 국지적 움직임이 있는 블록은 아래 수학식 3에 따라 국지적 움직임이 있는 블록으로 판단한다.

m번째 블록이 모션이 없다고 판명되는 경우 이 영역에 대해 무채색 영역 여부를 판단한다.

비움직임 영역 추출부는 입력 영상 프레임에서 추출된 움직임 영역을 제외한 나머지 영역을 대상으로 비움직임 영역을 추출하는 기능을 수행한다. 입력 영상 프레임에서 움직임 영역을 제외하면 쉽게 비움직임 영역을 구할 수 있다. 따라서, 이러한 비움직임 영역 추출부는 본 실시예에서 구비되지 않아도 무방하다.

무채색 영역 추출부(124)는 추출된 비움직임 영역으로부터 무채색 영역을 추출하는 기능을 수행한다. 바람직하게는, 영역 추출부(120)는 입력 영상 프레임으로부터 선택된 목적 영역이 색온도에 기반하여 미리 정해진 광원의 무채색 영역에 포함되면 목적 영역을 무채색 영역으로 추출한다.

무채색 영역을 추출하는 방법은 다양하다. 본 실시예에서는 무채색 영역 추출 방법으로 색온도에 기반한 무채색 추출 방법을 사용한다. 이하 설명은 도 4를 참조한다. 도 4에는 일반적인 광원의 무채색 영역이 x 영역과 y 영역의 조합으로 나타나 있다. 주어진 블록의 픽셀 성분들을 x 값과 y 값으로 변환했을 때 이 픽셀 성분들로 구성되는 영역이 도 4에 표시된 영역(400)에 포함된다면 해당 영역을 무채색 영역으로 볼 수 있다. 반면, 포함되지 않는다면 이 영역을 일반 색 영역으로 보면 된다.

다시, 도 1을 참조하여 설명한다.

제1 보상값 추정부(130)는 무채색 영역으로부터 선택된 기준 채널 영역의 색 특성값을 고려하여 무채색 영역으로부터 선택된 목적 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제1 보상값, 즉 채널 간 색 보상값을 추정하는 기능을 수행한다. 바람직하게는, 제1 보상값 추정부(130)는 목적 채널 영역의 색 특성 평균값에 대한 기준 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 제1 보상값을 추정한다.

제1 보상값 추정부(130)는 기준 채널 선택부(131)를 포함한다. 기준 채널 선택부(131)는 무채색 영역에 포함된 적어도 두개의 채널들로부터 기준 채널을 선택하는 기능을 수행한다. 바람직하게는, 기준 채널 선택부(131)는 기준 채널로 G 채널을 선택한다. 그 이유는 일반적으로 R·G·B 3개의 채널 중에서 G 채널이 영상의 밝기 정보를 대표하기 때문이다.

제1 보상값 추정부(130)는 입력 영상 프레임의 무채색 영역에 대해 R, G, B 각 채널에서의 비율을 구한다. 제1 보상값 추정부(130)의 이러한 기능은 채널 간 차이 보상을 통해 색 불균형을 해소하므로 색 항상성을 향상시키는 데에 기여한다.

R, G, B 채널에 각각 나타나는 색 유동성 및 색 불균형은 수학식 3에 기재된 채널별 통계적 특성을 이용하여 다음과 같이 일정 비의 곱으로써 나타난다.

R_out=gain_RR

G_out=gain_GG

B_out=gain_BB

이때, 색 불균형을 해결하기 위한 방안으로 von kries의 방법에 기초하여 다음과 같이 R, B 채널에 나타난 색 치우침을 G 채널을 기준으로 맞추어 주도록 한다.

상기에서, R_AWB, G_AWB, B_AWB는 R 채널, G 채널, B 채널 각각에서의 보상값을 의미한다. 또한,

는 입력 프레임에서 R 채널, G 채널, B 채널 각각에서의 색 특성 평균값을 의미한다. 또한, R, G, B는 입력 프레임에서 R 채널, G 채널, B 채널 각각에서의 색상값을 의미한다.

제2 보상값 추정부(140)는 기준 영상으로부터 선택된 제1 채널 영역의 색 특성값을 고려하여 제1 채널과 동일 채널이며 무채색 영역으로부터 선택된 제2 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제2 보상값, 즉 프레임 간 색 보상 값을 추정하는 기능을 수행한다. 바람직하게는, 제2 보상값 추정부(140)는 제2 채널 영역의 색 특성 평균값에 대한 제1 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 제2 보상값을 추정한다.

제2 보상값 추정부(140)는 기준 영상 프레임의 무채색 영역에서 R·G·B 비율을 계산한다. 제2 보상값 추정부(140)는 계산된 비율과 함께 입력 영상 프레임의 무채색 영역에서 구한 R·G·B 비율을 이용하여 밝기를 보상한다. 제2 보상값 추정부(140)는 이러한 보상을 통해 색 유동성을 방지하며, 컬러 롤링 현상을 제거시킨다.

제2 보상값 추정부(140)는 색 유동성을 방지하기 위해 아래 수학식 5에 따라 기준 프레임과 입력 프레임 간의 비율을 맞추어 준다.

상기에서, R_CRS, G_CRS, B_CRS는 R 채널, G 채널, B 채널 각각에서의 제2 보상값을 의미한다. 또한, R_target, G_target, B_target는 기준 프레임에서 R 채널, G 채널, B 채널 각각에서의 색 특성 평균값을 의미한다.

색 보정부(150)는 제1 보상값과 제2 보상값으로부터 얻은 이득값으로 입력 영상 프레임에서의 색을 보정하는 기능을 수행한다.

색 보정부(150)는 이득값 계산부(151)를 포함한다. 이득값 계산부(151)는 제 1 보상값과 제2 보상값의 곱셈값을 이득값으로 계산하는 기능을 수행한다. 이득값 계산부(151)는 제1 보상값과 제2 보상값의 합산값을 이득값으로 계산하는 것도 가능하다.

프레임 간의 밝기를 통일시킨 후(CRS; Color Rolling Suppression) 입력 프레임의 색 불균형을 해결(AWB; Auto White Balance)한다면, AWB에 의한 영향이 상쇄되면서 하나의 통합된 가중치를 얻을 수 있다. 이러한 가중치는 AWB에 의한 제1 색 보정값과 CRS에 의한 제2 색 보정값을 곱셈한 것으로 수학식 6에 기재된 바와 같다.

상기에서, gain_R, gain_G, gain_B는 R 채널, G 채널, B 채널 각각에서의 가중치를 의미한다. 또한, G_current는 입력 프레임에서 기준 채널인 G 채널의 색상값을 의미한다.

가중치는 시간에 반비례하는 특성과 더불어 프레임 간 움직임 정도에 대한 정보도 포함한다. 따라서, 입력 프레임과의 유사성이 반영될 수 있도록 움직임이 미리 정해진 기준값보다 클 경우 작은 가중치를 부여한다.

최종적으로 획득한 영상 시퀀스에 대한 무채색 영역의 R, G, B 변화량은 도 5에 도시한 바와 같다. 도 5의 (a)는 입력 영상의 무채색 평균 변화량을 나타내며, 도 5의 (b)는 본 실시예가 적용된 출력 영상의 무채색 평균 변화량을 나타낸다. 도 5의 (a)와 (b)를 비교해 보면 알 수 있듯이, 본 실시예에서는 밝기나 색 변화 없이 일관된 영상을 획득할 수 있으며, 영상의 품질도 향상시킬 수 있다.

그런데, 입력 프레임의 채널 특성인

는 직접 계산하여 입력 프레임에 적용하기엔 어려움이 따르기 때문에 보통 추정을 한다. 이때, 바로 이전 프레임 정보를 이용할 수도 있지만, 잡음의 영향으로 정확성이 떨어진다. 그래서, 본 실시예에서는 입력 프레임 채널 특성을 다음과 같이 추정한다.

본 실시예에서 제안하는 입력 프레임 채널 특성 추정 방법은 수학식 7과 같으며, 누적 평균을 이용하여 불필요한 고주파 성분을 제거시키며 입력 프레임과 가까운 쪽에 가중치를 줌으로써 추정 시간을 감축시킬 수가 있다.

상기에서,

은 각 프레임에서의 무채색 영역의 평균값을 나타낸다. A(i, j)는 입력 영상의 (i, j) 화소 위치에서의 A 채널 값이며, N은 해당 프레임의 무채색 영역에 대한 집합이다.

입력 프레임 채널 특성 추정 방법은 변화량에 대한 누적 평균을 이용하여 변화량을 보상할 수 있게 하며, 잡음에 의한 변화가 평균값에 미치는 영향을 최소화시킨다. 이러한 입력 프레임 채널 특성 추정 방법은 앞서 설명한 가중치 계산 방법과 마찬가지로 기준 프레임보다 입력 프레임에 가까운 것에 더 많은 가중치를 부여한다.

영상 출력부(160)는 색 보정이 이루어진 영상을 출력하는 기능을 수행한다.

전원부(170)는 영상 컬러 보정 장치(100)를 구성하는 각 부에 전원을 공급하는 기능을 수행한다.

제어부(180)는 영상 컬러 보정 장치(100)를 구성하는 각 부의 전체 작동을 제어하는 기능을 수행한다.

이상 설명한 영상 컬러 보정 장치(100)은 컬러 롤링 현상을 제거함으로써 컬러 영상 시퀀스의 색감을 유지함과 동시에 프레임 각각의 색 항상성을 높여준다. 이러한 영상 컬러 보정 장치(100)의 특징에 대해 정리하면 다음과 같다.

첫째, 컬러 이미징 시스템에서 획득하는 컬러 영상 시퀀스에 대해 색 유동성이 발생하고 색 불균형이 일어나는 경우에 적용함으로써, 일정한 색감을 가지는 고품질 영상을 획득할 수 있다.

둘째, 현재 프레임과 기준 프레임 간 비교를 통해 밝기를 보정하는 보상값과 채널별 균형을 맞추는 보상값을 하나로 통합함으로써, 단일 프로세스로써 색 유동성과 색 불균형을 모두 해소시킬 수 있다.

세째, 컬러 롤링 현상 해결을 위해서는 밝기의 기준이 되는 프레임을 선정해야 한다. 본 실시예에서는 이러한 기준 영상으로 최대 밝기를 가지고 화면 내에서 움직임이 없는 정지 영상을 설정한다.

네째, 보상값으로 현재 프레임과 기준 프레임의 통계적 특성을 나타내는 값의 비율로 정하되 움직임이 없는 영역의 대표값만을 이용한다.

다섯째, 영상 내부 물체의 움직임이 있는 영역을 제외시키기 위해서는 먼저 움직임 영역을 추출해야 한다. 본 실시예에서는 동일 위치에 대해 기준 프레임과 현재 프레임 사이의 변화 정도를 비교함으로써 움직임 여부를 파악한다.

여섯째, 현재 프레임의 밝기 차를 보상하는 방법에 있어서 보상 가중치(gain)를 구하여 현재 프레임의 모든 화소 위치에 동일하게 보상해 준다.

일곱째, 움직임 영역을 추출할 때에 프레임 정보를 이용함에 있어서 프레임 메모리 사용이 제한될 경우 영상 프레임을 k개의 블록으로 나누어 블록 대표값으로 대체한다.

다음으로, 영상 컬러 보정 방법에 대해 설명한다. 도 6은 본 발명의 바람직한 실시예에 따른 영상 컬러 보정 방법을 도시한 순서도이다. 이하 설명은 도 6을 참조한다.

먼저, 영상 입력부(110)가 영상을 입력받는다(S600).

이후, 영역 추출부(120)가 입력 영상 프레임과 기준 영상 프레임을 비교하며, 이 비교를 통해 상기 입력 영상 프레임으로부터 무채색 영역을 추출한다(S610). 영역 추출부(120)는 기준 영상 프레임으로 움직임이 없을 때 최대 밝기 값을 가지는 영상 프레임을 선택하며, 입력 영상 프레임으로부터 선택된 목적 영역이 색온도에 기반하여 미리 정해진 광원의 무채색 영역에 포함되면 목적 영역을 무채색 영역으로 추출한다.

영역 추출부(120)의 무채색 영역 추출 과정을 보다 자세하게 설명하면 다음과 같다. 제1 단계에서, 영상 프레임 비교부(122)가 입력 영상 프레임과 기준 영상 프레임을 블록 단위로 구분하여 비교한다. 이후 제2 단계에서, 움직임 영역 추출부(123)가 상기 비교를 통해 입력 영상 프레임으로부터 움직임 영역을 추출하되, 입력 영상 프레임에 구비되는 목적 블록과 기준 영상 프레임에 구비되는 대상 블록 간의 색분포 차이값이 미리 정해진 기준값 이상일 경우 목적 블록을 움직임 영역으로 추출한다. 이후 제3 단계에서, 무채색 영상 추출부(124)가 입력 영상 프레임에서 추출된 움직임 영역을 제외한 나머지 영역 즉, 비움직임 영역을 대상으로 무채색 영역을 추출한다.

이후, 제1 보상값 추정부(130)가 무채색 영역으로부터 선택된 기준 채널 영역의 색 특성값을 고려하여 무채색 영역으로부터 선택된 목적 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제1 보상값을 추정한다(S620). 바람직하게는, 제1 보상값 추정부(130)는 목적 채널 영역의 색 특성 평균값에 대한 기준 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 제1 보상값을 추정한다.

이후, 제2 보상값 추정부(140)가 기준 영상으로부터 선택된 제1 채널 영역의 색 특성값을 고려하여 제1 채널과 동일 채널이며 무채색 영역으로부터 선택된 제2 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제2 보상값을 추정한 다(S630). 바람직하게는, 제2 보상값 추정부(140)는 제2 채널 영역의 색 특성 평균값에 대한 제1 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 제2 보상값을 추정한다.

이후, 색 보정부(150)가 제1 보상값과 제2 보상값으로부터 얻은 이득값으로 입력 영상 프레임에서의 색을 보정한다(S640). 바람직하게는, 색 보정부(150)는 이득값으로 제1 보상값과 제2 보상값의 곱셈값을 이용한다.

이후, 영상 출력부(160)가 색 보정된 영상을 출력한다(S650).

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

컬러 롤링 문제는 감시용 카메라와 같은 고정형 카메라에서 많이 발생한다. 그 이유는 제품의 특성상 저가의 카메라를 사용하기 때문이다. 기존에는 컬러 롤링을 해소시키기 위해 조리개와 같은 모듈을 추가 구성하였다. 그러나, 제조 비용과 제품의 부피가 증가되는 문제점이 있어 제품의 경쟁력이 떨어졌다. 본 발명은 컬러 롤링 문제를 신호 처리적으로 해결함으로써 ISP 내부에서 구현 가능하며, 색감의 문제도 동시에 해결할 수 있다. 본 발명이 감시용 카메라, 고정형 PC 카메라 등 각종 촬상 장치에 적용될 경우, 카메라 생산업체의 제품 경쟁력을 더욱 높일 수가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 영상 컬러 보정 장치를 개략적으로 도시한 블록도이다.

도 2는 본 발명의 바람직한 실시예에 따른 영역 추출부를 개략적으로 도시한 블록도이다.

도 3은 블록 단위의 로컬 모션 맵을 구하는 과정에 관련한 도면이다.

도 4는 색온도에 기반한 무채색 추출 방법에 적용되는 그래프이다.

도 5는 최종적으로 획득한 영상 시퀀스에 대한 무채색 영역의 R, G, B 변화량을 도시한 도면이다.

도 6은 본 발명의 바람직한 실시예에 따른 영상 컬러 보정 방법을 도시한 순서도이다.

<도면의 주요 부분에 대한 부호의 설명>

100 : 영상 컬러 보정 장치 110 : 영상 입력부

120 : 영역 추출부 121 : 기준 영상 프레임 선택부

122 : 영상 프레임 비교부 123 : 움직임 영역 추출부

124 : 무채색 영역 추출부 130 : 제1 보상값 추정부

131 : 기준 채널 선택부 140 : 제2 보상값 추정부

150 : 색 보정부 151 : 이득값 계산부

160 : 영상 출력부

Claims (16)

1. 입력 영상과 기준 영상을 비교하며, 상기 비교를 통해 상기 입력 영상으로부터 무채색 영역을 추출하는 영역 추출부;

   상기 무채색 영역으로부터 선택된 기준 채널 영역의 색 특성값을 고려하여 상기 무채색 영역으로부터 선택된 목적 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제1 보상값을 추정하는 제1 보상값 추정부;

   상기 기준 영상으로부터 선택된 제1 채널 영역의 색 특성값을 고려하여 상기 제1 채널과 동일 채널이며 상기 무채색 영역으로부터 선택된 제2 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제2 보상값을 추정하는 제2 보상값 추정부; 및

   상기 제1 보상값과 상기 제2 보상값으로부터 얻은 이득값으로 상기 입력 영상에서의 색을 보정하는 색 보정부

   를 포함하는 것을 특징으로 하는 영상 컬러 보정 장치.
2. 제 1 항에 있어서,

   상기 제1 보상값 추정부는 상기 목적 채널 영역의 색 특성 평균값에 대한 상기 기준 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 상기 제1 보상값을 추정하는 것을 특징으로 하는 영상 컬러 보정 장치.
3. 제 1 항에 있어서,

   상기 제2 보상값 추정부는 상기 제2 채널 영역의 색 특성 평균값에 대한 상기 제1 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 상기 제2 보상값을 추정하는 것을 특징으로 하는 영상 컬러 보정 장치.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

   상기 색 보정부는 상기 이득값으로 상기 제1 보상값과 상기 제2 보상값의 곱셈값을 이용하는 것을 특징으로 하는 영상 컬러 보정 장치.
5. 제 1 항에 있어서,

   상기 영역 추출부는 상기 입력 영상과 동일 공간을 표시하는 정지 영상으로서 최대 밝기값을 가지는 영상을 상기 기준 영상으로 선택하는 기준 영상 선택부를 포함하는 것을 특징으로 하는 영상 컬러 보정 장치.
6. 제 1 항에 있어서,

   상기 영역 추출부는 상기 입력 영상으로부터 선택된 목적 영역이 색온도에 기반하여 미리 정해진 광원의 무채색 영역에 포함되면 상기 목적 영역을 무채색 영역으로 추출하는 것을 특징으로 하는 영상 컬러 보정 장치.
7. 제 1 항에 있어서,

   상기 영역 추출부는,

   상기 입력 영상과 상기 기준 영상을 비교하는 영상 비교부;

   상기 비교를 통해 상기 입력 영상으로부터 움직임 영역을 추출하는 움직임 영역 추출부; 및

   상기 입력 영상에서 상기 추출된 움직임 영역을 제외한 비움직임 영역을 대상으로 상기 무채색 영역을 추출하는 무채색 영역 추출부

   를 포함하는 것을 특징으로 하는 영상 컬러 보정 장치.
8. 제 7 항에 있어서,

   상기 영상 비교부는 상기 입력 영상과 상기 기준 영상을 블록 단위로 구분하여 비교하며,

   상기 움직임 영역 추출부는 상기 입력 영상에 구비되는 목적 블록과 상기 기준 영상에 구비되는 대상 블록 간의 색분포 차이값이 미리 정해진 기준값 이상일 경우 상기 목적 블록을 움직임 영역으로 추출하는 것을 특징으로 하는 영상 컬러 보정 장치.
9. 제 1 항에 있어서,

   상기 영상 컬러 보정 장치는 입력 영상을 복호화시키는 장치에 구비되며, 상기 입력 영상으로 색 보간(color interpolation)된 영상을 이용하는 것을 특징으로 하는 영상 컬러 보정 장치.
10. (a) 입력 영상과 기준 영상을 비교하며, 상기 비교를 통해 상기 입력 영상으로부터 무채색 영역을 추출하는 단계;

    (b) 상기 무채색 영역으로부터 선택된 기준 채널 영역의 색 특성값을 고려하여 상기 무채색 영역으로부터 선택된 목적 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제1 보상값을 추정하는 단계;

    (c) 상기 기준 영상으로부터 선택된 제1 채널 영역의 색 특성값을 고려하여 상기 제1 채널과 동일 채널이며 상기 무채색 영역으로부터 선택된 제2 채널 영역의 색 특성값 차이를 보상시키는 색 채널별 제2 보상값을 추정하는 단계; 및

    (d) 상기 제1 보상값과 상기 제2 보상값으로부터 얻은 이득값으로 상기 입력 영상에서의 색을 보정하는 단계

    를 포함하는 것을 특징으로 하는 영상 컬러 보정 방법.
11. 제 10 항에 있어서,

    상기 (b) 단계는 상기 목적 채널 영역의 색 특성 평균값에 대한 상기 기준 채널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 상기 제1 보상값을 추정하는 것을 특징으로 하는 영상 컬러 보정 방법.
12. 제 10 항에 있어서,

    상기 (c) 단계는 상기 제2 채널 영역의 색 특성 평균값에 대한 상기 제1 채 널 영역의 색 특성 평균값의 비율값을 이용하여 색 채널별로 상기 제2 보상값을 추정하는 것을 특징으로 하는 영상 컬러 보정 방법.
13. 제 10 항에 있어서,

    상기 (d) 단계는 상기 이득값으로 상기 제1 보상값과 상기 제2 보상값의 곱셈값을 이용하는 것을 특징으로 하는 영상 컬러 보정 방법.
14. 제 10 항에 있어서,

    상기 (a) 단계는 상기 입력 영상과 동일 공간을 표시하는 정지 영상으로서 최대 밝기값을 가지는 영상을 상기 기준 영상으로 선택하며, 상기 입력 영상으로부터 선택된 목적 영역이 색온도에 기반하여 미리 정해진 광원의 무채색 영역에 포함되면 상기 목적 영역을 무채색 영역으로 추출하는 것을 특징으로 하는 영상 컬러 보정 방법.
15. 제 10 항에 있어서,

    상기 (a) 단계는,

    (aa) 상기 입력 영상과 상기 기준 영상을 블록 단위로 구분하여 비교하는 단계;

    (ab) 상기 비교를 통해 상기 입력 영상으로부터 움직임 영역을 추출하되, 상기 입력 영상에 구비되는 목적 블록과 상기 기준 영상에 구비되는 대상 블록 간의 색분포 차이값이 미리 정해진 기준값 이상일 경우 상기 목적 블록을 움직임 영역으 로 추출하는 단계; 및

    (ac) 상기 입력 영상에서 상기 추출된 움직임 영역을 제외한 비움직임 영역을 대상으로 상기 무채색 영역을 추출하는 단계

    를 포함하는 것을 특징으로 하는 영상 컬러 보정 방법.
16. 컴퓨터로 판독 가능한 기록매체에 있어서,

    제 10 항 내지 제 15 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록된 기록매체.

Images