KR100393071B1

KR100393071B1 - 영상의 히스토그램 평활화 장치 및 방법

Info

Publication number: KR100393071B1
Application number: KR10-2001-0049810A
Authority: KR
Inventors: 양승준; 민경선
Original assignee: 삼성전자주식회사
Priority date: 2001-08-18
Filing date: 2001-08-18
Publication date: 2003-07-31
Also published as: US7020333B2; KR20030015948A; US20030035579A1

Abstract

영상의 히스토그램 평활화 방법에 관한 것으로서 더욱 상세하게는 가우시안 모델을 이용함으로서 콘트라스트 조정이 가능한 영상의 히스토그램 평활화 방법에 관한 것이다.

본 발명에 따른 히스토그램 평활화 장치는 영상의 누적 분산 함수(cumulative distribution function; cdf)를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화 장치에 있어서, 주어진 영상으로부터 가우시안 모델(gaussian model)의 두 파라미터인 mean(평균)과 variance(변량)을 구하는 모델 파라미터 추정부; zero mean unit variance 가우시안 분포의 에러 함수값을 저장하는 에러 함수 결정부; 상기 모델 파라미터 추정부에서 주어지는 파라미터들(변조된 mean 및 variance)을 이용하여 상기 에러 함수 결정보로부터 cdf를 구하는 cdf 연산부; 및 상기 cdf 연산부에서 구해진 cdf를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화부를 포함하는 것을 특징으로 한다.

본 발명에 따른 히스토그램 평활화 장치는 기존의 히스토그램 평활화 장치에서 필요했던 바이너리 카운터와 주적 합산부를 룩업 테이블로 구성된 에러 함수 산출부로 대체할 수 있어 구성이 간단해지고 히스토그램 평활화의 결과를 모델 파라메터를 통하여 쉽게 조절할 수 있는 효과가 있다.

Description

영상의 히스토그램 평활화 장치 및 방법{Apparatus and method for histogram equlization of image}

본 발명은 영상의 히스토그램 평활화 방법에 관한 것으로서 더욱 상세하게는 가우시안 모델을 이용함으로서 콘트라스트 조정이 가능한 영상의 히스토그램 평활화 방법에 관한 것이다.

처리 대상으로 하는 화상이 어떠한 농도의 분포를 하고 있는 지를 조사하는 것은, 화사의 전처리로서 중요한 작업이다. MxN 의 화소영역의 대상화상의 전체 화소의 농도분포를, 농도별 빈도로 나타낸 그래프를 히스토그램(histogram)이라 한다.

입력된 화상의 히스토그램을 구한 경우 밝은 쪽 및 어두운 쪽에 치우쳐 있다든지, 어느 농도치 부근에 모여있는 경우는 좋은 화상이라고 할 수 없다.

입력된 화상의 히스토그램이 한쪽으로 치우쳐 있을 경우 콘트라스트(contrast; 대비)가 높은 화상을 얻는 방법으로서 농도 변환이 사용된다. 이 농도 변환은 히스토그램 평활화는 얻어진 입력 화상의 농도를 주어진 변환 특성에 따라서 변환하는 것을 말한다.

특히, 인식하고 싶은 대상물의 정보가 미지인 경우, 자동적으로 화상을 강조하는 방법으로서 히스토그램 평활화(histogram equalization)이 있다. 이 방법은 히스토그램이 될수 있는 한 평탄하게 되도록 농도를 변화시키는 것으로, 모든 농도치의 확률이 똑같게 되도록 평활화한다.

도 1의 (a)는 상대적 밝기를 고려하지 않는 단방향 히스토그램 평활화 장치이고, 도 1의 (b)는 상대적 밝기를 고려한 양방향 히스토그램 평활화 장치이다.

도 1의 (a)에 종래의 히스토그램 평활화 장치는 입력 영상으로부터 바이너리 카운팅(이진 계수)을 통하여 누적 분산 함수(cumulative distribution function; cdf)를 구하는 바이너리 카운터(102)와 이 cdf를 이용하여 주어진 영상의 콘트라스트를 증강시켜주는 히스토그램 평활화부(104)로 구성된다.

바이너리 카운터(102)는 주어진 영상의 픽셀값이 나타나는 횟수를 계수하여 가능 밀도 함수(probility density function; pdf)를 구하고, 이를 누적 합산(cumulative summation)하여 cdf를 구한다.

히스토그램 평활화부(104)는 이 cdf를 주어진 영상이 비선형 매핑(nonlinear mapping)으로 적용하여 히스토그램이 평활화된 즉, 콘트라스트가 증가된 화상을 얻는다.

그러나, 도 1 (a)에 도시된 바와 같은 종래의 히스토그램 평활화 장치는 콘트라스트 강조(contrast enhancement)의 정도를 조절하기가 힘들다. 왜냐하면, 영상이 주어지면 이로부터 pdf, cdf가 결정되고, 이는 콘트라스트 강조를 위한 매핑을 위하여 그대로 사용되기 때문이다.

또한, 주어진 영상의 성질이 특이하거나 잡음으로 인하여 열화되었을 때에도 원하지 않던 결과를 얻기가 쉽다.

한편, 도 1 (a)에 도시된 바와 같은 종래의 히스토그램 평활화 장치는 상대적인 밝기(relative brightness)가 유지되지 않는다. 히스토그램 평활화를 통해 얻어지는 영상의 밝기는 주어진 영상의 밝기와는 관련이 없어서 비디오 시퀀스 즉, 연속적인 영상에 적용될 경우 밝은 scene과 어두운 scene의 구별이 없어진다.

이를 개선하기 위한 장치가 도 1 (b)에 보여진다. 도 1 (b)에 도시된 장치는 영상 분할부(110)에 의해 영상을 분할하고, 분할된 각각의 서브 영상들에 대하여 도 1 (a)에 도시된 장치와 같은 바이너리 카운터(112, 116), 히스토그램평활화부(114, 118)에 의해 히스토그램 평활화를 수행한 후 처리를 행한 후 합성기(120)에 의해 합성한다.

도 1의 (b)에 보여진 양방향 히스토그램 평활화 장치의 경우 화상을 밝은 영역과 어두운 영역으로 분할(segmentation)하고 각각의 영역에 대하여 별도의 히스토그램 평활화 조작을 가함으로서 상대적 밝기는 유지되지만 도 1의 (a)에 도시된 장치에 있어서와 마찬가지로 주어진 영상의 성질이 특이하거나 잡음으로 인하여 열화되었을 때에도 원하지 않던 결과를 얻기가 쉽다.

본 발명은 상기의 문제점을 해결하기 위하여 안출된 것으로서 영상의 가우시안 분포로부터 추정된 파라미터와 표준의 가우시안 분포에 대한 에러함수에 의해 cdf를 산출함으로써 콘트라스트 강조(contrast enhancement)의 정도를 용이하게 조절하고, 상대적인 밝기(relative brightness)가 유지되는 개선된 히스토그램 평활화 장치를 제공하는 것을 그 목적으로 한다.

본 발명은 영상의 가우시안 분포로부터 추정된 파라미터와 표준의 가우시안 분포에 대한 에러함수에 의해 cdf를 산출함으로써 콘트라스트 강조(contrast enhancement)의 정도를 용이하게 조절하고, 상대적인 밝기(relative brightness)가 유지되는 개선된 히스토그램 평활화 방법을 제공하는 것을 그 목적으로 한다.

도 2는 본 발명에 따른 히스토그램 평활화 장치의 일실시예를 보이는 블록도이다.

도 3의 (a) 내지 (c)는 은 변조된 파라미터들에 의한 효과를 보이기 위해 도시된 것이다. 도 3의 (a)는 평균(mean)의 변조에

도 4은 본 발명에 따른 히스토그램 평활화 장치의 다른 실시예를 보이는 블록도이며,

도 5는 양방향 히스토그램 평활화에 있어서 농도 추정을 도식적으로 보이기 위한 것이다.

상기의 목적을 달성하는 본 발명에 따른 히스토그램 평활화 장치는

영상의 누적 분산 함수(cumulative distribution function; cdf)를 이용하여히스토그램 평활화를 수행하는 히스토그램 평활화 장치에 있어서,

주어진 영상으로부터 가우시안 모델(gaussian model)의 두 파라미터인 mean(평균)과 variance(변량)을 구하는 모델 파라미터 추정부;

zero mean unit variance 가우시안 분포의 에러 함수값을 저장하는 에러 함수 결정부;

상기 모델 파라미터 추정부에서 주어지는 파라미터들(변조된 mean 및 variance)을 이용하여 상기 에러 함수 결정보로부터 cdf를 구하는 cdf 연산부; 및

상기 cdf 연산부에서 구해진 cdf를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화부를 포함하는 것을 특징으로 한다.

여기서, 상기 모델 파라미터 추정부에서 추정한 파라미터들(mean과 variance)를 변조하여 상기 cdf 연산부에 제공하는 모델 파라미터 변조부를 더 구비하는 것이 바람직하다.

상기의 다른 목적을 달성하는 본 발명에 따른 히스토그램 평활화 방법은

영상의 누적 분산 함수(cumulative distribution function; cdf)를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화 방법에 있어서,

주어진 영상으로부터 가우시안 모델(gaussian model)의 두 파라미터인 mean(평균)과 variance(변량)을 구하는 모델 파라미터 추정 과정;

상기 모델 파라미터 추정 과정에서 주어지는 파라미터들(변조된 mean 및 variance)을 이용하여 zero mean unit variance 가우시안 분포의 에러 함수값으로부터 cdf를 구하는 cdf 연산 과정; 및

상기 cdf 연산부(208)에서 구해진 cdf를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화 과정을 포함하는 것을 특징으로 한다.

여기서, 주어진 영상에 포함된 픽셀들을 각각의 가우시안 분포를 가지는 복수의 서브 영상으로 분할하는 영상 분할 과정을 더 구비하고,

상기 cdf 연산 과정은 상기 복수의 서브 영상들 각각에 대한 cdf를 구하고,

상기 히스토그램 평활화부는 상기 복수의 서브 영상들에 대하여 각각의 cdf를 적용하여 히스토그램 평활화를 수행하는 것이 바람직하다.

이하 첨부된 도면을 참조하여 본 발명의 구성 및 동작을 상세히 설명하기로 한다.

도 2는 본 발명에 따른 히스토그램 평활화 장치의 일실시예를 보이는 블록도이다. 도 2에 도시된 히스토그램 평활화 장치는 모델 파라미터 추정부(202), 추정된 파라미터 변조부(204), 에러 함수 결정부(206), cdf 연산부(208), 그리고 히스토그램 평활화부(210)를 구비한다.

모델 파라미터 추정부(202)는 주어진 영상으로부터 가우시안 모델(gaussian model)의 두 파라미터인 mean(평균)과 variance(변량)을 구한다.

모델 파라미터 변조부(204)는 모델 파라미터 추정부(202)에서 추정한 파라미터들(mean과 variance)를 변조한다. 이 변조에 의해 cdf 연산부(208)에서 만들어지는 cdf의 모양이 바뀌게 되며 이에 따라 콘트라스트 강조의 결과가 바뀌게 된다.

cdf 연산부(208)는 모델 파라미터 변조부(204)에서 주어지는 파라미터들(변조된 mean 및 variance)로 에러 함수 결정부(206)에 저장되어 있는 zero mean unitvariance 가우시안 분포의 에러 함수값으로부터 cdf를 구한다.

에러 함수 결정부(206)는 룩업 테이블 형태로 구현되는 것이 바람직하다.

히스토그램 평활화부(210)는 cdf 연산부(208)에서 구해진 cdf를 이용하여 히스토그램 평활화를 수행한다.

도 2에 도시된 장치의 동작을 보다 상세히 설명하기로 한다.

히스토그램 평활화에 있어서 핵심은 농도 추정이다. 간단한 농도 추정 방법들 중의 하나는 가우시안 모델을 적용하는 것이다. 가우시안 모델에 있어서는 두개의 모델 파라미터들 mean μ와 variance σ²만을 추정하는 것만으로도 족하다.

주어진 영상의 추정된 pdf는

로 주어진다.

한편, 가우시안 모델에 있어서 cdf는

로 구해진다.

여기서, erf(x~;~mu, sigma^2 )는 (mu, sigma^2 )을 가지는 가우시안 분포의 에러 함수이다.

가우시안 모델에 있어서 cdf는 제로 평균(zero mean)과 단위 변량(unitvariance)을 가지는 에러 함수를 저장하는 테이블로부터 연산될 수 있다. 따라서, 종래의 히스토그램 평활화 장치에서와 같은 바이너리 카운팅과 누적 합산이 에러 함수를 가지는 룩업 테이블에 의해 대치될 수 있다.

콘트라스트 강조에서 사용되는 매핑 h는 두 모델 파라미터들을 함수이다.

도 3의 (a) 내지 (c)는 은 변조된 파라미터들에 의한 효과를 보이기 위해 도시된 것이다. 도 3의 (a)는 평균(mean)의 변조에 의해 밝기의 변화가 나타나는 것을 보이는 것이고, 도 3의 (b)는 변량(variance)의 변조에 의해 콘트라스트의 변화가 나타나는 것을 보이는 것이다.

특히, 변량의 변조는 에러 함수의 기울기를 변화시킨다. 강조된 영상의 콘트라스트는 에러 함수의 기울기가 변화함에 따라 변화한다.

도 4은 본 발명에 따른 히스토그램 평활화 장치의 다른 실시예를 보이는 블록도이며, 상대적 밝기를 고려한 구성을 가지는 것이다.

도 4에 도시된 장치는 모델 파라미터 추정부(302), 추정된 파라미터 변조부(304, 404), 에러 함수 결정부(306), cdf 연산부(308, 408), 히스토그램 평활화부(310, 412), 그리고 영상 분할부(312)를 구비한다.

도 3에 도시된 장치의 동작은 추정된 파라미터 변조부(304), 에러 함수 결정부(306), cdf 연산부(308), 히스토그램 평활화부(310)로 구성되는 한 계통과 추정된 파라미터 변조부(404), 에러 함수 결정부(306), cdf 연산부(408), 히스토그램 평활화부(410)로 구성되는 다른 한 계통으로 구성된다. 각각의 계통은 영상 분할부(312)에 의해 분할된 서브 영상들을 각각 처리하며, 각각 밝은 이미지 영역과 어두운 이미지 영역을 담당한다.

두 계통의 동작은 다루는 이미지 영역이 다른 것을 제외하고는 도 2에 도시되고 설명된 것과 동등하다.

도 4에 도시된 장치의 동작을 보다 상세히 설명하기로 한다.

도 5는 양방향 히스토그램 평활화에 있어서 농도 추정을 도식적으로 보이기 위한 것으로서 도 5의 (a)는 원영상의 pdf를 (b)는 가우시안 모델의 pdf를, 그리고 (c)는 양방향 히스토그램 평활화 이후의 두 cdf들을 나타낸다.

추정된 모델 파라미터들은 두 개의 가우시안 분포에 개별적으로 작용한다.

및인 두 개의 벡터값을 가정한다.

F와 C의 실수부는및로 표현되고, 이는 f(m,n)과 c(m,n)을 원소로 가지는크기의 매트릭스로 표현될 수 있다.

클러스터 정보 c(m,n)는 픽셀 f(m,n)이 속하는 분포를 나타낸다. 각 픽셀 f는 x IN [0, L]의 값을 가진다. 주어진 영상 P_F의 pdf는

로 표현된다.

여기서, i=1, 2일 때의 각 분산, P[f = x vert c=i ]은 가우시안 분포이고, P[c=i]는 클래스 가능도(class probability)이다.

주어진 영상 f는 클러스터 정보 c를 잃어버린 불완전한 데이터로 간주한다.

완전한 데이터 (f, c)에 대한 농도 추정은

로 표현되고,

여기서, theta = (mu_1 , sigma^2 _1 , mu_2 , sigma62 _2 , pc_1 )^t이다.

A.P.Dempsetr, N.M Laird, and D.B.Rubin,의 "Maxinum likelihood from incomplete data via the EM algorithm" J.Royal Statistical Soc. ser. B, vol 39, n9.1, pp.138, 1977 과 R.J.A.Little and D.R.Rubin, Statistical Analysys with Missing Data, John Wiley Sons, New York, 1987은 기대 최대치(expectation maximization; EM) 알고리즘은 수학식 4에 대한 최우값(maximum likelihood) 추정을 제공한다.

EM 알고리즘은 다음의 두 과정을 반복하는 것으로 구성된다.

M-step에서 먼저, 클러스터 정보를 결정하고, 각 클러스터에서의 파라미터를 개별적으로 찾는다. 클러스터 정보 c는 원소별로 주어진 전제 테스트(hypoyhesis testing)에 의해 찾아질 수 있다.

모든 픽셀들이 상기 전제 테스트에 의해 두 클러스터들 중의 하나로 구분되면 각 클러스터들의 mean 및 variance가 개별적으로 연산된다.

EM 알고리즘에 의해 모든 파라미터가 추정되면, 두 가우시안 분포의 cdf들은 각각

및

으로 결정된다.

이들 cdf는 양방향 히스토그램 평활화에서 사용되는 매핑들 h^1 , h^2가 된다.

주어진 영상은

에 의해 두 개의 서브 영상 f¹과 f²로 분할된다.

그리고과는 두 개의 서브 영상 f¹과 f²에 대해 각각 매핑 h ^1 : [0, L_C ] -> [0, L_C ] 와 h ^2 : [L_C , L ] -> [L_C , L ] 로서 적용된다.

여기서, L_C는 다음의 수학식 14를 만족하는 값이다.

P[f = L_C vert c=1]pc_1 = P[f = L_C vert c=2](1- pc_2 )

강조된 서브 영상들이 단일 분포(uniform distribution)을 만족한다고 가정하면, 강조된 전체 영상의 평균 밝기는이다. 양방향 히스토그램 평활화 이후에도 강조된 전체 영상의 평균 밝기는 L_C의 함수이고, scene들 사이의 상대적 밝기 변화는 보존된다.

또한, 본 발명에 따른 히스토그램 평활화 장치는 모델 파라미터 변조부를 통하여 cdf를 구하기 위한 파라미터를 조정하므로 콘트라스트 강조의 정도를 조절하기가 용이하다.

또한, 본 발명에 따른 히스토그램 평활화 장치는 모델 파라미터 변조부를 통하여 노이즈나 패턴 증폭이 없이 히스토그램 평활화를 수행할 수 있다는 효과를 가진다.

또한, 본 발명에 따른 히스토그램 평활화 장치를 양방향 히스토그램 평활화에 적용할 경우 주어진 영상들의 상대적 밝기를 보존하므로 비디오 시퀀스에 적용하기가 용이하다.

Claims

영상의 누적 분산 함수(cumulative distribution function; cdf)를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화 장치에 있어서,

주어진 영상으로부터 가우시안 모델(gaussian model)의 두 파라미터인 mean(평균)과 variance(변량)을 구하는 모델 파라미터 추정부;

zero mean unit variance 가우시안 분포의 에러 함수값을 저장하는 에러 함수 결정부;

상기 모델 파라미터 추정부에서 주어지는 파라미터들(변조된 mean 및 variance)을 이용하여 상기 에러 함수 결정보로부터 cdf를 구하는 cdf 연산부; 및

상기 cdf 연산부에서 구해진 cdf를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화부를 포함하는 히스토그램 평활화 장치.
제1항에 있어서, 상기 에러 함수 저장부는 룩업 테이블로 구현되는 것을 특징으로 하는 히스토그램 평활화 장치.
제1항에 있어서,

상기 모델 파라미터 추정부에서 추정한 파라미터들(mean과 variance)를 변조하여 상기 cdf 연산부에 제공하는 모델 파라미터 변조부를 더 구비하는 것을 특징으로 하는 히스토그램 평활화 장치.
제3항에 있어서, 상기 모델 파라미터 변조부는

주어진 영상의 밝기를 조정하기 위하여 mean을 조정하고, 콘트라스트를 조정하기 위하여 variance 조정하는 것을 특징으로 하는 히스토그램 평활화 장치.
영상의 누적 분산 함수(cumulative distribution function; cdf)를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화 장치에 있어서,

주어진 영상으로부터 가우시안 모델(gaussian model)의 두 파라미터인 mean(평균)과 variance(변량)을 구하는 모델 파라미터 추정부;

zero mean unit variance 가우시안 분포의 에러 함수값을 저장하는 에러 함수 결정부;

상기 모델 파라미터 추정부들에서 주어지는 파라미터들(변조된 mean 및 variance)을 이용하여 상기 에러 함수 결정부로부터 cdf들을 구하는 복수의 cdf 연산부들; 및

주어진 영상에 포함된 픽셀들을 각각의 가우시안 분포를 가지는 복수의 서브 영상으로 분할하는 영상 분할부;

각각이 상기 cdf 연산부들에서 구해진 cdf를 이용하여 상기 영상 분할부에서 제공되는 서브 영상들 각각에 대하여 히스토그램 평활화를 수행하는 복수의 히스토그램 평활화부들을 포함하는 히스토그램 평활화 장치.
제5항에 있어서,

상기 모델 파라미터 추정부에서 추정한 파라미터들(mean과 variance)를 변조하여 상기 cdf 연산부들에 제공하는 복수의 모델 파라미터 변조부들을 더 구비하는 것을 특징으로 하는 히스토그램 평활화 장치.
제5항에 있어서, 상기 에러 함수 저장부는 룩업 테이블로 구현되는 것을 특징으로 하는 히스토그램 평활화 장치.
제4항에 있어서, 상기 모델 파라미터 변조부들은

주어진 영상의 밝기를 조정하기 위하여 mean을 조정하고, 콘트라스트를 조정하기 위하여 variance 조정하는 것을 특징으로 하는 히스토그램 평활화 장치.
영상의 누적 분산 함수(cumulative distribution function; cdf)를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화 방법에 있어서,

주어진 영상으로부터 가우시안 모델(gaussian model)의 두 파라미터인 mean(평균)과 variance(변량)을 구하는 모델 파라미터 추정 과정;

상기 모델 파라미터 추정 과정에서 주어지는 파라미터들(변조된 mean 및 variance)을 이용하여 zero mean unit variance 가우시안 분포의 에러 함수값으로부터 cdf를 구하는 cdf 연산 과정; 및

상기 cdf 연산부(208)에서 구해진 cdf를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화 과정을 포함하는 히스토그램 평활화 방법.
제9항에 있어서,

상기 모델 파라미터 추정 과정에서 추정한 파라미터들(mean과 variance)를 변조하여 상기 cdf 연산 과정에 제공하는 모델 파라미터 변조 과정을 더 구비하는 것을 특징으로 하는 히스토그램 평활화 방법.
제9항에 있어서,

주어진 영상에 포함된 픽셀들을 각각의 가우시안 분포를 가지는 복수의 서브 영상으로 분할하는 영상 분할 과정을 더 구비하고,

상기 cdf 연산 과정은 상기 복수의 서브 영상들 각각에 대한 cdf를 구하고,

상기 히스토그램 평활화부는 상기 복수의 서브 영상들에 대하여 각각의 cdf를 적용하여 히스토그램 평활화를 수행하는 것을 특징으로 하는 히스토그램 평활화 방법.