KR20140128226A

KR20140128226A - 화상 처리 장치, 화상 처리 방법, 화상 처리 제어 프로그램, 및 기록 매체

Info

Publication number: KR20140128226A
Application number: KR1020140032608A
Authority: KR
Inventors: 시앙 루안; 루 후추안; 통 나
Original assignee: 오므론 가부시키가이샤
Priority date: 2013-04-26
Filing date: 2014-03-20
Publication date: 2014-11-05
Also published as: JP2014215925A; EP2797052A3; EP2797052B1; US20140321754A1; JP6136537B2; CN104123718B; CN104123718A; KR101570290B1; US9020270B2; EP2797052A2

Abstract

[과제]
현저영역에 관한 사전 정보가 주어지지 않아도, 베이즈의 정리를 유효하게 이용하여, 1장의 화상으로부터 현저영역을 정밀도 좋게 검출할 수 있는 화상 처리 장치 등을 실현한다.
[해결 수단]
사전 확률 계산 수단(123)이, 주변과의 색거리가 큰 슈퍼픽셀을 구성하는 각 화소의 사전 확률을 높게 하도록 현저영역의 사전 확률을 산출하고, 우도 계산 수단(126)이 현저영역의 우도를 계산하고, 현저영역 검출 수단(126)이 상기 사전 확률과 상기 우도를 이용하여, 상기 현저영역의 사후 확률을 계산한다.

Description

화상 처리 장치, 화상 처리 방법, 화상 처리 제어 프로그램, 및 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, IMAGE PROCESSING CONTROL PORGRAM AND RECORDING MEDIUM}

본 발명은, 화상의 현저영역(顯著領域)을 검출하는 화상 처리 장치, 화상 처리 방법, 화상 처리 제어 프로그램, 및 기록 매체에 관한 것이다.

종래, 화상 처리의 분야에서는, 화상에서 인간이 주목한다고 예상되는 화상 영역, 또는 주목하여야 할 화상 영역인 현저영역을, 그 화상으로부터 검출(추출)하는 화상 처리 장치가 알려져 있다. 또한, 이와 같은 현저영역 검출의 기술을 이용하여, 화상에서 각 점의 현저 정도(saliency measure)를 산출함에 의해, 그 화상의 각 점의 현저 정도를 나타내는 현저 맵 화상을 작성하는 것도 행하여지고 있다.

이러한 현저영역 검출 또는 현저영역 검출의 기술은, 예를 들면, 화상으로부터 피사체를 검출하기 위해 사용되고 있다.

그런데, 상기 현저영역 검출을 위한 알고리즘으로서, 학습 베이스의 알고리즘 및 물리 모델 베이스의 알고리즘이 존재하고 있다.

상기 학습 베이스의 알고리즘은, 대량의 화상의 학습용 데이터베이스를 이용하여, 화상 처리 장치에 현저영역 검출을 위한 학습을 행하게 한 후, 그 학습 결과에 의거하여, 현저영역 검출을 행하는 것이다. 한편, 상기 물리 모델 베이스의 알고리즘은, 인간 또는 그 밖의 물체의 인식 모델을 근사(近似)한 수식을 이용하여, 현저영역을 산출하는 것이다.

그런데, 상기 학습 베이스의 알고리즘에서는, 화상 처리 장치에 의한 현저영역의 검출 성능은, 학습용 데이터베이스의 내용에 의존한다. 그러나, 현저영역의 학습용 데이터베이스를 구축하는 것은 곤란하다.

또한, 상기 물리 모델 베이스의 알고리즘에서는, 인간의 인식 모델을 근사한 수식을 이용할 필요가 있다. 그러나, 인간의 물리 모델은 복잡하고, 수식으로 용이하게 표현할 수 있는 것이 아니다. 원래, 인간의 물리 모델을 완전하게 정의하는 것은, 아직도 실현되어 있지 않다.

그래서, 예를 들면, 특허 문헌 1에는, 화상의 학습용 데이터베이스를 구축하는 것도, 인식 모델을 정의하는 것도 사전에 행하는 일 없이, 화상으로부터 현저영역을 추출하여, 현저영역과 그 이외의 영역과의 사이에서의 영역 분할을 실현하는 현저영역 영상 생성 장치가 기재되어 있다.

구체적으로는, 상기 현저영역 영상 생성 장치에서는, 입력 영상의 프레임을 구성하는 입력 화상으로부터, 현저영역일 확률을 나타내는 현저영역 사전(事前) 확률 화상과, 현저영역 및 현저영역 외의 영역에 각각 포함되는 화상 특징량의 우도(尤度)를 나타내는 특징량 우도를 산출한다. 그리고, 상기 현저영역 영상 생성 장치는, 상기 입력 화상, 상기 현저영역 사전 확률 화상, 및 상기 특징량 우도로부터, 상기 입력 화상의 현저영역을 나타내는 현저영역 화상을 추출한다.

이에 의해, 상기 현저영역 영상 생성 장치는, 어느 입력 화상에 관해, 물체 영역 및 배경 영역에 관한 사전 정보가 전혀 주어지지 않은 경우에도, 그 입력 화상으로부터 현저영역을 추출하여, 화상의 영역 분할을 행할 수가 있다, 라고 동 문헌에는 기재되어 있다.

또한, 비특허 문헌 1 및 비특허 문헌 2에는, 베이즈의 정리를 이용하여 현저 정도(saliency measure)를 계산하는 방법이 개시되어 있다.

일본 특개2010-258914호 공보(2010년 11월 11일 공개)

E. Rahtu, J. Kannala, M. Salo, and J. Heikkila, "Segmenting salient objects from images and videos," in Proceedings of European Conference on Computer Vision, 2010 Z. Tang, Z. Miao, Y. Wan, and J. Li, "Automatic foreground extraction for images and videos," in Proceedings of IEEE International Conference on Image Processing, 2010

특허 문헌 1에 기재된 상기 현저영역 영상 생성 장치에서는, 상기 현저영역 화상을 추출하기 위해, 우선, 입력 영상이 어느 시각의 프레임을 구성하는 입력 화상으로부터 사전 확률 화상을 생성한다. 그 후, 상기 어느 시각보다 1단위시간 전의 입력 화상으로부터 생성한 현저영역 화상에 의거하여, 상기 어느 시각의 사전 확률 화상을 갱신한다. 그리고, 갱신된 사전 확률 화상을 이용하여, 상기 현저영역 화상을 추출한다.

즉, 상기 현저영역 영상 생성 장치에서는, 어느 입력 화상으로부터 현저영역을 추출하기 위해, 상기 어느 입력 화상을 포함하는 복수의 입력 화상이 필요한 것으로 된다. 그 때문에, 상기 현저영역 영상 생성 장치는, 정지화로부터 현저영역 화상을 추출할 수가 없다. 또한, 상기 현저영역 영상 생성 장치는, 현저영역의 추출 처리에서 복수의 입력 화상을 취급하기 때문에, 상기 추출 처리를 실행하는 연산 장치에 대한 부하가 크다는 문제가 있다.

또한, 상기 비특허 문헌 1 및 상기 비특허 문헌 2에서는, 현저영역의 사전 확률을 정수(定數)로 가정하고 있다.

예를 들면, 상기 비특허 문헌 1에서는, 소정의 사각형 창(rectangular window)(W)에서의 화소 분포(distribution of pixels)(Z)가, 사각형 창(W)의 중심부(kernel)(K) 및 주변부(border)(B)에서, 정수의 확률 밀도 함수(probability density function)(p)를 갖는다고 가정하고 있다.

그 때문에, 비특허 문헌 1에서는, 화상의 화소(x)의 현저 정도(S₀(x))가, 중심부(K) 및 주변부(B)에서의 특징량(feature)(F(x))이 정규화된 도수분포(normalized histogram)(P(F(x)|H₀) 및 P(F(x)|H₁))에만 의존하게 된다. H₀, H₁는, 각각, 중심부(K) 또는 주변부(B)에 포함되는 화소 분포(Z)의 사상(事象)(event)이다.

상기 도수분포(P(F(x)|H₀) 및 P(F(x)|H₁))는, 각각, 현저영역의 우도, 배경의 우도에 대응한다.

따라서 상기 비특허 문헌 1에서의 현저 정도(S₀(x))의 산출 결과는, 우도만에 의존하는 일반적인 물리 모델을 이용한 산출 결과와 동등하게 된다. 환언하면, 상기 비특허 문헌 1에서는, 상기 확률 밀도 함수(사전 확률에 대응)를 정수로 가정하고 있기 때문에, 우도의 항(項)과 함께 사전 확률의 항도 포함하고 있는 베이즈의 정리가 유효하게 이용되지 않게 된다.

본 발명은, 상기 과제를 감안하여 이루어진 것으로, 그 목적은, 현저영역 및 배경 영역에 관한 사전 정보가 전혀 주어지지 않은 경우에도, 베이즈의 정리를 유효하게 이용하여, 1장의 화상으로부터 현저영역을 정밀도 좋게 검출할 수 있는 화상 처리 장치 등을 실현하는 것에 있다.

본 발명에 관한 화상 처리 장치는, 화상으로부터 현저영역을 검출하는 화상 처리 장치로서, 상기 화상으로부터, 휘도치 및/또는 색도(色度)가 유사한 서로 인접한 화소로 이루어지는 화소 소(小)영역을 단위 구성으로 하는 화소 소영역 화상을 생성하는 화소 소영역 화상 생성 수단과, 상기 화상의 각 화소에 관해, 상기 현저영역다움의 사전 확률을 산출하는 사전 확률 계산 수단과, 상기 화상으로부터 추출한 코너 포인트에 의거하여, 현저영역을 포함할 가능성이 높은 현저영역 함유 영역을 생성하는 영역 생성 수단과, 상기 화소 소영역 내에 포함되는 보다 많은 화소의 휘도치 및/또는 색도와 같은 휘도치 및/또는 색도를 갖는 화소일수록, 상기 현저영역의 우도가 보다 높아지도록, 상기 화상의 각 화소에 관해, 상기 현저영역의 우도를 산출하는 우도 계산 수단과, 상기 사전 확률과 상기 현저영역의 우도를 이용하여, 상기 현저영역다움의 사후 확률을 산출하는 현저영역 검출 수단을 구비하고, 상기 사전 확률 계산 수단은, 상기 화소 소영역 화상에 포함되는 화소 소영역에서, 인접한 화소 소영역과의 색거리(色距離)가 보다 큰 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소의 상기 사전 확률을 높게 한다.

또한, 본 발명의 한 양태에 관한 화상 처리 방법은, 화상으로부터 현저영역을 검출하는 화상 처리 방법으로서, 상기 화상으로부터, 휘도치 및/또는 색도가 유사한 서로 인접한 화소로 이루어지는 화소 소영역을 단위 구성으로 하는 화소 소영역 화상을 생성하는 화소 소영역 화상 생성 스텝과, 상기 화소 소영역 화상에 포함되는 화소 소영역에서, 인접한 화소 소영역과의 색거리가 보다 큰 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소에 관해, 상기 현저영역다움의 사전 확률이 보다 높아지도록, 상기 화상의 각 화소에 관해, 상기 사전 확률을 산출하는 사전 확률 계산 스텝과, 상기 화상으로부터 추출한 코너 포인트에 의거하여, 현저영역을 포함할 가능성이 높은 현저영역 함유 영역을 생성하는 영역 생성 스텝과, 상기 현저영역 함유 영역 내에 포함되는 보다 많은 화소의 휘도치 및/또는 색도와 같은 휘도치 및/또는 색도를 갖는 화소일수록, 상기 현저영역의 우도가 보다 높아지도록, 상기 화상의 각 화소에 관해, 상기 현저영역의 우도를 산출하는 우도 계산 스텝과, 상기 사전 확률과 상기 현저영역의 우도를 이용하여, 상기 현저영역다움의 사후 확률을 산출하는 현저영역 검출 스텝을 포함하고 있다.

여기서, 코너 포인트란, 화상에서 눈에 띄는 포인트인 것이고, 일반적으로, 현저영역과 배경과의 경계에서 생기는 일이 많다. 그 때문에, 상기 코너 포인트끼리를 연결함으로써 생성되는 현저영역 함유 영역은, 현저영역의 비율이 높게 되어 있다.

상기한 각 구성에 의하면, 화상의 각 화소에 관해, 현저영역다움의 사전 확률을 산출한다. 이 사전 확률은, 베이즈의 정리에서, 현저영역다움의 사후 확률을 구하기 위해 이용된다.

비특허 문헌 1 및 2에 기재되어 있는 바와 같이, 종래, 베이즈의 정리를 이용하여 현저영역의 사후 확률을 구함에 있어서, 현저영역의 사전 확률은 정수로 되어 있다. 그 때문에, 본 발명과 똑같이 베이즈의 정리를 이용하여 현저영역의 사후 확률을 구하는 구성이라도, 종래의 구성에서의 현저영역의 사전 확률은, 본 발명에서의 사전 확률만큼, 특정한 화상에 대응한 정밀도가 높은 것으로는 되지 않았다. 그 결과, 종래의 구성은, 현저영역의 사후 확률의 정밀도도 낮은 것이었다.

한편, 본 발명의 한 양태에 관한 상기한 각 구성에서는, 화상의 화소마다 현저영역의 사전 확률을 구한다. 이에 의해, 종래보다도, 현저영역의 사전 확률이 보다 특정한 화상에 대응한 정밀도가 높은 것으로 된다.

그리고, 그 결과, 상기 사전 확률을 베이즈의 정리에 대입하여 얻어지는 현저영역의 사후 확률도, 종래보다도 정밀도가 높은 것으로 된다. 환언하면, 상기한 각 구성에서는, 화상의 영역을 정밀도 좋게 검출할 수 있다.

또한, 상기한 각 구성에서는, 현저영역을 추출할 때에, 1장의 화상만을 필요로 한다. 즉, 특허 문헌 1에 기재된 종래의 구성과 같이, 복수장의 화상을 필요로 하지 않는다.

이에 의해, 카메라로 촬영한 화상 등의 정지화로부터도 현저영역을 추출할 수 있고, 또한, 현저영역 추출 처리할 때에 복수장의 화상을 취급하는 종래의 구성과 비교하여, 보다 부담이 작은 처리로, 현저영역 추출을 행할 수가 있다.

이와 같이, 본 발명의 한 양태에 의하면, 현저영역 및 배경 영역에 관한 사전 정보가 전혀 주어지지 않은 경우에도, 1장의 화상으로부터 정밀도 좋게 현저영역을 추출할 수 있다.

또한, 상기 화상 처리 방법은, 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터에 상기 각 스텝을 포함하는 처리를 실행시킴에 의해, 화상 처리 방법의 각 스텝을 컴퓨터에 실현시키는 화상 처리 프로그램 및 그것을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.

또한, 본 발명에 관한 화상 처리 장치에서, 상기 사전 확률 계산 수단은, 인접한 다른 화소 소영역의 면적이 보다 큰 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소의 사전 확률을 보다 높게 하는 구성이라도 좋다.

상기한 구성에 의하면, 어느 화소 소영역에 관해, 그 화소 소영역의 주위에 있는 화소 소영역의 면적이 보다 크면, 그 화소 소영역에 포함되는 화소의 사전 확률이 보다 높아진다.

여기서, 화소 소영역은, 색 또는 휘도치 등이 유사한 화소군으로 구성되는 것이다. 그 때문에, 어느 화소 소영역의 면적이 큰 경우, 그 화소 소영역의 영역 내에서는, 색 또는 휘도치 등이 비교적 일정한 많은 화소끼리가 인접하여 있게 된다. 이와 같이, 색 또는 휘도치 등이 비교적 일정한 영역이 큰 것은, 그 영역이 화상에서 주목하여야 할 영역, 즉 현저영역인 것을 나타낸다.

그리고, 어느 화소 소영역에 인접하여, 현저영역인 화소 소영역이 존재하는 경우, 상기 어느 화소 소영역의 영역도 현저영역일 가능성이 높다.

따라서 상기한 구성에 의해, 현저영역일 가능성이 높은 화소의 사전 확률을 높일 수 있다.

또한, 본 발명의 한 양태에 관한 화상 처리 장치에서, 상기 사전 확률 계산 수단은, 상기 화상의 중심과의 거리가 보다 가까운 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소의 사전 확률을 보다 높게 하는 구성이라도 좋다.

상기한 구성에 의하면, 화상의 중심에 가까운 화소는, 사전 확률이 높아진다. 그런데, 화상의 중심부는, 그 화상의 현저영역일 가능성이 높다.

또한, 본 발명의 한 양태에 관한 화상 처리 장치는, 상기 화소 소영역에 포함되는 에지점의 수가 소정수 이하인 경우, 상기 에지점의 수가 보다 많은 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소의 상기 사전 확률이 보다 낮아지도록, 또한, 화소 소영역에 포함되는 상기 에지점의 수가 소정수보다도 많은 경우, 그 화소 소영역을 구성하는 각 화소의 상기 사전 확률이 제로가 되도록 보정하는 에지점 보정 수단을 또한 구비한 구성이라도 좋다.

여기서, 화상의 에지(윤곽)점이란, 근접하는 화소끼리의 콘트라스트 차가 큰 점인 것이다. 그와 같은 에지점이, 비교적 좁은 영역 내에 많이 존재하고 있는 경우, 그 영역은 배경일 가능성이 높다.

상기한 구성에 의하면, 에지점의 수가 많은 화소 소영역을 구성하는 화소의 사전 확률이 낮아지기 때문에, 현저영역의 사전 확률의 정밀도를 향상시킬 수 있다. 또한, 에지점의 수가 소정수보다도 많은 화소 소영역에 관해, 그 화소 소영역을 구성하는 화소의 사전 확률이 제로로 되기 때문에, 현저영역의 사전 확률의 정밀도를 더욱 향상시킬 수 있다.

또한, 본 발명의 한 양태에 관한 화상 처리 장치에서, 상기 영역 생성 수단은, 상기 현저영역 함유 영역으로서, 영역의 각 정점(頂点)의 내각(內角)이 각각 180보다도 작은 철포영역(凸包領域)을 생성하고, 상기 철포영역의 적어도 일부와 겹쳐지는 상기 화소 소영역에 관해, 그 화소 소영역을 구성하는 화소 중, 상기 철포영역에 포함되는 화소가 소정의 제1의 비율보다도 큰 경우, 그 화소 소영역의 전체를 상기 철포영역에 포함하는 한편, 그 화소 소영역을 구성하는 화소 중, 상기 철포영역에 포함되는 화소가 소정의 제2의 비율보다도 작은 경우, 상기 철포영역 중그 화소 소영역과 겹쳐지는 부분을 상기 철포영역으로부터 제외하는 철포영역 조정 수단을 또한 구비하고,

상기 우도 계산 수단은, 상기 철포영역 조정 수단에 의해 조정된 철포영역에 의거하여, 상기 화상의 각 화소에 관해, 상기 현저영역의 우도를 산출하는 구성이라도 좋다.

상기한 구성에 의하면, 화상으로부터 추출된 코너 포인트를 이용하여, 철포영역이 생성된다.

또한, 상기한 구성에 의하면, 생성된 철포영역과 겹쳐지는 슈퍼픽셀에 관해, 그 슈퍼픽셀을 구성하는 소정의 비율 이상의 화소가, 상기 철포영역에 포함되어 있는지의 여부에 응하여, 철포영역이 조정된다.

이에 의해, 조정 후의 철포영역의 윤곽은, 슈퍼픽셀의 윤곽과 일치하게 된다. 이와 같이, 철포영역의 형상을 조정함에 의해, 슈퍼픽셀로 이루어지는 슈퍼픽셀 화상에 대한 처리를 행하기 쉽게 된다.

또한, 상기한 구성에 의하면, 철포영역 내에 포함되는 보다 많은 화소의 휘도치 또는 색도와 같은 휘도치 또는 색도를 갖는 화소일수록, 현저영역의 우도가 보다 높아진다.

여기서, 상술한 바와 같이, 철포영역은 현저영역의 비율이 높게 되어 있다. 이것은, 조정 후의 철포영역도 마찬가지이다. 그 때문에, 철포영역 내에 포함되는 화소의 휘도치 또는 색도는, 현저영역의 휘도치 또는 색도에 대응하고 있다고 생각된다.

그 때문에, 상기한 구성에 의해, 철포영역 내의 대부분의 화소의 휘도치 또는 색도와 같은 휘도치 또는 색도를 갖고 있고, 현저영역에 포함될 가능성이 높은 화소일수록, 현저영역의 우도를 높일 수 있다.

또한, 본 발명의 한 양태에 관한 화상 처리 장치에서, 상기 철포영역 조정 수단은, 상기 철포영역에서, 상기 화상의 중심으로부터 소정의 거리 이상 이간한 주변부에 포함되는 부분을, 상기 철포영역에서 제외하는 구성이라도 좋다.

현저영역은, 화상의 중심부에 존재하고 있을 가능성이 높고, 주변부에 존재하고 있을 가능성은 낮다.

상기한 구성에 의하면, 현저영역일 가능성이 낮은 화상의 주변부가, 철포영역에서 제외된다. 이에 의해, 철포영역에는, 현저영역일 가능성이 높은 화상의 중심부만이 포함되게 된다.

따라서 상기한 구성에 의해, 철포영역에 포함되는 현저영역의 비율을 높일 수 있다고 생각된다.

또한, 본 발명의 한 양태에 관한 화상 처리 장치에서, 상기 철포영역 조정 수단은, 상기 영역 생성 수단에 의해 복수의 상기 철포영역이 생성되어 있고, 어느 철포영역의 면적에 대한 다른 철포영역의 면적의 비율이 소정치보다도 작은 경우, 상기 다른 철포영역을 상기 철포영역에서 제외하는 구성이라도 좋다.

복수의 철포영역부가 있고, 그들의 철포영역부끼리의 면적이 동등한 경우, 그들의 철포영역부는, 어느 것도 현저영역을 포함하고 있을 가능성이 높다.

한쪽으로, 복수의 철포영역이 있고, 그들의 철포영역끼리의 면적에 큰 차가 있는 경우, 큰 쪽의 철포영역부가 현저영역을 포함하고 있지만, 작은 쪽의 철포영역은 배경일 가능성이 높다.

상기한 구성에 의하면, 다른 철포영역부에 대한 면적의 비율이 소정치보다도 작은 철포영역부를 철포영역에서 제외하기 때문에, 철포영역에 포함되는 현저영역의 비율을 높일 수 있다고 생각된다.

또한, 본 발명의 한 양태에 관한 화상 처리 장치에서, 상기 철포영역 조정 수단은, 상기 영역 생성 수단에 의해 복수의 상기 철포영역이 생성되어 있고, 어느 철포영역의 평균 사전 확률에 대한 다른 철포영역의 평균 사전 확률의 비율이 소정치보다도 작은 경우, 상기 다른 철포영역을 상기 철포영역에서 제외하는 구성이라도 좋다.

상기 평균 사전 확률이란, 어느 철포영역에 포함되는 모든 화소의 사전 확률의 평균인 것이다.

현저영역에 포함되는 화소의 사전 확률은, 배경에 포함되는 화소의 사전 확률과 비교하여, 보다 높아진다고 생각된다.

상기한 구성에 의하면, 2개의 철포영역의 평균 사전 확률끼리를 비교하여, 한쪽의 철포영역의 평균 사전 확률에 대한 다른쪽의 철포영역의 평균 사전 확률의 비율이 소정치보다도 작은 경우, 상기 다른쪽의 철포영역을 철포영역에서 제외한다. 이에 의해, 배경일 가능성이 높은 상기 다른쪽의 철포영역이 철포영역이 아니게 되기 때문에, 철포영역에 포함되는 현저영역의 비율을 높일 수 있다고 생각된다.

또한, 본 발명의 한 양태에 관한 화상 처리 장치에서, 상기 철포영역 조정 수단은, 그 철포영역 조정 수단에 의한 조정 후의 상기 철포영역이 상기 화상의 전체에서 차지하는 비율이, 제1의 소정치보다도 커지는 경우, 또는, 제2의 소정치보다도 작아지는 경우, 그 철포영역 조정 수단에 의한 조정 후의 철포영역을, 조정 전의 철포영역으로 되돌리는 구성이라도 좋다.

철포영역 조정 수단에 의해 철포영역의 조정을 행한 후, 그 조정 후의 철포영역이 너무 큰 경우, 조정의 과정에서 철포영역에 포함되는 현저영역의 비율이 낮아질 가능성이 높다.

철포영역이 화상에서 차지하는 영역이, 어느 범위에 포함되는 크기보다도 큰 경우, 철포영역에 차지하는 현저영역의 비율이 낮을 가능성이 높다.

상기한 구성에 의하면, 조정 후의 철포영역의 면적이, 소정의 제1의 사이즈보다도 큰 경우, 철포영역 생성 수단에 의해 생성된 철포영역으로 되돌리기 때문에, 철포영역에서의 현저영역의 비율이 작아질 가능성을 억제할 수 있다.

또한, 철포영역 화상에서 차지하는 영역이, 어느 범위에 포함되는 크기보다도 작은 경우, 철포영역은 현저영역의 대부분을 포함하지 않을 가능성이 높다.

상기한 구성에 의하면, 조정 후의 철포영역의 면적이, 소정의 제2의 사이즈보다도 작은 경우, 철포영역 생성 수단에 의해 생성된 철포영역으로 되돌리기 때문에, 철포영역에 현저영역이 포함되지 않게 될 가능성을 억제할 수 있다.

본 발명의 각 상태에 관한 화상 처리 장치는, 컴퓨터에 의해 실현하여도 좋고, 이 경우에는, 컴퓨터를 상기 화상 처리 장치가 구비하는 각 수단으로서 동작시킴에 의해 상기 화상 처리 장치를 컴퓨터에 실현시키는 화상 처리 장치의 화상 처리 제어 프로그램, 및 그것을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.

이상과 같이, 본 발명에 관한 화상 처리 장치는, 화상으로부터 현저영역을 검출하는 화상 처리 장치로서, 상기 화상으로부터, 휘도치 및/또는 색도가 유사한 서로 인접한 화소로 이루어지는 화소 소영역을 단위 구성으로 하는 화소 소영역 화상을 생성하는 화소 소영역 화상 생성 수단과, 상기 화상의 각 화소에 관해, 상기 현저영역다움의 사전 확률을 산출하는 사전 확률 계산 수단과, 상기 화상으로부터 추출한 코너 포인트에 의거하여, 현저영역을 포함할 가능성이 높은 현저영역 함유 영역을 생성하는 영역 생성 수단과, 상기 화소 소영역 내에 포함되는 보다 많은 화소의 휘도치 및/또는 색도와 같은 휘도치 및/또는 색도를 갖는 화소일수록, 상기 현저영역의 우도가 보다 높아지도록, 상기 화상의 각 화소에 관해, 상기 현저영역의 우도를 산출하는 우도 계산 수단과, 상기 사전 확률과 상기 현저영역의 우도를 이용하여, 상기 현저영역다움의 사후 확률을 산출하는 현저영역 검출 수단을 구비하고, 상기 사전 확률 계산 수단은, 상기 화소 소영역 화상에 포함되는 화소 소영역에서, 인접한 화소 소영역과의 색거리가 보다 큰 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소의 상기 사전 확률을 높게 한다.

또한, 본 발명에 관한 화상 처리 방법은, 화상으로부터 현저영역을 검출하는 화상 처리 방법으로서, 상기 화상으로부터, 휘도치 및/또는 색도가 유사한 서로 인접한 화소로 이루어지는 화소 소영역을 단위 구성으로 하는 화소 소영역 화상을 생성하는 화소 소영역 화상 생성 스텝과, 상기 화소 소영역 화상에 포함되는 화소 소영역에서, 인접한 화소 소영역과의 색거리가 보다 큰 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소에 관해, 상기 현저영역다움의 사전 확률이 보다 높아지도록, 상기 화상의 각 화소에 관해, 상기 사전 확률을 산출하는 사전 확률 계산 스텝과, 상기 화상으로부터 추출한 코너 포인트에 의거하여, 현저영역을 포함할 가능성이 높은 현저영역 함유 영역을 생성하는 영역 생성 스텝과, 상기 현저영역 함유 영역 내에 포함되는 보다 많은 화소의 휘도치 및/또는 색도와 같은 휘도치 및/또는 색도를 갖는 화소일수록, 상기 현저영역의 우도가 보다 높아지도록, 상기 화상의 각 화소에 관해, 상기 현저영역의 우도를 산출하는 우도 계산 스텝과, 상기 사전 확률과 상기 현저영역의 우도를 이용하여, 상기 현저영역다움의 사후 확률을 산출하는 현저영역 검출 스텝을 포함하고 있다.

이에 의해, 현저영역 및 배경 영역에 관한 사전 정보가 전혀 주어지지 않은 경우에도, 베이즈의 정리를 유효하게 이용하여, 1장의 화상으로부터 현저영역을 정밀도 좋게 검출할 수 있다는 효과를 이룬다.

도 1은 본 발명의 한 실시 형태에 관한 화상 처리 장치의 개략적 구성의 한 예를 도시하는 기능 블록도.
도 2는 코너 포인트(CP)의 구체례를 도시하는 도면.
도 3은 철포영역의 구체례를 도시하는 도면.
도 4는 도 1에 도시하는 화상 처리 장치에서의 현저영역 검출 처리의 흐름을 도시하는 플로 차트.
도 5는 현저영역 검출 처리에서, 사전 확률 계산 처리의 공정의 상세를 도시하는 플로 차트.
도 6은 현저영역 검출 처리에서, 우도 계산 처리의 공정의 상세를 도시하는 플로 차트.
도 7은 본 발명에 관한 현저영역 검출의 알고리즘을 이용하여 작성된 현저 맵의 예를 도시하는 도면.
도 8은 본 발명에 관한 현저영역 검출의 알고리즘의 PR 커브를 도시하는 그래프.

이하에, 본 발명의 한 실시 형태에 관해, 도 1 내지 도 7을 참조하여 설명한다.

본 발명은, 확률론을 이용하여, 현저영역을 추정하는 것을 기본 개념으로 한다. 상세하게는, 본 발명에 관한 화상 처리 장치는, Bayesian 이론(베이즈의 정리)을 사용하는 현저영역 검출 알고리즘을 이용하여, 고정밀한 현저영역 검출을 실현하는 것이다.

이하에, 식(1)으로서, 상기 베이즈의 정리를 나타낸다.

[수식 1]

식(1)에서,

P<F|x>는, 화소(x)가 현저영역일 사후 확률 ;

P(F)는, 화소(x)가 현저영역일 사전 확률 ;

P(B)=(1-P(F))은, 화소(x)가 배경일 사전 확률 ;

P<x|F>는, 화소(x)의 현저영역다움(즉, 현저영역의 우도) ;

P<x|B>는, 화소(x)의 배경다움 ;

을 각각 나타낸다.

여기서, 상기 현저영역의 사전 확률이란, 현저영역일 것 같은 영역(후술하는 철포영역에 상당)이 주어지지 않은 조건하에서, 화소(x)의 현저영역다움을 나타내는 확률인 것이다.

(화상 처리 장치(1)의 구성)

이하에, 본 발명에 관한 화상 처리 장치(1)의 구성에 관해, 도 1을 이용하여 설명한다. 동 도면은, 화상 처리 장치(1)의 구성을 도시하는 기능 블록도이다.

도 1에 도시하는 바와 같이, 화상 처리 장치(1)는, 화상 취득부(11), 제어 수단(12), 출력부(13), 및 기억부(14)를 구비하고 있다.

화상 취득부(11)는, 외부로부터 컬러의 입력 화상을 취득하는 것이다. 화상 취득부(11)는, 예시적으로는, 유저의 입력 조작에 응하여, 화상 처리 장치(1)에 접속된 디지털 카메라, 또는 디지털 비디오 카메라 등의 촬상 장치로부터, 리얼타임으로(동기를 취하여), 또는, 비동기로, 입력 화상을 취득한다.

그러나, 입력 화상의 공급원은, 특히 한정되지 않는다. 예를 들면, 화상 취득부(11)는, 기억부(14)에 격납되어 있는 화상 데이터를 입력 화상으로서 취득하여도 좋고, 화상 처리 장치(1)에 접속된 주변 기기로부터 입력 화상을 취득하여도 좋고, 유선 또는 무선의 통신 네트워크를 통하여 입력 화상을 취득하여도 좋다.

제어 수단(12)은, 화상 처리 장치(1)에서의 각종 기능을 통괄적으로 제어하는 것이다. 제어 수단(12)의 제어 기능은, 제어 프로그램을 CPU(Central Processing Unit) 등의 처리 장치가 실행함에 의해 실현된다.

예를 들면, 제어 수단(12)은, 화상 취득부(11)로부터 입력되는 입력 화상에 대한 각종 처리를 실행하기 위한 기능 및 구성을 구비하고 있다. 또한, 제어 수단(12)의 상세한 기능 및 구성에 관해서는 후술한다.

출력부(13)는, 제어 수단(12)에 의한 입력 화상의 처리 결과를 외부에 대해 출력하는 것이다. 예를 들면, 출력부(13)는, 각종의 화상 어플리케이션에 상기 처리 결과를 출력하여도 좋다.

기억부(14)는, 각종 데이터 및 프로그램을 기억하는 것이다. 기억부(14)는, 예를 들면, ROM(Read Only Memory), RAM(Random Access Memory), 및 불휘발성 메모리(예를 들면 플래시 메모리) 등의 기억 장치를 조합시킴에 의해 실현할 수 있다.

기억부(14)에는, 예를 들면, 제어 수단(12)에서 실행되는 프로그램이나, 당해 프로그램에서 처리되는 각종 데이터 등이 격납된다.

(제어 수단(12))

다음에, 제어 수단(12)의 각 부분에 관해, 도 1 내지 도 3을 이용하여 각각 설명한다.

도 1에 도시하는 바와 같이, 제어 수단(12)은, SP 화상 생성 수단(화소 소영역 생성 수단)(121), 에지 검출 수단(에지점 보정 수단)(122), 사전 확률 계산 수단(123), 철포영역 생성 수단(영역 생성 수단)(124), 철포영역 조정 수단(125), 우도 계산 수단(126), 및 현저 맵 화상 생성 수단(현저영역 검출 수단)(127)을 포함하는 구성이다.

SP 화상 생성 수단(121)은, 화상 취득부(11)로부터 취득된 입력 화상을 원화상(元畵像)으로 하여, 화소를 단위로 하는 원화상으로부터, 슈퍼픽셀(SP)을 단위로 하는 슈퍼픽셀 화상(SP 화상)을 생성하는 것이다. 또한, 슈퍼픽셀에 관해서는, 뒤에 나오는 보충에서 설명한다.

에지 검출 수단(122)은, SP 화상 생성 수단(121)에 의해 생성된 슈퍼픽셀 화상에서, 각 슈퍼픽셀의 에지점(윤곽점)의 수를 산출하는 것이다. 여기서, 에지점이란, 근접하는 화소끼리의 콘트라스트 차(差)가 큰 점(点)인 것이다.

또한, 에지 검출 수단(122)은, 하기한 사전 확률 계산 수단(123)에 의해 계산된 화소(k)의 사전 확률을, 그 화소(k)를 포함하는 슈퍼픽셀의 에지점의 수에 의거하여 보정한다.

사전 확률 계산 수단(123)은, 원화상의 각 화소(k)에 관해, 현저영역의 사전 확률을 계산하는 것이다.

철포영역 생성 수단(124)은, 화상으로부터 코너 포인트(corner point)를 검출하고, 화상 내에, 상기 코너 포인트의 적어도 일부를 포함하는, 볼록형상의 철포영역(convex hull)을 생성하는 것이다. 여기서, 볼록형상이란, 도형의 각 정점의 내각이 180도 보다도 작은 것을 의미한다.

상세하게는, 철포영역 생성 수단(124)은, 상기 코너 포인트를 정점으로 하여, 이러한 코너 포인트끼리를 직선으로 연결함에 의해, 상기 철포영역을 생성한다.

또한, 코너 포인트란, 화상에서 「눈에 띄는 포인트」인 것이다. 이와 같은 코너 포인트는, 일반적으로, 현저영역과 배경과의 경계에서 생기는 일이 많다. 그 때문에, 상기 코너 포인트끼리를 연결함으로써 생성되는 철포영역은, 현저영역을 포함하고 있을 가능성이 높게 된다.

특히, 철포영역 생성 수단(124)이, 화상 중의 모든 코너 포인트를 포함하도록 철포영역을 생성한 경우, 상기 철포영역 내에 현저영역을 포함할 확률이 가장 높아진다.

본 실시 형태에서, 철포영역 생성 수단(124)은, 도 2에 도시하는 바와 같이, 원화상에서 2개 이상의 콘트라스트 라인이 교차하는 점, 이른바 harris point를, 코너 포인트(CP)로서 검출한다.

도 3으로서, 철포영역 생성 수단(124)에 의해 생성되는 철포영역의 구체례를 도시한다. 동 도면에서, 4장의 화상 중에 도시된 다각형이, 각각 철포영역에 상당한다. 또한, 화상 중의 철포영역은 모두 5각형으로 되어 있지만, 본 발명은 이것에 한정되지 않는다. 즉, 철포영역은, 3개 이상의 정점을 갖는 볼록형상의 다각형이면 좋다.

철포영역 조정 수단(125)은, 철포영역 생성 수단(124)에 의해 생성되는 철포영역을 조정하여, 화상에서, 현저영역일 것 같은 특징량을 갖는 영역을 산출하는 것이다.

우도 계산 수단(126)은, 원화상의 각 화소(x)에 관해, 현저영역의 우도를 계산하는 것이다.

현저 맵 화상 생성 수단(127)은, 에지 검출 수단(122) 및 사전 확률 계산 수단(123)에 의해 산출된, 각 화소에 관한 현저영역의 사전 확률과, 우도 계산 수단(126)에 의해 산출된, 각 화소에 관한 현저영역의 우도를 이용하여, 원화상에 대응한, 현저영역의 우도를 나타내는 확률 화상을 생성하는 것이다.

또한, 현저 맵 화상 생성 수단(127)은, 상기 확률 화상이 평활화된 현저 맵 화상을 작성한다.

(현저영역 검출 처리의 흐름)

다음에, 화상 처리 장치(1)의 제어 수단(12)에 의해 실행되는 현저영역 검출 처리의 흐름에 관해, 도 4 내지 도 6을 이용하여 설명한다.

도 4는 제어 수단(12)에 의해 실행되는 현저영역 검출 처리의 흐름을 도시하는 플로 차트이다. 또한, 도 5는, 도 4에 도시하는 현저영역 검출 처리에서 사전 확률 계산 처리(S2)의 공정의 상세를 도시하는 플로 차트이다. 또한, 도 6은, 도 4에 도시하는 현저영역 검출 처리에서 우도 계산 처리(S3)의 공정의 상세를 도시하는 플로 차트이다.

우선, 본 발명에 관한 현저영역 검출 처리에 의한 현저영역 검출 처리의 대략적인 흐름에 관해, 도 4를 이용하여 설명한다. 동 도면에 도시하는 바와 같이, 현저영역 검출 처리는, 입력 화상의 판독(1), 사전 확률 계산 처리(S2), 우도 계산 처리(S3), 및 현저영역 검출 처리(S4)의 4개의 공정을 포함하고 있다.

상기 현저영역 검출 처리에서, 제어 수단(12)은, 원화상으로서의 입력 화상을 취득한(S1) 후, 그 원화상으로부터 생성한 슈퍼픽셀 화상을 이용하여, 원화상의 화소(k)가 현저영역일 확률(P_k(F))을 산출하는 사전 확률 계산 처리를 행한다(S2).

다음에, 제어 수단(12)은, 화소(k)의 현저영역다움, 즉 화소(k)가 현저영역과 비슷한 정도(우도)를 산출하는 우도 계산 처리를 행한다(S3). 이에 의해, 원화상에서 현저영역다움의 도수분포를 나타내는 확률 화상을 얻을 수 있는 것이 된다.

최후로, 제어 수단(12)은, 상기 확률 화상을 평활화하여 현저 맵(saliency map) 화상을 생성하는 현저영역 검출 처리를 행한다(S4).

이하에서는, 현저영역 검출 처리의 S2 내지 S4의 3개의 공정의 각각의 상세에 관해, 차례로 설명한다.

(1. 사전 확률 계산 처리(S2))

여기서는, 도 5에 도시하는 플로 차트를 이용하여, 본 발명에 관한 사전 확률 계산 알고리즘에 의거한 사전 확률 계산 처리(S2)의 흐름을 설명한다.

도 5에 도시하는 바와 같이, 사전 확률 계산 처리(S2)에서는, 우선, SP 화상 생성 수단(121)이, 원화상으로부터 멀티 스케일 슈퍼픽셀 화상(이하, 단지 슈퍼픽셀 화상이라고 약기한다)을 생성한다(S201).

그 후, 사전 확률 계산 수단(123)이, 원화상의 각 화소(k)에 관해, 그 화소(k)의 현저영역다움을 나타내는 사전 확률을 산출한다(S202).

다음에, 에지 검출 수단(122)이, 원화상의 에지점을 검출하고(S203), 상기 에지점의 정보를 이용하여, 후술하는 식(4)의 F(r_i ^m)를 보정한다(S204).

이상의 스텝 S201 내지 S204의 각 처리가, 원화상의 전 화소에 관해 실행된다(S205).

(S202 ; 화소의 사전 확률 계산)

스텝 S202에서, 사전 확률 계산 수단(123)은, 원화상의 각 화소(k)에 관해, 이하의 식(2) 내지 식(4)을 이용하여, 그 화소(k)의 현저영역다움을 나타내는 사전 확률을 산출한다(S202).

[수식 2]

여기서,

[수식 3]

[수식 4]

식(2)에서,

P_k(F)는, 화소(k)가 현저영역일 사전 확률 ;

M은, 슈퍼픽셀 화상의 스케일 수 ;

m은, 슈퍼픽셀의 스케일 번호 ;

r_k ^m은, 화소(k)를 포함하는 스케일 번호(m)의 화상 영역 중에 포함되는 슈퍼픽셀 ;

을 각각 나타낸다.

또한, 식(3)에서, D_k ^m는, 식(4)에 표시하는 F(r_i ^m)를 정규화하기 위한 정규화 파라미터 ;

ε는, D_k ^m의 분모가 제로가 되는 것을 방지하기 위해 가하여진 미소한 값 ;

I_k는, 화소(k)의 휘도치 또는 색도 ;

I_c(r_k ^m)는, 화소(k)를 포함하는 스케일 번호(m)의 화상 영역 중에 포함되는 슈퍼픽셀의 중심 화소의 휘도치 또는 색도 ;

이다.

또한, 식(4)에서,

d_c는, i번의 슈퍼픽셀과 화상의 중심과의 사이의 좌표 거리 ;

d(r_i, r_j)는, i번의 슈퍼픽셀과 j번의 슈퍼픽셀과의 색거리 ;

N_m은, i번의 슈퍼픽셀과 같은 스케일(m)에 포함되는 슈퍼픽셀의 수 ;

w_j ^m는, i번의 슈퍼픽셀과 같은 스케일(m)에 포함되는 슈퍼픽셀의 총 면적에서의, j번의 슈퍼픽셀의 면적 비율 ;

을 각각 나타내고 있다.

여기서, 상기 면적 비율의 제1의 계산 방법으로서는, i번의 슈퍼픽셀의 주위의 일정 범위 내에 존재하는 슈퍼픽셀을, 스케일(m)에 포함되는 슈퍼픽셀로서 이용하여 계산하여도 좋다. 이 경우, m이란, i번의 슈퍼픽셀의 주위의 일정 범위 내에 존재하는 슈퍼픽셀의 수에 대응한다. 또한, 상기 면적 비율의 제2의 계산 방법으로서는, i번의 슈퍼픽셀 이외의 모든 슈퍼픽셀을, 스케일(m)에 포함되는 슈퍼픽셀로서 이용하여 계산하여도 좋다. 이 경우, 스케일 수(M)는 1이 된다. 단, 계산량과 로컬 정보를 중시하는 관점에서는, 상기 면적 비율은, 제1의 계산 방법으로 계산하는 것이 바람직하다. 또한, 제1의 계산 방법에서의 상기 일정 범위는, 보다 올바른 현저영역을 유도할 수 있는 범위를 선택한다는 판단 기준에 의거하여, 복수의 화상을 이용한 현저영역의 산출 결과로부터, 경험적으로 얻을 수 있다.

여기서, 상기 화상의 중심은, 그 화상이 사각형인 경우, 그 화상의 상하의 변의 중점끼리를 연결한 선분과, 좌우의 변의 중점끼리를 연결한 선분과의 교점이면 좋다. 또는, 임의의 형상의 화상에서, 상기 화상의 중심은, 화상을 구성하는 전 화소의 중심이라도 좋다.

또한, 상기 스케일 수(M)란, 슈퍼픽셀 화상에 포함되는 슈퍼픽셀을, 1개 이상의 슈퍼픽셀을 포함하는 스케일(m)마다 분류한 때의, 상기 스케일(m)의 총수인 것이다.

1개의 스케일은, 예를 들면, 서로 접하여 있는 복수의 슈퍼픽셀이 포함된다.

식(4)에 의하면, 색거리(d(r_i, r_j))가 클수록, F(r_i ^m)의 값이 커진다. 따라서, i번의 슈퍼픽셀은, 동일 스케일(m)에 포함되는 주변의 슈퍼픽셀과의 색거리가 클수록, 또한, 다수의 슈퍼픽셀과의 색거리가 클수록, 현저영역의 사전 확률이 높게 된다. 또한, 상기 사전 확률은, 동일한 스케일 내에 포함되는 슈퍼픽셀의 수(N_m)에도 의존하게 된다.

또한, 식(4)에 의하면, i번의 슈퍼픽셀의 주변에 있는 j번의 슈퍼픽셀의 면적 비율(w_j ^m)이 클수록, F(r_i ^m)의 값이 커지다, 즉, i번의 슈퍼픽셀의 사전 확률이 높아진다.

다른 견해를 말하면, 면적 비율(w_j ^m)에 의해, 상기 색거리(d(r_i, r_j))에 무게가 붙는다. 따라서, i번의 슈퍼픽셀은, 상기 면적 비율이 큰 슈퍼픽셀에 대한 색거리가 클수록, 사전 확률이 높아진다고도 말할 수 있다.

또한, 색거리(d(r_i, r_j))는, 예를 들면, LAB색 공간에서 정의되는 색끼리의 거리라도 좋다.

또한, 식(4)에 의하면, 좌표 거리(d_c)가 클수록, F(r_i ^m)의 값이 작아진다. 따라서, i번의 슈퍼픽셀은, 상기 화상의 중심으로부터 측정한 좌표 거리가 클수록, 현저영역의 사전 확률이 낮게 된다.

(S203 내지 S204 ; 에지점에 의한 보정)

일반적인 화상에서는, 현저영역과 비교하여, 배경에 보다 많은 에지점이 존재하는 일이 많다. 그 때문에, 에지점의 수가 많은 영역, 특히 슈퍼픽셀은, 배경에 포함될 가능성이 높게 된다.

따라서 에지점의 수에 의거하여, 현저영역과 배경을 구별하는 보정을 행함에 의해, 현저영역의 사전 확률의 정밀도를 향상시킬 수 있다.

그래서, 사전 확률 계산 처리(S2)의 스텝 S203 내지 S204에서는, 에지 검출 수단(122)이, 원화상의 에지점을 검출하고, 상기 에지점의 정보를 이용하여, 상기 F(r_i ^m)의 보정을 행한다.

이하에, 에지 검출 수단(122)이, 에지점의 정보에 의해 상기 F(r_i ^m)를 보정하는 방법에 관해, 식(5)을 이용하여 구체적으로 설명한다.

[수식 5]

여기서, edn(i)은, i번의 슈퍼픽셀이 갖는 에지점의 수이다.

에지 검출 수단(122)은, 식(5)에 의거하여, F(r_i ^m)의 치를 보정한다.

식(5)에 의하면, edn(i)이 증대할수록, F(r_i ^m)의 값이 지수함수적으로 감소하여 간다. 이것은, 에지 검출 수단(122)이, 에지점의 수가 많은 슈퍼픽셀에 포함되는 화소일수록, 현저영역의 사전 확률을 낮게 하는 것을 나타내고 있다.

또한, 식(5)에 의하면, edn(i)이 임계치(T)보다도 큰 경우, 현저영역의 사전 확률(F(r_i ^m))은 0이 된다. 이것은, 에지 검출 수단(122)이, (i번의) 슈퍼픽셀이 갖는 에지점의 수가 임계치(T)보다도 많은 경우, 이 슈퍼픽셀에 포함되는 화소의 사전 확률을 제로로 하는 것을 나타내고 있다.

(2. 우도 계산 처리(S3))

다음에, 도 6에 도시하는 플로 차트를 이용하여, 본 발명에 관한 현저영역 검출 알고리즘에 의거한 우도 계산 처리(S3)의 흐름을 설명한다.

도 6에 도시하는 바와 같이, 우도 계산 처리(S3)에서는, 우선, 철포영역 생성 수단(124)이, 원화상으로부터 코너 포인트를 검출한다(S301).

다음에, 철포영역 생성 수단(124)은 철포영역을 생성한다(S302). 상세하게는, 철포영역 생성 수단(124)은, 원화상으로부터 3개 이상의 코너 포인트를 선택하여 구성되는 하나 또는 복수의 철포영역을 생성한다. 또한, 원화상의 코너 포인트의 총수가 3개 미만인 경우, 철포영역 생성 수단(124)은, 화상 전체를 철포영역으로 한다.

그 후, 철포영역 생성 수단(124)은, 원화상으로부터 생성된 슈퍼픽셀 화상을 생성한다(S303).

또한, 철포영역 생성 수단(124)은, 철포영역을 생성하는 대신에, 사전 확률 계산 처리(S2)에서의 생성되는 슈퍼픽셀 화상을 이용하여도 좋다.

계속되고, 철포영역 조정 수단(125)이, 이하의 기준에 의해, 철포영역 생성 수단(124)에 의해 생성되는 철포영역을 조정한다(S304).

(a) 기준 1 ; 원화상의 주변부에 존재하는 화소를 철포영역에서 제외한다. 여기서, 상기 주변부란, 전술한 화상의 중심으로부터 소정의 거리 이상으로 이간하고 있는 화상 영역이라도 좋다.

(b) 기준 2 ; 철포영역의 적어도 일부와 겹쳐지는 슈퍼픽셀에 관해, 상기 슈퍼픽셀에 포함되는 화소 중, 상기 소정의 비율 이상의 화소가 철포영역에 포함되어 있는 경우, 상기 슈퍼픽셀에 포함되는 모든 화소를 철포영역에 포함한다. 한편, 상기 슈퍼픽셀에 포함되는 화소 중, 상기 소정의 비율 이상의 화소가 철포영역에 포함되지 않는 경우, 상기 슈퍼픽셀에 포함되는 모든 화소를 철포영역에서 제외한다.

(c) 기준 3 ; 화상의 철포영역으로서, 복수의 상기 철포영역이 존재하고 있고, 어느 철포영역의 면적에 대한 다른 철포영역의 면적의 비율이 소정치보다도 작은 경우, 상기 다른 철포영역을 상기 철포영역에서 제외한다.

(d) 기준 4 ; 화상의 철포영역으로서, 복수의 상기 철포영역이 존재하고 있고, 어느 철포영역의 평균 사전 확률에 대한 다른 철포영역의 평균 사전 확률의 비율이 소정치보다도 작은 경우, 상기 다른 철포영역을 상기 철포영역에서 제외한다. 여기서, 상기 평균 사전 확률이란, 어느 철포영역에 포함되는 모든 화소의 사전 확률의 평균인 것이다.

(e) 기준 5 ; 기준 1 내지 기준 4에 의거하여 조정된 철포영역이 상기 화상의 전체에서 차지하는 비율이, 제1의 소정치보다도 커지는 경우, 또는, 제2의 소정치보다도 작아지는 경우, 상기 철 조정 후의 철포영역을, 조정 전의 철포영역으로 되돌린다.

이상의 기준 1 내지 기준 5에 의해, 철포영역의 조정이 완료된다. 또한, 조정 후의 철포영역은, 볼록형상이 아니라도 좋다.

본 실시 형태의 현저영역 검출 알고리즘에서는, 철포영역 조정 수단(125)에 의한 조정 후의 철포영역이, 임시의 현저영역으로서 다루어지게 된다.

따라서 조정 후의 철포영역 내에 존재하는 화소의 특징량(휘도치·색도 등)은, 임시의 현저영역의 특징량이 되기 때문에, 그 특징량에 가까운 특징량을 갖는 화소일수록, 현저영역의 우도가 높게 된다.

계속해서, 우도 계산 수단(126)이, 이하의 식(7)에 의거하여, 원화상의 각 화소(x)에 관해, 현저영역의 우도(P<x|F>), 및, 배경의 우도(P<x|B>)를 계산한다(S305).

[수식 6]

[수식 7]

식(6) 및 식(7)에서,

(L, a, b)의 각 요소는, LAB색 공간에서의 각 채널 ;

N_F은, (조정 후의) 철포영역 내의 전 화소수 ;

N_B은, 철포영역 외의 전 화소수 ;

f^L(x^L)는, 화소(x)의 휘도치(L)가, 철포영역에 포함되는 모든 화소의 휘도치 중에서 발생하는 빈도 ;

f^α(x^α) 및 f^β(x^β)는, 각각, 화소(x)의 색도(α 또는 β)(β은 α의 보색)가, 철포영역에 포함되는 모든 화소의 색도 중에서 발생하는 빈도 ;

를 나타내고 있다.

또한, b^L(x^L), b^α(x^α) 및 b^β(x^β)는, 각각, 화소(x)에 위치하는 화소의 휘도치(L) 또는 색도(α, β)가, 철포영역 외에 존재하는 모든 화소의 휘도치 또는 색도 중에서 발생하는 빈도를 나타내고 있다.

식(7)에 의하면, 화소(x)의 휘도치·색도와, 조정 후의 철포영역에 포함되는 화소의 휘도치·색도가 일치하는 빈도가 많을 수록, 그 화소(x)는 현저영역일 우도가 높다. 한편, 화소(x)의 휘도치·색도와, 조정 후의 철포영역에 포함되지 않는 화소의 휘도치·색도가 일치하는 빈도가 많을 수록, 그 화소(x)는 배경일 우도가 높다.

(3. 현저영역 검출 처리(S4))

현저영역 검출 처리(S4)에서는, 현저 맵 화상 생성 수단(127)이, 에지 검출 수단(122) 및 사전 확률 계산 수단(123)에 의해 산출된 상기 사전 확률과, 우도 계산 수단(126)에 의해 산출된 상기 현저영역의 우도를 이용하여, 원화상의 현저 정도를 나타내는 현저 맵 화상을 생성한다.

상세하게는, 현저 맵 화상 생성 수단(127)은, 우선, 식(1)에 대해, 식(2), 식(6), 및 식(7)의 계산 결과를 대입함에 의해, 원화상의 화소(x)가 현저영역일 사후 확률(P<F|x>)을 계산한다.

이와 같이, 현저 맵 화상 생성 수단(127)은, 원화상의 각 화소(x)에 관해, 상기 사후 확률을 각각 구함에 의해, 원화상의 각 화소(x)와 상기 사후 확률을 대응시킨 확률 화상을 생성한다.

그 후, 현저 맵 화상 생성 수단(127)은, 상기 확률 화상을 평활화함으로써, 상기 현저 맵 화상을 작성하다. 또한, 상기 확률 화상을 평활화하기 위한 처리 방법은 특히 한정되지 않지만, 예를 들면, guided filter를 사용할 수 있다.

도 7에, 본 발명에 관한 현저영역 검출 알고리즘에 의거하여 작성된 현저 맵 화상의 예를 도시한다. 동 도면에서, 좌단의 열(列)의 각 화상은, 각각, 현저 맵 화상을 작성하기 위한 샘플 화상이다.

도 7에서, 우단부터 2번째의 열의 각 화상은, 같은 행에 있는 상기 샘플 화상으로부터, 본 발명에 관한 현저영역 검출 알고리즘에 의거하여 작성된 현저 맵 화상이다.

또한, 도 7에서, 우단의 열의 각 화상은, 같은 행의 상기 샘플 화상으로부터, 주목하여야 할 영역, 즉 올바른 현저영역(백색의 영역)을 사람손에 의해 추출한 흑백 화상이다.

또한, 도 7에는, 좌단부터 2번째의 열에, 본 발명에 대한 비교례로서, 본 발명에 관한 현저영역 검출 알고리즘 이외의 알고리즘에 의거하여 작성된 비교용 현저 맵 화상도 도시하고 있다.

도 7을 보면, 본 발명에 관한 현저영역 검출 알고리즘에 의거하여 작성된 현저 맵 화상은, 상기 비교용 현저 맵 화상과 비교하여, 백색에 가까운 영역, 즉 현저 정도이 높은 영역이, 상기 흑백 화상에서 백색의 영역(즉 올바른 현저영역)과 잘 일치하고 있음을 알 수 있다.

이것은, 본 발명에 관한 현저영역 검출 알고리즘에 의하면, 종래보다도 현저 정도를 정밀도 좋게 계산할 수 있음을 나타내고 있다.

(비특허 문헌과의 차이)

이상과 같이, 본 발명에 관한 현저영역 검출 알고리즘은, Baysian 이론(베이즈의 정리)를 이용하여, 화상으로부터 현저 정도를 산출하는 것이다.

한편, 비특허 문헌 1 및 비특허 문헌 2에는, 베이즈의 정리를 이용하여 현저 정도(saliency measure)를 계산한 방법이 개시되어 있다.

그러나, 전술과 같이, 상기 비특허 문헌 1 및 상기 비특허 문헌 2에서는, 현저영역의 사전 확률을 정수로 가정하고 있다.

따라서 상기 비특허 문헌 1에서의 현저 정도(S₀(x))의 산출 결과는, 우도만에 의존하는 일반적인 물리 모델을 이용한 산출 결과와 동등하게 된다. 환언하면, 상기 비특허 문헌 1에서는, 상기 확률 밀도 함수(사전 확률에 대응)를 정수로 가정하고 있기 때문에, 우도의 항과 함께 사전 확률의 항도 포함하고 있는 베이즈의 정리가 유효하게 이용되지 않게 된다. 한편, 본 발명에 관한 사전 확률 계산 알고리즘에서는, 상기 비특허 문헌 1 및 상기 비특허 문헌 2와는 달리, 원화상의 각 화소에 관해, 현저영역의 사전 확률을 각각 계산한다.

따라서 종래보다도 정확한 사전 확률을 구할 수 있다. 또한, 그 결과, 종래보다도 정확한 사후 확률을 구할 수 있다. 즉, 본 발명에 의하면, 베이즈의 정리를 유효하게 이용하여, 종래보다도 정밀하게 현저 정도를 산출할 수 있다.

(본 발명에 의한 현저영역 검출의 정밀도)

발명자는, 본 발명에 관한 현저영역 검출 알고리즘을 평가하기 위해, 어느 화상에 관해, 그 현저영역 검출 알고리즘을 이용하여 검출된 현저영역의 PR(Precision-Recall) 커브를 계산하였다. 그리고, 발명자는, PR 커브에 의하면, 상기 현저영역 검출 알고리즘이, 다른 알고리즘과 비교하여, 현저영역의 검출에서 우수한 것을 확인하였다(도 8 참조).

도 8은, 본 발명에 관한 현저영역 검출 알고리즘에 의거하여 계산된 PR 커브를 도시하는 그래프이다. 동 도면에서, proposed로서 도시하는 그래프가, 본 발명에 관한 현저영역 검출 알고리즘의 PR 커브이다. 또한, 도 8에는, 비교를 위해, 본 발명에 관한 현저영역 검출 알고리즘이 아닌 다른 알고리즘의 PR 커브도 몇 가지 나타내고 있다.

도 8에 의하면, 상기 proposed로서 나타낸 PR 커브의 적합률(precision) 및 재현률(recall)의 값은, 다른 PR 커브와 비교하여 높게 되어 있음을 알 수 있다. 이것은, 본 발명에 관한 현저영역 검출 알고리즘이, 상기 다른 알고리즘보다도 정밀도 좋게 현저영역을 검출할 수 있음을 나타내고 있다.

PR 커브는, 구체적으로는, 이하와 같이 작성할 수 있다. 우선, 도 7에 도시하는 현저 맵 화상에서, 소정의 임계치(α)를 설정하여, 사후 확률(P(F|x))>α면 P'(x)=1, P(F|x)≤α면 P'(x)=0에 대응시킴에 의해, 2치 화상을 생성한다. 여기서, 생성된 2치화 화상에서, P'(x)=1의 영역은 현저영역에 대응하고, P'(x)=0의 영역은 배경에 대응한다. 이상과 같은 2치 화상의 생성 방법을 이용하여, 임계치(α)를 일정한 범위 내(예를 들면, 0부터 255)에서 단계적으로 변경하면서, 각 임계치(α)에 대해, 각각 2치화 화상을 생성한다. 그리고, 생성된 각 2치화 화상으로부터, 각각 1조(組)의 적합률과 재현률을 얻을 수 있다. 이와 같이 하여 복수의 2치화 화상으로부터 얻어지는 복수의 적합률과 재현률로부터, PR 커브가 생성된다.

(PR 커브에 관해)

PR 커브는, 현저영역을 계산하는 알고리즘의 정밀도를 나타내는 지표가 되는 것이고, 적합률(Precision)과 재현률(Recall)과의 사이의 관계를 나타내는 것이다.

여기서, 적합률이란, 원화상으로부터 현저영역의 검출을 실행한 때의 검출 결과(A)에 포함되는 올바른 현저영역(C)의 비율(C/A)인 것이다. 또한, 재현률이란, 올바른 현저영역의 전체(B)에서의, 상기 현저영역(C)의 비율(C/B)인 것이다.

도 8에 도시하는 PR 커브의 그래프를 보면, 재현률이 0에 가까운, 즉 영역(B)에서의 영역(C)의 비율이 작을수록, 적합률이 1에 가까워져 있다. 이것은, 요구되는 재현률이 작을수록, 검출 결과(A)가 거의 영역(B)에 포함되도록 할 수 있는 것을 나타내고 있다.

또한, 도 8에서, 재현률이 1일 때, 적합률은 0.2로 되어 있다. 이 적합률의 값은, 화상 전체에서의 현저영역의 크기의 비율(20%)에 대응하는 것이다. 이것은, 영역(B)을 완전하게 검출하기 위해서는, 화상 전체를 검출 결과(A)(철포영역)로 할 필요가 있는 것을 나타내고 있다. 또한, 영역(B)이 어떠한 형상이었다고 하여도, 검출 결과(A)가 화상 전체인 경우, 영역(B)은 완전히 검출된 것을 나타내고 있다.

[보충]

이하에, 보충으로서, 슈퍼픽셀에 관해 설명한다.

(슈퍼픽셀에 관해)

화상에서, 색 또는 휘도 등의 각종 파라미터의 값이 서로 유사하고 있는 연접한 복수의 화소로 이루어지는 화소 생성 영역을 슈퍼픽셀이라고 부른다. 화소를 단위로 하는 원화상으로부터 작성된 슈퍼픽셀을 단위로 하는 화상을, 원화상과 구별하기 위해, 슈퍼픽셀 화상이라고 부른다.

원화상 대신에, 슈퍼픽셀 화상을 이용한 화상 처리를 행함에 의해, 처리의 데이터량을 대폭적으로 삭감하거나, 상기 각종 파라미터(휘도, 색 등)의 노이즈를 억제하거나 할 수 있다.

슈퍼픽셀 화상의 생성 알고리즘으로서, 복수의 생성 알고리즘이 알려져 있다. 어느 생성 알고리즘에서도, 사용된 파라미터에 의존하여, 생성되는 슈퍼픽셀 화상에 포함되는 슈퍼픽셀의 총수가 다른 것으로 된다.

또한, 하나의 파라미터뿐만 아니라, 복수의 파라미터를 사용함으로써, 동일한 화상에 관해 복수의 슈퍼픽셀 화상을 생성할 수도 있다. 이와 같이 하여 생성된 슈퍼픽셀 화상은, 멀티 스케일 슈퍼픽셀 화상이라고 불린다.

[소프트웨어에 의한 실현례]

최후로, 화상 처리 장치(1)의 각 블록은, 집적 회로(IC 칩)상에 형성된 논리 회로에 의해 하드웨어적으로 실현하여도 좋고, CPU(Central Processing Unit)를 이용하여 소프트웨어적으로 실현하여도 좋다.

후자의 경우, 화상 처리 장치(1)는, 각 기능을 실현하는 프로그램의 명령을 실행한 CPU, 상기 프로그램을 격납한 ROM(Read Only Memory), 상기 프로그램을 전개한 RAM(Random Access Memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현한 소프트웨어인 화상 처리 장치(1)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에서 판독 가능하게 기록한 기록 매체를, 상기 화상 처리 장치(1)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하고 실행함에 의해서도, 달성 가능하다.

상기 기록 매체로서는, 일시적이 아닌 유형의 매체(non-transitory tangible medium), 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프류, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크류, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드류, 마스크 ROM/EPROM/EEPROM(등록상표)/플래시 ROM 등의 반도체 메모리류, 또는 PLD(Programmable logic device)나 FPGA(Field Programmable Gate Array) 등의 논리 회로류 등을 이용할 수 있다.

또한, 화상 처리 장치(1)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크는, 프로그램 코드를 전송 가능하면 좋고, 특히 한정되지 않는다. 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상전용망(Virtual Private Network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 이 통신 네트워크를 구성하는 전송 매체도, 프로그램 코드를 전송 가능한 매체라면 좋고, 특정한 구성 또는 종류의 것으로 한정되지 않는다. 예를 들면, IEEE1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL(Asymmetric Digital Subscriber Line) 회선 등의 유선이라도, IrDA나 리모트 콘트롤과 같은 적외선, Bluetooth(등록상표), IEEE802. 11 무선, HDR(High Data Rate), NFC(Near Field Communication), DLNA(등록상표)(Digital Living Network Alliance), 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태로도 실현될 수 있다.

본 발명은 상술한 실시 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 복수 가지의 변경이 가능하고, 실시 형태 중에 개시된 기술적 수단을 적절히 조합시켜서 얻어지는 실시 형태에 대해서도, 본 발명의 기술적 범위에 포함된다.

본 발명은, 화상으로부터 현저영역을 검출하는 화상 처리 장치 등에 이용할 수 있다.

1 : 화상 처리 장치
14 : 기억부
121 : SP 화상 생성 수단(화소 소영역 생성 수단)
122 : 에지 검출 수단(에지점 보정 수단)
123 : 사전 확률 계산 수단
124 : 철포영역 생성 수단(영역 생성 수단)
125 : 철포영역 조정 수단
126 : 우도 계산 수단
127 : 현저 맵 화상 생성 수단(현저영역 검출 수단)

Claims

화상으로부터 현저영역을 검출하는 화상 처리 장치로서,
상기 화상으로부터, 휘도치 및/또는 색도가 유사한 서로 인접한 화소로 이루어지는 화소 소영역을 단위 구성으로 하는 화소 소영역 화상을 생성하는 화소 소영역 화상 생성 수단과,
상기 화상의 각 화소에 관해, 상기 현저영역다움의 사전 확률을 산출하는 사전 확률 계산 수단과,
상기 화상으로부터 추출한 코너 포인트에 의거하여, 현저영역을 포함할 가능성이 높은 현저영역 함유 영역을 생성하는 영역 생성 수단과,
상기 화소 소영역 내에 포함되는 보다 많은 화소의 휘도치 및/또는 색도와 같은 휘도치 및/또는 색도를 갖는 화소일수록, 상기 현저영역의 우도가 보다 높아지도록, 상기 화상의 각 화소에 관해, 상기 현저영역의 우도를 산출하는 우도 계산 수단과,
상기 사전 확률과 상기 현저영역의 우도를 이용하여, 상기 현저영역다움의 사후 확률을 산출하는 현저영역 검출 수단을 구비하고,
상기 사전 확률 계산 수단은, 상기 화소 소영역 화상에 포함되는 화소 소영역에서, 인접한 화소 소영역과의 색거리가 보다 큰 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소의 상기 사전 확률을 높게 하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,
상기 사전 확률 계산 수단은, 인접한 다른 화소 소영역의 면적이 보다 큰 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소의 사전 확률을 보다 높게 하는 것을 특징으로 하는 화상 처리 장치.
제1항 또는 제2항에 있어서,
상기 사전 확률 계산 수단은, 상기 화상의 중심과의 거리가 보다 가까운 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소의 사전 확률을 보다 높게 하는 것을 특징으로 하는 화상 처리 장치.
제1항 또는 제2항에 있어서,
상기 화소 소영역에 포함되는 에지점의 수가 소정수 이하인 경우, 상기 에지점의 수가 보다 많은 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소의 상기 사전 확률이 보다 낮아지도록, 또한, 화소 소영역에 포함되는 상기 에지점의 수가 소정수보다도 많은 경우, 그 화소 소영역을 구성하는 각 화소의 상기 사전 확률이 제로가 되도록 보정하는 에지점 보정 수단을 또한 구비한 것을 특징으로 하는 화상 처리 장치.
제1항 또는 제2항에 있어서,
상기 영역 생성 수단은, 상기 현저영역 함유 영역으로서, 영역의 각 정점의 내각이 각각 180보다도 작은 철포영역을 생성하고,
상기 철포영역의 적어도 일부와 겹쳐지는 상기 화소 소영역에 관해, 그 화소 소영역을 구성하는 화소 중, 상기 철포영역에 포함되는 화소가 소정의 제1의 비율보다도 큰 경우, 그 화소 소영역의 전체를 상기 철포영역에 포함하는 한편, 그 화소 소영역을 구성하는 화소 중, 상기 철포영역에 포함되는 화소가 소정의 제2의 비율보다도 작은 경우, 상기 철포영역 중 그 화소 소영역과 겹쳐지는 부분을 상기 철포영역으로부터 제외하는 철포영역 조정 수단을 또한 구비하고,
상기 우도 계산 수단은, 상기 철포영역 조정 수단에 의해 조정된 철포영역에 의거하여, 상기 화상의 각 화소에 관해, 상기 현저영역의 우도를 산출하는 것을 특징으로 하는 화상 처리 장치.
제5항에 있어서,
상기 철포영역 조정 수단은, 상기 철포영역에서, 상기 화상의 중심으로부터 소정의 거리 이상 이간한 주변부에 포함되는 부분을, 상기 철포영역에서 제외하는 것을 특징으로 하는 화상 처리 장치.
제6항에 있어서,
상기 철포영역 조정 수단은, 상기 영역 생성 수단에 의해 복수의 상기 철포영역이 생성되어 있고, 어느 철포영역의 면적에 대한 다른 철포영역의 면적의 비율이 소정치보다도 작은 경우, 상기 다른 철포영역을 상기 철포영역에서 제외하는 것을 특징으로 하는 화상 처리 장치.
제7항에 있어서,
상기 철포영역 조정 수단은, 상기 영역 생성 수단에 의해 복수의 상기 철포영역이 생성되어 있고, 어느 철포영역의 평균 사전 확률에 대한 다른 철포영역의 평균 사전 확률의 비율이 소정치보다도 작은 경우, 상기 다른 철포영역을 상기 철포영역에서 제외하는 것을 특징으로 하는 화상 처리 장치.
제8항에 있어서,
상기 철포영역 조정 수단은, 그 철포영역 조정 수단에 의한 조정 후의 상기 철포영역이 상기 화상의 전체에서 차지하는 비율이, 제1의 소정치보다도 커지는 경우, 또는, 제2의 소정치보다도 작아지는 경우, 그 철포영역 조정 수단에 의한 조정 후의 상기 철포영역을, 조정 전의 철포영역으로 되돌리는 것을 특징으로 하는 기재된 화상 처리 장치.
화상으로부터 현저영역을 검출하는 화상 처리 방법으로서,
상기 화상으로부터, 휘도치 및/또는 색도가 유사한 서로 인접한 화소로 이루어지는 화소 소영역을 단위 구성으로 하는 화소 소영역 화상을 생성하는 화소 소영역 화상 생성 스텝과,
상기 화소 소영역 화상에 포함되는 화소 소영역에서, 인접한 화소 소영역과의 색거리가 보다 큰 화소 소영역일수록, 그 화소 소영역을 구성하는 각 화소에 관해, 상기 현저영역다움의 사전 확률이 보다 높아지도록, 상기 화상의 각 화소에 관해, 상기 사전 확률을 산출하는 사전 확률 계산 스텝과,
상기 화상으로부터 추출한 코너 포인트에 의거하여, 현저영역을 포함할 가능성이 높은 현저영역 함유 영역을 생성하는 영역 생성 스텝과,
상기 현저영역 함유 영역 내에 포함되는 보다 많은 화소의 휘도치 및/또는 색도와 같은 휘도치 및/또는 색도를 갖는 화소일수록, 상기 현저영역의 우도가 보다 높아지도록, 상기 화상의 각 화소에 관해, 상기 현저영역의 우도를 산출하는 우도 계산 스텝과,
상기 사전 확률과 상기 현저영역의 우도를 이용하여, 상기 현저영역다움의 사후 확률을 산출하는 현저영역 검출 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
컴퓨터를 제9항에 기재된 화상 처리 장치의 각 수단으로서 기능시키기 위한 화상 처리 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.