KR20160110038A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

인물의 얼굴이 포함된 화상인 얼굴화상으로부터, 오브젝트를 제거하는 보정을 행하는 화상 처리 장치로서, 얼굴화상을 취득하는 화상 취득 수단과, 상기 얼굴화상에 포함되는 화소에 의거하여, 피부 영역을 대표하는 화소치인 대표 화소치를 결정하는 대표 화소치 결정 수단과, 상기 오브젝트를 포함하는 영역인 제1의 영역을 생성하는 영역 생성 수단과, 상기 대표 화소치와의 유사도에 의거하여, 상기 제1의 영역의 부근에 있는 복수의 화소의 중에서, 보정에 이용하는 하나 이상의 화소인 보정 화소를 결정하는 보정 화소 결정 수단과, 상기 보정 화소를 이용하여, 상기 오브젝트에 대응하는 화소를 치환하기 위한 화소의 집합인 부분 화상을 생성하는 부분 화상 생성 수단과, 상기 부분 화상을 상기 얼굴화상에 합성함으로써 보정을 행하는 보정 수단을 갖는다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은, 화상에 포함되는 불필요한 오브젝트를 삭제하는 화상 처리 기술에 관한 것이다.

근래, 디지털 카메라 등을 이용하여 촬영된, 사람의 얼굴이 포함되는 화상(얼굴화상)을 자동적으로 보정하는 기술이 보급되기 시작하고 있다. 이와 같은 기술의 하나로, 화상에 포함되는 불필요한 오브젝트를 삭제한다는 것이 있다. 예를 들면, 얼굴에 있는 점이나 주름을 제거함으로써, 피부를 깨끗하게 보일 수 있다. 또한, 눈썹을 검출하여 제거함으로써, 눈썹의 다시 그리기가 가능해진다.

화상에 포함되는 불필요한 오브젝트를 삭제하는 기술로서, 예를 들면, 특허 문헌 1에 기재된 화상 처리 장치가 있다. 당해 화상 처리 장치에서는, 불필요한 오브젝트가 존재한 영역에 유사한 영역을 화상 내로부터 탐색하고, 영역마다 치환함에 의해, 불필요한 오브젝트를 제거하고 있다.

일본 특개2011-170838호 공보

특허 문헌 1에 기재된 장치를 이용하여, 사람의 얼굴에 포함되는 불필요한 오브젝트(점, 주름, 눈썹 등)를 제거하려고 한 경우, 처리 후의 화상에 부자연스러움이 남아 버리는 경우가 있다. 이것은, 조명의 닿는 방식 등에 기인하여, 생기는 음영(陰影)이 부위마다 다르기 때문이다. 예를 들면, 영역끼리의 화소의 연산치(예를 들면, 휘도치의 차(差)의 합계)가 유사하다고 하여도, 음영의 붙은 방식이 다른 영역이 선택되어 버리면, 부자연스러운 보정 결과가 되어 버린다.

이 문제를 해결하기 위해서는, 제거 대상의 오브젝트의 주변에 있는 화소치를 크게 바꾸지 않고, 대상의 오브젝트만을 제거하는 기술이 필요해진다.

본 발명은 상기한 과제를 고려하여 이루어진 것으로, 화상에 포함되는 불필요한 오브젝트를 위화감 없이 제거하는 기술을 제공하는 것을 목적으로 한다.

전술한 과제를 해결하기 위해, 본 발명에 관한 화상 처리 장치는,

인물의 얼굴이 포함된 화상인 얼굴화상으로부터, 오브젝트를 제거하는 보정을 행하는 화상 처리 장치로서, 얼굴화상을 취득하는 화상 취득 수단과, 상기 얼굴화상에 포함되는 화소에 의거하여, 피부(肌) 영역을 대표하는 화소치인 대표 화소치를 결정하는 대표 화소치 결정 수단과, 상기 오브젝트를 포함하는 영역인 제1의 영역을 생성하는 영역 생성 수단과, 상기 대표 화소치와의 유사도에 의거하여, 상기 제1의 영역의 부근에 있는 복수의 화소의 중에서, 보정에 이용하는 하나 이상의 화소인 보정 화소를 결정하는 보정 화소 결정 수단과, 상기 보정 화소를 이용하여, 상기 오브젝트에 대응하는 화소를 치환(置換)하기 위한 화소의 집합인 부분 화상을 생성하는 부분 화상 생성 수단과, 상기 부분 화상을 상기 얼굴화상에 합성함으로써 보정을 행하는 보정 수단을 갖는 것을 특징으로 한다.

본 발명에 관한 화상 처리 장치는, 얼굴화상에 포함되는 대상 오브젝트를 제거한 화상 보정을 행하는 장치이다. 대상의 오브젝트는, 피부의 표면에 있는 것이라면, 눈썹, 점, 주름, 기미, 반점, 상처 등, 어떠한 것이라도 좋다.

대표 화소치 결정 수단은, 화상에 포함되는 얼굴의 표면 영역(피부 영역)을 대표하는 화소치를 결정하는 수단이다. 대표 화소치는, 예를 들면, 피부에 대응하는 복수의 화소를 샘플링한 결과에 의거하여 구할 수 있다.

또한, 영역 생성 수단은, 제거 대상의 오브젝트를 포함하는 영역(제1의 영역)을 생성하는 수단이다. 제1의 영역은, 예를 들면, 제거 대상의 오브젝트에 대응하는 특징점에 관한 정보가 있는 경우, 당해 정보에 의거하여 생성되어도 좋고, 장치의 유저가 직접 지정하여도 좋다.

보정 화소 결정 수단은, 제1의 영역을 보정, 즉, 오브젝트를 제거하는 화상 처리를 행할 때에 이용하는 화소(보정 화소)를 결정하는 수단이다. 보정 화소는, 제1의 영역의 부근에 있는 화소의 중에서, 대표 화소치와의 유사도에 의거하여 선택된다. 유사도는, 예를 들면, 대표 화소치와의 휘도 성분의 차에 의거하여 결정하여도 좋고, 색상의 차에 의거하여 결정하여도 좋다.

또한, 부분 화상 생성 수단은, 결정하는 보정 화소에 의거하여, 오브젝트가 제거된 부분 화상을 생성하는 수단이다. 부분 화상 생성 수단은, 예를 들면, 보정 화소에 의거하여, 제1의 영역을 보간한 화상을 부분 화상으로서 생성한다.

이와 같이 하여 생성된 부분 화상은, 제1의 영역의 주위에 존재하는 화소의 휘도나 색상 등의 정보를 살리고, 또한, 대표 화소치에 보다 가까운 화소에 의거하여 생성된 화상으로 되기 때문에, 보정의 전후에서 화소치가 크게 변동하는 일이 없다. 즉, 자연스러운 보정을 행할 수가 있다.

또한, 상기 보정 화소는, 상기 제1의 영역을 끼우고 대향하는, 복수의, 제1의 보정 화소와 제2의 보정 화소의 페어로 이루어지고, 상기 부분 화상 생성 수단은, 상기 제1의 보정 화소와, 상기 제2의 보정 화소를 접속하는 화소열을 페어마다 생성함으로써, 상기 제1의 영역이 보간된 부분 화상을 생성하고, 상기 화소열에 포함되는 화소의 색은, 상기 제1의 보정 화소가 갖는 색으로부터, 상기 제2의 보정 화소가 갖는 색까지 단계적으로 변화하는 것을 특징으로 하여도 좋다.

보정 화소는, 제1의 영역을 끼우고 대향하는 화소의 페어인 것이 바람직하다. 이와 같이 함으로써, 중간에 존재하는 화소(제1의 영역 내에 있는 화소)의 색을 보간할 수 있다. 또한, 화소의 색을 단계적으로 변화시킴으로써, 위화감이 없는 보간을 행할 수가 있다.

또한, 상기 제1의 영역은 타원형상의 영역이고, 상기 제1의 보정 화소 및 제2의 보정 화소는, 상기 타원형상의 단축(短軸) 방향에 따라, 상기 제1의 영역을 끼우고 대향하는 화소인 것을 특징으로 하여도 좋다.

제1의 영역이 타원형상인 경우, 단축 방향에 따라 보간을 행하는 것이 바람직하다. 이와 같이 함으로써, 보간하여야 할 정보량이 적어지고, 보다 자연스러운 보정 결과를 얻을 수 있다.

또한, 상기 영역 생성 수단은, 상기 제1의 영역에 포함되고, 상기 오브젝트를 포함하는 영역으로서, 포함되는 피부 영역이 상기 제1의 영역보다도 작은 제2의 영역을 또한 생성하고, 상기 보정 수단은, 상기 제2의 영역의 내부에 상기 부분 화상을 합성함으로써, 상기 얼굴화상을 보정하는 것을 특징으로 하여도 좋다.

보정 화소를 얻기 위한 영역은, 피부 영역을 포함한 영역인 것이 바람직하다. 한편으로, 보정을 행하는 대상의 영역은, 오브젝트만을 포함한 작은 영역인 것이 바람직하다. 그래서. 제1의 영역에 포함되는, 제2의 영역을 생성한 다음, 제2의 영역에 대해 보정을 행하도록 하여도 좋다.

또한, 상기 부분 화상 생성 수단은, 생성한 부분 화상에 또한 평활화 필터를 적용하는 것을 특징으로 하여도 좋다.

단순하게 제1의 보정 화소와 제2의 보정 화소를 연결하는 화소열을 생성한 경우, 화소를 생성한 방향에 따라 에지가 생겨 버리는 일이 있다. 그래서. 부분 화상을 평활화한 필터를 또한 적용함으로써, 에지를 저감할 수 있다.

또한, 본 발명은, 상기 수단의 적어도 일부를 포함하는 화상 처리 장치로서 특정할 수 있다. 또한, 본 발명은, 상기 화상 처리 장치가 행하는 화상 처리 방법으로서 특정할 수도 있다. 또한, 본 발명은, 컴퓨터에 상기 화상 처리 방법을 실행시키는 프로그램으로서 특정할 수도 있다. 상기 처리나 수단은, 기술적인 모순이 생기지 않는 한에 있어서, 자유롭게 조합시켜서 실시할 수 있다.

본 발명에 의하면, 화상에 포함되는 불필요한 오브젝트를 위화감 없이 제거할 수 있다.

도 1은 실시 형태에 관한 화상 처리 장치의 시스템 구성도.
도 2는 화상 처리 장치가 행하는 처리의 플로 차트.
도 3은 대표 화소치를 취득하는 처리를 상세히 설명하는 플로 차트.
도 4는 제거 대상의 오브젝트를 추출하는 처리의 플로 차트.
도 5는 얼굴화상 및 눈썹화상의 예.
도 6은 보정 영역을 생성하는 처리를 설명하는 플로 차트.
도 7은 눈썹에 대응하는 특징점의 배치를 설명하는 도면.
도 8은 특징점의 위치에 의거하여 결정된, 제1 눈썹 영역을 도시하는 도면.
도 9는 제1 눈썹 영역과 제2 눈썹 영역과의 관계를 도시하는 도면.
도 10은 부분 화상을 생성하는 처리를 설명하는 도면.

이하, 본 발명의 바람직한 실시 형태에 관해 도면을 참조하면서 설명한다.

본 실시 형태에 관한 화상 처리 장치는, 얼굴이 포함되는 화상을 취득하고, 당해 화상에 대해, 눈썹을 제거하는 보정을 행하는 장치이다. 도 1은, 본 실시 형태에 관한 화상 처리 장치(10)의 시스템 구성도이다.

(제1의 실시 형태)

제1의 실시 형태에 관한 화상 처리 장치(10)는, 화상 취득부(11), 대표 화소치 취득부(12), 오브젝트 추출부(13), 보정 영역 생성부(14), 부분 화상 생성부(15), 화상 보정부(16)로 구성된다.

화상 취득부(11)는, 처리 대상의 화상(인간의 얼굴을 포함하는 화상. 이하, 얼굴화상)을 취득하는 수단이고, 전형적으로는, 고정 디스크 드라이브나 플래시 메모리라는 기억 장치이다. 또한, 화상 취득부(11)는, 장치의 외부로부터 화상을 취득하는 수단(예를 들면, 인터페이스 장치나 무선 통신 장치)라도 좋고, 렌즈와 촬상 소자를 통하여 화상을 촬상하는 수단이라도 좋다. 또한, 처리 대상의 화상은, 동화를 구성하는 각 프레임에 대응하는 화상이라도 좋다.

또한, 본 실시 형태에서는, 얼굴화상의 색공간은 YCbCr인 것으로 하지만, RGB나, Lab 등이라도 좋다.

대표 화소치 취득부(12)는, 얼굴화상에 포함되는 인물의 피부를 대표하는 화소치(이하, 대표 화소치)를 취득하는 수단이다. 구체적으로는, 얼굴의 표면에 대응하는 영역에서 복수의 화소를 샘플링하고, 샘플링 결과에 의거하여, 단일한 화소치를 산출한다. 구체적인 처리 방법에 관해서는 후술한다.

오브젝트 추출부(13)는, 얼굴화상으로부터 제거하여야 할 오브젝트를 검출하고, 당해 오브젝트가 포함되는 화상을 절출(切出)하는 수단이다. 구체적으로는, 얼굴화상으로부터 인간의 눈이나 눈썹에 대응하는 특징점을 검출하고, 눈썹이 존재하는 영역을 특정한 다음, 당해 영역을 클리핑한다. 검출하는 특징점은, 눈썹의 윤곽에 대응하는 점이나, 눈초리, 눈시울에 대응하는 점 등인 것이 바람직하다. 이후, 클리핑 후의 화상을, 눈썹화상이라고 칭한다.

또한, 본 실시 형태에서는, 제거 대상의 오브젝트가 눈썹인 예를 들지만, 대상의 오브젝트는, 얼굴의 표면에 존재하는 것이면, 점이나 주름 등이라도 좋다.

보정 영역 생성부(14)는, 눈썹을 제거하기 위한 화상 처리를 행하는 대상 영역(이하, 제1 눈썹 영역)과, 제1 눈썹 영역보다도 큰 영역이고, 제1 눈썹 영역을 포함하는 영역(이하, 제2 눈썹 영역)을 생성하는 수단이다. 제1 눈썹 영역 및 제2 눈썹 영역에 관한 상세와, 구체적인 처리 방법에 관해서는 후술한다.

부분 화상 생성부(15)는, 보정 영역 생성부(14)가 생성한 포함 영역에 관한 정보와, 대표 화소치 취득부(12)가 취득한 대표 화소치에 의거하여, 부분 화상을 생성하는 수단이다. 부분 화상이란, 제1 눈썹 영역에 합성함으로써 눈썹의 제거를 행하기 위한 화상이다.

화상 보정부(16)는, 부분 화상 생성부(15)가 생성한 부분 화상을 이용하여, 얼굴화상에 대한 보정을 행하는 수단이다. 화상 보정부(16)가 보정을 행함으로써, 얼굴화상에 포함되는 불필요한 오브젝트(본 실시 형태에서는 눈썹)가 제거된다.

또한, 이상에 설명한 각 수단은, 전용(專用)으로 설계된 하드웨어에 의해 실현되어도 좋고, 소프트웨어 모듈에 의해 실현되어도 좋다. 또한, FPGA(Field Programmable Gate Array)나 ASIC(Application Specific Integrated Circuit) 등에 의해 실현되어도 좋고, 이들의 조합에 의해 실현되어도 좋다.

전술한 수단이 소프트웨어로서 구성되는 경우, 보조 기억 장치에 기억된 프로그램이 주기억 장치에 로드되고, CPU에 의해 실행됨에 의해 각 수단이 기능한다. (CPU, 보조 기억 장치, 주기억 장치는 모두 부도시)

또한, 프로그램을 실행하는 수단은, CPU로 한정되지 않고, ISP(Image Signal Processor)나 DSP(Digital Signal Processor), GPU(Graphics Processing Unit) 등이라도 좋다.

다음에, 취득한 얼굴화상에 포함되는 눈썹을 제거하는 처리를, 화상 처리 장치(10)가 행하는 처리 플로 차트인 도 2를 참조하면서 순번대로 설명한다. 도 2의 처리는, 장치의 유저로부터의 지시에 의거하여 시작된다.

우선, 화상 취득부(11)가 얼굴화상을 취득한다(스텝 S11). 본 실시 형태에서는, 미리 기억되어 있는 얼굴화상을 기억 장치로부터 취득하는 것으로 하지만, 통신 수단이나 촬상 수단을 통하여 얼굴화상을 취득하여도 좋다.

다음에, 대표 화소치 취득부(12)가, 화상 취득부(11)가 취득한 얼굴화상과, 얼굴을 대표하는 화소치인 대표 화소치를 취득한다(스텝 S12). 도 3은, 스텝 S12에서 행하는 처리의 내용을 상세히 도시한 플로 차트이다.

우선, 얼굴의 중심점을 취득한다(스텝 S121). 얼굴의 중심점은, 예를 들면, 코끝(鼻頭)이나 코 주위 부근으로 설정할 수 있지만, 화장이나 조명의 영향을 받기 어려운 개소로 설정하는 것이 바람직하다.

다음에, 검출한 중심점의 부근에, 화소의 샘플링을 행하기 위한 점(이하, 샘플링점)을 배치한다(스텝 S122). 예를 들면, 스텝 S121에서 취득한 중심점을 중심으로 하는, 16×16화소의 영역에, 256개의 샘플링점을 배치한다.

또한, 샘플링점은, 화소와 겹쳐지도록 배치된다.

다음에, 샘플링점이 배치된 화소 각각에 관해, Y성분, Cb성분, Cr성분을 취득하고, 각각의 값의 히스토그램을 생성한다(스텝 S123).

다음에, 생성된 3개의 히스토그램에 관해, 평균치(μ)를 산출하고, 3개의 값이 함께, 평균치를 중심으로 하는 소정의 범위에 속하는 화소만을 추출하고, 샘플링 화소로 한다(스텝 S124). 예를 들면, 표준 편차를 σ, 소정의 범위를 ±2σ로 한 경우, Y성분, Cb성분, Cr성분이, 전부 평균치를 중심으로 하는 ±2σ의 범위에 존재하는 샘플링 화소만이 추출된다.

다음에, 스텝 S125에서, 추출한 샘플링 화소를 이용하여, 피부 영역의 대표 화소치를 결정한다. 대표 화소치는, 샘플링 화소의 Y성분, Cb성분, Cr성분의 각 평균치 등을 이용하여 결정할 수 있지만, 다른 방법을 이용하여 결정하여도 좋다. 이상의 처리에 의해, 얼굴에 대응하는 대표 화소치가 결정된다.

다음에, 오브젝트 추출부(13)가, 얼굴화상으로부터 제거 대상의 눈썹을 검출하고, 당해 눈썹을 포함하는 영역을 클리핑함으로써 눈썹화상을 생성한다(스텝 S13). 도 4는, 스텝 S13에서 행하는 처리의 내용을 상세히 도시한 플로 차트이다.

우선, 스텝 S131에서, 화상에 포함되는 얼굴에 대응하는 사각형 영역(이하, 얼굴 영역)을 추출한다. 화상으로부터 얼굴 영역을 추출하는 방법은 공지이기 때문에, 상세한 설명은 생략한다. 다음에, 스텝 S132에서, 얼굴 영역에 포함되는 눈썹을 검출한다. 본 실시 형태에서는, 사람의 눈썹의 윤곽에 대응하는 특징점과, 눈초리, 눈시울에 대응하는 특징점을, 기지(旣知)의 방법에 의해 검출한다. 또한, 특징점의 검출에 실패한 경우, 필터링을 행한 후, 매칭 처리에 의해 눈썹을 검출하도록 하여도 좋다.

다음에, 스텝 S133에서, 화상의 정규화(正規化)를 행한다. 구체적으로는, 눈썹의 좌단(左端)과 우단(右端)에 대응하는 특징점이 소정의 좌표에 오도록, 얼굴 영역을 클리핑 하여, 소정의 사이즈의 사각형 화상을 생성한다. 이때, 임의의 보간 수법을 이용하여 해상도의 변환을 행하여도 좋다. 또한, 얼굴화상에 포함되는 눈썹이 수평이 아닌 경우, 아핀 변환 등에 의해, 눈썹이 수평이 되도록 회전하는 처리를 행한 후에 클리핑을 행하여도 좋다.

또한, 눈썹화상은, 컬러 화상이라도 좋고, 컬러 정보를 분리한 복수의 화상의 조(組)라도 좋다. 예를 들면, 얼굴화상의 색공간이 YCbCr인 경우, Y성분과, Cb성분과, Cr성분을 각각 분리한 3장의 화상의 조를 눈썹화상으로 하여도 좋다.

도 5(A)가, 얼굴화상의 예이고, 도 5(B)가 눈썹화상의 예이다. 또한, 도 5(B)에 도시한 흑점(黑點)은, 눈썹의 좌단과 우단을 나타내는 특징점이다. 또한, 본 예에서는, 왼쪽의 눈썹만을 처리 대상으로 하지만, 양쪽의 눈썹을 처리 대상으로 하는 경우, 스텝 S133 이후, 본 명세서에 의해 설명하는 처리를 반복하면 좋다.

다음에, 보정 영역 생성부(14)가, 스텝 S13에서 생성한 눈썹화상에 의거하여, 보정 영역을 생성한다(스텝 S14). 도 6은, 스텝 S14에서 행하는 처리의 내용을 상세히 도시하는 플로 차트이다.

우선, 스텝 S141에서, 제1 눈썹 영역을 생성한다. 제1 눈썹 영역이란, 눈썹의 형상을 3개의 타원에 의해 나타낸 영역이다.

눈썹 영역의 생성은, 스텝 S132에서 검출한 특징점을 이용하여 행한다. 도 7은, 눈썹의 주변에 있는 특징점의 위치 관계를 도시한 도면이다. 부호 701이 눈썹의 윤곽선이고, 도면 중의 흑점이 특징점을 나타낸다. 도 7에 도시한 특징점 중, 「눈초리점」 및 「눈시울점」이, 눈을 기준으로 하여 검출된 특징점이고, 그 이외의 점이, 눈썹을 기준으로 하여 검출된 특징점(눈썹의 윤곽에 대응하는 특징점)이다.

제1 눈썹 영역은, 도 8의 점선으로 도시한 바와 같은, 좌원(左圓)(부호 801), 중앙원(부호 802), 우원(右圓)(부호 803)의 3개의 타원으로 이루어진다.

또한, 본 실시 형태에서는, 3개의 타원을 이용하여 제1 눈썹 영역을 생성하였지만, 제1 눈썹 영역은, 눈썹을 포함하는 영역이라면, 예시한 형상 이외의 형상이라도 좋고, 예시한 방법 이외에 의해 생성하여도 좋다.

타원은, 중심의 X좌표 및 Y좌표와, 장축의 벡터와, 단축의 벡터에 의해 정의할 수 있다. 이하, 특징점을 이용하여, 각각의 타원을 정의하는 방법에 관해 기술한다.

(1) 좌원(부호 801)의 정의(定義) 방법

중심X좌표 : 좌점(左點)과 좌상점(左上點)의 중간점의 X좌표

중심Y좌표 : 좌하점(左하下點)과 좌상점의 중간점의 Y좌표

장축(長軸) 벡터 : 상점(上點)과, 점(좌점의 X좌표, 좌점과 눈초리점의 중간점의 Y좌표)을 잇는 벡터

단축 벡터 : 좌원의 장축 벡터에 직교하고, 길이가, 상점과 하점과의 거리와 동등한 벡터

(2) 중앙원(부호 802)의 정의 방법

중심X좌표 : 좌원의 중심점과 우원의 중심점과의 중간점의 X좌표

중심Y좌표 : 좌원의 중심점과 우원의 중심점과의 중간점의 Y좌표

장축 벡터 : 상점과 좌점을 잇는 벡터

단축 벡터 : 중앙원의 장축 벡터에 직교하고, 길이가, 상점과 하점과의 거리와 동등한 벡터

(3) 우원(부호 803)의 정의 방법

중심X좌표 : 상점과 우상점의 중간점의 X좌표

중심Y좌표 : 우하점과 우상점의 중간점의 Y좌표

장축 벡터 : 상점과, 점(상점의 X좌표, 상점과 눈시울점의 중간점의 Y좌표)을 잇는 벡터

단축 벡터 : 우원의 장축 벡터에 직교하고, 길이가, 상점과 하점과의 거리와 동등한 벡터

이상에 정의한 방법에 의해, 제1 눈썹 영역이 생성된다.

다음에, 제1 눈썹 영역이 내접하는 타원 영역(부호 901)을 생성하고, 제2 눈썹 영역이라고 한다(스텝 S142). 도 9는, 제1 눈썹 영역과 제2 눈썹 영역과의 위치 관계를 도시한 도면이다. 또한, 본 예에서는, 제1 눈썹 영역이 내접하도록 제2 눈썹 영역을 생성하고 있지만, 제1 눈썹 영역을 포함하고, 보다 많은 피부 영역을 포함하는 영역을 생성할 수 있으면, 이 방법으로 한정되지 않는다.

다음에, 부분 화상 생성부(15)가, 스텝 S12에서 생성한 대표 화소치와, 스텝 S14에서 생성한 제1 눈썹 영역 및 제2 눈썹 영역을 이용하여, 얼굴화상을 보정하기 위한 부분 화상을 생성한다(스텝 S15).

스텝 S15의 처리를 설명하기 전에, 본 실시 형태에 관한 화상 처리 장치가, 얼굴화상을 보정하는 방법의 개요에 관해 설명한다.

스텝 S14까지의 처리에 의해, 제1 눈썹 영역과, 제2 눈썹 영역이 생성되었다. 눈썹이 존재하는 영역은, 제1 눈썹 영역이기 때문에, 기본적으로는, 제1 눈썹 영역의 내부에, 살색의 화소(예를 들면, 대표 화소치를 갖는 화소)를 배치함으로써, 눈썹을 제거할 수 있다. 그러나, 단일한 화소치에 의해 제1 눈썹 영역의 내부를 칠하여 버리면, 당해 부분에만 음영이 없는 부자연스러운 화상이 되어 버린다.

그래서. 본 실시 형태에 관한 화상 처리 장치는, 대표 화소치를 그대로 합성하는 것은 아니라, 대표 화소치에 의거하여, 눈썹의 주변에서 보정에 이용하는 화소(보정 화소)를 선택하고, 보정 화소에 의거하여, 합성을 행할 때의 화소치를 산출한다.

이와 같이 함으로써, 눈썹의 주위에 존재하는 음영의 정보를 살릴 수 있기 때문에, 자연스러운 보정 결과를 얻을 수 있다.

도 10을 참조하여, 스텝 S15의 처리 내용을 구체적으로 설명한다. 도 10의 점선으로 도시한 영역이 제1 눈썹 영역이고, 해칭(hatching)으로 도시한 영역이 제2 눈썹 영역이다.

본 실시 형태에서는, 제2 눈썹 영역의 경계선상에 있는 화소로부터, 외측을 향하여 소정의 거리만큼 주사를 행하여, 휘도 성분이, 대표 화소치의 휘도 성분에 가장 가까운 화소를 특정한다. 또한, 휘도의 유사도는, 예를 들면, 휘도의 차분의 절대치에 의해 판정할 수 있다.

도 10의 예에서는, 화소(1001)로부터 Y축 정방향을 향하여 주사를 행한 결과, 화소(1003)에서, 가장 휘도가 유사한 화소가 있는 것으로 한다. 마찬가지로, 화소(1002)로부터 Y축 부방향을 향하여 주사를 행한 결과, 화소(1004)에서, 가장 휘도가 유사한 화소가 있는 것으로 한다.

여기서, 화소(1003)의 색상을 A, 화소(1004)의 색상을 B로 하여 둔다.

다음에, 화소(1003)와 화소(1004)를 연결하는 화소열(畵素列)을 생성한다. 이때, 색상(A)부터 색상(B)까지 색이 순차적으로 천이(遷移)하도록, 선형보간(線形補間)을 행하여 각 화소의 색상을 결정한다. 이에 의해, 화소(1003)로부터 화소(1004)까지, 그라데이션에 의해 단계적으로 색상이 천이하는 화소열이 생성된다.

이 처리를, 모든 X좌표에 관해 행하면, 제1 눈썹 영역이 빈틈없이 칠하여진 화상을 얻을 수 있다. 그리고, 최후에 당해 화상에 대해 평활화 필터를 적용한다. 예를 들면 3×3의 블러필터 등에 의해, 흐림을 걸어도 좋다. 이에 의해, 종방향의 에지를 경감할 수 있다.

이와 같이 하여 얻어진 화상이, 본 발명에서의 부분 화상이다.

생성된 부분 화상은, 화상 보정부(16)에 송신되고, 화상 보정부(16)가, 취득한 부분 화상을 이용하여, 얼굴화상에 포함되는 눈썹을 제거하는 처리를 실행한다(스텝 S16).

구체적으로는, 얼굴화상의 제2 눈썹 영역에 포함되는 화소를, 부분 화상이 갖는 화소로 치환한다. 또한, 얼굴화상이, Y성분, Cb성분, Cr성분 등의 복수의 채널로 분리하여 있는 경우, 각 채널에 대해서만 처리를 행한 후에, 당해 복수의 채널을 통합하면 좋다.

보정된 화상은, 도시하지 않은 기억 장치에 기억, 또는, 외부에 송신되어, 유저에게 제공된다.

또한, 화상의 보정은, 제2 눈썹 영역에 포함되는 화소만을 단순하게 치환하여도 좋지만, 이 경우, 경계의 경계가 부자연스럽게 되어 버리는 경우가 있다. 이 때문에, 제2 눈썹 영역의 경계 부근에서, 제2 눈썹 영역에 포함되는 화소와, 부분 화상이 갖는 화소와의 혼합비율을 서서히 바꾸도록 하여도 좋다. 예를 들면, 제2 눈썹 영역의 경계보다 외측에서, 보정의 정도가 서서히 약하게 되는 마스크 화상을 생성하고, 당해 마스크 화상을 이용하여 합성을 행하여도 좋다.

이상에 설명한 바와 같이, 본 실시 형태에 관한 화상 처리 장치는, 제2 눈썹 영역의 부근에 있는 화소를 이용하여, 제1 눈썹 영역의 내부를 보간함으로써 눈썹을 제거한다. 보간에 이용하는 화소는, 얼굴의 대표 화소치에 가깝고, 또한, 눈썹 주변의 음영에 관한 정보를 갖고 있는 화소이기 때문에, 단일색으로 보간을 행하는 경우나, 부근에 있는 화소를 단순하게 카피하는 경우와 비교하여 자연스러운 보정을 행할 수가 있다.

(변형례)

상기한 실시 형태는 어디까지나 한 예이고, 본 발명은 그 요지를 일탈하지 않는 범위 내에서 적절히 변경하여 실시할 수 있다.

예를 들면, 1실시 형태의 설명에서는, 사람의 눈썹을 제거하는 예를 들었지만, 제거를 행하는 대상은, 사람의 얼굴에 포함되는 것이라면, 어떤 것이라도 좋다. 예를 들면, 점, 기미, 팔자(八字)주름, 주름, 반점, 검은기미, 상처, 치료 흔적, 윗수염 등이라도 좋다. 특히, 대상물이 가늘고 긴 것일수록, 보다 자연스러운 보정을 행할 수가 있다.

또한, 눈썹 이외의 오브젝트를 제거 대상으로 하는 경우, 스텝 S141에서, 대상의 오브젝트를 포함하는 제1의 영역을 생성하고, 또한, 스텝 S142에서, 당해 제1의 영역을 포함하고, 보다 많은 피부 영역을 포함하는 제2의 영역을 생성하면 좋다.

또한, 실시 형태의 설명에서는, 검출한 특징점에 의거하여 제거 대상을 결정하였지만, 제거 대상은, 장치의 유저가 지정하여도 좋다. 예를 들면, 포인팅 디바이스 등을 이용하여, 대상의 영역을 지정하도록 하여도 좋다.

또한, 실시 형태의 설명에서는, 도 10에 도시한 바와 같이, Y축에 따른 방향으로 화소열을 생성하였지만, 타원(제1 눈썹 영역)의 단축과 평행한 방향으로 화소열을 생성하여도 좋다. 화소열을 생성하는 방향이, 타원의 단축 방향에 가까울수록, 보간을 행하는 화소의 수가 감소하기 때문에, 보다 자연스러운 보정 결과를 얻을 수 있다.

또한, 실시 형태의 설명에서는, 기억 장치에 기억된 화상에 대해 처리를 행하는 화상 처리 장치를 예로 설명을 행하였지만, 화상은 반드시 기억 장치로부터 취득할 필요는 없고, 예를 들면, 장치의 외부로부터 유선 또는 무선 네트워크를 통하여 취득하여도 좋다.

또한, 본 발명은, 화상을 촬상하는 촬상 수단과, 전술한 화상 처리 장치를 조합시켜서, 임의의 오브젝트를 제거하는 기능을 갖는 촬상 장치로서 실시하여도 좋다.

또한, 눈썹을 제거하는 보정을 행한 후에, 새롭게 눈썹을 합성하는(그려 넣는) 보정을 행하도록 하여도 좋다.

10 : 화상 처리 장치
11 : 화상 취득부
12 : 대표 화소치 취득부
13 : 오브젝트 추출부
14 : 보정 영역 생성부
15 : 부분 화상 생성부
16 : 화상 보정부

Claims (7)

1. 인물의 얼굴이 포함된 화상인 얼굴화상으로부터, 오브젝트를 제거하는 보정을 행하는 화상 처리 장치로서,
   얼굴화상을 취득하는 화상 취득 수단과,
   상기 얼굴화상에 포함되는 화소에 의거하여, 피부 영역을 대표하는 화소치인 대표 화소치를 결정하는 대표 화소치 결정 수단과,
   상기 오브젝트를 포함하는 영역인 제1의 영역을 생성하는 영역 생성 수단과,
   상기 대표 화소치와의 유사도에 의거하여, 상기 제1의 영역의 부근에 있는 복수의 화소의 중에서, 보정에 이용하는 하나 이상의 화소인 보정 화소를 결정하는 보정 화소 결정 수단과,
   상기 보정 화소를 이용하여, 상기 오브젝트에 대응하는 화소를 치환하기 위한 화소의 집합인 부분 화상을 생성하는 부분 화상 생성 수단과,
   상기 부분 화상을 상기 얼굴화상에 합성함으로써 보정을 행하는 보정 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 보정 화소는, 상기 제1의 영역을 끼우고 대향하는, 복수의, 제1의 보정 화소와 제2의 보정 화소의 페어로 이루어지고,
   상기 부분 화상 생성 수단은, 상기 제1의 보정 화소와, 상기 제2의 보정 화소를 접속하는 화소열을 페어마다 생성함으로써, 상기 제1의 영역이 보간된 부분 화상을 생성하고,
   상기 화소열에 포함되는 화소의 색은, 상기 제1의 보정 화소가 갖는 색으로부터, 상기 제2의 보정 화소가 갖는 색까지 단계적으로 변화하는 것을 특징으로 하는 화상 처리 장치.
3. 제2항에 있어서,
   상기 제1의 영역은 타원형상의 영역이고,
   상기 제1의 보정 화소 및 제2의 보정 화소는, 상기 타원형상의 단축 방향에 따라, 상기 제1의 영역을 끼우고 대향하는 화소인 것을 특징으로 하는 화상 처리 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 영역 생성 수단은, 상기 제1의 영역에 포함되고, 상기 오브젝트를 포함하는 영역으로서, 포함되는 피부 영역이 상기 제1의 영역보다도 작은 제2의 영역을 또한 생성하고,
   상기 보정 수단은, 상기 제2의 영역의 내부에 상기 부분 화상을 합성함으로써, 상기 얼굴화상을 보정하는 것을 특징으로 하는 화상 처리 장치.
5. 제1항에 있어서,
   상기 부분 화상 생성 수단은, 생성한 부분 화상에 또한 평활화 필터를 적용하는 것을 특징으로 하는 화상 처리 장치.
6. 인물의 얼굴이 포함된 화상인 얼굴화상으로부터, 오브젝트를 제거하는 보정을 행하는 화상 처리 장치가 행하는 화상 처리 방법으로서,
   얼굴화상을 취득하는 화상 취득 스텝과,
   상기 얼굴화상에 포함되는 화소에 의거하여, 피부 영역을 대표하는 화소치인 대표 화소치를 결정하는 대표 화소치 결정 스텝과,
   상기 오브젝트를 포함하는 영역인 제1의 영역을 생성하는 영역 생성 스텝과,
   상기 대표 화소치와의 유사도에 의거하여, 상기 제1의 영역의 부근에 있는 복수의 화소의 중에서, 보정에 이용하는 하나 이상의 화소인 보정 화소를 결정하는 보정 화소 결정 스텝과,
   상기 보정 화소를 이용하여, 상기 오브젝트에 대응하는 화소를 치환하기 위한 화소의 집합인 부분 화상을 생성하는 부분 화상 생성 스텝과,
   상기 부분 화상을 상기 얼굴화상에 합성함으로써 보정을 행하는 보정 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
7. 인물의 얼굴이 포함된 화상인 얼굴화상으로부터, 오브젝트를 제거하는 보정을 행하는 화상 처리 장치에,
   얼굴화상을 취득하는 화상 취득 스텝과,
   상기 얼굴화상에 포함되는 화소에 의거하여, 피부 영역을 대표하는 화소치인 대표 화소치를 결정하는 대표 화소치 결정 스텝과,
   상기 오브젝트를 포함하는 영역인 제1의 영역을 생성하는 영역 생성 스텝과,
   상기 대표 화소치와의 유사도에 의거하여, 상기 제1의 영역의 부근에 있는 복수의 화소의 중에서, 보정에 이용하는 하나 이상의 화소인 보정 화소를 결정하는 보정 화소 결정 스텝과,
   상기 보정 화소를 이용하여, 상기 오브젝트에 대응하는 화소를 치환하기 위한 화소의 집합인 부분 화상을 생성하는 부분 화상 생성 스텝과,
   상기 부분 화상을 상기 얼굴화상에 합성함으로써 보정을 행하는 보정 스텝을 실행시키는 것을 특징으로 하는 프로그램이 기록된 기록 매체.

Images