KR20200107488A

KR20200107488A - 가상화장 합성 처리 방법

Info

Publication number: KR20200107488A
Application number: KR1020190026679A
Authority: KR
Inventors: 곽지훈; 이상덕; 송경민; 안성권
Original assignee: 주식회사 에이아이네이션
Priority date: 2019-03-08
Filing date: 2019-03-08
Publication date: 2020-09-16

Abstract

얼굴의 일부 영역에 각각 화장을 입힌 후 그 결과를 통합하여 최종 결과를 얻을 수 있도록 하는 가상화장 합성 처리 방법을 제시한다. 얼굴 감지부가, 얼굴이 포함된 사용자 입력 이미지에서 얼굴 영역을 감지하여 위치를 표시하는 단계; 얼굴 영역 추출부가, 상기 얼굴 영역을 추출하는 단계; 얼굴 특징점 추출부가, 상기 추출된 얼굴 영역에서 얼굴 특징점 위치를 감지하는 단계; 세부 영역 추출부가, 상기 추출된 얼굴 특징점 위치 좌표를 토대로 좌우 눈과 입술을 포함하는 세부 영역을 추출하는 단계; 세부 영역별 화장부가, 상기 추출된 각각의 세부 영역에 대하여 화장을 입히는 단계; 및 합성부가, 상기 화장된 세부 영역을 합성하는 단계;를 포함한다.

Description

가상화장 합성 처리 방법{Virtual makeup composition processing method}

본 발명은 가상화장 합성 처리 방법에 관한 것으로, 보다 상세하게는 딥러닝을 활용하여 얼굴에 가상으로 화장을 입히는 가상화장 합성 처리 방법에 관한 것이다.

뷰티 산업(beauty industry)의 발전에 따라, 화장품, 메이크업(make-up) 등에 대한 관심이 증가하고 있으며, 화장품, 메이크업 등에 대한 욕구가 다양해지고 있는 추세이다. 예를 들어, 사용자 개인마다 피부 색상, 얼굴형, 이목구비의 생김새 등이 다양하기 때문에 개인에게 어울리는 메이크업이 다를 수 있다. 따라서, 사용자는 자신에게 어울리는 메이크업에 대한 선택의 어려움을 가질 수 있다. 또한, 사용자는 메이크업 후에 메이크업이 잘 된 것인지, 어떤 부분을 보완해야 하는지 궁금할 수 있다.

이러한 추세에 맞추어, 최근에는 사용자의 얼굴에 가상의 메이크업을 입혀주는 어플리케이션(application) 등이 개발되고 있다. 이 경우, 사용자의 호기심과 흥미를 유발할 수는 있으나, 어떤 메이크업이 사용자에게 어울리는지 개인이 판단해야 하는 한계가 있다. 즉, 현재 제공되는 뷰티 서비스의 경우에는 메이크업 전문가의 협업이 포함되지 않거나, 메이크업 전문가의 협업이 있다고 하더라도 한정적인 데이터에 기초하고 있다. 따라서, 사용자 개개인에 대한 맞춤형 서비스를 제공하기에는 어려움이 있다.

이러한 어려움을 해결하기 위해 최근에는 기계 학습 및 딥러닝 기술을 이용하여 패턴화된 이미지 분석을 처리하는 기술을 적용한 메이크업 평가 기술 등이 제안되며, 이는 맞춤형 서비스를 위하여 사용자들의 평가에 따라 점수화된 기준을 메이크업에 적용하여 자신의 메이크업 결과를 평가받는 서비스로서 제안되고 있다.

그러나, 이러한 기술들은 이미 완료된 메이크업의 결과만을 평가받을 수 있을 뿐, 현재 자신의 맨얼굴에 어울리는 화장법을 미리 알기가 어려운 실정이다.

또한, 화장법을 평가하거나, 미리 사전 분석하여 추천하기 위하여는 방대한 양의 메이크업 관련 데이터와 전문가 분석 정보가 요구되고 있으나, 이러한 방대한 데이터 수집 및 평가 방식 설정에는 과도한 비용 및 시간이 요구되고 있는 실정이다.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 얼굴의 일부 영역에 각각 화장을 입힌 후 그 결과를 통합하여 최종 결과를 얻을 수 있도록 하는 가상화장 합성 처리 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 가상화장 합성 처리 방법은, 얼굴 감지부가, 얼굴이 포함된 사용자 입력 이미지에서 얼굴 영역을 감지하여 위치를 표시하는 단계; 얼굴 영역 추출부가, 상기 얼굴 영역을 추출하는 단계; 얼굴 특징점 추출부가, 상기 추출된 얼굴 영역에서 얼굴 특징점 위치를 감지하는 단계; 세부 영역 추출부가, 상기 추출된 얼굴 특징점 위치 좌표를 토대로 좌우 눈과 입술을 포함하는 세부 영역을 추출하는 단계; 세부 영역별 화장부가, 상기 추출된 각각의 세부 영역에 대하여 화장을 입히는 단계; 및 합성부가, 상기 화장된 세부 영역을 합성하는 단계;를 포함한다.

한편, 본 발명의 바람직한 실시양태에 따른 가상화장 합성 처리 장치는, 얼굴이 포함된 사용자 입력 이미지에서 얼굴 영역을 감지하여 위치를 표시하는 얼굴 감지부; 상기 얼굴 영역을 추출하는 얼굴 영역 추출부; 상기 추출된 얼굴 영역에서 얼굴 특징점 위치를 감지하는 얼굴 특징점 추출부; 상기 추출된 얼굴 특징점 위치 좌표를 토대로 좌우 눈과 입술을 포함하는 세부 영역을 추출하는 세부 영역 추출부; 상기 추출된 각각의 세부 영역에 대하여 화장을 입히는 세부 영역별 화장부; 및 상기 화장된 세부 영역을 합성하는 합성부;를 포함한다.

상기 얼굴 감지부는 딥러닝 Object Detection 기법을 활용할 수 있다.

상기 얼굴 영역 추출부는 상기 얼굴 감지부에서 감지된 얼굴 영역의 주변부를 제외한 나머지 배경 부분을 잘라내고, 얼굴 피부 영역을 픽셀 단위로 감지하여 나머지 부분은 전부 지우고, 픽셀 단위로 감지된 얼굴 피부 영역을 추출할 수 있다. 이때, 상기 얼굴 피부 영역을 픽셀 단위로 감지하여 나머지 부분은 전부 지우는 경우 딥러닝 segmentation 기법을 활용할 수 있다.

상기 얼굴 특징점 추출부는 딥러닝 Facial Landmark Detection 기법을 활용할 수 있다.

상기 세부 영역별 화장부는 상기 세부 영역 추출부에서 추출된 각각의 세부 영역에 대하여 PairedCycleGAN 기법을 활용하여 화장을 입힐 수 있다.

상기 세부 영역별 화장부는 상기 화장된 각 세부 영역중에서 좌우 눈 영역의 비대칭 문제를 해결하되, 좌우 눈에 화장을 입힌 뒤 화장에 의한 이미지 픽셀 데이터의 변화량을 서로 비교하여 그 차이가 기설정된 기준치 이하가 되도록 조절할 수 있다.

상기 합성부는 상기 세부 영역별 화장부에서 화장된 세부 영역을 Poisson Image Blending 기법을 활용하여 합성할 수 있다.

이러한 구성의 본 발명에 따르면, 가상 화장을 입히려는 사용자의 입력 이미지(얼굴 포함)에서 얼굴의 특징점을 분석하고 눈/코/입 등 세부 영역을 추출하고 각 영역에 화장을 입힌 뒤 모든 결과 값을 합성하여 가상 화장 이미지를 얻음으로써, 각 영역에 집중도 높은 결과를 얻을 수 있으며 종래와 비교하여 성능을 향상시킬 수 있다.

또한, 가상화장에서 발생될 수 있는 좌우 눈 영역의 비대칭 문제를 해결할 수 있다.

도 1은 본 발명이 적용되는 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 도 1에 도시된 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 도 1에 도시된 서비스 제공 장치에 의한 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 4는 도 1에 도시된 사용자 단말에서의 사용자 인터페이스의 순차적 변화를 설명하기 위한 도면이다.
도 5는 도 1에 도시된 가상화장 합성부의 내부 구성도로서, 본 발명의 실시예에 따른 가상화장 합성 처리 장치의 구성도이다.
도 6은 본 발명의 실시예에 따른 가상화장 합성 처리 방법을 설명하기 위한 플로우차트이다.
도 7 내지 도 9는 도 6의 설명에 채용되는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명이 적용되는 전체 시스템을 개략적으로 도시한 개념도이다.

도 1에 도시된 전체 시스템은 사용자 단말(10) 및 서비스 제공 장치(1000)를 포함할 수 있다.

특히, 서비스 제공 장치(1000)는 화장 스타일 추천 서비스 제공을 위해, 단말(10)과 유/무선 네트워크를 통해 연결될 수 있으며, 상호간 통신을 수행할 수 있다.

여기서, 상기 각 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

그리고, 사용자 단말(10)은 컴퓨터, 휴대폰, 스마트 폰(smart phone), 스마트 패드(smart pad), 노트북 컴퓨터(laptop computer), PDA(Personal Digital Assistants), PMP(Portable Media Player) 중 어느 하나의 개별적 기기, 또는 특정 장소에 설치되는 키오스크 또는 거치형 디스플레이 장치와 같은 공용화된 디바이스 중 적어도 하나의 멀티 디바이스일 수 있으며, 서비스 제공 장치(1000)로 사용자 정보를 제공하고, 서비스 제공 장치(1000)로부터 처리된 정보를 수신하여 출력할 수 있다.

이와 같은 시스템 구성에 있어서, 서비스 제공 장치(1000)는, 먼저 인터넷상의 영상 정보로부터 화장 스타일 데이터베이스 구성을 위한 영상 정보를 수집하고, 수집된 영상 정보로부터 소스 이미지 추출 및 매핑 처리를 수행하여 스타일 데이터베이스를 구축할 수 있다.

여기서, 영상 정보는 구독자수가 일정 수 이상인 뷰티 인플루언서들의 화장 영상 정보일 수 있으며, 이는 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트로부터 크롤링되어 추출되는 영상 정보를 포함할 수 있다.

그리고, 서비스 제공 장치(1000)는 수집된 영상 정보에 대응하는 소스 이미지들을 캡쳐 추출할 수 있으며, 소스 이미지는 예를 들어, 화장 전, 후가 등장하는 인플루언서의 화장 전 후 이미지를 포함할 수 있다.

이에 따라, 서비스 제공 장치(1000)는 수집된 영상 정보로부터 추출된 소스 이미지에 기초한 화장 스타일을 결정할 수 있는 바, 이를 위해 미리 학습된 화장 스타일 신경망에 기초한 이미지 분석 기술이 이용될 수 있다. 그리고, 서비스 제공 장치(1000)는 결정된 화장 스타일에 대응하는 이미지 정보를 저장 등록하여, 화장 스타일 데이터베이스를 구축할 수 있다.

한편, 서비스 제공 장치(1000)는 사용자 단말(10)로부터 사용자 정보를 수신하여 등록하고, 사용자 입력 정보로서 사용자 이미지 정보 및 기타 조건 설정 정보를 획득하여, 사용자의 맨얼굴에 대응하여 적합한 화장 스타일을 추천하기 위한 추천 정보를 사용자 단말(10)로 제공할 수 있다.

이를 위해, 서비스 제공 장치(1000)는 사용자 이미지 정보에 대응한 가상화장 합성 처리, 이미지 평가점수 생성 및 비교 분석 처리를 수행할 수 있으며, 비교 분석 결과에 따른 하나 또는 그 이상의 화장 스타일 정보 또는 가상합성 결과 정보를 사용자 단말(10)로 제공할 수 있다.

이에 따라, 사용자 단말(10)은 서비스 제공 장치(1000)로 사용자 이미지를 포함하는 사용자 정보를 전송함에 따라, 상기 서비스 제공 장치(1000)로부터의 응답으로 수신되는 화장 스타일 추천 서비스 정보에 기초한 화장 스타일 추천 인터페이스를 출력하여, 화장 스타일 추천 서비스 정보를 사용자에게 제공할 수 있다.

특히, 사용자 단말(10)에서는 화장 스타일 추천 서비스 어플리케이션 등을 통해 상기 서비스 제공 장치(1000)로부터 상기 화장 스타일 정보 및 가상합성 결과 정보를 포함하는 추천 서비스 정보를 수신하여 인터페이스를 통해 출력할 수 있다.

예를 들어, 사용자 단말(10)은 입력된 실제 사용자의 맨 얼굴 이미지에 인플루언서 등의 화장 스타일이 합성된 가상화장 이미지 중 뷰티 스코어가 높은 이미지들을 추천할 수 있으며, 이 중 사용자 선택된 이미지에 대응하는 화장 스타일 정보로서, 인플루언서 영상 정보, 화장품 추천 정보 또는 구매 링크 정보 중 적어도 하나를 출력할 수 있다.

이에 따라, 상술한 바와 같은 시스템에 따르면 추천 서비스를 통해 사용자가 편리하게 영상 인플루언서들의 화장 스타일들을 취사 선택할 수 있으며, 신규 수요를 창출할 수 있고 서비스 접근성과 편의성을 크게 향상시킬 수 있다.

특히, 이러한 서비스 제공을 위하여, 서비스 제공 장치(1000)는 가상화장 합성 및 이미지 평가점수 결정에 있어서, 최종적으로 사용자 얼굴에 잘 어울리는 화장을 추천하기 위한 가상화장합성 신경망과 이미지평가신경망을 순환적용 처리할 수 있는 바, 이에 대하여는 보다 구체적으로 후술하도록 한다.

도 2는 도 1에 도시된 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.

도 2를 참조하면, 서비스 제공 장치(1000)는, 가상화장 합성부(100), 이미지 평가점수 생성부(200), 사용자 정보 관리부(300), 입력 정보 획득부(350), 수집 정보 처리부(500), 조건별 화장법 후보 추출부(700), 스타일 데이터베이스(600), 화장법 비교 처리부(400) 및 추천 서비스 제공부(900)를 포함한다.

먼저, 수집 정보 처리부(500)는, 인터넷 영상 정보로부터 화장 스타일 데이터베이스(600) 구성을 위한 영상 정보를 수집한다.

앞서 설명한 바와 같이, 영상 정보는 구독자수가 일정 수 이상인 뷰티 인플루언서들의 화장 영상 정보일 수 있으며, 이는 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트로부터 크롤링되어 추출되는 영상 정보를 포함할 수 있다.

예를 들어, 영상 정보 수집을 위해, 수집 정보 처리부(500)는, 소스 인물 이미지(화장전후가 등장하는 인터넷 뷰티 동영상에서의 화장 후 영상)와 소스 인물 화장전 이미지를 각각 크롤링 캡처할 수 있으며, 화장 스타일 데이터베이스(600)는 캡쳐된 이미지들을 이용한 신경망 학습에 따라 구축될 수 있다.

이에 따라, 화장 스타일 데이터베이스(600)는 수집된 영상 정보로부터의 소스 이미지 추출 및 매핑 처리를 수행하여 구축된 데이터베이스를 저장 및 관리할 수 있으며, 조건별 화장법 후보 추출부(700)의 요청에 따른 화장 스타일 및 소스 이미지를 제공할 수 있다.

한편, 사용자 정보 관리부(300)는, 사용자 단말(10)로부터 입력되는 입력 정보에 따라 등록 처리를 수행하고, 사용자의 사용 이력 정보, 유사 사용자의 사용 이력 정보 및 사용자 선호 정보 등을 매핑하여 저장 및 관리할 수 있다.

또한, 사용자 정보 관리부(300)는 얼굴 사진을 활용한 프로파일링(특징 분석), 뷰티스코어 평가 및 피드백을 통한 사용자 유형 분류, 유사 사용자 군집을 통한 프로파일링(협업필터링) 및 서비스 사용 패턴을 통한 프로파일링 등을 처리함으로써, 추천 서비스를 위한 데이터를 구축할 수 있다.

그리고, 입력 정보 획득부(350)는 사용자 정보 관리부(300)에서 관리되는 사용자 정보와, 사용자 단말(10)로부터 입력된 사용자 입력 정보에 따라, 추천할 화장법 후보를 선별하기 위한 입력 정보를 획득할 수 있다.

예를 들어, 사용자 단말(10)은 사용자의 맨 얼굴 이미지와 명시적 조건 정보(기간 한정, 화장법 인기도, 상황 지정 등)와 키워드 정보(검색, 필터링, 추천) 을 포함하는 사용자 입력 정보를 서비스 제공 장치(1000)로 전송할 수 있으며, 서비스 제공 장치(1000)는 수신된 사용자 입력 정보와 사용자 정보 관리부(300)의 관리 정보에 기초한 입력 정보를 결정하고, 결정된 입력 정보는 조건별 화장법 후보 추출부(700) 및 가상화장 합성부(100)로 전달될 수 있다.

그리고, 가상화장 합성부(100)는 조건별 화장법 후보로부터 결정된 화장 스타일 및 소스 이미지에 기초하여, 사용자 얼굴 이미지에 대한 하나 또는 그 이상의 가상합성 처리를 수행할 수 있다.

이를 위해, 가상화장 합성부(100)는 인공 신경망 학습 처리를 통해, 화장 스타일별 소스 이미지와 사용자 이미지간의 이미지 합성 처리를 수행할 수 있으며, 이를 위해, 소스 인물 이미지에서 화장 스타일 적용 부분을 추출하여 타겟 인물 이미지에 적용하는 프로세스를 수행할 수 있다.

특히, 이러한 신경망 구축을 위해 최근 대두되는 쌍 순환 경쟁적 생성 네트워크 방식(PairedCycleGAN)의 비지도 학습 방식이 이용될 수 있다.

특히, GAN(Generative Adversarial Network) 방식은 딥러닝을 이용하여, 이미지를 생성하는 네트워크로서 서로 다른 두 개의 깊은 신경망 D(Discriminator)와 G(Generator)를 학습시켜, 좋은 성능의 감별사 네트워크와 그것을 속이는 생성자 네트워크를 경쟁시킴으로써, 학습 효과를 극대화할 수 있게 하는 방식을 의미할 수 있다.

또한, Paired CycleGAN(H. Chang, et al.)은 이를 가상 화장 합성에 적용하여 Makeup Transfer 또는 Style Transfer 를 처리하게 하는 방식으로 제안된 것으로서, 가상 메이크업(가상 화장 합성) 네트워크와 화장을 지우는 네트워크의 쌍을 경쟁적으로 학습시켜, 그 성능을 서로 보완하게 함으로써 자연스러운 가상 화장 합성 효과를 얻을 수 있다.

그리고, 가상화장 합성부(100)는 보다 자연스러운 합성을 위하여, 상기 PairedCycleGAN 방식 적용시 얼굴을 영역별로 부분 분할하는 개별 학습 프로세스를 수행할 수 있다.

이후, 이미지 평가점수 생성부(200)는, 가상합성된 하나 또는 복수개의 합성 이미지들에 대한 이미지 평가 점수를 생성할 수 있으며, 이를 위해, 평가하고자 종류의 이미지와 평가하고자 하는 특성에 대한 점수 쌍(이미지, 점수)을 신경망에 학습시킨 신경망으로 구축된 학습 모델을 이용할 수 있다.

보다 구체적으로, 이미지 평가점수 생성부(200)는, 이미지 평가 점수를 측정하기 위해, 신경망 학습 모델을 구축할 수 있는 바, 얼굴 이미지와 뷰티 스코어의 쌍을 사용하여 신경망 네트워크 학습 모델을 생성할 수 있으며, 생성된 모델을 이용하여, 새로운 얼굴 이미지 입력에 대응하는 이미지 평가 점수를 출력할 수 있다.

특히, 기존 기술과 같이 사람이 평가한 점수들의 평균값 등으로 단순 학습하는 경우, 사람마다의 성향 차이로 인해, 같은 이미지에서도 다른 점수들이 평가되어 발생되는 부정확성을 극복할 수 없다. 따라서, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 단순 평균 연산이 아닌 점수 분포(Score Distribution Vector)값을 이미지와 쌍으로 매칭하여 학습 모델을 생성할 수 있으며, 이는 여러 사람의 전반적 성향에 의한 점수 특징(Score Feature)을 학습할 수 있게 되므로, 더욱 정확한 이미지 평가 점수를 예측할 수 있게 된다.

예를 들어, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 이미지평가점수 생성 신경망을 구축함에 있어서, (이미지, 점수 분포) 쌍을 학습시킴으로써 학습 효과를 향상시킬 수 있는 바, 이는 기존의 기존 (이미지, 점수 평균) 쌍을 학습시키는 것에 비하여, 보다 정확한 이미지 평가 점수를 결정할 수 있게 하는 것이다.

여기서, 이미지 평가 점수는 뷰티스코어(정량적 뷰티 평가)에 따라 결정될 수 있으며, 이미지 평가를 위해, 얼굴 랜드마크를 통한 학습/평가, 얼굴 자동 군집 분류 및 유사도 측정 평가, 얼굴각도 측정 및 필터링 평가, 개별 특성(피부톤/비례 등) 학습/개별 특성별 평가 및 평가자 자동 군집 분류 및 유사도 측정 평가 중 적어도 하나에 처리가 수행될 수 있다.

보다 구체적으로, 정확하고 일정한 뷰티스코어를 측정하기 위해서는 얼굴의 정확한 정면 이미지를 사용하여야 하나, 이미지 평가점수 생성부(200)는 사용자의 사진 이미지로부터 얼굴각도 측정 및 필터링을 수행하여, 일정 각도 벗어나더라도 얼굴의 특징 값을 추출하고 이에 기반한 뷰티스코어를 결정할 수 있다.

예를 들어, 이미지 평가점수 생성부(200)는 사용자의 입력 이미지에 대응하는 뷰티스코어를 측정하기 전에, 미리 구축된 얼굴 각도 측정 신경망 모델을 이용하여, 얼굴이 바라보는 각도를 예측할 수 있으며, 예측된 각도가 정면에서 일정 각도 이상 벗어난 경우에만 필터링 처리함에 따라, 뷰티스코어가 결정 가능한 정면 이미지들을 추출할 수 있다.

이를 위해, 이미지 평가점수 생성부(200)는 얼굴의 3차원 X, Y, Z 각도에 대응하는 CNN(Convolutional Neural Network)과 MLP(Multi Layer Perceptron)로 구성되는 인공지능 신경망 모델을 구축하고, 이를 이용한 얼굴 각도의 필터링 처리를 수행할 수 있다.

또한, 이미지 평가점수 생성부(200)는 이미지 평가를 위한 인공지능 신경망 모델 구축에 있어서, 다양한 얼굴의 개별 특징 요소들을 별도 분류하여 학습하게 할 수 있다.

개별 특징 요소들은 예를 들어, 얼굴의 특정 요소에 대응하는 비율 정보, 길이 정보, 각도 정보 또는 위치 정보 중 적어도 하나일 수 있으며, 이는 얼굴 이미지와 함께 학습 처리됨으로써, 뷰티 스코어 평가에 반영되도록 할 수 있다.

특히, 사람과 달리 단순 얼굴 이미지로만 학습된 인공지능 네트워크는 얼굴 요소의 비율 특징(턱선의 각도, 이마의 길이, 눈과 미간의 비율 등)에 대한 고려는 하지 못하는 경향이 있는데, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 이러한 문제점을 해결함으로써 사람이 판별하는 다양한 미의 기준을 학습시키고, 이에 따른 정확한 뷰티스코어를 산출할 수 있다.

그리고, 화장법 비교 처리부(400)는, 사용자 프로파일링 정보 및 이미지 평가 점수에 따른 화장법 별 순위 비교를 처리할 수 있다.

그리고, 추천 서비스 제공부(900)는 비교 처리 결과에 기초한 추천 서비스를 제공할 수 있는 바, 이는 순위 비교에 따라 결정된 일정 개수의 화장 스타일 정보를 포함할 수 있다.

또한, 추천 서비스 제공부(900)는 얼굴 이미지 분석 기반 추천, 유형/컬러/피부에 따른 Rule-based 추천, 피부에 따른 Rule-based 추천 서비스를 제공할 수 있으며, 사용자 프로파일링 기반 사용자 유형별 예측 추천 서비스와, 뷰티스코어 기반 뷰티스코어를 극대화하는 추천 서비스 등 다양한 부가 서비스를 제공할 수 있다.

또한, 추천 서비스 제공부(900)는 추천 서비스에 의해 연계되는 인플루언서 영상 정보와, 화장품 추천 및 구매 연동 프로세스를 제공할 수 있는 바, 이에 대하여는 보다 구체적으로 후술하도록 한다.

한편, 추천 서비스 제공부(900)는 사용자 정보 관리부(300)에서 수집되는 사용자 이미지에 대한 얼굴 분석 서비스를 제공할 수 있으며, 얼굴 분석 서비스는 예를 들어, 얼굴 정보 제공 서비스, 인물 간 유사도 정보 제공 서비스 및 유사 인플루언서 매칭 서비스를 포함할 수 있다. 그리고, 추천 서비스 제공부(900)는 이를 위해, 얼굴 분석을 위한 인공지능 학습 모델을 구축할 수 있다.

먼저 얼굴 정보 제공 서비스를 위해, 추천 서비스 제공부(900)는 사용자 이미지로부터 얼굴의 1차적 정보를 컴퓨터 비전 기술을 이용하여 추출하여 이용할 수 있으며, 추출된 정보는 상기 학습 모델의 추가적인 학습대상으로 이용될 수 있다. 예를 들어, 추천 서비스 제공부(900)는 얼굴의 피부 색을 카테고리화 처리할 수 있으며, 처리된 정보는 사용자 단말(10)로 제공될 수 있다.

또한, 추천 서비스 제공부(900)는 유사도 정보 제공 서비스를 위해, 얼굴 유사도 측정 네트워크 기반의 인물 간 얼굴 유사도 분석 처리를 수행할 수 있다.

예를 들어, 추천 서비스 제공부(900)는 triplet loss 함수 기반 얼굴 이미지 학습 프로세스를 수행하여 선택된 인물과 사용자 이미지간의 얼굴 유사도를 측정하는 서비스를 제공할 수 있다.

그리고, 추천 서비스 제공부(900)는 이와 같은 얼굴 유사도 측정값에 기초하여 사용자와 비슷한 얼굴의 인물 등을 색인할 수 있는 바, 유사한 특정 인플루언서를 색인하여, 그 인플루언서의 메이크업을 사용자에게 어울리는 메이크업으로서 자동 추천하는 서비스를 제공할 수도 있다.

예를 들어, 추천 서비스 제공부(900)는 유사 스타/인플루언서 매칭 서비스를 제공할 수 있으며, 이는 전술한 인물 간의 얼굴 유사도를 측정하는 네트워크를 이용하여 사용자와의 유사도가 일정 값 이상인 스타 또는 인플루언서를 색인하여 제공하는 서비스를 포함할 수 있다.

이에 따라, 추천 서비스 제공부(900)는 사용자에게 가장 잘 어울리는 메이크업 무엇인지를 가장 닮은 스타 및 인플루언서의 화장법을 통해 알려주는 서비스를 사용자 단말(10)로 제공할 수 있게 된다.

또한, 추천 서비스 제공부(900)는 사용자 정보 관리부(300)의 사용자 프로파일링 정보에 기초하여, 세분화된 화장 스타일 관련 정보를 제공할 수 있다.

예를 들어, 추천 서비스 제공부(900)는 사용자를 평가자 분류 처리하여, 평가자 분류에 대응하는 유사도에 따른 화장 스타일 관련 정보를 제공할 수 있다.

이를 위해, 추천 서비스 제공부(900)는 평가자와 선호 모델과의 관계를 CBOW(Continuous Bag of Word) 또는 Skip-Gram과 같은 학습 알고리즘을 이용하여 다차원 공간의 벡터로 임베딩(embedding)하여 평가자의 분류(Clustering) 처리와 함께, 평가자의 선호 모델 정보를 함께 학습시킬 수 있다. 이에 따사, 추천 서비스 제공부(900)는 사용자 정보에 기초한 평가자 분류 처리를 수행하여, 분류된 평가자의 성향에 맞는 화장 스타일, 인플루언서 정보 또는 화장품 정보 등을 추천하는 평가자 성향 추천 정보를 사용자 단말(10)로 제공할 수 있다.

또한, 추천 서비스 제공부(900)는 앞서 수행한 얼굴 분석 정보에 기초하여, 사용자의 퍼스널 컬러 정보를 결정할 수 있으며, 퍼스널 컬러 정보에 따른 적절한 색조 화장품을 추천하기 위한 색조 화장품 정보를 사용자 단말(10)로 제공할 수도 있다.

예를 들어, 추천 서비스 제공부(900)는 사용자의 피부 톤에 맞는 색조 화장품을 추천해주는 추천 서비스를 제공할 수 있다. 이를 위해, 추천 서비스 제공부(900)는 피부 톤 정보를 카테고리화하고, 카테고리화된 피부 톤 정보와 매칭되는 색조 화장품들을 연결한 피부톤 데이터베이스를 학습 프로세스에 의해 구성할 수 있다. 학습 프로세스로는 다층 퍼셉트론(Multy Layer Perceptorn) 기반 딥러닝 알고리즘 처리가 예시될 수 있으며, 이를 이용하여 피부 톤과 이에 색조화장품간 매칭 처리를 수행할 수 있다.

한편, 추천 서비스 제공부(900)는 이미지와 화장품을 매칭하기 위한 매칭 데이터베이스를 딥 러닝 방식으로 구축하고, 기초하여 입력된 사진이 사용한 화장품 정보를 식별하여 출력하는 화장품 추천 서비스를 제공할 수도 있다. 예를 들어, 추천 서비스 제공부(900)는 사진 이미지로부터 추출되는 화장품의 톤과 실제 화장품 톤을 매칭하는 딥 러닝 학습 프로세스를 수행하여, 사용자로부터 입력된 사진에 대응하는 화장품 정보를 식별하여 사용자 단말(10)로 제공하는 추천 서비스를 제공할 수도 있다.

그리고, 추천 서비스 제공부(900)는 전술한 이미지 평가 접수(뷰티 스코어)를 기초로 하는 화장품 정보 추쳔 서비스를 제공할 수 있는 바, 예를 들어 추천 서비스 제공부(900)는 특정 색조 화장품의 색을 사용자 이미지에 입혀봤을 경우와 그렇지 않았을 때의 차이를 뷰티스코어를 기반으로 산출하여, 가장 높은 차이를 가져오는 일정 개수의 맞춤형 화장 스타일과 화장품을 식별하고, 식별된 화장 스타일 정보 및 화장품 정보를 사용자 단말(10)로 제공할 수 있다.

도 3은 도 1에 도시된 서비스 제공 장치에 의한 서비스 제공 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 서비스 제공 장치(1000)는 먼저 인터넷 영상 정보로부터 소스 이미지를 추출 수집하고(S1001), 수집된 이미지와, 상기 이미지로부터 인공 신경망 기반으로 추출되는 화장법 정보를 매핑 처리하여 데이터베이스(600)를 구축한다(S1003).

이를 위해, 서비스 제공 장치(1000)는 수집 정보 처리부(500)를 통해 인터넷상의 다양한 뷰티 동영상으로부터 화장 전과 화장 후 사진 이미지들을 크롤링 캡쳐 처리하며, 처리된 이미지에 화장 스타일(또는 화장법) 정보를 매핑 처리하기 위한 인공 신경망 학습 프로세스를 수행하여, 스타일 데이터베이스(600)를 구축할 수 있다.

예를 들어, 서비스 제공 장치(1000)는 수집된 영상 정보로부터 추출된 소스 이미지에 기초한 화장 스타일을 결정할 수 있는 바, 이를 위해 미리 학습된 화장 스타일 신경망에 기초한 이미지 분석 기술을 이용할 수 있다. 그리고, 서비스 제공 장치(1000)는 결정된 화장 스타일에 대응하는 이미지 정보를 저장 등록하여, 화장 스타일 데이터베이스를 구축할 수 있다.

그리고, 서비스 제공 장치(1000)는 사용자 단말(10)로부터 수신되는 사용자 정보를 사용자 정보 관리부(300)를 통해 등록할 수 있으며, 사용자 단말(10)로부터의 요청에 따른 입력 정보를 획득할 수 있다(S1005).

이후, 서비스 제공 장치(1000)는 사용자 정보에 기초하여, 데이터베이스로부터 추출된 조건별 화장법 정보에 대응하는 가상화장 이미지 합성 처리를 수행할 수 있으며(S1007), 이미지 인식 학습 신경망을 이용하여 가상화장 이미지별 평가 점수를 결정할 수 있다(S1009).

이를 위해, 서비스 제공 장치(1000)는 이미지 평가점수 생성부(200)를 통해 평가를 위한 이미지 평가 모델 학습 처리를 수행할 수 있으며, 이미지 평가 모델 학습에는 컨볼루션 뉴럴 네트워크(CNN) 방식이 이용되는 것이 바람직하다.

또한, 평가를 위한 가상화장 모델 이미지 합성을 위하여, 가상화장 합성부(100)는 전술한 쌍 순환 경쟁 생성 네트워크(Paired CycleGAN) 방식에 기초한 가상화장 합성 학습 모델을 생성할 수 있다.

그리고, 서비스 제공 장치(1000)는 이와 같이 구축된 모델들을 이용하여, 먼저 조건별 화장법 후보 추출부(700)를 통해 스타일 데이터베이스(600)로부터 미리 설정된 특정 개수(N)의 사용자 조건별 화장법 후보 리스트를 추출할 수 있다.

가상화장 합성부(100)는 추출된 화장법 후보 리스트별 화장 스타일 이미지와 사용자의 이미지를 가상화장 합성 처리한 N개의 후보 이미지들을 생성하여, 이미지 평가점수 생성부(200)로 전달할 수 있다.

이에 따라, 이미지 평가점수 생성부(200)에서는 각 N개의 후보 이미지들에 대응하는 이미지 평가점수를 전술한 이미지 평가 모델을 이용하여 결정할 수 있다.

이후, 서비스 제공 장치(1000)는 화장법 비교 처리부(400)를 통해, 상기 평가 점수에 기초한 화장법 비교 처리를 수행할 수 있으며(S1011), 추천 서비스 제공부(900)를 통해, 비교 결과에 따른 추천 서비스를 사용자 단말(10)로 제공할 수 있다.

도 4는 도 1에 도시된 사용자 단말에서의 사용자 인터페이스의 순차적 변화를 설명하기 위한 도면이다.

도 4를 참조하면, 추천 서비스 제공부(900)는 사용자 단말(10)로 화장 스타일 추천 인터페이스를 제공할 수 있는 바, 이는 사용자 단말(10)에 설치된 어플리케이션 등을 통해 출력되는 그래픽 유저 인터페이스의 형태로 제공될 수 있다.

먼저, 도 4(A)는 화장법 추천을 위한 이미지 분석 정보 인터페이스를 도시한 것으로, 추천 서비스 제공부(900)는 사용자 단말(10)을 통해, 이미지 분석 정보 인터페이스를 통해 사용자의 얼굴 이미지를 촬영 입력하게 할 수 있으며, 입력된 얼굴 이미지에 대응하는 분석 정보와, 이미지 평가 점수 정보를 제공할 수 있고, 사용자로부터 평가 점수를 입력받아 학습 데이터 구축에 반영시킬 수 있다.

그리고, 도 4(B)는 가상화장 인터페이스를 도시한 것으로, 추천 서비스 제공부(900)는 사용자 단말(10)을 통해, 가상화장 이미지 합성부(100)에서 처리된 가상화장 이미지 중 이미지 평가점수 생성부(200)에서의 평가 점수가 높은 일정 개수의 가상화장 합성 이미지들 및 화장 스타일 정보를 출력하게 할 수 있다.

여기서, 사용자는 가상화장 합성 이미지들을 참조하여, 추천 메이크업 스타일을 선택할 수 있으며, 도 4(C)에 도시된 바와 같이 선택된 메이크업 스타일에 대응하는 인플루언서 영상 정보가 사용자 선택에 따라 제공될 수 있다. 이를 위해, 추천 서비스 제공부(900)는 인플루언서 영상 정보에 대응하는 영상 링크 정보를 스타일 데이터베이스(600)로부터 획득하여 사용자 단말(10)로 제공할 수 있다.

예를 들어, 도 4(C)에 도시된 바와 같이, 사용자가 선택한 스타일에 대응하는 인플루언서의 화장법 영상 정보가 사용자 단말(10)을 통해 출력될 수 있다.

한편, 도 4(D) 및 도 4(E)는 화장품 추천 및 구매 연동 기능 인터페이스를 도시한 것으로, 본 발명의 실시 예에 따른 추천 서비스 제공부(900)는 사용자 프로파일링 정보 및 얼굴 이미지 분석에 따른 화장품 정보를 추천할 수 있으며, 또한 전술한 인플루언서 영상에서 이용된 화장품 정보가 추천될 수도 있다.

특히, 추천 서비스 제공부(900)는 화장법 전체의 구성과 얼굴 각부분별 화장 상태(피부, 색)을 고려하여 전체 화장법에서 부분화장에 유사한 효과를 내는 부분별 화장품 후보를 추천하고, 이를 판매하는 쇼핑몰에 연동시킬 수 있다.

또한, 추천 서비스 제공부(900)는 영상 내에 명시적으로 화장품에 대응하는 키워드 정보 또는 화장품 포장/용기가 노출되었을 경우, 키워드 또는 화장품 포장/용기를 이미지 인식하여, 우선적으로 추천하는 프로세스를 제공할 수도 있다.

그리고, 추천 서비스 제공부(900)는 사용자가 선택한 제품에 대응하는 구매 서비스를 제공하거나, 제품 판매자 사이트와의 구매 연동 기능을 제공함으로써, 사용자가 바로 자신의 화장 스타일에 맞는 제품들을 확인하고 구매할 수 있도록 처리할 수 있다. 이를 위해, 추천 서비스 제공부(900)는 별도의 구매 모듈 및 결제 모듈을 구비하거나, 쇼핑 사이트 연동 모듈을 더 구비할 수도 있다.

도 5는 도 2에 도시된 가상화장 합성부의 내부 구성도로서, 본 발명의 실시예에 따른 가상화장 합성 처리 장치의 구성도이다.

가상화장 합성부(100)는,

사용자 얼굴 이미지를 세부 영역을 추출하고, 스타일 데이터 베이스(600)에 저장된 화장 이미지

얼굴 감지부(110), 얼굴 영역 추출부(112), 얼굴 특징점 추출부(114), 세부 영역 추출부(116), 세부 영역별 화장부(118), 및 합성부(120)를 포함한다. 가상화장 합성부(100)는 본 발명의 실시예에 따른 가상화장 합성 처리 장치가 될 수 있다.

얼굴 감지부(110)는 사용자 입력 이미지(즉, 얼굴이 포함된 사진 형태)에서 얼굴 영역을 감지하여 위치를 표시한다. 예를 들어, 얼굴 감지부(110)는 딥러닝 오브젝트 검출(Object Detection) 기법을 활용한다.

여기서, 사용자 입력 이미지는 얼굴 감지의 정확도 및 추후에 일정한 이미지 스코어를 측정하기 위해, 가급적 사용자의 얼굴의 정면이 보여질 수 있는 이미지가 바람직하다.

얼굴 영역 추출부(112)는 얼굴 감지부(110)에서 감지된 얼굴 영역의 주변부를 제외한 나머지 배경 부분을 잘라내고, 얼굴 피부 영역을 픽셀 단위로 감지하여 나머지 부분은 전부 지우고, 픽셀 단위로 감지된 얼굴 피부 영역을 더욱 타이트하게 추출한다. 예를 들어, 얼굴 영역 추출부(112)는 얼굴 피부 영역을 픽셀 단위로 감지하여 나머지 부분은 전부 지울 때, 딥러닝 세그멘테이션(segmentation) 기법을 활용한다.

상술한 얼굴 영역 추출부(112)는 세부 영역 추출부(116)에서의 세부영역 추출의 정확도를 위해 최대한 얼굴 영역을 클로즈업하고 불필요한 부분(예컨대, 배경 등)을 제외할 수 있다. 이러한 얼굴 영역 추출부(112)로 인해 세부 영역 추출의 정확도가 향상되고, 가상화장 시스템의 학습 효율 및 최종 결과의 성능이 개선된다.

얼굴 특징점 추출부(114)는 얼굴 영역 추출부(112)에서 추출된 얼굴 영역 이미지에서 얼굴 특징점 위치를 감지한다. 예를 들어, 얼굴 특징점 추출부(114)는 딥러닝 얼굴 랜드마크 검출(Facial Landmark Detection) 기법을 활용한다.

세부 영역 추출부(116)는 얼굴 특징점 추출부(114)에서 추출된 특징점 위치 좌표를 토대로 좌우 눈과 입술 등과 같은 세부 영역을 추출한다. 필요에 따라, 세부 영역 추출부(116)는 코, 눈썹 등의 추가영역 또는 더 세부적인 영역을 추출할 수 있다.

세부 영역별 화장부(118)는 세부 영역 추출부(116)에서 추출된 각각의 세부 영역에 대하여 쌍 순환 경쟁 네트워크(PairedCycleGAN) 기법을 활용하여 화장을 입힌다. 이때, 세부 영역별 화장부(118)는 수신된 조건별 화장법 후보를 근거로 각각의 세부 영역에 화장을 입힐 수 있다. 여기서, 조건별 화장법 후보는 하나 이상이 될 수 있다. 예를 들어, 조건별 화장법 후보가 3개라고 가정하면 세부 영역별 화장부(118)는 세부 영역 추출부(116)에서 추출된 각각의 세부 영역에 대하여 각각의 조건별 화장법 후보에 따라 화장을 입히게 된다. 즉, 각각의 세부 영역에 대해 서로 상이한 3개의 화장법으로 화장을 입힐 수 있다.

한편, 보통 좌우 눈 영역 비대칭 문제는 PairedCycleGAN 기법에서 발생할 수 있는 문제이다. PairedCycleGAN에서는 좌우 눈을 각각 추출하여 따로따로 화장을 입히는 방법을 사용한다. 이때, GAN 딥러닝 기법에 의한 눈 화장 결과가 좌우 눈에 비대칭적으로 나타날 수 있는 위험성이 존재한다. 따라서, 세부 영역별 화장부(118)는 좌우 눈 영역을 추출하여 화장을 입히는 과정에서 양 눈의 화장 상태가 대칭적이고 자연스러운 결과가 나올 수 있도록 처리한다.

즉, 세부 영역별 화장부(118)는 좌우 눈에 화장을 입힌 뒤 화장에 의한 이미지 픽셀 데이터의 변화량을 서로 비교하여 그 차이가 크지 않도록(즉, 대칭적인 화장이 될 수 있도록) 조절할 수 있다.

합성부(120)는 세부 영역별 화장부(118)에서 화장된 세부 영역을 푸아송 이미지 브랜딩(Poisson Image Blending) 기법을 활용하여 합성한다.

상술한 설명에서는 세부 영역별 화장부(118)가 화장된 각 세부 영역중에서 좌우 눈 영역의 비대칭 문제를 해결하는 것으로 하였는데, 필요에 따라서는 합성부(120)가 화장된 각 세부 영역중에서 좌우 눈 영역의 비대칭 문제를 해결하는 것으로 하여도 무방하다. 즉, 합성부(120)가 화장된 각 세부 영역중에서 좌우 눈 영역의 비대칭 문제를 해결한 후에 세부 영역을 합성하는 것으로 하여도 된다.

도 6은 본 발명의 실시예에 따른 가상화장 합성 처리 방법을 설명하기 위한 플로우차트이고, 도 7 내지 도 9는 도 6의 설명에 채용되는 도면이다.

먼저, 얼굴 감지부(110)는 딥러닝 Object Detection 기법을 활용하여 사용자 입력 이미지(즉, 얼굴이 포함된 사진 형태)에서 얼굴 영역을 감지하여 위치를 표시한다(S110). 즉, 도 7에서와 같이 얼굴 영역을 감지하여 위치를 표시할 수 있다.

이어, 얼굴 영역 추출부(112)는 얼굴 감지부(110)에서 감지된 얼굴 영역의 주변부를 제외한 나머지 배경 부분을 잘라내고, 딥러닝 segmentation 기법을 활용하여 얼굴 피부 영역을 픽셀 단위로 감지하여 나머지 부분은 전부 지우고, 픽셀 단위로 감지된 얼굴 피부 영역을 더욱 타이트하게 추출한다(S112). 즉, 도 7에서와 같이 얼굴 영역을 추출할 수 있다.

그리고 나서, 얼굴 특징점 추출부(114)는 딥러닝 Facial Landmark Detection 기법을 활용하여, 얼굴 영역 추출부(112)에서 추출된 얼굴 영역 이미지에서 얼굴 특징점 위치를 감지한다(S114). 즉, 도 7에서와 같이 얼굴 특징점을 추출할 수 있다.

이후, 세부 영역 추출부(116)는 얼굴 특징점 추출부(114)에서 추출된 특징점 위치 좌표를 토대로 좌우 눈과 입술 등의 세부 영역을 추출한다. 필요에 따라, 세부 영역 추출부(116)는 코, 눈썹 등의 추가영역 또는 더 세부적인 영역을 추출할 수 있다(S116). 즉, 도 7에서와 같이 세부 영역을 추출할 수 있다.

이어, 세부 영역별 화장부(118)는 세부 영역 추출부(116)에서 추출된 각각의 세부 영역에 대하여 PairedCycleGAN 기법을 활용하여 화장을 입힌다(S118). 즉, 도 7에서와 같이 세부 영역별로 화장을 입힐 수 있다. 이때, 세부 영역별 화장부(118)는 조건별 화장법 후보를 근거로 각각의 세부 영역에 화장을 입힐 수 있다. 예를 들어, 조건별 화장법 후보가 3개라고 가정하면 세부 영역별 화장부(118)는 세부 영역 추출부(116)에서 추출된 각각의 세부 영역에 대하여 각각의 조건별 화장법 후보에 따라 화장을 입히게 된다.

또한, 세부 영역별 화장부(118)는 화장된 각 세부 영역중에서 좌우 눈 영역의 비대칭 문제를 해결한다. 보통 좌우 눈 영역 비대칭 문제는 PairedCycleGAN 기법에서 발생할 수 있는 문제이다. PairedCycleGAN에서는 좌우 눈을 각각 추출하여 따로따로 화장을 입히는 방법을 사용한다. 이때, GAN 딥러닝 기법에 의한 눈 화장 결과가 좌우 눈에 비대칭적으로 나타날 수 있는 위험성이 존재한다. 따라서, 세부 영역별 화장부(118)는 좌우 눈 영역을 추출하여 화장을 입히는 과정에서 양 눈의 화장 상태가 대칭적이고 자연스러운 결과가 나올 수 있도록 처리한다.

다시 말해서, 기존의 PairedCycleGAN 시스템에서는 딥러닝이 한 쪽 눈만 입력받아서 화장을 입히고 지우는 과정을 학습하는 구조이다. 양 눈을 따로따로 학습하고 평가받기 때문에 비대칭 문제가 발생할 위험이 있다. 이를 해결하기 위해, 본 발명의 실시예에서는 세부 영역별 화장부(118)가 도 8에서와 같이 기존의 PairedCycleGAN 구조를 수정하여 좌우 눈을 동시에 입력하여 동시에 화장을 입힌 뒤 좌우 화장 유사도를 평가하는 함수를 사용한다. 그에 따라, 세부 영역별 화장부(118)는 학습과정에서 좌우 눈에 화장을 입힌 뒤 화장에 의한 이미지 픽셀 데이터의 변화량을 서로 비교하여 그 차이가 크지 않도록, 즉 대칭적인 화장이 될 수 있도록 조절할 수 있다.

즉, 세부 영역별 화장부(118)는 좌우 눈 영역의 가상화장 결과 이미지에 대하여 가상화장에 의한 픽셀 변화량을 서로 대응되는 특징점끼리 매칭하여 변화량의 크기를 비교한다. 이때, 특징점별 변화량 크기 비교를 위해 특징점 기반 델타 함수를 설계하여 활용한다. 만약, 좌우 변화 값의 크기 차이가 충분히 작다면(즉, 좌우 변화값의 크기 차이가 기설정된 기준치 이하이면) 대칭적이며 자연스러운 화장이 되었다고 볼 수 있다. 그러나, 좌우 변화량이 크게 차이난다면 화장이 비대칭적으로 입혀졌다는 의미이므로, 세부 영역별 화장부(118)는 이를 바로잡기 위해 도 9에서와 같이 좌우의 픽셀 변화량을 조절하기 위한 노멀라이즈(Normalize) 과정을 추가로 행한다. 노멀라이즈 과정은 하기의 수학식을 따른다.

(수학식 1)

ΔRight_Normalized = γㆍΔRight + (1-γ)ㆍΔLeft

ΔLeft_Normalized = (1-γ)ㆍΔRight + γㆍΔLeft

여기서, γ=0.7이다.

이와 같이 하게 되면 세부 영역 화장부(118)는 세부 영역 추출부(116)에서 추출된 각각의 세부 영역에 화장을 입히되, 화장된 각 세부 영역중에서 좌우 눈 영역의 비대칭 문제를 해결할 수 있다.

마지막으로, 합성부(120)는 세부 영역별 화장부(118)에서 화장된 세부 영역을 Poisson Image Blending 기법을 활용하여 합성한다(S120). 즉, 합성부(120)는 즉, 도 7에서와 같이 합성할 수 있다.

상술한 바와 같이 본 발명의 실시예에 따르면, 가상 화장을 입히려는 얼굴 사진이 있을 때, 얼굴의 특징점을 분석하고 눈코입 등 세부 영역을 추출하고 각 영역에 화장을 입힌 뒤 모든 결과 값을 합성하면 가상 화장 이미지를 얻을 수 있다.

상술한 바와 같은 본 발명의 실시예는 얼굴의 일부 영역에 각각 화장을 입힌 후 그 결과를 통합하여 최종 결과를 얻게 되므로, 얼굴 전체 영역을 동시에 처리하여 화장을 입히는 종래의 방식과 성능을 비교하여 보면 각 영역(눈, 코, 입 등)에 집중도 높은 결과를 얻게 되어 종래의 방식에 비해 보다 좋은 성능을 보이게 된다.

또한, 상술한 본 발명의 가상화장 합성 처리 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10 : 사용자 단말 100 : 가상화장 합성부
110 : 얼굴 감지부 112 : 얼굴 영역 추출부
114 : 얼굴 특징점 추출부 116 : 세부 영역 추출부
118 : 세부 영역별 화장부 120 : 합성부
200 : 이미지 평가점수 생성부 300 : 사용자 정보 관리부
350 : 입력 정보 획득부 400 : 화장법 비교 처리부
500 : 수집 정보 처리부 600 : 스타일 데이터베이스
700 : 조건별 화장법 후보 추출부 900 : 추천 서비스 제공부
1000 : 서비스 제공 장치

Claims

사용자 조건 정보에 의해 추출되는 화장 스타일별 이미지 소스에 의거하여 사용자 이미지에 가상 화장을 입혀 가상 화장 이미지를 합성하는 가상화장 합성방법으로서,
얼굴이 포함된 사용자 입력 이미지에서 얼굴 영역을 감지하여 위치를 표시하는 단계;
상기 얼굴 영역의 위치 정보를 이용하여 얼굴 영역만을 추출하는 단계;
상기 추출된 얼굴 영역에서 얼굴 특징점 위치를 감지하는 단계;
상기 추출된 얼굴 특징점 위치 좌표를 토대로 좌우 눈과 입술을 포함하는 세부 영역을 추출하는 단계;
상기 추출된 각각의 세부 영역에 대하여 상기 사용자 조건에 의해 추출된 화장 스타일 이미지 소스에 의거하여 화장을 입히는 단계; 및
상기 화장된 세부 영역을 합성하여 가상화장 이미지로 합성하는 단계;를 포함하는 것을 특징으로 하는 가상화장 합성 처리 방법.
청구항 1에 있어서,
상기 추출된 각각의 세부 영역에 대하여 화장을 입히는 단계는,
상기 화장된 각 세부 영역중에서 좌우 눈 영역의 비대칭 문제를 해결하는 단계를 포함하는 것을 특징으로 하는 가상화장 합성 처리 방법.
청구항 1에 있어서,
상기 얼굴 영역 단계는,
상기 얼굴 감지 단계에서 감지된 얼굴 영역의 주변부를 제외한 나머지 배경 부분을 잘라내고, 얼굴 피부 영역을 픽셀 단위로 감지하여 나머지 부분은 전부 지우고, 픽셀 단위로 감지된 얼굴 피부 영역을 얼굴 영역으로 추출하는 것을 특징으로 하는 가상화장 합성 처리 방법.
청구항 1에 있어서,
상기 세부 영역별 화장단계는,
화장 스타일 정보를 저장하고 있는 스타일 데이터 베이스로부터 사용자의 조건에 의거하여 추출된 조건별로 화장법 후보 리스트에 의거하여, 상기 세부 영역 추출 단계에서 추출된 각각의 세부 영역에 대하여 서로 상이한 각각의 조건별 화장법 후보에 따른 화장법으로 화장을 입히는 것을 특징으로 하는 가상화장 합성 처리 방법.
청구항 4에 있어서,
상기 합성부는, 상기 세부영역에 대해 서로 상이한 화장법에 따라 화장을 입힌 세부영역들을 화장법별로 합성하여 조건별 화장법 후보 수 만큼의 가상 화장 이미지를 합성하는 것을 특징으로 하는 가상화장 합성 처리 방법.