KR102490438B1

KR102490438B1 - 디스플레이 장치 및 그 제어 방법

Info

Publication number: KR102490438B1
Application number: KR1020150124138A
Authority: KR
Inventors: 손주영; 김재진; 김지윤; 현대영; 김선아; 주가현; 홍태화; 김홍일
Original assignee: 삼성전자주식회사
Priority date: 2015-09-02
Filing date: 2015-09-02
Publication date: 2023-01-19
Also published as: US20170061609A1; CN107925725B; WO2017039341A1; EP3345384A4; EP3345384A1; US10786196B2; CN107925725A; EP3345384B1; KR20170027477A

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는, 사용자 얼굴을 포함하는 복수의 사진 컨텐츠를 포함하는 화면을 디스플레이하는 디스플레이 및, 복수의 사진 컨텐츠의 촬영 시점에 기초하여, 복수의 사진 컨텐츠를 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이하도록 상디스플레이를 제어하는 프로세서를 포함한다.

Description

디스플레이 장치 및 그 제어 방법 { Display apparatus and control method thereof }

본 발명은 디스플레이 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 사진 촬영이 가능한 디스플레이 장치 및 그 제어 방법에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 유형의 디스플레이 장치가 개발되고 있다. 특히, TV, PC, 랩탑 컴퓨터, 태블릿 PC, 휴대폰, MP3 플레이어 등과 같은 디스플레이 장치들은 대부분의 가정에서 사용될 정도로 보급율이 높다.

최근에는 더 새롭고 다양한 기능을 원하는 사용자의 니즈(needs)에 부합하기 위하여, 디스플레이 장치를 좀 더 새로운 형태로 개발하기 위한 노력이 이루어지고 있다. 일 예로, 스마트 폰과 같은 사용자 단말 장치에서 카메라를 이용한 다양한 서비스가 제공되고 있다.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 피부 분석이 수행된 사진 컨텐츠들을 피부 관련 이벤트가 발생된 시점을 기초로 구분하여 제공함으로써 해당 이벤트 전후의 피부 상태를 용이하게 비교할 수 있도록 하는 디스플레이 장치 및 그 제어 방법을 제공함에 있다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 사용자 얼굴을 포함하는 복수의 사진 컨텐츠를 포함하는 화면을 디스플레이하는 디스플레이 및, 상기 복수의 사진 컨텐츠의 촬영 시점에 기초하여, 상기 복수의 사진 컨텐츠를 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.

또한, 사용자 명령을 입력받는 사용자 인터페이스부;를 더 포함하며, 상기 프로세서는, 상기 사용자 명령에 따라, 상기 기설정된 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제1 사진 컨텐츠가 선택되고, 상기 기설정된 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 제2 사진 컨텐츠가 선택되면, 상기 선택된 제1 및 제2 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공할 수 있다.

또한, 상기 프로세서는, 상기 기설정된 이벤트를 나타내는 GUI를 상기 기설정된 이벤트가 발생된 시점 전후에 촬영된 사진 컨텐츠 사이에 디스플레이하여, 상기 복수의 사진 컨텐츠를 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이 할 수 있다.

또한, 사용자 명령을 입력받는 사용자 인터페이스부;를 더 포함하며, 상기 프로세서는, 상기 사용자 명령에 따라 상기 GUI가 선택되면, 상기 기설정된 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제3 사진 컨텐츠를 선택하고, 상기 기설정된 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 상기 제3 사진 컨텐츠와 촬영 조건이 유사한 제4 사진 컨텐츠를 선택한 후, 상기 선택된 제3 및 제4 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공할 수 있다.

여기서, 상기 촬영 조건은, 사용자의 얼굴 크기, 사용자의 얼굴 각도, 사용자의 얼굴 표정, 민낯 여부, 액세서리 착용 여부 및 촬영 조명 중 적어도 하나를 포함할 수 있다.

또한, 상기 피부와 관련된 기설정된 이벤트는, 피부 관리 이벤트, 피부 시술 이벤트, 피부와 관련된 상품 구매 이벤트, 피부에 영향을 주는 지역 변경과 관련된 이벤트, 피부에 영향을 주는 날씨와 관련된 이벤트, 피부에 영향을 주는 음식 섭취와 관련된 이벤트, 휴가 이벤트 중 적어도 하나를 포함할 수 있다.

또한, 상기 프로세서는, 기설정된 캘린더에 입력된 피부 관련 이벤트, 문자 메시지에 포함된 피부 관련 이벤트, GPS 정보 및 사진 컨텐츠에 포함되거나, 사용자에 의해 입력된 음식 관련 정보 중 적어도 하나에 기초하여 상기 기설정된 이벤트를 판단할 수 있다.

또한, 상기 프로세서는, 복수의 사진 컨텐츠를 포함하는 갤러리 화면에서 피부 모드가 선택되면, 피부 분석이 수행된 사진 컨텐츠 만을 필터링하여 상기 피부 관리와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이할 수 있다.

또한, 상기 프로세서는, 상기 갤러리 화면에서 상기 복수의 사진 컨텐츠 중 상기 피부 분석이 수행된 사진 컨텐츠에 나머지 사진 컨텐츠와 식별하기 위한 GUI를 부가하여 디스플레이할 수 있다.

또한, 상기 프로세서는, 사진 촬영을 위한 프리뷰 화면에 적어도 하나의 얼굴이 검출되는 경우, 기 등록된 사용자 얼굴과의 일치 여부에 따른 메뉴 버튼 및 화장 여부에 따른 메뉴 버튼 중 적어도 하나를 디스플레이할 수 있다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 사용자 명령을 수신하는 단계, 및 상기 사용자 명령이 수신되면, 사용자 얼굴을 포함하는 복수의 사진 컨텐츠를 촬영 시점에 기초하여, 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이하는 단계를 포함한다.

또한, 사용자 명령에 따라, 상기 기설정된 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제1 사진 컨텐츠가 선택되고, 상기 기설정된 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 제2 사진 컨텐츠가 선택되면, 상기 선택된 제1 및 제2 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공하는 단계를 더 포함할 수 있다.

또한, 상기 디스플레이하는 단계는, 상기 기설정된 이벤트를 나타내는 GUI를 상기 기설정된 이벤트가 발생된 시점 전후에 촬영된 사진 컨텐츠 사이에 디스플레이하여, 상기 복수의 사진 컨텐츠를 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이할 수 있다.

또한, 사용자 명령에 따라 상기 GUI가 선택되면, 상기 기설정된 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제3 사진 컨텐츠를 선택하고, 상기 기설정된 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 상기 제3 사진 컨텐츠와 촬영 조건이 유사한 제4 사진 컨텐츠를 선택한 후, 상기 선택된 제3 및 제4 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공하는 단계를 더 포함할 수 있다.

또한, 상기 피부와 관련된 기설정된 이벤트는, 피부 관리 이벤트, 피부 시술 이벤트, 피부와 관련된 상품 구매 이벤트, 피부에 영향을 주는 지역 변경과 관련된 이벤트, 피부에 영향을 주는 날씨와 관련된 이벤트, 피부에 영향을 주는 음식 섭취와 관련된 이벤트, 및 휴가 이벤트 중 적어도 하나를 포함할 수 있다.

또한, 기설정된 캘린더에 입력된 피부 관련 이벤트, 문자 메시지에 포함된 피부 관련 이벤트, GPS 정보 및 사진 컨텐츠에 포함되거나, 사용자에 의해 입력된 음식 관련 정보 중 적어도 하나에 기초하여 상기 기설정된 이벤트를 판단하는 단계를 더 포함할 수 있다.

또한, 상기 디스플레이하는 단계는, 복수의 사진 컨텐츠를 포함하는 갤러리 화면에서 피부 모드가 선택되면, 피부 분석이 수행된 사진 컨텐츠 만을 필터링하여 상기 피부 관리와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이할 수 있다.

또한, 상기 디스플레이하는 단계는, 상기 갤러리 화면에서 상기 복수의 사진 컨텐츠 중 상기 피부 분석이 수행된 사진 컨텐츠에 나머지 사진 컨텐츠와 식별하기 위한 GUI를 부가하여 디스플레이할 수 있다.

또한, 사진 촬영을 위한 프리뷰 화면에 적어도 하나의 얼굴이 검출되는 경우, 기 등록된 사용자 얼굴과의 일치 여부에 따른 메뉴 버튼 및 화장 여부에 따른 메뉴 버튼 중 적어도 하나를 디스플레이하는 단계를 더 포함할 수 있다.

상술한 본 발명의 다양한 실시 예에 따르면, 피부 관련 서비스에 최적화된 UI 화면을 제공할 수 있게 되므로 사용자의 편의성이 향상된다.

도 1a는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구현 예를 설명하기 위한 도면이다.
도 1b는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 구현 예를 설명하기 위한 도면이다.
도 2a는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 2b는 도 2a에 도시된 디스플레이 장치의 세부 구성을 나타내는 블럭도이다.
도 2c는 저장부에 저장된 다양한 모듈을 설명하기 위한 도면이다.
도 3a 및 3b는 본 발명의 다양한 실시 예에 따른 서비스의 구현 예를 설명하기 위한 도면들이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따라 캘린더에 피부 관련 일정을 입력하는 방법을 설명하기 위한 도면들이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 UI 화면을 나타내는 도면들이다.
도 6은 본 발명의 다른 실시 예에 따른 UI 화면을 나타내는 도면이다.
도 7a 내지 도 7c는 본 발명의 다른 실시 예에 따라 메시지에 피부 관련 이벤트를 추출하는 방법을 설명하기 위한 도면들이다.
도 8은 본 발명의 또 다른 실시 예에 따른 UI 화면을 나타내는 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 UI 화면을 나타내는 도면이다.
도 10은 본 발명의 또 다른 실시 예에 따라 GPS 정보에 기반하여 피부 관련 이벤트를 추출하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 또 다른 실시 예에 따른 UI 화면을 나타내는 도면이다.
도 12a 및 도 12b는 본 발명의 일 실시 예에 따른 피부 분석 결과를 제공하는 방법을 설명하기 위한 도면들이다.
도 13a 내지 도 13c는 본 발명의 다른 실시 예에 따른 피부 분석 결과를 제공하는 방법을 설명하기 위한 도면들이다.
도 14 및 도 15는 본 발명의 또 다른 실시 예에 따른 피부 분석 결과를 제공하는 방법을 설명하기 위한 도면들이다.
도 16a 내지 도 16c, 도 17은 본 발명의 다양한 실시 예에 따라 프리뷰 화면에서 제공되는 UI를 설명하기 위한 도면들이다.
도 18은 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 19는 본 발명의 다양한 실시 예에 따른 네트워크 환경의 일 예를 도시한 도면이다.

이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.

도 1a는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구현 예를 설명하기 위한 도면이다.

도 1a에 도시된 바와 같이 디스플레이 장치(100)는 스마트폰과 같은 휴대폰으로 구현될 수 있으나, 이에 한정되는 것은 아니며 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 전자북(e-book), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 캠코더(camcorder), 전자 액자 또는 웨어러블 장치(wearable device)(예를 들어, head-mounted-device(HMD) 스마트 와치(smart watch), 전자 의복, 전자 팔찌, 전자 목걸이 등), NED(Near Eye Display), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이 등과 같이 디스플레이 기능을 갖춘 다양한 유형의 장치로 구현될 수 있다. 또한, 디스플레이 장치(100)는 터치스크린을 내장하고 있어, 손가락 또는 펜(예를 들어, 스타일러스 펜)을 이용하여 프로그램을 실행시킬 수 있도록 구현될 수 있다.

한편, 디스플레이 장치(100)는 사진 컨텐츠에 포함된 사용자 얼굴에 대한 피부 분석 및 관리 서비스를 제공할 수 있다. 이를 위해 디스플레이 장치는 피부 분석 및 관리 서비스 제공을 위한 다양한 프로그램을 저장하도록 구현될 수 있다.

특히, 본 발명의 일 실시 예에 따른 피부 분석 및 관리 서비스는 OS 상에서 사용자가 직접 사용하게 되는 소프트웨어인 어플리케이션(Application) 형태로 제공될 수 있으며, 어플리케이션은 디스플레이 장치(100) 화면 상에서 아이콘 인터페이스 형태로 제공될 수 있다. 다만, 이에 한정되는 것은 아니며, 피부 분석 및 관리 서비스는 디스플레이 장치(100)의 구현 형태에 따라 다양한 형태로 제공될 수 있다.

도 1b는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 구현 예를 설명하기 위한 도면이다.

본 발명의 다른 실시 예에 따르면 디스플레이 장치(100)는 서버(200)와 네트워크(10)를 통해 통신하여 서비스를 제공하도록 구현될 수 있다. 여기서, 디스플레이 장치(100)는 도 1a에 도시된 실시 예와 동일한 형태로 구현될 수 있으므로 자세한 설명은 생략하도록 한다.

도 1b에 도시된 실시 예에 따르면, 디스플레이 장치(100)는 피부 분석 및 관리 서비스 제공을 위한 UI 화면을 제공하며, 사진 컨텐츠에 대한 피부 분석은 서버(200)를 통해 이루어질 수 있다.

구체적으로, 디스플레이 장치(100)에서 피부 분석을 위한 사진 컨텐츠를 서버(200)로 전송하면, 서버(200)에서 사진 컨텐츠에 대한 사용자 얼굴 영역에 대해 피부 분석을 수행하고, 그 결과를 디스플레이 장치(100)로 제공할 수 있다. 이에 따라 서버(200)는 도 1a에서 설명한 피부 분석과 관련된 기능을 수행하도록 구현될 수 있다.

여기서, 서버(200)는 클라우드 서버로 구현될 수 있으나, 이에 한정되는 것은 아니다. 클라우드 컴퓨팅(cloud computing)은 클라우드 기반의 컴퓨팅(computing) 기술을 의미하는 것으로, 예를 들어, 인터넷 상의 유틸리티 데이터 서버에 프로그램을 두고 그때 그때 컴퓨터나 휴대폰 등에 불러와서 사용하는 웹에 기반한 소프트웨어 서비스이다. 서버(200)가 클라우드 서버로 구현된 경우, 서버(200)는 단순한 정보 관리 뿐 아니라, 다양한 제품 판매, 광고 서비스가 가능한 형태로 구현될 수 있다. 또한, 서버(200)는 물리적 구현 형태에 따라 외부 서버 또는 사용자 단말 장치(100) 내에 구비되는 임베디드 서버로 구현될 수도 있다.

다만, 이하에서는 설명의 편의를 위하여 도 1a에 도시된 구성을 기초로 본원의 다양한 실시 예에 대해 구체적으로 설명하도록 한다.

도 2a는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.

도 2a에 따르면, 디스플레이 장치(100)는 디스플레이(110) 및 프로세서(120)를 포함한다.

디스플레이(110)는 정지 영상, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 디스플레이한다.

특히, 디스플레이(110)는 본 발명의 일 실시 예에 따른 피부 분석 및 관리 서비스를 제공하는데 요구되는 다양한 UI 화면을 디스플레이할 수 있다. UI 화면의 다양한 예에 대해서는 도면을 참조하여 후술하도록 한다.

또한, 디스플레이(110)는 카메라 모듈(미도시)을 통해 촬영 중인 이미지 즉, 프리뷰 이미지를 디스플레이할 수 있다. 경우에 따라 디스플레이(110)는 디스플레이된 이미지에서 특정 영역이 선택되는 경우, 해당 영역에 대해 확대 혹은 세부 촬영 이미지를 디스플레이할 수 있다. 예를 들어, 확대된 이미지는 선택된 영역이 확대되어 촬영된 이미지가 될 수 있고, 세부 촬영 이미지는 해당 영역이 포커싱되고 확대되어 촬영된 이미지가 될 수 있다.

이 경우, 디스플레이(110)는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태의 디스플레이 패널로 구현될 수 있다. 특히, 디스플레이(110)는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다. 이 경우, 디스플레이(110)은 출력 장치 이외에 상술한 사용자 인터페이스부(미도시)로 사용될 수 있게 된다. 여기서, 터치스크린은 터치 입력 위치 및 면적 뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다.

프로세서(120)는 디스플레이 장치(100)의 전반적인 동작을 제어한다.

< 사진 컨텐츠에 포함된 사용자 얼굴 피부 분석 >

프로세서(120)는 기 설치된 어플리케이션을 이용하여 다양한 피부 분석 서비스를 제공할 수 있다.

여기서, 피부 분석 서비스란, 촬영된 사진 컨텐츠에서 사용자의 얼굴 영역 주변의 피부 상태룰 분석하고 그 결과를 제공하는 서비스를 의미한다.

예를 들어, 디스플레이 장치(100)는 사용자의 얼굴 영역에서 모공, 여드름, 색소 침착, 피부톤(skin tone), 다크 서클(darkcircle), 주름 등 다양한 피부 상태를 측정하여 분석할 수 있다. 이를 위해 프로세서(120)는 경우에 따라 사용자의 얼굴에서 어느 한 영역을 세부적으로 촬영하기 위하여 해당 영역을 포커싱시키고 확대하여 촬영하는 세부 촬영 동작을 수행할 수도 있다.

구체적으로, 프로세서(120)는 촬영 이미지에 포함된 얼굴 영역에 대한 인증을 수행하고, 인증된 얼굴 영역에 대한 피부 분석을 수행할 수 있다.

예를 들어, 디스플레이 장치(100)는 촬영 이미지가 기등록된 사용자의 얼굴로 인식되면, 해당 얼굴 영역에 대한 피부 분석을 수행할 수 있다. 이 경우, 디스플레이 장치(100)는 촬영 이미지에 포함된 얼굴 영역이 기설정된 조건, 예를 들어 크기, 얼굴 방향, 액세서리(예를 들어 안경) 착용 여부을 만족하는 경우에만 피부 분석을 수행할 수 있으나, 경우에 따라서는 특정 촬영 조건 하에서 촬영된 이미지에 대해서만 피부 분석을 수행할 수도 있다.

프로세서(120)는 사용자 얼굴이 인증되면, 적어도 하나의 분석 항목에 대해 사용자 얼굴 영역의 피부를 분석할 수 있다. 이 경우, 프로세서(120)는 촬영 이미지에 포함된 얼굴이 기설정된 조건을 만족하는 경우에만 피부 분석을 수행하는 것도 가능하다. 예를 들어, 얼굴 영역의 크기가 기설정된 크기 이상인 경우에만 피부 분석을 수행할 수 있다.

여기서, 분석 항목은 예를 들어 색소 침착, 점, 기미, 피부톤, 주름, 다크 써클 등 다양한 항목을 포함할 수 있다. 이 경우, 분석 대상이 되는 항목은 디스플레이 장치(100) 제작시 또는 어플리케이션 설치시 디폴트로 설정된 항목이 될 수도 있으나, 경우에 따라서는 디스플레이 장치(100)에서 분석 가능한 항목 중 사용자에 의해 선택된 항목이 될 수도 있다.

또는, 프로세서(120)는 촬영 이미지에서 분석이 가능한 항목에 대해서만 피부 분석을 수행할 수도 있다.

일 예로, 촬영 이미지에서 눈 주변 영역만이 확인되는 경우, 디스플레이 장치(100)는 주름 또는 다크서클 등의 눈 주변 영역에서 분석 가능한 항목에 대해서만 피부 분석을 수행할 수 있다. 다른 예로, 촬영 이미지에서 볼 영역 만이 확인되는 디스플레이 장치(100)는 색소 침착, 점, 기미, 피부톤 등의 볼 영역에서 분석 가능한 항목에 대해서만 피부 분석을 수행할 수 있다.

한편, 프로세서(120)는 사용자의 얼굴 영역에 대한 피부 분석 결과를 다양한 방법으로 표현하여 분석 결과를 보여주는 UI 화면을 생성하여 제공할 수 있다.

예를 들어, 프로세서(120)는 여드름은 붉은색, 색소 침착은 푸른색 등으로 각 분석 항목을 색으로 구분하여 제공하는 UI 화면을 생성할 수 있다. 또는, 프로세서(120)는 이전의 분석 결과를 확인하여 개선된 부분의 영역을 녹색 혹은 파란색으로 표시하고 악화된 얼굴 영역을 붉은색으로 표시하여 제공하는 UI 화면을 생성할 수 있다. 경우에 따라 프로세서(120)는 촬영 이미지에서 특정 얼굴 영역에 대응하는 영역 또는 분석 항목이나 분석 결과에 따라 색으로 구분된 영역이 선택되면, 선택된 얼굴 영역에 대해 세부 분석된 이미지를 제공할 수 있다.

< 피부 관련 이벤트를 기초로 한 UI 화면의 제공 >

프로세서(120)는 사용자 얼굴을 포함하는 복수의 사진 컨텐츠를, 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 제공하는 화면을 디스플레이한다.

이 경우, 프로세서(120)는 각 사진 컨텐츠에 태깅된 촬영 시간 정보에 기초하여 각 사진 컨텐츠가 촬영된 시점을 판단할 수 있다. 예를 들어, 프로세서(120)는 사진 컨텐츠에 태깅된 EXIF(Exchangeable Image File Format) 정보로부터 사진 컨텐츠가 촬영된 시점을 판단할 수 있다. 그 밖에서 EXIF 정보에는 카메라 종류, 조리개 수치, 셔터 스피드, 노출 보정치 등의 정보가 포함될 수 있다.

여기서, 피부와 관련된 기설정된 이벤트는, 피부 관리 이벤트, 피부 시술 이벤트, 피부와 관련된 상품 구매 이벤트, 피부에 영향을 주는 지역 변경과 관련된 이벤트, 피부에 영향을 주는 날씨와 관련된 이벤트, 피부에 영향을 주는 음식 섭취와 관련된 이벤트, 휴가 이벤트 중 적어도 하나를 포함할 수 있다 .

피부 관리 이벤트는 피부과 또는 피부 관리실을 이용한 피부 관리 이벤트, 홈 케어(마사지 관리 기기 등)를 이용한 피부 관리 이벤트, 온천, 스파 등을 이용한 피부 관리 이벤트 등을 포함할 수 있고, 피부 시술 이벤트는 피부과 또는 피부 관리실, 또는 집 등에서 레이저 치료, 약품 치료 등 피부 시술을 받은 이벤트를 포함할 수 있다.

또한, 피부와 관련된 상품 구매 이벤트는 마스크 팩 등을 구매하거나, 에센스, 크림과 같은 화장품 등을 구매한 이벤트가 될 수 있다. 또한, 피부에 영향을 주는 지역 변경과 관련된 이벤트는 거주하고 있는 지역과 날씨가 상이한 지역(예를 들어, 자외선이 높은 해외 국가, 날씨가 매우 추운 해외 국가 등 피부에 영향을 줄 수 있는 지역)을 방문한 이벤트가 될 수 있으며, 휴가 이벤트는 집에서 외출을 삼가고 스트레스를 받지 않으며 휴가를 보낸 경우, 휴가차 국내 또는 해외 여행을 한 경우 등을 포함할 수 있다. 피부에 영향을 주는 날씨 변경과 관련된 이벤트는 갑자기 온도가 급격히 낮아지거나, 높아지는 등, 눈이 오거나, 비가 오는 등의 날씨 변경이 있는 경우의 이벤트를 포함할 수 있다. 그 밖에 피부에 영향을 줄 수 있는 다양한 이벤트가 이에 포함될 수 있다.

피부에 영향을 주는 날씨와 관련된 이벤트는, 습도, 온도, 미세먼지 지수, 자외선 지수 등 피부에 영향을 줄 수 있는 다양한 날씨 관련 이벤트를 포함할 수 있다.

피부에 영향을 주는 음식 섭취와 관련된 이벤트는 사용자에 의해 수동으로 입력되거나 촬영된 사진으로부터 인식된, 피부에 영향을 줄 수 있는 다양한 음식 섭취 이벤트를 포함할 수 있다. 예를 들어, 술, 탄산 음료, 기름진 음식, 보양식 등 피부에 영향을 줄 수 있는 음식을 섭취하는 경우가 이에 해당할 수 있다.

한편, 프로세서(120)는 기설정된 캘린더에 입력된 피부 관련 이벤트, 문자 메시지에 포함된 피부 관련 이벤트, GPS 정보, 사진 컨텐츠에 포함되거나 사용자에 의해 입력된 음식 관련 정보 중 적어도 하나에 기초하여 해당 이벤트의 발생 여부를 판단할 수 있다.

구체적으로, 사용자가 캘린더 어플리케이션을 구동시켜 캘린더 화면에 피부 관련 이벤트(예를 들어 7월 5일 피부과)를 입력하는 경우 이에 기초하여 해당 이벤트의 발생을 판단할 수 있다. 또한, 화장품 구매에 대한 결제 문자 메시지를 수신한 경우, 이를 인식하여 해당 이벤트의 발생을 판단할 수 있다. 예를 들어, 광학식 문자 판독기(OCR), 자기식 문자 읽기 장치(MICR), 광학마크 읽기 장치(OMR) 등의 기존의 문자 읽기 기술을 이용하여 문자 내역을 읽을 수 있다.

이를 위해, 프로세서(120)는 피부 관련 이벤트 발생을 판단하기 위한 다양한 기준 용어들을 기저장하고 있을 수 있다. 예를 들어, 피부, 피부과, 화장, 민낯, 에센스, 마스크 팩, 레이저, 관리, 관리실, 로션, 크림, 필러 등 피부와 관련된 다양한 용어들을 DB화하여 저장할 수 있다. 또한, 프로세서(120)는 사용자에 의해 입력된 피부 관련 용어들을 DB화할 수 있다. 예를 들어, 사용자가 자신이 다니는 피부과 이름, 자신이 사용하는 화장품 이름 등을 입력한 경우, 해당 용어들도 DB화하여 저장할 수 있다.

이에 따라, 프로세서(120)는 캘린더에 입력된 일정이나, 문자 내역(예를 들어, 결제 내역, 예약 내역, 경과 문의 내역(예를 들어 피부과에서 시술 후 시술 경과를 문의하는 문자 내역) 등)에서 해당 용어들이 인식되는 경우 해당 이벤트를 피부 관련 이벤트로 판단할 수 있다.

또한, 프로세서(120)는 디스플레이 장치(100)의 이동 위치를 기록한 정보, 사진 컨텐츠에 태깅된 GPS 정보 등에 기초하여 피부에 영향을 주는 지역 변경과 관련된 이벤트, 휴가 이벤트 등을 판단할 수 있다.

또한, 프로세서(120)는 날씨 어플, 날씨 관련 서버 등에서 획득된 날씨 정보에 기초하여 피부에 영향을 주는 날씨 변경과 관련된 이벤트를 판단할 수 있다.

프로세서(120)는 상술한 바와 같은 다양한 피부 관련 이벤트들이 판단되면, 해당 이벤트들을 나타내는 식별 정보를 해당 이벤트가 발생된 시점 전후에 촬영된 사진 컨텐츠 사이에 디스플레이하여, 복수의 사진 컨텐츠를 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이할 수 있다.

한편, 프로세서(120)는 복수의 사진 컨텐츠를 포함하는 갤러리 화면에서 피부 모드가 선택되면, 피부 분석이 수행된 사진 컨텐츠 만을 필터링하여 피부 관리와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이할 수 있다. 이 경우, 피부 모드는 별도의 메뉴 버튼, 예를 들어, 갤러리 화면 상에 제공되는 메뉴 버튼을 통해 선택될 수 있다.

이 경우, 프로세서(120)는 갤러리 화면에 디스플레이된 복수의 사진 컨텐츠 중 피부 분석이 수행된 사진 컨텐츠가 나머지 사진 컨텐츠와 식별되도록 디스플레이할 수 있다. 구체적으로, 프로세서(120)는, 피부 분석이 수행된 사진 컨텐츠에 기설정된 GUI를 부가하여 디스플레이할 수 있다. 여기서, GUI는 기설정된 아이콘, 기설정된 심볼, 기설정된 테두리 등이 될 수 있다.

다만, 이에 한정되는 것은 아니며, 프로세서(120)는 피부 분석이 수행된 사진 컨텐츠의 프레임을 다르게 하여 식별되도록 하거나, 휘도를 다르게 하여 식별되도록 하는 등 다양한 방식에 따라 나머지 컨텐츠와 식별되도록 디스플레이할 수 있다.

또는, 프로세서(120)는 복수의 사진 컨텐츠 중 피부 분석이 수행된 사진 컨텐츠 만을 별도의 폴더로 관리할 수도 있다. 이에 따라 사용자는 별도의 피부 모드를 선택하지 않더라도 해당 폴더를 선택하는 것만으로, 피부 분석이 수행된 사진 컨텐츠 만을 포함하는 갤러리 화면을 제공받을 수도 있다.

한편, 프로세서(120)는 사용자 명령에 따라 다양한 기준으로 사진 컨텐츠들을 필터링하여 제공할 수 있다.

예를 들어, 프로세서(120)는 바와 같이 사진 컨텐츠들이 피부 관련 이벤트를 기초로 구분되어 제공된 UI 화면에서 실외 사진만 보기, 실내 사진만 보기, 얼굴 크기가 기설정된 크기 이상인 사진 컨텐츠들만 보기, 정면을 보고 있는 사진 컨텐츠들만 보기 등의 사용자 명령이 입력되면, 대응되는 사진 컨텐츠들만 필터링하여 제공할 수 있다. 이 경우, 프로세서(120)는 사진 이미지 분석, 태깅된 EXIF 정보의 분석 등을 통해 대응되는 사진 컨텐츠들을 필터링할 수 있다.

< 이벤트 전후 피부 비교를 위한 UI 화면 제공 >

프로세서(120)는 사용자 명령에 따라 피부 관련 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제1 사진 컨텐츠가 선택되고, 피부 관련 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 제2 사진 컨텐츠가 선택되면, 선택된 제1 및 제2 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공할 수 있다.

또는, 프로세서(120)는 사용자 명령에 따라 피부 관련 이벤트를 나타내는 GUI가 선택되면, 해당 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제3 사진 컨텐츠(예를 들어, 해당 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 가장 최근에 촬영된 사진 또는, 최근에 촬영된 사진들 중 촬영 조건이 기설정된 기준에 가장 적합한 사진)를 선택하고, 해당 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 제3 사진 컨텐츠와 촬영 조건이 유사한 제4 사진 컨텐츠를 선택한 후, 선택된 제3 및 제4 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공할 수 있다. 여기서, 촬영 조건은 사용자의 얼굴 크기, 사용자의 얼굴 각도, 민낯 여부, 액세서리 착용 여부 및 촬영 조명 중 적어도 하나를 포함할 수 있다.

이 경우, 프로세서(120)는 해당 이벤트 전후에 촬영된 사진 컨텐츠의 배치 위치 및 크기를 다양한 환경에 적합하도록 조정하여 제공할 수 있다.

구체적으로, 프로세서(120)는 디스플레이 장치(100)의 배치 모드에 기초하여 당 이벤트 전후에 촬영된 사진 컨텐츠의 배치 위치를 결정할 수 있다.

일 예로, 프로세서(120)는 디스플레이 장치(100)가 가로 모드인 경우 해당 이벤트 이전에 촬영된 사진 컨텐츠는 화면 좌측에, 해당 이벤트 이후에 촬영된 사진 컨텐츠는 화면 우측에 제공할 수 있다. 또는, 프로세서(120)는 세로 모드인 경우 피부 관련 이벤트 이전에 촬영된 사진 컨텐츠는 디스플레이 장치(100)가 세로 모드인 경우 해당 이벤트 이전에 촬영된 사진 컨텐츠는 화면 상측에, 해당 이벤트 이후에 촬영된 사진 컨텐츠는 화면 하측에 제공할 수 있다.

다른 예로, 프로세서(120)는 해당 이벤트 이전에 촬영된 사진 컨텐츠 및 해당 이벤트 이후에 촬영된 사진 컨텐츠를 비교의 용이성을 위하여 동일한 크기로 제공할 수 있으나 이에 한정되는 것은 아니다. 경우에 따라 프로세서(120)는 해당 이벤트 이전에 촬영된 사진 컨텐츠가 해당 이벤트 이후에 촬영된 사진 컨텐츠 보다 작은 크기로 제공할 수도 있다.

또한, 프로세서(120)는 디스플레이 장치(100)의 배치 모드에 기초하여 피부 비교 UI 화면을 다른 형태로 제공하는 것도 가능하다. 예를 들어 가로 모드에서는 해당 이벤트 이전에 촬영된 사진 컨텐츠 및 해당 이벤트 이후에 촬영된 사진 컨텐츠를 비교하기 위한 UI 화면을 제공하고, 세로 모드로 변경되면 피부 비교 결과를 텍스트 형태로 제공하거나, 피부 비교 결과에 따른 스킨 케어 추천 정보 등을 제공할 수도 있다.

또한, 프로세서(120)는 사용자의 명령(예를 들어, 터치 인터렉션)에 따라 각 사진 컨텐츠의 크기가 조정 가능하도록 할 수 있다. 이 경우, 프로세서(120)는 사진 컨텐츠의 크기에 따라 피부 분석 정보를 상이한 형태로 제공할 수 있다. 예를 들어, 프로세서(120)는 사진 컨텐츠가 기설정된 크기 이상인 경우에는 이미지 형태의 분석 정보를 제공하고, 사진 컨텐츠가 기설정된 크기 미만인 경우에는 텍스트 형태의 분석 정보를 제공할 수 있다. 일 예로, 볼 주위의 색소 침착 부위를 특정 색으로 강조하여 제공하거나, “왼쪽 볼 색소 침착 증가” 또는 "왼쪽 볼 주위 : 색소 침착 2 군데"와 같은 텍스트 형태로 제공할 수 있다.

< 사진 촬영과 관련된 UI 화면 제공 >

한편, 프로세서(120)는 사진 촬영 완료 화면, 사진 촬영을 위한 프리뷰 화면에서 본 발명의 일 실시 예에 따른 피부 분석 및 관리 서비스를 제공하기 위한 다양한 메뉴를 제공할 수 있다.

프로세서(120)는 사용자 얼굴이 등록되지 않은 상태에서, 기설정된 조건을 만족하는 사람 얼굴을 포함하는 사진이 촬영되면, 촬영이 완료된 직후 사용자 본인 얼굴인지 확인하는 UI 메뉴를 제공할 수 있다. 예를 들어, 사용자 본인 얼굴인지 물어보면서 앞으로 이 얼굴을 기준으로 비교하여 피부 변화를 관리하겠다는 내용을 노티(noti)를 제공할 수 있다. 이어서, 프로세서(120)는 사용자 얼굴이 확인되면 사용자 얼굴을 등록하고, 피부 분석/변화 관리 대상용 영상으로 저장할 수 있다.

또한, 프로세서(120)는 사용자 얼굴이 등록된 상태에서, 사진 촬영을 위한 프리뷰 영상에서 적어도 하나의 얼굴이 검출되는 경우, 기 등록된 사용자 얼굴과의 일치 여부에 따른 메뉴 버튼 및 화장 여부에 따른 메뉴 버튼 중 적어도 하나를 프리뷰 화면 상에 디스플레이할 수 있다.

일 예로, 프로세서(120)는 프리뷰 영상에서 1 개의 얼굴이 검출되고 검출된 얼굴이 등록된 사용자 얼굴과 일치하는 것으로 판단되면, 화장 얼굴인지 민낯 얼굴인지 선택하기 위한 GUI 버튼을 화면 상에 제공할 수 있다. 이 후, 사용자에 의해 선택이 이루어진 후 촬영이 이루어지도록 할 수 있다. 이 경우, 해당 GUI 버튼을 선택한 후 셔터 버튼이 선택되면 사진이 저장되도록 하거나, 셔터 버튼이 자동으로 선택된 상태로 화면을 제공하여 해당 GUI 버튼 조작 만으로 자동으로 촬영이 이루어지도록 할 수 있다.

다른 예로, 프로세서(120)는 프리뷰 영상에서 1 개의 얼굴이 검출되고 검출된 얼굴이 등록된 사용자 얼굴과 불일치 한다고 판단되면, 화장 얼굴인지 민낯 얼굴인지 선택하기 위한 GUI 버튼 뿐 아니라, 사용자 본인 여부를 확인하는 GUI 버튼을 화면 상에 제공할 수 있다. 이 경우, 반드시 사용자 본인 여부를 확인한 후, 화장 여부가 선택되어야 촬영이 이루어지도록 할 수 있다. 이 경우에도, 셔터 버튼이 자동으로 선택된 상태로 화면을 제공하여 해당 GUI 버튼들을 연이어 조작하는 것만으로 자동으로 촬영이 이루어지도록 할 수 있다.

또 다른 예로, 프로세서(120)는 프리뷰 영상에서 복수 개의 얼굴이 검출되는 경우, 등록된 사용자 얼굴과 일치하는 얼굴을 식별하기 위한 GUI를 디스플레이하고, 식별된 얼굴 근처에 화장 얼굴인지 민낯 얼굴인지 선택하기 위한 GUI 버튼을 제공할 수 있다. 이 경우, 프로세서(120)는 검출된 복수 개의 얼굴 중 등록된 사용자 얼굴과 일치하는 얼굴에 대해서만 피부 분석을 수행할 수 있다.

또한, 프로세서(120)는 검출된 복수 개의 얼굴에 등록된 사용자 얼굴과 일치하는 얼굴이 없는 경우, 피부 분석 대상 얼굴을 선택하기 위한 GUI를 디스플레이하고, 선택된 얼굴에 대해서만 피부 분석을 수행할 수 있다.

< 서비스 구현 형태 >

한편, 상술한 본 발명의 일 실시 예에 따른 서비스는 기존의 어플리케이션들의 기능들을 서로 연동시켜 제공되는 서비스 형태로 수도 있으나, 별도의 신규 어플리케이션에서 제공되는 서비스 형태로 구현되는 것도 가능하다.

일 예로, 기존의 갤러리 어플리케이션, 캘린더 어플리케이션을 서로 연동시켜, 캘린더 어플리케이션을 통해 입력된 피부 관련 일정을 갤러리 어플리케이션으로 적용할 수 있다. 다만, 문자 메시지 읽기 기능(메일 읽기 기능)을 이용하는 경우 문자 메시지 어플리케이션(또는 메일 어플리케이션)을 추가로 연동시키고, 카메라 촬영 기능을 이용하는 경우 카메라 어플리케이션을 추가로 연동시킬 수 있음은 물론이다.

다른 예로, 본 발명에 따른 서비스를 모두 별도의 신규 어플리케이션 예를 들어, 피부 관리 어플리케이션으로 구현하여, 해당 어플리케이션 내에서 갤러리 기능을 제공하는 UI 화면, 캘린더 기능을 제공하는 UI 화면, 카메라 촬영 기능 등을 제공하도록 구현하는 것도 가능하다. 이 경우, 캘린더 기능을 제공하는 UI 화면을 통해 입력되는 일정은 모두 피부 관련 일정으로 판단되므로, 일정에 대한 별도의 판단이 필요하지 않을 수 있다. 물론, 일부 기능 만을 해당 어플리케이션에 구현하고, 나머지 기능은 기존의 어플리케이션을 연동시켜 이용하는 것도 가능함은 물론이다.

도 2b는 도 2a에 도시된 디스플레이 장치의 세부 구성을 나타내는 블럭도이다.

도 2b에 따르면, 디스플레이 장치(100')는 디스플레이(110), 프로세서(120),저장부(130), 사용자 인터페이스부(140), 통신부(150) 및 카메라(160)를 포함한다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.

프로세서(120)는 RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n), 버스(126)를 포함한다.

RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n) 등은 버스(126)를 통해 서로 연결될 수 있다.

제1 내지 n 인터페이스(125-1 내지 125-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

메인 CPU(123)는 저장부(130)에 액세스하여, 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(130)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(123)는 ROM(122)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(123)는 저장부(130)에 저장된 각종 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.

그래픽 처리부(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.

한편, 상술한 프로세서(120)의 동작은 저장부(130)에 저장된 프로그램에 의해 이루어질 수 있다.

저장부(130)는 디스플레이 장치(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다. 이하에서는 저장부(130)에 저장된 프로그램을 이용한 프로세서(120)의 세부 동작에 대해 자세히 설명하도록 한다.

도 2c는 저장부에 저장된 다양한 모듈을 설명하기 위한 도면이다.

도 2c에 따르면, 저장부(130)에는 베이스 모듈(131), 센싱 모듈(132), 통신 모듈(133), 프리젠테이션 모듈(134), 웹 브라우저 모듈(135), 서비스 모듈(136), 이미지 분석 모듈(137) 및 피부 분석 모듈(138)을 포함하는 소프트웨어가 저장될 수 있다.

베이스 모듈(131)이란 디스플레이 장치(100')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다. 베이스 모듈(131)은 스토리지 모듈(131-1), 보안 모듈(131-2) 및 네트워크 모듈(131-3) 등을 포함한다. 스토리지 모듈(131-1)이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. 메인 CPU(123)는 스토리지 모듈(131-1)을 이용하여 저장부(130) 내의 데이터베이스에 액세스하여, 각종 데이터를 독출할 수 있다. 보안 모듈(131-2)이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이고, 네트워크 모듈(131-3)이란 네트워크 연결을 지원하기 위한 모듈로 DNET 모듈, UPnP 모듈 등을 포함한다.

센싱 모듈(132)은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈이다. 센싱 모듈(132)은 헤드 방향 인식 모듈, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다.

통신 모듈(133)은 외부와 통신을 수행하기 위한 모듈이다. 통신 모듈(133)은 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈(133-1), 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈 등을 포함하는 전화 모듈(133-2)을 포함할 수 있다.

프리젠테이션 모듈(134)은 디스플레이 화면을 구성하기 위한 모듈이다. 프리젠테이션 모듈(134)은 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈(134-1), UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈(134-2)을 포함한다. 멀티미디어 모듈(134-1)은 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행한다. UI 렌더링 모듈(134-2)은 이미지를 조합하는 이미지 합성기(Image Compositor module), 이미지를 디스플레이할 화면상의 좌표를 조합하여 생성하는 좌표 조합 모듈, 하드웨어로부터 각종 이벤트를 수신하는 X11 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.

웹 브라우저 모듈(135)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 웹 브라우저 모듈(135)은 웹 페이지를 구성하는 웹 뷰(web view) 모듈, 다운로드를 수행하는 다운로드 에이전트 모듈, 북마크 모듈, 웹킷(Webkit) 모듈 등과 같은 다양한 모듈을 포함할 수 있다.

서비스 모듈(136)은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다. 구체적으로는, 서비스 모듈(136)은 SNS 프로그램, 컨텐츠 재생 프로그램, 게임 프로그램, 전자 책 프로그램, 달력 프로그램, 알람 관리 프로그램, 기타 위젯 등과 같은 다양한 프로그램 모듈을 포함할 수 있다.

이미지 분석 모듈(137)는 촬영 이미지를 분석하여 사용자 얼굴을 인증하기 위한 모듈이다. 이 경우, 이미지 분석 모듈(137)은 얼굴 인식 알고리즘을 저장할 수 있다. 예를 들어, 이미지 분석 모듈(137)은 얼굴 인식 알고리즘을 이용하여 얼굴 모델링(face modeling) 기술을 통해 촬영 이미지로부터 눈 영역을 식별한다. 이때, 얼굴 모델링 기술은 촬영 이미지에 포함된 얼굴 영상의 가공 처리 및 전송을 위한 디지털 정보로 변환하는 분석 과정으로, ASM(Active Shape Modeling) 기법 및 AAM(Active Appearance Modeling) 기법 중 하나가 이용될 수 있다.

피부 분석 모듈(138)은 적어도 하나의 분석 항목에 대해 사용자 얼굴 영역의 피부를 분석하기 위한 모듈이다. 여기서, 분석 항목은 예를 들어 색소 침착, 점, 기미, 피부톤, 주름, 다크 써클 등 다양한 항목을 포함할 수 있다. 이 경우, 피부 분석 모듈(136)은 분석 대상이 되는 항목에 대한 정보, 각 항목 별 분석 알고리즘 등을 저장할 수 있다.

도 2c에서는 다양한 프로그램 모듈들을 도시하였으나, 도시된 각종 프로그램 모듈들은 디스플레이 장치(100')의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, GPS 칩과 같은 하드웨어와 연동하여 위치 기반 서비스를 지원하는 위치 기반 모듈을 더 포함하는 형태로 구현될 수 있다.

또한, 저장부(130)는 피부 분석 정보 및 사용자 식별 정보를 저장할 수 있다.

여기서, 피부 분석 정보는, 상술한 다양한 분석 항목에 따라 사용자의 얼굴 영역의 피부를 분석한 정보가 될 수 있다. 예를 들어, 피부 분석 정보는 특정 얼굴 영역에서의 피부 침착, 피부톤, 점, 혹은 여드름의 유무가 분석된 정보, 이전에 분석된 각 항목별 정보 혹은 각 얼굴 영역에 대한 피부 분석 결과를 시간 순으로 보여주는 히스토리 정보를 포함할 수 있다.

사용자 식별 정보는, 특정 사용자의 얼굴을 식별하기 위한 정보가 될 수 있다. 이에 따라 사용자 식별 정보는, 사용자의 전체적인 얼굴 이미지, 얼굴 영역에 포함된 얼굴 구성 요소(예를 들어, 눈, 코, 입 등)에 대한 이미지 등을 포함할 수 있다. 예를 들어, 프로세서(120)는 사용자 식별 정보를 이용하여, 촬영 이미지에서 확인된 ‘눈’영역을 기 저장된 사용자의 ‘눈’영역과 비교하여 사용자를 식별할 수 있다.

사용자 인터페이스부(140)는 다양한 사용자 명령을 입력받는다.

특히, 사용자 인터페이스부(140)는 터치 패드 또는 터치 스크린을 구비하는 형태로 구현되어, 사용자 단말 장치(100)를 제어하기 위한 사용자의 터치 인터렉션을 입력받을 수 있다.

구체적으로, 사용자 인터페이스부(140)는 터치 스크린을 통해 제공되는 다양한 UI 화면에 대한 사용자 인터렉션을 입력받을 수 있다. 여기서, UI 화면은 본 발명의 일 실시 예에 따른 피부 분석 및 관리 서비스를 제공하는데 요구되는 다양한 UI 화면이 될 수 있다. 이 경우 UI 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠 재생 화면, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, 웹 브라우저 화면, GUI(Graphic User Interface) 화면 등 다양한 형태로 구현될 수 있다.

통신부(150)는 외부 장치(미도시)와 통신을 수행한다. 여기서, 통신부(150)는 BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication) 등과 같은 다양한 통신 방식을 통해 외부 장치(미도시)와 통신을 수행할 수 있다. 여기서 외부 장치(미도시)는 다양한 전자 장치 뿐 아니라, 다양한 외부 서버를 포함할 수 있다.

구체적으로, 통신부(150)는 기설정된 이벤트가 발생하면, 외부 장치(미도시)와의 기정의된 통신 방식에 따라 통신을 수행하여 연동 상태가 될 수 있다. 여기서, 연동은 디스플레이 장치(100')와 외부 장치(미도시) 간에 통신이 초기화되는 동작, 네트워크가 형성되는 동작, 기기 페어링이 수행되는 동작 등 통신이 가능한 상태가 되는 모든 상태를 의미할 수 있다. 예를 들어, 디스플레이 장치(100')의 기기 식별 정보가 외부 장치(미도시)로 제공되고, 그에 따라 양 기기 간의 페어링 절차가 수행될 수 있다. 예를 들어, 사용자 단말 장치(100)에서 기설정된 이벤트(기기 선택 명령, 기기 턴온 명령 등)가 발생하면, DLNA(Digital Living Network Alliance) 기술을 통해 주변 기기를 탐색하고 탐색된 기기와 페어링을 수행하여 연동 상태가 될 수 있다.

특히, 통신부(150)는 도 1b에 도시된 실시 예에 따라 외부 서버(200)에서 피부 분석을 수행하는 경우 피부 분석을 위한 사진 컨텐츠를 서버(200)로 전송하고, 서버(200)로부터 사진 컨텐츠에 대한 사용자 얼굴 영역에 대해 피부 분석이 수행된 결과를 수신할 수 있다.

카메라(160)는 사용자 명령에 따라 피사체를 촬영한다.

카메라(160)를 통해 피사체가 촬영되면, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상신호로 변환되고, 이와 같이 변환된 영상신호는 아날로그 신호처리부(미도시)에서 증폭 및 디지털신호로 변환된다. 이와 같이 변환된 디지털 신호는 디지털 신호처리부(미도시)에서 디지털 신호처리되고, 프로세서(120)의 제어를 받아 그 색과 밝기를 조정하여 디스플레이(110)를 통해 표시된다. 경우에 따라 카메라(160)는 프로세서(120)의 제어에 의해 사용자의 얼굴 영역에 포커싱을 맞추고 확대하여 촬영할 수 있다.

본 발명의 다양한 실시 예에 따라, 프로세서(120)는 화이트 밸런스 자동 설정 기능(auto white balance)을 이용하여 촬영 중인 이미지의 조명 환경을 계산할 수 있다. 예를 들어, 프로세서(120)는 계산한 조명 환경을 이용하여 일괄적인 화이트 밸런스가 설정되도록 이미지를 촬영할 수 있다. 또한, 프로세서(120)는 외부 광원이 없는 촬영 환경에서도 디스플레이 장치(100') 내에 포함된 광원(예, LED 광원)을 조정하여 일괄적인 화이트 밸런스가 설정되도록 이미지를 촬영할 수 있다.

한편, 프로세서(120)는 화이트 밸런스 자동 설정 기능에 따라 화이트 밸런스를 설정하여 촬영하는 경우, 촬영 이미지에서의 얼굴 영역은 각 촬영 이미지에 대응하여 설정된 화이트 밸런스에 따라 다른 색감으로 설정하여 촬영할 수 있다.

또한, 프로세서(120)는 얼굴 영역의 색감을 여러 이미지에 대해 일괄적으로 설정하기 위하여, 외부 광원을 차단하고 디스플레이 장치(100')에 포함된 광원만을 이용할 수도 있다.

또한, 본 발명의 다양한 실시 예에 따라, 디스플레이 장치(100')는 전면 카메라 또는 후면 카메라를 포함할 수 있다. 예컨대, 전면 카메라를 이용하여 이미지를 촬영하는 경우 후면 카메라는 촬영 환경을 계산하여 일정한 촬영 환경에서 이미지가 촬영될 수 있도록 촬영될 이미지의 화이트 밸런스를 설정할 수도 있다.

오디오 처리부(170)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(170)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.

비디오 처리부(180)는 비디오 데이터에 대한 처리를 수행하는 구성요소이다. 비디오 처리부(180)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

스피커(191)는 오디오 처리부(170)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다.

버튼(192)은 디스플레이 장치(100')의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다. 예를 들어, 디스플레이 장치(100')의 전원을 ON/OFF 하기 위한 버튼이 마련될 수 있다.

마이크(193)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 프로세서(120)는 마이크(193)를 통해 입력되는 사용자 음성을 통화(call) 과정에서 이용하거나, 오디오 데이터로 변환하여 저장부(130)에 저장할 수 있다. 한편, 카메라(160) 및 마이크(193)는 그 기능에 따라 상술한 사용자 인터페이스부(140)의 일 구성이 될 수 있다.

카메라(160) 및 마이크(193)가 마련된 경우, 프로세서(120)는 마이크(193)를 통해 입력되는 사용자 음성이나 카메라(160)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 즉, 디스플레이 장치(100')는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 프로세서(120)는 카메라(160)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다. 음성 제어 모드로 동작하는 경우 프로세서(120)는 마이크를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다.

한편, 도면에는 도시되지 않았지만, 디스플레이 장치(100')는 피드백 제공부(미도시) 및 GPS 수신부(미도시)를 더 포함할 수 있다. 피드백 제공부(미도시)는 디스플레이되는 UI 화면에 따라 다양한 피드백(예를 들어, 오디오 피드백, 그래픽 피드백, 햅틱 피드백 등)을 제공하는 기능을 한다. 구체적으로, 피드백 제공부(미도시)는 피부 분석이 수행 중인 경우, 피부 관련 이벤트가 생성되는 경우, 피부 비교를 위한 UI 화면을 제공하는 경우 등에 대응되는 피드백을 제공할 수 있다. GPS 수신부(미도시)는 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여 디스플레이 장치(100')의 현재 위치를 산출하거나, 촬영되는 사진 컨텐츠에 현재 위치를 태깅시키기 위한 기능을 한다.

한편, 도 2b는 디스플레이 장치(100')에 포함된 세부 구성의 일 예를 든 것으로, 실시 예에 따라서는, 도 2b에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.

도 3a 및 3b는 본 발명의 다양한 실시 예에 따른 서비스의 구현 예를 설명하기 위한 도면들이다.

도 3a는 본 발명의 일 실시 예에 따른 서비스의 구현 예를 도시한 것으로, 도시된 바와 같은 UI 화면에서 사용자가 갤러리 어플(313)을 선택하여 구동시키면, 복수의 사진 컨텐츠(321 내지 335)를 포함하는 갤러리 화면이 제공된다. 이 경우, 피부 분석이 수행된 사진 컨텐츠(324, 328, 332, 334, 335)들에는 이들을 나머지 사진 컨텐츠들과 식별하기 위한 GUI(10)가 제공될 수 있다. 이 경우, 사용자가 제공된 메뉴(350)에서 피부 항목(351)을 선택하면, 피부 분석이 수행된 사진 컨텐츠들 만을 포함하는 갤러리 화면(360)이 제공될 수 있다.

도 3b는 본 발명의 일 실시 예에 따른 서비스의 구현 예를 도시한 것으로, 도시된 바와 같이 사용자가 피부 서비스 어플(315)을 선택하여 구동시키면, 피부 분석이 수행된 사진 컨텐츠 만을 포함하는 갤러리 화면(370)이 바로 제공될 수 있다. 여기서, 피부 서비스 어플(315)은 본 발명에 따른 피부 관련 서비스를 제공하기 위하여 별도로 제작된 어플리케이션이 될 수 있다. 예를 들어, 피부 서비스 어플(315)은 본 발명에 따른 피부 관련 서비스를 제공하기 위한 촬영 기능, 캘린더 기능, 피부 분석 기능 등 다양한 기능을 제공하도록 구현될 수 있다.

도 4a 및 도 4b는 본 발명의 일 실시 예에 따라 캘린더에 피부 관련 일정을 입력하는 방법을 설명하기 위한 도면들이다.

도 3a에 도시된 바와 같은 UI 화면에서 사용자가 캘린더(또는 플래너) 어플(312)을 구동시키고 도 4a에 도시된 바와 같은 일정 입력을 위한 UI 화면(410)을 통해 피부 관련 일정을 입력하면, 도 4b에 도시된 바와 같이 피부 관련 일정(430)이 캘린더(420)에 입력된다.

이 경우, 프로세서(120)는 캘린더(420)에 입력된 다양한 일정 중 피부 관련 일정을 추출하여 본 발명의 일 실시 예에 따른 다양한 서비스를 제공하는데 이용할 수 있는데 이에 대한 자세한 설명은 후술하도록 한다.

다만, 이에 한정되는 것은 아니며, 도 4a에 도시된 바와 같은 일정 입력을 위한 UI 화면(410)은 도 3b에 도시된 피부 서비스 어플(315)의 UI 화면으로 제공될 수 있음은 물론이다. 이 경우 프로세서(120)는 입력된 일정을 모두 피부 관련 일정으로 판단할 수 있다. 예를 들어, DB화된 피부와 관련된 용어가 일정에 포함되어 있지 않더라도, 이와 상관없이 피부 관련 일정으로 판단할 수 있다.

도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 UI 화면을 나타내는 도면들이다.

본 발명의 일 실시 예에 따르면, 프로세서(120)는 복수의 사진 컨텐츠의 촬영 시점에 기초하여, 복수의 사진 컨텐츠를 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이할 수 있다.

예를 들어, 도 5a에 도시된 바와 같이 피부 분석이 수행된 사진 컨텐츠들을 도 4b에서 입력된 피부 관련 일정 즉, "5월 21일 피부 시술" 및 5월 27일 피부 관리실" 일정을 기준으로, 구분하여 제공할 수 있다.

구체적으로, 피부 관련 이벤트는 사진 컨텐츠와 동일한 형태 및 크기의 GUI로 제공될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 도 5b에 도시된 바와 같이 기설정된 형태의 아이콘 형태(521, 522)로 제공되는 것도 가능하다. 이러한 아이콘들은 디폴트로 저장되어 있을 수도 있으나, 사용자가 직접 제작하거나, 기설정된 아이콘들 중에 선택하여 이용할 수도 있다.

한편, 도 5a에 도시된 바와 같이 사진 컨텐츠들 상에 해당 사진 컨텐츠가 촬영된 날짜 및 시간(또는 날짜)이 표시될 수도 있으나, 도 5b에 도시된 바와 같이 날짜 및 시간은 표시되지 않고 사용자가 선택한 경우에만 표시되는 것도 가능하다.

상술한 실시 예에 따르면 사용자는 피부 관련 이벤트를 기준으로 전후 시간에 촬영된 사진 컨텐츠를 한 눈에 구별하여 해당 이벤트 전후 자신의 피부 변화를 용이하게 관찰할 수 있게 된다.

도 6은 본 발명의 다른 실시 예에 따른 UI 화면을 나타내는 도면이다.

도 6에 도시된 바와 같이 피부 분석이 포함된 사진 컨텐츠들을 포함하는 UI 화면(610)에서 특정 피부 관련 이벤트 전후의 사진 컨텐츠들(621, 622)이 사용자에 의해 선택되면, 선택된 사진 컨텐츠들(621, 622)에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면(630)을 제공할 수 있다.

해당 UI 화면(630)에는 선택된 사진 컨텐츠들(621, 622)에 포함된 사용자 얼굴의 피부 상태를 자세히 비교 분석하는 화면이 제공될 수 있다.

여기서, 피부 관련 이벤트 이전에 촬영된 사진 컨텐츠(621)는 화면 좌측에, 피부 관련 이벤트 이후에 촬영된 사진 컨텐츠(622)는 화면 우측에 제공될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 화면의 세로 모드인 경우 피부 관련 이벤트 이전에 촬영된 사진 컨텐츠(621)는 화면 상측에, 피부 관련 이벤트 이후에 촬영된 사진 컨텐츠(622)는 화면 하측에 제공될 수 있다.

또한, 피부 관련 이벤트 이전에 촬영된 사진 컨텐츠(621) 및 피부 관련 이벤트 이후에 촬영된 사진 컨텐츠(622)를 비교의 용이성을 위하여 도시된 바와 같이 동일한 크기로 제공될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 피부 관련 이벤트 이전에 촬영된 사진 컨텐츠(621)가 피부 관련 이벤트 이후에 촬영된 사진 컨텐츠(622) 보다 작은 크기로 제공될 수도 있다.

도 7a 내지 도 7c는 본 발명의 다른 실시 예에 따라 메시지에 피부 관련 이벤트를 추출하는 방법을 설명하기 위한 도면들이다.

도 7a 내지 도 7c에 도시된 바와 같이 피부 관련 문자 메시지가 수신되면, 프로세서(120)는 이를 인식하여 피부 관련 이벤트의 발생을 판단할 수 있다. 예를 들어 상술한 바와 같이 광학식 문자 판독기(OCR), 자기식 문자 읽기 장치(MICR), 광학마크 읽기 장치(OMR) 등의 기존의 문자 읽기 기술을 이용하여 문자 내역에서 "피부과 예약(도 7a), 화장품 구매(도 7b), 피부과 결제(도 7c)" 등의 피부 관련 이벤트를 판단할 수 있다.

구체적으로, 프로세서(120)는 DB화된 기준 용어들에 기초하여 수신된 문자 내역(710, 720, 730)이 피부 관련 이벤트에 해당하는지 판단할 수 있다. 예를 들어, 문자 메시지에 "피부과", "화장품" 등의 기준 용어가 포함되어 있으면, 해당 문자 메시지가 피부 관련 이벤트에 해당함을 판단할 수 있다.

경우에 따라 프로세서(120)는 수신된 문자 내역에서 피부 관련 이벤트가 검출되면, 사용자에게 해당 이벤트를 피부 관련 이벤트로 추가할 것인지 요청하는 알림창을 제공할 수 있다. 이 경우, 프로세서(120)는 사용자가 해당 이벤트를 피부 관련 이벤트로 추가할 것을 승인하는 경우에만 해당 이벤트를 피부 관련 이벤트로 추가하고, 그렇지 않은 경우 해당 이벤트를 무시할 수 있다.

도 8은 본 발명의 또 다른 실시 예에 따른 UI 화면을 나타내는 도면이다.

본 발명의 또 다른 실시 예에 따르면, 도 7a 내지 도 7c에 도시된 바와 같은 문자 내역을 통해 검출된 피부 관련 이벤트는, 도 8에 도시된 바와 같이 자동으로 또는 사용자 선택에 따라 사진 컨텐츠들을 구분하는 기준이 될 수 있다.

예를 들어, 도 7b에 도시된 문자 내역을 통해 생성된 2015년 5월 21일의 화장품 구매 이벤트는 도시된 바와 같이 사진 컨텐츠들을 구분하는 피부 관련 이벤트(810)로 이용될 수 있다.

이 경우, 도시된 바와 같이 각 이벤트를 나타내는 GUI(810, 820)에는 각 이벤트가 생성된 어플을 나타내는 식별 정보(예를 들어, 메시지, 캘린더)가 함께 제공될 수도 있다. 다만, 이는 일 실시 예에 따른 것이며, 다른 실시 예에 따르면, 이벤트가 생성된 어플에 대한 정보 없이 이벤트 타이틀만 표시하는 것도 가능함은 물론이다.

도 9는 본 발명의 또 다른 실시 예에 따른 UI 화면을 나타내는 도면이다.

본 발명의 또 다른 실시 예에 따르면, 갤러리 화면에서 사용자가 직접 이벤트를 입력할 수 있는 UI 화면을 제공할 수 있다.

도시된 바와 같이 사진 컨텐츠들을 포함하는 갤러리 화면에서 기설정된 이벤트에 따라 이벤트 입력을 위한 입력창(910)에 제공될 수 있다. 입력창(910)에서 피부 관련 이벤트가 입력되면 우측에 도시된 바와 같이 해당 이벤트를 나타내는 GUI(920)가 사진 컨텐츠들 사이에 실시간으로 디스플레이될 수 있다. 예를 들어 도시된 바와 같이 2015년 5월 21일에 피부 시술 이벤트가 입력되면, 해당 피부 시술 이벤트 전후에 촬영된 사진들 사이에 해당 피부 시술 이벤트를 나타내는 GUI(920)가 자동으로 추가될 수 있다.

도 10은 본 발명의 또 다른 실시 예에 따라 GPS 정보에 기반하여 피부 관련 이벤트를 추출하는 방법을 설명하기 위한 도면이다.

본 발명의 또 다른 실시 예에 따르면, 프로세서(120)는 사진 컨텐츠들에 태깅된 GPS 정보 즉, 촬영된 위치 정보에 기초하여 피부 관련 이벤트를 생성할 수 있다.

도시된 바와 같이 프로세서(120)는 시간 순으로 제공된 사진 컨텐츠들에 태깅된 GPS 정보에 기반하여 사용자가 해외를 방문한 이벤트를 추출할 수 있다. 예를 들어, 프로세서(120)는 사진 컨텐츠들에 태깅된 위치 정보가 "120:00E, 37:30N"에서 특정 시점에 "157:00W, 21:18N"으로 변경된 것으로 판단되면, 사용자가 해당 시점에 해외를 방문한 것으로 판단할 수 있다. 이 경우, 위치 정보가 변경된 시점에 대응되는 사진 컨텐츠들(1010, 1020) 사이에 해외 여행 이벤트를 나타내는 GUI(1030)가 자동으로 추가될 수 있다.

다만, 사진 컨텐츠에 태깅된 GPS 정보를 이용하는 것은 일 실시 예에 불과하며, 프로세서(120)는 디스플레이 장치(100)의 이동 위치를 기록한 GPS 정보에 기초하여 이벤트를 생성할 수도 있다. 예를 들어, 디스플레이 장치(100)의 위치가 특정 시점에 "120:00E, 37:30N"에서 "157:00W, 21:18N"으로 변경된 것으로 판단되면, 사용자가 해당 시점에 해외를 방문한 것으로 판단할 수 있다. 이 경우, 해당 시점에 대응되는 사진 컨텐츠들 사이에 해당 이벤트를 나타내는 GUI가 자동으로 추가될 수 있다.

도 11은 본 발명의 또 다른 실시 예에 따른 UI 화면을 나타내는 도면이다.

본 발명의 또 다른 실시 예에 따르면, 프로세서(120)는 사용자 명령에 따라 실외 또는 실내에서 촬영된 사진 컨텐츠들만 필터링하여 제공할 수 있다.

예를 들어 도시된 바와 같이 사진 컨텐츠들이 피부 관련 이벤트를 기초로 구분되어 제공된 UI 화면에서 "실외 사진만 보기" 명령이 입력되면, 프로세서(120)는 해당 사진 컨텐츠들 중 실외에서 촬영된 사진 컨텐츠들만 필터링하여 제공할 수 있다. 이 경우, 프로세서(120)는 실외에서 촬영된 사진 컨텐츠들을 기존의 피부 관련 이벤트를 기초로 구분하여 제공할 수 있음은 물론이다.

한편, 프로세서(120)는 사진 컨텐츠를 분석하여 실외 또는 실내에서 촬영된 사진 컨텐츠를 판단하거나, 사진 컨텐츠에 태깅된 EXIF 정보에 기초하여 실외 또는 실내에서 촬영된 사진 컨텐츠인지 판단할 수 있다. 즉 프로세서(120)는 EXIF 정보에 포함된 조리개 수치, 노출 보정치 등의 정보에 기초하여 해당 사진 컨텐츠가 실외 또는 실내에서 촬영된 사진 컨텐츠인지 판단할 수 있다.

그 밖에 프로세서(120)는 사용자 명령에 따라 다양한 기준으로 사진 컨텐츠들을 필터링하여 제공할 수 있다. 예를 들어, 얼굴 크기가 기설정된 크기 이상인 사진 컨텐츠들만 보기, 정면을 보고 있는 사진 컨텐츠들만 보기 등의 사용자 명령에 따라 대응되는 사진 컨텐츠들만 필터링하여 제공할 수 있다.

도 12a 및 도 12b는 본 발명의 일 실시 예에 따른 피부 분석 결과를 제공하는 방법을 설명하기 위한 도면들이다.

본 발명에 일 실시 예에 따른 피부 관련 이벤트 전후의 피부 상태를 비교한 결과는 피부 변화가 가장 큰 항목에 대해서 요약적으로 제공될 수도 있다. 예를 들어, 피부 시술 등의 이벤트 전후로 다른 분석 항목과 비교하여 기미가 두드러지게 개선된 경우에 도 12a에 도시된 바와 같이 "기미가 개선되었습니다"와 같은 텍스트 형태의 메시지(1210)를 제공할 수 있다.

또는, 해외 여행 등의 이벤트 전후로 다른 분석 항목과 비교하여 여드름이 두드러지게 증가한 경우에 "여드름이 증가하였습니다"와 같은 텍스트 형태의 메시지(1220)를 제공할 수 있다. 이에 따라 기기를 다루는데 익숙치 않은 사용자라 하더라도 한눈에 자신의 피부 변화를 인지할 수 있게 된다.

예를 들어, 도 12a 및 도 12b에 도시된 바와 같은 UI 화면은 도 6 하측에 도시된 사용자 얼굴의 피부 상태를 비교하는 UI 화면(630) 이후에 기설정된 이벤트(예를 들어, 사용자 명령 입력, 기설정된 시간 경과)에 따라 제공되거나, 해당 UI 화면(530)을 대체하여 제공될 수 있다.

도 13a 내지 도 13c는 본 발명의 다른 실시 예에 따른 피부 분석 결과를 제공하는 방법을 설명하기 위한 도면들이다.

본 발명의 다른 실시 예에 따르면, 피부 관련 이벤트 전후의 피부 상태를 비교한 결과는 각 분석 항목 별로 세부적으로 제공될 수도 있다.

예를 들어, 도 13a에 도시된 바와 같이 피부 관련 이벤트 전후의 피부 상태를 비교하는 UI 화면(1210)에서, 기설정된 이벤트(예를 들어, 사용자 명령, 배치 모드 변경 등)가 입력되면, 이벤트 전후의 피부 변화 상태를 피부톤(1321), 여드름(1322), 주름(1323), 색소 침착(1324), 모공(1325) 등과 같은 다양한 분석 항목으로 나타내는 UI 화면(1320)을 제공할 수 있다.

본 발명의 또 다른 실시 예에 따르면, 피부 관련 이벤트 전후의 피부 상태를 비교한 결과에 따라 권장 스킨 케어, 권장 화장품 정보, 특정 화장품에 대한 광고 정보 등을 제공할 수 있다.

일 예로, 도 13b에 도시된 바와 같이 도 13b에 도시된 바와 같이 피부 관련 이벤트 전후의 피부 상태를 비교하는 UI 화면(1210)에서, 기설정된 이벤트(예를 들어, 사용자 명령, 배치 모드 변경 등)가 입력되면, 피부 변화 상태에 따른 권장 스킨 케어 정보를 제공하는 UI 화면(1340)을 제공할 수 있다. 예를 들어, 해당 이벤트 전후에 눈가 주름이 많이 증가한 경우 눈가 케어를 위한 다양한 추천 정보(1341, 1342, 1343)를 포함하는 UI 화면을 제공할 수 있다. 예를 들어, 눈가 케어를 위한 화장품을 추천하는 경우 화장품을 판매량, 인기 순위, 평점 등에 기초하여 추천하거나, 해당 화장품 구매가 가능한 사이트로 바로 링크하는 항목들(1341a 내지 1341c)이 UI 화면에 포함될 수 있다.

다른 예로, 도 13c에 도시된 바와 같이 피부 관련 이벤트 전후의 피부 상태를 비교하는 UI 화면(1210)에서, 기설정된 이벤트(예를 들어, 사용자 명령, 배치 모드 변경 등)가 입력되면, 피부 변화 상태에 따른 특정 화장품, 피부과 등의 광고 정보를 제공하는 UI 화면(1360)을 제공할 수 있다. 예를 들어, 해당 이벤트 전후에 여드름이 많이 증가한 경우, 여드름을 개선시킬 수 있는 제품을 광고하는 광고 화면(1360)을 제공할 수 있다. 이 경우, 광고 화면(1360)은 여드름 치료제에 대한 광고 또는 여드름 치료제에 대한 설명 화면으로 전환되는 자세히 보기 버튼(1361)을 포함할 수 있다. 예를 들어, 해당 제품을 판매하는 회사와의 계약, 특정 피부과와의 계약 등에 따른 광고 정보를 제공할 수도 있다.

도 14a 및 도 14b, 도 15a 및 도 15b는 본 발명의 또 다른 실시 예에 따른 피부 분석 결과를 제공하는 방법을 설명하기 위한 도면들이다.

본 발명의 또 다른 실시 예에 따르면, 피부 관련 이벤트 전후의 피부 상태를 비교하는 UI 화면은 다양한 형태로 제공될 수 있다.

일 예로, 도 14a에 도시된 바와 같은 특정 피부 관련 이벤트 전후의 사진 컨텐츠들(1411, 1412)을 포함하는 UI 화면(1410)이 제공된 상태에서 해당 사진 컨텐츠들(1411, 1412) 중 적어도 하나에서 특정 부위(예를 들어, 볼 영역)을 선택하거나, 확대하는 사용자 명령이 입력되면, 도 14b에 도시된 바와 같해당 영역을 확대하여 제공하거나, 해당 부위가 세부 촬영된 컨텐츠를 새로 디스플레이할 수 있다. 이 경우, 확대되거나, 세부 촬영된 컨텐츠에는 해당 부위에 대한 세부 정보(예를 들어, 여드름 개수, 여드름 색깔 등)가 자세히 포함될 수 있다.

다른 예로, 도 15a에 도시된 바와 같은 특정 피부 관련 이벤트 전후의 사진 컨텐츠들(1511, 1512)을 포함하는 UI 화면(1510)이 제공된 상태에서 해당 사진 컨텐츠들(1511, 1512) 중 적어도 하나에서 눈 부위를 선택하거나, 확대하는 사용자 명령이 입력되면, 도 15b에 도시된 바와 눈 부위를 확대하여 제공하거나, 눈 부위가 세부 촬영된 컨텐츠를 새로 디스플레이할 수 있다. 이 경우, 확대되거나, 세부 촬영된 컨텐츠에는 해당 눈 부위에 대한 세부 정보(예를 들어, 다크 써클 정도 등)가 자세히 포함될 수 있다.

도 16a 내지 도 16c, 도 17은 본 발명의 다양한 실시 예에 따라 프리뷰 화면에서 제공되는 UI를 설명하기 위한 도면들이다.

도 16a는 기 등록된 사용자 얼굴 사진이 없는 경우 사진 촬영을 위한 프리뷰 화면 또는 사진 촬영 직후 화면에서 제공되는 UI 화면을 나타내는 도면이다.

예를 들어, 프로세서(120)는 촬영 이미지에 포함된 얼굴이 사용자 본인 얼굴인지 물어보면서, 앞으로 이 얼굴을 기준으로 비교하여 피부 변화를 관리하겠다는 노티를 제공할 수 있다. 또한, 프로세서(120)는 사용자가 본인 얼굴로 확인하는 명령을 입력하면, 해당 얼굴을 사용자 얼굴로 등록하고 피부 분석/변화의 관리 대상용 영상으로 저장할 수 있다. 한편, UI 화면에는 화장한 얼굴인지, 민낯인지를 선택하기 위한 UI 버튼(1611, 1612)가 제공되고 해당 항목을 필수 항목으로 설정하거나, 사용자 설정에 따라 필수 항목에서 제외시킬 수도 있다.

도 16b는 프리뷰 이미지 또는 촬영 이미지에 포함된 얼굴이 기 등록된 사용자 얼굴과 일치하지 않는 경우에 제공되는 UI 화면을 나타내는 도면이다.

예를 들어, 프로세서(120)는 프리뷰 화면에 검출된 1개의 얼굴이 등록된 사용자 얼굴과 불일치 하는 경우 본인 여부 확인하는 UI 버튼(1613)을 추가로 디스플레이할 수 있다. 이 경우, 프로세서(120)는 해당 UI 버튼(1613)이 선택된 경우에만 해당 사진이 저장되도록 하거나, 해당 사진이 피부 분석 대상으로 저장되도록 할 수 있다. 경우에 따라서는 셔터 버튼을 클릭된 상태로 제공하여 셔터 버튼이 클릭되지 않더라도 해당 UI 버튼(1613)의 클릭만으로 사진 촬영이 이루어지도록 할 수 있다.

도 16c는 프리뷰 이미지 또는 촬영 이미지에 포함된 얼굴이 기 등록된 사용자 얼굴과 일치하는 경우에 제공되는 UI 화면을 나타내는 도면이다.

예를 들어, 프로세서(120)는 프리뷰 화면에 검출된 1개의 얼굴이 등록된 사용자 얼굴과 일치하는 경우에는 화장한 얼굴인지, 민낯인지를 선택하기 위한 UI 버튼(1611, 1612) 만을 제공할 수 있다. 경우에 따라서는 셔터 버튼을 클릭된 상태로 제공하여 셔터 버튼이 클릭되지 않더라도 해당 UI 버튼(1611, 1612)의 클릭만으로 사진 촬영이 이루어지도록 할 수 있다.

도 17은 프리뷰 이미지 또는 촬영 이미지에 복수의 얼굴이 검출되는 경우에 제공되는 UI 화면을 나타내는 도면이다.

예를 들어, 프로세서(120)는 프리뷰 화면에 복수의 얼굴이 검출되고, 그 중 하나의 얼굴이 등록된 사용자 얼굴과 일치하는 경우 등록된 사용자 얼굴과 일치하는 얼굴이 표시된 영역에만 화장한 얼굴인지, 민낯 인지를 선택하기 위한 UI 버튼(1711, 1712)을 제공할 수 있다. 경우에 따라서는 셔터 버튼을 클릭된 상태로 제공하여 셔터 버튼이 클릭되지 않더라도 해당 UI 버튼(1611, 1612)의 클릭만으로 사진 촬영이 이루어지도록 할 수 있다.

또한, 프로세서(120)는 프리뷰 화면에 복수의 얼굴이 검출되고, 복수의 얼굴 모두 등록된 사용자 얼굴과 일치하지 않는 경우에는 본인 얼굴을 선택하기 위한 UI 버튼(1713, 1714)를 추가로 디스플레이할 수 있다.

또한, 프로세서(120)는 프리뷰 화면에 복수의 얼굴이 검출되고, 그 중 하나의 얼굴이 등록된 사용자 얼굴과 일치하는 경우에도 본인 얼굴을 선택하기 위한 UI 버튼(1713, 1714)를 디스플레이할 수 있으며, 이 경우 해당 버튼 중 하나를 클릭된 상태로 디스플레이하여 해당 버튼들이 별도로 선택될 필요가 없도록 할 수도 있다.

도 18은 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

도 18에 도시된 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법에 따르면, 사용자 명령이 수신되면(S1810), 사용자 얼굴을 포함하는 복수의 사진 컨텐츠를 촬영 시점에 기초하여, 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이한다(S1820).

또한, 본 발명의 일 실시 예에 따른 제어 방법은, 사용자 명령에 따라, 기설정된 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제1 사진 컨텐츠가 선택되고, 기설정된 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 제2 사진 컨텐츠가 선택되면, 선택된 제1 및 제2 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공하는 단계를 더 포함할 수 있다.

또한, 1820 단계에서는, 기설정된 이벤트를 나타내는 GUI를 기설정된 이벤트가 발생된 시점 전후에 촬영된 사진 컨텐츠 사이에 디스플레이하여, 복수의 사진 컨텐츠를 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이할 수 있다.

또한, 본 발명의 일 실시 예에 따른 제어 방법은, 사용자 명령에 따라 GUI가 선택되면, 기설정된 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제3 사진 컨텐츠를 선택하고, 기설정된 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 제3 사진 컨텐츠와 촬영 조건이 유사한 제4 사진 컨텐츠를 선택한 후, 선택된 제3 및 제4 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공하는 단계를 더 포함할 수 있다.

여기서, 촬영 조건은, 사용자의 얼굴 크기, 사용자의 얼굴 각도, 촬영 조명, 민낯 여부, 액세서리 착용 여부 및 중 적어도 하나를 포함할 수 있다.

또한, 피부와 관련된 기설정된 이벤트는, 피부 관리 이벤트, 피부 시술 이벤트, 피부와 관련된 상품 구매 이벤트, 피부에 영향을 주는 지역 변경과 관련된 이벤트, 피부에 영향을 주는 날씨와 관련된 이벤트, 피부에 영향을 주는 음식 섭취와 관련된 이벤트, 및 휴가 이벤트 중 적어도 하나를 포함할 수 있다.

또한, 본 발명의 일 실시 예에 따른 제어 방법은, 기설정된 캘린더에 입력된 피부 관련 이벤트, 문자 메시지에 포함된 피부 관련 이벤트, GPS 정보, 사용자에 의해 입력되거나 사진 컨텐츠에 포함된 음식 관련 정보 중 적어도 하나에 기초하여 상기 기설정된 이벤트를 판단하는 단계를 더 포함할 수 있다.

또한, S1820 단계에서는, 복수의 사진 컨텐츠를 포함하는 갤러리 화면에서 피부 모드가 선택되면, 피부 분석이 수행된 사진 컨텐츠 만을 필터링하여 상기 피부 관리와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이할 수 있다.

또한, S1820 단계에서는, 갤러리 화면에서 복수의 사진 컨텐츠 중 피부 분석이 수행된 사진 컨텐츠에 나머지 사진 컨텐츠와 식별하기 위한 GUI를 부가하여 디스플레이할 수 있다.

또한, 본 발명의 일 실시 예에 따른 제어 방법은, 사진 촬영을 위한 프리뷰 화면에 적어도 하나의 얼굴이 검출되는 경우, 기 등록된 사용자 얼굴과의 일치 여부에 따른 메뉴 버튼 및 화장 여부에 따른 메뉴 버튼 중 적어도 하나를 디스플레이하는 단계를 더 포함할 수 있다.

도 19는 본 발명의 다양한 실시 예에 따른 네트워크 환경의 일 예를 도시한 도면이다.

도 19를 참조하면, 본 발명의 일 실시 예에 따른 네트워크 환경(1900)은 적어도 하나의 디스플레이 장치(1901, 1904) 및 서버(1906)를 포함할 수 있으며, 적어도 하나의 디스플레이 장치(1901, 1904)와 서버(1906)는 네트워크(1962)를 통해 연결될 수 있다.

디스플레이 장치(1901)는 버스(1910), 프로세서(1920), 메모리(1930), 입출력 인터페이스(1940), 디스플레이(1950), 통신 인터페이스(1960) 및 카메라 모듈(1970)을 포함할 수 있다. 버스(1910)는 전술한 구성요소들을 서로 연결하고, 전술한 구 성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다. 프로세서(1920)는, 예를 들면, 버스(1910)를 통해 전술한 다른 구성요소들(예: 메모리(1930), 입출력 인터페이스(1940), 디스플레이(1950), 통신 인터페이스(1960), 또는 카메라 모듈(1970) 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.

프로세서(1920)는 전반적인 디스플레이 장치(1901)의 동작을 제어할 수 있다. 본 발명의 다양한 실시 예에 따라, 프로세서(1920)는 적어도 하나의 프로세서(예를 들어, 도 2a의 프로세서(120))를 포함할 수 있다.

메모리(1930)는, 프로세서(1920) 또는 다른 구성요소들부터 수신되거나 프로세서(1920) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 예를 들면, 메모리(1930)는, 커널(1931), 미들웨어(1932), 어플리케이션 프로그래밍 인터페이스(API: application programming interface)(1933) 또는 어플리케이션(1934) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.

커널(1931)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 미들웨어(1932), API(1933) 또는 어플리케이션(1934)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(1910), 프로세서(1920) 또는 메모리(1930) 등)을 제어 또는 관리할 수 있다. 또한, 커널(1931)은 미들웨어(1932), API(1933) 또는 어플리케이션(1934)에서 디스플레이 장치(1901)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.

미들웨어(1932)는 API(1933) 또는 어플리케이션(1934)이 커널(1931)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(1932)는 어플리케이션(1934)으로부터 수신된 작업 요청들과 관련하여, 예를 들면, 어플리케이션(1934) 중 적어도 하나의 어플리케이션에 디스플레이 장치(1901)의 시스템 리소스(예: 버스(1910), 프로세서(1920) 또는 메모리(1930) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링 또는로드 밸런싱)을 수행할 수 있다.

API(1933)는 어플리케이션(1934)이 커널(1931) 또는 미들웨어(1932)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.

다양한 실시 예에 따르면, 어플리케이션(1934)은 SMS/MMS 어플리케이션, 캘린더 어플리케이션, 알람 어플리케이션, 이메일 어플리케이션, 건강 관리(health care) 어플리케이션(예: 운동량 또는 혈당 등을 측정하는 어플리케이션) 또는 환경 정보 어플리케이션(예: 기압, 습도 또는 온도 정보 등을 제공하는 어플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대체적으로, 어플리케이션(1934)은 상기 디스플레이 장치(1901)와 외부 전자 장치(예: 디스플레이 장치(1904)) 사이의 정보 교환과 관련된 어플리케이션일 수 있다. 정보 교환과 관련된 어플리케이션은, 예를 들어, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 상기 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다. 경우에 따라 어플리케이션(1934)은 본 발명의 일 실시 예에 따른 피부 관리 및 분석 서비스를 제공하기 위해 별도로 제작된 어플리케이션을 포함할 수 있다.

입출력 인터페이스(1940)는, 입출력 장치(예: 센서, 키보드 또는 터치 스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 버스(1910)를 통해 상기 프로세서(1920), 메모리(1930), 통신 인터페이스(1960), 또는 카메라 모듈(1970)에 전달할 수 있다. 예를 들면, 입출력 인터페이스(1940)는 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 프로세서(1920)로 제공할 수 있다. 또한, 입출력 인터페이스(1940)는, 예를 들면, 버스(1910)을 통해 프로세서(1920), 메모리(1930), 통신 인터페이스(1960), 또는 카메라 모듈(1970)로부터 수신된 명령 또는 데이터를 입출력 장치(예: 스피커 또는 디스플레이)를 통하여 출력할 수 있다. 예를 들면, 입출력 인터페이스(1940)는 프로세서(1920)를 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다. 디스플레이(1950)는 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다. 통신 인터페이스(1960)는 디스플레이 장치(1901)와 외부 장치(예: 디스플레이 장치(1904) 또는 서버(1906)) 간의 통신을 연결할 수 있다. 예를 들면, 통신 인터페이스(1960)는 무선 통신 또는 유선 통신을 통해서 네트워크(1962)에 연결되어 상기 외부 장치와 통신할 수 있다. 상기 무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.

카메라 모듈(1970)은, 다른 구성요소들(예: 프로세서(1920), 메모리(1930), 입출력 인터페이스(1940), 또는 통신 인터페이스(1960) 등)로부터 획득된 정보에 의해 제어됨에 따라, 촬영중인 이미지를 줌시켜 특정 영역을 확대 혹은 세부 촬영할 수 있다.

일 실시 예에 따르면, 네트워크(1962)는 통신 네트워크(telecommunications network)일 수 있다. 통신 네트워크는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 장치(1901)와 외부 장치 간의 통신을 위한 프로토콜(예: transportlayer protocol, data link layer protocol 또는 physical layer protocol)은 어플리케이션(1934), API(1933), 상기 미들웨어(1932), 커널(1931) 또는 통신 인터페이스(1960) 중 적어도 하나에서 지원될 수 있다.

본 발명의 다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 명령어는, 하나 이상의 프로세서(또는 제어부)에 의해 실행될 경우, 하나 이상의 프로세서가 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 저장부 혹은 메모리가 될 수 있다. 프로그래밍 모듈의 적어도 일부는, 예를 들면, 프로세서에 의해 구현(implement)(예: 실행)될 수 있다. 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.

컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.

본 발명의 다양한 실시 예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시 예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

다양한 실시 예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 적어도 하나의 동작은, 작을 포함할 수 있다.

그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명 의 실시 예에 따른 발명의 기술 내용을 쉽게 설명하고 본 발명의 실시 예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시 예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시 예의 범위는 여기에 개시된 다양한 실시 예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 적어도 하나의 동작은, 사용자 명령이 수신되면, 사용자 얼굴을 포함하는 복수의 사진 컨텐츠를 촬영 시점에 기초하여, 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이하는 동작을 포함할 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 디스플레이 장치 110: 디스플레이
120: 프로세서

Claims

사용자 얼굴을 포함하는 복수의 사진 컨텐츠를 포함하는 화면을 디스플레이하는 디스플레이; 및
피부 분석 기능을 수행하는 피부 서비스 어플리케이션을 제공하는 프로세서;를 포함하고,
상기 프로세서는,
사용자 명령에 따라 상기 피부 서비스 어플리케이션 또는 메뉴의 피부 항목 중 적어도 하나가 선택되면, 상기 복수의 사진 컨텐츠 중 피부 분석이 수행된 사진 컨텐츠를 필터링하고,
상기 복수의 사진 컨텐츠의 촬영 시점에 기초하여, 상기 필터링된 피부 분석이 수행된 사진 컨텐츠를 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이하도록 상기 디스플레이를 제어하는, 디스플레이 장치.
제1항에 있어서,
사용자 명령을 입력받는 사용자 인터페이스부;를 더 포함하며,
상기 프로세서는,
상기 사용자 명령에 따라, 상기 기설정된 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제1 사진 컨텐츠가 선택되고, 상기 기설정된 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 제2 사진 컨텐츠가 선택되면, 상기 선택된 제1 및 제2 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 기설정된 이벤트를 나타내는 GUI를 상기 기설정된 이벤트가 발생된 시점 전후에 촬영된 사진 컨텐츠 사이에 디스플레이하여, 상기 복수의 사진 컨텐츠를 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
제3항에 있어서,
사용자 명령을 입력받는 사용자 인터페이스부;를 더 포함하며,
상기 프로세서는,
상기 사용자 명령에 따라 상기 GUI가 선택되면, 상기 기설정된 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제3 사진 컨텐츠를 선택하고, 상기 기설정된 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 상기 제3 사진 컨텐츠와 촬영 조건이 유사한 제4 사진 컨텐츠를 선택한 후, 상기 선택된 제3 및 제4 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공하는 것을 특징으로 하는 디스플레이 장치.
제4항에 있어서,
상기 촬영 조건은,
사용자의 얼굴 크기, 사용자의 얼굴 각도, 사용자의 얼굴 표정, 민낯 여부, 액세서리 착용 여부 및 촬영 조명 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서,
상기 피부와 관련된 기설정된 이벤트는,
피부 관리 이벤트, 피부 시술 이벤트, 피부와 관련된 상품 구매 이벤트, 피부에 영향을 주는 지역 변경과 관련된 이벤트, 피부에 영향을 주는 날씨와 관련된 이벤트, 피부에 영향을 주는 음식 섭취와 관련된 이벤트, 및 휴가 이벤트 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
기설정된 캘린더에 입력된 피부 관련 이벤트, 문자 메시지에 포함된 피부 관련 이벤트, GPS 정보 및 사진 컨텐츠에 포함되거나, 사용자에 의해 입력된 음식 관련 정보 중 적어도 하나에 기초하여 상기 기설정된 이벤트를 판단하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
복수의 사진 컨텐츠를 포함하는 갤러리 화면에서 피부 모드가 선택되면, 상기 필터링된 피부 분석이 수행된 사진 컨텐츠를 상기 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
제8항에 있어서,
상기 프로세서는,
상기 갤러리 화면에서 상기 복수의 사진 컨텐츠 중 상기 피부 분석이 수행된 사진 컨텐츠에 나머지 사진 컨텐츠와 식별하기 위한 GUI를 부가하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
사진 촬영을 위한 프리뷰 화면에 적어도 하나의 얼굴이 검출되는 경우, 기 등록된 사용자 얼굴과의 일치 여부에 따른 메뉴 버튼 및 화장 여부에 따른 메뉴 버튼 중 적어도 하나를 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
디스플레이 장치의 제어 방법에 있어서,
사용자 얼굴을 포함하는 복수의 사진 컨텐츠를 표시하는 단계;
사용자 명령에 따라 피부 분석 기능을 수행하는 피부 서비스 어플리케이션 또는 메뉴의 피부 항목 중 적어도 하나가 선택되면, 상기 복수의 사진 컨텐츠 중 피부 분석이 수행된 사진 컨텐츠를 필터링하는 단계; 및
상기 복수의 사진 컨텐츠를 촬영 시점에 기초하여, 상기 필터링된 피부 분석이 수행된 사진 컨텐츠를 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이하는 단계;를 포함하는 제어 방법.
제11항에 있어서,
사용자 명령에 따라, 상기 기설정된 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제1 사진 컨텐츠가 선택되고, 상기 기설정된 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 제2 사진 컨텐츠가 선택되면, 상기 선택된 제1 및 제2 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
제11항에 있어서,
상기 디스플레이하는 단계는,
상기 기설정된 이벤트를 나타내는 GUI를 상기 기설정된 이벤트가 발생된 시점 전후에 촬영된 사진 컨텐츠 사이에 디스플레이하여, 상기 복수의 사진 컨텐츠를 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이하는 것을 특징으로 하는 제어 방법.
제13항에 있어서,
사용자 명령에 따라 상기 GUI가 선택되면, 상기 기설정된 이벤트가 발생된 시점 이전에 촬영된 사진 컨텐츠 중 제3 사진 컨텐츠를 선택하고, 상기 기설정된 이벤트가 발생된 시점 이후에 촬영된 사진 컨텐츠 중 상기 제3 사진 컨텐츠와 촬영 조건이 유사한 제4 사진 컨텐츠를 선택한 후, 상기 선택된 제3 및 제4 사진 컨텐츠 각각에 포함된 사용자 얼굴의 피부 상태를 비교하는 UI 화면을 제공하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
제14항에 있어서,
상기 촬영 조건은,
사용자의 얼굴 크기, 사용자의 얼굴 각도, 민낯 여부, 액세서리 착용 여부 및 촬영 조명 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
제11항에 있어서,
상기 피부와 관련된 기설정된 이벤트는,
피부 관리 이벤트, 피부 시술 이벤트, 피부와 관련된 상품 구매 이벤트, 피부에 영향을 주는 지역 변경과 관련된 이벤트, 피부에 영향을 주는 날씨와 관련된 이벤트, 피부에 영향을 주는 음식 섭취와 관련된 이벤트, 및 휴가 이벤트 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
제11항에 있어서,
기설정된 캘린더에 입력된 피부 관련 이벤트, 문자 메시지에 포함된 피부 관련 이벤트, GPS 정보 및 사진 컨텐츠에 포함되거나, 사용자에 의해 입력된 음식 관련 정보 중 적어도 하나에 기초하여 상기 기설정된 이벤트를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
제11항에 있어서,
상기 디스플레이하는 단계는,
복수의 사진 컨텐츠를 포함하는 갤러리 화면에서 피부 모드가 선택되면, 상기 필터링된 피부 분석이 수행된 사진 컨텐츠를 상기 피부와 관련된 기설정된 이벤트가 발생된 시점을 기준으로 구분하여 디스플레이하는 것을 특징으로 하는 제어 방법.
제18항에 있어서,
상기 디스플레이하는 단계는,
상기 갤러리 화면에서 상기 복수의 사진 컨텐츠 중 상기 피부 분석이 수행된 사진 컨텐츠에 나머지 사진 컨텐츠와 식별하기 위한 GUI를 부가하여 디스플레이하는 것을 특징으로 하는 제어 방법.
제11항에 있어서,
사진 촬영을 위한 프리뷰 화면에 적어도 하나의 얼굴이 검출되는 경우, 기 등록된 사용자 얼굴과의 일치 여부에 따른 메뉴 버튼 및 화장 여부에 따른 메뉴 버튼 중 적어도 하나를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.