KR102372524B1 - System for buying service of cosmetic object and applying selective makeup effect - Google Patents
System for buying service of cosmetic object and applying selective makeup effect Download PDFInfo
- Publication number
- KR102372524B1 KR102372524B1 KR1020210038350A KR20210038350A KR102372524B1 KR 102372524 B1 KR102372524 B1 KR 102372524B1 KR 1020210038350 A KR1020210038350 A KR 1020210038350A KR 20210038350 A KR20210038350 A KR 20210038350A KR 102372524 B1 KR102372524 B1 KR 102372524B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- information
- user
- cosmetic
- selectively
- Prior art date
Links
- 239000002537 cosmetic Substances 0.000 title claims abstract description 169
- 230000000694 effects Effects 0.000 title claims abstract description 92
- 230000001815 facial effect Effects 0.000 claims abstract description 107
- 238000012358 sourcing Methods 0.000 claims abstract description 35
- 230000009471 action Effects 0.000 claims description 27
- 210000001508 eye Anatomy 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 15
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 210000001061 forehead Anatomy 0.000 claims description 9
- 210000003800 pharynx Anatomy 0.000 claims description 8
- 238000007493 shaping process Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000009472 formulation Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 5
- 239000004615 ingredient Substances 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 239000003205 fragrance Substances 0.000 claims description 4
- 206010014970 Ephelides Diseases 0.000 claims description 3
- 208000003351 Melanosis Diseases 0.000 claims description 3
- 239000011148 porous material Substances 0.000 claims description 3
- 208000002874 Acne Vulgaris Diseases 0.000 claims description 2
- 208000032544 Cicatrix Diseases 0.000 claims description 2
- 206010000496 acne Diseases 0.000 claims description 2
- 231100000241 scar Toxicity 0.000 claims description 2
- 230000037387 scars Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 22
- 210000000214 mouth Anatomy 0.000 description 18
- 210000003491 skin Anatomy 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000003796 beauty Effects 0.000 description 8
- 210000003467 cheek Anatomy 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 6
- 210000000216 zygoma Anatomy 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 4
- 210000000720 eyelash Anatomy 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 235000014653 Carica parviflora Nutrition 0.000 description 3
- 244000132059 Carica parviflora Species 0.000 description 3
- 238000007634 remodeling Methods 0.000 description 3
- 239000006071 cream Substances 0.000 description 2
- 239000007934 lip balm Substances 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 241001237961 Amanita rubescens Species 0.000 description 1
- 241000675108 Citrus tangerina Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Computer Graphics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템에 관한 것으로서, 유저의 페이스 영역을 선택적으로 검출하는 레코그니션 유닛; 검출된 유저의 페이스 영역으로부터 유저의 페이셜 파트를 개별적으로 추출하는 익스트랙팅 유닛; 추출된 유저의 페이셜 파트 각각에 소정의 이펙트를 선택적으로 적용하는 이펙팅 유닛; 외부 서버로부터 코스메틱 오브젝트를 소싱하여 선택적으로 제공하는 오브젝트 소싱 유닛; 및 코스메틱 오브젝트를 판매하는 외부의 스토어 서버와 상호 연동되어, 유저가 코스메틱 오브젝트를 선택적으로 구매할 수 있도록 하는 오브젝트 바잉 유닛을 포함하는 기술적 사상을 개시한다.The present invention relates to a system for providing a service for selectively applying a makeup effect and buying a cosmetic object, comprising: a registration unit for selectively detecting a user's face area; an extracting unit that individually extracts the user's facial parts from the detected user's face regions; an effecting unit for selectively applying a predetermined effect to each of the extracted user's facial parts; an object sourcing unit for sourcing and selectively providing cosmetic objects from an external server; and an object buying unit that interacts with an external store server that sells cosmetic objects to allow a user to selectively purchase cosmetic objects.
Description
본 발명은 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템에 관한 것이다. 보다 자세하게는, 유저의 단말기로 촬영된 유저의 영상 또는 셀카 영상으로부터, 유저의 페이스를 인식하고 유저의 페이셜 파트 각각에 코스메틱 오브젝트를 선택적으로 적용하여 실제 뷰티 메이크업과 동일한 효과를 얻으며, 적용한 코스메틱 오브젝트를 구매할 수 있도록 하는 시스템에 관한 기술분야이다.The present invention relates to a system for selectively applying a makeup effect and providing a buying service of a cosmetic object. More specifically, from the user's image or selfie image taken with the user's terminal, the user's face is recognized and the cosmetic object is selectively applied to each of the user's facial parts to obtain the same effect as the actual beauty makeup, and the applied cosmetic object It is a technical field related to a system that can be purchased.
안면 인식 시스템(facial recognition system)은 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 말한다. 이는 살아 있는 이미지에 나타나는 선택된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 이루어진다.A facial recognition system refers to a computer-aided application that automatically identifies each person through a digital image. This is done by comparing selected facial features appearing in the live image with a facial database.
안면 인식 기술은 AI기반의 생체인식 기술로서 사진이나 영상으로부터 얼굴의 특징적인 형상을 인식하여 데이터베이스에 저장하며, 이를 비교 분석하여 안면을 식별하는 기술이다. Face recognition technology is an AI-based biometric technology that recognizes a characteristic shape of a face from a photo or video, stores it in a database, and identifies a face by comparing and analyzing it.
최근에는 안면인식 기술을 활용한 분야가 뷰티 업계에서 활성화되고 있다. 특히, 뷰티 테크의 핵심이 되는 안면 인식 기술은 사람들의 안면 기능의 위치를 감지해, 헤어스타일이나 컨투어링 등 여러 가지 변화된 모습을 보여준다. 이러한 기술은 사람들이 더욱 더 정교하고 과학적으로 뷰티 트렌드에 접근할 수 있도록 한다.Recently, the field using facial recognition technology has been revitalized in the beauty industry. In particular, facial recognition technology, which is the core of beauty technology, detects the location of people's facial functions and shows various changes such as hairstyles and contouring. These technologies allow people to access beauty trends more sophisticated and scientifically.
이와 관련된 선행 특허문헌의 예로서 “증강된 화장 서비스 제공 방법 (등록번호 제10-2158233호, 이하 특허문헌1라 한다.)”이 존재한다.As an example of a related prior patent document, "method of providing enhanced cosmetic service (registration number 10-2158233, hereinafter referred to as patent document 1)" exists.
특허문헌1에 따른 발명의 경우, 사용자 무선단말의 앱이 사용자 무선단말의 카메라부의 자동초점 촬영 상태에서 입력되는 영상데이터에 포함된 하나 이상의 화상데이터를 판독하여 화장할 사용자 안면에 대응하는 안면 영역을 인식하고, 사용자 무선단말의 앱이 인식된 안면 영역에 형성된 사용자 안면의 기하학 구조를 해석한 사용자 안면 기하학구조 정보를 생성하여 지정된 저장영역에 저장하고, 사용자 안면 기하학 구조 상의 거리 산출을 위해 특정가능한 둘 이상의 특징 점을 결정하고, 카메라부의 자동초점 과정에서 자동 결정된 초점거리와 화상데이터 상의 둘 이상 특정 점 간 픽셀 거리와 무선단말에 구비된 카메라 스펙 정보 중 하나 이상의 정보를 지정된 산출식의 입력값으로 대입하여 둘 이상의 특정 점 간 거리를 포함하는 사용자 안면 기하학 구조에 대한 현실세계와 일대일 축적의 사용자 안면 수치 정보를 결정하고, 사용자 무선단말의 앱이 사용자 안면 기하학 구조 정보와 사용자 안면 수치 정보를 지정된 운영서버로 전송하면, 운영서버에서 사용자 안면 기하학 구조 정보와 사용자 안면 수치 정보를 수신하고, 운영서버에서 사용자 안면 기하학 구조 정보와 일대일 축적의 사용자 안면 수치 정보를 이용하여 사용자의 실제 안면과 일대일 매칭되는 사용자 전용 화장의 3D 모델링 데이터를 생성하고, 운영서버에서 사용자의 실제 안면에 일대일 매칭시켜 생성된 사용자 전용 모델링 데이터에 지정된 화장을 적용하여 생성된 사용자 전용 화장 데이터를 확인하고, 운영서버에서 사용자 무선단말의 앱으로 사용자 전용 화장 데이터를 제공하면, 사용자 무선단말의 앱이 사용자 전용 화장 데이터를 수신하여 지정된 저장영역에 저장하고, 사용자 무선단말의 앱이 지정된 저장영역에 저장된 사용자 안면 기하학 구조 정보를 근거로 카메라부를 통해 입력되는 영상데이터에 포함된 화상데이터를 판독하여 영상데이터에 존재하는 사용자의 안면 영역을 실시간 인식하며, 사용자 무선단말의 앱이 영상데이터에 존재하는 사용자의 안면 영역을 실시간 인식한 경우 영상데이터 상에서 인식된 사용자의 안면 영역에 사용자 전용 화장 데이터를 중첩 표시하여 사용자의 안면을 증강한다.In the case of the invention according to Patent Document 1, the app of the user wireless terminal reads one or more image data included in the image data input in the auto-focus shooting state of the camera unit of the user wireless terminal, and selects a facial area corresponding to the user's face to be put on makeup. Recognizes, generates and stores user facial geometry information that interprets the geometry of the user's face formed in the recognized facial area by the app of the user's wireless terminal, and stores it in a designated storage area. The above characteristic points are determined, and one or more of the focal length automatically determined in the autofocus process of the camera unit, the pixel distance between two or more specific points on the image data, and the camera specification information provided in the wireless terminal are substituted into the input value of the specified calculation formula. to determine the real-world and one-to-one accumulation of user facial numerical information about the user's facial geometry including the distance between two or more specific points, and the app of the user's wireless terminal stores the user's facial geometry information and the user's facial numerical information to the specified operating server When transmitted to, it receives user facial geometry information and user facial numerical information from the operation server, and uses the user facial geometry information and one-to-one accumulated user facial numerical information from the operation server to only match the user's real face one-to-one 3D modeling data of makeup is generated, and the user-only makeup data generated by applying the specified makeup to the user-only modeling data created by matching the user's actual face one-to-one in the operation server is checked, and the application of the user's wireless terminal in the operation server When the user-only makeup data is provided by the user-specific makeup data, the app of the user wireless terminal receives the user-only makeup data and stores it in the designated storage area, and based on the user's facial geometry information stored in the designated storage area, the user's wireless terminal app receives the user-only makeup data and uses the camera unit. By reading the image data included in the image data input through The user's face is augmented by superimposing user-only makeup data on the user's face area recognized on the image data.
또 다른 특허문헌의 예로서 “메이크업 시뮬레이션 시스템, 메이크업 시뮬레이션 장치, 메이크업 시뮬레이션 방법 및 메이크업 시뮬레이션프로그램 (등록번호 제10-1363691호, 이하 특허문헌2이라 한다.)”이 존재한다.As another example of patent literature, "makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program (Registration No. 10-1363691, hereinafter referred to as Patent Literature 2)" exist.
특허문헌2에 따른 발명의 경우, 사용자의 얼굴을 촬영한 동화상에 메이크업을 실시하는 메이크업 시뮬레이션 시스템이며, 사용자의 얼굴을 촬영하여 동화상을 출력하는 촬영수단과, 촬영수단으로부터 출력된 동영상을 수신하고, 동영상을 화상처리하여 출력하는 제어수단과, 제어수단으로부터 출력된 동영상을 표시하는 표시수단을 구비하며, 제어수단은, 동화상으로부터 사용자의 얼굴을 소정의 트랙킹 포인트에 근거하여 인식하는 얼굴인식 처리수단과, 트랙킹 포인트에 근거하여 동화상에 포함되는 사용자의 얼굴에 소정의 메이크업을 실시하여 표시수단으로 출력하는 메이크업 처리수단을 구비하는 것을 특징으로 한다.In the case of the invention according to Patent Document 2, it is a makeup simulation system that applies makeup to a moving image of a user's face, and a photographing means for photographing the user's face and outputting a moving image, and receiving the video output from the photographing means, A control means for image processing and outputting a video is provided, and a display means for displaying the video output from the control means, wherein the control means includes: a face recognition processing means for recognizing a user's face from the video image based on a predetermined tracking point; and makeup processing means for applying a predetermined makeup to the user's face included in the moving image based on the tracking point and outputting it to the display means.
또 다른 특허문헌의 예로서 “가상 미용체험 서비스 시스템 및 방법 (공개번호 제10-2012-0037712호, 이하 특허문헌3이라 한다.)”이 존재한다.As another example of the patent document, "Virtual beauty experience service system and method (Publication No. 10-2012-0037712, hereinafter referred to as Patent Document 3)" exists.
특허문헌3에 따른 발명의 경우, 얼굴인식기술을 통해 헤어스타일 및 메이크업을 가상 체험하기 위하여 얼굴의 특징점을 검출하고, 검출된 특징점의 기울기 정도에 따라 컨텐츠를 합성하여 시뮬레이션된 합성 영상데이터를 제공함으로써, 사용자는 기울어진 자신의 영상에 미리 헤어스타일 또는 메이크업을 시뮬레이션하여 자신에게 적합한 스타일을 선택할 수 있다.In the case of the invention according to Patent Document 3, by providing simulated synthetic image data by detecting feature points of a face in order to virtually experience hairstyle and makeup through facial recognition technology, and synthesizing contents according to the degree of inclination of the detected feature points. , the user can select a style suitable for them by simulating a hairstyle or makeup in advance on a tilted image of their own.
또 다른 특허문헌의 예로서 “3Ｄ 얼굴인식 시스템 및 방법 (공개번호 제10-2020-0098875호, 이하 특허문헌4이라 한다.)”이 존재한다.As another example of a patent document, "3D face recognition system and method (Publication No. 10-2020-0098875, hereinafter referred to as Patent Document 4)" exists.
특허문헌4에 따른 발명의 경우, 서비스를 통해 의뢰 영상을 입력하여, 의뢰 영상에 대한 얼굴 검색을 요청하는 검색 요청 단말기, 웹 서비스를 통해 얼굴 검색 요청을 접수하고, 의뢰 영상에 대하여 매칭 조건을 설정하여, 의뢰 영상에 대한 검색을 요청하는 검색 처리 단말기, 및 의뢰 영상에서 추출된 얼굴 영역으로부터 특징점을 추출하고 얼굴의 포즈 예측을 수행하여 생성한 예측 얼굴 포즈 정보와, 데이터베이스에 저장된 3차원 얼굴 모델링 정보를 이용한 3차원 얼굴 인식 과정에 따라 검색된 얼굴 관련 정보를 검색 처리 단말기로 전송하는 검색 서버부를 포함하며, 검색 처리 단말기는 웹 서비스를 통해 얼굴 관련 정보와 얼굴 관련 정보에 대한 감정서를 검색 요청 단말기로 전송한다.In the case of the invention according to Patent Document 4, a search request terminal that requests a face search for the requested image by inputting a requested image through a service, receives a face search request through a web service, and sets matching conditions for the requested image Thus, the search processing terminal requesting a search for the requested image, and the predicted face pose information generated by extracting feature points from the facial region extracted from the requested image and performing pose prediction of the face, and 3D face modeling information stored in the database and a search server unit for transmitting face-related information retrieved according to a three-dimensional face recognition process using do.
또 다른 특허문헌의 예로서 “영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법 및 그를 위한 장치 (등록번호 제10-2055262호, 이하 특허문헌5이라 한다.)”이 존재한다.As another example of a patent document, “a method for configuring a database for face recognition in video content and an apparatus therefor (registration number 10-2055262, hereinafter referred to as Patent Document 5)” exists.
특허문헌5에 따른 발명의 경우, 영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법 및 그를 위한 장치를 개시한다. 영상 컨텐츠의 영상 어노테이션(Annotation) 서비스를 제공하기 위하여 출연진 및 등장인물의 얼굴 이미지에서 특징정보를 추출하고, 특징정보에 대한 유사도를 기반으로 영상 컨텐츠 내 얼굴 인식을 위한 데이터베이스 구성 방법 및 그를 위한 장치에 관한 것이다.In the case of the invention according to Patent Document 5, a database configuration method for face recognition in image content and an apparatus therefor are disclosed. In order to provide a video annotation service of video content, feature information is extracted from the face images of cast members and characters, and a database configuration method for face recognition in video content based on the similarity to the feature information and a device for the same it's about
그러나, 기존의 특허문헌들의 경우, 단말기로부터 촬영되는 사진이나 영상으로부터 사용자의 얼굴을 인식하며, 인식된 얼굴 부위에 뷰티 효과를 적용하는 기술을 포함하지만, 이때, 적용되는 뷰티 효과는 인식된 얼굴 부위에 이미지 보정 필터나 컬러 필터를 입히는 한정된 기술적 사상만을 개시한다.However, in the case of existing patent documents, a technique for recognizing a user's face from a photo or image taken from a terminal and applying a beauty effect to the recognized face part is included, but in this case, the applied beauty effect is the recognized face part Only a limited technical idea of applying an image correction filter or color filter to the
또한, 기존의 특허문헌들에서는 얼굴 부위에 실제 코스메틱을 활용하여 뷰티 효과를 적용하고 실제 코스메틱을 구매할 수 있도록 하는 서비스 제공에 대한 기술적 사상은 존재하지 않는다.In addition, in the existing patent documents, there is no technical idea for providing a service that allows you to apply a beauty effect and purchase an actual cosmetic by using an actual cosmetic on a face part.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템은 상기한 바와 같은 종래 문제점을 해결하기 위해 안출된 것으로서, 다음과 같은 해결하고자 하는 과제를 제시한다.The system for selectively applying a makeup effect and providing a buying service of a cosmetic object according to the present invention has been devised to solve the conventional problems as described above, and presents the following problems to be solved.
첫째, 유저의 단말기로부터 촬영되는 유저의 영상 정보를 수집하여, 유저의 얼굴을 인식하고자 한다.First, by collecting image information of the user photographed from the user's terminal, the user's face is to be recognized.
둘째, 외부 서버로부터 코스메틱 오브젝트를 제공받아 인식된 유저의 얼굴의 부위에 메이크업 이펙트를 적용하고자 한다.Second, a cosmetic object is provided from an external server and a makeup effect is applied to the recognized part of the user's face.
셋째, 유저의 얼굴 부위에 적용된 코스메틱 오브젝트를 구매할 수 있도록 스토어에 연동하고자 한다.Third, we want to link the store so that users can purchase cosmetic objects applied to their face.
본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템은 상기의 해결하고자 하는 과제를 위하여 다음과 같은 과제 해결 수단을 가진다.The system for selectively applying a makeup effect and providing a buying service of a cosmetic object according to the present invention has the following problem solving means for the above problem to be solved.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템은 모바일 유닛으로부터 취득된 유저의 영상으로부터 상기 유저의 페이스 영역을 선택적으로 검출하는 레코그니션 유닛(recognition unit); 상기 레코그니션 유닛으로부터 검출된 상기 유저의 페이스 영역으로부터 상기 유저의 페이셜 파트(facial part)를 개별적으로 추출하는 익스트랙팅 유닛(extracting unit); 상기 익스트랙팅 유닛으로부터 추출된 상기 유저의 상기 페이셜 파트 각각에 소정의 이펙트를 선택적으로 적용하는 이펙팅 유닛(effecting unit); 외부 서버로부터 코스메틱 오브젝트를 소싱하여 상기 이펙팅 유닛에 상기 코스메틱 오브젝트를 선택적으로 제공하는 오브젝트 소싱 유닛(object sourcing unit); 및 상기 오브젝트 소싱 유닛으로부터 제공되는 상기 코스메틱 오브젝트를 판매하는 외부의 스토어 서버와 상호 연동되어, 상기 유저가 상기 코스메틱 오브젝트를 선택적으로 구매할 수 있도록 하는 오브젝트 바잉 유닛(object buying unit)을 포함하는 것을 특징으로 할 수 있다.A system for providing a service for selectively applying a makeup effect and buying a cosmetic object according to the present invention includes: a recognition unit for selectively detecting a face region of a user from an image of the user obtained from a mobile unit; an extracting unit for individually extracting a facial part of the user from the face region of the user detected from the recording unit; an effecting unit selectively applying a predetermined effect to each of the facial parts of the user extracted from the extracting unit; an object sourcing unit that selectively provides the cosmetic object to the effecting unit by sourcing the cosmetic object from an external server; and an object buying unit that interacts with an external store server that sells the cosmetic object provided from the object sourcing unit so that the user can selectively purchase the cosmetic object can do.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 상기 레코그니션 유닛은, 상기 모바일 유닛으로부터 상기 유저의 영상을 가져와서 스캔하는 스캔(scan)부; 상기 유저의 영상으로부터 소정의 무브먼트가 포착되는 영역을 상기 유저의 페이스 영역으로 인식하는 퍼시빙(perceiving)부; 및 상기 퍼시빙부로부터 인식된 상기 유저의 페이스 영역과 백그라운드 영역을 분리하여, 상기 유저의 페이스 영역을 선택적으로 검출하는 디텍팅(detecting)부를 포함하는 것을 특징으로 할 수 있다.The registration unit of the system for providing a service for selectively applying a makeup effect and buying a cosmetic object according to the present invention includes: a scan unit for scanning the user's image from the mobile unit; a perceiving unit for recognizing an area in which a movement is captured from the user's image as the face area of the user; and a detecting unit that separates the user's face area and the background area recognized by the perceiving unit to selectively detect the user's face area.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 상기 익스트랙팅 유닛은, 상기 디텍팅부로부터 선택적으로 검출된 상기 유저의 페이스 영역으로부터 3차원의 페이스 쉐입을 형성하는 쉐이핑(shaping)부; 상기 쉐이핑부로부터 형성된 상기 3차원의 페이스 쉐입으로부터 상기 유저의 페이셜 파트를 선택적으로 추출하는 트레킹(tracking)부; 및 상기 유저의 상기 소정의 무브먼트에 따른 상기 페이셜 파트의 앵글 변화를 감지하여, 상기 3차원의 페이스 쉐입에 반영하여 얼라이닝(aligning)부를 포함하는 것을 특징으로 할 수 있다.The extracting unit of the system for providing a service for selectively applying a makeup effect and buying a cosmetic object according to the present invention forms a three-dimensional face shape from the face region of the user selectively detected by the detecting unit. )wealth; a tracking unit for selectively extracting the user's facial part from the three-dimensional face shape formed from the shaping unit; and an aligning unit by detecting an angle change of the facial part according to the predetermined movement of the user, and reflecting the change in the three-dimensional face shape.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 상기 이펙팅 유닛은, 상기 유저로부터 미리 결정된 액션과 상호 연동되어, 상기 미리 결정된 액션에 의해 상기 페이셜 파트가 선택되도록 하는 유저 액션(user action)부; 및 상기 미리 결정된 액션에 의해 선택된 상기 페이셜 파트에 상기 소정의 이펙트를 선택적으로 적용하는 어플라잉(applying)부를 포함하는 것을 특징으로 할 수 있다.A user action ( user action) part; and an applying unit for selectively applying the predetermined effect to the facial part selected by the predetermined action.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 상기 어플라잉부는, 상기 미리 결정된 액션에 의해 선택된 상기 페이셜 파트 중 피부, 눈, 눈썹, 코, 입, 턱, 이마, 인중 또는 얼굴형 중 적어도 하나 이상의 외형에 메이크업 이펙트를 적용하는 메이크업(makeup)부를 포함하는 것을 특징으로 할 수 있다.The applying unit of the system for providing a service providing service for selectively applying a makeup effect and buying a cosmetic object according to the present invention, skin, eyes, eyebrows, nose, mouth, chin, forehead, pharynx, or among the facial parts selected by the predetermined action It may be characterized in that it includes a makeup unit that applies a makeup effect to at least one appearance of the face shape.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 상기 어플라잉부는, 상기 미리 결정된 액션에 의해 선택된 상기 페이셜 파트 중 피부, 눈, 눈썹, 코, 입, 턱, 이마, 인중 또는 얼굴형 중 적어도 하나 이상의 외형이 튜닝되도록 피규레이션 이펙트를 적용하는 피규레이션(figuration)부를 더 포함하는 것을 특징으로 할 수 있다.The applying unit of the system for providing a service providing service for selectively applying a makeup effect and buying a cosmetic object according to the present invention, skin, eyes, eyebrows, nose, mouth, chin, forehead, pharynx, or among the facial parts selected by the predetermined action It may be characterized in that it further comprises a figure (figuration) for applying a figure effect so that at least one or more of the face shape is tuned.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 상기 오브젝트 소싱 유닛은, i) 상기 외부 서버를 통해 상기 코스메틱 오브젝트를 소싱하여 상기 이펙팅 유닛에 제공하며, ii) 상기 이펙팅 유닛에 제공된 상기 코스메틱 오브젝트는 상기 유저에게 제공되며, 상기 유저에게 제공되는 코스메틱 오브젝트에는 상기 코스메틱 오브젝트의 스펙 인포를 포함하는 것을 특징으로 할 수 있다.The object sourcing unit of the system for providing a service for selectively applying a makeup effect and buying a cosmetic object according to the present invention, i) sourcing the cosmetic object through the external server and providing it to the effecting unit, ii) to the effecting unit The provided cosmetic object may be provided to the user, and the cosmetic object provided to the user may include specification information of the cosmetic object.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 상기 오브젝트 바잉 유닛은, 상기 오브젝트 소싱 유닛으로부터 소싱된 상기 코스메틱 오브젝트 중 상기 유저가 구매하고자 하는 상기 코스메틱 오브젝트를 적어도 하나 이상 선택하도록 하는 오브젝트 추징(object choosing)부; 상기 오브젝트 추징부로부터 상기 유저에 의해 선택된 상기 코스메틱 오브젝트를 판매하는 상기 외부의 스토어 서버에 상호 연동하는 인터워킹(interworking)부; 및 상기 인터워킹부로부터 상호 연동된 상기 외부의 스토어 서버에 상기 유저가 구매하고자 하는 상기 코스메틱 오브젝트에 대한 주문 결제를 요청하는 오더링(ordering)부를 포함하는 것을 특징으로 할 수 있다.The object buying unit of the system for providing a service for selectively applying a makeup effect and buying a cosmetic object according to the present invention selects at least one or more of the cosmetic objects that the user wants to purchase from among the cosmetic objects sourced from the object sourcing unit an object choosing unit; an interworking unit for interworking with the external store server that sells the cosmetic object selected by the user from the object collection unit; and an ordering unit for requesting payment of an order for the cosmetic object that the user wants to purchase from the interworking unit to the external store server interworking with each other.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 상기 오더링부는, 상기 인터워킹부로부터 상호 연동된 상기 외부의 스토어 서버에 상기 주문 결제를 요청하기 위하여 미리 저장된 주문 정보를 전송하는 것을 특징으로 할 수 있다.The ordering unit of the system for providing a service for selectively applying a makeup effect and buying a cosmetic object according to the present invention transmits order information stored in advance to request payment of the order from the interworking unit to the external store server interworking with each other can be characterized as
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 상기 미리 저장된 주문 정보는, 상기 코스메틱 오브젝트를 주문에 필요한 주문자 정보, 배송지 정보, 배송 요청 사항 정보, 연락처 정보, 쿠폰 정보, 할인 정보, 포인트 정보, 적립 정보, 기프트 카드 정보, 주문 번호 정보, 주문 상품 정보 또는 결제 정보 중 적어도 하나 이상의 정보를 상기 유저로부터 미리 제공받아 상호 연동된 상기 외부의 스토어 서버로 전송하는 것을 특징으로 할 수 있다.The pre-stored order information of the system for providing a service for selectively applying a makeup effect and buying a cosmetic object according to the present invention includes orderer information, delivery address information, delivery request information, contact information, coupon information, and discount required for ordering the cosmetic object. At least one of information, point information, accumulation information, gift card information, order number information, order product information, and payment information is received in advance from the user and transmitted to the interlocked external store server. there is.
이상과 같은 구성의 본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템은 다음과 같은 효과를 제공한다.The system for selectively applying a makeup effect and providing a cosmetic object buying service according to the present invention configured as described above provides the following effects.
첫째, 유저의 페이스 영역만을 검출하여 유저의 페이셜 파트를 추출할 수 있게 된다.First, it is possible to extract the user's facial part by detecting only the user's face area.
둘째, 유저의 페이셜 파트에 소싱된 코스메틱 오브젝트를 활용해 소정의 이펙트를 선택적으로 적용할 수 있게 된다.Second, it is possible to selectively apply a predetermined effect by utilizing the cosmetic object sourced from the user's facial part.
셋째, 외부의 스토어 서버와 상호 연동되어, 유저가 원하는 코스메틱 오브젝트를 바로 구매할 수 있게 된다.Third, by interworking with an external store server, a user can directly purchase a desired cosmetic object.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도1은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 개념도이다.
도2는 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 블록도이다.
도3은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 레코그니션 유닛의 블록도이다.
도4는 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 익스트랙팅 유닛의 개념도이다.
도5는 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 익스트랙팅 유닛의 블록도이다.
도6은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 스팟 커버링부의 개념도이다.
도7은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 이펙팅 유닛의 블록도이다.
도8은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 오브젝트 소싱 유닛의 개념도이다.
도9는 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 오브젝트 소싱 유닛의 컨버팅된 스펙 인포의 개념도이다.
도10은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 오브젝트 바잉 유닛의 개념도이다.
도11은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 오브젝트 바잉 유닛의 블록도이다.1 is a conceptual diagram of a system for selectively applying a makeup effect and providing a buying service of a cosmetic object according to an embodiment of the present invention.
2 is a block diagram of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention.
3 is a block diagram of a registration unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention.
4 is a conceptual diagram of an extracting unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention.
5 is a block diagram of an extracting unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention.
6 is a conceptual diagram of a spot covering unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention.
7 is a block diagram of an effecting unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention.
8 is a conceptual diagram of an object sourcing unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention.
9 is a conceptual diagram of a converted specification information of an object sourcing unit of a system for providing selective application of a makeup effect and a buying service of a cosmetic object according to an embodiment of the present invention.
10 is a conceptual diagram of an object buying unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention.
11 is a block diagram of an object buying unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The system for providing a service for selectively applying a makeup effect and buying a cosmetic object according to the present invention can apply various changes and can have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. . However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.
도1은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 개념도이다. 도2는 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 블록도이다. 도3은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 레코그니션 유닛의 블록도이다. 도4는 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 익스트랙팅 유닛의 개념도이다. 도5는 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 익스트랙팅 유닛의 블록도이다. 도6은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 스팟 커버링부의 개념도이다. 도7은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 이펙팅 유닛의 블록도이다. 도8은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 오브젝트 소싱 유닛의 개념도이다. 도9는 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 오브젝트 소싱 유닛의 컨버팅된 스펙 인포의 개념도이다. 도10은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 오브젝트 바잉 유닛의 개념도이다. 도11은 본 발명의 일 실시예에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 오브젝트 바잉 유닛의 블록도이다.1 is a conceptual diagram of a system for selectively applying a makeup effect and providing a buying service of a cosmetic object according to an embodiment of the present invention. 2 is a block diagram of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention. 3 is a block diagram of a registration unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention. 4 is a conceptual diagram of an extracting unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention. 5 is a block diagram of an extracting unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention. 6 is a conceptual diagram of a spot covering unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention. 7 is a block diagram of an effecting unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention. 8 is a conceptual diagram of an object sourcing unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention. 9 is a conceptual diagram of a converted specification information of an object sourcing unit of a system for providing selective application of a makeup effect and a buying service of a cosmetic object according to an embodiment of the present invention. 10 is a conceptual diagram of an object buying unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention. 11 is a block diagram of an object buying unit of a system for selectively applying a makeup effect and providing a cosmetic object buying service according to an embodiment of the present invention.
종래 기술들은 풀 프레임(full frame)으로서 유저의 안면을 일정한 틀에 맞추어진 상태로 셋팅, 변형, 색 변형 등에 해당하는바, 본인의 얼굴을 왜곡시키는 문제점이 있다. Conventional technologies have a problem of distorting the user's face as a full frame, which corresponds to setting, transformation, color transformation, etc. of a user's face in a state in which the user's face is adjusted to a certain frame.
종래 기술들은 유저의 얼굴을 그대로 살려 특정 부위만을 선택적으로 원하는 색조 혹은 원하는 화장 테크닉을 선택적으로 적용할 수 없는 문제점이 있었다. Conventional techniques have a problem in that it is not possible to selectively apply a desired color tone or a desired makeup technique to only a specific part by using the user's face as it is.
본원 발명은 위 종래기술들에 비하여, 사용자 혹은 유저의 얼굴을 그대로 반영하되, 본인이 직접 화장하는 것과 같이 실제 화장을 시도해볼 수 있고, 화장을 덧바르는 등의 효과를 낼 수 있게 된다.The present invention reflects the user or the user's face as it is, compared to the above prior art, but it is possible to try actual makeup, such as applying makeup by the person himself, and to achieve effects such as applying makeup.
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 경우, 도1에 도시된 바와 같이, 유저의 모바일 유닛(1000)으로부터 유저의 영상으로부터 유저의 페이스 영역과 유저의 페이셜 파트(facial part)를 추출하며, 추출된 유저의 페이셜 파트 각각에 서버로부터 소싱받은 실제 코스메틱 오브젝트를 적용해볼 수 있으며, 외부의 스토어 서버와 상호 연동되어 유저가 코스메틱 오브젝트를 구매할 수 있도록 하는 기술을 개시하게 된다.In the case of a system for providing a service for selectively applying a makeup effect and buying a cosmetic object according to the present invention, as shown in FIG. 1 , the user's face area and the user's facial part ( facial part), the actual cosmetic object sourced from the server can be applied to each extracted user's facial part, and a technology that allows users to purchase cosmetic objects by interworking with an external store server is initiated. .
여기서 말하는 모바일 유닛(1000)은 유저의 단말기(휴대폰, PC, 태블릿pc) 등에 제공되어, 유저로 하여금 카메라를 실행하여 사진 또는 영상을 촬영하고 편집할 수 있는 어플리케이션, 앱 등으로 정의할 수 있다. The
즉, 모바일 유닛(1000)에 포함되며 상호 연동된 레코그니션 유닛(100), 익스트랙팅 유닛(200), 이펙팅 유닛(300), 오브젝트 소싱 유닛(400)을 통해서 유저의 단말기로 촬영된 유저의 영상 또는 셀카 영상으로부터, 유저의 페이스를 인식하고 유저의 페이셜 파트 각각에 소정의 이펙트를 적용하게 된다. 또한, 오브젝트 바잉 유닛(500)을 통해서 유저의 페이셜 파트 각각에 적용해본 코스메틱 오브젝트를 직접 구매할 수 있도록 한다.That is, the user included in the
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 경우, 도2에 도시된 바와 같이, 레코그니션 유닛(recognition unit, 100), 익스트랙팅 유닛(extracting unit, 200), 이펙팅 유닛(effecting unit, 300), 오브젝트 소싱 유닛(object sourcing unit, 400) 및 오브젝트 바잉 유닛(object buying unit, 500)을 포함하게 된다.In the case of a system for providing a service for selectively applying a makeup effect and buying a cosmetic object according to the present invention, as shown in FIG. 2, a
먼저, 레코그니션 유닛(100)의 경우, 도1에 도시된 바와 같이, 모바일 유닛(1000)으로부터 취득된 유저의 영상으로부터 유저의 페이스 영역을 선택적으로 검출하는 구성이다.First, in the case of the
레코그니션 유닛(100)은 유저로부터 유저의 단말기를 통해서 카메라가 실행될 때, 실시간으로 촬영되는 유저의 영상으로부터 유저의 페이스 영역만을 인식하고 검출하는 구성이다.The
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 레코그니션 유닛(100)의 경우, 도3에 도시된 바와 같이, 스캔(scan)부(110), 퍼시빙(perceiving)부(120), 및 디텍팅(detecting)부(130)를 포함하게 된다.In the case of the
먼저, 스캔부(110)의 경우, 모바일 유닛(1000)으로부터 유저의 영상을 가져와서 스캔하는 구성이다.First, in the case of the
스캔부(110)는 유저의 단말기로부터 실시간으로 촬영되는 유저의 영상을 선별적으로 가져오며, 해당 영상으로부터 유저의 페이스 영역을 인식하기 위해 스캔하도록 한다.The
퍼시빙부(120)의 경우, 유저의 영상으로부터 소정의 무브먼트가 포착되는 영역을 유저의 페이스 영역으로 인식하는 구성이다.In the case of the
퍼시빙부(120)는 유저의 영상 중, 유저의 페이스 영역을 인식하기 위해 유저의 소정의 무브먼트를 포착하여 이를 유저의 페이스 영역으로 정의하도록 한다.The perceiving
퍼시빙부(120)에서는 서버로부터 미리 축적된 페이셜 패턴 정보를 제공받아, 미리 축적된 페이셜 패턴 정보에 기초하여, 유저의 영상으로부터 소정의 시간 동안 유저의 소정의 무브먼트를 감지하여 유저의 페이스 영역만을 인식하게 된다.The perceiving
예컨대, 퍼시빙부(120)로부터 포착되는 소정의 무브먼트는 유저가 유저의 페이스를 촬영하거나 셀카를 찍을 때, 카메라를 실행한 상태에서 유저의 페이스가 잘 나오도록 하는 각도를 찾기 위해 유저의 페이스를 이리 저리 움직일 때의 무브먼트로 정의하는 것이 바람직하다.For example, the predetermined movement captured from the perceiving
또한, 유저가 유저의 페이스가 잘 나오도록 하는 각도를 찾은 후에, 유저의 페이스가 고정되어 있다 하더라도 유저의 눈동자는 움직임이 발생하기 때문에, 유저의 눈동자의 깜빡임, 움직임을 통해서 소정의 무브먼트를 포착할 수 있게 된다.In addition, after the user finds an angle that allows the user's face to come out well, even if the user's face is fixed, since the user's pupils move, it is possible to capture a certain movement through the blinking and movement of the user's pupils. be able to
디텍팅부(130)의 경우, 퍼시빙부(120)로부터 인식된 유저의 페이스 영역과 백그라운드 영역을 분리하여, 유저의 페이스 영역을 선택적으로 검출하는 구성이다.The detecting
디텍팅부(130)에서는 유저의 영상 중 유저의 페이스 영역이 인식되면, 유저의 영상 중 페이스 영역을 제외한 부분은 백그라운드 영역으로 인식하고 분리하게 된다.When the user's face area is recognized in the user's image, the detecting
디텍팅부(130)에서는 유저의 페이스 영역과 백그라운드 영역이 각각 분리되면, 유저의 페이스 영역만을 선택적으로 검출하도록 한다.When the user's face area and the background area are separated from each other, the detecting
익스트랙팅 유닛(200)의 경우, 도4에 도시된 바와 같이, 레코그니션 유닛(100)으로부터 검출된 유저의 페이스 영역으로부터 유저의 페이셜 파트(facial part)를 개별적으로 추출하는 구성이다.In the case of the extracting
익스트랙팅 유닛(200)에서 개별적으로 추출하는 유저의 페이셜 파트는, 유저의 얼굴 부위 각각으로 정의한다. The user's facial parts individually extracted by the extracting
예컨대, 익스트랙팅 유닛(200)에서 추출하는 유저의 페이셜 파트에는 유저의 눈, 눈썹, 속눈썹, 눈동자, 눈커풀, 애교살, 아이홀, 코, 콧망울, 콧대, 콧구멍, 인중, 입, 입술, 치아, 얼굴형, 피부, 볼, 턱, 광대뼈, 이마, 머리카락 또는 귀 등이 포함된다.For example, the user's facial parts extracted by the extracting
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 익스트랙팅 유닛(200)의 경우, 도5에 도시된 바와 같이, 쉐이핑(shaping)부(210), 트레킹(tracking)부(220), 얼라이닝(aligning)부(230), 및 어드레스(address)부(240)를 포함하게 된다.In the case of the extracting
먼저, 쉐이핑부(210)의 경우, 디텍팅부(130)로부터 검출된 유저의 페이스 영역으로부터 3차원의 페이스 쉐입을 형성하는 구성이다.First, in the case of the
쉐이핑부(210)에서는 유저의 페이스를 3차원의 페이스 쉐입으로 형성하는 것은 유저의 페이스의 윤곽에 따른 유저의 페이셜 파트를 추출하기 위해서이다.The
트레킹부(220)의 경우, 쉐이핑부(210)로부터 형성된 3차원의 페이스 쉐입으로부터 유저의 페이셜 파트를 선택적으로 추출하는 구성이다.In the case of the
트레킹부(220)에서 페이셜 파트를 선택적으로 추출하기 위해서 유저의 페이셜 파트를 추적하게 된다. 유저의 페이셜 파트를 추적하기 위해서 서버에 미리 축적된 페이셜 패턴 정보에 기초하여 추적하게 된다. The
미리 축적된 페이셜 패턴 정보에는 통상적인 사람의 얼굴의 비율에 대한 정보와, 얼굴의 형상 정보와 같은 얼굴이 가지는 전형적인 패턴 정보로 정의한다. The pre-accumulated facial pattern information is defined as information about the ratio of a normal human face and typical pattern information of a face, such as face shape information.
예컨대, 미리 축적된 페이셜 패턴 정보에는 얼굴은 크게 두 개의 눈이 좌우에 대칭되어 상부에 배치되며, 중앙에 코가 배치하고 하부에 입이 배치된다는 얼굴의 부위별 배치의 상호 관계가 포함된다. 또한, 얼굴에서 눈, 코, 입의 크기에 대한 비율, 눈과 코 사이의 거리 비율, 눈과 입 사이의 거리 비율, 코와 입 사이의 거리 비율, 이마로부터 눈과의 거리 비율 등의 비율에 대한 정보가 포함된다.For example, the pre-accumulated facial pattern information includes a correlation between the arrangement of each part of the face, such that the face has two eyes symmetrical left and right and arranged on the upper part, the nose is arranged in the center, and the mouth is arranged at the lower part. In addition, the ratio of the ratio of the size of the face to the eyes, nose, and mouth, the ratio of the distance between the eyes and the nose, the ratio of the distance between the eyes and the mouth, the ratio of the distance between the nose and the mouth, the ratio of the distance from the forehead to the eyes, etc. information is included.
얼라이닝부(230)의 경우, 유저의 소정의 무브먼트에 따른 페이셜 파트의 앵글 변화를 감지하여 3차원 페이스 쉐입에 반영하는 구성이다.In the case of the aligning
얼라이닝부(230)는 유저가 유저의 페이스가 잘 나오도록 하는 각도를 찾기 위해 소정의 무브먼트가 발생하기 때문에, 유저의 앵글 변화에 따른 유저의 페이셜 파트의 변화를 반영하기 위한 기능을 수행한다.The aligning
어드레스부(240)의 경우, 트레킹부(220)로부터 추출된 페이셜 파트의 각각에 임의의 주소를 할당하여 개별적으로 저장하는 구성이다.In the case of the
어드레스부(240)는 추출된 페이셜 파트에 따라 임의로 분할하며, 분할된 페이셜 파트에 임의의 주소(A1, A2, A3, …)를 랜덤하게 부여하여 유저의 페이셜 파트 정보를 개별적으로 저장하도록 한다.The
이펙팅 유닛(300)의 경우, 익스트랙팅 유닛(200)으로부터 추출된 유저의 페이셜 파트 각각에 소정의 이펙트를 선택적으로 적용하는 구성이다.In the case of the effecting
이펙팅 유닛(300)을 통해 유저의 페이셜 파트에 적용되는 소정의 이펙트에는 메이크업 이펙트 또는 피규레이션 이펙트가 존재하며, 소정의 이펙트를 통해서 유저의 페이셜 파트 각각에 가상의 메이크업 또는 가상의 성형 또는 가상의 튜닝이 가능하게 된다.A makeup effect or a figure effect exists in a predetermined effect applied to the user's facial part through the effecting
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 이펙팅 유닛(300)의 경우, 도7에 도시된 바와 같이, 유저 액션(user action)부(310), 및 어플라잉(applying)부(320)를 포함하게 된다. In the case of the effecting
유저 액션부(310)의 경우, 유저로부터 미리 결정된 액션과 상호 연동되어, 미리 결정된 액션에 의해 페이셜 파트가 선택되도록 하는 구성이다.In the case of the
유저 액션부(310)는 유저의 미리 결정된 액션에 따라서 소정의 이펙트를 적용하기 위한 것이다. 유저의 미리 결정된 액션은 유저가 유저의 단말기의 액정을 터치하거나, 음성 명령을 하거나, 단축어 등을 사용하여 유저로 하여금, 페이셜 파트를 선택하도록 하는 것이다. 예컨대, 유저가 유저의 단말기에 표시된 유저의 페이셜 파트 중 하나를 선택적으로 터치하면, 모바일 유닛(1000)은 유저의 터치를 인식하여 이펙팅 유닛(300)에 전달하여 유저의 액션에 따라 소정의 이펙트 효과를 적용할 수 있게 된다.The
또한, 유저 액션부(310)에서는 하나의 페이셜 파트를 선택하여 소정의 이펙트가 단일 적용될 수 있으며, 다중의 페이셜 파트를 선택하여 소정의 이펙트가 다중 적용될 수도 있다.In addition, the
어플라잉부(320)의 경우, 미리 결정된 액션에 의해 선택된 페이셜 파트에 소정의 이펙트를 선택적으로 적용하는 구성이다.In the case of the applying
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 어플라잉부(320)의 경우, 도7에 도시된 바와 같이, 메이크업부(321), 피규레이션부(322), 리모델링부(323), 및 스팟 커버링부(324)를 포함하게 된다.In the case of the applying
먼저, 메이크업부(321)의 경우, 유저의 미리 결정된 액션에 의해 페이셜 파트 중 피부, 눈, 눈썹, 속눈썹, 눈동자, 눈커풀, 애교살, 아이홀, 코, 콧망울, 콧대, 콧구멍, 인중, 입, 치아, 턱, 볼, 광대뼈, 이마, 귀, 머리카락 또는 얼굴형 중 적어도 하나 이상의 외형에 메이크업 이펙트를 적용하는 구성이다.First, in the case of the
메이크업부(321)는 미리 세팅된 가상의 코스메틱 오브젝트를 페이셜 파트에 선택적으로 적용하는 것을 메이크업 이펙트로 설정하게 된다.The
메이크업부(321)에서 메이크업 이펙트를 설정하기 위한 미리 세팅된 가상의 코스메틱 오브젝트는 코스메틱 유형을 가상의 오브젝트로 생성한 것이다. 미리 세팅된 가상의 코스메틱 오브젝트에는 베이스 메이크업을 위한 프라이머, 베이스, 비비크림 씨씨크림, 파운데이션, 쿠션, 컨실러, 파우더, 립 메이크업을 위한 립스틱, 립틴트, 립글로스, 립라이너, 립밤, 아이 메이크업을 위한 아이라이너, 아이브로우, 아이섀도우, 마스카라, 윤곽 메이크업을 위한 블러셔, 치크, 하이라이터, 쉐딩, 컨투어링 등을 포함하는 것이 바람직하다.The preset virtual cosmetic object for setting the makeup effect in the
이와 같은 미리 세팅된 가상의 코스메틱 오브젝트는 유저에 의해 임의 선택되어, 유저의 페이셜 파트에 개별적으로 적용된다.Such preset virtual cosmetic objects are arbitrarily selected by the user and individually applied to the user's facial parts.
또한, 미리 세팅된 가상의 코스메틱 오브젝트는 미리 결정된 액션에 의해 선택된 페이셜 파트에 따라서 각각 상이한 집군의 하위 코스메틱 오브젝트가 제시되며, 유저에 의해 하위 코스메틱 오브젝트의 일부가 선택되면, 선택된 하위 코스메틱 오브젝트가 선택된 페이셜 파트에 적용될 수 있다.In addition, as for the preset virtual cosmetic object, sub cosmetic objects of different groups are presented according to the facial part selected by the predetermined action, and when a part of the sub cosmetic object is selected by the user, the selected sub cosmetic object is selected facial It can be applied to parts.
예컨대, 미리 결정된 액션에 의해 유저의 페이셜 파트 중 입술이 선택되면, 립 메이크업과 관련된 립스틱, 립 틴트, 립글로스, 립라이너, 립밤 등이 제시되고, 유저가 이중에서 립 틴트를 선택하면 유저의 페이셜 파트 중 입술에 유저가 선택한 립 틴트가 적용될 수 있다.For example, when lips are selected among the user's facial parts by a predetermined action, lipstick, lip tint, lip gloss, lip liner, lip balm, etc. related to lip makeup are presented. A lip tint selected by the user may be applied to the middle lips.
또한, 메이크업부(321)에서는 하위 코스메틱 오브젝트의 컬러, 제형, 질감, 또는 피부톤 중 적어도 하나 이상을 제시하여 유저로 하여금 하위 코스메틱 오브젝트를 선택되도록 한다.In addition, the
예컨대, 유저가 립 틴트를 선택하면, 메이크업부(321)에는 립 틴트의 컬러, 제형, 질감, 또는 피부톤 따라 정렬된 데이터를 유저에게 제시하며, 유저가 코랄 컬러를 원할 경우, 컬러를 선택하여 코랄의 립 틴트를 선택하여 적용할 수 있도록 한다.For example, when the user selects a lip tint, the
피규레이션부(322)의 경우, 유저의 미리 결정된 액션에 의해 페이셜 파트 중 피부, 눈, 눈썹, 속눈썹, 눈동자, 눈커풀, 애교살, 아이홀, 코, 콧망울, 콧대, 콧구멍, 인중, 입, 치아, 턱, 볼, 광대뼈, 이마, 귀, 머리카락 또는 얼굴형 중 적어도 하나 이상의 외형이 튜닝되도록 피규레이션 이펙트를 적용하는 구성이다.In the case of the
피규레이션부(322)는 미리 세팅된 가상의 파트 쉐입을 페이셜 파트에 선택적으로 적용하는 것을 피규레이션 이펙트로 설정하는 구성이다.The
피규레이션부(322)에서 피규레이션 이펙트를 설정하기 위한 미리 세팅된 가상의 파트 쉐입은 페이셜 파트 중 피부를 매끈함, 톤업, 팔자 주름 삭제, 모공 삭제하거나, 페이셜 파트의 크기 조절, 선명도, 간격, 각도, 모양, 길이 등을 조절하는 것으로 정의할 수 있다.The preset virtual part shape for setting the figure effect in the
미리 세팅된 가상의 파트 쉐입은 유저에 의해 임의 선택되어, 페이셜 파트에 개별적으로 적용되는 것을 특징으로 한다.The preset virtual part shape is randomly selected by the user and is individually applied to the facial part.
또한, 미리 세팅된 가상의 파트 쉐입은 유저의 미리 결정된 액션에 의해 선택된 페이셜 파트와 관련된 미리 세팅된 가상의 파트 쉐입 집군이 제시되고, 유저는 미리 세팅된 가상의 파트 쉐입 집군 중 어느 하나를 선택하면, 유저의 페이셜 파트는 유저가 선택한 미리 세팅된 가상의 파트 쉐입 집군 중 하나의 스타일로 튜닝되는 것을 특징으로 한다.In addition, as for the preset virtual part shape, a preset virtual part shape collection related to the facial part selected by the user's predetermined action is presented, and when the user selects any one of the preset virtual part shape collection , characterized in that the user's facial part is tuned to a style from one of a group of preset virtual part shapes selected by the user.
예컨대, 유저가 페이셜 파트 중 입을 선택하면, 입과 관련된 미리 세팅된 가상의 파트 쉐입의 집군 되는 입술 모양, 입꼬리, 치아 미백, 입크기 등이 제시된다. 유저가 입술 모양, 입꼬리, 치아 미백, 입 크기 중 입꼬리를 선택하게 되면 입꼬리의 모양이 튜닝될 수 있도록 한다.For example, when a user selects a mouth among facial parts, a lip shape, corners of the mouth, teeth whitening, mouth size, etc. of preset virtual part shapes related to the mouth are presented. When the user selects the corner of the mouth among lip shape, corner of the mouth, teeth whitening, and mouth size, the shape of the corner of the mouth can be tuned.
리모델링부(323)의 경우, 유저 액션부(310)로부터 선택된 페이셜 파트를 선택적으로 삭제하며, 삭제된 페이셜 파트에는 미리 세팅된 가상의 파트 쉐입을 인풋하는 구성이다.In the case of the
스팟 커버링부(324)의 경우, 도6에 도시된 바와 같이, 유저의 페이셜 파트의 특정 부분으로부터 스팟 포인트를 찾아내며, 유저로 하여금 스팟 포인트를 선택적으로 커버링할 수 있도록 한다.In the case of the
이때, 스팟 포인트는 익스트랙팅 유닛(200)으로부터 추출된 유저의 페이셜 파트 중 그레이 레벨(gray level) 전형적인 패턴으로부터 벗어나 그레이 레벨의 변화가 있는 부분을 스팟 포인트라고 정의하게 된다.At this time, the spot point is defined as a spot point, which is a part of the user's facial part extracted from the extracting
예컨대, 유저의 페이스에 존재하는 점, 기미, 주근깨, 여드름, 잡티, 검버섯, 모공 또는 흉터 등이 스팟 포인트로 검출될 수 있다.For example, spots, blemishes, freckles, acne, blemishes, age spots, pores, or scars present on the user's face may be detected as spot points.
스팟 커버링부(324)에서는 어플라잉부(320)로부터 유저의 페이셜 파트 중 스팟 포인트가 검출되면, 유저로 하여금 해당 스팟 포인트는 다른 페이셜 파트와는 상이한 적용을 할 수 있도록 한다. In the
즉, 스팟 커버링부(324)는 해당 스팟 포인트에는 다른 페이셜 파트와는 다르게 메이크업 이펙트 또는 피규레이션 이펙트를 강화시켜 독립적으로 적용할 수 있도록 한다.That is, the
아울러, 스팟 커버링부(324)는 스팟 포인트에 상이한 적용을 하는 것은 유저에 의해 선택 가능하도록 한다. In addition, the
예컨대, 유저의 페이스 영역에 존재하는 하나의 점이 콤플렉스가 된다면 메이크업 이펙트 또는 피규레이션 이펙트를 강화시켜 커버할 수 있지만, 만약 이 점이 유저의 페이스의 트레이드 마크일 경우, 유저는 이 스팟 포인트를 커버할 이유가 없기 때문이다. 따라서, 유저의 선택에 의해서 스팟 포인트에 상이한 적용을 할 수 있도록 하는 것이 바람직하다.For example, if a single point in the user's face area becomes a complex, it can be covered by strengthening the makeup effect or the figure effect. because there is no Therefore, it is desirable to allow different applications to the spot points according to the user's selection.
오브젝트 소싱 유닛(400)의 경우, 도1 및 도8에 도시된 바와 같이, 외부 서버(s)로부터 코스메틱 오브젝트를 소싱하여 이펙팅 유닛(300)에 코스메틱 오브젝트를 선택적으로 제공하는 구성이다.In the case of the
먼저, 오브젝트 소싱 유닛(400)에서는 외부 서버(s)와 이펙팅 유닛(300)을 연결시키게 된다. 이때, 외부 서버(s)는 이펙팅 유닛(300)으로 온라인 웹 사이트 또는 오프라인 매장에서 실제로 판매하는 코스메틱 오브젝트에 대한 데이터를 이펙팅 유닛(300)으로 제공하도록 한다.First, the
오브젝트 소싱 유닛(400)을 통해 이펙팅 유닛(300)으로 제공되는 코스메틱 오브젝트는 종류, 브랜드 등의 기준에 따라 카테고리화 되어 유저에게 제공될 수 있다. 예컨대, 코스메틱 오브젝트에는 피부, 눈, 눈썹, 속눈썹, 눈동자, 눈커풀, 애교살, 아이홀, 코, 콧망울, 콧대, 콧구멍, 인중, 입, 치아, 턱, 볼, 광대뼈, 이마, 귀, 머리카락에 메이크업을 적용할 수 있도록 하는 화장품, 메이크업 제품, 메이크업 소품 등의 유형물로 정의하는 것이 바람직하다. The cosmetic object provided to the effecting
또한, 유저는 제공되는 코스메틱 오브젝트를 선택하여 유저의 페이셜 파트 각각에 실시간으로 적용할 수 있도록 한다.In addition, the user selects the provided cosmetic object and allows it to be applied to each of the user's facial parts in real time.
아울러, 유저에게 제공되는 코스메틱 오브젝트에는 코스메틱 오브젝트 스펙 인포가 포함되도록 한다.In addition, the cosmetic object provided to the user includes cosmetic object specification information.
코스메틱 오브젝트의 스펙 인포는 온라인 또는 오프라인에서 실제 판매되는 코스메틱 유형물의 컬러 정보, 발색 컬러 정보, 그레이 레벨 정보, 명도 정보, 채도 정보, 레이어링 컬러 정보, 그라데이션 정보, 톤 정보, 제형 정보, 성분 정보, 중량 정보, 브랜드 정보, 가격 정보, 지속력 정보, 향 정보, 디자인 정보, 제품명 정보 또는 제품 코드 정보 중 적어도 하나 이상이 포함되어 그대로 반영될 수 있다. The specification information of cosmetic objects includes color information, color development color information, gray level information, brightness information, saturation information, layering color information, gradation information, tone information, formulation information, ingredient information, and weight of cosmetic types that are actually sold online or offline. At least one of information, brand information, price information, durability information, fragrance information, design information, product name information, or product code information may be included and reflected as it is.
여기서 반영되는 코스메틱 유형물의 컬러 정보, 발색 컬러 정보, 그레이 레벨 정보, 명도 정보, 채도 정보, 레이어링 컬러 정보, 그라데이션 정보, 톤 정보, 제형 정보, 성분 정보, 중량 정보, 브랜드 정보, 가격 정보, 지속력 정보, 향 정보, 디자인 정보, 제품명 정보 또는 제품 코드 정보들은 실제 판매되는 코스메틱 유형물의 포장지 또는 온/오프 판매처에 명시되어 있는 상용화된 정보라고 준하기로 한다.Color information of cosmetic types reflected here, color development color information, gray level information, lightness information, saturation information, layering color information, gradation information, tone information, formulation information, ingredient information, weight information, brand information, price information, and durability information , Fragrance information, design information, product name information, or product code information shall be based on commercialized information specified on the packaging of actual cosmetic products or on/off sellers.
또한, 유저는 이펙팅 유닛(300)으로부터 소싱된 코스메틱 오브젝트를 유저의 페이셜 파트 각각에 선택적으로 적용할 수도 있지만, 유저가 원하는 코스메틱 오브젝트를 직접 검색하여 오브젝트 소싱 유닛으로 하여금 유저가 원하는 코스메틱 오브젝트를 소싱되도록 할 수 있다.In addition, the user may selectively apply the cosmetic object sourced from the effecting
예컨대, 유저가 원하는 코스메틱 오브젝트의 스펙 인포를 알고 있다면, 스펙 인포 중 하나를 키워드로 하여 유저가 원하는 코스메틱 오브젝트를 서칭할 수 있다.For example, if the user knows the specification information of the cosmetic object desired by the user, a cosmetic object desired by the user may be searched by using one of the specification information as a keyword.
서칭된 코스메틱 오브젝트는 오브젝트 소싱 유닛(400)을 통해서 소싱되며, 유저의 페이셜 파트의 각각에 적용하여 유저가 평소에 관심 있었던 코스메틱 오브젝트를 쉽게 체험해보고 유저의 페이셜 파트에 어울리는지 확인할 수 있도록 한다.The searched cosmetic object is sourced through the
또한, 오브젝트 소싱 유닛(400)에서 소싱된 코스메틱 오브젝트는 유저는 이펙팅 유닛(300)의 메이크업부(321)를 통해서 유저의 페이셜 파트 각각에 복수 적용 또는 중복 적용할 수 있다.In addition, the cosmetic object sourced from the
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 메이크업부(321)는, 컴페어링(comparing)부(321-1) 및 레이어링(layering)부(322-2)를 포함하게 된다.The
컴페이링부(321-1)의 경우, 오브젝트 소싱 유닛(400)을 통해서 제공되는 코스메틱 오브젝트를 유저로 하여금 적어도 하나 이상 선택할 수 있도록 하며, 선택된 하나 이상의 코스메틱 오브젝트 각각을 유저의 페이셜 파트에 적용하여 비교할 수 있도록 하는 구성이다.The comparing unit 321-1 allows the user to select at least one cosmetic object provided through the
컴페어링부(321-1)에서는 유저로부터 하나 이상 또는 복수 개의 코스메틱 오브젝트가 선택되면, 선택된 코스메틱 오브젝트 각각은 유저의 페이셜 파트에 적용될 수 있으며, 유저는 적용된 복수 개의 코스메틱 오브젝트를 실시간으로 비교하여 유저에게 어울리는 코스메틱 오브젝트를 선별할 수 있도록 한다.When one or more or a plurality of cosmetic objects are selected by the user in the comparing unit 321-1, each of the selected cosmetic objects may be applied to the user's facial part, and the user compares the plurality of applied cosmetic objects in real time to the user. It allows you to select suitable cosmetic objects.
예컨대, 유저가 A, B, C 브랜드의 립스틱을 선택하면, 유저의 페이셜 파트 중 입술에 A, B, C 브랜드의 립스틱을 선택적으로 적용되도록 한다. 이때, 실시간으로 A, B, C 브랜드의 립스틱을 비교 분석하여, 유저의 페이스에 더 어울리는 립스틱을 선별할 수 있게 된다. For example, when the user selects the lipsticks of brands A, B, and C, the lipsticks of brands A, B, and C are selectively applied to the lips of the user's facial parts. At this time, by comparing and analyzing lipsticks of brands A, B, and C in real time, it is possible to select a lipstick that is more suitable for the user's face.
즉, 컴페어링부(321-1)를 통해서 유저가 평소에 관심있던 코스메틱 오브젝트의 비교 분석이 실시간으로 가능하여, 유저가 오프라인 매장을 방문하지 않더라도 원하는 코스메틱 오브젝트를 선별할 수 있게 되는 것이다.That is, the comparison and analysis of the cosmetic object that the user is usually interested in is possible in real time through the comparing unit 321-1, so that the desired cosmetic object can be selected even if the user does not visit the offline store.
레이어링부(321-2)의 경우, 오브젝트 소싱 유닛(400)을 통해서 제공되는 코스메틱 오브젝트를 유저로 하여금 적어도 하나 이상 선택할 수 있도록 하며, 선택된 하나 이상의 오브젝트를 유저의 페이셜 파트에 레이어링할 수 있도록 하는 구성이다.In the case of the layering unit 321-2, a configuration that allows the user to select at least one cosmetic object provided through the
레이어링부(321-2)에서는 유저로부터 적어도 하나 이상의 코스메틱 오브젝트가 선택되면, 선택된 하나 또는 복수 개의 오브젝트 각각은 유저의 페이셜 파트에 중복 적용될 수 있도록 하는 구성이다.In the layering unit 321 - 2 , when at least one or more cosmetic objects are selected by the user, each of the selected one or a plurality of objects is configured to be overlapped and applied to the user's facial part.
레이어링부(321-2)는 유저가 A브랜드의 핑크 립스틱을 선택할 경우, A브랜드의 핑크 립스틱을 유저의 입술에 적용한 후, A브랜드의 코랄 립스틱이 적용된 유저의 입술 위에 A 브랜드의 코랄 립스틱을 중복 적용할 수 있도록 한다. 즉, 레이어링부(321-2)를 통해서 코스메틱 오브젝트의 발색 정도를 콘트롤할 수 있게 된다.When the user selects the brand A pink lipstick, the layering unit 321-2 applies the brand A pink lipstick to the user's lips, and then overlaps the brand A coral lipstick on the user's lips to which the brand A coral lipstick is applied. make it applicable. That is, it is possible to control the degree of color development of the cosmetic object through the layering unit 321 - 2 .
또한, 레이어링부(321-2)는 유저가 시중에 판매되는 코스메틱 오브젝트 가운데 원하는 색을 찾지 못할 경우, 여러가지 컬러를 레이어링하여 유저가 원하고자 하는 원하는 컬러를 커스텀할 수 있도록 한다.In addition, when the user cannot find a desired color among cosmetic objects sold on the market, the layering unit 321 - 2 allows the user to customize the desired color by layering various colors.
예컨대, 핑크 컬러가 적용된 유저의 입술에 레드 컬러를 레이어링하면 핑크레드 컬러를 커스텀할 수 있으며, 핑크 컬러가 적용된 유저의 입술 위에 오렌지 컬러를 레이어링 하면 탠저린 코랄 컬러를 커스텀할 수 있으며, 핑크 컬러가 적용된 유저의 입술 위에 플럼 컬러를 레이어링하면 마젠타 컬러를 커스텀할 수 있게 된다. 또한, 브랜드에 따라서 컬러 레이어링이 가능하므로, 유저가 원하는 컬러 조합 정보를 얻을 수 있게 된다.For example, if you layer the red color on the user's lips with the pink color applied, you can customize the pink red color. If you layer the orange color on the user's lips with the pink color, you can customize the tangerine coral color. By layering the plum color on the user's lips, the magenta color can be customized. In addition, since color layering is possible according to the brand, it is possible to obtain the color combination information desired by the user.
오브젝트 소싱 유닛(400)으로부터 소싱되는 코스메틱 오브젝트의 스펙 인포는 1과 0의 바이너리 시퀀스(binary sequence)로 컨버팅할 수 있다. The spec information of the cosmetic object sourced from the
예컨대, 컬러 정보, 발색 컬러 정보, 그레이 레벨 정보, 명도 정보, 채도 정보, 레이어링 컬러 정보, 그라데이션 정보, 톤 정보, 제형 정보, 성분 정보, 중량 정보, 브랜드 정보, 가격 정보, 지속력 정보, 향 정보, 디자인 정보, 제품명 정보 또는 제품 코드 정보를 바이너리 시퀀스로 컨버팅하는 것이 바람직하다. For example, color information, color development color information, gray level information, brightness information, saturation information, layering color information, gradation information, tone information, formulation information, ingredient information, weight information, brand information, price information, durability information, fragrance information, It is preferable to convert design information, product name information, or product code information into a binary sequence.
오브젝트 소싱 유닛(400)에서 바이너리 시퀀스로 컨버팅된 컨버팅 인포는 i) 일렬로 나열하며, ii) 컨버팅 인포 중 소정의 인포를 설정하고 소정의 인포를 선택적으로 누락시켜 오미팅 인포를 생성하며, iii) 오미팅 인포의 소정의 인포가 누락된 컨버팅 인포를 각각 병렬적으로 전송하게 된다.The converting information converted to the binary sequence in the
이때, 소정의 인포를 선택적으로 누락시키기 위해서 도9에 도시된 바와 같이, 인포 어레잉부(410), 인포 롤링부(420), 인포 로테이팅부(430), 인포 셀렉팅부(440)를 포함하게 된다.At this time, in order to selectively omit predetermined information, as shown in FIG. 9 , an
인포 어레잉부(410)는 바이너리 시퀀스로 컨버팅된 컨버팅 인포를 일렬로 나열하는 구성이다. The
이때, 인포 어레잉부(410)는 일렬로 나열된 컨버팅 인포의 각각에 순서를 부여하게 된다.In this case, the
인포 롤링부(420)의 경우, 순서가 부여된 컨버팅 인포를 롤링하여 원형으로 나열하는 구성이다.In the case of the
인포 로테이팅부(430)의 경우, 원형으로 나열된 컨버팅 인포를 시계 방향 또는 반시계 방향으로 로테이팅하는 구성이다. 이때, 원형으로 나열된 컨버팅 코드의 로테이팅 방향과 회전 횟수는 랜덤하게 결정된다.In the case of the
인포 셀렉팅부(440)의 경우, 인포 로테이팅부(430)로부터 로테이팅된 컨버팅 인포 중 소정의 영역을 임의로 선택하여 선택된 영역을 누락시켜 오미팅 인포를 생성할 수 있게 된다.In the case of the
인포 셀렉팅부(440)로부터 생성된 오미팅 인포와, 소정의 영역이 누락된 컨버팅 인포는 각각 독립적으로 서버에 전송된다. 이때, 오미팅 인포와 소정의 영역이 누락된 컨버팅 인포와, 인포 셀렉팅부로부터 임의로 선택된 영역의 정보는 송신단과 수신단만이 공유하여, 코스메틱 오브젝트의 스펙 인포에 대한 해킹이나 정보 유출을 사전에 방지하도록 한다.The omission information generated by the
오브젝트 바잉 유닛(500)의 경우, 오브젝트 소싱 유닛(400)으로부터 제공되는 코스메틱 오브젝트를 판매하는 외부의 스토어 서버와 상호 연동되어, 유저가 코스메틱 오브젝트를 선택적으로 구매할 수 있도록 하는 구성이다.In the case of the
오브젝트 바잉 유닛(500)은 유저가 오브젝트 소싱 유닛(400)으로부터 소싱된 코스메틱 오브젝트를 유저의 페이셜 파트 각각에 적용한 후 연동된 외부의 스토어 서버를 통해 구매할 수 있게 된다.The
이때, 오브젝트 바잉 유닛(500)에서는 유저가 코스메틱 오브젝트를 바로 구매할 수 있도록 외부의 스토어 서버 또는 외부의 스토어 단말기와 연동되도록 한다. 외부의 스토어 서버 또는 외부의 스토어 단말기는 코스메틱 오브젝트를 판매하는 온라인 또는 오프라인의 서버 또는 단말기로서 정의할 수 있다.In this case, the
오브젝트 바잉 유닛(500)을 통해 유저는 다양한 코스메틱 오브젝트를 적용해볼 수 있으며, 마음에 드는 코스메틱 오브젝트가 있을 경우, 따로 스토어를 방문하지 않더라도 구매가 가능하다는 장점이 존재한다.Through the
본 발명에 따른 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템의 오브젝트 바잉 유닛(500)의 경우, 도11에 도시된 바와 같이, 오브젝트 추징(object choosing)부(510), 인터워킹(interworking)부(520), 및 오더링(ordering)부(530)을 포함하게 된다.In the case of the
먼저, 오브젝트 추징부(510)의 경우, 오브젝트 소싱 유닛(400)으로부터 소싱된 코스메틱 오브젝트 중 유저가 구매하고자 하는 코스메틱 오브젝트를 적어도 하나 이상 선택하도록 하는 구성이다.First, in the case of the
오브젝트 추징부(510)를 통해서 유저는 소싱된 코스메틱 오브젝트를 유저의 페이셜 파트 각각에 적용한 뒤, 유저의 마음에 들거나, 유저에게 어울리는 코스메틱 오브젝트를 하나 이상 선택할 수 있게 된다.After applying the sourced cosmetic object to each of the user's facial parts through the
또한, 오브젝트 추징부(510)에서 유저는 서로 다른 브랜드의 코스메틱 오브젝트를 동시에 선택이 가능하다.In addition, in the
예컨대, 유저가 선택한 코스메틱 오브젝트 이외에 또 다른 코스메틱 오브젝트를 적용하고 싶다면, 선택된 코스메틱 오브젝트는 관심 오브젝트 또는 오브젝트 장바구니에 담아둔 후, 또 다른 코스메틱 오브젝트를 선택할 수 있다.For example, if another cosmetic object other than the cosmetic object selected by the user is to be applied, the selected cosmetic object may be placed in the object of interest or object shopping cart, and then another cosmetic object may be selected.
오브젝트 추징부(510)는 유저에 의해 선택된 하나 이상의 코스메틱 오브젝트를 바로 구매가 가능하다.The
인터워킹부(520)의 경우, 오브젝트 추징부(510)로부터 유저에 의해 선택된 코스메틱 오브젝트를 판매하는 외부의 스토어 서버에 상호 연동하는 구성이다.In the case of the
인터워킹부(520)는 외부의 스토어 서버를 서칭하여, 유저에 의해 선택된 코스메틱 오브젝트를 판매하는 외부의 스토어 서버에 상호 연동되도록 하여, 유저가 코스메틱 오브젝트를 구매할 수 있도록 한다.The
이때, 인터워킹부(520)에서 서칭하는 외부의 스토어 서버는 경우에 따라서 코스메틱 오브젝트를 소싱하는 외부 서버와 동일한 서버일 수도 있다.In this case, the external store server searched by the
또한, 인터워킹부(520)는 오브젝트 추징부(510)에서 유저가 서로 다른 브랜드의 코스메틱 오브젝트를 선택할 경우, 각각의 브랜드의 스토어 서버에 각각 연동되거나, 서로 다른 브랜드를 동시에 판매하는 스토어 서버에 각각 연동하도록 한다.In addition, when the user selects cosmetic objects of different brands from the
아울러, 인터워킹부(520)에서 외부의 스토어 서버를 서칭할 때, 소정의 필터에 따라서 서버를 서칭할 수 있다. 예컨대, 소정의 필터는 코스메틱 오브젝트의 당일 배송, 무료 배송, 최저가 판매 등이 가능한 외부의 스토어 서버를 서칭하기 위한 것이다.In addition, when the
오더링부(530)의 경우, 인터워킹부(520)로부터 상호 연동된 외부의 스토어 서버에 유저가 구매하고자 하는 코스메틱 오브젝트에 대한 주문 결제를 요청하는 구성이다.In the case of the
오더링부(530)는 상호 연동된 외부의 스토어 서버에 주문 결제를 요청하기 전, 외부의 스토어 서버에 대한 유저의 계정 정보를 전송하게 된다.The
또한, 오더링부(530)은 인터워킹부(520)로부터 상호 연동된 외부의 스토어 서버에 주문 결제를 요청하기 위하여 미리 저장된 주문 정보를 전송할 수 있도록 한다.In addition, the
이때, 오더링부(530)의 미리 저장된 주문 정보에는 코스메틱 오브젝트의 주문에 필요한 주문자 정보, 배송지 정보, 배송 요청 사항 정보, 연락처 정보, 쿠폰 정보, 할인 정보, 포인트 정보, 적립 정보, 기프트 카드 정보, 주문 번호 정보, 주문 상품 정보 또는 결제 정보 중 적어도 하나 이상의 정보를 유저로부터 미리 제공받아 상호 연동된 외부의 스토어 서버에 전송할 수 있도록 한다.At this time, the order information stored in advance of the
오더링부(530)의 미리 저장된 주문 정보에는 크게 코스메틱 오브젝트의 주문 정보, 코스메틱 오브젝트의 상품 정보, 코스메틱 오브젝트의 결제 정보로 분류할 수 있게 된다. The order information stored in advance of the
오더링부(530)의 코스메틱 오브젝트의 주문 정보에는 코스메틱 오브젝트를 주문하는 유저의 이름, 주문한 코스메틱 오브젝트를 배송 받고자 하는 배송지 정보, 유저의 일반전화 또는 휴대전화의 연락처 정보, 주문하는 유저의 배송 요청 사항 정보 등이 포함된다. In the order information of the cosmetic object of the
또한, 오더링부(530)의 코스메틱 오브젝트의 상품 정보에는 유저가 구매하고자 하는 코스메틱 오브젝트의 제품명 정보, 제품번호 정보, 컬러 정보, 성분 정보, 중량 정보, 브랜드 정보, 가격 정보 등이 포함된다. In addition, the product information of the cosmetic object of the
아울러, 오더링부(530)의 코스메틱 오브젝트의 결제 정보에는 유저가 보유하고 있는 쿠폰 정보, 유저에게 적용되는 할인 정보, 유저가 보유하고 있는 포인트 정보, 코스메틱 오브젝트에 따른 적립 정보, 유저의 기프트 카드 정보, 유저의 결제 수단 정보 등이 포함된다. 이때, 유저의 결제 수단 정보는 일반 신용카드 결제, 계좌이체 결제, 무통장입금 결제 뿐만 아니라 간편 결제, 페이 결제가 가능하도록 유저로 하여금 결제 정보를 미리 저장되도록 하는 것이 바람직하다.In addition, the payment information of the cosmetic object of the
본 발명의 권리 범위는 특허청구범위에 기재된 사항에 의해 결정되며, 특허 청구범위에 사용된 괄호는 선택적 한정을 위해 기재된 것이 아니라, 명확한 구성요소를 위해 사용되었으며, 괄호 내의 기재도 필수적 구성요소로 해석되어야 한다.The scope of the present invention is determined by the matters described in the claims, and parentheses used in the claims are not described for selective limitation, but are used for clear components, and descriptions in parentheses are also interpreted as essential components. should be
1000: 모바일 유닛 100: 레코그니션 유닛
110: 스캔부 120: 퍼시빙부
130: 디텍팅부 200: 익스트랙팅 유닛
210: 쉐이핑부 220: 트레킹부
230: 얼라이닝부 240: 어드레스부
300: 이펙팅 유닛 310: 유저 액션부
320: 어플라잉부 321: 메이크업부
321-1: 컴페어링부 321-2: 레이어링부
322: 피규레이션부 323: 리모델링부
324: 스팟 커버링부 400: 오브젝트 소싱 유닛
410: 인포 어레잉부 420: 인포 롤링부
430: 인포 로테이팅부 440: 인포 셀렉팅부
500: 오브젝트 바잉 유닛 510: 오브젝트 추징부
520: 인터워킹부 530: 오더링부1000: mobile unit 100: recognition unit
110: scan unit 120: perceive unit
130: detecting unit 200: extracting unit
210: shaping unit 220: trekking unit
230: aligning unit 240: address unit
300: effecting unit 310: user action unit
320: applying unit 321: makeup unit
321-1: comparing unit 321-2: layering unit
322: figure unit 323: remodeling unit
324: spot covering unit 400: object sourcing unit
410: info arrangement unit 420: info rolling unit
430: information rotating unit 440: information selecting unit
500: object buying unit 510: object collection unit
520: interworking unit 530: ordering unit
Claims (10)
상기 레코그니션 유닛으로부터 검출된 상기 유저의 페이스 영역으로부터 상기 유저의 페이셜 파트(facial part)를 개별적으로 추출하는 익스트랙팅 유닛(extracting unit);
상기 익스트랙팅 유닛으로부터 추출된 상기 유저의 상기 페이셜 파트 각각에 소정의 이펙트를 선택적으로 적용하는 이펙팅 유닛(effecting unit);
외부 서버로부터 코스메틱 오브젝트를 소싱하여 상기 이펙팅 유닛에 상기 코스메틱 오브젝트를 선택적으로 제공하는 오브젝트 소싱 유닛(object sourcing unit); 및
상기 오브젝트 소싱 유닛으로부터 제공되는 상기 코스메틱 오브젝트를 판매하는 외부의 스토어 서버와 상호 연동되어, 상기 유저가 상기 코스메틱 오브젝트를 선택적으로 구매할 수 있도록 하는 오브젝트 바잉 유닛(object buying unit)을 포함하되,
상기 레코그니션 유닛은,
상기 모바일 유닛으로부터 상기 유저의 영상을 가져와서 스캔하는 스캔(scan)부;
상기 유저의 영상으로부터 소정의 무브먼트가 포착되는 영역을 상기 유저의 페이스 영역으로 인식하는 퍼시빙(perceiving)부; 및
상기 퍼시빙부로부터 인식된 상기 유저의 페이스 영역과 백그라운드 영역을 분리하여, 상기 유저의 페이스 영역을 선택적으로 검출하는 디텍팅(detecting)부를 포함하며,
상기 익스트랙팅 유닛은,
상기 디텍팅부로부터 선택적으로 검출된 상기 유저의 페이스 영역으로부터 3차원의 페이스 쉐입을 형성하는 쉐이핑(shaping)부;
상기 쉐이핑부로부터 형성된 상기 3차원의 페이스 쉐입으로부터 상기 유저의 페이셜 파트를 선택적으로 추출하는 트레킹(tracking)부; 및
상기 유저의 상기 소정의 무브먼트에 따른 상기 페이셜 파트의 앵글 변화를 감지하여, 상기 3차원의 페이스 쉐입에 반영하여 얼라이닝(aligning)부를 포함하며,
상기 이펙팅 유닛은,
상기 유저로부터 미리 결정된 액션이 입력되면, 상기 미리 결정된 액션에 의해 상기 페이셜 파트가 선택되도록 하는 유저 액션(user action)부; 및
상기 미리 결정된 액션에 의해 선택된 상기 페이셜 파트에 상기 소정의 이펙트를 선택적으로 적용하는 어플라잉(applying)부를 포함하며,
상기 어플라잉부는,
상기 미리 결정된 액션에 의해 선택된 상기 페이셜 파트 중 피부, 눈, 눈썹, 코, 입, 턱, 이마, 인중 또는 얼굴형 중 적어도 하나 이상의 외형에 메이크업 이펙트를 적용하는 메이크업(makeup)부;
상기 미리 결정된 액션에 의해 선택된 상기 페이셜 파트 중 피부, 눈, 눈썹, 코, 입, 턱, 이마, 인중 또는 얼굴형 중 적어도 하나 이상의 외형이 튜닝되도록 피규레이션 이펙트를 적용하는 피규레이션(figuration)부; 및
상기 유저의 상기 페이셜 파트로부터 스팟 포인트를 검출하며, 상기 스팟 포인트에 상기 메이크업 이펙트 또는 상기 피규레이션 이펙트를 독립적이고 상이하게 적용하여 상기 스팟 포인트를 선택적으로 커버링하는 스팟 커버링부를 포함하며,
상기 스팟 포인트는,
상기 익스트랙팅 유닛으로부터 추출된 상기 페이셜 파트 중 그레이 레벨의 변화가 있는 부분으로, 상기 유저의 페이스에 존재하는 점, 기미, 주근깨, 여드름, 잡티, 검버섯, 모공 또는 흉터 중 적어도 하나 이상을 포함하며,
상기 오브젝트 소싱 유닛은,
i) 상기 외부 서버를 통해 상기 코스메틱 오브젝트를 소싱하여 상기 이펙팅 유닛에 제공하며,
ii) 상기 이펙팅 유닛에 제공된 상기 코스메틱 오브젝트는 상기 유저에게 제공되며, 상기 유저에게 제공되는 코스메틱 오브젝트에는 상기 코스메틱 오브젝트의 스펙 인포를 포함하며,
상기 코스메틱 오브젝트의 상기 스펙 인포는,
온라인 또는 오프라인에서 실제 판매되는 코스메틱 유형물의 컬러 정보, 발색 컬러 정보, 그레이 레벨 정보, 명도 정보, 채도 정보, 레이어링 컬러 정보, 그라데이션 정보, 톤 정보, 제형 정보, 성분 정보, 중량 정보, 브랜드 정보, 가격 정보, 지속력 정보, 향 정보, 디자인 정보, 제품명 정보 또는 제품 코드 정보 중 적어도 하나 이상이 포함되어 그대로 반영되며, 상기 스펙 인포는 바이너리 시퀀스로 컨버팅 되며,
상기 바이너리 시퀀스로 컨버팅된 컨버팅 인포를 일렬로 나열하며, 상기 컨버팅 인포 각각에 순서를 부여하는 인포 어레잉부;
상기 인포 어레잉부로부터 순서가 부여된 상기 컨버팅 인포를 롤링하여 원형으로 나열하는 인포 롤링부;
상기 인포 롤링부로부터 원형으로 나열된 상기 컨버팅 인포를 시계 방향 또는 반시계 방향으로 로테이팅 되도록 하는 인포 로테이팅부; 및
상기 인포 로테이팅부로부터 로테이팅된 상기 컨버팅 인포 중 소정의 영역을 임의로 선택하고, 선택된 상기 소정의 영역을 누락 시켜 오미팅 인포를 생성하며, 상기 오미팅 인포와 상기 소정의 영역이 누락된 상기 컨버팅 인포 각각을 독립적으로 서버에 전송시키는 인포 셀렉팅부를 포함하는 것을 특징으로 하는, 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템.
a recognition unit for selectively detecting a face region of the user from an image of the user acquired from the mobile unit;
an extracting unit for individually extracting a facial part of the user from the face region of the user detected from the recording unit;
an effecting unit selectively applying a predetermined effect to each of the facial parts of the user extracted from the extracting unit;
an object sourcing unit that selectively provides the cosmetic object to the effecting unit by sourcing the cosmetic object from an external server; and
an object buying unit interoperating with an external store server that sells the cosmetic object provided from the object sourcing unit so that the user can selectively purchase the cosmetic object;
The registration unit is
a scan unit that scans the user's image from the mobile unit;
a perceiving unit for recognizing an area in which a movement is captured from the user's image as the face area of the user; and
and a detecting unit that separates the user's face area and the background area recognized from the perceiving unit, and selectively detects the user's face area;
The extracting unit is
a shaping unit for forming a three-dimensional face shape from the face region of the user selectively detected by the detecting unit;
a tracking unit for selectively extracting the user's facial part from the three-dimensional face shape formed from the shaping unit; and
and an aligning unit to detect an angle change of the facial part according to the predetermined movement of the user and reflect it in the three-dimensional face shape,
The effecting unit,
When a predetermined action is input from the user, a user action unit configured to select the facial part according to the predetermined action; and
Comprising an applying unit for selectively applying the predetermined effect to the facial part selected by the predetermined action,
The applying unit,
a makeup unit that applies a makeup effect to at least one of skin, eyes, eyebrows, nose, mouth, chin, forehead, pharynx, and face shape among the facial parts selected by the predetermined action;
a figuration unit that applies a figure effect so that at least one of skin, eyes, eyebrows, nose, mouth, chin, forehead, pharynx, and face shape among the facial parts selected by the predetermined action is tuned; and
and a spot covering part that detects a spot point from the facial part of the user and selectively covers the spot point by independently and differently applying the makeup effect or the figure effect to the spot point,
The spot point is
It is a part with a change in gray level among the facial parts extracted from the extracting unit, and includes at least one or more of points, freckles, freckles, acne, blemishes, age spots, pores, and scars present on the user's face. ,
The object sourcing unit,
i) sourcing the cosmetic object through the external server and providing it to the effecting unit,
ii) The cosmetic object provided to the effecting unit is provided to the user, and the cosmetic object provided to the user includes specification information of the cosmetic object,
The specification information of the cosmetic object is,
Color information, color development color information, gray level information, lightness information, saturation information, layering color information, gradation information, tone information, formulation information, ingredient information, weight information, brand information, and price of cosmetic types that are actually sold online or offline At least one of information, durability information, fragrance information, design information, product name information, or product code information is included and reflected as it is, and the specification information is converted into a binary sequence,
an information arranging unit arranging the converted information converted into the binary sequence in a line, and assigning an order to each of the converted information;
an information rolling unit arranged in a circle by rolling the converting information given an order from the information arrangement unit;
an info rotating unit configured to rotate the converting information arranged in a circle from the info rolling unit in a clockwise or counterclockwise direction; and
arbitrarily selects a predetermined area among the converted converting information rotated by the information rotating unit, omits the selected predetermined area to generate o-meeting information, and the converting information in which the o-meeting information and the predetermined area are omitted Info selecting unit that transmits each independently to the server A system for providing a service for selectively applying makeup effects and buying cosmetic objects, characterized in that it includes.
상기 오브젝트 소싱 유닛으로부터 소싱된 상기 코스메틱 오브젝트 중 상기 유저가 구매하고자 하는 상기 코스메틱 오브젝트를 적어도 하나 이상 선택하도록 하는 오브젝트 추징(object choosing)부;
상기 오브젝트 추징부로부터 상기 유저에 의해 선택된 상기 코스메틱 오브젝트를 판매하는 상기 외부의 스토어 서버에 상호 연동하는 인터워킹(interworking)부; 및
상기 인터워킹부로부터 상호 연동된 상기 외부의 스토어 서버에 상기 유저가 구매하고자 하는 상기 코스메틱 오브젝트에 대한 주문 결제를 요청하는 오더링(ordering)부를 포함하는 것을 특징으로 하는, 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템.
According to claim 1, wherein the object binding unit,
an object choosing unit for allowing the user to select at least one cosmetic object that the user wants to purchase from among the cosmetic objects sourced from the object sourcing unit;
an interworking unit for interworking with the external store server that sells the cosmetic object selected by the user from the object collection unit; and
Selective application of a makeup effect and cosmetic object, characterized in that it comprises an ordering unit for requesting payment of an order for the cosmetic object that the user wants to purchase from the interworking unit to the external store server interworking with each other 's buying service provision system.
상기 인터워킹부로부터 상호 연동된 상기 외부의 스토어 서버에 상기 주문 결제를 요청하기 위하여 미리 저장된 주문 정보를 전송하는 것을 특징으로 하는, 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템.
The method of claim 8, wherein the ordering unit,
The system for selectively applying a makeup effect and purchasing a cosmetic object, characterized in that the interworking unit transmits pre-stored order information in order to request the payment of the order to the external store server interworking with each other.
상기 코스메틱 오브젝트의 주문에 필요한 주문자 정보, 배송지 정보, 배송 요청 사항 정보, 연락처 정보, 쿠폰 정보, 할인 정보, 포인트 정보, 적립 정보, 기프트 카드 정보, 주문 번호 정보, 주문 상품 정보 또는 결제 정보 중 적어도 하나 이상의 정보를 상기 유저로부터 미리 제공받아 상호 연동된 상기 외부의 스토어 서버로 전송하는 것을 특징으로 하는, 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템.
The method of claim 9, wherein the pre-stored order information,
At least one of orderer information, delivery address information, delivery request information, contact information, coupon information, discount information, point information, accumulation information, gift card information, order number information, order product information, and payment information required for ordering the cosmetic object A system for selectively applying a makeup effect and buying a cosmetic object, characterized in that the above information is received in advance from the user and transmitted to the mutually interlocked external store server.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20200102982 | 2020-08-18 | ||
| KR1020200102982 | 2020-08-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220022433A KR20220022433A (en) | 2022-02-25 |
| KR102372524B1 true KR102372524B1 (en) | 2022-03-10 |
Family
ID=80490080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210038350A KR102372524B1 (en) | 2020-08-18 | 2021-03-24 | System for buying service of cosmetic object and applying selective makeup effect |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102372524B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230125614A (en) | 2022-02-21 | 2023-08-29 | 주식회사 휴비츠 | Intraoral scanner having tomographic imaging function and method for detecting crack of oral structures using the same |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101507410B1 (en) * | 2014-10-21 | 2015-03-31 | 주식회사 모리아타운 | Live make-up photograpy method and apparatus of mobile terminal |
| KR101823869B1 (en) * | 2016-11-15 | 2018-01-31 | 주식회사 에프앤디파트너스 | Real-time video makeup implementation system based Augmented Reality using Facial camera device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007083600A1 (en) | 2006-01-17 | 2007-07-26 | Shiseido Company, Ltd. | Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program |
| KR20120037712A (en) | 2010-10-12 | 2012-04-20 | 에스케이플래닛 주식회사 | Imaginary beauty experience service system and method |
| KR20120066773A (en) * | 2010-12-15 | 2012-06-25 | 고스트리트(주) | A method of virtual make-up using mobile device |
| KR101733512B1 (en) * | 2010-12-22 | 2017-05-10 | 에스케이플래닛 주식회사 | Virtual experience system based on facial feature and method therefore |
| KR102055262B1 (en) | 2017-07-20 | 2019-12-12 | 에스케이텔레콤 주식회사 | Method and Apparatus for Composing Database for Recognizing Face within Video Contents |
| KR102158233B1 (en) | 2018-01-11 | 2020-09-21 | 김지환 | Method for Providing Augmented Make-up Service |
| KR20200098875A (en) | 2019-02-13 | 2020-08-21 | 주식회사 휴먼아이씨티 | System and method for providing 3D face recognition |
-
2021
- 2021-03-24 KR KR1020210038350A patent/KR102372524B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101507410B1 (en) * | 2014-10-21 | 2015-03-31 | 주식회사 모리아타운 | Live make-up photograpy method and apparatus of mobile terminal |
| KR101823869B1 (en) * | 2016-11-15 | 2018-01-31 | 주식회사 에프앤디파트너스 | Real-time video makeup implementation system based Augmented Reality using Facial camera device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220022433A (en) | 2022-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111031846B (en) | System and method for adjusting customized external agents | |
| CN109690617B (en) | System and method for digital cosmetic mirror | |
| CN109310196B (en) | Makeup assisting device and makeup assisting method | |
| JP5085636B2 (en) | Makeup face image generating apparatus, method thereof, server and program | |
| JP3984191B2 (en) | Virtual makeup apparatus and method | |
| JP4435809B2 (en) | Virtual makeup apparatus and method | |
| KR102316723B1 (en) | Body-tailored coordinator system using artificial intelligence | |
| KR20210056772A (en) | System for providing beauty service | |
| CN111783511A (en) | Beauty treatment method, device, terminal and storage medium | |
| KR102567266B1 (en) | Service providing device and method for artificial intelligence virtual makeup | |
| KR102406377B1 (en) | Artificial intelligence-based virtual makeup method and device that can control the degree of makeup transfer for each face part | |
| KR102372524B1 (en) | System for buying service of cosmetic object and applying selective makeup effect | |
| JP2023539159A (en) | Virtual fitting service provision method, equipment and system | |
| KR101719927B1 (en) | Real-time make up mirror simulation apparatus using leap motion | |
| KR102372522B1 (en) | System for applying selective makeup effect through sourcing of cosmetic object | |
| KR20220080686A (en) | System for offering location of object through analyzing of user's preference data | |
| JP4140511B2 (en) | Composite image providing system, composite image generation program, information processing apparatus, and data carrier | |
| KR20220022431A (en) | System for applying selective makeup effect through recommending of cosmetic object | |
| KR102372523B1 (en) | Rewarding system for posting image with selectively applied makeup effects | |
| KR102435893B1 (en) | system for applying selective makeup effect through facial recognition of user | |
| KR102372521B1 (en) | system for applying wearing effect during communication through facial recognition of user | |
| CN113298593A (en) | Commodity recommendation and image detection method, commodity recommendation and image detection device, commodity recommendation and image detection equipment and storage medium | |
| KR20220080685A (en) | System for suggesting of user's customized object through analyzing of user's preference data | |
| KR20220019612A (en) | system for applying selective makeup effect during communication through facial recognition of user | |
| KR20220019611A (en) | system for posting of image through applying classifying term and selective makeup effect |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |