[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20120087265A - Fitting virtual system using pattern copy and method therefor - Google Patents

Fitting virtual system using pattern copy and method therefor Download PDF

Info

Publication number
KR20120087265A
KR20120087265A KR1020100132544A KR20100132544A KR20120087265A KR 20120087265 A KR20120087265 A KR 20120087265A KR 1020100132544 A KR1020100132544 A KR 1020100132544A KR 20100132544 A KR20100132544 A KR 20100132544A KR 20120087265 A KR20120087265 A KR 20120087265A
Authority
KR
South Korea
Prior art keywords
content
fitting
user
image
body shape
Prior art date
Application number
KR1020100132544A
Other languages
Korean (ko)
Other versions
KR101738896B1 (en
Inventor
나승원
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100132544A priority Critical patent/KR101738896B1/en
Publication of KR20120087265A publication Critical patent/KR20120087265A/en
Application granted granted Critical
Publication of KR101738896B1 publication Critical patent/KR101738896B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0224—Discounts or incentives, e.g. coupons or rebates based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PURPOSE: A virtual fitting system using a pattern copy and a method thereof are provided to search a user image for fitting content matched with a body shape of the user and copy a plurality of predetermined fitting content unit areas into corresponding content area according to a change request of the user, thereby performing a virtual fitting of the changed fitting content. CONSTITUTION: A virtual fitting device(200) recognizes a user body shape in a user image received from a user terminal(201). The virtual fitting device searches a content recommendation table for fitting content matched with the recognized user body shape. The virtual fitting device copies fitting content unit area into corresponding content area according to a change request of the user. The virtual fitting device generates a virtual fitting image by a virtual fitting of the changed fitting content.

Description

패턴 복사를 이용한 가상 피팅 시스템 및 그 방법{FITTING VIRTUAL SYSTEM USING PATTERN COPY AND METHOD THEREFOR}FITTING VIRTUAL SYSTEM USING PATTERN COPY AND METHOD THEREFOR}

본 발명은 패턴 복사를 이용한 가상 피팅 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행함으로써, 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있고 화질의 손실이 없으면서도 피팅 컨텐츠를 사용자 영상에 자연스럽게 변형할 수 있는, 패턴 복사를 이용한 가상 피팅 시스템 그 방법에 관한 것이다.The present invention relates to a virtual fitting system using a pattern copy and a method thereof. In detail, a fitting content unit that matches a user's body shape is searched for in a user image, and the fitting content unit is divided into a plurality of areas according to a user's request for deformation. By modifying the fitting content by copying the region to the content area to be deformed, and performing the virtual fitting of the deformed fitting content according to the shape of the user's body, it is possible to prevent unnatural combining or spreading of the image due to resizing. The present invention relates to a method of virtual fitting system using pattern copying, in which fitting content can be naturally transformed into a user image without loss of image quality.

휴대 전화의 보급의 급증과 함께 다양한 휴대 단말의 기능이 탑재되어 시판되고 있다. 일반적인 휴대 단말의 사용은 상대방과의 전화를 하는 것뿐만 아니라 다양한 부가적인 기능을 사용자에게 제공하여 편리함을 추구하고 있다.With the proliferation of mobile phones, functions of various portable terminals are mounted and commercially available. In general, the use of a portable terminal seeks convenience by providing a user with various additional functions as well as making a call with a counterpart.

예를 들어, 사용자는 휴대 전화를 휴대하면서 음성 통신을 수행할 뿐만 아니라, 무선 인터넷(Wireless Internet) 기술을 이용하여 무선으로 인터넷에 접속하여 문자, 이미지, 음성 또는 동영상 등의 멀티미디어 데이터 서비스를 제공받고 있다. 휴대 전화에서 제공하는 부가적인 기능으로는 음악 플레이어, 단문 메시지 서비스, 무선 메신저, 모바일 뱅킹, 사용자 인증을 위한 지문인식, 카메라 기능 등이 있다.For example, a user not only performs voice communication while carrying a mobile phone, but also uses a wireless Internet technology to wirelessly access the Internet to receive multimedia data services such as text, images, voice, or video. have. Additional features offered by mobile phones include music players, short message services, wireless messengers, mobile banking, fingerprint recognition for user authentication, and camera functions.

점차, 휴대 전화는 이와 같은 멀티미디어 서비스를 이용하기 위해 포함되는 카메라를 통해 초기의 음성 통화 위주의 휴대 전화에서 벗어나 미디어 재생기, 카메라 및 캠코더 등 다양한 기능을 구비한 스마트폰으로 진화하고 있다. 이와 같은 캠코더 기능을 이용해 촬영된 동영상은 다른 단말기로 전송되기도 한다. Increasingly, mobile phones are evolving from the initial voice call-oriented mobile phones through cameras included to use such multimedia services to smart phones having various functions such as media players, cameras, and camcorders. Videos recorded using the camcorder function may be transferred to another terminal.

인터넷의 발전에 따라 가상 체험 서비스가 확대되고 있다. 최근, 스마트폰의 출시와 함께 증강현실(AR: Augmented Reality) 및 가상 체험 서비스가 점차 확대되고 있다. 예를 들면, 이러한 서비스에는 얼굴 및 패턴 추출 기반의 추천 서비스, 뷰티(Beauty) 서비스, 맵(Map) 정보를 연계한 증강현실 서비스 등이 있다.As the Internet develops, virtual experience services are expanding. Recently, with the launch of smart phones, Augmented Reality (AR) and virtual experience services are gradually expanding. For example, such services include recommendation services based on face and pattern extraction, beauty services, and augmented reality services in connection with map information.

도 1 은 컨텐츠를 이용한 가상 피팅시 컨텐츠 리사이징 방법에 대한 설명도이다.1 is an explanatory diagram for a content resizing method for virtual fitting using content.

도 1에 도시된 바와 같이, 가상 환경에서 사용자 영상(101)에 다양한 원본 컨텐츠들(110, 120, 130)이 가상적으로 피팅된다. 가상 피팅시 제공되는 원본 컨텐츠들(110, 120, 130)은 확대된 컨텐츠들(111, 121, 131)로 리사이징되어 사용자 영상(101)에 피팅될 수 있다. 여기서, 확대된 컨텐츠들(111, 121, 131)이 정확하게 사용자 영상(101)에 맞게 피팅되어야 한다. 확대된 컨텐츠들(111, 121, 131)은 원본 컨텐츠들(110, 120, 130)이 리사이징(Resizing) 과정을 거쳐 생성된다. 사용자 영상(101)에서 사용자의 얼굴이나 몸체의 크기가 다양해서 해당 컨텐츠를 결합하는 리사이징 과정이 적용되고 있다.As shown in FIG. 1, various original contents 110, 120, and 130 are virtually fitted to a user image 101 in a virtual environment. The original contents 110, 120, and 130 provided during the virtual fitting may be resized into the enlarged contents 111, 121, and 131 to be fitted to the user image 101. In this case, the enlarged contents 111, 121, and 131 should be correctly fitted to the user image 101. The enlarged contents 111, 121, and 131 are generated by resizing the original contents 110, 120, and 130. In the user image 101, the size of the user's face or body is varied so that a resizing process for combining the corresponding contents is applied.

이러한 경우, 확대된 컨텐츠들(111, 121, 131)은 각각의 원본 컨텐츠들(110, 120, 130)이 리사이징 과정을 통해 편리하고 유용하게 조절되어 사용자에게 제공될 수 있다. 그러나 리사이징된 일부 컨텐츠는 영상의 퍼짐에 따른 화소수가 감소하거나 사용자 영상(201)에 정확하게 피팅되지 않을 수 있다. 또한, 리사이징이 적용된 일부의 컨텐츠는 대상 인물과 자연스러운 결합이 안되는 경우가 있다.In this case, the enlarged contents 111, 121, and 131 may be conveniently and usefully adjusted to respective original contents 110, 120, and 130 through a resizing process, and provided to the user. However, some of the resized content may decrease the number of pixels as the image spreads or may not be correctly fitted to the user image 201. In addition, some content to which resizing is applied may not be naturally combined with the target person.

예를 들어, 리사이징 과정 중에서 의류나 단색 상품을 리사이징하는 경우는 크게 문제되지 않을 수 있다. 하지만, 헤어 컨텐츠나 체크 색상의 컨텐츠 및 디테일을 원하는 상품 컨텐츠의 경우에는 원래 컨텐츠보다 화소수가 감소하여 선명도가 떨어질 수 있다. 이로써, 화질 훼손이 우려된다.For example, resizing clothes or monochromatic products during the resizing process may not be a problem. However, in the case of the hair content, the content of the check color, and the desired product content, the number of pixels may be reduced than the original content, and thus the sharpness may be reduced. As a result, there is a concern that image quality is impaired.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행함으로써, 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있고 화질의 손실이 없으면서도 피팅 컨텐츠를 사용자 영상에 자연스럽게 변형할 수 있는, 패턴 복사를 이용한 가상 피팅 시스템 그 방법을 제공하는 것을 목적으로 한다.The present invention has been made to solve the above problems, the content to search for the fitting content matching the user's body shape in the user image, and to modify the fitting content unit area divided into a plurality of areas in advance according to the user's request for modification By modifying the fitting content by copying it to an area, and virtually fitting the modified fitting content to the shape of the user's body, it is possible to prevent unnatural coupling or spreading of the image due to resizing and without loss of image quality. An object of the present invention is to provide a method of virtual fitting system using pattern copy, which can naturally transform fitting content into a user image.

이를 위하여, 본 발명의 제1 측면에 따른 장치는, 사용자 영상을 통신망을 통해 전송하여 가상 피팅을 요청하고, 상기 요청에 대한 가상 피팅 영상을 사용자에게 표시하는 사용자 단말; 및 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 템플릿화하여 컨텐츠 추천 테이블을 생성하고, 상기 사용자 단말로부터 수신된 사용자 영상에서 사용자 신체 형태를 인식하고, 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 상기 생성된 컨텐츠 추천 테이블 중에서 검색하고, 상기 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅 장치를 포함하는 것을 특징으로 한다.To this end, an apparatus according to the first aspect of the present invention, a user terminal for transmitting a user image through a communication network to request a virtual fitting, and displays a virtual fitting image for the request to the user; And template content fitting that matches the user's body shape to generate a content recommendation table, recognize the user's body shape from the user image received from the user terminal, and generate the fitting content that matches the recognized user's body shape. Search for the modified content recommendation table, modify the fitting content by copying a plurality of fitting content unit areas preset in accordance with the user's request for modification, and then modify the fitting content to the extracted user body form. And a virtual fitting device for generating a virtual fitting image by virtually fitting the image and transmitting the generated virtual fitting image to the user terminal.

한편, 본 발명의 제2 측면에 따른 장치는, 사용자 단말로부터 사용자 영상을 수신하는 영상 수신부; 상기 수신된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식부; 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색부; 상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형부; 및 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅부를 포함하는 것을 특징으로 한다.On the other hand, the device according to the second aspect of the present invention, the image receiving unit for receiving a user image from the user terminal; A user recognition unit extracting facial feature information or body feature information from the received user image to recognize a user's body shape; A content retrieval unit for retrieving fitting content matching the recognized user body shape from a content recommendation table in which fitting content for each user body shape is templated; A content transformation unit which modifies fitting content by copying a plurality of preset fitting content unit areas to a corresponding content area according to a user's request for modification of the retrieved fitting content; And a virtual fitting unit configured to virtually fit the modified fitting content according to the extracted user body shape, generate a virtual fitting image, and transmit the generated virtual fitting image to the user terminal.

상기 본 발명은, 미리 수집된 사용자 신체 형태와 매칭된 피팅 컨텐츠를 분류하고, 상기 분류 결과에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화부를 더 포함하는 것을 특징으로 한다.The present invention may further include a content templater configured to classify fitting content matched with previously collected user body shapes, and template the fitting content for each user body shape according to the classification result to generate the content recommendation table. It is done.

상기 본 발명은, 상기 얼굴 특징 정보 및 몸체 특징 정보와 상기 인식된 사용자 신체 형태를 저장하는 사용자 DB: 및 상기 매칭된 피팅 컨텐츠를 생성하기 위한 복수의 피팅 컨텐츠 단위 영역과 상기 템플릿화된 컨텐츠 추천 테이블을 저장하는 컨텐츠 DB를 더 포함하는 것을 특징으로 한다.The present invention provides a user DB for storing the facial feature information and the body feature information and the recognized user body shape, and a plurality of fitting content unit areas for generating the matched fitting content, and the templated content recommendation table. Characterized in that it further comprises a content DB for storing.

상기 컨텐츠 검색부는, 상기 사용자 단말의 요청에 따라 상기 인식된 사용자 신체 형태가 변경되면, 상기 변경된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 재검색하는 것을 특징으로 한다.The content search unit may re-search for fitting content matching the changed user body shape when the recognized user body shape is changed at the request of the user terminal.

상기 컨텐츠 변형부는, 상기 피팅 컨텐츠에 대한 크기 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 복수의 피팅 컨텐츠 단위 영역을 전체 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 전체 크기를 확대하는 것을 특징으로 한다.The content modification unit enlarges the total size of the fitting content by copying the plurality of fitting content unit areas divided into upper, lower, left, and right areas to an entire content area according to a request for size modification of the fitting content. It is characterized by.

상기 컨텐츠 변형부는, 상기 피팅 컨텐츠에 대한 면적 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 복수의 피팅 컨텐츠 단위 영역을 일부 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 일부 면적을 확대하는 것을 특징으로 한다.The content modification unit may enlarge the partial area of the fitting content by copying the plurality of fitting content unit areas divided into upper, lower, left, and right areas to a partial content area according to an area deformation request for the fitting content. It is characterized by.

상기 컨텐츠 변형부는, 상기 복수의 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 상기 검색된 피팅 컨텐츠와는 다른 형태의 피팅 컨텐츠를 생성하는 것을 특징으로 한다.The content modifying unit may copy the plurality of fitting content unit areas to another content area to generate fitting content having a form different from the retrieved fitting content.

상기 컨텐츠 변형부는, 상기 피팅 컨텐츠의 좌측 및 우측 컨텐츠 형태가 동일한 경우, 상기 좌측 또는 우측 컨텐츠를 변형하고 상기 변형된 좌측 또는 우측 컨텐츠를 대칭적으로 복사하여 반대측 헤어 컨텐츠를 변형하는 것을 특징으로 한다.When the left and right content types of the fitting content are the same, the content deforming part deforms the left or right content and symmetrically copies the deformed left or right content to deform the opposite hair content.

한편, 본 발명의 제3 측면에 따른 사용자 단말 장치는, 사용자 신체 형태와 매칭되는 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블을 저장하는 메모리; 사용자를 촬영하여 사용자 영상을 획득하는 영상 획득기; 상기 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식기; 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색기; 상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형기; 및 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자에게 제공하는 가상 피팅기를 포함하는 것을 특징으로 한다.On the other hand, the user terminal device according to the third aspect of the present invention, a memory for storing a content recommendation table templated fitting content matching the user's body shape; An image acquirer for capturing a user and obtaining a user image; A user recognizer that recognizes a user's body shape by extracting facial feature information or body feature information from the obtained user image; A content searcher for searching for fitting content matching the recognized user body shape in a content recommendation table in which fitting content for each user body shape is templated; A content transformer for modifying fitting content by copying a plurality of preset fitting content unit areas to a corresponding content area according to a user's request for modifying the retrieved fitting content; And a virtual fitter configured to virtually fit the modified fitting content according to the extracted user body shape to generate a virtual fitting image and to provide the generated virtual fitting image to the user.

한편, 본 발명의 제4 측면에 따른 방법은, 사용자 단말로부터 사용자 영상을 수신하는 영상 획득 단계; 상기 수신된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식 단계; 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색 단계; 상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형 단계; 및 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅 단계를 포함하는 것을 특징으로 한다.On the other hand, the method according to the fourth aspect of the present invention, the image acquisition step of receiving a user image from the user terminal; A user recognition step of recognizing a user's body shape by extracting facial feature information or body feature information from the received user image; A content retrieval step of retrieving fitting content matching the recognized user body shape from a content recommendation table in which fitting content for each user body shape is templated; A content modification step of modifying fitting content by copying a plurality of preset fitting content unit areas to a corresponding content area according to a user's request for modification of the retrieved fitting content; And a virtual fitting step of generating a virtual fitting image by virtually fitting the modified fitting content to the extracted user body shape and transmitting the generated virtual fitting image to the user terminal.

상기 본 발명은, 미리 수집된 사용자 신체 형태와 매칭된 피팅 컨텐츠를 분류하고, 상기 분류 결과에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화 단계를 더 포함하는 것을 특징으로 한다.The present invention may further include a content template step of classifying fitting content matched with a previously collected user's body shape, and templated fitting content for each user's body shape according to the classification result to generate the content recommendation table. It features.

상기 컨텐츠 검색 단계는, 상기 사용자 단말의 요청에 따라 상기 인식된 사용자 신체 형태가 변경되면, 상기 변경된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 재검색하는 것을 특징으로 한다.In the content retrieval step, when the recognized user body shape is changed at the request of the user terminal, the fitting content matching the changed user body shape is re-searched.

상기 컨텐츠 변형 단계는, 상기 피팅 컨텐츠에 대한 크기 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 복수의 피팅 컨텐츠 단위 영역을 전체 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 전체 크기를 확대하는 것을 특징으로 한다.In the content modification step, the size of the fitting content is enlarged by copying the plurality of fitting content unit areas divided into upper, lower, left, and right areas to an entire content area according to a size modification request for the fitting content. Characterized in that.

상기 컨텐츠 변형 단계는, 상기 피팅 컨텐츠에 대한 면적 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 복수의 피팅 컨텐츠 단위 영역을 일부 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 일부 면적을 확대하는 것을 특징으로 한다.The content modification step may include copying the plurality of fitting content unit areas divided into upper, lower, left and right areas to a partial content area to enlarge a partial area of the fitting content according to an area modification request for the fitting content. Characterized in that.

상기 컨텐츠 변형 단계는, 상기 복수의 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 상기 검색된 피팅 컨텐츠와는 다른 형태의 피팅 컨텐츠를 생성하는 것을 특징으로 한다.The modifying of the content may include copying the plurality of fitting content unit areas to another content area to generate fitting content having a different form from the retrieved fitting content.

상기 컨텐츠 변형 단계는, 상기 피팅 컨텐츠의 좌측 및 우측 컨텐츠 형태가 동일한 경우, 상기 좌측 또는 우측 컨텐츠를 변형하고 상기 변형된 좌측 또는 우측 컨텐츠를 대칭적으로 복사하여 반대측 헤어 컨텐츠를 변형하는 것을 특징으로 한다.In the content modification step, when the left and right content types of the fitting content are the same, the left or right content is modified, and the opposite hair content is modified by symmetrically copying the modified left or right content. .

한편, 본 발명의 제5 측면에 따른 방법은, 가상 피팅 대상이 되는 사용자를 촬영하여 사용자 영상을 획득하는 영상 획득 단계; 상기 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식 단계; 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색 단계; 상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형 단계; 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하는 가상 피팅 단계; 및 상기 생성된 가상 피팅 영상을 상기 사용자에게 표시하는 영상 표시 단계를 포함하는 것을 특징으로 한다.On the other hand, the method according to the fifth aspect of the present invention, the image acquisition step of acquiring the user image by photographing the user to be the virtual fitting target; A user recognition step of recognizing a user's body shape by extracting facial feature information or body feature information from the obtained user image; A content retrieval step of retrieving fitting content matching the recognized user body shape from a content recommendation table in which fitting content for each user body shape is templated; A content modification step of modifying fitting content by copying a plurality of preset fitting content unit areas to a corresponding content area according to a user's request for modification of the retrieved fitting content; A virtual fitting step of generating a virtual fitting image by virtually fitting the modified fitting content according to the extracted user body shape; And an image display step of displaying the generated virtual fitting image to the user.

본 발명은, 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행함으로써, 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있다.According to an embodiment of the present invention, a fitting content matching a user's body shape is searched for in a user image, and the fitting content is modified by copying a plurality of fitting content unit areas preset in accordance with a user's request for modification, and then deforming the fitting content. By fitting the fitting content to the shape of the user's body, it is possible to prevent unnatural coupling or spreading of the image due to resizing.

또한, 본 발명은 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형함으로써, 원본 피팅 컨텐츠 화질의 손실이 없으면서도 피팅 컨텐츠를 사용자 영상에 자연스럽게 변형할 수 있는 효과가 있다.In addition, the present invention has the effect of modifying the fitting content by copying a plurality of preset fitting content unit areas to the corresponding content area, thereby naturally modifying the fitting content to the user image without losing the original fitting content quality.

또한, 본 발명은 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하고 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅함으로써, 피팅 컨텐츠의 각각의 종류별로 미리 저장하지 않아도 되고 이를 통해 전체 메모리에 저장된 피팅 컨텐츠의 개수를 줄일 수 있어 메모리 저장 용량을 감소시킬 수 있는 효과가 있다.In addition, the present invention by copying a plurality of preset fitting content unit area to the corresponding content area to modify the fitting content and virtually fitting the modified fitting content according to the user's body shape, do not store in advance for each type of fitting content This can reduce the number of fitting contents stored in the entire memory, thereby reducing the memory storage capacity.

도 1 은 컨텐츠를 이용한 가상 피팅시 컨텐츠 리사이징 방법에 대한 설명도,
도 2 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 시스템의 일실시예 구성도,
도 3 은 본 발명에 따른 사용자 단말의 구성도,
도 4 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 과정을 구체적인 예로 설명한 예시도,
도 5 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 방법에 대한 일실시예 흐름도,
도 6 은 본 발명에 따른 사용자 단말에서의 패턴 복사를 이용한 가상 피팅 방법에 대한 일실시예 흐름도이다.1 is an explanatory diagram for a content resizing method for virtual fitting using content;
2 is a configuration diagram of an embodiment of a virtual fitting system using pattern copy according to the present invention;
3 is a configuration diagram of a user terminal according to the present invention;
4 is an exemplary view illustrating a virtual fitting process using a pattern copy according to the present invention as a specific example;
5 is a flowchart illustrating an embodiment of a virtual fitting method using pattern copying according to the present invention;
6 is a flowchart illustrating a virtual fitting method using pattern copying in a user terminal according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and the operation and effect thereof will be clearly understood through the following detailed description. Prior to the detailed description of the present invention, the same components will be denoted by the same reference numerals even if they are displayed on different drawings, and the detailed description will be omitted when it is determined that the well-known configuration may obscure the gist of the present invention. do.

도 2 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 시스템의 일실시예 구성도이다.2 is a configuration diagram of an embodiment of a virtual fitting system using pattern copy according to the present invention.

도 2에 도시된 바와 같이, 가상 피팅 시스템(20)은 사용자 단말(201) 및 가상 피팅 장치(200)를 포함한다. 여기서, 가상 피팅 장치(200)는 컨텐츠 템플릿화부(210), 영상 수신부(220), 사용자 인식부(230), 컨텐츠 검색부(240), 컨텐츠 변형부(250), 가상 피팅부(260), 사용자 DB(270) 및 컨텐츠 DB(280)를 포함한다.As shown in FIG. 2, the virtual fitting system 20 includes a user terminal 201 and a virtual fitting device 200. Here, the virtual fitting device 200 may include a content templater 210, an image receiver 220, a user recognizer 230, a content searcher 240, a content deformer 250, a virtual fitter 260, User DB 270 and content DB 280.

이하, 본 발명에 따른 패턴 복사를 이용한 가상 피팅 시스템(10)의 구성요소 각각에 대하여 살펴보기로 한다.Hereinafter, each component of the virtual fitting system 10 using the pattern copy according to the present invention will be described.

사용자 단말(201)은 사용자 영상을 촬영하여 통신망을 통해 가상 피팅 장치(200)로 전송한다. 통신망에는 중계 장치가 포함될 수 있다. 중계 장치는 사용자 단말(201)에 대한 사용자 인증을 수행할 수 있다. 중계 장치는 사용자 단말(201)로부터 사용자 아이디 및 비밀번호를 전송받아 사용자의 신원을 확인할 수 있다. 중계 장치는 사용자 인증이 수행된 사용자 단말(201)과 가상 피팅 장치(200) 간의 중계 기능을 수행한다. 중계 장치는 복수의 사용자 단말(201)이 가상 피팅 장치(200)와 통신을 요청하는 경우에 단말의 로드 밸런싱을 수행할 수 있다. 사용자 단말(201)은 영상 촬영 모듈이 구비된 컴퓨터, 휴대 전화 또는 스마트폰이 될 수 있으며, 이에 한정하는 것은 아니다. 사용자 단말(201)은 구비된 영상 촬영 모듈을 이용하여 사용자의 영상을 촬영하여 사용자 영상을 획득하고, 가상 피팅 장치(200)로부터 통신망을 통해 제공된 가상 피팅 영상을 사용자에게 표시한다. 여기서, 영상 촬영 모듈은 컴퓨터 등의 외부 컨트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인 휴대 단말기에 내장된 카메라일 수 있다.The user terminal 201 photographs a user image and transmits the captured image to the virtual fitting apparatus 200 through a communication network. The communication network may include a relay device. The relay device may perform user authentication on the user terminal 201. The relay device may receive the user ID and password from the user terminal 201 to check the identity of the user. The relay device performs a relay function between the user terminal 201 on which user authentication is performed and the virtual fitting device 200. The relay device may perform load balancing of the terminal when the plurality of user terminals 201 request communication with the virtual fitting device 200. The user terminal 201 may be a computer, a mobile phone, or a smartphone equipped with an image capturing module, but is not limited thereto. The user terminal 201 acquires a user image by capturing an image of the user using the provided image capturing module, and displays the virtual fitting image provided through the communication network from the virtual fitting apparatus 200 to the user. Here, the image capturing module may be a camera or a webcam connected to an external control device such as a computer, or a camera embedded in a personal portable terminal.

사용자 단말(201)이 전송할 사용자 영상을 살펴보면, 사용자 영상에는 얼굴 영역 및 몸체 영역이 포함될 수 있다. 얼굴 영역에는 눈, 눈썹, 코, 입, 윤곽선, 귀, 헤어 영역이 포함될 수 있다. 또한, 몸체 영역에는 얼굴 영역을 제외한 목, 몸, 손, 다리 영역 등이 포함될 수 있다.Looking at the user image to be transmitted by the user terminal 201, the user image may include a face region and a body region. The facial area may include eyes, eyebrows, nose, mouth, contours, ears, and hair areas. In addition, the body region may include a neck, a body, a hand, and a leg region except for the face region.

가상 피팅 장치(200)는 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 템플릿화하여 컨텐츠 추천 테이블을 생성한다. 이후, 가상 피팅 장치(200)는 사용자 단말(201)로부터 사용자 영상을 수신하고, 그 수신된 사용자 영상으로부터 사용자 신체 형태를 인식한다. 그리고 가상 피팅 장치(200)는 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 컨텐츠 추천 테이블 중에서 검색한다. 가상 피팅 장치(200)는 통신망을 통해 사용자 단말(201)의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 원본 컨텐츠에 복사하여 피팅 컨텐츠를 변형한다. 피팅 컨텐츠가 헤어 컨텐츠인 경우, 헤어 컨텐츠는 복수의 컨텐츠 단위 영역으로 나누어져 있다. 컨텐츠 단위 영역은 유사한 패턴을 가지는 컨텐츠 영역을 나타내며, 이러한 복수의 컨텐츠 단위 영역이 조합되어 전체의 헤어 컨텐츠가 생성될 수 있다. 예를 들어, 헤어 컨텐츠가 상, 하, 좌 및 우측 영역으로 나누어져 있다면, 가상 피팅 장치(200)는 4개의 컨텐츠 단위 영역이 위치한 헤어 컨텐츠 영역 즉, 상, 하, 좌 및 우측 영역에 각각 복사하여 전체 헤어 컨텐츠를 변형할 수 있다.The virtual fitting apparatus 200 generates a content recommendation table by templateting fitting content matching the user's body shape. Thereafter, the virtual fitting device 200 receives a user image from the user terminal 201, and recognizes a user's body shape from the received user image. The virtual fitting device 200 searches for fitting content matching the recognized user body shape in the content recommendation table. The virtual fitting apparatus 200 deforms the fitting content by copying a plurality of preset fitting content unit areas to the original content according to the modification request of the user terminal 201 through a communication network. When the fitting content is hair content, the hair content is divided into a plurality of content unit areas. The content unit area represents a content area having a similar pattern, and the plurality of content unit areas may be combined to generate the entire hair content. For example, if the hair content is divided into upper, lower, left and right areas, the virtual fitting device 200 copies the hair content area in which four content unit areas are located, that is, the upper, lower, left and right areas, respectively. To transform the entire hair content.

그리고 가상 피팅 장치(200)는 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성한다. 이어서, 가상 피팅 장치(200)는 생성된 가상 피팅 영상을 통신망을 통해 사용자 단말(201)로 전송한다.The virtual fitting apparatus 200 generates a virtual fitting image by virtually fitting the modified fitting content according to the shape of the user's body. Subsequently, the virtual fitting apparatus 200 transmits the generated virtual fitting image to the user terminal 201 through a communication network.

가상 피팅 장치(200)의 구성요소 각각에 대하여 상세하게 살펴보기로 한다.Each component of the virtual fitting device 200 will be described in detail.

컨텐츠 템플릿화부(210)는 미리 수집된 사용자 신체 형태와 매칭된 피팅 컨텐츠를 분류하고, 그 분류 결과에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 컨텐츠 추천 테이블을 생성한다. 컨텐츠 템플릿화부(210)는 템플릿화된 사용자 신체 형태별 피팅 컨텐츠를 컨텐츠 DB(280)에 저장한다. 가상 체험이 완료된 후, 컨텐츠 템플릿화부(210)는 인식된 사용자 신체 형태와 가상 피팅부(260)에서 검색된 피팅 컨텐츠를 매칭시킨다. 그리고 컨텐츠 템플릿화부(210)는 그 매칭 결과를 새로운 사용자 특성별 피팅 컨텐츠로 템플릿화하여 컨텐츠 DB(280)에 저장한다. 이를 통해 새로운 피팅 컨텐츠가 템플릿화되어 컨텐츠 DB(280)에 저장될 수 있다.The content templater 210 classifies fitting content matched with the previously collected user's body shape, and generates a content recommendation table by templated fitting content for each user's body shape according to the classification result. The content templater 210 stores the templated fitting content for each user's body type in the content DB 280. After the virtual experience is completed, the content templater 210 matches the recognized user body shape with the fitting content retrieved from the virtual fitting unit 260. The content templater 210 templates the matching result into new fitting content for each user characteristic and stores the matching result in the content DB 280. Through this, new fitting content may be templated and stored in the content DB 280.

영상 수신부(220)는 사용자 단말(201)로부터 사용자 영상을 수신한다.The image receiver 220 receives a user image from the user terminal 201.

그리고 사용자 인식부(230)는 영상 수신부(220)에서 수신된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식한다.The user recognizer 230 extracts facial feature information or body feature information from the user image received by the image receiver 220 to recognize a user's body shape.

이어서, 컨텐츠 검색부(240)는 사용자 인식부(230)에서 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다. 컨텐츠 검색부(240)는 사용자 단말(201)의 요청에 따라 사용자 인식부(230)에서 인식된 사용자 신체 형태가 변경되면, 그 변경된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 재검색할 수 있다. 이를 통해, 사용자는 사용자 단말(201)을 통해 가상 피팅을 위한 사용자 신체 형태를 선택하거나 변경할 수 있다.Subsequently, the content retrieval unit 240 searches for fitting content matching the user's body shape recognized by the user recognition unit 230 from a content recommendation table in which fitting content for each user's body shape is templated. When the user body shape recognized by the user recognition unit 230 is changed in response to a request of the user terminal 201, the content search unit 240 may re-search the fitting content that matches the changed user body shape. Through this, the user may select or change the user's body shape for the virtual fitting through the user terminal 201.

컨텐츠 검색부(240)에서 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라, 컨텐츠 변형부(250)는 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한다.In response to a user's request for modification of the fitting content retrieved by the content retrieval unit 240, the content transformation unit 250 copies a plurality of preset fitting content unit areas to the corresponding content area to deform the fitting content.

이후, 가상 피팅부(260)는 컨텐츠 변형부(250)에서 변형된 피팅 컨텐츠를 사용자 인식부(230)에서 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성한다. 그리고 가상 피팅부(260)는 생성된 가상 피팅 영상을 상기 사용자 단말(201)로 전송한다. 가상 피팅부(260)는 컨텐츠 검색부(240)에서 검색된 피팅 컨텐츠 중에서 사용자 단말(201)에 의해 선택된 피팅 컨텐츠를 이용하여 가상 피팅을 수행할 수 있다. 예를 들어, 헤어 및 의류가 포함된 피팅 컨텐츠 중에서 헤어가 사용자 단말(201)에 의해 선택되면, 가상 피팅부(260)는 선택된 헤어에 대한 피팅 컨텐츠를 이용하여 가상 피팅을 수행할 수 있다.Thereafter, the virtual fitting unit 260 virtually fits the fitting content modified by the content deforming unit 250 according to the shape of the user's body extracted by the user recognition unit 230 to generate a virtual fitting image. The virtual fitting unit 260 transmits the generated virtual fitting image to the user terminal 201. The virtual fitting unit 260 may perform a virtual fitting using the fitting contents selected by the user terminal 201 among the fitting contents retrieved by the content searching unit 240. For example, when hair is selected by the user terminal 201 from among fitting contents including hair and clothing, the virtual fitting unit 260 may perform virtual fitting using the fitting contents for the selected hair.

사용자 DB(270)는 얼굴 특징 정보 및 몸체 특징 정보와 사용자 인식부(230)에서 인식된 사용자 신체 형태를 저장한다.The user DB 270 stores face feature information, body feature information, and the user's body shape recognized by the user recognizer 230.

컨텐츠 DB(280)는 사용자 신체 형태와 매칭된 피팅 컨텐츠를 생성하기 위한 복수의 피팅 컨텐츠 단위 영역과 컨텐츠 템플릿화부(210)에서 템플릿화된 컨텐츠 추천 테이블을 저장한다.The content DB 280 stores a plurality of fitting content unit areas for generating fitting content matched with a user's body shape, and a content recommendation table templated by the content templater 210.

한편, 컨텐츠 변형부(250)를 구체적으로 살펴보면, 사용자 단말(201)의 피팅 컨텐츠에 대한 크기나 모양 변형 요청에 따라, 컨텐츠 변형부(250)는 상측, 하측, 좌측 및 우측 영역으로 구분된 복수의 피팅 컨텐츠 단위 영역을 원본 컨텐츠 영역에 복사하여 피팅 컨텐츠의 전체 크기를 확대할 수 있다. 이를 통해, 전체적인 피팅 컨텐츠의 크기가 변경된다. 여기서, 피팅 컨텐츠 단위 영역은 상측, 하측, 좌측 및 우측 영역뿐만 아니라 다양한 영역으로 구분될 수 있다. 예를 들어, 헤어 컨텐츠가 20개의 컨텐츠 단위 영역으로 나누어져 있는 경우, 컨텐츠 변형부(250)는 유사한 패턴을 가지는 20개의 컨텐츠 단위 영역을 각각 확대하고자 하는 헤어 컨텐츠의 위치에 각각 복사하여 붙임으로써, 헤어 컨텐츠를 확대시킬 수 있다. 컨텐츠 변형부(250)는 컨텐츠 단위 영역을 복사하여 붙임으로써, 헤어 컨텐츠의 해상도가 떨어지지 않으면서도 헤어 컨텐츠를 확대시킬 수 있다.Meanwhile, referring to the content deforming unit 250 in detail, the content deforming unit 250 is divided into upper, lower, left and right regions according to a request for modifying the size or shape of the fitting content of the user terminal 201. The total size of the fitting content may be enlarged by copying the fitting content unit area of the original content area. Through this, the size of the overall fitting content is changed. Here, the fitting content unit area may be divided into various areas as well as upper, lower, left and right areas. For example, when the hair content is divided into 20 content unit areas, the content transformation unit 250 copies and pastes 20 content unit areas each having a similar pattern to positions of the hair content to be enlarged, respectively. The hair content can be enlarged. The content deforming unit 250 may enlarge the hair content without copying and pasting the content unit area by reducing the resolution of the hair content.

또한, 사용자 단말(201)의 피팅 컨텐츠에 대한 면적 변형 요청에 따라, 컨텐츠 변형부(250)는 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 복수의 피팅 컨텐츠 단위 영역을 일부 컨텐츠 영역에 복사하여 피팅 컨텐츠의 일부 면적을 확대할 수 있다. 예를 들어, 사용자가 좌측 헤어 영역을 증가시키고자 하는 경우, 컨텐츠 변형부(250)는 좌측의 피팅 컨텐츠 단위 영역을 좌측의 컨텐츠 영역에 복사하여 헤어 컨텐츠의 좌측 면적만 증가시킬 수 있다.In addition, in response to an area deformation request for the fitting content of the user terminal 201, the content deforming unit 250 copies the plurality of fitting content unit areas divided into upper, lower, left and right areas to a partial content area. Some areas of the fitting content can be enlarged. For example, when the user wants to increase the left hair area, the content deforming unit 250 may copy the fitting content unit area on the left side to the content area on the left side to increase only the left area of the hair content.

또한, 컨텐츠 변형부(250)는 복수의 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 컨텐츠 검색부(240)에서 검색된 피팅 컨텐츠와는 다른 형태의 피팅 컨텐츠를 생성할 수 있다. 예를 들어, 사용자가 다른 모양의 헤어 컨텐츠를 요청하는 경우, 컨텐츠 변형부(250)는 복수의 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 다른 헤어 모양의 피팅 컨텐츠를 생성할 수 있다. 이를 통해, 모든 헤어 스타일의 원본 영상이 컨텐츠 DB(280)에 저장되지 않아도, 컨텐츠 변형부(250)는 복수의 피팅 컨텐츠 단위 영역을 이용하여 여러 모양의 헤어 컨텐츠를 생성할 수 있다.In addition, the content transformation unit 250 may copy the plurality of fitting content unit areas to another content area to generate fitting content having a form different from that of the fitting content searched by the content search unit 240. For example, when the user requests hair content having a different shape, the content deforming unit 250 may copy the plurality of fitting content unit areas to another content area to generate fitting content having a different hair shape. In this way, even if the original images of all the hairstyles are not stored in the content DB 280, the content transformation unit 250 may generate hair content having various shapes using a plurality of fitting content unit areas.

또한, 피팅 컨텐츠의 좌측 및 우측 컨텐츠 형태가 동일한 경우, 컨텐츠 변형부(250)는 좌측 또는 우측 컨텐츠를 변형하고 그 변형된 좌측 또는 우측 컨텐츠를 대칭적으로 복사하여 반대측 피팅 컨텐츠를 변형할 수 있다. 예를 들어, 양쪽 대칭인 헤어 컨텐츠인 경우, 컨텐츠 변형부(250)는 좌측 헤어 컨텐츠를 변형시킨 후, 이를 대칭적으로 복사하여 우측 헤어 컨텐츠를 변형할 수 있다.In addition, when the left and right content types of the fitting content are the same, the content modification unit 250 may deform the left and right content and symmetrically copy the modified left or right content to deform the opposite fitting content. For example, in the case of both symmetrical hair content, the content deformation unit 250 may deform the left hair content, and then symmetrically copy it to deform the right hair content.

도 3 은 본 발명에 따른 사용자 단말에서의 패턴 복사를 이용한 가상 피팅 방법에 대한 일실시예 흐름도이다.3 is a flowchart illustrating a virtual fitting method using pattern copy in a user terminal according to the present invention.

도 3에 도시된 바와 같이, 사용자 단말(201)이 네트워크 기반의 서비스를 받지 않고 독립적으로 서비스를 수행하는 경우, 사용자 단말(201)은 영상 획득기(410), 사용자 인식기(420), 컨텐츠 검색기(430), 컨텐츠 변형기(440), 가상 피팅기(450) 및 메모리(460)를 포함하며, 외장 또는 내장 메모리(460)에 사용자 신체 형태와 매칭되는 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블이 미리 저장되어 있다.As illustrated in FIG. 3, when the user terminal 201 independently performs a service without receiving a network-based service, the user terminal 201 may include an image acquirer 410, a user recognizer 420, and a content searcher. 430, a content modifier 440, a virtual fitter 450, and a memory 460, and a content recommendation table in which fitting content matching a user's body shape is templated in an external or internal memory 460 in advance. It is stored.

사용자 단말(201)은 사용자를 촬영하여 사용자 영상을 획득하고, 그 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식한다. 그리고 사용자 단말(201)은 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하고, 그 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한다. 이어서, 사용자 단말(201)은 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 그 생성된 가상 피팅 영상을 사용자에게 제공한다.The user terminal 201 acquires a user image by capturing a user, extracts facial feature information or body feature information from the obtained user image, and recognizes a user's body shape. In addition, the user terminal 201 searches for a fitting content matching the recognized user body shape from a content recommendation table in which the fitting content for each user's body type is templated, and sets a plurality of preset contents according to a user's request for modification of the retrieved fitting content. The fitting content is transformed by copying the fitting content unit area to the corresponding content area. Subsequently, the user terminal 201 virtually fits the modified fitting content according to the shape of the user's body, generates a virtual fitting image, and provides the generated virtual fitting image to the user.

메모리(460)는 사용자 신체 형태와 매칭되는 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블을 저장한다. 또한, 메모리(460)는 사용자 신체 형태 인식에 이용되는 사용자 영상, 사용자별 사용자 신체 형태 및 사용자 신체 형태별 피팅 컨텐츠를 저장할 수 있다. 여기서, 메모리(460)는 이러한 데이터를 주기적으로 또는 미리 업데이트할 수 있다.The memory 460 stores a content recommendation table in which fitting content that matches a user's body shape is templated. In addition, the memory 460 may store a user image used for user body shape recognition, a user body shape for each user, and fitting content for each user body shape. Here, the memory 460 may update this data periodically or in advance.

영상 획득기(410)는 촬영 모듈을 구비하고, 구비된 촬영 모듈을 통해 사용자를 촬영하여 사용자 영상을 획득한다.The image acquirer 410 includes a photographing module, and acquires a user image by photographing the user through the photographing module.

사용자 인식기(420)는 영상 획득기(410)에서 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식한다.The user recognizer 420 extracts facial feature information or body feature information from the user image acquired by the image acquirer 410 to recognize a user's body shape.

컨텐츠 검색기(430)는 사용자 인식기(420)에서 인식된 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다.The content searcher 430 searches for fitting content matching the recognized user body shape recognized by the user recognizer 420 from a content recommendation table in which the fitting content for each user body form is templated.

컨텐츠 검색기(430)에서 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라, 컨텐츠 변형기(440)는 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한다.In response to a user's request for modification of the fitting content retrieved by the content searcher 430, the content modifier 440 modifies the fitting content by copying a plurality of preset fitting content unit areas to the corresponding content area.

가상 피팅기(450)는 컨텐츠 변형기(440)에서 변형된 피팅 컨텐츠를 사용자 인식기(420)에서 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성한다. 그리고 가상 피팅기(450)는 생성된 가상 피팅 영상을 사용자에게 표시한다.The virtual fitter 450 generates a virtual fitting image by virtually fitting the fitting content modified by the content modifier 440 according to the shape of the user's body extracted by the user recognizer 420. The virtual fitter 450 displays the generated virtual fitting image to the user.

도 4 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 과정을 구체적인 예로 설명한 것이다. 4 illustrates a virtual fitting process using a pattern copy according to the present invention as a specific example.

도 4에 도시된 바와 같이, 가상 피팅 대상이 되는 사용자(302)에 대해 검색된 피팅 컨텐츠가 원본 컨텐츠(310)인 경우를 살펴보기로 한다.As shown in FIG. 4, a case where the fitting content searched for the user 302 which is the virtual fitting target is the original content 310 will be described.

예를 들어, 가상 피팅 대상 사용자(302)가 원본 사용자(301)와 대응되는 원본 컨텐츠(310) 대비 100% 비율로 그대로 가상 피팅하고자 할 때, 가상 피팅 장치(200)는 원본 컨텐츠(310)와 동일한 비율의 피팅 컨텐츠(311)로 가상 피팅을 수행하여 사용자에게 표시한다.For example, when the virtual fitting target user 302 attempts to virtually fit 100% of the original content 310 corresponding to the original user 301 as it is, the virtual fitting device 200 is connected to the original content 310. The virtual fitting is performed with the fitting content 311 of the same ratio and displayed to the user.

반면, 가상 피팅 대상 사용자(302)가 원본 사용자(301)와 대응되는 원본 컨텐츠(310) 대비 110% 비율로 원본 컨텐츠(310)를 확대하고자 할 때, 가상 피팅 장치(200)는 원본 컨텐츠(310) 대비 110% 비율에 맞춰 복수의 피팅 컨텐츠 단위 영역을 블록 형태로 구분된 컨텐츠 영역에 각각 복사한다. 여기서, 블록 형태로 구분된 컨텐츠 영역은 110% 비율에 맞춰 복사해야 되는 컨텐츠 영역을 나타낸다. 가상 피팅 장치(200)는 원본 컨텐츠(310)에서 110% 확대하고자 하는 복수의 피팅 컨텐츠 단위 영역을 계산하고 그 계산된 영역에 대응하는 블록 위치마다 피팅 컨텐츠 단위 영역을 추가하여 변형 컨텐츠(312)를 생성할 수 있다. 도 3의 변형 컨텐츠(312)에는 블록 형태로 복사되어 추가된 피팅 컨텐츠 단위 영역이 나타나 있다. 전체 헤어 컨텐츠를 확대시키기 위하여, 전체 헤어 모양에 대해서 전부 10%씩 피팅 컨텐츠 단위 영역을 복사하여 추가할 수 있다.On the other hand, when the virtual fitting target user 302 tries to enlarge the original content 310 at a ratio of 110% of the original content 310 corresponding to the original user 301, the virtual fitting device 200 is the original content 310. ) A plurality of fitting content unit areas are copied to the content areas divided into blocks according to the ratio of 110%. Herein, the content areas divided into block types represent content areas to be copied at a 110% ratio. The virtual fitting apparatus 200 calculates the plurality of fitting content unit areas to be enlarged 110% from the original content 310, and adds the fitting content unit areas to block positions corresponding to the calculated areas to add the modified content 312. Can be generated. The modified content 312 of FIG. 3 illustrates a fitting content unit area copied and added in a block form. In order to enlarge the entire hair content, the fitting content unit area may be copied and added by 10% of the total hair shape.

그리고 가상 피팅 장치(200)는 110% 비율로 변형되어 가상 피팅된 변형 컨텐츠(312)를 사용자에게 표시할 수 있다. 피팅 컨텐츠(320)가 의류인 경우에, 가상 피팅 장치(200)는 상기와 같은 과정을 통해 의류의 원본 컨텐츠(320)를 확대시켜 변형 컨텐츠(321)를 가상 피팅할 수 있다.In addition, the virtual fitting apparatus 200 may be deformed at a ratio of 110% to display the virtual fitting deformed content 312 to the user. When the fitting content 320 is a garment, the virtual fitting apparatus 200 may enlarge the original content 320 of the garment to virtually fit the modified content 321 through the above process.

도 5 는 본 발명에 따른 패턴 복사를 이용한 가상 피팅 방법에 대한 일실시예 흐름도이다.5 is a flowchart illustrating a virtual fitting method using pattern copy according to the present invention.

우선, 컨텐츠 템플릿화부(210)는 사용자 신체 형태의 분석에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 컨텐츠 추천 테이블을 생성한다. 여기서, 사용자 신체 형태별 피팅 컨텐츠는 템플릿화되어 컨텐츠 추천 테이블로 생성되며 컨텐츠 DB(280)에 저장된다.First, the content templater 210 generates a content recommendation table by templateting fitting content for each user's body shape according to the analysis of the user's body shape. Here, the fitting content for each user's body type is templated, generated as a content recommendation table, and stored in the content DB 280.

영상 수신부(220)는 사용자 단말(201)로부터 통신망을 통해 사용자 영상을 수신한다(S502).The image receiver 220 receives a user image from the user terminal 201 through a communication network (S502).

사용자 인식부(230)는 사용자 단말(201)로부터 수신된 사용자 영상에서 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식한다(S504).The user recognizer 230 extracts facial feature information or body feature information from the user image from the user image received from the user terminal 201 to recognize the user's body shape (S504).

이어서, 컨텐츠 검색부(240)는 사용자 인식부(230)에서 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다(S506).Subsequently, the content search unit 240 searches for fitting content matching the user body shape recognized by the user recognition unit 230 from the content recommendation table in which the fitting content for each user body form is templated (S506).

이후, 컨텐츠 변형부(250)는 컨텐츠 검색부(240)에서 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한다(S508).Thereafter, the content deforming unit 250 deforms the fitting content by copying a plurality of fitting content unit areas set in advance in response to a user's request for modification of the fitting content searched by the content searching unit 240 (S508). .

그리고 가상 피팅부(260)는 컨텐츠 변형부(250)에서 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성한다(S510).The virtual fitting unit 260 generates a virtual fitting image by virtually fitting the fitting content modified by the content deforming unit 250 according to the extracted user body shape (S510).

이어서, 가상 피팅부(260)는 생성된 가상 피팅 영상을 사용자 단말(201)로 통신망을 통해 전송한다(S512).Subsequently, the virtual fitting unit 260 transmits the generated virtual fitting image to the user terminal 201 through a communication network (S512).

도 6 은 본 발명에 따른 사용자 단말에서의 패턴 복사를 이용한 가상 피팅 방법에 대한 일실시예 흐름도이다.6 is a flowchart illustrating a virtual fitting method using pattern copying in a user terminal according to the present invention.

도 6을 참조하여, 사용자 단말(201)에서 통신망 없이 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 이용하여 가상 피팅 영상을 제공하는 과정을 살펴보기로 한다.Referring to FIG. 6, a process of providing a virtual fitting image using fitting content that matches a user's body shape without a communication network in the user terminal 201 will be described.

사용자 단말(201)의 영상 획득기(410)는 구비된 촬영 모듈을 통해 가상 피팅 대상이 되는 사용자를 촬영하여 사용자 영상을 획득한다(S602).The image acquirer 410 of the user terminal 201 acquires a user image by photographing a user who is a virtual fitting target through the provided imaging module (S602).

그리고 사용자 인식기(420)는 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식한다(S604).The user recognizer 420 extracts facial feature information or body feature information from the acquired user image and recognizes a user's body shape (S604).

이어서, 컨텐츠 검색기(430)는 사용자 인식기(420)에서 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색한다(S606).Subsequently, the content searcher 430 searches for fitting content matching the user's body shape recognized by the user recognizer 420 from a content recommendation table in which fitting content for each user's body shape is templated (S606).

이후, 컨텐츠 변형기(440)는 컨텐츠 검색기(430)에서 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 변형 컨텐츠를 생성한다(S608). 컨텐츠 변형기(440)는 사용자가 원하는 만큼 자동으로 피팅 컨텐츠 단위 영역을 복사하여 피팅 컨텐츠에 추가함으로써, 이미지가 퍼지는 현상이 없으며 선명하게 컨텐츠를 확대할 수 있다. 이때, 컨텐츠 변형기(440)는 리사이징 과정이 아닌 컨텐츠 면적을 자연스럽게 확대함으로써 가상 피팅을 자연스럽게 수행할 수 있다. 즉, 컨텐츠 변형기(440)는 이미지 리사이징 과정이 아닌 이미지 영역이 복수 개로 구분된 단위 영역을 계산해서 그만큼 피팅 컨텐츠에 추가하여 변형 컨텐츠를 생성할 수 있다. 이 경우, 가상 피팅기(450)는 화질의 손실이 없고 피팅 컨텐츠 단위 영역을 이용하여 여러 가지 다른 컨텐츠에 대한 가상 피팅 영상을 생성할 수 있다.Thereafter, the content modifier 440 generates modified content by copying a plurality of fitting content unit areas set in advance to the corresponding content area according to the user's request for modification of the fitting content searched by the content searcher 430 (S608). The content modifier 440 automatically expands the content without copying the image by automatically copying the fitting content unit area to the fitting content as desired by the user. In this case, the content modifier 440 may naturally perform the virtual fitting by naturally expanding the content area instead of the resizing process. That is, the content modifier 440 may generate the deformed content by calculating the unit area in which the image area is divided into plural pieces rather than the image resizing process and adding the same to the fitting content. In this case, the virtual fitter 450 may generate virtual fitting images of various other contents using the fitting content unit area without loss of image quality.

가상 피팅기(450)는 컨텐츠 변형기(440)에서 생성된 변형 컨텐츠를 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성한다(S610).The virtual fitter 450 generates a virtual fitting image by virtually fitting the modified content generated by the content modifier 440 according to the extracted user body shape (S610).

그리고 가상 피팅기(450)는 생성된 가상 피팅 영상을 사용자에게 표시한다(S612).The virtual fitter 450 displays the generated virtual fitting image to the user (S612).

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.The foregoing description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the spirit of the present invention. Accordingly, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

본 발명은 사용자 영상에서 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 검색하고, 사용자의 변형 요청에 따라 미리 설정된 복수의 피팅 컨텐츠 단위 영역을 해당 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 그 변형된 피팅 컨텐츠를 사용자 신체 형태에 맞게 가상 피팅을 수행함으로써, 리사이징으로 인한 부자연스러운 결합 또는 영상의 퍼짐 현상을 방지할 수 있고 화질의 손실이 없으면서도 피팅 컨텐츠를 사용자 영상에 자연스럽게 변형할 수 있다.The present invention searches for fitting content matching a user's body shape in a user image, modifies the fitting content by copying a plurality of preset content unit areas preset in accordance with a user's request for modification, and then deforming the fitting content. By virtually fitting the content to the shape of the user's body, it is possible to prevent unnatural combining or spreading of the image due to resizing, and to naturally modify the fitting content to the user's image without loss of image quality.

201: 사용자 단말 200: 가상 피팅 장치
210: 컨텐츠 템플릿화부 220: 영상 수신부
230: 사용자 인식부 240: 컨텐츠 검색부
250: 컨텐츠 변형부 260: 가상 피팅부
270: 사용자 DB 280: 컨텐츠 DB
410: 영상 획득기 420: 사용자 인식기
430: 컨텐츠 검색기 440: 컨텐츠 변형기
450: 가상 피팅기 460: 메모리201: user terminal 200: virtual fitting device
210: content template unit 220: video receiving unit
230: user recognition unit 240: content search unit
250: content transformation unit 260: virtual fitting unit
270: user DB 280: content DB
410: image acquirer 420: user recognizer
430: content finder 440: content transformer
450: virtual fitting machine 460: memory

Claims (18)

사용자 영상을 통신망을 통해 전송하여 가상 피팅을 요청하고, 상기 요청에 대한 가상 피팅 영상을 사용자에게 표시하는 사용자 단말; 및
사용자 신체 형태와 매칭되는 피팅 컨텐츠를 템플릿화하여 컨텐츠 추천 테이블을 생성하고, 상기 사용자 단말로부터 수신된 사용자 영상에서 사용자 신체 형태를 인식하고, 상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 상기 생성된 컨텐츠 추천 테이블 중에서 검색하고, 상기 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형한 후, 상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅 장치
를 포함하는 패턴 복사를 이용한 가상 피팅 시스템.A user terminal transmitting a user image through a communication network to request a virtual fitting, and displaying a virtual fitting image to the user; And
The content recommendation table is generated by template fitting content matching the user's body shape, recognizes the user's body shape from the user image received from the user terminal, and generates the fitting content matching the recognized user's body shape. Search the content recommendation table, copy the fitting content unit area divided into a plurality of areas in advance into a content area to be deformed according to the user's request for modification, and deform the fitting content, and then extract the modified fitting content from the extracted user. A virtual fitting device for generating a virtual fitting image by virtually fitting the body shape and transmitting the generated virtual fitting image to the user terminal.
Virtual fitting system using a pattern copy comprising a. 사용자 단말로부터 사용자 영상을 수신하는 영상 수신부;
상기 수신된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식부;
상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색부;
상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형부; 및
상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅부
를 포함하는 패턴 복사를 이용한 가상 피팅 장치.An image receiver configured to receive a user image from a user terminal;
A user recognition unit extracting facial feature information or body feature information from the received user image to recognize a user's body shape;
A content retrieval unit for retrieving fitting content matching the recognized user body shape from a content recommendation table in which fitting content for each user body shape is templated;
A content transformation unit which modifies fitting content by copying a fitting content unit area, which is divided into a plurality of areas, into a content area to be deformed according to a user's request for modification of the retrieved fitting content; And
The virtual fitting unit generates a virtual fitting image by virtually fitting the modified fitting content according to the extracted user body shape and transmits the generated virtual fitting image to the user terminal.
Virtual fitting device using a pattern copy comprising a. 제 2 항에 있어서,
미리 수집된 사용자 신체 형태와 매칭된 피팅 컨텐츠를 분류하고, 상기 분류 결과에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화부
를 더 포함하는 패턴 복사를 이용한 가상 피팅 장치.The method of claim 2,
A content templater for classifying fitting content matched with a user's body shape collected in advance and template the fitting content for each user's body type according to the classification result to generate the content recommendation table.
Virtual fitting device using a pattern copy further comprising. 제 2 항에 있어서,
상기 얼굴 특징 정보 및 몸체 특징 정보와 상기 인식된 사용자 신체 형태를 저장하는 사용자 DB: 및
상기 매칭된 피팅 컨텐츠를 생성하기 위하여 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역과 상기 템플릿화된 컨텐츠 추천 테이블을 저장하는 컨텐츠 DB
를 더 포함하는 패턴 복사를 이용한 가상 피팅 장치.The method of claim 2,
A user DB for storing the facial feature information and body feature information and the recognized user body shape; and
A content DB storing a fitting content unit area divided into a plurality of areas in advance and the templated content recommendation table to generate the matched fitting content.
Virtual fitting device using a pattern copy further comprising. 제 2 항에 있어서,
상기 컨텐츠 검색부는,
상기 사용자 단말의 요청에 따라 상기 인식된 사용자 신체 형태가 변경되면, 상기 변경된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 재검색하는 패턴 복사를 이용한 가상 피팅 장치.The method of claim 2,
The content search unit,
The virtual fitting device using a pattern copy to re-search for the fitting content matching the changed user body shape when the recognized user body shape is changed at the request of the user terminal. 제 2 항에 있어서,
상기 컨텐츠 변형부는,
상기 피팅 컨텐츠에 대한 크기 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠를 확대하는 패턴 복사를 이용한 가상 피팅 장치.The method of claim 2,
The content modification unit,
The virtual fitting apparatus using a pattern copy to enlarge the fitting content by copying a fitting content unit area divided into an upper side, a lower side, a left side, and a right side area to a content area to be deformed according to the size transformation request for the fitting content. 제 2 항에 있어서,
상기 컨텐츠 변형부는,
상기 피팅 컨텐츠에 대한 면적 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 피팅 컨텐츠 단위 영역을 일부 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 일부 면적을 확대하는 패턴 복사를 이용한 가상 피팅 장치.The method of claim 2,
The content modification unit,
The virtual fitting apparatus using pattern copying to enlarge a partial area of the fitting content by copying a fitting content unit area divided into upper, lower, left and right areas into a partial content area according to an area deformation request for the fitting content. 제 2 항에 있어서,
상기 컨텐츠 변형부는,
상기 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 상기 검색된 피팅 컨텐츠와는 다른 형태의 피팅 컨텐츠를 생성하는 패턴 복사를 이용한 가상 피팅 장치.The method of claim 2,
The content modification unit,
And copying the fitting content unit area to another content area to generate fitting content having a different form from the retrieved fitting content. 제 2 항에 있어서,
상기 컨텐츠 변형부는,
상기 피팅 컨텐츠의 좌측 및 우측 컨텐츠 형태가 동일한 경우, 상기 좌측 또는 우측 컨텐츠를 변형하고 상기 변형된 좌측 또는 우측 컨텐츠를 대칭적으로 복사하여 반대측 헤어 컨텐츠를 변형하는 패턴 복사를 이용한 가상 피팅 장치.The method of claim 2,
The content modification unit,
And the left and right contents of the fitting content are identical, the virtual fitting apparatus using pattern copying to deform the left or right content and to symmetrically copy the modified left or right content to deform the opposite hair content. 사용자 신체 형태와 매칭되는 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블을 저장하는 메모리;
사용자를 촬영하여 사용자 영상을 획득하는 영상 획득기;
상기 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식기;
상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색기;
상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형기; 및
상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자에게 제공하는 가상 피팅기
를 포함하는 가상 피팅을 위한 사용자 단말 장치.A memory configured to store a content recommendation table in which fitting content matching a user's body shape is templated;
An image acquirer for capturing a user and obtaining a user image;
A user recognizer that recognizes a user's body shape by extracting facial feature information or body feature information from the obtained user image;
A content searcher for searching for fitting content matching the recognized user body shape in a content recommendation table in which fitting content for each user body shape is templated;
A content transformer for modifying fitting content by copying a fitting content unit area divided into a plurality of areas in advance to a content area to be deformed according to a user's request for modification of the retrieved fitting content; And
A virtual fitting machine for generating a virtual fitting image by virtually fitting the modified fitting content according to the extracted user body shape and providing the generated virtual fitting image to the user.
User terminal device for a virtual fitting comprising a. 사용자 단말로부터 사용자 영상을 수신하는 영상 획득 단계;
상기 수신된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식 단계;
상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색 단계;
상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형 단계; 및
상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하고 상기 생성된 가상 피팅 영상을 상기 사용자 단말로 전송하는 가상 피팅 단계
를 포함하는 패턴 복사를 이용한 가상 피팅 방법.An image obtaining step of receiving a user image from a user terminal;
A user recognition step of recognizing a user's body shape by extracting facial feature information or body feature information from the received user image;
A content retrieval step of retrieving fitting content matching the recognized user body shape from a content recommendation table in which fitting content for each user body shape is templated;
A content modification step of modifying fitting content by copying a fitting content unit area previously divided into a plurality of areas into a content area to be deformed according to a user's request for modification of the retrieved fitting content; And
Virtual fitting step of generating a virtual fitting image by virtually fitting the modified fitting content according to the extracted user body shape and transmitting the generated virtual fitting image to the user terminal
Virtual fitting method using a pattern copy comprising a. 제 11 항에 있어서,
미리 수집된 사용자 신체 형태와 매칭된 피팅 컨텐츠를 분류하고, 상기 분류 결과에 따라 사용자 신체 형태별 피팅 컨텐츠를 템플릿화하여 상기 컨텐츠 추천 테이블을 생성하는 컨텐츠 템플릿화 단계
를 더 포함하는 패턴 복사를 이용한 가상 피팅 방법.The method of claim 11,
Content template step of classifying the fitting content matched with the user body shape collected in advance, and template the fitting content for each user body shape according to the classification result to generate the content recommendation table
Virtual fitting method using a pattern copy further comprising. 제 11 항에 있어서,
상기 컨텐츠 검색 단계는,
상기 사용자 단말의 요청에 따라 상기 인식된 사용자 신체 형태가 변경되면, 상기 변경된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 재검색하는 패턴 복사를 이용한 가상 피팅 방법.The method of claim 11,
The content search step,
The virtual fitting method using the pattern copy to re-search the fitting content matching the changed user body shape when the recognized user body shape is changed at the request of the user terminal. 제 11 항에 있어서,
상기 컨텐츠 변형 단계는,
상기 피팅 컨텐츠에 대한 크기 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠를 확대하는 패턴 복사를 이용한 가상 피팅 방법.The method of claim 11,
The content modification step,
The virtual fitting method using pattern copying to enlarge the fitting content by copying the fitting content unit area divided into upper, lower, left and right areas into a content area to be deformed according to the size deformation request for the fitting content. 제 11 항에 있어서,
상기 컨텐츠 변형 단계는,
상기 피팅 컨텐츠에 대한 면적 변형 요청에 따라, 상측, 하측, 좌측 및 우측 영역으로 구분된 상기 피팅 컨텐츠 단위 영역을 일부 컨텐츠 영역에 복사하여 상기 피팅 컨텐츠의 일부 면적을 확대하는 패턴 복사를 이용한 가상 피팅 방법.The method of claim 11,
The content modification step,
According to the area deformation request for the fitting content, the virtual fitting method using pattern copying which enlarges the partial area of the fitting content by copying the fitting content unit area divided into upper, lower, left and right areas into a partial content area. . 제 11 항에 있어서,
상기 컨텐츠 변형 단계는,
상기 피팅 컨텐츠 단위 영역을 다른 컨텐츠 영역에 복사하여 상기 검색된 피팅 컨텐츠와는 다른 형태의 피팅 컨텐츠를 생성하는 패턴 복사를 이용한 가상 피팅 방법.The method of claim 11,
The content modification step,
And copying the fitting content unit area to another content area to generate fitting content having a different form from the retrieved fitting content. 제 11 항에 있어서,
상기 컨텐츠 변형 단계는,
상기 피팅 컨텐츠의 좌측 및 우측 컨텐츠 형태가 동일한 경우, 상기 좌측 또는 우측 컨텐츠를 변형하고 상기 변형된 좌측 또는 우측 컨텐츠를 대칭적으로 복사하여 반대측 헤어 컨텐츠를 변형하는 패턴 복사를 이용한 가상 피팅 방법.The method of claim 11,
The content modification step,
And virtually copying the left or right content and symmetrically copying the modified left or right content to deform the opposite hair content. 가상 피팅 대상이 되는 사용자를 촬영하여 사용자 영상을 획득하는 영상 획득 단계;
상기 획득된 사용자 영상에서 얼굴 특징 정보 또는 몸체 특징 정보를 추출하여 사용자 신체 형태를 인식하는 사용자 인식 단계;
상기 인식된 사용자 신체 형태와 매칭되는 피팅 컨텐츠를 사용자 신체 형태별 피팅 컨텐츠가 템플릿화된 컨텐츠 추천 테이블 중에서 검색하는 컨텐츠 검색 단계;
상기 검색된 피팅 컨텐츠에 대한 사용자의 변형 요청에 따라 미리 복수 영역으로 구분된 피팅 컨텐츠 단위 영역을 변형하고자 하는 컨텐츠 영역에 복사하여 피팅 컨텐츠를 변형하는 컨텐츠 변형 단계;
상기 변형된 피팅 컨텐츠를 상기 추출된 사용자 신체 형태에 맞게 가상 피팅하여 가상 피팅 영상을 생성하는 가상 피팅 단계; 및
상기 생성된 가상 피팅 영상을 상기 사용자에게 표시하는 영상 표시 단계
를 포함하는 사용자 단말 장치에서의 가상 피팅 방법.An image acquiring step of acquiring a user image by photographing a user who is a virtual fitting target;
A user recognition step of recognizing a user's body shape by extracting facial feature information or body feature information from the obtained user image;
A content retrieval step of retrieving fitting content matching the recognized user body shape from a content recommendation table in which fitting content for each user body shape is templated;
A content modification step of modifying fitting content by copying a fitting content unit area previously divided into a plurality of areas into a content area to be deformed according to a user's request for modification of the retrieved fitting content;
A virtual fitting step of generating a virtual fitting image by virtually fitting the modified fitting content according to the extracted user body shape; And
An image display step of displaying the generated virtual fitting image to the user
Virtual fitting method in a user terminal device comprising a.
KR1020100132544A 2010-12-22 2010-12-22 Fitting virtual system using pattern copy and method therefor KR101738896B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100132544A KR101738896B1 (en) 2010-12-22 2010-12-22 Fitting virtual system using pattern copy and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100132544A KR101738896B1 (en) 2010-12-22 2010-12-22 Fitting virtual system using pattern copy and method therefor

Publications (2)

Publication Number Publication Date
KR20120087265A true KR20120087265A (en) 2012-08-07
KR101738896B1 KR101738896B1 (en) 2017-05-24

Family

ID=46872827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132544A KR101738896B1 (en) 2010-12-22 2010-12-22 Fitting virtual system using pattern copy and method therefor

Country Status (1)

Country Link
KR (1) KR101738896B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140130638A (en) 2014-09-15 2014-11-11 (주)인더스웰 The smart fitting apparatus and method based real image
KR101720016B1 (en) 2015-10-16 2017-03-27 광운대학교 산학협력단 A clothing fitting system with a mirror display by using salient points and the method thereof
KR20190119212A (en) * 2018-03-30 2019-10-22 경일대학교산학협력단 System for performing virtual fitting using artificial neural network, method thereof and computer recordable medium storing program to perform the method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4435809B2 (en) * 2002-07-08 2010-03-24 株式会社東芝 Virtual makeup apparatus and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140130638A (en) 2014-09-15 2014-11-11 (주)인더스웰 The smart fitting apparatus and method based real image
KR101720016B1 (en) 2015-10-16 2017-03-27 광운대학교 산학협력단 A clothing fitting system with a mirror display by using salient points and the method thereof
KR20190119212A (en) * 2018-03-30 2019-10-22 경일대학교산학협력단 System for performing virtual fitting using artificial neural network, method thereof and computer recordable medium storing program to perform the method

Also Published As

Publication number Publication date
KR101738896B1 (en) 2017-05-24

Similar Documents

Publication Publication Date Title
US10979624B2 (en) Methods and devices for establishing photographing template database and providing photographing recommendation information
CN113727012B (en) Shooting method and terminal
US11336968B2 (en) Method and device for generating content
US20130129210A1 (en) Recommendation system based on the recognition of a face and style, and method thereof
KR20120046652A (en) System and method for recommending hair based on face recognition
US9443307B2 (en) Processing of images of a subject individual
EP3296802A1 (en) Smart glasses
KR101733512B1 (en) Virtual experience system based on facial feature and method therefore
JP2005242566A (en) Image composition device and method
KR20120046653A (en) System and method for recommending hair based on face and style recognition
US11501564B2 (en) Mediating apparatus and method, and computer-readable recording medium thereof
WO2022001806A1 (en) Image transformation method and apparatus
CN112866577B (en) Image processing method and device, computer readable medium and electronic equipment
CN111429338B (en) Method, apparatus, device and computer readable storage medium for processing video
JP2022000795A (en) Information management device
CN105872252A (en) Image processing method and device
CN109949207B (en) Virtual object synthesis method and device, computer equipment and storage medium
JP2013037533A (en) Product information acquisition system and product information provision server device
KR101827998B1 (en) Virtual experience system based on facial feature and method therefore
KR101738896B1 (en) Fitting virtual system using pattern copy and method therefor
KR102389457B1 (en) Image Transformation Apparatus, Method and Computer Readable Recording Medium Thereof
KR20120076492A (en) System and method for recommending hair based on face and style recognition
JP2019074938A (en) Device, system, method and program for communication relay
JP2017188787A (en) Imaging apparatus, image synthesizing method, and image synthesizing program
CN113837019B (en) Cosmetic progress detection method, device, equipment and storage medium

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant