[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102476294B1 - Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정 - Google Patents

Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정 Download PDF

Info

Publication number
KR102476294B1
KR102476294B1 KR1020217008279A KR20217008279A KR102476294B1 KR 102476294 B1 KR102476294 B1 KR 102476294B1 KR 1020217008279 A KR1020217008279 A KR 1020217008279A KR 20217008279 A KR20217008279 A KR 20217008279A KR 102476294 B1 KR102476294 B1 KR 102476294B1
Authority
KR
South Korea
Prior art keywords
digital content
digital
digital image
environment
content
Prior art date
Application number
KR1020217008279A
Other languages
English (en)
Other versions
KR20210047326A (ko
Inventor
팡 팡
수랍히 샤스트리
창천 허
크루티카 셰티
Original Assignee
이베이 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이베이 인크. filed Critical 이베이 인크.
Priority to KR1020227042832A priority Critical patent/KR102667525B1/ko
Publication of KR20210047326A publication Critical patent/KR20210047326A/ko
Application granted granted Critical
Publication of KR102476294B1 publication Critical patent/KR102476294B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1834—Distributed file systems implemented based on peer-to-peer networks, e.g. gnutella
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Bioethics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

증강 현실/가상 현실(AR/VR) 디지털 콘텐츠를 생성하기 위한 이미지 적합성 결정의 기법들이 설명된다. 2차원 디지털 이미지가 수신된다. 머신 러닝을 사용하여, 2차원 디지털 이미지에 의해 캡처된 객체가 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합한지에 관한 결정이 이루어진다. 객체가 적합한 경우, 표시가 제공되고 AR/VR 환경에서 객체를 보는 옵션이 제공된다. 객체가 적합하지 않은 경우, 제안이 캡처된 바와 같은 객체가 적합하지 않은 이유 및/또는 AR/VR 디지털 콘텐츠를 생성하기에 적합하도록 후속 디지털 이미지에서 객체의 캡처를 보정하는 방법을 나타낸다.

Description

AR/VR 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정
관련 출원
본 출원은, 2018년 10월 9일자로 출원되고 발명의 명칭이 "Innovations in E-Commerce"인 미국 가출원 제62/743,468호에 대한 우선권을 주장하는, 2019년 10월 8일자로 출원되고 발명의 명칭이 "Digital Image Suitability Determination to Generate AR/VR Digital Content"인 미국 출원 제16/596,394호에 대한 우선권을 주장하며, 이들의 전체 개시내용들은 본 명세서에 참조로 포함된다.
증강 및 가상 현실(AR/VR) 환경들은 컴퓨팅 디바이스의 사용자가 이용할 수 있는 기능의 양을 증가시키기 위해 개발되었다. 증강 현실 환경에서, AR/VR 디지털 콘텐츠는 컴퓨팅 디바이스가 배치되는 물리적 환경의 사용자의 직접 뷰를 "증강"하는데 사용된다. 예를 들어, 디지털 카메라(예를 들어, 모바일 폰 또는 태블릿)를 구비한 모바일 디바이스를 사용하여 실제 세계 장면(real-world scene)을 보고 가상 객체들 또는 컴포넌트들로서 AR/VR 디지털 콘텐츠를 사용하여 실제 세계 장면을 증강시킬 수 있다. VR 환경에서는, 물리적 환경이 재생성(즉, "가상화")되어 사용자가 볼 수 있으며, AR/VR 디지털 콘텐츠를 사용하여 이 환경 내에 보이는 객체들을 생성한다. 양쪽 경우에서, AR/VR 환경은 AR/VR 디지털 콘텐츠를 사용하여 컴퓨팅 디바이스에서 몰입형 사용자 경험(immersive user experience)을 지원할 수 있다.
그러나, AR/VR 디지털 콘텐츠를 생성하는데 사용되는 종래의 기법들은 다양한 도전과제들에 직면하고 있다. 이러한 도전과제들은 AR/VR 환경의 일부로서 렌더링하기에 적합한 형태로 AR/VR 디지털 콘텐츠를 생성하는 방법(예를 들어, "정말 거기에 있는 것처럼" 보이도록), AR/VR 디지털 콘텐츠를 모델링하는 방법뿐만 아니라, AR/VR 디지털 콘텐츠를 크기조정해서 환경 내에 배치하는 방법을 포함한다. 이러한 도전과제들은 AR/VR 디지털 콘텐츠를 생성하는 데 사용되는 소스가 그렇게 하기에 적합한지 여부에 의해 더 악화된다. 따라서, AR/VR 디지털 콘텐츠를 생성하는데 사용되는 종래의 기법들은 전형적으로 복잡한 도구들을 사용하는 정교한 사용자들에 의한 사용으로 제한되거나 또는 정교하지 않은 사용자들에게 적합한 AR/VR 디지털 콘텐츠의 생성을 반복적으로 시도하도록 강제한다. 이와 같이, 종래의 기법들 및 시스템들을 사용하여 생성된 바와 같은 AR/VR 디지털 콘텐츠는, 광범위한 시나리오에서의 사용으로부터 제한되고, 그 예는 소셜 미디어 시스템, 제품 및 서비스 목록, 디지털 서비스 등을 포함한다.
이러한 문제들을 극복하기 위해, 디지털 이미지 적합성 결정(digital image suitability determination)을 활용하여 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성한다. 초기에, 객체의 2차원 디지털 이미지가 수신되고, 컴퓨터 비전 및 머신 러닝 기술을 사용하여, 객체의 이미지가 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합한지 또는 적합하지 않은지에 관한 결정이 이루어진다. 객체의 디지털 이미지가 적합한 것으로 결정되면, 객체의 AR/VR 디지털 콘텐츠가 생성되어 AR/VR 환경에서 디스플레이하기 위해 사용자에게 제공된다. 객체의 2차원 디지털 이미지가 적합하지 않은 것으로 결정되면, 객체의 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않다는 표시, 및/또는 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합하도록 객체의 후속 디지털 이미지를 개선하는 방법에 대한 제안들이 제공된다. 또한, 객체의 후속 디지털 이미지를 자동보정(autocorrect)하는 옵션이 제공될 수 있거나, 또는 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기 위한 적합성을 보장하기 위해 자동으로 그리고 사용자 개입 없이 보정들을 포함하는 후속 이미지가 캡처될 수 있다.
추가적으로, 온라인 마켓플레이스에서 비-모달 엔드 투 엔드 AR/VR 경험(non-modal end to end AR/VR experience)을 제공하기 위한 기법들이 제공된다. 비-모달 AR/VR 환경에서는, 사용자가 AR/VR 환경 내에서 아이템들을 검색하고, 아이템들을 선택하고, 다수의 아이템들을 추가하고, 아이템들을 삭제하고, 아이템들을 스케일링하고, 아이템들을 이동시키고, 다른 방식으로 아이템들을 수정하고 조작할 뿐만 아니라, 추천들, 구매 아이템들 등을 모두 수신할 수 있다.
본 요약은 이하의 상세한 설명에서 추가로 설명되는 개념들의 선택을 간략화된 형태로 소개한다. 이와 같이, 본 요약은 청구된 주제의 본질적 특징들을 식별하기 위함도 아니고, 청구된 주제의 범위를 결정하는데 있어서 보조로서 사용하고자 함도 아니다.
상세한 설명은 첨부 도면들을 참조하여 설명된다. 도면들에 표현된 엔티티들은 하나 이상의 엔티티를 나타낼 수 있으며, 따라서 논의에서 엔티티들의 단일 또는 복수 형태들을 교체가능하게 참조할 수 있다.
도 1은 디지털 이미지 적합한 결정 기법들을 채용하여 본 명세서에 설명된 AR/VR 디지털 콘텐츠를 생성하도록 동작할 수 있는 예시적인 구현의 환경을 나타낸 도면이다.
도 2는 AR/VR 디지털 콘텐츠를 생성하기 위해 디지털 이미지의 적합성을 나타내는 머신 러닝 모델을 생성하는 도 1의 머신 러닝 트레이닝 시스템(machine-learning training system)의 동작의 예를 도시한다.
도 3은 입력 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않을 때 및/또는 AR/VR 디지털 콘텐츠를 생성하기 위해 후속 디지털 이미지에서 객체의 캡처를 보정하는 방법을 나타내는 머신 러닝 모델을 생성하는 도 1의 머신 러닝 트레이닝 시스템의 동작의 예를 도시한다.
도 4는 AR/VR 디지털 콘텐츠를 생성하기 위한 입력 디지털 이미지의 적합성을 결정하기 위해 도 2의 예에서 트레이닝된 바와 같은 AR/VR 적합성 머신 러닝 모델을 이용하는 것으로서 AR/VR 디지털 콘텐츠 시스템의 동작의 예를 도시한다.
도 5는 디지털 이미지의 캡처를 개시하는데 사용되는 사용자 인터페이스의 출력 및 디지털 이미지에 포함된 객체가 AR/VR 디지털 콘텐츠를 생성하기에 적합한지 여부의 표시의 출력, 및 AR/VR 디지털 콘텐츠의 생성의 예를 도시한다.
도 6은 클라이언트 디바이스에서 로컬로 도 4의 AR/VR 디지털 콘텐츠 시스템의 구현의 예를 도시한다.
도 7은 AR/VR 디지털 콘텐츠를 실제로 생성하지 않고 AR/VR 디지털 콘텐츠를 생성하기 위한 디지털 이미지의 적합성을 결정하는 예시적인 구현에서의 절차를 도시하는 흐름도이다.
도 8은 AR/VR 디지털 콘텐츠를 생성하기 위한 입력 디지털 이미지의 적합성에 관한 제안들을 생성하기 위해 도 3의 예에서 트레이닝된 바와 같은 제안 머신 러닝 모델을 이용하는 것으로서 도 1의 AR/VR 디지털 콘텐츠 시스템의 동작의 예(800)를 도시한다.
도 9는 디지털 이미지의 캡처를 개시하는 데 사용되는 사용자 인터페이스의 출력 및 제안의 출력의 예를 도시한다.
도 10은 제안 머신 러닝 모델이 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 이유 및/또는 후속 디지털 이미지에서 AR/VR 디지털 콘텐츠의 생성을 보정하는 방법을 나타내는 제안을 생성하는 예시적인 구현의 절차를 도시하는 흐름도이다.
도 11은 AR/VR 디지털 콘텐츠의 다수의 생성된 아이템들이 AR/VR 환경에 추가되는 도 1의 클라이언트 디바이스 상에 디스플레이된 비-모달 AR/VR 환경을 보여주는 사용자 인터페이스의 출력의 예를 도시한다.
도 12는 다수의 입력 디지털 이미지가 AR/VR 환경에서 디스플레이하기 위한 다수의 AR/VR 디지털 콘텐츠를 생성하기에 적합한 것으로 결정되는 예시적인 구현의 절차를 도시하는 흐름도이다.
도 13은 본 명세서에서 설명되는 기법들의 실시예들을 구현하기 위해 도 1 내지 도 12를 참조하여 설명 및/또는 이용되는 바와 같은 임의의 타입의 컴퓨팅 디바이스로서 구현될 수 있는 예시적인 디바이스의 다양한 컴포넌트들을 포함하는 예시적인 시스템을 도시한다.
개요
AR/VR 디지털 콘텐츠를 생성함에 있어서 종래의 기법들의 도전과제들 및 비효율성들을 해결하는 기법들 및 시스템들이 설명된다. 일 예에서, 이러한 기법들 및 시스템들은 AR/VR 환경의 일부로서 렌더링하기 위한 AR/VR 디지털 콘텐츠를 생성하기 위한 디지털 이미지(예를 들어, 2차원 디지털 이미지)의 적합성을 결정하도록 구성된다. 이러한 방식으로, AR/VR 디지털 콘텐츠의 생성에서의 계산 및 사용자 효율 둘 다는, AR/VR 디지털 콘텐츠의 실제 생성 이전에 디지털 이미지가 적합한지를 결정함으로써 개선될 수 있다. 본 명세서에 설명된 기법들 및 시스템들이 디지털 이미지에 의해 캡처된 바와 같은 객체가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 이유 및/또는 후속 디지털 이미지에서 객체의 캡처를 보정하는 방법을 나타내는 제안들을 출력하도록 구성되는 예들이 또한 설명된다. 후속 이미지가 자동으로 그리고 사용자 개입 없이 구현되는 보정들로 캡처되고, 디지털 이미지를 보정하기 위해 사용자 선택가능한 이미지를 자동보정하는 옵션이 제공되는 등의 다른 예들이 설명된다.
예를 들어, 사용자는 모바일 디바이스와 상호작용하여 모바일 디바이스의 일부로서 포함된 디지털 카메라를 사용해서 객체의 디지털 이미지를 캡처할 수 있다. 그 다음, AR/VR 디지털 콘텐츠 시스템에 의해 머신 러닝 모델을 채용하여, AR/VR 디지털 콘텐츠의 생성을 실제로 시도하지 않고 디지털 이미지에 의해 캡처된 객체가 AR/VR 디지털 콘텐츠를 생성하기에 적합한지를 결정할 수 있다. 이러한 적합성의 결정은 또한 AR/VR 콘텐츠가 배치될 AR/VR 환경(AR/VR 환경의 각자의 부분들을 포함함)뿐만 아니라 AR/VR 환경에서 디스플레이되는 다른 AR/VR 디지털 콘텐츠와 함께 디스플레이하기 위한 AR/VR 디지털 콘텐츠의 적합성을 해결할 수 있다. 이러한 방식으로, AR/VR 디지털 콘텐츠를 생성하기에 적합하고, 디지털 이미지가 적합하다는 결정이 이루어질 때까지 사용되지 않는 것을 획득하기 위해 디지털 이미지들을 캡처함에 있어서의 반복된 시도들을 수반할 수 있는 종래의 기법들에 비해 모바일 폰의 계산 자원들의 동작 효율이 개선될 수 있다.
또한, AR/VR 디지털 콘텐츠 시스템은, AR/VR 디지털 콘텐츠가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 이유 및/또는 객체의 캡처를 보정하는 방법을 나타내는 제안들을 출력하도록 구성될 수 있다. 예를 들어, 제안들은 디지털 이미지가 적합하지 않은 "이유", 예를 들어, 회전, 불량 배경, 조명, 가림(occlusion), 각도, 줌, 해상도 등을 식별하는 하나 이상의 머신 러닝 모델에 의해 생성될 수 있다. 일 예에서, 제안들에 기초하여 객체의 캡처를 자동보정하는 옵션이 제공된다. 다른 예에서, 예를 들어, 이미지 필터들, 카메라 설정 등의 제안된 보정들의 구현이 자동으로 그리고 사용자 개입 없이 일어나는 디지털 이미지에서의 객체의 후속 캡처가 개시될 수 있다. 또한, 이것은 AR/VR 디지털 콘텐츠를 생성하기 위해 이들 기법을 구현하는 컴퓨팅 디바이스들의 사용자 및 동작 효율을 개선시키는 기능을 한다. 이들 및 다른 기법들의 추가 논의는 다음 섹션들에 포함된다.
다음의 논의에서, 본 명세서에 설명되는 기법들을 채용할 수 있는 예시적인 환경이 설명된다. 예시적인 환경뿐만 아니라 다른 환경들에서 수행될 수 있는 예시적인 절차들이 또한 설명된다. 그 결과, 예시적인 절차들의 수행은 예시적인 환경으로 제한되지 않으며, 예시적인 환경은 예시적인 절차들의 수행으로 제한되지 않는다.
예시적인 환경
도 1은 디지털 이미지 적합성 결정 기법들을 채용하여 본 명세서에 설명된 AR/VR 디지털 콘텐츠를 생성하도록 동작할 수 있는 예시적인 구현의 디지털 매체 환경(100)의 도면이다. 예시된 환경(100)은 네트워크(106)를 통해 서로 통신가능하게 결합되는 서비스 제공자 시스템(102)과 사용자의 클라이언트 디바이스(104)를 포함한다. 서비스 제공자 시스템(102) 및 클라이언트 디바이스(104)를 구현하는 컴퓨팅 디바이스들은 다양한 방식으로 구성될 수 있다.
예를 들어, 컴퓨팅 디바이스는, 데스크톱 컴퓨터, 랩톱 컴퓨터, 모바일 디바이스(예를 들어, 클라이언트 디바이스(104)에 대해 도시된 바와 같은 태블릿 또는 모바일 폰 등의 핸드헬드 구성을 가정함) 등으로서 구성될 수 있다. 따라서, 컴퓨팅 디바이스는, 상당한 메모리 및 프로세서 자원들을 갖는 풀 자원 디바이스(full resource device)(예를 들어, 개인용 컴퓨터, 게임 콘솔)로부터, 제한된 메모리 및/또는 처리 자원들을 갖는 낮은 자원 디바이스(low-resource device)(예를 들어, 모바일 디바이스)에 이르는 범위일 수 있다. 추가적으로, 컴퓨팅 디바이스는, 서비스 제공자 시스템(102)에 대해 예시된 바와 같은 그리고 도 13과 관련하여 설명된 바와 같은 "클라우드를 통한(over the cloud)" 동작들을 수행하기 위해 사업체가 채용하는 다수의 서버들과 같은 복수의 상이한 디바이스들을 나타낼 수 있다.
이 예에 예시된 바와 같은 서비스 제공자 시스템(102)은 AR/VR 디지털 콘텐츠 시스템(112)에 의한 사용을 위해 머신 러닝 모델(110)을 생성(예를 들어, 트레이닝) 하도록 구성되는 머신 러닝 트레이닝 시스템(108)을 포함한다. 예를 들어, 머신 러닝 모델(110)은 트레이닝 디지털 이미지들(116)을 갖는 트레이닝 데이터(114)를 사용하여 분류기로서 트레이닝되는 신경망(예를 들어, 컨볼루션 신경망)으로서 구성될 수 있다. 예를 들어, 트레이닝 디지털 이미지들(116)은 (예를 들어, 확률로서) 후속 디지털 이미지들을 원하는 출력을 갖거나 갖지 않는 것으로서 분류하는 데 사용가능한 패턴들을 추론하기 위해 사용되는 원하는 출력의 양호한 예와 불량한 예를 둘 다 포함할 수 있다. 머신 러닝 모델(110)은 디지털 이미지가 (예를 들어, 0-1의 스케일로) 트레이닝된 특성을 갖거나 갖지 않는 스코어(즉, 확률)를 출력하도록 트레이닝된다. 머신 러닝 모델(110)은, 일단 트레이닝되면, AR/VR 디지털 콘텐츠 시스템(112)에 의해 다양한 방식으로 활용될 수 있다.
예를 들어, AR/VR 디지털 콘텐츠 시스템(112)은 AR/VR 디지털 콘텐츠(124)를 생성하기 위한 디지털 이미지의 적합성을 결정하기 위해 머신 러닝 모듈(110)을 채용할 수 있는 콘텐츠 평가 모듈(118)을 포함한다. 그렇게 하기 위해, 트레이닝 데이터(114)는 AR/VR 디지털 콘텐츠를 생성하기에 적합한 객체들을 캡처하는 것으로서 디지털 이미지들의 양호한 및 불량한 예들을 갖는 트레이닝 디지털 이미지들(116)을 포함한다.
도 2와 관련하여 도시되고 더 설명되는 바와 같이, 트레이닝 데이터(114)는 디지털 이미지에서 쉽게 식별될 수 있는 객체를 캡처하는 것으로서 디지털 이미지들의 양호한 예들을 포함할 수 있다. 반면, 불량한 예들은, 예를 들어, 배경, 조명 등으로 인해 객체를 구별하기 어려운 방식으로 객체를 캡처하는 디지털 이미지들을 포함한다. 따라서, 머신 러닝 모델(110)은, 일단 트레이닝되면, 도 4와 관련하여 더 설명되는 바와 같이 AR/VR 디지털 콘텐츠를 생성하기 위한 후속 디지털 이미지의 적합성을 결정하기 위해 콘텐츠 평가 모듈(118)에 의해 사용될 수 있다. 이러한 방식으로, AR/VR 디지털 콘텐츠의 생성을 실제로 시도하지 않고 디지털 이미지의 적합성이 결정될 수 있으므로, 적합하지 않은 디지털 이미지들 상의 자원들을 불필요하게 소비하지 않는 것은 물론, 적합하지 않은 AR/VR 디지털 콘텐츠의 생성에 의해 야기되는 사용자 불만을 감소시킴으로써 컴퓨팅 디바이스의 동작 효율을 개선시킨다.
다른 예에서, AR/VR 디지털 콘텐츠 시스템(112)은 머신 러닝 모델(110)을 활용하여 제안을 생성하도록 구성되는 콘텐츠 제안 모듈(120)을 포함한다. 이 제안은 디지털 이미지에 의해 캡처된 객체가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 이유 및/또는 후속 디지털 이미지에서 객체의 캡처를 보정하는 방법을 나타내는 등의 다양한 방식들로 구성될 수 있다. 따라서, 이 예에서의 트레이닝 데이터(114)는 도 3과 관련하여 도시되고 설명된 바와 같이 객체가 적합하지 않은 이유의 예들 또는 객체의 캡처를 보정하는 방법에 있어서 알려진 방식들의 예들을 나타내도록 구성된다. 따라서, 머신 러닝 모델(110)은, 일단 트레이닝되면, 도 8 내지 도 10과 관련하여 도시되고 설명된 바와 같이 대응하는 이유 또는 후속 디지털 이미지에서 객체의 캡처를 보정하는 방법에 기초하여 디지털 이미지가 적합하지 않다는 스코어(예를 들어, 확률)를 출력하도록 구성된다.
이러한 방식으로, AR/VR 디지털 콘텐츠 시스템(112)은 콘텐츠 평가 모듈(118)의 사용을 통해 AR/VR 디지털 콘텐츠를 생성하기 위한 디지털 이미지의 적합성을 결정하고, 콘텐츠 제안 모듈(120)의 사용을 통해 디지털 이미지가 적합하지 않은 이유 및/또는 후속 디지털 이미지에서 캡처를 보정하는 방법을 나타내는 제안들을 생성할 수 있다. 예를 들어, 클라이언트 디바이스(104)의 사용자는 네트워크(106)를 통해 서비스 제공자 시스템(102)과 통신하기 위해 통신 모듈(126)(예를 들어, 브라우저, 네트워크 가능 애플리케이션)과 상호작용할 수 있다. 통신 모듈(126)은, 예를 들어, 디지털 이미지들의 실시간 스트림의 일부로서, 입력 디지털 이미지(130)의 캡처를 개시하기 위한 사용자 선택가능 옵션을 포함하는 사용자 인터페이스를 출력하도록 구성되는 사용자 인터페이스 모듈(128)을 포함한다.
그 다음, 입력 디지털 이미지(130)는 통신 모듈(126)에 의해 네트워크(106)를 통해 AR/VR 디지털 콘텐츠 시스템(112)으로 통신된다. 콘텐츠 평가 모듈(118)은 먼저 이 예에서 AR/VR 디지털 콘텐츠를 생성하기 위한 (예를 들어, 2차원 디지털 이미지로서) 입력 디지털 이미지(130)의 적합성을 결정하기 위해 채용된다. 입력 디지털 이미지(130)가 적합하지 않다고 콘텐츠 평가 모듈(118)이 나타내면, 이 결정에 응답하여 콘텐츠 제안 모듈(120)을 채용해서 입력 디지털 이미지(130)에 의해 캡처된 객체가 적합하지 않은 이유 및/또는 후속 디지털 이미지에서 객체의 캡처를 보정하는 방법에 관한 제안들을 생성한다. 그 다음, 제안들은, 예를 들어, 디지털 이미지와 함께, 사용자 인터페이스 모듈(128)에 의해 생성된 사용자 인터페이스에서의 출력을 위해 네트워크(106)를 통해 통신될 수 있다.
입력 디지털 이미지(130)가 적합하다고 콘텐츠 평가 모듈(118)이 나타내면, 이 적합성의 표시가 또한 사용자 인터페이스 모듈(128)에 의해 사용자 인터페이스에서 보기 위해 출력될 수 있다. 일 예에서, 이 표시는 AR/VR 콘텐츠 생성 모듈(122)로 하여금 입력 디지털 이미지(130)를 사용하여 AR/VR 디지털 콘텐츠(124)를 생성하게 하도록 사용자 선택가능하다. 이것은 AR/VR 환경의 일부로서 렌더링하기 위해 크기조정되는 모델에 입력 디지털 이미지(130)를 맵핑하는 것을 포함할 수 있다. 이것은 또한 2차원으로 렌더링하기 위해 AR/VR 디지털 콘텐츠(124)를 구성하는 것을 포함할 수 있고, 이와 같이 클라이언트 디바이스(104)의 계산 자원들을 보존하고 실시간 동작을 지원한다. AR/VR 디지털 콘텐츠(124)가 3차원 모델로서 생성되는 다른 예들이, 예를 들어, 객체를 대응하는 미리 계산된 3D 모델에 매칭시키고, "스크래치로부터(from scratch)" 3D 모델을 생성하는 등에 의해 또한 고려된다. 이 예는 서비스 제공자 시스템(102)에 의해 원격으로 AR/VR 디지털 콘텐츠 시스템(112)의 구현을 설명하지만, 이 기능은 또한 도 6에 도시된 바와 같이 클라이언트 디바이스(104)에 의해 전체적으로 또는 부분적으로 통합될 수 있다.
다음의 논의에서, 도 2 및 도 3과 대응하는 논의는 각각 콘텐츠 평가 모듈(118) 및 콘텐츠 제안 모듈(120)에 의한 사용을 위해 머신 러닝 모델(110)을 트레이닝시키는 예들(200-300)을 설명한다. 도 4 내지 도 7은 AR/VR 디지털 콘텐츠를 생성하기 위한 입력 디지털 이미지(130)의 적합성을 결정하기 위해 콘텐츠 평가 모듈(118)에 의해 트레이닝된 머신 러닝 모델(110)을 사용하는 예들(400-700)을 포함한다. 도 8 내지 도 10은 입력 디지털 이미지(130)에 의해 캡처된 객체가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않을 수 있는 이유 및/또는 후속 디지털 이미지에서 객체의 캡처를 보정하는 방법을 나타내는 제안들을 생성하기 위해 콘텐츠 제안 모듈(120)에 의해 트레이닝된 머신 러닝 모델(110)을 사용하는 예들(800-900)을 포함한다.
일반적으로, 위의 및 아래의 예들과 관련하여 설명된 기능, 특징들 및 개념들은 이 섹션에서 설명된 예시적인 절차들의 맥락에서 채용될 수 있다. 또한, 본 문서에서 상이한 도면들 및 예들과 관련하여 설명된 기능, 특징들 및 개념들은 서로 간에 교체될 수 있으며, 특정 도면 또는 절차의 맥락에서의 구현으로 제한되지 않는다. 더욱이, 본 명세서에서 상이한 대표적인 절차들 및 대응하는 도면들과 연관된 블록들은 함께 적용되고 및/또는 상이한 방식들로 조합될 수 있다. 따라서, 본 명세서에서 상이한 예시적인 환경들, 디바이스들, 컴포넌트들, 도면들 및 절차들과 관련하여 설명된 개별 기능, 특징들 및 개념들은 임의의 적합한 조합들로 사용될 수 있으며, 본 설명에서 열거된 예들에 의해 표현되는 특정 조합들로 제한되지 않는다.
머신 러닝 모델 트레이닝
도 2는 AR/VR 디지털 콘텐츠를 생성하기 위해 디지털 이미지의 적합성을 나타내는 머신 러닝 모델(110)을 생성하는 도 1의 머신 러닝 트레이닝 시스템(108)의 동작의 예(200)를 도시한다. 도 3은 입력 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않을 때 및/또는 AR/VR 디지털 콘텐츠를 생성하기 위해 후속 디지털 이미지에서 객체의 캡처를 보정하는 방법을 나타내는 머신 러닝 모델(110)을 생성하는 도 1의 머신 러닝 트레이닝 시스템(108)의 동작의 예(300)를 도시한다.
다음의 논의는 설명된 시스템들 및 디바이스들을 이용하여 구현될 수 있는 기법들을 설명한다. 절차의 양태들은 하드웨어, 펌웨어, 소프트웨어, 또는 그 조합으로 구현될 수 있다. 절차는 하나 이상의 디바이스에 의해 수행된 동작들을 특정하는 블록들의 세트로서 도시되며, 각자의 블록들에 의한 동작들을 수행하기 위해 도시된 순서들로 반드시 제한되는 것은 아니다. 다음의 논의의 일부에서, 도 2 내지 도 8에 대해 교체가능하게 참조가 이루어질 것이다.
도 2에서, 머신 러닝 트레이닝 시스템(108)은 모델 생성 모듈(202)을 채용하여 도 1의 머신 러닝 모델(110)을 AR/VR 적합성 머신 러닝 모듈(204)로서 트레이닝시킨다. 이 예시된 예에서, AR/VR 적합성 머신 러닝 모델(204)은 컨볼루션 신경망(CNN)(206)으로서 구성되지만, 통계 모델들, 결정 트리들 등을 포함하는 다른 타입들의 모델들이 또한 고려된다. 컨볼루션 신경망(206)은 전형적으로 하나 이상의 은닉 계층과 함께 입력 및 출력 계층을 포함한다. 은닉 계층들은 후속 계층들에 전달되는 입력들을 (예를 들어, 내적을 사용하여) 컨볼빙하는 컨볼루션 계층들을 포함할 수 있으며, 그 예들은 풀링 계층들, 정규화 계층, 완전 접속 계층들 등을 포함한다. 원하는 결과로 트레이닝 동안 CNN(206)을 처리하는 비교 또는 결과들에 기초하여 계층을 형성하는 노드들(즉, 뉴런들)의 가중치들을 반복적으로 조정하기 위해 모델을 트레이닝하는 것의 일부로서 역전파가 채용된다.
따라서, AR/VR 적합성 머신 러닝 모델(204)을 트레이닝시키기 위해, 모델 생성 모듈(202)은 디지털 이미지 저장 디바이스(208)로부터 복수의 트레이닝 디지털 이미지(116)를 갖는 트레이닝 데이터(114)를 수신한다. 이 예에서, 트레이닝 디지털 이미지들(116)은 대응하는 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합한지(즉, 양호한지 또는 불량한지)의 표시들(예를 들어, 태그)을 포함한다. 예를 들어, 트레이닝 데이터(114)는 적합한 AR/VR 디지털 콘텐츠를 생성하는 것으로서 사용자에 의해 수동으로 태깅된 AR/VR 디지털 콘텐츠를 생성하려는 시도들에 기초하여 생성될 수 있다.
예를 들어, 양호 트레이닝 디지털 이미지(212)는 그것이 AR/VR 디지털 콘텐츠를 생성하기에 적합하다고 나타내는 AR/VR 양호 태그(216)를 포함할 수 있다. 예시된 예에서, 양호 트레이닝 디지털 이미지(212)는, 쉽게 식별할 수 있고, 디지털 이미지에 포함된 객체 전체를 가지며(가려지지 않음), 포커싱되고, 적절한 해상도(즉, 줌) 및 조명을 갖는 백색 배경(white background) 상의 객체(예를 들어, 램프)를 캡처한다. 따라서, 양호 트레이닝 디지털 이미지들(212)은 디지털 이미지들을 AR/VR 디지털 콘텐츠를 생성하기에 적합한 것으로서 분류하기 위해 AR/VR 적합성 머신 러닝 모델(204)을 트레이닝시키는 데 사용될 수 있다.
반면, AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 디지털 이미지들을 식별하기 위해 CNN(206)을 트레이닝하는 데 불량 트레이닝 디지털이 사용된다. 위의 예를 계속하면, 불량 트레이닝 디지털 이미지(214)는, 복잡한 배경 상에서 객체(예를 들어, 다시 램프)를 캡처하여 객체를 뒤쪽과 구별하기 어렵게 하고, 가려지고 부분적으로 캡처되어 객체 전체가 디지털 이미지에서 보이지 않게 하며, 이 트레이닝 디지털 이미지를 AR/VR 디지털 콘텐츠를 생성하기에 부적합하게 만드는 다른 특성들, 예를 들어, 위와 같이 조명, 초점, 해상도 등을 가질 수 있다. 그러므로, 불량 트레이닝 디지털 이미지(214)는 AR/VR 디지털 콘텐츠를 생성하기에 부적합하게 만드는 다수의 특성들을 포함할 수 있다. 따라서, 이들 트레이닝 디지털 이미지들(212, 214) 각각에는 모델을 트레이닝시키기 위해 대응하는 태그, 예를 들어, 이 예에서는 각각 AR/VR 양호 태그(good for AR/VR tag)(216) 및 AR/VR 불량 태그(bad for AR/VR tag)(218)가 할당된다.
양호 및 불량 트레이닝 디지털 이미지들의 사용을 통해, AR/VR 적합성 머신 러닝 모델(204)은 AR/VR 디지털 콘텐츠를 생성하기 위한 각자의 디지털 이미지의 적합성의 양을 나타내는 스코어(예를 들어, 확률)를 생성하도록 트레이닝된다. 이 스코어는 대응하는 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합한지 또는 적합하지 않은지를 나타내기 위해 임계값(이는 다음 섹션에서 도 4 내지 도 7과 관련하여 더 상세히 설명되는 바와 같이 사용자 정의될 수 있음)과 비교될 수 있다.
도 3에서, 머신 러닝 트레이닝 시스템(108)은 모델 생성 모듈(202)을 채용하여 도 1의 머신 러닝 모델(110)을 제안 머신 러닝 모듈(302)로서 트레이닝시킨다. 위의 예시된 예와 같이, 제안 머신 러닝 모델(302)은 컨볼루션 신경망(CNN)(304)으로서 구성되지만, 통계 모델들, 결정 트리들 등을 포함하는 다른 타입들의 모델들이 또한 고려된다. 컨볼루션 신경망(304)은 하나 이상의 은닉 계층과 함께 입력 및 출력 계층을 포함한다. 은닉 계층들은 후속 계층들에 전달되는 입력들을 (예를 들어, 내적을 사용하여) 컨볼빙하는 컨볼루션 계층들을 포함할 수 있으며, 그 예들은 풀링 계층들, 정규화 계층, 완전 접속 계층들 등을 포함한다. 원하는 결과로 트레이닝 동안 CNN(304)을 처리하는 비교 또는 결과들에 기초하여 계층을 형성하는 노드들(즉, 뉴런들)의 가중치들을 반복적으로 조정하기 위해 모델을 트레이닝하는 것의 일부로서 역전파가 채용된다.
제안 머신 러닝 모델(302)을 트레이닝시키기 위해, 모델 생성 모듈(202)은 위와 같이 디지털 이미지 저장 디바이스(208)로부터 복수의 트레이닝 디지털 이미지(116)를 갖는 트레이닝 데이터(114)를 수신한다. 그러나, 이 예에서, 트레이닝 디지털 이미지들(116)은 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 이유 및/또는 후속 디지털 이미지에서 객체의 캡처를 보정하는 방법을 식별하도록 구성된다. 따라서, 이 예에서, CNN(304)은 트레이닝 디지털 이미지들(110)에서의 에러들을 식별하고 이에 따라 이 이미지들을 분류하여 제안들을 생성하도록 트레이닝된다.
일 예에서, 제안 머신 러닝 모듈(302)은, 트레이닝 디지털 이미지가 특정한 특성, 또는 AR/VR 디지털 콘텐츠를 생성하기에 부적합하게 만드는 수 개의 특성을 갖는다는 단일의 스코어(예를 들어, 확률) 또는 조합된 스코어들(예를 들어, 확률 투플)을 생성하도록 분류기로서 구성된다. 따라서, 모델 생성 모듈(202)은 이들 특성들 각각에 대한 제안 머신 러닝 모델(302)을 생성할 수 있다. 예를 들어, 제안 머신 러닝 모델(302)은 회전된 트레이닝 디지털 이미지들(306)에 기초한 회전, 불량 배경 트레이닝 디지털 이미지들(308)을 사용하는 복잡한 배경들, 불량 조명 트레이닝 디지털 이미지들(310)의 사용을 통한 불충분한 조명, 가려진 트레이닝 디지털 이미지들(312)의 사용을 통한 객체의 불충분한 뷰, 및 각도, 줌, 해상도, 포커스 등과 같은 다른 특성들을 식별하도록 트레이닝될 수 있다. 각자의 특성들, 예를 들어, 디지털 이미지들 내의 양호 및 불량 회전된 객체들을 구별하기 위해 제안 머신 러닝 모델(302)을 트레이닝시키기 위해 불량한 예들과 함께 양호한 예들이 또한 채용될 수 있다. 태그들은 도 2와 관련하여 설명된 바와 같이 이 예들을 구별하기 위해 사용된다.
양호 및 불량 트레이닝 디지털 이미지들의 사용을 통해, 제안 머신 러닝 모델(302)은 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 부적합하게 만드는 하나 이상의 대응하는 결함을 가질 가능성을 나타내는 스코어(예를 들어, 확률)를 생성하도록 트레이닝된다. 예를 들어, 이 스코어는 제안의 출력을 제어하기 위해, 예를 들어, 대응하는 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하는 데 적합하지 않은 "이유" 및/또는 적합한 AR/VR 디지털 콘텐츠를 생성하기 위해 후속 디지털 이미지의 출력을 보정하는 "방법"을 나타내기 위해 임계값(이는 다음 섹션에서 도 8 내지 도 10과 관련하여 더 상세히 설명되는 바와 같이 사용자 정의될 수 있음)과 비교될 수 있다.
AR/VR 디지털 콘텐츠를 생성하기 위한 적합성 결정
도 4는 AR/VR 디지털 콘텐츠를 생성하기 위한 입력 디지털 이미지(130)의 적합성을 결정하기 위해 도 2의 예(200)에서 트레이닝된 바와 같은 AR/VR 적합성 머신 러닝 모델을 이용하는 것으로서 AR/VR 디지털 콘텐츠 시스템의 동작의 예(400)를 도시한다. 도 5는 각각 디지털 이미지의 캡처를 개시하는데 사용되는 사용자 인터페이스의 출력 및 디지털 이미지에 포함된 객체가 AR/VR 디지털 콘텐츠를 생성하기에 적합한지 여부의 표시의 출력, 및 AR/VR 디지털 콘텐츠의 생성의 제1 스테이지(502), 제2 스테이지(504), 및 제3 스테이지(506)를 보여주는 예(500)를 도시한다. 도 6은 클라이언트 디바이스(104)에서 로컬로 AR/VR 디지털 콘텐츠 시스템(112)의 구현의 예(600)를 도시한다. 도 7은 AR/VR 디지털 콘텐츠를 실제로 생성하지 않고 AR/VR 디지털 콘텐츠를 생성하기 위한 디지털 이미지의 적합성을 결정하는 예시적인 구현에서의 절차(700)를 도시한다.
다음의 논의는 설명된 시스템들 및 디바이스들을 이용하여 구현될 수 있는 기법들을 설명한다. 절차의 양태들은 하드웨어, 펌웨어, 소프트웨어, 또는 그 조합으로 구현될 수 있다. 절차는 하나 이상의 디바이스에 의해 수행된 동작들을 특정하는 블록들의 세트로서 도시되며, 각자의 블록들에 의한 동작들을 수행하기 위해 도시된 순서들로 반드시 제한되는 것은 아니다. 다음의 논의의 일부에서, 도 4 내지 도 7에 대해 교체가능하게 참조가 이루어질 것이다.
이 예에서 시작하여, AR/VR 디지털 콘텐츠 시스템(112)에 의해 디지털 이미지가 수신된다(블록 702). 도 4의 예(400)에서, 클라이언트 디바이스(104)로부터 네트워크(106)를 통해 서비스 제공자 시스템(102)에 의해 입력 디지털 이미지(130)가 수신된다. 예를 들어, 입력 디지털 이미지(130)는 소셜 네트워크 서비스, 제품 목록 서비스, 디지털 콘텐츠 생성 서비스, 또는 임의의 다른 디지털 이미지 공유 서비스로의 업로드로서 수신될 수 있다.
도 6의 예(600)에서, 클라이언트 디바이스(104)는 클라이언트 디바이스(104)에서 로컬로 디지털 카메라 디바이스(602)를 채용하여 입력 디지털 이미지(130)를 캡처하고, 입력 디지털 이미지(130)는 그 후 AR/VR 디지털 콘텐츠 시스템(112)에 입력으로서 제공된다. 예를 들어, 도 4의 제1 스테이지(502)에 나타낸 바와 같이, 클라이언트 디바이스(104)는 디스플레이 디바이스(510)를 사용하여 사용자 인터페이스(508)를 출력한다. 사용자 인터페이스(508)는 디지털 카메라 디바이스(602)에 의해 캡처된 "라이브 뷰(live view)"를 포함하고, 이 경우, AR/VR 디지털 콘텐츠를 생성하는 데 사용될 객체(512)를 포함한다. 입력 디지털 이미지(130)의 캡처를 개시하기 위해 사용자 선택가능한 옵션(514)이, 예를 들어, 사용자의 손(516)에 의한 옵션(514)의 터치스크린 기능을 통한 선택을 검출함으로써, 사용자 인터페이스(508)에 포함된다.
그 다음, 디지털 이미지(예를 들어, 2차원 디지털 이미지)에 의해 캡처된 객체가 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합한지에 관한 결정이 AR/VR 디지털 콘텐츠 시스템(112)에 의해 이루어진다. 이 결정은 머신 러닝 모델(110), 예를 들어, AR/VR 적합성 머신 러닝 모델(204)을 사용하여 수행된다(블록 704). 예를 들어, AR/VR 디지털 콘텐츠 시스템(112)은 먼저 배경 제거 모듈(402)을 채용하여 입력 디지털 이미지(130)로부터 배경을 제거함으로써, 객체의 뷰를 남길 수 있다. 이것은 다양한 방식들로, 예컨대 객체 인식, 돌출성 등에 기초한 마스크의 사용을 통해 수행될 수 있다.
배경이 제거된 입력 디지털 이미지(130)는 그후 콘텐츠 평가 모듈(118)에 제공된다. 콘텐츠 평가 모듈(118)은 적합성 스코어(406)를 계산하기 위해 도 2와 관련하여 설명된 바와 같이 트레이닝되는 AR/VR 적합성 머신 러닝 모델(204)을 포함한다. 적합성 스코어는 디지털 이미지에 포함된 객체가 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합한 정도를 나타낸다(블록 706).
예를 들어, 적합성 스코어(406)는 입력 디지털 이미지(130)(예를 들어, 배경이 제거됨)가 AR/VR 디지털 콘텐츠를 생성하기에 적합한 것으로서 분류되는 정도를 나타내는 "0"과 "1" 사이의 확률을 설명할 수 있다. 그 다음, 적합성 스코어(406)는 AR/VR 디지털 콘텐츠 시스템(102)의 결과 처리 모듈(408)에 의해 임계값(예를 들어, 이는 사용자 정의될 수 있음)과 비교되어, 입력 디지털 이미지(130)에 의해 캡처된 바와 같은 객체(512)가 AR/VR 디지털 콘텐츠를 생성하기에 적합한지를 결정한다(블록 708). 이러한 방식으로, 임계값은, AR/VR 디지털 콘텐츠를 생성하기 위한 입력 디지털 이미지(130)의 다양한 적합성의 정도, 즉, AR/VR 디지털 콘텐츠가 렌더링될 때 시각적으로 만족스럽게 및/또는 "정말 거기에 있는 것처럼" 보이는 상이한 정도들을 해결하기 위해 원하는 대로 조정될 수 있다.
일 예에서, 결정의 결과는 결과 처리 모듈(408)에 의해 사용되어, 객체가 AR/VR 환경에서 AR/VR 디지털 콘텐츠로서 디스플레이하기에 적합한지에 관한 결정의 결과를 나타내는 사용자 인터페이스에서 디스플레이하기 위한 표시를 출력한다(블록 710). 예를 들어, 표시 생성 모듈(410)은 사용자 인터페이스(508)에 디스플레이하기 위한 표시(518)를 생성하기 위해 채용될 수 있다. 예를 들어, 도 5의 제2 스테이지(504)에서 사용자 인터페이스(508)는 입력 디지털 이미지(130)와 동시에 디스플레이되고, 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합하다는 것을 나타낸다.
표시(518)는 또한 AR/VR 디지털 콘텐츠의 생성을 개시하기 위해 (예를 들어, 사용자의 손(516)을 통해 입력을 수신하는 터치스크린 기능을 사용하여) 선택가능하다. 이에 응답하여, AR/VR 콘텐츠 생성 모듈(122)은 소셜 미디어 포스트 등으로서 사용하기 위해 전자상거래 웹사이트의 일부로서 제품 또는 서비스 목록(412)의 일부와 같은, 출력을 위한 AR/VR 디지털 콘텐츠(124)를 생성할 수 있다.
AR/VR 디지털 콘텐츠(124)를 생성하는 것의 일부로서, AR/VR 콘텐츠 생성 모듈(122)은 객체(512)의 크기 및 형상을 계산하여, AR/VR 환경(520)의 일부로서 렌더링될 때 "정말 거기에 있는 것처럼" 보이도록 대응하는 크기 및 형상을 갖게 하며, 그 예가 도 5의 제3 스테이지(506)에 예시되어 있다. 일 예에서, AR/VR 디지털 콘텐츠(124)는 2차원 입력 디지털 이미지(130)로부터 생성되어 2차원을 또한 가지며, 따라서 계산 및 네트워크 자원들의 소비를 감소시킬 뿐만 아니라 사용자 인터페이스(508)에서 실시간 출력을 지원할 수 있다. 다른 예에서, 입력 디지털 이미지(130)에 의해 캡처된 바와 같은 객체(512)는 사용자 인터페이스 모듈(128)에 의해 사용자 인터페이스(508)에서 출력을 위해 3차원으로 (예를 들어, 기존 모델에 대응하는 것으로, "스크래치로부터" 등) 모델링된다. 각종 다른 예들도 또한 고려된다. 일 예에서, AR/VR 디지털 콘텐츠는 사용자 입력을 수신하지 않고 적합성의 결정 시에 자동으로 생성된다.
다른 예에서, 적합성의 결정은 또한 AR/VR 디지털 콘텐츠가 배치되는 AR/VR 환경에 기초한다. 위에서 설명한 바와 같이, 결과의 양호한 및 불량한 예들은 머신 러닝 모델(110)을 트레이닝하기 위해 사용될 수 있다. 이 예에서, 결과는 입력 디지털 이미지(130)가 AR/VR 환경뿐만 아니라, AR/VR 환경 자체 및 심지어 환경의 부분들에서 디스플레이하기에 적합한지의 여부를 해결하여, AR/VR 디지털 콘텐츠가, 생성될 때, 시각적으로 만족스럽게 그리고 "정말 거기에 있는 것"처럼 보이게 한다. 예를 들어, AR/VR 환경의 일부의 밝은 조명 조건들은 어둡게 조명되는 AR/VR 디지털 콘텐츠를 AR/VR 환경에서 디스플레이하기에 부적합하게 만들 수 있다. 따라서, 그러한 것을 나타내는 제안들이 출력될 수 있고/있거나 자동으로 그리고 사용자 개입 없이 보정들이 행해질 수 있다. 그 다음, AR/VR 디지털 콘텐츠를 시청하는 사용자는 예를 들어, 표시의 사용을 통해, 생성된 바와 같은 AR/VR 디지털 콘텐츠를 입력 디지털 이미지(130)에 의해 캡처된 바와 같은 객체와 상이한지를 비교하는 등에 의해, 이러한 변경들을 알게 될 수 있다.
추가 예에서, 적합성의 결정은 또한 AR/VR 환경에 포함된 다른 AR/VR 디지털 콘텐츠를 해결할 수 있다. 도 11과 관련하여 더 설명되는 바와 같이, 예를 들어, 적합성은 AR/VR 디지털 콘텐츠의 다른 아이템들과 일치하고 따라서 이들 아이템들과 디스플레이하기에 적합한 AR/VR 디지털 콘텐츠의 아이템들을 제안하기 위한 검색의 일부로서 활용될 수 있다. 이것은 AR/VR 디지털 콘텐츠의 타입(예를 들어, 주방 아이템들, 가구), 아이템들이 시각적으로 일치하도록 하는 AR/VR 디지털 콘텐츠의 다른 아이템들의 디스플레이 특성들 등을 포함하는 다양한 인자들에 기초할 수 있다.
입력 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 경우들에서, 콘텐츠 제안 모듈(120)을 채용해서 입력 디지털 이미지(130)가 적합하지 않은 이유 및/또는 후속 디지털 이미지에서 객체(512)의 캡처를 보정하는 방법을 나타내는 제안을 생성할 수 있다. 또한, 콘텐츠 제안 모듈(120)을 채용해서 자동으로 그리고 사용자 개입 없이 디지털 카메라(602)에 보정 명령들 및 이미지 재캡처 요청을 통신할 수 있다. 그 예가 다음의 섹션에서 설명된다.
AR/VR 디지털 콘텐츠에 관한 제안들의 생성
도 8은 AR/VR 디지털 콘텐츠를 생성하기 위한 입력 디지털 이미지(130)의 적합성에 관한 제안들을 생성하기 위해 도 3의 예(300)에서 트레이닝된 바와 같은 제안 머신 러닝 모델을 이용하는 것으로서 AR/VR 디지털 콘텐츠 시스템의 동작의 예(800)를 도시한다. 도 9는 디지털 이미지의 캡처를 개시하는 데 사용되는 사용자 인터페이스의 출력 및 제안의 출력의 예(900)의 제1 및 제2 스테이지들(902, 094)을 도시한다. 도 10은 제안 머신 러닝 모델이 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 이유 및/또는 후속 디지털 이미지에서 AR/VR 디지털 콘텐츠의 생성을 보정하는 방법을 나타내는 제안을 생성하는 예시적인 구현의 절차(1000)를 도시한다.
다음의 논의는 설명된 시스템들 및 디바이스들을 이용하여 구현될 수 있는 기법들을 설명한다. 절차의 양태들은 하드웨어, 펌웨어, 소프트웨어, 또는 그 조합으로 구현될 수 있다. 절차는 하나 이상의 디바이스에 의해 수행된 동작들을 특정하는 블록들의 세트로서 도시되며, 각자의 블록들에 의한 동작들을 수행하기 위해 도시된 순서들로 반드시 제한되는 것은 아니다. 다음의 논의의 일부에서, 도 8 내지 도 10에 대해 교체가능하게 참조가 이루어질 것이다.
이전의 예와 같이, AR/VR 디지털 콘텐츠 시스템(112)에 의해 디지털 이미지가 수신된다(블록 1002). 도 9의 예(800)에서, 클라이언트 디바이스(104)로부터 네트워크(106)를 통해 서비스 제공자 시스템(102)에 의해 입력 디지털 이미지(130)가 수신된다. 예를 들어, 입력 디지털 이미지(130)는 소셜 네트워크 서비스, 제품 목록 서비스, 디지털 콘텐츠 생성 서비스, 또는 임의의 다른 디지털 이미지 공유 서비스로의 업로드로서 수신될 수 있다. 클라이언트 디바이스(104)의 일부로서 포함된 디지털 카메라를 사용하여 AR/VR 디지털 콘텐츠 시스템(112)에 의해 입력 디지털 이미지를 생성하고 수신하는 다른 예들이 또한 고려된다.
도 9의 제1 스테이지(902)에 도시된 바와 같이, 예를 들어, 클라이언트 디바이스(104)는 디지털 카메라 디바이스를 채용하여 입력 디지털 이미지(130)를 캡처하고, 입력 디지털 이미지(130)는 그 후 AR/VR 디지털 콘텐츠 시스템(112)에 입력으로서 제공된다. 이전과 같이, 클라이언트 디바이스(104)는 디스플레이 디바이스(510)를 사용하여 사용자 인터페이스(508)를 출력한다. 사용자 인터페이스(508)는 디지털 카메라 디바이스에 의해 캡처된 "라이브 뷰"를 포함하고, 이 경우, AR/VR 디지털 콘텐츠를 생성하는 데 사용될 객체(512)를 포함한다. 입력 디지털 이미지(130)의 캡처를 개시하기 위해 사용자 선택가능한 옵션(514)이, 예를 들어, 사용자의 손(516)에 의한 옵션(514)의 터치스크린 기능을 통한 선택을 검출함으로써, 사용자 인터페이스(508)에 포함된다.
이전 섹션에서 설명된 바와 같이, 그 다음, 디지털 이미지(예를 들어, 2차원 디지털 이미지)에 의해 캡처된 객체가 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합한지에 관한 결정이 AR/VR 디지털 콘텐츠 시스템(112)에 의해 이루어진다. 이 결정은 AR/VR 적합성 머신 러닝 모델(204)을 사용하여 수행된다. 예를 들어, AR/VR 디지털 콘텐츠 시스템(112)은 먼저 배경 제거 모듈(402)을 채용하여 입력 디지털 이미지(130)로부터 배경을 제거함으로써, 객체의 뷰를 남길 수 있다. 이것은 다양한 방식들로, 예컨대 객체 인식, 돌출성 등에 기초한 마스크의 사용을 통해 수행될 수 있다.
배경이 제거된 입력 디지털 이미지(130)는 그후 콘텐츠 평가 모듈(118)에 제공된다. 콘텐츠 평가 모듈(118)은 적합성 스코어(406)를 계산하기 위해 도 2와 관련하여 설명된 바와 같이 트레이닝되는 AR/VR 적합성 머신 러닝 모델(204)을 포함한다. 적합성 스코어는 디지털 이미지에 포함된 객체가 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합한 정도를 나타낸다. 이 예에서, 디지털 이미지에 의해 캡처된 객체가 AR/VR 환경에서 디스플레이하기 위한 증강 현실/가상 현실(AR/VR) 디지털 콘텐츠를 생성하기에 적합하지 않다는 결정이 이루어진다(블록 1004).
따라서, 이 결정의 결과는 결과 처리 모듈(408)의 콘텐츠 제안 모듈(120)에 의해 사용되어 도 3과 관련하여 설명된 바와 같이 트레이닝되는 제안 머신 러닝 모델(302)을 사용하여 제안(즉, 제안 결과(802))을 생성한다(블록 1006). 그러므로, 이 예에서, 제안은 입력 디지털 이미지(130)가 적합하지 않다는 결정에 응답하여 자동으로 그리고 사용자 개입 없이 생성된다. 이러한 결정 없이 제안이 생성되는 다른 예들이 또한 고려된다.
콘텐츠 제안 모듈(120)은 하나 이상의 제안 머신 러닝 모델(302)을 포함하고, 이들 각각은 디지털 이미지에 의해 캡처된 객체가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 이유(블록 1008) 및/또는 후속 디지털 이미지에서 객체의 캡처를 보정하는 방법(블록 1010)에 대한 하나 이상의 특성을 식별하도록 구성된다. 예를 들어, 제안 머신 러닝 모델(302)은 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않게 하는 디지털 이미지 내의 객체들의 회전들을 검출하도록 트레이닝되는 회전 모델(804)을 포함할 수 있다. 마찬가지로, 배경 모델(806)은 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은, 즉, 배경으로부터 객체를 구별하기 어려운 디지털 이미지 내의 객체의 검출을 야기하는 배경들을 검출하도록 트레이닝될 수 있다. 다른 예들은, 조명 조건들을 식별하는 조명 모델(808), 객체가 가려져 있는지를 검출하는데 이용가능한 가려진 객체 모델(810), 각도 모델(812), 줌 모델(814), 해상도 모듈(816), 및 객체 검출 모델(818)을 포함하며, 이들은 각각 입력 디지털 이미지(130), 그리고 더 구체적으로는 디지털 이미지에 포함된 객체(512)가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 이유에 관한 대응하는 특성을 식별한다.
입력 디지털 이미지(130)에서의 객체가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 "이유"의 결정은 또한 후속 디지털 이미지에서 객체의 캡처를 보정하는 "방법"을 나타내는데 사용가능하다. 도 9의 제2 스테이지(904)에 나타낸 바와 같이, 예를 들어, 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 "이유", 예를 들어, 배경으로 인해 "객체를 검출할 수 없음(can't detect object)" 및 "객체가 가려짐(object is occluded)"을 나타내는 제안(906)이 출력된다. 제안(906)은 또한 후속 디지털 이미지의 캡처를 보정하는 "방법", 예를 들어, "상이한 배경을 시도("try different background)" 및 "프레임에서 전체 객체의 캡처를 시도(try capturing whole object in frame)"에 관한 표시를 포함한다.
이것은 특성을 검출하는 데 사용되는 모델 및/또는 더 큰 특이성으로 트레이닝된 모델로부터 추론될 수 있다. 예를 들어, 제안 머신 러닝 모델(302)은, 일반적으로, 입력 디지털 이미지(130)에서의 객체가 AR/VR 디지털 콘텐츠를 생성하기에 부적합하게 할 수 있는 조명 조건들(예를 들어, 어두움, 너무 밝음)을 식별하도록 트레이닝될 수 있다. 다른 예에서, 제1 제안 머신 러닝 모델(302)은 과다 노출(overexposure)을 검출하도록 트레이닝될 수 있는 반면, 제2 제안 머신 러닝 모델(302)은 광의 부족, 즉 "너무 어두움"을 검출하도록 트레이닝될 수 있다. 이러한 방식으로, 제안 결과(802)는 원하는 정도의 특이성으로 달성될 수 있다. 그 다음, 표시 생성 모듈(410)은 제안 결과(802)를 처리하여, 예를 들어, 클라이언트 디바이스(104)의 사용자 인터페이스 모듈(129)에 의해 사용자 인터페이스에 디스플레이하기 위한 제안을 출력하도록 구성된다(블록 1012). 도 9의 제2 스테이지(904)의 예시된 예에서, 제안은 입력 디지털 이미지(130)의 디스플레이와 동시에 렌더링되지만, 다른 예들도 또한 고려된다.
대안적으로 또는 추가적으로, 디지털 이미지에 의해 캡처된 객체가 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않다는 결정이 이루어질 때, 콘텐츠 제안 모듈(120)은, 디지털 카메라 디바이스(602)에 대해 직접, 그것이 AR/VR 디지털 콘텐츠를 생성하기에 적합하도록 객체의 후속 디지털 이미지를 자동보정하기 위한 명령을 통신할 수 있다. "이미지 자동보정(autocorrect image)" 버튼(908)이 현재 이미지가 적합하지 않은 이유 및 그것이 보정될 수 있는 방법에 관한 제안(906)과 동시에 제시되어 도시된다. 따라서, 사용자(516)는 터치스크린 기능을 사용하여 이미지 자동보정 버튼(908)을 선택하는 옵션을 갖는다.
또 다른 구현에서, 콘텐츠 제안 모듈(122)은 (콘텐츠 제안 모듈(120)을 디지털 카메라 디바이스(602)에 통신가능하게 결합하는 화살표를 사용하여 예시된 바와 같이) 자동보정을 위해 디지털 카메라 디바이스(602)에 보정 명령들을 자동으로 전송하고, 보정을 구현하는 후속 이미지를 캡처하고, 자동으로 그리고 사용자 개입 없이, 사용자 인터페이스에서 디스플레이 디바이스(510) 상에 보정된 이미지를 디스플레이할 수 있다. 예를 들어, 사용자(516)가 객체의 이미지를 캡처하며 이 객체가 AR/VR 디지털 콘텐츠를 생성하기에 불충분하게 조명되는 경우, 콘텐츠 제안 모듈은 더 많은 광을 사용하여 객체의 이미지를 재캡처하라는 명령을 디지털 카메라 디바이스(602)에 자동으로 전송하고, 재캡처된 이미지를 디스플레이 디바이스(510) 상에 디스플레이할 수 있다. 객체의 올바르게 조명되고 재캡처된 디지털 이미지는 그후 디스플레이 디바이스(510) 상에서 보일 것이다. 또한, 자동으로 그리고 사용자 개입 없이 다른 자동보정들(예를 들어, 이미지 필터들, 디지털 카메라 디바이스(602)의 디스플레이 설정들, 디지털 이미지 후처리 기법들 등)이 이루어질 수 있고 보정된 후속 이미지가 사용자 보기를 위해 디스플레이될 수 있다. 예를 들어, 디지털 이미지는 더 밝거나 더 어둡게 만들어질 수 있고, 이미지 캡처는 객체의 더 상세한 이미지 캡처를 위해 줌인 될 수 있고, 다양한 필터들, 예를 들어, 컬러 조화(color harmonization)가 적용될 수 있고, 포커스가 조정될 수 있고, 객체가 자동으로 중앙에 배치될 수 있는 등등이다.
이러한 방식으로, 본 명세서에 설명된 기법들은 종래의 AR/VR 생성 기법들의 제한들을 극복할 뿐만 아니라 객체의 2D 이미지를 AR/VR 환경으로 성공적으로 투사하는 프로세스를 통해 사용자를 안내하는 것을 도울 수 있는 직관적인 경험을 제공하도록 구현된다. 예를 들어, 클라이언트 디바이스(104)는 라이브 카메라 피드를 디스플레이하는 데 사용되는 디지털 카메라 디바이스(602)를 갖추고 있다. AR/VR 환경에 적합한 것으로 결정된 2D 객체의 이미지가 라이브 카메라 피드로 투사되어 실제 라이브 카메라 피드를 증강시키고 실제 세계에서 물리적 객체를 추가할 경우 "실제 세계"가 어떻게 보이는지를 디스플레이할 수 있다. 2D 이미지를 사용하는 것은 3D AR/VR 경험의 이점들을 제공하고 AR/VR 환경에서 풀 3D 객체 모델들을 사용할 때 경험되는 번거로운 상호작용들 및 디바이스 비효율들을 완화시키는 사용자에 대한 "의사 3D" AR/VR 경험을 생성한다.
예를 들어, 사용자는 집의 맨 벽에 조각품이나 예술품을 추가하기를 원할 수 있다. 사용자는 모바일 폰을 사용하여 맨 벽을 보여주는 라이브 카메라 피드를 오픈하고, 반 고흐(Van Gogh) 프린트의 이미지를 선택하고, 그것을 라이브 카메라 피드의 벽에 배치할 수 있어, 사용자가 반 고흐 프린트의 실제 물리적 버전을 벽에 걸면 벽이 어떻게 보일지를 보여줄 수 있다. 그러나, AR/VR 환경에서 반 고흐 프린트의 이미지를 투사하기 위해서는, 디지털 이미지가 AR/VR 환경에서 보기에 적합하도록 특정 요건들이 충족되어야 한다.
AR/VR 적합성 머신 러닝 모델(204)은 AR/VR 환경에서 디스플레이하기 위한 디지털 이미지의 적합성을 결정하는 데 사용된다. 이러한 방식으로, 수백만 또는 수십억의 객체들의 이미지들이 AR/VR 환경에 포함하기에 적합한 것으로 분류될 수 있다. 예를 들어, 판매자가 판매를 위한 아이템을 목록화할 수 있는 가상 마켓플레이스에서, 판매자가 전자상거래의 이러한 점점 더 인기있는 특징을 이용하고자 하는 경우, 판매자가 AR/VR 환경에서 투사하기에 적합한 아이템의 이미지를 제공하는 것이 바람직하다. 따라서, 디지털 이미지가 적합하거나 또는 적합하지 않다는 표시를 제공하는 것은 마켓플레이스에 제공되는 객체의 디지털 이미지가 AR/VR 환경에서 디스플레이하기에 적합한지 여부에 관해 그 판매자에게 알린다. 제안들은 또한, 후속 디지털 이미지에 의해 캡처된 객체가 이후 AR/VR 환경에서 디스플레이하기에 적합할 수 있도록, 디지털 이미지를 개선하는 방법에 대한 명령들을 제공하는 것으로서 생성될 수 있다. 대안적으로 또는 추가적으로, 객체의 후속 디지털 이미지의 캡처를 자동보정하는 옵션이 제공될 수 있거나, 또는 보정들을 구현하는 후속 캡처가 전술한 바와 같이 자동으로 그리고 사용자 개입 없이 개시될 수 있다.
이것은, 통상적으로 복잡한 3D 모델의 객체를 이용하고 그 객체가 AR/VR 환경에서 디스플레이하기에 적합한지를 결정하기 위한 프로세스를 갖지 않는 종래의 AR/VR 기술보다 개선된 것이다. 또한, 객체가 디스플레이하기에 적합한 것을 보장하기 위해 어떤 단계들을 취해야 하는지에 대한 표시 - 이는 객체를 보정하는데 필요한 다수의 단계들로 인해 계산적으로 비효율적이고 또한 사용자 비효율적임 - 가 사용자에게 맡겨지지 않는다.
다중 AR/VR 디지털 콘텐츠를 갖는 비-모달 AR/VR 환경
도 11은 AR/VR 디지털 콘텐츠의 다수의 생성된 객체들이 AR/VR 환경에 추가되는 클라이언트 디바이스(104) 상에 디스플레이된 비-모달 AR/VR 환경을 보여주는 사용자 인터페이스의 출력의 예(1100)를 도시한다. 도 12는 다수의 입력 디지털 이미지가 AR/VR 환경에서 디스플레이하기 위한 다수의 AR/VR 디지털 콘텐츠를 생성하기에 적합한 것으로 결정되는 예시적인 구현의 절차(1200)를 도시한다.
다음의 논의는 설명된 시스템들 및 디바이스들을 이용하여 구현될 수 있는 기법들을 설명한다. 절차의 양태들은 하드웨어, 펌웨어, 소프트웨어, 또는 그 조합으로 구현될 수 있다. 절차는 하나 이상의 디바이스에 의해 수행된 동작들을 특정하는 블록들의 세트로서 도시되며, 각자의 블록들에 의한 동작들을 수행하기 위해 도시된 순서들로 반드시 제한되는 것은 아니다. 다음의 논의의 일부에서, 도 11 내지 도 12에 대해 교체가능하게 참조가 이루어질 것이다.
이 예를 시작하기 위해, 가상 마켓플레이스에 액세스하는 클라이언트 디바이스(104)가 디지털 카메라 디바이스에 의해 캡처된 라이브 카메라 피드를 사용하여 AR/VR 환경을 개시한다(블록 1202). AR/VR 환경은 가상 마켓플레이스의 다수의 포인트에서 개시될 수 있다. 예를 들어, 객체 검색 뷰에서, 카메라 아이콘이 검색 바에 존재할 수 있고 선택될 때 AR/VR 환경이 개시되고, AR/VR 환경에서 디스플레이하기에 적합한 객체들에 대해 이전에 개시된 검색이 계속될 수 있다. 다른 예에서, AR/VR 환경은 뷰 객체 페이지로부터 개시될 수 있다. 선택된 객체의 디지털 이미지가 위에서 논의한 바와 같이 AR/VR 디지털 콘텐츠를 생성하기에 적합한 것으로 간주되는 경우, AR/VR 환경이 뷰 객체 페이지로부터 개시되고 AR/VR 환경에서 뷰잉된 객체를 보여줄 수 있다. 또 다른 예에서, AR/VR 환경은 객체 추천 목록으로부터 개시될 수 있다. 추천 목록 내의 객체의 디지털 이미지가 AR/VR 디지털 콘텐츠를 생성하기에 적합한 것으로 간주되는 경우, 객체를 선택하고 그것을 AR/VR 환경에서 보는 옵션이 제공될 수 있다.
AR/VR 환경이 개시된 후, 가상 마켓플레이스에서의 임의의 추가 액션이 AR/VR 환경 내에서, 즉, 비-모달 방식으로(non-modally) 수행될 수 있다. 도 11은 AR/VR 환경에서 일어나는 가상 마켓플레이스에서의 동작의 제1, 제2, 및 제3 스테이지들(1102, 1104, 및 1106)의 예들을 도시한다. 제1 스테이지(1102)에서, 제1 객체(예를 들어, 도 5의 램프(512))가 선택되었고(블록 1204) 도 5의 제3 스테이지(506)와 유사하게 라이브 카메라 피드 AR/VR 환경에 디스플레이되었다(블록 1206).
제2 객체에 대한 검색 요청에 응답하여(블록 1208), 제2 스테이지(1104)는 검색에 기초한 추가적인 객체 추천들의 목록을 도시한다. 사용자의 손(516)에 의해, 제2 객체(커피 잔(1110))의 터치스크린 기능을 통한 선택을 검출함으로써(블록 1210), AR/VR 환경에서 디스플레이하기 위해 커피 잔(1108)이 선택된다. 제3 스테이지(1106)는 AR/VR 환경에 추가되고(블록 1212) AR/VR 환경의 라이브 카메라 피드에서 "실제" 테이블 상의 램프(512) 옆에 배치된 커피 잔(1108)을 도시한다. 이 예에서, 이것은 또한 객체들의 자동화된 재배열을 포함하지만, 다른 예들도 또한 고려된다.
따라서, AR/VR 콘텐츠의 제2 객체는 AR/VR 환경 내의 라이브 카메라 피드의 출력에 관하여 비-모달이다. 램프(512) 및 커피 잔(1108)은 AR/VR 환경에서 수정되거나 조작될 수 있다. 예를 들어, 기존의 AR/VR 환경 내에서 모두, 이들 객체는 테이블 상에 수동으로 재배열될 수 있고, 이들 중 하나가 제거될 수 있고, 제3 객체가 검색되어 추가될 수 있는 등등이다. 또한, AR/VR 환경에서 어느 하나의 객체 또는 양쪽 모두가 쇼핑 카트에 추가되어 구매될 수 있다. 대안적으로, 사용자가 선택하는 경우, 사용자는 임의의 동작 포인트에서 AR/VR 환경을 나갈 수 있다.
전술한 바와 같이, 적합성의 결정은 또한 AR/VR 환경에 포함된 다른 AR/VR 디지털 콘텐츠를 포함하는 AR/VR 환경을 해결할 수 있고 따라서 비-모달 라이브 카메라 피드의 일부로서 채용될 수 있다. 예를 들어, 적합성은 AR/VR 디지털 콘텐츠의 다른 아이템들과 일치하고 따라서 이들 아이템들과 디스플레이하기에 적합한 AR/VR 디지털 콘텐츠의 아이템들을 제안하기 위한 검색의 일부로서 활용될 수 있다. 이것은 AR/VR 디지털 콘텐츠의 타입(예를 들어, 주방 아이템들, 가구), 아이템들이 서로 시각적으로 일치하도록 하는 AR/VR 디지털 콘텐츠의 다른 아이템들의 디스플레이 특성들 등을 포함하는 다양한 인자들에 기초할 수 있다.
도 11에 도시된 바와 같이, 예를 들어, 램프(512)에 관련된 아이템들을 찾기 위한 검색이 수행될 수 있으며, 이 검색은 램프(512)가 나타내는 일반적인 테마에 또한 관련된 커피 잔들의 선택을 포함한다. 아이템들은 또한 AR/VR 디지털 콘텐츠로서 생성될 때 램프(512)와 시각적으로 일치하도록 선택될 수 있는데, 예를 들어, 유사한 조명, 그림자들, 밝기, 컬러들 등을 포함할 수 있다. 이러한 방식으로, 적합성은 AR/VR 환경 자체의 특성들뿐만 아니라 AR/VR 환경에 디스플레이되는 다른 아이템들, 예를 들어, 램프(512)의 특성들에 기초하여 AR/VR 디지털 콘텐츠의 아이템들을 제안하기 위해 사용될 수 있다. 다른 예들도 또한 고려된다.
사용자가 검색을 수행하고, 추천으로부터 선택하고, 동일한 AR/VR 환경에 다수의 객체들을 두고, 다수의 객체들을 스케일링하고, 다수의 객체들을 재배열하고, 다수의 객체들을 추가 및 삭제하고, 하나 이상의 객체를 쇼핑 카트에 추가하고, 구매를 완료할 수 있는 비-모달 AR/VR 환경은 종래의 기법들에 비해 개선된 것이다. 따라서, 비-모달 AR/VR 환경은 단순히 객체 뷰 모드가 아니라, 오히려 전체적으로 가상 마켓플레이스이다. 종래의 기법들은 일반적으로 AR/VR 환경에서 단일 객체로 제한되고, 전형적으로 비-모달 AR/VR 환경 내에서 다수의 액션들이 수행될 수 있는 엔드 투 엔드 경험을 제공하지 않는다. 본 명세서에 설명된 비-모달 AR/VR 환경은 가상 마켓플레이스에서의 엔드 투 엔드 쇼핑 경험을 제공하도록 구현되는 이러한 기법들을 구현하는 컴퓨팅 디바이스의 사용자 및 동작 효율을 개선한다.
예시적인 시스템 및 디바이스
도 13은 본 명세서에서 설명되는 다양한 기법들을 구현할 수 있는 하나 이상의 컴퓨팅 시스템 및/또는 디바이스를 대표하는 예시적인 컴퓨팅 디바이스(1302)를 포함하는 예시적인 시스템을 일반적으로 1300으로 도시한다. 이것은 컬러 3차원 디지털 모델(116)의 포함을 통해 예시된다. 컴퓨팅 디바이스(1302)는, 예를 들어, 서비스 제공자의 서버, 클라이언트(예를 들어, 클라이언트 디바이스)와 연관된 디바이스, 온-칩 시스템, 및/또는 임의의 다른 적합한 컴퓨팅 디바이스 또는 컴퓨팅 시스템일 수 있다.
도시된 바와 같은 예시적인 컴퓨팅 디바이스(1302)는 서로 통신가능하게 결합되는 처리 시스템(1304), 하나 이상의 컴퓨터 판독가능 매체(1306), 및 하나 이상의 I/O 인터페이스(1308)를 포함한다. 도시되지 않았지만, 컴퓨팅 디바이스(1302)는 다양한 컴포넌트들을 서로 결합하는 시스템 버스 또는 다른 데이터 및 커맨드 전달 시스템을 추가로 포함할 수 있다. 시스템 버스는 메모리 버스 또는 메모리 제어기, 주변 버스, 범용 직렬 버스, 및/또는 각종 버스 아키텍처들 중 임의의 것을 활용하는 프로세서 또는 로컬 버스와 같은 상이한 버스 구조들 중 어느 하나 또는 조합을 포함할 수 있다. 제어 및 데이터 라인들과 같은 다양한 다른 예들이 또한 고려된다.
처리 시스템(1304)은 하드웨어를 사용하여 하나 이상의 동작을 수행하는 기능을 나타낸다. 따라서, 처리 시스템(1304)은 프로세서들, 기능 블록들 등으로서 구성될 수 있는 하드웨어 요소(1310)를 포함하는 것으로서 예시된다. 이것은 하나 이상의 반도체를 사용하여 형성된 주문형 집적 회로(application specific integrated circuit) 또는 다른 로직 디바이스로서 하드웨어의 구현을 포함할 수 있다. 하드웨어 요소들(1310)은 그것들이 형성되는 재료들 또는 본 개시내용에서 채용된 처리 메커니즘들에 의해 제한되지 않는다. 예를 들어, 프로세서들은 반도체(들) 및/또는 트랜지스터들(예를 들어, 전자 집적 회로(IC)들)로 이루어질 수 있다. 이러한 맥락에서, 프로세서-실행가능 명령어들은 전자적으로 실행가능한 명령어들일 수 있다.
컴퓨터 판독가능 저장 매체(1306)는 메모리/스토리지(1312)를 포함하는 것으로 도시되어 있다. 메모리/스토리지(1312)는 하나 이상의 컴퓨터 판독가능 매체와 연관되는 메모리/스토리지 용량을 나타낸다. 메모리/스토리지 컴포넌트(1312)는 휘발성 매체(예컨대, 랜덤 액세스 메모리(random access memory, RAM)) 및/또는 비휘발성 매체(예컨대, 판독 전용 메모리(read only memory, ROM), 플래시 메모리, 광학적 디스크들, 자기 디스크들 등)를 포함할 수 있다. 메모리/스토리지 컴포넌트(1312)는 고정식 매체(예를 들어, RAM, ROM, 고정식 하드 드라이브 등)뿐만 아니라 이동식 매체(예를 들어, 플래시 메모리, 이동식 하드 드라이브, 광학적 디스크 등)를 포함할 수 있다. 컴퓨터 판독가능 매체(1306)는 아래에서 더 설명되는 바와 같은 다른 다양한 방식들로 구성될 수 있다.
입력/출력 인터페이스(들)(1308)는 사용자가 컴퓨팅 디바이스(1302)에 커맨드들 및 정보를 입력할 수 있게 하고, 또한 다양한 입력/출력 디바이스들을 사용하여 정보가 사용자 및/또는 다른 컴포넌트들 또는 디바이스들에 제시될 수 있게 하는 기능을 나타낸다. 입력 디바이스들의 예들은 키보드, 커서 제어 디바이스(예를 들어, 마우스), 마이크로폰, 스캐너, 터치 기능(예를 들어, 물리적 터치를 검출하도록 구성되는 용량성 또는 다른 센서들), 카메라(예를 들어, 가시적 또는 비가시적 파장들, 예컨대, 적외선 주파수들을 채용하여 터치를 수반하지 않는 제스처들로서 움직임을 인식할 수 있음) 등을 포함한다. 출력 디바이스들의 예들은 디스플레이 디바이스(예를 들어, 모니터 또는 프로젝터), 스피커들, 프린터, 네트워크 카드, 촉각 응답 디바이스 등을 포함한다. 따라서, 컴퓨팅 디바이스(1302)는 사용자 상호작용을 지원하기 위해 아래에서 더 설명되는 바와 같은 다양한 방식들로 구성될 수 있다.
소프트웨어, 하드웨어 요소들, 또는 프로그램 모듈들의 일반적인 맥락에서 다양한 기법들이 본 명세서에서 설명될 수 있다. 일반적으로, 이러한 모듈들은 특정 작업들을 수행하거나 특정 추상 데이터 타입들을 구현하는 루틴들, 프로그램들, 객체들, 요소들, 컴포넌트들, 데이터 구조들 등을 포함한다. 본 명세서에서 사용되는 바와 같은 용어들 "모듈", "기능" 및 "컴포넌트"는 일반적으로 소프트웨어, 펌웨어, 하드웨어, 또는 그 조합을 나타낸다. 본 명세서에 설명된 기법들의 특징들은 플랫폼-독립적인데, 이는 그 기법들이 다양한 프로세서들을 갖는 다양한 상용 컴퓨팅 플랫폼들에서 구현될 수 있다는 것을 의미한다.
설명된 모듈들 및 기법들의 구현은 컴퓨터 판독가능 매체의 일부 형태를 통해 저장되거나 송신될 수 있다. 컴퓨터 판독가능 매체는 컴퓨팅 디바이스(1302)에 의해 액세스될 수 있는 다양한 매체를 포함할 수 있다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 "컴퓨터 판독가능 저장 매체" 및 "컴퓨터 판독가능 신호 매체"를 포함할 수 있다.
"컴퓨터 판독가능 저장 매체"는 단순한 신호 송신, 반송파들, 또는 신호들 그 자체와 달리 정보의 지속적인 및/또는 비일시적인 저장을 가능하게 하는 매체 및/또는 디바이스들을 지칭할 수 있다. 따라서, 컴퓨터 판독가능 저장 매체는 비-신호 베어링 매체(non-signal bearing media)를 지칭한다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 로직 요소들/회로들, 또는 다른 데이터와 같은 정보의 저장에 적합한 방법 또는 기술로 구현된 휘발성 및 비휘발성, 이동식 및 비이동식 매체 및/또는 저장 디바이스들과 같은 하드웨어를 포함한다. 컴퓨터 판독가능 저장 매체의 예들은 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광학적 스토리지, 하드 디스크들, 자기 카세트들, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 다른 저장 디바이스, 유형의 매체, 또는 원하는 정보를 저장하기에 적합하고 컴퓨터에 의해 액세스될 수 있는 제조 물품을 포함할 수 있지만, 이에 제한되지 않는다.
"컴퓨터 판독가능 신호 매체"는, 예컨대 네트워크를 통해, 컴퓨팅 디바이스(1302)의 하드웨어에 명령어들을 송신하도록 구성되는 신호 베어링 매체를 지칭할 수 있다. 신호 매체는 전형적으로 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 반송파들, 데이터 신호들 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호로 구현할 수 있다. 신호 매체는 또한 임의의 정보 전달 매체를 포함한다. 용어 "변조된 데이터 신호"는 신호에 정보를 인코딩하는 방식으로 설정되거나 변경된 특성들 중 하나 이상을 갖는 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체, 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함한다.
이전에 설명된 바와 같이, 하드웨어 요소들(1310)과 컴퓨터 판독가능 매체(1306)는 본 명세서에서 설명되는 기법들의 적어도 일부 양태들을 구현하기 위해, 예컨대 하나 이상의 명령어를 수행하기 위해 일부 실시예들에서 채용될 수 있는 하드웨어 형태로 구현되는 모듈들, 프로그램가능 디바이스 로직 및/또는 고정식 디바이스 로직을 나타낸다. 하드웨어는 집적 회로 또는 온-칩 시스템, ASIC(application-specific integrated circuit), FPGA(field-programmable gate array), CPLD(complex programmable logic device), 및 실리콘 또는 다른 하드웨어의 다른 구현들의 컴포넌트들을 포함할 수 있다. 이러한 맥락에서, 하드웨어는 실행을 위한 명령어들을 저장하는데 이용되는 하드웨어, 예를 들어, 전술한 컴퓨터 판독가능 저장 매체뿐만 아니라 하드웨어에 의해 구현된 명령어들 및/또는 로직에 의해 정의된 프로그램 작업들을 수행하는 처리 디바이스로서 동작할 수 있다.
여기서 설명된 다양한 기법들을 구현하기 위해 전술한 것의 조합들이 또한 채용될 수 있다. 따라서, 소프트웨어, 하드웨어 또는 실행가능한 모듈들은 일부 형태의 컴퓨터 판독가능 저장 매체 상에 구현된 하나 이상의 명령어 및/또는 로직으로서 및/또는 하나 이상의 하드웨어 요소(1310)에 의해 구현될 수 있다. 컴퓨팅 디바이스(1302)는 소프트웨어 및/또는 하드웨어 모듈들에 대응하는 특정 명령어들 및/또는 기능들을 구현하도록 구성될 수 있다. 따라서, 컴퓨팅 디바이스(1302)에 의해 소프트웨어로서 실행가능한 모듈의 구현은, 예를 들어, 컴퓨터 판독가능 저장 매체 및/또는 처리 시스템(1304)의 하드웨어 요소들(1310)의 사용을 통해 적어도 부분적으로 하드웨어로 달성될 수 있다. 명령어들 및/또는 기능들은 본 명세서에서 설명되는 기법들, 모듈들, 및 예들을 구현하기 위해 하나 이상의 제조 물품(예를 들어, 하나 이상의 컴퓨팅 디바이스(1302) 및/또는 처리 시스템들(1304))에 의해 실행가능/동작가능할 수 있다.
본 명세서에서 설명되는 기법들은 컴퓨팅 디바이스(1302)의 다양한 구성들에 의해 지원될 수 있고 본 명세서에서 설명되는 기법들의 특정 예들로 제한되지 않는다. 이 기능은 분산형 시스템의 사용을 통해, 예컨대 아래에서 설명되는 바와 같이 플랫폼(1316)을 경유하는 "클라우드"(1314)를 통해 전부 또는 부분적으로 또한 구현될 수 있다.
클라우드(1314)는 자원들(1318)을 위한 플랫폼(1316)을 포함하며 그리고/또는 이를 대표한다. 플랫폼(1316)은 클라우드(1314)의 하드웨어(예를 들어, 서버들) 및 소프트웨어 자원들의 기본 기능을 추상화한다. 자원들(1318)은 컴퓨팅 디바이스(1302)로부터 원격인 서버들 상에서 컴퓨터 처리가 실행되는 동안 이용될 수 있는 애플리케이션들 및/또는 데이터를 포함할 수 있다. 자원들(1318)은 또한 인터넷을 통해 및/또는 셀룰러 또는 Wi-Fi 네트워크와 같은 가입자 네트워크를 통해 제공되는 서비스들을 포함할 수 있다.
플랫폼(1316)은 컴퓨팅 디바이스(1302)를 다른 컴퓨팅 디바이스들과 연결하기 위한 자원들 및 기능들을 추상화할 수 있다. 플랫폼(1316)은 플랫폼(1316)을 통해 구현되는 자원들(1318)에 대한 직면한 수요에 대응하는 스케일 레벨을 제공하기 위해 자원들의 스케일링을 추상화하는 역할을 또한 할 수 있다. 따라서, 상호연결된 디바이스 실시예에서는, 본 명세서에서 설명된 기능의 구현이 시스템(1300) 전체에 걸쳐 분산될 수 있다. 예를 들어, 이 기능은 부분적으로 컴퓨팅 디바이스(1302) 상에서 뿐만 아니라 클라우드(1314)의 기능을 추상화하는 플랫폼(1316)을 통해 구현될 수 있다.
결론
본 발명이 구조적 특징들 및/또는 방법적 동작들에 특정한 언어로 설명되었지만, 첨부된 청구항들에 정의된 발명이 설명된 특정한 특징들 또는 동작들로 반드시 제한되는 것은 아니라는 것을 이해할 것이다. 오히려, 특정한 특징들 및 동작들은 청구된 발명을 구현하는 예시적인 형태들로서 개시된다.

Claims (20)

  1. 적어도 하나의 컴퓨팅 디바이스에 의해 구현되는 방법으로서,
    상기 적어도 하나의 컴퓨팅 디바이스에 의해, 2차원 디지털 이미지를 수신하는 단계;
    상기 컴퓨팅 디바이스에 의해, 2차원 디지털 이미지에 의해 캡처된 객체가 증강 현실/가상 현실(AR/VR) 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합한지를 결정하는 단계 - 이 결정은 머신 러닝 모델(machine-learning model)을 사용하여 수행됨 - ; 및
    상기 컴퓨팅 디바이스에 의해, 상기 객체가 상기 AR/VR 환경에서 AR/VR 디지털 콘텐츠로서 디스플레이하기에 적합한지에 관한 결정의 결과를 나타내는 사용자 인터페이스에서 디스플레이하기 위한 표시(indication)를 출력하는 단계 - 상기 표시는 상기 결정에 응답하여 상기 객체가 상기 AR/VR 디지털 콘텐츠를 생성하기에 적합하다는 것을 나타내고, 상기 표시는 상기 2차원 디지털 이미지에 포함된 객체의 상기 AR/VR 디지털 콘텐츠를 생성하도록 선택가능함 -
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 결정하는 단계는, 상기 컴퓨팅 디바이스에 의해, 상기 머신 러닝 모델을 사용하여 스코어를 계산하는 단계를 포함하고, 상기 스코어는 상기 2차원 디지털 이미지에 포함된 객체가 상기 AR/VR 환경에서 디스플레이하기 위한 상기 AR/VR 디지털 콘텐츠를 생성하기에 적합한 정도를 나타내는, 방법.
  3. 제2항에 있어서, 상기 스코어는 분류기(classifier)로서 구성된 상기 머신 러닝 모델에 의해 생성된 확률로서 구성되고, 상기 객체가 상기 AR/VR 디지털 콘텐츠를 생성하기에 적합한지에 관한 결정은 상기 확률을 임계값과 비교하는 것에 기초하는, 방법.
  4. 제3항에 있어서, 상기 머신 러닝 모델은 컨볼루션 신경망(convolutional neural network, CNN)인, 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 적어도 하나의 컴퓨팅 디바이스에 의해, 상기 AR/VR 디지털 콘텐츠를 생성하는 단계; 및
    상기 적어도 하나의 컴퓨팅 디바이스에 의해, 상기 AR/VR 환경의 일부로서 상기 사용자 인터페이스에서 디스플레이하기 위해 상기 AR/VR 디지털 콘텐츠를 출력하는 단계
    를 추가로 포함하는, 방법.
  11. 적어도 하나의 컴퓨팅 디바이스에 의해 구현되는 방법으로서,
    상기 적어도 하나의 컴퓨팅 디바이스에 의해, 제1 디지털 이미지를 수신하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 제1 디지털 이미지에 의해 캡처된 객체가 증강 현실/가상 현실(AR/VR) 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않다고 결정하는 단계 - 이 결정은 AR/VR 적합성 머신 러닝 모델(AR/VR suitability machine-learning model)을 사용하여 수행됨 - ;
    상기 컴퓨팅 디바이스에 의해, 제안 머신 러닝 모델을 사용하여 제안을 생성하는 단계 - 상기 제안은:
    상기 제1 디지털 이미지에 의해 캡처된 객체가 상기 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 이유; 또는
    후속 디지털 이미지에서 상기 객체의 캡처를 보정하는 방법을 나타냄 - ; 및
    상기 컴퓨팅 디바이스에 의해, 사용자 인터페이스에서 디스플레이하기 위한 상기 제안을 출력하는 단계
    를 포함하는, 방법.
  12. 제11항에 있어서, 상기 제안의 생성은, 상기 제1 디지털 이미지에 의해 캡처된 객체가 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않다고 결정하는 것에 응답하여 자동으로 그리고 사용자 개입 없이 수행되는, 방법.
  13. 제11항에 있어서, 상기 AR/VR 적합성 머신 러닝 모델은 상기 제안 머신 러닝 모델을 구현하는 컨볼루션 신경망과는 별개인 컨볼루션 신경망으로서 구현되는, 방법.
  14. 제11항에 있어서, 상기 제안의 생성은, 상기 제1 디지털 이미지에 의해 캡처된 객체가 AR/VR 디지털 콘텐츠를 생성하기에 적합하다고 결정하는 것에 응답하여 수행되지 않는, 방법.
  15. 제11항에 있어서, 상기 제안의 출력은 상기 사용자 인터페이스에서 상기 제1 디지털 이미지의 디스플레이와 동시에 수행되는, 방법.
  16. 제11항에 있어서, 상기 제안은 회전, 배경, 조명, 가림(occlusion), 각도, 줌, 또는 해상도를 수반하는 보정을 나타내는, 방법.
  17. 증강 현실/가상 현실(AR/VR) 디지털 콘텐츠 시스템으로서,
    AR/VR 적합성 머신 러닝 모델을 사용하여, 제1 디지털 이미지에 의해 캡처된 객체가 AR/VR 환경에서 디스플레이하기 위한 AR/VR 디지털 콘텐츠를 생성하기에 적합한지를 결정하기 위해, 컴퓨팅 디바이스의 하드웨어에서 적어도 부분적으로 구현되는 콘텐츠 평가 모듈;
    제안 머신 러닝 모델을 사용하여 제안을 생성하기 위해 상기 컴퓨팅 디바이스의 하드웨어에서 적어도 부분적으로 구현되는 콘텐츠 제안 모듈 - 상기 제안은 상기 콘텐츠 평가 모듈에 의해 상기 제1 디지털 이미지에 의해 캡처된 객체가 상기 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않다고 결정하는 것에 응답하여 후속 디지털 이미지에서 상기 객체의 캡처를 보정하는 방법을 나타냄 - ; 및
    사용자 인터페이스에서 디스플레이하기 위한 상기 제안을 출력하기 위해 상기 컴퓨팅 디바이스의 하드웨어에서 적어도 부분적으로 구현되는 사용자 인터페이스 모듈
    을 포함하는, AR/VR 디지털 콘텐츠 시스템.
  18. 제17항에 있어서, 상기 콘텐츠 평가 모듈은 상기 AR/VR 적합성 머신 러닝 모델을 사용하여 스코어를 계산함으로써 상기 객체의 적합성을 결정하도록 구성되고, 상기 스코어는 상기 제1 디지털 이미지에 포함된 객체가 상기 AR/VR 환경에서 디스플레이하기 위한 상기 AR/VR 디지털 콘텐츠를 생성하기에 적합한 정도를 나타내는, AR/VR 디지털 콘텐츠 시스템.
  19. 제17항에 있어서, 상기 제안은 상기 제1 디지털 이미지에 의해 캡처된 객체가 상기 AR/VR 디지털 콘텐츠를 생성하기에 적합하지 않은 이유를 나타내는, AR/VR 디지털 콘텐츠 시스템.
  20. 제17항에 있어서, 상기 제안은 회전, 배경, 조명, 가림, 각도, 줌, 또는 해상도를 수반하는 보정을 나타내는, AR/VR 디지털 콘텐츠 시스템.
KR1020217008279A 2018-10-09 2019-10-08 Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정 KR102476294B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227042832A KR102667525B1 (ko) 2018-10-09 2019-10-08 Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862743468P 2018-10-09 2018-10-09
US62/743,468 2018-10-09
US16/596,394 2019-10-08
PCT/US2019/055263 WO2020076871A1 (en) 2018-10-09 2019-10-08 Digital image suitability determination to generate ar/vr digital content
US16/596,394 US11100054B2 (en) 2018-10-09 2019-10-08 Digital image suitability determination to generate AR/VR digital content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227042832A Division KR102667525B1 (ko) 2018-10-09 2019-10-08 Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정

Publications (2)

Publication Number Publication Date
KR20210047326A KR20210047326A (ko) 2021-04-29
KR102476294B1 true KR102476294B1 (ko) 2022-12-12

Family

ID=70051685

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217008279A KR102476294B1 (ko) 2018-10-09 2019-10-08 Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정
KR1020227042832A KR102667525B1 (ko) 2018-10-09 2019-10-08 Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227042832A KR102667525B1 (ko) 2018-10-09 2019-10-08 Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정

Country Status (5)

Country Link
US (3) US11803664B2 (ko)
EP (3) EP3864796B1 (ko)
KR (2) KR102476294B1 (ko)
CN (3) CN112840596B (ko)
WO (2) WO2020076617A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
JP7065738B2 (ja) * 2018-09-18 2022-05-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US11803664B2 (en) 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
JP7281041B2 (ja) * 2018-11-29 2023-05-25 京セラドキュメントソリューションズ株式会社 種類判別システム
US10990563B2 (en) 2019-04-11 2021-04-27 Advanced New Technologies Co., Ltd. Information read/write method and apparatus based on blockchain
US11138328B2 (en) 2019-05-30 2021-10-05 Bank Of America Corporation Controlling access to secure information resources using rotational datasets and dynamically configurable data containers
US11165777B2 (en) 2019-05-30 2021-11-02 Bank Of America Corporation Controlling access to secure information resources using rotational datasets and dynamically configurable data containers
US11153315B2 (en) 2019-05-30 2021-10-19 Bank Of America Corporation Controlling access to secure information resources using rotational datasets and dynamically configurable data containers
US11676200B2 (en) 2020-02-06 2023-06-13 Shopify Inc. Systems and methods for generating augmented reality scenes for physical items
US12026149B2 (en) * 2020-04-02 2024-07-02 ALKMY Technologies, LLC Apparatuses, computer-implemented methods, and computer program products for facilitating computer-based transfer of transferable data objects
EP3837652B1 (en) * 2020-04-15 2022-09-07 Alipay (Hangzhou) Information Technology Co., Ltd. Distributed blockchain data storage under account model
EP3844642A4 (en) 2020-04-20 2021-08-25 Alipay (Hangzhou) Information Technology Co., Ltd. STORING BLOCKCHAIN DATA DISTRIBUTED UNDER AN ACCOUNT MODEL
US11521339B2 (en) * 2020-06-10 2022-12-06 Snap Inc. Machine learning in augmented reality content items
US11621857B2 (en) 2020-09-03 2023-04-04 Seagate Technology Llc Fingerprint and provenance for movable storage devices
US11652604B2 (en) * 2020-11-12 2023-05-16 Paypal, Inc. Blockchain data compression and storage
CN113098938B (zh) * 2021-03-25 2022-07-12 卓尔智联(武汉)研究院有限公司 一种共享视频的方法、装置及电子设备
CN113744412B (zh) * 2021-08-16 2024-06-18 长沙眸瑞网络科技有限公司 一种处理3d模型数据的方法及装置
US20230062776A1 (en) * 2021-08-25 2023-03-02 Ebay Inc. Supplemental Digital Content Access Control using Nonfungible Tokens (NFTs)
US20230070271A1 (en) * 2021-09-08 2023-03-09 Shopify Inc. Systems and methods for identifying items having complementary material properties
US11682180B1 (en) * 2021-12-09 2023-06-20 Qualcomm Incorporated Anchoring virtual content to physical surfaces
KR102623594B1 (ko) * 2022-02-10 2024-01-10 주식회사 이매지니어스 대체 불가능 토큰 콘텐츠를 이용한 증강 현실 서비스를 제공하기 위한 방법
CN116347057B (zh) * 2023-05-29 2023-07-25 缤汇数字科技(南京)有限公司 一种App端实现动态模型AR实景展示方法
CN118093598A (zh) * 2024-04-23 2024-05-28 中国科学技术大学 一种基于区块链技术的数据要素化方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017124192A (ja) * 2017-02-24 2017-07-20 株式会社バンダイナムコエンターテインメント プログラム、サーバ、端末及びネットワークシステム
US20170243064A1 (en) * 2016-02-18 2017-08-24 Matthew A. Simari Real-time detection of object scanability

Family Cites Families (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5255352A (en) 1989-08-03 1993-10-19 Computer Design, Inc. Mapping of two-dimensional surface detail on three-dimensional surfaces
US5495568A (en) 1990-07-09 1996-02-27 Beavin; William C. Computerized clothing designer
US6175655B1 (en) 1996-09-19 2001-01-16 Integrated Medical Systems, Inc. Medical imaging system for displaying, manipulating and analyzing three-dimensional images
US5930769A (en) 1996-10-07 1999-07-27 Rose; Andrea System and method for fashion shopping
US6310627B1 (en) 1998-01-20 2001-10-30 Toyo Boseki Kabushiki Kaisha Method and system for generating a stereoscopic image of a garment
US6415199B1 (en) 1999-02-25 2002-07-02 E-Z Max Apparel Systems, Inc. Method and apparatus for preparing custom-fitted clothing
DE19922150B4 (de) 1999-05-12 2012-03-08 Human Solutions Gmbh Verfahren und Vorrichtung zur Bestimmung von Körpermaßen und / oder entsprechender Kleidergrößen einer Person
US6404426B1 (en) 1999-06-11 2002-06-11 Zenimax Media, Inc. Method and system for a computer-rendered three-dimensional mannequin
US20020004763A1 (en) 2000-01-20 2002-01-10 Lam Peter Ar-Fu Body profile coding method and apparatus useful for assisting users to select wearing apparel
US7328119B1 (en) 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
US7149665B2 (en) 2000-04-03 2006-12-12 Browzwear International Ltd System and method for simulation of virtual wear articles on virtual models
US6643385B1 (en) 2000-04-27 2003-11-04 Mario J. Bravomalo System and method for weight-loss goal visualization and planning and business method for use therefor
JP2001319108A (ja) 2000-05-11 2001-11-16 Uchiyama Toyoko リクレーション、ショッピング、ビジネスモデル
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6546309B1 (en) 2000-06-29 2003-04-08 Kinney & Lange, P.A. Virtual fitting room
JP5118793B2 (ja) 2000-06-29 2013-01-16 ソニー株式会社 サービス提供システム
GB0101371D0 (en) 2001-01-19 2001-03-07 Virtual Mirrors Ltd Production and visualisation of garments
US7584122B2 (en) 2001-03-08 2009-09-01 Saint Laurie Ltd. System and method for fitting clothing
US20020126328A1 (en) 2001-03-09 2002-09-12 Lehmeier Michelle R. Method and apparatus for matching color image data with a corresponding color in a defined color space
US7242999B2 (en) 2001-05-11 2007-07-10 Kenneth Kuk-Kei Wang Method and apparatus for identifying virtual body profiles
US7953648B2 (en) 2001-11-26 2011-05-31 Vock Curtis A System and methods for generating virtual clothing experiences
US6813838B2 (en) 2002-01-14 2004-11-09 Mccormick Bruce Garment fitting system
US6882897B1 (en) 2004-01-05 2005-04-19 Dennis S. Fernandez Reconfigurable garment definition and production method
US20050193429A1 (en) * 2004-01-23 2005-09-01 The Barrier Group Integrated data traffic monitoring system
US7354410B2 (en) 2004-02-23 2008-04-08 Tyco Healthcare Group Lp Compression treatment system
JP4533643B2 (ja) 2004-02-26 2010-09-01 株式会社島精機製作所 人体モデルへのニットガーメントの着装シミュレーション方法とその装置、並びにそのプログラム
WO2006004668A2 (en) * 2004-06-25 2006-01-12 Redtoucan, Inc. Inferred endorsement system and method
US8660902B2 (en) 2004-07-23 2014-02-25 Lori Coulter, Llc Methods and systems for selling apparel
US7178722B2 (en) 2004-12-09 2007-02-20 International Business Machines Corporation Virtual shopping environment
JP4473754B2 (ja) 2005-03-11 2010-06-02 株式会社東芝 仮想試着装置
US7398133B2 (en) 2005-04-27 2008-07-08 Myshape, Inc. Matching the fit of individual garments to individual consumers
US20070005174A1 (en) 2005-06-29 2007-01-04 Sony Ericsson Mobile Communications Ab Virtual apparel fitting
WO2007028038A2 (en) 2005-09-01 2007-03-08 G & K Services, Inc. Virtual sizing system and method
US20090002224A1 (en) 2005-09-22 2009-01-01 Nader Khatib SAR ATR tree line extended operating condition
ES2279708B1 (es) 2005-11-15 2008-09-16 Reyes Infografica, S.L. Metodo de generacion y utilizacion de un probador virtual de prendas de vestir, y sistema.
US20070124215A1 (en) 2005-11-29 2007-05-31 Simmons Lawrence D Jr Virtual shopping with personal image environment
US7487116B2 (en) 2005-12-01 2009-02-03 International Business Machines Corporation Consumer representation rendering with selected merchandise
GB0603106D0 (en) 2006-02-16 2006-03-29 Virtual Mirrors Ltd Design and production of garments
US8269778B1 (en) 2006-06-08 2012-09-18 Pixar Shape preservation of simulated objects in computer animation
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US8108414B2 (en) 2006-11-29 2012-01-31 David Stackpole Dynamic location-based social networking
TW200828043A (en) 2006-12-29 2008-07-01 Cheng-Hsien Yang Terminal try-on simulation system and operating and applying method thereof
WO2008088760A2 (en) 2007-01-12 2008-07-24 Ebay Inc. Methods and systems to schedule a transaction
US7714912B2 (en) 2007-01-24 2010-05-11 International Business Machines Corporation Intelligent mirror
US7979067B2 (en) 2007-02-15 2011-07-12 Yahoo! Inc. Context avatar
US8009178B2 (en) 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US8140304B2 (en) 2007-07-13 2012-03-20 Hyeong-Seok Ko Method of cloth simulation using linear stretch/shear model
US9026938B2 (en) 2007-07-26 2015-05-05 Noregin Assets N.V., L.L.C. Dynamic detail-in-context user interface for application access and content access on electronic displays
EP2187325B1 (en) 2007-09-04 2018-03-14 Shima Seiki Manufacturing., Ltd. Garment fit simulation device, garment fit simulation method and garment fit simulation program
US7580699B1 (en) 2007-10-18 2009-08-25 At&T Mobility Ii Llc Network systems and methods utilizing mobile devices to enhance consumer experience
WO2009062153A1 (en) 2007-11-09 2009-05-14 Wms Gaming Inc. Interaction with 3d space in a gaming system
US8892999B2 (en) 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
EP2091015B1 (de) 2008-02-15 2010-11-03 Stefan Seiler Verfahren und computerimplementiertes System zur Bestimmung der Passqualität eines individuell gefertigten Kleidungsstücks
US10872322B2 (en) 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
GB2458388A (en) 2008-03-21 2009-09-23 Dressbot Inc A collaborative online shopping environment, virtual mall, store, etc. in which payments may be shared, products recommended and users modelled.
US20130215116A1 (en) 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
JP4407761B2 (ja) 2008-03-24 2010-02-03 東洋紡績株式会社 衣服シミュレーション装置、衣服シミュレーションプログラム、及び衣服シミュレーション方法
KR101630864B1 (ko) 2008-05-09 2016-06-16 코닌클리케 필립스 엔.브이. 감정을 전달하는 방법 및 시스템
US8437570B2 (en) 2008-05-23 2013-05-07 Microsoft Corporation Geodesic image and video processing
US20110184831A1 (en) 2008-06-02 2011-07-28 Andrew Robert Dalgleish An item recommendation system
US20100049633A1 (en) 2008-08-22 2010-02-25 Myshape, Inc. System and method to identify and visually distinguish personally relevant items
US8704832B2 (en) 2008-09-20 2014-04-22 Mixamo, Inc. Interactive design, synthesis and delivery of 3D character motion data through the web
US9996844B2 (en) 2008-09-30 2018-06-12 Excalibur Ip, Llc Age-targeted online marketing using inferred age range information
US8749556B2 (en) 2008-10-14 2014-06-10 Mixamo, Inc. Data compression for real-time streaming of deformable 3D models for 3D animation
US8159504B2 (en) 2008-10-16 2012-04-17 At&T Intellectual Property I, L.P. System and method for presenting an avatar
US8982122B2 (en) 2008-11-24 2015-03-17 Mixamo, Inc. Real time concurrent design of shape, texture, and motion for 3D character animation
WO2010060113A1 (en) 2008-11-24 2010-05-27 Mixamo, Inc. Real time generation of animation-ready 3d character models
US8659596B2 (en) 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models
US20100191770A1 (en) 2009-01-27 2010-07-29 Apple Inc. Systems and methods for providing a virtual fashion closet
US10042032B2 (en) 2009-04-29 2018-08-07 Amazon Technologies, Inc. System and method for generating recommendations based on similarities between location information of multiple users
US8364561B2 (en) 2009-05-26 2013-01-29 Embodee Corp. Garment digitization system and method
US8700477B2 (en) 2009-05-26 2014-04-15 Embodee Corp. Garment fit portrayal system and method
US20100313141A1 (en) 2009-06-03 2010-12-09 Tianli Yu System and Method for Learning User Genres and Styles and for Matching Products to User Preferences
CN101937078B (zh) 2009-06-30 2012-12-19 深圳市气象局 基于边界识别追踪技术的雷暴云团的临近预报方法和系统
US8818883B2 (en) 2009-07-23 2014-08-26 Apple Inc. Personalized shopping avatar
US8736606B2 (en) 2010-02-01 2014-05-27 SathyaKumar Andre Ramalingam Method and apparatus to create 3-dimensional computer models of persons from specially created 2-dimensional images
US8090465B2 (en) 2010-03-04 2012-01-03 Belinda Luna Zeng Fashion design method, system and apparatus
US8429025B2 (en) 2010-03-17 2013-04-23 Amanda Fries Method, medium, and system of ascertaining garment size of a particular garment type for a consumer
US20110234591A1 (en) 2010-03-26 2011-09-29 Microsoft Corporation Personalized Apparel and Accessories Inventory and Display
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US8525828B1 (en) 2010-05-05 2013-09-03 Amazon Technologies, Inc. Visualization of fit, flow, and texture of clothing items by online consumers
NL1037949C2 (nl) 2010-05-10 2011-11-14 Suitsupply B V Werkwijze voor het op afstand bepalen van kledingmaten.
US10702216B2 (en) 2010-06-08 2020-07-07 Styku, LLC Method and system for body scanning and display of biometric data
US20110298897A1 (en) 2010-06-08 2011-12-08 Iva Sareen System and method for 3d virtual try-on of apparel on an avatar
US20160088284A1 (en) 2010-06-08 2016-03-24 Styku, Inc. Method and system for determining biometrics from body surface imaging technology
US10332176B2 (en) 2014-08-28 2019-06-25 Ebay Inc. Methods and systems for virtual fitting rooms or hybrid stores
US8797328B2 (en) 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
US8478663B2 (en) 2010-07-28 2013-07-02 True Fit Corporation Fit recommendation via collaborative inference
WO2012016057A1 (en) 2010-07-29 2012-02-02 True Fit Corporation Enabling proxy shopping
US20120054059A1 (en) 2010-08-28 2012-03-01 Ebay Inc. Size mapping in an online shopping environment
US8758282B2 (en) 2010-09-29 2014-06-24 Covidien Lp Compression garment apparatus having support bladder
US20120095589A1 (en) 2010-10-15 2012-04-19 Arkady Vapnik System and method for 3d shape measurements and for virtual fitting room internet service
US20140114620A1 (en) 2010-11-07 2014-04-24 Eitan Grinspun Methods, systems, and media for interactive garment modeling and editing
WO2012071576A2 (en) 2010-11-24 2012-05-31 Dhiraj Daway System and method for providing wardrobe assistance
US8711175B2 (en) 2010-11-24 2014-04-29 Modiface Inc. Method and system for simulating superimposition of a non-linearly stretchable object upon a base object using representative images
JP5746378B2 (ja) 2011-02-05 2015-07-08 アップル インコーポレイテッド 移動体ロケーション判定のための方法及び装置
GB201102794D0 (en) 2011-02-17 2011-03-30 Metail Ltd Online retail system
US20120233003A1 (en) 2011-03-08 2012-09-13 Bank Of America Corporation Providing retail shopping assistance
US9135738B2 (en) 2011-05-02 2015-09-15 Disney Enterprises, Inc. Efficient elasticity for character skinning
US8565539B2 (en) 2011-05-31 2013-10-22 Hewlett-Packard Development Company, L.P. System and method for determining estimated age using an image collection
US9241184B2 (en) 2011-06-01 2016-01-19 At&T Intellectual Property I, L.P. Clothing visualization
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
CN102890742A (zh) 2011-07-18 2013-01-23 张炯 一种服饰虚拟综合展示软件
US9449323B2 (en) 2011-07-22 2016-09-20 At&T Intellectual Property I, Lp Method and apparatus for monitoring usage of items
US9274595B2 (en) 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US20130071584A1 (en) 2011-09-16 2013-03-21 Jonathan Arnold Bell Skins Of Flexible Intelligence
US8780108B2 (en) 2011-11-02 2014-07-15 X-Rite Switzerland GmbH Apparatus, systems and methods for simulating a material
US20130173226A1 (en) 2012-01-03 2013-07-04 Waymon B. Reed Garment modeling simulation system and process
WO2013120851A1 (en) 2012-02-13 2013-08-22 Mach-3D Sàrl Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
US9679409B2 (en) 2012-02-16 2017-06-13 Brown University System and method for simulating realistic clothing
US8687104B2 (en) 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
PL398681A1 (pl) 2012-04-02 2013-10-14 Incomesolutions Spólka Z Ograniczona Odpowiedzialnoscia Sposób i system przestrzennej wizualizacji obiektów oraz uklad sterowania platforma zawarta w tym systemie, zwlaszcza dla wirtualnej przymierzalni
US20130317950A1 (en) 2012-05-23 2013-11-28 International Business Machines Corporation Customizing a three dimensional virtual store based on user shopping behavior
CN103455501A (zh) 2012-05-30 2013-12-18 盛乐信息技术（上海）有限公司 服装数据库生成方法、服装模型建立方法和试衣方法
US20150366504A1 (en) 2014-06-20 2015-12-24 Medibotics Llc Electromyographic Clothing
AU2013204402A1 (en) 2012-06-20 2014-01-16 2-George Enterprises Pty Ltd Body measuring method and garment production method and system
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
RU2504009C1 (ru) 2012-07-10 2014-01-10 Общество С Ограниченной Ответственностью "Дрессформер" Способ обеспечения удаленной примерки и/или выбора одежды
CN102842089A (zh) 2012-07-18 2012-12-26 上海交通大学 基于3d真实人体模型及服装模型的网络虚拟试衣系统
WO2014018781A1 (en) * 2012-07-25 2014-01-30 Indix Corporation Data refining engine for high performance analysis system and method
US9898742B2 (en) 2012-08-03 2018-02-20 Ebay Inc. Virtual dressing room
US20140129373A1 (en) 2012-11-02 2014-05-08 Ebay Inc. Item recommendations based on true fit determination
ITBO20120628A1 (it) 2012-11-16 2014-05-17 In Pro Di Inghirami Produzione Dist Ribuzione S P Procedimento e sistema per la realizzazione di capi di abbigliamento su misura.
US10296968B2 (en) 2012-12-07 2019-05-21 United Parcel Service Of America, Inc. Website augmentation including conversion of regional content
CN103049854A (zh) 2012-12-20 2013-04-17 雷华 一种3d网络购物平台
US20140180864A1 (en) 2012-12-20 2014-06-26 Ebay Inc. Personalized clothing recommendation system and method
US9443352B1 (en) 2012-12-21 2016-09-13 Motion Reality, Inc. Navigating through a virtual environment having a real-world elevation characteristics using motion capture
WO2014159726A1 (en) 2013-03-13 2014-10-02 Mecommerce, Inc. Determining dimension of target object in an image using reference object
WO2014152467A1 (en) 2013-03-15 2014-09-25 Robert Bosch Gmbh System and method for generation of a room model
US20140279289A1 (en) 2013-03-15 2014-09-18 Mary C. Steermann Mobile Application and Method for Virtual Dressing Room Visualization
US20140279200A1 (en) 2013-03-15 2014-09-18 Ebay Inc. Destination shopping system
WO2014182545A1 (en) 2013-05-04 2014-11-13 Vupad Partners, Llc Virtual object scaling in augmented reality environment
KR20160021118A (ko) 2013-05-13 2016-02-24 엠포트 피티와이 엘티디 신체 치수 및 형상 정보의 사용자-구동 결정의 활성화 및 네트워크 환경에 걸친 그 정보의 이용을 위한 디바이스, 프레임워크 및 방법론
US20160098863A1 (en) * 2013-06-06 2016-04-07 Telefonaktiebolaget L M Ericsson (Publ) Combining a digital image with a virtual entity
US20140368499A1 (en) 2013-06-15 2014-12-18 Rajdeep Kaur Virtual Fitting Room
US9460342B1 (en) 2013-08-05 2016-10-04 Google Inc. Determining body measurements
US9177410B2 (en) 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
CN103605832B (zh) 2013-10-26 2016-10-05 上海工程技术大学 预测人体小腿对于服装压力分布的方法
US20150134302A1 (en) 2013-11-14 2015-05-14 Jatin Chhugani 3-dimensional digital garment creation from planar garment photographs
US9773274B2 (en) 2013-12-02 2017-09-26 Scott William Curry System and method for online virtual fitting room
US10366439B2 (en) 2013-12-27 2019-07-30 Ebay Inc. Regional item reccomendations
EP3138080B1 (en) * 2014-06-03 2021-08-11 Apple Inc. Method and system for presenting a digital information related to a real object
WO2015192117A1 (en) 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10653962B2 (en) 2014-08-01 2020-05-19 Ebay Inc. Generating and utilizing digital avatar data for online marketplaces
US9205562B1 (en) 2014-08-29 2015-12-08 Google Inc. Integration of depth points into a height map
US20160092956A1 (en) 2014-09-30 2016-03-31 Jonathan Su Garment size mapping
US20160098723A1 (en) * 2014-10-01 2016-04-07 The Filing Cabinet, LLC System and method for block-chain verification of goods
US10332179B2 (en) 2014-10-23 2019-06-25 Tailored IP, LLC Methods and systems for recommending fitted clothing
US10204375B2 (en) 2014-12-01 2019-02-12 Ebay Inc. Digital wardrobe using simulated forces on garment models
US20160171583A1 (en) 2014-12-12 2016-06-16 Ebay Inc. Systems and methods for determining child clothing size
US10172403B2 (en) 2014-12-12 2019-01-08 Ebay Inc. Body measurement garment for optimal garment fit
US10109112B2 (en) 2014-12-12 2018-10-23 Ebay Inc. Fit simulation garment
US20160180447A1 (en) 2014-12-20 2016-06-23 Ebay Inc. Virtual shopping
US9984409B2 (en) 2014-12-22 2018-05-29 Ebay Inc. Systems and methods for generating virtual contexts
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
US9641338B2 (en) * 2015-03-12 2017-05-02 Skuchain, Inc. Method and apparatus for providing a universal deterministically reproducible cryptographic key-pair representation for all SKUs, shipping cartons, and items
US10310616B2 (en) 2015-03-31 2019-06-04 Ebay Inc. Modification of three-dimensional garments using gestures
US9916458B2 (en) 2015-03-31 2018-03-13 EMC IP Holding Company LLC Secure cloud-based storage of data shared across file system objects and clients
US10121019B2 (en) * 2015-06-02 2018-11-06 ALTR Solutions, Inc. Storing differentials of files in a distributed blockchain
US11347878B2 (en) * 2015-06-02 2022-05-31 ALTR Solutions, Inc. Replacing distinct data in a relational database with a distinct reference to that data and distinct de-referencing of database data
US20170004567A1 (en) 2015-07-01 2017-01-05 DimensionalMechanics, Inc. System and method for providing modular online product selection, visualization and design services
US10402792B2 (en) * 2015-08-13 2019-09-03 The Toronto-Dominion Bank Systems and method for tracking enterprise events using hybrid public-private blockchain ledgers
US9928656B2 (en) * 2015-09-11 2018-03-27 Futurewei Technologies, Inc. Markerless multi-user, multi-object augmented reality on mobile devices
US9691161B1 (en) 2015-09-25 2017-06-27 A9.Com, Inc. Material recognition for object identification
US10270965B2 (en) * 2015-12-04 2019-04-23 Ebay Inc. Automatic guided capturing and presentation of images
KR101763123B1 (ko) * 2015-12-15 2017-08-04 (주)블루클라우드 증강된 가상공간 제공용 프로젝션 함체
US10720232B2 (en) 2016-04-13 2020-07-21 Accenture Global Solutions Limited Distributed healthcare records management
EP3485437B1 (en) * 2016-07-18 2024-04-03 Royal Bank Of Canada Distributed ledger platform for vehicle records
CA3036725A1 (en) 2016-09-14 2018-03-22 Royal Bank Of Canada Credit score platform
US20180082290A1 (en) * 2016-09-16 2018-03-22 Kountable, Inc. Systems and Methods that Utilize Blockchain Digital Certificates for Data Transactions
US20190012666A1 (en) * 2016-09-30 2019-01-10 Cable Television Laboratories, Inc Systems and methods for protecting communications and supply chain information
JP6533771B2 (ja) 2016-11-15 2019-06-19 富士通株式会社 通信方法、装置、及びプログラム
US11113410B2 (en) 2017-01-03 2021-09-07 The University Of Stavanger User controlled, decentralized, distributed, and secure content distribution
US10255342B2 (en) 2017-04-12 2019-04-09 Vijay K. Madisetti Method and system for tuning blockchain scalability, decentralization, and security for fast and low-cost payment and transaction processing
CN107249046A (zh) 2017-08-15 2017-10-13 李俊庄 一种基于区块链的分布式云存储系统构建方法
CN107564063B (zh) 2017-08-30 2021-08-13 广州方硅信息技术有限公司 一种基于卷积神经网络的虚拟物显示方法及装置
US20190108482A1 (en) * 2017-10-06 2019-04-11 Sap Se Enablement of procurement processes with asset traceability using blockchain technology
US10796185B2 (en) 2017-11-03 2020-10-06 Facebook, Inc. Dynamic graceful degradation of augmented-reality effects
US10095888B1 (en) 2018-06-04 2018-10-09 Capital One Services, Llc Secure decentralized system utilizing smart contracts, a blockchain, and/or a distributed file system
SG11202011749XA (en) * 2018-06-06 2020-12-30 Argosoperem Llc Method and system for data storage and retrieval
CN109243583B (zh) 2018-07-09 2020-05-12 研境信息科技(上海)有限公司 基于区块链的医疗影像数据去中心化管理的方法及设备
US11803664B2 (en) 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243064A1 (en) * 2016-02-18 2017-08-24 Matthew A. Simari Real-time detection of object scanability
JP2017124192A (ja) * 2017-02-24 2017-07-20 株式会社バンダイナムコエンターテインメント プログラム、サーバ、端末及びネットワークシステム

Also Published As

Publication number Publication date
CN112840596B (zh) 2024-04-09
KR102667525B1 (ko) 2024-05-29
WO2020076871A1 (en) 2020-04-16
KR20210047326A (ko) 2021-04-29
KR20230004880A (ko) 2023-01-06
US20200110728A1 (en) 2020-04-09
US20240020421A1 (en) 2024-01-18
EP4318410A3 (en) 2024-04-17
US11803664B2 (en) 2023-10-31
CN112840596A (zh) 2021-05-25
US11487712B2 (en) 2022-11-01
US11100054B2 (en) 2021-08-24
EP3864796A1 (en) 2021-08-18
WO2020076617A1 (en) 2020-04-16
US20210342306A1 (en) 2021-11-04
EP3864572A1 (en) 2021-08-18
CN118247471A (zh) 2024-06-25
US20200111261A1 (en) 2020-04-09
CN112805721B (zh) 2024-03-15
EP4318410A2 (en) 2024-02-07
EP3864796B1 (en) 2024-01-10
CN112805721A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
KR102476294B1 (ko) Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정
CN109670558B (zh) 使用深度学习的数字图像完成
US9817847B2 (en) Neural network image curation control
JP6572468B2 (ja) スマートフォンベースの方法、スマートフォン及びコンピュータ可読媒体
EP2567536B1 (en) Generating a combined image from multiple images
US10769718B1 (en) Method, medium, and system for live preview via machine learning models
KR102123780B1 (ko) 자동 가이드식 이미지 캡쳐 및 프레젠테이션
US11397764B2 (en) Machine learning for digital image selection across object variations
CN111712832A (zh) 使用机器学习的自动图像校正
CN108062526A (zh) 一种人体姿态估计方法及移动终端
EP2972950B1 (en) Segmentation of content delivery
WO2015200782A1 (en) 3-d model generation
US11087137B2 (en) Methods and systems for identification and augmentation of video content
KR102649848B1 (ko) 디지털 이미지 캡처 세션 및 메타데이터 연관
CN112150347A (zh) 从有限的修改后图像集合中学习的图像修改样式
CN112204623B (zh) 着色三维数字模型生成
CN112967180A (zh) 一种生成对抗网络的训练方法、图像风格转换方法和装置
CN107967709B (zh) 通过使用透视图或者传送的改进的对象涂绘
CN109949407B (zh) 一种头像生成方法、装置及电子设备
KR102605451B1 (ko) 이미지 내에 포함된 복수의 외부 객체들 각각에 대응하는 복수의 서비스들을 제공하는 전자 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant