[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20150024899A - 깊이 카메라를 이용한 아바타 구성 - Google Patents

깊이 카메라를 이용한 아바타 구성 Download PDF

Info

Publication number
KR20150024899A
KR20150024899A KR1020157001597A KR20157001597A KR20150024899A KR 20150024899 A KR20150024899 A KR 20150024899A KR 1020157001597 A KR1020157001597 A KR 1020157001597A KR 20157001597 A KR20157001597 A KR 20157001597A KR 20150024899 A KR20150024899 A KR 20150024899A
Authority
KR
South Korea
Prior art keywords
virtual
subject
mesh
avatar
depth map
Prior art date
Application number
KR1020157001597A
Other languages
English (en)
Other versions
KR101911133B1 (ko
Inventor
데이비드 몰리네욱스
신 통
지쳉 류
에릭 창
판 양
제이 카푸르
에밀리 양
양 류
시앙타오 우
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20150024899A publication Critical patent/KR20150024899A/ko
Application granted granted Critical
Publication of KR101911133B1 publication Critical patent/KR101911133B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

인간 피험체의 아바타를 구성하는 방법은 상기 피험체의 깊이 맵(depth map)을 획득하는 단계, 상기 깊이 맵을 기초로 하여 상기 피험체의 가상 골격을 획득하는 단계, 특성 측정값(characteristic metrics)의 세트를 상기 가상 골격으로부터 수집(harvest)하는 단계를 포함한다. 이러한 측정값은 상기 가상 골격의 미리 결정된 포인트들 사이의 거리에 대응한다. 이 예의 방법에서는, 특성 측정값은 머신 러닝(machine learning)을 이용하여 트레이닝되는 알고리즘에 입력으로서 제공된다. 상기 알고리즘은 상기 특성 측정값의 함수로서 가상 신체 메쉬를 출력하기 위해 다양한 자세들을 취하는 인간 모델과 단일 자세를 취하는 다양한 인간 모델들을 이용하여 트레이닝될 수 있다. 상기 방법은 또한, 상기 피험체의 특징과 닮은 얼굴 특징을 갖는, 가상 신체 메쉬와 구별되는 가상 머리 메쉬를 구성하는 단계, 및 상기 가상 신체 메쉬를 상기 가상 머리 메쉬에 연결하는 단계를 포함한다.

Description

깊이 카메라를 이용한 아바타 구성{AVATAR CONSTRUCTION USING DEPTH CAMERA}
본 개시내용은 인간 피험체(human subject)의 아바타를 구성하는 방법 및 시스템에 관한 것이다.
아바타는 피험체 예를 들면, 인간 피험체의 자세를 취할 수 있는 가상 표시이다. 요즈음에는, 아바타가 비디오 게임에서 참가자를 표시하는 데 흔하게 사용되지만, 다수의 다른 애플리케이션도 또한 가능하다. 게이밍의 세계 외의 애플리케이션에 있어서, 인간 피험체를 아바타로 표시하는 것은 아바타를 적절한 충실도(fidelity)로 구성하는 비용 및 복잡도에 의해 제한될 수 있다. 특히, 실물 같은 아바타를 구성하도록 충분히 상세히 피험체의 외형 및 얼굴의 특징을 캡처(capture)하는 것은 고가의 스튜디오급 품질의 장비를 사용하는 장시간의 이미지 획득을 필요로 할 수 있다.
본 개시내용의 일 실시예는 인간 피험체의 아바타를 구성하기 위한 방법을 제공한다. 이 방법은 상기 피험체의 깊이 맵(depth map)을 획득(acquire)하는 단계, 상기 깊이 맵을 기초로 하여 상기 피험체의 가상 골격을 획득(obtain)하는 단계, 특성 측정값(characteristic metrics)의 세트를 상기 가상 골격으로부터 수집(harvest)하는 단계를 포함한다. 그러한 측정값은 상기 가상 골격의 미리 결정된 포인트들 사이의 거리에 대응한다. 이 예의 방법에서는, 특성 측정값은 머신 러닝(machine learning)을 이용하여 트레이닝되는 알고리즘에 입력으로서 제공된다. 상기 알고리즘은 상기 특성 측정값의 함수로서 가상 신체 메쉬를 출력하기 위해 다양한(a range of) 자세들을 취하는 실제 인간 모델과 단일 자세를 취하는 다양한 인간 모델들을 이용하여 트레이닝될 수 있다. 상기 방법은 또한, 상기 피험체의 특징과 닮은 얼굴 특징을 갖는, 가상 신체 메쉬와 구별되는 가상 머리 메쉬를 구성하는 단계, 및 상기 가상 신체 메쉬를 상기 가상 머리 메쉬에 연결하는 단계를 포함한다.
이 요약은 상세한 설명에서 더 기술되는 개념들의 선택을 간략화된 형태로 도입하기 위해 제공된다. 이 요약은 청구 대상의 핵심 특징 또는 근본적인 특징을 확인하도록 의도된 것이 아니고, 청구 대상의 범위를 제한하고자 사용되는 것도 아니다. 또한, 특허 청구되는 대상은 본 개시내용의 임의의 부분에 언급되는 임의의 단점을 해결하는 구현에 제한되는 것이 아니다.
도 1은 본 개시내용의 일 실시예에 따라서 인간 피험체의 아바타를 구성하는 시스템을 도시한다.
도 2는 본 개시내용의 일 실시예에 따라서 인간 피험체의 아바타를 구성하기 위한 방법을 예시한다.
도 3은 본 개시내용의 일 실시예에 따르는 가상 골격(virtual skeleton)의 양상을 도시한다.
도 4는 본 개시내용의 일 실시예에 따르는 가상 신체 메쉬(body mesh)의 양상을 도시한다.
도 5는 본 개시내용의 일 실시예에 따르는 가상 머리 메쉬의 양상을 도시한다.
도 6은 본 개시내용의 일 실시예에 따르는 가상 신체 메쉬에 연결되는 가상 머리 메쉬의 양상을 도시한다.
도 7은 본 개시내용의 일 실시예에 따르는 아바타를 애니메이트(animate)하기 위한 방법을 예시한다.
도 8은 본 개시내용의 일 실시예에 따르는 소매 환경(retail setting)에서 아바타를 사용하기 위한 방법을 예시한다.
도 9는 본 개시내용의 일 실시예에 따르는 아바타의 표시 및 리뷰를 예시한다.
도 10은 본 개시내용의 일 실시예에 따르는 컴퓨팅 시스템의 양상을 개략적으로 도시한다.
본 개시내용의 양상은 상기 열거되어 있는 예시된 실시예를 참조하여 예로서 이제 기술한다. 하나 이상의 실시예에서 실질적으로 동일할 수 있는 구성요소, 프로세스 단계 및 다른 요소가 동등하게 식별되고 최소한으로 반복하여 기술된다. 그러나, 동등하게 식별된 요소는 또한 어느 정도 상이할 수 있음에 주의해야 한다. 본 개시내용에 포함된 도면들은 개략적인 것이고 일반적으로 크기 조정하여 도시된 것은 아님을 또한 주의해야 한다. 오히려, 다양한 도면 크기, 종횡비, 및 도면에 도시된 구성요소의 수는 특정 특징이나 관계를 보다 보기 쉽게하도록 고의로 왜곡될 수 있다.
본 개시내용에 따르면, '아바타'는 인간 피험체의 컴퓨터 표시(representation)이다. 아바타는 다각형 메쉬(polygonal mesh)로 제한되는 것은 아니지만 이를 포함하는 하나 이상의 적절한 데이터 구조에 의해 구현될 수 있다. 일부 실시예에서는, 아바타는 디스플레이를 위해 렌더링될 수 있다. 다른 실시예에서는, 아바타가 디스플레이를 위해 렌더링되지 않는다. 본 개시내용의 균형은 인간 피험체의 아바타를 구성하기 위한 다양한 시스템 및 방법을 제시한다. 이들 시스템 및 방법은 다양한 애플리케이션 예를 들면, 비디오 게임, 대화식(interactive) 트레이닝 소프트웨어, 물리 치료에서, 또는 소매 환경에서 사용될 수 있다. 더욱 일반적으로는, 아바타는 피험체의 가상 표시가 요구되는 곳마다 사용될 수 있다.
소매 환경에서의 아바타의 일례의 응용은 고객이 가상적으로 다양한 아이템을 '시도해보는(try on)' 것을 가능하게 하는 것이다. 그러한 아이템은 의복, 안경, 신발, 액세서리, 인공 기관(prostheses), 보석, 문신, 및/또는 화장을 예로서 포함할 수 있다. 가상의 형태로 이러한 아이템으로 고객의 아바타를 증강(augment)시키면, 고객은 대응하는 실제의 아이템을 착용할 때 자신이 어떻게 보일지를 예측할 수 있을 것이다. 이러한 방식은 탈의실에 실제로 방문하기 이전에 아이템을 미리 선별(pre-screen)하여 시간을 절약하기 위해 사용될 수 있다. 또한, 고객은 가상 아이템으로 증강된 자신의 아바타의 이미지를 다른 사람과 공유할 것을 선택할 수 있다. 일부 시나리오에서는, 공유가 예를 들면, 이메일이나 휴대폰을 통해 물리적으로 함께 있지 않은 친구 또는 가족 구성원과 원격으로 이루어질 수 있다. 이 방식으로, 고객은 아이템을 구매하기로 결정하기 전에 다른 사람의 조언을 받는 혜택을 누릴 수 있다. 아바타 기반 온라인 소매 체험 시에, 아이템을 선택하고, 아이템을 시도해보며, 그 후 아이템을 구매하는 전체 프로세스가 고객의 가정 또는 직장에서 사적으로 수행될 수 있다.
현 기술에서는, 아바타 구성을 위한 가파른 충실도 대 비용 곡선이 존재한다. 비디오 게임 응용에 적합한 낮은 충실도 아바타는 저가의 장비를 사용하여 간단히 구성될 수 있다. 그러나, 상기 언급한 응용은 훨씬 더 높은 충실도의 아바타를 필요로 할 수 있다. 높은 충실도 아바타 - 정해진 인간 피험체를 실제로 닮은 아바타 - 는 일반적으로 전문화된 스튜디오급 품질의 장비를 사용하여 구성된다. 특히, 고해상도 깊이 카메라는, 아바타가 기반으로 하는 3차원 이미지 데이터를 획득하기 위해 사용될 수 있다.
최근에는, 최신식의 고객 깊이 카메라가 퍼스널 컴퓨터 및 비디오 게임 시스템용 사용자 입력 장치의 형태로 출현했다. 일례는 미국 워싱턴주 레드먼드 소재의 마이크로소프트 코포레이션에서 만든 키넥트® 시스템이다. 본 명세서에 기술되는 시스템 및 방법은 인간 피험체의 실물 같은 아바타가 구성되게 하는 깊이 데이터를 제공하기 위해 깊이 카메라를 사용할 수 있다. 이들 시스템 및 방법에서, 아바타의 해상도는 깊이 카메라의 해상도에 의해 제한되지 않는다. 그 대신에, 이 방식은 깊이 데이터로부터 도출되는 특성 측정값(characteristic metrics)의 세트가 고해상도의 실물 같은 신체 모델의 구성을 인도하는 정교한 머리 및 신체 모델링(modeling) 기술을 적용하며, 실물 같은 신체 모델은 그 후 임의로 비슷하게 구성된 머리 모델에 선택적으로 연결될 수 있고 실물 같은 피부 색 및 피부 질감으로 선택적으로 증강될 수 있다.
도 1은 일 실시예에서, 인간 피험체(12)의 아바타를 구성하기 위한 시스템(10)을 도시한다. 이 시스템은 피험체를 보기 위해 배치되는 시각 기반(vision-based) 사용자 입력 장치(14A)를 포함한다. 예시된 실시예에서는, 사용자 입력 장치가 모니터(18A)에 동작적으로 연결되어 있는 퍼스널 컴퓨터(16A)에 동작적으로 연결된다. 하나의 비제한적인 실시예에서는, 사용자 입력 장치가 키넥트® 시스템일 수 있고, 퍼스널 컴퓨터가 마이크로소프트 코포레이션에서 만든 XBOX 360®과 같은 비디오 게임 시스템일 수 있다. 퍼스널 컴퓨터는 이후 더욱 상세히 기술되는 바와 같이, 연관된 저장 서브시스템(24)과 함께 논리 서브시스템(22)을 포함할 수 있다. 저장 서브시스템은 논리 서브시스템이 본 명세서에 기술되는 방법의 양상을 수행하게 하는 명령어를 포함할 수 있다.
도 1에 예시된 실시예에서는, 사용자 입력 장치(14A)는 피험체(12)의 깊이 맵을 획득하도록 구성된 깊이 카메라(26)를 포함한다. 사용자 입력 장치는 또한 적어도 피험체의 얼굴의 컬러 이미지를 획득하도록 구성되는 컬러 카메라(28)를 포함한다. 더욱 일반적으로는, 사용자 입력 장치 내의 카메라의 성질(nature) 및 수는 본 개시내용의 다양한 실시예에서 상이할 수 있다. 그러한 카메라는 깊이 맵이 다운스트림 처리를 통해 획득되게 하는 이미지 데이터를 획득하도록 구성될 수 있다. 본 명세서에서 사용되는 바와 같이, 용어 '깊이 맵'은 대응하는 영역의 깊이를 나타내는 각 픽셀의 깊이 값으로, 이미지화된 장면의 대응하는 영역에 등록된 픽셀의 어레이를 지칭한다. '깊이'는 사용자 입력 장치로부터의 거리 증가에 따라 증가하는 깊이 카메라의 광축에 평행한 좌표로서 정의된다.
일 실시예에서는, 한 쌍의 입체 카메라로부터의 이미지 데이터는 깊이 맵을 생성하기 위해 공동으로 등록되고 수학적으로 연결될 수 있다. 다른 실시예에서는, 사용자 입력 장치(14A)는 다수의 이산 특징(feature)들(예를 들면, 라인 또는 도트(dot))을 포함하는 구조화된 적외선 조명을 투사하도록 구성될 수 있다. 깊이 카메라는 피험체로부터 반사되는 구조화된 조명을 이미지화하도록 구성될 수 있다. 이미지화된 피험체의 다양한 영역 내의 인접한 특징들 사이의 간격에 기초하여, 피험체의 깊이 맵이 구성될 수 있다.
다른 실시예에서는, 사용자 입력 장치(14A)가 펄스화된 적외선 조명을 투사하도록 구성될 수 있다. 한 쌍의 카메라가 피험체로부터 반사되는 펄스화된 조명을 검출하도록 구성될 수 있다. 양쪽 카메라는 펄스화된 조명에 동기화된 전자 셔터를 포함할 수 있지만, 카메라들을 위한 통합 시간이 상이할 수 있어서, 소스로부터 피험체로 그 후 카메라로의 펄스화된 조명의 픽셀 해상도의 비행 시간(time-of-flight)은 2개의 카메라의 대응하는 픽셀에 수광되는 광의 상대량으로부터 알 수 있게 된다.
상술한 구성은 인간 피험체의 아바타를 구성하기 위한 다양한 방법을 가능하게 한다. 그러한 일부 방법이 이제 상기 구성을 계속해서 참조하여 예로서 기술된다. 그러나, 본 명세서에서 기술된 방법들 및 본 개시내용의 범위 내의 다른 것들은 상이한 구성에 의해서도 또한 가능하게 될 수 있음을 이해해야 한다. 이들 방법은 시스템(10)이 동작하고 있는 임의의 시간에 시작될 수 있고 반복적으로 실행될 수 있다. 본 명세서에 기술되고/되거나 예시되는 프로세스 단계들의 일부는 일부 실시예에서는 본 개시내용의 범위로부터 벗어남 없이 생략될 수 있다. 유사하게, 프로세스 단계들의 표시된 순서는 의도된 결과를 달성하기 위해 항상 필요하지는 않지만, 예시 및 설명을 용이하게 하기 위해 제공된다. 예시된 행동, 기능 또는 동작 중의 하나 이상이 사용되고 있는 특수한 전략에 따라서 반복적으로 수행될 수 있다.
도 2는 인간 피험체의 아바타를 구성하기 위한 방법(30)의 일례를 예시한다. 방법(30)의 단계(32)에서, 피험체의 깊이 맵이 획득된다. 본 명세서에서 고려되는 다양한 실시예에서는, 깊이 맵은 사용자 입력 장치(14A)와 같은 사용자 입력 장치 내에서 또는 사용자 입력 장치로부터 획득될 수 있다.
단계(34)에서, 피험체의 가상 골격이 획득된 깊이 맵을 기초로 하여 획득된다. 도 3은 일 실시예에서의 가상 골격(36)의 일례를 도시한다. 가상 골격은 복수의 관절(40)에서 회전 가능하게(pivotally) 연결되는 복수의 골격계 분절(skeletal segment: 38)을 포함한다. 일부 실시예에서는, 각각의 골격계 분절 및/또는 각각의 관절에 신체 부위 명칭(body-part designation)이 할당될 수 있다. 도 3에서는, 각 골격계 분절(38)의 신체 부위 명칭이 첨부되는 문자로 표시되며, A는 머리, B는 쇄골, C는 상박(upper arm), D는 팔뚝, E는 손, F는 몸통, G는 골반, H는 허벅지, J는 하퇴(lower leg), 및 K는 발을 나타낸다. 유사하게, 각 관절(40)의 신체 부위 명칭이 첨부되는 문자로 표시되며, A는 목, B는 어깨, C는 팔꿈치, D는 손목, E는 등 아래 부분, F는 엉덩이, G는 무릎, 및 H는 발목을 나타낸다. 자연스럽게, 도 3에 도시된 골격계 분절 및 관절의 배치는 전혀 제한적이지 않다. 본 개시내용과 일치하는 가상 골격은 가상적으로 임의의 타입 및 수의 골격계 분절 및 관절을 포함할 수 있다.
일 실시예에서는, 각각의 관절에는 다양한 파라미터 예를 들면, 관절 좌표를 특정하는 직교 좌표, 관절 회전을 특정하는 각도 및 대응하는 신체 부위(손을 폄, 손을 쥠 등)의 형태를 특정하는 추가의 파라미터가 할당될 수 있다. 가상 골격은 각각의 관절의 이들 파라미터의 어느 하나 또는 전부를 포함하는 데이터 구조의 형태를 취할 수 있다. 이 방식으로, 가상 골격 - 그 사이즈, 형상, 배향, 위치 등 - 을 정의하는 측정값의 데이터가 관절에 할당될 수 있다.
이제 도 2로 되돌아가서, 가상 골격의 골격계 분절 및/또는 관절은 방법(30)의 단계(34)에서 깊이 맵에 맞추어질 수 있다. 이 동작은 골격의 다양한 관절의 적절한 위치, 회전 각도 및 다른 파라미터 값을 결정할 수 있다. 임의의 적절한 최소화 방법을 통해, 골격계 분절의 길이 및 관절의 위치 및 회전 각도가 깊이 맵의 다양한 윤곽에 따라 조정될 수 있다. 일부 실시예에서는, 골격계 분절을 맞추려는 동작은 깊이 맵의 복수의 윤곽에 신체 부위 명칭을 할당하는 것을 포함할 수 있다. 임의로, 신체 부위 명칭은 최소화에 앞서 할당될 수 있다. 그와 같이, 맞춤(fitting) 절차는 신체 부위 명칭에 의해 또는 신체 부위 명칭에 부분적으로 기초하여 통지될 수 있다. 예를 들면, 신체 모델의 이전에 트레이닝된 모음집(collection)이 깊이 맵으로부터의 특정 픽셀을 특정 신체 부위에 속하는 것으로 라벨링(label)하기 위해 사용될 수 있고, 그런 다음 이 신체 부위를 위해 적절한 골격계 분절이 라벨링된 픽셀에 맞춰질 수 있다. 주어진 윤곽이 피험체의 머리로 지정된 경우에는, 맞춤 절차가 단일 관절 즉, 목에 회전 가능하게 연결되는 골격계 분절을 이 윤곽에 맞추도록 시도할 수 있다. 윤곽이 팔뚝으로서 지정되는 경우에는, 맞춤 절차는 2개의 관절 - 분절의 각각의 끝단에 하나씩 - 에 연결되는 골격계 분절을 맞추도록 시도할 수 있다. 더욱이, 제공된 윤곽이 피험체의 어느 신체 부위에도 대응할 것 같지 않다고 결정된 경우에는, 이 윤곽이 마스킹될(masked) 수 있거나 그렇지 않으면 후속하는 골격계 맞춤으로부터 제거될 수 있다. 이상의 설명은 가상 골격을 구성하는 데 사용될 수 있는 방법의 범위를 제한하는 것으로 이해되어서는 안되며, 가상 골격은 본 개시내용의 범위로부터 벗어남 없이 임의의 적절한 방식으로 깊이 맵으로부터 도출될 수 있다.
도 2에서 이어서, 단계(42)에서 특성 측정값의 세트가 34에서 획득된 가상 골격으로부터 수집된다(harvested). 그러한 측정값은 가상 골격의 미리 결정된 포인트들 사이의 거리에 대응할 수 있다. 일부 실시예에서는, 특성 측정값의 세트는 피험체의 신체의 사이즈 및 형상에 알기 쉽게 관련될 수 있다. 예를 들면, 특성 측정값은 피험체의 키, 다리 길이, 팔 길이, 어깨 너비, 가슴 반경(chest radius), 허리 반경, 엉덩이(buttock) 반경, 팔 반경 및 다리 반경 중 하나 이상을 포함할 수 있다.
단계(44)에서 이 방식으로 수집된 특성 측정값의 세트가 피험체의 신체를 닮은 가상 신체 메쉬를 출력하도록 구성된 알고리즘으로의 입력으로서 제공된다. 바꿔 말하면, 이 알고리즘은 특성 측정값의 함수로서 가상 신체 메쉬를 계산한다. 일부 실시예에서는, 이러한 목적으로 사용되는 알고리즘은 머신 러닝(machine learning)을 이용하여 트레이닝되는 알고리즘일 수 있다. 더욱 구체적으로는, 이 알고리즘은 이후에 더욱 상세히 기술되는 바와 같이, 다양한 자세들을 취하는 실제 인간 모델 및 단일 자세를 취하는 다양한 인간 모델들을 이용하여 트레이닝된 하나의 알고리즘일 수 있다.
하나의 비제한적인 실시예에서는, 가상 신체 메쉬가 가상 신체 메쉬 템플릿(template) M의 변형에 의해 구성된다. 이 템플릿에는 실제의 인간 모델의 360도 3D 스캔으로부터 캡처된 특정의 원래(origin) 자세 및 형상이 제공된다. 이 템플릿에 적용되는 자세 및 형상 변이는 템플릿 메쉬 M의 각각의 삼각형의 아핀 변환(affine transformation)으로서 계산된다. 구체적으로는, 삼각형 p k 는 변
Figure pct00001
에 의해 식별되며, 이 변은 0번째 꼭짓점으로부터 j번째 꼭짓점까지의 벡터로서 정의되고, j=1, 2에 대해
Figure pct00002
이다. 그 후, 새로운 자세의 그리고 새로운 형상을 갖는 신체 메쉬에 대해, 각각의 새로운 삼각형 p * k 가 대응하는 템플릿 메쉬 삼각형 p k 의 변형으로서 계산된다. 기호로,
Figure pct00003
여기에서, R I는 I번째 관절의 골격에서의 그 강성 뼈(rigid bone)의 회전이다. 동일한 I번째 골격에 속하는 모든 삼각형에 동일한 회전이 제공되며, 그에 따라
Figure pct00004
는 자세의 변화에 의해 야기되는 각각의 삼각형 변의 변형을 기술하는 데 사용되는 3×3 아핀(affine) 변환 행렬이다. S k는 신체 형상 변형을 나타낸다. 따라서, 회전, 신체 자세 변환, 및 신체 형상 변환이 가상 신체 메쉬 템플릿에 각각 적용되어 가상 신체 메쉬를 획득한다.
이 시스템에서는, 회전 R I는 방법 단계(34)의 상황에서 상술한 바와 같이 획득된다. 알려지지 않은 Q k는 아래와 같은 선형 회귀(linear regression)로부터 계산된다. 단일 인간 모델의 다양한 3D 메쉬가 상이한 자세로 캡처된다. 이들 메쉬 M i 는 동일한 위상 기하학(topology)을 갖고 아핀 변환 Q k i 가 아래의 식을 최소화함으로써 계산된다.
Figure pct00005
여기에서, ws는 두 번째 항의 가중치를 조정한다. 트위스트 벡터(twist vector)로 표시되는 추정되는 Q 행렬과 공지된 R의 세트를 고려해 볼 때, Q와 R 사이의 관계는 선형으로 회귀될 수 있다. 그러므로, Q는 R로부터 예측될 수 있고, R로부터 Q로의 선형 변환이 고속 계산을 위한 시스템에 저장된다.
신체 형상 변환 S를 획득하기 위해서는, 상이한 인간 모델의 다양한 3D 메쉬가 동일한 자세로 캡처된다. S는 아래의 식을 최소화함으로써 R 및 Q로부터 계산된다.
Figure pct00006
여성과 남성 신체 타입 사이의 자연스러운 차이를 더욱 잘 나타내기 위해서, 트레이닝 프로세스가 여성 모델 및 남성 모델에 별개로 적용된다. 특성 측정값이 3D 메쉬에서 또한 측정된다. 선형 맵이 9×N 벡터로 표시되는 형상 변환 행렬 S 및 측정값을 기초로 하며, 여기에서 N은 템플릿 메쉬의 삼각형 면의 수이다. 우세한 서브스페이스(dominant subspace)를 캡처하기 위해 이 선형 공간에 대해 주성분 분석(PCA: principal component analysis)이 수행된다. 그러므로, 특성 측정값의 세트, 예를 들면, 키, 팔 길이, 어깨 너비, 가슴 반경 및 허리 반경을 포함하는 세트가 주어졌을 때, 신체 형상 변환 S는 PCA에 의해 근사될 수 있다.
특성 측정값의 세트가 측정되고, 주어진 깊이 맵 및 가상 골격에 대해 회전 RS가 획득된다. Q 및 S는 앞 단락에서 기술되는 바와 같이 계산될 수 있다. 그 후, 최종 메쉬가 최소 제곱 시스템:
Figure pct00007
을 푸는 것에 의해 계산되며, 여기에서
Figure pct00008
는 변수이다. 이 모델이 변환 불변성(translation invariant)이기 때문에, 꼭짓점이 y0 = (0,0,0)을 설정함으로써 특정 위치에 고정된다. 도 4는 상기 알고리즘을 이용하여 구성될 수 있는 가상 신체 메쉬(46)의 일례를 도시한다.
도 2를 다시 참조하면, 단계(48)에서 가상 신체 메쉬가 선택적으로 개선될 수 있다. 더욱 구체적으로는, 가상 신체 메쉬는 깊이 맵 상의 포인트들과 가상 신체 메쉬의 대응하는 포인트들 사이의 거리를 최소화하기 위해 특성 측정값을 변화시킴으로써 개선될 수 있다. 일 실시예에서는, 가상 신체 메쉬는 비선형 ICP 알고리즘을 적용함으로써 개선될 수 있다. 변수로서 최종 메쉬의 꼭짓점의 위치 및 특성 측정값의 세트와 관련하여, 하기의 이차 함수는 깊이 맵과 최종 메쉬 사이의 거리의 변이가 미리 정의된 임계값 미만이 될 때까지 또는 반복의 최대 횟수에 도달할 때까지 반복하여 최소화된다:
Figure pct00009
최종 메쉬는 상기 2개의 식에 의해 제공된 결과로부터 초기화되고, 특성 측정값이 측정으로부터 초기화된다. 메쉬와 깊이 맵 사이의 거리는 가장 가까운 근접 포인트의 모든 쌍 사이의 제곱된 거리의 합이다.
방법(30)의 단계(50)에서, 가상 신체 메쉬와 구별되는 가상 머리 메쉬가 구성된다. 가상 머리 메쉬는 지금까지 언급된 제1 깊이 맵과는 상이한 제2 깊이 맵에 기초하여 구성될 수 있다. 제2 깊이 맵은, 제1 깊이 맵이 획득될 때보다 피험체가 깊이 카메라에 더 가까이 있을 때 획득될 수 있다. 일 실시예에서는, 제2 깊이 맵이 피험체의 머리의 3개의 상이한 이미지 캡처의 합성물(composite)일 수 있으며, 3개의 상이한 이미지 캡처는 정면 관점, 우측으로 30도 회전한 관점, 및 좌측으로 30도 회전한 관점으로부터의 캡처이다. 제2 깊이 맵에서는, 피험체의 얼굴 특징이 제1 깊이 맵에서 보다는 더욱 미세하게 분해(resolve)될 수 있다. 다른 실시예에서는, 피험체의 머리가 연속적인 이미지 캡처들 사이에서 30도를 초과하거나 미만의 각도로 회전될 수 있다.
가상 머리 메쉬를 구성하기 위해서, 가상 머리 메쉬 템플릿이 제2 깊이 맵 상의 포인트들과 가상 머리 메쉬 상의 대응하는 포인트들 사이의 거리를 최소화하도록 변형될 수 있다. 그 후, 가상 머리 메쉬는 사용자 입력 장치의 컬러 카메라로부터의 하나 이상의 이미지 캡처로부터 도출되는 색 및 질감에 의해 증강될 수 있다. 이 방식으로, 가상 머리 메쉬는 실제의 인간 피험체를 닮도록 개인화(personalize)될 수 있으며, 즉, 가상 머리 메쉬는 형상에서 및 피부 색/질감에서 모두 피험체의 얼굴 특징을 닮은 얼굴 특징을 제공할 수 있다.
단계(52)에서 가상 신체 메쉬가 가상 머리 메쉬에 연결된다. 이 단계에서는, 가상 신체 템플릿 메쉬의 머리가 먼저 잘려나간 후에, 템플릿 메쉬의 2개의 개방 경계들을 3각형으로 만듦(triangulating)으로써 가상 머리 템플릿 메쉬에 연결된다. 연결된 모델은 그 후 시스템 내에 저장되고 가상 신체 메쉬 및 가상 머리 메쉬가 준비될 때 로딩된다. 2개의 템플릿 메쉬들이 각각 2개의 가상 메쉬들로 대체되는데, 이는 2개의 템플릿 메쉬들과 2개의 가상 메쉬들이 동일한 연결성을 갖기 때문이다. 가상 머리 메쉬의 크기(scale)는 가상 신체 메쉬와 일치하는 비율에 따라서 조정된다. 목 주위의 꼭짓점들이 또한 매끄럽게 되는 한편, 다른 꼭짓점들은 고정된 상태로 유지된다. 이 방식으로, 기하학적으로 현실적이고 이음매 없는(seamless) 머리/신체 메쉬가 구성될 수 있다.
단계(54)에서 가상 신체 메쉬는 피험체를 위해 적절한 피부 색 및/또는 피부 질감에 의해 증가된다. 일부 실시예에서는, 피부 색 및/또는 피부 질감이 피험체의 얼굴을 포함하는 영역으로부터의 컬러 이미지 데이터와 같은, 사용자 입력 장치(14A)로부터의 컬러 이미지 데이터를 기초로 하여 선택될 수 있다. 바꿔 말하면, 가상 신체 메쉬에 적용되는 피부 색 및/또는 피부 질감은 피험체의 얼굴의 피부 색 및/또는 피부 질감에 매칭하도록 동기화될 수 있다. 일 실시예에서는, 시스템은 먼저 미리 설계된 데이터베이스에서 신체 질감 이미지를 선택한 후, 저 주파수 컬러 성분을 변조시켜 신체 질감 이미지의 전체 컬러가 얼굴 피부의 컬러와 일치되게 한다. 도 5는 가상 머리 메쉬(56)의 일례를 도시한다. 도 6은 가상 머리 메쉬(56)가 가상 신체 메쉬(46)에 연결되어 있는 연결된 머리/신체 메쉬(58)를 도시한다.
도 7은 아바타를 애니메이트(animate)하기 위한 방법(60)의 일례를 예시한다. 방법(60)의 단계(30)에서, 아바타가 구성된다. 일 실시예에서는, 아바타가 지금까지 예시된 방법에 따라서 구성될 수 있다. 단계(62)에서, 애니메이트된 아바타에 대해 요구되는 초기 자세가 특정된다. 요구되는 초기 자세는 팔을 죽 뻗고, 오른 손을 들며, 왼쪽 다리를 올리는 등의 서있는 자세일 수 있다. 단계(64)에서, 가상 골격이 원하는 자세에 기초해서 재배치된다. 단계(66)에서, 가상 신체 메쉬의 변형은 상술한 바와 같이, 재배치된 가상 골격에 기초하여 계산된다. 일 실시예에서는, 변형을 계산하는 것은 가상 신체 메쉬에 선형 스키닝 모델(linear skinning model)을 적용하는 것을 포함할 수 있다. 다른 실시예에서는, 변형을 계산하는 것은 가상 신체 메쉬에 기계적인 스키닝 시뮬레이션을 적용하는 것을 포함할 수 있다. 기계적인 스키닝 시뮬레이션에서, 피험체의 살 및 피부의 움직임이 뉴턴 물리학에 따라서 가상 골격의 변위의 함수로서 시뮬레이션된다. 단계(66)으로부터, 방법은 요구되는 후속하는 자세가 특정되는 단계(62)로 복귀할 수 있다. 원하는 후속하는 자세는 예를 들면, 점증적으로 변화하는 자세일 수 있다. 따라서, 가상 골격을 재배치하고 가상 신체 메쉬의 변형을 계산하는 단계들은 아바타를 애니메이트하기 위해 반복될 수 있다. 일 실시예에서는, 이 방법에 따라서 애니메이트되는 아바타가 비디오 게임 내의 캐릭터(character)로서 사용될 수 있다.
본 명세서에서 고려되는 방법에서는, 사실상 임의의 입력 메커니즘이 아바타를 위한 초기 및 후속하는 요구되는 자세를 특정하는 데 사용될 수 있다. 그러한 메커니즘은 신체 움직임을 지시하는 음성 명령, 또는 사용자 인터페이스를 통해 신체 움직임 및/또는 제스처(gesture)의 메뉴로부터의 선택을 포함할 수 있다. 또 다른 실시예에서는, 사용자 입력 장치(14A)에 의한 실시간 골격 추적(tracking)이 애니메이트된 아바타의 움직임을 인도할 수 있다. 더욱 구체적으로는, 피험체가 아바타에 대해 원하는 방식으로 자신의 신체를 움직임으로써 아바타의 움직임을 간단히 특정할 수 있다. 사용자 입력 장치는 피험체의 신체의 움직임을 추적하고, 방법(60)이 실행되는 개인용 컴퓨터에 제스처 데이터의 스트림을 제공하도록 구성될 수 있다.
도 8은 소매 환경에서 아바타를 사용하기 위한 방법(68)의 일례를 예시한다. 방법(68)의 단계(30)에서, 아바타가 예를 들어, 지금까지 예시된 방법에 따라서 구성된다. 단계(70)에서, 아바타의 가상 신체 메쉬는 가상 의복으로 증강된다. 가상 의복은 피험체에게 판매하기 위한 실제의 의복와 유사하도록 모델화될 수 있다. 단계(71)에서, 이와 같이 구성되고 이와 같이 의복이 착용된 아바타가 피험체에 의해 검토되기 위해 제공된다. 아바타는 소매 사업체(retail establishment)에서, 또는 피험체의 가정이나 직장 등에서 비디오 모니터 상에서 검토되기 위해 제공될 수 있다. 도 9는 일례의 시나리오에서 피험체(12)에 의한 아바타(72)의 제공 및 리뷰를 예시한다. 본 명세서에 기술되는 다양한 방법으로부터의 양상들이 함께 사용될 수 있음을 주의해야 한다. 예를 들면, 방법(68)에서 피험체에게 리뷰하기 위해 제공되는 옷이 입혀진 아바타가 또한 방법(60)에 따라서 애니메이트될 수 있다.
일부 실시예에서는, 상술한 방법 및 프로세스가 하나 이상의 컴퓨팅 장치의 컴퓨팅 시스템에 제약(tie)될 수 있다. 특히, 이러한 방법 및 프로세스는 컴퓨터 응용 프로그램 또는 서비스, 응용 프로그래밍 인터페이스(application-programming interface; API), 라이브러리(library), 및/또는 다른 컴퓨터 프로그램 제품으로서 실현될 수 있다.
도 10은 상술한 방법 및 프로세스의 하나 이상을 수행할 수 있는 컴퓨팅 시스템(16)의 비제한적인 실시예를 개략적으로 도시한다. 컴퓨팅 시스템(16)은 간략화된 형태로 도시된다. 사실상 임의의 컴퓨터 아키텍처가 본 개시내용의 범위로부터 벗어남 없이 사용될 수 있음을 이해해야 한다. 상이한 실시예들에서는, 컴퓨팅 시스템(16)은 메인프레임(mainframe) 컴퓨터, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑(laptop) 컴퓨터, 태블릿(tablet) 컴퓨터, 홈 엔터테인먼트(home-entertainment) 컴퓨터, 네트워크 컴퓨팅 장치, 게이밍 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치(예를 들면, 스마트폰) 등의 형태를 취할 수 있다.
컴퓨팅 시스템(16)은 논리 서브시스템(22) 및 저장 서브시스템(24)을 포함한다. 컴퓨팅 시스템(16)은 선택적으로 디스플레이 서브시스템(18), 입력 장치 서브시스템(14), 통신 서브시스템(76), 및/또는 도 10에 도시되지 않은 다른 구성요소를 포함할 수 있다. 컴퓨팅 시스템(16)은 또한 선택적으로 예를 들면, 키보드, 마우스, 게임 컨트롤러, 카메라, 마이크로폰, 및/또는 터치 스크린과 같은 하나 이상의 사용자 입력 장치를 포함하거나 이들과 인터페이스할 수 있다. 이러한 사용자 입력 장치는 입력 장치 서브시스템(14)의 부분을 형성할 수 있거나 입력 장치 서브시스템(14)과 인터페이스할 수 있다.
논리 서브시스템(22)은 명령어를 실행하도록 구성되는 하나 이상의 물리적인 장치를 포함한다. 예를 들면, 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트(object), 구성요소, 데이터 구조, 또는 다른 논리 구성의 부분인 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는 작업(task)을 수행하도록, 데이터 타입을 구현하도록, 하나 이상의 구성요소들의 상태를 변환하도록, 또는 그렇지 않으면 요구되는 결과에 도달하도록 구현될 수 있다.
논리 서브시스템은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안적으로, 논리 서브시스템은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 논리 머신을 포함할 수 있다. 논리 서브시스템의 프로세서는 싱글 코어 또는 멀티 코어일 수 있고, 프로세서 상에서 실행되는 프로그램은 순차, 병렬 또는 분산 처리를 위해 구성될 수 있다. 논리 서브시스템은 선택적으로 원격으로 위치되고/되거나 조정되는(coordinated) 처리를 위해 구성될 수 있는 2 이상의 장치들 중에 분산되는 개별 구성요소를 포함할 수 있다. 논리 서브시스템의 양상은 클라우드(cloud) 컴퓨팅 구성으로 구성된 원격으로 액세스 가능한 네트워크로 연결된 컴퓨팅 장치들에 의해 가상화되고 실행될 수 있다.
저장 서브시스템(24)은 본 명세서에 기술된 방법 및 프로세스를 실현하기 위해 논리 서브시스템에 의해 실행 가능한 데이터 및/또는 명령어를 유지하도록 구성되는 하나 이상의 물리적, 비일시적 장치를 포함한다. 이러한 방법 및 프로세스가 실현될 때, 저장 서브시스템(24)의 상태는 예를 들면, 상이한 데이터를 유지하도록 변환될 수 있다.
저장 서브시스템(24)은 분리형 매체 및/또는 내장형 장치를 포함할 수 있다. 저장 서브시스템(24)은 광학 메모리 장치(예를 들면, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리 장치(예를 들면, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 장치(예를 들면, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 저장 서브시스템(24)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차 액세스, 위치 어드레스 지정 가능, 파일 어드레스 지정 가능, 및/또는 내용 어드레스 지정 가능 장치를 포함할 수 있다.
저장 서브시스템(24)은 하나 이상의 물리적, 비일시적 장치를 포함하는 것을 이해할 것이다. 그러나, 일부 실시예에서는, 본 명세서에 기술된 명령어의 양상은 유한한 지속기간 동안 물리적 장치에 의해 유지되지 않는 순수 신호(pure signal) - 예를 들면, 전자기 또는 광학 신호 등 - 에 의해 일시적인 방식으로 전달될 수 있다. 더욱이, 본 개시내용과 관련된 데이터 및 다른 형태의 정보가 순수 신호에 의해 전달될 수 있다.
일부 실시예에서는, 논리 서브시스템(22)의 양태 및 저장 서브시스템(24)의 양상이 하나 이상의 하드웨어 논리 구성요소로 함께 통합될 수 있고, 이 구성 요소를 통해 본 명세서에 기능적으로 기술된 것이 적어도 부분적으로 수행될 수 있다. 이러한 하드웨어 논리 구성요소는 예를 들면, 필드 프로그램 가능 게이트 어레이(FPGA; field-programmable gate array), 프로그램 및 주문형 반도체(PASIC/ASIC; program- and application-specific integrated ciruit), 프로그램 및 주문형 표준 제품(PSSP/ASSP; program- and application-specific standard product), 시스템 온 칩(SOC; system-on-a-chip) 시스템 및 복합 프로그램 가능 논리 장치(CPLD; complex programmable logic device)를 포함할 수 있다.
용어 "모듈", "프로그램" 및 "엔진"은 특정 기능을 수행하기 위해 실현되는 컴퓨팅 시스템(16)의 양상을 기술하는 데 사용될 수 있다. 일부의 경우에는, 모듈, 프로그램, 또는 엔진은 저장 서브시스템(24)에 의해 유지되는 명령어를 실행하는 논리 서브시스템(22)을 통해 예시(instantiate)될 수 있다. 상이한 모듈들, 프로그램들, 및/또는 엔진들이 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등으로부터 예시될 수 있음을 이해해야 한다. 유사하게, 동일한 모듈, 프로그램, 및/또는 엔진은 상이한 애플리케이션들, 서비스들, 코드 블록들, 오브젝트들, 루틴들, API들, 함수들 등에 의해 예시될 수 있다. 용어 "모듈", "프로그램", 및 "엔진"은 실행 가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트(script), 데이터베이스 레코드 등의 개별 또는 그룹을 포함할 수 있다.
"서비스"는 본 명세서에 사용되는 바와 같이, 다수의 사용자 세션에 거쳐 실행 가능한 애플리케이션 프로그램인 것을 이해할 것이다. 서비스는 하나 이상의 시스템 구성요소, 프로그램, 및/또는 다른 서비스에 사용 가능할 수 있다. 일부 구현에서는, 서비스는 하나 이상의 서버 컴퓨팅 장치에서 실행할 수 있다.
디스플레이 서브시스템(18)이 포함된 경우, 디스플레이 서브시스템(18)은 저장 서브시스템(24)에 의해 유지되는 데이터의 시각적인 표시를 제공하는 데 사용될 수 있다. 이 시각적인 표시는 그래픽 사용자 인터페이스(GUI; graphical user interface)의 형태를 취할 수 있다. 본 명세서에 기술된 방법 및 프로세스는 저장 서브시스템에 의해 유지된 데이터를 변화시키고, 그에 따라 저장 서브시스템의 상태를 변환함에 따라, 디스플레이 서브시스템(18)의 상태가 유사하게 기반 데이터(underlying data)의 변화를 시각적으로 표시하도록 변환될 수 있다. 디스플레이 서브시스템(18)은 사실상 임의의 타입의 기술을 이용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 공유되는 인클로저(enclosure) 내에서 논리 서브시스템(22) 및/또는 저장 서브시스템(24)과 연결될 수 있거나, 이러한 디스플레이 장치는 주변 디스플레이 장치일 수 있다.
통신 서브시스템(76)이 포함된 경우, 통신 서브시스템(76)은 컴퓨팅 시스템(16)을 하나 이상의 다른 컴퓨팅 장치와 통신으로 연결하도록 구성될 수 있다. 통신 서브시스템(76)은 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예로서, 통신 서브시스템은 유선 전화 네트워크, 또는 유선 또는 무선 로컬 또는 광역 네트워크를 통해 통신하기 위해 구성될 수 있다. 일부 실시예에서는, 통신 서브시스템은 컴퓨팅 시스템(16)이 인터넷과 같은 네트워크를 통해 다른 장치로 및/또는 다른 장치로부터 메시지를 전송 및/또는 수신 가능하게 할 수 있다.
본 개시내용의 주제는 다양한 프로세스, 시스템 및 구성 및 다른 특징, 기능, 동작 및/또는 본 명세서에 개시된 특성뿐만 아니라 이것들 중 어느 하나 및 모든 등가물의 모든 신규하고 자명하지 않은 조합 및 서브조합을 포함한다.
14 : 입력-장치 서브시스템
16 : 컴퓨팅 시스템
18 : 디스플레이 서브시스템
22 : 논리 서브시스템
24 : 저장 서브시스템
76 : 통신 서브시스템

Claims (20)

  1. 인간 피험체의 아바타를 구성(construct)하기 위한 방법에 있어서,
    상기 피험체의 깊이 맵(depth map)을 획득(acquire)하는 단계;
    상기 깊이 맵을 기초로 하여 상기 피험체의 가상 골격을 획득(obtain)하는 단계;
    상기 가상 골격의 미리 결정된 포인트들 사이의 거리에 대응하는 특성 측정값(characteristic metrics)의 세트를 상기 가상 골격으로부터 수집(harvest)하는 단계;
    상기 특성 측정값을 머신 러닝(machine learning)을 이용하여 트레이닝되는 알고리즘 - 상기 알고리즘은 상기 특성 측정값의 함수로서 가상 신체 메쉬(mesh)를 출력하기 위해 다양한 자세들을 취하는 인간 모델 및 단일 자세를 취하는 다양한 인간 모델들을 이용하여 트레이닝됨 - 에 입력으로서 제공하는 단계;
    상기 피험체의 특징과 닮은 얼굴 특징을 가지며, 상기 가상 신체 메쉬와 구별되는 가상 머리 메쉬를 구성하는 단계; 및
    상기 가상 신체 메쉬를 상기 가상 머리 메쉬에 연결하는 단계를
    포함하는, 인간 피험체의 아바타를 구성하기 위한 방법.
  2. 제1항에 있어서, 상기 가상 골격을 재배치하는 단계 및 상기 재배치된 가상 골격을 기초로 하여 상기 가상 신체 메쉬의 변형(deformation)을 계산하는 단계를 더 포함하는, 인간 피험체의 아바타를 구성하기 위한 방법.
  3. 제2항에 있어서, 상기 변형을 계산하는 단계는 상기 가상 신체 메쉬에 선형 스키닝 모델(linear skinning model)을 적용하는 단계를 포함하는 것인, 인간 피험체의 아바타를 구성하기 위한 방법.
  4. 제2항에 있어서, 상기 변형을 계산하는 단계는 상기 가상 신체 메쉬에 기계적 스키닝 시뮬레이션(mechanical skinning simulation)을 적용하는 단계를 포함하는 것인, 인간 피험체의 아바타를 구성하기 위한 방법.
  5. 제2항에 있어서, 상기 아바타를 애니메이트(animate)하기 위해 상기 재배치하는 단계 및 상기 계산하는 단계를 반복하는 단계를 더 포함하는, 인간 피험체의 아바타를 구성하기 위한 방법.
  6. 제5항에 있어서, 상기 애니메이트된 아바타를 비디오 게임 내의 캐릭터(character)로서 이용하는 단계를 더 포함하는, 인간 피험체의 아바타를 구성하기 위한 방법.
  7. 제1항에 있어서, 상기 특성 측정값의 세트는 상기 피험체의 신체의 크기 및 형상에 명료하게(intelligibly) 관련되는 것인, 인간 피험체의 아바타를 구성하기 위한 방법.
  8. 제1항에 있어서, 가상 신체 메쉬 템플릿에 회전, 신체 자세 변환 및 신체 형상 변환을 적용하여 상기 가상 신체 메쉬를 획득하는 단계를 더 포함하는, 인간 피험체의 아바타를 구성하기 위한 방법.
  9. 제1항에 있어서, 상기 깊이 맵은 제1 깊이 맵이고, 상기 가상 머리 메쉬는 상기 피험체의 얼굴 특징이 상기 제1 깊이 맵에서 보다 더욱 미세하게 분해되는 제2 깊이 맵을 기초로 구성되는 것인, 인간 피험체의 아바타를 구성하기 위한 방법.
  10. 제9항에 있어서, 가상 머리 메쉬 템플릿을 변형하여 상기 제2 깊이 맵 상의 포인트와 상기 가상 머리 메쉬 상의 대응하는 포인트 사이의 거리를 최소화하는 단계를 더 포함하는, 인간 피험체의 아바타를 구성하기 위한 방법.
  11. 제1항에 있어서, 상기 피험체의 얼굴에 매칭되도록 합성된 신체 질감 및 상기 피험체의 얼굴에 매칭되는 피부 질감으로 상기 가상 신체 메쉬를 증강(augment)시키는 단계를 더 포함하는, 인간 피험체의 아바타를 구성하기 위한 방법.
  12. 제1항에 있어서, 상기 피험체에게 판매하기 위한 실제 의복와 닮도록 모델화된 가상 의복으로 상기 가상 신체 메쉬를 증강시키는 단계를 더 포함하는, 인간 피험체의 아바타를 구성하기 위한 방법.
  13. 제12항에 있어서, 상기 피험체에 의한 검토를 위해 상기 구성되고 옷이 입혀진 아바타를 제공하는 단계를 더 포함하는, 인간 피험체의 아바타를 구성하기 위한 방법.
  14. 인간 피험체의 아바타를 구성하기 위한 방법에 있어서,
    상기 피험체의 깊이 맵을 획득하는 단계;
    상기 깊이 맵을 기초로 하여 상기 피험체의 가상 골격을 획득하는 단계;
    상기 가상 골격의 미리 결정된 포인트들 사이의 거리에 대응하는 특성 측정값의 세트를 상기 가상 골격으로부터 수집하는 단계;
    상기 특성 측정값을 머신 러닝을 이용하여 트레이닝되는 알고리즘 - 상기 알고리즘은 상기 특성 측정값의 함수로서 가상 신체 메쉬를 출력하기 위해 다양한 자세들 및 단일 자세를 취하는 다양한 인간 모델들을 이용하여 트레이닝됨 - 에 입력으로서 제공하는 단계;
    상기 특성 측정값을 변화시켜 상기 가상 신체 메쉬를 개선하여, 상기 깊이 맵 상의 포인트와 상기 가상 신체 메쉬의 대응하는 포인트 사이의 거리를 최소화시키는 단계;
    상기 피험체의 얼굴 특징과 닮은 얼굴 특징을 갖는, 가상 신체 메쉬와 구별되는, 가상 머리 메쉬를 구성하는 단계; 및
    상기 가상 신체 메쉬를 상기 가상 머리 메쉬에 연결하는 단계를
    포함하는, 인간 피험체의 아바타를 구성하기 위한 방법.
  15. 제14항에 있어서, 상기 가상 신체 메쉬는 반복적 최근접 포인트 알고리즘(iterative closest-point algorithm)을 적용함으로써 개선되는 것인, 인간 피험체의 아바타를 구성하기 위한 방법.
  16. 인간 피험체의 아바타를 구성하기 위한 시스템에 있어서,
    논리 서브시스템;
    상기 논리 서브시스템에 의해,
    깊이 맵을 기초로 하여 상기 피험체의 가상 골격을 획득하고,
    상기 가상 골격의 미리 결정된 포인트들 사이의 거리에 대응하는 특성 측정값의 세트를 상기 가상 골격으로부터 수집하고,
    머신 러닝을 이용하여 트레이닝되는 알고리즘 - 상기 알고리즘은 상기 특성 측정값의 함수로서 가상 신체 메쉬를 출력하기 위해 다양한 자세들을 취하는 인간 모델 및 단일 자세를 취하는 다양한 인간 모델들을 이용하여 트레이닝됨 - 에 상기 특성 측정값을 입력으로서 제공하고,
    상기 피험체의 얼굴 특징과 닮은 얼굴 특징을 갖는, 가상 신체 메쉬와는 구별되는, 가상 머리 메쉬를 구성하고,
    상기 가상 신체 메쉬를 상기 가상 머리 메쉬에 연결하도록
    실행 가능한 명령어를 유지하는 저장 서브시스템을
    포함하는, 인간 피험체의 아바타를 구성하기 위한 시스템.
  17. 제16항에 있어서,
    상기 논리 서브시스템에 동작 가능하게 연결되어 상기 피험체의 깊이 맵을 획득하도록 구성되는 깊이 카메라; 및
    상기 논리 서브시스템에 동작 가능하게 연결되어 상기 피험체의 얼굴의 컬러 이미지를 획득하도록 구성되는 컬러 카메라를
    더 포함하고;
    상기 명령어는 상기 논리 서브시스템이 상기 컬러 이미지로부터 도출되는 피부 색 및 피부 질감의 하나 이상으로 상기 가상 신체 메쉬를 증강시키도록 하는 것인, 인간 피험체의 아바타를 구성하기 위한 시스템.
  18. 제16항에 있어서, 상기 특성 측정값은 키, 다리 길이, 팔 길이, 어깨 너비, 가슴 반경(chest radius), 허리 반경, 엉덩이(buttock) 반경, 팔 반경 및 다리 반경 중 하나 이상을 포함하는 것인, 인간 피험체의 아바타를 구성하기 위한 시스템.
  19. 제16항에 있어서, 상기 다양한 자세들은 하나 이상의 서 있는 자세 및 하나 이상의 앉아 있는 자세를 포함하는 것인, 인간 피험체의 아바타를 구성하기 위한 시스템.
  20. 제16항에 있어서, 상기 다양한 인간 모델들은 상이한 신장 및 상이한 체중을 갖는 남성 및 여성 모델들을 포함하는 것인, 인간 피험체의 아바타를 구성하기 위한 시스템.
KR1020157001597A 2012-06-21 2012-06-21 깊이 카메라를 이용한 아바타 구성 KR101911133B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/077303 WO2013189058A1 (en) 2012-06-21 2012-06-21 Avatar construction using depth camera

Publications (2)

Publication Number Publication Date
KR20150024899A true KR20150024899A (ko) 2015-03-09
KR101911133B1 KR101911133B1 (ko) 2018-10-23

Family

ID=49768039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157001597A KR101911133B1 (ko) 2012-06-21 2012-06-21 깊이 카메라를 이용한 아바타 구성

Country Status (6)

Country Link
US (1) US9001118B2 (ko)
EP (1) EP2864961A4 (ko)
JP (1) JP6018707B2 (ko)
KR (1) KR101911133B1 (ko)
CN (1) CN104395929B (ko)
WO (1) WO2013189058A1 (ko)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710521B1 (ko) * 2015-11-18 2017-02-27 (주)에프엑스기어 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
KR20190066804A (ko) * 2017-12-06 2019-06-14 주식회사 카이 구형 영상을 생성하는 방법, 구형 영상을 재생하는 방법 및 그 장치들
AU2019100794B4 (en) * 2018-05-07 2020-01-16 Apple Inc. Creative camera
US10580221B2 (en) 2018-05-07 2020-03-03 Apple Inc. Avatar creation user interface
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
WO2021040156A1 (ko) * 2019-09-01 2021-03-04 엘지전자 주식회사 신체 측정 디바이스 및 그 제어 방법
KR102234646B1 (ko) * 2020-03-31 2021-04-01 (주)케이넷 이엔지 가상 현실 체험 장치 및 방법
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11061372B1 (en) 2020-05-11 2021-07-13 Apple Inc. User interfaces related to time
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11165949B2 (en) 2016-06-12 2021-11-02 Apple Inc. User interface for capturing photos with different camera magnifications
US11178335B2 (en) 2018-05-07 2021-11-16 Apple Inc. Creative camera
US11204692B2 (en) 2017-06-04 2021-12-21 Apple Inc. User interface camera effects
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US20220070385A1 (en) * 2018-05-07 2022-03-03 Apple Inc. Creative camera
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11350026B1 (en) 2021-04-30 2022-05-31 Apple Inc. User interfaces for altering visual media
US11468625B2 (en) 2018-09-11 2022-10-11 Apple Inc. User interfaces for simulated depth effects
US11481988B2 (en) 2010-04-07 2022-10-25 Apple Inc. Avatar editing environment
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
KR20230122173A (ko) * 2021-02-11 2023-08-22 퀄컴 인코포레이티드 확장 현실 환경들에서의 이미지 캡처링
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
GB201102794D0 (en) 2011-02-17 2011-03-30 Metail Ltd Online retail system
US11904101B2 (en) 2012-06-27 2024-02-20 Vincent John Macri Digital virtual limb and body interaction
US11673042B2 (en) 2012-06-27 2023-06-13 Vincent John Macri Digital anatomical virtual extremities for pre-training physical movement
US10096265B2 (en) * 2012-06-27 2018-10-09 Vincent Macri Methods and apparatuses for pre-action gaming
EP3703067A1 (en) 2013-05-17 2020-09-02 Vincent J. Macri System and method for pre-movement and action training and control
EP2811463B1 (en) 2013-06-04 2018-11-21 Dassault Systèmes Designing a 3d modeled object with 2d views
WO2015021381A1 (en) * 2013-08-08 2015-02-12 University Of Florida Research Foundation, Incorporated Real-time reconstruction of the human body and automated avatar synthesis
EP2874118B1 (en) 2013-11-18 2017-08-02 Dassault Systèmes Computing camera parameters
US10111603B2 (en) 2014-01-13 2018-10-30 Vincent James Macri Apparatus, method and system for pre-action therapy
US9524582B2 (en) 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
US9380224B2 (en) * 2014-02-28 2016-06-28 Microsoft Technology Licensing, Llc Depth sensing using an infrared camera
CN105336005B (zh) 2014-06-27 2018-12-14 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
US9626808B2 (en) * 2014-08-01 2017-04-18 Electronic Arts Inc. Image-based deformation of simulated characters of varied topology
US9928412B2 (en) * 2014-10-17 2018-03-27 Ebay Inc. Method, medium, and system for fast 3D model fitting and anthropometrics
US20170229037A1 (en) 2014-10-23 2017-08-10 The Regents Of The University Of California Methods of Enhancing Cognition and Systems for Practicing the Same
EP3032495B1 (en) 2014-12-10 2019-11-13 Dassault Systèmes Texturing a 3d modeled object
EP3314577A1 (en) * 2015-06-24 2018-05-02 Max-Planck-Gesellschaft zur Förderung der Wissenschaften Skinned multi-person linear model
JP5856343B1 (ja) * 2015-06-30 2016-02-09 株式会社コロプラ ユーザ・インタフェース・プログラムおよびコンピュータ実装方法
US9830703B2 (en) * 2015-08-12 2017-11-28 Nvidia Corporation Model-based three-dimensional head pose estimation
EP3188033B1 (en) 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
JP6370820B2 (ja) * 2016-02-05 2018-08-08 株式会社バンダイナムコエンターテインメント 画像生成システム、ゲーム装置及びプログラム。
US11736756B2 (en) * 2016-02-10 2023-08-22 Nitin Vats Producing realistic body movement using body images
US10593106B2 (en) * 2016-02-16 2020-03-17 Rakuten, Inc. Three-dimensional model generating system, three-dimensional model generating method, and program
US9919217B2 (en) 2016-03-08 2018-03-20 Electronic Arts Inc. Dynamic difficulty adjustment
US10217231B2 (en) * 2016-05-31 2019-02-26 Microsoft Technology Licensing, Llc Systems and methods for utilizing anchor graphs in mixed reality environments
US11341776B2 (en) * 2016-07-15 2022-05-24 Htc Corporation Method, electronic apparatus and recording medium for automatically configuring sensors
EP3293705B1 (en) * 2016-09-12 2022-11-16 Dassault Systèmes 3d reconstruction of a real object from a depth map
EP3538946B1 (en) 2016-11-11 2023-02-15 Magic Leap, Inc. Periocular and audio synthesis of a full face image
US10529137B1 (en) * 2016-11-29 2020-01-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods for augmenting images
US10384133B1 (en) 2016-12-30 2019-08-20 Electronic Arts Inc. Systems and methods for automatically measuring a video game difficulty
US10357718B2 (en) 2017-02-28 2019-07-23 Electronic Arts Inc. Realtime dynamic modification and optimization of gameplay parameters within a video game application
CN110546679B (zh) * 2017-04-10 2022-11-01 富士通株式会社 识别装置、识别系统，识别方法以及存储介质
US10311624B2 (en) 2017-06-23 2019-06-04 Disney Enterprises, Inc. Single shot capture to animated vr avatar
US10607420B2 (en) * 2017-08-30 2020-03-31 Dermagenesis, Llc Methods of using an imaging apparatus in augmented reality, in medical imaging and nonmedical imaging
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
CN107945255A (zh) * 2017-11-24 2018-04-20 北京德火新媒体技术有限公司 一种虚拟人物表情驱动方法及系统
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
KR102661019B1 (ko) 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
WO2019177869A1 (en) 2018-03-16 2019-09-19 Magic Leap, Inc. Facial expressions from eye-tracking cameras
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
US10776979B2 (en) * 2018-05-31 2020-09-15 Microsoft Technology Licensing, Llc Virtual skeleton based on computing device capability profile
US10713543B1 (en) 2018-06-13 2020-07-14 Electronic Arts Inc. Enhanced training of machine learning systems based on automatically generated realistic gameplay information
CN111640175A (zh) 2018-06-21 2020-09-08 华为技术有限公司 一种物体建模运动方法、装置与设备
CN112602090A (zh) 2018-07-02 2021-04-02 奇跃公司 用于插值不同输入的方法和系统
US10621788B1 (en) 2018-09-25 2020-04-14 Sony Corporation Reconstructing three-dimensional (3D) human body model based on depth points-to-3D human body model surface distance
CN109453517B (zh) * 2018-10-16 2022-06-10 Oppo广东移动通信有限公司 虚拟角色控制方法和装置、存储介质、移动终端
US10977549B2 (en) * 2019-02-14 2021-04-13 Adobe Inc. Object animation using generative neural networks
US10825225B1 (en) * 2019-03-20 2020-11-03 Lucasfilm Entertainment Company Ltd. LLC Simulation stream pipeline
US10953334B2 (en) 2019-03-27 2021-03-23 Electronic Arts Inc. Virtual character generation from image or video data
US11276216B2 (en) 2019-03-27 2022-03-15 Electronic Arts Inc. Virtual animal character generation from image or video data
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
CN110111417B (zh) 2019-05-15 2021-04-27 浙江商汤科技开发有限公司 三维局部人体模型的生成方法、装置及设备
US10748350B1 (en) * 2019-05-17 2020-08-18 Roblox Corporation Modification of animated characters
CN110288716B (zh) * 2019-06-14 2023-08-08 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US11110353B2 (en) 2019-07-10 2021-09-07 Electronic Arts Inc. Distributed training for machine learning of AI controlled virtual entities on video game clients
US11704853B2 (en) * 2019-07-15 2023-07-18 Disney Enterprises, Inc. Techniques for feature-based neural rendering
KR20190095184A (ko) * 2019-07-25 2019-08-14 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
JP6818219B1 (ja) * 2020-05-29 2021-01-20 株式会社ＰｏｃｋｅｔＲＤ ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム
IL298723A (en) * 2020-06-05 2023-02-01 Maria Tashjian Technologies for virtual measurement of items
US20230262100A1 (en) * 2020-07-14 2023-08-17 Sony Group Corporation Information processing device, information processing method, program, and system
WO2023119557A1 (ja) * 2021-12-23 2023-06-29 ソフトバンク株式会社 アバター表示装置、アバター生成装置及びプログラム
WO2023167968A2 (en) * 2022-03-02 2023-09-07 Brain Corporation Systems and methods for aligning a plurality of local computer readable maps to a single global map and detecting mapping errors
US20230306683A1 (en) * 2022-03-25 2023-09-28 Sony Group Corporation Mesh patch sub-division
CN117234342B (zh) * 2023-11-15 2024-03-19 北京京拍档科技股份有限公司 一种基于人台模型生成虚拟模特的方法及设备

Family Cites Families (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP2000500956A (ja) 1996-09-18 2000-01-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報分配システム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6411744B1 (en) 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US7062454B1 (en) 1999-05-06 2006-06-13 Jarbridge, Inc. Previewing system and method
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US20010034668A1 (en) 2000-01-29 2001-10-25 Whitworth Brian L. Virtual picture hanging via the internet
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US20030206652A1 (en) * 2000-06-28 2003-11-06 David Nister Depth map creation through hypothesis blending in a bayesian framework
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US6901379B1 (en) 2000-07-07 2005-05-31 4-D Networks, Inc. Online shopping with virtual modeling and peer review
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
EP1743277A4 (en) 2004-04-15 2011-07-06 Gesturetek Inc MONITORING OF BI-MANUAL MOVEMENTS
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
EP1851527A2 (en) 2005-01-07 2007-11-07 GestureTek, Inc. Creating 3d images of objects by illuminating with infrared patterns
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
CN103257684B (zh) 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
CN1928908A (zh) 2005-09-08 2007-03-14 御轩星球网路有限公司 虚拟实境购物系统
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US20070229498A1 (en) * 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
TW200828043A (en) 2006-12-29 2008-07-01 Cheng-Hsien Yang Terminal try-on simulation system and operating and applying method thereof
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
WO2008113367A2 (en) 2007-03-19 2008-09-25 Massi Miliano OÜ Method and system for custom tailoring and retailing of clothing
US20080252637A1 (en) 2007-04-14 2008-10-16 Philipp Christian Berndt Virtual reality-based teleconferencing
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
EP2195781A1 (en) 2007-08-30 2010-06-16 Feeling Software Online shopping system and method using 3d reconstruction
EP2229672A4 (en) 2007-12-21 2014-01-22 Sony Comp Entertainment Us SYSTEM FOR INSERTING IMITATION OF DELIVERY IN A SCENE AND PROVIDING AN EVALUATION THEREOF
GB2458388A (en) 2008-03-21 2009-09-23 Dressbot Inc A collaborative online shopping environment, virtual mall, store, etc. in which payments may be shared, products recommended and users modelled.
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
CA2734143C (en) 2008-08-15 2021-08-31 Brown University Method and apparatus for estimating body shape
US8941642B2 (en) 2008-10-17 2015-01-27 Kabushiki Kaisha Square Enix System for the creation and editing of three dimensional models
US8659596B2 (en) 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8818883B2 (en) * 2009-07-23 2014-08-26 Apple Inc. Personalized shopping avatar
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8803950B2 (en) 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
US7961910B2 (en) * 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
KR20110070056A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
TWI434227B (zh) * 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
US8279418B2 (en) * 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US9959453B2 (en) * 2010-03-28 2018-05-01 AR (ES) Technologies Ltd. Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature
JP5346863B2 (ja) * 2010-03-30 2013-11-20 大日本スクリーン製造株式会社 ３次元位置・姿勢認識装置およびそれを用いたシステム、方法、プログラム
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US8749557B2 (en) * 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8558873B2 (en) * 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8861800B2 (en) * 2010-07-19 2014-10-14 Carnegie Mellon University Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
US8797328B2 (en) * 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
KR101514327B1 (ko) * 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
CN102508867B (zh) * 2011-10-09 2013-04-24 南京大学 一种人体运动的运动图检索方法

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869165B2 (en) 2010-04-07 2024-01-09 Apple Inc. Avatar editing environment
US11481988B2 (en) 2010-04-07 2022-10-25 Apple Inc. Avatar editing environment
KR101710521B1 (ko) * 2015-11-18 2017-02-27 (주)에프엑스기어 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
US11165949B2 (en) 2016-06-12 2021-11-02 Apple Inc. User interface for capturing photos with different camera magnifications
US11245837B2 (en) 2016-06-12 2022-02-08 Apple Inc. User interface for camera effects
US11641517B2 (en) 2016-06-12 2023-05-02 Apple Inc. User interface for camera effects
US12132981B2 (en) 2016-06-12 2024-10-29 Apple Inc. User interface for camera effects
US11962889B2 (en) 2016-06-12 2024-04-16 Apple Inc. User interface for camera effects
US11687224B2 (en) 2017-06-04 2023-06-27 Apple Inc. User interface camera effects
US11204692B2 (en) 2017-06-04 2021-12-21 Apple Inc. User interface camera effects
KR20190066804A (ko) * 2017-12-06 2019-06-14 주식회사 카이 구형 영상을 생성하는 방법, 구형 영상을 재생하는 방법 및 그 장치들
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11380077B2 (en) 2018-05-07 2022-07-05 Apple Inc. Avatar creation user interface
US10861248B2 (en) 2018-05-07 2020-12-08 Apple Inc. Avatar creation user interface
US11682182B2 (en) 2018-05-07 2023-06-20 Apple Inc. Avatar creation user interface
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US10580221B2 (en) 2018-05-07 2020-03-03 Apple Inc. Avatar creation user interface
US20220070385A1 (en) * 2018-05-07 2022-03-03 Apple Inc. Creative camera
AU2019100794B4 (en) * 2018-05-07 2020-01-16 Apple Inc. Creative camera
US11178335B2 (en) 2018-05-07 2021-11-16 Apple Inc. Creative camera
US11468625B2 (en) 2018-09-11 2022-10-11 Apple Inc. User interfaces for simulated depth effects
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
US11669985B2 (en) 2018-09-28 2023-06-06 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US10791273B1 (en) 2019-05-06 2020-09-29 Apple Inc. User interfaces for capturing and managing visual media
US10735642B1 (en) 2019-05-06 2020-08-04 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10735643B1 (en) 2019-05-06 2020-08-04 Apple Inc. User interfaces for capturing and managing visual media
US10681282B1 (en) 2019-05-06 2020-06-09 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11223771B2 (en) 2019-05-06 2022-01-11 Apple Inc. User interfaces for capturing and managing visual media
US10652470B1 (en) 2019-05-06 2020-05-12 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
WO2021040156A1 (ko) * 2019-09-01 2021-03-04 엘지전자 주식회사 신체 측정 디바이스 및 그 제어 방법
KR102234646B1 (ko) * 2020-03-31 2021-04-01 (주)케이넷 이엔지 가상 현실 체험 장치 및 방법
US11061372B1 (en) 2020-05-11 2021-07-13 Apple Inc. User interfaces related to time
US11442414B2 (en) 2020-05-11 2022-09-13 Apple Inc. User interfaces related to time
US12099713B2 (en) 2020-05-11 2024-09-24 Apple Inc. User interfaces related to time
US11822778B2 (en) 2020-05-11 2023-11-21 Apple Inc. User interfaces related to time
US12008230B2 (en) 2020-05-11 2024-06-11 Apple Inc. User interfaces related to time with an editable background
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11330184B2 (en) 2020-06-01 2022-05-10 Apple Inc. User interfaces for managing media
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11617022B2 (en) 2020-06-01 2023-03-28 Apple Inc. User interfaces for managing media
US12081862B2 (en) 2020-06-01 2024-09-03 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
KR20230122173A (ko) * 2021-02-11 2023-08-22 퀄컴 인코포레이티드 확장 현실 환경들에서의 이미지 캡처링
US11416134B1 (en) 2021-04-30 2022-08-16 Apple Inc. User interfaces for altering visual media
US11350026B1 (en) 2021-04-30 2022-05-31 Apple Inc. User interfaces for altering visual media
US11418699B1 (en) 2021-04-30 2022-08-16 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US12101567B2 (en) 2021-04-30 2024-09-24 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen

Also Published As

Publication number Publication date
US20130342527A1 (en) 2013-12-26
US9001118B2 (en) 2015-04-07
JP6018707B2 (ja) 2016-11-02
WO2013189058A1 (en) 2013-12-27
EP2864961A4 (en) 2016-03-23
JP2015531098A (ja) 2015-10-29
CN104395929A (zh) 2015-03-04
CN104395929B (zh) 2017-10-03
EP2864961A1 (en) 2015-04-29
KR101911133B1 (ko) 2018-10-23

Similar Documents

Publication Publication Date Title
KR101911133B1 (ko) 깊이 카메라를 이용한 아바타 구성
JP2015531098A5 (ko)
US9646340B2 (en) Avatar-based virtual dressing room
US11640672B2 (en) Method and system for wireless ultra-low footprint body scanning
US20210074004A1 (en) Image processing method and apparatus, image device, and storage medium
US10945514B2 (en) Information processing apparatus, information processing method, and computer-readable storage medium
KR101519775B1 (ko) 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치
Gültepe et al. Real-time virtual fitting with body measurement and motion smoothing
US10628666B2 (en) Cloud server body scan data system
CN104508709B (zh) 使用人体对对象进行动画化
CN109035373B (zh) 三维特效程序文件包的生成及三维特效生成方法与装置
Neumann et al. Capture and Statistical Modeling of Arm‐Muscle Deformations
CN104854623A (zh) 基于化身的虚拟试衣室
JP2022544353A (ja) 裸の身体の形状を身体の隠れているスキャン像から推定する方法
AU2017260525B2 (en) Method and system for body scanning and display of biometric data
CN114270402A (zh) 用于构建三维扫描人体模型的方法和装置
Ami-Williams et al. Digitizing traditional dances under extreme clothing: The case study of eyo
WO2018182938A1 (en) Method and system for wireless ultra-low footprint body scanning
US20240020901A1 (en) Method and application for animating computer generated images
Chen et al. Optimizing human model reconstruction from RGB-D images based on skin detection
Xu et al. Human body reshaping and its application using multiple RGB-D sensors
Probst et al. Combining human body shape and pose estimation for robust upper body tracking using a depth sensor
CN116266408A (zh) 体型估计方法、装置、存储介质及电子设备
CN116452601A (zh) 虚拟试衣方法、装置、电子设备及存储介质
CN112508639A (zh) 虚拟化人体系统的交互方法、电子设备和计算机可读介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant