KR102422469B1

KR102422469B1 - 가상 현실 환경을 위한 가려진 얼굴 부분 재구성 방법 및 시스템

Info

Publication number: KR102422469B1
Application number: KR1020177004479A
Authority: KR
Inventors: 나다브 그로싱거; 에밀 알론
Original assignee: 페이스북 테크놀로지스, 엘엘씨
Priority date: 2014-08-04
Filing date: 2015-08-04
Publication date: 2022-07-20
Also published as: MX2017001646A; BR112017002426A2; KR20170085477A; CA2956508C; US20190392559A1; US20170243334A1; JP6654625B2; IL250299B; EP3178066A4; CA2956508A1; US20200175655A1; CN107004296A; IL250299A0; US10593025B2; US11238568B2; WO2016020921A1; JP2017534096A; AU2015300725A1; CN107004296B; US10445863B2

Abstract

가려진 얼굴 부분 재구성 방법 및 시스템이 본 명세서에 제공된다. 방법은 다음 단계를 포함할 수 있다: 오프라인 3D 데이터를 획득하는 단계, 3D 데이터는 얼굴을 가리는 물체를 착용하지 않은 사람의 머리의 3D 데이터이고, 물체는 사람의 얼굴의 부분을 가리는 물체임; 실시간으로 실시간 3D 데이터를 획득하는 단계, 3D 데이터는 상기 머리의 3D 데이터이고, 상기 사람은 상기 얼굴을 가리는 물체를 착용함; 실시간 3D 데이터에 기반하여, 재구성된 실시간 3D 데이터를 산출하기 위하여 3D 변환을 오프라인 3D 데이터의 적어도 일부에 적용하는 단계, 재구성된 실시간 3D 데이터는 가려진 얼굴 부분에 관한 실시간 3D 데이터임; 및 재구성된 실시간 3D 데이터를 실시간 3D 데이터로 병합하는 단계를 포함할 수 있다. 시스템은 전술한 단계를 컴퓨터 프로세서를 통해 구현할 수 있다.

Description

가상 현실 환경을 위한 가려진 얼굴 부분 재구성 방법 및 시스템{METHOD AND SYSTEM FOR RECONSTRUCTING OBSTRUCTED FACE PORTIONS FOR VIRTUAL REALITY ENVIRONMENT}

본 발명은 일반적으로 가상 현실 환경에 관한 것이고, 특히, 가상 현실 환경 참여자의 실제 이미지를 통합하는 환경에 관한 것이다.

본 발명의 배경이 제시되기에 앞서, 이하에서 사용될 특정 용어의 정의를 규정하는 것이 도움이 될 것이다.

본 명세서에서 사용되는 용어 '가상 현실'(VR)은 실제 세계 또는 상상의 세계에 대한 물리적 존재를 시뮬레이션할 수 있는 컴퓨터 시뮬레이션 환경으로 정의된다. 가상 현실은 가상의 맛, 시야, 냄새, 소리, 촉각 등을 포함하는 감각적 경험을 재생성할 수 있다.

본 명세서에서 사용되는 용어 '가상 현실 헤드셋'은 3D 컴퓨터 시뮬레이션된 환경이 사용자의 눈으로 입체적으로 투사되어, 각 눈이 컴퓨터 시뮬레이션 환경의 약간 다른 시점을 수신하는 헤드 마운트 디스플레이(HMD)로 정의된다. 업계에 알려진 이러한 가상 현실 헤드셋 중 하나는 Oculus Rift™이다. 가상 현실 헤드셋은 임의의 타입의 입체 바이저로 구현될 수 있고 헬멧 타입 구조 내에 수용될 수 있다.

본 명세서에서 사용되는 용어 '3D 모델'은 물체(무생물 또는 생물)의 임의의 3차원 표면의 수학적 표현의 개발 과정인 3D 모델링의 산물로 정의된다. 모델은 예컨대 3D 프린팅 장치를 사용하거나 심지어 수동으로 물리적으로 생성될 수도 있다. 3D 모델은 3D 공간 내의, 데이터(점 및 다른 정보)의 집합인 삼각형, 선, 곡면 등과 같은 다양한 기하학적 엔티티로 연결된 점의 집합을 사용하여 3D 객체를 표현할 수 있다.

본 명세서에서 사용되는 용어 '3D 데이터'는 3D 객체로부터 도출된 임의의 형태와 종류의 임의의 데이터 구조로 정의된다. 3D 데이터는 예컨대, 3D 모델, 3D 이미지를 포함할 수 있으나 덜 구조화된 데이터 타입도 포함할 수 있다.

오늘날 3D 가상 현실의 한 난점은 사용자(예컨대, 가상 현실 환경 참여자)의 실제 이미지 또는 데이터를 예컨대 다른 사용자 각각의 시점에 매끄러운 방식으로 통합하는 것이다. 현재 사용 가능한 일부 가상 현실 시스템이 근안 디스플레이(near eye display)가 통합되는 가상 현실 헤드셋의 형태 일부를 요구하기 때문에, 얼굴의 적어도 일부는 헤드셋으로 가려진다.

일부 3D 가상 현실 애플리케이션에서, 사용자의 이미지를 실시간으로 캡처하고 이미지를 다른 사용자 각각의 시점에 병합하는 것이 바람직하다. 이러한 애플리케이션에서, 가상 현실 헤드셋과 같은 헬멧이나 근안 디스플레이로 기능하는 얼굴을 가리는 물체는 데이터, 예컨대 사용자의 얼굴의 일부의 손실을 야기하고 사용자 경험을 완전히 악화시킬 수 있다.

도 1은 두 사람(사용자)(106 및 108)가 근안 디스플레이 유닛(102 및 104)을 각각 착용하여, 그 얼굴의 적어도 일부가 가려지게 되는 선행 기술에 따른 가상 현실 환경(100)을 도시한다. 그 각 시야(그들이 디스플레이를 통해 보는 것)(110 및 112)는 보통 사실상 3D이고 따라서 보고 있는 이미지 각각은 두 시점(단순화를 위해 도시하지 않음)을 포함한다. 각 근안 디스플레이를 통해 사용자에게 제시되는 시야(110 및 112)는 실제 물체(103 및 105)를 보여주지 않는 컴퓨터 시뮬레이션 환경을 포함한다. 컴퓨터 시뮬레이션 환경의 시야(110 및 112)는 사용자의 움직임에 응답하여 실시간으로 조정된다. 시야(110 및 112)는 시야(112 및 110) 중 얼굴 대부분을 가리는 근안 디스플레이(102A 및 104A)를 착용하고 있는 상대 참여자(106A 및 108A)의 이미지를 표시한다. 얼굴 가려짐은 바람직하지 않은 결과이고 사용자 경험 전체를 저해한다.

본 발명의 일부 실시예는 가상 현실 환경을 위한 가려진 얼굴 부분 재구성 방법 및 시스템을 제공함으로써 선행기술의 전술한 단점을 극복한다. 방법은 다음 단계를 포함할 수 있다: 오프라인 3D 데이터를 획득하는 단계, 오프라인 3D 데이터는 얼굴을 가리는 물체를 착용하지 않은 사람의 머리의 3D 데이터이고, 물체는 사람의 얼굴 부분을 가리는 물체임; 실시간으로 실시간 3D 데이터를 획득하는 단계, 실시간 3D 데이터는 상기 머리의 3D 데이터이고, 상기 사람은 상기 얼굴을 가리는 물체를 착용함; 실시간 3D 데이터에 기반하여, 재구성된 실시간 3D 데이터를 산출하기 위하여, 3D 변환을 오프라인 3D 데이터의 적어도 일부에 적용하는 단계, 재구성된 실시간 3D 데이터는 가려진 얼굴 부분에 관한 실시간 3D 데이터임; 및 재구성된 실시간 3D 데이터를 실시간 3D 데이터에 병합하는 단계. 시스템은 컴퓨터 프로세서를 통해 전술한 단계를 구현할 수 있다.

이들, 본 발명의 실시예의 추가적 및/또는 다른 측면 및/또는 이점은 다음의 상세한 설명에 기재되어 있고; 상세한 설명으로부터 추론가능하고; 및/또는 본 발명의 실시예의 실시에 의해 학습 가능하다.

본 발명의 내용 중에 포함되어 있다.

본 발명의 실시예의 보다 나은 이해를 위해 및 어떻게 수행되어 효과를 내는지 보이기 위하여, 참조가 예시의 방식으로 유사한 숫자가 대응하는 요소 또는 섹션에 지정되는 첨부되는 도면에 설명된다.
첨부되는 도면에서:
도 1은 선행기술에 따른 가상 현실 환경을 도시하는 개략적 블록도이다.
도 2는 본 발명의 실시예에 따른 가상 현실 환경을 도시하는 개략적 블록도이다.
도 3은 본 발명의 실시예에 따른 가상 현실 환경을 도시하는 개략도이다.
도 4는 본 발명의 실시예에 따른 시스템을 도시하는 개략도이다.
도 5는 본 발명에 따른 실시예에 따른 시스템을 도시하는 개략적 블록도이다.
도 6은 본 발명의 실시예에 따라 취해지는 일련의 행동을 도시하는 개략도이다.
도 7은 본 발명에 따른 실시예에 따른 시스템의 한 측면을 도시하는 개략적 블록도이다.
도 8은 본 발명의 일부 실시예에 따른 방법을 도시하는 흐름도이다.

이제 도면을 상세히 구체적으로 참조하면, 도시된 세부 사항은 단지 예일 뿐이고 본 기술의 바람직한 실시예에 대한 예시적인 논의만을 목적으로 함이 강조되고, 본 기술의 이론과 개념적인 측면의 가장 유용하고 이해 가능한 설명일 것으로 생각되는 것을 제공하기 위해 제시된다. 이에 관해, 본 기술의 구조적 세부사항을 더 자세히 보이려는 시도는 본 기술의 기본적 이해를 위하여 필요하지 않고, 도면과 함께 기재된 설명은 본 발명의 여러 형태가 어떻게 실제로 구현될 수 있는지 당업자에게 명백하다.

본 기술의 적어도 하나의 실시예를 상세히 설명하기 전에, 본 발명은 본 출원의 다음 설명 또는 도면에 도시된 구성요소의 구조 및 배열의 세부사항으로 제한되지 않음이 이해될 것이다. 본 기술은 다른 실시예에 적용 가능하거나 다양한 방법으로 실시 또는 수행될 수 있다. 또한, 본 명세서에 사용된 어구 또는 용어는 설명을 위한 것이며 제한으로 간주되어서는 안 된다.

본 발명의 일부 실시예는 얼굴의 부분이 주로 Oculus Rift™ 헤드셋이나 Google Glass™과 같은 3D 가상 현실 헤드셋에 의해 가려질 때, 가상 현실 참여자의 얼굴 부분을 재구성하는 것의 난점을 다룬다. 3D 가상 현실 영역에서 작동하는 것은 다른 열람자-참여자에게 매끄러운 방식으로 가상 현실 참여자의 얼굴의 3D 이미지와 같은 실시간 3D 데이터를 재구성하기 위한 해결책이 특히 어려워진다.

도 2는 본 발명의 실시예에 따른 가상 현실 환경을 도시하는 개략적 블록도이다. 가상 현실 시스템의 장면(200)이 도시되는데, 두 사람(참여자)(206 및 208)가 근안 디스플레이 또는 VR 헤드셋(202 및 204)을 각각 착용하고 있어, 그 얼굴을 가리게 된다. 하지만, 도 1과는 달리, 근안 디스플레이(202 및 204)를 통해 표시되는 각 시야(210 및 212)는 근안 디스플레이를 착용하지 않은 상대 참여자를 보여준다(실제 물체(203 및 205) 또한 보여지지 않고 실제 세계의 배경은 컴퓨터 시뮬레이션 환경으로 대체된다. 자세히 후술되는 바와 같이 이것은 가려진 물체를 포함하는 이미지 부분을 참여자의 실제 움직임 및/또는 표현 및/또는 제스처에 기반하여 실시간으로 업데이트되는 보충적 또는 수정된 얼굴 이미지로 대체함으로써 가능해진다.

도 3은 본 발명의 일부 실시예에 따른 가상 현실 환경을 도시하는 개략적 블록도이다. 여기서, 제3 참여자(도시되지 않음)이 실제 물체(303 및 305)도 포함하는 현실 세계(300)에서 VR 헤드셋(304A 및 302A)을 착용한 두 다른 참여자(308A 및 306A)를 보고 있다. 제3 사용자에게 표시되는 가상 현실 시야(300B)에서, 두 다른 참여자(308B 및 306B)는 재구성된 얼굴 이미지로 매끈하게 대체됨에 따라 헬멧 없이 표시된다.

도 4는 본 발명에 따른 일부 실시예에 따른 한 측면을 도시하는 개략도이다. VR 헤드셋과 같은 사용자 헬멧(404)이 내측의 복수의 센서(402)(사용자의 얼굴에 부착가능)와 함께 도시된다. 센서는 눈과 같은 사용자의 제스처(예컨대, 눈의 눈동자 및 눈꺼풀 움직임)를 감지하도록 구성되고 컴퓨터 프로세서는 진행중인 제스처에 기반하여 얼굴의 기본 이미지를 수정하고 실시간(또는 작은 지연으로)으로 표시하도록 구성된다. 예시로서, 센서(402)는 사용자가 웃거나 미소 짓는 것을 나타내는 얼굴 피부의 움직임을 감지할 수 있다. 이에 응답하여, 그 또는 그녀의 얼굴의 기본 이미지는 다양한 부분을 늘이는 등의 웃음 또는 미소의 효과를 적용하는 이미지 처리 프로세스를 거칠 것이다. 이 프로세스는 실시간으로 업데이트된다. 따라서, 다른 시청자에게 얼굴의 가려진 부분 대신 사용자의 이미지에 매끈하게 삽입될 사용자의 수정된 미소 짓는 얼굴 이미지가 표시될 것이다.

도 5는 본 발명에 따른 실시예에 따른 시스템(500)을 도시하는 개략적 블록도이다. 시스템(500)은 적어도 하나의 얼굴을 가리는 물체를 착용한 사람을 포함하는 장면의 3D 데이터(예컨대, 이미지)(512)를 캡처하도록 구성된 3D 데이터 캡처 장치(510)를 포함할 수 있고, 캡처는 특정 사용자의 시점에서 취해진다. 시스템(500)은 결국 센서(532-534) 또는 네트워크화된 데이터베이스와 같은 다른 소스로부터 데이터를 수신하는 얼굴 캡처 모듈(530)로부터 예컨대, 얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 표시하는 데이터(550)를 획득하도록 구성된 컴퓨터 프로세서(520)를 더 포함할 수 있다. 사용자 얼굴의 2D 이미지를 위한 가능한 소스는 사용자의 프로필 이미지를 저장할 수 있는 Facebook™이나 LinkedIn™과 같은 소셜 네트워크일 수 있다. 이들 2D 이미지는 사용자의 머리 또는 얼굴의 3D 이미지를 생성하는데 사용될 수 있다.

컴퓨터 프로세서(520)는 획득한 데이터에 기반하여 가려진 얼굴 부분의 3D 데이터(예컨대, 이미지)를 재구성하도록 더 구성될 수 있다. 컴퓨터 프로세서(520)는 재구성된 얼굴 이미지를 장면의 캡처된 이미지에서 각 위치로 병합하도록 더 구성될 수 있다. 시스템(500)은 특정 사용자에게 병합된 이미지를 표시하도록 구성된 근안 디스플레이(570)를 더 포함할 수 있는데, 병합된 이미지는 특정 사용자의 시점에 기반하여 조정 가능한 컴퓨터 시뮬레이션된 환경에 배치된다.

본 발명의 일부 실시예에 따르면, 얼굴을 가리는 물체는 상기 얼굴을 가리는 물체의 내측에 위치한 하나 이상의 센서를 포함하는데, 센서는 얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터의 획득을 수행하도록 구성된다.

본 발명의 일부 실시예에 따르면, 센서에 의한 감지는 이미지 캡처의 형태일 수 있고 상기 획득한 데이터는 가려진 얼굴의 부분의 이미지이다.

본 발명의 일부 실시예에 따르면, 센서는 얼굴 제스처를 감지하도록 구성될 수 있고, 얼굴 이미지의 재구성은 감지된 제스처를 이전에 캡처된 가려진 얼굴 부분의 기본 이미지에 대한 얼굴의 변화로 모델링함으로써 수행될 수 있다.

본 발명의 일부 실시예에 따르면, 컴퓨터 프로세서(520)는 이전에 캡처된 가려진 얼굴 부분의 기본 이미지를 획득하는 것을 포함하는, 얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터를 획득하도록 구성될 수 있다.

본 발명의 일부 실시예에 따르면, 프로세서에 의한 가려진 얼굴 부분의 기본 이미지의 획득은 네트워크화된 데이터베이스의 검색을 통해 수행된다.

본 발명의 일부 실시예에 따르면, 가려진 얼굴 부분의 얼굴 이미지의 재구성은 프로세서에 의해 얼굴을 가리는 물체를 착용한 적어도 한 명의 사람의 위치, 방향, 프로필 및 건강 신호(예컨대, 심박수, 호흡계 표시기 등)를 모니터링하는 것, 및 수정된 얼굴 이미지를 산출하기 위하여, 획득한 데이터를 적어도 한 명의 사람의 얼굴의 3차원 모델에 적용하는 것에 의하여, 획득한 데이터에 기반하여 수행될 수 있다.

본 발명의 일부 실시예에 따르면, 얼굴을 가리는 물체는 근안 디스플레이를 포함한다.

본 발명의 일부 실시예에 따르면, 근안 디스플레이는 헬멧 내에 통합된다.

본 발명의 일부 실시예에 따르면, 컴퓨터 시뮬레이션된 환경은 특정 사용자와 얼굴을 가리는 물체를 착용한 적어도 한 명의 사람에게 공통인 3차원 장면일 수 있다.

도 6은 본 발명의 실시예에 따라 취해지는 일련의 행동을 도시하는 개략도(600)이다. 첫 단계에서, 사람(610)의 머리의 오프라인 3D 데이터(예컨대, 3D 모델의 형태)가 획득되는데, 사람의 복수의 2D 이미지(612, 614 및 616)에 기반할 수 있으나 배타적이지는 않다. 사람의 2D 이미지(612, 614 및 616)는 헬멧을 착용하기 전 오프라인 세션에서 캡처되거나 네트워크화된 데이터베이스와 같은 제3자 소스에서 획득될 수 있다.

대안적으로, 오프라인 3D 데이터는 가상 현실 헤드기어를 착용하기 전 구조형 광 기술을 사용하여 획득될 수 있다. 구체적으로, 본 명세서에 전체로 참조로서 통합된 WIPO PCT 출원 공보 WO2013088442에 개시된 것과 같은 구조형 광을 사용함으로써, 사용자의 머리 또는 얼굴의 뎁스 맵이 생성되어 오프라인 3D 데이터가 검색될 수 있다.

이어서, 두 번째 단계에서, 사용자(620)의 실시간 3D 데이터(예컨대, 모델)이 획득되는데, 사람이 얼굴을 가리는 물체(622)(예컨대, 가상 현실 헤드셋)를 착용하고 있는 동안 실시간 이미지가 지속적으로 업데이트된다. 세 번째 단계에서 3D 변환이 오프라인 3D 데이터(610) 또는 그 부분(618)(3D 모델(632)에서 분할될 수 있는 가려진 부분(634)의 경계에 대응)에 재구성 모듈(640)에서 적용될 수 있다. 3D 변환은 실시간 3D 데이터(모델)(620), 보다 구체적으로, 가려진 부분(634)의 외관으로부터 추측될 수 있는 실시간 파라미터(644)에 기반할 수 있다.

실시간 파라미터(644)는 예컨대, 사용자의 얼굴의 위치와 방향 또는 표현뿐만 아니라 사람이 얼마나 피곤한지 및 어떤 타입의 감정이 실시간으로 표현되는지를 포함할 수 있다. 이들 실시간 파라미터(644)는 가상 현실 헤드셋에 의해 가려진 얼굴 부분을 추측하고 재구성하기 위해 모두 사용된다.

재구성 모듈(또는 단계)의 산물은 가려지지 않은 부분(652)에 의해 영향 받는 영역의 서브 부분, 보통 바깥 뺨에 생기는 제스처의 변화에 의해 영향 받는 안쪽 뺨을 포함하는 재구성된 실시간 데이터(또는 모델)(650)이다. 이 영역의 외관은 가려지지 않은 부분에 관한 실시간 파라미터(644)에 기반하여 추측될 수 있다. 다른 영역은 가려지지 않은 부분에 의해 영향 받지 않는 영역(654)(예컨대, 눈)이다. 눈의 외관은 다른 모델에 기반하여, 및 사람이 보고 있는 방향과 같은 사람이 다른 사람(위치 또한 알려진)과 상호작용하는 가상 현실 환경에서 주어지는 실시간 2D 데이터(622) 외부의 소스로부터의 메타 데이터(642)를 사용하여 추측될 수 있다. 마지막으로, 재구성된 실시간 3D 데이터(또는 모델)(650)는 분할된 가려진 부분(632)을 가질 수 있는 실시간 3D 데이터(또는 모델)에 병합되어 재구성된 가려진 부분을 가지는, 사람의 머리의 재구성된 실시간 3D 데이터(또는 모델)을 산출할 수 있다. 모델(660)은 그 후 3D 이미지로 생성되어 가상 현실 환경에 참여하는 다른 사람(들)에게 표시될 수 있다.

도 7은 본 발명에 따른 실시예에 따른 시스템의 한 측면을 도시하는 개략적 블록도이다. 구체적으로, 가려진 얼굴 부분이 어떻게 재구성될 수 있는지 설명하는 개략도가 본 명세서에 제시된다. 시스템(700)은 참여자의 얼굴 이미지를 위한 소스로 기능하는 인터넷일 수 있는 네트워크(710)를 포함할 수 있다. 상술한 바와 같이, 이들 기본 이미지(720)는 보통 Facebook™과 같은 소셜 네트워크 웹사이트에서 획득할 수 있는 로우(raw) 이미지이다.

동시에, 소프트웨어로 구현되는 모델러(730)는 재구성될 필요가 있는 얼굴의 3D 모델(732)을 생성할 수 있다. 모델은 얼굴 이미지가 재구성될 필요가 있는 사람의 머리의 여러 2D 뷰에 기반할 수 있다. 그 후, 제3자 소스에서 검색된 얼굴의 기본 이미지(720)와 3D 모델(732) 모두가 얼굴 이미지가 재구성될 필요가 있는 참여자의 머리의 실제 위치와 방향 및 어쩌면 얼굴 제스처에 관한 실시간 파라미터(750)와 함께 그들을 처리할 컴퓨터 프로세서(740)에 제공된다. 컴퓨터 프로세서(740)의 출력은 얼굴 이미지를 조정하고 모델에 적용되어 재구성된 얼굴 이미지가 가능한 한 자연스럽게 가상 현실 시야에 표시되도록 참여자의 실제 위치, 주변 환경 및 방향이 사용된 재구성된 얼굴 이미지(760)이다. 실시간 파라미터의 예시는 참여자의 시야의 방향, 그 또는 그녀가 얼마나 지쳐서 그 눈 위치 및 그 얼굴의 일반적 외관 등에 영향을 미치는지와 같은 그 또는 그녀의 물리적 조건, 그 현재 분위기, 예컨대 행복/분노/슬픔 등, 그 주변 환경, 예컨대 집에 있는지 또는 더운 날씨의 야외 바닷가에 있는지일 수 있다. 이 외관에 영향을 미치는 데이터는 모델러에 의해 사용되어 업계에 공지된 방법(예컨대, 텍스처링 및 디지털 애니메이션)에 의하여 기본 이미지가 재구성 및 수정될 수 있다.

일부 실시예에서, 얼굴 표현은 가상 세계에서(예컨대, 게임에서) 사용자에게 뭐가 일어났는지와 같은 가상 현실 환경의 컨텍스트에 의해 추론될 수 있고 따라서 재구성된 얼굴 이미지는 가상 세계 활동에 기반하여 동적으로 조정될 수 있다.

도 8은 본 발명의 일부 실시예에 따른 방법(800)을 도시하는 하이 레벨 흐름도이다. 방법(800)은 전술한 시스템(500)의 구조와는 상이한 구조로 구현될 수 있음이 이해될 것이다. 방법(800)은: 오프라인 3D 데이터를 획득하는 단계, 3D 데이터는 얼굴을 가리는 물체를 착용하지 않은 사람의 머리의 3D 데이터이고, 물체는 사람의 얼굴의 부분을 가리는 물체임(810); 실시간으로 실시간 3D 데이터를 획득하는 단계, 3D 데이터는 상기 머리의 3D 데이터이고, 상기 사람은 상기 얼굴을 가리는 물체를 착용함(820); 실시간 3D 데이터에 기반하여, 재구성된 실시간 3D 데이터를 산출하기 위하여 3D 변환을 오프라인 3D 데이터의 적어도 일부에 적용하는 단계, 재구성된 실시간 3D 데이터는 가려진 얼굴 부분에 관한 실시간 3D 데이터임(830); 및 재구성된 실시간 3D 데이터를 실시간 3D 데이터로 병합하는 단계(840)를 포함할 수 있다.

본 발명의 일부 실시예에 따르면, 오프라인 3D 데이터는 오프라인 3D 모델이고 실시간 3D 데이터는 실시간 3D 모델일 수 있다. 모델은 공간적 특성을 가리키는 임의의 수학적 또는 실제 구조일 수 있다.

본 발명의 일부 실시예에 따르면, 방법은 병합된 재구성된 실시간 3D 데이터 및 실시간 3D 데이터로부터 병합된 실시간 3D 이미지를 생성하는 단계를 더 포함할 수 있다.

본 발명의 일부 실시예에 따르면, 실시간 3D 데이터는 가상 현실(VR) 환경 위에 놓일 수 있다.

본 발명의 일부 실시예에 따르면, 실시간 3D 데이터는 얼굴을 가리는 물체를 착용한 사람의 위치, 방향, 프로필 및 건강 신호 중 적어도 하나를 모니터링함으로써 획득할 수 있다.

본 발명의 일부 실시예에 따르면, 수정된 얼굴 이미지를 산출하기 위해, 방법은 획득된 실시간 3D 데이터를 상기 사람의 얼굴의 3D 모델에 적용하는 단계를 더 포함할 수 있다.

본 발명의 일부 실시예에 따르면, 3D 변환은 가려지지 않은 얼굴 부분의 변화에 영향 받는 가려진 얼굴 부분을 추측하기 위하여 사람의 가려지지 않은 얼굴 부분으로부터 획득한 데이터를 사용하는 것을 더 포함할 수 있다. 구체적으로, 추측은 실시간 3D 데이터로부터 얼굴 표현을 감지하는 것에 기반하여 수행될 수 있다.

본 발명의 일부 실시예에 따르면, 3D 변환은 가려지지 않은 얼굴 부분(예컨대, 눈)의 변화에 영향 받지 않는 가려진 부분의 외관을 추측하는 것 및 3D 변환에서 추측을 사용하는 것을 더 포함할 수 있다. 구체적으로, 추측은 상기 사람에 관한 메타 데이터에 기반하여 수행될 수 있다.

본 발명의 일부 실시예에 따르면, 적어도 한 명의 사람의 가려진 부분은 VR 환경의 가려짐에 기반하여 적어도 부분적으로 재구성될 수 있다. 이 특징은 얼굴의 가려지지 않은 부분에도 구현될 수 있음이 이해될 것이다.

본 발명의 일부 실시예에 따르면, 오프라인 3D 데이터의 획득은 컴퓨터 네트워크로부터 수신한 2D 이미지를 저장할 수 있는 외부 데이터베이스를 통해 수행될 수 있다. 대안적으로 오프라인 3D 데이터의 획득은 VR 환경의 세션 시작 전 3D 센서를 통해 수행될 수 있다.

상기 설명에서, 실시예는 본 발명의 예시 또는 구현이다. 다양한 형태의 "일실시예", "실시예" 또는 "일부 실시예"는 반드시 모두 동일한 실시예를 지칭하는 것이 아니다.

본 발명의 다양한 특징이 단일 실시예의 문맥에서 서술될 수 있지만, 특징은 별개로 또는 임의의 적절한 조합에서 제공될 수 있다. 반대로, 본 명세서에서 본 발명이 명확성을 위해 별개의 실시예의 문맥에서 서술될 수 있지만, 본 발명은 단일 실시예에서도 구현될 수 있다.

명세서에서 "일부 실시예", "한 실시예", "일실시예" 또는 "다른 실시예"의 지칭은 실시예와 관련하여 서술된 특정한 특징, 구조 또는 특성이 적어도 일부의 실시예에 포함되는 것이나, 반드시 본 발명의 모든 실시예에 포함되는 것은 아니라는 것을 의미하는 것이다.

본 명세서에서 사용된 어구 및 용어는 제한으로 해석되지 않고 설명의 목적만을 위한 것이라는 것이 이해될 것이다.

본 발명의 개시의 원리 및 사용은 첨부된 설명, 도면 및 예시를 참조하여 더 잘 이해될 수 있다.

본 명세서의 세부 사항은 본 발명의 응용을 제한으로 해석되지 않는다는 것이 이해될 것이다.

나아가, 본 발명은 다양한 방식으로 수행 또는 실시될 수 있고 본 발명은 상기 설명에서 서술된 것과 다른 실시예로 구현될 수 있음이 이해될 것이다.

용어 "포함하는(including)", "포함(comprising)", "이루어진" 및 그 문법적 변형은 하나 이상의 구성요소, 특징, 단계 또는 정수나 그 그룹의 추가를 못하게 하지 않으며 용어들은 구성요소, 특징, 단계 또는 정수를 명시하는 것으로 해석되는 것이 이해될 것이다.

명세서 또는 청구범위가 "추가적" 요소를 지칭한다면, 하나 이상의 추가적 요소가 있음을 배제하지 않는다.

청구항 또는 명세서가 "한" 또는 "하나의" 요소를 지칭할 때, 이런 지칭은 그 요소가 오직 하나만 있는 것으로 해석되지 않음이 이해될 것이다.

명세서가 구성요소, 특징, 구조 또는 특성이 포함"되도 좋거나(may)", 포함"될지도 모르거나(might)", 포함"될 수 있거나(can)", 포함"되는 것이 가능(could)"하다고 언급한다면, 특정 구성요소, 특징, 구조 또는 특성이 포함될 것이 요구되는 것이 아님이 이해될 것이다.

적용 가능하다면, 상태 천이도, 흐름도 또는 양자 모두 실시예를 설명하기 위해 사용될 수 있지만, 본 발명은 이들 도면 또는 대응하는 설명에 제한되지 않는다. 예를 들어, 흐름은 각 도시된 상자 또는 상태를 통해, 또는 도시되고 설명된 정확히 동일한 순서로 이동하지 않아도 된다.

본 발명의 방법은 선택된 단계나 작업을 수동, 자동 또는 그 조합으로 수행 또는 완료함으로써 구현될 수 있다.

청구범위 및 명세서에 제시된 설명, 예시, 방법 및 소재는 제한이 아니고 단지 예시적인 것으로 해석되어야 한다.

본 명세서에서 사용된 기술적 및 과학적 용어의 의미는 다르게 정의되지 않으면, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되어야 한다.

본 발명은 본 명세서에 서술된 것과 동등하거나 유사한 방법 및 물질로 시험 또는 실시에서 구현될 수 있다.

본 발명이 제한된 수의 실시예에 관하여 설명되었지만, 이들은 본 발명의 범위의 제한이 아닌, 바람직한 실시예의 일부의 예시로 해석되어야 한다. 다른 가능한 변형, 수정 및 응용 또한 본 발명의 범위에 속한다. 따라서, 본 발명의 범위는 지금까지 설명된 내용에 의해 제한되지 않고, 첨부된 청구범위 및 그 법적 균등물에 의해 제한되어야 한다.

Claims

얼굴을 가리는 물체를 착용한 적어도 한 명의 사람을 포함하는 장면의 이미지를 캡처하는 단계;
얼굴을 가리는 물체 상의 센서에 의해 캡처된 센서 데이터에 기초하여, 얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터를 획득하는 단계;
획득한 데이터에 기반하여 가려진 얼굴 부분의 3D 얼굴 이미지를 재구성하는 단계; 및
재구성된 3D 얼굴 이미지를 캡처된 장면 내의 사람의 각 3D 이미지로 병합하는 단계를 포함하는 방법.
청구항 1에 있어서,
병합된 이미지를 디스플레이를 통해 특정 사용자에게 표시하는 단계를 더 포함하는 방법.
청구항 2에 있어서,
디스플레이는 근안 디스플레이(near eye display)인 방법.
청구항 1에 있어서,
얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터를 획득하는 단계는 상기 얼굴을 가리는 물체의 내측으로부터 가려진 얼굴 부분을 감지함으로써 수행되는 방법.
청구항 4에 있어서,
상기 감지는 이미지 캡처를 포함하고 상기 획득한 데이터는 가려진 얼굴의 부분의 이미지인 방법.
청구항 4에 있어서,
상기 감지는 얼굴 제스처의 감지이고, 얼굴 3D 이미지의 재구성은 이전에 캡처된 가려진 얼굴 부분의 기본 이미지에 대해 얼굴을 변화시키도록 감지된 제스처를 모델링함으로써 수행되는 방법.
청구항 1에 있어서,
얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터의 획득은 눈에 영향을 주는 표현을 도출함으로써 수행되는 방법.
청구항 1에 있어서,
얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터의 획득은 다른 사람과 통신하는 사람의 상황(context)을 도출함으로써 수행되는 방법.
청구항 1에 있어서,
얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터를 획득하는 단계는 이전에 캡처된 가려진 얼굴 부분의 기본 이미지를 획득하는 단계를 포함하는 방법.
청구항 9에 있어서,
가려진 얼굴 부분의 기본 이미지의 획득은 외부 데이터베이스를 통하여 수행되는 방법.
청구항 10에 있어서,
상기 외부 데이터베이스는 네트워크화된 데이터베이스인 방법.
청구항 9에 있어서,
가려진 얼굴 부분의 3D 얼굴 이미지를 재구성하는 단계는,
위치, 방향 및 프로필 중 적어도 하나를 모니터링하는 단계; 및
수정된 얼굴 이미지를 산출하기 위하여, 획득한 데이터를 적어도 한 명의 사람의 얼굴의 3차원 모델에 적용하는 단계에 의하여, 획득한 데이터에 기반하여 수행되는 방법.
청구항 9에 있어서,
가려진 얼굴 부분의 3D 얼굴 이미지를 재구성하는 단계는,
얼굴을 가리는 물체를 착용한 적어도 한 명의 사람의 건강 신호를 모니터링하는 단계; 및
수정된 얼굴 이미지를 산출하기 위하여, 획득한 데이터를 적어도 한 명의 사람의 얼굴의 3차원 모델에 적용하는 단계에 의하여, 획득한 데이터에 기반하여 수행되는 방법.
얼굴을 가리는 물체를 착용한 적어도 한 명의 사람을 포함하는 장면의 이미지를 캡처하도록 구성된 이미지 캡처 장치; 및
컴퓨터 프로세서로서,
얼굴을 가리는 물체 상의 센서로부터, 얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터를 획득하고;
획득한 데이터에 기반하여 가려진 얼굴 부분의 3D 얼굴 이미지를 재구성하고; 및
재구성된 3D 얼굴 이미지를 캡처된 장면 내의 사람의 각 3D 이미지로 병합하도록 구성된 컴퓨터 프로세서를 포함하는 시스템.
청구항 14에 있어서,
병합된 이미지를 표시하도록 구성된 디스플레이를 더 포함하는 시스템.
청구항 15에 있어서,
디스플레이는 근안 디스플레이인 시스템.
청구항 14에 있어서,
얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터를 획득하는 것은 상기 얼굴을 가리는 물체의 내측으로부터 가려진 얼굴 부분을 감지하도록 구성된 센서에 의해 수행되는 시스템.
청구항 17에 있어서,
상기 감지는 이미지 캡처를 포함하고 상기 획득한 데이터는 가려진 얼굴의 부분의 이미지인 시스템.
청구항 17에 있어서,
상기 감지는 얼굴 제스처의 감지이고, 얼굴 3D 이미지의 재구성은 이전에 캡처된 가려진 얼굴 부분의 기본 이미지에 대해 얼굴을 변화시키도록 감지된 제스처를 모델링함으로써 수행되는 시스템.
청구항 14에 있어서,
얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터의 획득은 눈에 영향을 주는 표현을 도출함으로써 수행되는 시스템.
청구항 14에 있어서,
얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터의 획득은 다른 사람과 통신하는 사람의 상황을 도출함으로써 수행되는 시스템.
청구항 14에 있어서,
얼굴을 가리는 물체에 의해 가려진 얼굴 부분을 가리키는 데이터를 획득하는 단계는 이전에 캡처된 가려진 얼굴 부분의 기본 이미지를 획득하는 단계를 포함하는 시스템.
청구항 22에 있어서,
가려진 얼굴 부분의 기본 이미지의 획득은 외부 데이터베이스를 통하여 수행되는 시스템.
청구항 23에 있어서,
상기 외부 데이터베이스는 네트워크화된 데이터베이스인 시스템.
청구항 14에 있어서,
가려진 얼굴 부분의 3D 얼굴 이미지를 재구성하는 것은,
위치, 방향 및 프로필 중 적어도 하나를 모니터링하는 것; 및
수정된 얼굴 이미지를 산출하기 위하여, 획득한 데이터를 적어도 한 명의 사람의 얼굴의 3차원 모델에 적용하는 것에 의하여, 획득한 데이터에 기반하여 수행되는 시스템.
청구항 14에 있어서,
가려진 얼굴 부분의 3D 얼굴 이미지를 재구성하는 것은,
얼굴을 가리는 물체를 착용한 적어도 한 명의 사람의 건강 신호를 모니터링하는 것; 및
수정된 얼굴 이미지를 산출하기 위하여, 획득한 데이터를 적어도 한 명의 사람의 얼굴의 3차원 모델에 적용하는 것에 의하여, 획득한 데이터에 기반하여 수행되는 시스템.