KR20180041668A

KR20180041668A - 포인트 클라우드로부터의 인간의 귀의 3ｄ 복원

Info

Publication number: KR20180041668A
Application number: KR1020187004229A
Authority: KR
Inventors: 필립 힐루스; 버트랜드 트린체리니
Original assignee: 톰슨 라이센싱
Priority date: 2015-08-14
Filing date: 2016-01-27
Publication date: 2018-04-24
Also published as: JP2018530045A; US20180218507A1; WO2017028961A1; CN107924571A; EP3335193A1

Abstract

이미지들의 시퀀스로부터의 오브젝트의 3D 복원을 위한 방법, 컴퓨터 판독가능 매체, 및 이미지들의 시퀀스로부터의 오브젝트의 3D 복원을 수행하도록 구성된 장치(20, 30)가 개시된다. 포인트 클라우드 생성기(23)가 이미지들의 시퀀스로부터 오브젝트의 포인트 클라우드를 생성한다(10). 정렬 프로세서(24)가 오브젝트의 더미 메시 모델을 포인트 클라우드와 조악하게 정렬한다(11). 변환 프로세서(25)가 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 오브젝트의 더미 메시 모델을 포인트 클라우드에 피팅한다(12).

Description

포인트 클라우드로부터의 인간의 귀의 3Ｄ 복원

본 솔루션은 이미지들의 시퀀스로부터 오브젝트의 3D 복원을 위한 방법 및 장치에 관한 것이다. 추가로, 본 솔루션은 이미지들의 세트로부터 3D 복원을 가능하게 하는 명령어들이 저장된 컴퓨터 판독가능 저장 매체에 관한 것이다. 특히, 포인트 클라우드(Point Cloud)의 더미-기반 메싱을 사용하여 3D 복원을 위한 솔루션이 설명된다.

일반 3D 복원 기법들은 시각 시스템으로 캡처하기 어려운 크레비스들(crevices), 작은 피처들, 및 오목부들과 같은 간단하지 않은 기하학적 특성들을 갖는 오브젝트들을 복원하는데 어려움들을 갖는다. 따라서, 생성된 메시들은 통상적으로 아티팩트들로부터 영향을 받는다. 포인트 클라우드 데이터가 일반적으로는 더욱 신뢰가능하지만, 모델들에 홀들이 있다.

간단하지 않은 기하학적 특성들을 갖는 오브젝트의 일례가 인간의 귀이다. 도 1은 인간의 귀 복원의 예를 도시한다. 원래의 귀의 예시적으로 캡처된 이미지가 도 1a에 도시되어 있다. 도 1b는 이러한 캡처된 이미지들의 시퀀스로부터 생성된 포인트 클라우드를 도시한다. 포인트 클라우드에 포아송-메싱(Poisson-Meshing) 알고리즘을 적용함으로써 획득된 복원이 도 1c에 도시되어 있다. 알 수 있는 바와 같이, 포인트 클라우드가 세부사항들을 매우 잘 캡처하더라도, 포아송-메싱 알고리즘을 적용하는 것은 아티팩트들을 초래한다.

불완전한 포인트 클라우드 데이터에 대한 홀 메움(hole filling)을 위한 하나의 접근방식이 [1]에 설명되어 있다. 이 접근방식은 프리미티브들(primitives)의 연결들에 주의하는, 글로벌 최적화를 사용하여 피팅되는, 기하학적 형상 프리미티브들에 기초한다. 이것은 CAD 시스템에 주로 적용가능하다.

스캐닝된 데이터로부터 3D 바디 모델들을 생성하는 방법이 [2]에 설명되어 있다. 스캐너로부터 획득된 복수의 포인트 클라우드들이 정렬되며, 초기 정렬에 의해 획득된 3D 데이터 포인트들의 세트가 포인트 클라우드들로부터 유도된 평균 바디 표면과 정밀하게 등록되게 된다. 그 후, 기존의 메시-타입 바디 모델 템플릿은 3D 데이터 포인트들의 세트에 피팅된다. 템플릿 모델은 기하학적 구조를 복원하기 어려운 누락 세부사항을 메우기 위해 사용될 수 있다.

이미지들의 시퀀스로부터 오브젝트의 3D 복원을 위한 개선된 솔루션을 갖는 것이 바람직하다.

본 원리들에 따르면, 이미지들의 시퀀스로부터 오브젝트의 3D 복원을 위한 방법은:

- 이미지들의 시퀀스로부터 오브젝트의 포인트 클라우드를 생성하는 단계;

- 오브젝트의 더미 메시 모델을 포인트 클라우드와 조악하게(coarsely) 정렬하는 단계; 및

- 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 오브젝트의 더미 메시 모델을 포인트 클라우드에 피팅하는 단계를 포함한다.

이에 따라, 컴퓨터 판독가능 비일시적 저장 매체에는 이미지들의 시퀀스로부터 오브젝트의 3D 복원을 가능하게 하는 명령어들이 저장되어 있고, 명령어들은 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금:

- 이미지들의 시퀀스로부터 오브젝트의 포인트 클라우드를 생성하게 하고;

- 오브젝트의 더미 메시 모델을 포인트 클라우드와 조악하게 정렬하게 하며;

- 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 오브젝트의 더미 메시 모델을 포인트 클라우드에 피팅하게 한다.

일 실시예에서, 이미지들의 시퀀스로부터 오브젝트의 3D 복원을 위한 장치는:

- 이미지들의 시퀀스를 수신하도록 구성된 입력부;

- 이미지들의 시퀀스로부터 오브젝트의 포인트 클라우드를 생성하도록 구성된 포인트 클라우드 생성기;

- 오브젝트의 더미 메시 모델을 포인트 클라우드와 조악하게 정렬하도록 구성된 정렬 프로세서; 및

- 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 오브젝트의 더미 메시 모델을 포인트 클라우드에 피팅하도록 구성된 변환 프로세서를 포함한다.

다른 실시예에서, 이미지들의 시퀀스로부터 오브젝트의 3D 복원을 위한 장치는 프로세싱 디바이스 및 메모리 디바이스를 포함하고, 메모리 디바이스에는 명령어들이 저장되어 있고, 명령어들은 프로세싱 디바이스에 의해 실행될 때, 장치로 하여금:

- 이미지들의 시퀀스를 수신하게 하고;

본 원리들에 따르면, 오브젝트가 일부 구조적 특성들을 공유하는 오브젝트들의 클래스에 속한다는 것이 공지되어 있는 경우에, 3D 복원을 위한 다단 절차가 수행된다. 먼저, 포인트 클라우드가 예를 들어, 최신의 멀티-뷰 스테레오 알고리즘을 사용하여 생성된다. 그 후, 공지된 구조적 특성들을 캡처하는 일반 더미 메시 모델이 선택되고 포인트 클라우드 데이터에 조악하게 정렬된다. 조악한 정렬에 후속하여, 더미 메시 모델이 탄성 변환을 통해 포인트 클라우드에 피팅된다. 최신의 포인트 클라우드 생성 방법들과, 3D 비강성(non-rigid) 메시의 포인트 클라우드에의 피팅 기법들의 이러한 조합은 결과적인 3D 모델들의 정밀도를 향상시킨다. 동시에, 솔루션은 매우 적은 사용자 입력으로 완전한 자동 또는 반자동 방식으로 구현될 수 있다.

일 실시예에서, 더미 메시 모델을 포인트 클라우드와 조악하게 정렬하는 단계는 더미 메시 모델 및 포인트 클라우드에서 대응하는 평면들을 결정하는 단계 및 더미 메시 모델의 평면들을 포인트 클라우드의 평면들과 정렬하는 단계를 포함한다. 복원될 오브젝트가 대략 평탄한 부분들을 갖는 경우에, 조악한 정렬은 포인트 클라우드 데이터에서 메인 평면을 검출하고 메시 모델의 대응하는 메인 평면을 이러한 평면과 정렬함으로써 제한된 계산 부담으로 행해질 수 있다.

일 실시예에서, 더미 메시 모델을 포인트 클라우드와 조악하게 정렬하는 단계는 포인트 클라우드에서 돌출 스폿을 결정하는 단계 및 돌출 스폿의 위치에 기초하여 포인트 클라우드에 대해 더미 메시 모델의 배향을 적응시키는 단계를 더 포함한다. 돌출 스폿은 사용자 입력에 의해 특정되어 자동으로 결정될 수 있으며 더미 메시 모델의 배향을 적응시키는 효율적인 솔루션을 구성한다. 적합한 돌출 스폿의 일례가 나선상의 귀의 최상점, 즉, 귀의 외부 테두리이다.

일 실시예에서, 더미 메시 모델을 포인트 클라우드와 조악하게 정렬하는 단계는 포인트 클라우드에서 특징 라인을 결정하는 단계 및 특징 라인에 기초하여 포인트 클라우드에 대해 더미 메시 모델의 스케일 및 더미 메시 모델의 위치 중 적어도 하나를 적응시키는 단계를 더 포함한다. 예를 들어, 포인트 클라우드에서의 특징 라인은 포인트 클라우드에서 에지들을 검출함으로써 결정된다. 이를 위해, 포인트 클라우드와 연관된 깊이 맵이 사용될 수 있다. 특징 라인들, 예를 들어, 에지들은 포인트 클라우드 데이터에서 상대적으로 용이하게 검출된다. 이와 같이, 이들은 포인트 클라우드 데이터에 대해 더미 메시 모델의 스케일 및 위치를 조정하는데 매우 적합하다.

일 실시예에서, 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 오브젝트의 더미 메시 모델을 포인트 클라우드에 피팅하는 단계는 포인트 클라우드의 경계 라인을 결정하는 단계 및 경계 라인에 의해 정의되는 바와 같은 오브젝트의 외부에 위치한 더미 메시 모델의 정점들을 경계 라인을 향해 끌어 당기는 단계를 포함한다. 바람직하게는, 계산 부담을 감소시키기 위해, 포인트 클라우드 및 경계 라인의 2D 투영이 더미 메시 모델의 정점이 오브젝트의 외부에 위치하는지 결정하기 위해 사용된다. 경계 라인은 포인트 클라우드 데이터에서 상대적으로 용이하게 검출된다. 그러나, 사용자에게는 추가의 제약들을 특정하도록 요청될 수 있거나, 이러한 추가의 제약들은 머신-러닝 기법들 및 데이터베이스를 사용하여 결정될 수 있다.

도 1은 인간의 귀 복원의 예를 도시한다.
도 2는 이미지들의 시퀀스로부터 3D 복원을 위한 방법을 예시하는 간략한 흐름도이다.
도 3은 이미지들의 시퀀스로부터 3D 복원을 수행하도록 구성된 장치의 제1 실시예를 개략적으로 도시한다.
도 4는 이미지들의 시퀀스로부터 3D 복원을 수행하도록 구성된 장치의 제2 실시예를 개략적으로 도시한다.
도 5는 3D 복원을 위해 사용된 이미지들의 예시적인 시퀀스를 도시한다.
도 6은 캡처된 이미지 시퀀스로부터 획득된 포인트 클라우드의 표현을 도시한다.
도 7은 귀를 포함하는 예시적인 더미 메시 모델 및 크롭된(cropped) 포인트 클라우드를 도시한다.
도 8은 마킹된 최상점을 갖는 크롭된 귀의 예를 도시한다.
도 9는 예시적인 크롭된 포인트 클라우드에 대한 추정된 머리 평면 및 추정된 귀 평면을 예시한다.
도 10은 귀에 속하는, 포인트 클라우드로부터 추출된 포인트들의 예를 도시한다.
도 11은 귀에 속하는 포인트 클라우드의 포인트들로부터 나선 라인의 추출을 예시한다.
도 12는 크롭된 포인트 클라우드에 더미 메시 모델의 정렬의 예시적인 결과를 도시한다.
도 13은 메시 모델의 선택된 귀 영역의 예를 도시한다.
도 14는 귀의 외측 또는 내측으로서 모델 귀 포인트들의 라벨링을 도시한다.
도 15는 나선 라인 정정을 위한 스톱핑(stopping) 기준을 예시한다.
도 16은 등록 이전의 정렬 결과들을 도시한다.
도 17은 등록 이후의 정렬 결과들을 도시한다.

더 양호한 이해를 위해, 본 발명의 실시예들의 원리들이 이제 도면들을 참조하여 하기의 설명에서 더욱 상세히 설명될 것이다. 본 발명이 이들 예시적인 실시예들에 제한되지 않으며, 특정한 특징들이 첨부한 청구항들에 정의되어 있는 바와 같은 본 발명의 범위를 벗어나지 않고 편의상 또한 조합되고 그리고/또는 수정될 수 있다는 것이 이해된다.

이미지들의 시퀀스로부터 3D 복원을 위한 방법을 예시하는 흐름도가 도 2에 도시되어 있다. 먼저, 오브젝트의 포인트 클라우드가 이미지들의 시퀀스로부터 생성된다(10). 그 후, 오브젝트의 더미 메시 모델이 포인트 클라우드와 조악하게 정렬된다(11). 최종으로, 오브젝트의 더미 메시 모델이 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 포인트 클라우드에 피팅된다(12).

도 3은 이미지들의 시퀀스로부터 3D 복원을 위한 장치(20)의 제1 실시예를 개략적으로 도시한다. 장치(20)는 예를 들어, 네트워크, 카메라, 또는 외부 저장부로부터 이미지들의 시퀀스를 수신하는 입력부(21)를 갖는다. 이미지들의 시퀀스는 장치(20)의 내부 저장부(22)로부터 유사하게 검색될 수 있다. 포인트 클라우드 생성기(23)가 이미지들의 시퀀스로부터 오브젝트의 포인트 클라우드를 생성한다(10). 대안으로, 오브젝트의 이미 이용가능한 포인트 클라우드는 예를 들어, 입력부(21)를 통해 또는 내부 저장부(22)로부터 검색된다. 정렬 프로세서(24)가 오브젝트의 더미 메시 모델을 포인트 클라우드와 조악하게 정렬한다(11). 변환 프로세서(25)가 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 오브젝트의 더미 메시 모델을 포인트 클라우드에 피팅한다(12). 그 후, 최종 메시 모델이 내부 저장부(22)에 저장되거나 출력부(26)를 통해 추가의 프로세싱 회로에 제공된다. 이는 디스플레이, 예를 들어, 출력부(26)를 통해 장치에 연결된 디스플레이 또는 장치에 포함된 디스플레이(27)상에 출력을 위해 유사하게 프로세싱될 수 있다. 바람직하게는, 장치(20)는 사용자 입력들을 수신하는 사용자 인터페이스(28)를 더 갖는다. 상이한 유닛들(23, 24, 25) 각각이 상이한 프로세서로서 내장될 수 있다. 물론, 상이한 유닛들(23, 24, 25)은 단일 유닛으로 유사하게 전체적으로 또는 부분적으로 조합될 수 있거나 프로세서상에서 구동하는 소프트웨어로서 구현될 수 있다. 더욱이, 입력부(21) 및 출력부(26)는 단일 양방향 인터페이스로 유사하게 조합될 수 있다.

이미지들의 시퀀스로부터 3D 복원을 위한 장치(30)의 제2 실시예가 도 3에 예시되어 있다. 장치(30)는 프로세싱 디바이스(31), 및 명령어들을 저장하는 메모리 디바이스(32)를 포함하며, 명령어들은 실행될 때, 장치로 하여금 이미지들의 시퀀스를 수신하게 하고, 이미지들의 시퀀스로부터 오브젝트의 포인트 클라우드를 생성하게 하고(10), 오브젝트의 더미 메시 모델을 포인트 클라우드와 조악하게 정렬하게 하고(11), 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 오브젝트의 더미 메시 모델을 포인트 클라우드에 피팅하게 한다(12). 장치(30)는 예를 들어, 프로세싱될 명령어들, 사용자 입력들, 또는 데이터를 수신하는 입력부(33), 및 예를 들어, 프로세싱 결과들을 디스플레이, 네트워크, 또는 외부 저장부에 제공하는 출력부(34)를 더 포함한다. 입력부(33) 및 출력부(34)는 단일 양방향 인터페이스로 유사하게 조합될 수 있다.

예를 들어, 프로세싱 디바이스(31)는 상기 언급한 단계들을 수행하도록 적응된 프로세서일 수 있다. 실시예에서, 상기 적응은 이들 단계들을 수행하도록 구성된 프로세서를 포함한다.

본원에서 사용되는 바와 같은 프로세서는 마이크로프로세서들, 디지털 신호 프로세서들, 또는 이들의 조합과 같은 하나 이상의 프로세싱 유닛들을 포함할 수 있다.

메모리 디바이스(32)는 휘발성 및/또는 비휘발성 메모리 영역들 및 하드 디스크 드라이브들, DVD 드라이브들과 같은 저장 디바이스들을 포함할 수 있다. 메모리의 일부는 본 발명의 원리들에 따라 본원에 설명한 바와 같은 프로그램 단계들을 수행하기 위해 프로세싱 디바이스(31)에 의해 실행가능한 명령어들의 프로그램을 유형적으로 수록한 프로세싱 디바이스(31)에 의해 판독가능한 비일시적 프로그램 저장 디바이스이다.

하기에서, 본 원리들에 따른 솔루션이 인간의 귀의 3D 복원의 예로 더욱 상세히 설명될 것이다. 신뢰가능한 귀 모델들은 사용자의 몰입을 강화시키기 위해 공간 음원들의 환상(illusion)을 작성하는 고품질 오디오 시스템들에 특히 유용하다. 공간 오디오 소스들의 환상을 작성하는 하나의 접근방식이 입체음향(binaural) 오디오이다. 용어 "입체음향"은 독립적인 신호를 각각의 귀에 전달하려 시도하는 시스템들에 대해 통상적으로 사용된다. 음원 오브젝트에 의해 생성된 사운드에 가능한 한 근접하게 2개의 신호들을 작성하는 것이 목적이다. 이러한 시스템들을 작성하는 장애는, 모든 인간이 자신 고유의 귀/머리/어깨의 형상을 가지고 있다는 것이다. 그 결과, 머리 관련 전달 함수(head related transfer function; HRTF)가 각각의 인간에 대해 상이하다. HRTF는 귀가 공간에서의 포인트로부터 사운드를 어떻게 수신하는지 그리고 어느 주파수들이 감쇠되는지 또는 감쇠되지 않는지를 특징화하는 응답이다. 일반적으로, 음원은 상이한 개인들에 의해 동일한 방식으로 인지되지 않는다. 따라서, 비개인화 HRTF 입체음향 시스템은 상이한 음원 로컬화들 사이에 혼란을 증가시키는 경향이 있다. 이러한 시스템들에 있어서, HRTF는 개인화된 입체음향 시스템을 작성하기 이전에 개별적으로 계산되어야 한다. HRTF 계산에서, 귀 형상은 인체의 가장 중요한 부분이고, 귀의 3D 모델은 머리 및 어깨에 대한 것보다 더 양호한 품질이어야 한다.

공교롭게도, 귀는 그것의 간단하지 않은 기하학적 구조로 인해 복원하는 것이 매우 어렵다. 상세한 구조는 개인에 대해 고유한 것으로 여겨지지만, 귀의 일반적인 구조는 어떤 인간에 대해서도 동일하다. 따라서, 이것은 본 원리들에 따른 3D 복원을 위한 양호한 후보이다.

복원은 귀의 이미지들의 시퀀스가 이미 이용가능하다는 것을 가정한다. 3D 복원을 위해 사용된 이미지들의 예시적인 시퀀스가 도 5에 도시되어 있다. 카메라 위치들 및 배향들이 또한 이용가능하다. 예를 들어, 카메라 위치들 및 배향들은 멀티 뷰 스테레오(MVS) 방법, 예를 들어, [3]에 설명된 방법들 중 하나를 사용하여 추정될 수 있다. 이들 데이터로부터, 3D 포인트 클라우드가 예를 들어, 툴들(Agisoft에 의한 PhotoScan[4] 또는 Autodesk에 의한 123DCatch[5])을 사용하여 결정된다. 도 6은 모든 카메라들이 동일한 라인상에 놓여 있고 서로 매우 근접한 카메라 셋업을 위해 PhotoScan 툴로 획득된 포인트 클라우드의 표현을 제공한다. 모델에, 특히, 차단된 영역들에(귀 뒤 및 내부에) 일부 홀들이 있지만, 양호한 모델이 달성된다.

본 원리들에 따르면, 복원은 포인트 클라우드 데이터에 대한 더미 메시 모델의 개략적인 정렬로 시작한다. 나중 스테이지에서 머리 모델로의 귀 모델의 통합을 단순화하기 위해, 더미 메시 모델은 머리의 일부를 또한 포함하도록 준비된다. 머리의 메시 부분은 포인트 클라우드의 귀 평면과 매칭될 수 있는 개략적인 귀 평면을 포함하도록 크롭된다. 귀를 포함하는 예시적인 더미 메시 모델 및 크롭된 포인트 클라우드가 도 7a 및 도 7b에 각각 예시되어 있다.

더미 메시 모델의 개략적인 정렬은 2개의 스테이지들로 스플릿된다. 먼저, 모델은 3D에서 데이터에 정렬된다. 모델 귀의 배향 및 스케일은 데이터를 개략적으로 매칭하기 위해 적응된다. 제1 스테이지는 바람직하게는 귀에 대한 경계 박스를 추출하는 것으로 시작한다. 이것은 귀 검출 기법들, 예를 들어, [6]에 설명된 접근방식들 중 하나를 사용하여 자동으로 행해질 수 있다. 대안으로, 귀 경계 박스 추출은 단순한 사용자 상호작용에 의해 달성된다. 사람의 머리의 측면도를 포함하는 귀를 복원하기 위해 사용된 이미지들 중 하나로부터, 사용자는 귀 주위의 직사각형을 선택한다. 바람직하게는, 사용자는 나선상의 귀의 최상점을 또한 마킹한다. 이들 단순한 상호작용들은 수반된 귀 검출 기법들을 적용해야 하는 것을 회피한다. 마킹된 최상점을 갖는 크롭된 귀의 예가 도 8에 도시되어 있다. 크롭핑 영역으로부터, 귀 주위의 경계 박스가 포인트 클라우드로부터 추출된다. 이러한 크롭된 포인트 클라우드로부터, 2개의 평면들, 머리 포인트들에 대한 하나의 평면(HP) 및 귀상의 포인트들에 대한 하나의 평면(EP)이 추정된다. 이를 위해, [1]에 설명된 RANSAC 평면 피트 알고리즘의 수정 버전이 사용된다. 적응은, 원래의 접근방식이 모든 포인트들이 평면상에 있다는 것을 가정하지만, 본 경우에서는 형상들이 직교 방향으로 실질적으로 벗어난다는 것을 가정하기 때문에 유용하다. 도 9는 예시적인 크롭된 포인트 클라우드에 대한 2개의 추정된 평면들(HP, EP)을 도시한다.

귀 평면은 메시 모델의 귀 평면을 포인트 클라우드의 귀 평면과 정렬하기 위해 필요한 변환을 계산하기 위해 주로 사용된다. 피팅은 (예를 들어, 사용자 입력으로부터 획득된) 귀 배향에 기초하여 포인트 클라우드가 좌측 귀 또는 우측 귀를 나타내는지의 단순한 검출, 및 귀 평면 및 머리 평면의 상대적 배향을 가능하게 한다. 또한, 피팅은 귀 평면에 근접한 포인트 클라우드의 이들 포인트를 추출하는 것을 더 허용한다. 귀에 속하는 포인트 클라우드로부터 추출된 포인트들의 일례가 도 10에 도시되어 있다. 이들 포인트들로부터, 외부 나선 라인이 추출될 수 있고, 이는 모델의 적절한 스케일 및 귀-중심을 추정하는 것을 단순화한다. 이러한 목적을 위해, 포인트 클라우드의 추출된 포인트들로부터, 귀 포인트의 깊이 맵이 획득된다. 이러한 깊이 맵은 일반적으로 매우 양호하지만, 그럼에도 불구하고 깊이 정보가 없는 다수의 픽셀들을 포함할 수 있다. 이러한 수를 감소시키기 위해, 깊이 맵은 바람직하게는 필터링된다. 예를 들어, 깊이 정보가 없는 각각의 픽셀에 대해, 깊이 정보를 갖는 충분한 주위 픽셀들이 있는 경우에, 주위 픽셀들로부터의 중간값이 계산될 수 있다. 그 후, 이러한 중간값은 각각의 픽셀에 대한 깊이 값으로서 사용될 것이다. 이러한 중간 필터의 유용한 특성은, 관심 정보인 깊이 맵으로부터 에지들을 평활화하지 않는다는 것이다. 필터링된 깊이 맵의 예가 도 11a에 도시되어 있다. 그 후에, 도 11b에 예시되어 있는 바와 같이, 에지들이 필터링된 깊이 맵으로부터 추출된다. 이것은 캐니(canny) 에지 검출기를 사용하여 행해질 수 있다. 검출된 에지들로부터, 연결된 라인들이 추출된다. 외부 나선을 최종으로 추출하기 위해, 좌/우측 귀에 대한 우/좌측상의 가장 긴 연결된 라인이 직선으로 취해진다. 그 후, 이러한 라인은 다운-샘플링되며, 가장 긴 부분만이 취해진다. 가장 긴 부분은 3개의 연속 포인트들에 의해 정의되는 2개의 연속 에지들 사이의 각도가 임계치를 초과하지 않는 한 라인을 따라 결정된다. 예가 도 11c에 제공되고, 여기서, 그레이 정사각형들은 선택된 라인을 나타낸다. 최적의 다운-샘플링 팩터가 나선 라인의 길이를 최대화함으로써 발견된다. 시작점으로서, 작은 다운-샘플링 팩터가 선택되고, 그 후, 반복적으로 증가된다. 가장 긴 외부 나선을 제공하는 팩터만이 유지된다. 이러한 기법은 일부 이상점들(outliers)에 의해 변질될 수 있는 라인을 "평활화"하는 것을 허용한다. 나선이 평활하고, 각도 임계치에 의해 실시되는 연속 에지들의 배향의 갑작스러운 변화들을 포함하지 않는다는 것이 더 가정된다. 데이터의 품질에 따라, 나선 라인의 파괴될 수 있다. 그 결과, 제1 선택 라인은 전체 나선 경계를 스팬하지 않을 수 있다. 충분하게 작은 상대적 비틀림을 갖고 충분히 근접한 라인들 사이의 연결들을 찾음으로써, 도 11d에 도시되어 있는 바와 같이, 여러 라인들이 연결될 수 있다.

지금까지 획득된 정보로, 개략적인 정렬이 계산될 수 있다. 이러한 목적을 위해, 모델 귀 평면은 포인트 클라우드에서 귀 평면에 정렬된다. 그 후, 모델 귀의 배향은 귀 평면에서 회전에 의해 포인트 클라우드 귀의 배향과 정렬된다. 이를 위해, 귀의 사용자 선택 최상 위치가 바람직하게 사용된다. 다음 단계에서, 귀의 사이즈 및 중심이 추정된다. 최종으로, 모델은 그에 따라 변환되고 스케일링된다. 크롭된 포인트 클라우드에 대한 메시 귀 모델의 적응의 예시적인 결과가 도 12에 도시되어 있다.

개략적인 정렬에 후속하여, 더 미세한 탄성 변환이 메시 모델을 데이터 포인트들에 피팅하기 위해 적용된다. 이것은 비강성 등록 기법[7]의 특정한 경우이다. 귀가 대략 평면이어서 2D 구조에 의해 잘 특징화될 수 있기 때문에, 탄성 변환이 2개의 단계들에서 수행된다. 먼저, 귀가 이전에 검출된 나선 라인과 같은 2D 정보에 따라 정렬된다. 그 후, 2D 조건들에 관하여 가이드된 3D 변환이 적용된다. 2개의 단계들은 아래에서 더욱 상세히 설명될 것이다.

모델 준비를 위해, 메시 모델의 귀 영역이 예를 들어, 사용자 입력에 의해 선택된다. 이러한 선택은 모든 메시 모델 정점들을 귀 또는 머리에 속하는 것으로서 분류하는 것을 허용한다. 메시 모델의 선택된 귀 영역의 예가 도 13에 도시되어 있고, 여기서, 귀 영역은 비투명 메시에 의해 표시된다.

아래에서, 메시 모델의 비강성 정렬이 도 14를 참조하여 설명될 것이다. 비강성 정렬에 대해, 메시 모델은:

- 모델 정점에 대한 포인트-투-포인트 에너지 및 그것의 가장 근접한 데이터-포인트;

- 모델 정점에 대한 포인트-투-평면 에너지 및 그것의 가장 근접한 데이터-포인트, 및 그것의 법선;

- 글로벌 강성 변환 항; 및

- 로컬 강성 변환 항

으로 이루어진 모핑(morphing) 에너지를 최소화함으로써 데이터 포인트를 매칭하기 위해 변형될 수 있다.

이것은 탄성 변환을 허용한다. 그러나, 이러한 에너지는 아래에 설명하는 바와 같이, 본 솔루션에 적용된다. 귀 평면에서 모든 포인트들의 2D 위치들만이 고려된다는 것에 유의한다.

나선 라인을 사용하기 위해, 추출된 나선 경계가 먼저 업-샘플링된다. 그 후, 각각의 모델 귀 포인트(

)에 대해, 2D 평면에서 귀의 투영 내부

또는 외부

에 있는지가 결정되고, 여기서,

는 가장 근접한 나선 데이터 포인트에 인접한 나선 라인 엘리먼트의 법선들이다.

외부 포인트들은 여분의 에너지를 모핑 에너지에 추가함으로써 경계상의 가장 근접한 포인트를 향해 끌어 당겨진다. 모델 포인트들은 귀 평면에 대해 직교로 이동하는 것이 허용되지 않는다. 이것은 도 14에 도시되어 있고, 여기서, 도 14a는 모델 귀 포인트(

)가 "외부"로 라벨링되어 있는 경우를 도시하는 반면에, 도 14b는 모델 귀 포인트(

)가 "내부"로 라벨링되어 있는 경우를 도시한다.

추출된 나선이 최상 및 최저에서 귀의 내부에 계속 있는 것이 발생할 수 있다. 이것은 데이터에 대한 모델의 불량한 정렬을 초래한다. 이를 방지하기 위해, 결정 프로세스가 이전에 식별된 최상 귀 포인트로부터 시작한다. 라인을 따라 이동할 때, 이전의 것에 대한 2D 포인트의 x-편차가 체크된다. 나선은 이러한 편차가 음수로 바뀌는 경우에 컷팅되고, 이는 나선 라인이 내부로 바뀐다는 것을 시그널링한다. 이것은 최저 포인트에 대해 유사한 방식으로 작용한다. 이러한 스톱핑 기준이 도 15에 예시되어 있다.

사용자에게는 이용가능한 나선 라인 이외의 제약들로서 추가의 2D 랜드마크들을 식별할지 요청될 수 있다. 어느 경우에서나, 2D에서 정렬 이후에, 풀 3D 탄성 변환이 수행된다. 그러나, 2D 라인들 및 랜드마크들과의 정렬은 하기와 같이 유지된다. 2D 라인 제약에 대해, "외부" 귀 모델의 서브세트가 2D 랜드마크들로서 이후 사용되는 2D 정렬 이후에 선택된다. 각각의 랜드마크에 대해, 2D에서 랜드마크 위치에 모델 랜드마크 정점을 끌어 당기는 3D 모핑 에너지가 추가된다. 이것은 귀 평면상에서 랜드마크 정점들의 투영을 제자리에 유지시킨다.

예시적인 정렬 결과들이 도 16 및 도 17에 도시되어 있고, 여기서, 도 16은 등록 이전의 결과들을 도시하고 도 17은 등록 이후에 결과들을 도시한다. 도면들 양자에서, 좌측 부분은 모델 귀 포인트들 및 투영된 나선 라인을 도시하는 반면에, 우측 부분은 포인트 클라우드상에 중첩된 메시 귀 모델을 도시한다. 도 17로부터, 크롭된 포인트 클라우드에 대한 메시 귀 모델의 향상된 정렬을 쉽게 식별할 수 있다. 외부 포인트들은 에너지 최소화 이후에 2D에서 투영된 나선 라인과 잘 정렬된다. 메시는 머리 영역에 영향을 미치지 않고 귀 영역에서 탄성적으로 변환되었다.

인용문헌들

[1] Schnabel et al.: "Efficient RANSAC for point-cloud shape detection", Computer graphics forum, Vol. 26 (2007), pp. 214-226.

[2] GB 2 389 500 A.

[3] Seitz et al.: "A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms", 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), pp. 519-528.

[4] PhotoScan Software: www.agisoft.com/

[5] 123DCatch Software: www.123dapp.com/catch.

[6] Abaza et al.: "A survey on ear biometrics", ACM computing surveys (2013), Vol. 45, Article 22.

[7] Bouaziz et al.: "Dynamic 2D/3D Registration", Eurographics (Tutorials) 2014.

Claims

이미지들의 시퀀스로부터의 오브젝트의 3D 복원을 위한 방법으로서,
상기 이미지들의 시퀀스로부터 상기 오브젝트의 포인트 클라우드(point cloud)를 생성하는 단계(10);
상기 포인트 클라우드에 대해 상기 오브젝트의 더미 메시 모델을 조악하게 정렬(coarsely aligning)하는 단계(11); 및
상기 조악하게 정렬된 더미 메시 모델의 탄성 변환(elastic transformation)을 통해 상기 포인트 클라우드에 상기 오브젝트의 상기 더미 메시 모델을 피팅하는 단계(12)
를 포함하는 방법.
제1항에 있어서,
상기 포인트 클라우드에 대해 상기 더미 메시 모델을 조악하게 정렬하는 단계(11)는 상기 더미 메시 모델에서 그리고 상기 포인트 클라우드에서 대응하는 평면들을 결정하는 단계, 및 상기 포인트 클라우드의 평면들에 대해 상기 더미 메시 모델의 평면들을 정렬하는 단계를 포함하는 방법.
제2항에 있어서,
상기 포인트 클라우드에 대해 상기 더미 메시 모델을 조악하게 정렬하는 단계(11)는 상기 포인트 클라우드에서 돌출 스폿(prominent spot)을 결정하는 단계, 및 상기 돌출 스폿의 위치에 기초하여 상기 포인트 클라우드에 대해 상기 더미 메시 모델의 배향을 적응시키는 단계를 더 포함하는 방법.
제2항 또는 제3항에 있어서,
상기 포인트 클라우드에 대해 상기 더미 메시 모델을 조악하게 정렬하는 단계(11)는 상기 포인트 클라우드에서 특징 라인(characteristic line)을 결정하는 단계, 및 상기 특징 라인에 기초하여 상기 포인트 클라우드에 대해 상기 더미 메시 모델의 스케일 및 상기 더미 메시 모델의 위치 중 적어도 하나를 적응시키는 단계를 더 포함하는 방법.
제4항에 있어서,
상기 포인트 클라우드에서 특징 라인을 결정하는 단계는 상기 포인트 클라우드에서 에지들을 검출하는 단계를 포함하는 방법.
제4항에 있어서,
상기 포인트 클라우드에서 에지들을 검출하는 단계는 상기 포인트 클라우드와 연관된 깊이 맵을 사용하는 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 상기 포인트 클라우드에 상기 오브젝트의 상기 더미 메시 모델을 피팅하는 단계(12)는,
상기 포인트 클라우드에서 상기 오브젝트의 경계 라인을 결정하는 단계; 및
상기 경계 라인에 의해 정의된 바와 같이 상기 오브젝트의 외부에 위치하는 상기 더미 메시 모델의 정점들을 상기 경계 라인을 향하여 끌어당기는 단계
를 포함하는 방법.
제7항에 있어서,
상기 포인트 클라우드 및 상기 경계 라인의 2D 투영은, 상기 더미 메시 모델의 정점이 상기 오브젝트의 외부에 위치하는지를 결정하기 위해 사용되는 방법.
이미지들의 시퀀스로부터의 오브젝트의 3D 복원을 가능하게 하는 명령어들이 저장되어 있는 컴퓨터 판독가능 저장 매체로서,
상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금,
상기 이미지들의 시퀀스로부터 상기 오브젝트의 포인트 클라우드를 생성하게 하고(10);
상기 포인트 클라우드에 대해 상기 오브젝트의 더미 메시 모델을 조악하게 정렬하게 하고(11);
상기 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 상기 포인트 클라우드에 상기 오브젝트의 상기 더미 메시 모델을 피팅하게 하는(12) 컴퓨터 판독가능 저장 매체.
이미지들의 시퀀스로부터의 오브젝트의 3D 복원을 위한 장치(20)로서,
이미지들의 시퀀스를 수신하도록 구성된 입력부(21);
상기 이미지들의 시퀀스로부터 상기 오브젝트의 포인트 클라우드를 생성(10)하도록 구성된 포인트 클라우드 생성기(23);
상기 포인트 클라우드에 대해 상기 오브젝트의 더미 메시 모델을 조악하게 정렬(11)하도록 구성된 정렬 프로세서(24); 및
상기 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 상기 포인트 클라우드에 상기 오브젝트의 상기 더미 메시 모델을 피팅(12)하도록 구성된 변환 프로세서(25)
를 포함하는 장치(20).
이미지들의 시퀀스로부터의 오브젝트의 3D 복원을 위한 장치(30)로서,
프로세싱 디바이스(31), 및 명령어들이 저장되어 있는 메모리 디바이스(32)를 포함하고,
상기 명령어들은, 상기 프로세싱 디바이스(32)에 의해 실행될 때, 상기 장치(30)로 하여금,
이미지들의 시퀀스를 수신하게 하고;
상기 이미지들의 시퀀스로부터 상기 오브젝트의 포인트 클라우드를 생성하게 하고(10);
상기 포인트 클라우드에 대해 상기 오브젝트의 더미 메시 모델을 조악하게 정렬하게 하고(11);
상기 조악하게 정렬된 더미 메시 모델의 탄성 변환을 통해 상기 포인트 클라우드에 상기 오브젝트의 상기 더미 메시 모델을 피팅하게 하는(12) 장치(30).