KR102585821B1

KR102585821B1 - 증강 현실 장치 및 위치 설정 방법

Info

Publication number: KR102585821B1
Application number: KR1020200182939A
Authority: KR
Inventors: 카이훙 수; 무헝 린
Original assignee: 아다트 테크놀러지 컴퍼니 리미티드
Priority date: 2019-12-25
Filing date: 2020-12-24
Publication date: 2023-10-10
Also published as: GB2590745A; US11158081B2; TW202124917A; GB2590745B; JP2021103168A; JP7114686B2; TWI722738B; GB202008424D0; NL2025743B1; US20210201525A1; KR20210083198A

Abstract

깊이 센서와 관성 측정 장치(IMU)를 포함하는 전기 장치에 대한 위치 설정 방법이 제공된다. 상기 위치 설정 방법은 IMU 신호에 따라 전기 장치의 초기 위치 및 초기 방향을 계산하는 단계; 데이터베이스로부터 환경 포인트 클라우드를 획득하고, 상기 초기 위치 및 상기 초기 방향에 따라 부분 환경 포인트 클라우드를 획득하는 단계; 상기 깊이 센서에 의해 판독 포인트 클라우드를 획득하는 단계; 및 상기 전기 장치의 업데이트된 위치 및 업데이트된 방향을 계산하여 상기 판독 포인트 클라우드와 부분 환경 포인트 클라우드를 일치시키는 단계를 포함한다.

Description

증강 현실 장치 및 위치 설정 방법 {AUGMENTED REALITY DEVICE AND POSITIONING METHOD}

본 발명은 증강 현실 장치 또는 범용 전기 장치에 응용될 수 있는 위치 설정 방법에 관한 것이다.

공간 위치 및 자세의 인식은 컴퓨팅 요소들이 실제 공간과 결합되는 상황에서 사용된다. 종래에, 공간 위치 및 자세의 획득은 주로 관성 측정 장치를 사용함으로써 수행된다. 하지만, 관성 측정 장치는 장기간 사용에서 위치 정보의 결핍 및 적분 표류를 가질 수 있다. 전지구 위치 설정 정보 시스템(Global Positioning information System, GPS)이 위치 정보를 획득하기 위해 야외 현장에서 사용될 수 있지만, 실내 현장에서는 신뢰가능하지 않다. 위치 측정 및 동시 지도화(Simultaneous Localization And Mapping, SLAM)가 GPS 없이 실내 현장에서 공간 위치 및 자세를 획득하기 위해 사용된다. 하지만, 직원이 끊임없이 영역들 간을 움직이는 경우 SLAM이 지도 데이터 오류를 유발할 수도 있는 산업 응용에 대한 고정된 공간 현장에서 연속 현장 모델 업데이트는 중복적이고 많은 컴퓨팅 자원을 소비한다.

본 개시내용의 실시예들은 깊이 센서 및 관성 측정 장치를 포함하는 전기 장치에 대한 위치 설정 방법을 제공한다. 이러한 위치 설정 방법은: 관성 측정 장치로부터 획득된 신호들에 따라 전기 장치의 초기 위치 및 초기 방향을 계산하는 단계; 데이터베이스로부터 환경 포인트 클라우드를 획득하고, 초기 위치 및 초기 방향에 따라 환경 포인트 클라우드로부터 부분 환경 포인트 클라우드를 획득하는 단계; 깊이 센서에 의해 판독 포인트 클라우드를 획득하는 단계; 그리고 전기 장치의 업데이트된 위치 및 업데이트된 방향을 계산하여 판독 포인트 클라우드와 부분 환경 포인트 클라우드를 매칭시키는 단계를 포함한다.

일부 실시예들에서, 판독 포인트 클라우드와 부분 환경 포인트 클라우드를 매칭시키는 단계는 다음의 수학식 (1)을 푸는 단계를 포함한다.

…(1)

수학식 (1)에서, 는 판독 포인트 클라우드의 i번째 포인트이고, 는 부분 환경 포인트 클라우드의 i번째 포인트이고, 포인트 는 포인트 에 매칭되고, 는 포인트 및 포인트 에 대응하는 가중치이고, 은 이동 행렬이고, 는 시프트 벡터이고, N은 판독 포인트 클라우드의 포인트들의 수이다.

일부 실시예들에서, 가중치 는 포인트 와 간의 거리에 역으로 상관된다.

일부 실시예들에서, 포인트 및 포인트 각각은 X 좌표, Y 좌표, Z 좌표, 및 법선 벡터를 포함한다.

일부 실시예들에서, 위치 설정 방법은 또한: 판독 포인트 클라우드로부터 포인트 및 복수의 이웃 포인트들을 획득하는 단계; 그리고 복수의 고유값들 및 복수의 주성분들을 획득하기 위해 포인트 및 이웃 포인트들에 대한 주성분 분석을 수행하고, 고유값들 중 최소 고유값에 대응하는 주성분을 포인트 의 법선 벡터로서 설정하는 단계를 포함한다.

일부 실시예들에서, 포인트 및 포인트 각각은 곡률 인자를 더 포함한다. 위치 설정 방법은: 곡률 인자를 계산하기 위해 고유값들 중 최소 고유값을 고유값들의 합으로 나누는 단계를 더 포함한다.

다른 양태로부터, 본 개시내용의 실시예들은 관성 측정 장치, 깊이 센서, 및 프로세서를 포함하는 증강 현실 장치를 제공한다. 프로세서는: 관성 측정 장치로부터 획득된 신호들에 따라 증강 현실 장치의 초기 위치 및 초기 방향을 계산하는 단계; 데이터베이스로부터 환경 포인트 클라우드를 획득하고, 초기 위치 및 초기 방향에 따라 환경 포인트 클라우드로부터 부분 환경 포인트 클라우드를 획득하는 단계; 깊이 센서에 의해 판독 포인트 클라우드를 획득하는 단계; 그리고 전기 장치의 업데이트된 위치 및 업데이트된 방향을 계산하기 위해 판독 포인트 클라우드와 부분 환경 포인트 클라우드를 매칭시키는 단계를 수행하도록 구성된다.

앞에서 설명된 장치 및 방법에서는, 대략적인 위치가 관성 측정 장치에 따라 결정되고, 그 다음에 해당 위치는 포인트 클라우드 정합에 의해 업데이트된다. 이에 따라, 정밀한 위치가 제공되고, 포인트 클라우드 정합의 계산이 감소된다.

본 발명은 다음과 같은 수반되는 도면들을 참조하여 실시예의 다음과 같은 상세한 설명을 읽음으로써 더 충분히 이해될 수 있다.
도 1은 실시예에 따른 증강 현실 장치의 응용 상황이다.
도 2는 실시예에 따른 증강 현실의 개략적 블록도이다.
도 3은 실시예에 따른 증강 현실 장치의 응용 상황의 정상 관측도이다.
도 4는 실시예에 따른 위치 설정 방법의 흐름도이다.
도 5는 실시예에 따른 반복 근접점 알고리즘의 개략적 흐름도이다.
도 6은 실시예에 따른 법선 벡터를 계산하는 개략도이다.
도 7은 실시예에 따른 위치 설정 방법의 개략적 흐름도이다.

본 발명의 특정 실시예들이, 수반되는 도면들을 참조하여 아래에서 상세히 더 설명되지만, 설명되는 이러한 실시예들은 본 발명을 한정하도록 의도된 것이 아니며, 동작의 설명이 구현의 순서를 한정하도록 의도된 것도 아니다. 더욱이, 요소들의 재결합에 의해 형성되는 구조로부터 생성되는 등가의 기능들을 갖는 임의의 장치는 본 발명의 범위 내에 있게 될 것이다. 추가적으로, 도면들은 단지 예시일 뿐이며 실제 크기에 따라 그려진 것이 아니다.

본 명세서에서 "제1", "제2", "제3", 등의 사용은 동일한 용어에 의해 설명되는 유닛들 또는 데이터를 식별시키기 위한 것으로 이해되어야 하며, 특정 순서 또는 차례에 따라 언급된 것이 아니다.

본 개시내용의 위치 설정 방법은 포인트 클라우드, 관성 측정 장치(Inertial Measurement Unit, IMU), 및 포인트 클라우드 정합(Point Cloud Registration, PCR)의 기술들을 채택한다. 공간의 포인트 클라우드는 깊이 센서에 의해 추출되고, 포인트 클라우드는 공간 내의 위치 및 방향을 결정하기 위해 IMU 및 PCR과 결합된다. 위치 설정 기술은 컴퓨터 프로그램들과 산업 응용에서의 실제 환경 간의 가상과 실제 관계를 연결하기 위해 사용될 수 있다. 반면, 직원은 증강 현실(Augmented Reality, AR) 장치 객체 설계에 의해 특정 현장에서 임무를 완료하도록 인도받는다. 종래에, 단일 IMU를 이용한 공간 위치 설정은 위치를 정확하게 측정할 수 없는 단점을 가지며, 장-기간 사용시 오류를 누적시키는 단점을 갖는다. 제안되는 방법은, 포인트 클라우드를 스캔하는 것, 알려진 환경 내에서 포인트 클라우드의 대략적 위치를 IMU를 통해 제공하는 것, 그리고 스캔된 포인트 클라우드와 환경의 3D 모델의 포인트 클라우드를 PCR 알고리즘에 의해 매칭시키는 것을 수행함으로써 정밀한 위치 및 방향을 계산한다. 이에 따라, 제안되는 방법은 정확한 공간 위치 설정 정보를 얻을 수 있고 AR의 혼합 현실 설계의 신뢰도를 증가시킬 수 있다.

도 1은 실시예에 따른 증강 현실 장치의 응용 상황이다. AR 장치(100)는 도 1의 실시예에서 스마트 안경이지만, 마스크, 스마트폰, 태블릿, 등일 수 있다. AR 장치(100)의 외관은 본 개시내용에서 제한되지 않는다. 사용자는 실내에서, 예를 들어, 하나 이상의 공작 기계(110)가 배치된 산업 환경에서 움직이기 위해 AR 장치(100)를 착용할 수 있다. 공작 기계(110)의 포인트 클라우드는 알려져 있고, 이에 따라 AR 장치(100)는 AR 장치(100)의 위치를 획득하기 위해 공작 기계(110)의 포인트 클라우드를 식별할 수 있다.

도 2는 실시예에 따른 증강 현실 장치의 개략적 블록도이다. 도 2를 참조하면, AR 장치(100)는 프로세서(210), 관성 측정 장치(220), 깊이 센서(230), 통신 모듈(240), 및 디스플레이(250)를 포함한다. 프로세서(210)는 중앙 처리 장치, 마이크로프로세서, 마이크로제어기, 디지털 신호 프로세서, 이미지 처리 칩, 주문형 집적 회로, 등일 수 있다. 관성 측정 장치(220)는 가속도 센서, 각속도 센서, 자력계, 등을 포함할 수 있다. 깊이 센서(230)는 적외선 방출기, 적외선 센서, 듀얼 카메라들, 구조화 광 감지 장치, 또는 필드의 깊이를 검출할 수 있는 임의의 장치를 포함할 수 있다. 통신 모듈(240)은 인터넷, 근거리 네트워크(Local Area Network, LAN)들, 광역 네트워크(Wide Area Network, WAN)들, 셀룰러 네트워크들, 근접장 통신(Near Field Communications, NFC), 적외선(InfraRed, IR), 블루투스, 와이파이(WiFi)와 같은 통신 수단을 제공할 수 있는 회로일 수 있다. 디스플레이(250)는 유기 발광 다이오드(Organic Light Emitting Diode, OLED) 디스플레이, 액정 디스플레이, 또는 임의의 적절한 디스플레이를 포함할 수 있다. 간결함을 위해, AR 장치(100)의 모든 구성요소들이 도 2에서 도시되지 않았다.

도 3은 실시예에 따른 증강 현실 장치의 응용 상황의 정상 관측도이다. 도 4는 실시예에 따른 위치 설정 방법의 흐름도이다. 도 3 및 도 4의 실시예에서, AR 장치(100)는 실내 환경(300) 내에서 움직인다. 아래에서 설명되는 방법의 각각의 단계는 AR 장치(100)의 프로세서(210)에 의해 수행되거나 또는 AR 장치(100)로부터 필요한 데이터를 수신하고 그 다음에 계산 결과를 AR 장치(100)에 전송하는 클라우드 서버(미도시)에 의해 수행된다.

단계 420에서, 초기 위치 및 초기 방향(301)이 관성 측정 장치(220)로부터 획득된 신호들에 따라 계산된다. 예를 들어, 관성 측정 장치(220)에 의해 측정된 가속도 값들은 속도 값들을 획득하기 위해 적분되고, 이러한 속도 값들은 초기 위치를 획득하기 위해 적분되며, 그리고 초기 방향(301)은 각가속도 및 자력의 방향에 따라 획득된다.

단계 430에서, 포인트들을 스캔하는 것이, 복수의 포인트들을 포함하는 (포인트들의 집합으로서 지칭될 수 있는) 행렬 로서 표현되는 포인트 클라우드를 얻기 위해 깊이 센서(230)에 의해 수행되는데, 여기서 i번째 포인트는 벡터 로서 표현된다. M, N, 및 i는 양의 정수들이다. N은 행렬 P 내의 포인트들의 수이다. M은 각각의 벡터 의 길이이다. 세부적으로, 깊이 센서(230)는 환경 객체(예컨대, 공작 기계(110))를 스캔하여 환경 객체의 각각의 포인트와 AR 장치(100) 사이의 거리를 얻는다. AR 장치(100)의 위치 및 방향 그리고 거리에 따라 포인트들의 좌표들이 계산된다. 따라서, 각각의 벡터 는 적어도 X 좌표, Y 좌표, 및 Z 좌표를 포함한다. 일부 실시예들에서, 각각의 벡터 는 또한 법선 벡터 및 곡률 인자를 포함한다(이것은 아래에서 설명될 것임). 벡터 는 일반적인 설명을 위해 예로서 취해진다. 깊이 센서(230)에 의해 발생된 포인트 클라우드는 판독 포인트 클라우드로서 지칭된다.

단계 440에서, 데이터베이스(450)로부터 환경 포인트 클라우드가 획득된다. 환경 포인트 클라우드는 실내 환경(300) 내의 하나 이상의 공작 기계(110)의 포인트 클라우드들을 포함한다. 환경 포인트 클라우드는 행렬 로서 표현된다. 유사하게, 환경 포인트 클라우드는 복수의 포인트들을 포함하고, 여기서 i번째 포인트는 벡터 로서 표현된다. 환경 포인트 클라우드는 미리 생성될 수 있다. 예를 들어, 3D 파일이 포인트 클라우드로 변환될 수 있다. 3D 파일은 오토캐드, 솔리드워크, 또는 카티아와 같은 다양한 소프트웨어에 의해 생성될 수 있다. 실시예들에서, 깊이 센서(230)는 스티칭, 노이즈 필터링, 선명화, 격자화, 등의 처리에 의해 3D 파일 없이 환경 포인트 클라우드를 생성할 수 있다. 일부 실시예들에서, 환경 포인트 클라우드는 다른 컴퓨터 시스템에 의해 제공된다.

초기 추측이 단계 440에서 또한 수행된다. 환경 포인트 클라우드는 실내 환경 내의 모든 객체들의 포인트들을 포함하고, 그리고 만약 모든 객체들이 판독 포인트 클라우드에 매칭된다면 중복되는 계산이 있을 것이다. 일부 실시예들에서, 깊이 센서(230)는 초기 위치 및 초기 방향을 이용해 시계(310)를 계산하기 위해서 사용되는 시야각을 갖는다. 단지 시계(310) 내의 포인트들만이 부분 환경 포인트 클라우드(간결함을 위해 여전히 Q 로서 표현됨)로서 환경 포인트 클라우드로부터 추출된다. 부분 환경 포인트 클라우드는 계산을 감소시키기 위해 판독 포인트 클라우드에 매칭된다. 일부 실시예들에서, 판독 포인트 클라우드와 부분 환경 포인트 클라우드 간의 이동 및 시프트의 변환이 존재한다. 변환은 다음과 같은 수학식 (1)로서 쓰여진다.

(1)

R 은 의 크기를 갖는 이동 행렬이고, t 는 M의 길이를 갖는 시프트 벡터이다. 일부 실시예들에서, 이동 행렬 R 및 시프트 벡터 t 는 단계 420에서 계산된 초기 방향 및 초기 위치에 의해 초기화된다. 일부 실시예들에서, 이동 행렬 R 및 시프트 벡터 t 는 무작위로 초기화된다.

단계 460에서, 포인트 클라우드 정합(PCR) 알고리즘이 수행된다. 반복 근접점(Iterative Closest Point, ICP) 알고리즘이 실시예에서 채택되지만, 다른 정합 알고리즘들이 다른 실시예들에서 채택될 수 있다. 도 5는 실시예에 따른 ICP 알고리즘의 개략적 흐름도이다. 도 5를 참조하면, 단계 510에서, 포인트 는 로 변환된다.

단계 520에서, KD 트리가 포인트 를 빠르게 검색하기 위해 부분 환경 포인트 클라우드 Q 에 따라 생성된다. BSP 트리, KDB 트리, R 트리, R+ 트리 셀 트리, 쿼드 트리, 및 옥트리와 같은 다른 데이터 구조들이 다른 실시예들에서 채택될 수 있다.

단계 530에서, 판독 포인트 클라우드 P 가 부분 환경 포인트 클라우드 Q 에 매칭되는데, 즉, 각각의 포인트 에 대한 최근접점 가 쌍 를 형성하기 위해 검색된다. 최근접점을 검색할 때 포인트 와 변환된 포인트 간의 거리가 계산됨에 유의해야 한다. 포인트 와 간의 거리는 유클리드 거리(즉, 차이 벡터의 L2-노름) 또는 다른 적절한 거리일 수 있다.

단계 540에서, 가중치 가 각각의 쌍 에 대해 계산된다. 가중치 는 포인트 와 간의 거리에 역으로 상관되고, 거리는 여기서 실수 d로서 표현된다. 예를 들어, 만약 실수 d가 임계치보다 크다면, 가중치 는 0이 되도록 설정된다. 만약 실수 d가 임계치보다 작거나 같다면, 가중치 는 실수 d의 역 또는 감소 함수가 되도록 설정된다. 감소 함수는 e ^-d 등일 수 있다. 가중치 는 포인트 클라우드의 이상치(예컨대, 배경)를 제거하는 데 사용된다. 이러한 방식으로, 배경은 매칭 결과에 영향을 미치지 않게 된다.

단계 550에서, 다음과 같은 수학식 (2)로서 쓰여지는 최적화 알고리즘이 행렬 R 및 벡터 t 를 계산하기 위해 수행된다.

…(2)

상기 최적화 알고리즘은 본 개시내용에서 제한되지 않는 검색 방법(예컨대, 유전 알고리즘)에 의해 또는 공식들에 의해 풀릴 수 있다. 예를 들어, 공식들은 다음과 같은 수학식들 (3) 내지 (5)를 포함할 수 있다.

…(3)

…(4)

…(5)

다음으로, 행렬 S 가 다음과 같은 수학식 (6)에 따라 생성된다. 특이값 분해(Singular Value Decomposition, SVD)가 수학식 (7)에서 쓰여지는 바와 같이 행렬 S 에 대해 수행된다. 이동 행렬 R은 행렬 U 및 행렬 V 에 근거하여 다음과 같은 수학식 (8)로서 계산된다.

…(6)

…(7)

…(8)

단계 560에서, 업데이트가 수렴하는지 여부가 결정된다. 예를 들어, 만약 이동 행렬 R 및 시프트 벡터 t 의 변경의 크기가 사전결정된 값보다 작다면, 업데이트가 수렴한다고 결정된다. 일부 실시예들에서는, 만약 특정 수의 반복들이 수행되었다면 업데이트가 수렴한다고 결정된다. 만약 업데이트가 수렴하지 않는다면, 다시 단계 510로 되돌아가 새로운 이동 행렬 R 및 새로운 시프트 벡터 t 에 근거하여 포인트 를 변환한다.

도 3 및 도 4를 참조하면, 업데이트된 위치 및 업데이트된 방향이 단계 470에서 계산된다. 정확히 말하자면, 판독 포인트 클라우드와 부분 환경 포인트 클라우드가 매칭된 이후, 만약 일부 매칭된 포인트들 가 공작 기계(110)에 속한다면, 이것은 공작 기계(110)가 AR 장치(100)의 시계(310) 내에 있음을 의미한다. 추가적으로, 공작 기계(110)에 대한 AR 장치(100)의 거리 및 방향이 쌍 에 근거하여 획득될 수 있고, 이에 따라, 공작 기계(110)의 위치가 알려져 있기 때문에, AR 장치(100)의 업데이트된 위치 및 업데이트된 방향이 계산될 수 있다. 단계 420에서 계산된 초기 방향 및 초기 위치는 업데이트된 위치 및 업데이트된 방향으로 대체되게 된다. 일부 실시예들에서, 업데이트된 위치 및 업데이트된 방향은 또한, 디스플레이(250) 상에 어떤 정보가 보여지는지를 결정하기 위해 프로세서(210)에 의해 실행되는 증강 현실 모듈(410)로 전송된다.

일부 실시예들에서, 추가적인 법선 벡터 및 곡률 인자가 포인트 클라우드의 각각의 포인트에 대해 계산된다. 따라서, 포인트 및 포인트 각각은 7의 길이를 갖는 벡터(x,y,z,u,v,w,c)로서 표현될 수 있다. (x,y,z)의 요소들은 각각 X 좌표, Y 좌표, 및 Z 좌표이다. (u,v,w)의 요소들은 법선 벡터를 구성하고, c는 곡률 인자이다. 도 6은 실시예에 따른 법선 벡터를 계산하는 개략도이다. 도 6을 참조하면, 예로서 포인트 (x,y,z)를 취하는 경우, 작은 영역 내의 포인트 의 이웃 포인트들(610)(또는 사전결정된 수의 이웃 포인트들)이 획득된다. 주성분 분석(Principle Component Analyze, PCA) 알고리즘이 고유값들 및 주성분들을 얻기 위해 포인트 및 이웃 포인트들(610)에 대해 수행된다. 고유값들 은 내림 차순으로 정렬된다. 본 발명의 기술분야에 있는 사람들은 PCA 알고리즘을 이해할 수 있어야 하고, 따라서 PCA 알고리즘은 상세히 설명되지 않을 것이다. 각각의 고유값은 주성분들 중 하나에 대응한다. 각각의 주성분은 3의 길이를 갖는 벡터이다. 최대 고유값 에 대응하는 주성분은 포인트 및 이웃 포인트들(610)을 최대로 표현할 수 있는 기준이다. 및 이웃 포인트들(610)이 대략 두 개의 기준들에 의해 걸쳐 있는 2-차원 표면 상에 있기 때문에, 세 번째 기준들은 표면의 법선 벡터를 나타내야 한다. 달리 말하면, 최소 고유값 에 대응하는 주성분은 포인트 의 법선 벡터 (u,v,w)가 되도록 설정된다. 더욱이, 만약 표면이 평평하다면 고유값 은 상대적으로 작아야 하고, 만약 표면이 곡선이라면 고유값 은 상대적으로 커야 한다. 따라서, 고유값 은 곡률 인자 c를 계산하는 데 사용될 수 있다. 일부 실시예들에서, 최소 고유값은 다음과 같은 수학식 (9)에서 쓰여지는 바와 같이 곡률 인자 c를 계산하기 위해 세 개의 고유값들의 합으로 나누어진다.

…(9)

앞서 언급된 동작은 판독 포인트 클라우드 및 부분 환경 포인트 클라우드의 각각의 포인트에 대해 수행될 수 있고, 본래의 벡터들 (x,y,z)는 벡터들 (x,y,z,u,v,w,c)로 대체되게 된다. 이러한 실시예에서 각각의 포인트는 더 기술적인데, 왜냐하면 법선 벡터 및 곡률 인자가, 매칭된 쌍 를 향상시킬 ICP 알고리즘의 매칭에 추가되기 때문이다.

도 7은 실시예에 따른 위치 설정 방법의 개략적 흐름도이다. 도 7을 참조하면, 단계 710에서, 전기 장치의 초기 위치 및 초기 방향이 관성 측정 장치로부터 획득된 신호에 따라 계산된다. 단계 720에서, 환경 포인트 클라우드가 데이터베이스로부터 획득되고, 부분 환경 포인트 클라우드가 초기 위치 및 초기 방향에 따라 환경 포인트 클라우드로부터 획득된다. 단계 730에서, 판독 포인트 클라우드가 깊이 센서에 의해 획득된다. 단계 740에서, 전기 장치의 업데이트된 위치 및 업데이트된 방향을 계산하기 위해 판독 포인트 클라우드가 부분 환경 포인트 클라우드에 매칭된다. 하지만, 도 7에서의 모든 단계들은 앞에서 상세히 설명되었고, 따라서 설명은 되풀이되지 않을 것이다. 도 7에서의 단계들이 프로그램 코드 또는 회로로서 구현될 수 있고, 그 개시내용은 이에 한정되지 않음에 유의해야 한다. 추가적으로, 도 7에서의 방법은 AR 장치(100)에 응용될 수 있거나, 또는 스마트폰, 태블릿, 또는 임의의 적절한 웨어러블 장치와 같은 범용 전기 장치에 응용될 수 있다. 전기 장치는 적어도 프로세서, 깊이 센서, 및 관성 측정 장치를 포함한다.

앞서-언급된 위치 설정 방법 및 AR 장치에서, SLAM 및 IMU가 실내에서 위치 및 배향 정보를 정확하게 제공할 수 없는 문제는 포인트 클라우드 정보, IMU 및 PCR 기술을 결합함으로써 해결된다. 본 발명은 또한 IMU가 오랜 시간 동안 오류를 누적하는 문제를 해결한다. 이러한 위치 설정 방법은 CAD 소프트웨어에 의해 설계된 공작 기계를 갖는 내부 공간 또는 공장 영역과 같은 실내 현장 또는 3D 모델을 갖는 임의의 실내 환경에 응용될 수 있다.

비록 본 발명이 그 특정 실시예들을 참조하여 상당히 상세히 설명되었지만, 다른 실시예들도 가능하다. 따라서, 첨부되는 청구항들의 사상 및 범위는 본 명세서에 포함된 실시예들의 설명으로 한정되어서는 안 된다. 본 발명의 범위 또는 사상으로부터 벗어남이 없이 본 발명의 구조에 대한 다양한 수정 및 변경이 행해질 수 있음이 본 발명의 기술분야에서 숙련된 기술을 가진 자들에게 명백할 것이다. 앞서의 설명을 고려할 때, 본 발명은 이러한 발명의 수정 및 변형이 다음과 같은 청구항들의 범위 내에 있다면 이들을 포괄하도록 의도된 것이다.

Claims

깊이 센서 및 관성 측정 장치를 포함하는 전기 장치에 대한 위치 설정 방법으로서,
상기 관성 측정 장치로부터 획득된 신호에 따라 상기 전기 장치의 초기 위치 및 초기 방향을 계산하는 단계;
데이터베이스로부터 환경 포인트 클라우드를 획득하고, 상기 초기 위치 및 상기 초기 방향에 따라 상기 환경 포인트 클라우드로부터 부분 환경 포인트 클라우드를 획득하는 단계;
상기 깊이 센서에 의해 판독 포인트 클라우드를 획득하는 단계;
상기 전기 장치의 업데이트된 위치 및 업데이트된 방향을 계산하여 상기 판독 포인트 클라우드와 상기 부분 환경 포인트 클라우드를 매칭시키는 단계로서, 다음의 수학식 (1)을 푸는 단계를 포함하고,
…(1)
상기 수학식에서 는 상기 판독 포인트 클라우드의 i번째 포인트이고, 는 상기 부분 환경 포인트 클라우드의 i번째 포인트이고, 포인트 는 포인트 에 매칭되고, 는 포인트 및 포인트 에 대응하는 가중치이고, 은 이동 행렬이고, t 는 시프트 벡터이고, N은 상기 판독 포인트 클라우드의 포인트들의 수이고,
상기 가중치 은 포인트 와 간의 거리에 역으로 상관되고,
포인트 및 포인트 각각은 X 좌표, Y 좌표, Z 좌표, 법선 벡터 및 곡률 인자를 포함하는, 상기 판독 포인트 클라우드와 상기 부분 환경 포인트 클라우드를 매칭시키는 단계;
상기 판독 포인트 클라우드로부터 포인트 및 상기 포인트의 복수의 이웃 포인트들을 획득하는 단계;
복수의 고유값들 및 복수의 주성분들을 획득하기 위해 포인트 및 상기 이웃 포인트들에 대한 주성분 분석을 수행하고, 고유값들 중 최소 고유값에 대응하는 주성분을 포인트 의 법선 벡터로서 설정하는 단계; 및
상기 곡률 인자를 계산하기 위해 상기 고유값들 중 최소 고유값을 상기 고유값들의 합으로 나누는 단계; 를 포함하는, 위치 설정 방법.
삭제
삭제
삭제
삭제
삭제
증강 현실 장치로서,
관성 측정 장치;
깊이 센서; 및
복수의 단계들을 수행하도록 구성된 프로세서를 포함하고, 상기 복수의 단계들은:
상기 관성 측정 장치로부터 획득된 신호에 따라 상기 증강 현실 장치의 초기 위치 및 초기 방향을 계산하는 단계;
데이터베이스로부터 환경 포인트 클라우드를 획득하고, 상기 초기 위치 및 상기 초기 방향에 따라 상기 환경 포인트 클라우드로부터 부분 환경 포인트 클라우드를 획득하는 단계;
상기 깊이 센서에 의해 판독 포인트 클라우드를 획득하는 단계; 및
전기 장치의 업데이트된 위치 및 업데이트된 방향을 계산하기 위해 상기 판독 포인트 클라우드와 상기 부분 환경 포인트 클라우드를 매칭시키는 단계로서, 다음의 수학식 (1)을 푸는 단계를 포함하고,
…(1)
상기 수학식에서 는 상기 판독 포인트 클라우드의 i번째 포인트이고, 는 상기 부분 환경 포인트 클라우드의 i번째 포인트이고, 포인트 는 포인트 에 매칭되고, 는 포인트 및 포인트 에 대응하는 가중치이고, 은 이동 행렬이고, t 는 시프트 벡터이고, N은 상기 판독 포인트 클라우드의 포인트들의 수이고, 상기 가중치 는 포인트 와 간의 거리에 역으로 상관되고,
포인트 및 포인트 각각은 X 좌표, Y 좌표, Z 좌표, 법선 벡터 및 곡률 인자를 포함하는, 상기 판독 포인트 클라우드와 상기 부분 환경 포인트 클라우드를 매칭시키는 단계;
상기 판독 포인트 클라우드로부터 포인트 및 상기 포인트의 복수의 이웃 포인트들을 획득하는 단계;
복수의 고유값들 및 복수의 주성분들을 획득하기 위해 포인트 및 상기 이웃 포인트들에 대한 주성분 분석을 수행하고, 고유값들 중 최소 고유값에 대응하는 주성분을 포인트 의 법선 벡터로서 설정하는 단계; 및
상기 곡률 인자를 계산하기 위해 상기 고유값들 중 최소 고유값을 상기 고유값들의 합으로 나누는 단계를 포함하는, 증강 현실 장치.
삭제
삭제
삭제