KR20220136884A

KR20220136884A - 포인트 클라우드 완성 네트워크 생성 및 포인트 클라우드 데이터 처리

Info

Publication number: KR20220136884A
Application number: KR1020217026585A
Authority: KR
Inventors: 쥔저 장; 신이 천; 중앙 차이; 하이위 자오; 솨이 이
Original assignee: 센스타임 인터내셔널 피티이. 리미티드.
Priority date: 2021-03-30
Filing date: 2021-06-08
Publication date: 2022-10-11
Also published as: CN113424220A; CN113424220B; AU2021204585A1; US20220319110A1

Abstract

본 개시내용의 실시예들은 포인트 클라우드 완성 네트워크를 생성하기 위한 방법들 및 장치들, 및 포인트 클라우드 데이터를 처리하기 위한 방법들, 장치들 및 시스템들을 제공한다. 제1 포인트 클라우드 데이터는 잠재 공간에서의 샘플링을 통해 취득되는 하나 이상의 잠재 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크로부터 취득되고, 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 생성된다. 제2 포인트 클라우드 완성 네트워크를 생성하는 동안 포인트 클라우드 데이터의 포인트-분포 특징이 고려되기 때문에, 훈련된 제2 포인트 클라우드 완성 네트워크는 포인트 클라우드 데이터의 포인트-분포 특징을 수정할 수 있고, 따라서 비교적 균일한 포인트-분포 특징을 갖는 포인트 클라우드 데이터를 출력할 수 있다.

Description

포인트 클라우드 완성 네트워크 생성 및 포인트 클라우드 데이터 처리

관련 출원 교차 참조

본 출원은 2021년 3월 30일자로 출원된 싱가포르 특허 출원 제10202103270P호의 우선권을 주장하며, 그 전체 내용은 모든 목적을 위해 본 명세서에 참조로 포함된다.

본 개시내용은 컴퓨터 비전 기술의 분야에 관한 것으로, 특히 포인트 클라우드 완성 네트워크를 생성하기 위한 방법들 및 장치들 및 포인트 클라우드 데이터를 처리하기 위한 방법들, 장치들 및 시스템들에 관한 것이다.

포인트 클라우드 완성은 일부(즉, 불완전한 포인트 클라우드 데이터 또는 결함 클라우드 데이터)를 손실한 포인트 클라우드 데이터를 복구하고, 불완전한 포인트 클라우드 데이터에 기초하여 완전한 포인트 클라우드 데이터를 추정하기 위해 사용된다. 포인트 클라우드 완성은 자율 주행 및 로봇 내비게이션과 같은 다양한 분야들에 널리 적용되었다. 전통적인 포인트 클라우드 완성 네트워크에 의해 출력된 포인트 클라우드의 경우, 그 분포는 불균일하며, 이는 다운스트림 작업들에 적용될 때 불량한 효과를 야기한다.

본 개시내용은 포인트 클라우드 완성 네트워크를 생성하기 위한 방법들 및 장치들, 및 포인트 클라우드 데이터를 처리하기 위한 방법들, 장치들 및 시스템들을 제공한다.

본 개시내용의 실시예들의 제1 양태에 따르면, 포인트 클라우드 완성 네트워크를 생성하는 방법이 제공된다. 이 방법은: 잠재 공간에서의 샘플링을 통해 하나 이상의 잠재 공간 벡터를 취득하는 단계; 및 하나 이상의 잠재 공간 벡터를 제1 포인트 클라우드 완성 네트워크에 입력함으로써 잠재 공간 벡터들에 기초하여 생성된 제1 포인트 클라우드 데이터를 취득하는 단계; 제1 포인트 클라우드 데이터의 포인트-분포(points-distribution) 특징을 결정하는 단계; 및 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정하여 제2 포인트 클라우드 완성 네트워크를 생성하는 단계를 포함한다.

일부 실시예들에서, 제1 포인트 클라우드 데이터의 포인트-분포 특징을 결정하는 단계는: 제1 포인트 클라우드 데이터에서 복수의 포인트 클라우드 블록을 결정하는 단계; 제1 포인트 클라우드 데이터의 포인트-분포 특징으로서 복수의 포인트 클라우드 블록의 포인트 밀도 분산을 계산하는 단계를 포함한다.

일부 실시예들에서, 제1 포인트 클라우드 데이터에서 복수의 포인트 클라우드 블록을 결정하는 단계는: 제1 포인트 클라우드 데이터에서, 복수의 시드 위치에서의 각각의 포인트들을 시드 포인트들로서 샘플링하는 단계; 및 시드 포인트들 각각에 대해, 시드 포인트의 복수의 이웃 포인트를 결정하고, 시드 포인트 및 복수의 이웃 포인트를 하나의 포인트 클라우드 블록으로서 결정하는 단계를 포함한다.

일부 실시예들에서, 포인트 클라우드 블록의 포인트 밀도는 포인트 클라우드 블록 내의 시드 포인트와 시드 포인트의 각각의 이웃 포인트 사이의 거리에 기초하여 결정된다.

일부 실시예들에서, 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정하여 제2 포인트 클라우드 완성 네트워크를 생성하는 단계는: 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 손실 함수를 확립하는 단계- 제1 손실 함수는 제1 포인트 클라우드 데이터 내의 포인트들의 분포 균일성을 표현함 -; 제1 포인트 클라우드 데이터 및 샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터에 기초하여 제2 손실 함수를 확립하는 단계- 제2 손실 함수는 제1 포인트 클라우드 데이터와 완전한 포인트 클라우드 데이터 사이의 차이를 표현함 -; 및 제1 손실 함수 및 제2 손실 함수에 기초하여 제1 포인트 클라우드 완성 네트워크를 훈련하여 제2 포인트 클라우드 완성 네트워크를 획득하는 단계를 포함한다.

일부 실시예들에서, 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정하여 제2 포인트 클라우드 완성 네트워크를 생성하는 단계는: 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제3 손실 함수를 확립하는 단계를 포함하고; 대응하는 포인트 클라우드 데이터와 물리적 공간에서 수집되는 실제 포인트 클라우드 데이터 사이의 차이에 기초하여 제4 손실 함수를 확립하는 단계- 대응하는 포인트 클라우드 데이터는 미리 설정된 열화 프로세스를 수행함으로써 제1 포인트 클라우드 데이터로부터 취득됨 -; 제3 손실 함수 및 제4 손실 함수에 기초하여 제1 포인트 클라우드 완성 네트워크를 최적화하여 제2 포인트 클라우드 완성 네트워크를 획득하는 단계를 포함한다.

일부 실시예들에서, 미리 설정된 열화 프로세스를 수행하는 단계는: 실제 포인트 클라우드 데이터 내의 임의의 타겟 포인트에 대응하여, 타겟 포인트에 가장 가까운 제1 포인트 클라우드 데이터 내의 적어도 하나의 이웃 포인트를 결정하는 단계; 및 실제 포인트 클라우드 데이터 내의 다양한 타겟 포인트들에 대응하는 제1 포인트 클라우드 데이터 내의 각각의 이웃 포인트들의 합집합을 대응하는 포인트 클라우드 데이터로서 결정하는 단계를 포함한다.

일부 실시예들에서, 이 방법은: 3차원 공간에서 포인트 클라우드 수집 디바이스에 의해 수집된 원시 포인트 클라우드 데이터를 취득하는 단계; 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 적어도 하나의 객체의 제2 포인트 클라우드 데이터를 획득하는 단계; 및 제2 포인트 클라우드 완성 네트워크를 채택함으로써 제2 포인트 클라우드 데이터를 완성하는 단계를 포함한다.

일부 실시예들에서, 방법은 적어도 2개의 객체의 완성된 제2 포인트 클라우드 데이터에 기초하여 적어도 2개의 객체 사이의 연관성을 검출하는 단계를 추가로 포함한다.

본 개시내용의 실시예들의 제2 양태에 따르면, 포인트 클라우드 데이터를 처리하는 방법이 제공된다. 이 방법은: 게임 영역 내에서 게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드를 취득하는 단계; 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드를 제2 포인트 클라우드 완성 네트워크에 입력하여 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드를 취득하는 단계- 제2 포인트 클라우드 완성 네트워크는 사전-훈련되었고, 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드는 제2 포인트 클라우드 완성 네트워크에 의해 출력되고 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드에 각각 대응함 -; 및 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드에 기초하여 게임 참가자와 게임 객체를 연관시키는 단계 - 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 획득되고, 제1 포인트 클라우드 데이터는 하나 이상의 잠재 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 생성됨 -를 포함한다.

일부 실시예들에서, 게임 객체는 게임 영역에 배치된 게임 코인을 포함하고; 방법은: 제1 처리된 포인트 클라우드와 제2 처리된 포인트 클라우드 사이의 연관성 결과에 기초하여, 게임 참가자에 의해 게임 영역에 배치되는 게임 코인을 결정하는 단계를 추가로 포함한다.

일부 실시예들에서, 방법은: 제1 처리된 포인트 클라우드와 제2 처리된 포인트 클라우드 사이의 연관성 결과에 기초하여, 게임 참가자에 의해 게임 객체에 대해 수행된 액션을 결정하는 단계를 추가로 포함한다.

일부 실시예들에서, 게임 영역 내에서 게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드를 취득하는 단계는: 게임 영역 주위에 배열된 포인트 클라우드 수집 디바이스에 의해 수집되는 원시 포인트 클라우드 데이터를 취득하는 단계; 및 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드를 획득하는 단계를 포함한다.

일부 실시예들에서, 제2 포인트 클라우드 완성 네트워크는 다양한 카테고리들의 게임 참가자들의 각각의 제1 처리될 포인트 클라우드 및/또는 다양한 카테고리들의 게임 객체들의 각각의 제2 처리될 포인트 클라우드를 완성하도록 구성되거나; 또는 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 완성 서브네트워크 및 제2 포인트 클라우드 완성 서브네트워크를 포함하고, 여기서 제1 포인트 클라우드 완성 서브네트워크는 제1 카테고리의 게임 참가자의 제1 처리될 포인트 클라우드를 완성하도록 구성되고, 제2 포인트 클라우드 완성 서브네트워크는 제2 카테고리의 게임 객체의 제2 처리될 포인트 클라우드를 완성하도록 구성된다.

본 개시내용의 실시예들의 제3 양태에 따르면, 포인트 클라우드 완성 네트워크를 생성하기 위한 장치가 제공된다. 이 장치는: 잠재 공간에서의 샘플링을 통해 하나 이상의 잠재 공간 벡터를 취득하고, 하나 이상의 잠재 공간 벡터를 제1 포인트 클라우드 완성 네트워크에 입력함으로써 잠재 공간 벡터들에 기초하여 생성된 제1 포인트 클라우드 데이터를 취득하도록 구성되는 샘플링 모듈; 제1 포인트 클라우드 데이터의 포인트-분포 특징을 결정하도록 구성되는 결정 모듈; 및 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정하여 제2 포인트 클라우드 완성 네트워크를 생성하도록 구성되는 생성 모듈을 포함한다.

일부 실시예들에서, 결정 모듈은: 제1 포인트 클라우드 데이터에서 복수의 포인트 클라우드 블록을 결정하도록 구성되는 포인트 클라우드 블록 결정 유닛; 및 제1 포인트 클라우드 데이터의 포인트-분포 특징으로서 복수의 포인트 클라우드 블록의 포인트 밀도 분산을 계산하도록 구성되는 계산 유닛을 포함한다.

일부 실시예들에서, 포인트 클라우드 블록 결정 유닛은: 제1 포인트 클라우드 데이터에서, 복수의 시드 위치에서의 각각의 포인트들을 시드 포인트들로서 샘플링하도록 구성되는 샘플링 서브유닛; 및 시드 포인트들 각각에 대해, 시드 포인트의 복수의 이웃 포인트를 결정하고, 시드 포인트 및 복수의 이웃 포인트를 하나의 포인트 클라우드 블록으로서 결정하도록 구성되는 결정 서브유닛을 포함한다.

일부 실시예들에서, 생성 모듈은: 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 손실 함수를 확립하도록 구성되는 제1 확립 유닛- 제1 손실 함수는 제1 포인트 클라우드 데이터 내의 포인트들의 분포 균일성을 표현함 -; 제1 포인트 클라우드 데이터 및 샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터에 기초하여 제2 손실 함수를 확립하도록 구성되는 제2 확립 유닛- 제2 손실 함수는 제1 포인트 클라우드 데이터와 완전한 포인트 클라우드 데이터 사이의 차이를 표현함 -; 및 제1 손실 함수 및 제2 손실 함수에 기초하여 제1 포인트 클라우드 완성 네트워크를 훈련하여 제2 포인트 클라우드 완성 네트워크를 획득하도록 구성되는 훈련 유닛을 포함한다.

일부 실시예들에서, 생성 모듈은: 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제3 손실 함수를 확립하도록 구성되는 제3 확립 유닛; 대응하는 포인트 클라우드 데이터와 물리적 공간에서 수집된 실제 포인트 클라우드 데이터 사이의 차이에 기초하여 제4 손실 함수를 확립하도록 구성되는 제4 확립 유닛- 대응하는 포인트 클라우드 데이터는 미리 설정된 열화 프로세스를 수행함으로써 제1 포인트 클라우드 데이터로부터 취득됨 -; 및 제3 손실 함수 및 제4 손실 함수에 기초하여 제1 포인트 클라우드 완성 네트워크를 최적화하여 제2 포인트 클라우드 완성 네트워크를 획득하도록 구성되는 최적화 유닛을 포함한다.

일부 실시예들에서, 장치는: 실제 포인트 클라우드 데이터 내의 임의의 타겟 포인트에 대응하여, 타겟 포인트에 가장 가까운 제1 포인트 클라우드 데이터 내의 적어도 하나의 이웃 포인트를 결정하도록 구성되는 이웃 포인트 결정 모듈; 및 실제 포인트 클라우드 데이터 내의 다양한 타겟 포인트들에 대응하는 제1 포인트 클라우드 데이터 내의 각각의 이웃 포인트들의 합집합을 대응하는 포인트 클라우드 데이터로서 결정하도록 구성되는 열화 처리 모듈을 추가로 포함한다.

일부 실시예들에서, 장치는: 3차원 공간에서 포인트 클라우드 수집 디바이스에 의해 수집된 원시 포인트 클라우드 데이터를 취득하도록 구성되는 원시 포인트 클라우드 데이터 취득 모듈; 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 적어도 하나의 객체의 제2 포인트 클라우드 데이터를 획득하도록 구성되는 포인트 클라우드 세그먼트화 모듈; 및 제2 포인트 클라우드 완성 네트워크를 채택함으로써 제2 포인트 클라우드 데이터를 완성하도록 구성되는 완성 모듈을 추가로 포함한다.

일부 실시예들에서, 장치는 적어도 2개의 객체의 완성된 제2 포인트 클라우드 데이터에 기초하여 적어도 2개의 객체 사이의 연관성을 검출하도록 구성되는 검출 모듈을 추가로 포함한다.

본 개시내용의 실시예들의 제4 양태에 따르면, 포인트 클라우드 데이터를 처리하기 위한 장치가 제공된다. 이 장치는: 게임 영역 내에서 게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드를 취득하도록 구성되는 취득 모듈; 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드를 제2 포인트 클라우드 완성 네트워크에 입력하여 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드를 획득하도록 구성되는 입력 모듈- 제2 포인트 클라우드 완성 네트워크는 사전-훈련되었고, 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드는 제2 포인트 클라우드 완성 네트워크에 의해 출력되고 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드에 각각 대응함 -; 및 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드에 기초하여 게임 참가자와 게임 객체를 연관시키도록 구성되는 연관 모듈 - 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 획득되고, 제1 포인트 클라우드 데이터는 하나 이상의 잠재 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 생성됨 -을 포함한다.

일부 실시예들에서, 게임 객체는 게임 영역에 배치된 게임 코인을 포함한다. 장치는: 제1 처리된 포인트 클라우드와 제2 처리된 포인트 클라우드 사이의 연관성 결과에 기초하여, 게임 참가자에 의해 게임 영역에 배치되는 게임 코인을 결정하도록 구성되는 게임 코인 결정 모듈을 추가로 포함한다.

일부 실시예들에서, 장치는: 제1 처리된 포인트 클라우드와 제2 처리된 포인트 클라우드 사이의 연관성 결과에 기초하여, 게임 참가자에 의해 게임 객체에서 수행된 액션을 결정하도록 구성되는 액션 결정 모듈을 추가로 포함한다.

일부 실시예들에서, 취득 모듈은: 게임 영역 주위에 배열된 포인트 클라우드 수집 디바이스에 의해 수집되는 원시 포인트 클라우드 데이터를 취득하도록 구성되는 원시 포인트 클라우드 데이터 취득 유닛; 및 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드를 획득하도록 구성되는 포인트 클라우드 세그먼트화 유닛을 포함한다.

본 개시내용의 실시예들의 제5 양태에 따르면, 포인트 클라우드 데이터를 처리하기 위한 시스템이 제공된다. 시스템은: 게임 영역 주위에 배열되고, 게임 영역 내에서 게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드를 수집하도록 구성되는 포인트 클라우드 수집 디바이스; 및 포인트 클라우드 수집 디바이스와 접속되어 통신하고, 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드를 제2 포인트 클라우드 완성 네트워크에 입력하여 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드를 획득하고, 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드에 기초하여 게임 참가자와 게임 객체를 연관시키도록 구성되는 처리 유닛; - 제2 포인트 클라우드 완성 네트워크는 사전-훈련되었고; 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드는 제2 포인트 클라우드 완성 네트워크에 의해 출력되고 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드에 각각 대응하고; 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 획득되고, 제1 포인트 클라우드 데이터는 하나 이상의 잠재 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 생성됨 -을 포함한다.

본 개시내용의 실시예들의 제6 양태에 따르면, 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체가 제공되고, 여기서 프로그램은 프로세서에 의해 실행되어 실시예들 중 어느 하나에 따른 방법을 구현한다.

본 개시내용의 실시예들의 제7 양태에 따르면, 컴퓨터 디바이스가 제공된다. 컴퓨터 디바이스는 메모리, 프로세서, 및 메모리에 저장되고 프로세서 상에서 실행되는 컴퓨터 프로그램을 포함하고, 프로세서는 프로그램을 실행하여 위의 실시예들 중 어느 하나에 따른 방법을 구현한다.

본 개시내용의 실시예들의 제8 양태에 따르면, 컴퓨터 판독가능 코드들을 포함하는 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 판독가능 코드들은 프로세서에 의해 실행되어 실시예들 중 어느 하나에 따른 방법을 구현한다.

본 개시내용의 실시예들에서, 잠재 공간에서의 샘플링을 통해 취득되는 하나 이상의 잠재 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크로부터 제1 포인트 클라우드 데이터가 취득되고, 제2 포인트 클라우드 완성 네트워크가 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 생성된다. 포인트 클라우드 데이터의 포인트-분포 특징이 제2 포인트 클라우드 완성 네트워크를 생성하는 동안 고려되기 때문에, 훈련된 제2 포인트 클라우드 완성 네트워크는 포인트 클라우드 데이터의 포인트-분포 특징을 수정할 수 있고, 따라서 비교적 균일한 포인트-분포 특징을 갖는 포인트 클라우드 데이터를 출력할 수 있다.

일반적인 설명 및 다음의 상세한 설명은 단지 예시적이고 설명적인 것이고 본 개시내용을 제한하지 않는다는 것이 이해되어야 한다.

본 명세서에 포함되고 그 일부를 구성하는 첨부 도면들은 본 개시내용과 일치하는 실시예들을 예시하고, 설명과 함께, 본 개시내용의 기술적 해결책들을 설명하는 역할을 한다.
도 1은 일부 실시예들에 따른 불완전한 포인트 클라우드 데이터를 예시하는 개략적인 다이어그램이다.
도 2는 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 데이터의 포인트-분포 특징을 예시하는 개략적인 다이어그램이다.
도 3은 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 완성 네트워크를 생성하는 방법을 예시하는 흐름도이다.
도 4는 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 완성 네트워크를 훈련하고 최적화하는 프로세스를 예시하는 개략적인 다이어그램이다.
도 5는 본 개시내용의 일부 실시예들에 따라 수행되는 열화 프로세스를 예시하는 개략적인 다이어그램이다.
도 6은 포인트 클라우드 완성 네트워크에 의해 출력된 다양한 완전한 포인트 클라우드 데이터 후보들을 예시하는 개략적인 다이어그램이다.
도 7은 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 데이터를 처리하는 방법을 예시하는 흐름도이다.
도 8은 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 완성 네트워크를 생성하기 위한 장치를 예시하는 블록 다이어그램이다.
도 9는 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 데이터를 처리하기 위한 장치를 예시하는 블록 다이어그램이다.
도 10은 본 개시내용의 일부 실시예들에 따른 포인트 클라우드 데이터를 처리하기 위한 시스템을 예시하는 개략적인 다이어그램이다.
도 11은 본 개시내용의 일부 실시예들에 따른 컴퓨터 디바이스를 예시하는 개략적인 구조 다이어그램이다.

실시예들이 본 명세서에서 상세히 설명될 것이고, 그의 예들은 도면들에 표현되어 있다. 이하의 설명들이 도면들을 포함할 때, 상이한 도면들에서의 유사한 번호들은 달리 표시되지 않는 한 유사하거나 유사한 요소들을 지칭한다. 다음의 예시적인 실시예들에서 설명된 구현들이 본 개시내용과 일치하는 모든 구현들을 표현하는 것은 아니다. 오히려, 그들은 첨부된 청구항들에 상세히 설명된 바와 같이 본 개시내용의 일부 양태들과 일치하는 장치들 및 방법들의 단지 예들에 불과하다.

본 개시내용에서 사용되는 용어들은 특정 실시예들을 설명하기 위한 목적일 뿐이며, 본 개시내용을 제한하려는 의도는 아니다. 본 개시내용 및 첨부된 청구항들에서 사용되는 단수 형태들 "한(a)", "상기(said)" 및 "그(the)"는 또한 문맥이 다른 의미들을 명확하게 나타내지 않는 한, 복수 형태들을 포함하도록 의도된다. 본 명세서에서 사용되는 용어 "및/또는"은 하나 이상의 연관된 열거된 항목들의 임의의 또는 모든 가능한 조합들을 지칭하며 이를 포함한다는 점이 추가로 이해되어야 한다. 또한, 본 명세서에서 용어 "적어도 하나"는 복수의 유형 중 임의의 하나 또는 복수의 유형 중 적어도 2개의 임의의 조합을 의미한다.

용어들 제1, 제2, 제3 등이 다양한 정보를 설명하기 위해 본 개시내용에서 사용될 수 있지만, 정보는 이러한 용어들로 제한되지 않아야 한다는 점이 이해되어야 한다. 이 용어들은 단지 동일한 유형의 정보를 서로 구별하기 위해 사용된다. 예를 들어, 본 개시내용의 범위를 벗어나지 않고, 제1 정보는 제2 정보로서 지칭될 수 있고; 유사하게, 제2 정보는 제1 정보라고도 할 수 있다. 문맥에 따라, 본 명세서에서 사용되는 바와 같은 단어 "~인 경우(if)"는 "~시에(upon)" 또는 "~일 때(when)" 또는 "결정에 응답하여(in response to determination)"로서 해석될 수 있다.

본 기술분야의 통상의 기술자가 본 개시내용의 실시예들에서의 기술적 해결책들을 더 잘 이해하게 하고, 본 개시내용의 실시예들의 설명된 목적들, 특징들 및 이점들을 더 분명하게 하기 위해, 본 개시내용의 실시예들에서의 기술적 해결책들이 첨부 도면들을 참조하여 아래에 상세히 추가로 설명될 것이다.

실제 응용들에서, 포인트 클라우드 데이터는 항상 어떤 처리로 수집되고 수행될 것으로 예상된다. 예를 들어, 자율주행 분야에서, LiDAR는 자율 차량에 설치될 수 있고, LiDAR는 차량 주위의 포인트 클라우드 데이터를 수집하고 포인트 클라우드 데이터를 분석하여 차량 주위의 장애물들의 각각의 이동 속도를 결정하여, 차량에 대한 경로 계획을 효과적으로 수행하기 위해 사용될 수 있다. 다른 예를 들면, 로봇 내비게이션의 분야에서, 로봇의 주변 환경의 포인트 클라우드 데이터가 수집될 수 있고, 로봇은 포인트 클라우드 데이터로부터 식별된 다양한 객체들에 기초하여 위치될 수 있다. 또 다른 예로서, 일부 게임 시나리오들에서, 게임 영역 내에서 포인트 클라우드 데이터가 수집될 수 있고, 포인트 클라우드 데이터로부터 식별된 다양한 타겟들(예를 들어, 게임 참가자 및 게임 객체)이 연관될 수 있다.

그러나, 실제 시나리오들에서, 폐색 및 다른 이유들로 인해, 수집된 3차원 포인트 클라우드는 항상 완전한 포인트 클라우드 데이터가 아니라, 불완전한 포인트 클라우드 데이터이다. 예를 들어, 3차원 객체의 경우, 포인트 클라우드 수집 디바이스로부터 멀리 향하는(facing away from) 표면은 포인트 클라우드 수집 디바이스를 향하는 표면에 의해 폐색될 수 있어, 그 결과 포인트 클라우드 수집 디바이스로부터 멀리 향하는 포인트 클라우드가 수집될 수 없다. 그것이 평평한 객체이더라도, 시나리오들에서 다수의 중첩하는 객체가 종종 존재하기 때문에, 하나의 객체의 표면은 다른 객체의 표면에 의해 폐색될 수 있고, 그 결과 불완전한 포인트 클라우드 데이터가 수집된다. 또한, 불완전한 포인트 클라우드의 생성에 대한 많은 다른 이유들이 있으며, 불완전한 포인트 클라우드의 수집된 형태들 또한 다양하다. 도 1은 일부 실시예들에 따라 물리적 공간에서 수집된 불완전한 포인트 클라우드들 및 대응하는 완전한 포인트 클라우드들을 예시하는 개략적인 다이어그램이다.

본 개시내용에서의 불완전한 포인트 클라우드 데이터는 객체의 완전한 형상을 표현할 수 없는 포인트 클라우드 데이터를 지칭한다는 점에 유의해야 한다. 예를 들어, 객체가 하나 이상의 표면을 포함할 때, 표면들의 일부 또는 하나의 표면의 부분 영역이 폐색될 수 있고, 수집된 포인트 클라우드 데이터는 폐색된 표면 또는 영역의 포인트들을 포함하지 않아서, 수집된 포인트 클라우드 데이터는 폐색된 표면 또는 영역의 대응하는 형상을 표현할 수 없다. 표면들은 상이한 방향들을 향하거나, 서로 간에 갑작스러운 방향 변화가 있다. 대응하여, 완전한 포인트 클라우드 데이터는 객체의 완전한 형상을 표현할 수 있는 포인트 클라우드 데이터를 지칭한다. 예를 들어, 객체가 하나 이상의 표면을 포함하는 경우, 포인트 클라우드 데이터는 각각의 표면 상의 포인트들을 포함하여, 포인트 클라우드 데이터는 각각의 표면의 형상을 완전히 표현할 수 있다.

불완전한 포인트 클라우드에 기초한 동작들은 예상된 결과들을 달성하기 어렵다. 따라서, 불완전한 포인트 클라우드 데이터에 대응하는 완전한 포인트 클라우드 데이터를 획득하기 위해 불완전한 포인트 클라우드 데이터를 완성할 필요가 있다. 관련 기술에서, 포인트 클라우드 완성 네트워크는 일반적으로 불완전한 포인트 클라우드 데이터를 완성하기 위해 채택된다. 그러나, 전통적인 포인트 클라우드 완성 네트워크에 의해 출력된 포인트 클라우드는 불균일하게 분포된다. 도 2는 균일하게 분포된 포인트 클라우드 데이터 a와 균일하지 않게 분포된 포인트 클라우드 데이터 b의 비교 다이어그램을 예시한다. 포인트 클라우드 데이터 b에서, 수집된 포인트들의 대부분은 점선 박스에 분포되는 반면, 다른 영역들에서의 다른 포인트들의 분포는 더 흩어진다는 것을 알 수 있다. 포인트 클라우드 완성 네트워크가 핸들링할 수 있는 포인트들의 수가 비교적 고정되기 때문에, 포인트 클라우드 데이터의 불균일성은 일부 영역들 내의 포인트들의 수가 포인트 클라우드 완성 네트워크가 포인트 클라우드 완성을 위한 충분한 정보를 획득하기에 충분하지 않을 수 있다는 것을 의미하며, 이는 포인트 클라우드 완성의 부정확한 결과를 야기한다. 또한, 포인트 클라우드 데이터의 불균일성은 출력된 포인트 클라우드 데이터가 다운스트림 작업들에 적용될 때 불량한 효과를 야기할 수 있다. 예를 들어, 불균일하게 분포된 포인트 클라우드 데이터에서 타겟 객체를 식별할 때, 타겟 객체의 일부 영역들을 표현하는 포인트들의 수는 타겟 객체를 정확하게 식별하기에는 너무 작을 수 있고, 이는 인식 에러들을 초래한다.

이를 염두에 두고, 본 개시내용은 포인트 클라우드 완성 네트워크를 생성하는 방법을 제공한다. 도 3에 예시된 바와 같이, 이 방법은 다음의 단계들을 포함한다.

단계 301에서, 잠재 공간에서의 샘플링을 통해 하나 이상의 잠재 공간 벡터가 취득되고, 잠재 공간 벡터들에 기초하여 생성된 제1 포인트 클라우드 데이터는 하나 이상의 잠재 공간 벡터를 제1 포인트 클라우드 완성 네트워크에 입력함으로써 취득된다.

단계 302에서, 제1 포인트 클라우드 데이터의 포인트-분포 특징이 결정된다.

단계 303에서, 제1 포인트 클라우드 완성 네트워크는 포인트-분포 특징에 기초하여 조정되어 제2 포인트 클라우드 완성 네트워크를 생성한다.

본 개시내용의 일부 실시예들에서, 제1 포인트 클라우드 완성 네트워크를 조정함으로써 제2 포인트 클라우드 완성 네트워크를 생성하는 방법 절차는 포인트 클라우드 완성 네트워크를 훈련하는 프로세스에서 적용될 수 있다. 대안적으로, 본 개시내용의 일부 실시예에서, 제1 포인트 클라우드 완성 네트워크를 조정함으로써 제2 포인트 클라우드 완성 네트워크를 생성하는 방법 절차는 훈련된 포인트 클라우드 완성 네트워크를 최적화하는 프로세스에서 적용될 수 있다.

단계 301에서, 제1 포인트 클라우드 완성 네트워크는, 예를 들어, tree-GAN 또는 r-GAN을 포함하지만 이에 제한되지 않는 임의의 종류의 생성 적대적 네트워크(generative adversarial network, GAN)에 기초하여 획득될 수 있다.

잠재 공간 벡터들은 잠재 공간에서의 샘플링을 통해 취득될 수 있고, 샘플링 방식은 랜덤 샘플링일 수 있다. 일부 실시예들에서, 잠재 공간은 96-차원 공간일 수 있고, 하나 이상의 96-차원 벡터, 즉 하나 이상의 원시 잠재 공간 벡터가 각각의 샘플링에 대해 무작위로 생성될 수 있다.

단계 302에서, 제1 포인트 클라우드 데이터 내의 복수의 포인트 클라우드 블록에 대해, 그들의 포인트 밀도 분산은 제1 포인트 클라우드 데이터의 포인트-분포 특징으로서 결정될 수 있다. 더 큰 분산은 제1 포인트 클라우드 데이터에서 다양한 포인트 클라우드 블록들 중에서의 포인트들의 더 불균일한 분포를 표시하고; 반대로, 더 작은 분산은 다양한 포인트 클라우드 블록들 사이의 포인트들의 더 균일한 분포를 표시한다.

일부 실시예들에서, 복수의 시드 위치에서의 각각의 포인트들은 제1 포인트 클라우드 데이터에서 시드 포인트들로서 샘플링될 수 있다. 시드 포인트들 각각에 대해, 시드 포인트의 복수의 이웃 포인트가 결정될 수 있고, 시드 포인트 및 복수의 이웃 포인트는 하나의 포인트 클라우드 블록으로서 결정될 수 있다. 일부 실시예들에서, 각각의 포인트 클라우드 블록 내의 포인트들의 수는 고정될 수 있다. 따라서, 포인트 클라우드 블록의 포인트 밀도는 포인트 클라우드 블록 내의 시드 포인트와 시드 포인트의 각각의 이웃 포인트 사이의 거리에 기초하여 직접적으로 결정될 수 있다. 이러한 방식으로, 포인트 밀도를 계산하는 복잡성이 감소된다.

N개의 시드 위치는 제1 포인트 클라우드 데이터에서 무작위로 샘플링될 수 있다. 예를 들어, 샘플링 방식은 가장 먼 포인트 샘플링(FPS)일 수 있어서, 다양한 시드 위치들 사이의 거리가 가장 멀다. 하나의 포인트 클라우드 블록의 포인트-분포 특징은 포인트 클라우드 블록 내의 각각의 포인트 및 포인트 클라우드 블록 내의 특정 위치, 예를 들어, 시드 위치 사이의 평균 거리에 기초하여 결정될 수 있다. 제1 포인트 클라우드 완성 네트워크의 네트워크 파라미터들은 제1 포인트 클라우드 데이터에서 각각의 포인트 클라우드 블록들에 대응하는 평균 거리들의 분산을 최소화하도록 최적화될 수 있다.

단계 303에서, 제1 포인트 클라우드 완성 네트워크는 포인트-분포 특징에 기초하여 조정되어 제2 포인트 클라우드 완성 네트워크를 생성할 수 있다.

본 개시내용의 일부 실시예들에서, 제1 포인트 클라우드 완성 네트워크를 조정하여 제2 포인트 클라우드 완성 네트워크를 생성하는 것은 포인트 클라우드 완성 네트워크를 훈련하는 프로세스에서 적용될 수 있고, 즉, 제1 포인트 클라우드 완성 네트워크는 어떠한 훈련도 겪지 않는 원시 포인트 클라우드 완성 네트워크이고, 제2 포인트 클라우드 완성 네트워크는 훈련된 포인트 클라우드 완성 네트워크이다. 대안적으로, 본 개시내용의 일부 실시예에서, 제1 포인트 클라우드 완성 네트워크를 조정하기 위해 제2 포인트 클라우드 완성 네트워크를 생성하는 것은 훈련된 포인트 클라우드 완성 네트워크를 최적화하는 프로세스에서 적용될 수 있는데, 즉, 제1 포인트 클라우드 완성 네트워크는 훈련된 포인트 클라우드 완성 네트워크이고, 제2 포인트 클라우드 완성 네트워크는 최적화된 포인트 클라우드 완성 네트워크이다. 포인트 클라우드 완성 네트워크를 훈련하고 최적화하는 프로세스는 아래에 개별적으로 설명된다.

훈련 프로세스에서, 샘플 포인트 클라우드 데이터 세트로부터 완전한 포인트 클라우드 데이터가 타겟 포인트 클라우드 데이터로서 결정될 수 있다. 생성 적대적 네트워크를 예로 들면, 제1 포인트 클라우드 완성 네트워크는 생성기로서 취해질 수 있고, 적대적 훈련은 미리 설정된 판별기로 수행되어 제2 포인트 클라우드 완성 네트워크를 생성한다. 생성기의 입력은 잠재 공간에서 샘플링된 잠재 공간 벡터들이고, 판별기의 입력은 샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터이다. 실제 시나리오들에서 완전한 포인트 클라우드 데이터를 수집하는 것은 어렵기 때문에, 본 개시내용의 실시예들에서 채택된 완전한 포인트 클라우드 데이터는, 예를 들어, ShapeNet 데이터 세트로부터 완전한 포인트 클라우드 데이터가 인위적으로 생성될 수 있다. 또한, 페어링된 불완전한 포인트 클라우드 샘플 데이터를 구성하는 것 또한 어렵기 때문에, 본 개시내용의 일부 실시예들에서, 불완전한 포인트 클라우드 대신에, 잠재적인 공간 벡터들이 생성기에 입력되어 완전한 포인트 클라우드를 생성하고, 이는 샘플 데이터를 취득하는 어려움을 감소시킨다. 그리고, 생성-판별 방식으로 제1 포인트 클라우드 완성 네트워크를 훈련하는 것은 더 나은 정확도를 달성할 수 있다.

잠재 공간 벡터들에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 출력된 제1 포인트 클라우드 데이터가 취득될 수 있다. 제1 손실 함수는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 확립되고, 제1 포인트 클라우드 데이터 내의 포인트들의 분포 균일성을 표현한다. 제2 손실 함수는 제1 포인트 클라우드 데이터 및 샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터에 기초하여 확립되고, 제1 포인트 클라우드 데이터와 완전한 포인트 클라우드 데이터 사이의 차이를 표현한다. 제2 포인트 클라우드 완성 네트워크는 제1 손실 함수 및 제2 손실 함수에 기초하여 제1 포인트 클라우드 완성 네트워크를 훈련함으로써 획득된다. 여기서, 제1 손실 함수는 다음과 같이 쓰여질 수 있다:

이 공식에서,

는 제1 손실 함수를 표시하고,

는 분산을 표현하고,

는 j번째 포인트 클라우드 블록 내의 각각의 포인트와 시드 위치 사이의 평균 거리를 표시하고, n은 포인트 클라우드 블록들의 총 수를 표시하고, k는 포인트 클라우드 블록 내의 포인트들의 총 수를 표시하고,

는 j번째 포인트 클라우드 블록 내의 i번째 포인트와 시드 위치 사이의 거리를 표시한다. 제1 포인트 클라우드 완성 네트워크의 네트워크 파라미터들은 제2 포인트 클라우드 완성 네트워크에 의해 출력된 포인트 클라우드 데이터에서 각각의 포인트 클라우드 블록에 대응하는 평균 거리의 분산을 최소화하도록 조정될 수 있다. 이 방식으로, 다양한 포인트 클라우드 블록에서, 각각의 포인트와 시드 위치 사이의 평균 거리들은 유사할 수 있고, 그에 의해 제2 포인트 클라우드 완성 네트워크에 의해 출력된 클라우드 데이터 내의 포인트들의 분포 균일성을 개선할 수 있다.

제2 손실 함수의 역할은 제2 포인트 클라우드 완성 네트워크에 의해 출력되는 포인트 클라우드 데이터를 샘플 포인트 클라우드 데이터 세트로부터의 포인트 클라우드 데이터와 가능한 한 유사하게 만들어, 판별기에 의해 구별되기 어렵게 하는 것이다. 제2 손실 함수는, 판별기에 의해, 샘플 포인트 클라우드 데이터 세트로부터의 포인트 클라우드 데이터와 제1 포인트 클라우드 데이터를 판별한 결과에 기초하여 결정될 수 있다.

최적화 프로세스에서, 물리적 공간에서 수집된 실제 포인트 클라우드 데이터는 타겟 포인트 클라우드 데이터로서 취해질 수 있다. 타겟 잠재 공간 벡터로 지칭되는 잠재 공간 벡터로서 복수의 원시 잠재 공간 벡터로부터 최상의 것이 선택될 수 있다. 각각의 원시 잠재 공간 벡터에 대해, 원시 잠재 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 생성되는 포인트 클라우드 데이터가 취득될 수 있고, 원시 잠재 공간 벡터의 타겟 함수는 원시 잠재 공간 벡터에 대응하는 포인트 클라우드 데이터 및 실제 포인트 클라우드 데이터에 기초하여 결정될 수 있다. 그 후, 다양한 원시 잠재 공간 벡터들의 타겟 함수들에 기초하여, 다양한 원시 잠재 공간 벡터들로부터 타겟 잠재 공간 벡터가 결정된다. 각각의 원시 잠재 공간 벡터의 타겟 함수, L은 아래의 식에 따라 계산될 수 있다:

이 공식에서,

및

는 각각 챔퍼 거리(chamfer distance) 및 특징 거리를 표현하고,

는 미리 설정된 열화 프로세스를 수행함으로써 제1 포인트 클라우드 데이터로부터 취득되는 대응하는 포인트 클라우드 데이터를 표현하고,

은 실제 포인트 클라우드 데이터를 표현하고,

및

는 각각 제1 포인트 클라우드 데이터 내의 포인트 및 실제 포인트 클라우드 데이터 내의 포인트를 표현하고,

및

는 각각 놈 1 및 놈 2를 표현하고,

및

은 각각

의 특징 벡터 및

의 특징 벡터를 표현한다. 위는 타겟 함수의 단지 예이다. 전술된 타겟 함수에 더하여, 실제 요건들에 따라 다른 유형들의 타겟 함수가 또한 채택될 수 있으며, 이는 여기서 반복되지 않을 것이다.

각각의 원시 잠재 공간 벡터들에 대응하는 타겟 함수들을 취득한 후에, 가장 작은 타겟 함수를 갖는 원시 잠재 공간 벡터가 타겟 잠재 공간 벡터로서 결정될 수 있다. 위의 방식으로, 본 개시내용의 실시예들에서, 최적의 타겟 잠재 공간 벡터는 포인트 클라우드 완성 네트워크를 훈련 및 최적화하는 프로세스를 위해 복수의 원시 잠재 공간 벡터로부터 선택될 수 있으며, 이는 포인트 클라우드 완성 네트워크를 훈련 및 최적화하는 속도를 가속화하고 포인트 클라우드 완성 네트워크를 최적화하는 효율을 개선할 수 있다.

최적화 처리 후에, 미리 설정된 열화 프로세스를 수행함으로써 제1 포인트 클라우드 데이터로부터 취득되고 제1 포인트 클라우드 완성 네트워크에 의해 출력되는 대응하는 포인트 클라우드 데이터와, 물리적 공간에서 수집된 실제 포인트 클라우드 데이터 사이의 차이는 미리 설정된 차이 범위 내에 있다. 실제로, 위에 언급된 "미리 설정된 열화 프로세스를 수행함으로써 제1 포인트 클라우드 데이터로부터 취득되는 대응하는 포인트 클라우드 데이터와, 물리적 공간에서 수집된 실제 포인트 클라우드 데이터 사이의 차이는 미리 설정된 차이 범위 내에 있다"는 최적화 타겟으로서 취해질 수 있고, 제1 포인트 클라우드 완성 네트워크의 파라미터들은 대응하는 최적화 타겟을 설정함으로써 조정될 수 있어, 제1 포인트 클라우드 완성 네트워크를 최적화하고 제2 포인트 클라우드 완성 네트워크를 획득한다.

구체적으로, 제3 손실 함수는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 확립될 수 있고; 미리 설정된 열화 프로세스를 수행함으로써 제1 포인트 클라우드 데이터로부터 취득되는 대응하는 포인트 클라우드 데이터와 실제 포인트 클라우드 데이터 사이의 차이에 기초하여 제4 손실 함수가 확립될 수 있고; 제1 포인트 클라우드 완성 네트워크는 제2 포인트 클라우드 완성 네트워크를 획득하기 위해 제3 손실 함수 및 제4 손실 함수에 기초하여 최적화될 수 있다. 위의 함수

는 제3 손실 함수로서 취해질 수 있고, 타겟 잠재 공간 벡터에 대응하는 타겟 함수는 제4 손실 함수로서 취해질 수 있다.

제1 포인트 클라우드 완성 네트워크를 훈련하고 최적화하는 위의 프로세스는 도 4에 예시되어 있다. 특히, 포인트 클라우드 완성 네트워크 N₁은 생성 적대적 네트워크에서 생성기로서 취해진다. 생성 적대적 네트워크는 생성기 G 및 판별기 D를 포함한다. 도 4에 예시된 2개의 D는 동일한 판별기일 수 있고, x_C는 x_C1 또는 x_C2이고, z는 z₁ 또는 z₂이고, x_in은 x_in1 또는 x_in2이다. 훈련 프로세스 동안, 생성기 G와 판별기 D 사이의 적대적 훈련이 채택된다. 무작위로 샘플링된 잠재 공간 벡터 z₁은 생성기 G의 입력으로서 취해지고, 샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터 x_in1은 판별기 D의 입력으로서 취해지고, 훈련의 목적은 판별기 D가 생성기 G에 의해 생성된 완전한 포인트 클라우드 데이터 x_C1를 샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터 x_in1과 구별하는 것을 어렵게 하고, 훈련된 포인트 클라우드 완성 네트워크 N₂가 더 완전한 포인트 클라우드 데이터를 출력하게 하는 것이다. 따라서, 훈련 스테이지에서, 잠재 공간 벡터 z₁ 및 포인트 클라우드 완성 네트워크 N₁ 내의 생성기의 파라미터들

은 기울기 하강 알고리즘(gradient descent algorithm)을 채택함으로써 최적화되어, 제1 손실 함수 및 제2 손실 함수 둘 다를 최소화하고 그에 의해 포인트 클라우드 완성 네트워크 N₂를 획득한다. 제1 손실 함수는 잠재 공간 벡터 z₁에 기초하여 포인트 클라우드 완성 네트워크 N₁에 의해 생성되는 완전한 포인트 클라우드 데이터 x_C1의 포인트-분포 특징에 기초하여 취득되고, 제2 손실 함수는 판별기로부터의 구별된 결과에 기초하여 취득된다. 훈련을 통해, 포인트 클라우드 완성 네트워크 N₁은 샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터에 기초하여 공간적 기하학의 더 나은 사전 정보를 학습할 수 있다. 훈련된 생성 적대적 네트워크에서 판별기 D의 중간 계층에 의해 출력된 특징들에 기초하여, 특징들 사이의 거리가 계산될 수 있다.

최적화 스테이지에서, 타겟 잠재 공간 벡터 z₂는 무작위로 샘플링된 복수의 원시 잠재 공간 벡터들로부터 취득될 수 있다. 타겟 잠재 공간 벡터 z₂를 포인트 클라우드 완성 네트워크 N₂에 입력하는 것을 통해, 포인트 클라우드 완성 네트워크 N₂에 의해 출력된 완전한 포인트 클라우드 데이터 x_C2가 획득된다. 제3 손실 함수는 완전한 포인트 클라우드 데이터 x_C2의 포인트-분포 특징에 기초하여 결정되고, 제4 손실 함수는 포인트 클라우드 데이터 x_p와 실제 포인트 클라우드 데이터 x_in2 사이의 거리에 기초하여 결정되고, 여기서 x_p는 열화 후에 완전한 포인트 클라우드 데이터 x_C2로부터 취득된다. 잠재 공간 벡터 z₂ 및 포인트 클라우드 완성 네트워크 N₂ 내의 생성기 G의 파라미터들

는 기울기 하강 알고리즘을 채택함으로써 최적화되어, 제3 손실 함수 및 제4 손실 함수 둘 다를 최소화하고, 그에 의해 포인트 클라우드를 완성하는 것을 담당하는 최종 포인트 클라우드 완성 네트워크로서 포인트 클라우드 완성 네트워크 N₃을 획득한다.

본 개시내용의 실시예들에 따르면, 완전한 포인트 클라우드 데이터 및 불완전한 포인트 클라우드 데이터로 구성되는 포인트 클라우드 쌍을 채택할 필요가 없다. 전체 훈련 프로세스가 임의의 특정 형태의 불완전한 포인트 클라우드를 수반하지 않기 때문에, 다양한 형태의 불완전한 포인트 클라우드들을 완성하는 것이 적합하고, 더 높은 일반화 성능을 가지며, 상이한 불완전한 정도들을 갖는 포인트 클라우드들에 대해 더 나은 강건성(robustness)을 갖는다. 더욱이, 최적화된 포인트 클라우드 완성 네트워크에 의해 생성된 포인트 클라우드 데이터에 대해, 미리 설정된 열화 프로세스가 수행된 후에, 실제 포인트 클라우드 데이터와의 그것의 차이가 다소 작아서, 포인트 클라우드 완성된 결과가 더 정확하다.

또한, 본 개시내용의 실시예들에 따르면, 제1 포인트 클라우드 데이터는 잠재 공간에서의 샘플링을 통해 취득되는 잠재 공간 벡터들에 기초하여 제1 포인트 클라우드 완성 네트워크로부터 취득되고, 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 생성된다. 제2 포인트 클라우드 완성 네트워크를 생성하는 동안 포인트 클라우드 데이터의 포인트-분포 특징이 고려되기 때문에, 훈련된 제2 포인트 클라우드 완성 네트워크는 포인트 클라우드 데이터의 포인트-분포 특징을 수정할 수 있고, 따라서 비교적 균일한 포인트-분포 특징을 갖는 포인트 클라우드 데이터를 출력할 수 있다.

일부 실시예들에서, 열화 프로세스는 다음의 방식으로 제1 포인트 클라우드 데이터에 대해 수행될 수 있다: 실제 포인트 클라우드 데이터 내의 임의의 타겟 포인트에 대해, 타겟 포인트에 가장 가까운 적어도 하나의 이웃 포인트가 제1 포인트 클라우드 데이터에서 결정되고; 실제 포인트 클라우드 데이터 내의 다양한 타겟 포인트들에 대응하여, 제1 포인트 클라우드 데이터 내의 각각의 이웃 포인트들의 합집합에 대해, 대응하는 포인트 클라우드 데이터로서 결정된다.

도 5에 예시된 바와 같이, P1는 실제 포인트 클라우드 데이터 x_in 내의 포인트이고, P1에 대응하는 제1 포인트 클라우드 데이터 x_c 내의 이웃 포인트들이 취득될 수 있다. 이웃 포인트들은 P1에 가장 가까운 x_c 내의 k개의 포인트, 즉 영역 S1에 도시된 포인트들을 포함할 수 있다. 유사하게, 실제 포인트 클라우드 데이터 x_in 내의 포인트 P2에 대응하는 제1 포인트 클라우드 데이터 x_c 내의 이웃 포인트들, 즉, 영역 S2에 도시된 포인트들이 취득될 수 있다. 유사하게, 실제 포인트 클라우드 데이터 x_in 내의 다른 타겟 포인트들에 대응하는 제1 포인트 클라우드 데이터 x_c내의 이웃 포인트들이 취득될 수 있다. 다른 타겟 포인트들은 실제 포인트 클라우드 데이터 x_in 내의 부분 포인트들, 예를 들어, 설정된 샘플링 레이트에 따라 실제 포인트 클라우드 데이터 x_in에서 균일하게 샘플링된 포인트들을 포함할 수 있다. 일부 실시예들에서, 설정된 샘플링 레이트 <1/k이므로, 열화 프로세스를 수행함으로써 취득된 대응하는 포인트 클라우드 데이터에서, 포인트들의 수는 감소된다. 다양한 타겟 포인트의 이웃 포인트들은 부분적으로 중첩할 수 있기 때문에, 다양한 타겟 포인트들의 이웃 포인트들의 합집합에 의해 형성된 포인트 클라우드는 열화 프로세스를 수행함으로써 제1 포인트 클라우드 데이터로부터 취득되는 대응하는 포인트 클라우드 데이터로서 결정될 수 있다.

제2 포인트 클라우드 완성 네트워크가 획득된 후에, 제2 포인트 클라우드 데이터는 제2 포인트 클라우드 완성 네트워크를 통해 완성될 수 있다. 입력된 제2 포인트 클라우드 데이터의 각각의 피스에 대해, 제2 포인트 클라우드 완성 네트워크는 하나 이상의 완전한 포인트 클라우드 데이터 후보를 출력할 수 있다. 도 6은 일부 실시예들에 따른 제1 포인트 클라우드 데이터 및 대응하는 완전한 포인트 클라우드 데이터 후보들의 개략적인 다이어그램이다. 제2 포인트 클라우드 데이터에 기초하여, 제2 포인트 클라우드 완성 네트워크는 선택을 위해 총 4개의 완전한 포인트 클라우드 데이터 후보를 출력하였다. 또한, 각각의 완전한 포인트 클라우드 데이터 후보에 대한 선택 명령어가 취득될 수 있고, 선택 명령어에 응답하여, 완전한 포인트 클라우드 데이터 후보들 중 하나가 제2 포인트 클라우드 데이터에 대응하는 완전한 포인트 클라우드 데이터로서 선택된다.

본 개시내용은 (깊이 카메라 또는 LiDAR과 같은) 3차원 센서가 장착된 임의의 장면에서 사용될 수 있고, 전체 장면의 불완전한 포인트 클라우드 데이터는 3차원 센서에 의해 스캐닝될 수 있다. 장면 내의 각각의 객체의 불완전한 포인트 클라우드 데이터에 대응하여, 완전한 포인트 클라우드 데이터가 제2 포인트 클라우드 완성 네트워크를 통해 생성되고, 그 후 전체 장면의 3차원 재구성이 수행될 수 있다. 재구성되는 장면은 장면 내의 인간 신체와 다른 객체 사이의 거리, 및 사람들 사이의 거리를 검출하는 것과 같이, 정확한 공간 정보를 제공할 수 있다. 공간 정보는 사람들을 객체들과 연관시키고, 사람들을 사람들과 연관시켜, 연관의 정확도를 개선하기 위해 사용될 수 있다.

일부 실시예들에서, 제2 포인트 클라우드 데이터의 다수의 프레임이 취득되고, 연관될 수 있다. 제2 포인트 클라우드 데이터의 다수의 프레임은 동일한 카테고리의 객체들의 제2 포인트 클라우드 데이터일 수 있다. 예를 들어, 게임 장면에서, 제2 포인트 클라우드 데이터의 각각의 프레임은 게임 참가자의 포인트 클라우드 데이터일 수 있다. 다수의 게임 참가자들의 포인트 클라우드 데이터를 연관시킴으로써, 동일한 게임 영역에서 동일한 게임에 참가하는 각각의 게임 참가자가 결정될 수 있다. 제2 포인트 클라우드 데이터의 다수의 프레임은 또한 상이한 카테고리들의 객체들의 제2 포인트 클라우드 데이터일 수 있다. 게임 장면을 예로서 여전히 취하면, 제2 포인트 클라우드 데이터의 다수의 프레임은 게임 참가자들의 포인트 클라우드 데이터 및 게임 객체들의 포인트 클라우드 데이터를 포함할 수 있다. 게임 참가자의 포인트 클라우드 데이터를 게임 객체의 포인트 클라우드 데이터와 연관시킴으로써, 게임 참가자와 게임 객체 사이의 관계, 예를 들어, 게임 코인, 게임 체스 및 카드, 및 게임 참가자에 속하는 현금; 게임 참가자가 위치하는 게임 영역; 및 게임 참가자가 앉아 있는 시트 등이 결정될 수 있다.

게임 참가자 또는 게임 장면에서의 게임 객체의 위치 및 상태는 실시간으로 변할 수 있다. 2명의 게임 참가자들 사이의 관계, 게임 참가자와 게임 객체 사이의 관계 또한 실시간으로 변할 수 있고, 실시간 변경 정보는 게임 상태의 분석 및 게임 진행의 모니터링에 매우 중요하다. 포인트 클라우드 수집 디바이스에 의해 수집된 게임 참가자들 및/또는 게임 객체들의 불완전한 포인트 클라우드 데이터가 완성되고, 이는 포인트 클라우드 데이터 사이의 연관성 결과의 정확도를 개선하고 연관성 결과에 기초하여 게임 상태 분석 및 게임 진행 모니터링의 결과들의 신뢰성을 추가로 개선하는 데 유익하다.

일부 실시예들에서, 제2 포인트 클라우드 데이터가 취득된 후에, 제2 포인트 클라우드 데이터에 포함된 객체가 식별되어, 객체의 카테고리를 결정할 수 있다. 연관 프로세스는 또한 식별 결과에 기초하여 제2 포인트 클라우드 데이터의 다수의 프레임에 대해 수행될 수 있다. 게다가, 연관 처리 및/또는 객체 식별의 정확도를 개선하기 위해, 연관 처리 및/또는 객체 식별이 수행되기 전에 제2 포인트 클라우드 데이터가 균질화(homogenized)될 수 있다.

일부 실시예들에서, 포인트 클라우드 수집 디바이스에 의해 수집된 원시 포인트 클라우드 데이터는 종종 복수의 객체의 포인트 클라우드 데이터를 포함한다. 쉽게 처리되기 위해, 3차원 공간에서 포인트 클라우드 수집 디바이스에 의해 수집된 원시 포인트 클라우드 데이터를 취득하고, 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 적어도 하나의 객체의 제2 포인트 클라우드 데이터를 획득하고, 제2 포인트 클라우드 완성 네트워크를 채택함으로써 제2 포인트 클라우드 데이터를 완성할 수 있다.

도 7에 예시된 바와 같이, 본 개시내용의 일부 실시예들은 또한 포인트 클라우드 데이터를 처리하는 방법을 제공하고, 방법은 다음의 단계들을 포함한다.

단계 701에서, 게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드가 취득되고, 여기서 게임 참가자 및 게임 객체는 게임 영역 내에 있다.

단계 702에서, 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드는 제2 포인트 클라우드 완성 네트워크에 입력되어 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드를 획득하고, 여기서 제2 포인트 클라우드 완성 네트워크는 사전-훈련되었고, 여기서 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드는 제2 포인트 클라우드 완성 네트워크에 의해 출력되고 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드에 각각 대응한다.

단계 703에서, 게임 참가자 및 게임 객체는 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드에 기초하여 연관된다.

제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 획득되고, 제1 포인트 클라우드 데이터는 하나 이상의 잠재 공간 벡터에 기초하여 제1 포인트 클라우드 완성 네트워크에 의해 생성된다.

게임 참가자는 게임 심판, 게임 플레이어, 및 게임 청중 중 적어도 하나를 포함할 수 있지만, 이들로 제한되지 않는다.

일부 실시예들에서, 게임 객체는 게임 영역에 배치된 게임 코인을 포함하고; 방법은: 게임 참가자에 의해 게임 영역에 배치되는 게임 코인이 제1 처리된 포인트 클라우드와 제2 처리된 포인트 클라우드 사이의 연관성 결과에 기초하여 결정되는 단계를 추가로 포함한다. 각각의 게임 참가자는 게임을 플레이하기 위한 특정 수의 게임 코인들을 가질 수 있다. 게임 참가자를 게임 코인들과 연관시킴으로써, 게임 참가자가 게임에 배치한 코인들의 수, 게임 참가자가 소유하고 게임의 상이한 스테이지들에 배치한 코인들의 수, 및 게임 프로세스에서의 동작들이 게임의 미리-설정된 규칙들에 따르는지의 여부를 결정할 수 있거나, 또는 게임이 끝날 때 배치된 칩들의 양 및 게임의 결과 둘 다에 기초하여 보상을 할 수 있다.

일부 실시예들에서, 방법은: 제1 처리된 포인트 클라우드 데이터 및 제2 처리된 포인트 클라우드 데이터의 연관성 결과에 기초하여 게임 객체에 대해 게임 참가자에 의해 수행된 액션을 결정하는 단계를 추가로 포함한다. 액션은 앉기, 코인 배치, 카드 딜링(dealing) 등을 포함할 수 있다.

일부 실시예들에서, 게임 영역 내에서 게임 참가자의 제1 처리될 포인트 클라우드 데이터 및 게임 객체의 제2 처리될 포인트 클라우드 데이터를 취득하는 단계는: 게임 영역 주위에 배열된 포인트 클라우드 수집 디바이스에 의해 수집된 원시 포인트 클라우드 데이터를 취득하는 단계; 및 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 게임 참가자의 제1 처리될 포인트 클라우드 데이터 및 게임 객체의 제2 처리될 포인트 클라우드 데이터를 획득하는 단계를 포함한다.

일부 실시예들에서, 제2 포인트 클라우드 완성 네트워크는 다수의 카테고리의 게임 참가자들의 제1 처리될 포인트 클라우드 데이터 및/또는 다수의 카테고리의 게임 객체들의 제2 처리될 포인트 클라우드 데이터를 완성하도록 구성된다. 이 경우에, 제2 포인트 클라우드 완성 네트워크를 훈련하기 위해 다수의 카테고리의 완전한 포인트 클라우드 데이터가 채택될 수 있고, 네트워크 최적화 스테이지에서 네트워크를 최적화하기 위해 다수의 카테고리의 실제 포인트 클라우드 데이터가 채택될 수 있다.

대안적으로, 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 완성 서브네트워크 및 제2 포인트 클라우드 완성 서브네트워크를 포함한다. 제1 포인트 클라우드 완성 서브네트워크는 제1 카테고리의 게임 참가자의 제1 처리될 포인트 클라우드 데이터를 완성하도록 구성되고, 제2 포인트 클라우드 완성 서브네트워크는 제2 카테고리의 게임 객체의 제2 처리될 포인트 클라우드 데이터를 완성하도록 구성된다. 이 경우에, 완전한 포인트 클라우드 데이터의 상이한 카테고리들은 상이한 포인트 클라우드 완성 서브네트워크들을 각각 훈련하기 위해 사용될 수 있고, 각각의 훈련된 포인트 클라우드 완성 서브네트워크는 대응하는 카테고리의 실제 포인트 클라우드 데이터에 기초하여 추가로 최적화된다.

본 개시내용의 실시예들에서 채택된 제2 포인트 클라우드 완성 네트워크는 포인트 클라우드 완성 네트워크를 생성하는 전술된 방법에 기초하여 생성될 수 있다. 상세 사항들에 대해서는, 포인트 클라우드 완성 네트워크를 생성하는 방법의 전술된 실시예들을 참조하고, 이는 여기서 반복되지 않을 것이다.

본 기술분야의 통상의 기술자는, 특정 구현의 설명된 방법들에서, 각각의 단계의 초안 작성(drafting) 순서는 엄격하게 실행된 순서가 구현 프로세스에 대한 임의의 제한을 형성한다는 것을 암시하지 않고, 각각의 단계의 구체적인 실행 순서는 그것의 기능 및 가능하게는 고유 로직에 의해 결정되어야 한다는 것을 이해할 수 있다.

도 8에 도시된 바와 같이, 본 개시내용은 또한 포인트 클라우드 완성 네트워크를 생성하기 위한 장치를 제공한다. 장치는:

잠재 공간에서의 샘플링을 통해 하나 이상의 잠재 공간 벡터를 취득하고, 하나 이상의 잠재 공간 벡터를 제1 포인트 클라우드 완성 네트워크에 입력함으로써 잠재 공간 벡터들에 기초하여 생성된 제1 포인트 클라우드 데이터를 취득하도록 구성되는 샘플링 모듈(801);

제1 포인트 클라우드 데이터의 포인트-분포 특징을 결정하도록 구성되는 결정 모듈(802); 및

포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정하여 제2 포인트 클라우드 완성 네트워크를 생성하도록 구성되는 생성 모듈(803)을 포함한다.

일부 실시예들에서, 장치는: 적어도 2개의 객체의 완성된 제2 포인트 클라우드 데이터에 기초하여 적어도 2개의 객체 사이의 연관성을 검출하도록 구성되는 검출 모듈을 추가로 포함한다.

도 9에 예시된 바와 같이, 본 개시내용은 또한 포인트 클라우드 데이터를 처리하기 위한 장치를 제공한다. 장치는:

게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드를 취득하도록 구성되는 취득 모듈(901)- 게임 참가자 및 게임 객체는 게임 영역 내에 있음 -;

제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드를 제2 포인트 클라우드 완성 네트워크에 입력하여 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드를 획득하도록 구성되는 입력 모듈(902)- 제2 포인트 클라우드 완성 네트워크는 사전-훈련되었고, 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드는 제2 포인트 클라우드 완성 네트워크에 의해 출력되고 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드에 각각 대응함 -; 및

제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드에 기초하여 게임 참가자와 게임 객체를 연관시키도록 구성되는 연관 모듈(903).

일부 실시예들에서, 게임 객체는 게임 영역에 배치된 게임 코인을 포함하고; 장치는: 제1 처리된 포인트 클라우드와 제2 처리된 포인트 클라우드 사이의 연관성 결과에 기초하여, 게임 참가자에 의해 게임 영역에 배치되는 게임 코인을 결정하도록 구성되는 게임 코인 결정 모듈을 추가로 포함한다.

일부 실시예들에서, 제2 포인트 클라우드 완성 네트워크는 다수의 카테고리의 게임 참가자들의 각각의 제1 처리될 포인트 클라우드 및/또는 다수의 카테고리의 게임 객체들의 각각의 제2 처리될 포인트 클라우드를 완성하도록 구성되거나; 또는 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 완성 서브네트워크 및 제2 포인트 클라우드 완성 서브네트워크를 포함하고, 여기서 제1 포인트 클라우드 완성 서브네트워크는 제1 카테고리의 게임 참가자의 제1 처리될 포인트 클라우드를 완성하도록 구성되고, 제2 포인트 클라우드 완성 서브네트워크는 제2 카테고리의 게임 객체의 제2 처리될 포인트 클라우드를 완성하도록 구성된다.

일부 실시예들에서, 본 개시내용의 실시예들에서 제공된 장치들에 포함된 기능들 또는 모듈들은 방법 실시예들에서 설명된 방법들을 실행하기 위해 사용될 수 있다. 그들의 특정 구현은 방법 실시예들의 설명을 참조할 수 있고, 간결성을 위해 여기서 반복되지 않을 것이다.

도 10에 예시된 바와 같이, 본 개시내용의 실시예들은 또한 포인트 클라우드 데이터를 처리하기 위한 시스템을 제공한다. 시스템은 포인트 클라우드 수집 디바이스(1001) 및 처리 유닛(1002)을 포함한다. 포인트 클라우드 수집 디바이스(1001)는 게임 영역(1003) 주위에 배열되고 게임 참가자(1004)의 제1 처리될 포인트 클라우드 및 게임 객체(1005)의 제2 처리될 포인트 클라우드를 수집하도록 구성되고, 여기서 게임 참가자(1004) 및 게임 객체(1005)는 게임 영역(1003) 내에 있다. 처리 유닛(1002)은 포인트 클라우드 수집 디바이스(1001)와 접속되어 통신하고, 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드를 제2 포인트 클라우드 완성 네트워크에 입력하여 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드를 획득하고, 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드에 기초하여 게임 참가자와 게임 객체를 연관시키도록 구성되고, 여기서 제2 포인트 클라우드 완성 네트워크는 사전-훈련되었고, 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드는 제2 포인트 클라우드 완성 네트워크에 의해 출력되고 제1 처리될 포인트 클라우드 및 제2 처리될 포인트 클라우드에 각각 대응한다.

일부 실시예들에서, 포인트 클라우드 수집 디바이스(1001)는 LiDAR 또는 깊이 카메라일 수 있다. 하나 이상의 포인트 클라우드 수집 디바이스(1001)가 게임 영역 주위에 배열될 수 있다. 상이한 포인트 클라우드 수집 디바이스들(1001)은 게임 영역 내에서 상이한 서브-영역들의 포인트 클라우드 데이터를 수집할 수 있고, 상이한 포인트 클라우드 수집 디바이스들(1001)에 의해 수집된 서브-영역들은 중첩될 수 있다.

게임 영역 내에는 한 명 이상의 게임 참가자가 있을 수 있다. 각각의 게임 참가자들은 게임 코인, 현금, 시트, 체스 및 카드, 로고 프로프(logo prop), 게임 테이블 등을 포함하지만 이에 제한되지 않는 하나 이상의 게임 객체들에 대응할 수 있다. 처리된 포인트 클라우드 데이터에 기초하여 타겟 객체를 식별함으로써, 상이한 포인트 클라우드 데이터에 포함된 객체들의 카테고리들이 결정될 수 있고, 각각의 카테고리의 객체들이 위치하는 공간 정보가 또한 결정될 수 있다. 제1 처리된 포인트 클라우드 데이터와 제2 처리된 포인트 클라우드 데이터를 연관시킴으로써, 다양한 게임 객체들과 게임 참가자들 사이의 관계가 취득될 수 있고, 게임 참가자에 의해 수행된 액션이 또한 결정될 수 있고, 따라서 게임 참가자에 의해 수행된 액션이 게임의 미리-설정된 규칙들에 따르는지의 여부가 결정될 수 있다.

본 명세서의 실시예들은 또한 적어도 메모리, 프로세서, 및 메모리에 저장되고 프로세서 상에서 실행가능한 컴퓨터 프로그램을 포함하는 컴퓨터 디바이스를 제공하며, 여기서 컴퓨터 프로그램은 프로세서에 의해 실행되어 실시예들 중 어느 하나에 따른 방법을 구현한다.

도 11은 본 설명의 일부 실시예들에 의해 제공된 컴퓨팅 디바이스의 보다 구체적인 하드웨어 구조 다이어그램을 예시하고, 이러한 디바이스는 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 통신 인터페이스(1104), 및 버스(1105)를 포함할 수 있다. 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 및 통신 인터페이스(1104)는 버스(1105)를 통해 디바이스 내부에서 서로 간의 통신 접속을 구현한다.

프로세서(1101)는 관련 프로그램들을 실행하여 본 설명의 실시예들에 의해 제공되는 기술적 해결책들을 구현하는 공통 중앙 처리 유닛(CPU), 마이크로프로세서, 주문형 집적 회로(ASIC), 또는 하나 이상의 집적 회로 등을 채택함으로써 구현될 수 있다. 프로세서(1101)는 또한 Nvidia titan X 그래픽 카드 또는 1080Ti 그래픽 카드와 같은 그래픽 카드를 포함할 수 있다.

메모리(1102)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 정적 저장 디바이스, 동적 저장 디바이스 등의 형태로 구현될 수 있다. 메모리(1102)는 운영 시스템 및 다른 애플리케이션 프로그램들을 저장할 수 있다. 본 명세서의 실시예들에 의해 제공되는 기술적 해결책들이 소프트웨어 또는 펌웨어를 통해 구현될 때, 관련 프로그램 코드들은 메모리(1102)에 저장되고 프로세서(1101)에 의해 호출되고 실행된다.

입력/출력 인터페이스(1103)는 정보 입력 및 출력을 실현하기 위해 입력/출력 모듈을 접속하도록 구성된다. 입력/출력 모듈은 디바이스에서 컴포넌트(도면들에 예시되지 않음)로서 구성될 수 있거나, 또는 대응하는 기능들을 제공하기 위해 디바이스에 부착될 수 있다. 입력 디바이스는 키보드, 마우스, 터치 스크린, 마이크로폰, 다양한 센서들 등을 포함할 수 있고, 출력 디바이스는 디스플레이, 스피커, 진동기, 표시등 등을 포함할 수 있다.

통신 인터페이스(1104)는 통신 모듈(도면들에 예시되지 않음)을 접속시켜 디바이스와 다른 디바이스들 사이의 통신 및 상호작용을 구현하도록 구성된다. 통신 모듈은 USB 및 네트워크 케이블과 같은 유선 수단을 통해, 또는 모바일 네트워크, WIFI, 및 블루투스와 같은 무선 수단을 통해 통신을 실현할 수 있다.

버스(1105)는 디바이스의 다양한 컴포넌트들, 예를 들어, 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 및 통신 인터페이스(1104) 사이에서 정보를 송신하는 경로를 포함한다.

디바이스는 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 통신 인터페이스(1104), 및 버스(1105)만을 예시하지만, 디바이스는, 특정 구현 프로세스에서, 정상 동작을 위한 다른 필요한 컴포넌트들을 또한 포함할 수 있다는 점에 유의해야 한다. 또한, 본 기술분야의 통상의 기술자는 전술된 디바이스는 단지 본 명세서의 실시예들의 해결책을 구현하는데 필요한 컴포넌트들을 포함할 수 있고, 반드시 도면에 예시된 모든 컴포넌트를 포함하는 것은 아니라는 것을 이해할 수 있다.

본 개시내용의 실시예들은 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체를 추가로 제공하고, 여기서 프로그램은 전술된 바와 같은 실시예들 중 임의의 하나에 따른 방법을 수행하기 위해 프로세서에 의해 실행된다.

컴퓨터 판독가능 매체는 영구적 및 비영구적, 이동식 및 비-이동식 매체를 포함하고, 정보 저장은 임의의 방법 또는 기술에 의해 실현될 수 있다. 정보는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터일 수 있다. 컴퓨터 저장 매체의 예들은 상 변화 메모리(phase change memory, PRAM), 정적 랜덤 액세스 메모리(static random access memory, SRAM), 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 다른 타입들의 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적 소거가능 프로그램가능 판독 전용 메모리(EEPROM), 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광 저장, 자기 카세트들, 자기 테이프 저장 또는 다른 자기 저장 디바이스들 또는 임의의 다른 비-송신 매체를 포함하지만, 이에 제한되지 않고, 컴퓨팅 디바이스들에 의해 액세스될 수 있는 정보를 저장하도록 구성될 수 있다. 이 논문에서의 정의에 따르면, 컴퓨터 판독가능 매체는 변조된 데이터 신호들 및 반송파들과 같은 일시적 매체를 포함하지 않는다.

위의 구현들의 설명으로부터, 본 기술분야의 통상의 기술자들은 본 명세서의 실시예들이 소프트웨어와 필요한 범용 하드웨어 플랫폼에 의해 구현될 수 있다는 것을 명확히 이해할 수 있다는 것을 알 수 있다. 이러한 이해에 기초하여, 본 설명의 실시예들의 기술적 해결책들에 대해, 그들의 필수 부분, 다시 말해서 선행 기술에 기여하는 부분은, 소프트웨어 제품의 형태로 구체화될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장될 수 있다. 예를 들어, ROM/RAM, 자기 디스크, 광 디스크 등. 컴퓨터 소프트웨어 제품은 컴퓨터 디바이스(개인용 컴퓨터, 서버, 또는 네트워크 디바이스 등일 수 있음)가 본 설명의 각각의 실시예 또는 실시예의 일부 부분에 설명된 방법을 실행할 수 있게 하는 수 개의 명령어들을 포함할 수 있다.

위의 실시예들에서 설명된 시스템들, 장치들, 모듈들, 또는 유닛들은 컴퓨터 칩들 또는 엔티티들에 의해 구현되거나, 특정 기능들을 갖는 제품들에 의해 구현될 수 있다. 전형적인 구현 장치는 컴퓨터이고, 컴퓨터의 특정 형태는 개인용 컴퓨터, 랩톱 컴퓨터, 셀룰러 폰, 카메라 폰, 스마트 폰, 개인 휴대 정보 단말(personal digital assistant), 미디어 플레이어, 내비게이션 디바이스, 이메일 송수신기 디바이스, 게임 콘솔, 태블릿 컴퓨터, 웨어러블 디바이스, 또는 이러한 디바이스들 중 임의의 것의 조합일 수 있다.

본 설명에서의 다양한 실시예들은 점진적인 방식으로 설명되고, 서로에 대해 서로 유사한 부분들이 참조될 수 있다. 각각의 실시예의 설명은 다른 실시예들과 상이하다. 특히, 장치 실시예들에 대해, 그들은 기본적으로 방법 실시예들과 유사하기 때문에, 설명이 단순화되고, 방법 실시예들의 설명의 대응하는 부분들이 참조될 수 있다. 전술된 장치 실시예들은, 별개의 컴포넌트들로서 설명된 모듈들이 물리적으로 분리되거나 또는 분리되지 않을 수 있고, 모듈들의 기능들은 본 설명의 실시예들이 구현될 때 하나 이상의 소프트웨어 및/또는 하드웨어로 구현될 수 있는 단지 개략적인 것들이다. 모듈들의 일부 또는 전부는 실시예들에서의 해결책들의 목적들을 구현하기 위해 실제 요건들에 따라 선택될 수 있다. 본 기술분야의 통상의 기술자들은 창의적인 작업 없이 본 개시내용을 이해하고 구현할 수 있다.

Claims

포인트 클라우드 완성 네트워크를 생성하는 방법으로서,
잠재 공간에서의 샘플링을 통해 하나 이상의 잠재 공간 벡터를 취득하는 단계;
상기 하나 이상의 잠재 공간 벡터를 제1 포인트 클라우드 완성 네트워크에 입력함으로써 상기 잠재 공간 벡터들에 기초하여 생성된 제1 포인트 클라우드 데이터를 취득하는 단계;
상기 제1 포인트 클라우드 데이터의 포인트-분포 특징을 결정하는 단계; 및
상기 포인트-분포 특징에 기초하여 상기 제1 포인트 클라우드 완성 네트워크를 조정하여 제2 포인트 클라우드 완성 네트워크를 생성하는 단계를 포함하는 방법.
제1항에 있어서, 상기 제1 포인트 클라우드 데이터의 상기 포인트-분포 특징을 결정하는 단계는:
상기 제1 포인트 클라우드 데이터에서 복수의 포인트 클라우드 블록을 결정하는 단계; 및
상기 복수의 포인트 클라우드 블록의 포인트 밀도 분산을 상기 제1 포인트 클라우드 데이터의 상기 포인트-분포 특징으로서 계산하는 단계를 포함하는 방법.
제2항에 있어서, 상기 제1 포인트 클라우드 데이터에서 상기 복수의 포인트 클라우드 블록을 결정하는 단계는:
상기 제1 포인트 클라우드 데이터에서, 복수의 시드 위치에서의 각각의 포인트들을 시드 포인트들로서 샘플링하는 단계; 및
상기 시드 포인트들 각각에 대해,
상기 시드 포인트의 복수의 이웃 포인트를 결정하는 단계, 및
상기 시드 포인트 및 상기 복수의 이웃 포인트를 하나의 포인트 클라우드 블록으로서 결정하는 단계를 포함하는 방법.
제3항에 있어서, 포인트 클라우드 블록의 포인트 밀도는 상기 포인트 클라우드 블록 내의 상기 시드 포인트와 상기 시드 포인트의 각각의 이웃 포인트 사이의 거리에 기초하여 결정되는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 포인트-분포 특징에 기초하여 상기 제1 포인트 클라우드 완성 네트워크를 조정하여 상기 제2 포인트 클라우드 완성 네트워크를 생성하는 단계는:
상기 제1 포인트 클라우드 데이터의 상기 포인트-분포 특징에 기초하여 제1 손실 함수를 확립하는 단계- 상기 제1 손실 함수는 상기 제1 포인트 클라우드 데이터 내의 상기 포인트들의 분포 균일성을 표현함 -;
상기 제1 포인트 클라우드 데이터 및 샘플 포인트 클라우드 데이터 세트로부터의 완전한 포인트 클라우드 데이터에 기초하여, 제2 손실 함수를 확립하는 단계- 상기 제2 손실 함수는 상기 제1 포인트 클라우드 데이터와 상기 완전한 포인트 클라우드 데이터 사이의 차이를 표현함 -; 및
상기 제1 손실 함수 및 상기 제2 손실 함수에 기초하여 상기 제1 포인트 클라우드 완성 네트워크를 훈련하여 상기 제2 포인트 클라우드 완성 네트워크를 획득하는 단계를 포함하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 포인트-분포 특징에 기초하여 상기 제1 포인트 클라우드 완성 네트워크를 조정하여 상기 제2 포인트 클라우드 완성 네트워크를 생성하는 단계는:
상기 제1 포인트 클라우드 데이터의 상기 포인트-분포 특징에 기초하여 제3 손실 함수를 확립하는 단계;
대응하는 포인트 클라우드 데이터와 물리적 공간에서 수집된 실제 포인트 클라우드 데이터 사이의 차이에 기초하여 제4 손실 함수를 확립하는 단계- 상기 대응하는 포인트 클라우드 데이터는 미리 설정된 열화 프로세스를 수행함으로써 상기 제1 포인트 클라우드 데이터로부터 취득됨 -; 및
상기 제3 손실 함수 및 상기 제4 손실 함수에 기초하여 상기 제1 포인트 클라우드 완성 네트워크를 최적화하여 상기 제2 포인트 클라우드 완성 네트워크를 획득하는 단계를 포함하는 방법.
제6항에 있어서, 상기 미리 설정된 열화 프로세스를 수행하는 것은:
상기 실제 포인트 클라우드 데이터 내의 임의의 타겟 포인트에 대응하여, 상기 타겟 포인트에 가장 가까운 상기 제1 포인트 클라우드 데이터 내의 적어도 하나의 이웃 포인트를 결정하는 것; 및
상기 실제 포인트 클라우드 데이터 내의 다양한 타겟 포인트들에 대응하는 상기 제1 포인트 클라우드 데이터 내의 각각의 이웃 포인트들의 합집합을 상기 대응하는 포인트 클라우드 데이터로서 결정하는 것을 포함하는 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
3차원(3D) 공간에서 포인트 클라우드 수집 디바이스에 의해 수집된 원시 포인트 클라우드 데이터를 취득하는 단계;
상기 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 적어도 하나의 객체의 제2 포인트 클라우드 데이터를 획득하는 단계; 및
상기 제2 포인트 클라우드 완성 네트워크를 채택함으로써 상기 제2 포인트 클라우드 데이터를 완성하는 단계를 추가로 포함하는 방법.
제8항에 있어서,
적어도 2개의 객체의 완성된 제2 포인트 클라우드 데이터에 기초하여 적어도 2개의 객체 사이의 연관을 검출하는 단계를 포함하는 방법.
포인트 클라우드 데이터를 처리하는 방법으로서,
게임 영역 내에서 게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드를 취득하는 단계;
상기 제1 처리될 포인트 클라우드 및 상기 제2 처리될 포인트 클라우드를 제2 포인트 클라우드 완성 네트워크에 입력하여 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드를 취득하는 단계
- 상기 제2 포인트 클라우드 완성 네트워크는 사전-훈련되었고,
상기 제1 처리된 포인트 클라우드 및 상기 제2 처리된 포인트 클라우드는 상기 제2 포인트 클라우드 완성 네트워크에 의해 출력되고 상기 제1 처리될 포인트 클라우드 및 상기 제2 처리될 포인트 클라우드에 각각 대응함 -; 및
상기 제1 처리된 포인트 클라우드 및 상기 제2 처리된 포인트 클라우드에 기초하여 상기 게임 참가자와 상기 게임 객체를 연관시키는 단계를 포함하고;
상기 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 획득되고, 상기 제1 포인트 클라우드 데이터는 하나 이상의 잠재 공간 벡터에 기초하여 상기 제1 포인트 클라우드 완성 네트워크에 의해 생성되는 방법.
제10항에 있어서, 상기 게임 객체는 상기 게임 영역에 배치된 게임 코인을 포함하고; 상기 방법은,
상기 제1 처리된 포인트 클라우드와 상기 제2 처리된 포인트 클라우드 사이의 연관성 결과에 기초하여, 상기 게임 참가자에 의해 상기 게임 영역에 배치되는 상기 게임 코인을 결정하는 단계를 추가로 포함하는 방법.
제10항 또는 제11항에 있어서,
상기 제1 처리된 포인트 클라우드와 상기 제2 처리된 포인트 클라우드 사이의 연관성 결과에 기초하여, 상기 게임 참가자에 의해 상기 게임 객체에 대해 수행된 액션을 결정하는 단계를 추가로 포함하는 방법.
제10항 내지 제12항 중 어느 한 항에 있어서, 상기 게임 영역 내에서 상기 게임 참가자의 상기 제1 처리될 포인트 클라우드 및 상기 게임 객체의 상기 제2 처리될 포인트 클라우드를 취득하는 단계는:
상기 게임 영역 주위에 배열된 포인트 클라우드 수집 디바이스에 의해 수집되는 원시 포인트 클라우드 데이터를 취득하는 단계; 및
상기 원시 포인트 클라우드 데이터에 대해 포인트 클라우드 세그먼트화를 수행하여 상기 게임 참가자의 상기 제1 처리될 포인트 클라우드 및 상기 게임 객체의 상기 제2 처리될 포인트 클라우드를 획득하는 단계를 포함하는 방법.
제10항 내지 제13항 중 어느 한 항에 있어서,
상기 제2 포인트 클라우드 완성 네트워크는 다양한 카테고리들의 게임 참가자들의 상기 각각의 제1 처리될 포인트 클라우드 및/또는 다양한 카테고리들의 게임 객체들의 상기 각각의 제2 처리될 포인트 클라우드를 완성하도록 구성되거나; 또는
상기 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 완성 서브네트워크 및 제2 포인트 클라우드 완성 서브네트워크를 포함하고, 상기 제1 포인트 클라우드 완성 서브네트워크는 제1 카테고리의 상기 게임 참가자의 상기 제1 처리될 포인트 클라우드를 완성하도록 구성되고, 상기 제2 포인트 클라우드 완성 서브네트워크는 제2 카테고리의 상기 게임 객체의 상기 제2 처리될 포인트 클라우드를 완성하도록 구성되는 방법.
포인트 클라우드 완성 네트워크를 생성하기 위한 장치로서,
잠재 공간에서의 샘플링을 통해 하나 이상의 잠재 공간 벡터를 취득하고, 상기 하나 이상의 잠재 공간 벡터를 제1 포인트 클라우드 완성 네트워크에 입력함으로써 상기 잠재 공간 벡터들에 기초하여 생성된 제1 포인트 클라우드 데이터를 취득하도록 구성되는 샘플링 모듈;
상기 제1 포인트 클라우드 데이터의 포인트-분포 특징을 결정하도록 구성되는 결정 모듈; 및
상기 포인트-분포 특징에 기초하여 상기 제1 포인트 클라우드 완성 네트워크를 조정하여 제2 포인트 클라우드 완성 네트워크를 생성하도록 구성되는 생성 모듈을 포함하는 장치.
포인트 클라우드 데이터를 처리하기 위한 장치로서,
게임 영역 내에서 게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드를 취득하도록 구성되는 취득 모듈;
상기 제1 처리될 포인트 클라우드 및 상기 제2 처리될 포인트 클라우드를 제2 포인트 클라우드 완성 네트워크에 입력하여 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드를 획득하도록 구성되는 입력 모듈
- 상기 제2 포인트 클라우드 완성 네트워크는 사전-훈련되었고,
상기 제1 처리된 포인트 클라우드 및 상기 제2 처리된 포인트 클라우드는 상기 제2 포인트 클라우드 완성 네트워크에 의해 출력되고 상기 제1 처리될 포인트 클라우드 및 상기 제2 처리될 포인트 클라우드에 각각 대응함 -; 및
상기 제1 처리된 포인트 클라우드 및 상기 제2 처리된 포인트 클라우드에 기초하여 상기 게임 참가자와 상기 게임 객체를 연관시키도록 구성되는 연관 모듈을 포함하고;
상기 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 획득되고, 상기 제1 포인트 클라우드 데이터는 하나 이상의 잠재 공간 벡터에 기초하여 상기 제1 포인트 클라우드 완성 네트워크에 의해 생성되는 장치.
포인트 클라우드 데이터를 처리하기 위한 시스템으로서,
게임 영역 주위에 배열되고, 상기 게임 영역 내에서 게임 참가자의 제1 처리될 포인트 클라우드 및 게임 객체의 제2 처리될 포인트 클라우드를 수집하도록 구성되는 포인트 클라우드 수집 디바이스; 및
상기 포인트 클라우드 수집 디바이스와 접속되어 통신하고, 상기 제1 처리될 포인트 클라우드 및 상기 제2 처리될 포인트 클라우드를 제2 포인트 클라우드 완성 네트워크에 입력하여 제1 처리된 포인트 클라우드 및 제2 처리된 포인트 클라우드를 획득하고, 상기 제1 처리된 포인트 클라우드 및 상기 제2 처리된 포인트 클라우드에 기초하여 상기 게임 참가자와 상기 게임 객체를 연관시키도록 구성되는 처리 유닛을 포함하고,
상기 제2 포인트 클라우드 완성 네트워크는 사전-훈련되었고;
상기 제1 처리된 포인트 클라우드 및 상기 제2 처리된 포인트 클라우드는 상기 제2 포인트 클라우드 완성 네트워크에 의해 출력되고 상기 제1 처리될 포인트 클라우드 및 상기 제2 처리될 포인트 클라우드에 각각 대응하고;
상기 제2 포인트 클라우드 완성 네트워크는 제1 포인트 클라우드 데이터의 포인트-분포 특징에 기초하여 제1 포인트 클라우드 완성 네트워크를 조정함으로써 획득되고, 상기 제1 포인트 클라우드 데이터는 하나 이상의 잠재 공간 벡터에 기초하여 상기 제1 포인트 클라우드 완성 네트워크에 의해 생성되는 시스템.
컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체로서, 상기 프로그램은 프로세서에 의해 실행되어 제1항 내지 제14항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 판독가능 저장 매체.
컴퓨터 디바이스로서, 메모리, 프로세서, 및 상기 메모리에 저장되고 상기 프로세서 상에서 실행가능한 컴퓨터 프로그램을 포함하고, 상기 프로세서는 상기 프로그램을 실행하여 제1항 내지 제14항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 디바이스.
컴퓨터 프로그램 제품으로서, 컴퓨터 판독가능 코드들을 포함하고, 상기 컴퓨터 판독가능 코드들은 프로세서에 의해 실행되어 제1항 내지 제14항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램 제품.