[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20230102540A - 3차원 포인트 클라우드의 정합 방법 및 장치 - Google Patents

3차원 포인트 클라우드의 정합 방법 및 장치 Download PDF

Info

Publication number
KR20230102540A
KR20230102540A KR1020210192744A KR20210192744A KR20230102540A KR 20230102540 A KR20230102540 A KR 20230102540A KR 1020210192744 A KR1020210192744 A KR 1020210192744A KR 20210192744 A KR20210192744 A KR 20210192744A KR 20230102540 A KR20230102540 A KR 20230102540A
Authority
KR
South Korea
Prior art keywords
point cloud
points
point
matching
local graph
Prior art date
Application number
KR1020210192744A
Other languages
English (en)
Inventor
이만희
박창준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210192744A priority Critical patent/KR20230102540A/ko
Priority to US18/084,352 priority patent/US20230215100A1/en
Publication of KR20230102540A publication Critical patent/KR20230102540A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

메모리 내에 저장된 프로그램을 실행하여, 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계, 유사도 함수를 사용하여 로컬 그래프를 정합하고, 정합된 로컬 그래프 내에서 특징 정합 쌍을 결정하는 단계, 그리고 특징 정합 쌍을 사용하여 3차원 포인트 클라우드의 정합을 위한 강체 변환 행렬을 추정하는 단계를 수행하는 장치가 제공된다.

Description

3차원 포인트 클라우드의 정합 방법 및 장치{METHOD AND APPARATUS FOR MATCHING 3D POINT CLOUD USING A LOCAL GRAPH}
본 기재는 로컬 그래프를 이용하여 3차원 포인트 클라우드를 정합시키는 방법 및 장치에 관한 것이다.
3차원 포인트 클라우드 정합은 일반적으로 3차원 포인트에 대한 특징을 추출 및 기술하는 단계와, 추출된 특징을 정합시킴으로써 강체 변환의 R 및 t를 획득하는 단계를 포함한다.
3차원 포인트에 대한 특징을 기술하는 단계는, 2차원 영상과 유사하게, 기존의 샘플링 기반 특징 기술 방법 및 학습기반 특징 기술 방법으로 구분될 수 있고, 최근 학습기반 특징 기술 방법이 좋은 성능을 나타내고 있다.
3차원 특징을 정합시켜 강체 변환을 획득하는 단계는 RANSAC 및 P3P 등을 이용한 전통적인 방법들과, 최근 PointDSC와 같은 학습기반의 방법들로 분류될 수 있다.
RANSAC은, 입력 정합 쌍 중 임의의 대응점을 이용해 강체 변환을 계산한 뒤 전체 대응점에 대한 기하 오차를 계산하고, 이러한 계산 과정을 반복함으로써 오차를 최소로 하는 강체 변환을 추정한다. 이 방법은 오랫동안 많은 분야에서 사용되어 왔으나, 항상 최상의 결과를 나타내는 것을 보장할 수 없다. 특히 RANSAC은 inlier 정합 쌍의 비율이 작을 경우 반복 횟수가 증가하거나 올바른 값을 찾기 어려운 단점을 가진다.
PointDSC와 같은 학습 기반의 강체 변환 추정 기법은, RANSAC 등 기존 방법들보다 더 정확한 결과를 얻을 수 있지만, 기존 방법들과 마찬가지로 inlier의 수가 적을 경우 성능이 저하되고 학습 데이터에 의존적인 단점을 가진다.
한 실시예는, 3차원 포인트 클라우드를 정합시키는 장치를 제공한다.
다른 실시예는, 3차원 포인트 클라우드를 정합시키는 방법을 제공한다.
한 실시예에 따르면, 3차원 포인트 클라우드를 정합하는 장치가 제공된다. 상기 장치는 프로세서 및 메모리를 포함하고, 상기 프로세서는 상기 메모리 내에 저장된 프로그램을 실행하여, 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계, 그리고 로컬 그래프를 사용하여 3차원 포인트 클라우드의 정합을 위한 강체 변환 행렬을 추정하는 단계를 수행한다.
상기 프로세서는 프로그램을 실행하여, 적어도 하나의 센서로부터 3차원 포인트 클라우드를 획득하는 단계를 더 수행할 수 있다.
상기 프로세서는 프로그램을 실행하여, 3차원 포인트 클라우드 내의 각 3차원 포인트의 특징 기술자를 생성하는 단계, 그리고 3차원 포인트 클라우드 내의 모든 3차원 포인트 간의 기술자 차이를 계산하는 단계를 더 수행할 수 있다.
상기 프로세서는 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계를 수행할 때, 3차원 포인트 클라우드 내의 3차원 포인트 간의 중복 영역을 계산하는 단계, 그리고 중복되지 않는 것으로 판단된 3차원 포인트를 그래프 노드에 포함시키는 단계를 수행할 수 있다.
상기 프로세서는 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계를 수행할 때, 그래프 노드에 포함된 3차원 포인트 중 제1 3차원 포인트와 그래프 노드에 포함된 3차원 포인트 중 제1 3차원 포인트를 제외한 나머지 3차원 포인트 간의 관계를 바탕으로 로컬 그래프를 생성하는 단계를 더 수행할 수 있다.
상기 로컬 그래프는 제1 3차원 포인트와 나머지 3차원 포인트 간의 엣지를 포함할 수 있다.
상기 로컬 그래프는 제1 3차원 포인트의 속성을 포함하고, 제1 3차원 포인트의 속성은 제1 3차원 포인트와 나머지 3차원 포인트 간의 거리, 제1 3차원 포인트에 대한 나머지 3차원 포인트의 각도, 및 제1 3차원 포인트의 특징 기술자와 나머지 3차원 포인트의 특징 기술자의 차이 중 적어도 하나를 포함할 수 있다.
상기 프로세서는, 로컬 그래프를 사용하여 3차원 포인트 클라우드의 정합을 위한 강체 변환 행렬을 추정하는 단계를 수행할 때, 유사도 함수를 사용하여 로컬 그래프를 정합하고, 정합된 로컬 그래프 내에서 특징 정합 쌍을 결정하는 단계, 그리고 특징 정합 쌍을 사용하여 강체 변환 행렬을 추정하는 단계를 수행할 수 있다.
다른 실시예에 따르면 3차원 포인트 클라우드를 정합하는 방법이 제공된다. 상기 방법은, 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계, 그리고 로컬 그래프를 사용하여 3차원 포인트 클라우드의 정합을 위한 강체 변환 행렬을 추정하는 단계를 포함한다.
상기 방법은 적어도 하나의 센서로부터 3차원 포인트 클라우드를 획득하는 단계를 더 포함할 수 있다.
상기 방법은, 3차원 포인트 클라우드 내의 각 3차원 포인트의 특징 기술자를 생성하는 단계, 그리고 3차원 포인트 클라우드 내의 모든 3차원 포인트 간의 기술자 차이를 계산하는 단계를 더 포함할 수 있다.
상기 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계는, 3차원 포인트 클라우드 내의 3차원 포인트 간의 중복 영역을 계산하는 단계, 그리고 중복되지 않는 것으로 판단된 3차원 포인트를 그래프 노드에 포함시키는 단계를 포함할 수 있다.
상기 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계는, 그래프 노드에 포함된 3차원 포인트 중 제1 3차원 포인트와 그래프 노드에 포함된 3차원 포인트 중 제1 3차원 포인트를 제외한 나머지 3차원 포인트 간의 관계를 바탕으로 로컬 그래프를 생성하는 단계를 더 포함할 수 있다.
상기 로컬 그래프는 제1 3차원 포인트와 나머지 3차원 포인트 간의 엣지를 포함할 수 있다.
상기 로컬 그래프는 제1 3차원 포인트의 속성을 포함하고, 제1 3차원 포인트의 속성은 제1 3차원 포인트와 나머지 3차원 포인트 간의 거리, 제1 3차원 포인트에 대한 나머지 3차원 포인트의 각도, 및 제1 3차원 포인트의 특징 기술자와 나머지 3차원 포인트의 특징 기술자의 차이 중 적어도 하나를 포함할 수 있다.
상기 로컬 그래프를 사용하여 3차원 포인트 클라우드의 정합을 위한 강체 변환 행렬을 추정하는 단계는, 유사도 함수를 사용하여 로컬 그래프를 정합하고, 정합된 로컬 그래프 내에서 특징 정합 쌍을 결정하는 단계, 그리고 특징 정합 쌍을 사용하여 강체 변환 행렬을 추정하는 단계를 포함할 수 있다.
로컬 그래프를 사용하여 3차원 포인트 클라우드의 특징을 기술하고, 로컬 그래프의 유사도 함수를 사용하여 특징을 정합함으로써 3차원 포인트 클라우드의 정합의 성능 및 정확도가 향상될 수 있다.
도 1은 한 실시예에 따른 로컬 그래프를 사용하여 3차원 포인트 클라우드를 정합시키는 방법을 나타낸 흐름도이다.
도 2는 한 실시예에 따른 3차원 포인트 클라우드의 정합 장치를 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
본 명세서에서 "및/또는"은 언급된 구성 요소들의 각각 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서, 제1, 제2 등과 같이 서수를 포함하는 용어들은 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.
도 1은 한 실시예에 따른 로컬 그래프를 사용하여 3차원 포인트 클라우드를 정합시키는 방법을 나타낸 흐름도이다.
도 1을 참조하면, 한 실시예에 따른 로컬 그래프(local graph)를 사용한 3차원 포인트 클라우드의 정합 장치는 각종 센서(예를 들어, Lidar 센서, 깊이 센서, RGB-D 센서)로부터 3차원 포인트 클라우드ㅇㄹ를 획득할 수 있다(S110).
한 실시예에 따른 정합 장치는 획득된 3차원 포인트 클라우드에 대해 특징 기술자(feature descriptor)를 생성하고, 획득된 3차원 포인트 클라우드 내의 모든 3차원 포인트 간의 기술자 차이를 계산하고, 계산된 기술자 차이에 따라 3차원 포인트 클라우드 내의 3차원 포인트를 정렬할 수 있다(S120). 이때 정합 장치는 3차원 특징 기술자를 사용하여 하나의 3차원 포인트
Figure pat00001
를 그래프의 노드
Figure pat00002
에 포함시킬 수 있다. 그리고 3차원 포인트
Figure pat00003
와 나머지 모든 3차원 포인트 간의 특징 기술자 차이를 계산할 수 있다. 한 실시예에 따른 정합 장치는 계산된 특징 기술자의 차이에 따라 3차원 포인트를 내림차순으로 정렬할 수 있다.
다음으로 한 실시예에 따른 정합 장치는 정렬된 3차원 포인트의 중복 영역을 계산할 수 있다(S130). 한 실시예에 따른 정합 장치는 각 3차원 포인트로부터 거리
Figure pat00004
내에서 다른 3차원 포인트의 중복 영역을 계산할 수 있다. 여기서 정합 장치는 내림차순으로 정렬된 3차원 포인트의 순서대로 중복 영역을 계산할 수 있다. 그리고 정합 장치는 3차원 포인트 중에서 중복되지 않은
Figure pat00005
개의 포인트
Figure pat00006
를 그래프의 노드
Figure pat00007
에 포함시킬 수 있다. 예를 들어, 내림차순으로 정렬된 15개의 3차원 포인트가 그래프의 노드
Figure pat00008
내에 포함되어 있을 때, 16번째 3차원 포인트와 그래프 노드에 포함된 15개의 포인트 간의 중복 영역이 비교되고, 포인트 간의 거리가 미리 결정된 임계치 이하일 때, 16번째 3차원 포인트는 중복 영역이 있는 것으로 판단될 수 있다.
다음, 한 실시예에 따른 정합 장치는 3차원 포인트
Figure pat00009
와 그래프의 노드
Figure pat00010
내에 포함된 모든 3차원 포인트
Figure pat00011
사이의 거리 및 각도를 계산할 수 있다(S140). 그리고 한 실시예에 따른 정합 장치는 그래프의 노드
Figure pat00012
내의 3차원 포인트 간의 거리 및 각도를 바탕으로 엣지
Figure pat00013
를 갖는 로컬 그래프
Figure pat00014
를 생성할 수 있다(S150). 로컬 그래프
Figure pat00015
는 레벨 1인 트리 형태일 수 있고, 아래 수학식 1과 같이 표현될 수 있다.
Figure pat00016
수학식 1에서 엣지
Figure pat00017
는 3차원 포인트
Figure pat00018
와 그래프 노드
Figure pat00019
내에 포함된 다른 3차원 포인트
Figure pat00020
간의 연결일 수 있다. 그리고 수학식 1에서
Figure pat00021
는 3차원 포인트
Figure pat00022
의 속성(attribute)이다.
Figure pat00023
는 3차원 포인트
Figure pat00024
(즉, 그래프 내의 기준 노드)와 다른 3차원 포인트
Figure pat00025
들 간의 거리, 3차원 포인트
Figure pat00026
에 대한 다른 3차원 포인트
Figure pat00027
의 각도, 및 3차원 포인트
Figure pat00028
와 다른 3차원 포인트
Figure pat00029
간의 특징 기술자 차이를 포함할 수 있다.
한 실시예에 따른 정합 장치는 유사도 함수
Figure pat00030
를 사용하여 모든 로컬 그래프
Figure pat00031
를 정합하고, 정합된 로컬 그래프에서 특징 정합 쌍을 결정할 수 있다(S160). 유사도 함수는 아래 수학식 2와 같이 표현될 수 있다.
Figure pat00032
이후 한 실시예에 따른 정합 장치는 결정된 특징 정합 쌍을 사용하여 강체 변환 행렬을 추정할 수 있다(S170).
위에서 설명한 대로, 로컬 그래프를 사용하여 3차원 포인트 클라우드의 특징을 기술하고, 로컬 그래프의 유사도 함수를 사용하여 특징을 정합함으로써 3차원 포인트 클라우드의 정합 성능을 높일 수 있다. 즉, 3차원 포인트 클라우드의 기하학적인 특징을 사용하여 특징 정합의 정확도를 향상시킬 수 있다.
도 2는 한 실시예에 따른 3차원 포인트 클라우드의 정합 장치를 나타낸 블록도이다.
한 실시예에 따른 정합 장치는, 컴퓨터 시스템, 예를 들어 컴퓨터 판독 가능 매체로 구현될 수 있다. 도 2를 참조하면, 컴퓨터 시스템(200)은, 버스(270)를 통해 통신하는 프로세서(210), 메모리(230), 입력 인터페이스 장치(250), 출력 인터페이스 장치(260), 및 저장 장치(240) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(200)은 또한 네트워크에 결합된 통신 장치(220)를 포함할 수 있다. 프로세서(210)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(230) 또는 저장 장치(240)에 저장된 명령 및/또는 프로그램을 실행하는 반도체 장치일 수 있다. 메모리(230) 및 저장 장치(240)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.
따라서, 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.
통신 장치(220)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.
한편, 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. 구체적으로, 실시예에 따른 방법(예를 들어, 방법 등)은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 실시예에 대하여 상세하게 설명하였지만 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 권리범위에 속하는 것이다.

Claims (16)

  1. 3차원 포인트 클라우드를 정합하는 장치로서,
    프로세서 및 메모리를 포함하고,
    상기 프로세서는 상기 메모리 내에 저장된 프로그램을 실행하여,
    상기 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 상기 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계, 그리고
    상기 로컬 그래프를 사용하여 상기 3차원 포인트 클라우드의 정합을 위한 강체 변환 행렬을 추정하는 단계
    를 수행하는, 장치.
  2. 제1항에서,
    상기 프로세서는 상기 프로그램을 실행하여,
    적어도 하나의 센서로부터 상기 3차원 포인트 클라우드를 획득하는 단계
    를 더 수행하는, 장치.
  3. 제1항에서,
    상기 프로세서는 상기 프로그램을 실행하여,
    상기 3차원 포인트 클라우드 내의 각 3차원 포인트의 특징 기술자를 생성하는 단계, 그리고
    상기 3차원 포인트 클라우드 내의 모든 3차원 포인트 간의 기술자 차이를 계산하는 단계
    를 더 수행하는, 장치.
  4. 제3항에서,
    상기 프로세서는 상기 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 상기 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계를 수행할 때,
    상기 3차원 포인트 클라우드 내의 3차원 포인트 간의 중복 영역을 계산하는 단계, 그리고
    중복되지 않는 것으로 판단된 3차원 포인트를 그래프 노드에 포함시키는 단계
    를 수행하는, 장치.
  5. 제4항에서,
    상기 프로세서는 상기 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 상기 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계를 수행할 때,
    상기 그래프 노드에 포함된 3차원 포인트 중 제1 3차원 포인트와 상기 그래프 노드에 포함된 3차원 포인트 중 상기 제1 3차원 포인트를 제외한 나머지 3차원 포인트 간의 관계를 바탕으로 상기 로컬 그래프를 생성하는 단계
    를 더 수행하는, 장치.
  6. 제5항에서,
    상기 로컬 그래프는 상기 제1 3차원 포인트와 상기 나머지 3차원 포인트 간의 엣지를 포함하는, 장치.
  7. 제5항에서,
    상기 로컬 그래프는 상기 제1 3차원 포인트의 속성을 포함하고, 상기 제1 3차원 포인트의 속성은 상기 제1 3차원 포인트와 상기 나머지 3차원 포인트 간의 거리, 상기 제1 3차원 포인트에 대한 상기 나머지 3차원 포인트의 각도, 및 상기 제1 3차원 포인트의 특징 기술자와 상기 나머지 3차원 포인트의 특징 기술자의 차이 중 적어도 하나를 포함하는, 장치.
  8. 제1항에서,
    상기 프로세서는, 상기 로컬 그래프를 사용하여 상기 3차원 포인트 클라우드의 정합을 위한 강체 변환 행렬을 추정하는 단계를 수행할 때,
    유사도 함수를 사용하여 상기 로컬 그래프를 정합하고, 정합된 로컬 그래프 내에서 특징 정합 쌍을 결정하는 단계, 그리고
    상기 특징 정합 쌍을 사용하여 상기 강체 변환 행렬을 추정하는 단계
    를 수행하는, 장치.
  9. 3차원 포인트 클라우드를 정합하는 방법으로서,
    상기 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 상기 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계, 그리고
    상기 로컬 그래프를 사용하여 상기 3차원 포인트 클라우드의 정합을 위한 강체 변환 행렬을 추정하는 단계
    를 포함하는 방법.
  10. 제9항에서,
    적어도 하나의 센서로부터 상기 3차원 포인트 클라우드를 획득하는 단계
    를 더 포함하는 방법.
  11. 제9항에서,
    상기 3차원 포인트 클라우드 내의 각 3차원 포인트의 특징 기술자를 생성하는 단계, 그리고
    상기 3차원 포인트 클라우드 내의 모든 3차원 포인트 간의 기술자 차이를 계산하는 단계
    를 더 포함하는 방법.
  12. 제11항에서,
    상기 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 상기 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계는,
    상기 3차원 포인트 클라우드 내의 3차원 포인트 간의 중복 영역을 계산하는 단계, 그리고
    중복되지 않는 것으로 판단된 3차원 포인트를 그래프 노드에 포함시키는 단계
    를 포함하는, 방법.
  13. 제12항에서,
    상기 3차원 포인트 클라우드 내의 3차원 포인트 간의 거리 및 각도를 바탕으로 상기 3차원 포인트 클라우드에 대한 로컬 그래프를 생성하는 단계는,
    상기 그래프 노드에 포함된 3차원 포인트 중 제1 3차원 포인트와 상기 그래프 노드에 포함된 3차원 포인트 중 상기 제1 3차원 포인트를 제외한 나머지 3차원 포인트 간의 관계를 바탕으로 상기 로컬 그래프를 생성하는 단계
    를 더 포함하는, 방법.
  14. 제13항에서,
    상기 로컬 그래프는 상기 제1 3차원 포인트와 상기 나머지 3차원 포인트 간의 엣지를 포함하는, 방법.
  15. 제13항에서,
    상기 로컬 그래프는 상기 제1 3차원 포인트의 속성을 포함하고, 상기 제1 3차원 포인트의 속성은 상기 제1 3차원 포인트와 상기 나머지 3차원 포인트 간의 거리, 상기 제1 3차원 포인트에 대한 상기 나머지 3차원 포인트의 각도, 및 상기 제1 3차원 포인트의 특징 기술자와 상기 나머지 3차원 포인트의 특징 기술자의 차이 중 적어도 하나를 포함하는, 방법.
  16. 제9항에서,
    상기 로컬 그래프를 사용하여 상기 3차원 포인트 클라우드의 정합을 위한 강체 변환 행렬을 추정하는 단계는,
    유사도 함수를 사용하여 상기 로컬 그래프를 정합하고, 정합된 로컬 그래프 내에서 특징 정합 쌍을 결정하는 단계, 그리고
    상기 특징 정합 쌍을 사용하여 상기 강체 변환 행렬을 추정하는 단계
    를 포함하는, 방법.
KR1020210192744A 2021-12-30 2021-12-30 3차원 포인트 클라우드의 정합 방법 및 장치 KR20230102540A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210192744A KR20230102540A (ko) 2021-12-30 2021-12-30 3차원 포인트 클라우드의 정합 방법 및 장치
US18/084,352 US20230215100A1 (en) 2021-12-30 2022-12-19 Method and apparatus for matching 3d point cloud using a local graph

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210192744A KR20230102540A (ko) 2021-12-30 2021-12-30 3차원 포인트 클라우드의 정합 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230102540A true KR20230102540A (ko) 2023-07-07

Family

ID=86992023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210192744A KR20230102540A (ko) 2021-12-30 2021-12-30 3차원 포인트 클라우드의 정합 방법 및 장치

Country Status (2)

Country Link
US (1) US20230215100A1 (ko)
KR (1) KR20230102540A (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
US9639737B2 (en) * 2015-09-29 2017-05-02 Eth Zürich (Eidgenöessische Technische Hochschule Zürich) Methods and systems of performing performance capture using an anatomically-constrained local model
CN105488535B (zh) * 2015-12-05 2018-06-05 海南热带海洋学院 一种三维点云匹配方法
WO2017208394A1 (ja) * 2016-06-01 2017-12-07 三菱電機株式会社 位置合わせ装置、位置合わせ方法及び位置合わせプログラム
CN108510530B (zh) * 2017-02-28 2021-03-05 深圳市朗驰欣创科技股份有限公司 一种三维点云匹配方法及其系统
JP7273029B2 (ja) * 2018-04-10 2023-05-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2021176417A1 (en) * 2020-03-06 2021-09-10 Yembo, Inc. Identifying flood damage to an indoor environment using a virtual representation

Also Published As

Publication number Publication date
US20230215100A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
JP6430064B2 (ja) データを位置合わせする方法及びシステム
US10387748B2 (en) Method for salient object segmentation of image by aggregating multi-linear exemplar regressors
US9355449B2 (en) System and method for automatic planning of two-dimensional views in 3D medical images
US10853960B2 (en) Stereo matching method and apparatus
KR101789071B1 (ko) 깊이 영상의 특징 추출 방법 및 장치
JP6571225B2 (ja) カメラ姿勢推定方法およびシステム
KR20220112072A (ko) 점군 데이터 정합 오차 최소점 탐색 장치 및 방법
JP2020109626A5 (ko)
US20170323149A1 (en) Rotation invariant object detection
JP2011113550A (ja) 情報処理装置、情報処理方法、情報処理システム、プログラム及びデータ構造
JPWO2021173779A5 (ko)
KR20180137386A (ko) 커뮤니티 검출 방법 및 커뮤니티 검출 프레임워크 장치
Nguyen et al. Focustune: Tuning visual localization through focus-guided sampling
CN113239136B (zh) 一种数据处理方法、装置、设备及介质
KR20230102540A (ko) 3차원 포인트 클라우드의 정합 방법 및 장치
CN111914809B (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
Lin et al. Scale alignment of 3D point clouds with different scales
CN111340145A (zh) 点云数据分类方法、装置、分类设备
KR101339616B1 (ko) 객체 검출 및 추적 방법과 장치
Morrison et al. Inexact graph matching using a hierarchy of matching processes
CN105931231A (zh) 一种基于全连接随机场联合能量最小化的立体匹配方法
CN111383185A (zh) 一种基于稠密视差图的孔洞填充方法及车载设备
CN116295466A (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN111984812A (zh) 一种特征提取模型生成方法、图像检索方法、装置及设备
KR101915402B1 (ko) 점진적 그래프 최적화를 통한 특징점 매칭 방법

Legal Events

Date Code Title Description
A201 Request for examination