[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102325121B1 - 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇 - Google Patents

맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇 Download PDF

Info

Publication number
KR102325121B1
KR102325121B1 KR1020200052351A KR20200052351A KR102325121B1 KR 102325121 B1 KR102325121 B1 KR 102325121B1 KR 1020200052351 A KR1020200052351 A KR 1020200052351A KR 20200052351 A KR20200052351 A KR 20200052351A KR 102325121 B1 KR102325121 B1 KR 102325121B1
Authority
KR
South Korea
Prior art keywords
map
descriptor
determining
feature point
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200052351A
Other languages
English (en)
Other versions
KR20210134117A (ko
Inventor
서동현
김재승
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to KR1020200052351A priority Critical patent/KR102325121B1/ko
Priority to PCT/KR2021/004257 priority patent/WO2021221333A1/ko
Publication of KR20210134117A publication Critical patent/KR20210134117A/ko
Application granted granted Critical
Publication of KR102325121B1 publication Critical patent/KR102325121B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)

Abstract

본 발명은 GPS, IMU, 라이다, 카메라를 활용하여 형성한 맵 정보를 이용하여 로봇의 위치를 결정하는 실시간 로봇 위치 예측 방법에 관한 것으로, 라이다 센서, 관성 센서(IMU), GPS 신호 및 카메라 중 적어도 하나를 통하여 획득한 정보를 기초로 제1맵 정보를 형성하는 단계; 상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 단계; 상기 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성하는 단계; 상기 제2맵 정보에서 시작 위치를 결정하고, 상기 시작 위치를 기준으로 미리 결정된 거리 이내의 범위를 관심 영역으로 결정하는 단계; 상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하는 단계; 상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하고, 상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)가 매칭되면 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점을 로봇의 위치로 예측하는 단계;를 포함한다.

Description

맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇{REAL-TIME ROBOT POSITION ESTIMATION METOD THROUGH MAP INFORMATION AND IMAGE MATCHING AND THE ROBOT}
본 발명은 GPS, IMU, 라이다, 카메라를 활용하여 형성한 맵 정보를 이용하여 로봇의 위치를 결정하는 실시간 로봇 위치 예측 방법에 관한 것이다.
라이다(LiDAR)란 'Light Detection and Ranging(빛 탐지 및 범위 측정)'의 약자로 펄스 레이저를 목표물에 방출하고 빛이 돌아오기까지 걸리는 시간을 계산해 거리와 물체의 반사도를 측정하여 3차원의 점군 형태로 데이터를 수집하는 센서이다. 이 센서를 통해 주위 환경을 3차원으로 표현할 수 있는데, 이를 통해 주변 환경의 거리 정보와 반사도를 측정할 수 있다.
정밀 지도는 GPS, IMU, 라이다 센서를 활용하여 만드는 맵 데이터이다. 라이다를 통해 수집되는 3차원 포인트는 주변 환경에 대한 3차원 정보에 불과하기 때문에 추가적인 정보 입력이 필요하다.
GPS 경로에 대해서 정밀 지도를 생성하기 위해서는 라이다를 통하여 수집되는 3차원 포인트를 이용할 수 있다.
라이다를 통하여 획득한 3차원 포인트는 주변 환경을 글로벌 좌표값으로 계산될 수 있다.
한편 로봇의 위치를 결정하는데 있어서 로봇의 현재위치를 파악과 주변 환경에 매핑이 동시에 이루어져 많은 계산이 요구되며, 또한 이러한 계산 방법의 정확도를 신뢰하기 어렵다.
한편 KR 10-2018-0039202 A에서도 이와 유사한 기술을 개시하고 있으나 신뢰도를 상승하는 동작의 근본적인 해결책을 개시하고 있지 않다.
따라서 로봇의 위치를 결정하기 위한 간결화되고 신뢰도가 높은 방법이 요구되고 있는 실정이다.
KR 10-2018-0039202 A
본 발명은 효율적으로 맵 정보를 생성하고 생성된 맵 정보와 카메라가 획득한 영상을 매칭하여 신속하고 정확하게 로봇의 위치를 예측할 수 있는 실시간 로봇 위치 예측 방법을 제공한다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은 라이다 센서, 관성 센서(IMU), GPS 신호 및 카메라 중 적어도 하나를 통하여 획득한 정보를 기초로 제1맵 정보를 형성하는 단계; 상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 단계; 상기 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성하는 단계;
상기 제2맵 정보에서 시작 위치를 결정하고, 상기 시작 위치를 기준으로 미리 결정된 거리 이내의 범위를 관심 영역으로 결정하는 단계;
상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하는 단계;
상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하고,
상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)가 매칭되면 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점을 로봇의 위치로 예측하는 단계;를 포함한다.
상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점을 결정하는 단계는,
상기 제1맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교하고,
상기 임의의 한 픽셀과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀의 개수가 기준 개수를 초과하면,
상기 임의의 한 픽셀을 상기 적어도 하나의 제1맵 특징점으로 결정할 수 있다.
상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점을 결정하는 단계는,
상기 제1맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀을 포함하는 기준 영상을 결정하고, 상기 기준 영상의 스케일을 변경한 적어도 하나의 변경 영상을 생성하고,
상기 기준 영상 및 상기 적어도 하나의 변경 영상을 비교하여 상기 적어도 하나의 제1맵 특징점을 결정할 수 있다.
상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 단계는,
상기 주변 픽셀을 셈플링하고, 상기 주변 픽셀 각각에 대응되는 그레디언트 벡터를 결정하고, 상기 적어도 하나의 제1맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정할 수 있다.
상기 제1맵 정보를 형성하는 단계는, 상기 라이다 센서를 통하여 3차원 데이터를 획득하고, 상기 3차원 데이터와 대응되는 상기 적어도 하나의 제1맵 특징점을 매칭하여 상기 제1맵정보를 형성할 수 있다.
상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하는 단계는, 상기 제2맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교하고, 상기 임의의 한 픽셀과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀의 개수가 기준 개수를 초과하면,
상기 임의의 한 픽셀을 상기 적어도 하나의 제2맵 특징점으로 결정하고,
상기 주변 픽셀을 셈플링하고, 상기 주변 픽셀 각각에 대응되는 그레디언트 벡터를 결정하고, 상기 적어도 하나의 제2맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정할 수 있다.
상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하는 단계는, 상기 제1맵 정보와 상기 제2맵 정보를 매칭하고,
상기 관심 영역을 중심으로 미리 결정된 거리 내의 영역과 매칭되는 상기 적어도 하나의 제1맵 특징점에 대응되는 상기 맵 디스크립터(descriptor)와 상기 ROI 디스크립터(descriptor)를 비교하는 것을 포함할 수 있다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은 상기 카메라가 획득한 영상에 대응되는 적어도 하나의 파라미터를 기초로, 매칭된 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점의 절대 좌표 정보(GPS정보)를 변환하여 상기 로봇의 위치를 예측하는 단계를 더 포함할 수 있다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은 제1시점에서 예측한 상기 로봇의 위치와, 제1시점을 기준으로 단위 시점 이후인 제2시점에 예측한 상기 로봇의 위치의 차이가 미리 결정된 기준 값을 초과하면, 상기 제1시점 및 상기 제2시점 중 적어도 하나의 시점의 상기 로봇의 위치를 다시 예측할 수 있다.
일 실시예에 따른 로봇은 역학 신호를 획득하는 관성 센서(IMU); 라이다 신호를 획득하는 라이다 센서; 이미지를 획득하는 카메라; GPS신호를 수신하는 통신모듈; 및 GPS 신호 및 카메라 중 적어도 하나를 통하여 획득한 정보를 기초로 제1맵 정보를 형성하고, BRISK(Binary Robust Invariant Scalable Keypoints)를 수행하여 상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하고, 상기 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성하고,
상기 제2맵 정보에서 시작 위치를 결정하고, 상기 시작 위치를 기준으로 미리 결정된 거리 이내의 범위를 관심 영역으로 결정하고,
상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하고,
kNN(k-Nearest Neighbor)알고리즘을 수행하여 상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하고,
상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)가 매칭되면 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점을 perspective-n-point 알고리즘을 사용하여 결정된 위치를 로봇의 위치로 예측하는 제어부;를 포함할 수 있다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은 효율적으로 맵 정보를 생성하고 생성된 맵 정보와 카메라가 획득한 영상을 매칭하여 신속하고 정확하게 로봇의 위치를 예측할 수 있다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은SLAM(Simultaneous Localization And Mapping)의 구현에 있어서 매핑(Mapping)동작에 라이다가 아닌 카메라가 이용되므로 원가를 절감할 수 있다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은IMU, GPS의 여러 센서를 활용하여 맵 정보를 생성하기 때문에 높은 신뢰도의 로봇의 위치 추적이 가능하다.
일 실시예에 따른 실시간 로봇 위치 예측 방법은 시점 마다 도출된 위치 정보의 차이를 기초로 신뢰성 있는 데이터를 이용하여 계산의 신속성과 정확성을 도모할 수 있다.
도1은 일 실시예에 따른 로봇의 제어블럭도이다.
도2은 일 실시예에 따른 제1맵 정보를 형성하는 동작을 나타낸 순서도이다.
도3은 일 실시예에 따른 로봇의 위치를 결정하는 동작을 나타낸 순서도이다.
도4 는 일 실시예에 따른 맵 특징점을 결정하는 동작을 설명하기 위한 도면이다.
도5은 일 실시예에 다른 기준 영상을 결정하고 샘플링을 달리하여 맵 특징점을 결정하는 동작을 설명하기 위한 도면이다.
도6은 일 실시예에 따른 맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 동작을 설명하기 위한 도면이다.
도7, 8은 일 실시예에 따른 제1맵 정보와 제2맵 정보를 매칭하는 동작을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도1은 일 실시예에 따른 로봇(10)의 제어블럭도이고, 도2은 일 실시예에 따른 제1맵 정보를 형성하는 동작을 나타낸 순서도이고, 도3은 일 실시예에 따른 로봇의 위치를 결정하는 동작을 나타낸 순서도이다.
일 실시예 따르면 로봇(10)은 관성 센서(IMU,100), 라이다(200), 카메라(400), 통신 모듈(500) 및 제어부(300)를 포함할 수 있다.
제어부(300)는 프로세서와 적어도 하나의 메모리를 포함할 수 있다.
관성 센서(100)는 차량의 속도와 방향, 중력, 가속도를 측정하는 장치를 의미할 수 있다. 관성 센서는 가속도계, 각속도계, 지자기계 및 고도계를 이용하여 보행자 및 이동물체의 움직임 상황을 인식하는 동작으로 구현될 수 있다. 차량에 마련된 관성 센서는 차량의 종가속도, 횡가속도 및 요 레이트를 도출하는 3축 IMU로 구성될 수 있다.
라이다(200)는 레이저 펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 센서를 의미할 수 있다.
카메라(400)는 차량 주변 영상을 획득하는 구성으로 마련될 수 있다.
일 실시예에 따르면 카메라는 차량(1)의 전방, 후방 및 측방에 마련되어 영상을 획득할 수 있다.
통신 모듈(500)은 외부 서버 및 GPS신호를 수신할 수 있다.
무선 통신 모듈은 GPS신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 GPS신호 변환 모듈을 더 포함할 수 있다.
제어부(300)는 로봇 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
도1과 도2를 함께 참고하면, 제어부는 라이다 센서, 관성 센서(IMU), GPS 신호 및 카메라 중 적어도 하나를 통하여 정보를 획득할 수 있다(S1).
한편 제어부는 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀이 포함된 기준 영상을 결정할 수 있다(S2).
기준 영상은 스케일의 샘플링에서 있어 다운 샘플링이나 오버 샘플링을 실시하지 않은 영상을 의미할 수 있다.
한편 미리 결정된 거리는 영상의 관심 영역의 단위로 사용자가 미리 결정할 수 있다.
한편 제어부는 기준 영상의 스케일을 변경한 적어도 하나의 변경 영상을 생성할 수 있다(S3).
변경 영상은 기준 영상과 달리 주파수를 달리하여 형성된 영상을 의미할 수 있다. 변경 영상에 대한 구체적인 설명은 후술한다.
한편 제어부는 기준 영상과 변경 영상 모두를 비교하교(S4), 기준 영상과 변경 영상 모두를 이용하여 맵 특징점을 결정할 수 있다.
구체적으로 제어부는 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교하고, 임의의 한 픽셀과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀의 개수가 기준 개수를 초과하는지 여부를 판단할 수 있다(S5).
밝기 차이가 임계 값을 초과하는 것은 해당 임의의 픽셀이 맵의 특징을 포함하는 것으로 해석할 수 있으므로 제어부는 해당 임의의 픽셀을 맵 특징점으로 결정할 수 있다(S6).
한편 제어부는 결정한 맵 특징점을 기초로 주변 픽셀을 셈플링하고, 주변 픽셀 각각에 대응되는 그레디언트 벡터를 결정할 수 있다.
또한 제어부는 적어도 하나의 제1맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정할 수 있다(S7). 한편 맵 특징점을 기초로 맵 디스크립터를 결정하는 상세한 설명은 후술한다.
한편 도3을 참고하면, 제어부는 도2에서 설명한 동작을 기초로 제1맵 정보를 형성하고, 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성할 수 있다(S11).
제어부는 제2 맵 정보에서 시작 위치 즉 로봇의 초기 위치를 결정할 수 있다(1012). 또한 제어부는 도2에서 설명한 방법을 기초로 제2 맵 정보의 맵 특징점 및 맵 디스크립터를 결정할 수 있다(S13).
또한 제어부는 위치 도출에 있어 직전의 프레임의 특징점을 기초로 현재 위치에서의 관심 영역 즉, ROI를 결정할 수 있다(S14).
제어부는 상술한 동작을 기초로 생성된 제1맵 정보와 제2맵정보를 비교하여 매칭할 수 있다(S15).
한편 제1맵 정보와 제2맵 정보가 매칭되어 각 특징점이 매칭된 것으로 판단되면, 제2 맵정보의 맵 특징점을 변환하여 로봇의 위치를 예측할 수 있다(S16).
구체적으로 제2맵 정보는 카메라가 획득한 영상으로만 획득된 영상이며 해당 영상이 제1맵 정보와 매칭된다면 제2맵 정보의 맵 특징점 및 맵 특징점과 대응되는 ROI디스크립터를 변환하여 로봇의 위치를 추정할 수 있다.
이와 관련된 상세한 동작은 후술한다.
한편 제어부는 제1시점에서 예측한 로봇의 위치와, 제1시점을 기준으로 단위 시점 이후인 제2시점에 예측한 상기 로봇의 위치의 차이가 미리 결정된 기준 값을 초과하면, 제1시점 및 상기 제2시점 중 적어도 하나의 시점의 상기 로봇의 위치를 다시 예측할 수 있다(S17). 즉 이 경우에는 로봇의 위치 예측이 잘못된 경우이므로 제어부는 로봇의 위치를 예측하는 동작을 다시 수행할 수 있다.
이하에서는 로봇의 위치를 예측하는 각 단계를 더욱 상세하게 설명한다.
도4 는 일 실시예에 따른 맵 특징점을 결정하는 동작을 설명하기 위한 도면이다.
도4를 참고하면 맵 정보에서 맵 특징점(P4)을 도출하는 동작을 설명하고 있다.
제어부는 맵 정보에 포함된 임의의 한 픽셀(P4)을 기준으로, 미리 결정된 거리 이내의 범위(D4)에 포함된 주변 픽셀(A4)의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교할 수 있다.
제어부는 임의의 한 픽셀(P4)과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀(A4)의 개수가 기준 개수를 초과하면, 임의의 한 픽셀을 적어도 하나의 맵 특징점으로 결정할 수 있다.
도4에서는 카메라가 획득한 영상(I4)에 포함된 임의의 한 픽셀이 P4로 A4영역의 픽셀과 P4 픽셀의 밝기를 비교할 수 있다.
제어부는 BRISK(Binary Robust Invariant Scalable Keypoints)을 이용하여 영상 특징점 및 디스크립터를 결정할 수 있다.
BRISK는 FAST(Features from Accelerated Segment Test)에 기반하여 특징점을 검출하고, 해당 특징점 근처에서 디스크립터를 계산할 수 있다.
도4에서 제어부는 FAST 9_16 방식으로 반지름이 3인 원 상의 16개 픽셀값을 비교할 수 있다. 구체적으로 제어부는 아래의 수학식1을 기초로 맵 특징점과 주변 픽셀의 밝기를 비교할 수 있다.
Figure 112020044503013-pat00001
수학식1을 참고하면 Ii는 주변 픽셀들의 밝기 값, Ip는 중심 픽셀의 밝기값, t는 임계값을 의미한다.
제어부는 P4에 비해 임계값으로 설정한 수보다 밝거나 어두운 픽셀들이 9개 이상 연속되어 있으면 P4를 키 포인트로 판단할 수 있다.
도4의 A4에 해당하는 픽셀들 중에서 9개 이상의 픽셀들이 중심 픽셀의 밝기 값과 임계값 이상의 차이를 보이면 P4를 특징점으로 판단할 수 있다.
한편 제어부가 임의의 픽셀을 결정하는 동작 및 해당 픽셀과 주변 픽셀의 밝기를 조절하는 동작의 제한은 없다.
도5는 일 실시예에 다른 기준 영상을 결정하고 샘플링을 달리하여 맵 특징점을 결정하는 동작을 설명하기 위한 도면이다.
도5를 참고하면 제어부는 상기 맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀(IP6)을 포함하는 기준 영상을 결정할 수 있다.
또한 제어부는 기준 영상의 스케일을 변경한 적어도 하나의 변경 영상(IR5, IS51, IS52)을 생성할 수 있다.
제어부는 기준 영상 및 적어도 하나의 변경 영상(IR5, IS51, IS52)을 비교하여 적어도 하나의 맵 특징점을 결정할 수 있다.
구체적으로 변경 영상은 기준 영상의 옥타브(Octave)의 변경을 기초로 결정될 수 있다.
제어부는 옥타브와 그 사이의 intra-octave를 생성하여 스케일 공간을 만들고 피라미드 형태로 맵 특징점의 최대값을 결정할 수 있다.
옥타브(IR5)는 카메라 영상을 절반의 크기로 다운 샘플링 함으로써 만들질 수 있다.
또한 intra-octav(IS51, IS52)는 옥타브(IR5)의 카메라 영상을 절반의 크기로 다운 샘플링(downsampling)함으로써 만들어진다. 한편 옥타브 사이의 관계는 아래의 수학식으로 표현될 수 있다.
Figure 112020044503013-pat00002
제어부는 상술한 동작 및 수학식2를 이용하여 카메라 영상에 대해 여러 스케일의 영상을 획득할 수 있다.
즉, 카메라 영상의 기준 영상 및 여러 스케일이 적용된 변경 영상에 대해 맵 특징점을 추출하고 그 중에서 최대값을 결정할 수 있다. 상술한 동작을 기초로 맵 특징점이 스케일에 따라 변하지 않고 일정하게 결정될 수 있다.
한편 도5에서 설명한 본 발명의 동작은 기준 영상 및 변경 영상을 이용하여 특징점을 결정하는 일 실시예에 불과하고 본 발명의 실시에는 제한이 없다.
도6은 일 실시예에 따른 맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 동작을 설명하기 위한 도면이다.
도6을 참고하면 제어부는 맵 특징점(P6)의 주변 픽셀(A6)을 셈플링할 수 있다.
또한 제어부는 주변 픽셀(A6) 각각에 대응되는 그레디언트 벡터를 결정할 수 있다.
또한 적어도 하나의 맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정할 수 있다.
구체적으로 제어부는 특징점(P6)에 대해서 동심원 기반의 샘플링 패턴을 이용하여 디스크립터를 계산할 수 있다.
디스크립터는 회전에 대해서도 일정하게 만들기 위해 맵 특징점에 대한 방향을 이진 비트 벡터로 표현할 수 있다.
우선 맵 특징점(P6)에 대해 특정 개수를 결정하고 해당 개수를 기초로 샘플링을 실시할 수 있다.
일 실시예에 따르면 제어부는 N = 60으로 설정하고 N*(N-1)/2만큼 맵 특징점 주변의 2차원 픽셀을 샘플링 할 수 있다.
또한 제어부는 에얼라이싱(aliasing) 효과를 방지하기 위해 샘플링 된 각 값에 가우시안 스무딩(smoothing)을 적용할 수 있다. 한편 제어부는 수학식3을 기초로 주변 픽셀의 그레디언트를 구할 수 있다.
Figure 112020044503013-pat00003
일 실시예에 따르면 샘플링 된 각 값이 “Pi, Pj”면 제어부는 표준 편차가 σi의 가우시안 스무딩(smoothing)을 적용할 수 있다.
한편 이렇게 스무딩 된 샘플링 값 “Pi, σi”과 “Pj, σj”로 결정될 수 있다. 제어부는 각 값들을 이용해 g(Pi, Pj) 를 수학식3으로 결정할 수 있다.
한편 제어부는 각 샘플링 된 값들 중에서 짧은 거리와 긴 거리의 픽셀들을 구분하기 위해서 두 집합으로 나눌 수 있다.
구체적으로 두 집합으로 나누는 동작은 수학식4를 기초로 동작할 수 있다.
Figure 112020044503013-pat00004
수학식4를 참고하면 S,L은 각 집합을 의미하고 A는 픽셀의 집합 모두를 의미할 수 있다.
제어부는 두 집합으로 나눌 때 짧은 거리의 상한 값 및 긴 거리의 하한 값을 결정할 수 있다.
한편 일 실시예에 따르면 제어부는 짧은 거리의 상한값δmax 은 9.75t로 설정하고 긴 거리의 하한값 δmin 은 13.67t로 결정할 수 있다.
여기서 t는 key point에 대한 스케일 값을 의미한다.
한편 맵 특징점의 방향은 아래의 수학식5를 기초로 결정될 수 있다.
Figure 112020044503013-pat00005
한편 제어부는 수학식5를 기초로 계산된 방향에 대해 이진 벡터로 표현하기 위해서 각각의 비트 b를 수학식6처럼 계산할 수 있다.
Figure 112020044503013-pat00006
수학식6을 참고하면 α는 arctan2{g(y), g(x)}로 계산될 수 있다.
구체적으로 제어부는 맵 특징점에 회전과 스케일에 대해 노말라이즈(normalized)된 맵 디스크립터을 구하기 위하여, 맵 특징점의 주변 샘플링패턴에 대해 알파 값 만큼 회전을 수행할 수 있다.
한편 상술한 동작을 수행한 후 제어부는 라이다를 통해 수집되는 3차원 형태의 점군 데이터를 카메라 영상에 투영시켜서, 맵 특징점과 매칭되는 라이다 포인트만 추출할 수 있다.
즉, 제어부는 라이다 센서를 통하여 3차원 데이터를 획득하고, 3차원 데이터와 대응되는 적어도 하나의 맵 특징점을 매칭하여 맵 정보를 형성할 수 있다.
제어부가 라이다가 획득한 3차원 데이터를 카메라 영상에 투영하는 공식은 수학식7을 기초로 수행될 수 있다.
Figure 112020044503013-pat00007
수학식7을 참고하면 [R|t]는 라이다 좌표계를 카메라 좌표계로 바꾸는 rigid 변환 행렬, Tpers(1)는 카메라 좌표계 상의 3D 좌표를 정규 이미지 평면에 투영시키는 projection 행렬, K는 카메라 내부 파라미터 행렬로 정규 이미지 좌표를 픽셀 좌표로 바꾸어주는 행렬이다.
제어부는 수학식7을 기초로 추출된 라이다 포인트를 GPS 경로에서 겹치는 시간대에 전개한 후에, 센서들의 동기화를 거쳐 글로벌 좌표값으로 계산할 수 있다.
이러한 동작을 기초로 제어부는 카메라 영상에 대해, 맵 특징점에 대한 글로벌 좌표값과 디스크립터를 전부 수집하면 맵 정보가 완성된다. 한편 이렇게 비교에 기초가 되는 맵 정보를 본 명세서에서는 제1맵 정보로 명명하였다.
도7, 8은 일 실시예에 따른 제1맵 정보와 제2맵 정보를 매칭하는 동작을 설명하기 위한 도면이다.
도7은 로봇이 미리 생성한 제1맵 정보를 의미하고 도8는 로봇에 카메라를 기초로 형성한 제2맵 정보를 의미한다.
도7및 도8를 참고하면 제어부는 P7주변의 맵 디스크립터와 P8주변의 ROI 디스크립터를 비교할 수 있다.
상술한 동작을 기초로 제1맵 정보가 형성되고, 해당 데이터를 보유한 상태에서 로봇이 실시간으로 수집하는 카메라 영상을 활용하여 위치를 추정할 수 있다.
제어부는 로봇의 초기 위치를 설정하고, 해당 지점부터 로봇의 위치를 추정할 수 있다.
제어부는 로봇의 전 단계의 위치를 중심으로 일정 범위를 관심 영역으로 설정할 수 있다.
제어부는 이를 기초로 제1맵 정보와 상기 제2맵 정보를 매칭하고, 관심 영역을 중심으로 미리 결정된 거리 내의 영역과 매칭되는 상기 적어도 하나의 제1맵 특징점에 대응되는 맵 디스크립터(descriptor)와 상기 ROI 디스크립터(descriptor)를 비교할 수 있다.
이때, 일정 범위를 전 단계의 위치에 대한 거리로 설정할 수 있다.
제어부는 그 후 설정한 임계값을 벗어나지 않는 맵 정보의 범위를 k-Nearest Neighbor 알고리즘을 통해 탐색할 수 있다.
제어부는 해당 범위의 제1맵정보에 존재하는 맵 디스크립터와 실시간으로 수집되는 카메라 영상의 ROI디스크립터를 비교하여 디스크립터 매칭이 발생하는 부분을 저장할 수 있다.
한편 상술한 바와 같이 저장된 부분에서 제1맵 정보의 디스크립터는 2차원 제1맵 특징점에 대한 글로벌 좌표값도 저장하고 있다.
따라서 제1 맵정보의 디스크립터와 매칭된 실시간 카메라 영상의 디스크립터는 같은 글로벌 좌표값을 다른 관점에서 바라보고 있다고 해석할 수 있다.
따라서 제어부는 매칭된 제2맵 정보의 맵 특징점을 변환하여 최종적으로 로봇의 위치를 추정할 수 있다.
구체적으로 제어부는 상기 카메라가 획득한 영상에 대응되는 적어도 하나의 파라미터를 기초로, 매칭된 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점의 절대 좌표 정보(GPS정보)를 변환하여 상기 로봇의 위치를 예측할 수 있다.
한편 상술한 적어도 하나의 파라미터는 카메라 영상의 rotation matrix와 translation matrix를 포함할 수 있다.
한편 위와 같은 파라미터를 알면 perspective-n-point 알고리즘을 이용하여 로봇의 위치를 추정할 수 있다. 한편 perspective-n-point 알고리즘은 수학식8로 표현될 수 있다.
Figure 112020044503013-pat00008
perspective-n-pont 알고리즘은 3차원 글로벌 좌표 값과 그에 해당하는 2차원으로 투영된 좌표 값을 이용하여 카메라의 위치를 추정하는 방법이다. 카메라에 대한 projection model은 수학식8과 같다.
수학식8에서 pw는 [x y z 1]^T로 표현된 homogeneous한 글로벌 좌표값을 의미할 수 있다.
또한 pc는 [u v 1]^T로 표현된 homogeneous한 글로벌 좌표 값의 2차원으로 투영된 좌표 값을 의미할 수 있다.
K는 카메라 내부 파라미터 행렬로, 라이다 포인트를 글로벌 좌표 값으로 계산할 때 주어진 값을 의미할 수 있다.
따라서 K는 주어진 행렬이기 때문에 rotation과 translation matrix, 그리고 scale값을 구하면 된다.
수학식8을 이용하여 회전 행렬(rotation matrix)에 해당하는 R과 이동 행렬(translation matrix)에 해당하는 T 값을 결정할 수 있다. 또한 하기의 수학식9를 살펴 보면 아래와 같다.
Figure 112020044503013-pat00009
수학식8과 수학식9를 함께 참고하면 위의 공식에 대해 하나의 R 행렬과 T 행렬을 구하기 위해서는 적어도 4개의 3차원, 2차원 매칭 좌표 값들을 필요로 한다.
R 행렬과 T 행렬이 구해지면 로봇의 위치는 새로운 행렬 P를 정의하고 P[0]을 x좌표, P[1]을 y좌표, P[2]를 z좌표로 판단할 수 있다.
즉, 하나의 pose를 구하기 위해선 미지수 개수를 고려하면 적어도 4개의 3차원 - 2차원 매칭 좌표값들을 필요로 한다.
제어부는 제1맵정보의 맵 디스크립터와 매칭된 제2맵 정보의의 ROI 디스크립터에 대해서 각 디스크립터의 맵 특징점를 추출하고, 해당 제2맵 특징점과 매칭되는 제1 맵 정보의 제1맵 특징점의 3차원 글로벌 좌표값을 사용할 수 있다.
제어부는 제1 맵 정보의 제1맵 특징점perspective-n-point 알고리즘으로 로봇의 카메라 위치를 추정할 수 있다.
즉 제1맵 정보의 P7지점의 맵 디스크립터와 제2맵 정보P8지점의 ROI디스크립터를 비교하여 로봇은 정확한 위치를 예측할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10 : 로봇
100 : 관성 센서 200 : 라이다
300 : 제어부 400 : 카메라
500 : 통신 모듈

Claims (10)

  1. 라이다 센서, 관성 센서(IMU), GPS 신호 및 카메라 중 적어도 하나를 통하여 획득한 정보를 기초로 제1맵 정보를 형성하는 단계;
    상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 단계;
    상기 카메라만을 통하여 실시간으로 획득한 정보를 기초로 제2맵 정보를 형성하는 단계;
    상기 제2맵 정보에서 시작 위치를 결정하고, 상기 시작 위치를 기준으로 미리 결정된 거리 이내의 범위를 관심 영역으로 결정하는 단계;
    상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하는 단계;
    상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하고,
    상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)가 매칭되면 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점을 로봇의 위치로 예측하는 단계;를 포함하며,
    상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점을 결정하는 단계는,
    상기 제1맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교하고,
    상기 임의의 한 픽셀과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀의 개수가 기준 개수를 초과하면,
    상기 임의의 한 픽셀을 상기 적어도 하나의 제1맵 특징점으로 결정하고,
    맵 특징점과 주변 픽셀의 밝기는 하기 수학식1을 기초로 비교하고,
    (수학식 1)
    Figure 112021107321168-pat00018

    Ii는 주변 픽셀들의 밝기 값, Ip는 중심 픽셀의 밝기값, t는 임계값을 의미하며,
    상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점을 결정하는 단계는,
    상기 제1맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀을 포함하는 기준 영상을 결정하고,
    상기 기준 영상의 스케일을 변경한 적어도 하나의 변경 영상을 생성하고,
    상기 변경 영상은 기준 영상의 옥타브(Octave)의 변경을 기초로 결정되고,
    제어부는 옥타브와 그 사이의 intra-octave를 생성하여 스케일 공간을 만들고 피라미드 형태로 맵 특징점의 최대값을 결정하며,
    상기 기준 영상 및 상기 적어도 하나의 변경 영상을 비교하여 상기 적어도 하나의 제1맵 특징점을 결정하며,
    상기 제1맵 정보를 형성하는 단계는,
    상기 라이다 센서를 통하여 3차원 데이터를 획득하고,
    상기 3차원 데이터와 대응되는 상기 적어도 하나의 제1맵 특징점을 매칭하여 상기 제1맵정보를 형성하는 것을 포함하며,
    상기 제1맵 정보에 포함된 적어도 하나의 제1맵 특징점 및 상기 적어도 하나의 제1맵 특징점 각각에 대응되는 맵 디스크립터(descriptor)를 결정하는 단계는,
    상기 주변 픽셀을 셈플링하고,
    상기 주변 픽셀 각각에 대응되는 그레디언트 벡터를 결정하고,
    상기 적어도 하나의 제1맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정하고,
    제어부는 하기 수학식3을 기초로 주변 픽셀의 그레디언트를 도출하며,
    (수학식 3)
    Figure 112021107321168-pat00019

    샘플링 된 각 값이 “Pj”면 제어부는 표준 편차가 σi의 가우시안 스무딩(smoothing)을 적용하고,
    스무딩(smoothing) 된 샘플링 값 “σi”과 “σj”로 도출되며, g(Pi, Pj) 결정되는 것을 특징으로 하는 실시간 로봇 위치 예측 방법.
  2. 제1항에 있어서,
    상기 관심 영역에 대응되는 ROI 디스크립터(descriptor)를 결정하는 단계는,
    상기 제2맵 정보에 포함된 임의의 한 픽셀을 기준으로, 미리 결정된 거리 이내의 범위에 포함된 주변 픽셀의 각각의 밝기와 상기 임의의 한 픽셀의 밝기를 비교하고,
    상기 임의의 한 픽셀과의 밝기 차이가 임계 값을 초과하는 상기 주변 픽셀의 개수가 기준 개수를 초과하면,
    상기 임의의 한 픽셀을 상기 적어도 하나의 제2맵 특징점으로 결정하고,
    상기 주변 픽셀을 셈플링하고,
    상기 주변 픽셀 각각에 대응되는 그레디언트 벡터를 결정하고,
    상기 적어도 하나의 제2맵 특징점의 방향 벡터를 상기 그레디언트 벡터에 적용하여 상기 맵 디스크립터(descriptor)를 결정하는 실시간 로봇 위치 예측 방법.
  3. 제1항에 있어서,
    상기 ROI 디스크립터(descriptor)와 상기 맵 디스크립터(descriptor)를 비교하는 단계는,
    상기 제1맵 정보와 상기 제2맵 정보를 매칭하고,
    상기 관심 영역을 중심으로 미리 결정된 거리 내의 영역과 매칭되는 상기 적어도 하나의 제1맵 특징점에 대응되는 상기 맵 디스크립터(descriptor)와 상기 ROI 디스크립터(descriptor)를 비교하는 것을 포함하는 실시간 로봇 위치 예측 방법.
  4. 제1항에 있어서,
    상기 카메라가 획득한 영상에 대응되는 적어도 하나의 파라미터를 기초로,
    매칭된 상기 맵 디스크립터(descriptor)에 대응되는 상기 적어도 하나의 제1맵 특징점의 절대 좌표 정보(GPS정보)를 변환하여 상기 로봇의 위치를 예측하는 단계를 더 포함하는 실시간 로봇 위치 예측 방법.
  5. 제4항에 있어서,
    제1시점에서 예측한 상기 로봇의 위치와,
    제1시점을 기준으로 단위 시점 이후인 제2시점에 예측한 상기 로봇의 위치의 차이가 미리 결정된 기준 값을 초과하면,
    상기 제1시점 및 상기 제2시점 중 적어도 하나의 시점의 상기 로봇의 위치를 다시 예측하는 실시간 로봇 위치 예측 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020200052351A 2020-04-29 2020-04-29 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇 Active KR102325121B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200052351A KR102325121B1 (ko) 2020-04-29 2020-04-29 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
PCT/KR2021/004257 WO2021221333A1 (ko) 2020-04-29 2021-04-06 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200052351A KR102325121B1 (ko) 2020-04-29 2020-04-29 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇

Publications (2)

Publication Number Publication Date
KR20210134117A KR20210134117A (ko) 2021-11-09
KR102325121B1 true KR102325121B1 (ko) 2021-11-12

Family

ID=78373633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200052351A Active KR102325121B1 (ko) 2020-04-29 2020-04-29 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇

Country Status (2)

Country Link
KR (1) KR102325121B1 (ko)
WO (1) WO2021221333A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114983302B (zh) * 2022-06-28 2023-08-08 追觅创新科技(苏州)有限公司 姿态的确定方法、装置、清洁设备、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101072876B1 (ko) * 2009-03-18 2011-10-17 연세대학교 산학협력단 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
KR101311100B1 (ko) * 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
KR101425317B1 (ko) * 2013-04-02 2014-08-04 경희대학교 산학협력단 이동 로봇의 위치 판단 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101618030B1 (ko) * 2009-07-28 2016-05-09 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR20180039202A (ko) 2016-10-07 2018-04-18 전자부품연구원 3차원 원격 제어 시스템 및 방법, 그 제어 장치
KR102112162B1 (ko) * 2020-03-30 2020-05-19 네이버랩스 주식회사 자율 주행 기술을 응용한 3차원 실내 정밀 지도 자동 생성 로봇 및 로봇의 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101072876B1 (ko) * 2009-03-18 2011-10-17 연세대학교 산학협력단 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
KR101311100B1 (ko) * 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
KR101425317B1 (ko) * 2013-04-02 2014-08-04 경희대학교 산학협력단 이동 로봇의 위치 판단 방법

Also Published As

Publication number Publication date
WO2021221333A1 (ko) 2021-11-04
KR20210134117A (ko) 2021-11-09

Similar Documents

Publication Publication Date Title
CN110411441B (zh) 用于多模态映射和定位的系统和方法
US20210190497A1 (en) Simultaneous location and mapping (slam) using dual event cameras
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN111094895B (zh) 用于在预构建的视觉地图中进行鲁棒自重新定位的系统和方法
JP2018197744A (ja) 路面標示を用いた都市環境における位置特定
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
WO2017085857A1 (ja) 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム
JP2017138660A (ja) 物体検出方法、物体検出装置、およびプログラム
JP6698430B2 (ja) 測定装置、測定方法およびプログラム
KR102618069B1 (ko) 지상조사 로봇의 점군 자료와 시각정보를 이용한 실내건물 재난정보 분석 방법 및 장치
CN113887400A (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP6881986B2 (ja) データ圧縮装置、データ解凍装置、制御方法、プログラム及び記憶媒体
KR102325121B1 (ko) 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
JP7585173B2 (ja) 実スケール奥行算出装置、実スケール奥行算出方法、および実スケール奥行算出プログラム
EP3088983B1 (en) Moving object controller and program
Servant et al. Improving monocular plane-based SLAM with inertial measures
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP7404011B2 (ja) 情報処理装置
JP2021119433A (ja) 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、及び学習済みの学習モデル生成方法
JP2021047744A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7214057B1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
JP2020144651A (ja) 計算機装置、状態変数推定方法及び状態変数推定プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200429

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210611

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20211013

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211105

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211108

End annual number: 3

Start annual number: 1

PG1501 Laying open of application
PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240823

Start annual number: 4

End annual number: 4