[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101619076B1 - 모바일 플랫폼의 동적 물체 검출 및 추적 방법 - Google Patents

모바일 플랫폼의 동적 물체 검출 및 추적 방법 Download PDF

Info

Publication number
KR101619076B1
KR101619076B1 KR1020090078456A KR20090078456A KR101619076B1 KR 101619076 B1 KR101619076 B1 KR 101619076B1 KR 1020090078456 A KR1020090078456 A KR 1020090078456A KR 20090078456 A KR20090078456 A KR 20090078456A KR 101619076 B1 KR101619076 B1 KR 101619076B1
Authority
KR
South Korea
Prior art keywords
mobile platform
dynamic
dynamic object
tracking
jpdaf
Prior art date
Application number
KR1020090078456A
Other languages
English (en)
Other versions
KR20110020961A (ko
Inventor
형승용
안성환
노경식
윤석준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020090078456A priority Critical patent/KR101619076B1/ko
Priority to US12/857,076 priority patent/US8649557B2/en
Publication of KR20110020961A publication Critical patent/KR20110020961A/ko
Application granted granted Critical
Publication of KR101619076B1 publication Critical patent/KR101619076B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

모바일 플랫폼이 동적 물체가 있는 환경에서 동적 물체를 검출하고 추적할 수 있는 방법을 개시한다. 이를 위해 모바일 플랫폼은 TOF 센서로 3차원 영상을 획득하고, 획득된 3차원 영상에서 RANSAC 알고리즘을 이용하여 바닥 평면을 제거하고 각각의 물체를 분리한다. 결합 확률 데이터 연관 필터(JPDAF)로 분리된 각각의 물체의 운동상태를 추정할 수 있다.

Description

모바일 플랫폼의 동적 물체 검출 및 추적 방법{METHOD OF DETECTING AND TRACKING MOVING OBJECT FOR MOBILE PLATFORM}
바닥 평면을 추출하여 물체를 검출하고, 검출된 물체의 운동상태를 추정하는 것을 특징으로 하는 모바일 플랫폼의 동적 물체 검출 및 추적 방법에 관한 것이다.
지능형 무인화 기술이 발달됨에 따라 자기위치 인식기술과 지능적 경로계획에 대한 많은 연구가 진행되고 있다. 플랫폼(예를 들어 가정에서의 가사 도우미 로봇, 공공장소용 서비스 로봇 등)이 자율적으로 이동하기 위해서는 우선 자신의 위치를 인지하고 목적지의 위치를 안 이후에 자신과 목적지 사이의 공간의 각종 장애물을 검출하여 이를 회피하여 이동할 수 있는 경로를 계획해야 한다.
SLAM(Simultaneous Localization And Mapping)은 영상이나 거리센서 등을 이용하여 실시간으로 지도를 작성하며 자기위치를 인지하는 기술로서 실내 위치인식의 적절한 대안으로 여겨지고 있다. 특히, evidence grid 또는 영상의 특징점을 이용한 SLAM에 관한 연구가 활발하게 이루어지고 있다. 그러나, 이러한 SLAM 기술들은 정적인 환경(즉, 플랫폼 외에는 움직이는 물체가 없는 환경)을 가정한 상태에서 알고리즘을 수행하였기 때문에 동적인 환경(즉, 플랫폼 외에도 사람과 같은 움직이 는 물체가 있는 환경)에서는 제 성능을 발휘하지 못한다.
움직이는 물체가 존재하는 동적 환경에서도 SLAM의 성능을 향상시켜 모바일 플랫폼의 경로계획 성능을 향상시키는 방법을 제시한다.
또한, 모바일 플랫폼이 간결한 알고리즘을 이용하여 움직이는 물체를 검출하고 운동상태를 추정하는 방법을 제시한다.
이를 위해 본 발명의 일측면에 의한 모바일 플랫폼의 동적 물체 검출 및 추적 방법은 모바일 플랫폼이 이동하는 환경의 3차원 영상을 획득하고; 3차원 영상에서 바닥 평면을 제거하고; 바닥 평면이 제거된 3차원 영상에서 각각의 물체를 분리한다.
이 때, 모바일 플랫폼이 획득한 3차원 영상은 TOF 센서로부터 얻은 깊이 지도(depth map)인 것이 바람직하다.
또한, 3차원 영상에서 바닥 평면을 제거하는 것은 RANSAC 알고리즘을 이용하는 것이 바람직하다.
또한, 바닥 평면이 제거된 3차원 영상에서 각각의 물체를 분리하는 것은 블럽(blob) 알고리즘을 이용하는 것이 바람직하다.
본 발명의 일측면에 의한 모바일 플랫폼의 동적 물체 검출 및 추적 방법은 결합 확률 데이터 연관 필터(JPDAF)로 분리된 각각의 물체의 운동상태를 추정한다.
이 때, 분리된 물체가 동적 물체라고 판단된 경우 일정 조건을 만족하면 정식 동적 물체로 등록할 수 있다.
위 일정 조건은 공분산 값이 일정 임계값보다 작은 경우인 것으로 설정하는 것이 바람직하다.
또한, 본 발명의 일측면에 의한 모바일 플랫폼의 동적 물체 검출 및 추적 방법은 등록된 정식 동적 물체의 위치 또는 속도를 추정하여 등록된 정식 동적 물체를 추적할 수 있다.
또한, 추정된 정식 동적 물체의 위치 또는 속도를 이용하여 모바일 플랫폼이 등록된 정식 동적 물체를 회피할 수 있는 주행 경로를 계획할 수 있다.
이상에서 살펴본 바와 같이, 모바일 플랫폼은 3차원 영상 정보에서 RANSAC 알고리즘을 이용하여 바닥 평면을 제거하고 결합 확률 데이터 연관 필터(JPDAF)로 각각의 동적 물체를 검출 및 추적함으로써 동적 물체가 많은 환경에서 보다 신뢰성 있는 SLAM을 수행할 수 있다. 또한, 동적 물체를 추적함과 더불어 예측된 동적 물체의 주행 경로를 이용하여 모바일 플랫폼이 동적 물체와 충돌하지 않고 회피할 수 있는 주행 경로를 계획할 수 있도록 한다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일실시예에 의한 모바일 플랫폼의 외관 구성도로서, 움직이는 물체가 많은 동적 환경에서 자율적으로 이동하는 로봇을 예로 들어 설명한다.
도 1에서, 본 발명의 일실시예에 의한 모바일 플랫폼(10)은 이동하는 로봇 본체(12)와, 로봇 본체(12)에 설치된 영상획득부(14)를 구비하여 알려지지 않은 동적 환경을 자율적으로 이동한다.
도 2는 본 발명의 일실시예에 의한 모바일 플랫폼의 제어 블록도로서, 영상획득부(14), 영상처리부(16), 제어부(18), 저장부(20) 및 구동부(22)를 포함한다.
영상획득부(14)는 움직이는 물체(이하, 동적 물체라 한다)가 많은 동적 환경에서 모바일 플랫폼(10)이 이동할 때 이동하는 경로 상의 영상을 촬영하여 경로 상에 위치하는 다양한 물체(예를 들어, 정적 물체나 동적 물체 등)의 3차원 정보를 획득하는 3D 카메라 센서이다. 3D 카메라 센서는 깊이 지도(depth map)를 획득할 수 있는 IR TOF 센서인 것이 바람직하다. 일반적으로 모바일 플랫폼이 이동중인 상황에서 환경데이터를 실시간으로 얻어내는 것은 매우 어려우며, 실시간으로 환경지도를 작성하며 장애물을 회피하기 위해서는 환경데이터를 획득하는 시간도 매우 빨라야 한다. 하지만 최근 개발된 IR TOF 센서는 각각의 이미지를 통해 획득된 영상정보로부터 적외선을 통해 빛의 이동시간을 계산해서 각각의 픽셀(pixel)의 거리정보를 얻을 수 있으며, 복잡한 계산을 필요로 하지 않아 실시간으로 깊이 지도(depth map)을 획득할 수 있는 장점이 있다.
영상처리부(16)는 영상획득부(14)를 통해 획득된 3차원 정보(깊이지도)를 입력받아 모바일 플랫폼(10)이 이동하는 경로의 특징점을 추출한다. 특징점을 추출하기 위하여 영상처리부(16)는 먼저 획득된 깊이지도(depth map)에서 RANSAC 알고리즘을 이용하여 바닥 평면을 추출하고, 블럽(blob) 알고리즘을 이용하여 각각의 물체를 분리한 다음, 분리된 각각의 물체의 위치 정보의 평균값을 특징점으로 선택한다.
제어부(18)는 영상처리부(16)를 통해 추출된 특징점을 결합 확률 데이터 연 관 필터(JPDAF)에 적용하여 각각의 물체의 운동상태를 추정하고, 동적 물체를 검출하면 각각 ID를 부여하여 정식 동적 물체로 등록하고, 위치, 속도 등을 추정하여 등록된 정식 동적 물체를 추적할수 있도록 하는 중앙 연산 장치(CPU)이다.
저장부(20)는 기본적으로 모바일 플랫폼(10)의 현재위치와 최종 목표위치를 저장하고 있으며, 영상처리부(16)를 통해 추출된 특징점들의 데이터와, 제어부(18)에서 획득한 동적 물체의 ID, 위치, 속도 등을 저장하는 메모리이다.
구동부(22)는 제어부(18)에서 획득한 등록된 동적 물체의 위치, 속도 등의 정보를 기반으로 하여 모바일 플랫폼(10)이 등록된 정식 동적 장애물과의 충돌없이 경로를 자율적으로 이동하도록 구동한다.
도 3은 본 발명의 일실시예에 의한 RANSAC 알고리즘을 이용한 바닥 평면 제거의 개념도이다.
모바일 플랫폼(10)이 각각의 물체의 특징점을 추출하고, 이 특징점을 기초로 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 동적 물체를 검출 및 추정하기 위해서는 각각의 물체를 분리하여 인식하는 작업이 선행되어야 한다. 이하, 도 3을 기초로 모바일 플랫폼(10)이 각각의 물체를 분리하여 인식하는 방법에 대하여 상세히 설명한다.
모바일 플랫폼(10)에 설치되는 영상획득부(14)는 IR TOF 센서로 구성될 수 있다. 모바일 플랫폼(10)은 IR TOF 센서로부터 모바일 플랫폼(10) 주위의 3차원 영상의 깊이 지도(depth map)를 획득한다. 이 때, 획득된 깊이 지도(depth map)는 물체와 물체 사이의 어떠한 경계를 지정할 수 있는 표식이 없기 때문에 하나의 큰 덩 어리(mesh) 형태를 띄게 된다. 각각의 물체로 분리하는 과정은 기본적으로 덩어리(mesh)끼리 구분하는 방법을 사용한다. 즉, 깊이 지도(depth map)에서 주변과 가까운 거리에 있는 점은 하나의 덩어리(mesh)에 포함된 것이고 멀리 떨어져 있는 점은 다른 덩어리(mesh)에 포함된 것으로 판단한다. 이 때, 각각의 물체로 분리하는 과정에서 가장 곤란한 점은 바닥으로 인하여 이미지상의 모든 점들이 하나의 덩어리(mesh)로 인식되는 것이다. 따라서, 바닥으로 추정되는 바닥 평면을 제거한 후, 물체를 분리하는 과정이 수행되어야 한다.
바닥 평면 제거는 RANSAC 알고리즘을 이용하여 수행한다. RANSAC(RANdom SAmple Consensus)은 outlier를 포함한 데이터로부터 일정한 수학적 모델의 매개변수를 찾아내는 재귀적 방법이다. RANSAC 알고리즘은 확률적으로 결과를 제시하므로 비결정적 알고리즘이며, 재귀 반복을 많이 할수록 정확한 결과를 제시한다. 기본적으로 모든 점이 평면 상에 존재한다고 가정하고 단계적으로 outlier라고 생각되는 데이터를 제거하는 방법을 사용한다. 이 때, outlier는 평면을 추출하는 재귀적 방법에 있어 노이즈로 판단되는 데이터를 의미하며 후술할 inlier는 최종적으로 평면으로 판단된 데이터를 의미한다.
기본적으로 평면의 방정식은 다음과 같은 형태를 가진다.
Figure 112009051859089-pat00001
각각의 데이터로부터 평면까지의 거리의 합이 최소화 될 수 있는
Figure 112015101689117-pat00002
파라메터를 최소자승법을 사용하여 획득한다. 획득된 평면으로부터 일정 거리 이상 떨어진 데이터는 outlier로 처리하고 다시 최적 값을 계산한다. 이러한 과정을 반복하면 확률적으로 가장 정확한 평면의 방정식을 얻을 수 있다.
최종적으로 가장 적합하다고 판단되는 평면의 방정식을 획득하면 inlier에 해당하는 데이터를 모두 평면데이터로 취급할 수 있다. 깊이 지도(depth map)에서 inlier에 해당하는 데이터를 제거하면 도 4에 도시된 바와 같이 검은색의 점들로 이루어진 영역이 제거되고, 물체들의 덩어리(mesh)가 지면에서 떨어져 분리된다. 이렇게 물체들의 덩어리(mesh)가 지면에서 분리되면 블럽(blob) 알고리즘을 이용하여 각각의 물체를 분리한다. 분리된 각각의 물체들을 블럽(blob)이라고 부르기도 한다.
도 5에 도시된 바와 같이 블럽(blob) 알고리즘은 binarymap 지도상에서 경계선을 따라가는 방식의 알고리즘으로 구성된다. 즉, 배경이 0이고 덩어리의 물체로 인지된 곳이 1이라고 가정하여 1인 부분의 경계선을 따라 하나의 폐곡선을 완성하면 하나의 블럽(blob)으로 결정한다. 이 때, 노이즈처럼 보이는 블럽(blob)을 제거하기 위하여 블럽(blob)이 몇 픽셀 이하로 구성되면 블럽(blob)이 아닌 것으로 설정하여 제거할 수 있다. 다음으로 블럽(blob) 알고리즘을 통하여 획득한 블럽(blob) 구성 픽셀의 깊이(depth) 값을 평균하여 (x,y,z)의 대표값을 추출하여 블럽(blob)의 중심점으로 설정한다. 이 블럽(blob)의 중심점은 후술할 결합 확률 데이터 연관 필터(JPDAF)에 적용될 데이터로 사용된다.
도 6은 본 발명의 일실시예에 의한 결합 확률 데이터 연관 필터(JPDAF)의 동 작을 나타낸 도면이다.
위와 같이 깊이 지도(depth map)에서 각각의 물체들이 분리되고 각 물체들의 대표값이 추출되면 이 값들을 기초로 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 각각의 물체들의 운동상태를 추정하게 된다.
결합 확률 데이터 연관 필터(Joing Probability Data Association Filter ; JPDAF)는 여러 개의 이동 물체를 추적하는 방법으로 추적하는 물체의 상태를 추정하는 여러 개의 추정치와 추정근거가 되는 여러 개의 센서 값이 가장 높은 확률을 가질 수 있도록 대응시키는 데이터 연관(Data Association) 방법의 하나이다. 결합 확률 데이터 연관 필터(JPDAF)의 장점은 근사 수학적 모델을 사용할 경우 등속 물체는 물론 가속이 있는 물체도 정확한 추정치를 계산해낼 수 있으며, 클러터 환경에도 강건하다는 점이다. 따라서, 센서의 성능이 좋지 않아 다소 잡음이 많은 깊이 지도(depth map)에서도 동적 물체를 추적할 수 있다.
결합 확률 데이터 연관 필터(JPDAF)는 기본적으로 칼만 필터 알고리즘을 이용한다. 예측 과정에서 각각의 점이 수학적 모델을 가지고 있는데 적분 업데이트를 함으로서 다음 시간에 어떠한 위치에 점이 존재할 것인지를 예측할 수 있다. 이 과정에서 모델의 정밀도에 따라서 위치 예측치에 대한 오차 공분산(covariance) 값이 같이 연산된다. 즉, 정확한 모델의 경우 예측 오차 공분산이 작아지고 정확하지 않은 모델의 경우 예측 오차 공분산이 커진다. 본 발명의 일실시예에 의한 모바일 플랫폼(10)의 동적 물체 검출 및 추적 방법에서 사용하는 결합 확률 데이터 연관 필터(JPDAF)는 각각의 입자에 대한 상태변수를 다음과 같이 설정하며, 칼만 필터의 예측 과정에 사용되는 모델은 다음과 같다.
Figure 112009051859089-pat00003
이 때,
Figure 112015101689117-pat00004
는 물체의 운동상태를 나타내는 추정치를 의미하며, 각각의 상태변수
Figure 112015101689117-pat00005
는 x 좌표, x 방향 속도, y 좌표, y 방향 속도, z 좌표, z 방향 속도를 의미한다.
Figure 112015101689117-pat00006
은 다음 시간에서의 물체의 운동상태를 나타내는 추정치를 의미한다.
Figure 112015101689117-pat00007
는 운동 모델 오차를 나타낸다.
Figure 112015101689117-pat00008
는 센서 데이터로 입력되는 측정치를 의미한다.
위와 같은 모델에 센서 데이터로서 블럽(blob) 알고리즘에서 추출된 각각의 블럽(blob)의 대표값을 사용한다. 즉, 각각의 블럽(blob)의 중심값을 대표값으로 설정하고 이를 결합 확률 데이터 연관 필터(JPDAF)의 센서 데이터로 전달한다. 여기에서, 블럽(blob) 알고리즘으로 발생된 데이터는 계속적으로 추적하고 있던 동적 물체의 개수와 일치하지 않을 수도 있다. 따라서, 결합 확률 데이터 연관 필 터(JPDAF)를 통하여 확률적으로 가장 적합하게 동적 물체와 블럽(blob)을 대응시켜야 한다. 칼만 필터에서는 각각의 추정값에 해당하는 센서 측정 값을 갱신하여 필터의 추정 오차를 줄여야 하는데 어느 측정값을 어느 추정치에 대응시켜야 하는지를 알 수가 없다. 그러나, 결합 확률 데이터 연관 필터(JPDAF)를 사용함으로써 갱신과정에서 확률적으로 가장 근사한 점들끼리 대응을 시켜서 가장 작은 공분산, 즉 가장 정확한 추정치가 나올 수 있는 대응을 찾고 이를 통하여 측정치 갱신을 수행할 수 있다.
도 6에서 ,
Figure 112009051859089-pat00009
는 각각 t가 k-1일 때의 위치 추정치이고,
Figure 112009051859089-pat00010
는 각각 t가 k일 때의 위치 추정치이며, y1, y2는 각각 t가 k일 때의 위치 측정치이다. 단순히 최접점으로 측정치와 추정치를 대응시키면
Figure 112009051859089-pat00011
와 y1,
Figure 112009051859089-pat00012
와 y2를 대응시켜야 하겠지만 결합 확률 데이터 연관 필터(JPDAF)에서는 동특성 앞에서 정의된 동특성 모델을 사용함으로서
Figure 112009051859089-pat00013
와 y2,
Figure 112009051859089-pat00014
와 y1를 대응시킬 수 있다. 후자측이 확률적으로 보다 더 정확한 대응방법이 될 수 있다. 이러한 필터링 과정을 통하여 각각의 특징점을 추적하면서 특징점들에 대한 위치 및 각속도 회전 반지름에 대한 추정치를 획득할 수 있다.
이러한 방법으로 결합 확률 데이터 연관 필터(JPDAF)는 각각의 분리된 물체의 상태를 검출할 수 있다. 즉, 물체가 정지되어 있어 정적 물체로 판단된 경우에 는 이 정적 물체의 대표값은 모바일 플랫폼(10)의 위치 인식(Localization)을 위한 데이터로 저장부(20)에 저장된다. 또한, 물제가 움직이고 있어 동적 물체로 판단된 경우에는 동적 물체의 운동 상태를 추정하다가 일정 조건을 만족하면 정식 동적 물체로 등록한다. 정식 동적 물체로 등록하는 것은 추적 진행 중의 공분산 값을 이용하여 수행한다. 계속적으로 추적이 진행되면 공분산 값이 줄어들게 되며, 추적을 실패하게 되면 공분산 값이 늘어나게 된다. 따라서, 공분산 값이 일정 임계값보다 작은 경우이면 동적 물체의 추적에 성공한 것으로 판단하여 ID를 부여하고 정식 동적 물체로 등록한다.
본 발명의 일실시예에 의한 모바일 플랫폼의 물체 검출 및 추적 방법은 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 등록된 정식 동적 물체의 위치 또는 속도를 추정하여 등록된 정식 동적 물체를 추적할 수 있다. 또한, 속도 성분은 동적 물체의 이동 경향을 추정할 수 있기 때문에 등록된 동적 물체를 회피할 수 있는 주행 경로를 계획할 수 있다.
도 7은 본 발명의 일실시예에 의한 모바일 플랫폼의 동적 물체 검출 및 추적 알고리즘 순서도이다. 이하, 순서도를 바탕으로 모바일 플랫폼(10)이 동적 물체를 검출 및 추적하는 동작을 상세히 설명한다.
모바일 플랫폼(10)이 이동하게 되면 영상획득부(14 : IR TOF 센서)는 주위 3차원 영상을 촬영하여 정적 물체 및 동적 물체를 포함하고 있는 깊이 지도(depth map)을 획득한다.(100)
다음, 획득된 깊이 지도(depth map)에서 RANSAC 알고리즘을 이용하여 바닥 평면을 제거한 후(102), 블럽(blob) 알고리즘을 이용하여 각각의 물체를 분리하고(104), 분리된 각각의 물체의 중심 좌표값을 대표값으로 추출한다.(106) 이 대표값은 다음 결합 확률 데이터 연관 필터(JPDAF)를 이용한 물체의 운동 상태 추정 단계에서 센서 데이터로 사용된다.
결합 확률 데이터 연관 필터(JPDAF)를 이용한 동적 물체 검출 및 추적은 다음과 같은 단계로 이루어진다. 먼저 앞에서 분리된 각각의 물체의 대표값을 센서 데이터로 입력받아 결합 확률 데이터 연관 필터(JPDAF)를 이용하여 물체의 운동 상태를 추정하게 된다.(108) 이 때, 결합 확률 데이터 연관 필터(JPDAF)는 센서 데이터를 측정치로 입력 받아 데이터 연관(Data Association)을 수행하고 측정 업데이트 과정을 반복하면서 추정치를 예측하게 된다.
결합 확률 데이터 연관 필터(JPDAF)는 위와 같은 과정을 반복적으로 수행 중에 모바일 플랫폼(10)과 물체들 간의 상대 속도를 이용하여 물체들의 운동 상태를 판단한다. 물체가 운동 상태인가를 판단하고(110), 운동 상태가 아니라고 판단되면 정적 물체로 인식하고 정적 물체의 대표값을 저장부(20)에 저장한다.(112)
물체가 운동 상태라고 판단되면 동적 물체로 인식하고 공분산 값이 일정 임계값보다 작은지를 판단한다.(114) 공분산 값이 일정 임계값보다 큰 경우에는 동적 물체 추적에 실패한 것으로 판단한다.(116) 공분산 값이 일정 임계값보다 작은 경우에는 동적 물체 추적에 성공한 것으로 판단하고 정식 동적 물체로 등록한다.(118) 정식 동적 물체로 등록되면 추정되는 정식 동적 물체의 위치, 속도 등의 정보를 이용하여 정식 동적 물체를 추적하고, 이 추적된 정보를 바탕으로 모바일 플 랫폼(10) 정식 동적 물체를 회피하여 이동할 경로를 계획한다.(120)
도 1은 본 발명의 일실시예에 의한 모바일 플랫폼의 외관 구성도이다.
도 2는 본 발명의 일실시예에 의한 모바일 플랫폼의 제어 블록도이다.
도 3은 본 발명의 일실시예에 의한 RANSAC 알고리즘을 이용한 바닥 평면 제거의 개념도이다.
도 4는 본 발명의 일실시예에 의한 RANSAC 알고리즘을 이용한 평면 추출의 개념도이다.
도 5는 본 발명의 일실시예에 의한 블럽(blob) 알고리즘의 개략도이다.
도 6은 본 발명의 일실시예에 의한 결합 확률 데이터 연관 필터(JPDAF)의 동작을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 의한 모바일 플랫폼의 동적 물체 검출 및 추적 알고리즘의 순서도이다.
*도면의 주요 부분에 대한 부호의 설명*
10 : 모바일 플랫폼 14 : 영상획득부
16 : 영상처리부 18 : 제어부
20 : 저장부 22 : 구동부

Claims (10)

  1. 모바일 플랫폼이 이동하는 환경의 3차원 영상을 획득하고;
    상기 3차원 영상에서 바닥 평면을 추출하여 제거하고;
    상기 바닥 평면이 제거된 3차원 영상에서 각각의 물체를 분리하고;
    상기 분리된 각각의 물체의 운동상태를 추정하고;
    일정 조건이 만족될 때 상기 분리된 각각의 물체를 정식 동적 물체로 등록하되,
    상기 일정 조건은 공분산 값이 일정 임계값보다 작은 경우인 모바일 플랫폼의 동적 물체 검출 및 추적 방법.
  2. 제1항에 있어서,
    상기 3차원 영상에서 바닥 평면을 추출하여 제거하는 것은,
    RANSAC 알고리즘을 이용하는 모바일 플랫폼의 동적 물체 검출 및 추적 방법.
  3. 제1항에 있어서,
    상기 모바일 플랫폼이 획득한 3차원 영상은 TOF 센서로부터 얻은 깊이 지도(depth map)인 모바일 플랫폼의 동적 물체 검출 및 추적 방법.
  4. 제3항에 있어서,
    상기 3차원 영상에서 바닥 평면을 추출하여 제거하는 것은,
    상기 TOF 센서로부터 얻은 깊이 지도(depth map)의 픽셀 정보를 각각의 데이터로 하여 RANSAC 알고리즘을 수행하는 모바일 플랫폼의 동적 물체 검출 및 추적 방법.
  5. 제3항에 있어서,
    상기 바닥 평면이 제거된 3차원 영상에서 각각의 물체를 분리하는 것은,
    블럽(blob) 알고리즘을 이용하는 것을 특징으로 하는 모바일 플랫폼의 동적 물체 검출 및 추적 방법.
  6. 제3항에 있어서,
    결합 확률 데이터 연관 필터(JPDAF)를 이용하여 상기 분리된 각각의 물체의 운동상태를 추정하는 모바일 플랫폼의 동적 물체 검출 및 추적 방법.
  7. 제6항에 있어서,
    상기 결합 확률 데이터 연관 필터(JPDAF)로 상기 분리된 각각의 물체의 운동상태를 추정한 결과 동적 물체라고 판단된 경우 상기 일정 조건을 만족하면 정식 동적 물체로 등록하는 모바일 플랫폼의 동적 물체 검출 및 추적 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 등록된 정식 동적 물체의 위치 또는 속도를 추정하여 상기 동적 물체를 추적하는 모바일 플랫폼의 물체 검출 및 추적 방법.
  10. 제9항에 있어서,
    상기 추정된 등록된 정식 동적 물체의 위치 또는 속도를 이용하여 상기 모바일 플랫폼이 상기 등록된 정식 동적 물체를 회피할 수 있는 주행 경로를 계획하는 것을 더 포함하는 모바일 플랫폼의 물체 검출 및 추적 방법.
KR1020090078456A 2009-08-25 2009-08-25 모바일 플랫폼의 동적 물체 검출 및 추적 방법 KR101619076B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090078456A KR101619076B1 (ko) 2009-08-25 2009-08-25 모바일 플랫폼의 동적 물체 검출 및 추적 방법
US12/857,076 US8649557B2 (en) 2009-08-25 2010-08-16 Method of mobile platform detecting and tracking dynamic objects and computer-readable medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090078456A KR101619076B1 (ko) 2009-08-25 2009-08-25 모바일 플랫폼의 동적 물체 검출 및 추적 방법

Publications (2)

Publication Number Publication Date
KR20110020961A KR20110020961A (ko) 2011-03-04
KR101619076B1 true KR101619076B1 (ko) 2016-05-10

Family

ID=43624995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090078456A KR101619076B1 (ko) 2009-08-25 2009-08-25 모바일 플랫폼의 동적 물체 검출 및 추적 방법

Country Status (2)

Country Link
US (1) US8649557B2 (ko)
KR (1) KR101619076B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534980B2 (en) 2017-06-01 2020-01-14 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object based on vocabulary tree

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619076B1 (ko) * 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8837839B1 (en) * 2010-11-03 2014-09-16 Hrl Laboratories, Llc Method for recognition and pose estimation of multiple occurrences of multiple objects in visual images
US9235902B2 (en) 2011-08-04 2016-01-12 University Of Southern California Image-based crack quantification
KR101371038B1 (ko) * 2011-10-26 2014-03-10 엘지전자 주식회사 이동 로봇 및 이의 목표물 추적 방법
WO2013090830A1 (en) * 2011-12-16 2013-06-20 University Of Southern California Autonomous pavement condition assessment
CN102609941A (zh) * 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
KR101706216B1 (ko) * 2012-04-03 2017-02-13 한화테크윈 주식회사 고밀도 삼차원 영상 재구성 장치 및 방법
KR101807484B1 (ko) 2012-10-29 2017-12-11 한국전자통신연구원 객체 및 시스템 특성에 기반한 확률 분포 지도 작성 장치 및 그 방법
US20170060810A1 (en) * 2012-12-13 2017-03-02 Eagle Harbor Holdings, LLC. System and method for the operation of an automotive vehicle system with modeled sensors
US9495389B2 (en) * 2013-03-15 2016-11-15 Qualcomm Incorporated Client-server based dynamic search
US9275078B2 (en) * 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
CN104715249B (zh) 2013-12-16 2018-06-05 株式会社理光 物体跟踪方法和装置
TWI530909B (zh) * 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
KR101781831B1 (ko) 2014-03-27 2017-09-26 인텔 코포레이션 Ransac 알고리즘의 병렬 실행을 위한 기법
KR101402206B1 (ko) * 2014-04-10 2014-05-30 국방과학연구소 운동학 및 형상 정보를 활용한 다중 표적 추적 방법
DE112014006561T5 (de) * 2014-04-10 2017-02-16 Mitsubishi Electric Corporation Routenvorausberechunungseinrichtung
JP2015206768A (ja) * 2014-04-23 2015-11-19 株式会社東芝 前景領域抽出装置、前景領域抽出方法及びプログラム
US9888167B2 (en) * 2014-05-30 2018-02-06 General Electric Company Selectable enhancement window for incremental measurement adjustment
CN104217442B (zh) * 2014-08-28 2017-01-25 西北工业大学 基于多模型估计的航拍视频运动目标检测方法
WO2016040473A1 (en) * 2014-09-10 2016-03-17 Vangogh Imaging, Inc. Real-time dynamic three-dimensional adaptive object recognition and model reconstruction
CN104318099B (zh) * 2014-10-22 2016-04-20 西安理工大学 二维随机路网上的动点移动模拟实验方法
EP3213292A4 (en) * 2014-10-28 2018-06-13 Hewlett-Packard Development Company, L.P. Three dimensional object recognition
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
WO2016142794A1 (en) 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
US9534906B2 (en) 2015-03-06 2017-01-03 Wal-Mart Stores, Inc. Shopping space mapping systems, devices and methods
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
US12084824B2 (en) 2015-03-06 2024-09-10 Walmart Apollo, Llc Shopping facility assistance systems, devices and methods
CN105279723A (zh) * 2015-09-10 2016-01-27 上海中科深江电动车辆有限公司 移动献血助理系统、包含电动献血车的服务系统及方法
US10195740B2 (en) * 2015-09-10 2019-02-05 X Development Llc Using object observations of mobile robots to generate a spatio-temporal object inventory, and using the inventory to determine monitoring parameters for the mobile robots
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
US10339387B2 (en) 2016-03-03 2019-07-02 Brigham Young University Automated multiple target detection and tracking system
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
CN105975918B (zh) * 2016-04-29 2019-04-02 厦门大学 基于多模型估计的面向移动摄像机的运动目标检测方法
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
US10380762B2 (en) 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
JP6804991B2 (ja) * 2017-01-05 2020-12-23 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
US10713792B1 (en) * 2017-01-13 2020-07-14 Amazon Technologies, Inc. System and apparatus for image processing
KR101979246B1 (ko) * 2017-01-26 2019-05-16 (주)로보케어 센서 좌표계를 게임 존에 캘리브레이션하는 방법 및 장치
KR102461938B1 (ko) * 2017-04-04 2022-10-31 엘지전자 주식회사 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
AU2018261257B2 (en) 2017-05-01 2020-10-08 Symbol Technologies, Llc Method and apparatus for object status detection
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
WO2019036330A1 (en) * 2017-08-15 2019-02-21 True Hair Llc METHOD AND SYSTEM FOR GENERATING A 3D DIGITAL MODEL USED IN POSTCH MANUFACTURING
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10839585B2 (en) 2018-01-05 2020-11-17 Vangogh Imaging, Inc. 4D hologram: real-time remote avatar creation and animation control
US10657388B2 (en) 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
US11080540B2 (en) 2018-03-20 2021-08-03 Vangogh Imaging, Inc. 3D vision processing using an IP block
US10810783B2 (en) 2018-04-03 2020-10-20 Vangogh Imaging, Inc. Dynamic real-time texture alignment for 3D models
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
CN108614552B (zh) * 2018-04-08 2021-01-12 浙江大承机器人科技有限公司 一种基于离散位姿的路径规划方法
US11170224B2 (en) 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
RU2698402C1 (ru) * 2018-08-30 2019-08-26 Самсунг Электроникс Ко., Лтд. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)
KR102220865B1 (ko) * 2018-10-02 2021-02-25 엘지전자 주식회사 청소로봇이 지면의 단차에 적응적으로 동작하는 방법 및 청소로봇
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
CN109460267B (zh) * 2018-11-05 2021-06-25 贵州大学 移动机器人离线地图保存与实时重定位方法
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
KR102704006B1 (ko) * 2019-02-14 2024-09-05 한화에어로스페이스 주식회사 장애물 지도 생성 방법 및 그 장치
US11170552B2 (en) 2019-05-06 2021-11-09 Vangogh Imaging, Inc. Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time
US11232633B2 (en) 2019-05-06 2022-01-25 Vangogh Imaging, Inc. 3D object capture and object reconstruction using edge cloud computing resources
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
WO2020258217A1 (zh) * 2019-06-28 2020-12-30 深圳市大疆创新科技有限公司 可移动平台状态估计方法、系统、可移动平台及存储介质
WO2021030034A1 (en) 2019-08-15 2021-02-18 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
CN110555901B (zh) * 2019-09-05 2022-10-28 亮风台（上海）信息科技有限公司 动静态场景的定位和建图方法、装置、设备和存储介质
CN110794422B (zh) * 2019-10-08 2022-03-29 歌尔光学科技有限公司 一种含有tof成像模组的机器人数据采集系统及方法
EP4049057A1 (en) 2019-10-25 2022-08-31 Starship Technologies OÜ Method and system for object detection for a mobile robot with time-of-flight camera
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11335063B2 (en) 2020-01-03 2022-05-17 Vangogh Imaging, Inc. Multiple maps for 3D object scanning and reconstruction
CN111311708B (zh) * 2020-01-20 2022-03-11 北京航空航天大学 一种基于语义光流和逆深度滤波的视觉slam方法
KR20210100518A (ko) * 2020-02-06 2021-08-17 엘지전자 주식회사 로봇 청소기 및 그 제어 방법
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
US11558569B2 (en) 2020-06-11 2023-01-17 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
CN112091992B (zh) * 2020-10-13 2022-03-01 广州酒家集团利口福食品有限公司 一种刷蛋液机械手的路径规划方法及装置
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
CN112577500B (zh) * 2020-11-27 2024-12-31 北京迈格威科技有限公司 定位与地图构建方法、装置、机器人及计算机存储介质
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN114613002B (zh) * 2022-02-22 2023-06-27 北京理工大学 基于光线投影原理的运动视角下动态物体检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091217A (ja) 1999-09-24 2001-04-06 Honda Motor Co Ltd 物体認識装置
US20080273751A1 (en) * 2006-10-16 2008-11-06 Chang Yuan Detection and Tracking of Moving Objects from a Moving Platform in Presence of Strong Parallax

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5977978A (en) * 1996-11-13 1999-11-02 Platinum Technology Ip, Inc. Interactive authoring of 3D scenes and movies
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
US6714663B1 (en) * 1999-11-09 2004-03-30 Lockheed Martin Corp. Method and software-implemented apparatus for ground plane estimation in multi-dimensional data
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
JP4429461B2 (ja) * 2000-03-17 2010-03-10 本田技研工業株式会社 画像処理装置、平面検出方法、及び平面検出プログラムを記録した記録媒体
JP4409035B2 (ja) * 2000-03-22 2010-02-03 本田技研工業株式会社 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体
GB0023681D0 (en) * 2000-09-27 2000-11-08 Canon Kk Image processing apparatus
WO2004106857A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
JP4297501B2 (ja) * 2004-08-11 2009-07-15 国立大学法人東京工業大学 移動体周辺監視装置
WO2006121457A2 (en) * 2004-08-18 2006-11-16 Sarnoff Corporation Method and apparatus for performing three-dimensional computer modeling
JP2006239844A (ja) * 2005-03-04 2006-09-14 Sony Corp 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置
US7620204B2 (en) * 2006-02-09 2009-11-17 Mitsubishi Electric Research Laboratories, Inc. Method for tracking objects in videos using covariance matrices
JP4961860B2 (ja) * 2006-06-27 2012-06-27 トヨタ自動車株式会社 ロボット装置及びロボット装置の制御方法
US20080062167A1 (en) * 2006-09-13 2008-03-13 International Design And Construction Online, Inc. Computer-based system and method for providing situational awareness for a structure using three-dimensional modeling
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
US8234234B2 (en) * 2007-03-20 2012-07-31 International Business Machines Corporation Utilizing ray tracing for enhanced artificial intelligence path-finding
US7995055B1 (en) * 2007-05-25 2011-08-09 Google Inc. Classifying objects in a scene
JP4413957B2 (ja) * 2007-08-24 2010-02-10 株式会社東芝 移動物体検出装置および自律移動物体
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
JP4560658B2 (ja) * 2007-12-10 2010-10-13 本田技研工業株式会社 脚式移動ロボットの制御装置
US8320613B2 (en) * 2008-06-04 2012-11-27 Lockheed Martin Corporation Detecting and tracking targets in images based on estimated target geometry
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
AU2009281762A1 (en) * 2008-08-15 2010-02-18 Brown University Method and apparatus for estimating body shape
KR101572851B1 (ko) * 2008-12-22 2015-11-30 삼성전자 주식회사 동적 환경에서 모바일 플랫폼의 지도 작성방법
US8417490B1 (en) * 2009-05-11 2013-04-09 Eagle Harbor Holdings, Llc System and method for the configuration of an automotive vehicle with modeled sensors
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
KR101619076B1 (ko) * 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091217A (ja) 1999-09-24 2001-04-06 Honda Motor Co Ltd 物体認識装置
US20080273751A1 (en) * 2006-10-16 2008-11-06 Chang Yuan Detection and Tracking of Moving Objects from a Moving Platform in Presence of Strong Parallax

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534980B2 (en) 2017-06-01 2020-01-14 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object based on vocabulary tree

Also Published As

Publication number Publication date
US8649557B2 (en) 2014-02-11
KR20110020961A (ko) 2011-03-04
US20110052043A1 (en) 2011-03-03

Similar Documents

Publication Publication Date Title
KR101619076B1 (ko) 모바일 플랫폼의 동적 물체 검출 및 추적 방법
KR101572851B1 (ko) 동적 환경에서 모바일 플랫폼의 지도 작성방법
KR101503903B1 (ko) 이동 로봇의 지도 구성 장치 및 방법
US8467902B2 (en) Method and apparatus for estimating pose of mobile robot using particle filter
Asvadi et al. 3D object tracking using RGB and LIDAR data
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
KR101782057B1 (ko) 지도 생성 장치 및 방법
KR102172602B1 (ko) 라이다를 이용한 위치 인식 및 지도 작성에 관한 방법 및 장치
EP1901152B1 (en) Method, medium, and system estimating pose of mobile robots
US9058521B2 (en) Mobile robot and simultaneous localization and map building method thereof
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US20110205338A1 (en) Apparatus for estimating position of mobile robot and method thereof
Maier et al. Self-supervised obstacle detection for humanoid navigation using monocular vision and sparse laser data
JP6492469B2 (ja) 自車走行レーン推定装置及びプログラム
CN112997187A (zh) 基于鸟瞰图点云的二维对象边界框信息估计
Rodríguez Flórez et al. Multi-modal object detection and localization for high integrity driving assistance
KR102547274B1 (ko) 이동 로봇 및 이의 위치 인식 방법
TWI772743B (zh) 資訊處理裝置以及移動機器人
CN104811683A (zh) 用于估计位置的方法和设备
Zhang et al. Multiple vehicle-like target tracking based on the velodyne lidar
KR20200027087A (ko) 로봇 및 그의 제어 방법
KR101167627B1 (ko) 이동 로봇의 위치 및 지도의 이중 보정 장치 및 방법
JP5819257B2 (ja) 移動体位置推定方法及び移動体
CN115214681A (zh) 借助人工神经网络确定地平面的方法和系统
Awai et al. Hog-based person following and autonomous returning using generated map by mobile robot equipped with camera and laser range finder

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20090825

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140807

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20090825

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150820

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160202

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160502

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160503

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190422

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200416

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210419

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220419

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230418

Start annual number: 8

End annual number: 8