KR102159320B1 - 3차원 라이다를 활용한 물체 인식 방법 - Google Patents
3차원 라이다를 활용한 물체 인식 방법 Download PDFInfo
- Publication number
- KR102159320B1 KR102159320B1 KR1020180091464A KR20180091464A KR102159320B1 KR 102159320 B1 KR102159320 B1 KR 102159320B1 KR 1020180091464 A KR1020180091464 A KR 1020180091464A KR 20180091464 A KR20180091464 A KR 20180091464A KR 102159320 B1 KR102159320 B1 KR 102159320B1
- Authority
- KR
- South Korea
- Prior art keywords
- lidar
- objects
- tracking
- track
- target object
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Radar, Positioning & Navigation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
본 발명은 라이다를 이용하여 물체를 인식하는 방법에 관한 것이다. 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법은, 3차원 라이다를 활용하여 거리 데이터를 획득하고 전처리하는 단계; 상기 전처리한 결과를 기초로 소정 경사도에 근거하여 물체를 탐지하고, 상기 탐지한 물체를 분할하는 단계; 상기 분할한 물체별로 2차원 점유격자를 생성하는 단계; 및 상기 2차원 점유격자를 입력으로 컨벌루션 뉴럴 네트워크(Convolution Neural Network)를 통해, 목표 물체를 인식하는 단계;를 포함한다.
Description
본 발명은 라이다를 이용하여 물체를 인식하는 방법에 관한 것이다.
종래 야지 환경에서 물체 인식 기술은 대부분 영상 또는 라이다 센서를 활용한다. 영상 센서를 활용한 물체 인식은 주변의 환경(조명, 계절, 시간, 그림자, 태양의 위치, 야간, 기상환경 등)에 영향을 상대적으로 많이 받는다. 하지만, 라이다 센서는 영상 센서에 비해 주변의 환경에 덜 영향을 받기 때문에, 최근 라이다 센서 만을 활용한 물체 인식 기술에 대한 연구가 진행되고 있다.
특히, 딥러닝(Deep Learning) 기술의 일종인 3차원 라이다의 거리데이터를 활용한 CNN(Convolution Neural Network)을 활용한 물체 인식 연구가 다양하게 진행되고 있다. 또한, 기존 기계학습(Machine Learning) 기술을 활용하여 수기로 다양한 특징들(3차원을 2차원 단면으로 투영하여 모양, 통계적 특징 등)을 추출하여 물체를 인식하는 연구들도 다양하게 진행되어 왔다.
3차원 라이다를 활용한 딥러닝 기술 기반의 물체 인식 기술은, 개발자가 사용할 특징들을 추출할 필요가 없고 3차원 정보를 모두 활용하기 때문에 보다 정확한 인식을 수행할 수 있다는 장점을 가지고 있다. 그러나 3차원 데이터 사용으로 인해 2차원 데이터를 사용하는 것보다 상대적으로 많은 계산량을 가진다는 단점을 가진다. 기계학습 기술 기반의 물체 인식 기술은 2차원 상에서 다양한 특징들을 추출하기 때문에 계산량 면에서는 상대적으로 유리하지만, 개발자가 상황이나 목적에 적합한 특징들을 추출해야 좋은 성능을 보장한다는 단점을 가진다.
물체 인식 알고리즘은 데이터 부족, 가리어짐 등 여러 가지 원인에 의해 오인식(물체가 없지만 있다고 판단하는 오류 false positive, 물체가 있지만 인식하지 못하는 오류 false negative)이 발생한다. 이러한 오인식을 줄이기 위해 추적정보를 활용하여 물체의 정보를 누적함과 동시에, 물체가 연속 2 프레임 이상 인식되어야 물체로 인식하도록 필터를 개선시켜서 인식율을 향상시킨 접근방법이 제안되었고 성능개선을 보여주었다. 하지만, 누적의 정합 성능에 의해 인식율이 많은 영향을 받을 수밖에 없다는 단점이 존재한다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 3차원 라이다를 활용하여 획득되는 거리 데이터와 인텐서티(intensity) 정보를 이용해 2차원 점유격자를 생성하고, 이를 입력으로 하는 콘볼루션 뉴럴 네트워크(CNN)를 통해 목표 객체를 인식하며, 목표 객체의 추적 및 추적궤적을 활용하여 목표 객체를 인식할 수 있도록 하는 3차원 라이다를 활용한 물체(목표 객체) 인식 방법을 제공하는 것을 그 목적으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 3차원 라이다를 활용하여 거리 데이터를 획득하고 전처리하는 단계; 상기 전처리한 결과를 기초로 소정 경사도에 근거하여 물체를 탐지하고, 상기 탐지한 물체를 분할하는 단계; 상기 분할한 물체별로 2차원 점유격자를 생성하는 단계; 및 상기 2차원 점유격자를 입력으로 컨벌루션 뉴럴 네트워크(Convolution Neural Network)를 통해, 목표 물체를 인식하는 단계;를 포함하는 것을 특징으로 하는 3차원 라이다를 활용한 물체 인식 방법을 제공한다.
실시 예에 있어서, 다중표적 추적필터를 사용하여 상기 목표 물체를 추적하는 단계;를 더 포함할 수 있다.
또 다른 실시 예에 있어서, 상기 목표 물체를 추적한 결과에 근거하여, 상기 목표 물체별로 트랙을 생성하고 이전 트랙 개수와 현재 트랙 개수를 비교하는 단계;를 더 포함할 수 있다.
또 다른 실시 예에 있어서, 상기 비교 결과에 근거하여, 트랙의 아이디(ID)가 동일한 목표 물체에 동일한 아이디가 유지되도록 트랙 아이디를 관리하는 단계;를 더 포함할 수 있다.
또 다른 실시 예에 있어서, 상기 2차원 점유격자를 생성하는 단계;는, 상기 분할한 물체별로 PCA(Principal Component Analysis)를 수행하고, 주요 정보가 모여있는 면에 대해 2차원 거리정보와 인텐서티(intensity)가 포함된 2차원 점유격자를 생성하는 단계;를 포함할 수 있다.
본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 기존의 3차원 라이다를 활용한 물체인식 방법에 비하여 상대적으로 낮은 계산량을 보장할 수 있으며, 추적정보까지 활용함으로 인해, 일시적인 가리어짐과 일시적인 오인식 문제를 해결할 수 있다는 장점이 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실시 예를 설명하기 위한 개념도이다.
도 2는 다중 물체 추적 필터의 실시 예를 설명하기 위한 개념도이다.
도 3은 물체별 추적 궤적 연관 및 관리의 실시 예를 설명하기 위한 개념도이다.
도 4 내지 도 7은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실험결과를 설명하기 위한 개념도이다.
도 2는 다중 물체 추적 필터의 실시 예를 설명하기 위한 개념도이다.
도 3은 물체별 추적 궤적 연관 및 관리의 실시 예를 설명하기 위한 개념도이다.
도 4 내지 도 7은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실험결과를 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 기술할 것이다. 이하의 설명에서 본 발명의 모든 실시형태가 개시되는 것은 아니다. 본 발명은 매우 다양한 형태로 구현될 수 있으며, 여기에 개시되는 실시형태에 한정되는 것으로 해석되어서는 안 된다. 본 실시형태들은 출원을 위한 법적 요건들을 충족시키기 위해 제공되는 것이다. 동일한 구성요소에는 전체적으로 동일한 참조부호가 사용된다.
본 발명은 3차원 라이다로부터 획득되는 물체 정보의 대부분은 레이저가 맞는 정면 부분에서 획득되고, 라이다와 물체 사이의 거리정보와 라이다가 물체에 맞고 돌아오는 신호세기의 일종인 Intensity 정보를 가진다는 전제를 통해 고안되었다.
본 발명의 구성에 대한 설명은 용이한 설명을 위해 물체를 사람이라고 가정하고 설명한다. 사람 이외의 다른 물체로도 확장이 용이하다.
본 발명은 크게 6단계로 구성된다. 구체적으로, 3D 라이다를 활용한 거리 데이터 획득 및 전처리, 경사도를 활용한 물체 탐지, 탐지된 물체를 기준으로 물체 분할, 분할된 물체별로 2채널의 2차원 점유격자를 생성하고 이를 입력으로 하는 CNN을 통한 사람 인식, 다중표적 추적필터, 물체별 추적궤적 연관 및 관리로 구성된다.
거리 데이터 획득 및 전처리 단계에서는 3차원 라이다로부터 거리 정보를 획득하고, 유효하지 않은 데이터는 제거하고 관심영역 내의 데이터만 남기는 단계이다. 추가적으로 획득되는 각각의 거리 데이터에 대해 방위각, 고각, 거리정보 뿐만 X, Y, Z 값 및 Intensity 값을 가지는 정보로 변환한다.
경사도 기반 물체 탐지 방법은 관련 특허를 참조한다. 상세한 설명은 생략한다. (관련특허: CHOE, Tok Son, et al., "Apparatus and method for distinguishing ground and obstacles for autonomous vehicle", U.S. Patent No., 8,736,820, 27 May 2014)
물체 분할은 클러스터링 알고리즘 중에서 가장 많이 사용되는 알고리즘 중에 하나인 DBSCAN(Density- based spatial clustering of applications with noise)를 사용하여 기능을 구현하였다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 3차원 라이다를 활용하여 거리 데이터를 획득하고 전처리하는 단계; 상기 전처리한 결과를 기초로 소정 경사도에 근거하여 물체를 탐지하고, 상기 탐지한 물체를 분할하는 단계; 상기 분할한 물체별로 2차원 점유격자를 생성하는 단계; 및 상기 2차원 점유격자를 입력으로 컨벌루션 뉴럴 네트워크(Convolution Neural Network)를 통해, 목표 물체를 인식하는 단계;를 포함하는 것을 특징으로 하는 3차원 라이다를 활용한 물체 인식 방법을 제공한다.
실시 예에 있어서, 다중표적 추적필터를 사용하여 상기 목표 물체를 추적하는 단계;를 더 포함할 수 있다.
또 다른 실시 예에 있어서, 상기 목표 물체를 추적한 결과에 근거하여, 상기 목표 물체별로 트랙을 생성하고 이전 트랙 개수와 현재 트랙 개수를 비교하는 단계;를 더 포함할 수 있다.
또 다른 실시 예에 있어서, 상기 비교 결과에 근거하여, 트랙의 아이디(ID)가 동일한 목표 물체에 동일한 아이디가 유지되도록 트랙 아이디를 관리하는 단계;를 더 포함할 수 있다.
또 다른 실시 예에 있어서, 상기 2차원 점유격자를 생성하는 단계;는, 상기 분할한 물체별로 PCA(Principal Component Analysis)를 수행하고, 주요 정보가 모여있는 면에 대해 2차원 거리정보와 인텐서티(intensity)가 포함된 2차원 점유격자를 생성하는 단계;를 포함할 수 있다.
도 1은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실시 예를 설명하기 위한 개념도이다.
도 1을 참조하면, (1), (2), (3) 단계는 앞서 설명한 거리 데이터 획득 및 전처리, 경사도 기반 물체 탐지, 물체 분할 결과들을 보여준다.
본 단계에서는 분할된 물체별로 PCA(Principal Component Analysis)를 수행하고, 주정보가 모여있는 면에 대해 2차원 거리정보가 포함된 도 1의 (4)와 같은 2D 점유격자를 생성한다. 이 2D 점유격자를 입력으로 가지는 훈련된 CNN 사람 모델을 이용하여 사람을 인식한다. CNN으로 사람 모델을 학습하는 것은 후술하고자 한다.
한편, 모델학습은 평지이고 주변이 개방된 공간에 사람만 존재하는 환경에서 사람에 대한 참값 결과들을 활용하여 참값 학습 데이터를 생성하고, 주변에 사람 등 다른 물체가 없는 야지 환경에서 거짓값 학습 데이터를 생성하여 학습하였다. 본 명세서의 예에서 사용된 참값 데이터의 개수는 1,156개이고 거짓값 데이터의 개수는 1,000개를 활용하여 학습을 수행하였다.
다중표적 추적필터 단계에서는 인식된 물체별로 추적을 수행하는 기능을 수행한다. 실시 예로서, 다중표적 추적필터는 LMIPDA(Linear Multitarget Integrated Probabilistic Data Association)를 사용하였다. 본 발명에서 다중표적 추적필터는 그 외에 다른 필터를 사용해도 무방하다.
도 2는 다중 물체 추적 필터의 실시 예를 설명하기 위한 개념도이다.
다중표적 추적필터는 도 2와 같이 트랙 초기화, 트랙 예측 및 Gating, 클러터맵 추정, 트랙 보정, 트랙 관리, 다음 스텝을 위한 초기화로 구성된다.
트랙 초기화에서는 추적을 위한 상태변수와 트랙에 대해 초기화를 수행한다.
다중 물체 트랙 예측 및 Gating 단계에서는 필터를 통해 물체의 상태와 공분산을 예측하고 측정치에 대해 gating을 함으로써, 각 트랙에 해당하는 측정치의 값과 번호를 얻어낸다.
클러터 맵 추정 단계에서는 클러터 맵(혹은 클러터 인텐시티) 추정을 수행한다. 이는 측정치 간의 인접이나 교차 상황에서 측정치를 각 표적에 올바르게 할당해 주기 위함이다.
다중물체 트랙 보정 단계에서는 트랙별로 물체의 존재 확률을 갱신한다.
트랙 관리 단계에서는 빈 트랙을 제거하고 다시 재배치를 수행한다.
Two step initialization 단계에서는 다음 스텝을 위한 물체의 초기 상태 및 공분산을 계산하고 매 프레임 각 단계를 반복한다.
물체별 추적 궤적 연관 및 관리 단계는 매 프레임 생성되는 추적필터를 결과를 활용하여 물체별 궤적별로 관리하는 기능을 수행한다.
도 3은 물체별 추적 궤적 연관 및 관리의 실시 예를 설명하기 위한 개념도이다.
물체별 추적 궤적 연관 및 관리 알고리즘은 도 3과 같이 추적 결과 획득, 추적 결과 관리, 물체별 트랙 생성, 이전 트랙 및 현재 트랙 비교 및 트랙 ID 관리로 구성된다.
추적 결과 획득 단계에서는 매 프레임마다 LMIPDA 기반 추적 알고리즘에서 생성된 물체별 위치 정보를 획득한다. 추적 결과 관리 단계에서는 매 프레임 획득 되는 물체별 위치 정보를 일정 크기를 가지는 Queue에 쌓는 기능을 수행한다. 이를 수행하는 목적은 물체별 추적 결과를 과거부터 현재까지 일정 시간 동안 누적하여 관리하기 위함이다.
물체별 트랙 생성 단계에서는 frame to frame linking 방법과 gap closing 방법을 활용하여 트랙을 생성하는 기능을 수행한다. frame to frame linking과 gap closing을 수행하는 이유는 일정 프레임 누적된 물체별 위치 정보들을 nearest neighbor 기반으로 물체별 궤적을 생성하기 위함이다.
물체별로 생성된 트랙들에 대해 이전 총 트랙 개수와 현재 총 트랙 개수의 비교를 수행한다.
만약 이전 트랙 개수와 현재 트랙 개수가 같으면 물체별 트랙 ID를 유지하고, 이전 트랙 개수가 현재 트랙 개수보다 크면 트랙 ID를 삭제한다.
만약 이전 트랙 개수가 현재 트랙 개수보다 작으면, 트랙 ID를 추가하여 트랙의 ID가 동일 물체에 동일 ID가 유지되도록 관리하는 기능을 트랙 ID 관리 단계에서 수행한다. 마지막으로 다음 프레임에 대해 물체별 궤적 연관과 관리를 위해 현재 트랙 정보를 이전 트랙 정보로 갱신하고 매 프레임 반복 수행한다.
명세서에 제안된 방법에 대해 실현 가능성을 확인하기 위한 간단한 실험을 수행하였다. 도 4 내지 도 7은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실험결과를 설명하기 위한 개념도이다.
첫 번째 실험은 추적을 활용하지 않고 앞의 4단계를 활용하여 인식을 수행하였다. 실험환경은 센서 앞을 기준으로 30m×30m 이내, 근거리 7m 제외한 유효한 거리데이터를 활용하였다. 물체 탐지용 경사도 문턱값은 50%를 사용하였고 DBSCAN용 최소 포인트 개수 및 은 각각 5개, 1.3m이고, 2D 점유격자는 전체 2m×2m(10cm×10cm 해상도)로 설정하였다.
도 4의 아래 그림과 같은 환경에서 사람 두 명이 좌우로 이동하고 중간에 SUV 차량이 들어왔다 나가는 시나리오에서 실험을 수행하였다. 실험의 전체 프레임 수(3차원 라이다)는 727 프레임이고 51 프레임에서 오인식이 존재하였다. 프레임 기준 인식율은 약 93%로 측정되었다.
두 번째 실험은 추적정보까지 활용한 인식을 수행하였다. 앞의 실험조건과 동일한 조건으로 실험을 수행하였다.
도 5는 360번 째 프레임의 인식 결과를 보여준다. 그림에서 빨간 색 숫자는 트랙 ID를 의미하고, 빨간 색 숫자 옆의 검은 색 텍스트는 인식결과를 보여준다. 사람으로 인식되었을 경우 Human으로 출력되고 아닐 경우 Unknown으로 출력된다. 인식결과 텍스트 아래 보라색 텍스트와 숫자는 추적된 물체의 속도(m/s)를 나타낸다. 빨간 색 숫자 아래 빨간 원은 인식된 물체의 Point Cloud를 나타낸다. 도 5에서 30미터 이내에 있는 두 사람이 모두 인식되었음을 확인할 수 있다.
도 6과 도 7은 398 프레임과 519 프레임에 대한 인식 결과이다.
도 6의 경우 SUV 뒤에 사람이 1초 이상 있음으로 인해 인식이 되지 않은 경우이다. 도 7은 뒤의 사람이 앞의 사람에 의해 가리어짐으로 인해 추적이 수행되지 않았지만, 10 프레임의 누적 트랙이 다 사라지지 않았기 때문에 인식이 유지된 경우이다.
추적 결과를 활용하여 인식을 수행할 경우 전체 727 프레임에서 21 프레임에서 오인식이 존재하였다. 프레임 기준 인식률은 97% 이다. 그 중 9 프레임은 시작 시점에 누적 궤적이 10 프레임을 수행함으로 인해 궤적 정보가 다 차지 않아서 생기는 오인식 구간을 포함하였다. 이를 제외하면 앞의 4단계만을 활용하여 인식을 수행했을 때의 93% 인식률 대비 성능 향상을 이룬 것을 확인할 수 있다.
본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 기존의 3차원 라이다를 활용한 물체인식 방법에 비하여 상대적으로 낮은 계산량을 보장할 수 있으며, 추적정보까지 활용함으로 인해, 일시적인 가리어짐과 일시적인 오인식 문제를 해결할 수 있다는 장점이 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
Claims (5)
- 3차원 라이다를 활용하여 거리 데이터를 획득하고 전처리하는 단계;
상기 전처리한 결과를 기초로 소정 경사도에 근거하여 물체를 탐지하고, 상기 탐지한 물체를 분할하는 단계;
상기 분할한 물체별로 2차원 점유격자를 생성하는 단계;
상기 2차원 점유격자를 입력으로 컨벌루션 뉴럴 네트워크(Convolution Neural Network)를 통해, 목표 물체를 인식하는 단계; 및
다중표적 추적 필터를 사용하여 상기 목표 물체를 추적하는 단계를 포함하며,
상기 목표 물체를 추적하는 단계는,
라이다에서 단위 시간마다 생성되는 프레임을 이용하여 복수의 물체들의 상태 정보와 공분산을 측정하는 단계;
상기 복수의 물체들 간의 인접이나 교차 상황에서 상기 복수의 물체들 각각의 상기 상태 정보의 변화를 반영하도록 상기 상태 정보 및 상기 공분산을 이용하여 클러터 맵을 추정하는 단계;
상기 클러터 맵을 이용하여 상기 복수의 물체들 각각에 대한 존재 확률을 예측하는 단계; 및
상기 존재 확률을 이용하여 상기 복수의 물체들 각각에 트랙을 할당하는 단계를 포함하는 것을 특징으로 하는 3차원 라이다를 활용한 물체 인식 방법. - 삭제
- 제1항에 있어서,
상기 목표 물체를 추적한 결과에 근거하여, 상기 목표 물체별로 트랙을 생성하고 이전 트랙 개수와 현재 트랙 개수를 비교하는 단계;를 더 포함하는 것을 특징으로 하는 3차원 라이다를 활용한 물체 인식 방법. - 제3항에 있어서,
상기 비교 결과에 근거하여, 트랙의 아이디(ID)가 동일한 목표 물체에 동일한 아이디가 유지되도록 트랙 아이디를 관리하는 단계;를 더 포함하는 것을 특징으로 하는 3차원 라이다를 활용한 물체 인식 방법. - 제1항에 있어서,
상기 2차원 점유격자를 생성하는 단계;는,
상기 분할한 물체별로 PCA(Principal Component Analysis)를 수행하고, 주요 정보가 모여있는 면에 대해 2차원 거리정보와 인텐서티(intensity)가 포함된 2차원 점유격자를 생성하는 단계;를 포함하는 것을 특징으로 하는 3차원 라이다를 활용한 물체 인식 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180091464A KR102159320B1 (ko) | 2018-08-06 | 2018-08-06 | 3차원 라이다를 활용한 물체 인식 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180091464A KR102159320B1 (ko) | 2018-08-06 | 2018-08-06 | 3차원 라이다를 활용한 물체 인식 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200016130A KR20200016130A (ko) | 2020-02-14 |
KR102159320B1 true KR102159320B1 (ko) | 2020-09-23 |
Family
ID=69514117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180091464A KR102159320B1 (ko) | 2018-08-06 | 2018-08-06 | 3차원 라이다를 활용한 물체 인식 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102159320B1 (ko) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017157967A1 (en) * | 2016-03-14 | 2017-09-21 | Imra Europe Sas | Processing method of a 3d point cloud |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101822373B1 (ko) * | 2016-05-10 | 2018-03-08 | 서울대학교산학협력단 | 물체 탐지 장치 및 방법 |
-
2018
- 2018-08-06 KR KR1020180091464A patent/KR102159320B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017157967A1 (en) * | 2016-03-14 | 2017-09-21 | Imra Europe Sas | Processing method of a 3d point cloud |
Also Published As
Publication number | Publication date |
---|---|
KR20200016130A (ko) | 2020-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021170030A1 (zh) | 一种用于目标追踪的方法、设备及系统 | |
Yang et al. | Online learned discriminative part-based appearance models for multi-human tracking | |
US12002225B2 (en) | System and method for transforming video data into directional object count | |
Lombacher et al. | Semantic radar grids | |
US8620089B1 (en) | Strip histogram grid for efficient segmentation of 3D point clouds from urban environments | |
CN106778655B (zh) | 一种基于人体骨架的入口尾随进入检测方法 | |
CN103020606B (zh) | 一种基于时空上下文信息的行人检测方法 | |
CN110456320B (zh) | 一种基于自由空间步态时序特征的超宽带雷达身份识别方法 | |
KR101433472B1 (ko) | 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
CN108986158A (zh) | 一种基于目标再识别的跨场景追踪方法和装置及计算机视觉平台 | |
CN105574855A (zh) | 云背景下基于模板滤波和虚警抑制的红外小目标检测方法 | |
Bremer et al. | Eigenvalue and graph-based object extraction from mobile laser scanning point clouds | |
CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
CN113092807B (zh) | 基于多目标跟踪算法的城市高架道路车辆测速方法 | |
CN105095908A (zh) | 视频图像中群体行为特征处理方法和装置 | |
Chauhan et al. | Study of moving object detection and tracking for video surveillance | |
Pollach et al. | Low latency and low-level sensor fusion for automotive use-cases | |
Tang et al. | 3D object detection from roadside data using laser scanners | |
Liu et al. | Multi-view vehicle detection and tracking in crossroads | |
KR102159320B1 (ko) | 3차원 라이다를 활용한 물체 인식 방법 | |
US11315257B2 (en) | Method for real time surface tracking in unstructured environments | |
KR101324792B1 (ko) | 지능형 운송 시스템을 위한 칼라 영역의 분할 시스템 | |
Wu et al. | Human Detection and Action Classification Based on Millimeter Wave Radar Point Cloud Imaging Technology | |
Pokheriya et al. | Object detection and tracking based on silhouette based trained shape model with Kalman filter | |
CN112634299A (zh) | 一种排除飞虫干扰的遗留物检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |