KR102159320B1

KR102159320B1 - Object recognition method using 3d lidar

Info

Publication number: KR102159320B1
Application number: KR1020180091464A
Authority: KR
Inventors: 최덕선; 민지홍; 안성용; 곽기호
Original assignee: 국방과학연구소
Priority date: 2018-08-06
Filing date: 2018-08-06
Publication date: 2020-09-23
Also published as: KR20200016130A

Abstract

본 발명은 라이다를 이용하여 물체를 인식하는 방법에 관한 것이다. 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법은, 3차원 라이다를 활용하여 거리 데이터를 획득하고 전처리하는 단계; 상기 전처리한 결과를 기초로 소정 경사도에 근거하여 물체를 탐지하고, 상기 탐지한 물체를 분할하는 단계; 상기 분할한 물체별로 2차원 점유격자를 생성하는 단계; 및 상기 2차원 점유격자를 입력으로 컨벌루션 뉴럴 네트워크(Convolution Neural Network)를 통해, 목표 물체를 인식하는 단계;를 포함한다. The present invention relates to a method of recognizing an object using a lidar. An object recognition method using a 3D lidar according to the present invention includes the steps of acquiring and preprocessing distance data using a 3D lidar; Detecting an object based on a predetermined inclination based on the preprocessed result and dividing the detected object; Generating a two-dimensional occupancy grid for each of the divided objects; And recognizing a target object through a convolutional neural network using the 2D occupied grid as an input.

Description

Object recognition method using 3D lidar {OBJECT RECOGNITION METHOD USING 3D LIDAR}

본 발명은 라이다를 이용하여 물체를 인식하는 방법에 관한 것이다.The present invention relates to a method of recognizing an object using a lidar.

종래 야지 환경에서 물체 인식 기술은 대부분 영상 또는 라이다 센서를 활용한다. 영상 센서를 활용한 물체 인식은 주변의 환경(조명, 계절, 시간, 그림자, 태양의 위치, 야간, 기상환경 등)에 영향을 상대적으로 많이 받는다. 하지만, 라이다 센서는 영상 센서에 비해 주변의 환경에 덜 영향을 받기 때문에, 최근 라이다 센서 만을 활용한 물체 인식 기술에 대한 연구가 진행되고 있다. In the conventional field environment, object recognition technology mostly uses an image or lidar sensor. Object recognition using an image sensor is relatively affected by the surrounding environment (lighting, season, time, shadow, position of the sun, night, weather environment, etc.). However, since the lidar sensor is less affected by the surrounding environment than the image sensor, research on object recognition technology using only the lidar sensor is being conducted.

특히, 딥러닝(Deep Learning) 기술의 일종인 3차원 라이다의 거리데이터를 활용한 CNN(Convolution Neural Network)을 활용한 물체 인식 연구가 다양하게 진행되고 있다. 또한, 기존 기계학습(Machine Learning) 기술을 활용하여 수기로 다양한 특징들(3차원을 2차원 단면으로 투영하여 모양, 통계적 특징 등)을 추출하여 물체를 인식하는 연구들도 다양하게 진행되어 왔다. In particular, various researches on object recognition using CNN (Convolution Neural Network) using distance data of 3D LiDAR, a kind of deep learning technology, are being conducted. In addition, various studies have been conducted to recognize objects by extracting various features (shape, statistical features, etc. by projecting 3D into a 2D cross section) by hand using existing machine learning technology.

3차원 라이다를 활용한 딥러닝 기술 기반의 물체 인식 기술은, 개발자가 사용할 특징들을 추출할 필요가 없고 3차원 정보를 모두 활용하기 때문에 보다 정확한 인식을 수행할 수 있다는 장점을 가지고 있다. 그러나 3차원 데이터 사용으로 인해 2차원 데이터를 사용하는 것보다 상대적으로 많은 계산량을 가진다는 단점을 가진다. 기계학습 기술 기반의 물체 인식 기술은 2차원 상에서 다양한 특징들을 추출하기 때문에 계산량 면에서는 상대적으로 유리하지만, 개발자가 상황이나 목적에 적합한 특징들을 추출해야 좋은 성능을 보장한다는 단점을 가진다. The object recognition technology based on deep learning technology using 3D lidar has the advantage of performing more accurate recognition because it does not need to extract features to be used by the developer and uses all 3D information. However, due to the use of 3D data, it has a disadvantage that it has a relatively large amount of computation than using 2D data. The object recognition technology based on machine learning technology is relatively advantageous in terms of computational quantity because it extracts various features in 2D, but has a disadvantage in that it guarantees good performance only when the developer extracts features suitable for the situation or purpose.

물체 인식 알고리즘은 데이터 부족, 가리어짐 등 여러 가지 원인에 의해 오인식(물체가 없지만 있다고 판단하는 오류 false positive, 물체가 있지만 인식하지 못하는 오류 false negative)이 발생한다. 이러한 오인식을 줄이기 위해 추적정보를 활용하여 물체의 정보를 누적함과 동시에, 물체가 연속 2 프레임 이상 인식되어야 물체로 인식하도록 필터를 개선시켜서 인식율을 향상시킨 접근방법이 제안되었고 성능개선을 보여주었다. 하지만, 누적의 정합 성능에 의해 인식율이 많은 영향을 받을 수밖에 없다는 단점이 존재한다. In the object recognition algorithm, misrecognition (false positive for determining that there is no object but false negative for not recognizing an object) occurs due to various causes such as lack of data and obstruction. In order to reduce such misrecognition, an approach that improved the recognition rate was proposed by accumulating object information using tracking information and improving the filter so that the object must be recognized as an object only when it is recognized as an object at least 2 frames in a row. However, there is a disadvantage that the recognition rate is inevitably affected by the accumulative matching performance.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 3차원 라이다를 활용하여 획득되는 거리 데이터와 인텐서티(intensity) 정보를 이용해 2차원 점유격자를 생성하고, 이를 입력으로 하는 콘볼루션 뉴럴 네트워크(CNN)를 통해 목표 객체를 인식하며, 목표 객체의 추적 및 추적궤적을 활용하여 목표 객체를 인식할 수 있도록 하는 3차원 라이다를 활용한 물체(목표 객체) 인식 방법을 제공하는 것을 그 목적으로 한다.It is an object of the present invention to solve the above and other problems. Another purpose is to create a 2D occupied grid using distance data and intensity information obtained using 3D lidar, and recognize a target object through a convolutional neural network (CNN) using this as an input. And, its purpose is to provide a method for recognizing an object (target object) using a 3D lidar that enables the target object to be recognized using the tracking and tracking trajectory of the target object.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 3차원 라이다를 활용하여 거리 데이터를 획득하고 전처리하는 단계; 상기 전처리한 결과를 기초로 소정 경사도에 근거하여 물체를 탐지하고, 상기 탐지한 물체를 분할하는 단계; 상기 분할한 물체별로 2차원 점유격자를 생성하는 단계; 및 상기 2차원 점유격자를 입력으로 컨벌루션 뉴럴 네트워크(Convolution Neural Network)를 통해, 목표 물체를 인식하는 단계;를 포함하는 것을 특징으로 하는 3차원 라이다를 활용한 물체 인식 방법을 제공한다. According to an aspect of the present invention in order to achieve the above or other objects, the steps of acquiring and preprocessing distance data using a three-dimensional lidar; Detecting an object based on a predetermined inclination based on the preprocessed result and dividing the detected object; Generating a two-dimensional occupancy grid for each of the divided objects; And recognizing a target object through a convolutional neural network using the 2D occupied grid as an input. It provides an object recognition method using a 3D lidar comprising a.

실시 예에 있어서, 다중표적 추적필터를 사용하여 상기 목표 물체를 추적하는 단계;를 더 포함할 수 있다. In an embodiment, it may further include tracking the target object using a multi-target tracking filter.

또 다른 실시 예에 있어서, 상기 목표 물체를 추적한 결과에 근거하여, 상기 목표 물체별로 트랙을 생성하고 이전 트랙 개수와 현재 트랙 개수를 비교하는 단계;를 더 포함할 수 있다. In another embodiment, the method may further include generating tracks for each target object based on a result of tracking the target object and comparing the number of previous tracks with the number of current tracks.

또 다른 실시 예에 있어서, 상기 비교 결과에 근거하여, 트랙의 아이디(ID)가 동일한 목표 물체에 동일한 아이디가 유지되도록 트랙 아이디를 관리하는 단계;를 더 포함할 수 있다. In another embodiment, based on the comparison result, managing the track ID so that the same ID is maintained in the target object having the same ID (ID) of the track; may further include.

또 다른 실시 예에 있어서, 상기 2차원 점유격자를 생성하는 단계;는, 상기 분할한 물체별로 PCA(Principal Component Analysis)를 수행하고, 주요 정보가 모여있는 면에 대해 2차원 거리정보와 인텐서티(intensity)가 포함된 2차원 점유격자를 생성하는 단계;를 포함할 수 있다. In another embodiment, the step of generating the two-dimensional occupied grid; comprises performing a principal component analysis (PCA) for each of the divided objects, and performing two-dimensional distance information and intensity ( Intensity) generating a two-dimensional occupied grid including; may include.

본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 효과에 대해 설명하면 다음과 같다.The effect of the object recognition method using a 3D lidar according to the present invention will be described as follows.

본 발명의 실시 예들 중 적어도 하나에 의하면, 기존의 3차원 라이다를 활용한 물체인식 방법에 비하여 상대적으로 낮은 계산량을 보장할 수 있으며, 추적정보까지 활용함으로 인해, 일시적인 가리어짐과 일시적인 오인식 문제를 해결할 수 있다는 장점이 있다.According to at least one of the embodiments of the present invention, it is possible to ensure a relatively low computational amount compared to an object recognition method using a conventional 3D lidar, and by utilizing tracking information, temporary obscuration and temporary misrecognition problems are avoided. There is an advantage that it can be solved.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.Further scope of applicability of the present invention will become apparent from the detailed description below. However, since various changes and modifications within the spirit and scope of the present invention can be clearly understood by those skilled in the art, specific embodiments such as the detailed description and preferred embodiments of the present invention should be understood as being given by way of example only.

도 1은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실시 예를 설명하기 위한 개념도이다.
도 2는 다중 물체 추적 필터의 실시 예를 설명하기 위한 개념도이다.
도 3은 물체별 추적 궤적 연관 및 관리의 실시 예를 설명하기 위한 개념도이다.
도 4 내지 도 7은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실험결과를 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating an embodiment of an object recognition method using a 3D lidar according to the present invention.
2 is a conceptual diagram illustrating an embodiment of a multi-object tracking filter.
3 is a conceptual diagram illustrating an embodiment of association and management of tracking trajectories for each object.
4 to 7 are conceptual diagrams illustrating experimental results of an object recognition method using a 3D lidar according to the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same reference numerals are assigned to the same or similar elements regardless of the reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all modifications included in the spirit and scope of the present invention , It should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first and second, may be used to describe various elements, but the elements are not limited by the terms. These terms are used only for the purpose of distinguishing one component from another component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, terms such as "comprises" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 기술할 것이다. 이하의 설명에서 본 발명의 모든 실시형태가 개시되는 것은 아니다. 본 발명은 매우 다양한 형태로 구현될 수 있으며, 여기에 개시되는 실시형태에 한정되는 것으로 해석되어서는 안 된다. 본 실시형태들은 출원을 위한 법적 요건들을 충족시키기 위해 제공되는 것이다. 동일한 구성요소에는 전체적으로 동일한 참조부호가 사용된다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. Not all embodiments of the present invention are disclosed in the following description. The present invention may be implemented in a wide variety of forms, and should not be construed as being limited to the embodiments disclosed herein. These embodiments are provided to satisfy legal requirements for application. The same reference numerals are used throughout the same elements.

본 발명은 3차원 라이다로부터 획득되는 물체 정보의 대부분은 레이저가 맞는 정면 부분에서 획득되고, 라이다와 물체 사이의 거리정보와 라이다가 물체에 맞고 돌아오는 신호세기의 일종인 Intensity 정보를 가진다는 전제를 통해 고안되었다. In the present invention, most of the object information obtained from the 3D lidar is obtained from the front part where the laser is hit, and has distance information between the lidar and the object and intensity information, which is a kind of signal strength when the lidar hits the object and returns. Was devised through the premise.

본 발명의 구성에 대한 설명은 용이한 설명을 위해 물체를 사람이라고 가정하고 설명한다. 사람 이외의 다른 물체로도 확장이 용이하다. The description of the configuration of the present invention assumes that the object is a person for easy explanation. It is easy to expand to objects other than people.

본 발명은 크게 6단계로 구성된다. 구체적으로, 3D 라이다를 활용한 거리 데이터 획득 및 전처리, 경사도를 활용한 물체 탐지, 탐지된 물체를 기준으로 물체 분할, 분할된 물체별로 2채널의 2차원 점유격자를 생성하고 이를 입력으로 하는 CNN을 통한 사람 인식, 다중표적 추적필터, 물체별 추적궤적 연관 및 관리로 구성된다. The present invention is largely composed of six steps. Specifically, distance data acquisition and preprocessing using 3D lidar, object detection using gradients, object segmentation based on the detected object, and a CNN that generates two-channel two-dimensional occupancy grids for each segmented object and inputs them. It consists of human recognition, multi-target tracking filter, and object-specific tracking trajectory association and management.

거리 데이터 획득 및 전처리 단계에서는 3차원 라이다로부터 거리 정보를 획득하고, 유효하지 않은 데이터는 제거하고 관심영역 내의 데이터만 남기는 단계이다. 추가적으로 획득되는 각각의 거리 데이터에 대해 방위각, 고각, 거리정보 뿐만 X, Y, Z 값 및 Intensity 값을 가지는 정보로 변환한다. In the distance data acquisition and preprocessing step, distance information is obtained from the 3D lidar, invalid data are removed, and only data in the ROI is left. Each additionally acquired distance data is converted into information having X, Y, Z values, and intensity values as well as azimuth, elevation, and distance information.

경사도 기반 물체 탐지 방법은 관련 특허를 참조한다. 상세한 설명은 생략한다. (관련특허: CHOE, Tok Son, et al., "Apparatus and method for distinguishing ground and obstacles for autonomous vehicle", U.S. Patent No., 8,736,820, 27 May 2014)For a tilt-based object detection method, refer to the related patent. Detailed description is omitted. (Related patents: CHOE, Tok Son, et al., "Apparatus and method for distinguishing ground and obstacles for autonomous vehicle", U.S. Patent No., 8,736,820, 27 May 2014)

물체 분할은 클러스터링 알고리즘 중에서 가장 많이 사용되는 알고리즘 중에 하나인 DBSCAN(Density- based spatial clustering of applications with noise)를 사용하여 기능을 구현하였다. Object segmentation is implemented using DBSCAN (Density-based spatial clustering of applications with noise), which is one of the most used algorithms among clustering algorithms.

도 1은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실시 예를 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating an embodiment of an object recognition method using a 3D lidar according to the present invention.

도 1을 참조하면, (1), (2), (3) 단계는 앞서 설명한 거리 데이터 획득 및 전처리, 경사도 기반 물체 탐지, 물체 분할 결과들을 보여준다. Referring to FIG. 1, steps (1), (2), and (3) show the results of obtaining and preprocessing distance data, object detection based on inclination, and object segmentation described above.

본 단계에서는 분할된 물체별로 PCA(Principal Component Analysis)를 수행하고, 주정보가 모여있는 면에 대해 2차원 거리정보가 포함된 도 1의 (4)와 같은 2D 점유격자를 생성한다. 이 2D 점유격자를 입력으로 가지는 훈련된 CNN 사람 모델을 이용하여 사람을 인식한다. CNN으로 사람 모델을 학습하는 것은 후술하고자 한다. In this step, PCA (Principal Component Analysis) is performed for each divided object, and a 2D occupied lattice as shown in (4) of FIG. 1 including 2D distance information for the plane where the main information is collected is generated. Humans are recognized using a trained CNN human model with this 2D occupant grid as input. Learning the human model with CNN will be described later.

한편, 모델학습은 평지이고 주변이 개방된 공간에 사람만 존재하는 환경에서 사람에 대한 참값 결과들을 활용하여 참값 학습 데이터를 생성하고, 주변에 사람 등 다른 물체가 없는 야지 환경에서 거짓값 학습 데이터를 생성하여 학습하였다. 본 명세서의 예에서 사용된 참값 데이터의 개수는 1,156개이고 거짓값 데이터의 개수는 1,000개를 활용하여 학습을 수행하였다. On the other hand, model learning generates true value learning data by using the true value results for people in an environment where only people exist in a flat and open space, and generates false value learning data in a field environment where there are no other objects such as people around. Created and learned. The number of true value data used in the examples in the present specification is 1,156 and the number of false value data is 1,000.

다중표적 추적필터 단계에서는 인식된 물체별로 추적을 수행하는 기능을 수행한다. 실시 예로서, 다중표적 추적필터는 LMIPDA(Linear Multitarget Integrated Probabilistic Data Association)를 사용하였다. 본 발명에서 다중표적 추적필터는 그 외에 다른 필터를 사용해도 무방하다. In the multi-target tracking filter step, the function of performing tracking for each recognized object is performed. As an example, as a multi-target tracking filter, LMIPDA (Linear Multitarget Integrated Probabilistic Data Association) was used. In the present invention, the multiple target tracking filter may use other filters.

도 2는 다중 물체 추적 필터의 실시 예를 설명하기 위한 개념도이다. 2 is a conceptual diagram illustrating an embodiment of a multi-object tracking filter.

다중표적 추적필터는 도 2와 같이 트랙 초기화, 트랙 예측 및 Gating, 클러터맵 추정, 트랙 보정, 트랙 관리, 다음 스텝을 위한 초기화로 구성된다. As shown in FIG. 2, the multi-target tracking filter includes track initialization, track prediction and gating, clutter map estimation, track correction, track management, and initialization for the next step.

트랙 초기화에서는 추적을 위한 상태변수와 트랙에 대해 초기화를 수행한다. In track initialization, the state variables for tracking and the track are initialized.

다중 물체 트랙 예측 및 Gating 단계에서는 필터를 통해 물체의 상태와 공분산을 예측하고 측정치에 대해 gating을 함으로써, 각 트랙에 해당하는 측정치의 값과 번호를 얻어낸다. In the multi-object track prediction and gating step, the state and covariance of the object is predicted through a filter and gating is performed on the measured value to obtain the value and number of the measured value corresponding to each track.

클러터 맵 추정 단계에서는 클러터 맵(혹은 클러터 인텐시티) 추정을 수행한다. 이는 측정치 간의 인접이나 교차 상황에서 측정치를 각 표적에 올바르게 할당해 주기 위함이다. In the clutter map estimation step, a clutter map (or clutter intensity) is estimated. This is to ensure that the measurement values are correctly assigned to each target in the context of adjacent or crossover measurements.

다중물체 트랙 보정 단계에서는 트랙별로 물체의 존재 확률을 갱신한다. In the multi-object track correction step, the existence probability of an object is updated for each track.

트랙 관리 단계에서는 빈 트랙을 제거하고 다시 재배치를 수행한다. In the track management stage, empty tracks are removed and rearranged again.

Two step initialization 단계에서는 다음 스텝을 위한 물체의 초기 상태 및 공분산을 계산하고 매 프레임 각 단계를 반복한다. In the two step initialization step, the initial state and covariance of the object for the next step are calculated, and each step is repeated every frame.

물체별 추적 궤적 연관 및 관리 단계는 매 프레임 생성되는 추적필터를 결과를 활용하여 물체별 궤적별로 관리하는 기능을 수행한다. The object-specific tracking trajectory association and management step performs a function of managing each object-specific trajectory by utilizing the result of the tracking filter generated every frame.

도 3은 물체별 추적 궤적 연관 및 관리의 실시 예를 설명하기 위한 개념도이다. 3 is a conceptual diagram illustrating an embodiment of association and management of tracking trajectories for each object.

물체별 추적 궤적 연관 및 관리 알고리즘은 도 3과 같이 추적 결과 획득, 추적 결과 관리, 물체별 트랙 생성, 이전 트랙 및 현재 트랙 비교 및 트랙 ID 관리로 구성된다. As shown in FIG. 3, the object-specific tracking trajectory association and management algorithm includes tracking result acquisition, tracking result management, object-specific track creation, comparison of previous and current tracks, and track ID management.

추적 결과 획득 단계에서는 매 프레임마다 LMIPDA 기반 추적 알고리즘에서 생성된 물체별 위치 정보를 획득한다. 추적 결과 관리 단계에서는 매 프레임 획득 되는 물체별 위치 정보를 일정 크기를 가지는 Queue에 쌓는 기능을 수행한다. 이를 수행하는 목적은 물체별 추적 결과를 과거부터 현재까지 일정 시간 동안 누적하여 관리하기 위함이다. In the tracking result acquisition step, object-specific location information generated by the LMIPDA-based tracking algorithm is acquired every frame. In the tracking result management step, the location information of each object acquired every frame is accumulated in a queue having a certain size. The purpose of this is to accumulate and manage the tracking results for each object for a certain time from the past to the present.

물체별 트랙 생성 단계에서는 frame to frame linking 방법과 gap closing 방법을 활용하여 트랙을 생성하는 기능을 수행한다. frame to frame linking과 gap closing을 수행하는 이유는 일정 프레임 누적된 물체별 위치 정보들을 nearest neighbor 기반으로 물체별 궤적을 생성하기 위함이다. In the object-specific track creation step, the frame-to-frame linking method and the gap closing method are used to create tracks. The reason for performing frame-to-frame linking and gap closing is to create a trajectory for each object based on the nearest neighbor based on position information for each object accumulated in a certain frame.

물체별로 생성된 트랙들에 대해 이전 총 트랙 개수와 현재 총 트랙 개수의 비교를 수행한다. For the tracks created for each object, a comparison between the total number of previous tracks and the total number of current tracks is performed.

만약 이전 트랙 개수와 현재 트랙 개수가 같으면 물체별 트랙 ID를 유지하고, 이전 트랙 개수가 현재 트랙 개수보다 크면 트랙 ID를 삭제한다. If the number of previous tracks and the number of current tracks are the same, the track ID for each object is maintained, and if the number of previous tracks is greater than the current number of tracks, the track ID is deleted.

만약 이전 트랙 개수가 현재 트랙 개수보다 작으면, 트랙 ID를 추가하여 트랙의 ID가 동일 물체에 동일 ID가 유지되도록 관리하는 기능을 트랙 ID 관리 단계에서 수행한다. 마지막으로 다음 프레임에 대해 물체별 궤적 연관과 관리를 위해 현재 트랙 정보를 이전 트랙 정보로 갱신하고 매 프레임 반복 수행한다.If the number of previous tracks is less than the number of current tracks, a track ID is added to manage the track ID to maintain the same ID in the same object in the track ID management step. Finally, the current track information is updated with the previous track information for object-specific trajectory association and management with respect to the next frame and repeats every frame.

명세서에 제안된 방법에 대해 실현 가능성을 확인하기 위한 간단한 실험을 수행하였다. 도 4 내지 도 7은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실험결과를 설명하기 위한 개념도이다. A simple experiment was performed to confirm the feasibility of the method proposed in the specification. 4 to 7 are conceptual diagrams illustrating experimental results of an object recognition method using a 3D lidar according to the present invention.

첫 번째 실험은 추적을 활용하지 않고 앞의 4단계를 활용하여 인식을 수행하였다. 실험환경은 센서 앞을 기준으로 30m×30m 이내, 근거리 7m 제외한 유효한 거리데이터를 활용하였다. 물체 탐지용 경사도 문턱값은 50%를 사용하였고 DBSCAN용 최소 포인트 개수 및

은 각각 5개, 1.3m이고, 2D 점유격자는 전체 2m×2m(10cm×10cm 해상도)로 설정하였다. In the first experiment, recognition was performed using the previous four steps without using tracking. The experimental environment used valid distance data excluding within 30m×30m from the front of the sensor and 7m at a short distance. The slope threshold for object detection was 50%, and the minimum number of points for DBSCAN and

Are 5 and 1.3m, respectively, and the 2D occupied grid was set to 2m×2m (10cm×10cm resolution).

도 4의 아래 그림과 같은 환경에서 사람 두 명이 좌우로 이동하고 중간에 SUV 차량이 들어왔다 나가는 시나리오에서 실험을 수행하였다. 실험의 전체 프레임 수(3차원 라이다)는 727 프레임이고 51 프레임에서 오인식이 존재하였다. 프레임 기준 인식율은 약 93%로 측정되었다. In an environment as shown in the figure below of FIG. 4, an experiment was performed in a scenario in which two people move left and right and an SUV vehicle enters and exits in the middle. The total number of frames in the experiment (three-dimensional lidar) was 727 frames, and there was a misrecognition in 51 frames. The frame-based recognition rate was measured to be about 93%.

두 번째 실험은 추적정보까지 활용한 인식을 수행하였다. 앞의 실험조건과 동일한 조건으로 실험을 수행하였다. In the second experiment, recognition was performed using even tracking information. The experiment was performed under the same conditions as the previous experimental conditions.

도 5는 360번 째 프레임의 인식 결과를 보여준다. 그림에서 빨간 색 숫자는 트랙 ID를 의미하고, 빨간 색 숫자 옆의 검은 색 텍스트는 인식결과를 보여준다. 사람으로 인식되었을 경우 Human으로 출력되고 아닐 경우 Unknown으로 출력된다. 인식결과 텍스트 아래 보라색 텍스트와 숫자는 추적된 물체의 속도(m/s)를 나타낸다. 빨간 색 숫자 아래 빨간 원은 인식된 물체의 Point Cloud를 나타낸다. 도 5에서 30미터 이내에 있는 두 사람이 모두 인식되었음을 확인할 수 있다. 5 shows the recognition result of the 360th frame. In the figure, the red number means the track ID, and the black text next to the red number shows the recognition result. If it is recognized as a human, it is output as Human, otherwise it is output as Unknown. The purple text and number below the recognition result text indicate the speed (m/s) of the tracked object. The red circle below the red number represents the point cloud of the recognized object. In FIG. 5, it can be seen that both people within 30 meters are recognized.

도 6과 도 7은 398 프레임과 519 프레임에 대한 인식 결과이다. 6 and 7 are results of recognition of frames 398 and 519.

도 6의 경우 SUV 뒤에 사람이 1초 이상 있음으로 인해 인식이 되지 않은 경우이다. 도 7은 뒤의 사람이 앞의 사람에 의해 가리어짐으로 인해 추적이 수행되지 않았지만, 10 프레임의 누적 트랙이 다 사라지지 않았기 때문에 인식이 유지된 경우이다.In the case of FIG. 6, a person is not recognized because there is a person behind the SUV for more than 1 second. 7 shows a case in which tracking is not performed because the person behind is obscured by the person in front, but recognition is maintained because the accumulated tracks of 10 frames have not disappeared.

추적 결과를 활용하여 인식을 수행할 경우 전체 727 프레임에서 21 프레임에서 오인식이 존재하였다. 프레임 기준 인식률은 97% 이다. 그 중 9 프레임은 시작 시점에 누적 궤적이 10 프레임을 수행함으로 인해 궤적 정보가 다 차지 않아서 생기는 오인식 구간을 포함하였다. 이를 제외하면 앞의 4단계만을 활용하여 인식을 수행했을 때의 93% 인식률 대비 성능 향상을 이룬 것을 확인할 수 있다. When recognition was performed using the tracking result, misrecognition existed in 21 frames out of 727 frames. The frame-based recognition rate is 97%. Among them, 9 frames included a misrecognized section that occurs because the trajectory information is not all occupied because the accumulated trajectory performs 10 frames at the start point. Excluding this, it can be seen that the performance improved compared to the 93% recognition rate when recognition was performed using only the previous 4 steps.

상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above detailed description should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims

Acquiring and pre-processing distance data using a 3D lidar;
Detecting an object based on a predetermined inclination based on the preprocessed result and dividing the detected object;
Generating a two-dimensional occupancy grid for each of the divided objects;
Recognizing a target object through a convolution neural network using the 2D occupied grid as an input; And
Tracking the target object using a multi-target tracking filter,
The step of tracking the target object,
Measuring state information and covariance of a plurality of objects using a frame generated by the lidar every unit time;
Estimating a clutter map using the state information and the covariance to reflect a change in the state information of each of the plurality of objects in an adjacent or intersecting situation between the plurality of objects;
Predicting the existence probability of each of the plurality of objects using the clutter map; And
And allocating a track to each of the plurality of objects using the existence probability.

delete

The method of claim 1,
The object recognition method using a 3D lidar further comprising: generating a track for each target object and comparing the number of previous tracks and the current number of tracks based on a result of tracking the target object.

The method of claim 3,
Based on the comparison result, managing the track ID so that the same ID is maintained in the target object having the same ID of the track. The object recognition method using a 3D lidar further comprising.

The method of claim 1,
Generating the two-dimensional occupied grid; The,
And performing a principal component analysis (PCA) for each of the divided objects, and generating a two-dimensional occupied lattice including two-dimensional distance information and an intensity with respect to a surface where the main information is collected; Object recognition method using 3D lidar.