KR20200016130A

KR20200016130A - Object recognition method using 3d lidar

Info

Publication number: KR20200016130A
Application number: KR1020180091464A
Authority: KR
Inventors: 최덕선; 민지홍; 안성용; 곽기호
Original assignee: 국방과학연구소
Priority date: 2018-08-06
Filing date: 2018-08-06
Publication date: 2020-02-14
Also published as: KR102159320B1

Abstract

The present invention relates to a method for recognizing an object using a LIDAR. According to the present invention, the method for recognizing an object utilizing a three-dimensional LIDAR comprises the steps of: obtaining and preprocessing distance data utilizing a three-dimensional LIDAR; detecting an object based on a predetermined degree of a slope based on the preprocessed result and dividing the detected object; generating a two-dimensional occupant grid for each of the divided objects; and recognizing a target object through a convolution neural network having the two-dimensional occupant grid as input.

Description

Object Recognition Method using 3D Lidar {OBJECT RECOGNITION METHOD USING 3D LIDAR}

본 발명은 라이다를 이용하여 물체를 인식하는 방법에 관한 것이다.The present invention relates to a method for recognizing an object using a lidar.

종래 야지 환경에서 물체 인식 기술은 대부분 영상 또는 라이다 센서를 활용한다. 영상 센서를 활용한 물체 인식은 주변의 환경(조명, 계절, 시간, 그림자, 태양의 위치, 야간, 기상환경 등)에 영향을 상대적으로 많이 받는다. 하지만, 라이다 센서는 영상 센서에 비해 주변의 환경에 덜 영향을 받기 때문에, 최근 라이다 센서 만을 활용한 물체 인식 기술에 대한 연구가 진행되고 있다. In the conventional field environment, object recognition technology mostly utilizes an image or a lidar sensor. Object recognition using image sensor is relatively influenced by surrounding environment (lighting, season, time, shadow, sun position, night, weather environment, etc.). However, since the lidar sensor is less affected by the surrounding environment than the image sensor, the research on the object recognition technology using only the lidar sensor has been recently conducted.

특히, 딥러닝(Deep Learning) 기술의 일종인 3차원 라이다의 거리데이터를 활용한 CNN(Convolution Neural Network)을 활용한 물체 인식 연구가 다양하게 진행되고 있다. 또한, 기존 기계학습(Machine Learning) 기술을 활용하여 수기로 다양한 특징들(3차원을 2차원 단면으로 투영하여 모양, 통계적 특징 등)을 추출하여 물체를 인식하는 연구들도 다양하게 진행되어 왔다. In particular, research on object recognition using CNN (Convolution Neural Network) using distance data of three-dimensional lidar, which is a type of deep learning technology, is being conducted in various ways. In addition, various studies have been conducted to recognize objects by extracting various features (shape, statistical features, etc. by projecting 3D into 2D cross section) by using existing machine learning technology.

3차원 라이다를 활용한 딥러닝 기술 기반의 물체 인식 기술은, 개발자가 사용할 특징들을 추출할 필요가 없고 3차원 정보를 모두 활용하기 때문에 보다 정확한 인식을 수행할 수 있다는 장점을 가지고 있다. 그러나 3차원 데이터 사용으로 인해 2차원 데이터를 사용하는 것보다 상대적으로 많은 계산량을 가진다는 단점을 가진다. 기계학습 기술 기반의 물체 인식 기술은 2차원 상에서 다양한 특징들을 추출하기 때문에 계산량 면에서는 상대적으로 유리하지만, 개발자가 상황이나 목적에 적합한 특징들을 추출해야 좋은 성능을 보장한다는 단점을 가진다. Object recognition technology based on deep learning technology using 3D LiDAR has the advantage of more accurate recognition because it does not need to extract features for developers and uses all 3D information. However, the use of three-dimensional data has a disadvantage that it has a relatively large amount of calculation than using two-dimensional data. The object recognition technology based on the machine learning technique is relatively advantageous in terms of computation amount because it extracts various features in two dimensions, but the disadvantage is that the developer has to extract the features suitable for the situation or purpose to ensure good performance.

물체 인식 알고리즘은 데이터 부족, 가리어짐 등 여러 가지 원인에 의해 오인식(물체가 없지만 있다고 판단하는 오류 false positive, 물체가 있지만 인식하지 못하는 오류 false negative)이 발생한다. 이러한 오인식을 줄이기 위해 추적정보를 활용하여 물체의 정보를 누적함과 동시에, 물체가 연속 2 프레임 이상 인식되어야 물체로 인식하도록 필터를 개선시켜서 인식율을 향상시킨 접근방법이 제안되었고 성능개선을 보여주었다. 하지만, 누적의 정합 성능에 의해 인식율이 많은 영향을 받을 수밖에 없다는 단점이 존재한다. The object recognition algorithm generates misrecognition (false false positives for determining that there is no object and false negatives for objects but not recognized) due to various reasons such as lack of data and obstruction. In order to reduce such misperceptions, the tracking information is used to accumulate the information of the object, and an approach that improves the recognition rate by improving the filter so that the object is recognized as an object only when two or more frames are recognized is proposed and the performance is improved. However, there is a disadvantage that recognition rate is inevitably affected by cumulative matching performance.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 3차원 라이다를 활용하여 획득되는 거리 데이터와 인텐서티(intensity) 정보를 이용해 2차원 점유격자를 생성하고, 이를 입력으로 하는 콘볼루션 뉴럴 네트워크(CNN)를 통해 목표 객체를 인식하며, 목표 객체의 추적 및 추적궤적을 활용하여 목표 객체를 인식할 수 있도록 하는 3차원 라이다를 활용한 물체(목표 객체) 인식 방법을 제공하는 것을 그 목적으로 한다.The present invention aims to solve the above and other problems. Another object is to generate a two-dimensional occupant using distance data and intensity information obtained by using a three-dimensional lidar, and recognize a target object through a convolutional neural network (CNN) using the input. It is an object of the present invention to provide a method for recognizing an object (target object) using a three-dimensional lidar that can recognize the target object by using the tracking and tracking trajectories of the target object.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 3차원 라이다를 활용하여 거리 데이터를 획득하고 전처리하는 단계; 상기 전처리한 결과를 기초로 소정 경사도에 근거하여 물체를 탐지하고, 상기 탐지한 물체를 분할하는 단계; 상기 분할한 물체별로 2차원 점유격자를 생성하는 단계; 및 상기 2차원 점유격자를 입력으로 컨벌루션 뉴럴 네트워크(Convolution Neural Network)를 통해, 목표 물체를 인식하는 단계;를 포함하는 것을 특징으로 하는 3차원 라이다를 활용한 물체 인식 방법을 제공한다. According to an aspect of the present invention to achieve the above or another object, using the three-dimensional lidar to obtain and pre-process the distance data; Detecting an object based on a predetermined slope based on a result of the preprocessing, and dividing the detected object; Generating a two-dimensional occupant for each of the divided objects; And recognizing a target object through a convolutional neural network as an input of the two-dimensional occupant grid.

실시 예에 있어서, 다중표적 추적필터를 사용하여 상기 목표 물체를 추적하는 단계;를 더 포함할 수 있다. In an embodiment, the method may further include tracking the target object using a multi-target tracking filter.

또 다른 실시 예에 있어서, 상기 목표 물체를 추적한 결과에 근거하여, 상기 목표 물체별로 트랙을 생성하고 이전 트랙 개수와 현재 트랙 개수를 비교하는 단계;를 더 포함할 수 있다. In another embodiment, the method may further include generating tracks for each of the target objects based on the result of tracking the target object, and comparing the number of previous tracks with the number of current tracks.

또 다른 실시 예에 있어서, 상기 비교 결과에 근거하여, 트랙의 아이디(ID)가 동일한 목표 물체에 동일한 아이디가 유지되도록 트랙 아이디를 관리하는 단계;를 더 포함할 수 있다. In another embodiment, the method may further include managing track IDs such that track IDs are maintained at target objects having the same ID as tracks.

또 다른 실시 예에 있어서, 상기 2차원 점유격자를 생성하는 단계;는, 상기 분할한 물체별로 PCA(Principal Component Analysis)를 수행하고, 주요 정보가 모여있는 면에 대해 2차원 거리정보와 인텐서티(intensity)가 포함된 2차원 점유격자를 생성하는 단계;를 포함할 수 있다. In another exemplary embodiment, the generating of the two-dimensional occupant grid may include performing a principal component analysis (PCA) for each of the divided objects, and performing two-dimensional distance information and intensities on a surface on which main information is collected. generating a two-dimensional occupant including intensity).

본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 효과에 대해 설명하면 다음과 같다.Referring to the effect of the object recognition method using a three-dimensional lidar according to the present invention.

본 발명의 실시 예들 중 적어도 하나에 의하면, 기존의 3차원 라이다를 활용한 물체인식 방법에 비하여 상대적으로 낮은 계산량을 보장할 수 있으며, 추적정보까지 활용함으로 인해, 일시적인 가리어짐과 일시적인 오인식 문제를 해결할 수 있다는 장점이 있다.According to at least one of the embodiments of the present invention, it is possible to ensure a relatively low calculation amount compared to the conventional object recognition method using a three-dimensional lidar, and also by using the tracking information, temporary obstruction and temporary misunderstanding problem This has the advantage of being solved.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.Further scope of the applicability of the present invention will become apparent from the following detailed description. However, various changes and modifications within the spirit and scope of the present invention can be clearly understood by those skilled in the art, and therefore, specific embodiments, such as the detailed description and the preferred embodiments of the present invention, should be understood as given by way of example only.

도 1은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실시 예를 설명하기 위한 개념도이다.
도 2는 다중 물체 추적 필터의 실시 예를 설명하기 위한 개념도이다.
도 3은 물체별 추적 궤적 연관 및 관리의 실시 예를 설명하기 위한 개념도이다.
도 4 내지 도 7은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실험결과를 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating an embodiment of an object recognition method using a three-dimensional lidar according to the present invention.
2 is a conceptual diagram illustrating an embodiment of a multi-object tracking filter.
3 is a conceptual diagram illustrating an embodiment of object tracking and object tracking.
4 to 7 are conceptual views for explaining the experimental results of the object recognition method using a three-dimensional lidar according to the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, exemplary embodiments disclosed herein will be described in detail with reference to the accompanying drawings, and the same or similar components will be given the same reference numerals regardless of the reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or mixed in consideration of ease of specification, and do not have distinct meanings or roles. In addition, in the following description of the embodiments disclosed herein, when it is determined that the detailed description of the related known technology may obscure the gist of the embodiments disclosed herein, the detailed description thereof will be omitted. In addition, the accompanying drawings are intended to facilitate understanding of the embodiments disclosed herein, but are not limited to the technical spirit disclosed herein by the accompanying drawings, all changes included in the spirit and scope of the present invention. It should be understood to include equivalents and substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may be present in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, the terms "comprises" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 기술할 것이다. 이하의 설명에서 본 발명의 모든 실시형태가 개시되는 것은 아니다. 본 발명은 매우 다양한 형태로 구현될 수 있으며, 여기에 개시되는 실시형태에 한정되는 것으로 해석되어서는 안 된다. 본 실시형태들은 출원을 위한 법적 요건들을 충족시키기 위해 제공되는 것이다. 동일한 구성요소에는 전체적으로 동일한 참조부호가 사용된다.Hereinafter, with reference to the accompanying drawings will be described in more detail the present invention. In the following description, not all embodiments of the present invention are disclosed. The invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. The present embodiments are provided to satisfy legal requirements for an application. The same reference numerals are used throughout the same component.

본 발명은 3차원 라이다로부터 획득되는 물체 정보의 대부분은 레이저가 맞는 정면 부분에서 획득되고, 라이다와 물체 사이의 거리정보와 라이다가 물체에 맞고 돌아오는 신호세기의 일종인 Intensity 정보를 가진다는 전제를 통해 고안되었다. In the present invention, most of the object information obtained from the three-dimensional lidar is obtained at the front portion where the laser is fitted, and has distance information between the lidar and the object and intensity information, which is a kind of signal strength returned by the lidar to the object. Was devised through the premise.

본 발명의 구성에 대한 설명은 용이한 설명을 위해 물체를 사람이라고 가정하고 설명한다. 사람 이외의 다른 물체로도 확장이 용이하다. Description of the configuration of the present invention will be described assuming that the object is a person for easy description. It is easy to expand to other objects than humans.

본 발명은 크게 6단계로 구성된다. 구체적으로, 3D 라이다를 활용한 거리 데이터 획득 및 전처리, 경사도를 활용한 물체 탐지, 탐지된 물체를 기준으로 물체 분할, 분할된 물체별로 2채널의 2차원 점유격자를 생성하고 이를 입력으로 하는 CNN을 통한 사람 인식, 다중표적 추적필터, 물체별 추적궤적 연관 및 관리로 구성된다. The present invention is largely composed of six steps. Specifically, CNN that acquires and preprocesses distance data using 3D lidar, detects objects using gradients, divides objects based on detected objects, generates 2-channel two-dimensional occupants for each divided object and inputs them as CNN. It consists of human recognition, multi-target tracking filter, object tracking trajectory association and management.

거리 데이터 획득 및 전처리 단계에서는 3차원 라이다로부터 거리 정보를 획득하고, 유효하지 않은 데이터는 제거하고 관심영역 내의 데이터만 남기는 단계이다. 추가적으로 획득되는 각각의 거리 데이터에 대해 방위각, 고각, 거리정보 뿐만 X, Y, Z 값 및 Intensity 값을 가지는 정보로 변환한다. In the step of acquiring and preprocessing the distance data, distance information is obtained from the three-dimensional lidar, invalid data is removed, and only data in the ROI is left. In addition, azimuth, elevation, and distance information for each acquired distance data are converted into information having X, Y, Z values, and intensity values.

경사도 기반 물체 탐지 방법은 관련 특허를 참조한다. 상세한 설명은 생략한다. (관련특허: CHOE, Tok Son, et al., "Apparatus and method for distinguishing ground and obstacles for autonomous vehicle", U.S. Patent No., 8,736,820, 27 May 2014)For tilt based object detection method, refer to related patent. Detailed description is omitted. (Related Patents: CHOE, Tok Son, et al., "Apparatus and method for distinguishing ground and obstacles for autonomous vehicle", U.S. Patent No., 8,736,820, 27 May 2014)

물체 분할은 클러스터링 알고리즘 중에서 가장 많이 사용되는 알고리즘 중에 하나인 DBSCAN(Density- based spatial clustering of applications with noise)를 사용하여 기능을 구현하였다. Object segmentation is implemented using Density-based spatial clustering of applications with noise (DBSCAN), one of the most used algorithms among clustering algorithms.

도 1은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실시 예를 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating an embodiment of an object recognition method using a three-dimensional lidar according to the present invention.

도 1을 참조하면, (1), (2), (3) 단계는 앞서 설명한 거리 데이터 획득 및 전처리, 경사도 기반 물체 탐지, 물체 분할 결과들을 보여준다. Referring to FIG. 1, steps (1), (2), and (3) show distance data acquisition and preprocessing, tilt-based object detection, and object segmentation results described above.

본 단계에서는 분할된 물체별로 PCA(Principal Component Analysis)를 수행하고, 주정보가 모여있는 면에 대해 2차원 거리정보가 포함된 도 1의 (4)와 같은 2D 점유격자를 생성한다. 이 2D 점유격자를 입력으로 가지는 훈련된 CNN 사람 모델을 이용하여 사람을 인식한다. CNN으로 사람 모델을 학습하는 것은 후술하고자 한다. In this step, PCA (Principal Component Analysis) is performed for each divided object, and a 2D occupant as shown in (4) of FIG. 1 including two-dimensional distance information on a plane where main information is collected is generated. Humans are recognized using a trained CNN human model with this 2D occupant as input. Learning a human model with CNN will be described later.

한편, 모델학습은 평지이고 주변이 개방된 공간에 사람만 존재하는 환경에서 사람에 대한 참값 결과들을 활용하여 참값 학습 데이터를 생성하고, 주변에 사람 등 다른 물체가 없는 야지 환경에서 거짓값 학습 데이터를 생성하여 학습하였다. 본 명세서의 예에서 사용된 참값 데이터의 개수는 1,156개이고 거짓값 데이터의 개수는 1,000개를 활용하여 학습을 수행하였다. On the other hand, model learning generates true value learning data by using true value results of a person in an environment where only people exist in a flat and open space, and generates false value learning data in a field environment where there are no other objects such as people around. Created and learned. The number of true value data used in the example of the present specification was 1,156 and the number of false value data was used for 1,000 learning.

다중표적 추적필터 단계에서는 인식된 물체별로 추적을 수행하는 기능을 수행한다. 실시 예로서, 다중표적 추적필터는 LMIPDA(Linear Multitarget Integrated Probabilistic Data Association)를 사용하였다. 본 발명에서 다중표적 추적필터는 그 외에 다른 필터를 사용해도 무방하다. In the multi-target tracking filter step, tracking is performed for each recognized object. As an example, the multi-target tracking filter used Linear Multitarget Integrated Probabilistic Data Association (LMIPDA). In the present invention, the multi-target tracking filter may use other filters.

도 2는 다중 물체 추적 필터의 실시 예를 설명하기 위한 개념도이다. 2 is a conceptual diagram illustrating an embodiment of a multi-object tracking filter.

다중표적 추적필터는 도 2와 같이 트랙 초기화, 트랙 예측 및 Gating, 클러터맵 추정, 트랙 보정, 트랙 관리, 다음 스텝을 위한 초기화로 구성된다. The multi-target tracking filter is composed of track initialization, track prediction and gating, clutter map estimation, track correction, track management, and initialization for the next step as shown in FIG.

트랙 초기화에서는 추적을 위한 상태변수와 트랙에 대해 초기화를 수행한다. In Track Initialization, you perform initialization for tracks and state variables for tracking.

다중 물체 트랙 예측 및 Gating 단계에서는 필터를 통해 물체의 상태와 공분산을 예측하고 측정치에 대해 gating을 함으로써, 각 트랙에 해당하는 측정치의 값과 번호를 얻어낸다. In the multi-object track prediction and gating step, the filter predicts the state and covariance of an object and gates the measured values to obtain the values and numbers of the measured values corresponding to each track.

클러터 맵 추정 단계에서는 클러터 맵(혹은 클러터 인텐시티) 추정을 수행한다. 이는 측정치 간의 인접이나 교차 상황에서 측정치를 각 표적에 올바르게 할당해 주기 위함이다. In the clutter map estimation step, clutter map (or clutter intensity) estimation is performed. This is to ensure that measurements are properly assigned to each target in adjacent or intersecting situations.

다중물체 트랙 보정 단계에서는 트랙별로 물체의 존재 확률을 갱신한다. In the multi-object track correction step, the existence probability of the object is updated for each track.

트랙 관리 단계에서는 빈 트랙을 제거하고 다시 재배치를 수행한다. In the track management phase, empty tracks are removed and relocated.

Two step initialization 단계에서는 다음 스텝을 위한 물체의 초기 상태 및 공분산을 계산하고 매 프레임 각 단계를 반복한다. The two step initialization step calculates the initial state and covariance of the object for the next step and repeats each step of each frame.

물체별 추적 궤적 연관 및 관리 단계는 매 프레임 생성되는 추적필터를 결과를 활용하여 물체별 궤적별로 관리하는 기능을 수행한다. In the tracking and tracking step for each object, a tracking filter generated every frame is used to manage the tracking trajectories for each object using the results.

도 3은 물체별 추적 궤적 연관 및 관리의 실시 예를 설명하기 위한 개념도이다. 3 is a conceptual diagram illustrating an embodiment of object tracking and object tracking.

물체별 추적 궤적 연관 및 관리 알고리즘은 도 3과 같이 추적 결과 획득, 추적 결과 관리, 물체별 트랙 생성, 이전 트랙 및 현재 트랙 비교 및 트랙 ID 관리로 구성된다. The tracking trajectory association and management algorithm for each object is composed of tracking result acquisition, tracking result management, track generation for each object, comparison of previous and current tracks, and track ID management as shown in FIG. 3.

추적 결과 획득 단계에서는 매 프레임마다 LMIPDA 기반 추적 알고리즘에서 생성된 물체별 위치 정보를 획득한다. 추적 결과 관리 단계에서는 매 프레임 획득 되는 물체별 위치 정보를 일정 크기를 가지는 Queue에 쌓는 기능을 수행한다. 이를 수행하는 목적은 물체별 추적 결과를 과거부터 현재까지 일정 시간 동안 누적하여 관리하기 위함이다. In the tracking result obtaining step, position information for each object generated by the LMIPDA based tracking algorithm is acquired every frame. In the tracking result management step, the location information of each object obtained every frame is stacked in a queue with a certain size. The purpose of this is to accumulate and manage the tracking results for each object for a certain time from the past to the present.

물체별 트랙 생성 단계에서는 frame to frame linking 방법과 gap closing 방법을 활용하여 트랙을 생성하는 기능을 수행한다. frame to frame linking과 gap closing을 수행하는 이유는 일정 프레임 누적된 물체별 위치 정보들을 nearest neighbor 기반으로 물체별 궤적을 생성하기 위함이다. In the track creation step for each object, a track is created by using a frame to frame linking method and a gap closing method. The reason for performing frame to frame linking and gap closing is to generate the object-specific trajectory based on the nearest neighbors based on the positional information of the objects accumulated in a certain frame.

물체별로 생성된 트랙들에 대해 이전 총 트랙 개수와 현재 총 트랙 개수의 비교를 수행한다. For the tracks generated for each object, a comparison between the previous total track number and the current total track number is performed.

만약 이전 트랙 개수와 현재 트랙 개수가 같으면 물체별 트랙 ID를 유지하고, 이전 트랙 개수가 현재 트랙 개수보다 크면 트랙 ID를 삭제한다. If the previous track number is the same as the current track number, the track ID for each object is maintained. If the previous track number is larger than the current track number, the track ID is deleted.

만약 이전 트랙 개수가 현재 트랙 개수보다 작으면, 트랙 ID를 추가하여 트랙의 ID가 동일 물체에 동일 ID가 유지되도록 관리하는 기능을 트랙 ID 관리 단계에서 수행한다. 마지막으로 다음 프레임에 대해 물체별 궤적 연관과 관리를 위해 현재 트랙 정보를 이전 트랙 정보로 갱신하고 매 프레임 반복 수행한다.If the previous track number is smaller than the current track number, a track ID management step is performed to add a track ID so that the track ID is maintained on the same object. Finally, the current track information is updated with the previous track information and repeated every frame for object association and management for the next frame.

명세서에 제안된 방법에 대해 실현 가능성을 확인하기 위한 간단한 실험을 수행하였다. 도 4 내지 도 7은 본 발명에 따른 3차원 라이다를 활용한 물체 인식 방법의 실험결과를 설명하기 위한 개념도이다. A simple experiment was carried out to confirm the feasibility of the method proposed in the specification. 4 to 7 are conceptual views for explaining the experimental results of the object recognition method using a three-dimensional lidar according to the present invention.

첫 번째 실험은 추적을 활용하지 않고 앞의 4단계를 활용하여 인식을 수행하였다. 실험환경은 센서 앞을 기준으로 30m×30m 이내, 근거리 7m 제외한 유효한 거리데이터를 활용하였다. 물체 탐지용 경사도 문턱값은 50%를 사용하였고 DBSCAN용 최소 포인트 개수 및

은 각각 5개, 1.3m이고, 2D 점유격자는 전체 2m×2m(10cm×10cm 해상도)로 설정하였다. In the first experiment, recognition was performed using the previous four steps without using tracking. The experimental environment utilized valid distance data within 30m × 30m in front of sensor and excluding 7m in short distance. The slope threshold for object detection was 50% and the minimum number of points for DBSCAN

Are 5 pieces and 1.3m respectively, and the 2D occupancy grating was set to a total of 2m × 2m (10cm × 10cm resolution).

도 4의 아래 그림과 같은 환경에서 사람 두 명이 좌우로 이동하고 중간에 SUV 차량이 들어왔다 나가는 시나리오에서 실험을 수행하였다. 실험의 전체 프레임 수(3차원 라이다)는 727 프레임이고 51 프레임에서 오인식이 존재하였다. 프레임 기준 인식율은 약 93%로 측정되었다. The experiment was performed in a scenario in which two people move from side to side and an SUV vehicle enters and exits in an environment as shown in the following figure of FIG. 4. The total number of frames (three-dimensional lidar) of the experiment was 727 frames, and there was a false recognition at 51 frames. The frame reference recognition rate was measured to be about 93%.

두 번째 실험은 추적정보까지 활용한 인식을 수행하였다. 앞의 실험조건과 동일한 조건으로 실험을 수행하였다. In the second experiment, recognition using tracking information was performed. The experiment was performed under the same conditions as the previous experimental conditions.

도 5는 360번 째 프레임의 인식 결과를 보여준다. 그림에서 빨간 색 숫자는 트랙 ID를 의미하고, 빨간 색 숫자 옆의 검은 색 텍스트는 인식결과를 보여준다. 사람으로 인식되었을 경우 Human으로 출력되고 아닐 경우 Unknown으로 출력된다. 인식결과 텍스트 아래 보라색 텍스트와 숫자는 추적된 물체의 속도(m/s)를 나타낸다. 빨간 색 숫자 아래 빨간 원은 인식된 물체의 Point Cloud를 나타낸다. 도 5에서 30미터 이내에 있는 두 사람이 모두 인식되었음을 확인할 수 있다. 5 shows the recognition result of the 360 th frame. In the figure, the red number represents the track ID, and the black text next to the red number shows the recognition result. If it is recognized as a human, it is output as Human. If not, it is output as Unknown. The purple text and numbers below the recognition result text indicate the speed (m / s) of the tracked object. The red circle below the red number represents the point cloud of the recognized object. In FIG. 5, it can be confirmed that both persons within 30 meters are recognized.

도 6과 도 7은 398 프레임과 519 프레임에 대한 인식 결과이다. 6 and 7 show recognition results for 398 frames and 519 frames.

도 6의 경우 SUV 뒤에 사람이 1초 이상 있음으로 인해 인식이 되지 않은 경우이다. 도 7은 뒤의 사람이 앞의 사람에 의해 가리어짐으로 인해 추적이 수행되지 않았지만, 10 프레임의 누적 트랙이 다 사라지지 않았기 때문에 인식이 유지된 경우이다.In the case of Figure 6 is not recognized because the person behind the SUV for more than 1 second. 7 is a case where the tracking is not performed because the person behind is obscured by the person in front, but the recognition is maintained because the cumulative track of 10 frames has not disappeared.

추적 결과를 활용하여 인식을 수행할 경우 전체 727 프레임에서 21 프레임에서 오인식이 존재하였다. 프레임 기준 인식률은 97% 이다. 그 중 9 프레임은 시작 시점에 누적 궤적이 10 프레임을 수행함으로 인해 궤적 정보가 다 차지 않아서 생기는 오인식 구간을 포함하였다. 이를 제외하면 앞의 4단계만을 활용하여 인식을 수행했을 때의 93% 인식률 대비 성능 향상을 이룬 것을 확인할 수 있다. In case of recognition using tracking result, there was a misperception in 21 frames out of 727 frames. The frame-based recognition rate is 97%. Nine frames of the frames included a misrecognition section that was generated because the trajectory information was not filled because the cumulative trajectory performed 10 frames at the start point. Except for this, it can be seen that the recognition performance was improved by 93% when using the above four steps.

상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The foregoing detailed description should not be construed as limiting in all aspects, but should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims

Acquiring and preprocessing distance data using a three-dimensional lidar;
Detecting an object based on a predetermined slope based on a result of the preprocessing, and dividing the detected object;
Generating a two-dimensional occupant for each of the divided objects; And
And recognizing a target object through a convolutional neural network as an input of the two-dimensional occupant. 3.

The method of claim 1,
And tracking the target object by using a multi-target tracking filter.

The method of claim 2,
And generating a track for each target object and comparing the number of previous tracks with the number of current tracks based on a result of tracking the target object.

The method of claim 3,
And managing track IDs such that track IDs are maintained on target objects having the same track IDs, based on the comparison result. 3.

The method of claim 1,
Generating the two-dimensional occupant;
Performing a Principal Component Analysis (PCA) for each of the divided objects, and generating a two-dimensional occupant including two-dimensional distance information and intensity on a plane where the main information is collected; Object recognition method using 3D lidar.