KR20210118995A

KR20210118995A - 딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치

Info

Publication number: KR20210118995A
Application number: KR1020200034905A
Authority: KR
Inventors: 오태동
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2021-10-05
Also published as: US11619946B2; US20210294341A1; DE102020122837A1

Abstract

본 발명의 일 실시 예에 따른 자율주행차량 유턴 경로 생성 방법은 주행 가능 영역을 계산하는 단계와 상기 주행 가능 영역 내 주행 가능한 다중 경로를 생성하는 단계와 딥러닝 기반으로 상기 다중 경로에 대한 주행 전략 경로 필터링을 수행하는 단계와 상기 유턴 전력 경로 필터링된 후보 경로에서 최종 경로를 결정하는 단계를 포함할 수 있다.

Description

딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING U-TURN PATH OF AUTONOMOUS VEHICLE BASED ON DEEP LEARNING}

본 발명은 차량 경로 안내에 관한 것으로, 보다 상세하게는 딥러닝 기반으로 자율주행차량을 위한 최적의 유턴 경로를 제공하기 위한 기술에 관한 것이다.

종래 차량 커넥티드카서비스(CCS: Connected Car Service) 센터를 통한 경로 제공 서비스는 센터에서 주행 도로의 유동 차량 정보, 신호등 정보, 차선의 개수, 제한 속도 및 유고 정보-예를 들면, 도로의 사고 정보 및 도로 통제 정보 등을 포함함-에 기반하여 최적/추천/우회 경로 등을 탐색하고, 탐색된 경로에 관한 정보를 해당 차량에 제공하였다.

기존 차량 유턴 경로의 생성은 사전 도로 조사 등을 통해 전문가 기반의 사전 유턴 경로를 생성하므로 주행 경로 생성의 자유도가 제한될 뿐만 아니라 실시간 주변 상황을 종합적으로 해석하지 않고 유턴 가능한 영역에서의 위험도만을 국소적으로 판단하여 부자연스러운 유턴 경로가 생성되는 문제점이 있었다.

자율 주행 차량은 주행 중 실시간 변화하는 주변 상황에 따라 적응적으로 대처할 수 있는 능력이 요구된다.

본 발명은 상기 복잡한 상황들을 고려할 수 있도록 딥러닝 학습 시 상기 특징들을 입력으로 고려하여, 주행 가능 영역에서의 다중 경로들을 유턴 전략에 따라 필터링하기 위해 딥러닝 분류 문제로 해결하고, 나아가 유턴 전략이 반영 된 다중 경로들에 위험도, 곡률, 길이 등의 요소를 고려하여 최적 경로를 선택하는 방법이다.

딥 러닝을 통해 생성된 적응적 유턴 전략을 이를 통해 빅데이터를 구축함으로써 실제 운전자의 판단에 기초하여 유턴하는 것 이상으로 안전한 최적의 유턴 경로를 생성할 수 있는 장점이 있다.

본 발명의 실시 예는 딥러닝 기반으로 자율주행차량의 유턴 경로를 생성하는 방법 및 장치를 제공하고자 한다.

본 발명의 다른 실시 예는 다양한 센싱 데이터를 특징 별 분류 학습하여 전략적 다중 경로를 생성한 후 다양한 평가 요소를 고려하여 최적 유턴 경로를 생성하는 것이 가능한 딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치를 제공하고자 한다.

본 발명의 또 다른 실시예는 주행 상황 별 실제 수행된 유턴 전략을 빅데이터로 구성한 후 동일 상황 발생시 빅데이터에 기반한 딥 러닝을 수행하여 보다 신뢰할 수 있는 유턴 경로를 제공하는 것이 가능한 딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치를 제공하고자 한다.

본 발명의 또 다른 실시 예는 유턴 경로 생성에 있어서의 공간적 자유도를 향상시키는 것이 가능한 딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치를 제공하고자 한다.

본 발명의 또 다른 실시 예는 단계 별 학습을 통해 트레이닝 데이터베이스를 구축하는 것이 가능한 딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치를 제공하고자 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

실시 예로, 상기 주행 가능 영역은 자차 주변의 오브젝트 정보, 도로 정보 및 구조물 정보 중 적어도 하나에 기반하여 계산될 수 있다.

실시 예로, 상기 주행 전략 경로 필터링은 복수의 주변 기기로부터 수집된 입력 정보들을 딥러닝 분류 기법으로 분류하는 단계와 상기 분류된 입력 정보에 기반한 신경망 학습을 통해 가장 적합한 유턴 전략을 선택하는 단계와 상기 선택된 유턴 전력에 부합되지 않는 경로를 상기 후보 경로에서 제외시키는 단계를 통해 수행될 수 있다.

실시 예로, 상기 분류된 입력 정보에 기반한 신경망 학습을 통해 가장 적합한 유턴 전력을 선택하는 단계는 복수의 유턴 전력 리스트를 획득하는 단계와 상기 다중 경로에 대한 상기 신경망 학습을 통해 상기 유턴 전략 리스트에 포함된 유턴 전략 별 유사도 확률을 산출하는 단계와 상기 유턴 전략 별 산출된 상기 유사도 확률에 기반하여 가장 적합한 유턴 전략을 선택하는 단계를 포함할 수 있다.

실시 예로, 상기 유턴 전략 리스트에 포함된 유턴 전력에 매핑되지 않는 다중 경로는 필터링될 수 있다.

실시 예로, 상기 신경망은 CNN(Convolution Neural Networks), RNN(Recurrent Neural Network), DNN(Deep Neural Networks), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Networks), LSTM(Long Short-Term Memory), GAN(Gamma Neural Network), Softmax 모델 중 적어도 하나의 딥러닝 구조를 가질 수 있다.

실시 예로, 상기 최종 경로를 결정하는 단계는 위험도, 곡률 및 거리 중 적어도 하나에 대한 상기 후보 경로 별 평가 점수를 산출하는 단계와 상기 후보 경로 별 산출된 상기 평가 점수에 기반하여 상기 최종 경로를 결정하는 단계를 포함하고, 상기 자차의 주행 상황에 따라 결정된 상기 최종 경로는 데이터베이스에 기록된 후 상기 딥러닝에 이용될 수 있다.

실시 예로, 상기 오브젝트는 정적 오브젝트 및 동적 오브젝트를 포함하되, 상기 정적 오브젝트는 상기 주행 가능 영역 계산에 사용되고, 상기 동적 오브젝트는 상기 자차 주행 반대 차선에서 접근하는 타차의 위험도 분석에 사용될 수 있다.

실시 예로, 상기 주행 가능 영역을 계산하는 단계는 상기 도로 정보에 기반하여 제1 주행 가능 영역을 산출하는 단계와 상기 정적 오브젝트에 기반하여 제2 주행 가능 영역을 산출하는 단계와 상기 제1 주행 가능 영역과 상기 제2 주행 가능 영역의 중첩 영역을 최종 주행 가능 영역으로 결정하는 단계를 포함할 수 있다.

실시 예로, 상기 방법은 상기 딥러닝을 위한 트레이닝 모델을 구축하는 단계를 더 포함하고, 상기 트레이닝 모델은 시뮬레이션 기반 딥러닝 학습을 통해 초기 학습 모델을 구축하는 단계와 클라우드 서버 기반의 딥러닝 학습을 통해 빅데이터를 구축하는 단계와 개인 성향 기반의 딥러닝 학습을 통해 로컬 데이터베이스를 구축하는 단계를 통해 구축될 수 있다.

본 발명의 다른 실시 예에 따른 자율주행차량 유턴 경로 생성 장치는 융합 정보를 생성하는 융합부와 상기 융합 정보에 기반하여 주행 가능 영역을 계산하는 영역계산부와 상기 주행 가능 영역 내 주행 가능한 다중 경로를 생성하는 경로생성부와 딥러닝 기반으로 상기 다중 경로에 대한 주행 전략 경로 필터링을 수행하는 학습부와 상기 유턴 전력 경로 필터링된 후보 경로에서 최종 경로를 결정하는 제어부를 포함할 수 있다.

실시 예로, 상기 융합부는 자차 주변의 오브젝트 정보를 생성하는 객체융합모듈과 상기 자차 주변의 도로 정보를 생성하는 도로정보융합모듈과 상기 도로 정보 생성에 필요한 글로벌 좌표 정보를 생성하는 위치정보융합모듈을 포함할 수 있다.

실시 예로, 상기 학습부는 복수의 주변 기기로부터 수집된 입력 정보들을 딥러닝 분류 기법으로 분류하고, 상기 분류된 입력 정보에 기반한 신경망 학습을 통해 가장 적합한 유턴 전략을 선택한 후 상기 선택된 유턴 전력에 부합되지 않는 경로를 상기 후보 경로에서 제외시킬 수 있다.

실시 예로, 상기 장치는 복수의 유턴 전략 리스트를 생성하는 전략 생성부를 더 포함하고, 상기 학습부는 미리 생성된 복수의 유턴 전력 리스트를 상기 전략 생성부로부터 획득하고, 상기 다중 경로에 대한 상기 신경망 학습을 통해 상기 유턴 전략 리스트에 포함된 유턴 전략 별 유사도 확률을 산출하고, 상기 유턴 전략 별 산출된 상기 유사도 확률에 기반하여 가장 적합한 유턴 전략을 선택할 수 있다.

실시 예로, 상기 제어부는 위험도, 곡률 및 거리 중 적어도 하나에 대한 상기 후보 경로 별 평가 점수를 산출하고, 상기 후보 경로 별 산출된 상기 평가 점수에 기반하여 상기 최종 경로를 결정하되, 상기 자차의 주행 상황에 따라 결정된 상기 최종 경로는 데이터베이스에 기록된 후 상기 딥러닝에 이용될 수 있다.

실시 예로, 상기 오브젝트 정보는 정적 오브젝트 정보 및 동적 오브젝트 정보를 포함하되, 상기 정적 오브젝트 정보는 상기 주행 가능 영역 계산에 사용되고, 상기 동적 오브젝트는 상기 자차 주행 반대 차선에서 접근하는 타차의 위험도 분석에 사용될 수 있다.

실시 예로, 상기 영역계산부는 상기 도로 정보에 기반하여 제1 주행 가능 영역을 산출하고, 상기 정적 오브젝트에 기반하여 제2 주행 가능 영역을 산출하고, 상기 제1 주행 가능 영역과 상기 제2 주행 가능 영역의 중첩 영역을 최종 주행 가능 영역으로 결정할 수 있다.

실시 예로, 상기 딥러닝을 위해 트레이닝 모델이 이용되고, 상기 트레이닝 모델은 시뮬레이션 기반 딥러닝 학습을 통해 초기 학습 모델을 구축하는 수단과 클라우드 서버 기반의 딥러닝 학습을 통해 빅데이터를 구축하는 수단과 개인 성향 기반의 딥러닝 학습을 통해 로컬 데이터베이스를 구축하는 수단을 통해 생성될 수 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명은 딥러닝 기반으로 자율주행차량의 유턴 경로를 생성하는 방법 및 장치를 제공하는 장점이 있다.

실시 예에 따른 본 발명은 다양한 센싱 데이터를 특징 별 분류 학습하여 전략적 다중 경로를 생성한 후 다양한 평가 요소를 고려하여 최적의 유턴 경로를 생성하는 것이 가능한 딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치를 제공하는 장점이 있다.

실시 예에 따른 본 발명은 주행 상황 별 실제 수행된 유턴 전략을 빅데이터로 구축한 후 동일 또는 유사 상황 발생시 빅데이터에 기반한 딥 러닝을 수행함으로써 보다 신뢰할 수 있는 유턴 경로를 제공하는 것이 가능한 딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치를 제공하는 장점이 있다.

실시 예에 따른 본 발명은 유턴 경로 생성에 있어서의 공간적 자유도를 향상시키는 것이 가능한 딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치를 제공하는 장점이 있다.

실시 예에 따른 본 발명은 딥 러닝 기반으로 생성된 적응적 유턴 전략 및 그에 따라 생성된 최적의 유턴 경로를 빅데이터로 구축함으로써 실제 운전자의 판단에 기초하여 유턴하는 것 이상으로 안전하고 편안한 유턴 경로를 자율주행차량에 제공할 수 있는 장점이 있다.

실시 예에 따른 본 발명은 단계 별 학습을 통해 다양한 트레이닝 데이터를 빠르게 획득할 수 있는 장점이 있다.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 딥러닝 기반 자율주행차량 유턴 경로 생성 시스템의 구조를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 딥러닝 기반 자율주행차량 유턴 경로 생성 장치의 구조를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 학습부에 적용되는 신경망 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 학습 요소 분류부의 구조를 설명하기 위한 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 단계 별 학습을 통한 트레이닝 데이터 획득 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 딥러닝 기반 자율주행차량 유턴 경로 생성 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 주행 가능 영역 계산 절차를 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 주행 가능 영역 계산 절차를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 최초 주행 가능 영역 계산 절차를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 다중 경로 생성 절차를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 딥러닝 기반 주행 전력 경로 필터링 절차를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 최종 경로 결정 절차를 설명하기 위한 도면이다.
도 13은 본 발명의 다른 실시 예에 따른 최종 경로 결정 절차를 설명하기 위한 도면이다.
도 14는 본 발명의 또 다른 실시 예에 따른 최종 경로 결정 절차를 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 유턴 전력 반영 여부에 따른 경로 생성을 비교하기 위한 도면이다.
도 16은 본 발명의 일 실시 예에 따른 양보 차량 존재 시 경로 생성 방법을 설명하기 위한 도면이다.

이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 도 1 내지 도 6을 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 딥러닝 기반 자율주행차량 유턴 경로 생성 시스템의 구조를 설명하기 위한 블록도이다.

이하 설명의 편의를 위해, 딥러닝 기반 자율주행차량 유턴 경로 생성 시스템(100)을 간단히, 시스템(100)이라 명하기로 한다.

도 1을 참조하면, 시스템(100)은 전략생성부(110), 융합부(120), 영역계산부(130), 경로생성부(140), 학습부(150) 및 제어부(160)를 포함하여 구성될 수 있다.

전략생성부(110)는 적어도 하나의 유턴 전략을 생성할 수 있다.

융합부(120)는 객체융합모듈(121), 도로정보융합모듈(122), 위치정보융합모듈(123)을 포함하여 구성될 수 있다.

객체융합모듈(121)은 인지센서(170)로부터 획득한 각종 센싱 정보 및 및 V2X 통신부(190)로부터 수신된 각종 V2X 통신 데이터에 기반하여 자차 주변의 정적 오브젝트 및 동적 오브젝트를 식별하고, 식별된 오브젝트에 관한 세부 정보를 출력할 수 있다.

여기서, 오브젝트에 관한 세부 정보는 정적 오프젝트인지 동적 오브젝트인지를 구분하기 위한 오브젝트 타입 정보, 위치 정보, 차속 정보, 가속도 정보, 요레이트, 스티어링 휠 각도 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다.

실시 예로, 인지센서(170)는 라이더(171), 카메라(172) 및 레이더(173)를 포함할 수 있으나, 이에 한정되지는 않는다.

도로정보융합모듈(122)은 인지센서(170)로부터 주변 정적 오브젝트에 관한 정보, 지도제공부(180)로부터 자차 주변의 정밀 맵 정보, V2X 통신부(190)로부터 자차 주변의 V2I(Vehicle to Infrastructure) 통신을 위한 인프라 정보 및 위치정보융합 모듈(123)로부터 자차의 위치-즉, 자차의 글로벌 좌표- 정보를 획득하고, 획득된 정보에 기반하여 도로 정보를 생성하여 출력할 수 있다. 일 예로, 도로 정보는 현재 자차가 주행중인 도로 타입 정보-예를 들면, 고속 도로, 자동차 전용 도로, 간선 도로, 이면 도로, 일방 통행 도로 등을 포함함-, 자차 주행 도로 차로 정보-예를 들면, 편도 3차로 잠실 방향, 왕복 4차로 여의도 방향 등을 포함- 및 자차의 현재 주행 중인 차선에 관한 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다.

위치정보융합모듈(123)은 인지센서(170)로부터는 주변 정적 오브젝트에 관한 정보, 차량네트워크(191)를 통해서는 자차의 주행 속도 및 휠속도 정보, 지도제공부(180)로부터 자차 주변의 정밀 맵 정보, V2X 통신부(190)로부터 주변 도로 정보 및 GSP수신기(192)로부터 GPS 정보 등을 획득하여 자차의 현재 위치 정보-즉, 자차의 글로벌 좌표 정보-를 출력할 수 있다.

영역계산부(130)는 자차 주변의 오브젝트 정보와 도로 정보를 입력 받아 자차의 주행 가능 영역을 계산하여 출력할 수 있다.

경로생성부(140)는 주행 가능 영역에 대한 다중 경로를 산출하여 출력할 수 있다.

실시 예로, 경로생성부(140)는 전략생성부(110)로부터 유턴 전력에 관한 정보를 획득할 수도 있다. 이 경우, 경로생성부(140)는 주행 가능 영영에서의 유턴 전력 별 다중 경로를 산출하여 출력할 수도 있다.

학습부(150)는 전략생성부(110)로부터는 유턴 전력 정보, 경로생성부(140)로부터는 다중 경로 정보, 융합부(120)로부터 에 오브젝트 정보 및 도로 정보를 각각 입력 받을 수 있다.

학습부(150)는 입력된 정보에 기초하여 자차의 현재 주행중인 도로 상황 및 주변 환경에 대해 각 경로가 여러 유턴 전략 중 의미상으로 전력생성부(110)에 의해 생성된 적어도 하나의 유턴 전략에 매칭시킬 수 있다. 학습부(150)는 유턴 전략에 매칭되지 않는-즉, 유사도가 낮은- 경로는 고려 대상에서 제외시킬 수 있다.

제어부(160)는 학습부(150)에 의해 필터링된 다중 경로-즉, 유턴 전력 반영 다중 경로-들 각각에 소정 평가 기준-예를 들면, 위험도, 곡률 및 길이-를 적용하여 각 경로 별 평가 점수를 산출하고, 산출된 평가 점수에 기반하여 최적의 유턴 경로를 결정할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 딥러닝 기반 자율주행차량 유턴 경로 생성 장치의 구조를 설명하기 위한 블록도이다.

이하 설명의 편의를 위해, 자율주행차량의 딥러닝 기반 유턴 경로 생성 장치(200)를 간단히, 장치(200)이라 명하기로 한다.

도 2를 참조하면, 장치(200)는 정보수집부(210), 학습요소분류부(220), 학습부(230), 전력결정부(240), 필터링부(250), 최적경로결정부(260) 및 통계산출부(270)를 포함하여 구성될 수 있다.

정보수집부(210)는 자율주행차량 내 구비된 다양한 주변 기기로부터 각종 로우 데이터(210)를 수집할 수 있다.

여기서, 로우 데이터는 상기 도 1에서 상술한 바와 같이, 인지 센서(170)로부터 수집된 정보, 지도제공부(180)로부터 수집된 정보, V2X 통신부(190)로부터 수집된 정보, 차량네트워크(191)로부터 수집된 정보, GPS수신기(192)로부터 수집된 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다.

학습 요소 분류부(220)는 정보수집부(210)에 수집된 로우 데이터를 미리 정의된 학습 요소 별로 분류할 수 있다.

일 예로, 학습 요소는 선행 차량 의도 판단 학습 요소, 반대 차로 동적 오브젝트 위험 도 판단 학습 요소, 보행자 관련 학습 요소, 정적 오브젝트 관련 학습 요소, 최종 주행 가능 영역 관련 학습 요소 등을 포함할 수 있다.

학습부(230)는 제1 내지 N 학습 요소 데이터, 제1 내지 K 유턴 전략 및 다중 경로를 입력 받아 딥러닝 학습을 수행할 수 있다.

학습부(230)는 학습을 통해 제1 내지 K 전략에 상응하는 유사도 확률을 출력할 수 있다.

학습부(230)는 입력된 다중 경로 중 제1 내지 K 전략에 매핑되지 않는 유턴 경로는 고려 대상 다중 경로에서 제거되도록 필터링할 수 있다.

전략결정부(240)는 전략 별 유사도 확률에 기반하여 최적의 유턴 전력을 결정할 수 있다.

경로평가부(250)는 결정된 최적의 유턴 전력에 상응하는 경로(들) 각각에 대해 소정 평가 기준에 따른 평가 점수를 산출할 수 있다.

최적경로결정부(260)는 평가 점수가 가장 높은 경로를 최종 유턴 경로로 결정할 수 있다.

통계산출부(270)는 최종 결정된 유턴 전력 및 유턴 경로에 대한 주행 안전도 통계를 산출하여 학습부(230)에 제공할 수 있다.

학습부(230)는 자율주행차량에 적용된 유턴 경로에 대한 피드백 정보-즉, 주행 안전도 통계 정보-를 더 활용하여 딥러닝 학습을 수행함으로써, 자율주행차량에 보다 안전한 유턴 경로를 제공할 수 있는 장점이 있다.

도 3은 본 발명의 일 실시예에 따른 학습부에 적용되는 신경망 구조를 설명하기 위한 도면이다.

본 발명의 실시 예에 따른 신경망 구성은 CNN(Convolution Neural Networks), RNN(Recurrent Neural Network), DNN(Deep Neural Networks), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Networks), LSTM(Long Short-Term Memory), GAN(Gamma Neural Network), Softmax 모델 중 적어도 하나의 딥러닝 구조를 가지도록 구현될 수 있다.

본 발명에 따른 상기 신경망은 상기 예시들로만 제한되지 않으며, 목적상 주어진 학습 요소 추출 모듈들의 출력들을 학습하여 유턴 개시 시점에 대한 성능을 충족시킬 수 있는 어떠한 형태의 딥 뉴럴 네트워크 구조도 포함될 수 있다.

도 3을 참조하면, 신경망(300)은 크게 입력층(Input Layer, 310), 은닉층(Hidden Layers, 320) 및 출력층(Output Layer, 330)을 포함하여 구성될 수 있다.

실시 예에 따른 신경망(300) 구성은 입력 노드의 수와 시스템의 복잡도를 고려하였을 때 적어도 10개 이상의 은닉층(320)과 적어도 500개 이상의 전체 노드수를 갖음으로써, 유턴 가능 시점 판단을 가능하게 하는 신경망 구조를 가질 수 있다. 하지만, 은닉층(320)의 수와 전체 노드수를 상기와 같이 제한되는 것은 아니다.

상기 도 3에서는 학습 요소 분류부(220)의 학습 요소 추출 모듈 하나 당 입력층(310)의 노드 하나가 일대일 매칭되는 것으로 표현되어 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예는 각각의 학습 요소 출력 모듈에서의 출력이 입력층(310)의 복수의 노드에 입력될 수도 있다. 또한, 입력층(310)의 하나의 노드는 복수의 학습 요소 출력 모듈로부터 정보를 수신할 수도 있다.

출력층(330)에서의 출력은 미리 분류된 N개의 유턴 전략들 각각에 상응하는 유사도-즉, 다중 경로가 해당 유턴 전력으로 선택될 확률-일 수 있으며, 자율주행 시에는 각 전략에 상응하는 유사도 확률(340)에 기초하여 최종 유턴 전략이 선택될 수 있다. 이 경우 최종 선택된 유턴 경로에 대한 주행 중 위험도 판단이 몇 회 일어났는지에 관한 피드백 정보는 신경망(300)의 재학습(Error Back-Propagation)에 활용될 수 있다.

도 4는 본 발명의 실시 예에 따른 학습 요소 분류부의 구조를 설명하기 위한 블록도이다.

도 4를 참조하면, 학습 요소 분류부(220)는 제1 내지 제5 학습 요소 추출 모듈(410 내지 450)을 포함하여 구성될 수 있다.

제1 학습 요소 추출 모듈(410)은 선행 차량 의도를 판단과 관련한 학습 요소 데이터를 추출할 수 있다.

제2 학습 요소 추출 모듈(420)은 자차 주행 차로의 반대 차로로 주행 중인 차량-즉, 동적 오브젝트-의 위험도를 판단과 관련한 학습 요소 데이터를 추출할 수 있다.

제3 학습 요소 추출 모듈(430)은 자차 주변 보행자와 관련한 학습 요소 데이터를 추출할 수 있다.

제4 학습 요소 추출 모듈(440)은 자차 주행 차로 주변의 정적 오브젝트의 위험도 판단과 관련한 학습 요소 데이터를 추출할 수 있다.

제5 학습 요소 추출 모듈(450)은 자차의 주행 가능 영역의 판단과 관련한 학습 요소 데이터를 추출할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 단계 별 학습을 통한 트레이닝 데이터 획득 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 딥러닝 기반 자율주행차량의 유턴 경로 생성 시스템은 제1 내지 제3 학습 단계를 최적 경로 판단에 필요한 트레이닝 데이터를 획득할 수 있다.

일 예로, 트레이닝 데이터는 제1 내지 3 학습 단계를 통해 획득될 수 있다.

장치(200)는 제1 학습 단계에서 시뮬레이션 기반 딥러닝 학습을 통해 초기 학습 모델을 구축할 수 있다(S510).

제1 학습 단계는 트레이닝 데이터 취득이 용이할 뿐만 아니라 다양한 시나리오 학습이 가능한 장점은 있으나, 현실과 불일치하는 상황이 다수 발생되는 단점이 있을 수 있다.

장치(200)는 제2 학습 단계에서 클라우드 서버 기반 딥러닝 학습을 통해 빅데이터를 구축할 수 있다(S520). 즉, 장치(200)는 중앙 서버에 의해 수집된 자율주행차량들의 인지/판단 정보에 기반한 딥러닝 학습을 통해 최적 유턴 경로 판단에 필요한 빅데이터를 활용할 수 있다.

제2 학습 단계는 자율주행차량이 양산 및 보급됨에 따라 손쉽게 트레이닝 데이터를 획득하는 것이 가능하지만, 개인 맞춤형 경로 서비스-예를 들면, 개인의 유턴 성향을 반영한 경로 서비스-를 제공하기 힘든 단점이 있다.

장치(200)는 제3 학습 단계에서 개인 성향 기반의 딥 러닝 학습을 통해 로컬 데이터베이스를 구축할 수 있다(S530).

제3 학습 단계는 개인의 유턴 성향에 맞춘 학습을 통해 자율주행차량 유턴 모드를 다양화시킬 수 있는 장점이 있다. 하지만, 학습에 필요한 데이터 수집이 느린 단점이 있다.

이상에서 설명한 바와 같이, 자율주행차량 서비스 초기에는 학습에 필요한 트레이닝 데이터가 부족하므로 시뮬레이션 기반 딥러닝 학습을 통해 초기 데이터 모델을 구축할 수 있다. 중기에는 중앙 서버가 구비된 데이터 로거 등을 이용하여 다수의 자율주행차량으로부터 수집된 센서 정보를 학습에 활용함으로써, 실제 주행 상황에 맞는 데이터 모델-즉, 빅데이터-를 구축 수 있다. 말기에는 학습된 딥러닝 모델에 개인의 유턴 성향이 반영될 수 있도록 피드백 정보가 입력될 수 있다.

도 6은 본 발명의 일 실시 예에 따른 딥러닝 기반 자율주행차량 유턴 경로 생성 방법을 설명하기 위한 순서도이다.

도 6을 참조하면, 장치(200)는 정적/동적 오브젝트들의 위치, 동역학적 정보와 주변 구조물의 위치 정보 등에 기반하여 주행 가능 영역을 계산할 수 있다(S610).

장치(200)는 소정 경로 생성 알고리즘을 통해 주행 가능한 N개의 다중 경로를 생성할 수 있다(S620). 일 예로, 경로 생성 알고리즘은 랜덤 확률 기반 경로 생성 알고리즘 및 주행 가능 영역 내 균일 오프셋 기반 경로 생성 알고리즘이 적용될 수 있으나, 이에 한정되지는 않는다.

장치(200)는 딥러닝 기반 주행 전략 경로 필터링 동작을 수행할 수 있다(S630).

여기서, 주행 전략 경로 필터링 동작은 주변 기기로부터 수집된 다양한 입력 정보들을 딥러닝 분류 기법으로 분류하는 단계와 분류된 입력 정보에 기반한 신경망 학습을 통해 가장 적합한 유턴 전력을 선택하는 단계와 선택된 유턴 전력에 부합되지 않는 경로를 후보 경로에서 제외시키는 단계를 포함할 수 있다.

장치(200)는 유턴 전력을 반영하여 필터링된 경로들 중 각각의 위험도, 곡률 및 길이에 기반하여 해당 경로 별 평가 점수를 산출하고, 산출된 평가 점수에 기초하여 최종 경로를 결정할 수 있다(S640).

도 7은 본 발명의 일 실시 예에 따른 주행 가능 영역 계산 절차를 설명하기 위한 도면이다.

상세하게 도 7은 도로 구조에 따른 주행 가능 영역 계산하는 절차를 설명하기 위한 도면이다.

자율주행차량이 유턴 가능 지역에서 도로가 좁아 한 번에 유턴이 불가할 경우 후진을 포함한 유턴 전략 혹은 주변 차량의 상태를 판단 후 크게 돌아 유턴을 시도하는 등의 다양한 유턴 전략을 시도할 수 있다. 하지만, 다양한 유턴 전력이 시도되기 이전에 주행 지역의 도로 구조를 정확히 파악하는 것이 필요하다.

일 예로, 좌회전 및 유턴이 가능한 차로와 유턴만이 가능한 차로 등을 구분하여 선행차의 거동 판단이 용이할 수 있다.

실시 예로, 유턴 가능 차로에 관한 정보는 하기의 2가지 방법을 통해 확인될 수 있다.

1. 카메라를 통해 차로 유턴 마크를 확인하는 방법

2. 현재 위치 인지 상태가 양호하며, 정밀지도상 자차 차로의 차로 마크 속성이 유턴인지를 확인하는 방법

실시 예로, 차선 정보 확인을 위해서는 하기의 2가지 방법이 사용될 수 있다.

1. 카메라를 통해 차선이 점선인지 확인하는 방법.

2. 현재 위치 인지 상태가 양호하며, 정밀지도상 자차 옆 차로의 차선 속성이 점선인지를 확인하는 방법

자율주행차량의 위치 인지 상태가 좋을수록 도로 구조에 따른 주행 가능 영역이 실제 주행 가능 영역과 일치하므로 위치 인지 상태 플래그(상/중/하)도 주행 가능 영역 계산을 위해 중요한 학습 요소일 수 있다.

주행가능 영역은 자차가 법규를 어기지 않고 도로 내에서 주행 시 도달할 수 있는 모든 영역의 합집합 영역으로 2차원 평면상 외곽선의 포인트 집합(Point Set)으로 출력될 수 있다.

따라서 영역계산부(130)는 차로 마크, 차선 정보, 자차의 정밀지도상 위치, 위치 인지 상태 및 도로변 외곽선 정보와 이들에 기초하여 산출된 주행 가능 영역을 출력할 수 있다.

도면 번호 710은 도로 너비에 따른 주행 가능 영역 구분의 예를 보여주고, 도면 번호 720은 유턴 허용 차선에 따른 주행 가능 영역의 구분 예를 보여준다.

도 8은 본 발명의 다른 실시 예에 따른 주행 가능 영역 계산 절차를 설명하기 위한 도면이다.

상세하게 도 8은 정적 오브젝트에 따른 주행 가능 영역 계산하는 절차를 설명하기 위한 도면이다.

유턴 가능 지역에서 도로가 좁아 한 번에 유턴이 불가 할 경우 후진을 포함한 유턴 전략 혹은 주변 차량 판단 후 크게 돌아 유턴을 시도하는 등의 다양한 유턴 전략을 시도할 수 있다. 하지만, 다양한 유턴 전력이 시도되기 이전에 정적 오브젝트의 정확한 위치를 파악할 필요가 있다.

정적 오브젝트는 현재 이동 중으로 분류되지 않는 오브젝트들을 의미하며, 주/정차 차량, 신호 대기 차량, 공사 구간, 사고 구간 등이 정적 오브젝트로

분류되어 주행 가능 영역 연산에 활용될 수 있다.

주행 가능 영역은 자차가 법규를 어기지 않고 도로 내에서 주행 시 도달할 수 있는 모든 영역의 합집합 영역을 의미하며, 영역계산부(130)는 2차원 평면상 외곽선의 포인트 집합(Point Set)으로 주행 가능 영역을 출력할 수 있다.

따라서 영역계산부(130)는 정적 오브젝트들의 위치 정보, 외곽선 정보 및 점유 차로 정보와 이들에 기초하여 산출된 주행 가능 영역을 출력할 수 있다.

도면 번호 810은 주/정차 차량 분포에 따른 주행 가능 영역 구분의 예를 보여주고, 도면 번호 820은 공사 구간 및 사고 구간에 따른 주행 가능 영역 구분 예를 보여준다.

도 9는 본 발명의 일 실시 예에 따른 최초 주행 가능 영역 계산 절차를 설명하기 위한 도면이다.

도 9를 참조하면, 최종 주행 가능 영역(930)은 도로 구조 기반 주행 가능 영역(910)과 정적 오브젝트 기반 주행 가능 영역(920)이 서로 중첩되는 영역-즉, 교집합-으로 계산될 수 있다.

주행 가능 영역은 초기 위치에서 자차의 이동 상태를 반영하여 실시간 업데이트됨으로써 실제 주변 영역과 잘 맞게 계산되어야 한다.

실시 예에 따른 영역계산부(130)는 동적 오브젝트를 제외하고 정적 오브젝트에 기반하여 주행 가능 영역을 계산할 수 있다.

동적 오브젝트는 계속해서 움직일 가능성이 높으므로 주행 가능 영역 계산에 고려되지 않고, 반대 차로 위험도 판단에 사용될 수 있다.

도 10은 본 발명의 일 실시 예에 따른 다중 경로 생성 절차를 설명하기 위한 도면이다.

실시 예에 따른 경로생성부(140)는 영역계산부(130)에 의해 주행 가능 영역이 도출되면 주행 가능 영역 전체에서 유턴이 가능한 다중 경로를 생성할 수 있다. 바람직하게 경로생성부(140)는 주행 가능 영역에서 모든 가능한 유턴이 가능한 주행 궤적을 산출하여 출력할 수 있다.

일반적으로 주행 경로를 생성하는 것 자체에서는 로드가 매우 적으나 해당 경로들의 상황 적합성을 검증하는데 연산 로드가 크다.

따라서, 모든 가능한 주행 궤적을 연산하는 것은 현실적으로 불가능하므로, 임의의 경로들을 적은 연산을 통해 생성 후 해당 경로들을 추후 딥러닝 기반으로 해석할 때 매칭된 전략 기반으로 적합하지 않은 경로를 필터링함으로써 로드를 줄일 수 있다.

실시 예로, 가능한 많은 임의의 경로들을 생성하기 위해서는 도면 번호 1010에 보여지는 랜덤 확률 기반의 RRT 방식이나 도면 번호 1020에 보여지는 fRRT등의 방식들이 활용될 수 있다.

생성되는 경로들 간의 간격을 작게 할수록 더 많은 경로들을 생성할 수는 있으나, 최종적인 경로 검증을 위해 수행되는 연산량이 증가할 수 있다. 따라서, 주어진 시스템의 연산 성능에 비례하게 생성되는 경로 간격은 튜닝될 수 있다.

상기 방식 외의 주행가능 영역에서 주행 가능한 가장 좌측 경로와 가장 우측 경로를 기준으로 일정 옵셋(offset)마다 경로들을 균일하게 생성하는 간단한 연산 방식으로 다중 경로를 생성할 수도 있다.

도 11은 본 발명의 일 실시 예에 따른 딥러닝 기반 주행 전력 경로 필터링 절차를 설명하기 위한 도면이다.

경로생성부(140)에 의해 주행 가능 영역에서 가능한 다중 경로가 생성되면(S1110), 학습부(150)는 오브젝트 정보 및 도로 정보, 미리 설정된 유턴 전략 등에 기반하여 각각의 경로가 어떤 유턴 전략에 가장 근접한지 유사도 확률을 산출할 수 있다(S1120).

전략결정부(240)는 경로 별 산출된 유사도 확률에 기반하여 최종 유턴 전력을 결정할 수 있다(S1130).

딥러닝 기반 주행 전략 경로 필터가 구비된 전력결정부(140)는 기본적으로 딥러닝 분류(Classification) 원리로 동작하며, 주변 오브젝트 및 도로 정보 등에 기반한 주행 전략 경로 분류 결과를 전략생성부(110)로부터 획득한 복수의 유턴 전략과 비교하여 유턴 전력에 일치되지 않는 경로를 경로 후보에서 제외시킬 수 있다.

일 예로, 전략결정부(240)는 해당 경로에 상응하여 분류된 유턴 전략이 전략생성부(110)로부터 입력된 유턴 전략과 다를 경우 해당 경로를 후보 경로 리스트에서 제외시킬 수 있다.

즉, 전력결정부(240)는 경로생성부(140)에서 가능한 다양한 경로들이 생성된다면, 이들 경로들 중 전략생성부(110)로부터 입력된 유턴 전략에 부합하는 경로들을 필터링할 수 있다.

딥러닝 기반 주행 전략 경로 필터링은 추후 경로 검증 시 연산량을 효과적으로 감소시킬 수 있으며, 동시에 경로 후보 선택 시 ‘공간적’으로 제한하는 것이 아닌, 딥러닝 기반으로 경로의 ‘의미적 해석’이 해당 유턴 전략과 일치하는지를 판단하므로, 경로가 공간에 제약되지 않는 장점이 있다.

도면 번호 1140과 같이, 전방 사고 차량 존재 시 자차로를 넘어서 크게 우회하는 특수한 경로 생성이 필요할 수 있다.

도면 번호 1140의 경로들은 의미상으로 크게 회전 전력에 모두 포함되므로 택시 주정차 구역(1150)에서 비어 있는 공간까지 활용하여 유턴 경로가 생성될 수 있다.

따라서 전문가 기반에서 대응 불가한 특수 상황에 대해 전체 가능한 다중 경로를 모두 생성하고, 현 상황의 딥러닝 해석을 통해 전략을 도출할 수 있다.

또한, 해당 전략에 부합되지 않는 경로들은 필터링하여 후보 경로에서 제외하고, 필터링되지 않은 경로들에 대한 위험도, 곡률, 길이 기반으로 최적의 경로가 선정될 수 있다.

만약 전략 결정 없이 가능한 경로들을 모두 선정하여 점수 기반으로만 최종 경로를 선택한 경우, 전방 양보 차량을 거쳐가는 경로보다는 크게 돌아서 가는 비효율적인 경로가 선택될 수 있다.

도 12는 본 발명의 일 실시 예에 따른 최종 경로 결정 절차를 설명하기 위한 도면이다.

상세하게 도 12는 위험도 점수 기반으로 최종 경로를 결정하는 방법을 보여준다.

실시 예에 따른 최적 경로 결정부(260)는 도면 번호 1210에 도시된 바와 같이, 유턴 전략 반영 다중 경로들에 대한 위험도 점수를 계산하여 최종 경로를 결정할 수 있다.

유턴 전략 반영 다중 경로들 주행 가능 영역 내 존재하고, 미리 설정된 유턴 전략에 부합하는 경로들이다.

하지만, 자차의 주행 경로 주변에 동적/정적 오브젝트 분포 시 우선시되는 경로와 그렇지 않은 경로가 구분될 필요가 있다.

도면 번호 1220에 도시된 바와 같이, 자차 경로에 대한 시간에 따른 예측점들과 타차 경로에 대한 시간에 따른 예측점들을 비교하여 동일 시간에 두 점 사이의 간격이 특정 기준 이하일 때 운전자는 충돌의 위협을 느낄 수 있다.

따라서 위험도 점수는 특정 거리 내로 예측점이 가까워지는 시점이 짧을 수록 낮아지도록 설정될 수 있다.

또한, 종/횡방향 TTC 기반으로 TTC가 특정 기준보다 낮아지는 경우 탑승자는 충돌의 위협을 느낄 수 있다.

따라서, 종/횡방향 TTC가 특정 기준 이하로 내려가는 횟수에 반비례하여 위험도 점수가 낮아지도록 설정될 수 있다.

도 13은 본 발명의 다른 실시 예에 따른 최종 경로 결정 절차를 설명하기 위한 도면이다.

상세하게 도 13은 곡률 점수 기반으로 최종 경로를 결정하는 방법을 보여준다.

실시 예에 따른 최적 경로 결정부(260)는 도 13에 도시된 바와 같이, 유턴 전략 반영 다중 경로들에 대한 곡률 점수를 계산하여 최종 경로를 결정할 수 있다.

하지만, 해당 경로의 곡률이 클수록 탑승자가 느끼는 구심력이 커져 승차감이 낮아지며, 이는 경로의 비선호를 야기할 수 있다.

따라서 각 경로들의 구간 곡률과 특정 지점의 최대 곡률이 클수록 승차감은 낮아질 수 있다.

실시 예에 따른 최적 경로 결정부(260)는 구간 곡률 및 최대 곡률에 반비례하게 곡률 점수를 계산할 수 있다.

경로의 곡률은 경로를 이루는 점들 사이의 선분들의 예각들의 합과 비례하며, 이를 통해 전체 구간 곡률 및 최대 곡률이 계산될 수 있다.

도 14는 본 발명의 또 다른 실시 예에 따른 최종 경로 결정 절차를 설명하기 위한 도면이다.

상세하게 도 14는 경로 길이 기반으로 최종 경로를 결정하는 방법을 보여준다.

실시 예에 따른 최적 경로 결정부(260)는 도 14에 도시된 바와 같이, 유턴 전략 반영 다중 경로들에 대한 경로 길이를 계산하여 최종 경로를 결정할 수 있다.

하지만, 특정 경로의 유턴을 위한 주행 길이가 길어질수록 유턴을 수행하는데 소요되는 시간이 증가할 수 있으며, 유턴 수행 시간이 길어질수록 주변 상황 변화에 취약할 수 있다.

따라서 최적 경로 결정부(260)는 전체 경로의 길이가 길수록 이에 반비례하게 길이 점수를 설정할 수 있다.

본 발명의 또 다른 실시 예에 따른 최적 경로 결정부(260)는 각각의 후보 경로에 대한 위험도 점수, 곡률 점수 및 길이 점수 중 적어도 두 개 이상을 산출할 수 있다. 최적 경로 결정부(260)는 두 개 이상의 산출된 점수에 기반하여 최종 경로를 결정할 수 있다. 이때, 위험도, 곡률, 길이 각각에 대해 상이한 가중치가 부여될 수 있다.

도 15는 본 발명의 일 실시 예에 따른 유턴 전력 반영 여부에 따른 경로 생성을 비교하기 위한 도면이다.

도 15를 참조하면, 유턴 전략이 반영되지 않은 전체 주행 가능 영역에서 딥러닝 기반으로 경로 선택 시 예상 외의 의도치 않은 경로로 주행할 수 있다.

이 경우 전략을 확인할 수 없으면, 현재 주행 경로가 정상 경로인지 비정상 경로인지 확인할 수 없는 문제점이 있다.

또한 위험도 판단 시 주행 전략에 따라 다른 판단 기준을 가질 수 있기에 경로 생성 이전에 주행 전략이 결정될 필요가 있다.

일반적으로 경로 자체를 생성하는 로드보다 생성된 경로가 주변 상황에 적합한지 검증하는 로드가 매우 크므로, 경로 선별 시 주행 전략에 의한 필터링이 되지 않으면, 전체 가능 경로들을 후보로 고려해야 하며, 그에 따라 경로 검증 시 연산량이 기하급수적으로 커질 수 있다.

주행 전략에 의한 필터링이 반드시 공간적으로 경로들의 후보를 제한하지는 않고, 가능한 경로들의 딥러닝 해석(분류)을 통해 가장 유사한 주행 전략을 기준으로 필터링하기 때문에 공간이 아닌, 경로의 의미에 의한 필터링이 수행되는 장점이 있다.

도 16은 본 발명의 일 실시 예에 따른 양보 차량 존재 시 경로 생성 방법을 설명하기 위한 도면이다.

유턴 경로 생성 시, 만약 전략 결정 없이 가능한 경로들을 모두 선정하여 점수 기반으로만 최종 유턴 경로를 선택하는 경우, 전방 양보 차량을 거쳐가는 경로(1620)보다는 크게 돌아서 가는 비효율적인 경로(1610)가 선택될 수 있다.

도면 번호 1630에 도시된 바와 같이, 주변 상황의 딥러닝 해석을 통해 도출된 유턴 전략에 기반하여 초기 생성된 다중 경로들 중 해당 전략과 일치하는 경로들은 남겨지고 나머지 다중 경로들은 배제된다.

본 발명은 유턴 전략에 의한 필터링이 반드시 공간적 상황만을 고려하여 후보 경로들을 제한하지는 않는다.

즉, 본 발명은 가능한 경로들의 딥러닝 해석을 통해 미리 설정된 유턴 전략에 기반하여 필터링이 수행되기 때문에 공간 분석이 아닌, 의미 분석에 의한 필터링을 수행할 수 있는 장점이 있다.

또한, 유턴 전략이 반영된 후보 경로들은 도면 번호 1640에 도시된 바와 같이, 위험도, 곡률, 길이 기반으로 각 후보 경로 별 점수가 산출되며, 이후, 도면 번호 1650에 도시된 바와 같이, 후보 경로 간 산출된 점수 비교를 통해 주행 가능한 최선의 경로가 선택될 수 있다.

본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리 및/또는 스토리지)에 상주할 수도 있다.

예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

자율주행차량 유턴 경로 생성 방법에 있어서,
주행 가능 영역을 계산하는 단계;
상기 주행 가능 영역 내 주행 가능한 다중 경로를 생성하는 단계; 및
딥러닝 기반으로 상기 다중 경로에 대한 주행 전략 경로 필터링을 수행하는 단계; 및
상기 유턴 전력 경로 필터링된 후보 경로에서 최종 경로를 결정하는 단계
를 포함하는 자율주행차량 유턴 경로 생성 방법.
제1항에 있어서,
상기 주행 가능 영역은 자차 주변의 오브젝트 정보, 도로 정보 및 구조물 정보 중 적어도 하나에 기반하여 계산되는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 방법.
제2항에 있어서,
상기 주행 전략 경로 필터링을 수행하는 단계는,
복수의 주변 기기로부터 수집된 입력 정보들을 딥러닝 분류 기법으로 분류하는 단계;
상기 분류된 입력 정보에 기반한 신경망 학습을 통해 가장 적합한 유턴 전략을 선택하는 단계; 및
상기 선택된 유턴 전력에 부합되지 않는 경로를 상기 후보 경로에서 제외시키는 단계
를 포함하는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 방법.
제3항에 있어서,
상기 분류된 입력 정보에 기반한 신경망 학습을 통해 가장 적합한 유턴 전력을 선택하는 단계는,
미리 생성된 복수의 유턴 전력 리스트를 획득하는 단계;
상기 다중 경로에 대한 상기 신경망 학습을 통해 상기 유턴 전략 리스트에 포함된 유턴 전략 별 유사도 확률을 산출하는 단계; 및
상기 유턴 전략 별 산출된 상기 유사도 확률에 기반하여 가장 적합한 유턴 전략을 선택하는 단계
를 포함하는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 방법.
제4항에 있어서,
상기 유턴 전략 리스트에 포함된 유턴 전력에 매핑되지 않는 다중 경로는 필터링되는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 방법.
제5항에 있어서,
상기 신경망은 CNN(Convolution Neural Networks), RNN(Recurrent Neural Network), DNN(Deep Neural Networks), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Networks), LSTM(Long Short-Term Memory), GAN(Gamma Neural Network), Softmax 모델 중 적어도 하나의 딥러닝 구조를 가지는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 방법.
제1항에 있어서,
상기 최종 경로를 결정하는 단계는,
위험도, 곡률 및 거리 중 적어도 하나에 대한 상기 후보 경로 별 평가 점수를 산출하는 단계; 및
상기 후보 경로 별 산출된 상기 평가 점수에 기반하여 상기 최종 경로를 결정하는 단계
를 포함하고, 상기 자차의 주행 상황에 따라 결정된 상기 최종 경로는 데이터베이스에 기록된 후 상기 딥러닝에 이용되는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 방법.
제2항에 있어서,
상기 오브젝트는 정적 오브젝트 및 동적 오브젝트를 포함하되,
상기 정적 오브젝트는 상기 주행 가능 영역 계산에 사용되고, 상기 동적 오브젝트는 상기 자차 주행 반대 차선에서 접근하는 타차의 위험도 분석에 사용되는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 방법.
제8항에 있어서,
상기 주행 가능 영역을 계산하는 단계,
상기 도로 정보에 기반하여 제1 주행 가능 영역을 산출하는 단계;
상기 정적 오브젝트에 기반하여 제2 주행 가능 영역을 산출하는 단계; 및
상기 제1 주행 가능 영역과 상기 제2 주행 가능 영역의 중첩 영역을 최종 주행 가능 영역으로 결정하는 단계
를 포함하는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 방법.
제1항에 있어서,
상기 딥러닝을 위한 트레이닝 모델을 구축하는 단계를 더 포함하고,
상기 트레이닝 모델은,
시뮬레이션 기반 딥러닝 학습을 통해 초기 학습 모델을 구축하는 단계;
클라우드 서버 기반의 딥러닝 학습을 통해 빅데이터를 구축하는 단계; 및
개인 성향 기반의 딥러닝 학습을 통해 로컬 데이터베이스를 구축하는 단계
를 통해 구축되는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 방법.
융합 정보를 생성하는 융합부;
상기 융합 정보에 기반하여 주행 가능 영역을 계산하는 영역계산부;
상기 주행 가능 영역 내 주행 가능한 다중 경로를 생성하는 경로생성부; 및
딥러닝 기반으로 상기 다중 경로에 대한 주행 전략 경로 필터링을 수행하는 학습부; 및
상기 유턴 전력 경로 필터링된 후보 경로에서 최종 경로를 결정하는 제어부
를 포함하는 자율주행차량 유턴 경로 생성 장치.
제11항에 있어서,
상기 융합부는,
자차 주변의 오브젝트 정보를 생성하는 객체융합모듈;
상기 자차 주변의 도로 정보를 생성하는 도로정보융합모듈; 및
상기 도로 정보 생성에 필요한 글로벌 좌표 정보를 생성하는 위치정보융합모듈
을 포함하는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 장치.
제12항에 있어서,
상기 학습부는 복수의 주변 기기로부터 수집된 입력 정보들을 딥러닝 분류 기법으로 분류하고, 상기 분류된 입력 정보에 기반한 신경망 학습을 통해 가장 적합한 유턴 전략을 선택한 후 상기 선택된 유턴 전력에 부합되지 않는 경로를 상기 후보 경로에서 제외시키는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 장치.
제13항에 있어서,
복수의 유턴 전략 리스트를 생성하는 전략 생성부를 더 포함하고,
상기 학습부는 미리 생성된 복수의 유턴 전력 리스트를 상기 전략 생성부로부터 획득하고, 상기 다중 경로에 대한 상기 신경망 학습을 통해 상기 유턴 전략 리스트에 포함된 유턴 전략 별 유사도 확률을 산출하고, 상기 유턴 전략 별 산출된 상기 유사도 확률에 기반하여 가장 적합한 유턴 전략을 선택하는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 장치.
제14항에 있어서,
상기 유턴 전략 리스트에 포함된 유턴 전력에 매핑되지 않는 다중 경로는 필터링되는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 장치.
제15항에 있어서,
상기 신경망은 CNN(Convolution Neural Networks), RNN(Recurrent Neural Network), DNN(Deep Neural Networks), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Networks), LSTM(Long Short-Term Memory), GAN(Gamma Neural Network), Softmax 모델 중 적어도 하나의 딥러닝 구조를 가지는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 장치.
제11항에 있어서,
상기 제어부는 위험도, 곡률 및 거리 중 적어도 하나에 대한 상기 후보 경로 별 평가 점수를 산출하고, 상기 후보 경로 별 산출된 상기 평가 점수에 기반하여 상기 최종 경로를 결정하되, 상기 자차의 주행 상황에 따라 결정된 상기 최종 경로는 데이터베이스에 기록된 후 상기 딥러닝에 이용되는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 장치.
제12항에 있어서,
상기 오브젝트 정보는 정적 오브젝트 정보 및 동적 오브젝트 정보를 포함하되,
상기 정적 오브젝트 정보는 상기 주행 가능 영역 계산에 사용되고, 상기 동적 오브젝트는 상기 자차 주행 반대 차선에서 접근하는 타차의 위험도 분석에 사용되는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 장치.
제18항에 있어서,
상기 영역계산부는 상기 도로 정보에 기반하여 제1 주행 가능 영역을 산출하고, 상기 정적 오브젝트에 기반하여 제2 주행 가능 영역을 산출하고, 상기 제1 주행 가능 영역과 상기 제2 주행 가능 영역의 중첩 영역을 최종 주행 가능 영역으로 결정하는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 장치.
제11항에 있어서,
상기 딥러닝을 위해 트레이닝 모델이 이용되고,
상기 트레이닝 모델은,
시뮬레이션 기반 딥러닝 학습을 통해 초기 학습 모델을 구축하는 수단;
클라우드 서버 기반의 딥러닝 학습을 통해 빅데이터를 구축하는 수단; 및
개인 성향 기반의 딥러닝 학습을 통해 로컬 데이터베이스를 구축하는 수단
을 통해 생성되는 것을 특징으로 하는 자율주행차량 유턴 경로 생성 장치.