[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20240087146A - 경로 안내와 연동된 자율주행 소프트웨어의 검색과 학습에 의한 자율주행 제어 방법 및 장치 - Google Patents

경로 안내와 연동된 자율주행 소프트웨어의 검색과 학습에 의한 자율주행 제어 방법 및 장치 Download PDF

Info

Publication number
KR20240087146A
KR20240087146A KR1020220172560A KR20220172560A KR20240087146A KR 20240087146 A KR20240087146 A KR 20240087146A KR 1020220172560 A KR1020220172560 A KR 1020220172560A KR 20220172560 A KR20220172560 A KR 20220172560A KR 20240087146 A KR20240087146 A KR 20240087146A
Authority
KR
South Korea
Prior art keywords
information
driving
route
data
software
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020220172560A
Other languages
English (en)
Inventor
홍승환
Original Assignee
주식회사 카카오모빌리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카카오모빌리티 filed Critical 주식회사 카카오모빌리티
Priority to KR1020220172560A priority Critical patent/KR20240087146A/ko
Priority to JP2022203688A priority patent/JP7483846B1/ja
Priority to US18/084,946 priority patent/US20240192007A1/en
Priority to EP22215339.7A priority patent/EP4386323A1/en
Publication of KR20240087146A publication Critical patent/KR20240087146A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

경로 안내와 연동된 자율주행 소프트웨어의 검색 및 학습에 의한 자율주행 제어 방법 및 장치이 개시된다.
상기 방법은, 이동체의 경로 요청 및 상기 경로 요청에 따른 연관 정보에 기초하여 경로 정보를 생성하는 단계; 상기 경로 정보 및 상기 연관 정보에 기초하여, 경로 및 운행 제어를 위한 자율주행 인지, 판단 및 제어와 연관되는 주행 데이터 및 주행 소프트웨어를 포함하는 주행 정보를 검색하여 선택하는 단계; 상기 경로 요청, 상기 연관 정보 및 상기 주행 데이터를 이용하여 상기 주행 소프트웨어를 학습하는 단계; 및 상기 주행 정보를 상기 이동체에 배포하고, 상기 주행 정보에 기반하여 상기 이동체의 주행 제어를 실행하는 단계를 포함한다.

Description

경로 안내와 연동된 자율주행 소프트웨어의 검색과 학습에 의한 자율주행 제어 방법 및 장치 {METHOD AND SYSTEM FOR CONTROLLING AUTONOMOUS DRIVING BY SEARCH AND TRAIN OF AUTONOMOUS DRIVING SOFTWARE LINKED WITH ROUTE GUIDANCE}
본 개시는 경로 안내와 연동된 자율주행 소프트웨어의 검색과 학습에 의한 자율주행 제어 방법 및 장치에 대한 것이며, 보다 구체적으로는 자율주행에 적용되는 방대하고 복잡한 데이터 및 소프트웨어를 경로 제어와 효율적으로 연동하도록 처리하는 경로 안내와 연동된 자율주행 소프트웨어 검색과 학습에 의한 자율주행 제어 방법 및 장치에 대한 것이다.
자율주행 시스템들이 다양한 모빌리티(mobility) 분야에서 개발되고 있으며, 상용화를 모색하고 있다. 모빌리티는 예컨대, 차량, 로봇, 드론, 선박 등과 같이 사람 및 물건을 운반하는 이동체 기반의 서비스 일 수 있다.
자율주행 시스템들은 다양한 테스트를 통해, 인지, 판단, 제어를 수행하는 소프트웨어 및 자율주행에 활용되는 데이터 등을 구축할 수 있다. 상기 데이터는 예컨대 정밀지도, 학습용 데이터 등일 수 있다. 상기 시스템에서의 소프트웨어 및 데이터는 자율주행 컴퓨팅 디바이스 내에 설치하여 서비스를 수행하고 있다.
또한, 최근에는 무선 소프트웨어 업데이트 기술들이 개발됨에 따라, 서버는 소프트웨어를 업데이트하고, 무선 통신 기술을 이용하여 이동체로 전송할 수 있다. 이동체는 업데이트된 소프트웨어를 수신하여, 소프트웨어에 의한 서비스가 네비게이션, 운전 지원 시스템(ADAS), 차량용 인포테인먼트(IVI, In-Vehicle Infotainment) 등으로 제공되고 있다.
자율주행 시스템도 무선 데이터 공유 및 업데이트 기술을 결합시키기 위한 다양한 연구가 시도되고 있다. 기존 차량의 서비스에 적용되는 시스템과 다르게. 자율주행 시스템에 탑재되는 소프트웨어와 데이터들은 높은 복잡도를 가짐과 아울러서, 주행 상황과 환경이 정형화되지 않아, 적정한 소프트웨어와 데이터를 제공함이 어렵다는 한계가 있다.
본 개시의 기술적 과제는 자율주행에 적용되는 방대하고 복잡한 데이터 및 소프트웨어를 경로 제어와 효율적으로 연동하도록 처리하는 경로 안내와 연동된 자율주행 소프트웨어의 검색과 학습에 의한 자율주행 제어 방법 및 장치를 제공하는데 그 목적이 있다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 경로 안내와 연동된 자율주행 소프트웨어의 검색 및 학습에 의한 자율주행 제어 방법이 제공된다. 상기 방법은, 이동체의 경로 요청 및 상기 경로 요청에 따른 연관 정보에 기초하여 경로 정보를 생성하는 단계; 상기 경로 정보 및 상기 연관 정보에 기초하여, 경로 및 운행 제어를 위한 자율주행 인지, 판단 및 제어와 연관되는 주행 데이터 및 주행 소프트웨어를 포함하는 주행 정보를 검색하여 선택하는 단계; 상기 경로 요청, 상기 연관 정보 및 상기 주행 데이터를 이용하여 상기 주행 소프트웨어를 학습하는 단계; 및 상기 주행 정보를 상기 이동체에 배포하고, 상기 주행 정보에 기반하여 상기 이동체의 주행 제어를 실행하는 단계를 포함한다.
본 개시의 다른 양상에 따르면, 경로 안내와 연동된 자율주행 소프트웨어의 검색 및 학습에 의한 자율주행 제어 방법을 구현하는 장치가 제공된다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 자율주행에 적용되는 방대하고 복잡한 데이터 및 소프트웨어를 경로 제어와 효율적으로 연동하도록 처리하는 경로 안내와 연동된 자율주행 소프트웨어의 검색 및 학습에 의한 자율주행 제어 방법 및 장치를 제공할 수 있다.
본 개시에 따르면, 자율주행 이동체가 주행 정보, 즉 자율주행에 필요한 인지, 판단, 제어를 위한 소프트웨어 및 주행 데이터를 갱신하는데 소요되는 시간, 컴퓨팅 자원, 비용을 최소화할 수 있다.
본 개시에 따르면, 자율주행 이동체에 주행 정보를 수집하고 제공할 때, 경로 정보와 함께, 다양한 데이터를 포함하는 주행 요청 정보, 예컨대 사용자 정보, 경로 상의 인프라 정보, 교통 정보, 환경 정보 및 이동체의 센서로부터 취득한 정보에 따라 주행 시나리오를 생성할 수 있다. 주행 시나리오에 대응하는 기존 데이터와 소프트웨어를 검색하여 없을 경우, 주행 시나리오에 부합하는 일련의 처리, 예컨대 가상화(Simulation), 데이터 변환, 데이터 증식, 모델 생성이 이동체가 획득한 데이터들을 기초로 수행되어, 이를 기초로 모델 학습을 위한 주행 데이터 및 주행 소프트웨어를 제공할 수 있다. 이에 따라, 자율주행 이동체의 성능 및 안전성이 향상될 수 있다.
본 개시에 따르면, 자율주행 데이터 및 자율주행 주행 소프트웨어에 대한 처리를 자동화하고 경량화할 수 있다. 상기 처리는 시뮬레이션, 데이터 변환, 데이터 증식 및 모델 생성을 포함할 수 있다. 상기 처리를 위해, 이동체로부터 수집된 원천 데이터(raw data)의 가공 과정이 자동화될 수 있다. 가공 과정은 원천 데이터에 대한 센서 융합(sensor fusion), 라벨링(labeling), 어노테이션 (annotation), 메타 데이터(metadata) 입력 작업, 변환(transformation), 증식(augmentation) 등을 포함할 수 있다. 또한, 주행 정보가 후보 경로 정보에 기반하여 검색되어 패키징되어, 이동체에 제공될 수 있다.
본 개시에서 상기 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 이동체가 네트워크를 통해 다른 장치와 통신을 수행하는 것을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 이동체에 구현되는 시스템 구성도이다.
도 3은 본 개시의 일 실시예에 따른 이동체 및 서버의 프로세서의 구성도이다.
도 4는 본 개시의 일 실시예에 따른 경로 안내와 연동된 자율주행 제어 방법에 관한 순서도이다.
도 5는 이동체와 서버 간에 구현되는 본 개시의 다른 실시예에 따른 자율주행 제어 방법에 관한 순서도이다.
도 6은 유사 주행 정보의 검색 과정에 관한 순서도이다.
도 7은 본 개시의 또 다른 실시예에서 경유지 정보에 기반한 자율주행 제어 방법에 관한 순서도이다.
도 8은 본 개시의 또 다른 실시예에서 제약 정보에 기반한 자율주행 제어 방법에 관한 순서도이다.
도 9은 이종의 지도 데이터들에 기반하는 경로 정보의 생성 과정에 관한 순서도이다.
도 10 내지 도 14는 도 9에서 이종의 지도 데이터들에 기반하여 연결 노드를 생성하거나 연결 노드에 의한 연결 관계를 정의하는 것을 예시한 도면들이다.
도 15는 다차원 데이터에 기반하여 경로 별 성능을 추정하는 것을 예시한 도면이다.
도 16은 이동체 및 외부로부터 획득된 수집 데이터에 기초하여 주행 시나리오를 분석하는 과정의 개념도이다.
도 17은 주행 시나리오에 기초하여 주행 정보를 검색하는 과정의 개념도이다.
도 18은 수집 데이터를 획득하는 센서 및 주행 정보 간의 최적화된 조합을 결정하는 과정에 관한 순서도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계 뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나(at least one of A, B, C or combination thereof)"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들을 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
도 1은 이동체가 네트워크를 통해 다른 장치와 통신을 수행하는 것을 나타낸 도면이다.
도 1을 참조하면, 이동체(100)는 이동할 수 있는 디바이스를 지칭할 수 있다. 이동체는 예를 들어, 차량, 개인 모빌리티, 이동 오피스 또는 이동 호텔일 수 있다. 차량은 4륜 자동차, 예컨대 승용차, SUV, 소형 트럭일 수 있으며, 4륜 초과의 자동차, 예컨대 대형 트럭, 컨테이너 운반차량, 중장비 차량 등일 수 있다. 이동체(100)는 지상 이동체 외에도 항공 또는 해상 이동체일 수 있으며, 예컨대, 드론, PAV(Personal Aerial Vehicle) 또는 선박일 수 있다. 이동체(100)는 유인 운행 또는 자율주행(반자율 및 완전자율 주행 포함)으로 구현될 수 있으며, 본 개시에서는, 이동체(100)가 자율주행으로 구현되는 디바이스를 위주로 서술하기로 한다.
이동체(100)는 다른 이동체(204) 또는 다른 디바이스와 통신을 수행할 수 있다. 다른 디바이스는 예를 들어, 자율주행을 지원하는 서버(200), ITS(Intelligent Transportation System)로부터 정보를 수신하기 위한 ITS 디바이스(202), 다양한 유형의 사용자 디바이스(206) 등을 포함할 수 있다. 서버(200)는 이동체(100)로부터 전송되는 요청 및 데이터에 응답하여 주행 정보, 경로 제어를 위해 이용되는 다양한 정보를 이동체(100)에 송신할 수 있다. 주행 정보는 이동체(100)의 자율 주행을 위해 사용되는 정보일 수 있다. 이며, 구체적으로 자율주행 인지, 판단, 제어와 연관되는 주행 데이터와 주행 소프트웨어 모듈을 주행 데이터주행 소프트웨어포함할 수 있다. 이하에서는, 주행 소프트웨어 모듈은 기재 편의상 주행 소프트웨어와 혼용될 수 있다. 이의 상세한 설명은 후술하기로 한다. ITS 디바이스(202)는 예를 들어, 노변 기지국(Road side unit)일 수 있다. ITS 디바이스(202)는 이동체(100)의 요청에 따라, 경로의 운행 제어에 영향을 미치는 연관 정보를 이동체(100)에 전송할 수 있다.
이동체(100)는 셀룰라(Cellular) 통신, WAVE(Wireless Access in Vehicular Environment) 통신, DSRC(Dedicated Short Range Communication) 또는 그 밖에 다른 통신 방식에 기초하여 다른 이동체 또는 다른 디바이스와 통신을 수행할 수 있다. 예컨대, 셀룰러 통신망으로서 LTE, 5G와 같은 통신망, WiFi 통신망, WAVE 통신망 등이 이용될 수 있다. 또한, DSRC와 같이 이동체(100)에서 사용되는 근거리 통신망 등이 사용될 수 있으며, 상술한 실시예로 한정되지 않는다.
서버(200)는 이동체(100)와 통신하면서, 이동체(100)의 경로 및 운행 제어를 관리하기 위한 다양한 주행 정보를 관리할 수 있다. 이동체(100)가 경로 및 후술할 연관 정보에 기초하여 주행 정보를 생성하거나 선택하지 못하는 경우, 서버(200)는 경로 및 연관 정보에 부합하는 주행 정보를 검색하고, 이동체(100)에 필요한 주행 정보를 제공할 수 있다. 서버(200)는 경로 및 연관 정보에 부합되는 주행 정보를 보유하지 않을 경우, 학습 과정을 통해 주행 정보를 생성하여 제공할 수 있다.
도 2는 본 개시의 일 실시예에 따른 이동체에 구현되는 시스템 구성도이다.
이동체(100)는 센서부(102), 통신부(104), 연관 정보 관리부(106), 경로 제공부(108), 컴포넌트부(110), 구동부(112), 입출력 인터페이스(114), 메모리(116) 및 프로세서(118)를 포함할 수 있다. 본 개시에서 이동체(100)는 다양한 유형의 모빌리티 중 자율주행 차량을 예로 들어 설명한다.
센서부(102)는 다중 센서를 구비할 수 있다. 센서부(102)는 예컨대, 측위 센서(102a), 영상 센서(102b) 및 다양한 유형의 센서를 구비할 수 있다.
측위 센서(102a)는 예컨대, 이동체(100)의 위치, 방향 정보를 수집할 수 있는 GNSS, IMU 센서, 항법 센서, GPS 센서, INS 센서, UWB 센서, 지자기계 등을 포함하여, 이동체(100)의 위치 데이터를 취득할 수 있다. 영상 센서(102b)는 이동체(100) 주변의 환경, 객체를 영상 데이터로 취득할 수 있다. 라이다 센서(102c)는 이동체(100) 주변에 레이저를 주사하여 주변 환경 및 객체에 대한 포인트 클라우드(pointcloud), 즉 라이다 데이터를 획득할 수 있다. 센서부(102)는 주변 환경을 인식하는 레이더 센서를 추가로 포함할 수 있다. 도면에 도시되어 있지 않으나, 센서부(102)는 온도 센서, 기압 센서 등과 같은 기상 센서를 구비할 수 있다. 이에 더하여, 센서부(102)는 이동체(100)의 운행 중에 작동되는 구동, 조향, 제동 등의 발생 및 동작 정도를 검출하는 다양한 센서가 포함될 수 있다.
통신부(104)는 서버(200), ITS 디바이스(202), 다른 이동체와 통신하여, 이동체(100)의 다중 센서로부터 획득되지 않거나, 이동체(100)에서 관리되지 않는 연관 정보를 수신할 수 있다. 서버(200) 또는 외부 디바이스로부터 획득되는 연관 정보는 경유지 정보, 이벤트 정보, 도로 정보, 지도 정보, 공간 정보, 다른 디바이스의 관측 정보 등일 수 있다.
연관 정보 관리부(106)는 경로 제공부(108)에 의해 생성된 경로에 따른 이동체(100)의 주행 제어에서 고려되는 연관 정보를 생성하여 메모리(116)를 통해 관리할 수 있다. 연관 정보는 관련 데이터의 수신에 따라 생성되어 지속적으로 유지되거나, 관련 데이터의 실시간 취득에 따라 가변될 수 있다.
또한, 연관 정보 관리부(106)는 이동체(100)에서 생성 또는 관리되지 않는 연관 정보를 외부 디바이스로부터 수신하여 관리할 수 있다. 외부 디바이스는 예컨대 서버(200), ITS 디바이스(202), 다른 이동체(204), 다른 사용자 디바이스(206) 등일 수 있다.
연관 정보는 예를 들어, 사용자가 입력하는 경로 요청 정보, 사용자 정보, 패턴 정보, 이동체 정보, 이동체 상태 정보를 포함할 수 있다. 또한, 연관 정보는 관측 정보, 지도 정보, 공간 정보, 이벤트 정보, 경유지 정보, 도로 정보, 제약 정보 등을 더 포함할 수 있다.
경로 요청 정보는 사용자가 입출력 인터페이스(114)를 통해 입력한 출발지 정보 및 목적지 정보일 수 있다. 출발지 정보는 예컨대, 현재 위치에 기초하여 자동으로 설정되거나, 사용자의 별도 입력에 의해 설정될 수 있다. 또한, 경로 요청 정보는 경유 지점 정보를 추가로 포함할 수 있다. 경유 지점 정보는 사용자의 입력 또는 이동체(100)의 설정에 의해 결정될 수 있다. 이동체(100)의 설정의 경우, 사용자가 경로 요청 정보와 동일 또는 유사한 경로로 주행한 이력에 기초하여, 사용자가 소정 빈도 이상으로 주차한 경유 지점이 경유 지점 정보로 설정될 수 있다. 상기 이력은 연관 정보 관리부(106)에서 관리되는 패턴 정보로부터 확인될 수 있다. 패턴 정보의 상세한 사항은 후술하기로 한다.
사용자 정보는 이동체(100)를 사용하는 탑승자의 개인 정보이며, 예컨대 사용자 식별 정보, 연령, 성별, 건강 상태 등을 포함할 수 있다. 사용자 정보는 사용자의 입력 또는 다른 디바이스와의 통신을 통해 획득될 수 있다. 다른 디바이스는 예컨대 이동체(100)에 탑승한 사용자의 개별 디바이스이며, 이동체(100)는 사용자 디바이스에 저장된 개인 정보를 수신할 있다.
패턴 정보는 이동체(100)의 경로에 따른 주행 제어에서 사용자가 소정 빈도로 제공받은 주행 제어 패턴 도는 사용자의 요청에 따라 상기 주행 제어에 반영된 주행 제어 패턴일 수 있다.
패턴 정보는 예를 들어, 과거 주행 경로와 이에 적용된 운행 제어와 관련된 이력 정보, 사용자의 이동체 운전 및 사용 패턴, 주행 정보에 기반하여 제공된 이동체 경로 및 운행 제어와 관련된 옵션의 선택 패턴, 특정 동승자의 탑승한 경우의 이동체 사용 패턴 등과 관련된 정보일 수 있다. 패턴 정보는 프로세서(118)가 사용자가 이동체(100)의 입출력 인터페이스(114)를 통해 선택한 옵션 유형을 분석하여 추정될 수 있다. 또한, 패턴 정보는 사용자 디바이스 또는 이동체(100)로부터 입력받은 특정 동승자가 탑승한 경우, 사용자가 이용하는 경로, 이동체의 조작 패턴을 포함하는 주행 패턴을 포함할 수 있다. 또한, 패턴 정보는 이벤트 정보, 기상 정보와 연관되어 사용자가 이용하는 운전 패턴, 경유 지점 정보, 주행한 경로를 포함할 수 있다. 이에 더하여, 패턴 정보는 소정값 이상의 에너지 소모가 요구되는 컴포넌트부(110)의 모듈과 관련된 사용 패턴을 포함할 수 있다. 예컨대, 경로에 따른 이동체(100)의 주행 중, 외기 온도 또는 이동체(100)의 실내 온도가 소정 값에 도달하면, 사용자가 많은 에너지 소모가 요구되는 히터 또는 에어컨을 동작시키는 특정 거동이 규칙적으로 발생되는 점이 인지될 수 있다. 프로세서(118)는 특정 조건에서의 공조 계통을 사용하는 사용자 거동을 사용 패턴으로 인지하여, 연관 정보 관리부(106)는 사용 패턴을 패턴 정보로 관리할 수 있다.
이동체 정보는 이동체(100)의 사양과 관련된 정보일 수 있다. 이동체 정보는 예컨대, 이동체(100)의 에너지원, 종류, 연식, 성능 등과 관련된 정보일 수 있다.
이동체 상태 정보는 이동체(100)의 컴포넌트부(110)의 상태와 관련된 정보일 수 있다. 컴포넌트부(110)는 에너지 계통, 공조 계통, 제동 계통, 구동 계통, 조명 계통, 편의 기능 계통 등을 포함할 수 있다. 에너지 계통과 관련된 상태 정보는 예컨대 에너지 잔량, 주행 가능 거리 등을 포함할 수 있다. 상술한 계통과 관련된 상태 정보는 예컨대 각 계통을 구성하는 모듈의 성능, 정상/비정상 상태 등을 포함할 수 있다. 또한, 이동체 상태 정보는 이동체(100)에 적재된 객체의 유형, 중량, 형태 등과 관련된 정보를 더 포함할 수 있다.
관측 정보는 이동체(100)의 관측 센서 또는 외부 디바이스로부터 획득된 이동체(100) 주변 환경과 관련된 데이터를 포함할 수 있다. 관측 센서는 예컨대, 영상 센서(102b), 라이다 센서(102c) 또는 레이다 센서 중 적어도 하나일 수 있다. 관측 정보는 이동체 주변의 객체와 관련된 위치, 종류, 모션, 형상 등에 관한 데이터로 구성될 수 있다. 객체는 정적 객체 혹은 동적 객체일 수 있다. 정적 객체는 고정 시설물과 같이 이동성을 수반하지 않는 객체일 수 있다. 동적 객체는 사람, 다른 이동체 같이 이동성이 있는 객체이며, 동적 객체는 예컨대 관측 센서로부터 획득된 데이터를 학습 모델을 통해 분석하여 결정될 수 있다. 이에 더하여, 객체는 준(quasi)정적 객체 또는 준동적 객체일 수 있다 준정적 객체는 예컨대 관측 센서로부터 획득된 데이터에 기초하여 동적 상태로 인식되나, 이동체(100)의 주행 제어에 영향을 미치지 않아 정적인 상태로 결정되는 객체일 수 있다. 준(quasi)동적 객체는 예를 들어, 실질적인 정적 상태로 인식되나, 이동체(100)의 주행 제어에 영향을 미쳐 동적인 상태로 결정되는 객체일 수 있다. 준정적 및 준동적 객체는 소정의 학습 모델을 통해 결정될 수 있다.
관측 정보는 각 센서의 타입 정보, 및 다양한 센서 간의 매칭과 융합을 위한 센서들 간의 기하 정보를 포함할 수 있다. 기하 정보는 이동체(100)의 주행 중에 취득된 센서 데이터 및 센서에 내재된 고유 정보에 기반하여 도출되는 내부 기하 정보 및 외부 기하 정보를 포함할 수 있다.
지도 정보는 이동체(100)의 메모리 및 서버(200)의 데이터베이스 중 적어도 하나에 저장되며, 연관 정보 관리부(106)가 요청에 의해, 경로 요청 정보에 따른 지도 정보를 획득할 수 있다. 연관 정보 관리부(106)는 주행 정보를 검색하거나 선정하기 위해, 획득된 지도 정보를 프로세서(118)에 제공할 수 있다. 도로, 도로 주변의 시설물, 차선 정보 등의 다양한 데이터가 지도 정보에 표현될 수 있다. 지도 정보는 동일한 지역에서 대해서 이종의 지도 데이터를 포함할 수 있다. 예컨대, 지도 정보는 도로 네트워크에 기반한 지도 및 차선 네트워크에 기반한 지도를 구비할 수 있다. 차선 네트워크 기반의 지도는 구체적으로 차선 단위 또는 cm 단위의 고정밀도로 구축될 수 있다.
공간 정보는 이동체(100)의 메모리 및 서버(200)의 데이터베이스 중 적어도 하나에 저장되며, 연관 정보 관리부(106)가 요청에 의해, 경로 요청 정보에 따른 공간 정보를 획득할 수 있다 공간 정보는 지도 정보와 연관된 3차원 공간 상에 시점 별로 구조화될 수 있다. 구체적으로, 공간 정보는 지도 상의 객체의 이력 정보를 시점 별로 구조화하여 저장할 수 있으며, 상기 객체와 관련된 다양한 정보를 메타 데이터로 기록할 수 있다. 소프트웨어는 예컨대 전역적 또는 지역적으로 사용되는 주행 소프트웨어를 포함할 수 있다. 또한, 이동체 경로 및 운행 제어에 사용된 소프트웨어, 관련 파라미터, 소프트웨어의 세부 모델이 최적화하면서 업데이트되는 경우, 공간 정보는 해당 지역에 적용된 소프트웨어, 파라미터, 세부 모델과 관련된 소프트웨어 관련 정보를 누적 저장할 수 있다.
이벤트 정보는 이동체(100)의 주변 혹은 예상 경로에서 발생된 다양한 상황 정보일 수 있다. 이벤트 정보는 예컨대, 교통 상황, 사고 상황, 공사 상황, 국지적 기상 상황과 관련된 정보일 수 있다. 이벤트 정보는 외부 디바이스로부터 획득될 수 있다.
경유지 정보는 경로 상에 존재하는 경유지와 관련된 정보를 포함할 수 있다. 일례로, 경유지 정보는 사용자 정보 및 이동체 상태 정보에 기초하여, 경로에서 선별된 경유지와 관련된 정보를 포함할 수 있다.
도로 정보는 주행 제어에 고려되는 경로 상의 도로와 관련된 정보일 수 있다. 예컨대, 도로 정보는 경로 상의 경사, 노면 상태, 곡률, 포장 상태 등을 포함할 수 있다.
제약 정보는 이동체 정보 및 경로에 따라 이동체(100)에 요구되는 규정과 관련된 정보일 수 있다. 예컨대, 제약 정보는 자율주행에서 소정 레벨 이상으로 사고 위험도를 갖는 경로와 해당 경로에서의 자율주행 제한과 관련된 정보, 이동체(100)의 안전 등급 및 인증에 따른 주행 제어의 제한 정보, 도로 상황 및 환경에 의해 요구되는 주행 제어의 제한 정보 등을 포함할 수 있다.
한편, 경로 제공부(108)는 프로세서(118)와의 협업을 통해, 사용자의 경로 요청 정보, 연관 정보의 적어도 일부에 기초하여 전역적 경로 정보를 생성할 수 있다. 또한, 현 주행 위치에서의 세부적인 경로 제어를 위해, 경로 제공부(108)는 프로세서(118)와의 협업을 통해, 실시간으로 수집되는 데이터 및 연관 정보의 적어도 일부에 기초하여 지역적 경로 정보를 생성할 수 있다. 이동체(100)의 자율 주행은 생성된 전역적 및 지역적 경로 정보에 기초하여 제어될 수 있다. 본 개시에서는 경로 제공부(108)가 프로세서(118)와 별도의 모듈로 예시되어 있으나, 다른 예로, 경로 제공부(108)는 프로세서(118)에 포함되어, 프로세서(118)가 경로 제공부(108)의 기능을 실행할 수 있다.
컴포넌트부(110)는 예컨대 에너지 계통, 공조 계통, 제동 계통, 구동 계통, 조명 계통, 편의 기능 계통을 포함할 수 있다. 에너지 계통은 예컨대 연료 또는 배터리와 같은 에너지원을 공급하는 모듈 및 에너지 관리 모듈을 포함할 수 있다. 편의 기능 계통은 예컨대, 시트, 인포테인먼트 등과 같이, 사용자에게 부가적으로 편의 기능을 제공하는 모듈을 포함할 수 있다. 센서부(102)는 컴포넌트부(110)의 각 계통의 상태를 인식하기 위한 다양한 종류의 센서를 구비할 수 있다.
구동부(112)는 프로세서(118)의 제어에 의해, 이동체(100)의 기계적 동작을 실행할 수 있다. 구동부(112)는 전륜 및 후륜에 동력을 전달하는 동력 계통, 제동 계통, 스티어링에 따른 이동체(100)의 방향을 전달하는 조향 계통 등일 수 있다.
입출력 인터페이스(114)는 유저 인터페이스로 기능할 수 있다. 입출력 인터페이스(114)는 프로세서(118)에 의해, 이동체(100)의 경로, 동작 상태, 제어 상태와 관련된 정보를 표시할 수 있다. 입출력 인터페이스(114)는 사용자 입력을 검지가능한 터치 스크린 또는 사용자의 음성을 인식하는 마이크로폰으로 구성되어, 프로세서(118)에 지시하는 사용자의 요청을 수신할 수 있다. 예컨대, 경로 요청 정보는 입출력 인터페이스(114)로 수신되어, 프로세서(118)는 경로를 설정함과 아울러서, 경로에 부합하는 주행 정보에 기초하여 이동체(100)를 주행시킬 수 있다.
메모리(116)는 연관 정보 및 주행 정보를 저장할 수 있다. 주행 정보는 주행 데이터 및 주행 소프트웨어를 포함할 수 있다. 서버(200)는 메모리(116)에 저장되지 않은 다량의 주행 정보를 저장하여 관리할 수 있다.
주행 정보는 연관 정보와 관련성을 가지며, 복수의 주행 데이터와 소프트웨어 중 적어도 하나를 선택하기 위해 이용되는 정보를 포함할 수 있다. 또한, 기존의 주행 소프트웨어가 경로에 따른 주행 제어에 적용되지 않는다고 결정되면, 주행 데이터는 기존의 주행 소프트웨어에 대한 학습, 갱신, 또는 수정을 처리하기 위해 사용되는 데이터일 수 있다. 예컨대, 새로운 주행 환경으로 인해, 상기 환경에 최고의 유사성을 갖는 주행 데이터는 상기 환경에 최고의 유사성을 갖는 주행 소프트웨어에 대한 상술의 처리를 위해 이용될 수 있다. 주행 데이터는 연관 정보와 관련성을 갖는 파라미터 및 해당 파라미터의 가중치를 포함할 수 있다.
예컨대, 연관 정보가 특정 연령 및 건강 상태를 갖는 사용자 정보, 특정 사용자의 패턴 정보 및 이벤트 정보를 갖는 경우, 주행 데이터는 상술의 정보와 관련되어 축적된 다양한 데이터를 포함할 수 있다. 구체적으로, 특정 연령 및 건강 상태를 갖는 다른 사용자가 선호하거나 빈번하게 사용하는 세부 경로, 속도, 주행 방식 등은 주행 데이터의 일례일 수 있다. 다른 예로, 특정 사용자의 패턴 정보의 경우, 주행 데이터는 패턴 정보와 관련되는 세부 경로, 주행 방식, 경유지의 다양한 정보 등을 포함할 수 있다. 또 다른 예로, 연관 정보가 이벤트 정보인 경우, 특정 제어 데이터는 이벤트 정보의 상황에 따른 회피 경로, 주행 방식과 관련된 데이터일 수 있다.
주행 소프트웨어는 이동체(100)의 경로 및 연관 정보에 기초하여, 최적 경로 및 운행 제어를 구현하는 학습 모델일 수 있다. 주행 소프트웨어는 다양한 경로 및 다수의 연관 정보에 부합하도록 복수로 마련될 수 있다. 최적으로 선택된 주행 소프트웨어는 프로세서(118)에 의해 실행되어, 경로 상의 주행 제어를 세부적으로 처리할 수 있다. 주행 제어는 자율주행을 위한 경로 결정 및 세부 운행 제어를 포함할 수 있다. 주행 제어는 예컨대, 경로 변경, 유지된 경로에서의 운행 제어 등일 수 있다.
프로세서(118)는 전술의 구성요소를 제어하며, 적용된 알고리즘에 따라 경로 및 운행 제어를 각 구성요소에 명령할 수 있다. 또한, 프로세서(118)는 연관 정보와 관련되는 주행 정보를 검색하고, 최적의 주행 정보를 생성하도록 주행 소프트웨어를 학습시킬 수 있다. 프로세서(118)는 최적의 주행 정보를 자신의 이동체(100)에 적용하도록 배포하고, 외부 디바이스로 배포할 수 있다.
도 3은 본 개시의 일 실시예에 따른 이동체 및 서버의 프로세서의 구성도이다. 본 개시에서는 이동체(100) 및 서버(200)의 프로세서들에 공통적으로 기능하는 모듈을 위주로 설명하기로 한다. 이동체(100)의 프로세서(100)는 도 3에 예시된 프로세서(300)와 실질적으로 동일하다.
프로세서(118)는 경로 요청 정보와 연관 정보에 기초하여 주행 데이터 및 주행 소프트웨어를 검색부(302), 경로 요청 정보와 연관 정보와 관련되는 주행 데이터를 이용하여 주행 소프트웨어에 대한 학습, 갱신 또는 수정하기 위한 처리를 실행하는 학습부(304), 주행 데이터와 주행 소프트웨어를 이동체(100)에 배포하는 배포부(306)를 포함할 수 있다. 프로세서(118)가 서버(200)에 내장된 경우, 배포부(306)는 이동체(100)와의 통신을 통해, 최적화된 주행 정보를 이동체(100)에 전송할 수 있다.
도 4는 본 개시의 일 실시예에 따른 경로 안내와 연동된 자율주행 제어 방법에 관한 순서도이다.
먼저, 이동체(100)의 사용자는 입출력 인터페이스(114)를 통해 경로를 요청하고, 프로세서(118)는 경로 입력 정보에 기초하여, 연관 정보 관리부(106)로부터 연관 정보를 취득할 수 있다(S105).
경로 요청에 따른 정보는 사용자의 입력 또는 이동체(100)의 설정에 의해 생성될 수 있다. 사용자에 의한 경로 요청 정보는 적어도 목적지 정보를 포함할 수 있다. 또한, 사용자에 의한 경로 요청 정보는 예컨대, 출발지 정보 및 경유 지점 정보를 추가로 포함할 수 있다. 이동체(100)의 설정에 의한 경우, 경로 제공부(108)는 연관 정보의 패턴 정보에 기반하여 사용자의 주행 목적, 시간, 과거의 경로 요청 정보를 확인함으로써, 경로 요청 정보를 생성할 수 있다.
사용자가 별도의 정보를 입력하지 않더라도, 경로 요청 정보는 사용자가 입력한 정보에 연관 정보에 기반하는 정보를 더 포함할 수 있다. 예컨대, 경로 제공부(108)는 연관 정보의 이동체 상태 정보, 사용자 정보로부터 확인된 경유 지점 정보를 경로 요청 정보에 추가할 수 있다. 이동체 상태 정보에 포함된 에너지 잔량이 부족하거나, 컴포넌트부(110)의 일부 모듈이 비정상 상태인 경우, 이동체(100)는 목적지까지 주행하지 못할 수 있다. 경로 제공부(108)는 상술한 예시에 따른 이동체 상태 정보에 기초하여, 에너지 공급소, 정비소를 경유 지점 정보로 포함할 수 있다. 다른 예시로, 탑승자 중 적어도 일부가 고령 또는 나쁜 건강 상태인 경우, 경로 제공부(108)는 상술한 예시에 따른 사용자 정보에 기초하여, 휴게소를 경유 지점 정보로 포함할 수 있다. 연관 정보의 경유지 정보가 경유 지점에서의 주차장 정보를 가진 경우, 경로 제공부(108)는 주차장 정보를 경유 지점 정보에 더 포함할 수 있다.
경로 요청 정보가 생성되면, 프로세서(118)는 경로 요청 정보와 관련된 연관 정보를 추출하여 경로 제공부(108)에 제공할 수 있다. 프로세서(118)는 경로 요청에 따른 목적지 및 탑승자와 관련된 패턴 정보, 사용자 정보, 이동에 상태 정보를 추출할 수 있다.
다음으로, 프로세서(118)는 경로 제공부(108)를 제어하여, 경로 요청 정보에 기초하여 전역적 경로 정보를 생성할 수 있다(S110).
경로 제공부(108)는 전역적 경로 정보를 생성하기 위한 연관 정보를 추가로 요청할 수 있다. 예컨대, 추가로 요청되는 연관 정보는 지도 정보, 이벤트 정보, 도로 정보, 제약 정보 등일 수 있다. 메모리(116)에 저장된 지도 정보는 도로 및 차선 단위 네트워크 지도들 중 적어도 하나일 수 있다. 예를 들어, 목적지까지의 예정 경로 상에 심한 정체 지역, 집중 호우 예보의 지역, 자율주행에 따른 사고 확률이 빈번한 지역 또는 공사 지역이 포함된 경우, 경로 제공부(108)는 지도 정보를 분석하여, 상술한 지역을 가급적 회피하도록 전역적 경로를 수립할 수 있다.
이어서, 프로세서(118)는 경로 제공부(108)를 제어하여, 주행하는 이동체(100)의 실시간 위치 및 경로 요청 정보에 기초하여, 실시간 위치에서 지역적 경로 정보를 생성할 수 있다(S115).
경로 제공부(108)는 지역적 경로 정보를 생성하기 위한 연관 정보를 추가로 요청할 수 있다. 예컨대, 추가로 요청되는 연관 정보는 관측 정보, 해당 위치의 공간 정보, 해당 위치의 지도 정보 등일 수 있다.
경로 제공부(108)는 관측 센서로부터 획득된 주변 환경 및 객체를 공간 정보와 비교하여, 정적 및 동적 객체를 식별하고, 식별된 객체 및 지도 정보에 기초하여 지역적 경로를 수립할 수 있다.
다음으로, 프로세서(118)는 검색부(302)를 이용하여, 전역적 및 지역적 경로 정보, 연관 정보에 기초하여 주행 정보를 검색할 수 있다(S120).
프로세서(118)는 경로 정보 및 연관 정보에 기반하는 적어도 하나의 주행 시나리오를 생성할 수 있다. 주행 시나리오는 예컨대, 상술한 정보로부터 추출되는 메타 데이터에 기초하여 생성되며, 주행 환경, 이동체(100)의 상태, 교통 상황 등을 정의할 수 있다. 이의 상세한 설명은 후술하기로 한다.
프로세서(118)는 검색을 위해, 주행 시나리오 및 연관 정보로부터 메타 데이터를 획득하고, 획득된 메타 데이터에 기초하여 주행 데이터 및 적어도 하나의 주행 소프트웨어를 검색할 수 있다.
계속해서, 프로세서(118)는 학습부(304)를 이용하여, 주행 정보를 최적화할 수 있다(S125).
예를 들어, 검색된 주행 데이터는 분석, 주행 소프트웨어의 학습 및 현재 주행 상황에 부합하도록 최적화할 수 있다.
다음으로, 프로세서(118)는 학습부(304)에 의해, 주행 데이터에 기반하여 주행 소프트웨어를 학습시킬 수 있다(S130).
주행 소프트웨어는 주변 환경을 인식하기 위한 알고리즘, 주행 판단과 계획을 설정하기 위한 알고리즘, 주변 환경 인식, 주행 판단, 주행 제어와 관련되는 설정값, 가중치를 포함할 수 있다. 주행 소프트웨어는 예컨대, 다차원 데이터를 수신하여 주변 환경을 인식하고, 경로 및 운행에 대한 판단 및 제어를 위한 주행 제어 결과값을 출력하는 다중 레이어로 구성되는 학습 모델일 수 있다.
이어서, 프로세서(118)는 학습부(304)에 의해, 경로 정보 및 주행 데이터에 따른 주행 소프트웨어에 대한 성능을 평가하여, 주행 소프트웨어의 성능이 양호한지를 결정할 수 있다(S135).
예를 들어, 학습된 주행 소프트웨어의 주행 제어 결과값에 따른 신뢰도가 임계값 이상인 것을 충족함으로써, 학습부(304)는 상기 소프트웨어의 성능이 양호한 것으로 결정될 수 있다. 주행 소프트웨어가 복수인 경우, 학습부(304)는 임계값 이상의 주행 소프트웨어들 중 최고의 신뢰도를 갖는 소프트웨어가 양호한 성능을 갖는 것으로 결정할 수 있다.
상기 성능이 양호하다면, 프로세서(118)는 주행 데이터 및 주행 소프트웨어를 포함하는 주행 정보를 이동체(100) 및 서버(200)에 배포할 수 있다(S140).
이어서, 프로세서(118)는 배포된 주행 정보에 기반하여, 경로 정보에 따른 주행을 실행하도록, 이동체(100)를 제어할 수 있다(S145).
프로세서(118)는 이동체(100)가 주행하는 동안에 실제 적용된 주행 제어에 기초하여 주행 소프트웨어를 갱신시키고, 갱신된 주행 소프트웨어는 경로 및 연관 정보와 관련되어 관리될 수 있다.
상기 성능이 양호하지 않다면, 프로세서(118)는 경로 제공부(108)를 제어하여, 경로 정보를 재설정할지 여부를 결정할 수 있다(S150).
경로 정보의 재설정은 예컨대, 전역적 경로 정보에 기반한 평가 결과값이 기준값 미만인지 여부로 결정될 수 있다. 예를 들어, 사용자의 패턴 정보와 유사한 경향을 갖지 않거나, 이동체 상태 정보 또는 사용자 정보로 추정된 경유지보다 과도한 경유 지점 정보를 포함한다면, 전역적 경로 정보에 대한 평가 결과값은 기준값에 도달하지 않을 수 있다. 상술한 예시에 의하면, 경로 제공부(108)는 전역적 경로를 재설정하는 것을 결정할 수 있다.
경로 정보의 재설정을 결정하면, 프로세서(118)는 경로 제공부(108)를 제어하여, 경로 요청 정보에 기초하여 전역적 경로 정보를 재설정하고, S115 단계 이후의 과정을 재차 진행할 수 있다.
경로 정보의 재설정을 결정하지 않으면, 경로 제공부(108)를 제어하여, 주행하는 이동체(100)의 실시간 위치 및 경로 요청 정보에 기초하여, 실시간 위치에서 지역적 경로 정보를 재생성할 수 있다. 프로세서(118)는 지역적 경로 정보의 재성성 후, S120 단계 이후의 과정을 진행할 수 있다.
예컨대, 전역적 경로 정보에 기반한 평가 결과값이 기준값 이상이면, 경로 제공부(108)는 전역적 경로 정보를 유지하고, 이동체가 위치하는 국소적인 지점에서 지역적 경로 정보를 재성성할 수 있다.
도 5는 이동체와 서버 간에 구현되는 본 개시의 다른 실시예에 따른 자율주행 제어 방법에 관한 순서도이다. 본 개시는 주행 정보가 이동체(100)에 존재하지 않는 경우, 서버(200)로부터 획득하는 것을 예시하고 있다. 아울러, 서버(200)는 도 3에 예시된 프로세서(300)를 이용하여 이하의 과정을 처리할 수 있다.
먼저, 이동체(100)의 프로세서(118)는 도 4의 S105~S115 단계에서와 같이, 경로 제공부(108)를 이용하여, 전역적 및 지역적 경로 정보를 생성할 수 있다(S205).
다음으로, 프로세서(118)는 검색부(302)를 이용하여, 전역적 및 지역적 경로 정보, 연관 정보에 기초하여, 메모리(116)가 주행 정보를 보유하는지 여부를 연관 정보 관리부에 문의할 수 있다(S210).
문의 결과, 주행 정보가 이동체(100)에 보유된 경우, 프로세서(118)는 도 4의 S120~S130 단계를 수행하고, S135 단계와 같이, 학습된 소프트웨어의 성능이 양호한지 여부를 결정할 수 있다(S215). 성능이 양호한다면, 프로세서(118)는 도 4의 S135 및 S140 단계와 마찬가지로, 주행 정보를 배포하고, 주행 정보에 기반하여 주행하도록 이동체(100)를 제어할 수 있다(S220). 성능이 양호하지 않다면, 프로세서(118)는 도 4와 유사하게, S105~S130 단계를 재차 수행할 수 있다.
문의 결과, 주행 정보가 이동체(100)에 보유되지 않은 경우, 이동체(100)는 서버(200)에 주행 정보의 검색을 요청하고, 서버(200)는 주행 정보를 검색할 수 있다(S225).
서버(200)는 검색을 위해, 이동체(100)로부터, 전역적 및 지역적 경로 정보, 상기 경로 정보와 관련된 연관 정보 및 이동체(100)가 인식한 주변 환경과 관련된 주행 데이터를 수신할 수 있다. 또한, 서버(200)는 ITS 디바이스(202) 및 다른 이동체로부터, 경로 정보와 관련된 연관 정보 및 주변 환경의 인식을 통한 주행 데이터를 수신할 수 있다. 외부 디바이스로부터 수신되는 연관 정보는 예컨대, 관측 정보, 이벤트 정보, 도로 정보, 경유지 정보, 지도 정보 및 공간 정보 등을 포함할 수 있다. 외부로부터 수신되는 상술의 정보는 업데이트되어 최신 버전의 정보일 수 있다.
이동체(100)가 새로운 경로, 지역 또는 환경에서 자율 주행으로 주행하는 경우, 이동체(100)가 보유하는 주행 정보는 적용되는 것이 적절하지 않을 수 있다. 서버(200)는 경로 정보, 연관 정보, 이동체(100)의 주행 데이터로부터 추출되는 검색 쿼리를 이용하여 주행 정보를 검색할 수 있다. 검색 쿼리는 예컨대, 이동체(100)의 상술한 정보로부터 도출된 메타 데이터에 기반하여 생성될 수 있다. 이에 더하여, 검색 쿼리는 이동체(100)의 상술한 정보에 기반하여 예측되는 주행 시나리오와 관련된 메타 데이터를 더 포함할 수 있다.
서버(200) 및 이동체(100)는 스키마들로 구성되며, 스키마를 구성하는 핵심 키워드 및 이에 의해 연결된 모델 등이 서로 상이하게 정의될 수 있다. 다른 자율주행 이동체 및 ITS 디바이스(202) 역시 상술한 바와 실질적으로 동일하다.
서버(200)에서 구현되는 검색 알고리즘은 서버(200)에 기 축적된 주행 정보, 즉 주행 데이터 및 주행 소프트웨어를 표현하는 키워드, 컨텍스트 등을 메타 데이터 상에 등록시킬 수 있다. 서버(200)가 주행 정보를 검색할 때, 메타 데이터에 따른 표현 방식이 동일한 상황에 대해, 이동체(100) 및 다른 디바이스(예컨대, 서버(200), ITS 디바이스(202), 다른 자율주행 이동체)마다 상이할 수 있다. 따라서, 서버(200)는 키워드와 컨텍스트에 대한 유사도를 분석하여, 주행 정보를 검색할 수 있다.
연관 정보를 생성하기 위해 수집된 원천 데이터의 경우, 수집된 데이터를 설명하는 메타 데이터가 경우에 따라 기록되지 않을 수 있다. 이에 따라, 대한 메타 데이터의 입력이 필요할 수 있다.
수집된 데이터의 메타 데이터는 특정 작업자에 의해 입력되거나, 수집 데이터 내 상태 정보를 입력하는 인공지능 인지 모델들을 사용함으로써, 기록될 수 있다.
예컨대, 원천 데이터는 관측 센서, 측위 센서, 보조 센서를 이용하여 수집되며, 수집된 데이터는 상기 인지 모델에 입력됨으로써, 메타 데이터가 분석될 수 있다. 보조 센서는 예를 들어, 기상센서, 기압계, 온도계 등일 수 있다. 수집 데이터 간의 동기화 (synchronization), 센서 융합(sensor fusion) 과정, 정위치 (geo-referencing) 과정들을 활용함으로써, 수집 데이터가 다중화되어 상기 인지 모델에 입력될 수 있다.
측위 센서 및 관측/보조 센서 간의 정합은 수집 데이터의 정위치 과정을 수행할 수 있도록 한다. 위치를 표현하는 경우, 수평적 위치, 수직적 위치 또는 3차원 좌표가 표현될 수 있다. 상기 위치 또는 좌표는 소정의 수학적 모델 및 기준에 의거하여 표현될 수 있다.
센서 간의 융합 정보의 경우, 수집 데이터는 센서의 시간적 정보, 기하적 정보 등을 통해 통합될 수 있다. 관측 센서 데이터를 예로 들면, 센서의 기하 모델에 대한 내부 파라미터, 외부 파라미터 및 측위 정보들을 이용함으로써, 관측 센서로부터 수집된 데이터들이 융합되어 해석될 수 있다.
예를 들어, 영상 데이터에서 인식된 객체의 인지 정보는 라이다 데이터와 연계됨으로써, 3차원 위치 정보로 등록될 수 있다. 3차원 좌표계 상에서의 객체와의 거리, 관측각이 분석되어 등록될 수 있다.
복수의 영상 데이터가 연계되는 경우, 각 영상 데이터에 적용되는 카메라, 렌즈의 특성 및 해석 모델이 추정되어, 영상 데이터 간의 정합 및 융합이 처리될 수 있다. 상기 특성은 카메라와 렌즈의 투영 원리에 기반한 수식, 예컨대 공선 조건식에 수반되어 있는 초점거리, 주점(principal point), 렌즈 왜곡, 뒤틀림 계수(skew coefficient) 변수들일 수 있다. 해석 모델은 예컨대, 수학적으로 정의된 투영 모델, 다항식 비례모델, 호모그래피(homography) 모델, 어파인(affine) 모델들 중 적어도 하나일 수 있다.
복수의 라이다 데이터를 연계하는 경우, 라이다 장치 상 레이저 투사각, 거리 스케일, 각도 스케일 등이 변수로 추정되어, 라이다 데이터 간의 정합 및 융합이 처리될 수 있다.
카메라 데이터와 라이다 데이터를 연계하는 경우, 영상 및 라이다 센서들 간의 기하를 연계하는 위치값과 자세값이 소정 변환식에 대한 변수값으로 추정될 수 있다. 변환식은 예컨대, 강체 변환 (rigid body transformation), 유사 변환 (similarity transformation) 과 관련된 수식일 수 있다. 정위치 정보를 부여하기 위해, 상기 변수값은 측위 및 보조 센서 데이터와 융합될 수 있다.
정위치가 부여된 관측 정보와 객체 정보는 정밀 지도 정보와 결합되며, 객체에 대한 상황 정보가 상기 열거한 정보와 결합되어 메타데이터로 표현될 수 있다. 예컨대, 상황 정보는 상황에 따라 변화되는 교통 인프라 정보 및 기상 정보이며, 교통 인프라 정보는 신호등, 횡단보도, 교차로 정보 등일 수 있다.
특정 상태를 나타내는 신호등의 점화는 시간에 따라 변화하며. 신호등의 점화 상태는 주행 경로, 자율주행 계획, 판단, 제어에 영향을 미칠 수 있다. 객체의 상황 정보는 예컨대 신호등의 점화 상태 별로 메타 데이터로 정의될 수 있다. 또한, 특정 시점 구간의 데이터들을 추적함으로써, 데이터의 변화 양상이 분석되며, 메타 데이터는 변화 양상에 기초하여 정의될 수 있다.
교통 인프라 정보 및 이벤트 정보(예, 교통 정체, 공사) 외에도, 주변의 동적 객체의 차선 변경, 횡단보도 상의 보행자의 이동 등과 관련된 주변 정보는 자율주행 제어에 사용되는 정보로 정의될 수 있다.
앞서 예시한 정보들의 메타 데이터는 서버(200)의 데이터베이스에 등록되며, 서버(200)는 경로 정보, 연관 정보로부터 추출되는 검색 쿼리 및 메타 데이터에 기초하여, 주행 정보를 검색할 수 있다.
다음으로, 서버(200)는 검색된 주행 정보의 성능이 양호하다고 결정한 경우(S330의 Y), 서버(200)는 이동체(100)로부터 수신된 정보 및 검색된 주행 데이터를 이용하여 주행 소프트웨어를 학습시키고(S235), 주행 정보를 이동체(100)에 배포할 수 있다(S240). 이동체(100)는 예컨대, 소정 조건, 예컨대 이동체(100)의 정지 또는 일정 속도 이하의 주행, 통신상태가 양호한 지역에서, 서버(200)로부터 주행 정보를 다운로드 받을 수 있다. 이동체(100)는 도 S135 단계와 유사하게, 배포된 주행 정보, 예컨대 주행 소프트웨어의 성능이 이동체의 상황에 부합하도록 양호한지를 평가할 수 있다. 성능이 양호하면, 프로세서(118)는 서버(200)로부터 배포된 주행 정보에 기초하여 이동체(100)의 주행을 제어할 수 있다.
한편, 검색된 주행 정보의 성능이 양호하지 않은 경우(S330의 N), 서버(200)는 이동체(100)의 정보로부터 추출된 검색 쿼리 및 서버(200)의 주행 정보에 부여된 메타 데이터를 이용하여 유사한 주행 정보를 검색할 수 있다(S245).
예컨대, 서버(200)는 경로 정보, 연관 정보 및 주행 데이터로부터 추정되는 이동체(100)와 유사한 상황에서 사용되는 유사 주행 정보를 검색할 수 있다. 또한, 서버(200)는 검색된 유사 주행 정보 중 높은 빈도로 사용되는 주행 정보를 우선적으로 선정할 수 있다.
다음으로, 서버(200)는 유사 주행 정보를 분석, 학습, 이동체(100)의 주행 상황에 부합하도록 최적화될 수 있다(S250). 예컨대, 유사 주행 소프트웨어는 이동체(100) 및 외부 디바이스로부터 획득된 주행 데이터에 기초하여, 갱신되거나 수정될 수 있다. 이어서, S235 및 S240 단계와 마찬가지로, 최적화된 주행 정보는 서버(200)에 의해 학습되어, 이동체(100)로 배포될 수 있다.
본 개시에서는, 이동체(100)가 경로 정보 및 연관 정보에 적합한 주행 소프트웨어를 보유하지 않은 경우, 서버(200)가 주행 소프트웨어를 제공하거나 재학습하여, 이동체(100)에 제공하는 것을 예시하고 있다.
다른 예에서는, 이동체(100)가 상기 적합한 소프트웨어를 보유하지 않는 경우, 외부 디바이스로부터 주행 데이터를 획득하거나, 이동체(100)에서 주행 상황을 가상화하여 가상 주행 데이터를 생성할 수 있다. 외부 디바이스는 예컨대, 서버(200), ITS 디바이스(202) 및 다른 이동체(204) 중 적어도 하나일 수 있다. 이동체(100)는 외부의 주행 데이터 및 가상 주행 데이터 중 적어도 하나의 입력 데이터를 이용하여, 이동체(100)가 보유하는 주행 소프트웨어를 갱신되거나 수정할 수 있다. 갱신되거나 수정된 주행 소프트웨어는 이동체(100)에 적용될 수 있다.
도 6은 유사 주행 정보의 검색 과정에 관한 순서도이다.
도 6에 따른 개시는, 도 4 및 도 5의 검색에서 사용되는 메타 데이터가 주행 정보에 부여된 메타 데이터로 정의되지 않은 경우, 유사 주행 정보를 검색하는 과정을 예시하고 있다.
우선, 이동체(100)의 프로세서(118)는 수집 원천 데이터 및 보유하는 주행 소프트웨어로부터 메타 데이터를 추출할 수 있다(S305).
수집 원천 데이터는 실시간으로 수집되는 연관 정보이며, 예컨대 관측 정보, 이벤트 정보, 이동체 상태 정보, 제약 정보 등이며, 상술한 예에 제한되지 않는다. 이에 더하여, 메타 데이터는 경로 정보 및 주행 시나리오로부터 추출될 수 있다.
다음으로, 프로세서(118)는 수집 데이터 및 주행 소프트웨어의 메타 데이터가 상이하나, 수집 데이터에 따른 메타 데이터로부터 검색을 위한 목표 데이터의 정의가 추론되는지를 파악할 수 있다(S310).
일례로, 수집 데이터, 경로 정보, 연관 정보 및 주행 시나리오 중 적어도 하나로부터 주변 상황, 교통 상황, 이동체 상태가 확인되면, 목표 데이터의 정의가 정상적으로 추론된 것으로 결정될 수 있다. 목표 데이터가 정의된지 여부는 도 6의 S310 단계에서 검색 목표의 정의 여부로 표기되어 있다. 다른 예로, 상술한 정보 및 주행 시나리오로부터 추론되는 주행 제어에 대한 요구 정보가 목표 데이터로부터 추론되면, 목표 데이터의 정의가 정상적으로 추론된 것으로 결정될 수 있다. 예컨대, 대형 상용 차량이 악천후에서 안전 규정을 준수함과 아울러서, 패턴 정보에 따른 운행 소요 시간을 충족하도록 제어될 필요가 있을 수 있다. 이 경우, 요구 정보는 상기 차량의 경로 정보, 연관 정보 및 주행 시나리오의 메타 데이터로부터, 상술한 조건을 추론할 수 있다.
만약, 목표 데이터의 정의가 추론되면, 프로세서(118)는 양쪽의 메타 데이터 간의 유사성을 분석하여, 목표 데이터에 부합하는 유사 주행 정보를 검색할 수 있다(S315).
다음으로, 프로세서(118)는 S125 및 S130 단계와 유사하게, 유사 주행 정보를 최적화하고(S320), 주행 소프트웨어를 학습하여 배포할 수 있다(S325, S330).
한편, 목표 데이터의 정의가 추론되지 않으면, 프로세서(118)는 서버(200)에 유사 주행 정보를 검색하도록 요청할 수 있다. 서버(200)는 이동체(100)의 메타 데이터 및 목표 데이터를 수신할 수 있다. 서버(200)는 목표 데이터, 서버(200)가 보유하는 주행 데이터와 주행 소프트웨어 간의 유사성을 이용하는 비지도적 학습을 통해 군집화함으로써, 목표 데이터 및 서버(200)의 주행 정보를 분석할 수 있다(S335).
다음으로, 서버(200)는 분석 결과에 따라, 이동체(100)의 목표 데이터와 메타 데이터에 근접한 유사 메타 데이터를 추출하고, 유사 메타 데이터에 기반하여, 유사 주행 정보를 검색할 수 있다(S340).
다음으로, 서버(200)는 이동체(100)로부터 수신된 메타 데이터에 기반하여 유사 주행 정보가 적용가능한지 여부를 분석할 수 있다(S345). 유효한 적용으로 결정된 경우, 서버(200)는 유사 주행 정보를 이동체(100)에 전송할 수 있다.
도 7은 본 개시의 또 다른 실시예에서 경유지 정보에 기반한 자율주행 제어 방법에 관한 순서도이다.
먼저, 이동체(100)의 프로세서(118)는 상술한 예들과 마찬가지로, 경로 요청을 수신하고, 연관 정보를 취득하고(S405), 전역적 및 지역적 경로 정보를 생성할 수 있다(S410).
본 개시에서는, 경로 요청 정보, 사용자 정보, 이동체 상태 정보에 따라, 경로 정보가 경유 지점 정보를 포함하는 것을 예시하고 있다.
프로세서(118)는 메모리(116)가 경유지와 관련된 정보, 즉 주행 정보를 보유하는지를 확인할 수 있다(S415).
일례로, 경유지와 관련된 주행 정보는 경유지의 주차 정보와 관련될 수 있다. 주차 정보는 주차면의 개수/크기, 교통 약자의 우선 주차 구역, 전기차 충전 구역 등일 수 있다. 상기 주행 정보는 예컨대 정밀 지도, AI 학습 데이터 및 모델 형태로 표현될 수 있다
이동체(100)가 경유지와 관련된 주행 데이터를 이미 보유하거나, 실시간으로 취득할 수 있는 경우, 프로세서(118)는 상기 데이터를 보유한 것으로 결정할 수 있다.
경유지의 주행 데이터에 대해 주차 정보를 예로 들어 설명한다. 정밀지도의 경우, 주차장 공간에 존재하는 정적 객체들의 3차원 위치 정보, 객체들 간의 연계 관계, 주행과 연계된 정보들이 지도화(mapping)되어 관리될 수 있다. 정적 객체의 정보는 식별자, 갱신 이력 중 적어도 하나를 포함할 수 있다.
주차와 관련된 주행 시나리오가 생성된 경우, 주차면의 기하적 정보, 주차면의 속성 정보, 주차면에서의 주행 정보가 주행 데이터로 채택될 수 있다. 속성 정보는 예컨대, 교통 약자의 주차 구역 및 전기차 충전 구역일 수 있다. 주행 정보는 예를 들어, 주차면의 이용 상태, 주차면에서의 예상 이동 궤적, 자율주행 또는 수동주행에 필요한 부가 정보를 포함할 수 있다.
주행 소프트웨어는 주차 정보 및 다른 정보를 포함하는 주행 데이터에 기반하여 경유지로의 접근 및 주차를 위한 주행 제어를 처리할 수 있다. 다른 정보는 예컨대, 교통 약자를 확인할 수 있는 사용자 정보, 전기차를 확인하는 이동체 정보, 에너지 잔량을 확인하는 이동체 상태 정보, 경유 지점에서 이동체의 평균적인 거동을 확인하는 패턴 정보 등을 포함할 수 있다.
프로세서(118)는 이동체(100)의 이력 정보에 기초하여, 경유지과 관련된 접근 경로 및 주차와 관련된 주행 데이터 및 경유 지점에 적용된 주행 소프트웨어를 검색할 수 있다. 또한, 프로세서(118)는 예컨대, 관측 센서 및 통신부(104)를 통해 획득되는 경유지의 관측 정보를 획득할 수 있다. 구체적으로, 이동체(100)는 주행 데이터와 관련된 정보를 인지하기 위해, 경유지의 인프라 시스템에 등록된 정보를 주행 데이터로 수신할 수 있다.
만약, 프로세서(118)는 경유지와 관련된 주행 정보를 보유한 것을 확인하면, 프로세서(118)는 도 4와 유사하게, 보유된 주행 정보에 기반하여, 경유지와 관련된 주행을 실행하도록, 이동체(100)를 제어할 수 있다(S420). 프로세서(118)는 경유지에서의 주행 과정에서 실시간 취득되는 주행 데이터에 기초하여 주행 소프트웨어를 갱신하고, 갱신된 주행 소프트웨어에 기반하여 주행을 제어할 수 있다.
이와는 달리, 주행 정보가 존재하지 않으면, 프로세서(118)는 이동체(100)가 보유하는 다른 주행 정보 및 경유지와 관련된 외부 디바이스의 주행 정보를 이용하여, 경유지의 주행 정보를 생성할 수 있는지 여부를 결정할 수 있다(S425).
일례로, 프로세서(118)는 경유지의 주차 정보 및 주행 소프트웨어를 보유하고 있지 않으나, 경유지와 유사한 환경의 다른 경유지의 주차 정보 및 주행 소프트웨어에 기초하여 주행 정보를 생성할 수 있는지를 결정할 수 있다. 구체적으로, 프로세서(118)는 이동체(100)가 일부 보유한 경유지의 주행 데이터 및 유사 주행 데이터를 이용하여, 유사 주행 소프트웨어를 재학습하거나 수정함으로써, 경유지의 주행 정보를 생성할 수 있는지를 결정할 수 있다.
다른 예로, 프로세서(118)는 외부 디바이스에 경유지 및 유사 환경의 주행 정보를 요청하여, 수신한 주행 정보에 기초하여 경유지의 주행 정보를 생성할 수 있는지를 결정할 수 있다. 이동체(100)는 서버(200), ITS 디바이스(202), 다른 이동체에 의한 V2X (vehicle to everything)를 통해, 주행 정보를 수신할 수 있다.
또 다른 예로, 프로세서(118)는 서버(200)에 경유지의 주행 정보의 생성을 요청하여, 주행 정보를 서버(200)로부터 획득할 수 있는지를 확인하여, 주행 정보의 생성 여부를 결정할 수 있다.
상술한 예에서, 이동체(100)의 주행, 주차, 정차, 경유, 충전 등의 거동이 가능하도록, 주행 데이터는 레스터(raster), 벡터(vector), 특징(feature), 텐서(tensor) 등의 형태로 포맷(format)이 변환되어 제공될 수 있다.
만약, 주행 정보가 생성될 수 있으면, 프로세서(118)는 주행 정보를 생성하거나 획득하고(S430), 주행 정보에 기초하여 경유지와 관련된 주행을 실행하도록, 이동체(100)를 제어할 수 있다(S420).
만약, 주행 정보가 생성될 수 없으면, 프로세서(118)는 전역적 및 지역적 경로 정보를 재생성할 수 있다. 일례로, 프로세서(118)는 경유지를 제외하는 경로로 경로 정보를 재설정할 수 있다. 다른 예로, 프로세서(118)는 경유지를 경로로 포함하나, 주차 제어와 관련된 주행 제어를 수동 운전으로 전환시킬 수 있다.
도 8은 본 개시의 또 다른 실시예에서 제약 정보에 기반한 자율주행 제어 방법에 관한 순서도이다.
먼저, 이동체(100)의 프로세서(118)는 상술한 예들과 마찬가지로, 경로 요청을 수신하고, 연관 정보를 취득하고, 초기의 경로 정보를 생성할 수 있다(S505).
본 개시에서는, 경로 요청 정보, 이동체 정보, 제약 정보, 도로 정보, 이동체 상태 정보에 따라, 초기의 경로 정보, 즉 초기 전역적 경로 정보 및 초기 지역적 경로 정보가 생성되는 것을 예시하고 있다.
프로세서(118)는 도 7의 S415 및 S425, S430 단계와 유사하게, 주행 정보를 확보할 수 있는지 여부를 결정할 수 있다(S510),
주행 정보가 확보되면, 프로세서(118)는 주행 정보가 안전 운행 모델에 따른 안전도를 보장하는지 여부를 결정할 수 있다(S515).
안전 운행 모델은 경로에 대한 자율주행이 적용되는 경우, 이동체(100)가 준수할 규제와 인증, 이동체(100)가 참고할 과거 사고 정보와 사고 책임 정보, 경로 상의 도로 환경, 긴급 상황의 대처 정보에 기초하여 수립된 모델일 수 있다.
예컨대, 인증과 관련하여, 이동체(100)의 종류, 제조사, 모델 및 탑승자 별로 안전성에 대한 등급이 상이하게 설정될 수 있다. 또한, 안전성의 인증은 정형화 구간 및 비정형화 구간에서 서로 상이할 수 있다. 비정형화 구간은 예컨대, 어린이 보호 구역, 비포장 도로일 수 있다. 인증은 표준 인증 기관에서 안전성이 보장된 시나리오를 포함할 수 있다. 위험도가 높은 지역에 대해 표준화된 인증 체계가 마련되어, 인증은 상기 체계에서 요구하는 사항일 수 있다.
과거 사고 정보는 예를 들어, 경로에서 이동체(100)와 동일하거나 유사한 이동체(100)의 실제 사고, 사고로 인한 피해 범위, 특정 지점에서의 사고 확률 등을 포함할 수 있다. 사고 책임 정보는 경로 상의 사고로 인한 책임, 책임 범위 등을 포함할 수 있다.
긴급 상황의 대처 정보는 예컨대, 자율 주행을 구현하는 이동체(100)에 주행 제어에 영향을 미치는 센서부(102) 및 컴포넌트부(110)의 고장 상황, 또는 경로 상의 재난, 사고로 인한 비상 상황에 대응하는 긴급 시나리오를 포함할 수 있다. 고장 상황에 대응하는 긴급 시나리오는 예를 들어, 주정차 지역, 원격 지원 지역과 관련된 정보를 포함할 수 있다.
만약, 주행 정보의 안전도가 보장되면, 프로세서(118)는 초기의 경로 정보에 관한 안전 운행 모델, 주행 데이터에 기초하여 주행 소프트웨어를 학습시키고, 최종 경로 정보를 생성할 수 있다(S520).
주행 소프트웨어는 예컨대, 자율 주행에 따른 규제 위반 가능성, 사고 확률, 책임 범위의 불명확성을 최소화하여 안전성을 확보하도록 처리될 수 있다. 주행 소프트웨어의 처리는 S510 단계의 소프트웨어에 대한 갱신, 재학습, 또는 수정일 수 있다.
주행 소프트웨어는 인증과 관련된 정보에 기초하여 처리될 수 있다. 인증 관련 정보는 상술한 바와 같이, 이동체 정보 및 탑승자에 따른 안전성 등급, 높은 위험도의 지역에 적용되는 인증 체계, 표준 인증 기관의 시나리오 등을 포함할 수 있다.
이동체(100)가 안전 운행 모델에서 지정된 지점을 주행하는 경우, 주행 데이터는 외부 디바이스와의 V2X를 통해 실시간으로 취득되며, 주행 소프트웨어는 취득된 주행 데이터를 반영하여 처리할 수 있다. 이는, 주행 데이터가 저사양의 관측 센서, 소정 기준 이하의 정밀도를 갖거나, 센싱 사각 지대의 객체가 인식되지 않는 경우에 유용하다.
긴급 상황이 발생하는 경우, 이동체(100)는 안전 운행 모델의 긴급 시나리오 및 주행 정보에 따라, 안전도가 강화된 경로를 설정할 수 있다.
만약, S510 또는 S515 단계에서, 주행 정보가 확보되지 않거나, 안전도가 보장되지 않으면, 프로세서(118)는 경로 상의 특정 지점에서 운행 제어권을 자율 주행에서 수동 운전으로 전환하여, 수동 개입이 적용할지 여부를 결정할 수 있다(S525).
수동 개입이 적용되면, 프로세서(118)는 경로 제공부(108)를 통해, 특정 지점에서 최고의 안전도가 보장되는 것으로 추론되는 경로를 제공할 수 있다.
수동 개입이 적용되지 않으면, 프로세서(118)는 경로 요청 정보, 이동체 정보, 제약 정보, 도로 정보, 이동체 상태 정보에 따라, 초기의 경로 정보를 변경함으로써, 경로 정보를 재설정할 수 있다.
경로 정보는 예를 들어, 전역적 경로 정보일 수 있으며, 안전도가 보장되지 않은 특정 지점을 우회하는 경로로 설정될 수 있다.
상술한 개시의 추가 실시예로서, 연관 정보가 제약 정보 외에도, 다른 정보를 더 포함하는 실시예에 대해 설명하기로 한다. 다른 정보는 예컨대, 대형 상용 차량, 차량 용도. 주행 목적과 관련된 이동체 정보, 교통 상황을 포함하는 이벤트 정보, 도로 정보, 적재물 정보를 포함하는 이동체 상태 정보 및 관측 정보를 포함할 수 있다.
대형 상용 차량은 주행 경로 및 자율주행을 위한 주행 정보에서, 승용차와 상이할 수 있다. 도 8에서와 같이, 차량의 크기, 적재 중량, 규제, 인증, 도로 상태, 공사/사고 지역 등에 따라, 대형 상용 차량에 요구되는 규제 및 안전도를 만족하도록, 주행 정보가 마련될 필요가 있다. 구체적으로, 주행 데이터는 중량 제한이 있는 도로 구간, 및 시간대, 교통 상황 별로 주행이 불가능한 도로 구간을 포함할 수 있다. 주행 소프트웨어는 상술의 예시에 따른 주행 데이터를 더 고려하여 처리되며, 이에 따라 최종 경로 정보가 생성될 수 있다.
또한, 특정 지점의 지역적 경로 정보의 생성의 경우, 경로 정보는 예컨대 차선 단위로 설정된 경로로 구성될 수 있다. 대형 상용 차량의 차선 변경 또는 커브 주행을 위한 주행 제어의 경우, 주행 데이터는 예컨대 차선의 개수, 교통 상황에 따라 가용한 차선 구간 정보를 포함할 수 있다. 교통 상황은 예컨대, 시간대 별 해당 도로의 정체, 차량 주변의 다른 차량의 이동 궤적, 주행 불가능한 차선, 차선의 감소로 인한 차선 현황 등일 수 있다.
예컨대, 대형 상용 차량과 소형 차량이 교차로의 차선들에 평행하게 정지하여 좌회전하는 경우, 주행 데이터는 가용 차선, 대형 상용 차량의 커브 반경, 소형 차량의 예상 이동 궤적, 반대편 도로의 차량의 예상 이동 궤적, 동시 좌회전으로 인한 사각 지대 범위 등을 포함할 수 있다. 주행 소프트웨어는 상술한 예시의 데이터에 기초하여, 대형 차량의 주행 제어를 처리할 수 있다. 예시적으로, 대형 차량이 소형 차량보다 큰 커브 반경을 갖는 대형 차량이 중앙선을 기준으로 소형 차량보다 외측 차선에 정지될 수 있다. 또한, 교차로에 위치한 다른 차량이 소형 및 대형 차량을 전부 인지할 수 있도록, 대형 차량이 소형 차량을 추종하여 좌회전 될 수 있다.
도 9은 이종의 지도 데이터들에 기반하는 경로 정보의 생성 과정에 관한 순서도이다. 본 개시에 따른 과정은 이동체(100) 및 서버(200) 중 적어도 하나에 의해 수행될 수 있다. 이동체(100)가 본 개시의 과정을 처리하는 경우, 상기 과정은 경로 제공부(108), 연관 정보 관리부(106), 메모리(116) 및 프로세서(118)에 의해 수행될 수 있다.
먼저, 도 4와 유사하게, 후보 경로 정보가 경로 요청 정보 및 연관 정보에 기초하여 생성될 수 있다(S605).
후보 경로 정보는 전역적 경로 정보일 수 있으며, 도로 기반의 경로 정보일 수 있다. 후보 경로 정보는 초기의 경로 정보이며, 연관 정보에 포함되는 지도 정보 또는 주행 데이터로 활용할 지도 정보에 기초하여 생성될 수 있다. 지도 정보는 도로 네트워크에 기반한 지도 및 차선(lane) 네트워크에 기반한 지도를 구비할 수 있다. 본 예시에서는, 초기의 후보 경로 정보가 도로 네트워크에 기반한 지도에 기초하여 생성될 수 있다. 이하에서는, 기재의 편의를 위해, 도로 네트워크 기반의 지도 및 차선 네트워크 기반의 지도는 각각 도로 지도 및 차선 지도로 약칭될 수 있다.
다음으로, 차선 네트워크의 차선 노드가 도로 네트워크의 도로 노드 위치에 기반하여 검색될 수 있다(S610). 이어서, 연결 노드(node)가 도로 및 차선 노드 간의 연결(link) 관계의 유사성에 기반하여 검색될 수 있다(S615). 다음으로, 도로 및 차선 네트워크 간의 연결 관계가 상기 검색된 연결 노드에 기초하여 정의될 수 있다(S620).
S610 단계 이후의 과정은 이동체(100)의 자율주행 및 지역적 경로에 대한 계획을 수립하기 위해 수반될 수 있다. 통상적인 경로 안내 네비게이션(navigation) 서비스는 전역 경로 정보로서, 도로 네트워크에 기반하여 수행될 수 있다. 자율 주행의 경우, 거리, 시간, 금액 금액을 경로 상에서 최소화하는 비용(cost)-최적화 모델들이 적용되고, 주행 제어의 계획이 차선 단위로 정의된 정밀지도 기반으로 수립될 수 있다. 따라서, 통상적인 네비게이션 기능과 자율주행 기능을 연동하기 위해 데이터 및/또는 소프트웨어 간의 연계가 요구된다.
도 10 내지 도 14을 참조하여, S610 내지 S620의 과정에 대해 상세히 설명하기로 한다. 도 10 내지 도 14는 도 9에서 이종의 지도 데이터들에 기반하여 연결 노드를 생성하거나 연결 노드에 의한 연결 관계를 정의하는 것을 예시한 도면들이다. 상기 과정들은 도로 지도와 차선 지도 간의 데이터를 연계하기 위해, 양 데이터 간의 기준으로 채용하는 벡터 형태의 데이터를 이용할 수 있다. 벡터 형태의 데이터는 점 형태의 노드 정보, 선 형태의 링크 정보, 면 형태의 폴리곤(polygon)을 포함할 수 있다.
도로 지도 및 차선 지도는 도 10에 예시된 바와 같이, 이종의 지도 데이터로서, 상이한 표현 방식을 가질 수 있다. 도로 지도는 예컨대 도로 네트워크(402)를 표현하며, 차선 지도는 해당 도로의 차선(404), 차선 네트워크(406) 및 차선 네트워크(406) 상의 차선 노드(408)를 표현할 수 있다.
차선 노드(408)는 도 10에 예시된 바와 같이, 도로 네트워크(402)의 특정 도로 노드의 주변에 위치된 차선 네트워크(406)에 기초하여 검색될 수 있다.
도로 및 차선 지도는 노드 단위의 결정 방식에 따라 상이할 수 있다. 상기 노드 단위는 정지선, 도로 상의 분기 및 합류 지점, 유턴 지점, 교차로, 도로 종별 수정 지점, 톨게이트 등에서 차선의 개수, 도로 형태(형상, 곡률, 종류, 경사) 등에 따라 결정될 수 있다.
노드 기반의 정합의 경우, 양 지도 간의 연결되는 노드는 노드와 노드들을 연결하는 위상 관계에서의 정보를 이용하여 검색될 수 있다. 예컨대, 상기 정보는 상기 위상 관계에서의 위치, 형상, 속성, 연결 중 적어도 하나를 포함할 수 있다. 연결되는 노드가 존재하지 않을 경우, 추가적인 노드가 도로 지도 상에 임의로 부여되어, 양 지도 간의 연결 정보를 구성함으로써, 양 지도의 표현 방식 간에 연결 정보들이 관리될 수 있다. 도 10에 예시된 바와 같이, 차선 노드(408)는 차로 분기로 정의되나, 도로 지도의 분기는 존재하지 않아 연결 관계가 정의되지 않을 때, 연결 관계를 정의하기 위해 도로 네트워크 상에 임의 노드(410)가 생성될 수 있다.
도 11에 예시된 바와 같이, 위치 기반의 연결 방식은 위치값 기반의 검색 범위에 존재하는 도로 지도의 기준 노드(414)에 인접한 차선 노드(408)를 검색함으로써, 검색 범위에서 기준 노드(414)와 매칭되는 차선 노드(416)로 결정할 수 있다. 검색 범위는 예컨대, 이동체(100)의 주행 위치, 이동체(100) 및 주변 이동체에 탑재된 관측 센서의 관측 범위 등에 기초하여 설정될 수 잇다. 인접한 차선 노드(408)는 예컨대, KNN 기법으로 검색될 수 있다. 검색된 차선 노드(416)는 위치 좌표를 기준으로 검색된 노드일 수 있다.
도 12에 예시된 바와 같이, 기준 노드(414)에 인접한 차선 노드(408)가, 도로 및 차선의 진행 방향, 진행 방향을 따라 연결된 노드, 유턴 위치에 기초하여, 검색 범위(412) 내의 차선 노드(418)로 검색될 수 있다. 검색된 차선 노드(418)은 위치 좌표, 위상, 속성을 기준으로 검색된 노드일 수 있다. 도 12에서 검색된 다른 차선 노드(416)는 도 11의 방식과 동일한 방식으로 검색된 노드일 수 있다.
한편, 도로 및 차선 지도는 노드 분할 지점에 등록되는 노드의 수가 상이하므로, 1:1, 1:M, N:1, N:M과 같이 다양한 연결 관계를 가질 수 있다. 노드 분할 지점은 예컨대, 도로 또는 차선의 분기, 합류, 교차, 회전 등이 발생하는 지점일 수 있다.
이종 지도 간에 기준이 되는 노드 간의 연결 관계를 정의할 때, 양 노드의 데이터는 1:1의 연결 관계에서 연관할 수 있다. 1:N 의 연결 관계를 결정하는 경우, 노드 간의 연결 정보는 자료형(예컨대, num, string 등) 에 대한 배열 형태로 연결 관계를 정의할 수 있다. 1:N 의 연결 관계를 결정하는 다른 예로, 연결 관계가 1:1의 관계에서 정의되고, 기준 노드와 연결 위상 정보가 양 지도 중 적어도 하나에 추가적으로 부여되며, 순차적으로 검색가능한 포맷이 정의될 수 있다.
도로 지도의 도로 노드 A1(420)과 차선 노드 B1~B3(408) 간의 연결 관계의 생성의 경우, 도 13에 예시된 바와 같이, A1 과 연결 관계는 [B1, B2, B3]와 같이 스트링(string) 자료형에 대한 배열 형태로 정의될 수 있다. 또한, 도 14에 예시된 바와 같이, A1과 B1의 연결 관계가 정의되며, A1(420)과 B1, B2, B3(408)의 연결 관계는 차선 네트워크(406) 상에 정의된 B1-B2-B3 간의 연결관계를 기반으로 유추될 수 있다.
N:M의 관계에 관한 위상관계를 정의하는 경우, 상호 배열 형태의 참조값 이 설정되어 연결될 수 있다. 다른 예로, 기준 노드들 간의 1:1 연결이 각 지도 내부적 연결 관계로 확장하고, 순차적 접근이 가능한 포맷이 정의될 수 있다.
다음으로, 차선 단위의 경로 정보가 양 네트워크 간의 연결 관계에 기초하여 생성될 수 있는지를 결정할 수 있다(S625).
다시 도 9를 참조하면, 차선 단위의 경로 정보가 생성될 수 있으면, 추가 도로 노드가 도로 네트워크에 생성될 수 있다(S630).
차선 단위의 경로 정보는, 검색된 차선 노드 및 차선 링크가 후보 경로 정보의 도로 노드 및 도로 링크와 소정의 인접도에 의해 매칭됨으로써, 생성되는 것으로 결정될 수 있다. 검색된 차선 노드는 도로 네트워크에 추가 도로 노드로 생성될 수 있다.
상술한 S605 내지 S635 단계는 도 4의 S110 및 S115의 세부 과정을 구성할 수 있다.
이어서, 양 네트워크 간의 정의된 연결 관계를 이용하여, 차선 네트워크 및 차선 노드가 S605 단계의 후보 경로 정보에서 검색되어, 후보 경로 정보 상에 등록될 수 있다(S635).
다음으로, 도 4와 유사한 방식을 이용하여, 후보 경로 정보와 관련되는 주행 소프트웨어가 검색될 수 있다(S640). S640 단계는 도 4 의 S120에 상응되는 과정일 수 있다.
주행 소프트웨어는 후보 경로 정보 및 연관 정보와 관련되는 주행 데이터 및 초기의 변환된 지도 데이터에 기초하여 검색될 수 있다.
이동체(100)가 상기 정보에 부합하는 주행 소프트웨어를 보유하지 않는 경우, 이동체(100)는 주변 차량, 신호체계, 노변 기지국(RSU: Road Side Unit), 관제 센터 등 외부 디바이스로부터 획득한 주행 데이터 및 이동체(100)에서 주행 상황을 가상화(simulated)하여 생성한 가상 주행 데이터 중 적어도 하나에 의해, 주행 소프트웨어를 생성할 수 있다. 구체적으로, 이동체(100)는 외부의 주행 데이터 및 가상 주행 데이터 중 적어도 하나의 입력데이터를 이용하여, 보유한 주행 소프트웨어를 갱신 또는 수정할 수 있다.
갱신 또는 수정의 처리를 예시하면, 주행 소프트웨어는 상기 입력 데이터의 직접적 이용에 기반하여 갱신되거나 수정될 수 있다. 다른 예시로, 주행 소프트웨어는 상기 입력 데이터의 분석에 의해 도출된 특정 데이터에 기반하여 갱신되거나 수정될 수 있다. 또 다른 예시로, 주행 소프트웨어는 상기 입력 데이터의 일부에 기반하여 1차적으로 갱신하거나 수정되고, 1차적으로 처리된 주행 소프트웨어는 상기 입력 데이터의 다른 일부에 기반하여 2차적으로 갱신되거나 수정될 수 있다.
다른 예로, 이동체(100)는 서버(200)에 요청하여, 상기 정보에 부합하는 주행 소프트웨어를 획득할 수 있다.
다음으로, 지도 정보에 포함된 지도 데이터는 주행 소프트웨어의 이용에 부합하도록 변환될 수 있다(S645).
지도 정보는 도로 및 차선 네트워크와 관련된 데이터를 포함하고, 상기 정의된 연결 관계에 포함된 노드, 링크 등을 추가로 포함할 수 있다. 지도 데이터는 사용 목적에 따라 레스터(raster) 형태 또는 벡터 형태로 표현될 수 있다. 이종의 데이터 간의 포맷은 예상되는 주행 소프트웨어에 따라 변환될 수 있다.
벡터 데이터가 레스터 형태로 변환될 때, 다중 레이어(layer)의 지도 데이터는 격자(grid) 등 특정 위치 단위의 프레임(frame)에 의해 생성되며, 최근접, 내삽 또는 외삽된 데이터가 프레임에 부여될 수 있다. 이에 따라, 다차원의 레스터 데이터 포맷이 생성될 수 있다. 다차원의 데이터는 컨볼루션(convolution) 등 커널(kernel)을 통해 변환되며, 주행 궤적과 함께 융합되어 분석될 수 있다. 이에 의해, 이동체(100) 및 주변 객체의 움직임 예측이 분석되거나 지역적 경로 계획이 수립될 수 있다. 또한, 다차원의 레스터 데이터는 다중 레이어의 벡터 형태의 데이터로 변환될 수 있으며, 변환된 상호 레이어의 데이터는 정의된 위상 관계로 연결되어, 분석될 수 있다.
다음으로, 도 4와 유사한 방식을 이용하여, 주행 소프트웨어가 후보 경로 정보 및 연관 정보와 관련되는 주행 데이터 및 초기의 변환된 지도 데이터에 기초하여 검색되고, 적어도 하나의 설정 경로를 출력할 수 있다, 이어서, 출력된 설정 경로에 대한 성능 평가가 수행될 수 있다(S650).
도 15에 예시된 바와 같이, 다차원 데이터에 속한 지도 데이터, 센서데이터, 주행 데이터가 융합되어 분석됨으로써, 복수의 설정 경로 별 신뢰도가 추정될 수 있다.
아울러, 이동체(100) 주변의 이동체(100)의 이동은 관측 센서의 센서 데이터를 분석하여 해석됨으로써, 파악될 수 있다. 이때, 주행 데이터, 예컨대, 도로 정보, 관측 정보, 지도 정보는 융합하여 분석되어 설정 경로가 생성될 수 있다.
다중 데이터 간의 융합은 주행 소프트웨어의 구성에 따라 다양한 방식으로 처리될 수 있다. 예컨대, 초기 단계에서 데이터 간 융합 프로세스가 수행되고, 융합된 데이터가 해석될 수 있다. 다른 예로, 각 데이터 별로 분석된 결과값이 융합되어 해석될 수 있다. 또 다른 예로, 데이터가 상술한 예의 중간 단계에서 융합 해석되거나, 각 데이터의 분석에 따른 중간 결과값이 상기 분석에 피드백하여, 상호 영향 관계가 재해석될 수 있다.
다중 레이어 데이터는 이동체(100)의 경로 궤적과 함께 연결성을 가질 수 있다. 도 16에 예시된 바와 같이, 지도 데이터에 속한 정적(static), 준정적(semi-static), 준동적(semi-dynamic) 정보는 시간 및 공간 동기화를 통해, 동적(dynamic) 정보와 연계될 수 있다. 상기 정보는 주행 소프트웨어의 입력 데이터로 사용될 수 있다. 정적, 준정적, 준동적 정보는 외부 디바이스에서 수집되는 데이터들을 수신함으로써 획득될 수도 있다. 또한, 동적 정보 및 준동적 정보는 해당 예측 모델을 통해 이동체 및 주변 객체의 거동을 예측하여, 주행 시나리오를 생성하고, 주행 시나리오는 주행 소프트웨어에 입력 데이터로 이용할 수 있다.
다음으로, 최적의 성능 평가를 나타내는 설정 경로가 최적의 최종 경로 정보로 설정될 수 있다(S655).
최적의 최종 경로 정보를 설정하는데 사용된 주행 소프트웨어는 추후 취득되는 주행 데이터 및 관측 정보에 기초하여 갱신되거나 수정될 수 있다.
도 17은 주행 시나리오에 기초하여 주행 정보를 검색하는 과정의 개념도이다. 본 개시는, 도 4에서 설명한 주행 시나리오에 기반한 주행 정보를 검색하고 처리하는 것을 예시하고 있다.
주행 시나리오는 도 4의 경로 정보 및 연관 정보에 기초하여 생성될 수 있다. 주행 시나리오로부터 추출되는 시나리오 데이터 및 기존의 주행 정보 간의 유사성이 분석되어, 주행 정보가 검색될 수 있다. 시나리오 데이터는 예를 들면, 예상 교통 상황, 주행 환경, 이동체 상태 등을 포함할 수 있다. 구체적으로, 시나리오 데이터는 도로의 형상, 종류를 포함하는 도로 특성, 시간별 교통 상황, 동적 객체들의 이동 패턴, 탑승자의 사용 패턴에 따라 수동 또는 자동으로 입력된 정보 등일 수 있다. 시나리오 데이터는 상술의 예와 관련된 키워드, 컨텍스트, 관측 정보, 공간 정보 등을 포함할 수 있다.
메타 데이터는 경로 정보, 주행 시나리오 및 연관 정보로부터 추출되며, 이동체(100) 및 서버(200) 중 적어도 하나에 보유된 관련 주행 정보를 검색하는데 이용될 수 있다. 또한, 데이터 기하 및 공간 정보는 기 축적된 연관 정보 및 주행 데이터에 기초하여 분석되어, 해당 결과값이 관리될 수 있다. 주행 제어를 위한 상술의 정보, 시나리오 및 해당 결과값의 정합 및 분석을 통해, 주행 정보가 검색될 수 있다.
한편 이동체(100) 및 서버(200)는 주행 제어에 적용된 주행 정보를 축적하고, 주행 정보와 관련된 부가 정보를 생성할 수 있다. 서버(200)는 다른 이동체의 주행 정보를 축적할 수 있다. 부가 정보는 예컨대, 메타 데이터, 특징 정보, 서술자(descriptor) 정보 및 공간 정보 중 적어도 하나를 포함할 수 있다. 이동체(100) 및 서버(200)는 상이한 스키마를 가진 부가 정보를 생성할 수 있다. 이동체(100) 및 서버(200)에서 유사성을 갖는 부가 정보는 기존의 주행 경로의 해당 위치 또는 형상에 연계되어 관리될 수 있다.
예컨대, 주행 정보 및 부가 정보는 도로 또는 차선의 형상, 위치를 따라 핫스팟 (hotspot)의 형태로 관리될 수 있다. 특정 위치로부터의 물리적 거리는 상술의 주행 정보의 유사성 분석에 대한 가중치(weight)로 사용될 수 잇다. 아울러, 이동체(100)의 경로와 관련되어 이미 축적된 특정 지역에서 주행 시나리오는 현재의 주행 시나리오로 활용될 수 있다.
예를 들어, 주행 데이터는 특정 시간 대의 예상 교통 정체 상황이 공간 정보를 가상화한 데이터이고, 경로 설정의 정보로 사용될 수 있다. 공간 정보는 소정 방식에 따른 영역으로 구분되며, 기 축적된 주행 시나리오에 따른 주행 정보가 각 영역에 축적되어 기록될 수 있다. 또한, 주행 정보의 안전도 및 자율주행 성능이 각 영역에 축적되어, 최적 경로의 판단 지표로 제시될 수 있다. 기 영역은 예컨대, 특정 격자, 다각형, 도로 또는 차선 단위의 점, 선, 면일 수 있다. 축적된 주행 데이터는 기 사용된 주행 소프트웨어를 갱신할 수 있다.
한편, 주행 정보는 정의된 메타데이터 또는 유사성 분석을 결과로 계층화되어 저장될 수 있다. 또한, 경로 상에 예상되는 주행 정보 및 관련 수집 데이터는 목록화되어 분류될 수 있다. 상기 분류된 정보 및 데이터는 지도 정보의 정밀 지도 정보에서 가상화되어 생성될 수 있다. 정밀 지도 정보는 기 누적된 다양한 정보, 예컨대 정적 객체 정보, 동적 객체의 경로와 이들 간의 상호 연결 정보, 도로 정보, 이벤트 정보 등을 포함할 수 있다. 이러한 데이터는 주행 데이터로 활용될 수 있다.
기존 경로에서 적용된 주행 정보가 부가 정보로 정의되는데 제한이 있는 경우, 해당 주행 정보는 다른 정보에 비해 낮은 우선순위로 설정될 수 있다. 또한, 다른 주행 정보보다 낮거나 기준값보다 낮은 사용자 경험을 갖는 주행 정보는 다른 정보에 비해 낮은 우선 순위로 설정될 수 있다. 에 기반하여 사용자 경험이 낮은 경우에는 우선순위를 낮게 설정할 수 있다. 사용자 경험의 평가는 탑승자의 주행 및 이와 유사한 주행을 수행한 이동체(100)의 평가 및 사용자의 만족 평가를 분석함으로써 수행될 수 있다. 동일/유사한 주행에 대한 사용자 경험의 평가는 군집화되어 분석될 수 있다.
도 18은 수집 데이터를 획득하는 센서 및 주행 정보 간의 최적화된 조합을 결정하는 과정에 관한 순서도이다.
먼저, 이동체(100)의 프로세서(118)는 도 4와 유사한 방식으로, 경로 정보를 생성할 수 있다(S705).
다음으로, 프로세서(118)는 경로 정보를 통해 사용을 예상하는 센서부(102)의 센서 및 주행 정보를 탐색할 수 있다(S710).
예를 들어, 이동체(100)의 관측 센서는 복수의 센서를 이용할 수 있다. 센서의 사용 상태, 성능, 교통 상황, 주변 상황, 기상 상태, 시간 등에 기초하여, 복수의 센서 중 적어도 일부를 사용할 수 있다. 다른 예로, 사용되는 센서 중 일 부는 최소한으로 이용되도록, 센서가 탐색될 수 있다.
주행 정보에 속한 주행 소프트웨어도 앞서 열거한 사항 및 사용되는 센서에 기초하여, 탐색될 수 있다.
다음으로, 프로세서(118)는 탐색된 센서 및 주행 정보에 기반하여 주행 제어의 안전도가 보장되는지를 결정함과 아울러서, 주행 정보의 취득에 사용되는 센서 및 주행 정보에 할당되는 자원이 지원되는지를 결정할 수 있다(S715).
예컨대, 특정 센서의 의존도를 낮추고, 낮춘 의존도에 따른 주행 소프트웨어를 선택한 조합이 안전도 및 자원 지원을 전부 충족하는지를 결정할 수 있다.
다음으로, 프로세서(118)는 안전도 및 자원이 지지되는 센서 및 주행 정보의 복수의 조합 중, 최적 기준값을 충족하는 상기 조합을 결정할 수 있다(S720).
GNSS와 같은 측위 센서(102a)는 영상 센서(102b) 및 라이다 센서(102c)에 비해 낮은 에너지를 소모하고, 측위 센서(102a)의 데이터는 다른 센서에 비해 낮은 컴퓨팅 자원을 사용할 수 있다. 고속도로를 이용한 경로의 경우, 측위 센서(102a)는 용이하게 수신됨과 아울러서, 높은 측위 정확도를 확보하므로, 영상 및 라이다 기반의 측위 기능은 최소화하거나 배제되도록, 상기 조합이 결정될 수 있다.
교통 정체, 사고, 공사 등의 교통 상황이 있는 경우, 주행 소프트웨어는 C-ITS 인프라 환경(ITS 디바이스(202)의 제공 환경)에 따라 선택될 수 있다. 정체 및 신호등 정보가 C-ITS 인프라로부터 수집되는 경우, 해당 정보를 인식하기 위한 영상 센서(102b)의 의존도는 낮출 수 있다. C-ITS 인프라로부터 수신된 현재 신호등 상태, 신호 변경 시점, 신호등과 경로 간의 연결관계가 분석됨으로써, 영상 센서(102b)의 데이터로부터 신호등 관련 정보를 처리하는 주행 소프트웨어의 의존도를 낮출 수 있다. 또한, 정체 상황에서 이동체(100) 및 주변 동적 객체의 위치/상태 변화가 상대적으로 낮으므로, 센서 데이터의 처리 빈도수가 조정될 수 있다. 주행 소프트웨어는 시간, 기상, 터널 공간과 같은 주행 환경에 따라 영향을 받는 관측 센서의 성능에 따라, 선택될 수 있다.
상기 조합이 결정된 후, 이동체(100)가 보유하는 주행 소프트웨어는 최적 기준값을 충족하는 주행 데이터 및 센서 관련 데이터에 기초하여 재학습될 수 있다.
만약, 안전도 및 자원 중 적어도 하나가 지지되지 않으면, 프로세서(118)는 다른 센서 및 다른 주행 정보를 재탐색하고, S715 및 S720 단계를 재차 수행할 수 있다.
전술한 본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (13)

  1. 경로 안내와 연동된 자율주행 소프트웨어의 검색 및 학습에 의한 자율주행 제어 방법에 있어서,
    이동체의 경로 요청 및 상기 경로 요청에 따른 연관 정보에 기초하여 경로 정보를 생성하는 단계;
    상기 경로 정보 및 상기 연관 정보에 기초하여, 경로 및 운행 제어를 위한 자율주행 인지, 판단 및 제어와 연관되는 주행 데이터 및 주행 소프트웨어를 포함하는 주행 정보를 검색하여 선택하는 단계;
    상기 경로 요청, 상기 연관 정보 및 상기 주행 데이터를 이용하여 상기 주행 소프트웨어를 학습하는 단계; 및
    상기 주행 정보를 상기 이동체에 배포하고, 상기 주행 정보에 기반하여 상기 이동체의 주행 제어를 실행하는 단계를 포함하는 자율주행 제어 방법.
  2. 제 1 항에 있어서,
    상기 연관 정보는 경로 요청 정보, 상기 이동체의 사용자 정보, 상기 사용자의 이동체에 대한 패턴 정보, 이동체 정보, 이동체 상태 정보, 관측 정보, 이벤트 정보, 도로 정보, 지도 정보, 경유지 정보 또는 제약 정보 중 적어도 하나를 포함하는, 자율주행 제어 방법.
  3. 제 1 항에 있어서,
    상기 주행 정보의 검색은, 상기 주행 정보가 상기 이동체에 존재하지 않는 경우, 외부 디바이스의 상기 주행 정보를 검색하여 선택하는 것을 포함하는, 자율주행 제어 방법.
  4. 제 1 항에 있어서,
    상기 주행 정보의 검색은, 상기 경로 정보, 상기 연관 정보, 상기 주행 데이터 및 상기 주행 소프트웨어로부터 도출되는 부가 정보 간의 유사성을 이용하고, 상기 부가 정보는 메타 데이터, 영상 데이터, 데이터 기하 또는 공간 데이터 중 적어도 하나를 포함하는, 자율주행 제어 방법.
  5. 제 4 항에 있어서,
    상기 주행 정보를 검색하여 선택하는 단계는,
    상기 부가 정보의 목표 데이터에 대한 정의가 추론되지 않는 경우, 상기 주행 데이터, 상기 주행 소프트웨어, 상기 목표 데이터에 대한 군집화 처리를 통해 유사 메타 데이터를 추출하는 단계; 및
    상기 추출된 유사 메타 데이터에 기초하여 상기 유사 주행 정보를 검색하는 단계를 더 포함하는, 자율주행 제어 방법.
  6. 제 1 항에 있어서,
    상기 주행 정보를 검색하여 선택하는 단계는, 상기 주행 데이터 및 상기 주행 소프트웨어가 안전 운행 모델에 따른 안전도를 보장하는지 여부를 결정하는 것을 더 포함하되,
    상기 안전도가 보장되지 않는 경우, 상기 이동체의 운행 제어권의 수동 개입을 허용하는지 여부를 결정하는 단계; 및
    상기 수동 개입이 허용되지 않는 경우, 상기 이동체의 경로 정보를 재설정하는 단계를 더 포함하는, 자율주행 제어 방법.
  7. 제 1 항에 있어서,
    상기 경로 정보를 생성하는 단계는
    상기 도로 지도 기반 후보 경로 정보를 생성하는 단계;
    상기 도로 지도의 도로 네트워크, 도로 노드 및 상기 도로 지도보다 정밀한 차선 지도의 차선 네트워크, 차선 노드에 기초하여, 상기 도로 네트워크 및 상기 도로 네트워크 간의 연결 관계를 정의하는 단계;
    차선 단위의 경로 정보가 생성가능한 경우, 상기 연결 관계 및 상기 차선 노드에 기반하여, 상기 도로 네트워크에 추가 노드를 생성하는 단계;
    상기 연결 관계를 이용하여, 상기 후보 경로 정보 상에 상기 차선 네트워크, 상기 차선 노드를 등록하는 단계를 포함하고,
    상기 주행 정보를 검색하여 선택하는 단계는, 상기 후보 경로 정보와 관련된 상기 주행 소프트웨어를 검색하는 것을 포함하고,
    상기 이동체의 주행 제어를 실행하는 단계는, 상기 차선 네트워크와 상기 차선 노드가 등록된 상기 후보 경로 정보에 기반하는 상기 주행 소프트웨어에 의해 복수의 설정 경로를 생성하고, 설정 경로의 성능 평가를 통해 결정된 경로 정보를 최종 경로 정보로 설정하고, 상기 최종 경로 정보에 기초하여 상기 이동체를 제어하는 것을 포함하는, 자율주행 제어 방법.
  8. 제 1 항에 있어서,
    상기 주행 정보를 검색하여 선택하는 단계 전에, 상기 경로 정보 및 상기 연관 정보에 기초하여 상기 이동체의 현재 주행 시나리오를 생성하는 단계를 더 포함하고,
    상기 주행 정보의 검색은, 상기 현재 주행 시나리오에 기초하여 검색되는 것을 더 포함하는, 자율주행 제어 방법.
  9. 제 8 항에 있어서,
    상기 주행 시나리오는 상기 이동체 및 다른 이동체의 과거 주행과 관련되어 축적되고,
    상기 주행 정보의 검색은, 상기 축적된 과거의 주행 시나리오는 상기 현재 주행 시나리오로부터 추정되는 경로의 위치에 기초하여 가중 처리되며, 상기 가중 처리된 과거의 주행 시나리오에 기초하여 상기 주행 정보를 검색하는 것을 포함하는, 자율주행 제어 방법.
  10. 제 1 항에 있어서,
    상기 주행 정보의 검색은, 상기 이동체가 상기 경로 정보 및 상기 연관 정보에 부합하는 주행 소프트웨어를 보유하지 않는 경우, 외부 디바이스로부터 획득한 주행 데이터 및 상기 이동체에서 주행 상황을 가상화하여 생성한 가상 주행 데이터 중 적어도 하나의 입력 데이터를 이용하여, 상기 이동체가 보유하는 주행 소프트웨어를 갱신 또는 수정하는 것을 더 포함하는, 자율주행 제어 방법
  11. 제 10 항에 있어서,
    상기 주행 소프트웨어의 갱신 또는 수정은,
    상기 입력 데이터의 직접적 이용에 기반하여 상기 주행 소프트웨어를 갱신하거나 수정하는 처리, 상기 입력 데이터의 분석에 의해 도출된 특정 데이터에 기반하여 상기 주행 소프트웨어를 갱신하거나 수정하는 처리, 및 상기 입력 데이터의 일부에 기반하여 상기 주행 소프트웨어를 1차적으로 갱신하거나 수정함과 아울러서, 상기 입력 데이터의 다른 일부에 기반하여 상기 1차적으로 갱신되거나 수정된 주행 소프트웨어를 2차적으로 갱신하거나 수정하는 처리 중, 어느 하나에 의해 수행되는.주행 소프트웨어, 자율주행 제어 방법
  12. 제 1 항에 있어서,
    상기 주행 정보를 검색하여 선택하는 단계는,
    상기 경로 정보의 경로에서 사용을 예상하는 센서 및 주행 정보를 탐색하는 단계;
    상기 탐색된 센서 및 주행 정보를 이용하는 경우, 안전도 보장 및 자원 지원이 가능한지 여부를 결정하는 단계: 및
    상기 안전도 보장 및 상기 자원 지원이 가능한 경우, 교통 상황, 주변 상황, 시간, 기상 상태에 기초하여, 상기 센서 및 상기 주행 정보의 최적 조합을 결정하는 단계를 포함하는, 자율주행 제어 방법.
  13. 경로 안내와 연동된 자율주행 소프트웨어의 검색 및 학습에 의한 자율주행 제어 장치에 있어서,
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    이동체의 경로 요청 및 상기 경로 요청에 따른 연관 정보에 기초하여 경로 정보를 생성하고,
    상기 경로 정보에 기초하여, 경로 및 운행 제어를 위한 자율주행 인지, 판단 및 제어와 연관되는 주행 데이터 및 주행 소프트웨어를 포함하는 주행 정보를 검색하여 선택하고,
    상기 경로 요청, 상기 연관 정보 및 상기 주행 데이터를 이용하여 상기 주행 소프트웨어를 학습하고,
    상기 주행 정보를 상기 이동체에 배포하고, 상기 주행 정보에 기반하여 상기 이동체의 주행 제어를 실행하도록 구성되는 자율주행 제어 장치.
KR1020220172560A 2022-12-12 2022-12-12 경로 안내와 연동된 자율주행 소프트웨어의 검색과 학습에 의한 자율주행 제어 방법 및 장치 Pending KR20240087146A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020220172560A KR20240087146A (ko) 2022-12-12 2022-12-12 경로 안내와 연동된 자율주행 소프트웨어의 검색과 학습에 의한 자율주행 제어 방법 및 장치
JP2022203688A JP7483846B1 (ja) 2022-12-12 2022-12-20 経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法及び装置
US18/084,946 US20240192007A1 (en) 2022-12-12 2022-12-20 Method and system for controlling autonomous driving by search and train of autonomous driving software linked with route guidance
EP22215339.7A EP4386323A1 (en) 2022-12-12 2022-12-21 Method and system for controlling autonomous driving by search and train of autonomous driving software linked with route guidance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220172560A KR20240087146A (ko) 2022-12-12 2022-12-12 경로 안내와 연동된 자율주행 소프트웨어의 검색과 학습에 의한 자율주행 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240087146A true KR20240087146A (ko) 2024-06-19

Family

ID=84547303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220172560A Pending KR20240087146A (ko) 2022-12-12 2022-12-12 경로 안내와 연동된 자율주행 소프트웨어의 검색과 학습에 의한 자율주행 제어 방법 및 장치

Country Status (4)

Country Link
US (1) US20240192007A1 (ko)
EP (1) EP4386323A1 (ko)
JP (1) JP7483846B1 (ko)
KR (1) KR20240087146A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119218207A (zh) * 2024-11-29 2024-12-31 龙坪智能科技(常州)有限公司 一种智慧停车场系统、自动泊车系统及方法

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR221900A0 (en) * 2000-12-20 2001-01-25 Central Queensland University Vehicle dynamics prediction system and method
US20040068351A1 (en) * 2002-04-22 2004-04-08 Neal Solomon System, methods and apparatus for integrating behavior-based approach into hybrid control model for use with mobile robotic vehicles
US7512487B1 (en) * 2006-11-02 2009-03-31 Google Inc. Adaptive and personalized navigation system
US7680749B1 (en) * 2006-11-02 2010-03-16 Google Inc. Generating attribute models for use in adaptive navigation systems
US7696866B2 (en) * 2007-06-28 2010-04-13 Microsoft Corporation Learning and reasoning about the context-sensitive reliability of sensors
WO2009038772A2 (en) * 2007-09-20 2009-03-26 Evolution Robotics Transferable intelligent control device
WO2010101749A1 (en) * 2009-03-05 2010-09-10 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
KR101548953B1 (ko) * 2013-12-24 2015-09-01 현대자동차주식회사 차량용 정보 갱신 방법 및 장치
KR20170046340A (ko) * 2015-10-21 2017-05-02 현대자동차주식회사 운전자 보조 시스템 및 이를 포함하는 차량, 운전자 보조 시스템의 제어방법
US10324463B1 (en) * 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US10024675B2 (en) * 2016-05-10 2018-07-17 Microsoft Technology Licensing, Llc Enhanced user efficiency in route planning using route preferences
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US11067995B2 (en) * 2017-03-20 2021-07-20 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
US10479376B2 (en) * 2017-03-23 2019-11-19 Uatc, Llc Dynamic sensor selection for self-driving vehicles
US10317240B1 (en) * 2017-03-30 2019-06-11 Zoox, Inc. Travel data collection and publication
JP2018185229A (ja) * 2017-04-26 2018-11-22 三菱自動車工業株式会社 経路検索システム，経路検索プログラム及び経路検索方法
US10501091B2 (en) * 2017-05-23 2019-12-10 Uber Technologies, Inc. Software version and mode switching for autonomous vehicles
US20180342033A1 (en) * 2017-05-23 2018-11-29 Uber Technologies, Inc. Trip classification system for on-demand transportation services
US10489721B2 (en) * 2017-05-23 2019-11-26 Uatc, Llc Path segment risk regression system for on-demand transportation services
US11288612B2 (en) * 2017-05-23 2022-03-29 Uatc, Llc Generalized risk routing for human drivers
US10884902B2 (en) * 2017-05-23 2021-01-05 Uatc, Llc Software version verification for autonomous vehicles
US11573573B2 (en) * 2017-06-06 2023-02-07 Plusai, Inc. Method and system for distributed learning and adaptation in autonomous driving vehicles
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
CN107702716B (zh) * 2017-08-31 2021-04-13 广州小鹏汽车科技有限公司 一种无人驾驶路径规划方法、系统和装置
US11003183B2 (en) * 2017-09-13 2021-05-11 Baidu Usa Llc Driving scene based path planning for autonomous driving vehicles
US20190113920A1 (en) 2017-10-18 2019-04-18 Luminar Technologies, Inc. Controlling an autonomous vehicle using model predictive control
US20190185010A1 (en) * 2017-12-18 2019-06-20 PlusAI Corp Method and system for self capability aware route planning in autonomous driving vehicles
US10816990B2 (en) * 2017-12-21 2020-10-27 Baidu Usa Llc Non-blocking boundary for autonomous vehicle planning
WO2019132930A1 (en) * 2017-12-28 2019-07-04 Intel Corporation System and method for simulation of autonomous vehicles
WO2019164531A1 (en) * 2018-02-26 2019-08-29 Nissan North America, Inc. Centralized shared autonomous vehicle operational management
KR102481487B1 (ko) * 2018-02-27 2022-12-27 삼성전자주식회사 자율 주행 장치 및 그의 제어 방법
US20190281052A1 (en) * 2018-03-08 2019-09-12 Auton, Inc. Systems and methods for securing an automotive controller network
WO2019191313A1 (en) * 2018-03-27 2019-10-03 Nvidia Corporation Remote operation of vehicles using immersive virtual reality environments
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
WO2020021126A1 (en) * 2018-07-27 2020-01-30 Embotech Ag Method for steering a vehicle and apparatus therefor
JP7001569B2 (ja) * 2018-10-03 2022-01-19 株式会社日立製作所 配車計画システム、情報処理装置、及び配車計画システムの制御方法
KR102521657B1 (ko) * 2018-10-15 2023-04-14 삼성전자주식회사 차량을 제어하는 방법 및 장치
US10816987B2 (en) * 2018-10-15 2020-10-27 Zoox, Inc. Responsive vehicle control
JP2020097266A (ja) * 2018-12-17 2020-06-25 トヨタ自動車株式会社 車両の走行制御装置
US10955841B2 (en) * 2018-12-28 2021-03-23 At&T Intellectual Property I, L.P. Autonomous vehicle sensor security system
US11656620B2 (en) * 2018-12-31 2023-05-23 Luminar, Llc Generating environmental parameters based on sensor data using machine learning
US20200356951A1 (en) * 2019-01-03 2020-11-12 Lucomm Technologies, Inc. Robotic Devices
US11249492B2 (en) * 2019-03-26 2022-02-15 Intel Corporation Methods and apparatus to facilitate autonomous navigation of robotic devices
WO2020196084A1 (ja) * 2019-03-28 2020-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法及び情報処理システム
WO2020200502A1 (en) 2019-04-05 2020-10-08 NEC Laboratories Europe GmbH Method and system for supporting autonomous driving of an autonomous vehicle
DE102020111682A1 (de) * 2019-04-29 2020-10-29 Aptiv Technologies Limited Systeme und verfahren zum implementieren einer autonomen fahrzeugreaktion auf ein sensorversagen
CN110118661B (zh) * 2019-05-09 2024-03-26 腾讯科技（深圳）有限公司 驾驶仿真场景的处理方法、装置及存储介质
US11247695B2 (en) * 2019-05-14 2022-02-15 Kyndryl, Inc. Autonomous vehicle detection
US11928557B2 (en) * 2019-06-13 2024-03-12 Lyft, Inc. Systems and methods for routing vehicles to capture and evaluate targeted scenarios
US11548518B2 (en) * 2019-06-28 2023-01-10 Woven Planet North America, Inc. Subjective route comfort modeling and prediction
US11338819B2 (en) * 2019-09-30 2022-05-24 Baidu Usa Llc Cloud-based vehicle calibration system for autonomous driving
US11900244B1 (en) * 2019-09-30 2024-02-13 Amazon Technologies, Inc. Attention-based deep reinforcement learning for autonomous agents
KR20210049239A (ko) * 2019-10-24 2021-05-06 엘지전자 주식회사 차량의 리소스 관리
US11885907B2 (en) * 2019-11-21 2024-01-30 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
KR20210082321A (ko) * 2019-12-24 2021-07-05 엘지전자 주식회사 인공지능형 모빌리티 디바이스 제어 방법 및 인공지능형 모빌리티를 제어하는 지능형 컴퓨팅 디바이스
EP4081431A4 (en) * 2019-12-27 2023-08-23 Mobileye Vision Technologies Ltd. DRIVING SAFETY SYSTEM
US20210248460A1 (en) * 2020-02-07 2021-08-12 Uatc, Llc Systems and Methods for Optimized Multi-Agent Routing Between Nodes
US11966673B2 (en) * 2020-03-13 2024-04-23 Nvidia Corporation Sensor simulation and learning sensor models with generative machine learning methods
CA3116378A1 (en) * 2020-04-25 2021-10-25 Paccar Inc. System and method for cloud computing-based vehicle configuration
WO2021245201A1 (en) * 2020-06-03 2021-12-09 Five AI Limited Testing and simulation in autonomous driving
EP4162338B1 (en) * 2020-06-05 2025-07-09 Gatik AI Inc. Method and system for deterministic trajectory selection based on uncertainty estimation for an autonomous agent
US11875551B2 (en) * 2020-06-09 2024-01-16 Navbirswagen Aktiengesellschaft Collecting and processing data from vehicles
WO2021262603A1 (en) * 2020-06-25 2021-12-30 Nvidia Corporation Sensor fusion for autonomous machine applications using machine learning
US12056136B2 (en) * 2020-06-30 2024-08-06 Lyft, Inc. Systems and methods for encoding and searching scenario information
JP7040571B2 (ja) * 2020-09-03 2022-03-23 トヨタ自動車株式会社 学習装置及びモデル学習システム
US11858536B1 (en) * 2020-10-31 2024-01-02 Uatc, Llc Systems and methods for interactive prediction and planning
GB2600717A (en) * 2020-11-05 2022-05-11 Dromos Tech Ag Transportation network for multi-featured autonomous vehicles
EP4006784A1 (en) * 2020-11-26 2022-06-01 Zenuity AB Methods and systems for automated driving system experience monitoring and/or management
US11807266B2 (en) * 2020-12-04 2023-11-07 Mitsubishi Electric Corporation Driving system for distribution of planning and control functionality between vehicle device and cloud computing device, vehicle computing device, and cloud computing device
US11912301B1 (en) * 2020-12-10 2024-02-27 Zoox, Inc. Top-down scenario exposure modeling
JP2022094838A (ja) 2020-12-15 2022-06-27 トヨタ自動車株式会社 情報処理装置、情報処理システム、およびプログラム
US11809190B2 (en) * 2021-04-30 2023-11-07 Zoox, Inc. Methods and systems to assess vehicle capabilities
US11907857B2 (en) * 2021-06-03 2024-02-20 International Business Machines Corporation Dynamic selection of parameter threshold values
US11891088B1 (en) * 2021-06-14 2024-02-06 Zoox, Inc. Adversarial agent controls generation and problematic scenario forecasting
US12253365B2 (en) * 2021-09-15 2025-03-18 Here Global B.V. Method, apparatus, and system for aggregating a route based on high-resolution sampling
US20230194291A1 (en) * 2021-12-22 2023-06-22 Capital One Services, Llc Generating a test drive route
US11698910B1 (en) * 2022-07-21 2023-07-11 Plusai, Inc. Methods and apparatus for natural language-based safety case discovery to train a machine learning model for a driving system
US20240092390A1 (en) * 2022-09-21 2024-03-21 Nvidia Corporation Virtual agent trajectory prediction and traffic modeling for machine simulation systems and applications
US20240192004A1 (en) * 2022-12-12 2024-06-13 Dana Heavy Vehicle Systems Group, Llc Fleet route physics-based modeling
US20240330065A1 (en) * 2023-03-29 2024-10-03 International Business Machines Corporation Edge data processing
US20250076486A1 (en) * 2023-08-30 2025-03-06 Zoox, Inc. Fusion of radar and infrared data for object detection and tracking
US20250181961A1 (en) * 2023-11-30 2025-06-05 Here Global B.V. Apparatus and method for determining an impact of high-beam lights on behaviors of users

Also Published As

Publication number Publication date
US20240192007A1 (en) 2024-06-13
JP2024084084A (ja) 2024-06-24
JP7483846B1 (ja) 2024-05-15
EP4386323A1 (en) 2024-06-19

Similar Documents

Publication Publication Date Title
US11131993B2 (en) Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
US11842530B2 (en) Systems and methods for latent distribution modeling for scene-consistent motion forecasting
US11585669B2 (en) Vehicle routing using connected data analytics platform
US20230339500A1 (en) System, Method, and Computer Program Product for Topological Planning in Autonomous Driving Using Bounds Representations
JP2023510136A (ja) 知覚、予測又は計画のための地理的位置特定モデル
US11891087B2 (en) Systems and methods for generating behavioral predictions in reaction to autonomous vehicle movement
WO2021178513A1 (en) Systems and methods for integrating radar data for improved object detection in autonomous vehicles
US11834069B2 (en) Systems and methods for selecting trajectories based on interpretable semantic representations
CN107943016A (zh) 用于自主车辆的群体驾驶风格学习框架
WO2020263333A1 (en) Augmented 3d map
US10836405B2 (en) Continual planning and metareasoning for controlling an autonomous vehicle
US20230343222A1 (en) System for sparsely representing and storing geographic and map data
US20240166237A1 (en) Multistage Autonomous Vehicle Motion Planning
JP7483846B1 (ja) 経路案内と連動した自律走行ソフトウェアの検索及び学習による自律走行制御方法及び装置
US11904870B2 (en) Configuration management system for autonomous vehicle software stack
US20240140486A1 (en) Methods and apparatuses for closed-loop evaluation for autonomous vehicles
KR20230075897A (ko) 주행 경로에 따른 이동체의 적응적 제어 방법
US11783178B2 (en) Systems and methods for corridor intent prediction
EP4556853A1 (en) Method for constructing autonomous routes based on sensor perceived information and device for assisting autonomous driving
KR20250068006A (ko) 자율주행을 위한 데이터 검색 및 소프트웨어 개발 최적화 시스템 및 방법
Shreyas et al. Adaptive Edge Computing for Autonomous Vehicles in Varying Environment
CN117275272A (zh) 用参与者行为流程图验证原车道
JP2022191917A (ja) 挙動予測システム、挙動予測装置、挙動予測方法、挙動予測プログラム
CN118533187A (zh) 轨迹预测方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20221212

PA0201 Request for examination
PG1501 Laying open of application
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240925

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250528