[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20220084576A - Apparatus for building a database to support artificial intelligence-based autonomous driving - Google Patents

Apparatus for building a database to support artificial intelligence-based autonomous driving Download PDF

Info

Publication number
KR20220084576A
KR20220084576A KR1020200174186A KR20200174186A KR20220084576A KR 20220084576 A KR20220084576 A KR 20220084576A KR 1020200174186 A KR1020200174186 A KR 1020200174186A KR 20200174186 A KR20200174186 A KR 20200174186A KR 20220084576 A KR20220084576 A KR 20220084576A
Authority
KR
South Korea
Prior art keywords
vehicle
sensor
database
integrated
information
Prior art date
Application number
KR1020200174186A
Other languages
Korean (ko)
Inventor
정명환
김주섭
강문준
나경진
Original Assignee
오토아이티(주)
아진산업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오토아이티(주), 아진산업(주) filed Critical 오토아이티(주)
Priority to KR1020200174186A priority Critical patent/KR20220084576A/en
Publication of KR20220084576A publication Critical patent/KR20220084576A/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/002Integrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057Frequency analysis, spectral techniques or transforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • B60W2420/52

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 인공지능 기반 자율주행차용 데이터베이스 구축 장치에 관한 것으로, 이는 차량 전방 최상단에 설치되는 라이다 센서, 차량 전방 상측에 설치되는 카메라 센서, 차량 후방 상측에 설치되는 ToF 센서, 차량 후방 양측면에 분산 설치되는 두 개의 레이더 센서를 구비하여, 다수의 센싱 정보를 동시 획득하는 통합 센싱부; 상기 라이다 센서, 상기 카메라 센서, 상기 ToF 센서, 상기 레이더 센서 각각과의 상호 연동을 통합 지원하고, 상기 다수의 정보를 기 설정된 데이터 포맷으로 일괄 변환한 후 하나의 통합 센싱 정보로 통합하여 출력하는 통합 인터페이싱 장치; 및 객체 유형과 주행 상황에 따라 세분화된 다수의 차량 시나리오를 구비하고, 상기 통합 센싱 정보를 차량 시나리오별로 분류 및 저장하여 차량 시나리오별 데이터베이스를 구축하는 차량 임베디드 프로세서를 포함할 수 있다. The present invention relates to a database building device for an AI-based autonomous vehicle, which is a lidar sensor installed at the top of the front of the vehicle, a camera sensor installed in the upper front of the vehicle, a ToF sensor installed in the upper rear of the vehicle, and distributed on both sides of the rear of the vehicle an integrated sensing unit having two installed radar sensors to simultaneously acquire a plurality of sensing information; Integrated support for interworking with each of the lidar sensor, the camera sensor, the ToF sensor, and the radar sensor, converting the plurality of information into a preset data format, and integrating and outputting the information into one integrated sensing information integrated interfacing device; and a vehicle embedded processor that includes a plurality of vehicle scenarios subdivided according to object types and driving conditions, classifies and stores the integrated sensing information for each vehicle scenario, and builds a database for each vehicle scenario.

Description

인공지능 기반 자율주행차용 데이터베이스 구축 장치{Apparatus for building a database to support artificial intelligence-based autonomous driving}Apparatus for building a database to support artificial intelligence-based autonomous driving}

본 발명은 차량 자율주행을 위한 인공 지능망 학습에 필요한 데이터를 획득 및 제공하기 위한 인공지능 기반 자율주행차용 데이터베이스 구축 장치에 관한 것이다.The present invention relates to an apparatus for constructing a database for an artificial intelligence-based autonomous vehicle for acquiring and providing data necessary for learning an artificial intelligence network for autonomous vehicle driving.

자율주행 자동차는 산업적으로는 자동차 시장으로 인식되나, 최근에는 스스로 이동하는 로봇과 에너지, 환경 등 연관된 생태계가 확장되고 있다. Autonomous vehicles are recognized as an automobile market industrially, but recently, autonomous robots, energy, and related ecosystems such as the environment are expanding.

통신기술의 발전을 통한 연결성으로 차체의 인지 범위가 확장되어 위험 순간을 사전에 대비할 수 있고, 자동화 기능은 인공지능기술의 융합으로 고도화된 운전자의 두뇌를 모방하는 소프트웨어와 반도체, 시스템의 저전력 저발열 기술개발 등 지속적인 기술적 향상이 진행되고 있다.Connectivity through the development of communication technology expands the cognitive range of the body to prepare for dangerous moments in advance, and the automation function is software that mimics the brain of a driver who has been advanced through the convergence of artificial intelligence technology, low power and low heat generation of the system. Continuous technological improvement such as technology development is in progress.

특히, 자율주행 자동차는 인공 지능 기술을 채용하며, 자율 주행차용 인공지능 기술은 영상을 기반으로 보행자, 차량, 차선, 도로마커, 표지판을 검출하는 검출/인식 기술과 검출된 데이터를 토대로 상황을 인지하도록 한다. In particular, autonomous vehicles employ artificial intelligence technology, and artificial intelligence technology for autonomous vehicles recognizes situations based on detected data and detection/recognition technology that detects pedestrians, vehicles, lanes, road markers, and signs based on images. to do it

또한 주행에 대한 정밀한 판단을 위해서는 영상 데이터 이외에도 레이더, 라이더, TOF 등 이종 센서 데이터를 채용 및 활용하도록 한다. In addition, in addition to image data, heterogeneous sensor data such as radar, lidar, and TOF should be adopted and utilized for precise judgment on driving.

다만, 종래에는 획득 완료된 데이터를 기반으로 인공 지능을 보다 효과적으로 학습하기 위한 기술에 그 초점이 맞춰져 있을 뿐, 차량 자율주행을 위한 인공 지능망 학습에 필요한 데이터베이스를 보다 효율적으로 신뢰성있게 획득 및 구축하기 위한 기술에 대한 고려가 전혀 없었던 한계가 있었다. However, in the prior art, the focus has only been on the technology for more effectively learning artificial intelligence based on the acquired data, and the technology for more efficiently and reliably acquiring and building the database required for learning the artificial intelligence network for autonomous vehicle driving. There was a limitation in which there was no consideration at all.

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 영상, 레이더, 라이더, TOF과 같은 다중 센서 정보를 최적 상태에서 획득할 수 있도록 하는 인공지능 기반 자율주행차용 데이터베이스 구축 장치를 제공하고자 한다. Accordingly, in order to solve the above problems, the present invention is to provide an artificial intelligence-based database construction apparatus for autonomous vehicles that can acquire multi-sensor information such as images, radar, lidar, and TOF in an optimal state.

또한 차량 시나리오별 데이터베이스를 구축 및 제공함으로써, 차량 자율주행을 위한 인공 지능망 학습에 보다 효과적으로 이용될 수 있도록 하는 인공지능 기반 자율주행차용 데이터베이스 구축 장치를 제공하고자 한다. In addition, by building and providing a database for each vehicle scenario, it is intended to provide an artificial intelligence-based database construction device for autonomous vehicles that can be used more effectively in learning artificial intelligence networks for vehicle autonomous driving.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the object mentioned above, and other objects not mentioned will be clearly understood by those of ordinary skill in the art from the description below.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 차량 전방 최상단에 설치되는 라이다 센서, 차량 전방 상측에 설치되는 카메라 센서, 차량 후방 상측에 설치되는 ToF 센서, 차량 후방 양측면에 분산 설치되는 두 개의 레이더 센서를 구비하여, 다수의 센싱 정보를 동시 획득하는 통합 센싱부; 상기 라이다 센서, 상기 카메라 센서, 상기 ToF 센서, 상기 레이더 센서 각각과의 상호 연동을 통합 지원하고, 상기 다수의 정보를 기 설정된 데이터 포맷으로 일괄 변환한 후 하나의 통합 센싱 정보로 통합하여 출력하는 통합 인터페이싱 장치; 및 객체 유형과 주행 상황에 따라 세분화된 다수의 차량 시나리오를 구비하고, 상기 통합 센싱 정보를 차량 시나리오별로 분류 및 저장하여 차량 시나리오별 데이터베이스를 구축하는 차량 임베디드 프로세서를 포함하는 인공지능 기반 자율주행차용 데이터베이스 구축 장치를 제공한다. As a means for solving the above problems, according to an embodiment of the present invention, a lidar sensor installed at the top of the front of the vehicle, a camera sensor installed on the front of the vehicle, a ToF sensor installed on the upper side of the rear of the vehicle, and distributed on both sides of the rear of the vehicle an integrated sensing unit having two installed radar sensors to simultaneously acquire a plurality of sensing information; Integrated support for interworking with each of the lidar sensor, the camera sensor, the ToF sensor, and the radar sensor, converts the plurality of information into a preset data format, and then integrates and outputs the integrated sensing information integrated interfacing device; and a vehicle embedded processor having a plurality of vehicle scenarios subdivided according to object type and driving situation, classifying and storing the integrated sensing information for each vehicle scenario, and building a database for each vehicle scenario. A building device is provided.

상기 통합 센싱부는 상기 라이다 센서를 통해 차량 전방을 70도 내지 110도의 화각으로 원거리 센싱하고, 상기 카메라 센서를 통해 차량 전방을 2도 내지 56도의 화각으로 의 화각으로 원거리 촬영하고, 상기 ToF 센서를 통해 차량 후방을 80도 내지 100도의 화각으로 초근거리 센싱하고, 상기 두 개의 레이더 센서를 통해 차량 후방 양측면을 5도 내지 20도의 화각으로 원거리 센싱하거나 또는 40도 내지 50도의 화각으로 근거리 센싱하는 것을 특징으로 한다. The integrated sensing unit remotely senses the front of the vehicle at an angle of view of 70 degrees to 110 degrees through the lidar sensor, and remotely shoots the front of the vehicle with an angle of view of 2 degrees to 56 degrees through the camera sensor, and uses the ToF sensor Sensing the rear of the vehicle at an angle of view of 80 to 100 degrees through an ultra-short distance sensing, and sensing the rear side of the vehicle at an angle of view of 5 to 20 degrees through the two radar sensors, or short-distance sensing with an angle of view of 40 to 50 degrees do it with

상기 차량 임베디드 프로세서는 차량 시나리오별 데이터베이스에 기반하여, 차량 시나리오와 통합 센싱 데이터간의 상관관계가 정의된 대용량의 학습 데이터를 생성하여 제공하는 기능을 더 포함하는 것을 특징으로 한다. The vehicle embedded processor may further include a function of generating and providing a large amount of learning data in which a correlation between the vehicle scenario and the integrated sensing data is defined based on the database for each vehicle scenario.

상기 학습 데이터는 상기 통합 센싱 데이터의 특징 정보를 입력 조건으로, 차량 시나리오의 객체 유형과 주행 상황을 출력 조건으로 가지는 것을 특징으로 한다. The learning data is characterized by having characteristic information of the integrated sensing data as an input condition and an object type and driving situation of a vehicle scenario as an output condition.

상기 통합 센싱 데이터의 특징 정보는 상기 라이다 센서의 출력으로부터 추출된 객체의 종류, 형상, 거리, 방향에 대한 정보, 상기 카메라 센서의 출력으로부터 추출된 객체 종류, 위치에 대한 정보, 상기 ToF 센서와 상기 레이더 센서의 출력으로부터 추출된 객체와의 거리에 대한 정보로 구성되는 것을 특징으로 한다. The characteristic information of the integrated sensing data includes information on the type, shape, distance, and direction of the object extracted from the output of the lidar sensor, the type of object extracted from the output of the camera sensor, information on the location, the ToF sensor and It is characterized in that it is composed of information about the distance to the object extracted from the output of the radar sensor.

본 발명은 영상, 레이더, 라이더, TOF를 최적 위치에 설치하여 통합 센서 정보를 획득할 수 있도록 함으로써, 객체 유형과 주행 상황을 보다 신뢰성있게 모니터링할 수 있도록 해준다. The present invention makes it possible to more reliably monitor object types and driving conditions by installing images, radar, lidar, and TOF in optimal positions to acquire integrated sensor information.

또한 차량 시나리오에 따라 통합 센싱 데이터를 분류 저장하여 차량 시나리오별 데이터베이스를 자동 구축 및 제공할 수 있도록 함으로써, 인공 지능망 학습시 별도의 데이터분류 동작을 수행할 필요가 없도록 한다. 다시 말해, 차량 자율주행을 위한 인공 지능망 학습에 보다 효과적으로 이용될 수 있도록 데이터베이스를 자동으로 구축 및 제공할 수 있도록 한다. In addition, it is possible to automatically build and provide a database for each vehicle scenario by classifying and storing the integrated sensing data according to the vehicle scenario, thereby eliminating the need to perform a separate data classification operation when learning the AI network. In other words, it makes it possible to automatically build and provide a database so that it can be used more effectively for artificial intelligence network learning for vehicle autonomous driving.

도 1는 본 발명의 일 실시예에 따른 인공지능 기반 자율주행차용 데이터베이스 구축 장치의 구성도를 도시한 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 학습 데이터 구축 장치의 카메라 센서 및 센서 배치도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량 시나리오별 데이터베이스 구축 방법을 설명하기 위한 도면이다.
1 is a diagram illustrating a configuration diagram of an apparatus for constructing a database for an AI-based autonomous vehicle according to an embodiment of the present invention.
2 and 3 are diagrams illustrating a camera sensor and a sensor arrangement diagram of an apparatus for constructing learning data according to an embodiment of the present invention.
4 is a diagram for explaining a method of constructing a database for each vehicle scenario according to an embodiment of the present invention.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following is merely illustrative of the principles of the invention. Therefore, those skilled in the art will be able to devise various devices that, although not explicitly described or shown herein, embody the principles of the present invention and are included within the spirit and scope of the present invention. Further, it is to be understood that all conditional terms and examples listed herein are, in principle, expressly intended solely for the purpose of enabling the concept of the present invention to be understood, and not limited to the specifically enumerated embodiments and states as such. should be

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.Moreover, it is to be understood that all detailed description reciting the principles, aspects, and embodiments of the invention, as well as specific embodiments, are intended to cover structural and functional equivalents of such matters. It should also be understood that such equivalents include not only currently known equivalents, but also equivalents developed in the future, i.e., all devices invented to perform the same function, regardless of structure.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Thus, for example, the block diagrams herein are to be understood as representing conceptual views of illustrative circuitry embodying the principles of the invention. Similarly, all flowcharts, state transition diagrams, pseudo code, etc. may be tangibly embodied on computer-readable media and be understood to represent various processes performed by a computer or processor, whether or not a computer or processor is explicitly shown. should be

도 1는 본 발명의 일 실시예에 따른 인공지능 기반 자율주행차용 데이터베이스 구축 장치의 구성도를 도시한 도면이다. 1 is a diagram illustrating a configuration diagram of an apparatus for constructing a database for an AI-based autonomous vehicle according to an embodiment of the present invention.

도 1을 참고하면, 본 발명의 학습 데이터 구축 장치는 크게 통합 센싱부(100), 통합 인터페이싱 장치(200) 및 차량 임베디드 프로세서(300)로 구성될 수 있다. Referring to FIG. 1 , the learning data building apparatus of the present invention may be largely composed of an integrated sensing unit 100 , an integrated interfacing device 200 , and a vehicle embedded processor 300 .

통합 센싱부(100)는 원거리 인식을 위한 라이다 센서(110), 객체 인식을 위한 카메라 센서(120), 주차 보조를 위한 ToF 센서(130), 및 후측방 경보를 위한 두 개의 레이더 센서(141,142) 등을 구비하고, 이들을 통해 차량 주변 상황에 대한 센싱 정보를 다양한 형태로 동시 획득하도록 한다. The integrated sensing unit 100 includes a lidar sensor 110 for remote recognition, a camera sensor 120 for object recognition, a ToF sensor 130 for parking assistance, and two radar sensors 141 and 142 for rear-side warning. ) and the like, and through them, sensing information about the vehicle surroundings can be simultaneously acquired in various forms.

이때, 라이다 센서(110)를 원거리 전방의 입체 이미지를 획득 및 제공하고, 카메라 센서는 원거리 전방의 칼라 영상을 획득 및 제공하고, ToF 센서(130)는 차량 초근거리 후방의 깊이 영상을 획득 및 제공하고, 레이더 센서는 차량 후측방의 장애물과의 거리를 센싱 및 제공하도록 한다.At this time, the lidar sensor 110 obtains and provides a three-dimensional image of the far front, the camera sensor obtains and provides a color image of the far front, and the ToF sensor 130 obtains and provides a depth image of the rear of the vehicle ultra-short distance and the radar sensor senses and provides a distance to an obstacle on the rear side of the vehicle.

통합 인터페이싱 장치(200)는 CAN, LIN, FlexRay, Ethernet, Serial 등의 차량 통신 인터페이스를 다양하게 구비하고, 이들을 통해 라이다 센서(110), 카메라 센서(120), ToF 센서(130), 및 두 개의 레이더 센서(141,142) 각각과의 상호 연동을 통합 지원한다. 그리고 사용자가 필요로 하는 데이터 포맷을 사전 설정할 수 있도록 하고, 이에 따라 통합 센싱부(100)를 통해 획득되는 정보들 각각의 데이터 포맷을 일괄 변환한 후, 하나의 통합 센싱 데이터로 통합하여 출력한다. The integrated interfacing device 200 has various vehicle communication interfaces such as CAN, LIN, FlexRay, Ethernet, and Serial, and through these, the lidar sensor 110, the camera sensor 120, the ToF sensor 130, and two Interworking with each of the radar sensors 141 and 142 is integrated and supported. In addition, the data format required by the user can be preset, and the data format of each of the pieces of information obtained through the integrated sensing unit 100 is batch-converted, and then integrated into one integrated sensing data and output.

차량 임베디드 프로세서(300)는 차량 내부에 설치 가능한 임베디드 장치로 구현된다. 이는 객체 유형과 주행 상황이 세분화된 다수의 차량 시나리오를 구비하고, 통합 인터페이싱 장치(200)의 통합 센싱 데이터를 상기의 차량 시나리오별로 분류하여 저장함으로써, 차량 시나리오별 데이터베이스를 구축한다. The vehicle embedded processor 300 is implemented as an embedded device that can be installed inside a vehicle. This includes a plurality of vehicle scenarios in which object types and driving conditions are subdivided, and by classifying and storing the integrated sensing data of the integrated interfacing device 200 for each vehicle scenario, a database for each vehicle scenario is constructed.

또한 라이다 센서(110), 카메라 센서(120), ToF 센서(130)가 설치 또는 위치 조정되는 경우, 라이다 센싱 정보, 카메라 영상, ToF 센싱 정보 각각에 대한 객체 검출 동작을 수행하여 차량 본체 검출 여부를 확인하고, 차량 본체 검출시에는 센서 재설치를 요청하는 경고 정보를 생성 및 제공할 수 있도록 한다. 즉, 차량 본체에 의해 센싱 범위가 침해 또는 감소되는 것을 사전 방지할 수 있도록 한다. In addition, when the lidar sensor 110 , the camera sensor 120 , and the ToF sensor 130 are installed or positioned, the vehicle body is detected by performing an object detection operation for each of the lidar sensing information, the camera image, and the ToF sensing information. It is checked whether the vehicle body is detected, and warning information for requesting reinstallation of the sensor can be generated and provided. That is, it is possible to prevent in advance that the sensing range is violated or reduced by the vehicle body.

이에 더하여, 차량 임베디드 프로세서(300)는 차량 시나리오별 데이터베이스에 기반하여, 자율주행을 위한 인공지능망 학습을 위한 데이터도 생성 및 제공할 수 있도록 한다. 즉, 차량 시나리오와 통합 센싱 데이터간의 상관관계가 정의된 대용량의 학습 데이터를 직접 생성하여 제공할 수도 있도록 한다. In addition, the vehicle embedded processor 300 also generates and provides data for learning the artificial intelligence network for autonomous driving based on the database for each vehicle scenario. That is, it is possible to directly generate and provide large-capacity learning data in which the correlation between the vehicle scenario and the integrated sensing data is defined.

도 2 및 도 3은 본 발명의 일 실시예에 따른 학습 데이터 구축 장치의 카메라 센서 및 센서 배치도를 도시한 도면이다. 2 and 3 are diagrams illustrating a camera sensor and a sensor arrangement diagram of an apparatus for constructing learning data according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명에서는 카메라 센서 및 센서 특성을 고려하여 라이다 센서(110), 카메라 센서(120), ToF(Time Of Flight) 센서(130), 및 두 개의 레이더 센서(141,142)를 분산 배치한다. As shown in FIG. 2 , in the present invention, a lidar sensor 110 , a camera sensor 120 , a Time Of Flight (ToF) sensor 130 , and two radar sensors 141 and 142 in consideration of the camera sensor and sensor characteristics. ) are distributed.

라이다 센서(110는 빛을 이용하여 주변 환경을 3차원 이미지화시키는 장치로, 차량 전방 최상단(예를 들어, 차량 지붕)에 설치되어 차량 전방을 70도 내지 110도의 화각으로 원거리 센싱(예를 들어, 100~500M)하도록 한다. The lidar sensor 110 is a device that uses light to image the surrounding environment in three dimensions. It is installed at the top of the front of the vehicle (eg, on the roof of the vehicle) and senses the front of the vehicle with an angle of view of 70 degrees to 110 degrees (for example, , 100~500M).

카메라 센서(120)는 가시광선을 이용하여 영상을 획득하는 장치로, 이는 차량 전방 상측(예를 들어, 차량 전방 룸 미러 뒤)에 설치되어 차량 전방을 42도 내지 56도의 화각으로 원거리 촬영(예를 들어, 80~120M)하도록 한다. The camera sensor 120 is a device that acquires an image using visible light, which is installed on the upper side of the front of the vehicle (eg, behind the vehicle front rearview mirror) to take long-distance photography (eg, the front of the vehicle with an angle of view of 42 to 56 degrees) For example, 80~120M).

ToF 센서(130)는 TOF 방식(즉, 빛을 쏘아서 반사되어 오는 시간을 측정하여 거리를 계산하는 방식)을 사용하여 거리(depth) 이미지를 출력하는 장치로, 차량 후방 상측(예를 들어, 차량 트렁크 상측)에 설치되어 차량 후방을 80도 내지 100도의 화각으로 초근거리 촬영(예를 들어, 0.5~6M)하도록 한다. The ToF sensor 130 is a device that outputs a depth image using the TOF method (that is, a method of calculating a distance by measuring a time when light is emitted and reflected), and is a device for outputting a depth image at the upper rear side of the vehicle (eg, the vehicle It is installed on the upper side of the trunk) to take ultra-short-range shooting (eg, 0.5 to 6M) of the rear of the vehicle with an angle of view of 80 to 100 degrees.

두 개의 레이더 센서(141,142)는 전자기파를 이용하여 전방 장애물을 탐지하는 장치로, 각각 레이더 센서를 통해 차량 후방 양측면(예를 들어, 차량 후방 라이트)을 5도 내지 20도의 화각으로 원거리 센싱(150~200M)하거나, 또는 차량 후방 양 측면을 40도 내지 50도의 화각으로 근거리 센싱(50~80M)하도록 한다. The two radar sensors 141 and 142 are devices for detecting forward obstacles using electromagnetic waves, and each of the radar sensors detects both sides of the rear of the vehicle (for example, the rear lights of the vehicle) at an angle of view of 5 to 20 degrees (150 ~ 200M), or short-range sensing (50-80M) with an angle of view of 40 to 50 degrees on both sides of the rear of the vehicle.

즉, 본 발명은 라이다 센서(110), 카메라 센서(120), ToF 센서(130), 및 두 개의 레이더 센서(141,142)를 통합 이용하여, 다양한 차량 시나리오하에서 차량 주변 상황에 대한 단거리 및 장거리 지도를 생성 및 제공하도록 한다. That is, the present invention integrates the lidar sensor 110, the camera sensor 120, the ToF sensor 130, and the two radar sensors 141 and 142, and provides short-distance and long-distance maps for vehicle surroundings under various vehicle scenarios. to create and provide

도 4는 본 발명의 일 실시예에 따른 차량 시나리오별 데이터베이스 구축 방법을 설명하기 위한 도면이다. 4 is a diagram for explaining a method of constructing a database for each vehicle scenario according to an embodiment of the present invention.

먼저, 객체 유형과 주행 상황을 세분화한 다수의 차량 시나리오를 작성한다(S1). 이때, 객체 유형은 사람, 차량, 동물, 건물 등으로 세분화될 수 있으며, 주행 상황은 차량 속도, 도로 상황, 날씨, 조도 등으로 세분화될 수 있을 것이다. First, a plurality of vehicle scenarios in which object types and driving situations are subdivided are created (S1). In this case, the object type may be subdivided into a person, a vehicle, an animal, a building, and the like, and the driving situation may be subdivided into a vehicle speed, a road situation, weather, illuminance, and the like.

그리고 차량 시나리오에 따라 객체 유형과 주행 상황 중 적어도 하나를 가변하면서, 라이다 센서(110), 카메라 센서(120), ToF 센서(130), 및 두 개의 레이더 센서(141,142) 모두를 동시 이용하여 차량 주변 상황을 다양한 형태로 통합 모니터링한다(S2).In addition, while changing at least one of an object type and a driving situation according to a vehicle scenario, the vehicle using the lidar sensor 110 , the camera sensor 120 , the ToF sensor 130 , and both the radar sensors 141 and 142 at the same time The surrounding situation is integrated and monitored in various forms (S2).

그리고 라이다 센서(110), 카메라 센서(120), ToF 센서(130), 및 두 개의 레이더 센서(141,142) 각각이 획득 및 제공하는 데이터들의 데이터 포맷을 기 설정된 데이터 포맷을 일괄 변환하여 하나의 통합 센싱 데이터로 취합 한 후(S3), 차량 시나리오별로 분류하여 저장함으로써 차량 시나리오별 데이터베이스를 구축한다(S4). And the data format of the data acquired and provided by the lidar sensor 110, the camera sensor 120, the ToF sensor 130, and the two radar sensors 141 and 142, respectively, is converted into one integrated data format. After collecting the sensing data (S3), by classifying and storing by vehicle scenario, a database for each vehicle scenario is constructed (S4).

이와 같이, 차량 시나리오별 데이터베이스가 구축된 상태에서 외부 장치가 통합 인터페이싱 장치(200)를 통해 접속한 후, 특정 차량 시나리오에 대응되는 데이터베이스의 제공을 요청하면(S5), 차량 임베디드 프로세서(300)는 이에 응답하여 해당 차량 시나리오에 대응되는 데이터베이스를 검색하여 외부 장치에 즉각 제공하도록 한다(S5). In this way, in a state where the database for each vehicle scenario is built, when an external device connects through the integrated interfacing device 200 and requests the provision of a database corresponding to a specific vehicle scenario (S5), the vehicle embedded processor 300 is In response, a database corresponding to the corresponding vehicle scenario is searched and immediately provided to an external device (S5).

상기의 설명에서는 통합 센싱 데이터를 원본 그대로 저장한다고 설명하였지만, 데이터 저장 효율 향상을 위해 통합 센싱 데이터에 대한 특징 정보 추출 동작을 우선 수행하여 특징 정보를 검출하고, 이를 기반으로 차량 시나리오별 데이터베이스를 구축할 수도 있도록 한다. Although it has been described in the above description that the integrated sensing data is stored as it is, in order to improve data storage efficiency, the characteristic information extraction operation for the integrated sensing data is first performed to detect the characteristic information, and based on this, a database for each vehicle scenario can be built. make it possible

또한 이러한 경우, 차량 시나리오별 데이터베이스에서 읽어 온 통합 센싱 데이터의 특징 정보를 그대로 활용하여, 차량 시나리오와 통합 센싱 데이터간의 상관관계가 정의된 대용량의 학습 데이터를 생성할 수 있으며, 그 결과 학습 데이터 생성에 소요되는 처리 부하도 최소화될 수 있다.In addition, in this case, it is possible to generate a large amount of learning data in which the correlation between the vehicle scenario and the integrated sensing data is defined by using the characteristic information of the integrated sensing data read from the database for each vehicle scenario as it is, and as a result, it is possible to generate a large amount of learning data The required processing load can also be minimized.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

Claims (4)

차량 전방 최상단에 설치되는 라이다 센서, 차량 전방 상측에 설치되는 카메라 센서, 차량 후방 상측에 설치되는 ToF 센서, 차량 후방 양측면에 분산 설치되는 두 개의 레이더 센서를 구비하여, 다수의 센싱 정보를 동시 획득하는 통합 센싱부;
상기 라이다 센서, 상기 카메라 센서, 상기 ToF 센서, 상기 레이더 센서 각각과의 상호 연동을 통합 지원하고, 상기 다수의 정보를 기 설정된 데이터 포맷으로 일괄 변환한 후 하나의 통합 센싱 정보로 통합하여 출력하는 통합 인터페이싱 장치; 및
객체 유형과 주행 상황에 따라 세분화된 다수의 차량 시나리오를 구비하고, 상기 통합 센싱 정보를 차량 시나리오별로 분류 및 저장하여 차량 시나리오별 데이터베이스를 구축하는 차량 임베디드 프로세서를 포함하는 인공지능 기반 자율주행차용 데이터베이스 구축 장치.
Equipped with a lidar sensor installed at the top of the front of the vehicle, a camera sensor installed on the upper front of the vehicle, a ToF sensor installed on the upper rear of the vehicle, and two radar sensors distributed on both sides of the rear of the vehicle, multiple sensing information is simultaneously acquired integrated sensing unit;
Integrated support for interworking with each of the lidar sensor, the camera sensor, the ToF sensor, and the radar sensor, converts the plurality of information into a preset data format, and then integrates and outputs the integrated sensing information integrated interfacing device; and
Building a database for an AI-based autonomous vehicle including a vehicle embedded processor that has a plurality of vehicle scenarios subdivided according to object type and driving situation, classifies and stores the integrated sensing information for each vehicle scenario, and builds a database for each vehicle scenario Device.
제1항에 있어서, 상기 통합 센싱부는
상기 라이다 센서를 통해 차량 전방을 70도 내지 110도의 화각으로 원거리 센싱하고, 상기 카메라 센서를 통해 차량 전방을 2도 내지 56도의 화각으로 의 화각으로 원거리 촬영하고, 상기 ToF 센서를 통해 차량 후방을 80도 내지 100도의 화각으로 초근거리 센싱하고, 상기 두 개의 레이더 센서를 통해 차량 후방 양측면을 5도 내지 20도의 화각으로 원거리 센싱하거나 또는 40도 내지 50도의 화각으로 근거리 센싱하는 것을 특징으로 하는 인공지능 기반 자율주행차용 데이터베이스 구축 장치.
According to claim 1, wherein the integrated sensing unit
The front of the vehicle is remotely sensed with an angle of view of 70 to 110 degrees through the lidar sensor, the front of the vehicle is remotely photographed with an angle of view of 2 to 56 degrees through the camera sensor, and the rear of the vehicle is captured through the ToF sensor Ultra-short-range sensing with an angle of view of 80 to 100 degrees, and long-distance sensing with an angle of view of 5 to 20 degrees on both sides of the vehicle rear side through the two radar sensors, or short-range sensing with an angle of view of 40 to 50 degrees Artificial intelligence, characterized in that Database building device for self-driving cars.
제1항에 있어서, 상기 차량 임베디드 프로세서는
라이다 센싱 정보, 카메라 영상, ToF 센싱 정보 각각에 대한 객체 검출 동작을 수행하고, 차량 본체 검출이 확인되면 센서 재설치를 요청하는 경고 정보를 생성 및 제공하는 기능을 더 포함하는 것을 특징으로 하는 인공지능 기반 자율주행차용 데이터베이스 구축 장치.
According to claim 1, wherein the vehicle embedded processor
AI, characterized in that it further comprises a function of performing an object detection operation for each of the lidar sensing information, the camera image, and the ToF sensing information, and generating and providing warning information for requesting reinstallation of the sensor when the vehicle body is detected. Database building device for self-driving cars.
제1항에 있어서, 상기 차량 임베디드 프로세서는
차량 시나리오별 데이터베이스에 기반하여, 차량 시나리오와 통합 센싱 데이터간의 상관관계가 정의된 대용량의 학습 데이터를 생성하여 제공하는 기능을 더 포함하는 것을 특징으로 하는 인공지능 기반 자율주행차용 데이터베이스 구축 장치.
According to claim 1, wherein the vehicle embedded processor
Based on the database for each vehicle scenario, the AI-based self-driving vehicle database construction apparatus, characterized in that it further comprises a function to generate and provide a large amount of learning data in which the correlation between the vehicle scenario and the integrated sensing data is defined.
KR1020200174186A 2020-12-14 2020-12-14 Apparatus for building a database to support artificial intelligence-based autonomous driving KR20220084576A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200174186A KR20220084576A (en) 2020-12-14 2020-12-14 Apparatus for building a database to support artificial intelligence-based autonomous driving

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174186A KR20220084576A (en) 2020-12-14 2020-12-14 Apparatus for building a database to support artificial intelligence-based autonomous driving

Publications (1)

Publication Number Publication Date
KR20220084576A true KR20220084576A (en) 2022-06-21

Family

ID=82221093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200174186A KR20220084576A (en) 2020-12-14 2020-12-14 Apparatus for building a database to support artificial intelligence-based autonomous driving

Country Status (1)

Country Link
KR (1) KR20220084576A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240059784A (en) 2022-10-27 2024-05-08 주식회사 스프링클라우드 Apparatus for autonomous driving simulation of vehicle and autonomous driving control method using the same
KR20240059785A (en) 2022-10-27 2024-05-08 주식회사 스프링클라우드 Autonomous driving control apparatus of vehicle and method for changing driving lane thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240059784A (en) 2022-10-27 2024-05-08 주식회사 스프링클라우드 Apparatus for autonomous driving simulation of vehicle and autonomous driving control method using the same
KR20240059785A (en) 2022-10-27 2024-05-08 주식회사 스프링클라우드 Autonomous driving control apparatus of vehicle and method for changing driving lane thereof

Similar Documents

Publication Publication Date Title
US11620835B2 (en) Obstacle recognition method and apparatus, storage medium, and electronic device
US20210201507A1 (en) System and Method for Movement Detection
US10127818B2 (en) Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle
US20210122364A1 (en) Vehicle collision avoidance apparatus and method
KR101534056B1 (en) Traffic signal mapping and detection
CN110930323B (en) Method and device for removing reflection of image
US11747444B2 (en) LiDAR-based object detection and classification
KR20210126072A (en) Estimating object properties using visual image data
CN113561963B (en) Parking method and device and vehicle
CN111221342A (en) Environment sensing system for automatic driving automobile
KR102635265B1 (en) Apparatus and method for around view monitoring using lidar
CN111413983A (en) Environment sensing method and control end of unmanned vehicle
US11702044B2 (en) Vehicle sensor cleaning and cooling
CN112149460A (en) Obstacle detection method and device
JPWO2020100922A1 (en) Data distribution systems, sensor devices and servers
US12056898B1 (en) Camera assessment techniques for autonomous vehicles
CN111507162A (en) Blind spot warning method and device based on cooperation of communication between vehicles
KR20220084576A (en) Apparatus for building a database to support artificial intelligence-based autonomous driving
EP3764124A1 (en) Distance measuring apparatus, method for measuring distance, on-vehicle apparatus, and mobile object
CN116504053A (en) Sensor fusion
Kemsaram et al. An integrated framework for autonomous driving: Object detection, lane detection, and free space detection
WO2019193928A1 (en) Vehicle system, spatial spot estimation method, and spatial spot estimation device
JP2021177582A (en) Control device, control method, and program
US20230230257A1 (en) Systems and methods for improved three-dimensional data association using information from two-dimensional images
KR20220060066A (en) Apparatus for building a database to support artificial intelligence-based autonomous driving

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application