[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

ES2869583T3 - Sistema para controlar un vehículo autónomo y método para entrenar el sistema - Google Patents

Sistema para controlar un vehículo autónomo y método para entrenar el sistema Download PDF

Info

Publication number
ES2869583T3
ES2869583T3 ES18201034T ES18201034T ES2869583T3 ES 2869583 T3 ES2869583 T3 ES 2869583T3 ES 18201034 T ES18201034 T ES 18201034T ES 18201034 T ES18201034 T ES 18201034T ES 2869583 T3 ES2869583 T3 ES 2869583T3
Authority
ES
Spain
Prior art keywords
navigation
module
camera images
control module
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18201034T
Other languages
English (en)
Inventor
Stephan Johannes Smit
Bentum Johannes Wilhelmus Maria Van
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Application granted granted Critical
Publication of ES2869583T3 publication Critical patent/ES2869583T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00182—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions in response to weather conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00184—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to infrastructure
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/50—Input parameters for engine control said parameters being related to the vehicle or its components
    • F02D2200/501—Vehicle speed
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/70—Input parameters for engine control said parameters being related to the vehicle exterior
    • F02D2200/701—Information about vehicle position, e.g. from navigation system or GPS signal
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/70—Input parameters for engine control said parameters being related to the vehicle exterior
    • F02D2200/702—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

Sistema para controlar un vehículo autónomo (2) controlable sobre la base de valores de control y valores de aceleración, que comprende: - un módulo de navegación (3); - un módulo de control (8); - por lo menos una cámara (11); - un módulo de reconocimiento (10); en el que el módulo de navegación está configurado: - para recibir un destino, seleccionado de entre una lista cerrada de destinos, de un usuario; - para determinar una posición del vehículo; - para determinar una ruta desde la posición hasta el destino; - para convertir la ruta en instrucciones de navegación; - para suministrar las instrucciones de navegación al módulo de control; - para recibir una confirmación de reconocimiento del módulo de reconocimiento; en el que la cámara está configurada: - para captar imágenes de cámara en directo desde el vehículo y para suministrar las imágenes al módulo de control y el módulo de reconocimiento; en el que el módulo de control está configurado: - para recibir por lo menos una instrucción de navegación del módulo de navegación; - para recibir las imágenes de cámara en directo de la cámara; - para convertir dicha por lo menos una instrucción de navegación y las imágenes de cámara en valores de control y valores de aceleración para el vehículo autónomo controlable; en el que el módulo de reconocimiento está configurado: - para recibir imágenes de cámara en directo; - para comparar las imágenes de cámara en directo con imágenes de cámara previamente almacenadas anotadas con por lo menos características de puntos de navegación; - para determinar que se ha alcanzado un punto de navegación si una imagen de cámara en directo presenta un grado predefinido de correspondencia con una imagen de cámara anotada con un punto de navegación; y - para suministrar una confirmación de reconocimiento al módulo de navegación si se determina que se ha alcanzado un punto de navegación.

Description

DESCRIPCIÓN
Sistema para controlar un vehículo autónomo y método para entrenar el sistema
La presente invención se refiere a un sistema para controlar un vehículo autónomo controlable sobre la base de valores de control y valores de aceleración y un método para entrenar un sistema de este tipo.
Los vehículos no tripulados y, en particular, autónomos se utilizan cada vez más para el transporte de equipaje y paquetes. Estos se pueden utilizar fácilmente en espacios cerrados tal como centros de distribución o en otras aplicaciones logísticas, tal como en aeropuertos, donde el entorno está estrictamente controlado y/o es predecible. Normalmente se pueden seguir rutas fijas que no están sometidas a cambios impredecibles en situaciones de este tipo.
Se presenta una situación diferente cuando se utilizan vehículos autónomos en espacios públicos o en carreteras públicas. A pesar de que la ruta real que se va a seguir permanece principalmente sin cambios a corto o medio plazo en estas situaciones también factores medioambientales y, en particular, otros usuarios de carreteras en carreteras públicas provocan situaciones impredecibles. Se sabe que en este caso se utilizan mapas de alta resolución muy detallados y actualizados con regularidad, junto con sensores para detectar a otros usuarios de carreteras, pero hasta la fecha no se ha logrado un resultado satisfactorio con estos, en particular dado que el volumen de datos requeridos para proporcionar mapas con un nivel de detalle suficiente es inaceptablemente alto en la práctica. Además, a pesar de que se pueden detectar obstáculos por medio de sensores, una dificultad subsecuente reside en determinar la respuesta necesaria. El documento EP 3219564 divulga un vehículo autónomo que emplea una red neuronal profunda que convierte imágenes en vivo e instrucciones de navegación en valores de aceleración y dirección.
Por tanto, un objetivo de la presente invención es proporcionar un sistema para controlar un vehículo autónomo que no presenta las desventajas anteriormente mencionadas. Un objetivo adicional de la presente invención es proporcionar un vehículo equipado con un sistema de este tipo y otro objetivo adicional de la presente invención es proporcionar un método para entrenar un sistema de este tipo.
Para este fin, la invención se refiere a un sistema para controlar un vehículo autónomo controlable sobre la base de valores de control y valores de aceleración, que comprende un módulo de navegación, un módulo de control, por lo menos una cámara y un módulo de reconocimiento, en el que el módulo de navegación está configurado para recibir un destino, seleccionado de entre una lista cerrada de destinos, de parte de un usuario, para determinar una posición del vehículo, para determinar una ruta desde la posición hasta el destino, para convertir la ruta en instrucciones de navegación, para suministrar las instrucciones de navegación al módulo de control, para recibir una confirmación de reconocimiento desde el módulo de reconocimiento si se ha alcanzado un punto de navegación, en el que la cámara está configurada para captar imágenes de cámara en directo desde el vehículo y para suministrar las imágenes al módulo de control y al módulo de reconocimiento, en el que el módulo de control está configurado para recibir por lo menos una instrucción de navegación desde el módulo de navegación, para recibir las imágenes de cámara en directo desde la cámara; y para convertir dicha por lo menos una instrucción de navegación y las imágenes de cámara en valores de control y valores de aceleración para el vehículo autónomo controlable, y en el que el módulo de reconocimiento está configurado para comparar las imágenes de cámara en directo con las imágenes de cámara previamente almacenadas anotadas con por lo menos características de puntos de navegación, y para determinar que se ha alcanzado un punto de navegación si una imagen de cámara en directo presenta un grado predefinido de correspondencia con una imagen de cámara anotada con un punto de navegación, y para suministrar una confirmación de reconocimiento al módulo de navegación si se determina que se ha alcanzado un punto de navegación.
El vehículo autónomo según la invención está destinado y configurado para la conducción no tripulada y, por ejemplo, para la "recta final" durante el transporte de paquetes, equipaje y otros envíos pequeños de empresas, distribución de alimentos, envío de mensajes y/o eliminación de materiales de desecho y está accionado preferentemente por una fuente de combustible libre de emisiones de CO2, tal como un accionamiento eléctrico o un accionamiento con una pila de combustible.
El sistema según la presente invención ofrece diversas ventajas. En primer lugar, se elimina la necesidad de utilizar mapas detallados mediante la utilización de puntos de navegación y la comparación de imágenes de cámara con imágenes almacenadas previamente. De hecho, el sistema hace posible el movimiento desde un punto de navegación hasta otro de acuerdo con una indicación de ubicación relativamente aproximada, en el que la llegada a la ubicación exacta se determina mediante la comparación de imágenes de cámara. Una ventaja adicional es que, como resultado, no existe la necesidad de presentar tecnología de posicionamiento, tal como GPS, por lo cual el sistema hace posible el funcionamiento sin recibir señales de referencia externas.
Las instrucciones de navegación comprenden preferentemente por lo menos una indicación de dirección, tal como una indicación de dirección geográfica exacta (en grados) y designación de dirección geográfica (tal como "al norte") y/o indicación de dirección específica (tal como "a la izquierda"). Sobre la base del mismo y sobre la base de las imágenes de cámara recibidas, el módulo de control puede determinar un resultado de control con el cual el vehículo sigue la indicación de dirección prevista.
Las instrucciones pueden estar en forma de una lista, en la que se designa un punto de navegación en cada caso con por lo menos una dirección a seguir desde ese punto. Más preferentemente, las instrucciones de navegación también comprenden una indicación de velocidad que indica, por ejemplo, la velocidad máxima aplicable desde el punto de navegación pertinente en la dirección indicada.
Por tanto, el sistema puede estar configurado de tal manera que las instrucciones de navegación sean procesadas por el módulo de control como valores objetivo o valores deseados que imponen una velocidad máxima. La naturaleza y las circunstancias de la ruta pueden provocar que se mantenga una velocidad que es inferior al valor objetivo.
Debe observarse que, en una forma de realización preferida adicional de la presente invención, las imágenes de cámara en directo y las imágenes de cámara previamente almacenadas anotadas con por lo menos puntos de navegación se comparan después del preprocesamiento, en la que los puntos de reconocimiento determinados en las imágenes de cámara en directo, en vez de las imágenes de cámara completas, se comparan con puntos de reconocimiento determinados en las imágenes de cámara previamente almacenadas. Estos puntos de reconocimiento se aplican por algoritmos utilizados en el preprocesamiento y pueden, por ejemplo, ser (combinaciones de) líneas horizontales y verticales, u otras características preferentemente independientes de las condiciones meteorológicas y el momento del día.
Además, el módulo de navegación está configurado preferentemente para suministrar una instrucción de navegación posterior al módulo de control tan pronto como el módulo de reconocimiento haya informado de que se ha alcanzado un punto de navegación. De esta manera, el módulo de control no tiene que almacenar una ruta completa, pero en cada caso siempre debe formular valores de control y valores de aceleración a un punto de navegación.
En una forma de realización adicional, el módulo de control está configurado para determinar una manera de convertir las instrucciones de navegación en valores de dirección y valores de aceleración para la conducción autónoma controlable sobre la base del aprendizaje profundo. En este caso, se sigue por lo menos una vez una ruta a seguir o una zona en la que conducir, pero preferentemente varias veces, en la que las imágenes de cámara que se registran son procesadas por el módulo de control. El módulo reconoce patrones en las imágenes, por ejemplo, distancias a bordillos, líneas blancas en la carretera, señales de tráfico, salidas y los valores de dirección y valores de aceleración proporcionados por el usuario al mismo. Después de haber sido entrenado de esta manera, el sistema puede generar por sí mismo valores de dirección y valores de aceleración sobre la base de imágenes de vídeo.
Un usuario que entrena el módulo de control puede marcar los puntos de navegación. Al hacer diferentes elecciones en diferentes momentos (tales como la primera vez "a la izquierda" y la segunda vez "a la derecha") en caso de puntos de navegación específicos, tales como intersecciones, el sistema aprende que hay diferentes posibilidades en una ubicación de este tipo, y también aprende los valores de dirección y valores de aceleración asociados con las diferentes elecciones. También al registrar la elección pertinente (por ejemplo, girar "a la izquierda" o "a la derecha"), el sistema puede realizar entonces una instrucción de navegación introducida que se corresponde a una elección de este tipo.
La técnica de aprendizaje profundo se conoce en sí misma y pueden utilizarse tecnologías existentes para la implementación de la misma. Un sistema probado y testado que parece ser adecuado para la presente invención está disponible en el mercado como topología de red Nvidia Dave 2.
Los sistemas de este tipo ofrecen una tecnología que permite que un vehículo muestre un comportamiento de usuarios de la carretera específicamente aprendido, en los que los vehículos permanecen independientemente en la carretera. Mediante la utilización de puntos de navegación y el reconocimiento (visual) de estos, la presente invención añade una instalación de navegación. Por tanto, el sistema utiliza tecnología existente en sí misma para seguir una ruta, pero como reconoce las opciones de elección, particularmente en puntos de navegación, puede seguir instrucciones que presentan un nivel de abstracción de "la segunda curva a la izquierda", sobre la base de imágenes de cámara y sin que la ubicación de la opción de elección tenga que estar definida de antemano.
Las instrucciones de navegación siempre se aplican desde un punto de navegación hasta otro y por tanto se generan y se siguen a una frecuencia relativamente baja, dependiendo de la distancia entre los puntos de navegación. Con el objetivo de reaccionar de manera apropiada a las situaciones del tráfico que cambian rápidamente, el módulo de control está configurado preferentemente para proporcionar valores de control y/o valores de aceleración a una frecuencia de por lo menos 10 Hz, aplicada a una velocidad de unos pocos kilómetros por hora. Esta frecuencia puede seleccionarse como superior en caso de una velocidad de vehículo superior.
El sistema según la presente invención puede implementarse opcionalmente con un sistema GPS para reconocer situaciones de error. Por tanto, se puede determinar, por ejemplo, si el vehículo presenta más de una desviación esperada desde un punto de navegación cuando este está en ruta y puede concluirse que ha ocurrido un error. El sistema puede configurarse para emitir un mensaje de error en ese momento y enviarlo a una instalación de supervisión central tal como un centro de gestión de tráfico o una habitación de supervisión.
Adicionalmente, el sistema puede utilizarse en diversas situaciones o circunstancias de tráfico al estar entrenado en todas esas situaciones y al registrar adaptaciones asociadas en el comportamiento de conducción. De esta manera, puede configurarse, por ejemplo, para reducir la velocidad de acuerdo con obstáculos, condiciones meteorológicas, iluminación o calidad de la superficie de la carretera. El entrenamiento puede definirse de acuerdo con imágenes y otros datos en el mundo real pero también mediante la interacción con mundos virtuales en simulación.
Adicionalmente, la invención se refiere a un método para entrenar un sistema según la presente invención, comprendiendo las etapas siguientes: A. Seguir por lo menos una ruta conducible de manera autónoma por un conductor con el vehículo autónomo controlable, B. Registrar imágenes de cámara de la ruta durante la conducción, C. Almacenar puntos de navegación en relación con las imágenes de cámara, y D. Anotar los puntos de navegación con coordinadas para el módulo de navegación. Es igualmente concebible que un sistema esté entrenado para seguir rutas completamente en simulación. Las simulaciones se alimentan parcialmente por imágenes registradas en el mundo real. Estas pueden ser imágenes de diferentes rutas.
Con el fin de poder entrenar el sistema, el vehículo debe ser controlable y debe estar controlado por un conductor que también sigue por lo menos una ruta prevista conducible de manera autónoma o también conduce en una zona en la que se sitúan una pluralidad de rutas. Puede ser que el conductor esté presente o no cerca del vehículo, pero es preferible configurar el sistema de tal manera que se pueda hacer funcionar y por tanto también entrenar de manera remota. Durante la conducción, el conductor mismo proporciona siempre valores de control y valores de aceleración que están conectados por el sistema a imágenes de cámara de la ruta registrada durante la conducción. De esta manera, el sistema aprende qué valores de control y valores de aceleración pertenecen a qué diseño de calle o carretera y puede generar los valores de dirección y valores de aceleración asociados siguiendo el entrenamiento sobre la base de las imágenes en directo, revisitando reiteradamente los puntos de navegación para los cuales existe una pluralidad de opciones (por ejemplo, desvíos) en el entrenamiento y haciendo diferentes elecciones.
Según una forma de realización preferida del método según la presente invención, las imágenes de cámara se registran de una manera preprocesada para reconocimiento de imágenes. En lugar de almacenar todo el flujo de imágenes, se definen por tanto características de la imagen que son relevantes para el reconocimiento de imágenes y/o el reconocimiento de ubicación. En este caso, pueden preverse combinaciones de líneas horizontales y verticales en la imagen, grandes zonas o formas características.
Con el fin de eliminar la dependencia de condiciones cambiantes, tal como el momento del día, el tiempo y/o la densidad de tráfico, el método según la invención comprende preferentemente la repetición de la etapa A. en diferentes condiciones meteorológicas y/o condiciones de tráfico. El sistema aprende a reconocer las condiciones meteorológicas y las condiciones de tráfico, y también la manera en la que reacciona a ellas. Entonces, las imágenes de cámara registradas durante el entrenamiento pueden procesarse sin conexión, en el que, por ejemplo, se preprocesan para reconocimiento de imágenes y/o una marca de tiempo, un ángulo de dirección y/o un valor de aceleración está(n) conectado(s) a las imágenes.
En un sistema más avanzado según la invención, el sistema está configurado para entrenar un sistema sobre la base de las imágenes de cámara registradas por uno o más sistemas del mismo tipo. De esta manera, se crea un sistema de autoaprendizaje y no hay que entrenar de manera independiente cada vehículo.
A continuación, se explicará la invención con referencia a la figura 1, que proporciona una representación esquemática de un sistema según la presente invención.
La figura 1 muestra un sistema 1 para controlar un vehículo autónomo 2 controlable sobre la base de valores de control y valores de aceleración, que comprende un módulo de navegación 3 que está configurado para recibir un destino 5, seleccionado de entre una lista cerrada de destinos 16 almacenada en un dispositivo de almacenamiento de datos 6, por parte de un usuario, y para determinar una posición del vehículo, por ejemplo, registrando la última ubicación conocida 17 en el dispositivo de almacenamiento de datos 6, para determinar una ruta desde la posición hasta el destino, en el que dicha ruta puede seleccionarse de manera similar de una lista de rutas posibles que se almacenan de manera similar en el dispositivo de almacenamiento de datos 6, para convertir la ruta en instrucciones de navegación, para suministrar las instrucciones de navegación 7 a un módulo de control 8, y para recibir una confirmación de reconocimiento 9 desde un módulo de reconocimiento 10. Adicionalmente, el sistema comprende una cámara 11 que está configurada para captar imágenes de cámara en directo 12 desde el vehículo 2 y para suministrar las imágenes al módulo de control 8 y el módulo de reconocimiento 10. Adicionalmente, el módulo de control 8 está configurado para recibir por lo menos una instrucción de navegación 7 desde el módulo de navegación 3 y para recibir las imágenes de cámara en directo 12 desde la cámara 11 y para convertir dicha por lo menos una instrucción de navegación 7 y las imágenes de cámara 12 en valores de control y valores de aceleración 13 para el vehículo autónomo controlable 2. En la forma de realización mostrada, el módulo de control 8 utiliza de manera similar una señal de aceleración 14 obtenida desde un sensor de aceleración 15. Finalmente, el módulo de reconocimiento 10 está configurado para comparar las imágenes de cámara en directo 12 con imágenes de cámara previamente almacenadas anotadas con por lo menos características 18 de puntos de navegación, y para determinar que se ha alcanzado un punto de navegación si una imagen de cámara en directo 12 presenta un grado predefinido de correspondencia con una imagen de cámara 18 anotada con un punto de navegación, y para suministrar una confirmación de reconocimiento 9 al módulo de navegación si se determina que se ha alcanzado un punto de navegación.
Junto con el ejemplo anteriormente mencionado, muchas formas de realización caen dentro del alcance de protección de la presente solicitud, tal como se expone en las siguientes reivindicaciones.

Claims (15)

REIVINDICACIONES
1. Sistema para controlar un vehículo autónomo (2) controlable sobre la base de valores de control y valores de aceleración, que comprende:
- un módulo de navegación (3);
- un módulo de control (8);
- por lo menos una cámara (11);
- un módulo de reconocimiento (10);
en el que el módulo de navegación está configurado:
- para recibir un destino, seleccionado de entre una lista cerrada de destinos, de un usuario;
- para determinar una posición del vehículo;
- para determinar una ruta desde la posición hasta el destino;
- para convertir la ruta en instrucciones de navegación;
- para suministrar las instrucciones de navegación al módulo de control;
- para recibir una confirmación de reconocimiento del módulo de reconocimiento;
en el que la cámara está configurada:
- para captar imágenes de cámara en directo desde el vehículo y para suministrar las imágenes al módulo de control y el módulo de reconocimiento;
en el que el módulo de control está configurado:
- para recibir por lo menos una instrucción de navegación del módulo de navegación;
- para recibir las imágenes de cámara en directo de la cámara;
- para convertir dicha por lo menos una instrucción de navegación y las imágenes de cámara en valores de control y valores de aceleración para el vehículo autónomo controlable;
en el que el módulo de reconocimiento está configurado:
- para recibir imágenes de cámara en directo;
- para comparar las imágenes de cámara en directo con imágenes de cámara previamente almacenadas anotadas con por lo menos características de puntos de navegación;
- para determinar que se ha alcanzado un punto de navegación si una imagen de cámara en directo presenta un grado predefinido de correspondencia con una imagen de cámara anotada con un punto de navegación; y
- para suministrar una confirmación de reconocimiento al módulo de navegación si se determina que se ha alcanzado un punto de navegación.
2. Sistema según la reivindicación 1, en el que:
- el módulo de navegación está configurado para convertir el destino recibido del usuario en instrucciones de dirección, tales como:
° una indicación de dirección geográfica exacta (en grados),
° una dirección geográfica (tal como "al norte"); y/o
° una indicación de dirección específica (tal como "a la izquierda"); y en el que
- el módulo de control está configurado para recibir las instrucciones de dirección y para convertir las instrucciones de dirección en valores de control y valores de aceleración.
3. Sistema según la reivindicación 1 o 2, configurado para comparar las imágenes de cámara en directo y las imágenes de cámara previamente almacenadas anotadas con por lo menos unos puntos de navegación después de una etapa de preprocesamiento, en el que los puntos de reconocimiento determinados en las imágenes de cámara en directo, en vez de las imágenes de cámara completas, se comparan con unos puntos de reconocimiento determinados en las imágenes de cámara previamente almacenadas.
4. Sistema según una de las reivindicaciones anteriores, en el que el módulo de navegación está configurado para suministrar una instrucción de navegación posterior al módulo de control tan pronto como el módulo de reconocimiento haya informado de que se ha alcanzado un punto de navegación.
5. Sistema según una de las reivindicaciones anteriores, en el que el módulo de control está configurado para determinar una manera de convertir las instrucciones de navegación en valores de dirección y valores de aceleración para la conducción autónoma controlable sobre la base del aprendizaje profundo.
6. Sistema según una de las reivindicaciones anteriores, en el que el módulo de control está configurado para proporcionar unas instrucciones de dirección y unas instrucciones de aceleración a una frecuencia de por lo menos 10 Hz.
7. Sistema según una de las reivindicaciones anteriores, provisto de un sistema GPS para reconocer situaciones de error.
8. Sistema según una de las reivindicaciones anteriores, configurado para reducir la velocidad sobre la base de condiciones meteorológicas, iluminación o calidad de la superficie de la carretera.
9. Sistema según una de las reivindicaciones anteriores, que comprende un sensor de aceleración para suministrar información de aceleración desde el vehículo al módulo de control.
10. Vehículo provisto de un sistema según una de las reivindicaciones anteriores.
11. Método para entrenar un sistema según cualquiera de las reivindicaciones 1 a 9, que comprende:
- A. Conducir por lo menos por una ruta prevista conducible de manera autónoma por un usuario con el vehículo autónomo controlable;
- B. Registrar imágenes de cámara de la ruta durante la conducción;
- C. Almacenar puntos de navegación en relación con las imágenes de cámara;
- D. Anotar los puntos de navegación con coordenadas para el módulo de navegación.
12. Método según la reivindicación 11, que comprende el registro de las imágenes de cámara en una forma preprocesada para el reconocimiento de imágenes.
13. Método según la reivindicación 11 o 12, que comprende la repetición de la etapa A. en diferentes condiciones meteorológicas y/o condiciones del tráfico.
14. Método según una de las reivindicaciones 11 a 13, que comprende el registro de una marca de tiempo, un ángulo de dirección y/o una velocidad durante el seguimiento de la ruta.
15. Método según una de las reivindicaciones 11 a 14 configurado para entrenar un sistema según una de las reivindicaciones 1 a 9 sobre la base de las imágenes de cámara en directo registradas por uno o más sistemas del mismo tipo.
ES18201034T 2017-10-18 2018-10-17 Sistema para controlar un vehículo autónomo y método para entrenar el sistema Active ES2869583T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
NL2019756A NL2019756B1 (nl) 2017-10-18 2017-10-18 Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voertuig, autonoom rijdend voertuig voorzien van een dergelijk systeem en werkwijze voor het trainen van een dergelijk systeem.

Publications (1)

Publication Number Publication Date
ES2869583T3 true ES2869583T3 (es) 2021-10-25

Family

ID=61003316

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18201034T Active ES2869583T3 (es) 2017-10-18 2018-10-17 Sistema para controlar un vehículo autónomo y método para entrenar el sistema

Country Status (4)

Country Link
US (1) US20190196484A1 (es)
EP (1) EP3473981B1 (es)
ES (1) ES2869583T3 (es)
NL (1) NL2019756B1 (es)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2023628B9 (nl) 2019-08-09 2021-08-20 Wilhelmus Maria Van Bentum Johannes Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voer- of (lucht)vaartuig, autonoom rijdend voer- of (lucht)vaartuig voorzien van een dergelijk systeem.
CN110619666B (zh) * 2019-09-20 2022-05-27 阿波罗智能技术(北京)有限公司 用于标定相机的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4138270C2 (de) * 1991-11-21 1996-10-02 Rheinmetall Ind Gmbh Verfahren zur Navigation eines selbstfahrenden Landfahrzeugs
CN112051855A (zh) * 2016-01-05 2020-12-08 御眼视觉技术有限公司 用于主车辆的导航系统、自主车辆及导航自主车辆的方法
JP6380422B2 (ja) * 2016-02-05 2018-08-29 トヨタ自動車株式会社 自動運転システム
EP3219564B1 (en) * 2016-03-14 2018-12-05 IMRA Europe S.A.S. Driving prediction with a deep neural network
KR102406507B1 (ko) * 2017-03-27 2022-06-10 현대자동차주식회사 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법

Also Published As

Publication number Publication date
US20190196484A1 (en) 2019-06-27
NL2019756B1 (nl) 2019-04-25
EP3473981A1 (en) 2019-04-24
EP3473981B1 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
CN112055839B (zh) 确定车辆的位置的方法和使用该方法的车辆
US11131550B2 (en) Method for generating road map for vehicle navigation and navigation device
ES2671234T3 (es) Procedimiento para activar un sistema de asistencia al conductor
ES2229619T3 (es) Procedimiento y dispositivo para la facilitacion de informaciones sobre el trafico.
US9280156B1 (en) Positioning vehicles to improve quality of observations at intersections
CN101473195B (zh) 定位装置
ES2346292T3 (es) Vehiculo equipado con un dispositivo de señalizacion visual.
US8972103B2 (en) Method of building and using local map of vehicle drive path
US11514392B2 (en) Energy-efficient delivery of shipments
US20180224289A1 (en) Active driving map for self-driving road vehicle
ES2869583T3 (es) Sistema para controlar un vehículo autónomo y método para entrenar el sistema
US20190056231A1 (en) Method and apparatus for participative map anomaly detection and correction
US20150316386A1 (en) Detailed map format for autonomous driving
US10611378B2 (en) Systems and methods for operating a vehicle on a roadway
CN102016507A (zh) 基于环境传感器的自学习地图
ES2366717B1 (es) Equipo de obtención de información en obras e infraestructuras basado en un vehículo aéreo no tripulado.
US20180196442A1 (en) Semi-automated driving using pre-recorded route
CN110386141A (zh) 车辆的控制装置
US10451435B2 (en) Method of using GPS map information to highlight road markings on a head up display that otherwise may be non-visible due to inclement weather
ES2935618T3 (es) Método de navegación de un vehículo y sistema del mismo
JP6846253B2 (ja) ドローン用緊急事態対応指示装置、ドローン用緊急事態対応指示方法及びドローン用緊急事態対応指示プログラム
JP2023510324A (ja) 車両交通をチャネル化し、作業ゾーンの安全性を強化するためのデバイスおよび方法
US10699571B2 (en) High definition 3D mapping
US11347231B2 (en) Object localization for autonomous driving by visual tracking and image reprojection
CN110803169A (zh) 用于在车辆中显示信息的系统和方法