DE102023111738A1

DE102023111738A1 - METHOD AND SYSTEM FOR CALIBRATING A VEHICLE DETECTION DEVICE

Info

Publication number: DE102023111738A1
Application number: DE102023111738.6A
Authority: DE
Inventors: Christoph Parl; Jonas Krause; Josslyn Beltran-Madrigal; Thorsten Beuth
Original assignee: Valeo Detection Systems GmbH
Current assignee: Valeo Detection Systems GmbH
Priority date: 2023-05-05
Filing date: 2023-05-05
Publication date: 2024-11-07

Abstract

Die vorliegende Offenbarung betrifft ein Verfahren zum Kalibrieren mindestens einer Frame-basierten Fahrzeugerfassungsvorrichtung (12, 14, 16, 18), wobei die mindestens eine Erfassungsvorrichtung (12, 14, 16, 18) dazu ausgelegt ist, die Umgebung des Fahrzeugs (10) abhängig von einem ersten Satz von Parametern Frame-weise zu erfassen, wobei die Kalibrierung durch Anpassen des ersten Satzes von Parametern durchgeführt wird. Das Verfahren umfasst Folgendes:
A) Erfassen mindestens eines Frames der Umgebung mit dem ersten Satz von Parametern,
B) Erfassen mindestens eines Frames der Umgebung mit einem zweiten Satz von Parametern, wobei ein dritter Satz von Parametern abhängig von Kalibrierungsdaten, die durch Erfassen des mindestens einen Frames der Umgebung mit dem zweiten Satz von Parametern erhalten werden, bestimmt wird,
C) Erfassen mindestens eines Frames der Umgebung mit dem ersten Satz von Parametern,
D) Vergleichen des in A) erfassten mindestens einen Frames mit dem in C) erfassten mindestens einen Frame und
E) Anpassen des ersten Satzes von Parametern abhängig von dem Ergebnis von D).
Die Offenbarung betrifft ferner ein System zum Kalibrieren mindestens einer Frame-basierten Fahrzeugerfassungsvorrichtung (12, 14, 16, 18) und ein Fahrzeug (10), das das System umfasst.

The present disclosure relates to a method for calibrating at least one frame-based vehicle detection device (12, 14, 16, 18), wherein the at least one detection device (12, 14, 16, 18) is designed to detect the surroundings of the vehicle (10) frame by frame depending on a first set of parameters, wherein the calibration is carried out by adjusting the first set of parameters. The method comprises the following:
A) capturing at least one frame of the environment with the first set of parameters,
B) capturing at least one frame of the environment with a second set of parameters, wherein a third set of parameters is determined depending on calibration data obtained by capturing the at least one frame of the environment with the second set of parameters,
C) capturing at least one frame of the environment with the first set of parameters,
D) comparing the at least one frame captured in A) with the at least one frame captured in C) and
E) Adjust the first set of parameters depending on the result of D).
The disclosure further relates to a system for calibrating at least one frame-based vehicle detection device (12, 14, 16, 18) and a vehicle (10) comprising the system.

Description

Technisches Gebiettechnical field

Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Kalibrieren mindestens einer Frame-basierten Fahrzeugerfassungsvorrichtung.The present invention relates to a method and a system for calibrating at least one frame-based vehicle detection device.

Hintergrundbackground

Moderne Fahrzeuge (Autos, Lieferwagen, Lastwagen, Motorräder usw.) können verschiedene Arten von Erfassungssystemen umfassen, deren Daten für Fahrerinformationen verwendet werden und/oder durch Fahrerassistenzsysteme verwendet werden. Die Erfassungsvorrichtungen können verwendet werden, um die Umgebung des Fahrzeugs, einschließlich anderer Verkehrsteilnehmer, zu erfassen. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden, und eine Reaktion auf Änderungen in dieser Fahrzeugumgebung, z. B. durch den Fahrer und/oder durch die Fahrerassistenzsysteme, ist möglich.Modern vehicles (cars, vans, trucks, motorcycles, etc.) may comprise various types of sensing systems, the data of which is used for driver information and/or used by driver assistance systems. The sensing devices may be used to sense the surroundings of the vehicle, including other road users. Based on the sensed data, a model of the vehicle's environment may be generated and a response to changes in this vehicle's environment, e.g. by the driver and/or by the driver assistance systems, is possible.

Erfassungsvorrichtungen werden fortwährend für verschiedene Funktionen entwickelt, z. B. für die Erfassung von Umgebungsinformationen im Nahbereich und Fernbereich von Fahrzeugen, wie etwa Personenkraftwagen oder Nutzfahrzeugen. Erfassungsvorrichtungen können außerdem als Sensoren für Fahrerassistenzsysteme dienen, insbesondere zur autonomen oder teilautonomen Fahrzeugsteuerung. Erfassungsvorrichtungen können beispielsweise verwendet werden, um Hindernisse und/oder andere Verkehrsteilnehmer vor, hinter oder im toten Winkel des Fahrzeugs zu detektieren. Erfassungsvorrichtungen können auf unterschiedlichen Sensorprinzipien, wie etwa Radar, Ultraschall, Optik, basieren. Ein Beispiel für eine auf Optik basierende Erfassungsvorrichtung ist die Aufnahme von Bildern durch eine Kamera.Detection devices are continually being developed for various functions, e.g. for detecting environmental information in the near and far range of vehicles, such as passenger cars or commercial vehicles. Detection devices can also serve as sensors for driver assistance systems, in particular for autonomous or semi-autonomous vehicle control. Detection devices can be used, for example, to detect obstacles and/or other road users in front of, behind or in the blind spot of the vehicle. Detection devices can be based on different sensor principles, such as radar, ultrasound, optics. An example of an optics-based detection device is the recording of images by a camera.

In US10176596B1 wird ein Fahrzeugsteuersystem beschrieben, wobei die Beziehung zwischen einer bestimmten Bildgebungsvorrichtung und einer bestimmten Entfernungsmessvorrichtung kalibriert wird, um Umsetzungsparameterwerte zu erhalten, die verwendet werden können, um Entfernungsmessdaten von der Entfernungsmessvorrichtung in ein durch die Bildgebungsvorrichtung aufgenommenes Bild zu übersetzen und umgekehrt.In US10176596B1 describes a vehicle control system wherein the relationship between a particular imaging device and a particular range-finding device is calibrated to obtain translation parameter values that can be used to translate range-finding data from the range-finding device into an image captured by the imaging device and vice versa.

In US9734419B1 werden ein System und ein Verfahren zum Validieren der Genauigkeit einer Kamerakalibrierung beschrieben. Die Kamerakalibrierung wird validiert, indem ein Kalibrierungsobjekt in dem Raumvolumen der Kameraanordnung bildlich erfasst wird. Die resultierende Validierung gibt an, ob eine Neukalibrierung erforderlich ist.In US9734419B1 describes a system and method for validating the accuracy of a camera calibration. The camera calibration is validated by imaging a calibration object in the spatial volume of the camera array. The resulting validation indicates whether recalibration is required.

Kurzdarstellungbrief description

Eine Frame-basierte Fahrzeugerfassungsvorrichtung ist dazu ausgelegt, die Umgebung des Fahrzeugs abhängig von einem ersten Satz von Parametern Frame-weise zu erfassen. Eine Kalibrierung der Fahrzeugerfassungsvorrichtung wird durch Anpassen des ersten Satzes von Parametern durchgeführt. Ein Verfahren zum Kalibrieren mindestens einer Frame-basierten Fahrzeugerfassungsvorrichtung umfasst Folgendes:

A) Erfassen mindestens eines Frames der Umgebung mit dem ersten Satz von Parametern,
B) Erfassen mindestens eines Frames der Umgebung mit einem zweiten Satz von Parametern, wobei ein dritter Satz von Parametern abhängig von Kalibrierungsdaten, die durch Erfassen des mindestens einen Frames der Umgebung mit dem zweiten Satz von Parametern erhalten werden, bestimmt wird,
C) Erfassen mindestens eines Frames der Umgebung mit dem ersten Satz von Parametern,
D) Vergleichen des in A) erfassten mindestens einen Frames mit dem in C) erfassten mindestens einen Frame und
E) Anpassen des ersten Satzes von Parametern abhängig von dem Ergebnis von D).

A frame-based vehicle detection device is designed to detect the environment of the vehicle frame by frame depending on a first set of parameters. Calibration of the vehicle detection device is performed by adjusting the first set of parameters. A method for calibrating at least one frame-based vehicle detection device comprises the following:

A) capturing at least one frame of the environment with the first set of parameters,
B) capturing at least one frame of the environment with a second set of parameters, wherein a third set of parameters is determined depending on calibration data obtained by capturing the at least one frame of the environment with the second set of parameters,
C) capturing at least one frame of the environment with the first set of parameters,
D) comparing the at least one frame captured in A) with the at least one frame captured in C) and
E) Adjust the first set of parameters depending on the result of D).

Frame-basierte Erfassungsvorrichtungen erfassen ihre Umgebung innerhalb des Erfassungsbereichs in Intervallen, bei denen es sich um feste Intervalle handeln kann. Die erfassten Daten während eines solchen Intervalls werden als Frame bezeichnet. Frame-basierte Erfassungsvorrichtung können somit eine Folge von Frames mit einer festen Rate erzeugen. Eine Lidar-Vorrichtung kann eine solche Frame-basierte Erfassungsvorrichtung sein. Durch Scannen des Lasers entlang der horizontalen und/oder vertikalen Richtung kann Lidar-Vorrichtung eine vollständige 2D- oder 3D-Karte der Umgebungsszene in dem erfassten Bereich bilden. Jede solche Karte kann als Frame bezeichnet werden.Frame-based sensing devices sense their surroundings within the sensing area at intervals, which may be fixed intervals. The data acquired during such an interval is referred to as a frame. Frame-based sensing devices can thus generate a sequence of frames at a fixed rate. A lidar device can be such a frame-based sensing device. By scanning the laser along the horizontal and/or vertical direction, lidar device can form a complete 2D or 3D map of the environmental scene in the sensed area. Each such map can be referred to as a frame.

Das beschriebene Verfahren gestattet die Durchführung einer sogenannten Online-Kalibrierung der mindestens einen Erfassungsvorrichtung. Eine Online-Kalibrierung ist eine Kalibrierung, die während der Betriebsphase der Erfassungsvorrichtung, während sie in einem Fahrzeug verwendet wird, durchgeführt wird. Während der Betriebsphase kann die Erfassungsvorrichtung an einem Fahrzeug montiert sein und ihre Sensordaten an Steuereinheiten des Fahrzeugs ausgeben, die diese Daten zum Steuern von Aktuatoren und/oder anderen Erfassungsvorrichtungen des Fahrzeugs verwenden können.The described method allows performing a so-called online calibration of the at least one sensing device. An online calibration is a calibration that is performed during the operational phase of the sensing device while it is used in a vehicle. During the operational phase, the sensing device can be mounted on a vehicle and output its sensor data to control units of the vehicle, which can use this data to control actuators and/or other sensing devices of the vehicle.

Das Verfahren gestattet die Anpassung unterschiedlicher Parameter während des regulären Betriebs des Fahrzeugs. Das Aufsuchen einer bestimmten vordefinierten Kalibrierungsumgebung kann vermieden werden. Zu möglichen Eigenschaften der Erfassungsvorrichtung, die durch Anpassen von Parametern kalibriert werden können, gehören beispielsweise Signalverstärkung, Weißabgleich, Rauschschwellen, Abweichungen im optischen Pfad, Auslesekanal, Sendeleistung, usw. Diese Eigenschaften und andere Eigenschaften können sich während der Verwendung verändern oder beeinträchtigt werden. Eine neue Kalibrierung kann dabei helfen, die Genauigkeit und/oder Zuverlässigkeit erneut zu verbessern. Bei Kalibrierung durch Anpassen von Parametern der Erfassungsvorrichtung können die Anpassungen der Parameter die Änderungen der physischen Struktur der Erfassungsvorrichtungen berücksichtigen.The method allows the adjustment of different parameters during regular operation of the vehicle. The need to visit a specific predefined calibration environment can be avoided. Possible characteristics of the sensing device that can be calibrated by adjusting parameters include, for example, signal gain, white balance, noise thresholds, deviations in the optical path, readout channel, transmit power, etc. These characteristics and others may change or be affected during use. A new calibration can help to improve the accuracy and/or reliability again. When calibrating by adjusting sensing device parameters, the parameter adjustments can take into account the changes in the physical structure of the sensing devices.

Die Messdaten können validiert werden, da das Verfahren gestattet, zu beurteilen, ob und in welchem Ausmaß sich die erfasste Umgebung, auch als Szene bezeichnet, zwischen den Messungen in B) gegenüber A) und C) verändert hat. Abhängig von der Differenz einer Szene in A) gegenüber C), die in D) geprüft wird, kann beispielsweise beurteilt werden, ob sich das Fahrzeug bewegt hat und sich somit in einem zur Kalibrierung ungeeigneten Fahrzustand befindet.The measurement data can be validated because the method allows an assessment of whether and to what extent the captured environment, also referred to as the scene, has changed between the measurements in B) compared to A) and C). Depending on the difference between a scene in A) and C), which is checked in D), it can be assessed, for example, whether the vehicle has moved and is therefore in a driving state that is unsuitable for calibration.

Das Verfahren kann dazu dienen, Online-Kalibrierungsdaten zu verifizieren, wobei zunächst in A) mindestens ein Frame mit dem ersten Satz von Parametern erfasst wird. In B) wird mindestens ein Frame mit dem zweiten Satz von Parametern erfasst, um die Kalibrierungsdaten zu erhalten. Daraufhin wird erneut mindestens ein Frame mit dem ersten Satz von Parametern erfasst.The method can be used to verify online calibration data, wherein first in A) at least one frame is acquired with the first set of parameters. In B) at least one frame is acquired with the second set of parameters to obtain the calibration data. Then at least one frame is acquired again with the first set of parameters.

In einer Ausführungsform des Verfahrens umfasst D) das Detektieren, ob die während A) erfasste Umgebung der während C) erfassten Umgebung ähnlich ist. Mit dieser Ausführungsform lässt sich verifizieren, dass sich die erfasste Umgebung zwischen den Messungen in B) gegenüber A) und C) nicht allzu stark verändert hat. Ist die Szene in A) der Szene in C) ähnlich, so ist davon auszugehen, dass sich die Szene auch in B) nicht verändert hat und dass die in B) erhaltenen Kalibrierungsdaten auf ähnlichen Bedingungen wie der in A) und C) erfasste Frame basieren.In one embodiment of the method, D) comprises detecting whether the environment captured during A) is similar to the environment captured during C). This embodiment can be used to verify that the captured environment has not changed too much between the measurements in B) compared to A) and C). If the scene in A) is similar to the scene in C), it can be assumed that the scene has not changed in B) either and that the calibration data obtained in B) is based on similar conditions to the frame captured in A) and C).

In einer Ausführungsform des Verfahrens werden A) und C) durch die mindestens eine Fahrzeugerfassungsvorrichtung durchgeführt, und E) umfasst

E.1) Aktualisieren des ersten Satzes von Parametern, sodass dieser gleich dem dritten Satz von Parametern ist, wenn der in A) erfasste mindestens eine Frame dem in C) erfassten mindestens einen Frame ähnlich ist, oder
E.2) Beibehalten des ersten Satzes von Parametern, wenn der in A) erfasste mindestens eine Frame dem in C) erfassten mindestens einen Frame nicht ähnlich ist.

In one embodiment of the method, A) and C) are carried out by the at least one vehicle detection device, and E) comprises

E.1) updating the first set of parameters to be equal to the third set of parameters if the at least one frame captured in A) is similar to the at least one frame captured in C), or
E.2) Keeping the first set of parameters if the at least one frame acquired in A) is not similar to the at least one frame acquired in C).

Ist die Szene in A) der Szene in C) ähnlich, so ist davon auszugehen, dass sich die Szene auch in B) nicht verändert hat und dass die in B) erhaltenen Kalibrierungsdaten auf ähnlichen Bedingungen wie der in A) und C) erfasste Frame basieren. Die in B) erhaltenen Kalibrierungsdaten können somit verwendet werden, um die Vorrichtung zu kalibrieren und den ersten Satz von Parametern in E.1) abhängig von den Kalibrierungsdaten anzupassen. Andernfalls kann der erste Satz von Parametern - in E.2) - unverändert gelassen werden.If the scene in A) is similar to the scene in C), it can be assumed that the scene in B) has not changed either and that the calibration data obtained in B) are based on similar conditions to the frame acquired in A) and C). The calibration data obtained in B) can thus be used to calibrate the device and adjust the first set of parameters in E.1) depending on the calibration data. Otherwise, the first set of parameters - in E.2) - can be left unchanged.

In einer Ausführungsform des Verfahrens ist die Erfassungsvorrichtung dazu ausgelegt, Sensordaten bereitzustellen, die von der in Abhängigkeit von dem ersten Satz von Parametern erfassten Umgebung des Fahrzeugs abhängig sind. In A) wird mindestens ein Frame mit dem ersten Satz von Parametern, die dem Satz von Parametern, die der normalen Standardverwendung der Erfassungsvorrichtung in dem Fahrzeug zum Erfassen der Umgebung des Fahrzeugs entsprechen, entsprechen, erfasst. In B) wird mindestens ein Frame mit dem zweiten Satz von Parametern erfasst, um die Kalibrierungsdaten zu erhalten. Daraufhin wird erneut mindestens ein Frame mit dem ersten Satz von Parametern, die dem Satz von Parametern, die der normalen Standardverwendung der Erfassungsvorrichtung in einem Fahrzeug zum Erfassen der Umgebung des Fahrzeugs entsprechen, entsprechen, erfasst.In one embodiment of the method, the detection device is designed to provide sensor data that is dependent on the environment of the vehicle detected as a function of the first set of parameters. In A), at least one frame is detected with the first set of parameters that correspond to the set of parameters that correspond to the normal standard use of the detection device in the vehicle for detecting the environment of the vehicle. In B), at least one frame is detected with the second set of parameters in order to obtain the calibration data. Then, at least one frame is again detected with the first set of parameters that correspond to the set of parameters that correspond to the normal standard use of the detection device in a vehicle for detecting the environment of the vehicle.

In einer Ausführungsform umfasst das Verfahren ferner das Detektieren eines stationären Zustands des Fahrzeugs und das Durchführen von A) bis E) während des stationären Zustands. Der stationäre Zustand des Fahrzeugs kann beispielsweise durch eine andere Sensorvorrichtung in dem Fahrzeug und/oder eine Steuereinheit des Fahrzeugs, wie beispielsweise eine zentrale Steuereinheit des Fahrzeugs, erhalten werden. Die Steuereinheit ist eine elektrische Vorrichtung, die Eingangssignale, beispielsweise Sensorsignale und/oder Signale von anderen Steuereinheiten und/oder Eingangssignale, empfängt und ein Steuersignal als Funktion davon erzeugt. Dieses Steuersignal wird dann beispielsweise zum Steuern einer weiteren Steuereinheit oder beispielsweise eines Aktuators, wie etwa einer Bremse, eines Airbags oder einer Vorrichtung für automatisiertes Fahren, verwendet. Daher weist die Steuereinheit Eingabe- und Ausgabeschnittstellen auf.In one embodiment, the method further comprises detecting a stationary state of the vehicle and performing A) to E) during the stationary state. The stationary state of the vehicle can be obtained, for example, by another sensor device in the vehicle and/or a control unit of the vehicle, such as a central control unit of the vehicle. The control unit is an electrical device that receives input signals, for example sensor signals and/or signals from other control units and/or input signals, and generates a control signal as a function thereof. This control signal is then used, for example, to control another control unit or, for example, an actuator, such as a brake, an airbag or a device for automated driving. Therefore, the control unit has input and output interfaces.

In einer Ausführungsform des Verfahrens umfassen die Kalibrierungsdaten Referenzdaten und/oder vorläufige erfasste Daten. In B) wird mindestens ein Frame mit dem zweiten Satz von Parametern erfasst, um die Kalibrierungsdaten zu erhalten. Die Erfassung in B) dient dazu, Referenzdaten zu erhalten und/oder die letzte Einstellung auf Abweichungen zu überprüfen oder sie zu optimieren. Referenzdaten sind Daten, mit denen tatsächliche erfasste Daten der Erfassungsvorrichtung verglichen werden, um die Parameter der Erfassungsvorrichtung anzupassen. Diese Einstellung können als vorläufige Einstellungen betrachtet werden, die bestätigt werden können, indem das Verfahren erneut durchgeführt wird, um sie bei erneuter Durchführung von B) zu bestätigen.In one embodiment of the method, the calibration data comprises reference data and/or preliminary acquired data. In B), at least one frame is acquired with the second set of parameters to obtain the calibration data. The acquisition in B) serves to obtain reference data and/or to check the last setting for deviations or to optimize it. Reference data is data with which actual acquired data of the sensing device is compared in order to adjust the parameters of the sensing device. These settings can be considered as preliminary settings that can be confirmed by performing the method again to confirm them when performing B) again.

Verfahren nach einem der vorhergehenden Ansprüche, wobei die mindestens eine Erfassungsvorrichtung eine Lidar-Vorrichtung und/oder eine Radar-Vorrichtung und/oder eine Kameravorrichtung und/oder eine Ultraschallvorrichtung ist.Method according to one of the preceding claims, wherein the at least one detection device is a lidar device and/or a radar device and/or a camera device and/or an ultrasound device.

Die Lidar-Technologie (Lidar: Light Detection And Ranging) ist ein wichtiges optisches Sensorprinzip zur Umgebungsdetektion z. B. von Fahrzeugen. Eine Lidar-Vorrichtung umfasst eine optische Übertragungsvorrichtung und eine optische Empfangsvorrichtung. Die Übertragungsvorrichtung emittiert ein optisches Signal, das kontinuierlich oder gepulst sein kann. Darüber hinaus kann das optische Signal moduliert werden. Beispielsweise können elektromagnetische Wellen in Form von Laserstrahlen im ultravioletten, sichtbaren oder Infrarot-Bereich als optische Signale in einer Lidar-Vorrichtung verwendet werden. Das Licht wird durch die Empfangsvorrichtung nach Reflexion von einem Objekt in dem Erfassungsbereich in der Reichweite der Lidar-Vorrichtung empfangen. Das optische Signal kann beispielsweise unter Verwendung eines Laufzeitverfahrens ausgewertet werden und die räumliche Position und die Entfernung des Objekts, an dem die Reflexion erfolgte, können bestimmt werden. Darüber hinaus kann es möglich sein, eine relative Geschwindigkeit zwischen dem Objekt und der Sensorvorrichtung zu ermitteln. Reflexion oder reflektiertes Licht werden hier derart verstanden, dass sie beliebiges Licht bedeuten, das zurückreflektiert wird, und sollen insbesondere auch Licht enthalten, das durch Streuung oder Absorptionsemission zurückreflektiert wird.Lidar technology (Lidar: Light Detection And Ranging) is an important optical sensor principle for environmental detection, e.g. of vehicles. A lidar device comprises an optical transmission device and an optical reception device. The transmission device emits an optical signal that can be continuous or pulsed. In addition, the optical signal can be modulated. For example, electromagnetic waves in the form of laser beams in the ultraviolet, visible or infrared range can be used as optical signals in a lidar device. The light is received by the reception device after reflection from an object in the detection area within the range of the lidar device. The optical signal can be evaluated, for example, using a time-of-flight method and the spatial position and distance of the object at which the reflection occurred can be determined. In addition, it may be possible to determine a relative speed between the object and the sensor device. Reflection or reflected light is understood here to mean any light that is reflected back and is intended in particular to include light that is reflected back by scattering or absorption emission.

Ein anderes wichtiges Sensorprinzip zum Erfassen der Umgebung ist die Radar-Technologie, die auf elektromagnetischen Wellen im Hochfrequenzbereich, z. B. im Mikrowellenbereich, basiert. Die Radar-Vorrichtung sendet und empfängt Radar-Signale. Die Radar-Signale können ausgewertet werden und Informationen über ein Objekt, an dem eine Reflexion des Radarsignals erfolgte, können bestimmt werden.Another important sensor principle for detecting the environment is radar technology, which is based on electromagnetic waves in the high frequency range, e.g. in the microwave range. The radar device sends and receives radar signals. The radar signals can be evaluated and information about an object on which the radar signal was reflected can be determined.

Die Lidar-Vorrichtung hat den Vorteil einer sehr hohen Winkel- und Abstandsauflösung. Dies bedeutet, dass Lidar-Vorrichtungen Objekte mit hoher Auflösung abtasten können und in der Lage sein können, sie feiner als z. B. Radar-Vorrichtungen abzutasten. Lidar-Vorrichtungen können jedoch bei Nebel- oder Regenbedingungen begrenzter sein. Radar-Vorrichtung hingegen können Fahrzeuge selbst bei schwierigen Sichtverhältnissen und Wetterbedingungen detektieren. Kameras ihrerseits eignen sich äußerst gut zur Erkennung von Verkehrsschildern und Ampeln. Kameras sind zur Bilderfassung jedoch auf ausreichende Lichtbedingungen angewiesen.The Lidar device has the advantage of very high angular and distance resolution. This means that Lidar devices can scan objects with high resolution and may be able to scan them more finely than, for example, radar devices. However, Lidar devices may be more limited in foggy or rainy conditions. Radar devices, on the other hand, can detect vehicles even in difficult visibility and weather conditions. Cameras, on the other hand, are extremely good at detecting road signs and traffic lights. However, cameras rely on sufficient lighting conditions to capture images.

Ultraschallerfassungsvorrichtungen, auch als Ultraschallvorrichtungen oder Ultraschallvorrichtungen bezeichnet, sind auf Ultraschallwellen basierende Umgebungssensoren. Die Ultraschallvorrichtungen senden kurze Ultraschallimpulse aus, die durch Hindernisse reflektiert werden. Die Echosignale werden dann empfangen und verarbeitet. Sie können zur Entfernungsdetektion, z. B. zur Berechnung von Entfernungen zu Hindernissen, und zum Überwachen der Umgebung eines Fahrzeugs beim Parken und/oder Manövrieren verwendet werden.Ultrasonic sensing devices, also known as ultrasonic devices or ultrasonic devices, are environmental sensors based on ultrasonic waves. The ultrasonic devices emit short ultrasonic pulses that are reflected by obstacles. The echo signals are then received and processed. They can be used for range detection, e.g. calculating distances to obstacles, and for monitoring the surroundings of a vehicle when parking and/or maneuvering.

In einer Ausführungsform des Verfahrens werden die Kalibrierungsdaten in B) durch Erfassen des mindestens einen Frames der Umgebung mit dem zweiten Satz von Parametern unter Verwendung einer weiteren Erfassungsvorrichtung erhalten. In dieser Ausführungsform ist es möglich, eine weitere Erfassungsvorrichtung zu verwenden, die zur Kalibrierung der mindestens einen Erfassungsvorrichtung zur Verfügung steht. Beispielsweise kann eine Lidar-Vorrichtung unter Verwendung einer Kameravorrichtung, einer Radar-Vorrichtung oder einer Ultraschallvorrichtung kalibriert werden.In one embodiment of the method, the calibration data in B) are obtained by capturing the at least one frame of the environment with the second set of parameters using a further capturing device. In this embodiment, it is possible to use a further capturing device that is available for calibrating the at least one capturing device. For example, a lidar device can be calibrated using a camera device, a radar device or an ultrasound device.

In einer Ausführungsform des Verfahrens umfasst B) das Erhalten von Kalibrierungsdaten durch Erfassen mehrerer Frames der Umgebung abhängig von mehreren zweiten Sätzen von Parametern. In dieser Ausführungsform können mehrere Frames mit mehreren zweiten Sätzen von Parametern in B) zum Erhalten der Kalibrierungsdaten verwendet werden. Dies kann die Kalibrierungsdaten weiter verbessern.In an embodiment of the method, B) comprises obtaining calibration data by acquiring multiple frames of the environment depending on multiple second sets of parameters. In this embodiment, multiple frames with multiple second sets of parameters may be used in B) to obtain the calibration data. This may further improve the calibration data.

In einigen Ausführungsformen können die mehreren Frames der Umgebung unter Verwendung mehrerer Erfassungsvorrichtungen erfasst werden. Beispielsweise können einige weitere Erfassungsvorrichtungen in B) - mit jeweiligen zweiten Sätzen von Parametern - verwendet werden, um die Kalibrierungsdaten zu erhalten. Beispielsweise kann eine Lidar-Vorrichtung unter Verwendung einer Kameravorrichtung und einer Radar-Vorrichtung kalibriert werden.In some embodiments, the multiple frames of the environment may be captured using multiple capture devices. For example, several more capture devices in B) - with respective second sets of parameters - may be used to obtain the calibration data. For example, a Lidar device can be calibrated using a camera device and a radar device.

Ein System zum Kalibrieren mindestens einer Frame-basierten Fahrzeugerfassungsvorrichtung umfasst die mindestens eine Erfassungsvorrichtung, ausgelegt zum Frame-weisen Erfassen der Umgebung des Fahrzeugs abhängig von einem ersten Satz von Parametern. Das System umfasst ferner eine Verarbeitungsvorrichtung, ausgelegt zum Durchführen der Kalibrierung durch Anpassen des ersten Satzes von Parametern. Das System ist zum Durchführen des hier beschriebenen Verfahrens zum Kalibrieren geeignet.A system for calibrating at least one frame-based vehicle detection device comprises the at least one detection device, designed to detect the surroundings of the vehicle frame by frame depending on a first set of parameters. The system further comprises a processing device, designed to carry out the calibration by adapting the first set of parameters. The system is suitable for carrying out the method for calibration described here.

Die mindestens eine Erfassungsvorrichtung ist dazu ausgelegt, vor und nach dem Erfassen mindestens eines Frames der Umgebung mit einem zweiten Satz von Parametern mindestens einen Frame der Umgebung mit dem ersten Satz von Parametern zu erfassen.The at least one detection device is designed to detect at least one frame of the environment with the first set of parameters before and after detecting at least one frame of the environment with a second set of parameters.

Die Verarbeitungsvorrichtung ist dazu ausgelegt, einen dritten Satz von Parametern abhängig von durch Erfassen des mindestens einen Frames der Umgebung mit dem zweiten Satz von Parametern erhaltenen Kalibrierungsdaten zu bestimmen und die Frames, die mit dem ersten Satz von Parametern vor und nach dem Erfassen des mindestens einen Frames der Umgebung mit dem zweiten Satz von Parametern erfasst wurden, miteinander zu vergleichen. Die Verarbeitungsvorrichtung ist ferner dazu ausgelegt, den ersten Satz von Parametern abhängig von dem Ergebnis des Vergleichs anzupassen.The processing device is designed to determine a third set of parameters depending on calibration data obtained by capturing the at least one frame of the environment with the second set of parameters and to compare the frames captured with the first set of parameters before and after capturing the at least one frame of the environment with the second set of parameters. The processing device is further designed to adapt the first set of parameters depending on the result of the comparison.

Beispielsweise kann ein erster Satz von Parametern aktualisiert werden, sodass er gleich dem dritten Satz von Parametern ist, wenn die verglichenen Frames ähnlich sind, oder der erste Satz von Parametern kann unverändert gelassen werden, wenn die verglichenen Frames nicht ähnlich sind.For example, a first set of parameters may be updated to be equal to the third set of parameters if the compared frames are similar, or the first set of parameters may be left unchanged if the compared frames are not similar.

Die Verarbeitungsvorrichtung kann in der mindestens einen Erfassungsvorrichtung enthalten sein. Die Verarbeitungsvorrichtung kann in einer zentralen Steuerung des Fahrzeugs enthalten sein. Das hier beschriebene System kann in einem Fahrzeug, wie etwa einem Personenkraftwagen, einem Nutzfahrzeug oder anderen Fahrzeugen, z. B. zweirädrigen Fahrzeugen, enthalten sein.The processing device may be included in the at least one sensing device. The processing device may be included in a central controller of the vehicle. The system described herein may be included in a vehicle, such as a passenger car, a commercial vehicle, or other vehicles, e.g. two-wheeled vehicles.

Das Fahrzeug kann das System gemäß Beschreibung in dieser Offenbarung umfassen. Das Fahrzeug kann ferner die zentrale Steuerung umfassen, ausgelegt zum Empfangen der Sensordaten von der mindestens einen Erfassungsvorrichtung und/oder weiteren Erfassungsvorrichtungen und zum weiteren Verarbeiten der Sensordaten und zum Ausgeben von Daten an andere Vorrichtungen des Fahrzeugs. Die zentrale Steuerung kann dazu ausgelegt sein, Sensordaten von mehreren Erfassungsvorrichtungen zu empfangen und Daten mit mehreren Aktuatoren und Erfassungsvorrichtungen des Fahrzeugs auszutauschen, um autonome oder halbautonome Fahrzeugfahrfunktionen zu implementieren.The vehicle may include the system as described in this disclosure. The vehicle may further include the central controller configured to receive the sensor data from the at least one sensing device and/or other sensing devices and to further process the sensor data and output data to other devices of the vehicle. The central controller may be configured to receive sensor data from multiple sensing devices and exchange data with multiple actuators and sensing devices of the vehicle to implement autonomous or semi-autonomous vehicle driving functions.

Kurze Beschreibung der FigurenShort description of the characters

Es folgt eine lediglich beispielhafte Beschreibung von Ausführungsformen unter Bezugnahme auf die angehängten Zeichnungsfiguren. Es werden durchgängig ähnliche Bezugsziffern verwendet, um auf ähnliche Elemente Bezug zu nehmen. Die veranschaulichten Strukturen und Vorrichtungen sind nicht notwendigerweise maßstabsgetreu gezeichnet.

1 veranschaulicht schematisch ein Verfahren zum Kalibrieren einer Fahrzeugerfassungsvorrichtung.
2 veranschaulicht schematisch ein Fahrzeug, das Erfassungsvorrichtungen und eine zentrale Steuerung umfasst.

There follows a description of embodiments by way of example only, with reference to the accompanying drawing figures. Like reference numerals are used throughout to refer to like elements. The illustrated structures and devices are not necessarily drawn to scale.

1 schematically illustrates a method for calibrating a vehicle detection device.
2 schematically illustrates a vehicle comprising sensing devices and a central control.

Ausführliche BeschreibungDetailed description

1 veranschaulicht schematisch ein Verfahren zum Kalibrieren einer Fahrzeugerfassungsvorrichtung 12, 14, 16, 18. Die Fahrzeugerfassungsvorrichtung 12, 14, 16, 18 kann durch Anpassen eines Satzes von Parametern kalibriert werden. Das Verfahren ermöglicht eine Bestimmung von Kalibrierungsdaten und eine Validierung der Kalibrierungsdaten. Die Validierung umfasst die Verifizierung, ob die Umstände, unter denen die Kalibrierungsdaten bestimmt wurden, derart sind, dass ein gültiger Erhalt von Kalibrierungsdaten möglich ist. Das Verfahren ermöglicht eine Kalibrierung während der Betriebsphase der Erfassungsvorrichtungen 12, 14, 16, 18. Daher kann eine Neukalibrierung auf die Erfassungsvorrichtungen 12, 14, 16, 18 während ihres normalen Betriebs ohne angewendet werden, ohne dass eine spezielle vordefinierte Umgebung aufgesucht werden muss. Die Validierung der Kalibrierungsdaten ist wichtig, da sich die Umgebung während der Betriebsphase der Erfassungsvorrichtungen 12, 14, 16, 18 stets verändern kann, sodass die Kalibrierungsdaten ungültig werden können, da Messdaten zum Vergleich auf anderen Bedingungen basieren können. 1 schematically illustrates a method for calibrating a vehicle detection device 12, 14, 16, 18. The vehicle detection device 12, 14, 16, 18 can be calibrated by adjusting a set of parameters. The method enables determination of calibration data and validation of the calibration data. The validation includes verifying whether the circumstances under which the calibration data was determined are such that valid acquisition of calibration data is possible. The method enables calibration during the operational phase of the detection devices 12, 14, 16, 18. Therefore, recalibration can be applied to the detection devices 12, 14, 16, 18 during their normal operation without having to visit a special predefined environment. Validation of the calibration data is important because the environment may change during the operational phase of the sensing devices 12, 14, 16, 18, which may invalidate the calibration data because measurement data for comparison may be based on different conditions.

Jedoch kommt es oft vor, dass mehrere Frames für dieselbe Szene aufgezeichnet werden, z. B. wenn sich das Fahrzeug 10 nicht bewegt. Das Verfahren nutzt solche Situationen, in denen mindestens eine der Frame-basierten Erfassungsvorrichtungen 12, 14, 16, 18 Frames derselben Umgebung, die sich nicht ändern, erfasst. Eine solche Situation ist zur Kalibrierung, insbesondere zur Online-Neukalibrierung, nützlich.However, it often happens that several frames are recorded for the same scene, e.g. when the vehicle 10 is not moving. The method takes advantage of such situations in which at least one of the frame-based capture devices 12, 14, 16, 18 captures frames of the same environment that do not change. Such a situation is useful for calibration, especially for online recalibration.

Viele im Automobilsektor verwendete Erfassungsvorrichtungen 12, 14, 16, 18, z. B. Kameravorrichtungen 16, Lidar-Vorrichtungen 12, Radar-Vorrichtungen 14, Ultraschallvorrichtungen 18 weisen eine Frame-basierte Auswertung von Daten auf. Da die Erfassungsvorrichtungen 12, 14, 16, 18 an dem Fahrzeug 10 sich häufig ändernden Bedingungen sowie Alterung und einem großen Temperaturbereich ausgesetzt sind, kann dies die Leistungsfähigkeit der Erfassungsvorrichtungen 12, 14, 16, 18 beeinträchtigen. Diese Auswirkungen können vorhergesagt und kompensiert werden, indem Parameter der Erfassungsvorrichtungen 12, 14, 16, 18 angepasst werden. Zusätzlich oder alternativ ist eine Neukalibrierung der Erfassungsvorrichtungen 12, 14, 16, 18 vorteilhaft, da die Vorhersage von Alterungsprozessen komplex sein kann. Auch kann die Verwendung von Fahrzeugen 10 höchst variabel sein, z. B. hinsichtlich Nutzung, Umgebungstemperaturen usw. Die Neukalibrierung kann ermöglichen, dies zu berücksichtigen, ohne die genauen Umstände der Verwendung jedes einzelnen Fahrzeugs 10 im Voraus zu kennen. Die Neukalibrierung von Eigenschaften wie Signalverstärkung, Weißabgleich, Rauschwerten ist somit von Vorteil, insbesondere für sicherheitsrelevante Funktionen.Many sensing devices 12, 14, 16, 18 used in the automotive sector, e.g. camera devices 16, lidar devices 12, radar devices 14, ultrasound devices 18, have a frame-based evaluation of data. Since the sensing devices 12, 14, 16, 18 on the vehicle 10 are exposed to frequently changing conditions as well as aging and a wide temperature range, this can affect the performance of the sensing devices 12, 14, 16, 18. These effects can be predicted and compensated for by adjusting parameters of the sensing devices 12, 14, 16, 18. Additionally or alternatively, recalibration of the sensing devices 12, 14, 16, 18 is advantageous because predicting aging processes can be complex. Also, the use of vehicles 10 can be highly variable, e.g. B. regarding usage, ambient temperatures, etc. Recalibration can make it possible to take this into account without knowing the exact circumstances of use of each individual vehicle 10 in advance. Recalibration of properties such as signal gain, white balance, noise levels is thus advantageous, especially for safety-relevant functions.

Das Verfahren umfasst Folgendes:

A) umfasst das Erfassen mindestens eines Frames der Umgebung mit einem ersten Satz von Parametern. Die Erfassungsvorrichtung 12, 14, 16, 18 ist im normalen Betrieb. Sie erfasst den Erfassungsbereich 22 mit ihren normalen Einstellungen.
B) ist ein Kalibrierungsmodus mit geänderten Einstellung der Erfassungsvorrichtung 12, 14, 16, 18. B) umfasst das Erfassen mindestens eines Frames der Umgebung mit einem zweiten Satz von Parametern. Die Änderungen von dem ersten zu dem zweiten Satz von Parametern erfolgen, um Kalibrierungsdaten zu erfassen. Die Kalibrierungsdaten können Referenzdaten oder Daten zum Prüfen oder Optimieren der vorherigen Einstellungen den ersten Satz von Parametern auf Abweichungen sein.

The procedure includes the following:

A) comprises capturing at least one frame of the environment with a first set of parameters. The detection device 12, 14, 16, 18 is in normal operation. It detects the detection area 22 with its normal settings.
B) is a calibration mode with changed settings of the sensing device 12, 14, 16, 18. B) comprises acquiring at least one frame of the environment with a second set of parameters. The changes from the first to the second set of parameters are made to acquire calibration data. The calibration data may be reference data or data for checking or optimizing the previous settings of the first set of parameters for deviations.

Ein dritter Satz von Parametern wird während B) bestimmt. Der dritte Satz von Parametern ist von den durch Erfassen des mindestens einen Frames der Umgebung mit dem zweiten Satz von Parametern erhaltenen Kalibrierungsdaten abhängig.

C) umfasst das Erfassen mindestens eines Frames der Umgebung mit dem ersten Satz von Parametern. In C) befindet sich die Erfassungsvorrichtung 12, 14, 16, 18 wieder im normalen Betrieb und erfasst mit normalen Einstellungen, die die gleichen wie in A) sind.
D) umfasst das Vergleichen des in A) erfassten mindestens einen Frames mit dem in C) erfassten mindestens einen Frame. Der Vergleich in D) umfasst, dass die Messdaten der erfassten Daten in A) und C) miteinander verglichen werden.
D) umfasst ferner das Detektieren, ob die während A) erfasste Umgebung der während C) erfassten Umgebung ähnlich ist. Sind die in A) und C) erfassten Daten gleich oder weisen sie nur sehr geringe Abweichungen auf, so ist davon auszugehen, dass sich die Umgebung während des Kalibrierungsvorgangs nicht verändert hat.
E) umfasst das Anpassen des ersten Satzes von Parametern abhängig von dem Ergebnis von D).
E) umfasst insbesondere:
- E.1) Aktualisieren des ersten Satzes von Parametern, sodass dieser gleich dem dritten Satz von Parametern ist, wenn der in A) erfasste mindestens eine Frame dem in C) erfassten mindestens einen Frame ähnlich ist. Dies entspricht dem mit „+“ markierten Pfad in 1. oder
- E.2) Beibehalten des ersten Satzes von Parametern, wenn der in A) erfasste mindestens eine Frame dem in C) erfassten mindestens einen Frame nicht ähnlich ist. Dies entspricht dem mit „-“ markierten Pfad in 1. Dies bedeutet, dass die in B) erfassten Kalibrierungsdaten verworfen werden.

A third set of parameters is determined during B). The third set of parameters depends on the calibration data obtained by acquiring the at least one frame of the environment with the second set of parameters.

C) comprises capturing at least one frame of the environment with the first set of parameters. In C), the capturing device 12, 14, 16, 18 is again in normal operation and captures with normal settings which are the same as in A).
D) includes comparing the at least one frame captured in A) with the at least one frame captured in C). The comparison in D) includes comparing the measurement data of the captured data in A) and C).
D) also includes detecting whether the environment acquired during A) is similar to the environment acquired during C). If the data acquired in A) and C) are the same or show only very small deviations, it can be assumed that the environment has not changed during the calibration process.
E) involves adjusting the first set of parameters depending on the result of D).
E) includes in particular:
- E.1) Update the first set of parameters to be equal to the third set of parameters if the at least one frame captured in A) is similar to the at least one frame captured in C). This corresponds to the path marked with “+” in 1 . or
- E.2) Keep the first set of parameters if the at least one frame captured in A) is not similar to the at least one frame captured in C). This corresponds to the path marked with “-” in 1 This means that the calibration data collected in B) are discarded.

Nach E) wird der normale Betrieb entweder mit dem angepassten ersten Satz von Parametern, der optimierten Einstellungen basierend auf der Optimierung aus B) entspricht, oder den anfänglichen Einstellung aus A) fortgesetzt.After E), normal operation continues with either the adjusted first set of parameters corresponding to optimized settings based on the optimization from B) or the initial settings from A).

Ferner ist es möglich, zu prüfen, ob das Fahrzeug stillsteht, bevor das beschriebene Verfahren gestartet wird.It is also possible to check whether the vehicle is stationary before starting the described procedure.

2 zeigt schematisch ein Fahrzeug 10, zum Beispiel einen Personenkraftwagen. Mehrere Erfassungsvorrichtungen 12, 14, 15, 18 sind in einem Frontbereich des Fahrzeugs 10 angeordnet. 2 shows schematically a vehicle 10, for example a passenger car. Several detection devices 12, 14, 15, 18 are arranged in a front area of the vehicle 10.

Eine Lidar-Vorrichtung 12 umfasst eine optische Übertragungsvorrichtung, eine optische Empfangsvorrichtung und einen Prozessor. In den Prozessor der Lidar-Vorrichtung 12 können gesendete und empfangene optische Signale Si z. B. unter Verwendung von Laufzeitmessungen ausgewertet werden. Die Auswertung kann dazu dienen, Objekte O in dem Erfassungsbereich 22 zu detektieren. Der Prozessor kann außerdem dazu verwendet werden, den Übertragungsprozess in der optischen Übertragungsvorrichtung und den Empfangsprozess in der optischen Empfangsvorrichtung zu überwachen und zu steuern.A lidar device 12 comprises an optical transmission device, an optical reception device and a processor. In the processor of the lidar device 12, transmitted and received optical signals Si can be evaluated, for example using time-of-flight measurements. The evaluation can be used to detect objects O in the detection area 22. The processor processor can also be used to monitor and control the transmission process in the optical transmission device and the reception process in the optical reception device.

In dem gezeigten Beispiel befindet sich der Erfassungsbereich 22 der Lidar-Vorrichtung 12 vor dem Fahrzeug 10. Somit kann in dem gezeigten Beispiel ein Bereich in Fahrtrichtung vor dem Fahrzeug 10 durch die Lidar-Vorrichtung 12 überwacht werden. Es besteht außerdem die Möglichkeit von Lidar-Vorrichtungen für andere Teile des Fahrzeugs 10, z. B. für Rundumsichtfunktionen, wie etwa die Seiten und/oder das Heck des Fahrzeugs 10. Es ist auch möglich, mehrere Lidar-Vorrichtung 12 an dem Fahrzeug 10, insbesondere auch in Eckbereichen des Fahrzeugs 10, anzuordnen.In the example shown, the detection area 22 of the lidar device 12 is located in front of the vehicle 10. Thus, in the example shown, an area in the direction of travel in front of the vehicle 10 can be monitored by the lidar device 12. There is also the possibility of lidar devices for other parts of the vehicle 10, e.g. for all-round visibility functions, such as the sides and/or the rear of the vehicle 10. It is also possible to arrange several lidar devices 12 on the vehicle 10, in particular in corner areas of the vehicle 10.

Eine Radar-Vorrichtung 14 umfasst eine Radar-Übertragungsvorrichtung, eine Radar-Empfangsvorrichtung und einen Prozessor. Der Prozessor der Radar-Vorrichtung 14 ist dazu ausgelegt, die gesendeten und empfangenen Radar-Signale Si auszuwerten. Anhand der Auswertung kann eine Detektion und Entfernungsmessung des Objekts O durchgeführt werden. Der Erfassungsbereich 22 der Radar-Vorrichtung 14 kann dem Erfassungsbereich 22 der Lidar-Vorrichtung 12 ähnlich sein oder sich von diesem unterscheiden. Bei schlechten Sichtverhältnissen und zur Geschwindigkeitsschätzung kann die Lidar-Vorrichtung 12 durch von der Radar-Vorrichtung 14 bereitgestellte Daten erweitert werden. Außerdem kann die Kalibrierung der Lidar-Vorrichtung 12 durch von der Radar-Vorrichtung 14 bereitgestellte Sensordaten unterstützt werden und umgekehrt.A radar device 14 comprises a radar transmission device, a radar reception device and a processor. The processor of the radar device 14 is designed to evaluate the transmitted and received radar signals Si. The evaluation can be used to detect and measure the distance of the object O. The detection range 22 of the radar device 14 can be similar to or different from the detection range 22 of the lidar device 12. In poor visibility conditions and for speed estimation, the lidar device 12 can be extended by data provided by the radar device 14. In addition, the calibration of the lidar device 12 can be supported by sensor data provided by the radar device 14 and vice versa.

Außerdem kann sich eine Kameravorrichtung 16 im Frontbereich des Fahrzeugs 10 befinden, um optische Signale Si im Erfassungsbereich 22 zu erfassen. Die Kameravorrichtung 16 erfasst Bilder des Erfassungsbereichs 22. Der Erfassungsbereich 22 der Kamera kann dem Erfassungsbereich 22 der Lidar-Vorrichtung 12 und/oder der Radar-Vorrichtung 14 ähnlich sein. Außerdem kann die Kalibrierung der Kamera 16 durch von der Lidar-Vorrichtung 12 und/oder der Radar-Vorrichtung 14 bereitgestellte Sensordaten unterstützt werden und umgekehrt.In addition, a camera device 16 can be located in the front area of the vehicle 10 to capture optical signals Si in the detection area 22. The camera device 16 captures images of the detection area 22. The detection area 22 of the camera can be similar to the detection area 22 of the lidar device 12 and/or the radar device 14. In addition, the calibration of the camera 16 can be supported by sensor data provided by the lidar device 12 and/or the radar device 14 and vice versa.

Die Kalibrierung der Vorrichtungen 12, 14, 16 kann durch von einer Ultraschallvorrichtung 18 erfasste Daten verbessert werden und umgekehrt. Die Ultraschallvorrichtung sendet und empfängt Ultraschallsignale Si, um Informationen in der Umgebung des Fahrzeugs 10 zu erhalten.The calibration of the devices 12, 14, 16 can be improved by data acquired by an ultrasonic device 18 and vice versa. The ultrasonic device sends and receives ultrasonic signals Si to obtain information in the environment of the vehicle 10.

Die Radar-Erfassungsvorrichtung 14, die Kameravorrichtung 16 und/oder die Ultraschallvorrichtung 18 können sich auch in anderen Bereichen des Fahrzeugs 10 befinden. Es können sich mehr als eine der Radar-Erfassungsvorrichtung 14, der Kameravorrichtung 16 und/oder der Ultraschallvorrichtung 18 an dem Fahrzeug 10 befinden.The radar detection device 14, the camera device 16, and/or the ultrasonic device 18 may also be located in other areas of the vehicle 10. More than one of the radar detection device 14, the camera device 16, and/or the ultrasonic device 18 may be located on the vehicle 10.

Die Erfassungsvorrichtungen 12, 14, 16, 18 können verwendet werden, um stationäre oder sich bewegende Objekte O in ihrem jeweiligen Zielbereich 22 zu detektieren. Objekte O können Fahrzeuge, Personen, Tiere, Pflanzen, Hindernisse, Fahrbahnunebenheiten wie Schlaglöcher oder Steine, Fahrbahnbegrenzungen, Verkehrsschilder, Freiflächen, insbesondere Parkplätze, Niederschlag oder dergleichen sein.The detection devices 12, 14, 16, 18 can be used to detect stationary or moving objects O in their respective target area 22. Objects O can be vehicles, people, animals, plants, obstacles, road surface irregularities such as potholes or stones, road markings, traffic signs, open spaces, in particular parking lots, precipitation or the like.

Jede der Erfassungsvorrichtungen 12, 14, 18 kann einen Prozessor umfassen, ausgelegt zum Auswerten der gesendeten und empfangenen Signale Si, um die Detektion von Objekten O in dem jeweiligen Erfassungsbereich 22 durchzuführen und um eine Überwachung des jeweiligen Erfassungsbereichs 22 durchzuführen. Die Kameravorrichtung 16 kann ebenfalls ein Prozessor umfassen, ausgelegt zum Durchführen der Bilderfassung und/oder zum Durchführen einer Überwachung des Erfassungsbereichs 22 der Kamera 16.Each of the detection devices 12, 14, 18 can comprise a processor designed to evaluate the transmitted and received signals Si in order to carry out the detection of objects O in the respective detection area 22 and to carry out monitoring of the respective detection area 22. The camera device 16 can also comprise a processor designed to carry out the image capture and/or to carry out monitoring of the detection area 22 of the camera 16.

Das Verfahren zum Kalibrieren einer oder mehrerer Frame-basierter Fahrzeugerfassungsvorrichtungen 12, 14, 16, 18 kann an den jeweiligen Vorrichtungen 12, 14, 16, 18 mit ihrem jeweiligen Prozessor durchgeführt werden. Das Verfahren kann außerdem durch eine oder mehrere der Vorrichtungen 12, 14, 16, 18 und eine zentrale Steuerung 20 durchgeführt werden. Die zentrale Steuerung 22 kann auch als zentrales ECU (elektronisches Steuergerät), Zonensteuerung und/oder Domänensteuerung bezeichnet werden. Die zentrale Steuerung 20 kann dazu ausgelegt sein, Sensordaten von den mehreren Erfassungsvorrichtungen 12, 14, 16, 18 und anderen Sensoren zu empfangen und Aktuatoren des Fahrzeugs 10 zu steuern. Die zentrale Steuerung 20 kann insbesondere einen Programmcode umfassen, der bei Ausführung auf der zentralen Steuerung 20 das Fahrzeug 10 zum Durchführen von autonomem oder halbautonomem Fahren steuert. Für solche Funktionen muss sich bei der Kalibrierung und insbesondere Online-Kalibrierung der Erfassungsvorrichtungen 12, 14, 16, 18 auf hochqualitative Sensordaten verlassen werden können.The method for calibrating one or more frame-based vehicle sensing devices 12, 14, 16, 18 may be performed on the respective devices 12, 14, 16, 18 with their respective processor. The method may also be performed by one or more of the devices 12, 14, 16, 18 and a central controller 20. The central controller 22 may also be referred to as a central ECU (electronic control unit), zone controller, and/or domain controller. The central controller 20 may be configured to receive sensor data from the plurality of sensing devices 12, 14, 16, 18 and other sensors and to control actuators of the vehicle 10. In particular, the central controller 20 may include program code that, when executed on the central controller 20, controls the vehicle 10 to perform autonomous or semi-autonomous driving. For such functions, high-quality sensor data must be relied upon during calibration and in particular online calibration of the detection devices 12, 14, 16, 18.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 10176596 B1 [0004]
US 9734419 B1 [0005]

Claims

Method for calibrating at least one frame-based vehicle detection device (12, 14, 16, 18), wherein the at least one detection device (12, 14, 16, 18) is designed to detect the environment of the vehicle (10) frame by frame depending on a first set of parameters, wherein the calibration is performed by adjusting the first set of parameters, the method comprising: A) detecting at least one frame of the environment with the first set of parameters, B) detecting at least one frame of the environment with a second set of parameters, wherein a third set of parameters is determined depending on calibration data obtained by detecting the at least one frame of the environment with the second set of parameters, C) detecting at least one frame of the environment with the first set of parameters, D) comparing the at least one frame detected in A) with the at least one frame detected in C), and E) adjusting the first set of parameters depending on the result of D).

procedure according to claim 1 , where D) comprises detecting whether the environment sensed during A) is similar to the environment sensed during C).

procedure according to claim 1 or 2 , wherein A) and C) are performed by the at least one vehicle detection device (12, 14, 16, 18) and E) comprises: E.1) updating the first set of parameters to be equal to the third set of parameters if the at least one frame captured in A) is similar to the at least one frame captured in C), or E.2) maintaining the first set of parameters if the at least one frame captured in A) is not similar to the at least one frame captured in C).

Method according to one of the preceding claims, wherein the detection device is designed to provide sensor data which is dependent on the environment of the vehicle (10) detected in dependence on the first set of parameters.

Method according to one of the preceding claims, further comprising detecting a stationary state of the vehicle (10) and performing A) to E) during the stationary state.

Method according to one of the preceding claims, wherein the calibration data comprises reference data and/or preliminary acquired data.

Method according to one of the preceding claims, wherein the at least one detection device (12, 14, 16, 18) is a lidar device (12) and/or a radar device (14) and/or a camera device (16) and/or an ultrasound device (18).

A method according to any preceding claim, wherein the calibration data is obtained by capturing the at least one frame of the environment with the second set of parameters using a further capturing device (12, 14, 16, 18).

A method according to any preceding claim, wherein B) comprises obtaining calibration data by acquiring a plurality of frames of the environment dependent on a plurality of second sets of parameters.

procedure according to claim 9 , wherein the multiple frames of the environment are captured using multiple capture devices (12, 14, 16, 18).

System for calibrating at least one frame-based vehicle detection device, wherein the at least one detection device (12, 14, 16, 18) is designed to detect the surroundings of the vehicle (10) frame by frame depending on a first set of parameters, wherein a processing device is designed to carry out the calibration by adjusting the first set of parameters, wherein the at least one detection device is designed to detect at least one frame of the environment with the first set of parameters before and after detecting at least one frame of the environment with a second set of parameters, wherein the processing device is designed to determine a third set of parameters depending on calibration data obtained by detecting the at least one frame of the environment with the second set of parameters and to compare the frames that were detected with the first set of parameters before and after detecting the at least one frame of the environment with the second set of parameters, wherein the processing device is further designed to adjust the first set of parameters depending on the result of the comparison to adapt.

system according to claim 11 , where the first set of parameters is updated to equal to the third set of parameters if the compared frames are similar, or leaving the first set of parameters unchanged if the compared frames are not similar.

system according to claim 11 or 12 , wherein the at least one detection device (12, 14, 16, 18) is a lidar device (12) and/or a radar device (14) and/or a camera device (16) and/or an ultrasound device (18).

System according to one of the Claims 11 until 13 , wherein the processing device is contained in the at least one detection device (12, 14, 16, 18) or wherein the processing device (12, 14, 16, 18) is contained in a central controller (20) of the vehicle (10).

Vehicle that has a system according to one of the Claims 11 until 14 includes.