DE102019118481A1

DE102019118481A1 - Calibrating an active optical sensor system

Info

Publication number: DE102019118481A1
Application number: DE102019118481.9A
Authority: DE
Inventors: Nikolai Sergeev
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2021-01-14

Abstract

Gemäß einem Verfahren zum Kalibrieren eines aktiven optischen Sensorsystems (3) wird eine Punktwolke (6) mittels des aktiven optischen Sensorsystems (3) erzeugt und mittels einer Recheneinheit (4) in ein Referenzkoordinatensystem (x0', y0') transformiert. Eine Referenzwinkellage (δ0) eines virtuellen Referenzsensorsystems wird mittels der Recheneinheit (4) basierend auf der transformierten Punktwolke bestimmt und eine Winkellage (δs) des Sensorsystems (3) wird mittels der Recheneinheit (4) basierend auf der Referenzwinkellage (δ0) bestimmt.According to a method for calibrating an active optical sensor system (3), a point cloud (6) is generated by means of the active optical sensor system (3) and transformed into a reference coordinate system (x0 ', y0') by means of a computing unit (4). A reference angular position (δ0) of a virtual reference sensor system is determined by the computing unit (4) based on the transformed point cloud and an angular position (δs) of the sensor system (3) is determined by the computing unit (4) based on the reference angular position (δ0).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Kalibrieren eines aktiven optischen Sensorsystems, wobei eine Punktwolke von Abtastpunkten mittels des aktiven optischen Sensorsystems erzeugt wird, wobei jeder Abtastpunkt der Punktwolke drei Ortsrahmenkoordinaten bezüglich eines Sensorkoordinatensystems beinhaltet. Die Erfindung betrifft ferner eine entsprechende Sensorvorrichtung, ein Kraftfahrzeug sowie ein Computerprogramm.The present invention relates to a method for calibrating an active optical sensor system, a point cloud of sampling points being generated by means of the active optical sensor system, each sampling point of the point cloud containing three spatial frame coordinates with respect to a sensor coordinate system. The invention also relates to a corresponding sensor device, a motor vehicle and a computer program.

Aktive optische Sensorsysteme, wie beispielsweise Lidarsysteme, können an Kraftfahrzeugen montiert werden, um vielfältige Funktionen elektronischer Fahrzeugführungssysteme oder Fahrerassistenzsysteme zu realisieren. Diese Funktionen beinhalten Abstandsmessungen, Abstandsregelalgorithmen, Spurhalteassistenten, Objektverfolgungsfunktionen und so weiter. Abweichungen einer Einbauposition und einer Einbauorientierung des Sensorsystems von einer nominalen Orientierung beeinflussen die Genauigkeit der Messwerte beziehungsweise deren Interpretation und Auswertung und damit die Zuverlässigkeit und Robustheit der entsprechenden Funktionen. Daher ist es erforderlich, das aktive optische Sensorsystem zu kalibrieren, um entsprechende Orientierungs- oder Positionsabweichungen kompensieren zu können.Active optical sensor systems, such as lidar systems, can be mounted on motor vehicles in order to implement various functions of electronic vehicle guidance systems or driver assistance systems. These functions include distance measurements, distance control algorithms, lane keeping assistants, object tracking functions and so on. Deviations of an installation position and an installation orientation of the sensor system from a nominal orientation influence the accuracy of the measured values or their interpretation and evaluation and thus the reliability and robustness of the corresponding functions. It is therefore necessary to calibrate the active optical sensor system in order to be able to compensate for corresponding orientation or position deviations.

Bekannte Verfahren zur Kalibrierung von aktiven optischen Sensorsystemen verwenden beispielsweise eigens dafür vorgesehene Kalibrierungsvorlagen oder -targets, um Messwerte des Sensorsystems mit erwarteten Messwerten zu vergleichen. Demzufolge können solche Kalibrierungsverfahren nicht online, also während eines Einsatzes des Sensorsystems im Normalbetrieb des Kraftfahrzeugs, angewendet werden. Lage- oder Orientierungs-änderungen des Sensorsystems, welche sich im Laufe der Lebensdauer des Sensorsystems beziehungsweise des Kraftfahrzeugs ergeben, können so nicht berücksichtigt werden.Known methods for calibrating active optical sensor systems use, for example, calibration templates or targets specially provided for this purpose in order to compare measured values of the sensor system with expected measured values. As a result, such calibration methods cannot be used online, that is to say while the sensor system is in use in normal operation of the motor vehicle. Changes in position or orientation of the sensor system, which occur in the course of the service life of the sensor system or the motor vehicle, cannot be taken into account in this way.

Online-Kalibrierungsverfahren, welche ausgezeichnete Objekte in einer Umgebung des Sensorsystems nutzen, die sich gegebenenfalls als Kalibrierungsvorlage eignen würden, sind zwar denkbar, wären jedoch auf eine vorgegebene Sollausrichtung des Sensorsystems beschränkt.Online calibration methods which use excellent objects in an environment of the sensor system, which would be suitable as a calibration template, are conceivable, but would be limited to a predetermined target alignment of the sensor system.

Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept zur Kalibrierung eines aktiven optischen Sensorsystems anzugeben, das sowohl ohne spezielle Kalibrierungsvorlage auskommt, als auch für beliebige Sollorientierungen des Sensorsystems anwendbar ist.Against this background, it is an object of the present invention to provide an improved concept for calibrating an active optical sensor system, which does not require a special calibration template and can also be used for any desired orientation of the sensor system.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren, eine Sensorvorrichtung, ein Kraftfahrzeug sowie ein Computerprogramm nach den unabhängigen Patentansprüchen gelöst. Vorteilhafte Weiterbildungen und weitere Ausführungsformen sind Gegenstand der abhängigen Patentansprüche.According to the invention, this object is achieved by a method, a sensor device, a motor vehicle and a computer program according to the independent patent claims. Advantageous further developments and further embodiments are the subject of the dependent claims.

Das verbesserte Konzept beruht auf der Idee, eine in einem Sensorkoordinatensystem erzeugte Punktwolke von Abtastpunkten des Sensorsystems in ein Referenzkoordinatensystem zu transformieren und eine Winkellage des Sensorsystems basierend auf der transformierten Punktwolke zu bestimmen.The improved concept is based on the idea of transforming a point cloud of scanning points of the sensor system generated in a sensor coordinate system into a reference coordinate system and of determining an angular position of the sensor system based on the transformed point cloud.

Gemäß einem ersten unabhängigen Aspekt des verbesserten Konzepts wird ein Verfahren zum Kalibrieren eines aktiven optischen Sensorsystems angegeben. Dabei wird eine Punktwolke von Abtastpunkten, insbesondere eine dreidimensionale Punktwolke von Abtastpunkten, mittels des aktiven optischen Sensorsystems erzeugt, wobei jeder Abtastpunkt der Punktwolke drei Ortsraumkoordinaten bezüglich eines Sensorkoordinatensystems beinhaltet. Die Punktwolke wird mittels einer Recheneinheit, insbesondere anhand einer vordefinierten Transformationsvorschrift, in ein Referenzkoordinatensystem transformiert. Eine Referenzwinkellage eines virtuellen Referenzsensorsystems wird mittels der Recheneinheit basierend auf der transformierten Punktwolke bestimmt. Eine Winkellage des Sensorsystems wird mittels der Recheneinheit basierend auf der Referenzwinkellage bestimmt.According to a first independent aspect of the improved concept, a method for calibrating an active optical sensor system is specified. A point cloud of sampling points, in particular a three-dimensional point cloud of sampling points, is generated by means of the active optical sensor system, each sampling point of the point cloud containing three spatial coordinates with respect to a sensor coordinate system. The point cloud is transformed into a reference coordinate system by means of a computing unit, in particular on the basis of a predefined transformation rule. A reference angular position of a virtual reference sensor system is determined by means of the computing unit based on the transformed point cloud. An angular position of the sensor system is determined by means of the computing unit based on the reference angular position.

Hier und im Folgenden kann ein aktives optisches Sensorsystem dadurch als solches definiert sein, dass es eine Lichtquelle oder Sendeeinheit, insbesondere zum Aussenden mehrerer Lichtimpulse, aufweist. Des Weiteren weist ein aktives optisches Sensorsystem wenigstens einen optischen Detektor, beispielsweise einer Empfangseinheit auf, insbesondere zum Erfassen von Licht, beispielsweise Lichtimpulsen, insbesondere reflektierter Anteile der Lichtimpulse. Das aktive optische Sensorsystem ist insbesondere dazu eingerichtet, basierend auf den detektierten reflektierten Anteilen eines oder mehrere Sensorsignale zu erzeugen und auszugeben.Here and in the following, an active optical sensor system can be defined as such in that it has a light source or transmission unit, in particular for emitting several light pulses. Furthermore, an active optical sensor system has at least one optical detector, for example a receiving unit, in particular for detecting light, for example light pulses, in particular reflected components of the light pulses. The active optical sensor system is set up in particular to generate and output one or more sensor signals based on the detected reflected components.

Unter dem Kalibrieren des aktiven optischen Sensorsystems können insbesondere das Bestimmen der Winkellage des Sensorsystems beziehungsweise dafür erforderliche vorbereitende Schritte verstanden werden.The calibration of the active optical sensor system can in particular be understood to mean the determination of the angular position of the sensor system or the preparatory steps required for this.

Unter der Punktwolke kann hier und im Folgenden eine Ansammlung von Punkten, insbesondere der Abtastpunkten, im dreidimensionalen Raum verstanden werden. Insbesondere besteht die Punktwolke aus einer Menge von Koordinatentupel, wobei jedes Koordinatentupel einem der Absatzpunkte entspricht.Here and below, the point cloud can be understood to mean a collection of points, in particular the scanning points, in three-dimensional space. In particular, the point cloud consists of a set of coordinate tuples, each coordinate tuple corresponding to one of the paragraph points.

Insbesondere besteht die Punktwolke aus Koordinatentupel der Abtastpunkte im Sensorkoordinatensystem und die transformierte Punktwolke besteht aus entsprechenden Koordinatentupel der Abtastpunkte im Referenzkoordinatensystem.In particular, the point cloud consists of coordinate tuples of the scanning points in the sensor coordinate system and the transformed point cloud consists of corresponding coordinate tuples of the scanning points in the reference coordinate system.

Unter einer dreidimensionalen Punktwolke kann insbesondere eine Punktwolke verstanden werden, deren Koordinatentupel dreidimensional sind. Im Kontext des aktiven optischen Sensorsystems bedeutet dies beispielsweise, dass jeder mittels des aktiven optischen Sensorsystems erzeugte Abtastpunkt die drei Ortsaumkoordinaten beinhaltet. Insbesondere kann mittels des Sensorsystems ein Abstand eines von dem Sensorsystems gemessen werden. Die Abstandsmessung kann beispielsweise über eine Lichtlaufzeitmessung (englisch: Time-of-Flight, ToF) erfolgen.A three-dimensional point cloud can in particular be understood to mean a point cloud whose coordinate tuples are three-dimensional. In the context of the active optical sensor system, this means, for example, that each scanning point generated by means of the active optical sensor system contains the three spatial coordinates. In particular, a distance from the sensor system can be measured by means of the sensor system. The distance can be measured, for example, using a time-of-flight (ToF) measurement.

Die Ortsraumkoordinaten der Abtastpunkte können beispielsweise in kartesischen Koordinaten, in Kugelkoordinaten oder in räumlichen Polarkoordinaten gegeben sein. Insbesondere kann jeder Abtastpunkt durch zwei Winkel bezüglich des Sensorsystems sowie einen Abstand von dem Sensorsystem gegeben sein.The spatial coordinates of the scanning points can be given, for example, in Cartesian coordinates, in spherical coordinates or in spatial polar coordinates. In particular, each scanning point can be given by two angles with respect to the sensor system and a distance from the sensor system.

Als Koordinatenursprung kann beispielsweise ein vordefinierter Austrittspunkt eines Lichtstrahls aus dem Sensorsystem dienen.For example, a predefined exit point of a light beam from the sensor system can serve as the coordinate origin.

Unter der Transformation anhand der Transformationsvorschrift kann insbesondere eine lineare Abbildung verstanden werden, mittels der aus den drei Ortsraumkoordinaten des Abtastpunkts im Sensorkoordinatensystem entsprechende drei Ortsraumkoordinaten des Abtastpunkts im Referenzkoordinatensystem berechnet werden. Die Transformation der Punktwolke beinhaltet insbesondere die Transformation jedes der Abtastpunkte der Punktwolke mittels derselben Transformationsvorschrift. Insbesondere kann die Transformation durch eine Rotation und/oder eine Translation beschrieben werden.The transformation based on the transformation rule can in particular be understood to mean a linear mapping, by means of which corresponding three spatial coordinates of the scanning point in the reference coordinate system are calculated from the three spatial coordinates of the scanning point in the sensor coordinate system. The transformation of the point cloud includes, in particular, the transformation of each of the sampling points of the point cloud using the same transformation rule. In particular, the transformation can be described by a rotation and / or a translation.

Die Transformation beziehungsweise die Transformationsvorschrift ist vorgegeben beziehungsweise vordefiniert. Insbesondere ergibt sich die Transformation eindeutig aus einer nominalen Referenzorientierung des virtuellen Referenzsensorsystems und einer nominalen Orientierung des Sensorsystems. Dabei bildet die Transformation insbesondere die nominale Orientierung auf die nominale Referenzorientierung ab.The transformation or the transformation rule is given or predefined. In particular, the transformation clearly results from a nominal reference orientation of the virtual reference sensor system and a nominal orientation of the sensor system. In particular, the transformation maps the nominal orientation to the nominal reference orientation.

Dies kann insbesondere derart verstanden werden, dass das Sensorkoordinatensystem einer tatsächlichen, gegebenenfalls fehlerbehafteten, Orientierung des Sensorsystems im Raum entspricht. Die nominale Orientierung kann davon im Allgemeinen abweichen. Entsprechend wird durch die Transformation in das Referenzkoordinatensystem auch die Abweichung des Sensorkoordinatensystems von der nominalen Orientierung mittransformiert. Dementsprechend weist das Referenzkoordinatensystem eine virtuelle Abweichung von einer nominalen Referenzorientierung auf. Anhand dieser virtuellen Abweichung kann damit indirekt auch die tatsächliche Abweichung des Sensorsystems beziehungsweise des Sensorkoordinatensystems von der nominalen Orientierung bestimmt werden.This can be understood in particular in such a way that the sensor coordinate system corresponds to an actual, possibly faulty, orientation of the sensor system in space. The nominal orientation can generally deviate from this. Correspondingly, the transformation into the reference coordinate system also transforms the deviation of the sensor coordinate system from the nominal orientation. The reference coordinate system accordingly exhibits a virtual deviation from a nominal reference orientation. Using this virtual deviation, the actual deviation of the sensor system or the sensor coordinate system from the nominal orientation can thus also be determined indirectly.

Unter dem virtuellen Referenzsensorsystem kann insbesondere ein fiktives Sensorsystem verstanden werden, welches identisch zu dem Sensorsystem ist, jedoch bezüglich diesem gemäß der Transformationsvorschrift rotiert und/oder verschoben ist. Insbesondere würde in einer Situation, in der das Sensorsystem die Punktwolke erzeugt, das virtuelle Referenzsensorsystem dieselben Abtastpunkte direkt in dem Referenzkoordinatensystem erzeugen, also direkt die transformierte Punktwolke erzeugen.The virtual reference sensor system can in particular be understood to mean a fictitious sensor system which is identical to the sensor system, but which is rotated and / or displaced with respect to it in accordance with the transformation rule. In particular, in a situation in which the sensor system generates the point cloud, the virtual reference sensor system would generate the same scanning points directly in the reference coordinate system, that is to say generate the transformed point cloud directly.

Mit anderen Worten kann die transformierte Punktwolke als virtuelle Punktwolke aufgefasst werden, die mittels des virtuellen Referenzsensorsystems erzeugt wurde.In other words, the transformed point cloud can be understood as a virtual point cloud that was generated by means of the virtual reference sensor system.

Die Referenzwinkellage ist insbesondere durch eine Abweichung der Orientierung des Referenzsensorsystems von einer nominalen Referenzorientierung gegeben, wobei die nominale Referenzorientierung beispielsweise durch ein nominales Referenzkoordinatensystem definiert sein kann. Entsprechend kann die Winkellage des Sensorsystems als Abweichung einer Orientierung des Sensorsystems von einer nominalen Orientierung des Sensorsystems, welche beispielsweise durch ein nominales Sensorkoordinatensystem definiert ist, gegeben sein.The reference angular position is given in particular by a deviation of the orientation of the reference sensor system from a nominal reference orientation, it being possible for the nominal reference orientation to be defined, for example, by a nominal reference coordinate system. Correspondingly, the angular position of the sensor system can be given as a deviation of an orientation of the sensor system from a nominal orientation of the sensor system, which is defined, for example, by a nominal sensor coordinate system.

Zum Erzeugen eines der Abtastpunkte wird insbesondere mittels einer Sendeeinheit des Sensorsystems Licht in eine Umgebung des Sensorsystems ausgesendet und reflektierte Anteile des Lichts werden durch eine Empfangseinheit des Sensorsystems empfangen. Basierend auf den reflektierten Anteilen werden die Ortsraumkoordinaten des jeweiligen Abtastpunkts bestimmt. Dabei kann die Empfangseinheit insbesondere mehrere Detektoren beinhalten, wobei die Ortsraumkoordinaten des Abtastpunkts abhängig davon bestimmt werden, von welchem der Detektoren die reflektierten Anteile erfasst oder vornehmlich erfasst werden.To generate one of the scanning points, light is emitted into the surroundings of the sensor system, in particular by means of a transmission unit of the sensor system, and reflected portions of the light are received by a receiving unit of the sensor system. The spatial coordinates of the respective scanning point are determined based on the reflected components. The receiving unit can in particular contain a plurality of detectors, the spatial coordinates of the scanning point being determined as a function of which of the detectors the reflected components are detected or primarily detected.

Dadurch, dass die Winkellage des Sensorsystems abhängig von der Referenzwinkellage des virtuellen Referenzsensorsystems bestimmt wird und die Referenzwinkellage wiederum basierend auf der transformierten Punktwolke, also gewissermaßen in dem Referenzkoordinatensystem, wird die Bestimmung der Winkellage unabhängig von einer nominalen Ausrichtung des Sensorsystems. Dies ist insbesondere vorteilhaft, da in dieser Weise die Abweichung stets in einem vordefinierten Referenzkoordinatensystem bestimmt werden kann, was es ermöglicht, Verfahren anzuwenden, bei denen auf die Verwendung einer spezifischen Kalibrierungsvorlage verzichtet werden kann. Beispielsweise können ausgezeichnete Strukturen in der Umgebung des Sensorsystems, welche insbesondere gerade Linien aufweisen, in dem Referenzkoordinatensystem dazu herangezogen werden, die Referenzwinkellage zu bestimmen. In dem Sensorkoordinatensystem können diese geraden Linien oder ausgezeichneten Strukturen gegebenenfalls nicht geeignet sein, die Winkellage direkt zu bestimmen.The fact that the angular position of the sensor system is determined as a function of the reference angular position of the virtual reference sensor system and the reference angular position in turn based on the transformed point cloud, so to a certain extent in the reference coordinate system, the determination of the angular position is independent of a nominal alignment of the sensor system. This is particularly advantageous because in this way the deviation can always be determined in a predefined reference coordinate system, which makes it possible to use methods in which the use of a specific calibration template can be dispensed with. For example, excellent structures in the vicinity of the sensor system, which in particular have straight lines, can be used in the reference coordinate system to determine the reference angular position. In the sensor coordinate system, these straight lines or marked structures may not be suitable for directly determining the angular position.

Demzufolge erlaubt es das verbesserte Konzept, das Sensorsystem unabhängig von seiner nominalen Orientierung und ohne die Verwendung eines speziellen Kalibriertargets oder einer speziellen Kalibriervorlage zu kalibrieren.As a result, the improved concept allows the sensor system to be calibrated independently of its nominal orientation and without the use of a special calibration target or a special calibration template.

Gemäß zumindest einer Ausführungsform des Verfahrens nach dem verbesserten Konzept wird jeder Abtastpunkt der Punktwolke mittels der Recheneinheit einer linearen Transformation unterzogen, welche eine Rotation beinhaltet, um die Punktwolke in das Referenzkoordinatensystem zu transformieren.According to at least one embodiment of the method according to the improved concept, each sampling point of the point cloud is subjected to a linear transformation by means of the computing unit, which includes a rotation in order to transform the point cloud into the reference coordinate system.

Gemäß zumindest einer Ausführungsform wird die Rotation mittels der Recheneinheit als Rotation um eine oder mehrere Koordinatenachsen eines nominalen Sensorkoordinatensystems durchgeführt. Das nominale Sensorkoordinatensystem ergibt sich insbesondere eindeutig aus dem nominalen Referenzkoordinatensystem durch die inverse Transformationsvorschrift. Die Transformation bildet also das nominale Sensorkoordinatensystem auf das nominale Referenzkoordinatensystem ab.According to at least one embodiment, the rotation is carried out by means of the computing unit as a rotation around one or more coordinate axes of a nominal sensor coordinate system. The nominal sensor coordinate system results in particular clearly from the nominal reference coordinate system through the inverse transformation rule. The transformation therefore maps the nominal sensor coordinate system to the nominal reference coordinate system.

Es sei an dieser Stelle darauf hingewiesen, dass Translationen zwischen dem Sensorkoordinatensystem und dem Referenzkoordinatensystem beziehungsweise den entsprechenden nominalen Koordinatensystemen oder dem Sensorsystem und dem virtuellen Referenzsensorsystem hier und im Folgenden vernachlässigt werden. Insbesondere kann das Kalibrieren des Sensorsystems als Bestimmen der Winkellage verstanden werden.It should be pointed out at this point that translations between the sensor coordinate system and the reference coordinate system or the corresponding nominal coordinate systems or the sensor system and the virtual reference sensor system are neglected here and below. In particular, the calibration of the sensor system can be understood as determining the angular position.

Gemäß zumindest einer Ausführungsform wird zum Erzeugen der Punktwolke Licht mittels der Sendeeinheit des Sensorsystems in die Umgebung des Sensorsystems ausgesendet und die reflektierten Anteile des Lichts werden durch die Empfangseinheit des Sensorsystems empfangen. Abhängig von den empfangenen reflektierten Anteilen werden wenigstens zwei erste Abtastpunkte mittels eines ersten Detektors der Empfangseinheit bestimmt und wenigstens zwei zweite Abtastpunkte werden mittels eines zweiten Detektors der Empfangseinheit bestimmt.According to at least one embodiment, to generate the point cloud, light is transmitted into the surroundings of the sensor system by means of the transmission unit of the sensor system and the reflected portions of the light are received by the reception unit of the sensor system. Depending on the received reflected components, at least two first sampling points are determined by means of a first detector of the receiving unit and at least two second sampling points are determined by means of a second detector of the receiving unit.

Die Punktwolke beinhaltet insbesondere die ersten und die zweiten Abtastpunkte.The point cloud contains in particular the first and the second sampling points.

Hier und im Folgenden kann der Begriff „Licht“ derart verstanden werden, dass davon elektromagnetische Wellen im sichtbaren Bereich, im Infrarotbereich und/oder im ultravioletten Bereich umfasst sind. Dementsprechend kann der Begriff „optisch“ derart verstanden werden, dass er sich auf Licht nach diesem Verständnis bezieht.Here and in the following, the term “light” can be understood to include electromagnetic waves in the visible range, in the infrared range and / or in the ultraviolet range. Accordingly, the term “optical” can be understood to refer to light according to this understanding.

Bei dem Licht kann es sich insbesondere um Lichtimpulse oder Lichtstrahlen, insbesondere um Laserimpulse oder Laserstrahlen, handeln.The light can in particular be light pulses or light beams, in particular laser pulses or laser beams.

Bei den Laserimpulsen oder Laserstrahlen kann es sich beispielsweise um Laserimpulse oder -strahlen im infraroten Spektralbereich, insbesondere mit einer Wellenlänge von 905 nm oder ungefähr 905 nm oder 1.200 nm oder ungefähr 1.200 nm handeln. Damit kann jeweils ein Wellenlängenbereich mit einer Breite und Verteilung gemeint sein, welche für das jeweilige verwendete Lasersystem typisch sind. Die genannten Wellenlängen können, im Rahmen üblicher Toleranzen, beispielsweise Peakwellenlängen des entsprechenden Laserspektrums entsprechen.The laser pulses or laser beams can be, for example, laser pulses or beams in the infrared spectral range, in particular with a wavelength of 905 nm or approximately 905 nm or 1,200 nm or approximately 1,200 nm. This can mean in each case a wavelength range with a width and distribution which are typical for the particular laser system used. The wavelengths mentioned can, within the scope of customary tolerances, correspond, for example, to peak wavelengths of the corresponding laser spectrum.

Die Sendeeinheit kann insbesondere einen Laser, beispielsweise eine Halbleiterlaserdiode, beinhalten.The transmission unit can in particular contain a laser, for example a semiconductor laser diode.

Der erste und der zweite Detektor können beispielsweise jeweils Fotodioden, insbesondere Avalanche-Fotodioden, ausgestaltet sein.The first and the second detector can, for example, each be configured with photodiodes, in particular avalanche photodiodes.

Zum Erzeugen der Punktwolke wird also beispielsweise ein Objekt in der Umgebung des Sensorsystems, welches als Referenz- Kalibrierungsobjekt dienen kann abgescannt, beispielsweise eine Fahrbahnmarkierungslinie, eine Fahrbahnbegrenzung, eine Leitplanke oder ein sonstiges Objekt mit geraden oder näherungsweise geraden Linien.To generate the point cloud, for example, an object in the vicinity of the sensor system, which can serve as a reference calibration object, is scanned, for example a lane marking line, a lane boundary, a guardrail or other object with straight or approximately straight lines.

Gemäß zumindest einer Ausführungsform werden die wenigstens zwei ersten Abtastpunkte und die wenigstens zwei zweiten Abtastpunkte zum Bestimmen der Referenzwinkellage durch das Transformieren der Punktwolke in das Referenzkoordinatensystem transformiert. Die Referenzwinkellage wird mittels der Recheneinheit abhängig von den transformierten ersten Abtastpunkten und den transformierten zweiten Abtastpunkten bestimmt.According to at least one embodiment, the at least two first sampling points and the at least two second sampling points for determining the reference angular position are transformed into the reference coordinate system by transforming the point cloud. The reference angular position is determined by the computing unit as a function of the transformed first sampling points and the transformed second sampling points.

Die transformierten ersten und zweiten Abtastpunkte sind insbesondere von der transformierten Punktwolke beinhaltet.The transformed first and second sampling points are in particular included in the transformed point cloud.

Die Recheneinheit kann beispielsweise anhand der ersten und zweiten Abtastpunkte erkennen, dass sich in der Umgebung des Sensorsystems ein zur Kalibrierung geeignetes Referenzobjekt befindet, beispielsweise die Markierungslinie und die Leitplanke. Dies kann beispielsweise dadurch bestimmt werden, dass die transformierten ersten Abtastpunkte auf einer Geraden oder näherungsweise auf einer Geraden liegen und/oder dadurch, dass die transformierten zweiten Abtastpunkte auf einer Geraden oder näherungsweise auf einer Geraden liegen.The arithmetic unit can, for example, use the first and second scanning points to recognize that a reference object suitable for calibration is located in the vicinity of the sensor system, for example the marking line and the guardrail. This can be determined, for example, in that the transformed first sampling points lie on a straight line or approximately on a straight line and / or in that the transformed second sampling points lie on a straight line or approximately on a straight line.

Die Erkennung des Referenzobjekts als solches kann insbesondere in dem Referenzkoordinatensystem durchgeführt werden, was vorteilhaft ist, da das Referenzkoordinatensystem unabhängig von der nominalen Orientierung des Sensorsystems ist und entsprechende Algorithmen zur Erkennung des Referenzobjekts nur für das Referenzkoordinatensystem vorgehalten werden müssen, nicht jedoch auch für das Sensorkoordinatensystem.The reference object as such can be recognized in particular in the reference coordinate system, which is advantageous because the reference coordinate system is independent of the nominal orientation of the sensor system and corresponding algorithms for recognizing the reference object only need to be kept for the reference coordinate system, but not also for the sensor coordinate system .

Gemäß zumindest einer Ausführungsform wird wenigstens einer der transformierten ersten Abtastpunkte mit wenigstens einem der transformierten zweiten Abtastpunkte mittels der Recheneinheit korreliert. Die wenigstens zwei transformierten Abtastpunkte werden mittels der Recheneinheit mit einem Ergebnis der Korrelation verglichen und die Referenzwinkellage wird mittels der Recheneinheit abhängig von einem Ergebnis des Vergleichs bestimmt.In accordance with at least one embodiment, at least one of the transformed first sampling points is correlated with at least one of the transformed second sampling points by means of the computing unit. The at least two transformed sampling points are compared with a result of the correlation by means of the arithmetic unit and the reference angular position is determined by the arithmetic unit as a function of a result of the comparison.

Die Korrelation kann dabei beispielsweise derart verstanden werden, dass eine Kurve einer vorgegebenen Art, beispielsweise eine Gerade, durch die zu korrelierenden Abtastpunkte gelegt wird. Zum Vergleichen der wenigstens zwei transformierten ersten Abtastpunkte mit dem Ergebnis der Korrelation, wobei die oben genannte Kurve oder Gerade beispielsweise als das Ergebnis der Korrelation bezeichnet werden kann, wird eine weitere Kurve oder Gerade durch die wenigstens zwei transformierten ersten Abtastpunkte gelegt. Die beiden Kurven werden miteinander verglichen, um die Referenzwinkellage zu bestimmen.The correlation can for example be understood in such a way that a curve of a predetermined type, for example a straight line, is laid through the sampling points to be correlated. To compare the at least two transformed first sampling points with the result of the correlation, wherein the above-mentioned curve or straight line can be referred to as the result of the correlation, for example, a further curve or straight line is laid through the at least two transformed first sampling points. The two curves are compared with one another in order to determine the reference angular position.

Im Falle von Geraden schließen die beiden Geraden im Allgemeinen einen Winkel ein. Entspricht die nominale Referenzwinkellage exakt der tatsächlichen Referenzwinkellage, so ist der Winkel gleich Null. Ist dies nicht der Fall, so können der oder die Winkel zwischen den beiden Geraden, beispielsweise ausgedrückt in Kugelkoordinaten, bestimmt werden und entspricht dabei der Referenzwinkellage.In the case of straight lines, the two straight lines generally enclose an angle. If the nominal reference angular position corresponds exactly to the actual reference angular position, the angle is equal to zero. If this is not the case, the angle or angles between the two straight lines, for example expressed in spherical coordinates, can be determined and corresponds to the reference angular position.

Jeweils einander entsprechende Punkte der unterschiedlichen Detektoren lassen Rückschlüsse auf die tatsächliche Ausrichtung des Referenzobjekts zu. Die Punkte eines der Detektoren dagegen sind beispielsweise entsprechend einer scheinbaren Richtung des Referenzobjekts ausgerichtet. Der Vergleich der beiden Richtungen ergibt daher die Referenzwinkellage.Corresponding points of the different detectors allow conclusions to be drawn about the actual alignment of the reference object. In contrast, the points of one of the detectors are aligned, for example, in accordance with an apparent direction of the reference object. The comparison of the two directions therefore gives the reference angular position.

Gemäß zumindest einer Ausführungsform wird die Referenzwinkellage als virtuelle Abweichung einer Orientierung des virtuellen Referenzsensorsystems von einer nominalen Referenzorientierung des virtuellen Referenzsensorsystems bestimmt.According to at least one embodiment, the reference angular position is determined as a virtual deviation of an orientation of the virtual reference sensor system from a nominal reference orientation of the virtual reference sensor system.

Gemäß zumindest einer Ausführungsform wird die Winkellage als Abweichung einer Orientierung des Sensorsystems von einer nominalen Orientierung des Sensorsystems bestimmt. Ein Wert der Abweichung, beziehungsweise gegebenenfalls Werte der Abweichung, ist dabei gleich einem Wert, beziehungsweise sind dabei gleich entsprechenden Werten, der virtuellen Abweichung.According to at least one embodiment, the angular position is determined as a deviation of an orientation of the sensor system from a nominal orientation of the sensor system. A value of the deviation, or possibly values of the deviation, is equal to a value, or corresponding values are equal to the virtual deviation.

Bei dem Wert beziehungsweise den Werten der Abweichung beziehungsweise der virtuellen Abweichung handelt es sich insbesondere um eine oder mehrere Rotationswinkel. Die Rotationswinkel führen dabei insbesondere das nominale Referenzkoordinatensystem in das Referenzkoordinatensystem über oder umgekehrt beziehungsweise das Sensorkoordinatensystem in das nominale Sensorkoordinatensystem oder umgekehrt.The value or the values of the deviation or the virtual deviation are in particular one or more angles of rotation. The angles of rotation in particular convert the nominal reference coordinate system into the reference coordinate system or vice versa, or the sensor coordinate system into the nominal sensor coordinate system or vice versa.

Gemäß zumindest einer Ausführungsform wird die Abweichung als Nickwinkel, Gierwinkel und/oder Rollwinkel des Sensorsystems bezüglich der nominalen Orientierung des Sensorsystems bestimmt.According to at least one embodiment, the deviation is determined as the pitch angle, yaw angle and / or roll angle of the sensor system with respect to the nominal orientation of the sensor system.

Entsprechendes gilt auch insbesondere für die Referenzabweichung, die also beispielsweise als Nickwinkel, Gierwinkel und/oder Rollwinkel des virtuellen Referenzsensorsystems bezüglich der nominalen Referenzorientierung des Referenzsensorsystems bestimmt wird.The same applies in particular to the reference deviation, which is determined, for example, as the pitch angle, yaw angle and / or roll angle of the virtual reference sensor system with respect to the nominal reference orientation of the reference sensor system.

Insbesondere kann das nominale Sensorkoordinatensystem durch maximal drei Rotationen um jeweilige Koordinatenachsen des nominalen Sensorkoordinatensystems in das Sensorkoordinatensystem überführt werden.In particular, the nominal sensor coordinate system can be converted into the sensor coordinate system by a maximum of three rotations about respective coordinate axes of the nominal sensor coordinate system.

Gemäß zumindest einer Ausführungsform wird die Transformation anhand der vorgegebenen Transformationsvorschrift durchgeführt, wobei die vorgegebene Transformationsvorschrift durch eine geometrische Beziehung der nominalen Orientierung des Sensorsystems zu der nominalen Referenzorientierung des virtuellen Referenzsensorsystems definiert ist.According to at least one embodiment, the transformation is carried out on the basis of the predetermined transformation rule, the predetermined transformation rule being defined by a geometric relationship between the nominal orientation of the sensor system and the nominal reference orientation of the virtual reference sensor system.

Gemäß zumindest einer Ausführungsform ist die nominale Referenzorientierung durch eine Längsachse, eine Querachse und eine Normalachse eines Kraftfahrzeugs definiert, an welchem das Sensorsystem montiert ist.According to at least one embodiment, the nominal reference orientation is through a longitudinal axis, a transverse axis and a normal axis Defined motor vehicle on which the sensor system is mounted.

Die Längsachse des Kraftfahrzeugs kann dabei beispielsweise einer Fahrtrichtung, insbesondere einer Vorwärtsfahrtrichtung, des Kraftfahrzeugs entsprechen oder parallel zu dieser sein, wenn ein Lenkwinkel oder ein Radwinkel des Kraftfahrzeugs gleich Null oder in einer Neutralstellung ist. Die Querachse des Kraftfahrzeugs ist beispielsweise senkrecht zu der Längsachse, sodass die Längsachse mit der Querachse eine Ebene aufspannt, die parallel zu einem Untergrund ausgerichtet ist, auf dem sich das Kraftfahrzeug befindet. Die Normalachse steht senkrecht auf Längs- und Querachse.The longitudinal axis of the motor vehicle can, for example, correspond to a direction of travel, in particular a forward direction of travel, of the motor vehicle or be parallel to this when a steering angle or a wheel angle of the motor vehicle is equal to zero or in a neutral position. The transverse axis of the motor vehicle is, for example, perpendicular to the longitudinal axis, so that the longitudinal axis spans a plane with the transverse axis that is aligned parallel to a surface on which the motor vehicle is located. The normal axis is perpendicular to the longitudinal and transverse axes.

Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts wird eine Sensorvorrichtung für ein Kraftfahrzeug angegeben, die ein aktives optisches Sensorsystem und eine mit dem Sensorsystem gekoppelte Recheneinheit aufweist. Das Sensorsystem ist dazu eingerichtet, eine, insbesondere dreidimensionale, Punktwolke von Abtastpunkten zu erzeugen, wobei jeder Abtastpunkt der Punktwolke drei Ortsraumkoordinaten bezüglich eines Sensorkoordinatensystems beinhaltet. Die Recheneinheit ist dazu eingerichtet, die Punktwolke in ein Referenzkoordinatensystem zu transformieren, eine Referenzwinkellage eines virtuellen Referenzsensorsystems basierend auf der transformierten Punktwolke zu bestimmen und eine Winkellage des Sensorsystems basierend auf der Referenzwinkellage zu bestimmen.According to a further independent aspect of the improved concept, a sensor device for a motor vehicle is specified which has an active optical sensor system and a computing unit coupled to the sensor system. The sensor system is set up to generate a point cloud, in particular a three-dimensional point cloud, of sampling points, with each sampling point of the point cloud containing three spatial coordinates with respect to a sensor coordinate system. The computing unit is set up to transform the point cloud into a reference coordinate system, to determine a reference angular position of a virtual reference sensor system based on the transformed point cloud and to determine an angular position of the sensor system based on the reference angular position.

Dabei kann die Recheneinheit beispielsweise dazu eingerichtet sein, das Sensorsystem zum Erzeugen der Abtastpunkte anzusteuern.In this case, the computing unit can be set up, for example, to control the sensor system for generating the scanning points.

Gemäß zumindest einer Ausführungsform der Sensorvorrichtung ist das aktive optische Sensorsystem als Lidarsystem ausgestaltet.According to at least one embodiment of the sensor device, the active optical sensor system is designed as a lidar system.

Das Lidarsystem beinhaltet insbesondere eine Sendeeinheit, die beispielsweise einen Laser, insbesondere einen Infrarotlaser, beinhaltet.The lidar system includes, in particular, a transmission unit that includes, for example, a laser, in particular an infrared laser.

Das Lidarsystem weist außerdem wenigstens zwei Detektoren auf, insbesondere Detektoren einer Empfangseinheit des Lidarsystems, wobei die Detektoren insbesondere als Avalanche-Fotodioden ausgebildet sind.The lidar system also has at least two detectors, in particular detectors of a receiving unit of the lidar system, the detectors in particular being designed as avalanche photodiodes.

In Ausführungsformen, in denen die Empfangseinheit drei oder mehr Detektoren beinhaltet, die jeweils als Avalanche-Fotodioden ausgebildet sind, sind die Detektoren beispielsweise linear oder als Matrix in Zeilen und Spalten angeordnet.In embodiments in which the receiving unit contains three or more detectors which are each designed as avalanche photodiodes, the detectors are arranged, for example, linearly or as a matrix in rows and columns.

Weitere Ausführungsformen der Sensorvorrichtung nach dem verbesserten Konzept ergeben sich unmittelbar aus den verschiedenen Ausführungsformen des Verfahrens nach dem verbesserten Konzept und umgekehrt. Insbesondere ist eine Sensorvorrichtung, beispielsweise die Recheneinheit der Sensorvorrichtung, nach dem verbesserten Konzept dazu eingerichtet oder programmiert, ein Verfahren nach dem verbesserten Konzept durchzuführen oder führt ein solches Verfahren durch.Further embodiments of the sensor device according to the improved concept result directly from the various embodiments of the method according to the improved concept and vice versa. In particular, a sensor device, for example the computing unit of the sensor device, is set up or programmed according to the improved concept to carry out a method according to the improved concept or carries out such a method.

Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts wird ein Kraftfahrzeug mit einer Sensorvorrichtung nach dem verbesserten Konzept angegeben. According to a further independent aspect of the improved concept, a motor vehicle with a sensor device according to the improved concept is specified.

Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts wird ein Computerprogramm mit Befehlen angegeben. Bei Ausführung des Computerprogramms durch eine Sensorvorrichtung nach dem verbesserten Konzept, insbesondere durch eine Recheneinheit der Sensorvorrichtung, veranlassen die Befehle die Sensorvorrichtung, insbesondere die Recheneinheit, dazu, ein Verfahren nach dem verbesserten Konzept durchzuführen.According to a further independent aspect of the improved concept, a computer program with instructions is specified. When the computer program is executed by a sensor device according to the improved concept, in particular by a computing unit of the sensor device, the commands cause the sensor device, in particular the computing unit, to carry out a method according to the improved concept.

Gemäß einem weiteren unabhängigen Aspekt des verbesserten Konzepts wird ein computerlesbares Speichermedium angegeben, auf welchem ein Computerprogramm nach dem verbesserten Konzept gespeichert ist.According to a further independent aspect of the improved concept, a computer-readable storage medium is specified on which a computer program according to the improved concept is stored.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als erfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von denen abweichen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the specified combination, but also in other combinations without departing from the scope of the invention . Embodiments of the invention that are not explicitly shown and explained in the figures, but emerge and can be generated from the explained embodiments by means of separate combinations of features, are thus also to be regarded as being covered and disclosed. Designs and combinations of features are also to be regarded as disclosed, which therefore do not have all the features of an originally formulated independent claim. In addition, designs and combinations of features, in particular through the statements set out above, are to be regarded as disclosed that go beyond the combinations of features set forth in the back-references of the claims or differ from them.

In den Figuren zeigen:

1 ein Kraftfahrzeug mit einer beispielhaften Ausführungsform einer Sensorvorrichtung nach dem verbesserten Konzept;
2 ein Kraftfahrzeug mit einer weiteren beispielhaften Ausführungsform einer Sensorvorrichtung nach dem verbesserten Konzept;
3 eine Sendeeinheit eines aktiven optischen Sensorsystems einer weiteren beispielhaften Ausführungsform einer Sensorvorrichtung nach dem verbesserten Konzept;
4 eine Empfangseinheit eines aktiven optischen Sensorsystems einer weiteren beispielhaften Ausführungsform einer Sensorvorrichtung nach dem verbesserten Konzept;
5 eine schematische Darstellung einer Punktwolke gemäß einer beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept;
6 eine schematische Darstellung einer transformierten Punktwolke gemäß einer weiteren beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept;
7 ein Sensorkoordinatensystem und ein nominales Sensorkoordinatensystem; und
8 ein Referenzkoordinatensystem und ein nominales Referenzkoordinatensystem.

In the figures show:

1 a motor vehicle with an exemplary embodiment of a sensor device according to the improved concept;
2 a motor vehicle with a further exemplary embodiment of a sensor device according to the improved concept;
3 a transmitting unit of an active optical sensor system of a further exemplary embodiment of a sensor device according to the improved concept;
4th a receiving unit of an active optical sensor system of a further exemplary embodiment of a sensor device according to the improved concept;
5 a schematic representation of a point cloud according to an exemplary embodiment of a method according to the improved concept;
6th a schematic representation of a transformed point cloud according to a further exemplary embodiment of a method according to the improved concept;
7th a sensor coordinate system and a nominal sensor coordinate system; and
8th a reference coordinate system and a nominal reference coordinate system.

In 1 ist ein Kraftfahrzeug 1 gezeigt, welches eine Sensorvorrichtung 7 nach dem verbesserten Konzept aufweist.In 1 is a motor vehicle 1 shown which a sensor device 7th according to the improved concept.

Die Sensorvorrichtung 7 weist ein Lidarsystem 2 auf, mit einer nominalen Ausrichtung definiert durch eine Längsachse 17 des Kraftfahrzeugs 1, eine Querachse 18 des Kraftfahrzeugs 1 sowie eine nicht dargestellte Normalachse des Kraftfahrzeugs 1.The sensor device 7th exhibits a lidar system 2 on, with a nominal orientation defined by a longitudinal axis 17th of the motor vehicle 1 , a transverse axis 18th of the motor vehicle 1 and a normal axis, not shown, of the motor vehicle 1 .

Insbesondere kann das Lidarsystem 2 Laserimpulse mit einem Aussendewinkel aussenden, wobei die entsprechenden Laserstrahlen 13 bei unterschiedlichen Auslenkungswinkeln innerhalb einer Ebene liegen. Ist der Aussendewinkel gleich Null, so entspricht die Aussenderichtung des Laserstrahls 13 beispielsweise der Längsachse 17, vorausgesetzt, die tatsächliche Orientierung des Sensorsystems 2 ist exakt gleich der nominalen Ausrichtung. Die Laserstrahlen 13 für unterschiedliche Aussendewinkel liegen in diesem Fall in der durch die Längsachse 17 und die Querachse 18 aufgespannten Ebene.In particular, the lidar system 2 Emit laser pulses with an emission angle, with the corresponding laser beams 13 lie within a plane at different deflection angles. If the emission angle is zero, the emission direction of the laser beam corresponds 13 for example the longitudinal axis 17th , provided the actual orientation of the sensor system 2 is exactly the same as the nominal orientation. The laser beams 13 for different emission angles lie in this case in the through the longitudinal axis 17th and the transverse axis 18th spanned plane.

Die Sensorvorrichtung 7 weist außerdem eine Recheneinheit 4 auf, die mit dem Lidarsystem 2 verbunden ist.The sensor device 7th also has a computing unit 4th on that with the lidar system 2 connected is.

In 2 ist das Kraftfahrzeug 1 ebenfalls dargestellt. Die Sensorvorrichtung 7 entspricht dabei weitgehend der Sensorvorrichtung 7 aus 1, wobei die Sensorvorrichtung 7 in 2 ein Lidarsystem 3 aufweist, dessen nominale Ausrichtung sich von der nominalen Ausrichtung des Lidarsystems 2 aus 1 unterscheidet. Beispielsweise kann die nominale Ausrichtung des Lidarsystems 3 um 90° gegenüber der nominalen Ausrichtung des Lidarsystems 2 um die Normalachse des Kraftfahrzeugs gedreht sein.In 2 is the motor vehicle 1 also shown. The sensor device 7th corresponds largely to the sensor device 7th out 1 , the sensor device 7th in 2 a lidar system 3 whose nominal orientation differs from the nominal orientation of the lidar system 2 out 1 differs. For example, the nominal orientation of the lidar system 3 90 ° from the nominal orientation of the lidar system 2 be rotated around the normal axis of the motor vehicle.

Diese nominale Ausrichtung wird im Folgenden als nicht beschränkendes Beispiel herangezogen. Die entsprechenden beschriebenen Schritte und Vorgehensweisen lassen sich für andere nominale Orientierungen des Lidarsystems 3 entsprechend nachvollziehen.This nominal orientation is used below as a non-limiting example. The corresponding steps and procedures described can be used for other nominal orientations of the lidar system 3 understand accordingly.

3 zeigt schematisch eine Sendeeinheit 8 des Lidarsystems 3, die insbesondere einen Infrarotlaser beinhaltet, sowie von der Sendeeinheit 8 ausgesandte Laserstrahlen 13. Außerdem ist in 3 schematisch ein Objekt 19 in der Umgebung des Lidarsystems 3 dargestellt. Die obere Abbildung in 3 entspricht beispielsweise einer Blickrichtung parallel zu Längsachse 17 auf das Lidarsystem 3 und die untere Abbildung in 3 entspricht beispielsweise einer Blickrichtung parallel zur Normalachse des Kraftfahrzeugs 1. 3 shows schematically a transmission unit 8th of the lidar system 3 , which includes in particular an infrared laser, as well as from the transmitter unit 8th emitted laser beams 13 . In addition, in 3 schematically an object 19th in the vicinity of the lidar system 3 shown. The upper figure in 3 corresponds, for example, to a viewing direction parallel to the longitudinal axis 17th on the lidar system 3 and the lower figure in 3 corresponds, for example, to a viewing direction parallel to the normal axis of the motor vehicle 1 .

Wie in den Abbildungen der 3 erkennbar ist, kann eine jeweilige Strahlaufweitung der Laserstrahlen 13 in unterschiedlichen Ebenen unterschiedlich ausfallen.As in the pictures of the 3 is recognizable, a respective beam expansion of the laser beams 13 turn out differently at different levels.

In 4 sind schematisch eine Empfangseinheit 9, eine Linsenvorrichtung 21 sowie ein Spiegel 20 des Lidarsystems 3 gezeigt.In 4th are schematically a receiving unit 9 , a lens device 21st as well as a mirror 20th of the lidar system 3 shown.

Die Empfangseinheit 9 beinhaltet beispielsweise mehrere, im gezeigten Beispiel der 4 drei, Avalanche-Fotodioden 10, 11, 12, die beispielsweise nebeneinander linear angeordnet sein können. Der Spiegel 20 ist beispielsweise drehbar um eine Drehachse 22 des Spiegels 20 gelagert.The receiving unit 9 contains, for example, several, in the example shown the 4th three, avalanche photodiodes 10 , 11 , 12 which can be arranged linearly next to one another, for example. The mirror 20th is for example rotatable about an axis of rotation 22nd of the mirror 20th stored.

Die Ansicht in 4 kann beispielsweise als Draufsicht, also als Sicht parallel zur Normalachse des Kraftfahrzeugs 1 in 2, auf das Lidarsystem 3 betrachtet werden. Die Detektoren 10, 11, 12 der Empfangseinheit 9 sind zu Zwecken der Verdeutlichung perspektivisch verzerrt dargestellt. In einer tatsächlichen Draufsicht würden die Detektoren 10, 11, 12 beispielsweise einander verdecken.The view in 4th can, for example, as a top view, that is, as a view parallel to the normal axis of the motor vehicle 1 in 2 , on the lidar system 3 to be viewed as. The detectors 10 , 11 , 12 the receiving unit 9 are shown in a distorted perspective for the purpose of clarification. In an actual plan view, the detectors would 10 , 11 , 12 for example cover each other.

Die Sendeeinheit 8 kann beispielsweise bezüglich des Spiegels 20 derart angeordnet sein, dass bei Rotation des Spiegels 20 um die Drehachse 22 der Aussendewinkel des Lichtstrahls 13 variiert werden kann.The transmitter unit 8th can for example with regard to the mirror 20th be arranged in such a way that upon rotation of the mirror 20th around the axis of rotation 22nd the emission angle of the light beam 13 can be varied.

Zudem kann auch ein Empfangspfad für reflektierte Anteile 14 der Lichtstrahlen 13, welche beispielsweise von dem Objekt 19 reflektiert wurden, über den Spiegel und die Linsenvorrichtung 21 zur Empfangseinheit 9 führen.A reception path for reflected components can also be used 14th of the rays of light 13 which for example from the object 19th were reflected through the mirror and lens assembly 21st to the receiving unit 9 to lead.

Durch die Rotation des Spiegels 20 um die Drehachse 22 kann jeder der Detektoren 10, 11, 12 aus unterschiedlichen Richtungen einfallende reflektierte Anteile 14 detektieren. Die Momentanposition des Spiegels 20 kann dabei beispielsweise über einen, mit einer entlang der Drehachse ausgerichteten Welle (nicht dargestellt), gekoppelten Drehgeber (nicht dargestellt) bestimmt werden.By rotating the mirror 20th around the axis of rotation 22nd can any of the detectors 10 , 11 , 12 reflected components incident from different directions 14th detect. The current position of the mirror 20th can for example be determined via a rotary encoder (not shown) coupled to a shaft (not shown) aligned along the axis of rotation.

Indem die Momentanposition des Spiegels 20 beispielsweise zu jedem Zeitpunkt bekannt ist, kann über die zeitliche Abfolge der detektieren Lichtstrahlen für jeden der Detektoren 10, 11, 12 eine Menge an Abtastpunkten erzeugt werden. Die Menge an Abtastpunkten, die für unterschiedliche Winkelpositionen des Spiegels 20 oder Rotationspositionen oder Zeitpunkte des Spiegels 20 mittels einem der Detektoren 10, 11, 12 erzeugt werden, können auch als individuelle Lage oder Schicht der Abtastpunkte bezeichnet werden.By the current position of the mirror 20th For example, it is known at any point in time, can be based on the time sequence of the detected light beams for each of the detectors 10 , 11 , 12 a set of sample points can be generated. The amount of sample points required for different angular positions of the mirror 20th or rotation positions or times of the mirror 20th by means of one of the detectors 10 , 11 , 12 can also be referred to as the individual position or layer of the sampling points.

Die Gesamtheit aller anhand der Detektoren 10, 11, 12 in dieser Art erzeugten Abtastpunkte, stellt eine mittels des Lidarsystems 3 erzeugte Punktwolke dar.The entirety of all based on the detectors 10 , 11 , 12 Sampling points generated in this way are provided by means of the lidar system 3 generated point cloud.

Die Punktwolke ist dabei insbesondere als dreidimensionale Punktwolke ausgestaltet, da neben den entsprechenden Winkelpositionen und den Informationen darüber, auf welchen Detektor 10, 11, 12 der Abtastpunkt zurückgeht, auch der Abstand des Objekts 19 über eine Lichtlaufzeitmessung bestimmt werden kann.The point cloud is designed in particular as a three-dimensional point cloud, since in addition to the corresponding angular positions and the information about which detector is being used 10 , 11 , 12 the sampling point decreases, so does the distance of the object 19th can be determined via a time of flight measurement.

In 5 ist eine auf diese Weise mittels des Lidarsystems 3 erzeugte Punktwolke 6 dargestellt. In 5 sind beispielsweise unterschiedliche Lagen der Abtastpunkte als unterschiedliche Strichtypen dargestellt. Die Abtastpunkte der Punktwolke 6 entsprechen beispielsweise einer Leitplanke, die in etwa parallel zur Längsachse 17 des Kraftfahrzeugs 1 ausgerichtet ist.In 5 is one made in this way by means of the lidar system 3 generated point cloud 6th shown. In 5 For example, different positions of the scanning points are shown as different line types. The sampling points of the point cloud 6th for example correspond to a guardrail that is roughly parallel to the longitudinal axis 17th of the motor vehicle 1 is aligned.

Insbesondere liegen die Abtastpunkte der Punktwolke 6 als dreidimensionale Koordinatentupel in einem Sensorkoordinatensystem xs', ys' vor, wobei eine auf den Achsen xs' und ys' senkrecht stehende zs'-Achse nicht dargestellt ist.In particular, the sampling points of the point cloud lie 6th as three-dimensional coordinate tuples in a sensor coordinate system xs', ys', a zs' axis perpendicular to the axes xs' and ys' not being shown.

Im Folgenden wird eine Funktionsweise der Sensorvorrichtung 7 anhand einer beispielhaften Ausführungsform eines Verfahrens nach dem verbesserten Konzept unter Bezugnahme insbesondere auf die 5 bis 8 beschrieben.The following is a mode of operation of the sensor device 7th using an exemplary embodiment of a method according to the improved concept with reference in particular to FIG 5 to 8th described.

Zunächst wird die Punktwolke 6, wie oben beschrieben, mittels des Lidarsystems 3 erzeugt. Die Punktwolke 6 wird dann mittels der Recheneinheit 4 in ein Referenzkoordinatensystem x0', y0' transformiert.First is the point cloud 6th , as described above, by means of the lidar system 3 generated. The point cloud 6th is then by means of the computing unit 4th transformed into a reference coordinate system x0 ', y0'.

Hierzu ist eine entsprechende Transformationsvorschrift vordefiniert. Die Transformationsvorschrift ist insbesondere derart definiert, dass sie eine nominale Ausrichtung des Lidarsystems 3 in eine nominale Referenzausrichtung transformiert. Die nominale Referenzausrichtung kann beispielsweise der Ausrichtung des Lidarsystems 2 aus 1 entsprechen. Dementsprechend kann das Lidarsystem 2, statt als physisches existentes Sensorsystem, beispielsweise als virtuelles Referenzsensorsystem 2 verstanden werden.A corresponding transformation rule is predefined for this. The transformation rule is defined in particular in such a way that it has a nominal orientation of the lidar system 3 transformed to a nominal reference orientation. The nominal reference orientation can be the orientation of the lidar system, for example 2 out 1 correspond. Accordingly, the lidar system 2 , instead of a physical existing sensor system, for example as a virtual reference sensor system 2 be understood.

Im beschriebenen Beispiel unterscheiden sich die nominalen Ausrichtungen des Lidarsystems 3 und des Referenzsensorsystems 2 beispielsweise durch eine Rotation um 90 Grad um die Normalachse des Kraftfahrzeugs 1.In the example described, the nominal orientations of the lidar system differ 3 and the reference sensor system 2 for example by rotating it by 90 degrees around the normal axis of the motor vehicle 1 .

Die Transformation der Punktwolke 6 in die transformierte Punktwolke 6', wie sie beispielsweise in 6 dargestellt ist, also in das Referenzkoordinatensystem x0', y0', erfolgt dabei dementsprechend durch eine Rotation um 90° um die Normalachse des Kraftfahrzeugs 1 mittels Anwendung einer entsprechenden Rotationsabbildung.The transformation of the point cloud 6th into the transformed point cloud 6 ' such as in 6th is shown, that is to say in the reference coordinate system x0 ', y0', takes place accordingly by a rotation through 90 ° about the normal axis of the motor vehicle 1 by using a corresponding rotation mapping.

Da die tatsächliche Ausrichtung des Lidarsystems 3 jedoch nicht notwendigerweise exakt der nominalen Ausrichtung des Lidarsystems 3 entspricht, wird auch eine gegebenenfalls vorhandene Abweichung mittransformiert.As the actual orientation of the lidar system 3 but not necessarily exactly the nominal orientation of the lidar system 3 any existing deviation is also transformed.

Die Situation ist in 7 und 8 näher dargestellt.The situation is in 7th and 8th shown in more detail.

In 7 ist das Sensorkoordinatensystem xs', ys' dargestellt. Zudem sind erste Abtastpunkte 15a, 15b, 15c sowie zweite Abtastpunkte 16a, 16b, 16c der Punktwolke 6 dargestellt. Die ersten Abtastpunkte 15a, 15b, 15c liegen näherungsweise auf einer Geraden, was darauf zurückgeht, dass das Referenzobjekt im Beispiel einer Leitplanke, wie in 5 ersichtlich, näherungsweise gerade Linien aufweist. Entsprechend liegen auch die zweiten Abtastpunkte 16a, 16b, 16c auf einer Geraden. Dabei wurden die ersten Abtastpunkte 15a, 15b, 15c beispielsweise mit einem ersten Detektor 10 der Empfangseinheit 9 erzeugt und die zweiten Abtastpunkte 16a, 16b, 16c mit einem zweiten Detektor 11 der Empfangseinheit. Die ersten Abtastpunkte 15a, 15b, 15c gehören also beispielsweise zu einer ersten Lage von Abtastpunkten, die zweiten Abtastpunkte 16a, 16b, 16c zu einer zweiten Lage von Abtastpunkten.In 7th the sensor coordinate system xs ', ys' is shown. In addition, there are first sampling points 15a , 15b , 15c and second sampling points 16a , 16b , 16c the point cloud 6th shown. The first sampling points 15a , 15b , 15c lie approximately on a straight line, which is due to the fact that the reference object in the example of a guardrail, as in 5 can be seen, has approximately straight lines. The second sampling points are also correspondingly 16a , 16b , 16c on a straight line. This was the first sampling point 15a , 15b , 15c for example with a first detector 10 the receiving unit 9 generated and the second sample points 16a , 16b , 16c with a second detector 11 the receiving unit. The first sampling points 15a , 15b , 15c thus belong, for example, to a first layer of sampling points, the second sampling points 16a , 16b , 16c to a second layer of sampling points.

In 7 ist außerdem ein nominales Sensorkoordinatensystem xs, ys dargestellt. Das Sensorkoordinatensystem xs', ys' weist von dem nominalen Sensorkoordinatensystem xs, ys beispielsweise um eine Rotation um einen Winkel δs um die nicht dargestellte z-Achse der beiden Sensorkoordinatensysteme xs', ys' beziehungsweise xs, ys ab.In 7th a nominal sensor coordinate system xs, ys is also shown. The sensor coordinate system xs ', ys' differs from the nominal sensor coordinate system xs, ys, for example by a rotation by an angle δs about the z-axis, not shown, of the two sensor coordinate systems xs ', ys' or xs, ys.

In 8 ist das Ergebnis der Transformation dargestellt. Insbesondere ist das Referenzkoordinatensystem x0', y0' dargestellt, welches durch Rotation des Sensorkoordinatensystems xs', ys' um 90° um die Normalachse des Kraftfahrzeugs 1 erzeugt wurde.In 8th the result of the transformation is shown. In particular, the reference coordinate system x0 ', y0' is shown, which is generated by rotating the sensor coordinate system xs ', ys' through 90 ° about the normal axis of the motor vehicle 1 was generated.

Zudem ist ein nominales Referenzkoordinatensystem x0, y0 dargestellt. Die nominalen Koordinatensysteme x0, y0 beziehungsweise xs, ys gehen durch die vordefinierte Transformation ineinander über.A nominal reference coordinate system x0, y0 is also shown. The nominal coordinate systems x0, y0 or xs, ys merge into one another through the predefined transformation.

Entsprechend besteht auch zwischen dem Referenzkoordinatensystem x0', y0' und dem nominalen Referenzkoordinatensystem x0, y0 dieselbe Abweichung δ0 = δs wie zwischen dem Sensorkoordinatensystem xs', ys' und dem nominalen Sensorkoordinatensystem xs, ys.Correspondingly, there is also the same deviation δ0 = δs between the reference coordinate system x0 ', y0' and the nominal reference coordinate system x0, y0 as between the sensor coordinate system xs ', ys' and the nominal sensor coordinate system xs, ys.

Aus Sicht des virtuellen Referenzsensorsystems 2, also mit einer Blickrichtung nach vorne entlang der Achse x0 des nominalen Referenzkoordinatensystems, unterscheidet sich die Erscheinung der Punktwolke 6' von der Erscheinung der Punktwolke 6 aus Blickrichtung des Lidarsystems 3, also entlang der xs-Achse des nominalen Sensorkoordinatensystems xs, ys.From the point of view of the virtual reference sensor system 2 , i.e. when looking forward along the x0 axis of the nominal reference coordinate system, the appearance of the point cloud differs 6 ' on the appearance of the point cloud 6th from the direction of view of the lidar system 3 , that is, along the xs axis of the nominal sensor coordinate system xs, ys.

Die Abtastpunkte der transformierten Punktwolke 6' können von der Recheneinheit 4 beispielsweise derart analysiert werden, dass erkannt wird, dass sich die Abtastpunkte 15a, 15b, 15c auf der entsprechenden Geraden befinden sowie die Abtastpunkte 16a, 16b, 16c auf der weiteren entsprechenden Geraden. Einander entsprechende und mittels unterschiedlicher Detektoren 10, 11 erzeugte Abtastpunkte 15a, 16a können mittels der Recheneinheit 4 miteinander korreliert werden, indem eine Gerade durch diese beiden Punkte gelegt wird. Da die beiden Punkte 15a, 16a einander entsprechen, entspricht eine Abweichung dieser Geraden von der durch die Abtastpunkte 15a, 15b, 15c definierten Geraden auch der Abweichung δ0 zwischen den Referenzkoordinatensystemen x0', y0' beziehungsweise x0, y0.The sample points of the transformed point cloud 6 ' can from the computing unit 4th be analyzed for example in such a way that it is recognized that the sampling points 15a , 15b , 15c are on the corresponding straight line as well as the sampling points 16a , 16b , 16c on the further corresponding straight line. Corresponding and using different detectors 10 , 11 generated sampling points 15a , 16a can by means of the computing unit 4th can be correlated with each other by drawing a straight line through these two points. Because the two points 15a , 16a correspond to one another, corresponds to a deviation of this straight line from that through the sampling points 15a , 15b , 15c defined straight lines also of the deviation δ0 between the reference coordinate systems x0 ', y0' and x0, y0.

Damit kann also die Abweichung des Sensorkoordinatensystems xs', ys' von dem nominalen Sensorkoordinatensystem xs, ys als δ0 = δs bestimmt werden.The deviation of the sensor coordinate system xs ', ys' from the nominal sensor coordinate system xs, ys can thus be determined as δ0 = δs.

Gemäß dem verbesserten Konzept wird die Winkellage des Sensorsystems über einen scheinbaren Umweg bestimmt, indem die Punktwolke zunächst in ein Referenzkoordinatensystem transformiert wird und die entsprechende Referenzwinkellage basierend auf der transformierten Punktwolke bestimmt wird. Dadurch wird jedoch erreicht, dass eine Online-Kalibrierung des Sensorsystems für beliebige Orientierungen, insbesondere nominale Orientierungen, des Sensorsystems möglich wird, da die Online-Kalibrierung für das Referenzkoordinatensystem in der beschriebenen Weise möglich ist.According to the improved concept, the angular position of the sensor system is determined via an apparent detour, in that the point cloud is first transformed into a reference coordinate system and the corresponding reference angular position is determined based on the transformed point cloud. What is achieved thereby, however, is that online calibration of the sensor system for any orientations, in particular nominal orientations, of the sensor system becomes possible, since online calibration for the reference coordinate system is possible in the manner described.

Claims

Method for calibrating an active optical sensor system (3), whereby a point cloud (6) of sampling points is generated by means of the active optical sensor system (3), each sampling point of the point cloud (6) having three spatial coordinates with respect to a sensor coordinate system (xs ', ys') includes; characterized in that - the point cloud (6) is transformed into a reference coordinate system (x0 ', y0') by means of a computing unit (4); - A reference angular position (δ0) of a virtual reference sensor system is determined by means of the computing unit (4) based on the transformed point cloud (6 '); and - an angular position (δs) of the sensor system (3) is determined by means of the computing unit (4) based on the reference angular position (δ0).

Procedure according to Claim 1 , characterized in that each sampling point is subjected to a linear transformation by means of the arithmetic unit (4) which includes a rotation in order to transform the point cloud (6) into the reference coordinate system (x0 ', y0').

Procedure according to Claim 2 , characterized in that the rotation is carried out by means of the computing unit (4) as a rotation around one or more coordinate axes of a nominal sensor coordinate system (xs, ys).

Method according to one of the Claims 1 to 3 , characterized in that to generate the point cloud (6) - by means of a transmitter unit (8) of the sensor system (3) light (13) is transmitted into the surroundings of the sensor system (3) and reflected portions (14) of the light (13) through a receiving unit (9) of the sensor system (3) are received; and - depending on the received reflected components (14) at least two first sampling points (15a, 15b, 15c) are determined by means of a first detector (10) of the receiving unit (9) and at least two second sampling points (16a, 16b, 16c) by means of a second detector (11) of the receiving unit (9) can be determined.

Procedure according to Claim 4 , characterized in that for determining the reference angular position (δ0) - the at least two first sampling points (15a, 15b, 15c) and the at least two second sampling points (16a, 16b, 16c) by transforming the point cloud (6) into the reference coordinate system ( x0 ', y0') are transformed; - The reference angular position (δ0) is determined by means of the arithmetic unit (4) depending on the transformed first sampling points (15a, 15b, 15c) and the transformed second sampling points (16a, 16b, 16c).

Procedure according to Claim 5 , characterized in that - at least one of the transformed first sampling points (15a) is correlated with at least one of the transformed second sampling points (16b) by means of the computing unit (4); - The at least two transformed first sampling points (15a, 15b, 15c) are compared with a result of the correlation by means of the computing unit (4); and - the reference angular position (δ0) is determined by means of the computing unit (4) as a function of a result of the comparison.

Method according to one of the Claims 1 to 6th , characterized in that the reference angular position (δ0) is determined as a virtual deviation (δ0) of an orientation of the virtual reference sensor system from a nominal reference orientation of the virtual reference sensor system.

Procedure according to Claim 7 , characterized in that - the angular position (δs) is determined as a deviation (δs) of an orientation of the sensor system (3) from a nominal orientation of the sensor system (3); - a value deviation (δs) is equal to a value of the virtual deviation (δ0) or several values of the deviation (δs) are equal to several corresponding values of the virtual deviation (δ0).

Procedure according to Claim 8 , characterized in that the deviation (δs) is determined as the pitch angle, yaw angle (δs) and / or roll angle of the sensor system (3) with respect to the nominal orientation of the sensor system (3).

Method according to one of the Claims 8 or 9 , characterized in that the transformation is carried out on the basis of a predetermined transformation rule which is defined by a geometric relationship between the nominal orientation of the sensor system (3) and the nominal reference orientation of the virtual reference sensor system.

Method according to one of the Claims 7 to 9 , characterized in that the nominal reference orientation is defined by a longitudinal axis (17), a transverse axis (18) and a normal axis of a motor vehicle (1) on which the sensor system (3) is mounted.

Sensor device for a motor vehicle (1), the sensor device (7) having an active optical sensor system (3) and a computing unit (4) coupled to the sensor system (3); - The sensor system (3) being set up to generate a point cloud (6) of sampling points, each sampling point of the point cloud (6) containing three spatial coordinates with respect to a sensor coordinate system (xs ', ys'); characterized in that the processing unit (4) is set up to - transform the point cloud (6) into a reference coordinate system (x0 ', y0'); - to determine a reference angular position (δ0) of a virtual reference sensor system based on the transformed point cloud (6 '); and - to determine an angular position (δs) of the sensor system (3) based on the reference angular position (δ0).

Sensor device according to Claim 12 , characterized in that the active optical sensor system (3) is designed as a lidar system.

Motor vehicle with a sensor device (7) according to one of the Claims 12 or 13 .

Computer program with commands which, when the computer program is executed by a sensor device (7), according to one of the Claims 12 or 13 , the sensor device (7) to cause a method according to one of the Claims 1 to 11 perform.