-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems. Die Erfindung betrifft ferner ein Infrastruktursystem.
-
Stand der Technik
-
Multi-Sensor-Wahrnehmungssysteme finden sich häufig in autonomen Fahrzeugen und Robotern sowie stationär in Infrastruktur-Lösungen wie beispielsweise Kamera-Netzwerke in Sicherheitssystemen oder zur Verkehrsüberwachung. Derartige Multi-Sensorsysteme verwenden oft eine Kombination aus Kamera, Radar und Lidar-Sensoren.
-
Für zukünftige Fahrerassistenzsysteme (ADAS) und automatisierte Fahrzeuge (AD) ist eine vernetzte Infrastruktur mit Sensorüberwachung des Fahrzeugumfelds sehr vorteilhaft. Die Sensorinformationen können an das Fahrzeug übertragen und im Umgebungsmodell und in der Trajektorienplanung durch das sensorische Erfassen der beteiligten Verkehrsteilnehmer verwendet werden. Es ist dabei notwendig, dass die Sensordaten hochgenau und zuverlässig sind. Dies erfordert eine gute Kalibrierung der beteiligten Sensoren und außerdem eine Erkennung, wann die Kalibrierung nicht mehr korrekt ist und neu durchgeführt werden sollte.
-
Die Kalibrierung von Multisensor-Wahrnehmungssystemen ist bei solchen Infrastruktursystemen eine entscheidende Aufgabe, um die mittels der Infrastruktursensorik erfassten Daten in einem gemeinsamen geometrischen Referenzsystem zuverlässig interpretieren zu können. Die Kalibrierung ermöglicht die Positionierung der von den Sensoren gemessenen Merkmale oder Daten im geometrischen Referenzsystem mit hoher Genauigkeit. Kalibrierungsverfahren liefern dabei typischerweise eine Schätzung der Sensorlage und eine Transformation vom Sensorkoordinatensystem in das reale Koordinatensystem, z.B. entweder in lokale kartesische (x, y, z) oder Weltkoordinaten (Breite, Länge, Höhe).
-
Die Offenlegungsschrift
DE 11 2018 007 048 T5 offenbart eine Kalibrationseinrichtung, ein Kalibrationsverfahren und ein Programm und ermöglicht eine stabile Durchführung einer Kalibration. Informationserfassungseinheiten erfassen Peripherieobjektinformationen und Informationsverarbeitungseinheiten erzeugen Punktgruppendaten, die sich auf Merkmalspunkte eines Peripherieobjekts beziehen, auf Basis der Peripherieobjektinformationen. Eine Gewichtseinstellungseinheit stellt Gewichte entsprechend Zuständen des Peripherieobjekts und der Informationserfassungseinheiten zu der Zeit der Erfassung der Peripherieobjektinformationen ein. Die Punktgruppendaten, die Gewichte und ein externer Parameter werden verwendet, um auf Basis von Kosten, die einen Fehler des externen Parameters angeben, einen neuen externen Parameter zu berechnen, bei dem der Fehler minimiert wird.
-
Ein üblicher Ansatz zur Kalibrierung von Sensoren, z. B. Kamera-Radar oder Lidar, wird in zwei Schritten durchgeführt: In einem ersten Schritt wird die reale Position von leicht identifizierbaren Mustern gemessen, die entweder bereits vorhanden sind oder gezielt im Sichtfeld des Sensors positioniert werden. Die bekannte Position der Muster wird dann mit der Sensormessung dieser Muster in Bezug gesetzt. Die Messdaten können z.B. von einem spezialisierten Kalibrieralgorithmus verarbeitet werden, der von Sensortyp und Modell abhängt. Dieser Prozess beinhaltet jedoch durch die Anbringung der Muster und die erforderlichen Testmessungen ein nicht unerhebliches Maß an manueller Arbeit im Feld und erfordert einen qualifizierten Bediener, um das Verfahren durchzuführen.
-
Es kann damit als eine Aufgabe der Erfindung angesehen werden ein effizientes Verfahren zum Kalibrieren eines Infrastruktursensorsystems anzugeben.
-
Offenbarung der Erfindung
-
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zum Kalibrieren eines Infrastruktursensorsystems vorgeschlagen, das die folgenden Schritte aufweist:
- - Erfassen einer Vielzahl von Kamerabildern einer Umgebung eines Infrastruktursystems in der das Infrastruktursensorsystem installiert ist oder installiert werden wird, durch eine fliegende Drohne,
- - Erzeugen einer georeferenzierten 3D-Punktwolke aus den Kamerabildern und georeferenzierter Bildmetadaten der Kamerabilder mittels eines Bildverarbeitungs-Algorithmus;
- - Bereitstellen der georeferenzierten 3D-Punktwolke in einer Recheneinheit des Infrastruktursystems;
- - Erfassen von Umgebungsdaten durch das Infrastruktursensorsystem durch mindestens einen Sensor des Infrastruktursensorsystems;
- - Anwenden eines, insbesondere iterativen, Anpassungsalgorithmus auf die georeferenzierten 3D-Punktwolkendaten und die durch den mindestens einen Sensor des Infrastruktursensorsystems erfassten Umgebungsdaten und daraus Bestimmung der Sensorpose des mindestens einen Sensors und zugehöriger Sensorparameter.
-
Nach einem zweiten Aspekt der Erfindung wird eine Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems vorgeschlagen, die als flugfähige Drohe umfassend ein Kamerasystem und ein, insbesondere satellitenbasiertes, Lokalisierungssystem, ausgebildet ist. Die Drohne ist ausgebildet, eine Vielzahl von Kamerabildern einer Umgebung eines Infrastruktursystems in der das Infrastruktursensorsystem installiert ist oder installiert werden wird zu erfassen. Diese erfassten Kamerabilder und die zugehörigen Bildmetadaten werden an eine externe Recheneinheit zur weiteren Verarbeitung übermittelt, beispielsweise eine Recheneinheit des Infrastruktursystems und/oder eine Recheneinheit eines Cloud-Dienstes. Alternativ oder zusätzlich wird direkt durch eine Recheneinheit der Drohne eine georeferenzierte 3D-Punktwolke aus den Kamerabildern und georeferenzierten Bildmetadaten der Kamerabilder mittels eines geeigneten Bildverarbeitungs-Algorithmus erzeugt und an eine Recheneinheit des Infrastruktursystems zum Kalibrieren des Infrastruktursensorsystems übermittelt.
-
Nach einem dritten Aspekt der Erfindung wird ein Infrastruktursystem, insbesondere zur Fahrunterstützung von zumindest teilautomatisiert geführten Kraftfahrzeugen, vorgeschlagen. Das Infrastruktursystem umfasst ein Infrastruktursensorsystem mit einem oder mehreren Sensoren, die ausgebildet sind, Informationen zu einer Umgebung zu erfassen und Umgebungsdaten zu erzeugen. Das Infrastruktursystem umfasst außerdem eine Recheneinheit, die ausgebildet ist, Kamerabilder und georeferenzierte Bildmetadaten der Kamerabilder von einer Drohne, die nach dem zweiten Aspekt der Erfindung ausgebildet ist, zu empfangen und eine georeferenzierte 3D-Punktwolke aus den Kamerabildern und den georeferenzierten Bildmetadaten der Kamerabilder mittels eines Bildverarbeitungs-Algorithmus zu erzeugen. Alternativ oder zusätzlich kann die Recheneinheit eine aus Kamerabildern und georeferenzierten Bildmetadaten der Kamerabilder mittels eines Bildverarbeitungs-Algorithmus erzeugte georeferenzierte 3D-Punktwolke von einer Drohne, die nach dem zweiten Aspekt ausgebildet ist und/oder von einem externen Cloud-Dienst empfangen.
-
Die Recheneinheit ist ausgebildet, einen, insbesondere iterativen, Anpassungsalgorithmus auf die Daten der georeferenzierten 3D-Punktwolke und die durch den mindestens einen Sensor des Infrastruktursensorsystems erfassten Umgebungsdaten anzuwenden und daraus eine Sensorpose des mindestens einen Sensors und zugehöriger Sensorparameter zu bestimmen.
-
Vorrichtungsmerkmale ergeben sich analog aus entsprechenden Verfahrensmerkmalen und umgekehrt. Das heißt also, dass sich technische Funktionalitäten des Verfahrens aus entsprechenden technischen Funktionalitäten der Vorrichtungen und umgekehrt ergeben. Gleiches gilt für Systemmerkmale, welche sich analog aus Verfahrensmerkmalen und/oder Vorrichtungsmerkmalen und umgekehrt ergeben.
-
Die Erfindung beruht auf der Idee, zum Kalibrieren eines Infrastruktursensorsystems die sogenannte UAV-Photogrammetrie einzusetzen, also Luftbildaufnahmen einer Drohne zu verwenden. Eine Drohne in diesem Zusammenhang beschreibt ein unbemanntes Fluggerät („UAV“: unmanned aerial vehicle), das mindestens eine Kamera aufweist und das autonom oder ferngesteuert über einem bestimmten Gebiet fliegen und Luftbildaufnahmen des Gebiets erfassen kann.
-
Gemäß der Erfindung ist vorgesehen, dass eine derartige Drohne eine Vielzahl von überlappenden Kamerabildern einer Umgebung eines Infrastruktursystems in der das Infrastruktursensorsystem installiert ist oder installiert werden wird, erfasst. Die Kamerabilder werden z.B. fortlaufend oder in regelmäßigen zeitlichen oder räumlichen Abständen erfasst. Die Drohne weist weiterhin ein satellitengestütztes Lokalisierungssystem auf, so dass jedes aufgenommene Kamerabild mit Metadaten versehen werden kann, die angeben an welcher globalen Position das jeweilige Bild aufgenommen wurde. Diese Metadaten werden als georeferenzierte Bildmetadaten bezeichnet. Die Bildmetadaten können z.B. in Form von sogenannten Exif-Tags in das jeweilige Kamerabild eingebettet sein. In den Exif-Tagseiner Bilddatei werden technische Informationen zur Aufnahme, unter anderem Kameramodell, Zeitpunkt der Aufnahme und Kameraeinstellungen, gespeichert.
-
Zur Erfassung der Kamerabilder bewegt sich die fliegende Drohne bevorzugt entlang eines zuvor festgelegten Flugpfades über die Umgebung des Infrastruktursystems. Der Flugpfad kann dabei so festgelegt werden, dass die Umgebung besonders genau erfasst werden kann. Dazu kann ein Flugpfad abhängig von den örtlichen Gegebenheiten z.B. so geplant werden, dass Verdeckungen vermieden werden und/oder dass z.B. bestimmte Strukturen im Messbereich des Infrastruktursensorsystem besonders oft durch die Drohne erfasst werden. Bevorzugt ist der Flugpfad durch eine Mehrzahl von Wegpunkten definiert, wobei die Drohne die Wegpunkte in einer definierten Reihenfolge abfliegt.
-
Bevorzugt werden die Kamerabilder mit einem Neigungswinkel von etwa 65° ± 10° erfasst, anstatt z.B. senkrecht nach unten (sogenannte Nadir-Bilder). Dies hat den Vorteil, dass die resultierenden Bilder eine bessere Perspektive von vertikalen Strukturen und Merkmale aufweisen, womit diese später besser rekonstruiert werden können.
-
Mittels eines geeigneten Bildverarbeitungs-Algorithmus kann nun aus der Vielzahl der aufgenommenen Kamerabilder und der zugehörigen georeferenzierten Bildmetadaten eine georeferenzierten 3D-Punktwolke erzeugt werden, die ein hochgenaues, dreidimensionales Abbild der erfassten Umgebung ist. Bevorzugt wird hierbei ein sogenannter Structure-from Motion (SfM) Algorithmus verwendet. Derartige Algorithmen haben den Vorteil, dass sie eine sehr genaue 3D-Punktwolke erzeugen können. Derartige Structure-from-Motion Algorithmen sind dem Fachmann bekannt, so das hier nicht weiter auf Details eingegangen werden soll. Dem Fachmann sind weitere Bildverarbeitungsalgorithmen bekannt, die zur Erzeugung einer 3D-Punktwolke verwendet werden können, beispielsweise ein SLAM-Algorithmus („Simultaneous Localization and Mapping“).
-
Die Ausführung eines Structure-from Motion-Algorithmus kann sehr rechenintensiv sein, so dass es vorteilhat ist, wenn die Drohne die Kamerabilder und georeferenzierten Bildmetadaten der Kamerabilder an eine externe Recheneinheit, z.B. eine Recheneinheit des Infrastruktursystems oder an einen Cloud-Dienst übermittelt, wo die Erzeugung der 3D-Punktwolke mittels eines Structure-from Motion-Algorithmus effizient durchgeführt werden kann. Das Ergebnis kann von der Recheneinheit des Infrastruktursystems oder dem Cloud-Dienst bereitgestellt werden.
-
Die so erzeugte georeferenzierte 3D-Punktwolke wird einer Recheneinheit des betreffenden Infrastruktursystems bereitgestellt, wo sie mit durch mindestens einen Sensor des Infrastruktursensorsystems erfassten Umgebungsdaten verglichen werden kann.
-
Das Übermitteln von erfassten Kamerabildern und georeferenzierten Bildmetadaten der Kamerabilder an eine Recheneinheit des Infrastruktursystems oder einen Cloud-Dienst kann nach einer möglichen Ausführung der Erfindung während des Flugs der Drohne mittels einer drahtlosen Kommunikationsverbindung zwischen der Drohne und der Recheneinheit des Infrastruktursystems oder dem Cloud-Dienst erfolgen, insbesondere unter Verwendung eines Mobilfunkstandards, wie z.B. 4G oder 5G. So können vorteilhaft noch während des Flugs der Drohne bereits 3D-Punktwolkendaten für eine Sensorkalibration erzeugt und bereitgestellt werden.
-
Alternativ kann das Übermitteln von erfassten Kamerabildern und georeferenzierten Bildmetadaten der Kamerabilder an eine Recheneinheit des Infrastruktursystems und/oder einen Cloud-Dienst nach der Landung der Drohne erfolgen, insbesondere mittels einer Docking-Station zum Aufladen der Drohne oder einem Mobilgerät, dass insbesondere auch zum Steuern der Drohne verwendbar ist, die bzw. das eine Datenverbindung zu der Recheneinheit oder dem Cloud Dienst aufweist (drahtlos oder drahtgebunden) und/oder einer direkten WiFi-Datenverbindung oder einer direkten kabelgebundenen Datenverbindung zwischen der Drohne und der Recheneinheit. So können auch größere Datenmengen effizient übertragen werden.
-
Der oder die Sensoren des Infrastruktursensorsystems sind beispielsweise als Radarsensoren, Lidarsensoren oder Kamerasysteme ausgebildet. Sie erfassen Messdaten, die die Umgebung des Infrastruktursensorsystems abbildet. Radar- und Lidarsensoren erfassen beispielsweise Abstände zu Objekten, erzeugen also räumliche 3D-Informationen. Kamerasysteme erfassen Bilddaten.
-
Erfindungsgemäß wird nun ein, insbesondere iterativer, Anpassungsalgorithmus, auch als Matching-Algorithmus bezeichnet, auf die georeferenzierten 3D-Punktwolkendaten und die durch den mindestens einen Sensor des Infrastruktursensorsystems erfassten Umgebungsdaten angewendet. Damit kann die Sensorpose des mindestens einen Sensors und die zugehörigen Sensorparameter ermittelt werden. Unter der Sensorpose wird hierbei insbesondere eine Ausrichtung des Sensors verstanden, die beispielsweise durch eine Einbauhöhe und Neigungswinkel charakterisiert sein kann. Als zugehörige Sensorparameter können z.B. Umrechnungsparameter bestimmt werden, mit denen eine Koordinatentransformation zwischen dem Sensorkoordinatensystem und dem realen Koordinatensystem, z.B. entweder in lokale kartesische (x, y, z) oder Weltkoordinaten (Breite, Länge, Höhe) durchgeführt werden kann.
-
Die Bestimmung der Sensorposen und der zugehörigen Sensorparameter wird bei der Kalibrierung bevorzugt durch einen iterativen Abgleich zwischen den georeferenzierten 3D-Punktwolken-Daten und den von den Sensoren erfassten räumlichen Signalen erreicht. Je nach Typ des zu kalibrierenden Sensors kann der Matching-Algorithmus unterschiedlich ausgebildet sein. Für Sensoren, die ebenfalls 3D-Punktdaten messen, wie z.B. Radarsensoren oder Lidarsensoren können die Sensordaten durch eine iterative Annäherung an die georeferenzierten 3D-Punktwolken-Daten mittels eines „Iterative Closest Point“ Algorithmus in Übereinstimmung gebracht werden und so eine Sensorpose bestimmt werden. Für Bildsensoren, z.B. 2D-Kamerasysteme kann ein Matching an Zwischenmerkmalen wie z.B. geraden Kanten durchgeführt werden, die sowohl aus der Punktwolke (Schnittflächenverfahren) als auch aus den Bilddaten (Kantendetektion) extrahiert werden können.
-
Das Infrastruktursensorsystem kann eine Mehrzahl von Sensoren aufweisen, wobei das Erfassen von Umgebungsdaten durch die Mehrzahl der Sensoren erfolgt und für jeden der Sensoren ein, insbesondere iterativer, Anpassungsalgorithmus auf die georeferenzierten 3D-Punktwolkendaten und die durch den jeweiligen Sensor erfassten Umgebungsdaten und daraus Bestimmung der Sensorpose des jeweiligen Sensors und zugehöriger Sensorparameter erfolgt.
-
Gegenüber herkömmlichen Kalibrierverfahren bietet die Erfindung die folgenden Vorteile: Zunächst reduziert sich den Bedarf an manueller Arbeit im Feld. Ein Großteil des Prozesses der Datenerfassung durch eine Drohne (UAV) kann automatisiert werden. Im Gegensatz zu einer manuellen Kalibrierung des Infrastruktursensorsystems ist es mit der Erfindung möglich, mehrere Sensoren, auch unterschiedlicher Sensortypen Typen gleichzeitig mit demselben Datensatz zu kalibrieren. Dieser hohe Automatisierungsgrad spart Zeit und Kosten und reduziert menschliche Fehler. So müsste bei herkömmlichen Verfahren ein qualifizierter Bediener einen vollständigen Kalibrierungsvorgang, bei dem die geometrischen Koordinaten mehrerer Kalibriermuster positioniert und gemessen werden wiederholen. Derartige manuelle Kalibrierungsverfahren erfordern z.B. sensorspezifische Kalibrierungsmuster du/oder andere spezielle Messhardware, was mit der vorliegenden Erfindung nicht mehr nötig ist.
-
Die Verwendung einer Drohne (UAV) zur Erzeugung von 3D-Punktwolkendaten bringt außerdem Vorteile im Hinblick auf die Datenqualität und -genauigkeit. So können die erfassten Luftbilder und die daraus erzeugten 3D-Punkwolkentdaten mit einer hohen Präzision georeferenziert werden, entweder über die satellitengestützte Lokalisierung (z.B. über GPS) der Drohne selbst oder über extern gemessene Bodenkontrollpunkte. Manche Drohnen verfügen über die Differential-GPS-Technologie, die eine Genauigkeit im Zentimeterbereich ermöglicht. Es ist auch möglich, mit der Drohne sehr nah am Boden zu fliegen und trotzdem hochwertige Sensordaten zu erfassen. Selbst der Einsatz aktueller Consumer-Level-Drohnen kann sehr hochwertige Ergebnisse liefern. So ist es beispielsweise möglich die Drohne über einem stark, z.B. von Fahrzeugen oder Fußgängern frequentierten Gelände, in der Luft stehen zu lassen und so lange Kamerabilder zu sammeln, dass für Erzeugung der 3D-Punktwolke nur die Bildbereiche verwendet werden können, die nicht durch bewegten Fahrzeuge oder Fußgänger verdeckt sind.
-
Da sie nicht von speziellen, temporär eingesetzten Mustern abhängig ist, kann die UAV-Erfassung jederzeit erfolgen, sofern sich die allgemeine Umgebung voraussichtlich nicht ändert, auch bevor das Infrastruktursensorsystem überhaupt im Messbereich aufgebaut bzw. eingesetzt wird.
-
Figurenliste
-
Unter Bezugnahme auf die beigefügten Figuren werden Ausführungsformen der Erfindung im Detail beschrieben.
- 1 zeigt ein Flussdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens
- 2 zeigt eine Darstellung einer 3D-Punktwolke, die aus von einer Drohne aufgenommenen Kamerabildern mittels eines Structure-from-Motion-Algorithmus und georeferenzierter Bildmetadaten der Kamerabilder erzeugt wurde.
- 3 zeigt schematisch ein Infrastruktursystem nach einem Ausführungsbeispiel der Erfindung und eine fliegende Drohne als Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems des Infrastruktursystems gemäß der Erfindung.
-
Bevorzugte Ausführungen der Erfindung
-
In der nachfolgenden Beschreibung der Ausführungsbeispiele der Erfindung werden gleiche Elemente mit gleichen Bezugszeichen bezeichnet, wobei auf eine wiederholte Beschreibung dieser Elemente gegebenenfalls verzichtet wird. Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
-
1 stellt den Ablauf eines Verfahrens zum Kalibrieren eines Infrastruktursensorsystems nach einem möglichen Ausführungsbeispiel der Erfindung als Flussdiagramm dar. Im ersten Schritt 110 wird ein Flugpfad für eine Drohne über das Gebiet bzw. die Umgebung in dem/der das Infrastruktursensorsystem installiert ist, geplant. In einem darauffolgenden Schritt 120 fliegt die Drohne den zuvor geplanten Flugpfad ab und erfasst dabei eine Vielzahl von Kamerabildern der Umgebung. Die Drohne weist einen hochgenauen GPS-Empfänger auf, so dass jedem Kamerabild georeferenzierte Bildmetadaten zugeordnet sind, die insbesondere die globalen Koordinaten umfassen, an denen das jeweilige Kamerabild erfasst wurde. Im nächsten Schritt 130 werden Kamerabilder und georeferenzierte Bildmetadaten der Kamerabilder an eine Recheneinheit (z.B. eine Recheneinheit des Infrastruktursystems oder eines Cloud-Dienstes) übermittelt. Dies geschieht beispielsweise entweder noch während des Flugs der Drohne über eine Mobilfunkverbindung oder nach Rückkehr der Drohne zum Boden über eine Datenverbindung (z.B. WiFi oder Ethernet). In Schritt 140 wird mittels der Recheneinheit eine georeferenzierte 3D-Punktwolke aus den erfassten Kamerabildern und den georeferenzierten Bildmetadaten der Kamerabilder mittels eines Structure-from-Motion-Algorithmus berechnet und die berechnete georeferenzierte 3D-Punktwolke dem Infrastruktursystem bereitgestellt. In Schritt 150 wird ein iterativer Matching Algorithmus auf die georeferenzierten 3D-Punktwolkendaten und auf durch einen Sensor des Infrastruktursensorsystems erfasste Umgebungsdaten angewandt und daraus die Sensorpose des Sensors und zugehörige Sensorparameter bestimmt. Der Schritt 150 kann für alle Sensoren des Infrastruktursensorsystems ausgeführt werden.
-
In 2 ist ein Beispiel einer 3D-Punktwolke 200, die aus von einer Drohne erfassten Kamerabildern und zugehörigen georeferenzierten Bildmetadaten der Kamerabilder mittels eines Structure-from-Motion-Algorithmus berechnet wurde, dargestellt. Die 3D-Punktwolke 200 ist in ein globales Koordinatensystem 210 eingebettet, das heißt zu jedem Punkt der 3D-Punktwolke sind Koordinaten (z.B. lokale kartesische (x, y, z) oder Weltkoordinaten (Breite, Länge, Höhe)) bekannt, die sich eindeutig auf die reale Welt beziehen.
-
In der 3D-Punktwolke 200 sind statische, also unbewegliche, Strukturen 220, 230 erkennbar, die auch von einem Sensor eines Infrastruktursensorsystems, das mit Hilfe der 3D-Punktwolke 200 kalibriert werden soll, erfasst werden können. Handelt es sich bei dem Sensor beispielsweise um einen Radarsensor, so können z.B. durch Time-of-Flight Messungen räumliche Messdaten der Strukturen 220, 230 gewonnen werden, die ebenfalls Koordinaten aufweisen, die jedoch noch auf den Sensor bezogen sind. Ein Matching-Algorithmus sucht nun mögliche Koordinatentransformationen, die die Strukturen 220, 230 in beiden Messdatensätzen möglichst gut aufeinander abbilden. Ist eine solche Transformation gefunden, so können aus den Parametern dieser Transformation beispielsweise die Sensorpose und die zugeordneten Sensorparameter abgeleitet werden.
-
In 3 ist schematisch ein Aufbau für eine Kalibrierung eines Infrastruktursensorsystems gemäß der Erfindung dargestellt. Ein Infrastruktursystem 300, das insbesondere zur Fahrunterstützung von zumindest teilautomatisiert geführten Kraftfahrzeugen ausgebildet ist, umfasst ein ein Infrastruktursensorsystem 310 mit mehreren Sensoren 312a, 312b, 312c, die ausgebildet sind, Informationen zu einer Umgebung 350, insbesondere auch zu statischen Strukturen 330, 320 in der Umgebung 350 zu erfassen und Umgebungsdaten zu erzeugen. Zum Beispiel können die Sensoren 312a, 312b und 312c Informationen zu Abständen, Dimensionen und Bewegungsdaten von Objekten in der Umgebung 350 erfassen, woraus Umgebungsdaten erzeugt werden können. Die Sensoren 312a, 312b, 312c können den gleichen Sensortyp oder verschiedene Sensortypen aufweisen. Zum Beispiel kann der 312a als Radarsensor ausgebildet sein, der Sensor 312b als Lidarsensor und der Sensor 312c als Videokamera. Das Infrastruktursystem 300 weist außerdem eine Recheneinheit 360 auf, die beispielsweise als sogenannte „Road Side Unit“ (RSU) ausgebildet sein kann.
-
Eine Drohne 400 fliegt oberhalb der Umgebung 350. Die Drohne 400 weist ein Kamerasystem 410 und ein satellitenbasiertes Lokalisierungssystem 420 auf. Die Drohne 400 ist ausgebildet, eine Vielzahl von Kamerabildern der Umgebung 350 inklusive der statischen Strukturen 330, 320 in der Umgebung 350 des Infrastruktursystems 300 in der das Infrastruktursensorsystem 310 installiert ist, zu erfassen. Die Drohne 400 weist eine Kommunikationseinheit 430 auf mit der die erfassten Kamerabilder und Bildmetadaten an die Recheneinheit 360 des Infrastruktursystems 300 und/oder an einen Cloud-Dienst übermittelt werden.
-
Die Recheneinheit 360 empfängt die Kamerabilder und die Bildmetadaten von der Drohne 400 mittels einer Kommunikationseinheit 370 und erzeugt eine georeferenzierte 3D-Punktwolke aus den Kamerabildern und den Bildmetadaten mittels eines Structure-from Motion-Algorithmus. Alternativ kann die Recheneinheit 360 eine georeferenzierte 3D-Punktwolke von einem Cloud-Dienst empfangen (nicht dargestellt). Die Recheneinheit 360 wendet einen iterativen Anpassungsalgorithmus (Matching Algorithmus) auf die georeferenzierten 3D-Punktwolkendaten und die jeweiligen durch die Sensoren 312a, 312b, 312c des Infrastruktursensorsystems 310 erfassten Umgebungsdaten an, um daraus eine Sensorpose des jeweiligen Sensors 312a, 312b, 312c und zugehörige Sensorparameter zu bestimmen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 112018007048 T5 [0005]