DE102007043905A1

DE102007043905A1 - Verfahren und Vorrichtung zur Kalibrierung einer an einem Objekt angeordneten omnidirektionalen Kamera

Info

Publication number: DE102007043905A1
Application number: DE102007043905A
Authority: DE
Inventors: Tobias Dipl.-Inform. Ehlgen
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2007-09-14
Filing date: 2007-09-14
Publication date: 2008-05-29

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Kalibrierung einer an einem Objekt (1), insbesondere einem Fahrzeug (F) angeordneten omnidirektionalen Kamera (4), die im laufenden Betrieb anhand von mindestens einem in erfassten Bildinformationen (I) identifizierten Objektelement (1.1) kalibriert wird.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung einer an einem Objekt, insbesondere einem Fahrzeug angeordneten omnidirektionalen Kamera. Darüber hinaus betrifft die Erfindung eine geeignete Vorrichtung zur Kalibrierung der omnidirektionalen Kamera.
Omnidirektionale Kameras sind grundsätzlich bekannt. Mit ihnen können omnidirektionale Bilder erfasst werden, deren Sichtbereich kann bis zu 360° betragen und ist somit deutlich größer als derjenige von Standardkameras. Durch eine Verarbeitung mittels einer Bildverarbeitungseinheit besteht die Möglichkeit, aus den erfassten Bildinformationen Daten wie z.B. die Kameraposition in Bezug auf damit erfasste Objekte und deren Lage zu bestimmen.
Omnidirektionale Kameras werden beispielsweise zur Überwachung von Fahrzeugumgebungen vor, neben und/oder hinter einem Fahrzeug eingesetzt. Dabei werden beispielsweise mittels der omnidirektionalen Kamera in der Fahrzeugumgebung Objekte oder Gegenstände identifiziert. Um insbesondere die Position und/oder den Abstand der identifizierten Objekte hinreichend genau bestimmen zu können, sind die genaue Position und die genaue Ausrichtung der omnidirektionalen Kamera relativ zum Fahrzeug bekannt.
Üblicherweise ist die omnidirektionale Kamera außen am Fahrzeug angebracht, so dass die omnidirektionale Kamera thermischen Beanspruchungen, wie beispielsweise starke Temperaturänderungen, und mechanischen Beanspruchungen, wie beispielsweise ständiger Vibrationen, ausgesetzt ist. Hierdurch kann es zu Veränderungen in der vorgegebenen Position der omnidirektionalen Kamera durch Verschiebungen, Neigungen und/oder Drehungen kommen. Derartige Veränderungen der Position der omnidirektionalen Kamera können jedoch zu Fehlern im erfassten Bild führen. Daher werden derartige Abweichungen oder Fehler durch Nachjustierung oder Maßnahmen in der Bildverarbeitung wenigstens teilweise kompensiert. Üblicherweise wird hierzu eine Kalibrierung werksseitig bei Montage, Reparatur oder beim Service der jeweiligen omnidirektionalen Kamera durchgeführt. Darüber hinaus ist es bekannt, die Kalibrierung der jeweiligen omnidirektionalen Kamera im laufenden Betrieb durchzuführen. Dabei werden zur Kalibrierung im erfassten Bild von der Umgebung aufgenommene Bildpunkte oder bekannte, im Bild in der Umgebung identifizierte Linien, insbesondere parallele verwendet. Insbesondere im laufenden Betrieb der Kamera sind derartige, sich bewegende Umgebungsinformationen nutzende Kalibrierungsverfahren sehr aufwändig.
Der Erfindung liegt daher die Aufgabe zugrunde, ein besonders einfaches Verfahren und eine Vorrichtung zur Kalibrierung einer omnidirektionalen Kamera anzugeben.
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale gelöst. Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß durch die im Anspruch 10 angegebenen Merkmale gelöst.
Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Beim erfindungsgemäßen Verfahren zur Kalibrierung einer an einem, insbesondere sich bewegenden Objekt, insbesondere einem Fahrzeug angeordneten omnidirektionalen Kamera wird diese im laufenden Betrieb anhand von mindestens einem in erfassten Bildinformationen identifizierten Objektelement kalibriert. Durch die Nutzung von im Bild erfassten bekannten Objektelementen, wie beispielsweise Punkte, Komponenten, Kanten, Außenkonturen, oder Verhältnissen dieser Elemente, wie z. B. Orthogonalitäten, Parallelität von Kanten, Außenkonturen, Komponenten, des eigenen Objektes kann die omnidirektionale Kamera in besonders einfacher Art und Weise während des laufenden Betriebs kalibriert werden.
In einer möglichen Ausführungsform werden für das identifizierte Objektelement dessen Bildposition und Objektposition bestimmt, wobei anhand einer ermittelten Abweichung zwischen Bildposition und Objektposition zumindest ein Wert für eine Kalibriergröße bestimmt wird. Unter der Bildposition wird dabei die im Bild erfasste Position des Objektelements verstanden. Unter der Objektposition wird insbesondere die Position des Objektelements, d.h. dessen Einbauort am bzw. im Objekt, relativ zum Objekt, insbesondere zu einer Ausrichtung des Objekts und/oder zu einem Kalibrier- oder Referenzpunkt des Objekts verstanden. Beispielsweise werden bzw. wird bei einer an einem Fahrzeug angeordneten omnidirektionalen Kamera als Objektelement ein Außenspiegel, eine Stoßstange, eine Motorhaube, eine Windschutzscheibe und/oder deren Außenkonturen als bekannte Elemente mit bekannten Objektpositionen relativ zum Fahrzeug verwendet, deren jeweilige Position oder Lage im erfassten Bild, d.h. die Bildposition, ermittelt wird. Durch Vergleich der Bildposition und der Objektposition eines der Objektelemente oder mehrerer Objektelemente kann dann die omnidirektionale Kamera in besonders einfacher Art und Weise während des laufenden Betriebes kalibriert werden.
Zweckmäßigerweise wird als Kalibriergröße eine die Ausrichtung der omnidirektionalen Kamera beschreibenden Größe, insbesondere eine Rotationsgröße und/oder Translationsgröße ermittelt. Anhand der ermittelten Größe wird dann die omnidirektionale Kamera abhängig von der Art der Halterung nachjustiert, insbesondere verdreht, geneigt, geschwenkt und/oder bewegt.
In einer möglichen Ausführungsform werden, insbesondere um die Genauigkeit der Kalibrierung zu erhöhen, für das erfasste Objektelement mehrere Bildpositionen erfasst und ein Mittelwert für die Bildposition bestimmt. Hierzu werden von dem identifizierten Objektelement mehrere Bilder aufgenommen.
In einer weiteren Ausführungsform werden, um insbesondere die Genauigkeit der Kalibrierung zu erhöhen, mehrere Objektelemente ermittelt, anhand derer die omnidirektionale Kamera kalibriert wird. Dabei wird die Abweichung der Bildposition von der Objektposition des jeweiligen Objektelements bestimmt und anhand der ermittelten Abweichungen aller Objektelemente ein Mittelwert für die Abweichung bestimmt, anhand der ein Wert für die Kalibriergröße der omnidirektionalen Kamera ermittelt wird.
Zweckmäßigerweise wird als Bildinformation ein omnidirektionales Bild, vorzugsweise ein so genanntes Bild aus der Vogelperspektive erfasst und analysiert, da Geraden in der Umgebung Geraden im Bild entsprechen. Auf diese Weise können entsprechende Objektelemente des Objektes, z. B. Fahrzeugkanten, wie Stoßstange oder Außenkonturen, wie der Verlauf der Motorhaube oder des Außenspiegels, einfach anhand der erfassten Bildinformationen bestimmt werden.
Zur Erhöhung der Genauigkeit der Kalibrierung können darüber hinaus als Bildinformationen mehrere omnidirektionale Bilder mit einem vorgebbaren Erfassungsbereich oder mit aneinander angrenzenden oder teilweise überdeckenden, vorgebbaren Erfassungsbereichen aufgenommen und analysiert werden. Dabei können im Fall eines einzelnen Erfassungsbereichs die mittels mehrerer Bilder bestimmten Bildpositionen abgeleitet werden und z.B. gemittelt, mit einem Gewicht gemittelt oder anhand eines ausgewählten Bildes bestimmt werden. Im Fall von mehreren Erfassungsbereichen und daraus resultierenden mehreren Positionsabweichungen verschiedener Objektelemente in verschiedenen Erfassungsbereichen werden zweckmäßigerweise die erfassten Positionsabweichungen gemittelt. Anhand des ermittelten Mittelwertes aller Positionsabweichung wird dann die omnidirektionale Kamera kalibriert.
Um eine einfache Auswertung der Bildinformationen zu ermöglichen, ist die Form und Ausrichtung wenigstens einer der Erfassungsbereiche relativ zu einer Bezugsrichtung des Objektes vorgegeben, wobei die Bildposition, d.h. die Lage des oder der Objektelemente im Bild, anhand von Konturlinien, z. B. einfachen Geraden, des oder der Objektelemente bestimmt wird. Dabei kann die Bildposition des oder der Objektelemente mehrdimensional, insbesondere dreidimensional, d.h. sowohl die Lage in x-, y-Richtung als auch die Lage in z-Richtung (= Abstand des Objektelements zur Kameraposition), bestimmt werden. Zur Bestimmung der Abweichung werden für die Objektposi tion die Lage des Objektelements am Objekt für alle drei Bezugsrichtungen x, y, z ermittelt.
Hinsichtlich der Vorrichtung zur Kalibrierung der am Objekt, z. B. einem Fahrzeug angeordneten omnidirektionalen Kamera, erfasst die omnidirektionale Kamera im laufenden Betrieb Bildinformationen und führt diese einer Auswerteeinheit zu, die anhand von mindestens einem in erfassten Bildinformationen identifizierten Objektelement die omnidirektionale Kamera kalibriert. Dabei kann die Auswerteeinheit als ein Softwaremodul in einer Datenverarbeitungseinheit der omnidirektionalen Kamera implementiert sein.
Alternativ oder zusätzlich kann die omnidirektionale Kamera über eine Datenverbindung, z. B. ein Datenbussystem oder eine Datenleitung oder drahtlos über eine Funkverbindung, mit einer im Objekt angeordneten Datenverarbeitungseinheit, z. B. einem Steuergerät in einem Fahrzeug, verbunden sein und die Bildinformationen an eine in der Datenverarbeitungseinheit implementierten Auswerteeinheit übertragen, die anhand der übermittelten Bildinformationen Steuersignale zur Kalibrierung der omnidirektionalen Kamera erzeugt. Hierzu bestimmt die Auswerteeinheit für das identifizierte Objektelement dessen Bildposition und Objektposition und anhand einer ermittelten Abweichung zwischen Bildposition und Objektposition zumindest einen Wert für eine Kalibriergröße.
Vorzugsweise ermittelt die Auswerteeinheit als Kalibriergröße eine die Ausrichtung der omnidirektionalen Kamera beschreibende Größe, insbesondere eine Rotationsgröße und/oder Translationsgröße. Anhand eines ermittelten Wertes für die Rotations- und/oder Translationsgröße wird dann mittels der erzeugten Steuersignale der Auswerteeinheit die Ka merakalibrierung angepasst, indem die Kameraparameter anhand der ermittelten Werte, z.B. im Steuergerät, angepasst werden. Alternativ oder zusätzlich besteht auch die Möglichkeit, dass die Kamera beweglich angeordnet ist und durch schwenken, neigen oder mittels translatorischer Bewegung entsprechend angepasst wird.
Schwenkbar, neigbar und/oder translatorisch bewegbar angeordnete omnidirektionale Kamera entsprechend geschwenkt, gedreht, geneigt bzw. bewegt.
Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert. Dabei zeigt:
1 schematisch ein Fahrzeug mit einer an diesem angeordneten omnidirektionalen Kamera und deren Erfassungsbereich mit darin als Objektelemente identifizierten Fahrzeugelementen.
1 zeigt schematisch als Objekt 1 ein Fahrzeug F, an welchem an mindestens einer geeigneten Kameraposition KP1, z. B. an der Fahrzeugaußenhaut 2 und/oder im Fahrzeuginnenraum 3, eine omnidirektionale Kamera 4 mit einem zugehörigen Erfassungsbereich B angeordnet ist. Im Ausführungsbeispiel nach 1 ist die omnidirektionale Kamera 4 an einer vorgebbaren Kameraposition KP beispielsweise im Fahrzeuginnenraum 3 am Innenrückspiegel 5 angeordnet. Alternativ oder zusätzlich kann die omnidirektionale Kamera 4 bzw. weitere omnidirektionale Kameras 4 (gestrichelt dargestellt) am Außenspiegel 6, im Bereich einer Heckscheibe 7, im Bereich des Fahrzeugdaches 8 angeordnet sein. Dabei dient die omnidirektionale Kamera 4 der Erfassung von Bildinformationen I der Fahrzeugumgebung U. Insbesondere wird als Bildinformationen I ein omnidirektionales Bild erfasst und insbesondere zu einem eine Vogelperspektive repräsentierenden Bild verarbeitet, welches sodann analysiert wird. Alternativ oder zusätzlich ist auch eine Verarbeitung in eine perspektivische Ansicht möglich.
Die erfassten Bildinformationen I können dann einerseits auf einer optischen Anzeigeeinheit 9, z. B. auf einem Bildschirm im Armaturenbrett, gegebenenfalls entsprechend entzerrt ausgegeben werden. Neben der Anzeige der Bildinformationen I der Fahrzeugumgebung U können die Bildinformationen I auch einer Auswerteeinheit 10 zugeführt werden. In der Auswerteeinheit 10, z. B. in einem Steuergerät und/oder einer Datenverarbeitungseinheit der Kamera 4, werden mittels eines implementierten Bildverarbeitungsalgorithmus die Bildinformationen I analysiert und bewertet. Beispielsweise werden Gegenstände oder Objekte, wie z. B. ein Verkehrsteilnehmer, insbesondere ein zum eigenen Fahrzeug F vorausfahrendes Fahrzeug, in der Fahrzeugumgebung U identifiziert und deren Position und/oder Geschwindigkeit bestimmt. Auch können bzw. kann die von der omnidirektionalen Kamera 4 erfassten Bildinformationen I einem Einparksystem und/oder einem Abstandsregelsystem zugeführt werden.
Zum Datenaustausch, insbesondere zur Übertragung der Bildinformationen I und daraus resultierender Steuersignale S sind die omnidirektionale Kamera 4, die optische Anzeigeeinheit 9 und/oder die Auswerteeinheit 10 über eine Datenübertragungseinheit 11, z. B. einen Datenbus, insbesondere den so genannten CAN-Bus, eine Datenleitung oder drahtlos über eine Funkverbindung, miteinander verbunden. Dabei hängt die Kameraposition KP, d.h. deren Einbauort, maßgeblich von der jeweiligen Anwendung ab. Häufig wird als Kameraposition KP diejenige Position gewählt, die einen möglichst großen Umgebungsbereich erfasst.
Beim Betrieb der omnidirektionalen Kamera 4 kann es insbesondere aufgrund von mechanischen Beanspruchungen, wie z. B. Vibrationen, und thermischen Beanspruchungen, wie z. B. Sonneneinstrahlung, sowie aufgrund von Verschmutzungen bei einer Kameraposition KP an der Fahrzeugaußenhaut 2 erforderlich sein, die Kameraposition KP im laufenden Betrieb anzupassen und zu korrigieren, damit die Bildinformationen I und daraus resultierende Analysen und Bewertungen hinreichend genau erfasst bzw. durchgeführt werden können.
Hierzu umfasst der Bildverarbeitungsalgorithmus eine zusätzliche Kalibrierungsfunktion, anhand welcher die omnidirektionale Kamera 4 im laufenden Betrieb kalibriert werden kann. Dabei wird die omnidirektionale Kamera 4 anhand von mindestens einem in den erfassten Bildinformationen I identifizierten Objektelement 1.1 des eigenen Objektes 1, d.h. des eigenen Fahrzeugs F, kalibriert.
Als Objektelement 1.1 wird in den erfassten Bildern beispielsweise eine Außenkomponente, z. B. ein Außenspiegel 6, und/oder eine Außenkontur, z. B. eine Motorhaubenkan te 12, des eigenen Fahrzeugs F identifiziert. Auch können je nach Ausrichtung und Erfassungsbereich B der omnidirektionalen Kamera 4 andere geeignete Objektelemente 1.1 identifiziert werden. Somit werden zur Kalibrierung der omnidirektionalen Kamera 4 während des laufenden Betriebs am eigenen Fahrzeug F bekannte Punkte oder Verhältnisse, insbesondere Orthogonalitäten oder Parallelitäten von Kanten, Konturlinien detektiert und analysiert. Durch Verwendung von in Bezug auf die omnidirektionale Kamera 4 bezogen sich nicht bewegende Objektelemente 1.1, wie Punkte, Kanten, Eckkanten des eigenen Fahrzeugs F, ist ein besonders einfaches Kalibrierungsverfahren möglich.
Im Detail werden für das identifizierte Objektelement 1.1 dessen Bildposition BP1.1 im erfassten Bild und dessen Objektposition OP1.1 am Fahrzeug F bestimmt. Anschließend wird eine Abweichung zwischen Bildposition BP1.1 und Objektposition OP1.1 ermittelt. Anhand der ermittelten Abweichung wird zumindest ein Wert für eine Kalibriergröße bestimmt, anhand der die omnidirektionale Kamera 4 im laufenden Betrieb kalibriert, d.h. deren Kameraposition KP angepasst bzw. korrigiert wird. Als Kalibriergröße werden dabei Kameraparameter und/oder es wird eine die Ausrichtung der omnidirektionalen Kamera 4 beschreibende Größe, insbesondere eine Rotationsgröße und/oder Translationsgröße ermittelt.
Zur Erhöhung der Genauigkeit der Kalibrierung können für das Objektelement 1.1 mehrere Bildpositionen BP1.1n erfasst und ein davon abgeleiteter Wert, z.B. ein Mittelwert MW oder ein gewichteter Mittelwert etc. für die Bildposition BP1.1 bestimmt werden.
Eine weitere Ausführungsform der Kalibrierfunktion sieht vor, dass mehrere Objektelemente 1.1 ermittelt werden, anhand derer die omnidirektionale Kamera 4 kalibriert wird.
Darüber hinaus können als Bildinformationen I mehrere omnidirektionale Bilder mit einem vorgebbaren Erfassungsbereich B oder mit aneinander angrenzenden oder teilweise überdeckenden, vorgebbaren Erfassungsbereichen Bn aufgenommen und analysiert werden. Dabei kann die Form und Ausrichtung wenigstens einer der Erfassungsbereiche B relativ zu einer Bezugsrichtung des Objektes 1 vorgegeben werden. Die Bildposition BP1.1 des oder der Objektelemente 1.1 kann insbesondere anhand von Konturlinien, insbesondere einfachen Geraden des bzw. der Objektelemente 1.1 bestimmt werden.

1: Objekt
1.1: Objektelement
2: Fahrzeugaußenhaut
3: Fahrzeuginnenraum
4: omnidirektionale Kamera
5: Innenrückspiegel
6: Außenspiegel
7: Heckscheibe
8: Fahrzeugdach
9: optische Anzeigeeinheit
10: Auswerteeinheit
11: Datenübertragungseinheit
12: Motorhaubenkante
13: Stoßstange
14: Anhänger
B, Bn: Erfassungsbereich/e der omnidirektionalen Kamera
BP1.1, BP1.1n: Bildposition/en
F: Fahrzeug
I: Bildinformationen
MW: Mittelwert
OP1.1: Objektposition
U: Fahrzeugumgebung

Claims

Verfahren zur Kalibrierung einer an einem Objekt (1), insbesondere einem Fahrzeug (F) angeordneten omnidirektionalen Kamera (4), dadurch gekennzeichnet, dass die omnidirektionale Kamera (4) im Betrieb anhand von mindestens einem in erfassten Bildinformationen (I) identifizierten Objektelement (1.1) kalibriert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für das identifizierte Objektelement (1.1) dessen Bildposition (BP1.1) und dessen Objektposition (OP1.1) bestimmt werden, wobei anhand einer ermittelten Abweichung zwischen Bildposition (BP1.1) und Objektposition (OP1.1) zumindest ein Wert für eine Kalibriergröße bestimmt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass als Kalibriergröße eine die Ausrichtung der omnidirektionalen Kamera (4) beschreibenden Größe, insbesondere eine Rotationsgröße und/oder Translationsgröße ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass als Objektelement (1.1) eine Außenkomponente und/oder eine Außenkontur des Objektes (1) ermittelt werden bzw. wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass für das Objektelement (1.1) mehrere Bildpositionen (BP1.1n) erfasst und ein davon abgeleiteter Wert, insbesondere ein Mittelwert (MW), für die Bildposition (BP1.1) bestimmt werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass mehrere Objektelemente (1.1n) ermittelt werden, anhand derer die omnidirektionale Kamera (4) kalibriert wird.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass als Bildinformationen (I) ein omnidirektionales Bild erfasst und analysiert wird.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, das als Bildinformationen (I) mehrere omnidirektionale Bilder mit einem vorgebbaren Erfassungsbereich (B) oder mit aneinander angrenzenden oder teilweise überdeckenden, vorgebbaren Erfassungsbereichen (Bn) aufgenommen und analysiert werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Form und Ausrichtung wenigstens einer der Erfassungsbereiche (B) relativ zu einer Bezugsrichtung des Objektes (1) vorgegeben ist und die Bildposition (BP1.1) des Objektelements (1.1) anhand von Konturlinien des Objektelements (1.1) bestimmt wird.
Vorrichtung zur Kalibrierung einer an einem Objekt (1), insbesondere einem Fahrzeug (F) angeordneten omnidirektionalen Kamera (4), dadurch gekennzeichnet, dass die omnidirektionale Kamera (4) im Betrieb Bildinformationen (I) erfasst und einer Auswerteeinheit (10) zuführt, die anhand von mindestens einem in erfassten Bildinformationen (I) identifizierten Objektelement (1.1) die omnidirektionale Kamera (4) kalibriert.
Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Auswerteeinheit (10) für das identifizierte Objektelement (1.1) dessen Bildposition (BP1.1) und dessen Objektposition (OP1.1) und anhand einer ermittelten Abweichung zwischen Bildposition (BP1.1) und Objektposition (OP1.1) zumindest einen Wert für eine Kalibriergröße bestimmt.
Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Auswerteeinheit (10) als Kalibriergröße eine die Ausrichtung der omnidirektionalen Kamera (4) beschreibende Größe, insbesondere eine Rotationsgröße und/oder Translationsgröße ermittelt.
Vorrichtung nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die omnidirektionale Kamera (4) schwenkbar und/oder neigbar und/oder translatorisch bewegbar angeordnet ist.