[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE102015209764A1 - Extrinsic calibration of an image capture device of a vehicle - Google Patents

Extrinsic calibration of an image capture device of a vehicle Download PDF

Info

Publication number
DE102015209764A1
DE102015209764A1 DE102015209764.1A DE102015209764A DE102015209764A1 DE 102015209764 A1 DE102015209764 A1 DE 102015209764A1 DE 102015209764 A DE102015209764 A DE 102015209764A DE 102015209764 A1 DE102015209764 A1 DE 102015209764A1
Authority
DE
Germany
Prior art keywords
vehicle
image
feature
image capture
actual position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015209764.1A
Other languages
German (de)
Inventor
Günter Bauer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102015209764.1A priority Critical patent/DE102015209764A1/en
Publication of DE102015209764A1 publication Critical patent/DE102015209764A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die extrinsische Kalibrierung einer Bilderfassungseinrichtung bei einem stehenden Fahrzeug ist bisher nicht ausreichend gelöst.
Erfindungsgemäß wird das Problem gelöst, durch eine Vorrichtung zur Bestimmung der extrinsischen Parameter einer Bilderfassungseinrichtung (21), umfassend:
– eine Speichereinrichtung (31);
– mindestens eine Bilderfassungseinrichtung (21), die dazu ausgebildet ist, mindestens ein Umgebungsbild des Fahrzeugs (10) zu erfassen;
– eine Identifikationseinrichtung (32);
– eine Vergleichseinrichtung (34); und
– eine Kalibriereinrichtung (33),
wobei
– in der Speichereinrichtung (31) mindestens ein Fahrzeugmerkmal (16, 17) und zumindest eine Soll-Position des mindestens einen Fahrzeugmerkmals (16, 17) gespeichert sind;
– die Identifikationseinrichtung (32) dazu ausgebildet ist, eine Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) in dem mindestens einen Umgebungsbild des Fahrzeugs (10) zu identifizieren;
– die Vergleichseinrichtung (34) dazu ausgebildet ist, die Ist-Position mit der Soll-Position zu vergleichen; und
– die Kalibriereinrichtung (33) auf Basis einer Abweichung der Ist-Position von der Soll-Position die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung (21) bestimmt.
The extrinsic calibration of an image capture device in a stationary vehicle has not been sufficiently solved.
According to the invention, the problem is solved by a device for determining the extrinsic parameters of an image capture device (21), comprising:
A memory device (31);
- At least one image detection device (21) which is adapted to detect at least one environmental image of the vehicle (10);
- an identification device (32);
A comparison device (34); and
A calibration device (33),
in which
- at least one vehicle feature (16, 17) and at least one desired position of the at least one vehicle feature (16, 17) are stored in the memory device (31);
- The identification device (32) is adapted to identify an actual position of the at least one vehicle feature (16, 17) in the at least one environmental image of the vehicle (10);
- The comparison device (34) is adapted to compare the actual position with the desired position; and
- The calibration device (33) on the basis of a deviation of the actual position of the desired position determines the extrinsic parameters of the at least one image detection device (21).

Figure DE102015209764A1_0001
Figure DE102015209764A1_0001

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs, insbesondere eines Pkw und insbesondere die Bestimmung von extrinsischen Kameraparametern. The invention relates to an apparatus and a method for extrinsic calibration of an image capture device of a vehicle, in particular of a passenger car, and in particular the determination of extrinsic camera parameters.

Moderne Pkw sind üblicherweise mit einer Vielzahl von Kameras ausgestattet. Diese Kameras können sich z.B. in der Schürze der vorderen Stoßstange, in den Seitenspiegeln oder in der Heckklappe befinden. Die Kameras ermöglichen es, dass dem Fahrer z.B. bei einer Rückwärtsfahrt eine Bildanzeige im Cockpit angezeigt wird, die die Umgebung hinter dem Fahrzeug zeigt. Auch ist es möglich, die Bilder der einzelnen Kameras zusammenzufügen, um so eine Rundumsicht des Fahrzeugs bereitzustellen. Solche Rundumsichtsysteme können dem Fahrer z.B. eine Draufsicht auf das Fahrzeug zeigen, wobei die Umgebung des Fahrzeugs mit angezeigt wird. Dies ermöglicht ein sicheres Navigieren des Fahrzeugs, auch in sonst unübersichtlichen Situationen. Modern cars are usually equipped with a variety of cameras. These cameras can be e.g. in the apron of the front bumper, in the side mirrors or in the tailgate. The cameras allow the driver to e.g. when reversing, an image display is displayed in the cockpit showing the environment behind the vehicle. It is also possible to combine the images of the individual cameras so as to provide an all-round view of the vehicle. Such all-round visibility systems can be used by the driver e.g. show a plan view of the vehicle, wherein the environment of the vehicle is displayed. This allows safe navigation of the vehicle, even in otherwise confusing situations.

Für das Zusammensetzen der Einzelbilder in einem Rundumsichtsystem ist es notwendig, dass die Kameras korrekt kalibriert sind. Eine unzureichende Kalibrierung kann u.a. dazu führen, dass es an den Übergängen der einzelnen Bilder zu Ungenauigkeiten bzw. zu Doppelbildern kommen kann. For the composition of the individual images in a panoramic system, it is necessary that the cameras are calibrated correctly. Inadequate calibration may be i.a. lead to inaccuracies or double images at the transitions of the individual pictures.

Die zu bestimmenden Parameter der Kameras werden in extrinsische und intrinsische Kameraparameter unterteilt. Die intrinsischen Kameraparameter umfassen u.a. die Brennweite und die x- und y-Werte des Bildmittelpunkts. Diese Parameter können im Werk während der Produktion kalibriert werden. The camera parameters to be determined are subdivided into extrinsic and intrinsic camera parameters. The intrinsic camera parameters include i.a. the focal length and the x and y values of the center of the image. These parameters can be calibrated at the factory during production.

Die intrinsischen Parameter der Kameras werden zum Beispiel dazu verwendet, eine bei Fischaugenoptiken auftretende Verzerrung des Bildes zu beseitigen, um dem Fahrer ein natürliches Umgebungsbild anzeigen zu können. The intrinsic parameters of the cameras are used, for example, to eliminate a distortion of the image occurring in fish-eye optics in order to be able to display a natural environment image to the driver.

Die extrinsischen Kameraparameter hingegen geben die Position der Kamera im Raum an. Diese Position kann durch eine „Pose“ ausgedrückt werden. The extrinsic camera parameters, on the other hand, indicate the position of the camera in the room. This position can be expressed by a "pose".

Unter einer Pose ist eine Kombination der Position und Orientierung im Raum zu verstehen. Die Orientierung im Raum definiert sich durch einen Winkelversatz der Koordinatenachsen eines um die translatorischen Parameter verschobenen Koordinatensystems bezüglich eines Basiskoordinatensystems, z.B. eines Fahrzeugkoordinatensystems. Eine Pose umfasst somit eine translatorische und eine rotatorische Komponente. Eine Pose kann im dreidimensionalen Raum als ein 6D Vektor ausgedrückt werden. A pose is a combination of position and orientation in space. The orientation in space is defined by an angular offset of the coordinate axes of a coordinate system shifted by the translational parameters with respect to a base coordinate system, e.g. a vehicle coordinate system. A pose thus comprises a translational and a rotational component. A pose can be expressed in three-dimensional space as a 6D vector.

Ebenso wie die intrinsischen Kameraparameter können auch die extrinsischen Kameraparameter im Werk bestimmt werden. Like the intrinsic camera parameters, the extrinsic camera parameters can also be determined at the factory.

Während sich jedoch die intrinsischen Kameraparameter im Laufe des Lebenszyklus einer Kamera in der Regel nicht ändern, sind die extrinsischen Kameraparameter vielen externen Einflüssen und somit auch Schwankungen unterworfen. However, while intrinsic camera parameters generally do not change over the life cycle of a camera, extrinsic camera parameters are subject to many external influences and thus to fluctuations.

So können u.a. mechanische oder thermische Belastungen dazu führen, dass sich die Ausrichtung und/oder Position der Kameras ändert. Solch eine Änderung der Pose der Kameras führt dazu, dass Fahrerassistenzsysteme, wie z.B. ein Rundumsichtsystem, nicht optimal funktionieren. So can u.a. mechanical or thermal stresses cause the orientation and / or position of the cameras to change. Such a change in the pose of the cameras results in driver assistance systems, e.g. an all-round vision system, not working optimally.

Um diesem Umstand zu begegnen, ist es heute üblich, dass die extrinsischen Kameraparameter während einer Fahrt des Fahrzeugs neu bestimmt werden. To address this, it is common today for the extrinsic camera parameters to be redetermined while the vehicle is traveling.

Bei einem gängigen Verfahren werden Umgebungsmerkmale während der Fahrt des Fahrzeugs durch eine Kamera beobachtet. So kann z.B. eine längere Beobachtung der Fahrstreifen einer Fahrbahn verwendet werden, um eine Kalibrierung vorzunehmen. In one common method, environmental characteristics are observed while driving the vehicle through a camera. Thus, e.g. a longer observation of the lanes of a roadway can be used to make a calibration.

Mit Hilfe eines in einem Fahrzeugcomputer gehaltenen Fahrzeugmodells, welches alle relevanten Parameter, wie z.B. die aktuelle Geschwindigkeit des Fahrzeugs oder den aktuellen Lenkeinschlag umfasst, kann eine Vorhersage darüber getroffen werden, in welche Richtung und um welche Distanz sich die Merkmale am Boden bewegen werden. Liegt eine Abweichung der Vorhersage und einer Messung vor, können Rückschlüsse auf die aktuelle Pose der Kamera gezogen werden. Somit können die extrinsischen Parameter bestimmt werden. With the aid of a vehicle model held in a vehicle computer, which has all relevant parameters, such as e.g. the current speed of the vehicle or the current steering angle, it can be predicted in which direction and at what distance the features will move on the ground. If there is a deviation of the prediction and a measurement, conclusions can be drawn on the current pose of the camera. Thus, the extrinsic parameters can be determined.

Das beschriebene Verfahren ist fehleranfällig. The method described is error-prone.

Darüber hinaus ist es notwendig, dass die Kameras das Merkmal über einen längeren Zeitraum hin beobachten, damit die extrinsischen Kameraparameter zu bestimmten Werten hin konvergieren können und somit der Fehler minimiert wird. Fahrerassistenzsysteme eines Fahrzeugs müssen jedoch häufig bereits direkt beim Starten des Motors optimal funktionieren, um z.B. ein sicheres und eventuell komplett automatisiertes Ausparken zu ermöglichen. In addition, it is necessary for the cameras to observe the feature over an extended period of time so that the extrinsic camera parameters can converge toward certain values, thus minimizing the error. However, driver assist systems of a vehicle often need to operate optimally right at the start of the engine, e.g. to allow a safe and possibly completely automated parking.

Ein weiterer Nachteil des beschriebenen Verfahrens ist, dass nur die translatorischen Parameter der Kameras eindeutig bestimmt werden können, nicht jedoch die rotatorischen. Dies kann zu der bereits beschriebenen Ungenauigkeit der Fahrerassistenzsysteme führen. Another disadvantage of the method described is that only the translational parameters of the cameras can be clearly determined, but not the rotational. This can lead to the already described inaccuracy of the driver assistance systems.

Ausgehend von diesem Stand der Technik stellt sich die Aufgabe, eine Vorrichtung oder ein Verfahren bereitzustellen, welches die vorgenannten Nachteile ausräumt. Insbesondere soll eine Vorrichtung geschaffen werden, die (sämtliche) extrinsische Parameter einer Kamera bestimmt. Based on this prior art, the object is to provide a device or a method which eliminates the aforementioned disadvantages. In particular, a device is to be created which determines (all) extrinsic parameters of a camera.

Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 13 gelöst. This object is achieved by a device according to claim 1 and a method according to claim 13.

Insbesondere wird die Aufgabe durch eine Vorrichtung gelöst, welche umfasst:

  • – eine Speichereinrichtung;
  • – mindestens eine Bilderfassungseinrichtung, insbesondere mindestens eine Videokamera, die dazu ausgebildet ist, mindestens ein Umgebungsbild des Fahrzeugs zu erfassen;
  • – eine Identifikationseinrichtung;
  • – eine Vergleichseinrichtung; und
  • – eine Kalibriereinrichtung.
In particular, the object is achieved by a device which comprises:
  • A memory device;
  • - At least one image capture device, in particular at least one video camera, which is adapted to detect at least one environmental image of the vehicle;
  • An identification device;
  • A comparison device; and
  • - a calibration device.

In der Speichereinrichtung sind erfindungsgemäß mindestens ein Fahrzeugmerkmal und eine Soll-Position des mindestens einen Fahrzeugmerkmals gespeichert. Die Identifikationseinrichtung ist dazu ausgebildet, eine Ist-Position des mindestens einen Fahrzeugmerkmals in dem mindestens einen Umgebungsbild des Fahrzeugs zu identifizieren. In the memory device according to the invention at least one vehicle feature and a desired position of the at least one vehicle feature are stored. The identification device is designed to identify an actual position of the at least one vehicle feature in the at least one environmental image of the vehicle.

Die Vergleichseinrichtung ist dazu ausgebildet, die Ist-Position mit der Soll-Position zu vergleichen. Weiter ist die Kalibriereinrichtung dazu ausgebildet, auf Basis einer Abweichung der Ist-Position von der Soll-Position die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung zu bestimmen. The comparison device is designed to compare the actual position with the desired position. Furthermore, the calibration device is designed to determine the extrinsic parameters of the at least one image capture device on the basis of a deviation of the actual position from the desired position.

Die Bilderfassungseinrichtungen eines Fahrzeugs sind in vielen Modellen so eingebaut, dass sie einen Teil des Fahrzeugs mit erfassen. So kann eine in einen Rückspiegel eingebaute Kamera die Räder, sowie weitere Bereiche der Karosserie mit erfassen. Bei einer in der Frontschürze verbauten Kamera werden in vielen Fällen Teile der Frontschürze mit aufgenommen. Bei Rückfahrkameras und Rundumsichtkameras werden in der Regel Fischaugenoptiken verbaut, die immer die Kontur des Eigenfahrzeugs mit aufnehmen. The image capture devices of a vehicle are installed in many models so that they capture a part of the vehicle with. Thus, a built-in rearview mirror camera can detect the wheels, as well as other areas of the body. In a built-in front bumper camera parts of the front bumper are included in many cases. Rear view cameras and all-round vision cameras generally use fisheye optics, which always include the contour of their own vehicle.

Die Ist-Position eines in einer Speichereinrichtung gespeicherten mindestens einen Fahrzeugmerkmals kann nun in dem von der mindestens einen Bilderfassungseinrichtung erfassten Bild identifiziert werden. The actual position of a stored in a memory device at least one vehicle feature can now be identified in the captured by the at least one image capture device image.

Ein solches mindestens ein Fahrzeugmerkmal kann zum Beispiel ein Rad, ein Teil der Radkappe oder eine Kontur der Fahrzeugkarosserie sein. Im Rahmen dieser Anmeldung wird davon ausgegangen, dass eine Kontur eine geschlossene Kurve aber auch eine nicht geschlossene Kurve darstellen kann. Diese Kurve kann gekrümmt oder auch nicht gekrümmt sein. Die Kontur kann auch Bereiche enthalten, die einem Knick entsprechen, wie zum Beispiel eine Ecke. Such a vehicle feature may be, for example, a wheel, a part of the hubcap or a contour of the vehicle body. In the context of this application, it is assumed that a contour can represent a closed curve but also a non-closed curve. This curve can be curved or not curved. The contour may also contain areas that correspond to a kink, such as a corner.

Wenn die Ist-Position des Fahrzeugmerkmals identifiziert ist, kann eine in der Speichereinrichtung gespeicherte Soll-Position des Fahrzeugmerkmals mit der gemessenen Ist-Position des Fahrzeugmerkmals in dem erfassten Bild der Bilderfassungseinrichtung verglichen werden. Auf Basis der Abweichung der Positionen der Merkmale ist es möglich, die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung zu bestimmen. If the actual position of the vehicle feature is identified, a desired position of the vehicle feature stored in the memory device can be compared with the measured actual position of the vehicle feature in the captured image of the image capture device. Based on the deviation of the positions of the features, it is possible to determine the extrinsic parameters of the at least one image capture device.

Die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung können zum Beispiel durch eine perspektivische Transformation gefunden werden, die das mindestens einen Fahrzeugmerkmal so transformiert, dass das transformierte mindestens eine Fahrzeugmerkmal mit dem gespeicherten mindestens einen Fahrzeugmerkmal in Deckung liegt. The extrinsic parameters of the at least one image capture device may be found, for example, by a perspective transformation that transforms the at least one vehicle feature so that the transformed at least one vehicle feature is in registration with the stored at least one vehicle feature.

Die Vorteile der vorliegenden Erfindung liegen in einer einfachen und schnellen Bestimmung der extrinsischen Kameraparameter. Auch ist es nicht notwendig, zusätzliche Marker oder ähnliche Komponenten an dem Fahrzeug zur Kalibrierung der Bilderfassungseinrichtungen anzubringen. Darüber hinaus kann die Kalibrierung im Stand durchgeführt werden, so dass die Bilderfassungseinrichtungen vor Fahrtantritt kalibriert sind. Des Weiteren werden alle extrinsischen Parameter bestimmt, was eine hohe Genauigkeit der Kalibrierung gewährleistet. The advantages of the present invention lie in a simple and rapid determination of the extrinsic camera parameters. Also, it is not necessary to attach additional markers or similar components to the vehicle to calibrate the image capture devices. In addition, the calibration can be performed while stationary, so that the image capture devices are calibrated before driving. Furthermore, all extrinsic parameters are determined, which ensures a high accuracy of the calibration.

In einer weiteren Ausführungsform kann das mindestens eine Fahrzeugmerkmal eine geometrische Struktur repräsentieren, insbesondere zumindest eine Kontur, zumindest eine Kante oder zumindest eine Ecke des Fahrzeugs oder eine Kombination aus diesen. In a further embodiment, the at least one vehicle feature may represent a geometric structure, in particular at least one contour, at least one edge or at least one corner of the vehicle or a combination thereof.

Ein Vorteil, das mindestens eine Fahrzeugmerkmal als eine geometrische Struktur zu wählen, liegt darin, dass keine weiteren Elemente an dem Fahrzeug, wie z.B. Marker, angebracht werden müssen. Des Weiteren ist es von Vorteil, eine Kombination aus verschiedenen geometrischen Fahrzeugmerkmalen zu wählen, um eine hohe Genauigkeit bei der Bestimmung der extrinsischen Parameter zu erreichen. Weiterhin ist es von Vorteil eine Kontur und mindestens eine Ecke zu verwenden, da Ecken und Konturen sehr schnell und effizient in Bildern gefunden werden können. Weiterhin ist es damit möglich, die Orientierung eindeutig zu bestimmen. An advantage of choosing at least one vehicle feature as a geometric structure is that there are no other elements on the vehicle, such as a vehicle. Marker, must be attached. Furthermore, it is advantageous to choose a combination of different geometric vehicle features in order to achieve high accuracy in the determination of extrinsic parameters. Furthermore, it is advantageous to use a contour and at least one corner, as corners and contours can be found very quickly and efficiently in pictures. Furthermore, it is thus possible to clearly determine the orientation.

Ecken eignen sich besonders gut als Merkmale, da bei Ecken eine Änderung des Gradienten in alle Richtungen sehr groß ist. Sie geben also charakteristische Bildbereiche an, die sich in weiteren Bildern leicht wiederfinden lassen. Corners are particularly well suited as features, since at corners a change of the gradient in all directions is very large. They thus indicate characteristic image areas that can easily be found in further images.

In einer Ausführungsform der Erfindung kann das mindestens eine Fahrzeugmerkmal eine Ecke betreffen, wobei eine Position und eine Ausrichtung der Ecke in der Speichereinrichtung gespeichert sind. In one embodiment of the invention, the at least one vehicle feature may relate to a corner, wherein a position and an orientation of the corner are stored in the memory device.

Weitere Vorteile ergeben sich, wenn möglichst wenig Fahrzeugmerkmale gespeichert werden, die jedoch bereits alle notwendigen Informationen zur Bestimmung der extrinsischen Parameter bereitstellen. So ist es von Vorteil, zu einer Ecke eine Ausrichtung zu speichern, da somit auch eine Rotation bestimmt werden kann. Further advantages arise when as few vehicle features as possible are stored, but they already provide all the information necessary to determine the extrinsic parameters. So it is advantageous to save an alignment to a corner, because thus also a rotation can be determined.

In einer Ausführungsform kann das mindestens eine Fahrzeugmerkmal durch eine Matrix repräsentiert sein, die eine Ecke beschreibt, wobei die Matrix insbesondere einen Skalierungs-Invarianten-Merkmals-Deskriptor („SIFT Descriptor“) oder einen Multiscale-Oriented-Patches-Descriptor („MOPS Descriptor“) repräsentiert. In one embodiment, the at least one vehicle feature may be represented by a matrix describing a vertex, in particular, the matrix comprising a scaling invariant feature descriptor ("SIFT descriptor") or a multiscale oriented patches descriptor ("MOPS descriptor ").

Weitere Vorteile ergeben sich, wenn eine Ecke als eine Matrix repräsentiert wird, die die Ecke beschreibt. So ist es möglich eine Darstellung zu wählen, die geometrisch invariant ist, zum Beispiel gegenüber Rotationen und Skalierung. Die Wahrscheinlichkeit eines erfolgreichen Identifizierens der Ecke in dem erfassten mindestens einen Umgebungsbild wird somit erhöht. Further advantages arise when a corner is represented as a matrix describing the corner. So it is possible to choose a representation that is geometrically invariant, for example against rotations and scaling. The probability of successfully identifying the corner in the captured at least one environment image is thus increased.

In einer Ausführungsform kann die Identifikationseinrichtung dazu ausgebildet sein, einen Verlauf einer Kontur des Fahrzeugs in dem mindestens einen Umgebungsbild zu identifizieren und basierend auf dem Verlauf der Kontur die Ist-Position einer Ecke als das mindestens eine Fahrzeugmerkmal zu identifizieren. In one embodiment, the identification device may be configured to identify a profile of a contour of the vehicle in the at least one environmental image and to identify the actual position of a corner as the at least one vehicle characteristic based on the contour of the contour.

Konturen eines Fahrzeugs können durch Kantenerkennung mit bekannten Verfahren identifiziert werden. Es ist von Vorteil, ausgehend von einem identifizierten Verlauf einer Kontur, eine Ecke zu identifizieren. Hierzu kann zum Beispiel angenommen werden, dass sich die zu identifizierende Ecke an einem Ende des Verlaufs befindet. Solch ein Vorwissen kann ohne weiteres vorausgesetzt werden, da die Fahrzeuggeometrie bekannt ist. Dieses beschleunigt das Identifizieren des mindestens einen Fahrzeugmerkmals und somit kann die extrinsische Kalibrierung der mindestens einen Bilderfassungseinrichtung schneller abgeschlossen werden. Contours of a vehicle can be identified by edge detection using known methods. It is advantageous to identify a corner from an identified trace of a contour. For example, it may be assumed that the corner to be identified is at one end of the course. Such a prior knowledge can be readily assumed, since the vehicle geometry is known. This speeds up the identification of the at least one vehicle feature and thus the extrinsic calibration of the at least one image capture device can be completed more quickly.

In einer Ausführungsform kann die Identifikationseinrichtung dazu ausgebildet sein, die Identifikation der Ist-Position des mindestens einen Fahrzeugmerkmals auf Basis eines vorher bestimmten Teilausschnittes des Umgebungsbildes durchzuführen. In one embodiment, the identification device may be designed to carry out the identification of the actual position of the at least one vehicle feature on the basis of a previously determined partial section of the environmental image.

Es ist von Vorteil, den Bereich der zur Identifikation verwendet wird, zu verkleinern, um eine erhöhte Bearbeitungsgeschwindigkeit zu ermöglichen. Bei einem Einbau von Bilderfassungseinrichtungen an einem Pkw kann zum Beispiel angenommen werden, dass die Fehler der extrinsischen Parameter in bestimmten Intervallen liegen. Somit ist es möglich, den Bildausschnitt zu bestimmen, in dem das mindestens eine Fahrzeugmerkmal erwartet werden kann. It is advantageous to downsize the area used for identification to allow increased processing speed. For example, when incorporating image capture devices on a passenger car, it can be assumed that the errors of the extrinsic parameters are at certain intervals. Thus, it is possible to determine the image detail in which the at least one vehicle feature can be expected.

In einer Ausführungsform kann die mindestens eine Bilderfassungseinrichtung eine Fischaugenoptik aufweisen, die einen Blickwinkel von größer 90 Grad, insbesondere Größer 170 Grad aufweist. In one embodiment, the at least one image capture device may have a fish-eye optic which has a viewing angle of greater than 90 degrees, in particular greater than 170 degrees.

Die Verwendung einer Fischaugenoptik hat den Vorteil, dass ein größerer Teil des Fahrzeugs erfasst wird. Somit ist es auch möglich, mehrere Fahrzeugmerkmale zu erfassen, was zu einer erhöhten Genauigkeit der extrinsischen Kalibrierung führt. The use of fish-eye optics has the advantage that a larger part of the vehicle is detected. Thus, it is also possible to detect multiple vehicle features, resulting in increased accuracy of the extrinsic calibration.

In einer Ausführungsform kann in der Speichereinrichtung ein erstes Fahrzeugmerkmal mit einer hohen Priorität und ein zweites Fahrzeugmerkmal mit einer niedrigen Priorität gespeichert sein. Die Identifikationseinrichtung kann dazu ausgebildet sein, festzustellen, ob das erste Fahrzeugmerkmal in dem mindestens einen Umgebungsbild des Fahrzeugs liegt. In dem Fall, in dem das erste Fahrzeugmerkmal nicht in dem mindestens einen Umgebungsbild des Fahrzeugs liegt, kann die Identifikationseinrichtung dazu ausgebildet sein, festzustellen, ob das zweite Fahrzeugmerkmal in dem mindestens einen Umgebungsbild liegt. In dem Fall, in dem das zweite Fahrzeugmerkmal in dem mindestens einen Umgebungsbild liegt, kann die Identifikationseinrichtung die Ist-Position des zweiten Fahrzeugmerkmals in dem mindestens einen Umgebungsbild identifizieren. In one embodiment, the memory device may store a first high priority vehicle feature and a second low priority vehicle feature. The identification device may be configured to determine whether the first vehicle feature lies in the at least one environmental image of the vehicle. In the case where the first vehicle feature is not located in the at least one environmental image of the vehicle, the identification device may be configured to determine whether the second vehicle feature is located in the at least one environmental image. In the case where the second vehicle feature lies in the at least one environmental image, the identification device may identify the actual position of the second vehicle feature in the at least one environmental image.

Es ist also möglich, dass die Speichereinrichtung zwei Fahrzeugmerkmale speichert, wobei einem Fahrzeugmerkmal eine hohe und einem zweiten Fahrzeugmerkmal eine niedrige Priorität zugewiesen sein kann. Die Identifikationseinrichtung kann nun zunächst das erste Fahrzeugmerkmal aufgrund der hohen Priorität auswählen. Ist das erste Fahrzeugmerkmal nicht in dem mindestens einen Umgebungsbild auffindbar, so kann die Identifikationseinrichtung das zweite Fahrzeugmerkmal verwenden. Zusätzlich oder alternativ können für jedes oder einige Merkmale bezüglich deren Identifikation Konfidenzniveaus gespeichert werden. It is thus possible for the storage device to store two vehicle features, with one vehicle feature being assigned a high priority and a second vehicle feature having a low priority. The identification device can now first select the first vehicle feature due to the high priority. If the first vehicle feature can not be found in the at least one environment image, then the identification device can use the second vehicle feature. Additionally or alternatively, confidence levels may be stored for each or some features related to their identification.

Diese Ausführungsform hat den Vorteil, dass das Verfahren robuster wird. Zum Beispiel ist es möglich, dass ein Fahrzeugmerkmal aufgrund von Verschmutzung nicht und/oder nicht zuverlässig auffindbar ist und somit ein zweites Fahrzeugmerkmal herangezogen werden muss. Die Vorrichtung ist damit auch bei schwierigen äußeren Bedingungen noch einsatzfähig. Darüber hinaus ist es möglich, eine Rückmeldung an den Fahrer zu geben, dass einzelne Merkmale nicht identifizierbar sind. Dieser hat dann die Möglichkeit, sein Fahrzeug zu überprüfen und eventuelle Verunreinigungen zu entfernen. This embodiment has the advantage that the method becomes more robust. For example, it is possible for a vehicle feature due to Pollution is not and / or not reliable can be found and thus a second vehicle feature must be used. The device is thus still operational even under difficult external conditions. In addition, it is possible to provide feedback to the driver that individual characteristics are not identifiable. This then has the opportunity to check his vehicle and remove any impurities.

In einer Ausführungsform kann die Kalibriereinrichtung dazu ausgebildet sein, die extrinsischen Parameter mit Hilfe der Methode der kleinsten Quadrate zu bestimmen. Vorteile in der Verwendung der Methode der kleinsten Quadrate bestehen darin, dass für diese sehr schnelle Algorithmen zur Verfügung stehen. In one embodiment, the calibrator may be configured to determine the extrinsic parameters using the least squares method. Advantages of using the least squares method are that very fast algorithms are available for them.

Die genannte Aufgabe wird auch durch ein Fahrzeug gelöst, welches eine Vorrichtung zur Bestimmung der extrinsischen Kameraparameter der mindestens einen Bilderfassungseinrichtung umfasst, wie sie vorstehend beschrieben ist. Dabei kann das Fahrzeug die mindestens eine Bilderfassungseinrichtung umfassen und die mindestens eine Bilderfassungseinrichtung kann so ausgerichtet sein, dass das mindestens eine Umgebungsbild die Umgebung des Fahrzeugs und einen Teil des Fahrzeugs abbildet. The stated object is also achieved by a vehicle which comprises a device for determining the extrinsic camera parameters of the at least one image capture device, as described above. In this case, the vehicle may comprise the at least one image capture device and the at least one image capture device may be oriented so that the at least one environmental image depicts the surroundings of the vehicle and a part of the vehicle.

Das Fahrzeug weist ähnliche oder identische Vorteile auf, wie sie in Verbindung mit der Vorrichtung beschrieben sind. The vehicle has similar or identical advantages as described in connection with the device.

In einer Ausführungsform kann das Fahrzeug eine Schätzeinrichtung umfassen, die auf Basis der Ist-Position des mindestens einen Fahrzeugmerkmals die Distanz zwischen der Ist-Position des mindestens einen Fahrzeugmerkmals und dem höchsten Punkt einer Radfelge des Fahrzeugs schätzt. In one embodiment, the vehicle may include an estimation device that estimates the distance between the actual position of the at least one vehicle feature and the highest point of a wheel rim of the vehicle based on the actual position of the at least one vehicle feature.

Es ist somit möglich, eine Höhenschätzung individuell für jedes Rad des Fahrzeugs durchzuführen. Dies kann unter anderem dazu verwendet werden, die gemessenen Höhenwerte von an den Rädern montierten Höhenstandsensoren zu validieren und so fehlerhaft-arbeitende Sensoren zu erkennen. It is thus possible to individually perform an altitude estimation for each wheel of the vehicle. This can be used, among other things, to validate the measured height values of wheel mounted ride height sensors to detect faulty-working sensors.

In einer Ausführungsform kann das Fahrzeug ein Fahrerassistenzsystem umfassen, welches unter Verwendung der mindestens einen Bilderfassungseinrichtung und der extrinsischen Parameter, Steuersignale für einen Aktuator erzeugt, wobei der Aktuator vorzugsweise umfasst:

  • – Bremsen;
  • – Lenkvibrationsmotor;
  • – Signalleuchte; oder
  • – Seitenspiegelstellmotor.
In one embodiment, the vehicle may include a driver assistance system that generates control signals for an actuator using the at least one image capture device and the extrinsic parameters, wherein the actuator preferably comprises:
  • - brakes;
  • - steering vibration motor;
  • - Signal light; or
  • - Side mirror actuator.

Eine Bilderfassungseinrichtung, die mit einer vorstehend beschriebenen Vorrichtung kalibriert wurde, kann in einem Fahrerassistenzsystem verwendet werden, welches Steuersignale an Aktuatoren sendet. Ein Vorteil besteht darin, dass das Fahrerassistenzsystem mit sehr genau kalibrierten Bilderfassungssystemen arbeitet und daher über eine größere Konfidenz in die ihr Verhalten beeinflussende Daten verfügt. Es ist somit möglich, dass das Fahrzeug auch sicherheitskritische Funktionen über Fahrerassistenzsysteme sicher realisiert, wie z.B. ein automatisches Ausparken. An image capture device that has been calibrated with a device described above may be used in a driver assistance system that sends control signals to actuators. One advantage is that the driver assistance system works with very accurately calibrated imaging systems and therefore has greater confidence in the data affecting their behavior. It is thus possible that the vehicle also safely realizes safety-critical functions via driver assistance systems, such as e.g. an automatic parking.

Des Weiteren wird die Aufgabe durch ein Verfahren zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs gelöst, umfassend die folgenden Schritte:

  • – Erfassung mindestens eines Umgebungsbildes des Fahrzeugs durch mindestens eine Bilderfassungseinrichtung;
  • – Identifizieren einer Ist-Position eines mindestens einen Fahrzeugmerkmals in dem mindestens einen Umgebungsbild;
  • – Vergleichen der Ist-Position mit einer in einer Speichereinrichtung gespeicherten Soll-Position des mindestens einen Fahrzeugmerkmals;
  • – extrinsisches Kalibrieren der mindestens einen Bilderfassungseinrichtung auf Basis der bestimmten Abweichung.
Furthermore, the object is achieved by a method for extrinsic calibration of an image capture device of a vehicle, comprising the following steps:
  • - Detecting at least one environmental image of the vehicle by at least one image capture device;
  • - identifying an actual position of at least one vehicle feature in the at least one environmental image;
  • Comparing the actual position with a desired position of the at least one vehicle feature stored in a memory device;
  • - Extrinsic calibration of the at least one image capture device based on the determined deviation.

In einer Ausführungsform kann das Identifizieren ein Einschränken auf einen vorher bestimmten Ausschnitt des Umgebungsbildes umfassen, auf dessen Basis das Identifizieren der Ist-Position des mindestens einen Fahrzeugmerkmals durchgeführt werden kann. In one embodiment, the identifying may include restricting to a predetermined portion of the environmental image, based on which the identification of the actual position of the at least one vehicle feature may be performed.

Es ergeben sich ähnliche oder identische Vorteile, wie dies bereits in Verbindung mit der Vorrichtung beschrieben wurde. There are similar or identical advantages, as has already been described in connection with the device.

In einer Ausführungsform kann das Verfahren während einer Fahrt des Fahrzeugs durchgeführt werden. In an embodiment, the method may be performed while the vehicle is traveling.

Das beschriebene Verfahren kann während der Standzeit eines Fahrzeugs aber auch während der Fahrt verwendet werden. Das Kalibrieren während der Fahrt hat den Vorteil, dass eine permanente Überprüfung der bestimmten extrinsischen Parameter vorgenommen werden kann. Somit kann zu jedem Zeitpunkt gewährleistet werden, dass die mindestens eine Bilderfassungseinrichtung optimal arbeitet. The method described can be used during the life of a vehicle but also while driving. The calibration while driving has the advantage that a permanent check of the particular extrinsic parameters can be made. Thus, it can be guaranteed at any time that the at least one image capture device works optimally.

Des Weiteren kann das Verfahren in einem Rundumsicht-System eines Fahrzeugs verwendet werden. Furthermore, the method can be used in a vehicle all-round visibility system.

Für ein Rundumsicht-System ist es notwendig, erfasste Umgebungsbilder von verschiedenen Bilderfassungseinrichtungen zu einem einzigen Bild zu kombinieren. Dabei kommt es bei einer unzureichenden extrinsischen Kalibrierung der Bilderfassungseinrichtungen zu Überlappungen und verzerrten Darstellungen in den Randbereichen der Einzelbilder. Dies kann dazu führen, dass der Fahrer eines Fahrzeugs Hindernisse nicht erkennen kann. Eine verbesserte extrinsische Kalibrierung führt somit zu einer erhöhten Sicherheit des Fahrzeugs und trägt somit zum Schutz der Verkehrsteilnehmer bei. For an all-round visibility system, it is necessary to capture captured environmental images from different ones To combine image capture facilities into a single image. In the case of an insufficient extrinsic calibration of the image capture devices, overlaps and distorted representations occur in the edge regions of the individual images. This can cause the driver of a vehicle can not detect obstacles. An improved extrinsic calibration thus leads to increased safety of the vehicle and thus contributes to the protection of road users.

Die erfindungsgemäße Aufgabe wird des Weiteren durch ein computerlesbares Speichermedium gelöst, das ausführbare Instruktionen aufweist, welche einen Computer dazu veranlassen, ein Verfahren nach einem der vorhergehend beschriebenen Verfahren zu implementieren, wenn die Instruktionen ausgeführt werden. The object of the invention is further solved by a computer-readable storage medium having executable instructions that cause a computer to implement a method according to one of the methods described above when the instructions are executed.

Nachfolgend wird die Erfindung mittels mehrerer Ausführungsbeispiele beschrieben, die anhand von Abbildungen näher erläutert werden. Hierbei zeigen: The invention will be described by means of several embodiments, which are explained in more detail with reference to figures. Hereby show:

1 eine Draufsicht auf ein Fahrzeug mit mehreren Kameras; 1 a plan view of a vehicle with multiple cameras;

2 die Pose einer Kamera in einem Basiskoordinatensystem; 2 the pose of a camera in a base coordinate system;

3 eine Vorderansicht des Fahrzeugs mit Fahrzeugmerkmal; 3 a front view of the vehicle with vehicle feature;

4 eine Seitenansicht des Fahrzeugs mit Seitenkamera und Fahrzeugbegrenzung; 4 a side view of the vehicle with side camera and vehicle limit;

5 eine perspektivische Transformation eines Objekts; 5 a perspective transformation of an object;

6 eine schematische Ansicht eines Bordcomputers; 6 a schematic view of an on-board computer;

7 schematische Darstellung einer Verwendung der Erfindung in einem Assistenzsystem zum automatischen Ausparken. 7 schematic representation of a use of the invention in an automatic parking system assistance system.

In der nachfolgenden Beschreibung werden für gleiche und gleichwirkende Teile dieselben Bezugsziffern verwendet. In the following description, the same reference numerals are used for identical and equivalent parts.

1 zeigt eine schematische Draufsicht auf ein Fahrzeug 10, welches mit vier Bilderfassungseinrichtungen 21 ausgestattet ist. Die Bilderfassungseinrichtungen 21 erfassen jeweils einen Teil der Fahrzeugumgebung 15 und leiten diesen an einen Bordcomputer 30 weiter. In einer ersten Ausführungsform sind alle Bilderfassungseinrichtungen 21 als Videokameras 21 mit Fischaugenobjektiven ausgebildet, so dass der Blickwinkel > 160° ist. Somit werden auch Teile des Fahrzeugs 10 mit aufgenommen. 1 shows a schematic plan view of a vehicle 10 , which with four image capture devices 21 Is provided. The image capture devices 21 capture each part of the vehicle environment 15 and forward this to an on-board computer 30 further. In a first embodiment, all image capture devices are 21 as video cameras 21 formed with fisheye lenses, so that the angle of view is> 160 °. Thus, also parts of the vehicle 10 recorded with.

So erfassen zum Beispiel die rechte Seitenkamera 21 und die linke Seitenkamera 21 jeweils ein Vorder- und Hinterrad 12, einen Teil der Karosserie sowie einen Teil jeweils einer Seitentür. Die vordere Kamera 21 ist so gerichtet, dass sie einen Teil der Frontschürze mit erfasst. So capture, for example, the right side camera 21 and the left side camera 21 one front and one rear wheel each 12 , a part of the body and a part of each side door. The front camera 21 is oriented so that it covers part of the front apron.

In dem Fahrzeug 10 ist ein Fahrzeugzentrum 13 definiert, das den Ursprung eines Basiskoordinatensystems X, Y, Z bildet. Bezüglich dieses Basiskoordinatensystems X, Y, Z wird die extrinsische Kalibrierung der Kameras 21 durchgeführt. In the vehicle 10 is a vehicle center 13 defining the origin of a base coordinate system X, Y, Z. With respect to this basic coordinate system X, Y, Z, the extrinsic calibration of the cameras 21 carried out.

Ein optimaler Einbau der Kameras 21 wird als bekannt angenommen, zum Beispiel aus Konstruktionszeichnungen. Da der optimale Einbau der Kameras 21 bekannt ist, sind auch optimale extrinsische Parameter der Kameras 21 bekannt. Die Pose des optimalen Einbaus einer Kamera 21 wird im Folgenden mit Soll-Pose bezeichnet. An optimal installation of the cameras 21 is assumed to be known, for example from design drawings. Because the optimal installation of the cameras 21 are known are also optimal extrinsic parameters of the cameras 21 known. The pose of the optimal installation of a camera 21 is referred to below as the target pose.

2 ist eine Darstellung des Basiskoordinatensystems X, Y, Z, welches in dem Fahrzeugzentrum 13 aufgespannt wird, sowie des Kamerakoordinatensystems X‘, Y‘, Z‘, welches in der rechten Seitenkamera 21 aufgespannt wird. Die zu bestimmenden extrinsischen Parameter der rechten Seitenkamera 21 umfassen:

  • – die Position relativ zu dem Fahrzeugzentrum 13; und
  • – die Orientierung des Koordinatensystems X‘, Y‘, Z‘ relativ zu dem Basiskoordinatensystem X, Y, Z.
2 is a representation of the base coordinate system X, Y, Z, which in the vehicle center 13 is spanned, as well as the camera coordinate system X ', Y', Z ', which in the right side camera 21 is spanned. The extrinsic parameters of the right side camera to be determined 21 include:
  • The position relative to the vehicle center 13 ; and
  • The orientation of the coordinate system X ', Y', Z 'relative to the base coordinate system X, Y, Z.

Die extrinsischen Parameter umfassen demnach eine Raumkoordinate (mit drei Werten), sowie drei Winkel. The extrinsic parameters therefore comprise a spatial coordinate (with three values), as well as three angles.

3 zeigt eine Vorderansicht des Fahrzeugs 10. In dem rechten Außenspiegel 11 ist eine Kamera 21 verbaut, die ein Umgebungsbild des Fahrzeugs 10 erfasst. Wie durch die gestrichelte Linie in 3 angedeutet, wird auch die Fahrzeugbegrenzung 16 und ein Rad 12 miterfasst. 3 shows a front view of the vehicle 10 , In the right side mirror 11 is a camera 21 installed, which is an environmental image of the vehicle 10 detected. As indicated by the dashed line in 3 implied, is also the vehicle limit 16 and a bike 12 also detected.

4 zeigt dieses deutlich. In der 4 ist die rechte Seitenkamera 21 des Fahrzeugs 10 gezeigt. Gestrichelte Linien von der Seitenkamera 21 ausgehend deuten den erfassten Bildausschnitt an. 4 zeigt auch, dass die Fahrzeugbegrenzung 16 zwischen den Rädern 12 im Wesentlichen gerade verläuft und an den Rädern 12 einen Knick 17 macht. Dieser Knick 17 kann in einem erfassten Bild der rechten Seitenkamera 21 als eine Ecke 17 interpretiert werden. 4 shows this clearly. In the 4 is the right side camera 21 of the vehicle 10 shown. Dashed lines from the side camera 21 starting interpret the captured image detail. 4 also shows that the vehicle limit 16 between the wheels 12 essentially straight and on the wheels 12 a kink 17 power. This kink 17 may be in a captured image of the right side camera 21 as a corner 17 be interpreted.

Aufgrund der bekannten Fahrzeuggeometrie und der bekannten Soll-Pose der rechten Seitenkamera 21, kann ein Referenzbild des Bildausschnittes vor Auslieferung des Fahrzeugs generiert werden. In einer Ausführungsform ist es möglich, dass solch ein Bild virtuell bei der Konstruktion gerendert wird. In dem Referenzbild kann nun die Soll-Position einzelner Fahrzeugmerkmale 16, 17 bestimmt werden. Due to the known vehicle geometry and the known target pose of the right side camera 21 , a reference image of the image section can be generated before delivery of the vehicle. In one embodiment, it is possible for such a Image is rendered virtually in the construction. In the reference image can now be the target position of individual vehicle features 16 . 17 be determined.

Fahrzeugmerkmale 16, 17 sind vorzugsweise charakteristische Merkmale, die sich von ihrer Umgebung unterscheiden. Zum Beispiel weist die Fahrzeugbegrenzung 16 in einer Graubilddarstellung einen sehr charakteristischen Gradienten der Pixelintensität auf. Das bedeutet, dass sich die Intensitätswerte der Pixel des Bildes beim Übergang über die Fahrzeugbegrenzung 16 stark ändern. Die Fahrzeugbegrenzung 16 weist solch einen charakteristischen Gradienten jedoch nur in eine Richtung auf. Diese Richtung verläuft quer zu dem Verlauf der Fahrzeugbegrenzung 16. vehicle features 16 . 17 are preferably characteristic features that are different from their environment. For example, the vehicle limit 16 in a gray image representation, a very characteristic gradient of pixel intensity. This means that the intensity values of the pixels of the image change over the vehicle boundary 16 change strongly. The vehicle limit 16 however, has such a characteristic gradient only in one direction. This direction is transverse to the course of the vehicle boundary 16 ,

Ecken 17 eines Bildes sind auch sehr charakteristisch, da auch bei Ecken 17 eine starke Änderung der Intensität zu beobachten ist. Bei Ecken 17 ist diese jedoch in alle Richtungen zu beobachten. corners 17 of a picture are also very characteristic, as well as with corners 17 a strong change in intensity is observed. At corners 17 However, this is to be observed in all directions.

Die Fahrzeugbegrenzung 16 kann in einem 2D Bild der Kamera 21 als eine Kontur 16 interpretiert werden. In der ersten Ausführungsform verläuft die Kontur 16 zwischen dem Vorder- und Hinterrad 12 im Wesentlichen gerade. The vehicle limit 16 can in a 2D image of the camera 21 as a contour 16 be interpreted. In the first embodiment, the contour runs 16 between the front and rear wheels 12 essentially straight.

Die Kontur 16 kann als geordnete Liste von Punkten gespeichert sein, wobei angenommen werden kann, dass das erste Element der Liste die Position der Kontur 16 angibt. In weiteren Ausführungsformen ist eine andere Repräsentation einer Kontur 16 denkbar, wie zum Beispiel durch einen Start- und einem Endpunkt. Dies ist insbesondere von Vorteil, wenn die Kontur 16 gerade verläuft. The contour 16 may be stored as an ordered list of points, assuming that the first element of the list is the position of the contour 16 indicates. In other embodiments, another representation of a contour is 16 conceivable, such as by a start and an end point. This is particularly advantageous when the contour 16 straight.

Eine Ecke 17 kann in der der ersten Ausführungsform als ein Punkt mit einer Orientierung gespeichert sein. Hierbei kann die Orientierung zwei Vektoren umfassen, die die Ecke 17 aufspannen. Es ist also möglich die Ecke 17 in einem Array zu speichern, in dem die ersten zwei Elemente die X und Y Koordinaten der Ecke 17 in dem Bild angeben und 4 weitere Elemente die X und Y Anteile von zwei Vektoren angeben. A corner 17 may be stored in the first embodiment as a point with an orientation. In this case, the orientation may include two vectors, which are the corner 17 span. So it's possible the corner 17 in an array where the first two elements are the X and Y coordinates of the corner 17 in the picture and 4 other elements indicate the X and Y parts of two vectors.

Eine Ecke 17 kann in weiteren Ausführungsformen auch als Merkmalsdeskriptor, wie zum Beispiel einem Skalierungs-Invarianten-Merkmalsdeskriptor („SIFT-Descriptor“) gespeichert sein. Hierbei wird eine quadratische Umgebung der Ecke gespeichert, wobei ein Darstellung über die Eigenvektoren gewählt wird, die gegenüber geometrischen Transformationen, wie zum Beispiel Rotationen, invariant ist. Dies hat den Vorteil, dass das Merkmal auch in stark verdrehten Bildern leicht wiedergefunden werden kann. A corner 17 In other embodiments, it may also be stored as a feature descriptor, such as a scaling invariant feature descriptor ("SIFT descriptor"). Here, a quadratic neighborhood of the vertex is stored, choosing a representation of the eigenvectors that is invariant to geometric transformations, such as rotations. This has the advantage that the feature can easily be found even in heavily twisted images.

Die Kontur 16 ist in der Speichereinrichtung 31 mit einer Soll-Position gespeichert. Auch wird in der ersten Ausführungsform der Knick 17 der Fahrzeugbegrenzung 16 an dem Vorderrad 12 als eine Ecke 16 mit einer Soll-Position in einer Speichereinrichtung 31 gespeichert. Das Referenzbild selbst ist in der ersten Ausführungsform nicht notwendig. The contour 16 is in the storage device 31 saved with a target position. Also, in the first embodiment, the kink becomes 17 the vehicle limit 16 on the front wheel 12 as a corner 16 with a desired position in a memory device 31 saved. The reference image itself is not necessary in the first embodiment.

Beim Anlassen des Fahrzeugs 10 wird in der ersten Ausführungsform eine extrinsische Kalibrierung der Kameras 21 des Fahrzeugs 10 veranlasst. Zur Bestimmung der extrinsischen Kameraparameter der Seitenkamera 21, erfasst die Seitenkamera 21 ein Umgebungsbild des Fahrzeugs 10. In der ersten Ausführungsform wird angenommen, dass die Abweichung der Ist-Pose der Seitenkamera 12 von der Soll-Pose klein ist. Es kann also angenommen werden, dass sich die vorher definierten Fahrzeugmerkmale 16, 17, die mit ihren Ist-Positionen in der der Speichereinrichtung 31 gespeichert sind, in dem erfassten Umgebungsbild befinden. When starting the vehicle 10 in the first embodiment, an extrinsic calibration of the cameras 21 of the vehicle 10 causes. To determine the extrinsic camera parameters of the side camera 21 , captures the side camera 21 an environmental image of the vehicle 10 , In the first embodiment, it is assumed that the deviation of the actual pose of the side camera 12 small from the target pose. It can therefore be assumed that the previously defined vehicle characteristics 16 . 17 with their actual positions in the storage device 31 are stored in the captured environmental image.

Es kann weiter angenommen werden, dass aufgrund der kleinen Abweichungen der Ist-Pose von der Soll-Pose der Seitenkamera 12 die ungefähre Position der Fahrzeugmerkmale 16, 17 in dem erfassten Umgebungsbild bekannt ist. Somit kann in weiteren Ausführungsformen der Suchbereich nach diesen Fahrzeugmerkmalen 16, 17 eingeschränkt werden. It can further be assumed that due to the small deviations of the actual pose from the target pose of the side camera 12 the approximate position of the vehicle features 16 . 17 is known in the captured environment image. Thus, in other embodiments, the search range may be for these vehicle features 16 . 17 be restricted.

Eine Identifikationseinrichtung 32 kann die Kontur 16 zum Beispiel auf Basis von Gradienten-basierten Verfahren, wie zum Beispiel dem Canny-Algorithmus, in dem erfassten Umgebungsbild detektiert werden. Die Ecke 17 kann in einer Ausführungsform zum Beispiel mit dem Harris Operator in dem Umgebungsbild detektiert werden. An identification device 32 can the contour 16 for example, based on gradient-based methods, such as the Canny algorithm, in which captured environmental image is detected. The corner 17 For example, in one embodiment, it may be detected with the Harris operator in the environmental image.

Weiter stellt die Identifikationseinrichtung 32 in der ersten Ausführungsform sicher, dass es sich bei den in dem Umgebungsbild gefundenen Merkmalen 16, 17 um die vorher definierten Merkmale 16, 17 handelt. Next represents the identification device 32 in the first embodiment, it is sure that the features found in the environment image 16 . 17 around the previously defined characteristics 16 . 17 is.

In einer Ausführungsform wird das Korrespondenzproblem gelöst. Eine Möglichkeit, die Korrespondenzen paarweise aufzulösen, liegt darin, zunächst die Korrespondenz der Ecke 17 aufzulösen. In dem Fall, in dem die Ecke als SIFT-Deskriptor gespeichert ist, kann die Korrespondenz mit bekannten SIFT basierten Verfahren aufgelöst werden. Auch kann die räumliche Relation der Ecke 17 zu der Kontur 16 hin ausgenutzt werden, um die Korrespondenz der gefundenen Kontur 16 mit der gespeicherten Kontur 16 sicherzustellen. In one embodiment, the correspondence problem is solved. One way to resolve the correspondence in pairs, lies in it, first the correspondence of the corner 17 dissolve. In the case where the corner is stored as a SIFT descriptor, correspondence can be resolved with known SIFT based methods. Also, the spatial relation of the corner 17 to the contour 16 be exploited to the correspondence of the found contour 16 with the stored contour 16 sure.

Durch eine geänderte Pose der Seitenkamera 21 ändert sich auch die Perspektive der Kontur 16 und der Ecke 17. Es kommt also zu einer perspektivischen Verzerrung in dem erfassten Umgebungsbild. 5 zeigt exemplarisch, wie ein Objekt 9 exemplarisch von einem Ursprungsraum A in einen Zielraum B mit Hilfe einer Transformation T transformiert wird. Through a changed pose of the side camera 21 the perspective of the contour also changes 16 and the corner 17 , So it comes to one perspective distortion in the captured environmental image. 5 shows exemplarily how an object 9 is transformed exemplarily from an original space A into a target space B by means of a transformation T.

Eine Vergleichseinrichtung 34 vergleicht zu diesem Zweck die Ist-Position der gefundenen Fahrzeugmerkmale 16, 17 mit den Soll-Positionen der gespeicherten Fahrzeugmerkmale 16, 17. A comparison device 34 compares for this purpose the actual position of the vehicle features found 16 . 17 with the desired positions of the stored vehicle characteristics 16 . 17 ,

Auf Basis der von der Vergleichseinrichtung 34 ermittelten Abweichung der Ist-Position von der Soll-Position, findet eine Kalibriereinrichtung 33 eine Transformationsfunktion T, deren Parameter die Parameter einer perspektivischen Transformation sind. Mit Hilfe der Methode der kleinsten Quadrate können die Parameter so bestimmt werden, dass der Fehler, also die Abweichung der Ist-Position von der Soll-Position der Fahrzeugmerkmale 16, 17, minimiert wird. On the basis of the comparison device 34 determined deviation of the actual position of the target position, finds a calibration device 33 a transformation function T whose parameters are the parameters of a perspective transformation. With the aid of the method of least squares, the parameters can be determined such that the error, ie the deviation of the actual position from the nominal position of the vehicle characteristics 16 . 17 , is minimized.

In weiteren Ausführungsformen sind hierzu weitere Methoden wie zum Beispiel „Random Sample Consensus (RANSAC)“ möglich. Weitere Verfahren aus dem Bereich der Bildregistrierung sind selbstverständlich in weiteren Ausführungsformen auch möglich. In further embodiments, further methods such as "Random Sample Consensus (RANSAC)" are possible for this purpose. Other methods from the field of image registration are of course also possible in further embodiments.

Auf Basis der bekannten Fahrzeuggeometrie, der bekannten intrinsischen Kameraparameter und der gefundenen Transformationsfunktion T kann die Kalibriereinrichtung nun die extrinsischen Parameter der Seitenkamera 21 bestimmen und so die extrinsische Kalibrierung der Seitenkamera 21 vornehmen. On the basis of the known vehicle geometry, the known intrinsic camera parameters and the found transformation function T, the calibration device can now use the extrinsic parameters of the side camera 21 determine and thus the extrinsic calibration of the side camera 21 make.

6 zeigt den Bordcomputer 30, der die Speichereinrichtung 31, die Identifikationseinrichtung 32 sowie die Kalibriereinrichtung 33 aufweist. Der Bordcomputer 30 wird in dieser Ausführungsform in das Fahrzeug 10 eingebaut und ermöglicht so die extrinsische Kalibrierung sämtlicher Kameras 21 im Stand und während der Fahrt des Fahrzeugs 10. 6 shows the on-board computer 30 that the storage device 31 , the identification device 32 as well as the calibration device 33 having. The on-board computer 30 is in this embodiment in the vehicle 10 built-in, enabling extrinsic calibration of all cameras 21 in the state and while driving the vehicle 10 ,

In einer weiteren Ausführungsform kann zur Bestimmung der extrinsischen Parameter eine Vielzahl von Fahrzeugmerkmalen 16, 17 mit einer jeweils unterschiedlichen Priorität versehen werden. Diese können in einer geordneten Liste in der Speichereinrichtung 31 zusammen mit ihren Soll-Positionen gehalten werden. In a further embodiment, a plurality of vehicle features may be used to determine the extrinsic parameters 16 . 17 be provided with a different priority. These can be in an ordered list in the storage device 31 held together with their target positions.

Zunächst wird das Fahrzeugmerkmal 16, 17 mit der höchsten Priorität zur Identifikation in dem erfassten Umgebungsbild des Fahrzeugs 10 herangezogen. Sollte die Identifikation der Ist-Position des Fahrzeugmerkmals 16, 17 fehlschlagen, z.B. weil der entsprechende Teil des Fahrzeugs 10 stark verschmutzt ist, so kann ein weiterer Versuch mit einem Merkmal 16, 17 mit geringerer Priorität gestartet werden. First, the vehicle feature 16 . 17 with the highest priority for identification in the captured environment image of the vehicle 10 used. Should the identification of the actual position of the vehicle feature 16 . 17 fail, eg because the corresponding part of the vehicle 10 is heavily polluted, so may be another attempt with a feature 16 . 17 be started with a lower priority.

Es ist somit auch möglich, dass Fahrzeugmerkmale 16, 17 durch die Angabe ihrer Priorität gruppiert werden. So wird versucht, die Ist-Positionen einer Gruppe von Fahrzeugmerkmalen mit gleicher Priorität zu bestimmen. It is thus also possible that vehicle features 16 . 17 be grouped by specifying their priority. Thus, an attempt is made to determine the actual positions of a group of vehicle features with the same priority.

7 zeigt ein weiteres Fahrzeug 10, welches mit einem Fahrerassistenzsystem zum autonomen Ausparken ausgestattet ist. Der in dieser Ausführungsform verwendete Ausparkassistent verwendet unter anderem Umgebungsbilder, die von einer Videokameras 21 aufgenommen sind, die an dem Fahrzeug 10 verbaut sind. 7 shows another vehicle 10 , which is equipped with a driver assistance system for autonomous Ausparken. The parking assistant used in this embodiment uses, among other things, environmental images taken by a video camera 21 are included in the vehicle 10 are installed.

In dem in 7 dargestellten Szenario soll das Fahrzeug 10 rückwärts der Pfeilbewegung folgen. Dafür ist es notwendig, virtuell eine dreidimensionale Repräsentation der Umgebung bereit zu stellen. In the in 7 scenario presented is the vehicle 10 backwards follow the arrow movement. For this it is necessary to provide virtually a three-dimensional representation of the environment.

Da sich ein Ausparkassistent in unterschiedlichen Situationen entsprechend unterschiedlich Verhalten sollte, ist es auch notwendig die Objekte in der Umgebung erkennen zu können. Zum Beispiel ist bei Nähe zu einem Fußgänger eine geringere Geschwindigkeit notwendig. Since a Ausparkassistent should behave differently in different situations, it is also necessary to be able to recognize the objects in the environment. For example, a lower speed is necessary when close to a pedestrian.

Um Objekte in der Umgebung des Fahrzeugs 10 erkennen zu können, das heißt deren Typ, wie zum Beispiel das parkende Auto 40, ist es erforderlich, die erfassten Umgebungsbilder auf eine dreidimensionale Darstellung der Umgebung zu projizieren. To objects in the environment of the vehicle 10 to recognize, that is their type, such as the parked car 40 , it is necessary to project the acquired environmental images onto a three-dimensional representation of the environment.

Um die korrekte Projektion sicherzustellen ist es weiter notwendig, dass die extrinsischen Parameter der Kamera 21 genau bekannt sind. Sonst kann es zu Fehlerkennungen kommen und der Ausparkassistent verhält sich nicht wie es in der Situation erforderlich ist. In order to ensure the correct projection it is further necessary that the extrinsic parameters of the camera 21 are known exactly. Otherwise it can lead to error detection and the Ausparkassistent does not behave as it is necessary in the situation.

In einer Ausprägung der Erfindung werden beim Anlassen des Fahrzeugs 10 die extrinsischen Parameter aller Kameras 21 des Fahrzeugs 10 bestimmt. Somit ist gewährleistet, dass die Daten auf denen der Ausparkassistent seine Berechnungen stütz, über die notwendige Genauigkeit verfügen. In one embodiment of the invention when starting the vehicle 10 the extrinsic parameters of all cameras 21 of the vehicle 10 certainly. This ensures that the data on which the parking assistant supports his calculations have the necessary accuracy.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

9 9
Objekt object
10 10
Fahrzeug vehicle
11 11
Außenspiegel Mirrors
12 12
Rad wheel
13 13
Fahrzeugzentrum vehicle center
15 15
Fahrzeugumgebung vehicle environment
16 16
Fahrzeugbegrenzung, Kontur Vehicle limit, contour
17 17
Ecke, Knick Corner, kink
21 21
Bilderfassungseinrichtung, Seitenkamera, Kamera Image capture device, side camera, camera
30 30
Bordcomputer board computer
31 31
Speichereinrichtung memory device
32 32
Identifikationseinrichtung identification device
33 33
Kalibriereinrichtung calibration
34 34
Vergleichseinrichtung comparator
40 40
Parkendes Auto Parking car
X, Y, Z X, Y, Z
Basiskoordinatensystem Base coordinate system
X‘, Y‘, Z‘ X ', Y', Z '
Kamerakoordinatensystem Camera coordinate system
A A
Ursprungsraum source space
B B
Zielraum Finish area
T T
Transformationtransformation

Claims (17)

Vorrichtung zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung (21) eines Fahrzeugs (10), insbesondere eines PKW, umfassend: – eine Speichereinrichtung (31); – mindestens eine Bilderfassungseinrichtung (21), insbesondere mindestens eine Videokamera, die dazu ausgebildet ist, mindestens ein Umgebungsbild des Fahrzeugs (10) zu erfassen; – eine Identifikationseinrichtung (32); – eine Vergleichseinrichtung (34); und – eine Kalibriereinrichtung (33); dadurch gekennzeichnet, dass – in der Speichereinrichtung (31) mindestens ein Fahrzeugmerkmal (16, 17) und zumindest eine Soll-Position des mindestens einen Fahrzeugmerkmals (16, 17) gespeichert sind; – die Identifikationseinrichtung (32) dazu ausgebildet ist, eine Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) in dem mindestens einen Umgebungsbild des Fahrzeugs (10) zu identifizieren; – die Vergleichseinrichtung (34) dazu ausgebildet ist, die Ist-Position mit der Soll-Position zu vergleichen; und – die Kalibriereinrichtung (33) auf Basis einer Abweichung der Ist-Position von der Soll-Position die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung (21) bestimmt. Device for the extrinsic calibration of an image capture device ( 21 ) of a vehicle ( 10 ), in particular a passenger car, comprising: - a memory device ( 31 ); At least one image capture device ( 21 ), in particular at least one video camera, which is designed to display at least one environmental image of the vehicle ( 10 ) capture; An identification device ( 32 ); A comparison device ( 34 ); and - a calibration device ( 33 ); characterized in that - in the memory device ( 31 ) at least one vehicle feature ( 16 . 17 ) and at least one desired position of the at least one vehicle feature ( 16 . 17 ) are stored; - the identification device ( 32 ) is adapted to an actual position of the at least one vehicle feature ( 16 . 17 ) in the at least one environmental image of the vehicle ( 10 ) to identify; - the comparator ( 34 ) is adapted to compare the actual position with the desired position; and - the calibration device ( 33 ) based on a deviation of the actual position from the desired position, the extrinsic parameters of the at least one image acquisition device ( 21 ) certainly. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine Fahrzeugmerkmal (16, 17) eine geometrische Struktur, insbesondere zumindest eine Kontur, zumindest eine Kante, zumindest eine Fläche oder zumindest eine Ecke des Fahrzeugs (10) oder eine Kombination aus diesen repräsentiert. Apparatus according to claim 1, characterized in that the at least one vehicle feature ( 16 . 17 ) a geometric structure, in particular at least one contour, at least one edge, at least one surface or at least one corner of the vehicle ( 10 ) or a combination of these. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Fahrzeugmerkmal (16, 17) eine Ecke betrifft, wobei eine Position und eine Ausrichtung der Ecke in der Speichereinrichtung (31) gespeichert sind. Device according to one of the preceding claims, characterized in that the at least one vehicle feature ( 16 . 17 ) relates to a corner, wherein a position and an orientation of the corner in the memory device ( 31 ) are stored. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass das mindestens eine Fahrzeugmerkmal (16, 17) durch eine Matrix repräsentiert, die eine Ecke (17) beschreibt, wobei die Matrix insbesondere: – einen Skalierungs-invarianten-Merkmals-Deskriptor; oder – einen Multiscale Oriented Patches Descriptor repräsentiert. Apparatus according to claim 3, characterized in that the at least one vehicle feature ( 16 . 17 ) represented by a matrix having a corner ( 17 In particular, the matrix describes: - a scaling invariant feature descriptor; or - represents a multiscale oriented patches descriptor. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Identifikationseinrichtung (32) dazu ausgebildet ist: – einen Verlauf einer Kontur (16) des Fahrzeugs (10) in dem mindestens einen Umgebungsbild zu identifizieren; – basierend auf dem Verlauf der Kontur (16) die Ist-Position einer Ecke (17) als das mindestens einen Fahrzeugmerkmal (16, 17) zu identifizieren. Device according to one of the preceding claims, characterized in that the identification device ( 32 ) is designed to: - a course of a contour ( 16 ) of the vehicle ( 10 ) in the at least one environmental image; Based on the contour of the contour ( 16 ) the actual position of a corner ( 17 ) than the at least one vehicle characteristic ( 16 . 17 ) to identify. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Identifikationseinrichtung (32) dazu ausgebildet ist, die Identifikation der Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) auf Basis eines vorher bestimmten Teilausschnitts des Umgebungsbildes durchzuführen. Device according to one of the preceding claims, characterized in that the identification device ( 32 ) is adapted to the identification of the actual position of the at least one vehicle feature ( 16 . 17 ) based on a previously determined partial section of the environmental image. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Bilderfassungseinrichtung (21) eine Fischaugenoptik aufweist und diese einen Blickwinkel größer 90 Grad, insbesondere größer 170 Grad aufweist. Device according to one of the preceding claims, characterized in that the at least one image capture device ( 21 ) has a fisheye optics and this has a viewing angle greater than 90 degrees, in particular greater 170 degrees. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass – in der Speichereinrichtung (31) ein erstes Fahrzeugmerkmal (16, 17) mit einer hohen Priorität gespeichert ist; – in der Speichereinrichtung (31) ein zweites Fahrzeugmerkmal (16, 17) mit einer niedrigen Priorität gespeichert ist; – die Identifikationseinrichtung (32) dazu ausgebildet ist: – festzustellen, ob das erste Fahrzeugmerkmal (16, 17) in dem mindestens einen Umgebungsbild des Fahrzeugs (10) liegt; – in dem Fall, in dem das erste Fahrzeugmerkmal (16, 17) nicht in dem mindestens einen Umgebungsbild des Fahrzeugs (10) liegt, festzustellen, ob das zweite Fahrzeugmerkmal (16, 17) in dem mindestens einen Umgebungsbild liegt; und – in dem Falle, in dem das zweite Fahrzeugmerkmal (16, 17) in dem mindestens einen Umgebungsbild des Fahrzeugs (10) liegt, die Ist-Position des zweiten Fahrzeugmerkmals (16, 17) in dem mindestens einem Umgebungsbild zu identifizieren. Device according to one of the preceding claims, characterized in that - in the memory device ( 31 ) a first vehicle feature ( 16 . 17 ) is stored with a high priority; In the storage device ( 31 ) a second vehicle feature ( 16 . 17 ) is stored with a low priority; - the identification device ( 32 ) is designed to: - determine whether the first vehicle feature ( 16 . 17 ) in the at least one environmental image of the vehicle ( 10 ) lies; In the case where the first vehicle feature ( 16 . 17 ) not in the at least one environmental image of the vehicle ( 10 ), determine whether the second vehicle feature ( 16 . 17 ) is located in the at least one environmental image; and - in the case where the second vehicle feature ( 16 . 17 ) in the at least one environmental image of the vehicle ( 10 ), the actual position of the second vehicle feature ( 16 . 17 ) in the at least one environmental image. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kalibriereinrichtung (33) dazu ausgebildet ist, die extrinsischen Parameter mit Hilfe der Methode der kleinsten Quadrate zu bestimmen. Device according to one of the preceding claims, characterized in that the calibration device ( 33 ) is adapted to determine the extrinsic parameters using the least squares method. Fahrzeug (10), dadurch gekennzeichnet, dass – das Fahrzeug (10) eine Vorrichtung zur extrinsischen Kalibrierung der mindestens einen Bilderfassungseinrichtung (21) des Fahrzeugs (10) nach einem der vorhergehenden Ansprüche umfasst; – das Fahrzeug die mindestens eine Bilderfassungseinrichtung (21) umfasst und die mindestens eine Bilderfassungseinrichtung (21) so ausgerichtet ist, dass das mindestens eine Umgebungsbild die Umgebung des Fahrzeugs (15) und einen Teil des Fahrzeugs (10) abbildet; Vehicle ( 10 ), characterized in that - the vehicle ( 10 ) an apparatus for extrinsic calibration of the at least one image capture device ( 21 ) of the vehicle ( 10 ) according to any one of the preceding claims; The vehicle is the at least one image capture device ( 21 ) and the at least one image capture device ( 21 ) is oriented such that the at least one surrounding image surrounds the surroundings of the vehicle ( 15 ) and part of the vehicle ( 10 ) maps; Fahrzeug (10) nach Anspruch 10, dadurch gekennzeichnet, dass – das Fahrzeug (10) eine Schätzeinrichtung umfasst, die auf Basis der Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) die Distanz zwischen der Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) und dem höchsten Punkt einer Radfelge des Fahrzeugs (10) schätzt. Vehicle ( 10 ) according to claim 10, characterized in that - the vehicle ( 10 ) comprises an estimation device which, on the basis of the actual position of the at least one vehicle feature ( 16 . 17 ) the distance between the actual position of the at least one vehicle feature ( 16 . 17 ) and the highest point of a wheel rim of the vehicle ( 10 ) appreciates. Fahrzeug (10) nach einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass – ein Fahrerassistenzsystem unter Verwendung der mindestens einen Bilderfassungseinrichtung (21) und der extrinsischen Parameter Steuersignale für einen Aktuator erzeugt, wobei der Aktuator vorzugsweise umfasst: – Bremse; – Lenkradvibrationsmotor; – Signalleuchte; oder – Seitenspiegelstellmotor. Vehicle ( 10 ) according to one of claims 10 or 11, characterized in that - a driver assistance system using the at least one image capture device ( 21 ) and the extrinsic parameters generate control signals for an actuator, the actuator preferably comprising: - brake; - steering wheel vibration motor; - Signal light; or - Side mirror actuator. Verfahren zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung (21) eines Fahrzeugs (10), insbesondere eines PKW, insbesondere mittels einer Vorrichtung nach einem der Ansprüche 1–9, umfassend die Schritte: – Erfassung mindestens eines Umgebungsbildes des Fahrzeugs (10) durch mindestens eine Bilderfassungseinrichtung (21); – Identifizieren einer Ist-Position eines mindestens einen Fahrzeugmerkmals (16, 17) in dem mindestens einen Umgebungsbild; – Vergleichen der Ist-Position mit einer in der Speichereinrichtung (31) gespeicherten Soll-Position des mindestens einen Fahrzeugmerkmals (16, 17); – extrinsisches Kalibrieren der mindestens einen Bilderfassungseinrichtung (21) auf Basis der bestimmten Abweichung. Method for extrinsic calibration of an image capture device ( 21 ) of a vehicle ( 10 ), in particular a passenger car, in particular by means of a device according to one of claims 1-9, comprising the steps: - detecting at least one environmental image of the vehicle ( 10 ) by at least one image capture device ( 21 ); Identifying an actual position of at least one vehicle characteristic ( 16 . 17 ) in the at least one environmental image; Comparing the actual position with one in the memory device ( 31 ) stored desired position of the at least one vehicle feature ( 16 . 17 ); Extrinsic calibration of the at least one image capture device ( 21 ) based on the determined deviation. Verfahren nach einem der Ansprüche 13, wobei das Identifizieren ein Einschränken auf einen vorher bestimmten Ausschnitt des Umgebungsbildes umfasst, auf dessen Basis das Identifizieren des Fahrzeugmerkmals (16, 17) durchgeführt wird. The method of claim 13, wherein the identifying comprises restricting to a predetermined portion of the environmental image based on which the vehicle feature is identified. 16 . 17 ) is carried out. Verfahren nach einem der Ansprüche 13 oder 14, wobei das Verfahren während einer Fahrt des Fahrzeugs (10) durchgeführt wird. Method according to one of claims 13 or 14, wherein the method during a journey of the vehicle ( 10 ) is carried out. Verwendung eines Verfahrens nach einem der Ansprüche 13–15 in einem Rundumsicht System eines Fahrzeugs (10). Use of a method according to any one of claims 13-15 in an all-round visibility system of a vehicle ( 10 ). Computerlesbares Speichermedium, das ausführbare Instruktionen aufweist, welche einen Computer dazu veranlassen, ein Verfahren nach einem der Patentansprüche 13–15 zu implementieren, wenn die Instruktionen ausgeführt werden.  A computer-readable storage medium having executable instructions that cause a computer to implement a method according to any one of claims 13-15 when the instructions are executed.
DE102015209764.1A 2015-05-28 2015-05-28 Extrinsic calibration of an image capture device of a vehicle Pending DE102015209764A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015209764.1A DE102015209764A1 (en) 2015-05-28 2015-05-28 Extrinsic calibration of an image capture device of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015209764.1A DE102015209764A1 (en) 2015-05-28 2015-05-28 Extrinsic calibration of an image capture device of a vehicle

Publications (1)

Publication Number Publication Date
DE102015209764A1 true DE102015209764A1 (en) 2016-12-01

Family

ID=57282099

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015209764.1A Pending DE102015209764A1 (en) 2015-05-28 2015-05-28 Extrinsic calibration of an image capture device of a vehicle

Country Status (1)

Country Link
DE (1) DE102015209764A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3075354A1 (en) * 2017-12-20 2019-06-21 Thales METHOD FOR REPERTING A PLAN, DEVICES AND ASSOCIATED METHODS
DE102018216104A1 (en) * 2018-09-21 2020-03-26 Audi Ag Method for calibrating an environment sensor of a vehicle taking into account a three-dimensional model of the vehicle, calibration test bench and vehicle
DE102018219666A1 (en) * 2018-11-16 2020-05-20 Zf Friedrichshafen Ag Image processing
WO2021043393A1 (en) * 2019-09-04 2021-03-11 Volvo Truck Corporation A method for calibrating the field of vision of a camera mounted on a vehicle
DE102021208760A1 (en) 2021-08-11 2023-02-16 Zf Friedrichshafen Ag Method for determining the position of a sensor on a vehicle and position determining device
DE102022130327A1 (en) 2022-11-16 2024-05-16 Daimler Truck AG Position angle calibration of a vehicle camera while driving

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007043905A1 (en) * 2007-09-14 2008-05-29 Daimler Ag Omni-directional camera calibrating method for use in object i.e. vehicle, involves calibrating camera during operation based on object unit that is identified in detected image information, and determining image and object positions
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
EP2530647A1 (en) * 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
DE102013200431A1 (en) * 2013-01-14 2014-07-31 Robert Bosch Gmbh Camera system for vehicle, has control device that is arranged for each image sensor to recognize camera position at which image sensor is positioned on vehicle
EP2767846A1 (en) * 2013-02-18 2014-08-20 Volvo Car Corporation Method for calibrating a sensor cluster in a motor vehicle
DE102013212843A1 (en) * 2013-07-02 2015-01-08 Continental Automotive Gmbh Camera arrangement, method and apparatus for operating a camera arrangement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007043905A1 (en) * 2007-09-14 2008-05-29 Daimler Ag Omni-directional camera calibrating method for use in object i.e. vehicle, involves calibrating camera during operation based on object unit that is identified in detected image information, and determining image and object positions
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
EP2530647A1 (en) * 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
DE102013200431A1 (en) * 2013-01-14 2014-07-31 Robert Bosch Gmbh Camera system for vehicle, has control device that is arranged for each image sensor to recognize camera position at which image sensor is positioned on vehicle
EP2767846A1 (en) * 2013-02-18 2014-08-20 Volvo Car Corporation Method for calibrating a sensor cluster in a motor vehicle
DE102013212843A1 (en) * 2013-07-02 2015-01-08 Continental Automotive Gmbh Camera arrangement, method and apparatus for operating a camera arrangement

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3075354A1 (en) * 2017-12-20 2019-06-21 Thales METHOD FOR REPERTING A PLAN, DEVICES AND ASSOCIATED METHODS
WO2019122216A1 (en) * 2017-12-20 2019-06-27 Thales Method for locating a mounting plane forming part of a vehicle, and associated devices and methods
DE102018216104A1 (en) * 2018-09-21 2020-03-26 Audi Ag Method for calibrating an environment sensor of a vehicle taking into account a three-dimensional model of the vehicle, calibration test bench and vehicle
DE102018219666A1 (en) * 2018-11-16 2020-05-20 Zf Friedrichshafen Ag Image processing
DE102018219666B4 (en) * 2018-11-16 2020-12-24 Zf Friedrichshafen Ag Image processing method and camera system for generating a vehicle visibility
WO2021043393A1 (en) * 2019-09-04 2021-03-11 Volvo Truck Corporation A method for calibrating the field of vision of a camera mounted on a vehicle
DE102021208760A1 (en) 2021-08-11 2023-02-16 Zf Friedrichshafen Ag Method for determining the position of a sensor on a vehicle and position determining device
DE102022130327A1 (en) 2022-11-16 2024-05-16 Daimler Truck AG Position angle calibration of a vehicle camera while driving
WO2024105102A1 (en) 2022-11-16 2024-05-23 Daimler Truck AG Position angle calibration of a vehicle camera during travel

Similar Documents

Publication Publication Date Title
DE102009005505B4 (en) Method and device for generating an image of the surroundings of a motor vehicle
DE102013223039B4 (en) Apparatus and method for providing an AVM image
DE102015105248B4 (en) Method and system for generating an image of the surroundings of an articulated vehicle
DE102006003538B3 (en) Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section
DE102010035772B4 (en) System and method for providing guidance information to a driver of a vehicle
DE102015209764A1 (en) Extrinsic calibration of an image capture device of a vehicle
EP1797534B1 (en) Method for detecting an optical structure
WO2014094941A1 (en) Motor vehicle having a camera monitoring system
DE102007059735A1 (en) Obstacle and vehicle e.g. lorry, recognition system, has cameras aligned such that area on side and over end of own vehicle are recognized, and output device providing information about object or vehicle within range of own vehicle
DE102015107675A1 (en) System and method for estimating vehicle dynamics using feature points in images from multiple cameras
DE102008031784A1 (en) Method and apparatus for distortion correction and image enhancement of a vehicle rearview system
DE102013108070A1 (en) Image calibration and equalization of a wide-angle camera
EP3167427A1 (en) Merging of partial images to form an image of surroundings of a mode of transport
DE102017109445A1 (en) Calibration of a vehicle camera device in the vehicle longitudinal direction or vehicle transverse direction
DE102016211227A1 (en) Method and vehicle control system for generating images of an environment model and corresponding vehicle
DE112016000689T5 (en) Kameraparametereinstellvorrichtung
DE102021207558A1 (en) Camera system and method for generating a view with a camera system
DE102014114221A1 (en) Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle
DE102018204451A1 (en) Method and device for auto-calibration of a vehicle camera system
DE102013103952B4 (en) Lane detection at full speed with an all-round vision system
DE102013103953B4 (en) Lane detection at full speed using multiple cameras
DE102018108751B4 (en) Method, system and device for obtaining 3D information from objects
DE102017205630A1 (en) Camera apparatus and method for detecting a surrounding area of a vehicle
DE102015204213B4 (en) Method for combining two images of a vehicle environment of a vehicle and corresponding device
DE102013203404A1 (en) Method and device for three-dimensional imaging of at least one subarea of a vehicle environment

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed