DE102015209764A1 - Extrinsic calibration of an image capture device of a vehicle - Google Patents
Extrinsic calibration of an image capture device of a vehicle Download PDFInfo
- Publication number
- DE102015209764A1 DE102015209764A1 DE102015209764.1A DE102015209764A DE102015209764A1 DE 102015209764 A1 DE102015209764 A1 DE 102015209764A1 DE 102015209764 A DE102015209764 A DE 102015209764A DE 102015209764 A1 DE102015209764 A1 DE 102015209764A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- image
- feature
- image capture
- actual position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Die extrinsische Kalibrierung einer Bilderfassungseinrichtung bei einem stehenden Fahrzeug ist bisher nicht ausreichend gelöst.
Erfindungsgemäß wird das Problem gelöst, durch eine Vorrichtung zur Bestimmung der extrinsischen Parameter einer Bilderfassungseinrichtung (21), umfassend:
– eine Speichereinrichtung (31);
– mindestens eine Bilderfassungseinrichtung (21), die dazu ausgebildet ist, mindestens ein Umgebungsbild des Fahrzeugs (10) zu erfassen;
– eine Identifikationseinrichtung (32);
– eine Vergleichseinrichtung (34); und
– eine Kalibriereinrichtung (33),
wobei
– in der Speichereinrichtung (31) mindestens ein Fahrzeugmerkmal (16, 17) und zumindest eine Soll-Position des mindestens einen Fahrzeugmerkmals (16, 17) gespeichert sind;
– die Identifikationseinrichtung (32) dazu ausgebildet ist, eine Ist-Position des mindestens einen Fahrzeugmerkmals (16, 17) in dem mindestens einen Umgebungsbild des Fahrzeugs (10) zu identifizieren;
– die Vergleichseinrichtung (34) dazu ausgebildet ist, die Ist-Position mit der Soll-Position zu vergleichen; und
– die Kalibriereinrichtung (33) auf Basis einer Abweichung der Ist-Position von der Soll-Position die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung (21) bestimmt. The extrinsic calibration of an image capture device in a stationary vehicle has not been sufficiently solved.
According to the invention, the problem is solved by a device for determining the extrinsic parameters of an image capture device (21), comprising:
A memory device (31);
- At least one image detection device (21) which is adapted to detect at least one environmental image of the vehicle (10);
- an identification device (32);
A comparison device (34); and
A calibration device (33),
in which
- at least one vehicle feature (16, 17) and at least one desired position of the at least one vehicle feature (16, 17) are stored in the memory device (31);
- The identification device (32) is adapted to identify an actual position of the at least one vehicle feature (16, 17) in the at least one environmental image of the vehicle (10);
- The comparison device (34) is adapted to compare the actual position with the desired position; and
- The calibration device (33) on the basis of a deviation of the actual position of the desired position determines the extrinsic parameters of the at least one image detection device (21).
Description
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs, insbesondere eines Pkw und insbesondere die Bestimmung von extrinsischen Kameraparametern. The invention relates to an apparatus and a method for extrinsic calibration of an image capture device of a vehicle, in particular of a passenger car, and in particular the determination of extrinsic camera parameters.
Moderne Pkw sind üblicherweise mit einer Vielzahl von Kameras ausgestattet. Diese Kameras können sich z.B. in der Schürze der vorderen Stoßstange, in den Seitenspiegeln oder in der Heckklappe befinden. Die Kameras ermöglichen es, dass dem Fahrer z.B. bei einer Rückwärtsfahrt eine Bildanzeige im Cockpit angezeigt wird, die die Umgebung hinter dem Fahrzeug zeigt. Auch ist es möglich, die Bilder der einzelnen Kameras zusammenzufügen, um so eine Rundumsicht des Fahrzeugs bereitzustellen. Solche Rundumsichtsysteme können dem Fahrer z.B. eine Draufsicht auf das Fahrzeug zeigen, wobei die Umgebung des Fahrzeugs mit angezeigt wird. Dies ermöglicht ein sicheres Navigieren des Fahrzeugs, auch in sonst unübersichtlichen Situationen. Modern cars are usually equipped with a variety of cameras. These cameras can be e.g. in the apron of the front bumper, in the side mirrors or in the tailgate. The cameras allow the driver to e.g. when reversing, an image display is displayed in the cockpit showing the environment behind the vehicle. It is also possible to combine the images of the individual cameras so as to provide an all-round view of the vehicle. Such all-round visibility systems can be used by the driver e.g. show a plan view of the vehicle, wherein the environment of the vehicle is displayed. This allows safe navigation of the vehicle, even in otherwise confusing situations.
Für das Zusammensetzen der Einzelbilder in einem Rundumsichtsystem ist es notwendig, dass die Kameras korrekt kalibriert sind. Eine unzureichende Kalibrierung kann u.a. dazu führen, dass es an den Übergängen der einzelnen Bilder zu Ungenauigkeiten bzw. zu Doppelbildern kommen kann. For the composition of the individual images in a panoramic system, it is necessary that the cameras are calibrated correctly. Inadequate calibration may be i.a. lead to inaccuracies or double images at the transitions of the individual pictures.
Die zu bestimmenden Parameter der Kameras werden in extrinsische und intrinsische Kameraparameter unterteilt. Die intrinsischen Kameraparameter umfassen u.a. die Brennweite und die x- und y-Werte des Bildmittelpunkts. Diese Parameter können im Werk während der Produktion kalibriert werden. The camera parameters to be determined are subdivided into extrinsic and intrinsic camera parameters. The intrinsic camera parameters include i.a. the focal length and the x and y values of the center of the image. These parameters can be calibrated at the factory during production.
Die intrinsischen Parameter der Kameras werden zum Beispiel dazu verwendet, eine bei Fischaugenoptiken auftretende Verzerrung des Bildes zu beseitigen, um dem Fahrer ein natürliches Umgebungsbild anzeigen zu können. The intrinsic parameters of the cameras are used, for example, to eliminate a distortion of the image occurring in fish-eye optics in order to be able to display a natural environment image to the driver.
Die extrinsischen Kameraparameter hingegen geben die Position der Kamera im Raum an. Diese Position kann durch eine „Pose“ ausgedrückt werden. The extrinsic camera parameters, on the other hand, indicate the position of the camera in the room. This position can be expressed by a "pose".
Unter einer Pose ist eine Kombination der Position und Orientierung im Raum zu verstehen. Die Orientierung im Raum definiert sich durch einen Winkelversatz der Koordinatenachsen eines um die translatorischen Parameter verschobenen Koordinatensystems bezüglich eines Basiskoordinatensystems, z.B. eines Fahrzeugkoordinatensystems. Eine Pose umfasst somit eine translatorische und eine rotatorische Komponente. Eine Pose kann im dreidimensionalen Raum als ein 6D Vektor ausgedrückt werden. A pose is a combination of position and orientation in space. The orientation in space is defined by an angular offset of the coordinate axes of a coordinate system shifted by the translational parameters with respect to a base coordinate system, e.g. a vehicle coordinate system. A pose thus comprises a translational and a rotational component. A pose can be expressed in three-dimensional space as a 6D vector.
Ebenso wie die intrinsischen Kameraparameter können auch die extrinsischen Kameraparameter im Werk bestimmt werden. Like the intrinsic camera parameters, the extrinsic camera parameters can also be determined at the factory.
Während sich jedoch die intrinsischen Kameraparameter im Laufe des Lebenszyklus einer Kamera in der Regel nicht ändern, sind die extrinsischen Kameraparameter vielen externen Einflüssen und somit auch Schwankungen unterworfen. However, while intrinsic camera parameters generally do not change over the life cycle of a camera, extrinsic camera parameters are subject to many external influences and thus to fluctuations.
So können u.a. mechanische oder thermische Belastungen dazu führen, dass sich die Ausrichtung und/oder Position der Kameras ändert. Solch eine Änderung der Pose der Kameras führt dazu, dass Fahrerassistenzsysteme, wie z.B. ein Rundumsichtsystem, nicht optimal funktionieren. So can u.a. mechanical or thermal stresses cause the orientation and / or position of the cameras to change. Such a change in the pose of the cameras results in driver assistance systems, e.g. an all-round vision system, not working optimally.
Um diesem Umstand zu begegnen, ist es heute üblich, dass die extrinsischen Kameraparameter während einer Fahrt des Fahrzeugs neu bestimmt werden. To address this, it is common today for the extrinsic camera parameters to be redetermined while the vehicle is traveling.
Bei einem gängigen Verfahren werden Umgebungsmerkmale während der Fahrt des Fahrzeugs durch eine Kamera beobachtet. So kann z.B. eine längere Beobachtung der Fahrstreifen einer Fahrbahn verwendet werden, um eine Kalibrierung vorzunehmen. In one common method, environmental characteristics are observed while driving the vehicle through a camera. Thus, e.g. a longer observation of the lanes of a roadway can be used to make a calibration.
Mit Hilfe eines in einem Fahrzeugcomputer gehaltenen Fahrzeugmodells, welches alle relevanten Parameter, wie z.B. die aktuelle Geschwindigkeit des Fahrzeugs oder den aktuellen Lenkeinschlag umfasst, kann eine Vorhersage darüber getroffen werden, in welche Richtung und um welche Distanz sich die Merkmale am Boden bewegen werden. Liegt eine Abweichung der Vorhersage und einer Messung vor, können Rückschlüsse auf die aktuelle Pose der Kamera gezogen werden. Somit können die extrinsischen Parameter bestimmt werden. With the aid of a vehicle model held in a vehicle computer, which has all relevant parameters, such as e.g. the current speed of the vehicle or the current steering angle, it can be predicted in which direction and at what distance the features will move on the ground. If there is a deviation of the prediction and a measurement, conclusions can be drawn on the current pose of the camera. Thus, the extrinsic parameters can be determined.
Das beschriebene Verfahren ist fehleranfällig. The method described is error-prone.
Darüber hinaus ist es notwendig, dass die Kameras das Merkmal über einen längeren Zeitraum hin beobachten, damit die extrinsischen Kameraparameter zu bestimmten Werten hin konvergieren können und somit der Fehler minimiert wird. Fahrerassistenzsysteme eines Fahrzeugs müssen jedoch häufig bereits direkt beim Starten des Motors optimal funktionieren, um z.B. ein sicheres und eventuell komplett automatisiertes Ausparken zu ermöglichen. In addition, it is necessary for the cameras to observe the feature over an extended period of time so that the extrinsic camera parameters can converge toward certain values, thus minimizing the error. However, driver assist systems of a vehicle often need to operate optimally right at the start of the engine, e.g. to allow a safe and possibly completely automated parking.
Ein weiterer Nachteil des beschriebenen Verfahrens ist, dass nur die translatorischen Parameter der Kameras eindeutig bestimmt werden können, nicht jedoch die rotatorischen. Dies kann zu der bereits beschriebenen Ungenauigkeit der Fahrerassistenzsysteme führen. Another disadvantage of the method described is that only the translational parameters of the cameras can be clearly determined, but not the rotational. This can lead to the already described inaccuracy of the driver assistance systems.
Ausgehend von diesem Stand der Technik stellt sich die Aufgabe, eine Vorrichtung oder ein Verfahren bereitzustellen, welches die vorgenannten Nachteile ausräumt. Insbesondere soll eine Vorrichtung geschaffen werden, die (sämtliche) extrinsische Parameter einer Kamera bestimmt. Based on this prior art, the object is to provide a device or a method which eliminates the aforementioned disadvantages. In particular, a device is to be created which determines (all) extrinsic parameters of a camera.
Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 13 gelöst. This object is achieved by a device according to claim 1 and a method according to
Insbesondere wird die Aufgabe durch eine Vorrichtung gelöst, welche umfasst:
- – eine Speichereinrichtung;
- – mindestens eine Bilderfassungseinrichtung, insbesondere mindestens eine Videokamera, die dazu ausgebildet ist, mindestens ein Umgebungsbild des Fahrzeugs zu erfassen;
- – eine Identifikationseinrichtung;
- – eine Vergleichseinrichtung; und
- – eine Kalibriereinrichtung.
- A memory device;
- - At least one image capture device, in particular at least one video camera, which is adapted to detect at least one environmental image of the vehicle;
- An identification device;
- A comparison device; and
- - a calibration device.
In der Speichereinrichtung sind erfindungsgemäß mindestens ein Fahrzeugmerkmal und eine Soll-Position des mindestens einen Fahrzeugmerkmals gespeichert. Die Identifikationseinrichtung ist dazu ausgebildet, eine Ist-Position des mindestens einen Fahrzeugmerkmals in dem mindestens einen Umgebungsbild des Fahrzeugs zu identifizieren. In the memory device according to the invention at least one vehicle feature and a desired position of the at least one vehicle feature are stored. The identification device is designed to identify an actual position of the at least one vehicle feature in the at least one environmental image of the vehicle.
Die Vergleichseinrichtung ist dazu ausgebildet, die Ist-Position mit der Soll-Position zu vergleichen. Weiter ist die Kalibriereinrichtung dazu ausgebildet, auf Basis einer Abweichung der Ist-Position von der Soll-Position die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung zu bestimmen. The comparison device is designed to compare the actual position with the desired position. Furthermore, the calibration device is designed to determine the extrinsic parameters of the at least one image capture device on the basis of a deviation of the actual position from the desired position.
Die Bilderfassungseinrichtungen eines Fahrzeugs sind in vielen Modellen so eingebaut, dass sie einen Teil des Fahrzeugs mit erfassen. So kann eine in einen Rückspiegel eingebaute Kamera die Räder, sowie weitere Bereiche der Karosserie mit erfassen. Bei einer in der Frontschürze verbauten Kamera werden in vielen Fällen Teile der Frontschürze mit aufgenommen. Bei Rückfahrkameras und Rundumsichtkameras werden in der Regel Fischaugenoptiken verbaut, die immer die Kontur des Eigenfahrzeugs mit aufnehmen. The image capture devices of a vehicle are installed in many models so that they capture a part of the vehicle with. Thus, a built-in rearview mirror camera can detect the wheels, as well as other areas of the body. In a built-in front bumper camera parts of the front bumper are included in many cases. Rear view cameras and all-round vision cameras generally use fisheye optics, which always include the contour of their own vehicle.
Die Ist-Position eines in einer Speichereinrichtung gespeicherten mindestens einen Fahrzeugmerkmals kann nun in dem von der mindestens einen Bilderfassungseinrichtung erfassten Bild identifiziert werden. The actual position of a stored in a memory device at least one vehicle feature can now be identified in the captured by the at least one image capture device image.
Ein solches mindestens ein Fahrzeugmerkmal kann zum Beispiel ein Rad, ein Teil der Radkappe oder eine Kontur der Fahrzeugkarosserie sein. Im Rahmen dieser Anmeldung wird davon ausgegangen, dass eine Kontur eine geschlossene Kurve aber auch eine nicht geschlossene Kurve darstellen kann. Diese Kurve kann gekrümmt oder auch nicht gekrümmt sein. Die Kontur kann auch Bereiche enthalten, die einem Knick entsprechen, wie zum Beispiel eine Ecke. Such a vehicle feature may be, for example, a wheel, a part of the hubcap or a contour of the vehicle body. In the context of this application, it is assumed that a contour can represent a closed curve but also a non-closed curve. This curve can be curved or not curved. The contour may also contain areas that correspond to a kink, such as a corner.
Wenn die Ist-Position des Fahrzeugmerkmals identifiziert ist, kann eine in der Speichereinrichtung gespeicherte Soll-Position des Fahrzeugmerkmals mit der gemessenen Ist-Position des Fahrzeugmerkmals in dem erfassten Bild der Bilderfassungseinrichtung verglichen werden. Auf Basis der Abweichung der Positionen der Merkmale ist es möglich, die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung zu bestimmen. If the actual position of the vehicle feature is identified, a desired position of the vehicle feature stored in the memory device can be compared with the measured actual position of the vehicle feature in the captured image of the image capture device. Based on the deviation of the positions of the features, it is possible to determine the extrinsic parameters of the at least one image capture device.
Die extrinsischen Parameter der mindestens einen Bilderfassungseinrichtung können zum Beispiel durch eine perspektivische Transformation gefunden werden, die das mindestens einen Fahrzeugmerkmal so transformiert, dass das transformierte mindestens eine Fahrzeugmerkmal mit dem gespeicherten mindestens einen Fahrzeugmerkmal in Deckung liegt. The extrinsic parameters of the at least one image capture device may be found, for example, by a perspective transformation that transforms the at least one vehicle feature so that the transformed at least one vehicle feature is in registration with the stored at least one vehicle feature.
Die Vorteile der vorliegenden Erfindung liegen in einer einfachen und schnellen Bestimmung der extrinsischen Kameraparameter. Auch ist es nicht notwendig, zusätzliche Marker oder ähnliche Komponenten an dem Fahrzeug zur Kalibrierung der Bilderfassungseinrichtungen anzubringen. Darüber hinaus kann die Kalibrierung im Stand durchgeführt werden, so dass die Bilderfassungseinrichtungen vor Fahrtantritt kalibriert sind. Des Weiteren werden alle extrinsischen Parameter bestimmt, was eine hohe Genauigkeit der Kalibrierung gewährleistet. The advantages of the present invention lie in a simple and rapid determination of the extrinsic camera parameters. Also, it is not necessary to attach additional markers or similar components to the vehicle to calibrate the image capture devices. In addition, the calibration can be performed while stationary, so that the image capture devices are calibrated before driving. Furthermore, all extrinsic parameters are determined, which ensures a high accuracy of the calibration.
In einer weiteren Ausführungsform kann das mindestens eine Fahrzeugmerkmal eine geometrische Struktur repräsentieren, insbesondere zumindest eine Kontur, zumindest eine Kante oder zumindest eine Ecke des Fahrzeugs oder eine Kombination aus diesen. In a further embodiment, the at least one vehicle feature may represent a geometric structure, in particular at least one contour, at least one edge or at least one corner of the vehicle or a combination thereof.
Ein Vorteil, das mindestens eine Fahrzeugmerkmal als eine geometrische Struktur zu wählen, liegt darin, dass keine weiteren Elemente an dem Fahrzeug, wie z.B. Marker, angebracht werden müssen. Des Weiteren ist es von Vorteil, eine Kombination aus verschiedenen geometrischen Fahrzeugmerkmalen zu wählen, um eine hohe Genauigkeit bei der Bestimmung der extrinsischen Parameter zu erreichen. Weiterhin ist es von Vorteil eine Kontur und mindestens eine Ecke zu verwenden, da Ecken und Konturen sehr schnell und effizient in Bildern gefunden werden können. Weiterhin ist es damit möglich, die Orientierung eindeutig zu bestimmen. An advantage of choosing at least one vehicle feature as a geometric structure is that there are no other elements on the vehicle, such as a vehicle. Marker, must be attached. Furthermore, it is advantageous to choose a combination of different geometric vehicle features in order to achieve high accuracy in the determination of extrinsic parameters. Furthermore, it is advantageous to use a contour and at least one corner, as corners and contours can be found very quickly and efficiently in pictures. Furthermore, it is thus possible to clearly determine the orientation.
Ecken eignen sich besonders gut als Merkmale, da bei Ecken eine Änderung des Gradienten in alle Richtungen sehr groß ist. Sie geben also charakteristische Bildbereiche an, die sich in weiteren Bildern leicht wiederfinden lassen. Corners are particularly well suited as features, since at corners a change of the gradient in all directions is very large. They thus indicate characteristic image areas that can easily be found in further images.
In einer Ausführungsform der Erfindung kann das mindestens eine Fahrzeugmerkmal eine Ecke betreffen, wobei eine Position und eine Ausrichtung der Ecke in der Speichereinrichtung gespeichert sind. In one embodiment of the invention, the at least one vehicle feature may relate to a corner, wherein a position and an orientation of the corner are stored in the memory device.
Weitere Vorteile ergeben sich, wenn möglichst wenig Fahrzeugmerkmale gespeichert werden, die jedoch bereits alle notwendigen Informationen zur Bestimmung der extrinsischen Parameter bereitstellen. So ist es von Vorteil, zu einer Ecke eine Ausrichtung zu speichern, da somit auch eine Rotation bestimmt werden kann. Further advantages arise when as few vehicle features as possible are stored, but they already provide all the information necessary to determine the extrinsic parameters. So it is advantageous to save an alignment to a corner, because thus also a rotation can be determined.
In einer Ausführungsform kann das mindestens eine Fahrzeugmerkmal durch eine Matrix repräsentiert sein, die eine Ecke beschreibt, wobei die Matrix insbesondere einen Skalierungs-Invarianten-Merkmals-Deskriptor („SIFT Descriptor“) oder einen Multiscale-Oriented-Patches-Descriptor („MOPS Descriptor“) repräsentiert. In one embodiment, the at least one vehicle feature may be represented by a matrix describing a vertex, in particular, the matrix comprising a scaling invariant feature descriptor ("SIFT descriptor") or a multiscale oriented patches descriptor ("MOPS descriptor ").
Weitere Vorteile ergeben sich, wenn eine Ecke als eine Matrix repräsentiert wird, die die Ecke beschreibt. So ist es möglich eine Darstellung zu wählen, die geometrisch invariant ist, zum Beispiel gegenüber Rotationen und Skalierung. Die Wahrscheinlichkeit eines erfolgreichen Identifizierens der Ecke in dem erfassten mindestens einen Umgebungsbild wird somit erhöht. Further advantages arise when a corner is represented as a matrix describing the corner. So it is possible to choose a representation that is geometrically invariant, for example against rotations and scaling. The probability of successfully identifying the corner in the captured at least one environment image is thus increased.
In einer Ausführungsform kann die Identifikationseinrichtung dazu ausgebildet sein, einen Verlauf einer Kontur des Fahrzeugs in dem mindestens einen Umgebungsbild zu identifizieren und basierend auf dem Verlauf der Kontur die Ist-Position einer Ecke als das mindestens eine Fahrzeugmerkmal zu identifizieren. In one embodiment, the identification device may be configured to identify a profile of a contour of the vehicle in the at least one environmental image and to identify the actual position of a corner as the at least one vehicle characteristic based on the contour of the contour.
Konturen eines Fahrzeugs können durch Kantenerkennung mit bekannten Verfahren identifiziert werden. Es ist von Vorteil, ausgehend von einem identifizierten Verlauf einer Kontur, eine Ecke zu identifizieren. Hierzu kann zum Beispiel angenommen werden, dass sich die zu identifizierende Ecke an einem Ende des Verlaufs befindet. Solch ein Vorwissen kann ohne weiteres vorausgesetzt werden, da die Fahrzeuggeometrie bekannt ist. Dieses beschleunigt das Identifizieren des mindestens einen Fahrzeugmerkmals und somit kann die extrinsische Kalibrierung der mindestens einen Bilderfassungseinrichtung schneller abgeschlossen werden. Contours of a vehicle can be identified by edge detection using known methods. It is advantageous to identify a corner from an identified trace of a contour. For example, it may be assumed that the corner to be identified is at one end of the course. Such a prior knowledge can be readily assumed, since the vehicle geometry is known. This speeds up the identification of the at least one vehicle feature and thus the extrinsic calibration of the at least one image capture device can be completed more quickly.
In einer Ausführungsform kann die Identifikationseinrichtung dazu ausgebildet sein, die Identifikation der Ist-Position des mindestens einen Fahrzeugmerkmals auf Basis eines vorher bestimmten Teilausschnittes des Umgebungsbildes durchzuführen. In one embodiment, the identification device may be designed to carry out the identification of the actual position of the at least one vehicle feature on the basis of a previously determined partial section of the environmental image.
Es ist von Vorteil, den Bereich der zur Identifikation verwendet wird, zu verkleinern, um eine erhöhte Bearbeitungsgeschwindigkeit zu ermöglichen. Bei einem Einbau von Bilderfassungseinrichtungen an einem Pkw kann zum Beispiel angenommen werden, dass die Fehler der extrinsischen Parameter in bestimmten Intervallen liegen. Somit ist es möglich, den Bildausschnitt zu bestimmen, in dem das mindestens eine Fahrzeugmerkmal erwartet werden kann. It is advantageous to downsize the area used for identification to allow increased processing speed. For example, when incorporating image capture devices on a passenger car, it can be assumed that the errors of the extrinsic parameters are at certain intervals. Thus, it is possible to determine the image detail in which the at least one vehicle feature can be expected.
In einer Ausführungsform kann die mindestens eine Bilderfassungseinrichtung eine Fischaugenoptik aufweisen, die einen Blickwinkel von größer 90 Grad, insbesondere Größer 170 Grad aufweist. In one embodiment, the at least one image capture device may have a fish-eye optic which has a viewing angle of greater than 90 degrees, in particular greater than 170 degrees.
Die Verwendung einer Fischaugenoptik hat den Vorteil, dass ein größerer Teil des Fahrzeugs erfasst wird. Somit ist es auch möglich, mehrere Fahrzeugmerkmale zu erfassen, was zu einer erhöhten Genauigkeit der extrinsischen Kalibrierung führt. The use of fish-eye optics has the advantage that a larger part of the vehicle is detected. Thus, it is also possible to detect multiple vehicle features, resulting in increased accuracy of the extrinsic calibration.
In einer Ausführungsform kann in der Speichereinrichtung ein erstes Fahrzeugmerkmal mit einer hohen Priorität und ein zweites Fahrzeugmerkmal mit einer niedrigen Priorität gespeichert sein. Die Identifikationseinrichtung kann dazu ausgebildet sein, festzustellen, ob das erste Fahrzeugmerkmal in dem mindestens einen Umgebungsbild des Fahrzeugs liegt. In dem Fall, in dem das erste Fahrzeugmerkmal nicht in dem mindestens einen Umgebungsbild des Fahrzeugs liegt, kann die Identifikationseinrichtung dazu ausgebildet sein, festzustellen, ob das zweite Fahrzeugmerkmal in dem mindestens einen Umgebungsbild liegt. In dem Fall, in dem das zweite Fahrzeugmerkmal in dem mindestens einen Umgebungsbild liegt, kann die Identifikationseinrichtung die Ist-Position des zweiten Fahrzeugmerkmals in dem mindestens einen Umgebungsbild identifizieren. In one embodiment, the memory device may store a first high priority vehicle feature and a second low priority vehicle feature. The identification device may be configured to determine whether the first vehicle feature lies in the at least one environmental image of the vehicle. In the case where the first vehicle feature is not located in the at least one environmental image of the vehicle, the identification device may be configured to determine whether the second vehicle feature is located in the at least one environmental image. In the case where the second vehicle feature lies in the at least one environmental image, the identification device may identify the actual position of the second vehicle feature in the at least one environmental image.
Es ist also möglich, dass die Speichereinrichtung zwei Fahrzeugmerkmale speichert, wobei einem Fahrzeugmerkmal eine hohe und einem zweiten Fahrzeugmerkmal eine niedrige Priorität zugewiesen sein kann. Die Identifikationseinrichtung kann nun zunächst das erste Fahrzeugmerkmal aufgrund der hohen Priorität auswählen. Ist das erste Fahrzeugmerkmal nicht in dem mindestens einen Umgebungsbild auffindbar, so kann die Identifikationseinrichtung das zweite Fahrzeugmerkmal verwenden. Zusätzlich oder alternativ können für jedes oder einige Merkmale bezüglich deren Identifikation Konfidenzniveaus gespeichert werden. It is thus possible for the storage device to store two vehicle features, with one vehicle feature being assigned a high priority and a second vehicle feature having a low priority. The identification device can now first select the first vehicle feature due to the high priority. If the first vehicle feature can not be found in the at least one environment image, then the identification device can use the second vehicle feature. Additionally or alternatively, confidence levels may be stored for each or some features related to their identification.
Diese Ausführungsform hat den Vorteil, dass das Verfahren robuster wird. Zum Beispiel ist es möglich, dass ein Fahrzeugmerkmal aufgrund von Verschmutzung nicht und/oder nicht zuverlässig auffindbar ist und somit ein zweites Fahrzeugmerkmal herangezogen werden muss. Die Vorrichtung ist damit auch bei schwierigen äußeren Bedingungen noch einsatzfähig. Darüber hinaus ist es möglich, eine Rückmeldung an den Fahrer zu geben, dass einzelne Merkmale nicht identifizierbar sind. Dieser hat dann die Möglichkeit, sein Fahrzeug zu überprüfen und eventuelle Verunreinigungen zu entfernen. This embodiment has the advantage that the method becomes more robust. For example, it is possible for a vehicle feature due to Pollution is not and / or not reliable can be found and thus a second vehicle feature must be used. The device is thus still operational even under difficult external conditions. In addition, it is possible to provide feedback to the driver that individual characteristics are not identifiable. This then has the opportunity to check his vehicle and remove any impurities.
In einer Ausführungsform kann die Kalibriereinrichtung dazu ausgebildet sein, die extrinsischen Parameter mit Hilfe der Methode der kleinsten Quadrate zu bestimmen. Vorteile in der Verwendung der Methode der kleinsten Quadrate bestehen darin, dass für diese sehr schnelle Algorithmen zur Verfügung stehen. In one embodiment, the calibrator may be configured to determine the extrinsic parameters using the least squares method. Advantages of using the least squares method are that very fast algorithms are available for them.
Die genannte Aufgabe wird auch durch ein Fahrzeug gelöst, welches eine Vorrichtung zur Bestimmung der extrinsischen Kameraparameter der mindestens einen Bilderfassungseinrichtung umfasst, wie sie vorstehend beschrieben ist. Dabei kann das Fahrzeug die mindestens eine Bilderfassungseinrichtung umfassen und die mindestens eine Bilderfassungseinrichtung kann so ausgerichtet sein, dass das mindestens eine Umgebungsbild die Umgebung des Fahrzeugs und einen Teil des Fahrzeugs abbildet. The stated object is also achieved by a vehicle which comprises a device for determining the extrinsic camera parameters of the at least one image capture device, as described above. In this case, the vehicle may comprise the at least one image capture device and the at least one image capture device may be oriented so that the at least one environmental image depicts the surroundings of the vehicle and a part of the vehicle.
Das Fahrzeug weist ähnliche oder identische Vorteile auf, wie sie in Verbindung mit der Vorrichtung beschrieben sind. The vehicle has similar or identical advantages as described in connection with the device.
In einer Ausführungsform kann das Fahrzeug eine Schätzeinrichtung umfassen, die auf Basis der Ist-Position des mindestens einen Fahrzeugmerkmals die Distanz zwischen der Ist-Position des mindestens einen Fahrzeugmerkmals und dem höchsten Punkt einer Radfelge des Fahrzeugs schätzt. In one embodiment, the vehicle may include an estimation device that estimates the distance between the actual position of the at least one vehicle feature and the highest point of a wheel rim of the vehicle based on the actual position of the at least one vehicle feature.
Es ist somit möglich, eine Höhenschätzung individuell für jedes Rad des Fahrzeugs durchzuführen. Dies kann unter anderem dazu verwendet werden, die gemessenen Höhenwerte von an den Rädern montierten Höhenstandsensoren zu validieren und so fehlerhaft-arbeitende Sensoren zu erkennen. It is thus possible to individually perform an altitude estimation for each wheel of the vehicle. This can be used, among other things, to validate the measured height values of wheel mounted ride height sensors to detect faulty-working sensors.
In einer Ausführungsform kann das Fahrzeug ein Fahrerassistenzsystem umfassen, welches unter Verwendung der mindestens einen Bilderfassungseinrichtung und der extrinsischen Parameter, Steuersignale für einen Aktuator erzeugt, wobei der Aktuator vorzugsweise umfasst:
- – Bremsen;
- – Lenkvibrationsmotor;
- – Signalleuchte; oder
- – Seitenspiegelstellmotor.
- - brakes;
- - steering vibration motor;
- - Signal light; or
- - Side mirror actuator.
Eine Bilderfassungseinrichtung, die mit einer vorstehend beschriebenen Vorrichtung kalibriert wurde, kann in einem Fahrerassistenzsystem verwendet werden, welches Steuersignale an Aktuatoren sendet. Ein Vorteil besteht darin, dass das Fahrerassistenzsystem mit sehr genau kalibrierten Bilderfassungssystemen arbeitet und daher über eine größere Konfidenz in die ihr Verhalten beeinflussende Daten verfügt. Es ist somit möglich, dass das Fahrzeug auch sicherheitskritische Funktionen über Fahrerassistenzsysteme sicher realisiert, wie z.B. ein automatisches Ausparken. An image capture device that has been calibrated with a device described above may be used in a driver assistance system that sends control signals to actuators. One advantage is that the driver assistance system works with very accurately calibrated imaging systems and therefore has greater confidence in the data affecting their behavior. It is thus possible that the vehicle also safely realizes safety-critical functions via driver assistance systems, such as e.g. an automatic parking.
Des Weiteren wird die Aufgabe durch ein Verfahren zur extrinsischen Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs gelöst, umfassend die folgenden Schritte:
- – Erfassung mindestens eines Umgebungsbildes des Fahrzeugs durch mindestens eine Bilderfassungseinrichtung;
- – Identifizieren einer Ist-Position eines mindestens einen Fahrzeugmerkmals in dem mindestens einen Umgebungsbild;
- – Vergleichen der Ist-Position mit einer in einer Speichereinrichtung gespeicherten Soll-Position des mindestens einen Fahrzeugmerkmals;
- – extrinsisches Kalibrieren der mindestens einen Bilderfassungseinrichtung auf Basis der bestimmten Abweichung.
- - Detecting at least one environmental image of the vehicle by at least one image capture device;
- - identifying an actual position of at least one vehicle feature in the at least one environmental image;
- Comparing the actual position with a desired position of the at least one vehicle feature stored in a memory device;
- - Extrinsic calibration of the at least one image capture device based on the determined deviation.
In einer Ausführungsform kann das Identifizieren ein Einschränken auf einen vorher bestimmten Ausschnitt des Umgebungsbildes umfassen, auf dessen Basis das Identifizieren der Ist-Position des mindestens einen Fahrzeugmerkmals durchgeführt werden kann. In one embodiment, the identifying may include restricting to a predetermined portion of the environmental image, based on which the identification of the actual position of the at least one vehicle feature may be performed.
Es ergeben sich ähnliche oder identische Vorteile, wie dies bereits in Verbindung mit der Vorrichtung beschrieben wurde. There are similar or identical advantages, as has already been described in connection with the device.
In einer Ausführungsform kann das Verfahren während einer Fahrt des Fahrzeugs durchgeführt werden. In an embodiment, the method may be performed while the vehicle is traveling.
Das beschriebene Verfahren kann während der Standzeit eines Fahrzeugs aber auch während der Fahrt verwendet werden. Das Kalibrieren während der Fahrt hat den Vorteil, dass eine permanente Überprüfung der bestimmten extrinsischen Parameter vorgenommen werden kann. Somit kann zu jedem Zeitpunkt gewährleistet werden, dass die mindestens eine Bilderfassungseinrichtung optimal arbeitet. The method described can be used during the life of a vehicle but also while driving. The calibration while driving has the advantage that a permanent check of the particular extrinsic parameters can be made. Thus, it can be guaranteed at any time that the at least one image capture device works optimally.
Des Weiteren kann das Verfahren in einem Rundumsicht-System eines Fahrzeugs verwendet werden. Furthermore, the method can be used in a vehicle all-round visibility system.
Für ein Rundumsicht-System ist es notwendig, erfasste Umgebungsbilder von verschiedenen Bilderfassungseinrichtungen zu einem einzigen Bild zu kombinieren. Dabei kommt es bei einer unzureichenden extrinsischen Kalibrierung der Bilderfassungseinrichtungen zu Überlappungen und verzerrten Darstellungen in den Randbereichen der Einzelbilder. Dies kann dazu führen, dass der Fahrer eines Fahrzeugs Hindernisse nicht erkennen kann. Eine verbesserte extrinsische Kalibrierung führt somit zu einer erhöhten Sicherheit des Fahrzeugs und trägt somit zum Schutz der Verkehrsteilnehmer bei. For an all-round visibility system, it is necessary to capture captured environmental images from different ones To combine image capture facilities into a single image. In the case of an insufficient extrinsic calibration of the image capture devices, overlaps and distorted representations occur in the edge regions of the individual images. This can cause the driver of a vehicle can not detect obstacles. An improved extrinsic calibration thus leads to increased safety of the vehicle and thus contributes to the protection of road users.
Die erfindungsgemäße Aufgabe wird des Weiteren durch ein computerlesbares Speichermedium gelöst, das ausführbare Instruktionen aufweist, welche einen Computer dazu veranlassen, ein Verfahren nach einem der vorhergehend beschriebenen Verfahren zu implementieren, wenn die Instruktionen ausgeführt werden. The object of the invention is further solved by a computer-readable storage medium having executable instructions that cause a computer to implement a method according to one of the methods described above when the instructions are executed.
Nachfolgend wird die Erfindung mittels mehrerer Ausführungsbeispiele beschrieben, die anhand von Abbildungen näher erläutert werden. Hierbei zeigen: The invention will be described by means of several embodiments, which are explained in more detail with reference to figures. Hereby show:
In der nachfolgenden Beschreibung werden für gleiche und gleichwirkende Teile dieselben Bezugsziffern verwendet. In the following description, the same reference numerals are used for identical and equivalent parts.
So erfassen zum Beispiel die rechte Seitenkamera
In dem Fahrzeug
Ein optimaler Einbau der Kameras
- – die Position relativ zu
dem Fahrzeugzentrum 13 ; und - – die Orientierung des Koordinatensystems X‘, Y‘, Z‘ relativ zu dem Basiskoordinatensystem X, Y, Z.
- The position relative to the
vehicle center 13 ; and - The orientation of the coordinate system X ', Y', Z 'relative to the base coordinate system X, Y, Z.
Die extrinsischen Parameter umfassen demnach eine Raumkoordinate (mit drei Werten), sowie drei Winkel. The extrinsic parameters therefore comprise a spatial coordinate (with three values), as well as three angles.
Aufgrund der bekannten Fahrzeuggeometrie und der bekannten Soll-Pose der rechten Seitenkamera
Fahrzeugmerkmale
Ecken
Die Fahrzeugbegrenzung
Die Kontur
Eine Ecke
Eine Ecke
Die Kontur
Beim Anlassen des Fahrzeugs
Es kann weiter angenommen werden, dass aufgrund der kleinen Abweichungen der Ist-Pose von der Soll-Pose der Seitenkamera
Eine Identifikationseinrichtung
Weiter stellt die Identifikationseinrichtung
In einer Ausführungsform wird das Korrespondenzproblem gelöst. Eine Möglichkeit, die Korrespondenzen paarweise aufzulösen, liegt darin, zunächst die Korrespondenz der Ecke
Durch eine geänderte Pose der Seitenkamera
Eine Vergleichseinrichtung
Auf Basis der von der Vergleichseinrichtung
In weiteren Ausführungsformen sind hierzu weitere Methoden wie zum Beispiel „Random Sample Consensus (RANSAC)“ möglich. Weitere Verfahren aus dem Bereich der Bildregistrierung sind selbstverständlich in weiteren Ausführungsformen auch möglich. In further embodiments, further methods such as "Random Sample Consensus (RANSAC)" are possible for this purpose. Other methods from the field of image registration are of course also possible in further embodiments.
Auf Basis der bekannten Fahrzeuggeometrie, der bekannten intrinsischen Kameraparameter und der gefundenen Transformationsfunktion T kann die Kalibriereinrichtung nun die extrinsischen Parameter der Seitenkamera
In einer weiteren Ausführungsform kann zur Bestimmung der extrinsischen Parameter eine Vielzahl von Fahrzeugmerkmalen
Zunächst wird das Fahrzeugmerkmal
Es ist somit auch möglich, dass Fahrzeugmerkmale
In dem in
Da sich ein Ausparkassistent in unterschiedlichen Situationen entsprechend unterschiedlich Verhalten sollte, ist es auch notwendig die Objekte in der Umgebung erkennen zu können. Zum Beispiel ist bei Nähe zu einem Fußgänger eine geringere Geschwindigkeit notwendig. Since a Ausparkassistent should behave differently in different situations, it is also necessary to be able to recognize the objects in the environment. For example, a lower speed is necessary when close to a pedestrian.
Um Objekte in der Umgebung des Fahrzeugs
Um die korrekte Projektion sicherzustellen ist es weiter notwendig, dass die extrinsischen Parameter der Kamera
In einer Ausprägung der Erfindung werden beim Anlassen des Fahrzeugs
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 9 9
- Objekt object
- 10 10
- Fahrzeug vehicle
- 11 11
- Außenspiegel Mirrors
- 12 12
- Rad wheel
- 13 13
- Fahrzeugzentrum vehicle center
- 15 15
- Fahrzeugumgebung vehicle environment
- 16 16
- Fahrzeugbegrenzung, Kontur Vehicle limit, contour
- 17 17
- Ecke, Knick Corner, kink
- 21 21
- Bilderfassungseinrichtung, Seitenkamera, Kamera Image capture device, side camera, camera
- 30 30
- Bordcomputer board computer
- 31 31
- Speichereinrichtung memory device
- 32 32
- Identifikationseinrichtung identification device
- 33 33
- Kalibriereinrichtung calibration
- 34 34
- Vergleichseinrichtung comparator
- 40 40
- Parkendes Auto Parking car
- X, Y, Z X, Y, Z
- Basiskoordinatensystem Base coordinate system
- X‘, Y‘, Z‘ X ', Y', Z '
- Kamerakoordinatensystem Camera coordinate system
- A A
- Ursprungsraum source space
- B B
- Zielraum Finish area
- T T
- Transformationtransformation
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015209764.1A DE102015209764A1 (en) | 2015-05-28 | 2015-05-28 | Extrinsic calibration of an image capture device of a vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015209764.1A DE102015209764A1 (en) | 2015-05-28 | 2015-05-28 | Extrinsic calibration of an image capture device of a vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102015209764A1 true DE102015209764A1 (en) | 2016-12-01 |
Family
ID=57282099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102015209764.1A Pending DE102015209764A1 (en) | 2015-05-28 | 2015-05-28 | Extrinsic calibration of an image capture device of a vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102015209764A1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3075354A1 (en) * | 2017-12-20 | 2019-06-21 | Thales | METHOD FOR REPERTING A PLAN, DEVICES AND ASSOCIATED METHODS |
DE102018216104A1 (en) * | 2018-09-21 | 2020-03-26 | Audi Ag | Method for calibrating an environment sensor of a vehicle taking into account a three-dimensional model of the vehicle, calibration test bench and vehicle |
DE102018219666A1 (en) * | 2018-11-16 | 2020-05-20 | Zf Friedrichshafen Ag | Image processing |
WO2021043393A1 (en) * | 2019-09-04 | 2021-03-11 | Volvo Truck Corporation | A method for calibrating the field of vision of a camera mounted on a vehicle |
DE102021208760A1 (en) | 2021-08-11 | 2023-02-16 | Zf Friedrichshafen Ag | Method for determining the position of a sensor on a vehicle and position determining device |
DE102022130327A1 (en) | 2022-11-16 | 2024-05-16 | Daimler Truck AG | Position angle calibration of a vehicle camera while driving |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007043905A1 (en) * | 2007-09-14 | 2008-05-29 | Daimler Ag | Omni-directional camera calibrating method for use in object i.e. vehicle, involves calibrating camera during operation based on object unit that is identified in detected image information, and determining image and object positions |
US20110074916A1 (en) * | 2009-09-29 | 2011-03-31 | Toyota Motor Engin. & Manufact. N.A. (TEMA) | Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent |
EP2530647A1 (en) * | 2011-06-01 | 2012-12-05 | Harman Becker Automotive Systems GmbH | Method of calibrating a vehicle vision system and vehicle vision system |
DE102013200431A1 (en) * | 2013-01-14 | 2014-07-31 | Robert Bosch Gmbh | Camera system for vehicle, has control device that is arranged for each image sensor to recognize camera position at which image sensor is positioned on vehicle |
EP2767846A1 (en) * | 2013-02-18 | 2014-08-20 | Volvo Car Corporation | Method for calibrating a sensor cluster in a motor vehicle |
DE102013212843A1 (en) * | 2013-07-02 | 2015-01-08 | Continental Automotive Gmbh | Camera arrangement, method and apparatus for operating a camera arrangement |
-
2015
- 2015-05-28 DE DE102015209764.1A patent/DE102015209764A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007043905A1 (en) * | 2007-09-14 | 2008-05-29 | Daimler Ag | Omni-directional camera calibrating method for use in object i.e. vehicle, involves calibrating camera during operation based on object unit that is identified in detected image information, and determining image and object positions |
US20110074916A1 (en) * | 2009-09-29 | 2011-03-31 | Toyota Motor Engin. & Manufact. N.A. (TEMA) | Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent |
EP2530647A1 (en) * | 2011-06-01 | 2012-12-05 | Harman Becker Automotive Systems GmbH | Method of calibrating a vehicle vision system and vehicle vision system |
DE102013200431A1 (en) * | 2013-01-14 | 2014-07-31 | Robert Bosch Gmbh | Camera system for vehicle, has control device that is arranged for each image sensor to recognize camera position at which image sensor is positioned on vehicle |
EP2767846A1 (en) * | 2013-02-18 | 2014-08-20 | Volvo Car Corporation | Method for calibrating a sensor cluster in a motor vehicle |
DE102013212843A1 (en) * | 2013-07-02 | 2015-01-08 | Continental Automotive Gmbh | Camera arrangement, method and apparatus for operating a camera arrangement |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3075354A1 (en) * | 2017-12-20 | 2019-06-21 | Thales | METHOD FOR REPERTING A PLAN, DEVICES AND ASSOCIATED METHODS |
WO2019122216A1 (en) * | 2017-12-20 | 2019-06-27 | Thales | Method for locating a mounting plane forming part of a vehicle, and associated devices and methods |
DE102018216104A1 (en) * | 2018-09-21 | 2020-03-26 | Audi Ag | Method for calibrating an environment sensor of a vehicle taking into account a three-dimensional model of the vehicle, calibration test bench and vehicle |
DE102018219666A1 (en) * | 2018-11-16 | 2020-05-20 | Zf Friedrichshafen Ag | Image processing |
DE102018219666B4 (en) * | 2018-11-16 | 2020-12-24 | Zf Friedrichshafen Ag | Image processing method and camera system for generating a vehicle visibility |
WO2021043393A1 (en) * | 2019-09-04 | 2021-03-11 | Volvo Truck Corporation | A method for calibrating the field of vision of a camera mounted on a vehicle |
DE102021208760A1 (en) | 2021-08-11 | 2023-02-16 | Zf Friedrichshafen Ag | Method for determining the position of a sensor on a vehicle and position determining device |
DE102022130327A1 (en) | 2022-11-16 | 2024-05-16 | Daimler Truck AG | Position angle calibration of a vehicle camera while driving |
WO2024105102A1 (en) | 2022-11-16 | 2024-05-23 | Daimler Truck AG | Position angle calibration of a vehicle camera during travel |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102009005505B4 (en) | Method and device for generating an image of the surroundings of a motor vehicle | |
DE102013223039B4 (en) | Apparatus and method for providing an AVM image | |
DE102015105248B4 (en) | Method and system for generating an image of the surroundings of an articulated vehicle | |
DE102006003538B3 (en) | Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section | |
DE102010035772B4 (en) | System and method for providing guidance information to a driver of a vehicle | |
DE102015209764A1 (en) | Extrinsic calibration of an image capture device of a vehicle | |
EP1797534B1 (en) | Method for detecting an optical structure | |
WO2014094941A1 (en) | Motor vehicle having a camera monitoring system | |
DE102007059735A1 (en) | Obstacle and vehicle e.g. lorry, recognition system, has cameras aligned such that area on side and over end of own vehicle are recognized, and output device providing information about object or vehicle within range of own vehicle | |
DE102015107675A1 (en) | System and method for estimating vehicle dynamics using feature points in images from multiple cameras | |
DE102008031784A1 (en) | Method and apparatus for distortion correction and image enhancement of a vehicle rearview system | |
DE102013108070A1 (en) | Image calibration and equalization of a wide-angle camera | |
EP3167427A1 (en) | Merging of partial images to form an image of surroundings of a mode of transport | |
DE102017109445A1 (en) | Calibration of a vehicle camera device in the vehicle longitudinal direction or vehicle transverse direction | |
DE102016211227A1 (en) | Method and vehicle control system for generating images of an environment model and corresponding vehicle | |
DE112016000689T5 (en) | Kameraparametereinstellvorrichtung | |
DE102021207558A1 (en) | Camera system and method for generating a view with a camera system | |
DE102014114221A1 (en) | Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle | |
DE102018204451A1 (en) | Method and device for auto-calibration of a vehicle camera system | |
DE102013103952B4 (en) | Lane detection at full speed with an all-round vision system | |
DE102013103953B4 (en) | Lane detection at full speed using multiple cameras | |
DE102018108751B4 (en) | Method, system and device for obtaining 3D information from objects | |
DE102017205630A1 (en) | Camera apparatus and method for detecting a surrounding area of a vehicle | |
DE102015204213B4 (en) | Method for combining two images of a vehicle environment of a vehicle and corresponding device | |
DE102013203404A1 (en) | Method and device for three-dimensional imaging of at least one subarea of a vehicle environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed |