[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

EP3167427A1 - Merging of partial images to form an image of surroundings of a mode of transport - Google Patents

Merging of partial images to form an image of surroundings of a mode of transport

Info

Publication number
EP3167427A1
EP3167427A1 EP15731967.4A EP15731967A EP3167427A1 EP 3167427 A1 EP3167427 A1 EP 3167427A1 EP 15731967 A EP15731967 A EP 15731967A EP 3167427 A1 EP3167427 A1 EP 3167427A1
Authority
EP
European Patent Office
Prior art keywords
image
partial
joint line
virtual
partial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP15731967.4A
Other languages
German (de)
French (fr)
Inventor
Philipp Hoffmann
Torsten Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP3167427A1 publication Critical patent/EP3167427A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Definitions

  • the present invention relates to a means of locomotion, a driver assistance system and a method for assembling partial images into an image of a contiguous surrounding area of a means of locomotion.
  • the present invention relates to the avoidance of distortions in the region of the joint line or the joint lines.
  • driver assistance systems which record environmental signals via sensors and represent the driver of the environment. For example, for monitoring a traffic space behind the ego vehicle, it is known to provide a camera for image acquisition, the images of which are reproduced to the driver on a display which is integrated in the area of the cockpit or the center console. These systems often serve as parking aids.
  • DE 10 201 1079 913 discloses a visual assistance system for a driver and a vehicle having such a system.
  • DE 10 2010 023 591 discloses the use of a stereo camera system as part of a driver assistance system for road vehicles.
  • US 7,139,412 discloses a method for assembling a plurality of images and a device for a vehicle-based camera, the images of which are assembled along a joint line.
  • US 6,476,855 discloses a device for displaying an image of an environment of a means of locomotion.
  • WO 1999/015360 A1 describes a viewing device with cameras for a vehicle. At least one camera is arranged on one side of the vehicle. The viewer allows e.g. the replacement of existing exterior and interior mirrors in the motor vehicle by the use of image sensors and serves e.g. as a parking aid.
  • a method for joining partial images to form an image of a contiguous surrounding area of a means of transportation For this purpose, in a first step, a first partial area of the surrounding area is detected by means of an environmental sensor.
  • the surrounding area may be, for example, a rear area of the vehicle, which is approximately at an area behind the front bumper of a vehicle and left or right of the Vehicle is located.
  • the first environmental sensor may be, for example, a two-dimensional (2D) optical camera. This can be arranged in the area of a fender and / or an exterior mirror of a means of locomotion.
  • a second partial area (which is at least not completely identical to the first partial area) of the same surrounding area is detected by means of a second environmental sensor.
  • the second environmental sensor may also be an optical sensor.
  • the second environmental sensor can receive additional information, enabling it, for example, three-dimensional images of the second sub-area.
  • a first partial image of the image of the surrounding area is generated on the basis of a signal of the first environmental sensor and a second partial image of the image of the surrounding area on the basis of a signal of the second environmental sensor.
  • the second partial image is also based on a large number of virtual sensors for detecting the second partial area.
  • the multiplicity of virtual sensors could also be referred to as a multiplicity of alternative perspectives on the second subarea, which is created (eg calculated) on the basis of signals acquired by real sensors. In this way, there are a large number of perspectives on the second subarea.
  • the virtual sensors are arranged at positions substantially on a perpendicular to a joint line, along which the first partial image and the second partial image are joined together. In this way, each virtual sensor has a different distance from the first joint line.
  • each virtual sensor has an integer multiple of a basic distance of a specific virtual sensor from the joint line, which is arranged comparatively close to the joint line.
  • a joining surface can also be identified for three-dimensional image regions, which defines the spatial boundary surfaces of different environmental images during assembly.
  • the virtual sensors can also be arranged on a substantially vertical with respect to such a joining surface.
  • the first subarea may include a so-called "blind spot" which the operator of the vehicle may otherwise only sense with loss of comfort and loss of an impression of remaining surrounding areas
  • the area of the joint line is thus almost identical to that of the first environmental sensor, which means that the distortions in this area can be reduced to a previously impossible level, which complies with the relevant standards (eg ECE-R46).
  • the virtual sensors are to be arranged horizontally spaced apart so that their respective core detection areas scan closely spaced vertical stripes ("segments") of the second subarea subsequent conversion of the second partial image (for example, from a three-dimensional database to a two-dimensional database) can be carried out with little distortion.
  • the core detection areas of the virtual sensors can be used to generate vertical image segments which, joined together along second fin lines, yield the second partial image.
  • the second bridle lines can be arranged for example parallel to the first joint line. The more virtual sensors are used, the lower are the distortions within the second sub-image. If the joint lines or joining surfaces essentially correspond to the left and the right side of a driving tube (or trajectory) traversed by means of locomotion when driving straight ahead, the area behind the means of locomotion is thus composed by the multiplicity of segments. In this area, for example, known methods (eg alpha blending) can be used.
  • interpolation of visual rays Another method is referred to as “interpolation of visual rays” and explained in detail in the publication “Megastereo: Contructing High-Resolution Stereo Panoramic”.
  • the interpolation is achieved using the NetFlow method.
  • the flow is represented at pixel level between two views, which interpolates each intermediate position between two different views, thus significantly reducing the display problems of objects that have a large deviation in distance to the projection surface.
  • the first environmental sensor may be, for example, a 2D sensor. It can be designed as a (mono) outdoor camera in the area of a fender, an exterior mirror, a door of the means of locomotion or in the region of a roof edge / roof rack.
  • the second environmental sensor may for example comprise two optical sensors or be configured as a stereo camera. It can be arranged in the region of the rear of the vehicle, in particular centrally, with respect to the vehicle width. In this way, a plurality of image information of the rear region of the means of transport are detected and kept ready for subsequent processing.
  • optical sensors may be used in the present invention, but that any sensors capable of producing a two-dimensional or three-dimensional image of the environment may be applicable.
  • first subarea of a right vehicle side and the second subarea are assigned to a central rearward surrounding region of the vehicle, it is advantageous to also for the left side of the vehicle to provide an environmental sensor, which is referred to in the context of the present invention as a third environment sensor. This serves for the essentially mirror-symmetrical expansion of the surrounding area in accordance with the above statements regarding the first environmental sensor.
  • a third subregion of the surrounding region is detected, subsequently a third subimage of the third subregion is generated on the basis of a signal of the third environmental sensor, and the third subimage and the second subimage are joined together along a straight third finning line.
  • the first joint line and the third joint line can in particular represent opposing boundary lines of the second sub-image.
  • the first joint line and the third joint line are preferably oriented parallel to one another. According to the invention, the distortions in the region of the third joint line are also reduced.
  • the sub-images can be trimmed before joining along the respective fusing line, a considerable overlap, which is required for known algorithms when combining different images
  • the susceptibility of the image content joining method according to the invention is therefore also less: in other words, the first partial image along the first joint line, the third partial image along the third joint line and the second partial image along the first
  • a first 2D data record can be generated from the first partial image, which offers a suitable perspective of a user in the presentation of the 2D data record on a two-dimensional display unit.
  • the content of the first partial image is "converted" to a virtual first projection surface, around the different perspectives of the environmental sensors merge.
  • the segments of the second partial image and the third partial image are converted into respective 2D data records by being placed on respective suitable virtual projection surfaces. If the second partial image previously contained three-dimensional data, initially a perspective or a suitable distance (relative position with respect to the means of locomotion) of the projection surface can be determined dynamically.
  • the distance of the projection surface from the means of locomotion with those of the distance of the surrounding object from the means of locomotion may be substantially identical.
  • the distortions can be reduced by this connection again.
  • a second virtual projection surface corresponding to the first virtual projection surface.
  • the projection surfaces in the region of the joint lines have identical distances from the means of locomotion.
  • the first virtual projection surface may have a concave cylinder portion-like shape with the user staying on the inside of the cylinder.
  • the respective cylindrical portion-like projection surfaces are arranged on a common cylindrical surface, while the user or the locomotion means is located substantially in the cylinder center point.
  • the display unit may be a 2D display unit which is located in a dashboard and / or in a dashboard Instrument cluster of the means of locomotion is arranged.
  • the display unit In order to bring the monitored area on the one hand and the image resolution on the other hand in a suitable ratio to each other, has a displayed on the 2D display unit solid angle range between values of 180 ° and 45 °, in particular between 120 ° and 60 °, and preferably between 100 ° and 80 ° proven.
  • a position of the displayed part of the image may be changed in response to respective driving situations.
  • the activation of a direction indicator on the occasion of a modified To take representation of the image is provided in a particularly preferred embodiment, the side area relevant in each case for bending can be widened by introducing additional portions of the respective ambient sensor signal into the illustration according to the invention.
  • a driver assistance system which comprises a first environment sensor, a second environment sensor, an evaluation unit and a 2D display unit.
  • the evaluation unit may comprise, for example, a programmable processor in the form of a microcontroller or nanocontroller. In the automotive sector, such evaluation units are also referred to as electronic control units (ECU).
  • ECU electronice control units
  • the 2D display unit may be provided for example as a matrix display for mounting in a dashboard of a means of transportation and / or in a combination instrument of a means of transportation. For the first environment sensor, the second environment sensor, and an optional third environment sensor, this is in conjunction with the former Inventions aspect said accordingly.
  • the driver assistance system is set up to realize the features, feature combinations and the resulting advantages thereof according to the first aspect of the invention.
  • a means of transportation is proposed, which can be designed, for example, as a car, as a transporter, as a truck, as a watercraft and / or aircraft.
  • the means of locomotion comprises a driver assistance system, as has been described above.
  • the means of transport realizes the same features, combinations of features and advantages, increases the user comfort for the user and the traffic safety for all road users located in the area of the means of locomotion.
  • FIG. 1 shows an artifact-affixed illustration of a driving situation
  • FIG. 2 components of an embodiment of a means of transport according to the invention
  • FIG. 3 shows partial images of a surrounding area produced according to the invention
  • FIG. 4 shows a synthesis according to the invention of that shown in FIG
  • Figure 5 is a flow chart illustrating steps of a
  • Figure 1 shows an assembled according to the prior art image of a driving situation, as it could be observable by the rearview mirror of an ego vehicle.
  • On the road behind the ego vehicle drives a foreign vehicle 13 as an environment object.
  • houses 19 line the roadside. Due to the different position of the cameras used If no image data is available in an image area 18. Due to the joining methods used, artifacts 17 occur, which lead to distortions within the image.
  • FIG. 2 shows a schematic plan view of a driving situation of an embodiment of an inventively designed according to PKW 10 as ego means of locomotion.
  • the car 10 moves in the direction of travel P.
  • an outdoor camera 1 is arranged as a first environmental sensor, which detects an azimuthal angular range of 65 °.
  • an external camera 9 is arranged as a third environmental sensor in the region of the fender on the left side of the car 10.
  • a stereo camera 2 is arranged, which is supplemented by another 2D outdoor camera 20. All cameras 1, 2, 9, 20 are connected to an electronic control unit 16 as an evaluation unit information technology.
  • a screen 14 is connected to the electronic control unit 16 as a 2D display unit.
  • a multiplicity of data packets are computed from the images of the stereo camera 2 and the 2D outdoor camera 20, the perspectives of which correspond to virtual sensors 3, which correspond in the Essentially arranged on a line along the rear bumper of the car 10.
  • a vertical 6 is shown, which is perpendicular to the joint lines 4, 5 or joining surfaces (in the direction perpendicular to the image plane).
  • Respective conical detection areas of the virtual sensors 3 are indicated by dashed lines.
  • the core regions 7 of the detection regions form segments which can be assembled along second joint lines 8 to form a map II 'of the subregion II.
  • FIG. 3 shows three partial images I ', II', III ', in which a foreign vehicle 13 is arranged as an environment object in the region of a first joint line 4.
  • FIG. 4 shows the result of a joining process carried out according to the invention using the partial images I ', II', III 'shown in FIG.
  • FIG. 5 shows method steps of an exemplary embodiment of a method according to the invention.
  • step 100 a first Partial area, a second sub-area and a third portion of the surrounding area of a vehicle respectively
  • Environmental sensors includes.
  • the environmental sensors may include, for example, optical cameras.
  • the second environment sensor for detecting the second subarea may include a stereo camera or otherwise be set up to create a 3D image of the second subarea.
  • a first field, a second field, and a third field are generated based on the signals from the environmental sensors.
  • the partial images are cut to avoid unnecessary overlaps according to the invention in the areas of a first and a third joint line.
  • a first, a second and a third 2D data set are generated from the partial images in step 400.
  • a first, a second and a third projection surface are used, which lie on a common cylinder surface (namely on the inside of the same cylinder).
  • the radius of the cylinder is determined here based on an environment object contained in the second subregion.
  • the first and the second partial image as well as the second and third partial images are joined together along a respective straight joint line, wherein the joint lines are arranged parallel to one another.
  • the joint lines are oriented vertically.
  • a portion of the image is selected for display on a 2D display unit corresponding to an azimuthal angular range of 81 °. In this way, there is no dead angle next to his means of transportation for the user of the process.
  • a turn signal is actuated due to an intended turn, in response to which a position of the part within the image of the surrounding area is varied to better map the turn inside of the upcoming turn on the 2D display unit.
  • the displayed angle range is either extended or pivoted so that previously displayed areas on an opposite edge area are no longer displayed in the short term.
  • all the lateral and / or rear view fields required by the driver are covered by a panoramic image generated by environmental sensors, which also complies with the statutory minimum fields of vision and maximum permissible distortions, as defined, inter alia, in the ECE-R46 standard favorable positioning of the camera model and preferably replaces all the mirrors of the means of transport configured according to the invention.
  • the first and third partial images are trimmed from the perspective of the front side of a vehicle in such a way that the vehicle contours are no longer included in the component of the respective image.
  • the rear camera is designed as a stereo camera, which generates a depth map (Disparticians juice).
  • the disparity card information may also be obtained via additional (e.g., non-optical) sensors.
  • the original information of the 2D image information is placed on the 3D information.
  • the last step is to project the lateral cameras onto a cylindrical surface and attach them seamlessly to the central drive tube.
  • the field of vision of the driver can be widened.
  • the panorama image allows a significantly better representation of driver assistance environment information.
  • the panorama view makes it possible to use a single smaller monitor with the same absolute field of view, which offers cost advantages, weight advantages and volume advantages, or the representation of a larger field of view on a single monitor of a given size.
  • a big one azimuthal angle of view of at least 78 ° it is also possible to reduce or eliminate the blind spot area.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

A driver assistance system and a method for merging partial images to form an image of a contiguous surrounding region (IV) of a mode of transport (10) are proposed. The method comprises the following steps: – detecting a first partial region (I) of the surrounding region (IV) by means of a first environmental sensor (1), – detecting a second partial region (II) of the surrounding region (IV) by means of a second environmental sensor (2), – generating a first partial image of the first partial region (I) on the basis of a signal from the first environmental sensor (1), – generating a second partial image of the second partial region (II) on the basis of a signal of the second environmental sensor (2) and a multiplicity of virtual sensors (3) for detecting the second partial region (II), – merging the first partial image and the second partial image along a straight first joining line (4), wherein the virtual sensors (3) are arranged at positions substantially on a perpendicular (6) to the joining line.

Description

Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels Merging partial images into an image of an environment of a means of transportation
Beschreibung Die vorliegende Erfindung betrifft ein Fortbewegungsmittel, ein Fahrerassistenzsystem sowie ein Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereiches eines Fortbewegungsmittels. Insbesondere betrifft die vorliegende Erfindung die Vermeidung von Verzerrungen im Bereich der Fügelinie bzw. der Fügelinien. Um den Betrieb von Fortbewegungsmitteln komfortabler und sicherer zu machen, werden Fahrerassistenzsysteme verwendet, welche über Sensoren Umgebungssignale aufnehmen und dem Fahrer Abbilder der Umgebung darstellen. Beispielsweise ist es bekannt, zur Überwachung eines hinter dem Ego-Fahrzeug liegenden Verkehrsraums eine Kamera zur Bildaufnahme vorzusehen, deren Bilder dem Fahrer an einem Display, welches im Bereich des Cockpits oder der Mittelkonsole integriert ist, wiedergegeben werden. Diese Systeme dienen oft als Einparkhilfen. Zudem ist es bekannt, diese Systeme als Ersatz für einen fahrzeugseitig vorgesehenen Rückspiegel zu integrieren. Dem Fahrer ist es möglich, anstatt über die Rückspiegel über die Kamerabilddarstellung den rückwärtigen Verkehrsraum zu überwachen. Damit lässt sich die Umgebung des Fahrzeugs über Displays im Fahrzeuginterieur darstellen. The present invention relates to a means of locomotion, a driver assistance system and a method for assembling partial images into an image of a contiguous surrounding area of a means of locomotion. In particular, the present invention relates to the avoidance of distortions in the region of the joint line or the joint lines. In order to make the operation of means of locomotion more comfortable and safer, driver assistance systems are used, which record environmental signals via sensors and represent the driver of the environment. For example, for monitoring a traffic space behind the ego vehicle, it is known to provide a camera for image acquisition, the images of which are reproduced to the driver on a display which is integrated in the area of the cockpit or the center console. These systems often serve as parking aids. In addition, it is known to integrate these systems as a replacement for a vehicle-side rearview mirror. It is possible for the driver to monitor the rear traffic area via the rearview mirror via the camera image display. This allows the surroundings of the vehicle to be displayed via displays in the vehicle interior.
DE 10 201 1 079 913 offenbart ein Sichtunterstützungssystem für einen Fahrer und ein Fahrzeug mit einem solchen System. DE 10 2010 023 591 offenbart die Verwendung eines Stereokamerasystems im Rahmen eines Fahrerassistenzsystems für Straßenfahrzeuge. US 7,139,412 offenbart ein Verfahren zum Zusammenfügen mehrerer Bilder und eine Vorrichtung für eine fahrzeugbasierte Kamera, deren Bilder entlang einer Fügelinie zusammengefügt werden. DE 10 201 1079 913 discloses a visual assistance system for a driver and a vehicle having such a system. DE 10 2010 023 591 discloses the use of a stereo camera system as part of a driver assistance system for road vehicles. US 7,139,412 discloses a method for assembling a plurality of images and a device for a vehicle-based camera, the images of which are assembled along a joint line.
US 6,476,855 offenbart eine Vorrichtung zur Anzeige eines Abbildes einer Umgebung eines Fortbewegungsmittels. US 6,476,855 discloses a device for displaying an image of an environment of a means of locomotion.
WO 1999/015360 A1 beschreibt eine Seheinrichtung mit Kameras für ein Fahrzeug. Mindestens eine Kamera ist dabei an einer Seite des Fahrzeugs angeordnet. Die Seheinrichtung ermöglicht z.B. den Ersatz bisheriger Außen- und Innenspiegel im Kraftfahrzeug durch den Einsatz von Bildaufnahmesensoren und dient z.B. als Einparkhilfe. WO 1999/015360 A1 describes a viewing device with cameras for a vehicle. At least one camera is arranged on one side of the vehicle. The viewer allows e.g. the replacement of existing exterior and interior mirrors in the motor vehicle by the use of image sensors and serves e.g. as a parking aid.
Obwohl Kameras ein radiales, dreidimensionales (3D) Feld aufzeichnen, wird die Darstellung auf einem Monitor in eine flache, viereckige Ebene verzerrt. Damit lässt sich der Abstand zu Objekten speziell in den toten Winkeln, nicht so leicht einschätzen. In einer fusionierten Anzeige der drei Sichtfelder (Spiegel) ist es notwendig, die Zuordnung oder auch Relativposition des Ego-Fahrzeugs durch ein entsprechendes Anzeigekonzept zu realisieren. Although cameras record a radial, three-dimensional (3D) field, the image on a monitor is distorted into a flat, quadrilateral plane. This makes it difficult to estimate the distance to objects, especially in the blind spots. In a fused display of the three fields of view (mirror), it is necessary to realize the assignment or relative position of the ego vehicle by means of a corresponding display concept.
Um Rückspiegel nicht nur kundentauglich, sondern auch zulassungstauglich entfallen lassen zu können, sind festgelegte Bildqualitäten auch und insbesondere im Bereich der Fügelinien zusammengefügter Teilbilder vorgeschrieben, welche durch den Stand der Technik nicht eingehalten werden. Es ist daher eine Aufgabe der vorliegenden Erfindung, den vorstehend genannten Bedarf zu stillen. In order to not only make mirrors suitable for the customer, but also for the purpose of approval, defined image qualities are also prescribed, and in particular in the area of the joint lines of assembled partial images, which are not adhered to by the prior art. It is therefore an object of the present invention to meet the above need.
Die vorstehend genannte Aufgabe wird erfindungsgemäß durch ein Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereiches eines Fortbewegungsmittels gelöst. Hierzu wird in einem ersten Schritt ein erster Teilbereich des Umgebungsbereiches mittels eines Umgebungssensors erfasst. Der Umgebungsbereich kann beispielsweise ein rückwärtiger Bereich des Fortbewegungsmittels sein, welcher in etwa mit einem Bereich hinter der vorderen Stoßstange eines Fortbewegungsmittels und links oder rechts des Fahrzeugs liegt. Der erste Umgebungssensor kann beispielsweise eine zweidimensionale (2D), optische Kamera, sein. Diese kann im Bereich eines Kotflügels und/oder eines Außenspiegels eines Fortbewegungsmittels angeordnet sein. Zusätzlich wird ein zweiter Teilbereich (welcher zumindest nicht vollständig identisch mit dem ersten Teilbereich ist) desselben Umgebungsbereiches mittels eines zweiten Umgebungssensors erfasst. Der zweite Umgebungssensor kann ebenfalls ein optischer Sensor sein. Im Gegensatz zum ersten Umgebungssensor kann der zweite Umgebungssensor jedoch zusätzliche Informationen aufnehmen, wodurch er beispielsweise dreidimensionale Abbilder des zweiten Teilbereiches ermöglicht. In einem zweiten Schritt werden ein erstes Teilbild des Abbildes des Umgebungsbereiches auf Basis eines Signals des ersten Umgebungssensors und ein zweites Teilbild des Abbildes des Umgebungsbereiches auf Basis eines Signals des zweiten Umgebungssensors erzeugt. Das zweite Teilbild basiert darüber hinaus auf einer Vielzahl virtueller Sensoren zur Erfassung des zweiten Teilbereiches. Die Vielzahl virtueller Sensoren könnte auch als Vielzahl alternativer Perspektiven auf den zweiten Teilbereich bezeichnet werden, welche auf Basis mittels realer Sensoren erfasster Signale erstellt (z.B. errechnet) wird. Auf diese Weise liegt eine Vielzahl Perspektiven auf den zweiten Teilbereich vor. Erfindungsgemäß sind die virtuellen Sensoren an Positionen im Wesentlichen auf einer Senkrechten zu einer Fügelinie angeordnet, entlang welcher das erste Teilbild und das zweite Teilbild zusammengefügt werden. Auf diese Weise weist ein jeder virtueller Sensor einen unterschiedlichen Abstand von der ersten Fügelinie auf. Insbesondere weist jeder virtuelle Sensor ein ganzzahliges Vielfaches eines Grundabstandes eines bestimmten virtuellen Sensors von der Fügelinie auf, der vergleichsweise nahe an der Fügelinie angeordnet ist. Während die Fügelinie zwischen zwei in unterschiedliche azimutale Raumbereiche gerichteten Sensoren meist vertikal angeordnet ist, kann für dreidimensionale Bildbereiche auch eine Fügefläche identifiziert werden, welche die Raumgrenzflächen unterschiedlicher Umgebungsabbilder beim Zusammenfügen definiert. Auch bezüglich einer solchen Fügefläche können die virtuellen Sensoren auf einer im Wesentlichen Senkrechten angeordnet sein. Indem zumindest ein virtueller Sensor bezüglich einer Erfassungswinkelgrenze des ersten Umgebungssensors eine ähnlichere Perspektive aufweist als der zweite Umgebungssensor, bietet sich die Möglichkeit, über die Signale des besagten virtuellen Sensors eine geringere Verzerrung beim Zusammenfügen des ersten Teilbildes und des Teilbildes zu erzeugen. Insbesondere bei der Erzeugung eines Abbildes einer Fahrzeugumgebung entstehen derart geringe Verzerrungen, dass auf optische Hilfsmittel, wie z.B. Innen-/Außen-Spiegel verzichtet werden kann. Auf diese Weise verringert sich der Windwiderstand eines Fortbewegungsmittels, was den Energieaufwand zu dessen Fortbewegung senkt. Zudem besteht die Möglichkeit, synthetische Bilder mit zusätzlichen Informationen anzureichern und die Kameras an Positionen anzuordnen, welchen ein umfassenderes und somit geeigneteres Abbild der Fahrzeugumgebung darstellt. Beispielsweise kann der erste Teilbereich einen sog. „toten Winkel" beinhalten, welchen der Fahrer des Fortbewegungsmittels ansonsten nur mit Komforteinbußen und unter Verlust eines Eindruckes übriger Umgebungsbereiche erfassen kann. Bevorzugt kann ein virtueller Sensor in unmittelbarer Nähe der ersten Fügelinie angeordnet sein. Seine Perspektive auf den Bereich der Fügelinie ist damit nahezu identisch mit derjenigen des ersten Umgebungssensors. Die Verzerrungen in diesem Bereich können auf diese Weise auf ein bislang nicht mögliches Niveau gesenkt werden, wodurch die einschlägigen Normen (z.B. ECE-R46) erfüllt werden. The above object is achieved according to the invention by a method for joining partial images to form an image of a contiguous surrounding area of a means of transportation. For this purpose, in a first step, a first partial area of the surrounding area is detected by means of an environmental sensor. The surrounding area may be, for example, a rear area of the vehicle, which is approximately at an area behind the front bumper of a vehicle and left or right of the Vehicle is located. The first environmental sensor may be, for example, a two-dimensional (2D) optical camera. This can be arranged in the area of a fender and / or an exterior mirror of a means of locomotion. In addition, a second partial area (which is at least not completely identical to the first partial area) of the same surrounding area is detected by means of a second environmental sensor. The second environmental sensor may also be an optical sensor. In contrast to the first environmental sensor, however, the second environmental sensor can receive additional information, enabling it, for example, three-dimensional images of the second sub-area. In a second step, a first partial image of the image of the surrounding area is generated on the basis of a signal of the first environmental sensor and a second partial image of the image of the surrounding area on the basis of a signal of the second environmental sensor. The second partial image is also based on a large number of virtual sensors for detecting the second partial area. The multiplicity of virtual sensors could also be referred to as a multiplicity of alternative perspectives on the second subarea, which is created (eg calculated) on the basis of signals acquired by real sensors. In this way, there are a large number of perspectives on the second subarea. According to the invention, the virtual sensors are arranged at positions substantially on a perpendicular to a joint line, along which the first partial image and the second partial image are joined together. In this way, each virtual sensor has a different distance from the first joint line. In particular, each virtual sensor has an integer multiple of a basic distance of a specific virtual sensor from the joint line, which is arranged comparatively close to the joint line. While the joint line between two sensors directed into different azimuthal spatial regions is usually arranged vertically, a joining surface can also be identified for three-dimensional image regions, which defines the spatial boundary surfaces of different environmental images during assembly. The virtual sensors can also be arranged on a substantially vertical with respect to such a joining surface. By at least one virtual sensor with respect to a detection angle limit of the first environmental sensor, a similar Perspective than the second environment sensor, there is the possibility of generating less distortion on the signals of said virtual sensor in the assembly of the first field and the field. Particularly in the generation of an image of a vehicle environment, such small distortions arise that optical aids, such as, for example, inside / outside mirrors, can be dispensed with. In this way, reduces the wind resistance of a means of transport, which reduces the energy required to move it. In addition, it is possible to enrich synthetic images with additional information and to arrange the cameras in positions that represent a more comprehensive and thus more suitable image of the vehicle environment. For example, the first subarea may include a so-called "blind spot" which the operator of the vehicle may otherwise only sense with loss of comfort and loss of an impression of remaining surrounding areas The area of the joint line is thus almost identical to that of the first environmental sensor, which means that the distortions in this area can be reduced to a previously impossible level, which complies with the relevant standards (eg ECE-R46).
Insbesondere sind die virtuellen Sensoren horizontal zueinander beabstandet anzuordnen, so dass ihre jeweiligen Kernerfassungsbereiche dicht nebeneinander angeordnete, vertikale Streifen („Segmente") des zweiten Teilbereiches ablichten. Auf diese Weise wird eine äußerst verzerrungsarme Wiedergabe des zweiten Teilbildes auch für den Fall möglich, dass eine anschließende Umwandlung des zweiten Teilbildes (z.B. von einer dreidimensionalen Datenbasis auf eine zweidimensionale Datenbasis) verzerrungsarm erfolgen kann. In particular, the virtual sensors are to be arranged horizontally spaced apart so that their respective core detection areas scan closely spaced vertical stripes ("segments") of the second subarea subsequent conversion of the second partial image (for example, from a three-dimensional database to a two-dimensional database) can be carried out with little distortion.
Die Kernerfassungsbereiche der virtuellen Sensoren können zur Erzeugung vertikaler Bildsegmente verwendet werden, welche entlang zweiter Fügelinien aneinander gefügt das zweite Teilbild ergeben. Die zweiten Fügelinien können beispielsweise parallel zur ersten Fügelinie angeordnet sein. Je mehr virtuelle Sensoren verwendet werden, desto geringer sind die Verzerrungen innerhalb des zweiten Teilbildes. Sofern die Fügelinien bzw. Fügeflächen im Wesentlichen mit der linken und der rechten Seite eines mittels des Fortbewegungsmittels durchfahrenen Fahrschlauches (oder Trajektorie) bei einer Geradeausfahrt entsprechen, wird der Bereich hinter dem Fortbewegungsmittel somit durch die Vielzahl Segmente zusammengesetzt. In diesem Bereich können beispielsweise bekannte Verfahren (z.B. Alpha-Blending) verwendet werden. Ein anderes Verfahren wird als „Interpolation von Sichtstrahlen" bezeichnet und in der Veröffentlichung „Megastereo: Contructing High-Resolution Stereo Panoramas" im Detail erläutert. Die Interpolation wird mit Hilfe des Net- Flow- Verfahrens erreicht. In diesem Verfahren wird die Bewegung („Flow") auf Pixelebene zwischen zwei Ansichten dargestellt. Mithilfe dieser Information kann jede Zwischenposition zwischen zwei unterschiedlichen Ansichten interpoliert werden. Damit kommt es zu einer wesentlichen Verminderung der Darstellungsprobleme von Objekten, die eine hohe Abweichung in der Entfernung zur Projektionsfläche aufweisen. The core detection areas of the virtual sensors can be used to generate vertical image segments which, joined together along second fin lines, yield the second partial image. The second bridle lines can be arranged for example parallel to the first joint line. The more virtual sensors are used, the lower are the distortions within the second sub-image. If the joint lines or joining surfaces essentially correspond to the left and the right side of a driving tube (or trajectory) traversed by means of locomotion when driving straight ahead, the area behind the means of locomotion is thus composed by the multiplicity of segments. In this area, for example, known methods (eg alpha blending) can be used. Another method is referred to as "interpolation of visual rays" and explained in detail in the publication "Megastereo: Contructing High-Resolution Stereo Panoramic". The interpolation is achieved using the NetFlow method. In this procedure, the flow ("flow") is represented at pixel level between two views, which interpolates each intermediate position between two different views, thus significantly reducing the display problems of objects that have a large deviation in distance to the projection surface.
Der erste Umgebungssensor kann beispielsweise ein 2D-Sensor sein. Er kann als (Mono-)Außenkamera im Bereich eines Kotflügels, eines Außenspiegels, einer Tür des Fortbewegungsmittels oder im Bereich einer Dachkante / eines Dachgepäckträgers ausgestaltet sein. Der zweite Umgebungssensor kann beispielsweise zwei optische Sensoren umfassen bzw. als Stereokamera ausgestaltet sein. Er kann im Bereich des Fahrzeughecks, insbesondere mittig, bezüglich der Fahrzeugbreite angeordnet sein. Auf diese Weise werden eine Vielzahl Bildinformationen des rückwärtigen Bereiches des Fortbewegungsmittels erfasst und für eine anschließende Bearbeitung bereitgehalten. Der Fachmann für Bildverarbeitung wird verstehen, dass erfindungsgemäß nicht lediglich optische Sensoren verwendet werden können, sondern dass jegliche Sensoren, welche ein zweidimensionales bzw. dreidimensionales Abbild der Umgebung erzeugen bzw. ermöglichen, anwendbar sind. Sofern der erste Teilbereich einer rechten Fahrzeugseite und der zweite Teilbereich einem zentralen rückwärtigen Umgebungsbereich des Fortbewegungsmittels zugeordnet sind, ist es vorteilhaft, auch für die linke Fahrzeugseite einen Umgebungssensor vorzusehen, der im Rahmen der vorliegenden Erfindung als dritter Umgebungssensor bezeichnet wird. Dieser dient der im Wesentlichen spiegelsymmetrischen Erweiterung des Umgebungsbereiches entsprechend den vorstehenden Ausführungen zum ersten Umgebungssensor. Mit anderen Worten wird ein dritter Teilbereich des Umgebungsbereiches erfasst, anschließend ein drittes Teilbild des dritten Teilbereiches auf Basis eines Signals des dritten Umgebungssensors erzeugt und das dritte Teilbild und das zweite Teilbild entlang einer geraden dritten Fügelinie zusammengefügt. Dabei können die erste Fügelinie und die dritte Fügelinie insbesondere einander gegenüberliegende Grenzlinien des zweiten Teilbildes darstellen. Bevorzugt sind die erste Fügelinie und die dritte Fügelinie hierbei parallel zueinander orientiert. Erfindungsgemäß werden auch die Verzerrungen im Bereich der dritten Fügelinie verringert. The first environmental sensor may be, for example, a 2D sensor. It can be designed as a (mono) outdoor camera in the area of a fender, an exterior mirror, a door of the means of locomotion or in the region of a roof edge / roof rack. The second environmental sensor may for example comprise two optical sensors or be configured as a stereo camera. It can be arranged in the region of the rear of the vehicle, in particular centrally, with respect to the vehicle width. In this way, a plurality of image information of the rear region of the means of transport are detected and kept ready for subsequent processing. It will be understood by those skilled in the art of image processing that not only optical sensors may be used in the present invention, but that any sensors capable of producing a two-dimensional or three-dimensional image of the environment may be applicable. If the first subarea of a right vehicle side and the second subarea are assigned to a central rearward surrounding region of the vehicle, it is advantageous to also for the left side of the vehicle to provide an environmental sensor, which is referred to in the context of the present invention as a third environment sensor. This serves for the essentially mirror-symmetrical expansion of the surrounding area in accordance with the above statements regarding the first environmental sensor. In other words, a third subregion of the surrounding region is detected, subsequently a third subimage of the third subregion is generated on the basis of a signal of the third environmental sensor, and the third subimage and the second subimage are joined together along a straight third finning line. In this case, the first joint line and the third joint line can in particular represent opposing boundary lines of the second sub-image. In this case, the first joint line and the third joint line are preferably oriented parallel to one another. According to the invention, the distortions in the region of the third joint line are also reduced.
Um Artefakte, wie sie beispielsweise beim sog. „Alpha-Blending" auftreten können, zu vermeiden, können die Teilbilder vor dem Zusammenfügen entlang der jeweiligen Fügelinie beschnitten werden. Eine erhebliche Überlappung, wie sie für bekannte Algorithmen beim Zusammenfügen unterschiedlicher Bilder erforderlich sind, kann erfindungsgemäß entfallen. Umso geringer ist auch die Anfälligkeit des erfindungsgemäßen Fügeverfahrens für Bildinhalte, welche bekannte Algorithmen regelmäßig an ihre Grenzen bringen. Mit anderen Worten kann das erste Teilbild entlang der ersten Fügelinie, das dritte Teilbild entlang der dritten Fügelinie und das zweite Teilbild entlang der ersten und der dritten Fügelinie von jeweils jenseits der Fügelinie befindlichen Bildanteilen bereinigt werden. Insofern, als die Perspektiven der verwendeten Sensoren im Fügebereich nahezu identisch sind, sind Verzerrungen unabhängig von Bildinhalten bzw. abgebildeten Objekten deutlich geringer als gemäß dem Stand der Technik. In order to avoid artifacts, such as those that can occur during so-called "alpha blending", the sub-images can be trimmed before joining along the respective fusing line, a considerable overlap, which is required for known algorithms when combining different images The susceptibility of the image content joining method according to the invention, which regularly brings known algorithms to their limits, is therefore also less: in other words, the first partial image along the first joint line, the third partial image along the third joint line and the second partial image along the first In the event that the perspectives of the sensors used in the joint area are almost identical, distortions are significantly lower, regardless of image contents or imaged objects, than according to FIG the state of the art.
Bevorzugt kann aus dem ersten Teilbild ein erster 2D-Datensatz erzeugt werden, welcher eine geeignete Perspektive eines Anwenders bei der Darbietung des 2D- Datensatzes auf einer zweidimensionalen Anzeigeeinheit bietet. Dabei wird der Inhalt des ersten Teilbildes auf eine virtuelle erste Projektionsfläche „umgerechnet", um die unterschiedlichen Perspektiven der Umgebungssensoren zusammenzuführen. Entsprechend werden auch die Segmente des zweiten Teilbildes und das dritte Teilbild in jeweilige 2D-Datensätze umgerechnet, indem sie auf jeweilige geeignete virtuelle Projektionsflächen gelegt werden. Sofern das zweite Teilbild bislang dreidimensionale Daten enthielt, kann zunächst eine Perspektive bzw. ein geeigneter Abstand (Relativposition bezüglich des Fortbewegungsmittels) der Projektionsfläche dynamisch bestimmt werden. Hierzu hat es sich als vorteilhaft herausgestellt, die aktuelle Position eines im Bereich der Fügelinien enthaltenen Umgebungsobjektes für die Positionierung der Projektionsfläche zu berücksichtigen. Insbesondere kann der Abstand der Projektionsfläche vom Fortbewegungsmittel mit denjenigen des Abstandes des Umgebungsobjektes vom Fortbewegungsmittel im Wesentlichen identisch sein. Die Verzerrungen lassen sich durch diesen Zusammenhang abermals reduzieren. Preferably, a first 2D data record can be generated from the first partial image, which offers a suitable perspective of a user in the presentation of the 2D data record on a two-dimensional display unit. In this case, the content of the first partial image is "converted" to a virtual first projection surface, around the different perspectives of the environmental sensors merge. Accordingly, the segments of the second partial image and the third partial image are converted into respective 2D data records by being placed on respective suitable virtual projection surfaces. If the second partial image previously contained three-dimensional data, initially a perspective or a suitable distance (relative position with respect to the means of locomotion) of the projection surface can be determined dynamically. For this purpose, it has proven to be advantageous to take into account the current position of an environment object contained in the region of the joint lines for the positioning of the projection surface. In particular, the distance of the projection surface from the means of locomotion with those of the distance of the surrounding object from the means of locomotion may be substantially identical. The distortions can be reduced by this connection again.
Ebenfalls günstig für eine weitere Reduzierung der Verzerrungen wirken sich eine mit der ersten virtuellen Projektionsfläche korrespondierende zweite virtuelle Projektionsfläche aus. Mit anderen Worten weisen die Projektionsflächen im Bereich der Fügelinien identische Abstände vom Fortbewegungsmittel auf. Likewise favorable for a further reduction of the distortions are a second virtual projection surface corresponding to the first virtual projection surface. In other words, the projection surfaces in the region of the joint lines have identical distances from the means of locomotion.
Die erste virtuelle Projektionsfläche kann eine konkave zylinderabschnittsartige Gestalt aufweisen, wobei sich der Anwender auf der Innenseite des Zylinders aufhält. Entsprechendes gilt für die zweite virtuelle Projektionsfläche und eine gegebenenfalls für einen 2D-Datensatz, welcher mittels eines dritten Umgebungssensors erstellt worden ist, verwendete dritte virtuelle Projektionsfläche. Insbesondere sind die jeweiligen zylinderabschnittsartigen Projektionsflächen auf einer gemeinsamen Zylinderfläche angeordnet, während sich der Anwender bzw. das Fortbewegungsmittel im Wesentlichen im Zylindermittelpunkt befindet. The first virtual projection surface may have a concave cylinder portion-like shape with the user staying on the inside of the cylinder. The same applies to the second virtual projection surface and a third virtual projection surface used if appropriate for a 2D data set which has been created by means of a third environmental sensor. In particular, the respective cylindrical portion-like projection surfaces are arranged on a common cylindrical surface, while the user or the locomotion means is located substantially in the cylinder center point.
Um mittels des vorbeschriebenen Verfahrens Innen-/Außenspiegel ersetzen zu können, ist ein Anzeigen zumindest eines Teils des erzeugten Abbildes des Umgebungsbereiches auf einer Anzeigeeinheit innerhalb des Fortbewegungsmittels erforderlich. Insbesondere kann die Anzeigeeinheit eine 2D-Anzeigeeinheit sein, welche in einem Armaturenbrett und/oder in einem Kombiinstrument des Fortbewegungsmittels angeordnet ist. Um den über das Abbild überwachten Bereich einerseits und die Bildauflösung andererseits in ein geeignetes Verhältnis zueinander zu bringen, hat sich ein auf der 2D- Anzeigeeinheit darzustellender Raumwinkelbereich zwischen Werten von 180° und 45°, insbesondere zwischen 120° und 60° und bevorzugt zwischen 100° und 80° bewährt. Im Bereich zwischen 78° und 90° wird der tote Winkel des Fortbewegungsmittels für den Fahrer eliminiert, wodurch sich die Akzeptanz der erfindungsgemäßen Abbildung des Umgebungsbereiches erhöht und das Mehr an Sicherheit für den Straßenverkehr erheblich steigt. Bevorzugt kann eine Position des angezeigten Teils des Abbildes im Ansprechen auf jeweilige Fahrsituationen geändert werden. Während es für Außenspiegel bekannt ist, im Ansprechen auf das Einlegen eines Rückwärtsganges einen bordsteinnahen Bereich darzustellen, was auch erfindungsgemäß durch Modifikation des Winkelbereiches des angezeigten Teils des Abbildes möglich ist, wird in einer besonders bevorzugten Ausgestaltung vorgesehen, das Aktivieren eines Fahrtrichtungsanzeigers zum Anlass einer modifizierten Darstellung des Abbildes zu nehmen. Beispielsweise kann der jeweils beim Abbiegen relevante Seitenbereich erweitert werden, indem zusätzliche Anteile des jeweiligen Umgebungssensorsignals Einzug in die erfindungsgemäße Abbildung erhalten. In order to be able to replace interior / exterior mirrors by means of the method described above, it is necessary to display at least part of the generated image of the surrounding area on a display unit within the means of locomotion. In particular, the display unit may be a 2D display unit which is located in a dashboard and / or in a dashboard Instrument cluster of the means of locomotion is arranged. In order to bring the monitored area on the one hand and the image resolution on the other hand in a suitable ratio to each other, has a displayed on the 2D display unit solid angle range between values of 180 ° and 45 °, in particular between 120 ° and 60 °, and preferably between 100 ° and 80 ° proven. In the range between 78 ° and 90 °, the blind spot of the means of locomotion for the driver is eliminated, which increases the acceptance of the imaging of the surrounding area according to the invention and significantly increases the safety on the road. Preferably, a position of the displayed part of the image may be changed in response to respective driving situations. While it is known for outside mirrors, in response to the engagement of a reverse gear to represent a curb area, which is also possible according to the invention by modification of the angular range of the displayed part of the image, is provided in a particularly preferred embodiment, the activation of a direction indicator on the occasion of a modified To take representation of the image. By way of example, the side area relevant in each case for bending can be widened by introducing additional portions of the respective ambient sensor signal into the illustration according to the invention.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Fahrerassistenzsystem vorgeschlagen, welches einen ersten Umgebungssensor, einen zweiten Umgebungssensor, eine Auswerteeinheit und eine 2D- Anzeigeeinheit umfasst. Die Auswerteeinheit kann beispielsweise einen programmierbaren Prozessor in Form eines MikroControllers oder Nanocontrollers umfassen. Im automobilen Bereich werden solche Auswerteeinheiten auch als elektronische Steuergeräte (ECU) bezeichnet. Die 2D-Anzeigeeinheit kann beispielsweise als Matrix-Anzeige zur Montage in einem Armaturenbrett eines Fortbewegungsmittels und/oder in einem Kombiinstrument eines Fortbewegungsmittels vorgesehen sein. Für den ersten Umgebungssensor, den zweiten Umgebungssensor und einen optional verwendbaren dritten Umgebungssensor gilt das in Verbindung mit dem erstgenannten Erfindungsaspekt Gesagte entsprechend. Auf diese Weise ist das Fahrerassistenzsystem eingerichtet, die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile entsprechend dem erstgenannten Erfindungsaspekt zu verwirklichen. Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches beispielsweise als PKW, als Transporter, als LKW, als Wasser- und/oder Luftfahrzeug ausgestaltet sein kann. Erfindungsgemäß weist das Fortbewegungsmittel ein Fahrerassistenzsystem auf, wie es vorstehend beschrieben worden ist. Indem das Fortbewegungsmittel auf diese Weise dieselben Merkmale, Merkmalskombinationen und Vorteile verwirklicht, erhöht sich der Anwenderkomfort für den Anwender und die Verkehrssicherheit für alle im Bereich des Fortbewegungsmittels befindlichen Verkehrsteilnehmer. According to a second aspect of the present invention, a driver assistance system is proposed which comprises a first environment sensor, a second environment sensor, an evaluation unit and a 2D display unit. The evaluation unit may comprise, for example, a programmable processor in the form of a microcontroller or nanocontroller. In the automotive sector, such evaluation units are also referred to as electronic control units (ECU). The 2D display unit may be provided for example as a matrix display for mounting in a dashboard of a means of transportation and / or in a combination instrument of a means of transportation. For the first environment sensor, the second environment sensor, and an optional third environment sensor, this is in conjunction with the former Inventions aspect said accordingly. In this way, the driver assistance system is set up to realize the features, feature combinations and the resulting advantages thereof according to the first aspect of the invention. According to a third aspect of the present invention, a means of transportation is proposed, which can be designed, for example, as a car, as a transporter, as a truck, as a watercraft and / or aircraft. According to the invention, the means of locomotion comprises a driver assistance system, as has been described above. In this way, the means of transport realizes the same features, combinations of features and advantages, increases the user comfort for the user and the traffic safety for all road users located in the area of the means of locomotion.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen: Further details, features and advantages of the invention will become apparent from the following description and the figures. Show it:
Figur 1 eine Artefakt behaftete Abbildung einer Fahrsituation; FIG. 1 shows an artifact-affixed illustration of a driving situation;
Figur 2 Komponenten eines Ausführungsbeispiels eines erfindungsgemäßen Fortbewegungsmittels; Figure 2 components of an embodiment of a means of transport according to the invention;
Figur 3 erfindungsgemäß erstellte Teilbilder eines Umgebungsbereiches; Figur 4 eine erfindungsgemäße Synthese der in Figur 3 dargestellten FIG. 3 shows partial images of a surrounding area produced according to the invention; FIG. 4 shows a synthesis according to the invention of that shown in FIG
Teilbilder; und  Partial images; and
Figur 5 ein Flussdiagramm veranschaulichend Schritte eines Figure 5 is a flow chart illustrating steps of a
Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.  Embodiment of a method according to the invention.
Figur 1 zeigt eine gemäß dem Stand der Technik zusammengefügte Abbildung einer Fahrsituation, wie sie durch den Rückspiegel eines Ego-Fahrzeugs beobachtbar sein könnte. Auf der Straße hinter dem Ego-Fahrzeug fährt ein Fremdfahrzeug 13 als Umgebungsobjekt. Zudem säumen Häuser 19 den Straßenrand. Aufgrund der unterschiedlichen Position der verwendeten Kameras sind in einem Bildbereich 18 keine Bilddaten verfügbar. Aufgrund der verwendeten Fügeverfahren treten Artefakte 17 auf, welche zu Verzerrungen innerhalb des Abbildes führen. Figure 1 shows an assembled according to the prior art image of a driving situation, as it could be observable by the rearview mirror of an ego vehicle. On the road behind the ego vehicle drives a foreign vehicle 13 as an environment object. In addition, houses 19 line the roadside. Due to the different position of the cameras used If no image data is available in an image area 18. Due to the joining methods used, artifacts 17 occur, which lead to distortions within the image.
Figur 2 zeigt eine schematische Draufsicht auf eine Fahrsituation eines Ausführungsbeispiels eines erfindungsgemäß ausgestalteten PKW 10 als Ego- Fortbewegungsmittel. Der PKW 10 bewegt sich in Fahrtrichtung P. Im Bereich seines rechten Kotflügels ist eine Außenkamera 1 als erster Umgebungssensor angeordnet, welcher einen azimutalen Winkelbereich von 65° erfasst. Entsprechend ist auf der linken Seite des PKW 10 eine Außenkamera 9 als dritter Umgebungssensor im Bereich des Kotflügels angeordnet. Mittig im Fahrzeugheck ist eine Stereokamera 2 angeordnet, welche durch eine weitere 2D-Außenkamera 20 ergänzt wird. Sämtliche Kameras 1 , 2, 9, 20 sind mit einem elektronischen Steuergerät 16 als Auswerteeinheit informationstechnisch verbunden. Überdies ist ein Bildschirm 14 als 2D-Anzeigeeinheit an das elektronische Steuergerät 16 angeschlossen. Um die mittels der Kameras 1 , 2, 9, 20 erfassten Informationen verzerrungsarm zu einem Abbild der Umgebung IV zusammenzufügen, wird aus den Bildern der Stereokamera 2 und der 2D- Außenkamera 20 eine Vielzahl Datenpakete errechnet, deren Perspektiven virtuellen Sensoren 3 entsprechen, welche im Wesentlichen auf einer Linie entlang der heckseitigen Stoßfänger des PKW 10 angeordnet sind. Zur besseren Kenntlichmachung ist eine Senkrechte 6 eingezeichnet, welche senkrecht auf den Fügelinien 4, 5 bzw. Fügeflächen (in Richtung senkrecht zur Bildebene) steht. Jeweilige konische Erfassungsbereiche der virtuellen Sensoren 3 sind gestrichelt kenntlich gemacht. Die Kernbereiche 7 der Erfassungsbereiche bilden Segmente, welche entlang zweiter Fügelinien 8 zu einem Abbildung II' des Teilbereiches II zusammengesetzt werden können. Indem die jeweilige Perspektive der äußerst gelegenen virtuellen Sensoren 3 auf die erste Fügelinie 4 bzw. die dritte Fügelinie 5 identisch mit der Perspektive der Außenkameras 1 bzw. 9 ist, ergeben sich beim Fügen der Abbilder I', II' und III' der Teilbereiche I, II, III nur reduzierte Unregelmäßigkeiten. Um diesen Effekt weiter zu verstärken, sind virtuelle Projektionsflächen 1 1 , 12 eingezeichnet, welche auf einer gemeinsamen zylindrischen Oberfläche angeordnet sind. Der Abstand der zylindrischen Projektionsfläche 12 ist dabei derart gewählt, dass er im Wesentlichen mit dem Abstand eines Fremdfahrzeugs 13 als Umgebungsobjekt übereinstimmt. Ein auf dem Bildschirm 14 dargestelltes Abbild IV des Umgebungsbereiches IV wird in Abhängigkeit eines Betriebszustandes eines Fahrtrichtungsanzeigers 15 gewählt, um für den Fahrer des PKW 10 besonders relevante Umgebungsbereiche bevorzugt darzustellen. Da in dem Bereich zwischen den Außenkameras 1 , 9 und den virtuellen Sensoren 3 keine Bilddaten vorliegen (in diesem Bereich befindet sich das Ego-Fahrzeug), kann hier auch nicht sinnvollerweise ein Bildsignal generiert werden (s. Bezugszeichen 18 in Figur 1 ). Figure 2 shows a schematic plan view of a driving situation of an embodiment of an inventively designed according to PKW 10 as ego means of locomotion. The car 10 moves in the direction of travel P. In the area of its right fender an outdoor camera 1 is arranged as a first environmental sensor, which detects an azimuthal angular range of 65 °. Accordingly, an external camera 9 is arranged as a third environmental sensor in the region of the fender on the left side of the car 10. Centered in the rear of the vehicle a stereo camera 2 is arranged, which is supplemented by another 2D outdoor camera 20. All cameras 1, 2, 9, 20 are connected to an electronic control unit 16 as an evaluation unit information technology. Moreover, a screen 14 is connected to the electronic control unit 16 as a 2D display unit. In order to merge the information acquired by means of the cameras 1, 2, 9, 20 into an image of the surroundings IV with little distortion, a multiplicity of data packets are computed from the images of the stereo camera 2 and the 2D outdoor camera 20, the perspectives of which correspond to virtual sensors 3, which correspond in the Essentially arranged on a line along the rear bumper of the car 10. For better identification, a vertical 6 is shown, which is perpendicular to the joint lines 4, 5 or joining surfaces (in the direction perpendicular to the image plane). Respective conical detection areas of the virtual sensors 3 are indicated by dashed lines. The core regions 7 of the detection regions form segments which can be assembled along second joint lines 8 to form a map II 'of the subregion II. By the respective perspective of the extremely located virtual sensors 3 on the first joint line 4 and the third joint line 5 is identical to the perspective of the outer cameras 1 and 9, resulting in the joining of the images I ', II' and III 'of the partial areas I. , II, III only reduced irregularities. To further enhance this effect, virtual projection surfaces 1 1, 12 are shown, which are arranged on a common cylindrical surface. The distance of cylindrical projection surface 12 is chosen such that it substantially coincides with the distance of a foreign vehicle 13 as environment object. An image IV of the surrounding area IV shown on the screen 14 is selected as a function of an operating state of a direction indicator 15, in order to preferably represent regions of interest particularly relevant to the driver of the car 10. Since there is no image data in the area between the exterior cameras 1, 9 and the virtual sensors 3 (the ego vehicle is located in this area), an image signal can not be sensibly generated here (see reference numeral 18 in FIG.
Figur 3 zeigt drei Teilbilder I', II', III', in welchen ein Fremdfahrzeug 13 als Umgebungsobjekt im Bereich einer ersten Fügelinie 4 angeordnet ist. Die jeweils im ersten Teilbild Γ bzw. im zweiten Teilbild II' befindlichen Teile des Fremdfahrzeugs 13 sind im Wesentlichen einander entsprechend ausgestaltet. Ein Zusammenfügen ist daher problemlos möglich und ein Minimum an Unregelmäßigkeiten zu erwarten. Erkennbar bietet der bislang datenleere Bereich 18 innerhalb der Teilbilder I', II', III' Gelegenheit, entweder Teile des Ego- Fortbewegungsmittels und/oder zusätzliche Hinweis an dessen Anwender einzublenden. Figur 4 zeigt das Ergebnis eines erfindungsgemäß durchgeführten Fügeprozesses unter Verwendung der in Figur 3 gezeigten Teilbilder I', II', III'. Die zusammengefügte Abbildung IV des Umgebungsbereiches weist eine Vielzahl per virtueller Sensoren 3 aufgenommener Bildsegmente 7 auf, welche lediglich als leichte Variationen bezüglich der Bildhelligkeit in Erscheinung treten könnten (in der Zeichnung nicht dargestellt). Sowohl die Konturen als auch die Perspektiven auf die unterschiedlichen Bereiche des Fremdfahrzeugs 13 entsprechen einander erheblich besser, als in der Darstellung gemäß Fig. 1 . Auf diese Weise ist ein für Kunden akzeptabler und normkonformer Ersatz für Außen- /Innenspiegel geschaffen. Figur 5 zeigt Verfahrensschritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens. Dabei werden im Schritt 100 ein erster Teilbereich, ein zweiter Teilbereich und ein dritter Teilbereich des Umgebungsbereiches eines Fortbewegungsmittels jeweiligerFIG. 3 shows three partial images I ', II', III ', in which a foreign vehicle 13 is arranged as an environment object in the region of a first joint line 4. The parts of the other vehicle 13 located respectively in the first sub-image Γ and in the second sub-image II 'are designed essentially corresponding to one another. Joining is therefore easily possible and a minimum of irregularities expected. As can be seen, the hitherto data-untreated area 18 within the sub-images I ', II', III 'offers the opportunity to display either parts of the ego means of locomotion and / or additional information to its user. FIG. 4 shows the result of a joining process carried out according to the invention using the partial images I ', II', III 'shown in FIG. The merged image IV of the surrounding area has a multiplicity of image segments 7 recorded by virtual sensors 3, which could only appear as slight variations in the image brightness (not shown in the drawing). Both the contours and the perspectives on the different regions of the foreign vehicle 13 correspond to each other considerably better than in the illustration according to FIG. 1. In this way, a customer-acceptable and standard-compliant replacement for exterior / interior mirrors is created. FIG. 5 shows method steps of an exemplary embodiment of a method according to the invention. In this case, in step 100, a first Partial area, a second sub-area and a third portion of the surrounding area of a vehicle respectively
Umgebungssensoren umfasst. Die Umgebungssensoren können beispielsweise optische Kameras umfassen. Insbesondere der zweite Umgebungssensor zur Erfassung des zweiten Teilbereiches kann eine Stereokamera umfassen bzw. anderweitig eingerichtet sein, ein 3D-Abbild des zweiten Teilbereichs zu erstellen. In Schritt 200 werden ein erstes Teilbild, ein zweites Teilbild und ein drittes Teilbild auf Basis der Signale der Umgebungssensoren erzeugt. Anschließend werden die Teilbilder zurechtgeschnitten, um erfindungsgemäß nicht erforderliche Überlappungen in den Bereichen einer ersten und einer dritten Fügelinie zu vermeiden. Auf Basis der zurechtgeschnittenen Teilbilder werden in Schritt 400 ein erster, ein zweiter und ein dritter 2D-Datensatz aus den Teilbildern generiert. Hierzu werden eine erste, eine zweite und eine dritte Projektionsfläche verwendet, welche auf einer gemeinsamen Zylinderoberfläche (nämlich auf der Innenseite desselben Zylinders) liegen. Der Radius des Zylinders bestimmt sich hierbei anhand eines im zweiten Teilbereich enthaltenen Umgebungsobjektes. In Schritt 500 werden das erste und das zweite Teilbild sowie das zweite und dritte Teilbild entlang einer jeweiligen geraden Fügelinie zusammengefügt, wobei die Fügelinien zueinander parallel angeordnet sind. Im nun zusammengefügten Abbild des Umgebungsbereiches sind die Fügelinien vertikal orientiert. In Schritt 600 wird ein Teil des Abbildes zur Anzeige auf einer 2D-Anzeigeeinheit ausgewählt, welcher einem azimutalen Winkelbereich von 81 ° entspricht. Auf diese Weise besteht für den Anwender des Verfahrens kein toter Winkel mehr neben seinem Fortbewegungsmittel. In Schritt 700 wird aufgrund einer beabsichtigten Kurvenfahrt ein Fahrtrichtungsanzeiger betätigt, im Ansprechen worauf eine Position des Teils innerhalb des Abbildes des Umgebungsbereiches variiert wird, um das Kurveninnere der anstehenden Kurvenfahrt besser auf der 2D-Anzeigeeinheit abzubilden. Hierzu wird der angezeigte Winkelbereich entweder erweitert oder derart geschwenkt, dass bislang dargestellte Bereiche an einem gegenüberliegenden Randbereich kurzfristig nicht mehr angezeigt werden. Erfindungsgemäß werden alle für den Fahrer notwendigen seitlichen und(oder rückwärtigen Sichtfelder durch ein über Umgebungssensoren generiertes Panoramabild abgedeckt. Dadurch werden auch die gesetzlichen Mindestsichtfelder sowie maximal zulässigen Verzerrungen eingehalten, wie sie u.a. in der Norm ECE-R46 festgelegt sind. Das Panoramabild entsteht durch die günstige Positionierung des Kameramodells und ersetzt bevorzugt sämtliche Spiegel des erfindungsgemäß ausgestalteten Fortbewegungsmittels. Environmental sensors includes. The environmental sensors may include, for example, optical cameras. In particular, the second environment sensor for detecting the second subarea may include a stereo camera or otherwise be set up to create a 3D image of the second subarea. In step 200, a first field, a second field, and a third field are generated based on the signals from the environmental sensors. Subsequently, the partial images are cut to avoid unnecessary overlaps according to the invention in the areas of a first and a third joint line. On the basis of the trimmed partial images, a first, a second and a third 2D data set are generated from the partial images in step 400. For this purpose, a first, a second and a third projection surface are used, which lie on a common cylinder surface (namely on the inside of the same cylinder). The radius of the cylinder is determined here based on an environment object contained in the second subregion. In step 500, the first and the second partial image as well as the second and third partial images are joined together along a respective straight joint line, wherein the joint lines are arranged parallel to one another. In the now merged image of the surrounding area, the joint lines are oriented vertically. In step 600, a portion of the image is selected for display on a 2D display unit corresponding to an azimuthal angular range of 81 °. In this way, there is no dead angle next to his means of transportation for the user of the process. In step 700, a turn signal is actuated due to an intended turn, in response to which a position of the part within the image of the surrounding area is varied to better map the turn inside of the upcoming turn on the 2D display unit. For this purpose, the displayed angle range is either extended or pivoted so that previously displayed areas on an opposite edge area are no longer displayed in the short term. According to the invention, all the lateral and / or rear view fields required by the driver are covered by a panoramic image generated by environmental sensors, which also complies with the statutory minimum fields of vision and maximum permissible distortions, as defined, inter alia, in the ECE-R46 standard favorable positioning of the camera model and preferably replaces all the mirrors of the means of transport configured according to the invention.
In einem Ausführungsbeispiel der vorliegenden Erfindung werden das erste und das dritte Teilbild aus der Perspektive der vorderen Seite eines Fahrzeugs in der Weise beschnitten, dass die Fahrzeugkonturen nicht mehr im Bestandteil des jeweiligen Bildes enthalten sind. Die Heckkamera ist als Stereokamera ausgestaltet, welche eine Tiefenlandkarte (Disparitätskarte) erzeugt. Selbstverständlich können die Informationen der Disparitätskarte auch über zusätzliche (z.B. nicht-optische) Sensoren erhalten werden. Auf die 3D- Informationen wird das ursprüngliche Bild der 2D-Bildinformationen gelegt. Nun werden im Erfassungsbereich der Stereokamera mehrere virtuelle Kameras erzeugt, die sehr eng nur den jeweiligen Bereich hinter dem Fahrzeug in der Breite des Fahrzeugs erfassen sollen. Durch Beschnitt der 3D-Bildinformation resultiert ein „Fahrschlauch" (bei gedachter gerader Fahrtrichtung) in Fahrzeugbreite hinter dem Ego-Fahrzeug. Als letzter Schritt werden die seitlichen Kameras auf eine zylindrische Fläche projiziert und nahtlos an den mittigen Fahrschlauch angefügt. In one embodiment of the present invention, the first and third partial images are trimmed from the perspective of the front side of a vehicle in such a way that the vehicle contours are no longer included in the component of the respective image. The rear camera is designed as a stereo camera, which generates a depth map (Disparitätskarte). Of course, the disparity card information may also be obtained via additional (e.g., non-optical) sensors. The original information of the 2D image information is placed on the 3D information. Now in the detection range of the stereo camera several virtual cameras are generated, which are to capture very closely only the respective area behind the vehicle in the width of the vehicle. Trimming the 3D image information results in a "drive tube" (in the imaginary straight direction of travel) in the vehicle width behind the ego vehicle.The last step is to project the lateral cameras onto a cylindrical surface and attach them seamlessly to the central drive tube.
Durch das erfindungsgemäß erzeugte Panoramabild kann das Sichtfeld des Fahrers erweitert werden. Erfindungsgemäß gibt es keine Sichtverdeckung durch Fahrzeugteile. Es gibt aufgrund der erfindungsgemäßen Beschneidung der Teilbilder auch keine redundanten Bildinhalten zwischen den einzelnen Sichtfeldern. Das Panoramabild ermöglicht eine signifikant bessere Darstellung von Umgebungsinformationen zur Fahrerassistenz. Die Panoramadarstellung ermöglicht es, entweder bei gleichem absoluten Sichtfeld einen einzelnen kleineren Monitor zu verwenden, was Kostenvorteile, Gewichtsvorteile und Volumenvorteile mit sich bringt, oder die Darstellung eines größeren Sichtfeldes auf einem einzelnen Monitor gegebener Größe. Durch den Einsatz eines großen azimutalen Sichtwinkels von mind. 78° ist es überdies möglich, den Totwinkelbereich zu verringern bzw. zu eliminieren. By means of the panoramic image produced according to the invention, the field of vision of the driver can be widened. According to the invention, there is no vision obstruction by vehicle parts. There are also no redundant image contents between the individual fields of view due to the inventive circumcision of the partial images. The panorama image allows a significantly better representation of driver assistance environment information. The panorama view makes it possible to use a single smaller monitor with the same absolute field of view, which offers cost advantages, weight advantages and volume advantages, or the representation of a larger field of view on a single monitor of a given size. By using a big one azimuthal angle of view of at least 78 °, it is also possible to reduce or eliminate the blind spot area.
Bezugszeichenliste: 1 Außenkamera LIST OF REFERENCES: 1 outdoor camera
2 Stereokamera  2 stereo camera
3 virtuelle Sensoren  3 virtual sensors
4 erste Fügelinie  4 first joint line
5 dritte Fügelinie  5 third joint line
6 Senkrechte auf den Fügelinien 4, 5 6 vertical on the joint lines 4, 5
7 Segmente  7 segments
8 zweite Fügelinien  8 second joint lines
9 Außenkamera  9 outdoor camera
10 PKW  10 cars
1 1 , 12 Projektionsfläche 1 1, 12 projection surface
13 Fremdfahrzeug  13 foreign vehicle
14 Bildschirm  14 screen
15 Fahrtrichtungsanzeiger  15 direction indicator
16 elektronisches Steuergerät (Auswerteeinheit) 17 Artefakte  16 electronic control unit (evaluation unit) 17 artifacts
18 datenloser Bildbereich  18 dataless image area
19 Häuser  19 houses
20 2D-Außenkamera  20 2D outdoor camera
100-700 Verfahrensschritte 100-700 process steps
I erster Teilbereich I first subarea
I' erstes Teilbild  I 'first part picture
11 zweiter Teilbereich  11 second subarea
II' zweites Teilbild II 'second field
III dritter Teilbereich  III third section
III' drittes Teilbild III 'third part picture
IV Umgebungsbereich  IV environment area
IV Abbild des Umgebungsbereiches  IV image of the surrounding area
P Pfeil (Fahrtrichtung)  P arrow (direction of travel)

Claims

Patentansprüche: 1 . Verfahren zum Zusammenfügen von Teilbildern (Γ, II', III') zu einem Abbild (IV) eines zusammenhängenden Umgebungsbereiches (IV) eines Fortbewegungsmittels (10) umfassend die Schritte:  Claims: 1. Method for joining partial images (Γ, II ', III') to an image (IV) of a contiguous surrounding region (IV) of a means of transportation (10) comprising the steps:
Erfassen (100) eines ersten Teilbereiches (I) des Umgebungsbereiches (IV) mittels eines ersten Umgebungssensors (1 ),  Detecting (100) a first subarea (I) of the surrounding area (IV) by means of a first environmental sensor (1),
- Erfassen (100) eines zweiten Teilbereiches (II) des Umgebungsbereiches (IV) mittels eines zweiten Umgebungssensors (2),  Detecting (100) a second partial area (II) of the surrounding area (IV) by means of a second environmental sensor (2),
Erzeugen (200) eines ersten Teilbildes (Ι') des ersten Teilbereiches (I) auf Basis eines Signals des ersten Umgebungssensors (1 ),  Generating (200) a first partial image (Ι ') of the first partial region (I) on the basis of a signal of the first environmental sensor (1),
Erzeugen (200) eines zweiten Teilbildes (ΙΓ) des zweiten Teilbereiches (II) auf Basis eines Signals des zweiten Umgebungssensors (2) und einer Vielzahl virtueller Sensoren (3) zur Erfassung des zweiten Teilbereiches (I I),  Generating (200) a second sub-image (ΙΓ) of the second sub-region (II) on the basis of a signal of the second environmental sensor (2) and a plurality of virtual sensors (3) for detecting the second sub-region (I I),
Zusammenfügen (500) des ersten Teilbildes (Ι') und des zweiten Teilbildes (II') entlang einer geraden ersten Fügelinie (4), wobei  Assembling (500) the first partial image (Ι ') and the second partial image (II') along a straight first joint line (4), wherein
die virtuellen Sensoren (3) an Positionen im Wesentlichen auf einer Senkrechten (6) zur ersten Fügelinie (4) angeordnet sind.  the virtual sensors (3) are arranged at positions substantially on a vertical (6) to the first joint line (4).
2. Verfahren nach Anspruch 1 , wobei ein virtueller Sensor (3) in unmittelbarer Nähe der ersten Fügelinie (4) angeordnet ist. 2. The method of claim 1, wherein a virtual sensor (3) in the immediate vicinity of the first joint line (4) is arranged.
3. Verfahren nach Anspruch 1 oder 2, wobei die virtuellen Sensoren (3) horizontal zueinander beabstandet angeordnet sind. 3. The method of claim 1 or 2, wherein the virtual sensors (3) are arranged horizontally spaced from each other.
4. Verfahren nach einem der vorstehenden Ansprüche, wobei das zweite Teilbild (ΙΓ) jeweils einem virtuellen Sensor (3) zugeordnete Segmente (7) umfasst, welche entlang zur ersten Fügelinie (4) im Wesentlichen parallel verlaufender zweiter Fügelinien (8) aneinander gefügt sind. 4. The method according to any one of the preceding claims, wherein the second partial image (ΙΓ) in each case a virtual sensor (3) associated segments (7), which along the first joint line (4) substantially parallel second joint lines (8) are joined together ,
5. Verfahren nach einem der vorstehenden Ansprüche, wobei der erste Umgebungssensor (1 ) ein 2D-Sensor, und/oder der zweite Umgebungssensor (2) eine 3D-Sensoranordnung ist. 5. The method according to any one of the preceding claims, wherein the first environmental sensor (1) is a 2D sensor, and / or the second environmental sensor (2) is a 3D sensor arrangement.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei die Umgebungssensoren (1 , 2, 9, 20), insbesondere sämtliche Umgebungssensoren (1 , 2, 9, 20), optische Sensoren umfassen. 6. The method according to any one of the preceding claims, wherein the environmental sensors (1, 2, 9, 20), in particular all environmental sensors (1, 2, 9, 20), comprise optical sensors.
7. Verfahren nach einem der vorstehenden Ansprüche weiter umfassend - Erfassen (100) eines dritten Teilbereiches (III) des Umgebungsbereiches (IV) mittels eines dritten Umgebungssensors (III), 7. The method as claimed in claim 1, further comprising: detecting a third subarea of the surrounding area by means of a third environmental sensor;
Erzeugen (200) eines dritten Teilbildes ( I II') des dritten Teilbereiches (III) auf Basis eines Signals des dritten Umgebungssensors (9), und  Generating (200) a third partial image (I II ') of the third partial region (III) on the basis of a signal of the third environmental sensor (9), and
Zusammenfügen (500) des dritten Teilbildes (III') und des zweiten Teilbildes (II') entlang einer geraden dritten Fügelinie (5), wobei die erste Fügelinie (4) und die dritte Fügelinie (5) insbesondere einander gegenüberliegende Grenzlinien des zweiten Teilbildes (ΙΓ) darstellen.  Joining (500) the third partial image (III ') and the second partial image (II') along a straight third joint line (5), wherein the first joint line (4) and the third joint line (5) in particular opposite border lines of the second partial image ( ΙΓ).
8. Verfahren nach einem der vorstehenden Ansprüche, weiter umfassend - Entfernen (300) eines potentiell jenseits der ersten Fügelinie (4) befindlichen Bereiches des ersten Teilbildes (Γ) vor dem Zusammenfügen, und/oder 8. The method according to any one of the preceding claims, further comprising - removing (300) of a potentially beyond the first joint line (4) located portion of the first partial image (Γ) before joining, and / or
Entfernen (300) potentiell jenseits der ersten Fügelinie (4) und/oder der dritten Fügelinie (5) befindlicher Bereiche des zweiten Teilbildes (ΙΓ) vor dem Zusammenfügen, und/oder  Removing (300) areas of the second partial image (ΙΓ) potentially located beyond the first joint line (4) and / or the third joint line (5) before assembly, and / or
Entfernen (300) eines potentiell jenseits der dritten Fügelinie (5) befindlichen Bereiches des dritten Teilbildes (III') vor dem Zusammenfügen.  Removing (300) a portion of the third partial image (III ') potentially located beyond the third joint line (5) before joining.
9. Verfahren nach einem der vorstehenden Ansprüche, weiter umfassend den Schritt 9. The method according to any one of the preceding claims, further comprising the step
Erzeugen (400) eines ersten 2D-Datensatzes aus dem ersten Teilbild (Ι') bezüglich einer virtuellen ersten Projektionsfläche (1 1 ), und/oder Erzeugen (400) eines zweiten 2 D- Datensatzes aus dem zweiten Teilbild (ΙΓ) bezüglich einer virtuellen zweiten Projektionsfläche (12), Generating (400) a first 2D data set from the first partial image (Ι ') with respect to a virtual first projection surface (1 1), and / or Generating (400) a second 2 D data set from the second partial image (ΙΓ) with respect to a virtual second projection surface (12),
wobei insbesondere eine Position eines Umgebungsobjektes (13) relativ zum Fortbewegungsmittel (10) eine Position der Projektionsfläche (1 1 , 12) dynamisch bestimmt. wherein in particular a position of an environment object (13) relative to the means of transport (10) determines a position of the projection surface (1 1, 12) dynamically.
10. Verfahren nach Anspruch 9, wobei 10. The method of claim 9, wherein
die erste virtuelle Projektionsfläche (1 1 ) an der ersten Fügelinie (4) mit der zweiten virtuellen Projektionsfläche (12) korrespondiert. the first virtual projection surface (1 1) at the first joint line (4) corresponds to the second virtual projection surface (12).
1 1 . Verfahren nach Anspruch 9 oder 10, wobei die erste virtuelle Projektionsfläche (1 1 ) eine konkave zylinderabschnittsartige Gestalt aufweist, und/oder die zweite virtuelle Projektionsfläche (12) eine konkave zylinderabschnittsartige Gestalt aufweist, wobei insbesondere die jeweilige zylinderabschnittsartige Gestalt einem gemeinsamen Zylinder zugehören. 1 1. The method of claim 9 or 10, wherein the first virtual projection surface (1 1) has a concave cylindrical portion-like shape, and / or the second virtual projection surface (12) has a concave cylindrical portion-like shape, in particular the respective cylinder portion-like shape to a common cylinder.
12. Verfahren nach einem der vorstehenden Ansprüche, weiter umfassend12. The method according to any one of the preceding claims, further comprising
Anzeigen (600) eines Teils des Abbildes (IV) auf einer 2D-Anzeigeeinheit (14) innerhalb des Fortbewegungsmittels (10), wobei der Teil des Abbildes (IV) einen Winkelbereich zwischen 180° und 45°, insbesondere zwischen 120° und 60°, bevorzugt zwischen 100° und 80° wiedergibt. Displaying (600) a portion of the image (IV) on a 2D display unit (14) within the vehicle (10), the portion of the image (IV) having an angular range between 180 ° and 45 °, in particular between 120 ° and 60 ° , preferably between 100 ° and 80 °.
13. Verfahren nach Anspruch 12, weiter umfassend 13. The method of claim 12, further comprising
Variieren (700) einer Position des Teils des Abbildes (IV) im Ansprechen auf eine Fahrsituation, welche insbesondere durch das Aktivieren eines Fahrtrichtungsanzeigers (15) und/oder das Vorbereiten einer Rückwärtsfahrt erkannt wird.  Varying (700) a position of the part of the image (IV) in response to a driving situation, which is detected in particular by the activation of a direction indicator (15) and / or the preparation of a reverse drive.
Fahrerassistenzsystem umfassend Driver assistance system comprising
einen ersten Umgebungssensor (1 ),  a first environment sensor (1),
einen zweiten Umgebungssensor (2),  a second environmental sensor (2),
eine Auswerteeinheit (16), und eine 2D-Anzeigeeinheit (14), wobei das Fahrerassistenzsystem eingerichtet ist, ein Verfahren gemäß einem der vorstehenden Ansprüche auszuführen. 15. Fortbewegungsmittel, insbesondere ein PKW, ein Transporter, ein LKW, ein Wasser-und/oder Luftfahrzeug, umfassend ein Fahrerassistenzsystem nach Anspruch 14. an evaluation unit (16), and a 2D display unit (14), wherein the driver assistance system is configured to carry out a method according to one of the preceding claims. 15. means of transport, in particular a car, a van, a truck, a water and / or aircraft, comprising a driver assistance system according to claim 14.
EP15731967.4A 2014-07-11 2015-06-30 Merging of partial images to form an image of surroundings of a mode of transport Ceased EP3167427A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014213536.2A DE102014213536A1 (en) 2014-07-11 2014-07-11 Merging partial images into an image of an environment of a means of transportation
PCT/EP2015/064846 WO2016005232A1 (en) 2014-07-11 2015-06-30 Merging of partial images to form an image of surroundings of a mode of transport

Publications (1)

Publication Number Publication Date
EP3167427A1 true EP3167427A1 (en) 2017-05-17

Family

ID=53489973

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15731967.4A Ceased EP3167427A1 (en) 2014-07-11 2015-06-30 Merging of partial images to form an image of surroundings of a mode of transport

Country Status (5)

Country Link
US (1) US11087438B2 (en)
EP (1) EP3167427A1 (en)
CN (1) CN107027329B (en)
DE (1) DE102014213536A1 (en)
WO (1) WO2016005232A1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017118156A1 (en) * 2017-08-09 2019-02-14 Valeo Schalter Und Sensoren Gmbh Method for monitoring an environmental region of a motor vehicle, sensor control device, driver assistance system and motor vehicle
DE102017217870B4 (en) 2017-10-09 2023-09-28 Bayerische Motoren Werke Aktiengesellschaft Method for combining partial images to form an image of a contiguous surrounding area of a vehicle as well as driver assistance system and vehicle
DE102018203003A1 (en) * 2017-12-20 2019-06-27 Continental Automotive Gmbh Method and device for operating a camera monitor system for a motor vehicle
EP3737579B1 (en) 2018-01-09 2023-06-28 Motherson Innovations Company Limited Autonomous vehicles and methods of using same
CN108764045B (en) * 2018-04-26 2019-11-26 平安科技（深圳）有限公司 Livestock recognition methods, device and storage medium
US11074464B2 (en) 2019-07-25 2021-07-27 Ford Global Technologies, Llc Defining boundary for detected object
DE102019212124B4 (en) * 2019-08-13 2023-09-14 Audi Ag Motor vehicle and method for operating a motor vehicle
DE102019127277A1 (en) * 2019-10-10 2021-04-15 Canon Production Printing Holding B.V. Method and device for synchronizing a first printing device with a second component, in particular a second printing device
JP2022098337A (en) * 2020-12-21 2022-07-01 京セラ株式会社 Imaging device and image processing device
DE102021132334A1 (en) * 2021-12-08 2023-06-15 Bayerische Motoren Werke Aktiengesellschaft Scanning an environment of a vehicle
DE102022125210A1 (en) 2022-09-29 2024-04-04 Bayerische Motoren Werke Aktiengesellschaft Combining partial images of a vehicle environment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996038319A2 (en) * 1995-05-22 1996-12-05 Donnelly Corporation Rearview vision system for vehicle including panoramic view

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
JPH10178564A (en) * 1996-10-17 1998-06-30 Sharp Corp Panorama image generator and recording medium
WO1999015360A1 (en) 1997-09-19 1999-04-01 Robert Bosch Gmbh Visual device for a motor vehicle
JP3511892B2 (en) 1998-05-25 2004-03-29 日産自動車株式会社 Ambient monitoring device for vehicles
JP3297040B1 (en) 2001-04-24 2002-07-02 松下電器産業株式会社 Image composing and displaying method of vehicle-mounted camera and apparatus therefor
DE102006003538B3 (en) 2006-01-24 2007-07-19 Daimlerchrysler Ag Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section
EP2179892A1 (en) * 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Method for automatic calibration of a virtual camera
JP5182042B2 (en) * 2008-11-28 2013-04-10 富士通株式会社 Image processing apparatus, image processing method, and computer program
CN101442618A (en) * 2008-12-31 2009-05-27 葛晨阳 Method for synthesizing 360 DEG ring-shaped video of vehicle assistant drive
JP5223811B2 (en) * 2009-08-06 2013-06-26 株式会社日本自動車部品総合研究所 Image correction apparatus, image correction method, and conversion map creation method used therefor
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
JP5479956B2 (en) * 2010-03-10 2014-04-23 クラリオン株式会社 Ambient monitoring device for vehicles
DE102010023591A1 (en) 2010-06-12 2011-12-15 Conti Temic Microelectronic Gmbh Stereo Camera System
JP2012034076A (en) 2010-07-29 2012-02-16 Alps Electric Co Ltd Visual assistance system for vehicle, and vehicle provided with the same
DE102011087901A1 (en) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Method for displaying a vehicle environment
US10493916B2 (en) * 2012-02-22 2019-12-03 Magna Electronics Inc. Vehicle camera system with image manipulation
DE102012018326B4 (en) * 2012-09-15 2019-12-19 Zf Friedrichshafen Ag Method and device for an imaging driver assistance system with concealment-free foresight function
DE102013203404A1 (en) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Method and device for three-dimensional imaging of at least one subarea of a vehicle environment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996038319A2 (en) * 1995-05-22 1996-12-05 Donnelly Corporation Rearview vision system for vehicle including panoramic view

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of WO2016005232A1 *
STEFAN ANKER: "Aerodynamik: Autobauer wollen die Außenspiegel abschaffen - WELT", 3 April 2014 (2014-04-03), pages 1 - 4, XP055601237, Retrieved from the Internet <URL:https://www.welt.de/motor/article126524090/Autobauer-wollen-die-Aussenspiegel-abschaffen.html> [retrieved on 20190702] *

Also Published As

Publication number Publication date
CN107027329A (en) 2017-08-08
DE102014213536A1 (en) 2016-01-14
US11087438B2 (en) 2021-08-10
WO2016005232A1 (en) 2016-01-14
CN107027329B (en) 2021-12-14
US20170116710A1 (en) 2017-04-27

Similar Documents

Publication Publication Date Title
WO2016005232A1 (en) Merging of partial images to form an image of surroundings of a mode of transport
EP3512739B1 (en) Method for providing a rear-view-mirror view of the surroundings of a vehicle
EP2603402B1 (en) Method for displaying images on a display unit and driver assistance system
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
DE102006003538B3 (en) Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section
DE60124345T2 (en) Image composition system and method
EP1147032B1 (en) Device for monitoring the surrounding area of a vehicle during parking
DE102010035772B4 (en) System and method for providing guidance information to a driver of a vehicle
DE102011080702B3 (en) Object detection device for a vehicle, vehicle having such an object detection device
DE102012025322B4 (en) Motor vehicle with camera monitor system
DE102017100004A1 (en) Method for providing at least one information from a surrounding area of a motor vehicle, display system for a motor vehicle, driver assistance system for a motor vehicle and motor vehicle
DE102007059735A1 (en) Obstacle and vehicle e.g. lorry, recognition system, has cameras aligned such that area on side and over end of own vehicle are recognized, and output device providing information about object or vehicle within range of own vehicle
WO2010009844A1 (en) Method for informing a passenger of a vehicle
DE102016106255A1 (en) Vehicle exterior camera systems and methods
DE102014115037A1 (en) Vision-based object recognition and highlighting in vehicle image display systems
DE102010051206A1 (en) A method of generating an image of a vehicle environment and imaging device
DE102017117287A1 (en) VISIBILITY SYSTEM WITH DRIVING SITUATION-ORIENTED VIEW FIELD / VIEW AREA INSIGHT
DE102013214368A1 (en) Method and device for reproducing a lateral and / or rear surrounding area of a vehicle
DE102014205078A1 (en) System for viewing a curb in a front area based on two cameras
DE102010051204A1 (en) Method for displaying obstacle for vehicle, involves detecting area surrounding vehicle with camera system, and detecting obstacles with sensor element independent of camera system
EP2500216A1 (en) Method and device for images for a driver assistance system
EP2996327B1 (en) Surround view system for vehicles with attachments
DE102018108751B4 (en) Method, system and device for obtaining 3D information from objects
WO2017198429A1 (en) Ascertainment of vehicle environment data
DE102010033786A1 (en) Method for detecting and displaying areas laterally and laterally behind a vehicle and vehicle with several image acquisition units for detecting areas located laterally next to and laterally behind the vehicle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20161212

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20190711

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20201016