-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Multikamerasystems eines Kraftfahrzeugs, bei welchem zumindest zwei Kameras des Multikamerasystems jeweils Bilder eines Umgebungsbereichs des Kraftfahrzeugs bereitstellen und aus jeweils einem Bildbereich der zumindest zwei Kameras eine Gesamtdarstellung mittels einer elektronischen Recheneinrichtung erzeugt wird. Beim Erzeugen der Gesamtdarstellung werden jeweilige Werte zumindest eines Bildparameters der Bildbereiche aneinander angeglichen und hierbei auf einen gemeinsamen Sollwert eingestellt. Die Erfindung betrifft außerdem ein Multikamerasystem zum Durchführen eines solchen Verfahrens sowie ein Kraftfahrzeug mit einem derartigen Multikamerasystem.
-
Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik bekannt. In einem Kraftfahrzeug kann bekanntlich eine Vielzahl von Kameras eingesetzt werden, wobei es heutzutage mehr und mehr üblich wird, für ein Fahrerassistenzsystem eines Fahrzeugs eine Kameraanordnung mit wenigstens zwei Kameras zu verwenden, welche jeweils einen Umgebungsbereich des Kraftfahrzeugs erfassen. Es können beispielsweise vier Kameras eingesetzt werden, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Aus den Bildern aller Kameras kann dann eine Gesamtdarstellung bereitgestellt werden, nämlich insbesondere das sogenannte „Bird-Eye View”. Diese Gesamtdarstellung repräsentiert eine Draufsicht auf das Kraftfahrzeug sowie seine Umgebung aus einer Vogelperspektive und somit beispielsweise aus einem Referenzsichtpunkt direkt über dem Kraftfahrzeug. Die Bereitstellung einer solchen Gesamtdarstellung aus den Bildern mehrerer Kameras ist beispielsweise aus dem Dokument
US 2011/0156887 bekannt.
-
Beim Erzeugen einer Gesamtdarstellung aus den Bildern einer Vielzahl von Kameras, wie beispielsweise beim Erzeugen des genannten „Bird-Eye View”, müssen die jeweiligen Werte zumindest eines Parameters der Bilder aneinander angeglichen werden. Insbesondere sollen die jeweiligen Helligkeitswerte der Bilder unterschiedlicher Kameras aneinander angeglichen werden, wie auch die Weißabgleichswerte. Eine solche Vorgehensweise ist beispielsweise aus dem Dokument
EP 2 012 271 A2 bekannt. Hier werden die Helligkeitswerte der jeweiligen Bilder auf einen gemeinsamen Sollwert eingestellt.
-
Würden die Helligkeitswerte nicht aneinander angeglichen und würde somit jede Kamera die Belichtungszeit und den Verstärkungsfaktor des Bildsensors jeweils alleine für sich, abhängig von der jeweils abgebildeten Umgebung und somit ohne Rücksicht auf die anderen Kameras einstellen, so könnte es bei ungünstigen Umgebungsbedingungen vorkommen, dass die Helligkeitswerte der Bilder sehr unterschiedlich sind. In diesem Falle wäre die Helligkeit der Gesamtdarstellung uneinheitlich und würde über die unterschiedlichen Bildbereiche variieren. Gerade aus diesem Grund ist ein Abgleich der Helligkeitswerte der unterschiedlichen Bilder beim Erzeugen der Gesamtdarstellung erforderlich.
-
Die Veränderung der jeweiligen Parameterwerte der unterschiedlichen Bilder und das Anpassen der Parameterwerte der Bilder aneinander stellt im Stand der Technik eine besondere Herausforderung dar. In dem bereits genannten Dokument
EP 2 012 271 A2 wird dabei vorgeschlagen, den Abgleich der Parameterwerte mittels der elektronischen Recheneinrichtung durchzuführen. Dies bedeutet, dass die Anpassung der Helligkeitswerte der jeweiligen Bilder unterschiedlicher Kameras ausschließlich rechentechnisch mittels Bildverarbeitung erfolgt. Eine solche Vorgehensweise ist jedoch mit dem Nachteil verbunden, dass bei größeren Differenzen zwischen den Helligkeitswerten der Bilder und somit bei unterschiedlichen Helligkeitsgraden der Umgebungsbereiche des Kraftfahrzeugs der Rechenaufwand beim Anpassen der Helligkeitswerte relativ groß ist und außerdem auch Bildinformationen verloren gehen können.
-
Es ist Aufgabe der Erfindung, eine gegenüber dem Stand der Technik verbesserte Lösung für das Angleichen der Parameterwerte der jeweiligen Bildbereiche der zumindest zwei Kameras aneinander vorzuschlagen.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Multikamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Multikamerasystems eines Kraftfahrzeugs. Zumindest zwei Kameras stellen Bilder jeweils eines Umgebungsbereichs des Kraftfahrzeugs bereit. Aus jeweils einem Bildbereich der unterschiedlichen Bilder wird eine Gesamtdarstellung bzw. ein Gesamtbild mittels einer elektronischen Recheneinrichtung erzeugt. Beim Erzeugen der Gesamtdarstellung werden die jeweiligen Werte zumindest eines (gleichen) Bildparameters der Bildbereiche (z. B. Helligkeit und/oder Weißabgleich) der zumindest zwei Kameras aneinander angeglichen und hierbei wird der Bildparameter bei allen Bildbereichen auf einen gemeinsamen Sollwert eingestellt. Das Angleichen der jeweiligen Parameterwerte der Bildbereiche sieht folgendermaßen aus: Zunächst ist vorgesehen, dass durch Einstellen zumindest eines Betriebsparameters der jeweiligen Kamera die Parameterwerte auf einen vorgegebenen Wertebereich um den Sollwert beschränkt werden. Anschließend werden die Parameterwerte der Bildbereiche mittels eines Bildverarbeitungsalgorithmus durch die zentrale Recheneinrichtung auf den Sollwert eingestellt.
-
Demnach wird erfindungsgemäß ein Hybridansatz vorgeschlagen: Einerseits erfolgt das Anpassen der jeweiligen Parameterwerte durch Ansteuerung der Kameras und somit auf dem Kameraniveau intern in den Kameras; andererseits erfolgt eine Feinjustierung der Parameterwerte rechentechnisch mittels der zentralen elektronischen Recheneinrichtung, welche die Gesamtdarstellung berechnet. Zunächst werden die Parameterwerte nämlich auf der Seite der Kameras auf Zwischenwerte eingestellt, welche innerhalb eines vorgegebenen Wertebereichs um den Sollwert liegen. Die Feinjustierung wird dann auf der Ebene der elektronischen Recheneinrichtung mittels eines Bildverarbeitungsalgorithmus durchgeführt. Im Vergleich zu einer vollständigen Anpassung der Parameterwerte auf der Bildverarbeitungsebene hat das erfindungsgemäße Verfahren den Vorteil, dass der Rechenaufwand beim Durchführen des Bildverarbeitungsalgorithmus reduziert ist. Gegenüber der vollständigen Anpassung der Parameterwerte auf der Kameraebene wiederum hat das erfindungsgemäße Verfahren den Vorteil, dass der Aufwand der zentralen Ansteuerung der Kameras deutlich reduziert ist und die Regelung der Parameterwerte auf den gewünschten Sollwert deutlich schneller erfolgen kann. Die Kameras können die jeweiligen Parameterwerte nämlich relativ rasch auf den vorgegebenen Wertebereich um den Sollwert beschränken, während die anschließende Feinjustierung in der elektronischen Recheneinrichtung alleine durchgeführt wird. Die Anzahl der Iterationen bei der Anpassung der Parameterwerte auf der Kameraebene ist somit reduziert, und auch der Rechenaufwand in der elektronischen Recheneinrichtung ist minimal.
-
Optional können die Parameterwerte in mehr als einem Schritt mit dem Ziel des Konvergierens auf den eingeschränkten Bereich verändert werden, d. h. in zwei oder drei Schritten. Zu diesem Zweck können zwei oder mehrere unterschiedliche Wertebereiche definiert werden, und die Parameterwerte können zunächst auf einen ersten größeren Wertebereich und dann auf einen zweiten kleineren Wertebereich um den Sollwert begrenzt werden.
-
Vorzugsweise wird der Sollwert für die Parameterwerte der Bildbereiche im Betrieb des Multikamerasystems und somit „online” eingestellt. Somit können die Parameterwerte – wie beispielsweise die Helligkeitswerte der Bildbereiche – abhängig von den jeweils aktuellen Lichtverhältnissen in der Umgebung eingestellt werden. Durch diese Vorgehensweise kann stets eine Gesamtdarstellung mit einer sehr guten Bildqualität erzeugt werden.
-
Insbesondere ist dabei vorgesehen, dass der Sollwert auf einen Medianwert der Parameterwerte der Bildbereiche eingestellt wird, welche vor dem Angleichen erfasst werden. Bevor die Parameterwerte somit aneinander angeglichen werden, wird ein Medianwert der aktuellen Ist-Parameterwerte erfasst und als Sollwert verwendet. Wird als Bildparameter der Bildbereiche beispielsweise eine Helligkeit definiert, so werden die Helligkeitswerte der Bildbereiche auf einen Helligkeitsmedianwert eingestellt, sodass insgesamt eine gut wahrnehmbare Gesamtdarstellung mit einer mittleren Helligkeit erzeugt wird.
-
Gemäß einer anderen Ausführungsform kann der Sollwert auf den vor dem Angleichen erfassten Parameterwert des Bildbereichs einer der zumindest zwei Kameras eingestellt werden. Somit wird eine der Kameras als Referenzkamera betrieben, während die Parameterwerte der Bildbereiche anderer Kameras an den Parameterwert der Referenzkamera angeglichen werden. Diese Ausführungsform erweist sich insbesondere dann als besonders vorteilhaft, wenn die aktuellen Bilder der Referenzkamera separat von der Gesamtdarstellung gleichzeitig auf einem Display angezeigt werden sollen. Hier kann der zumindest eine Bildparameter dieser Bilder speziell für diese Ansicht angepasst werden, und die Parameterwerte der anderen Kameras können an den Parameterwert der Referenzkamera angepasst werden.
-
Die beiden oben genannten Ausführungsformen bezüglich der Einstellung des Sollwerts können auch miteinander kombiniert werden. Für ein vorbestimmtes Zeitintervall oder aber in einem ersten Betriebsmodus kann der Sollwert auf den Medianwert der Parameterwerte eingestellt werden. Für ein anderes Zeitintervall oder aber in einem zweiten Betriebsmodus des Kamerasystems kann der Sollwert auf den aktuellen Parameterwert einer der zumindest zwei Kameras eingestellt werden. Der erste Betriebsmodus wird insbesondere dann aktiviert, wenn auf einem Display ausschließlich die Gesamtdarstellung angezeigt wird. Demgegenüber wird der zweite Betriebsmodus insbesondere dann aktiviert, wenn neben der Gesamtdarstellung zusätzlich auch die aktuellen Bilder derjenigen Kamera angezeigt werden, deren Parameterwert als Sollwert für das Angleichen der Parameterwerte verwendet wird.
-
Bezüglich des zumindest einen Bildparameters der Bildbereiche können verschiedenste Ausführungsformen vorgesehen sein:
Zum einen kann als Bildparameter die Helligkeit der Bildbereiche definiert werden. Die Parameterwerte sind dann die Helligkeitswerte der Bildbereiche, insbesondere die jeweiligen Medianwerte der Helligkeit der Bildbereiche. Als Helligkeitswerte werden vorzugsweise Y-Werte der Bilder in dem YUV-Farbraum verstanden. Durch Angleichen der Helligkeitswerte der Bildbereiche aneinander – insbesondere durch Angleichen der jeweiligen Medianwerte der Helligkeit – kann eine Gesamtdarstellung bereitgestellt werden, welche eine einheitliche Helligkeit und somit keine Helligkeitssprünge aufweist. Die Gesamtdarstellung kann somit mit einer guten Qualität auf einem Display angezeigt werden.
-
Das Angleichen der Helligkeitswerte der Bildbereiche umfasst bevorzugt, dass zunächst durch Verändern der jeweiligen Belichtungszeit und/oder des jeweiligen Verstärkungsfaktors eines Bildsensors der Kameras die Helligkeitswerte der Bildbereiche auf den vorgegebenen Wertebereich um den Sollwert beschränkt werden. Zum Beschränken der Helligkeitswerte der Bildbereiche auf den vorgegebenen Wertebereich um den Sollwert wird somit die jeweilige Belichtungszeit und/oder der jeweilige Verstärkungsfaktor als Betriebsparameter der Kameras gesteuert, und zwar auf der Kameraebene. Die Belichtungszeit und der Verstärkungsfaktor des jeweiligen Bildsensors stellen dabei Betriebsparameter der Kameras dar. Durch Verändern dieser Betriebsparameter kann die Helligkeit der Bilder wirkungsvoll eingestellt werden.
-
Zum anderen kann als Bildparameter auch ein Weißabgleich der Bildbereiche definiert werden. Auch die jeweiligen Weißabgleichswerte der Bildbereiche unterschiedlicher Kameras können somit aneinander angeglichen werden, sodass bei allen Bildbereichen die gleichen Weißabgleichswerte eingestellt sind. Somit wird die Qualität der Gesamtdarstellung weiterhin erhöht.
-
Zum Beschränken der Weißabgleichswerte der Bildbereiche auf den vorgegebenen Wertebereich um den Sollwert ist vorzugsweise vorgesehen, dass ein interner Weißabgleich innerhalb der Kameras mittels jeweils einer internen Steuereinheit der Kameras durchgeführt wird. Dieser interne Weißabgleich kann beispielsweise mittels des jeweiligen Bildsensors (Imager) durchgeführt werden.
-
Es kann auch vorgesehen sein, dass im Fall, dass einer der vor dem Angleichen erfassten Parameterwerte der Bildbereiche einen vorbestimmten Grenzwert überschreitet, das Angleichen der jeweiligen Parameterwerte der Bildbereiche unterbleibt. Insbesondere dann, wenn der Helligkeitswert eines der Bildbereiche einen vorgegebenen Grenzwert überschreitet, deutet dies auf sehr helle Lichtverhältnisse in der Umgebung hin, und das Angleichen der Helligkeitswert wäre hier mit einem relativ großen Aufwand verbunden. In einem solchen Grenzfall kann auf das Angleichen der Parameterwerte verzichtet werden.
-
Als Gesamtdarstellung wird vorzugsweise eine Draufsichtdarstellung erzeugt, welche eine Draufsicht auf das Kraftfahrzeug und seine Umgebung zeigt. Zur Erzeugung einer solchen Gesamtdarstellung werden die Bilder aller Kameras zu einem gemeinsamen Bild verarbeitet und zusammengefasst, welches eine Draufsichtdarstellung auf das Kraftfahrzeug und die Umgebung um das Fahrzeug herum zeigt. Das Bild des Kraftfahrzeugs kann dabei in der Recheneinrichtung vorgespeichert sein. Zur Erzeugung einer derartigen Gesamtdarstellung wird aus den jeweiligen Bildern der Kameras jeweils vorzugsweise ein Bildbereich ausgeschnitten, welcher den jeweiligen Umgebungsbereich bis zu einer bestimmten Entfernung vom Kraftfahrzeug abbildet, nämlich beispielsweise bis zu einer Entfernung von 2 oder 3 oder 4 Metern vom Kraftfahrzeug.
-
Die Erfindung betrifft außerdem ein Multikamerasystem, welches zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist. Des Weiteren betrifft die Erfindung ein Kraftfahrzeug mit einem erfindungsgemäßen Multikamerasystem. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße System sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Es zeigen:
-
1 in schematischer Darstellung ein Kraftfahrzeug mit einem Multikamerasystem gemäß einer Ausführungsform der Erfindung;
-
2 in schematischer Darstellung ein Blockschaltbild eines Multikamerasystems gemäß einer Ausführungsform der Erfindung;
-
3 bis 6 Flussdiagramme eines Verfahrens gemäß einer Ausführungsform der Erfindung.
-
Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 hat ein Kamerasystem 2 mit beispielsweise vier Kameras 3, 4, 5, 6, welche an dem Kraftfahrzeug 1 derart verteilt angeordnet sind, dass die Kameras 3, 4, 5, 6 insgesamt die Umgebung um das Kraftfahrzeug 1 herum erfassen. Es wird somit die komplette Umgebung des Kraftfahrzeugs 1 und daher ein 360°-Bild erfasst. Die Kamera 3 ist dabei eine Frontkamera, welche im vorderen Bereich des Kraftfahrzeugs 1, beispielsweise hinter der Windschutzscheibe, angeordnet ist. Die Kamera 3 erfasst somit einen Umgebungsbereich 7 vor dem Kraftfahrzeug 1. Die zweite Kamera 4 ist eine Rückwärtskamera, welche im Heckbereich des Kraftfahrzeugs 1 angebracht ist, beispielsweise an einer Heckklappe oder hinter der Heckscheibe oder an einem hinteren Stoßfänger. Sie erfasst einen Umgebungsbereich 8 hinter dem Kraftfahrzeug 1. Die seitlichen Kameras 5, 6 können beispielsweise in die jeweiligen Außenspiegel integriert sein. Die dritte Kamera 5 erfasst dabei den Umgebungsbereich 9 links des Kraftfahrzeugs 1, während die vierte Kamera 6 einen Umgebungsbereich 10 auf der rechten Seite des Kraftfahrzeugs 1 erfasst.
-
Die Anzahl sowie die Anordnung der Kameras 3, 4, 5, 6 sind in 1 lediglich beispielhaft dargestellt und können je nach Ausführungsform variieren.
-
Die Kameras 3, 4, 5, 6 weisen einen relativ breiten Öffnungswinkel auf, der beispielsweise in einem Wertebereich von 160° bis 200° liegen kann. Die Kameras 3, 4, 5, 6 können beispielsweise sogenannte Fischaugenkameras sein. Sie können CCD-Kameras oder CMOS-Kameras sein.
-
Die Kameras 3, 4, 5, 6 sind Video-Kameras, welche jeweils eine Vielzahl von Einzelbildern pro Sekunde bereitstellen können. Die Bilder werden dann an eine zentrale Rechen- und Steuereinrichtung 11 übermittelt, welche die Bilder aller Kameras 3, 4, 5, 6 verarbeitet. Die Aufnahme der Bilder durch alle Kameras 3, 4, 5, 6 erfolgt vorzugsweise zeitsynchron.
-
Die Kamera 3 erfasst also den Umgebungsbereich 7 vor dem Kraftfahrzeug 1. Die Kamera 3 hat somit einen Erfassungsbereich bzw. ein Sichtfeld 12, welcher bzw. welches den Umgebungsbereich 7 vor dem Kraftfahrzeug 1 abdeckt. Entsprechend weist auch die zweite Kamera 4 ein Sichtfeld 13 auf, welches den Umgebungsbereich 8 hinter dem Kraftfahrzeug 1 abdeckt. Entsprechende Sichtfelder der Kameras 5, 6 sind in 1 mit 14 bzw. 15 bezeichnet. Wie aus 1 hervorgeht, können sich die Sichtfelder der Kameras 3, 4, 5, 6 paarweise und bereichsweise gegenseitig überlappen. Und zwar können sich die Sichtfelder 12 und 14 der Kameras 3, 5, die Sichtfelder 12 und 15 der Kameras 3, 6, wie auch die Sichtfelder 13 und 14 der Kameras 4, 5 sowie die Sichtfelder 13 und 15 der Kameras 4, 6 gegenseitig überlappen.
-
Die Rechen- und Steuereinrichtung 11 empfängt die Bilder aller Kameras 3, 4, 5, 6 und verarbeitet sie. Die Rechen- und Steuereinrichtung 11 berechnet aus den Videos aller Kameras 3, 4, 5, 6 in Echtzeit eine Gesamtdarstellung, welche eine Draufsicht auf das Kraftfahrzeug 1 und seine Umgebung 7, 8, 9, 10 aus einer Vogelperspektive zeigt. Bezogen auf die Einzelbilder der Kameras 3, 4, 5, 6 erzeugt die Rechen- und Steuereinrichtung 11 aus diesen Einzelbildern aller Kameras 3, 4, 5, 6 ein Gesamtbild, welches eine solche Draufsicht auf das Kraftfahrzeug 1 und seine Umgebung zeigt. Werden nun aus den gesamten Sequenzen von Einzelbildern der Kameras 3, 4, 5, 6 solche Gesamtbilder berechnet, so ergibt sich eine zeitliche Sequenz von Gesamtbildern, also ein Gesamtvideo. Dieses Gesamtvideo wird als Gesamtdarstellung in Echtzeit auf einem Display 16 im Kraftfahrzeug 1 dargestellt. Das Display 16 stellt dabei eine optische Anzeigeeinrichtung dar.
-
In 2 ist ein Blockdiagramm des Kamerasystems 2 dargestellt. Wie bereits ausgeführt, liefern die Kameras 3, 4, 5, 6 jeweilige Bilder B3, B4, B5, B6, aus denen eine Gesamtdarstellung GB erzeugt wird. Obwohl nachfolgend lediglich von Einzelbildern B3, B4, B5, B6 gesprochen wird, ist es selbstverständlich, dass die Kameras 3, 4, 5, 6 jeweils ein ganzes Video und somit eine zeitliche Sequenz von Bildern liefern.
-
Aus gleichzeitig erfassten Bildern B3, B4, B5, B6 der Kameras 3, 4, 5, 6 erzeugt die Rechen- und Steuereinrichtung 11 die Gesamtdarstellung GB, welche eine Draufsicht auf das Kraftfahrzeug 1 und die Umgebung um das Kraftfahrzeug 1 herum zeigt. Dazu wird aus jedem Bild B3, B4, B5, B6 jeweils ein Bildbereich B3', B4', B5', B6' verwendet, nämlich derjenige Bildbereich, welcher den jeweiligen Umgebungsbereich 7, 8, 9, 10 bis zu einer vorbestimmten Entfernung vom Kraftfahrzeug 1 zeigt. Diese Bildbereiche B3', B4', B5', B6' der Bilder B3, B4, B5, B6 werden dann zu einem Gesamtbild bzw. einer Gesamtdarstellung GB zusammengefasst und dahingehend verarbeitet, dass der Eindruck entsteht, als würde die Gesamtdarstellung GB die jeweiligen Umgebungsbereiche 7, 8, 9, 10 aus einer Vogelperspektive zeigen. Diese Gesamtdarstellung GB wird dann auf dem Display 16 in Echtzeit angezeigt.
-
Beim Erzeugen der Gesamtdarstellung GB werden die jeweiligen Parameterwerte zumindest eines Bildparameters der Bildbereiche B3', B4', B5', B6' aneinander angeglichen. Im Ausführungsbeispiel werden einerseits die jeweiligen Helligkeitswerte der Bildbereiche B3', B4', B5', B6' aneinander angeglichen, nämlich die jeweiligen Medianwerte der Helligkeit (die jeweiligen Helligkeitsmedianwerte). Andererseits werden auch die Weißabgleichswerte der Bildbereiche B3', B4', B5', B6' aneinander angeglichen. Das Angleichen der Parameterwerte der Bildbereiche B3', B4', B5', B6' erfolgt dabei in zwei separaten Stufen: Zunächst erfolgt eine erste grobe Anpassung der Parameterwerte durch Ansteuerung der Kameras 3, 4, 5, 6 mittels der Rechen- und Steuereinrichtung 11, wie dies in 2 mit Steuerleitungen 17 schematisch angedeutet ist. Zum groben Anpassen der Parameterwerte wird dabei zumindest ein Betriebsparameter der Kameras 3, 4, 5, 6 gesteuert, nämlich im Falle der Anpassung der Helligkeitswerte beispielsweise die jeweiligen Belichtungszeiten und/oder Verstärkungsfaktoren der Kameras 3, 4, 5, 6. Im Falle der Anpassung der Weißabgleichswerte erfolgt eine Steuerung des internen Weißabgleichs der Kameras 3, 4, 5, 6. In einer zweiten Stufe werden die Parameterwerte der Bildbereiche B3', B4', B5', B6' (die Helligkeitswerte und/oder die Weißabgleichswerte) rechentechnisch mittels der Rechen- und Steuereinrichtung 11 entsprechend einem vorbestimmten Bildverarbeitungsalgorithmus fein justiert und auf einen Sollwert eingestellt. Während die erste Stufe des Angleichens somit kameraintern durchgeführt wird, erfolgt die Feinjustierung gemäß der zweiten Stufe außerhalb der Kameras 3, 4, 5, 6 und somit kameraextern alleine mittels Bildverarbeitung der Bildbereiche B3', B4', B5', B6'.
-
Obwohl sich die nachfolgende Beschreibung auf die Anpassung von Helligkeitswerten der Bildbereiche B3', B4', B5', B6' bezieht, können in gleicher Weise auch die Weißabgleichswerte der Bildbereiche B3', B4', B5', B6' aneinander angeglichen werden.
-
In den 3 bis 6 sind nun Flussdiagramme eines Verfahrens gemäß einer Ausführungsform der Erfindung dargestellt. 3 zeigt dabei eine Hauptschleife des Verfahrens, welche nach Aktivieren des so genannten „Topview”-Betriebsmodus des Kamerasystems 2 so lange wiederholt wird, bis dieser Betriebsmodus wieder deaktiviert wird. Das Aktivieren des „Topview”-Betriebsmodus erfolgt in einem ersten Schritt S1, woraufhin das Verfahren zu einem zweiten Schritt S2 übergeht. Im Schritt S2 empfängt die Rechen- und Steuereinrichtung 11 die Bilder B3, B4, B5, B6 und schneidet die Bildbereiche B3', B4', B5', B6' aus. Im Rahmen des Schrittes S2 werden auch weitere Unterschritte durchgeführt, welche anhand des Flussdiagramms gemäß 4 näher erläutert werden. In einem Schritt S201 empfängt die Rechen- und Steuereinrichtung 11 die Bilddaten und speichert die Bildbereiche B3', B4', B5', B6'.
-
In einem weiteren Schritt S202 berechnet die Rechen- und Steuereinrichtung 11 die jeweiligen Helligkeitsmedianwerte: Ymed_A für die Kamera 3, Ymed_B für die Kamera 4, Ymed_C für die Kamera 5 und Ymed_D für die Kamera 6, sowie die jeweilige Varianz der Helligkeitswerte aller Bildbereiche B3', B4', B5', B6': Yvar_A für die Kamera 3, Yvar_B für die Kamera 4, Yvar_C für die Kamera 5 und Yvar_D für die Kamera 6. Dies bedeutet, dass für jeden Bildbereich B3', B4', B5', B6' jeweils der Helligkeitsmedianwert Ymed_A, Ymed_B, Ymed_C und Ymed_D (Y-Medianwert im YUV-Farbraum) sowie die Varianz der Helligkeitswerte Yvar_A, Yvar_B, Yvar_C und Yvar_D (Varianz der Y-Werte) berechnet werden.
-
In einem weiteren Schritt S203 berechnet die Rechen- und Steuereinrichtung 11 einen Gesamtmedianwert Ymed_Topview aus den Helligkeitsmedianwerten Ymed_A, Ymed_B, Ymed_C und Ymed_D der Bildbereiche B3', B4', B5', B6'. Dieser Gesamtmedianwert Ymed_Topview wird dann als Sollwert für die Anpassung der Helligkeitsmedianwerte Ymed_A, Ymed_B, Ymed_C und Ymed_D der Bildbereiche B3', B4', B5', B6' verwendet. Dieser Sollwert wird abgespeichert. Dies ist eine versatzresistente Angabe der mittleren Helligkeit des gesamten Draufsicht-Bilds und wird bei der Bestimmung verwendet, wie die Unterschiede zwischen den jeweiligen Kameramedianwerten Ymed_A, Ymed_B, Ymed_C und Ymed_D adressiert werden.
-
Mit erneutem Bezug auf 3 wird in einem Schritt S3 überprüft, ob das grobe Anpassen der jeweiligen Helligkeitsmedianwerte Ymed_A, Ymed_B, Ymed_C und Ymed_D der Bildbereiche B3', B4', B5', B6' erforderlich ist oder nicht. Dabei überprüft die Rechen- und Steuereinrichtung 11, ob die aktuellen Helligkeitsmedianwerte Ymed_A, Ymed_B, Ymed_C und Ymed_D der Bildbereiche B3', B4', B5', B6' innerhalb eines vorgegebenen Wertebereichs um den Sollwert Ymed_Topview liegen oder nicht. Ist ein grobes Angleichen der Helligkeitsmedianwerte Ymed_A, Ymed_B, Ymed_C und Ymed_D erforderlich, so geht das Verfahren zu einem weiteren Schritt S4 über, in welchem eine Nachregelung der Betriebsparameter der Kameras 3, 4, 5, 6 mittels der Rechen- und Steuereinrichtung 11 erfolgt, nämlich eine Nachregelung der jeweiligen Belichtungszeit und des jeweiligen Verstärkungsfaktors. Dieses grobe Anpassen der Helligkeitsmedianwerte Ymed_A, Ymed_B, Ymed_C und Ymed_D der Bildbereiche B3', B4', B5', B6' und somit die Beschränkung dieser Helligkeitsmedianwerte auf den vorgegebenen Wertebereich um den Sollwert Ymed_Topview erfolgt folglich kameraintern unter Ansteuerung der Kameras 3, 4, 5, 6 über die Steuerleitungen 17.
-
Dieser Ansatz dient zur Vermeidung übermäßiger Änderung der Kameras 3, 4, 5, 6 und der Ansicht im Allgemeinen. Es kann auch wie folgt implementiert werden: Falls alle Medianwerte Ymed_A, Ymed_B, Ymed_C und Ymed_D innerhalb eines vorgegebenen Wertebereichs um den Sollwert Ymed_Topview liegen, d. h. innerhalb +/–TH1 um Ymed_Topview (wobei TH1 beispielsweise auf 30 eingestellt ist) oder falls mindestens einer der Medianwerte Ymed_A, Ymed_B, Ymed_C, Ymed_D außerhalb eines größeren Wertebereichs liegt, d. h. außerhalb +/–THL um Ymed_Topview (wobei THL größer als TH1 und beispielsweise auf 100 eingestellt ist), dann wird vorzugsweise keine Anpassung an den Kameras 3, 4, 5, 6 durchgeführt. Ansonsten wird eine Aktion an den Kameras 3, 4, 5, 6 benötigt.
-
Der Schritt S4 beinhaltet dabei mehrere Unterschritte, welche Bezug nehmend auf 6 näher erläutert werden:
Das Ausführungsbeispiel gemäß 6 kann insbesondere bei einem ARM-Prozessor durchgeführt werden, welcher in die Rechen- und Steuereinrichtung 11 integriert sein kann. In einem Schritt S430 wird zunächst in Bezug auf die Kamera 3 überprüft, ob der Helligkeitsmedianwert Ymed_A des Bildbereichs B3' innerhalb oder außerhalb des vorgegebenen Wertebereichs TH1 um den Sollwert liegt. Wird eine Abweichung detektiert, geht das Verfahren zu einem weiteren Schritt S431 über, in welchem die erforderliche Veränderung der Belichtungszeit und/oder des Verstärkungsfaktors des Bildsensors der Kamera 3 berechnet wird, damit der Helligkeitsmedianwert des Bildbereichs B3' innerhalb des vorgegebenen Wertebereichs TH1 liegt. Bei diesem Schritt S431 greift die Rechen- und Steuereinrichtung 11 auch auf die Daten aus einem Datenblatt der Kamera 3 zu.
-
Die Register für die Belichtungsziele auf dem OV10630-Bildsensor sind: 0xC46A, 0xC46D, 0xC464, 0xC465. Vorzugsweise werden zwei Schrittweiten zur Modifizierung der Verstärkung und/oder der Belichtungsziele definiert: eine kleine Schrittweite (z. B. 0x08) sowie eine große Schrittweite (z. B. 0x10). Folgendes Szenario kann vorgesehen sein: Wenn sich der Medianwert Ymed_A von dem Sollwert Ymed_Topview um mehr als die genannte Schwelle THL unterscheidet, wird keine Veränderung vorgenommen. Aber, wenn die Differenz (Ymed_A – Ymed_Topview) größer als die Schwelle TH1 und kleiner als THL ist, dann wird die Änderung des Verstärkungsfaktors und/oder der Belichtung auf die negative große Schrittweite eingestellt. In Analogie, wenn die Differenz (Ymed_Topview – Ymed_A) größer als TH1 ist, wird die Änderung des Verstärkungsfaktors und/oder der Belichtung auf die positive große Schrittweite eingestellt. Wenn jedoch die Differenz (Ymed_A – Ymed_Topview) oder (Ymed_Topview – Ymed_A) größer ist als eine kleinere Schwelle TH2 aber kleiner als die Schwelle TH1 ist, wird die Änderung des Verstärkungsfaktors und/oder der Belichtung auf die negative respektive positive kleine Schrittweite eingestellt. Somit kann die Anpassung an den Kameras 3, 4, 5, 6 schrittweise ausgeführt werden.
-
Im Anschluss wird dann in einem Schritt S432 überprüft, ob die aktuelle Änderung der Belichtungszeit und/oder des Verstärkungsfaktors der Kamera 3 eine dritte Änderung in die gleiche Richtung ist oder nicht. Ist dies nicht der Fall, geht das Verfahren zu einem weiteren Schritt S433 über, in welchem über den genannten ARM-Prozessor Steuersignale an die Kamera 3 abgegeben werden, welche die zuvor berechnete Änderung der Belichtungszeit und/oder des Verstärkungsfaktors bewirken. Auch hier wird auf das Datenblatt 18 der Kamera 3 zugegriffen. Dies bedeutet: Wenn es der dritte Schritt in der gleichen Richtung ist, werden keine Änderungen vorgenommen. Wenn dies eine Änderung in der anderen Richtung ist oder weniger als dritter Schritt in einer bestimmten Richtung ist, dann wird die Veränderung an der Kamera vorgenommen.
-
Wird in Schritt S432 jedoch festgestellt, dass die aktuelle Änderung bereits eine dritte Änderung in die gleiche Richtung darstellt, geht das Verfahren zu einem weiteren Schritt S440. Auch wenn gemäß Schritt S430 keine Ansteuerung der Kamera 3 erforderlich ist, geht das Verfahren zum Schritt S440 über. Auch nach Durchführen des Schritts S433 geht das Verfahren zum Schritt S440 über.
-
Die Schritte S440, S441, S442 und S443 entsprechen den Schritten S430, S431, S432 und S433 und beziehen sich auf die zweite Kamera 4. Im Schritt S440 wird also überprüft, ob der Helligkeitsmedianwert des Bildbereichs B4' außerhalb des vorgegebenen Wertebereichs um den Sollwert liegt. Ist dies der Fall, wird gemäß Schritt S441 die erforderliche Veränderung der Belichtungszeit und/oder des Verstärkungsfaktors der Kamera 4 berechnet. Ist diese Änderung eine dritte Änderung in die gleiche Richtung, wird die Anpassung gemäß Schritt S442 unterbrochen. Ist dies nicht der Fall, erfolgt gemäß Schritt S443 eine Kommunikation mit der Kamera 4 und somit die Anpassung der Belichtungszeit und/oder des Verstärkungsfaktors.
-
Auch die Schritte S450, S451, S452, S453 entsprechen den Schritten S430, S431, S432, S433, betreffen jedoch die Kamera 5. Entsprechendes gilt auch für die Schritte S460, S461, S462 und S463, welche jedoch die vierte Kamera 6 betreffen.
-
Mit erneutem Bezug auf 3 geht das Verfahren nach Abschluss des Schritts S4 zu einem weiteren Schritt S5 über, in welchem ein Abklingen (settle down) des Systems erfolgt. Das System wird n Einzelbilder zum Abklingen abwarten, bevor eine weitere Änderung vorgenommen wird. Der Standardwert für n kann zum Beispiel 3 betragen. Das Verfahren kehrt dann wieder zum Schritt S2 zurück, in welchem neue Bilder B3, B4, B5, B6 erfasst werden und somit neue Bilddaten vorliegen.
-
Es wird noch einmal gemäß Schritt S3 anhand der neuen Bilddaten überprüft, ob eine zusätzliche Ansteuerung der Kameras 3, 4, 5, 6 erforderlich ist oder nicht. Ist dies nicht mehr erforderlich und liegen alle Helligkeitsmedianwerte Ymed der Bildbereiche B3', B4', B5', B6' innerhalb des vorgegebenen Wertebereichs um den Sollwert, geht das Verfahren zu einem weiteren Schritt S6 über, in welchem überprüft wird, ob eine kameraexterne Feinjustierung der Helligkeitsmedianwerte auf den Sollwert erforderlich ist oder nicht. Hierbei kann die Rechen- und Steuereinrichtung 11 überprüfen, ob die Helligkeitsmedianwerte Ymed innerhalb eines engeren und somit kleineren Wertebereichs um den Sollwert liegen und somit angenommen werden kann, dass diese Medianwerte im Wesentlichen gleich dem Sollwert sind. Ist keine weitere Feinjustierung mittels Bildverarbeitung erforderlich, kehrt das Verfahren zum Schritt S2 zurück. Ist die Feinjustierung notwendig, wird sie in einem Schritt S7 durchgeführt.
-
Dies erfolgt, um festzustellen, ob ein Nachverarbeitungsschritt erforderlich ist. Es wird in diesem Fall nichts an den Kameras 3, 4, 5, 6 selbst vorgenommen, sondern die Verarbeitung wird an den Video-Ausgangsdaten vorgenommen, und die Y-Werte werden entsprechend skaliert. Dies verhindert eine übermäßige Modifikation der Kameras 3, 4, 5, 6 und der Sicht im Allgemeinen. Dies kann wie folgt durchgeführt werden: Wenn alle Mediane Ymed_A, Ymed_B, Ymed_C und Ymed_D innerhalb eines Wertebereichs +/–TH3 um Ymed_Topview liegen, wobei TH3 < TH2 <TH1 und beispielsweise TH3 = 5, dann ist die Nachbearbeitung der Video-Daten nicht erforderlich. Andernfalls wird eine Nachbearbeitung vorgenommen.
-
Der Schritt S7 beinhaltet zwei Unterschritte, welche in 5 abgebildet sind. Gemäß Schritt S701 wird für jede Kamera 3, 4, 5, 6 zunächst ein Skalierungsfaktor berechnet, mit welchem die Y-Werte (jedes Bildpunktes) und somit die Helligkeitswerte des jeweiligen Bildbereichs B3', B4', B5', B6' multipliziert bzw. skaliert werden sollen. In dem nachfolgenden Schritt S702 werden dann die Y-Werte der Bildpunkte der Bildbereiche B3', B4', B5', B6' mit dem jeweiligen Skalierungsfaktor multipliziert.
-
Es existieren jedoch zwei mögliche Wege, um den Kamera-Alphawert zu berechnen, und jeder von diesen kann genutzt werden. Gemäß dem ersten kann die Berechnung folgendermaßen durchgeführt werden, wobei αA αB αC αD die jeweiligen Alphawerte der Kameras 3, 4, 5, 6 bezeichnen:
für die Kamera 3: αA = basic_stepsize·|Ymed_A – Ymed_Topview|;
für die Kamera 4: αB = basic_stepsize·|Ymed_B – Ymed_Topview|;
für die Kamera 5: αC = basic_stepsize·|Ymed_C – Ymed_Topview|; und
für die Kamera 6: αD = basic_stepsize·|Ymed_D – Ymed_Topview|.
-
Gemäß dem zweiten Weg kann die Berechnung folgendermaßen durchgeführt werden: αA = αB = αC = αD = basic_stepsize.
-
Der Standardwert des Parameters ”basic_stepsize” kann auf 0.5 eingestellt werden, jedoch kann dieser Wert auch variiert werden. Es kann ein beliebiger Wert zwischen 0 und 1 sein; je höher der Wert, desto größer ist die Skalierung.
-
Der auf die Videodaten der Kameras
3,
4,
5,
6 anzuwendende Skalierungswert wird wie folgt berechnet:
-
Darüber hinaus ist es auch möglich, einen zusätzlichen Skalierungsfaktor von 0 bis 1 vorzusehen, der gemäß einer vom Benutzer bestimmten Helligkeitskonfiguration bestimmt werden kann.
-
Gemäß Schritt S7 erfolgt also eine Feinjustierung und somit eine genaue Einstellung der Helligkeitsmedianwerte Ymed der Bildbereiche B3', B4', B5', B6' auf den zuvor berechneten Sollwert. Im Schritt S7 wird also ein Bildverarbeitungsalgorithmus durchgeführt, gemäß welchem – im vorliegenden Ausführungsbeispiel – die Y-Werte der Bildbereiche mit einem jeweiligen Skalierungsfaktor multipliziert werden. Diese Feinjustierung erfolgt außerhalb der Kameras 3, 4, 5, 6 mittels der Rechen- und Steuereinrichtung 11.
-
Optional kann auch vorgesehen sein, dass im Schritt S2 die Rechen- und Steuereinrichtung 11 überprüft, ob zumindest einer der Helligkeitsmedianwerte Ymed der Bildbereiche B3', B4', B5', B6' den genannten vorgegebenen Grenzwert THL überschreitet. Wird eine solche Überschreitung des Grenzwerts detektiert, kann auf das Angleichen der Helligkeitsmedianwerte Ymed aneinander zunächst für ein vorgegebenes Zeitintervall – beispielsweise für die Zeitdauer von einigen Bildern – verzichtet werden. Nach Ablauf dieser Zeitdauer kann die Rechen- und Steuereinrichtung 11 wieder die jeweiligen aktuellen Helligkeitsmedianwerte Ymed anhand der aktuellen Bilder B3, B4, B5, B6 berechnen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2011/0156887 [0002]
- EP 2012271 A2 [0003, 0005]