-
Die Erfindung betrifft ein Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem Bild einer Umgebung, insbesondere einer Fahrzeugumgebung. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.
-
Vorrichtungen für eine augmentierte Darstellung bringen eine erzeugte Zusatzinformation in Überlagerung mit einer aufgenommenen und wahrnehmbaren Umgebung. Dabei werden die Zusatzinformationen lagerichtig in den Umgebungsbildern dargestellt, wobei die Umgebungsbilder im Hintergrund wahrnehmbar sind oder ausgegeben werden. Solche Vorrichtungen sind beispielsweise teildurchsichtige Anzeigeeinheiten, wie eine HUP-Anzeigeeinheit (HUD = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display), oder undurchsichtige Anzeigeeinheiten, wie zum Beispiel ein herkömmlicher Bildschirm.
-
-
Die augmentierte Darstellung wird im Allgemeinen auch als „Augmented Reality” (kurz AR genannt) bezeichnet, welche die Erweiterung der Realitätswahrnehmung durch virtuelle computergenerierte Zusatzinformationen in Form von virtuellen Bildobjekten und/oder virtuellen Bildtexten in Anzeigen beschreibt. Es sind verschiedene Applikationen zur augmentierten Darstellung in einem mobilen Gerät, wie einem Smartphone, oder im Videospielbereich bekannt:
- – GPS-basierte augmentierte Darstellung: Dabei wird ein virtuelles Objekt zusätzlich durch die GPS-Position und Orientierung charakterisiert. Die richtige Einblendung der virtuellen Objekte in ein Videobild erfolgt durch die Berechnung der relativen Position zwischen dem virtuellen Objekt und der Kamera, die mit einem GPS-Sensor gekoppelt ist.
- – Marker-basierte augmentierte Darstellung: Unter „Marker” versteht man ein Musterbild, das von einem sogenannten Computer Vision System erkannt werden kann. Bei Marker-basierter augmentierter Darstellung werden zuerst die relative Position und Orientierung des Markers zu der Kamera durch Mustererkennung ermittelt. Danach wird das computergenerierte virtuelle Objekt auf dem entsprechenden Marker gesetzt.
- – Markerless augmentierte Darstellung: Dabei werden statt vordefinierter Marker sogenannte „Feature Punkte” (= Bildpunkte im realen aufgenommenen Bild) für die Positionierung der virtuellen Objekte verwendet. Feature Punkte sind auffällige Punkte auf einem Videobild, die mittels eines Bildverarbeitungsverfahrens, insbesondere verschiedener Computer-Vision-Algorithmen, chronologisch verfolgt werden können. Während der Verfolgung werden die Feature Punkte in einer globalen Karte registriert, wobei gleichzeitig eine Kamerapose in dem globalen Koordinatensystem durch eine sogenannte „Simultaneous Localisation and Mapping” (SLAM) Technik geschätzt wird. Virtuelle Objekte werden dann entsprechend ihren relativen Positionen zu der Kamera bezüglich des globalen Koordinatensystems eingeblendet.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur augmentierten Darstellung von mindestens einer Zusatzinformation anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 1. Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 8.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Beim erfindungsgemäßen Verfahren zur augmentierten Darstellung mindestens einer virtuellen Zusatzinformation in mindestens einem Bild einer realen Umgebung, insbesondere einer Fahrzeugumgebung, und/oder vor der realen Umgebung wird die reale Umgebung mittels mindestens einer Aufnahmeeinheit und/oder einer Sensoreinheit als ein Bild erfasst, wobei das Bild der realen Umgebung einen Hintergrund einer Anzeige mit realen und/oder virtuellen Objekten bildet. Erfindungsgemäß wird anhand einer die Umgebung repräsentierenden digitalen Karte, optional mittels mindestens eines vorgegebenen Kriteriums, und/oder anhand der erfassten realen Umgebung mindestens eine Anzeigeregion ermittelt und die Zusatzinformation den Hintergrund des Bildes und/oder die reale Umgebung überlagernd innerhalb dieser Anzeigeregion ausgegeben. Dabei erfolgt eine Verortung und Ausgabe der virtuellen Zusatzinformation unter Berücksichtigung einer Vermeidung von Überlagerungen mit anderen realen oder virtuellen Objekten innerhalb dieser Anzeigeregion in dem Bild der Anzeige.
-
Die Erfindung ermöglicht, dass die virtuellen Objekte basierend auf dem Ergebnis der Umgebungserfassung so im Bild der Anzeige der realen Umgebung und/oder im Vordergrund vor der realen Umgebung verortet werden, dass sich für den Fahrer und/oder die Passagiere des Fahrzeuges ein bezüglich verschiedener Kriterien optimaler visueller Eindruck ergibt.
-
Die Erfindung geht dabei von der Überlegung aus, dass eine positions- und orientierungsrichtige Einblendung der virtuellen Zusatzinformationen in den Hintergrund, insbesondere in ein reales Umgebungsbild oder ein Videobild, von großer Bedeutung ist.
-
Bei einer Anwendung im Fahrzeug zur bildgestützten Überwachung einer vorausliegenden Verkehrsumgehung ist es insbesondere von Bedeutung, dass die virtuellen Zusatzinformationen, wie virtuelle Objekte und/oder virtuelle Textinformationen, im realen Bild der Anzeige an einer geeigneten Stelle platziert/verortet und nachgeführt werden, so dass sich für einen Beobachter der Eindruck ergibt, als wären die virtuellen Zusatzinformationen tatsächlich in der Realität vorhanden. Die Platzierung/Verortung der virtuellen Zusatzinformation, wie eines virtuellen Objektes und/oder einer virtuellen Textinformation, kann dabei schwierig sein, da es im Bild der realen Umgebung selbst eine Vielzahl von Objekten, wie zum Beispiel Schilder, Autos, Fußgänger, gibt, welche mit der Ausgabe der virtuellen Zusatzinformation im Bild kollidieren und um Platzbedarf konkurrieren.
-
Gegenüber herkömmlichen augmentierten Darstellungsverfahren mit möglichst genauer kontaktanaloger Platzierung der virtuellen Objekte und somit möglichst naher Platzierung, zum Beispiel GPS-Position, der virtuellen Objekte am jeweils zugehörigen realen Objekt ermöglicht die Erfindung durch Ausgabe der virtuellen Zusatzinformation in einer zuvor ermittelten Anzeigeregion, dass die virtuelle Zusatzinformation optimal platziert wird, insbesondere unter Berücksichtigung einer Vermeidung von Überlagerungen mit anderen realen oder virtuellen Objekten in dem Bild der Anzeige. Dabei ist die Erfindung gleichermaßen auf die Platzierung virtueller Zusatzinformationen, wie virtueller Objekte und/oder virtueller Textinformationen, in einem Videobild oder in einem Head-Up-Display anwendbar.
-
Hinsichtlich der Vorrichtung zur Durchführung eines Verfahrens umfasst diese mindestens eine Aufnahmeeinheit zur Aufnahme und Erfassung eines Bildes einer realen Umgebung, das einen Hintergrund einer Anzeige bilden kann, mindestens eine Verarbeitungseinheit zur grafischen Verarbeitung eines aufgenommenen digitalen Bildes und optional zur Transformation des digitalen Bildes in ein Ausgabebild sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation in dem Hintergrund des Ausgabebildes und/oder vor der realen Umgebung und mindestens eine Ausgabeeinheit zur Ausgabe der Zusatzinformation im Hintergrund des Ausgabebildes bzw. vor der realen Umgebung, insbesondere in einem HUD.
-
Bei der Aufnahmeeinheit handelt es sich insbesondere um eine oder mehrere Kameras, insbesondere ein Stereo-Kamerasystem, eine omnidirektionale Kamera, eine Infrarot-Kamera, eine Laser-Scan-Einheit, ein Radar, ein Lidar oder eine Kombination von vergleichbaren Erfassungseinheiten. Die Verarbeitungseinheit kann in der Aufnahmeeinheit integriert oder separat ausgebildet sein. Die Verarbeitungseinheit kann eine integrierte Schaltung oder ein Steuergerät oder eine andere geeignete Bildverarbeitungseinheit sein. Die Ausgabeeinheit kann ein klassischer Bildschirm, eine HUD-Anzeigeeinheit (HUD = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display) oder eine andere geeignete Anzeigeeinheit sein. Die Sensoreinheit kann eine fahrzeugeigene Erfassungseinheit sein, welche fahrzeugspezifische Daten, wie Fahrgeschwindigkeit, Beschleunigung, Neigung, Querbeschleunigung, etc. erfasst.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch eine Vorrichtung zur augmentierten Darstellung einer Zusatzinformation in einem Hintergrund, und
-
2 bis 7 schematisch verschiedene Ausführungsbeispiele für eine Anzeige mit einer augmentierten Darstellung einer Zusatzinformation.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt schematisch eine Vorrichtung 1 zur augmentierten Darstellung mindestens einer, insbesondere virtuellen Zusatzinformation Z1 bis Zx in einem Bild, das einen Hintergrund H(A), H(Br) auf einer Ausgabeeinheit 2 bildet.
-
Das Bild kann dabei ein reales Bild Br einer im Sichtfeld des Benutzers liegenden Umgebung U sein oder ein digital aufgenommenes Bild Bd der vorausliegenden Umgebung U.
-
Mit anderen Worten: Das den Hintergrund H(Br) bildende Bild Br ist in einer Ausführungsform die reale vorausliegende Umgebung U. In einer alternativen Ausführungsform, welche hier näher beschrieben wird, wird als Bild ein digitales Bild Bd der realen vorausliegenden Umgebung U aufgenommen und in ein Ausgabebild A transformiert, das den Hintergrund H(A) auf der Ausgabeeinheit 2 bildet.
-
Die Vorrichtung 1 umfasst eine Aufnahmeeinheit 3, welche fortlaufend digitale Bilder Bd der Umgebung U in Art einer Videosequenz aufnimmt. Die digitalen Bilder Bd werden einer Verarbeitungseinheit 4 zur Verarbeitung und Erzeugung eines daraus resultierenden Ausgabebildes A bzw. einer Sequenz von Ausgabebildern An zugeführt. Das erzeugte und ausgegebene Ausgabebild A bildet in dieser Ausführungsform den Hintergrund H(A). Zusätzlich erzeugt die Verarbeitungseinheit 4 virtuelle Zusatzinformationen Z1 bis Zx, die im Hintergrund H(A) des digitalen Bildes Bd der realen Umgebung U oder im Hintergrund H(Br) der realen Umgebung U überlagert eingeblendet werden.
-
Die Vorrichtung 1 ist beispielsweise in einem nicht näher dargestellten Fahrzeug integriert und dient dort der Erfassung der Umgebung U des Fahrzeugs, insbesondere der Erfassung einer in Fahrrichtung vorausliegenden Fahrzeugumgebung. Das Fahrzeug umfasst beispielsweise als Aufnahmeeinheit 3 mindestens eine fahrzeugeigene Kamera, die insbesondere im Frontbereich angeordnet ist. Die Aufnahmeeinheit 3 ist dabei derart ausgeführt, dass diese zwei- oder mehrdimensionale digitale Bilder Bd mit oder ohne Tiefeninformation aufnimmt und derart verarbeitet, dass die digitalen Bilder Bd als Monobilder und die Tiefeninformation als Tiefenbilder T der Verarbeitungseinheit 4 zugeführt werden.
-
Die Verarbeitungseinheit 4 ist insbesondere ein separates Steuergerät und/oder eine Bildverarbeitungseinheit, die in einem anderen Steuergerät und/oder Fahrassistenzsystem integriert sein kann.
-
Die Ausgabeeinheit 2 ist insbesondere eine Anzeige in Form eines Bildschirms im Armaturenbereich und/oder eines Projektionsbildschirms im Frontscheibenbereich. Bei Ausbildung der Ausgabeeinheit 2 als Bildschirm wird im Hintergrund H(A) das erzeugte digitale Ausgabebild A ausgegeben, in welchem die virtuellen Zusatzinformationen Z1 bis Zx eingeblendet werden. Bei Ausbildung der Ausgabeeinheit 2 als Projektionsbildschirm oder Head-up-Display bildet die reale vorausliegende Umgebung U den Hintergrund H(Br), auf welchem die virtuellen Zusatzinformationen Z1 bis Zx eingeblendet werden. Die Ausgabeeinheit 2 wird nachfolgend Anzeige 2 genannt.
-
Des Weiteren kann die Vorrichtung 1 ein satellitengestütztes Navigationssystem 5, welches der Verarbeitungseinheit 4 die momentane Position P des eigenen Fahrzeugs zuführt.
-
Mittels mindestens einer weiteren Sensoreinheit 6 werden der Verarbeitungseinheit 4 Bewegungsdaten F, insbesondere bei einem Fahrzeug Fahrdynamikdaten, wie Eigengeschwindigkeit, Giermoment, Längs- und/oder Querbeschleunigung, zugeführt.
-
Nachfolgend wird die Erfindung für eine Ausführung der Anzeige 2 als ein Bildschirm beschrieben und somit mit einem aus einem aufgenommenen digitalen Bild Bd transformierten Ausgabebild A, welches den (digitalen) Hintergrund H(A) bildet, dargestellt. Das beschriebene Verfahren zur augmentierten Darstellung der Zusatzinformationen Z1 bis Zx auf einem Bildschirm und somit in einem digitalen Hintergrund H(A) ist analog zur augmentierten Darstellung der Zusatzinformationen Z1 bis Zx auf einem Projektionsbildschirm oder Head-up-Display anwendbar, wobei dort der reale Hintergrund H(Br) durch das reale Bild Br der vorausliegenden Umgebung U mit den realen Objekten O1 bis Oz gebildet ist.
-
Die Vorrichtung 1, insbesondere die Verarbeitungseinheit 4, ist derart ausgebildet, dass das aufgenommene digitale Bild Bd der Umgebung U in ein Ausgabebild A der Anzeige 2 als Hintergrund H(A) transformiert wird, wobei anhand einer die Umgebung U repräsentierenden digitalen Karte DK mittels mindestens eines vorgegebenen Kriteriums K mindestens eine Anzeigeregion Rn ermittelt wird und die Zusatzinformation Z1 bis Zx den Hintergrund H(A), H(Br) des Bildes Bd, Br überlagernd innerhalb dieser Anzeigeregion Rn unter Berücksichtigung einer Vermeidung von Überlagerungen mit realen oder virtuellen Objekten O1 bis Oz ausgegeben wird.
-
Mit anderen Worten: Die virtuelle Zusatzinformation Z1 bis Zx wird basierend auf dem Ergebnis der Umgebungserfassung so im Ausgabebild A der realen Umgebung U verortet werden, dass sich für den Fahrer und/oder die Passagiere des Fahrzeuges ein bezüglich verschiedener vorgegebener Kriterien K optimaler visueller Eindruck ergibt. Als Kriterium K zur Ermittlung der Anzeigeregion Rn für die virtuelle Zusatzinformation Z1 bis Zx wird beispielsweise eine maximale oder minimale Entfernung zum zugehörigen realen Objekt O1 bis Oz und/oder eine minimale oder maximale Höhe zum zugehörigen realen Objekt O1 bis Oz vorgegeben. Alternativ oder zusätzlich kann als ein Kriterium K bei der Analyse der erfassten realen Bilder Br, Bd vorgegeben sein, dass mittels bekannter Verfahren identifizierte Bildbereiche ohne dynamische Daten, das heißt ohne sich bewegende Objekte in diesem Bildbereich, bevorzugt als Anzeigeregion Rn ermittelt und vorgegeben werden.
-
Die digitale Karte DK ist beispielsweise in einem Speicher 7 hinterlegt.
-
Des Weiteren können mehrere Anzeigeregionen Rn für die zumindest eine oder mehrere virtuelle/n Zusatzinformation/en Z1 bis Zx ermittelt werden. Werden mehr als eine Anzeigeregion Rn ermittelt, so werden diese vorzugsweise priorisiert. Beispielsweise werden die ermittelten Anzeigeregionen Rn in Anzeigeregionen mit höherer Priorität (= bevorzugte Anzeigeregion) und niedriger Priorität (= Ausweichregion) priorisiert.
-
Je nach Art des Ausgabebildes A als zwei- oder dreidimensionales Bild kann die Anzeigeregion Rn als eine zwei- oder dreidimensionale Region vorgegeben werden und ausgebildet sein.
-
Zusätzlich kann die Zusatzinformation Z1 bis Zx ortsbezogen im Ausgabebild A dieses überlagernd an einer Zielposition Pz innerhalb der Anzeigeregion Rn ausgegeben, insbesondere fest positioniert/verankert, werden. Für eine derartige positionsfeste und stabile Einblendung der Zusatzinformation Z1 bis Zx in eine dynamische Szene einer Sequenz von Ausgangsbildern An wird mittels eines herkömmlichen Positionierungsverfahrens die Zielposition Pz der Zusatzinformation Z1 bis Zx in der Anzeigeregion Rn im Ausgabebild A fortlaufend ermittelt und angepasst.
-
Dabei wird die Verortung der virtuellen Zusatzinformation Z1 bis Zx so vorgenommen, dass die virtuelle Zusatzinformation Z1 bis Zx nicht oder möglichst wenig durch reale Objekte O1 bis Oz verdeckt wird oder würde. Beispielsweise wird basierend auf einer erwarteten Trajektorie des eigenen Fahrzeuges die virtuelle Zusatzinformation Zx derart innerhalb der ermittelten Anzeigeregion Rn platziert, dass die Verortung und Anzeige innerhalb der Anzeigeregion Rn an der Zielposition Pz oder einer anderen Position fortlaufend während der folgenden Sekunden der Fahrt optimal, insbesondere verdeckungsfrei und/oder überlagerungsfrei, erfolgt.
-
Das Verfahren sieht weiter vor, dass die Verarbeitungseinheit 4 derart eingerichtet ist, dass anhand der ermittelten digitalen Karte DK, der in der realen Umgebung U erfassten realen Objekten O1 bis Oz und einer ermittelten momentanen Fahrzeugposition Nicht-Anzeigeregionen ermittelt werden, die für eine Verortung und Anzeige der virtuellen Zusatzinformation Zx ausgeschlossen werden.
-
Im Betrieb der Vorrichtung 1 werden unabhängig von der Art und Weise, wie die Überlagerung der virtuellen Zusatzinformationen Zx mit der Realität tatsächlich ausgestaltet ist (Videobild = digitales Bd oder HUD = reales Bild Br), die darzustellenden virtuellen Zusatzinformationen Zx, wie virtuelle Objekte (Grafiken, Symbole, etc.), Textinformationen (Beschreibungen, Ortsangaben, Namensangaben, Bezeichnungen, etc.) anhand von in der realen Umgebung U identifizierten reale Objekte Oz ermittelt. Beispielsweise werden für eine darzustellende virtuelle Zusatzinformation Zx ein realer Platz, ein reales Objekt Oz in der realen Umgebung U ermittelt. Idealerweise würde man z. B. ein virtuelles Schild mit einer Hausnummer so in der Realität platzieren, dass es scheinbar direkt an der Türe eines Hauses haftet. Es würde also an der Türe des entsprechenden Hauses verortet werden.
-
Typischerweise ergibt sich bei der Verortung der virtuellen Objekte/Zusatzinformationen Zx jedoch das Problem, dass die virtuelle Zusatzinformation Zx mit realen Objekten Oz um die Bildposition konkurrieren muss. So gibt es insbesondere in urbanen Umgebungen U eine Vielzahl von statischen und dynamischen realen Objekten Oz, welche im Konflikt mit der virtuellen Zusatzinformation Zx stehen.
-
Ein Beispiel für eine typische Szene zeigt 1. In diesem Beispiel soll als eine virtuelle Zusatzinformation Z1 das virtuelle Hausnummernschild mit der Nummer „14” in der Umgebung U des Ausgabebilds A platziert werden.
-
Bei der Platzierung des virtuellen Schildes ergeben sich folgende Probleme und Konflikte mit Objekten O1 (parkendes Fahrzeug), O2 (Baum), O3 (Papierkorb), O4 (Schaufenster) der realen Umgebung U:
Die virtuelle Zusatzinformation Z1 könnte so platziert werden, dass sich eine direkte Überschneidung mit einem realen Objekt O4 (Schaufenster) ergibt. Dies führt zu einem unrealistischen visuellen Eindruck für den Fahrer oder Beifahrer.
-
Die virtuelle Zusatzinformation Z1 könnte so platziert werden, dass es von einem realen Objekt O2 verdeckt würde. Falls die Verdeckung bei der Bildgenerierung berücksichtigt werden kann (zum Beispiel in einem augmentierten Video), so wäre das virtuelle Schild nicht sichtbar. Falls die Verdeckung bei der Bildgenerierung nicht berücksichtigt werden kann (zum Beispiel in einem HUD), so ergibt sich ein unrealistischer visueller Eindruck für den Fahrer oder Beifahrer.
-
Um dies zu vermeiden, sieht die Erfindung vor, eine hinterlegte digitale Karte DK zu verwenden, welche für eine zu platzierende virtuelle Zusatzinformation Z1 alternativ oder zusätzlich zu einer ermittelten tatsächlichen Zielposition Pz mindestens eine bevorzugte flächige oder räumliche Anzeigeregion Rn zur Verortung und Platzierung der virtuellen Zusatzinformation Z1 im Ausgabebild A enthält. Je nach Art der digitalen Karte DK kann es sich bei der bevorzugten Anzeigeregion Rn um eine zweidimensionale Region oder um ein dreidimensionales Volumen handeln. Es ist möglich, verschiedene Anzeigeregionen Rn oder Volumen zu definieren, welche für die Verortung unterschiedliche Priorität haben, wie beispielsweise eine bevorzugte Region und eine Ausweichregion. Es sind jedoch beliebig viele Abstufungen denkbar.
-
3 zeigt ein solches Ausführungsbeispiel mit zwei Anzeigeregionen R1 (= bevorzugte Anzeigeregion) und R2 (= Ausweichregion) für eine virtuelle Zusatzinformation Zx.
-
Die erfindungsgemäße Vorrichtung 1 zur augmentierten Darstellung der virtuellen Zusatzinformationen Zx in der realen Umgebung U verwendet somit zusätzlich zur Umgebungserfassung die erfindungsgemäße digitale Karte DK mit bereits hinterlegten Anzeigeregionen Rn, insbesondere bevorzugte Anzeigeregionen R1, die eine Option zur Verbesserung der Qualität darstellt.
-
Die bevorzugten Anzeigeregionen R1 können auch auf andere Art und Weise ermittelt werden, zum Beispiel über einen Radius, der die maximale Entfernung der Platzierung vom tatsächlichen Ort der virtuellen Zusatzinformation Zx in der Realität angibt.
-
Mit anderen Worten: Die bevorzugten Anzeigeregionen R1 müssen nicht notwendigerweise Bestandteil der digitalen Karte DK sein. Alternativ kann für jede bereits hinterlegte virtuelle Zusatzinformation Zx zumindest eine Anzeigeregion Rn zugeordnet und hinterlegt sein. Dies kann zum Beispiel dann relevant sein, wenn die Daten der virtuellen Zusatzinformation Zx (des virtuellen Objektes) online von einem Server geladen werden.
-
Alternativ können für eine virtuelle Zusatzinformation Zx mehrere Anzeigeregionen Rn vorgegeben und hinterlegt sein, beispielsweise eine bevorzugte Anzeigeregion R1 und eine Ausweichregion R2.
-
Erfindungsgemäß wird zur Platzierung der virtuellen Zusatzinformation Zx in der Realität im Ausgabebild A versucht, die virtuelle Zusatzinformation Zx zunächst innerhalb der ermittelten Anzeigeregion Rn an ihrer tatsächlichen Position zu verorten und auszugeben. Mit Hilfe der Umgebungserfassung und der Bildverarbeitung kann dann die Verarbeitungseinheit 4 ermitteln, ob es dabei zu einem der oben beschriebenen Konflikte mit einem realen Objekt Oz kommt. Ist dies der Fall, so wird im Folgenden versucht, die virtuelle Zusatzinformation Zx in der bevorzugten Anzeigeregion R1 so zu platzieren, dass es keinen Konflikt mit einem realen Objekt Oz gibt, oder diese Konflikte minimiert werden.
-
In Abhängigkeit der erreichbaren Qualität bei der Platzierung innerhalb der bevorzugten Anzeigeregion R1 kann die Platzierung abgeschlossen sein, oder es wird versucht, die virtuelle Zusatzinformation Zx alternativ innerhalb einer anderen zugeordneten Anzeigeregion R2 (= Ausweichregion) zu platzieren, wie in 3 dargestellt.
-
Es wurde bereits ausgeführt, dass die Anzeigeregionen Rn sowohl eine flächige als auch eine räumliche Ausdehnung haben können. Eine zu platzierende virtuelle Zusatzinformation Zx kann daher sowohl in der Höhe als auch in der Ebene verschoben werden, um eine optimale Platzierung zu erreichen.
-
Für ein virtuelles Hausnummernschild kann dies beispielweise bedeuten, dass das virtuelle Hausnummernschild weiter oben platziert wird, um beispielsweise die Verdeckung durch ein parkendes Auto zu verhindern, oder dass das virtuelle Hausnummernschild näher an der Straße platziert ist, um eine Verdeckung durch einen Baum zu vermeiden.
-
Je nach Genauigkeit der digitalen Karte DK kann die Verortung der virtuellen Zusatzinformation Zx durch geometrische Rechnungen basierend auf den Daten in der digitalen Karte DK unterstützt werden. Beispielsweise könnten manche Platzierungen über geometrische Berechnungen mit Hilfe der in der digitalen Karte DK enthaltenen realen Objekten Oz und der Position des eigenen Fahrzeuges von vorne herein ausgeschlossen werden.
-
In einer Variante der Erfindung wird die Eigenbewegung des Fahrzeuges berücksichtigt, um eine optimale Verortung der virtuellen Zusatzinformation Zx zu erreichen. Hierzu wird die voraussichtliche Trajektorie des eigenen Fahrzeuges ermittelt (beispielsweise eine einfache Extrapolation basierend auf der bereits zurückgelegten Wegstrecke, oder eine detailliertere Projektion basierend auf der Route im Navigationsgerät, oder basierend auf Abbiegewahrscheinlichkeiten). Mit Hilfe dieser voraussichtlichen Trajektorie wird die virtuelle Zusatzinformation Zx dann so verortet, dass sich auch auf den folgenden Metern der Fahrt kein Konflikt mit realen Objekten Oz ergibt.
-
Alternativ oder zusätzlich kann basierend auf einer erwarteten Trajektorie eines beobachteten realen Objektes O1 bis Oz die virtuelle Zusatzinformation Z1 bis Zx derart innerhalb der ermittelten Anzeigeregion Rn platziert werden, dass die Verortung und Anzeige der virtuellen Zusatzinformation Z1 bis Zx innerhalb der Anzeigeregion Rn fortlaufend während der folgenden Fahrt optimal, insbesondere verdeckungsfrei und/oder überlagerungsfrei, erfolgt.
-
Beispielsweise wird ein virtuelles Schild so platziert, dass es auch in den folgenden Sekunden der Fahrt nicht von einem realen Objekt Oz verdeckt wird. Alternativ kann die virtuelle Zusatzinformation Zx so in der Anzeigeregion Rn verortet werden, dass es momentan noch verdeckt ist, es jedoch in den folgenden Sekunden der Fahrt gut sichtbar wird.
-
Eine optimale Platzierung kann auf einer Vielzahl von Kriterien K basieren. Dabei können diese Kriterien K zusätzlich unterschiedlich gewichtet sein. Beispielsweise kann die Entfernung der virtuellen Zusatzinformation Zx von ihrer tatsächlichen Position sowie eine Verdeckung der virtuellen Zusatzinformation Zx durch reale Objekte Oz entsprechend gewichtet werden. Abhängig von der Gewichtung ergibt sich eine unterschiedliche Verortung und Ausgabe der virtuellen Zusatzinformation Zx innerhalb der ermittelten Anzeigeregion Rn.
-
In einer Variante der Erfindung werden innerhalb der digitalen Karte DK allgemein bevorzugte Anzeigeregionen Rn für die Platzierung virtueller Zusatzinformationen Zx ausgewiesen. Diese können zur Anwendung kommen, wenn für einzelne virtuelle Zusatzinformationen Zx keine expliziten, objektbezogenen bevorzugten Anzeigeregionen Rn vorgegeben sind.
-
Zusätzlich oder alternativ können sie zur Anwendung kommen, wenn für einzelne virtuelle Zusatzinformationen Zx lediglich ein Radius um seine tatsächliche Position als bevorzugte Anzeigeregion R1 definiert ist.
-
Insbesondere können diese allgemeinen bevorzugten Anzeigeregionen R1 zum Einsatz kommen, wenn dynamisch neue virtuelle Zusatzinformationen Zx generiert werden, denen keine präzise geografische Position zugeordnet werden kann, z. B. ein Abbiegepfeil oder ein Hinweisschild. In diesem Fall können die allgemeinen bevorzugten Anzeigeregionen R1 verwendet werden, um darin bevorzugt dynamisch generierte virtuelle Zusatzinformationen Zx ohne eine genau vorgegebene geografische Position zu verorten.
-
4 zeigt ein weiteres Ausführungsbeispiel für eine optimierte Platzierung basierend auf einer Tiefeninformation des Ausgabebildes A.
-
Im linken Teilbild ist die reale Umgebung U abgebildet. Im rechten Teilbild ist die aus der realen Umgebung U ermittelte Tiefeninformation in Form eines Tiefenbilds T als Ausgabebild A dargestellt. Diese Tiefeninformation kann beispielsweise mit Hilfe einer Stereokamera ermittelt werden. Basierend auf der Tiefeninformation wird eine bevorzugte Anzeigeregion R1 für die Platzierung einer virtuellen Zusatzinformation Zx, beispielsweise eines Menüs oder eines Textes, ermittelt, in welcher das Menü oder der Text erscheinen würde.
-
5 zeigt ein Ausführungsbeispiel für eine optimierte Platzierung basierend auf erkannten Objekten Oz.
-
Die 5 zeigt reale Objekte O1 bis Oz, welche in der Umgebung U erkannt werden. Die realen Objekte O1 bis Oz können beispielsweise aus der 3D-Information des erfassten Bildes Bd ermittelt werden, oder aus dem 2D-Bild über Bildverarbeitung, wie zum Beispiel Kantenerkennung, oder die realen Objekte O1 bis Oz werden über die Aufnahmeeinheit 3 oder eine andere Sensorik, wie zum Beispiel Radar oder Lidar, ermittelt. Denkbar ist auch eine Kombination verschiedener Sensoren und Verfahren. Basierend auf den erkannten realen Objekten O1 bis Oz (Balkendarstellungen) zeigt die schraffierte Fläche die Anzeigeregion Rn für eine optimierte Platzierung der virtuellen Zusatzinformation Zx, wie eines Menüs oder eines Textes an.
-
6 zeigt als ein Ausführungsbeispiel die Erkennung von Objekttypen.
-
Mit Hilfe geeigneter Verfahren ist es möglich, den Typ von realen Objekten O1 bis Oz in der realen Umgebung U zu erkennen. Die schraffierte Fläche zeigt die ermittelte Anzeigeregion Rn für eine optimierte Platzierung für die virtuelle Zusatzinformation Zx, wie für ein Menü oder einen Text, wobei berücksichtigt wurde, dass reale Objekt O1 und O2, Fußgänger und Fahrzeuge, nicht verdeckt werden dürfen, wohingegen ein Gebäude O3 verdeckt werden darf.
-
7 zeigt ein weiteres Ausführungsbeispiel für eine Erkennung von Bewegungen im Ausgabebild A.
-
Mit Hilfe geeigneter Verfahren ist es möglich, die Bewegung von Objekten O1 bis O3 in der realen Umgebung U zu ermitteln, insbesondere zu schätzen und zu prädizieren. Die 7 zeigt mit Hilfe der Pfeile an, in welche Richtung sich das Objekt O1 (= der Radfahrer) bewegt. Die Punkte zeigen an, dass hier keine Bewegung stattfindet. Die schraffierte Fläche zeigt die ermittelte Anzeigeregion Rn für eine optimierte Positionierung der virtuellen Zusatzinformation Zx, wobei berücksichtigt wurde, dass die Platzierung nicht dort erfolgen darf, wo sich ein relevantes Objekt, wie das reale Objekt O1, voraussichtlich hinbewegen wird.
-
8 zeigt ein weiteres Ausführungsbeispiel für eine Erkennung von Fahrzeugelementen.
-
Mit Hilfe von Bildverarbeitung und -erkennung können sicherheitsrelevante Elemente eines vorausfahrenden Fahrzeuges (= reales Objekt O1) erkannt werden, wie zum Beispiel die Bremslichter. 8 zeigt mehrere Anzeigeregionen R1 bis Rn, welche eine optimierte Platzierung der virtuellen Zusatzinformation Zx ermöglichen. Dabei können die ermittelten mehreren Anzeigeregionen R1 bis Rn priorisiert und/oder gewichtet werden, wie oben bereits beschrieben.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Ausgabeeinheit (Anzeige)
- 3
- Aufnahmeeinheit
- 4
- Verarbeitungseinheit
- 5
- Navigationssystem
- 6
- Sensoreinheit
- 7
- Speicher
- A
- Ausgabebild
- An
- Sequenz von Ausgabebildern
- Br
- reales Bild
- Bd
- digitales Bild
- DK
- digitale Karte
- F
- Bewegungsdaten
- H(Br), H(A)
- Hintergrund
- K
- Kriterium
- O1 bis Oz
- Objekt
- P
- momentane Position
- Pz
- Zielposition
- Rn
- Anzeigeregion
- R1
- bevorzugte Anzeigeregion
- R2
- Ausweichregion
- T
- Tiefenbild
- U
- Umgebung
- Z1 bis Zx
- Zusatzinformation
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102009049849 A1 [0003]
- DE 102008015398 A1 [0003]