DE102012010799A1

DE102012010799A1 - Verfahren zur räumlichen Visualisierung von virtuellen Objekten

Info

Publication number: DE102012010799A1
Application number: DE102012010799A
Authority: DE
Inventors: Jürgen Kersting
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-06-01
Filing date: 2012-06-01
Publication date: 2013-12-05
Anticipated expiration: 2032-06-02
Also published as: WO2013178358A1; DE102012010799B4

Abstract

Die Erfindung betrifft ein Verfahren zur räumlichen Visualisierung von virtuellen dreidimensionalen Objekten in einer realen Umgebung. Damit der Betrachter das virtuelle dreidimensionale Objekt (1) von verschiedenen Seiten in unterschiedlichen Perspektiven und eingebettet in die reale Umgebung betrachten kann, ohne auf Hilfsmittel angewiesen zu sein, schlägt die Erfindung ein Verfahren vor, welches gekennzeichnet ist durch – eine Bildschirmanordnung (4) aus mehreren Bildschirmen (3), deren Bildflächen einen Visualisierungsraum (2) für das virtuelle Objekt (1) ganz oder teilweise umschließen, – der Bildschirmanordnung (4) zugeordnete Kameras (5), die die für den Betrachter von der Bildschirmanordnung (4) ganz oder teilweise verdeckte Umgebung (6) aufnehmen, – eine rechnergesteuerte Rekonstruktion der von den Kameras (5) erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters, – einen rechnergesteuerten Bildgenerator (B), der zweidimensionale perspektivische Abbildungen des zu visualisierenden Objektes (1) erzeugt und lagegerecht in die rekonstruierte Umgebungsdarstellung integriert und – eine Darstellung der rekonstruierten Umgebungsdarstellung mit den integrierten Abbildungen des virtuellen Objektes auf den Bildflächen der Bildschirmanordnung (4).

Description

Die Erfindung betrifft ein Verfahren zur räumlichen Visualisierung von virtuellen dreidimensionalen Objekten in einer realen Umgebung.
Nach dem Stand der Technik (vgl. DE 10 2009 056 013 A1 ) ist eine Visualisierungseinrichtungen bekannt, bei denen ein von einer Kamera aufgenommenes Bild in Echtzeit zweidimensional auf einem Bildschirm angezeigt wird und in dieses Bild ein von einem Bildgenerator erzeugtes zweidimensionales Bild eines dreidimensionalen virtuellen Objektes integriert wird. Dabei wird die Perspektive des virtuellen Objektes an die Perspektive des von der Kamera gelieferten Bildes derart angepasst, dass man bei der Betrachtung des auf dem Bildschirm angezeigten Bildes den Eindruck gewinnt, das virtuelle Objekt befinde sich in dem von der Kamera aufgenommenen Raum.
Eine solche Visualisierungseinrichtung ist natürlich erheblich einfacher, als Holographie, echte Stereoskopie oder die Projektion von Volumendaten in 3D-Schichttechnik. Alle diese Systeme zur dreidimensionalen Darstellung erfordern nämlich einen erheblichen apparativen Aufwand und/oder für den Betrachter unbequeme einschränkende Hilfsmittel wie z. B. besonders ausgestaltete Brillen, Helme oder andere Darstellungssysteme, die vom Betrachter getragen werden müssen.
Die nach dem Stand der Technik gemäß DE 10 2009 056 013 A1 bekannte Visualisierungseinrichtung, die ohne solche Hilfsmittel auskommt, ermöglicht es jedoch nicht, um das dargestellte virtuelle Objekt herumzugehen um es von verschiedenen Seiten in unterschiedlichen Perspektiven zu betrachten.
Es ist deshalb Aufgabe der Erfindung, das Visualisierungssystem der eingangs genannten Art dahingehend weiterzubilden, dass der Betrachter das virtuelle dreidimensionale Objekt von verschiedenen Seiten in unterschiedlichen Perspektiven und eingebettet in die reale Umgebung betrachten kann, und zwar ohne auf unbequeme Hilfsmittel angewiesen zu sein.
Gegenstand der Erfindung ist zunächst ein Verfahren zur räumlichen Visualisierung von virtuellen dreidimensionalen Objekten in einer realen Umgebung, gekennzeichnet durch

– eine Bildschirmanordnung aus mehreren Bildschirmen, deren Bildflächen einen Visualisierungsraum für das virtuelle Objekt ganz oder teilweise umschließen,
– der Bildschirmanordnung zugeordnete Kameras, die die für den Betrachter von der Bildschirmanordnung ganz oder teilweise verdeckte Umgebung aufnehmen,
– eine rechnergesteuerte Rekonstruktion der von den Kameras erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters,
– einen rechnergesteuerten Bildgenerator, der zweidimensionale perspektivische Abbildungen des zu visualisierenden Objektes erzeugt und lagegerecht in die rekonstruierten Umgebungsdarstellungen integriert und
– eine Darstellung der rekonstruierten Umgebungsdarstellungen mit den integrierten Abbildungen des virtuellen Objektes auf den Bildflächen der Bildschirmanordnung.

Das Verfahren gemäß der Erfindung zeichnet sich zunächst dadurch aus, dass es mit handelsüblichen Bildschirmen, Videokameras und einem hinreichend leistungsstarken Rechner sowie einer geeigneten Software ausgeführt werden kann und dass zusätzliche, den Betrachter behindernde Hilfsmittel nicht benötigt werden. Der Betrachter kann unbehindert um die Bildschirmanordnung herumgehen und sieht auf den jeweils für ihn sichtbaren Bildschirmen sowohl den virtuellen Gegenstand als auch die Umgebung in der jeweils richtigen Perspektive, wobei ein die Ränder der einzelnen Bildschirme übergreifender, zusammenhängender Raumeindruck entsteht.
Damit nicht mit einigen wenigen Betrachterpositionen gearbeitet werden muss, sondern jede beliebige Betrachterposition möglich wird, ist weiterhin vorgesehen, dass die jeweils aktuelle Position des Betrachters relativ zu der Bildschirmanordnung durch ein Trackingsystem erfasst wird. Hierdurch werden für den Betrachter alle an den Übergängen von einem Bildschirm zum nächsten auftretenden Abbildungsfehler vermieden, sodass aus jeder Position des Betrachters heraus ein absolut kohärenter Raumeindruck entsteht.
Zur Verbesserung des räumlichen und realitätsnahen Eindruckes ist weiterhin vorgesehen, dass rechnergesteuert zumindest auf den glänzenden Oberflächen des virtuellen Objektes virtuelle Spiegelungen von Lichtern oder Gegenständen aus der von den Kameras aufgenommen Umgebung sichtbar gemacht werden. Dieser Verfahrensschritt hat eine gewisse Ähnlichkeit mit dem sogenannten cube-mapping, hier allerdings mit dem Unterschied, dass Lichter oder Gegenstände aus der realen Umgebung auf die Oberflächen des virtuellen Objektes gebracht werden.
Schließlich ist vorgesehen, dass rechnergesteuert Teile des dargestellten virtuellen Objektes bewegt werden können, insbesondere durch eine Gestensteuerung. Hierdurch kann man zum Beispiel durch Gestensteuerung die Türen oder den Kofferraumdeckel eines virtuell dargestellten Kraftfahrzeuges aufklappen und/oder schließen oder sonstige vorprogrammierte Manipulationen an dem virtuellen Objekt vornehmen.
Zweckmäßig grenzen die Bildschirme der Bildschirmanordnung unmittelbar aneinander an und haben einen möglichst schmalen Rand oder am besten gar keinen Rand. Dabei wird die Darstellung wird umso besser, je mehr Bildschirme die Bildschirmanordnung umfasst. Notwendig sind mindestens zwei Bildschirme, deren Bildflächen von entgegengesetzten Seiten her sichtbar sind. Zweckmäßig enthält die Bildschirmanordnung allerdings mehr Bildschirme, die den Visualisierungsraum nach allen Seiten hin sowie von oben und unten umgeben. Dafür benötigt man z. B. in allen drei Raumachsen jeweils zwei aus entgegengesetzten Richtungen sichtbare Bildschirme, d. h. insgesamt sechs Bildschirme, die in der Form eines Würfels angeordnet sind.
Die Bildschirme der Bildschirmanordnung sind nach dem heutigen Stand der Technik zweckmäßig als aktive Flachbildschirme mit schmalem Rand ausgebildet. Alternativ können die Bildschirme der Bildschirmanordnung aber auch als passive Projektionsflächen ausgebildet sein, auf welche die Abbildungen mit Hilfe von geeigneten Projektoren projeziert werden.
Zur weiteren Verbesserung des räumlichen Eindrucks können die Bildschirme der Bildschirmanordnung ggf. auch gewölbt ausgebildet sein.
Für das oben angegebene Tracking zur Feststellung der jeweiligen Position des Betrachters können die bereits vorhandenen Kameras verwendet werden, die in diesem Fall zugleich eine stereoskopische Abtastung der Umgebung der Bildschirmanordnung erlauben. Alternativ können zu diesem Zweck auch handelsübliche Sensoren oder Bewegungsmelder verwendet werden, die zusätzlich zu den Kameras vorhanden sind.
Gegenstand der Erfindung ist weiterhin eine Vorrichtung zur Durchführung des oben angegebenen Verfahrens, bestehend aus

– einer Bildschirmanordnung aus mehreren Bildschirmen, deren Bildflächen einen Visualierungsraum für das virtuelle Objekt wenigstens teilweise umschließen,
– der Bildschirmanordnung zugeordnete Kameras, die die für den Betrachter von der Bildschirmanordnung ganz oder teilweise verdeckte Umgebung aufnehmen und auf den für den Betrachter sichtbaren Bildflächen der Bildschirmanordnung darstellen,
– einen Rechner, der die von den Kameras erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters rekonstruiert,
– einem dem Rechner zugeordneten Bildgenerator, der rechnergesteuert zweidimensionale perspektivische Abbildungen des zu visualisierenden virtuellen Objektes erzeugt und lagegerecht in die rekonstruierten Umgebungsdarstellungen integriert.

Zweckmäßige Weiterbildungen der Vorrichtung sehen eine Bildschirmanordnung in Form eines von dem Betrachter umgehbaren Polyeders vor, vorzugsweise in der Form eine Kubus oder eines Quaders.
Ein weiterer wichtiger Bestandteil der Vorrichtung ist das bereits oben erläuterte Tracking-System, welches die Position des Betrachters feststellt und die Darstellungen auf den Bildflächen der Bildschirmanordnung entsprechend steuert. Die für das Tracking verwendete Sensorik kann gegebenenfalls auch für die oben erwähnte Gestensteuerung verwendet werden.
Ein Ausführungsbeispiel der Erfindung wird im folgenden anhand der Zeichnung näher erläutert. Es zeigen:
1: Eine Bildschirmanordnung gemäß der Erfindung mit einer Darstellung eines fiktiven dreidimensionalen Objekts;
2: ein Blockschaltbild der Vorrichtung gemäß der Erfindung.
In 1 ist das darzustellende virtuelle Objekt mit dem Bezugszeichen 1 bezeichnet. Es handelt sich um ein virtuelles Modellauto, welches mit einem entsprechenden Grafikprogramm in einem Rechner R mit einem Bildgenerator B dreidimensional konfiguriert worden ist.
Das virtuelle Objekt 1 wird in einem Visualisierungsraum 2 dargestellt, der nach allen Seiten hin von Bildschirmen 3 umgeben ist. Die Bildschirme 3 bilden gemeinsam eine Bildschirmanordnung 4, die zusammengenommen einen umgehbaren Polyeder bilden, zum Beispiel einen Würfel oder wie beim Ausführungsbeispiel einen Quader. Von den Bildschirmen 3 der Bildschirmanordnung 4 sind in 1 nur die beiden dem Betrachter gegenüberliegende Bildschirme 3 zu sehen.
Jedem Bildschirm 3 sind auf der jeweils gegenüberliegenden Seite der polyedrischen Bildschirmanordnung 4 Kameras 5 zugeordnet, die die für den Betrachter teilweise verdeckte Umgebung, zum Beispiel die in 1 erkennbare Raumecke 6, aufnehmen. Zusätzlich sind Bewegungsmelder 7 vorgesehen, die die jeweilige Position des Betrachters in Bezug auf die Bildschirmanordnung 1 feststellen (Tracking). Diese Funktion der Bewegungsmelder 7 können gegebenenfalls auch von den Kameras 5 wahrgenommen werden.
Die von den Kameras 5 aufgenommenen Umgebungsdarstellungen werden im Rechner R derart rekonstruiert, dass sie in die jeweilige Perspektive des Betrachters passen. In diese rekonstruierten Umgebungsdarstellungen werden gleichzeitig lagegerecht zweidimensionale perspektivische Abbildungen des zu visualisierenden virtuellen Objektes integriert, und zwar ebenfalls in der Perspektive des jeweiligen Betrachters. Abschließend werden die rekonstruierten Umgebungsbilder zusammen mit den integrierten Abbildungen des virtuellen Objektes auf den Bildschirmen 3 der Bildschirmanordnung 1 dargestellt.
Im Ergebnis erscheint das dreidimensionale virtuelle Objekt 1 gewissermaßen schwebend in dem Visualisierungsraum 2 und kann von dem Betrachter durch Umschreiten der polyedrischen Bildschirmanordnung 4 von allen Seiten betrachtet werden. Ein besonders realitätsnaher Eindruck ergibt sich, wenn zumindest auf den glänzenden Oberflächen des virtuellen Objektes 1 virtuelle Spiegelungen von Lichtern oder Gegenständen aus der von den Kameras 5 aufgenommenen Umgebung sichtbar gemacht und Teile des dargestellten virtuellen Objektes durch Gestensteuerung bewegt werden können.
Das Blockschaltbild gemäß 2 erläutert die einzelnen Bestandteile der Vorrichtung und deren funktionales Zusammenwirken näher.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102009056013 A1 [0002, 0004]

Claims

Verfahren zur räumlichen Visualisierung von virtuellen dreidimensionalen Objekten in einer realen Umgebung, gekennzeichnet durch – eine Bildschirmanordnung (4) aus mehreren Bildschirmen (3), deren Bildflächen einen Visualisierungsraum (2) für das virtuelle Objekt (1) ganz oder teilweise umschließen, – der Bildschirmanordnung (4) zugeordnete Kameras (5), die die für den Betrachter von der Bildschirmanordnung ganz oder teilweise verdeckte Umgebung (6) aufnehmen, – eine rechnergesteuerte Rekonstruktion der von den Kameras (5) erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters, – einen rechnergesteuerten Bildgenerator (B), der zweidimensionale perspektivische Abbildungen des zu visualisierenden virtuellen Objektes (1) erzeugt und lagegerecht in die rekonstruierten Umgebungsdarstellungen integriert und – eine Darstellung der rekonstruierten Umgebungsdarstellungen mit den integrierten Abbildungen des virtuellen Objektes auf den Bildflächen der Bildschirmanordnung (4).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die jeweils aktuelle Position des Betrachters relativ zu der Bildschirmanordnung (4) durch ein Trackingsystem (7) erfasst wird.
Verfahren nach den Ansprüchen 1 oder 2, dadurch gekennzeichnet, dass rechnergesteuert zumindest auf den glänzenden Oberflächen des virtuellen Objektes (1) virtuelle Spiegelungen von Lichtern oder Gegenständen aus der von den Kameras (5) aufgenommenen Umgebung (6) sichtbar gemacht werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass rechnergesteuert Teile des dargestellten virtuellen Objektes (1) bewegt werden, insbesondere durch eine Gestensteuerung.
Verfahren nach Anspruch 1 oder einem der folgenden Ansprüche, dadurch gekennzeichnet, dass die Bildschirme (3) der Bildschirmanordnung (4) unmittelbar aneinander angrenzend angeordnet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Visualisierungsraum polyedrisch nach allen Seiten hin sowie nach oben und/oder unten von den Bildflächen der Bildschirmanordnung (4) umgeben ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Bildschirme (3) für die Bildschirmanordnung (4) aktive Flachbildschirme verwendet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Bildschirme (3) der Bildschirmanordnung (4) passive Projektionsflächen verwendet werden, auf welche die Abbildungen mit Hilfe von geeigneten Projektoren projiziert werden.
Verfahren nach den Ansprüchen 1 und 2, dadurch gekennzeichnet, dass für das Tracking-System der Bildschirmanordnung (4) zugeordnete Kameras (5) verwendet werden, die eine stereoskopische Abtastung der Umgebung erlauben.
Verfahren nach den Ansprüchen 1 und 2, dadurch gekennzeichnet, dass für das Trackingsystem der Bildschirmanordnung (4) zugeordnete Bewegungsmelder (7) verwendet werden.
Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, gekennzeichnet durch, – eine Bildschirmanordnung (4) aus mehreren Bildschirmen (3), deren Bildflächen einen Visualisierungsraum (2) für das virtuelle Objekt ganz oder teilweise umschließen, – der Bildschirmanordnung (4) zugeordnete Kameras (5), die die für den Betrachter von der Bildschirmanordnung (4) ganz oder teilweise verdeckte Umgebung (6) aufnehmen und auf den für den Betrachter sichtbaren Bildflächen der Bildschirmanordnung (4) in Echtzeit darstellen, – einen Rechner (R), der die von den Kameras (5) erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters rekonstruiert und – einen dem Rechner (R) zugeordneten Bildgenerator (B), der rechnergesteuert zweidimensionale perspektivische Abbildungen des zu visualisierenden Objektes (1) erzeugt und lagegerecht in die rekonstruierten Umgebungsdarstellungen integriert.
Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass der Bildschirmanordnung (4) ein Trackingsystem (7) zur Ermittlung der jeweiligen Position des Betrachters zugeordnet ist.