DE69619308T2

DE69619308T2 - Vorrichtung zum Generieren stereoskopischer Bilder und Darstellung derselben

Info

Publication number: DE69619308T2
Application number: DE69619308T
Authority: DE
Inventors: Atsushi Morimura; Masamichi Nakagawa; Kenya Uomori
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-06-29
Filing date: 1996-06-28
Publication date: 2002-07-11
Anticipated expiration: 2016-06-29
Also published as: DE69619308D1; US6353457B2; EP1168852B1; EP0751689A3; EP1328129A1; KR970004916A; EP0751689A2; EP0751689B1; EP1328129B1; US6175379B1; US20020024592A1; EP1168852A1; DE69632755T2; DE69631496D1; US6005607A; DE69631496T2; US20010033327A1; US6268880B1; US6417880B1; DE69632755D1

Description

Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zum Erzeugen eines stereoskopischen Computergraphik-(CG-)Bildes nach den Oberbegriffen der Ansprüche 1 und 5, um die stereoskopische Sicht möglich zu machen, indem zweidimensionale Bilder angezeigt werden, die aus dreidimensional strukturierter Information erzeugt werden.
Eine solche stereoskopische Computergraphik ist bereits aus der Druckschrift EP-A-0 583 060 bekannt.
Diese Einrichtung erzeugt die Bilder eines Gegenstandes entsprechend den Augenpunktpositionen eines Betrachters mittels einer Computergraphik und zeigt die Bilder an, als wenn sie aus den genannten Positionen betrachtet würden, ohne dreidimensionale Verzerrung.
Aus der Druckschrift EP-A-0 641 132, die sich auf allgemeine stereoskopische Bilder (natürliche Bilder) bezieht, ist es bekannt, Kameraparameter oder einen Anzeigeschirm parallel so zu bewegen, daß die binokulare Parallaxe in den Verschmelzungsbereich eines Betrachters kommt.
Ein Beispiel einer bekannten Stereoskopbilderzeugungsvorrichtung ist in Fig. 10 gezeigt. Bei dieser Vorrichtung wird eine dreidimensional strukturierte Information, die eine dreidimensionale Gestalt eines Gegenstandes durch ein Oberflächenmodell beschreibt, eingegeben (der Gegenstand wird durch mehrere, Polygone genannte kleine Oberflächen angenähert, und die Strukturinformation definiert die dreidimensionalen Positionen der Scheitel eines jeden Polygons und der Flächen und der Ränder, die von den Polygonen gebildet werden), und der durch diese Information definierte Gegenstand wird in einem Weltkoordinatensystem angeordnet.
Die Projektionstransformationseinheiten 1 und 2 berechnen dann die zweidimensionalen Positionen des Objektes, die auf einen Film projiziert würden, wenn mit einer imaginären Kamera fotografiert würde, und Wiedergabeeinheiten 3 und 4 bestimmen die Helligkeit und Farbe (z. B. R-, G-, B-Werte) eines Bildes innerhalb jedes Polygons auf der Basis des Materials des Objektes, der Art der verwendeten Lichtquelle und der dreidimensionalen Positionen.
Beispielsweise wird ein geometrisches Modell eines Polyeders, wie beispielsweise desjenigen, der in Fig. 11 (a) gezeigt ist, durch die dreidimensionalen Koordinaten der Scheitel V1 bis V8 und die Datenstruktur (die Flächen und Kanten bilden) des geometrischen Modells beschrieben, wie in Fig. 11 (b) gezeigt, und das durch diese Information beschriebene Objekt ist im Weltkoordinatensystem, so wie in Fig. 12(a) gezeigt, angeordnet. Dann wird ein Bild (Scheitel) des auf einen Schirm 50 projizierten Objekts, wie vom Betrachtungspunkt E der Kamera gesehen, berechnet. Als nächstes werden die Positionen der Flächen und Kanten, die von den Scheiteln gebildet werden, auf dem Schirm und ihre Helligkeit und Farbe berechnet, um ein Bild für die Ausgabe zu erzeugen. Dabei müssen für die Erzeugung eines stereoskopischen Bildes Bilder, wie sie aus wenigstens zwei Betrachtungspunkten gesehen werden, berechnet werden; daher müssen Kameraparameter wie in Fig. 12(b) spezifiziert, beschrieben werden, d. h. 2Wc, was der Abstand zwischen mehreren Kameras ist, CL und CR, die die Positionen der Kamerabetrachtungspunkte sind, P, das die dreidimensionale Koordinate des Konvergenzpunktes der Kamera ist, und F, das die Brennweite der Kameras ist (oder g, was das Sichtfeld ist).
Fig. 18 zeigt ein Beispiel eines bekannten stereoskopischen Fernsehgeräts zum Anzeigen eines stereoskopischen Bildes.
Dieses Gerät enthält zwei Kathodenstrahlröhren mit gekreuzten Polarisationsfiltern, die vor ihren jeweiligen Bildschirmen angeordnet sind, und ein halbversilberter Spiegel wird dazu verwendet, die zwei Anzeigebilder zu kombinieren. Wenn die Bilder durch eine Brille betrachtet werden, die aus entsprechenden Polarisationsfiltern besteht, werden sie dem linken bzw. dem rechten Auge des Betrachters dargeboten.
Bei dem obigen bekannten Gerät, das eine stereoskopische Computergraphik erzeugt, müssen die vielen Kameraparameter jedoch entsprechend der Betrachtungsdistanz und der Bildschirmgröße geändert werden, und wirklich werden diese Parameter durch einen Computergraphikfachmann mit Hilfe von dessen Erfahrung eingestellt, indem er die erzeugten stereoskopischen Computergraphikbilder betrachtet und die Parameter so einstellt, daß dem Zuschauer ein einfach zu betrachtendes Bild angeboten werden kann. Es besteht daher das Problem, daß wenn die stereoskopischen Computergraphikbilder mit unpassend eingestellten Parametern erzeugt und auf einer stereoskopischen Bildanzeigevorrichtung dargestellt werden, die binokulare Parallaxe der stereoskopischen Bilder (die beispielsweise die Differenz zwischen den horizontalen Positionen derselben Scheitel in den linken und rechten Bildern als Sichtwinkel ausdrückt) häufig den zulässigen Bereich des Betrachters überschreitet, was zu unnatürlichen stereoskopischen Bildern führt, die zu einer Überanstrengung des Auges neigen.
Im Hinblick auf das o. g. Problem der bekannten Vorrichtungen zum Erzeugen stereoskopischer Computergraphikbilder ist es eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung zum Erzeugen stereoskopischer Bilder anzugeben, die automatisch natürliche stereoskopische Bilder erzeugen kann, die für einen Betrachter einfach zu betrachten sind, ohne Rücksicht auf den Betrachtungsabstand und die Bildschirmgröße.
Bei dem bekannten stereoskopischen Fernsehgerät ist bei gleichem stereoskopischen Bildsignal bei unterschiedlichen Bildschirmgrößen auch die binokulare Parallaxe der angezeigten Bilder verschieden. Fig. 19 erläutert dies; das bedeutet, die binokulare Parallaxe äs auf einem kleinen Anzeigeschirm (a) nimmt auf ΔL auf einem großen Anzeigeschirm (b) zu. Wenn diese binokulare Parallaxe zu groß wird, hat der Betrachter Schwierigkeiten, einen stereoskopischen Eindruck zu gewinnen, wodurch die Augen angestrengt werden.
Die Schwierigkeit beim Gewinnen eines stereoskopischen Eindrucks bedeutet, daß wenn die binokulare Parallaxe AN groß wird und die Distanz zwischen dem Bildanzeigeschirm und dem Punkt, wo das Objekt wahrgenommen wird, für die stereoskopische Betrachtung zunimmt, wie in Fig. 20(a) gezeigt, ein Konflikt zwischen der Adaption der Augenlinsen des Betrachters und der durch den stereoskopischen Eindruck wahrgenommenen Distanz entsteht, und (wenn P sich weiter annähert) ein binokularer stereoskopischer Eindruck nicht erzielt werden kann. Im Falle von Fig. 20(b) wird bei stereoskopischen Bildern ein Objekt in einer Distanz ∞ mit einer binokularen Parallaxe dargestellt, die mit dem Pupillenabstand des Betrachters übereinstimmt. Wenn die binokulare Parallaxe ΔF größer als diese wird, dann ist der Betrachter nicht in der Lage, einen binokularen stereoskopischen Eindruck zu erzielen.
Bei Computergraphikarbeitsplätzen der letzten Zeit sind Mehrfachsynchronisationsbildschirme in breitem Einsatz, die zwischen mehreren Auflösungsbetriebsarten umgeschaltet werden können. Die Auflösung (Anzeigefrequenz) kann über einen breiten Bereich umgeschaltet werden, beispielsweise von einer Betriebsart niedriger Auflösung eines 640 · 400 Pixelschirms, der gewöhnlich für PCs benutzt wird, auf eine Betriebsart hoher Auflösung mit 2000 · 1000 Pixel für Arbeitsplätze. Wenn ein Multisynchronanzeigeschirm benutzt wird, um zwischen Bildsignalen umzuschalten, variiert die angezeigte Größe eines Bildes, das aus der gleichen Zahl Bildpunkten besteht, entsprechend der Auflösung des Bildsignals, weil die Anzeigeschirmgröße die gleiche ist. Fig. 19 zeigt dieses; das bedeutete, Teil (c) zeigt eine Anzeige eines Bildsignals niedriger Auflösung und Teil (d) zeigt eine Anzeige eines Bildsignals hoher Auflösung. Im Teil (d) ist das angezeigte Bild klein, während im Teil (c) die binokulare Parallaxe Δs größer als Δt ist.
Wenn stereoskopische Computergraphikbilder oder dgl. auf einer solchen Anzeige dargestellt werden, variiert die binokulare Parallaxe der angezeigten Bilder sehr stark in Übereinstimmung mit der Bildauflösung, und in manchen Fällen macht es dieses für den Betrachter schwierig, einen stereoskopischen Eindruck zu erhalten, und somit werden die Augen angestrengt.
Gegenwärtig gibt es drei Typen von Rundfunkvideosignalen, HDTV, EDTV und NTSC. Diese Signalformate unterscheiden sich nicht nur in der Auflösung, sondern auch im Bildseitenverhältnis, und daher ergeben sich Unterschiede in der Bildgröße. Außerdem kann bei manchen Anzeigeverfahren die Größe verändert werden, wie in einer Fensterumgebung. Dementsprechend variiert die binokulare Parallaxe der angezeigten Bilder stark, und in manchen Fällen macht es dieses dem Betrachter schwierig, einen stereoskopischen Eindruck zu erzielen, was wieder die Augen anstrengt.
Die o. g. Aufgabe wird durch die kennzeichnenden Merkmale der Ansprüche 1 und 5 gelöst.
Gemäß der vorliegenden Erfindung berechnet die Verschmelzungsbereichs-Berechnungseinrichtung den Binokular-Verschmelzungsbereich des Betrachters, der den Schirm der stereoskopischen Bildanzeigevorrichtung zum Anzeigen des stereoskopischen Bildes eines Objektes betrachtet, auf der Grundlage der zuvor eingegebenen Parameter, die aus wenigstens der Schirmgröße und des Betrachtungsabstandes zwischen dem Schirm und dem Betrachter bestehen, und die Kameraparameter-Berechnungseinrichtung berechnet die Bedingungen für Kameraparameter auf der Grundlage des Binokular-Verschmelzungsbereichs und der Distanz zwischen Objekt und Kamera, die durch die Distanzinformations-Extraktionseinheit erzeugt wird, so daß das Objekt in seiner Gesamtheit in den Binokular-Verschmelzungsbereich des Betrachters gebracht werden kann; dann bestimmt unter Verwendung der Kameraparameter-Bestimmungseinheit der Computergraphikbediener die Kameraparameter auf der Grundlage der Ausgabe der Kameraparameter-Berechnungseinrichtung, und auf der Grundlage von dreidimensionaler Strukturinformation, die eine dreidimensionale Gestalt eines Objekts beschreibt, erzeugt die Projektionstransformationseinheit unter Verwendung der so bestimmten Kameraparameter die Vielzahl zweidimensionaler Projektionsbilder, wie von den mehreren Kameras gesehen.
Fig. 1 ist ein Diagramm, das die Konfiguration einer Vorrichtung zum Erzeugen stereoskopischer CG-Bilder gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 2 ist ein Diagramm, das das Verhältnis zwischen einem Objekt und Kamerapositionen in einem CG-Raum (Weltkoordinatensystem) gemäß der vorliegenden Erfindung zeigt;
Fig. 3 ist ein Diagramm, das einen Betrachterraum (das den Raum definiert, wo stereoskopische Bilder betrachtet werden) gemäß der vorliegenden Erfindung zeigt;
Fig. 4 ist ein Diagramm, das ein Verfahren zum Parallelaufnehmen eines stereoskopischen Bildes gemäß der vorliegenden Erfindung zeigt;
Fig. 5(a) ist ein Diagramm, das ein Beispiel einer Anzeige zeigt, die auf einer Anzeigeeinheit in einer Betriebseinheit gemäß der ersten Ausführungsform erzeugt wird, und Fig. 5(b) ist ein Diagramm, das ein Bedienfeld der Betriebseinheit zeigt;
Fig. 6 ist ein Diagramm, das den Aufbau einer Vorrichtung zur Erzeugung eines stereoskopischen CG-Bildes gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 7 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß einer dritten Ausführungsform der Erfindung zeigt;
Fig. 8(a) ist ein Diagramm, das das Konzept des Nah-Abschneidens und Fern-Abschneidens (unabhängig für linke und rechte Kameras) zeigt, und Fig. 8(b) ist ein Diagramm, das das Konzept des Nah-Abschneidens und Fern-Abschneidens (gemeinsam für die linken und rechten Kameras) gemäß der dritten Ausführungsform zeigt;
Fig. 9 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 10 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß dem Stand der Technik zeigt;
Fig. 11 (a) ist ein Diagramm, das ein Beispiels eines geometrischen Modells zur Erläuterung dreidimensionaler Strukturinformation zeigt, und Fig. 11 (b) ist ein Diagramm, das die Datenstruktur des geometrischen Modells zeigt;
Fig. 12(a) ist ein Diagramm, das ein Weltkoordinatensystem und Projektionstransformation zeigt und Fig. 12(b) ist ein Diagramm, das Kameraparameter zeigt;
Fig. 13 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß einer fünften Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 14 ist ein Diagramm, das den Aufbau eines stereoskopischen Fernsehgerätes zeigt, das nicht der vorliegenden Erfindung entspricht;
Fig. 15 ist ein Diagramm, das den Betrieb einer Parallaxenberechnungseinheit zeigt, die nicht in Übereinstimmung mit der vorliegenden Erfindung ist;
Fig. 16 ist ein Diagramm, das den Aufbau eines weiteren stereoskopischen Fernsehgerätes zeigt, das nicht in Übereinstimmung mit der vorliegenden Erfindung ist;
Fig. 17 ist ein Diagramm, das ein zeitmultiplexiertes stereoskopisches Bildsignal zeigt, das nicht in Übereinstimmung mit der vorliegenden Erfindung ist;
Fig. 18 ist ein Diagramm, das den Aufbau eines stereoskopischen Fernsehgeräts gemäß dem Stand der Technik zeigt;
Fig. 19 ist ein Diagramm, das die Verhältnisse zwischen binokularer Parallaxenanzeigebildgröße und Bildauflösung zeigt;
Fig. 20 ist ein Diagramm, das einen Binokular-Verschmelzungsbereich eines Betrachters zeigt;
Fig. 21 ist ein Diagramm, das den Aufbau eines weiteren stereoskopischen Fernsehgeräts zeigt, das nicht in Übereinstimmung mit der vorliegenden Erfindung ist, und
Fig. 22 ist ein Diagramm, das den Zusammenhang zwischen dem Betrachtungswinkel des Anzeigeschirms und den Binokular-Verschmelzungsgrenzen zeigt.

(Ausführungsform 1)

Fig. 1 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt. In Fig. 1 sind die Bezugszeichen 1 und 2 Projektionstransformationseinheiten und 3 und 4 sind Wiedergabeeinheiten; diese Einheiten sind vergleichbar jenen, die in der bekannten Vorrichtung zum Erzeugen stereoskopischer Computergraphik verwendet werden. Die vorliegende Erfindung unterscheidet sich von der bekannten Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes dadurch, daß die Distanzinformations-Extraktionseinheit 5, eine Verschmelzungsbereichs-Prüfeinheit 11, eine Kameraparameter-Bestimmungseinheit 6 und eine Betriebseinheit 12 hinzugefügt sind. Die Verschmelzungsbereichs-Prüfeinheit 11 enthält eine Verschmelzungsbereichs-Berechnungseinrichtung und eine Kameraparameter-Berechnungseinrichtung.
Der Betrieb der erfindungsgemäßen Vorrichtung zur Erzeugung eines stereoskopischen CG- Bildes wird nun erläutert. Zunächst wird die dreidimensionale Strukturinformation, die eine dreidimensionale Gestalt eines Objekts durch ein Oberflächenmodell beschreibt, in die Projektions transformationseinheiten 1 und 2 sowie in die Distanzinformations-Extraktionseinheit 5 eingegeben. Während die Ausgabebilder, die auf einer stereoskopischen Bildanzeigevorrichtung (nicht dargestellt), die mit den Ausgabeeinheiten 3 und 4 verbunden ist, von ihm geprüft werden, ordnet eine CG-Bedienperson das Objekt und eine imaginäre Kamera (in der Mitte zwischen linken und rechten Kameras) an geeigneten Stellen im Weltkoordinatensystem an, wie sie wünscht, um so ihre Richtung zu bestimmen. Die linken und rechten Kameras werden an Positionen -Wc und +Wc längs der x-Achse mit der imaginären Kameraposition V als Ursprung angeordnet (siehe Fig. 2). Es sei hier angenommen, daß die Kameraparameter dabei als Anfangswerte eingestellt sind (der Kameraabstand Wc, die Brennweite f und die Distanz dx zum später unter Bezugnahme auf Fig. 3 beschreibenden Konvergenzpunkt). (Der Kameraabstand Wc, wie hier verwendet, bezieht sich auf die Hälfte der Distanz zwischen den linken und rechten Kameras. Gleiches gilt nachfolgend, falls nicht anders angegeben.)
Als nächstes extrahiert die Distanzinformations-Extraktionseinheit 5 vom Objekt einen Punkt, der der imaginären Kamera am nächsten ist (Nahpunkt N) und einen Punkt, der von der imaginären Kamera am weitesten entfernt ist (Fernpunk F). Die x-, y-Koordinaten dieser Punkte werden berechnet und als N (XN, YN, ZN) und F (XF, YF, ZF) bezeichnet (siehe Fig. 2) Wenn diese zwei Punkte beide in den Binokularverschmelzungsbereich des Betrachters fallen, wird ein gutes stereoskopisches CG-Bild erhalten. In diesem Falle können der Fernpunkt und der Nahpunkt umfassend bestimmt werden, indem der Mittelwert der Distanzen zu der imaginären Kamera berechnet werden usw..
Auf der Grundlage der dreidimensionalen Koordinaten des Nahpunktes N und des Fernpunktes F und auf der Betrachtungsdistanz ds des Betrachters und der Bildschirmgröße M der stereoskopischen Bildanzeigevorrichtung, auf der stereoskopische CG-Bilder zur Betrachtung dargestellt werden (ds und M sind zuvor eingegebene Parameter) berechnet die Verschmelzungsbereichs-Prüfeinheit 11 einen wirksamen Bereich (in dem der Betrachter eine binokulare Verschmelzung erreichen kann), der Kameraparameter (Kameraabstand Wc, Kamerabrennweite f und Distanz dx zwischen dem Kamerakonvergenzpunkt und der imaginären Kameraposition V). Die Betrachterraumparameter sind wie in Fig. 3 gezeigt definiert.
Mathematische Ausdrücke für die Berechnungen werden unten angegeben. Nahpunktbedingung (Gleichung 1) Fernpunktbedingung: (Gleichung 2)
wobei 2 · Δ5 die Phasendifferenz zwischen linken und rechten Bildern auf dem stereoskopischen Bildanzeigeschirm angibt; gewöhnlich wird 2 · ΔS auf den Pupillenabstand des Betrachters eingestellt (etwa 60 mm). Weiterhin stellen D- und D+ Binokularparallaxen am nächsten Punkt und fernsten Punkt innerhalb des Bereiches dar, in dem der Betrachter eine binokulare Verschmelzung erreichen kann.
Die Brennweite f und das Sichtfeld θ einer Kamera haben ein festes Verhältnis zueinander, wie ausgedrückt durch (mathematisch 3);

(Gleichung 3)

tan θ/2 = 1/2f
daher kann jeder von ihnen benutzt werden, um den Parameter zu bestimmen. Auch kann dx automatisch durch die Kameraposition und die dreidimensionale Position eines Punktes, auf den die Kamera gerichtet ist bestimmt werden. Die Verschmelzungsbereichs-Prüfeinheit 11 berechnet jede mögliche Kombination des Kameraabstandes Wc, der Kamerabrennweite f und der Distanz dx vom Kamerakonvergenzpunkt P zur imaginären Kameraposition V, die beide der obigen Ausdrücke befriedigt.
In der Gleichung 1 geben D+ und D- die Grenzwerte an, innerhalb der der Betrachter Binokularverschmelzung erreichen kann. Diese Werte hängen von der Größe des Bildanzeigeschirms ab, der sich dem Betrachter darbietet. Die Verschmelzungsbereichs-Prüfeinheit 11 speichert im voraus die Werte des Binokularverschmelzungsbereichs entsprechend dem Bildanzeigeschirm, und auf der Grundlage von ihnen bewertet sie den Verschmelzungsbereichs des Betrachters.
Als nächstes bestimmt die Kameraparameter-Bestimmungseinheit 6, welche der Kameraparameterkombinationen, die von der Verschmelzungsbereichs-Prüfeinheit 11 berechnet wurden, verwendet werden soll.
Beispielsweise wird eines der nachfolgenden Verfahren benutzt.
(1) Beim Prüfen der ausgegebene Bilder durch Betrieb der Betriebseinheit 12 versucht der CG- Betreiber zahlreiche Kameraparameterkombinationen, die durch die Verschmelzungsbereichs- Prüfeinheit 11 berechnet wurden, und wählt jene aus, von der er denkt, daß sie das beste Ergebnis bringt.
(2) Der CG-Betreiber bestimmt zunächst einen der Kameraparameter Wc, f und dx und ändert dann die verbliebenen zwei Parameter durch Betreiben der Betriebseinheit 12 in wahlfreier Weise innerhalb der Parameterkombinationen, die von der Verschmelzungsbereichs-Prüfeinheit 11 angeboten werden (Kombinationen der zwei Parameter, die die Ausdrücke der Gleichung 1 und der Gleichung 2 befriedigen), während er die ausgegebenen Bilder prüft, und bestimmt die Kombination, von der er denkt, daß sie das beste Ergebnis bringt.
(3) Der CG-Betreiber bestimmt zunächst zwei der Kameraparameter Wc, f und dx und ändert dann den verbliebenen Parameter durch Betreiben der Betriebseinheit 12 wahlfrei innerhalb des Parameterbereiches, der von der Verschmelzungsbereichs-Prüfeinheit 11 dargeboten wird (der Bereich von einem der Parameter, der die Ausdrücke der Gleichung 1 und der Gleichung 2 befriedigt), während er die ausgegebenen Bilder prüft, und bestimmt jene, von der er denkt, daß sie das beste Ergebnis bringt.
Die Verfahren (1) bis (3) werden nachfolgend weiter erläutert.
Im Falle (1) wird ein Bereich (wirksamer Bereich), der Kombinationen der Parameter Wc, f und dx definiert, in dem der Betrachter eine Binokularverschmelzung erreichen kann, zusammen mit einem Zeiger 13 angezeigt, der die laufende Kombination von Wc, f und dx angibt, auf eine Anzeigeeinheit, die in der Betriebseinheit 12 angeordnet ist, wie in Fig. 5(a) gezeigt.
Der CG-Betreiber ändert die Position des Zeigers durch Verwendung einer dreidimensionalen Maus oder dgl.. Dabei ändern sich die Werte von Wc, f und dx, wenn sich die Zeigerposition ändert, jedoch kann der Zeiger nicht außerhalb des wirksamen Bereichs bewegt werden. Die Parameter an der Koordinatenposition, die von dem Zeiger angezeigt wird, werden an die Kameraparameter Bestimmungseinheit 6 ausgegeben, und die auszugebenden stereoskopischen Bilder werden durch die Projektionstransformationseinheiten 1 und 2 und die Ausgabeeinheiten 3 und 4 berechnet. Durch Betrachtung des von der stereoskopischen Bildanzeigevorrichtung erzeugten Bildes stellt der CG-Betreiber die Position des Zeigers so ein, wie er es wünscht. Auf diese Weise wird die Steuerung derart ausgeführt, daß die ausgegebenen stereoskopischen CG-Bilder immer innerhalb des Binokularverschmelzungsbereiches des Betrachters erzeugt werden.
Im Falle von (2) und (3) ist, wie in Fig. 5(b) gezeigt, ein Steuerfeld 12a vorgesehen, das drei Größensteuerungen 14, 15 und 16 zum Einstellen der betreffenden Parameter und drei Verriegelungsknöpfe 17, 18 und 19 zum Verriegeln der entsprechenden Parameter aufweist. Es sei hier angenommen, daß zu Anfang die Verriegelungsknöpfe nicht EIN-gedrückt sind. Beim Betrachten des ausgegebenen stereoskopischen CG-Bildes wählt der CG-Betreiber beispielsweise zunächst die Brennweite f aus den Kameraparametern aus und bestimmt, ihn auf f0 auf dem Steuerfeld 12a einzustellen (Fig. 5(b)), indem er das Gesichtsfeld betrachtet. Der Betreiber setzt dann die Größensteuerung 14 auf f0 und drückt den Verriegelungsknopf 17. Der Parameter f wird somit auf f0 verriegelt. Wenn der Parameter f verriegelt ist, berechnet die Verschmelzungsbereichs-Prüfeinheit 11 Kombinationen der übrigen Parameter Wc und dx, die die Gleichung 1 und Gleichung 2 befriedigen.
Als nächstes ändert der CG-Betreiber die Parameter Wc und dx durch Betätigen der Größensteuerungen 15 und 16, während die ausgegebenen Bilder geprüft werden. Hier sind Vorkehrungen derart getroffen, daß die Parameter Wc und dx, die der CG-Betreiber gerade einstellt, nur innerhalb der Bereiche von Wc- und dx-Werten geändert werden können, die sowohl die Gleichung 1 als auch die Gleichung 2 befriedigen. Dabei kann einer der beiden Parameter Wc oder dx durch die Verriegelungsknöpfe 18 oder 19 verriegelt werden. Dann wird nur der verbliebene Parameter geändert, während die ausgegebenen stereoskopischen CG-Bilder geprüft werden. Auf diese Weise können die Parameter nacheinander bestimmt werden, während das ausgegebene stereoskopische CG-Bild beständig innerhalb des Binokularverschmelzungsbereiches des Betrachters gehalten wird.
Unter Verwendung der Kameraparameter Wc, f und dx, die auf oben beschriebene Weise bestimmt wurden, berechnen die Projektionstransformationseinheiten 1 und 2 die zweidimensionalen Positionen des Objekts, die auf Filme projiziert würden, wenn mit rechten und linken Kameras fotografiert würde, und die Ausgabeeinheiten 3 und 4 bestimmen die Helligkeit und Farbe eines Bildes innerhalb eines jeden Polygons auf der Basis des Materials des Objekts, der Art der verwendeten Lichtquelle und der dreidimensionalen Positionen. Schließlich werden stereoskopische CG-Bilder für das linke und das rechte Auge ausgegeben.
Die vorliegende Ausführungsform ist unter der Annahme beschrieben worden, daß die Kameraanordnung für konvergierendes Fotografieren eingerichtet ist (in Fig. 2 sind die linken und rechten Kameras 7 und 8 so angeordnet, daß beide in die Richtung des Punktes P zeigen). Alternativ können die linken und rechten Kameras parallel zueinander angeordnet sein, wie in Fig. 4 gezeigt. In diesem Falle braucht die Verschmelzungsbereichs-Prüfeinheit 11 nicht die dreidimensionalen Koordinatenwerte des Fernpunktes des Objekts verwenden, sondern muß nur Kombinationen von Wc und f berechnen, die die durch die Gleichung 4 ausgedrückte Bedingung befriedigen. (Gleichung 4)
(Diese Einstellung ist äquivalent der Einstellung dx auf oo.)
Bei der vorliegenden Ausführungsform werden die Grenzen des Binokularverschmelzungsbereiches des Betrachters durch die Gleichung 1 und die Gleichung 2 angegeben. Alternativ können D- und D+ in diesen Ausdrücken oder Tiefendistanzen entsprechend dieser Parameter manuell durch den CG-Betreiber eingegeben werden.
Bei der vorliegenden Ausführungsform werden die Kameraparameter auf der Grundlage der Daten eines CG-Bildes bestimmt, im Falle von bewegten Bildern können die Kameraparameter aber auch in gleicher Weise durch Verwendung von CG-Bilddaten in jedem der aufeinanderfolgenden Zeitpunkte bestimmt werden. Weiterhin, wenn eine Kameraparameterfolge über eine gewisse Zeitperiode im voraus bestimmt und gespeichert wird, ist es möglich, die gleiche Szene immer wieder abzuspielen, indem die stereoskopischen Kameraparameter verwendet werden, die das gleiche Änderungsmuster haben.
Wie oben beschrieben, werden gemäß der vorliegenden Ausführungsform die Distanzinformation Kamera-Objekt und die Größe der Parallaxe der auf der Anzeigevorrichtung erzeugten stereoskopischen CG-Bilder aus der Größe der Anzeigeeinrichtung und der Betrachtungsdistanz berechnet, und durch Prüfung, ob die CG-Bilder in den Binokularverschmelzungsbereich des Betrachters fallen, werden geeignete Kameraparameter (Brennweite oder Gesichtsfeld, Kameraabstand und Konvergenzpunkt) bestimmt. Auf diese Weise können einfach zu betrachtende stereoskopische CG-Bilder automatisch erhalten werden.

(Ausführungsform 2)

Fig. 6 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt. In Figur sind die Bezugszeichen 1 und 2 Projektionstransformationseinheiten, 3 und 4 sind Ausgabeeinheiten und 6 ist eine Kameraparameter-Bestimmungseinheit; diese Einheiten sind gleich jenen, die in der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes der ersten Ausführungsform verwendet wurden. Die vorliegende Ausführungsform unterscheidet sich von der ersten Ausführungsform der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes dahingehend, daß die Distanzinformations-Extraktionseinheit 5 und Verschmelzungsbereichs- Prüfeinheit 11 in Fig. 1 durch eine Parallaxenumrechnungseinheit 20 und eine Verschmelzungsbereichs-Beurteilungseinheit A21 ersetzt sind, welch letztere als eine Pixelzahlberechnungseinrichtung wirkt.
Der Betrieb der Vorrichtung zum Erzeugen des stereoskopischen CG-Bildes des o. g. Aufbaus wird nun erläutert.
Die vorliegende Ausführungsform ist teilweise in Fällen wirksam, in denen von den Kameraparametern Wc, f und dx wenigstens ein Parameter, insbesondere Wc, durch den CG-Betreiber festgelegt wird und, wenn ohne jegliche Einstellung ausgegeben, die gesamten stereoskopischen CG-Bilder nicht in den Binokularverschmelzungsbereich des Betrachters gebracht werden können.
Die dreidimensionale Strukturinformation, die eine dreidimensionale Gestalt eines Objektes durch ein Oberflächenmodell beschreibt, wird in die Projektionstransformationseinheiten 1 und 2 eingegeben. Wie bei der ersten Ausführungsform rangiert der CG-Betreiber unter Prüfung der ausgegebenen Bilder, die auf der stereoskopischen Bildanzeigevorrichtung (nicht dargestellt) erzeugt werden, die mit den Ausgabeeinheiten 3 und 4 verbunden sind, das Objekt und die imaginäre Kamera (in der Mitte zwischen linken und rechten Kameras) an geeigneten Positionen im Weltkoordinatensystem, wie er es wünscht, und bestimmt so ihre Richtung. Die linken und rechten Kameras werden an Positionen von -Wc und +Wc längs der x-Achse angeordnet, wobei die imaginäre Kameraposition V in ihrem Ursprung liegt (siehe Fig. 2). Die Kameraparameter Wc, f und dx, die hier benutzt werden, sind als Anfangswerte eingestellt (wenigstens einer dieser Parameter ist fest).
Unter Verwendung dieser vorgegebenen Parameter wandeln die Projektionstransformationseinheiten 1 und 2 die dreidimensionale Strukturinformation in Bilder um, die auf einen zweidimensionalen Schirm projiziert werden, und die resultierenden Bilder werden den Ausgabeeinheiten 3 und 4 zugeführt, die dann die CG-Bilder erzeugen.
Aus den Ausgaben der Ausgabeeinheiten 3 und 4 und der dreidimensionalen Strukturinformation berechnet die Parallaxenumrechnungseinheit 20 die Tiefendaten der linken und rechten Bilder an jedem Punkt der Projektions-gewandelten Bilder, d. h. eine Parallaxenumwandlung (ein Bild, das den Umfang von Tiefe an jeden Pixel zeigt). Beispielsweise durch Verwendung der Ergebnisse von Z-Pufferverarbeitung, eine bei CG populäre Technik, ist es möglich, den Umfang an Tiefe an einem jeden Punkt auf dem Schirm zu erhalten, und es ist einfach, eine Parallaxenumrechnung unter Verwendung dieser Technik zu konstruieren. Im Falle von Bildern, wie beispielsweise einer Drahtgitterdarstellung, die keine Ausgabe umfassen, wird eine Parallaxenumrechnung unter Verwendung der Ausgaben der Projektionstransformationseinheiten 1 und 2 und der dreidimensionalen Strukturinformation aufgebaut.
Auf der Grundlage der Parallaxenumrechnung berechnet die Verschmelzungsbereichs-Beurteilungseinheit A21 die Anzahl der Pixel (dies wird durch die effektive Pixelzahl definiert) oder der Polygonscheitel oder die Anzahl der Mittelpunkte von Polygonen, die in einem Bereich auf dem Bildschirm enthalten sind, der innerhalb des Binokularverschmelzungsbereichs des Betrachters liegt, der die stereoskopischen CG-Bilder betrachtet (der Verschmelzungsbereich ist ein Bereich, in dem die Parallaxe einen Wert zwischen D- und D+ annimmt, wobei diese Werte von der Bildschirmgröße abhängig sind, und eine Datenbank, die diese Werte speichert, ist in der Verschmelzungsbereichs-Beurteilungseinheit A21 enthalten).
Während nacheinander die Kameraparameter Wc, f und dx verändert werden, berechnet die Verschmelzungsbereichs-Beurteilungseinheit A21 auf der Grundlage der Ausgabe der Parallaxenumrechnungseinheit 20 die effektive Pixelzahl für jede mögliche Kombination von Wc, f und dx innerhalb vorgegebener Variationsbereiche mit Ausnahme jedoch des Parameters, dessen Wert fest ist.
Die Kameraparameter-Bestimmungseinheit 6 berechnet dann die Parameter Wc, f und dx, die die größte effektive Pixelzahl für alle Kombinationen der Parameter Wc, f und dx ergeben, für die die effektive Pixelzahl berechnet worden ist. Die so berechneten Parameter Wc, f und dx werden den Projektionstransformationseinheiten 1 und 2 zugeführt.
Dabei wird anstelle der Auswahl des Maximalwertes der effektiven Pixelzahl eine Zahl von Kombinationen, die die effektive Pixelzahl dicht am Maximalwert ergibt, dem CG-Betreiber zur Wahl präsentiert, und die ausgewählte Kombination kann den Projektionstransformationseinheiten 1 und 2 zugeführt werden.
Weiterhin kann von den drei Parametern einer oder mehrere Parameter fest sein, und die Kameraparameter-Bestimmungseinheit 6 kann so eingerichtet sein, daß sie die Kombination der verbliebenen Parameter, die die größte effektive Pixelzahl liefert, anbietet, oder eine Anzahl von Kombinationen der verbliebenen Parameter anbietet, die die effektive Pixelzahl liefert, die nahe am Maximalwert liegt, damit der CG-Betreiber auswählen kann.
Unter Verwendung der so gelieferten Parameter rechnen die Projektionstransformationenseinheiten 1 und 2 und die Ausgabeeinheiten 3 und 4 die endgültigen stereoskopischen CG-Bilder. Auf diese Weise können die Kameraparameter automatisch so bestimmt werden, daß sie den Bildanteil maximieren, der in den Binokularverschmelzungsbereich des Betrachters fällt.
Wenn die effektive Pixelzahl mehrere Maximalwerte hat, werden stereoskopische CG-Bilder erzeugt, die die Parameter für die betreffenden Fälle verwenden, und der CG-Betreiber wählt die gewünschte Parameterkombination durch Prüfen der Ergebnisse an der stereoskopischen Bildanzeigevorrichtung aus.
Wie beschrieben, können gemäß der vorliegenden Erfindung selbst in Fällen, in denen es Beschränkungen bei den Kameraparametern gibt und die gesamten stereoskopischen CG-Bilder, die für die endgültige Ausgabe erzeugt werden, nicht in den Binokularverschmelzungsbereich des Betrachters gebracht werden können, die Kameraparameter Wc, f und dx automatisch so bestimmt werden, daß der Bildbereich maximiert wird, der in den Binokularverschmelzungsbereich fällt.
Bei der oben beschriebenen Ausführungsform können der Nahpunkt und der Fernpunkt des Objektes aus der Parallaxenumrechnung berechnet werden, und anschließend können auf der Grundlage dieser Ergebnisse die stereoskopischen Kameraparameter unter Verwendung des gleichen Verfahrens bestimmt werden, wie bei der ersten Ausführungsform beschrieben.

(Ausführungsform 3)

In Fig. 7 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß einer dritten Ausführungsform der Erfindung zeigt. In Fig. 7 sind die Bezugszeichen 1 und 2 Projektionstransformationseinheiten, 3 und 4 sind Ausgabeeinheiten, 6 ist eine Kameraparameter-Bestimmungseinheit und 20 ist eine Parallaxenumrechnungseinheit; diese Einheiten sind gleich jenen, die bei der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes der zweiten Ausführungsform verwendet werden.
Die Unterschiede gegenüber der zweiten Ausführungsform der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes bestehen darin, daß die Verschmelzungsbereichs-Beurteilungseinheit A21 durch eine Verschmelzungsbereichs-Beurteilungseinheit B21' als Pixelzahlberechnungseinrichtung ersetzt ist und daß eine Abschneidewert-Bestimmungeinheit 22 als spezielle Bildverarbeitungseinheit hinzugefügt ist.
Der Betrieb der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes des oben beschriebenen Aufbaus wird nun erläutert. Zunächst bestimmt die Kameraparameter-Bestimmungseinheit 6 die Kameraparameter (Wc, dx, f), um die Projektionstransformationseinheiten 1 und 2 in der gleichen Weise zu versorgen, wie bei der vorangegangenen zweiten Ausführungsform.
Während er die ausgegebenen Bilder prüft, die auf der stereoskopischen Bildanzeigevorrichtung erzeugt werden, die mit den Ausgabeeinheiten 3 und 4 verbunden sind, arrangiert der CG- Betreiber das Objekt und die imaginäre Kamera an geeigneten Positionen im Weltkoordinatensystem, wie er es wünscht, und bestimmt dadurch ihre Richtung.
Unter Verwendung der so eingestellten Parameter wandeln die Projektionstransformationenseinheiten 1 und 2 die dreidimensionale Strukturinformation in Bilder um, die auf einen zweidimensionalen Schirm projiziert werden, und die resultierenden Bilder werden den Ausgabeeinheiten 3 und 4 zugeführt, die dann die CG-Bilder erzeugen.
Aus den Ausgängen der Ausgabeeinheiten 3 und 4 und der dreidimensionalen Strukturinformation berechnet die Parallaxenumrechnungseinheit 20 eine Parallaxenumrechnung an jedem Punkt der Projektions-gewandelten Bilder.
Auf der Grundlage dieser Parallaxenumrechnung berechnet die Verschmelzungsbereichs-Beurteilungseinheit B21' die effektive Pixelzahl des Bereichs auf dem Bildschirm, der innerhalb des Binokularverschmelzungsbereiches des Betrachters liegt, der die stereoskopischen CG- Bilder betrachtet, und während der aufeinanderfolgenden Änderung der Kameraparameter Wc, f und dx berechnet die effektive Pixelzahl auf der Grundlage der Ausgabe der Parallaxenumrechnungseinheit 20.
Die Verschmelzungsbereichs-Beurteilungseinheit B21' besitzt eine Datenbank, die Verhältnisse zwischen Bildschirmgröße und Verschmelzungsbereich definiert, und sie berechnet die wirksame Pixelzahl durch Bezugnahme auf diese Datenbank.
Als nächstes berechnet die Kameraparameter-Bestimmungseinheit die Parameter Wc, f und dx, die die größte effektive Pixelzahl aller Kombinationen der Parameter Wc, f und dx liefem, für die die effektive Pixelzahl berechnet worden ist. Die so berechnen Parameter Wc, f und dx werden den Projektionstransformationseinheiten 1 und 2 zugeführt.
Unter Verwendung der so zugeführten Parameter berechnen die Projektionstransformationseinheiten 1 und 2 und die Ausgabeeinheiten 3 und 4 die endgültigen stereoskopischen CG-Bilder. Sobald die Kameraparameter bestimmt worden sind, werden ihre Werte festgelegt.
Es sei hier die Situation betrachtet, bei der das Objekt bewegt wird oder die linken und rechten Kameras bewegt werden, während ihr gegenseitiges Verhältnis aufrechterhalten wird. Wenn die Kameras in Richtung auf das Objekt bewegt werden, nimmt die Distanz zum Objekt ab und nimmt die Binokularparallaxe zu, die eventuell den Binokularverschmelzungsbereich des Betrachters überschreitet. Gleiches gilt für den Fernpunkt. Um dieses Problem zu lösen, wird ein Abschneidevorgang ausgeführt, wobei die Kameraparameter unverändert gehalten werden.
Bei der konventionellen CG-Bildverarbeitung würden die Ausgabeeinheiten 3 und 4 das Abschneiden an einem nahen Objekt und einem fernen Objekt so ausführen, daß dieses nicht angezeigt werden würde. Bei der vorliegenden Erfindung werden andererseits Werte, die solche Abschneidepositionen definieren, für die Ausgabeeinheiten 3 und 4 so bestimmt, wie in Fig. 8(a) gezeigt, daß Bilder außerhalb des Binokularverschmelzungsbereiches nicht ausgegeben werden.
Dieses bedeutet, die Verschmelzungsbereichsbeurteilungseinheit B21' berechnet die Grenzen (nahe Grenze und ferne Grenze) des Binokularverschmelzungsbereiches des Betrachters. Genauer gesagt, im Weltkoordinatensystem von Fig. 8(a) werden alle Punkte, die die Gleichung 1 und 2 erfüllen, berechnet. In Fig. 8(a) wird der Bereich, der aus solchen Punkten besteht, durch den schattierten Bereich dargestellt.
Als nächstes werden ein Nahabschneidewert CLN und ein Fernabschneidewert CLF so bestimmt, daß jene Punkte, die außerhalb des schattierten Bereiches liegen, nicht in den endgültigen CG-Bildern enthalten sind, die zur Anzeige ausgegeben werden (CLNR und CLNL sind Nah-Abschneideebenen für die rechte Kamera und die linke Kamera und CLFR und CLFL sind Fern-Abschneideebenen für die rechte Kamera und die linke Kamera).
Nur Objekte, die innerhalb des von den Nah-Abschneideebenen und Fern-Abschneideebenen begrenzten Bereich liegen, werden von den Ausgabeeinheiten 3 und 4 ausgegeben.
Im obigen Beispiel sind die Abschneideebenen CLNR, CLNL, CLFR und CLFL für die rechten und linken Kameras vorgegeben, aber alternativ können eine Nah-Abschneideebene CLCN und eine Fern-Abschneideebene CLCF in Bezug auf die imaginäre Kamera (Ursprung) bestimmt werden, wie in Fig. 8(b) gezeigt, und diese können gemeinsam für die rechten und linken Kameras verwendet werden.
Wenn bei der vorliegenden Ausführungsform ein Objekt in einem abzuschneidenden Bereich liegt, werden Einstellungen so getroffen, daß ein solches Objekt nicht in den endgültigen Bildern enthalten ist, die zur Anzeige ausgegeben werden. Alternativ können Vorkehrungen getroffen werden, um den Kontrast des Objekts graduell herabzusetzen oder die Farbintensität des Objekts zu vermindern, wenn das Objekt nahe an einem abzuschneidenden Bereich liegt. Da in diesem Falle das Objekt in natürlicher Weise verschwindet, wenn es in einen Bereich außerhalb des Binekularverschmelzungsbereiches des Betrachters eintritt, kann eine Unnatürlichkeit in den stereoskopischen CG-Bildern, die zur Anzeige ausgegeben werden, großteils vermindert werden.
Wie oben beschrieben, können selbst dann, wenn die Kameraparameter fest sind durch Einstellung geeigneter Abschneideebenen unter Beachtung des Binokularverschmelzungsbereiches des Betrachters die endgültigen stereoskopischen CG-Bilder, die zur Anzeige ausgegeben werden, in den Binokularverschmelzungsbereich des Betrachters gebracht werden.

(Ausführungsform 4)

Fig. 9 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen stereoskopischer CG- Bilder gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt. In Fig. 9 sind Bezugszeichen 1 und 2 Projektionstransformationseinheiten, 3 und 4 sind Ausgabeeinheiten, 6 ist eine Kameraparameter-Bestimmungseinheit, 20 ist eine Parallaxenumrechnungseinheit und 21' ist eine Verschmelzungsbereichs-Beurteilungseinheit B; diese Einheiten sind gleich jenen, die in der Vorrichtung zum Erzeugen eines stereoskopischen Bildes der dritten Ausführungsform verwendet werden.
Der Unterschied gegenüber der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes der dritten Ausführungsform besteht darin, daß die Abschneidewert-Bestimmungseinheit 22 durch eine Fokusparameter-Bestimmungseinheit 23 und eine Verschleierungseffektparameter- Bestimmungseinheit 24 ersetzt sind, wobei diese Parameter in Übereinstimmung mit der Größe der Binokularparallaxe des betroffenen Objekts beeinflußt werden. Die Fokusparameter Bestimmungseinheit 23 und die Verschleierungseffektparameter-Bestimmungseinheit 24 bilden zusammen eine spezielle Bildverarbeitungseinheit.
Der Betrieb der Vorrichtung zur Erzeugung eines stereoskopischen CG-Bildes mit dem oben beschriebenen Aufbau wird nun erläutert. Zunächst bestimmt die Kameraparameter-Bestimmungseinheit 6 die Kameraparameter (Wc, dx, f) für die Projektionstransformationseinheiten 1 und 2 in der gleichen Weise wie bei der vorangegangenen dritten Ausführungsform.
Währender die ausgegebenen Bilder prüft, die auf der stereoskopischen Bildanzeigevorrichtung erzeugt werden, die mit den Ausgabeeinheiten 3 und 4 verbunden ist, arrangiert der CG- Betreiber das Objekt und die imaginäre Kamera an geeigneten Positionen im Weltkoordinatensystem, wie er wünscht, um so ihre Richtung zu bestimmen.
Anschließend wandeln die Projektionstransformationseinheiten 1 und 2 die dreidimensionale Strukturinformation in Bilder um, die auf einen zweidimensionalen Bildschirm projiziert werden, und die resultierenden Bilder werden den Ausgabeeinheiten 3 und 4 zugeführt, die dann die CG-Bilder erzeugen.
Als nächstes berechnet die Parallaxenumrechnungseinheit 20 aus den Ausgaben der Ausgabeeinheiten 3 und 4 und der dreidimensionalen Strukturinformation eine Parallaxenumrechnung an jedem Punkt der Projektions-gewaridelten Bilder. Auf der Grundlage der Parallaxenumrechnung berechnet die Fusionsbereichs-Beurteilungseinheit B21' die effektive Pixelzahl des Bereichs auf dem Schirm, die innerhalb des Binokularverschmelzungsbereiches des Betrachters liegt, der die stereoskopischen CG-Bilder betrachtet, und berechnet die wirksame Pixelzahl auf der Grundlage der Ausgabe der Parallaxenumrechnungseinheit 20, während nacheinander die Kameraparameter Wc, f und dx geändert werden. Die Verschmelzungsbereichs-Beurteilungseinheit B21' hat eine Datenbank, die Verhältnisse zwischen Bildschirmgröße und Verschmelzungsbereich definiert und die wirksame Pixelzahl durch Bezugnahme auf diese Datenbank berechnet.
Als nächstes berechnet die Kameraparameter-Bestimmungseinheit 6 die Parameter Wc, f und dx, die die größte effektive Pixelzahl aller Kombinationen der Parameter Wc, f und dx ergeben, für die die effektive Pixelzahl berechnet worden ist. Die so berechneten Parameter Wc, f und dx werden den Projektionstransformationseinheiten 1 und 2 zugeführt.
Unter Verwendung der so zugeführten Parameter berechnen die Projektionstransformationseinheiten 1 und 2 und die Ausgabeeinheiten 3 und 4 endgültige stereoskopische CG-Bilder. Sobald die Kameraparameter berechnet worden sind, werden ihre Werte festgehalten.
In einigen Fällen führen die Ausgabeeinheiten 3 und 4 vorsätzliche Fehler, wie defokussierende oder verschleiernde entfernte Objekte ein, um den Perspektiveffekt auszudrücken, wenn endgültige CG-Bilder erzeugt werden.
Die Parameterbestimmungseinheit 23 und die Verschleierungseffektparamete-Bbestimmungseinheit 24 bestimmen das Ausmaß der Defokussierung und Verschleierung auf der Grundlage der Parallaxenumrechnung und des Binokularverschmelzungsbereiches des Betrachters.
Beispielsweise berechnet auf der Grundlage der Ausgabe der Verschmelzungsbereichs-Beurteilungseinheit B21' die Fokusparameter-Bestimmungseinheit 23 jene Bereiche im Weltkoordinatensystem, in denen der Betrachter keine Binokularverschmelzung erreichen kann. Genauer gesagt, es werden die dreidimensionalen Koordinatenpositionen, die entweder die Gleichung 1 oder die Gleichung 2 oder beide nicht befriedigen, berechnet.
Beim Ausgeben von Objekten, die innerhalb solcher Bereiche in den Ausgabeeinheiten 3 und 4 liegen, gibt die Fokusparameter-Bestimmungseinheit 23 einen solchen Fokusparameter aus, daß dem ausgegebenen Bild ein fehlfokussiertes und unklares Aussehen verliehen wird.
Wenn dieser Effekt allmählich zunehmend angewendet wird, wenn sich das Bild einer Grenze des Binokularverschmelzungsbereiches des Betrachters nähert, kann dem Bild eine natürlichere Fehlfokussierungswirkung gegeben werden.
Um den Fehlfokussierungseffekt zu erzielen, kann ein Unschärfezustand der Kamera unter Verwendung traditioneller CG-Techniken simuliert werden, wie beispielsweise der Strahlverfolgung, oder es kann eine räumliche Filterung (z. B. Tiefpaßfilterung) an den erzeugten CG-Bildern ausgeführt werden. Es gibt auch eine Technik, bei der während der aufeinanderfolgenden Änderung der Position des Objekts um kleine Größen entsprechend dem Maß der Fehlfokussierung das gleiche Objekt mehrmals in den selben Bildspeicher eingeschrieben wird, um dadurch die Kanten zu verwischen. Wenn die Bewegung beim Ändern der Position des Objekts proportional zur Distanz von der Kamerafokussierebene gemacht wird, kann ein Fehlfokussierungseffekt erreicht werden (in der vorliegenden Ausführungsform sollte die Bewegung proportional zur Distanz zu einem Grenzwert des Binokularverschmelzungsbereichs des Betrachters gemacht werden).
Auf diese Weise wird eine Fehlfokussierung an Objekten angewendet, für die der Betrachter keine Binokularverschmelzung erreichen kann. Dies hat die Wirkung, daß eine Unnatürlichkeit vermindert wird, die auftritt, wenn eine Binokularverschmelzung nicht erreicht werden kann.
In gleicher Weise berechnet auf der Grundlage der Ausgabe der Verschmelzungsbereichs-Beurteilungseinheit B21' die Verschleierungseffektparameter-Bestimmungseinheit 24 jene Bereiche im Weltkoordinatensystem, in denen der Betrachter keine Binokularverschmelzung erreichen kann (speziell jene Bereiche, wo der Fernpunktzustand, der durch Gleichung 2 ausgedrückt wird, nicht gilt). Die Verschleierungseffektparameter-Bestimmungseinheit 24 beeinflußt den Verschleierungseffektparameter derart, daß ein Effekt erzeugt wird, der diese Bereiche so erscheinen läßt, als wenn sie von Nebel verdeckt werden, wenn die Ausgabeeinheiten 3 und 4 Objekte ausgeben, die in diesen Bereichen liegen.
Wenn der Nebel dicker gemacht wird, wenn das Bild sich einer Grenze des Binokularverschmelzungsbereichs des Betrachters nähert, kann die in den CG-Bildern beschriebene Szene so gemacht werden, daß sie natürlicher aussieht, wobei entfernte Bereiche so erscheinen, als wenn sie hinter dem Nebel verborgen wären.
Auf diese Weise kann das unnatürliche Gefühl, das der Betrachter haben kann, weil er nicht in der Lage ist, eine Binokularverschmelzung zu erreichen, erleichtert werden, indem der Verschleierungseffekt angewendet wird, wenn die Binokularparallaxe so groß ist, daß eine Binokularverschmelzung nicht erreicht werden kann, wie es bei entfernten Gegenständen der Fall ist.
Bei einem speziellen Verfahren zum Erzeugen eines Verschleierungseffektes bei der Ausgabe von Gegenständen wird ein Verschleierungskoeffizient f (0,0 bis 1,0) betrachtet, der mit beispielsweise zunehmender Distanz abnimmt. Hier bedeutet f = 1 keine Verschleierung, und wenn f = 0, dann erscheint das Bild vollständig ausgelöscht.
Das Ausmaß dieses Effektes kann durch die Gleichung 5, die Gleichung 6 usw. definiert werden, wobei z die Distanz zur Kamera bezeichnet.

(Gleichung 5)

f = (fern-z)/fern-nah

(Gleichung 6)

f = exp(-Dichte x z)n
Hier bedeuten fern und nah der fernste Punkt und der nächste Punkt zur Kamera im erzeugten CG-Bild, und Dichte bedeutet die Dichte des Nebels. Die Farbausgabe wird durch Gleichung 7 berechnet:

(Gleichung 7)

C = fxCo+(1 - f)xCf
Hier ist C0 die Farbe des ausgegebenen Objekts und C, ist die Farbe des Nebels. Die Verschleierungseffektparamete-Bestimmungseinheit 24 setzt den Koeffizienten f auf 1, wenn das Bild sich innerhalb des Binokularverschmelzungsbereichs des Betrachters befindet, und ändern f sanft hinab auf 0, wenn sich das Bild der Grenze des Binokularverschmelzungsbereiches nähert oder die Grenze überschreitet.
Auf diese Weise erzeugen die Ausgabeeinheiten 3 und 4 Bilder derart, daß entfernte Objekte außerhalb des Binokularverschmelzungsbereiches wie im Nebel verdeckt erscheinen, wodurch die Unnatürlichkeit vermindert wird, die auftritt, wenn der Binokularverschmelzungsbereich überschritten wird.
Wie oben beschrieben, wird die schlechte Wirkung vermindert und können einfach zu betrachtende stereoskopische CG-Bilder erzeugt werden, wenn gemäß dieser Ausführungsform Objekte dargestellt werden, die eine solche Binokularparallaxe haben, daß eine Binokularverschmelzung nicht erreicht werden kann, weil eine Verschleierung an entfernten Objekten und eine Fehlfokussierung bei nahen und entfernten Objekten angewendet werden.

(Ausführungsform 5)

Fig. 13 ist ein Diagramm, das den Aufbau einer Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes gemäß einer fünften Ausführungsform der vorliegenden Erfindung zeigt. In Fig. 13 bezeichnen die Bezugszeichen 1 und 2 Projektionstransformationseinheiten; 3 und 4 sind Ausgabeeinheiten, 6 ist eine Kameraparameter-Bestimmungseinheit, 12 ist eine Betriebseinheit, 13 ist eine Verschmelzungsbereichs-Prüfeinheit, 5 ist eine Distanzinformations-Extraktionseinheit und 127 ist eine CG-Bild-Erzeugungseinheit; diese Einheiten sind die gleichen wie bei der ersten Ausführungsform. Der Unterschied zur ersten Ausführungsform ist die Hinzufügung der folgenden Einheiten: eine Fensterinformations-Managementeinheit 128, eine Fensterinformations-Managementssteuereinheit 129, eine Mauszustands-Ermittlungseinheit 130, eine Anzeigeschirmgröße/Punktzählungsermittelungseinheit 131, eine Fenstergrößen-Ermittlungseinheit 132, eine Fenstererzeugungs/Auslassungsermittlungseinheit 133, eine Fensteranzeigepositions-Ermittlungseinheit 134, eine Fensterfokussänderungs-Ermittlungseinheit 135, eine Videosignal-Umwandlungseinheit 136, eine stereoskopische Anzeigeeinheit 137, eine Maus 138, eine Brille mit Flüssigkristallverschlüssen 139 und eine Betrachtungsabstandsmeßeinrichtung 140.
Der Betrieb der Vorrichtung zum Erzeugen eines stereoskopischen CG-Bildes mit dem oben beschriebenen Aufbau wird nun erläutert.
Bei der vorliegenden Ausführungsform werden mehrere Arten stereoskopischer Bilder gleichzeitig in unterschiedlichen Fenstern unterschiedlicher Größen auf einem Rechnerbildschirm in einer Fensterumgebung gezeigt, die in letzter Zeit eine vorherrschende Betriebsumgebung geworden ist. Andererseits war bei den ersten bis vierten Ausführungsformen die Bildanzeigegröße die Bildschirmgröße der Anzeigevorrichtung selbst.
Es sei hier angenommen, daß wir in der stereoskopischen Anzeigeeinheit 137 von Fig. 13 gezeigt, auf ein und demselben Bildschirm unterschiedliche Fenster A, B und C vorhanden sind, die jeweils ein anderes stereoskopisches Bild zeigen.
Existierende stereoskopische Anzeigetechniken können dazu verwendet werden, stereoskopische Bilder darzustellen. Bei der vorliegenden Ausführungsform wird eine sogenannte Zeitmultiplex-Stereoskopbildanzeigetechnik verwendet, bei der stereoskopische Bilder durch die Videosignal-Umwandlungseinheit 136 in Videosignale umgewandelt werden, die der stereoskopische Anzeigeeinheit 137 zugeführt werden, und der Betrachter sieht die stereoskopische Bilder durch die Flüssigkristallverschlußbrille 139. Genauer gesagt, die Videosignal-Umwandlungseinheit 136 liefert R- und L-Videosignale alternierend, d. h. zuerst R, dann L, dann R, dann L usw. im Zeitmultiplex zur Anzeige auf der stereoskopischen Anzeigeeinheit 137; wenn das Bild für das rechte Auge angezeigt wird, läßt das Brillenglas für das rechte Auge der Flüssigkristallbrille 139 Licht durch, während das linke Brillenglas blockiert, und wenn das Bild für das linke Auge dargestellt wird, dann ist die Situation umgekehrt. Auf diese Weise können die Bilder für das rechte Auge und das linke Auge unabhängig dem rechten Auge und linken Auge des Betrachters angeboten werden. Eine weitere existierende stereoskopische Bildanzeigetechnik (beispielsweise eine solche, die polarisierende oder linsenförmige Linsen verwenden) können ebenfalls verwendet werden. Gewöhnlich ist es dem Betrachter gestattet, die Fenster A, Bund C in der Größe neu festzusetzen, wie er es wünscht, indem er die Maus 138 verwendet.
Wenn die Anzeigeschirmgröße stereoskopischer Bilder sich als Folge eines Änderung der Fenstergröße ändert, dann ändert sich auch der Binokulanrerschmelzungsbereich des Betrachters. Fig. 22 zeigt den Zusammenhang zwischen der Bildschirmgröße (Sichtwinkel) für die Anzeige stereoskopischer Bilder und der maximalen Verschmelzuungsparallaxe (ausgedrückt in Winkeln, wobei die Einheit (arc min) ist). Es ist dargestellt, daß sich der zulässige Binokularverschmelzungsbereich ändert, wenn sich die Anzeigeschirmgröße ändert. Eine größere Schirmgröße ergibt einen größeren Verschmelzungsbereich. Wenn dementsprechend die Fenstergröße vermindert wird, während das Fenster das gleiche stereoskopische Bild anzeigt, dann kann die resultierende Parallaxe den Binokularverschmelzungsbereich überschreiten; daher müssen die Größen aller Fenster konstant überwacht werden, und die Kameraparameter müssen stets entsprechend bestimmt werden. Genauer gesagt, die Information über das vom Betrachter betriebene Fenster unter Verwendung der Maus wird durch die Fensterinformations- Managementsfeuerungseinheit 129 erfaßt, und auf der Grundlage der ermittelten Information werden die Schirmgrößen aller gegenwärtig angezeigter Fenster der Verschmelzungsbereichs- Prüfeinheit 11 zugeführt. Im Betrieb werden die gegenwärtig angezeigten Fenster durch die Fenstererzeugungs/Auslassungserfassungseinheit 133 gemanaged, und die Größe eines jeden einzelnen Fensters wird durch Fensteranzeigepositions-Ermittelungseinheit 134, die Fenstergrößenermittlungseinheit 132 und die Anzeigeschirmgröße/Punktzahlermittlungseinheit 131 bestimmt. Genauer gesagt, die Größe eines jeden augenblicklich angezeigten Fensters (in Zoll, cm usw.) wird aus der Anzeigeschirmgröße (in Zoll), den horizontalen und vertikalen Punktzählungen der Anzeige (diese können durch Erfassung des Synchronisationsfrequenz berechnet werden) und der Größe des Fensters (Punktanzahl) berechnet werden, und die so berechnete Fenstergröße wird der Verschmelzungsbereichs-Prüfeinheit 11 zugeführt. Die Schirmgröße kann beispielsweise dadurch erzielt werden, daß man die Fensterinformations-Managementinformation 128 die Videosignal-Umwandlungseinheit 136 und die Anzahl der auf der stereoskopischen Anzeigeeinheit 137 angezeigten Punkte steuern läßt.
Der Rest des Prozesses ist der gleiche wie der bei der ersten Ausführungsform beschriebene. Das bedeutet, die Distanzinformation, die aus der dreidimensionalen Strukturinformation enthalten wurde, wird durch die Distanzinformations-Extraktionseinheit 5 erfaßt, und unter Verwendung dieser Distanzinformation und der Distanz ds zwischen dem Betrachter und der Anzeigeoberfläche, die durch die Betrachtungsdistanzmeßeinrichtung 140 gemessen wird, werden die Kameraparameter durch Gleichung 1 und Gleichung 2 berechnet. Die Kameraparameter werden den Projektionstransformationseinheiten 1 und 2 zugeführt, und die Bilder R und L für das rechte Auge und das linke Auge werden durch die Ausgabeeinheiten 3 bzw. 4 berechnet. Diese Bearbeitung wird getrennt für jedes der stereoskopischen Anzeigefenster ausgeführt, die durch die Fensterinformations-Managementeinheit 128 erfaßt werden.
Wie oben beschrieben, überwacht in einem Anzeigesystem, das eine Fensterumgebung zur Anzeige mehrerer stereoskopischer Bilder aufweist, die Fensterinformations-Managementsekltion 128 die Größe eines jeden Fensters, und die Kameraparameter werden gesteuert, und daher wird die Parallaxe so gesteuert, daß das in jedem Fenster angezeigte stereoskopische Bild in den Binokularverschmelzungsbereich des Betrachters fällt. Auf diese Weise können einfach zu betrachtende, natürlich aussehende Bilder erzeugt werden.
Bei der fünften Ausführungsform können unter Verwendung der Ausgabe der Fensterfokusänderungs-Erfassungseinheit 135 die Kameraparameter nur für das Fenster geändert werden, das durch die Mausbetätigung des Betrachters spezifiziert wird, so daß nur das stereoskopische Bild, das in dem von dem Betrachter betrachteten Fenster dargestellt wird, in den Binokularverschmelzungsbereich gesteuert wird: Auf diese Weise kann der Betriebswirkungsgrad der vorliegenden Erfindung verbessert werden.
In jeder der ersten bis vierten Ausführungsformen kann der Betrachtungsabstand zwischen dem Betrachter und dem Anzeigeschirm unter Verwendung der Betrachtungsabstandmeßeinrichtung 140 gemessen werden, die in der fünften Ausführungsform dargestellt ist.
Wie insoweit beschrieben, werden gemäß der vorliegenden Erfindung die Distanzinformation zwischen der Kamera und dem Objekt und die Größe der Parallaxe der erzeugten, auf der Anzeigevorrichtung dargestellten stereoskopischen CG-Bilder aus der Anzeigegröße und dem Betrachtungsabstand berechnet, und auf deren Grundlage werden geeignete Kameraparameter (Brennweite oder Sichtfeld, Kameraabstand und Konvergenzpunkt) bestimmt. Auf diese Weise können einfach zu betrachtende, stereoskopische CG-Bilder automatisch erhalten werden.
Die ersten und fünften Ausführungsformen sind unter Verwendung binokularer stereoskopischer Bilder beschrieben worden, jedoch hierauf nicht eingeschränkt. Auch bei multi-okularen stereoskopischen Bildern können leicht multi-okulare stereoskopische CG-Bilder erzeugt werden, wenn die gleichen Techniken, wie oben beschrieben, verwendet werden, um die Kameraparameter für alle Bildpaare zu bestimmen, die den rechten und linken Augen des Betrachters dargeboten werden.
Bei den ersten bis fünften Ausführungsformen sind die Kameraparameter so bestimmt worden, daß sie die stereoskopischen CG-Bilder in den Binokularverschmelzungsbereich des Betachters für den gesamten erzeugten Bildschirm bringen. Im Falle einer Szene jedoch, die den Betrachter dazu zwingt, seine Aufmerksamkeit beispielsweise auf ein spezielles Objekt auf dem Bildschirm zu richten, können andere Bereiche als das aufmerksam verfolgte Objekt so eingestellt werden, daß eine Binokularverschmelzung für diese Bereiche nicht erreicht werden kann. In solchen Fällen kann der CG-Betreiber einfach solche Bereiche auf dem Ausgabeschirm so einstellen, daß sie nicht in den Binokularverschmelzungsbereich des Betrachters gebracht werden, so daß Daten aus diesen Bereichen nicht dazu verwendet werden, die Kameraparameter zu bestimmen.
Bei den ersten bis fünften Ausführungsformen werden stereoskopische Bilder für die linken und rechten Augen durch CG erhalten, jedoch ist jede der Ausführungsformen auch für echte Bilder anwendbar, die von einer stereoskopischen Kamera aufgenommen worden sind. In diesem Falle können die Brennweite f der mehreren Kameras, der Kameraabstand Wc, die Distanz dx zwischen Kamera und Konvergenzpunkt (die Distanz zwischen dem Schnittpunkt der optischen Achsen der Kameras zum Mittenpunkt zwischen den mehreren Kameras) direkt als Kameraparameter für die jeweilige Kamera verwendet werden. In diesem Falle ist die Variable m in Gleichung 1 und Gleichung 2 jedoch nicht die Schirmgröße, sondern das Verhältnis zwischen der Größe der Bildempfangsfläche der Kameraabbildungsvorrichtung und der Größe des Bildschirms, wenn stereoskopische Bilder wirklich angezeigt werden.
Bei der vierten Ausführungsform sind sowohl die Fokusparameter-Bestimmungseinheit 23 und die Verschleierungseffektparamete-Bestimmungseinheit 24 vorgesehen gewesen, jedoch braucht auch nur die eine oder die andere der beiden vorgesehen zu sein.
In jeder der ersten bis fünften Ausführungsformen sind die Kameraparameter so bestimmt worden, daß sie die stereoskopischen CG-Bilder in den Binokularverschmelzungsbereich des Betrachters für den gesamten erzeugten Bildschirm bringen, jedoch ist dieses nicht zwingend. Vielmehr können Vorkehrungen getroffen werden, daß der CG-Betreiber solche Bereiche auf dem Ausgabeschirm so einstellen kann, daß sie nicht in den Binokularverschmelzungsbereich des Betrachters gebracht zu werden brauchen, und so daß Daten aus diesen Bereichen nicht zur Bestimmung der Kameraparameter verwendet werden.
In jeder der ersten bis fünften Ausführungsformen sind Prozeßeinheiten, wie beispielsweise die Distanzinformations-Extraktionseinheit und die Verschmelzungsbereichs-Prüfeinheit unter Verwendung eigens zugewiesener Hardware ausgeführt worden, statt dessen können aber auch gleiche Funktionen in Software unter Verwendung eines Rechners ausgeführt werden.
Fig. 14 ist ein Diagramm, das den Aufbau eines stereoskopischen Fernsehgeräts zeigt, das nicht Gegenstand der vorliegenden Erfindung ist. In Fig. 14 sind A1 und A2 Kathodenstrahlröhren, A3 und A4 sind Linearpolarisierer, A5 ist ein halbversilberter Spiegel, A6 ist eine Brille, die aus Polarisationsfiltern besteht, A7 ist ein Betrachter, A8 ist eine Parallaxenberechnungseinheit, A9 ist eine Auflösungsunterscheidungseinheit, A10 ist eine die optimale Parallaxe bestimmende Einheit, A11 ist eine Grundsynchronisations-Zeitgeneratoreinheit, A12a und A12b sind Synchronisationseinheiten, A13a und A13b sind Parallaxensteuereinheiten, A14a und A14b sind RGB-Trenneinheiten, A15a und A15b sind Kathodenstrahlröhren-Steuereinheiten und A16 ist eine Betrachtungsabstandsmeßeinheit.
Der Betrieb des stereoskopischen Fernsehgerätes mit dem o. g. Aufbau wird nun beschrieben: Zunächst wird ein Bildsignal für das rechte Auge der Auflösungsunterscheidungseinheit A9, der Syhcronisationseinheit A12a und der Parallaxenberechnungseinheit 8A zugeführt.
Die Auflösungsunterscheidungseinheit A9 ermittelt die Horizontal- und Vertikalfrequenzen des eingegebenen Bildsignals und ermittelt die Auflösung des eingegebenen Bildes. Die Grundsynchronisations-Zeitgeneratoreinheit A11 erzeugt Synchronisationszeitdaten, die zu den erfaßten Horizontal- und Vertikalfrequenzen des eingegebenen Bildes passen, und liefert die Daten an die Synchronisationseinheiten A12a und A12b, die auf diese Weise auf das eingegebene Bildsignal synchronisiert werden, und die Synchronisationszeitgabe erzeugen, die für die nachfolgende Verarbeitung erforderlich ist.
Aus den Bildsignalen für das rechte Auge und das linke Auge berechnet die Parallaxenberechnungseinheit A8 Tiefeninformation (dieses ist als eine Parallxenumrechnung definiert) an jedem Punkt des eingegebenen Bildes. Eine Vielzahl von Verfahren sind für die Parallaxenumrechnung vorgeschlagen worden. Ein Blockabgleichverfahren., das eine Korrelationsberechnung ausführt, wird nun erläutert.
In Fig. 15 sei angenommen, daß die Bilder für das linke Auge und das rechte Auge jeweils eine Größe N · M haben. In dem Bild für das linke Auge sei ein Blockfenster von n · n Pixel (in der Zeichnungen 3 · 3 Pixel) angenommen. Das gleiche Bild, wie in diesem Blockfenster gezeigt, liegt im Bild für das rechte Auge durch Verwendung eines Fensters der gleichen Größe. Dabei wird die Verschiebung zwischen den linken und rechten Blöcken durch einen Vektor (Ax, Ay) dargestellt, dessen Horizontalkomponente Ax die Binokularparallaxe der Bilder für linkes und rechtes Auge bei den Mittenkoordinaten der Blockfenster angibt.
Durch Horizontalverschiebung der Blockfensterposition im Bezug genommenen Bild für das linke Auge in Sequenz über den gesamten Bildschirm und durch Auffindung der entsprechenden Blockposition (die die binokulare Parallaxe darstellt) im Bild für das rechte Auge für jede verschobene Blockposition kann eine Parallaxenumrechung (die die Tiefen-Distanz an jeder Position des Schirms zeigt) für den gesamten Bildschirm erhalten werden. Die Verschiebung zwischen den Bildern für linkes Auge und rechtes Auge bei den Koordinaten (x, y), d. h. die Binokularparallaxe (fix, Ay) kann ausgedrückt werden als

(Gleichung 8)

Δx = i, für Min Corr (i, j)
wobei

(Gleichung 9)

Corr (i, j) = IGL(Xk, Yk) - GR (Xk - i, Yk - j) I
In der Gleichung 9 bedeutet das Σ die Bildung der Summe der Absolutwerte durch Variation der Koordinaten xk, yk innerhalb des Blockfensters von n · n. Gr(xk, yk) und GL(xk, yk) stellen Luminanzwerte bei Koordinaten (xk, yk) in den Bildern für das rechte Auge bzw. linke Auge dar.
In der Binokularparallaxe tx, Ay ist die Komponente, die die Tiefenposition direkt anzeigt, Δx. Wenn der Wert der Binokularparallaxe positiv ist, liegt das Bild für das rechte Auge zur Rechten und das Bild für das linke Auge zur Linken des Bezugsbildes, und das Objekt liegt hinter der Tiefenposition, wo die Binokularparallaxe gleich 0 ist; andererseits, wenn der Wert der Binokularparallaxe negativ ist, bedeutet dies, daß das Objekt vor der Tiefenposition liegt, wo die Binokularparallaxe gleich 0 ist.
Aus der Parallaxenumrechnung, die man in der obigen Weise erhält, gibt die Parallaxenberechnungseinheit A8 beispielsweise den größten Wert (die Binokularparallaxe des fernsten Objekts) aus. Anstelle einfach den Maximalwert der Binokularparallaxe zu extrahieren, kann eine räumliche Tiefpaßfilterung ausgeführt werden, oder es können mehrere Extraktionsbereiche vorgegeben werden, und Berechnungen können unter Verwendung einer Statistiktechnik ausgeführt werden.
Als nächstes bestimmt die Optimalparallaxen-Ermittlungseinheit A10 die Größe der horizontalen Verschiebung der Bilder für linkes und rechtes Auge derart, daß der Betrachter des stereoskopischen Fernsehgerätes die angezeigten stereoskopischen Bilder verschmelzen kann. Diese Verschiebungsgröße wird auf der Grundlage der Ausgabe der Auflösungsunterscheidungseinheit A9 bestimmt (das Ergebnis, das man durch Beurteilung der Bildauflösung und des Bildseitenverhältnisses auf der Grundlage der Art des erfaßten eingegebenen Bildsignals erhält), der Bildanzeigegröße (in diesem Falle die in Zoll ausgedrückte Bilddiagonale der Kathodenstrahlröhre) der Ausgabe der Parallaxenberechnungseinheit A8 (die Parallaxenumrechnung) und der Distanz zwischen dem Betrachter und der Anzeigeoberfläche, gemessen durch die Betrachtungsabstandsmeßeinheit A16.
Die Optimalparallaxen-Bestimmungseinheit A10 besitzt eine Datenbank, die Verhältnisse zwischen Anzeigeschirmgröße und Betrachterverschmelzungsgrenzen definiert, und durch Bezugnahme auf diese Datenbank die Größe der Horizontalverschiebung so bestimmt, daß der Betrachter eine Binokularverschmelzung erreichen kann.
Das Bestimmungsverfahren wird hier weiter im Detail erläutert. Wenn man die größte Binokularparallaxe, die von der Parallaxenberechnungseinheit A8 ausgegeben wird, mit g (Punkte) bezeichnet, die Horizontalpunktzählung des eingegebenen Bildsignals, die durch die Auflösungsunterscheidungseinheit A9 erfaßt wird, mit DH bezeichnet, und die horizontale Länge der Anzeige-Kathodenstrahlröhren A1 und A2 mit L bezeichnet und den Betrachtungsabstand des Betrachters, gemessen durch die Betrachtungsabstandsmeßeinheit A16 mit ds bezeichnet, dann ist die größte Parallaxe Dm auf dem Schirm gegeben durch (Gleichung 10).

(Gleichung 10)

(Δ/DH) L = Dm
Die Bilder für linkes Auge und rechtes Auge werden horizontal so übersetzt, daß Dm fast gleich dem Binokularparallelzustand des Betrachters wird oder einen kleineren Winkel als diese ergibt. Um beispielsweise den Maximalwert der Binokularparallaxe mit dem Binokularparallelzustand des Betrachters in Übereinstimmung zu bringen, ist die Größe der Horizontalverschiebung Dc gegeben durch (Gleichung 11).

(Gleichung 11)

Dc = Dm - We
Hier ist We die Distanz zwischen den Pupillen des Betrachters, die in der Praxis durch Verschiebung der Bilder für das linke Auge und das rechte Auge in entgegengesetzten Richtungen horizontal um Dc/2 eingestellt wird. Der Umfang der Verschiebung Dc kann, falls notwendig, auf der Grundlage des Ergebnisses eingestellt werden, das aus der obigen Gleichung abgeleitet wird.
Wenn weiterhin in Gleichung 10 die kleinste Binokularparallaxe (die größte Parallaxe, wenn das Objekt im Vordergrund des Bildschirm angezeigt wird) als δ eingestellt wird, dann bestimmt die Optimalparallaxen-Bestimmungseinheit A10 den Umfang der Horizontalverschiebung des Bildschirms derart, daß Dm kleiner wird als die größte Verschmelzungsparallaxe des Betrachters, (die in Abhängigkeit von der Bildschirmgröße variiert).
Auf der Grundlage der so erhaltenen Größe der Horizontalverschiebung Dc bewegen die Parallaxensteuereinheiten A13a und A13b die Bilder für rechtes Auge und linkes Auge in zueinander entgegengesetzten Richtungen horizontal um Dc/2. Sodann werden die Bildsignale durch die ERG-Trenneinheiten A14a und Al4b in die R-, G- und B-Signale getrennt, die den Kathodenstrahlröhren A1 und A2 über die Kathodenstrahlröhren-Treibereinheiten A15a und A15b zugeführt werden. Die auf den Kathodenstrahlröhren A1 und A2 dargestellten Bilder werden linear durch die betreffenden Polarisierer A4 und A5 polarisiert, die unter zueinander rechten Winkeln orientiert sind, und die polarisierten Bilder werden durch den halbversilberten Spiegel A5 miteinander kombiniert. Indem er die Polarisationsbrille A6 so trägt, daß deren Ebenen linearer Polarisation in Richtungen weisen, die den Polarisierern A4 und A5 entsprechen, kann der Betrachter A7 das Bild für das linke Auge mit seinem linken Auge und das Bild für das rechte Auge mit seinem rechten Auge sehen und so einen stereoskopische Wahrnehmung erhalten.
Wie oben beschrieben kann gemäß diesem Beispiel durch Unterscheidung der Art des eingegebenen Bildsignals und durch Berechnen der Größe des Anzeigeschirms der Betrachter stets natürlich aussehende stereoskopische Bilder sehen, die mit optimaler Binokularparallaxe angezeigt werden.
Fig. 16 ist ein Diagramm, das den Aufbau eines weiteren stereoskopischen Fernsehgerätes zeigt, das kein Gegenstand der vorliegenden Erfindung ist. In Fig. 16 ist A1 eine Kathodenstrahlröhre, A18 ist eine Flüssigkristallverschlußbrille, A7 ist ein Betrachter, A8 ist eine Parallaxenberechnungseinheit, A9 ist eine Auflösungsunterscheidungseinheit, A10 ist eine Optimalparallaxen-Bestimmungseinheit, A11 ist eine Grundsynchronisationszeitgebereinheit, A12 ist eine Synchronisationseinheit, A13 ist eine Parallaxensteuereinheit, A14 ist eine RGB-Trenneinheit, A15 ist eine Kathodenstrahlröhren-Treibereinheit, A16 ist eine Betrachtungsabstandsmeßeinheit und A17 ist eine Flüssigkkristallschalter Schaltimpulserzeugungseinheit.
Dieser Aufbau ist eine Adaption des stereoskopischen Fernsehgerätes des vorgenannten Beispiels zur Verwendung in einem Bildfeld-sequentiellen stereoskopischen Bildsignals.
Der Betrieb des stereoskopischen Fernsehgeräts des oben beschriebenen Aufbaus wird nachfolgend erläutert. Der grundsätzliche Betrieb ist der gleiche wie beim vorgenannten Beispiel, da jedoch die Bilder für das linke Auge und das rechte Auge in einem einzigen stereoskopischen Bildsignal zeitmultiplexiert sind und einander alternierend eingegeben werden, wie in Fig. 17 gezeigt, wird die nachfolgende Verarbeitung notwendig.
Das bedeutet, die Flüssigkristallschließschaltimpuls-Erzeugungseinheit A17 gibt das Steuersignal zum Schließen des Flüssigkristalls aus, wie in Fig. 17 gezeigt, als Folge dessen der Verschluß für das linke Auge in der Flüssigkristallverschlußbrille A18 geöffnet wird, um Licht durchzulassen, wenn der Verschluß für das rechte Auge geschlossen ist, um Licht zu blockieren, und umgekehrt.
Zunächst wird das Bildsignal für das rechte Auge in den Auflösungsunterscheidungseinheit A9, die Synchronisationseinheit A12 und die Parallaxenberechnungssektikon A8 eingegeben. Die Auflösungsunterscheidungseinheit A9 ermittelt die Horizontal- und Vertikalfrequenzen des eingegebenen Bildsignals und ermittelt die Auflösung des eingegebenen Bildes. Die Grundsynchronisationszeitgebereinheit A11 gibt Synchronisationszeitdaten aus, die zu den ermittelten Horizontal- und Vertikalfrequenzen des eingegebenen Bildes passen, und die Synchronisationseinheits A12 synchronisiert die Zeitlage des Bildsignals.
Die Parallaxenberechnungseinheit A8 berechnet die Parallaxenumrechnung des angegebenen Bildes aus den Bildsignalen für rechtes und linkes Auge, die alternierend durch Zeitmultiplexierung eingegeben werden. Die Berechnung der Parallaxenumrechnung kann in exakt der gleichen Weise wie beim vorangehenden Beispiel ausgeführt werden.
Dann gibt die Parallaxenberechnüngseinheit A8 beispielsweise die Binokularparallaxe für das am weitesten entfernte Objekt unter den Binokularparallaxen aus, die an den entsprechenden Punkten des Bildes erhalten werden. Dabei kann bei der Berechnung der Binokularparallaxen eine räumliche Tiefpaßfilterung ausgeführt werden, oder es können mehrere Extraktionsbereiche vorgegeben werden und die Berechnungen können unter Verwendung statistischer Technik ausgeführt.
Als nächstes wird auf der Grundlage der Ausgabe der Auflösungsunterscheidungseinheit A9, der Bildanzeigegröße, der Ausgabe der Parallaxenberechnungseinheit A8 und der Distanz zwischen dem Betrachter und der Anzeigeoberfläche durch die Parallaxenermittlungseinheit A10 der Umfang der Horizontalverschiebung der Bilder für linkes und rechtes Auge so bestimmt, daß die angezeigten stereoskopischen Bilder mit beiden Augen verschmolzen werden können.
Das Verfahren zum Ermitteln des Verschiebungsumfangs ist genau das gleiche wie jenes, das beim vorgenannten Beispiel beschrieben worden ist. Das bedeutet, wenn man die Binokularparallaxe, die von der Parallaxenberechnungseinheit A8 mit A (Punkte) bezeichnet, die Horizontalpunktzählung des eingegebenen Bildsignals, wie durch die Auflösungsunterscheidungseinheit A9 ermittelt, mit DH bezeichnet, die horizontale Länge der Anzeigekathodenstrahlröhre A1 mit L bezeichnet und den Betrachtungsabstand des Betrachters, wie gemessen durch die Betrachtungsabstandsmeßeinheit A16 gemessen, mit ds bezeichnet, dann wird die größte Parallaxe Dm auf dem Bildschirm (Gleichung 10) gegeben. Um den Maximalwert der Binokularparallaxe mit dem Binokularparallelzustand des Betrachters in Koinzidenz zu bringen, ist der Umfang der Horizontalverschiebung ds durch (Gleichung 11) gegeben. Der Umfang der Verschiebung Dc kann jedoch, falls notwendig, auf der Grundlage des Ergebnisses eingestellt werden, das aus dieser Gleichung abgeleitet wird.
Wenn weiterhin in Gleichung 10 die kleinste Binokularparallaxe (die größte Parallaxe, wenn das Objekt im Vordergrund auf dem Schirm dargestellt wird) als A eingestellt wird, dann bestimmt die Optimalparallaxen-Bestimmungseinheit A10 den Umfang der Horizontalverschiebung des Schirms derart, daß Dm kleiner als die größte Verschmelzungsparallaxe des Betrachters wird (die in Abhängigkeit von der Bildschirmgröße variiert).
Auf der Grundlage des so erhaltenen Umfangs der Horizontalverschiebung Dc bewegt die Parallaxensteuereinheit A13 die Bilder für rechtes Auge und linkes Auge horizontal in zueinander entgegengesetzten Richtungen, um Dc/2. Da die Signale für linkes Auge und rechtes Auge als ein zeitmultiplexiertes stereoskopisches Bildsignal eingegeben werden, wird dabei die Bildschirmanzeige zwischen Bildern für linkes Auge und rechtes Auge umgeschaltet. Der Umfang der Horizontalverschiebung des Bildes wird daher zwischen +dc/2 und -Dc/2 oder umgekehrt zwischen Vollbildern umgeschaltet.
Das Bildsignal wird dann durch die RGB-Trenneinheit A14 in R-, G- und B-Signale getrennt, die der Kathodenstrahlröhre A1 über die Kathodenstrahlröhren-Treibereinheit A15 zugeführt werden. Die auf der Kathodenstrahlröhre A1 dargestellten stereoskopischen Bilder, alternierend zwischen Bildern für linkes Auge und rechtes Auge, werden unabhängig den jeweiligen Augen des Betrachters dargeboten, der die Flüssigkristallverschlußbrille A18 trägt.
Selbst wenn das eingegebene Bildsignal, wie oben beschrieben, ein zeitmultiplexiertes stereoskopisches Bildsignal ist, kann der Betrachter stets natürlich aussehende stereoskopische Bilder sehen, die mit optimaler Binokularparallaxe angezeigt werden.
Fig. 21 ist ein Diagramm, das den Aufbau eines stereoskopischen Fernsehgerätes zeigt, das kein Gegenstand der vorliegenden Erfindung ist. In Fig. 21 sind A1 und A2 Kathodenstrahlröhren, A3 und A4 sind Linearpolarisierer, A5 ist ein halbversilberter Spiegel, A6 ist eine Brille aus Polarisationsfiltern, A7 ist ein Betrachter, A8 ist eine Parallaxenberechnungseinheit, A9 ist eine Auflösungsunterscheidungseinheit, A10 ist eine Optimalparallaxenermittlungseinheit, A11 ist eine Grundsynchronisationszeitgebereinheit, A12a und A12b sind Synchronisationseinheiten, A13a und A13b sind Parallaxensteuereinheiten, A14a und A14b sind RGB-Trenneinheiten, A15a und A15b sind Kathodenstrahlröhren-Treibereinheiten und A16 ist eine Betrachtungsabstandsmeßeinheit; diese Einheiten sind die gleichen, wie die bei dem in Verbindung mit Fig. 14 beschriebenen Beispiel verwendet.
Der Unterschied von dem in Fig. 14 beschriebenen Beispiel besteht darin, daß die folgenden Einheiten hinzugefügt sind: eine Fensterinformations-Managementeinheit A27, eine Fensterinformations-Managementsteuereinheit A26, eine Mauszustands-Erfassungseinheit A25, eine Fenstergrößen-Erfassungseinheit A22, eine Fenstererzeugungs/Auslassungs-Erfassungseinheit A23, eine Fensterfokusänderungs-Erfassungseinheit A24 und eine Maus A28.
Der Betrieb des stereoskopischen Fernsehgerätes mit dem oben beschriebenen Ausbau wird nun erläutert.
In den letzten beiden Beispielen war die Bildanzeigegröße die Bildschirmgröße der Anzeigevorrichtung selbst ohne Rücksicht auf die Synchronisationsfrequenz des angegebenen Videosignals. Andererseits werden in der vorliegenden Ausführungsform mehrere Arten stereoskopischer Bilder gleichzeitig in unterschiedlichen Fenstern auf einem Rechnerbildschirm in einer Fensterumgebung dargestellt, die in letzter Zeit eine vorherrschende Betriebsumgebung geworden ist. Parallaxe wird in Abhängigkeit von solchen Bedingungen gesteuert, daß der Betrachter die Größe des Fensters unter Verwendung einer Maus ändert.
Es sei angenommen, daß hier mehrere Fenster auf einem Bildschirm einer jeden der Kathodenstrahlröhren A1 und A2 der Fig. 21 angezeigt werden und daß stereoskopische Bilder in einem der Fenster dargestellt werden.
Gewöhnlich kann der Betrachter jedes Fenster in der Größe verändern, wie er es wünscht, indem er die Maus A28 verwendet. Wenn sich die Größe stereoskopischer Bilder als Folge einer Änderung der Fenstergröße ändert, dann ändert sich nicht nur die Parallaxe der angezeigten stereoskopischen Bilder, sondern auch der Binokularverschmelzungsbereich des Betrachter. Die Fenstergröße muß daher konstant überwacht werden, und die Parallaxe muß dementsprechend beeinflußt werden. Genauer gesagt, Information über das vom Betrachter verwendete Fenster unter Verwendung der Maus wird durch die Fensterinformations-Managementsteuereinheit A26 erfaßt.
Die Fensterinformations-Managementsteuereinheit A26 managed die gegenwärtig angezeigten Fenster durch die Fenstererzeugungs/Auslassungs-Erfassungseinheit A23, und die Größe eines jeden einzelnen Fensters wird durch die Fenstergrößen-Erfassungseinheit A22 ermittelt. Daten, die die Größe des anwendbaren Fensters darstellen, werden an die Optimalparallaxen- Bestimmungseinheit A10 ausgegeben.
Die Optimalparallaxen-Bestimmungseinheit A10 erhält die Horizontal- und Vertikalpunktzählungen des Anzeigeschirms und die Größe eines jeden Fensters (Punktzählung) von den Ausgaben der Auflösungsunterscheidungseinheit A9 und der Fenstergrößen-Erfassungseinheit A22, und auf der Grundlage der so erhaltenen Information und der Information über die Größe der gesamten Bildanzeigefläche (Bilddiagonale in Zoll der Kathodenstrahlröhre) berechnet sie die Größe eines jeden Fenster, die wirklich dargestellt wird (in Zoll, cm usw.).
Der Rest des Vorgangs ist der gleiche, wie jener, der bei der sechsten Ausführungsform beschrieben wurde. Das bedeutet, aus den Bildsignalen für rechtes und linkes Auge berechnet die Parallaxenberechnungseinheit A8 Tiefeninformationen an jedem Punkt des eingegebenen Bildes und gibt beispielsweise einen Maximum- oder Minimumwert aus.
Als nächstes erhält die Optimalparallaxenermittlungseinheit A10 die wirkliche Größe des Anzeigefensters aus der Ausgabe der Auflösungsunterscheidungseinheit A9 (das Ergebnis, das durch Beurteilung der Bildauflösung und des Bildseitenverhältnisses erhalten wird auf der Grundlage der Art des erfaßten eingegebenen Bildsignals), der gesamten Bildanzeigegröße (in diesem Falle die Bilddiagonale in Zoll der Kathodenstrahlröhre) und der Anzeigefenstergröße (Punktzahl), die von der Fensterinformations-Managementeinheit A27 ausgegeben wird, und bestimmt den Umfang der Horizontalverschiebung der Bildes für linkes Auge und rechtes Auge derart, daß der Betrachter des stereoskopischen Fernsehgeräts die angezeigten stereoskopischen Bilder miteinander verschmelzen kann. Dieser Verschiebungsumfang wird unter Verwendung von Gleichung 10 und Gleichung 11 auf der Grundlage der Ausgabe der Parallaxenberechnungseinheit A8 (die Parallaxenumrechnung) der Distanz zwischen dem Betrachter und der Anzeigeoberfläche, wie durch die Betrachtungsabstandsmeßeinheit A16 gemessen, bestimmt.
Auf der Grundlage des so erhaltenen Umfangs der Horizontalverschiebung bewegt die Parallaxensteuereinheit A1a und A13a die Bilder für rechtes Auge und linkes Auge horizontal in zueinander entgegengesetzten Richtungen derart, daß die angezeigten Bilder in den Binokularverschmelzungsbereich des Betrachters kommen. Sodann werden die Bildsignale von den RGB-Trenneinheiten A14a und A14b in die R-, G- und B-Signale getrennt, die durch die Fensterinformations-Managementsteuereinheit A26 geleitet und an die Kathodenstrahlröhren A2 über die Kathodenstrahlröhren-Treibereinheiten A15a und A15b zur Anzeige im bezeichneten Fenster auf dem Anzeigeschirm ausgegeben werden.
Wenn die eingegebenen Bildsignale zur Anzeige in mehreren Fenstern unterschiedlicher Größen verarbeitet werden, sollte der Umfang der Horizontalverschiebung, wie oben beschrieben, unabhängig für jedes Fenster berechnet werden. Wenn außerdem unterschiedliche Bildsignale zur Anzeige in unterschiedlichen Fenstern von entsprechend bestimmten Größen vorhanden sind, sollte die Verarbeitung auch unabhängig für jedes Fenster durchgeführt werden.
Wenn der Betrachter die Größe eines Fenster durch Verwendung der Maus A28 geändert hat, erfaßt die Fenstergrößen-Erfassungseinheit A22 eine Änderung der Fenstergröße, woraufhin die Optimalparallaxen-Bestimmungseinheit A10 den Umfang der Horizontalverschiebung der Bilder für linkes Auge und rechtes Auge berechnet, und das Ergebnis wird unmittelbar auf dem Anzeigeschirm dargestellt.
Bei der Anzeige mehrerer stereoskopischer Bilder in mehreren Fenstern sind Vorkehrungen dafür getroffen, daß das vom Benutzer unter Verwendung der Maus spezifizierte Fenster als das Fenster erfaßt wird, dem der Betrachter Aufmerksamkeit schenkt, indem die Fensterfokusänderungs-Erfassungseinheit A24 verwendet wird, und die Kameraparameter werden nur für dieses Fenster geändert, so daß nur das stereoskopische Bild innerhalb des Binokularverschmelzungsbereiches beeinflußt wird, das in dem Fenster angezeigt wird, dem der Betrachter seine Aufmerksamkeit schenkt. Auf diese Weise kann die Effektivität des Betriebs der vorliegenden Erfindung verbessert werden.
Wie oben beschrieben können in einem Anzeigesystem, das eine Fensterumgebung aufweist, in der Änderungen in der Fenstergröße auftreten können, in jedem einzelnen Fenster angezeigte stereoskopische Bilder im Binokularverschmelzungsbereich des Betrachters beeinflußt werden, indem die Fenstergröße unter Verwendung der Fensterinformations-Managementeinheit A27 überwacht wird.
In den letzten drei Beispielen wurde der Betrachtungsabstand unter Verwendung der Betrachtungsabstandsmeßeinheit A16 gemessen, alternativ kann jedoch ein fester Wert verwendet werden, wie beispielsweise ein empfohlener Betrachtungsabstand, den man aus der Größe der Kathodenstrahlröhre erhält.
Die Betrachtungsabstandseinheit A16 kann so aufgebaut sein, daß sie die Betrachtungsabstände für mehrere Betrachter mißt und den Mittelwert oder einen gewichteten Mittelwert der Meßwerte oder die Maximal- oder Minimumwerte ausgibt, um so eine Parallaxenbeeinflussung unter Berücksichtigung der Betrachtungsabstände aller betroffener Betrachter durchzuführen. Weiterhin können in einer Umgebung, in der mehrere Betrachter unterschiedliche Fenster betrachten, bei Beeinflussung der Binokularparallaxe durch unabhängige Einstellung eines Betrachtungsabstandes für jedes Fenster jedem einzelnen Betrachter optimale stereoskopische Bilder dargeboten werden.
Die Optimalparallaxen-Bestimmungseinheit A10 berechnete die größte Parallaxe Dm auf dem Schirm unter Verwendung des Ausgangs der Parallaxenberechnungseinheit A8, des Ausgangs der Auflösungsunterscheidungseinheit A9, der horizontalen Länge L der Anzeigekathodenstrahlröhren A1 und A2 und des Betrachtungsabstandes ds des Betrachters, der mit der Betrachtungsabstandsmeßeinheit A16 gemessen wurde. In Abhängigkeit von der Art des eingegebenen Bildsignal braucht jedoch das erzeugte Bild nicht die gesamte Fläche des Bildschirms der Kathodenstrahlröhre verwenden. Um dieses zu berücksichtigen, kann die Auflösungsunterscheidungseinheit A9 mit einer Datenbank versehen sein, die Verhältnisse zwischen der Art des eingegebenen Bildsignals (HDTV, NTSC, EDTV, rechnererzeugte Bilder usw.) und der Anzeigeschirmgröße definiert, und kann so aufgebaut sein, daß sie in der Lage ist, die Größe der angezeigten Binokularparallaxe in Übereinstimmung mit der Art des eingegebenen Bildsignals korrekt zu erkennen.
Die Parallaxenberechnungseinheit A8 ist als eine solche beschrieben worden, die den Maximalwert der Binokularparallaxe ausgibt, statt dessen kann aber der Minimalwert verwendet werden, so daß die Parallaxe des nächsten Objektes, das über den Schirm zu schwimmen scheint, in den Binokularverschmelzungsbereich des Betrachters gebracht werden kann. Da jedoch in diesem Falle die Amplitude der zulässigen Binokularparallaxe sich in Abhängigkeit vom Betrachtungsabstand und der Bildschirmgröße ändert, muß eine Datenbank vorgesehen sein, die die Werte der zulässigen Binokularparallaxen angibt.
Die letzten drei Beispiele sind als solche beschrieben worden, die Multisynchron-Monitore verwenden, jedoch braucht im Falle, daß ein Monitor speziell für die Verwendung mit einem Bildsignal fester Frequenz vorgesehen ist, die Auflösungsunterscheidungseinheit nicht vorgesehen zu sein, und es kann ein fester Wert bei der Produktspezifikation verwendet werden.
Weiterhin können typische Bildschirmgrößen, wie die Hälfte oder ein Drittel der Vollschirmgröße, durch feste Werte vorgegeben sein.
Die Parallaxensteuereinheit A13 kann so aufgebaut sein, daß sie immer dann arbeitet, wenn die Umrechnungsgröße Dc berechnet wird, oder nur zu Beginn des Betriebs der Vorrichtung arbeitet und wenn dann eine merkliche Änderung in der Binokularparallaxe des eingegebenen Bildes auftritt.
In den letzten drei Beispielen können Vorkehrungen getroffen werden, daß der Betrachter Einstellbefehle unter Verwendung von Druckknopfschaltern oder einen entfernten Steuerer nur dann eingibt, wenn er die Binokularparallaxe einzustellen wünscht.
Im zweiten Beispiel wurde ein Zeitmultiplexsystem benutzt, das die Verwendung von Flüssigkristallverschlüssen erforderte, um eine stereoskopische Bildanzeige zu erzeugen. Man erkennt jedoch, daß jedes andere stereoskopische Anzeigeverfahren verwendet werden kann, wie beispielsweise ein Parallaxensperrverfahren oder ein Verfahren mit linsenförmigen Linsen, das keine Brille erfordert.
Aus den insoweit gegebenen Beschreibungen geht hervor, daß stereoskopische Bilder erzeugt werden oder Bilder für linkes Auge und rechtes Auge automatisch in horizontaler Richtung vor der Bilddarstellung bewegt werden, indem die Anzeigeschirmgröße des stereoskopischen Fernsehgerätes, die Auflösung (Frequenz) des eingegebenen Bildsignals und die Fenstergröße in Betracht gezogen wurden, weshalb die vorliegende Erfindung den Vorteil hat, daß sie in der Lage ist, stereoskopische Bilder zu erzeugen und darzustellen, die natürlich aussehen und für den Betrachter einfach zu betrachten sind.

Claims

1. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder, die umfasst:

einen Projektions-Umwandlungsabschnitt (1, 2), der auf der Grundlage dreidimensionaler struktureller Informationen, die eine dreidimensionale Form eines Objektes (9) beschreiben, eine Vielzahl zweidimensionaler Projektionsbilder, von einer Vielzahl von Kameras (7, 8) gesehen, erzeugt;

gekennzeichnet durch;

einen Abstandsinformations-Extrahierungsabschnitt (5), der einen Abstand (dx) zwischen dem Objekt (9) und den Kameras (7, 8) erzeugt;

eine Verschmelzungsbereich-Berechnungseinrichtung, die einen Binokular- Verschmelzungsbereich eines Betrachters, der einen Bildschirm (10) einer Anzeigevorrichtung für stereoskopische Bilder zum Anzeigen eines stereoskopischen Bildes des Objektes (9) betrachtet, auf der Grundlage im Voraus eingegebener Parameter berechnet, die wenigstens aus der Größe (M) des Bildschirms und einem Betrachtungsabstand (ds) zwischen dem Bildschirm (10) und dem Betrachter bestehen;

eine Kameraparameter-Errechnungseinrichtung (11), die Bedingungen für Parameter der Kameras (7, 8) auf der Grundlage des Binokular-Verschmelzungsbereiches und des Ausgangs des Abstandsinformations-Abfrageabschnitts (5) errechnet, so dass das Objekt (9) in seiner Gesamtheit in den Binokular- Verschmelzungsbereich des Betrachters gebracht werden kann; und

ein Kameraparameter-Bestimmungsabschnitt (6) für eine Computergrafik (CG)- Bedienungsperson, der die Kameraparameter anhand eines Ausgangs der Kameraparameter-Errechnungseinrichtung (11) bestimmt;

wobei der Projektions-Umwandlungsabschnitt (1, 2) eine Vielzahl zweidimensionaler Projektionsbilder unter Verwendung der bestimmten Kameraparameter erzeugt.

2. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder nach Anspruch 1, wobei der Abstandsinformations-Extrahierungsabschnitt (5) aus den dreidimensionalen strukturellen Informationen den längsten Abstand oder den kürzesten Abstand zwischen den Kameras (7, 8) und dem Objekt (9) extrahiert.

3. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder nach Anspruch 2, wobei der längste Abstand oder der kürzeste Abstand zwischen den Kameras (7, 8) und dem Objekt (9) von der CG-Bedienungsperson nach Wunsch manuell eingestellt werden kann.

4. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder nach Anspruch 2, wobei:

die Computergrafik (CG)-Bedienungsperson einen bestimmten Bereich auf einem Computergrafik (CG)-Anzeigebildschirm vorgibt, und

der Abstandsinformations-Extrahierungsabschnitt (5) aus den dreidimensionalen strukturellen Informationen innerhalb des bestimmten Bereiches den längsten Abstand oder den kürzesten Abstand zwischen den Kameras (7, 8) und dem Objekt (9) extrahiert.

5. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder, die umfasst:

einen Blldaufbereitungsabschnitt (3, 4), der aus dem Ausgang des Projektions- Umwandlungsabschnitts (1, 2) ein Computergrafik (CG)-Bild erzeugt;

gekennzeichnet durch:

einen Parallaxenabbildungs-Errechnungsabschnitt (20), der ein Abstandsbild eines Ausgangsbildes aus dem Ausgang des Projektions-Umwandlungsabschnitts (1, 2) oder des Bildaufbereitungsabschnitts (3, 4) und aus den dreidimensionalen strukturellen Informationen erzeugt;

eine Verschmelzungsbereich-Berechnungseinrichtung, die einen Binokular- Verschmelzungsbereich eines Betrachters, der einen Bildschirm einer Anzeigevorrichtung für stereoskopische Bilder zum Anzeigen eines stereoskopischen Bildes des Objektes betrachtet, auf der Grundlage im Voraus eingegebener Parameter berechnet, die wenigstens aus der Größe des Bildschirms (M) und einem Betrachtungsabstand (ds) zwischen dem Bildschirm (10) und dem Betrachter bestehen;

eine Bildpunktzählwert-Errechnungseinrichtung (21), die auf der Grundlage des Binokular-Verschmelzungsbereiches und des Ausgangs der Parallaxenabbildungs-Errechnungseinrichtung (20) die Anzahl von Bildpunkten oder die Anzahl von Scheitelpunkten von Vielecken oder die Anzahl von Mittelpunkten von Vielecken in dem stereoskopischen Bild errechnet, die in dem Binokular- Verschmelzungsbereich des Betrachters liegen; und

einen Kameraparameter-Bestimmungsabschnitt (6), der unter Verwendung des Ausgangs der Bildpunktzählwert-Errechnungseinrichtung (21) Kameraparameter so bestimmt, dass ein Bereich in dem Ausgangsbild, in dem dem Betrachter Binokular-Verschmelzung möglich ist, eine größere Fläche hat als ein vorgeschriebener Wert;

6. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder nach Anspruch 5, wobei:

eine Computergrafik (CG)-Bedienungsperson einen bestimmten Bereich auf einem Anzeigebildschirm (10) vorgibt, und

die Bildpunktzählwert-Errechnungseinrichtung (21) die Anzahl von Bildpunkten in einem Computergrafik (CG)-Bild, das in dem Binokular-Verschmelzungsbereich des Betrachters liegt, auf der Grundlage von Parallaxen-Informationen innerhalb des bestimmten Bereiches, der Bildschirmgröße (M) der Anzeigevorrichtung für stereoskopische Bilder und des Betrachtungsabstandes (ds) zwischen dem Bildschirm (10) und dem Betrachter errechnet.

7. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder nach Anspruch 6, wobei:

die Bildpunktzählwert-Errechnungseinrichtung (21) einen Bereich eines Gegenstandes erfasst, in dem dem Betrachter Binokular-Verschmelzung möglich ist, und

ein Abschnitt (22-24) für spezielle Bildverarbeitung enthalten ist, der Bildteile außerhalb des Binokular-Verschmelzungsbereiches, der von der Bildpunktzählwert- Errechnungseinrichtung (21) erfasst wird, spezieller Bildverarbeitung unterzieht.

8. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder nach Anspruch 7, wobei der Abschnitt (22-24) für spezielle Bildverarbeitung einen Abschneidewert-Bestimmungsabschnitt (22) enthält, der die Position einer Abschneideebene bestimmt, so dass Computergrafik (CG)-Bilder, die in Teilen außerhalb des Binokular-Verschmelzungsbereiches liegen, nicht erzeugt werden.

9. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder nach Anspruch 7, wobei der Abschnitt (22-24) für spezielle Bildverarbeitung einen Bildaufbereitungsabschnitt enthält, der einen Bildkontrast oder eine Bildtransparenz des Gegenstandes über eine Fläche allmählich verändert, die sich aus der Nähe einer Binokular-Verschmelzungsgrenze des Betrachters in einen Bereich hinein erstreckt, in dem die Binokularverschmelzung erreicht werden kann.

10. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder nach Anspruch 7, wobei der Abschnitt (22, 23, 24) für spezielle Bildverarbeitung einen Schleiereffektparameter-Bestimmungsabschnitt (24) enthält, der den Grad eines Schleiereffektes so steuert, dass der Schleiereffekt zunimmt, wenn eine Binokular-Verschmelzungsgrenze des Betrachters überschritten wird.

11. Vorrichtung zum Erzeugen stereoskopischer Computergrafik (CG)-Bilder nach Anspruch 7, wobei der Abschnitt (22-24) für spezielle Bildverarbeitung einen Fokusparameter-Bestimmungsabschnitt (24) enthält, der den Grad eines Defokussiereffektes so steuert, dass der Defokussiereffekt zunimmt, wenn eine Binokular-Verschmelzungsgrenze des Betrachters überschritten wird.