[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2010128097A2 - Verfahren zur räumlichen darstellung - Google Patents

Verfahren zur räumlichen darstellung Download PDF

Info

Publication number
WO2010128097A2
WO2010128097A2 PCT/EP2010/056150 EP2010056150W WO2010128097A2 WO 2010128097 A2 WO2010128097 A2 WO 2010128097A2 EP 2010056150 W EP2010056150 W EP 2010056150W WO 2010128097 A2 WO2010128097 A2 WO 2010128097A2
Authority
WO
WIPO (PCT)
Prior art keywords
depth
views
pixels
source
image
Prior art date
Application number
PCT/EP2010/056150
Other languages
English (en)
French (fr)
Other versions
WO2010128097A3 (de
Inventor
Alexander Schmidt
Original Assignee
Visumotion Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visumotion Gmbh filed Critical Visumotion Gmbh
Priority to CN201080019861.4A priority Critical patent/CN102484728B/zh
Priority to US13/318,999 priority patent/US8797383B2/en
Publication of WO2010128097A2 publication Critical patent/WO2010128097A2/de
Publication of WO2010128097A3 publication Critical patent/WO2010128097A3/de

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format

Definitions

  • combination rules are described for example in DE 100 03 326 A1.
  • the combination rules are always given as a function of the properties of the screen, which must be suitable for the spatial representation.
  • the screen can be designed with a special filter array, which is composed of transparent and opaque filter elements, so that the propagation directions for the views are predetermined in interaction with the combination rule.
  • An essential aspect of such methods is the generation of the different views, which correspond to different viewing positions.
  • a source view Q to generate the views.
  • This method has in common that first in a projection surface P (x, y) with a horizontal coordinate x and a vertical coordinate y projected source view Q is provided, which is assigned a original viewing position B q .
  • a depth map T related to the projection surface is also provided, which is also associated with the original viewing position B q .
  • the original viewing position B q is also assigned to a first view A 0 . It is often chosen so that it faces the projection surface centrally and centrally and a beam from the viewing position B q to the projection surface, which includes a vertical line with this, so approximately the center pixel of the source view Q pierces.
  • each pixel of this view is shifted horizontally to the left or right in order to produce the other views proportional to its depth information. This is a so-called parallactic pixel shift. This results in a perspective shifted view, resulting holes are filled by interpolation. The pixel shift must be performed separately for each view.
  • relief map generation With the method of relief mapping, hereinafter referred to as relief map generation, it becomes possible to eliminate these artifacts and to miss, for example, the brick wall described above, a truly spatial structure that retains this effect even from unfavorable viewing positions.
  • the method is described in detail in the literature, for example in the article "Relief Texture Mapping” by M. Oliveira, G. Bishop and D. McAllister, published in Proceedings of SIGGRAPH 2000, pages 359-368, and in the article “Real- Time Relief Mapping on Arbitrary Polygonal Surfaces "by F. Policarpo, M. Oliveira and J. Comba, published in Proceedings of ACM Symposium on Interactive 3D Graphics and Games 2005, ACM Press, pages 155-162.
  • the disclosure of said documents is hereby explicit - A -
  • the relief map process works in a similar way to so-called ray-tracing methods and serves, as already mentioned, to make the spatial impression of two-dimensionally displayed objects appear more real.
  • the main difference to the ray-tracing method is that the former determines the intersection of a ray with the geometric objects of the 3D scene to compute the image of a 3D scene, while the relief mapping exclusively the intersection with the depth values of an already complete calculated image to subsequently change the position of picture elements. It would even be conceivable that the relief mapping would be applied to an image that was previously calculated using ray tracing, since here too every pixel has a depth value assigned to it. An application of this method with respect to an actual spatial representation is not known.
  • the object of the invention is to improve the method of the type described in the introduction in such a way that a fast calculation of the combination images and consequently a smooth representation in real time are possible even for a large number of different views.
  • This object is achieved in a method of the type described above in that using the depth map a relief map Z (x, y) of the view is created, where Z (x, y) is a continuous function in x and y, and the relief map Z (x, y) is linked to the source view Q. This is done by means of the above-described method of relief map generation.
  • the color information for image pixels b n (x k , y ⁇ ) of the views A n can be determined by (i) a ray along a viewing direction from the respective viewing position B n to the relevant image pixel b n (x k , y ⁇ ) is generated and extended beyond the latter into the depth, (ii) the point of intersection of the beam closest to the viewing position B n with the relief map Z (x, y) is determined, (iii) that of the point of intersection nearest source pixel b q (x s ', y,) is determined, and (iv) the color information of the image pixel b q (x s ', y,) is assigned to the relevant image pixel b n (x k , y ⁇ ). It is essential that the color information is not determined for all image pixels of the views. Instead, the color information for the views A n is determined only for the image pixels b n (x b , y ⁇ ).
  • the information of the views, which are not displayed at the grid position x k , y , are not determined - in contrast to the prior art, where these unnecessary operations can not be avoided due to the process.
  • a scaling of the depth map T or the source view Q is made with corresponding scaling factors.
  • this step need not necessarily be skipped, but it can also be multiplied by a factor of one.
  • the scaling factors are applied to the depth pixels t (x p , p r ) and / or the source pixels b q (x "y,) so that they are stretched or compressed with respect to the image pixels b n (x k , y ⁇ ).
  • the resolution of the source view and the depth map in both the x and y directions is only half as high as the resolution of the screen on which the views A n are to be displayed and whose resolution they are to be generated.
  • source view Q and depth map T are stretched so that each source pixel and each depth pixel covers four image pixels, which affects the mapping of image pixels to source pixels from different viewing positions.
  • source view Q and depth map T are available in different resolutions, for example, if they are generated separately from each other. In general, however, both will have the same resolution, so that corresponds to each source pixel exactly one depth pixel and vice versa.
  • the depth map T can then also as another field with its own index in a matrix in which the color information of the source view are stored, are stored, but it can also be treated as an independent, independent field in which they, for example, in a by a Driver manipulatable depth buffer is stored. If the resolution of the depth map, the source view and the views A n are identical, scaling or scaling by a factor of 1 is not performed.
  • the source image and the depth map can be compressed if their resolution is higher than the resolution of the screen used for display.
  • This can be particularly advantageous for screens with full-color pixels or monochromatic screens, because in this way an increase in depth precision can be achieved.
  • the image pixels b n (x k , y ⁇ ) can be either full pixels or subpixels.
  • each full pixel is assigned color information for the colors red, green and blue; in the case of subpixels, each subpixel is assigned color information for exactly one of these colors.
  • the depth information of the depth map T are scaled, so that the depth to be displayed can be adapted, for example, to a specific type of device, but also to a standard 3D volume, so that always creates the maximum spatial impression for a viewer.
  • This scaling is done according to the following steps: In a first step, a plane with a maximum depth and a plane with a minimum depth are defined. This is done with respect to the viewing position B q , that is generally perpendicular to the projection plane P (x, y), in principle, other perspectives are conceivable.
  • the plane with maximum depth as depth information has the value 1 and the plane with minimum depth as depth information has the value 0.
  • the Layer with minimum depth obscure all source pixels if they are not in this layer.
  • the maximum depth layer should not obscure any source pixels unless source pixels are on it.
  • neither on the level with minimum depth nor on the level with maximum depth are source pixels, so that the depth impression has not yet been optimally utilized or can still be optimized.
  • the depth information or depth values of the level are identical for each point in the level.
  • the two levels are shifted towards each other and the smallest distance between the two levels is determined, in which the depth information of the depth map is still all on or between these levels. If depth information has already been found on one of the levels when defining the levels, this level will not be moved any further.
  • the shift is preferably iterative, with the position of the plane being shifted back and forth in jumps, and the starting point for the next iteration step in the case of the maximum depth plane from the last two iteration steps being selected is that covering the fewest pixels, and In the case of the minimum depth layer, the one for the next iteration step that covers most pixels is selected.
  • the levels are characterized by their - uniform - depth value or their uniform depth information. Other known iteration methods are of course applicable.
  • the depth information is scaled depending on this smallest distance to a predetermined standard distance.
  • the standard spacing can be set to 1, and if all depth information of the depth map is in a range of 0.2 to 0.7, scaling to the standard spacing between 0 and 1 can be done so that the available 3D Volume is maximally utilized.
  • the scaling can be dependent on the depth information in the depth map and does not have to be linear.
  • the definition of the plane with maximum depth and / or the plane with minimum depth in the first step can be carried out automatically - for example, with the depth values 0 and 1 - but it can also be done manually. This is particularly advantageous if the determination of the respective level is to take place on the basis of an evaluation on the basis of the image content, which of course, however, is also automatically based on corresponding image quality. evaluation algorithms can take place. If the planes are initially set with depth values different from 0 or 1, then all depth pixels t whose depth information corresponds to values which lie before the plane with minimum depth or behind the plane with maximum depth are assigned uniform depth values. Such objects then each appear to lie in a plane in front of and behind the actual volume in which other objects are represented spatially and have only a two-dimensional image structure.
  • the sequence of the method steps is preferably controlled by a driver, which can also be intervened manually.
  • the control is performed by a driver implemented on a graphics card, which can also address the graphics card accordingly.
  • the method steps are also preferably carried out on a graphics card which has an interconnection optimized for such process steps.
  • the driver can decide, for example, depending on previously performed processing steps, which depth map is used to create and display the spatial image, or if such a depth map must first be created, or if an existing depth map must be supplemented.
  • the depth map can in particular also be taken from an application, for example a computer game or a program for displaying medical facts whose screen output is to be converted from the two-dimensional to the three-dimensional and in which a depth map for the normal two-dimensional representation is calculated to be between objects in the background - and foreground to distinguish.
  • FIG. 1 shows an overview of the relationships between projection surface, original view, relief map, and the different viewing positions
  • FIG. 2 shows a combination image which is composed of five views
  • FIG. 3 a shows a filter structure for specifying defined propagation directions
  • 3b, c the combination image with superimposed filter structure, as they are perceived at a certain position by the left and right eye
  • FIG. 5 shows the determination of the color information on the example of a full-pixel screen
  • FIG. 6 shows the determination of the color information for the image pixels to be displayed using the example of a screen with subpixels
  • a source view Q projected into a projection surface P (x, y) having a horizontal coordinate x and a vertical coordinate y is provided.
  • the projection surface P (x, y) is shown in Fig.1a, the scene contains here only a cuboid and is otherwise empty.
  • the source view Q is assigned a primary jump view position B q .
  • the representation of the source pixels b q (x, y,) has been omitted in order to maintain the clarity. However, they can be thought of as a close-meshed grid, underlaid with the view Q in FIG.
  • the original viewing position B q is also assigned to a first view A 0 . By horizontally shifting the original viewing position B q , N-1 become more pairwise different from each other
  • N 5.
  • other numbers of views may also be used, in general N is a natural number greater than or equal to 2.
  • Figure 1 b also a relief map Z (x, y) is still shown, which is created on the basis of depth information to the source view Q.
  • This depth information is stored in a depth map T related to the screen.
  • Depth map T and source view Q typically have the same dimensions in terms of the number of rows and columns, but scaling each other is possible if this is not the case.
  • a scaling of the depth map T and the source view Q is made with corresponding scaling factors.
  • color fringes can be reduced in color transitions in the SD representation, for which purpose the resolution of the source view Q and the depth map T can be artificially reduced by corresponding image algorithms.
  • this procedure makes sense, as color fringes are all the more disturbing the farther apart the pixels are.
  • the depth impression can be improved, especially in monochromatic or full-pixel based screens.
  • the source view Q can also be used as the view A 0 , to which the depth information is then assigned.
  • the relief map Z (x, y) is then linked to the source view Q according to the method of the relief map generation, for example in the manner shown.
  • Z (x, y) is a continuous function in x and y. It may be, for example, a staircase function, but the values between the pixels can also be interpolated so that the function Z (x, y) is continuously differentiable once or twice, for example, interpolation can be linear or bicubic.
  • the relief map Z (x, y) is shown in FIG. 1b for a section through the view Q of constant y; the section is indicated in Fig.1a by the dashed line.
  • the relief map is also normalized, small values corresponding to low depths and consequently experiencing only a small shift, high values corresponding to points in the background that experience a relatively smaller shift compared to the front ones.
  • FIG. 1 Such a combination image composed according to a combination rule is shown, for example, in FIG.
  • This is a combination image, which is intended for display on screens with subpixels. According to the regulation, adjacent views are assigned to different subpixels.
  • the numbers in the boxes below the boxes labeled R, G, and B denote the index n of the five views A n used in the example.
  • the propagation directions are then predetermined by corresponding optical filter structures, for example by parallactic barrier filters or lenticular filters.
  • Such an optical filter in the form of a barrier structure is shown in FIG. 3a.
  • the optical filter structure is thus forward or also downstream of the rastered combination image in the viewing direction, thereby predefining propagation directions which allow the spatial visual impression to emerge.
  • FIG. 4 shows the basic procedure for determining the color information for the image pixels b n (x k , y ⁇ ) of the views A n .
  • a beam is initially generated along a viewing direction from the respective viewing position B n , in the present example B 1 , to the relevant image pixel b n (x k , y ⁇ ).
  • the source view Q is usually calculated so that it has already been determined and projected in central projection or orthographic projection.
  • the source pixel b q (x s ', y,) closest to the intersection is then determined. These source pixels are also shown in FIG.
  • the color information of this image pixel b q (x s ', y,) is assigned to the relevant image pixel b n (x k , y i) of the source view Q. This then corresponds to a displacement of the objects according to their depth, indicated by the distances marked with dx 1: dx 2i dx 3 and dx 4 .
  • the relief map Z (x, y) is to be understood such that small values correspond to a small depth and values close to 1 to a high depth; Objects in the background are shifted less frequently in changing viewing position than in the foreground.
  • the color information for the views A n be determined only for the image pixel b n (x k , y ⁇ ) to be displayed according to the combination rule. No color information is determined for all other image pixels, so these are not taken into account in the calculation because their information is not needed. Thus, for each view A n , only that part of the image pixels b n (x k , y ⁇ ) is determined which is actually displayed in accordance with the combination rule.
  • FIG. 5 shows the procedure for determining the color information in combination images for a screen on a full-pixel basis, on which only two views, one for the left and one for the right eye, are shown.
  • Each full pixel contains color information for red (R), green (G) and blue (B).
  • FIG. 6 shows the procedure for a subpixel-based screen.
  • the first red subpixel R 1 is assigned a color information of the view 1, the first green subpixel indicated by G 1 , a color information of the view 2, and so on.
  • Each color value comes from a different view.
  • the illustrated relief map Z (x, y) was interpolated as twice continuously differentiable function, ie in which the first derivative forms a continuously differentiable function corresponds to the relief map shown in Figure 7a Z (x, y) a step function, each step extending over an entire source pixel corresponding to the depth value; the relief maps Z (x, y) shown in FIG. 7b and FIG. 8 correspond between the depth information of the source pixels of linearly interpolated functions.
  • FIGS. 7 a, b and 8 show by way of example possible scalings in the case of differently dimensioned source views and depth maps on the one hand and views A n on the other hand.
  • a source pixel is thus assigned to two image pixels each. This results in a substantial reduction of color fringes, as they occur when using special filters for the 3D representation, for example in the one shown in Figure 3a.
  • the depth card T can be, for example, another index in the usually multidimensional matrix of the source pixels, so that each source pixel is assigned not only color information, for example three color values, but also depth information or even further information.
  • the depth map T can also be used independently of the source view Q and stored, for example, in a depth buffer so that it can be manipulated independently and later linked to the source view Q.
  • FIG. 8 shows an inverse situation with respect to FIG. 7, namely that the source view Q has a higher resolution than the views A n , namely exactly twice as high. This contributes to an increase in accuracy in depth scanning. If, for example, the resolution of the source view Q is three times as high as the resolution of the views A n , then each subpixel can be assigned its own depth value, thus increasing the accuracy in depth determination.
  • the depth impression can also be improved by a separate treatment of the depth map T, namely by scaling the depth information as follows: First, a plane with a maximum depth and a plane with a minimum depth with respect to the viewing position B q are defined. These two levels then become one upon another and the smallest distance between the planes is determined at which the depth information of the depth map T, which lay on or between these planes during the determination of the planes in the previous step, is still all on or between the planes. If depth information was already at maximum depth on one of the layers, it will generally not be moved. The displacement is generally iterative, so that the smallest distance is found within several iteration steps. If the smallest distance is found, then the depth information - ie the depth values - is scaled to a given new distance as a function of this smallest distance, so that as a rule the available 3D depth space can be optimally utilized.
  • the plane with maximum depth and / or the plane with minimum depth can be determined in the first step based on an evaluation of the image contents.
  • the minimum depth plane may be defined in a range between foreground information-in a computer game, for example, the cockpit of a racing car, the cab of a locomotive, or the cockpit of an airplane-so that the cockpit or the like may be cocked. located in front of this level. All points in front of this plane then have a common depth value, independent of the shift of the two levels towards each other. A scaling of the depth information is then only for those outside the - two-dimensional appearing - cockpit o.a., So that for this area, which is actually interesting for the viewer or player, an optimization of the spatial visual impression can be done by maximum utilization of the available depth space.
  • the whole process can be controlled by a driver, which can also be implemented on a graphics card.
  • the process steps can be easily carried out on a graphics card.
  • the essential effort for the generation of the combination image no longer depends on the number of views used, but only on the resolution of the screen used. This allows the use of a variety of views, thereby improving the quality of the spatial visual impression.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur räumlichen Darstellung einer Szene auf einem Raster aus Bildelementen, basierend auf mehreren Ansichten, die entsprechend einer Kombinationsvorschrift zu einem Kombinationsbild zusammengesetzt werden. Das Kombinationsbild enthält von jeder Ansicht nur ausgewählte Teile bzw. Pixel. Dazu werden Ausbreitungsrichtungen vorgegeben, die es ermöglichen, daß ein Betrachter im Kombinationsbild mit dem linken Auge eine andere Auswahl von Ansichten wahrnimmt als mit dem rechten Auge, was zu einem räumlichen Seheindruck führt. Ausgehend von einer Ursprungsansicht, bei der jedes Pixel Färb- und Tiefeninformationen enthält, werden die übrigen Ansichten generiert, wobei ausschließlich Farbinformationen bestimmt werden, die zu Bildelementen der Ansichten gehören, die im Kombinationsbild dargestellt werden. Die Bestimmung der Farbinformationen erfolgt mit Hilfe einer Reliefkarte Z(?,y).

Description

Titel
Verfahren zur räumlichen Darstellung
Gebiet der Erfindung Die Erfindung betrifft ein Verfahren zur räumlichen Darstellung einer Szene auf der Grundlage von mehreren unterschiedlichen Ansichten An der Szene, mit n = 0,...,N-1 und N = 2 oder N > 2 der Gesamtzahl der Ansichten, auf einen Raster aus Bildelementen.
Stand der Technik
Während es im Stand der Technik eine Vielzahl verschiedener Verfahren zur Darstellung räumlicher Bilder gibt, beruht eines der wesentlichen Verfahren, das das Betrachten von räumlichen Bildern ohne Hilfsmittel erlaubt, darauf, die Ansichten An entsprechend einer vorgegebenen Kombinationsvorschrift für die räumliche Darstellung zu einem Kombinations- bild, welches auf dem Raster aus Bildelementen dargestellt wird, zu kombinieren, wobei von jeder der Ansichten An entsprechend der Kombinationsvorschrift auf dem Raster aus Bildelementen nur ein Teil von der jeweiligen Ansicht An zugeordneten Bildpixeln bn(xk,yι) dargestellt wird. Für die Ansichten An werden dabei Ausbreitungsrichtungen vorgegeben, so daß das linke Auge eines Betrachters eine andere Auswahl der Ansichten An als das rechte Auge des Betrachters wahrnimmt, wodurch ein räumlicher Seheindruck entsteht.
Solche Kombinationsvorschriften sind beispielsweise in der DE 100 03 326 A1 beschrieben. Dabei werden die Kombinationsvorschriften immer in Abhängigkeit von den Eigenschaften des Bildschirms, der für die räumliche Darstellung geeignet sein muß, vorgegeben. Bei- spielsweise kann der Bildschirm mit einem speziellen Filterarray ausgestaltet sein, welches aus transparenten und opaken Filterelementen zusammengesetzt ist, so daß im Zusammenspiel mit der Kombinationsvorschrift die Ausbreitungsrichtungen für die Ansichten vorgegeben werden. Ein wesentlicher Aspekt solcher Verfahren ist dabei die Erzeugung der unterschiedlichen Ansichten, die zu unterschiedlichen Betrachtungspositionen korrespondieren. Während solche Ansichten bei klassischen Filmen, die beispielsweise mit Stereokameras oder Kameras, die an den entsprechenden Betrachtungspositionen positioniert sind, digital aufgenommen und kombiniert werden können, und es dabei auf die Zeit, die dazu verwendet wird, nicht unbedingt ankommt, da der Betrachter ein fertiges, nicht mehr veränderbares und insofern statisches Endprodukt zu sehen bekommt, so erweist sich die Erzeugung der verschiedenen Ansichten bei computeranimierten Objekten, wie sie beispielweise bei Navigationsgeräten oder Computerspielen verwendet werden, mit steigender Auflösung der Bildschirme und höherer Anzahl von Ansichten zunehmend als der die Geschwindigkeit senkender Zeitfaktor, der trotz gestiegener Leistungsfähigkeit von Graphikkarten den Ablauf der Bildfolgen - die in der Regel erst durch Interaktion mit den Betrachter regeneriert werden müssen - stört und beispielsweise zu Ruckein führen kann.
Dabei sind im Stand der Technik verschiedene Verfahren bekannt, ausgehend von einer Quellansicht Q die Ansichten zu erzeugen. Diesen Verfahren ist gemeinsam, daß zunächst eine in eine Projektionsfläche P(x,y) mit einer horizontalen Koordinate x und einer vertikalen Koordinate y projizierte Quellansicht Q bereitgestellt wird, welcher eine Ursprungsbetrach- tungsposition Bq zugeordnet ist. Die Quellansicht Q ist dabei aus Quellpixeln b^x,,^), mit Zeilen j = 1 ,...,J und Spalten i = 1 ,...,l, zusammengesetzt. In jedem Quellpixel bq(x,,y,) ist dabei mindestens eine Farbinformation gespeichert. Außerdem wird auch eine auf die Projektionsfläche bezogene Tiefenkarte T bereitgestellt, welcher ebenfalls die Ursprungsbetrachtungsposition Bq zugeordnet ist. Die Tiefenkarte ist aus Tiefenpixeln t(xp,yr) mit Zeilen r = 1 ,...,R und Spalten p = 1 ,...,P zusammengesetzt. In jedem Tiefenpixel t(xp,yr) ist mindestens eine Tiefeninformation gespeichert, wobei die Tiefeninformation einem senkrechten Abstand zur Projektionsfläche P(x,y) entspricht. Auch weitere Informationen, die die Darstellung betreffen, können in den Quell- bzw. Tiefenpixeln gespeichert sein. Die Ursprungsbetrachtungsposition Bq wird dabei auch einer ersten Ansicht A0 zugeordnet. Sie wird dabei häufig so gewählt, daß sie der Projektionsfläche zentral und mittig gegenüberliegt und ein Strahl von der Betrachtungsposition Bq zur Projektionsfläche, der mit dieser eine senkrechte Linie einschließt, also in etwa das Mittelpixel der Quellansicht Q durchstößt. Ausgehend von dieser Ursprungsbetrachtungsposition Bq werden durch horizontale Verschiebung dieser Position N-1 weitere, paarweise voneinander verschiedene und zu übrigen Ansichten Am, mit m = 1 N-1 , korrespondierende Betrachtungspositionen Bm erzeugt. Für alle Ansichten An müssend Farbinformationen für Bildpixel bn(xk,yι) bestimmt werden, mit Zeilen I = 1 ,...,L und Spalten k = 1 ,...,K. Im klassischen Ansatz, beispielsweise in der nicht vorveröffentlichten deutsche Anmeldung Nr. 10 2006 005 004 wird dabei eine hier zur Quellansicht Q identische Ursprungsansicht A0 (N-1 )-fach vervielfältigt. Entsprechend der neuen Betrachtungspositionen und der Tiefeninformationen der der Ansicht zugrunde liegenden Primitive können dann die Ansichten be- rechnet werden, wobei verfahrensbedingt jeweils alle Bildelemente bm(xk,yι) neu bestimmt werden.
Ein anderes Verfahren ist in der DE 696 21 778 T2 beschrieben. Ausgehend von einer Ursprungsansicht A0 wird jedes Pixel dieser Ansicht zur Erzeugung der übrigen Ansichten pro- portional zu seiner Tiefeninformation horizontal nach links oder rechts verschoben, es handelt sich um eine sogenannte parallaktische Pixelverschiebung. Es ergibt sich also eine perspektivisch verschobene Ansicht, entstehende Löcher werden durch Interpolation gefüllt. Die Pixelverschiebung muß für jede Ansicht separat ausgeführt werden.
Bei allen Ansätzen steigt der Aufwand mit der Anzahl der Ansichten stark an. Andererseits ist die Verwendung einer hohen Zahl von Ansichten eigentlich wünschenswert, da dies auch einen qualitativ hohen räumlichen Seheindruck zur Folge hat.
Aus einem anderen Bereich der Computergraphik ist das Verfahren des sogenannten relief mapping bekannt. Mit der Anwendung dieses Verfahrens läßt sich ein typisches Artefakt der zweidimensionalen Computergraphik, mit der dreidimensionale Objekte dargestellt werden sollen beseitigen, daß nämlich räumlich scheinende Texturen - also Muster -, mit denen ein computergraphisches Objekt versehen wird, bei genauerem Betrachten nicht räumlich, sondern zweidimensional erscheinen. Wird beispielsweise auf ein computergraphisches Objekt, welches eine Mauer darstellen soll, eine Textur in Form einer Ziegelform aufgebracht, so wirkt die Struktur aus einiger Entfernung tatsächlich wie eine echte Ziegelmauer, verlegt man jedoch die Betrachtungsposition ganz dicht und möglichst in einem schrägen Winkel zur Mauer, dann erscheint die Textur als das was sie ist, nämlich quasi als zweidimensionales Abziehbild ohne jede räumliche Kontur. Mit dem Verfahren des relief mapping, im folgenden als Reliefkartenerzeugung bezeichnet, wird es möglich, diese Artefakte zu beseitigen und beispielweise der oben beschriebenen Ziegelmauer eine tatsächlich räumlich wirkende Struktur zu verpassen, die diesen Effekt auch aus ungünstigen Betrachtungspositionen beibehält. Das Verfahren wird in der Literatur ausführlich beschrieben, beispielsweise in dem Artikel „Relief Texture Mapping" von M. Oliveira, G. Bishop und D. McAllister, erschienen in Proceedings of SIGGRAPH 2000, Seite 359-368, und in dem Artikel „Real-Time Relief Mapping on Arbitrary Polygonal Surfaces" von F. Policarpo, M. Oliveira und J. Comba, erschienen in Proceedings of ACM Symposium on Interactive 3D Graphics and Games 2005, ACM Press, Seite 155-162. Auf die Offenbarung der genannten Dokumente wird hiermit explizit - A -
Bezug genommen. Das Reliefkartenverfahren arbeitet ähnlich wie sogenannte Ray-Tracing- Verfahren und dient, wie schon gesagt, dazu, den räumlichen Eindruck zweidimensional dargestellter Objekte echter erscheinen zur lassen. Der Hauptunterschied zum Ray-Tracing- Verfahren ist jedoch, daß ersteres den Schnittpunkt eines Strahls mit den geometrischen Objekten der 3D-Szene bestimmt, um das Bild einer 3D-Szene zu berechnen, während das relief mapping ausschließlich den Schnittpunkt mit den Tiefenwerten eines bereits komplett berechneten Bildes bestimmt, um die Position von Bildelementen nachträglich zu verändern. Es wäre sogar denkbar, daß das relief mapping auf ein Bild angewendet wird, welches vorher mittels Ray Tracing berechnet wurde, da auch hier jedem Pixel ein Tiefenwert zugeord- net wurde. Eine Anwendung dieses Verfahrens in bezug auf eine tatsächlich räumliche Darstellung ist nicht bekannt.
Beschreibung der Erfindung Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, Verfahren der eingangs beschriebenen Art dahingehend zu verbessern, daß auch für eine Vielzahl verschiedener Ansichten eine schnelle Berechnung der Kombinationsbilder und in Konsequenz eine ruckelfreie Darstellung in Echtzeit möglich werden.
Diese Aufgabe wird bei einem Verfahren der eingangs beschriebenen Art dadurch gelöst, daß anhand der Tiefenkarte eine Reliefkarte Z(x,y) der Ansicht erstellt wird, wobei Z(x,y) eine stetige Funktion in x und y ist, und die Reliefkarte Z(x,y) mit der Quellansicht Q verknüpft wird. Dies geschieht mittels des oben beschriebenen Verfahrens der Reliefkartenerzeugung. Ist die Reliefkarte Z(x,y) erstellt, können die Farbinformationen für Bildpixel bn(xk,yι) der Ansichten An bestimmt werden, indem (i) ein Strahl entlang einer Betrachtungsrichtung von der jeweiligen Betrachtungsposition Bn zum betreffenden Bildpixel bn(xk,yι) erzeugt und über dieses hinaus in die Tiefe verlängert wird, (ii) der der Betrachtungsposition Bn nächst- liegende Schnittpunkt des Strahls mit der Reliefkarte Z(x,y) bestimmt wird, (iii) das dem Schnittpunkt nächstliegende Quellpixel bq(xs',y,) bestimmt wird, und (iv) dem betreffenden Bildpixel bn(xk,yι) die Farbinformation des Bildpixels bq(xs',y,) zugeordnet wird. Dabei ist wesentlich, daß die Farbinformationen nicht für alle Bildpixel der Ansichten bestimmt werden. Vielmehr werden die Farbinformationen für die Ansichten An nur für die entsprechend der Kombinationsvorschrift darzustellenden Bildpixel bn(xk,yι) bestimmt.
Bezogen auf das Raster xk, y,, welches den Bildpixeln des Kombinationsbildes zugrunde liegt, heißt das, daß für jedes Paar (k,l) entsprechend der Kombinationsvorschrift zunächst bestimmt wird, aus welcher Ansicht die an dieser Stelle im Kombinationsbild darzustellende Information stammt. Die Bestimmung der darzustellenden Farbinformation erfolgt dann an- hand der zu der betreffenden Ansicht korrespondierenden Betrachtungsrichtung wie oben beschrieben, und zwar nur für die betreffende Ansicht. Die Informationen der Ansichten, die an der Rasterposition xk, y,, nicht dargestellt werden, werden nicht bestimmt - im Gegensatz zum Stand der Technik, wo sich diese unnötigen Operationen verfahrensbedingt nicht ver- meiden lassen. Es wird also für jede Ansicht An immer nur der Teil der Bildpixel bn(xk,yι) bestimmt, der entsprechend der Kombinationsvorschrift auch tatsächlich dargestellt wird. Das Verfahren der Reliefkartenerzeugung wird also nicht auf jede der Ansichten vollständig angewandt, sondern nur selektiv für die in jeder Ansicht jeweils sichtbaren Bildpixel, also in Abhängigkeit von der Kombinationsvorschrift. Dabei ist es durchaus auch möglich, daß in einem Kombinationsbild an einer Stelle (xk,yι) nicht nur die Farbinformation einer der Ansichten dargestellt wird, sondern auch von zwei oder mehreren. Dies hängt von der Kombinationsvorschrift ab.
Für den Fall, daß die Quellansicht Q und / oder die Tiefenkarte T eine geringere oder größe- re Auflösung als die Ansichten An aufweisen, daß also R ≠ L und / oder P ≠ K ist, bzw. J ≠ L und / oder I ≠ K ist, wird eine Skalierung der Tiefenkarte T bzw. der Quellansicht Q mit entsprechenden Skalierungsfaktoren vorgenommen. Diese Skalierungsfaktoren sind für die Tiefenkarte T in der Breite Sτ x = K/P und in der Höhe Sτ y = L/R. Für die Skalierung der Quellansicht Q lauten die Skalierungsfaktoren entsprechend für die Breite SQ X = K/l und für die Höhe SQ y = L/J. Für den Fall, daß die Auflösungen gleich sind, muß dieser Schritt nicht unbedingt übersprungen werden, vielmehr kann auch eine Multiplikation mit dem Faktor 1 erfolgen. Die Skalierungsfaktoren werden auf die Tiefenpixel t(xp,pr) und / oder die Quellpixel bq(x„y,) angewendet, so daß diese gegenüber den Bildpixeln bn(xk,yι) gestreckt oder gestaucht werden. Ist beispielsweise die Auflösung der Quellansicht und der Tiefenkarte so- wohl in x- als auch in y-Richtung nur halb so hoch wie die Auflösung des Bildschirms, auf dem die Ansichten An dargestellt werden sollen und dessen Auflösung entsprechend sie erzeugt werden sollen, so werden Quellansicht Q und Tiefenkarte T gestreckt, so daß jedes Quellpixel und jedes Tiefenpixel vier Bildpixel abdeckt, was die Zuordnung von Bildpixeln zu Quellpixeln aus verschiedenen Betrachtungspositionen beeinflußt.
Dabei ist es möglich, daß Quellansicht Q und Tiefenkarte T in verschiedenen Auflösungen vorliegen, wenn sie beispielsweise getrennt voneinander erzeugt werden. In der Regel werden aber beide die gleiche Auflösung aufweisen, so daß zu jedem Quellpixel genau ein Tiefenpixel korrespondiert und umgekehrt. Die Tiefenkarte T kann dann auch als weiteres Feld mit einem eigenen Index in einer Matrix, in der auch die Farbinformationen der Quellansicht gespeichert sind, abgelegt werden, sie kann aber auch als selbständiges, unabhängiges Feld behandelt werden, in dem sie beispielsweise in einem durch einen Treiber manipulierbaren Tiefenpuffer abgelegt wird. Ist die Auflösung der Tiefenkarte, der Quellansicht und der Ansichten An identisch, so erfolgt keine Skalierung bzw. eine Skalierung mit dem Faktor 1. Bei einer Streckung der Quellansicht und einer an die Quellansicht angepaßten Tiefenkarte lassen sich Farbartefakte besei- tigen, die durch ein Zusammenspiel der speziellen Filterstruktur für die räumliche Darstellung mit dem Bildschirm, in dem beispielsweise Pixel aus nebeneinander liegenden Subpixeln der Farben Rot, Grün und Blau zusammengesetzt sind, entstehen. Dieses Zusammenspiel führt bei der räumlichen Darstellung unter Umständen zum Auftreten von bunt schillernden Farbsäumen an Farbkanten, d.h. an Kanten, bei denen die Farben wechseln.
Andererseits lassen sich auch umgekehrt das Quellbild und die Tiefenkarte stauchen, wenn deren Auflösung höher als die Auflösung des zur Darstellung verwendeten Bildschirms ist. Dies kann insbesondere bei Bildschirmen mit vollfarbigen Pixeln oder bei monochromatischen Bildschirmen von Vorteil sein, weil auf diese Weise eine Erhöhung der Tiefenpräzision erreicht werden kann.
Mittels des erfindungsgemäßen Verfahrens erreicht man also, daß der zu treibende Aufwand für die Berechnung des Kombinationsbildes, der im Stand der Technik wesentlich von den Berechnungen im Zusammenhang mit der Erzeugung der Ansichten, dem für jede der An- sichten durchzuführenden sogenannten Rendering dominiert wird, abhängt, im wesentlichen nur noch von der Auflösung des Bildschirms abhängt und nur noch zu einem geringen Teil von der Anzahl der Ansichten. Damit ist es grundsätzlich möglich, beliebig viele Ansichten zu kombinieren, was insbesondere bei großformatigen, hochauflösenden Bildschirmen zu einer deutlichen Qualitätssteigerung des räumlichen Eindrucks führt.
Bei den Bildpixeln bn(xk,yι) kann es sich entweder um Vollpixel oder um Subpixel handeln. Im Falle von Vollpixeln sind jedem Vollpixel Farbinformationen für die Farben Rot, Grün und Blau zugeordnet, im Falle von Subpixeln sind jedem Subpixel Farbinformationen für genau eine dieser Farben zugeordnet.
In einer vorteilhaften Ausgestaltung des Verfahrens werden die Tiefeninformationen der Tiefenkarte T skaliert, so daß die darzustellende Tiefe beispielsweise an einen bestimmten Gerätetyp, aber auch an ein Standard-3D-Volumen angepaßt werden kann, so daß für einen Betrachter immer der maximale räumliche Eindruck entsteht. Diese Skalierung erfolgt nach den folgenden Schritten: In einem ersten Schritt werden eine Ebene mit einer maximalen Tiefe und eine Ebene mit einer minimalen Tiefe festgelegt. Dies erfolgt in bezug auf die Betrachtungsposition Bq, also in der Regel senkrecht zur Projektionsebene P(x,y), wobei grundsätzlich auch andere Perspektiven denkbar sind. Skaliert man den gesamten Tiefen- raum bzw. den Wertebereich, den die Tiefeninformationen in der Tiefenkarte annehmen können, auf das Intervall zwischen 0 und 1 , so hat die Ebene mit maximaler Tiefe als Tiefeninformation den Wert 1 und die Ebene mit minimaler Tiefe als Tiefeninformation den Wert 0. Üblicherweise wird die Ebene mit minimaler Tiefe alle Quellpixel verdecken, sofern sie nicht in dieser Ebene liegen. Auf der anderen Seite sollte die Ebene mit maximaler Tiefe keine Quellpixel verdecken, sofern nicht Quellpixel auf dieser liegen. Im Regelfall werden jedoch weder auf der Ebene mit minimaler Tiefe noch auf der Ebene mit maximaler Tiefe Quellpixel liegen, so daß der Tiefeneindruck noch nicht optimal ausgenutzt wurde bzw. noch optimiert werden kann. Die Tiefeninformationen bzw. Tiefenwerte der Ebene sind für jeden Punkt in der Ebene identisch.
Im nächsten Schritt werden dann die beiden Ebenen aufeinander zu verschoben und es wird der kleinste Abstand zwischen den beiden Ebenen bestimmt, bei dem die Tiefeninformationen der Tiefenkarte noch sämtlich auf bzw. zwischen diesen Ebenen liegen. Sollte sich bei der Festlegung der Ebenen bereits Tiefeninformationen auf einer der Ebenen gefunden haben, so wird diese Ebene nicht weiter verschoben. Die Verschiebung erfolgt bevorzugt iterativ, wobei die Lage der Ebene in Sprüngen vor und zurück verschoben wird, und als Ausgangspunkt für den nächsten Iterationsschritt im Falle der Ebene mit maximaler Tiefe von den vergangenen beiden Iterationsschritten diejenige ausgewählt wird, die die wenigsten Pixel abdeckt, und im Falle der Ebene mit minimaler Tiefe diejenige für den nächsten Iterationsschritt ausgewählt wird, welche die meisten Pixel abdeckt. Die Ebenen werden dabei durch ihren - einheitlichen - Tiefenwert bzw. ihre einheitliche Tiefeninformation charakterisiert. Auch andere bekannte Iterationsverfahren sind selbstverständlich anwendbar.
Sind die beiden Ebenen so weit verschoben, daß weitere Iterationsschritte keine weitere Verbesserung mehr bringen, ist also der kleinstmögliche Abstand gefunden, so werden die Tiefeninformationen in Abhängigkeit von diesem kleinsten Abstand auf einen vorgegebenen Normabstand skaliert. Beispielsweise kann der Normabstand auf 1 festgelegt werden, und wenn sich alle Tiefeninformationen der Tiefenkarte in einem Bereich von 0,2 bis 0,7 befin- den, kann eine Skalierung auf den Normabstand zwischen 0 und 1 erfolgen, so daß das zur Verfügung stehende 3D-Volumen maximal ausgenutzt wird. Die Skalierung kann dabei abhängig von der Tiefeninformation in der Tiefenkarte sein und muß nicht linear erfolgen.
Die Festlegung der Ebene mit maximaler Tiefe und / oder der Ebene mit minimaler Tiefe im ersten Schritt kann dabei automatisch erfolgen - also beispielsweise bei den Tiefenwerten 0 und 1 - sie kann aber auch manuell erfolgen. Dies ist insbesondere dann von Vorteil, wenn die Festlegung der jeweiligen Ebene aufgrund einer Bewertung anhand des Bildinhalts erfolgen soll, was selbstverständlich aber auch automatisch basierend auf entsprechenden Bild- auswertungsalgorithmen erfolgen kann. Werden die Ebenen auf diese Weise mit von 0 bzw. 1 verschiedenen Tiefenwerten anfänglich festgelegt, so bekommen alle Tiefenpixel t, deren Tiefeninformationen Werten entsprechen, die vor der Ebene mit minimaler Tiefe bzw. hinter der Ebene mit maximaler Tiefe liegen, jeweils einheitliche Tiefenwerte zugeordnet. Solche Objekte scheinen dann jeweils in einer Ebene vor bzw. hinter dem eigentlichen Volumen, in dem andere Objekte räumlich dargestellt werden, zu liegen und weisen nur eine zweidimensionale Bildstruktur auf.
Der Ablauf der Verfahrensschritte wird bevorzugt durch einen Treiber gesteuert, in den auch manuell eingegriffen werden kann. Bevorzugt erfolgt die Steuerung durch einen auf einer Grafikkarte implementierten Treiber, der auch die Grafikkarte entsprechend ansprechen kann. Auch die Verfahrensschritte werden bevorzugt auf einer Grafikkarte durchgeführt, die eine für solche Prozeßschritte optimierte Verschaltung aufweist.
Der Treiber kann beispielsweise in Abhängigkeit von vorangehend durchgeführten Bearbeitungsschritten entscheiden, welche Tiefenkarte zur Erstellung und Anzeige des räumlichen Bildes benutzt wird, bzw. ob eine solche Tiefenkarte erst erzeugt werden muß, oder ob eine vorhandene Tiefenkarte ergänzt werden muß. Die Tiefenkarte kann dabei insbesondere auch einer Anwendung entnommen werden, beispielsweise einem Computerspiel oder ei- nem Programm zur Darstellung medizinischer Sachverhalte, deren Bildschirmausgabe vom Zweidimensionalen ins Dreidimensionale konvertiert werden soll und bei denen eine Tiefenkarte für die normale zweidimensionale Darstellung berechnet wird um zwischen Objekten im Hinter- und Vordergrund zu unterscheiden.
Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Kurze Beschreibung der Zeichnungen
Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen:
Fig.1 einen Überblick über die Zusammenhänge von Projektionsfläche, Ursprungsansicht, Reliefkarte, sowie den verschiedenen Betrachtungspositionen, Fig.2 ein Kombinationsbild, welches aus fünf Ansichten zusammengesetzt ist, Fig.3a eine Filterstruktur zur Vorgabe definierter Ausbreitungsrichtungen, Fig.3b,c das Kombinationsbild mit darüber gelegter Filterstruktur, so wie sie an einer bestimmten Position vom linken bzw. rechten Auge wahrgenommen werden,
Fig.4 das Vorgehen zur Bestimmung der Farbinformationen für die übrigen Ansichten,
Fig.5 am Beispiel eines Vollpixelbildschirms die Bestimmung der Farbinformationen, und Fig.6 die Bestimmung der Farbinformation für die darzustellenden Bildpixel am Beispiel eines Bildschirms mit Subpixeln,
Fig.7a, b einen Fall, bei dem die Ansichten eine höhere Auflösung als die Tiefenkarte und die Quellansicht haben, und
Fig.8 den umgekehrten Fall zu Fig.7a, b.
Ausführliche Beschreibung der Zeichnungen
In Fig.1 sind zunächst die grundlegenden Begriffe im Zusammenhang mit einem Verfahren zur räumlichen Darstellung einer Szene auf der Grundlage von mehreren unterschiedlichen An der Szene mit n = 0....N-1 und N > 2 oder N = 2 der Gesamtzahl der Ansichten, auf einem Raster aus Bildelementen dargestellt. Zunächst wird eine in eine Projektionsfläche P(x,y) mit einer horizontalen Koordinate x und einer vertikalen Koordinate y projizierte Quellsansicht Q bereitgestellt. Die Projektionsfläche P(x,y) ist in Fig.1 a gezeigt, die Szene enthält hier nur einen Quader und ist ansonsten leer. Wie in Fig.1 b gezeigt, ist der Quellansicht Q eine Ur- Sprungsbetrachtungsposition Bq zugeordnet. Die Quellansicht Q ist dabei außerdem aus Quellpixeln bq(x„y,), mit Zeilen j = 1 ,...,J und Spalten i = 1 ,...,l, zusammengesetzt. In jedem Quellpixel bq(x,,y,) ist mindestens eine Farbinformation gespeichert. Zusätzlich können auch weitere Informationen gespeichert werden. Auf die Darstellung der Quellpixel bq(x,,y,)wurde verzichtet um die Übersichtlichkeit zu wahren. Man kann sie sich jedoch als ein der Ansicht Q in Fig.1 a unterlegtes, engmaschiges Raster vorstellen. Die Ursprungsbetrachtungsposition Bq wird auch einer ersten Ansicht A0 zugeordnet. Durch horizontale Verschiebung der Ursprungsbetrachtungsposition Bq werden N-1 weitere paarweise voneinander verschiedene
Betrachtungspositionen Bm, die zu übrigen Ansichten Am mit m = 1 N-1 korrespondieren.
Im vorliegenden Fall ist N = 5. Es können aber auch andere Anzahlen von Ansichten ver- wendet werden, allgemein ist N eine natürliche Zahl größer oder gleich 2.
In Fig.1 b ist außerdem noch eine Reliefkarte Z(x,y) dargestellt, die anhand von Tiefeninformationen zur Quellansicht Q erstellt wird. Diese Tiefeninformationen sind in einer auf die Projektionsfläche bezogenen Tiefenkarte T gespeichert. Dieser Tiefenkarte T ist ebenfalls die Ursprungsbetrachtungsposition Bq zugeordnet. Sie ist aus Tiefenpixeln t(xp, yr) zusammengesetzt, mit Zeilen r = 1 ,...,R und Spalten p = 1 ,...,P. In jedem Tiefenpixel t(xp, yr) ist mindestens eine Tiefeninformation gespeichert, wobei eine jede Tiefeninformation einem senkrechten Abstand zur Projektionsfläche P(x, y) entspricht. Tiefenkarte T und Quellansicht Q weisen in der Regel die gleichen Dimensionen bzgl. der Anzahl der Zeilen und Spalten auf, eine Skalierung aneinander ist jedoch möglich, sollte dies nicht der Fall sein.
Auch für den Fall, daß die Tiefenkarte T und / oder die Quellansicht Q eine geringere oder größere Auflösung als die Ansichten An aufweist, wird eine Skalierung der Tiefenkarte T bzw. der Quellansicht Q mit entsprechenden Skalierungsfaktoren vorgenommen. Für den Fall, daß R ≠ L und / oder P ≠ K ist, wird eine Skalierung der Tiefenkarte T mit Skalierungsfaktoren Sτ x = K/P bzw. Sτ y = L/R vorgenommen. Für den Fall, daß die Quellansicht Q eine geringere oder größere Auflösung als die Ansichten An aufweist, daß also J ≠ L und / oder I ≠ K ist, wird eine Skalierung der Quellansicht Q mit Skalierungsfaktoren SQ X = K/l bzw. SQ y = L/J vorgenommen. Bei einer geringeren Auflösung von Tiefenkarte T und Quellansicht Q als die Auflösung der Ansichten An lassen sich Farbsäume bei Farbübergängen in der SD- Darstellung verringern, wozu man auch die Auflösung der Quellansicht Q und der Tiefenkarte T durch entsprechende Bildalgorithmen künstlich reduzieren kann. Gerade bei älteren Bildschirmen, bei denen die Pixel weiter auseinander als bei neueren liegen, ist diese Vorgehensweise sinnvoll, da hier Farbsäume um so störender auftreten, je weiter der Abstand der Pixel ist. Bei einer höheren Auflösung als für die Ansichten An kann der Tiefeneindruck verbessert werden, insbesondere bei monochromatischen Bildschirmen oder solchen auf Vollpixelbasis.
Sofern die Auflösungen von der Quellansicht Q, der Tiefenkarte T und den Ansichten An identisch sind, kann als Ansicht A0 auch die Quellansicht Q verwendet werden, der dann die Tiefeninformationen zugeordnet sind.
Die Reliefkarte Z(x,y) wird dann entsprechend des Verfahrens der Reliefkartenerzeugung mit der Quellansicht Q verknüpft, etwa in der dargestellten Weise. Z(x,y) ist dabei eine stetige Funktion in x und y. Es kann sich dabei beispielsweise um eine Treppenfunktion handeln, die Werte zwischen den Pixeln können aber auch so interpoliert werden, daß die Funktion Z(x, y) ein- oder zweimal stetig differenzierbar ist, beispielsweise kann linear oder bikubisch interpoliert werden. Die Reliefkarte Z(x,y) ist in Fig.1 b für einen Schnitt durch die Ansicht Q mit konstantem y dargestellt; der Schnitt wird in Fig.1 a durch die gestrichelte Linie gekennzeichnet. Die Reliefkarte ist außerdem normiert, kleine Werte entsprechen niedrigen Tiefen und erfahren demzufolge nur eine geringe Verschiebung, hohe Werte entsprechen Punkten im Hintergrund, die eine relativ kleinere Verschiebung im Vergleich zu den vorn liegenden erfahren.
Im folgenden werden dann Farbinformationen für Bildpixel bn(xk,yι), mit Zeilen I = 1 ,...,L und Spalten k = 1 ,...,K, der Ansichten An bestimmt. Anschließend werden alle Ansichten An ent- sprechend einer vorgegebenen Kombinationsvorschrift für die räumliche Darstellung zu einem Kombinationsbild kombiniert, welches auf dem Raster von Bildelementen dargestellt wird, wobei von jeder der Ansichten An entsprechend der Kombinationsvorschrift auf dem Raster aus Bildelementen nur ein Teil von den der jeweiligen Ansicht An zugeordneten BiId- pixeln bn(xk,yι) dargestellt wird, und wobei für die Ansichten An Ausbreitungsrichtungen vorgegeben werden, so daß das linke Auge eines Betrachters eine andere Auswahl an Ansichten An als das rechte Auge des Betrachters wahrnimmt, wodurch ein räumlicher Seheindruck entsteht.
Ein solches, entsprechend einer Kombinationsvorschrift zusammengesetztes Kombinationsbild ist beispielsweise in Fig.2 dargestellt. Dabei handelt es sich um ein Kombinationsbild, welches für die Darstellung auf Bildschirmen mit Subpixeln vorgesehen ist. Entsprechend der Vorschrift sind benachbarten Subpixeln verschiedene Ansichten zugeordnet. Die Nummern in den Kästchen unterhalb der mit R, G, und B gekennzeichneten Kästchen bezeich- nen den Index n der fünf im Beispiel verwendeten Ansichten An.
Die Ausbreitungsrichtungen werden dann durch entsprechende optische Filterstrukturen, beispielsweise durch parallaktische Barrierefilter oder Lentikularfilter vorgegeben. Ein solcher optischer Filter in Form einer Barrierestruktur ist in Fig.3a dargestellt. Befindet sich ein Betrachter an einer ausgewählten Position vor dem Bildschirm, so ist es beispielsweise möglich, daß das linke Auge nur die zweite Ansicht, wie in Fig.3b dargestellt, und das rechte Auge nur die vierte Ansicht, wie in Fig.3c dargestellt, wahrnimmt. Die optische Filterstruktur ist also dem gerasterten Kombinationsbild in Blickrichtung vor- oder auch nachgeordnet, dadurch werden Ausbreitungsrichtungen vorgegeben, die den räumlichen Seheindruck ent- stehen lassen.
In Fig.4 ist die grundsätzliche Vorgehensweise bei der Bestimmung der Farbinformationen für die Bildpixel bn(xk,yι) der Ansichten An dargestellt. Dazu wird zunächst ein Strahl entlang einer Betrachtungsrichtung von der jeweiligen Betrachtungsposition Bn, im vorliegenden Beispiel B1 , zum betreffenden Bildpixel bn(xk,yι) erzeugt. Im Beispiel ist dies für vier Bildpixel k=1 ,...,4 , in der ersten Zeile (1=1 ) für die erste Betrachtungsposition B1 dargestellt. Die Quellansicht Q ist in der Regel so berechnet, daß sie bereits in Zentralprojektion oder orthographischer Projektion bestimmt und projiziert wurde. Zur Erzeugung der Ansichten An von dieser und den übrigen Betrachtungspositionen aus wird daher keine erneute Projektion benötigt, eine Parallelverschiebung, entsprechend einer Scherung des Projektionsvolumens, reicht aus. Demzufolge korrespondiert zu jeder der Ansichten An bzw. Betrachtungspositionen Bn jeweils genau eine Betrachtungsrichtung. Die Betrachtungsrichtungen werden dann über das betreffende Bildpixel hinaus in die Tiefe verlängert, und es wird der der Betrachtungsposition Bn nächstliegende Schnittpunkt des Strahls mit der Reliefkarte Z(x,y) bestimmt. Dies geschieht rechnerisch, wobei die Verknüpfung der Quellansicht Q mit der Reliefkarte Z(x,y) verwendet wird. Die Vorgehensweise ent- spricht der im Stand der Technik im Zusammenhang mit dem sogenannten Relief Mapping beschriebenen Vorgehensweise zur Auffindung dieser Schnittpunkte. Die Schnittpunkte sind ebenfalls in Fig.4 eingezeichnet, an ihnen enden die Pfeile der Strahlen. Bei der Suche der Schnittpunkte ist darauf zu achten, daß jeweils tatsächlich nur der nächstliegende Schnittpunkt gefunden wird, und nicht etwa einer, der durch davorliegende Objekte verdeckt wird. Auch dies ist mittels entsprechender Algorithmen realisierbar. Im nächsten Schritt wird dann das dem Schnittpunkt nächstliegende Quellpixel bq(xs',y,) bestimmt. Auch diese Quellpixel sind in Fig.4 dargestellt. Im letzen Schritt schließlich wird dem betreffenden Bildpixel bn(xk,yι) die Farbinformation dieses Bildpixels bq(xs',y,) der Quellansicht Q zugeordnet. Dies entspricht dann einer Verschiebung der Objekte entsprechend ihrer Tiefe, angedeutet durch die mit dx1 : dx2i dx3 und dx4 gekennzeichneten Abstände. Dabei ist die Reliefkarte Z(x,y) so zu verstehen, daß kleine Werte einer geringen Tiefe und Werte nahe bei 1 einer hohen Tiefe entsprechen; Objekte im Hintergrund werden bei wechselnder Betrachtungsposition weniger stark verschoben als im Vordergrund liegende.
Dabei ist wesentlich, daß die Farbinformationen für die Ansichten An nur für die entsprechend der Kombinationsvorschrift darzustellenden Bildpixel bn(xk,yι) bestimmt werden. Für alle übrigen Bildpixel werden keine Farbinformationen bestimmt, diese werden also bei der Berechnung nicht berücksichtigt, da ihre Informationen nicht benötigt werden. Es wird also für jede Ansicht An immer nur der Teil der Bildpixel bn(xk,yι) bestimmt, der entsprechend der Kombinationsvorschrift auch tatsächlich dargestellt wird.
In Fig.5 ist die Vorgehensweise zur Bestimmung der Farbinformationen bei Kombinationsbildern für einen Bildschirm auf Vollpixel-Basis, auf dem nur zwei Ansichten, eine für das linke und eine für das rechte Auge, dargestellt werden, gezeigt. Jedes Vollpixel enthält Farbinfor- mationen für Rot (R), Grün (G) und Blau (B). Die Ansichten für linkes und rechtes Auge sind in Fig.5 mit L und R gekennzeichnet, die Gesamtzahl der Ansichten ist also N = 2.
In Fig.6 ist die Vorgehensweise für einen Bildschirm auf Subpixelbasis gezeigt. Hier werden auf benachbarten Subpixeln verschiedene Ansichten dargestellt. Dem ersten roten Subpixel R1 wird eine Farbinformation der Ansicht 1 , dem ersten grünen Subpixel, gekennzeichnet mit G1 , eine Farbinformation der Ansicht 2, usw. zugeordnet. Jeder Farbwert kommt aus einer anderen Ansicht. In den Fig.7a und Fig.7b sowie in Fig.8 sind Situationen ähnlich der in Fig.6 gezeigten Situation dargestellt. Während dort und auch in Fig.4 und Fig.5 die gezeigte Reliefkarte Z(x,y) als zweimal stetig differenzierbare Funktion interpoliert wurde, bei der also auch die erste Ableitung eine stetig differenzierbare Funktion bildet, entspricht die in Fig.7a gezeigte Reliefkarte Z(x, y) einer Stufenfunktion, wobei sich jede Stufe entsprechend des Tiefenwertes über ein gesamtes Quellpixel erstreckt; die in Fig.7b und Fig.8 gezeigten Reliefkarten Z(x,y) entsprechen zwischen den Tiefeninformationen der Quellpixel linear interpolierten Funktionen.
In Fig.7a, b und in Fig.8 sind beispielhaft mögliche Skalierungen bei unterschiedlich dimen- sionierten Quellansichten und Tiefenkarten einerseits und Ansichten An andererseits verdeutlicht. Bei den in Fig.7a und Fig.7b gezeigten Situationen ist die Quellansicht Q in der Horizontalen nur halb so groß dimensioniert wie die Ansichten An, hat also nur halb soviel Spalten. Dementsprechend ist der Skalierungsfaktor SQ X = 2. Ein Quellpixel ist also je zwei Bildpixeln zugeordnet. Dies führt zu einer wesentlichen Verminderung von Farbsäumen, wie sie bei der Verwendung von speziellen Filtern für die 3D-Darstellung auftreten, beispielsweise bei dem in Fig.3a gezeigten. Die Tiefenkarte T - die Tiefeninformationen sind als Punkte in die Mitte der jeweiligen Quellpixelbereiche eingezeichnet - kann so mit der Quellansicht Q verknüpft sein, daß beide immer die gleichen Dimensionen aufweisen, d.h. also eine Skalierung der Tiefenkarte T automatisch erfolgt, wenn die Quellansicht Q skaliert wird. Die Tie- fenkarte T kann beispielsweise ein weiterer Index in der üblicherweise mehrdimensionalen Matrix der Quellpixel sein, so daß jedem Quellpixel nicht nur eine Farbinformation, beispielsweise aus drei Farbwerten, sondern eben auch eine Tiefeninformation, oder noch weitere Informationen zugeordnet sind. Die Tiefenkarte T kann jedoch auch unabhängig von der Quellansicht Q verwendet werden und beispielsweise in einem Tiefenpuffer gespeichert sein, so daß sie unabhängig manipuliert werden kann und später mit der Quellansicht Q verknüpft wird.
In Fig.8 ist gegenüber Fig.7 eine umgekehrte Situation dargestellt, indem nämlich die Quellansicht Q eine höhere Auflösung hat, als die Ansichten An, nämlich eine genau doppelt so hohe. Dies trägt zu einer Erhöhung der Genauigkeit in der Tiefenabtastung bei. Ist beispielsweise die Auflösung der Quellansicht Q dreimal so hoch wie die Auflösung der Ansichten An, dann kann jedem Subpixel ein eigener Tiefenwert zugeordnet werden, die Genauigkeit in der Tiefenbestimmung wird also erhöht.
Der Tiefeneindruck kann auch durch eine gesonderte Behandlung der Tiefenkarte T verbessert werden, indem nämlich die Tiefeninformationen wie folgt skaliert werden: Zunächst wird eine Ebene mit einer maximalen Tiefe und eine Ebene mit einer minimalen Tiefe in bezug auf die Betrachtungsposition Bq festgelegt. Diese beiden Ebenen werden dann aufeinander zu verschoben und es wird der kleinste Abstand zwischen den Ebenen bestimmt, bei dem die Tiefeninformationen der Tiefenkarte T, die bei der Festlegung der Ebenen im vorangegangenen Schritt auf oder zwischen diesen Ebenen lagen, noch sämtlich auf bzw. zwischen den Ebenen liegen. Sofern bereits bei maximaler Tiefe Tiefeninformationen auf einer der Ebenen lagen, wird diese in der Regel nicht verschoben. Die Verschiebung erfolgt im Allgemeinem iterativ, so daß der kleinste Abstand innerhalb von mehreren Iterationsschritten gefunden wird. Ist der kleinste Abstand gefunden, so werden die Tiefeninformationen - d.h. die Tiefenwerte - in Abhängigkeit von diesem kleinsten Abstand auf einen vorgegebenen neuen Abstand skaliert, so daß in der Regel der zur Verfügung stehende 3D-Tiefenraum optimal ausgenutzt werden kann.
In einer besonderen Variante dieses Verfahrens kann die Ebene mit maximaler Tiefe und / oder die Ebene mit minimaler Tiefe im ersten Schritt anhand einer Bewertung der Bildinhalte festgelegt werden. Beispielsweise kann die Ebene mit minimaler Tiefe in einem Bereich zwi- sehen einer Vordergrundinformation - bei einem Computerspiel beispielsweise das Cockpit eines Rennwagens, der Führerstand einer Lokomotive oder das Cockpit eines Flugzeugs - festgelegt werden, so daß sich das Cockpit o.a. vor dieser Ebene befindet. Alle Punkte vor dieser Ebene haben dann einen gemeinsamen Tiefenwert, unabhängig von der Verschiebung der beiden Ebenen aufeinander zu. Eine Skalierung der Tiefeninformationen erfolgt dann nur für die außerhalb des - zweidimensional erscheinenden - Cockpits o.a., so daß für diesen Bereich, der für den Betrachter oder Spieler eigentlich interessant ist, eine Optimierung des räumlichen Seheindrucks durch maximale Ausnutzung des zur Verfügung stehenden Tiefenraumes erfolgen kann.
Das ganze Verfahren kann durch einen Treiber gesteuert werden, der auch auf einer Graphikkarte implementiert sein kann. Auch die Verfahrensschritte lassen sich ohne weiteres auf eine Graphikkarte durchführen.
Bei dem vorangehend beschriebenen Verfahren hängt der wesentliche Aufwand zur Erzeu- gung des Kombinationsbildes nicht mehr von der Anzahl der verwendeten Ansichten ab, sondern nur noch von der Auflösung des verwendeten Bildschirms. Dies ermöglicht die Verwendung einer Vielzahl von Ansichten, wodurch die Qualität des räumlichen Seheindrucks verbessert wird.

Claims

Patentansprüche
1. Verfahren zur räumlichen Darstellung einer Szene auf der Grundlage von mehreren unterschiedlichen Ansichten An der Szene, mit n = 0,...,N-1 und N > 2 der Gesamtzahl der Ansichten, auf einem Raster aus Bildelementen, bei dem eine in eine Projektionsfläche P(x,y) mit einer horizontalen Koordinate x und einer vertikalen Koordinate y projizierte Quellansicht Q bereitgestellt wird, welcher eine Ur- Sprungsbetrachtungsposition Bq zugeordnet ist, wobei die Quellansicht Q aus Quellpixeln bq(x,, y,), mit Zeilen j = 1 ,...,J und Spalten i = 1 ,...,l, zusammengesetzt ist und in jedem Quellpixel bq(xh y,) mindestens eine Farbinformation gespeichert ist, , eine auf die Projektionsfläche bezogene Tiefenkarte T bereitgestellt wird, welcher ebenfalls die Ursprungsbetrachtungsposition Bq zugeordnet ist, wobei die Tiefenkarte aus Tiefenpixeln t(xp,yr) mit Zeilen r = 1 ,...,R und Spalten p = 1 ,...,P zusammengesetzt ist und in jedem Tiefenpixel t(xp,yr) mindestens eine Tiefeninformation gespeichert ist, wobei die Tiefeninformation einem senkrechten Abstand zur Projektionsfläche P(x,y) entspricht, die Ursprungsbetrachtungsposition Bq einer ersten Ansicht A0 zugeordnet wird und durch horizontale Verschiebung der Ursprungsbetrachtungsposition Bq N-1 weitere, paarweise voneinander verschiedene und zu übrigen Ansichten Am, mit m = 1 ,..,N-1 , korrespondierende Betrachtungspositionen Bm erzeugt werden, Farbinformationen für Bildpixel bn(xk, yι) der Ansichten An bestimmt werden, mit Zeilen I = 1 ,...,L und Spalten k = 1 ,...,K, - die Ansichten An entsprechend einer vorgegebenen Kombinationsvorschrift für die räumliche Darstellung zu einem Kombinationsbild, welches auf dem Raster aus Bildelementen dargestellt wird, kombiniert werden, wobei von jeder der Ansichten An entsprechend der Kombinationsvorschrift nur ein Teil von der jeweiligen Ansicht An zugeordneten Bildpixeln bn(xk, yι) dargestellt wird, und wobei für die Ansichten An Ausbrei- tungsrichtungen vorgegeben werden, so daß das linke Auge eines Betrachters eine andere Auswahl der Ansichten An als das rechte Auge des Betrachters wahrnimmt, wodurch ein räumlicher Seheindruck entsteht, dadurch gekennzeichnet, daß für den Fall, daß R ≠ L und / oder P ≠ K ist und die Tiefenkarte T somit eine geringere oder größere Auflösung als die Ansichten An aufweist, eine Skalierung der Tiefenkarte T mit Skalierungsfaktoren Sτ x = K/P bzw. Sτ y = L/R vorgenommen wird, für den Fall, daß J ≠ L und / oder I ≠ K ist und die Quellansicht somit eine geringere oder größere Auflösung als die Ansichten An aufweist, eine Skalierung der Quellansicht mit Skalierungsfaktoren SQ X = K/l bzw. SQ y = L/J vorgenommen wird, anhand der Tiefenkarte T eine Reliefkarte Z(x, y) der Quellansicht Q erstellt wird, wo- bei Z(x, y) eine stetige Funktion in x und y ist, und die Reliefkarte Z(x, y) mit der
Quellansicht Q verknüpft wird, die Farbinformationen für Bildpixel bn(xk, yι) der Ansichten An bestimmt werden, indem (i) ein Strahl entlang einer Betrachtungsrichtung von der jeweiligen Betrachtungsposition Bn zum betreffenden Bildpixel bn(xk, yι) erzeugt und über dieses hinaus in die Tie- fe verlängert wird, (ii) der der Betrachtungsposition Bn nächstliegende Schnittpunkt des Strahls mit der Reliefkarte Z(x, y) bestimmt wird, (iii) das dem Schnittpunkt nächstliegende Quellpixel bq(xs', y,) bestimmt wird, und (iv) dem betreffenden Bildpixel bn(xk,yι) die Farbinformation des Quellpixels bq(xs', y,) zugeordnet wird, wobei die Farbinformationen für die Ansichten An nur für die entsprechend der Kombinationsvorschrift darzustellenden Bildpixel bn(xk, yι) bestimmt werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, daß die Bildpixel bn(xk, yι) Vollpixel sind, wobei jedem Vollpixel Farbinformationen für die Farben Rot, Grün und Blau zugeordnet sind.
3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, daß die Bildpixel bn(xk, y,) Sub- pixel sind, wobei jedem Subpixel Farbinformationen genau einer der Farben Rot, Grün oder Blau zugeordnet sind.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Tiefeninformationen der Tiefenkarte T nach den folgenden Schritten skaliert werden: a) Festlegung einer Ebene mit maximaler Tiefe und einer Ebene mit minimaler Tiefe in bezug auf die Betrachtungsposition Bq, b) Verschiebung der beiden Ebenen aufeinander zu und Bestimmung des kleinsten Abstandes zwischen den beiden Ebenen, bei dem die Tiefeninformationen der Tiefenkarte, die bei der Festlegung der Ebenen in Schritt a) auf oder zwischen diesen Ebenen lagen, noch sämtlich auf bzw. zwischen den Ebenen liegen. c) Skalierung der Tiefeninformationen in Abhängigkeit vom kleinsten Abstand auf einen vorgegebenen Normabstand.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Ebene mit maximaler Tiefe und / oder die Ebene mit minimaler Tiefe in Schritt a) anhand einer Bewertung des Bildinhalts festgelegt wird.
5 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß der Ablauf der Verfahrensschritte durch einen Treiber gesteuert wird, bevorzugt durch einen auf einer Grafikkarte implementierten Treiber.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die Ver- o fahrensschritte auf einer Grafikkarte durchgeführt werden.
PCT/EP2010/056150 2009-05-06 2010-05-06 Verfahren zur räumlichen darstellung WO2010128097A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201080019861.4A CN102484728B (zh) 2009-05-06 2010-05-06 用于三维空间显示的方法
US13/318,999 US8797383B2 (en) 2009-05-06 2010-05-06 Method for stereoscopic illustration

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009020158 2009-05-06
DE102009020158.0 2009-05-06

Publications (2)

Publication Number Publication Date
WO2010128097A2 true WO2010128097A2 (de) 2010-11-11
WO2010128097A3 WO2010128097A3 (de) 2010-12-29

Family

ID=42938327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/056150 WO2010128097A2 (de) 2009-05-06 2010-05-06 Verfahren zur räumlichen darstellung

Country Status (4)

Country Link
US (1) US8797383B2 (de)
CN (1) CN102484728B (de)
DE (1) DE102010028668B4 (de)
WO (1) WO2010128097A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179396A (zh) * 2019-12-12 2020-05-19 腾讯科技(深圳)有限公司 图像生成方法、装置、存储介质及电子装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013110297A1 (en) 2012-01-26 2013-08-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Autostereoscopic display and method of displaying a 3d image
KR101953112B1 (ko) 2012-01-26 2019-02-28 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 자동 입체 디스플레이 및 3d 이미지를 표시하는 방법
DE102012217089A1 (de) * 2012-09-21 2014-03-27 Siemens Aktiengesellschaft Schichtdarstellung von Volumendaten
KR20140115854A (ko) 2013-03-22 2014-10-01 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
CN105093553A (zh) * 2015-09-21 2015-11-25 京东方科技集团股份有限公司 一种屏障式裸眼3d显示屏及显示装置
CN112470189B (zh) * 2018-04-17 2024-03-29 上海科技大学 光场系统的遮挡消除

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2705009A1 (fr) * 1993-05-05 1994-11-10 Particulier Editions Dispositif vidéo autostéréoscopique.
DE10003326A1 (de) * 2000-01-25 2001-08-09 4D Vision Gmbh Verfahren und Anordnung zur räumlichen Darstellung
US20070195161A1 (en) * 2006-02-23 2007-08-23 Seiko Epson Corporation Image processing system, display device, program, and information storage medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5119442A (en) * 1990-12-19 1992-06-02 Pinnacle Systems Incorporated Real time digital video animation using compressed pixel mappings
JP4392060B2 (ja) * 1995-12-19 2009-12-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 視差深度依存画素シフト
CA2436596C (en) 2000-01-25 2005-10-25 4D-Vision Gmbh Method and arrangement for the three-dimensional display
WO2006136978A1 (en) 2005-06-22 2006-12-28 Koninklijke Philips Electronics N.V. Method and system for rendering image data on a 3d display
US20070146364A1 (en) * 2005-12-22 2007-06-28 Aspen Sven D Methods and systems for displaying shaded terrain maps
US7697751B2 (en) * 2005-12-29 2010-04-13 Graphics Properties Holdings, Inc. Use of ray tracing for generating images for auto-stereo displays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2705009A1 (fr) * 1993-05-05 1994-11-10 Particulier Editions Dispositif vidéo autostéréoscopique.
DE10003326A1 (de) * 2000-01-25 2001-08-09 4D Vision Gmbh Verfahren und Anordnung zur räumlichen Darstellung
US20070195161A1 (en) * 2006-02-23 2007-08-23 Seiko Epson Corporation Image processing system, display device, program, and information storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OLIVEIRA M M ET AL: "RELIEF TEXTURE MAPPING" COMPUTER GRAPHICS. SIGGRAPH 2000 CONFERENCE PROCEEDINGS. NEW ORLEANS, LA, JULY 23 - 28, 2000; [COMPUTER GRAPHICS PROCEEDINGS. SIGGRAPH], NEW YORK, NY : ACM, US, 23. Juli 2000 (2000-07-23), Seiten 359-368, XP001003575 ISBN: 978-1-58113-208-3 in der Anmeldung erwähnt *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179396A (zh) * 2019-12-12 2020-05-19 腾讯科技(深圳)有限公司 图像生成方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
WO2010128097A3 (de) 2010-12-29
DE102010028668A1 (de) 2010-11-18
US8797383B2 (en) 2014-08-05
CN102484728A (zh) 2012-05-30
CN102484728B (zh) 2014-10-01
US20120133651A1 (en) 2012-05-31
DE102010028668B4 (de) 2012-05-16

Similar Documents

Publication Publication Date Title
DE102010028668B4 (de) Verfahren zur räumlichen Darstellung
DE19953595B4 (de) Verfahren und Vorrichtung zur Verarbeitung dreidimensionaler Bilder
EP1600007B1 (de) Anordnung zur räumlichen darstellung
DE69621778T2 (de) Tiefenabhängige parallaktische pixelverschiebung
DE10003326C2 (de) Verfahren und Anordnung zur räumlichen Darstellung
DE19640936C2 (de) Positionsadaptiver Autostereoskoper Monitor (PAM)
DE10145133C1 (de) Verfahren zur räumlichen Darstellung
WO2011103866A2 (de) Verfahren zur visualisierung von dreidimensionalen bildern auf einer 3d-anzeigevorrichtung und 3d-anzeigevorrichtung
DE69601577T2 (de) Verfahren und einrichtung zur aufnahme stereoskopischer bilder
DE102008062790A1 (de) Verfahren und Anordnung zur räumlichen Darstellung
WO2007056986A1 (de) Verfahren und anordnung zum monoskopischen darstellen wenigstens eines bereiches eines bildes auf einer autostereoskopischen anzeigevorrichtung sowie informationswiedergabegerät mit einer solchen anordnung
DE112012000563T5 (de) Verfahren und Vorrichtung zum Senden/Empfangen eines digitalen Übertragungssignals
WO2020141133A1 (de) Autostereoskopisches display
EP3170307B1 (de) Verfahren zur darstellung einer dreidimensionalen szene auf einem autostereoskopischen monitor
DE102014206914A1 (de) Ein stereoskopisches Aufbereitungssystem
WO2004023348A1 (de) Verfahren zur simulation von optischen bauteilen zur stereoskopischen erzeugung von räumlichen eindrücken
DE102009013912A1 (de) Verfahren und Anordnung zur räumlichen Darstellung
EP2122415B1 (de) Autostereoskopisches Bildwiedergabegerät zur Erzeugung eines schwebenden reellen Stereobildes
DE102010021550B4 (de) Bildwiedergabegerät und Verfahren zur Bildwiedergabe
DE102005009444A1 (de) Verfahren zur autostereoskopischen Darstellung eines auf einer Displayeinrichtung angezeigten stereoskopischen Bildvorlage
DE102010018083B4 (de) Gleichzeitige Wiedergabe einer Mehrzahl von Bildern mittels einer zweidimensionalen Bilddarstellungs-Matrix
WO2011032642A1 (de) Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe
WO2007085482A1 (de) Verfahren zur erzeugung und darstellung räumlich wahrnehmbarer bilder
DE102005036744B4 (de) Verfahren und Vorrichtung zur autostereoskopischen Wiedergabe von 3D-Darstellungen
DE10046788B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Kombinationsbildes aus in einem Datensatz gespeicherten Bildinformationen

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080019861.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10725061

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13318999

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10725061

Country of ref document: EP

Kind code of ref document: A2