LU102086B1

LU102086B1 - Process for creating an image recording

Info

Publication number: LU102086B1
Application number: LU102086A
Authority: LU
Inventors: Tobias Ellinghaus; Klaus Illgner
Original assignee: K/Lens Gmbh
Priority date: 2020-09-22
Filing date: 2020-09-22
Publication date: 2022-03-23

Abstract

Die Erfindung betrifft ein Verfahren zur Erstellung einer plenoptischen Bildaufzeichnung, bei dem mehrere Abbildungen eines Objektbereichs, die mittels einer optischen Einrichtung gleichzeitig nebeneinander auf einer Empfängerfläche erzeugt und digital gespeichert werden, zu Bildaufnahmen weiterarbeitet werden. Erfindungsgemäß erfolgt bei der Weiterverarbeitung automatisch eine Bildkorrektur, bei der zumindest eine der Bildaufnahmen gegenüber der jeweiligen Abbildung geändert wird. Zweckmäßigerweise wird für jede der Abbildungen eine für die jeweilige Abbildung spezifische Bildkorrektur durchgeführt, wobei sich die jeweiligen spezifischen Bildkorrekturen für die einzelnen Abbildungen vorzugsweise voneinander unterscheiden. In einer Ausgestaltung der Erfindung erfolgt bei der Weiterverarbeitung zumindest einzelner der Abbildungen automatisch eine die Bildaufnahme gegenüber der jeweiligen Abbildung ändernde Bildkorrektur derart, dass die Bildaufnahmen aneinander angeglichen werden. Die Erfindung betrifft ferner ein Computerprogrammprodukt, eine Vorrichtung zur Datenverarbeitung und ein Datenträgersignal.The invention relates to a method for creating a plenoptic image recording, in which several images of an object area, which are generated simultaneously next to one another on a receiver surface by means of an optical device and are stored digitally, are further processed into image recordings. According to the invention, an image correction is carried out automatically during the further processing, in which at least one of the recorded images is changed compared to the respective image. An image correction specific to the respective image is expediently carried out for each of the images, with the respective specific image corrections for the individual images preferably differing from one another. In one embodiment of the invention, during the further processing of at least some of the images, an image correction that changes the image recording relative to the respective image automatically takes place in such a way that the image recordings are matched to one another. The invention also relates to a computer program product, a data processing device and a data carrier signal.

Description

-1- = LU102086 PATENTANWALTE BERNHARDT | WOLFF Beschreibung: K| Lens GmbH, D-66111 Saarbrücken (Deutschland) Verfahren zur Erstellung einer Bildaufzeichnung Die Erfindung betrifft ein Verfahren zur Erstellung einer plenoptischen Bild- aufzeichnung, bei dem mehrere Abbildungen eines Objektbereichs, die mittels einer optischen Einrichtung gleichzeitig nebeneinander auf einer Empfängerfläche erzeugt und digital gespeichert werden, zu Bildaufnahmen weiterarbeitet werden.-1- = LU102086 PATENT ATTORNEYS BERNHARDT | WOLFF Description: K| Lens GmbH, D-66111 Saarbrücken (Germany) Method for creating an image recording The invention relates to a method for creating a plenoptic image recording in which several images of an object area, which are generated simultaneously next to one another on a receiver surface by means of an optical device, and are stored digitally , to be further processed into image recordings.

Die Erfindung betrifft ferner ein Computerprogrammprodukt, eine Vorrichtung zur Datenverarbeitung und ein Datenträgersignal.The invention also relates to a computer program product, a data processing device and a data carrier signal.

Die WO 2014/124982 A1 beschreibt eine plenoptische Kamera, die ein Objektiv um- fasst, das mehrere Spiegel enthält, die ein Kaleidoskop bilden.WO 2014/124982 A1 describes a plenoptic camera that includes a lens that contains multiple mirrors that form a kaleidoscope.

Bei Erstellung einer Bildaufnahme treten Lichtstrahlen durch eine Hauptlinsengruppe in das Objektiv ein, werden durch die Hauptlinsengruppe in das Kaleidoskop gegeben und hinter dem Kaleidoskop von einer weiteren Linsengruppe auf einen Sensor geführt.When an image is recorded, light rays enter the lens through a main lens group, are passed through the main lens group into the kaleidoscope and are guided behind the kaleidoscope by another lens group to a sensor.

Das Kaleidoskop ist derart aufgebaut, dass die genannten Abbildungen, die aufgrund der Wirkung des Kaleidoskops den Objektbereich aus geringfügig unterschiedlichen Blickwinkeln erfassen, aber dennoch einen identischen Objektbereich darstellen, auf dem Sensor nebeneinander in einem 3 x 3 - Raster erzeugt werden.The kaleidoscope is constructed in such a way that the images mentioned, which capture the object area from slightly different perspectives due to the effect of the kaleidoscope but nevertheless represent an identical object area, are generated next to one another in a 3 x 3 grid on the sensor.

Dank der Erfassung der Abbildungen aus den unterschiedlichen Blickwinkeln, können u.a. aus den Abbildungen Informationen über die räumliche Position von in den Abbildungen abgebildeten Punkten erlangt werden.Thanks to capturing the images from different perspectives, information about the spatial position of points shown in the images can be obtained from the images, among other things.

Der Erfindung liegt die Aufgabe zugrunde, die Erstellung einer plenoptischen Bildauf- zeichnung zu vereinfachen.The object of the invention is to simplify the creation of a plenoptic image recording.

arbeitung automatisch eine Bildkorrektur erfolgt, bei der zumindest eine der Bild- aufnahmen gegenüber der jeweiligen Abbildung geändert wird.processing, an image correction is automatically carried out, in which at least one of the image recordings is changed compared to the respective image.

Schon eine geringe Abweichung von der vorgesehenen Position oder Form von Bau- elementen der optischen Einrichtung kann dazu führen, dass in den Bildern unerwünscht unterschiedliche Abbildungsbereiche erfasst werden oder dass von Abbildung zu Abbildung individuelle Abbildungsfehler wie beispielsweise Ver- zerrungen oder Vignettierungen auftreten.Even a slight deviation from the intended position or shape of components of the optical device can lead to undesirably different imaging areas being recorded in the images or to individual imaging errors such as distortions or vignetting occurring from image to image.

Dank der erfindungsgemäßen Weiterverarbeitung wird es möglich, die einzelnen den Objektbereich mehrfach auf der Empfängerfläche wiedergebenden Abbildungen automatisch individuell zu korrigieren.Thanks to the further processing according to the invention, it is possible to automatically and individually correct the individual images that reproduce the object area multiple times on the receiver surface.

ZweckmäBigerweise wird für jede der Abbildungen eine für die jeweilige Abbildung spezifische Bildkorrektur durchgeführt, wobei sich die jeweiligen spezifischen Bildkorrekturen für die einzelnen Abbildungen vorzugsweise voneinander unterscheiden.An image correction that is specific to the respective image is expediently carried out for each of the images, with the respective specific image corrections for the individual images preferably differing from one another.

Die abbildungsspezifische Bildkorrektur ist vorteilhaft, weil jede der Abbildungen mittels der optischen Einrichtung über unterschiedliche Strahlengänge neben- einander auf der Empfängerfläche erzeugt werden und die Abbildungen folglich separater Korrekturen bedürfen.The image-specific image correction is advantageous because each of the images is generated next to one another on the receiver surface by means of the optical device via different beam paths and the images consequently require separate corrections.

Aufgrund der komplizierten Strahlengänge in der optischen Einrichtung, die Mehrfachreflexionen umfassen, können schon geringe toleranzbedingte Abweichungen der vorgesehenen Anordnungen oder Formen einzelner optischer Bauteile der optischen Einrichtung zu Abbildungsfehlern führen, die sich für jede der Abbildungen unterscheiden und darüber hinaus für die jeweilig verwendete optische Einrichtung charakteristisch sind.Due to the complicated beam paths in the optical device, which include multiple reflections, even small tolerance-related deviations in the intended arrangements or shapes of individual optical components of the optical device can lead to aberrations that differ for each of the images and are also characteristic of the optical device used in each case are.

Solche Abbildungsfehler können zur Folge haben, dass in den Bildern unerwünscht unterschiedliche Abbildungsbereiche erfasst werden oder dass von Abbildung zu Abbildung individuelle Abbildungsfehler wie beispielsweise Verzerrungen oder Vignettierungen auftreten.Such imaging errors can result in undesirably different imaging areas being recorded in the images or in individual imaging errors such as distortions or vignetting occurring from image to image.

Das erfindungsgemäße Verfahren wird in der bevorzugten Ausführungsform der Erfindung von einem Computer ausgeführt.In the preferred embodiment of the invention, the method according to the invention is carried out by a computer.

In einer Ausgestaltung der Erfindung erflogt bei der Weiterverarbeitung zumindest einzelner der Abbildungen automatisch eine die Bildaufnahme gegenüber der jeweiligen Abbildung ändernde Bildkorrektur derart, dass die Bildaufnahmen aneinander angeglichen werden.In one embodiment of the invention, during the further processing of at least some of the images, an image correction that changes the image recording relative to the respective image is automatically carried out in such a way that the image recordings are matched to one another.

Durch eine Angleichung der aus den einzelnen Abbildungen gebildeten Bild- aufnahmen welche insbesondere die Anordnung, die Intensität und/oder die FarbeBy adjusting the image recordings formed from the individual images, which in particular the arrangement, the intensity and/or the color

_3- LU102086 : der Bildpunkte in den zwei Dimensionen betrifft, geben die Bildaufnahmen den Objektbereich einheitlich wieder. Deshalb können vergleichsweise einfach aus den Bildaufnahmen einheitliche Bildinformationen fir eine plenoptischen Bild- aufzeichnung generiert werden, die zusätzlich zu den herkömmlichen Bild- informationen in zwei Dimensionen senkrecht zur optischen Achse der optischen Ein- richtung Informationen Uber die räumliche Anordnung und ggf. der Form von Gegenständen im Objektbereich in Richtung parallel zur optischen Achse enthält._3- LU102086 : which concerns pixels in the two dimensions, the image recordings reproduce the object area uniformly. Therefore, uniform image information for a plenoptic image recording can be generated comparatively easily from the image recordings in the object area in the direction parallel to the optical axis.

Darüber hinaus wird es durch die Angleichung möglich, jede der Bildaufnahmen zur Erstellung einer Bildwiedergabe zu verwenden. Als besonders vorteilhaft hat es sich erwiesen, dass bei der Bildwiedergabe ein in der Darstellung übergangloser Wechsel zwischen den Bildaufnahmen aus den verschiedenen Blickwinkeln möglich wird.In addition, the adjustment makes it possible to use each of the recorded images to create an image display. It has proven to be particularly advantageous that, during image reproduction, it is possible to switch between the image recordings from the different viewing angles without a transition in the display.

Als besonders vorteilhaft hat es sich erwiesen, die Bildaufnahmen, insbesondere unter Angleichung, derart zu korrigieren, dass - eine einzelne oder jede der Bildaufnahmen so geändert wird bzw. werden, dass sämtliche der Bildaufnahmen denselben Objektbereich abbilden, - Positionen der Bildpunkte in einer einzelnen oder jeder der Bildaufnahmen, insbe- sondere zur Entzerrung, versetzt werden, - Intensitäten von Bildpunkten in einer einzelnen oder jeder der Bildaufnahmen, ins- besondere zur Behebung einer Verzerrung oder/und von Vignettierung und/oder zum Ausgleich von Intensitätsverlusten beim Strahlengang durch die optische Einrichtung, verändert werden, - Helligkeiten von Bildpunkten in einzelnen Farbkanälen eines Bildsignals, vorzugs- weise eines RGB-Signals, in einzelnen oder jeder der Bildaufnahmen verändert werden, insbesondere zur Behebung einer Verzerrung oder/und Vignettierung der jeweiligen Bildaufnahme, - Farben von Bildpunkten in einzelnen Farbkanälen eines Bildsignals, vorzugsweise eines RGB-Signals, in einzelnen oder jeder der Bildaufnahmen geändert werden, oder/und - eine oder mehrere Zwei- oder Mehrfachdarstellungen eines Punktes oder/und eines Abschnittes des Objektbereichs in einzelnen oder jeder der Bildaufnahmen, vorzugsweise durch Versatz von einem oder mehreren Teilbereichen der Aufzeich- nung bzw. der Aufzeichnungen, in eine lediglich einfache Darstellung der Punkte oder Abschnitte geändert wird.It has proven to be particularly advantageous to correct the recorded images, in particular with adjustment, in such a way that - an individual or each of the recorded images is or are changed in such a way that all of the recorded images depict the same object area, - positions of the pixels in a single or each of the recorded images, in particular for equalization, - intensities of pixels in an individual or each of the recorded images, in particular to eliminate distortion and/or vignetting and/or to compensate for intensity losses in the beam path through the optical device , are changed, - Brightness of pixels in individual color channels of an image signal, preferably an RGB signal, are changed in individual or each of the recorded images, in particular to eliminate distortion and/or vignetting of the respective recorded image, - Colors of pixels in individual Color channels of an image signal, preferably as an RGB signal, in individual or each of the recorded images, and/or - one or more two or multiple representations of a point and/or a section of the object area in individual or each of the recorded images, preferably by offsetting one or more partial areas of the record or records, is changed to just a simple representation of the points or sections.

In einer Ausgestaltung der Erfindung ist die Bildkorrektur derart vorgesehen, dass bei der Weiterverarbeitung die Bildpunkte, die denselben Abschnitt des ObjektbereichsIn one embodiment of the invention, the image correction is provided in such a way that, during further processing, the pixels that have the same section of the object area

; _4- LU102086; _4- LU102086

: wiedergeben, in den verschiedenen Bildaufnahmen aus den verschiedenen Blick- winkeln an Bildpunktpositionen angeordnet werden, die von Bildaufnahme zu Bild- aufnahme in vordefinierten Bildpunktpositionen zueinander angeordnet sind.: reproduce, are arranged in the different image recordings from the different viewing angles at pixel positions, which are arranged in predefined pixel positions relative to one another from image recording to image recording.

Die Bildpunktpositionen sind vorzugsweise blickwinkelabhängig, insbesondere unter Berücksichtigung eines sich aus dem jeweiligen unterschiedlichen Blickwinkel ergebenden Parallaxenfehler, vordefiniert.The pixel positions are preferably predefined as a function of the viewing angle, in particular taking into account a parallax error resulting from the respective different viewing angle.

Insbesondere kann die Bildkorrektur derart vorgesehen sein, dass bei der Weiter- verarbeitung die Bildpunkte, die denselben Abschnitt des Objektbereichs wieder- geben, in den verschiedenen Bildaufnahmen dieselbe Intensität und/oder Farbe auf- weisen.In particular, the image correction can be provided in such a way that, during further processing, the pixels that reproduce the same section of the object area have the same intensity and/or color in the different image recordings.

In einer Ausgestaltung der Erfindung weist die optische Einrichtung zumindest einen Spiegel, vorzugsweise mehrere Spiegel, und/oder zumindest ein Prisma, vorzugsweise mehrere Prismen, zur Erzeugung der Abbildungen auf der Empfängerfläche auf.In one embodiment of the invention, the optical device has at least one mirror, preferably a plurality of mirrors, and/or at least one prism, preferably a plurality of prisms, for generating the images on the receiver surface.

Der bzw. die Spiegel und/oder das Prisma bzw. die Prismen sind in der optischen Ein- richtung derart angeordnet, dass auf der Empfängerfläche mehrere Abbildungen des Objektbereichs erzeugbar sind.The mirror or mirrors and/or the prism or prisms are arranged in the optical device in such a way that a number of images of the object area can be generated on the receiver surface.

Dazu sind im Prinzip diverse unterschiedliche An- ordnungen von Spiegeln und/oder Prismen möglich.In principle, various different arrangements of mirrors and/or prisms are possible for this purpose.

Als besonders vorteilhaft hat es sich erwiesen, die optische Einrichtung derart vorzusehen, dass mehrere Spiegel vor- gesehen und derart angeordnet sind, dass die verschiedenen in einer Eintrittsöffnung eintreffenden Lichtstrahlen beim Durchgang durch die optische Einrichtung je nach Strahlengang ohne Reflexion durch die optische Einrichtung hindurchdringen oder an einer oder mehreren der Spiegelflächen, ggf. mehrfach, reflektiert werden, bevor sie die optische Einrichtung wieder verlassen.It has proven to be particularly advantageous to provide the optical device in such a way that several mirrors are provided and arranged in such a way that the various light beams arriving in an entry opening pass through the optical device depending on the beam path without reflection through the optical device or be reflected on one or more of the mirror surfaces, possibly multiple times, before they leave the optical device again.

In einer besonders bevorzugten Ausführungsform der Erfindung umfasst die optische Einrichtung ein Kaleidoskop.In a particularly preferred embodiment of the invention, the optical device comprises a kaleidoscope.

Ein solches Kaleidoskop umfasst zweckmäßigerweise zumindest ein Paar ebener Spiegelflächen, wobei die Spiegelflächen einander zu- gewandt und im Abstand voneinander angeordnet sind.Such a kaleidoscope expediently comprises at least one pair of planar mirror surfaces, the mirror surfaces being arranged facing one another and at a distance from one another.

Zumindest ein Teil, vor- zugsweise sämtliche, Strahlengänge verlaufen durch den Raum zwischen den Spiegelflächen.At least some, preferably all, beam paths run through the space between the mirror surfaces.

Vorzugsweise sind Spiegelflächen parallel zueinander angeordnet.Mirror surfaces are preferably arranged parallel to one another.

Das Kaleidoskop kann zwei oder mehrere Spiegelpaare aufweisen.The kaleidoscope can have two or more pairs of mirrors.

Aus den Spiegel paaren kann ein Rohr gebildet sein, das im Querschnitt polygonal, vorzugsweise rechteckig, ist.A tube can be formed from the pairs of mirrors which is polygonal, preferably rectangular, in cross-section.

Das Kaleidoskop könnte alternativ durch einen zylindrischen, im Querschnitt polygonalen Glasstab gebildet sein, der verspiegelte Seitenflächen und Stirnflächen zum Ein- und Austritt der Lichtstrahlen aufweist.Alternatively, the kaleidoscope could be formed by a cylindrical glass rod with a polygonal cross section, which has mirrored side faces and end faces for the entry and exit of the light rays.

Der Glasstab weist imThe glass rod has in

; _5- LU102086 © Querschnitt vorzugsweise die Form eines gleichschenkligen Dreiecks, eines Rechtecks, insbesondere Quadrats, eines regelmäßigen Fünf-, Sechs-, Sieben- oder Achtecks auf. Zweckmäßigerweise sind die Spiegel und/oder Prismen derart vorgesehen, dass die verschiedenen Abbildungen den Objektbereich von unterschiedlichen Blickwinkeln aus aufgenommen darstellen, Somit wird es möglich, mittels der optischen Ein- richtung eine plenoptische Kamera zu bilden. In einer besonders bevorzugten Ausführungsform der Erfindung ist die optische Ein- richtung in einem Objektiv angeordnet, das zumindest eine Linse aufweist. In einer bevorzugten Ausführungsform der Erfindung ist zumindest eine Lichteintritts- linse, vorzugsweise mehrere ein Lichteintrittslinsensystem bildende Lichteintrittslinsen, in Strahlengangrichtung vor der optischen Einrichtung angeordnet. Die optische Einrichtung ist zweckmäßigerweise derart gebildet, dass die in die optische Einrichtung eintretenden Lichtstrahlen entsprechend ihrer Richtung derart aufgespaltet werden, dass sie den Objektbereich aus geringfügig unterschiedlichen Blickwinkeln erfassen, aber dennoch denselben Objektbereich darstellen. Die Lichteintrittslinse ist zweckmdaBigerweise vorgesehen derart, dass sie den Objekt- bereich auf eine Eingangsebene an einem der Lichteintrittslinse zugewandten Ende der optischen Einrichtung abbildet. In einer Ausführungsform der Erfindung ist in Strahlengangrichtung gesehen hinter der optischen Einrichtung zumindest eine Lichtaustrittslinse, vorzugsweise mehrere gemeinsam ein Lichtaustrittslinsensystem bildende Lichtaustrittsiinsen, angeordnet, mittels derer die Strahlengänge derart gebildet werden, dass die Abbildungen in der erfindungsgemäßen Weise auf die Empfängerfläche erzeugt werden. Zweckmäßigerweise ist das Lichtaustrittslinsensystem gebildet derart, dass seine Schärfeebene mit der Eingangsebene der optischen Einrichtung, insbesondere des | Kaleidoskops, identisch ist.; _5- LU102086 © cross section preferably has the shape of an isosceles triangle, a rectangle, in particular a square, a regular pentagon, hexagon, heptagon or octagon. The mirrors and/or prisms are expediently provided in such a way that the various images represent the object area recorded from different viewing angles. It is thus possible to use the optical device to form a plenoptic camera. In a particularly preferred embodiment of the invention, the optical device is arranged in an objective which has at least one lens. In a preferred embodiment of the invention, at least one light entry lens, preferably a plurality of light entry lenses forming a light entry lens system, is arranged in front of the optical device in the direction of the beam path. The optical device is expediently formed in such a way that the light beams entering the optical device are split according to their direction in such a way that they capture the object area from slightly different viewing angles, but still represent the same object area. The light entry lens is expediently provided in such a way that it images the object area onto an entry plane at an end of the optical device that faces the light entry lens. In one embodiment of the invention, viewed in the direction of the beam path, at least one light exit lens, preferably several light exit lenses together forming a light exit lens system, is arranged behind the optical device, by means of which the beam paths are formed in such a way that the images are generated on the receiver surface in the manner according to the invention. The light exit lens system is expediently formed in such a way that its plane of focus coincides with the entrance plane of the optical device, in particular of the | kaleidoscope, is identical.

Es versteht sich, dass die Anordnung der Linsen und der Spiegel oder Prismen hinter- | einander in den Abbildungen zu, ggf. komplexen, Bildfehiern führen kann, die sich | mit konventionellen Bildkorrekturverfahren nur schwer oder nicht korrigieren lassen.It goes without saying that the arrangement of the lenses and the mirrors or prisms behind- | each other in the illustrations can lead to, possibly complex, image errors that | difficult or impossible to correct with conventional image correction methods.

Schon eine geringe Abweichung von der vorgesehenen Position oder Form einer der | Linsen, der Spiegel oder der Prismen kann dazu führen, dass in den Abbildungen un- | erwünscht unterschiedliche Teile des Objektbereichs erfasst werden oder dass von Abbildung zu Abbildung unterschiedliche Abbildungsfehler wie bspw. Verzerrungen auftreten.Even a slight deviation from the intended position or shape of one of the | Lenses, the mirror or the prisms can cause un- | desired different parts of the object area are recorded or that different imaging errors such as distortions occur from image to image.

Yesyes

; _6- LU102086 : Ausführungsformen der optischen Einrichtung, insbesondere des Objektivs, sind in der WO 2014/124982 Al beschrieben. Der Inhalt der WO 2014/124982 A1 wird in die vor- liegende Anmeldung durch Bezugnahme aufgenommen. Im Einzelnen wird auf den Text auf. S. 7, 1. Absatz bis S. 11, 2. Absatz und die Fig. 1 bis 3 Bezug genommen. Dort sind geeignete optische Einrichtungen beschrieben und ihre Funktionsweise erläutert. Das Objektiv umfasst zweckmäßigerweise Gehäuse, in dem die zumindest eine Linse und die optische Einrichtung angeordnet sind. Das Objektiv ist vorzugsweise mit einer Einrichtung zur mechanischen Befestigung an einem Kameragehäuse, bspw. einem Objektivgewinde oder einem Objektivbajonett, versehen. Es kann ferner mit einer Einrichtung zur elektrischen oder elektronischen Verbindung und/oder zur Daten- Übertragung mit dem Kameragehäuse vorgesehen sein.; _6- LU102086: Embodiments of the optical device, in particular the lens, are described in WO 2014/124982 A1. The content of WO 2014/124982 A1 is incorporated into the present application by reference. The details are based on the text. P. 7, 1st paragraph to p. 11, 2nd paragraph and Figs. 1 to 3 referred. Suitable optical devices are described there and their mode of operation is explained. The objective expediently comprises a housing in which the at least one lens and the optical device are arranged. The lens is preferably provided with a device for mechanical attachment to a camera housing, for example a lens thread or a lens bayonet. It can also be provided with a device for electrical or electronic connection and/or for data transmission with the camera housing.

Zweckmäßigerweise weist die Empfängerfläche zumindest einen Bildaufnahmesensor | auf oder ist durch zumindest einen Bildaufnahmesensor gebildet. In der bevorzugten Ausführungsform der Erfindung ist die Empfängerfläche durch einen einzigen Bild- aufnahmesensor gebildet. Der Bildaufnahmesensor ist vorzugsweise ein CCD-Sensor oder ein CMOS-Sensor. In einer Ausgestaltung der Erfindung werden zur Durchführung der Bildkorrektur in zumindest einzelnen der Bildaufzeichnungen, vorzugsweise in jeder der Bildaufzeich- nungen, Positionen zumindest einzelner der Bildpunkte und/oder Intensitäten und/oder Farben zumindest einzelner der Bildpunkte geändert. Die Bildkorrektur erfolgt vorzugsweise automatisch mittels eines Computerprogramms. In einer Ausgestaltung der Erfindung erfolgt die Bildkorrektur derart, dass die Positionen, die Intensitäten und/oder die Farben der Bildpunkte derart geändert werden, dass die jeweilig im selben Abschnitt des Objektbereichs abbildenden Bild- punkte in den verschiedenen Aufzeichnungen in derselben Position angeordnet werden und/oder dieselbe Intensität und/oder dieselbe Farbe aufweisen. In einer besonders bevorzugten Ausführungsform der Erfindung werden die Bild- punkte unter Anwendung von für jede der Abbildungen vorgesehenen Bildpunkt- korrekturregeln verändert, wobei vorzugsweise die Bildpunktpositionen unter | Anwendung von für jede der Bildaufnahmen vorgesehenen Bildpunktanordnungs- regeln, die zumindest eine Bildpunktversetzung umfassen kann, und/oder die Intensitäten und/oder die Farben der Bildpunkte unter Anwendung von für jede derThe receiving surface expediently has at least one image recording sensor | on or is formed by at least one image recording sensor. In the preferred embodiment of the invention, the receiving surface is formed by a single image recording sensor. The image recording sensor is preferably a CCD sensor or a CMOS sensor. In one embodiment of the invention, in order to carry out the image correction in at least some of the recorded images, preferably in each of the recorded images, positions of at least some of the pixels and/or intensities and/or colors of at least some of the pixels are changed. The image correction is preferably carried out automatically using a computer program. In one embodiment of the invention, the image correction is carried out in such a way that the positions, the intensities and/or the colors of the pixels are changed in such a way that the pixels imaging the same section of the object area are arranged in the same position in the different recordings and/or or have the same intensity and/or the same color. In a particularly preferred embodiment of the invention, the pixels are changed using pixel correction rules provided for each of the images, the pixel positions preferably being below | Application of provided for each of the images pixel arrangement rules, which can include at least one pixel displacement, and / or the intensities and / or the colors of the pixels using for each of

. _7- LU102086. _7- LU102086

: Bildaufnahmen vorgesehenen Bildpunktintensitäts- und/oder Bildounkt- faroänderungsregeln geändert werden.: Image point intensity and/or image point intensity and/or image point faro change rules are changed.

Die Bildkorrekturregeln für die einzelnen Abbildungen unterscheiden sich zweckmäBigerweise voneinander.The image correction rules for the individual images expediently differ from one another.

Vorteilhaft können somit die einzelnen Abbildungen separat und individuell für die Aufnahmen aus den verschiedenen Blickwinkeln korrigiert werden.The individual images can thus advantageously be corrected separately and individually for the recordings from the different viewing angles.

In einer Ausgestaltung der Erfindung werden die Bildkorrekturregeln, insbesondere die Bildpunktanordnungsregeln und/oder die Bildpunktintensitäts- und/oder Bild- punktfarbänderungsregeln, durch ein Verfahren zur Bestimmung von Bildkorrektur- regeln ermittelt, bei dem aus einer Bildaufzeichnung zumindest eines Referenzobjekts die Bildpunkte und/oder die erfassten Intensitäten und/oder Farben in jeder der Bild- aufnahmen zweckmäßigerweise mit jeweiligen Referenzabbildungspositionen und/oder Referenzintensitäten und/oder -farben, mit welchen das Referenzobjekt zur korrekten Darstellung des aufgenommenen Bereichs zu bilden ist, verglichen werden.In one embodiment of the invention, the image correction rules, in particular the pixel arrangement rules and/or the pixel intensity and/or pixel color change rules, are determined by a method for determining image correction rules, in which the pixels and/or the detected intensities and/or colors in each of the image recordings are expediently compared with respective reference imaging positions and/or reference intensities and/or colors with which the reference object is to be formed for the correct representation of the recorded area.

Die Bildkorrekturregeln, insbesondere die Bildpunktanordnungsregeln und/oder Bildpunktintensitätsänderungs- und/oder Bildfarbänderungsregeln werden, vorzugsweise durch Ermittlung der Differenzen der Positionen, der Intensitäten und/oder der Farben der Bildaufzeichnungen mit den Referenzabbildungspositionen und/oder Referenzintensitäten und/oder —farben bestimmt.The image correction rules, in particular the pixel arrangement rules and/or pixel intensity change and/or image color change rules, are preferably determined by determining the differences in the positions, intensities and/or colors of the image recordings with the reference image positions and/or reference intensities and/or colors.

In einer Ausführungsform der Erfindung wird das Referenzobjekt mittels eines Anzeigemittels, vorzugsweise eines Bildschirms oder eines Projektors, dargestellt.In one embodiment of the invention, the reference object is displayed using a display device, preferably a screen or a projector.

Vorteilhaft können besonders einfach Referenzobjekte unterschiedlicher Eigenschaften zur Kalibrierung verwendet werden.Reference objects with different properties can advantageously be used for the calibration in a particularly simple manner.

Darüber hinaus wird es möglich, die Bildkorrekturregeln einfach und schnell anhand zumindest zweier unterschiedlicher Referenzobjekte zu erstellen.In addition, it becomes possible to create the image correction rules easily and quickly using at least two different reference objects.

Es könnten eine Vielzahl von Referenzobjekten, ggf. in kurzen zeitlichen Abständen nacheinander, dargestellt werden.A large number of reference objects could be displayed, possibly one after the other at short time intervals.

Vorstellbar wäre ferner, ein Referenzobjektvideo vorzusehen, in welchem die verschiedenen Referenzobjekte nacheinander dargestellt werden.It would also be conceivable to provide a reference object video in which the various reference objects are displayed one after the other.

Es versteht sich, dass für jedes der mittels des Anzeigemittels dargestellten Referenzobjekte wie oben beschrieben Referenzabbildungspositionen und/oder Referenzintensitäten und/oder —farben, mit welchen das Referenzobjekt zur korrekten Darstellung des aufgenommenen Bereichs zu bilden ist, vorgesehen sind.It goes without saying that reference imaging positions and/or reference intensities and/or colors, with which the reference object is to be formed for the correct representation of the recorded region, are provided for each of the reference objects represented by the display means as described above.

Vorgesehen sein könnte ein zu dem Referenzobjektvideo korrespondierendes Referenzvideo, das die jeweiligen Referenzabbildungspositionen und/oder Referenzintensitäten und/oder -farben zeigt.A reference video that corresponds to the reference object video and shows the respective reference imaging positions and/or reference intensities and/or colors could be provided.

| . -8- LU102086 ; Es versteht sich, dass das Verfahren zur Bestimmung von Bildkorrekturregeln, das ein auf einem Computer ausgeführtes Verfahren sein kann, unabhängig von dem Ver- fahren zur Erstellung einer plenoptischen Bildaufzeichnung durchgeführt werden kann.| . -8- LU102086 ; It goes without saying that the method for determining image correction rules, which can be a method executed on a computer, can be carried out independently of the method for creating a plenoptic image recording.

Es stellt eine eigene Erfindung dar.It is an invention of its own.

IweckmäBigerweise wird zur Bestimmung der Korrekturregeln das Referenzobjekt, das bei der Bildaufnahme in einer Referenzposition zu der optischen Einrichtung an- geordnet ist, mit einer Referenzbeleuchtung beleuchtet und/oder weist eine Referenzfärbung auf.In order to determine the correction rules, the reference object, which is arranged in a reference position to the optical device during the image recording, is expediently illuminated with a reference illumination and/or has a reference coloring.

Es hat sich als besonders vorteilhaft erwiesen, als das Referenzobjekt ein in einer Ebene gebildetes Referenzmuster vorzusehen, wobei die Ebene senkrecht zur optischen Achse und/oder parallel zur Sensorebene vor der optischen Einrichtung angeordnet wird.It has proven particularly advantageous to provide a reference pattern formed in a plane as the reference object, with the plane being arranged perpendicular to the optical axis and/or parallel to the sensor plane in front of the optical device.

Das Referenzmuster umfasst zweckmäBigerweise Linien oder Flächen, die geradlinige Ränder aufweisen.The reference pattern expediently comprises lines or areas which have rectilinear edges.

Vorzugsweise ist das Referenzmuster durch mehrere gerade Linien, die rasterartig parallel und/oder senkrecht zueinander angeordnet sind, gebildet.The reference pattern is preferably formed by a plurality of straight lines which are arranged parallel and/or perpendicular to one another in a grid-like manner.

Alternativ oder ergänzend dazu könnte als das Muster beispielsweise ein Schachbrettmuster oder zumindest eine andere regelmäßige Formung oder Struktur, die einen Vergleich der Informationen aus den verschiedenen Abbildungen und eine Ermittlung der Bildpunktanordnungsregeln und/oder der Bildpunktintensitäts- und/oder Bildpunktfarbänderungsregeln erlaubt.Alternatively or additionally, the pattern could be, for example, a checkerboard pattern or at least another regular shape or structure that allows the information from the different images to be compared and the pixel arrangement rules and/or the pixel intensity and/or pixel color change rules to be determined.

In einer Ausgestaltung der Erfindung ist die Bildkorrektur derart vorgesehen, dass bei der Weiterverarbeitung die Bildpunkte, die denselben Abschnitt des Referenzmusters wiedergeben, in den verschiedenen Bildaufnahmen an derselben Stelle angeordnet sind.In one embodiment of the invention, the image correction is provided in such a way that, during further processing, the pixels that reproduce the same section of the reference pattern are arranged at the same point in the different image recordings.

In einer Ausführungsform der Erfindung werden Bildkorrekturregeln, die Bildpunkt- bereiche betreffen, die sich nicht unmittelbar in dem Referenzmuster finden, erzeugt, beispielsweise durch Interpolation.In one embodiment of the invention, image correction rules that relate to pixel areas that are not directly in the reference pattern are generated, for example by interpolation.

Zweckmäßigerweise werden Bildkorrekturregeln, insbesondere die Bildpunkt- ersetzungsregeln und/oder die Bildpunktintensitäts- und/oder Bildpunkt- farbänderungsregeln gespeichert, vorzugsweise als ein Datensatz zur Nutzung in einem Computerprogramm zur Durchführung der Bildkorrektur.Image correction rules, in particular the pixel replacement rules and/or the pixel intensity and/or pixel color change rules, are expediently stored, preferably as a data record for use in a computer program for carrying out the image correction.

Der Datensatz kann Metadaten für mittels der optischen Einrichtung erzeugten plenoptischen Bild- aufzeichnung umfassen.The data set can include metadata for plenoptic image recording generated by means of the optical device.

Zweckmäßigerweise wird sie gemeinsam mit der optischen Einrichtung, insbesondere dem Objektiv, bereitgestellt, beispielsweise als Datei auf einem Datenspeichermedium, das physikalisch mit der optischen Einrichtung ver- bunden sein kann, oder als Über ein Rechnernetzwerk, bspw. das Internet abrufbare,It is expediently provided together with the optical device, in particular the lens, for example as a file on a data storage medium that can be physically connected to the optical device, or as a file that can be called up via a computer network, for example the Internet.

’ -9- LU102086’ -9- LU102086

: den Datensatz darstellende Signalfolge.: signal sequence representing the record.

Vorstelloar ware, an der optischen Ein- richtung, z.B. an dem Gehäuse des Objektivs, einen Link zu einer in dem Rechner- netzwerk, insbesondere dem Internet, hinterlegten Datei vorzusehen.It would be possible to provide a link to a file stored in the computer network, in particular the Internet, on the optical device, e.g. on the housing of the lens.

Der Link könnte beispielsweise ein QR-Link o. dgl. sein.The link could be a QR link or the like, for example.

Ferner können sich die Bildkorrekturregeln, insbesondere die Bildpunktanordnungs- regeln und/oder die Bildpunktintensitäts- und/oder Bildpunktfarbänderungsregeln in Abhängigkeit von der Fokuseinstellung der optischen Einrichtung voneinander unter- scheiden.Furthermore, the image correction rules, in particular the pixel arrangement rules and/or the pixel intensity and/or pixel color change rules, can differ from one another as a function of the focus setting of the optical device.

ZweckmdaBigerweise werden zu deren Bestimmung zumindest zwei, vor- zugsweise mehrere Bildaufzeichnungen zumindest eines Referenzobjektes in unter- schiedlichen, im Abstand voneinander angeordneten Schärfeebenen erzeugt.At least two, preferably several, image recordings of at least one reference object are expediently generated in different focal planes arranged at a distance from one another in order to determine this.

Für Fokuseinstellungen, die außerhalb dieser Schärfeebene liegen, können die Bildpunkt- anordnungsregeln und/oder die Bildpunktintensitäts- und/oder Bildpunkt- farbänderungsregeln aus den Regeln, die mittels der Bildaufzeichnungen in den Schärfeebenen bestimmt worden sind, ermittelt werden, beispielsweise durch Inter- polation.For focus settings that lie outside of this focal plane, the pixel arrangement rules and/or the pixel intensity and/or pixel color change rules can be determined from the rules that have been determined by means of the image recordings in the focal planes, for example by interpolation.

Ist die optische Einrichtung, insbesondere das Objektiv, wie nach einer Ausführungs- form der Erfindung vorgesehen, zur Verstellung seiner Schärfeebene eingerichtet, wird die Bildkorrektur vorzugsweise in Abhängigkeit von der Einstellung der Schärfe- ebene der optischen Einrichtung durchgeführt.If the optical device, in particular the lens, as provided according to one embodiment of the invention, is set up to adjust its plane of focus, the image correction is preferably carried out as a function of the setting of the plane of focus of the optical device.

Zweckmäßigerweise wird der Versatz konkret lediglich für einzelne Punkte in den Bild- aufnahmen bestimmt und der jeweilig notwendige Versatz in den Bereichen zwischen den Punkten durch Interpolation ermittelt.Expediently, the offset is specifically determined only for individual points in the image recordings, and the respectively necessary offset in the areas between the points is determined by interpolation.

In analoger Weise kann auch die notwendige Änderung der Intensität und/oder der Farbe lediglich für einzelne Punkte bestimmt und die jeweilig notwendige Intensitäts- bzw.In a similar way, the necessary change in intensity and/or color can be determined for individual points only and the required intensity or

Farbänderung in den Bereichen zwischen den Punkten durch Interpolation ermittelt werden.Color change in the areas between the points can be determined by interpolation.

Die Erfindung erweist sich als besonders vorteilhaft, da sich mittels des Verfahrens optische Einrichtungen, insbesondere Objektive, der obengenannten Art, auch wenn sie in einer Massenfertigung hergestellt werden und toleranzbedingte Unterschiede in der Anordnung und Form ihrer jeweiligen optischen Elemente wie die Linsen, Spiegel, Prismen u. dgl. aufweisen, einfach für die Benutzung vorbereiten lassen.The invention proves to be particularly advantageous because the method enables optical devices, in particular lenses, of the type mentioned above, even if they are mass-produced and tolerance-related differences in the arrangement and shape of their respective optical elements such as lenses, mirrors, prisms and the like, simply have them prepared for use.

So kann das Verfahren innerhalb eines Prozesses zur Vorbereitung der optischen Einrichtung zurThus, the method can be used within a process for preparing the optical device

. -10- LU102086. -10- LU102086

* Abgabe an einen Benutzer durchgeführt werden und die dabei gewonnenen Infor- mationen, insbesondere die Bildkorrekturregein, in einem Datensatz zur Nutzung mittels eines Computerprogramms gespeichert werden, das zusammen mit der optischen Einrichtung ausgegeben wird.* Delivery to a user are carried out and the information obtained in this way, in particular the image correction rules, are stored in a data set for use by a computer program, which is output together with the optical device.

ZweckmdaBigerweise werden die Bild- korrekturregeln für jede optische Einrichtung, insbesondere jedes Objektiv, individuell ermittelt.The image correction rules are expediently determined individually for each optical device, in particular each lens.

Zur Erzeugung der plenoptischen Bildaufzeichnung werden in einer Ausführungsform der Erfindung mittels der Empfängerfläche, insbesondere des Sensors, ermittelte Informationen zu den Abbildungen gemeinsam mit dem Datensatz gespeichert, wobei der Datensatz als Metadaten vorliegen kann.To generate the plenoptic image recording, in one embodiment of the invention, information about the images determined by means of the receiver surface, in particular the sensor, is stored together with the data record, with the data record being able to be present as metadata.

Die plenoptischen Bild- aufzeichnungen können anschließend mittels eines Computerprogramms, das die Abbildungsinformationen mittels der in dem Datensatz hinterlegten Bildkorrektur- regeln und der Durchführung der Bildkorrektur weiterverarbeitet, erzeugt werden.The plenoptic image recordings can then be generated using a computer program that further processes the imaging information using the image correction rules stored in the data set and the implementation of the image correction.

Die Erfindung betrifft ferner ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, zumindest einzelne Schritte des oben erläuterten Verfahrens durchzuführen.The invention also relates to a computer program product, comprising instructions which, when the program is executed by a computer, cause the latter to carry out at least individual steps of the method explained above.

Insbesondere umfasst das Computerprogrammprodukt Befehle, die bei der Aus- führung des Programms durch einen Computer diesen veranlassen, die Schritte eines Verfahrens zur Erstellung einer plenoptischen Bildaufzeichnung, bei dem mehrere Abbildgen eines Objektbereichs, die mittels einer optischen Einrichtung gleichzeitig nebeneinander auf einer Empfängerfläche erzeugt und digital gespeichert werden, zu Bildaufnahmen weiterarbeitet werden, wobei bei der Weiterverarbeitung automatisch eine Bildkorrektur erfolgt, bei der zumindest eine der Bildaufnahmen gegenüber der jeweiligen Abbildung geändert wird.In particular, the computer program product includes instructions that, when the program is executed by a computer, cause the computer to carry out the steps of a method for creating a plenoptic image recording, in which several images of an object area are generated simultaneously side by side on a receiver surface by means of an optical device and digitally are stored, further processing to image recordings is carried out automatically during further processing, in which at least one of the image recordings is changed in relation to the respective image.

Zweckmäßigerweise kann das Computerprogrammprodukt direkt in den internen Speicher eines digitalen Computers, insbesondere einem Computer einer Vorrichtung zur Erstellung einer Bildaufzeichnung, geladen werden und umfasst Softwareabschnitte, die die Verfahrensschritte durchführen, wenn das Computerprogrammprodukt auf dem Computer abläuft.The computer program product can expediently be loaded directly into the internal memory of a digital computer, in particular a computer of a device for creating an image recording, and includes software sections that carry out the method steps when the computer program product runs on the computer.

Zweckmäßigerweise ist das Computerprogrammprodukt ein auf einem Datenträger, vorzugsweise RAM, ROM, CD oder dergleichen, oder einem Gerät, insbesondere einem Personalcomputer, einem Smartphone, einem Computer einer Vorrichtung zur Erstellung einer Bildaufzeichnung, insbesondere einer Foto- und/oder Videokamera, gespeichertes Computerprogramm oder eine für die Übersendung über einThe computer program product is expediently a computer program stored on a data medium, preferably RAM, ROM, CD or the like, or a device, in particular a personal computer, a smartphone, a computer, a device for creating an image recording, in particular a photo and/or video camera, or one for sending over one

Usus

’ -11- LU102086 : Rechnernetzwerk, insbesondere das Internet, geeignete, Daten darstellende Signal-’ -11- LU102086 : computer network, in particular the Internet, suitable signaling

folge.episode.

Die Erfindung betrifft ferner eine Vorrichtung zur Datenverarbeitung, die Mittel zur DurchfUhrung des Verfahrens umfasst.The invention also relates to a device for data processing, which includes means for carrying out the method.

In einer Ausführungsform der Erfindung ist die Vorrichtung Teil einer optischen Ein- richtung, die zur gleichzeitigen Erzeugung mehrerer Abbildungen eines Objekt- bereichs nebeneinander auf einer Empfängerfläche eingerichtet ist, wobei die | optische Einrichtung vorzugsweise ein Kaleidoskop umfasst.In one embodiment of the invention, the device is part of an optical device which is set up for the simultaneous generation of a plurality of images of an object region next to one another on a receiver surface, the | optical device preferably comprises a kaleidoscope.

Zweckmäßigerweise ist die Vorrichtung Teil einer Kamera, insbesondere einer Foto- und/oder Videokamera.The device is expediently part of a camera, in particular a photo and/or video camera.

In einer besonders bevorzugten Ausführungsform der Erfindung ist die Datenverarbei- tungsvorrichtung zum Betrieb der Kamera, insbesondere Foto- und/oder Video- kamera, bei der Erstellung einer Bildaufzeichnung mittels der Kamera vorgesehen.In a particularly preferred embodiment of the invention, the data processing device is provided for operating the camera, in particular a photo and/or video camera, when creating an image recording using the camera.

Zweckmäßigerweise ist die Datenverarbeitungsvorrichtung Teil der optischen Ein- richtung, insbesondere der Kamera, und ist dort bspw. durch einen Prozessor und einen Speicher, auf den der Prozessor zugreifen kann, gebildet.The data processing device is expediently part of the optical device, in particular of the camera, and is formed there, for example, by a processor and a memory which the processor can access.

Die Erfindung betrifft ferner eine Kamera, insbesondere Foto- und/oder Video- kamera, die die genannte Datenverarbeitungsvorrichtung umfasst.The invention also relates to a camera, in particular a photo and/or video camera, which includes the data processing device mentioned.

Die Kamera weist zweckmäßigerweise die genannte optische Einrichtung sowie die genannteThe camera expediently has said optical device and said

| Empfängerfläche auf und ist zur Erzeugung der neun optischen Bildaufzeichnungen| Receiver surface and is used to generate the nine optical image recordings

| geeignet.| suitable.

In einer Ausführungsform der Erfindung umfasst die Kamera das genannteIn an embodiment of the invention, the camera comprises the aforesaid

| Objektiv, in dem die optische Einrichtung angeordnet ist.| Objective in which the optical device is arranged.

Die Erfindung betrifft ferner einen Datensatz von Bildkorrekturregeln, der zur Ver- wendung in einem Verfahren zur Erstellung einer plenoptischen Bildaufzeichnung, bei der mittels einer optischen Einrichtung von einem Objektbereich gleichzeitig mehrere Abbildungen nebeneinander auf einer Empfangerfldche erzeugt werden und die Abbildungen zu Bildaufnahmen, die Bildpunkte aufweisen, weiterverarbeitet werden, wobei bei der Weiterverarbeitung der Abbildungen unter automatischer An- wendung der Bildkorrekturregeln eine Bildkorrektur erfolgt, bei der zumindest eine der Bildaufnahmen gegenüber der jeweiligen Abbildung geändert wird Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und den beige- fügten Zeichnungen, die sich auf die Ausführungsbeispiele beziehen, näher erläutert.The invention also relates to a data set of image correction rules for use in a method for creating a plenoptic image recording, in which multiple images are simultaneously generated next to one another on a receiving surface by means of an optical device from an object area and the images to image recordings that have pixels , be further processed, with the further processing of the images with automatic application of the image correction rules, an image correction takes place, in which at least one of the images is changed compared to the respective image refer to the exemplary embodiments, explained in more detail.

: -12- LU102086 : Es zeigen: Fig. 1 eine optische Einrichtung zur erfindungsgemäBen Bildaufzeichnung, Fig. 2 einen Strahlengang in der optischen Einrichtung nach Fig. 1, Fig. 3 weitere Strahlengänge in der optischen Einrichtung nach Fig. 1, Fig. 4 eine mit einer Empfangsfläche aufgenommene Abbildung, Fig. 5 verschiedene Referenzmuster zur Verwendung in einem erfindungsgemäBen Verfahren, Fig. 6 verschiedene mit der optischen Einrichtung aufgenommen Bild- aufzeichnungen vor und nach der Bildkorrektur, Fig. 7 aufgenommene Intensitäten entlang einer Bildachse, Fig.8 eine Wiedergabe von Abbildungen eines Referenzmusters, und Fig. 9 ein weiteres Referenzmuster zur Verwendung in einem erfindungsgemäBen Verfahren.: -12- LU102086 : The figures show: Fig. 1 an optical device for image recording according to the invention, Fig. 2 a beam path in the optical device according to Fig. 1, Fig. 3 further beam paths in the optical device according to Fig. 1, Fig. 4 an image recorded with a receiving surface, FIG. 5 different reference patterns for use in a method according to the invention, FIG. 6 different image recordings recorded with the optical device before and after image correction, FIG Reproduction of images of a reference pattern, and FIG. 9 shows a further reference pattern for use in a method according to the invention.

In Fig. 1 ist schematisch dargestellt, wie in erfindungsgemäBer Weise eine plenoptische Bildaufzeichnung unter Verwendung einer optischen Einrichtung 1 erstellt wird, die neben einer Eintrittslinse 7 und einer Austrittsiinse 8 einen Spiegel- kasten mit Spiegeln 3,4.5,6 aufweist, der ein Kaleidoskop bildet. Die Spiegel 3,4,5,6 sind, wie Fig. 2 zeigt, in dem Spiegelkasten im Querschnitt rechteckig angeordnet, wobei die Spiegelflächen der Spiegel auf der Spiegelkasteninnenseite angeordnet sind. Lichtstrahlen 10, die von einem Objektbereich 9, der einen Gegenstand abbildet, ausgehen, treten in die Eintrittslinse 7 ein und werden durch die Eintrittslinse in das Innere eines Spiegelkastens gelenkt. Einige der Lichtstrahlen 10 gelangen durch den Spiegelkasten hindurch bis auf die Austrittslinse 8, ohne auf einen der Spiegel 3,4,5,6 zu treffen, andere Lichtstrahlen werden lediglich ein einziges Mal an einem der Spiegel 3,4,5,6 gespiegelt, bevor sie auf die Austrittslinse 8 treffen. Weitere Lichtstrahlen wiederum werden innerhalb des Spiegelkastens an den Spiegeln 3,4,5,6 mehrfach reflektiert, wobei die Reflexion sowohl an gegenüberlegenden als auch an benachbart zueinander angeordneten Spiegeln 3,4,5,6, erfolgen kann. Die Aus- trittslinse 8 ist derart angeordnet, dass die aus dem Spiegelkasten austretenden Licht- strahlen auf deine Empfängerflâche 2, die durch einen Sensor, insbesondere einen CCD- oder CMOS-Sensor gebildet ist, geleitet werden.1 shows schematically how a plenoptic image recording is created in accordance with the invention using an optical device 1 which, in addition to an entry lens 7 and an exit lens 8, has a mirror box with mirrors 3,4,5,6 which forms a kaleidoscope . As shown in FIG. 2, the mirrors 3,4,5,6 are arranged in the mirror box in a rectangular cross-section, with the mirror surfaces of the mirrors being arranged on the inside of the mirror box. Light beams 10, which emanate from an object region 9, which images an object, enter the entrance lens 7 and are directed through the entrance lens into the interior of a mirror box. Some of the light beams 10 pass through the mirror box to the exit lens 8 without hitting one of the mirrors 3,4,5,6, other light beams are only reflected once on one of the mirrors 3,4,5,6, before they hit the exit lens 8. Other light beams are in turn reflected multiple times within the mirror box at the mirrors 3,4,5,6, with the reflection being able to take place both at opposite mirrors and at mirrors 3,4,5,6 arranged adjacent to one another. The exit lens 8 is arranged in such a way that the light beams exiting the mirror box are directed onto the receiver surface 2, which is formed by a sensor, in particular a CCD or CMOS sensor.

Die Einftrittslinse 7, die Spiegel 3,4,5,6, und die Austrittslinse 8 sind derart angeordnet, dass auf der Empfängerflôche 2 neun Abbildungen des Objektbereichs gebildet werden, die in einem 3 x 3 - Raster nebeneinander erzeugt werden. Die Abbildungen WwThe entrance lens 7, the mirrors 3, 4, 5, 6 and the exit lens 8 are arranged in such a way that nine images of the object area are formed on the receiver surface 2, which are generated next to one another in a 3×3 grid. The pictures Ww

’ -13- LU102086 : werden derart erzeugt, dass sie den Objektbereich ausgehend von der Eintrittsiinse 7 aus neun verschiedenen Blickwinkeln bilden. Alternativ könnten die Eintrittslinse 7, die Spiegel 3,4,5,6 und die Austrittlinse 8 derart angeordnet sein, dass auf der Empfängerfläche N x N Abbildungen des Objektbereichs gebildet und in einem N x N-Raster nebeneinander erzeugt werden, wobei N eine ungerade Zahl repräsentiert. Neben dem obengenannten Raster kommen bspw. 25 Abbildungen des Objektbereichs in einem 5 x 5-Raster oder 49 Abbildungen in einem 7 x 7-Raster infrage. Es versteht sich, dass zur Erhöhung der Anzahl der erreichbaren Blickwinkel auch größere Anzahlen von Abbildungen und entsprechender Rasteranordnungen vorgesehen werden können. Fig. 4 zeigt beispielhaft Abbildungen eines Objektbereichs in der Form wie sie bei einer Aufnahme mit der optischen Einrichtung 1 auf der Empfängerfläche 2 aufge- nommen werden. Die Abbildungen treffen wie oben erläutert in einem 3 x 3 - Raster auf der Empfängerfläche 2 auf. Die einzelnen Abbildungen stellen den Objekt- i bereich jedoch unterschiedlich dar, beispielsweise aufgrund von Verzerrungen, Unterschieden in der Intensität der einzelnen einander entsprechenden Bildpunkte sowie der (hier nicht wiedergegebenen) Farbgebung.’ -13- LU102086 : are generated in such a way that they form the object area starting from the entrance lens 7 from nine different angles. Alternatively, the entrance lens 7, the mirrors 3,4,5,6 and the exit lens 8 could be arranged in such a way that N×N images of the object area are formed on the receiver surface and are generated next to one another in an N×N grid, with N being an odd number number represents. In addition to the grid mentioned above, for example, 25 images of the object area in a 5×5 grid or 49 images in a 7×7 grid are possible. It goes without saying that in order to increase the number of viewing angles that can be achieved, larger numbers of images and corresponding grid arrangements can also be provided. FIG. 4 shows, by way of example, images of an object area in the form in which they are recorded on the receiver surface 2 when recording with the optical device 1 . As explained above, the images impinge on the receiver surface 2 in a 3×3 grid. However, the individual images represent the object area differently, for example due to distortions, differences in the intensity of the individual image points that correspond to one another, and the coloring (not reproduced here).

Die unterschiedlichen Darstellungen ergeben sich zum einen aus der Aufnahme aus den genannten unterschiedlichen Blickwinkeln. Darüber hinaus ergeben sich auf- grund der Anordnung der Spiegel und der sich daraus ergebenden recht komplizierten Strahlengänge Abbildungsfehler und Intensitätsunterschiede.The different representations result on the one hand from the recording from the different perspectives mentioned. In addition, due to the arrangement of the mirrors and the resulting very complicated beam paths, there are aberrations and differences in intensity.

Solche Intensitätsunterschiede ergeben sich, u.a. weil die Lichtstrahlen je nach Perspektive unterschiedliche Bereiche der Linsensysteme durchlaufen. Infolgedessen wirken sich spezifische Vignettierungs- und/oder Verzerrungseigenschaften der Linsengruppen auf die einzelnen Bilder unterschiedlich stark aus. In der beispielhaft in Fig. 7 dargestellte Helligkeitsverteilung ist das deutlich zu erkennen. Hier ist auch die Helligkeitsdämpfung infolge der Spiegelung erkennbar.Such differences in intensity arise, among other things, because the light rays pass through different areas of the lens systems depending on the perspective. As a result, specific vignetting and/or distortion properties of the lens groups affect the individual images to different extents. This can be clearly seen in the brightness distribution shown as an example in FIG. The brightness reduction as a result of the reflection can also be seen here.

Da es zur Erstellung einer plenoptischen Bildaufzeichnung, insbesondere zur Erlangung der Information über den Abstand von Gegenständen im Objektbereich von der optischen Einrichtung 1 notwendig ist, dass die einzelnen Bildpunkte in der herkömmlichen zweidimensionalen Darstellung kongruent sind, ist eine Bildkorrektur der Bildaufnahmen notwendig. Insbesondere können die Positionen der Bildpunkte und/oder deren Intensität und/oder Farbe derart verändert werden, dass sieSince it is necessary for the creation of a plenoptic image recording, in particular for obtaining information about the distance of objects in the object area from the optical device 1, that the individual pixels in the conventional two-dimensional representation are congruent, an image correction of the image recordings is necessary. In particular, the positions of the pixels and/or their intensity and/or color can be changed in such a way that they

. -]4- LU102086. -]4- LU102086

: zueinander passen.: match each other.

Ein Vorteil der Anpassung ist, dass auch die Möglichkeit geschaffen, wird innerhalb der plenoptischen Aufzeichnung den Blickwinkel zu wechseln, ohne das optische Inhomogenit&ten erscheinen.One advantage of the adjustment is that it also creates the possibility of changing the viewing angle within the plenoptic recording without optical inhomogeneities appearing.

Um festzustellen, wie eine entsprechende Bildkorrektur vorgenommen werden kann, wird ein Referenzmuster senkrecht zur optischen Achse und parallel zu der Ebene an- geordnet, in der die Empfangsfläche angeordnet ist und eine Aufzeichnung der Abbildungsinformationen auf Empfängerflâche 2 erstellt.To determine how an appropriate image correction can be made, a reference pattern is placed perpendicular to the optical axis and parallel to the plane in which the receiving surface is located, and a record of the imaging information on receiving surface 2 is made.

Geeignete Referenzmuster sind beispielhaft in Fig. 5 gezeigt.Suitable reference patterns are shown in FIG. 5 by way of example.

Anhand der Bildaufnahme und eines Referenzmusters, ggf. einer Referenz- aufzeichnung, die das Referenzmuster optimal wiedergibt, lassen sich Differenzen der Positionen der mit der Aufnahme erfassten Bildpunkte der Bildaufnahme mit den Positionen, in denen die Bildpunkte bei korrekter Darstellung angeordnet sein müssten ermitteln und sich daraus Bildpunktanordnungsregeln bestimmen.Based on the image recording and a reference pattern, possibly a reference recording that optimally reproduces the reference pattern, differences in the positions of the image points recorded with the recording and the positions in which the image points should be arranged if the display is correct can be determined and determine pixel arrangement rules from this.

Für Bereiche, die zwischen den mittels der Referenzmuster unmittelbar ermittelbaren Bild- punkten liegen, lassen sich die Bildpunktanordnungsregeln z.B. durch Interpolation bestimmen.For areas that lie between the pixels that can be determined directly using the reference pattern, the pixel arrangement rules can be determined, for example, by interpolation.

Ein Beispiel für eine Aufzeichnung der Abbildungsinformationen des Referenzmusters nach Fig. 5 b) ist in Fig. 8 dargestellt.An example of a recording of the imaging information of the reference pattern according to FIG. 5b) is shown in FIG.

Abbildungsfehler sind dort deutlich erkennbar.Imaging errors are clearly visible there.

Bei der Bestimmung der Bildpunktanordnungsregeln wird ermittelt, an welcher Stelle der jeweilige in der Abbildung erzeugte Bildpunkte zur Bildung einer korrekten Bild- aufnahme in der Bildaufnahme anzuordnen ist und ausgehend davon eine Anordnungsregel, die eine Versetzung des Bildpunkts umfassen kann, erstellt.When determining the pixel arrangement rules, it is determined at which point the respective pixels generated in the image are to be arranged in the image recording in order to form a correct image, and based on this an arrangement rule that can include a displacement of the pixel is created.

Es ver- steht sich, dass eine Anordnungsregel für jeden der Bildpunkte vorgesehen ist.It goes without saying that an arrangement rule is provided for each of the pixels.

Zur Korrektur der Intensität der Bildpunkte werden Abtastwerte aus dem Bildfeld eines gleichmäßig beleuchteten weißen Objekts ermittelt.In order to correct the intensity of the pixels, sampled values are determined from the image field of a uniformly illuminated white object.

Die Korrekturwert für jeden einzelnen Bildpunkt werden durch eine geeignete Interpolation aus den ermittelten Korrekturabtastwerten berechnet.The correction values for each individual pixel are calculated by suitable interpolation from the correction sampled values determined.

Fig. 7 zeigt beispielhaft eine Intensitätsverteilung, die eine typische Intensitätsreduzierung infolge einer mehrfachen Spiegelung erkennen lässt.FIG. 7 shows an example of an intensity distribution that reveals a typical reduction in intensity as a result of multiple reflection.

Zur Korrektur werden Intensitätswerte aus dem Bildfeld eines homogen beleuchteten weißen Objekts ermittelt.For correction, intensity values are determined from the image field of a homogeneously illuminated white object.

Die Korrekturwert für jeden einzelnen Bildpunkte werden durch eine geeignete Interpolation aus den ermittelten Korrekturabtastwerten berechnet.The correction values for each individual pixel are calculated by a suitable interpolation from the determined correction sampled values.

Eine lichtwellenlängenabhängige Intensitätsschwankung die z.B. aufgrund von Inhomogenitäten der Beschichtung der Spiegeloberflächen auftreten kann, wirdA light wavelength-dependent intensity fluctuation that can occur, for example, due to inhomogeneities in the coating of the mirror surfaces

: -15- LU102086 - optional durch eine wellenlängenabhängige Anderung der jeweiligen Intensitäten korrigiert. Vorgesehen sein kann, dass die Intensitäten faroabhängig, vorzugsweise abhängig vom Farbkanal, insbesondere vom RGB-Farbkanal, geändert werden. individuell für jede Farbe, insbesondere jeden Farbkanal, korrigiert werden. Um die Farben der einzelnen Bildpunkte korrigieren zu können, wird zumindest ein Farbreferenzmuster aufgenommen, das eine Vielzahl von Farben aufweist, oder es werden mehrere Aufnahmen verschiedener einfarbiger Farbreferenzmuster aufgenommen. Ein Farbreferenzmuster mit einer Vielzahl von Farben ist - hier lediglich in schwarz/weiß ~ in Fig. 9 gezeigt. Es weist mehrere rechteckige Fläche unter- schiedlicher Färbung auf. Anhand der Bildaufnahme und einer Farbreferenzaufzeichnung, die das Farb- referenzmuster optimal wiedergibt, lassen sich Differenzen der Farben der mit der Aufnahme erfassten Bildpunkte der Bildaufnahme mit den Farben, in denen die Bild- punkte bei korrekter Darstellung aufweisen müssten, ermitteln und sich daraus Bild- punktfarbänderungsregeln bestimmen. Für Bereiche, die zwischen den mittels der Referenzmuster unmittelbar ermittelbaren Bildpunkten liegen, lassen sich die Bild- punktfarbänderungsregeln z.B. durch Interpolation bestimmen. In Fig. 6 sind die Abbildungen in der oberen Bildzeile in der Mitte und der mittleren Bildzeile rechts aus dem 3 x 3 - Rasters aus Fig. 4 einzeln vor und nach der Bildkorrektur gezeigt.: -15- LU102086 - optionally corrected by changing the respective intensities depending on the wavelength. Provision can be made for the intensities to be changed as a function of color, preferably as a function of the color channel, in particular the RGB color channel. be corrected individually for each color, in particular each color channel. In order to be able to correct the colors of the individual pixels, at least one color reference pattern is recorded, which has a multiplicity of colors, or several recordings of different monochromatic color reference patterns are recorded. A color reference pattern with a multiplicity of colors is shown - here only in black and white - in FIG. It has several rectangular areas of different colors. Based on the image recording and a color reference recording, which optimally reproduces the color reference pattern, it is possible to determine differences in the colors of the image points of the image recording recorded with the recording and the colors in which the image points should have shown if they are displayed correctly, and image- determine point color changing rules. For areas that lie between the pixels that can be determined directly using the reference pattern, the pixel color change rules can be determined, for example, by interpolation. In FIG. 6, the images in the top image line in the middle and the middle image line on the right from the 3×3 grid from FIG. 4 are shown individually before and after the image correction.

AS

Claims

) -16- LU102086 : Claims:

1. Method for creating a plenoptic image recording, in which several images of an object area, which are generated simultaneously side by side on a receiver surface by means of an optical device and stored digitally, are further processed to image recordings, characterized in that an image correction is automatically carried out during further processing , in which at least one of the recorded images is changed compared to the respective image.

2. Method according to claim 1, characterized in that for each of the images an image correction specific to the respective image is carried out, the respective specific image corrections for the individual images preferably differing from one another.

3. The method according to claim 1 or 2, characterized in that during the further processing of at least some of the images, an image correction that changes the image recording relative to the respective image is automatically carried out in such a way that the image recordings are matched to one another.

4. The method according to any one of claims 1 to 3, characterized in that to carry out the image correction in at least one of the recorded images, preferably in each of the recorded images, positions of at least individual pixels and / or intensities of the display of at least individual of the pixels are changed.

5. The method according to any one of claims 1 to 4, characterized in that the pixel positions using pixel arrangement rules provided for each of the image recordings and/or the intensities and/or the colors of the representation of the pixels under

do

’ -17- LU102086 : Application of pixel intensity and/or pixel color change rules provided for each of the recorded images are changed, with the pixel arrangement rules and/or pixel intensity and/or pixel color change rules for the individual recorded images preferably differing from one another.

6. The method according to any one of claims 1 to 5, characterized in that pixel arrangement rules and / or the pixel intensity and / or pixel color change rules are determined in a calibration method, in which an image recording of a reference object that is in a reference position to the optical device is arranged, is illuminated with a reference illumination and/or has a reference coloring, is created and the pixels and/or the detected intensities and/or colors in each of the image recordings with respective reference imaging positions and/or reference intensities and/or colors which the reference object is to be imaged for the correct representation of the recorded area, is compared, the pixel arrangement rules and/or the pixel intensity change rules preferably by determining the differences in the positions, intensities and/or colors of the image recordings with the reference image p positions and/or reference intensities and/or colors are determined.

7. The method as claimed in claim 5 or 6, characterized in that the image correction is carried out in such a way that the positions, the intensities and/or the colors of the pixels are changed in such a way that the pixels respectively imaging the same section of the object region are in the different Different image recordings are arranged in the same position and/or depending on the viewing angle, in particular taking into account a parallax error resulting from the respective different viewing angle, and/or have the same intensity and/or the same color as in the reference position.

9. A computer program product comprising instructions which, when the program is executed by a computer, cause the latter to execute the method according to any one of claims 1 to 8.

2277

) -18- LU102086

10. Computer program product according to claim 9, characterized in that the computer program product is on a data medium, preferably RAM, ROM, CD or the like, or a device, in particular a personal computer, a smartphone, a computer, a device for creating an image recording , in particular a photo and/or video camera, is a stored computer program or is a signal sequence suitable for transmission via a computer network, in particular the Internet, representing data.

| 10. Device for data processing, comprising means for carrying out the method according to any one of claims 1 to 8.

17. The device as claimed in claim 10, characterized in that the device is part of an optical device which is set up for the simultaneous generation of a plurality of images of an object region next to one another on a receiver surface, the optical device preferably comprising a kaleidoscope.

12. Device according to claim 11, characterized in that the device is part of a camera, in particular a photo and/or video camera.

13. Data carrier signal, which transmits the computer program product according to claim 9.

|