[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE102018118187A1 - Verfahren und Datenverarbeitungssystem zur Synthese von Bildern - Google Patents

Verfahren und Datenverarbeitungssystem zur Synthese von Bildern Download PDF

Info

Publication number
DE102018118187A1
DE102018118187A1 DE102018118187.6A DE102018118187A DE102018118187A1 DE 102018118187 A1 DE102018118187 A1 DE 102018118187A1 DE 102018118187 A DE102018118187 A DE 102018118187A DE 102018118187 A1 DE102018118187 A1 DE 102018118187A1
Authority
DE
Germany
Prior art keywords
sequence
individual images
lens
creating
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018118187.6A
Other languages
English (en)
Inventor
Michael Wick
Christian Wojek
Vladan Blahnik
Torsten Sievers
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss AG
Original Assignee
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss AG filed Critical Carl Zeiss AG
Priority to DE102018118187.6A priority Critical patent/DE102018118187A1/de
Priority to KR1020217005518A priority patent/KR102686182B1/ko
Priority to CA3107886A priority patent/CA3107886A1/en
Priority to EP19758614.2A priority patent/EP3830796A1/de
Priority to PCT/EP2019/070332 priority patent/WO2020021121A1/de
Priority to JP2021503548A priority patent/JP7489960B2/ja
Priority to CN201980050059.2A priority patent/CN112513933A/zh
Priority to NZ772353A priority patent/NZ772353A/en
Priority to AU2019309552A priority patent/AU2019309552B2/en
Publication of DE102018118187A1 publication Critical patent/DE102018118187A1/de
Priority to US17/159,506 priority patent/US12008708B2/en
Priority to US18/372,479 priority patent/US20240029342A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Image Generation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern, wobei die Einzelbilder der ersten oder der zweiten Abfolge von Einzelbildern mithilfe eines Objektivs aufgenommen wurden, mit folgenden Schritten: Bestimmen der Eintrittspupille und des Sichtfeldes des Objektivs für die Einzelbilder der ersten Abfolge und Erstellen oder Anpassen der Einzelbilder der zweiten Abfolge unter Berücksichtigung der Eintrittspupille und des Sichtfelds des Objektivs des jeweiligen Einzelbilds der ersten Abfolge.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die Erfindung betrifft ein Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern, wobei die Einzelbilder der ersten Abfolge von Einzelbildern mithilfe eines Objektivs aufgenommen wurden. Insbesondere betrifft die Erfindung ein softwarebasiertes Verfahren für die Modifikation oder/und das Erstellen von bewegten Bildern aufgrund vordefinierter Parameter.
  • Beschreibung des Standes der Technik
  • Heutzutage werden Animationen beispielsweise für Spielfilme, Computerspiele, medizinische Bildgebung, Sicherheitsanwendungen zur Gesichtserkennung, bei computerbasierten Simulationen, bei Virtual-Reality-Anwendungen oder auch in der industriellen Messtechnik mittels Bildsynthese, auch Rendern oder Rendering genannt, erzeugt. Eine dabei angewandte Technik sieht vor, den virtuellen Strahlengang von einem virtuellen Sensorpunkt durch eine virtuelle Lochkamerablende in eine virtuelle dreidimensionale Szene zu berechnen und dem Sensorpunkt die entsprechende Farbe und Intensität je nach Auftreffpunkt in der virtuellen Szene zuzuordnen.
  • Oftmals besteht der Wunsch, mit dieser Form der Bildsynthese erzeugt Filmsequenzen mit real gefilmten Szenen zu überlagern bzw. zu vereinen. Es soll also beispielsweise in eine real gefilmte Bildfolge, die beispielsweise eine Studiosituation mit realen Schauspielern zeigt, eine Bildfolge mit wie beschrieben erzeugten Bildinhalten, die beispielsweise virtuelle, computeranimierte Lebewesen oder Hintergründe zeigt, eingebettet werden.
  • Dabei besteht das Bestreben, die in die reale Bildfolge einzubettenden Bildinhalte so nahtlos wie nur möglich zu integrieren. Je nach Bildinhalt kommt es dabei nicht unbedingt darauf an, dem Betrachter zu suggerieren, es handle sich tatsächlich um realen Inhalt, sondern es soll vielmehr der Eindruck erzeugt werden, dass der gesamte Bildinhalt nativ ohne Nachbearbeitung entstanden ist. Für diesen Eindruck wird momentan ein großer Aufwand betrieben, der in erster Linie Bild-für-Bild-Manipulationen umfasst. Dabei werden mittels Bildbearbeitungsprogrammen Änderungen an einzelnen Bildinhalten vorgenommen mit dem Ziel, diese möglichst gut in die real gefilmte Szenerie einzupassen. Diese Bildnachbearbeitungen müssen größtenteils manuell vorgenommen werden und basieren auf Erfahrungswerten. Für ein überzeugendes Seherlebnis ist es entscheidend, dass die einmodellierten Spezialeffekte gewissermaßen mit dem realen Bildinhalt verschmelzen und der Betrachter keinen Bruch wahrnimmt. Die für die entsprechende Situation zutreffenden Einstellungen (FOV, Öffnung, Eintrittspupille, Lage, Brennweite, etc.) werden mittels physikalischer Modelle simuliert.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern anzugeben, das die oben genannten Anforderungen erfüllt, einen höheren Grad an nahtloser Integration liefert und gleichzeitig einen geringeren manuellen Aufwand erfordert.
  • Diese Aufgabe wird durch ein Verfahren gemäß dem unabhängigen Anspruch 1 gelöst. Das erfindungsgemäße Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern, wobei die Einzelbilder der ersten oder der zweiten Abfolge von Einzelbildern mithilfe eines Objektivs aufgenommen wurden, umfasst die Schritte eines Bestimmens der Eigenschaften eines Lichtstrahls innerhalb des Objektivs für die Einzelbilder der ersten Abfolge und des Erstellens oder Anpassens der Einzelbilder der zweiten Abfolge unter Berücksichtigung der Eigenschaften eines Lichtstrahls innerhalb des Objektivs des jeweiligen Einzelbilds der ersten Abfolge.
  • Bei dem Anpassen des Bildinhalts der Einzelbilder der zweiten Abfolge kann es sich um ein nachträgliches Umrechnen bereits errechneter oder anderweitig erzeugter Einzelbildfolgen handeln. Dabei können beispielsweise die Einzelbilder der ersten Abfolge exakt mit den Bildern der zweiten Abfolge zusammengefügt werden. Bei dem Erstellen der Einzelbilder der zweiten Abfolge kann es sich um ein Erstellen der Einzelbilderfolge mittels eines Objektivs, also ein Aufnehmen einer Bildfolge im herkömmlichen Sinn, oder um ein Errechnen einer Einzelbildfolge im Sinne einer Bildsynthese (Rendering) auf Basis einer virtuellen Szene handeln. Dabei können beispielsweise aus den Bildern der zweiten Abfolge einzelne Elemente wie beispielsweise Personen oder Gegenstände extrahiert und in die Bilder der ersten Abfolge integriert werden.
  • Bei einer bevorzugten Ausführungsform umfasst der Schritt des Bestimmens der Eigenschaften eines Lichtstrahles innerhalb des Objektivs ein Bestimmen der Eintrittspupille und des Sichtfeldes des Objektivs für die Einzelbilder der ersten Abfolge.
  • Der Schritt des Bestimmens der Eintrittspupille und des Sichtfeldes, auch Field of View (FoV) genannt, des Objektivs ermöglicht es, bei dem Anpassen oder Erstellen des Bildinhalts der Einzelbilder der zweiten Abfolge die genaue Blickrichtung, das von dem Objektiv tatsächlich erfasste Sichtfeld und die Eintrittspupille für die Berechnung oder Umrechnung des Bildinhalts der zweiten Abfolge zu berücksichtigen.
  • Beispielsweise kann sich bei einem Fokussiervorgang des Objektivs zur Anpassung an einen anderen Objektiv-Motiv-Abstand die Eintrittspupille oder/und das Sichtfeld leicht, aber doch merkbar, ändern. Dieser Effekt macht sich unter anderem als Veränderung des Bildausschnitts bemerkbar und ist auch als Pumpen (engl. „focus breathing“) bekannt. Während dieser Effekt bei Einzelaufnahmen kaum relevant ist, macht er sich bei Filmsequenzen bemerkbar und stellt insbesondere bei der nachträglichen Einfügung von simulierten oder virtuellen, d.h. errechneten Bildinhalten eine große Herausforderung für die herkömmliche Vorgehensweise dar. Werden hingegen bei der Errechnung der hinzuzufügenden Bildinhalte bereits die Eintrittspupille und das Sichtfeld berücksichtigt, kann ein Zusammenfügen der Bildinhalte auf wesentlich einfachere Weise und vor allem weitgehend ohne manuelle Eingriffe erfolgen.
  • Eine bevorzugte Ausführungsform der Erfindung umfasst einen Schritt eines Zusammenfügens des Bildinhalts einer ersten Abfolge von Einzelbildern und des Bildinhalts einer zweiten Abfolge von Einzelbildern, wobei das Zusammenfügen ein Anpassen des Bildinhalts der Einzelbilder der zweiten Abfolge an den Bildinhalt der Einzelbilder der ersten Abfolge oder ein Erstellen der Einzelbilder der zweiten Abfolge umfasst, jeweils unter Berücksichtigung der Eintrittspupille und des Sichtfelds des Objektivs des jeweiligen Einzelbilds der ersten Abfolge. Nachdem das Erzeugen bzw. das Anpassen der zweiten Abfolge von Einzelbildern unter Kenntnis der Informationen bezüglich der Lage der Eintrittspupille und des Sichtfeldes des Objektivs erfolgte, ist ein Zusammenfügen der beiden Bilderfolgen - beispielsweise ein Überlagern beider Bilderfolgen oder ein Einfügen eines Bildinhalts der zweiten Einzelbildfolge in den Bildinhalt der ersten Bilderfolge - ohne größere Anpassungen möglich.
  • Bei einer weiteren Ausführungsform der Erfindung ist vorgesehen, bei dem Schritt des Anpassens oder des Erstellens der Einzelbilder neben der Eintrittspupille und des Sichtfeldes eine Position einer Austrittspupille, eine Schärfentiefe, eine gegebenenfalls auch farbabhängige Vignettierung, eine Verzeichnung, ein Bokeh, einen Farbfehler, einen Fokus, eine Position von Linsenelementen innerhalb eines Objektivs, eine Apertur, eine Belichtungsdauer, eine Farberscheinung oder/und einen Reflex innerhalb der Kamera zu berücksichtigen. Die genannten Parameter können einzeln oder in einer beliebigen Kombination Berücksichtigung finden. Des Weiteren können auch andere relevante Parameter wie beispielsweise die Position von Lichtquellen, die Art der Lichtquelle, die Verteilung und die Intensität von Schatten, eine Bewegungsunschärfe etc. erfasst werden. Bei der Lichtquelle kann beispielsweise die Spektralverteilung des Lichtes, die Abstrahlcharakteristik, die Intensität der Strahlung etc. erfasst werden. Je mehr Eigenschaften des Objektivs oder der Szene bei dem Schritt des Anpassens oder Erstellens zur Verfügung stehen und Berücksichtigung finden, desto besser ist eine Anpassung des Bildinhalts der zweiten Bildfolge an den der ersten Bildfolge möglich.
  • Wird eine hinreichend hohe Anzahl der genannten Parameter bei dem Schritt des Anpassens oder insbesondere des Erstellens der Einzelbilder berücksichtigt, kann bei dem Betrachter der Eindruck erweckt werden, die zusammengefügte Bildfolge wäre ohne ein nachträgliches Zusammenfügen entstanden.
  • Bei einer Ausführungsform der Erfindung ist vorgesehen, dass der Schritt des Erstellens der Einzelbilder der zweiten Abfolge ein Erstellen der Einzelbilder mittels eines Renderns einer virtuellen Szene umfasst. Dies stellt eine häufige Anforderung dar und kann mittels der Erfassung der Lage der Eintrittspupille in der Szene und des Sichtfelds des Objektivs für die Einzelbilder der ersten Abfolge auf einfache Weise gelöst werden.
  • Alternativ hierzu kann bei einer Ausführungsform der Erfindung der Schritt des Anpassens der Einzelbilder der zweiten Abfolge ein Erstellen der Einzelbilder mittels eines Objektivs für eine Kamera vorausgehen. Bei dem Objektiv für die Kamera muss es sich nicht um das gleiche Objektiv handeln, mit dem die erste Abfolge der Einzelbilder aufgenommen wurde. Vielmehr kann aufgrund der Bestimmung der Eintrittspupille und des Sichtfelds eine Umrechnung des Bildinhalts der zweiten Einzelbildfolge derart vorgenommen werden, dass ein problemloses Zusammenfügen der ersten und der zweiten Abfolge von Einzelbildern erfolgen kann.
  • Bei einer Weiterbildung der Erfindung ist vorgesehen, dass der Schritt des Bestimmens ein Aufzeichnen eines oder mehrerer Abbildungsparameter des Objektivs bei der Aufnahme der ersten Abfolge der Einzelbilder umfasst. Die so für beispielsweise für jedes Einzelbild oder für eine Mehrzahl an Einzelbilder erfassten Abbildungsparameter - wie eben die Eintrittspupille, das Sichtfeld, etc. können bei dem Erstellen oder dem Anpassen der zweiten Abfolge der Einzelbilder verwendet werden. Dies reduziert den Aufwand für das Zusammenfügen der ersten und der zweiten Abfolge der Einzelbilder. So können beispielsweise bei einer sogenannten Bluescreen- oder Greenscreen-Aufnahme, bei der Schauspieler oder Gegenstände vor einem neutralen (beispielsweise blauen oder grünen) Hintergrund aufgenommen werden, die bei dieser Aufnahme verwendeten Parameter erfasst, insbesondere auch zeitaufgelöst, und bei der Erstellung einer virtuellen Szene auf Basis dieser Aufnahme verwendet werden. Dies bietet den Vorteil, dass keine nachträglichen Berechnungen bezüglich der möglicherweise verwendeten Einstellungen vorgenommen werden müssen, die Bildinhalte der beiden Einzelbildfolgen auf einfache Weise zusammengefügt werden können und das Endergebnis sehr realistisch/authentisch wirkt.
  • Bei einer Weiterbildung dieser Ausführungsform ist vorgesehen, dass die Abbildungsparameter des Objektivs in Echtzeit zur Erstellung der Einzelbilder der zweiten Abfolge verwendet werden. Dies kann beispielsweise dafür eingesetzt werden, eine Greenscreen- / Bluescreen-Szene während der Entstehung, d.h. der Aufnahme, in Echtzeit an einen Simulationsrechner weiterzugeben, der in Echtzeit das vorgesehene Zusammenfügen mit bereits vorbereiteten Bildinhalten oder mit im Moment errechneten Bildinhalten vornimmt und auf einer Anzeige wie beispielsweise einem Monitor oder einem Okular darstellt. Somit kann eine entsprechende Bluescreen- / Greenscreeen-Aufnahme bereits bei der Entstehung beurteilt und gegebenenfalls korrigiert oder wiederholt werden.
  • Bei einer Ausführungsform der Erfindung ist vorgesehen, dass der Schritt des Bestimmens der Eigenschaften eines Lichtstrahls für ein erstes Objektiv erfolgt und der Schritt des Erstellens der Einzelbilder der zweiten Abfolge zusätzlich unter Berücksichtigung der Eigenschaften eines Lichtstrahls innerhalb eines zweiten Objektivs erfolgt. Somit kann beispielsweise eine erste Einzelbildfolge, die mit einem ersten Objektiv (beispielsweise einem Weitwinkelobjektiv) aufgenommen wurde, in eine zweite Einzelbildfolge umgerechnet werden, die dann den Eindruck hervorruft, als wäre sie mit einem anderen Objektiv (beispielsweise einem Tele-Objektiv) aufgenommen worden.
  • Bei einer Weiterbildung der Erfindung ist vorgesehen, dass der Schritt des Bestimmens ein Aufzeichnen einer zeitlichen Abfolge von Abbildungsparametern umfasst. Somit können insbesondere bei einer Filmaufnahme, welche die Aufnahme einer Reihe von Einzelbildern in enger zeitlicher Reihenfolge umfasst, für alle Einzelbilder oder für eine bestimmte Untermenge der Einzelbilder die für ein Zusammenfügen erforderlichen Parameter erfasst und berücksichtigt werden. Beispielsweise kann vor dem eigentlichen Drehbeginn der Kameramann in einer virtuellen Szene mit einer virtuell arbeitenden Kamera eine Aufnahme vorab durchspielen und so die aufzunehmende Szene planen. Man kann dies als Prävisualisierung oder Previsualizing bezeichnen.
  • Auf diese Weise können beispielsweise verschiedene Kameraeinstellungen oder verschiedene Objektivarten bezüglich künstlerischer Aspekte oder/und einer möglichen technischen Realisierbarkeit ausprobiert und überprüft werden. Mögliche zeitaufgelöst erfassbare Parameter können beispielsweise die Position des Objektivs, die Richtung des Objektivs, die momentanen Einstellungen bezüglich Fokus, Blende oder/und Zoom sein. Diese Aufzeichnungen können in einem späteren Arbeitsschritt für die Planung eines Sets verwendet werden.
  • Da die Aufnahmezeit eines Filmes normalerweise teuer und oft begrenzt ist, wird die Vorabvisualisierung mittels Rendering angewendet um die allgemeinen Kosten zu minimieren. Der Vorteil der Vorabvisualisierung (eng. „Previsualisation“) besteht darin, dass ein Regisseur, Kameramann oder VFX-Supervisor mit verschiedenen Inszenierungs- und Kunstrichtungsanwendungsoptionen wie Beleuchtung, Kameraplatzierung, -bewegung und optischen Einstellungen des Objektivs wie z.B. Fokusabschnitt, Brennweite oder Schärfentiefe, Regieausrichtung und Bearbeitung experimentieren kann, ohne dass signifikante Kosten für die Produktion anfallen. Bei Projekten mit größerem Budget arbeiten die Regisseure mit Schauspielern in der Abteilung für visuelle Effekte oder in speziellen Räumen.
  • Prävisualisierungen können Musik, Soundeffekte und Dialoge hinzufügen, um das Aussehen vollständig produzierter und bearbeiteter Szene-Sequenzen zu emulieren. Sie werden am häufigsten in Szenen mit Stunts und Spezialeffekten (wie Chroma-Key) verwendet. Während der Vorabvisualisierung werden Digitale Videos, Fotografie, handgezeichnete Kunst, Clip-Art und 3D-Animationen kombiniert. Außer bei der Film-Industrie und Photographie kann die Anwendung von Rendering zur Previsualisation bei der Bauplanung, der Schönheitschirurgie oder der Positionierung von medizinischen Implantaten angewendet werden.
  • In diesem Zusammenhang kann das erfindungsgemäße Verfahren wie eben beschrieben zusätzlich ein Planen einer Aufnahme der ersten Abfolge von Einzelbildern anhand der Aufzeichnung der zeitlichen Abfolge von Abbildungsparametern oder/und ein Aufnehmen der ersten Abfolge von Einzelbildern unter Verwendung der Aufzeichnung der zeitlichen Abfolge von Abbildungsparametern umfassen. Dies ermöglicht wie bereits erläutert das Erstellen von Bildsequenzen mit einem hohen Maß an Vorplanung mittels einer sehr realistisch wirkenden Aufnahmesimulation.
  • Des Weiteren betrifft die Erfindung ein Datenverarbeitungssystem mit Mitteln zum Ausführen des erfindungsgemäßen Verfahrens sowie ein Computerprogramm.
  • Es können mit der Erfindung das Optikdesign, also die Abmessungen, Eigenschaften und die Lage der Linsen innerhalb eines Objektivs in der Simulation einer Szene verwendet werden. Wie bereits erläutert werden moderne Animationen für Spielfilme mittels Rendering erzeugt. Dabei werden virtuelle Strahlen von einem virtuellen Sensorpixel durch eine virtuelle Lochkamerablende in eine virtuelle dreidimensionale Szene verfolgt. Der Pixel erhält dann, je nachdem, wo der Strahl in der Szene auftrifft, eine entsprechende Farbe und Intensität. Durch die vorliegende Erfindung wir das einfache Lochblendenmodell durch das Raytracing eines Optikdesignprogramms ersetzt. Dies führt zu einer extrem realistischen Simulation des Objektivs. Um den Realitätsgrad weiter zu steigern, können neben oder zusätzlich zu dem Raytracing-Verfahren auch wellenoptische Effekte simuliert werden. Hierbei kann beispielsweise die Point-Spread-Funktion mittels eines Beugungsintegrals berechnet werden.
  • Eine mögliche Ausführungsform der Erfindung kann darin bestehen, ein dreidimensionales Computermodell eines Filmsets zur Planung von Szenen zu verwenden (Prävisualisierung). In einem solchen Modell können zu filmende Szenen beispielsweise nur grob modelliert oder/und animiert werden und daraus - ausgehend von der gewünschten Szene - Anforderungen an Schauspieler, Kamera (und deren Einstellungen und Positionen), dem benötigten Equipment, Kulissen und/oder Spezialeffekten abgeleitet werden. Vor Drehbeginn plant der Kameramann in einer virtuellen Szene mit einer virtuellen Kamera die Aufnahme. Mit der realistischen Simulation der Kamera können hier verschiedene Kameraeinstellungen beispielsweise vor dem eigentlichen Drehen ausgetestet werden. So können Kosten gespart, unerwartete Situationen erkannt und so Szenen besser geplant werden. Beispielsweise kann die üblicherweise manuell durchgeführte Fokuseinstellung besonders bei schnell bewegten Motiven geübt werden oder die Eignung bestimmter Objektivarten (reale oder noch nicht realisierte Prototypen) getestet werden. Es können auch Einstellungen in Bezug auf künstlerische Aspekte und technische Realisierbarkeit ausprobiert werden. Beispielsweise können Position, Richtung, Fokus, Blenden, Zoom-Stellung bei der Simulation zeitaufgelöst gespeichert werden. Diese Informationen werden dann benutzt um das Set zu planen. Wahlweise können diese Daten dann auf eine elektronische gesteuerte reale Kamera übertragen werden und diese Sequenz von Einstellungen auf der realen Kamera abgespielt werden.
  • Eine andere Ausführungsform kann die teilweise oder vollständige, photorealistische Erstellung von Filmszenen ausgehend von 3D Modellen umfassen. Es können Realfilmszenen mit computeranimierten Szenen überlagert werden, beispielsweise virtuelle Lebewesen in reale Szenerien oder/und Schauspieler in virtuelle Szenerien oder Kombinationen von beidem. Hierzu werden oft sogenannte Greenscreens verwendet. Für die Qualität der Kombination von realen Szene mit Computeranimationen ist es wichtig wie gut die Beleuchtungsbedingungen, die Bewegungsunschärfe, die Farbwiedergabe, das Rauschen etc. im Modell mit der Aufnahme der realen Szenerie übereinstimmen. Produktionen, bei denen diese modellierten Spezialeffekte nicht mit der Szenerie verschmelzen, wirken beim Betrachter sofort nicht professionell genug. Die Modellierung des Objektivs mit einem Lochkamera-Modell berücksichtigt nur die (konstante) Brennweite des Objektivs in stark vereinfachter Weise. Allein die perspektivische Wiedergabe einer Szene hängt von der Lage der Eintritts- und Austrittspupille sowie der Brennweitenänderung des Objektivs ab. Diese Pupillenlagen sind dabei individuell vom Objektiv abhängige Funktionen der Fokussierentfernung und Zoomstellung. Außerdem ist die Blendenzahl wichtig, die mit die Tiefenschärfe der Szene bestimmt. Daneben gibt es eine Reihe von Objektivparametern wie Verzeichnung, Randlichtabfall, Farbwiedergabeabweichungen, chromatischen Fehler, Reflexabhängigkeiten etc. Konkret können bei einer Greenscreen-Szene beispielsweise Position, Richtung, Fokus-, Blenden- und Zoomstellung bei der Bildaufnahme zeitaufgelöst gespeichert. Diese Einstellungen werden bei der Erstellung der virtuellen Szene benutzt. Als Vorteile lassen sich ein authentischer Look und eine einfache Überlagerung der Bilder nennen.
  • Alternativ oder zusätzlich können bei einer Greenscreen-Szene beispielsweise Position, Richtung, Fokus-, Blenden- und Zoomstellung bei der Bildaufnahme direkt an eine Echtzeit-Simulation weitergegeben und beide Bilder überlagert im Okular oder auf dem Display überlagert.
  • Insgesamt können mit der Erfindung je nach Ausführungsform eine Reihe von Vorteilen realisiert werden: Es können Einstellzeiten der Kamera durch einer Voraberstellung der Einstellungen innerhalb einer virtuellen Szene verkürzt werden. Es können ganze Kameraaufnahmen im Voraus geplant werden und Kameraeinstellungen und Veränderungen derselben in einer virtuellen Kamera aufgezeichnet und auf einer realen Kamera wiedergegeben werden. Es kann die Aufnahmequalität bestimmter Filmaufnahmen insbesondere bei Szenen, die nicht beliebig oft wiederholt werden können, durch vorheriges Training des Kameramanns verbessert werden. Es kann bei der Aufnahmen einer virtuellen Szene der gleiche Eindruck wie bei der Aufnahme einer realen Szene durch eine exakte Simulation des realen Objektivs erzeugt werden. Es können mit einer realen Kamera simulierte Szenen animiert/erzeugt werden. Es kann ein virtuelles Prototyping für eine noch real existierendes Objektiv / eine Kamera durchgeführt werden.
  • Eine Ausführungsform der Erfindung sieht vor, eine 3D-Bildsimulation im Rahmen eines Computerprogramms mit gespeicherten und interpolierten Point-Spread-Function-Daten durchzuführen. Das Verfahren weist die Schritte auf:
    • Bestimmen einer Größe, einer Form und einer Lage der Austrittspupille eines Objektivs für eine ausgewählte Gruppe an Bildpunkten; beispielsweise kann hierfür ein 2-D-Punktgitter mit einem Rasterabstand von ca. 5,4 mm gewählt werden;
    • Interpolation der Größe, Form und Lage von Bildpunkten zwischen den ausgewählten Bildpunkten für andere Bildpositionen;
    • Eingabe einer Objektraumfunktion; unter der Objektraumfunktion kann eine dreidimensionale Funktion von Intensitäten abhängig von dem Abstand relativ zu der Eintrittspupille eines Objektivs verstanden werden; die Objektraumfunktion umfasst beispielsweise die spektralen Eigenschaften wie beispielsweise RGB-Daten oder Graustufen-Daten oder/und den Abstand von Objekt zu Eintrittspupille (Tiefenkarte);
    • Erstellen einer Point-Spread-Funktion durch eine Verknüpfung der Objektraumfunktion mit einer Objektivfunktion, welche die Zuordnung von Objektraum und Bildraum vornimmt; auf diese Weise umfasst die Point-Spread-Funktion die optischen Designdaten des Objektivs, gegebenenfalls einschließlich der Beschichtungsdaten einzelner oder aller optischer Elemente in dem Objektiv;
    • Integration der Point-Spread-Funktion über Objektkoordinaten;
    • Integration der Point-Spread-Funktion über die Form der Austrittspupille, um so eine Wellenfront-Deformation durch die Austrittspupille zu berücksichtigen;
    • Erzeugen eines gerenderten Objektraumes.
  • Zusätzlich kann bei dieser Ausführungsform eine Kompensation für eine digitale Aberration (Verzerrung oder/und Schattierung, etc.) erfolgen.
  • Eine weitere Alternative Ausführungsform der Erfindung sieht vor, eine 3-D-Bildsimulation mit Daten einer optischen Transferfunktion durchzuführen. Das Verfahren weist die Schritte auf:
    • Bestimmen einer Größe, einer Form und einer Lage der Austrittspupille eines Objektivs für eine ausgewählte Gruppe an Bildpunkten; beispielsweise kann hierfür ein 2-D-Punktgitter mit einem Rasterabstand von ca. 5,4 mm gewählt werden;
    • Interpolation einer Größe, einer Form und einer Lage von Bildpunkten zwischen den ausgewählten Bildpunkten für andere Bildpositionen, um eine Austrittspupillenfunktion zu erhalten;
    • Eingabe einer Objektraumfunktion; unter der Objektraumfunktion kann eine dreidimensionale Funktion von Intensitäten abhängig von dem Abstand relativ zu der Eintrittspupille eines Objektivs verstanden werden; die Objektraumfunktion kann man beispielsweise aus einer Kombination der Wellenlängen und einer optischen Transferfunktion erhalten; um die optische Transferfunktion zu erhalten, wird eine Faltung der Austrittspupillenfunktion (Autokorrelation) durchgeführt;
    • Berechnen einer kontinuierlichen Fourier-Transformation aus der Objektraumfunktion;
    • Integrieren des Produkts aus optischer Transferfunktion und fouriertransformierter Objektraumfunktion über die Austrittspupillenkoordinaten für eine feste Wellenlänge;
    • Wiederholung der Berechnung über viele Wellenlängen;
    • Integrieren über die Wellenlängen über jedem Farbkanal (spektrale Response-Funktion) und der spektralen Verteilung der Lichtquelle;
    • Erzeugen eines Bildes für jeden Farbkanal (RGB);
    • Überlagern der Bilder für jeden Farbkanal (RGB), um ein realistisches Bild zu erhalten.
  • Bei den genannten Ausführungsformen stellt sich das Problem, eine Fouriertransformation für stark defokussierte Objektraumpunkte durchzuführen. Dies erfordert ein sehr hohes Rastersamplen der Austrittpupille, beispielsweise 10.000 x 10.000 statt 30 x 30. Dies ist zeitaufwändig und die Laufzeiten sind sehr hoch.
  • Dementsprechend sieht eine alternative Ausführungsform der Erfindung vor, ein strahlverfolgungsbasiertes (Raytracing) Rendering einer 3-D-Bildsimulation durchzuführen. Das Verfahren basiert darauf, dass die in ein Objektiv einfallenden Lichtstrahlen zur Lichtquelle zurückverfolgt werden. Das Verfahren weist die Schritte auf:
    • Bestimmen einer Größe, einer Form und einer Lage der Austrittspupille eines Objektivs für eine ausgewählte Gruppe an Bildpunkten; beispielsweise kann hierfür ein 2-D-Punktgitter mit einem Rasterabstand von ca. 5,4 mm gewählt werden;
    • Interpolation der Größe, Form und Lage von Bildpunkten zwischen den ausgewählten Bildpunkten für andere Bildpositionen;
    • Berechnung einer Strahlrichtung; beispielsweise platziert innerhalb der durch die Austrittspupille definierten Begrenzung;
    • Erstellen einer Strahlfunktion; diese kann beispielsweise eine Wahrscheinlichkeitsfunktion darstellen und die richtungsabhängige Verteilung von Strahlen angeben und beispielsweise die Eingangskoordinaten mit den Ausgangskoordinaten verknüpfen; je einem Eingangsstrahl können von hunderten bis mehreren Millionen Ausgangsstrahlen rauskommen, je nach Qualität des Renderns die man erreichen möchte.
    • Simulieren aller Strahlen bis zur Lichtquelle;
    • Integrieren über den Winkelraum der Lichtquelle und der Entfernung zur Lichtquelle für alle diskreten Ausgangsstrahlen;
    • Wiederholen des Verfahrens für jeden Eingangsstrahl, der aus dem Objektiv zum Objekt führt; beispielsweise für 10.000 Strahlen;
    • Integrieren aller Ausgangsstrahlen, die an der Lichtquelle ankommen, für alle Eingangsstrahlen;
    • Erzeugen eines Bildes.
  • Figurenliste
  • Nachfolgend werden Ausführungsbeispiele der Erfindung anhand der Zeichnungen näher erläutert. In diesen zeigen:
    • 1A, 1B ein Ablaufdiagramm und eine schematische Darstellung eines ersten erfindungsgemäßen Verfahrens;
    • 2A, 2B ein Ablaufdiagramm und eine schematische Darstellung eines zweiten erfindungsgemäßen Verfahrens; und
    • 3A, 3B ein Ablaufdiagramm und eine schematische Darstellung eines dritten erfindungsgemäßen Verfahrens.
  • BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE
  • Die 1A, 1B geben ein erstes erfindungsgemäßes Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern wieder. In einem ersten Schritt S11 wird eine erste Einzelbilderfolge mittels einer realen Kamera 10 erzeugt. Für das erste Verfahren ist es nicht von Belang, ob diese erste Einzelbilderfolge tatsächlich gespeichert wird. Die Einzelbilderfolge kann gespeichert werden, sie kann aber auch lediglich erzeugt und nicht aufgezeichnet werden.
  • In einem zweiten Schritt (S12) werden die Kameraeinstellungen und die Kamerapositionen der ersten Bildfolge erfasst. Dies geschieht bevorzugt während des Erzeugens der Bildfolge, d.h. der Aufnahme der ersten Bildfolge mittels der realen Kamera 10. Wird dies während der Aufnahme durchgeführt, kann die Aufzeichnung der ersten Bilderfolge unterbleiben. Bei den Kameraeinstellungen und -positionen kann es sich zumindest um die Position der Eintrittspupille und das Sichtfeld des aufnehmenden Objektivs handeln, es können aber zusätzlich weitere Parameter wie beispielsweise eine Blende/Apertur, eine Belichtungsdauer, eine Zoomstellung, einen Fokus etc. erfasst werden.
  • In einem weiteren Schritt (S13) werden die Kameraeinstellungen und -positionen als Daten 11 auf eine virtuelle Kamera 12 übertragen. Auch dieser Schritt kann nach den ersten beiden Schritten S11, S12 oder gleichzeitig mit diesen erfolgen. Es können also die Aufnahme der ersten Bilderfolge (S11), das Erfassen der Kameraeinstellungen und -positionen (S12) und das Übertragen derselben (S13) gleichzeitig oder bei geeigneter Zwischenspeicherung auch nacheinander mit einem zeitlichen Versatz erfolgen. Entsprechend kann die Übertragung der Kameraeinstellungen und -positionen
  • Bei der virtuellen Kamera 12 kann es sich beispielsweise um einen Parametersatz für Einstellungen eines Bildsyntheseprogramms 18 handeln, mit dem eine virtuelle Bilderfolge 14, resultierend aus einer virtuellen Szene 16 entsprechend dem weiteren Schritt S14 eine zweite Bilderfolge mittels der Kameraeinstellungen und -positionen erzeugt werden kann. Bei dem Bildsyntheseprogramm kann es sich beispielsweise um ein Berechnungsprogramm handeln, das einen Raytracing-Algorithmus einsetzt. Mittels den von der realen Kamera 10 erhaltenen Daten sowie eventuell bereits vorab bekannten Daten kann in dem Bildsyntheseprogramm ein Modell der Kamera 10 angelegt werden. Mittels dieses Modells - eben der virtuellen Kamera 12 - können einerseits objektivspezifische und damit für die optische Abbildung relevante Effekte einbezogen werden. Dies ermöglicht eine realistische Simulation des eingesetzten Objektivs bzw. der ganzen Kamera 10. Andererseits können aufgrund einer gegebenenfalls auch zeitaufgelösten Erfassung der Eintrittspupille und des Sichtfeldes die Bewegung der realen Kamera 10 und damit gegebenenfalls auch verbundene Effekte wie der Einfluss von Beleuchtungsbedingungen an verschiedenen Orten oder Effekte wie eine Bewegungsunschärfe, eine Farbwiedergabe oder ein Rauschen bei der Erzeugung des virtuellen Bildes Einfluss finden.
  • Bei einer konkreten Ausgestaltung dieses Verfahrens könnte beispielsweise eine reale Kamera 10 gewissermaßen als Controller einer virtuellen Kamera 12 für die Erzeugung einer virtuellen Bilderfolge 14 innerhalb einer virtuellen Szene 16 eingesetzt werden. Auf diese Weise kann eine computeranimierte Szene auf einfache Weise erzeugt werden.
  • Die 2A, 2B zeigen eine zweite Ausführungsform eines erfindungsgemäßen Verfahrens. Für die folgenden Ausführungsformen werden für gleiche oder vergleichbare Merkmale gleiche Bezugszeichen verwendet und nicht nochmals gesondert erläutert, um Wiederholungen zu vermeiden. Das Verfahren der 2A, 2B sieht ebenfalls wie bei dem vorangehend beschriebenen Verfahren ein Aufnehmen einer ersten Bilderfolge mittels einer realen Kamera 10 (S21) vor. Dabei ist bei diesem Verfahren vorgesehen, dass das Aufnehmen der ersten Bilderfolge in einer tatsächlich existenten realen Szene 20 vor sich geht und in einer realen Bilderfolge 22 resultiert. Wie bereits vorher erläutert werden auch bei diesem Verfahren die Kameraeinstellungen und -positionen erfasst (S22) und auf eine virtuelle Kamera 12 übertragen (S23).
  • Die bei diesen Schritten S21-S23 gewonnenen Informationen werden nun dazu verwendet, in einem weiteren Schritt (S24) eine zweite Bilderfolge 24 mit einer virtuellen Kamera 12 innerhalb einer virtuellen Szene 16 mittels eines Bildsyntheseprogramms 18 unter Berücksichtigung der Kameraeinstellungen und -positionen 11 zu erzeugen. Bei der Erzeugung der zweiten, virtuellen Bilderfolge 24 stehen bereits die Informationen 11 beispielsweise über Lage der Eintrittspupille und das Sichtfeld der Kamera 10 der realen Bilderfolge 22 zur Verfügung. Bei einer konkreten Anwendung könnte es sich bei der ersten realen Bildfolge 22 beispielsweise um eine Greenscreen-Szene bei einer Filmaufnahme handeln. In einem solchen Fall könnte beispielsweise Position und Ausrichtung der Kamera 10, Fokus, Blende, Zoomstellung bei der Bildaufnahme zeitaufgelöst erfasst werden. Diese Informationen können dann entsprechend bei der Erstellung der virtuellen Szene 16 und letztendlich bei der Erstellung der virtuellen Bilderfolge 24 verwendet werden.
  • In einem weiteren Schritt S24 können die erste, reale Bilderfolge 22 und die zweite, virtuelle Bilderfolge 24 zu einer zusammengefügten Bilderfolge 26 zusammengefügt werden. Dabei kann in dem genannten Beispiel der Greenscreen-Technik der virtuelle Bildinhalt der virtuellen Bilderfolge 24 in den Bildinhalt der realen Bilderfolge 22 integriert werden. Es ergibt sich aufgrund der weitgehend nahtlosen Einfügemöglichkeit ein authentisches Aussehen der zusammengefügten Bilderfolge 26. Zudem kann das Überlagern/Einfügen auf eine sehr einfache Weise erfolgen.
  • Eine weitere Ausführungsform des erfindungsgemäßen Verfahrens ist in den 3A, 3B dargestellt. In einem ersten Schritt (S31) wird eine virtuelle Szene 16 unter Berücksichtigung der räumlichen und sonstigen Daten 13 einer realen Szene 20 erstellt. In einem zweiten Schritt (S32) wird eine erste Bilderfolge 24 mittels der virtuellen Kamera 12 aufgenommen. Da bei kommt es in dieser Ausführungsform nicht darauf an, diese erste Bilderfolge 24 abzuspeichern. Vielmehr ist es bei dieser Ausführungsform das Ziel, dem Kameramann vor dem eigentlichen Aufnehmen einer realen Bilderfolge 22 die Möglichkeit zu geben, verschiedene Einstellungen der Kamera auszutesten und zu planen. Mit einer realistischen Simulation der realen Kamera 10 durch die virtuelle Kamera 12 können auf diese Weise verschiedenen Kameraeinstellungen und -positionen beispielsweise auch in Bezug auf künstlerische Aspekte und technische Realisierbarkeit geplant und ausprobiert werden.
  • Entsprechend werden in einem weiteren Schritt die Kameraeinstellungen und die Kamerapositionen der virtuellen Kamera 12 erfasst (S33). Dies geschieht in bevorzugter Weise zeitaufgelöst, d.h. jeder erfassten Kameraeinstellung und -position ist eine Zeitmarke zugeordnet. Bevorzugt werden die Einstellungen und Positionen für jedes Einzelbild der Einzelbildfolge erfasst. Je nach Ausgestaltung kann die Erfassungshäufigkeit aber auch den Gegebenheiten angepasst werden. So kann beispielsweise eine geringere Häufigkeit als für jedes Bild vorgesehen sein. Die Häufigkeit kann dabei auf eine feste Häufigkeit - jedes n-te Bild - einstellbar sein oder in Abhängigkeit von stattfindenden Veränderungen anpassbar sein. Die erfassten Einstellungen können beispielsweise Position, Richtung, Fokus, Blende oder Zoomstellung umfassen. Die so erfassten Informationen können dann dazu verwendet werden, den Set und den Kameradreh zu planen.
  • Wahlweise können die so erfassten Kameraeinstellungen und -positionen in einem weiteren Schritt auf eine reale Kamera 10 übertragen (S34) werden. Diese Einstellungen können dann bei den realen Aufnahmen der zweiten Abfolge von Einzelbildern berücksichtigt werden. Beispielsweise können die Kameraeinstellungen während der Aufnahme in der realen Kamera 20 als Einstellungssequenz abgespielt werden, so dass der Kameramann entlastet ist und sich während der Aufnahme um weniger Aufnahmedetails kümmern muss.

Claims (15)

  1. Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern, wobei die Einzelbilder der ersten oder der zweiten Abfolge von Einzelbildern mithilfe eines Objektivs aufgenommen (S11) wurden, mit folgenden Schritten: - Bestimmen der Eigenschaften eines Lichtstrahles innerhalb eines Objektivs für die Einzelbilder der ersten Abfolge (S12); - Erstellen oder Anpassen der Einzelbilder der zweiten Abfolge unter Berücksichtigung der Eigenschaften des Lichtstrahles innerhalb des Objektivs des jeweiligen Einzelbilds der ersten Abfolge (S14).
  2. Verfahren nach Anspruch 1, wobei der Schritt des Bestimmens der Eigenschaften eines Lichtstrahles innerhalb des Objektivs ein Bestimmen der Eintrittspupille und des Sichtfeldes des Objektivs für die Einzelbilder der ersten Abfolge umfasst (S12); oder/und wobei der Schritt des Erstellens oder Anpassens der Einzelbilder der zweiten Abfolge unter Berücksichtigung der Eintrittspupille und des Sichtfelds des Objektivs des jeweiligen Einzelbilds der ersten Abfolge erfolgt.
  3. Verfahren nach Anspruch 1 oder 2, mit dem Schritt eines Zusammenfügens des Bildinhalts einer ersten Abfolge von Einzelbildern und des Bildinhalts einer zweiten Abfolge von Einzelbildern (S25), wobei das Zusammenfügen ein Anpassen des Bildinhalts der Einzelbilder der zweiten Abfolge an den Bildinhalt der Einzelbilder der ersten Abfolge oder ein Erstellen der Einzelbilder der zweiten Abfolge umfasst, jeweils unter Berücksichtigung der Eintrittspupille und des Sichtfelds des Objektivs des jeweiligen Einzelbilds der ersten Abfolge.
  4. Verfahren nach Anspruch 3, wobei der Schritt des Anpassens oder Erstellens der Einzelbilder neben dem Berücksichtigen der Eintrittspupille und des Sichtfeldes eine Berücksichtigen einer Position einer Austrittspupille, einer Schärfentiefe, einer Vignettierung, einer Verzeichnung, eines Bokehs, eines Farbfehlers, eines Fokus, einer Position von Linsenelementen innerhalb eines Objektivs, einer Apertur, einer Belichtungsdauer, einer Farberscheinung oder/und eines Reflex innerhalb eines Objektivs umfasst.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Erstellens der Einzelbilder der zweiten Abfolge ein Erstellen der Einzelbilder mittels eines Renderns einer virtuellen Szene (S24) umfasst.
  6. Verfahren nach einem der Ansprüche 1 bis 4, wobei dem Schritt des Anpassens der Einzelbilder der zweiten Abfolge ein Erstellen der Einzelbilder mittels eines Objektivs für eine Kamera (S21) vorausgeht.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Bestimmens der Eigenschaften eines Lichtstrahls für ein erstes Objektiv erfolgt und der Schritt des Erstellens der Einzelbilder der zweiten Abfolge zusätzlich unter Berücksichtigung der Eigenschaften eines Lichtstrahls innerhalb eines zweiten Objektivs erfolgt.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Bestimmens umfasst: - Aufzeichnen eines oder mehrerer Abbildungsparameter des Objektivs bei der Aufnahme der ersten Abfolge der Einzelbilder (S22); und wobei der Schritt des Anpassens oder Erstellens umfasst: - Verwenden der Abbildungsparameter bei einem Anpassen oder Erstellen der Einzelbilder der zweiten Abfolge (S24).
  9. Verfahren nach Anspruch 8, wobei die Abbildungsparameter des Objektivs in Echtzeit zur Erstellung der Einzelbilder der zweiten Abfolge verwendet werden.
  10. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Bestimmens ein Aufzeichnen einer zeitlichen Abfolge von Abbildungsparametern umfasst.
  11. Verfahren nach Anspruch 10, mit den Schritten: a) Planen einer Aufnahme der ersten Abfolge von Einzelbildern anhand der Aufzeichnung der zeitlichen Abfolge von Abbildungsparametern (S34); oder/und b) Aufnehmen der ersten Abfolge von Einzelbildern unter Verwendung der Aufzeichnung der zeitlichen Abfolge von Abbildungsparametern (S34).
  12. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche auf einem oder mehreren der Gebiete Kinematographie, Photographie, Computerspiele, medizinische Bildgebung, Sicherheitsanwendungen wie beispielsweise Gesichtserkennung, computerbasierte Simulationen, virtuelle Realität oder/und industrielle Messtechnik.
  13. Datenverarbeitungssystem, mit Mitteln zum Ausführen der Schritte eines der Ansprüche 1-12.
  14. Computerprogramm mit Befehlen, die bewirken, wenn sie auf einem Datenverarbeitungssystem ausgeführt werden, dass das Datenverarbeitungssystem die folgenden Schritte ausführt: - Bestimmen einer Größe, einer Form oder/und einer Lage einer Austrittpupille eines Objektivs für eine vorbestimmte Gruppe an Bildpunkten; - Eingabe einer Objektraumfunktion; - Erstellen einer Point-Spread-Funktion oder/und Eingeben einer optischen Transferfunktion oder/und Erstellen einer Strahlfunktion; - Erzeugen eines Bildes.
  15. Flüchtiges oder nicht-flüchtiges computerlesbares Speichermedium, das ein Computerprogramm gemäß Anspruch 14 aufweist.
DE102018118187.6A 2018-07-27 2018-07-27 Verfahren und Datenverarbeitungssystem zur Synthese von Bildern Pending DE102018118187A1 (de)

Priority Applications (11)

Application Number Priority Date Filing Date Title
DE102018118187.6A DE102018118187A1 (de) 2018-07-27 2018-07-27 Verfahren und Datenverarbeitungssystem zur Synthese von Bildern
JP2021503548A JP7489960B2 (ja) 2018-07-27 2019-07-29 画像の合成のための方法及びデータ処理システム
CA3107886A CA3107886A1 (en) 2018-07-27 2019-07-29 Method and data-processing system for synthesizing images
EP19758614.2A EP3830796A1 (de) 2018-07-27 2019-07-29 Verfahren und datenverarbeitungssystem zur synthese von bildern
PCT/EP2019/070332 WO2020021121A1 (de) 2018-07-27 2019-07-29 Verfahren und datenverarbeitungssystem zur synthese von bildern
KR1020217005518A KR102686182B1 (ko) 2018-07-27 2019-07-29 이미지 합성을 위한 방법 및 데이터 처리 시스템
CN201980050059.2A CN112513933A (zh) 2018-07-27 2019-07-29 用于合成图像的方法和数据处理系统
NZ772353A NZ772353A (en) 2018-07-27 2019-07-29 Method and data-processing system for synthesizing images
AU2019309552A AU2019309552B2 (en) 2018-07-27 2019-07-29 Method and data-processing system for synthesizing images
US17/159,506 US12008708B2 (en) 2018-07-27 2021-01-27 Method and data processing system for creating or adapting individual images based on properties of a light ray within a lens
US18/372,479 US20240029342A1 (en) 2018-07-27 2023-09-25 Method and data processing system for synthesizing images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018118187.6A DE102018118187A1 (de) 2018-07-27 2018-07-27 Verfahren und Datenverarbeitungssystem zur Synthese von Bildern

Publications (1)

Publication Number Publication Date
DE102018118187A1 true DE102018118187A1 (de) 2020-01-30

Family

ID=67742349

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018118187.6A Pending DE102018118187A1 (de) 2018-07-27 2018-07-27 Verfahren und Datenverarbeitungssystem zur Synthese von Bildern

Country Status (10)

Country Link
US (2) US12008708B2 (de)
EP (1) EP3830796A1 (de)
JP (1) JP7489960B2 (de)
KR (1) KR102686182B1 (de)
CN (1) CN112513933A (de)
AU (1) AU2019309552B2 (de)
CA (1) CA3107886A1 (de)
DE (1) DE102018118187A1 (de)
NZ (1) NZ772353A (de)
WO (1) WO2020021121A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020119601A1 (de) 2020-07-24 2022-01-27 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Hintergrundwiedergabesystem
EP4040396A1 (de) * 2021-02-03 2022-08-10 Carl Zeiss AG Verfahren zur simulation einer optischen abbildung

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019134022B3 (de) * 2019-12-11 2020-11-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren und Vorrichtungen zum Emulieren von Kameraobjektiven
US12106427B2 (en) * 2019-12-13 2024-10-01 Sony Group Corporation Rendering back plates
US11869135B2 (en) * 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data
PL4068198T3 (pl) * 2021-04-01 2024-05-27 Carl Zeiss Ag Sposób generowania obrazu obiektu, produkt programu komputerowego i system generowania obrazu do przeprowadzania sposobu
US11514654B1 (en) * 2021-12-09 2022-11-29 Unity Technologies Sf Calibrating focus/defocus operations of a virtual display based on camera settings

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050168485A1 (en) * 2004-01-29 2005-08-04 Nattress Thomas G. System for combining a sequence of images with computer-generated 3D graphics
US20090102841A1 (en) * 1999-03-26 2009-04-23 Sony Corporation Setting and visualizing a virtual camera and lens system in a computer graphic modeling environment

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990935A (en) 1997-04-04 1999-11-23 Evans & Sutherland Computer Corporation Method for measuring camera and lens properties for camera tracking
US6268863B1 (en) * 1997-10-02 2001-07-31 National Research Council Canada Method of simulating a photographic camera
JP2004227332A (ja) 2003-01-23 2004-08-12 Hitachi Ltd 情報表示方法
JP2005252680A (ja) 2004-03-04 2005-09-15 Fujinon Corp レンズシステム
CN101968880A (zh) * 2010-09-10 2011-02-09 中国科学院软件研究所 一种图像散景效果的生成方法
US20140218358A1 (en) * 2011-12-01 2014-08-07 Lightcraft Technology, Llc Automatic tracking matte system
US10417824B2 (en) * 2014-03-25 2019-09-17 Apple Inc. Method and system for representing a virtual object in a view of a real environment
KR20170020796A (ko) * 2014-06-20 2017-02-24 퀄컴 인코포레이티드 완전한 넓은 시야 이미지들을 캡처하는 것을 가능하게 하는 시차 없는 얇은 다중 카메라 시스템
JP6682184B2 (ja) * 2014-12-19 2020-04-15 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
EP3291532B1 (de) * 2015-04-28 2020-07-22 Sony Corporation Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
US10291899B2 (en) * 2015-11-30 2019-05-14 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image
US10692288B1 (en) * 2016-06-27 2020-06-23 Lucasfilm Entertainment Company Ltd. Compositing images for augmented reality
US10713836B2 (en) * 2018-06-25 2020-07-14 Microsoft Technology Licensing, Llc Simulating lenses

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090102841A1 (en) * 1999-03-26 2009-04-23 Sony Corporation Setting and visualizing a virtual camera and lens system in a computer graphic modeling environment
US20050168485A1 (en) * 2004-01-29 2005-08-04 Nattress Thomas G. System for combining a sequence of images with computer-generated 3D graphics

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020119601A1 (de) 2020-07-24 2022-01-27 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Hintergrundwiedergabesystem
US11665307B2 (en) 2020-07-24 2023-05-30 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Background display system
EP4040396A1 (de) * 2021-02-03 2022-08-10 Carl Zeiss AG Verfahren zur simulation einer optischen abbildung
AU2022200296B2 (en) * 2021-02-03 2023-03-16 Carl Zeiss Ag Method for simulating an optical image

Also Published As

Publication number Publication date
NZ772353A (en) 2024-02-23
JP2021532649A (ja) 2021-11-25
JP7489960B2 (ja) 2024-05-24
AU2019309552A1 (en) 2021-02-18
CA3107886A1 (en) 2020-01-30
US12008708B2 (en) 2024-06-11
CN112513933A (zh) 2021-03-16
US20240029342A1 (en) 2024-01-25
KR102686182B1 (ko) 2024-07-19
US20210150804A1 (en) 2021-05-20
EP3830796A1 (de) 2021-06-09
AU2019309552B2 (en) 2023-12-14
WO2020021121A1 (de) 2020-01-30
KR20210038609A (ko) 2021-04-07

Similar Documents

Publication Publication Date Title
DE102018118187A1 (de) Verfahren und Datenverarbeitungssystem zur Synthese von Bildern
EP3944604B1 (de) Hintergrundwiedergabesystem
DE69107267T2 (de) Verfahren und vorrichtung zur modifizierung einer zone sukzessiver bilder.
EP3427474B1 (de) Bildverarbeitungsverfahren, bildverarbeitungsmittel und bildverarbeitungsvorrichtung zur erzeugung von abbildungen eines teils eines dreidimensionalen raums
DE102007021518B4 (de) Verfahren zum Verarbeiten eines Videodatensatzes
WO2004073352A1 (de) Vorrichtung und verfahren zum bestimmen einer wiedergabeposition
DE102015223003A1 (de) Vorrichtung und Verfahren zur Überlagerung zumindest eines Teils eines Objekts mit einer virtuellen Oberfläche
DE102013020611B4 (de) Ein Ansatz für eine Kamerasteuerung
EP3836533B1 (de) Verfahren und vorrichtungen zum emulieren von kameraobjektiven
DE19753246C2 (de) Vorrichtung zur Bestimmung von dreidimensionalen Daten von Objekten
WO2017059993A1 (de) Verfahren zur aufnahme eines bildes mit einem mobilgerät
DE102015010264A1 (de) Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
EP4068198B1 (de) Verfahren zur erzeugung eines bilds eines objekts, computerprogrammprodukt und bilderzeugungssystem zur durchführung des verfahrens
DE102009001518A1 (de) Verfahren zur Erzeugung einer HDR-Videobildfolge
DE102024103250A1 (de) Steuervorrichtung, Steuerverfahren und Bilderfassungsvorrichtung
DE102021126316A1 (de) Aufnahmeverfahren und Aufnahmesystem
DE102020131578A1 (de) Bereitstellen eines Bildes einer virtuellen Kamera basierend auf einer gemeinsamen Erfassung einer Szene mit einer Mehrzahl Kameras
WO2017211511A1 (de) Verfahren und vorrichtung zur erstellung eines panoramabilds
DE102019101313A1 (de) Messeinrichtung und Verfahren zum dreidimensionalen optischen Vermessen von Messobjekten
DE102020131576A1 (de) Erzeugen einer Panoramakarte zur Erfassung einer Szene mit mehreren Kameras
DE102013227197A1 (de) Verfahren zur Erzeugung eines Bildes eines Objekts
DE102018122435A1 (de) Virtuelle dreidimensionale Objekte in einem Livevideo
DE102007038817A1 (de) Verfahren und Einrichtung zur Projektion virtueller stehender oder bewegter Bilder und / oder Raumobjekte auf eine reale Projektionsfläche
DE102017131083A1 (de) System und Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit
DE102017101524A1 (de) Projektionsmapping-Verfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed