DE102012023299A1

DE102012023299A1 - Einrichtung und Algorithmus zum Erfassen von HDR-Video (High Dynamic Range - hoher Dynamikumfang)

Info

Publication number: DE102012023299A1
Application number: DE102012023299.3A
Authority: DE
Inventors: Noam Levy; Guy Rapaport
Original assignee: Zoran Corp
Current assignee: Qualcomm Inc
Priority date: 2012-07-02
Filing date: 2012-11-28
Publication date: 2014-01-02
Also published as: GB201308910D0; GB2505276B; US20140002694A1; GB2505276A; US9489706B2

Abstract

Ausführungsformen betreffen das Ermöglichen, dass Digitalkameras eine erfasste Sequenz von Bildern mit niedrigem Dynamikumfang mit einer Echtzeitvideorate digital verarbeiten und die Bildsequenz in eine Bildsequenz mit hohem Dynamikumfang (HDR – High Dynamic Range) konvertieren unter Verwendung einer Pipeline-Architektur. Zwei oder mehr Einzelbilder werden unter Verwendung verschiedener Belichtungseinstellungen erfasst und dann kombiniert, um ein einzelnes HDR-Ausgabebild in einer Videosequenz auszubilden. Die Pipeline-Architektur bearbeitet benachbarte Einzelbilder durch Durchführen einer Bildausrichtung, einer Bildmischung und eines Tone-Mapping an den benachbarten Einzelbildern, um die HDR-Bildsequenz zu erzeugen.

Description

ERFINDUNGSGEBIET
Die vorliegenden Ausführungsformen betreffen allgemein die digitale Videobildverarbeitung und insbesondere, aber nicht ausschließlich, zumindest die Verwendung einer Digitalkamera zum Implementieren eines Einzelbild-Pipelining-Ansatzes, der mehrere eingegebene Einzelbilder kombiniert, um in Echtzeit während einer Videoerfassung für eine Videosequenz ein einzelnes HDR-Ausgabeeinzelbild (HDR – High Dynamic Range – hoher Dynamikumfang) auszubilden.
ALLGEMEINER STAND DER TECHNIK
Der Dynamikbereich einer Digitalbildeinrichtung wie etwa einer Digitalkamera ist das Verhältnis zwischen der größten Lichtmenge, die die Einrichtung ohne Sättigung einfangen kann, und der geringsten Lichtmenge, die die Einrichtung präzise messen und von intrinsischem Bildrauschen (elektrischem, thermischem usw.) unterscheiden kann. Die meisten im Handel erhältlichen Digitalkameras können nur einen kleinen Teil des natürlichen Beleuchtungsbereichs einer Szene aus der realen Welt einfangen.
Typische Digitalkameras, die auf CMOS-(Complementary Metal-Oxide-Silicon)- oder CCD(Charge Coupled Device – ladungsgekoppeltes Bauelement)-Technologien basieren, fangen Bilder als LDR-Bilder (Low Dynamic Range – geringer Dynamikumfang) ein. LDR-Bilder bedeuten oftmals, dass der Dynamikumfang von Farben eines eingefangenen Bildes begrenzt oder abgeschnitten ist. Ein Beispiel für solche resultierenden Bilder kann Bereiche enthalten, die zu dunkel sind, wobei sie ein Signal erzeugen, das unter dem intrinsischen Rauschpegel des Elektroniksensors liegt, und Bereiche, die als zu hell bestimmt werden, wobei sie auf weiß abgeschnitten werden (manchmal als Sättigung bezeichnet).
HDR-Bildlösungen versuchen den Beleuchtungsdynamikumfang, der eingefangen wird, zu vergrößern, um einen volleren Bereich von Bildfarben zu liefern. Beispielsweise könnten dunklere Bilder in verschiedenen Grauschattierungen erscheinen, um mehr Bilddetails zu liefern, die in einem Schattengebiet einer Szene vorliegen könnten. HDR-Lösungen versuchen dann, Details in einem Bild beizubehalten, die ansonsten aufgrund der Grenzen der Kontrastverhältnisse möglicherweise verloren gehen. Die vorliegende Erfindung erfolgte somit bezüglich dieser Überlegungen und anderer.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Nichtbeschränkende und nichterschöpfende Ausführungsformen werden unter Bezugnahme auf die folgenden Zeichnungen beschrieben. In den Zeichnungen beziehen sich gleiche Bezugszahlen durch die verschiedenen Figuren hinweg auf gleiche Teile, sofern nicht etwas anderes angegeben ist.
Zu einem besseren Verständnis der vorliegenden Ausführungsformen wird auf die folgende ausführliche Beschreibung Bezug genommen, die in Verbindung mit den beiliegenden Zeichnungen zu lesen ist. Es zeigen:
1 ein Systemdiagramm einer Ausführungsform eines Umfelds, in dem die Ausführungsformen praktiziert werden können;
2 eine Ausführungsform eines verbesserten Bildprozessors mit einem Pipeline-HDR-Konverter, der für das Praktizieren verschiedener Ausführungsformen verwendet werden kann;
3 eine Ausführungsform einer Pipeline-Architektur, die zum dynamischen Herstellen von HDR-Videosequenzen in Echtzeit verwendet werden kann;
4 eine Ausführungsform eines Bildflusses innerhalb einer Pipeline-Architektur zum dynamischen Herstellen von HDR-Videosequenzen in Echtzeit aus erfassten benachbarten Eingabeeinzelbildern;
5 eine Ausführungsform eines Pipeline-Prozessflusses zum Herstellen von HDR-Videosequenzen in Echtzeit; und
6 ein nichtbeschränkendes, nichterschöpfendes eindimensionales Beispiel einer gewichtenden Nachschlagetabellenfunktion, die beim Mischen von Gewichten verwendet wird.
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Verschiedene Ausführungsformen werden nun im Folgenden unter Bezugnahme auf die beiliegenden Zeichnungen ausführlicher beschrieben, die einen Teil hiervon bilden und die als Veranschaulichung spezieller Aspekte zeigen, in denen die Ausführungsformen praktiziert werden können. Diese Ausführungsformen können jedoch viele verschiedene Formen annehmen und sollten nicht so ausgelegt werden, als seien sie auf die hier dargelegten Ausführungsformen beschränkt; vielmehr werden diese Ausführungsformen vorgelegt, damit diese Offenbarung gründlich und vollständig ist und dem Fachmann den Schutzbereich umfassend übermittelt. Die vorliegenden Ausführungsformen können unter anderem Verfahren oder Einrichtungen enthalten. Dementsprechend können die vorliegenden Ausführungsformen die Form von ausschließlich Hardware- oder einer Kombination aus Software- und Hardwareaspekten annehmen. Die folgende ausführliche Beschreibung ist deshalb nicht in einem beschränkenden Sinne zu verstehen.
Im Verlauf der Spezifikation und der Ansprüche besitzen die folgenden Ausdrücke die explizit hier assoziierten Bedeutungen, sofern der Kontext nicht deutlich etwas anderes angibt. Die Phrase ”in einer Ausführungsform”, wie hier verwendet, bezieht sich nicht notwendigerweise auf die gleiche Ausführungsform, wenngleich sie dies kann. Ferner bezieht sich die Phrase ”in einer weiteren Ausführungsform”, wie sie hier verwendet wird, nicht notwendigerweise auf eine andere Ausführungsform, wenngleich sie dies kann. Somit können, wie unten beschrieben, verschiedene Ausführungsformen der Erfindung ohne Weiteres kombiniert werden, ohne von dem Schutzbereich oder Gedanken der Erfindung abzuweichen.
Außerdem ist der Ausdruck ”oder” ein inklusiver ”oder” – Operator und ist gleichwertig dem Ausdruck ”und/oder”, sofern der Kontext nicht deutlich etwas anderes angibt. Der Ausdruck ”auf der Basis von” ist nicht ausschließend und gestattet das Basiertsein auf nicht beschriebenen zusätzlichen Faktoren, sofern der Kontext nicht deutlich etwas anderes angibt. Außerdem beinhaltet durch die Spezifikation hinweg die Bedeutung von ”ein/eine” und ”der/die/das” mehrere Referenzen. Die Bedeutung von ”in” beinhaltet in ”in” und ”an”.
Der Ausdruck ”Bild” oder ”Bilddaten”, wie er hier verwendet wird, bezieht sich auf Daten, die ein in wenigstens zwei Dimensionen anzuzeigendes Bild definieren und können die Form einer einzelnen Anzeige des Bilds oder einer zeitlich variierenden Anzeige einer Sequenz von Bildern annehmen, die mehrere Videoeinzelbilder umfassen, die zeitlich beabstandet sein können. Weiterhin stellt der Ausdruck ”Einzelbild” nur ein Bild innerhalb einer Sequenz von Bildern dar.
Der Ausdruck ”Echtzeit”, wie er hier verwendet wird, bezieht sich auf die Verarbeitung eines Bildes (oder anderer Daten), sobald das Bild oder die Bilddaten erhalten oder eingefangen werden. Somit gibt Echtzeit an, dass das Bild wenigstens mit einer gleichen Rate verarbeitet wird, mit der das Bild erhalten (oder eingefangen) wird. Dies wird manchmal auch als ”Echtzeitvideorate” bezeichnet.
Das Folgende beschreibt kurz die Ausführungsform, um ein grundlegendes Verständnis von einigen Aspekten zu vermitteln. Diese kurze Beschreibung ist nicht als ein umfassender Überblick gedacht. Sie soll keine wichtigen oder entscheidenden Elemente identifizieren oder den Schutzbereich abgrenzen oder anderweitig verengen. Ihr Zweck besteht lediglich darin, einige Konzepte in einer vereinfachten Form vorzulegen als Auftakt für die ausführlichere Beschreibung, die später vorgelegt wird.
Kurz gesagt, dienen Ausführungsformen dazu, es handgehaltenen Digitalkameras oder anderen Mobileinrichtungen mit einer Digitalkamerakomponente zu ermöglichen, eine eingefangene LDR-Bildsequenz mit einer Echtzeitvideorate digital zu verarbeiten und die Bildsequenz unter Verwendung einer Pipeline-Architektur in eine HDR-Bildsequenz zu konvertieren. Bei einer Ausführungsform können Bilder schneller als mit einer gewünschten finalen (Ausgabe-)Einzelbildrate erfasst werden, wobei zwei oder mehr Bilder (Einzelbilder) einer Szene unter Verwendung verschiedener Belichtungseinstellungen erfasst werden. Die verschiedenen Belichtungseinstellungen könnten beispielsweise unterschiedliche Belichtungszeiten, unterschiedliche Blendenwerte oder dergleichen beinhalten. Die mehreren Einzelbilder werden dann kombiniert, um ein einzelnes HDR-Ausgabeeinzelbild auszubilden, das dann auf einer Videosequenz (oder einem Videostrom) aufgezeichnet werden kann. Bei einer Ausführungsform können dunkle Bereiche in einem Einzelbild durch Pixel von einem helleren Einzelbild ersetzt werden, um Details der Szene aufzuhellen und zu verbessern; während gesättigte Bereiche in einem Einzelbild durch Pixel von einem dunkleren Einzelbild ersetzt werden können, um ausgebrannte Details in dem Gesamtbild wiederherzustellen. Dies kann während des Pipelining der benachbarten Einzelbilder durch eine Bildausrichtungsstufe, eine Bildmischstufe und eine Tonmappingstufe durchgeführt werden, wie weiter unten beschrieben.
Veranschaulichende Arbeitsumfelder
1 zeigt Komponenten eines Umfelds, in dem Ausführungsformen praktiziert werden können. Möglicherweise sind nicht alle die Komponenten zum Praktizieren der Ausführungsformen erforderlich, und Variationen bei der Anordnung und Art der Komponenten können vorgenommen werden, ohne von dem Gedanken oder Schutzbereich der Erfindung abzuweichen. Vielmehr können verschiedene Implementierungen des Systems viel mehr oder weniger Komponenten als jene in 1 gezeigten enthalten. Die gezeigten Komponenten reichen jedoch aus, um eine veranschaulichende Ausführungsform für das Praktizieren der vorliegenden Erfindung zu offenbaren.
Wie gezeigt, kann das System 100 von 1 eine Kamera oder eine beliebige einer Vielzahl anderer möglicher tragbarer Einrichtungen darstellen, einschließlich Mobiltelefonen, Smartphones, Displaypagers, Hochfrequenzeinrichtungen (HF-Einrichtungen), Infraroteinrichtungen (IR-Einrichtungen), PDAs (Personal Digital Assistants), handgehaltene Computer, Laptopcomputer, tragbare Computer, Tabletcomputer, integrierte Einrichtungen, die eine oder mehrere der vorausgegangenen Einrichtungen kombinieren, und dergleichen, die ausgelegt werden können, Bilder zu erfassen und zu verarbeiten, einschließlich Bildsequenzen. Bei einer Ausführungsform kann das System 100 nicht gezeigte Komponenten enthalten, wie etwa eine Linse oder andere optische Elemente, und einen oder mehrere Bildsensoren zum Empfangen von Bildern, die in ein digitales Bild zur Verarbeitung und nachfolgenden Speicherung in einer oder mehreren Speichereinrichtungen konvertiert werden können.
Wie gezeigt, kann das System 100 Komponenten auf einem einzelnen integrierten Schaltungschip oder auf mehreren verschiedenen Schaltungschips enthalten. Jedenfalls enthalten in 1 gezeigte Komponenten eine Taktschaltung 102 zum Liefern von Taktsignalen an die Schaltungschips und andere Komponenten. Wenngleich als eine separate Komponente dargestellt, ist zu verstehen, dass die Taktschaltung 102 auch auf einem Enhanced Image Processor (EIP) 200 oder dergleichen enthalten sein kann.
Ebenfalls gezeigt ist ein flüchtiger Direktzugriffsspeicher-(RAM – Random Access Memory)Schaltungschip 106, der an den EIP 200 gekoppelt sein kann, um eine temporäre Datenspeicherung bereitzustellen. Bei einer Ausführungsform kann der RAM 106 ausgelegt sein, Bilddaten zu empfangen und zu speichern, wie etwa ein oder mehrere Einzelbilder von Bilddaten zur Verwendung durch den EIP 200 oder zur Ausgabe von Daten von dem EIP 200 sowie zum Speichern von Skalierungsfaktoren, verschiedenen Statistiken über ein Bild, Verzeichnungsdaten, Tiefenschätzstatistiken, Disparitätskartendaten, Quantisierungsdaten und dergleichen. Ein separater nichtflüchtiger Festwertspeicher-(ROM – Read-Only Memory)Speicherchip 104 ist ebenfalls an den EIP 200 gekoppelt und kann für die Speicherung eines Prozessorprogramms, von Kalibrierungsdaten, von Nachschlagetabellen (LUIS Look-Up Tables), nichtlinearen Funktionen und einer Vielzahl anderer von dem System 100 verwendbarer Daten eingesetzt werden. Bei einer Ausführungsform kann der ROM 104 ein Flash-Speicher sein, der umprogrammiert werden kann, oder ein Speicher, der einmal programmiert werden kann, wie etwa ein programmierbarer Festwertspeicher (PROM – Programmable Read-Only Memory), ein elektrisch programmierbarer Festwertspeicher (EEPRO – Electrically Programmable Read-Only Memory) oder einer einer Vielzahl anderer Speichereinrichtungen.
Wenngleich dies nicht dargestellt ist, können in dem System 100 eine andere Art von Speicher- oder physischer Speichereinrichtungen enthalten sein, einschließlich beispielsweise Speicherkarten, die elektrisch löschbare und programmierbare Halbleiter-Flash-Festwertspeicher-, entfernbare sich drehende Magnetplattenspeicher-, entfernbare USB-(Universal Serial Bus)Einrichtungen oder eine beliebige einer Vielzahl anderer Speichereinrichtungen beinhalten können. Bei einer Ausführungsform kann das System 100 auch ausgelegt sein, durch eine Eingangs-/Ausgangs-Einrichtung (E/A) 108 auf Speichereinrichtungen zuzugreifen, die sich außerhalb des Systems 100 befinden können. Somit ist zu verstehen, dass der EIP 200 ausgelegt sein kann, ein oder mehrere Einzelbilder von Bilddaten zu erhalten, das eine oder die mehreren erhaltenen Einzelbilder unter Verwendung von Pipeline-Operationen zu bearbeiten, um Informationen von einem oder mehreren Einzelbildern einer Szene zu einem einzelnen ausgegebenen HDR-Einzelbild von Bilddaten zu verschmelzen und zusammenzuführen, die HDR-Bilddaten zu komprimieren und einen resultierenden komprimierten (codierten) Bitstrom von Daten unter Verwendung einer Vielzahl von Speichereinrichtungen und/oder Kommunikationsmechanismen zu speichern oder anderweitig zu senden. Es versteht sich, dass der Bitstrom auch über verschiedene Kommunikationsmechanismen zur Anzeige und/oder Speicherung auf einer anderen Einrichtung geschickt werden kann.
Die E/A-Einrichtung 108 enthält eine Schaltungsanordnung zum Koppeln des Systems 100 an eine oder mehrere externe Einrichtungen, Netzwerke und dergleichen, und ist zur Verwendung mit einem oder mehreren Kommunikationsprotokollen und -technologien konstruiert, einschließlich einem oder einer beliebigen einer Vielzahl von Kommunikationsprotokollen und -technologien, die zum Kommunizieren von Bildern verwendet werden können, einschließlich Bilder zu und/oder von dem System 100. Bei einer Ausführungsform ist die E/A-Einrichtung 108 manchmal als ein Sendeempfänger, eine Sendeempfangseinrichtung oder eine Netzwerkschnittstellenkarte (NIC – Network Interface Card) bekannt.
Die E/A-Einrichtung 108 kann auch für andere Kommunikationen sorgen, einschließlich zur Verwendung verschiedener Eingabeeinrichtungen wie etwa Tastenfelder, Touchscreens oder dergleichen sowie Ausgabeeinrichtungen einschließlich Schirmdisplays, Audioausgaben oder dergleichen. Somit kann das System 100, wenngleich nicht gezeigt, auch einen Lautsprecher und/oder ein Mikrofon enthalten, die an die E/A-Einrichtung 108 gekoppelt sein können, um Kommunikationen zu ermöglichen. Das System 100 kann auch ein Display enthalten, das ein Flüssigkristalldisplay (LCD – Liquid Crystal Display), ein Gasplasma, eine Leuchtdiode (LED – Light Emitting Diode) oder irgendeine andere Art von Display beinhalten kann, das zum Liefern von Text und/oder einem Bild zur Anzeige verwendet werden kann. Weiterhin kann das Display bei einer Ausführungsform auch einen berührungsempfindlichen Schirm enthalten, der ausgelegt ist zum Empfangen einer Eingabe von einem Objekt wie etwa einem Stift oder einem Finger von einer menschlichen Hand.
Dargestellt ist außerdem ein Bildsensor- und Analog-Digital-Wandler (A/W) 110, der ausgelegt sein kann, ein ein Bild darstellendes Analogsignal zu empfangen und das empfangene Signal in digitale Bilddaten zu konvertieren, bei denen es sich bei einer Ausführungsform um eine Sequenz von individuellen Blöcken von digitalen Bilddaten handeln kann, die eine Lichtintensität darstellen, die durch verschiedene Fotodetektoren eines Bildsensors und/oder einer Linsenanordnung (nicht gezeigt) empfangen werden können. Der Bildsensor- und A/D 110 kann dann die digitalen Daten an den EIP 200 zur Verarbeitung liefern. Bei einer Ausführungsform können die von dem EIP 200 empfangenen Daten in einem rohen Bayer-Format vorliegen. Es können jedoch auch andere Datenformate verwendet werden, beispielsweise können unter anderem die Bilddaten durch drei Komponenten des Bildsignals definiert werden; nämlich eine Luminanzkomponente (Y) und zwei komplementäre Chrominanz-(Farbdifferenzen)Komponenten (V = R – Y) und (U = B – Y).
Eine Ausführungsform des EIP 200 ist in 2 gezeigt. Der EIP 200 kann viel mehr oder weniger Komponenten als jene gezeigten enthalten. Die gezeigten Komponenten reichen jedoch aus, um eine veranschaulichende Ausführungsform zum Praktizieren verschiedener Ausführungsformen zu offenbaren.
Wie in 2 gezeigt, kann der EIP 200 einen Prozessor 208 umfassen, der eine Allzweck- oder spezialisierte zentrale Verarbeitungseinheit (CPU – Central Processing Unit) darstellen kann, die ausgelegt ist zum Durchführen einer Vielzahl von Berechnungen an einem Bild und/oder eine Sequenz von Bildern und zum Steuern verschiedener Operationen des Systems 100 als Reaktion auf computerlesbare Anweisungen, die in einer der Speichereinrichtungen von 1 wie etwa dem ROM 104 oder dergleichen gespeichert sein können. Bei einer Ausführungsform können digitale Daten von einem oder mehreren Bildern von der Eingabeschnittstellenschaltung 202 empfangen und durch eine Verbindung durch eine Speicherverwaltungseinrichtung 206 zu anderen Komponenten kommuniziert werden. Bei einer Ausführungsform kann der Pipeline-HDR-Konverter (PHC – Pipeline HDR Converter) 201 wie weiter unten beschrieben verwendet werden, um in Echtzeit erfasste Bilder innerhalb einer Sequenz von Bildern zu empfangen und sie in eine HDR-Bildsequenz zu konvertieren. Bei einer Ausführungsform werden die erfassten Bilder als LDR-Bilder erfasst. Bei einer Ausführungsform kann der PHC 201 verschiedene Operationen an zwei oder mehr Bildern, die in der Sequenz von erfassten Bildern benachbart sind, am Fließband durchführen. Der PHC 201 kann beispielsweise die benachbarten Bilder ausrichten und die ausgerichteten Bilder mischen, um ein HDR-Bild herzustellen. Der PHC 201 kann ferner das HDR-Ergebnis in einen begrenzten Bildbereich wie etwa einen 8-Bit-Bereich abbilden, der beispielsweise in einer Displayeinrichtung angezeigt werden kann. Die HDR-Bildsequenz kann auch als ein komprimierter Bitstrom codiert werden, der durch eine Ausgabeschnittstellenschaltung 204 zu verschiedenen Speichereinrichtungen, zur Anzeige oder sogar über ein Netzwerk einschließlich ein drahtloses und/oder ein verdrahtetes Netzwerk zu einer anderen Einrichtung ausgegeben werden kann.
Schnittstellen 210 können für verschiedene Mechanismen sorgen zum Kommunizieren mit dem Prozessor 208 und/oder der Speicherverwaltung 206, anderen Komponenten, um Modifikationen an verschiedenen Handlungen zu ermöglichen, einen Status einer Handlung zu liefern, oder dergleichen durch eine andere Einrichtung, einen Endbenutzer oder dergleichen.
3 zeigt eine Ausführungsform einer Pipeline-Architektur, die verwendet werden kann, um HDR-Videosequenzen dynamisch in Echtzeit herzustellen. Die Architektur 300 von 3 kann viel mehr oder weniger Komponenten als die gezeigten enthalten. Die gezeigten Komponenten reichen jedoch aus, um eine veranschaulichende Ausführungsform zum Praktizieren verschiedener Ausführungsformen zu offenbaren.
Wie gezeigt, enthält die Architektur 300 einen Bildsensor- & A/D 110, den Prozessor 208, den PHC 201 und eine Speicherkomponente 320, die jeweils oben bezüglich 1–2 beschrieben sind. Beispielsweise kann die Speicherkomponente 320 einen ROM 104 und/oder einen RAM 106 von 1 darstellen. Die Architektur 300 enthält auch ein Display 307, das eine beliebige Einrichtung darstellt, das zum Anzeigen einer Videosequenz und/oder von Bildern verwendet werden kann. Bei einer Ausführungsform kann das Display 307 zum Anzeigen der Videosequenz als eine HDR-Videosequenz ausgelegt sein.
Der PHC 201 enthält auch eine Registrierungskomponente 302, eine Mischkomponente 303, eine Optische-Fluss-Komponente 304, eine Tone-Map-Komponente 305 und eine Bildcodierungskomponente 306, die jeweils integrierte Schaltungselemente oder Teilkomponenten auf einer integrierten Leiterplatte darstellen können, wie etwa eine applikationsspezifische integrierte Schaltung (ASIC – Application-Specific Integrated Circuit) oder dergleichen, wobei der Prozessor 208 ausgelegt ist zum Verwalten der Fließbandoperationen für die Architektur 300.
Kurz gesagt, enthält der Bildsensor- & A/D 110 einen Bildsensor, der ein empfangenes Bild in eine digitale Darstellung konvertiert. Bei einer Ausführungsform können benachbarte Bilder unter Verwendung verschiedener Belichtungseinstellungen erfasst werden. Die Ausdrücke ”Belichtung”, ”Belichtungswert” und ”ExpVal”, wie sie hier verwendet werden, beziehen sich auf eine auf dem Bildsensor treffende effektive Lichtmenge. Bei einer Ausführungsform, wo Exp Time eine Belichtungszeit ist, ISO eine Höhe der International Organization for Standardization (ISO) darstellt (z. B. eine ISO-Bewertung) und F die F-Zahl (Focal) des optischen Systems darstellt, dann kann die Belichtung proportional sein zu ISO·Exp Time/F².
Bei einer Ausführungsform kann ein erstes Bild mit einer längeren (oder höheren) Belichtungszeit als ein nachfolgendes Bild erfasst werden. Verschiedene andere Einstellungen können jedoch zusätzlich oder anstelle von variierenden Belichtungszeiten variiert werden. Beispielsweise könnten Blendenzahlen variiert werden; ISO-Bewertungen könnten zwischen benachbarten Bildern variiert werden; oder dergleichen. Bei einem Beispiel könnte das erste Bild als überbelichtet angesehen werden, um ein helles Bild zu erzeugen, während ein benachbartes Bild in der Sequenz als ein unterbelichtetes Bild angesehen werden könnte, um ein dunkles Bild zu erzeugen. Bei einer weiteren Ausführungsform könnte jedes ungeradzahlige Einzelbild in einer Sequenz von Bildern einer Belichtungskompensation um eine Blende +1 unterzogen werden, während jedes geradzahlige Einzelbild einer Belichtungskompensation um eine Blende –1 unterzogen werden könnte. Es können jedoch auch andere Kombinationen verwendet werden. Zudem ist zu verstehen, dass das erste Bild in der Sequenz von benachbarten Bildern eine niedrigere oder kürzere Belichtungseinstellung als ein benachbartes Bild aufweisen könnte.
Bei einer Ausführungsform werden die Bilder in einem Rohformat (Bayer-Format) erfasst. Der Bildsensor- & A/D 110 kann jedoch auch die Bilder in ein anderes Format wie etwa YUV konvertieren. Jedenfalls können die erfassten Bilder in einer Speicherkomponente 320 platziert werden, damit die anderen Komponenten, wie angebracht, Zugang dazu haben. Bei einer weiteren Ausführungsform kann das erfasste Bild direkt an eine nächste Komponente in der Pipeline-Sequenz von Komponenten weitergegeben werden, anstatt in der Speicherkomponente 320 platziert zu werden.
In jedem Fall kann die Registrierungskomponente 302 eine Bildausrichtung durchführen, einschließlich eines Verziehens eines der benachbarten Bilder mit einem anderen Bild. Ferner könnte bei einer Ausführungsform das Verziehen auch eine Linsenverzeichnung und/oder andere Probleme korrigieren. Das verarbeitete Einzelbild kann wieder im Speicher 320 platziert werden oder an eine nächste Komponente in der Pipeline weitergegeben werden.
Die Optische-Fluss-Komponente 304 kann ausgelegt sein, eine Übereinstimmungsextraktion zwischen den benachbarten Bildern durchzuführen, einschließlich des Behandelns von Problemen einer möglichen unterschiedlichen Luminanz zwischen den Bildern. Die Mischkomponente 303 kann verschiedene Operationen durchführen, wie unten offenbart, um Abschnitte der benachbarten Bilder zu mischen und ein einzelnes HDR-Einzelbild herzustellen. Dieses HDR-Einzelbild kann dann der Tone-Map-Komponente 305 vorgelegt werden, um verschiedene Töne des Bildes auf einen Bereich zu komprimieren, der der Konfiguration einer erwarteten Ausgabeeinrichtung entspricht. Beispielsweise könnte bei einer Ausführungsform die Tone-Map-Komponente 305 das Bild für eine erwartete 8-Bit-Ausgabeeinrichtung komprimieren. Es können auch andere Bitgrößen verwendet werden, auch aus anderen Gründen, anstelle von oder zusätzlich zu einer erwarteten Ausgabeeinrichtung. Es ist jedoch anzumerken, dass dieser Schritt optional sein kann, wenn Ausgabeeinrichtungen mit einer höheren Bitzahl zur Verfügung stehen und/oder höhere Bitraten erwünscht sind.
Eine Bildcodierungskomponente 306 kann dann die HDR-getönten Bilder empfangen und eine unterschiedliche Codierung des HDR-Einzelbilds auf ein computerlesbares komprimiertes Videoformat durchführen, einschließlich unter anderem H.264, MPEG-4 oder dergleichen.
4 zeigt eine Ausführungsform eines Bildflusses in der Pipeline-Architektur 300 von 3 zum dynamischen Herstellen von HDR-Videosequenzen in Echtzeit aus erfassten benachbarten eingegebenen Einzelbildern. Der Pipeline-Prozess 400 von 4 kann viel mehr oder weniger Komponenten als jene gezeigten enthalten. Die gezeigten Komponenten reichen jedoch aus, um eine veranschaulichende Ausführungsform zum Praktizieren verschiedener Ausführungsformen zu offenbaren. Wie in 4 gezeigt, entsprechen die Pipeline-Operationen den oben in Verbindung mit 3 erörterten verschiedenen Komponenten.
Der Pipeline-Prozess 400 zeigt eine Ausführungsform, wie die Architektur 300 von 3 in einem Zeitrafferdiagramm implementiert werden kann, wobei die Zeit als von links nach rechts zunehmend gezeigt ist und die Pipeline-Operationen auf der linken Seite gezeigt sind. Sätze von benachbarten Bildern sind durch die Blöcke dargestellt, wie etwa den Satz von benachbarten Bildern 402, während sie sich durch die Pipeline-Operationen bewegen. Beispielsweise veranschaulicht die Sequenz von Blöcken 410–412 Sätze von benachbarten Bildern 402, die durch eine Operation bearbeitet werden und sich dann zu einer anderen Operation in der Pipeline bewegen.
Der Satz von benachbarten Bildern 402 kann zwei oder mehr erfasste Einzelbilder umfassen. Beispielsweise können, wie dargestellt, benachbarte Bilder 402 Einzelbilder 401 und 402 beinhalten. Wie gezeigt, kann ein Einzelbild alle 1/60 Sekunden erfasst werden, und Pipeline-Operationen können über die Zeit durchgeführt werden, die in Intervalle von 1/30 Sekunden unterteilt ist. Das heißt, bei einer Ausführungsform können Bilder mit dem Doppelten einer nominellen Einzelbildrate erfasst werden.
Wie gezeigt, wird das Einzelbild 401 zu einem ersten Zeitpunkt und mit einer ersten Belichtungseinstellung erfasst (mit einem Pfeil gezeigt). Das benachbarte Einzelbild 402 wird dann zu einem zweiten Zeitpunkt (z. B. 1/60 Sekunde später) mit einer zweiten Belichtungseinstellung erfasst (wie durch einen Pfeil mit einer unterschiedlichen Länge als der Pfeil für das Einzelbild 401 dargestellt). Es sei angemerkt, dass andere Zeiteinzelbilder gewählt werden können sowie mehr als zwei Bilder innerhalb des Satzes von benachbarten Bildern 402 enthalten sein können.
Jedenfalls können, während der Satz von benachbarten Bildern 402 durch den Bildsensor- & ND 110 empfangen wird, verschiedene Operationen an benachbarten Bildern 402 ausgeführt werden, wie gezeigt. Während benachbarte Bilder 402 in der Pipeline bearbeitet werden, werden zusätzliche Bilder als Sätze von Bildern erfasst und innerhalb der Pipeline-Architektur verarbeitet. Somit bewegt sich, wie gezeigt, der Satz von Bildern 402 durch die verschiedenen Operationen, um die Sequenz 410 herzustellen. Eine ähnliche Fließbandverarbeitung von benachbarten Bildern erfolgt für die Sequenz 411 sowie jeden der anderen Sätze von benachbarten Bildern, in 4 gezeigt, Sequenz 412, und so weiter.
Somit kann die Konvertierung von einer LDR-Bildsequenz zu einer HDR-Bildsequenz in zwei Teilaufgaben unterteilt werden, die jeweils in einer einzelnen Einzelbildzeit durchgeführt werden können; jede oben beschriebene Komponente kann ihre Aufgabe ausführen und dann die Ergebnisse zu einer nächsten Komponente transferieren. Bei einer Ausführungsform brauchen deshalb keine Zwischenergebnisse in einem Speicher gespeichert zu werden. Während eine einzelne Einzelbildverarbeitungszeit bis etwa 150 ms oder mehr benötigen könnte, gestattet der Pipeline-Ansatz wie hier beschrieben einen Durchsatz eines Einzelbilds in etwa 33 Millisekunden. Es können sich jedoch auch andere Zeitwerte ergeben. Beispielsweise könnte bei einer anderen Ausführungsform die Einzelbildrate (FPS) des HDR-Stroms etwa die gleiche sein wie der Eingabestrom, indem ein erstes und ein zweites Einzelbild zu einem ersten HDR-Einzelbild, ein zweites und drittes Einzelbild zu einem zweiten HDR-Einzelbild usw. kombiniert werden.
Verallgemeinerter Betrieb
Der Betrieb gewisser Aspekte der Erfindung wird nun bezüglich 5 beschrieben. 5 veranschaulicht eine Ausführungsform eines Pipeline-Prozessflusses zum Herstellen von HDR-Videosequenzen in Echtzeit. Wie oben erörtert, kann der Prozess 500 von 5 innerhalb der Pipeline-Architektur von 3 innerhalb des Systems 100 von 1 implementiert werden.
Es sei angemerkt, dass der Prozess 500 zwar einen sequentiellen Fluss mit einem Loopback darstellt (Entscheidungsblock 514), die Sätze von Bildern durch jeden Block gleichzeitig bearbeitet werden können. Beispielsweise kann unter Verwendung von in 4 dargestellten Sätzen von Bildern ein Satz von Bildern 402 bei Block 506 des Prozesses 500 bearbeitet werden, während gleichzeitig ein zweiter Satz von Bildern 403 in der Pipeline durch den Block 504 bearbeitet werden kann, und weiter kann ein dritter Satz von Bildern 404 gleichzeitig in der Pipeline durch Block 502 bearbeitet werden. Somit sollte der Prozess 500 nicht so ausgelegt werden, dass er einen einzelnen Satz von Bildern bearbeitet, bevor Operationen an anderen Sätzen von Bildern gestartet werden.
Der Prozess 500 ist so dargestellt, dass er drei Stadien umfasst, das Bildausrichtungsstadium 520, das Bildmischstadium 521 und das Tone-Mapping-Stadium 522. Kurz gesagt, betrifft die Bildausrichtung das Ausrichten der mehreren Bilder und beinhaltet das Messen des optischen Flusses und das Verziehen eines der Bilder, damit es zu dem anderen Bild passt. Das Bildmischen betrifft das Mischen der ausgerichteten Bilder miteinander, um das einzelne HDR-Bild aus den mehreren Bildern herzustellen, und das Tone-Mapping betrifft das Reduzieren eines Bitbereichs zur Verwendung beim Anzeigen oder Durchführen anderer Aktionen mit dem resultierenden HDR-Bild.
Somit beginnt der Prozess 500 bei Block 502, wo mehrere benachbarte Einzelbilder erhalten werden. In diesem Fall werden die benachbarten Einzelbilder beispielsweise von der Bildsensor- & A/D-110-Komponente von 1 erhalten. Wie oben erörtert, kann ein erstes Bild mit einer anderen Belichtungseinstellung als ein zweites Bild eingefangen worden sein. Wenngleich die obigen Erörterungen sich auf zwei Bilder bezogen, können zudem andere Ausführungsformen das Erhalten von mehr als zwei Bildern, jeweils mit anderen Belichtungseinstellungen, beinhalten.
Die Bearbeitung geht dann weiter zu Block 504, wo der optische Fluss bestimmt wird. Wie oben erörtert, kombiniert der Prozess 500 Pixelinformationen zwischen den empfangenen zwei oder mehr Einzelbildern, um eine einzelne HDR-Ausgabe zu erzeugen. Um unerwünschte Artefakte zu vermeiden, wie etwa Bildunschärfe und Ghostingbilder, werden die erhaltenen Einzelbilder ausgerichtet. Die Ausrichtung betrifft das Identifizieren eines gleichen Objekts innerhalb der in den mehreren Bildern eingefangenen Szene und Sicherstellen, dass sie sich innerhalb jedes der Einzelbilder an einer gleichen Position befinden.
Da die Bilder wahrscheinlich von einer handgehaltenen Kamera erfasst werden, kann sich die Kamera zwischen Einzelbildern geringfügig bewegen; dies wird bewirken, dass sich das Bild zwischen erfassten Einzelbildern bewegt oder dreht. Zum Kompensieren werden Schätzungen darüber durchgeführt, wie ein Bild bewegt wird, um auf ein anderes Bild ausgerichtet zu sein.
Bei einer Ausführungsform beinhaltet ein Ansatz zum Ausrichten der Bilder das Versuchen, eine parametrische Funktion T: R² → R² zu schätzen, die darauf ausgerichtet ist, die Beziehung zwischen Bildkoordinaten in einem Bild und Bildkoordinaten in wenigstens einem zweiten Bild darzustellen; bei einer Ausführungsform werden mehrere derartige Funktionen geschätzt – eine für jedes Objekt in dem Bild. Ein Beispiel dieser Funktion beinhaltet die affine Funktion: x' = a₁₁x + a₁₂y + a₁₃ y' = a₂₁x + a₂₂y + a₂₃
Um das Modell zu schätzen, werden zuerst die Bewegungsvektoren zwischen entsprechenden Pixeln in den zwei oder mehr Bildern extrahiert, und dann wird die globale Bewegungstransformation geschätzt.
Bewegunqsvektorextraktionen
Bei der Bewegungsvektorextraktion besteht ein erster Schritt darin, Übereinstimmungen zwischen den mehreren Bildern zu finden, und er beinhaltet das Finden, welche Orte in einem Bild Orten in einem anderen Bild entsprechen.
Es kann so gut wie jedes Bewegungssuchverfahren verwendet werden. Bei einer Ausführungsform jedoch kann ein Bewegungssuchverfahren verwendet werden, wie es in der am 25. Mai 2007 eingereichten US-Patentveröffentlichung mit der laufenden Nummer 2008/0291288 mit dem Titel ”Technique of Motion Estimation When Acquiring An Image of A Scene That May Be Illuminated With A Time Varying Luminance”, von Tzur; Meir; Pinto; Victor und Pinhasov; Eran (die hier durch Bezugnahme in ihrer Gänze aufgenommen ist) beschrieben ist. Es wird angemerkt, dass Ausführungsformen hierin nicht auf den Einsatz dieser Technik beschränkt sind und auch andere verwendet werden können.
Ebenfalls kann die Bewegungssuche bei einer Ausführungsform einen Ansatz auf der Basis einer mittelwertreduzierten Summe der absoluten Differenzen (MRSAD – Mean-Reduced Sum of Absolute Differences) verwendet werden. Das heißt, eine Bewegung eines Blocks von Pixeln in einem Einzelbild kann durch einen Ort eines Blocks in dem anderen Einzelbild bestimmt werden, für die die MRSAD als minimal bestimmt ist. Hierbei kann ein Einzelbild als ein ”Ziel” – I_T und das andere Einzelbild als eine ”Referenz” – I_R ausgedrückt sein. Dann gilt:
Wobei B_X, B_Y eine Größe eines Blocks definieren und A_X und A_Y einen Suchbereich definieren.
Bei einer Ausführungsform kann die Bewegungssuche unter Verwendung spezifischer, auf einer integrierten Schaltung implementierter Hardwarebeschleuniger relativ schnell durchgeführt werden, wie sie etwa im System 100 von 1 verwendet werden könnten, das die Referenz- und Zielbilder aufnimmt und eine Liste von ”Bewegungsvektoren” für jeden Block in den Bildern zurückschickt. Außerdem kann die Bewegungssuche auf einer niedrig aufgelösten Kopie der Bilder durchgeführt und dann durch Durchführen einer zusätzlichen Suche in höherer Auflösung verfeinert werden. Zudem kann die Bewegungssuche durch Anwenden einer Eckendetektion an den Bildern weiter verbessert werden, da Ecken mit größerer Wahrscheinlichkeit zuverlässige Bewegungsvektoren zurückschicken. Außerdem kann bei einer Ausführungsform ein Robustheitsmaß durch Beobachten des MRSAD-Kennfelds als Funktion des (u, v)-Bewegungsvektors und Bestimmen, ob das Minimum, das erzeugt wird, MV(x, y), einzigartig ist, extrahiert werden.
Globale Bewegungsschätzung
Block 504 kann dann fortgesetzt werden durch Durchführen einer globalen Bewegungsschätzung für die mehreren erhaltenen Einzelbilder. Somit wird nach der Bewegungssuche ein Satz von Übereinstimmungen in jedem Bildsatz erhalten als: (x_i, y_i) ↔ (x_i', y_i') = (x_i + MV_x(x_i, y_i), y_i + MV_y(x_i, y_i))
Bei einer Ausführungsform wird ein RANdom-Ansatz (RANdom Sample Consensus – Übereinstimmung mit einer zufälligen Stichprobe) verwendet, um aus diesen Übereinstimmungen eine Transformation zu schätzen. Es können jedoch stattdessen auch andere Ansätze verwendet werden. Deshalb wird angemerkt, dass Ausführungsformen nicht auf diesen Ansatz beschränkt sind. Jedenfalls könnten unter Verwendung dieses Ansatzes die Transformationsschätzungen iterativ aufgebaut werden, wobei Ausreißer zurückgewiesen werden. Eine finale Transformation kann berechnet werden, indem eine Gruppe aller Einlieger genommen wird (die mit ”I” bezeichnet werden können), und eine Transformation um eine Gleichung der kleinsten Quadrate (lineare Regression) geschätzt wird:
wobei die Summierung über ∀i ∊ I und N = |I| ist.
Es wird angemerkt, dass alle die Summierungen in einer Festkomma-Arithmetik durchgeführt werden können, während die Matrixinversionen eine Fließkomma-Arithmetik verwenden, was einige Male geschehen kann. Sie kann auch in Software emuliert werden und erfordert möglicherweise keine Fließkomma-Hardwareunterstützung, wodurch die Komplexität weiter reduziert und die Geschwindigkeit erhöht wird.
Wie angemerkt, während die obige affine Transformation als ein beispielhafter Ansatz angegeben ist, sollte klar sein, dass viele andere parametrische Transformationsansätze ebenfalls verwendet werden können.
Die Verarbeitung kann als nächstes von Block 504 zu Block 506 fließen, wo unter Verwendung der geschätzten globalen Transformation ein beliebiger einer Vielzahl von Verziehungsmechanismen verwendet werden kann, um eines der Bilder auf die Koordinaten des anderen Bilds zu transformieren.
Der Prozess 500 fließt als nächstes zu Block 508, wo eine Bildmischung durchgeführt wird. Bei dem Bildmischstadium 521 werden die bereits ausgerichteten Bilder in einer Ausführungsform miteinander gemischt, indem eine intuitive Regel befolgt wird: Das dunkle Bild (wie oben erwähnt) soll die Informationen in überbelichteten Bereichen beitragen, und das helle Bild (wie oben erwähnt) unterstützt in unterbelichteten Bereichen des resultierenden gemischten Bilds.
Bei einer Ausführungsform nehmen die Bildmischoperationen die beiden Bilder mit verschiedenen Belichtungen und mischen sie zusammen gemäß einem pixelweisen Mischfaktor. Dieser Ansatz kann beschrieben werden, indem das Bild, das als weniger belichtet definiert ist, als I₁ bezeichnet wird, und das Bild mit der größeren Belichtung als I₂. Der Belichtungswert jedes Bildes kann als ExpVal₁ bzw. ExpVal₂ bezeichnet werden. Dies kann ohne Weiteres für mehr Bilder ausgeweitet werden.
Bei einer Ausführungsform können die Belichtungswerte ExpVal berechnet werden als:
wobei ISO eine Höhe der International Organization for Standardization (ISO) darstellt, ExpTime die Belichtungszeit darstellt und F_# die F-Zahl des optischen Systems darstellt.
Die folgenden Aktionen können dann innerhalb des Bildmischstadiums angewendet werden:
1. In einem Vorverarbeitungsschritt:

a. Falls I₁ oder I₂ in einem gamma-Bereich angegeben sind, anstatt in einem linearen Bereich, dann wird eine De-gamma-Operation angewendet, um die eingegebenen Bilder in einem linearen Bereich darzustellen. Ein beliebiger einer Vielzahl von Mechanismen kann verwendet werden, um diese De-gamma-Operation durchzuführen.
b. Als Nächstes wird das hellere Bild I₂ auf einen Belichtungswert des dunkleren Bilds I₁ normiert. Bei einer Ausführungsform können die Manipulationen an dem eingegebenen Bild zusammengefasst werden als:

2. Berechnen von Mischgewichten.
Um Gewichte zu bestimmen, werden Lichtstärkewerte, (wobei Luma als Y bezeichnet ist) des helleren Bilds, I₂, als eine Eingabe zu einer gewichtenden Nachschlagetabelle (LUT – Lookup Table) verwendet. Dies kann formuliert werden als W = LUT (Y₂). Die gewichtende LUT kann als eine allgemeine Abbildung beschrieben werden, kann aber auch als eine stückweise lineare Funktion implementiert werden. 6 veranschaulicht ein nichtbeschränkendes, nichterschöpfendes eindimensionales Beispiel einer gewichtenden Nachschlagetabellenfunktion als eine stückweise Linearfunktion. Es ist zu verstehen, dass auch andere Gewichtungsfunktionen verwendet werden können.
3. Mischen.
Die eigentliche Mischoperation wird bei Block 508 durchgeführt durch Anwenden von: I_out = (1 – W)·I upd / 1 + W·I upd / 2 wobei W das Gewicht LUT wie etwa in 6 gezeigt darstellt. Die Mischoperation nimmt dann die dunklen Pixel von I₂ ^upd, helle Pixel von I₁ ^upd und führt eine pixelweise Mischung zwischen den beiden Bildern für mittlere Luma-Werte durch.
Bei einer Ausführungsform werden Fehlausrichtungen der Bilder (Fehler von Stadium 506) detektiert. Dies könnte beispielsweise geschehen durch Beobachten der Differenz zwischen den (normierten) Bildpixeln und Anwenden eines Schwellwerts. Wenn solche Fehlausrichtungen detektiert werden, kann der Gewichtungsfaktor W näher an 0 oder 1 geschoben werden (beispielsweise gerundet werden), um ein Mischen von fehlausgerichteten Objekten und das Erzeugen von ”Geistern” zu vermeiden – womit halbtransparente Objekte in dem ausgegebenen Bild oder dergleichen gemeint sind.
Bei einer Beendigung vom Block 508 ergibt sich ein HDR-Bild, das in einer Ausführungsform als ein lineares RGB-Bild dargestellt werden kann. Bei einer Ausführungsform kann das RGB-Bild 12 Bit pro Farbkomponente verwenden. Somit kann, wenn erwartet wird, dass die Ausgabeeinrichtung zur Verwendung von Bildern mit einer niedrigeren Anzahl von Bit pro Farbe ausgelegt ist, die Verarbeitung optional weitergehen zu Block 510, dem Tone-Mapping-Stadium 522, Block 510 von Prozess 500.
Bei dem Tone-Mapping kann die 12-Bit-Darstellung in eine Darstellung mit weniger Bit transformiert werden. Beispielsweise kann bei einer Ausführungsform die Transformation in eine Darstellung mit 8 Bit pro Farbdarstellung erfolgen. Bei dieser Handlung ist es wünschenswert, das Tone-Mapping durchzuführen, während der Wahrnehmungsmehrwert des obigen Bildfusionsprozesses beibehalten wird.
Wenngleich eine beliebige einer Vielzahl von Techniken verwendet werden kann, liefert Folgendes eine Ausführungsform eines Ansatzes unter Verwendung von zwei getrennten Transformationen, einer globalen Abbildung und einer lokalen Abbildung.
Somit kann bei Block 510 eine globale Abbildung unter Verwendung einer gammaartigen Abbildung an dem HDR-Fusionsergebnis durchgeführt werden, während immer noch 12 Bit pro Farbkomponente beibehalten werden. Die Abbildung kann ein Inverses der De-gamma-Operation beinhalten, die weiter oben bei Block 508 erörtert wurde. Wenngleich andere Ansätze verwendet werden können, ist es wünschenswert, eine Ähnlichkeit von Farben und Atmosphäre der eingegebenen Bilder beizubehalten.
Eine lokale Abbildung kann bei einer Ausführungsform das Durchführen einer nichtlinearen lokalen Abbildung beinhalten, wie etwa in der am 23. Mai 2007 eingereichten US-Patentveröffentlichung mit der laufenden Nummer 2008/0291287 mit dem Titel ”Dynamic Range Compensation by Filter Cascade” von Dvir; Itsik, die hier durch Bezugnahme in ihrer Gänze aufgenommen ist. Es können auch andere Ansätze verwendet werden; somit sind Ausführungsformen nicht auf diesen Ansatz beschränkt. Beispielsweise kann auch der Ansatz verwendet werden, der in der am 23. Mai 2007 eingereichten US-Patentveröffentlichung mit der laufenden Nummer 2008/0292206 mit dem Titel ”Highlight Recovery Using Digital Lighting Module” beschrieben wird, die ebenfalls hier durch Bezugnahme in ihrer Gänze aufgenommen ist.
Jedenfalls kann bei einer Ausführungsform eine nichtlineare Operation verwendet werden, die ein Pixel gemäß mittleren Helligkeitswerten ihres Nachbars in eine 8-Bit-Darstellung pro Farbkomponente abbildet. Diese Tone-Mapping-Operation liefert eine Kompression des Dynamikbereichs, während lokaler Kontrast beibehalten wird, um den Schaden am lokalen Kontrast zu minimieren.
Das HDR-Einzelbild von Block 510 kann dann an Block 512 geliefert werden, wo eine beliebige einer Vielzahl von Codiermechanismen verwendet werden kann, um das HDR-Einzelbild als einen komprimierten Bitstrom zu codieren, einschließlich unter anderem in H.264, MPEG-4 oder dergleichen.
Die Verarbeitung geht dann weiter zu Entscheidungsblock 514, wo eine Bestimmung erfolgt, ob weitere, unter Verwendung der Pipeline-Operationen zu bearbeitende Einzelbilder vorliegen. Falls dies der Fall ist, kann die Verarbeitung dann zu Block 502 zurückschleifen; ansonsten kann die Verarbeitung zu einem anderen Prozess zurückkehren. Wie oben angemerkt, weil der Prozess 500 Sätze von Bildern am Fließband verarbeitet, braucht der Prozess 500 nicht zurückzuschleifen, sondern kann Operationen verschiedener oben beschriebener Blöcke fortsetzen, bis alle der von der Digitalkamera erfassten Sätze von Bildern zu HDR-Einzelbildern verarbeitet worden sind.
Zudem versteht sich, dass jede Komponente der Flussdiagramme und Kombinationen von Komponenten in diesen Darstellungen durch Computerprogrammanweisungen implementiert werden können. Diese Programmanweisungen können an einen Prozessor geliefert werden, um eine Maschine herzustellen, so dass die Anweisungen, die auf dem Prozessor laufen, Mittel erzeugen zum Implementieren der in der oder den Flusskomponenten spezifizierten Handlungen. Die Computerprogrammanweisungen können durch einen Prozessor ausgeführt werden, um eine Reihe von Operationsschritten zu bewirken, die von dem Prozessor durchgeführt werden sollen, um einen computerimplementierten Prozess zu erzeugen, so dass die Anweisungen, die auf dem Prozessor ausgeführt werden, um Schritte zum Implementieren der in der oder in den Flusskomponenten spezifizierten Aktionen zu liefern. Die Computerprogrammanweisungen können auch bewirken, dass wenigstens einige der in den Komponenten des Flusses gezeigten Operationsschritte parallel/als Pipeline durchgeführt werden. Zudem können einige der Schritte auch über mehr als einen Prozessor ausgeführt werden, wie es in einem Multiprozessorcomputersystem erfolgen könnte. Außerdem können eine oder mehrere Komponenten oder Kombinationen von Komponenten in den Flussdarstellungen auch gleichzeitig mit anderen Komponenten oder Kombinationen von Komponenten oder sogar in einer anderen Sequenz als dargestellt durchgeführt werden.
Dementsprechend unterstützen Komponenten der Flussdarstellungen Kombinationen von Mitteln zum Durchführen der spezifizierten Handlungen, Kombinationen von Schritten zum Durchführen der spezifizierten Handlungen und Programmanweisungsmittel zum Durchführen der spezifizierten Handlungen. Es versteht sich auch, dass jede Komponente der Flussdarstellungen und Kombinationen von Komponenten in den Flussdarstellungen durch hardwarebasierte Spezialzwecksysteme implementiert werden können, die die spezifizierten Handlungen oder Schritte durchführen, oder Kombinationen von Spezialzweckhardware und Computeranweisungen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2008/0291288 [0055]
US 2008/0291287 [0075]
US 2008/0292206 [0075]

Claims

Prozessorbasiertes Verfahren, das umfasst: Pipeline-Verarbeiten einer Vielzahl von Handlungen mit einer Echtzeitvideorate zum Generieren eines Videoausgabestroms mit hohem Dynamikumfang durch: Erfassen mehrerer Bilder als Bilder mit niedrigem Dynamikumfang, wobei wenigstens ein Bild eine andere Belichtungseinstellung als wenigstens ein anderes Bild in den mehreren Bildern aufweist; Durchführen einer Bildausrichtung zwischen den Bildern in den mehreren Bildern; Erzeugen eines einzelnen HDR-Bilds (High Dynamic Range – hoher Dynamikumfang) durch Kombinieren der ausgerichteten Bilder; und Codieren des HDR-Bilds zu einem HDR-Videoausgabestrom.
Prozessorbasiertes Verfahren nach Anspruch 1, wobei das Durchführen einer Bildausrichtung ferner umfasst: Durchführen einer Bewegungsvektorextraktion zwischen entsprechenden Pixeln zwischen den Bildern; und Verwenden eines Ergebnisses der Bewegungsvektorextraktion und Transformieren der Bilder auf Bildkoordinaten von wenigstens einem der Bilder in mehreren Bildern.
Prozessorbasiertes Verfahren nach Anspruch 2, wobei die Bewegungsvektorextraktion ferner umfasst: Verwenden einer Bewegungssuche unter Verwendung einer Bewegung eines Blocks von Pixeln in wenigstens einem der Bilder zum Identifizieren eines anderen Blocks von Pixeln in wenigstens einem weiteren Bild in den mehreren auf der Basis dessen, wann eine mittelwertreduzierte Summe der absoluten Differenzen (MRSAD – Mean Reduced Sum Of Absolute Differences) als minimal bestimmt wird; Verwenden eines Ergebnisses der Bewegungssuche zum Identifizieren eines Satzes von Übereinstimmungen zwischen Pixeln in wenigstens einem der Bilder mit Pixeln in wenigstens einem anderen Bild; und Durchführen einer globalen Bewegungsschätzung an dem Satz von Übereinstimmungen zum Generieren einer geschätzten globalen Transformation.
Prozessorbasiertes Verfahren nach Anspruch 1, wobei das Kombinieren der ausgerichteten Bilder ferner umfasst: für jedes Bild in den mehreren, das in einer nichtlinearen gamma-Domäne dargestellt wird, Durchführen einer De-gamma-Transformation auf dem Bild; Normieren des jeweiligen Bilds mit einer helleren Belichtungseinstellung als ein anderes Bild in den mehreren auf einem Belichtungswert des anderen dunkleren Bilds; Bestimmen von Gewichtungswerten teilweise auf der Basis von Helligkeitswerten des Bildes mit der helleren Belichtungseinstellung; und Verwenden der Gewichtungswerte zum Mischen von dunklen Pixeln von dem helleren Bild mit hellen Pixeln von dem dunkleren Bild, um das HDR-Bild zu erzeugen.
Prozessorbasiertes Verfahren nach Anspruch 1, wobei die Pipeline-Verarbeitung mehrerer Handlungen ferner umfasst: Durchführen eines Tone-Mapping zum Reduzieren einer Anzahl von Bits, die zum Darstellen einer Farbkomponente in dem HDR-Bild verwendet wird, wobei das Tone-Mapping umfasst: Durchführen eines globalen gamma-Mapping an dem HDR-Bild und Durchführen eines nichtlinearen lokalen Mapping, das ein Pixel auf der Basis des mittleren Helligkeitswerts eines Nachbarn von Pixeln abbildet.
Bildsystem, das umfasst: eine Bilderfassungseinrichtung, die ausgelegt ist zum Empfangen mehrerer Bilder als Bilder mit einem niedrigen Dynamikumfang; und eine oder mehrere Schaltungen mit mehreren Komponenten darauf, die in einer Pipeline-Architektur arbeiten, um mehrere Aktionen mit einer Echtzeitvideorate für eine Sequenz von erfassten Bildern durchzuführen, umfassend: Empfangen der mehreren Bilder, wobei wenigstens ein Bild eine andere Belichtungseinstellung aufweist, wenn es erfasst wird, als wenigstens ein anderes Bild bei den mehreren Bildern; Durchführen einer Bildausrichtung zwischen den Bildern; Erzeugen eines einzelnen Bilds mit hohem Dynamikumfang durch Kombinieren der ausgerichteten Bilder unter Verwendung eines pixelweisen Mischens; und Codieren des Bilds mit hohem Dynamikumfang zu einem Videoausgabestrom mit hohem Dynamikumfang.
Bildsystem nach Anspruch 6, wobei das Durchführen einer Bildausrichtung ferner umfasst: Durchführen einer Bewegungsvektorextraktion zwischen entsprechenden Pixeln zwischen den Bildern; und Verwenden eines Ergebnisses der Bewegungsvektorextraktion und Transformieren der Bilder auf Bildkoordinaten von wenigstens einem Bild bei den mehreren.
Bildsystem nach Anspruch 7, wobei die Bewegungsvektorextraktion ferner umfasst: Verwenden einer Bewegungssuche unter Verwendung einer Bewegung eines Blocks von Pixeln in wenigstens einem der Bilder zum Identifizieren eines anderen Blocks von Pixeln in wenigstens einem weiteren Bild auf der Basis dessen, wann eine mittelwertreduzierte Summe der absoluten Differenzen (MRSAD – Mean Reduced Sum Of Absolute Differences) als minimal bestimmt wird; Verwenden eines Ergebnisses der Bewegungssuche zum Identifizieren eines Satzes von Übereinstimmungen zwischen Pixeln in den Bildern, und Durchführen einer globalen Bewegungsschätzung an dem Satz von Übereinstimmungen zum Generieren einer geschätzten globalen Transformation.
Bildsystem nach Anspruch 6, wobei das Mischen weiterhin für gesättigte Bereiche in einem der Bilder das Verwenden von Pixeln von einem dunkleren Bild in den mehreren umfasst, um beim Herstellen des HDR-Bilds ausgebrannte Details in einer Szene wiederherzustellen.
Bildsystem nach Anspruch 6, wobei die Pipeline-Verarbeitung mehrerer Handlungen ferner umfasst: Durchführen eines Tone-Mapping zum Reduzieren einer Anzahl von Bits, die zum Darstellen einer Farbkomponente in dem HDR-Bild verwendet wird, wobei das Tone-Mapping umfasst: Durchführen eines globalen gamma-Mapping an dem HDR-Bild; und Durchführen eines nichtlinearen lokalen Mapping, das ein Pixel auf der Basis des mittleren Helligkeitswerts eines Nachbarn von Pixeln abbildet.