DE69824983T2

DE69824983T2 - Verfahren und Gerät zur Codierung durch Luminanzschätzung

Info

Publication number: DE69824983T2
Application number: DE69824983T
Authority: DE
Inventors: Jean-Christophe Dusseux
Original assignee: Thomson Multimedia SA
Current assignee: Vantiva SA
Priority date: 1997-02-10
Filing date: 1998-02-09
Publication date: 2005-07-21
Anticipated expiration: 2018-02-10
Also published as: FR2759524A1; JPH10248064A; DE69824983D1; EP0858227A1; JP4859265B2; US6317519B2; CN1193867A; EP0858227B1; US20010016076A1; FR2759524B1; CN1127266C

Description

Das technische Gebiet, das die vorliegende Erfindung betrifft, ist das der Codierung von digitalen Videobildfolgen. Das derzeitige Problem auf diesem Gebiet ist das der Komprimierung der visuellen Informationen durch Auswertung eines Satzes von Parametern zur Regelung der Kosten und der Qualität dieser Komprimierung. Es ist somit möglich, eine bestimmte Anzahl von Anforderungen zu erfüllen, die im Wesentlichen von der beabsichtigten Anwendung abhängig sind. Qualitätskriterien können fordern, dass die zu komprimierenden Informationen ohne Verschlechterung ihrer endgültigen Rekonstruktion komprimiert werden. Das ist z. B. der Fall bei der Ferndetektierung oder Erzeugung von Anwendungen und ebenso bei Speicheranwendungen. Andererseits kann die Qualitätsanforderung weniger streng sein, wenngleich größer als ein gefordertes Minimum. Das führt zu der Notwendigkeit, die Informationen gemäß den Kapazitäten eines bestimmten Übertragungskanals zu komprimieren. Das ist z. B. der Fall in Videophon-Anwendungen (über ISDN für Integrated Services Digital Network oder STN für Switched Telephone Network) oder Kommunikationsanwendungen auf Schlachtfeldern. Schließlich ergibt der allgemeinste Fall einen Ausgleich der Qualitätsverschlechterungen mit der Leistungsfähigkeit in der Komprimierung. Das ist der Fall in Rundfunk-Anwendungen oder wieder Videoverteilanwendungen (Video auf Compact Disc sowie Digital Video Disc). Zusätzlich dazu gibt es Anforderungen praktischer Art.
Die Haupt-Codierverfahren können angesehen werden als eine Kombination von mehreren Lösungen, die auf der Grundlage ihrer Eigenschaften benutzt werden.
Dabei kann unterschieden werden:

– Codierung durch Voraussage. Diese besteht einerseits in der Bildung einer Schätzung und andererseits in einer Korrektur durch Berücksichtigung des Schätzungsfehlers,
– Codierung durch Umsetzung, die es ermöglicht, dass die Informationen durch ihre Dekorrelation durch eine Änderung eines Darstellungsraums, präziser gemacht werden,
– Codierung durch Annäherung, die die Informationen durch andere vorbestimmte oder wenigstens vereinfachte Informationen ersetzt.

Die letzten Entwicklungen auf diesem Gebiet beruhen auf einer Voraussage durch Bewegung. Einerseits macht es die so genannte Discrete Cosine Transformation (DCT) möglich, die Redundanz eines Bildes im Intra-Modus örtlich zu verringern. Andererseits ist die Aufgabe der Bewegungskompensation eine Verringerung der zeitlichen Redundanz. Die Bewegungsinformationen entsprechen den örtlichen Ähnlichkeitszusammenhängen zwischen einem sogenannten "Referenz"-Bild und dem derzeit untersuchten Bild und werden durch das Konzept der physischen Bewegung der zugrunde liegenden Szene interpretiert. Es wird ausgegangen von einer Aufteilung eines Bildes in Blöcke. Für jeden dieser Blöcke erfolgt ein Suchvorgang, in dem für den ähnlichsten Block untersuchten anderen Bild. Die Bewegung (horizontal, vertikal) ist dann die Differenz in der Lage zwischen den Blöcken (zeilenweise, spaltenweise) gegenüber der Lage des ersten und wird einmal je Block codiert. Diese Bewegungsinformationen werden vervollständig mit den Daten für die übrigen Teile aus dieser Voraussage (Werte des Fehlers in der Voraussage durch die Bewegung). Das erfolgt in einer ähnlichen Weise für die Daten der Intra-Bilder.
Die neusten Schemen für die Codierung der Bildfolgen verwerten die Bewegungsdaten über eine Voraussage. Die MPEG-2 Lösung ist dafür ein gutes Beispiel.
Die in der Datenkomprimierung erreichten Verbesserungen können jedoch als unzulänglich angesehen werden, und es kann eine bessere Bildqualität für eine bestimmte Bitrate oder eine kleinere Bitrate und somit die Codierkosten für eine bestimmte endgültige Qualität erwünscht sein.
Die Erfindung, die Gegenstand der vorliegenden Anmeldung ist, soll die oben genannten Nachteile vermeiden.
Zu diesem Zweck ist der Gegenstand der Erfindung ein Verfahren zur Codierung von digitalen Daten aus einer Folge von Videobildern mit einer Codierung der Differenz in der Luminanz zwischen einem zu codierenden Bildsegment und einem entsprechenden Segment eines aus einem so genannten Referenzbild vorausgesagten Bildes, dadurch gekennzeichnet, dass die Voraussage als eine Funktion einer Luminanzkompensation von Luminanzwerten des Referenzbilds erfolgt.
Gegenstand der Erfindung ist außerdem ein Gerät zur Codierung von digitalen Daten von einer Videofolge für die Durchführung des Vorgangs mit einer Bewegungsschätzungsschaltung für die Berechnung von Bewegungsvektoren zwischen zwei Bildern, eine Bewegungskompensationsschaltung auf der Grundlage eines Referenzbildes zur Berechnung eines vorausgesagten Bildes, eine Subtrahierstufe zur Subtraktion des vorausgesagten Bildes von dem laufenden Bild zur Berechnung eines zu codierenden Residuums, dadurch gekennzeichnet, dass sie eine Schaltung zur Schätzung der Luminanz zwischen den beiden Bildern und eine Luminanzkompensationsschaltung enthält, die die Informationen von der Luminanzschätzung, und eine Bewegungsschätzungsschaltung für Berechnung des vorausgesagten Bildes empfängt.
Gegenstand der Erfindung ist außerdem ein Gerät zur Decodierung von gemäß dem vorangehenden Verfahren codierten digitalen Daten zur Berechnung eines aus einem Residuum rekonstruierten Bildes und eines vorausgesagtes Bildes, dadurch gekennzeichnet, dass sie eine Schaltung enthält zur Kompensation der Luminanz als eine Funktion der Luminanzvektoren, die Luminanzschätzungs-Informationsdatenwärter zur Berechnung des vorausgesagten Bildes enthält.
Das Verfahren besteht in der Verbesserung der Voraussage durch die eine Bewegungskompensation mit einer sogenannten Luminanzkompensation.
Die Erfindung ermöglicht es außerdem, ein Intra-Bild durch ein so genanntes selbstkompensiertes Bild zu ersetzen durch Anwendung desselben Mechanismus wie der auf der Bewegung beruhende Inter-Kompensation, Luminanz- und Residuumsdaten.
Die vorgeschlagene Erfindung macht es möglich, den Betrag an Informationen zu verringern, die in den Residuumsdaten enthalten sind, unabhängig von dem Verfahren der Bewegungsanalyse, die vor der Schätzung der Luminanz angewendet wird. Die Verbesserung des Bewegungsmodells durch eine sogenannte Luminanzlösung verringert nennenswert das Residuum, und diese Verringerung in dem Residuum ist größer als die entsprechende Addition der Luminanzinformationen, und die neue Codierung der Inter-Bilder ist leistungsfähiger.
Außerdem schlägt die Erfindung ein einheitliches Codierschema vor, wo die Differenz zwischen der Lösung für die Intra-Bilder und der für die Inter-Bilder gering ist. Die Durchführung der Erfindung wird vereinfacht und dadurch billiger aufgrund der Tatsache, dass sie Elemente von existierenden Schemen unterschiedlich durch Durchführung eines Verfahrens benutzt, das aus der Sicht der Hardware weniger komplex ist.
Die Erfindung ist unabhängig von der besonderen Codierung jedes Typs von Informationsanteilen (Bewegung, Luminanz, Residuum). Das benutzte Verfahren kann in die MPEG-2 Codierschemen aufgenommen werden, selbst wenngleich die Daten für die Luminanz zusätzlich zu den Standarddaten codiert werden.
Diese Lösungen zur Luminanzkompensation sind insbesondere effektiv, wenn eine Änderung in der Szenenhelligkeit besteht, die im Stand der Technik im Allgemeinen zu einer kostspieligen Intra-Codierung führt.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung an einem nicht-einschränkenden Beispiel, dargestellt in den beigefügten Figuren:
1 ist ein Diagramm der Codierschaltung gemäß der Erfindung,
2 ist ein Diagramm der Decodierschaltung gemäß der Erfindung.
Der Vorgang gemäß der Erfindung wird im Folgenden mittels des Diagramms des in 1 dargestellten Geräts beschrieben.
Das Codiergerät enthält einen ersten und einen zweiten Eingang. Ein Bild wird im Zeitpunkt t dem ersten Eingang zugeführt, und ein Bild wird im Zeitpunkt t + 1 dem zweiten Eingang zugeführt. Der erste Eingang ist parallel mit dem ersten Eingang einer Filterschaltung 1, mit einem ersten Eingang eines Schalters mit zwei Eingängen und einem Ausgang 2 und mit einem ersten Eingang eines Schalters mit zwei Eingängen und einem Ausgang 3 verbunden. Der Ausgang der Filterschaltung 1 ist mit dem Eingang einer Unterabtastschaltung 4 und der Ausgang des letzteren mit dem zweiten Eingang des Schalters 2 verbunden.
Der zweite Eingang des Geräts ist mit dem zweiten Eingang des Schalters 3 verbunden. Die Schalter 2 und 3 sind Schalter mit zwei Stellungen, wobei die Stellung 1 in der Figur durch unterbrochene Linien dargestellt ist, und einem ersten Eingang entsprechen und die Stellung 2 durch ausgezogene Linien entsprechend einem zweiten Eingang dargestellt sind. Somit entspricht die Stellung 1 des Schalters 2 seinem ersten Eingang, und die Stellung 1 des Schalters 3 entspricht seinem zweiten Eingang. Alle im Folgenden beschriebenen Schalter haben zwei Stellungen 1 und 2. Diese Schalter befinden sich gleichzeitig in derselben Stellung 1 oder 2, die in dem Diagramm durch unterbrochene bzw. voll ausgezogene Linien dargestellt sind.
Die Ausgänge der Schalter 2 und 3 sind mit zwei Eingängen einer Bewegungs- und Luminanzschätzschaltung 5 sowie einem ersten Eingang eines Schalters mit zwei Eingängen und einem Ausgang 6 entsprechend der Stellung 1 und mit einem ersten Eingang einer Addierschaltung 7 verbunden. Ein erster Ausgang der Luminanz- und Bewegungsschätzungsschaltung ist mit dem Eingang einer Schaltung für die Codierbewegung 8 verbunden, und ein zweiter Ausgang ist mit dem Eingang einer Schaltung für die Codierung der Luminanz 9 verbunden. Die jeweiligen Ausgänge S2 und S3 jeder der Codierschaltungen entsprechen den Ausgängen des beschriebenen Codiergeräts. Sie sind außerdem jeweils mit einer Bewegungsdecodierschaltung 10 und einer Luminanzdecodierschaltung 11 verbunden, wobei der Ausgang jeder dieser Schaltungen mit einem ersten bzw. einem zweiten Eingang einer Bewegungs- und Luminanzkompensationsschaltung 12 verbunden ist. Der Ausgang des Schalters 6 ist mit einem dritten Eingang dieser Schaltung 12 verbunden. Der Ausgang der Bewegungs- und Luminanzkompensationsschaltung ist mit dem Eingang eines Schalters mit einem Eingang und zwei Ausgängen 13 verbunden. Ein erster Ausgang dieses Schalters, der der Stellung 2 entspricht, ist mit dem Eingang einer Iterations-Berechnungsschaltung 14 verbunden. Ein erster Ausgang dieser Schaltung ist seinerseits mit einem ersten Eingang eines Schalters 15 mit zwei Eingängen und einem Ausgang verbunden, entsprechend der Stellung 2, und ein zweiter Ausgang dieser Schaltung ist mit dem Eingang eines Filters 16 verbunden. Der Ausgang des Filters 16 ist mit dem zweiten Eingang des Schalters 6 über eine Unterabtastschaltung 17 verbunden. Der zweite Ausgang des Schalters 13 ist mit dem zweiten Eingang des Schalters 15 verbunden. Der Ausgang des Schalters 15 ist mit dem zweiten Eingang der Addierschaltung 7 verbunden. Der Ausgang dieser Schaltung ist mit dem Eingang einer Residuum-Codierschaltung 18 verbunden, deren Ausgang S1 mit dem dritten Ausgang des Codiergeräts verbunden ist.
Die digitalen Bilder I(t) und I(t + 1), die den Zeitpunkten t und t + 1 entsprechen, werden dem Eingang des Geräts zugeführt. Diese sind z. B. zwei aufeinander folgende Bilder in einer Folge von Bildern.
Der erste beschriebene Codier-Modus ist der Inter-Modus der Codierung entsprechend der Stellung 1 der Schalter, wie in der Figur durch unterbrochene Linien dargestellt ist.
In diesem ersten Modus wird das Bild I(t) auf den ersten Eingang des Bewegungs- und Luminanzschätzers 5 über den Schalter 2 übertragen, und das Bild I(t + 1) wird auf den zweiten Eingang dieser Schaltung 5 durch den Schalter 3 übertragen. Die Schaltung 5 bewirkt daher eine Bewegungsschätzung zwischen dem Bild I(t) und dem Bild I(t + 1) und berechnet einen Bewegungsvektor entsprechend einem bekannten Verfahren, z. B. einer Blockanpassung. Dieses Verfahren, in dem die Bewegungsschätzung je Bildblock erfolgt, benutzt z. B. das Verfahren der kleinsten Quadrate.
Geschätzte Werte der Luminanz werden für jeden der Bildblöcke mittels der Parameterschätzung (oder Parametervoraussage) für jeden der Bildblöcke berechnet, c_S und b₀, wie später erläutert wird, und als eine Funktion der durch diese Schaltung berechneten Bewegungsschätzung.
Diese so genannte Luminanzkompensation erscheint als ein Supplement zu der Bewegungsschätzung. Sie ist unabhängig von der letzteren und von der Art der Bewegungsergebnisse. Tatsächlich bewirkt die Luminanzkompensation eine vollständige Auswertung, durch Statistiken der Verbindungen, die durch die Bewegung zwischen den beiden Blöcken oder zwei benachbarten Blöcken ermittelt werden. In der Praxis schätzt dieses Verfahren der Kompensation im Nachhinein den linearen Zusammenhang zwischen den Grauwerten eines Blocks oder einer Nachbarschaft und denjenigen des anderen Blockes oder der benachbarten Blöcke, die vorher durch die Bewegungsanalyse zugeordnet wurden.
Die Formulierung des Bewegungs-Analyseproblems kann folgendermaßen sein:
Es sei betrachtet ein Element eines Referenzbildes I, wie ein Punkt (x, y, z), Nachbarschaft, Block, Bereich usw. Es wird gefordert, ein anderes Element derselben Art in dem untersuchten Bild I' zuzuordnen, Punkt (x', y', z'), Nachbarschaft, Block, Bereich usw., der die entsprechenden Kriterien erfüllt unter Anwendung von bekannten Verfahren, wie das Verfahren der kleinsten Quadrate, das Gradientenverfahren usw. und interpretiert durch das Bewegungskonzept.
Die Bezeichnung z und z' bezeichnet die Werte der Graupegel, die den Koordinaten (x, y) bzw. (x', y') in den Bildern I und I' entsprechen. Wenn die Umsetzung für die Bewegung linear gewählt wird (Modelling einer linearen 2D-Bewegung), können die zu schätzenden Parameter folgendermaßen geschrieben werden:
Die Parameter (a, b, c, d) werden den Drehungen und die Parameter (tx, ty, 0) den Translationen zugeordnet. In dieser Formulierung können die Drehungen praktisch ignoriert werden, wodurch man zu dem Ausdruck der ersten Bewegungsmodelle zurückkehrt.
Die Formulierung des Luminanzanalyseproblems kann folgendermaßen sein: Ausgehend von den vorangehenden Daten (Daten für die Übereinstimmung zwischen den Elementen von zwei Bildern, die Paare von Bildelementen bilden) wird gefordert, Koeffizienten komplementär zu denen der Bewegung zu schätzen, die den Grauwerten zugeordnet werden. In der Praxis ermöglichen sie, die Grauwerte eines Bildelements umzusetzen, um so diejenigen des zugehörigen Elements vorauszusagen (also der Luminanzkompensation). Ein Verfahren zur Schätzung dieser Werte ist dasjenige der kleinsten Quadrate. Es können auch andere Lösungen benutzt werden, und dieses Beispiel ist in keiner Weise einschränkend. Wenn die Luminanztransformation linear gewählt wird, können die zugehörigen Koeffizienten genannt werden als Kontrast-Skalierung, c_S und Helligkeitsoffset b₀. Die folgende Erläuterung berücksichtigt diese Wahl.
Somit werden die Werte a, b, c, d als bekannt angesehen, so wie es t_x und t_y sind.
Es bleibt daher übrig, e, f, g, h, und c_S und b₀ zu schätzen. Die ersten entsprechen der Korrelation zwischen den Grauwerten und der räumlichen Positionierung. Sie liegen im Allgemeinen sehr nahe bei Null, und sie können daher von vornherein ignoriert werden, und es wird angenommen e = f = g = h = 0,0. Somit bleiben letztlich c_S und b_C zu schätzen übrig, was wirkungsmäßig der Luminanzkompensation entspricht. Somit wird die Arbeits-Matrixgleichung:
Die Werte von c_S und b₀ entsprechen einem Bildblock. Dabei ist ein Pixel oder ein Bereich abhängig davon, ob die Bewegungskompensation auf einem Bildblock, einem Pixel oder einem Bereich erfolgt. Die Luminanzkompensation erfolgt daher auf demselben Bildbereich wie die Bewegungskompensation.
In dem Idealfall, wo die Bewegung einwandfrei geschätzt wird und den Annahmen von vernachlässigbaren Aufhelleffekten wahr bleiben (derartige Annahmen, ein Modell ohne Luminanzänderung in der Szene, werden tatsächlich in der kommerziellen Anwendung der Bewegungskompensation vorgenommen) oder in dem Fall, wo die Luminanzkompensation ignoriert wird, sind c_S und b₀ gleich 1,0 und 0,0. In der Praxis ergibt sich, dass entweder die Bewegung nicht einwandfrei geschätzt wurde, z. B. die Bewegung der Kanten des Objekts, wenn die Bewegung je Block geschätzt wird, oder die Annahmen für die Beleuchtungseffekte nicht vollständig gültig sind. Außerdem ist es leicht festzustellen, welche statistische Korrelation z. B. zwischen zwei in Übereinstimmung gebrachten Elementen (Blöcken oder dergleichen) besteht. Die Ergebnisse zeigen deutlich die Nützlichkeit der Luminanzkompensation durch Schätzung von c_S und b₀ an.
Dennoch kann eine qualitative Bemerkung in dieser Beziehung gemacht werden. Eine Verwacklungswirkung, eine Glättung der Grauwerte während der Luminanzkompensation kann insbesondere in dem Bereich mit einem steilen Gradienten beobachtet werden oder dann, wenn die Bewegungsschätzung eine leichte Verschiebung gegenüber der aktuellen Bewegung enthält. Daher erfolgt in diesem Fall die Luminanzkompensation auf Pixeln, die nicht vollständig der tatsächlichen Bewegung der Szene aufgrund dieses Fehlers entsprechen. Das kann seine Anwendung und seine Benutzung entsprechend der Anwendung beeinträchtigen, selbst wenn der Restfehler kleiner bleibt mit der Luminanzkompensation (z. B. zur Verzögerung von Bildern wo sie Verschiebungen in der geschätzten Bewegung häufig beobachtet werden, die jedoch eine sehr gute Interpolation der Bilder ermöglichen). In diesem Fall muss das Kriterium für die Entscheidung, ob die Luminanzdaten für einen Block oder einer bestimmten Nachbarschaft oder Bereich benutzt werden sollen oder nicht, einen qualitativen Aspekt der Restdaten zugeordnet werden. Durch Übertragung der Restdaten ist es natürlich möglich, diesen Verwacklungseffekt durch die Luminanzkompensation auf den vorausgesagten Bildern zu beseitigen, jedoch bezieht sich der Betrag der zu übertragenden Informationen direkt auf diesen Verwacklungseffekt. Das Entscheidungskriterium, wie z. B. die Berechnung der Energie in einem Bildblock, ermöglicht, dieses Problem durch Ermittlung des am meisten geeigneten Modus der Codierung unter denjenigen zu ermitteln, die existieren.
Ein möglicher Schätzer ist der der kleinsten Quadrate. Aufgrund der Annahme einer linearen Transformation führt dies zu der Durchführung einer linearen Regression zwischen den beiden Sätzen von Werten aus den Grauwerten jedes Elements des in Übereinstimmung gebrachten Paares. (φ_u) sei der Satz der Grauwerte des Elements E₁ des Bildes I und (ψ_u) der Satz der Grauwerte des Element E₂ des Bildes I'. Es ergibt sich, dass E₁ und E₂ durch den Bewegungsschätzer in Übereinstimmung gebracht worden sind. Als nächstes ist es notwendig, eine Schätzung von c_S und b₀ zu ermitteln, derart, dass sich ergibt: E{(ψucst – ψu)2} Minimum (4) _mi _t ψucst = cS·φu + b0 (5)E entspricht, entsprechend den in Statistiken benutzen Ausdrücken, dem Mittelwert, und der Ausdruck (4) bezeichnet daher den Mittelwert der Quadrate der Differenzen über den minimierten Block.
Noch konkreter, betrachtet man einen Bildblock E1 des laufenden Bildes mit n Pixeln, wobei das Pixel in der Zeile i und der Spalte j denselben Luminanzwert p_i,j aufweisen. Zu diesem Block gehört ein vorausgesagter Block E2 auf der Basis des berechneten Bewegungsvektors. q_k,l sei der aktuelle Wert der Luminanz des Pixels k, l in der Zeile k und der l dieses Bildblocks E2, das mit den Pixeln i, j durch eine Bewegungsschätzung (Drehung und Translation oder Translation alleine gemäß MPEG2) und q ^_x,i der vorausgesagte Wert.
Wir haben dann:
Wir suchen c_S und b₀ derart, dass:
mit q ^k,l = c2·pt,j + b0
Durch Berechnung der statistischen Daten über die in Übereinstimmung gebrachten Elemente E₁ und E₂ ist es daher möglich, c_S und b₀ zu schätzen. In diesem Fall werden die folgenden Ergebnisse erreicht: cS·(E{φu 2} – E{φu}2) = (E(φu·ψu} – E{φu}·E{ψu} (6)und b0 = E{ψu} – cS·E{φu} (7)
Die für die Berechnung der Restwerte verwendeten vorausgesagten Blöcke werden dann als eine Funktion des Luminanzwertes des laufenden Blocks und des laufendes Bildes berechnet, und die Werte c_S und b₀ werden für diesen laufenden Block durch die Luminanz- und Bewegungsschätzungsschaltung 5 berechnet.
Die durch die Bewegungsschätzungsschaltung 5 berechneten Bewegungsvektorinformationen werden zu der Schaltung zur für die Codierung dieser Bewegungsvektoren 8 und der Luminanzinformationen wie der Parameter c_S und b₀ zu der Luminanzcodierschaltung 9 übertragen.
Diese Informationen werden codiert und dann über die Ausgänge S2 und S3 des Gerätes zu einem Decoder übertragen oder werden mit den Restdaten gemultiplext, ebenso codiert, verfügbar auf dem Ausgang S1 des Gerätes, in dem Fall, in dem nur eine einzige Verbindung für jeden Coder erwünscht ist, z. B. innerhalb des MPEG2-Rahmens. Im letzten Fall gewinnt der in der Figur nicht dargestellte Multiplexer alle Informationen zurück, die auf den Ausgängen S1, S2, S3 des beschriebenen Gerä tes verfügbar sind, und nimmt sie auf und überträgt sie in bekannter Weise in einen Datenstrom oder "Bitstrom" zu dem Satz von entsprechenden Decodern.
Die Schaltung 12 zur Bewegungs- und Luminanzkompensation gewinnt die decodierten Informationen c_S und b₀ sowie die decodierten Bewegungsvektoren, die von den Bewegungs- und Luminanzdetektoren ausgegeben werden, zurück, um so die vorausgesagten Bilder zu berechnen. Auf diese Weise berücksichtigt die durch die Bewegungskompensationsschaltung das Quantisierintervall, das für die Codierung benutzt wird, und ist dasselbe wie dasjenige, das durch eine auf der Bilddecoderseite angewendete Kompensationsschaltung benutzt wird. Die Bewegungs- und Luminanzdecodierschaltungen werden so gewählt, dass sie auf der Bilddecoderseite identisch sind.
Die Kompensationsschaltung empfängt an ihrem Eingang das Bild I(t) im Inter-Modus. Ein vorausgesagtes Bild wird aus diesem Bild, den Bewegungsvektoren und den Parametern c_S und b₀ berechnet und von dem Ausgang der Schaltung zu der Subtrahierstufe 7 übertragen. Das Bild I(t + 1) wird an dem ersten Eingang dieser Subtrahierstufe empfangen, und das vorausgesagte Bild von der Kompensationsschaltung wird subtrahiert, so dass ein Residuum an dem Ausgang der Subtrahierstufe entsteht. Das Residuum wird dann in bekannter Weise codiert, z. B. durch Anwendung der diskreten Cosinustransformation, und wird dann zu dem Ausgang S1 übertragen und, wenn gewünscht, mit den vorangehend beschriebenen Bewegungs- und Luminanzinformationen gemultiplext.
Der Intra-Modus der Codierung entspricht dem Fall, in dem ein Bild I unabhängig von den Bildern, die ihm vorausgehen, decodiert werden muss. Dieser zweite Modus der Codierung entspricht der Stellung 2 der Schalter, wie durch die voll ausgezogenen Linien in der Figur dargestellt ist. Das Bild I(t) wird somit in diesem Modus zu einem Filter 1 übertragen, das die lineare Filterung durchführt, und in einen Unterabtaster 4 übertragen, der eine Unterabtastung durchführt, z. B. durch 2, um so ein Bild I'(t) zu erzeugen. Das Maß der Unterabtastung kann ebenfalls von vornherein konstant sein oder jedes Mal festgelegt werden, wenn der Vorgang erfolgt. In dem letzten Fall muss der Wert unbedingt dem Decoder bekannt sein (gespeichert oder übertragen). Dieses Bild für die folgende Verarbeitung muss dieselbe Größe haben wie I, und Nullwerte werden räumlich dem abgetasteten Bild angefügt, wieder durch diese Schaltung 4, um so I'(t) zu bilden. Das gewonnene Bild wird zu dem Eingang des Luminanz- und Bewegungsschätzers übertragen. Diese Schaltung empfängt das Bild I(t) an ihrem zweiten Eingang und bewirkt eine Schätzung der Bewegung M zwischen dem Bild I und dem zugehörigen Bild I', oder noch genauer eine Korrelation, interpretiert als eine Bewegung zwischen dem Bild I und dem zugehörigen Bild I'. Nach dieser Bewegungsschätzung, die im Idealfall eine Zoombewegung ist, erfolgt eine Luminanzschätzung auf der Grundlage der zwei Bilder und der gewonnenen Bewegungsdaten.
Wie vorangehend erwähnt, ist ein Aspekt der Erfindung die Benutzung der Inter-Lösung gegenüber dem Intra-Bild. Um dies zu tun, werden somit Bewegungs-, Luminanz- und Restdaten benutzt. Tatsächlich wird die Lösung durch das Theorem von Banach motiviert (und ist daher ähnlich zu den Fraktallösungen und IFS beschriebenen, z. B. in dem technischen Artikel von M. H. Heyes mit dem Titel "Iterated Function Systems for image and video coding" von Band XLV von Mai/Juni 1994 von Journal on Communications).
Um ein Beispiel zu geben, wird das laufende Bild in zwei Bildblöcke aufgeteilt und dann abgetastet und gefiltert, und dieses gefilterte Bild wird in Bildblöcke mit derselben Größe wie die Blöcke des laufenden Bildes aufgeteilt. Es erfolgt dann eine Korrelation zwischen einem laufenden Block des laufenden Bildes und an den Blöcken oder Blöcke in der Nachbarschaft des laufenden Blockes (z. B. gehörend zu einem Suchfenster) des gefilterten Bildes.
Die Rekonstruktion des Intra-Bildes erfolgt durch eine kumulierte Kompensation durch Anwendung des Banach-Theorems, wie im Folgenden beschrieben wird.
Entsprechend der Fraktal-Theorie kann die Rekonstruktion interpretiert werden einfach als eine Bewegung und Luminanzkompensation, die theoretisch undefiniert häufig wiederholt wird. Um dies zu tun, verwendet sie die Ergebnisse der Bilddarstellung durch IFS. In der Praxis wird die Konvergenz ziemlich schnell erreicht, und die Anzahl der Iterationen liegt zwischen drei und höchstens zehn. Dieselbe willkürliche oder empirische Wahl muss auf der Coder- und Decoderseite festgelegt werden, um so die Restdaten während der Codierung zu bestimmen und somit kohärente Ergebnisse während der Bildrekonstruktion zu haben.
Wie in dem Inter-Modus werden die Bewegungsinformationen (Bewegungsvektoren) und die Luminanzinformationen (Luminanzvektoren mit Komponenten c_S und b₀) codiert, um mit dem codierten Residuum gemultiplext zu werden, und werden dann decodiert und zu der Bewegungs- und Luminanzkompensationsschaltung 12 übertragen. Im Intra-Modus empfängt die Schaltung an ihrem dritten Eingang ein während einer vorausgehenden Iteration berechnetes Bild, ausgenommen für die erste Iteration, und nicht das Bild I(t). Ein erstes Bild wird aus den Bewegungs- und Luminanzinformationen berechnet und dann als Ausgang zu einer Schaltung zur Berechnung der Anzahl von Iterationen und zur Übertragung 14 übertragen, die die berechneten Werte zurücksendet, die sie an dem Eingang der Kompensationsschaltung über ein Filter 16 und einen Unterabtaster 17 empfängt. Nach einer bestimmten Anzahl an Iterationen wird das derart rekonstruierte Bild das vorausgesagte Bild, das zu der Subtrahierstufe 7 durch diese Schaltung 14 übertragen wird, um so von dem Bild I(t) subtrahiert zu werden.
Der Ausgang von der Luminanz- und Bewegungskompensationsschaltung ist daher über eine Schleife mit dem Eingang verbunden, um so mehrere, mit c() bezeichnete Kompensationen zu ermöglichen, für einen Operator f(), bestehend aus einer linearen Tiefpassfilterung und mit einer Unterabtastung, z. B. eine räumliche Aufteilung durch zwei. Die Kompensation c() beruht dann auf einer Bewegungskompensation wie auf einer Luminanzkompensation.
Die "wiederholte" Kompensation besteht in der Durchführung des folgenden Algorithmus (mit einem willkürlichen I₀ der Zahl von Iterationen, die bei acht festgesetzt wird):

– Initialisierung I = I₀

– i-te Iteration (i < 9): I_i = c(f(I_i–1))

– achte und letzte Iteration I₈ = c(f(I₇))
I_S ist das rekonstruierte Bild.
Daraufhin ist es offensichtlich, dass die "übliche" Kompensation aus einer "wiederholten" Kompensation besteht, für die gilt:

– die Anzahl der Iterationen ist gleich 1
– f() wird durch die Identität ersetzt
– I₀ ist das Referenzbild R.

Diese wiederholte Kompensation macht es daher möglich, die Voraussage von I als eine Funktion der decodierten Luminanz und der Bewegungsinformationen zu berechnen. Somit kann das Intra-Bild wie ein Inter-Bild verarbeitet werden. Es besteht eine wichtige Folge hinsichtlich der Hardware-Realisierung, in dem die Schaltungsausführung dieselbe ist für die Intra-Bilder wie für die Inter-Bilder. Die gemeinsamen Punkte sind dann die folgenden beim Coder:

– Schätzung der Bewegung der zugehörigen Codierung,
– Luminanzschätzung entsprechend den Bewegungsergebnissen und der zugehörigen Codierung,
– Luminanz- und Bewegungskompensation auf der Grundlage eines Referenzbildes oder des Bildes, das sich aus einer linearen Filterung und der Unterabtastung ergibt und das iterativ wiederholt werden kann (Intra-Fall), um so das rekonstruierte Bild zu berechnen,
- Berechnung des Residuums durch Subtraktion und zugehörige Codierung.

2 zeigt ein Decodiergerät oder einen Decoder gemäß der Erfindung. In dieser Figur werden dieselben Bezugszeichen für den Coder und den Decoder gemeinsamen Schaltungen angewendet.
Die Bewegungs- und Luminanzinformationen, die durch die Ausgänge S2 und S3 des vorangehend beschriebenen Coders übertragen werden, werden an einem ersten und zweiten Eingang E2 und E3 des Geräts empfangen. Diese Informationen werden den Eingängen der Bewegungs- bzw. Luminanzdecodierschaltungen 10 bzw. 11 von dem beim Coder benutzen Typ übertragen. Die Ausgänge dieser Schaltungen werden auf einen ersten und zweiten Eingang einer Bewegungs- und Lumi nanzkompensationsschaltung 12 vom selben Typ wie beim Coder übertragen. Der dritte Eingang des Decoders E1 empfängt das zu einer Rest-Decodierschaltung 19 übertragene Residuum, und der Ausgang des letzteren ist mit einem ersten Eingang einer Addierstufe 20 verbunden. Der Ausgang dieser Addierstufe, der außerdem der Ausgang S des Decoders ist, wird zu einem ersten Eingang eines Schalters 6 mit zwei Stellungen entsprechend der Stellung 1 übertragen, d. h. zu dem Inter-Modus. Der Ausgang dieses Schalters ist mit einem dritten Eingang der Bewegungs- und Luminanzkompensationsschaltung 12 verbunden. Der Ausgang dieser Schaltung ist mit dem Eingang eines zweiten Schalters 13 mit zwei Stellungen verbunden. Der erste Ausgang dieses Schalters, der dem Inter-Modus entspricht, ist mit einem ersten Eingang eines dritten Schalters 15 mit zwei Stellungen verbunden, die ebenfalls dem Inter-Modus entsprechen. Der Ausgang dieses dritten Schalters ist mit dem zweiten Eingang der Addierschaltung 20 verbunden.
Im Intra-Modus ist der Eingang des zweiten Schalters 13 mit seinem zweiten Ausgang verbunden, der selbst mit dem Eingang eines Iterations- und Übertragungsschaltung 14 verbunden ist. Ein erster Eingang dieser Schaltung ist mit dem zweiten Eingang des Schalters 15 verbunden. Der zweite Ausgang ist mit dem zweiten Eingang des Schalters 6 über eine Filterschaltung 16 und eine damit in Reihe liegende Unterabtastschaltung 17 verbunden.
Die Verarbeitungsvorgänge sind hier sehr ähnlich zu denen für die Codierung. Die Bewegungs-, Luminanz- und Restdaten, die durch den Coder übertragen und an den Eingängen E2, E3 bzw. E1 empfangen werden, werden durch die Decodierschaltungen 10, 11, 19 decodiert, die die inversen Vorgänge zu denen durchführen, die durch die entsprechenden Codierschaltungen 8, 9, 18 im Coder erfolgen.
Die Inter-Modus-Decodierung benutzt ein Referenzbild R. Die Luminanz- und Bewegungs-Kompensationsschaltung 12 identifiziert das gespeicherte Referenzbild R für die Benutzung (diese kann vorbestimmt sein), die sie hinsichtlich der Bewegung und der Luminanz auf der Grundlage der decodierten Bewegungs- und Luminanzinformationen kompensiert und so an seinem Ausgang ein vorausgesagtes Bild erzeugt. Der durch die Schaltung 19 decodierte Residuum wird durch die Addierstufe 20 diesem Bild angefügt, die somit das rekonstruierte Bild an ihrem Ausgang bildet.
Dieses Bild ist dasjenige, das an dem Ausgang S des beschriebenen Geräts verfügbar ist. Dieses Bild ist außerdem dasjenige, das als Eingang zu der Kompensationsschaltung zurückgeführt wird, und wird möglicherweise als Referenzbild für die Inter-Decodierung eines folgenden Bildes benutzt.
Die Intra-Modus Decodierung benutzt kein rekonstruiertes Bild als Referenzbild. Sie beginnt von einem willkürlichen Referenzbild I₀, das durch die Schaltung 12 erzeugt wird oder in einem Speicher der Schaltung 12 enthalten ist (das natürlich anders sein kann als das durch den Coder benutzte Referenzbild). Eine erste Iteration erfolgt auf der Grundlage dieses Bildes durch Abrage der Filterschaltung 16 und dann die Schaltung 12, die eine Bewegungs- und Luminanzkompensation als eine Funktion der durch den Coder übertragenen Daten durchführt und so ein neues Bild I₁ schafft, usw. Das Bild I₇, wobei wir uns nur auf 7 Iterationen beim Coder beziehen, ist das rekonstruierte Bild, das über die Iterations- und die Übertragungs-Berechnungsschaltung 14 zu der Addierstufe übertragen wird.
Das Decodiergerät wird hier mit drei Eingängen beschrieben. Es ist jedoch offensichtlich, dass dann, wenn die Luminanz- und Bewegungsdaten mit den codierten Restdaten gemultiplext werden, ein in der Figur nicht dargestellter Demultiplexer am Eingang des Decoders die Aufgabe der Sortierung dieser Daten übernimmt, um diese zu den entsprechenden Eingängen E1, E2 oder E3 des Decoders zu übertragen.
Die Punkte, die gemeinsam sind für das Codier- und das Decodiergerät, sind die folgenden:

– Decodierung für die Bewegung,
– Decodierung für die Luminanz,
– Luminanz- und Bewegungskompensation aufgrund eines Referenzbildes (die bei Beginn eines Intra-Falls ein leerer Bildspeicher sein kann) und die iterativ wiederholt werden kann (Intra-Fall) durch Anwendung des folgenden Punktes,
– lineare Filterung und Unterabtastung abhängig von dem Fall (Intra/Inter),
– Decodierung für das Residuum und Zusatz zu der Rekonstruktion durch Kompensation.

Im Allgemeinen kann bemerkt werden, dass keine Annahme getroffen wurde für das bestehende Bewegungsfeld. Es kann daher blockweise, abschnittsweise, dicht, mehr oder weniger genau durch das Verfahren der kleinsten Quadrate oder durch das Gradientenverfahren sein.
Die vorliegende Erfindung ermöglicht es daher, die bestehenden Schemen für die digitale Codierung der Bildfolgen zu verbessern, die auf der Bewegungskompensation beruhen. Sie verwenden bestehende Verarbeitungsvorgänge (Schätzung, Bewegungskompensation, Codierung der Repräsentationsdaten, Verarbeitung des Residuums), während sie unabhängig von ihnen gebildet werden.
Die Erfindung ist ganz besonders geeignet für die neuen Verfahren der Codierung durch den Bereich oder die Zone, die nicht mehr die Restdaten, sondern die Voraussagedaten allein benutzt. Es sei bemerkt, dass das Kriterium für die Entscheidung, ob die Luminanzdaten für einen Block oder eine gegebene Nachbarschaft oder Gebiet mit einem qualitativen Aspekt der Restdaten zugeordnet werden können, oder nicht, d. h. mit dem Maß der Anwendung des Residuums in der angestrebten Anwendung. Man kann tatsächlich für das Beispiel gemäß den neuen Lösungen oder Codierung durch den Bereich oder die Zone vorsehen, das Residuum nur für bestimmte Bilder zu übertragen, durch Abtastung für ein Bild von n Bildern oder Ähnliches und diese Informationen gar nicht zu übertragen, wobei die Decoder dann nur die Voraussageinformationen benutzen.

Claims

Verfahren zur Codierung von digitalen Daten aus einer Folge von Videobildern mit Durchführung einer Codierung der Differenz in der Luminanz (7) zwischen einem zu codierenden laufenden Bildsegment und einem vorausgesagten Bildsegment zur Bildung von Residuumsdaten mit dem Schritt der Ermittlung eines Referenzbildsegments (5) in einem Referenzbild, das mit dem laufenden Bildsegment korreliert ist, durch Ausführung einer Bewegungsschätzung zur Gewinnung von Bewegungsparametern, die das Referenz- Bildsegment definieren, gekennzeichnet durch folgende Schritte: – Ermittlung von Transformationskoeffizienten für eine Grauwert-Transformation, die bei Anwendung auf das Referenzbildsegment unter Anwendung der Transformationskoeffizienten das laufende Bildsegment annähert, – Berechnung (12, 14, 16, 17) des vorausgesagten Bildsegments entsprechend den Transformationskoeffizienten durch Transformation des Referenzbildsegments.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Referenzbild ein vorausgesagtes Bild ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Referenzbild durch Filterung (1) und Unterabtastung (4) des laufenden Bildes gewonnen wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Berechnung des vorausgesagten Bildsegments durch aufeinanderfolgende Iterationen eines willkürlichen Bildes (Io) und jede Iteration eine Filterung (16), eine Unterabtastung (17) und eine Kompensation in der Bewegung und der Luminanz (12) entsprechend den Bewegungsparametern und den Transformationskoeffizienten erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Transformation eine lineare Transformation ist.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Bildsegment ein Bildblock ist und die Transformationskoeffizienten beim Bildblockwert berechnet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ermittlung der Transformationskoeffizienten auf der Grundlage des Verfahrens der kleinsten Quadrate erfolgt.
Verfahren zur Decodierung von digitalen Daten, die eine Folge von Videobildern darstellen, mit einem Residuum, Bewegungsparametern und Transformationskoeffizienten durch Berechnung eines aus dem Residuum und einem vorausgesagten rekonstruierten Bilds, gekennzeichnet durch einen Schritt der Bewegungskompensation zur Bildung eines Bildsegments in einem vorausgehenden Bild gemäß den Bewegungsparametern und einem Schritt zur Grauwert-Transformation zur Umsetzung des Bildsegments als eine Funktion der Transformationskoeffizienten zur Berechnung des vorausgesagten Bildes.
Gerät zur Codierung von Daten gemäß dem Verfahren nach Anspruch 1 mit einer Bewegungsschätzungsschaltung (5) zum Empfang eines laufenden Bildsegments und eines Referenzbildes zur Ermittlung des Referenzbildsegments, das mit den Bewegungsparametern des laufenden Bildsegments korreliert ist, einer Subtrahierstufe zur Subtraktion eines vorausgesagtes Bildsegments von dem laufenden Bildsegment zur Bildung eines Residuums, gekennzeichnet durch eine Luminanzschätzungsschaltung (5) zum Empfang des Referenzbildsegments und des laufenden Bildsegments zur Ermittlung der Transformationskoeffizienten für eine Grauwert-Transformation, die das laufende Bildsegment annähert bei der Hinzufügung zu dem Referenzbildsegment, zur Berechnung des vorausgesagten Bildsegments durch eine Transformation des Referenzbildsegments.
Gerät nach Anspruch 9, gekennzeichnet durch ein Filter (1) und einen Unterabtaster (4) zum Empfang des laufenden Bildes zur Berechnung des Referenzbildes und einer Bewegungs- und Luminanzkompensationsschaltung (12) zum Empfang der Bewegungsparameter und der Transformationskoeffizienten zur Berechnung des vorausgesagten Bildsegments durch sukzessive Iterationen auf einem willkürlichen Bild entsprechend den Bewegungsparametern und dem Transformationenkoeffizienten.
Gerät zur Decodierung von digitalen Daten, die eine Folge von Videobildern darstellen, und einem Residuum, Bewegungsparametern und Transformationskoeffizienten enthalten, durch Berechnung eines aus dem Residuum und einem vorausgesagten Bild rekonstruierten Bilds, gekennzeichnet durch eine Bewegungs- und Luminanzkompensationsschaltung (12) zum Empfang eines vorausgehenden Bildes für die Auswahl eines vorausgehenden Bildsegments entsprechend den Bewegungsparametern und zur Berechnung des vorausgesagten Bildes durch eine Grauwert-Transformation des vorausgehenden Bildsegments als eine Funktion der Transformationskoeffizienten.
Signal mit komprimierten Daten, gebildet durch das Verfahren nach Anspruch 1.