DE69120679T2

DE69120679T2 - Signalkodierung

Info

Publication number: DE69120679T2
Application number: DE69120679T
Authority: DE
Inventors: David Owen Beaumont; David Geoffrey Morrison; Michael Erling Nilsson; Ian Parke
Original assignee: British Telecommunications PLC
Current assignee: British Telecommunications PLC
Priority date: 1990-10-15
Filing date: 1991-10-15
Publication date: 1996-11-07
Anticipated expiration: 2011-10-16
Also published as: CA2093801C; GB9022326D0; EP0553215A1; AU8663891A; HK112397A; DE69120679D1; CA2093801A1; JP3187422B2; US5349383A; EP0553215B1; JPH06502047A; WO1992007445A1

Description

Die vorliegende Erfindung bezieht sich auf die Codierung von Videosignalen.
Techniken für die Codierung digitaler Videosignale zur Erzielung einer Datenkompression und zur damit einhergehenden Reduzierung der Bitrate, die für die Übertragung der codierten Videosignale erforderlich ist, sind wohlbekannt. Ein Beispiel einer solchen Technik ist die CCITT- Empfehlung H.261, Video Coding Standard, die räumliche und zeitliche Redundanzen in einem Videocodierungsprozeß benutzt, um eine Datenkompression zu erzielen. Solche Redundanzen verändern sich mit dem Bildinhalt und daher mit dem Grad der Datenkompression, so daß sich auch die resultierende geforderte Bitrate verändert. Um den Betrieb mit Übertragungskanälen mit fester oder konstanter Bitrate zu erleichtern, erfolgt eine Pufferung der codierten Videodaten. Diese Pufferung ist jedoch unzureichend, um große und schnelle Veränderungen der Datenrate zu beherrschen, wie sie beispielsweise bei einer Szenenänderung oder als Ergebnis einer Bewegung im Bild auftreten. Unter solchen Umständen werden Parameter des Codierungsprozesses in der Weise eingestellt, daß die Rate der codierten Daten reduziert wird. Daraus ergibt sich jedoch eine Verringerung der Bildqualität Eine Form einer Parametersteuerung umfaßt die Stufengröße der Quantisierungsgröße des Codierungsprozesses in Abhängigkeit vom Befüllungsgrad des Puffers. Das Gesamtergebnis besteht darin, daß bei Übertragungskanälen mit fester Rate die Bildqualität veränderlich ist, wobei Codierungsverzerrungen insbesondere manchmal sichtbar sind, während bei anderen Gelegenheiten die Kanalkapazität verschwendet wird, weil nur wenige Änderungen zu übertragen sind.
Die Aussicht auf Netze mit asynchronem Übertragungsmodus (ATM) wie etwa Breitband-ISDN, CCITT-Empfehlung I121, bietet die Möglichkeit von Übertragungskanälen mit variabler Bitrate mit möglichen Nutzen für den beschriebenen Typ der Videocodierung. Eine erste Annäherung könnte darin bestehen, die Pufferung der codierten Videodaten wegzulassen und den Kanal mit variabler Bitrate eines ATM-Netzes auszunutzen, um die variable Rate codierter Daten der Videoübertragung zu beherrschen. Bei ATM-Netzen, die gewöhnlich auf Datenpaketen oder Zellen basieren, besteht jedoch die Möglichkeit eines Datenpaketoder Zellenverlusts, so daß hochgradig prädiktive Videocodierungstechniken nicht zufriedenstellend auf einen zwischenzeitlichen Datenverlust reagieren würden. Um dieses Problem zu beseitigen und um den Vorteil der Übertragungskanäle mit variabler Bitrate zu nutzen, ist vorgeschlagen worden (N. Ghanbrai, IEEE Journal of Selected Areas of Communication, Bd. 7, Nr. 5, Juni 1989, S. 771-781), eine Zweischicht-Videocodierung mit einer ersten Basisschicht-Codierung, die die wesentlichen Videodaten enthält, und einer zweiten Verbesserungsschicht-Codierung, die die Differenz zwischen den Eingangsdaten und dem Ergebnis der ersten Schichtcodierung enthält, zu verwenden, siehe Fig. 1. Die codierten Daten von der Basisschicht-Codierung können über einen Übertragungskanal mit konstanter Bitrate (CBR) mit "garantierten" Datenpaketen gesendet werden, während die codierten Daten von der Verbesserungsschicht über einen Übertragungskanal mit variabler Bitrate (VBR) übertragen werden können. Falls von den Verbesserungsdaten im VBR- Kanal Datenpakete oder Zellen verlorengehen, wird durch die Basisschichtdaten, die über den CBR-Kanal gesendet werden, eine minimale Bildqualität aufrechterhalten. Die WO-A-87 05179 offenbart ein ähnliches Zweischichtsystem, in dem die Differenzdaten nur gesendet werden, falls die Differenzen größer als ein Schwellenwert sind, der vom Befüllungsgrad des Ausgangspuffers abhängt.
Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Codieren von Videosignalen zu schaffen.
Gemäß der vorliegenden Erfindung enthält ein Verfahren zum Codieren eines Videosignals für die Übertragung:
Codieren von das Videosignal darstellenden Daten mittels einer Basisschicht-Codierungsoperation, die eine Quantisierung enthält, um codierte Videodaten für die Übertragung zu schaffen;
Ableiten von invers codierten Videodaten durch Ausführen einer inversen Basisschicht-Codierungsoperation an den codierten Videodaten;
Ableiten von Differenzdaten aus den das Videosignal darstellenden Daten und den invers codierten Videodaten; und
Codieren der Differenzdaten durch eine Verbesserungsschicht-Codierungsoperation, um codierte Differenzdaten für die Übertragung zu schaffen;
dadurch gekennzeichnet, daß die Differenzdaten nur codiert werden, wenn die Energie der Differenzdaten einen veränderlichen Schwellenwert übersteigt, wobei der Schwellenwert zur Basisschicht-Quantisierungsschrittgröße umgekehrt proportional ist.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung enthält eine Vorrichtung zum Codieren eines Videosignals für die Übertragung:
eine Einrichtung zum Codieren von das Videosignal darstellenden Daten durch eine Basisschicht-Codierungsoperation, die eine Basisschicht-Quantisierungseinrichtung mit einer Basisschicht-Quantisierungsschrittgröße enthält, um codierte Videodaten für die Übertragung zu schaffen;
eine Einrichtung zum Ableiten von invers codierten Videodaten durch Ausführen einer inversen Basisschicht-Codierungsoperation an den codierten Videodaten;
eine Einrichtung zum Ableiten von Differenzdaten aus den das Videosignal darstellenden Daten und den invers codierten Videodaten; und
eine Einrichtung zum Codieren der Differenzdaten durch eine Verbesserungsschicht-Codierungsoperation, um codierte Differenzdaten für die Übertragung zu schaffen;
dadurch gekennzeichnet, daß die Einrichtung zum Codieren der Differenzdaten nur dann arbeitet, wenn die Energie der Differenzdaten einen veränderlichen Schwellenwert übersteigt, wobei der Schwellenwert zur Basisschicht-Quantisierungsschrittgröße umgekehrt proportional ist.
Nun wird eine bevorzugte Ausführungsform der Erfindung beispielhaft und mit Bezug auf die beigefügten Zeichnungen beschrieben, in denen:
Fig. 1 eine schematische Darstellung eines Zweischicht- Videocodierungsprozesses ist;
Fig. 2 eine schematische Darstellung eines H.261-Videocodierers ist, der gemäß einer Ausführungsform der Erfindung modifiziert ist;
Fig. 3 eine schematische Darstellung eines H.261-Videodecodierers ist, der gemäß einer Ausführungsform der Erfindung modifiziert ist; und
Fig. 4 ein Graph ist, der das reduzierte SNR zeigt, das mit der vorliegenden Erfindung erhalten werden kann.
Nun wird unter allgemeiner Bezugnahme auf die Fig. 2 und 3 eine Ausführungsform der Erfindung als Modifikation des CCITT-H.261-Codierungsprozesses beschrieben, der durch den Videocodierer und den Videodecodierer der Fig. 2 bzw. 3 beispielhaft dargestellt ist, wobei die Erfindung auf andere Codierungsschemata anwendbar ist und die H.261- Norm nicht zur Beschränkung, sondern zur Erläuterung der Prinzipien der Ausführungsformen der Erfindung gewählt wird. Diejenigen Teile der Ausführungsform der Erfindung, die in den Fig. 2 und 3 dargestellt sind und der H.261- Norm entsprechen, sind in Kästen aus unterbrochenen Linien enthalten. Da diese Teile des Codierers und des Decodierers wohlbekannt sind, werden sie nicht im einzelnen beschrieben.
Zunächst wird auf Fig. 2 Bezug genommen, in der die Codierung von Videoeingangsdaten in Übereinstimmung mit der H.261-Norm erfolgt, um eine Basisschicht von codierten Videodaten für die Übertragung über einen CBR-Kanal zu schaffen. Aus dem H.261-Codierungsprozeß werden die codierten Daten nach der DCT-Codierung und vor der Quantisierung entnommen. In dem H.261-Codierungsprozeß werden die DCT-codierten Daten durch einen Quantisierer 2 quantisiert, der durch die Steuerung 4 für die Übertragung gesteuert wird, wobei diese quantisierten Daten auch invers quantisiert, um in nachfolgenden Codierungsschritten verwendet zu werden. Die entnommenen DCT-codierten Daten werden von den invers quantisierten Daten subtrahiert, um variable Differenzdaten zu erzeugen. Die variablen Differenzdaten werden für die Übertragung über einen Übertragungskanal mit variabler Bitrate verarbeitet, wie nun beschrieben wird.
Die variablen Differenzdaten werden wahlweise durch einen Schalter (SW1) mit einem festen Quantisierer und Codierer mit variabler Länge (Q & VLC) und anschließend über einen Multiplexierer (MUX) und eine Leitungsschnittstelle (LI) mit einem Datenkanal mit variabler Bitrate (VBR) gekoppelt. Der Schalter (SW1) wird über einen Schwellenwertdetektor (TH) gesteuert, der Eingänge von der Quantisierersteuereinrichtung 4 des H.261-Codierers sowie von einer Energiebestimmungseinrichtung (ED) empfängt, welche die variablen Differenzdaten bearbeitet. Außerdem wirkt eine Steuerschaltung (C) auf den Quantisierer (Q) des H.261- Codierers ein.
Der Codierungsprozeß der bevorzugten Ausführungsform wird nun genauer beschrieben. Die Energie der variablen Differenzdaten wird durch den Energiedetektor (ED) in einem Block (8 mal 8 PEL) als Summe der Quadrate der DCT-Koeffizienten der variablen Differenzdaten bestimmt. Die berechnete Blockenergie (BE) wird mit einem Schwellenpegel (TL) durch den Schwellenwertdetektor (TH) verglichen, dessen Schwellenwert auf der Grundlage der Schrittgröße des Quantisierers (Q) des H.261-Codierers festgelegt ist. Der Schwellenpegel (TL) ist gesetzt als
TL = K/ (Basis-Quantisierschrittgröße),
wobei K eine Konstante ist. Falls die Blockenergie (BE) größer als der Schwellenpegel (TL) ist, wird der Schalter (SW1) in der Weise betätigt, daß die variablen Differenzdaten für diesen Block folgendermaßen verarbeitet und übertragen werden.
Variable Differenzdaten, die vom Quantisierer und Codierer mit variabler Länge (Q & VLC) empfangen werden, werden mit einem festen, kleinen Schrittpegel quantisiert und unter Verwendung einer Codierung mit variabler Länge, z. B. der 2D-VLC-Codierung codiert. Die quantisierten und codierten variablen Differenzdaten werden über einen Multiplexierer (MUX), der Adresseninformationen hinzufügt, und über eine Leitungsschnittstelle (LI) an einen VBR-Kanal beispielsweise für ein ATM-Netz geschickt.
Der eben beschriebene Prozeß ergibt Daten für Blöcke von variablen Differenzdaten, deren Energie größer als der Schwellenpegel ist und die codiert und über den VBR-Kanal übertragen werden. Somit werden Blöcke, die deutliche Änderungen enthalten, übertragen, während Blöcke mit kleineren Änderungen nicht übertragen werden. Fig. 4 ist ein Graph, der den Vergleich des SNR für Blöcke in der zweiten Schicht, die größer als der variable Schwellenwert sind, mit Blöcken in der zweiten Schicht, für die keine Entscheidung getroffen wird, zeigt. Die mittlere Bitrate für die zweite Schicht ist auf 31315 Bits/s gefallen, eine Einsparung von 33 % gegenüber dem Zweischichtmodell ohne Schwellenwert-Entscheidung. Das mittlere SNR ist auf 39,93 dBs gefallen (ein Abfall von 0,34 dBs), die Streuung beträgt 1,4 dBs.
Daten für Blöcke mit vorübergehenden Energiepegeln unterhalb des Schwellenpegeis werden nicht übertragen, so daß kleine Änderungen, beispielsweise Einzelheiten im Hintergrund, als Verbesserungsdaten niemals übertragen werden müssen. Solch kleine Änderungen können mit einer niedrigen Rate auftreten, wobei sich zwischen dem "wahren" Bild und dem codierten und übertragenen Bild allmählich ein Fehler aufbaut.
Um dieses Problem zu lösen, wird die Schrittgröße des Quantisieres (Q) des H.261-Codierers auf die gleiche Schrittgröße wie beim Quantisierer des Verbesserungsschicht-Codierers für einen Teil des Vollbilds eines Eingangsvideobildes festgelegt. Somit wird ein Bild begrifflich in zwölf Gruppen von Blöcken (GOBs) unterteilt, außerdem wird der Quantisierer des H.261-Codierers über eine Folge von Vollbildern auf die feste Schrittgröße des Verbesserungscodierer-Quantisierers für jede der GOBs gesetzt. Dies hat die Basisschicht-Codierung von mehr Daten als gewöhnlich für die GOB, die in einem besonderen Vollbild gewählt wird, zur Folge, außerdem werden in der Verbesserungsschicht keine Daten codiert, weil der Schwellenpegel des Verbesserungscodierers sehr hoch wird, während gleichzeitig die Energie der variablen Differenzdaten der gewählten GOB niedrig ist. Wenn der Quantisierer im H.261-Codierer eine kleine Schrittgröße besitzt, sind Quantisierungsfehler klein, außerdem sind die Fehler kleiner als ihre Quantisierer-Schrittgröße in der Verbesserungsschicht. Das Ergebnis ist ein Abfall der Rate der momentan codierten Daten in der Verbesserungsschicht und ein Anstieg der Rate der momentan codierten Daten in der Basisschicht, obwohl selbstverständlich wegen der Pufferung in der Basisschicht die konstante Bitrate dieser Schicht aufrechterhalten wird. Durch diesen Prozeß der wahlweisen Erzwingung einer Quantisierung mit kleiner Schrittgröße der GOBs eines Bildes werden wiederum irgendwelche Änderungen im Bild mit zu niedrigen Energiepegeln, die in die Verbesserungsschicht- Codierung aufgenommen werden müssen, periodisch in die Basisschicht-Codierung ausgelagert.
Der Codierungsprozeß ist mit Bezug auf den Codierer von Fig. 2 beschrieben worden. Der Decodierungsprozeß ist im wesentlichen zum Codierungsprozeß entgegengesetzt, weshalb er nur allgemein mit Bezug auf Fig. 3 beschrieben wird, die einen Decodierer der bevorzugten Ausführungsform darstellt. Somit wird ein vom CBR-Kanal empfangenes Signal durch eine H.261-Decodiererschaltung auf herkömmliche Weise decodiert, wobei die Verbesserungsdaten im VBR-Kanal durch eine Leitungsschnittstelle (LI) verarbeitet und durch einen Zellenverlust-Detektor (CLD) analysiert werden, um festzustellen, ob irgendwelche Datenzellen bei der Übertragung verloren worden sind. Die empfangenen Daten werden demultiplexiert und einer Decodierung variabler Länge (DMux & VLD) unterworfen, bevor sie invers quantisiert (feste Schrittgröße) und DCT-decodiert werden. Die resultierenden decodierten variablen Daten werden mit dem Ausgang des H.261-Codierers summiert, um ein digitales Videoausgangssignal zu schaffen. Um einen Zellenverlust zu berücksichtigen, ist der Demultiplexierer der Verbesserungsschicht mit dem Demultiplexierer der Basisschicht (H.261-Schicht) synchronisiert.
Die bevorzugte Ausführungsform ist mit Bezug auf die nachträgliche DCT-Differenzierung für die Verwirklichung einer Übertragung von variablen Differenzdaten beschrieben worden. Die Differenzierung kann vor einer solchen Codierung im PEL-Bereich erfolgen, so daß die variablen Differenzdaten sowohl Quantisierungs- als auch Umwandlungsfehler aufzeigen würden.
Als Alternative zu dem Verfahren der Bestimmung der Blockenergie, die in der bevorzugten Ausführungsform beschrieben worden ist, kann die Blockenergie als Summe der absoluten Differenzen, d. h. als Summe der Absolutwerte der Koeffizienten der Verbesserungsschicht-Daten, bestimmt werden.

Claims

1. Verfahren zum Codieren eines Videosignals für die Übertragung, das umfaßt:

Codieren von das Videosignal darstellenden Daten mittels einer Basisschicht-Codierungsoperation, die eine Quantisierung enthält, um codierte Videodaten für die Übertragung zu schaffen;

Ableiten von invers codierten Videodaten durch Ausführen einer inversen Basisschicht-Codierungsoperation an den codierten Videodaten;

Ableiten von Differenzdaten aus den das Videosignal darstellenden Daten und den invers codierten Videodaten; und

Codieren der Differenzdaten durch eine Verbesserungsschicht-Codierungsoperation, um codierte Differenzdaten für die Übertragung zu schaffen;

dadurch gekennzeichnet, daß die Differenzdaten nur codiert werden, wenn die Energie der Differenzdaten einen veränderlichen Schwellenwert übersteigt, wobei der Schwellenwert zur Basisschicht-Quantisierungsschrittgröße umgekehrt proportional ist.

2. Verfahren nach Anspruch 1, in dem die Verbesserungsschicht-Codierungsoperation eine Quantisierung enthält.

3. Verfahren nach Anspruch 2, in dem die Basisschicht-Quantisierungsschrittgröße für Daten, die einen Teil eines Bildes des Videosignals darstellen, wahlweise in der Weise gesetzt wird, daß sie gleich der Verbesserungsschicht-Quantisierungsschrittgröße ist.

4. Verfahren nach Anspruch 3, in dem das Bild begrifflich in eine Reihe von Abschnitten unterteilt wird und für jedes Bild der Videosignaldaten einer der Abschnitte des Bildes mit der Quantisierungsschrittgröße der Basisschicht-Codierungsoperation codiert wird, die gleich der Verbesserungsschicht-Quantisierungsschrittgröße gesetzt ist.

5. Verfahren nach irgendeinem vorangehenden Anspruch, in dem die das Videosignal darstellenden Daten selbst eine codierte Darstellung des Videosignals sind.

6. Verfahren nach Anspruch 5, in dem die das Videosignal darstellenden Daten eine DCT-codierte Darstellung des Videosignals sind.

7. Vorrichtung zum Codieren eines Videosignals für die Übertragung, mit:

einer Einrichtung zum Codieren von das Videosignal darstellenden Daten durch eine Basisschicht-Codierungsoperation, die eine Basisschicht-Quantisierungseinrichtung mit einer Basisschicht-Quantisierungsschrittgröße enthält, um codierte Videodaten für die Übertragung zu schaffen;

einer Einrichtung zum Ableiten von invers codierten Videodaten durch Ausführen einer inversen Basisschicht-Codierungsoperation an den codierten Videodaten;

einer Einrichtung zum Ableiten von Differenzdaten aus den das Videosignal darstellenden Daten und den invers codierten Videodaten; und

einer Einrichtung zum Codieren der Differenzdaten durch eine Verbesserungsschicht-Codierungsoperation, um codierte Differenzdaten für die Übertragung zu schaffen;

dadurch gekennzeichnet, daß die Einrichtung zum Codieren der Differenzdaten nur dann arbeitet, wenn die Energie der Differenzdaten einen veränderlichen Schwellenwert übersteigt, wobei der Schwellenwert zur Basisschicht-Quantisierungsschrittgröße umgekehrt proportional ist.

8. Vorrichtung nach Anspruch 7, in der die Einrichtung zum Codieren der Differenzdaten eine Quantisierungseinrichtung enthält.

9. Vorrichtung nach Anspruch 8, in der die Schrittgröße der Basisschicht-Quantisierungseinrichtung für die einen Teil eines Bildes das Videosignals darstellenden Daten wahlweise in der Weise gesetzt wird, daß sie gleich der Verbesserungsschicht-Quantisierungsschrittgröße ist.

10. Vorrichtung nach Anspruch 9, in der das Bild begrifflich in eine Reihe von Abschnitten unterteilt wird und für jedes Bild der Videosignaldaten einer der Abschnitte des Bildes mit der Quantisierungsschrittgröße der Basisschicht-Codierungsoperation verarbeitet wird, die gleich der Verbesserungsschicht-Quantisierungsschrittgröße gesetzt ist.

11. Vorrichtung nach irgendeinem der Ansprüche 7 bis 10, in der die das Videosignal darstellenden Daten selbst eine codierte Darstellung des Videosignals sind.

12. Vorrichtung nach Anspruch 11, in der die das Videosignal darstellenden Daten eine DCT-codierte Darstellung des Videosignals sind.