DE69618759T2

DE69618759T2 - Verfahren und system zur kodierung einer sequenz von segmentierten bildern , kodiertes signal und speichermedium, verfahren und system zur dekodierung des kodierten signals

Info

Publication number: DE69618759T2
Application number: DE69618759T
Authority: DE
Inventors: Philippe Salembier
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1995-09-06
Filing date: 1996-08-27
Publication date: 2002-09-12
Anticipated expiration: 2016-08-28
Also published as: US6157745A; DE69618759D1; WO1997009828A1; CN1097956C; EP0789973A1; JPH10509008A; CN1166903A; EP0789973B1

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Codieren, wie in dem Oberbegriff des Anspruchs 1 definiert, einer Sequenz segmentierter Bilder, die je eine Anzahl Gebiete und zugehörige Kenncodes enthalten und die aufeinander folgende Aufteilungen definieren, wobei das genannte Verfahren für jede aktuelle Aufteilung einen Bewegungsmodellschätzungsschritt umfasst, vorgesehen um für jedes der genannten Gebiete die Evolution der Segmentierung aus einer vorhergehenden Aufteilung zu der genannten aktuellen Aufteilung zu charakterisieren, wobei die genannte Segmentierungsevolution ebenfalls eine vorhergehende Bestimmung einer Gebietsordnung für alle Paare benachbarter Gebiete der genannten aktuellen Aufteilung benutzt und einen Codierungsschritt, vorgesehen zum Codieren des Umrisses und der Textur jedes Gebietes der genannten aktuellen Aufteilung, wobei der genannte Codierungsvorgang in Kaskade die nachfolgenden Schritte umfasst:
(a) das Codieren der Umrisse der zu übertragenden und/oder zu speichernden Gebiete entsprechend einer ersten als Intraframe-Mode bezeichneten Technik;
(b) das Erzeugen einer kompensierten Aufteilung, welche die in Intraframe-Mode zu sendenden Gebiete sowie Gebiete betrifft, die auf Basis des genannten Bewegungsmodells kompensiert worden sind;
(c) das Berechnen einer Fehlaufteilung aus den genannten aktuellen und kompensierten Aufteilungen und das Codieren der Fehlaufteilung sowie des Kenncodes jedes Gebietes der codierten Fehlaufteilung entsprechend einer zweiten als Interframe-Mode bezeichneten Codierungstechnik;
(d) das Wählen zwischen der genannten Intraframe-Mode und der genannten Interframe-Mode für jedes Gebiet entsprechend wenigstens einem Kriterium mit einer Schätzung der Berechnungskosten, die mit den genannten betreffenden Moden verbunden sind. Ein derartiges Verfahren ist in WO-A-97/05746 und in der damit zusammenhängenden EP-A-0 783 820, beide veröffentlicht nach dem Einreichungsdatum der vorliegenden Anmeldung, beschrieben.
Die vorliegende Erfindung bezieht sich ebenfalls auf ein System, wie in dem Oberbegriff des Anspruchs 4 definiert, zum Implementieren des obengenannten Verfahrens.
Die vorliegende Erfindung bezieht sich weiterhin auf ein codiertes Signal, wie dies an dem Ausgang eines derartigen Systems erhalten wird und auf ein Speichermedium zum Speichern des genannten codierten Signals.
Die vorliegende Erfindung bezieht sich dennoch auf ein Verfahren zum Decodieren codierter Signale, die durch das oben genannte Verfahren erhalten worden sind, sowie auf ein Decodierungssystem zum Durchführen des genannten Decodierungsverfahrens.
In der nachfolgenden Beschreibung soll das Wort "Bild" im weitesten Sinne der Bedeutung verstanden werden. Es dürfte einleuchten, dass die vorliegende Erfindung sich nicht nur mit herkömmlichen Bildern befasst, bei denen wenigstens ein Leuchtdichtesignal jedem Bildelement (oder Pixel) zugeordnet ist, sondern auch mehr allgemein mit jedem Satz dreidimensionaler Daten (u, v, w), unter denen zwei derselben eine Art von Lage innerhalb eines vorbestimmten Frames und das dritte einen Wert, variierend innerhalb eines bestimmten Bereichs definieren und jedem Datenpaar zugeordnet ist. Das vorgeschlagene Verfahren ist jedoch besonders interessant für jede auf Segmentierung basierte Codierungstechnik und kann insbesondere bei Video- Endgeräten benutzt werden, die eine bewegungskompensierte Codierung der von der Segmentierung verursachten Aufteilung benutzen. Solche Techniken sind besonders nützlich für Applikationen mit einer niedrigen Bitrate, und eine Normung unter der Bezeichnung MPEG4 wird erwogen (MPEG ist ein Akronym für "Moving Picture Experts Group", wobei es sich um eine Gruppe von Sachverständigen der Internationalen Standardisierungsorganisation ISO handelt).
Das Dokument " A high-compressionimage coding method based on a new segmentation technique", L.H. Chen und Y.K. Chen, "Proceedings of the National Science Council", Chinesische Republik, Teil A: "Physical Science and Engineering", Heft 16, Nr. 5, September 1992, Seiten 403-421, bezieht sich auf eine auf Segmentierung basierte Codierungstechnik, wobei beschrieben wird, wie die Gebiete dargestellt werden sollen, die erhalten werden nachdem eine Eingangs-Videosequenz in Gebiete aufgeteilt worden ist. Das beschriebene Codierungsverfahren umfasst eine Umrisscodierung, benutzt zum Beschreiben der Umrisspunkte jedes Gebietes und eine Texturcodierung, benutzt zum Schätzen des Wertes jedes Pixels in jedem Gebiet der Aufteilung. Ein spezielles Problem bei einer derartigen Technik ist die Rechenbelastung und die Übertragungskosten auf einem niedrigen Pegel zu halten wenn die zu codierende und zu übertragende Information Bewegungsinformation über die Aufteilung sowie die Pixel innerhalb jedes Gebietes der genannten Aufteilung umfasst.
Es ist nun u.a. eine erste Aufgabe der vorliegenden Erfindung ein Aufteilungscodierungsverfahren vorzuschlagen, das zu einem reduzierten Betrag an übertragener Information führt und zu einer kleineren und folglich weniger aufwendigen Rechenbelastung führt, und deswegen zu einer besseren Qualität der schlussendlichen Bilder führt.
Dazu bezieht sich die vorliegende Erfindung auf ein Verfahren, wie dies in dem Einleitenden Teil dieser Beschreibung definiert ist und weist dazu weiterhin das Kennzeichen auf, dass der genannte Erzeugungsschritt selber die kennzeichnenden Merkmale nach Anspruch 1 umfasst:
(b&sub1;) für jedes betreffende Gebiet, das allen Punkten der aktuellen Aufteilung Zuordnen des Bewegungsmodells, geschätzt für das genannte Gebiet;
(b&sub2;) das Erzeugen der genannten kompensierten Aufteilung auf Basis eines Vergleichs für jedes betreffende Gebiet, zwischen der aktuellen Aufteilung und einer Aufteilung, rekonstruiert bei der Betrachtung des genannten zugeordneten Bewegungsmodells;
(b&sub3;) das Wählen nur eines verbundenen Gebietes für jeden Kenncode, entsprechend einem ersten vorbestimmten Kriterium;
(b&sub4;) das Eliminieren der Löcher die den nicht gewählten verbundenen Gebieten entsprechen, entsprechend einem zweiten vorbestimmten Kriterium.
Mit einem derartigen Codierungsverfahren ist die einzige Bewegungsinformation, die gesendet und übertragen werden soll, tatsächlich die Texturbewegung und die Gebietsordnung, die einen kleinen zusätzlichen Betrag an Information darstellen, wobei die Kenncodes jedes Gebietes auf wirtschaftliche Art und Weise unter Anwendung der Information der kompensierten Aufteilung codiert werden.
Weiterhin definiert, während die Codierung des Kompensationsfehlers global auf Framebasis und nicht auf Gebietsbasis gemacht wird, die Codierungsstrategie eine Übertragungsmode (Intraframe- oder Interframe-Mode) für jedes Gebiet einzeln, ohne Erwägung, dass alle Gebiete von derselben Mode verarbeitet werden sollen. Dadurch führt dieses Verfahren zu einem reduzierten Betrag an Information, die gesendet werden soll und zu einer besseren Qualität der erhaltenen Bilder.
Nach der vorliegenden Erfindung kann dieses Verfahren vorzugsweise durch die zusätzlichen Merkmale, geliefert durch Anspruch 2, verwirklicht werden:
(A) der genannte Codierungsschritt umfasst die nachfolgenden Teilschritte:
- das Selektieren des Satzes von Gebieten der genannten aktuellen Aufteilung, der in der Intraframe-Mode übertragen und/oder gespeichert werden soll;
- das Codieren der genannten selektierten Gebiete;
- das Erzeugen einer Maske entsprechend diesen selektierten Gebieten und das Codieren derselben;
(B) der genannte Berechnungs- und Codierungsschritt umfasst die nachfolgenden Schritte:
- das Berechnen einer Fehlaufteilung aus den genannten aktuellen und kompensierten Aufteilungen;
- das Codieren der Umrisse einer sog. Überaufteilung, wobei die Umrisse der genannten kompensierten Aufteilung und die Umrisse der genannten Fehlergebiete miteinander gekoppelt werden;
- das Codieren der Kenncodes jedes Gebietes der genannten codierten Überaufteilung.
Weiterhin kann zwischen dem genannten Berechnungs- und Umrisscodierungsteilschritt des Berechnungs- und Codierungsschrittes ein zusätzlicher vereinfachender Teilschritt, wie in Anspruch 3 definiert, vorgesehen werden, damit jedes Gebiet der Fehlaufteilung entweder fallen gelassen oder aufbewahrt und codiert wird.
Es ist eine weitere Aufgabe der vorliegenden Erfindung ein System zu schaffen zum Implementieren eines Codierungsverfahrens, wie oben präsentiert.
Dazu bezieht sich die vorliegende Erfindung auf ein System wie in Anspruch 4 definiert.
Eine andere Aufgabe der vorliegenden Erfindung ist, ein codiertes Signal, wie dies von einem derartigen Codierungssystem erzeugt wird, zu definieren, wobei das genannte codierte Signal ein gemultiplextes Signal ist, wie in Anspruch 6 definiert, und ein Speichermedium, wie in Anspruch 7 definiert.
Noch eine andere Aufgabe der vorliegenden Erfindung ist zum Schluss ein Verfahren zu schaffen zum Decodieren eines derartigen codierten Signals, wobei das genannte Decodierungsverfahren ist, wie in Anspruch 8 definiert, und ein entsprechendes Decodierungssystem zu schaffen, wie in Anspruch 9 definiert.
Ausführungsbeispiele der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
Fig. 1 eine Darstellung eines vorhergehenden Codierungsverfahrens, das in das Verfahren nach der vorliegenden Erfindung aufgenommen werden kann, wobei die Fig. 2 bis 13 sich ebenfalls auf das genante vorhergehende Verfahren beziehen;
Fig. 2 in der Sicht einer Bewegungsschätzung der Gebiete der aktuellen Aufteilung, die Vektoren, die für jedes dargestellte Gebiet, die Zeitevolution des Gebietes in einer Rückwärtsmode beschreiben;
Fig. 3 die Aufteilungskompensation, vorgesehen zum Definieren einer Prädiktion der aktuellen Aufteilung;
Fig. 4 eine Vorwärtsbewegungskompensation der Aufteilung, und Fig. 5 eine Rückwärtsbewegungskompensation der Aufteilung;
Fig. 6 und 7 die Formcodierung in der Intraframe-Mode bzw. in der Interframe-Mode;
Fig. 8 eine Ausführungsform eines Codierungssystems, welches das genannte vorhergehende Verfahren durchführt, und Fig. 9 bis 11 auf eine detaillierte Art und Weise einige Anordnungen des Codierungssystems nach Fig. 8;
Fig. 12 eine Darstellung eines Verfahrens zum Decodieren von Signalen, die codiert worden sind, wie oben angegeben, und Fig. 13 eine Ausführungsform einer Decodierschaltung, vorgesehen in dem Decodierungssystem, welches das genannte Decodierungsverfahren durchführt;
Fig. 14 eine Darstellung eines Codierungsverfahrens nach der vorliegenden Erfindung,
Fig. 15 betrifft den ersten Schritt (A) des Codierungsverfahrens nach Fig. 2 und gibt ein Beispiel der Umrissinformation entsprechend einer Aufteilung von sechs Gebieten, von denen nur vier Stück in der Intraframe-Mode gesendet werden;
Fig. 16 eine Maske, welche diejenigen Stellen angibt, an denen der Kenncode in der Intraframe-Mode gesendet wird, wobei diese Maske nützlich ist zum Durchführen des zweiten Schrittes (B);
Fig. 17 bezieht sich auf den dritten Schritt (C) und zeigt ein Beispiel der aktuellen bzw. kompensierten Aufteilung, gemacht an drei und zwei Gebieten, und der entsprechenden Fehlermaske mit drei Fehlergebieten mit den betreffenden Kenncodes a, b, c;
Fig. 18 ein Beispiel eines Codierungssystems zum Implementieren des Codierungsverfahrens nach Fig. 14;
Fig. 19 einen Umriss-Codierungsschritt (der Fehlergebiete) im Falle des Codierungsverfahrens nach Fig. 14;
Fig. 20 eine Darstellung eines Decodierungsverfahrens, effizient zum Decodieren der codierten Signale, die nach dem Codierungsverfahrens nach Fig. 14 erzeugt worden sind;
Fig. 21 ein Beispiel eines Decodierungssystems zum Durchführen des Decodierungsverfahrens nach Fig. 20.
Bei der nachfolgenden Beschreibung wird ein Verfahren beschrieben zum Codieren der Information in Bezug auf eine zeitvariierende Aufteilung, und zwar mit Hilfe einer Information über die Bewegung der Pixelwerte und ebenfalls mit Hilfe einer zusätzlichen Ordnungsinformation in Bezug auf die benachbarten Gebiete der Aufteilung. Diese zusätzliche Information soll beispielsweise die Ordnungsbeziehung sein, wie diese in der Mitteilung: "Motion and region overlapping estimation for segmentation-based video coding" von M. Pardas und P. Salembier in "IEEE International Conference on Image Processing", Austin, Texas (USA), November 1994, Heft II, Seiten 428-432 definiert und beschrieben worden ist. Obschon das genannte Codierungsverfahren beispielsweise mit einem derartigen Ordnungsbeziehungsdefinitionsverfahren angewandt werden soll, ist es insbesondere vorgesehen um in Bezug auf den verbesserten Typ der Ordnung implementiert zu werden, was die Aufgabe der obengenannten internationalen Patentveröffentlichung WO-A-97/05746 ist.
An diese oben genannte Europäische Patentanmeldung wird nachher noch erinnert, und zwar unter Anwendung der nachfolgenden Bemerkungen:
- die ursprünglichen Frames zu den Zeitpunkten (T-1), T, ..., werden als ORIG(-1), ORIG(0), ..., usw. bezeichnet;
- die Aufteilungen werden auf ähnliche Art und Weise als SEG(0) für die aktuelle Aufteilung zu dem Zeitpunkt T, als (SEG(-1) für die vorhergehende Aufteilung zu dem Zeitpunkt (T-1) usw. bezeichnet, eventuell für andere Aufteilungen zu anderen Zeitpunkten (eine Implementierung eines Segmentierungsverfahrens ist beispielsweise beschrieben worden in der Veröffentlichung: "Time-Recursive Segmentation of Image Sequences" von M. Pardas und P. Salembier, EUSIPCO 94, "VII. European Signal Processing Conference" Edingburgh, England, den 13. September 1994);
- auf ähnliche Weise bezeichnen REC(0) und REC(-1) die aktuelle (zu dem Zeitpunkt T) und die vorhergehende (zu dem Zeitpunkt (T-1)) Aufteilungen, wie diese im Empfänger nach der Übertragung rekonstruiert werden würden, und wie sie an der Codierungsseite erhalten werden;
- MOT(0) ist die Bewegungsinformation, welche die Evolution der Aufteilung zwischen (T-1) und T kennzeichnet (d. h. die es ermöglicht, dass SEG(0) aus SEG(-1)) deduziert wird und wird im Allgemeinen durch einen Satz von Parametern dargestellt, die jedem Gebiet der vorhergehenden Aufteilung SEG(-1) zugeordnet sind (zwecks der Bewegungsschätzung kann ein Verfahren vorgeschlagen werden, wie dies in dem Dokument "Region-based motion analysis for video coding Aufzeichnungsträger low bitrates" von H. Sanson in "Proceedings of MPEG4 Seminar", Paris (Frankreich), März 1994 beschrieben worden ist).
Das in der oben genannten internationalen Patentveröffentlichung beschriebene Verfahren ist in Fig. 1 schematisch dargestellt. Das genannte Verfahren umfasst in Kaskade den nachfolgenden ersten und zweiten Verfahrensschritt: die Definition der Übertragungsmode jedes Gebietes (von 1a bis 3c), Ordnungsberechnung (von 4a bis 5). Für den ersten Schritt der Definition der Übertragungsmode, werden die Eingangsdaten die aktuelle segmentierte Aufteilung SEG(0) (erhalten aus dem entsprechenden ursprünglichen Bild ORIG(0)), die vorhergehende rekonstruierte Aufteilung REC(-1), und die Bewegungsinformation MOT(0), die zu der Aufteilung SEG(-1) gehört. Der Zweck dieses ersten Schrittes ist die Übertragungsmode (Intraframe-Mode oder Interframe-Mode) jedes Gebietes zu definieren, und zwar dadurch, dass eine binäre Information gesendet wird, die benutzt wird um dem Empfänger mitzuteilen, ob das Gebiet in der Intraframe-Mode zur Umrisscodierung gesendet wird und beispielsweise innerhalb der Bewegungsinformation MOT(0) gespeichert wird. Diese Bewegungsinformation MOT(0) wird dazu einen Satz von Bewegungsparametern für jedes Gebiet erfordern (wie bereits erwähnt) sowie eine binäre Information, welche die Übertragungsmode der zugehörenden Umrisse angibt. Die Entscheidung über diese Übertragungsmode wird getroffen auf Basis der Kosten der Umrisse, durch einen Vergleich der Kosten jedes Gebietes entsprechend der Tatsache, dass sie in der Intraframe-Mode oder in der Interframe-Mode gesendet wird. Wie in Fig. 1 dargestellt, werden in diesem ersten Schritt drei Teilschritte erwogen.
Der erste Teilschritt (1a, 1b) ist vorgesehen zum Kompensieren der ganzen Aufteilung. Auf Basis der vorhergehenden rekonstruierten Aufteilung REC(- 1), der Bewegungsinformation MOT(0) und der Ordnungsinformation, die als ORD(0) bezeichnet wird, wird diese Aufteilungskompensation, die zwei Vorgänge (1a) und (1b) umfasst, zu einer kompensierten Aufteilung führen, die als RECCOMP(0) bezeichnet wird. Obschon diese beiden Vorgänge nachher noch detailliert beschrieben werden, kann die allgemeine Philosophie dieser Aufteilungskompensation in Bezug auf die Fig. 2 und 3 zurückgebracht werden. Vor der Kompensation wird die Bewegung der jeweiligen Gebiete der aktuellen Aufteilung SEG(0) geschätzt. Die erhaltenen Bewegungsschätzung ergibt einen Satz von Parametern, welche die Zeitevolution jedes Gebietes in einer Rückwärtsmode BM beschreiben. In Fig. 2 ist nur ein einziger Vektor (MOT1 und MOT2) für jedes Gebiet des SEG(0) dargestellt, aber die Schätzung gibt im Allgemeinen komplexere Modelle, die einen einzigen Bewegungsvektor für jedes Pixel jedes Gebietes ergeben. Wenn man bedenkt, dass es sein kann, dass die Bewegung der Pixel innerhalb eines Gebietes (Texturbewegung) und die Bewegung der Form eines Gebietes nicht gleichwertig sind, (beide Bewegungen fallen zusammen im Falle von Vordergrundgebiete, für welche die Pixel des Inneren und die Umrisse derselben Bewegung folgen, dies ist aber nicht der Fall für ein Hintergrundgebiet, weil die Modifikationen der Form oder der Umrisse durch die Bewegung der Gebiete in dem Vordergrund definiert werden), so wird vorausgesetzt, dass die Texturbewegung angewandt wird zum Kompensieren der Aufteilung und der Textur. Das Problem der Aufteilungskompensation ist in Fig. 3 dargestellt: basiert auf die vorhergehend rekonstruierte Aufteilung REC(-1) und auf die übertragenen Bewegungsparameter, wobei die Kompensation eine Prädiktion der aktuellen Aufteilung REC(0) definieren sollte.
Die Kompensation selber kann entweder in der Vorwärtsrichtung oder in der Rückwärtsrichtung wirken. Wie in Fig. 4 dargestellt, werden die Pixel von REC(-1) in der Vorwärtsmode in Richtung von REC(0) projiziert. Diese Projektion kann erfolgen, wenn die Bewegungsvektoren MOT1 und MOT2, wie diese durch die Schätzung definiert werden, die in der Rückwärtsrichtung gemacht wird, invertiert werden (MOTE1&supmin;¹ und MOTT2&supmin;¹). Wie ersichtlich, können aus der Transformation der Gebiete zwei Probleme entstehen. Es kann sein, dass einige Pixel von REC(0) keinen Kenncode haben, sie bilden die sog. leeren Gebiete (nur ein Gebiet, durch EA bezeichnet in Fig. 4). Dagegen kann es sein, dass einige Pixel mehrere Kenncode- Kandidaten haben, diese strittigen Gebiete werden überlappende Gebiete genannt (nur ein Gebiet, in Fig. 4 OA genannt). Um die Konflikte zu lösen wird die Ordnungsinformation benutzt um zu entscheiden, welches Gebiet in dem Vordergrund von welchem Gebiet steht (Im Falle von Konflikten zwischen Kenncodes gibt das Vordergrundgebiet den richtigen Kenncode). Das Problem der überlappenden Gebiete ist besonders wichtig, wenn die Texturbewegung benutzt wird zum Kompensieren der Aufteilung wegen des Ergebnisses des Vordergrund/Hintergrundverhältnisses zwischen Gebieten, wie oben beschrieben. Die Verwendung aber der Texturbewegung und der Ordnung ist eine sehr effiziente Lösung, weil die Texturbewegungsinformation zu einer guten Kompensation der Textur führt und die Ordnung nur einen geringen Betrag an Information darstellt. Zum Schluss werden die leeren Gebiete ohne Kenncode gelassen und werden als Kompensationsfehler verarbeitet.
Die doppelte Mode der Kompensation ist in Fig. 5 dargestellt. Es ist eine Rückwärtsmode in dem Sinne, dass man für jedes Pixel von REC(0) versucht nach REC(-1) zu sehen, welcher Kenncode selektiert werden soll. In diesem Fall ist das Hauptproblem, zu definieren, welcher Bewegungsvektor benutzt werden soll, wenn ein Pixel (i,j) von REC(0) betrachtet wird. Tatsächlich ist es so, dass solange die aktuelle Aufteilung noch nicht an der Empfangsseite bekannt ist, man das Gebiet, zu dem das Pixel gehört und folglich das entsprechende Bewegungsmodell nicht kennt. Die Lösung besteht aus der Erwägung aller möglichen Vektoren, die durch alle möglichen Gebiete definiert sind. Im Falle der Fig. 5 gibt es zwei Gebiete und zwei Vektoren werden dazu für jeden Punkt betrachtet: einen gegeben durch das Gebiet 1 (MOT1) und einen gegeben durch das Gebiet 2 (MOT2). Jeweils, wenn ein Vektor, wie durch ein Gebiet n definiert, nicht auf ein Pixel zeigt, das zu dem Gebiet n in REC(-1) gehört, wird die Kompensation als nicht gültig betrachtet und der entsprechende Vektor (INV) wird gelöscht (in Fig. 5 ist dies für zwei Vektoren der Fall). Wie in dem Fall einer Vorwärtsbewegungskompensation haben aber einige Pixel eine nicht gültige Kompensation (leeres Gebiet EA) und einige anderen haben mehr als nur einen Kandidaten (überlappendes Gebiet OA). Wie oben wird die Ordnungsinformation benutzt zum Lösen der konfliktierenden Gebiete.
Die Hauptdifferenz zwischen der Vorwärts- und der Rückwärtsmode der Kompensation handelt um die Quantisierung der Pixelstellen. Im Allgemeinen starten die Bewegungsvektoren von einer ganzzahligen Pixelstelle aus, zeigen aber zu einer nicht ganzzahligen Stelle. In dem Vorwärtsfall sind es die Stellen der Pixel von REC(0), die quantisiert werden müssen, während in dem Rückwärtsfall die Stellen der Pixel von REC(-1) quantisiert werden müssen. Es gibt noch mehr Schwierigkeiten in Bezug auf die Vorwärtsmode im Falle von Bewegungsmodellen, wobei es sich um Modifikationen der Skala handelt (insbesondere Zoom). Im Falle von Gebietsexpansion kann die Modifikation des Abstandes zwischen zwei Pixeln mehr leere Gebiete in dem kompensierten Frame schaffen. Diese Probleme können gelöst werden, aber im Allgemeinen ist die Rückwärtsmode einfacher.
Wie oben angegeben, führt die Aufteilung zu einer kompensierten Aufteilung RECCOMP(0). In einem zweiten Teilschritt (2) wird dann ein Kompensationsfehler ERR(0) mit Hilfe einer Subtraktion zwischen SEG(0) und RECCOMP (0) berechnet werden. Zum Schluss wird ein dritter Teilschritt 3a, 3b, 3c) vorgesehen zum Schätzen und Vergleichen der Codierungskosten jedes Gebietes einzeln, wie durch SEG(0) (Intraframe-Mode) oder durch ERR(0) (Interframe-Mode) definiert. Die Schätzungen (3a) in der Intraframe-Mode und in der Interframe-Mode können entweder durch richtige Codierung der Information und Messung der resultierenden Menge an Information gemacht werden oder durch Anwendung jeder anderen beliebigen Technik, die eine Annäherung der Kosten schafft (beispielsweise dadurch, dass vorausgesetzt wird, dass die Kosten proportional zu der Länge des Umrisses des Gebietes sind). Wenn die Schätzungen einmal durchgeführt worden sind, kann der Vergleich und die Selektion (3b) durchgeführt werden und die resultierende Entscheidung wird als die zusätzliche binäre Information, welche die Bewegungsinformation MOTO(0) aktualisiert, gespeichert (3c).
Die Aufgabe dieses Teilschrittes (3a, 3b, 3c) ist es nun, die Codierungskosten der Forminformation zu ermitteln, wenn das Gebiet in der Intraframe- Mode oder in der Interframe-Mode codiert wird. Das Problem ist in den Fig. 6 und 7 dargestellt.
Nach der ersten Option (Fig. 6) wird der Fall betrachtet, dass das Gebiet in der Intraframe-Mode gesendet wird. In diesem Fall sollen alle Umrisse der Form SH codiert werden. Man kann sie entweder durch bekannte Codierungstechniken codieren und die resultierende Anzahl Bits berechnen, oder man kann eine Schätzung machen, indem man beispielsweise sagt, dass die resultierenden Kosten proportional zu der Länge L0 des Umrisses des betreffenden Gebietes sind (die Kosten können als Cintra = kL0 geschätzt werden). Die zweite Option (Fig. 7) besteht aus der Codierung nur des Kompensationsfehlers. In dem Beispiel nach Fig. 7 sollen nur zwei kleine Umrisssegmente C1 und C2 codiert werden, weil die Formkompensation der wirklichen Form ziemlich gut entspricht. Um die Kosten zu erhalten kann man die beiden Segmente mit den Längen L1 und L2 mit Hilfe bekannter Techniken wie oben codieren oder man kann eine Schätzung machen (beispielsweise Cincer = 1,7 (L1 + L2)). Der Multiplikationsfaktor ist höher als vorher, damit die erhöhte Anzahl Startpunkte berücksichtigt werden. Dieser Faktor ist jedoch abhängig von der Technik, die in Wirklichkeit angewandt wird. Wenn die beiden Kosten einmal berechnet oder geschätzt worden sind, wird die Entscheidung (Selektion der niedrigeren Kosten) dadurch getroffen, dass sie miteinander verglichen werden. Wenn Cinter niedriger ist als Cintra wird das Gebiet in der Interframe-Mode gesendet, sonst wird es in der Intraframe-Mode gesendet. Die resultierende Entscheidung wird gespeichert (3c) als die zusätzliche binäre Information, wobei die Bewegungsinformation MOT(0) aktualisiert wird.
Dem ersten Schritt der Definition der Übertragungsmode folgt der zweite Schritt der Ordnungsberechnung, der, wie Fig. 1 zeigt, in einen ersten Teilschritt (4a, 4b) und einen zweiten Teilschritt (5) zerlegt werden kann. Dieser erste Teilschritt ist vorgesehen zum Schätzen eines Satzes von Ordnungsparametern und der zweite Teilschritt zum Erzielen einer Quantisierung der Ordnungsinformation für die Übertragung. Der erste Teilschritt (4a, 4b) basiert auf einer Doppelschleife, wobei eine derselben die Gebiete abtastet, die durch ihren Kenncode definiert sind und die andere die Positionen (i,j) des Bildraumes abtastet und zwei Vorgänge in Kaskade betrifft.
Dieser Vorgang (4a) ist vorgesehen zum Definieren eines Bewegungsvektors für jede Position (i,j) des Gebietes entsprechend dem betreffenden Kenncode. Die Bewegungsinformation MOT(0) gibt tatsächlich für jedes Gebiet ein Bewegungsmodell, was eine Funktion der Position (i,j) ist. Wenn beispielsweise das Bewegungsmodell für ein bestimmtes Gebiet eine Translation (dx, dy) ist, dann ist dieser Bewegungsvektor allen Punkten (i,j) des Bildes zugeordnet. Wenn das Bewegungsmodell ein verwandtes Modell ist (der Parameter a&sub1;, a&sub2;, a&sub3;, a&sub4;, a&sub5;, a&sub6;) dann wird das Bewegungsfeld an dem Punkt (i,j) definiert durch Vx(i,j) = a&sub1;i + a&sub2;j + a&sub3; und Vy(i,j) = a&sub4;i + a&sub5; +a&sub6;. Wenn das Gebiet in der Intraframe-Mode übertragen werden soll, wird diese Bewegungsfeldexpansion nicht durchgeführt.
Der zweite Vorgang (4b) ist vorgesehen zum Aktualisieren der Ordnung entsprechend dem betreffenden Gebiet. Die Ordnungsinformation besteht aus einer Liste der möglichen konfliktierenden Gebiete, d. h. der Gebiete von REC(-1), die andere Gebiete während der Bewegungskompensation überlappen können. Eine derartige Ordnungsliste wird am Anfang des Prozesses auf Null gesetzt. Wenn man die Gebietskenncodes des betreffenden Pixels (i,j) in der aktuellen Aufteilung SEG(0) und der Pixel (i - Vx(i,j), j - Vy(i,j)) in der vorhergehenden rekonstruierten Aufteilung REC(-1) durch LABSEG(0) und LABREC(-1) bezeichnet, ist der Listeneingang entsprechend dem Konflikt zwischen dem Gebiet mit dem Kenncode REGNUM (REGNUM ist ein Arbeitskenncode für jedes Gebiet in der betreffenden Aufteilung SEG(0) und das Gebiet mit dem aktuellen Kenncode LABSEG(0) wird aktualisiert, wenn die nachfolgenden Bedingungen erfüllt werden:
(a) der aktuelle Kenncode LABSEG(0) ist anders als jeder beliebige Kenncode eines in der Intraframe-Mode übertragenen Gebietes: in dieser Situation (d. h. wenn der Punkt (i,j) in der aktuellen Aufteilung SEG(0) einem Gebiet entspricht, das in der Intraframe-Mode übertragen wird), wird jeder kompensierten Kenncode, der an einer derartigen Stelle liegt, fallen gelassen;
(b) der vorhergehende Kenncode LABREC(-1) entspricht dem Kenncode REGNUM:
der Punkt (i,j) der aktuellen Aufteilung SEG(0) ist dann ein Kandidat zum Empfangen dieses Kenncodes REGNUM;
(c) der aktuelle Kenncode LABSEG(0) ist nicht identisch mit dem Kenncode REGNUM: der richtige Kenncode des Pixels (i,j) ist dann nicht REGNUM und die Gebiete mit dem aktuellen Kenncode LABSEG(0) und dem Kenncode REGNUM (= LABREC(-1)) sind konfliktierende Gebiete, wobei das erste in dem Vordergrund des zweiten steht (wobei der Listeneingang, der dem Konflikt zwischen den Kenncodes LABSEG(0) und REGNUM entspricht, wird dann um eine Einheit erhöht).
Diese Prozedur wird für alle Punkte (i,j) und für alle Kenncodes REGNUM wiederholt, wobei die Ordnungsliste zum Schluss die Anzahl Male angibt, dass es möglich gewesen ist, zu sagen, dass ein bestimmtes Gebiet in dem Vordergrund eines anderen Gebietes liegt.
Der zweite Schritt (5) ist dann in Kaskade mit dem ersten vorgesehen zum Quantisieren der Ordnung (der Empfänger wird nur eine binäre Entscheidung brauchen, damit dieser imstande ist, die Situationen mit während der Bewegungskompensation konfliktierenden Kenncodes zu lösen. Diese Quantisierung wird dadurch erreicht, dass für jedes Paar von Kenncodes die Anzahl Male, dass erklärt worden ist, dass das erste Gebiet in dem Vordergrund des zweiten Gebietes liegt, mit der Anzahl Male, dass erklärt wird, dass das zweite Gebiet in dem Vordergrund des ersten Gebietes liegt, verglichen wird. Die schlussendliche Ordnung zwischen den beiden betreffenden Gebieten wird definiert als diejenige, die der größeren Anzahl Auftritte entspricht. Diese Ordnung ORD(0) kann dann rückwärts gesendet werden zum Gebrauch als Eingang für den Teilschritt (1a, 1b), damit eine Wiederholungsschleife gebildet wird, in der die genannte Ordnungsinformation die Aktualisierung der Definition der Umrissübertragungsmode gestattet. Die Anzahl Wiederholungen wird gering gehalten, wenn man die Rechenbelastung nicht steigern möchte. In der Praxis reichen zwei oder drei Wiederholungen. Es sei bemerkt, dass in diesem Fall einer Wiederholungsschleife die Aufteilungskompensation nicht durchgeführt werden kann, wenn die Ordnungsinformation ORD(0) nicht bekannt ist. Um dieses Problem zu lösen wird einfach in einer ersten Wiederholung vorausgesetzt, dass alle neuen Gebiete (d. h. Gebiete die es in SEG(0) gibt und die es nicht in REC(-1) gibt) in der Intraframe- Mode übertragen werden und dass alle anderen Gebiete in der Interframe-Mode gesendet werden, was gleichwertig damit ist, dass ORD(0) ein Anfangswert gegeben wird, der durch den Bezugswert ORG&sub0; in Fig. 1 zugeordnet ist. Zum Schluss kann, wenn die Ordnungsinformation definiert worden ist, der Codierungsschritt des Codierungsverfahrens, bezeichnet durch das Bezugszeichen (6) in Fig. 1, durchgeführt werden, beispielsweise dadurch, dass die Umriss/Texturcodierungsannäherung befolgt wird, die in dem bereits genannten Dokument: "Motion and region overlapping estimation....", IEEE-ICIP, November 94 beschrieben worden ist.
Die oben genannte Aufteilungskompensation wird nun detailliert beschrieben. Dieser Teilschritt (1a, 1b) soll die Kompensation der vorhergehenden rekonstruierten Aufteilung REC(-1) verwirklichen und umfasst mehrere Vorgänge. Da das Gebiet, dem ein bestimmter Punkt (i,j) der kompensierten Aufteilung zugehört, nicht bekannt ist, sollen alle möglichen Bewegungsparameter, wobei vorausgesetzt wird, dass dieser Punkt allen möglichen Gebieten (des Kenncodes REGNUM) zugehört, getestet werden. Der erste Vorgang (1a) ist dazu vorgesehen zum Definieren eines Bewegungsfeldes für das ganze Bild unter Anwendung der Bewegungsparameter, die einem einzigen Gebiet zugeordnet sind, und zwar dem aktuellen mit dem Kenncode REGNUM. Für diesen Vorgang (1a) wird vorübergehend vorausgesetzt, dass alle Pixel des Bildes dem Gebiet REGNUM zugehören. Im Allgemeinen kann dieser Vorgang (1a) auf einfache Art und Weise durchgeführt werden, weil die Bewegungsinformation für jedes Gebiet ein Bewegungsmodell gibt, das eine Funktion der Position (i,j) ist. So wie für den Vorgang (4a), wenn das Bewegungsmodell für ein bestimmtes Gebiet eine Translation ist, wird dieser Translationsvektor allen Punkten (i,j) des Bildes zugeordnet. Wenn das Bewegungsmodell ein verwandtes Modell ist, dann wird das Bewegungsfeld an jedem Punkt (i,j) durch dieses Modell definiert. Diesem Definitionsvorgang folgt, ebenso wie dem, der oben beschrieben wurde (dem ersten Vorgang (4a)) des ersten Teilschrittes des zweiten Schrittes "Ordnungsberechnung"), ein zweiter Vergleichsvorgang (1b), nach dem für jedes Pixel (i,j) der kompensierten Aufteilung RECCOMP(-1) der kompensierte Kenncode wie folgt definiert wird (wobei die Prozedur für alle Pixel (i,j) und für alle Gebiete wiederholt wird, d. h. für alle Kenncodes REGNUM:
(a) wenn das Pixel (i,j) einem Gebiet entspricht, das in der Intraframe-Mode übertragen worden ist, wird der Kenncode nicht kompensiert: jeder beliebige Kenncode, der in diesem Gebiet liegt wird ausgeschieden;
(b) wenn der vorhergehende Kenncode LABREC(-1) (d. h. die Gebietsnummer des Pixels (i Vx(i,j), j - Vy(i,j) in der vorhergehenden Aufteilung REC(-1) dem aktuellen Kenncode REGNUM entspricht, ist die Kompensation gültig und das Pixel (i, j) ist ein Kandidat zum Empfangen des Kenncodes REGNUM;
(c) wenn die Stelle (i,j) der kompensierten Aufteilung leer ist, muss der Kenncode LABREC(-1) dieser Stelle zugeordnet werden;
(d) wenn die Stelle (i,j) bereits einen Kenncode zugeordnet bekommen hat, ist dieser kompensierte Kenncode in Konflikt mit dem vorhergehenden Kenncode LABREC(- 1), aber dieser Konflikt kann durch die in ORD(0) gespeicherte Ordnungsinformation gelöst werden: der Kenncode ist derjenige, der dem Vordergrundgebiet entspricht, wie durch ORD(0) definiert.
Diese Prozedur wird für alle Punkte (i,j) und für alle möglichen Gebiete des Kenncodes REGNUM wiederholt. Am Ende kann die kompensierte Information nachbearbeitet werden, damit eine kompensierte Aufteilung erhalten wird. Die vorhergehende Kompensationstechnik gewährleistet tatsächlich nicht die Definition der verbundenen Gebiete und in der Praxis können viele verbundene Gebiete den gleichen Kenncode haben. Um dieses Problem zu lösen kann eine aus zwei Schritten bestehende Prozedur durchgeführt werden. Der erste Schritt selektiert ein verbundenes Gebiet für jeden Kenncode. Es können verschiedene Kriterien angewandt werden. Ein einfaches Kriterium besteht aus der Selektion des größten Gebietes (es sei bemerkt, dass diese Selektion an der Empfangsseite durchgeführt werden kann, und zwar ohne die Notwendigkeit dass Steuerinformation mit übertragen wird). Die Eliminierung einiger verbundener Gebiete wird in der Aufteilung einige Löcher verursachen, d. h. einige Gebiete, die weder einem Gebiet entsprechen, das in der Intraframe-Mode gesendet worden ist, noch einem kompensierten Kenncode entsprechen. Diese Löcher können dort gelassen und als einzelne Gebiete durch den nachfolgenden Schritt verarbeitet werden oder sie können entfernt werden. So kann beispielsweise ein Loch durch eine Fortpflanzung der benachbarten Kenncodes oder dadurch eliminiert werden, dass es dem größten Nachbar zugeordnet wird, usw. Am Ende dieser Prozedur hat man die schlussendliche kompensierte Aufteilung RECCOMP(0).
Das Codierungsverfahren, das oben beschrieben worden ist, kann verschiedenartig implementiert werden, beispielsweise mit Hilfe des Codierungssystems nach Fig. 8, in Fig. 9 bis Fig. 11 detailliert dargestellt. Das dargestellte Codierungssystem umfasst in Kaskade eine Segmentierungsanordnung 81, welche die aufeinander folgende zu codierenden Aufteilungen erzeugt, eine Bewegungsschätzanordnung 82 zum Bewerten der Bewegung der Gebiete jeder aktuellen Aufteilung in Bezug auf die vorhergehende, eine Ordnungsbewertungsanordnung 83 zum Definieren der Priorität zwischen den Gebieten der aktuellen zu codierenden Aufteilung, eine Codierungsanordnung 84, die den Textur- und Umrisscodierungsschritt für jedes Gebiet der aktuellen Aufteilung implementiert, und eine Aufteilungsrekonstruktionsanordnung 85.
Die Ordnungsbewertungsanordnung 83 umfasst ein entscheidungsgerichtetes Teilsystem, organisiert in Form einer Schleife mit einer ersten Schaltungsanordnung 91 zum Definieren der Übertragungsmode (Intra oder Inter) jedes Gebietes und einer zweiten Schaltungsanordnung 92 zur Ordnungsberechnung. Die erste Schaltungsanordnung 91 empfängt die aktuelle Aufteilung SEG(0) von der Anordnung 81, die vorhergehende rekonstruierte Aufteilung REC(-1) von der Anordnung 85, die Bewegungsinformation MOT(0) von der Anordnung 82, und das Ausgangsordnungssignal der zweiten Schaltungsanordnung 92. Die zweite Schaltungsanordnung 92 empfängt die ausgegebene aktualisierte Bewegungsinformation, die an dem Ausgang der ersten Schaltungsanordnung 91 verfügbar ist, die aktuelle Aufteilung SEG(0), und die vorhergehende rekonstruierte Aufteilung REC(-1), und das Ausgangssignal ist das Ordnungssignal, das dem vierten Eingang der ersten Schaltungsanordnung 91 sowie zusammen mit der genannten aktualisierten Bewegungsinformation der Codierungsanordnung 84 zugeführt wird.
Die erste Schaltungsanordnung 91, vorgesehen zum Vergleichen der Codierungskosten der Umrissinformation in der Intraframe-Mode und in der Interframe-Mode, umfasst eine Selektions-Teilzusammemsetzung (103 bis 106) zum Durchführen einer Schätzung der Codierungskosten in der Intraframe-Mode (in Codierungsblöcken 103 und 104, an dessen Ausgang die resultierenden Beträge an Information gemessen werden) und, nach einem Vergleich der beiden Kosten zum Selektieren (Block 105) der geringeren Kosten und der entsprechenden aktualisierten Bewegungsinformation (Block 106). In der Schaltungsanordnung 104 werden die Codierungskosten unmittelbar aus der Aufteilung SEG(0) berechnet, während in der Schaltungsanordnung 103 die Kosten nach der vorhergehenden Berechnung (in einem Block 102) eines Kompensationsfehlers, deduziert aus einer Schätzung einer kompensierten Aufteilung berechnet werden. Die genannte kompensierte Aufteilung ist an dem Ausgang eines Kompensationsblock 101 verfügbar. Da aber diese Kompensation nicht die Definition der verbundenen Gebiete gewährleisten kann (verschiedene verbundene Elemente können den gleichen Kenncode haben), wird in einem Block 107 eine Selektion nur eines einzigen verbundenen Elementes gemacht (beispielsweise das größte) und die Löcher, die den eliminierten anderen entsprechen (d. h. die weder einem Gebiet entsprechen, das in der Intraframe-Mode gesendet worden ist, noch einem kompensierten Kenncode entsprechen) werden in einem Nachbearbeitungsblock 108 entweder zurückgelassen und als einzelne Gebiete verarbeitet oder sie werden entfernt.
Die zweite Schaltungsanordnung 92, vorgesehen zum Erzeugen des Ordnungssignals, umfasst einen Bewegungsfeldexpansionsblock 111, einen Aktualisierungsblock 112 und einen Quantisierungsblock 113. Der Block 111 stellt für das ganze Bild das Bewegungsfeld (Vx, Vy) fest, deduziert aus den Bewegungsparametern, die jedem betreffenden Gebiet zugeordnet sind, und der Block 112 führt dann das Aktualisieren der Bewegungsinformation durch. Der Block 113 erzielt eine Quantisierung der Ordnungsinformation dadurch, dass eine binäre Zahl erzeugt wird, die für jedes Paar untersuchter Kenncodes (d. h. der betreffenden Gebiete) dem Kenncode entsprechend der größeren Anzahl Male, dass die Situation aufgetreten ist, worin erklärt worden ist, dass der genannte Kenncode in dem Vordergrund des anderen Kenncodes steht, entspricht.
Die oben genannte Europäische Patentanmeldung bezieht sich ebenfalls auf ein Verfahren zum Decodieren eines codierten Signals, wie oben beschrieben, und auf ein entsprechendes Decodierungsteilsystem. Das Decodierungsverfahren, dargestellt in Fig. 12, umfasst die nachfolgenden Schritte: einen Intra-Decodierungsschritt 121a, einen Bewegungskompensationsschritt 122a, und einen Aufteilungsrekonstruktionsschritt 123a, wobei der Ausgang die aktuelle rekonstruierte Aufteilung bildet und für den nachfolgenden Decodierungszyklus benutzt wird.
Der erste Decodierungsschritt 121a, der durchgeführt wird, wie in Fig. 13 angegeben, und zwar durch eine Intra-Gebietsdecodierungsschaltung 130, ist vorgesehen zur Restitution der Umrisse der Gebiete, die in der Intraframe-Mode gesendet worden sind. Die entsprechende Decodierungsschaltung umfasst einen Eingangspuffer 131 und eine Decodierungsstufe 132, die es ermöglicht, dass die Gebiete rekonstruiert werden, die in der Intraframe-Mode gesendet worden sind, entsprechend der spezifischen Technik, die zur Formcodierung auf der Sendeseite angewandt worden ist (beispielsweise im Falle eines Kettencodierungsverfahrens, wie dies beispielsweise in der Veröffentlichung: "Spiral image compression by an unrestricted chain coding method" von P.N. Nicholl und R.J. Millar bei der "Sth International Conference on Image Processing and ist Applications" UK, 4-6 Juli 1995, Seiten 564-568 beschrieben worden ist, wobei das Basisverfahren für eine derartige Rekonstruktion ist, dass aus dem Eingangspuffer die Stelle des Startpunktes der Umrisse gelesen wird und dass danach die aufeinander folgenden Verlagerungen der Kette, wie nach Rechts, nach Links, Geradeaus, ausgelesen werden, damit die decodierten Umrisse gezeichnet werden können). Wenn der Satz von Umrissen einmal gezeichnet worden ist, ermöglicht eine Maskierungsdefinitionsstufe 133 es, dass die jeweiligen Kenncodes jedem Gebiet zugeordnet werden und dass den anderen Gebieten ein Null-Kenncode zugeordnet wird (der in der Interframe-Mode übertragen wird). Es wird dazu eine Maske geschaffen, welche diese Gebiete angibt.
Der zweite Bewegungskompensationsschritt 122a kann gemacht werden, wie oben angegeben (die entsprechende Kompensationsschaltung 140 wird deswegen nicht detailliert beschrieben), wobei die Ordnungsinformation angewandt wird zum Lösen von Konflikten, die auftreten, wenn zwei verschiedene Kenncodes derselben Stelle zugeordnet werden können (wobei der Kenncode dem Vordergrundgebiet entspricht, wie durch die genannte Ordnungsinformation definiert, wird als der richtige betrachtet). Die kompensierte Aufteilung wird aus Intraframe-codierten Gebieten, bewegungskompensierten Gebieten und Löchern entsprechend leeren Gebieten (wo während des Kompensationsprozesses keine Kenncodes zugeordnet worden sind) gemacht.
Wenn diese kompensierte Aufteilung einmal verfügbar ist, ermöglicht der dritte Aufteilungsrekonstruktionsschritt 123a, durchgeführt durch eine Decodierungsschaltung 150, es, dass in einer Fehlergebiet-Decodierungsstufe 151 die kleinen Umrisssegmente, welche die Fehlergebiete bilden, decodiert werden. Ein ähnlicher Prozess wie der, der für die Decodierungsstufe 132 angewandt worden ist, kann auch hier angewandt werden, wobei die Hauptdifferenz nun ist, dass man nicht länger mit dem ganzen Umriss eines Gebietes zu tun hat, sondern nur mit Teilen des Umrisses. Am Ausgang der Decodierungsstufe 151 ist eine sog. Überaufteilung, gemacht aus dem Schnittpunkt zwischen den kompensierten Gebieten und dem Satz übertragener Fehlergebiete, verfügbar. Eine Kenncodedecodierungsstufe 152 ermöglicht danach eine Decodierung der Kenncodes der Gebiete dieser Überaufteilung, und diese Kenncodes werden zugeordnet.
Wenn die Ordnung einmal geschätzt worden ist, beispielsweise durch das genannte Verfahren, das Gegenstand der genannten Europäischen Patentanmeldung ist, kann die Codierung der Aufteilung dadurch gemacht werden, dass das Codierungsverfahren, wie in Fig. 14 dargestellt, implementiert wird. Nach der vorliegenden Erfindung umfasst ein derartiges Verfahren in Kaskade die nachfolgenden Verfahrensschritte:
(A) einen ersten Schritt zum Selektieren und Codieren der Umrisse der Gebiete, die entsprechend der Intraframe-Mode übertragen werden sollen,
(B) einen zweiten Schritt zum Erzeugen einer kompensierten Aufteilung, welche die genannten Gebiete betrifft, die in der Intraframe-Mode gesendet werden sollen, und die genannten kompensierten Gebiete;
(C) einen dritten Schritt zum aus der genannten aktuellen und der kompensierten Aufteilung Berechnen von Fehlern und zum Speichern derselben.
Der erste Schritt (A), vorgesehen zum Definieren der Umrissinformation der Gebiete, die in der Intraframe-Mode übertragen werden sollen, und einer entsprechenden binären Maske, die angibt, wo die Aufteilung als bereits definiert betrachtet wird, umfasst drei Teilschritte 1101a, 1101b, 1101c.
Der erste Teilschritt 1101a besteht aus der Selektion des Satzes von Gebieten, die in der Intraframe-Mode übertragen (und/oder gespeichert) werden sollen. Dieser Satz von Gebieten besteht aus zwei Arten von Gebieten: den neuen Gebieten, die in der aktuellen Aufteilung SEG(0) vorhanden sind und die nicht in der Aufteilung REC(-1) vorhanden sind, die nachdem die vorhergehende Aufteilung SEG(-1) codiert worden ist, rekonstruiert worden ist, und den Gebieten, von denen es bereits bekannt ist, dass sie in der Intraframe-Mode gesendet werden sollen (diese letztere Art von Gebieten umfasst beispielsweise die Gebiete die während der Implementierung des Codierungsverfahrens definiert wurden, wie dieses Verfahren in der genannten Europäischen Patentanmeldung beschrieben worden ist, um in einer derartigen Intraframe-Mode für Umrisscodierung gesendet zu werden. Wie oben gesehen, ist die Information über die Übertragungsmode in der gesamten Information MOT(0) eingeschlossen, welche die Evolution der Aufteilung zwischen der vorhergehenden Aufteilung SEG(-1) und der aktuellen Aufteilung SEG(0) kennzeichnet. Dieser Gebietsselektionsschritt 1101a definiert folglich eine Aufteilung PART(0) des Raums, der jedem Bild der Videosequenz entspricht.
Da die Aufteilung PART(0) der Empfangsseite zugeführt werden soll, ist der zweite Teilschritt 1101b vorgesehen zum Durchführen des entsprechenden Codierungsschrittes, entsprechend einer der vielen bekannten Techniken und beispielsweise entsprechend dem Codierungsverfahren, der beschrieben worden ist in: "Shape and location coding for contour images", "Picture Coding Symposium" Lausanne (Schweiz), März 1993, Seiten 18.6.1-18.6.2 (nach einem derartigen herkömmlichen Verfahren wird ein Satz von Symbolen erzeugt, gespeichert, entropiecodiert, gemultiplext und dem Übertragungskanal zugeführt, wobei die auf diese Art und Weise übertragene Information im Empfänger die Wiederherstellung der Umrisse der Aufteilung ermöglicht). Die gelieferte codierte Information, die als CPERT(0) bezeichnet wird, wird gespeichert (Teilschritt 200).
Da dieser zweite Teilschritt 1101b nicht angibt, welche Gebiete in der Intraframe-Mode übertragen werden, wird dieser Vorgang während des nächsten Teilschrittes 1101c implementiert. Wenn beispielsweise vorausgesetzt wird, Bezug nehmend auf Fig. 15, dass die Übertragung der Umrissinformation eine Aufteilung von sechs Gebieten schafft und dass von diesen Gebieten nur vier Stück (1, 2, 4, 6) in der Intraframe-Mopde gesendet werden, wird eine Maske, die in Fig. 16 dargestellt ist und welche diese Stellen angibt, geschaffen wird. Diese Maske, die als INTRAREG(0) bezeichnet wird, und die es ermöglicht, dass, wegen der verschiedenen Codes für jedes Gebiet abhängig von der Übertragungsmode, die Stellen angegeben werden, an denen der Kenncode in der Intraframe-Mode gesendet werden soll, wird nützlich sein während des zweiten Schrittes (B) (jeweils, wenn ein Kenncode kompensiert wird an einer Stelle, die innerhalb der Maske liegt und folglich einem Gebiet entspricht, das in der Intraframe-Mode übertragen worden ist, wird dieser kompensierte Kenncode nicht berücksichtigt). Eine codierte Information CINTRAREG(0), die der Maske entspricht und die codierte Information CPART(0) werden danach gespeichert (Teilschritt 200) und zwar wegen der nachfolgenden Übertragung. Die Signale PART(0) und INTRA- REG(0), die verfügbar sind, nachdem der genannte erste und dritte Teilschritt (1 101a, 1101c) durchgeführt worden sind, bilden zusammen eine erste Version der kompensierten Aufteilung, die berechnet werden soll.
Der zweite Schritt (B) ist vorgesehen zum Berechnen einer kompensierten Aufteilung RECCOMP(0) aus der vorhergehenden rekonstruierten Aufteilung REC(-1) und umfasst zwei Teilschritte 1102a und 1102b entsprechend einer Prozedur, ähnlich wie diejenige, die vorher in der genannten Europäischen Patentanmeldung angewandt wurde (der erste Vorgang 4a des ersten Teilschrittes des zweiten Schrittes der Ordnungsberechnung).
Der erste Teilschritt 1102a ist vorgesehen zum Definieren eines Bewegungsfeldes für das ganze Bild auf Basis der Bewegungsparameter, die einem einzigen Gebiet zugeordnet worden sind, der aktuelle Code des Kenncodes REGNUM, d. h. zum Definieren eines Bewegungsvektors für jede Position (i,j) des Bildes, wenn die Bewegungsparameter eines einzigen Gebietes, definiert durch den Kenncode, spezifisch für das ganze Bild benutzt werden. Wie oben ergibt die Bewegungsinformation MOT(0) für jedes Gebiet ein Bewegungsmodell, das eine Funktion der Position (i,j) ist und der genannte Bewegungsvektor, der einen horizontalen und einen vertikalen Anteil hat Vx(i,j) und Vy(i,j), können dadurch definiert werden, dass das genannte örtliche Bewegungsmodell benutzt wird.
Der zweite Teilschritt 1102b ist vorgesehen zur Implementierung der Kompensation jedes Gebietes der Aufteilung REC(-1) auf Basis einer vorausgesetzten Bewegung, gegeben durch den erhaltenen Vektor (Vx(i,j), Vy(i,j)) für jedes aktuelle Pixel (i,j). Wenn man andeutet durch:
(a) COMPMASK den Wert der Maske INTRAREG(0), definiert während des dritten Teilschrittes 1101c des ersten Schrittes (A) (COMPMASK definiert eine Art von Karte der Gebiete, die in der Intraframe-Mode gesendet worden sind);
(b) PREVLAB, die Gebietsnummer des Pixels (i - Vx(i,j), j - Vy(i,j)) in der vorhergehenden Aufteilung REC(-1); dann wird der kompensierte Kenncode COMPLAB wie folgt für jedes Pixel (i,j) der kompensierten Aufteilung RECCOMP(0) definiert, wobei diese Kenncodedefinitionsprozedur für alle Punkte (i,j) und für alle Gebiete des Kenncodes REGNUM wiederholt;
(1) für jedes Gebiet, das in der Intraframe-Mode übertragen worden ist, wird der Kenncode nicht kompensiert (mit allgemeineren Worten: wenn ein Punkt (i,j) einem Gebiet entspricht, das in der Intraframe-Mode übertragen worden ist, wird jeder kompensierte Kenncode, der innerhalb dieser Gebiete liegt, rückgängig gemacht;
(2) wenn der vorhergehende Kenncode PREVLAB gleich REGNUM ist, ist der Punkt (i,j) der kompensierten Aufteilung ein Kandidat zum Empfangen dieses Kenncodes RFEGNUM;
(3) wenn eine Stelle (i,j) der kompensierten Aufteilung leer ist, wird der vorhergehende Kenncode PREVLAB dieser Stelle zugeordnet;
(4) wenn ein kompensierter Kenncode bereits einer Stelle (i,j) der kompensierten Aufteilung zugeordnet worden ist, sind dieser kompensierte Kenncode COMPLAB und der vorhergehende Kenncode PREVLAB in Konflikt, aber dieser Konflikt kann gelöst werden durch die oben genannte zusätzliche Information, und beispielsweise durch die in der genannten Patentanmeldung erwähnte Ordnungsinformation ORD(0).
Am Ende dieser Prozedur ist eine schlussendliche kompensierte Aufteilung, in Bezug auf INTRAREG(0) und die Gebiete, die bewegungskompensiert und in RECCOMP(0) (Teilschritt 200) gespeichert worden sind, verfügbar.
Der dritte Schritt (C), vorgesehen zum Codieren der Aufteilungsfehler entsprechend der Interframe-Mode, umfasst vier Teilschritte (1 101a bis 1103d). Der zweite dieser Teilschritte (1103b) kann fortfallen.
Der erste Schritt 1103a, vorgesehen zum Berechnen einer Fehlaufteilung ERROR(0) aus der aktuellen Aufteilung SEG(0) und der kompensierten Aufteilung RECCOMP(0), besteht aus dem Extrahieren der Stellen des Raumes, an denen der kompensierte Kenncode von RECCOMP(0) anders ist als der aktuelle Kenncode, definiert durch SEG(0). Die Stellen entsprechend Gebieten, die der Intraframe-Mode gesendet worden sind, werden selbstverständlich von dem extrahierenden Vorgang ausgeschlossen. Wie dargestellt, zeigt Fig. 17 ein sehr einfaches Beispiel, wobei die Aufteilung SEG(0), entstanden aus der Segmentierung, aus drei Gebieten (1, 2, 3) und der vorher berechneten kompensierten Aufteilung RECCOMP(0) gemacht ist, betrifft nur zwei Gebiete (1, 2). Die Gebiete mit einem Fehler (wo Kenncodes folglich verschieden sind), die durch 1, b, c in Fig. 17 bezeichnet sind, werden auf einfache Art und Weise dadurch erhalten, dass für jedes Pixel die Differenz der Kenncodes zwischen den Aufteilungen berechnet wird, und zwar entsprechend der nachfolgenden Tafel:
In jedem resultierenden Fehlergebiet a, b, c der auf diese Weise erhaltenen Fehlaufteilung ERROR(0) sind die Kenncodes von SEG(0) und RECCOMP(0) konstant: dies bedeutet, dass in jedem Fehlgebiet derselbe Fehlertyp aufgetreten ist (beispielsweise in dem Gebiet a ist der kompensierte Kenncode 1 und sollte 2 sein) und ermöglicht es, dass beispielsweise (falls erforderlich oder erwünscht) einige der Fehlergebiete dadurch entfernt werden, indem gesagt wird: "alle Fehler vom Typ a sollen vergessen werden". Dieser Extraktionsteilschritt 1103a führt zu einer sog. Fehlermaske.
Ein zweiter Teilschritt 1103b kann dann vorgesehen werden. Obschon es nicht verpflichtet ist, ist dieser Schritt nützlich zum Untersuchen jedes Gebietes der Fehlaufteilung, damit man weiß, ob er beibehalten und codiert werden soll, oder ob er dagegen fallen gelassen werden soll, entsprechend einem vorbestimmten Kriterium. In der Praxis ist das nützlichste Kriterium entweder ein geometrisches, nach dem alle Fehlersignale, die beispielsweise kleiner sind als eine bestimmte Größe, entfernt werden können (die Größe eines Gebietes kann als die Oberfläche, oder als die maximal Länge, oder als die maximale Breite usw. betrachtet werden), oder ein Graupegel, nach dem alle Fehlergebiete, die nicht eine große Modifikation des Grauwertes herbeiführen (oder auch des Farbwertes), ausgeschieden werden können. In diesem letzteren Fall kann die Entscheidung getroffen werden beispielsweise dadurch, dass die Werte betrachtet werden, die dem Fehlergebiet zugeordnet sind, wenn vorausgesetzt wird, dass sie zu dem Gebiet gehören, das einerseits durch RECCOMP(0) definiert ist, und auf der anderen Seite durch SEG(0) definiert ist, wobei das genannte Fehlergebiet ausgeschieden wird, wenn die Differenz zwischen diesen Werten klein ist (kleiner beispielsweise als eine bestimmte Schwelle). Wie bereits gesehen, sollten zwei verschiedene Namen für die Fehleraufteilungen benutzt werden, wobei der ursprüngliche dann als ERRORI(0) bezeichnet wird anstelle des ersten ERROR(0) und wobei der zweite SIMERROR(0) genannt wird anstelle des zweiten ERROR(0), welcher der vereinfache Fehler ist.
Der dritte Teilschritt 1103c ist vorgesehen zum Codieren der Umrisse der Fehlergebiete, während Vorteile aus der Tatsache geholt werden, dass einige Umrisse bereits bekannt sind und der vierte und letzte Teilschritt 1103d ist vorgesehen zum Codieren des Kenncodes jedes Gebietes einer derartigen Überaufteilung OVER(0). Wie in Fig. 14 dargestellt, umfasst dieser Teilschritt 1103d einen ersten Vorgang 13a, in dem die kompensierten Kenncodes, die während des Kompensationsprozesses des zweiten Teilschrittes 1102b definiert worden sind, extrahiert werden, und einen zweiten Vorgang 13b, in dem die wahrscheinlichsten Kenncodes der aktuellen Aufteilung SEG(0) geschätzt werden. Da der Fehlercodierungsprozess im Allgemeinen ein lockerer Prozess ist, betrifft jedes Gebiet der Überaufteilung OVER(0) im Allgemeinen mehrere Kenncodes der aktuelle Aufteilung SEG(0). Es ist aber erforderlich, eine Entscheidung zu treffen über den Kenncode jedes Gebietes von OVER(0), was beispielsweise dadurch gemacht wird, dass zunächst eine Liste aufgestellt wird der Kenncodes von SEG(0) die einander treffen durch Abtastung des betreffenden Gebietes von OVER(0), wodurch entweder das Gebiet oder die Anzahl Pixel bestimmt wird entsprechend jedem Kenncode von SEG(0) und durch Selektion des Kenncodes, der dem größten entspricht. Dieser Kenncode, der als DOMLAB(0) oder als wahrscheinlichster Kenncode bezeichnet wird, wird als der dominierende Kenncode von SEG(0) definiert, der innerhalb des Fehlergebietes liegt.
Die dominierenden Kenncodes können unmittelbar in den Übertragungskanal gesendet werden, aber dies wird im Allgemeinen zu einem übermäßigen Betrag an Information führen. Um dies zu reduzieren kann man einen dritten Vorgang 13c vorsehen, wobei die nachfolgende Codierungsstrategie angewandt wird:
(1) für ein bestimmtes Gebiet wird eine geordnete Liste der kompensierten Kenncodes der benachbarten Gebiete aufgestellt, beispielsweise entsprechend den numerischen Werte der Kenncodes oder entsprechend der geometrischen Position der benachbarten Gebiete;
(2) um jeden Kenncode zu definieren, wird der nachfolgende Code zugeordnet, wobei die Fälle (a) und (b) die Fälle sind, die am häufigsten auftreten:
(a) wenn DOMLAB(0) = COMPLAB(0), erhält der Kenncode den Code 0
(b) wenn DOMLAB(0) = einer der Kenncodes der genannten geordneten Liste der kompensierten Kenncodes ist, erhält der Kenncode einen Code, der die Position des Kenncodes in der genannten geordneten Liste angibt;
(c) in allen anderen Fällen wird ein Fluchtcode mit dem nachfolgenden aktuellen Code DOMLAB(0) geliefert.
Die vorliegende Erfindung beschränkt sich nicht auf die oben beschriebene Ausführungsform, von der im Rahmen der vorliegenden Erfindung Modifikationen oder Verbesserungen hergeleitet werden können. So dürfte es beispielsweise einleuchten, dass dieses Codierungsverfahren verschiedenartig implementiert werden kann, wie beispielsweise mit Hilfe verdrahteter elektronischer Module, oder vorzugsweise in Form einer Ausführungsform mit einem Prozessor oder einem Mikroprozessor, der die Leistung von Reihen von Instruktionen entsprechend wenigstens einem Teil der Funktionen, Berechnungen und anderer Vorgänge gewährleistet, die innerhalb der genannten elektronischen Module durchgeführt werden. Ein Beispiel eines derartigen Codierungssystems ist in Fig. 18 dargestellt. Dieses System umfasst in Kaskade Mittel 170 zum Schätzen eines Bewegungsmodells, das für jedes der genannten Gebiete die Evolution der Segmentierung aus der vorhergehenden Aufteilung SEG(-1) zu der aktuellen Aufteilung SEG(0) kennzeichnet, wonach Mittel 180 folgen zum Codieren des Umrisses und der Textur jedes Gebietes der genannten aktuelle Aufteilung. Genauer gesagt umfassen diese Codierungsmittel 180 eine Intracodierungsanordnung 181, zum Erzeugen der codierten Umrissinformation der Gebiete, die in einer Intraframe-Mode übertragen und/oder gespeichert werden sollen, eine Kompensationsanordnung 182 zum Berechnen einer kompensierten Aufteilung, welche die genannten Gebiete umfasst, die in der Intraframe-Mode gesendet worden sind und Gebiete, die kompensiert worden sind entsprechend dem genannten geschätzten Bewegungsmodell, und eine Intercodierungsanordnung 183 zum Extrahieren und Codieren von Aufteilungsfehlern, wobei solche Aufteilungsfehler durch eine Extraktion von Fehlergebieten definiert werden, wo kompensierte und aktuelle Kenncodes verschieden sind.
Die Intercodierungsanordnung 181 selber umfasst eine erste Selektionsstufe 191, mit einem ersten Block 192, vorgesehen zum Definieren einer Liste der Gebiete, die in der Intraframe-Mode übertragen und/oder gespeichert werden sollen, und mit einem zweiten Block 193, vorgesehen zum Erzeugen einer Maske, die mit den genannten Gebieten zusammenhängt. Die Anordnung 191 umfasst ebenfalls eine erste Codierungsstufe 201 mit einem ersten Umrisscodierungsblock 202, vorgesehen zum Codieren des Umrisses der genannten Intragebiete, und mit einem zweiten kenncode-Codierungsblock 203, vorgesehen zum Codieren der Maskeninformation. Die Intercodierungsanordnung 183 umfasst eine zweite Selektionsstufe 211, vorgesehen zum Definieren einer Fehlermaske, die mit dem genannten Fehlergebiet zusammenhängt, und eine zweite Codierungsstufe 212, vorgesehen zum Codieren des Umrisses der Fehlergebiete und der Kenncodes jedes Gebietes einer Überaufteilung, die mit den Umrissen der genannten kompensierten Aufteilung und den Umrissen der genannten Fehlergebiete zusammenhängt.
In der Stufe 191 der Anordnung 181, welche die Teilschritte 1101a bis 1101c durchführt und vorgesehen ist zum Erzeugen der Aufteilung PART(0), die alle Gebiete betrifft, die in der Intraframe-Mode gesendet werden sollen, wobei der erste Block 192 die Bewegungsinformation MOT(0), die rekonstruierte Aufteilung REC(-1) und die aktuelle Aufteilung SEG(0) analysiert und die genannte Liste dieser Gebiete erzeugt entsprechend der nachfolgenden Prozedur, geleitet für jedes Gebiet von SEG(0). Wenn das Gebiet nicht in REC(-1) vorhanden ist, d. h. wenn der entsprechende Kenncode nicht in REC(-1) erscheint, soll dieses Gebiet in der Intraframe- Mode gesendet werden. Sonst wird die Bewegungsinformation MOT(0) überprüft: in den Bewegungsparametern, welche die Parameter der Translation, der Zoom und der Rotation umfassen, ist ein Bit vorgesehen um anzugeben, ob dieses Gebiet in der Intraframe-Mode oder in der Interframe-Mode gesendet werden soll. Der zweite Block 193 erzeugt eine Maske, die nur diejenigen Gebiete von SEG(0) betrifft, die in der erzeugten Liste vorhanden sind. Die Bereich ohne Gebiete werden leer gelassen und deren Pixeln wird beispielsweise ein Null-Kenncode zugeordnet.
Der Umrisscodierungsblock 202 kann jede bekannte Umrisscodierungstechnik anwenden und beispielsweise Polygonannäherungen und Darstellungen von Umrissen, wie in der Europäischen Patentveröffentlichung EP-A-0587232 und EP-A-0592029, die bereits vorher von der Anmelderin eingereicht wurden, beschrieben. Der Kenncode-Codierungsblock 203 sendet einen speziellen Code für jede Art von Gebiet, wobei die einfachste Lösung beispielsweise ein Kenncode "eins" für ein Intragebiet ist.
Die Kompensationsanordnung 182 ermöglicht es, dass der zweite Schritt (B) des Codierungsverfahrens durchgeführt wird, wie dies in Fig. 14 dargestellt ist, zum Definieren der kompensierten Kenncodes, wobei die erhaltene Aufteilung RECCOMP(0) wie bereits angegeben INTRAREG(0) (die Gebiete, die in der Intraframe-Mode gesendet worden sind) und die Gebiete, die bewegungskompensiert sind, betrifft.
Die Interframe-Anordnung 183, deren Aufgabe es ist, die Teilschritte 1103a bis 1103d durchzuführen, umfasst die zweite Selektionsstufe 21 l, der die Codierungsstufe 212 folgt, die aus einer Umrisscodierungsanordnung 2121 und einer Kenncode-Codierungsanordnung mit einer Extrahierschaltung 2122, einer Berechnungsschaltung 2123 und einer Codezuordnungsschaltung 2124 zum Durchführen der Vorgänge 13a, 13b, 13c, besteht. Wie in Fig. 19 dargestellt, welche die Umrisscodierung der Fehlergebeite zeigt, durchgeführt durch die Anordnung 2121, sind die Umrisse CC1, CC2, CC3 (in diesem Beispiel), die der vorher berechneten kompensierten Aufteilung RECCOMP(0) entsprechen, tatsächlich bereits bekannt und nur die neuen (nicht bekannten) Umrisse NC1, NC2 (durch punktierte Linien in Fig. 19 angegeben) sollen codiert (und übertragen) werden. Eine Technik entsprechend derjenigen, die für die Intraframe-Mode angewandt worden ist (siehe den Teilschritt 1 101b) wird auch in diesem vorliegenden Fall angewandt, mit dem einzigen Unterschied, dass man das Vorhandensein der bereits bekannten Umrisse berücksichtigen soll (es ist beispielsweise möglich, auf effizientere Art und Weise die Start- und Endpunkte der neuen Umrisse zu codieren, wenn sie auf den bereits bekannten Umrissen liegen). Im Wesentlichen ist es für jeden Abschnitt des Umrisses notwendig, die Position und die Form zu senden. Die Position kann dadurch gesendet werden, dass die Stelle des Sxtartpunktes (SP, in Fig. 19) beispielsweise dadurch definiert wird, dass die Koordinaten dieses Punktes unmittelbar codiert werden (da dieser Startpunkt immer auf einem kompensierten Umriss CC1, CC2, CC3 liegt, kann die Position auf diesem kompensierten Umriss selber definiert werden). Die Form kann durch jede beliebige Formcodierungstechnik gesendet werden, wie mit Hilfe der Kettencodierungstechnik, wie diese in der bereits in Bezug auf die Beschreibung betreffs der Decodierungsschaltung 130 in Fig. 13 genannten Veröffentlichung "Spiral image compression..." beschrieben worden ist. In der Praxis kann eine Vielzahl von Codierungstechniken angewandt werden zum Implementieren dieses Codierungsteilschrittes, und beispielsweise diejenigen, die in EP-A-0587232 und EP-A-0592029 bereits genannt wurden.
Die Aufteilung, wie diese aus diesem dritten Teilschritt 1103C entsteht, kann als eine "Über"-Aufteilung betrachtet werden, wobei es sich um Umrisse der Aufteilung SEG(0) und der kompensierten Aufteilung RECCOMP(0) handelt und beispielsweise als OVER(0) bezeichnet wird.
Es soll betont werden, dass die vorliegende Erfindung sich ebenfalls auf ein codiertes Signal bezieht, wie dies an dem Ausgang eines derartigen Codierungssystems definiert wird (wie die Ausbildung auch sein mag), und folglich auf jedes beliebige Speichermedium, auf dem dieses Signal gespeichert wird (wenn es nicht unmittelbar übertragen wird, oder wenn es übertragen wird, wenn es an der Empfangsseite nicht unmittelbar benutzt wird). Dieses codierte Signal, das in dem vorliegenden Fall einer Sequenz segementierter Bilder, die eine Anzahl Gebiete und zugeordnete Kenncodes aufweisen und aufeinander folgende Aufteilungen definieren, jedem Gebiet der aktuellen Aufteilung der genannten Sequenz entspricht, besteht aus einem gemultiplexten Signal mit verschiedenen Arten von Information: einer Bewegungsinformation, entsprechend der Evolution der Segmentierung zwischen den genanten aufeinander folgenden Aufteilungen, einer ersten codierten Umrissinformation, entsprechend jedem Gebiet der aktuellen Aufteilung, die in einer Intraframe- Mode übertragen und/oder gespeichert werden soll, einer zweiten codierten Umrissinformation, entsprechend jedem Gebiet einer aktuellen Fehleraufteilung, wobei diese genannte Aufteilung zu Fehlergebieten gehört, wo aktuelle Kenncodes von den Kenncodes abweichen, die in einer kompensierten Aufteilung detektiert werden, die zu Gebieten gehören, die entsprechend dem genannten Bewegungsmodell kompensiert worden sind, und einer codierten Kenncodeinformation, die einen Kenncode für jedes in der Intraframe-Mode übertragene und/oder gespeicherte Gebiet und einen Kenncode für jedes Fehlergebiet umfasst.
Wenn ein derartiges komplexes codiertes Signal erzeugt wird, ist es aber nicht unbedingt notwendig, dass es unmittelbar übertragen wird, aber nur gespeichert, um später übertragen zu werden, oder es kann übertragen aber nicht sofort bei Empfang benutzt werden. In beiden Fällen wird dieses codierte Signal gespeichert und die vorliegende Erfindung bezieht sich daher auf das Speichermedium, auf dem dieses Signal nach der vorliegenden Erfindung gespeichert wird.
Weiterhin beschränkt sich die vorliegende Erfindung offenbar nicht auf die oben beschriebenen Ausführungsformen und bezieht sich weiterhin auf ein Verfahren zum Decodieren eines codierten Signals, wie dies oben beschrieben worden ist, und auf ein entsprechendes Decodierungssystem. Ein derartiges Decodierungsverfahren, dargestellt in Fig. 20, folgt den inversen Schritten des Codierungsverfahrens sehr nahe. Nach einem Ausleseschritt der codierten Information in einem Eingangspuffer (Schritt 300) werden die Umrisse der Gebiete, die in der codierten Intraframe-Mode übertragen worden sind, neu gespeichert und in Bezug auf die Berechnung wird eine entsprechende binäre Maske geschaffen, welche diese Gebiete angibt (Schritt 1201). Wie in Fig. 21 dargestellt, die ein Beispiel eines entsprechenden Decodierungssystems zeigt, wird dieser Decodierungsschritt 1201 durch eine Intra-Gebietsdecodierungsschaltung 220 mit in Kaskade einem Pufferspeicher 221, einer Umrissdecodierungsschaltung 222 und einer Schaltungsanordnung zum Füllen der Gebiete mit einer 1 oder einer 0, damit angegeben wird, ob sie Intra- oder Inter-Gebiete sind. Danach wird die vorhergehende Aufteilung REC)-1) kompensiert unter Anwendung der Bewegungsinformation MOT(0) und der Ordnungsinformation ORD(0). Dieser Kompensationsschritt 1202, in diesem Fall durchgeführt durch die Kompensationsschaltung 230, ist genau dieselbe, d. h. mit denselben Teilschritten 1102 (siehe Fig. 14), wie der Schritt, der in dem Codierungsteil angewandt wurde. Die neuen Umrisse werden danach decodiert, die Überaufteilung OVER(0) wird geschaffen, die Kenncodes der entsprechenden Gebiete werden decodiert, und die aktuelle rekonstruierte Aufteilung REC(0) wird erzeugt (Schritt 1203). Wie ebenfalls in Fig. 21 dargestellt, wird dieser Decodierungsschritt 1203 durch eine Gebietsdecodierungsschaltung 240 durchgeführt.
Die Schaltungsanordnung 240 selber umfasst eine Fehlergebietsdecodierungsstufe, vorgesehen zum Erzeugen der Überaufteilung, gemacht aus dem Schnittpunkt zwischen den kompensierten Gebieten und dem Satz übertragener Fehlergebiete und mit einer Teilstufe 241 zum Decodieren der Startpunkte der Fehlerumrisse und mit einer Teilstufe 242 zum Decodieren der Formen dieser Umrisse (beispielsweise entsprechend den Prinzipien des bereits genannten Kettencodierungsverfahrens), und mit einer Schaltungsanordnung 243 zum Decodieren jedes Kenncodes und zum Füllen jedes Gebietes mit dem Kenncode.
Einige der oben beschriebenen Vorgänge können verbessert werden. Es sei bemerkt, dass beispielsweise bei der Implementierung des in Fig. 14 dargestellten Codierungsverfahrens der vorhergehende zweite Schritt (B) nicht gewährleistet, dass verbundene Gebiete definiert werden. In der Praxis können verschiedene verbundene Elemente denselben Kerncode haben, während es bei einigen Applikationen erwünscht ist, dass man nur ein verbundenes Element je Kenncode hat. Zwei zusätzliche Teilschritte 1102c und 1102d, durch gestrichelte Linien in Fig. 14 dargestellt, werden danach in diesem zweiten Schritt eingeschlossen, in Reihe mit dem ersten und dem zweiten Teilschritt 1102a bzw. 1102b, und die Geradeaus-Verbindung zwischen dem Ausgang des Teilschrittes 1102b und dem Eingang des Teilschrittes 1103a fällt danach fort.
Der (dritte) Teilschritt 1102c ist vorgesehen zum Selektieren nur eines verbundenen Elementes für jeden Kenncode, entsprechend einem bestimmten Kriterium (eines der einfachsten Kriterien ist ein geometrisches Kriterium, daraus bestehend, dass das größte Element selektiert wird). Die Eliminierung einiger verbundener Elemente schafft in der Aufteilung einige Löcher, die während des (vierten) Teilschrittes 102d verarbeitet werden können, wobei dieser Teilschritt vorgesehen ist zum Eliminieren dieser Löcher entsprechend einem bestimmten Kriterium. In diesem Fall sind ebenfalls geometrische Kriterien interessant: so kann beispielsweise ein Loch durch eine Fortpflanzung der benachbarten Kenncodes eliminiert werden, oder dadurch, dass es dem größten benachbarten Gebiet zugeordnet wird. Am Ende dieser zwei zusätzlichen Teilschritte erhält man die schlussendliche verbesserte kompensierte Aufteilung, gespeichert wie oben erwähnt in RECCOMP(0) (Teilschritt 200).

Claims

1. Verfahren zum Codieren einer Sequenz segmentierter Bilder, die je eine Anzahl Gebiete und zugeordnete Kenncodes enthalten und die aufeinander folgende Aufteilungen (SEG) definieren, wobei dieses Verfahren für jede aktuelle Aufteilung (SEG)(0)) einen Bewegungsmodell (MOT(0)) Schätzungsschritt aufweist, vorgesehen zum Kennzeichnen der Evolution der Segmentierung aus einer vorhergehenden Aufteilung (SEG(-1)) für jedes der genannten Gebiete zu der genannten aktuellen Aufteilung, wobei die genannte Segmentierungsevolution ebenfalls eine vorhergehende Bestimmung einer Gebietsordnung (ORD(0)) für alle Paare benachbarter Gebiete der genannten aktuellen Aufteilung benutzt, und einen Codierungsschritt zum Codieren des Umrisses und der Textur jedes Gebietes der genannten aktuellen Aufteilung, wobei der genannte Codierungsschritt in Kaskade die nachfolgenden Schritte umfasst:

(a) das Codieren (1101b) der Umrisse der zu übertragenden und/oder zu speichernden Gebiete (INTRAREG) der genannten aktuellen Aufteilung entsprechend einer ersten als Intraframe-Mode bezeichneten Codierungstechnik zum Erzeugen codierter Umrissinformation (CPART(0));

(b) das Erzeugen (1102a,b) einer kompensierten Aufteilung (RECCOMP(0)), welche die in der genanten Intraframe-Mode zu sendenden Gebiete sowie Gebiete betrifft, die auf Basis des genannten Bewegungsmodells kompensiert worden sind;

(c) das Berechnen (1103a) einer Fehlaufteilung (ERROR(0)) aus der genannten aktuellen (1103c) und kompensierten Aufteilung und das Codieren der Umrisse der Gebiete der genannten Fehlaufteilungen zum Erzeugen einer Fehlaufteilung (OVER(0)) und zum Codieren (1103d) des Kenncodes jedes Gebietes der codierten Fehlaufteilung entsprechend einer zweiten als Interframe-Mode bezeichneten Codierungstechnik;

(d) das Wählen zwischen der genannten Intraframe-Mode und der genannten Interframe-Mode für jedes Gebiet entsprechend wenigstens einem Kriterium mit einer Schätzung (3a, 3b, 3c) der Berechnungskosten, die mit den genannten betreffenden Moden verbunden sind, wobei das genannte Verfahren dadurch gekennzeichnet ist, dass der genannte Erzeugungsschritt (b) selber die nachfolgenden Teilschritte umfasst:

(b&sub1;) für jedes betreffende Gebiet, das allen Punkten der aktuellen Aufteilung Zuordnen (1102a) des Bewegungsmodells, geschätzt für das genannte Gebiet;

(b&sub2;) das Erzeugen (1102b) der genannten kompensierten Aufteilung auf Basis eines Vergleichs für jedes betreffende Gebiet, zwischen der aktuellen Aufteilung (REC(0)) und einer Aufteilung (REC(-1)), rekonstruiert bei der Betrachtung des genannten zugeordneten Bewegungsmodells;

(b&sub3;) das Wählen (1102c) nur eines verbundenen Gebietes für jeden Kenncode, entsprechend einem ersten vorbestimmten Kriterium;

(b&sub4;) das Eliminieren (1102d) der Löcher, die den nicht gewählten verbundenen Gebieten entsprechen, entsprechend einem zweiten vorbestimmten Kriterium.

2. Codierungsverfahren nach Anspruch 1, wobei:

(A) der genannte Codierungsschritt die nachfolgenden Teilschritte umfasst:

(a&sub1;) das Selektieren (1101a) des Satzes von Gebieten der genannten aktuellen Aufteilung, die in der Intraframe-Mode übertragen und/oder gespeichert werden sollen;

(a&sub2;) das Codieren (1101b) der genannten selektierten Gebiete;

(a&sub3;) das Erzeugen (1101c) einer Maske entsprechend diesen selektierten Gebieten und das Codieren derselben;

(B) der genannte Berechnungs- und Codierungsschritt die nachfolgenden Schritte umfasst:

(c&sub1;) das Berechnen (1103a) einer Fehlaufteilung aus den genannten aktuellen und kompensierten Aufteilungen;

(c&sub2;) das Codieren (1103c) der Umrisse einer sog. Überaufteilung, wobei die Umrisse der genannten kompensierten Aufteilung und die Umrisse der genannten Fehlergebiete miteinander gekoppelt werden;

(c&sub3;) das Codieren (1103d) der Kenncodes jedes Gebietes der genannten codierten Überaufteilung.

3. Codierungsverfahren nach einem der Ansprüche 1 und 2, wobei ein zusätzlicher vereinfachender Teilschritt (1103b) zwischen dem genannten Berechnungsteilschritt und der Umrisscodierungsteilschritt vorgesehen ist, damit jedes Gebiet der Fehlaufteilung entweder weggeworfen oder aufbewahrt und codiert wird.

4. System zum Codieren einer Sequenz segmentierter Bilder, die je eine Anzahl Gebiete und zugehörige Kenncodes enthalten und die je aufeinander folgende Aufteilungen (SEG) definieren, wobei das genannte System Mittel (170) aufweist zum Schätzen eines Bewegungsmodells (MOT(0)), das repräsentativ ist für die Evolution, für jedes der genannten Gebiete, der Segmentierung aus einer vorhergehenden Aufteilung (SEG(-1)) zu einer aktuellen Aufteilung (SEG(0)), wobei die genannte Segmentierungsevolution ebenfalls eine vorhergehende Bestimmung einer Gebietsordnung (ORD(0)) für alle Paare benachbarter Gebiete der genannten aktuellen Aufteilung benutzt und Mittel (180) aufweist zum Codieren des Umrisses und der Textur jedes Gebietes der genannten aktuellen Aufteilung, wobei die genannten Codierungsmittel die nachfolgenden Elemente umfassen:

(a) eine Intraframe-Codierungsanordnung (181) zum Erzeugen der codierten Umrissinformation (CPART(0)) der Gebiete (INTRAREG) der genannten aktuellen Aufteilung, die entsprechend einer Intraframe-Codierungsmode übertragen und/oder gespeichert werden sollen;

(b) eine Kompensationsanordnung (182) zum Berechnen einer kompensierten Aufteilung (RECCOMP(0)), welche die genannten in der genannten Intraframe-Mode codierten Gebiete und die auf Basis des genannten geschätzten Bewegungsmodells kompensierten Gebiete betrifft;

(c) eine Interframe-Codierungsanordnung (183) zum Berechnen einer Fehlaufteilung (ERROR(0)) aus der genannten aktuellen und der kompensierten Aufteilung zum Codieren der Umrisse der Gebiete der genannten Fehlaufteilung zum Erzeugen einer codierten Fehlaufteilung (OVER(0)) entsprechend einer Interframe-Codierungsmode und zum Codieren des Kenncodes jedes Gebietes der codierten Fehlaufteilung, wobei die Fehlaufteilung durch eine Extraktion von Fehlergebieten definiert wird, in denen kompensierte und aktuelle Kenncodes verschieden sind;

(d) Mittel zum innerhalb der genannten Intraframe- und Interframe-Codierungsanordnungen Wählen einer Codierungstechnik für jedes Gebiet aus der Intraframe-Mode und der Interframe-Mode entsprechend wenigstens einem Kriterium mit einer Schätzung (3a, 3b, 3c) der Berechnungskosten, die mit den genannten betreffenden Moden verbunden sind;

wobei das genannte System dadurch gekennzeichnet ist, dass die genannte Kompensationsanordnung (182) selber die nachfolgenden Elemente umfasst:

(b1) Kompensationsmittel, vorgesehen zum Erzeugen (1102b) der genannten kompensierten Aufteilung auf Basis eines Vergleichs für jedes betreffende Gebiet zwischen der aktuellen Aufteilung (REC(0)) und einer rekonstruierten Aufteilung (REC(-1)) durch Zuordnung (1102a) des für die genannten Gebiete geschätzten Bewegungsmodells zu allen Punkten der genannten aktuellen Aufteilung;

(b2) Vereinfachungsmittel, vorgesehen zum Selektieren (1102c) eines verbundenen Gebietes für jeden Kenncode entsprechend einem ersten vorbestimmten Kriterium und zum Eliminieren (1102d) der Löcher entsprechend den verbundenen nicht selektierten Gebieten entsprechend einem zweiten vorbestimmten Kriterium.

5. Codierungssystem nach Anspruch 4, wobei:

(A) die genannte Intraframe-Codierungsanordnung die nachfolgenden Elemente umfasst:

(1) eine erste Selektionsstufe mit einem ersten Block, vorgesehen zum Definieren einer Liste der Gebiete, der genannten Intra, die in der genannten Intraframe-Mode übertragen und/oder gespeichert werden sollen, und mit einem zweiten Block, vorgesehen zum Erzeugen einer Maske, die zu den genannten selektierten Gebieten gehört;

(2) eine erste Codierungsstufe mit einem ersten Umrisscodierungsblock, vorgesehen zum Codieren des Umrisses der genannten Intra-Gebiete, und mit einem zweiten Kenncode-Codierungsblock, vorgesehen zum Codieren der Maskeninformation;

(B) die genannte Interframe-Codierungsanordnung die nachfolgenden Elemente umfasst:

(1) eine zweite Selektionsstufe, vorgesehen zum Definieren einer Fehlermaske, die mit den genannten Fehlergebieten zusammenhängt;

(2) eine zweite Codierungsstufe, vorgesehen zum Codieren des Umrisses der Fehlergebiete und der Kenncodes jedes Gebietes einer Überaufteilung, die mit den Umrissen der genannten kompensierten Aufteilung und mit den Umrissen der genannten Fehlergebiete zusammenhängt.

8. Verfahren zum Decodieren eines codierten Signals, wie in Anspruch 6 definiert, wobei das genannte Decodierungsverfahren die nachfolgenden Verfahrensschritte umfasst:

(a) das Decodieren (1201) der codierten Umrissinformation (CPART(0)) der Gebiete, die vorher in der Intraframe-Mode codiert worden sind und das Erzeugen einer entsprechenden Maske dadurch, dass die entsprechenden Kenncodes diesen Gebieten zugeordnet werden und dass den anderen Gebieten ein Null-Kenncode zugeordnet wird;

(b) das Erzeugen (1202) einer kompensierten Aufteilung (RECCOMP(0)) aus intraframe-codierten Gebieten, bewegungskompensierten Gebieten und aus Löchern entsprechend leeren Bereichen aus einer vorhergehenden (REC(-1)) Aufteilung, wobei Bewegungsinformation (MOT(0)) und Gebietsordnungsinformation (ORD(0)) verwendet wird, wobei die Kompensation die in dem kennzeichnenden Teil des Anspruchs 1 definierten Teilschritte benutzt, und danach das Decodieren der Fehlergebiete, die in der Interframe-Mode codiert sind und das Erzeugen einer sog. Überaufteilung (OVER(0)), welche die Umrisse der genannten kompensierten Gebiete und die Umrisse der genannten Fehlergebiete miteinander koppelt;

(c) das Decodieren und Zuordnen der Kenncodes der Gebiete der genannten Überaufteilung.

9. System zum Decodieren eines codierten Signals, wie in Anspruch 6 definiert, wobei das genannte Decodierungssystem in Kaskade die nachfolgenden Schaltungsanordnungen umfasst: eine Intraframe-Gebietsdecodierungsschaltung (220), vorgesehen zum Decodieren der Gebietsinformation, die codiert in der Intraframe-Mode gesendet worden ist, eine Kompensationsschaltung (230), vorgesehen zum Erzeugen einer kompensierten Aufteilung (RECCOMP(0)), hergestellt aus den intraframe-codierten Gebieten, bewegungskompensierten Gebieten und aus Löchern entsprechend leeren Bereichen aus einer vorhergehenden Aufteilung (REC(-1)), wobei Bewegungsinformation (MOT(0)) und Gebietsordnungsinformation (ORD(0)) benutzt wird, wobei die Kompensation die in dem kennzeichnenden Teil des Anspruchs 1 definierten Teilschritte angewandt werden, und eine Gebietsdecodierschaltung (240) mit einer Fehlergebietsdecodierstufe, vorgesehen zum Decodieren der Fehlergebiete, die in der Interframe-Mode codiert sind und zum Erzeugen einer sog. Überaufteilung (OVER(0)), welche die Umrisse der genannten kompensierten Gebiete und die Umrisse der genannten Fehlergebiete miteinander koppelt, und eine Kenncode-Decodierstufe, vorgesehen zum Decodieren und Zuordnen der Kenncodes der Gebiete der genannten Überaufteilung.