PL206212B1 - Sposób kodowania i dekodowania sygnału reprezentującego obraz - Google Patents

Description

Opis wynalazku

Przedmiotem wynalazku jest sposób kodowania i dekodowania sygnału reprezentującego obraz.

W zgł oszeniu WO 99/16250 ujawniono algorytm kodowania obrazu nieruchomego wykorzystujący wbudowaną dyskretną transformację cosinus DCT. Wbudowany strumień bitów jest tworzony przez kodery. Koder może obciąć strumień bitów w dowolnym punkcie, zatem rekonstruować obraz przy mniejszej szybkości bitowej. Ponieważ wbudowany strumień bitów zawiera wszystkie niższe szybkości wbudowane na początku strumienia bitów, bity są uporządkowane od najbardziej istotnych do najmniej istotnych. Stosując kod wbudowany, kodowanie przerywa się, gdy spełniony jest parametr docelowy, jak zliczenie bitów. W podobny sposób, dla danego wbudowanego strumienia bitów, koder może przerwać dekodowanie w każdym punkcie i może utworzyć rekonstrukcje odpowiadające kodowaniu dla wszystkich niższych szybkości. Jakość odtworzonego obrazu dla tej niższej szybkości jest taka sama, jaka byłaby dla obrazu kodowanego bezpośrednio z tą szybkością.

Transformacja DCT jest ortonormalna, co oznacza, że zachowuje energię. Błąd w przetworzonym obrazie o pewnej amplitudzie będzie dawał błąd o tej samej amplitudzie w obrazie oryginalnym. Oznacza to, że współczynniki o największych amplitudach powinny być przesłane w pierwszej kolejności, ponieważ zawierają one najwięcej informacji. Oznacza to, że informacja może być również uszeregowana zgodnie z reprezentacją binarną i najpierw powinny być przesłane bity najbardziej znaczące.

Kodowanie jest wykonane na zasadzie płaszczyzna bitowa za płaszczyzną bitową. Współczynniki DCT są skanowane i przesyłane w kolejności począwszy od górnego lewego rogu (odpowiadającego współczynnikowi stałemu), a kończąc na dolnym prawym rogu każdego bloku DCT, tzn. od współczynnika odpowiadającego najmniejszej częstotliwości do współczynnika odpowiadającego największej częstotliwości. Wewnątrz bloku, współczynniki DCT są skanowane w porządku diagonalnym, płaszczyzna bitowa za płaszczyzną bitową. Po każdej skanowanej diagonali, wysyłana jest flaga informująca o tym, czy są jeszcze jakieś nowe istotne współczynniki w reszcie bloku.

Rozwiązanie ujawnione w artykule G. K. Wallace „The JPEG Still Picture Compression Standard, opublikowanego w IEEE Trans. On Consumer Electronics 38 (1992) Feb No 1, dotyczy progresywnych sposobów klarowania, znanych przed datą niniejszego zgłoszenia.

Według pierwszego (widmowego) sposobu skanuje się obraz w kilku przebiegach, zygzakiem linia po linii, zgodnie ze standardowym wzorem. W pierwszym przebiegu otrzymuje się pewną liczbę współczynników, tworzących zakres niższych częstotliwości DCT w każdym odpowiednim bloku przemierzanym podczas skanowania zygzakiem, a w przynajmniej jednym następnym przebiegu otrzymuje się pozostałe, wysokoczęstotliwościowe współczynniki.

Według drugiego sposobu (kolejnych aproksymacji), podczas poszczególnych przebiegów zygzaka transmituje się tylko dominującą część tych wybranych współczynników DCT, mianowicie N bitów najbardziej znaczących. Precyzyjna część informacji z tych współczynników jest kodowana w nastę pnych przebiegach.

Celem niniejszego wynalazku jest między innymi opracowanie usprawnionego skalowanego kodowania.

Istotą wynalazku jest sposób kodowania sygnału reprezentującego obraz, przy czym sygnał zawiera bloki wartości, w którym to sposobie w kolejnych etapach tworzy się strumienie bitów, dla poszczególnych bloków oraz otrzymuje się skalowalny strumień bitów przez sekwencyjne skanowanie wybranych części strumieni bitów poszczególnych bloków w kolejnych cyklach, przy czym wybrane części strumieni bitów skanuje się w kolejnych cyklach. Sposób kodowania według wynalazku charakteryzuje się tym, że w danym cyklu skanowania, strumienie bitów odpowiednich bloków skanuje się w kolejności zmniejszającego się znaczenia odpowiednich bloków zwiększając postrzegalną jakość obrazu.

Sposób według wynalazku charakteryzuje się tym, że bloki reprezentują kodowany obraz, a dany cykl skanowania rozpoczyna się od bloku leżącego w środku kodowanego obrazu.

Sposób według wynalazku charakteryzuje się tym, że cykl skanowania rozpoczyna się wewnątrz powiększającego się obszaru kodowanego obrazu, który to obszar ma współczynnik kształtu równy w przybliżeniu współczynnikowi kształtu kodowanego obrazu.

Sposób według wynalazku charakteryzuje się tym, że powiększenie obszaru uzyskuje się przez powtarzające się dodawanie wierszy lub kolumn do obszaru, dopóki nie zostanie pokryty cały obraz.

Sposób według wynalazku charakteryzuje się tym, że bloki reprezentują kodowany obraz, a w danym cyklu skanowania skanuje się strumienie bitów w porządku adoptowanym do obrazu, określonym przez określone z góry kryterium.

PL 206 212 B1

Sposób według wynalazku charakteryzuje się tym, że określonym z góry kryterium jest kontrast bloków, a cykl skanowania rozpoczyna się od bloków o niskim kontraście.

Sposób według wynalazku charakteryzuje się tym, że wartościami są współczynniki transformaty, a sposób zawiera ponadto etapy, w których określa się, po danym cyklu skanowania, liczbę istotnych współczynników dla każdego poszczególnego bloku oraz stosuje się porządek skanowania w nastę pnym cyklu skanowania, w którym pierwsze są skanowane bloki o mał ej liczbie istotnych współczynników.

Sposób według wynalazku charakteryzuje się tym, że istotne współczynniki mają przyporządkowane wagi w zależności od odległości od środka kodowanego obrazu.

Istotą wynalazku jest również sposób dekodowania, w którym odbiera się skalowalny strumień bitów, zawierający cyklicznie i sekwencyjnie skanowane części strumieni bitów, dla poszczególnych bloków wartości w kolejnych cyklach, przy czym wybrane części strumieni bitów skanuje się w kolejnych cyklach, regeneruje się strumienie bitów ze skalowalnego strumienia bitów oraz dekoduje się strumienie bitów. Sposób dekodowania według wynalazku charakteryzuje się tym, że w sekwencji dekodowania skanowanych części w danym cyklu, bloki dekoduje się w kolejności zmniejszającego się znaczenia zwiększając postrzegalną jakość obrazu reprezentowanego przez regenerowane strumienie bitów.

Korzyść z przetwarzania poszczególnych bloków polega na tym, że oferuje możliwość pracy „w biegu dla każdego bloku, bez konieczności gromadzenia i przegrupowania wszystkich bloków sygnału. Ponieważ bloki są kodowane niezależnie, mogą być one przetwarzane równolegle. Przez cykliczne i sekwencyjne skanowanie części odnośnych strumieni bitów, gdzie etap skanowania może być przerwany w pewnym momencie, uzyskany jest skalowalny strumień bitów dla sygnału, zamiast skalowalnego strumienia bitów odpowiadającego blokom, który byłby uzyskany, gdyby wszystkie bloki były indywidualnie kodowane i łączone.

Wynalazek ma zastosowanie do wszystkich, opartych na blokach (włączając w to bloki o rozmiarze 1x1, tzn. piksele), skalowalnych sposobów kodowania obrazu. Dla sposobów opartych na dziedzinie przestrzennej nie są łatwo dostępne współczynniki transformaty, ale w tym przypadku mogą być zastosowane współczynniki luminancji.

Sposób kodowania i dekodowania sygnału według wynalazku został bliżej objaśniony w oparciu o rysunek, na którym fig. 1 przedstawia przykł ad skanowania skalowalnych strumieni bitów indywidualnie kodowanych bloków zgodnie z wynalazkiem, fig. 2 przedstawia przykładowy porządek skanowania zgodnie z wynalazkiem, dla obrazu kwadratowego 5x5 bloków, fig. 3 przedstawia przykładowy porządek skanowania zgodnie z wynalazkiem, dla obrazu 10x10 bloków, fig. 4 przedstawia przykładowy porządek skanowania zgodnie z wynalazkiem, dla obrazu prostokątnego 9x6 bloków, fig. 5 i 6 przedstawiają kodery hybrydowe zgodne z wynalazkiem, zastosowane w systemie kamery, w którym kodery hybrydowe wykorzystują skalowalne kodery dla dostarczania skalowalnego strumienia bitów do pamięci, fig. 7 przedstawia system kamery zawierający kolejny koder zgodny z wynalazkiem, który wykorzystuje skalowalne kodery dla dostarczania skalowalnego strumienia bitów do wyjścia kodera hybrydowego, a fig. 8 przedstawia dekoder do dekodowania skalowalnego strumienia bitów, tworzonego przez koder hybrydowy.

Na rysunku przedstawiono jedynie te elementy, które są niezbędne do zrozumienia wynalazku.

Wynalazek jest korzystnie stosowany w sposobie kodowania dla uzyskania skalowalnego strumienia bitów. Skalowalny strumień bitów zawiera bity w porządku malejącego znaczenia i może być obcięty w dowolnym punkcie. Obraz jest podzielony na bloki prostokątne, np. 8x8 pikseli. Korzystnie każdy blok jest oddzielnie transformowany za pomocą transformacji dwuwymiarowej, np. dyskretnej transformacji cosinus DCT (discrete cosine transform). Kwantowane współczynniki transformacji są przesłane, lub zapamiętane w sposób progresywny tak, że najpierw jest przesyłana, lub zapamiętana, informacja najważniejsza. Jest to realizowane za pomocą sukcesywnej kwantyzacji, w której residuum kodowania jest zmniejszane z etapu na etap. Po transformacji większość energii obrazu jest skoncentrowana we współczynnikach odpowiadających niskim częstotliwościom, a pozostałe współczynniki mają bardzo małe wartości. Oznacza to, że w najbardziej znaczących płaszczyznach bitowych występuje wiele zer. Płaszczyzna bitowa jest płaszczyzną, która zawiera bity współczynników transformacji o pewnym znaczeniu. Współ czynniki transformacji są kodowane i przesł ane pł aszczyzna bitowa za płaszczyzną bitową, począwszy od najbardziej znaczącej płaszczyzny bitowej (nie uwzględniając znaku płaszczyzny). Przy kodowaniu każdej płaszczyzny bitowej, rozróżnia się współczynniki znaczące i nieznaczące. Współczynnikiem znaczącym jest współczynnik, dla którego co najmniej jeden bit zo4

PL 206 212 B1 stał już przesłany (w bardziej znaczącej płaszczyźnie bitowej). Współczynnikiem nieznaczącym jest współczynnik, dla którego nie został jeszcze przesłany żaden bit. Ma to miejsce, gdy wszystkie bity w poprzedniej płaszczyź nie bitowej były zerowe. Tak długo, jak współczynnik zawiera zera, jest on uważany za nieznaczący. Początkowo wszystkie współczynniki są oznaczone jako nieznaczące. Następnie, poczynając od najbardziej znaczącej płaszczyzny bitowej rozpoczyna się kodowanie. Przesyłane jest wskazanie, czy jakieś bity nieznaczące zostały znalezione w bieżącej płaszczyźnie bitowej, która stała się znacząca, tzn. gdy uprzednio nieznaczący współczynnik ma bit niezerowy. Jeżeli zostały znalezione, tak zwane nowo znaczące współczynniki, ich położenia są przesłane z pomocą prostokątnego obszaru skanowania. Po położeniu nowo znaczących współczynników przesłane są ich bity znaków. Bity dla nowo znaczących współczynników nie muszą być przesyłane, ponieważ są zawsze jedynkami. W przeciwnym przypadku współczynnik pozostałby współczynnikiem nieznaczącym. Opisana powyżej procedura jest powtarzana dla każdej płaszczyzny bitowej, dopóki nie zostanie spełnione pewne kryterium stopu, np. pewna szybkość bitowa, lub jakość, lub po prostu wszystkie płaszczyzny bitowe zostały umieszczone w strumieniu bitów. Dla pewnej płaszczyzny bitowej, bity istotnych współczynników (zerowe i niezerowe) są przesłane automatycznie przed wysłaniem wskazania, czy nowo znaczące współczynniki są obecne w aktualnej płaszczyźnie bitów. Ponieważ wszystkie współczynniki są oznaczone jako nieznaczące na początku procedury, dla najbardziej znaczącej płaszczyzny bitowej nie istnieją znaczące współczynniki i przesłane są bity tylko dla nowo znaczących współczynników. Te nowo znaczące współczynniki są oznaczone jako znaczące. Oznacza to, że gdy przetwarzana jest następna płaszczyzna bitowa, współczynniki te są znaczące i ich bity są przesłane automatycznie. Jeżeli nie zostają znalezione nowo znaczące współczynniki, przesłane jest wskazanie (np. bit zerowy) i kodowanie odbywa się dla następnej płaszczyzny bitowej.

Zgodnie z wynalazkiem, skalowalne kodowanie jest przeprowadzane indywidualnie dla każdego bloku. Na fig. 1 przedstawiono jak uzyskiwany jest strumień bitów dla obrazu, przez skanowanie skalowalnych strumieni bitów, indywidualnie kodowanych bloków DCT, oraz dla każdego cyklu skanowania wybieranie tylko części P1, P2,... kodowanych współczynników transformacji, np. jednego lub kilku bitów indywidualnie kodowanych bloków DCT-i dla i=1 do N, gdzie N jest całkowitą liczbą bloków w obrazie. Następne przejście skanujące uzyskuje następną część kodowanych współczynników transformacji bloków DCT. Liczba bitów w wybranych częściach może różnić się dla każdego bloku, lub każdego przejścia skanującego, np. w zależności od znaczenia części kodowanych współczynników transformacji, jak to przedstawiono na fig. 1 dla części P3. Możliwe jest wybranie pewnych bitów, które reprezentują dane o pewnym znaczeniu, lub pewny współczynnik, który jest reprezentowany przez różne ilości bitów dla różnych bloków. Jeżeli pewien blok DCT nie ma kodowanej części o pewnym znaczeniu, wymaganym w przejściu skanującym, szczególny blok może być pominięty, np. blok DCT-2 jest pominięty w trzecim przejściu skanującym, ponieważ DCT-2 nie zawiera już kodowanych współczynników transformacji, tzn. kod jest wyczerpany. Możliwe jest również pominięcie bloku w pewnym przejściu skanującym, gdy istotność jest mniejsza niż wymagana, jak to przedstawiono w czwartym przejściu skanującym dla DCT-4. Ciągle pozostaje możliwe wybranie następnej części kodowanych współczynników transformacji tego bloku DCT-4, w następnym przejściu skanującym. W ten sposób uzyskane jest skalowalne kodowanie całego obrazu.

Zgodnie z korzystnym przykładem wykonania wynalazku, w danym cyklu skanowania, odpowiednie skalowalne strumienie bitów DCT-1 ...,DCT-N są skanowane w porządku odpowiadającym malejącemu znaczeniu. Jest to usprawnienie, ponieważ gdy strumień bitów jest obcięty, bloki o dużym znaczeniu są dostępne z większą dokładnością niż bloki o małym znaczeniu. Korzystnie cykl skanowania rozpoczyna od bloku w środku obrazu. Gdy strumień bitów opisujący obraz jest obcięty, bloki w pobliżu środka obrazu będą miały trochę lepszą jakość od bloków w pobliżu krawędzi. Stwierdzono, że większy nacisk na jakość w środku obrazu, w porównaniu z jakością w pobliżu krawędzi, zwiększa postrzeganą jakość obrazu, ponieważ zwykle najbardziej interesujące obiekty obrazu znajdują się w jego środku. Liniowy porządek skanowania, np. od lewej strony do prawej, oraz od górnej strony do dolnej, daje wzrost zakłócających artefaktów, ze względu na dobrze widoczne nagłe zmiany w jakości obrazu.

Na fig. 2 przedstawiono porządek skanowania zgodnie z wynalazkiem dla obrazu kwadratowego 5x5 bloków. Dla obrazu kwadratowego możliwa jest „idealna spirala rozpoczynająca się w środku i rozwijająca się w kierunku krawędzi. Bloki są skanowane do 1 do N=25.

Dla obrazu prostokątnego, który jest praktycznie bardziej istotny, taka „idealna spirala nie jest możliwa. Dlatego w praktycznym przykładzie wykonania wynalazku stosowany jest algorytm, który „powiększa mały obszar ze współczynnikiem kształtu, który aproksymuje cały obszar, przez kolejne

PL 206 212 B1 dodawanie wierszy i kolumn do obszaru, dopóki nie zostanie pokryty cały obraz. Na fig. 3 przedstawiono przykład takiej kolejności skanowania dla obrazu kwadratowego 10x10 bloków, który ma 80x80 pikseli w przypadku, gdy stosowane są bloki DCT 8x8. Bloki są skanowane od 1 do N=100. Na fig. 4 przedstawiono przykład obrazu prostokątnego 8x6 bloków, który ma 72x48 pikseli w przypadku stosowania bloku DCT 8x8. Bloki są skanowane od 1 do n=54. Jak to łatwo zauważyć na fig. 3 i 4, bloki oznaczone 1, od których rozpoczyna się skanowanie, są umieszczone w przybliżeniu w środku obrazu. Wiersze i kolumny są kolejno dodawane naprzemiennie do obszaru już skanowanego, przy utrzymywaniu współczynnika kształtu, w przybliżeniu równym współczynnikowi kształtu całego obrazu. W tym przykładowym wykonaniu, wiersze i kolumny, które s ą dodawane, mają w przybliż eniu tę samą długość, jak już osiągalne w obszarze skanowanym.

Położenie większego nacisku na jakość bloków w środku obrazu, w porównaniu z blokami w pobliżu krawędzi obrazu, jak to pisano powyżej, nie bierze pod uwagę widzialności artefaktów zblokowania w obszarach niskiego kontrastu obrazu. W innym przykładowym wykonaniu wynalazku, położony jest nacisk na bloki o niskim kontraście. Miara kontrastu jest uzyskana przez określenie liczby znaczących współczynników po każdym cyklu skanowania. Dla każdego cyklu skanowania może być skanowany i przesłany jeden bit współczynników transformaty, tzn. bity jednej płaszczyzny bitowej. Po każdym cyklu skanowania, bloki są sortowane względem ich liczby znaczących współczynników i to nowe uporządkowanie bloków jest użyte w następnym cyklu skanowania do przesłania jednej lub więcej następnych płaszczyzn bitowych z niższymi współczynnikami. W wyniku, najpierw skanowane są i przesyłane bloki z najmniejszą liczbą istotnych współczynników. Początkowy porządek skanowania bloków, np. transmisja najbardziej znaczącej płaszczyzny bitowej, może być albo liniowa, lub nieliniowa zgodnie z porządkiem określonym powyżej, gdzie bloki w pobliżu środka obrazu są skanowane jako pierwsze.

Dla tych bloków, które mają tę samą liczbę istotnych współczynników, pierwszeństwo jest dane w czasie sortowania blokom bliż szym ś rodka obrazu. Moż e być to wykonane zgodnie z porządkiem skanowania opisanym powyżej, lub z wykorzystaniem tzw. „odległością Manhattanu (ulic), która jest określona jako suma poziomych i pionowych odległości bloku do środka. W tym przypadku, wiele bloków może mieć taką samą miarę odległości, ale nie ma potrzeby stosowania odwzorowania odwrotnego, tak koder jak i dekoder muszą stosować algorytm prowadzący do tego samego porządku skanowania.

W wykonaniach praktycznych, kontrast bloku jest zawsze waż niejszy od jego odległ o ś ci od środka. Jednak możliwe są również inne przyporządkowania wag, np. blok w pobliżu krawędzi obrazu, który ma mniejszy kontrast, niż drugi blok w pobliżu środka, może być skanowany później niż ten drugi blok. Miara kontrastu może zależeć od zastosowań. Na przykład, nie ma łatwo dostępnych współczynników AC transformaty dla sposobów opartych na dziedzinie przestrzennej. W takim sposobie współczynniki transformaty AC mogą być generowane, lub alternatywnie może być przyjęta różnica wartościami luminacji wewnątrz bloku.

Hybrydowe schematy kompresji wideo, takie jak MPEG2 i H.263 używają pamięci obrazu do kodowania z kompensacją ruchu. W implementacjach VLSI, obraz ze względu na jego duży rozmiar jest zwykle zapamiętany w zewnętrznej pamięci RAM. Dla zmniejszenia całkowitego kosztu systemu, proponuje się kompresję ze współczynnikiem 4 do 5, co umożliwia wprowadzenie pamięci obrazu do samego kodera IC. W koderze dziedziny DCT, sygnał wejściowy bezpośrednio podlega transformacji

DCT na zewnątrz pętli kodowania (patrz fig. 5 i 6). Oznacza to, że estymacja i kompensacja ruchu muszą być przeprowadzone w dziedzinie DCT. Lokalne dekodowanie ogranicza się jedynie do wykonania dekwantyzacji (IQ) i inwersji MC (IMC). Aby wykorzystać dużą liczbę zerowych współczynników po kwantyzacji (Q) (Ciągle istniejących po IQ), zastosowany jest przed zapisaniem w pamięci zgodny z wynalazkiem skalowalny koder (LLC). Sposób kodowania skalowalnego jest ze swojej natury bezstratny, ale jeżeli jest to konieczne może być kwantowany ze strumienia bitów. Wydobycie z pamięci (MEM) dla kompensacji ruchu jest realizowane przez skalowalny dekoder (LLD). Należy zauważyć, że prawie wszystkie części kodera są teraz umieszczone w dziedzinie DCT, podczas gdy dla tradycyjnych dekoderów, nie dziedziny DCT, jedynie ograniczona część jest umieszczona w dziedzinie DCT.

Dla kontroli i zabezpieczenia rzeczywistej pamięci, użyta jest skalowalna kompresja jak to opisano powyżej.

Na fig. 5 przedstawiono system kamery zawierający pierwszy koder hybrydowy dziedziny DCT zgodny z wynalazkiem. Koderem hybrydowym jest w tym przypadku tak zwany koder 'PIPI', co oznacza, że koduje on naprzemienne ramki typu I (INTRA) i typu P (INTER). System kamery zawiera ka6

PL 206 212 B1 merę 4 i koder hybrydowy 5. Sygnał generowany przez kamerę 4 poddany jest transformacji DCT w bloku DCT 50. Następnie przetworzony sygnał podlega estymacji ruchu w bloku ME 51 oraz kompensacji ruchu w bloku MC 52. Sygnał z bloku kompensacji ruchu jest kwantowany w bloku Q 53. Kwantowany sygnał jest następnie przetwarzany przez skaner typu Zig-Zag (ZZ) 58, koder kodowania grupowego (RLE) 59, oraz koder kodowania długości serii VLE (Variable Length Encoder) 60, dla uzyskania na przykład sygnału kodowania MPEG. Kwantowany sygnał jest dalej skalowalnie kodowany zgodnie z wynalazkiem w LLC 54, a następnie dostarczony do pamięci 55. Wymagany rozmiar pamięci 55 może być gwarantowany przez mechanizm kontroli bufor/szybkość samego kodera 5. Wynika to stąd, że jedynie współczynniki ramki typu I są zapamiętywane w pamięci 55. Koder ten jest odpowiedni w zastosowaniach, w których koszt kodera i zdolność modyfikacji są ważniejsze od współczynnika kompresji, jak na przykład w zastosowaniach z zapamiętywaniem. Pamięć pętli 50 jest umieszczona bezpośrednio za urządzeniem kwantującym 53 (przez LLC 54), wykorzystując prawie w pełni wyniki kodera macierzystego. Dla uzyskania zrekonstruowanej ramki, która może być użyta w estymatorze ruchu 51, koder zawiera ponadto skalowalny dekoder LLD 56 oraz odwrotne urządzenie kwantujące JQ 57; oba sprzężone z pamięcią 55. Skalowalny dekoder LLD 56 realizuje operację odwrotną do skalowalnego kodera LLC 54.

Dla wyższych współczynników kompresji, wymaganych dla niższych szybkości bitowych, muszą być użyte kolejne ramki typu P. Struktura systemu kamery, zawierającego koder wielokrotnych ramek P, została przedstawiona na fig. 6. Podobnie do fig. 5, koder 7 zawiera DCT 70, ME 71, MC 72, Q 73, ZZ 80, RLE 81 oraz VLE 82. Q 73 jest sprzężony przez JQ 74 z odwrotnym kompensatorem ruchu (IMC) 75 dla uzyskania sygnału zrekonstruowanego. Między ramkami typu P może teraz wślizgnąć się przez mechanizm IMC 75 nieokreślona liczba współczynników niezerowych, bezpośrednio do pamięci pętli 78, omijając Q 73. Sposobem aktywnej kontroli wymagań pamięci jest kwantowanie sygnałów kierowanych do pamięci pętli 78. Pewien stopień kwantyzacji jest dopuszczalny tak długo, jak długo jakość obrazu pozostaje (istotnie) wyższa od docelowej jakości wyjściowej dekodera, a liczba kolejnych ramek P jest ograniczona. Kwantowanie jest realizowane przez proste usunięcie pewnego procentu strumienia bitów dla każdego bloku DCT, zgodnie z zasadą skalowalnego kodowania. Oddzielny mechanizm kontroli bufora może kształtować zawartość obrazu i dopasowywać w biegu wspomniany procent. Informacja o kwantowaniu nie jest wymagana dla fazy dekodowania, która jest realizowana w LLD 79. Dodatkowe kwantowanie jest realizowane przez urządzenie obcinające T 77 na skalowalnym strumieniu bitów zgodnie z wynalazkiem, tworzonym przez LLC 76. Może być zastosowany mechanizm awaryjny, polegający na przełączeniu do bloków wewnętrznych, jeżeli liczba elementów niezerowych jest większa niż może być zaakceptowana. Przykładowe wykonania przedstawione na fig. 5 i 6 tworzą standardowy MPEG, lub podobnie kodowany strumień bitów. Strumień bitów może być dekodowany przez standardowy dekoder.

Chociaż opisane powyżej wykonania skalowalnego kodowania są zastosowane wewnątrz kodera, tzn. dostarcza się skalowalny strumień bitów do pamięci pętli, skalowalne kodowanie może być również użyte do transmisji skalowalnego strumienia bitów do odległego dekodera. Odbiornik wymaga więc środków do dekodowania skalowalnego strumienia bitów. Na fig. 7 przedstawiono system kamery zawierający kamerę 4 i koder hybrydowy 9. Koder hybrydowy 9 zawiera: estymator ruchu (ME) 90, kompensator ruchu (MC) 91, blok transformacji DCT 92, skalowalny koder (LLC) 93, koder entropii (EC) 94 (opcjonalnie), oraz urządzenie obcinające T 95. Koder zawiera ponadto dekoder entropii (ED) 96 (opcjonalnie), skalowalny dekoder (LLD) 97, blok transformacji odwrotnej DCT (IDCT) 98, odwrotny kompensator ruchu (IMC) 99 i pamięć (MEM) 100. Zamiast standardowego skanowania metodą Zig-Zag, kodowania grupowego, oraz kodowania długości serii, stosowany jest skalowalny koder LLC 93 do dostarczania skalowalnego strumienia bitów zgodnie z wynalazkiem do wyjścia kodera hybrydowego 9. Skalowalny strumień bitów jest kodowany bezstratnie w EC 94 np. z zastosowaniem kodowania arytmetycznego lub Huffmana. Przykładowe wykonanie zgodne z fig. 7 zawiera urządzenie obcinające (T) 95 w ścieżce wyjściowej, która obcina skalowalny strumień bitów dla uzyskania wyjściowego strumienia bitów BS o pożądanej szybkości bitowej. Wykonanie to zawiera dogodną nieskomplikowaną kontrolę szybkości bitowej, która dopasowuje szybkość bitową szybciej i lepiej niż wykonanie, które wykorzystuje pętle sprzężenia zwrotnego do dostosowania urządzenia kwantującego. Możliwa jest kombinacja wykonania przedstawionego na fig. 7 z wykonaniami przedstawionymi na fig. 5 i 6. Jeżeli kompensacja ruchu nie jest wymagana, może być użyte wykonanie głównie zawierające DCT 92, skalowalny koder LLC 93 i urządzenie obcinające (T) 95.

PL 206 212 B1

Ponieważ wyjście wykonania z fig. 7 nie jest standardowym wyjściem MPEG-2, wymagany jest niestandardowy dekoder MPEG-2 dla dekodowania strumienia bitów BS. Odbiornik zawierający skalowalny dekoder 11 przedstawiono na fig. 8. Skalowalny strumień bitów BS jest odbierany w dekoderze 11, a w szczególności w dekoderze entropii ED 111. Źródłem strumienia bitów BS może być nośnik danych 10, ale może byś również transmisja przez pewnego rodzaju nośnik. Po dekodowaniu entropii, strumień bitów jest skalowalnie dekodowany w LLD 112. Dalszymi elementami dekodera jest urządzenie transformacji odwrotnej DCT (IDCT) 113, odwrotny kompensator ruchu (IMC) 114 oraz pamięć (MEM) 115, które są podobne do ich odpowiedników w koderze 9. Bity współczynników, które podlegały obcięciu mogą być ustawione przez dekoder 11 na zero, na wartości oczekiwane lub na wartości losowe. Dekodowany strumień bitów może być wyświetlony na wyświetlaczu D 12. W zależności od złożoności kodera pominięty może być ED 111 lub IMC 114 i MEM 115.

Podsumowując, sygnał mający bloki wartości kodowane przez: wytworzenie odpowiednich strumieni bitów dla odpowiednich indywidualnych bloków, oraz otrzymanie skalowalnego strumienia bitów przez cykliczne i sekwencyjne skanowanie wybranych części odnośnych skalowalnych strumieni bitów, odnośnych indywidualnych bloków, przy czym w danym cyklu skanowania, odpowiednie strumienie bitów są skanowane w porządku malejącego znaczenia. W kolejnym przykładowym wykonaniu, bloki reprezentują kodowany obraz i dany cykl skanowania zaczyna się w bloku znajdującym się w przybliżeniu w środku kodowanego obrazu. W innym wykonaniu, bloki reprezentują kodowany obraz i w danym cyklu skanowania skanuje się odpowiedni strumień bitów w porządku adaptowanym do obrazu, który jest określony przez określone z góry kryterium, jak na przykład wartość kontrastu.

W korzystnym przykładzie wykonania wynalazku, cykl skanowania rozpoczyna się od bloków w środku kodowanego obrazu. Gdy strumień bitów opisujący kodowany obraz jest obcięty, bloki w pobliżu środka obrazu będą miały trochę lepszą jakość, niż bloki w pobliżu krawędzi. Stwierdzono, że położenie nacisku na jakość w środku obrazu, w porównaniu z jakością w pobliżu krawędzi, zwiększa odbieraną jakość obrazu, ponieważ zwykle najbardziej interesujące obiekty obrazu są umieszczone w środku. Liniowy porządek skanowania, na przykład od lewej strony do prawej i od górnej strony do dolnej powoduje zwiększenie wpływu zakłócających artefaktów, z powodu widocznych nagłych zmian w jakości obrazu. Dla obrazu kwadratowego może być użyta „idealna spirala, rozpoczynająca się w środku i rozwijająca się w kierunku krawędzi. Dla obrazu prostokątnego, który jest praktycznie bardziej istotny, taka „idealna spirala nie jest możliwa. Dlatego stosowany jest algorytm, który „powiększa mały obszar ze współczynnikiem kształtu, który aproksymuje cały obszar, na przykład, przez kolejne dodawanie wierszy i kolumn do obszaru, aż nie zostanie pokryty cały obraz.

W kolejnym korzystnym wykonaniu wynalazku, w danym cyklu skanowania skanowany jest odnośny strumień bitów w porządku adoptowanym do obrazu, na podstawie określonego z góry kryterium. W tym wykonaniu, właściwości obrazu są wykorzystane do określenia porządku skanowania. Ponieważ porządek skanowania jest określony przez z góry określone kryterium, porządek skanowania jest taki sam w koderze i dekoderze, więc przesyłanie porządku skanowania nie jest konieczne. Przykładem określonego z góry kryterium jest kontrast bloków. Cykl skanowania rozpoczyna się od bloków o niskim kontraście. Położenie większego nacisku na bloki o małym kontraście, przez ich skanowania w pierwszej kolejności, zwiększa postrzeganą jakość obrazu, ponieważ artefakty zblokowania są bardziej widoczne w obszarach niskiego kontrastu obrazu. W korzystnym wykonaniu, porządek skanowania bloków jest całkowicie określony przez informację, która jest dostępna tak w koderze, jak również dekoderze, np. gdy wartościami są współczynniki transformacji, przez określenie po danym cyklu skanowania liczby istotnych współczynników, dla każdego poszczególnego bloku, oraz zastosowanie porządku skanowania w następnym cyklu skanowania, w których bloki o małej liczbie istotnych współczynników są skanowane w pierwszej kolejności. Istotnym współczynnikiem jest ten współczynnik, dla którego jeden lub więcej bitów zostało już przesłanych. W ten sposób nie muszą być wysyłane dodatkowe bity do dekodera. Miara kontrastu danego bloku jest oparta na obserwacji, że bloki DCT z większym kontrastem będą miały zasadniczo większe amplitudy współczynników transformaty. W kolejnym korzystnym wykonaniu, porządek skanowania bloków będzie ogólnie zależał od ważonej kombinacji kontrastu bloku i odległości bloku od środka obrazu.

Należy zauważyć, że przedstawione powyżej wykonania ilustrują wynalazek, a nie są jego ograniczeniem i znawcy tematyki będą mogli zaprojektować wiele alternatywnych wykonań bez odejścia od zakresu zamieszczonych zastrzeżeń. Obrazy mogą być dzielone na pod-obrazy, przy czym wynalazek jest stosowany do pod-obrazów, a nie do obrazu. W zastrzeżeniach, jakikolwiek znak odniesienia umieszczony w nawiasach nie może być interpretowany jako ograniczenie zastrzeżenia.

PL 206 212 B1

Słowo „zawierający nie wyklucza występowania innych elementów lub etapów wymienionych w zastrzeżeniu. Wynalazek może być implementowany za pomocą urządzeń sprzętowych zawierających kilka odrębnych elementów i za pomocą odpowiednio zaprogramowanego komputera.

Claims (7)

1. Zastrzeżenia patentowe

   1. Sposób kodowania (54, 76, 93) sygnału (S) reprezentującego obraz, przy czym sygnał zawiera bloki wartości, w którym to sposobie w kolejnych etapach tworzy się strumienie bitów (DCT-1, ...., DCT-N), dla poszczególnych bloków oraz otrzymuje się skalowalny strumień bitów (BS) przez sekwencyjne skanowanie wybranych części (P1, P2,...) strumieni bitów (DCT-1.....DCT-N) poszczególnych bloków w kolejnych cyklach, przy czym wybrane części (P1, P2, ...) strumieni bitów (DCT-1, ...., DCT-N) skanuje się w kolejnych cyklach, znamienny tym, że w danym cyklu skanowania, strumienie bitów odpowiednich bloków skanuje się w kolejności zmniejszającego się znaczenia odpowiednich bloków zwiększając postrzegalną jakość obrazu.
2. 2. Sposób według zastrz. 1, znamienny tym, że bloki reprezentują kodowany obraz, a dany cykl skanowania rozpoczyna się od bloku leżącego w środku kodowanego obrazu.
3. 3. Sposób według zastrz. 1, znamienny tym, że bloki reprezentują kodowany obraz, a w danym cyklu skanowania skanuje się strumienie bitów w porządku adoptowanym do obrazu, określonym przez określone z góry kryterium.
4. 4. Sposób według zastrz. 3, znamienny tym, że określonym z góry kryterium jest kontrast bloków, a cykl skanowania rozpoczyna się od bloków o niskim kontraście.
5. 5. Sposób według zastrz. 4, znamienny tym, że wartościami są współczynniki transformaty, a sposób zawiera ponadto etapy, w których określa się, po danym cyklu skanowania, liczbę istotnych współczynników dla każdego poszczególnego bloku oraz stosuje się porządek skanowania w następnym cyklu skanowania, w którym pierwsze są skanowane bloki o małej liczbie istotnych współczynników.
6. 6. Sposób według zastrz. 5, znamienny tym, że istotne współczynniki mają przyporządkowane wagi w zależności od odległości od środka kodowanego obrazu.
7. 7. Sposób dekodowania (11), w którym odbiera się (111) skalowalny strumień bitów (BS), zawierający cyklicznie i sekwencyjnie skanowane części (P1, P2,...) strumieni bitów (DCT-1......DCT-N), dla poszczególnych bloków wartości w kolejnych cyklach, przy czym wybrane części (P1, P2, ...) strumieni bitów (DCT-1, ...., DCT-N) skanuje się w kolejnych cyklach, regeneruje się (112) strumienie bitów (DCT-1, ...., DCT-N) ze skalowalnego strumienia bitów (BS) oraz dekoduje się (113 ,...., 115) strumienie bitów (DCT-1, ....., DCT-N), znamienny tym, że w sekwencji dekodowania skanowanych części w danym cyklu, bloki dekoduje się w kolejności zmniejszającego się znaczenia zwiększając postrzegalną jakość obrazu reprezentowanego przez regenerowane strumienie bitów (DCT-1, ...., DCT-N)