[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

RU2337503C1 - Способы кодирования и декодирования видеоизображения с использованием межуровневой фильтрации и видеокодер и видеодекодер с их использованием - Google Patents

Способы кодирования и декодирования видеоизображения с использованием межуровневой фильтрации и видеокодер и видеодекодер с их использованием Download PDF

Info

Publication number
RU2337503C1
RU2337503C1 RU2007114587/09A RU2007114587A RU2337503C1 RU 2337503 C1 RU2337503 C1 RU 2337503C1 RU 2007114587/09 A RU2007114587/09 A RU 2007114587/09A RU 2007114587 A RU2007114587 A RU 2007114587A RU 2337503 C1 RU2337503 C1 RU 2337503C1
Authority
RU
Russia
Prior art keywords
frames
video
level
filtering
scheme
Prior art date
Application number
RU2007114587/09A
Other languages
English (en)
Inventor
Воо-Дзин ХАН (KR)
Воо-Дзин ХАН
Бае-кеун ЛИ (KR)
Бае-Кеун ЛИ
Дзае-Йоунг ЛИ (KR)
Дзае-Йоунг ЛИ
Санг-чанг ЧА (KR)
Санг-чанг ЧА
Хо-Дзин ХА (KR)
Хо-Дзин ХА
Кио-хиук ЛИ (KR)
Кио-Хиук ЛИ
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Application granted granted Critical
Publication of RU2337503C1 publication Critical patent/RU2337503C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Изобретение относится к области техники обработки изображений и, в частности, к способу кодирования видеоизображения с использованием межуровневой фильтрации. Техническим результатом является повышение эффективности многоуровневого кодирования видеоизображения. Предложен способ кодирования видеоизображения, включающий: кодирование кадров видеоизображения с использованием первой схемы кодирования видеоизображения, выполнение межуровневой фильтрации для кадров, кодированных посредством первой схемы кодирования видеоизображения, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения, обращаясь к кадрам, подвергнутым межуровневой фильтрации, и формирование потока битов, состоящего из кадров, кодированных посредством первой и второй схем кодирования видеоизображения, причем первой схемой кодирования видеоизображения является схема кодирования Усовершенствованного Кодирования Видеоизображения (AVC), второй схемой кодирования является схема вейвлет-кодирования, а межуровневая фильтрация включает повышение дискретизации AVC-кодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра. 12 н. и 32 з.п. ф-лы, 13 ил.

Description

Область техники, к которой относится изобретение
Устройства и способы, согласно настоящему изобретению, относятся к способу многоуровневого кодирования видеоизображения и, более конкретно, к способу кодирования видеоизображения с использованием межуровневой фильтрации.
УРОВЕНЬ ТЕХНИКИ
С развитием технологии связи, включая Интернет, расширилась передача видеоизображения, а также передача текста и речи. Обычная передача текста не может удовлетворять различным потребностям пользователей, и, соответственно, расширились мультимедийные услуги, которые могут обеспечивать различные виды информации, такие как текст, изображения и музыка. Мультимедийные данные для осуществления передачи требуют носителя информации большой емкости и широкую полосу пропускания, так как, обычно, количество данных велико. Например, 24-битовое изображение в натуральных цветах (true-color), имеющее разрешение 640*480, требует емкости в 640*480*24 битов, то есть, для данных порядка 7,37 Mbits на кадр. Когда видеоизображение, состоящее из таких изображений, передают на скорости 30 кадров в секунду, требуется полоса пропускания 221 Mbits/sec. При сохранении 90-минутного фильма, основанного на таком изображении, требуется область памяти около 1200 Gbits. Соответственно, для передачи мультимедийных данных необходим способ кодирования со сжатием.
Основным принципом сжатия мультимедийных данных является удаление избыточности данных. Другими словами, данные видеоизображения могут быть сжаты при удалении пространственной, временной и визуальной избыточности. Пространственная избыточность возникает, когда в изображении повторяется один и тот же цвет или объект. Временная избыточность возникает, когда имеет место небольшое изменение между смежными кадрами в движущемся изображении или в звукозаписи повторяется один звук. При удалении визуальной избыточности учитываются ограничения зрения человека и ограниченное восприятие им высокой частоты.
Фиг.1 изображает среду, в которой применяют сжатие видеоизображения.
Данные видеоизображения сжимают видеокодером 110. MPEG-2, MPEG-4, H.263 и H.264 являются известными в настоящее время алгоритмами сжатия видеоизображения на основе Дискретного Косинусного Преобразования (DCT, ДКП). В последнее время активно проводились исследования масштабируемого кодирования видеоизображения на основе вейвлет (разложения по волнам малой длительности). Сжатые данные видеоизображения передают в видеодекодер 130 через сеть 120. Видеодекодер 130 декодирует сжатые данные видеоизображения для восстановления исходных данных видеоизображения.
Видеокодер 110 сжимает исходные данные видеоизображения, так чтобы они не превышали доступную полосу пропускания сети 120. Однако полоса пропускания канала связи может варьироваться в зависимости от вида сети 120. Например, доступная полоса пропускания канала связи сети Ethernet (локальной сети на основе протокола CSMA-CD) отлична от полосы пропускания канала беспроводной локальной сети (WLAN, БЛС). Сотовая сеть связи может иметь очень узкую полосу пропускания. Соответственно, активно проводится исследование в отношении способа формирования данных видеоизображения, сжатых по различной частоте следования битов, из одних и тех же сжатых данных видеоизображения, в частности масштабируемого кодирования видеоизображения.
Масштабируемое кодирование видеоизображения является способом сжатия видеоизображения, который обеспечивает возможность масштабирования данных видеоизображения. Масштабируемость является возможностью формирования из одного сжатого потока битов последовательностей видеоизображения при различных разрешениях, частотах кадра и качествах. Временная масштабируемость может быть обеспечена с использованием Компенсирующей Движение Временной Фильтрации (MCTF, КДВФ), Абсолютной MCTF (UMCTF, АВФКД) или алгоритма Последовательной Временной Аппроксимации и Сравнения с эталоном (STAR, ПВАС). Пространственная масштабируемость может быть получена посредством алгоритма вейвлет-преобразования (преобразования с разложением на волны малой длительности) или многоуровневого кодирования, которые активно изучались в последнее время. Масштабируемость Отношения сигнал-шум (SNR, ОСШ) может быть получена с использованием Внедренного Вейвлет с Нулевыми Деревьями (EZW, ВВН), Разбиения на Наборы в Иерархических Деревьях (SPIHT, РНИД), Внедренного Кодирования с Нулевым Блоком (EZBC, ВЕНБ), или Внедренного Блочного Кодирования с Оптимизированным Усечением (EBCOT).
В последнее время для масштабируемого кодирования видеоизображения были приняты алгоритмы многоуровневого кодирования видеоизображения. Хотя стандартное многоуровневое кодирование видеоизображения обычно использует один алгоритм кодирования видеоизображения, в последнее время повышенное внимание уделяют многоуровневому кодированию видеоизображения с использованием нескольких алгоритмов кодирования видеоизображения.
Фиг.2 и фиг 3 иллюстрируют возможные варианты потоков битов, сформированных при многоуровневом кодировании видеоизображения.
Согласно фиг.2, видеокодер использует и алгоритм Усовершенствованного Кодирования Видеоизображения MPEG-4, предлагающий превосходную эффективность кодирования, и способ вейвлет-кодирования, обеспечивающий превосходную масштабируемость. Когда видеокодер выполняет кодирование с использованием только вейвлет-кодирования, имеется тенденция к существенному ухудшению качества видеоизображения при низком разрешении. Соответственно, поток битов, изображенный на фиг.2, содержит AVC-кодированные кадры уровня с самым низким разрешением, и кадры уровня с самым высоким разрешением, вейвлет-кодированнные с использованием AVC-кодированных кадров самого низкого уровня. Кадром, используемым в качестве опорного при кодировании, является кадр, восстановленный при декодировании кадра, кодированного посредством AVC-кодирования.
Согласно фиг.3, видеокодер использует и вейвлет-кодирование, обеспечивающее превосходную масштабируемость, и AVC-кодирование, обеспечивающее высокую эффективность кодирования. Хотя в потоке битов, изображенном на фиг.2, имеется только два уровня, вейвлет-кодированный и AVC-кодированный, в потоке битов, изображенном на фиг.3, имеется вейвлет-кодированный уровень и AVC-кодированный уровень для каждого разрешения.
Раскрытие изобретения
Техническая проблема
При многоуровневом кодировании видеоизображения существует проблема, состоящая в том, что имеется тенденция к низкой эффективности кодирования уровня расширения, из-за шума квантования в предыдущем кодированном уровне (базовом уровне). В частности, проблема является более неблагоприятной, когда при многоуровневом кодировании видеоизображения используют несколько алгоритмов кодирования видеоизображения, имеющих различные характеристики. Например, использование и AVC-кодирования на основе DCT и вейвлет-кодирования, как изображено на фиг.2 или фиг.3, может ухудшить эффективность кодирования на уровне вейвлет.
Техническое решение
Настоящее изобретение обеспечивает способы кодирования и декодирования видеоизображения с использованием межуровневой фильтрации, разработанной для повышения эффективности многоуровневого кодирования видеоизображения, и видеокодеры и видеодекодеры.
Вышеупомянутая задача, а также другие задачи, признаки и преимущества настоящего изобретения станут очевидны для специалистов в данной области техники после обзора последующего описания.
Согласно аспекту настоящего изобретения, обеспечен способ кодирования видеоизображения, включающий кодирование кадров с использованием первой схемы кодирования видеоизображения, выполнение межуровневой фильтрации в отношении кадров, кодированных посредством первой схемы кодирования видеоизображения, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения с обращением к кадрам, подвергшимся межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.
Согласно другому аспекту настоящего изобретения, обеспечен способ кодирования видеоизображения, включающий субдискретизацию кадров видеоизображения для формирования кадров видеоизображения с низким разрешением, кодирование кадров видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, повышение дискретизации кадров, кодированных посредством первой схемы кодирования видеоизображения до разрешения кадров видеоизображения, выполнение межуровневой фильтрации в отношении кадров с повышенной дискретизацией, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения, обращаясь к кадрам, подвергшимся межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.
Согласно еще одному аспекту настоящего изобретения обеспечен видеокодер, содержащий первый блок кодирования видеоизображения, кодирующий кадры видеоизображения с использованием первой схемы кодирования видеоизображения, межуровневый фильтр, выполняющий межуровневую фильтрацию в отношении кадров, кодированных первой схемой кодирования видеоизображения, второй блок кодирования видеоизображения, кодирующий кадры видеоизображения с использованием второй схемы кодирования видеоизображения, обращаясь к кадрам, фильтрованным посредством межуровневой фильтрации, и генератор потока битов, формирующий поток битов, содержащий кадры, кодированные посредством первой и второй схем кодирования видеоизображения.
Согласно дополнительному аспекту настоящего изобретения обеспечен видеокодер, содержащий средство субдискретизации, субдискретизирующее кадры видеоизображения для формирования кадров видеоизображения с низким разрешением, первый блок кодирования видеоизображения, кодирующий кадры видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, средство повышения дискретизации, повышающее дискретизацию кадров, кодированных первой схемой кодирования видеоизображения, межуровневый фильтр, выполняющий межуровневую фильтрацию в отношении кадров с повышенной дискретизацией, второй блок кодирования видеоизображения, кодирующий кадры видеоизображения с использованием второй схемы кодирования видеоизображения на основе кадров, фильтрованных посредством межуровневой фильтрации, и генератор потока битов, формирующий поток битов, содержащий кадры, кодированные посредством первой и второй схем кодирования видеоизображения.
Согласно еще одному аспекту настоящего изобретения, обеспечен способ декодирования видеоизображения, включающий извлечение кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирование кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановление кадров первого уровня, выполнение межуровневой фильтрации в отношении восстановленных кадров первого уровня и декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения на основе кадров первого уровня, фильтрованных посредством межуровневой фильтрации, и восстановление кадров второго уровня.
Согласно еще одному аспекту настоящего изобретения обеспечен способ декодирования видеоизображения, включающий извлечение кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирование кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения, восстановление кадров первого уровня, повышение дискретизации восстановленных кадров первого уровня, выполнение межуровневой фильтрации для кадров с повышенной дискретизацией первого уровня и декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения на основе кадров первого уровня, фильтрованных посредством межуровневой фильтрации, и восстановление кадров второго уровня.
Согласно еще одному аспекту настоящего изобретения обеспечен видеодекодер, содержащий интерпретатор потока битов, извлекающий кадры, кодированные посредством первой и второй схем кодирования видеоизображения, из потока битов, первый блок декодирования видеоизображения, декодирующий кадры, кодированные посредством первой схемы кодирования видеоизображения, обращаясь к первой схеме декодирования видеоизображения и восстанавливающий кадры первого уровня, межуровневый фильтр, выполняющий межуровневую фильтрацию на восстановленных кадрах первого уровня, и второй блок декодирования видеоизображения, декодирующий кадры, кодированные посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения в отношении кадров первого уровня, фильтрованных посредством межуровневой фильтрации, и восстановление кадров второго уровня.
Согласно еще одному аспекту настоящего изобретения обеспечен видеодекодер, содержащий видеодекодер, содержащий интерпретатор потока битов для извлечения кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, первый блок декодирования видеоизображения для декодирования кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановления кадров первого уровня, средство повышения дискретизации для повышения дискретизации восстановленных кадров первого уровня, межуровневый фильтр для выполнения межуровневой фильтрации в отношении кадров с повышенной дискретизацией первого уровня, и второй блок декодирования видеоизображения для декодирования кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения на основе кадров первого уровня, фильтрованных посредством межуровневой фильтрации, и восстановления кадров второго уровня.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Вышеупомянутые и другие аспекты настоящего изобретения станут более очевидны при подобном описании его возможных вариантов осуществления, согласно приложенным чертежам.
Фиг.1 изображает среду, в которой применяют сжатие видеоизображения.
Фиг.2 и фиг.3 изображают возможные структуры потока битов, сформированного при многоуровневом кодировании видеоизображения.
Фиг.4 - блочная диаграмма видеокодера согласно первому возможному варианту осуществления настоящего изобретения.
Фиг.5 - блочная диаграмма видеокодера согласно второму возможному варианту осуществления настоящего изобретения.
Фиг.6 - блочная диаграмма временного фильтра согласно возможному варианту осуществления настоящего изобретения.
Фиг.7 - диаграмма, иллюстрирующая процесс кодирования видеоизображения, согласно возможному варианту осуществления настоящего изобретения.
Фиг.8 - диаграмма, иллюстрирующая подробно процесс кодирования второго уровня, согласно возможному варианту осуществления настоящего изобретения.
Фиг.9 - блочная диаграмма видеодекодера согласно первому возможному варианту осуществления настоящего изобретения.
Фиг.10 - блочная диаграмма видеодекодера согласно второму возможному варианту осуществления настоящего изобретения.
Фиг.11 - блочная диаграмма обратного временного фильтра согласно возможному варианту осуществления настоящего изобретения.
Фиг.12 - диаграмма, иллюстрирующая процесс декодирования видеоизображения, согласно возможному варианту осуществления настоящего изобретения.
Фиг.13 - диаграмма, иллюстрирующая подробно процесс выполнения обратного временного фильтрования на втором уровне, согласно возможному варианту осуществления настоящего изобретения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Аспекты изобретения и способы их выполнения могут стать более понятны при обращении к последующему подробному описанию возможных вариантов осуществления и приложенным чертежам. Однако настоящее изобретение может быть реализовано во многих различных видах и не должно рассматриваться, как ограниченное изложенными здесь возможными вариантами осуществления. Кроме того, эти возможные варианты осуществления приведены, чтобы это раскрытие было полным и завершенным, и для передачи полностью концепции изобретения специалистам в данной области техники, и настоящее изобретение должно быть определено исключительно приложенной формулой изобретения. В описании использована сквозная нумерация.
Настоящее изобретение описано более полно, согласно приложенным чертежам, в которых изображены возможные варианты осуществления изобретения. Для удобства объяснения предполагается, что видеокодер имеет два блока кодирования для двух уровней.
Фиг.4 иллюстрирует блок-схему видеокодера согласно первому возможному варианту осуществления настоящего изобретения.
Согласно фиг.4, видеокодер, согласно первому возможному варианту осуществления настоящего изобретения, содержит первый блок 410 кодирования видеоизображения, второй блок 420 кодирования видеоизображения, генератор 430 потока битов и межуровневый фильтр 440.
Первый блок 410 кодирования содержит временной фильтр 411, преобразователь 412 Дискретного Косинусного Преобразования (DCT) и квантующее средство 413 и кодирует кадр видеоизображения с использованием усовершенствованного кодирования видеоизображения (AVC).
Временной фильтр 411 принимает кадр 400 видеоизображения и удаляет временную избыточность, которую кадр 400 видеоизображения имеет со смежными кадрами. Для удаления временной избыточности между кадрами временной фильтр 411 может использовать алгоритм Компенсирующей Движение Временной Фильтрации (MCTF). Алгоритм MCTF, поддерживающий временную масштабируемость, удаляет временную избыточность между смежными кадрами. Для MCTF широко используют Фильтр 5/3. Могут быть использованы другие алгоритмы временного фильтрования, поддерживающие временную масштабируемость, такие как Абсолютная MCTF (UMCTF) или Последовательная Временная Аппроксимация и Обращение к эталону (STAR).
Преобразователь 412 DCT выполняет DCT для кадра, фильтрованного посредством временной фильтрации. DCT выполняют для каждого блока предварительно определенного размера (8·8 или 4·4). Энтропия блока, подвергшегося DCT, уменьшена по сравнению с энтропией блока перед DCT.
Квантующее средство 413 квантует DCT-преобразованный кадр. При AVC квантование определяют на основе параметра квантования (Qp). После того как он подвергся сканированию и статистическому кодированию, квантованный кадр вставляют в поток битов.
Второй блок 420 кодирования видеоизображения содержит временной фильтр 421, вейвлет-преобразователь 422 и квантующее средство 423 и кодирует кадр видеоизображения с использованием вейвлет-кодирования.
Временной фильтр 421 принимает кадр 400 видеоизображения и удаляет временную избыточность, которую кадр 400 видеоизображения имеет со смежными кадрами. Для удаления временной избыточности между кадрами временной фильтр 421 может использовать алгоритм MCTF. Алгоритм MCTF, поддерживающий временную масштабируемость, удаляет временную избыточность между смежными кадрами. Могут быть использованы другие алгоритмы временного фильтрования, поддерживающие временную масштабируемость, такие как UMCTF или STAR.
Вейвлет-преобразователь 422 выполняет преобразование в отношении кадра, фильтрованного посредством временного фильтрования, на по-кадровой основе. Алгоритм вейвлет-преобразования, поддерживающий пространственную масштабируемость, осуществляет разложение кадра на один поддиапазон низких частот (LL) и три поддиапазона высоких частот (LH, HL и HH). LL поддиапазон по размеру составляет четверть первоначального кадра и является его аппроксимацией перед тем, как он подвергается вейвлет-преобразованию. Вновь выполняют вейвлет-преобразование для разложения LL поддиапазона на один поддиапазон низких частот (LLLL) и три поддиапазона высоких частот (LLLH, LLHL, и LLHH). LLLL поддиапазон по размеру составляет четверть LL поддиапазона и является его аппроксимацией. Для вейвлет-преобразования обычно используют фильтр 9/7.
Квантующее средство 423 осуществляет квантования кадра, преобразованного посредством вейвлет-преобразования. Квантование выполняют с использованием внедренного алгоритма квантования, такого как Внедренный Вейвлет с нулевыми Деревьями (EZW), Разбиение на Наборы в Иерархических Деревьях (SPIHT), Внедренное Кодирование с Нулевым Блоком (EZBC), или Внедренное Блочное Кодирование с Оптимизированным Усечением (EBCOT), обеспечивающие масштабируемость отношения сигнал-шум (SNR).
Временной фильтр 421 удаляет временную избыточность, которая существует в кадре 400 видеоизображения, с использованием смежных кадров или кадра, кодированного первым блоком 410 кодирования видеоизображения, в качестве опорного. DCT на основе блока, выполняемое перед квантованием, может вызывать блочные искажения изображения, которые ухудшают эффективность вейвлет-кодирования, выполняемого вторым блоком 420 кодирования видеоизображения. То есть кадр, содержащий блочные искажения изображения, может ухудшать эффективность вейвлет-кодирования, так как блочные искажения изображения, такие как шум, распространяются по всему кадру, когда кадр подвергается вейвлет-преобразованию.
Соответственно, видеокодер фиг.4 дополнительно содержит межуровневый фильтр 440 для устранения шума, формируемого между уровнями. Межуровневый фильтр 440 выполняет фильтрацию так, что кадр, кодированный посредством первого способа кодирования видеоизображения, соответственно, используют в качестве опорного для второго способа кодирования видеоизображения. Межуровневая фильтрация необходима, когда для каждого уровня используют различные схемы кодирования видеоизображения, как изображено в кодере видеоизображения фиг.4.
Межуровневый фильтр 440 выполняет фильтрование для кадра, кодированного посредством AVC-кодирования на основе DCT так, что он может, соответственно, использоваться в качестве опорного для вейвлет-кодирования. Для осуществления этого межуровневый фильтр субдискретизирует AVC-кодированный кадр с использованием MPEG (или другого) фильтра после повышения его дискретизации с использованием вейвлет-фильтра; однако, это просто иллюстративно. Кроме того, фильтром субдискретизации в межуровневом фильтре 440 может быть фильтр нижних частот, проявляющий большой градиент на частоте среза. Межуровневым фильтром 440 может быть любой один или несколько фильтров, разработанных так, чтобы кадр, подвергаемый межуровневой фильтрации, соответственно, мог использоваться в качестве опорного вторым блоком 420 кодирования видеоизображения.
Генератор 430 потока битов формирует поток битов, содержащий AVC-кодированный кадр 431, вэйвлет-кодированный кадр 432, вектора движения и другую необходимую информацию.
Фиг.5 изображает блок-схему видеокодера согласно второму возможному варианту осуществления настоящего изобретения.
Согласно фиг.5 видеокодер содержит первый блок 510 кодирования видеоизображения, второй блок 520 кодирования видеоизображения, генератор 530 потока битов, межуровневый фильтр 540, средство (блок) 550 повышения дискретизации и средство (блок) 560 субдискретизации. Видеокодер кодирует кадр видеоизображения и кадр видеоизображения с низким разрешением с использованием различных схем кодирования видеоизображения. В частности, средство 560 субдискретизации субдискретизирует кадр 500 видеоизображения для формирования кадра видеоизображения с низким разрешением.
Первый блок 510 кодирования видеоизображения содержит временной фильтр 511, DCT-преобразователь 512 и квантующее устройство 513 и кодирует кадр видеоизображения с низким разрешением с использованием AVC-кодирования.
Временной фильтр 511 принимает кадр видеоизображения с низким разрешением и удаляет временную избыточность, которую кадр с низким разрешением имеет со смежными кадрами с низким разрешением. Для удаления временной избыточности между кадрами с низким разрешением временной фильтр 511 использует алгоритм MCTF, который поддерживает временную масштабируемость. Для MCTF широко используют фильтр 5/3, но могут быть использованы другие алгоритмы временной фильтрации, поддерживающие временную масштабируемость, такие как UMCTF или STAR.
DCT-преобразователь 512 выполняет DCT для кадра, фильтрованного посредством временной фильтрации. DCT выполняют для каждого блока предварительно определенного размера (8·8 или 4·4). Энтропия блока, подвергшегося DCT, уменьшена по сравнению с энтропией блока перед DCT.
Квантующее средство 513 квантует DCT-преобразованный кадр. При AVC квантование определяют на основе параметра квантования (Qp). После того, как он подвергся переупорядочению и статистическому кодированию, квантованный кадр вставляют в поток битов.
Средство 550 повышения дискретизации повышает дискретизацию AVC-кодированного кадра до разрешения кадра 500.
Межуровневый фильтр 540 выполняет фильтрацию таким образом, что вариант (версия) кадра с повышенной дискретизацией может, соответственно, использоваться в качестве опорного для вейвлет-кодирования. В возможном варианте осуществления настоящего изобретения дискретизация варианта кадра с повышенной дискретизацией может быть повышена посредством вейвлет-фильтра с последующей субдискретизацией с использованием MPEG-фильтра; однако, это просто иллюстративно. Кроме того, субдискретизирующим фильтром в межуровневом фильтре 540 может быть фильтр нижних частот, имеющий большой градиент на частоте среза. Межуровневым фильтром 540 может быть любой один или несколько фильтров, разработанных так, чтобы кадр, подвергшийся межуровневой фильтрации, соответственно, мог использоваться в качестве опорного вторым блоком 520 кодирования видеоизображения.
Второй блок 520 кодирования видеоизображения содержит временной фильтр 521, вейвлет-преобразователь 522 и квантующее средство 523, и он кодирует кадр видеоизображения с использованием вейвлет-кодирования.
Временной фильтр 521 принимает кадр 500 видеоизображения и удаляет временную избыточность, которую кадр 500 видеоизображения имеет со смежными кадрами. В возможном варианте осуществления настоящего изобретения для удаления временной избыточности между кадрами с низким разрешением временной фильтр 521 использует алгоритм MCTF. Алгоритм MCTF, поддерживающий временную масштабируемость, удаляет временную избыточность между смежными кадрами с низким разрешением. Могут быть использованы другие алгоритмы временной фильтрации, поддерживающие временную масштабируемость, такие как UMCTF или STAR.
Вейвлет-преобразователь 522 выполняет вейвлет-преобразование в отношении кадра, фильтрованного посредством временного фильтрования. В отличие от DCT-преобразования, которое выполняют в единицах блоков, вейвлет-преобразование выполняют в единицах кадров. Алгоритм вейвлет-преобразования, поддерживающий пространственную масштабируемость, разлагает кадр на один поддиапазон низких частот (LL) и три поддиапазона высоких частот (LH, HL и HH). LL-поддиапазон составляет четверть размера исходного кадра до того, как он подвергся вейвлет-преобразованию, и является его аппроксимацией. Вновь выполняют вейвлет-преобразование для разложения LL-поддиапазона на один поддиапазон низких частот (LLLL) и три поддиапазона высоких частот (LLLH, LLHL, и LLHH). LLLL поддиапазон составляет четверть размера LL поддиапазона и является его аппроксимацией. Для вейвлет-преобразования обычно используют фильтр 9/7.
Квантующее средство 523 осуществляет квантование кадра, преобразованного посредством вейвлет-преобразования. Квантованием может быть внедренный алгоритм квантования, который обеспечивает масштабируемость SNR, такой как EZW, SPIHT, EZBC или EBCOT.
Временной фильтр 521 удаляет временную избыточность, которая существует в кадре 500 видеоизображения, с использованием смежных кадров или кадра, кодированного первым блоком 510 кодирования видеоизображения, в качестве опорного. Перед передачей во временной фильтр 521 кадр, кодированный первым блоком кодирования видеоизображения, подвергают повышению дискретизации и межуровневой фильтрации.
Генератор 530 потока битов формирует поток битов, содержащий AVC-кодированный кадр 531, вейвлет-кодированный кадр 532, векторы движения и другую необходимую информацию.
Со ссылками на фиг.6 более подробно описан временной фильтр.
Фиг.6 - блочная диаграмма временного фильтра 600, согласно возможному варианту осуществления настоящего изобретения.
Хотя на фиг.4 и фиг.5 изображено, что первый и второй блоки 410 (510) и 420 (520) кодирования видеоизображения содержат временные фильтры 411 (511) и 421 (521), соответственно, для удобства объяснения в возможном варианте осуществления предполагается, что временной фильтр 600 используют во втором блоке 420 кодирования видеоизображения.
Временной фильтр 600 удаляет временную избыточность между кадрами видеоизображения с использованием MCTF на основе принципа группа-за-группой для групп изображения (GOP, ГРИ). Для выполнения этой функции временной фильтр 600 содержит генератор 610 кадров предсказания для формирования кадра предсказания, сглаживающий фильтр 620 кадров предсказания для сглаживания кадра предсказания, генератор 630 остаточных кадров для формирования остаточного кадра посредством сравнения сглаженного кадра предсказания с кадром видеоизображения, и средство 640 обновления для обновления кадра видеоизображения с использованием остаточного кадра.
Генератор 610 кадров предсказания формирует кадр предсказания, который должен сравниваться с кадром видеоизображения для формирования остаточного кадра, с использованием кадров видеоизображения, смежных с кадром видеоизображения, и кадра, подвергшегося межуровневой фильтрации, в качестве опорного. Генератор 610 кадров предсказания обнаруживает совпадающий блок для каждого блока в кадре видеоизображения внутри опорных кадров (смежных кадров видеоизображения и кадра, подвергшегося межуровневой фильтрации) (интер-кодирование) или внутри другого блока в кадре видеоизображения (интра-кодирование).
Сглаживающий фильтр 620 кадров предсказания сглаживает кадр предсказания, так как в кадре предсказания, созданном из блоков, соответствующих блокам в кадре видеоизображения, по границам блока вносятся блочные искажения изображения (артефакты). Для выполнения этого сглаживающий фильтр 620 кадров предсказания может выполнять разделение блоков на пиксели на разделения блоков по границам блоков в кадре предсказания. Так как алгоритм разделения хорошо известен в схеме кодирования видеоизображения H.264, то его подробное описание приведено не будет.
Генератор 630 остаточных кадров сравнивает сглаженный кадр предсказания с кадром видеоизображения и формирует остаточный кадр, в котором удалена временная избыточность.
Средство 640 обновления использует остаточный кадр для обновления других кадров видеоизображения. Затем обновленные кадры видеоизображения выдают на генератор 610 кадров предсказания.
Например, когда каждая GOP состоит из восьми кадров видеоизображения, временной фильтр 600 удаляет временную избыточность в кадрах 1, 3, 5 и 7 для формирования остаточных кадров 1, 3, 5 и 7, соответственно. Остаточные кадры 1, 3, 5 и 7 используют для обновления кадров 0, 2, 4 и 6. Временной фильтр 600 удаляет временную избыточность из обновленных кадров 2 и 6 для формирования остаточных кадров 2 и 6. Остаточные кадры 2 и 6 используют для обновления кадров 0 и 4. Затем временной фильтр 600 удаляет временную избыточность в обновленном кадре 4 для формирования остаточного кадра 4. Остаточный кадр 4 используют для обновления кадра 0. Посредством процесса, описанного выше, временной фильтр 600 выполняет временную фильтрацию восьми кадров видеоизображения для получения одного кадра низкой частоты (обновленный кадр 0) и семи кадров высокой частоты (остаточные кадры с 1 по 7).
Со ссылками на фиг.7 и фиг.8 описаны процесс кодирования видеоизображения и временная фильтрация. Предполагается, что кодирование видеоизображения выполняют на двух уровнях.
Сначала, согласно фиг.7, на этапе S710 видеокодер принимает кадр видеоизображения.
На этапе S720 видеокодер кодирует входной кадр видеоизображения с использованием AVC-кодирования. В приведенном возможном варианте осуществления первый уровень кодируют с использованием AVC-кодирования, так как AVC-кодирование обеспечивает наиболее высокую эффективность кодирования, доступную в настоящее время. Однако, первый уровень может быть кодирован с использованием другого алгоритма кодирования видеоизображения.
После кодирования первого уровня на этапе S730 видеокодер выполняет межуровневую фильтрацию для AVC-кодированного кадра так, чтобы он мог, соответственно, использоваться в качестве опорного для кодирования второго уровня. Межуровневая фильтрации включает в себя повышение дискретизации AVC-кодированного кадра с использованием вейвлет-фильтра и субдискретизацию варианта AVC-кодированного кадра с повышенной дискретизацией с использованием MPEG-фильтра.
После завершения межуровневой фильтрации на этапе S740 видеокодер выполняет вейвлет-кодирование кадра видеоизображения с использованием в качестве опорного кадра, подвергшегося межуровневой фильтрации. После завершения вейвлет-кодирования на этапе S750 видеокодер формирует поток битов, содержащий AVC-кодированный кадр и вейвлет-кодированный кадр. Когда первый и второй уровни имеют различные разрешения, видеокодер использует кадр с низким разрешением, полученный посредством субдискретизации входного кадра видеоизображения при AVC-кодировании. После завершения AVC-кодирования видеокодер изменяет разрешение AVC-кодированного кадра. Например, когда разрешение первого уровня ниже разрешения второго уровня, видеокодер повышает дискретизацию AVC-кодированного кадра до разрешения второго уровня. Затем видеокодер выполняет межуровневую фильтрацию варианта (экземпляра) AVC-кодированного кадра с повышенной дискретизацией.
Фиг.8 является блок-схемой, иллюстрирующей подробно процесс кодирования второго уровня согласно возможному варианту осуществления настоящего изобретения.
Согласно фиг.8 на этапе S810 второй блок кодирования видеоизображения принимает кодированный на первом уровне кадр видеоизображения, который был подвергнут межуровневой фильтрации.
На этапе S820 после приема кадра видеоизображения и кадра, подвергнутого межуровневой фильтрации, второй блок кодирования видеоизображения выполняет оценку движения для формирования кадра предсказания, который должен использоваться при удалении временной избыточности в кадре видеоизображения. Для оценки движения могут использоваться различные известные алгоритмы, такие как Согласование Блока и Иерархическое Согласование Блока Переменного Размера (HVSBM, ИСБПР).
На этапе S830 после выполнения оценки движения второй блок кодирования видеоизображения использует векторы движения, полученные в результате оценки движения, для формирования кадра предсказания.
На этапе S840 второй блок кодирования видеоизображения осуществляет сглаживание кадра предсказания для уменьшения блочных искажений изображения в остаточном кадре. Это происходит из-за того, что очевидная граница блока ухудшает эффективность кодирования при вейвлет-преобразовании и квантовании.
На этапе S850 второй блок кодирования видеоизображения осуществляет сравнение кадра предсказания с кадром видеоизображения для формирования остаточного кадра. Остаточный кадр соответствует кадру высокой частоты (H-кадру), сформированному посредством MCTF.
На этапе S860 временной фильтр использует остаточный кадр для обновления другого кадра видеоизображения. Обновленный вариант кадра видеоизображения соответствует кадру низкой частоты (L-кадру).
После формирования L-кадра и H-кадра на основе GOP на этапах с S820 по S860 второй блок кодирования видеоизображения на этапе S870 выполняет вейвлет-преобразование кадров, фильтрованных посредством временного фильтрования (L и H кадрах). Хотя обычно для вейвлет-преобразования используют фильтр 9/7, может быть также использован фильтр 11/9 или 13/11.
На этапе S880 второй блок кодирования видеоизображения осуществляет квантование кадров, преобразованных посредством вейвлет-преобразования, с использованием EZW, SPIHT, EZBC или EBCOT.
Ниже описаны видеодекодер и процесс декодирования. Хотя процесс декодирования, в основном, выполняют в обратном порядке относительно процесса кодирования, уровни кодируют и декодируют в одинаковом порядке. Например, когда видеокодер последовательно кодирует первый и второй уровни, видеодекодер декодируют первый и второй уровни в том же порядке. Для удобства объяснения предполагается, что кадр видеоизображения восстанавливают из потока битов, имеющего два уровня.
Фиг.9 - блок-схема видеодекодера согласно первому возможному варианту осуществления настоящего изобретения, используемого, когда первый и второй уровни имеют одинаковое разрешение.
Согласно фиг.9, видеодекодер содержит интерпретатор 900 потока битов, первый блок 910 декодирования видеоизображения, второй блок 920 декодирования видеоизображения и межуровневый фильтр 940.
Интерпретатор 900 потока битов интерпретирует входной поток битов и извлекает кадры, кодированные посредством первого кодирования видеоизображения, и кадры, кодированные посредством второго кодирования видеоизображения. Затем кадры, кодированные посредством первого кодирования видеоизображения, выдают на первый блок 910 декодирования видеоизображения, в то время как кадры, кодированные посредством второго кодирования видеоизображения, подают на второй блок 920 декодирования видеоизображения.
Первый блок 910 декодирования видеоизображения содержит средство (блок) 911 обратного квантования, обратный DCT-преобразователь 912 и обратный временной фильтр 913. Средство 911 обратного квантования осуществляет квантование кадров, кодированных посредством первого кодирования видеоизображения. Обратное квантование может включать в себя статистическое декодирование, обратное сканирование и процесс восстановления кадров, преобразованных посредством DCT-преобразования, с использованием таблицы квантования.
Обратный DCT-преобразователь 912 выполняет обратное DCT-преобразование кадров, подвергшихся обратному квантованию.
Обратный временной фильтр 913 восстанавливает кадры видеоизображения первого уровня из кадров, подвергшихся обратному DCT-преобразованию, и выводит декодированный кадр (931). Восстановленные кадры видеоизображения первого уровня получают посредством кодирования исходных кадров видеоизображения на низкой скорости передачи битов и декодирования кодированных кадров.
Межуровневый фильтр 940 выполняет межуровневую фильтрацию в отношении восстановленного кадра первого уровня. Межуровневая фильтрация может быть выполнена с использованием алгоритма разделения блоков.
Второй блок 920 декодирования видеоизображения содержит устройство 921 обратного квантования, обратный вейвлет-преобразователь 922 и обратный временной фильтр 923.
Средство 921 обратного квантования применяет обратное квантование к кадрам, кодированным посредством второго кодирования видеоизображения. Обратное квантование может включать в себя статистическое декодирование, обратное сканирование и процесс восстановления вейвлет-преобразованных кадров с использованием таблицы квантования.
Обратный вейвлет-преобразователь 922 выполняет обратное вейвлет-преобразование в отношении кадров, подвергнутых обратному квантованию.
Обратный временной фильтр 923 восстанавливает кадры видеоизображения второго уровня из кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием в качестве опорного кадров, подвергнутых межуровневой фильтрации, и выводит декодированный кадр (932). Восстановленные кадры видеоизображения второго уровня получают посредством кодирования исходных кадров видеоизображения на высокой скорости передачи битов и декодирования кодированных кадров.
Фиг.10 - блок-схема видеодекодера, согласно второму возможному варианту осуществления настоящего изобретения, используемого, когда первый уровень имеет более низкое разрешение, чем второй уровень. Согласно фиг.10, видеодекодер содержит интерпретатор 1000 потока битов, первый блок 1010 декодирования видеоизображения, второй блок 1020 декодирования видеоизображения, межуровневый фильтр 1040, средство (блок) 1050 повышения дискретизации.
Интерпретатор 1000 потока битов интерпретирует входной поток битов и извлекает кадры, кодированные посредством первого кодирования видеоизображения, и кадры, кодированные посредством второго кодирования видеоизображения. Кадры, кодированные посредством первого кодирования видеоизображения, имеют более низкое разрешение, чем кадры, кодированные посредством второго кодирования видеоизображения. Затем первые подают на первый блок 1010 декодирования видеоизображения, в то время как последние подают на второй блок 1020 декодирования видеоизображения.
Первый блок 1010 декодирования видеоизображения содержит устройство 1011 обратного квантования, обратный DCT-преобразователь 1012 и обратный временной фильтр 1013.
Средство (блок) 1011 обратного квантование осуществляет обратное квантование кадров, кодированных посредством первого кодирования видеоизображения. Обратное квантование может включать в себя статистическое декодирование, обратное сканирование и процесс восстановления кадров, преобразованных посредством DCT-преобразования, с использованием таблицы квантования.
Обратный DCT-преобразователь 1012 выполняет обратное DCT-преобразование кадров, подвергнутых обратному квантованию.
Обратный временной фильтр 1013 восстанавливает кадры видеоизображения первого уровня из кадров, преобразованных посредством обратного DCT-преобразования, и выводит декодированный кадр (1031). Восстановленный кадр видеоизображения первого уровня получают посредством субдискретизации и кодирования исходного кадра видеоизображения и декодирования кодированного кадра.
Средство 1050 повышения дискретизации повышает дискретизацию кадра первого уровня до разрешения восстановленного кадра второго уровня.
Межуровневый фильтр 1040 выполняет межуровневую фильтрацию для варианта кадра первого уровня с повышенной дискретизацией. Межуровневая фильтрация может быть выполнена с использованием алгоритма разделения блоков.
Второй блок 1020 декодирования видеоизображения содержит устройство 1021 обратного квантования, обратный вейвлет-преобразователь 1022 и обратный временной фильтр 1023.
Средство 1021 обратного квантования осуществляет обратное квантование кадров, кодированных посредством второго кодирования видеоизображения. Обратное квантование может включать в себя статистическое декодирование, обратное сканирование и процесс восстановления кадров, преобразованных посредством вейвлет-преобразования, с использованием таблицы квантования.
Обратный вейвлет-преобразователь 1022 выполняет обратное вейвлет-преобразование в отношении кадров, подвергнутых обратному квантованию.
Обратный временной фильтр 1023 восстанавливает кадры видеоизображения второго уровня из кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием в качестве опорного кадров, которые были подвергнуты межуровневой фильтрации, и выводит декодированный кадр (1032). Восстановленные кадры видеоизображения второго уровня получают посредством кодирования исходных кадров видеоизображения и декодирования кодированных кадров.
Фиг.11 - блочная диаграмма обратного временного фильтра 1100 согласно примерному варианту осуществления настоящего изобретения.
Хотя на фиг.9 и фиг.10 изображено, что первый и второй блоки 910 (1010) и 920 (1020) декодирования видеоизображения содержат обратные (инверсные) временные фильтры 913 (1013) и 923 (1023), соответственно, для удобства объяснения в примерном варианте осуществления предполагается, что временной фильтр 1100 используют во втором блоке 920 декодирования видеоизображения, изображенном на фиг.9.
Обратный временной фильтр 1100 восстанавливает кадры видеоизображения из кадров, преобразованных посредством обратного вейвлет-преобразования, на основе группа-за-группой изображения (GOP) с использованием MCTF. Кадры, преобразованные посредством обратного вейвлет-преобразования, которые подают в обратный временной фильтр 1100, состоят из кадров низкой частоты и высокой частоты, в которых при кодировании видеоизображения была удалена временная избыточность. Например, когда каждая GOP создана из восьми кадров, кадры, преобразованные посредством обратного вейвлет-преобразования, могут содержать один кадр низкой частоты (обновленный кадр 0) и семь кадров высокой частоты (остаточные кадры с 1 по 7), полученных в результате кодирования видеоизображения.
Для выполнения этой функции обратный временной фильтр 1100 содержит средство 1110 обратного обновления, генератор 1120 кадров предсказания, сглаживающий фильтр 1130 кадров предсказания и средство 1140 восстановления кадров.
Средство 1110 обратного обновления обновляет кадры, преобразованные посредством обратного вейвлет-преобразования, в порядке, обратном тому, который используют при кодировании видеоизображения.
Генератор 1120 кадров предсказания формирует кадр предсказания, который должен использоваться при восстановлении кадра низкой частоты или кадра видеоизображения из остаточного кадра, с использованием кадра, фильтрованного посредством межуровневой фильтрации.
Сглаживающий фильтр 1130 кадров предсказания осуществляет сглаживание кадра предсказания.
Средство 1140 восстановления кадров восстанавливает кадр низкой частоты или кадр видеоизображения из кадра высокой частоты с использованием сглаженного кадра предсказания.
Например, когда каждая GOP создана из восьми кадров видеоизображения, обратный временной фильтр 1100 использует остаточный кадр 4 и кадр 0, фильтрованные посредством межуровневой фильтрации, для обратного обновления кадра низкой частоты 0.
Затем кадр низкой частоты 0 используют для формирования кадра предсказания для остаточного кадра 4, и кадр предсказания используют для получения кадра низкой частоты 4 из остаточного кадра 4.
Затем обратный временной фильтр 1100 использует остаточные кадры 2 и 6 и кадры 0 и 4, фильтрованные посредством межуровневой фильтрации, для обратного обновления кадров низкой частоты 0 и 4, и затем использует кадры низкой частоты 0 и 4 и кадры 2 и 6, фильтрованные посредством межуровневой фильтрации, для формирования кадров предсказания для остаточных кадров 2 и 6. Затем кадры предсказания используют для получения кадров низкой частоты 2 и 6 из остаточных кадров 2 и 6.
Затем временной фильтр 1100 использует остаточные кадры 1, 3, 5 и 7 и кадры 0, 2, 4 и 6, фильтрованные посредством межуровневой фильтрации, для обратного обновления кадров низкой частоты 0, 2, 4 и 6, вследствие этого восстанавливая кадры видеоизображения 0, 2, 4 и 6.
В заключение, обратный временной фильтр 1100 использует восстановленные кадры 0, 2, 4 и 6 и кадры 1, 3, 5 и 7, фильтрованные посредством межуровневой фильтрации, для формирования кадров предсказания для остаточных кадров 1, 3, 5 и 7. Затем кадры предсказания используют для восстановления кадров видеоизображения 1, 3, 5 и 7.
В приведенном выше описании каждым компонентом является, например, программный или аппаратный компонент, такой как программируемая пользователем вентильная матрица (FPGA, ППВМ) или специализированная интегральная схема (ASIC, СИС), который выполняет некоторые задачи. Предпочтительно, компонент может быть сконфигурирован для постоянного размещения на адресуемом носителе информации и сконфигурирован для выполнения на одном или большем количестве процессоров. Соответственно, компонент может содержать, например, программные компоненты, компоненты объектно-ориентированного программного обеспечения, компоненты класса и компоненты задачи, процессы, функции, параметры, процедуры, подпрограммы, фрагменты кода программы, драйверы, программно-аппаратные средства, микропрограмму, схемы данных, базы данных, структуры данных, таблицы, массивы и переменные. Функциональные возможности, обеспеченные в компонентах и модулях, могут быть объединены в меньшее количество компонентов и модулей или дополнительно разделены на дополнительные компоненты и модули. Дополнительно, компоненты и модули могут быть реализованы так, чтобы они могли выполняться на одном или большем количестве компьютеров в системе связи.
Ниже со ссылками на фиг.12 и фиг.13 описан процесс декодирования видеоизображения.
Фиг.12 иллюстрирует блок-схему, иллюстрирующую процесс декодирования видеоизображения, согласно примерному варианту осуществления настоящего изобретения.
На этапе S1210 видеодекодер принимает поток битов и извлекает кадры, кодированные посредством первого кодирования видеоизображения, и кадры, кодированные посредством второго кодирования видеоизображения. Например, первой и второй схемами кодирования видеоизображения могут быть AVC-кодирование и вейвлет-кодирование, соответственно.
На этапе S1220 видеодекодер выполняет AVC-декодирование извлеченных AVC-кодированных кадров.
На этапе S1230 видеодекодер выполняет межуровневую фильтрацию кадров, декодированных посредством AVC-декодирования.
На этапе S1240 видеодекодер выполняет вейвлет-декодирование вейвлет-кодированных кадров, обращаясь к кадрам, фильтрованным посредством межуровневой фильтрации.
На этапе S1250 после завершения вейвлет-кодирования видеодекодер использует восстановленные кадры видеоизображения для формирования видеосигнала. То есть, видеодекодер преобразовывает яркость (Y) и составляющие цветности (UV) восстановленного пикселя в составляющие цветности красный (R), зеленый (G) и синий (B).
Фиг.13 - блок-схема, иллюстрирующая подробно процесс выполнения обратной временной фильтрации на втором уровне, согласно примерному варианту осуществления настоящего изобретения.
Согласно фиг.13, на этапе S1310 обратный временной фильтр принимает кадры, преобразованные посредством обратного вейвлет-преобразования, и кадры, фильтрованные посредством межуровневой фильтрации. Кадры, преобразованные посредством обратного вейвлет-преобразования, восстанавливают на основе GOP и они состоят из кадров низкой частоты и высокой частоты.
На этапе S1320 обратный временной фильтр использует кадр высокой частоты из кадров, преобразованных посредством обратного вейвлет-преобразования, и кадр, фильтрованный посредством межуровневой фильтрации, для обратного обновления кадра низкой частоты.
На этапе S1330 обратный временной фильтр использует кадр низкой частоты, подвергнутый обратному обновлению, и кадр, фильтрованный посредством межуровневой фильтрации, для формирования кадра предсказания.
На этапе S1340 обратный временной фильтр осуществляет сглаживание кадра предсказания.
На этапе S1350 после завершения сглаживания кадра предсказания обратный временной фильтр использует сглаженный кадр предсказания и кадр высокой частоты для восстановления кадра низкой частоты или кадра видеоизображения.
Промышленная применимость
Настоящее изобретение обеспечивает способы многоуровневого кодирования и декодирования видеоизображения с применением нескольких алгоритмов кодирования видеоизображения, которые могут улучшить эффективность кодирования с использованием межуровневой фильтрации.
В частности, настоящее изобретение может предотвратить ухудшение эффективности кодирования, которое может возникать при совместном использовании схемы кодирования видеоизображения с алгоритмом преобразования на основе блоков и схемы кодирования видеоизображения с алгоритмом преобразования на основе кадров.
Хотя настоящее изобретение, в частности, было изображено и описано в отношении его возможных вариантов осуществления, для специалиста очевидно, что, не удаляясь от сути и не выходя из объема настоящего изобретения, которые определены последующей формулой изобретения, могут быть внесены изменения в его вид и детали. Например, хотя был описан видеокодер, в котором применяют способ AVC-кодирования и способ вейвлет-кодирования, в видеокодере могут быть применены другие способы кодирования. Следовательно, раскрытые возможные варианты осуществления изобретения используются исключительно в обобщенном и описательном смысле, а не в целях наложения ограничений.

Claims (44)

1. Способ кодирования видеоизображения, содержащий этапы: кодирование кадров видеоизображения с использованием первой схемы кодирования видеоизображения, выполнение межуровневой фильтрации в отношении кадров, кодированных посредством первой схемы кодирования видеоизображения, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, подвергнутым межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.
2. Способ кодирования видеоизображения по п.1, в котором первой схемой кодирования видеоизображения является схема кодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования видеоизображения является схема вейвлет-кодирования.
3. Способ кодирования видеоизображения по п.2, в котором межуровневая фильтрация включает повышение дискретизации AVC-кодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра.
4. Способ кодирования видеоизображения по п.1, в котором кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения содержит этапы: выполнение Компенсирующей движение временной фильтрации (MCTF) в отношении кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, выполнение вейвлет-преобразования в отношении кадров, фильтрованных посредством временной фильтрации, и квантование вейвлет-преобразованных кадров.
5. Способ кодирования видеоизображения по п.4, в котором выполнение MCTF содержит: формирование кадров предсказания для кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, сглаживание кадров предсказания, формирование остаточных кадров для кадров видеоизображения с использованием сглаженных кадров предсказания, и обновление кадров видеоизображения с использованием остаточных кадров.
6. Способ кодирования видеоизображения, содержащий этапы: субдискретизации кадров видеоизображения для формирования кадров видеоизображения с низким разрешением, кодирования кадров видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, повышения дискретизации кадров, кодированных посредством первой схемы кодирования видеоизображения, до разрешения кадров видеоизображения, выполнения межуровневой фильтрации в отношении кадров с повышенной дискретизацией, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, подвергнутым межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.
7. Способ кодирования видеоизображения по п.6, в котором первой схемой кодирования видеоизображения является схема кодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования видеоизображения является схема вейвлет-кодирования.
8. Способ кодирования видеоизображения по п.7, в котором межуровневая фильтрация включает повышение дискретизации AVC-кодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадра с повышенной дискретизацией с использованием MPEG-фильтра.
9. Способ кодирования видеоизображения по п.6, в котором кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения содержит выполнение Компенсирующей движение временной фильтрации (MCTF) в отношении кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, выполнение вейвлет-преобразования в отношении кадров, фильтрованных посредством временной фильтрации, и квантование вейвлет-преобразованных кадров.
10. Способ кодирования видеоизображения по п.9, в котором выполнение MCTF содержит формирование кадров предсказания для кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, сглаживание кадров предсказания, формирование остаточных кадров для кадров видеоизображения с использованием сглаженных кадров предсказания, и обновление кадров видеоизображения с использованием остаточных кадров.
11. Видеокодер, содержащий первый блок кодирования видеоизображения, который кодирует кадры видеоизображения с использованием первой схемы кодирования видеоизображения, межуровневый фильтр, который выполняет межуровневую фильтрацию в отношении кадров, кодированных посредством первой схемы кодирования видеоизображения, второй блок кодирования видеоизображения, который кодирует кадры видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, и генератор потока битов, который формирует поток битов, содержащий кадры, кодированные посредством первой и второй схем кодирования видеоизображения.
12. Видеокодер по п.11, в котором первой схемой кодирования видеоизображения является схема кодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования видеоизображения является схема вейвлет-кодирования.
13. Видеокодер по п.12, в котором межуровневая фильтрация включает в себя повышение дискретизации AVC-кодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра.
14. Видеокодер по п.11, в котором второй блок кодирования видеоизображения содержит временной фильтр, который выполняет Компенсирующую движение временную фильтрацию (MCTF) в отношении кадров видеоизображения посредством обращения к кадрам, фильтрованных посредством межуровневой фильтрации, вейвлет-преобразователь, который выполняет вейвлет-преобразование в отношении кадров, фильтрованных посредством временной фильтрации, и квантующее устройство, которое квантует вейвлет-преобразованные кадры.
15. Видеокодер по п.14, в котором временной фильтр содержит генератор кадров предсказания, который формирует кадры предсказания для кадров видеоизображения посредством обращения к кадрам, фильтрованных посредством межуровневой фильтрации, сглаживающий фильтр кадров предсказания, который сглаживает кадры предсказания, генератор остаточных кадров, который формирует остаточные кадры для кадров видеоизображения с использованием сглаженных кадров предсказания, и средство обновления, которое обновляет кадры видеоизображения с использованием остаточных кадров.
16. Видеокодер, содержащий устройство субдискретизации, которое субдискретизирует кадры видеоизображения для формирования кадров видеоизображения с низким разрешением, первый блок кодирования видеоизображения, который кодирует кадры видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, средство повышения дискретизации, которое повышает дискретизацию кадров, кодированных посредством первой схемы кодирования видеоизображения, межуровневый фильтр, который выполняет межуровневую фильтрацию в отношении кадров с повышенной дискретизацией, второй блок кодирования видеоизображения, который кодирует кадры видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, и генератор потока битов, который формирует поток битов, содержащий кадры, кодированные посредством первой и второй схем кодирования видеоизображения.
17. Видеокодер по п.16, в котором первой схемой кодирования видеоизображения является схема кодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования видеоизображения является схема вейвлет-кодирования.
18. Видеокодер по п.17, в котором межуровневая фильтрация включает в себя повышение дискретизации AVC-кодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра.
19. Видеокодер по п.16, в котором второй блок кодирования видеоизображения содержит временной фильтр, который выполняет Компенсирующую движение временную фильтрацию (MCTF) в отношении кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, вейвлет-преобразователь, который выполняет вейвлет-преобрззование в отношении кадров, фильтрованных посредством временной фильтрации, и квантующее средство, которое квантует вейвлет-преобразованные кадры.
20. Видеокодер по п.19, в котором временной фильтр содержит генератор кадров предсказания, который формирует кадры предсказания для кадров видеоизображения посредством обращения к кадрам, фильтрованным посредством межуровневой фильтрации, сглаживающий фильтр кадров предсказания, который сглаживает кадры предсказания, генератор остаточных кадров, который формирует остаточные кадры для кадров видеоизображения с использованием сглаженных кадров предсказания, и средство обновления, которое обновляет кадры видеоизображения с использованием остаточных кадров.
21. Способ декодирования видеоизображения, содержащий этапы извлечения кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирования кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановление кадров первого уровня, выполнения межуровневой фильтрации в отношении восстановленных кадров первого уровня, и декодирования кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, и восстановление кадров второго уровня.
22. Способ декодирования видеоизображения по п.21, в котором первой схемой кодирования и декодирования видеоизображения является схема Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования и декодирования видеоизображения является схема вейвлет.
23. Способ декодирования видеоизображения по п.22, в котором межуровневая фильтрация включает в себя повышение дискретизации AVC-декодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра.
24. Способ декодирования видеоизображения по п.21, в котором декодирование кадров с использованием второй схемы декодирования видеоизображения содержит обратное квантование кадров, кодированных посредством второй схемы кодирования видеоизображения, выполнение обратного вейвлет-преобразования в отношении кадров, подвергнутых обратному квантованию, и выполнение обратной временной фильтрации в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием Компенсирующей движение временной фильтрации (MCTF) посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации.
25. Способ декодирования видеоизображения по п.24, в котором выполнение обратной временной фильтрации в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием MCTF включает: обратное обновление кадров, преобразованных посредством обратного вейвлет-преобразования, формирование кадров предсказания посредством обращения к кадрам, подвергнутым обратному обновлению, и кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, сглаживание кадров предсказания, и восстановление кадров второго уровня посредством обращения к кадрам, подвергнутых обратному обновлению, и сглаженным кадрам предсказания.
26. Способ декодирования видеоизображения, содержащий этапы извлечения кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирования кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения, и восстановление кадров первого уровня, повышения дискретизации восстановленных кадров первого уровня, выполнения межуровневой фильтрации в отношении кадров с повышенной дискретизацией первого уровня, и декодирования кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством промежуточной фильтрации, и восстановление кадров второго уровня.
27. Способ декодирования видеоизображения по п.26, в котором первой схемой кодирования и декодирования видеоизображения является схема Усовершенствованного Кодирования Видеоизображения (AVC), и второй схемой кодирования и декодирование видеоизображения является схема вейвлет.
28. Способ декодирования видеоизображения по п.27, в котором межуровневая фильтрация включает повышение дискретизации AVC-декодированных кадров с использованием вейвлет-фильтра и субдискретизацию кадров с повышенной дискретизацией с использованием MPEG-фильтра.
29. Способ декодирования видеоизображения по п.26, в котором декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, содержит обратное квантование кадров, кодированных посредством второй схемы кодирования видеоизображения, выполнение обратного вейвлет-преобразования в отношении кадров, подвергнутых обратному квантованию, и выполнение обратной временной фильтрации в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием Компенсирующей движение временной фильтрации (MCTF) посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации.
30. Способ декодирования видеоизображения по п.29, в котором выполнение обратной временной фильтрации в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, с использованием MCTF содержит обратное обновление кадров, преобразованных посредством обратного вейвлет-преобразования, формирование кадров предсказания посредством обращения к кадрам, подвергнутым обратному обновлению, и кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, сглаживание кадров предсказания, и восстановление кадров второго уровня посредством обращения к кадрам, подвергнутым обратному обновлению, и сглаженным кадрам предсказания.
31. Видеодекодер, содержащий интерпретатор потока битов, который извлекает из потока битов кадры, кодированные посредством первой и второй схем кодирования видеоизображения, первый блок декодирования видеоизображения, который декодирует кадры, кодированные посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения, и восстанавливает кадры первого уровня, межуровневый фильтр, который выполняет межуровневую фильтрацию в отношении восстановленных кадров первого уровня, и второй блок декодирования видеоизображения, который декодирует кадры, кодированные посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, и восстанавливает кадры второго уровня.
32. Видеодекодер по п.31, в котором первый блок декодирования восстанавливает кадры первого уровня с использованием схемы декодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй блок декодирования восстанавливает кадры второго уровня с использованием схемы вейвлет-декодирования.
33. Видеодекодер по п.32, в котором межуровневый фильтр повышает дискретизацию кадров, декодированных посредством схемы AVC-декодирования, с использованием вейвлет-фильтра и субдискретизирует кадры с повышенной дискретизацией с использованием MPEG-фильтра.
34. Видеодекодер по п.31, в котором второй видеодекодер содержит средство обратного квантования, которое осуществляет обратное квантование кадров, кодированных посредством второй схемы кодирования видеоизображения, блок обратного вейвлет-преобразования, который выполняет обратное вейвлет-преобразование в отношении кадров, подвергнутых обратному квантованию, и блок обратной временной фильтрации, который выполняет обратную временную фильтрацию в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, с использованием Компенсирующей движение временной фильтрации (MCTF).
35. Видеодекодер по п.34, в котором блок обратной временной фильтрации содержит средство обратного обновления, которое осуществляет обратное обновление кадров, преобразованных посредством обратного вейвлет-преобразования, генератор кадров предсказания, который формирует кадры предсказания посредством обращения к кадрам, подвергнутым обратному обновлению, и кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, сглаживающий фильтр кадров предсказания, который сглаживает кадры предсказания, и средство восстановления кадров, которое восстанавливает кадры второго уровня посредством обращения к кадрам, подвергнутым обратному обновлению, и сглаженным кадрам предсказания.
36. Видеодекодер, содержащий интерпретатор потока битов, который извлекает из потока битов кадры, кодированные посредством первой и второй схем кодирования видеоизображения, первый блок декодирования видеоизображения, который декодирует кадры, кодированные посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстанавливает кадры первого уровня, средство повышения дискретизации, которое повышает дискретизацию восстановленных кадров первого уровня, межуровневый фильтр, который выполняет межуровневую фильтрацию в отношении кадров с повышенной дискретизацией первого уровня, и второй блок декодирования видеоизображения, который декодирует кадры, кодированные посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, и восстанавливает кадры второго уровня.
37. Видеодекодер по п.36, в котором первый блок декодирования восстанавливает кадры первого уровня с использованием схемы декодирования Усовершенствованного Кодирования Видеоизображения (AVC), и второй блок декодирования восстанавливает кадры второго уровня с использованием схемы вейвлет-декодирования.
38. Видеодекодер по п.37, в котором межуровневый фильтр повышает дискретизацию кадров первого уровня, подвергаемых повышению дискретизации, с использованием вейвлет-фильтра и субдискретизирует кадры с повышенной дискретизацией с использованием MPEG-фильтра.
39. Видеодекодер по п.36, в котором второй видеодекодер содержит средство обратного квантования, которое осуществляет обратное квантование кадров, кодированных посредством второй схемы кодирования видеоизображения, блок обратного вейвлет-преобразования, который выполняет обратное вейвлет-преобразование в отношении кадров, подвергнутых обратному квантованию, и блок обратной временной фильтрации, который выполняет обратную временную фильтрацию в отношении кадров, преобразованных посредством обратного вейвлет-преобразования, посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, с использованием Компенсирующей движение временной фильтрации (MCTF).
40. Видеодекодер по п.39, в котором блок обратной временной фильтрации содержит средство обратного обновления, которое осуществляет обратное обновление кадров, преобразованных посредством обратного вейвлет-преобразования, генератор кадров предсказания, который формирует кадры предсказания посредством обращения к кадрам, подвергнутым обратному обновлению, и кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, сглаживающий фильтр кадров предсказания, который сглаживает кадры предсказания, и средство восстановления кадров, которое восстанавливает кадры второго уровня посредством обращения к кадрам, подвергнутым обратному обновлению, и сглаженным кадрам предсказания.
41. Носитель информации, содержащий записанную на нем программу, считываемую компьютером, программа предназначена для выполнения способа кодирования видеоизображения, содержащего этапы: кодирование кадров видеоизображения с использованием первой схемы кодирования видеоизображения, выполнение межуровневой фильтрации в отношении кадров, кодированных посредством первой схемы кодирования видеоизображения, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, подвергнутым межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.
42. Носитель информации, содержащий записанную на нем программу, считываемую компьютером, программа предназначена для выполнения способа кодирования видеоизображения, содержащего этапы: субдискретизацию кадров видеоизображения для формирования кадров видеоизображения с низким разрешением, кодирование кадров видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, повышение дискретизации кадров, кодированных посредством первой схемы кодирования видеоизображения, до разрешения кадров видеоизображения, выполнение межуровневой фильтрации в отношении кадров с повышенной дискретизацией, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения посредством обращения к кадрам, подвергнутым межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.
43. Носитель информации, содержащий записанную на нем программу, считываемую компьютером, программа предназначена для выполнения способа декодирования видеоизображения, содержащего этапы: извлечение кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирование кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановление кадров первого уровня, выполнение межуровневой фильтрации в отношении восстановленных кадров первого уровня, и декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством межуровневой фильтрации, и восстановление кадров второго уровня.
44. Носитель информации, содержащий записанную на нем программу, считываемую компьютером, программа предназначена для выполнения способа декодирования видеоизображения, включающего извлечение кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирование кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановление кадров первого уровня, повышение дискретизации восстановленных кадров первого уровня, выполнение межуровневой фильтрации в отношении кадров с повышенной дискретизацией первого уровня, и декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения посредством обращения к кадрам первого уровня, фильтрованным посредством промежуточной фильтрации, и восстановление кадров второго уровня.
RU2007114587/09A 2004-10-18 2005-09-16 Способы кодирования и декодирования видеоизображения с использованием межуровневой фильтрации и видеокодер и видеодекодер с их использованием RU2337503C1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US61902304P 2004-10-18 2004-10-18
US60/619,023 2004-10-18

Publications (1)

Publication Number Publication Date
RU2337503C1 true RU2337503C1 (ru) 2008-10-27

Family

ID=36748181

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2007114587/09A RU2337503C1 (ru) 2004-10-18 2005-09-16 Способы кодирования и декодирования видеоизображения с использованием межуровневой фильтрации и видеокодер и видеодекодер с их использованием

Country Status (5)

Country Link
US (3) US20060083300A1 (ru)
KR (3) KR100679022B1 (ru)
CN (3) CN101036388A (ru)
BR (1) BRPI0516826A (ru)
RU (1) RU2337503C1 (ru)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2505856C2 (ru) * 2008-11-12 2014-01-27 Нокиа Корпорейшн Способ и устройство для представления и идентификации дескрипторов признаков с использованием сжатой гистограммы градиентов
RU2511595C2 (ru) * 2009-04-03 2014-04-10 Сони Корпорейшн Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования изображения и программа
RU2515226C1 (ru) * 2009-12-08 2014-05-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования видеоинформации посредством предсказания движения с использованием произвольной области, а также устройство и способ декодирования видеоинформации посредством предсказания движения с использованием произвольной области
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
RU2556386C2 (ru) * 2011-01-12 2015-07-10 Кэнон Кабусики Кайся Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
RU2610589C2 (ru) * 2012-12-21 2017-02-13 Долби Лабораторис Лайсэнзин Корпорейшн Высокоточная повышающая дискретизация при масштабируемом кодировании видеоизображений с высокой битовой глубиной

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
TWI301953B (en) * 2005-03-14 2008-10-11 Qisda Corp Methods and apparatuses for video encoding
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100891662B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
WO2007100187A1 (en) * 2006-01-09 2007-09-07 Lg Electronics Inc. Inter-layer prediction method for video signal
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US8619865B2 (en) 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
KR100842544B1 (ko) * 2006-09-11 2008-07-01 삼성전자주식회사 스케일러블 영상 코딩을 이용한 전송 방법 및 이를 이용한이동통신 시스템
WO2008051755A2 (en) * 2006-10-20 2008-05-02 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
WO2008079508A1 (en) * 2006-12-22 2008-07-03 Motorola, Inc. Method and system for adaptive coding of a video
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8243789B2 (en) * 2007-01-25 2012-08-14 Sharp Laboratories Of America, Inc. Methods and systems for rate-adaptive transmission of video
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
KR100918385B1 (ko) * 2007-08-10 2009-09-21 한국전자통신연구원 스케일러블 비디오 스트림 코딩에서 참조 슬라이스 제거알림 장치 및 방법
KR100937590B1 (ko) * 2007-10-23 2010-01-20 한국전자통신연구원 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법
JP5216303B2 (ja) * 2007-11-01 2013-06-19 株式会社東芝 合成映像配信装置ならびにその方法およびプログラム
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) * 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
CN101557510A (zh) * 2008-04-09 2009-10-14 华为技术有限公司 视频编码处理方法、系统及装置
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8265140B2 (en) * 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
US8428364B2 (en) 2010-01-15 2013-04-23 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
KR20110099663A (ko) * 2010-03-02 2011-09-08 삼성전자주식회사 스케일러블 동영상 부호화를 이용한 적응적 스트리밍 방법 및 장치
JP5510012B2 (ja) * 2010-04-09 2014-06-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8392201B2 (en) * 2010-07-30 2013-03-05 Deutsche Telekom Ag Method and system for distributed audio transcoding in peer-to-peer systems
US20120076205A1 (en) * 2010-09-29 2012-03-29 Segall Christopher A Methods and Systems for Capturing Wide Color-Gamut Video
KR20120096863A (ko) * 2011-02-23 2012-08-31 한국전자통신연구원 고효율 비디오 부호화의 계층적 부호화 구조를 위한 비트율 제어 기법
JP2012191465A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
CN102129838B (zh) * 2011-04-28 2013-01-23 深圳市天微电子有限公司 Led显示数据的处理方法及装置
CN104980746B (zh) 2011-07-01 2018-07-31 三星电子株式会社 用于使用分层数据单元进行编码和解码的方法和设备
US9185424B2 (en) * 2011-07-05 2015-11-10 Qualcomm Incorporated Image data compression
US9271055B2 (en) * 2011-08-23 2016-02-23 Avaya Inc. System and method for variable video degradation counter-measures
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
KR102020764B1 (ko) * 2011-08-30 2019-09-11 디브이엑스, 엘엘씨 복수의 최대 비트레이트 레벨들을 사용하여 인코딩된 비디오를 인코딩하고 스트리밍하기 위한 시스템들 및 방법들
US8976857B2 (en) * 2011-09-23 2015-03-10 Microsoft Technology Licensing, Llc Quality-based video compression
CN104205844B (zh) 2011-09-29 2017-09-26 杜比实验室特许公司 降低复杂度的运动补偿的时间处理方法及系统
EP2642755B1 (en) 2012-03-20 2018-01-03 Dolby Laboratories Licensing Corporation Complexity scalable multilayer video coding
CN103379319B (zh) * 2012-04-12 2018-03-20 中兴通讯股份有限公司 一种滤波方法、滤波器及包含该滤波器的编码器和解码器
EP2842337B1 (en) 2012-04-23 2019-03-13 Google LLC Managing multi-reference picture buffers for video data coding
US20130318251A1 (en) * 2012-05-22 2013-11-28 Alimuddin Mohammad Adaptive multipath content streaming
US9313486B2 (en) * 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
KR102062506B1 (ko) 2012-08-29 2020-01-03 브이아이디 스케일, 인크. 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
CN109327704B (zh) * 2012-09-28 2021-06-18 交互数字麦迪逊专利控股公司 用于视频译码中的色度信号增强的交叉平面滤波
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
EP2979447B1 (en) 2013-03-28 2018-01-03 Huawei Technologies Co., Ltd. Method for determining predictor blocks for a spatially scalable video codec
US9514525B2 (en) 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US9479695B2 (en) 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US9374526B2 (en) 2014-07-31 2016-06-21 Apple Inc. Providing frame delay using a temporal filter
US9413951B2 (en) 2014-07-31 2016-08-09 Apple Inc. Dynamic motion estimation and compensation for temporal filtering
US10893266B2 (en) * 2014-10-07 2021-01-12 Disney Enterprises, Inc. Method and system for optimizing bitrate selection
KR102338980B1 (ko) * 2015-03-23 2021-12-13 삼성전자주식회사 플리커를 제거하기 위해 양자화 계수를 조절할 수 있은 인코더와 이를 포함하는 장치
TWI731063B (zh) * 2017-04-13 2021-06-21 物聯智慧科技（深圳）有限公司 影音檔案處理方法及建置方法
WO2019057893A1 (en) * 2017-09-22 2019-03-28 V-Nova International Limited OBTAINING A TARGET REPRESENTATION OF A TIME SAMPLE OF A SIGNAL
CN113228668A (zh) * 2018-08-03 2021-08-06 维诺瓦国际有限公司 用于信号增强编码的熵编码
US10728180B2 (en) * 2018-08-21 2020-07-28 At&T Intellectual Property I, L.P. Apparatus, storage medium and method for adaptive bitrate streaming adaptation of variable bitrate encodings
AU2020354283A1 (en) 2019-09-24 2022-04-21 Huawei Technologies Co., Ltd. Signaling of picture header in video coding
US20230067568A1 (en) * 2021-08-26 2023-03-02 Mediatek Inc. Frame Sequence Quality Booster under Uneven Quality Conditions

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0336978A (ja) * 1989-06-30 1991-02-18 Matsushita Electric Ind Co Ltd モータ速度制御装置
JP3164647B2 (ja) * 1992-06-03 2001-05-08 株式会社東芝 動画像符号化方法及び装置
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5754241A (en) * 1994-11-18 1998-05-19 Sanyo Electric Co., Ltd Video decoder capable of controlling encoded video data
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
CN1156164C (zh) * 1997-11-27 2004-06-30 英国电讯有限公司 代码转换器及其方法
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
KR100363162B1 (ko) * 1998-11-02 2003-01-24 삼성전자 주식회사 영상신호의전송/복원방법및장치
US6529552B1 (en) * 1999-02-16 2003-03-04 Packetvideo Corporation Method and a device for transmission of a variable bit-rate compressed video bitstream over constant and variable capacity networks
JP2000333163A (ja) * 1999-05-24 2000-11-30 Sony Corp 復号装置及び方法、符号化装置及び方法、画像処理システム、画像処理方法
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
CN1435055A (zh) * 1999-12-22 2003-08-06 通用仪器公司 使用空间可调性及同时传送编码的多投射环境的视讯压缩
US7095782B1 (en) * 2000-03-01 2006-08-22 Koninklijke Philips Electronics N.V. Method and apparatus for streaming scalable video
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
KR20020064904A (ko) * 2000-09-22 2002-08-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더
KR20020064932A (ko) * 2000-10-11 2002-08-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 미세 입상 비디오 인코딩을 위한 공간적 스케일러빌리티
US7272299B2 (en) * 2000-12-08 2007-09-18 Matsushita Electric Industrial Co., Ltd. Data conversion apparatus, data coding apparatus, and data recording apparatus
US7203238B2 (en) * 2000-12-11 2007-04-10 Sony Corporation 3:2 Pull-down detection
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
KR100778471B1 (ko) * 2001-04-21 2007-11-21 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법
US6944225B2 (en) * 2001-07-24 2005-09-13 Sharp Laboratories Of America, Inc. Resolution-scalable video compression
KR100913843B1 (ko) 2001-09-06 2009-08-26 톰슨 라이센싱 가변 비트율 디지털 인코딩 오디오 데이터 파일의 경과재생 타임키핑용 방법 및 장치
EP1442601A1 (en) 2001-10-26 2004-08-04 Koninklijke Philips Electronics N.V. Method and appartus for spatial scalable compression
US20030118099A1 (en) * 2001-12-20 2003-06-26 Comer Mary Lafuze Fine-grain scalable video encoder with conditional replacement
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
US7317759B1 (en) * 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100484148B1 (ko) * 2002-07-27 2005-04-18 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
KR20040047010A (ko) 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템의 비트율 조절방법
KR100543608B1 (ko) 2003-01-03 2006-01-20 엘지전자 주식회사 오브젝트 기반 비트율 제어방법 및 장치
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
JP2005123732A (ja) * 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
KR100621581B1 (ko) 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR200447010Y1 (ko) 2007-10-01 2009-12-17 이운영 행주 삶는 전기 포트

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RADHA H. et al., Scalable Internet video using MPEG-4, Signal processing: image communication, Elsevier science publishers, Amsterdam, September 1999, с.95-126. VAN DER SCHAAR M. et al., A hybrid temporal-SNR fine-granular scalability for Internet video, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol.11, №3, March 2001, c.318-331. *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2505856C2 (ru) * 2008-11-12 2014-01-27 Нокиа Корпорейшн Способ и устройство для представления и идентификации дескрипторов признаков с использованием сжатой гистограммы градиентов
RU2511595C2 (ru) * 2009-04-03 2014-04-10 Сони Корпорейшн Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования изображения и программа
RU2573778C2 (ru) * 2009-04-03 2016-01-27 Сони Корпорейшн Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования сигнала изображения и программа
RU2573257C2 (ru) * 2009-04-03 2016-01-20 Сони Корпорейшн Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования сигнала изображения и программа
US8885725B2 (en) 2009-12-08 2014-11-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
US8885724B2 (en) 2009-12-08 2014-11-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
US9294780B2 (en) 2009-12-08 2016-03-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
US8938006B2 (en) 2009-12-08 2015-01-20 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
US10448042B2 (en) 2009-12-08 2019-10-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
US9025667B2 (en) 2009-12-08 2015-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
US8885723B2 (en) 2009-12-08 2014-11-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
RU2517253C1 (ru) * 2009-12-08 2014-05-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования видеоинформации посредством предсказания движения с использованием произвольной области, а также устройство и способ декодирования видеоинформации посредством предсказания движения с использованием произвольной области
RU2515226C1 (ru) * 2009-12-08 2014-05-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования видеоинформации посредством предсказания движения с использованием произвольной области, а также устройство и способ декодирования видеоинформации посредством предсказания движения с использованием произвольной области
US9386312B2 (en) 2011-01-12 2016-07-05 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
RU2556386C2 (ru) * 2011-01-12 2015-07-10 Кэнон Кабусики Кайся Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
RU2600530C2 (ru) * 2011-01-12 2016-10-20 Кэнон Кабусики Кайся Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
US11146792B2 (en) 2011-01-12 2021-10-12 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
RU2651181C2 (ru) * 2011-01-12 2018-04-18 Кэнон Кабусики Кайся Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
US10165279B2 (en) 2011-01-12 2018-12-25 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US10165288B2 (en) 2012-12-21 2018-12-25 Dolby Laboratories Licensing Corporation High precision up-sampling in scalable coding of high bit-depth video
US10516889B2 (en) 2012-12-21 2019-12-24 Dolby Laboratories Licensing Corporation High precision up-sampling in scalable coding of high bit-depth video
RU2718159C1 (ru) * 2012-12-21 2020-03-30 Долби Лабораторис Лайсэнзин Корпорейшн Высокоточная повышающая дискретизация при масштабируемом кодировании видеоизображений с высокой битовой глубиной
RU2728738C1 (ru) * 2012-12-21 2020-07-30 Долби Лабораторис Лайсэнзин Корпорейшн Высокоточная повышающая дискретизация при масштабируемом кодировании видеоизображений с высокой битовой глубиной
US10958922B2 (en) 2012-12-21 2021-03-23 Dolby Laboratories Licensing Corporation High precision up-sampling in scalable coding of high bit-depth video
RU2610589C2 (ru) * 2012-12-21 2017-02-13 Долби Лабораторис Лайсэнзин Корпорейшн Высокоточная повышающая дискретизация при масштабируемом кодировании видеоизображений с высокой битовой глубиной
US11284095B2 (en) 2012-12-21 2022-03-22 Dolby Laboratories Licensing Corporation High precision up-sampling in scalable coding of high bit-depth video
US11570455B2 (en) 2012-12-21 2023-01-31 Dolby Laboratories Licensing Corporation High precision up-sampling in scalable coding of high bit-depth video
US11792416B2 (en) 2012-12-21 2023-10-17 Dolby Laboratories Licensing Corporation High precision up-sampling in scalable coding of high bit-depth video

Also Published As

Publication number Publication date
BRPI0516826A (pt) 2008-09-23
CN100466738C (zh) 2009-03-04
US20060083303A1 (en) 2006-04-20
CN101036388A (zh) 2007-09-12
CN1764276A (zh) 2006-04-26
US20060083300A1 (en) 2006-04-20
US7839929B2 (en) 2010-11-23
KR100679030B1 (ko) 2007-02-05
KR100703724B1 (ko) 2007-04-05
KR100679022B1 (ko) 2007-02-05
US7881387B2 (en) 2011-02-01
US20060083302A1 (en) 2006-04-20
KR20060034192A (ko) 2006-04-21
CN101027908A (zh) 2007-08-29
KR20060034195A (ko) 2006-04-21
KR20060034197A (ko) 2006-04-21
CN101027908B (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
RU2337503C1 (ru) Способы кодирования и декодирования видеоизображения с использованием межуровневой фильтрации и видеокодер и видеодекодер с их использованием
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
JP5026965B2 (ja) ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置
Andreopoulos et al. In-band motion compensated temporal filtering
RU2503137C2 (ru) Способ и устройство для высокомасштабируемого внутрикадрового видеокодирования
US20060013310A1 (en) Temporal decomposition and inverse temporal decomposition methods for video encoding and decoding and video encoder and decoder
KR100703749B1 (ko) 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
US7933456B2 (en) Multi-layer video coding and decoding methods and multi-layer video encoder and decoder
JP2011193531A (ja) 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
Andreopoulos et al. Complete-to-overcomplete discrete wavelet transforms for scalable video coding with MCTF
KR100834749B1 (ko) 스케일러블 비디오 스트림 재생장치 및 그 방법
KR100621584B1 (ko) 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더
US20060013312A1 (en) Method and apparatus for scalable video coding and decoding
EP1657932A1 (en) Video coding and decoding methods using interlayer filtering and video encoder and decoder using the same
US20060012680A1 (en) Drift-free video encoding and decoding method, and corresponding devices
Xiong et al. In-scale motion aligned temporal filtering
EP1766986A1 (en) Temporal decomposition and inverse temporal decomposition methods for video encoding and decoding and video encoder and decoder
EP1787473A1 (en) Multi-layer video coding and decoding methods and multi-layer video encoder and decoder
Tresa et al. Quality Assessment of Video Compression Using Wavelet Transform

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20090917