RU2821306C2 - Способ кодирования и декодирования, устройство и система связи - Google Patents

Abstract

Изобретение относится к средствам для кодирования видео. Технический результат заключается в повышении эффективности кодирования видео. Определяют параметры предсказания текущего блока в битовом потоке. Определяют входное дискретное значение внутреннего предсказания на основе матрицы (MIP) текущего блока на основе соседних дискретных значений текущего блока и параметров предсказания. Устанавливают параметр сдвига номера (sW) в качестве первого фиксированного значения, при этом первое фиксированное значение устанавливают независимо от параметров предсказания. Устанавливают параметр сдвига смещения (fO) в качестве второго фиксированного значения, при этом второе фиксированное значение устанавливают независимо от параметров предсказания. Определяют дискретное значение предсказания MIP текущего блока на основе весовой матрицы MIP, входного дискретного значения MIP, параметра сдвига смещения (fO) и параметра сдвига номера (sW). Выполняют процесс повышающей дискретизации до дискретного значения предсказания MIP текущего блока таким образом, чтобы генерировать внутренние предсказанные дискретные значения текущего блока. 4 н. и 11 з.п. ф-лы, 14 ил., 4 табл.

Description

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННУЮ ЗАЯВКУ

Настоящая заявка испрашивает преимущество и приоритет по предварительной заявке на патент США № 62/911,166, поданной 4 октября 2019 г., которая полностью включена в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к области телекоммуникационных технологий и, в частности, к способу кодирования и декодирования изображений, таких как кадры или видео.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Универсальное кодирование видео (VVC) - это следующее поколение стандарта сжатия видео, используемого для замены текущего стандарта, такого как стандарт высокоэффективного кодирования видеоизображений (H.265/HEVC). Стандарт кодирования VVC предоставляет более высокое качество кодирования по сравнению с текущим стандартом. Для достижения этой цели рассматриваются различные режимы внутреннего предсказания и предсказания, осуществляемого между изображениями. При использовании этих режимов предсказания видео может быть сжато таким образом, что данные, подлежащие передаче в битовом потоке (в двоичной форме), могут быть уменьшены. Внутреннее предсказание на основе матрицы (MIP) является одним из таких режимов. MIP представляет собой режим внутреннего предсказания. При реализации в режиме MIP кодер или декодер могут вывести блок внутреннего предсказания на основе текущего блока кодирования (например, группы битов или цифр, которые передаются как единица и которые могут кодироваться и/или декодироваться вместе). Однако получение таких блоков предсказания может потребовать значительного количества вычислительных ресурсов и дополнительных пространств для хранения. Следовательно, улучшенный способ решения этой проблемы является преимущественным и желательным.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

При реализации в режиме MIP определяются, а затем применяются различные параметры предсказания. Традиционно некоторые из этих параметров предсказания могут быть определены по справочным таблицам. Эти справочные таблицы должны храниться в компоненте (например, в памяти, кэше и т. д.) кодера и/или декодера и, следовательно, требуют пространств для хранения. Кроме того, доступ к этим справочным таблицам требует вычислительного времени и ресурсов. Следовательно, является преимущественным получение улучшенного способа, устройства и системы для решения вышеуказанной проблемы.

Настоящее изобретение предоставляет способ предсказания, кодирования и/или декодирования изображения на основе процесса MIP. Процесс MIP может генерировать блок предсказания текущего блока, и размер блока предсказания меньше размера текущего блока. Например, текущий блок «8x8» может иметь блок предсказания «4x4». Блок предсказания MIP, размер которого меньше размера текущего блока, получен за счет выполнения матричного вычисления, которое требует меньше вычислительных ресурсов, чем выполнение матричного вычисления с большим блоком. После матричного вычисления процесс повышающей дискретизации применяют к блоку предсказания MIP для получения блока внутреннего предсказания, который имеет тот же размер, что и текущий блок. Например, блок внутреннего предсказания «8x8» может быть получен из блока предсказания MIP «4x4» посредством вызова процесса повышающей дискретизации интерполяции и/или экстраполяции.

Более конкретно, настоящий способ включает, например, (i) определение параметров предсказания текущего блока в битовом потоке; (ii) определение входного дискретного значения MIP (например, «p[x]» в уравнениях (P-1), (P-2) и (P-3) , рассмотренных подробно ниже) текущего блока на основе соседних дискретных значений текущего блока и параметров предсказания; (iii) установку параметра сдвига номера (например, «sW» в уравнении (B), рассмотренном подробно ниже) в качестве первого фиксированного значения; (iv) установку параметра сдвига смещения (например, «fO» в уравнении (B), рассмотренном подробно ниже) в качестве второго фиксированного значения; (v) определение весовой матрицы MIP текущего блока на основе параметров предсказания; (vi) определение дискретного значения предсказания MIP (например, «predMip[x][y]» в уравнении (C), рассмотренном подробно ниже) текущего блока на основе весовой матрицы MIP, входного дискретного значения MIP, параметра сдвига смещения (fO) и параметра сдвига номера (sW); и (vii) выполнение процесса повышающей дискретизации до дискретного значения предсказания MIP таким образом, чтобы генерировать внутренние предсказанные дискретные значения (например, «predSamples[x][y]» в уравнении (G), рассмотренном подробно ниже) текущего блока.

Не желая ограничиваться теорией, установка одного или обоих из параметра сдвига номера и параметра сдвига смещения в качестве фиксированных значений эффективно улучшает общую эффективность кодирования/декодирования, при этом не оказывает значительного влияния на точность процессов кодирования/декодирования. Посредством такой компоновки настоящие способы предоставляют решение, позволяющее значительно сократить время вычислений и уменьшить требуемое пространство для хранения при реализации процессов MIP.

Другой аспект настоящего изобретения включает систему кодирования/декодирования кадров и видео. Система может содержать вспомогательную систему кодирования (или кодер) и вспомогательную систему декодирования (или декодер). Вспомогательная система кодирования содержит узел разделения, первый узел предсказания и узел энтропийного кодирования. Узел разделения выполнен с возможностью приема входного видео и разделения входного видео на один или более узлов кодирования (CU). Первый узел внутреннего предсказания выполнен с возможностью генерирования блока предсказания, соответствующего каждому CU на основе параметров предсказания, полученных от кодирования входного видео. Узел энтропийного кодирования выполнен с возможностью трансформации параметров для получения из блока предсказания в битовый поток. Вспомогательная система декодирования содержит узел анализа и второй узел внутреннего предсказания. Узел анализа выполнен с возможностью анализа того, как битовый поток получает числовые значения (например, значения, связанные с одним или более CU). Второй узел внутреннего предсказания выполнен с возможностью преобразования числовых значений в выходное видео на основе параметров предсказания.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

С целью сделать техническое решение, описанное в вариантах осуществления настоящего изобретения, более понятным, будут кратко описаны графические материалы, используемые для описания вариантов осуществления. Очевидно, что графические материалы, описанные ниже, предназначены только для иллюстрации, но не для ограничения. Следует понимать, что специалист в данной области техники может получить другие графические материалы на основе этих графических материалов, не выполняя никакой изобретательской работы.

На фиг. 1A представлено схематическое изображение системы согласно варианту осуществления настоящего изобретения.

На фиг. 1B представлено схематическое изображение, иллюстрирующее процесс MIP согласно вариантам осуществления настоящего изобретения.

На фиг. 2 представлено схематическое изображение системы кодирования согласно варианту осуществления настоящего изобретения.

На фиг. 3 представлено схематическое изображение, иллюстрирующее получение блока внутреннего предсказания с использованием режима MIP согласно вариантам осуществления настоящего изобретения.

На фиг. 4 представлено схематическое изображение системы декодирования согласно варианту осуществления настоящего изобретения.

На фиг. 5 представлена блок-схема, иллюстрирующая способ варианта осуществления настоящего изобретения.

На фиг. 6 представлена блок-схема, иллюстрирующая способ варианта осуществления настоящего изобретения.

На фиг. 7 представлено схематическое изображение устройства (например, кодера) согласно варианту осуществления настоящего изобретения.

На фиг. 8 представлено схематическое изображение устройства (например, кодера) согласно варианту осуществления настоящего изобретения.

На фиг. 9 представлено схематическое изображение устройства (например, декодера) согласно варианту осуществления настоящего изобретения.

На фиг. 10 представлено схематическое изображение устройства (например, декодера) согласно варианту осуществления настоящего изобретения.

На фиг. 11 представлено схематическое изображение устройства (например, кодера) согласно варианту осуществления настоящего изобретения.

На фиг. 12 представлено схематическое изображение устройства (например, декодера) согласно варианту осуществления настоящего изобретения.

На фиг. 13 представлено схематическое изображение системы связи согласно варианту осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

Чтобы облегчить понимание настоящего изобретения, настоящее изобретение будет описано более полно ниже со ссылкой на прилагаемые графические материалы.

На фиг. 1A представлено схематическое изображение системы 100 согласно варианту осуществления настоящего изобретения. Система 100 может кодировать, передавать и декодировать кадр. Система 100 также может быть применена для кодирования, передачи и декодирования видео, состоящего из последовательности кадров. Более конкретно, система 100 может принимать входные кадры, обрабатывать входные кадры и генерировать выходные кадры. Система 100 содержит устройство 100a кодирования и устройство 100b декодирования. Устройство 100a кодирования содержит узел 101 разделения, первый узел 103 внутреннего предсказания и узел 105 энтропийного кодирования. Устройство 100b декодирования содержит узел 107 анализа и второй узел 109 внутреннего предсказания.

Узел 101 разделения выполнен с возможностью приема входного видео 10 и последующего разделения входного видео 10 на один или более узлов кодового дерева (CTU) или узлов 12 кодирования (CU). CU 12 передаются на первый узел 103 внутреннего предсказания. Первый узел 103 внутреннего предсказания выполнен с возможностью получения блока предсказания для каждого из CU 12 путем выполнения процесса MIP. В некоторых вариантах осуществления на основе размеров CU 12 процесс MIP имеет различные подходы в обработке CU 12 различных размеров. Например, для каждого типа CU 12 имеется специальный идентификатор размера MIP (например, 0, 1, 2 и т. д.).

Первый узел 103 внутреннего предсказания сначала определяет параметры предсказания (например, ширину, высоту, размер и т. д.) CU 12. Соответственно, первый узел 103 внутреннего предсказания может определить идентификатор размера MIP CU 12. Первый узел 103 внутреннего предсказания дополнительно получает группу опорных дискретных значений для CU 12 (например, используя соседние дискретные значения CU 12, такие как соседние сверху или слева дискретные значения, рассмотренные подробно со ссылкой на фиг. 3). Первый узел 103 внутреннего предсказания затем получает предсказание MIP CU 12 на основе группы опорных дискретных значений и соответствующей весовой матрицы MIP. Первый узел 103 внутреннего предсказания может использовать предсказание MIP в качестве внутреннего предсказания 14 CU 12. Внутреннее предсказание 14 и параметры предсказания для получения внутреннего предсказания 14 затем передаются на узел 105 энтропийного кодирования для дальнейшей обработки.

Узел 105 энтропийного кодирования выполнен с возможностью трансформации параметров предсказания для получения внутреннего предсказания 14 в двоичной форме. Соответственно, узел 105 энтропийного кодирования генерирует битовый поток 16 на основе внутреннего предсказания 14. В некоторых вариантах осуществления битовый поток 16 может быть передан посредством сети связи или сохранен на диске или сервере.

Устройство 100b декодирования принимает битовый поток 16 в качестве входного битового потока 17. Узел 107 анализа анализирует входной битовый поток 17 (в двоичной форме) и преобразует его в числовые значения 18. Числовые значения 18 указывают на характеристики (например, цвет, яркость, глубина и т. д.) входного видео 10. Числовые значения 18 передаются на второй узел 109 внутреннего предсказания. Второй узел 109 внутреннего предсказания может затем преобразовать эти числовые значения 18 в выходное видео 19 (например, на основе процессов, аналогичных тем, которые выполняются первым узлом 103 внутреннего предсказания; соответствующие варианты осуществления рассмотрены подробно ниже со ссылкой на фиг. 4). Выходное видео 19 может затем сохраняться, передаваться и/или визуализироваться внешним устройством (например, устройством для хранения, передатчиком и т. д.). Сохраненное видео может дополнительно отображаться на дисплее.

На фиг. 1B представлено схематическое изображение, иллюстрирующее процесс S100 MIP согласно вариантам осуществления настоящего изобретения. Процесс MIP включает четыре основных этапа S101, S102, S103 и S104. На этапе S101 должны быть определены параметры предсказания для процесса S100 MIP. Параметры предсказания включают тип или размер (например, указанный идентификатором размера MIP, таким как «mipSizeId») текущего блока, число опорных дискретных значений в каждой границе (например, «boundySize»), число вводных дискретных значений MIP (например, «inSize») и размер блока предсказания MIP (например, «predSize×predSize»), генерируемый матричным умножением. На основе размера текущего блока, идентификатор размера MIP может быть «0» «1» или «2», который записан в параметре «mipSizeId». Разные блоки могут иметь различные параметры предсказания.

На этапе S102 процесс MIP получает опорные пиксели. Опорные пиксели могут быть из соседних сверху блоков и/или соседних слева блоков. Пиксели из соседних сверху блоков сохраняются как параметр «refT», и пиксели из соседних слева блоков сохраняются как параметр «refL».

На этапе S103 определяются входные дискретные значения для процесса MIP. Входные дискретные значения могут быть определены с помощью трех подэтапов S1031, S1032 и S1033. На подэтапе S1031 на основе опорных пикселей (например, из этапа S102), выполняется процесс понижающей дискретизации для генерирования опорных дискретных значений. На подэтапе S1031 определяются опорные зоны дискретизации (или буферные зоны дискретизации). В некоторых вариантах осуществления процесс транспонирования матрицы может быть применен на подэтапе S1032. На подэтапе S1033 вычисление матричного умножения выполняется на основе входных дискретных значений.

На этапе S104 генерируются дискретные значения внутреннего предсказания MIP. Этап S104 включает четыре подэтапа: S1041, S1042, S1043 и S1044. На подэтапе S1041 блок предсказания MIP генерируется на основе весовой матрицы MIP, параметра сдвига смещения (например, «fO») и параметра сдвига номера (например, «sW»). В настоящем изобретении параметр сдвига смещения и параметр сдвига номера установлены как фиксированные значения. На подэтапе S1042 процесс интерполяции выполняется до блока предсказания MIP. На подэтапе S1043 транспонируется блок предсказания MIP. На подэтапе S1044 генерируются дискретные значения внутреннего предсказания MIP. В некоторых вариантах осуществления дискретные значения внутреннего предсказания MIP могут быть сгенерированы с учетом дискретных значений предсказания из соседних сверху пикселей. В других вариантах осуществления дискретные значения внутреннего предсказания MIP могут быть сгенерированы без учета дискретных значений предсказания из соседних сверху пикселей (например, только с учетом дискретных значений предсказания из соседних слева пикселей). Подробности процесса MIP описаны ниже со ссылкой на фиг. 3 и соответствующие уравнения.

На фиг. 2 представлено схематическое изображение системы 200 кодирования согласно варианту осуществления настоящего изобретения. Система 200 кодирования выполнена с возможностью кодирования, сжатия и/или обработки входного кадра 20 и генерирования выходного битового потока 21 в двоичной форме. Система 200 кодирования включает узел 201 разделения, выполненный с возможностью разделения входного кадра 20 на один или более узлов 22 кодового дерева (CTU). В некоторых вариантах осуществления узел 201 разделения может разделять кадр на срезы, плитки и/или пакеты. Каждый из пакетов может содержать один или более цельных и/или частичных CTU 22. В некоторых вариантах осуществления узел 201 разделения может также образовывать один или более фрагментов кадров, каждый из которых может содержать один или более срезов, плиток или пакетов. Узел 201 разделения передает CTU 22 в узел 202 предсказания для дальнейшей обработки.

Узел 202 предсказания выполнен с возможностью генерирования блока 23 предсказания для каждого из CTU 22. Блок 23 предсказания может быть сгенерирован на основе одного или более способов предсказания, осуществляемого между изображениями, или внутреннего предсказания посредством использования различных схем интерполяции и/или экстраполяции. Как показано на фиг. 2, узел 202 предсказания может дополнительно содержать узел 203 блока разделения, узел 204 ME (анализ движения), узел 205 MC (компенсация движения) и узел 206 внутреннего предсказания. Узел 203 блока разделения выполнен с возможностью разделения CTU 22 на меньшие узлы кодирования (CU) или блоки кодирования (CB). В некоторых вариантах осуществления CU может быть сгенерирован из CTU 22 с помощью различных способов, таких как разделение квадродерева, двоичное разделение и троичное разделение. Узел 204 ME выполнен с возможностью оценки изменения, возникающего в результате движения объекта, показанного во входном кадре 20, или движения устройства захвата кадра, которое генерирует входной кадр 20. Узел 205 MC выполнен с возможностью регулировки и компенсации изменения, вызванного вышеупомянутым движением. И узел 204 ME, и узел 205 MC выполнены с возможностью получения блока предсказания, осуществляемого между изображениями (например, в различные моменты времени), CU. В некоторых вариантах осуществления узел 204 ME и узел 205 MC могут использовать способ анализа движения с оптимизированным уровнем искажения для получения блока предсказания, осуществляемого между изображениями.

Узел 206 внутреннего предсказания выполнен с возможностью получения блока внутреннего (например, в один и тот же момент времени) предсказания CU (или части CU) с использованием различных режимов внутреннего предсказания, включая режимы MIP. Детали получения блока внутреннего предсказания с использованием режима MIP (именуемого здесь и далее «процесс MIP») рассмотрены со ссылкой на фиг. 1B и фиг. 3. Во-первых, во время осуществления процесса MIP узел 206 внутреннего предсказания получает одно или более опорных дискретных значений из соседних дискретных значений CU, путем, например, непосредственного использования соседних дискретных значений в качестве опорных дискретных значений, понижающей дискретизации соседних дискретных значений или непосредственного извлечения из соседних дискретных значений (например, этап 301 по фиг. 3).

Во-вторых, узел 206 внутреннего предсказания получает предсказанные дискретные значения во множестве положений дискретного значения в CU, используя опорные дискретные значения, матрицу MIP и параметр сдвига. Позиции дискретного значения могут быть заданы позициями дискретного значения в CU. Например, позиции дискретного значения могут представлять собой позиции с нечетными значениями горизонтальных и вертикальных координат в пределах CU (например, x = 1, 3, 5 и т. д.; y = 1, 3, 5 и т. д.). Параметр сдвига включает параметр сдвига смещения и параметр сдвига номера, которые могут быть использованы в операциях сдвига при генерировании предсказанных дискретных значений. При такой компоновке узел 206 внутреннего предсказания может генерировать предсказанные дискретные значения в CU (т. e. «предсказание MIP» или «блок предсказания MIP» относится к группе таких предсказанных дискретных значений) (например, этап 302 по фиг. 3). В некоторых вариантах осуществления позиции дискретного значения могут представлять собой позиции с четными значениями горизонтальных и вертикальных координат в пределах CU.

В-третьих, узел 206 внутреннего предсказания может получать предсказанные дискретные значения в оставшихся позициях (например, тех, которые не являются позициями дискретного значения) CU (например, этап 303 по фиг. 3). В некоторых вариантах осуществления узел 206 внутреннего предсказания может использовать интерполяционный фильтр для получения предсказанного дискретного значения в оставшихся позициях. По предыдущим процессам узел 206 внутреннего предсказания может генерировать блок 23 предсказания для CU в CTU 22.

Со ссылкой на фиг. 2 узел 202 предсказания выводит блок 23 предсказания в сумматор 207. Сумматор 207 вычисляет разницу (например, остаток R) между выходом (например, CU в CTU 22) узла 201 разделения и выходом (т. e. блоком 23 предсказания CU) блока 202 предсказания. Узел 208 трансформации считывает остаток R и выполняет одну или более трансформационных операций на блоке 23 предсказания для получения коэффициентов 24 для дальнейшего использования. Узел 209 квантования может квантовать коэффициенты 24 и выводить квантованные коэффициенты 25 (например, уровни) в узел 210 обратного квантования. Узел 210 обратного квантования выполняет операции масштабирования на квантованных коэффициентах 25 для вывода восстановленных коэффициентов 26 в узел 211 обратной трансформации. Узел 211 обратной трансформации выполняет одну или более обратных трансформаций, соответствующих трансформациям в узле 208 трансформации и выводит восстановленный остаток 27.

Сумматор 212 затем вычисляет восстановленный CU путем суммирования восстановленного остатка 27 и блока 23 предсказания CU из узла 202 предсказания. Сумматор 212 также пересылает свой выход 28 в узел 202 предсказания для использования в качестве ссылки внутреннего предсказания. После восстановления всех CU в CTU 22, узел 213 фильтрации может выполнять фильтрацию в контуре на восстановленном кадре 29. Узел 213 фильтрации содержит один или более фильтров, например, деблокирующий фильтр, адаптивный фильтр смещения дискретного значения (SAO), адаптивный контурный фильтр (ALF), фильтр отображения яркости с масштабированием цветности (LMCS), фильтр на основе нейронной сети и другие подходящие фильтры для подавления искажений кодирования или повышения качества кодирования кадра.

Узел 213 фильтрации может затем отправлять декодированный кадр 30 (или фрагмент кадра) в буфер декодированного кадра (DPB) 214. DPB 214 выводит декодированный кадр 31 на основе управляющей информации. Кадр 31, хранящийся в DPB 214, может быт также использован в качестве опорного изображения для выполнения предсказания, осуществляемого между изображениями, или внутреннего предсказания узлом 202 предсказания.

Узел 215 энтропийного кодирования выполнен с возможностью преобразования кадров 31, параметров из узлов в системе 200 кодирования и вспомогательной информации (например, информации для контроля или осуществления связи с системой 200) в двоичную форму. Узел 215 энтропийного кодирования может генерировать выходной битовый поток 21 соответственно.

В некоторых вариантах осуществления система 200 кодирования может быть вычислительным устройством с процессором и носителем данных с одной или более программами кодирования. Когда процессор считывает и выполняет программы кодирования, система 200 кодирования может принимать входной кадр 20 и, соответственно, генерировать выходной битовый поток 21. В некоторых вариантах осуществления система 200 кодирования может быть вычислительным устройством с одним или более чипов. Узлы или элементы системы 200 кодирования могут быть внедрены в качестве интегральных схем на чипы.

На фиг. 3 представлено схематическое изображение, иллюстрирующее процесс MIP согласно вариантам осуществления настоящего изобретения. Процесс MIP может быть внедрен узлом внутреннего предсказания (например, узлом 206 внутреннего предсказания). Как показано на фиг. 3, узел внутреннего предсказания может содержать модуль 301 предсказания и модуль 302 фильтрации. Как также показано на фиг. 3, процесс MIP включает три этапа 301, 302 и 303. Процесс MIP может генерировать предсказанный блок на основе текущего блока или блока 300 кодирования (такого как CU или разделения CU).

Этап 301

На этапе 301 узел внутреннего предсказания может использовать соседние дискретные значения 31, 33 блока 300 кодирования для генерирования опорных дискретных значений 32, 34. В иллюстрируемом варианте осуществления соседние дискретные значения 31 являются соседними сверху дискретными значениями и соседние дискретные значения 33 являются соседними слева дискретными значениями. Узел внутреннего предсказания 206 может вычислять среднее значение из каждых двух соседних дискретных значений 31, 33 и устанавливать среднее значение в качестве значения опорных дискретных значений 32, 34, соответственно. В некоторых вариантах осуществления узел 206 внутреннего предсказания может выбирать значение одного из каждых двух соседних дискретных значений 31 или 33 в качестве значения опорного дискретного значения 32 или 32. В иллюстрируемом варианте осуществления узел 206 внутреннего предсказания получает 4 опорных дискретных значения 32 из 8 соседних сверху дискретных значений 31 блока 300 кодирования, и других 4 опорных дискретных значения 34 из 8 соседних слева дискретных значений 33 блока 300 кодирования.

На этапе 301 узел внутреннего предсказания определяет ширину и высоту блока 300 кодирования и обозначает их как переменные «cbWidth» и «cbHeight» соответственно. В некоторых вариантах осуществления узел внутреннего предсказания 206 может принимать процесс принятия решения о режиме с оптимизированным уровнем искажения для определения режима внутреннего предсказания (например, при использовании режима MIP). В таких вариантах осуществления блок 300 кодирования может быть разделен на один или более блоков трансформации, ширина и высота которых указаны как переменные «nTbW» и «nTbH» соответственно. Когда режим MIP используется в качестве режима внутреннего предсказания, узел внутреннего предсказания определяет идентификатор размера MIP (обозначенный как переменная «mipSizeId») на основе следующих условий A-C.

[УСЛОВИЕ A] Если как «nTbW», так и «nTbH» составляют 4, «mipSizeId» устанавливают как 0.

[УСЛОВИЕ B] В противном случае, если либо «cbWidth», либо «cbHeight» составляет 4, «mipSizeId» устанавливают как 1.

[УСЛОВИЕ C] В противном случае, «mipSizeId» устанавливают как 2.

В качестве примера, если размер блока 300 кодирования составляет «8x8» (т.e. как «cbWidth», так и «cbHeight» составляют 8), тогда «mipSizeId» устанавливают как 2. В качестве другого примера, если размер трансформируемого блока 300 кодирования составляет «4x4» (т. e. как «nTbW», так и «nTbH» составляют 4), тогда «mipSizeId» устанавливают как 0. В еще одном примере, если размер блока 300 кодирования составляет «4x8», тогда «mipSizeId» устанавливают как 1.

В иллюстрируемых вариантах осуществления представлены три типа «mipSizeId», которые составляют «0», «1» и «2». Каждый тип идентификаторов размеров MIP (т. e. переменная «mipSizeId») соответствует определенному способу выполнения процесса MIP (например, использованию различных матриц MIP). В других вариантах осуществления может быть более трех типов идентификаторов размера MIP.

На основе идентификатора размера MIP узел внутреннего предсказания может определять переменные («Size» и «predSize» на основе следующих условий D-F.

[УСЛОВИЕ D] Если «mipSizeId» составляет 0, «boundarySize» устанавливают как 2 и «predSize» как 4.

[УСЛОВИЕ E] Если «mipSizeId» составляет 1, «boundarySize» устанавливают как 4 и «predSize» как 4.

[УСЛОВИЕ F] Если «mipSizeId» составляет 2, «boundarySize» устанавливают как 4 и «predSize» как 8.

В иллюстрируемых вариантах осуществления «boundarySize» представляет число опорных дискретных значений 32, 34, полученных из каждого из соседних сверху дискретных значений 31 и соседних слева дискретных значений 33 блока 300 кодирования. Переменная «predSize» должна быть использована при последующих вычислениях (т. e. уравнении (C) ниже).

В некоторых вариантах осуществления узел внутреннего предсказания может получать переменную «isTransposed» для указания порядка опорных дискретных значений 32, 34, сохраненных во временном массиве. Например, «isTransposed» равен «0» указывает на то, что узел внутреннего предсказания представляет опорные дискретные значения 32, полученные из соседних сверху дискретных значений 31 блока 300 кодирования, до получения опорных дискретных значений 34 из соседних слева дискретных значений 33. Альтернативно, «isTransposed» равен «1» указывает на то, что узел внутреннего предсказания представляет опорные дискретные значения 34, полученные из соседних слева дискретных значений 33 блока 300 кодирования, до получения опорных дискретных значений 32 из соседних сверху дискретных значений 31. При внедрении системы 200 кодирования значение «isTransposed» отправляется на узел энтропийного кодирования (например, узел 215 энтропийного кодирования) в качестве одного из параметров процесса MIP, который закодирован и записан в битовый поток (например, выходной битовый поток 21). Соответственно, при внедрении системы 400 декодирования на фиг. 4, описанной в этом изобретении, значение «isTransposed» может быть принято из узла анализа (например, узла 401 анализа) путем анализа битового потока (который может быть выходным битовым потоком 21).

Узел внутреннего предсказания может дополнительно определять переменную «inSize» для указания номера опорных дискретных значений 32, 34, используемых при получении предсказания MIP. Значение «inSize» определяется по следующему уравнению (A) . В этом изобретении значения и операции всех операторов в уравнениях такие же, как и у соответствующих операторов, определенных в стандарте ITU-T H.265.

inSize = ( 2 * boundarySize) - (mipSizeId = = 2) ? 1:0; (A)

Например, «= =» это реляционный оператор «равный». Например, если «mipSizeId» составляет 2, то «inSize» составляет 7 (вычисленное по (2*4)-1). Если «mipSizeId» составляет 1, то «inSize» составляет 8 (вычисленное по (2*4)-0). В некоторых вариантах осуществления параметр «inSize» можно найти в таблице идентификации размера ниже.

Таблица идентификации размера

Узел внутреннего предсказания может вызывать следующий процесс для получения группы опорных дискретных значений 32, 34, которые хранятся в массиве p[x] («x» составляет от «0» до «inSize-1»). Узел внутреннего предсказания может получить дискретные значения «nTbW» из соседних сверху дискретных значений 31 блока 300 кодирования (и сохранить их в массиве «refT») и дискретные значения «nTbH» из соседних слева дискретных значений 33 (и сохранить их в массиве «refL») блока 300 кодирования.

Узел внутреннего предсказания может инициировать процесс понижающей дискретизации на «refT» для получения дискретных значений «boundarySize» и сохранения дискретных значений «boundarySize » в «refT». Аналогично, узел 206 внутреннего предсказания может инициировать процесс понижающей дискретизации на «refL» для получения дискретных значений «boundarySize» и сохранения дискретных значений «boundarySize» в «refL».

В некоторых вариантах осуществления узел внутреннего предсказания может объединять массивы «refT» и «refL» в один массив «pTemp» на основе порядка, указанного с помощью переменной «isTransposed». Узел внутреннего предсказания может получать «isTransposed» для указания порядка опорных дискретных значений, сохраненных во временном массиве «pTemp». Например, «isTransposed» равен «0» (или НЕВЕРНО) указывает на то, что узел внутреннего предсказания представляет опорные дискретные значения 32, полученные из соседних сверху дискретных значений 31 блока 300 кодирования, до получения опорных дискретных значений 34 из соседних слева дискретных значений 33. В других случаях «isTransposed» равен «1» (или ВЕРНО) указывает на то, что узел внутреннего предсказания представляет опорные дискретные значения 34, полученные из соседних слева дискретных значений 33 блока 300 кодирования, до получения опорных дискретных значений 32 из соседних сверху дискретных значений 31. В некоторых вариантах осуществления при внедрении системы 200 кодирования узел внутреннего предсказания может определять значение «isTransposed» путем использования способа оптимизации уровня искажения. В некоторых вариантах осуществления при внедрении системы 200 кодирования узел внутреннего предсказания может определять значение «isTransposed» на основе сравнений и/или корреляций между соседними дискретными значениями 32, 34 и блоком 300 кодирования. При внедрении системы 200 кодирования значение «isTransposed» может быть направлено на узел энтропийного кодирования (например, узел 215 энтропийного кодирования) в качестве одного из параметров процесса MIP, который должен быть записан в битовый поток (например, выходной битовый поток 21). Соответственно, при внедрении системы 400 декодирования на фиг. 4, описанной в этом изобретении, значение «isTransposed» может быть принято из узла анализа (например, узла 401 анализа) путем анализа битового потока (который может быть выходным битовым потоком 21).

В некоторых вариантах осуществления параметр «mipSizeId» может быть использован для определения того, что выбранный параметр размера текущего блока находится в предопределенном диапазоне. Более конкретно, «mipSizeId» равный «0» или «1» означает, что выбранный параметр размера находится в предопределенном диапазоне. Если «mipSizeId» равен «2», это означает, что выбранный параметр размера находится в предопределенном диапазоне. Другими словами, входное дискретное значение MIP может быть определено на основе буферной зоны (например, «pTemp»), идентификатора размера MIP (например, «mipSizeId»), битовой глубины соседних дискретных значений (например, «BitDepth»), как рассмотрено детально ниже.

Узел внутреннего предсказания может определять массив «p[x]» (x от «0» до «inSize-1») на основе следующих условий G и H.

[УСЛОВИЕ G] Если «mipSizeId» составляет 2, p[x] = pTemp[x+1] - pTemp[0].

[УСЛОВИЕ H] В противном случае (например, «mipSizeId» составляет менее 2), p[0]=pTemp[0]-(1<<( BitDepth-1)) и p[x]=pTemp[x]-pTemp[0] (для x от 1 до «inSize-1»).

При вышеуказанном условии H «BitDepth» является битовой глубиной цветового компонента дискретного значения (например, Y компонента) в блоке 300 кодирования. Символ «<<» - это символ битового сдвига, используемый в стандарте ITU-T H.265.

Альтернативно, узел внутреннего предсказания может получать массив p[x] (для x от 0 до «inSize-1») на основе следующих условий I и J.

[УСЛОВИЕ I] Если «mipSizeId» составляет 2, p[x]=pTemp[x+1]-pTemp[0].

[УСЛОВИЕ J] В противном случае (например, «mipSizeId» составляет менее 2), p[0]=(1<<(BitDepth-1))-pTemp[0] и p[x]=pTemp[x]-pTemp[0] (для x от 1 до «inSize-1»).

В некоторых вариантах осуществления узел внутреннего предсказания может определять значения массива p[x], используя унифицированный способ вычисления, без учета значения «mipSizeId». Например, узел внутреннего предсказания может добавить «(1<<(BitDepth-1))» в качестве дополнительного элемента в «pTemp» и вычислять p[x] как «pTemp[x]-pTemp[0]».

В некоторых вариантах осуществления параметр «1<<(BitDepth-1)» может быть константой. В некоторых вариантах осуществления параметр «1<<(BitDepth-1)» может быть показан как «2^(BitDepth-1)». Соответственно, параметры «p[0] и «p[x]» могут быть вычислены на основе уравнений P-1 , P-2 и P-3 ниже.

(P-1)

(P-2)

(P-3)

Уравнения P-1 и P-2 применяют случаи, когда «mipSizeId» равен «0» или «1», что означает, что выбранный параметр размера находится в предопределенном диапазоне. После определения, что выбранный параметр размера текущего блока находится в предопределенном диапазоне, может быть определен «1<<(BitDepth-1)». Затем может быть определена разница между «1<<(BitDepth-1)» и «pTemp[0]». Разницу затем устанавливают как p[0]. Затем p[x] может быть вычислено на основе уравнений P-1 и P-2 выше.

Уравнение P-3 применяет случаи, когда «mipSizeId» равен «2», что означает, что выбранный параметр размера не находится в предопределенном диапазоне. Предположим, что текущий блок представляет собой блок 4x4, что означает, что в буферной зоне «pTemp» находятся четыре значения. Этими четырьмя значениями являются pTemp[0], pTemp[1], pTemp[2] и pTemp[3]. На основе уравнения P-3 выше и этих четырех значений может быть определен массив «p[x]». Значения в массиве «p[x]» могут быть названы вводными дискретными значениями MIP.

Этап 302

На этапе 302 узел внутреннего предсказания (или модуль 301 предсказания) получает предсказание MIP блока 300 кодирования путем использования группы опорных дискретных значений 32, 34 и матрицы MIP. Матрица MIP выбирается из группы предварительно определенных матриц MIP на основе соответствующего идентификатора режима MIP (т. e. переменной «mipModeId») и идентификатора размера MIP (т. e. переменной «mipSizeId»).

Предсказание MIP, полученное узлом внутреннего предсказания, включает частичные предсказанные дискретные значения 35 из всех или частичных положений дискретных значений в блок 300 кодирования. Предсказание MIP обозначено как «predMip[x][y]».

В иллюстрируемом варианте осуществления на фиг. 3 частичные предсказанные дискретные значения 35 представляют собой дискретные значения, обозначенные серыми клеточками в текущем блоке 300. Опорные дискретные значения 32, 34 в массиве p[x], полученные на этапе 301, используются как вход в модуль 301 предсказания. Модуль 301 предсказания вычисляет частичные предсказанные дискретные значения 35 путем использования матрицы MIP и параметра сдвига. Параметр сдвига включает параметр сдвига смещения («fO») и параметр сдвига номера («sW»). В некоторых вариантах осуществления модуль 301 предсказания получает частичное предсказанное дискретное значение 35 со своими координатами (x, y) на основе следующих уравнений (B) и (C) :

oW=(1<<(sW-1))-fO*() (B)

predMip[x][y]=((()+oW)>>sW)+pTemp[0] (для x от 0 до «predSize-1», для y от 0 до «predSize-1») (C)

В уравнении (B) выше, параметр «fO» представляет собой параметр сдвига смещения, который используется для определения параметра «oW» или значения смещения. Параметр «sW» представляет собой параметр сдвига номера. «p[i]» - опорное дискретное значение. Символ «>>» представляет собой двоичный оператор сдвига вправо, как определено в стандарте H.265.

В уравнении (C) выше, «mWeight[i][j]» представляет собой весовую матрицу MIP, в которой элементы матрицы представляют собой фиксированные константы как для кодирования, так и декодирования. Альтернативно, в некоторых вариантах осуществления внедрение системы 200 кодирования использует адаптивную матрицу MIP. Например, весовая матрица MIP может быть обновлена с помощью различных обучающих способов, использующих один или более кодированных кадров в качестве входа, или использующих кадры, предоставленные системе 200 кодирования внешними средствами. Узел внутреннего предсказания может направлять «mWeight[i][j]» на узел энтропийного кодирования (например, узел 215 энтропийного кодирования), когда определен режим MIP. Узел энтропийного кодирования может затем записать «mWeight[i][j]» в битовый поток, например в один или более узлов специальных данных в битовом потоке, содержащем данные MIP. Соответственно, в некоторых вариантах осуществления внедрение системы 400 декодирования с адаптивной матрицей MIP может обновить матрицу MIP, используя, например, обучающий способ со входом из одного или более кодированных кадров или блоков или кадров из другого битового потока, предоставленных внешними средствами, или полученных из узла 401 анализа путем анализа узлов специальных данных во входном битовом потоке, содержащем данные матрицы MIP.

Узел 301 предсказания может определять значения «sW» и «fO» на основе размера текущего блока 300 и режима MIP, используемого для текущего блока 300. В некоторых вариантах осуществления узел 301 предсказания может получать значения «sW» и «fO» с помощью использования справочной таблицы. Например, представленная ниже таблица 1 может быть использована для определения «sW».

Таблица 1

В некоторых вариантах осуществления параметр сдвига номера «sW» может быть установлен в качестве первого фиксированного значения, например как 5 или 6. В таких вариантах осуществления нет необходимости использовать таблицу 1 выше для поиска значения параметра сдвига номера «sW». Например, когда «mipSizeId» равен «0» или «2», параметр сдвига номера «sW» может быть установлен как «5». В качестве другого примера, когда «mipSizeId» равен «2», параметр сдвига номера «sW» может быть установлен как «5». Таблица 2 ниже показывает различные установки параметра сдвига номера «sW». В некоторых вариантах осуществления параметр сдвига номера «sW» может быть установлен модулем 301 предсказания.

Таблица 2

В некоторых вариантах осуществления модуль предсказания может быть установлен «sW» в качестве константы. Например, модуль предсказания может установить «sW» как «5» для блоков различных размеров с различными режимами MIP. В качестве другого примера модуль 301 предсказания может установить «sW» как «6» для блоков различных размеров с различными режимами MIP. В качестве еще одного примера модуль предсказания может установить «sW» как «7» для блоков различных размеров с различными режимами MIP.

В некоторых вариантах осуществления узел 301 предсказания может использовать таблицу 3 ниже для определения параметра сдвига смещения «fO».

Таблица 3

В некоторых вариантах осуществления параметр сдвига смещения «fO» может быть установлен в качестве второго фиксированного значения, например как 23, 32, 46, 56 или 66. Второе фиксированное значение имеет предпочтительный диапазон 1-100. В таких вариантах осуществления нет необходимости использовать таблицу 3 выше для поиска значения параметра сдвига смещения «fO». В некоторых вариантах осуществления параметр сдвига смещения «fO» может быть установлен на основе параметра «mipSizeId». Например, когда «mipSizeId» равен «0», параметр сдвига смещения «fO» может быть установлен как «34». В качестве другого примера, когда «mipSizeId» равен «1», параметр сдвига смещения «fO» может быть установлен как «23». В качестве еще одного примера, когда «mipSizeId» равен «1», параметр сдвига смещения «fO» может быть установлен как «46». Таблица 4 ниже показывает различные установки параметра сдвига смещения «fO». В некоторых вариантах осуществления параметр сдвига смещения «fO» может быть установлен модулем 301 предсказания.

Таблица 4

Со ссылкой на уравнение (B) выше, когда параметр сдвига номера «sW» и параметр сдвига смещения «fO» установлены как фиксированные значения, параметр «oW» может также быть константой, что повышает общую скорость вычислений процесса MIP.

В некоторых вариантах осуществления узел внутреннего предсказания может выполнять операцию «отсечения» на значении дискретных значений предсказания MIP, сохраненных в массиве «predMip». Когда «isTransposed» равен «1» (или ВЕРНО), «predSize x preSize» массив «predMip[x][y] (для x от 0 до «predSize-1; для y от 0 до «predSize-1») транспонируется в качестве «predTemp[y][x] = predMip[x][y]» и затем «predMip = predTemp».

Более конкретно, когда размер блока 303 кодирования составляет «8x8» (т. e. как «cbWidth», так и «cbHeight» составляют 8), узел внутреннего предсказания может получать массив «predMip» размером «8x8».

Этап 303

На этапе 303 на фиг. 3 узел внутреннего предсказания получает предсказанные дискретные значения 37 из остальных дискретных значений, кроме частичных дискретных значений 35 в блоке 300 кодирования. Как показано на фиг. 3 узел внутреннего предсказания может использовать модуль 302 фильтрации для получения предсказанных дискретных значений 37 из остальных дискретных значений, кроме частичных дискретных значений 35 в блоке 300 кодирования. Вход в модуль 302 фильтрации может представлять собой частичные дискретные значения 35 на этапе 302. Модуль 302 фильтрации может использовать один или более интерполяционных фильтров для получения предсказанных дискретных значений 37 из остальных дискретных значений, кроме частичных дискретных значений 35 в блоке 300 кодирования. Узел внутреннего предсказания (или модуль 302 фильтрации) может генерировать предсказание (которое включает множество предсказанных дискретных значений 37) блока 300 кодирования и сохранять предсказание 37 в массиве «predSamples[x][y]» (для x от 0 до «nTbW-1», для y от 0 до «nTbH-1») согласно следующим условиям K и L.

[УСЛОВИЕ K] Если узел внутреннего предсказания определяет, что «nTbW» больше, чем «predSize», или что «nTbH» больше, чем «predSize», узел внутреннего предсказания инициирует процесс повышающей дискретизации для получения «predSamples» на основе «predMip».

[УСЛОВИЕ L] В противном случае, узел внутреннего предсказания устанавливает предсказание блока 300 кодирования в качестве предсказания MIP блока кодирования.

Другими словами, узел внутреннего предсказания может установить «predSamples[x][y] (для x от 0 до «nTbW-1», для y от 0 до «nTbH-1») равным «predMip[x][y]». Например, узел внутреннего предсказания может установить «predSamples» для блока кодирования с его размерами, равными «8x8» (т.e. как «cbWidth», так и «cbHeight» составляют 8), как их «predMip[x][y]».

На этапах 301-303 узел внутреннего предсказания может генерировать предсказание текущего блока 300. Сгенерированное предсказание может быть использовано для дальнейшей обработки (например, блок 23 предсказания, рассмотренный выше со ссылкой на фиг. 2).

На фиг. 4 представлена структурная схема системы 400 декодирования согласно варианту осуществления настоящего изобретения. Система 400 декодирования выполнена с возможностью приема, обработки и преобразования входного битового потока 40 в выходное видео 41. Входной битовый поток 40 может быть битовым потоком, представляющим сжатый/кодированный кадр/видео. В некоторых вариантах осуществления входной битовый поток 40 может быть из выходного битового потока (например, выходного битового потока 21), генерируемого системой кодирования (такой как система 200 кодирования).

Система 400 декодирования включает узел 401 анализа, выполненный с возможностью анализа входного битового потока 40 для получения из него значений элементов синтаксиса. Узел 401 анализа также преобразует двоичные представления элементов синтаксиса в числовые значения (т. е. блок 42 декодирования) и направляет числовые значения в узел 402 предсказания (например, для декодирования). В некоторых вариантах осуществления узел 401 анализа может также направлять одну или более переменных и/или параметров для декодирования числовых значений в узел 402 предсказания.

Узел 402 предсказания выполнен с возможностью определения блока 43 предсказания блока 42 декодирования (например, CU или разделения CU, такого как блок трансформации). Если указано, что режим интеркодирования был использован для декодирования блока 42 декодирования, узел 403 MC (компенсация изменений) узла 402 предсказания может принимать соответствующие параметры из узла 401 анализа и, соответственно, декодировать в режиме интеркодирования. Если указано, что режим внутреннего предсказания (например, режим MIP) используется для блока 42 декодирования, узел 404 внутреннего предсказания узла 402 предсказания принимает соответствующие параметры от узла 401 анализа и, соответственно, декодирует в режиме внутреннего кодирования. В некоторых вариантах осуществления режим внутреннего предсказания (например, режим MIP) может быть идентифицирован по специальному флагу (например, флагу MIP), встроенному во входной битовый поток 40.

Например, когда идентифицирован режим MIP, узел 404 внутреннего предсказания может определить блок 43 предсказания (который включает множество предсказанных дискретных значений) на основе следующих способов (аналогичных тем, которые описаны для этапов 301-303 на фиг. 3).

Сначала узел 404 внутреннего предсказания получает одно или более опорных дискретных значений из соседних дискретных значений блока 42 декодирования (аналогично этапу 301 на фиг. 3). Например, узел 404 внутреннего предсказания может генерировать опорные дискретные значения с помощью понижающей дискретизации соседних дискретных значений, или непосредственно путем извлечения части из соседних дискретных значений.

Узел 404 внутреннего предсказания может затем получать частичные предсказанные дискретные значения в блоке 42 декодирования, используя опорные дискретные значения, матрицу MIP и параметр сдвига (аналогично этапу 302 на фиг. 3). В некоторых вариантах осуществления положения частичных предсказанных дискретных значений может быть задано в блоке 42 декодирования. Например, позиции частичных предсказанных дискретных значений могут представлять собой позиции с нечетными значениями горизонтальных и вертикальных координат в пределах блока кодирования. Параметр сдвига может включать параметр сдвига смещения и параметр сдвига номера, которые могут быть использованы в операциях сдвига при генерировании частичных предсказанных дискретных значений.

Наконец, если получены частичные предсказанные дискретные значения блока 42 декодирования, узел 404 внутреннего предсказания получает предсказанные дискретные значения оставшихся дискретных значений, кроме частичных предсказанных дискретных значений в блоке 42 декодирования (аналогично этапу 303 на фиг. 3). Например, узел 404 внутреннего предсказания может использовать интерполяционный фильтр для получения предсказанных дискретных значений, путем использования частичных предсказанных дискретных значений и соседних дискретных значений в качестве входов интерполяционного фильтра.

Система 400 декодирования содержит узел 405 масштабирования с функциями, схожими с функциями узла 210 обратного квантования системы 200 кодирования. Узел 405 масштабирования выполняет операции масштабирования на квантованных коэффициентах 44 (например, уровнях) от узла 401 анализа таким образом, чтобы генерировать восстановленные коэффициенты 45.

Узел 406 трансформации имеет функции, схожие с функциями узла 211 обратной трансформации в системе 200 кодирования. Узел 406 трансформации выполняет одну или более трансформационных операций (например, обратные операции одной или более трансформационных операций с помощью узла 211 обратной трансформации) для получения восстановленного остатка 46.

Сумматор 407 складывает блок 43 предсказания из узла 402 предсказания и восстановленный остаток 46 из узла 406 трансформации для получения восстановленного блока 47 блока 42 декодирования. Восстановленный блок 47 также отправляется на узел 402 предсказания для использования в качестве эталона (например, для других блоков, кодируемых в режиме внутреннего предсказания).

После восстановления всего блока 42 декодирования в кадре или фрагменте кадра (т. e. образования восстановленного блока 48), узел 408 фильтрации может выполнять фильтрацию в контуре на восстановленном блоке 49. Узел 408 фильтрации содержит один или более фильтров, таких как деблокирующий фильтр, адаптивный фильтр смещения дискретного значения (SAO), адаптивный контурный фильтр (ALF), фильтр отображения яркости с масштабированием цветности (LMCS), фильтр на основе нейронной сети и т. д. В некоторых вариантах осуществления узел 408 фильтрации может выполнять фильтрацию в контуре только на одном или более целевых пикселях в восстановленном блоке 48.

Узел 408 фильтрации затем отправляет декодированный кадр 49 (или кадр) или фрагмент кадра в DPB (буфер декодированного кадра) 409. DPB 409 выводит декодированные кадры в качестве выходного видео 41 на основе тайминга и управляющей информации. Декодированные кадры 49, хранящиеся в DPB 409, также могут быть использованы в качестве опорного изображения узлом 402 предсказания при выполнении предсказания, осуществляемого между изображениями, или внутреннего предсказания.

В некоторых вариантах осуществления система 400 декодирования может быть вычислительным устройством с процессором и носителем данных, записывающими одну или более программ декодирования. Когда процессор считывает и выполняет программы декодирования, система 400 декодирования может принимать входной видеобитовый поток и генерировать соответствующее декодированное видео.

В некоторых вариантах осуществления система 400 декодирования может быть вычислительным устройством с одним или более чипов. Узлы или элементы системы 400 декодирования могут быть внедрены в качестве интегральных схем на чипы.

На фиг. 5 представлена блок-схема, иллюстрирующая способ 500 в соответствии с вариантом осуществления настоящего изобретения. В блоке 501 способ 500 запускается путем определения параметров предсказания текущего блока. В некоторых вариантах осуществления параметры предсказания включают параметры для предсказания (например, «predModeIntra», как определено в стандарте H.265) и идентификаторы размеров (например, «mipSizeId»). В блоке 502, когда параметры предсказания указывают, что применим режим MIP, способ 500 продолжает определять входное дискретное значение MIP (например, значения в массиве «p[x]») на основе соседних дискретных значений. В некоторых вариантах осуществления соседние дискретные значения могут включать соседние сверху дискретные значения и/или соседние слева дискретные значения.

В блоке 503 способ 500 продолжает определять продукт параметра сдвига смещения (fO) и сумму входных дискретизаций MIP. Как показано в уравнении (B) выше, сумма входных дискретизаций MIP может быть «» и, таким образом, продукт может быть «fO*(».

В блоке 504 способ 500 продолжается для определения первой константы на основе параметра сдвига номера (sW). Как показано в уравнении (B) выше, первая константа может быть «1<<(sW-1)».

В блоке 505 способ 500 продолжает определять значение смещения (oW) путем умножения первой константы и продукта. Как показано в уравнении (B) выше, первое значение смещения (oW) может быть «(1<<(sW-1))-fO*()».

В блоке 506 способ 500 определяет весовую матрицу MIP на основе параметров предсказания. В уравнении (B) выше весовая матрица MIP является матрицей «mWeight». В некоторых вариантах осуществления весовая матрица MIP может быть сгенерирована на основе различных способов, таких как процессы обучения с использованием машинного обучения (ML) или искусственного интеллекта (AI).

В блоке 507 способ 500 продолжает определять предсказание MIP на основе весовой матрицы MIP, параметра сдвига номера (sW) и значения смещения (oW). Предсказание MIP может представлять собой матрицу «predMip[x][y]», как указано в уравнении (C) выше. В некоторых вариантах осуществления предсказание MIP может быть определено, как описано в уравнении (C) выше. В некоторых вариантах осуществления матрица предсказания MIP может быть определена на основе уравнения (D) ниже.

(D)

В уравнении (D) выше «[x][y]» представляют собой координаты местоположения пикселей. «x» - для горизонтального и «y» - для вертикального направления матрицы предсказания MIP. Параметры «incH» «predC» и «incW» являются параметрами для получения значения матрицы из весовой матрицы MIP. Другие параметры в уравнении (D) были рассмотрены выше со ссылкой на уравнение (C) .

В некоторых вариантах осуществления параметр сдвига смещения (fO) может быть установлен как «32» и параметр сдвига номера (sW) может быть установлен как 6. В таких вариантах осуществления матрица предсказания MIP может быть определена на основе уравнений (E) и (F) ниже.

(E)

(F)

В блоке 508 способ 500 генерирует внутреннее предсказание текущего блока с помощью процесса фильтрации на основе матрицы предсказания MIP. Если размер матрицы предсказания MIP такой же, как и размер текущего блока, тогда способ 500 может установить значения в матрице предсказания MIP текущему блоку, как их внутреннее дискретные значения предсказания MIP (например, «preSamples[x][y]»), как показано в уравнении (G) ниже. Если нет, то способ 500 может выполнить процесс фильтрации для регулировки матрицы предсказания MIP. В некоторых вариантах осуществления процесс фильтрации может представлять собой процесс повышающей дискретизации или процесс фильтрации нижних частот. Варианты осуществления процесса повышающей дискретизации подробно рассмотрены выше со ссылкой на фиг. 3 (например, этап 303 ).

(G)

На фиг. 6 представлена блок-схема, иллюстрирующая способ 600 в соответствии с вариантом осуществления настоящего изобретения. В блоке 601 способ 600 запускается путем определения параметров предсказания текущего блока в битовом потоке. В некоторых вариантах осуществления параметры предсказания могут включать «predModeIntra» и «mipSizeId», как определено в стандарте H.265.

В блоке 602 способ 600 продолжается путем определения входного дискретного значения внутреннего предсказания на основе матрицы (MIP) текущего блока на основе соседних дискретных значений текущего блока и параметров предсказания. В некоторых вариантах осуществления входное дискретное значение MIP может представлять собой значения в массиве «p[x]». В некоторых вариантах осуществления соседние дискретные значения включают соседнее слева дискретное значение и/или соседнее сверху дискретное значение.

Варианты осуществления определения входного дискретного значения MIP рассмотрены выше со ссылкой на фиг. 3 (например, этап 301 ). Например, способ 600 может включать выполнение процесса понижающей дискретизации до соседних дискретных значений для генерирования временного опорного массива (pTemp[x]) на основе идентификатора размера.

В блоке 603 способ 600 продолжается путем установки параметра сдвига номера (sW) в качестве первого фиксированного значения. В некоторых вариантах осуществления первое фиксированное значение может составлять 5 или 6. В блоке 604 способ 600 продолжается путем установки параметра сдвига смещения (fO) в качестве второго фиксированного значения. В некоторых вариантах осуществления второе фиксированное значение может составлять 23, 34 или 46.

Когда первое и второе фиксированные значения установлены, может быть определена первая константа «1<<(sW-1)». Значение смещения (oW) также может быть вычислено (например, уравнение (B) ).

В блоке 605 способ 600 продолжается путем определения весовой матрицы MIP текущего блока на основе параметров предсказания. Варианты осуществления весовой матрицы MIP рассмотрены выше со ссылкой на фиг. 3 (например, этап 302 ).

В блоке 606 способ 600 продолжается путем определения дискретного значения предсказания MIP (например, значения в массиве «predMip[x][y]») текущего блока на основе весовой матрицы MIP, входного дискретного значения MIP, параметра сдвига смещения (fO) и параметра сдвига номера (sW). Варианты осуществления дискретного значения предсказания MIP рассмотрены выше детально со ссылкой на уравнения (C) , (D) , (E) и (F) .

В блоке 607способ 600 продолжается за счет выполнения процесса повышающей дискретизации до дискретного значения предсказания MIP текущего блока таким образом, чтобы генерировать внутренние предсказанные дискретные значения (например, «predSamples[x][y]») текущего блока. В некоторых вариантах осуществления дискретное значение предсказания MIP текущего блока может включать дискретные значения предсказания для по меньшей мере части точек дискретизации текущего блока. Варианты осуществления дискретного значения предсказания MIP и весовой матрицы MIP рассмотрены выше детально со ссылкой на уравнение (G) и фиг. 3 (например, этап 303 ).

На фиг. 7 представлено схематическое изображение кодера 700 согласно варианту осуществления настоящего изобретения. Как показано, кодер 700 содержит первый узел 701 определения, первый вычислительный узел 702 и первый узел 703 предсказания. Первый узел 701 определения выполнен с возможностью конфигурирования параметров предсказания текущего блока и определения входного дискретного значения MIP (например, значения в массиве «p[x]»). В некоторых вариантах осуществления входное дискретное значение MIP может быть определено на основе соседних дискретных значений. Параметры предсказания включают параметр, указывающий используемую модель предсказания (например, модель MIP), и соответствующие параметры (например, идентификатор размера). Первый узел 701 определения может также определять весовую матрицу MIP. Первый вычислительный узел 702 выполнен с возможностью вычисления значения смещения (например, «oW», рассмотренный выше) на основе параметра сдвига номера (например, «sW») и параметра сдвига смещения (например, «fO»). Первый узел 703 предсказания предназначен для генерирования предсказания MIP текущего блока на основе весовой матрицы MIP, значения смещения, параметра сдвига номера и параметра сдвига смещения.

В некоторых вариантах осуществления кодер 700 включает первый узел 704 запроса, выполненный с возможностью определения модели MIP текущего блока. В таких вариантах осуществления первый узел 701 определения определяет индекс модели MIP текущего блока. Первый узел 704 запроса может затем получать соответствующие параметры (например, sW, fO, идентификатор размера MIP и т. д.) на основе индекса модели MIP.

В настоящем раскрытии термин «узел» может представлять собой процессор, контур, программное обеспечение, модуль или их сочетание. В некоторых вариантах осуществления «узел» может представлять собой интегральный компонент, такой как SoC (система на чипе). В некоторых вариантах осуществления «узел» может включать набор команд, хранящихся в носителе данных, таких как диск, жесткий диск, запоминающее устройство и т. д.

На фиг. 8 представлено схематическое изображение кодера 800 согласно варианту осуществления настоящего изобретения. Кодер 800 может содержать первый интерфейс связи 801, первое устройство 802 хранения и первый процессор 803, соединенный с помощью первой системной шины 804. Первая системная шина 804 может содержать линии питания, линии управления и/или сигнальные линии. Первый интерфейс связи 801 выполнен с возможностью обеспечения связи с другими внешними устройствами путем передачи и приема сигналов. Первое устройство 802 хранения выполнено с возможностью хранения данных, информации и/или команд (таких как этапы, описанные на фиг. 5 и 6), которые могут быть выполнены первым процессором 803.

Первый процессор 803 может представлять собой чип, интегральную схему или другие устройства, которые могут обрабатывать сигналы. Первый процессор 803 может представлять собой процессор общего назначения, процессор цифровой обработки сигналов (DSP), интегральную схему специального применения (ASIC), программируемую логическую матрицу (FPGA), программируемое логическое устройство (PLD) или другие подходящие логические компоненты.

На фиг. 9 представлено схематическое изображение декодера 900 согласно варианту осуществления настоящего изобретения. Как показано, декодер 900 содержит аналитический узел 901, второй вычислительный узел 902, второй узел 903 предсказания, второй узел 904 предсказания и второй узел 905 запроса. Аналитический узел 901 выполнен с возможностью анализа битового потока таким образом, чтобы получить параметры предсказания текущего блока. Второй узел 902 определения предназначен для конфигурирования подходящих параметров предсказания текущего блока и для определения входного дискретного значения MIP (например, значения в массиве «p[x]»). В некоторых вариантах осуществления входное дискретное значение MIP может быть определено на основе соседних дискретных значений. Параметры предсказания включают параметр, указывающий используемую модель предсказания (например, модель MIP), и соответствующие параметры (например, идентификатор размера). Второй узел 903 определения может также определять весовую матрицу MIP. Второй вычислительный узел 904 выполнен с возможностью вычисления значения смещения (например, «oW») на основе параметра сдвига номера (например, «sW») и параметра сдвига смещения (например, «fO»). Второй узел 904 предсказания предназначен для генерирования предсказания MIP текущего блока на основе весовой матрицы MIP, значения смещения, параметра сдвига номера и параметра сдвига смещения.

В некоторых вариантах осуществления второй узел 905 запроса выполнен с возможностью определения модели MIP текущего блока. В таких вариантах осуществления второй узел 902 определения определяет индекс модели MIP текущего блока. Второй узел 904 запроса может затем получать соответствующие параметры (например, sW, fO, идентификатор размера MIP и т. д.) на основе индекса модели MIP.

На фиг. 10 представлено схематическое изображение декодера 1000 согласно варианту осуществления настоящего изобретения. Декодер 1000 может включать второй интерфейс 1001 связи, второе устройство 1002 хранения и второй процессор 1003, соединенный с помощью второй системной шины 1004. Вторая системная шина 1004 может содержать линии питания, линии управления и/или сигнальные линии. Второй интерфейс связи 1001 выполнен с возможностью обеспечения связи с другими внешними устройствами путем передачи и приема сигналов. Второе устройство 1002 хранения выполнено с возможностью хранения данных, информации и/или команд (таких как этапы, описанные на фиг. 5 и 6), которые могут быть выполнены вторым процессором 1003.

Второй процессор 1003 может представлять собой чип, интегральную схему или другие устройства, которые могут обрабатывать сигналы. Второй процессор 1003 может представлять собой процессор общего назначения, процессор цифровой обработки сигналов (DSP), интегральную схему специального применения (ASIC), программируемую логическую матрицу (FPGA), программируемое логическое устройство (PLD) или другие подходящие логические компоненты.

На фиг. 11 представлено схематическое изображение устройства 1100 согласно варианту осуществления настоящего изобретения. Устройство 1100 может быть «отправляющим» устройством. Более конкретно, устройство 1100 выполнено с возможностью получения, кодирования и хранения/отправки одного или более кадров. Устройство 1100 содержит узел 1001 получения, кодер 1102 и узел 1103 хранения/отправки.

Узел 1101 получения выполнен с возможностью получения или приема кадра и направления кадра на кодер 1102. Узел 1101 получения может также быть выполнен с возможностью получения или приема видео, состоящего из последовательности кадров, и направления видео на кодер 1102. В некоторых вариантах осуществления узел 1101 получения может представлять собой устройство, содержащее одну или более камер (например, фотокамеры, камеры глубины и т. д.). В некоторых вариантах осуществления узел 1101 получения может быть устройством, которое может частично или полностью декодировать видеобитовый поток для генерирования кадра или видео. Узел 1101 получения может также содержать один или более элементов для захватывания аудиосигнала.

Кодер 1102 выполнен с возможностью кодирования кадра из узла 1101 получения и генерирует видеобитовый поток. Кодер 1102 может также быть выполнен с возможностью кодирования видео из узла 1101 получения и генерирует битовый поток. В некоторых вариантах осуществления кодер 1102 может быть внедрен в качестве системы 200 кодирования, описанной на фиг. 2. В некоторых вариантах осуществления кодер 1102 может содержать один или более аудиокодеров для кодирования аудиосигналов для генерирования аудиобитового потока.

Узел 1103 хранения/отправки выполнен с возможностью приема одного или обоих из видео- и аудиобитовых потоков из кодера 1102. Узел 1103 хранения/отправки может формировать видеобитовый поток вместе с аудиобитовым потоком для создания мультимедийного файла (например, мультимедийного файла на основе ISO) или транспортный поток. В некоторых вариантах осуществления узел 1103 хранения/отправки может писать и хранить мультимедийный файл или транспортный поток в узле хранения, таком как жесткий диск, диск, DVD, облако для хранения, портативное запоминающее устройство и т. д. В некоторых вариантах осуществления узел 1103 хранения/отправки может отправлять видео/аудиобитовые потоки на внешнее устройство через транспортную сеть, такую как Internet, проводные сети, сеть сотовой связи, беспроводную сеть передачи данных и т. д.

На фиг. 12 представлено схематическое изображение устройства 1200 согласно варианту осуществления настоящего изобретения. Устройство 1200 может быть устройством «назначения». Более конкретно, устройство 1200 выполнено с возможностью приема, декодирования и визуализации кадра или видео. Устройство 1200 включает приемный узел 1201, декодер 1202, и узел 1203 визуализации.

Приемный узел 1201 выполнен с возможностью приема мультимедийного файла или транспортного потока, например из сети или устройства для хранения. Мультимедийный файл или транспортный поток включает видеобитовый поток и/или аудиобитовый поток. Приемный узел 1201 может отделять видеобитовый поток и аудиобитовый поток. В некоторых вариантах осуществления приемный узел 1201 может генерировать новый видео/аудиобитовый поток путем извлечения видео/аудиобитового потока.

Декодер 1202 содержит один или более видеодекодеров, таких как система 400 декодирования, рассмотренная выше. Декодер 1202 может также содержать один или более аудиодекодеров. Декодер 1202 декодирует видеобитовый поток и/или аудиобитовый поток из приемного узла 1201 для получения декодированного видеофайла и/или одного или более декодированных аудиофайлов (соответствующих одному или нескольким каналам).

Узел 1203 визуализации принимает декодированные видео/аудиофайлы и обрабатывает видео/аудиофайлы для получения подходящего видео/аудиосигнала для отображения/воспроизведения. Эти операции регулировки/восстановления могут включать в себя одно или более из следующего: шумоподавление, синтез, преобразование цветового пространства, повышающая дискретизация, понижающая дискретизация и т. д. Узел 1203 визуализации может улучшать качество декодированных видео/аудиофайлов.

На фиг. 13 представлено схематическое изображение системы связи 1300 согласно варианту осуществления настоящего изобретения. Система 1300 связи содержит исходное устройство 1301, носитель данных или транспортную сеть 1302 и устройство 1303 назначения. В некоторых вариантах осуществления исходное устройство 1301 может представлять собой устройство 1100, описанное выше со ссылкой на фиг. 11. Исходное устройство 1301 отправляет мультимедийные файлы в носитель данных или транспортную сеть 1302 для их хранения или транспортировки. Устройство 1303 назначения может представлять собой устройство 1200, описанное выше со ссылкой на фиг. 12. Система 1300 связи выполнена с возможностью кодирования мультимедийного файла, транспортировки или хранения кодированного мультимедийного файла, и последующего декодирования кодированного мультимедийного файла. В некоторых вариантах осуществления исходное устройство 1301 может быть первым смартфоном, носитель 1302 данных может быть облаком для хранения, и устройство назначения может быть вторым смартфоном.

Вышеописанные варианты осуществления являются просто иллюстрацией нескольких вариантов осуществления настоящего изобретения, и их описание является конкретным и подробным. Вышеупомянутые варианты осуществления не могут быть истолкованы как ограничивающие настоящее изобретение. Следует отметить, что ряд изменений и модификаций могут быть выполнены специалистами в данной области без отступления от сущности и объема изобретения. Следовательно, объем настоящей заявки должен быть ограничен формулой изобретения.

Claims (48)

1. Способ предсказания изображения, включающий:

определение параметров предсказания текущего блока в битовом потоке;

определение входного дискретного значения внутреннего предсказания на основе матрицы (MIP) текущего блока на основе соседних дискретных значений текущего блока и параметров предсказания,

установку параметра сдвига номера (sW) в качестве первого фиксированного значения, при этом первое фиксированное значение устанавливают независимо от параметров предсказания;

установку параметра сдвига смещения (fO) в качестве второго фиксированного значения, при этом второе фиксированное значение устанавливают независимо от параметров предсказания;

определение дискретного значения предсказания MIP (predMip[x][y]) текущего блока на основе весовой матрицы MIP, входного дискретного значения MIP, параметра сдвига смещения (fO) и параметра сдвига номера (sW); и

выполнение процесса повышающей дискретизации до дискретного значения предсказания MIP текущего блока таким образом, чтобы генерировать внутренние предсказанные дискретные значения (predSamples[x][y]) текущего блока.

2. Способ по п. 1, отличающийся тем, что первое фиксированное значение составляет 6.

3. Способ по п. 1, отличающийся тем, что второе фиксированное значение составляет 23, 32, 34 или 46.

4. Способ по п. 1, отличающийся тем, что дискретное значение предсказания MIP текущего блока включает значения предсказания для части дискретных значений текущего блока.

5. Способ по п. 1, отличающийся тем, что соседние дискретные значения включают по меньшей мере одно из соседнего слева дискретного значения или соседнего сверху дискретного значения.

6. Способ по п. 1, отличающийся тем, что дополнительно включает

определение первого константного значения на основе параметра сдвига номера (sW), причем первое константное значение составляет «1<<(sW-1)».

7. Способ по п. 1, отличающийся тем, что дополнительно включает

определение значения смещения (oW) на основе входного дискретного значения MIP, параметра сдвига номера (sW) и параметра сдвига смещения (fO).

8. Способ по п. 1, отличающийся тем, что параметры предсказания включают идентификатор размера (mipSizeId) текущего блока.

9. Способ по п. 8, отличающийся тем, что дополнительно включает

выполнение процесса понижающей дискретизации до соседних дискретных значений для генерирования временного опорного массива (pTemp[х]) на основе идентификатора размера.

10. Способ по п. 9, отличающийся тем, что дополнительно включает

определение второго константного значения на основе битовой глубины (BitDepth) соседних дискретных значений в случае, если идентификатор размера находится в предопределенном диапазоне.

11. Способ по п. 10, отличающийся тем, что дополнительно включает

генерирование входного дискретного значения MIP (р[х]) на основе второго константного значения и временного массива (pTemp[х]), причем значение второго константного значения составляет «1<< (BitDepth-1)».

12. Устройство декодирования для декодирования кадра, содержащее:

узел анализа, выполненный с возможностью анализа битового потока для определения режима предсказания блока кодирования; и

узел внутреннего предсказания, выполненный с возможностью определения входного дискретного значения внутреннего предсказания на основе матрицы (MIP) блока кодирования на основе соседних дискретных значений блока кодирования и параметров предсказания блока кодирования;

установки параметра сдвига номера (sW) в качестве первого фиксированного значения, при этом первое фиксированное значение устанавливают независимо от параметров предсказания;

установки параметра сдвига смещения (fO) в качестве второго фиксированного значения, при этом второе фиксированное значение устанавливают независимо от параметров предсказания;

определения весовой матрицы MIP блока кодирования на основе параметров предсказания;

определения дискретного значения предсказания MIP блока кодирования на основе весовой матрицы MIP, входного дискретного значения MIP, параметра сдвига смещения (fO) и параметра сдвига номера (sW); и

выполнения процесса повышающей дискретизации до дискретного значения предсказания MIP таким образом, чтобы генерировать внутренние предсказанные дискретные значения блока кодирования.

13. Устройство по п. 12, отличающееся тем, что первое фиксированное значение составляет 6, а второе фиксированное значение составляет 23, 32, 34 или 46.

14. Способ кодирования кадра, включающий:

прием входного кадра и разделения входного кадра на один или более блоков кодирования;

определение входного дискретного значения внутреннего предсказания на основе матрицы (MIP) блока кодирования на основе соседних дискретных значений блока кодирования и параметров предсказания блока кодирования;

установку параметра сдвига номера (sW) в качестве первого фиксированного значения, при этом первое фиксированное значение устанавливают независимо от параметров предсказания;

установку параметра сдвига смещения (fO) в качестве второго фиксированного значения, при этом второе фиксированное значение устанавливают независимо от параметров предсказания;

определение весовой матрицы MIP блока кодирования на основе параметров предсказания;

определение дискретного значения предсказания MIP блока кодирования на основе весовой матрицы MIP, входного дискретного значения MIP, параметра сдвига смещения (fO) и параметра сдвига номера (sW); и

выполнение процесса повышающей дискретизации до дискретного значения предсказания MIP таким образом, чтобы генерировать внутренние предсказанные дискретные значения блока кодирования.

15. Устройство кодирования для кодирования кадра, содержащее:

узел разделения, выполненный с возможностью приема входного кадра и разделения входного кадра на один или более блоков кодирования; и

узел предсказания, выполненный с возможностью

определения входного дискретного значения внутреннего предсказания на основе матрицы (MIP) блока кодирования на основе соседних дискретных значений блока кодирования и параметров предсказания блока кодирования;

установки параметра сдвига номера (sW) в качестве первого фиксированного значения, при этом первое фиксированное значение устанавливают независимо от параметров предсказания;

установки параметра сдвига смещения (fO) в качестве второго фиксированного значения, при этом второе фиксированное значение устанавливают независимо от параметров предсказания;

определения весовой матрицы MIP блока кодирования на основе параметров предсказания;

определения дискретного значения предсказания MIP блока кодирования на основе весовой матрицы MIP, входного дискретного значения MIP, параметра сдвига смещения (fO) и параметра сдвига номера (sW); и

выполнения процесса повышающей дискретизации до дискретного значения предсказания MIP таким образом, чтобы генерировать внутренние предсказанные дискретные значения блока кодирования.