CN107155364A

CN107155364A - 使用几何图元处理基于图的信号的方法和装置

Info

Publication number: CN107155364A
Application number: CN201580057983.5A
Authority: CN
Inventors: 阿米尔·赛义德; 赫尔米·埃内斯·埃吉尔麦斯
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2014-09-26
Filing date: 2015-06-24
Publication date: 2017-09-12
Anticipated expiration: 2035-06-24
Also published as: JP6392453B2; KR20170015341A; EP3200156A1; US10382711B2; KR101899090B1; US20170257579A1; EP3200156A4; JP2017535137A; EP3200156B1; CN107155364B; WO2016047897A1

Abstract

本发明提供一种使用几何图元处理基于图的信号的方法，该方法包括：将几何图元指定为用于计算边缘权重；获得用于几何图元中的每个的参数；基于参数来计算图像中的边缘中的每个的边缘权重；以及基于边缘权重来编码图像。

Description

使用几何图元处理基于图的信号的方法和装置

技术领域

本发明涉及一种处理基于图的信号的方法和设备，更具体地说，涉及一种编译基于图的信号上的边缘权重的技术。

背景技术

大多数传统的离散时间信号处理技术已经从处理和滤波模拟信号直接地演进，并且因此，该技术已经受到若干常用假设的限制，如仅对有规律地组织的数据进行采样和处理。视频压缩的领域基本上基于相同的假设，但是仅推广到多维信号。

图是用于在各种应用领域中描述数据的几何结构的一种有用的数据表示。基于图表示的信号处理能够使用其中每个信号采样表示顶点的图来概括像采样、滤波、傅里叶变换等的概念，以及通过具有正权重的图边缘来表示信号关系。这个断开连接来自信号的捕获过程的信号，使得像采样率的特性和序列能够由图的特性代替。事实上，传统的表示现在变成由一些特定图模型定义的简单特殊情况。

发明内容

【技术问题】

基于图的信号处理是概括信号处理的若干基本技术和模型的新学科，并且已经在各种应用领域中显示出有前景的成果。其应用于信号压缩有一个基本的问题，该基本问题来自于以下事实：为了得到更好的信号变换或预测，编码器和解码器这两者都需要使用完全相同的图(顶点、边缘和边缘权重)。更好的信号压缩能够利用复杂且自适应(即，频繁地变化)的图结构来获得，但是编译关于那些图的信息的开销可能相对较大，甚至大于它们提供的编译增益。因此，本发明解决这些问题。

【技术方案】

本发明提供一组宽泛的编码图信息的方案，该方案利用以下事实：对于视频编译，图拓扑是固定栅格(因为顶点与像素相对应，所以通常是平面的)，仅边缘权重变化。目标是为了开发用于更好编译预测残差集的基于图的工具。

为了编译为那些情况设计的图上的边缘权重，本发明能够使用一个或更多个几何图元(点、线、圆、曲线等)的集合，并且使用基于到那些对象上的点的距离的特定函数来定义边缘权重。

这种方式，通过编译定义那些几何图元的参数和将距离转化成边缘权重的函数的参数，能够独立于图大小和复杂度发送整个图权重的集合。此外，不同的几何图元和距离权重函数(distance-to-weightfunctions)集合允许在表示所需图特征中具有很大自由度。

【有益效果】

应用本发明的基于图的信号建模可以是强有力的工具。能够通过自适应地改变图边缘权重以及通过使用从谱分解获得的矩阵而获得更好的信号表示、信号变换和信号预测。

另外，本发明能够满足对于数据压缩所需的更多通用模型的需要，并且有利于使用用于压缩应用的工具。

另外，本发明能够通过使用紧凑的图表示来避免编码单个图边缘的权重所需的过度比特率开销。

附图说明

图1和图2图示根据应用本发明的实施例处理基于图的信号的编码器和解码器的示意性框图。

图3表示根据应用本发明的实施例的用于在视频帧内的8×8块中对统计关系进行建模的图的示例。

图4表示根据应用本发明的实施例的示出权重的分布的2个类型的图的示例。

图5表示图示根据应用本发明的实施例的倾向于在对象的边界周围聚集的残差信号(residual signal)的特性的图。

图6图示根据应用本发明的实施例的基于图的信号建模单元的示意性框图。

图7表示根据应用本发明的实施例的包含各种类型的几何图元的视频帧的示例。

图8表示图示根据应用本发明的实施例的如何使用几何图元编译视频段中的块的边缘的图。

图9是图示根据应用本发明的实施例的使用几何图元编译视频段中的块的边缘的流程图。

图10是图示根据应用本发明的实施例的基于距离权重函数编译基于图的信号的过程的流程图。

图11是图示根据应用本发明的实施例的使用基于图的信号的边缘权重解码视频信号的过程的流程图。

【最佳实施方式】

根据本发明的一方面，提供一种使用几何图元处理基于图的信号的方法，该方法包括：将几何图元指定为用于计算边缘权重；获得用于几何图元中的每个的参数；基于参数来计算用于图像内的边缘中的每个的边缘权重；以及基于边缘权重来编码图像。

根据本发明的另一方面，本发明进一步包括：计算用于与目标块相对应的图中的边缘的最小距离；以及将距离权重函数应用于最小距离，其中基于距离权重函数来计算边缘权重。

根据本发明的另一方面，最小距离指示从边缘的中心到几何图元的距离。

根据本发明的另一方面，参数包括类型信息、位置信息或长度信息中的至少一个。

根据本发明的另一方面，本发明进一步包括：检查是否类型信息不同于默认类型；以及当类型信息不同于默认类型时，编码距离权重函数的参数。

根据本发明的另一方面，几何图元的类型信息指示几何图元的预定集合中的一个。

根据本发明的另一方面，几何图元中的每个使用不同的距离权重函数。

根据本发明的另一方面，通过使用另一个函数来计算边缘权重。

根据本发明的另一方面，图像对应于残差信号。

根据本发明的另一方面，通过使用归一化空间坐标来识别几何图元。

根据本发明的一方面，提供一种处理基于图的视频信号的方法，该方法包括：接收边缘权重；使用边缘权重来生成变换矩阵，其中基于目标块内的边缘的边缘权重来映射变换矩阵；使用所述变换矩阵来获得变换系数；以及基于所获得的变换系数来重建基于图的视频信号。

根据本发明的一方面，提供一种使用几何图元编码基于图的信号的设备，该设备包括：处理器，该处理器被配置成：将几何图元指定为用于计算边缘权重，获得用于几何图元中的每个的参数，基于参数来计算用于图像内的边缘中的每个的边缘权重；以及基于边缘权重来编码图像。

根据本发明的一方面，提供一种编码基于图的视频信号的设备，该设备包括：处理器，该处理器被配置成：接收边缘权重，通过将边缘权重应用于残差信号来获得修改的残差信号，以及基于修改的残差信号来重建基于图的视频信号，其中基于目标块内的边缘的边缘权重来映射变换矩阵。

【具体实施方式】

在下文中，参照附图描述根据本发明的实施方式的示例性元件和操作，然而，要注意的是，参照附图描述的本发明的元件和操作仅被提供为实施例，并且本发明的技术精神以及核心配置和操作不限于此。

另外，在本说明书中使用的术语是现在被广泛使用的常用术语，但是在特殊情况下，使用由申请人随机选择的术语。在这种情况下，相应术语的意义被清楚地描述在相应部分的详细的说明中。因此，要注意的是，本发明不应该被解释为仅基于在此说明书的相应描述中所使用的术语的名称，并且本发明应该通过检查相应术语的含义来进行解释。

另外，虽然此说明书提出的实施例针对视频信号处理，但是本发明不应该被解释为仅基于视频信号处理，并且本发明将会适用于处理一般基于图的信号的方法。

另外，虽然在此说明书中使用的术语是经选择用于描述本发明的常用术语，但是，如果具有相似含义的术语出现，则可以利用其他术语来替代以用于更恰当的分析。例如，信号、数据、样本、图片、帧和块可以在每个编译过程中被适当地代替和解释。

图1和图2图示根据应用本发明的实施例的处理基于图的信号的编码器和解码器的示意性框图。

图1的编码器100包括变换单元110、量化单元120、去量化单元130、逆变换单元140、缓冲器150、预测单元160和熵编码单元170。

编码器100接收视频信号，并且通过从该视频信号减去由预测单元160输出的预测信号来生成预测误差。

将所生成的预测误差发送至变换单元110。

变换单元110通过将变换方案应用于预测误差来生成变换系数。

量化单元120量化所生成的变换系数并且将所量化的系数发送至熵编码单元170。

熵编码单元170对量化的信号执行熵编译，并且输出熵编译信号。

同时，由量化单元120输出的量化信号可以被用于生成预测信号。例如，在编码器100的循环内的去量化单元130和逆变换单元140可以对量化的信号执行去量化和逆变换，使得将所量化的信号重建成预测误差。可以通过将所重建的预测误差添加至由预测单元160输出的预测信号来生成重建信号。

缓冲器150存储用于预测单元160的将来参考的重建信号。

预测单元160使用在缓冲器150存储的先前重建信号生成预测信号。在这种情况下，本发明使用锚图像(anchor image)中的区域关注目标图像中的区域的有效预测。效率可以是压缩率-失真意义上的或者就诸如量化预测误差中的失真的均方误差的相关量度而言的。

为了提供更好的信号表示、信号变换和信号预测，本发明将会提供使用几何图元以及利用将到几何图元的距离映射至权重的函数来建模基于图的信号的方法。此外，本发明提供一种识别图内的顶点和边缘以及编码和解码残差信号的方法。例如，本发明的实施例能够通过基于图的信号建模单元执行各种实施方式。基于图的信号模型单元可以被包括在编码器100或解码器200中。

图2的解码器200包括熵解码单元210、去量化单元220、逆变换单元230、缓冲器240和预测单元250。

图2的解码器200接收由图1的编码器100输出的信号。

熵解码单元210对接收的信号执行熵解码。去量化单元220基于关于量化步长的信息从熵解码信号获得变换系数。逆变换单元230通过对变换系数执行逆变换来获得预测误差。通过将所获得的预测误差添加至由预测单元250输出的预测信号来生成重建信号。

缓冲器240存储用于预测单元250的将来参考的重建信号。

预测单元250使用在缓冲器240中存储的先前重建信号生成预测信号。

应用本发明的基于图的信号建模方法将会被用于编码器100和解码器200。

参照图3，本发明提供能够用于处理图像或视频中的8×8像素的块的图的类型的两个示例。每个像素与图顶点关联，并且每个像素值变成图像顶点值。

图边缘可以意指连接图顶点的线。图边缘被用于通过表示信号的强度的正权重来表示信号中的统计相关性的一些形式。例如，能够将每个顶点连接至每一个其他顶点，并且零权重被分配给连接无关的或弱相关的顶点的边缘。然而，为了简化表示，能够完全地去除具有零权重的边缘。

在本发明的另一个实施例中，可以根据信号特征预设连接图顶点的边缘。例如，顶点能够被布置在用于音频信号的1-D阵列、用于图像的2-D阵列以及用于视频帧的3-D阵列上。在这种情况下，时间轴能够被用作第三维。例如，在图3(a)的图中，图边缘能够被定义成将每个顶点连接至其最近相邻顶点中的四个。然而，能够不同地定义在块边界处的图边缘。此外，在图3(b)的图中，将顶点连接至八个最近的相邻顶点。

图4表示根据应用本发明的实施例的示出权重的分布的2种类型的图的示例。

当图的顶点值是表示信号测量的独立变量(通常被建模为随机变量)时，有必要选择匹配一些信号特性的图的边缘权重。在图4中，提供图边缘的线条颜色指示不同边缘权重的图的两个示例。例如，深色线条可以表示权重w＝1，并且浅色线条表示权重w＝0.2。

图4(a)中的图能够表示具有沿着直线的“弱链接”的情况，其中，该图仅具有2个边缘权重。在这种情况下，“弱链接”意指具有相对较小的边缘权重。

这事实上通常被用于基于图的图像处理中，其中，此配置能够表示在图像边缘的不同侧上的像素统计的差异。

用于基于图的信号处理的基础工具可以从作为公式1的图的拉普拉斯矩阵导出。

[公式1]

L＝D-A

在公式1中，D是度对角矩阵，并且A是邻接矩阵。

用于基于图的信号处理的许多工具可以基于作为公式2的L的谱分解。

[公式2]

L＝UΛU^-1

在公式2中，正交矩阵U提供基于图的傅里叶变换的形式，其专门针对适合相应图模型的信号。

图4(b)的图表示覆盖不规则区域的边缘权重的分布，并且本发明提供一种使用边缘权重的分布图处理信号的方法。

图5表示图示根据应用本发明的实施例的倾向于聚集在对象的边界周围的残差信号的特性的图。

本发明满足对数据压缩所需的更多通用模型的需要。例如，在编译应用中，将要被处理的信号不是原始像素的值，而是残差信号。例如，可以是从原始信号减去预测值的预测残差。图5(a)示出视频帧，并且图5(b)示出残差信号的分布。例如，在图5(b)中，白色表示零值，黑色表示残差信号的值，并且，如果黑色密度高，则残差信号的值大，如果黑色密度相对低，则残差信号的值相对小。

对于这种类型的信号，图不具有如清晰定义的边缘的特征，而是具有在某些区域中聚集的噪声样本。对于这些情况，可能需要利用覆盖不规则区域的权重分布来处理图的方法，如图4(b)的示例中所示。

能够经由应用本发明的基于图的信号建模有效地处理视频信号。能够通过自适应地改变图权重以及通过使用从图的矩阵L的谱分解获得的矩阵来获得更好的信号表示、信号变换和信号预测。

对于最大的灵活性，有必要不断调整图的权重。编码器能够通过使用输入信号的数据集编码基于图的信号，并且解码器能够基于预定顺序整个或部分地接收数据集，然后使用所接收的数据集解码该基于图的信号。

在本发明的实施例中，编码器能够编码关于边缘权重的部分或全部数据集，并且解码器能够通过解码该数据集的部分或全部来计算矩阵L的新的值。

因为甚至像图3中的那些的简单图每个顶点都具有多个图边缘，所以执行有效的编译是不容易的。例如，N×N像素块的4个连接的顶点的图具有2N(N-1)≈2N²个图边缘，而如图3(b)的8个连接顶点的图具有2(N-1)(2N-1)≈4N²个图边缘。

同时，编码全部图权重需要每顶点或每像素2个、4个或更多个图边缘。因为这种方法需要若干比特来编译边缘权重，所以难以执行有效压缩编译。

在本发明的实施例中，两个不同边缘权重(例如，0.1和1)能够被用于编译图边缘。例如，假设权重中的一个的概率是P，则本发明能够使用具有最佳零阶的熵编码器。在这种情况下，每个图边缘的比特率可以被表示为公式3。

[公式3]

在这种情况下，通过基于图的处理获得的编译增益不能大于0.1比特/像素或0.01比特/像素。因此，本发明提供一种能够使用用于图权重的更复杂的编译方法来减轻过度开销的新方法。

单独地编码边缘权重需要比特率开销。本发明提供一种同时提供与多个图边缘相关的信息的方法。例如，能够基于预定等级来编译多个图边缘的公共信息。在这种情况下，预定等级包括可用于编译视频信号的图等级、帧(图片)等级、块等级、像素等级和各种等级。这种方式，即使该信息需要用于编译的许多比特，每边缘的平均比特(并且因此每个像素)也能够保持较小。

本发明可以基于视频编译的以下具体特性。

首先，可以以规则格式组织用于处理像素集的图。例如，用于图像的图能够被组织为平面的，或者用于多维空间的图能够被组织为矩形栅格。在这种情况下，仅能够改变边缘权重。

其次，随机残差信号倾向于在视频对象(人、墙壁等)的边界周围聚集，通常由2D曲线定义，但是本发明不限于此，并且能够通过1D线或点等来定义，而残差信号与主要处于非常小的区域中的每个相似。

第三，残差信号彼此没有确切的边界，因此没有必要浪费用于编码或解码边缘权重变化的精确位置的比特。

通过使用通用帧发送统计中的变化，本发明的实施例能够利用第一特性。

例如，本发明能够在视频帧的某部分(或整个帧)的全部图中通过使用归一化的空间S＝[0,1]×[0,1]来识别顶点和边缘。例如，本发明定义图边缘的权重函数，如公式4。

[公式4]

w:[0,1]×[0,1]->[0,1]

在这种情况下，能够获得每个位置x∈S的权重w(x)。

假设W×H像素集，S中的像素(i,j)的位置能够被定义为公式5。

[公式5]

在这种情况下，W指示图或帧的宽度，H指示图或帧的高度。

在本发明的另一个实施例中，能够使用图边缘的中点定义像素(i,j)和像素(k,l)之间的边缘的实际权重，如公式6。

[公式6]

在这种情况下，w()指示图边缘的权重函数，(i,j)、(k,l)指示任意像素的位置。并且，假设W x H像素集，i和k指示0,1,…,W-1，j和l指示0,1,…,H-1。

利用这种方法，编译全部边缘的权重的开销独立于边缘的数量，并且仅依赖于用于针对全部x∈S计算w(x)的有效编译信息。

本发明的另一个实施例能够通过提出如何使用第二特性计算权重函数w(x)来执行有效编译。例如，本发明能够使用聚集具有大的值的残差信号使得该残差信号能够组织几何图元的特性。

在这种情况下，本发明能够使用几何图元集合执行有效编译，该几何图元集合包括如点、线、线段、圆、使用三次样条的线、贝塞尔曲线等的几何图元中的至少一个。

例如，图7示出具有像孤立点的一些几何图元以及直线和曲线的视频帧的示例。

本发明的另一个实施例将使用最后特性，并且使用将到几何图元的距离映射至权重的函数(在下文中，“距离权重函数”)，以完成w(x)²的第一。例如，距离权重函数能够被定义为公式7和公式8。

[公式7]

其中，d是从目标单元至几何图元的距离，μ,η指示额外的参数。例如，目标单元意指用于测量边缘权重的处理单元，并且包括顶点、像素、边缘、块或帧中的至少一个。以及，用于测量距离d的参考点可以是顶点、像素或边缘。同时，额外的参数包括标度参数和变化参数中的至少一个，例如，μ指示标度参数并且η指示变化参数。

[公式8]

在这个情况下，公式8指示公式7的补。

例如，能够通过变化参数η来改变距离权重函数的图的形状。以及，针对距离d，通过标度参数μ来标度d的尺寸。此外，距离权重函数能够被定义为不同类型的几何图元和距离测量。

同时，参照图6，基于图的信号建模单元(600)包括图生成单元(610)、几何图元编码单元(620)和边缘权重编码单元(630)。

应用本发明的基于图的信号建模单元(600)能够基于距离权重函数来编译边缘权重。此外，基于图的信号建模单元(600)能够在相应目标框的图中编译一个或更多个参考几何图元的集合。一个或更多个参考几何图元的集合能够被用于确定边缘权重。

图生成单元(610)能够生成相应目标图像的图。例如，诸如公式1的图的拉布拉斯矩阵能够被用于基于图的信号处理。

几何图元编码单元(620)能够在所生成的图中编码几何图元。在这种情况下，能够通过各种参数定义几何图元。例如，能够通过几何图元的类型信息和位置信息中的至少一个定义几何图元。类型信息包括点类型、线类型、圆类型、使用三次样条的线类型或贝塞尔曲线类型中的至少一个。

并且，几何图元编码单元(620)能够编码视频帧中的几何图元的数量。在这个情况下，视频帧可以是残差分量。根据几何图元的数量，几何图元编码单元(620)能够获得几何图元中的每个的类型信息和其的参数。

边缘权重编码单元(630)能够基于距离权重函数编码边缘权重。例如，本发明能够基于从目标单元的参考点到几何图元的距离计算目标单元的边缘的权重，在这种情况下，距离权重函数能够被用于计算目标单元的边缘的权重。

具体地，边缘权重编码单元(630)能够计算从边缘的中心到几何图元中的每个的最小距离。并且，边缘权重编码单元(630)能够基于该最小距离计算边缘权重，在这种情况下，距离权重函数能够被用于计算边缘权重。边缘权重能够被编码并且被发送至解码器。

边缘权重编码单元(630)将距离至权重函数应用于每个最小距离，并且能够基于该结果计算最终边缘权重。能够对视频信号的目标单元执行该过程。

边缘权重编码单元(630)能够基于距离权重函数来编码块中全部像素的值。

本发明的实施例能够基于在简单的几何构型中聚集大的残差的特性来计算距离权重函数。本发明能够通过使用包括几何图元中的至少一个的几何图元集合来有效地编码或解码那些特征，例如，图7示出具有像孤立点以及直线和曲线的一些几何图元的视频帧的示例。

在图7中，能够通过类型信息定义几何图元。例如，类型信息可以包括点、线、线段、圆、使用三次样条的线或贝塞尔曲线中的至少一个。

例如，参照图7，类型信息GP1(几何图元1)指示使用三次样条的线，类型信息GP2(几何图元2)和GP3(几何图元)指示线段，类型信息GP4指示所连接的线段，GPN指示点。

在图7中，细灰线表示用于处理视频帧的编译单元或用于计算边缘权重的目标单元，并且，几何图元的各种颜色能够被定义用于识别边缘权重的分布。

本发明的另一个实施例中，能够基于位置信息定义几何图元。例如，能够通过使用视频帧的坐标信息或像素的位置信息定义几何图元。或者，能够通过使用二进制数据定义几何图元。

本发明的另一个实施例中，能够基于类型信息通过另一种方式定义几何图元。例如，能够通过坐标信息定义点的类型，线、线段、圆、使用三次样条的线和贝塞尔曲线的类型能够通过坐标函数定义。

图8表示根据应用本发明的实施例的图示如何使用几何图元编译视频段中的块的边缘的图。

图8的块示出具有一些几何图元的视频段的部分，并且具有粗线的块表示目标块。

参照图8，视频段具有4个几何图元，诸如点(GP4)、两个线段(GP1、GP3)、使用三次样条的线(GP2)。

首先，编码器能够编码几何图的数目信息。例如，由于图8中的视频段具有4个几何图元，所以编码器能够编码作为几何图元的数目信息的相应值。

并且，对于4个几何图元中的每个，编码器能够编码几何图元的类型信息。例如，在GP1的情况下，编码器能够编码作为长线段的GP1的类型信息。

如果‘长线段’的类型不是默认类型，则编码器能够编码将要被用作于GP1的距离权重函数的参数。

接下来，编码器能够基于距离权重函数编码边缘权重。可以基于从边缘的中心到几何图元中的每个的最小距离来确定边缘权重。

例如，参照图8，具有粗线的块表示目标单元，该目标单元包括诸如边缘1、边缘2、边缘3和边缘4的4个边缘。因此，为了计算目标单元的边缘权重，可以计算从4个边缘中的每个的中心到几何图元的最小距离。例如，在边缘1的情况下，能够通过测量从边缘1的中心到几何图元中的每个的距离来计算最小距离d1、d2、d3和d4(虚线)。编码器能够基于所计算的最小距离获得边缘1的边缘权重。在这种情况下，距离权重函数能够被用于获得边缘1的边缘权重。

对于边缘2至边缘4，编码器能够重复地执行以上过程用于以相同方式获得边缘1的边缘权重。编码器能够通过使用根据以上过程计算的边缘权重在目标单元中编码像素值。例如，编码器能够使用边缘权重对目标单元执行变换或预测，并且从而编码目标单元。在这种情况下，目标单元可以包括原始数据、预测数据或残差数据。

在本发明的另一个实施例中，本发明能够仅使用视频帧内部的一些几何图元来确定边缘权重。例如，能够仅使用离目标边缘最近的几何图元来确定边缘权重。具体地，参照图8，在边缘1的情况下，能够选择最近的几何图元GP1，并且能够计算从边缘1的中心到最近的几何图元GP1的最小距离d1。编码器能够基于所计算的最小距离d1获得边缘1的边缘权重。在这种情况下，距离权重函数能够被用于获得边缘1的边缘权重。

在本发明的另一个实施例中，本发明能够使用先前确定边缘的边缘权重来确定边缘权重。例如，先前确定的边缘可以是当前目标单元的边缘或另一个单元的边缘。在这种情况下，另一个单元意指除了视频帧内的当前目标单元之外的单元。具体地，能够通过使用与当前边缘邻近的边缘的边缘权重来确定边缘权重。例如，参照图8，我们假设以边缘1、边缘2、边缘3和边缘4的顺序确定边缘权重。当确定边缘4的边缘权重时，编码器能够使用当前目标单元的其他边缘(即，边缘1、边缘2和边缘3)中的至少一个。例如，边缘1、边缘2或边缘3中的任何一个的边缘权重能够被用作为边缘4的边缘权重。或者，边缘1、边缘2或边缘3中的任何两个的边缘权重能够被用于计算边缘4的边缘权重，或者3个边缘的中位值能够被用于计算边缘4的边缘权重。

在本发明的另一个实施例中，能够通过使用与边缘1邻近的另一个单元的边缘来预测该边缘权重。例如，在边缘1的情况中，边缘1的边缘权重能够通过使用邻近于边缘1的上块、左上块、右上块、左下块或右下块的边缘中的至少一个来进行预测。

在本发明的另一个实施例中，边缘权重还能够通过使用另一个帧以及当前帧内的块的边缘的边缘权重来进行预测。

图9是图示根据应用本发明的实施例的使用几何图元编译视频段中的块的边缘的过程的流程图。

应用本发明的编码方法可以通过以下算法来进行描述。例如，本发明能够重复地对诸如编译块、帧或编译块或帧的集合等的每个视频段执行编码方法。

编码器能够编码用于段的几何图元的数量N(S910)。

对于每个几何图元n＝1,2,...,N，编码器能够编码几何图元的类型信息和额外的参数(S920)。如果几何图元的类型信息不同于默认类型(default type)，则编码器能够编码将要被用于几何图元的距离权重函数的参数。例如，额外的参数包括标度参数和变化参数中的至少一个。

具体地，能够通过变化参数改变距离权重函数的图的形状。另外，作为距离权重函数的变量的距离d的大小能够通过标度参数进行调整。

此外，以下过程能够对视频段中的每个块执行。

对于图的目标单元中的每个边缘，编码器能够计算从边缘的中心到几何图元中的每个的最小距离，并且基于所计算的最小距离获得边缘权重(S930)。

然后，编码器能够使用目标单元的边缘权重编码目标单元中像素值(S940)。在这种情况下，目标单元可以包括原始数据、预测数据或残差数据。

基于图的信号建模单元(600)能够基于距离权重函数来编译基于图的信号。

例如，边缘权重编码单元(630)能够计算从边缘的中心到几何图元中的每个的最小距离(S1010)。

并且，边缘权重编码单元(630)能够将最下距离施应用于距离权重函数(S1020)，并且基于该结果计算最终边缘权重(S1030)。以上过程能够对视频信号段中的每个目标单元执行。

然后，边缘权重编码单元(630)能够使用目标单元的图信息来编码目标单元中的像素值(S1040)。在这种情况下，图信息能够包括边缘权重、几何图元的类型信息和额外的参数中的至少一个。

在本发明的另一个实施例中，几何图元可以是预先定义的几何图元集。距离权重函数能够将到几何图元的最近距离映射至权重。

在本发明的另一个实施例中，本发明提供一种组合来自不同的几何图元的权重的方法。

例如，单一函数可以被用于组合来自不同几何图元的权重。单一函数具有到最近图元的最小距离d的单一值。

在本发明的另一个实施例中，不同函数可以被分配给几何图元中的每个。例如，另一个函数可以被用于计算边缘权重，如公式9和公式10。

[公式9]

ω＝max{φ₁(d₁，...)，φ₂(d₂，...)，…，φ_N(d_N，...）}

[公式10]

ω＝median{φ₁(d₁，...)，φ₂(d₂，...)，…，φ_N(d_N，...）}

在公式9和公式10中，(n＝1,2,…,N)指示对于几何图元中的每个彼此不同的N个距离权重函数。公式9表示基于N个距离权重函数计算的边缘权重的最大值，以及公式10表示基于N个距离至权重函数计算的边缘权重的中位值。

在本发明的另一个实施例中，以上实施例能够被应用于如通过帧内预测获得的那些块的固定的块。并且，能够通过使用运动补偿来编译几何图元的参数。

另外，以上实施例能够被扩展成更高的维度空间。例如，本发明能够定义嵌入[0,1]^D空间中的几何图元并且使用函数w(x)，其中，x∈[0,1]^D。

解码器能够从编码器接收作为语法元素的基于图的信号的边缘权重(S1110)。例如，边缘权重可以被包括在序列信息、图片信息、片头(slice header)、片数据(slicedata)、编译单元、变换单元、残差信号的编译语法和块单元的至少一个中，并且可以被发送。或者，边缘权重可以从解码器中的另一个信息导出，例如，边缘权重可以从与几何图元相关的参数导出。

在本发明的实施例中，解码器能够获得边缘权重，并且使用用于生成转换块的边缘权重(S1120)。例如，可以通过转换矩阵表示转换块，并且转换矩阵的每个行和每个列可以被设定为用于目标单元内的边缘中的每个的边缘权重。

以及，解码器能够基于转换块解码转换系数(S1130)。

解码器基于转换系数重建残差信号，并且通过将残差信号添加至预测信号来生成重建信号(S1140)。

在本发明的另一个实施例中，解码器能够获得边缘权重，并且使用用于修改残差信号的边缘权重。例如，解码器能够通过将边缘权重应用于残差信号来获得修改的残差信号。

解码器能够通过将经由以上过程获得的修改的残差信号添加至预测信号来生成重建信号。

在本发明的另一个实施例中，解码器能够获得边缘权重，并且使用用于生成预测信号的边缘权重。

在本发明的另一个实施例中，编码器能够使用用于生成转换块信号或预测信号的边缘权重。

在本发明的另一个实施例中，编码器能够生成残差信号，并且通过将边缘权重应用于所生成的残差信号来修改该残差信号。换言之，编码器能够通过将边缘权重应用于残差信号来生成所修改的残差信号。在这种情况下，由于解码器接收所修改的残差信号，所以解码器不需要接收边缘权重，或者能够使用用于生成预测信号的边缘权重。

在本发明的另一个实施例中，解码器能够从编码器接收作为语法元素的与基于图的信号的几何图元相关的参数。例如，该参数包括几何图元的类型信息、数目信息和额外参数中的至少一个，并且此说明书中的上述实施例能够被应用于这个实施例。解码器能够基于参数导出边缘权重。

经由以上过程，解码器能够导出边缘权重，并且使用用于修改残差信号的边缘权重。例如，解码器能够通过将边缘权重应用于残差信号来获得修改的残差信号。以及，解码器能够通过将所修改的残差信号添加至预测信号来生成重建信号。

如上所述，本发明中解释的实施例可以被实现并且被在处理器、微处理器、控制器或芯片上执行。例如，在图1、2和6中解释的功能单元可以被实现和被在计算机、处理器、微处理器、控制器或芯片上执行。

如上所述，应用本发明的解码器和编码器可以被包括在多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监控摄像机、视频聊天设备、诸如视频通信的实时通信设备中，移动流设备、存储介质、摄像机、VoD服务提供设备、互联网流服务提供设备、三维(3D)视频设备、电话会议视频设备以及医疗视频设备，并且可以被用于编译视频信号和数据信号。

此外，应用本发明的解码/编码方法可以以将要由计算机执行的程序的形式来产生，并且可以被存储在计算机可读记录介质中。具有根据本发明的数据结构的多媒体数据还可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储由计算机系统可读的数据的全部类型的存储装置。例如，计算机可读记录介质可以包括BD、USB、ROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。另外，计算机可读记录介质包括以载波(例如，通过因特网传输)形式实现的介质。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线/无线通信网络传输。

【工业实用性】

已经以说明性目的公开了本发明的示例性实施例，并且本领域技术人员可以在公开于所附的权利要求书中的本发明的技术精神和范围内作出改进、改变、替换、添加各种其他实施例。

Claims

1.一种使用几何图元处理基于图的信号的方法，包括：

将所述几何图元指定为用于计算边缘权重；

获得用于所述几何图元中的每个的参数；

基于所述参数来计算用于图像内的边缘中的每个的边缘权重；以及

基于所述边缘权重来编码所述图像。

2.根据权利要求1所述的方法，进一步包括：

计算用于与目标块相对应的图中的边缘的最小距离；以及

将距离权重函数应用于所述最小距离，

其中，基于所述距离权重函数来计算所述边缘权重。

3.根据权利要求2所述的方法，

其中，所述最小距离指示从边缘的中心到所述几何图元的距离。

4.根据权利要求1所述的方法，

其中，所述参数包括类型信息、位置信息或长度信息中的至少一个。

5.根据权利要求4所述的方法，进一步包括：

检查是否所述类型信息不同于默认类型；以及

当所述类型信息不同于所述默认类型时，编码距离权重函数的参数。

6.根据权利要求4所述的方法，

其中，所述几何图元的类型信息指示所述几何图元的预定集合中的一个。

7.根据权利要求4所述的方法，

其中，所述几何图元中的每个使用不同的距离权重函数。

8.根据权利要求7所述的方法，

其中，通过使用另一个函数来计算边缘权重。

9.根据权利要求1所述的方法，

其中，所述图像对应于残差信号。

10.根据权利要求1所述的方法，

其中，通过使用归一化空间坐标来识别所述几何图元。

11.一种处理基于图的视频信号的方法，包括：

接收边缘权重；

使用所述边缘权重来生成变换矩阵，其中基于目标块内的边缘的边缘权重来映射所述变换矩阵。

使用所述变换矩阵来获得变换系数；以及

基于所述获得的变换系数来重建所述基于图的视频信号。

12.根据权利要求11所述的方法，

其中，使用基于图的视频信号的几何图元来计算所述边缘权重。

13.根据权利要求12所述的方法，

其中，基于所述目标块的边缘和所述几何图元之间的最小距离来计算所述边缘权重。

14.根据权利要求12所述的方法，

其中，基于所述几何图元的参数来计算所述边缘权重。

15.一种使用几何图元编码基于图的信号的设备，所述设备包括：

处理器，所述处理器被配置成：

将所述几何图元指定为用于计算边缘权重，

获得用于所述几何图元中的每个的参数，

基于所述参数来计算用于所述图像内的边缘中的每个的边缘权重；以及

基于所述边缘权重来编码所述图像。

16.一种解码基于图的视频信号的设备，包括：

处理器，所述处理器被配置成：

接收边缘权重，

通过将所述边缘权重应用于残差信号来获得修改的残差信号，以及

基于所述修改的残差信号来重建所述基于图的视频信号，

其中，基于目标块内的边缘的边缘权重来映射所述变换矩阵。