[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113766229B - 一种编码方法、解码方法、装置、设备及可读存储介质 - Google Patents

一种编码方法、解码方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN113766229B
CN113766229B CN202111160289.XA CN202111160289A CN113766229B CN 113766229 B CN113766229 B CN 113766229B CN 202111160289 A CN202111160289 A CN 202111160289A CN 113766229 B CN113766229 B CN 113766229B
Authority
CN
China
Prior art keywords
matrix
point
point cloud
target
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111160289.XA
Other languages
English (en)
Other versions
CN113766229A (zh
Inventor
冯亚楠
李琳
周冰
徐嵩
邢刚
马思伟
王苫社
徐逸群
胡玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
Peking University
China Mobile Communications Group Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
Peking University
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, Peking University, China Mobile Communications Group Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202111160289.XA priority Critical patent/CN113766229B/zh
Publication of CN113766229A publication Critical patent/CN113766229A/zh
Priority to PCT/CN2022/123245 priority patent/WO2023051783A1/zh
Application granted granted Critical
Publication of CN113766229B publication Critical patent/CN113766229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种编码方法、解码方法、装置、设备及可读存储介质，涉及图像处理技术领域，以提高处理性能。该方法包括：将当前帧的待处理的点云数据进行聚类，得到多个子点云；对于所述多个子点云中的任一目标子点云，根据所述目标子点云中多个点对之间的欧式距离，以及，所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离，生成广义拉普拉斯矩阵；利用所述广义拉普拉斯矩阵，对目标子点云进行帧间预测与图傅里叶残差变换；分别对变换后的多个子点云进行量化和编码，得到编码码流；其中，所述对应点位于所述目标子点云的参考点云中，所述参考点云位于所述当前帧的参考帧中。本申请实施例可提高处理性能。

Description

一种编码方法、解码方法、装置、设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种编码方法、解码方法、装置、设备及可读存储介质。
背景技术
随着计算机硬件及算法的发展，三维点云数据的获取越来越方便，点云数据的数据量也越来越大。点云数据由大量的三维无序点组成，每一个点包括位置信息(X，Y，Z)以及若干属性信息(颜色，法向量等)。
为了方便点云数据的存储与传输，点云压缩技术逐渐成为关注的焦点。现有技术提供了一种使用先前编码/解码的帧的帧间编码(例如，运动补偿)技术选择性地编码一个或多个3D点云块的方案。但是，这种方案的编码等处理性能较差。
发明内容
本申请实施例提供一种编码方法、解码方法、装置、设备及可读存储介质，以提升处理性能。
第一方面，本申请实施例提供了一种编码方法，应用于编码设备，包括：
将当前帧的待处理的点云数据进行聚类，得到多个子点云；
对于所述多个子点云中的任一目标子点云，根据所述目标子点云中多个点对之间的欧式距离，以及，所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离，生成广义拉普拉斯矩阵；
利用所述广义拉普拉斯矩阵，对目标子点云进行帧间预测与图傅里叶残差变换；
分别对变换后的多个子点云进行量化和编码，得到编码码流；
其中，所述对应点位于所述目标子点云的参考点云中，所述参考点云位于所述当前帧的参考帧中。
第二方面，本申请实施例还提供一种解码方法，应用于解码设备，所述方法包括：
获取编码码流；
对所述编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果；
基于所述变换结果，得到解码码流；
其中，所述编码码流是编码设备对子点云进行帧间预测与图傅里叶残差变换的结果进行编码得到的。
第三方面，本申请实施例还提供一种编码装置，包括：
第一获取模块，用于将当前帧的待处理的点云数据进行聚类，得到多个子点云；
第一生成模块，用于对于所述多个子点云中的任一目标子点云，根据所述目标子点云中多个点对之间的欧式距离，以及，所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离，生成广义拉普拉斯矩阵；
第一变换模块，用于利用所述广义拉普拉斯矩阵，对目标子点云进行帧间预测与图傅里叶残差变换；
第一编码模块，用于分别对变换后的多个子点云进行量化和编码，得到编码码流；
其中，所述对应点位于所述目标子点云的参考点云中，所述参考点云位于所述当前帧的参考帧中。
第四方面，本申请实施例还提供一种解码装置，包括：
第一获取模块，用于获取编码码流；
第一变换模块，用于对所述编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果；
第一解码模块，用于基于所述变换结果，得到解码码流；
其中，所述编码码流是编码设备对子点云进行帧间预测与图傅里叶残差变换的结果进行编码得到的。
第五方面，本申请实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的编码方法或解码方法中的步骤。
第六方面，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程序，所述程序被处理器执行时实现如上所述的编码方法或解码方法中的步骤。
在本申请实施例中，将当前帧的待处理的点云数据进行聚类，得到多个子点云，并对任一目标子点云，根据所述目标子点云中多个点对之间的欧式距离，以及，所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离，生成广义拉普拉斯矩阵，并利用所述广义拉普拉斯矩阵，分别对所述多个子点云进行帧间预测与图傅里叶残差变换，从而基于变换结果得到编码码流。由于广义拉普拉斯矩阵是利用点与点之间的欧式距离生成的，因此，在本申请实施例中可利用全局相关性特征，更加充分的表达出点与点之间的相关性，从而可以尽可能的去除点云数据之间的相似之处，提升了编码性能。
由于编码端的性能得到了提升，相应的，对于解码端来说，由于需要解码的数据得到优化，那么，可相应的提高解码效率和性能。
附图说明
图1是本申请实施例提供的编码方法的流程图；
图2和图3是本申请实施例的方法和现有技术的方法的效果对比示意图；
图4是本申请实施例提供的解码方法的流程图；
图5是本申请实施例提供的编码装置的结构图；
图6是本申请实施例提供的解码装置的结构图。
具体实施方式
本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1是本申请实施例提供的编码方法的流程图，应用于编码设备。如图1所示，包括以下步骤：
步骤101、将当前帧的待处理的点云数据进行聚类，得到多个子点云。
在此步骤中，将所述待处理的点云数据进行体元化，得到点云体元，然后，将所述点云体元进行聚类，得到多个子点云。
具体地，构建预设大小的三维网格，将待处理的点云数据置于构建的三维网格中，得到各点的坐标，并将含有点的三维网格作为点云体元，得到多个点云体元。此外，还可获得各点云体元的坐标和属性信息。其中，所述属性信息包括强度、颜色等。在本申请实施例中，点云体元的坐标，具体为点云体元中各点的中心点的坐标；点云体元的颜色信息，具体为点云体元中各点的颜色信息的平均值。在实际应用中还可以采用八叉树的方式等对待处理的点云数据进行体元化，得到多个点云体元。
其中，利用空间均匀划分方法，对于点云数据进行聚类。聚类方法例如可采用利用K-means聚类方法。
在本申请实施例中，基于位置信息将待处理的点云数据划分为多个子点云，空间均匀划分。每一个子点云可独立编码。
步骤102、对于所述多个子点云中的任一目标子点云，根据所述目标子点云中多个点对之间的欧式距离，以及，所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离，生成广义拉普拉斯矩阵。其中，所述对应点位于所述目标子点云的参考点云中，所述参考点云位于所述当前帧的参考帧中。
其中，多个子点云中的任一子点云都可作为目标子点云。在实际应用中，对每个目标子点云的处理方式相同。
具体的，在此步骤中，可包括如下内容：
S1021、根据所述目标子点云中多个点对之间的欧式距离，得到权重矩阵。
其中，目标子点云中可包括多个点，每两个点构成本实施例中的一个点对。在本申请实施例中，计算每个点对中两个点之间的欧式距离。例如，对于所述目标子点云中的第i个点和第j个点，计算得到第i个点和第j个点之间的欧式距离。具体的，对于点i(x1，x2……xn)和点j(y1，y2……yn)之间的欧式距离d(i,j)，在实际应用中可按照以下公式计算：
Figure GDA0004014290900000051
其中，1≤i≤M，1≤j≤M，i，j，M为整数，M为所述目标子点云中包括的点的总数。
之后，按照以下公式计算权重，并利用所述权重形成所述权重矩阵W：
Figure GDA0004014290900000052
其中，Wij表示目标子点云中的第i个点到第j个点的边所对应的权重；distance表示第i个点到第j个点之间的欧式距离；σ为不等于0的常数，表示调节参数。
S1022、根据度矩阵和所述权重矩阵，得到拉普拉斯矩阵。
在此步骤中，利用度矩阵和所述权重矩阵的差，作为拉普拉斯矩阵。
具体的：L＝D-W，L表示拉普拉斯矩阵，D表示度矩阵，W表示权重矩阵。
其中，所述度矩阵的对角线元素di＝∑jWij，其他元素为0。其中，di表示度矩阵的第i个对角线元素，Wij表示所述目标子点云中的第i个点到第j个点的边所对应的权重
S1023、生成对角矩阵。
所述对角矩阵是根据所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离生成的。
具体的，可首先在所述参考帧中确定所述目标子点云的参考点云。例如，在参考帧中进行运动估计，找到匹配的参考点云。其中，目标子点云和参考点是一一对应的。例如，利用迭代最近点算法，在所述参考帧中，可基于欧式距离确定所述目标子点云的参考点云。然后，基于目标子点云中的每个点与每个点在所述参考点云中的对应点之间的欧式距离，生成所述对角矩阵Dw。其中，所述对角矩阵的第i个对角线上的值，为第i个点与点p之间的欧式距离的倒数，其他元素为0。其中，点p为第i个点在所述参考点云中的对应点。
S1024、根据所述对角矩阵和所述拉普拉斯矩阵，得到所述广义拉普拉斯矩阵。
在此步骤中，利用所述对角矩阵和所述拉普拉斯矩阵的和，作为所述广义拉普拉斯矩阵。
具体的：Lg＝L+Dw，其中，Lg表示广义拉普拉斯矩阵，L表示拉普拉斯矩阵，Dw表示对角矩阵。
步骤103、利用所述广义拉普拉斯矩阵，对目标子点云进行帧间预测与图傅里叶残差变换。
在此步骤中，所述帧间预测与图傅里叶残差变换可以理解为是基于欧式距离权重的帧间预测与图傅里叶残差变换，可包括如下内容：
S1031、获取所述参考帧对所述当前帧的目标属性的属性预测值。
在本申请实施例中，采用帧间预测方法，利用参考帧来预测当前帧的属性值。其中，所述属性可包括颜色，强度，法向量等。那么，所述目标属性可以是任一属性。
具体的，在此步骤中，按照如下公式，得到所述参考帧对所述当前帧的目标属性的属性预测值：
Figure GDA0004014290900000061
其中，
Figure GDA0004014290900000062
表示参考帧对当前帧的目标属性的属性预测值，xt-1表示参考帧的目标属性的属性值，Lg表示广义拉普拉斯矩阵。
S1032、根据所述当前帧的目标属性的属性值、所述参考帧对所述当前帧的目标属性的属性预测值，生成所述当前帧的目标属性的残差。
具体的，在此，可利用所述当前帧的目标属性的属性值与所述参考帧对所述当前帧的目标属性的属性预测值之差，作为所述残差：
Figure GDA0004014290900000063
其中，δ表示所述当前帧的目标属性的残差，
Figure GDA0004014290900000064
表示参考帧对当前帧的目标属性的属性预测值，xt表示当前帧的目标属性的属性值。
通过帧间预测方法获得残差，从而可尽可能多的获得两帧之间的差异。由于两帧之间相同的部分无需额外处理，从而通过计算残差的方式，可节省码率。
S1033、基于所述广义拉普拉斯矩阵对所述当前帧的目标属性的残差进行变换。
在此步骤中，利用所述广义拉普拉斯矩阵得到变换矩阵，之后，利用所述变换矩阵对所述当前帧的目标属性的残差进行变换。
具体的，对以下公式求解，得到变换矩阵：
Figure GDA0004014290900000071
其中，Lg表示广义拉普拉斯矩阵，
Figure GDA0004014290900000072
表示变换矩阵。
利用以下公式，得到所述变换结果：
Figure GDA0004014290900000073
其中，
Figure GDA0004014290900000075
表示变换结果，
Figure GDA0004014290900000074
表示变换矩阵，δ表示所述当前帧的目标属性的残差。
在本申请实施例中，在传统的图傅里叶变换的基础上，引入广义图傅里叶变换的概念，对于点云数据的帧间属性进行预测与残差变换，从而可进一步去除数据间的冗余，提高编码效率。
其中，对其他子点云的处理方式和对目标子点云的处理方式相同。
步骤104、分别对变换后的多个子点云进行量化和编码，得到编码码流。
在步骤中，对变换后的多个子点云进行均匀量化和算数编码，得到编码码流。
以目标属性为颜色为例，在此，可将颜色分解为三个3×1的向量(YUV或RGB)。以Y分量为例，按照S1031中的过程对当前帧的属性值进行预测，并按照S1032生成残差。之后，利用S1033对残差进行变换。变换后的Y分量进行均匀量化和算数编码，得到码流。对于每个分量，都可按照Y分量相同的处理方式进行处理。
在本申请实施例中，由于广义拉普拉斯矩阵是利用点与点之间的欧式距离生成的，因此，在本申请实施例中可利用全局相关性特征，更加充分的表达出点与点之间的相关性，从而可以尽可能的去除点云数据之间的相似之处，提升了编码性能。
在实际应用中，在实际点云序列上进行了测试。在测试中，首先针对16帧动态点云进行了测试，图2中显示了本申请实施例的方法与RAHT(Region-Adaptive HierarchicalTransform，区域自适应层级变换)，NWGFT(主方向权重图傅里叶变换)方法性能的对比。为了量化增益，在实验中，又做了和RAHT方法的数据对比，如图3所示。
从图2和图3中可以看出，本申请实施例中，在传统的图傅里叶变换的基础上，引入广义图傅里叶变换的概念，对于点云帧间属性进行预测与残差变换，从而可进一步去除数据间的冗余，提高编码效率。实验结果表明，本申请实施例的方法能够提高主客观性能，可以地应用在实际点云的压缩、传输、存储系统中。
参见图4，图4是本申请实施例提供的解码方法的流程图，应用于编码设备。如图4所示，包括以下步骤：
步骤401、获取编码码流。
其中，所述编码码流是编码设备利用广义拉普拉斯矩阵对子点云进行帧间预测与图傅里叶残差变换的结果进行编码得到的。
步骤402、对所述编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果。
在解码端，对编码码流进行熵解码后，对所述编码码流进行反量化。之后，对反量化后的编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果。
具体的，在此可利用以下公式对反量化后的编码码流进行基于欧式距离权重的图傅里叶反变换：
Figure GDA0004014290900000081
其中，
Figure GDA0004014290900000082
表示反变换残差值，
Figure GDA0004014290900000083
表示变换矩阵，
Figure GDA0004014290900000084
表示当前帧的目标属性的量化残差值，ε表示反量化系数。
步骤403、基于所述变换结果，得到解码码流。
在本申请实施例中，由于广义拉普拉斯矩阵是利用点与点之间的欧式距离生成的，因此，在本申请实施例中可利用全局相关性特征，更加充分的表达出点与点之间的相关性，从而可以尽可能的去除点云数据之间的相似之处，提升了编码性能。由于编码端的性能得到了提升，相应的，对于解码端来说，由于需要解码的数据得到优化，那么，可相应的提高解码效率和性能。
本申请实施例还提供了一种编码装置。参见图5，图5是本申请实施例提供的编码装置的结构图。由于编码装置解决问题的原理与本申请实施例中编码方法相似，因此该编码装置的实施可以参见方法的实施，重复之处不再赘述。
如图5所示，编码装置500包括：
第一获取模块501，用于将当前帧的待处理的点云数据进行聚类，得到多个子点云；第一生成模块502，用于对于所述多个子点云中的任一目标子点云，根据所述目标子点云中多个点对之间的欧式距离，以及，所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离，生成广义拉普拉斯矩阵；第一变换模块503，用于利用所述广义拉普拉斯矩阵，对目标子点云进行帧间预测与图傅里叶残差变换；第一编码模块504，用于分别对变换后的多个子点云进行量化和编码，得到编码码流；其中，所述对应点位于所述目标子点云的参考点云中，所述参考点云位于所述当前帧的参考帧中。
可选的，所述第一获取模块包括：第一处理子模块，用于将所述待处理的点云数据进行体元化，得到点云体元；第一获取子模块，用于将所述点云体元进行聚类，得到多个子点云。
可选的，所述第一生成模块包括：
第一获取子模块，用于根据所述目标子点云中多个点对之间的欧式距离，得到权重矩阵；第二获取子模块，用于根据度矩阵和所述权重矩阵，得到拉普拉斯矩阵；第一生成子模块，用于生成对角矩阵；第二生成子模块，用于根据所述对角矩阵和所述拉普拉斯矩阵，得到所述广义拉普拉斯矩阵。
具体的，所述第二获取子模块，用于利用所述度矩阵和所述权重矩阵的差，作为拉普拉斯矩阵；所述第二生成子模块，用于利用所述对角矩阵和所述拉普拉斯矩阵的和，作为所述广义拉普拉斯矩阵。
其中，所述度矩阵的对角线元素di＝∑jWij，其中，di表示度矩阵的第i个对角线元素，Wij表示所述目标子点云中的第i个点到第j个点的边所对应的权重；1≤i≤M，1≤j≤M，i，j，M为整数，M为所述目标子点云中包括的点的总数；
所述对角矩阵是根据所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离生成的。
可选的，所述第一获取子模块包括：
第一计算单元，用于对于所述目标子点云中的第i个点和第j个点，计算得到第i个点和第j个点之间的欧式距离；
第一获取单元，用于按照以下公式计算权重，并利用所述权重形成所述权重矩阵：
Figure GDA0004014290900000101
其中，Wij表示目标子点云中的第i个点到第j个点的边所对应的权重；distance表示第i个点到第j个点之间的欧式距离；σ为不等于0的常数，表示调节参数；1≤i≤M，1≤j≤M，i，j，M为整数，M为所述目标子点云中包括的点的总数。
可选的，所述第一生成子模块包括：
第一确定单元，用于在所述参考帧中确定所述目标子点云的参考点云；第一生成单元，用于基于目标子点云中的每个点与每个点在所述参考点云中的对应点之间的欧式距离，生成所述对角矩阵；其中，所述对角矩阵的第i个对角线上的值，为第i个点与点p之间的欧式距离的倒数，其中，点p为第i个点在所述参考点云中的对应点。
可选的，所述第一确定单元，用于利用迭代最近点算法，在所述参考帧中确定所述目标子点云的参考点云。
可选的，所述第一变换模块包括：
第一获取子模块，用于获取所述参考帧对所述当前帧的目标属性的属性预测值；第一生成子模块，用于根据所述当前帧的目标属性的属性值、所述参考帧对所述当前帧的目标属性的属性预测值，生成所述当前帧的目标属性的残差；第一变换子模块，用于基于所述广义拉普拉斯矩阵对所述当前帧的目标属性的残差进行变换。
可选的，所述第一获取子模块，用于按照如下公式，得到所述参考帧对所述当前帧的目标属性的属性预测值：
Figure GDA0004014290900000102
其中，
Figure GDA0004014290900000103
表示参考帧对当前帧的目标属性的属性预测值，xt-1表示参考帧的目标属性的属性值，Lg表示广义拉普拉斯矩阵。
可选的，所述第一生成子模块，用于利用所述当前帧的目标属性的属性值与所述参考帧对所述当前帧的目标属性的属性预测值之差，作为所述残差。
可选的，所述第一变换子模块包括：
第一获取单元，用于利用所述广义拉普拉斯矩阵得到变换矩阵；第一变换单元，用于利用所述变换矩阵对所述当前帧的目标属性的残差进行变换。
可选的，所述第一获取单元，用于对以下公式求解，得到变换矩阵：
Figure GDA0004014290900000111
其中，Lg表示广义拉普拉斯矩阵，
Figure GDA0004014290900000112
表示变换矩阵。
可选的，所述第一变换单元，用于利用以下公式，得到所述变换结果：
Figure GDA0004014290900000113
其中，
Figure GDA0004014290900000119
表示变换结果，
Figure GDA0004014290900000114
表示变换矩阵，δ表示所述当前帧的目标属性的残差。
本申请实施例提供的装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
本申请实施例还提供了一种解码装置。参见图6，图6是本申请实施例提供的解码装置的结构图。由于解码装置解决问题的原理与本申请实施例中解码方法相似，因此该解码装置的实施可以参见方法的实施，重复之处不再赘述。
如图6所示，解码装置600包括：
第一获取模块601，用于获取编码码流；第一变换模块602，用于对所述编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果；第一解码模块603，用于基于所述变换结果，得到解码码流；其中，所述编码码流是编码设备对子点云进行帧间预测与图傅里叶残差变换的结果进行编码得到的。
可选的，所述第一变换模块包括：第一处理子模块，用于对所述编码码流进行反量化；第一变换子模块，用于对反量化后的编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果。
可选的，所述第一变换子模块用于，利用以下公式对反量化后的编码码流进行基于欧式距离权重的图傅里叶反变换：
Figure GDA0004014290900000115
其中，
Figure GDA0004014290900000116
表示反变换残差值，
Figure GDA0004014290900000117
表示变换矩阵，
Figure GDA0004014290900000118
表示当前帧的目标属性的量化残差值，ε表示反量化系数。
本申请实施例提供的装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的编码方法或解码方法中的步骤。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序，该程序被处理器执行时实现上述编码或解码方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的可读存储介质，可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁盘、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (18)

1.一种编码方法，应用于编码设备，其特征在于，包括：
将当前帧的待处理的点云数据进行聚类，得到多个子点云；
对于所述多个子点云中的任一目标子点云，根据所述目标子点云中多个点对之间的欧式距离，以及，所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离，生成广义拉普拉斯矩阵；
利用所述广义拉普拉斯矩阵，对所述目标子点云进行帧间预测和图傅里叶残差变换；
分别对变换后的多个子点云进行量化和编码，得到编码码流；
其中，所述对应点位于所述目标子点云的参考点云中，所述参考点云位于所述当前帧的参考帧中；
其中，所述根据所述目标子点云中多个点对之间的欧式距离，以及，所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离，生成广义拉普拉斯矩阵，包括：
根据所述目标子点云中多个点对之间的欧式距离，得到权重矩阵；
根据度矩阵和所述权重矩阵，得到拉普拉斯矩阵；
生成对角矩阵；
根据所述对角矩阵和所述拉普拉斯矩阵，得到所述广义拉普拉斯矩阵；
其中，利用所述度矩阵和所述权重矩阵的差，作为拉普拉斯矩阵；
利用所述对角矩阵和所述拉普拉斯矩阵的和，作为所述广义拉普拉斯矩阵；
其中，所述度矩阵的对角线元素di＝∑jWij，其中，di表示度矩阵的第i个对角线元素，Wij表示所述目标子点云中的第i个点到第j个点的边所对应的权重；1≤i≤M，1≤j≤M，i，j，M为整数，M为所述目标子点云中包括的点的总数；
所述对角矩阵是根据所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离生成的。
2.根据权利要求1所述的方法，其特征在于，所述将当前帧的待处理的点云数据进行聚类，得到多个子点云，包括：
将所述待处理的点云数据进行体元化，得到点云体元；
将所述点云体元进行聚类，得到多个子点云。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标子点云中多个点对之间的欧式距离，得到权重矩阵，包括：
对于所述目标子点云中的第i个点和第j个点，计算得到第i个点和第j个点之间的欧式距离；
按照以下公式计算权重，并利用所述权重形成所述权重矩阵：
Figure FDA0004087268170000021
其中，Wij表示目标子点云中的第i个点到第j个点的边所对应的权重；distance表示第i个点到第j个点之间的欧式距离；σ为不等于0的常数，表示调节参数；1≤i≤M，1≤j≤M，i，j，M为整数，M为所述目标子点云中包括的点的总数。
4.根据权利要求1所述的方法，其特征在于，所述生成对角矩阵，包括：
在所述参考帧中确定所述目标子点云的参考点云；
基于目标子点云中的每个点与每个点在所述参考点云中的对应点之间的欧式距离，生成所述对角矩阵；
其中，所述对角矩阵的第i个对角线上的值，为第i个点与点p之间的欧式距离的倒数，其中，点p为第i个点在所述参考点云中的对应点。
5.根据权利要求4所述的方法，其特征在于，所述在所述参考帧中确定所述目标子点云的参考点云，包括：
利用迭代最近点算法，在所述参考帧中确定所述目标子点云的参考点云。
6.根据权利要求1所述的方法，其特征在于，所述利用所述广义拉普拉斯矩阵，分别对所述多个子点云进行帧间预测与图傅里叶残差变换，包括：
获取所述参考帧对所述当前帧的目标属性的属性预测值；
根据所述当前帧的目标属性的属性值、所述参考帧对所述当前帧的目标属性的属性预测值，生成所述当前帧的目标属性的残差；
基于所述广义拉普拉斯矩阵对所述当前帧的目标属性的残差进行变换。
7.根据权利要求6所述的方法，其特征在于，所述获取所述参考帧对所述当前帧的目标属性的属性预测值，包括：
按照如下公式，得到所述参考帧对所述当前帧的目标属性的属性预测值：
Figure FDA0004087268170000031
其中，
Figure FDA0004087268170000032
表示参考帧对当前帧的目标属性的属性预测值，xt-1表示参考帧的目标属性的属性值，Lg表示广义拉普拉斯矩阵。
8.根据权利要求6所述的方法，其特征在于，所述根据所述当前帧的目标属性的属性值、所述参考帧对所述当前帧的目标属性的属性预测值，生成所述当前帧的目标属性的残差，包括：
利用所述当前帧的目标属性的属性值与所述参考帧对所述当前帧的目标属性的属性预测值之差，作为所述残差。
9.根据权利要求6所述的方法，其特征在于，所述基于所述广义拉普拉斯矩阵对所述当前帧的目标属性的残差进行变换，包括：
利用所述广义拉普拉斯矩阵得到变换矩阵；
利用所述变换矩阵对所述当前帧的目标属性的残差进行变换。
10.根据权利要求6所述的方法，其特征在于，所述利用所述广义拉普拉斯矩阵得到变换矩阵，包括：
对以下公式求解，得到变换矩阵：
Figure FDA0004087268170000033
其中，Lg表示广义拉普拉斯矩阵，
Figure FDA0004087268170000034
表示变换矩阵。
11.根据权利要求9所述的方法，其特征在于，所述利用所述变换矩阵对所述当前帧的目标属性的残差进行变换，包括：
利用以下公式，得到变换结果：
Figure FDA0004087268170000035
其中，θ表示变换结果，
Figure FDA0004087268170000036
表示变换矩阵，δ表示所述当前帧的目标属性的残差。
12.一种解码方法，应用于解码设备，其特征在于，所述方法包括：
获取编码码流；
对所述编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果；
基于所述变换结果，得到解码码流；
其中，所述编码码流是编码设备利用广义拉普拉斯矩阵对子点云进行帧间预测与图傅里叶残差变换的结果进行编码得到的；
其中，所述广义拉普拉斯矩阵通过如下方式生成：
根据目标子点云中多个点对之间的欧式距离，得到权重矩阵；
根据度矩阵和所述权重矩阵，得到拉普拉斯矩阵；
生成对角矩阵；
根据所述对角矩阵和所述拉普拉斯矩阵，得到所述广义拉普拉斯矩阵；
其中，利用所述度矩阵和所述权重矩阵的差，作为拉普拉斯矩阵；
利用所述对角矩阵和所述拉普拉斯矩阵的和，作为所述广义拉普拉斯矩阵；
其中，所述度矩阵的对角线元素di＝∑jWij，其中，di表示度矩阵的第i个对角线元素，Wij表示所述目标子点云中的第i个点到第j个点的边所对应的权重；1≤i≤M，1≤j≤M，i，j，M为整数，M为所述目标子点云中包括的点的总数；
所述对角矩阵是根据所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离生成的。
13.根据权利要求12所述的方法，其特征在于，所述对所述编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果，包括：
对所述编码码流进行反量化；
对反量化后的编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果。
14.根据权利要求13所述的方法，其特征在于，所述对所述编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果，包括：
利用以下公式对反量化后的编码码流进行基于欧式距离权重的图傅里叶反变换：
Figure FDA0004087268170000041
其中，
Figure FDA0004087268170000042
表示反变换残差值，
Figure FDA0004087268170000043
表示变换矩阵，
Figure FDA0004087268170000044
表示当前帧的目标属性的量化残差值，ε表示反量化系数。
15.一种编码装置，其特征在于，包括：
第一获取模块，用于将当前帧的待处理的点云数据进行聚类，得到多个子点云；
第一生成模块，用于对于所述多个子点云中的任一目标子点云，根据所述目标子点云中多个点对之间的欧式距离，以及，所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离，生成广义拉普拉斯矩阵；
第一变换模块，用于利用所述广义拉普拉斯矩阵，对目标子点云进行帧间预测与图傅里叶残差变换；
第一编码模块，用于分别对变换后的多个子点云进行量化和编码，得到编码码流；
其中，所述对应点位于所述目标子点云的参考点云中，所述参考点云位于所述当前帧的参考帧中；
其中，所述第一生成模块包括：
第一获取子模块，用于根据所述目标子点云中多个点对之间的欧式距离，得到权重矩阵；第二获取子模块，用于根据度矩阵和所述权重矩阵，得到拉普拉斯矩阵；第一生成子模块，用于生成对角矩阵；第二生成子模块，用于根据所述对角矩阵和所述拉普拉斯矩阵，得到所述广义拉普拉斯矩阵；
其中，所述第二获取子模块，用于利用所述度矩阵和所述权重矩阵的差，作为拉普拉斯矩阵；所述第二生成子模块，用于利用所述对角矩阵和所述拉普拉斯矩阵的和，作为所述广义拉普拉斯矩阵；
其中，所述度矩阵的对角线元素di＝∑jWij，其中，di表示度矩阵的第i个对角线元素，Wij表示所述目标子点云中的第i个点到第j个点的边所对应的权重；1≤i≤M，1≤j≤M，i，j，M为整数，M为所述目标子点云中包括的点的总数；
所述对角矩阵是根据所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离生成的。
16.一种解码装置，其特征在于，包括：
第一获取模块，用于获取编码码流；
第一变换模块，用于对所述编码码流进行基于欧式距离权重的图傅里叶反变换，得到变换结果；
第一解码模块，用于基于所述变换结果，得到解码码流；
其中，所述编码码流是编码设备利用广义拉普拉斯矩阵对子点云进行帧间预测与图傅里叶残差变换的结果进行编码得到的；
其中，所述广义拉普拉斯矩阵通过如下方式生成：
根据目标子点云中多个点对之间的欧式距离，得到权重矩阵；
根据度矩阵和所述权重矩阵，得到拉普拉斯矩阵；
生成对角矩阵；
根据所述对角矩阵和所述拉普拉斯矩阵，得到所述广义拉普拉斯矩阵；
其中，利用所述度矩阵和所述权重矩阵的差，作为拉普拉斯矩阵；
利用所述对角矩阵和所述拉普拉斯矩阵的和，作为所述广义拉普拉斯矩阵；
其中，所述度矩阵的对角线元素di＝∑jWij，其中，di表示度矩阵的第i个对角线元素，Wij表示所述目标子点云中的第i个点到第j个点的边所对应的权重；1≤i≤M，1≤j≤M，i，j，M为整数，M为所述目标子点云中包括的点的总数；
所述对角矩阵是根据所述目标子点云中的目标点与所述目标点的对应点之间的欧式距离生成的。
17.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，
所述处理器，用于读取存储器中的程序实现如权利要求1至11中任一项所述的编码方法中的步骤；或者实现如权利要求12至14中任一项所述的解码方法中的步骤。
18.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1至11中任一项所述的编码方法中的步骤；或者实现如权利要求12至14中任一项所述的解码方法中的步骤。
CN202111160289.XA 2021-09-30 2021-09-30 一种编码方法、解码方法、装置、设备及可读存储介质 Active CN113766229B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111160289.XA CN113766229B (zh) 2021-09-30 2021-09-30 一种编码方法、解码方法、装置、设备及可读存储介质
PCT/CN2022/123245 WO2023051783A1 (zh) 2021-09-30 2022-09-30 一种编码方法、解码方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111160289.XA CN113766229B (zh) 2021-09-30 2021-09-30 一种编码方法、解码方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113766229A CN113766229A (zh) 2021-12-07
CN113766229B true CN113766229B (zh) 2023-04-28

Family

ID=78798550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111160289.XA Active CN113766229B (zh) 2021-09-30 2021-09-30 一种编码方法、解码方法、装置、设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN113766229B (zh)
WO (1) WO2023051783A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766229B (zh) * 2021-09-30 2023-04-28 咪咕文化科技有限公司 一种编码方法、解码方法、装置、设备及可读存储介质
WO2023173238A1 (zh) * 2022-03-12 2023-09-21 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2023245981A1 (zh) * 2022-06-20 2023-12-28 北京大学深圳研究生院 一种点云的压缩方法、装置、电子设备及存储介质
CN114785998A (zh) * 2022-06-20 2022-07-22 北京大学深圳研究生院 一种点云的压缩方法、装置、电子设备及存储介质
WO2024077911A1 (en) * 2022-10-13 2024-04-18 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
CN116797625B (zh) * 2023-07-20 2024-04-19 无锡埃姆维工业控制设备有限公司 一种单目三维工件位姿估计方法
CN118433395B (zh) * 2024-07-02 2024-09-03 北京数原数字化城市研究中心 一种编码方法、装置及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171761B (zh) * 2017-12-13 2020-10-16 北京大学 一种基于傅里叶图变换的点云帧内编码方法及装置
WO2020197086A1 (ko) * 2019-03-25 2020-10-01 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN112385238B (zh) * 2019-07-10 2023-03-24 深圳市大疆创新科技有限公司 一种数据编码、数据解码方法、设备及存储介质
CN110418135B (zh) * 2019-08-05 2022-05-27 北京大学深圳研究生院 一种基于邻居的权重优化的点云帧内预测方法及设备
CN110572655B (zh) * 2019-09-30 2023-01-10 北京大学深圳研究生院 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备
CN113766229B (zh) * 2021-09-30 2023-04-28 咪咕文化科技有限公司 一种编码方法、解码方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
WO2023051783A1 (zh) 2023-04-06
CN113766229A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113766229B (zh) 一种编码方法、解码方法、装置、设备及可读存储介质
CN113678466A (zh) 用于预测点云属性编码的方法和设备
US8805097B2 (en) Apparatus and method for coding a three dimensional mesh
CN111641832A (zh) 编码方法、解码方法、装置、电子设备及存储介质
CN102236675A (zh) 图像特征点匹配对处理、图像检索方法及设备
US12088804B2 (en) Method and device for encoding/decoding video signal by using optimized conversion based on multiple graph-based model
CN110363297A (zh) 神经网络训练及图像处理方法、装置、设备和介质
CN114245896A (zh) 向量查询方法、装置、电子设备及存储介质
US12046009B2 (en) 3D point cloud encoding and decoding method, compression method and device based on graph dictionary learning
CN107113426B (zh) 使用广义图形参数执行基于图形的变换的方法和设备
CN104392207A (zh) 一种用于数字图像内容识别的特征编码方法
CN115130571A (zh) 特征编码及解码方法、装置、电子设备及存储介质
JP6748022B2 (ja) 分割形状決定装置、学習装置、分割形状決定方法及び分割形状決定プログラム
Gupta et al. Hybrid edge-based fractal image encoding using K-NN search
CN107231556A (zh) 一种图像处理设备
Hajizadeh et al. Predictive compression of animated 3D models by optimized weighted blending of key‐frames
US10715802B2 (en) Method for encoding/decoding video signal by using single optimized graph
CN114565693A (zh) 图像生成和神经网络训练方法、装置、设备及介质
CN114359291A (zh) 一种训练实例分割模型的方法以及实例分割方法
Akutsu et al. End-to-End Deep ROI Image Compression
Valarmathi et al. Iteration-free fractal image compression using Pearson’s correlation coefficient-based classification
CN105706447A (zh) 动画图像编码设备、动画图像解码设备、动画图像编码方法、动画图像解码方法以及程序
Thakur et al. Image‐independent optimal non‐negative integer bit allocation technique for the DCT‐based image transform coders
CN114189692B (zh) 基于连续子空间图变换的点云属性编码方法及解码方法
JP5561611B2 (ja) 画像符号化方法，画像符号化装置および画像符号化プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant