CN118661195A - 用于编码和解码3d点云的方法、编码器、解码器 - Google Patents

Abstract

一种编码点云的几何的方法，其特征在于，所述点云优选地通过包括一组波束的波束组件获取，以生成压缩点云数据的比特流，所述点云的几何在预测树结构中定义，所述预测树结构具有多个具有父子关系的节点并表示对象的三维位置，所述方法包括：对于当前节点：确定方位角残差；基于半径信息确定对所述方位角残差进行编码的上下文；以及基于所确定的上下文将所述方位角残差熵编码到所述比特流中。

Description

用于编码和解码3D点云的方法、编码器、解码器

技术领域

本发明涉及一种用于从比特流中解码3D点云的方法。另外，本发明的目的是提供一种用于将3D点云编码成比特流的方法。此外，本发明的目的是提供一种编码器和解码器。本发明的目的是提供一种提高3D点云编码效率的方法。

背景技术

作为3D(三维)数据表示的格式，点云最近获得了关注，因为它们在表示所有类型的3D对象或场景方面具有多功能性。因此，许多用例可以通过点云来解决，其中包括：

·电影后期制作，

·实时3D沉浸式远程呈现或虚拟现实(VR)/增强现实(AR)应用，

·自由视点视频(例如，用于体育观看)，

·地理信息系统(又名制图)，

·文化遗产(以数字形式存储稀有物品的扫描件)，

·自动驾驶，包括环境的3D测绘和实时激光雷达数据采集。

点云是位于3D空间中的一组点，可选地，将附加值附加到每个点。这些附加值通常被称为点属性。因此，点云是几何(每个点的3D位置)与属性的组合。

例如，属性可以是三分量颜色、材料属性(诸如反射率)、和/或与点相关的表面的二分量法向量。

点云可以由各种类型的设备捕获，如相机阵列、深度传感器、激光雷达(Lidar)、扫描仪，或者可以由计算机生成(例如在电影后期制作中)。根据用例的不同，点云可能有数千到数十亿个点用于制图应用。

点云的原始表示需要每个点具有非常高的比特数，每个空间分量X、Y、或Z具有至少十二个比特，并且可选地为属性提供更多比特，例如，三乘以10比特用于颜色。基于点云的应用的实际部署需要压缩技术，以便合理的存储和传输基础设施来存储和分发点云。

对于分发到终端用户并由终端用户可视化(例如在AR/VR眼镜或任何其他支持3D的设备上)，压缩可以是有损的(比如在视频压缩中)。其他用例(例如，医疗应用或自动驾驶)确实需要无损压缩以避免改变通过分析压缩并传输的点云而获得的决策的结果。

直到最近，点云压缩(又名PCC，Point Cloud Compression)还没有被大众市场解决，并且没有可用的标准化点云编解码器。在2017年，标准化工作组ISO/JCT1/SC29/WG11(也称为运动图像专家组或MPEG)启动了关于点云压缩的工作项目。这产生了两个标准，即：

·MPEG-I第5部分(ISO/IEC 23090-5)或基于视频的点云压缩(V-PCC，Video-based PCC)，以及

·MPEG-I第9部分(ISO/IEC 23090-9)或基于几何的点云压缩(G-PCC，Geometry-based PCC)。

V-PCC和G-PCC标准都在2020年末完成了它们的第一个版本。

V-PCC编码方法通过执行3D对象的多个投影以获得打包成图像(或者在处理动态点云时打包成视频)的2D(二维)补丁(patch)来压缩点云。然后，使用现有的图像/视频编解码器压缩获取到的图像或视频，允许利用已经部署的图像和视频解决方案。就其本质而言，V-PCC仅在密集和连续的点云上有效，因为图像/视频编解码器无法压缩非平滑补丁，例如，从激光雷达采集的稀疏几何数据的投影中获得的非平滑补丁。

G-PCC编码方法有两种用于压缩几何的方案。第一种方案基于点云几何的占用树(八叉树/四叉树/二叉树)表示。被占用的节点被分割，直到达到特定大小，并且被占用的叶节点提供点的位置，通常在这些节点的中心。通过使用基于邻居的预测技术，可以获得对密集点云的高水平压缩。稀疏点云也通过对具有非最小尺寸的节点内的点的位置进行直接编码、通过当节点中仅存在孤立的点时停止树构建来处理；这种技术被称为直接编码模式(DCM，Direct Coding Mode)。

第二种方案基于预测树，每个节点表示一个点的3D位置，并且节点之间的关系是从父到子的空间预测。这种方法只能处理稀疏点云，并且与占用树相比，具有延迟更低、解码更简单的优点。然而，相较于第一种基于占用的方法，压缩性能仅稍微好一点，并且编码复杂，在构建预测树时密集地寻找最佳预测器(在一长串潜在的预测器中)。

在两种方案中，属性(解)编码在几何(解)编码完成后执行，导致两遍编码。因此，通过使用切片将3D空间分解成独立编码的子体积(sub-volume)而无需在子体积之间进行预测，可以获得低延迟。当使用很多切片时，可能会严重影响压缩性能。

一个重要的用例是动态AR/VR点云的传输。动态意味着点云随时间演变。而且，AR/VR点云通常是局部2D的，因为它们在大多数时候表示对象/物体的表面。因此，AR/VR点云是高度连接的(或者说是密集的)，因为点很少是孤立的，而是有许多相邻点。

密集(或实心)点云表示连续的表面，其分辨率使得与点相关联的体积(volume)(称为体素的小立方体)相互接触，而不会在表面上显示任何可见的孔。

这种点云通常用于AR/VR环境，并由终端用户通过例如电视(TV)、智能手机或头盔的设备查看。它们被传输到设备或存储在本地。许多AR/VR应用使用的是随时间变化的移动点云，而不是静态点云。因此，数据量巨大，并且必须进行压缩。如今，基于点云几何的八叉树表示的无损压缩可以实现每点略低于一比特(1bpp)。这对于实时传输可能是不够的，实时传输可能涉及每帧几百万个点，帧速率高达每秒50帧(fps)，从而导致每秒数百兆比特的数据。

因此，可以使用有损压缩，保持可接受的视觉质量的通常需求，同时充分压缩以适应由传输信道提供的带宽，同时保持帧的实时传输。在许多应用中，低至0.1bpp的比特率(即，比无损编码的压缩率高10倍)已经使实时传输成为可能。

基于MPEG-I第5部分(ISO/IEC 23090-5)或基于视频的点云压缩(V-PCC)的编解码器VPCC可以通过使用视频编解码器的有损压缩来实现如此低的比特率，该视频编解码器压缩从点云在平面上的投影得到的2D帧。几何由组装成帧的一系列的投影补丁表示，每个补丁是一个小的局部深度图。然而，VPCC不是通用的，并且仅限于不表现出局部复杂几何结构(如树、头发)的有限类型的点云，因为所获得的投影深度图不够平滑，无法被视频编解码器有效压缩。

纯3D压缩技术可以处理任何类型的点云。3D压缩技术能否在密集点云上与VPCC(或任何投影+图像编码方案)竞争，仍然是一个悬而未决的问题。标准化仍在进行中，旨在提供GPCC的扩展(修正)，该扩展将提供具有竞争力的有损压缩，该压缩将与VPCC内(intra)压缩一样好地压缩密集点云，同时保持GPCC的多功能性，可以处理任何类型的点云(密集、激光雷达、3D地图)。这种扩展可能会使用所谓的TriSoup编码方案，该方案可与八叉树协同工作，这将在下文中详细介绍。ISO/IEC标准化工作组JTC1/SC29/WG7正在对TriSoup进行研究。

发明内容

本发明的目的是提供一种用于从比特流解码3D点云的几何结构以及将3D点云编码到比特流中的方法，以提高效率。

本发明通过权利要求1所述的编码方法、权利要求8所述的解码方法、权利要求9所述的编码器、权利要求10所述的解码器、权利要求11所述的比特流和权利要求12所述的软件来解决问题。

在第一方面，提供了一种用于对3D点云的几何结构进行编码的方法，该方法如下：

一种编码点云的几何的方法，其特征在于，所述点云优选地通过包括一组波束的波束组件获取，优选地由编码器实现，以生成压缩点云数据的比特流，所述点云的几何在预测树结构中定义，所述预测树结构具有多个具有父子关系的节点并表示对象的三维位置，所述方法包括：对于当前节点：确定方位角残差；基于半径信息确定对所述方位角残差进行编码的上下文；以及基于所确定的上下文将所述方位角残差熵编码到所述比特流中。

因此，在基于预测树的几何编码中，优选地通过旋转LiDAR获取的点云的坐标可以被转换为预测树中每个节点的若干分量。例如，重复点的数量、子节点的数量、预测模式、(半径、方位角和激光索引)的残差以及x、y、z的残差。然而，当对方位角残差进行编码时，在现有技术中仅使用有限数量的上下文。为了提高编码效率，根据本发明，可以基于半径信息确定上下文，并且这种附加上下文可以与用于方位角残差编码的任何其他现有上下文结合使用。优选地，通过上下文自适应二进制算术编码(CABAC)对方位角残差进行编码。

优选地，基于当前节点的预测残差和重建半径确定半径信息。因此，半径信息可以指关于预测残差和重建半径的信息。已经观察到它们高度相关(highly correlated)。

优选地，通过将当前节点的预测残差和重建半径的比率与阈值进行比较来确定半径信息。因此，可以使用阈值来确定上下文。阈值可以根据应用来设置。优选地，阈值被设置为0.05。阈值也可以大于1。

优选地，所述方位角残差由二阶残差和索引号N表示，所述二阶残差和所述索引号N代替所述方位角残差进行编码。通过对二阶残差和索引号进行编码，可以进一步提高方位角残差的效率。其中，可以对二阶残差进行量化，以便于编码。

优选地，阈值是编码器和解码器已知的固定值。

优选地，阈值被编码在几何参数集中。更优选地是帧级几何参数集。

优选地，阈值被编码在几何数据单元报头中。更优选地，当切片之间存在显著的点分布差异时，将阈值编码在切片级几何数据单元报头中。

在本发明的另一个方面，提供了一种用于将比特流解码为点云的方法，优选地，解码方法根据之前与编码方法相关的特征进一步构建。

在本发明的另一方面，提供了一种用于将3D点云编码成比特流的编码器。该编码器包括一个存储器和一个处理器，其中存储器中存储有指令，当处理器执行这些指令时，这些指令将执行前述编码方法的步骤。

在本发明的另一方面，提供了一种用于从比特流解码3D点云的解码器。该解码器包括一个存储器和一个处理器，其中存储器中存储有指令，当处理器执行这些指令时，这些指令将执行前述解码方法的步骤。

在本发明的另一个方面，提供了一种比特流，其中，所述比特流通过前面描述的编码方法的步骤进行编码。

在本发明的另一方面，提供了一种计算机可读存储介质，其中包括用于执行如上所述的用于将3D点云编码到比特流的方法的步骤的指令。

在本发明的另一方面，提供了一种计算机可读存储介质，其中包括用于执行如上所述的用于从比特流解码3D点云的方法的步骤的指令。

附图说明

在下文中，参考附图更详细地描述本发明。

附图示出：

图1是resPhi的编码过程的示意图，

图2A、2B示出了半径和之间相关性的实验结果，

图3示出了增益的实验结果，

图4是根据本发明的编码器，

图5是根据本发明的解码器，和

图6是根据本发明的用于编码3D点云几何结构的方法的流程图。

具体实施方式

本申请提出了一种用于几何信息编码的改进机制，更准确地说，是对预测树几何压缩方案的改进，特别是在旋转LiDAR(激光雷达)点云上使用时。

点云是三维空间中的点的集合。这些点可以对应于三维空间内的对象上的点。因此，点云可以用于表示三维空间的物理内容。点云可以在各种情况下具有实用性。例如，点云可以在自动驾驶汽车的上下文(context)中用于表示道路上物体的位置。在另一示例中，点云可以在表示环境的物理内容的上下文中使用，以用于在增强现实(augmentedreality，AR)或混合现实(mixed reality，MR)应用中定位虚拟对象的目的。点云压缩是对点云进行编码和解码的过程。对点云进行编码可以减少点云的存储和传输所需的数据量。

通常，本申请描述了用于对点云的节点进行编码的技术，诸如用于当前正在开发的几何点云压缩(G-PCC)标准。然而，示例技术不限于G-PCC标准。在G-PCC的一些示例中，点云的节点(也称为点)的位置坐标可以转换为(r，φ，i)域，其中节点的位置由半径r、方位角φ和激光索引i三个参数表示。当在G-PCC中使用角度模式进行预测几何编码时，G-PCC编码器可以在(r，φ，i)域中执行预测。举例来说，G-PCC编码器可以确定节点的预测位置，并将节点的预测位置添加到主残差数据中，以确定节点的重建位置。因此，在至少一些示例中，可以在(r，φ，i)域中编码主残差。由于四舍五入的误差(例如，用于坐标转换)，r、φ、i中的编码可能是有损的。在一些示例中，可以通过对第二组残差进行编码来减少或消除这种损失，该第二组残差可以在笛卡尔域中。然而，G-PCC的一些实施方式可能需要大量上下文编码的二进制数来表示主残差和次残差，这可能是不期望的计算密集型。

在G-PCC的基于预测树的几何编码的一些实施方式中，可以将旋转的LiDAR点云的(x，y，z)坐标转换为预测树中每个节点的以下分量：(G-PCC编码器可以确定节点的预测位置，并将节点的预测位置添加到残差数据以确定节点的重建位置)

1.重复点的数量，

2.子节点的数量，

3.预测模式，

4.(半径、方位角和激光索引)的残差，

5.x、y、z的残差：Δx、Δy、Δz，

其中，重复点的数量可以指集合中具有相同(x，y，z)坐标的点的数量。子节点的数量可以指包含在当前集合内的点的子集的数量。预测模式可以指示如何确定集合中的点的(x，y，z)坐标。它可以基于父集合中的点的坐标，或者它可以基于一些其他预测方法。(半径、方位角和激光索引)的残差是指上述参数的实际值与预测(或重建)坐标之间的差值。x、y、z的残差可以是集合中的点的实际x、y和z坐标与预测坐标之间的差值。

为了提高对方位角的残差进行编码时的效率，该值被进一步分解为：

其中速度(speed)是LiDAR的旋转速度。因此，可以通过编码N和来替换编码

具体而言，为了对节点的进行编码，量化值resPhi可以被实际编码以简化编码。使用该节点的重建半径将量化为resPhi。计算resPhi的上限值并记为boundPhi。图1示出了resPhi的编码过程。

具体地，使用CABAC(Context-Adaptive Binary Arithmetic Coding，上下文自适应二进制算术编码)对编码框102、104、106和108(即，resPhi是否＝0以及abs(resPhi)是否＝1)进行编码时，可以使用以下上下文：a)节点的预测模式(帧间或帧内)；以及

b)节点的预测器索引是否等于零。

因此，总共可以使用2x2＝4个上下文。

使用exp-Columbo编码对编码框110(即abs(resPhi)-2的值)进行编码时，可以使用以下上下文:

a)节点的预测模式(帧间或帧内)；

b)boundPhi-3是否＞6；

c)在exp-Columbo codeNum的前缀或后缀中的编码二进位的计数。

因此，总共可以使用2x2x4＝16个上下文。

然而，在进行统计实验后发现，的分布往往与该节点的半径相关。图2将LiDAR点云中的点分类为半径(r)发生突变的点(参见图2A)与半径(r)几乎没有变化的点(参见图2B)。这清楚地示出了的相关性。

从图2中可以看出，半径没有发生突变的点具有小而稳定的值，而半径发生突变的点具有更多可变或随机的值。因此，半径是否急剧变化可以用作的幅度的指示，而这在现有技术中从未考虑过。

为了使用该相关信息，可能需要做的第一件事是定义一个度量标准来测量半径突变的幅度。为此，提出了定义阈值T，并且发生突变的点被定义为半径残差Δr与半径r之间的比率超过阈值T的点：

Δr/r＞阈值T

其中，Δr为当前节点的预测残差，r为当前节点的重建半径。

取决于实施方式，测量半径改变多少的阈值T可以是：

·设置为编码器和解码器都已知的固定值；

·在帧级几何参数集中的比特流中通知；

·当切片之间存在显著的点分布差异时，在切片级几何数据单元报头中的比特流中通知。

将理解，T的值不受限制，优选地，T设置为0.05。取决于应用，T也可以是大于1的数。

然后，为了在编码时使用上述半径变化测量，提出直接合并上述信息作为用于编码的额外上下文。

因此，新上下文可以如下：

使用CABAC对编码框102、104、106和108(即，resPhi＝0和abs(resPhi)＝1)进行编码时，可以使用以下上下文：

a)节点的预测模式(帧间或帧内)；

b)节点的预测值索引是否等于零；以及

c)半径是否发生突变。

总共可以使用2x2x2＝8个上下文。应当理解，所提出的新上下文可以独立地使用，或者可以与上述上下文a和b中的任何一个相结合。因此，也可以是总共使用2或4个上下文的情况。

使用exp-Columbo编码对编码框110(即abs(resPhi)-2的值)进行编码时，可以使用以下上下文：

a)节点的预测模式(帧间或帧内)；

b)boundPhi-3是否＞6；

c)在exp-Columbo codeNum的前缀或后缀中的编码二进位的计数；以及

d)半径是否发生突变。

总共可以使用2x2x4x2＝32个上下文。类似于先前框的编码，所提出的新上下文可以独立地使用，或者可以与上述上下文a、b和c中的任何一个相结合。因此，也可以是总共使用2、4、8或16个上下文的情况。

参照图6，其示出了根据本发明的将3D点云的几何信息编码成比特流的方法的示意图。

该方法包括以下步骤：

S02：确定方位角残差；

S04：基于半径信息确定对方位角残差进行编码的上下文；

S06：基于所确定的上下文将方位角残差熵编码到比特流中。

图3示出了最新TMC 13V20在连续波(Continuous Wave，CW)条件下的实验结果。

现在参考图4，其示出了编码器1100的示例实施例的简化框图。编码器1100包括处理器(Central Processing Unit，CPU)(例如，图4中的CPU)1102和存储器存储设备1104。存储器存储设备1104可以存储包含指令的计算机程序或应用，该指令在被执行时使得处理器1102执行诸如本文描述的那些操作。例如，指令可以编码和输出根据本文描述的方法编码的比特流。应当理解，指令可以存储在非暂时性计算机可读介质上，诸如光盘、闪存设备、随机存取存储器、硬盘驱动器等。当执行指令时，处理器1102执行指令中指定的操作和功能，以便作为实现所描述的过程的专用处理器来操作。在一些示例中，这样的处理器可以被称为“处理器电路(processor circuit)”或“处理器电路系统(processor circuitry)”。

现在还参考图5，其示出了解码器1200的示例实施例的简化框图。解码器1200包括处理器(例如，图5中的CPU)1202和存储器存储设备1204。存储器存储设备1204可以包括包含指令的计算机程序或应用程序，当执行这些指令时，使得处理器1202执行诸如本文所述的操作。应当理解，指令可以存储在计算机可读介质上，诸如光盘、闪存设备、随机存取存储器、硬盘驱动器等。当执行指令时，处理器1202执行指令中指定的操作和功能，以便作为实现所描述的过程和方法的专用处理器来操作。在一些示例中，这样的处理器可以被称为“处理器电路”或“处理器电路系统”。

应当理解，根据本申请的解码器和/或编码器可以在多个计算设备中实现，包括但不限于服务器、适当编程的通用计算机、机器视觉系统和移动设备。解码器或编码器可以通过包含用于配置一个或多个处理器以执行本文描述的功能的指令的软件来实现。软件指令可以存储在任何合适的非暂时性计算机可读存储器上，包括光盘(Compact Disc，CD)、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory)，ROM、闪存等。

应当理解，本文描述的解码器和/或编码器以及实现用于配置编码器或解码器的所描述的方法/过程的模块、例程、过程、线程或其他软件组件可以使用标准计算机编程技术和语言来实现。本申请不限于特定处理器、计算机语言、计算机编程约定、数据结构、其他这样的实现细节。本领域技术人员将认识到，所描述的过程可以作为存储在易失性或非易失性存储器中的计算机可执行代码的一部分、作为专用集成芯片(Application-SpecificIntegrated Chip，ASIC)的一部分等来实现。

可以做出所描述的实施例的某些适配和修改。因此，上述实施例被认为是说明性的而非限制性的。特别地，实施例可以彼此自由地组合。

Claims (12)

1.一种编码点云的几何的方法，其特征在于，所述点云优选地通过包括一组波束的波束组件获取，优选地由编码器实现，以生成压缩点云数据的比特流，所述点云的几何在预测树结构中定义，所述预测树结构具有多个具有父子关系的节点并表示对象的三维位置，所述方法包括：

对于当前节点：

确定方位角残差；

基于半径信息确定对所述方位角残差进行编码的上下文；以及

基于所确定的上下文将所述方位角残差熵编码到所述比特流中。

2.根据权利要求1或权利要求8所述的方法，其中，所述半径信息基于所述当前节点的预测残差和重建半径来确定。

3.根据权利要求2所述的方法，其中，通过将所述当前节点的所述预测残差与所述重建半径的比率与阈值进行比较来确定所述半径信息。

4.根据权利要求1-3或权利要求8中任一项所述的方法，其中，所述方位角残差由二阶残差和索引号N表示，所述二阶残差和所述索引号N代替所述方位角残差进行编码。

5.根据权利要求3-4中任一项所述的方法，其中，所述阈值是所述编码器和解码器已知的固定值。

6.根据权利要求3-4中任一项所述的方法，其中所述阈值被编码在几何参数集中。

7.根据权利要求3-4中任一项所述的方法，其中，所述阈值被编码在几何数据单元报头中。

8.一种解码压缩点云数据的比特流以生成点云的重建几何的方法，优选地由解码器实现，优选地，所述点云通过包括一组波束的波束组件来获取，以生成压缩点云数据的比特流，所述点云的几何在预测树结构中定义，所述预测树结构具有多个具有父子关系的节点并表示对象的三维位置，所述方法包括：

对于当前节点：

确定方位角残差；

基于半径信息确定对所述方位角残差进行解码的上下文；以及

基于所确定的上下文对所述比特流进行熵解码以生成重建点云。

9.一种用于将3D点云编码成比特流的编码器，包括至少一个处理器和存储器，其中所述存储器存储指令，当所述处理器执行所述指令时，执行根据权利要求1-7中任一项所述的方法的步骤。

10.一种用于从比特流中解码3D点云的解码器，包括至少一个处理器和存储器，其中所述存储器存储指令，当所述处理器执行所述指令时，执行从属于权利要求8的根据权利要求2-5中任一项所述的方法的步骤。

11.一种比特流，其特征在于，由权利要求1-7中任一项所述的方法编码。

12.一种计算机可读存储介质，包括指令，所述指令被处理器执行时实现如权利要求1-8中任一项所述的方法的步骤。