[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118120237A - 编码/解码由至少一个传感器感测的点云几何数据的方法和装置 - Google Patents

编码/解码由至少一个传感器感测的点云几何数据的方法和装置 Download PDF

Info

Publication number
CN118120237A
CN118120237A CN202280064539.6A CN202280064539A CN118120237A CN 118120237 A CN118120237 A CN 118120237A CN 202280064539 A CN202280064539 A CN 202280064539A CN 118120237 A CN118120237 A CN 118120237A
Authority
CN
China
Prior art keywords
point
radius
index
coarse
occupied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280064539.6A
Other languages
English (en)
Inventor
塞巴斯蒂安·拉瑟利
乔纳森·塔奎特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of CN118120237A publication Critical patent/CN118120237A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70Type of the data to be coded, other than image and sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3068Precoding preceding compression, e.g. Burrows-Wheeler transformation
    • H03M7/3071Prediction
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60General implementation details not specific to a particular type of compression
    • H03M7/6047Power optimization with respect to the encoder, decoder, storage or transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

提供了编码/解码由与传感器索引相关联的至少一个传感器感测的点云几何数据的方法和装置。点云几何数据由占用二维空间的一组离散位置中的一些离散位置的有序粗略点表示,每个占用粗略点都与基于点云点到参考点的距离的半径相关联。编码/解码方法包括对表示预测半径(rpred)的数据(Ipred)进行编码/解码(120),并将与占用粗略点相关联的半径(r1)和预测半径(rpred)之间的残差半径(rres)编码(130)到比特流中。

Description

编码/解码由至少一个传感器感测的点云几何数据的方法和 装置
技术领域
本申请一般涉及点云压缩,特别地涉及编码/解码由至少一个传感器感测的点云几何数据的方法和装置。
背景技术
本节内容意图向读者介绍本领域的各个方面,这些方面可能与下文描述和/或要求保护的本申请的至少一个示例性实施例的各个方面相关。相信该讨论有助于向读者提供背景信息,以促进更好地理解本申请的各个方面。
作为针对3D数据的表示的格式,点云最近获得了关注,因为它们在表示所有类型的物理对象或场景的能力方面是通用的。点云可以用于各种目的,诸如文化遗产/建筑物,其中像雕像或建筑物这样的对象被3D扫描以便共享对象的空间配置,而无需发出或访问它。此外,这是在对象可能被破坏的情况下确保保存对象的知识的一种方式;例如,地震中的一座寺庙。此类点云典型地是静态的、彩色的且巨大的。
另一使用情况是在地形学和制图学中,其中使用3D表示允许不限于平面并且可以包括起伏的地图。谷歌地图(Google Maps)现在是3D地图的很好的示例,但它使用网格而不是点云。然而,点云可能是用于3D地图的合适数据格式,并且此类点云典型地是静态的、彩色的且巨大的。
虚拟现实(VR)、增强现实(AR)和沉浸式世界最近已成为热门话题并且被许多人预见为2D平面视频的未来。其基本思想是让观看者沉浸在周围环境中,相比之下,标准TV只允许观看者观看他/她面前的虚拟世界。沉浸感有几个层次,这取决于观看者在环境中的自由度。点云是用于分布VR/AR世界的很好的格式候选。
汽车行业并且更特别地是可预见的自动驾驶汽车也是点云可能被广泛使用的领域。自动驾驶汽车应该能够“探测”它们的环境以基于所检测到的它们附近对象和道路配置的存在和性质来做出很好的驾驶决策。
点云是位于三维(3D)空间中的一组点,可选地具有附加到每个点的附加值。这些附加值通常被称为属性。属性可以是例如三分量颜色、如反射率的材料属性和/或与点相关联的表面的两分量法向量。
因此,点云是几何数据(点在3D空间中的位置,通常由3D笛卡尔坐标x、y和z表示)和属性的组合。
点云可以由各种类型的设备感测,如相机阵列、深度传感器、激光器(光探测与测距,也被称为激光雷达,Lidar)、雷达,或者可以是计算机生成的(例如在电影后期制作中)。取决于使用情况,点云可能有数千到最高至数十亿个点用于制图应用。点云的原始表示需要每个点非常高的比特数,其中每个笛卡尔坐标x、y或z至少十几个比特,并且可选地,(一个或多个)属性需要更多的比特,例如颜色需要10个比特的三倍。
在许多应用中,重要的是能够通过仅消耗合理数量的比特率或存储空间来将点云分布到最终用户或者将它们存储在服务器中,同时维持可接受的(或优选地非常好的)体验质量。为了使许多沉浸式世界的分布链实用化,这些点云的高效压缩是关键点。
例如在AR/VR眼镜或任何其他具有3D功能的设备上,为了分布到最终用户并由最终用户可视化,压缩可能是有损耗的(如在视频压缩中)。其他使用情况确实需要无损压缩,如医疗应用或自动驾驶,以避免变更从对所压缩和所发送的点云的后续分析获得的决策的结果。
直到最近,点云压缩(又名PCC)还没有被大众市场解决,并且也没有标准化的点云编解码器可用。2017年,标准化工作组ISO/JCT1/SC29/WG11(也被称为运动图像专家组或MPEG)已经启动了关于点云压缩的工作项目。这产生了两个标准,即
MPEG-I第5部分(ISO/IEC 23090-5)或基于视频的点云压缩(V-PCC)
MPEG-I第9部分(ISO/IEC 23090-9)或基于几何的点云压缩(G-PCC)
V-PCC编码方法通过执行对3D对象的多个投影来压缩点云,以获得打包到图像(或处理动态点云时的视频)中的2D块(patch)。然后,使用现有的图像/视频编解码器来压缩所获得的图像或视频,从而允许利用已经部署的图像和视频解决方案。就其本质而言,V-PCC仅在密集和连续的点云上是有效的,因为图像/视频编解码器无法压缩如将从例如激光雷达感测的稀疏几何数据的投影获得的非平滑块。
G-PCC编码方法具有用于压缩所感测的稀疏几何数据的两种方案。
第一种方案基于占用树,在局部是八叉树、四叉树或二叉树中的任何类型的树,表示点云几何位置信息。被占用的节点(即,与包括点云的至少一个点的立方体/长方体相关联的节点)被向下划分,直到达到一定的大小,并且被占用的叶节点提供点的3D位置,典型地在这些节点的中心处。占用信息由占用数据(二进制数据,标志)携带,该占用数据发信号通知节点的每个子节点的占用状态。通过使用基于邻居的预测技术,可以为密集的点云获得占用数据的高级压缩。稀疏点云也通过直接编码具有非最小大小的节点内的点的位置来解决,通过当仅孤立点存在于节点中时停止树构造;这种技术被称为直接编码模式(DCM)。
第二种方案基于预测树,其中每个节点表示一个点的3D位置,并且节点之间的父/子关系表示从父到子的空间预测。这种方法可以仅解决稀疏点云,并且提供比占用树低的时延和简单的解码的优势。然而,相对于第一种基于占用的方法,压缩性能只是稍微好一点,并且编码是复杂的,因为编码器在构造预测树时必须集中寻找最佳预测值(在一长串潜在预测值当中)。
在这两种方案中,属性编码(解码)在完整的几何编码(解码)之后执行,从而实际上导致两遍编码(解码)。因此,通过使用将3D空间分解成独立地编码的子体积的切片(slice)来获得联合几何/属性低时延,而无需子体积之间的预测。当使用许多切片时,这可能会严重影响压缩性能。
将对编码器和解码器简单性、低时延和压缩性能的要求组合在一起仍然是通过现有点云编解码器无法令人满意地解决的问题。
重要的使用情况是由安装在移动车辆上的至少一个传感器感测的稀疏几何数据的传输。这通常需要简单且低时延的机载编码器。简单性是所需的,因为编码器可能被部署在并行地执行诸如(半)自动驾驶的其他处理的计算单元上,从而限制了点云编码器可用的处理能力。低时延也是所需的,以允许从汽车到云的快速传输,以便基于多车辆采集来获得本地交通的实时视图,并且基于交通信息来做出适当的快速决策。虽然通过使用5G可以使传输时延足够低,但编码器本身不应因编码而引入太多时延。此外,压缩性能极其重要,因为从数百万辆汽车到云的数据流预计会极其大。
与旋转激光雷达感测的稀疏几何数据相关的特定先验已经在G-PCC中被利用,并且已经得到非常显著的压缩增益。
首先,G-PCC利用从旋转激光雷达头10感测的仰角(相对于水平地面),如图1和图2所描绘的。激光雷达头10包括一组传感器11(例如激光器),这里表示出了五个传感器。旋转激光雷达头10可以围绕竖直轴线z旋转,以感测物理对象的几何数据。激光雷达感测的几何数据然后以球坐标(r3D,φ,θ)表示,其中r3D是点P距激光雷达头的中心的距离,φ是激光雷达头的旋转相对于参考的方位角,并且θ是旋转激光雷达头10的传感器k相对于水平参考平面的仰角。
已经在激光雷达感测的数据上观察到沿着方位角的规则分布,如图3所描绘的。在G-PCC中使用这种规则性来获得点云的准1D表示,其中,最高至噪声,只有半径r3D属于连续的值范围,而角度φ和θ仅取离散数量的值φi 至I-1,其中,I是用于感测点的方位角的数量,并且/>至J-1,其中,J是旋转激光雷达头10的传感器的数量。基本上,G-PCC表示在二维(离散)角坐标空间(φ,θ)上的激光雷达感测的稀疏几何数据,如图3所描绘的,以及针对每个点的半径值r3D
这种准1D属性已经通过使用角度的离散性质在球坐标空间中基于已经编码的点预测当前点的位置来在G-PCC中在占用树和预测树两者中得到利用。
更准确地,占用树集中地使用DCM,并且通过使用上下文自适应熵编码器来熵编码节点内点的直接位置。然后,从点位置到角坐标(φ,θ)的本地转换以及从这些角坐标相对于从先前编码的点获得的离散角坐标(φij)的位置获得上下文。预测树直接编码角坐标(r2D,φ,θ)中的点位置的第一版本,其中使用该角坐标空间的准1D性质(r2Dij),r2D是在水平xy平面上的投影半径,如图4所描绘的。然后,球坐标(r2D,φ,θ)被转换成3D笛卡尔坐标(x,y,z),并且xyz残差被编码以解决坐标转换的误差、仰角和方位角的近似以及潜在的噪声。
G-PCC确实使用角先验来更好地压缩旋转激光雷达感测的稀疏几何数据,但是不使编码结构适于感测的顺序。就其本质而言,在输出点之前,占用树必须被向下编码到它的最后深度。这种占用数据以所谓的广度优先顺序进行编码:首先对根节点的占用数据进行编码,指示其被占用的子节点;然后,对针对每个被占用的子节点的占用数据进行编码,指示被占用的孙节点;依此类推,在树的深度上重复,直到可以确定叶节点,并且将对应的点提供/输出到应用或(一个或多个)属性编码方案。关于预测树,编码器可以自由选择树中的点的顺序,但为了获得好的压缩性能以优化预测准确度,G-PCC提议每个传感器编码一棵树。这主要具有与每个传感器使用一个编码切片相同的缺点,即,非最佳压缩性能,因为不允许传感器之间的预测,并且不提供编码器低时延。更糟糕的是,应该具有每个传感器一个编码处理,并且核心编码单元的数量应该等于传感器的数量;这是不实际的。
简而言之,在用于感测点云的稀疏几何数据的旋转传感器头的框架中,现有技术没有解决将编码和解码简单性、低时延和压缩性能组合的问题。
此外,通过使用旋转传感器头感测点云的稀疏几何数据存在一定的缺陷,可以使用其他类型的传感器头。
产生旋转传感器头的旋转(转动)的机械部件容易损坏并且成本高昂。此外,通过构造,视角必然是2π。这不允许以高频率感测特定的感兴趣区域,例如,在车辆前方感测可能比在车辆后方感测更感兴趣。实际上,在大多数情况下,当传感器附接到车辆时,2π视角的大部分由车辆本身屏蔽,并且不需要感测屏蔽的视角。
最近出现了新型传感器,允许对要感测的区域进行更灵活的选择。在最新的设计中,传感器可以更自由地以电子方式移动(从而避免脆弱的机械部件),以在3D场景中获得各种各样的感测路径,如图5所示。在图5中,显示了一组四个传感器。它们的相对感测方向,即方位角和仰角,相对于彼此是固定的,但是它们总体上感测沿着二维角坐标(φ,θ)空间上虚线所示的可编程感测路径的场景。然后可以沿着感测路径有规律地感测点云的点。如图6所示,当检测到感兴趣区域R时,一些传感器头也可以通过增加感测频率来调整其感测频率。这样的感兴趣区域R可以与例如在前一帧中预先分割或在感测期间动态分割的近距离物体、移动物体或任何物体(行人、其他车辆等)相关联。图7示意性地示出了传感器头使用的感测路径(典型的之字形感测路径)的另一个示例,该传感器头包括两个传感器,当检测到感兴趣区域(灰色阴影点和灰色散列点)时,这两个传感器能够增加其感测频率。使用Z字形感测路径可以有利地用于感测3D场景的有限(方位角)角扇区。因为传感器可能附接到车辆,所以它们感兴趣的视口必然受到阻碍场景的车辆本身的存在的限制,除非传感器位于车辆顶部。因此,对具有有限探测角扇区的传感器更感兴趣,并且更容易集成到车辆上。
如图8所示,包括单个传感器的传感器头也可以用于感测多个位置(图8上的两个垂直位置),例如使用随旋转振荡的反射镜上的反射(此处为垂直旋转)。在这种情况下,不是使用一组传感器,而是使用沿感测路径(此处为之字形感测路径)处于不同角度位置(即图8中具有不同仰角)的单个传感器来模拟使用一组多个传感器的感测。
为简单起见,在以下描述和权利要求中,“传感器头”可以指一组物理传感器或模拟一组传感器的一组感测高程索引。此外,本领域技术人员将理解“传感器”也可以指在每个感测高程索引位置的传感器。
将对编码器和解码器的简单性、对低延迟和对任何类型的传感器感测的点云的压缩性能的要求结合在一起仍然是现有点云编解码器没有令人满意地解决的问题。
本申请的至少一个示例性实施例是考虑到上述内容而设计的。
发明内容
以下部分呈现了至少一个示例性实施例的简化概述,以便提供对本申请的一些方面的基本理解。该概述不是示例性实施例的广泛概述。其并非旨在识别实施例的关键或重要元素。以下概述仅以简化的形式呈现了示例性实施例中的至少一个的一些方面,作为在文档中其他地方提供的更详细描述的前奏。
根据本申请的第一方面,提供一种将与传感器索引相关联的至少一个传感器感测的点云几何数据编码到比特流中的方法,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示,每个占用粗略点由与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引和与感测到点云的点的感测时刻相关联的采样索引定位在二维空间内,每个占用粗略点与基于点云的点与参考点的距离的半径相关联。方法包括:对于具有第一传感器索引、第一采样索引并与第一半径相关联的第一占用粗略点,从与至少一个第二占用粗略点相关联的至少一个第二半径选择所选择的预测半径,至少一个第二占用粗略点具有不同于第一传感器索引的第二传感器索引和低于或等于第一采样索引的第二采样索引;将表示所选择的预测半径的数据编码到比特流中;以及将第一半径和选择的预测半径之间的残差半径编码到比特流中。
根据本申请的第二方面,提供一种从比特流解码与传感器索引相关联的至少一个传感器感测的点云几何数据的方法,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示,每个占用粗略点由与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引和与感测到点云的点的感测时刻相关联的采样索引定位在二维空间内。方法包括:针对具有第一传感器索引和第一采样索引的第一占用粗略点,从比特流解码表示从与至少一个第二占用粗略点相关联的至少一个第二半径中选择的所选择的预测半径的数据,所述至少一个第二占用粗略点具有不同于第一传感器索引的第二传感器索引和低于第一采样索引的第二采样索引;从比特流解码残差半径;以及基于残差半径和从数据中获得的所选择的预测半径,获得与由第一占用粗略点表示的点云的点相关联的半径。
在一个示例性实施例中,所选择的预测半径等于与第二占用粗略点相关联的第二半径,诸如所述第二占用粗略点的第二传感器索引与第一传感器索引之间的第一距离是有界的。
在一个示例性实施例中,所选择的预测半径等于与第二占用粗略点相关联的第二半径,诸如所述第二占用粗略点的第二采样索引与第一采样索引之间的第二距离由界界定,或者诸如第二距离最小。
在一个示例性实施例中,所选择的预测半径是基于与在它们的第二采样索引和第一采样索引之间具有相同的第二距离的至少两个第二占用粗略点相关联的至少两个第二半径而选择的;以及其中,所选择的预测半径等于与第二占用粗略点相关联的第二半径,第二占用粗略点具有相对于第一传感器索引最接近的传感器索引,或者具有仅低于第一传感器索引的最接近的传感器索引,或者等于所述至少两个第二半径的平均值。
在一个示例性实施例中,所选择的预测半径是从与至少一个第二占用粗略点相关联的至少一个第二半径和与至少一个第三占用粗略点相关联的至少一个第三半径中选择的,至少一个第三占用粗略点具有等于第一传感器索引的传感器索引和低于第一采样索引的采样索引。
在一个示例性实施例中,方法进一步包括基于所述至少一个第二采样索引和第一采样索引,通过第一校正值,校正从与具有至少一个第二采样索引的至少一个第二占用粗略点相关联的至少一个第二半径获得的所选择的预测半径。
在一个示例性实施例中,方法进一步包括基于所述至少一个传感器索引和第一传感器索引,通过第二校正值,校正从与具有至少一个第二传感器索引的至少一个第二占用粗略点相关联的至少一个第二半径获得的所选择的预测半径。
在一个示例性实施例中,所选择的预测半径(rpred)被获得作为径向函数对第一传感器索引和第一传感器索引的响应,以及其中所述径向函数是通过基于至少两个其他第二占用粗略点的第二采样索引和第二传感器索引对与所述至少两个其他第二占用粗略点相关联的第二半径进行线性回归而获得的。
根据本申请的第三方面,提供一种将与传感器索引相关联的至少一个传感器感测的点云几何数据编码到比特流中的装置,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示。装置包括被配置为执行根据本申请的第一方面的方法的一个或多个处理器。
根据本申请的第四方面,提供一种从比特流解码与传感器索引相关联的至少一个传感器感测的点云几何数据的装置,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示。装置包括被配置为执行根据本申请的第二方面的方法的一个或多个处理器。
根据本申请的第五方面,提供一种计算机程序产品,包括指令,当程序由一个或多个处理器执行时,指令使一个或多个处理器执行根据本申请的第一方面的方法。
根据本申请的第六方面,提供一种非暂时性存储介质,携带程序代码的指令,用于执行根据本申请的第一方面的方法。
根据本申请的第七方面,提供一种计算机程序产品,包括指令,当程序由一个或多个处理器执行时,指令使一个或多个处理器执行根据本申请的第二方面的方法。
根据本申请的第八方面,提供一种非暂时性存储介质,携带程序代码的指令,用于执行根据本申请的第二方面的方法。
通过结合附图对示例的以下描述,示例性实施例中的至少一个的具体性质以及所述示例性实施方案中的至少一个的其他目的、优点、特征和用途将变得显而易见。
附图说明
现在将以示例的方式参考附图,其中示出了本应用的示例性实施例,其中:
图1示意性地示出了根据现有技术的传感器头的侧面视图及其一些参数;
图2示意性地示出了根据现有技术的传感器头的俯视图和一些参数;
图3示意性地示出了根据现有技术由旋转传感器头感测到的数据的规则分布;
图4示意性地示出了根据现有技术在3D空间中点云的点的表示;
图5示意性地示出了根据现有技术的能够沿着可编程感测路径感测真实场景的传感器头的示例;
图6示意性地示出了根据现有技术的传感器头的示例,该传感器头能够根据不同的感测频率沿着可编程感测路径感测真实场景;
图7示意性地示出了根据现有技术的传感器头的示例,该传感器头能够根据不同感测频率沿着可编程之字形感测路径感测真实场景;
图8示意性地示出了能够根据不同的感测频率沿着可编程之字形感测路径感测真实场景的单个传感器头;
图9示意性地示出了根据至少一个示例性实施例的粗略表示的有序粗略点;
图10示意性地示出了根据一个示例性实施例的粗略点的排序的示例;
图11示意地示出了二维坐标(s,λ)空间中有序粗略点的表示;
图12示意性地示出了根据至少一个示例性实施例的粗略表示的有序粗略点;
图13示意性地示出了传感器感测道路上与水平面同化的点;
图14示意性地示出了传感器在有对象的道路上感测点;
图15示意性地示出了根据相关现有技术的从旧对象到新对象发生径向跳跃时的预测半径;
图16示意性地示出了根据至少一个示例性实施例的当发生从旧对象到新对象的径向跳跃时来自另一个传感器的预测半径;
图17示出了根据至少一个示例性实施例将点云几何数据编码到编码的点云数据的比特流中的方法100的步骤的示意性框图;
图18示出了根据至少一个示例性实施例的从编码的点云数据的比特流解码点云几何数据的方法200的步骤的示意性框图;
图19示意性地示出了根据一个示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图20示意性地示出了根据方法100和200的示例性实施例的术语第一占用粗略点的邻域的粗略点的示例;
图21示意性地示出了根据方法100和200的示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图22示意性地示出了根据方法100和200的示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图23示意性地示出了根据方法100和200的示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图24示意性地示出了根据方法100和200的示例性实施例的属于第一占用粗略点的邻域的粗略点的示例;
图25示出了图17的方法100的变体的步骤的示意性框图;
图26示出了图18的方法200的变体的步骤的示意性框图;
图27示意性地示出了根据方法100和200的变体属于第一占用粗略点的邻域的粗略点的示例;
图28示意性地示出了根据至少一个示例性实施例的预测器索引的编码/解码;以及
图29示出了实现各种方面和示例性实施例的系统的示例的框图。
在不同的附图中可以使用相似的附图标记来表示相似的部件。
具体实施方式
以下参照附图更完整地描述示例性实施例中的至少一个,其中描述了示例性实施例中的至少一个的示例。然而,示例性实施例可以以许多替代形式体现,并且不应被解释为仅限于此处所述的示例。因此,应该理解没有意图将示例性实施例限制到所公开的特定形式。相反,公开的目的是涵盖符合本发明的精神和范围的所有修改、等价物和替代方案。
至少一个方面通常涉及点云编码和解码,另一个方面通常涉及发送生成或编码的比特流,另一个方面涉及接收/访问解码的比特流。
此外,本方面并不局限于MPEG标准,诸如与点云压缩有关的MPEGI第5部分或第9部分,并可能被应用于,例如,其他标准和建议,无论是预先存在的还是将来开发的,以及任何这样的标准和建议(包括MPEG-I第五部分和第9部分)的扩展。除非另有说明,或技术上杜绝,本申请中描述的方面可以单独或组合使用。
本发明涉及由占用二维空间一组离散位置的一些离散位置的粗略表示的有序粗略点表示的点云几何数据的编码/解码。
例如,在关于MPEG 3D图形编解码的ISO/IEC JTC 1/SC 29/WG 7工作组中,相对于G-PCC编解码器,命名为L3C2(低延迟低复杂度编解码器)的新编解码器正在被考虑以提高激光雷达点云的编解码效率。编解码器L3C2提供了点云的点的二维表示的示例,即粗略表示。该编解码器的描述可以在工作组的输出文件N00167中找到,ISO/IEC JTC 1/SC 29/WG7,MPEG 3D图形编解码,“Technologies under Consideration in G-PCC”,2021年8月31日。
基本上,对于点云的每个感测点Pn,通过转换表示感测点Pn的3D位置的3D笛卡尔坐标(xn,yn,zn),获得与感测点Pn的传感器相关联的传感器索引λn和表示所述传感器的感测角度的方位角φn。然后,基于方位角φn和传感器索引λn对点云的点进行排序,例如,首先基于方位角,然后基于传感器索引的字典顺序。点Pn的顺序索引o(Pn)可以通过以下方式获得:
o(Pn)=φn*K+λn
其中K是传感器的数量。
图9示意性地示出了粗略表示的有序粗略点。已经感测到点云的5个点。在粗略表示中,这5个点中的每一个用粗略点(黑色点)粗略地表示:两个粗略点Pn和Pn+1表示在时刻t1以角度φc(在φi中)感测的点云中的两个点,三个粗略点表示在时刻t2以角度φc+Δφ感测的点云的三个点。表示点云的感测点的粗略点称为被占用的粗略点,不表示点云的感测点的粗略点称为未占用的粗略点。由于点云的点在粗略表示中由被占用的粗略点表示,因此与点云的点相关联的顺序索引也是与被占用的粗略点相关联的顺序索引。
点云几何数据的粗略表示可以在二维坐标(φ,λ)空间中定义。
粗略表示也可以被定义用于任何类型的传感器头,包括转动(旋转)或非转动传感器头。其定义基于二维角坐标(φ,θ)空间中的传感器特性定义的感测路径,该二维角坐标空间包括表示方位角(传感器相对于参考面的感测角度)的方位角坐标φ和表示传感器相对于水平参考面的仰角的仰角坐标θ。感测路径用于根据表示点云的感测点的潜在位置的有序粗略点来感测点云的点。每个粗略点由与沿着感测路径的感测时刻相关联的一个采样索引s和与传感器相关联的一个传感器索引λ定义。
在图10中,使用了包括两个传感器的传感器头。两个传感器遵循的感测路径用虚线表示。对于每个采样索引s(每个感测时刻),定义两个粗略点。与第一传感器相关联的粗略点用图10上的黑色阴影点表示,与第二传感器相关联的粗略点用黑色散列点表示。这两个粗略点中的每一个都属于从感测路径SP定义的传感器感测路径(虚线)。图11示意性地示出了二维坐标(s,λ)空间中有序粗略点的表示。图10和图11中的箭头说明了两个连续的有序粗略点之间的联系。
根据每个粗略点在有序粗略点中的排名,顺序索引o(P)与每个粗略点相关联:
o(P)=λ+s*K
其中,K是一组传感器的传感器数量或单个传感器对于同一采样索引的不同位置的数量,λ是在感测时间瞬间s感测到点云的点P的传感器的传感器索引。
图12示出了粗略表示的有序粗略点,5个被占用的粗略点被示出(黑色圆圈):两个粗略点Pn和Pn+1被瞬时t1感测的点云的两个点占用(对应于采样索引s1),并且三个粗略点被瞬时t2感测的点云的三个点占用(对应于采样索引s2)。
然后可以在二维坐标空间(s,λ)中定义点云几何数据的粗略表示。
给定点云的第一感测点所占用的第一粗略点的顺序索引o(P1)和顺序差Δo,可以通过以下方式递归重构点云的感测点P所占用的任意一个粗略点的顺序索引o(P):
o(P)=o(P-1)+Δo
编码/解码点云几何包括对点云的每个点的半径进行编码/解码。与点云的点相关联的半径是半径r2D等于半径r3D在xy水平平面上的投影,如图4所示。在下文中,半径表示与点云中的点相关的3D半径的投影。
在下文中,通过考虑定义在二维坐标(s,λ)空间中的粗略表示来描述本发明。但也可以对二维坐标(φ,λ)空间中定义的粗略表示进行描述,因为旋转传感器头,例如激光雷达头,提供了在二维坐标(s,λ)空间中定义的特定粗略表示,其中,在每个感测时刻,传感器头的传感器探测对象,并且感测的点对应于该表示的占用的粗略点。
如前所述,点云几何数据由占用二维坐标(s,λ)空间的一组离散位置的一些离散位置的有序粗略点表示。然后,通过与感测与所述被占用的粗略点相关联的点云的点的传感器相关联的传感器索引以及与感测点云的点的感测时刻相关联的采样索引,每个被占用的粗略点被定位在二维坐标(s,λ)空间内。在下面讨论的方法中,点云的每个占用粗略点被认为是第一占用粗略点P1
与点云的点相关联的半径也与粗略表示中表示点云的所述点的占用粗略点相关联。
半径r1与粗略表示中第一占用粗略点P1表示的点云的点P相关联。第一占用粗略点P1在二维坐标(s,λ)内具有采样索引s1和传感器索引λ1。通常不直接对半径r1进行编码,而是对由以下方式获得的残差半径rres进行编码
rres=r1-rpred
其中rpred是预测半径。
半径r1的编码性能取决于被确定为限制残差半径的动态范围的预测半径rpred的质量。残差半径的较小动态通常需要较少的比特被编码到比特流中。
通常,预测半径rpred是从与点云的点相关联的一些先前编码的半径中选择的,这些点云的点由与等于第一传感器索引λ1的传感器索引相关联的同一传感器感测。当半径r1在两个连续感测时刻之间(例如在采样索引s1和采样索引s1-1之间)变化不大时,这提供了良好的编码效率。
如图13所示,当旋转传感器探测道路(靠近水平面)时,情况尤其如此。在这种情况下,对于相同的传感器λ1,预测半径rpred可能等于先前编码的半径rpred,1
当然,一些对象可能被放置在道路上,如图14所示。在这种情况下,预测半径rpred可能不是先前编码的半径rpred,1,而是在更远的过去的另一个先前编码的半径rpred,j(j>1)。
由于这个原因,预测半径rpred通常是从对应于与由相同传感器λ1感测的点云的点相关联的先前编码/解码的半径的半径列表中选择的。当第一次感测到新对象时,这样的半径列表不能提供良好的预测半径rpred,即,没有与所述新对象的点相关联的先前编码/解码的半径属于半径列表。
这种情况如图15所示,其中属于新对象Onew的点P被属于另一个对象Oold的预测点Ppred预测,因为点P是传感器λ1感测到的新对象Onew的第一点。因此,预测半径rpred与点P的第一半径r1相差较大,并且残差半径rres的动态性较大。编码这样的残差半径在比特率方面是昂贵的。
要解决的问题之一是更好地处理从旧对象到新对象的转换,这导致半径跳跃(对于相同的传感器λ1)和糟糕的半径预测。通过改进预测,应该获得更好的压缩性能,因为它将减少待编码的残差半径rres的动态性。
简单地说,本发明提供了通过以下解决此问题的解决方法:从与由与不同于第一传感器索引λ1的传感器索引和低于或等于第一采样索引s1的采样索引相关联的传感器感测到的至少一个点相关联的至少一个第二半径中选择与要编码的点云的点P相关联并由在二维坐标(s,λ)空间内具有第一传感器索引λ1和第一采样索引的第一占用粗略点P1表示的预测半径rpred。所述点云的至少一个第二点在粗略表示中由至少一个第二占用粗略点表示。
从与不同于第一传感器索引的传感器索引相关联的传感器感测的点相关联的半径中选择属于新对象的感测点的预测半径,比从等于第一传感器索引的传感器索引相关联的传感器感测的点相关联的半径获得的预测提供了更好的预测。
例如,在图16中描述了与预测点Ppred相关联的所选择的预测半径的示例,该预测点由与不同于第一传感器索引λ1的传感器相关联的传感器感测。与点P和Ppred相关联的半径之间的残差半径比如图15所示与点P和Ppred相关联的半径之间的残差半径具有更低的动态。
因此,与编码通过预测与由同一传感器感测的点相关联的先前编码/解码的半径相对应的半径而获得的残差半径相比,改进了编码残差半径。
预测半径与具有不同于第一传感器索引λ1的传感器索引的传感器感测到的点相关联,并且这些点还与低于或等于第一采样索引s1的采样索引相关联,即,属于点P的因果邻域的点。
这允许编码器和解码器获得相同的预测半径。
图17示出了根据至少一个示例性实施例将点云几何数据编码到编码的点云数据的比特流中的方法100的步骤的示意性框图。
在二维坐标(s,λ)空间中考虑第一占用粗略点P1。第一占用粗略点P1表示粗略表示中点云的感测点。第一占用粗略点P1在二维坐标(s,λ)空间中具有第一采样索引s1和第一传感器索引λ1,并与第一半径r1相关联。
在步骤110中,从与至少一个第二占用粗略点P2相关联的至少一个第二半径r2,为第一占用粗略点P1获得选择的预测半径rpred。每个第二占用粗略点P2有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一采样索引s1的第二采样索引s2
图19示意性示出了属于第一占用粗略点P1的因果邻域的粗略点的示例。未占用的粗略点是用虚线界定的白色点,灰色点表示占用的粗略点。
灰色阴影区域表示具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一采样索引s1的第二采样索引s2的第二粗略点组。粗略点之间的箭头表示粗略表示中粗略点的顺序。一些第二粗略点被占用(灰色点),其他未占用(白色点)。所有灰色阴影区域形成第一占用粗略点周围的因果邻域,即在处理第一占用粗略点P1之前,可以通过编码和/或解码方法获得和/或解码属于这个因果邻域的占用第二粗略点。请注意,具有传感器索引等于第一传感器索引λ1的粗略点不是第二粗略点,并且不属于灰色阴影区域。
在步骤120中,数据Ipred被编码到比特流B中。数据Ipred表示所选择的预测半径rpred
在步骤130中,通过计算第一半径r1和选择的预测半径rpred之间的差,获得残差半径rres
rres=r1-rpred
将残差半径rres编码到比特流B中。
在步骤110的一个示例性实施例中,当在与多个第二占用粗略点P2相关联的半径r2中选择所选择的预测半径rpred时,所选择的预测半径rpred对应于最小化表示比特率(用于编码残差半径rres)或目标比特率和失真之间的折衷的成本函数的半径。
在步骤130的一个实施例中,如果残差半径rres等于零,则可以通过二进制数据信令对残差半径rres进行编码,然后可以通过使用expGolomb编码器对发信号表示残差半径rres的符号的二进制数据和余数|rres|-1进行编码。
在一种变体中,余数|Q(rres)|-1可以使用expGolomb编码器进行编码,其中Q(rres)是量化的残差半径。
在不限制本发明范围的情况下,可以使用残差半径rres的任何其他编码。
图18示出了根据至少一个示例性实施例的从编码的点云数据的比特流解码点云几何数据的方法200的步骤的示意性框图。
图18的解码方法200对应图17的编码方法100。
考虑二维坐标(s,λ)空间中的第一占用粗略点P1。在二维坐标(s,λ)空间中,第一占用粗略点P1具有第一采样索引s1和第一传感器索引λ1
在步骤210中,从比特流B解码数据Ipred。数据Ipred表示从与至少一个第二占用粗略点P2相关联的至少一个第二半径r2中选择的所选择的预测半径rpred,至少一个第二占用粗略点P2具有与第一传感器索引λ1不同的第二传感器索引λ2和低于第一采样索引s1的第二采样索引s2
在步骤220中,从比特流B中解码残差半径rres
在步骤230中,基于残差半径rres和从数据Ipred获得的所选择的预测半径rpred,获得与第一粗略点P1表示的点云中的点相关联的(解码的)半径r1
r1=rres+rpred
在步骤230的一个实施例中,如果残差半径rres等于零,可以通过解码二进制数据信令来解码残差半径rres,并且可能地,通过解码发信号通知残差半径rres的符号的二进制数据,并且可能地,通过使用expGolomb解码器来解码余数|rres|-1。
在一种变体中,余数|Q(rres)|-1可以使用expGolomb解码器解码,残差半径rres通过以下获得:
r1=IQ(Q(rres)+rpred
其中IQ(Q(rres))为去量化的残差半径。
残差半径rres的任何其他解码可以在不限制本发明范围的情况下使用。
在方法100和200的一个示例性实施例中,如图20中所示,所选择的预测半径rpred可以等于与第二占用粗略点P2相关联的第二半径r2,诸如所述第二占用粗略点P2的第二传感器索引λ2与第一传感器索引λ1之间的第一距离D1由两个界λ2;below和λ2;above界定。在图20的示意性示例中,界λ2;below等于2,界λ2;above等于1。
界定第一距离D1限制了第一占用粗略点P1的因果邻域,从而限制了选择预测半径的计算资源。它还确保了半径r1和r2之间的一些相关性,因为当传感器索引差|λ21|较大时,这种相关性往往会消失。
根据方法100和200的此示例性实施例,第二占用粗略点P2可以是具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一采样索引s1的第二采样索引s2的占用粗略点。所述第二占用粗略点P2也满足所述第二占用粗略点P2的第二传感器索引λ2与第一传感器索引λ1之间的第一距离在由两个界λ2;below和λ2;above定义的范围内的条件。这样的第二占用粗略点属于图20中的灰色阴影部分。
在方法100和200的一个示例性实施例中,如图21中所示,所选择的预测半径rpred可以等于与第二占用粗略点P2相关联的第二半径r2,诸如所述第二占用粗略点P2的第二采样索引s2和第一采样索引s1之间的第二距离D2由边界W限制。在图21中,这样的第二占用粗略点P2属于灰色阴影部分以及边界W等于4。
界定第二距离D2限制了第一粗略点P1的因果邻域,从而限制了选择预测半径的计算资源。它还确保半径r1和r2之间的一定相关性,因为当传感器索引差s1-s2很大时,这种相关性往往消失,因为点P1和P2往往属于不同的对象或同一对象的不同部分。
根据方法100和200的此示例性实施例,第二占用粗略点P2可以是具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一采样索引s1的第二采样索引s2的占用粗略点。所述第二占用粗略点P2也满足所述第二占用粗略点P2的第二采样索引s2与第一采样索引s1之间的第二距离D2由界W界定的条件。
在一个变体中,如图22所示,所选择的预测半径rpred可以等于与第二占用粗略点P2相关联的第二半径r2,诸如第二距离D2最小。
此变体最大化了获得良好预测半径的机会,因为为选择预测半径而考虑的第二占用粗略点P2是离第一粗略点P1最近的占用粗略点。因此,第一占用粗略点P1和所述第二占用粗略点P2很可能与同一感测对象的点相关联。
根据此变体,第二占用粗略点P2是具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一采样索引s1的第二采样索引s2的占用粗略点。所述第二占用粗略点P2也满足第二距离D2最小的条件。在图22中,这样的第二占用粗略点属于灰色阴影部分,并且考虑两个占用第二粗略点P2来选择预测半径rpred
在方法100和200的一个示例性实施例中,如图23所示,可以基于与至少两个第二占用粗略点P2,i相关联的至少两个第二半径r2,i来选择所选择的预测半径rpred,至少两个第二占用粗略点P2,i在它们的第二采样索引s2和第一采样索引s1之间具有相同的第二距离D2。所选择的预测半径rpred等于与第二占用粗略点P2,i相关联的第二半径r2,i,第二占用粗略点P2,i具有相对于第一传感器索引λ1最近的传感器索引λ2,i(在图23上的点P2,i),或者在一种变体中,具有低于(小于)第一传感器索引λ1的最接近传感器索引(在图23上的点P2,i-1)。
根据方法100和200的此示例性实施例,第二占用粗略点P2可以是具有与第一传感器索引λ1不同的第二传感器索引λ2和低于或等于第一采样索引s1的第二采样索引s2的占用粗略点。所述第二占用粗略点P2具有相对于第一传感器索引λ1最近的传感器索引λ2,i,或在一种变体中,具有低于(小于)第一传感器索引λ1的最接近传感器索引。
此示例性实施例及其变体最大化了具有良好预测半径的机会,因为为选择预测半径而考虑的第二占用粗略点P2是二维坐标(s,λ)空间中与第一粗略点P1最近的占用粗略点。因此,第一占用粗略点P1和所述第二占用粗略点P2很可能与同一感测对象的点相关联。
在一个变体中,所选择的预测半径rpred可以等于所述至少两个第二半径r2,i的平均值。
在方法100和200的方法的一个示例性实施例中,如图24所示,所选择的预测半径rpred可以从与至少一个第二占用粗略点P2相关联的至少一个第二半径r2,以及与至少一个第三占用粗略点P3相关联的至少一个第三半径r3选择,第三占用粗略点P3具有等于第一传感器索引λ1的传感器索引λ3和低于第一采样索引s1的采样索引s3
此示例性实施例具有优势,因为它在新感测点属于新对象或新感测点属于先前感测的对象的两种情况下提供了良好的预测半径。
在方法100和200的一个示例性实施例中,方法可进一步包括基于所述至少一个第二采样索引s2(或s2,i)和第一采样索引s1,通过第一校正值C1,校正从与具有至少一个第二采样索引s2(或s2,i)的至少一个第二占用粗略点P2(或P2,i)相关联的至少一个第二半径r2(或r2,i)获得的所选择的预测半径rpred
此示例性实施例是有利的,因为它校正了当第二占用粗略点的第二采样索引严格低于第一样本索引时可能出现的采样索引中的差异:
rpred,corr=rpred+C1
在方法100和200的一个示例性实施例中,校正值C1可以通过以下取决于从具有不同的采样索引sO1和sO2、相同的传感器索引(可以等于或不等于第一传感器索引λ1)和相关半径rO1和rO2的两个占用粗略点PO1和PO2估计的导数:
其中
在方法100和200的一个示例性实施例中,可以从具有传感索引sO,i,半径rO,i和相同的传感器索引的一组占用的粗略点PO,i估计导数。从这些占用粗略点PO,i,例如通过最小均方法得到方程r=a*s+b的回归线。导数取dr/ds≈a。
在方法100和200的一个示例性实施例中,方法可进一步包括基于所述至少一个传感器索引λ2(或λ2,i)和第一传感器索引λ1,通过第二校正值C2,校正从与具有至少一个第二传感器索引λ2(或λ2,i)的至少一个第二占用粗略点P2(或P2,i)相关联的至少一个第二半径r2(或r2,i)获得的所选择的预测半径rpred
此示例性实施例是有利的,因为它校正了当第二占用粗略点的第二传感器索引与第一传感器索引不同时可能发生的传感器索引的差异:
rpred,corr=rpred+C2
在方法100和200的一个示例性实施例中,校正值C2可以通过以下取决于从具有不同的传感器索引λO1和λO2,相同的采样索引(可能等于或可能不等于第一采样索引s1)和相关的半径rO1和rO2的两个占用粗略点PO1和PO2估计的导数:
其中
在方法100和200的一个示例性实施例中,导数可以从具有传感器索引λO,i,半径rO,i和相同的采样索引的一组占用粗略点PO,i估计。从这些占用粗略点PO,i,例如通过最小均方方法得到方程r=c*λ+d的回归线。然后取导数为dr/ds≈c。
在方法100和200的一个示例性实施例中,可以获得所选择的预测半径rpred作为径向函数对第一传感器索引s1和第一传感器索引λ1的响应,并且其中所述径向函数是通过与至少其他两个第二占用粗略点(P2,i)相关联的第二半径r2,i的线性回归获得的,基于所述至少两个第二占用粗略点P2,i的第二采样索引s2,i和第二传感器索引λ2,i
例如,方程r=e*λ+f*s+g的线性函数是从所述第二占用粗略点P2,i通过例如最小均方方法获得的。然后通过以下获得预测半径rpred
rpred=e*λ1+f*s1+g
图25示出了图17中的方法100的变体的步骤的示意性框图。
在步骤105中,获得第一占用粗略点P1的候选半径列表L={r2}。候选半径列表L包括与至少一个第二占用粗略点P2相关联的至少一个第二半径r2,至少一个第二占用粗略点P2具有与第一传感器索引λ1不同的第二传感器索引λ2,并且具有小于或等于第一采样索引s1的第二采样索引s2
所述至少一个第二占用粗略点也可以根据结合图17讨论的任何实施例或变体或它们的任何组合来获得。
根据图25,所述至少一个第二占用粗略点P2进一步满足至少一个合格条件,指示与所述至少一个第二占用粗略点P2相关联的半径可能会减少残差半径rres的动态。
在方法100的变体的一个实施例中,根据与图17相关讨论的至少一个实施例或变体或其任意组合选择的与占用粗略点相关的半径,如果所述至少一个占用粗略点不满足所述至少一个合格条件,则不参与预测半径的选择。合格条件是对可以根据与图17相关讨论的至少一个实施例或变体或它们的任何组合来选择的占用粗略点的筛选。
在步骤110中,从候选半径列表L中获得第一占用粗略点P1的所选择的预测半径rpred
在步骤120中,数据Ipred被编码到比特流B中。数据Ipred表示候选半径列表L中选择的预测半径rpred
在步骤130中,获得残差半径rres并将其编码到比特流B中。
在步骤110的一个示例性实施例中,当所选择的预测半径rpred在与多个第二和/或多个第三占用粗略点相关联的多个半径中被选择时,所选择的预测半径rpred对应于最小化表示比特率(用于编码残差半径rres)或目标比特率和失真之间的折衷的成本函数的半径。
图26示出了图18的方法200的变体的步骤的示意性框图。
考虑二维坐标(s,λ)空间中的第一占用粗略点P1。在二维坐标(s,λ)空间中,第一占用粗略点P1具有第一采样索引s1和第一传感器索引λ1
在步骤105中,获得第一占用粗略点P1的候选半径列表L={r2}。候选半径列表L包括与至少一个第二占用粗略点P2相关联的至少一个第二半径r2,第二占用粗略点P2具有与第一传感器索引λ1不同的第二传感器索引λ2,并且具有小于或等于第一采样索引s1的第二采样索引s2
所述的至少一个第二占用粗略点也可以根据结合图18讨论的任何实施例或变体或它们的任何组合来获得。
根据图26,所述至少一个第二占用粗略点P2进一步满足至少一个合格条件,指示与所述至少一个第二占用粗略点P2相关联的半径可能会减少残差半径rres的动态。
在方法200的变体的一个实施例中,根据与图18相关讨论的至少一个实施例或变体或其任意组合选择的与占用粗略点相关的半径,如果所述至少一个占用粗略点不满足所述至少一个合格条件,则不参与预测半径的选择。合格条件是对可以根据与图18相关讨论的至少一个实施例或变体或它们的任何组合来选择的占用粗略点的筛选。
在步骤210中,从比特流B解码数据Ipred。数据Ipred表示候选半径列表L中的所选择的预测半径(rpred)。
在步骤220中,从比特流B解码残差半径rres
在步骤230中,基于残差半径rres和从数据Ipred和候选半径列表L={r2}中获得的所选择的预测半径rpred,获得与第一占用粗略点(P1)表示的点云的点相关联的(解码的)半径r1
在步骤105的一个示例性实施例中,如图24所示,候选半径列表L={r2,r3}可进一步包括与至少一个第三占用粗略点P3相关联的至少一个第三半径r3,第三占用粗略点P3具有等于第一传感器索引λ1的第三传感器索引λ3和小于或等于第一采样索引s1的第三采样索引s3
此示例性实施例是有利的,因为它在新感测点属于新对象时提供良好的预测半径,并且在新感测点属于先前感测的对象时提供良好的预测半径。
在方法100和200的变体的一个示例性实施例中,如图27所示,合格条件可以基于第二占用粗略点P2的第二采样索引s2和第三占用粗略点P3的第三采样索引s3之间的比较。
从简单的几何形状可知,在感测到的垂直平面的情况下,相对于预测半径rpred的残差半径rres的动态,在一级近似下,与距离|spred-s1|成正比,其中spred是与预测半径rpred相关联的占用的第二(或第三)粗略点的采样索引。
在一个变体中,如图27所示,当第二采样索引s2大于第三采样索引s3时,第二占用粗略点P2可以满足合格条件。
仅当所述被占用的第二粗略点满足所述合格条件时,该示例性实施例才允许选择被占用的第二粗略点而不是第三占用粗略点。在这种情况下,所述被占用的第二粗略点的半径是比与第三占用粗略点相关联的半径更好的预测半径,因为被占用的第二粗略点比被占用的第三粗略点更晚地被感测到。
在方法100和200的变体的一个示例性实施例中,合格条件可以基于与用于感测与第一、第二和第三占用粗略点相关联的点云的点的传感器相关联的方位角的比较。
此示例性实施例使用与占用粗略点相关联的方位角的比较来确定是否必须选择第二或第三粗略点来预测第一半径r1。此示例性实施例是有利的,因为比较方位角比比较采样索引提供更好的精度。
在方法100和200的变体的一个示例性实施例中,当第一方位角差A1低于第二方位角差A2时,第二占用粗略点P2可以满足合格条件。第一方位角差A1是与第一占用粗略点P1相关联的第一方位角φ1和与第二占用粗略点P2相关联的第二方位角φ1之间的差:
A1=|φ12|
第二方位角差A2是第一方位角φ1和与第三占用粗略点P3相关联的第三方位角φ3之间的差:
A2=|φ13|
例如,如果A1>A2,那么最好的预测可能是与占用的第三粗略点相关联的半径,因此占用的第二粗略点不合格。相反(A1<A2),占用的第二粗略点是合格的。
在方法100和200的变体的一个示例性实施例中,当距离D3大于阈值th1时,第二占用粗略点P2可以满足合格条件:
D3>th1
此示例性实施例是有利的,因为仅当从所选择的预测半径预期的增益等于所述半径r2不太可能补偿用信号通知所述半径r2的使用的额外语法的成本时,才选择与第二占用粗略点P2相关联的半径。
可以计算与第二占用粗略点P2相关联的第二半径r2和与第三占用粗略点P3相关联的第三半径r3之间的距离D3:
D3=|r2-r3|
在一种变体中,计算距离D3中的占用的第三粗略点P3可以是最近的占用的粗略点,即,使所述占用的第三粗略点P3的第三采样索引s3与第一采样索引s1之间的距离最小化的占用的第三粗略点。
在方法100和200的变体的一个示例性实施例中,阈值th1可以是固定的。
在一种变体中,阈值th1可以基于先前编码或解码的与具有等于第一传感器索引λ1的传感器索引的占用的粗略点相关联的残差半径rres
例如,阈值th1可以从同一传感器索引的多个先前编码/解码的残差半径rres的振幅|rres|的平均值获得。
此变体是有利的,因为它使阈值th1适应于半径的预测的平均质量。
在方法100和200的变体的一个示例性实施例中,当从至少两个先前编码/解码的第二占用粗略点PO,1和PO,2估计的半径的梯度与采样索引的梯度的比率大于阈值时,第二占用粗略点P2可以满足资格条件:
在一种变体中,为了降低对噪声的敏感性,半径和采样索引的梯度的估计可以使用多于两个的编码/解码的第二占用粗略点。
此示例性实施例是有利的,因为仅当与所述第二占用粗略点P2相关联的感测点不属于基本上垂直于感测方向的平面时,即梯度dr/ds较小时,它才选择与第二占用粗略点P2相关联的半径。那么,如果所述点属于基本上垂直于感测方向的平面,则与连续感测点相关联的半径不存在作为方位角φ的函数的变化(在第一近似中),因此作为采样索引s的函数的变化很小。在这种情况下,等于与第三占用粗略点P3相关联的半径的预测半径可能比等于与第二占用粗略点P2相关联的半径的预测半径提供更好的编码性能。
在方法100和200的变体的一个示例性实施例中,阈值th2可对应于感测方向和感测的平面的法线方向之间的最小角度αmin
th2=tan(αmin)
例如,可以选择如αmin=20°的值。
一旦获得至少一个第二半径r2并确认为合格,编码器就在第三半径r3和所述至少一个合格的第二半径r2中选择最佳预测。数据I(pred)必须发送给解码器,以便解码器知道使用了哪个预测。
在步骤120或210的一个示例性实施例中,数据Ipred指示所选择的预测半径rpred是否等于第二半径r2或第三半径r3
在步骤120或210的一个示例性实施例中,数据Ipred可包括二进制数据b,指示所选择的预测半径rpred是否为第二半径r2或第三半径r3
例如,二进制数据b等于0指示所选择的预测半径rpred是第二半径r2,等于1指示所选择的预测半径rpred是第三半径r3
在步骤120或210的一个示例性实施例中,所述至少一个第二半径r2可以形成半径的第一列表L1={r2},所述至少一个第三半径r3可以形成半径的第二列表L2={r3}。然后,二进制数据b可以指示所选择的预测半径rpred是属于第一还是第二半径列表。
在步骤120或210的一个示例性实施例中,数据Ipred可进一步包括预测索引Idx,指示所选择的预测半径rpred等于第一或第二半径列表中的哪个半径。
在步骤120或210的一个示例性实施例中,如图28所示,可以在单个第二半径r2和Np个第三半径r3,i(Np≥1)的列表L2={r3}中选择所选择的预测半径rpred。数据(Ipred)包括预测索引Idx,使得如果预测索引Idx不等于预定索引值IdxV,则预测索引Idx表示所选择的预测半径rpred等于列表中的哪个半径r3;否则,数据Ipred进一步包括二进制数据fHV,表示所选择的预测半径rpred是否等于半径列表中由预先确定的索引值IdxV表示的第二半径r2或第三半径r3
根据此示例性实施例,在预测索引Idx等于预定索引值IdxV的情况下,预测索引Idx首先被编码,随后可选地二进制数据fHV
索引Idx可以由一系列二进制数据fi进行一元编码。
例如,预测索引Idx包括二进制数据f1(图28)。如果二进制数据f1等于1(真),预测索引Idx等于1,并且预测Idx表示半径列表中的半径r3,1。如果f1=0且f2=1,那么预测索引Idx等于2,Idx等于预确定的索引值IdxV(=2),那么数据Ipred还包括二进制数据fHV,如果fHV=0,表示半径列表中的半径r3,2,否则,表示单个第二半径r2。如果f1=0,f2=0且f3=1,那么预测索引Idx等于3,并且表示半径列表中的半径r3,3,等等。
通过这样做,优先考虑具有比预定索引值IdxV低的索引的半径r3,i。这是有利的,因为已经观察到与最近的第三占用粗略点相关联的第三半径比与第二占用粗略点相关联的第二半径更有可能成为最佳预测。
在图28的示例中,预定的索引值IdxV等于2,使得只有与最近的第三占用粗略点相关联的第三半径r3,1被给予优先级。
在预测列表具有在0…Np-1范围内的索引的情况下,预定索引值IdxV等于1(而不是2)。
在步骤120或210的一个示例性实施例中,所述至少一个第二半径r2和至少一个第三半径r3可以形成单个半径列表L={r2,r3},并且数据Ipred包括预测索引,指示所选择的预测半径rpred等于预测半径列表中的哪个半径。
此单个半径列表可以是通过预测半径之间的“竞争”建立的。在实践中,可以通过从先前编码/解码的点中选择所有预测半径来获得例如取决于占用的粗略点相对于第一占用粗略点P1的位置的局部统计。
在一种变体中,单个半径列表的半径从统计上选择最多的到选择最少的排序。
然后将半径列表L的半径根据从选中最多的到选中最少的顺序排列。此变体允许使用与占用的第二粗略点相关联的数个半径,并局部适应点云的结构。
图29示出了示出实现了各种方面和示例性实施例的系统的示例的示意性框图。
系统300可以被嵌入作为一个或多个设备,包括下文描述的各种部件。在各种实施例中,系统300可以被配置为实现本申请中描述的方面中的一个或多个方面。
可以形成系统300的全部或部分的装备的示例包括个人计算机、膝上型电脑、智能手机、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器、连接的车辆及其相关联的处理系统、头戴式显示设备(HMD、透视眼镜)、投影仪(投束器)、“cave”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、网络服务器、机顶盒以及用于处理点云、视频或图像的任何其他设备或其他通信设备。系统300的元件可以单个地或组合地体现在单个集成电路(IC)、多个IC和/或分立部件中。例如,在至少一个实施例中,系统300的处理元件和编码器/解码器元件可以跨多个IC和/或分立部件分布。在各种实施例中,系统300可以经由例如通信总线或通过专用输入和/或输出端口通信耦合到其他类似系统或其他电子设备。
系统300可以包括至少一个处理器310,该至少一个处理器被配置为执行加载在其中的用于实现例如本申请中描述的各个方面的指令。处理器310可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统300可以包括至少一个存储器320(例如易失性存储器设备和/或非易失性存储器设备)。系统300可以包括存储设备340,该存储设备可以包括非易失性存储器和/或易失性存储器,包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例,存储设备340可以包括内部存储设备、附加存储设备和/或网络可访问存储设备。
系统300可以包括编码器/解码器模块330,该编码器/解码器模块被配置为例如处理数据以提供经编码/经解码的点云几何数据,并且编码器/解码器模块330可以包括其自己的处理器和存储器。编码器/解码器模块330可以表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。众所周知,设备可以包括编码模块和解码模块中的一者或两者。附加地,编码器/解码器模块330可以被实现为系统300的独立元件,或者可以被结合在处理器310内,作为本领域技术人员已知的硬件和软件的组合。
要加载到处理器310或编码器/解码器330上以执行本申请中描述的各个方面的程序代码可以被存储在存储设备340中并且随后被加载到存储器320上以供处理器310执行。根据各种实施例,处理器310、存储器320、存储设备340和编码器/解码器模块330中的一者或多者可以在执行本申请中描述的过程期间存储各种条目中的一个或多个。此类被存储的条目可以包括但不限于点云帧、经编码/经解码的几何图形/属性视频/图像或经编码/经解码的几何图形/属性视频/图像的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间结果或最终结果。
在几个实施例中,在处理器310和/或编码器/解码器模块330的内侧的存储器可以用于存储指令,并且为可以在编码或解码期间执行的处理提供工作存储器。
然而,在其他实施例中,处理设备外部的存储器(例如,处理设备可以是处理器310或编码器/解码器模块330)可以用于这些功能中的一个或多个。外部存储器可以是存储器320和/或存储设备340,例如,动态易失性存储器和/或非易失性闪存。在几个实施例中,外部非易失性闪存可以用于存储电视的操作系统。在至少一个实施例中,诸如RAM的快速外部动态易失性存储器可以用作用于视频译码和解码操作的工作存储器,诸如用于MPEG-2第2部分(也被称为ITU-T建议H.262和ISO/IEC 13818-2,也被称为MPEG-2视频)、HEVC(高效视频译码)、VVC(通用视频译码)、或MPEG-1第5部分或第9部分。
如框390中指示的,可以通过各种输入设备向系统300的元件提供输入。此类输入设备包括但不限于(i)可以接收例如由广播公司通过空中发送的RF信号的RF部分,(ii)复合输入端子,(iii)USB输入端子,和/或(iv)HDMI输入端子。
在各种实施例中,框390的输入设备可以具有如本领域已知的相关联的相应输入处理元件。例如,RF部分可以与以下所必需的元件相关联:(i)选择期望的频率(也被称为选择信号,或者将信号频带限制到频率频带),(ii)将所选择的信号下变频,(iii)再次频带限制到较窄的频率频带,以选择(例如)在某些实施例中可以被称为信道的信号频率频带,(iv)对下变频和频带限制的信号进行解调,(v)执行误差校正,以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分可以包括用以执行这些功能的一个或多个元件,例如,频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、误差校正器和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器,包括例如将接收的信号下变频到较低频率(例如,中间频率或近基带频率)或基带。
在一个机顶盒实施例中,RF部分及其相关联的输入处理元件可以接收通过有线(例如,电缆)介质发送的RF信号。然后,RF部分可以通过滤波、下变频并再次滤波到期望的频率频带来执行频率选择。
各种实施例重新排列上述(和其他)元件的顺序,移除这些元件中的一些,和/或添加执行类似或不同功能的其他元件。
添加元件可以包括在现有元件之间插入元件,诸如,例如插入放大器和模数转换器。在各种实施例中,RF部分可以包括天线。
附加地,USB和/或HDMI端子可以包括用于跨USB和/或HDMI连接将系统300连接到其他电子设备的相应的接口处理器。应当理解,输入处理(例如Reed-Solomon误差校正)的各个方面可以根据需要实现在例如独立的输入处理IC内或者在处理器310内。类似地,USB或HDMI接口处理的各方面可以根据需要实现在独立的接口IC内或在处理器310内。经解调、经误差校正和经解复用的流可以被提供到各种处理元件,包括例如处理器310和编码器/解码器330,它们与存储器和存储元件组合地操作,以根据需要处理数据流以用于在输出设备上呈现。
系统300的各种元件可以设置在集成外壳内。在集成外壳内,各种元件可以使用合适的连接布置390互连并且在它们之间发送数据,该连接布置例如本领域已知的内部总线,包括I2C总线、布线和印刷电路板。
系统300可以包括通信接口350,该通信接口使得能够经由通信信道700与其他设备通信。通信接口350可以包括但不限于被配置为通过通信信道700发送和接收数据的收发器。通信接口350可以包括但不限于调制解调器或网卡,并且通信信道700可以实现在例如有线和/或无线介质内。
在各种实施例中,可以使用诸如IEEE 802.11的Wi-Fi网络将数据流式传输到系统300。这些实施例的Wi-Fi信号可以通过适于Wi-Fi通信的通信信道700和通信接口350来接收。这些实施例的通信信道700典型地可以连接到接入点或路由器,该接入点或路由器提供对包括因特网的外部网络的接入,以用于允许流式传输应用和其他通过互联网提供应用服务(over-the-top,OTT)的通信。
其他实施例可以使用机顶盒向系统300提供流式传输的数据,该机顶盒通过输入框390的HDMI连接递送数据。
还有其他实施例可以使用输入框390的RF连接向系统300提供流式传输的数据。
流式传输的数据可以用作用于由系统300使用的信令信息的方式。信令信息可以包括比特流B和/或诸如点云的点的数量、坐标和/或传感器设置参数的信息。
应当理解,可以以多种方式来完成信令。例如,在各种实施例中,一个或多个语法元素、标志等可以用于向对应的解码器信号通知信息。
系统300可以向各种输出设备(包括显示器400、扬声器500和其他外围设备600)提供输出信号。在实施例的各种示例中,其他外围设备600可以包括以下中的一者或多者:独立DVR、盘播放器、立体声系统、照明系统以及基于系统300的输出来提供功能的其他设备。
在各种实施例中,可以使用信令在系统300与显示器400、扬声器500或其他外围设备600之间传送控制信号,该信令诸如AV.Link(音频/视频链路)、CEC(消费电子控制)或使得能够在有或没有用户干预的情况下进行设备到设备控制的其他通信协议。
输出设备可以通过相应的接口360、370和380经由专用连接通信耦合到系统300。
替代地,输出设备可以经由通信接口350使用通信信道700连接到系统300。显示器400和扬声器500可以与电子设备(诸如,例如电视机)中的系统300的其他部件集成在单个单元中。
在各种实施例中,显示接口360可以包括显示驱动器,诸如,例如定时控制器(TCon)芯片。
例如,如果输入390的RF部分是独立的机顶盒的部分,则显示器400和扬声器500可以替代地与其他部件中的一个或多个分离。在显示器400和扬声器500可以是外部部件的各种实施例中,可以经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)提供输出信号。
在图1至图29中,本文描述了各种方法,并且方法中的每一种包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要步骤或动作的特定顺序,否则特定步骤和/或动作的顺序和/或使用可以被修改或组合。
关于框图和/或操作流程图描述了一些示例。每个框表示电路元件、模块或部分代码,该代码包括用于实现(一个或多个)指定逻辑功能的一个或多个可执行指令。还应当注意,在其他实现方式中,框中指出的(一个或多个)功能可以不按所指示的顺序发生。例如,连续示出的两个框实际上可以基本上同时执行,或者框有时可以以逆序执行,这取决于所涉及的功能性。
本文描述的实现方式和方面可以实现在例如方法或过程、装置、计算机程序、数据流、比特流或信号中。即使仅在实现方式的单个形式的上下文中讨论(例如,仅作为方法讨论),所讨论的特征的实现方式也可以以其他形式(例如,装置或计算机程序)实现。
方法可以实现在例如处理器中,该处理器一般指处理设备,包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备。
附加地,方法可以通过由处理器执行的指令来实现,并且此类指令(和/或由实现方式产生的数据值)可以被存储在计算机可读存储介质上。计算机可读存储介质可以采取体现在一个或多个计算机可读介质中的计算机可读程序产品的形式,并且具有体现在其上的可由计算机执行的计算机可读程序代码。如本文所使用的计算机可读存储介质可以被认为是非暂时性存储介质,其给定在其中存储信息的固有能力以及提供从中检索信息的固有能力。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置、或设备或前述的任何合适的组合。应当理解,尽管提供了可以应用本实施例的计算机可读存储介质的更具体的示例,但是正如本领域普通技术人员容易理解的那样,以下仅仅是说明性的,而不是详尽列表:便携式计算机磁盘;硬盘;只读存储器(ROM);可擦除可编程只读存储器(EPROM或闪存);便携式压缩盘只读存储器(CD-ROM);光学存储设备;磁性存储设备;或者前述的任何合适的组合。
指令可以形成有形地体现在处理器可读介质上的应用程序。
指令可以例如在硬件、固件、软件或组合中。指令可以在例如操作系统、独立应用或两者的组合中找到。因此,处理器可以被表征为例如被配置为进行过程的设备和包括具有用于进行过程的指令的处理器可读介质(诸如存储设备)的设备两者。此外,除了指令之外或者代替指令,处理器可读介质可以存储由实现方式产生的数据值。
装置可以以例如适当的硬件、软件和固件实现。此类装置的示例包括个人计算机、膝上型电脑、智能手机、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器、头戴式显示设备(HMD、透视眼镜)、投影仪(投束器)、“cave”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、网络服务器、机顶盒以及用于处理点云、视频或图像的任何其他设备或其他通信设备。如应该清楚的,装备可以是移动的,并且甚至安装在移动车辆中。
计算机软件可以由处理器310或由硬件或由硬件和软件的组合实现。作为非限制性示例,实施例也可以由一个或多个集成电路实现。存储器320可以是适用于技术环境的任何类型,并且可以使用任何适当的数据存储技术来实现,作为非限制性示例,诸如光存储设备、磁存储设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器310可以是适用于技术环境的任何类型,并且作为非限制性示例,可以涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
如对本领域普通技术人员来说将显而易见的,实现方式可以产生多种信号,这些信号被格式化以携带例如可以被存储或发送的信息。信息可以包括例如用于执行方法的指令或由所描述的实现方式中的一种所产生的数据。例如,信号可以被格式化以携带所描述的实施例的比特流。此类信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及用经编码的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。众所周知,信号可以通过多种不同的有线或无线链路发送。信号可以被存储在处理器可读介质上。
本文所使用的术语是用于仅描述特定的实施例的目的,而并非意图限制。如本文所使用的,单数形式“一”、“一个”和“该”可以意图也包括复数形式,除非上下文另有明确指示。应当进一步理解,术语“包含(includes)/包括(comprises)”和/或“包含(including)/包括(comprising)”在本说明书中使用时,可以指定所陈述的例如特征、整数、步骤、操作、元件和/或部件的存在,但是不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的群组的存在或添加。此外,当元件被称为“响应于”或“连接到”另一元件时,它可以直接响应于或连接到另一个元件,或者可以存在居间元件。相反,当元件被称为“直接响应于”或“直接连接到”另一个元件时,不存在居间元件。
应当理解,例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下,符号/术语“/”、“和/或”和“……中的至少一个”中的任何一个的使用可以意图涵盖仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者选择两个选项(A和B)。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一个”的情况下,此类措辞意图涵盖仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者仅选择第三个列出的选项(C)、或仅选择第一个和第二个列出的选项(A和B)、或者仅选择第一个和第三个列出的选项(A和C)、或者仅选择第二个和第三个列出的选项(B和C)、或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员应该清楚的,这可以扩展到如所列出的许多项目。
在本申请中可以使用各种数值。特定值可以是出于举例目的,并且所描述的方面不限于这些特定值。
应当理解,尽管术语第一、第二等可以在本文中用于描述各种元件,但是这些元件不受这些术语的限制。这些术语仅用于区分一个元件与另一元件。例如,在不脱离本申请的教导的情况下,第一元件可以被称为第二元件,并且类似地,第二元件可以被称为第一元件。暗示了第一元件和第二元件之间没有排序。
对“一个示例性实施例”或“示例性实施例”或“一种实现方式”或“实现方式”以及其其他变型的引用频繁地用于传达(结合实施例/实现方式描述的)特定特征、结构、特性等被包括在至少一个实施例/实现方式中。因此,在整个本申请的各个地方出现的短语“在一个示例性实施例中”或“在示例性实施例中”或“在一种实现方式中”或“在实现方式中”以及任何其他变型的出现不一定全部指同一实施例。
类似地,本文中对“根据示例性实施例/示例/实现方式”或“在示例性实施例/示例/实现方式中”以及其其他变型的引用频繁地用于传达(结合示例性实施例/示例/实现方式描述的)特定特征、结构或特性可以被包括在至少一个示例性实施例/示例/实现方式中。因此,表述“根据示例性实施例/示例/实现方式”或“在示例性实施例/示例/实现方式中”在说明书中的不同地方出现不一定全部指同一示例性实施例/示例/实现方式,独立的或替代的示例性实施例/示例/实现方式也不一定与其他示例性实施例/示例/实现方式相互排斥。
权利要求中出现的附图标记仅用于说明,并且对权利要求的范围不应有限制作用。尽管没有显式地描述,但是本实施例/示例和变型可以以任何组合或子组合的方式采用。
当附图被呈现为流程图时,应当理解,它也提供了对应装置的框图。类似地,当附图被呈现为框图时,应当理解,它也提供了对应方法/过程的流程图。
尽管图中的一些包括通信路径上的箭头以示出通信的主要方向,但是应当理解,通信可以发生在与所描绘的箭头相反的方向上。
各种实现方式涉及解码。如在本申请中使用的“解码”可以涵盖例如在接收到的点云帧(可能包括编码一个或多个点云帧的接收到的比特流)上执行的过程的全部或部分,以便产生适合于显示或适合于在经重构的点云域中进一步处理的最终输出。在各种实施例中,此类过程包括典型地由解码器执行的过程中的一个或多个。在各种实施例中,此类过程还包括或者替代地包括例如由本申请中描述的各种实现方式的解码器执行的过程,
作为进一步的示例,在一个实施例中“解码”可以指仅去量化,在一个实施例中“解码”可以指熵解码,在另一实施例中“解码”可以指仅差分解码,并且在另一实施例中“解码”可以指去量化、熵解码和差分解码的组合。基于具体描述的上下文,短语“解码过程”可以意图特指操作的子集还是泛指更广泛的解码过程将是清楚的,并且相信是本领域技术人员很好理解的。
各种实现方式涉及编码。以与上面关于“解码”的讨论类似的方式,如在本申请中使用的“编码”可以涵盖例如在输入点云帧上执行的过程的全部或部分,以便产生经编码的比特流。在各种实施例中,此类过程包括典型地由编码器执行的过程中的一个或多个。在各种实施例中,此类过程还包括或者替代地包括由本申请中描述的各种实现方式的编码器执行的过程。
作为进一步的示例,在一个实施例中“编码”可以指仅量化,在一个实施例中“编码”可以指仅熵编码,在另一实施例中“编码”可以指仅差分编码,并且在另一实施例中“编码”可以指量化、差分编码和熵编码的组合。基于具体描述的上下文,短语“编码过程”可以意图特指操作的子集还是泛指更广泛的编码过程将是清楚的,并且相信是本领域技术人员很好理解的。
此外,该应用可以指“获得”多条信息。获得信息可以包括以下中的一种或多种:例如,估计信息、计算信息、预测信息或从存储器中检索信息。
此外,该应用可以指“访问”多条信息。访问信息可以包括以下中的一种或多种:例如,接收信息、检索信息(例如,从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。
附加地,该应用可以指“接收”多条信息。与“访问”一样,接收意图为广义的术语。接收信息可以包括以下中的一种或多种:例如,访问信息或检索信息(例如,从存储器)。此外,在诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间,典型地以这样或那样的方式涉及“接收”。
此外,如本文所使用的,单词“信号通知”除此之外指向对应的解码器指示某些东西。例如,在某些实施例中,编码器信号通知诸如点云的点的数量、或坐标、或传感器设置参数的特定信息。以这种方式,在实施例中,可以在编码器侧和解码器侧两者处使用相同的参数。因此,例如,编码器可以向解码器发送(显式信令)特定参数,使得解码器可以使用相同的特定参数。相反地,如果解码器已经具有特定参数以及其他参数,则可以使用信令而不发送(隐式信令)来简单地允许解码器知道并选择特定参数。通过避免任何实际功能的传输,在各种实施例中实现了比特节省。应当理解,可以以多种方式来完成信令。例如,在各种实施例中,一个或多个语法元素、标志等用于向对应的解码器信号通知信息。虽然前面涉及单词“信号”的动词形式,但是单词“信号”在本文中也可以用作名词。
已经描述了若干实现方式。然而,应当理解,可以进行各种修改。例如,不同实现方式的元件可以被组合、补充、修改或移除以产生其他实现方式。此外,本领域普通技术人员将理解,其他结构和过程可以替代所公开的那些,并且所得到的实现方式将以至少基本上相同的(一个或多个)方式执行至少基本上相同的(一个或多个)功能,以实现与所公开的实现方式至少基本上相同的(一个或多个)结果。因此,本申请设想到了这些和其他实现方式。

Claims (15)

1.一种将与传感器索引相关联的至少一个传感器感测的点云几何数据编码到比特流中的方法,点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示,每个占用粗略点由与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引和与感测到点云的点的感测时刻相关联的采样索引定位在二维空间内,每个占用粗略点与基于点云的点与参考点的距离的半径相关联,其中所述方法包括:
-对于具有第一传感器索引(λ1)、第一采样索引(s1)并与第一半径(r1)相关联的第一占用粗略点(P1),从与至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)选择(110)所选择的预测半径(rpred),至少一个第二占用粗略点(P2)具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)和低于或等于第一采样索引(s1)的第二采样索引(s2);
-将表示所选择的预测半径(rpred)的数据(Ipred)编码(120)到比特流中;以及
-将第一半径(r1)和选择的预测半径(rpred)之间的残差半径(rres)编码(130)到比特流中。
2.一种从比特流解码与传感器索引相关联的至少一个传感器感测的点云几何数据的方法,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示,每个占用粗略点由与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引和与感测到点云的点的感测时刻相关联的采样索引定位在二维空间内,其中所述方法包括:
-针对具有第一传感器索引(λ1)和第一采样索引(s1)的第一占用粗略点(P1),从比特流解码(210)表示从与至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)中选择的所选择的预测半径(rpred)的数据(Ipred),所述至少一个第二占用粗略点(P2)具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)和低于第一采样索引(s1)的第二采样索引(s2);
-从比特流解码(220)残差半径(rres);以及
-基于残差半径(rres)和从数据(Ipred)中获得的所选择的预测半径(rpred),获得与由第一占用粗略点(P1)表示的点云的点相关联的半径(r1)。
3.如权利要求1或2所述的方法,其中所选择的预测半径(rpred)等于与第二占用粗略点(P2)相关联的第二半径(r2),诸如所述第二占用粗略点(P2)的第二传感器索引(λ2)与第一传感器索引(λ1)之间的第一距离是有界的(λ2;below2;above)。
4.如权利要求1至3中任何一个所述的方法,其中所选择的预测半径(rpred)等于与第二占用粗略点(P2)相关联的第二半径(r2),诸如所述第二占用粗略点(P2)的第二采样索引(s2)与第一采样索引(s1)之间的第二距离由界(W)界定,或者诸如第二距离最小。
5.如权利要求1或2所述的方法,其中所选择的预测半径(rpred)是基于与在它们的第二采样索引(s2)和第一采样索引(s1)之间具有相同的第二距离的至少两个第二占用粗略点(P2,i)相关联的至少两个第二半径(r2,i)而选择的;以及其中,所选择的预测半径(rpred)等于与第二占用粗略点(P2,i)相关联的第二半径(r2,i),第二占用粗略点(P2,i)具有相对于第一传感器索引(λ1)最接近的传感器索引(λ2,i),或者具有仅低于第一传感器索引(λ1)的最接近的传感器索引,或者等于所述至少两个第二半径(r2,i)的平均值。
6.如权利要求1或2所述的方法,其中所选择的预测半径(rpred)是从与至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)和与至少一个第三占用粗略点(P3)相关联的至少一个第三半径(r3)中选择的,至少一个第三占用粗略点(P3)具有等于第一传感器索引(λ1)的传感器索引(λ3)和低于第一采样索引(s1)的采样索引(s3)。
7.如权利要求1至6中任何一个所述的方法,其中所述方法进一步包括基于所述至少一个第二采样索引(s2,s2,i)和第一采样索引(s1),通过第一校正值,校正从与具有至少一个第二采样索引(s2,s2,i)的至少一个第二占用粗略点(r2,r2,i)相关联的至少一个第二半径(r2,r2,i)获得的所选择的预测半径(rpred)。
8.如权利要求1至7中任何一个所述的方法,其中所述方法进一步包括基于所述至少一个传感器索引(λ22,i)和第一传感器索引(λ1),通过第二校正值,校正从与具有至少一个第二传感器索引(λ22,i)的至少一个第二占用粗略点(P2,P2,i)相关联的至少一个第二半径(r2,r2,i)获得的所选择的预测半径(rpred)。
9.如权利要求1或2所述的方法,其中所选择的预测半径(rpred)被获得作为径向函数对第一传感器索引(s1)和第一传感器索引(λ1)的响应,以及其中所述径向函数是通过基于至少两个其他第二占用粗略点(P2,i)的第二采样索引(s2,i)和第二传感器索引(λ2,i)对与所述至少两个其他第二占用粗略点(P2,i)相关联的第二半径(r2,i)进行线性回归而获得的。
10.一种将与传感器索引相关联的至少一个传感器感测的点云几何数据编码到比特流中的装置,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示,每个占用粗略点由与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引和与感测到点云的点的感测时刻相关联的采样索引定位在二维空间内,每个占用粗略点与基于点云的点与参考点的距离的半径相关联,其中所述装置包括至少一个处理器,所述至少一个处理器被配置为:
-对于具有第一传感器索引(λ1)、第一采样索引(s1)并与第一半径(r1)相关联的第一占用粗略点(P1),从与至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)选择(110)所选择的预测半径(rpred),至少一个第二占用粗略点(P2)具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)和低于或等于第一采样索引(s1)的第二采样索引(s2);
-将表示所选择的预测半径(rpred)的数据(Ipred)编码(120)到比特流中;以及
-将第一半径(r1)和选择的预测半径(rpred)之间的残差半径(rres)编码(130)到比特流中。
11.一种从比特流解码与传感器索引相关联的至少一个传感器感测的点云几何数据的装置,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示,每个占用粗略点由与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引和与感测到点云的点的感测时刻相关联的采样索引定位在二维空间内,其中所述装置包括至少一个处理器,所述至少一个处理器被配置为:
-针对具有第一传感器索引(λ1)和第一采样索引(s1)的第一占用粗略点(P1),从比特流解码(210)表示从与至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)中选择的所选择的预测半径(rpred)的数据(Ipred),所述至少一个第二占用粗略点(P2)具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)和低于第一采样索引(s1)的第二采样索引(s2);
-从比特流解码(220)残差半径(rres);以及
-基于残差半径(rres)和从数据(Ipred)中获得的所选择的预测半径(rpred),获得与由第一占用粗略点(P1)表示的点云的点相关联的半径(r1)。
12.一种计算机程序产品,包括指令,当程序由一个或多个处理器执行时,指令使一个或多个处理器执行将与传感器索引相关联的至少一个传感器感测的点云几何数据编码到比特流中的方法,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示,每个占用粗略点由与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引和与感测到点云的点的感测时刻相关联的采样索引定位在二维空间内,每个占用粗略点与基于点云的点与参考点的距离的半径相关联,其中所述方法包括:
-对于具有第一传感器索引(λ1)、第一采样索引(s1)并与第一半径(r1)相关联的第一占用粗略点(P1),从与至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)选择(110)所选择的预测半径(rpred),至少一个第二占用粗略点(P2)具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)和低于或等于第一采样索引(s1)的第二采样索引(s2);
-将表示所选择的预测半径(rpred)的数据(Ipred)编码(120)到比特流中;以及
-将第一半径(r1)和选择的预测半径(rpred)之间的残差半径(rres)编码(130)到比特流中。
13.一种非暂时性存储介质,携带程序代码的指令,用于执行将与传感器索引相关联的至少一个传感器感测的点云几何数据编码到比特流中的方法,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示,每个占用粗略点由与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引和与感测到点云的点的感测时刻相关联的采样索引定位在二维空间内,每个占用粗略点与基于点云的点与参考点的距离的半径相关联,其中所述方法包括:
-对于具有第一传感器索引(λ1)、第一采样索引(s1)并与第一半径(r1)相关联的第一占用粗略点(P1),从与至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)选择(110)所选择的预测半径(rpred),至少一个第二占用粗略点(P2)具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)和低于或等于第一采样索引(s1)的第二采样索引(s2);
-将表示所选择的预测半径(rpred)的数据(Ipred)编码(120)到比特流中;以及
-将第一半径(r1)和选择的预测半径(rpred)之间的残差半径(rres)编码(130)到比特流中。
14.一种计算机程序产品,包括指令,当程序由一个或多个处理器执行时,指令使一个或多个处理器执行从比特流解码与传感器索引相关联的至少一个传感器感测的点云几何数据的方法,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示,每个占用粗略点由与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引和与感测到点云的点的感测时刻相关联的采样索引定位在二维空间内,其中所述方法包括:
-针对具有第一传感器索引(λ1)和第一采样索引(s1)的第一占用粗略点(P1),从比特流解码(210)表示从与至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)中选择的所选择的预测半径(rpred)的数据(Ipred),所述至少一个第二占用粗略点(P2)具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)和低于第一采样索引(s1)的第二采样索引(s2);
-从比特流解码(220)残差半径(rres);以及
-基于残差半径(rres)和从数据(Ipred)中获得的所选择的预测半径(rpred),获得与由第一占用粗略点(P1)表示的点云的点相关联的半径(r1)。
15.一种非暂时性存储介质,携带程序代码的指令,用于执行从比特流解码与传感器索引相关联的至少一个传感器感测的点云几何数据的方法,所述点云几何数据由占用二维空间的一组离散位置的一些离散位置的有序粗略点表示,每个占用粗略点由与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引和与感测到点云的点的感测时刻相关联的采样索引定位在二维空间内,其中所述方法包括:
-针对具有第一传感器索引(λ1)和第一采样索引(s1)的第一占用粗略点(P1),从比特流解码(210)表示从与至少一个第二占用粗略点(P2)相关联的至少一个第二半径(r2)中选择的所选择的预测半径(rpred)的数据(Ipred),所述至少一个第二占用粗略点(P2)具有不同于第一传感器索引(λ1)的第二传感器索引(λ2)和低于第一采样索引(s1)的第二采样索引(s2);
-从比特流解码(220)残差半径(rres);以及
-基于残差半径(rres)和从数据(Ipred)中获得的所选择的预测半径(rpred),获得与由第一占用粗略点(P1)表示的点云的点相关联的半径(r1)。
CN202280064539.6A 2021-09-30 2022-06-30 编码/解码由至少一个传感器感测的点云几何数据的方法和装置 Pending CN118120237A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21306361.3A EP4160925A1 (en) 2021-09-30 2021-09-30 Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
EP21306361.3 2021-09-30
PCT/CN2022/103172 WO2023050953A1 (en) 2021-09-30 2022-06-30 Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor

Publications (1)

Publication Number Publication Date
CN118120237A true CN118120237A (zh) 2024-05-31

Family

ID=78819877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280064539.6A Pending CN118120237A (zh) 2021-09-30 2022-06-30 编码/解码由至少一个传感器感测的点云几何数据的方法和装置

Country Status (4)

Country Link
US (1) US20240414370A1 (zh)
EP (1) EP4160925A1 (zh)
CN (1) CN118120237A (zh)
WO (1) WO2023050953A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3633857B1 (en) * 2018-10-03 2022-01-26 BlackBerry Limited Methods and devices for on-the-fly coder mapping updates in point cloud coding
US11762061B2 (en) * 2019-07-26 2023-09-19 Deka Products Limited Partnership System and method for free space estimation
US12190550B2 (en) * 2019-10-31 2025-01-07 Blackberry Limited Angular priors for improved prediction in point-predictive trees
KR20230023667A (ko) * 2020-06-24 2023-02-17 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 포인트 클라우드의 인코딩 및 디코딩 방법
CN115529463B (zh) * 2020-06-24 2024-11-05 北京小米移动软件有限公司 编码和解码方法、编码器、解码器以及存储介质

Also Published As

Publication number Publication date
US20240414370A1 (en) 2024-12-12
EP4160925A1 (en) 2023-04-05
WO2023050953A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
JP7535665B2 (ja) 自己回転センサヘッドでキャプチャされた点群ジオメトリデータを符号化/復号化する方法及び装置
WO2022213569A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
US20240185472A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
CN116724212A (zh) 熵编码/解码自旋传感器头捕获的点云几何数据的方法和装置
WO2023123261A1 (en) Method and apparatus of encoding/decoding point cloud geometry data
WO2022213571A1 (en) Method and apparatus of encoding/decoding point cloud geometry data using azimuthal coding mode
CN118043849A (zh) 编码/解码由至少一个传感器感测的点云几何数据的方法和装置
CN118120237A (zh) 编码/解码由至少一个传感器感测的点云几何数据的方法和装置
WO2023050950A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
WO2023050951A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
WO2023029664A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
WO2023029672A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
US20240362824A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
RU2834924C2 (ru) Способ и устройство для кодирования/декодирования геометрических данных облака точек, обнаруженных с помощью, по меньшей мере, одного датчика
US20250071325A1 (en) Method and apparatus of encoding/decoding point cloud geometry data
WO2023179277A1 (en) Encoding/decoding positions of points of a point cloud encompassed in a cuboid volume
WO2023050912A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
WO2024093215A1 (en) Encoding/decoding point cloud geometry data
US20240333972A1 (en) Method and apparatus of encoding/decoding point cloud captured by a spinning sensors head
CN118613870A (zh) 编码/解码点云数据的切片的方法和装置
CN118020307A (zh) 编码/解码由至少一个传感器感测的点云几何数据的方法和装置
CN117693769A (zh) 编码/解码由旋转传感器头捕获的点云的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination