图形变化的点云压缩.doc

基于图形的运动评估和动态3D点云压缩的补偿摘要这篇论文解决的是3D点云序列的运动估计问题。这些3d点云序列有移动的3D位置和颜色属性的特点。运动估计是有效的压缩这些数据的关键，但是由于它短暂的连续帧有不同的大小、没有清楚的相关信息，使它成为一个具有挑战性问题。我们用一组图形来代表这些序列的时变几何结构，并且认为这些点云的3D位置和颜色属性作为图形最高点的信号。之后我们计算运动估计作为连续图像之间的特征匹配问题。使用新的频谱图小波描述符（new spectral graph wavelet descriptors）在一组稀疏的代表性顶点上估计运动。最终通过求解基于图的规则化问题来内插密集运动场。估计的运动最终用于3D点云序列的压缩中的颜色补偿。实验结果表明，我们的方法能够准确地估计运动，并在色彩压缩性能方面带来显着的改进。1.介绍诸如运动中的人的动态3D场景越来越多地被彩色加深度视频摄像机阵列捕获。与计算机生成的几何形状不同，所得到的捕获的几何形状几乎没有显式的时空结构，并且通常由点云的序列表示，其中在每个帧中可能存在不同数量的点，并且在时间上没有点之间的显式关联。 执行运动估计，运动补偿和这种数据的压缩是一项具有挑战性的任务。很遗憾，到目前为止3D点云压缩序列在文献中已经被很大程度的忽视了。在压缩静态3D点云中几乎没有任何的贡献。一些示例包括基于2D小波变换的方案和基于八叉树的几何压缩算法，其集中于3D几何位置的压缩。最近，作者在5中提出使用图形变换来删除3D点云属性的压缩的空间冗余，与传统方法相比有显着的改进。然而，以上所有的方法独立的考虑了序列的每一帧，没有利用存在于几何序列中的时间冗余。这存在着压缩动态3D网格的文献，这些文献包括确定连通性和已知对应或者变化连通性。然而，我们只有一个工作，利用点云序列的时间和空间冗余13。自动机通过比较连续点云的八叉树数据结构和编码它们的结构差异来压缩几何形状。由于它们的编码方案基于八叉树结构之间的设置差异而不是体素的运动，所以减少用于编码颜色属性的时间相关性不是直接的。在这篇论文中我们集中注意力在3D颜色属性的压缩，并利用点云序列的时间相关性，提出一种新颖的运动估计和补偿方案。我们将点视为图形中的顶点，边缘在附近的顶点之间。与传统的多边形网格不同，此图形不需要表示表面。包括3D位置p（n）= x; y; z（n）和颜色分量c（n）= r; g; b（n）的每个点n的属性被视为驻留在图形的顶点。 由于3D点云序列中的帧是相关的，所以在连续时刻的图信号也是相关的。然而，相关的估计是一个具有挑战性的任务，因为帧通常以不同的大小出现，并且没有显式的对应信息可用序列。我们提出了一种用于3D点云序列中的运动估计和补偿的新算法。我们将运动估计作为动态图上的特征匹配问题。特别地，我们使用谱图小波（SGW）14为图的每个节点计算不同尺度的新局部特征。光谱特征对图的边缘或节点的小扰动是稳定的，并且这种特征的不同实例已经成功地用于图匹配问题15或网格分割和表面对准问题16。然后，我们将不同图形中的SGW特征与基于马氏距离的标准进行匹配，并根据数据进行训练。我们首先在稀疏集合的匹配节点上计算运动，并且通过求解新的基于图的二次正则化问题来内插图的其他节点的运动，该问题促进图上的运动矢量的平滑性，以便建立一致的运动场。我们最终在颜色信息的预测编码中利用估计的运动信息，其中通过仅对实际颜色信息和运动补偿的结果之间的差异进行编码，从而获益于时间冗余。我们通过实验结果表明，我们的新的运动补偿方案在一个最先进的编码器5的集成导致在3D点云序列中的颜色信息的速率失真压缩性能方面的重大改进。本文的其余部分安排如下。 第2节首先描述使用图形的3D点云的表示，并且生成光谱图小波描述符。 运动估计和合成方案在第3节中给出。实验结果和结论分别在第4和5节中给出。2. 基于图形的3D点云表征（大概是介绍谱图小波）我们使用加权和无向图G =（V; E; V）表示每个帧中的点集，其中V和E表示G的顶点和边集。基于图的表示是灵活的，并且适合于生活在不规则域上的数据。每一个节点V对应着点云中的一个点，每一个边集E连接着附近的点。在我们的数据集中，点云被体元化，即，它们的3D位置被量化为具有给定步长的规则的，轴对准的3D网格。每个量化单元被称为体素，包含点的体素被称为被占据，并且被占据的体素被识别为图中的顶点。如果两个至高点在体素网格中有26个相邻，则他们通过边缘相连接。即，他们之间的距离沿着方向轴的一步中是最大的。尽管两个连接像素之间的距离不是1，12倍就是13倍的步长。矩阵W是正边缘权重的矩阵，其中W（i; j）表示连接顶点i和j的边的权重。 该权重捕获邻近占用体素的连通性模式，并且选择为与体素之间的距离成反比，遵循5中提出的定义。最后，我们计算定义为L = D-W的图形拉普拉斯算子，其中D是对角度矩阵，其ith对角线元素等于入射到顶点18的所有边缘的权重的总和。 它是一个真正的对称(symmetric)矩阵，具有一组完整的正交特征向量和对应的非负特征值。我们用来表示它的特征向量，并且用来表示特征向量的谱。这些信号被用来定义在运动估计进程中图形节点的特征。图形的节点的特征的有意义的定义需要相对于该特定节点的图形信号的多分辨率（multi-resolution）分析。由于不规则的图形领域，典型的小波描述不适用于这些不规则的装置。定义为任意加权图形的最高点的信号的分析应该使用特定工具，例如，谱图小波。因此，我们提出了构造基于谱图小波的描述符w（s，n），这种描述符为图像的每个节点基于谱图小波的特征图形的小波被断定为形成核心g和缩放核心h的选择，这里g充当为频谱域的带通滤波器，h充当为低通滤波器。缩放比例被定义为频谱域3. 3D点云序列中的运动估计和补偿我们使用第2章中描述的光谱图小波来定义不同分辨率的光谱特征，并且通过匹配不规则的描述符来计算不同帧的图之间的点对点对应关系。我们选择一种匹配节点的子集来定义运动向量的稀少的点，这些运动矢量稀少的点用来描述序列中时间相关性。之后稀疏的运动矢量内插进密集的运动场，这样做是为了能够使运动补偿色彩预测。3.1特征提取和图形匹配对于曲线g的每一个节点i，我们定义了如下的八分指示函数这些函数提供了j相对于i的取向的概念，其由体素网格清楚地提供。在每个方向上，我们基于几何和颜色信息来计算特征。尤其，每个节点I 和每个几何和在特定方向k上的颜色的组成部分。该距离度量的选择由几何和颜色特征的组合促进，其以不同的单位测量。因此，通过学习协方差矩阵，我们来研究每个序列中不同特征部分之间的关系。我们现在只在稀疏的匹配点集上计算运动矢量，即，我们仅考虑精确匹配并忽略其余的匹配点。稀疏匹配节点的选择是基于节点取样的直觉，这些节点的取样涵盖所有的3D空间，能够帮助之后再在图表中所有节点实现内插运动。因此，我们在不同的领域中聚集g（t+1）的顶点并且我们仅保留每个区域的代表顶点。通过把均值应用于节点的3D坐标中来执行聚类。K通常设置为等于所需的稀疏节点数。为了避免不精确的匹配，代表的顶点包括在稀疏点集中，只要它最好的分数比预定阈值更小。因此，我们的稀疏点集匹配节点更趋向于精确和在空间的良好分布。3.2 运动矢量的计算接下来，我们从匹配节点的稀疏集中研究密集运动域中的的内插。内插基本的完成是通过处理在每个方向上的运动矢量作为图形中变化平滑的信号。我们注意到，优化问题包括两个术语：惩罚匹配节点的稀疏集合上的过度匹配分数的拟合项和独立地施加每个位置分量中的运动矢量的平滑度的正则化项。类似的正则化技术，其基于图形拉普拉斯的平滑性的概念，已经在半监督学习文献中广泛使用。3.3色彩预测的运动补偿我们使用估计运动矢量来扭曲图形G。4.实验结果我们在两个不同的数据集上阐述了运动估计和补偿方案的性能分析。即，男人的序列和黄色的衣服两者都是由实时的高分辨率和稀疏的体元算法构成的。我们首先提供了运动估计性能的一些说明性结果。对于每个资料组，我们选择了两个连续的帧，即相关的和目标的帧。对于每个帧，我们将帧中的点云体素化为体素步长，其在具有颜色属性的总共75000个初始3D点中产生一组大约8500个占据的体素。准确的体素数量取决于实际帧的大小。每个帧的图形如第2节所述构建。我们在这些图形上定义4个尺度的光谱图子波，为了计算效率，我们用30度的切比雪夫多项式近似它们。我们选择代表性特征点的数量为大约500，其对应于小于总占用体素的10，并且我们在相应节点上计算稀疏运动向量。我们基于公式（5）通过在图上平滑运动矢量来估计其余节点上的运动 。如图1（a）所示，我们叠加用于人序列的参考和目标帧，如图1（c）所示，相应的帧为黄色连衣裙序列。因此，如图1（b），1（d）所示，我们叠加目标帧和运动补偿参考帧的体素表示。我们观察到我们的算法能够相当准确地补偿运动。具体地，在两个数据集中，以体素化形式表示的运动补偿参考帧接近目标帧。具体地，我们通过从（i）运动补偿的参考帧和（ii）参考帧的3D位置预测目标帧的颜色来计算SNR。为了完整性，我们还示出通过将参考帧的颜色的平均值作为预测而获得的SNR。结果指示运动估计对体素步长和图构造的依赖性。当步长较小时，图的许多节点被隔离，这降低了计算密集运动场的平滑步骤的效率。结果，颜色预测误差类似于通过简单地基于参考帧进行预测所获得的颜色预测误差。然而，图的更有效的构造可以提高性能。另一方面，当运动被正确地估计时，运动补偿可以显着地减少预测误差。我们最终使用从我们的运动估计和补偿方案获得的预测来压缩目标帧的颜色属性，对于体素步长为20.预测颜色编码结构的概述在图1中示出。我们假设已经根据13中描述的方法对被占用体素集合（即，几何信息）进行了编码，不同之处在于，编码基于目标帧和运动补偿参考的设置差帧。我们利用图上的运动矢量的平滑性，通过在图形傅里叶域中编码它们，这已被证明在压缩平滑信号中是有效的22。图形傅立叶系数被均匀量化，用RLGR熵编码器熵编码23，并发送到解码器。因此，可以在解码器处重建目标帧的被占用体素和运动矢量的集合。运动矢量的成本包括在几何编码（将在其他地方更详细地描述）中，其根据序列导致在每个顶点0.01-0.3比特的范围内比编码率小的增益或小的惩罚的最先进的几何编码13。这实质上意味着运动矢量的编码基本上是透明的，并且几乎不必包括用于颜色的预测编码的开销。因此通过相对于用第3节中描述的方案获得的颜色预测对目标帧的残差进行编码来获得颜色属性的压缩。使用最近引入的基于图的压缩方案来执行残差的量化和熵编码。这种算法通过在小的元素块中应用图形转化来消除元素的空间的冗余性。这一步结合了不同的编码步骤，开发了对于颜色编码综合与时间和空间的相关性。在的试验中，我们选择了小的16x16X16的小的元素块。我们测量峰值信噪比获得颜色信息的不同的编码速率。我们发现不同的编码提供了大概10 分贝的低码率。 我们观察到，对于独立编码，差分编码（differential coding）在低比特率下提供大约10dB的增益，对于每个顶点相同数量的比特。给定由运动矢量的编码引入的非常小的潜在开销，这些结果清楚地证实了用于3D点云序列中的颜色压缩的运动补偿的益处。5.结论在这篇论文中，提出了一种对于3d点云序列压缩的新颖算法。