大规模场景数据流式传输技术研究

1、3 2 1 4 实时流式传输关键技术介绍 背景介绍 国内外概况 基于不规则点云数据的场景重建 背景介绍背景介绍 基于网络的三维虚拟场景浏览、3D数字地图漫游和 电子商务等的研究和应用成为热点. 由于网络速度的限制，浏览全部数据延迟很大 3 2 基于不规则点云数据的场景重建 1 4 实时流式传输关键技术介绍 背景介绍 国内外概况 国内外概况国内外概况 减少数据量方向 v提高传输效率方向 v 三维数据压缩算法（CPM算法【1999年】，小波压缩【2000年】） v 动态载入（1997年2000年） v 多分辨率编码（2004年，流式压缩算法） v UDP，高效率传输协议（Ghassan Al-Re

2、gib，2003年 ） v 流式渐进传输(浙江大学，2008年) 3 2 1 4 实时流式传输关键技术介绍 背景介绍 国内外概况 基于不规则点云数据的场景重建 场景重建方法 基于不规则点云数据的场景重建基于不规则点云数据的场景重建 算法生成点云数据生成三维建模工具（3DMAX） 点云数据的获取 基于不规则点云数据的场景重建基于不规则点云数据的场景重建 得到点云数据 得到纹理信息 基于不规则点云数据的场景重建基于不规则点云数据的场景重建 场景重构 移动最小二乘法：对无组织点云数据进行整理，以减少 噪声并形成统一表示方式 德洛涅三角形：建立三角形网格 (a) 原始模型(b) 含噪声(d) 去噪后重

3、建结果 最小二乘法 定义：是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。 线性函数模型： 已知一系列成对的数据 ，为了得出两个变量（x，y）之间的函数关系。 线性模型： 基于不规则点云数据的场景重建基于不规则点云数据的场景重建 1122 ( ,.,) mm x y xyxy 01 ya x a 0101 112 0 01 2 , 1 1 2 1 min()min.min 1 m ii aaaaa i mm xy a a xayAay a xy 1 0 2 1( ) m ii i m i i x ymx y a xx 10 aya x 移动最小二乘法（建立拟合函数） 系数

4、是通过近似函数 在点x的邻域 内各节点误差的加权平方和为最小来 确定 基于不规则点云数据的场景重建基于不规则点云数据的场景重建 1 ( )( )( )( )( ) ( ) m hT II I u xuxpx axpx a x ( ) I ax ( ) h ux x 基本原理：首先对全局曲面在整个求解区域内分块，然后在不同的 子区域上用最小二乘拟合，即采用分块局部拟合。 优点：通用性强、精度高、适合高维曲面的重构。 缺点：复杂度高 22 223223 ( )1, ,3 ( )1, , ,6 ( )1, , ,10 T T T pxx ym pxx y xxy ym pxx y xxy yxx y

5、 xyym 为节点 处的权函数，权函数在移动最小二乘法 中具有重要的作用。 权函数的选择： 1、紧支特性，即仅在节点附近不为0，而在区域之外均为0。 2、非负性，即权函数 在节点 附近大于0 3、衰减性，在紧支域内随距离 的增大 逐渐衰减，即任一点对其周围的 影响将随离该点的距离的增加而衰减。 基于不规则点云数据的场景重建基于不规则点云数据的场景重建 ( ) i w x i x i x i x () ii w xx 2 1 2 11 ( )( )( ) ( )( )( ) n h ii i nm iIIi iI Jw xuxu x w xp x a xu ( ) i w x 基于不规则点云数据

6、的场景重建基于不规则点云数据的场景重建 建立三角形网格 -德洛涅（ Delaunay ）三角形构网法 Delaunay三角形构网法： 从一个三角形开始， 每次加入一个点， 保证每一步得到的三角形局部最优。 Delaunay三角形产生准则： 任何一个Delaunay三角形的外接圆的内部不能包含其它任何点。 实验结果 基于不规则点云数据的场景重建基于不规则点云数据的场景重建 MLS处理前的模型 MLS处理后的模型 原始点云数据 基于不规则点云数据的场景重建基于不规则点云数据的场景重建 场景组织 场景组织结构 3 2 1 4 实时流式传输关键技术介绍 背景介绍 国内外概况 基于不规则点云数据的场景重

7、建 实时流式传输关键技术介绍实时流式传输关键技术介绍 技术难点 数据量大 必须实时 准确度要求高 解决思路 整个场景相当于一个流媒体文件 场景中的一个模型则相当于流媒体的一帧 对所有模型进行多级简化 根据网络状况选择合适的精细度模型 Ghassan Al-Regib首先提出了三维模型的渐进传输协议。主要的思想：采用流式压缩算法将三维数据进 行压缩，然后将压缩数据进行优先级分类，对比较重要的数据采用TCP协议传输，对于不太重要的数据采用 没有质量保证的UDP协议传输。通过两种传输协议的混合使用，较大的提高三维数据远程绘制的效率。 为了保证三维数据显示的实时性和完整性,主要的切入点是减少需要传输的

8、数据量和提高带宽使用效率。 实时流式传输关键技术介绍实时流式传输关键技术介绍 v研究方法 编解码算法研究与实现 数据实时流式传输策略研究数据实时流式传输策略研究 实时流式传输关键技术介绍实时流式传输关键技术介绍 网格简化-平方体积误差 （QEM，Quadric Error Metric）方法 三角形折叠网格简化 不同精细度模型 实时流式传输关键技术介绍实时流式传输关键技术介绍 TCP协议 TCP是一种面向连接的可靠传输协议，无论哪一方向另 一方发送数据之前，都必须先在双方之间建立一条连接 （三次握手）。 UDP协议 UDP是面向数据报的传输层协议，它将应用程序的数据 传给IP层发送出去，但是不

9、保证它们能到达目的地。 RTP（Real-time Transfer Protocol）协议 RTP是一种提供端对端实时多媒体数据传输的协议，有 配套协议是RTCP。RTP是建立在UDP上，本身只保证 实时数据的传输，它通过周期性地传送RTCP包来提供 可靠传送和流量控制或拥塞控制。 实时流式传输关键技术介绍实时流式传输关键技术介绍 传输策略： TCP传输重要数据（结构数据） RTP传输次要数据（几何数据） 实时流式传输关键技术介绍实时流式传输关键技术介绍 由于用户的网络速度不同，我们希望保证实时性的同 时，让用户看到更精细的模型，所以必须对网络传输速度 进行监测。 当网络传输速度比较大的时候

10、，可以传输较精细的模 型，当网络传输速度比较小的时候，可以传输较粗糙的模 型。 实时流式传输关键技术介绍实时流式传输关键技术介绍 网速检测-TCP Westwood 基于时间段的TCP Westwood (*_*8)/(_)Speedacked pktsizenow last ack time acked 代表 时间段内接收到的数据包数量 , , * 1 ii i high medium low i i i high medium low BrweightSpeed k weighti weight 区间内时间段总和/总时间 RTP网速检测 RTP协议包头： SN：序列号 PT：负载类型 Ti

11、mestamp：时间戳 实时流式传输关键技术介绍实时流式传输关键技术介绍 采样频率为90000Hz视频信号,时间戳单位设为1/90000, 1s被划分 了90000个时间块，如果每秒发送25帧，那么，每一个帧的发送占 90000/25 = 3600，“时间戳增量是发送第二个RTP包相距发送第一个 RTP包时的时间间隔”，故时间戳增量应该为3600。 因此，只需将三维数据替换数据块中的视频数据，然后根据丢包率 和数据块长度还有时间间隔估算出网络速度。 视点相关的流式传输 采用视点相关的流式传输，即优先传输视锥体范围内的模型，并按照 与相机位置的关系，对模型队列进行排序，依次传输，这样有效地提高了

12、 传输效率。 具体步骤如下： 1.传输场景树模型，并设定相机的位置 2.遍历场景树的节点，获取所有节点的位置 3.对每个节点与视锥体做相交测试，然后添加到传输队列 4.对传输队列的模型坐标与相机做距离测试，并按距离的远近进行排序，距 离相机近的优先传输 实时流式传输关键技术介绍实时流式传输关键技术介绍 实时流式传输关键技术介绍实时流式传输关键技术介绍 实验结果-视点相关的流式传输 实验结果 网络自适应网络自适应 传输传输 实时流式传输关键技术介绍实时流式传输关键技术介绍 基于不规则点云数据的场景重建基于不规则点云数据的场景重建 场景重构 移动最小二乘法：对无组织点云数据进行整理，以减少 噪声并形成统一表示方式 德洛涅三角形：建立三角形网格 (a) 原始模型(b) 含噪声(d) 去噪后重建结果 基于不规则点云数据的场景重建基于不规则点云数据的场景重建 场景重构 移动最小二乘法：对无组织点云数据进行整理，以减少 噪声并形成统一表示方式 德洛涅三角形：建立三角形网格 (a) 原始模型(b) 含噪声(d) 去噪后重建结果 实时流式传输关键技术介绍实时流式传输关键技术介绍 技术难点 数据量大 必须实时 准确度要求高 解决思路 整个场景相当于一个流媒体文件 场景中的一个模型则相当于流媒体的一帧 对所有模型进行多级简化 根据网络状况选择合适的精细度模型 实时