AnySee基于P2P的在线流媒体服务系统.ppt

AnySee 基于P2P的在线流媒体服务系统 金海集群与网格计算湖北省重点实验室华中科技大学hjin 流媒体服务的发展现状社会行为意识的转变网络发展现状 流媒体服务的发展现状 流媒体服务的需求背景 流媒体服务的发展现状 流媒体服务经历了三个过程单机服务方式性价比低 规模不可扩展集群服务方式规模可扩展 地域难以分布一次投资过大呼唤新技术的出现 社会行为意识的转变 网络个人英雄主义真诚互助的人本主义陌生的信任主义共享资源的愿望 提供对等平台给有英雄理想的人们 网络发展现状 网络带宽逐步提高从几十M到几个G桌面速度提升到M从IPv4向IPv6跳跃内网问题衍生的问题可以解决组播方式更加合理端到端的服务更为普遍 应运而生的技术 对等计算 个体平等互助带宽高效利用无庞大投资需求资源无限增长资源拥有者之间的对话 内容安排 相关研究背景AnySee系统总体结构AnySee关键技术AnySee应用展示挑战与对策 P2P流媒体现实状况 P2P开创网络媒体新时代2004年6月是互联网历史上的分水岭 视频流量首次超过音频流量 这表明巨大的无形的P2P文件共享网络正在被用来分发电视节目和电影 IDG报告 互联网宽带 对等广播 peercasting 的兴起它对视听媒体的影响就像互联网对印刷媒体的影响一样媒体网Medianet观念的兴起知识产权保护问题正在发展不用集中服务器的VoD 网络对等广播和柔性电视PeercastingandFlexibleTV 2004年6月BBC开始进行其 柔性电视 FlexibleTV 第一次有限范围公共试验 在英国的宽带用户可以下载 BBC互联网媒体播放器 用它可以下载收看前一周和后一周的BBC的全部节目由于BBC生产制作节目 拥有版权 这种方法不违反知识产权保护 可以快速检索分发给用户 网络对等广播和柔性电视PeercastingandFlexibleTV BBC采用P2P的对等广播Peercast技术每一个播放器使用Peer to Peer对等连接文件共享软件实现向用户网络分发内容节目文件被分解为很多小的片段 每个用户下载存储若干片段再互相对接交换 最后每个用户都得到完整的拷贝这种方法同时下载用户越多 下载速度越快所有节目文件实际上被存储在用户终端中互联网交互媒体新方式 对等广播 柔性电视 P2P流媒体研究状况 许多P2P流媒体系统已经被开发ESM PeerCast CoopNet splitStream GnuStream CollectStream根据服务模式分类单对多模式多对单模式多对多模式 单对多模式 流媒体服务提供的主要模式适合实时的热点节目 如 奥运会 世界杯ESM ZigZag DirectStream P2Cast 多对单模式 主要用于提供不同质量的视频节目视频数据从多个数据服务者得到稳定性高 可用性好PROMISE CoopNet GNUStream问题两种模式 文件分片策略与文件分层策略策略复杂 实用性有待提高理论上有待完善 多对多模式 前两种模式的混合最大限度的利用单个节点的服务能力改进系统的稳定性和可用性 通过缓存元数据以服务其他节点 提高了可扩展性HoneyComb 服务近邻原则的讨论 服务近邻原则是保证QoS的核心如何表述服务近邻有待研究ESM 依据带宽多重编码 地域相近服务调度拓扑匹配 物理与逻辑拓扑动态匹配AnySee 依据IP地址分域策略调度服务 AnySee系统总体结构 设计原则媒体数据一次路由原则媒体服务邻近获取原则高可靠 高可用原则服务规模可扩展原则 视频源 视频卡 Shoutcast windowmediaencoder Broadcast 媒体文件 asf avi nsv mp3等 读取 转发模块 AnySee视频直播网络 媒体数据获取层 视频直播层 视频数据流 系统总体结构 媒体数据获取层描述媒体数据的两种来源磁盘文件实时压缩获取视频直播层提供媒体服务的层次 媒体数据获取层 视频直播数据的获取从视频卡或者采集卡上实时获取媒体数据这种方式便于进行实时性的媒体服务 如 现场直播 电视转播曾采用这种方式在教育网内对2004年的奥运会 GCC国际会议进行了全程直播读取媒体文件这种方式可以有效的丰富视频直播网络中媒体服务 清华大学 华中科技大学 视频直播层 华南理工大学 武汉大学 武汉理工大学 上海交通大学 汕头大学 中山大学 逻辑拓扑 NearCast 紫松公寓 视频直播层 逻辑拓扑以华中科技大学为例 西7楼 沁园 韵园 东13楼 视频直播层 结点的类型按功能划分源节点中转节点叶子节点节点异构性平台异构 WINDOWS LINUX性能异构 硬件性能不一 带宽不同意愿异构 角色自由 来去自由 视频直播层 采用NearCast策略 使得系统中节点的逻辑位置尽量和实际的物理位置保持一致 这样可以很好的保证QoS健壮的多播树维护策略 使得整个系统一方面可以适应P2P系统高度的动态性 一方面进一步保证QoS以人为本的设计策略 根据节点性能采用不同的服务策略 即使性能比较差的节点也可以加入系统 享受服务 关键技术 Landmark应用层多播策略NAT Firewall的处理Buffer管理策略 Landmark 在AnySee中 为了达到Nearcast的思想 即地理位置相近的调度原则 需要使用landmark值来做为调度路径上的 路标 Landmark是一个56位数据类型的值 利用固定几位分别表示国家 网络类型 省份 城市和学校 Landmark 具体数位表示内容 16位 4位 16位 8位 8位 4位 每个加入AnySee的Peer都有自己的一个Landmark值 它由地理位置与IP的对应关系和一定的编码规则产生 例如 华中科技大学的某个Peer的Landmark值为 00000001000100010000000100000000000000010000000000000100 Landmark ALM ApplicationLayerMulticast AnySee是一棵应用层上的多播树 它的这种网络拓补结构减轻了数据发送端的服务带宽压力 增加了整个系统的可扩展性Nearcast策略的使用保证了QoS 节约了带宽构建和维护多播树是AnySee最为关键的一项技术 节点的加入 Broadcast 请求加入点 Peer ALM ApplicationLayerMulticast 节点的加入 Broadcast 请求加入点 Peer ALM ApplicationLayerMulticast 节点的正常离开 Broadcast 离开节点 Peer ALM ApplicationLayerMulticast 节点的正常离开 Broadcast 离开节点 Peer ALM ApplicationLayerMulticast 节点的异常离开 Broadcast 离开节点 Peer ALM ApplicationLayerMulticast 节点的异常离开 Broadcast 离开节点 Peer ALM ApplicationLayerMulticast NAT Firewall的处理 NAT Firewall的Peer约束了AnySee的可扩展性 Broadcast NATorFirewall Peer 请求加入点 NAT Firewall的处理 Broadcast NATorFirewall Peer 请求加入点 将NATorFirewall的Peer动态调节到叶子位置 一定程度上克服了所带来的制约 Buffer管理策略 Buffer的必要性媒体服务的软实时特征网络的抖动p2p系统的高动态性AnySee的Buffer管理策略每个peer都拥有一个buffer 以时间间隔为单位进行管理Buffer缓存最近固定时间长度内的媒体数据Buffer占用的空间大小随时间呈动态变化头部元数据包和媒体数据包分别进行管理 Buffer的组织结构 Datapackets 40秒 Headerpacket Seqarrivaltimeheaderseqtimestampdata 00 00 00 00 00 10 00 00 20 00 00 40 00 00 41 Buffer管理策略 续 Headerpacket 00 00 41 00 00 00 40 Datapackets 40秒 00 00 00 每加入一个数据包时检查当前buffer内最 老 的包离当前时间是否超过40秒 保证buffer内存放最新数据 Buffer管理策略 续 Datapackets 40秒 Headerpacket Fatherpeer Headerpacket ChildpeerOrPlayer Buffer内数据到达一定门限值后才开始向播放器或下层节点提供服务平滑拓扑动态变化对服务质量的影响 AnySee的应用展示 1 2004奥运会直播源提供者 普通pc机 2 3个源参与对象 教育网内无电视可看的用户服务规模 10000人次观看 AnySee的应用展示 2 武汉电子政务网络多媒体服务解决方案服务对象 896个社区 跨两江分布武汉三镇服务设施 IPOA网络 桌面2Mbps Internet Anysee的应用展示 3 华中大在线的每天电视直播一台pc机作为源服务提供者每天几百人在线服务每天直播凤凰卫视等节目 AnySee挑战与对策 1 服务种类多样化缺乏点播服务对策源节点必须参与到多个ALM树中媒体节目必须实施分片存储分片