超大规模音视频服务演变趋势.pdf_第1页
超大规模音视频服务演变趋势.pdf_第2页
超大规模音视频服务演变趋势.pdf_第3页
超大规模音视频服务演变趋势.pdf_第4页
超大规模音视频服务演变趋势.pdf_第5页
已阅读5页,还剩3页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

超大规模P 2 P 音视频服务演变趋势 超大规模P 2 P 音视频服务演变趋势 青牛( 北京) 技术有限公司 马 俊 提要:本文从当前网络音视频服务遇到的挑战出发,结合互联网、I P T V 网和电信网技术演进路线分析, 并研究流媒体、C D N 、P 2 P 、网格计算、云技术等技术,综合参考各种数学和社会模型,提出了 超大规模P 2 P 音视频服务趋向“开放的复杂巨系统”观点,供读者观飨。 关键词:复杂网络,巨系统,P 2 P ,网格,智能 随着互联网上视音频资源的急速增长,I P l V 的出现、3 G 、三网融合的到来,在互联网上实现超大规 模( 千万以上服务并发) 的广播级视音频服务已经成为一个非常迫切的需求,既具显著的现实意义,同时 也具有相当挑战。主要矛盾在于: ( 1 ) 互联网的结构本质是子网之间通过路由器和连接线路实现的网状互联,而路由器是按照存储转 发,尽力而为的原则传送数据,高质量的Q o s 保障是其弱项。而实现广播级视音频服务,需要质量和并发 承载能力上的双重保障。 ( 2 ) 目前P 网络下的标准流媒体协议( R T S P ,R T P ) 和相关产品( 如流媒体服务器、C D N ) 是将口 网络上视音频的信息传输定义为服务器( 集群) 为客户端提供服务的C S 模式。本质上C S 工作模式是树 状结构模型,无法彻底发挥网状结构互联网的潜在带宽和计算能力,这是结构上的深层矛盾。 ( 3 ) 按照传统的电信流媒体服务建设方案,承载广播级视音频服务投入巨大。例如目前正在国内快 速发展的I F r V ,正因为采用了这种传统模式,几乎相当于为I P T V 运营业务建设了一个专用的I P 网。如 果继续沿用这种方式,很难想象要实现r v 的全国运营,还要再投入的成本。( 如某地I I y l :v 达到3 0 万 用户时,已经投入过1 0 亿) 。 笔者认为,整个互联网的投入已经非常巨大,这不仅仅有( 国有) 运营商投入的骨干、汇聚、接入设 备和线路资源,也包括了用户投入带宽租用,个人电脑等。这些投入背后已经积累了大量的带宽、计算、 存储的资源,但由于这些资源在管理上是孤立的和傻瓜式的,很多时候是闲置的,与此同时在某个局部应 用上却又会表现为资源紧张和不足。资源闲置和资源缺口同时出现,其本质是缺乏有效的整体规划手段。 因此,如果有一种动态的整体规划,可以灵活地将的散落在不同位置的闲置资源利用起来,补充当前急需 资源的缺口,这将从整体上提高网络上各种资源的利用率。 近几年来P 2 P 流媒体应运而生并得到了快速发展,利用了大量既有投入和闲置资源,给我们带来了在 互联网上展开超大规模音视频服务的希望,同时又引发了新的矛盾: ( 1 ) 由于缺乏整体规划,P 2 P 网络有显著的混乱特征,表面上降低I S P 投入成本时,却增加运营商的 网络成本,破坏网络整体通信质量和Q o S 。 ( 2 ) P 2 P 网络的不确定性,和广播级视音频服务要求的可靠性之间是存在矛盾的。 ( 3 ) 内容的安全监管变得相当困难和复杂,管理不善将引起严重的社会问题。 2 0 1 0 4 第十届全国互联网与音视频广播发展研讨会( N W C 2 0 1 0 ) 3 5 3 超大规模P 2 P 音视频服务演变趋势 针对第一个问题,P 4 P ( P r o a c t i v en e t w o r kP r o v i d e rP a r t i c i p a t i o nf o rP 2 P ) 应运而生,P 4 P 的提出是试图 要改善服务供应商( I S P ) 与客户端程序的通信,通过电信运营商提供的网络拓扑信息,可以降低骨干网络传 输压力和运营成本。与P 2 P 随机挑选资源点不同,P 4 P 协议可以利用网络拓扑信息,选择最佳的P e e r ( 资源 点) ,从而提高网络路由效率。P 4 P 在技术上的虽然简单明了,但需要协调大部分电信网络运营商,内容运 营商、技术服务商共同制定和遵循此标准,并且由于各家的利益诉求并不相同,且相互之间不存在直接约 束力,带来的困难与变数极大。 另外,我们必须认识到,有人说“P 4 P 即将结束P 2 P 的无序时代”,实际上并不那么简单。看起来似 乎“有序总是比无序好”,“确定一定比随机好”,其实有序是在无序中诞生的一种秩序,无序中蕴含着无 数可能的秩序,而一个僵死的秩序比无序还有害,因为它无法再创造新的东西。换句话说,P 4 P 提出了一 种秩序,利用运营商提网络供拓扑信息,让计算机查询时获得更加好一些的p e e r l i s t ,这确实是有益的事 情,但这只是其中一个优化的策略,而一个智能网络的整体优化,更多的是要让每个普通节点共同参与进 化,眼下的P 2 P 或P 4 P 距离网络智能都还有相当的距离。为实现这个目标,更多的创造是在p e e r 之间自 主协作的算法研究,这将是一个持续的过程,还有大量的工作要做。 总而言之,P 2 P 网络效率问题并不仅仅是“提出一套协议标准,依靠I S P 和P 2 P 应用的合作,由最了 解网络状态的I S P 提供底层网络信息,供上层应用有效选择临近节点、拥塞程度低和开销小的链路传输内 容。”这么简单。网络的整体效率最大化,必须回归到对网络的理解本身,整个互联网中每台计算机作为 一个独立实体,相互之间不断地建立连接或断开连接,已经形成了一个动态的、瞬息万变的复杂网络,即 呈现高度复杂性的网络,其复杂性主要表现在以下几个方面: ( 1 ) 结构复杂 如果基于P 2 P 技术原理实现超大规模的音视频服务,必然在数量巨大的节点之间形成形态多样的网络 结构,所以结构复杂。 ( 2 ) 网络进化 大量节点频繁的上下线,以及用户切换播放的频道或内容,必然导致网络结构不断发生变化。在互联 网上实现超大规模的音视频服务需要考虑此网络的进化过程,其进化过程决定网络的拓扑结构。例如当两 个节点之间频繁进行数据交换时,他们之间的连接权重会随之增加,通过不断的学习与记忆逐步改善网络 性能。 ( 3 ) 连接多样性 数据在节点之间流动( 交换) ,节点之间的连接的连通性和流量形成连接的权重,可以以此形成主动 或被动的方向性。 ( 4 ) 动力学复杂性 节点的状态随时间或各种可能的因素( 如网络抖动) 发生复杂的变化,属于非线性动力学系统。 ( 5 ) 节点多样性 互联网上的节点具有非常大的差异,如计算能力的强弱、存储大小、网络接入特性以及是否可信、是 否匿名的特征。自组织网络中,可以根据节点的特性和网络的状态,赋予节点不同的角色,形成弹性的服 务层次。其宗旨是结合每个节点的特点,充分发挥每个节点的能力,提升网络的整体效率。 ( 6 ) 多重复杂性融合 即以上多重复杂性相互影响,导致更为难以预料的结果。 3 5 42 0 1 0 4 第十届全国互联网与音视频广播发展研讨会( N W C 2 0 1 0 ) 超大规模P 2 P 音视频服务演变趋势 综上所述,“基于P 2 P 技术原理的超大规模的音视频服务网络”已经是或正在形成一个“开放的复杂 巨系统”。这个系统蕴含了巨大的潜能:计算能力、存储能力、带宽能力。如果充分利用好这些潜能,就 能以最低的成本实现了一个可以延伸到世界任何一个角落,提供高质量视听服务的虚拟平台。 关于开放的复杂巨系统,钱学森有一个著名的论述,“现在能用的、惟一能有效处理开放的复杂巨系 统( 包括社会系统) 的方法,就是定性、定量相结合的综合集成方法。”:“在这些研究和应用中,通常是 科学理论、经验知识和专家判断力相结合,提出经验性假设( 判断或猜想) ;而这些经验性假设不能用严 谨的科学方式加以证明,往往是定性的认识,但可用经验性数据和资料以及几十、几百、上千个参数的模 型对其确实性进行检测:而这些模型也必须建立在经验和对系统的实际理解上,经过定量计算,通过反复 对比,最后形成结论;而这样的结论就是我们在现阶段认识客观事物所能达到的最佳结论,是从定性上升 到定量的认识。” 所谓综合集成的方法就是“需要把各种学科的科学理论和人的经验知识结合起来”,跨领域的借鉴是 非常有必要的,对于该问题的探索在计算机学科方面可以广泛参考:网格计算、云存储、云计算等多种分 布式计算和存储技术,也可以参考人工智能领域的算法模型;另外复杂网络在物理学、经济学、生命科学 方面都有大量可供参考的内容,都可以借鉴。举例如下。 1 借鉴网格计算的思想发展P 2 P 网格计算和P 2 P 以不同的方式组织大规模、分布式的资源( 包括计算能力、存储资源和带宽等) ,两 者的研究领域有不少共通和重叠之处,具有很好的互补性: ( 1 ) 网格系统的协议接口,通常是开放、标准和通用的;而现有的P 2 P 应用多数是封闭、私有或专 业的协议。正如“网格之父”I a nF o r s t e r ( G l o b u s 项目领导人) 所说:“网格计算建立了体系结构,但没有 解决节点失效的问题,P 2 P 解决了失效的问题,但没有建立体系结构。”超大规模P 2 P 视频服务作为平台 和基础设施,必须具有标准和开放的特征。通过标准化协议和接口,允许以插件、或外部子系统的方式影 响用户之间网络连接的建立,连接权重的维护,路由的维护,开放性地容纳各种新模式的出现。 ( 2 ) 网格系统的成员节点通常是可靠的,并可信的,而P 2 P 的节点成员通常是匿名、混杂和不可信 的。这一点上,两者都有可取之处,同时也都隐含不足。网格系统的的成员是可信的,所以在服务上通常 有保障,很少突然离线、宕机;部署上受控,可以有效避免恶意攻击和欺诈行为的程序。作为商业应用而 言,当然希望看到这些特征。可是我们也应该看到,互联网上大部分闲置资源是匿名、混杂和不可信的, 假如因为安全问题,放弃对这部分资源的利用,显然是因噎废食的做法。与此相反,P 2 P 却因为节点成员 不确定因素太多,太多的随机性导致缺乏安全保障的底线,这是重要的应用所不能接受的,如果不能解决 这个问题,这必然限制了P 2 P 的应用的发展。所以超大规模视频服务的P 2 P 模型中可引入可信节点( 服务 器) ,如在自组织网络中运用可信节点,增强网络的抗破坏性:利用可信节点做“审计”节点,收集网络 信息,增强网络安全性;在边缘部署超级种子节点,增强服务的可靠性和质量。这些可信节点的引入,必 须保留P 2 P 网络结构的松耦合性,弹性的基本原则,形成“高效补充,有限依赖”的无缝混合。 ( 3 ) 网格计算的概念反映的是一种理念框架,所采用的方法是指,利用位于分散管理域内的资源完 成计算任务。网格技术的焦点在于对超出本地管理域计算资源需求的灵活提供。自组织网络内的大量节点 可以是异构的( 基于不同的平台,硬斜软件体系结构,以及计算机语言) ,位置上是分散的,可以灵活地 2 0 1 0 4 第十届全国互联网与音视频广播发展研讨会( N W C 2 0 1 0 ) 3 5 5 超大规模P 2 P 音视频服务演变趋势 提供自己的资源( 计算、带宽、存储) ,在这一点上完全吻合,所以可以借鉴网格的框架,利用分散的节 点共同完成计算任务( 如搜索、调度) 已经存在并在未来还将飞速发展。 融合后网格和P 2 P 的自组织网络既存在可信节点,同时又存在非可信节点,在算法上吸纳了P 2 P 动态 解决节点失效的问题的优势,又尽可能利用包括大量匿名节点在内的闲置资源;同时还通过可信节点提供 了服务质量的基本保障,提高了网络鲁棒性和安全性,消除了对极端情况系统可靠性的担忧;通过建立的 标准接口和协议,为网络的持续演进,铺平开放性的道路。目前全球网格论坛已经成立O G S A P 2 P 小组, 该小组专门研究如何将开放网格服务架构( O p e nG r i dS e r v i c e sA r c h i t e c t u r e ,O G S A ) 与P 2 P 应用相结合。 小组主要成员美国圣地亚哥超级计算机中心的K a r a nB h a t i a ,瑞典计算机科学研究所的P e rB r a n d ,甲骨文 的S e r g i oM e n d i o l a ,微软的A l e xM a l l e t 以及美国劳伦斯伯克力国家实验室的K a r l oB e r k e t 共同发表论文, 预言:“虽然P 2 P 技术与传统网络有着诸多不同,但是由于它在技术上有着强大优势,因此P 2 P 技术的发 展以及P 2 P 与网格技术的结合,将影响整个计算机网络的概念和人们的信息获取模式,真正实现无处不 在的计算机网络。” 2 借鉴云存储、云计算的技术思想 在互联网上实现超大规模的广播级视音频服务,无论采用C D N 或P 2 P 的方式,都需要用主机或独立 磁盘阵列存储海量的点播内容。为了节省存储资源,一般将存储分为两级,一级存储在中心,存储了所有 的内容,同时为了接近最终用户,通常部署大量的边缘节点和边缘存储。为了节省存储,边缘存储拥有中 心存储的一定比例的副本,而不是全部。在这种二级存储的情况下,就有一个边缘命中率的概念,边缘命 中率高,可以提高响应效率,这种效率提高是以增加边缘存储投资成本为代价的。因此边缘命中率和边缘 存储的投资成本,是一种难以权衡的矛盾,大多采用折中处理。而折中的结果往往不能快速适应内容或应 用需求的变化,典型的问题有: ( 1 ) 边缘存储设备长期压力不均衡,拥有热点内容的边缘存储压力过大,反之则经常闲置。 ( 2 ) 边缘存储内容命中率低时,重定向导致响应时间过长,或中心汇聚压力增加。 ( 3 ) 从统计情况看,边缘存储闲置时间多,命中率差,系统调度总是跟不上内容热点变化。 回顾云存储和云计算的思想:“云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许 多多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整 个云存储系统带来的一种数据访问服务。为了有效支持云计算,基础架构必须具备几个关键特征。首先, 这些系统必须是自治的,也就是说,它们必须内嵌自动化技术,消除人工部署和管理,允许系统自己智能 地响应应用的要求。如果系统需要人为干预来分配和管理资源,那么它就不能充分地满足云计算的要求。 其次,云计算架构必须是敏捷的,能够对需求信号或变化的工作负载做出及时反应。” 上述技术思想和特征显然可以被我们借鉴,用于组织P 2 P 的内容超级种子( 或称超级节点) ,将超级 节点及其附属的存储资源组织成一个虚拟的集合体“智能云存储”,这个虚拟的集合体具有以下特性: ( 1 ) 由用户计算机和超级节点共同组成“智能云存储”。加入“智能云存储”的计算机自组织成一个 虚拟网络,内容的调度和分布,以及服务响应完全自动化,无需人工部署和管理。 ( 2 ) 将内容变成切片,以分布式文件系统的方式存储在虚拟的自组织网络一“智能云存储”上。 ( 3 ) 内容切片分布在云中的稠密程度,随着用户的并发访问需求的变化而快速变化,具有按需同步 3 5 62 0 1 0 4 第十届全国互联网与音视频广播发展研讨会( N W C 2 0 1 0 ) 超大规模P 2 P 音视频服务演变趋势 生产( 快速复制) ,保证用户访问体验的特点。 ( 4 ) 内容切片副本的位置随着访问用户位置的变化而快速变化,和追随用户迁移内容的弹性特点, 尽力保证内容和访问用户临近。一 ( 5 ) 通过用户计算机参与云存储,减少了服务器的投入,提高了I O 的总吞吐量。 3 借鉴人工智能思想,建立学习、记忆、识别、选择的智能 “基于P 2 P 技术原理的超大规模的音视频服务网络”中,节点( 计算机) 之间不断地建立连接或断 开连接,已经形成了一个动态的、瞬息万变的复杂网络。网络的变化一直持续发生着,意味着如果网络自 发地调控其变化的方式,就可能让网络在变化中逐渐趋向稳健、压力均衡、抑制拥塞,降低损耗和延迟, 从而提升网络的整体服务效率。这种自发的调控本质上就是一种智能,应具有如下特征: ( 1 ) 学习的能力 节点在所有可能和外部系统发生相互关系的活动过程中,进行主动学习,这种学习就是对各种交互过 程的蕴含信息进行分析和挖掘的行为。 ( 2 ) 形成知识的能力、记忆的能力 对学习结果迭代、变换和加权处理,形成可以再次运用的知识,并进行存储( 记忆) 。 ( 3 ) 关联索引的能力 对存储的知识进行各种有效的关联索引。 ( 4 ) 传递知识的能力 节点周期性的对外( 节点自组织的网络) 传递自己的知识。 ( 5 ) 查询知识的能力 节点可以主动从自组织网络上,查询自己需要的知识。 ( 6 ) 相互交换知识,整体进化的能力 节点之间周期性地相互交换彼此的知识,形成集体学习,实现整体“知识水平”的提升。 ( 7 ) 根据知识,识别、选择的能力 节点根据记忆的知识,有效识别当前场景,选择合适的行为( 动作) ,向更加有利的方向进化。 基于网络学习和进化的机制,可以实现高度优化的弹性网络结构“动态自治域”,比P 4 P 的静态 “自治域”有明显的优势: ( 1 ) 每个节点自主地学习( 识别) 短链路径,将相互短链的一组节点,形成动态的“自治域”,自治 域内具有极好的连通性,路由跳数少,丢包少,延时低。 ( 2 ) 整个系统在节点智能学习的驱动下自动优化,让整个网格不断趋近“自治域”之间的互连互通。 ( 3 ) “动态自治域”本身是一个的虚拟实体,会进行自主学习和知识整理,又形成跨域访问时的知识 和策略。在邻居查找和选择时,以“动态自治域”为中心,“波浪圈”式跨域访问,扩大资源的搜索范围, 在满足资源、带宽、负载要求的前提下,尽可能发挥拓扑邻近所带来的好处。 ( 4 ) “动态自治域”无需人工部署和管理,是纯正的自组织方式。自然地根据实际的用户分布、内容 分布、时间三个维度展开的自洽的、运动的“活体”。 与此相对,P 4 P 是以运营商的常态网络拓扑结构作为基础,形成的“静态自治域”,则存在明显的缺点: 2 0 1 0 4 第十届全国互联网与音视频广播发展研讨会( N w C 2 0 1 0 ) 3 5 7 超大规模P 2 P 音视频服务演变趋势 当存在海量的可访问内容时,用户和内容之间的映射关系,已经被证明是一个典型的长尾关系,也就是说 用户访问相同内容的聚集度并不高,大部分内容仅仅是少数用户在访问,而此类的用户累计人数所占比例 却是很大。因此如果按照静态的“自治域”划分,在同一个域内,访问相同内容的用户就更少了。P 4 P 虽 然提出了用“镜像节点”去解决这类问题,但又面临着大量部署镜像节点的成本压力,以及重定向的延时 问题。 4 借鉴社会学模型 在现实的社会中存在很多网络模型可以参考,把人作为网络中的节点,人和人之间的关系就是节点之 间的连接。有关社会网络的一个著名理论是:“六度分隔理论,你和任何一个陌生人之间所间隔的人不会 超过六个,也就是说,最多通过六个人你就能够认识任何一个陌生人。” 六度分隔理论( S i xD e g r e e so f S e p a r a t i o n ) 是由美国著名社会心理学家米尔格伦( S t a n l e yM i l g r a m ) 于 2 0 世纪6 0 年代最先提出。1 9 6 7 年,M i l g r a m 想要描绘一个连结人与社区的人际连系网。做过一次连锁信 实验,结果发现了“六度分隔”现象。( 首次连锁信实验,米尔格伦寄出六十封信给堪萨斯州威奇塔市自 愿参加者,请他们转交到马萨诸塞州剑桥市某指定地点的股票经纪人。参加者只能把信交给他认为有可能 把信送到目的地的熟人,可以亲自送或者通过他的朋友。虽然有5 0 个人参与了实验,但组中只有三封信 送到了目的地。当信传到第五个人手上时,只有三封信抵达了目的地。米尔格伦在他1 9 6 7 年的那篇著名 论文中提到在最初的试验中,其中的一封信在不到四天的时间内,就被传达到了目的地。经过多次改良实 验,米尔格伦发现信件或包裹在人们心目中的价值是影向人们决定继续传递它的重要因素。他成功将送达 率提升至3 5 ,以至于后来更上升为9 7 。) 针对该理论的深入研究,对网络模型中的节点关系,抽象出“强关系”和“弱关系”,两个重要概念。 美国社会学家格兰诺维特于1 9 7 4 年提出。在传统社会,每个人接触最频繁的是自己的亲人和朋友,他认 为这是一种“强关系”现象;同时,还存在另一类更为广泛的“弱关系”。格兰诺维特认为:“强弱关系 在人与人、组织与组织、个体与社会系统之间发挥着根本不同的作用。强关系维系着群体、组织内部的关 系,弱关系则在群体、组织之间建立了联系纽带。“六度分隔”说明了社会中普遍存在的“弱纽带”,但 是却发挥着非常强大的作用。有很多人在找工作时会体会到这种弱纽带的效果。通过弱纽带人与人之间的 距离变得非常“相近”。 我们可以从“六度分隔理论”获得启发,为P 2 P 超大规模的自组织网络的,设计多层次、多维度的复 杂网络结构,其核心特征如下: ( 1 ) 强关系的建立 在“基于P 2 P 技术原理的超大规模的音视频服务网络”中可以将节点之间的一种属性或多种属性的匹 配程度,表达成“亲缘关系”,如物理通信距离、感兴趣的内容、所在的地域等。以此建立建立多种强关 系的“聚集域”,“聚集域”内的节点之间是强关系。 ( 2 ) 弱关系的建立 在强关系的“聚集域”之外,可以在多个层面上建立弱关系的“松散域”,“松散域”内的节点之间是 弱关系,“松散域”可以为“聚集域”之间建立桥梁。 ( 3 ) 多层次和多雏度的交又 3 5 82 0 1 0 4 第十届全国互联网与音视频广播发展研讨会( N W C 2 0 1 0 ) 超大规模P 2 P 音视频服务演变趋势 多维度的“聚集域”和多层次的“松散域”之间,可以相互交叉影响,形成高度复杂的网络结构。其 复杂的交叉结构,大幅度减小了网络上任何两个节点之间的平均最短路径。真正实现了所谓的“T h e S m a l l W o r l dP h e n o m e n o n ”( 小世界现象) 。 5 借鉴物理学的自组织临界理论 自组织临界理论( s e l f - o r g a n i z e dc r i t i c a l i t y ,简称S O C ) 是一个有趣且影响较大的理论。该理论认为, 由大量相互作用成分组成的系统会自然地向自组织临界态发展;当系统达到自组织临界态时,即使小的干 扰事件也可引起系统发生一系列灾变。B a k 等人( 1 9 8 8 ,B a k ,1 9 9 6 ) 用著名的“沙堆模型”( s a n d p i l em o d e l ) 来形象地说明自组织临界态的形成和特点。 美国物理学家P e rB a k 和K a nC h e n 做过一个内涵深刻的研究:让沙子一粒一粒落在桌上,形成逐渐增 高的一小堆,借助慢速录象和计算机模仿精确地计算每在沙堆顶部落置一粒沙会连带多少沙粒移动;初始 阶段,落下的沙粒对沙堆整体影响很小;然而当沙堆增高到一定程度,落下一粒沙却可能导致整个沙堆发 生坍塌。B a k 和C h e n 由此提出一种“自组织临界”( s e l f - o r g a n i z e dc r i t i c a l i t y ) 的理论;沙堆一达到“临界” 状态,每粒沙与其他沙粒就处于“一体性”接触,那时每粒新落下的沙都会产生一种“力波”,尽管微 细,却能贯穿沙堆整体,把碰撞次第传给所有沙粒,导致沙堆发生整体性的连锁改变或重新组合;沙堆的 结构将随每粒新沙落下而变得脆弱,最终发生结构性失衡坍塌。临界态时,沙崩规模的大小与其出现 的频率呈幂函数关系。 其实引用到P 2 P 就是一种自组织网络,也会发生“临界坍塌”。P 2 P 自组织网络的中的有一种典型场 景可能出现“临界坍塌”,它就是D H T 中的热点问题。D H T 是一种典型的结构化P 2 P 自组织网络,典型的 用途是将海量的内容索引通过分布式散列的方法,分散到所有在自组织网络中的节点。简单地说,每个节 点分摊和自己I D 接近的那部分内容索引的管理,所以有无中心实现负载均衡的好处,但存在一个严重的 缺陷:不同内容的热度不一样,同一个内容的热度也是在变化的,热度可以逐渐累积,当达到很高的热 度时,内容被访问的次数过多往往带来巨大的通信量和计算量。此时,管理该内容索引的节点( 可以是一 个或多个) 面临着致命的风险: ( 1 ) 该节点由于通信量和计算量过大,影响计算机无法正常工作。 ( 2 ) 该节点拒绝服务后,引起外部节点搜索和动作失败。 ( 3 ) 这种情况会带来一系列连锁反应,最严重的结果是自组织网络的分裂。 所以在D H T 自组织网络中,对自然累计的临界效应需要建立释放压力的一套机制,如: ( 1 ) 节点主动侦测D H T 层通信流量和查询目标,预测压力出现的可能和原因。 ( 2 ) 发现压力原因,通过节点间协调,对压力目标进行快速复制,同时建立分摊压力的新路由。 ( 3 ) 将和压力相关的目标内容,进行分解,将一个内容虚拟成多个内容进行管理,实现压力分摊。 ( 4 ) 通过节点间协作,进行角色互换。将压力大的目标转移到计算能力和带宽较大的节点上进行管理。 ( 5 ) 通过节点间协作,减少全网对压力目标的搜索和动作。 2 0 1 0 4 第十届全国互联网与音视频广播发展研讨会( N W C 2 0 1 0 ) 3 5 9 超大规模P 2 P 音视频服务演变趋势 6 借鉴生物智能现象 S w a r mI n t e l l i g e n c e ( S I ) 的概念最早由B e n i 、H a c k w o o d 和在分子自动机系统中提出。分子自动机中的主 体在一维或二维网格空间中与相邻个体相互作用,从而实现自组织。1 9 9 9 年,B o n a b e a u 、D o r i g o 和T h e r a u l a z 在他们的著作( S w a r m I n t e l l i g e n c e :F r o m N a t u r a l t o A r t i f i c i a l S y s t e m s 中对群智能进行了详细的论述和分析, 给出了群智能的一种不严格定义:任何一种由昆虫群体或其它动物社会行为机制而激发设计出的算法或分 布式解决问题的策略均属于群智能。 S w a r m 可被描述为一些相互作用相邻个体的集合体,蜂群、

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论