互联网网间互联架构研究课件

1、中国移动集团级重点研发项目结题汇报报告2011年11月21日项目名称：互联网网间互联架构研究项目编号：一. 课题目标实现情况目 录二、主要研究成果（整合后）1.1 研究背景及目标积极推进宽带接入、WLAN、LTE等业务和技术的开展，将对网间带宽提出更高的要求由于我公司内容资源少、对网外资源依赖度高，导致网间结算价格高、扩容难，网间通信质量不佳。骨干、省、地市多级出口，以及移动、铁通独立出口的架构虽然在一定程度支撑了公司业务发展，但也带来监管风险及管理、运维、资源效率等诸多问题互联网发展对网间互联提出更高的要求工信部正在研究互联网网间互联架构。在进行互联方案的协商、网间结算标准制定时，本项目将提

2、供有利支撑，为争取有利于我公司的互联架构具有重要的意义本项目对多种网间互联方式进行对比研究，如省内互联等，为集团的互联互通统一管理提供参考，也为省公司开通互联的方式及策略提供技术支撑，努力提高中国移动互联网的网间互联质量和互联网用户的满意度网间互联架构研究对互联网发展的意义1.2 主要研究内容12345互联现状调研互联方案比较路由策略配置本地直连分析带宽效率比较研究各种互联方案的优劣，包括本地直连等，制定适合我公司互联网现状的互联方案调查国际互联网互联架构、国内外运营商间的互联方案及结算情况等在多种互联方式共存的情况下，制定路由清晰、实施便捷、避免产生网间绕转等问题的路由策略研究各省通过本地直

3、连的方式实现网间互联的可行性和优缺点，以及管理运维建议研究提升网间带宽利用效率，提高用户体验，降低网间流量占比的手段，例如缓存、视频加速等本项目通过对各种互联方案的研究，制定出有利于降低互联成本、提升网间质量、便于网络管理的互联网互联架构目标研究内容41）解决的关键问题： 解决了中国移动互联网业务发展中，对宽带用户体验影响最大的网间互联问题。通过对互联方式、结算价格、路由策略以及带宽效率的分析和研究，提出了改进网间互联和用户体验的相应措施和策略。2）提出的决策建议： 研究提出了4项关键技术点的决策建议：互联方式的选择、结算价格的制定、网间路由的控制以及带宽效率的提升手段。3）专利申请： 无。4

4、）企业标准和国际标准： 无。5）新技术试验： 无。6）对企业绩效的贡献情况： 通过分析国际互联价格、大客户专线价格、宽带用户价格，向工信部提出合理的网间结算价格建议。 通过流控手段将网间P2P下载占比压缩到10%以内；通过与铁通的合作，在铁通互联出口疏导10G网内P2P流量。1.3 目标完成情况总结一. 课题目标实现情况目 录二、主要研究成果（整合后）互联网网间互联架构研究：关键问题和思路结算价格问题：国内结算价格高居不下，严重影响中国移动宽带业务的发展思路：分析研究国内外互联价格和变化趋势探讨网间结算的合理价格路由策略问题：多种互联方案并存导致网间流量可通过多个出口疏通，复杂度增加思路：通过

5、路由策略对网间各出口的流量加以控制，优化网间流量，降低结算成本，提高用户体验互联方案问题：目前现网存在着多种互联方式，包括骨干直联、NAP互联、省网第三方互联等，需合理规划、统一管理思路：研究各类互联方式适用的业务和场景，合理布局带宽效率问题：网间带宽长期拥堵，高质量业务无法开展，严重影响用户体验思路：通过各种手段控制和引导网间流量，保证高价值业务的服务质量，提高网间带宽的利用效率课题一互联方案研究网间互联方式一骨干直联CMNET与其他运营商骨干网互联带宽共计199G与电信间单价从08年的132万元/G/月降低为98万元与联通间结算单价从08年的118万元/G/月降低为88万元带宽及价格变化情

6、况网间质量骨干电信出口忙时带宽利用率为84%骨干联通出口忙时带宽利用率为87%骨干出口至电信、联通均已达到工信部规定的障碍标准增加国内网间互联节点，提高网络冗余度，分散北上广三个核心节点的压力，降低故障时的影响面。现状：北上广三个国内互联节点，通过本地传输和国内运营商互联方案一：新增4个国内互联节点（新增武汉、南京、西安、成都），七个国内互联节点通过本地传输和国内运营商互联（目标方案）方案二：新增4个国内互联节点，七个国内互联节点通过本地及长途传输和国内运营商互联方案三：新增4个国内互联节点，七个国内互联节点通过长途传输接至北上广的国内互联路由器方案一受限于对方运营商的配合，近期难以实现，方案

7、三网络性能、网络结构、设备压力、传输等方面没有明显优势。建议采用方案二，逐步向方案一演进。同时积极拓展网内资源，减少对网间互联带宽的需求，减少对其它运营商的依赖。网间互联骨干节点调整方案网间互联方式二NAP点互联CMNET骨干网在NAP点的接入带宽为3G方向北京NAP上海NAP广州NAP合计互联带宽（G）1113网间互联方式三本地直联鉴于当前的焦点问题是我公司用户上网感知差，为尽快改善网间通信质量建议优先试点：我公司一省-其它运营商全国在本地直联点，移动向其它运营商通告全省路由，其它运营商向移动通告全国路由还可以试点：我公司全国-其它运营商一省在本地直联点，移动向其它运营商通告全国路由，其它运

8、营商向移动通告全省路由本地直联的互联范围包括A区域-B全国A全国-B区域A区域-B区域建议网间互联方案四省网第三方/铁通互联25省开通省网出口带宽140G开通省网出口带宽前三位的省份为山西（40G)、浙江（18G）、安徽（11G）已开通省网出口的平均单价36万/G/月，远低于与电信、联通直联的98、88万方式同骨干出口；CMNET用户通过第三方访问互联网时，IP报文源地址保持不变。BGP对等互联NAT地址转换CMNET用户的IP报文源IP地址转换为第三方或电信/联通的IP地址；CMNET省网和第三方间可采用静态路由、策略路由、BGP等方式；由第三方实现NAT地址转换时，第三方应保证NAT池的I

9、P地址数量满足业务疏通需要；考虑到地理位置、天气预报等应用的正常，NAT地址建议优选本省联通、电信或第三方自有IP地址。第三方出口存在较大风险 第三方出口问题和风险不符合监管要求 需要地址转换，适应的业务有限尽管第三方出口价格便宜，但存在诸多问题和风险，仅可作为权宜之计。组网和管理复杂度增加，缺乏相应管理规则和手段。被其他运营商封堵，质量无保障增加信息安全管控难度合理选择互联方式方式描述优点缺点方式一（骨干直联）北上广骨干出口路由器互联路由简单流量有绕转，扩容困难，长期拥堵方式二（NAP点互联）北上广NAP点互联可与多方实现互联带宽小，无法发挥疏通流量的作用方式三（本地直联）省网本地直联减少流

10、量绕转，提高网络效率需路由配置和对方运营商配合方式四（省网第三方）省网第三方出口互联降低结算成本，流量无绕转易封堵，质量无保障，且管理复杂度增加网间互联方案主要包括如下四种：以骨干直联为主，加大与其他运营商的谈判、协调力度，持续增扩互联网网间带宽适当发展省网第三方出口，缓解骨干出口拥塞引发的质量问题推动主导运营商在NAP点扩容，发挥NAP点的疏导作用积极推进本地直联，作为骨干直联的有效补充可适当开展与铁通的本地直联，仅疏通省内互访流量，减少流量绕转课题二网间结算研究全球互联网多级结构全球互联网是多级结构，一般说来，下级运营商需要购买上级运营商的转接带宽，实现互联；平级运营商之间对等互联。底层运

11、营商主要通过购买转接带宽实现全球通达，而顶级运营商只出售转接带宽或做少量的对等互联，而不需要购买转接带宽客户提供者顶级互联网提供商 新加坡电信德电Tier2Tier2Tier2Tier2Tier2区域Tier1区域Tier1全球Tier1全球Tier1全球Tier1Tier3Tier3Tier3Tier3Tier3Tier3目前全球公认的Tier 1包括Verizon、AT&T、Level 3、Sprint、NTT、Global Crossing、Qwest等，拥有全球路由表；除了NTT外，Tier1全是北美运营商Tier2运营商在其覆盖范围之外依靠购买Tier 1的转接服务承载其流量，如新加

12、坡电信等我国运营商尚没有达到全球Tier 1级，需要向Tier 1级运营商购买转接带宽实现全球通达 包括传统的宽带用户，以及手机上网用户、WLAN用户等用户资源拉丁美洲2.1亿34.5%北美洲2.7亿77.4%欧洲4.8亿58.4%中国4.2亿31.6%亚洲整体8.3亿21.5%互联网用户数 渗透率图标各大洲互联网用户数和渗透率全球互联网发展情况分析：用户资源从绝度值上看，中国宽带用户数已与北美、欧洲相当从渗透率来看，中国互联网发展明显滞后美国和欧洲我国互联网市场还有很多的发展潜力，需建立良好的监管环境推进更快发展数据来源：World Internet Stats,截至2010.06全球互联网

13、发展情况分析：网络资源 包括连通自治域、POP点、转接客户等因素网络资源互联网指标VerizonAT&TNTTLevel3海外POP点数量（个，按城市统计）10110955238连通自治域数（个）222422845902565转接客户数（个）31509341505000我国最大运营商的海外POP点数量不超过30个。与全球Tier1运营商相比，中国运营商在网络资源方面还存在很大差距，制约了中国互联网的整体发展全球互联网发展情况分析：内容源数据来源：Alex TOP50网站排名,截至2010.09各大洲TOP50网站数量 包括信息数量、信息质量、创新度和国际化程度等因素网络资源北美洲28欧洲9中国

14、8亚洲其他国家4南美洲1全球互联网内容源仍以美国为中心；中国网站用户主要集中在国内，国际化程度不高，信息源质量和创新度不够百度用户96%来自国内全球互联网互联结构及发展情况小结 从用户、网络、内容等三个方面来看，中国互联网的发展明显滞后于美国、欧洲 国内运营商应联合起来共同做大我国互联网，提升我国互联网在国际上的地位，及早成为全球Tier 1级运营商互联网互联结算情况美国 美国以“市场化+反垄断”的监管形式形成了互联网良好发展环境鼓励通过市场竞争发展对垄断行为，通过反垄断法加以干预 形成7、8家规模、实力相当的互联网运营商，相互之间对等互联、互不结算，存在充分的竞争，互联网在全球发展的最好我国

15、 我国互联网属寡头垄断市场，垄断者利用其垄断地位，制定明显高于国际市场价的网间结算价格，制约了我国互联网的整体发展； 监管机构尚没有对过高的结算价格实行管制运营商不应利用其垄断地位损害别人利益当垄断阻碍了互联网的发展时，政府应该及时干预互联方式和结算方式对等互联（Peer）：仅访问对方网络转接互联（Transit）：通过转接ISP访问全互联网对等互联（Peer）：通常采用互不结算的方式转接互联（Transit）：被转接方向转接方支付费用Peer和Transit概念结算方式我国运营商之间目前只能通过对等（peer）的方式互联，按照国际惯例应互不付费，但我国需要付费在采用单向付费方式时，按国际惯例

16、收费方应提供转接服务，但在我国运营商间不提供转接服务中国移动国际互联情况互联方式： 对等互联、转接互联伙伴；对等互联伙伴数转接互联伙伴数互联地点：香港、美国互联价格：对等互联：全部免费转接互联价格：洛杉矶：平均约7万元/G/月，价格区间为4万9万元/G/月香港：平均约17万元/G/月，价格区间为15万20万元/G/月随着香港和洛杉矶POP的建成，将大量扩容国际互联带宽，互联单价也将大大降低对等互联均为免费付费互联均提供转接服务，且价格远低于国内互联价格互联结算趋势互联价格2004年2010年下降比例北美120万/G/月7万/G/月17倍电信320万/G/月98万/G/月3.3倍联通299万 /

17、G/月88 万/G/月3.4倍 北美的Transit价格从2003年120万/G/月左右下降到了目前的7万/G/月左右，下降了17倍移动与其他运营商网间结算价格变化电信：从2004年到2010年下降了3.3倍联通：从2004年到2010年下降了3.4倍NAP: 从2004年到2010年下降了2.9倍 随着互联网的发展和充分的市场竞争，国际互联转接价格快速下降，从03年到10年下降了17倍，而同期我国国内互联价格仅下降了3倍国内互联价格依然远远高于国际转接价格2004年，国际、国内价格相差3倍2010年，国际、国内价格相差超过10倍IDC成本分析IDC成本主要包括建设成本和运营成本建设成本：包括

18、IDC主机、存储、网络、安全系统、系统集成、综合布线、IDC配套空调电源电气消防、后台监控网络、机房装修改造以及土建等平均单个IDC机柜的投资约22万元，分摊到每年折旧约3万元/年运营成本：包括通信设施维护费用、客户主机维护费用、维护人员工资、通信生产用低值易耗品摊销、水电费、房屋修理费、物业管理费等 平均单个IDC机柜的运营成本约5万元/年因此，单个IDC机柜的平均成本约为8万元/年以浙江为例，IDC成本约为150万/月（ 建设成本+运营成本 ），IDC业务带宽15G，70%利用率，因此，IDC单位流量的成本约为15万/月/G目前，我公司IDC的流量还较小，随着IDC业务的发展，IDC单位流

19、量的成本将大幅度下降运营商通过向IDC内容源收费，已收回全部或部分IDC成本因此，需要网间分摊的IDC成本应远低于15万/月/G大客户价格分析根据中国电信给政企大客户的报价，约为25万40万元/G/月运营商网间互联是双方相互提供服务，因此结算价格应远低于给政企大客户的报价单位带宽价格分析国际Transit每带宽互联价格比较互联对象端口互联地点单价（元/G/月）AT&T155 M上海-美国10万GE中国移动美国 POP4万Verizon155 M上海-美国20万GE中国移动美国 POP9万Sprint155 M北京全电路-美国25万GE中国移动美国 POP7万国际互联随着端口带宽的增加，互联单价

20、大幅度下降国内运营商为宽带用户提供的价格随带宽大幅度下降但国内运营商网间互联价格下降水平与市场上通行规律不相符。国内宽带用户价格比较带宽山西联通山西电信总价（/年）单价（/M/年）总价单价（/M/年）1M包年6986986006002M包年880400720 3604M包年1080 270960 240NAP点互联及结算分析交换中心是为多个运营商之间提供互连的第三方机构，可以实现与运营商间的多边互联，类似中国的NAP点，在欧洲发展的最好，有150多个接入费包括会员费+端口费或仅端口费，无需结算费用运营模式：基本无盈利，用于运行的费用来源于成员交换中心中国移动运营商3运营商2peering免费免

21、费免费运营商1交换中心端口（GE）峰值流量会员数接入费结算费（元/G/月）伦敦(LINX)818874G3896000元/G/月0阿姆斯特丹（AMS-IX）7381290G4245000元/G/月0NAP28万元/月100万（流量）2011年5月官网数据按照国际惯例，交换中心不收取结算费，但国内NAP点收取高额的结算费用建议大幅下调NAP点结算费，同时监管各运营商必须保证足够的带宽接入、按需配置网间结算价格过高带来的问题 阻碍整个互联网的发展 无法及时扩容，影响网间质量，损害消费者的利益 骨干网结算价格过高，长期无法解决可能引发通过第三方转接、国际绕转等方式来降低结算成本，将增加网间路由的复杂

22、性和管理难度结算价格小结结算价格美国以“市场化+反垄断”形成7、8家规模相当的互联网运营商，互不结算。我国互联网属寡头垄断市场，但监管机构不对过高的结算价格实行管制。按照国际惯例，转接互联付费，对等互联不付费。我国则既不允许转接互联，又要求对等互联付费。1与国外对比2与我公司和国外互联对比与大客户价格对比34与用户价格对比其他运营商为宽带用户提供的单位带宽价格随带宽增加大幅度下降，但现在却不同意对我公司扩容降低单价。我公司与国外运营商的转接结算价为4万20万元/G/月，远低于与国内运营商的对等结算价。04年以来，我公司与国外运营商的转接结算价下降17倍，与国内运营商仅下降3倍。中国电信其给政企

23、大客户的报价约为25万40万元/G/月，远低于给我公司的价格。参考成本、零售价格等制定合理的网间结算价格，结算价格应大幅下调网间互联提供的服务是相互的，随着互联带宽的增加，单位带宽价格应不断下降降低NAP点结算费引入竞争机制，在付费的情况下应提供转接服务随着IDC的引入网间流量增加，内容为双方服务，增加的流量却由一方支付不合理，制定结算价格应考虑相关因素课题三路由策略配置研究互联网网间互联架构研究：路由策略GPRS/TD业务；短信、彩信、IMS等自有业务；部分政企客户建有网站等对外提供服务的业务；基于IP报文源IP地址提供应用服务的流量，如地理位置信息；对等免费资源。可由省网出口疏导的业务须由

24、骨干出口疏导的业务家庭宽带；校园宽带；WLAN；没有被动访问需求的政企客户。原则上，重要的自有业务、与源IP地址相关的业务以及可免费互通的业务均由骨干出口进行疏导，其他业务可由省网出口疏导QoS标记：用户接入时进行标记，SR/BRAS上配置标记策略，出口路由器根据标记进行路由转发。策略路由：在省网出口路由器（或与第三方互通路由器直连的路由器）上配置源地址策略路由，对于源地址符合策略的报文，根据配置的策略路由到下一跳，其余报文按照路由规则转发。实现方案出口路由器互联路由器（NAT）第三方路由器中国移动网络第三方网络省网/城域网出口路由器对于进入的流量进行源地址匹配匹配的流量转发到互联路由器，NA

25、T转换后去往第三方网络不匹配的流量继续路由到下一跳无省网时实现本地直联的路由策略在其它运营商没有省网的情况下，本地直联的解决方案如下：在移动省网和其它运营商的省会城域网之间建立EBGP邻居；当互联范围是移动一省对其它运营商全国时，其它运营商在本地直联点向移动发布全国路由；当互联范围是移动全国对其它运营商一省时，其它运营商可根据其省内各城域网的自治域号，在BGP协议中过滤出该省路由，在本地直联点向移动发布全省路由。移动骨干网AS 9808电信骨干网AS 4134电信城域网65yyy移动省网65xxxEBGPASBRASBRASBRASBREBGP电信城域网65zzz某省注：ASBR为自治系统边界

26、路由器（Autonomous System Border Router），即本地互联路由器。 私有自治域之间的本地直联路由策略移动骨干网AS 9808电信骨干网AS 4134电信城域网65yyy移动省网65xxxEBGPASBRASBRASBRASBREBGP电信城域网65zzz某省在没有公有AS号的情况下，本地直联的解决方案如下：在移动省网和其它运营商的省会城域网之间，基于私有AS号建立EBGP邻居；在本地直联的ASBR处通过BGP的自治域号控制功能，将AS_PATH设置为运营商公有AS号。本地直连路由策略比较及建议方案一AS_PATH方案二明细/汇聚路由方案三LOCAL_PREF实施难度难

27、度小，不需要对方骨干网新增策略难度较小，不需要对方骨干网新增策略；但对移动IP地址规划有一定要求难度较大，需要对方骨干网新增路由策略投资成本增加本地直联链路，成本小增加本地直联链路，成本小增加本地直联链路，成本小维护管理难度新增本地直联维护，难度小新增本地直联维护，难度小新增本地直联维护，难度小网络质量减小骨干互通节点压力，有利于改善网间质量减小骨干互通节点压力，有利于改善网间质量减小骨干互通节点压力，有利于改善网间质量网络安全增加互联点，有利于提升网络安全增加互联点，有利于提升网络安全增加互联点，有利于提升网络安全信息安全不影响信息安全不影响信息安全不影响信息安全对于方案一，其它运营商仅需要

28、配合建立本地直联，不需要其骨干网新增路由策略，工作量最小。为减少其它运营商的工作量，建议采用方案一。- 37 - 与铁通直联的路由策略方案骨干层面省网层面方案一（骨干直联，疏通全网）互联架构骨干网直联省网不直联路由策略疏通所有网间流量不疏通网间流量方案二（省网直联，疏通本省）互联架构骨干网直联省网直联路由策略疏通省际流量、未开通省网直联的省内流量仅疏通省内互访流量方案三（省网直联，疏通全网）互联架构骨干网直联省网直联路由策略未在省网出口疏通的流量疏通省内、省际互访流量与铁通互联网直联的路由策略主要包括如下三种：- 38 - 与铁通直联的路由策略比较方案一(骨干直联，疏通全网)方案二(省网直联，

29、疏通本省)方案三(省网直联，疏通全网)互联架构简单较复杂复杂路由策略简单较复杂复杂IDC共享可以实现可以实现可以实现Cache共享可以实现可以实现可以实现网间质量网间省际流量存在绕转，对质量有一定影响减少网间绕转，质量更好减少网间绕转，网间质量更好- 39 - 与铁通省网直联的路由策略小结方案一（骨干直联，疏通全网）可以满足现阶段需求，所以省公司不必一定开展省网直联。对于确有需求的省公司，也可实施方案二，建立省网直联，仅疏通省内互访流量，省际互访流量仍走骨干出口。方案三将导致网间路由复杂，不建议选择方案三。课题四提高带宽效率技术方案研究流控系统的应用（1/2）接入流控的目的对网间非法网站实施封

30、堵；对P2P等网间低价值业务进行流控；加强网间流量的统计分析。流控系统简介CMNET流控系统采用全国一级架构，由流控中心对全国所有设备和业务进行统一管理。流控系统的应用（2/2）省网出口还没有实施流控对骨干出口实施流控后，P2P download占比压缩到10%以内流控前流控后Web Cache技术方案系统原理和组成原理：将用户访问过的热点web内容在Cache设备中保存一个副本，当该内容再次被用户访问时，不必出网，而是由Cache中保留的副本提供组成：DPI+全局负载均衡：检测出DNS域名解析请求，向用户或Local DNS发起DNS重定向包负载均衡设备：将用户请求和网络流量按照相应算法分发

31、到WebCache服务器组进行处理Web Cache服务器：分析请求是否在本地命中，是则直接响应；否则将请求转发到源服务器，下载、缓存响应内容，并返回给用户 应用场景和限制用于缓存静态的Web页面，对于实时更新的网站或动态网页均无法缓存，对Web用户访问体验的改善有限 分散部署方案：北京、上海、广州的出口链路上分别部署分光和重定向设备，以及Web Cache服务器，可以在一点集中管理部署位置：为控制出网流量，建议部署在网间出口，现在是北上广建设状态：已完成实验室测试和招投标，正在进行建设。有些省已经自建了省网的web cache系统P2P引导方案一：引导移动用户访问铁通P2P服务器由于铁通公司的P2P内容引入方式为合作模式，实际上用户调度完全由P2P互联网公司负责，因此铁通公司需要和P2P互联网公司重