2022年开放环境下的网络架构

1、架构之美- 开放环境下的网络架构网络平台部 MartyMa（马志强）2012-5-16前言及介绍内容及收获：偏技术、非上流、偏底层、非代码的 腾讯网络介绍您能了解到，在您代码飞速运转的腾讯开放平台上，我们如何为您构造所需的网络环境，尤其是咱的数据中心网络您能了解到，为了让用户更稳定更顺畅地享用您的开发成果，我们在自己的网络、运营商网络上做了哪些努力小生简介：MartyMa (马志强)腾讯 网络平台部 网络架构中心十来年的运营商和企业网络经验前言及介绍+100万服务器+10自建IDC+2000G带宽与约150个运营商对等互联自有光纤网络及骨干网加入ONF，已有SDN骨干网实践约合+30万台服务器

2、自建+租用IDC与约80个运营上对等互联实践大规模数据中心网络加入ONF约合+50万台服务器与约110个运营商对等互联实践IAAS云网络约合+20万台服务器租用+合建+自建IDC+1000G出口带宽与+10个运营商对等互联实践大规模数据中心网络及多业务承载网加入 ONF服务器量对外出口网络情况网络架构业务需求是第一出发点即时通信国内最大的在线社区最高同时在线数1.5亿网络媒体流量最高的中国门户网站网络游戏国内第一互动娱乐游戏平台QQ游戏最高同时在线账户数841万网络社区国内最大的互动社区网站月活跃帐户数5.52亿无线业务国内领先的无线门户网站注：所有数字的统计口径为2011年年底业务众多且型态

3、各异，网络服务要求不一是对网络架构的最大挑战！开放平台F1F1M1M1FabricPath8+台Nexus2248Nexus5548POD 1VPC8+台Nexus2248Nexus5548POD 13VPC 为什么云网络重要哩。PMVMVMPMVMVMPMVMVMPMVMVMPMVMVMISP-N用户沈佳宜ISP-B上进的开发者腾讯强大的开放云平台那么透明的腾讯云网络快速给我我需要的资源用户访问的我应用要顺畅我可不想别人的问题影响我的应用，分开我的应用访问不要出故障。支撑开放云平台的云网络要。开放，是一种态度，更是一种能力网络浮云于此支撑开放云平台的云网络要。网络基础设施要健壮强劲批量建设的

4、IDC及网络资源运营商级别的城域和广域网络网络要适应多租户接入需求整体网络解决方案自定义云网络用户网络覆盖质量要好IDC资源布局多运营商网络接入环境运营商网络扩容的问题安全下得了厨房上得了厅堂先看看网络的简介网络的基础知识默默地支撑你的业务对话，我是谁，你看不见我，我是腾讯云网络我的业务要被用户访问我的代码运行在哪里？服务器又在哪里？IDC又在哪里？谁来保障的访问安全两台服务器之间要通信谁来保障我的关键访问。网络的基础知识网络的基本概念将服务器群、存储等腾讯IDC资源连接起来的关键基础设施是网络，并通过运营商网络，将我们互联网用户与我们业务服务连接起来的，也是网络网络的基本组成接入交换机、核心

5、交换机、防火墙、路由器网络的类型按照地域范围和功能不同分为IDC网络（数据中心网络）、城域网、广域网、公网、合作伙伴外联网络接入层交换机核心交换机路由器防火墙服务器机架仍有问题？腾讯微博！网络平台构建与业务开发的节奏有差异产品设计产品开发产品调研产品发布产品运营产品消退互联网产品基础网络免费海量互联网用户及时反馈物理科学发展十年如一日微创新、每年上+100款商用产品每3-5年出一款快速出模、敏捷迭代运营成熟，可商业化要2年持续运营、IDC消亡起码5年灰度发布、及时回滚伸缩有度、屈身弯腰长尾持续、原地复活开局失败、一年白忙乎触一发动全身、整体联动网络业务网络平台构建与业务共成长2000年2010

6、年100,000人同时在线100,000,000人同时在线支撑100台服务器支撑100,000台服务器支撑1、2个IDC机房支撑+10个IDC*+10个IDC=1,000G的内部交互提供1,000Mb为主体的数据中心网络提供10,000Mb为主体提供几条Mb的窄带专线提供数十条G/10Gb的通路默认回首，十年革命之路，我们共同面对 网络平台构建从 ”先抗住” 到 ”海量蜕变”今天的网络数十人的运营支撑团队，数十人的专业设计构架团队支撑超过20万台服务器，网络设备达上万台业界领先的5K台规模计算集群数据中心网络v3.5搭建百G总容量的广域网络，支撑全国和海外数十个大中型IDC网络架构网络架构产品

7、网络平台构建基础设施整体解决方案运营建设公共服务组件机房环境IDC资源服务器和系统IDC网络CBNTIX外联网络全球网络快速灵活公司业务战略 业务架构需求安全稳定容纳网络平台构建适应云计算与技术发展从作坊式定制化的企业型网络向海量计算集群网络向智能自定义网络，前进！从纯手工式故障发现排除向全面监控智能化网络到运营商级稳定网络，前进！网络基础设施要健壮强劲安全IDC网络的昨天V2.0-v3.0-v3.5杂：网络专区过多，特色服务难以快速满足；乱：网络稳定性欠缺，存在单播flooding；弱：网络性能难以满足需求，过高超载比使得服务器获得的带宽较小；慢：网络层次和设备多样，标准程度不高，难以满足快

8、速建设需求；批量建设的IDC及网络资源网络性能和扩展性明显提高通过自动化工具的研发以及工程试点显著提高网络部署效率网络稳定性和高可用性显著提高腾讯v3.5数据中心网络从IDC走出去的网络，稳定性更重要想象，一根光纤，可能使得你的界面与DB失去联系!业务的兄弟们IDC1IDC2IDC3IDC4IDC5IDC6IDC7IDC8IDC9IDC10IDC11IDC12IDC13IDC14IDC15几万台服务器，分布在一个城市几十个IDC，上千种业务在100多条万兆互联链路上产生了约700G的跨IDC洪流运营商级别的城域和广域网络MAN：将同一城市内多个IDC互联起来组成的网络标准化结构，构建承载力强，

9、冗余性高的健壮城域网络构建成上T级汇聚能力，百G级站点交互能力，自建大容量高可靠传输系统的城域网运营商级别的城域和广域网络广域网架构规整化及能力提升- 高速铁路高速公路为业务全国分布做好准备重点业务流量保障- 差异化服务且资源效率高- 高铁VIP上等座广域网监控精细化- 业务看得见、有意识、重协作- 得管理好啊，不能有”信号故障”DCDCDCACACACACACACACACACAC智能监控及服务20W+服务器、2W+网络设备状态、性能、容量的实时采集与智能分析，1分钟存活状态监控，5分钟性能、容量监控100+IDC、200+外网出口、500+内网专线，从IDC内部服务器到出口、专线FullMe

10、sh的5分钟粒度的全方位网络质量监控与度量体系基础架构海量节点实时监控支持-腾讯自主开发TMP系统城域核心城域核心城域核心城域核心IDC-1IDC-2IDC-3IDC-4IDC-5IDC-6IDC-7IDC-8IDC-9智能监控及服务每日400w条的海量信息处理，+80%故障处理解决率，覆盖公司全业务的基础架构日常运营工作业务安全防控，流量全局调度，业务质量检测，演戏预案等系列前瞻性运营工作，为海量业务提供高质量、全纬度的运营服务腾讯基础设施7*24的运营入口-NOC7*24小时的主动监控响应服务随叫随到服务器和网络资源随叫随到健壮强劲的网络让您有时间享用咖啡快乐的开发环境用起来灵活安全成长随

11、叫随到网络要适应多租户接入需求下得了厨房数据中心云网络要面向开放平台时找地方盖房子(IDC机房建设)精装修(机架和服务器入驻)联排别墅要隔离(安全隔离)通上水和电(基本的网络通信)一栋别墅不够住(计算和网络资源扩容)有饮用水和中水(网络服务质量的区分)通上公路和曲径接受客访(与互联网接通)打造温馨小区，作为“白心”开发商我们咋整?您还要BMW？！数据中心云网络要面向开放平台时提供云平台支撑高效IP地址利用提供虚机隔离资源灵活性虚拟化支持计算资源任意迁移计算资源与物理机位无关承载合作业务承载自营业务主机托管业务安全隔离及访问控制多业务承载数据中心云网络面向开放平台适应自营业务和开放平台业务的多种

12、多样需求高带宽/无阻塞通信、组播、Qos保障云计算数据中心的安全服务网络安全防护手段（VRF、VLAN ACL、PVLAN、基于标记的安全防护等）与硬件抽象层软防火墙/DFW与相结合为虚拟化环境提供所需的安全防护整合网络资源，统一调度快速交付云控制平台/Matrix实现30分钟交付虚拟机，通过自动化工具/例如云计算网络控制中心与Matrix对接，实现业务感知的网络资源调度，VM迁移时，相关的网络信息、网络安全策略、Qos策略统一调度2010年2011年设计研发概念验证选型测试试点磨合批量规范。V3.5网络支持全年30多个网络模块建设。性能：支持单台服务器500Mbps或1Gbps无阻塞通信数据

13、中心云网络面向开放平台性能：支持约5千台服务器/2万台虚拟机一个网络模块多样性：部分支持万兆服务器接入多样性：支持特殊流量Qos保障通信及组播通信多样性：支持合作伙伴VPC接入安全：分布式防火墙及网络策略结合支持租户隔离数据中心即插即用云网络数据中心云网络面向开放平台-自定义云网络腾讯与业界的前沿性研究-SDN腾讯云网络智能控制集群10万台服务器规模的云计算计算集群关键流量保障策略。安全控制策略腾讯云计算控制集群向开发同学学习，让搞网络像写代码样灵活 SDN-自定义云网络实现网络灵活平滑扩展快速特性定制全国网络支持开放平台多业务承载网西北地区IDC西南地区IDC华北地区IDC华东地区IDC接入

14、接入接入核心核心接入接入接入核心核心内网内网内网InternetIDC城域广域城域IDC内网华南地区IDC内网Internet接入内网内网内网内网内网MPLS/VPN稳定高效的承载网络安全可靠的业务交互用户网络覆盖质量要好上得了厅堂腾讯IDC和网络资源布局4个 资源片区3个 DC城市约10余个 AC城市约合20万 服务器约合1000G IDC带宽约合1400G CDN带宽近似相当于12个大中型城市的城域网出口总带宽量用户体验是腾讯业务和基础设施的首要关注点业务”内容”就在这里，用户”眼球”在哪里？运营商网络质量与我们有着千丝万缕的联系运营商网络故障对腾讯的影响占比连年超过70%运营商网络各个层

15、级的故障都对我们的用户体验有影响看清、对齐、布局用户体验是腾讯业务和基础设施的首要关注点哥一咳嗽我就傻眼如果每个用户访问100kbps至少得掉几百万用户啊ProbeAgentIDCSpeedAgentInternetDC/AC网络机房User用户访问服务的网络质量取决于： 用户-IDC外网质量 ， IDC内部网络质量 ，IDC间网络质量DC/AC网络机房ProbeAgentIDCSpeedAgent联动联动看清 - 点、线、面的网络质量监控对齐 - 提前与运营商接口规划信息运营商省网/城域网、骨干网等都是用户体验的关键环节与运营商省/城公司、集团骨干公司提前对齐规划信息对齐 - 提前与运营商接

16、口规划信息天津电信，2011年12月改善前至1213个省份的时延在140ms以上天津电信，2011年12月改善后至45个省份的时延在140ms以上商务技术布局 - 如何优化*特色下的用户体验主力运营商间的互联互通，长期保持质量较差，恐怕内容至少复制两份不可避免中小运营商那里的用户咋办尤其是移动互联网大发展的时候长宽、天威、中国移动、教育网中国电信中国联通200300G利用率100%时延100ms内容内容客户客户布局 - 多运营商网络接入环境IDC和网络资源上尽可能多地提供多运营商接入环境1. 处理复杂的商务环境2. 关键技术域名引导BGP、地址转换、IPSLA等网络对接技术Netflow、Sp

17、an等网络分析负载均衡、流量调度技术Anti-DDoS等安全防护ISP-CTRegion/ZoneIDC-AModuleIDC-CISP-CUModuleISP-xxIDC-B多运营商出口汇聚流量调度和优化流量负载均衡流量分析布局 - 多运营商网络接入环境SGSNBSCGGSNGPRS/3G移动IP骨干网(CMNET)中国电信IP骨干网(ChinaNet)红色路径绿色路径网内：n*10ms网内：n*10ms网间：n*100ms直联腾讯：n*1ms布局 - “被动接受”型资源布局思路某友商某业务IDCIDCIDC我方某业务某点我方某业务某点我方某业务某点某友商某业务某友商某业务业界的IDC供给速

18、度不足，业务布局时首先考虑是哪里有IDC业务部署碎片多，交互效率低下对用户覆盖质量不全佳，需事后推动改善布局 - 以用户体验出发考虑的IDC和网络资源布局产业链的驱动力“用户体验为首位”的资源布局思路具有长期性、全局性业务布局时首先看哪里对用户覆盖质量好对用户覆盖质量好，且稳定作为我们大规模IDC的选址指引布局 - 以用户体验出发考虑的IDC和网络资源布局适合国情、适合业务的模型首先正确把握业务特征模型分类质量指标示例I型：眼球敏感80MS静态图片下载、长视频等II型：等待敏感80MS110MSUGC视频、MMOG游戏等III型：通用互联网110MS140MSWEB访问等IV型：不敏感140M

19、S200MS消息、下载等以上为示例，并将根据业务实际需求进行优化布局 - 以用户体验出发考虑的IDC和网络资源布局适合国情、适合业务的模型其次有能力建立长期质量监控基线再次有能力推动运营商或自行改善网络质量布局 - 以用户体验出发考虑的IDC和网络资源布局II型业务资源布局 示例通过深圳+天津两个点，满足全国90%电信用户覆盖III型业务资源布局 示例通过上海一个点，满足全国90%联通用户覆盖80MS110MS110MS140MS适用、稳定、不浪费用户体验是腾讯业务和基础设施的首要关注点对用户覆盖质量符合业务特征用户体验优良且稳定业务资源和IDC资源不浪费立体的网络监控体系提前规划+主动推动全新的IDC布局思路网络解决方案Key Takeaways腾讯网络架构提供高效稳定、安全可靠的通信IDC网络架构、城域及广域网络、出口网络、对外互联网络等采用运营商级别的设备和技术网络架构为开放云平台提供虚拟化支持、合作伙伴安全隔