环境管理_开放环境下的网络架构

架构之美 开放环境下的网络架构 网络平台部MartyMa 马志强 2012 5 16 前言及介绍 内容及收获 偏技术 非上流 偏底层 非代码的腾讯网络介绍您能了解到 在您代码飞速运转的腾讯开放平台上 我们如何为您构造所需的网络环境 尤其是咱的数据中心网络您能了解到 为了让用户更稳定更顺畅地享用您的开发成果 我们在自己的网络 运营商网络上做了哪些努力 小生简介 MartyMa 马志强 腾讯网络平台部网络架构中心十来年的运营商和企业网络经验 前言及介绍 100万服务器 10自建IDC 2000G带宽与约150个运营商对等互联自有光纤网络及骨干网加入ONF 已有SDN骨干网实践 约合 30万台服务器自建 租用IDC与约80个运营上对等互联实践大规模数据中心网络加入ONF 约合 50万台服务器与约110个运营商对等互联实践IAAS云网络 约合 20万台服务器租用 合建 自建IDC 1000G出口带宽与 10个运营商对等互联实践大规模数据中心网络及多业务承载网加入ONF 服务器量 对外出口 网络情况 网络架构 业务需求是第一出发点 即时通信 国内最大的在线社区最高同时在线数1 5亿 网络媒体 流量最高的中国门户网站 网络游戏 国内第一互动娱乐游戏平台QQ游戏最高同时在线账户数841万 网络社区 国内最大的互动社区网站月活跃帐户数5 52亿 无线业务 国内领先的无线门户网站 注 所有数字的统计口径为2011年年底 业务众多且型态各异 网络服务要求不一是对网络架构的最大挑战 开放平台 为什么云网络重要哩 PM VM VM PM VM VM PM VM VM PM VM VM PM VM VM ISP N 用户沈佳宜 ISP B 上进的开发者 腾讯强大的开放云平台那么透明的腾讯云网络 快速给我我需要的资源 用户访问的我应用要顺畅 我可不想别人的问题影响我的应用 分开 我的应用访问不要出故障 支撑开放云平台的云网络要 开放 是一种态度 更是一种能力 网络浮云于此 支撑开放云平台的云网络要 网络基础设施要健壮强劲批量建设的IDC及网络资源运营商级别的城域和广域网络网络要适应多租户接入需求整体网络解决方案自定义云网络用户网络覆盖质量要好IDC资源布局多运营商网络接入环境运营商网络扩容的问题 安全 下得了厨房 上得了厅堂 先看看网络的简介 网络的基础知识 默默地支撑你的业务对话 我是谁 你看不见我 我是腾讯云网络 我的业务要被用户访问 我的代码运行在哪里 服务器又在哪里 IDC又在哪里 谁来保障的访问安全 两台服务器之间要通信 谁来保障我的关键访问 网络的基础知识 网络的基本概念将服务器群 存储等腾讯IDC资源连接起来的关键基础设施是网络 并通过运营商网络 将我们互联网用户与我们业务服务连接起来的 也是网络网络的基本组成接入交换机 核心交换机 防火墙 路由器网络的类型按照地域范围和功能不同分为IDC网络 数据中心网络 城域网 广域网 公网 合作伙伴外联网络 接入层交换机 核心交换机 路由器 防火墙 服务器机架 仍有问题 腾讯微博 网络平台构建 与业务开发的节奏有差异 产品设计 产品开发 产品调研 产品发布 产品运营 产品消退 互联网产品 基础网络 免费海量互联网用户及时反馈 物理科学发展十年如一日 微创新 每年上 100款 商用产品每3 5年出一款 快速出模 敏捷迭代 运营成熟 可商业化要2年 持续运营 IDC消亡起码5年 灰度发布 及时回滚 伸缩有度 屈身弯腰 长尾持续 原地复活 开局失败 一年白忙乎 触一发动全身 整体联动 网络 业务 网络平台构建 与业务共成长 2000年 2010年 100 000人同时在线 100 000 000人同时在线 支撑100台服务器 支撑100 000台服务器 支撑1 2个IDC机房 支撑 10个IDC 10个IDC 1 000G的内部交互 提供1 000Mb为主体的数据中心网络 提供10 000Mb为主体 提供几条Mb的窄带专线 提供数十条G 10Gb的通路 默认回首 十年革命之路 我们共同面对 网络平台构建 从 先抗住 到 海量蜕变 今天的网络 数十人的运营支撑团队 数十人的专业设计构架团队支撑超过20万台服务器 网络设备达上万台业界领先的5K台规模计算集群数据中心网络v3 5搭建百G总容量的广域网络 支撑全国和海外数十个大中型IDC 网络架构 网络架构产品 网络平台构建 基础设施整体解决方案 运营 建设 公共服务组件 机房环境 IDC资源 服务器和系统 IDC网络 CBN TIX 外联网络 全球网络 快速 灵活 公司业务战略业务架构需求 安全 稳定 容纳 网络平台构建 适应云计算与技术发展 从作坊式定制化的企业型网络向海量计算集群网络向智能自定义网络 前进 从纯手工式故障发现排除向全面监控智能化网络到运营商级稳定网络 前进 网络基础设施要健壮强劲 安全 IDC网络的昨天 V2 0 v3 0 v3 5杂 网络专区过多 特色服务难以快速满足 乱 网络稳定性欠缺 存在单播flooding 弱 网络性能难以满足需求 过高超载比使得服务器获得的带宽较小 慢 网络层次和设备多样 标准程度不高 难以满足快速建设需求 批量建设的IDC及网络资源 网络性能和扩展性明显提高 通过自动化工具的研发以及工程试点显著提高网络部署效率 网络稳定性和高可用性显著提高 腾讯v3 5数据中心网络 从IDC走出去的网络 稳定性更重要 想象 一根光纤 可能使得你的界面与DB失去联系 业务的兄弟们 IDC1 IDC2 IDC3 IDC4 IDC5 IDC6 IDC7 IDC8 IDC9 IDC10 IDC11 IDC12 IDC13 IDC14 IDC15 几万台服务器 分布在一个城市几十个IDC 上千种业务在100多条万兆互联链路上产生了约700G的跨IDC洪流 运营商级别的城域和广域网络 MAN 将同一城市内多个IDC互联起来组成的网络标准化结构 构建承载力强 冗余性高的健壮城域网络构建成上T级汇聚能力 百G级站点交互能力 自建大容量高可靠传输系统的城域网 运营商级别的城域和广域网络 广域网架构规整化及能力提升 高速铁路 高速公路为业务全国分布做好准备 重点业务流量保障 差异化服务且资源效率高 高铁VIP上等座 广域网监控精细化 业务看得见 有意识 重协作 得管理好啊 不能有 信号故障 DC DC DC AC AC AC AC AC AC AC AC AC AC 智能监控及服务 20W 服务器 2W 网络设备状态 性能 容量的实时采集与智能分析 1分钟存活状态监控 5分钟性能 容量监控100 IDC 200 外网出口 500 内网专线 从IDC内部服务器到出口 专线FullMesh的5分钟粒度的全方位网络质量监控与度量体系 基础架构海量节点实时监控支持 腾讯自主开发TMP系统 城域核心 城域核心 城域核心 城域核心 IDC 1 IDC 2 IDC 3 IDC 4 IDC 5 IDC 6 IDC 7 IDC 8 IDC 9 智能监控及服务 每日400w条的海量信息处理 80 故障处理解决率 覆盖公司全业务的基础架构日常运营工作业务安全防控 流量全局调度 业务质量检测 演戏预案等系列前瞻性运营工作 为海量业务提供高质量 全纬度的运营服务 腾讯基础设施7 24的运营入口 NOC 7 24小时的主动监控响应服务随叫随到 服务器和网络资源随叫随到 健壮强劲的网络让您有时间享用咖啡 快乐的开发 环境用起来灵活安全成长随叫随到 网络要适应多租户接入需求 下得了厨房 数据中心云网络要面向开放平台时 找地方盖房子 IDC机房建设 精装修 机架和服务器入驻 联排别墅要隔离 安全隔离 通上水和电 基本的网络通信 一栋别墅不够住 计算和网络资源扩容 有饮用水和中水 网络服务质量的区分 通上公路和曲径接受客访 与互联网接通 打造温馨小区 作为 白心 开发商我们咋整 您还要BMW 数据中心云网络要面向开放平台时 提供云平台支撑高效IP地址利用提供虚机隔离 资源灵活性 虚拟化支持 计算资源任意迁移计算资源与物理机位无关 承载合作业务承载自营业务主机托管业务安全隔离及访问控制 多业务承载 数据中心云网络面向开放平台 适应自营业务和开放平台业务的多种多样需求高带宽 无阻塞通信 组播 Qos保障 云计算数据中心的安全服务网络安全防护手段 VRF VLANACL PVLAN 基于标记的安全防护等 与硬件抽象层软防火墙 DFW与相结合为虚拟化环境提供所需的安全防护整合网络资源 统一调度快速交付云控制平台 Matrix实现30分钟交付虚拟机 通过自动化工具 例如云计算网络控制中心与Matrix对接 实现业务感知的网络资源调度 VM迁移时 相关的网络信息 网络安全策略 Qos策略统一调度 2010年 2011年 设计研发概念验证选型测试试点磨合批量规范 V3 5网络支持全年30多个网络模块建设 性能 支持单台服务器500Mbps或1Gbps无阻塞通信 数据中心云网络面向开放平台 性能 支持约5千台服务器 2万台虚拟机一个网络模块 多样性 部分支持万兆服务器接入 多样性 支持特殊流量Qos保障通信及组播通信 多样性 支持合作伙伴VPC接入 安全 分布式防火墙及网络策略结合支持租户隔离 数据中心即插即用云网络 数据中心云网络面向开放平台 自定义云网络 腾讯与业界的前沿性研究 SDN 腾讯云网络智能控制集群 10万台服务器规模的云计算计算集群 关键流量保障策略 安全控制策略 腾讯云计算控制集群 向开发同学学习 让搞网络像写代码样灵活 SDN 自定义云网络实现网络灵活平滑扩展快速特性定制 全国网络支持开放平台 多业务承载网 西北地区IDC 西南地区IDC 华北地区IDC 华东地区IDC 接入 接入 核心 核心 接入 接入 接入 核心 核心 Internet IDC 城域 广域 城域 IDC 华南地区IDC Internet 接入 MPLS VPN 稳定高效的承载网络安全可靠的业务交互 用户网络覆盖质量要好 上得了厅堂 腾讯IDC和网络资源布局 4个资源片区3个DC城市约10余个AC城市约合20万服务器约合1000GIDC带宽约合1400GCDN带宽 近似相当于1 2个大中型城市的城域网出口总带宽量 用户体验是腾讯业务和基础设施的首要关注点 业务 内容 就在这里 用户 眼球 在哪里 运营商网络质量与我们有着千丝万缕的联系 运营商网络故障对腾讯的影响占比连年超过70 运营商网络各个层级的故障都对我们的用户体验有影响 看清 对齐 布局 用户体验是腾讯业务和基础设施的首要关注点 哥一咳嗽我就傻眼 如果每个用户访问100kbps至少得掉几百万用户啊 ProbeAgent IDCSpeedAgent Internet DC AC网络机房 User 用户访问服务的网络质量取决于 用户 IDC外网质量 IDC内部网络质量 IDC间网络质量 DC AC网络机房 ProbeAgent IDCSpeedAgent 联动 联动 看清 点 线 面的网络质量监控 对齐 提前与运营商接口规划信息 运营商省网 城域网 骨干网等都是用户体验的关键环节与运营商省 城公司 集团骨干公司提前对齐规划信息 对齐 提前与运营商接口规划信息 天津电信 2011年12月改善前至12 13个省份的时延在140ms以上 天津电信 2011年12月改善后至4 5个省份的时延在140ms以上 商务 技术 布局 如何优化 特色下的用户体验 主力运营商间的互联互通 长期保持质量较差 恐怕内容至少复制两份不可避免 中小运营商那里的用户咋办 尤其是移动互联网大发展的时候 长宽 天威 中国移动 教育网 中国电信 中国联通 200 300G 利用率 100 时延 100ms 内容 内容 客户 客户 布局 多运营商网络接入环境 IDC和网络资源上尽可能多地提供多运营商接入环境1 处理复杂的商务环境2 关键技术域名引导BGP 地址转换 IPSLA等网络对接技术Netflow Span等网络分析负载均衡 流量调度技术Anti DDoS等安全防护 ISP CT Region Zone IDC A Module IDC C ISP CU Module ISP xx IDC B 多运营商出口汇聚流量调度和优化流量负载均衡流量分析 布局 多运营商网络接入环境 SGSN BSC GGSN GPRS 3G 移动IP骨干网 CMNET 中国电信IP骨干网 ChinaNet 布局 被动接受 型资源布局思路 某友商某业务 IDC IDC IDC 我方某业务某点 我方某业务某点 我方某业务某点 某友商某业务 某友商某业务 业界的IDC供给速度不足 业务布局时首先考虑是哪里有IDC业务部署碎片多 交互效率低下对用户覆盖质量不全佳 需事后推动改善 布局 以用户体验出发考虑的IDC和网络资源布局 产业链的驱动力 用户体验为首位 的资源布局思路 具有长期性 全局性业务布局时首先看哪里对用户覆盖质量好对用户覆盖质量好 且稳定作为我们大规模IDC的选址指引 布局 以用户体验出发考虑的IDC和网络资源布局 适合国情 适合业务的模型 首先正确把握业务特征 以上为示例 并将根据业务实际需求进行优化 布局 以用户体验出发考虑的IDC和网络资源布局 适合国情 适合业务的模型 其次有能力建立长期质量监控基线 再次有能力推动运营商或自行改善网络质量 布局 以用户体验出发考虑的IDC和网络资源布局 II型业务资源布局示例通过深圳 天津两个点 满足全国90 电信用户覆盖 III型业务资源布局示例通过上海一个点 满足全国90 联通用户覆盖 80MS 110MS 110MS 140MS 适用 稳定 不浪费 用户体验是腾讯业务和基础设施的首要关注点 对用户覆盖质量符合业务特征 用户体验优良且稳定业务资源和IDC资源不浪费 立体的网络监控体系 提前规划 主动推动 全新的IDC布局思路 网络解决方案 KeyTakeaways 腾讯网络架构提供高效稳定 安全可靠的通信IDC网络架构 城域及广域网络 出口网络 对外互联网络等采用运营商级别的设备和技术网络架构为开放云平台提供虚拟化支持 合作伙伴安全隔离等定制