基于SDN的数据中心互联

1、目录,一、数据网发展方向 二、骨干网SDN改造方案DCI 三、城域网的改造方案,1,2020/10/20,新一代网络架构,网络架构变革= 泛在超宽带 + SDN + NFV + 云服务,新一代的顶层架构由面向用户中心的服务网络、面向数据中心的服务网络、面向信息交换的服务网络以及面向开放的云化网络服务平面 等四个部分组成。其目标就是让网络作为一种可配置的服务（Network as a Service，NaaS）提供给用户及商业合作伙伴，用户能够按需获取网络资源和服务，并可以自行管理专属分配的虚拟网络资源，比如：带宽、质量、链路、地址以及接入限制等能力要素。,2,2020/10/20,服务按需云化

2、部署,随着SDN、NFV技术和X86硬件技术的成熟，网络发展逐步向“转发”、“控制”分离的架构演进。“转发面”呈现出逐步向使用专用低成本标准化硬件的趋势，“控制面”呈现出虚拟化后移入DC，管理面借助SDN技术对网络进行编程实现整个网络的统一管理和业务快速部署。网络的组织和业务构建逐步向以DC为中心的架构演进。,3,2020/10/20,将现有DC按规模和重要性划分为：大区DC、区域DC和本地DC三级。 各级网元按条件完成虚拟化后逐步向归属地区相应等级的DC内迁移。同时利用SDN技术构建各业务的逻辑网络，并保障所需传输质量。,数据中心布局-数据中心资源分层,4,2020/10/20,目录,一、数

3、据网发展方向 二、骨干网SDN改造方案DCI 三、城域网的改造方案,5,2020/10/20,DCI网络发展目标,DCI网络的发展目标以DC为核心，对各类云业务实现统一承载的专用业务网络 网络控制：云管网络资源统一管理；根据业务需求和网络质量调整业务网络(overlay)拓扑；配置快速下发。 网络承载：按业务网络(overlay)需求，在物理网络(underlay)上构建无缝传输通道，并提供带宽、QoS保障。 网络监测：监控underlay各网段带宽和质量，汇总成overlay网络和业务网络质量，反馈给控制面进行参考并展示。,6,2020/10/20,DCI系统架构,物理/虚拟资源自动化管理,

4、服务目录,业务编排,智能资源调度,用户管理,业务模板,用户业务监测,全局资源和日志分析,拓扑监测,设备监控,Open API,OSS,BSS,承载面,控制面,监测面,运营门户,业务管理员门户,运维管理员门户,服务门户,电商门户,能力开放平台(SDP),承载面 按控制面命令，在物理网络上实现端到端无缝连接，并提供QoS保障。,控制面 对云管资源统一管理，并根据用户、应用的需求，构建overlay网络。,监测面 进一步分为业务监测、设备监测和网络监测三个子层面。完成对网络资源、业务运行情况和服务质量的监控功能；为精细化网络管理提供数据支撑。,网络信息收集,7,2020/10/20,控制层模块,控制

5、面架构,业务系统：负责从外部输入用户业务需求。 业务编排层：将用户的业务需求按各域范围进行任务分解。 Openstack：将用户对云部分的业务需求转化为对计算、存储、网络资源的控制命令。 运营商DC协同层：将openstack下发的对网络的需求，分配给各厂家控制器。 运营商DCI协同层：将业务编排层分配的对管道的需求，分配给各厂家DCI控制器。,8,2020/10/20,网络控制面功能,端到端业务自助开通，路径自动建立，参数自动调整,广域网智能流量调度/调优，实现负载均衡,IP与光协同，实现流量优化，协同故障检测/保护,9,2020/10/20,承载面网络层次,骨干层 功能：疏导跨大区的DC间

6、的东西向流量。 技术需求：能根据用户业务需求提供QoS保障，并实现全局流量调度。,大区层 功能：疏导大区内各区域间的东西向流量。 技术需求：能根据用户业务需求提供QoS保障。,区域层 功能：疏导各物理DC间的东西向流量。 技术需求：构造满足虚拟机漂移需求的网络。,10,2020/10/20,DCI协议转换模式,PE和GW分设，PE与GW之间采用开放的标准接口对接，兼容性要求低。 GW到PE段通过QoS保障。,对DCI PE技术要求低，采用现有的MPLS L3VPN、VPLS等技术即可 租户网络在PE和GW之间采用VLAN隔离，要求PE和GW直连 DC L3互联时，每VPN需要一个BGP会话,1

7、1,2020/10/20,业务功能1：端到端业务自动开通,Internet,Internet,DC网络,DC网络,DCI网络,DCI控制器,云服务门户,DC控制器,DC控制器,PE,PE,出口路由器,出口路由器,GW,GW,网管 系统,业务探针 系统,pcep/netconf,openflow,openflow,Restful/Yang,Restful/Yang,12,2020/10/20,业务功能1 ：端到端业务自动开通,1 用户通过门户 自助订购业务,2 编排器将业务需求 分解为计算/存储/网 络资源需求并下发,3 DCI控制器根据专线需 求生成配置并下发设备,3 DC控制器根据需求 生成

8、流表并下发设备,3 DC控制器根据需求 生成流表并下发设备,4 准备DC内 网络连接,4 准备DC内 网络连接,4 准备骨干网 络连接,5 端到端业务开通,13,2020/10/20,业务功能2：广域网流量调度,DC互联平面,SDN Controller,DC互联PE,呼和浩特基地,廊坊基地,DC互联PE,客户A,客户B,客户A,客户B,客户C,客户C,1,1,1,2,2,2,DC内,DC内,DC间,300M,800M,100M,DC互联PE,14,2020/10/20,业务功能2：广域网流量调度,TE实现基于租户的资源保障和流量优化；,通过PCE集中控制实现全局流量负载均衡，避免局部拥塞，提

9、高网络资源利用率；,网络发生故障时快速切换到备份路径，提供业务保护；,15,2020/10/20,目录,一、数据网发展方向 二、骨干网SDN改造方案DCI 三、城域网的改造方案,16,2020/10/20,IDC市场需求,未来三年IDC市场增速将稳定在30%以上。到2017年，中国IDC市场规模将超过900亿，增速将接近40%。 主机托管（35%）和接入服务仍然是IDC服务商最主要的业务。主要拉动力是互联网企业的业务增长。 云主机、云存储等云服务占比为11%。,以主机托管和接入服务为主的基础资源出租和云计算业务是目前IDC的主要业务模式。未来三年，IDC将保持高速增长。,互联网、政府&教育、制

10、造&能源&医疗、金融等是IDC市场的主要拉动力。 推动业务：流媒体、云计算、大数据、物联网的应用是这些行业推进的动力。,17,2020/10/20,VDC市场需求,外部需求强烈,内部改造迫切,公有云服务加速对传统IDC托管市场的侵蚀,传统IDC托管业务增长率一直保持在20%以下，而公有云中的IaaS市场则基本保持在40%以上的增长率。 一方面，随云服务商业务量增长，对基础设施托管的需求增加，持续推动着传统IDC托管市场； 另一方面，公有云的快速部署、易扩展性和低廉的价格对中小客户的吸引力越来越大，传统IDC托管市场面临着前所未有的挑战。,1.降低成本 现有VAS等电信业务系统，孤岛式、资源利用

11、率低、维护运营成本高，有云化改造的需求。 2.承载多种综合业务 VDC系统除能提供基础的公有云、私有云业务外，还能以其系统为基础采用开发APP业务软件的方式，逐步开通如云CDN、VAS等其他对内、对外业务，取代传统IDC成为更高层的多业务综合承载平台。,18,2020/10/20,国外运营商发展策略,Telefonica: UNICA架构,AT&T：CORD项目,NTT:Arcstar Universal One,19,2020/10/20,IDC发展需求,1.整合DC资源池,4.实现虚实资源共管,5.增加网络业务种类，保障用户体验,2.实现多业务综合承载、逻辑隔离,通过将城域所有DC整合成一

12、个资源池，可以消除资源碎片，提高资源的利用率和整体承载能力，同时增强了运维管理能力。,将DC内网络资源和虚机资源的管理面进行统一，实现虚实资源共管。为在DC资源池内实现IDC和云业务弹性调整奠定基础。,充分利用管道资源，增加业务种类，保障优质用户的服务质量。,为多租户业务构建彼此独立的逻辑网络，并实现网络资源及服务按需配置。不同逻辑网络互不可见，相关系统可任意定义IP网段、负载均衡策略、防火墙策略等；,3.集中控制，业务快速下发,通过转发、控制分离，将控制面集中化，实现业务快速下发。,20,2020/10/20,IDC新业务需求,SDN改造后承载业务种类： 1.云业务：改造的机房具备提供公有云

13、及电信云业务的承载能力。 2.机架云化业务：可以提供跨地市多机房二层网络组网能力，满足用户私有云承载需求。 3.传统机架出租业务：兼容传统机架出租及三层网络接入业务。 方案设计原则： 1.网络设备按需部署、节省投资 2.网络具备多种业务综合承载能力 3.网络及系统具备按业务发展需要平滑演进能力,21,2020/10/20,互联范围,网络资源整合的另一个限制条件是虚拟机迁移范围。目前该范围两类主要受云管理平台技术制约和存储技术制约。,部署建议：目前云管理平台技术是虚机迁移范围的主要制约因素，因此当前的区域范围在100km以内。但目前云平台技术发展速度很快，预计未来几年内，存储将成为主要限制条件。

14、即互联范围有望在近期扩展到300km以内。根据业务发展需求，建议优先以各省的一二级省会为中心，建立互联区域。,虚机迁移范围 制约因素,22,2020/10/20,新型城域架构,优先进行DC规范化改造，打造DC资源控制平面，形成对各类业务网元云化后的综合承载及按需管控能力。 以业务发展及技术成熟为驱动，逐步将完成vCPE、vBNG网元的云化部署，扩展资源管控平面，实现云网协同管理。 未来进一步完善城域统一控制平面，实现网络能力开放和多业务综合承载，为CDN等应用类云业务的快速部署和迭代开发奠定基础。,23,2020/10/20,目录,一、IDC业务发展现状及诉求 二、基于SDN的IDC改造方案

15、发展目标 DC内改造方案 DC出口改造方案 三、实施步骤建议,24,2020/10/20,城域DC改造目标,利用SDN技术改造数据中心。为多业务系统提供虚拟、隔离、可扩展、自管理的NaaS服务： 将各DC出口设备更换为支持SDN和VXLAN的核心交换机，并视其内部架构和业务部署支持VXLAN的接入交换机或虚拟机交换机。 所有DC共用同一对出口路由器，该出口路由器同时外接城域网CR。 所有DC内设备共用同一SDN控制器，控制器可以服务器或虚拟机的形式部署在DC内部。,改造现有城域网DC网络架构并统一部署开放系统平台。 其南向是资源管理平台，对接SDN控制器、NFV MANO。对城域网和DC内资源

16、（网络资源、NFV网元、计算存储等云资源）进行统一管理、按需调度。通过逐步增加MANO接口实现对vOLT、vCPE、vBras的统一承载。 其北向是虚拟化网络功能，通过开放API接口，实现网络功能开放。便于在其上研发针对企业、家庭用户的新型网络。,系统层面,网络层面,25,2020/10/20,构建二层资源池,整合资源池：在三层Underlay网络构建vxlan二层隧道实现可扩展的二层网络，东西向跨DC流量通过vxlan封装实现互通。整个城域内打通成一个二层资源池。 对于小机房，只需要部署具备VXLAN VTEP功能的交换机，VTEP以下为二层网络。 对于大机房，需要部署具备VXLAN的接入交

17、换机和核心交换机，VXLAN VTEP和VXLAN GW之间采用三层IBGP组建underlay。 由于VTEP对普通IP报文进行了再次封装，这将带来约50多个字节的额外开销，可能导致VxLAN封装大报文的IP报文无法到达目的端。 一是将IP报文发送端的操作系统MTU值改为1450 byte以下， 二是在IP报文沿途所有网络设备上开启jumbo frames相关功能,26,2020/10/20,多租户隔离,多租户隔离： 在VTEP节点以下，通过VLAN实现标示和隔离。 在VTEP节点以上，将VLAN按1:1映射为VXLAN实现租户标示和隔离。 通过业务编排器链接SDN控制器，将配置快速下发，实

18、现用户网络按需弹性扩展。,27,2020/10/20,业务1vCPE+云+SDN,通过在用户侧部署支持SDN和Vxlan的廉价接入设备，为用户提供私有云接入专线业务。,专线开通时间长 资源不能动态调整，增值业务单独设备支撑 专线业务质量无法端到端管控,现状痛点,方案价值,业务支撑： 统一业务定制，云+专线一站式服务 专线快速发放，带宽动态调整，增值业务硬件资源云化 用户即插即用 效率&感知： DC+专线业务的快捷交付，动态调整 专线业务质量可视，问题及时定界 接入设备用户自服务,28,2020/10/20,业务2vBras,在城域网内对BNG设备进行转发、控制分离。将其认证、控制等功能模块虚拟

19、化后移入DC资源池，原有BNG设备仅使用期交换功能，未来进一步更换为大容量交换机。将原有二层交换机更换为支持vxlan的交换机，对于用户流量进行分流。对其认证流量导入DC中vBNG进行处理；对其业务流量通过交换网络进行常规转发。,29,2020/10/20,目录,一、IDC业务发展现状及诉求 二、基于SDN的IDC改造方案 发展目标 DC内改造方案 DC出口改造方案 三、实施步骤建议,30,2020/10/20,城域DC出口网络拓扑,同一城域共用一对DC出口路由器，同时上联城域CR、互联网骨干网 AR和DCI PE(A网AR)，分别疏导到本市、外地、DCI的流量； 在DC出口处，利用SDN原理

20、，通过定期检测DC-CR、CR-AR、DC-AR三段链路的流量和带宽利用情况，对DC出方向的流量实施选路调度和QoS策略，优先保障对高价值用户业务流量的传输质量。,31,2020/10/20,流量调优方案架构及工作流程,DC出口控制器通过流量采集器定期收集DC-CR、CR-AR、DC-AR三段链路的流量和带宽利用情况。将采集的流量与管理员预定义的流量策略进行匹配，生成下一周期的流量调度策略，下发给DC出口路由器。DC出口路由器通过发布BGP路由信息或下发流表，实现对流量的调度和保障。,32,2020/10/20,中国电信实践,充分利用SDN技术的转发与控制分离的特点，消除城域网、IDC带宽忙闲

21、不均的现状，提升整体带宽利用率。 按照同城、省内、省外的顺序分别对地市IDC核心设备逐步进行SDN按需承载试点。,流量本地化和借道城域网,实现IDC在汇聚平面和城域平面之间的调优 实现跨地市的IDC和城域之间调优,大客户质量保障部署,1、差异化服务(QoS)，保障VIP用户； 2、高效网络(增加选路功能)，减少对普通用户的影响； 3、结合DCI进一步流量分流；,现状,DC出口QoS,充分利用各链路带宽,33,2020/10/20,第一阶段：小规模业务试点,云管平台、openstack和SDN控制器的实际部署位置,机架资源池,云资源池,机架出租,中原基地DC,互联网骨干网,城域网,机架出租,机架

22、资源池,云资源池,机架出租,区域中心DC,城域网,机架出租,机架资源池,云资源池,SPINE,LEAF,非区域中心城市DC,机架出租,VTEP,VTEP,VTEP,租户提供,VTEP,VTEP,VTEP,VTEP,VTEP,VTEP,Openstack,云管理平台,VTEP,VxLAN GW,VxLAN GW,VTEP,VTEP,VTEP,SDN控制器,租户提供,NAT,防火墙,NAT,防火墙,SDN controller,中原基地现有 DC出口路由器,城域网CR,在第一阶段，每个地市只有1到2个机房进行试点，规模较小。因此建议： 全省一套云管理平台部署在中原基地，负责接入各区域的openst

23、ack，管理全省的云业务； 每区域一个资源池，部署一套openstack和SDN控制器，管理整合区域的云业务和跨地市的机架云业务，整个区域一个AS。Openstack和SDN控制器的部署位置可以在区域中心或中原基地； 除中原基地传统机架业务仍由本地出口导出外，整个区域三种业务的流量出口位于区域中心，在出口机房的核心交换机需要支持VXLAN GW功能。旁挂NAT设备和防火墙设备，实现对公有云用户的地址转换和全部南北向流量的安全防护。 Overlay网络满足云业务及机架云化业务，Underlay网络满足传统三层网络机架出租业务。,防火墙,防火墙,34,2020/10/20,第二阶段：各地机房数量逐

24、步增加,机架出租,机架资源池,云资源池,机架出租,区域中心DC1,城域网,机架出租,机架资源池,云资源池,SPINE,LEAF,非区域中心城市DC1,机架出租,VTEP,VTEP,VTEP,租户提供,VTEP,VTEP,VTEP,Openstack,云管理平台,VTEP,VxLAN GW,VxLAN GW,VTEP,租户提供,NAT,防火墙,NAT,防火墙,SDN controller,城域网CR,非区域中心城市DC2,VTEP,VTEP,VTEP,租户提供,区域中心城市DC2,VTEP,VTEP,VTEP,租户提供,位于中原基地,在第二阶段，各地市机房逐步完成改造，可以通过接入第一阶段已完成

25、改造的机房的核心交换机实现接入现有区域DC网络。 随着各地市接入机房的增加，可以在各地市核心交换机新增旁挂防火墙设备，同时增加核心交换机到本地市CR的链路。实现本地机架出租业务的流量由本地疏导，降低跨地市带宽需求。 对于云业务和跨地市的机架云化业务流量仍由区域中心处疏导。,城域网CR,城域网,防火墙,防火墙,VxLAN GW,VxLAN GW,35,2020/10/20,第三阶段：云业务大规模部署,在第三阶段，随着各地市机房数量的进一步增加和云业务的发展。为了满足服务质量和虚拟机数量的需求，可以在每个地市部署一套openstack资源池及控制器(不建议同地市每机房一套)，并在各地市核心机房的核

26、心交换机旁加挂NAT设备，形成每个地市一个openstack资源池并配置独立AS号。实现本地业务本地承载和业务流量就近疏导。 区域中心仅承担区域内跨地市的云业务和机架云化业务的流量疏导。 本地市(类比亚马逊AZ)各机房间云业务实现业务双活热备，区域内(类比亚马逊Region)不同地市实现彼此冷备，保障云业务的高可靠性。,36,2020/10/20,云管理系统的部署方案,华为云管平台 Manageone,中兴云理平台 iros,华为OpenStack云平台,华为OpenStack云平台,中兴OpenStack云平台,中兴OpenStack云平台,河南省分云管理平台 (业务web界面),第一阶段,

27、华为云管平台 Manageone,中兴云理平台 iros,华为OpenStack云平台,华为OpenStack云平台,中兴OpenStack云平台,中兴OpenStack云平台,河南省分云管理平台 (业务APP),第二阶段,华为OpenStack云平台,H3C OpenStack云平台,中兴OpenStack云平台,开源OpenStack云平台,河南省分云管理平台 (业务APP),第三阶段,http,http,API,API,API,在业务部署的初期阶段，由于交付时间原因，可以直接使用各厂家提供的业务web界面，或简单开发一个业务portal，统一云业务的接入界面，进入后按业务所在区域进入各厂

28、家的云业务界面。缺点：各厂家业务界面及功能不统一。,在第二阶段，利用厂家提供的云管理平台的功能API接口，研发省分自主产权的云管理平台软件。通过借助各厂家云管理平台实现对业务的统一管理。不区分各厂家设备，对业务界面操作进行统一化处理。【难度较低】,在第三阶段，直接开发云管理平台的各项具体功能，其南向直接对接各厂家的openstack平台。通过统一南向接口标准或进行相关适配开发，实现对多厂家openstack云平台的兼容，实现系统开放性。【难度较高】,为确保后续省分云管理平台的开发，需要各厂家提供其云管理平台及openstack云平台的北向接口，并承诺协助下阶段的接口对接工作。,BSS、OSS,BSS、OSS,BSS、OSS,37,2020/10/20,省内DCI流量调度,随着DCI的部署，可利用DCI网络进一步进行省内的流量调度。