电力行业云计算平台规划设计

电力行业云计算平台规划设计143信息内网网络规划信息外网网络规划目录21整体架构规划设计网络整体架构

硬件基础设施服务器（机架/刀片/超融合）网络设备(硬件/VSWITCH/NFV)存储（FC/IP/ServerSAN）电力科研云PaaS服务SaaS服务云开发服务云应用商店大数据服务IaaS服务资源自助服务资源灵活编排计算资源管理存储资源管理网络资源管理资源智能调度资源编排层发电调度信通计算虚拟化存储虚拟化网络虚拟化电力应用领域输电变电配电用电…电科行业云计算总体架构图仿真服务资源管理层虚拟化层云测试服务云安全管理组织架构安全制度安全技术CMDB服务台服务请求管理变更管理事件管理问题管理统一运营、运维管理容量监控系统监控报表监控资源模板资源调度资源计量资源部署故障监控服务目录计费管理知识库配置管理服务SLA管理电力统一云服务门户开发平台测试平台仿真平台大数据平台软件管理服务D5000服务SGUAP服务中间件服务数据库服务3IaaS设计思路:基于Openstack的云计算架构OpenStack自助服务&运营&运维资源编排/资源调度/资源自助服务计算/存储/网络虚拟化资源统一管理服务运营管理应用交付管理服务流程管理运营支撑管理计费营帐管理云安全管理电力统一云服务门户计算商业组件网络存储安全基于Openstack的体系架构Openstack是业界发展最快的开源技术，社区活跃度最高众多重量级公司支持，功能不断丰富增强,Openstack的生态圈是业界最完善的Openstack是一个标准开放的体系架构，每个组件之间是松耦合的，通过标准接对接，易于定制开发和灵活组合基于Openstack构建一个基于的开源的商用体系架构，既能够享受到长期跟踪开源版本平滑演进带来的功能增强，也能够保证电科院定制化和客户化的优化继续沿用，确保在现网环境的稳定商用云计算架构OpenstackCloudStackEucalyptusOpenstack已成为业界云计算领域的事实标准4混合型PaaS架构针对电力开发平台不统一，开发语言和开发架构众多的问题，从业界来看没有一种普遍适用的方案，建议采用混合型PaaS架构混合型PaaS架构的核心思路是基于统一的PaaS框架，提供适合不同业务需求的PaaS开发环境针对无法改造的业务，提供VM模板和应用模板两种PaaS服务，让传统业务可以平滑迁移到云上针对传统数据库和大数据两种数据类型的功能，提供数据即服务的PaaS服务针对传统应用架构但可以优化改造的系统，可以采用CloudFoundry的PaaS服务针对新开发的应用，采用基于Docker容器的微服务PaaS服务，作为后续演进的统一的PaaS架构PaaS设计思路：混合型PaaS架构PaaS服务混合PaaS架构D5000SG-UAP测试/开发平台仿真平台大数据平台HadoopVM模板版本控制SVNGitSparkStormMPPQCTPCCLoadrunner基础环境D5000基础平台达梦金仓国产OS中间件服务TomcatWeblogicJbossApache数据库服务OracleMySQLPostgresqlMongDB并行计算MatlabBPMISC应用模板数据即服务CloudFoundryDocker5SaaS服务输变电智能化源网荷协调优化智能配用电智能调度控制企业经营管理信息通信支撑发电应用领域输电配电用电调度变电信息中心电力云基础架构各院所应用场景开发服务云应用商店大数据服务仿真服务测试服务服务目录SLA管理计费管理电力科研云电力科研院所国网省市公司各发电集团设备制造商终端用户电力云电力云的SaaS服务采用信息中心和电科院合作的方式建设，信息中心提供电力云基础架构和云服务门户，电科院提供电力科研云增值应用，通过统一门户为电力行业的外部用户提供包括IaaS,PaaS和SaaS的整体云服务SaaS的应用领域可以包括发电，输电，配电，变电，用电，调度，信通等各个电力应用领域，提升电力行业科研创新能力，加快科研转化效率，加大电科院作为电力科研和技术服务机构的影响力SaaS设计思路:电力云电力云统一云服务门户信息中心信通6IaaS架构的方案设计思路设计目标：统一资源池化、统一资源管理、统一资源交付基础架构构建高可用、可扩展、灵活性、安全性的标准化基础架构云平台基于Openstack统一云管理平台，实现对IT资源的统一管理，自助服务，灵活编排云网络基于SDN的面向云计算的虚拟网络架构，实现DC内和DC间的网络资源统一池化和业务自动发放计算兼容虚拟化、罗金属、容器的统一资源池，根据业务需求的亲和性，资源灵活调度存储构建完善存储网络，实现存储的分层设计，实现存储的统一池化安全基于等保三级标准和国网要求，实现可主动防御，高合规的云计算安全体系运维完善监控和流程工具建设，提升云服务SLA，实现自动化统一运维容灾建立同城双活异地容灾的云计算灾备体系，提升业务连续性和可用性7“模块化的云计算数据中心”5种颗粒度的说明（由大到小）ZoneZone

表示数据中心所在城市SiteSite表示数据中心的具体位置

ModuleModule

表示数据中心的大楼CellCell

表示数据中心内的一个单元，包括存储、计算、网络PodPOD

表示一组部署IT设备的机柜RackRack机柜（服务器、网络、存储）“模块化的云计算数据中心”是一种用标准、可重复构建的单元来建设云计算数据中心基础设施的方法其中CELL与POD是结构化布线及网络设计的关注重点云计算数据中心通常会采用结构化、模块化、标准化的设计方法，实现IT基础设施（计算、网络、存储）的灵活扩展，减少对在网运行业务的影响，简化部署，便于实现自动化运维。POD（服务提供点）是提供服务的一组组件，一个POD可以包括一组或多组机柜。在云计算数据中心中通常会采用POD预构件方式实现物理资源的组件化和模块化。POD可以分为服务器POD（如X86服务器、刀片服务器等）、存储POD等类型。X86服务器POD刀片POD存储POD存储网交换机2U高度X86服务器POD：根据电科院服务器机房（低密）每机柜电源功率和TOR交换机端口利用率，2U高度的X86服务器POD由三组机柜构成，后续按POD进行业务扩展。业务网交换机带外管理网交换机管理网交换机部署要点:物理部署每三组机柜作为一个POD，按POD进行业务扩展；每组机柜部署12台2U服务器，每个POD最多部署36台2U服务器；每个POD至少部署5台交换机，2台业务网交换机，2台管理网交换机，1台带外管理交换机，若POD内使用分布式存储，则需要增加2台存储网交换机。交换机端口利用率（均按单台设备计算）网络类型交换机端口数端口利用率业务网交换机48口（12*3+1）/48=77%存储网交换机48口（12*3+1）/48=77%管理网交换机48口（12*3+1）/48=77%带外管理交换机48口（12*3+4）/48=83%4U高度X86服务器POD：根据电科院服务器机房（低密）每机柜电源功率、TOR交换机端口利用率，和每列机柜的部放情况，4U高度的X86服务器POD由五组机柜构成，后续按POD进行业务扩展。部署要点:物理部署每五组机柜作为一个POD，按POD进行业务扩展；每组机柜部署6台4U服务器，每个POD最多部署30台2U服务器；每个POD至少部署5台交换机，2台业务网交换机，2台管理网交换机，1台带外管理交换机，若POD内使用分布式存储，则需要增加2台存储网交换机。交换机端口利用率（均按单台设备计算）网络类型交换机端口数端口利用率业务网交换机48口（6*5+1）/48=65%存储网交换机48口（6*5+1）/48=65%管理网交换机48口（6*5+1）/48=65%带外管理交换机48口（6*5+4）/48=71%存储网交换机存储网交换机带外管理网交换机业务网交换机刀片POD：根据电科院服务器机房（高密）每机柜电源功率和TOR交换机端口利用率，POD由二组机柜组成，后续按POD进行业务扩展。部署要点:物理部署每二组机柜作为一个POD，按POD进行业务扩展；每组机柜部署2台刀片（假设每台刀片12U，每台刀片的业务网口16个）每个POD最多部署4台刀片；每个POD至少部署4台交换机，2台业务网交换机，2台管理网交换机。交换机端口利用率（均按单台设备计算）管理网交换机业务网交换机网络类型交换机端口数端口利用率业务网交换机48口（16*2+1）/48=69%管理网交换机48口（16*2+4）/48=75%43信息内网网络规划信息外网网络规划目录21整体架构规划设计网络整体架构电科院网络分为信息内网、信息外网和科研网，信息内网承载全院用户访问自建业务系统和国网统推业务系统的内网流量；信息外网承载全院用户访问Inerent及对公网用户提供服务的流量；科研网承载各院所实验室的科研流量。三张网络物理上相互独立，互访需要经过隔离装置进行数据摆渡。1443信息内网网络规划信息外网网络规划目录21整体架构规划设计网络整体架构信息内网总体架构16信息内网数据中心规划：考虑投资成本、运维难度、不同业务的流量特点和带宽需求，对云计算数据中心的网络进行适当整合，分为业务网、存储网和云管理网，云管理网上承载数据备份流量、虚拟机迁移流量和管理类流量，不同类型的流量使用ACL进行安全隔离，通过QoS进行带宽保障。云管理网前端网络后端网络带外管理网数据备份网虚机迁移网业务网存储网17云计算数据中心的网络分区通常采用模块化、层次化设计思想，根据业务应用类型、业务应用之间的耦合度、业务应用安全级别（如业务系统的等保定级）、业务应用的运维管理等维度进行划分。18参考电科院的业务系统类型和《信息系统安全等级保护基本要求》及国网公司安全要求，结合业务流量自身特点，实现资源的高效利用，保证各分区之间尽量松耦合，高内聚，简化运维管理，对信息内网的数据中心进行相应的网络功能分区。19数据中心核心交换区连接其他各网络功能分区，负责各区域间的高速流量转发，构建更高可用性和性能及灵活扩展的网络核心。设计要点:架构数据中心核心交换区负责各区域间的高速流量转发，访问控制、路由过滤等网络功能从核心交换区剥离，分散至各个功能分区汇聚层，简化核心交换区，构建更高性能和灵活扩展的网络核心；核心交换区由两台独立的高端交换机组成，各网络区域的汇聚设备，每台都与两台核心交换机互连；核心交换机与各区域汇聚交换机之间，均是采用三层路由互通，通过ECMP进行负载分担。高可用性核心交换区采用高可靠架构(双机、冗余引擎和冗余电源配置)，以避免网络层面的单点故障；两台核心交换机相互独立，故障隔离。20数据中心核心交换区设计时应考虑性能，架构容易扩展，并且尽量平滑，避免影响现有业务。性能核心交换机采用CLOS多级交换架构，支持分布式流量调度；到各分区汇聚之间（大数据区除外）采用万兆互联，满足不断增长的服务器接入带宽需求，未来能够平滑升级至100G；单台交换机可以支撑全数据中心的业务流量。可扩展性核心层采用CLOS架构部署，核心层设备之间不互联，扩容相对独立，未来可以灵活的进行横向扩展。21广域网区负责进出数据中心流量的高速转发和路由控制，主要考虑高可用性和性能。设计要点:架构广域网区采用两台高端交换机，对进出数据中心的流量高速转发和实现路由控制。高可用性广域网核心交换采用高可靠架构(双机、冗余引擎和冗余电源配置)，以避免网络层面的单点故障；每台广域网核心交换通过两条链路分别连接到两台数据中心核心交换，通过一条链路连接广域网承载平台，广域网核心交换之间跨板链路聚合，实现进出数据中心链路的高可用。性能广域网核心到数据中心核心交换区及广域网承载平台、广域网核心交换之间均采用万兆互联，未来能够平滑升级至40/100G；单台交换机可以支撑所有进出数据中心的业务流量。22广域网承载平台负责接入数据中心及各个院区，并通过广域网承载平台与国网综合数据网进行互联。设计要点:架构在A数据中心机房和B数据中心机房各部署两台高端路由器，通过裸光纤，口字型互联形成电科院的广域网承载平台；广域网承载平台承载数据中心间的三层流量及各院所访问数据中心的流量。通过广域网承载平台接入国网综合数据网的信息CE设备。安全性在国网综合数据网与广域网承载平台间部署防火墙和IPS设备，对整个电科院的信息内网进行四至七层的安全防护；对需提供给国网公司总部及其它单位访问的WEB类应用部署在DMZ区，增加一组WAF设备采用反向代理方式对WEB应用进行防护。性能广域网承载平台的设备之间及广域网承载平台与国网综合数据网之间均采用万兆互联，WAF设备采用千兆接入。23管理业务区是保障IT基础架构正常运行的操作和管理区域，云平台、安管中心（SOC）、网管服务器、日志主机、维护终端等都部署在此区域。设计要点:架构采用传统的汇聚+接入的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为本区域的业务网关；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。高可用性汇聚设备、POD内部署的业务网TOR接入和防火墙都采用双设备，服务器通过双网卡同时接入TOR，实现设备及接入的高可用性；TOR接入与区域汇聚支持网络虚拟化，两者通过跨设备的聚合链路互连，防火墙与区域汇聚之间也采用跨设备的链路聚合，实现节点之间连接的高可用性。安全性通过防火墙对进出管理业务区的流量进行安全防护，管理业务区与云管理网核心和存储网核心之间通过静态路由互通，实现路由层面的控制。24云管理网网上承载数据备份流量、虚拟机迁移流量、虚拟机高可用流量（如容错）和管理类流量，不同类型的流量使用ACL进行安全隔离。采用核心+接入的两层架构。核心由两台高端交换机组成，支持网络虚拟化技术，作为业务网关；云管理网TOR与云管理网核心之间、云管理网核心与管理业务区汇聚之间的，及两台云管理网核心之间的互连带宽均为万兆；清河和昌平同城双中心的云管理核心间采用裸光纤互联，带宽为万兆。云管理网TOR交换机支持网络虚拟化技术，以提高带宽利用率，简化管理。25存储网承载iSCSI、NAS和分布式存储流量，需要保证网络的高可用性、高带宽和低延迟，根据业界最佳实践，分布式存储中的网络带宽应满足：存储节点硬盘数量*硬盘持续带宽MB/S<=存储节点网卡带宽。采用核心+接入的两层架构。核心由两台高端交换机组成，支持网络虚拟化技术，作为业务网关；存储网核心与管理业务区汇聚之间的互连带宽为万兆，存储网TOR与存储网核心之间及两台存储网核心之间的互连带宽均为40G,存储网TOR到存储网核心的收敛比小于4：1，清河和昌平同城双中心的存储网核心间采用裸光纤互联，二、三层流量混合运行，带宽为40G。存储网TOR交换机支持网络虚拟化技术，以提高带宽利用率，简化管理。26数据中心间互联需要考虑业务系统跨中心多活或容灾备份需求，实现业务系统的Anywhere部署。业务通道、管理通道和存储通道分离，避免带宽争用，隔离故障域。多中心统一管理，一体化运维。互联物理通道基于高可用性和性能方面考虑，建议采用两条缆沟部署裸光纤。A数据中心B数据中心27信息内网的A、B数据中心的业务网各增加一组DCI互联设备，实现双中心二级系统区、三级系统区和开发测试区虚拟机迁移和集群跨中心部署。2843信息内网网络规划信息外网网络规划目录21整体架构规划设计网络整体架构电科院信息外网网络目标架构:各数据中心及各院区通过广域网承载平台进行互联，在A数据中心提供互联网出口，实现高可用性、高性能和灵活扩展。清河昌平30电科院信息外网网络通过核心承载网的建设,向三地四中心平滑演进,清河、昌平、武汉和南京数据中心都有自已独立的互联网出口，通过部署全局负载均衡设备实现数据中心入口选择，满足后续容灾的相关需求。31数据中心分区规划：参考电科院的业务系统类型和《信息系统安全等级保护基本要求》及国网公司安全要求，结合业务流量自身特点，实现资源的高效利用，保证各分区之间尽量松耦合，高内聚，简化运维管理，对信息外网数据中心进行相应的网络功能分区。32设计要点:架构核心交换区由两台独立的高端交换机组成，各网络区域的汇聚设备，每台都与两台核心交换机互连；核心交换机与各区域汇聚交换机之间，均是采用三层路由互通，通过ECMP进行负载分担。高可用性核心交换区采用高可靠架构(双机、冗余引擎和冗余电源配置)，以避免网络层面的单点故障；两台核心交换机相互独立，故障隔离。性能核心交换机采用CLOS多级交换架构，支持分布式流量调度；到各分区汇聚之间采用万兆互联，满足不断增长的服务器接入带宽需求，未来能够平滑升级至40G/100G；单台交换机可以支撑全数据中心的业务流量。数据中心核心交换区连接其他各网络功能分区，负责各区域间的高速流量转发，构建更高可用性和性能的网络核心。33互联网出口区承载与互联网相关的业务，包括信息外网用户访问Internet及对公网用户提供服务，设计主要考虑安全性、高可用性和性能。设计要点:架构互联网出口区从外到内依次部署链路接入交换机、链路负载均衡、接入交换、外层防火墙、IPS、WAF、DMZ汇聚交换、内层异构防火墙和上网行为管理；汇聚交换机支持网络虚拟化技术，作为DMZ区服务器的业务网关。安全性从外到内部署链路层到应用层的多类安全设备，实现二至七层的纵深安全防御。高可用性互联网出口区的设备都采用双机，链路冗余备份，互联网出口ISP线路选择两家不同运营商，以避免网络层面的单点故障；链路负载均衡、外层防火墙、WAF和内层防火墙双机都连接心跳线，设备或链路故障快速倒换，业务无感知。性能广域网核心交换与链路接入交换之间部署的所有设备都采用千兆互联；安全设备具备性能冗余（如转发能力、新建/并发连接等），满足业务突发。34二级系统区承载根据《信息系统安全等级保护定级定级指南》和国网相关安全要求确定的二级应用系统。采用Spine+Leaf的两层架构。汇聚由两台高端交换机组成，支持网络虚拟化技术，作为Spine节点，TOR接入作为Leaf节点；汇聚交换机与数据中心核心交换区设备之间全连接，通过三层路由实现互通；服务器POD内部署TOR接入交换机，支持网络虚拟化技术，以提高带宽利用率，简化管理。35广域网区负责进出数据中心流量的高速转发和路由控制，主要考虑高可用性和性能。设计要点:架构广域网区采用两台高端交换机，对进出数据中心的流量高速转发和实现路由控制。高可用性广域网核心交换采用高可靠架构(双机、冗余引擎和冗余电源配置)，以避免网络层面的单点故障；每台广域网核心交换通过两条链路分别连接到两台数据中心核心交换，通过一条链路连接广域网承载平台和互联网出口区，广域网核心交换之间跨板链路聚合，实现进出数据中心链路的高可用。性能广域网核心交换与互联网出口区之间采用千兆互联，广域网核心到数据中心核心交换区及广域网承载平台、广域网核心交换之间均采用万兆互联，未来能够平滑升级至40