高性能计算解决方案-华为.pptx

华为高性能计算解决方案,1.1 HPC概述,高性能计算系统概述,以计算为目的，使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算系统和环境,什么是高性能计算,高性能计算系统的应用领域,气象环境 中尺度、中长期预报、海洋、环境预报,动漫渲染 图像处理、高清视频、三维渲染,石油勘探 地震资料处理、地震资料解释、油藏模拟,生命科学 序列比对、分子对接、分子动力学,CAE仿真 结构分析、流体分析、电磁场分析,物理化学 量子力学、分子力学、蒙特卡罗分析,高性能计算 应用领域,高性能计算系统组成,Application : 计算应用,Scalable File System: 集群存储,Middleware: 计算通信中间件,Development Tools: 开发工具,Operating System: 集群操作系统,Interconnect: 高速计算互联设备,Server: 节点服务器,Storage: 硬件存储设备,高性能计算系统的发展趋势,世界第一的超级计算机最大计算能力,TOP 500单位能耗计算能力,Source: Top500官网,计算能力每年成倍增长,单位能耗计算能力快速提高,MFlops/Watt,高性能计算系统的发展趋势,Source: Top500官网,计算功耗逐年增加,Source: InterSect360,电力和冷却占整体机房设施费用70%以上,X86,Linux,刀片系统,高速网络占据主流,高性能计算系统的发展趋势,100% 75% 50% 25%,全球TOP 500 高性能计算机的使用情况,高性能计算发展中遇到的挑战,1.2 华为All-in-one高性能计算解决方案,集群管理 业务管理,刀片节点,IB/10GE交换机,IB/10GE 业务网络,GE管理监控网络,计算集群,GPGPU,机架,存储集群,GE交换机,机柜存储,Phi,机架存储,固态存储,模块化数据中心,集装数据中心,交换网络,管理节点,华为高性能计算解决方案示意图,并行文件系统,并行环境,系统部署,定制开发,备份恢复,编译开发环境,行业应用,服务平台,CAE/CFD,生命科学,石油勘探,动漫渲染,气象环境,科研教育,GPGPU,机架,机柜存储,Phi,机架存储,固态存储,GE交换机,IB/10GE交换机,刀片,Windows,Linux,CentOS,+,计 算,存 储,网 络,硬件资源,操作系统,计算环境,系统环境,高性能集群管理软件,CHESS,PBS Works,Platform,J H Scheduler,炫云,Bright,集群管理,集装数据中心,模块化数据中心,基础设施,华为高性能计算解决方案全景图,大型,中型,小型,All In Chassis,All In Rack,All In Room,高效敏捷 统一管理 适配业务特征,高度集成 快速部署 一体化设计,按需部署 高效节能 节约投资,华为高性能计算解决方案交付形态,All In Chassis解决方案：高度融合高密计算、大容量存储和高带宽网络,特性说明 12U 8/16/32刀片，单框64个至强处理器，浮点计算能力达16.5T FLOPS 单框12TB高性价比内存，虚拟化和大数据分析轻松应对 单框15.6Tbps背板带宽，数据库集群极速互连 支持InfiniBand QDR/FDR ,支持IB EDR演进 支持GPGPU辅助加速计算 主要应用场景 小型超算用户：例如普通大学超算中心、各部委科研所、各地动画基地渲染农场等,计算节点,储存节点,交换模块,All-In-Chassis：小型HPC系统解决方案,All-In-Chassis 标准配置,机框,一体化HPC解决方案，预安装华为 集群管理软件 计算能力： 10.6 TFLOPS, 存储能力：13.5TB ,最大功耗: 10KW,特性说明 一体化集成、快速部署 机柜42U、24U可选，交付周期短 高度集成服务器、路由器、交换机、UPS、配电单元、监控单元、PDU、散热系统于一体、即插即用 模块化设计、灵活扩容 模块化架构，IT机柜、网络机柜、电池柜功能柜按基本单元灵活组合 UPS、电池包、配电盒等采用标准19”插框设备，按需部署 智能高效，绿色节能 采取机柜自然通风散热，节能环保； 排风风扇采用直流变速风机，根据环温动态调节转速，高效节能 主要应用场景 中小企业IT应用、大型企业分支、电子校园等,All-In-Rack一柜式HPC解决方案，高集成度设计，集成基础设施，IT设备于一柜，即插即用,All-In-Rack：中型HPC解决方案,All-In-Rack 标准配置,计算能力: 33TFLOPS 存储能力: 144TB 最大功耗: 25KW,机柜,特性说明 适应性强，空间利用最大化 最低只需2.6m的安装层高 通过单双排灵活排列，最大化利用空间 按需部署，快速便捷 通过工厂预制与标准化的接口，1周内即可完成现场安装，部署速度提升50% 模块化架构，高效节能 满足高能效低PUE 行级空调、模块化UPS、密闭通道、高集成配电柜的联合应用使PUE降至1.5以下 主要应用场景 定位大中型数据中心，可广泛应用于政务网、教育医疗、中小企业、大型公司分支机构、呼叫中心和金融网点等,采用All-In-Room模块化设计理念，实现快速建设，按需部署，高效智能,单排,双排,All-In-Room：大型模块化机房HPC解决方案,All-In-Room 标准配置,中型模块化机房,22 标准机柜(42U)， 最大可扩展到28个 最小PUE 1.3 整体IT功耗：133KW,输入配电柜,输出配电柜,电池,空调,计算柜,空调,存储柜,空调,空调,空调,计算柜,计算柜,GPU 柜,胖节点柜,网络柜,密闭冷通道,计算能力: 187 TFLOPS 322 nodes 存储能力: 1PB,IO 能力：12GB/s,空调,UPS,6600 mm,3600 mm,2.1 华为高性能计算解决方案部件,计算,高性能集群管理软件,IT 硬件,集群管理软件,基础设施,机房,机柜,存储,网络,华为高性能计算解决方案主要部件,2.1 华为高性能计算解决方案IT硬件,硬件之计算设备华为服务器产品全景图,Blade server E6000,Converged infrastructure blade server E9000,2U 2/4 nodes X6000,Cabinet server X8000 44U,CH121,CH220/221,CH222,CH240,XH310/311,XH320,XH621,BH620,BH622,BH640,1U 2P RH1288,2U 2P RH2285,2U 2P RH2288,2U 4P RH2485,2U 4P RH2488,4U 4P RH5885,8U 8P RH8100,CH242,BH621,DH310,DH320,DH628,CH140,刀片 服务器,高密度 服务器,机架服务器,HPC计算节点,简单-深度融合计算、存储和网络。快速部署，使部署周期从几周缩短到几天,高效- 计算密度提升66%，虚拟机数量提升30%，数据库应用性能提升4倍,节约-支持未来三代处理器和未来十年网络技术的演进,64CPU/12U,No.1 计算密度（2S）,15.6 Tbps,No.1 背板交换带宽,15 TB,No.1 单存储刀片容量,40 C,No.1 可靠性,计算设备刀片服务器E9000：融合架构服务器,高密刀片：CH140,标准刀片:CH121,计算型节点,刀片服务器：CH221,机架服务器：RH2288H,GPU节点,刀片服务器：CH222,机架服务器：RH2285,存储型节点,CH240,CH242,胖节点,OceanStor S2200T,OceanStor 18000 Series,企业级存储,固态存储,OceanStor N8500,OceanStor S2600T/S5500T/S5600T/S5800T,中低端统一存储,OceanStor CSE (数据服务),OceanStor ReplicationDirector (灾难恢复),OceanStor S6800T,OceanStor 9000,OceanStor DeviceManager (设备管理),eSight (存储资源管理),入门级存储,大数据存储,软 件 产 品,硬 件 产 品,OceanStor Dorado2100 G2/5100,硬件之存储设备,55 TB No.1 全局缓存,创新的架构-业界首创的存储、分析、归档全融合架构，信息全生命周期管理。 创记录的性能-五百万OPS，性能业界3倍。百GB级吞吐量，并发速度提升2倍 良好的扩展性-分布式文件系统，支持最大288节点扩展,200 GB/s No.1 吞吐量,5,000,000 OPS No.1 性能,288 nodes No.1 扩展性,40 PB No.1 容量,Industrys fastest big data storage platform,5,000,000 OPS,200 GB/s,288 nodes,40 PB,55 TB,大数据存储设备：OceanStor 9000,Lustre 并行存储方案,NFS 集中存储方案,NAS 一体化存储方案,存储方案,S2600T,OSS Pair,active,MDS Pair,Standby,InfiniBand/10GE交换机,千兆系统管理网,I/O网络,FC存储网,系统管理网络,active,active,OSS Pair,active,active,S5600T,方案描述 IO节点+FC SAN全冗余架构 MDS及OSS均采用RH22885HV2机架服务器 S2600T存放元数据,盘控一体,配置12块600G 15K SAS高速硬盘,做RAID10 每个S5600T配置60块2TB NL SAS大容量硬盘,做6组RAID6(8+2),存储对象数据 服务器和FC SAN都采用FC直连,模块化扩展,每个S5600T模块可提供2GB/s的访问带宽 存储热备盘另配.,Lustre并行存储方案,RH2285 V2,RH2285 V2,heartbeat,Mana/fence device,IB/10GE,GE,Fiber Channel,计算网络,S2600T,磁盘框,MiniSAS Cable,高可靠、高性能NFS存储方案。,NFS集中存储方案,Lustre一体化方案,优化的商用Lustre文件系统，强大的界面管理工具，化繁为简,高性价比,服务器集成LSI MegaRAID HA控制卡，直连6G SAS JBOD,模块化设计，容量和性能随模块增加而扩展,1U服务器和4U 75盘高密JBOD，提供高达300T的裸容量。,高扩展性,高密设计,高易用性,Metadata Server,Object Storage Server,Object Storage Server,Object Storage Server,Object Storage Server,刀片集群,机架集群,管理节点,Lustre Client,Lustre Client,Lustre Client,QLogic网络,CE12812,CE12808,CE12804,CE5800,CE6800,旗舰级核心交换机,高性能TOR交换机,S6700,S5700,以太网交换机,IB交换机,S7600,Mellonax :MIS51xx MIS52xx MIS65xx,Mellonax: MIS50xx MIS60xx Intel 12200,ADAPTERS,SWITCHES,CABLES,SOFTWARE,硬件之网络外部交换机,网络 E9000：提供HPC应用主流交换模块,典型组网拓扑,结构系统,通道,IDS1000-A,IDS1000-C,室外场景: 集装箱数据中心,IDS2000-S,IDS2000-M,IDS2000-L,室内场景: 模块化数据中心,方案,产品,技术,柔性架构,精确制冷,智能管理,高效供配电,供配电系统,制冷系统,冷冻水型,风冷型,软件平台+ 硬件,管理系统,UPS,PDU,机柜,硬件之机房,模块化架构，IT机柜、网络机柜、电池柜功能柜按基本单元灵活组合 UPS、电池包、配电盒等采用标准19”插框设备，按需部署，灵活扩容,模块化,一体化,机柜42U、24U可选，交付周期短、快速部署 高度集成服务器、路由器、交换机、UPS、配电单元、监控单元、PDU、散热系统于一体、即插即用,绿色化,采取机柜自然通风散热，节能环保； 排风风扇采用直流变速风机，根据环温动态调节转速，高效节能,高集成度设计，集成基础设施，IT设备于一柜，即插即用,机柜,2.2 华为高性能计算解决方案软件,功能完备的集群管理和部署工具 可视化工作流工具，支持自定义流程 智能的能耗管理和灵活的调度策略,高效,易用,友好的图形化统一管理界面 完善的作业管理和调度功能 支持多种类型的并行计算任务,可靠,支持1000节点以上中大规模运算 管理节点互备，快速故障恢复 运算过程checkpoint，单点故障后续算,专业,7*24小时专业支持服务 遍布全球的售后支持网络 定制化服务,集群管理软件,Web service interface,Web portal /CLI,HTTP/SSH,HTTP/HTTPS,RHEL 5.x/6.x,SLES 11.x,CentOS 5.x/6.x,生物制药,仿真,动漫渲染,石油勘探,预集成行业应用软件，集中调度管理,维护 简单,定制开发,并行库,数学库,编译器,调试器,作业调度,集群监控,能耗管理,告警管理,集群管理,用户管理,记帐统计,安装部署,模块化，可扩展，易升级,华为高性能集群管理软件架构,模板提交方式,预集成典型应用,通用任务提交方式,命令行提交方式,灵活的作业提交方式,以工作流引擎为基础的作业生命周期管理,完备的作业管理,丰富的策略管理功能,任务调度策略,资源分配策略,资源限制策略,抢占策略,回填策略,预留策略,基于优先级策略,BestFit,高效的作业调度,外部存储,运算结果 自动传输,功能强大的web数据管理功能,安全隔离的用户数据,完整的业务数据管理,集群节点管理:注重整个集群中节点操作，如上下电； 调度系统节点管理:关注调度信息,如是否接收作业操作。,带外节点管理,带内节点管理,通过并行命令可以同时对多个节点下发命令,多维度的集群节点管理,多节点并发管理,统一的集群管理,直观的集群监控,集群整体性能状态监控,单个节点性能状态,所见即所得的设备管理,丰富的告警类型,灵活的告警查询,可配置的告警阈值,提供CPU负载、CPU温度、磁盘容量、内存容量、主机连接状态、系统服务状态、自定义服务等多种告警,可按主机，类型，级别及时间查询历史告警信息,可配置不同告警阈值，以灵活应对变化,邮件发送通知，以便及时处理,方便的告警通知,丰富的告警管理,聚合监控系统的资源状态和资源需求，为能耗分析提供统一数据 计算集群信息 调度系统作业信息,根据能效监视数据及能耗配置信息，提供节能建议 丰富的节能算法 支持自定义算法 可动态配置QoS信息,能效监视,分析诊断,自动处理,根据分析诊断建议，自动或人工确认完成系统的处理 节点下电/降频 节点上电,智能的能耗管理,统一的用户管理功能,基于用户的计费管理功能,支持与操作系统统一的用户以及群组管理， 批量导入用户功能 与调度算法结合指定优先级及资源限制。,可导出指定时间段内，用户作业产生的费用报表,完善的帐号管理,部署节点,管理节点,界面添加节点,计算节点,界面操作，方便快捷的扩减容,业务量增加时扩充集群规模，应对大量任务； 业务量减少时缩小集群规模，实行资源共享，提高资源利用率。,配置简单,一键执行 批量安装,省时省力 动态伸缩,界面操作,批量安装(OS、软件等),便捷的集群部署、灵活的规模伸缩,实时的流程运行监视图,完备的流程实例管理,图形化的设计工具，支持多种流程,完备的流程实例管理功能,友好的流程设计与直观的流程管理,镜像备份,通过镜像恢复故障节点,通过镜像批量部署,安装好的初始节点,支持系统镜像管理：创建、删除、浏览 节点快照，快速恢复,方便的备份与恢复，高可靠系统,2.3 方案优势,端到端全领域、全生命周期HPC解决方案,行业解决方案,集群平台软件,服务器&存储,网络&安全,数据中心,微数据中心,模块化数据中心,集装箱数据中心,S5700,S7700,S9300,S9700,CE12800,USG,Anti DDOS,NIP,iSOC,UMA,VSM,X6000,E9000,RH2285 RH2288 RH2485,RH5885,S5600TS5800T,N8000,UDS,S6800T,CAE/CFD,生命科学,石油勘探,动漫渲染,物理化学,气象环境,咨询规划,1,建设部署,2,迁移整合,3,定制开发,4,X8000,Ocean Stor 9000,方案亮点,直观图形操作、几十种 调度算法,服务器： 105 项SPEC 世界记录 ，存储：500万 OPS 200GB/S吞吐量,一体化部署，部署周期 从数周缩短到数天,从板极到系统级的 节能，能耗节约40,极致性能,高效管理,灵活部署,绿色节能,极致性能硬件,计算密度 业界第一,单框支持64个Romely EP 130W CPU，单框浮点运算性能最大可达16.5TFlops,No.1 性能(5，000，000 OPS)， No.1吞吐量(200GB/S),存储性能 业界第一,交换能力 业界第一,单框15.6T背板交换容量， 支持40GE以太网和56G FDR,支持GPGPU异构加速,PCIe扩展能力 业界领先,众核加速方案,计算与网络设备投资节省40%,节点减少可使功耗降低30%,现有程序移植工作量减少50,Intel Xeon Phi,CH221,E9000,Intel Xeon Phi,RH2288 V2,010101010,010101010,工业制造,能源勘探,天气预报,生命科学,电子设计,动漫多媒体,协处理器加速 提升效率，加速应用,高性价比,绿色节能,高可移植性,智能管理智能管理软件,丰富的 策略管理,智能的 能耗管理,方便快捷 的扩减容,任务调度策略 资源分配策略,资源限制策略 抢占策略,回填策略 预留策略,一键配置执行,批量安装,动态伸缩,能效监视,分析诊断,自动处理,All-in-room,All-in-chassis,All-in-rack,灵活部署一站式，极大缩短业务上线时间,国内独家液冷技术方案,绿色节能从板极到系统级的节能,传统数据中心,高效UPS,行级空调 近端制冷,模块化设计 多种制冷手段,自然冷却技术,1.2,NetEco 智能管理,能耗节省40%,系统级节能,板级节能,低功耗 器件选型,领先的 供电效率,供电 关相功能,高效电源 拓扑设计,板级液冷方案，支持内存液冷，可现场插拔维护 支持集成（4.5万瓦散热）和非集成方案（8万瓦散热） 自动补水，三年内免补水 防泄露、防凝露，泄露检测等容灾能力 最低PUE1.2,能 耗 管 理,能效监视,分析诊断,自动处理,云化演进,公有云,物理集群,私有云,集群管理FusionCluster,智能分析诊断,华为云平台 FusionSphere,VM,VM,VM,自动批量安装部署,镜像管理,一键配置执行,批量安装,动态伸缩,统一资源管理和调度,直观管理,云化演进,自研集群管理软件和云平台软件FusionSphere结合提供云化演进方案,应用,3.1 行业方案,前处理：几何建模，划分计算网格,求解：指定荷载和边界条件，提交给服务器进行分析,后处理：显示结果，评估产品性能,CAE仿真,CAE常用软件对硬件的需求,华为解决方案特点： 综合了SMP节点和Cluster节点 完全基于x86-64处理器的平台 采用56Gb全线速的IB网络 Esight可对软硬件资源进行全面的监管 支持Linux和Windows操作系统,华为CAE领域解决方案,石油行业,地球物理勘探,井位确定,石油开采,炼化储运,石油销售,石油应用产业链,浮点计算,多核扩展,高带宽,大内存,石油行业HPC的挑战及解决方案,万兆以太网互联,GPU/GPGPU技术,SSD加速技术,Infiniband互联,多核/多路/高密服务器,存储技术,计算,网络互联,存储,集成管理,先进的算法带来计算更高的要求 可视化处理要求CPU与GPU的配合 高密度、高精度带来了数据量的增加 数据量的增加带来了计算量、存储量的增加 进而需要更多的计算节点、存储节点 进而需要更快捷的网络互联方式来连接计算节点、存储节点 更多的节点带来管理的复杂性：机柜多、计算节点多、存储节点多、数据交换机多，设备状态无法及时掌握； 更多的节点导致电费、空调的开销在开采和勘探总支出中的占比越来越高,绿色节能,华为石油行业高性能计算方案,10GE 网络,千兆管理网络,网络采用10GE，适合石油行业的大量数据I/O，对网络有较高的需求。 更高的要求可以用IB。,三种计算节点： 计算节点: 高性能刀片或者机架服务器 胖服务器节点: SMP架构高性能服务器，具备多CPU和大内存容量 GPU计算节点: 服务器中安装GPGPU卡,使用GPU进行运算加速,动漫多媒体,流程,集群,丰满现实,强力技术,艺术灵光,图形渲染,集群渲染,动漫多媒体领域常用软件,集群渲染对硬件需求,CPU需求：高计算性能,内存需求：高内存带宽,存储需求： 高带宽大容量,网络需求：高带宽,普通PC每小时渲染12帧，单渲染节点的能力和渲染集群的大小决定渲染速度。,渲染任务开始后，大量的材质贴图将被读取到内存中，然后开始渲染图像，在此过程中，CPU与内存的通讯非常频繁。分辨率越高，材质贴图越多，内存带宽要求越高。,120分钟的4K电影数据量：4K：4096311238/8/1024/102440M；40M/帧*24帧/秒*7200秒=691200m=6.6T 存储的数量量大，为提高存储速度，需要提供高带宽(并行文件系统)大容量的存储。,在通过渲染农场进行网络渲染时，一旦管理服务器下达渲染任务，所有的计算节点便开始从网络共享存储中去读取材质贴图和目标文件，因此，高带宽的网络将大大地缩短预读数据的时间。,华为动漫多媒体领域解决方案,基于自主的计算、存储及交换硬件平台。 计算采用高密度(12U32节点)的E9000刀片服务器。 存储采用基于巫山文件系统的Ocean Stor 9000并行存储。 IB/10GE根据业务需求灵活选择。 Esight可对软硬件资源进行全面的监管。,业务管理网络,硬件管理网络,Ocean Stor 9000并行存储,E9000刀片服务器 计算集群,管理服务器,IB/10GE交换机,图形工作站,IB/10GE,GE业务管理,GE硬件管理,主模式：系统主要部分，是主要计算量所在,前处理：气象数据的收集和预处理,后处理：综合数值天气预报、天气学、统计学等预报结果,数值天气预报流程,在各种气象预报方法中，中尺度气象在现代气象科学中应用最为广泛,数值天气预报：用数学方法构建方程，将气象数据和边界参数导入方程求解，从而预测大气变化和状态,气象预报,气象预报对硬件的需求,华为气象领域解决方案,华为解决方案特点： 计算节点：采用E9000，配置E5-2680 CPU，注重浮点计算性能。 管理登陆节点：采用RH2285 V2,双机HA,保证管理和登陆的可靠性。 并行存储：采用Ocean Stor 9000，500万OPS和200GB/s的性能，满足气象软件的高IO需求。 网络系统：计算网络采用低延迟、高带宽的FDR Infiniband，管理网络采用低成本GE网络。,生物科学,使用HPC对生物基因数据进行测序、拼接、比对等处理，提供基因组信息以及相关数据系统，解决生物、医学和工业领域的重大问题。,使用HPC快速地完成高通量药物虚拟筛选，可使研发周期平均缩短1年半左右、投入减少上亿元。,使用HPC进行大规模分子动力学模拟，通过模拟结果来分析和验证蛋白质在分子和原子水平上的变化,生物常用软件对硬件的需求,华为生物领域高性能计算方案,华为解决方案特点： 综合了SMP节点和Cluster节点,满足高通量计算和高性能计算 完全基于x86-64处理器的平台 采用56Gb全线速的IB网络 Esight可对软硬件资源进行全面的监管 并行文件系统，满足高IO需求,应用,3.2 应用案例,华为HPC解决方案在其他领域的应用,国家超级计算广州中心,客户需求,Solution,高密节点设计：节点同时支持Intel Ivy Bridge处理器和Xeon Phi协处理器卡 全方位节能设计：从器件级节能到机柜级节能的统筹设计 应用加速：针对数据库应用、大数据应用等提供应用加速方案,采用华为RH5485机架服务器：采用2*2路设计，在单一节点支持四个Ivy Bridge CPU和两个Xeon Phi协处理器卡 全方位节能设计：从器件选型到供电设计，定制节能方案实现15%能源节省 应用加速：华为SSD卡提升4倍IOPS性能，华为压缩卡提升30%大数据应用性能,国家地震局防灾科技学院,采用华为Tecal RH2288服务器作为计算节点，系统的峰值数据处理能力为20TFlops 。 采用华为OceanStor部署分级存储系统，存储容量达500TB 采用华为的All-In-One一体化HPC解决方案，模块化部署，满足后续灵活扩容需求,解决方案,计算数据迅速增长，学院现有的计算能力无法满足计算的要求 现有的数据存取速度慢，极大影响整体的计算性能 计算和存储需求不断增长，系统的扩容难度大,客户挑战,整体性能提升80%; 数据存取速度提升70%; 满足未来10年系统扩容需求,