高性能计算解决方案-华为ppt课件

华为高性能计算解决方案 1 1HPC概述 高性能计算系统概述 以计算为目的 使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算系统和环境 什么是高性能计算 高性能计算系统的应用领域 气象环境中尺度 中长期预报 海洋 环境预报 动漫渲染图像处理 高清视频 三维渲染 石油勘探地震资料处理 地震资料解释 油藏模拟 生命科学序列比对 分子对接 分子动力学 CAE仿真结构分析 流体分析 电磁场分析 物理化学量子力学 分子力学 蒙特卡罗分析 高性能计算应用领域 高性能计算系统组成 Application 计算应用 ScalableFileSystem 集群存储 Middleware 计算通信中间件 DevelopmentTools 开发工具 OperatingSystem 集群操作系统 Interconnect 高速计算互联设备 Server 节点服务器 Storage 硬件存储设备 高性能计算系统的发展趋势 世界第一的超级计算机最大计算能力 TOP500单位能耗计算能力 Source Top500官网 计算能力每年成倍增长 单位能耗计算能力快速提高 MFlops Watt 高性能计算系统的发展趋势 Source Top500官网 计算功耗逐年增加 Source InterSect360 电力和冷却占整体机房设施费用70 以上 X86 Linux 刀片系统 高速网络占据主流 高性能计算系统的发展趋势 100 75 50 25 全球TOP500高性能计算机的使用情况 高性能计算发展中遇到的挑战 1 2华为All in one高性能计算解决方案 集群管理业务管理 刀片节点 IB 10GE交换机 IB 10GE业务网络 GE管理监控网络 计算集群 GPGPU 机架 存储集群 GE交换机 机柜存储 Phi 机架存储 固态存储 模块化数据中心 集装数据中心 交换网络 管理节点 华为高性能计算解决方案示意图 并行文件系统 并行环境 系统部署 定制开发 备份恢复 编译开发环境 行业应用 服务平台 CAE CFD 生命科学 石油勘探 动漫渲染 气象环境 科研教育 GPGPU 机架 机柜存储 Phi 机架存储 固态存储 GE交换机 IB 10GE交换机 刀片 Windows Linux CentOS 计算 存储 网络 硬件资源 操作系统 计算环境 系统环境 高性能集群管理软件 CHESS PBSWorks Platform JHScheduler 炫云 Bright 集群管理 集装数据中心 模块化数据中心 基础设施 华为高性能计算解决方案全景图 大型 中型 小型 AllInChassis AllInRack AllInRoom 高效敏捷统一管理适配业务特征 高度集成快速部署一体化设计 按需部署高效节能节约投资 华为高性能计算解决方案交付形态 AllInChassis解决方案 高度融合高密计算 大容量存储和高带宽网络 特性说明12U8 16 32刀片 单框64个至强处理器 浮点计算能力达16 5TFLOPS单框12TB高性价比内存 虚拟化和大数据分析轻松应对单框15 6Tbps背板带宽 数据库集群极速互连支持InfiniBandQDR FDR 支持IBEDR演进支持GPGPU辅助加速计算主要应用场景小型超算用户 例如普通大学超算中心 各部委科研所 各地动画基地渲染农场等 计算节点 储存节点 交换模块 All In Chassis 小型HPC系统解决方案 All In Chassis标准配置 机框 一体化HPC解决方案 预安装华为集群管理软件计算能力 10 6TFLOPS 存储能力 13 5TB 最大功耗 10KW 特性说明一体化集成 快速部署机柜42U 24U可选 交付周期短高度集成服务器 路由器 交换机 UPS 配电单元 监控单元 PDU 散热系统于一体 即插即用模块化设计 灵活扩容模块化架构 IT机柜 网络机柜 电池柜功能柜按基本单元灵活组合UPS 电池包 配电盒等采用标准19 插框设备 按需部署智能高效 绿色节能采取机柜自然通风散热 节能环保 排风风扇采用直流变速风机 根据环温动态调节转速 高效节能主要应用场景中小企业IT应用 大型企业分支 电子校园等 All In Rack一柜式HPC解决方案 高集成度设计 集成基础设施 IT设备于一柜 即插即用 All In Rack 中型HPC解决方案 All In Rack标准配置 计算能力 33TFLOPS存储能力 144TB最大功耗 25KW 机柜 特性说明适应性强 空间利用最大化最低只需2 6m的安装层高通过单双排灵活排列 最大化利用空间按需部署 快速便捷通过工厂预制与标准化的接口 1周内即可完成现场安装 部署速度提升50 模块化架构 高效节能满足高能效低PUE行级空调 模块化UPS 密闭通道 高集成配电柜的联合应用使PUE降至1 5以下主要应用场景定位大中型数据中心 可广泛应用于政务网 教育医疗 中小企业 大型公司分支机构 呼叫中心和金融网点等 采用All In Room模块化设计理念 实现快速建设 按需部署 高效智能 单排 双排 All In Room 大型模块化机房HPC解决方案 All In Room标准配置 中型模块化机房 22标准机柜 42U 最大可扩展到28个最小PUE 1 3整体IT功耗 133KW 输入配电柜 输出配电柜 电池 空调 计算柜 空调 存储柜 空调 空调 空调 计算柜 计算柜 GPU柜 胖节点柜 网络柜 密闭冷通道 计算能力 187TFLOPS 322nodes存储能力 1PB IO能力 12GB s 空调 UPS 6600mm 3600mm 2 1华为高性能计算解决方案部件 计算 高性能集群管理软件 IT硬件 集群管理软件 基础设施 机房 机柜 存储 网络 华为高性能计算解决方案主要部件 2 1华为高性能计算解决方案IT硬件 硬件之计算设备 华为服务器产品全景图 BladeserverE6000 ConvergedinfrastructurebladeserverE9000 2U2 4nodesX6000 CabinetserverX800044U CH121 CH220 221 CH222 CH240 XH310 311 XH320 XH621 BH620 BH622 BH640 1U2PRH1288 2U2PRH2285 2U2PRH2288 2U4PRH2485 2U4PRH2488 4U4PRH5885 8U8PRH8100 CH242 BH621 DH310 DH320 DH628 CH140 刀片服务器 高密度服务器 机架服务器 HPC计算节点 简单 深度融合计算 存储和网络 快速部署 使部署周期从几周缩短到几天 高效 计算密度提升66 虚拟机数量提升30 数据库应用性能提升4倍 节约 支持未来三代处理器和未来十年网络技术的演进 64CPU 12U No 1计算密度 2S 15 6Tbps No 1背板交换带宽 15TB No 1单存储刀片容量 40 C No 1可靠性 计算设备刀片服务器E9000 融合架构服务器 高密刀片 CH140 标准刀片 CH121 计算型节点 刀片服务器 CH221 机架服务器 RH2288H GPU节点 刀片服务器 CH222 机架服务器 RH2285 存储型节点 CH240 CH242 胖节点 OceanStorS2200T OceanStor18000Series 企业级存储 固态存储 OceanStorN8500 OceanStorS2600T S5500T S5600T S5800T 中低端统一存储 OceanStorCSE 数据服务 OceanStorReplicationDirector 灾难恢复 OceanStorS6800T OceanStor9000 OceanStorDeviceManager 设备管理 eSight 存储资源管理 入门级存储 大数据存储 软件产品 硬件产品 OceanStorDorado2100G2 5100 硬件之存储设备 55TBNo 1全局缓存 创新的架构 业界首创的存储 分析 归档全融合架构 信息全生命周期管理 创记录的性能 五百万OPS 性能业界3倍 百GB级吞吐量 并发速度提升2倍良好的扩展性 分布式文件系统 支持最大288节点扩展 200GB sNo 1吞吐量 5 000 000OPSNo 1性能 288nodesNo 1扩展性 40PBNo 1容量 Industry sfastestbigdatastorageplatform 5 000 000OPS 200GB s 288nodes 40PB 55TB 大数据存储设备 OceanStor9000 Lustre并行存储方案 NFS集中存储方案 NAS一体化存储方案 存储方案 S2600T OSSPair active MDSPair Standby InfiniBand 10GE交换机 千兆系统管理网 I O网络 FC存储网 系统管理网络 active active OSSPair active active S5600T 方案描述IO节点 FCSAN全冗余架构MDS及OSS均采用RH22885HV2机架服务器S2600T存放元数据 盘控一体 配置12块600G15KSAS高速硬盘 做RAID10每个S5600T配置60块2TBNLSAS大容量硬盘 做6组RAID6 8 2 存储对象数据服务器和FCSAN都采用FC直连 模块化扩展 每个S5600T模块可提供2GB s的访问带宽存储热备盘另配 Lustre并行存储方案 RH2285V2 RH2285V2 heartbeat Mana fencedevice IB 10GE GE FiberChannel 计算网络 S2600T 磁盘框 MiniSASCable 高可靠 高性能NFS存储方案 NFS集中存储方案 Lustre一体化方案 优化的商用Lustre文件系统 强大的界面管理工具 化繁为简 高性价比 服务器集成LSIMegaRAIDHA控制卡 直连6GSASJBOD 模块化设计 容量和性能随模块增加而扩展 1U服务器和4U75盘高密JBOD 提供高达300T的裸容量 高扩展性 高密设计 高易用性 MetadataServer ObjectStorageServer ObjectStorageServer ObjectStorageServer ObjectStorageServer 刀片集群 机架集群 管理节点 LustreClient LustreClient LustreClient QLogic网络 CE12812 CE12808 CE12804 CE5800 CE6800 旗舰级核心交换机 高性能TOR交换机 S6700 S5700 以太网交换机 IB交换机 S7600 Mellonax MIS51xxMIS52xxMIS65xx Mellonax MIS50 xxMIS60 xxIntel12200 ADAPTERS SWITCHES CABLES SOFTWARE 硬件之网络 外部交换机 网络E9000 提供HPC应用主流交换模块 典型组网拓扑 结构系统 通道 IDS1000 A IDS1000 C 室外场景 集装箱数据中心 IDS2000 S IDS2000 M IDS2000 L 室内场景 模块化数据中心 方案 产品 技术 柔性架构 精确制冷 智能管理 高效供配电 供配电系统 制冷系统 冷冻水型 风冷型 软件平台 硬件 管理系统 UPS PDU 机柜 硬件之机房 模块化架构 IT机柜 网络机柜 电池柜功能柜按基本单元灵活组合UPS 电池包 配电盒等采用标准19 插框设备 按需部署 灵活扩容 模块化 一体化 机柜42U 24U可选 交付周期短 快速部署高度集成服务器 路由器 交换机 UPS 配电单元 监控单元 PDU 散热系统于一体 即插即用 绿色化 采取机柜自然通风散热 节能环保 排风风扇采用直流变速风机 根据环温动态调节转速 高效节能 高集成度设计 集成基础设施 IT设备于一柜 即插即用 机柜 2 2华为高性能计算解决方案软件 功能完备的集群管理和部署工具可视化工作流工具 支持自定义流程智能的能耗管理和灵活的调度策略 高效 易用 友好的图形化统一管理界面完善的作业管理和调度功能支持多种类型的并行计算任务 可靠 支持1000节点以上中大规模运算管理节点互备 快速故障恢复运算过程checkpoint 单点故障后续算 专业 7 24小时专业支持服务遍布全球的售后支持网络定制化服务 集群管理软件 Webserviceinterface Webportal CLI HTTP SSH HTTP HTTPS RHEL5 x 6 x SLES11 x CentOS5 x 6 x 生物制药 仿真 动漫渲染 石油勘探 预集成行业应用软件 集中调度管理 维护简单 定制开发 并行库 数学库 编译器 调试器 作业调度 集群监控 能耗管理 告警管理 集群管理 用户管理 记帐统计 安装部署 模块化 可扩展 易升级 华为高性能集群管理软件架构 模板提交方式 预集成典型应用 通用任务提交方式 命令行提交方式 灵活的作业提交方式 以工作流引擎为基础的作业生命周期管理 完备的作业管理 丰富的策略管理功能 任务调度策略 资源分配策略 资源限制策略 抢占策略 回填策略 预留策略 基于优先级策略 BestFit 高效的作业调度 外部存储 运算结果自动传输 功能强大的web数据管理功能 安全隔离的用户数据 完整的业务数据管理 集群节点管理 注重整个集群中节点操作 如上下电 调度系统节点管理 关注调度信息 如是否接收作业操作 带外节点管理 带内节点管理 通过并行命令可以同时对多个节点下发命令 多维度的集群节点管理 多节点并发管理 统一的集群管理 直观的集群监控 集群整体性能状态监控 单个节点性能状态 所见即所得的设备管理 丰富的告警类型 灵活的告警查询 可配置的告警阈值 提供CPU负载 CPU温度 磁盘容量 内存容量 主机连接状态 系统服务状态 自定义服务等多种告警 可按主机 类型 级别及时间查询历史告警信息 可配置不同告警阈值 以灵活应对变化 邮件发送通知 以便及时处理 方便的告警通知 丰富的告警管理 聚合监控系统的资源状态和资源需求 为能耗分析提供统一数据计算集群信息调度系统作业信息 根据能效监视数据及能耗配置信息 提供节能建议丰富的节能算法支持自定义算法可动态配置QoS信息 能效监视 分析诊断 自动处理 根据分析诊断建议 自动或人工确认完成系统的处理节点下电 降频节点上电 智能的能耗管理 统一的用户管理功能 基于用户的计费管理功能 支持与操作系统统一的用户以及群组管理 批量导入用户功能与调度算法结合指定优先级及资源限制 可导出指定时间段内 用户作业产生的费用报表 完善的帐号管理 部署节点 管理节点 界面添加节点 计算节点 界面操作 方便快捷的扩减容 业务量增加时扩充集群规模 应对大量任务 业务量减少时缩小集群规模 实行资源共享 提高资源利用率 配置简单 一键执行批量安装 省时省力动态伸缩 界面操作 批量安装 OS 软件等 便捷的集群部署 灵活的规模伸缩 实时的流程运行监视图 完备的流程实例管理 图形化的设计工具 支持多种流程 完备的流程实例管理功能 友好的流程设计与直观的流程管理 镜像备份 通过镜像恢复故障节点 通过镜像批量部署 安装好的初始节点 支持系统镜像管理 创建 删除 浏览节点快照 快速恢复 方便的备份与恢复 高可靠系统 2 3方案优势 端到端全领域 全生命周期HPC解决方案 行业解决方案 集群平台软件 服务器 存储 网络 安全 数据中心 微数据中心 模块化数据中心 集装箱数据中心 S5700 S7700 S9300 S9700 CE12800 USG AntiDDOS NIP iSOC UMA VSM X6000 E9000 RH2285RH2288RH2485 RH5885 S5600TS5800T N8000 UDS S6800T CAE CFD 生命科学 石油勘探 动漫渲染 物理化学 气象环境 咨询规划 1 建设部署 2 迁移整合 3 定制开发 4 X8000 OceanStor9000 方案亮点 直观图形操作 几十种调度算法 服务器 105项SPEC世界记录 存储 500万OPS200GB S吞吐量 一体化部署 部署周期从数周缩短到数天 从板极到系统级的节能 能耗节约40 极致性能 高效管理 灵活部署 绿色节能 极致性能 硬件 计算密度业界第一 单框支持64个RomelyEP130WCPU 单框浮点运算性能最大可达16 5TFlops No 1性能 5 000 000OPS No 1吞吐量 200GB S 存储性能业界第一 交换能力业界第一 单框15 6T背板交换容量 支持40GE以太网和56GFDR 支持GPGPU异构加速 PCIe扩展能力业界领先 众核加速方案 计算与网络设备投资节省40 节点减少可使功耗降低30 现有程序移植工作量减少50 IntelXeonPhi CH221 E9000 IntelXeonPhi RH2288V2 010101010 010101010 工业制造 能源勘探 天气预报 生命科学 电子设计 动漫多媒体 协处理器加速提升效率 加速应用 高性价比 绿色节能 高可移植性 智能管理 智能管理软件 丰富的策略管理 智能的能耗管理 方便快捷的扩减容 任务调度策略资源分配策略 资源限制策略抢占策略 回填策略预留策略 一键配置执行 批量安装 动态伸缩 能效监视 分析诊断 自动处理 All in room All in chassis All in rack 灵活部署 一站式 极大缩短业务上线时间 国内独家液冷技术方案 绿色节能 从板极到系统级的节能 传统数据中心 高效UPS 行级空调近端制冷 模块化设计多种制冷手段 自然冷却技术 1 2 NetEco 智能管理 能耗节省 40 系统级节能 板级节能 低功耗器件选型 领先的供电效率 供电关相功能 高效电源拓扑设计 板级液冷方案 支持内存液冷 可现场插拔维护支持集成 4 5万瓦散热 和非集成方案 8万瓦散热 自动补水 三年内免补水防泄露 防凝露 泄露检测等容灾能力最低PUE 1 2 能耗管理 能效监视 分析诊断 自动处理 云化演进 公有云 物理集群 私有云 集群管理FusionCluster 智能分析诊断 华为云平台FusionSphere VM VM VM 自动批量安装部署 镜像管理 一键配置执行 批量安装 动态伸缩 统一资源管理和调度 直观管理 云化演进 自研集群管理软件和云平台软件FusionSphere结合提供云化演进方案 应用 3 1行业方案 前处理 几何建模 划分计算网格 求解 指定荷载和边界条件 提交给服务器进行分析 后处理 显示结果 评估产品性能 CAE仿真 CAE常用软件对硬件的需求 华为解决方案特点 综合了SMP节点和Cluster节点完全基于x86 64处理器的平台采用56Gb全线速的IB网络Esight可对软硬件资源进行全面的监管支持Linux和Windows操作系统 华为CAE领域解决方案 石油行业 地球物理勘探 井位确定 石油开采 炼化储运 石油销售 石油应用产业链 浮点计算 多核扩展 高带宽 大内存 石油行业HPC的挑战及解决方案 万兆以太网互联 GPU GPGPU技术 SSD加速技术 Infiniband互联 多核 多路 高密服务器 存储技术 计算 网络互联 存储 集成管理 先进的算法带来计算更高的要求可视化处理要求CPU与GPU的配合高密度 高精度带来了数据量的增加数据量的增加带来了计算量 存储量的增加进而需要更多的计算节点 存储节点进而需要更快捷的网络互联方式来连接计算节点 存储节点更多的节点带来管理的复杂性 机柜多 计算节点多 存储节点多 数据交换机多 设备状态无法及时掌握 更多的节点导致电费 空调的开销在开采和勘探总支出中的占比越来越高 绿色节能 华为石油行业高性能计算方案 10GE网络 千兆管理网络 网络采用10GE 适合石油行业的大量数据I O 对网络有较高的需求 更高的要求可以用IB 三种计算节点 计算节点 高性能刀片或者机架服务器胖服务器节点 SMP架构高性能服务器 具备多CPU和大内存容量GPU计算节点 服务器中安装GPGPU卡 使用GPU进行运算加速 动漫多媒体 流程 集群 丰满现实 强力技术 艺术灵光 图形渲染 集群渲染 动漫多媒体领域常用软件 集群渲染对硬件需求 CPU需求 高计算性能 内存需求 高内存带宽 存储需求 高带宽大容量 网络需求 高带宽 普通PC每小时渲染1 2帧 单渲染节点的能力和渲染集群的大小决定渲染速度 渲染任务开始后 大量的材质贴图将被读取到内存中 然后开始渲染图像 在此过程中 CPU与内存的通讯非常频繁 分辨率越高 材质贴图越多 内存带宽要求越高 120分钟的4K电影数据量 4K 4096 3112 3 8 8 1024 1024 40M 40M 帧 24帧 秒 7200秒 691200m 6 6T存储的数量量大 为提高存储速度 需要提供高带宽 并行文件系统 大容量的存储 在通过渲染农场进行网络渲染时 一旦管理服务器下达渲染任务 所有的计算节点便开始从网络共享存储中去读取材质贴图和目标文件 因此 高带宽的网络将大大地缩短预读数据的时间 华为动漫多媒体领域解决方案 基于自主的计算 存储及交换硬件平台 计算采用高密度 12U32节点 的E9000刀片服务器 存储采用基于巫山文件系统的OceanStor9000并行存储 IB 10GE根据业务需求灵活选择 Esight可对软硬件资源进行全面的监管 业务管理网络 硬件管理网络 OceanStor9000并行存储 E9000刀片服务器计算集群 管理服务器 IB 10GE交换机 图形工作站 IB 10GE GE业务管理 GE硬件管理 主模式 系统主要部分 是主要计算量所在 前处理 气象数据的收集和预处理 后处理 综合数值天气预报 天气学 统计学等预报结果 数值天气预报流程 在各种气象预报方法中 中尺度气象在现代气象科学中应用最为广泛 数值天气预报 用数学方法构建方程 将气象数据和边界参数导入方程求解 从而预测大气变化和状态 气象预报 气象预报对硬件的需求 华为气象领域解决方案 华为解决方案特点 计算节点 采用E9000 配置E5 2680CPU 注重浮点计算性能 管理登陆节点 采用RH2285V2 双机HA 保证管理和登陆的可靠性 并行存储 采用OceanStor9000 500万 OPS和200GB s的性能 满足气象软件的高IO需求 网络系统 计算网络采用低延迟 高带宽的FDRInfiniband 管理网络采用低成本GE网络 生物科学 使用HPC对生物基因数据进行测序 拼接 比对等处理 提供基因组信息以及相关数据系统 解决生物 医学和工业领域的重大问题 使用HPC快速地完成高通量药物虚拟筛选 可使研发周期平均缩短1年半左右 投入减少上亿元 使用HPC进行大规模分子动力学模拟 通过模拟结果来分析和验证蛋白质在分子和原子水平上的变化 生物常用软件对硬件的需求 华为生物领域高性能计算方案 华为解决方案特点 综合了SMP节点和Cluster节点 满足高通量计算和高性能计算完全基于x86 64处理器的平台采用56Gb全线速的IB网络Esight可对软硬件资源进行全面的监管并行文件系统 满足高IO需求 应用 3 2应用案例 华为HPC解决方案在其他领域的应用 国家超级计算广州中心 客户需求 Solution 高密节点设计 节点同时支持IntelIvyBridge处理器和XeonPhi协处理器卡全方位节能设计 从器件级节能到机柜级节能的统筹设计应用加速 针对数据库应用 大数据应用等提供应用加速方案 采用华为RH5485机架服务器 采用2 2路设计 在单一节点支持四个IvyBridgeCPU和两个XeonPhi协处理器卡全方位节能设计 从器件选型到供电设计 定制节能方案实现15 能源节省应用加速 华为SSD卡提升4倍IOPS性能 华为压缩卡提升30 大数据应用性能 国家地震局防灾科技学院 采用华为TecalRH2288服务器作为计算节点 系统的峰值数据处理能力为20TFlops 采用华为OceanStor部署分级存储系统 存储容量达500TB采用华为的All In One一体化HPC解决方案 模块化部署 满足后续灵活扩容需求 解决方案 计算数据迅速增长 学院现有的计算能力无法满足计算的要求现有的数据存取速度慢 极大影响整体的计算性能计算和存储需求不断增长 系统的扩容难度大 客户挑战 整体性能提升80 数据存取速度提升70 满足未来10年系统扩容需求 客户收益 华为提供了全套的端到端高性能计算解决方案产品 具有高性价比 低功耗等特点 不仅满足了我们地震前兆监测