中海油数据中心项目

中海油数据中心项目简介 项目背景 石油工业对高性能计算应用的整体要求更大规模的原始数据更高的处理速度数据分析效率和准确性提升对生产的意义多批次建设的高性能集群对核心网络节点的压力现有网络结构和核心交换机的局限10G端口数量性能扩展 100G slot 和延迟单机星型无层次化扩展设计 网络设备对高性能计算的影响 计算能力随着CPU GPU技术的成熟 在地震数据解析方面 已经完全采用集群等并行计算方式以有效利用计算能力 计算能力的提升在单node突破有限 更多是增加node数量 I O能力 磁盘读写I O 由于数据量巨大 无法考虑采用SSD等高性能硬盘 而本地磁盘速率受到物理机械系统限制 已经无更多增长空间 存储至计算 1 主机通过8GFC连接 2 Infiniband40G存储至核心网络 10G捆绑连接至NAS计算至核心网络 10G捆绑连接至IB Ethernet网关 Ref InternalSlide石油行业HPC解决方案 集群内部处理的低延迟要求 纳秒级 体现在计算节点至存储节点之间 通过IB网络解决 或ultra low latencyswitch eg Nexus3000 地震数据处理主要为计算密集型业务 对I O能力的要求主要体现在作业数据通过整个核心网络在计算节点和存储节点之间的通信 CiscoUCSservers Cisco2x10GbVIC Cisco40GbNexusswitches Record settingIntelIvyBridge1Uand2Uservers创纪录的intel第三代CPU的1U和2u服务器 UltralowlatencyEthernet UCS usNIC Yes really 是吗 真的 40Gbtop of rackandcoreswitches UCS usNIC 是一个软件解决方案 固件 内核驱动程序 用户空间驱动程序 和开放MPI支持 为我们现有的第二代思科以太网VIC硬件 虚拟接口卡 机顶万兆交换机 集群核心交换机 思科专有HPC系统综合一体化 VIC1225 Nexus9300 Nexus9500 N9300 低密度服务区 高密度服务区 物理拓扑图 设备清单 核心交换机 Nexus9508 40G骨干接入交换机 Nexus9396 万兆光口 Nexus93128 万兆电口 服务器 刀片UCSB200M4 机架UCSC220M4或者UCSC240M4 存储密集型 存储 采用集中存储 FC 图中未画出 出口路由器 ASR1k防火墙 ASA5585 Nexus9500对高性能计算领域客户的吸引力 1 核心10G 40G低延迟不同报文大小的线速一致性表现同Arista的竞争分析 Nexus9500对高性能计算领域客户的吸引力 2 层次化扩展能力为客户提供更多集群节点组网选择Standalone灵活的EOR部署方式ACI构架的扩展Spine Leaf withNexus9300 FEX扩展 withNexus2000 Ref Nexus9000DesignGuide 10G 40G端口密度独特的40G兼容技术和成本优势Bidi技术 直接使用10GMMF线缆 150mQSFP 40Gto4 10GSFP 线缆 Nexus9500对高性能计算领域客户的吸引力 3 Ref MellanoxLowLantencywhitepaperwithNexus Nexus9500withUCSforHPC 在没有Infiniband产品情况下 如何提供完整HPC解决方案 UCSRACKSERVERwith第三方Adapter 10G 40GEthernetwithRDMAoverEthernet UCSC也能做到 备注 usNICwithUCSB C Nexus3000 也是相对完整的HPC方案 强调ultralowlatency 不在本文讨论范围 如感兴趣 可参考本页Ref最后两条 思科usNIC Based网卡低延时技术 TheCiscouser spaceNIC usNIC featureimprovestheperformanceofsoftwareapplicationsthatrunontheCiscoUCSserversinyourdatacenterbybypassingthekernelwhensendingandreceivingnetworkingpackets ms 毫秒 s 微秒 ns 纳秒 1s 1000ms 1ms 1000 s 1 s 1000ns 2 16 s微秒 31 65 s微妙 微秒 纳秒 方案优势 思科数据中心产品为客户带来的改善CiscoHPC系统拥有出众的HPC性能 Linpack测试到达89 69 这是非常高的HPC指标 在AnsysFluent的测试中 HPC集群的性能是随着节点数的增加线性增加的 同时节点间的延迟则能保持一致 CiscousNIC低时延技术不仅实现甚至超越了类似InfiniBand的低时延及高性能 同时保持Ethernet的通用性 运营 可管理性 低成本的优势 CiscoHPC系统网络采用Nexus9k网络 高密度40G骨干部署 并支持ACI技术实现设备的自动部署管理 以及网络健康检查 网络策略自动部署 CiscoUCS的创新架构可以实现HPC集群中各节点的统一管理及资源快速调度 可以在一个管理点上集中管理所有的刀片服务器和机架服务器 统一入口 统一平台 简化布线 无状态漂移 实现HPC集群中故障节点的快速修复 实现N 1的冗余保护 实现应用的快速恢复 恢复时间大约在10分钟 降低关键系统运维护难度 思科的HPC整体解决方案中已经具备 设计与制造模拟仿真云的平台基础 客户可以在现有HPC集群的基础上无缝升级到设计与制造模拟仿真云平台 实现HPC的三维可视化呈现 真正做到 HPC 呈现 移动 协同一体化 这将使HPC整体设计平台提高一个新的层次 教育系统HPC解决方案 根据需求分析 985工程大学 共39所 定位为发展成为世界一流大学或者世界知名大学211工程大学 共117所 包含39所985 定位为国内一流本科大学 即所谓的一本大学普通本科大学 共640所 即所谓的二本普通本科大学 共640所 即所谓的二本国家建设部认可 正式现代建筑设计 docx工程设计 4347家工程勘察 1047家设计施工一体化 402家 一般被认为是设计院了 全国各个行业的设计单位 8000 10000 各个行业的设计软件公司产品 120多制造业 航空 航天的部分项目预报副本UCS 制造业 军工pipeline 4 xlsx 教育 制造 军工 航空 航天 HPC模拟仿真项目思科成功案例 各个领域中的ISV直接面对客户的关键部门 批处理科学运算 包括Linux Windows平台上运行的物理 化学和文字检索批处理程序 交互式科学计算 包括在WindowsXP和Windows7上有图形界面的需要观察程序运行的中间状态或检查结果报告 交互式Windows