软件定义重塑认知时代的HPC

1、软件定义重塑认知时代的HPC2 IBM 2018AI，让HPC无处不在技术的发展 - 算力IBM 量子计算机原型解决高度复杂的计算问题目前最强大的AI超级计算机满足AI和HPC的应用需求IBM 类脑芯片IBM 最小计算机低功耗的AI系统边缘计算和区块链应用现在不远的将来技术的发展 - 算法Project Debater思维与决策能力AI OpenScale无偏见的人工智能晶格加密量子时代的加密算法IBM DLI 深度学习平台大幅提高训练速度现在不远的将来技术的发展 - 数据IBM 新磁带技术330TB 高密度磁带IBM 相变存储芯片比目前闪存快100倍存储密度提高1000倍以上IBM 原子级存

2、储技术Elastic Storage ServerTB/s 级的高速高速访问现在不远的将来认知时代，重塑 HPC数据洞察分析 /模拟仿真HPC自动化(ML/DL)AI传感器/物联网新的数据满足新一代数据驱动的应用需求推理应用训练好的模型应用将训练好的模型部署到生产环境几秒数据准备数据清洗与预处理训练 数据集测试 数据集几周到 几月频繁的数据访问反复迭代建模与优化人工智能/深度学习 应用框架 (Tensorflow & Caffe)训练可视化分布式的弹性深度学习平台并行的超参数搜索与优化监控与 建议神经网络 模型超参数几天到几周数据收集传统业务物联网 与传感器合作伙伴移动应用 社交媒体原有数据几

3、年目前面临的主要挑战人员效率相关技术人员供不应求，人力成本水涨船高数据效率AI应用的数据量平均是传统型分析应用的八到十倍资源效率GPU和异构集群环境带来的管 理和调度问题9Days4 HoursRecognitionShapeAttenuationBoundaryRecognitionShapeAttenuationBoundary4 Hours4 Hours4 Hours4 Hours.4 Hours节约的时间可以用于通过更多次数的迭代，创建更准确的模型 或是创建更多的模型来满足应用的需求(216 hours)提高AI模型训练效率和准确率- Spectrum Conductor Deep L

4、earning ImpactSpectrum DLI 深度学习应用平台DLI 作为深度学习的集成开发环境，支持各种开放的应用 框架，并提供包括数据导入/转换、可视化训练、超参数 优化在内的各种工具来大幅度提高人员效率和模型准确率大幅度提高数据访问效率和可用性Spectrum Scale/ESS & Cloud Object Storage大幅度提高I/O和元数据性能客户环境实测 2.5TB/s 数据访问带宽客户环境实测 16GB/s 单节点顺序读写带宽客户环境实测每秒创建260万个小文件客户环境实测单目录每秒创建5万个文件支持混合工作负载在同一个文件系统中同时支持大、小数据块的应用提高性能、空

5、间利用率支持最新的高性能硬件环境，如 NVMe和云对象存储无缝集成，提供永远在线的数据访问提供丰富的企业级数据管理功能SSDFast DiskSlow DiskTapePOSIXSwift/S3NFSSMB HDFSCompute farmClient workstations简化、自动化、智能化的资源管理与调度AdminChartsDefines Application (Chart)scheduler: lsfresources:mem: 256Mcpu: 100mDeploys ApplicationLSF K8s SchedulerIBM Cloud Private Redhat Op

6、enShiftPendingBsubReservationJobDeployedLSFJob Host AllocatedQueryPendingUpdate host支持 Docker、Shifter和Singularity等容器环境作业级的 I/O 计量与调度基于AI的智能资源使用预测自动化的作业流程管理提供高级 GPU 管理与调度功能elimelimHost AHost BGPU configuration管理GPU自配置GPU状态监控使用简化并可配置的提交语法规则作业级的 GPU 资源需求查询GPU 作业分配情况查询通过 DCGM 支持 GPU 故障转移报表计费通过 DCGM 支持 G

7、PU 作业报表GPU 调度指定 GPU型号GPU 显存预留GPU NVLINK 调度CPU-GPU 关联调度GPU 分布调度独占式 GPU 作业调度GPU 控制按作业提供 MPS 支持按作业提供 GPU 模式支持NVIDIA 工具包支持支持最新 CUDA 和 DCGM 版本工作负载管理应用资源调度GPU 资源CPU 资源专有系统云资源Spectrum Computing MultiCluster在必要时实现计算资源的弹性扩展Data Manager在确保安全的前提下实现透明的数据迁移Resource Connector 根据策略实现计算资源的 自动化部署和伸缩支持多云环境部署GoogleIBM

8、 CloudMicrosoftAmazon软件定义的新一代人工智能超算平台异构的多云环境DiskFlashTapePowerx86dockerVMLinux on z Sparc ARMAI/深度学习生命科学材料高性能计算制造石油金融分析社交媒体高性能分析大数据商业智能公有/私有云部分国内的 HPC转型案例会车灯光遮蔽夜晚交通标志防眩晕路口自动开启广角照明Application CenterLSF On-Cloud ClusterResource ConnectorData Managerscp rsy ncPredefined VM imageFlexLM ServerData ManagerLSF On-Premise ClusterOn-demand Provision and DestroyObjective StorageBlock ServiceNASHPC + 云HPC + AIHPC + 大数据某电子行业客户某医疗健康行业客户某气象卫星客户智能大灯控制跟车灯光遮蔽某汽车行业客户专业服务培训支持IBM 软件定义在国内近500人的本地开发、支持与专业服务团队专业的 7 x 24