切实实现高性能并行计算应用分析.doc

切实实现高性能并行计算应用分析高性能并行计算的应用软件位于高性能计算生态系统的最上层，针对不同的行业有专业的产品，针对各个领域的科学与工程计算应用，直接为用户创造价值。这些软件原来大多运行在大型主机上，是面向多个处理器、多进程、多任务的单节点软件，进程之间的通信通过大型主机操作系统的消息机制进行，消息机制的启动通过函数进行调用。本系统中，应用软件面向教学和科研应用领域的多个方面基于多节点IA架构系统，进程或任务之间的通信，基于多节点集群的中间件提供的并行通信库MPI，物理层是基于标准互联以太网系统。并行库的启动，通过特定的程序语句进行调用。高性能应用软件总体概括分类:多媒体运算主要使用整型和双精度运算。包括图形图像处理和三维图像生成的高性能计算系统，强调计算节点的多媒体计算功能。计算科学院的大气科学和流体力学应用中需要的许多模拟仿真计算都属于这类计算。科学计算主要使用浮点运算功能，这也是目前高性能计算系统的最主要应用领域。比如:高分子运动分析、石油勘测分析等。计算科学院的大气科学、固体力学、分子力学、流体力学、有限元分析等的主体计算都属于这类计算，这类计算需要系统具有强大的浮点运算能力。本项目的计算属于此类应用。数据库应用主要使用逻辑计算和I/O操作。包括数据库集群系统和网格数据库系统的应用。强调计算节点有很强的I/O处理能力，同时，整个高性能计算系统具有足够的外接存储空间。本系统结合此类应用，奠定未来网格计算的基础。INTEL和宝德技术人员针对华南理工的项目特点和目标，投入极高的专注和热情，在华南理工项目前期进行了详细的测试分析，提出系统优化和移植的策略，帮助客户将微分方程数值计算并行模拟器勘测系统移植到IA平台上。Intel还提供了系列的优化工具、编译工具、集群工具等众多高性能计算组件和虚拟技术，为IA架构、标准互联的高性能计算系统应用提供高效率的保证，成为本次HPC项目成功实施的关键。解决方案近年来，高教体系的专项科研项目依托国家863计划，气象建模、模拟撞车试验、人类基因组图谱绘制以及模拟核爆炸等各种与人类生命息息相关的重要领域都要用到 HPC 。高性能计算(HPC)本身通常用于处理世界上最复杂和艰巨的计算难题，并往往能够彻底解决这些问题。突飞猛进的性能、急剧下降的成本以及势如潮涌的需求等众多因素，促使 HPC 迅速走出科研实验室，步入主流商业领域。2005-3月，由于2004年以来，宝德科技已经和北京大学、国家气象局、南京师范大学、华南工业大学等等多家科研单位进行了HPC的项目合作，在高校的科研计划中关注到华南理工大学需要类似的计算压力设备，从而开始针对性的洽谈和合作;立足宝德前期的成功合作案例和经验，在INTEL的大力支持下，宝德通过长达2个月的校方应用方向和需求分析，运用INTEL解决方案中心的测试条件，同时兼顾后期校方的更大规模网格计算的扩展需要，针对性的推出了POWER 8000 HPC应用方案。华南理工大学高性能计算计算集群系统是一个是基于网络、面向科研等的大型高性能并行计算系统，该系统的基础是主控节点、计算节点等硬件基础平台的建设和互联系统的建设。在Intel的支持下，宝德科技、华南理工大学以及Intel三方以宝德IA 64位双路安腾2为计算节点的宝德Power Cluster8000I高性能计算机系统，采用免费OSCAR中间件实现节点管理、任务分发和集群监控，使用Infiniband MPI的优化通信库模块来实现节点之间的进程通信，近乎达到大型机中多进程间消息传输机制的效率，再加上一套完整的Intel优化编译工具和函数库等软件来优化数科院的应用，使系统的性能得到充分的发挥，成为高校高性能计算系统推广的表率之一。项目特点虚拟化技术宝德科技提供的43台PR2510D双核服务器以及56台PR4850四路服务器全部应用在华南理工的信息化系统中。到目前为止，宝德服务器优质的性能、稳定的运行给华南理工带来很大的收益。其中，宝德通过虚拟化技术:1)最大程度的提升系统管理能力;2)降低复杂性和总体硬件成本;3)提供同一个硬件平台运行不同版本软件的能力虚拟化技术能使华南理工高性能计算计算集群系统在一台服务器上同时运行多个操作系统，这与“多重任务处理”技术有些类似。不过“多重任务处理”技术只允许用户在同一机器设备的同一操作系统中运行多个程序，而虚拟化则可让用户在同一机器设备中运行多个操作系统。这样用户能更灵活高效地配用计算机资源，并且有助于提高安全性能。华南理工高性能计算计算集群系统采用虚拟化技术，实现了:性能扩展空间 全缓冲DIMM内存:带宽提高三倍，容量提高四倍 高带宽PCI Express成为英特尔架构服务器的标准配置 英特尔 I/O 加速技术支持快速传输数据 带有专用FSB的多核提供了充足性能扩展空间软件兼容 通过处理器中的硬件辅助特性，为虚拟软件解决方案提供了补充可靠性 超长的实际应用运行时间易于部署易于管理宝德高性能计算集群系统采用专业的集群管理软件，实现了集群部署的自动化，快速化，同时使整个集群系统更易于管理员管理，形成了一套单一映像的集群软件架构。开放通用计算平台宝德高性能计算集群系统的软件和硬件以及基础架构都力求规范、标准、开放、通用，以方便用户使用和在其平台上开发自己的应用。因此，该平台可最大限度的提高应用的效率和移植性，适合于石油勘探、数值气象预报、流体力学分析、CFD、基因科学、多媒体、金融数据挖掘分析等多种领域多种应用的部署。项目收益为