中国科学院化学研究所高分子物理实验室之Beowulf

HowHow to to BuildBuild ourour DingDing 中国科学院化学研究所高分子物理实验室中国科学院化学研究所高分子物理实验室 欢迎转载引用 烦请注明出处欢迎转载引用 烦请注明出处 2003 1 242003 1 24 1 什么是 Beowulf 2 节点硬件 3 网络硬件 4 Linux 操作系统的安装 5 与 Beowulf 相关的服务 NFS SSH RSH 6 手动并行的实现 LAM MPI 7 Beowulf 的任务管理 DQS 的安装与设置 8 DQS 使用指南 9 Benchmark 10 MPI 入门 1 什么是 Beowulf 我们搭建的四节点八处理器微机机群 ding 属于典型的 Beowulf Sterling 在他的经典著作中给出的 Beowulf 的定义是 A Beowulf is a collection of personal computers PCs interconneted by widely avaible networking technology runing any one of sevral open source Unix like operation systems 从这个定义 Beowulf cluster 的设计思想强调硬件 包括单个节点和内部 互连的网络 和软件 包括操作系统和并行协议 在市面上易于获得 只有这样 才能从根 本上保证 Beowulf 的成本标度性 scalability 也就是成本与计算能力的线性关系 任何导致 成本与计算能力不成比例的 技术改进 都违反了 Beowulf 设计思想的初衷 网上关于 Beowulf 的资料浩如烟海 但中文的不多 可能与不喜欢归档的习 惯有关 这也是 我主要用中文写这个说明的原因 ding 是我们的第一个机群 还没有仔细的 tuning 如果有 重要变化 我会及时更新说明 2 节点硬件 CPU AMD Athlon MP 2000 1600M Hz with fun 8 X 1 850 主板 Tyan S2466 4M with AMD 760MPX chipset 4 X 1 950 8 X Kingston 512M DDR RAM 8 X 1 200 Seagate 80G IDE Hard Disk 4 X 865 TNT 16M 4 X 200 Case 进入 ding 后禁止 使用 SSH 而只使用 RSH 6 手动并行的实现 LAM MPI 我们采用目前流行的 MPI 标准实现并行 redhat linux 8 0 带有 lam MPI 不用另外安装 完成上述设置之后 就可以 手动地 进行并行计算了 所谓 手动 就是用户 自己分配 CPU 而不是通过排队系统进行管理 这在单用户的情况下是可以的 但如果 有多个用户 难免 会出现 CPU 争用 导致 load unbalance 这里暂时考虑单用户情况 因为 这是实现并行的基础 some tricks A By default the remote shell is ssh for lamboot in redhat linux 8 0 If you prefer rsh it is a little faster than ssh you can do it by adding export LAMRSH rsh in etc profile B How to use lamboot without defining CPU etc profile export LAMHOST etc bhost def etc bhost def a02 CPU 2 a03 CPU 2 a04 CPU 2 因为我们是双 CPU 的节点 这样设置之后 我们就可以用如下命令编译和运行欢迎程序 hello c 见 sterling p166 mpicc o hello hello c lamboot mpirun np 6 hello wipe 7 Beowulf 的任务管理 DQS 的安装与设置 DQS Distributed Queueing System 是一个任务管理系统 能够在 homogeneous 和 heterogenous 计算机网络上实现负载均衡 任务优先和简化 简单地说 它根据用户任务的 优先级进行排对 如果有合适的 CPU 它自动进行分配 我们在 ding 上安装了 DQS 3 3 2 并且限定了每个用户最多能同时运行四个 任务 但是每个任务的 CPU 个数没有限制 DQS 执行文件 usr bin qstat usr bin qsub usr bin qdel DQS 基本配置文件 etc dqs conf file etc dqs resolv file 另外可以用 qconf 来动态配置对列 用 qmod e queue 来激活队列 DQS Demon Master node usr sbin qmaster Slave node usr sbin dqs execd 8 DQS 使用指南 强调一遍 所有在内部节点上的计算任务都得通过 DQS 提交 不允许在内部 节点上手动执行程序 用户从本地机器 ssh 登录到 ding 后 请不要利用 rsh 进入内部节点 所有程序的编译和调试都在中心节点 a01 上完成 然后通过 qsub 命令提交 任务进行排队 然后可以 通过 qstat 命令查看排队情况 提交任务以后 可以通过 qdel 命令取消正在 执行或排队的任务 我们在 ding 上安装了 DQS 3 3 2 并且限定了每个用户最多能同时运行四个 任务 但是每个任 务的 CPU 个数没有限制 多余四个的任务将进入最大任务队列中等待 用户可以用 qstat f 来查看目前各个用户使用 CPU 的情况 用 qsub 来提交并行和串行任务 用 qdel 来删除不在需要的任务 如果发现 qdel 不能删除任务 请通知系统管理员来处理 如果并行计算过程中有大量数据输出 可以考虑在 scratch 目录中进行运算 由于 scratch 属于 本地硬盘 数据不通过网络转移到 nfs 的 home 目录 从而减少了对网络带宽 的占用 9 Benchmarks THE DL POLY BENCHMARK The benchmark summarized below is designed to reflect the typical range of simulations undertaken by the molecular dynamicist It includes 6 calculations carried out using the DL POLY molecular dynamics code and includes the following functionality Benchmark 1 Simulation of a sodium potassium disilicate glass 1080 atoms 300 time steps Benchmark 2 Simulation of metallic aluminium with Sutton Chen potential at 300K 256 atoms 8000 time steps Benchmark 3 Simulation of valinomycin in 1223 water molecules 3837 atoms 100 time steps Benchmark 4 Dynamic Shell model water structure 768 atoms 1024 sites 1000 time steps Benchmark 5 Dynamic Shell model MgCl2 structure 768 atoms 1280 sites 1000 time steps Benchmark 8 Simulation of a model membrane with 2 membrane chains 202 solute molecules and 2746 solvent molecules 3148 atoms 1000 time steps SYSTEM 1 Hardware Machine Name baobab isis unc edu 3 Master Nodes and 39 Compute Nodes Beowulf Cluster with a total of 84 Processors Tyan Thunder MP Motherboard Dual AMD Athlon 1600 1 4GHz MP Processor 2GB DDR RAM on each node 20GB EIDE Hard Drive for Operating System Myrinet Fiber PCI Adapter with 2MB Master nodes installed with RAID 5 SCSI Controller connected to 3 76GB Hard Drives Myrinet Switch with 64 port enclosure Operating System RedHat Linux 7 2 with XFS File System 2 4 9 13SGI XFS 1 0 2smp Kernel absoft ProFortran Compilers FORTRAN 77 f77 Absoft FORTRAN 77 compiler version 5 0 FORTRAN 90 f90 f95 Absoft Fortran 90 95 compiler version 3 0 Number of Processors 1 2 4 8 16 Benchmark 1 seconds 112 5 56 5 31 6 22 5 17 7 Benchmark 2 seconds 111 9 59 8 37 0 30 5 33 8 Benchmark 3 seconds 111 2 56 5 32 6 18 8 13 9 Benchmark 4 seconds 100 3 49 6 32 8 26 6 30 4 Benchmark 5 seconds 179 9 62 2 39 8 33 6 37 5 Benchmark 8 seconds 112 5 56 5 31 6 22 5 17 7 SYSTEM 2 Hardware Machine Name gandalf chem unc edu 1 Master Nodes and 32 Compute Nodes Beowulf Cluster with a total of 33 Processors Intel R Pentium R 4 CPU 1700MHz 1GB DDR RAM on each node 20GB EIDE Hard Drive for Operating System 100 M ether PCI Adapter Operating System RedHat Linux 7 1 Fortran Compilers FORTRAN 77 f77 GNU Fortran 0 5 26 20000731 Red Hat Linux 7 1 2 96 81 g77 FORTRAN 90 f90 VAST f90 compiler works with g77 Number of Processors 1 2 4 8 16 Benchmark 1 seconds 142 0 85 4 61 5 71 4 87 0 Benchmark 2 seconds 168 0 122 0 122 1 Benchmark 3 seconds 160 0 87 8 61 5 Benchmark 4 seconds 131 0 123 7 128 0 Benchmark 5 seconds 212 0 131 7 158 2 Benchmark 8 seconds 121 0 98 9 115 7 SYSTEM 3 Hardware Machine Name ding simugroup 1 Master Nodes and 6 Compute Nodes Beowulf Cluster with a total of 8 Processors Tyan S2466 Motherboard Dual AMD Athlon 2000 1 66GHz MP Processor 1GB DDR RAM on each node 80GB EIDE Hard Drive for Operating System 100 M ether PCI Adapter Operating System RedHat Linux 8 0 Fortran Compilers FORTRAN 77 f77 GNU Fortran 0 5 26 20000731 Red Hat Linux 7 1 2 96 81 g77 FORTRAN 90 f90 VAST f90 compiler works with g77 Number of Processors 1 2 4 8 16 Benchmark 1 seconds 76 78 38 60 36 85 53 82 Benchmark 2 seconds 73 94 38 73 549 7 106 7 Benchmark 3 seconds 78 77 40 47 35 25 36 75 Benchmark 4 seconds 81 65 40 00 583 8 686 6 Benchmark 5 seconds 144 3 45 52 82 20 154 2 Benchmark 8 seconds 60 66 38 12 76 88 112 4 SYSTEM 4 Hardware Machine Name Legend 1000M ether net 1 Master Nodes and 8 Compute Nodes Beowulf Cluster with a total of 18 Processors Intel R Pentium R XEON CPU 2 4GHz 1000 M ether PCI Adapter Operating System RedHat Linux Fortran Compilers Intel Linux FORTRAN 90 Number of Processors 1 2 4 8 16 Benchmark 1 seconds 66 67 39 63 28 26 25 75 31 34 Benchmark 2 seconds 65 04 44 53 39 62 41 45 61 54 Benchmark 3 seconds 71 92 41 92 27 54 26 56 22 81 Benchmark 4 seconds 56 34 35 39 28 62 30 76 51 99 Benchmark 5 seconds 77 01 53 25 52 85 67 04 87 94 Benchmark 8 seconds 59 28 40 69 32 46 43 97 36 16 SYSTEM 5 Hardware Machine Name L