曙光集群简明使用手册ppt课件.ppt

曙光集群简明使用手册 技术支持中心 一 曙光集群的概念二 曙光集群系统整体架构三 曙光集群的使用远程登录系统上传下载数据Linux常用命令安装和运行程序使用作业调度 目录 一 曙光集群的概念 什么是集群 集群系统是利用高性能通信网络将一组计算机 节点 按某种结构连接起来 在并行化设计及可视化人机交互集成开发环境支持下 统一调度 协调处理 实现高效并行处理的系统所有计算机节点一起工作如同一个单一集成的系统资源 实现单一系统映像 SSI 集群是目前高性能计算机三大体系结构之一 是目前最主流的和最有生命力的体系结构集群是目前性能价格比最高的高性能计算机体系结构集群特点 容易实现 容易维护 较好用的高性能计算机 曙光集群是使用Infiniband Myrinet等高速网络或者千兆网络节点机网络连接 进行高性能并行计算 使用千兆网络连接 进行网络管理监控 一个节点就是一台机器 N台机器通过连接高速网 安装系统 系统的一致性 即系统配置必须一致 调试并行环境 安装应用软件来进行计算 曙光集群 曙光5000A 魔方 部署在上海超算 曙光集群可扩展性强 如果现有的计算资源无法满足需要 可以根据实际需求 动态增加计算节点 曙光集群的易管理性 GridView CloudView等监控管理软件 协助管理集群系统 曙光集群 曙光6000 星云 部署在深圳超算 二 曙光集群系统整体架构 曙光集群硬件系统的基本架构基于节点的集群CPU AMD系列Opteron Intel系列Xeon高中低端产品 八路 四路 双路 单路外围设备 机柜系统网络系统集群监控系统集群管理系统视频管理系统 集群系统的硬件组成 集群系统的体系结构 集群系统的物理架构 InfiniBand 曙光集群的计算系统 计算系统 内容 计算节点 一般为双路或四路刀片或机架式服务器 为计算系统的主力 GPGPU节点 GPU即图形处理单元 GPGPU的意思为使用显卡做通用计算 由于GPU卡具有更多计算核心数 更高的能效比和更强的浮点计算能力 所以对于适合GPU 并在GPU上移植成功的应用软件提供更高的性能 曙光集群功能节点 管理节点 IO节点 用于运行系统级的管理软件 性能要求不高 但可靠性要求高 数量少 用于连接存储设备 提供共享存储空间 小型项目 使用单一IO节点提供NFS解决 大中型 使用并行文件系统 多个IO节点和存储空间解决IO瓶颈 登陆节点 用于用户登陆集群 在集群上实现作业提交 文件上传 编辑 程序编译等操作 可靠性要求高 数量少 高性能集群三要素 无密码访问 统一的系统印象 统一的文件印象 对于普通用户来说 所有节点看到的某一个文件都是相同的文件 通过nfs或者并行文件系统实现 通过NIS或同步用户信息来实现 网络全通rsh或ssh无密码访问配通 主要参数种类名称 风冷机柜长宽高 110 60 200重量 180KG压强 500KG MM容量 42U通风设计 风冷布线设计 电源 网络 曙光集群物理视图 示例 曙光集群网络拓扑图 示例 曙光集群用户视图 示例 三 曙光集群的使用 远程登录系统上传下载数据Linux常用命令安装和运行程序使用作业调度 远程登录系统 Putty一款免费的Telnet和SSH终端实现 可使用在Win32平台下 VNCVirtualNetworkComputing 可跨操作系统实现对远程桌面的控制 对网络带宽要求较低 由于采用远程桌面的模式 遇到网络连接中断不会影响实际操作 重新连接即可 登录工具 完全免费 在Windows9x NT 2000 Win7下运行的都非常好 全面支持ssh1和ssh2 绿色软件 无需安装 解压后即可使用 体积很小 仅364KB 0 54beta版本 操作简单 所有的操作都在一个控制面板中实现 Putty简介 Putty登录终端 Putty登录终端 VNC是虚拟网络计算机 VirtualNetworkComputing 的缩写 属于一种显示系统 能将完整的窗口界面通过网络 传输到另一台计算机的屏幕上 VNC是一款优秀的远程控制工具软件 由AT T的欧洲研究实验室开发 是基于UNIX和Linux操作系统的免费开放源码软件 远程控制能力强大 高效实用 VNC由两部分组成 一部分是客户端的应用程序 vncviewer 另外一部分是服务器端的应用程序 vncserver VNC在UNIX Linux和Windows操作系统中都有相应的实现方式 图形用户界面友好 可跨操作系统互访桌面 VNC简介 VNC连接Linux远程桌面 创建VNC连接密码 首次启动VNC时要求创建密码 dawn node110 vncserverYouwillrequireapasswordtoaccessyourdesktops Password Warning passwordtruncatedtothelengthof8 Verify Wouldyouliketoenteraview onlypassword y n nNew X desktopisnode110 1Creatingdefaultstartupscript home dawn vnc xstartupStartingapplicationsspecifiedin home dawn vnc xstartupLog home dawn vnc node110 1 log修改VNC密码 使用vncpasswd重设密码 或删除其passwd文件 再启动VNC时重新创建密码 dawn node110 rm vnc passwd修改VNC启动界面的参数 xterm界面过于简陋 改为常用的gnome界面 注意行末 符号 dawn node110 vi vnc xstartup1 bin sh23xrdb HOME Xresources4xsetroot solidgrey5 xterm geometry80 x24 10 10 ls title VNCDESKTOPDesktop 6 twm 7gnome session VNC连接Linux远程桌面 关闭VNC远程桌面 dawn node110 vncserver kill 1KillingXvncprocessID22016重新打开VNC远程桌面 dawn node110 vncserverNew X desktopisnode110 1Startingapplicationsspecifiedin home dawn vnc xstartupLog home dawn vnc node110 1 log在Windows客户端 通过VNCView连接远程Linux的桌面 注意远程桌面的描述格式 VNC连接Linux远程桌面 VNC控制远程Linux桌面 上传下载数据 WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端 并支持SCP协议 它的主要功能就是在本地Windows与远程Linux服务器之间安全地复制文件 WinSCP简介 WinSCP登录界面 WinSCP登录界面 WinSCP操作界面 Linux常用命令 man是 manual 的简写 可查询Linux常用命令的手册 格式 man 关键字 查询Linux命令使用方法 man ls是 list 的简写 用来显示指定目录下的内容 格式 ls 参数 路径或文件名 显示文件列表 ls vi是Linux终端下最常用的文档创建和编辑工具 格式 vi 参数 文件名 编辑文件 vi grep是强大的检索工具 可用正则表达式检索字符串 格式 grep 参数 文件名 检索字符串 grep scp采用SSH协议 通过网络在节点之间传输文件 格式 scp user host1 file1 user host2 file2 远程复制文件 scp ssh采用加密传输协议 用于登录网络上的其它节点 格式 ssh user hostname command 登录不同节点 ssh 浏览文件命令cat 显示一个文本文件的全部内容 more less 浏览文本文件的内容 没有编辑功能 head tail 显示文本文件的头 尾若干行 默认为10行 目录操作命令mkdir 创建目录 rmdir 删除目录 文件操作命令touch 创建一个空文件 或者将指定文件的时间戳改为当前时间 rm 删除文件 rm rf 可以迭代方式删除整个目录 慎用 cp 拷贝文件 mv 移动文件 或者将文件重命名 ln s 创建文件软链接 类似于快捷方式 tar 将一组文件 目录打包或解包 通过参数可设定是否压缩文件 文件目录类命令 安装和运行程序 示例 编译 安装OpenMPI tar xzvfopenmpi 1 4 3 tar gzcdopenmpi 1 4 3 configure prefix public software ompi 1 43 gnumakemakeinstall示例 设置OpenMPI的环境变量vi bashrcexportMPIDIR public software ompi 1 43 gnuexportPATH MPIDIR bin PATHexportLD LIBRARY PATH MPIDIR lib LD LIBRARY PATHexportINCLUDE MPIDIR include INCLUDEexportMANPATH MPIDIR share man MANPATHsource bashrc Linux安装程序 什么是环境变量 Linux是一个多用户的操作系统 多用户意味着每个用户登录系统后 都有自己专用的运行环境 而这个环境是由一组变量所定义 这组变量被称为环境变量 用户可以对自己的环境变量进行修改以达到对环境的要求 定制环境变量环境变量是和Shell紧密相关的 它是通过Shell命令来设置的 环境变量又可以被所有当前用户所运行的程序所使用 对于bash来说 可以通过变量名来访问相应的环境变量 全局环境变量 etc profile etc pro sh这些文件中设置的环境变量对所有用户都起作用 登录时自动生效 称为全局环境变量 全局环境变量可用来设定一些默认的应用环境 如指定编译器 MPI并行库等 用户环境变量安装一个应用程序后 相关的环境参数尽量不要加入的全局环境变量 避免版本冲突 可在 public software pro目录下创建相应的env文件 让用户在 bashrc或PBS脚本中自由选择source Linux的环境变量 显示环境变量 echo命令 dawn vnode110 echo HOME home dawn设置一个新的环境变量 export命令 dawn vnode110 exportNAME RaidCheng dawn vnode110 echo NAMERaidCheng清除环境变量 unset命令 dawn vnode110 unsetNAME dawn vnode110 echo NAME dawn vnode110 几个关键的环境变量 HOME 当前用户的主目录PATH 决定了shell将到哪些目录中寻找命令或可执行程序LD LIBRARY PATH shell在哪些目录寻找动态链接库 非常重要INCLUDE 编译程序时 设定在哪些目录下寻找头文件 Linux的环境变量 方法一cd home your account your workdir your code方法二cd HOMEvi bashrcexportPATH home your account your workdir PATHyour code 运行串行程序 确认自己的并行环境 OpenMPI source public software prowhichmpirun public software ompi143 gnu bin mpirun IntelMPI source public software prowhichmpirun public software intel impi 4 0 0 028 intel64 bin mpirun 运行并行程序 1 采用OpenMPI单机并行cd home your account your workdirsource public software prompirun np4 your code跨节点并行cd home your account your workdirsource public software provihosts txtmpirun np8 machinefilehosts txt your code 运行并行程序 2 采用IntelMPI设定节点之间的通讯密码echosecretword xxxxxx HOME mpd confchmod600 HOME mpd conf单机并行cd home your account your workdirsource public software prompirun np4 your code跨节点并行cd home your account your workdirsource public software provihosts txtmpirun np8 machinefilehosts txt your code 运行并行程序 2 使用作业调度 作业管理系统的结构 在PBS系统中 用户使用qsub命令提交用户程序 用户运行程序的命令及PBS环境变量设置组成PBS作业脚本 提交格式如下 注释 以 开头PBS指令 以 PBS 开头SHELL命令 PBS的基本命令 PBS lmem 200mb PBS lwalltime 01 00 00 PBS lnodes 1 ppn 4 PBS lnodes 4 ppn 2 PBS lnodes node01 node02 node03 PBS lnodes server ib 3 bigmem ib PBS lnodes 2 blue ppn 2 red ppn 3 b1014 PBS lnodes 4 ppn 4 mem 200mb PBS lother matlab TORQUEHOME server priv nodesnode01np 4bigmemdualcorenode02np 8bigmemmatlab PBS l 申请计算资源 qmgr c ps Createanddefinequeuehighcreatequeuehighsetqueuehighqueue type Executionsetqueuehighacl user enable Truesetqueuehighacl users dawnsetqueuehighacl users rootsetqueuehighPriority 30setqueuehighresources max nodect 4setqueuehighmax user queuable 10setqueuehighmax user run 4setqueuehighenabled Truesetqueuehighstarted True qmgr c setqueuehighacl users guest qmgr c 查询队列信息 dawn node1 qsubexample pbs2743 node200 dawn node1 pestatnodestateloadpmemncpumemresiusrstasksjobids usersnode10excl8 06 2402512240256620 0122743dawnnode11free0 002402512240256611 10node12free0 002402512240256611 10node13free0 002402512281276600 00node14free0 002402512281276611 10node16free0 99 24025122812712336 222733NONE 2735NONE node17free1 3324025122402510113 112740NONE node18free0 002402512240256611 10node1