课程高性能计算机

1、高性能计算及应用课程3：高性能计算机课程内容提纲课程内容提纲 并行计算机系统的分类 集群系统 Linux集群系统并行计算机系统并行计算机系统parallel computer architecture并行计算机系统发展的原因并行计算机系统发展的原因 应用的需求永远是并行计算机系统发展的动力。 随着计算机速度的提高，人们对计算机性能的要求也越来越高。例如科学计算、工程和工业设计等都需要高性能计算。 芯片的速度不可能无限地提高，并行计算机可以处理越来越复杂的问题。芯片的速度要受到光速的制约，但芯片的集成度还有发展的空间。 大量商品化的处理器的出现为设计并行计算机系统提供了可能。 并行计算机系统获得

2、快速发展和处理机间通信技术的发展密不可分。 并行计算机系统的分类并行计算机系统的分类 按照Flynn分类法归纳的并行计算机体系结构图谱 SISD (Single Instruction and Single Data)体系结构体系结构 SISD就是传统的顺序执行的单处理器计算机，其指令部件每次只对一条指令进行译码，并只对一个操作部件分配数据。 CU:控制单元PU:处理单元MM:存储模块IS：指令流SIMDSIMD(Single Instruction and Multiple Data)计算机计算机 SIMD机结构有单一的控制部件，但是有多个处理部件。计算机以一个控制单元从存储器取单一的指令流

3、，一条指令同时作用到各个处理单元，控制各个处理单元对来自不同数据流的数据组进行操作。这种体系结构的典型代表是阵列处理机，一些学者认为将向量处理机也划入此类。 *结构特点：控制器(CU)执行标量和程序流控制指令； 所有PU操作相同，数据不同； *节点互连：要求能够同时实现多对(非任意)节点间互连 基于互连硬件设计并行算法集中式SIMD系统互联CUM0M1Mm-1PU0PU1PUn-1M0PU0PE0CU系统互联Mm-1PUn-1PEn-1分布式SIMD SIMD体系结构向量计算机可以在一个向量的每个元素上执行相同的操作，一般来说向量处理机是以流水线式ALU(算术逻辑单元 )为核心，实现向量各个元

4、素的并行计算采用的是时间重叠技术。阵列计算机这类计算机采用资源重复方法引入空间因素，即在系统中设置多个相同的处理单元来开发并行性。此外，它是利用并行性中的同时性，所有处理单元必须同时进行相同操作。 MISD(Multiple Instruction and Single Data)体系结构体系结构 多个处理单元，各配有相应的控制单元。各个处理单元接收不同的指令，多条指令同时在一份数据上进行操作。这种计算机体系结构是一种比较奇怪的组合，这已经被证明是不可能至少是不实际的，目前为止还不存在这种类型的计算机。 MIMD(Multiple Instruction and Multiple Data)体

5、系结构体系结构 同时有多个处理单元，并且每个处理单元都配有相应的控制单元。各个处理单元可以接收不同的指令并对不同的数据流进行操作。大多数现代的并行计算机都属于这一类，多处理机系统和多计算机系统都是MIMD型的计算机。并行计算机系统的分类并行计算机系统的分类 MIMD体系结构 多处理机系统基于共享存储器 系统中只有唯一的地址空间，所有的处理器共享该地址空间。 唯一的地址空间并不意味着在物理上只有一个存储器。共享地址空间可以通过一个物理上共享的存储器来实现，也可以通过分布式存储器并在硬件和软件的支持下实现。 多计算机系统基于消息传递 每个处理器有自己的存储器，该存储器只能被该处理器访问而不能被其它

6、处理器直接访问，这种存储器称为局部存储器或私有存储器。 当处理器A需要向处理器B传送数据时，A把数据以消息的形式发送给B。并行计算机系统的分类并行计算机系统的分类 MIMD多处理机系统的不同访存模型 一致性存储访问模型UMA（Uniform Memory Access） 非一致性存储访问模型NUMA（Non Uniform Memory Access） 高速缓存存储访问模型COMA（Cache Only Memory Access） MIMD多计算机系统的进一步划分 大规模并行处理机MPP（Massively Parallel Processors） 工作站网络NOW（Network of W

7、orkstations）和工作站集群COW（Cluster of Workstations） 一致性存储访问模型一致性存储访问模型UMA系统互连（总线、交叉开关、网络.）P1/C1注：P-处理机 C-高速缓存 SM-共享存储器P2/C2Pn/CnSM1SM2SMm *访问特征：每个P可访问所有MEM，且访问时间相同 所有MEM构成单地址空间 *应用：共享存储多处理机(SMP) *Cache一致性特征：支持 很容易实现非一致性存储访问模型非一致性存储访问模型NUMA注：P处理机；CCache；M共享存储器P1/C1互连网络M1P2/C2M2Pn/CnMn全局互连网络GSM GSMCINP群1PC

8、SMCSMCINP群nPCSMCSMGSM *访问特征：各P可访问所有MEM，但访问时间不相同 所有MEM构成单地址空间 *基于Cache一致性的分类：CC-NUMA(Cache Coherent NUMA)； NCC-NUMA(Non-Cache Coherent NUMA) *NUMA的应用：分布共享存储多处理机(DSM) *Cache一致性特征：支持或不支持共享本地存储器模型层次式集群处理模型高速缓存存储访问模型高速缓存存储访问模型COMA互连网络注： P-处理机 C-高速缓存 DIR-目录PCDIRPCDIRPCDIR *访问特征：各P可访问所有Cache，但访问时间不相同 所有Cac

9、he(非主存)构成单地址空间 *应用：共享分布存储多处理机(DSM) *Cache一致性特征：支持是NUMA模型的一种特例，用各节点Cache构成全局地址空间多计算机系统的访存模型多计算机系统的访存模型 非远程存储访问模型NORMA（No-Remote Memory Access）互连网络(消息传递) 注：LM局部存储器LM1NIC1P1 /C1MB节点1节点n互连网络(消息传递)节点nLM1NIC1P1 /C1MB节点1Bridge1IOB *访问特征：各P只能直接访问本地MEM； 所有存储器构成多地址空间 各P不能直接访问远程MEM 需要通过消息传递实现间接访问 *应用：大规模并行处理机(

10、MPP)、工作站机群(COW) *Cache一致性特征：不支持并行计算机结构模型与访存模型并行计算机结构模型与访存模型访存模型 结构模型MIMD多处理机(单地址空间)多计算机(多地址空间)分布式存储器(NUMA)集中式存储器(UMA)COMACC-NUMANCC-NUMA松耦合多计算机(NORMA)紧耦合多计算机(NORMA)PVPSMPDSMCOWMPPSC-NUMASC-NUMA：software-coherent NUMA *可扩展性分析： UMA可扩展性较差，其他较好 影响因素互连网络、组装、访问带宽与延时等并行计算机通信并行计算机通信通信操作 *通信过程： P通知通信开始拷贝到缓冲区

11、打包 NIC启动包传输网络传输 NIC接收数据包通知信息到达拆包(含保护检查) 通知通信请求到达处理通信操作发送通信结果等 *实现分析：整个过程由P、OS、NIC分工协作完成； 部分阶段可选择由硬件/软件实现互连网络M1NIC1P1 /C1MB节点1Bridge1IOBMnNICnPn /CnMB节点nBridgenIOB *性能指标：时延、带宽、代价； 通信时间(n)=开销数据时延网络延迟占用度 =t0n/Btltc 其中： t0-为P通知通信开始NIC启动传输的延迟； tc为数据包占用网络资源导致冲突而等待的延迟； tl为数据包穿过网络(无冲突)的延迟 *影响性能的因素： 通信硬件指通信操

12、作实现过程中NIC等功能的延迟； 通信软件指多次接口抽象、缓冲区拷贝等的开销； 通信服务指服务质量(可靠传输、流控、失效处理、按序传输)等的开销(分摊在NIC及通信软件中)并行性、可扩展性和可编程性并行性、可扩展性和可编程性 并行性（Parallelism）的基本概念 并行性是指在同一时刻或同一时间间隔内完成两种或两种以上的工作。 并行性还可以进一步分为同时性和并发性，前者指同一时刻发生的并行性，后者指同一时间间隔内发生的并行性。 并行的粒度问题 粗、中、细三种不同的并行粒度，共享内存的多处理机系统用于细粒度和中粒度并行计算，而消息传递型多计算机系统用于中粒度和粗粒度并行计算。并行性、可扩展性

13、和可编程性并行性、可扩展性和可编程性 硬件资源的可扩展性（Scalability） 是指通过增加处理器数目、投入更多的存储器部件（高速缓存、主存、磁盘等），从而使系统具有更高的性能或功能。 由于多处理机和多计算机主要是以资源重复手段实现并行处理的，因此它们是可扩展系统。而且，松散耦合的多计算机系统的可扩展性要好于紧密耦合的多处理机系统。 并行计算机系统可编程性（Programmability） 涉及到操作系统、编译器、语言支持等多个方面的问题。到目前为止，可以说对并行计算机系统编程仍然是非常困难和费力的事情，这主要是因为人们原来所熟悉的顺序编程不适合并行程序的设计特征。 从体系结构的角度来看，

14、多处理机有统一编址的全局共享存储器，其可编程性要好于多计算机系统。集群系统集群系统cluster computer architecture集群技术集群技术在高性能计算领域，集群系统已经成为主流的系统结构，并将进一步扩大其所占份额；集群概念最早由IBM于20世纪60年代提出；集群一般由高速网络连接起来的高性能工作站或PC机组成。集群在工作中像一个统一的整合资源，所有节点使用单一界面。TOP 500过去19年体系结构演化TOP 500过去19年体系结构演化从从TOP500看集群系统看集群系统 在高性能计算领域，集群系统已经成为主流的系统结构，并将进一步扩大其所占份额 在Top500中，集群结构占

15、了绝对大多数，说明在构建超大规模计算系统的时候，集群是主要的系统构成方式大规模并行处理机大规模并行处理机(MPP)LM：本地存储器：本地存储器NIC：网络接口电路：网络接口电路MB：存储器总线：存储器总线专门设计制造高速互连网络结点内有一个或多个处理器、高速缓存、一个本地存储器和互连网络每个处理器能直接访问的只有本地存储器，而不能直接访问其它处理器的存储器程序由多个进程组成，每个都有其私有空间进程间采用消息传递相互作用使用专用硬件提升性能，技术复杂，成本高集群系统集群系统(CLUSTER)B：存储总线与：存储总线与I./O总线的接口；总线的接口；LD：本地磁盘：本地磁盘IOB：I/O总线总线完

16、全采用商用硬件机群的每个结点都是一个完整的计算机机群各结点总有本地磁盘各结点通过低成本的商用网络互连结点与系统级网络的网络接口是连接到I/O总线总线上的（松耦合），而上的（松耦合），而MPP的网络接口是连到结点的网络接口是连到结点的存储总线上（紧耦合）的存储总线上（紧耦合）每个结点上驻留有完整的操作系统。集群系统并行计算新主流技术集群系统并行计算新主流技术 高性能/价格比 硬件方面：主要使用商用计算机硬件，造价低，配置灵活。 软件方面：大量使用开放源码（OpenSource）的软件系统。 能够以更低廉的价格获得更高的峰值计算速度(Peak Performance) 良好的可扩展性 可以根据需要

17、灵活的调整集群系统的规模。可以满足多种类型的计算要求 易获得性，配置灵活 设计建造技术要求较低(对比于MPP)。 可以用有限的资金获得高峰值速度。 突破SMP和MPP的技术限制。 可以根据实际情况挑选集群系统的各种组件。 提供多用途的并行计算系统 Scientific, commercial, Internet applications 已经成为主流的企业计算系统.集群计算系统体系结构集群计算系统体系结构集群体系结构：节点集群体系结构：节点可以是多种高性能节点l PC机l 工作站l SMPl这些节点可以是不同的体系结构，可以运行不同的操作系统集群体系结构：处理器集群体系结构：处理器支持多种(C

18、ISC/RISC/VLIW/Vector.)l Intel: xeon, Itaniuml Sun: SPARC, ULTRASPARCl HP PAl IBM RS6000/Powerl SGI MPISl 集群体系结构：操作系统集群体系结构：操作系统同样支持多种类型的操作系统l Linux(Beowulf)l Microsoft NT(Illinois HPVM)l Sun Solaris(Berkeley NOW)l IBM AIX(IBM SP2)l Cluster Operating Systems (Solaris MC, MOSIX (academic project) )l O

19、S gluing layers: (Berkeley Glunix)集群体系结构：集群中间件集群体系结构：集群中间件位于操作系统和应用之间，提供以下功能:l单一系统映像（Single System Image：SSI)l系统可用性（System Availability ：SA)lSSI makes clusters appear as single machine (globalizes view of system resources). lSA - Check pointing and process migration.集群体系结构：编程环境集群体系结构：编程环境Shared Memo

20、ry BasedOpenMP (enabled for clusters)Message Passing BasedPVM（Parallel Virtual Machine） MPI (portable to SM based as well)集群体系结构：开发工具集群体系结构：开发工具 Compilers C/C+/Java/ ; Parallel programming with C+ (MIT Press book) Debuggers Performance Analysis Tools Visualization Tools集群系统的互连网络集群系统的互连网络集群系统的互连网络集群系

21、统的互连网络集群系统的互连网络集群系统的互连网络 主要运行粗粒度并行程序的小规模集群系统用户，可以使用千兆以太网进行互连 大规模集群系统中，千兆以太网很可能成为系统瓶颈，宜选取专用高速网络互连 InfiniBand已经成为目前主流互连设备Infiniband技术技术 Infiniband是一个基于交换的串行I/O互连体系结构，运行速度为每方向40Gb/s或56Gb/s（每端口）。 InfiniBand是一个针数很少的串行结构，可连接印刷电路板（PCB Printed circuit board）上的设备，并支持箱外带宽。使用普通的双绞铜线，InfiniBand支持的连接距离为17m；而如果使用

22、光缆，其支持的距离则可达数公里甚至更远。 InfiniBand支持QoS和RAS（Reliability, Availability and Serviceability ）。这对于InfiniBand 有能力成为位于Internet核心的下一代服务器和存储系统的通用I/O基础架构具有非常重要的意义。InfiniBand终将从根本上改变系统和Internet 互连体系。 InfiniBand系统网络受到戴尔，惠普，IBM，英特尔，微软和Sun等各大工业公司的支持。HCA 主机通道适配器TCA目标通道适配器，基于InfiniBand技术的适配器，通过交换机，与HCA设备交换数据。 Infinib

23、and层次结构 物理层：物理层：InfiniBand是一个非常完整的体系结构，定义了系统的电气和机械特性。内容包括光纤和铜介质的线缆和插座、背板连接器和热交换特性。 链路层：链路层：链路层（和传输层一起）是InfiniBand 体系结构的心脏。链路层功能包括包设计、点到点链路操作和本地子网中的包交换。 包：包：链路层有两种类型的包：管理和数据包。 交换： 子网内链路层处理包转发和包交换。子网管理器为子网内的所有设备都分配了一个16位的LID（本地识别码）。在子网内发送的包使用LID寻址。 QoS：InfiniBand采用虚拟路径（VL）的方式支持QoS。包在子网内移动，InfiniBand 定

24、义了SL（服务级别），用以保证它的QoS等级。 基于信用的流控：链路层的流控是对两个点到点链路间的数据流的管理。 数据一致：在链路层，每个包有两个CRCs(cycle redundancy check循环冗余校验)，变量CRC（VCRC）和常量CRC（ICRC）用以保证数据完整性。 网络层：网络层：处理子网间的包路由（子网内部不需要网络层）。子网间发送的包会有一个全网路由头（GRH）。GRH包含包的源和目标地址。 传输层：传输层：传输层负责包的按顺序发送、分割、通道多路复用和传输服务（可靠连接，可靠数据报，不可靠连接，不可靠数据报和原始数据）。 InfiniBand的组成的组成 InfiniB

25、and体系结构为系统通讯定义了很多设备：通道卡、交换机、路由器和子网管理器。在一个子网内部，每个节点至少要有一个通道卡，每个子网至少要有一个子网管理器进行结构的初始化以及相应的维护。所有的通道卡和交换机必须包含一个子网管理代理（SMA - Subnet Management Agent），负责和子网管理器间的通讯。网络存储网络存储-可靠高效的存储方案可靠高效的存储方案 用户对存储的需求 可管理性：存储资源的一致管理，可扩展性 高性能高带宽，并行文件访问 可靠备份，快照，镜像 高性价比资源管理（资源管理（1）本地存储方案）本地存储方案资源管理（资源管理（2）网络存储方案）网络存储方案可扩展性可扩

26、展性(1)可扩展性可扩展性(2)可管理性拥有成本对比可管理性拥有成本对比直接连接存储直接连接存储DAS(Direct Attached Storage)以服务器为中心的存储体系结构，难以满足现代存储应用大容量、高可靠、高可用、高性能、动态可扩展、易维护和开放性等多方面的需求。网络附属存储网络附属存储NAS(Network Attached Storage)用一个装有优化的文件系统和瘦操作系统的专用数据存储服务器，提供跨平台的文件共享功能。将分布、独立的数据整合为大型、 集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。 存储区域网存储区域网SAN（ Storage Area N

27、etwork ）是通过专用高速网将一个或多个网络存储设备（如磁盘阵列RAID）和服务器连接起来的专用存储系统。高性能高性能-并行文件系统并行文件系统 并行文件系统 支持多台主机对同一个磁盘分区进行同时读写 现有的并行文件系统Lustre：开源的、基于对象存储技术的集群并行文件系统，它具有很高的可扩展性、可用性、开源的、基于对象存储技术的集群并行文件系统，它具有很高的可扩展性、可用性、性能、易用性等，在高性能计算系统中被广泛使用。它主要包括三个部分：元数据服务器性能、易用性等，在高性能计算系统中被广泛使用。它主要包括三个部分：元数据服务器MDS (Metadata Server)、对象存储服务器

28、、对象存储服务器OSS (Object Storage Server)和客户端和客户端Client。PVFS2：开放源代码的，并行虚拟文件系统开放源代码的，并行虚拟文件系统(PVFS)工程为工程为Linux集群提供了高性能和可扩展行的集群提供了高性能和可扩展行的并行文件系统。并行文件系统。 GPFS：GPFS 是是 IBM 公司第一个共享文件系统，起源于公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术系统上使用的虚拟共享磁盘技术( VSD )。作为这项技术的核心，。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的是一个并行的磁盘文件系统，它

29、保证在资源组内的 所有节点可所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在 使用此文件系统的使用此文件系统的多个节点上实现。多个节点上实现。 集群系统所面临的挑战集群系统所面临的挑战 能耗问题 不仅仅是集群系统的问题 从芯片，单机和集群系统等多个层次来共同解决这个问题 管理性 监控 自我修复 管理信息的过滤与提取 分区集群系统所面临的挑战集群系统所面临的挑战 程序开发与优化问题 Cluster OpenMP? MPI 2会有更好的性能？ 如何更好地利用多个层次的并行性，MPI-OPENMP

30、混合编程还是仅用MPI?Core内的指令级并行Core之间的并行SMP内不同CPU的并行SMP节点间的并行高性能集群层次架构高性能集群层次架构应用层应用层集群操作系统层（集群操作系统层（DCOSDCOS）系统软件层（系统软件层（OS, OS, 编译器）编译器）硬件层（节点硬件层（节点, , 网络等）网络等）高性能集群的硬件构成高性能集群的硬件构成l 机柜（含供电电源）；l 节点机（计算节点，登陆节点， I/O节点，监控节点）；l 互连网络，每种网络连接机群的全部或部分节点： 管理网（百兆以太网）； 数据网（千兆以太网）； 计算网（Infiniband等）； 监控网（监控系统网络）； KVM网（

31、SKVM系统）； 存储网（SAN存储网络）；l 存储系统：盘阵或SAN存储；高性能计算集群系统架构高性能计算集群系统架构节点机节点机 处理器处理器 采用Intel Xeon处理器：计算精度和稳定性好 采用AMD Opteron处理器：图形处理能力和浮点计算呢能力强 2路、路、4路、路、8路、路、16路产品路产品 1U、2U、5U、12U . 计算节点计算节点 IO节点节点 管理节点管理节点 登入节点登入节点 . 如何选择节点机如何选择节点机？1U是4.445cm网络和存储网络和存储 网络网络 计算网 管理网 数据传输网 百兆以太网 千兆以太网 Myrinet Infiniband 存储存储 存

32、储产品 存储结构 文件系统 SCSI SATA FC SAS DAS NAS SAN IPSAN NFS Lustre如何选择？如何选择？高性能集群软件系统高性能集群软件系统石油领域：Geoeast、paradigm、cgg、omega、VSS物理化学：VASP、Gaussian材料化学：Materials Studio环保领域：MM5、Grapes、WRF结构力学：ABAQUS、NASTRAN性能评估：LINPACK、HPCC、NPB等等流体力学：fluent、CFX、Star_CD分子动力学：NAMD、GROWMACS、AMBER生物计算：BLAST、FASTA、MEME并行文件系统和数据

33、库：DCFS2、PVFS2、Lustre、Oracle RAC集群管理和监控系统：DCOS、DCMMII、Rocks、OSCAR并行环境、开发环境、高性能数学库并行环境、开发环境、高性能数学库 并行环境并行环境 消息传递：MPI、PVM 共享存储：OpenMP 开放环境开放环境 编译器 调试器 性能分析器 高性能数学库高性能数学库 ACML APL MKL IPP 其他专业数学库LINUX集群系统集群系统Linux-based cluster computersystem采用采用Linux来搭建集群系统来搭建集群系统 基本流程 对头结点/管理结点 操作系统安装 集群服务配置 对每个计算结点 操

34、作系统安装 集群服务配置 集群系统联调高性能集群系统并行环境配置高性能集群系统并行环境配置Linux集群并行环境主要配置以下服务1. rsh配置: Remote Shell,在远方的机器上执行某些指令2. ssh配置: Secure Shell 3. NFS配置：共享用户目录 4. NIS配置：管理用户帐号典型集群典型集群计算节点cu01cu02cu03登录节点登录节点 su01管理节点管理节点mu01IO节点 IO01Rsh配置配置开启root用户对所有节点的rsh权限1、编辑/etc/hosts，加入所有（包括本机的）节点的ip地址和对应的计算机名；此文件在一台机器上编辑完毕可以拷贝到别的

35、节点上使用；注意127.0.0.1这一行不要动，否则会影响到nis的正常使用。例如：192.168.0.100 mu01192.168.0.1 cu01192.168.0.2 cu022、编辑/root/.rhosts和/etc/hosts.equiv，加入所有节点的计算机名例如：mu01cu01cu023、开启rsh服务：setupsystem services*rsh*rlogin*rexec 或者编辑/etc/xinet.d/rlogin， 改为disable = no4、编辑/etc/securetty，加入rsh，rexec，rlogin（在文件后面添加就可以）5、重起服务servi

36、ce xinetd restartrsh的配置需要在所有节点上进行。2022-5-2968 测试rshd 的配置。 以普通用户(非root) 登录并运行命令:rsh 主机名/bin/hostname如果配置正确该命令应该显示本机主机名。如果出错可查看/var/log/messages 文件中的错误信息。SSH配置配置 安装ssh包 sudo apt-get install openssh-server 开启ssh服务 sudo /etc/init.d/ssh start 停止ssh服务 sudo /etc/init.d/ssh stop 重新启动ssh服务 sudo /etc/init.d/s

37、sh restart2022-5-2969SSH配置配置1、在mu01上以root登录，然后运行ssh-keygen t dsa，目的是简单的在/root下创建目录.ssh，当提示输入passphase时打入两次回车。这将生成/root/.ssh/id_dsa和/root/.ssh/id_dsa.pub2、在cu01上以root登录，运行ssh-keygen t dsa，然后在mu01上运行scp /root/.ssh/ id_dsa.pub cu01：/root/.ssh/authorized_keys2，在cu01的/root/.ssh/目录下运行cat id_dsa.pub author

38、ized_keys2，再运行scp authorized_keys2 cu02：/root/.ssh/3、在cu02的/root/.ssh/目录下运行cat id_dsa.pub authorized_keys2，再运行scp authorized_keys2 cu03：/root/.ssh/4、重复以上步骤在后面结点上，在最后的计算节点上将生成一个完整的authorized_keys2文件，然后把authorized_keys2文件用scp命令拷贝到其余所有节点的/root/.ssh/目录下，ssh配置完成。2022-5-2971NFS配置：管理节点配置：管理节点 确认在主结点机上安装了nf

39、s-utils 包。开启NFS 服务:/sbin/chkconfig nfs on/sbin/chkconfig nfslock on/etc/init.d/nfslock restart/etc/init.d/nfs restart2022-5-2972 共享以下目录（根据实际情况设置）：/home -用于存放用户的文件/usr/local -用于存放共享的软件/redhat -用于存放系统的安装文件 在文件/etc/exports 中加入下面一行:/home *(rw,async,no_root_squash)/usr/local *(ro,async,no_root_squash)/re

40、dhat *(ro,async,no_root_squash)Note: no_root_squash：如果登录NFS主机使用共享目录的使用者是root，那么对于这个共享的目录来说，它具有root的权限。root_squash；登录NFS主机使用共享目录的使用者是root时，其权限将被转换成为匿名使用者，通常它的UID与GID都会变成nobody身份。选项说明Ro 该主机对该共享目录有只读权限Rw 该主机对该共享目录有读写权限Root_squash 客户机用root用户访问该共享文件夹时，将root用户映射成匿名用户No_root_squash 客户机用root访问该共享文件夹时，不映射roo

41、t用户All_squash 客户机上的任何用户访问该共享目录时都映射成匿名用户Anonuid 将客户机上的用户映射成指定的本地用户ID的用户Anongid 将客户机上的用户映射成属于指定的本地用户组IDSync 资料同步写入到内存与硬盘中Async 资料会先暂存于内存中，而非直接写入硬盘Insecure 允许从这台机器过来的非授权访问2022-5-2974 输出指定目录(/home):exportfs -a(也可重新启动系统)。exportfs -v查看共享的目录2022-5-2975NFS配置：计算节点配置：计算节点扫描可以使用的server目录：showmount e mu01在文件/et

42、c/fstab 中加入下面一行: mgmt:/home /home nfs defaults 0 0 mgmt :/redhat /redhat nfs defaults 0 0 mgmt :/usr/lcoal /usr/local nfs defaults 0 0以上改动在所有的节点机做一遍运行命令:/sbin/chkconfig netfs on它使得系统启动时自动挂接主结点机上的NFS目录。运行命令:mount /home(也可重新启动系统)。NIS配置配置 NIS 主服务器和所有其客户机 (包括从服务器) 会使用同一NIS 域名。 Ypserv： NIS 的服务器进程。 如果如果 ypserv 死掉的话，死掉的话，则服务器则服务器将不再具有响应 NIS 请求的能力。Yppasswd： 另一个只应在 NIS 主服务器上运行的进程； 这是一个服务程序， 其作用是允许 NIS 客户机改变它们的 NIS 口令。 如果没有运行这个服务， 用户将必须登录到 NIS 主服务器上，并在那里修改口令。Ypbind： “绑定(bind)” NIS 客户机到它的 NIS 服务器上。 它将从系统中获取 NIS 域名，并使用 RPC 连接到服务器上。 ypbind 是 NIS 环境中， 客户机-服务器通讯的核心； 如果客户端的 ypbind