架构高性价比的分布式计算机集群_第1页
架构高性价比的分布式计算机集群_第2页
架构高性价比的分布式计算机集群_第3页
架构高性价比的分布式计算机集群_第4页
架构高性价比的分布式计算机集群_第5页
免费预览已结束,剩余19页可下载查看

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、架构高性价比的分布式计算机集群.txt机会就像秃子头上一根毛,你抓住就抓住了,抓不住 就没了。我和你说了 10分钟的话,但却没有和你产生任何争论。那么,我们之间一定有个人 变得虚伪无比!过错是短暂的遗憾,错过是永远的遗憾。相遇是缘,相知是份,相爱是约定, 相守才是真爱。架构高性价比的分布式计算机集群.txt我这辈子只有两件事不会:这也不会, 那也不会。人家有的是背景,而我有的是背影。肉的理想,白菜的命。肉的理想,白菜的命。 白马啊 你死去哪了!是不是你把王子弄丢了不敢来见我了。架构高性价比的分布式计算机集群 正如你所看到的一样,你的机器在绝大多数时间是空闲的,如果你在Windows下用任务管理

2、 器或其他的Linux平台的工具(例如top, xload)观察CPU,你会看到CPU的使用率常见在 12机事实上,如果你有更多的计算机,这种浪费会加剧,在一个有300台计算机的部门里, CPU的空闲率是惊人的。然而这些部门还是需要强大的服务器用来编译或模拟计算,这样的 情况还会加剧,不止需要一台,因为随着用户的增加,即使是8个CPU的服务器,满负荷时 也不能把任务交给另外的空闲服务器,因为用户很少会改变习惯去登陆另外一台服务器。如 果能利用现有的计算资源,把空闲的CPU利用起来,或者能让服务器智能的迁移负荷,就是 你看下去的理由。集群的基本单位是单独的计算机,称为节点(node)。其可增长的

3、特性,称为延展性(Scale), 也就是向集群中加入计算机。集群没有严格的定义,可以说就是许多利用高速联接的,具有 高速运算能力的,具有单一用户界面的计算机组合。这并不是集群的定义,而是表面现象的 描述。集群中的节点需要硬件尽可能的一致,不一致的硬件集群称为异构集群,虽然这并不 能改变集群的特性,但是异构导致集群会花费额外的时间来处理由于异构带来的延迟,另一 方面这也是集群的优势,任何其他的多CPU系统都是严格要求CPU是一致的,集群就有足够 的自由度增减节点,不受类型的限制。本文选择M0SIX作为集群的方案,并使用无盘方点。架构集群并没有想象中那样复杂,参考 下面的步骤可以一步步的架构集群,

4、整个的方案并不是很昂贵,而且便于扩展。使用RedHat 是因为在中国这是最有权威的版本,不论是初学者还是专业工作者,都可以在RedHat Linux 中定制自己的版本。使用终端服务器LTSP是因为结构简单,便于快速扩展。使用的硬件是可 以改进的,比如使用双CPU的主板和至强处理器,这样单一机柜中处理器就密集到48块CPU, 本例中可以使用24块CPU。除了 CPU以外,还可以使用千兆网卡或光纤网卡,交换机可以使 用光纤交换机,内存总数可以达到48GB。但是随着硬件的升级,整体价格就会过高,而性能 的提升并不是按比例的,因此本例的配置是性价比较好的组合。M0SIX是利用给内核源代码 加补丁的办法

5、,增加内核的功能来达到内核级的集群支持,通过编译后的内核启动的系统间 类似SMP多处理器的系统,从外而的角度看只有一台有很多处理器的庞大机器,但是内部是 用很多机器架构成的。而M0SIX集群的特点是对用户透明,原有的应用程序不需要修改代码 即可以在集群中分布计算。有几种情况是不需要使用集群系统的,使用类似网格计算的脚本就可以完成计算,比如三维 动画的渲染,这类计算可以使用不同的行点,不需要对称的硬件,不需要一致的操作系统(需 要应用具有支持不同操作系统的版本),只需要按照处理器来分割渲染的任务段,在每个节点 上运行相应的任务段,然后合成所有节点的计算结果。因为计算数据是离散的(结果的连续 是视

6、觉的连续),因此用类似网格计算的脚本也可以完成。这类计算不需要使用集群也可以完 成。下而本文将告诉你如何准备硬件和软机环境。首先是规划你的计算环境。规划计算环境硬件环境:1.49U标准机柜,安装1U的交换机,24台2U机架式机箱。2. 1U的24 口 100MB交换机(不是集线器)3. Intel P4 2GHz CPU, 1GB DDR, Intel 845D 主板,软驱,NVIDIA 显卡(能启动 X Windows 就可以),2U机架式机箱,3C905B 10/100MB自适应网卡,网关需要配置光驱,80GB硬盘和 双网卡。4. 5类线,按照693A压3米网线24根。5. 显示器,键盘,

7、鼠标仅在安装时使用。软件环境和必要的安装包(除特殊说明外,高版本不一定适用):1. Redhat 7. 2 CD1 和 CD2 安装光盘2. dhcp-3. 0. Irc9-1. i386. rpm是支持启动内核调用的DHCP版本3. dhcpcd-1. 3. 22pll-7. i386. rpm 是 DHCPD 守护进程4. mknbi-1. 2-6. noarch, rpm是制作客户端启动内核的必要软件包5. M0SIX-1. 6. 0. tar. gz是原始的M0SIX文件,最新的版本是1.7. 06. M0SKRN-1. 6. 0. tar. gz是原始M0SIX内核文件,最新的版本是

8、1. 7. 07. openmosix-kernel-2. 4. 18-openmosix2. 1386. rpm 是 MOSIX 分支版本的通用内核,最新的 版本是2. 4. 198. openmosix-kernel-2. 4. 18-openmosix2. 1686. rpm 是 MOSIX 分支版本的新处理器内核,最 新的版本是2.4. 199. openmosix-kernel-smp-2. 4. 18-openmosix2. i686. rpm是XOSIX分支版本的多处理器内核, 最新的版本是2.4.1910. openmosix-kernel-2. 4. 18-openmosix

9、2. src. rpm 是 MOSIX 分支版本的源代码11. openmosix-tools-O. 2. 2-1. i386. rpm 是 MOSIX 分支版本的客户端工具12. ltsp_core-3. 0-11. i386. rpm 是 LTSP 的核心文件13. ltsp_kernel-3. 0-3. i386. rpm 是 LTSP 的内核14. ltsp_floppyd-3. 0. 0-2. i386. rpm 是 LTSP 的软盘工具15. ltsp_initrd_kit-3. 0. l-i386. tgz 是 LTSP 的启动制作工具16. linux_kernel-2. 4.

10、 18. tar. gz是需要编译的内核源码网络配置环境:1 .网关对外网卡配置10. 193. 15. 169,子网掩码255. 255. 255.0给内部网使用,用于登录和 提交进程。2 .网关对内网卡配置192.168. 0.254,子网掩码255. 255.255. 0,网关为10.193.15. 169给 集群用于DHCP服务器,NFS服务器,LTSP服务器。3 .网关对内网卡配置DHCP,分配地址从00到192. 168.0. 253,子网掩码 255. 255. 255.0,都是 C 类。当以上条件都具备时,可以开始架构MOSIX集群。1.安装所有硬件,并能

11、确保可以从光盘启动网关服务器系统,5点可以使用软盘启动,检查 BIOS的启动设置,并确认可以正确启动。将所有节点和交换机安装到机柜上,用网线连接交 换机和各h.点,网关需要额外的网线连接到局域网,因为可以称集群计算环境为冲算场 (Computing Farm),因此对应局域网称集群系统的网络为计算网络。连接好电源后,使用两 套显示器和键盘鼠标,分别连接一台节点机和网关服务器。安装RedHat 7. 2版本在具有两块网卡的网关服务器上,分区使用自动分区(比较简单,本文 不讨论Linux其他问题),选择定制安装,但不要安装所有的软件包,除缺省的选择外,需要 额外选择软件开发和内核开发两组软件包,安

12、装时没有选择的软件包,可以在系统正常启动 后参考如何编译内核中的软件包来安装。安装到网络配置时,按照网络环境配置IP地址, 需要配置DNS的需要修改对外网卡的设置,使用小写mosix为主机名。安装完后需要验证网 关服务器可以正常启动,按照个人喜好来设定系统,推荐使用文本模式,图形模式资源消耗 较大。另外需要连接到RedHat网站升级有缺陷的软件包,减少系统漏洞,注意别把内核也升 级了,并不是因为本文的操作,而是内核升级后,系统很可能启动失败,本文将自己编译内 核。升级完成后重启,再次确认系统没有任何错误。3.安装MOSIX包(openmosix的安装是另外的分支)需要很多步骤,注意操作步骤的准

13、确性:A,将所有下载的软件包上载到服务器的/usr/src/tmp目录下,确认下载的软件包是完整的,确认md5的校验结果一致:su -cd /usr/src/makdir tmpmd5 package.B,将RedHat 7.2 CD2放入到光驱。参考以下操作确认编译内核需要的软件包已经存在:mount /dev/cdrom /mnt/cdromcd /mnt/redhat/RPMrpm -Uvh kerne1-headers*rpm -Uvh kernel-source*rpm -Uvh kernel-doc*rpm -Uvh dev86*rpm -Uvh make-*:rpm -Uvh g

14、libc-devel*rpm -Uvh cpp*rpm -Uvh ncurses-devel*rpm -Uvh binutils*rpm -Uvh gcc-2*rpm -Uvh t /usr/srcumount /mnt/cdromC,安装需要的软件包,展开所有的tar. gz软件包:tar xvfz MOSIX-1. 6. 0. tar. gz tar xvfz MOSKRN-1. 6. 0. tar. gz tar xvfz linux-2. 4. 18. tar. gzD,如果展开文件没有错误,将各个软件展开目录移到正确的位置:mv MOSIX-1. 6. 0 /usr/src/mv M

15、OSKRN-1. 6. 0 /usr/src/ mv linux /usr/src/linux-2. 4. 18chmod goa+x /usr/src/MOSIX-1. 6. 0/inst/add_kernel_to_grub mkdir /usr/local/manF,下面才是真正有趣和让人着迷的步骤,首先要创建编译内核配置文件的目录,这是个好习 惯, 因为每次的编 cd /usr/src mkdir config, backuped /usr/src/linux-2. 4. 7-10/configsepkernel-2. 4 7-i686. config /usr/sre/config,

16、 backup/kerne1-2. 4. 18. configcd /usr/src/cp config, backup/kerne1-2. 4. 18.config linux-2. 4. 18/. configH,根据你的情况修改Makefiles的EXTRAVERSION部分,原值为18,可改为mosix来标明编 译后的内核版本,cd /usr/src/linux-2. 4. 18vi Make = 18cd /usr/src/MOSIX-1. 6. 0. /mosix. installJ,安装开始后会有一些问题,除新内核加入LILO或GRUB一问回答为G以外的问题都用回车 使用缺省选择

17、(大写的字母为缺省值)。问题依次为内核源代码的路径,新内核的启动选项添 加在那个启动程序中,内核所包含的库文件连接,MOSIX服务的启动级别,创建MFS装载目 录,启动那种内核编译配置菜单,是否显示内核编译详细过程,是否显示用户级编译详细过 程。随后系统开始给内核源代码加补丁,启动内核编译配置菜单。K,在内核编译配置菜单中,你可以看到新增加的MOSIX选项。L,选择进入MOSIX选项并添加直接文件系统访问(Direct Access)和MOSIX文件系统 (MOSIX ) o用ESC键推出当前选单。M,添加块设备(Block devices)的内存虚拟盘的支持(RAM disk support

18、)和使用初始化 进程初始化内存虚拟盘(Initial RAM disk (initrd) support)两项。N,在网络选项(Networking options)中增加对IP内核级自动配置(IP: kernel level autoconfiguration), IP 动态地址支持(IP: DHCP support), IP 启动地址绑定支持(IP: BOOTP support)o0,建议除去SCSI的支持,本例中没采用SCSI设备,并且可以避免内核编译失败。建议除去 声卡支持。P,在网络文件系统(Network )中增加NFS支持根文件系统(Root on NFS)Q,最后多按一次ESC

19、键,提示保存配置文件,选择Yes。系统将开始编译内核,编译模块, 安装内核,安装模块。该过程可能会产生一些警告,只要编译没退出,并正常完成回到提示 符状态就完成了编译。R,先不要忙于重启,需要修改/boot/grub/grub, conf文件中MOSIX的内核路径一行,原路 径为/boot/vmlimiz-2. 4. 18-mosix,修改为/vmlinuz-2. 4. 18-mosix。修改完后键入 reboot 可以重新启动。S,这时的启动菜单中出现Mosix 1.6.0 (2. 4. 18),选择该项启动MOSIX系统。T,系统启动中会出现若干错误,图中第一个是由于没有创建/mfs引起的

20、,第二个是由于YOSIX 更改了 sshd服务的权限,而没启动另外的MOSIX的sshd引起的。第一次启动MOSIX系统, 会要求配置mosix. map文件,回车选择缺省的编辑器进入编辑。U,配置文件修改完成后,系统会提示节点的IP地址有变化时需要修改mosix. map文件中的 节点号。因为网关服务器是192. 168. 0. 254因此定义为节点1,其他的节点从192.168. 0.1 开始共有253个节点,节点号从2开始。V,进入系统后,启动MOSIX,显示初始化MOSIX, MOSIX配置完成。service mosix start4.因为MOSIX有另外的分支openmosix,因

21、为版权问题不同(后面将会介绍),openmosix 更开放一些,而且openmosix的安装相对简单,推荐没有经验的初学者使用,下而是openmosix 的安装和基于openmosix的客户端配置注意:MOSIX和openmosix虽然都是MOSIX原理卜 的软件,但是互相是不能通讯的,因此一个集群系统里要统一使用一种平台。openmosix是 使用rpm为安装包的,事实上只是把编译好的内核直接挂接到系统里,并没有经过你自己的 编译,对于初学者而言要方便许多。以下操作是在刚安装完RedHat Linux 7. 2的系统上完成 的,除。penmosix的软件包外,不需要其他任何的软件包,缺省目录

22、在Aisr/src/下。可根据 情况安装 SMP 版本,openmosix-kernel-2. 4. 18-openmosix2. i386. rpm 版本适合于所有 X86 体系的处理器,openmosix-kernel-2. 4. 18-openmosix2. 1686. rpm 版本适合本例, openmosix-kernel-2. 4. 18-openmosix2. src. rpm 是包含 kernel-2. 4. 18 和 openmosix 内核补 丁的源代码。当安装完成后启动时就可以看到openmosix的启动项。cd /usr/src/rpm -Uvh openmosix-k

23、ernel-2. 4. 18-openmosix2. i686. rpmrpm -Uvh openmosix-kernel-2. 4. 18-openmosix2. src. rpmrpm-Uvhopenmosix-tools-O. 2. 2-1. i386. rpmrpm -Uvh dhcp-3. 0. Irc9-1. i386. rpmrpm -Uvh dhcpcd-1. 3. 22pll-7. 1386. rpmrpm -Uvh mknbi-1. 2-6. noarch, rpmrpm -Uvh ltsp_core-3. 0-11. i386. rpm rpm -Uvh ltsp_ker

24、nel-3. 0-3. i386. rpm rpm -Uvh ltsp_floppyd-3. 0. 0-2. i386. rpm rpm -Uvh ltsp_initrd_kit-3. 0. l-i386. tgz mv ltsp_initrd_kit /usr/src/6 .因为使用的是openmosix,你需要单独展开的linux-2. 4. 18. tar. gz文件和openmosix的 补 文件,需要将 openmosix 的补丁加入,你在安装 openmosix-kernel-2. 4. 18-openmosix2. src. rpm 时,源文件会存在于 /usr/src/redh

25、at/SOURCES/目录下,同时还有内核补文件。cd /usr/src/redhat/SOURCES/tar xvfz linux-2. 4. 18. tar. gzmv /usr/src/redhat/SOURCES/1inux /usr/src/linux-2. 4. 18-om27 .将内核补丁文件展开并加入内核源文件,并作编译前准备,将旧的内核编译中间结果清理 干净:cp /usr/src/redhat/SOURCE/openMosix-2. 4. 18-2. gz /usr/src/linux-2. 4. 18-om2,/gunzip /usr/src/linux-2. 4. 18

26、-om2/openMosix-2. 4. 18-2. gzcd /usr/src/1inux-2. 4. 18-om2patch -Npl 直接文件系统访问(Direct Access) openmosix 文件系统(OpenMosix ),注意 不要选择内核调试(Kernel Debugger) o其他的配置根据具体需要,没有SCSI硬盘可以去掉 SCSI选项,不需要声卡,也可以去掉。make menuconfig11 .编译内核一般分为编译库(make dep),编译启动映象(make bzImage),编译模块(make modules)和安装模块(make Diodules_insta

27、ll)。系统可以连续完成几步操作: make dep & make bzlmage & make modules & make modules_install12 .如果系统没有提示错误并中止,将会显示新的内核映象的大小,模块编译完成并安装等 信息。编译完成的内核将作为客户端的内核系统,因此需要将模块复制到LTSP的目录下:cp -R /lib/modules/2. 4.18-om2 /opt/ltsp/i386/lib/modules/13 .完成后将创建符合无盘启动的系统,使用LTSP的初始化工具就可以完成,进入/usr/src/ltsp_initrd_kit 目 cd /usr/src/

28、ltsp_initrd_kit/vi buildk# prepare_kernel /usr/src/1inux-2. 4. 9-ltsp2. 4. 9-ltsp-5# prepare_kernel /usr/src/1inux-2. 4. 9-ltsp-lpp 2.4.9-ltsp-lpp-5 lppprepare_kernel /usr/src/1inux-2. 4. 18-om2 2. 4. 18-om214 .修改完后运行buildk将会在/t下创建新的内核启动文件。./buildk15 . cd /t -s vmlinuz-2. 4. 18-om2 vnnlinuz-openmosi

29、x16 .修改/etc/dhcpd.conf文件,使动态地址分配支持新的启动内核。修改内核启动文件的 名称和路径,如果该文 cd /etc/vi dhcpd. conf /Its/vmlinuz-openmosix;17 .随后你可以添加自动分配主机名,这样每台客户机启动时自动生成主机名,注意主机名 要和你的 hosts 文件对应 vi dhcpd. conf ”/Its/vmlinuz-openmosix”; option host-name = concat(node”, binary-to-ascii( 10, 8, substring (reverse ( 1, leased-addr

30、ess), 0, 1);chkconfig t dhcpd onservice dhcpd restartservice xinetd restartcd /etc/vi mosix. mapl 54 12 192.168. 0.1 253cp /etc/mosix. map /opt/ltsp/i386/etc/20 .复制。penmosix的工具到客户端的目录中。cp /sbin/setpe/opt/ltsp/1386/sbin/cp/bin/mosrun /opt/ltsp/i386./bin/cp/bin/mosmon/opt/ltsp/i386/bin/cp /

31、bin/mosctl /opt/ltsp/i386/bin/cp /bin/migrate /opt/ltsp/i386/bin/21 .因为/opt/ltsp/i386目录最后是客户端的根文件系统,需要的工具都可以复制到相应的 目录中。因为/opt/ltsp/i386/etc/hosts文件是连接,因此需要先删除后复制新文件。cp /bin/touch /opt/ltsp/i386/binrm -f /opt/ltsp/i386/etc/hostscp /etc/hosts /opt/ltsp/i386/etc/cp /etc/rc. d,/init. d/openmosix /opt/lt

32、sp/1386/etc/rc. openmosixmkdir /opt/ltsp/i386/mfs23 .修改客户端文件系统配置文件,加入mfs的配置:cd /opt/ltsp/i386/etcvi fstabnone /mfs mfs dfsa =10024 .修改客户端启动进程脚本,加入启动openmosix的配置,禁止客户端提交集群计算的设 置,和装载/mfs文件系统的配置。vi /opt/ltsp/i386/etc/rc. local# OpenMosix startup section# we dont want any terminal processes to migrateec

33、ho 1 /proc/mosix/admin/lstay# start mosix/etc/rc. openmosix start# mount mfs . doesnt work when done earliermount /mfs# End OpenMosix Startup Section25 .配置完成后准备软盘制作以太启网启动盘。访问网站,选择网卡类型生成以太网启动芯 片的映象,保存到Linux上,使用cat生成启动软盘。本例中使用3c905B。放入一张空白三 时软盘。cat eb-5l. 0. 7-3c905b-tpol00. Izdsk /dev/fdO26 .修改LTSP客户

34、端启动配置文件/opt/ltsp/i386/etc/lts.conf,禁止启动X Windows, 修改参数X_USBMOUSE_BUTTONS = 3,即启动文本界面,27 .确认/etc/exports文件包含共享客户端根文件系统和交换区内容:more /etc/exports/opt/ltsp/1386192. 168. 0.0/255. 255. 255. 0(ro, no_root_squash)/var/opt/ltsp/s192. 168. 0. 0/255. 255. 255. 0 (rw, no_root_squash)28 .将以太启动软盘放入客户端,开机并确认正常启动,正

35、常获得动态地址,加载内核成功, 初始化脚本正常运行,主机名自动生成,。penmosix正常初始化,没有任何错误提示。29 .回到服务器,通过检查/mfs文件系统来检查mfs文件系统。30 .启动mosmon监控程序来检查通讯是否有效,这是刚加入3个节点时,启动setiathome 计算的状态。将下载的应用展开在/dw目录下,注意命令的格式。mosrun -jl-3 /mfs/1/dw/set iathome1 -nolock31 .制作启动盘,陆续加入节点,MOSIX集群就创建完了。典型的配置文件/etc/mosix. map1 192. 168. 0. 254 12 192. 168. 0.

36、 1 253/etc/dhcpd. confdefault-lease-time 21600;max-lease-time 21600;ddns-update-style none;allow booting;allow bootp;option subnet-mask 255.255. 255. 0;option broadcast-address 55;option routers 192.168. 0. 254;option domain-name-servers 54;option domain-name “mosix”;option roo

37、t-path z/192. 168. 0. 254:/opt/ltsp/i386z/;shared-network NODES (subnet 192. 168. 0. 0 netmask 255. 255. 255. 0 range dynamic-bootp 192. 168. 0. 100 192. 168. 0. 253;use-host-decl-names on;option log-servers 54;if substring (option vendor-class-identifier, 0, 9) = ,/PXEClient /z/lts/pxe/p

38、xelinux. bin”;)else/11s/vm 1 inuz-2. 4. 18-mosix”;option host-name = concat(node” , binary-to-ascii ( 10, 8, substring (reverse ( 1, leased-address), 0, 1);)group use-host-decl-names on;option log-servers 54;host nodeOOl hardware ethernet 00:E0:06:E8:00:84;fixed-address 192.168. 0. 1;/Its

39、/boot/bootp/vmlinuz. eeprolOO. bootp”;)host node002 hardware ethernet 000:09:30:6A:IC;fixed-address 192.168.0. 2;/z/lts/boot/bootp/vmlinuz. tulip, bootp”;)host node003 hardware ethernet 000:09:30:28:B2;fixed-address 192.168.0. 3;# kernels are specified in /t/z/lts/boot/pxe/pxelinux. bin”;)/etc/expor

40、ts/opt/ltsp/i386 192. 168. 0. 0/255. 255. 255. 0(ro, no_root_squash)/var/opt/ltsp/s 192. 168. 0. 0/255. 255. 255. 0(rw, no_root_squash)/etc/hosts 和 /opt/ltsp/i386/etc/hosts192. 168. 0. 254 mosix192. 168. 0. 1 nodeOOl192. 168. 0. 2 node002192. 168. 0. 3 node003192. 168. 0. 4 node004省略一部分192. 168. 0.

41、253 node253 localhost, localdomain localhost/opt/ltsp/i386/etc/fstabnone /mfs mfs dfsa=l 0 0/opt/ltsp/i386/etc/lts. confDefaultSERVER = 192. 168. 0. 254XSERVER = offXJIOUSE.PROTOCOL = PS/2”XJIOUSE.DEVICE = /dev/psauxX.MOUSE.RESOLUTION = 400X.MOUSE.BUTTONS = 3X_USBMOUSE_PROTOCOL= PS/2”X_USBM

42、OUSE_DEVICE = /dev/input/miceX.USBMOUSE.RESOLUTION = 400X.USBMOUSE.BUTTONS = 3USE.XFS = NLOCAL.APPS = NRUNLEVEL = 3SOUND = YVOLUME = 75常见问题和解决方法内核编译失败怎么办?编译内核是MOSIX集群的最大操作,对于没有编译过内核的人会遇到很多编译失败的问题。对于经常出现的问题和解决办法如下:编译失败在SCSI设备时,如果没有SCSI设备,在编译配置菜单中除去SCSI选项。编译失败在SiS芯片时,如果没使用SiS芯片组的主板,在编译菜单中除去SiS芯片支持选 项。

43、更改编译文件后仍然编译失败时,注意将上一次编译的中间文件清理干净,使用如下命令(不 要忘记备份.config文件):cd /usr/src/1inux-2. 4. 18-om2cp . config/usr/src/conf ig. backup/conf ig-newkerneImake mrproperDHCP为什么不能正确读取配置文件?确认你的DHCP版本要3. 0. 1以上,可以到RedHat的网站上下载。另外检查/etc/dhcpd. conf 文件配置是否有错误,可以参考本例的文件。配置完启动时出现sshd加载失败时怎么办?该情况出现在MOSIX修改sshd的属性后出现,你可以加载

44、MOSIX的ssd守护进程,操作如下:chkconfig sshd. pre-mosix onservice sshd. pre-mosix start首次启动MOSIX时提示Host name lookup failure是什么原因?这是由于/etc/hosts文件没有正确标出主机名对应的地址造成的,修改/etc/hosts文件正确 就可以。首次启动MOSIX时提示以下错误是什么原因?setpe: the supplied table is well-formatted,but my IP address () is not there!这是由于RedHat Linux的h

45、ost文件缺省只有对应主机名,可以将/etc/hosts 文件中的127. 0. 0. 1 mosix localhost分开描述:vi /etc/hostsl92. 168. 0. 254 mosixl27. 0. 0. 1 localhost制作LTSP启动内核映象失败注意使用的LTSP初始化工具是ltsp_initrd_kit-3. 0. l-i386. tgz版本,其他的版本因为修 改了初始化脚本,目前没有方法可以初始化成功。另外制作启动内核映象时必须有mknbi-1. 2-6. noarch, rpm包,从RedHat的网站上可以卜载 最新的版本。配置Itsp客户端

46、DHCP启动失败 检查/etc/dhcpd.conf文件指向的启动内核路径正确,确认物理连接正确,确认软盘未损坏, 确认LTSP内核启动文件正常编译。确认安装并启动了 tftp守护进程,确认/etc/exports文 件共享了正确的客户端根文件系统路径。配置Itsp客户端启动X Windows失败如果需要在客户端启动X Windows,需要安装LTSP的X包,并根据显示卡的不同安装不同的 X服务器版本。rpm -Uvh ltsp_x_core_3. 0. 1-1. i386. rpmrpm -Uvh ltsp_x_fonts_3. 0. 0-0. i386. rpm下载连接是:如果并不需要启动

47、X Windws 需要修改/opt/ltsp/i386/etc/lts. conf文件中 X_USBMOUSE_BUTTONS = 3即可启动文本界面。LTSP客户端启动后找不到主机名或不能解析主机名确认/opt/ltsp/i386/hosts文件不是符号连接,并且和/etc/hosts文件一致,确认 /etc/dhcpd. conf文件中加入自动生成主机名配置,确认生成的主机名与hosts文件中的一 致。LTSP客户端启动后不能启动mosix确认/etc/mosix. map fl/opt/ltsp/1386/etc/mosix. map 文件一致。启动mosix后没找到mfs目录手动创建/

48、mfs目录:mkdir /mfsmkdir /opt/ltsp/i386/mfs背景资料:相关名词SMP:对称多处理器LTSP: Linux 终端服务器项目(Linux Terminal Server Project)Kernel:内核Ramdisk:内存虚拟盘Etherboot:以太启动Bootrom:网卡启动芯片 大型主机(Mainframes),超级计算机(Supercomputers)和集群(Clusters)纵观计算机的历史,最先让人了解的就是大型主机和超级计算机,这是计算机历史的一部分, 没有这些大家伙,就没有今天的个人电脑。这些大家伙通常是一个或几个有强大研发队伍和 资金的厂商完

49、成,最初的目的是军方或政府的需要,很多大学的研发也促成了这些大家伙更 强大。一般情况下,大型主机和超级计算机都使用超过8个,多达上百个的CPU和自己的专 用操作系统,计算机历史上很多的重要成员都和这些大家伙有关,IBM, DEC, Cray, SGI, HAL 大型主机己经成为历史,而超级计算机成了各国技术实力的争夺焦点,但是目前个人电脑的 发展使集群成为竞争超级计算机的强大对手,集群的CPU数和浮点能力和超级计算机的差距 已经越来越近。 Cluster集群系统,也有成为机群和群集系统的。集群主要分为三类:容错集群(Fail-over Cluster), 负载均衡集群(Load balanci

50、ng Cluster),高性能计算集群(High Performance Computing) ()容错集群是指两台主机通过两个或两个以上网路连接的系统,其中一个连接称为心跳线 (heartbeat),利用每台主机上的服务进程监控对方主机的状态,一旦发现对方主机宕机或 出现不能正常工作的情况,心跳线会反映给互为备份的另外一台主机,该主机则会接替出问 题的主机。典型的使用场景是空军的雷达追踪系统。负载均衡集群一般用于相应网络请求的网页服务器,代理服务器。这种集群可以在接到请求 时,检查接受请求较少,不繁忙的服务器,并把请求转到这些服务器上。从检查其他服务器 状态这一点上看,负载均衡和容错集群很接

51、近,不同之处是数量上更多。高性能计算集群是指具有响应大量计算的性能,可以作为数据中心使用的计算机的集合。比 如压缩mp3,气象云图的分析等。 集群模式(N)UMA非一致性内存访问(Non-)Uniform Memory Access 一般是指通过执行特殊的程序代码 对内存的共享访问。在Linux内核中,可以执行对访问时间内的不同内存区域进行交叉访问, 也就是内核进程可以使用接近CPU使用时的内存。对正在使用内存区域的访问,才可以共享。 线性的内存访问是无法共享的。PVM/MPI 是指并行虚拟机(Parallel Virrual Machine)和信息传递界而(Message Passing I

52、nterface) o在Beowulf的世界里最常提到的就是这两个概念,该软件包已经提供了多平台 的版本。通过开放式的标准信息传递库,并行机之间可以通讯,事实上PVM也是一组库,程 序可以使用这些编译库来改造程序适应并行系统。但是这些都要相应的修改源程序,系统内 核事实上并没有发生改变。其他模式:Turbo Linux EnFuzion. Platform等网格计算(Grid Computing)不必讨论这类集 群不是单纯意义的集群,以Enfuzion为例,EnFuzion是Turbo Linux收购的一个软件改良 版(前身就叫Cluster),因为使用了 Java,可以跨平台,使用驻留系统服

53、务来监控集群间的 通讯,事实上是任务分发和监控器,依赖于计算数据离散性,对于数据不可分的程序,无能 为力。也就是说每个行点都运行相同的程序,但处理的数据是不同的,该集群提供了控制这 些程序的界面,跨平台性也只是依赖于计算的应用有跨平台版本,而其只提供跨平台的监控。 主要集中在CPU空闲的监控和计算的再分配。 数据可分和程序可分集群计算中最重要的就是分布,根据不同的应用,分为两种:数据可分和程序可分。数据可分是指数据间没有必然联系或联系在结果的基础上,比如mp3的压缩,每个单独的mp3 互不关联,或者有限元计算的某个步骤,单一的曲面计算生成结果再参加后面的关联计算, 更著名的是SETIhome通

54、过分析射电望远镜的信号寻找外星人,这是典型的将中间分析结果 传递给下一部分析,这就是数据可分,这最适合网格计算。程序可分,用过ANSYS的人都知道商业软件分为单处理器和多处理器版本,因为计算量大, 所以支持SMP的计算软件和使用单一 CPU的软件是不同的,多CPU共同运算时也要考虑到内 存的访问,处理通讯和负载均衡,除非操作系统支持,不然使用DOS和Windows9x很难用到 第二个CPU (甚至不可见),有了操作系统的支持,应用程序也要支持,即使操作系统支持并 行,应用程序不可分的话,只能使用1/n (CPU数量)的处理能力,典型的例子就是2CPU 的WindowsNT/2000下使用单处理

55、器版本的ANSYS,处理器进程显示50%,但是2CPU共同生效。 而使用多处理器版本时,2CPU都可以在98席的使用率。因此程序可分是奥群重要的应用基础, 即使程序本身不可分,而集群支持子进程的迁移,也意味着类似SMP系统支持程序可分。 SETIhome在家寻找外星人计戈”,这是NASA全球计划之一,位于波多黎各西北的一个火山口中垂直对天 的射电望远镜Arecibo(007黄金眼中最后决战的地点和X-files第二部第一集中收到外星人 电波的天线,直径305米,接收器高约30米,约位于130米高处),用于收集来自宇宙的无 线电信号,就像TCP/IP网中的sniffer,这是宇宙中的一个嗅探器,

56、通过收集信号,来分析 由智慧生物发出的,有一定规律的无线电。比如,第一台电视的信号和猫王歌曲在多年前通 过收音机发送的无线电信号,至今还在宇宙中遨游,虽然可能很微弱了,但是还可以接收到。 这个计划就是接受类似外星人的无线电信号,具体的步骤是让个人电脑的用户下载客户端程 序,一个屏幕保护程序,或一个命令行程序,然后在连接互联网时下载大约330KB的数据包, 然后利用处理器空闲时间计算。该数据包只是庞杂数据中的一小部分,但是全球目前加入的 上亿台计算机就构成了最大的超级计算机,当计算完成后,在连接互联网时上载结果,并下 载新的数据包,根据其目前的计算形式,Intel称为P2P计算,其实是网格计算的

57、一种。上 载的数据不是最终数据,经过和其他人加工的数据整合,会产生新的结果,这时可能要继续 计算,也可能就此产生阶段报告,每天SETIhome的主页上都会有新的成果,当然不一定是 发现外星人的报告。笔者的成绩因为借助了自己设计的网格计算,全球4055845位排名1787 名左右,还在向前靠拢,大约是完成了 23096个数据包。波多黎各一个火山口中的Arecibo射电望远镜记得那个著名的007镜头吗?相关连接:SETIShome 的主页:笔者的成绩:openMosix小组的成绩:波多黎各Arecibo射电望远镜: 需要强大计算的应用财务与社会行为分析,使用数学模型模拟的计算。音乐,图象等多媒体数据处理,例如mp3压缩,动画渲染,后期处理。流体力学,有限元分析,例如乐高玩具的数字模拟强度

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论