fluent 经典问题 请问双CPU并行计算的效率问题.doc

fluent 经典问题 请问双CPU并行计算的效率问题.txt27信念的力量在于即使身处逆境，亦能帮助你鼓起前进的船帆；信念的魅力在于即使遇到险运，亦能召唤你鼓起生活的勇气；信念的伟大在于即使遭遇不幸，亦能促使你保持崇高的心灵。发信人: rao (绕绕), 信区: NumComp标 题: 合集 请问双CPU并行计算的效率问题发信站: BBS 水木清华站 (Mon Jul 7 03:32:43 2003), 站内 xuzheng (天使暂时离开_反方向的钟) 于 (Fri Jul 4 11:03:44 2003) 提到:大致上只有一个CPU在工作，或者两CPU占有率相当于一个CPUmpich1.2.5+fortran怎么配置可以使两个CPU同时工作？BOW luxz (panda-在热死和冻死边缘挣扎) 于 (Fri Jul 4 11:04:57 2003) 提到:mpirun -np 2 *.exe【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: 大致上只有一个CPU在工作，或者两CPU占有率相当于一个CPU: mpich1.2.5+fortran: 怎么配置可以使两个CPU同时工作？: BOW xuzheng (天使暂时离开_反方向的钟) 于 (Fri Jul 4 11:06:27 2003) 提到:不是，你误解了我的意思再具体点说就是16个节点双CPU的集群，并行计算过程中每个节点的CPU效率大概只有50【 在 luxz (panda-在热死和冻死边缘挣扎) 的大作中提到: 】: mpirun -np 2 *.exe Jumping (Man in Experiments) 于 (Fri Jul 4 11:07:30 2003) 提到:如果算法不怎么nb，也就这个效率了。【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: 不是，你误解了我的意思: 再具体点说就是16个节点双CPU的集群，并行计算过程中: 每个节点的CPU效率大概只有50 luxz (panda-在热死和冻死边缘挣扎) 于 (Fri Jul 4 11:09:30 2003) 提到:在host文件中修改一下hostid; number of cpu you want to use; file path.然后要生成16*2=32 个domain，这样每个节点就会用2个cpu处理2个domain了【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: 不是，你误解了我的意思: 再具体点说就是16个节点双CPU的集群，并行计算过程中: 每个节点的CPU效率大概只有50 xuzheng (天使暂时离开_反方向的钟) 于 (Fri Jul 4 11:09:35 2003) 提到:你的意思是和算法有关？那双CPU岂不白搭了，单CPU就ok了，呵呵【 在 Jumping (Man in Experiments) 的大作中提到: 】: 如果算法不怎么nb，也就这个效率了。 xuzheng (天使暂时离开_反方向的钟) 于 (Fri Jul 4 11:11:52 2003) 提到:你的意思是修改machinefile？那样的话第二个选项应该是启动进程个数，不是CPU个数吧还有只希望每个节点2CPU处理一个domain。【 在 luxz (panda-在热死和冻死边缘挣扎) 的大作中提到: 】: 在host文件中修改一下: hostid; number of cpu you want to use; file path.: 然后要生成16*2=32 个domain，这样每个节点就会用2个cpu处理: 2个domain了 luxz (panda-在热死和冻死边缘挣扎) 于 (Fri Jul 4 11:11:53 2003) 提到:如果配置得当的话，即便算法不好，总体cpu使用率不高，但是峰值的cpu使用率还是可以超过50的，如果cpu使用率始终低于50，那就是配置的问题了。呵呵我的程序平均平行效率也只有60上下，/汗！，但峰值的时候还是可以达到100的。【 在 Jumping (Man in Experiments) 的大作中提到: 】: 标 题: Re: 请问双CPU并行计算的效率问题: 发信站: BBS 水木清华站 (Fri Jul 4 11:07:30 2003), 转信: : 如果算法不怎么nb，也就这个效率了。: 【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: : 不是，你误解了我的意思: : 再具体点说就是16个节点双CPU的集群，并行计算过程中: : 每个节点的CPU效率大概只有50: : : -: : : 席拥飞花落絮， 炉烹白雪清冰， : : 坐林中锦绣团裀； 熬天上玲珑液髓。 : : : : 来源:BBS 水木清华站 FROM: 23 luxz (panda-在热死和冻死边缘挣扎) 于 (Fri Jul 4 11:13:29 2003) 提到:当两个cpu处理一个domain，那你让系统怎么处理，嘻嘻除非你那个domain里面又有smp的代码否则系统当然只能以串行的方式计算你的domain了，cpu使用率当然只有50【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: 标 题: Re: 请问双CPU并行计算的效率问题: 发信站: BBS 水木清华站 (Fri Jul 4 11:11:52 2003), 转信: : 你的意思是修改machinefile？: 那样的话第二个选项应该是启动进程个数，不是CPU个数吧: : 还有只希望每个节点2CPU处理一个domain。: : 【 在 luxz (panda-在热死和冻死边缘挣扎) 的大作中提到: 】: : 在host文件中修改一下: : hostid; number of cpu you want to use; file path.: : 然后要生成16*2=32 个domain，这样每个节点就会用2个cpu处理: : 2个domain了: : : -: 念来去，如水流: 徘徊久，叹息浓: 旧心情，情依旧: 愁自去，去更愁: : : 来源:BBS 水木清华站 FROM: 37 xuzheng (天使暂时离开_反方向的钟) 于 (Fri Jul 4 11:20:32 2003) 提到:那看来你的意思就是每个节点当两个节点用了，是把：）精华区有人说2CPU效率基本达到100也是这样的喽？主要是程序中有不少文件操作，那样的话会文件使用处突，得改文件名比较麻烦，呵呵【 在 luxz (panda-在热死和冻死边缘挣扎) 的大作中提到: 】: 当两个cpu处理一个domain，那你让系统怎么处理，嘻嘻: 除非你那个domain里面又有smp的代码否则系统当然只能以串行: 的方式计算你的domain了，cpu使用率当然只有50 luxz (panda-在热死和冻死边缘挣扎) 于 (Fri Jul 4 11:23:13 2003) 提到:你就在每个domain中间加一点open mp的代码吧也不是很麻烦而且你的这个想法其实很好哦如果在每个结点上作smp，可以减少很多mpi通信时间【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: 标 题: Re: 请问双CPU并行计算的效率问题: 发信站: BBS 水木清华站 (Fri Jul 4 11:20:32 2003), 转信: : 那看来你的意思就是每个节点当两个节点用了，是把：）: : 精华区有人说2CPU效率基本达到100也是这样的喽？: : : 主要是程序中有不少文件操作，那样的话会文件使用处突，得改文件名: 比较麻烦，呵呵: : 【 在 luxz (panda-在热死和冻死边缘挣扎) 的大作中提到: 】: : 当两个cpu处理一个domain，那你让系统怎么处理，嘻嘻: : 除非你那个domain里面又有smp的代码否则系统当然只能以串行: : 的方式计算你的domain了，cpu使用率当然只有50: : : -: 念来去，如水流: 徘徊久，叹息浓: 旧心情，情依旧: 愁自去，去更愁: : : 来源:BBS 水木清华站 FROM: 37 cloudfly (阿斐) 于 (Fri Jul 4 11:26:53 2003) 提到:除了加入smp代码以外，只有改文件名了，而且我实践的结果是每个节点当两个节点的效率比每个节点使用smp要高所以推荐你改文件名。【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: 那看来你的意思就是每个节点当两个节点用了，是把：）: 精华区有人说2CPU效率基本达到100也是这样的喽？: 主要是程序中有不少文件操作，那样的话会文件使用处突，得改文件名: 比较麻烦，呵呵 Jumping (Man in Experiments) 于 (Fri Jul 4 11:28:13 2003) 提到:那你前面说的50的效率，难道值得是两个cpu只有一个工作，所以是50%？倒。【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: 你的意思是和算法有关？: 那双CPU岂不白搭了，单CPU就ok了，呵呵 luxz (panda-在热死和冻死边缘挣扎) 于 (Fri Jul 4 11:29:01 2003) 提到:这个不一定吧看编译器还有程序的算法了从理论上说，smp只要在同一机器内部线程通信，而mpi如果不特意设定的话，需要在整个机群中通信，应该还是smp快一些？【 在 cloudfly (阿斐) 的大作中提到: 】: 标 题: Re: 请问双CPU并行计算的效率问题: 发信站: BBS 水木清华站 (Fri Jul 4 11:26:53 2003), 转信: : 除了加入smp代码以外，只有改文件名了，: 而且我实践的结果是每个节点当两个节点的效率比每个节点使用smp要高: 所以推荐你改文件名。: : 【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: : 那看来你的意思就是每个节点当两个节点用了，是把：）: : 精华区有人说2CPU效率基本达到100也是这样的喽？: : 主要是程序中有不少文件操作，那样的话会文件使用处突，得改文件名: : 比较麻烦，呵呵: : : -: : 来源:BBS 水木清华站 FROM: 01 xuzheng (天使暂时离开_反方向的钟) 于 (Fri Jul 4 11:29:07 2003) 提到:呵呵，其实我指的就是这个意思，哈哈【 在 Jumping (Man in Experiments) 的大作中提到: 】: 那你前面说的50的效率，难道值得是两个cpu只有一个工作，所以是50%？: 倒。 luxz (panda-在热死和冻死边缘挣扎) 于 (Fri Jul 4 11:29:26 2003) 提到:似乎是这样的呵呵【 在 Jumping (Man in Experiments) 的大作中提到: 】: 那你前面说的50的效率，难道值得是两个cpu只有一个工作，所以是50%？: 倒。 cloudfly (阿斐) 于 (Fri Jul 4 11:31:26 2003) 提到:所以我说的是实践的结果，(_)【 在 luxz (panda-在热死和冻死边缘挣扎) 的大作中提到: 】: 这个不一定吧看编译器还有程序的算法了: 从理论上说，smp只要在同一机器内部线程通信，而mpi如果不特意设定的话，: 需要在整个机群中通信，应该还是smp快一些？ xuzheng (天使暂时离开_反方向的钟) 于 (Fri Jul 4 11:33:40 2003) 提到:Thanks to all:)【 在 cloudfly (阿斐) 的大作中提到: 】所以我说的是实践的结果，(_)【 在 luxz (panda-在热死和冻死边缘挣扎) 的大作中提到: 】: 这个不一定吧看编译器还有程序的算法了: 从理论上说，smp只要在同一机器内部线程通信，而mpi如果不特意设定的话，: 需要在整个机群中通信，应该还是smp快一些？ xuzheng (天使暂时离开_反方向的钟) 于 (Fri Jul 4 11:36:04 2003) 提到:那这么说的话，你前面给出得效率是相对于单个CPU说的？【 在 luxz (panda-在热死和冻死边缘挣扎) 的大作中提到: 】: 似乎是这样的呵呵 luxz (panda-在热死和冻死边缘挣扎) 于 (Fri Jul 4 11:38:37 2003) 提到:不是啊，就是相对与两个cpu，是这样的，我程序里面有些操作必须是串行的，这样的话只有一个cpu工作，效率是50，另一些操作可以并行，此时效率是100，两个cpu充分发挥。但是整体平均下来是60，比一个cpu快，但是没有充分发挥两个cpu的效能【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: 标 题: Re: 请问双CPU并行计算的效率问题: 发信站: BBS 水木清华站 (Fri Jul 4 11:36:04 2003), 转信: : 那这么说的话，你前面给出得效率是相对于单个CPU说的？: : 【 在 luxz (panda-在热死和冻死边缘挣扎) 的大作中提到: 】: : 似乎是这样的呵呵: : : -: 永远不变的只有改变: : : 来源:BBS 水木清华站 FROM: 37 Jumping (Man in Experiments) 于 (Fri Jul 4 11:40:06 2003) 提到:那在程序中如何辨识两个cpu（线程）是不是在同一个机器上呢？呵呵，比较好奇的说：p【 在 luxz (panda-在热死和冻死边缘挣扎) 的大作中提到: 】: 不是啊，就是相对与两个cpu，是这样的，我程序里面有些操作必须是串行: 的，这样的话只有一个cpu工作，效率是50，另一些操作可以并行，此时: 效率是100，两个cpu充分发挥。但是整体平均下来是60，比一个cpu快，: 但是没有充分发挥两个cpu的效能 xuzheng (天使暂时离开_反方向的钟) 于 (Fri Jul 4 11:41:43 2003) 提到:compare processor name?hehe【 在 Jumping (Man in Experiments) 的大作中提到: 】: 那在程序中如何辨识两个cpu（线程）是不是在同一个机器上呢？呵呵，: 比较好奇的说：p cloudfly (阿斐) 于 (Fri Jul 4 14:19:48 2003) 提到:3.3.5 SMP ClustersWhen using a cluster of symmetric multiprocessors (SMPs) (with the ch_p4 device con-figured with -comm=shared), you can control the number of processes that communicatewith shared memory on each SMP node. First, you need to modify the machines file (seeSection 3.3) to indicate the number of processes that should be started on each host. Normallythis number should be no greater than the number of processors; on SMPs with largenumbers of processors, the number should be one less than the number of processors inorder to leave one processor for the operating system. The format is simple: each line ofthe machines file specifies a hostname, optionally followed by a colon (:) and the numberof processes to allow. For example, the file containing the linesmercuryvenusearthmars:2jupiter:15specifies three single processor machines (mercury, venus, and earth), a 2 processor machine(mars), and a 15 processor machine (jupiter).By default, mpirun will use at most the number of processors specified in the machineslist for each node, upto 16 processes on each machine. By setting the environment variableMPI_MAX_CLUSTER_SIZE to a positive integer value, mpirun will use upto that many processes,sharing memory for communication, on a host. For example, if MPI_MAX_CLUSTER_-SIZE had the value 4, then mpirun -np 9 with the above machine file create one processon each of mercury, venus, and earth, 2 on mars (2 because the machines file specifies thatmars may have 2 processes sharing memory) and 4 on jupiter (because jupiter may have15 processes and only 4 more are needed). If 10 processes were needed, mpirun would startover from the beginning of the machines file, creating an additional process on mercury;the value of MPI_MAX_CLUSTER_SIZE prevents mpirun from starting a fifth process sharingmemory on jupiter.【 在 Jumping (Man in Experiments) 的大作中提到: 】: 那在程序中如何辨识两个cpu（线程）是不是在同一个机器上呢？呵呵，: 比较好奇的说：p Jumping (Man in Experiments) 于 (Fri Jul 4 22:11:10 2003) 提到:这只是指明了如何在不同的机器上设置每个机器多少个线程，还是没有回答在运行时，如何辨识其中的两个线程是否属于同一个机器。除非，线程的序号（就是mpi_rank的那个什么序号）就是按照执行文件中的顺序，依次指定给各机器？呵呵【 在 cloudfly (阿斐) 的大作中提到: 】: 3.3.5 SMP Clusters: When using a cluster of symmetric multiprocessors (SMPs) (with the ch_p4: device con-: figured with -comm=shared), you can control the number of processes that: communicate: with shared memory on each SMP node. First, you need to modify the : machines file (see: Section 3.3) to indicate the number of processes that should be : started on each host. Normally: this number should be no greater than the number of processors; on : SMPs with large: . Jumping (Man in Experiments) 于 (Fri Jul 4 22:14:40 2003) 提到:o,忘了，Mpi中本身就可以查询当前进程的机器名称的，/blush:p【 在 Jumping (Man in Experiments) 的大作中提到: 】: 这只是指明了如何在不同的机器上设置每个机器多少个线程，: 还是没有回答在运行时，如何辨识其中的两个线程是否属于同一个机器。: 除非，线程的序号（就是mpi_rank的那个什么序号）就是按照执行文件中: 的顺序，依次指定给各机器？呵呵 flyleaf (青虫蝴蝶花开) 于 (Sun Jul 6 10:44:24 2003) 提到:这是很正常的啊，除非你的程序具有线性加速比，或者说就是每时每刻子进程之间不用互相等待.【 在 xuzheng (天使暂时离开_反方向的钟) 的大作中提到: 】: 标 题: Re: 请问双CPU并行计算的效率问题: 发信站: BBS 水木清华站 (Fri Jul