并行集群环境下迭前时间深度偏移作业的运行效能研究

1、并行集群环境下迭前时间深度偏移作业的运行效能研究 并行集群环境下 迭前时间深度偏移作业的运行效能讨论 大庆油田有限责任公司勘探开发讨论院冯保民魏锐李建霞集群技术应用现状 地震数据处理领域始终是高性能计算服务器应用的重要领域。基于队架构的高性能集群并行机是伴随着计算机芯片技术、网络技术、系统集成技术和的进展而消失的新产品。这些高性能集群并行机主要应用于地震数据处理、全三维可视化数据体解释、油藏模拟计算，尤其在三维叠前深度偏移及高分关辨率地震资料处理得到了很好的应用，高性能集群并行机和三维叠前深度偏移理论的进展，极大地提高了简单地质构造的地震资料的成像持量和油气勘探目标的精确识别，成为了三维叠前深

2、度偏移及高辨别率地震资料处理的首选平台。二三年，大庆油田公司讨论院引进了个节点的高性能集群并行机系统，运行公司的三维迭前处理软件。目前，已经完成了三维迭前深度偏移处理任务，实现了实际地震资料处理的工程化。二影响偏移作业运行效能的因素及保障作业稳定运行方案 三维迭前深度偏移工作大致分为三个阶段：预处理、提取速度建立模型、偏移。从工作方式上三个阶段的差别是：预处理为单节点批量处理；速度建模为单节点交互处理；时间偏移和深度偏移为多节点并行批量处理。从作业运行时间上，三个阶段的差别是：预处理作业用时少，单作业时间一般不超过一两天；速度建模则为处理解释人员的人工劳动；偏移阶段依据数据体大小，短则两周，长

3、则一到两个月。偏移阶段的特点是：一次分发任务给上百个节点，这些节点同时参加并行计算。当第一次分发的数据在全部计算节点上全部计算完成后，主节点回收结果数据并进行其次次数据分发，直至作业结束。在这个循环过程中，假如其中某个节点消失问题，则会导致节点计算速度慢，造成其它节点的等待，直到该节点处理完当前任务，回收后才进行下一次任务的分发。所以在确保并行各节点正常稳定工作的同时，应避开某一节点因用户访问数目过多或提交其他作业争夺系统资源而导致该节点计算速度缓慢，造成集群并行系统整体性能下降，如我们后面要重点介绍的屏蔽其它用户对偏移作业运行节点访问就是通过保证该节点用户数目的合理性方面，来提升系统整体性能

4、的实例。 影响偏移作业运行效能的因素有网络延迟、速度、内存大小、倍频参数、死进程、文件系统限制、临时交换区、系统负载等。 工作中我们分析了影响偏移作业运行效能的主要因素并摸索出一套行之有效的方案避开了上述问题的发生，保障了作业的稳定运行。 保障作业稳定运行、提高效能的方案： （）在大偏移作业提交之前，彻底清除用户死进程和系统死进程。保证正常的系统初始环境。（）检查全部计算节点的数、倍频参数、内存大小是否全都。 （）检查全部计算节点的临时空间是否满意计算需要，删除无用的文件，释放更多的缓冲空间。（）检查全部计算节点的管理网络和计算网络是否畅通，有无延迟时间太长的节点。（）检查全部计算节点是否存在

5、文件大小限制问题。一 （）屏蔽其它用户对偏移作业运行节点的访问，使作业在运行期间不受其它干扰。 （）重点监控参加偏移任务的节点机的关键性能指标的变化趋势，如温度、风扇速度，准时评估节点运行状态，做好故障处理预案。 （）记录、统计计算节点故障次数，分析、总结故障缘由，进一步完善该方案。 现以屏蔽其它用户对偏移作业运行节点的访问，使作业在运行期间不受其它干扰，提高并行系统效能方面，来具体阐述一下实现过程： 三屏蔽其它用户对偏移作业运行节点访问的实现过程 首先选择参加并行运算的一百个节点形成文件，再将系统允许正常访问各节点的用户形成文件；其次，编写脚本程序进行封装、屏蔽其他用户，确保进行并行计算的大

6、作业（一到二个月内）不受任何干扰；最终当偏移作业运行结束时再释放这些节点交给其他用户使用，提高并行机群系统性能的整体发挥。 实现方法： 文件 该文件定义了参加并行计算的个节点主机名 文件 该文件定义了系统允许正常访问机群节点的用户名 文件 该文件确保系统的牢靠性，避开进行一些不正值的非法操作，给系统带来隐患。 脚本程序的编写 该程序实现了限制、屏蔽其他用户，禁止访问这个节点的功能，程序如下： 静！ ￥群一 ”：￥ 讧一一 ！” 讧￥”￥” ￥ ！” ”￥， ”￥” ： ￥、 ￥” ￥ ￥ ”群￥” ￥ 讧￥叼” ￥ 碍￥、 ￥ ￥ ￥”；” 使用方法 以只允许用户访问为例： 屏蔽用户后的校验 各节点的文件封装、屏蔽后如下： ： ： ： ： 桴： ： 撑： ： ： ： ；：唧呲： 脚本程序的优点：可以依据用户使用节点个数的变化随时屏蔽或释放其它用户对节点的访问，简化了在多节点上的重复操作过程并保证操作的精确性。 四屏蔽用户的释放 脚本程序 ！ 近￥一 ”：￥” 、 ￥ ￥” 使用方法 五小结 作为系统管理员，工作中从实际问题、实际需求动身，深化讨论系统性能优化技术并结合地震处理软件在实际应用中对系统资源的不同需求，找出应用软件与系统之间存在的某些瓶颈。改进了这些瓶颈，