（电力系统及其自动化专业论文）基于分布式计算的电力系统机组组合研究.pdf

r e s e a r c hf o ru n i tc o mm i t m e n t b a s e do nd i s t r i b u t e dc o m p u t i n g a b s t r a c t u c 1 1 i tc o m m i t m e n t ) p r o b l e m ，a so n eo ft a s k so fe l e c t r i cp o w e rs y s t e me c o n o m i c a l s c h e d u l i n g ，m u s tf i r s tb es o l v e df o rs e t t i n gap l a nt og e n e r a t ee l e c t r i c i t y f o rs o m e t i m e si tc a n b r i n gm o r eb e n e f i tt h a ne c o n o m i c a lp a r t i t i o no fl o a d s a c c o r d i n gt ot h ef a c tt h a tt h e m a t h e m a t i c a lm o d e lo fu ch a sh i 曲- d i m e n s i o n ，d i s c r e t e ，n o n l i n e a rc h a r a c t e r i s t i c s ，am e t h o d a i m e da tt h eb e s ts o l u t i o n ，c a l l e db a c k t r a c kb a s e do nd f s ( d e p t h - f i r s ts e a r c h ) w i t hc u t t i n g f u n c t i o n ，e m b e d d e di p m ( i n t e r i o rp o i n tm e t h o d ) ，i sp r e s e n t e d f i r s t ，b yu s i n gc o n s t r a i n t c o n d i t i o na n db o u n dt o c u tt h eb a db r a n c h ，b a c k t r a c ks e a r c h o n - o f f c o m b i n a t i o no f u n i t sh o u rb yh o u r s e c o n d ，i p mo p t i m i z ep a r t i t i o no fl o a d sa m o n g o n u n i t s f i n a l l y , b y u s i n gh e u r i s t i cs o l u t i o n ，m e m oa n dp r i o r i t y , t h ec a l c u l a t i o nt i m ei se f f i c i e n t l yr e d u c e d t h e o p t i m a ls o l u t i o no b t a i n e db yt h ep r o p o s e dm e t h o di sb e t t e rt h a nc o n v e n t i o n a lr e s u l t w 1 m i n c r e a s i n go fa m o u n to fu n i t ，t h es e a r c h i n gs t a t u st r e ei sr a p i d l ye x p a n d e d a f t e rt r u n c a t i n g t h eb a db r a n c h ，t od e c r e a s ef u r t h e rt h es e a r c h i n gt i m e ，d i s t r i b u t e dc o m p u t i n gi si n t r o d u c e d t h ed i s t r i b u t e dc o m p u t i n ge n v i r o n m e n tb e i n gc o n s t r u c t e d ，b a s e do nap c c l u s t e rw h i c hh a sa l l i 曲p e r f o r m a n c ea n dp r i c er a t i o 谢n 1m a t l a bd i s t r i b u t e dc o m p u t i n gs e r v e r ( m d c s ) a n d p a r a l l e lc o m p u t i n gt o o l b o x ( p c t ) ，t h er e s e a r c hf o ru ci so p e n e do u t b yc o m p u t i n gi n m a t l a bd i s t r i b u t i n ge n v i r o n m e n t 谢也p c - c l u s t e ro nt e s ts y s t e m u cp r o b l e mi ss o l v e d s u c c e s s f u l l y t h er e s u l t sv e r i f yt h a tt h ep r o p o s e dd i s t r i b u t e db a c k t r a c k ( d b t ) a l g o r i t h mi s r e a s o n a b l ea n dc o r r e c t c o m p a r i n g 、析t 1 1al o to fm e t h o d ss u c ha ss e m i d e f i n i t ep r o g r a m m i n g ， l a g r a n g i a nr e l a x a t i o nm e t h o d ，g e n e t i cm e t h o de t c ，t h ed b ta l g o r i t h mi sa d v a n t a g e d t h e r e s u l t sa l s oi n d i c a t em a td i s t r i b u t e dc o m p u t i n gp c c l u s t e rs y s t e mb a s e do np c ta n dm d c si s a p r o m i s i n g d i s t r i b u t e d c o m p u t i n gp l a t f o r m f o r d e v e l o p i n g d i s t r i b u t e d c o m p u t i n g a p p l i c a t i o n s k i 、yw o r d s ：u cb a c k t r a c ki p md i s t r i b u t e dc o m p u t i n g i i 主要符号对照表 ：最小化目标函数 ：等式约束条件集合 ：不等式约束条件集合 ：等式约束的拉格朗日乘子 ：目标函数的梯度 ：不等式约束方程组的梯度矩阵 ：等式约束方程组的梯度矩阵 ：目标函数的海森矩阵 ：不等式约束方程组的海森矩阵 ：等式约束方程组的海森矩阵 ：最大迭代次数 ：计算精度 ：火电机组数 ：时段数 ：火电机组编号 ：时段编号 ：时段t 内火电机组f 的有功出力( m w ) ： o ，1 ) 变量，当火电机组f 在时段f 投运时为1 ，停运 时为0 ：总发电费用 ：火电机组f 在时段r 的发电费用 ：火电机组f 启动费用 ：火电机组f 冷启费用 ：火电机组f 热启费用 ：火电机组f 出力上限 ：火电机组f 出力下限 ：火电机组f 最小开机时间 ：火电机组f 最小停机时间 ：火电机组f 冷启动时间 ：时段r 的负荷需求 ：时段，的旋转备用 i i i 一聃v蚴蚴嗍嘲嘲k占，丁，p彬 尼肥甲r霉罗酽矿弓f d t n t ，b ，c i 时段长度( h ) 火电机组f 的燃料费用系数 i v 广西大学学位论文原创性声明和使用授权说明 原创性声明 本人声明：所呈交的学位论文是在导师指导下完成的，研究工作所取得的成果和相 关知识产权属广西大学所有，本人保证不以其它单位为第一署名单位发表或使用本论文 的研究内容。除已注明部分外，论文中不包含其他人已经发表过的研究成果，也不包含 本人为获得其它学位而使用过的内容。对本文的研究工作提供过重要帮助的个人和集 体，均已在论文中明确说明并致谢。 敝储躲张锋啦矽夕年占其兄日 学位论文使用授权说明 本人完全了解广西大学关于收集、保存、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本： 学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务： 学校可以采用影印、缩印、数字化或其它复制手段保存论文； 在不以赢利为目的的前提下，学校可以公布论文的部分或全部内容。 请选择发布时间： 匝时发布 口解密后发布 ( 保密论文需注明，并在解密后遵守此规定) 诎蟹新繇和霸，月日 广西大学硕士( 高校硕士) 学位论文 基于分布式计算的电力系统机组组合研究 第一章绪论 1 1 引言 电力系统经济运行是以满足电力系统安全约束为基础，以电能质量要求为前提， 采用各种管理措施和技术方法实现经济性的一种运行方式，而电力系统经济调度是实现 电力系统经济运行的重要手段。电力系统经济调度能带来明显的效益，据实际测算，其 节省能源可达总耗量的o 5 1 5 n 1 ，在节能减排成为全球共识的今天，电力系统经济 调度的意义更为显著。从总体上解决电力系统经济调度问题具有很大的难度，经常将其 分为若干个子问题分别处理。从制作短期发电计划来看，可分为机组组合、火电计划、 水电计划、交换计划、检修计划和燃料计划等子问题，可见机组组合必须首先解决。另 外相比于负荷经济分配，机组组合的经济效益更为明显。 自上世纪4 0 年代以来，国外研究人员就开始对机组组合u c ( u n i tc o m m i t m e n t ) 问题 进行广泛的应用研究，获得了显著的经济效益。由于种种历史原因，过去我国长期处于 缺电状态，电力工业技术装备投入匮乏，因此很少在机组组合方面开展应用研究。改革 开放之初，电力短缺成为制约企业发展的主要因素之一，电力行业的发展因此得到了政 府的重视。随后政府渐渐地加大了电网的建设力度，不断地提高技术装备的投入，使部 分地区的发电量由原来的不足转变为盈余，此时机组组合和发电计划工作的开展就显得 必要且迫切。 从上世纪9 0 年代以来，世界各国的电力系统纷纷市场化，为电力系统的发展注入了 新的动力。美、英等国较早地开展电力市场的研究，而我国的电力工业市场也逐步迈出 探索的步伐。由于各国具体情况的不同，电力市场的模式千差万别。我国处于电力市场 的初级阶段，为了摸索符合中国国情的电力市场机制，首先开放发电侧电力市场。在电 力市场中，虽然机组组合问题的目标函数和约束条件发生了重大变化，但决定机组开、 停和负荷分配仍然是机组组合问题的核心内容，不同之处在于以最佳赢利为目的，因此 有效地解决机组组合问题仍是电力市场化重要环节。 1 2 机组组合优化问题研究现状 机组组合也称机组投入，它是指根据负荷预测，在满足电力系统负荷、旋转备用容 广西大掌硕士( 高校硕士) 掌位论文基于分布式计算的电力系统机组组合研究 量和启停时间等约束条件下，确定一个调度周期内各时段机组启停组合方式和各机组在 运行时段的出力，使得在该周期内开停机费用和运行费用之和最小。 从数学上讲，机组组合问题是一个高维数、非凸的、离散的、非线性的组合优化问 题，理论上还难以找到全局最优解。但由于其显著的经济效益，一直备受关注，许多方 法被用于解决机组组合问题。下面按机组组合研究的历史进程介绍各种方法。 启发式方法( h e u r i s t i cm e t h o d ) 是人们最早的选择，由于理论依据缺乏严密性， 在寻找最优解的过程中直观的判断或长期的经验起主要的作用。在机组组合问题研究中 启发式方法演变出两种情形：局部寻优和优先顺序( p r i o r i t yl i s t ) 。局部寻优以一个 尽可能好的解为起点在邻域内寻优，通过迭代寻求最优解或次优解， 2 4 是局部寻 优关于机组组合的早期研究。优先顺序就是以某种经济指标为依据，静态或动态地对系 统可调度的机组排出顺序，在决定机组投切时，按顺序依次选择。 5 8 是按不同经 济特性指标形成优先顺序选择机组投切以寻求机组组合最优解或次优解。优先顺序法虽 然常常找不到最优解，但以其快速、占用内存少的优点在许多场合得到应用，它能满足 一般的应用要求。 动态规划法( d y n a m i cp r o g r a m m i n g ) 作为最优化的一种数学方法用于解决多阶段 决策过程。在每个决策阶段枚举满足约束条件的可行状态组合，在所有决策阶段所形成 的可行状态组合序列中寻优。动态规划法在理论上既可用于离散域也可用于连续域问题 的寻优，但实际中当状态变量数目超过6 个时，将出现“维数灾”，从而使其应用大受 限制。为避免这个现象，研究者往往根据具体情况采取合理的策略来限制状态的数目。 首先利用约束条件过滤掉不可行的组合，然后再采用各种手段进行综合处理，主要是将 动态规划法和优先顺序法结合使用阳1 n ，希望通过增加少量的计算量而使优化效果得到 较大的提高，但无论如何没有根本解决“维数灾 问题。 混合整数规划( m i x e d - i n t e g e rp r o g r a m m i n g ) 是指既有离散变量又有连续变量的 数学规划问题，根据除离散变量以外的其它变量的函数类型，又可分为线性混合整数规 划和非线性混合整数规划。这类规划问题非常难以解决，常用方法有分支定界法阻、 b e n d e r s 分解法n 幻、广义b e n d e r s 分解法n 3 1 等。 1 4 以分支定界法为基本框架搜索可行 解，用拉格朗日松弛法计算各结点的下界； 1 5 是分支定界法的另一种尝试，它首先假 设机组一天只开停一次，机组组合就转变为确定机组的开停区间，然后用分支定界法试 探各种可能的区间，最后使用负荷经济分配算法评估各结点的下界； 1 6 将离散变量线 性规划( d i s c r e t ed e c i s i o ni i n e a rp r o g r a m m i n g ，缩写为d d l p ) 和启发式方法结合起来 进行寻优，用分支定界法进行状态空间搜索以求解d d l p 问题。 1 7 应用b e n d e r s 分解 2 广西大掌硕士( 高校硕士) 学位论文基于分布式计算的电力系统机组组合研究 法把原问题分解，一个是以热力机组启停为整数变量的主问题，另一个是只包括连续变 量进行经济负荷分配的子问题。 1 8 应用广义b e n d e r s 分解法将整个问题分为3 层， 上层作为主问题确定机组组合，非线性水力机组问题在中层进行处理，热力机组和随机 问题在底层加以考虑。在机组组合问题中，混合整数规划法产生了一些有价值的理论成 果，但将成果进行实用化转换的不多。 上世纪7 0 年代，拉格朗日松弛法开始用于机组组合问题中的应用研究，经过2 0 多 年的研究推广，9 0 年代成为主流。由于有着成熟的理论基础，拉格朗日松弛法非常适于 大系统优化问题的求解。 1 9 将水火电厂机组组合问题首先分解成火电厂和水电厂两个 子问题，然后用常规的拉格朗日松弛法求解火电厂子问题，其次将水电子问题分为流域 和水库两级，针对流域级用网络流规划法，针对水库级用优先顺序的动态规划法，最后 用连续逼近法呦1 优化水电子问题的拉格朗日乘子。 2 1 在兼顾传输线容量约束和环境约 束的情况下，用网络流法分配负荷，用增广拉格朗日法避免线性费用函数造成的振荡。 2 2 在求解资源计划问题时，用增广拉格朗日法考虑优化潮流约束确定机组开停，针对 约束经济调度强化拉格朗日乘子。 2 3 针对传输线容量限制，在构造拉格朗日函数时引 入相应的惩罚项。拉格朗日松弛法在机组组合问题中的一系列应用使其得到更广泛的推 动，此外拉格朗日松弛法还有大量的理论和应用成果。 遗传算法3 是在1 9 7 5 年首次由h o l l a n d 提出来的，它的基本思想来源于d a r w i n 的 进化论和m e n d e l 的遗传学说。算法模拟生物进化过程的一些特性，是一种新的全局最 优搜索算法，遗传算法在机组组合问题的研究中也得到应用。 2 5 为避免遗传算法陷于 局部最优解而出现早熟现象，采用改变性质函数的策略，加入特殊算子取得相对更好的 效果。 2 6 用启发式策略产生可行方案并引导遗传算法求解线性约束优化问题。 2 7 引 入惩罚项处理约束，遗传算法则用于确定机组组合并进行负荷优化分配，但交叉操作可 能导致新的不可行情形，而且有太多的惩罚系数要选择。遗传算法由于其随机性特点， 不能保证每次迭代都能使解的质量有所改善，且易于陷入早熟，虽然理论上可以找到全 局最优解，但实际中往往退而求其次，最终求取满足工程需要的次优解。 此外，一批智能优化算法如模拟退火算法、t a b u 搜索法、专家系统法、人工神经网 络法等也在机组组合问题上得到应用。模拟退火算法是模拟金属退火过程的一种优化算 法，它是利用优化问题求解与物理系统退火过程的相似性，使用m e t r o p o l i s 算法，适 当控制温度的下降过程，实现模拟退火，从而达到求解全局优化问题的随机性方法。 2 8 用模拟退火算法求解1 0 0 台机组的机组组合问题，产生非常好的次优解，算法中能处理 复杂的约束，算法表现出广泛的适应性。t a b u 搜索法，又称禁忌搜索法，它的一个主要 3 广西大学硕士( 高校硕士) 掌位论文基于分布式计算的电力系统机组组合研究 思想是标记已得到的局部最优解，并在进一步的迭代中避开这些局部最优解，禁忌就是 禁止重复前面的工作，为了避免局部邻域搜索陷于局部最优，它设计了一种禁忌表，以 记录局部最优解，不再或者有选择地搜索这些点，以此跳出局部最优点。 2 9 针对机组 时变启动费用以及水火电机组的非线性特性，使用t a b u 搜索和广义b e n d e r s 分解法对 系统运行工况改变后进行重新计划或对已有方法进行后处理。 3 0 采用混合二进制和浮 点数编码进行t a b u 搜索。专家系统将数学规划、系统调度员经验、已有的知识结合起 来形成规则库利用人工智能技术寻找最优方案。 3 1 将人工智能技术用于机组组合问题 的求解。人工神经网络法是通过人工构建以有向图为拓扑结构的动态系统，模仿人的大 脑工作方式，以对连续或离散的输入作状态响应而进行信息处理。 在机组组合问题方面前人做了的大量研究，有些在实际应用中已显出效益，有些在 理论上具有价值。今天这个领域依然活跃，有人在前人的基础上不断地提出改进的方法， 有人不断地引入新的思想。 1 3 分布式计算在电力系统研究中的应用 分布式计算是近年提出的一种新的计算方式。所谓分布式计算就是研究如何把一个 需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许 多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。分布式计算比起其 它形式的计算具有以下几个优点： 1 共享稀有资源。 2 平衡计算负载。 3 可以把程序放在最适合运行它的计算机上。 其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。如果说某项 工作是分布式的，那么，参与这项工作的一定不只是一台计算机，而是一个计算机网络。 随着电力系统规模的不断扩大和对在线分析要求的不断提高，传统的分析计算方法 受到了前所未有的挑战。自上世纪8 0 年代以来，分布并行处理技术开始引入电力系统 分析计算领域，可望从根本上解决电力系统实时分析的难题。 随着并行计算技术的发展，以及p c 机性能的不断提高同时价格不断下降，采用大 型并行机或p c 机群对电力系统进行并行计算已经成为可能。近年来，将分布并行计算 技术用于电力系统研究的报道也逐渐增加，例如对大型互联电力系统的分布式并行无功 优化船射、分布式电力系统状态估计口3 1 、具有大规模分布式并行计算功能的电力系统实时 仿真m 3 等等。特别是近十年来并行处理软硬件的快速发展促进了它在电力系统计算中的 4 广西大掌硕士( 高校硕士) 学位论文 基于分布式计算的电力系统机组组合研究 应用。目前并行算法已在潮流计算、暂态稳定分析嘶3 、静态安全评估m 1 等方面得到应用。 1 4 本研究工作思路简介 当前机组组合优化的研究大多侧重于算法的研究，而将分布式并行计算技术应用于 机组组合问题的研究则较为少见。本课题开展电力系统机组组合优化分布式计算研究， 在充分利用计算机技术、网络技术和通信技术的技术成果和机组组合问题成熟理论的基 础上，探索能满足电力市场需要的行之有效的分布式并行计算方法。 本研究将机组组合问题的求解分为两个步骤进行：首先用带剪枝功能的回溯法产生 机组组合状态空间搜索树进行寻优；然后对动态产生的机组组合结点进行负荷优化分 配。由于各时段机组组合状态数量随机组数增加而呈指数增加，虽已有一些措施保证只 有满足约束的组合被搜索，但可行组合数量仍然庞大，为提高效率，有必要引入分布式 并行计算手段，以期加快问题求解的速度。 基于p c 集群网络环境，本研究利用m a t l a b 的并行计算工具箱( p c t ) 和分布式计 算服务( m d c s ) ，搭建分布式并行计算平台，将基于内点理论的非线性约束优化算法嵌 入回溯法，采用深度优先的方式搜索解空间树，搜索过程中结合约束条件和限界函数进 行剪枝，以实现机组组合寻优。 5 广西大学硕士( 高校硕士) 掌位论文 基于分布式计算的电力系统机组绸合研究 第二章m a t l a b 并行计算工具箱m ， 2 1 引言 上世纪7 0 年代中期，c l e v em o l e r 博士和他的同事，在美国国家科学基金的自主 研究下，开发了两个程序库l i n p a c k 和e i s p a c k 的f o r t r a n 子程序。到了7 0 年代后期， c l e v em o l e r 任职于美国墨西哥大学计算机系主任，他在给学生上线性代数课时，为了 让学生能使用l i n p a c k 和e i s p a c k 的子程序库又不至于花费太多编程时间，他为学生编 写了使用l i n p a c k 和e i s p a c k 的接口程序，然后将这个接口程序取名为m a t l a b ( 即m a t r i x 和l a b o r a t o r y 的前3 个字母) 。 经几年的校际流传，于1 9 8 4 年c l e v em o l e r 和j o h nl i t t l e 成立了m a t h w o r k s 公 司，自此m a t l a b 开始了其市场化的道路。m a t l a b 以商品形式出现后，在短短几年内以 其良好的开放性和运行的可靠性使原先控制领域里的封闭式软件包纷纷被淘汰，转而在 m a t l a b 平台上重建。9 0 年代，m a t l a b 已经成为国际控制界公认的标准计算软件，而且 在国际上3 0 多个数学类科技应用软件中，m a t l a b 在数值计算方面独占鳌头。 1 9 9 3 年，m a t h w o r k s 公司推出了基于w i n d o w s 平台的m a t l a b 4 0 。4 x 版继续在数 值计算和图形可视能力方面传承并丰富，此外增加了以下几个功能： 1 推出了一个交互式操作的动态系统建模、仿真、分析集成环境s i m u l i n k 。 2 推出了以m a p l e 为引擎的s y m b o l i cm a t ht o o l o x1 0 符号计算工具包。 3 构作了n o t e b o o k ，实现了m a t l a b 与w o r d 的无缝连接。 1 9 9 7 年春m a t h w o r k s 公司推出了m a t l a b 5 0 版，此后经不断改进陆续推出5 1 、5 2 、 5 3 、6 0 、6 1 等多个版本，其中，面向对象方法的使用得到不断加强，不断增加新数 据类型，交互界面越趋友好。2 0 0 2 年夏m a t h w o r k s 公司推出了m a t l a b 6 5 版，其中j i t 加速器的采用使m a t l a b 的运算速度前进了一大步，在速度方面缩短了与c 程序之间的 差距。2 0 0 3 年m a t l a b 再次推出了6 。5 1 版本，此后m a t l a b 每年发布两个版本，自2 0 0 6 年起i v i a t l a b 每年定期于3 月、9 月发布新版本并分别标以年度a 版、b 版。 由于m a t l a b 完整的专业体系和先进的设计开发思路，使得m a t l a b 在多种领域都有 广阔的应用空间，特别是在m a t l a b 的主要应用方向科学计算、建模仿真及信息工 程系统的设计开发上已经成为行业内的首选设计工具，全球现有超过5 0 万的企业用户 和个人用户，广泛地分布在航空航天、金融财务、机械化工、电信、教育等各个行业。 6 广西大掌硕士( 高校硕士) 学位论文基于分布式计算的电力系统机组鲴合研究 2 2 并行计算工具箱发展简介 并行计算工具箱p c t ( p a r a l l e lc o m p u t i n gt o o l b o x ) 是m a t l a b 2 0 0 8 中推出的并行 与分布式处理组件，其前身d c t ( d i s t r i b u t e dc o m p u t i n gt o o l b o x ) 是m a t h w o r k s 公司 于2 0 0 4 年开始推出的。d c t l 0 可使多个用户能够共享一个计算机集群，加快m a t l a b 的处理速度。d c t i 0 的主要功能为：将待处理任务分配给多台计算机，使采用不同运算 结构的m a t l a b 用户共享同一个计算机群集。d c t 由用户端运行的d c t 和群集端运行的 m d c e ( m a t l a bd i s t r i b u t e dc o m p u t i n ge n g i n e ) 组成。 d c t 2 0 是2 0 0 5 年发布的，d c t i 0 不能在集群计算机上运行的任务之间相互通信， 而d c t 2 0 则弥补了d c t i 0 的不足，其相互通信功能是利用m p i ( m e s s a g ep a s s i n g i n t e r f a c e ) 实现的。对于使用d c t 2 0 开发出了利用多台计算机进行并行与分布式处理 的应用程序，并想利用m a t l a b 验证其功能和性能的用户而言，使用d c t 极为方便。另 外，d c t 2 0 不仅可以使用m a t h w o r k s 开发的作业管理器，还可以使用加拿大平台计算公 司( p l a t f o r mc o m p u t i n g ) 的作业管理器“p l a t f o r ml s f 。但是为了使用m p i 进行 并行运算，用户需要明确指定其动作。因此，对于缺乏程序并行化知识的大部分用户而 言有一定的难度。 2 0 0 6 年发布的d c t 3 0 使普通的m a t l a b 用户也能享受到并行与分布处理所带来的好 处。也就是说，对于m a t l a b 所支持的部分函数( 约1 5 0 个) ，它能够自动为多个电脑集 群分割或分配大型数据，同时在d c t 3 0 中还增加了所支持的第三方作业管理器。比如， 微软的w i n d o w sc c s ( w i n d o w sc o m p u t ec l u s t e rs e r v e r ) 管理器。 2 0 0 7 年m a t h w o r k s 公司发布了d c t 3 1 、3 2 ，它不仅可使用p c 集群，还将能够使 用多内核和多处理器技术。 直至2 0 0 8 年，m a t l a b 推出的v 3 3 、v 4 o 版本更名为并行计算工具箱p c t ，使形 式上分布的并行计算实至名归。 2 3p c t 主要功能 并行计算工具箱提供了高级构造，如并行f o r 循环、并行算法、基于m p i 的函数， 以及用于作业和任务管理的低级构造。并行命令窗口提供用于开发并行应用程序的交互 式环境。也可以在批处理环境中脱机执行分布式和并行应用程序。同时，该工具箱提供 用于点对点通信和广播通信的基于m p i 标准( m p i c h 2 ) 的多个功能。该工具箱的主要 7 广西大掌硕士( 高校硕士) 掌位论文 基于分布式计算的电力系统机组鲴合研究 功能有： 1 分布式和并行执行应用程序： 2 交互式和批处理执行模式； 3 分布式数组( d a r r a y ) 、并行算法和并行f o r 循环( p a r f o r ) ； 4 基于m p i ( m p i c h 2 ) 标准的内部作业( w o r k e r ) 消息传递支持； 5 在桌面上本地管理四个作业( w o r k e r ) 的能力； 6 与m a t l a b 分布式计算引擎集成，用以开发使用任何作业管理器( s c h e d u l e r ) 或 任何数量作业的基于集群的应用程序。 利用并行计算工具箱开发分布式和并行应用程序时，该工具箱使应用程序能够在包 含最多四个本地作业的桌面进行原型开发，并且通过m a t l a b 分布式计算引擎，这些应 用程序可以被调整到一个集群上的多台计算机。 2 4p c tv 4 0 简介 p c t 软件使得用户可以将负载从本地分配到其它的计算结点( w o r k e r ) 。如此，用户 则可利用多个w o r k e r 实现并行处理，用户也可以将负载转到另一个w o r k e r 上以利用其 速度或使桌面只做交互任务。 p c t 软件使用户可以在本地机器运行除桌面以外的4 个w o r k e r s ，m d c s 软件使用户 可以运行集群中尽可能多的远程机器。 2 4 1p c t 的典型应用 1 用p a r f o r 提高性能：对于f o r 循环迭代，如果迭代体是相互独立的，则可以用 p a r f o r 将f o r 并行化，然后由p c t 将相互独立的迭代体均衡地分配给集群中的各个 w o r k e r 并同时执行，显然可以缩短整个循环的执行时间。 2 用b a t c h 卸载任务：为使桌面的交互任务不被阻塞，可用b a t c h 命令将任务卸 载到w o r k e r 上去。如此，计算任务可与交互任务同时运行，从而在计算的同时满足用 户交互的需要，使交互更顺畅。 3 分布数组实现大数据集的计算：当有一个数组相对于内存太大，而不便在单个 m a t l a b 下处理，p c t 软件提供了分布数组类型及其相应函数，使得大数组不同部分分布 在多个w o r k e r 中，用函数对分布的数组按一个整体进行处理。 8 广西 掌砸士( 离撬礓士) 拳位论文l 于分布式计算的电力渔机- 簟寺轩鼻 2 4 2p c t 分布并行结构 1 并行化循环( p a r l o r ) 假设有一个循环计算正弦函数值，然后画出波形曲线，见以f 代码： f o ri = l ：1 0 2 4 a ( i ) = s i n ( i * 2 * p i 1 0 2 4 ) ： 计算正弦函数值 e n d p i o t ( a )画出波形曲线 为了交互运行并行循环，首先打开l i t l b 池预定w o r k e r ，此w o r k e r 可以来源于本 地机器，也可以米源于远程集群。_ h j 以下命令打开m t l b 池： m a t l a b p o o lo p e n 现在将循环并行化，将代码修改如下： p a r l o ri = l ：1 0 2 4 a ( i ) = s i n ( i 2 p i 1 0 2 4 ) ：计算正弦函数值 e n d p l o t ( ) 画出波形曲线 虽然代码中仅将f o r 改为p a r f o r ，但执行方式在m a t l a b 池的支持f 变成r 分布并 行模式( 见酗2 - i ) 。 图2 - ip a r f o r 分布并行执行模式 当任务完成后，需关闭m a t i b 池释放w o r k e r ，使用如一f 命令 m a t l a b p o o lc l o s e 2 卸载任务( b a t c h ) ( 1 ) 卸载到独逆w o r k e r 卜 凇，一 么 胂 掣 广西 掌蔫士( 龠撬一士) 掌位论文 于分布式甘算的电力t 垃机l 研鼻 首先将任务输入到脚奉中，假设将下面循环输入到名为m y w a v e m 的脚本中。 f o ri = l ：1 0 2 4 a ( i ) = s i n ( i 2 p i 1 0 2 4 ) ：计算正弦函数值 e n d 然后，用b a t c h 命令将脚本中的任务转到另一个w o r k e r 上( 见图2 _ 2 ) 。 j o b = b a t c h ( m y w a v e ) 图2 2 卸载仟务至独立w o r k e r 最后，桌而需接收结果并撤销w o r k e r 上的数据，见如下代码： w a i t ( j o b )以阻塞方式等待j o b 的完成 l o a d ( j o b ，)将j o b 的结果装载到数组a p l o t ( a )画出a 的波形 d e s t r o y ( j o b )销毁j o b 及其在w o r k e r 上的数据 ( 2 ) 卸载到m a t l a b 池上： 首先将并行任务输入到脚本中，假设将下面循环输入到名为m y w a v ei i 的脚本巾。 p a r f o ri = l ：1 0 2 4 ( i ) = s i n ( i * 2 * p i 1 0 2 4 ) ：计算正弦函数值 e n d 然后，用b a t c h 命令将脚本中的任务卸载到姒t l m 池上( 见图2 - 3 ) 。 j o b = b a t c h ( m a v e ，m a t l a b p o o l ，3 ) 罔2 - 3 卸载并行任务至m t l b 池 訾 垆 一一， 广西大掌硕士( 高校硕士) 学位论文 基于分布式计算的电力系统机组组合研究 同样，桌面需接收结果并释放m a t l a b 池，见如下代码： w a i t ( j o b )以阻塞方式等待j o b 的完成 l o a d ( j o b ，a )将j o b 的结果装载到数组a p l o t ( a )画出a 的波形 d e s t r o y ( j o b )销毁j o b 及其在w o r k e r s 上的数据 3 分布数组( c o d i s t r i b u t e d ) 一个数组可以被划分并分别存于多个l a b 中，其目的自然是为了充分利用集群的计 算资源和内存资源。 分布数组将数组划分为数段，各段分别保存在不同l a b 的工作区中，每个l a b 处理 各自的数组分段。由于每个l a b 存储和处理的数组规模减少，使得大数组的处理相对较 快，内存的利用更高效。 例如，假设4 个l a b 中都有一个3 1 0 的相同数组a ，则以下产生的数组d 也是同 样的3 1 0 数组，但每个l a b 仅保留整个数组的一个段，其分布如下。 p a = 1 l ：2 0 ：2 1 ：3 0 ：3 1 ：4 0 ： p d = c o d is t r i b u t e d ( a ，c o n v e r t ) 分布数组d 的划分： i ，a b 】1 ，a b21 a b3l a b4 1 11 21 3 2 12 22 3 3 l3 23 3 1 41 51 6 2 42 52 6 3 43 53 6 1 71 8 2 72 8 3 73 8 1 92 0 2 93 0 3 94 0 4 s p m d 语句块 s p m d ( s i n g l ep r o g r a mm u l t i p l ed a t a ) 结构无缝地实现了串行和并行交叉编程， 它允许用户编写由多个l a b 同时运行的一段代码。 s p m d 语句格式： s p m d ( m e ，n ) e n d 不带参数时，所有l a b 将同时执行 ，如果指定一个参数，则按规定的 广i 掌硪士( 触士) 拳位论文t 于分布式计算曲电力t 麓瓤i 音研鼻 l a b 数同时执行( s t a t e m e n t s y 带两个参数，则指定蚓时执行( s t a t e m e n t s ) 的l a b 数的 最小为m 。最大值为n 。 下例在3 个l a b 中创建随机矩阵t m a _ t l a b p c o l s p m d ( 3 ) r = r a n d ( 4 4 ) ： e n d m a t l a b p o o lc l o s e 5 并行模式( p m o d e ) 并行模式为用户提供在敷个l a b 同时运行并行任务的交互手段。为进入并行模式 在c i i o n t 桌面键入如下命令： p m o d es t a r tl o c a l4 此时，弹出并行命令窗口( 见图2 - 4 ) 用户可在并行命令窗口的p ) y 提示符下使用 p c t 提供的命令交互地提交并行任务当需要退出并行命令窗口时，则在p ) 提示符下 键入命令： p m o d ee x i t pp 口m m * 圈u田口口 e n o f 。l ：_ v m ( 】十i ) = 1 1 u v c h ( j h ) v c h ( 】h ) e n d v z h c 2 l + 1 ) = 1 h 0 8 10 9 ：0 4 一- 爿 p ) ) 图2 - 4 并行命令窗口 广西大学硕士( 高校硕士) 掌位论文 基于分布式计算的电力系统机组组合研究 2 5m a t l a b 分布式计算架构 2 5 1m a t l a b 分布式计算逻辑结构 i a t l a b 分布式计算平台逻辑上是由p c t ( 并行计算工具箱) 、彻c s ( 分布式计算服 务) 和作业管理器组成( 图2 - 5 ) 。 p c t 主要是在c l i e n t 端指定作业和任务所进行的操作，通过c l i e n t 会话以交互或 批处理的方式向作业管理器提交。k e ) c s 主要是在w o r k e r 端接收由作业分派的任务，然 后将任务再分派给w o r k e r 执行，当w o r k e r 完成任务，m i ) c s 还负责将执行结果返回。如 果采用m a t h w o r k s 提供的作业管理器，则它作为m d c s 的一部分协调作业和任务的执行， 当然也可以选用第三方作业管理器，例如w i n d o w sc c s 或p l a t f o r ml s f 。 图2 - 5m a t l a b 分布式计算平台逻辑结构 图2 - 6m a t l a b 会话 所有的m a t l a b 会话在c l i e n t 与作业管理器或作业管理器与w o r k e r 之间进行( 见 图2 - 6 ) ，以实现作业提交、任务分派和结果返回的功能。m a t l a b 会话是需要m d c s 服务 来支持的，为了实现c l i e n t 会话与引擎会话，需要将p c t 和m d c s 服务安装在同一机器 上，而c l i e n t 桌面、作业管理器和w o r k e r 可以分布在局域网上的不同机器上。作业管 1 3 广西大掌硕士( 高校硕士) 学位论文 基于分布式计算的电力系统机组组合研究 理器可以运行在网络的任一机器上，网络上可以有多个不同的作业管理器，它们管理着 不同的w o r k e r 结点集，一个w o r k e r 结点只能隶属于一个作业管理器。c l i e n t 桌面可以 向寻获的作业管理器提交作业，以完成自己的分布并行任务。图2 - 7 给出了c l i e n t 桌 面、作业管理器和w o r k e r 三者之间的逻辑关系。 图2 - 7c li e n t 、作业管理器和w o r k e r 之间的逻辑关系 2 5 2m a t l a b 分布式计算集群配置 构成m a t l a b 分布式计算集群的所有物理机器都要安装m d c s 服务，通过执行以下命 令可以安装、启动m d c s 服务。 m d c ei n s t a l1 m d c es t a r t 现在可以部署作业管理器和w o r k e r 在网络上的布局，一般来说，最好一个物理机 器上部署一个w o r k e r 结点，如果作业管理器要与多个c l i e n t 会话，则将它部署在一台 异于w o r k e r 结点的机器上，如果作业管理器只要与一个c l i e n t 会话，则只需将作业管 理器和c l i e n t 部署在同一台机器上即可