（系统工程专业论文）精益生产环境下生产线排队模型的性能分析与优化.pdf

江苏大学硕士学位论文 摘要 精益生产( l e a np r o d u c t i o n ) 作为一种能充分消除浪费，降低企业 成本，并能大幅提高企业生产率的全新现代化生产方式，在全球已经推 广开来。目前针对精益生产的研究主要集中在管理思想上，尤其是国内， 大部分研究都是介绍性的。而对于精益生产的具体模型进行定量分析及 运筹优化的研究相对滞后，基于排队模型对精益生产的性能进行研究则 更少。本课题就是针对当前的这些问题，试图建立模型加以分析，以便 准确的优化生产线的服务性能并进一步对其进行利润分析。 本课题首先研究了我国推行精益生产的现状、存在的问题及对策， 然后应用马尔可夫决策规划( m a r k o vd e c i s i o np r o g r a m m i n g ，m d p ) 理 论，研究了精益生产环境下，生产线可能发生故障，拒绝订单面临处罚 的一类m m i 随机服务模型的到达控制策略。继续研究了精益生产环境 下，生产线可能发生故障的单服务台n 一策略m m i 随机服务系统，利用 概率母函数给出了模型的各项稳态指标；设计了预期费用函数，利用该 函数求解出当预期费用最少时的最优n 一策略；并对该模型进行了数值模 拟。最后研究了利用排队论初步设计一条精益生产线的方法。 关键词：精益生产排队马尔可夫决策规划折扣模型母函数生产线 n 一策略工作位置 江苏大学硕士学位论文 a b a s r a c t l e a np r o d u c t i o na san e wm o d e m p r o d u c t i o nm e t h o d s ，w h i c h c a nf u l l y e l i m i n a t ew a s t e ，r e d u c eb u s i n e s sc o s t s ，a n dc a ns i g n i f i c a n t l ye n h a n c et h e i r p r o d u c t i v i t y , h a sb e e np r o m o t i o na l l o v e rt h ew o r l d i nc u r r e n t ，s t u d i e s f o c u s e do nt h ep r o d u c t i o no fl e a nm a n a g e m e n tt h i n k i n g ，p a r t i c u l a r l y i n t e r n a l l y , t h em a j o r i t yo fs t u d i e sa r es u p e r f i c i a li n t r o d u c t o r y a sf o rp u t t i n g t h e p r o d u c t i o n o fs p e c i f i cm o d e l so ft h e q u a n t i t a t i v ea n a l y s i s a n d o p t i m i z a t i o no fo p e r a t i o n a lr e s e a r c hh a sl a g g e db e h i n d ，f o rp u t t i n gu pm o d e l t os t u d yt h ep e r f o r m a n c eo ft h ep r o d u c t i o ni sl e s s t h et o p i ci so nt h ec u r r e n t i s s u e s ，t r y i n gt ob u i l dm o d e l s t ob ea n a l y s e di no r d e rt oo p t i m i z et h ea c c u r a c y o ft h es e r v i c ep e r f o r m a n c eo fp r o d u c t i o nl i n e sa n df u r t h e ra n a l y s i so fi t s p r o f i t s m yf i r s ts t u d yo ft h i st o p i ci st h ei m p l e m e n tl e a np r o d u c t i o ns t a t u s ， p r o b l e m s a n ds o l u t i o n si n c h i n a ，a n d t h e n a p p l ym a r k o vd e c i s i o n p r o g r a m m i n g ( m d p ) t h e o r y , s t u d i e dt h ea r r i v a lc o n t r o lo faf a i l u r ep r o n e p r o d u c tl i n em m 1q u e u e ，i nw h i c h i fa no r d e ri sr e j e c t e d ，t h ep e n a l t yc o s ti s i n c l u d e d t h eo p t i m a lp o l i c yo ff i n i t eh o r i z o nd i s c o u n t e dc o s ta n di n f i n i t e h o r i z o nd i s c o u n t e dc o s tw e r eg i v e n t h i r ds t u d i e das i n g l er e m o v a b l ea n d n o n r e l i a b l es e r v e ri nt h en p o l i c ym m 1q u e u e i n gs y s t e m d i s t r i b u t i o n t h e s t e a d y s t a t er e s u l t sa r ed e r i v e da n di ti ss h o w nt h a tt h ep r o b a b i l i t yt h a tt h e s e r v e ri sb u s yi se q u a lt ot h et r a f f i ci n t e n s i t y c o s tm o d e li sd e v e l o p e dt o d e t e r m i n et h eo p t i m a lo p e r a t i n gn p o l i c ya tm i n i m u m c o s t a n dm yl a s tw o r k o f t h i st h e s i si su s i n gq u e u e i n gt h e o r yd e s i g nan e wl e a np r o d u c tl i n e k e yw o r d s ：l e a np r o d u c t i o n ；q u e u e ；m d p ；d i s c o u n tm o d e l ；p r o d u c tl i n e ； g e n e r a t i n gf u n c t i o n ；n p o l i c y ；w o r k i n gp o s i t i o n 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于， 不保密日。 学位论文作者签名：毛展髟釜 - z 4 年t , v - 月j 夕日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：删 日期：沙律f v 月日 江苏大学硕士学位论文 第一章绪论 本章简单介绍了精益生产( l e a np r o d u c t i o n ) 的概况及应用前景，阐明了本课 题研究的背景、主要内容，指出了本文的研究框架。 1 1研究背景 企业生产方式就是企业资源配置方式。企业资源就是生产要素或生产条件，包 括劳动资源和物质资源两部分。企业资源配置要依据社会的消费与需求进行有效的 投放，并且在消耗的多少，效率和效益的高低上达到为社会需要者承认的水平。因 此，要精心的组织好资源配置方式，做到企业生产方式能够使资源配置及其可引起 的生产最大限度地合乎社会需求。企业的资源配置方式要正确处理： 1 企业的生产、经营要自觉地服务市场和用户的需求，要增加应变能力： 2 企业要自觉接受国家宏观控制，避免市场经济的盲目性： 3 要实行专业化大协作，在互助互利原则下，搞好企业问的大协作： 4 要正确实施国内、国际统一的标准、法规： 5 要求无止境地改善企业为最大限度满足用户对产品的品种、质量、价格、服 务的需要。 市场经济的发展要求企业决策者掌握社会需求变化、生产力发展、市场信息， 自觉进行变革，永无止境地完善企业生产方式，以适应市场经济的发展，就汽车工 业的生产方式来讲，它是随着市场经济发展而一步一步地发展的。初期是为满足按 不同买主要求来制作每辆汽车的单件生产方式，随着市场扩大，单件生产方式的价 格是难以为大多数用户承受，也不能满足大市场的需求，所以二十世纪初由亨利福 特创造了大量生产方式，代替了单件生产方式。 随着市场多元化的发展，大量生产方式满足不了产品品种的变化。因此，在六 十年代日本丰田公司创造了丰田生产方式，形成了精益生产方式( l e a np r o d u c t i o n ) 。 汽车工业两度改革资源配置方式，指导我们围绕社会需求自觉变革企业生产方式。 告诉我们企业生产方式的变革对整个经济的巨大作用。大量生产方式的实施，其最 大成果就是使美国很快控制了世界经济。精益生产方式的实施，使日本很快达到了 今天经济领先的地位。 1 江苏大学硕士学位论文 目前，我国正迈向市场经济，处在国际商品经济竞争的条件下，应该认真研究 精益生产方式，迎接国际竞争的挑战，尽快改革落后的企业生产方式，加入全球精 益生产方式的生产体系内，进行卓有成效的平等竞争，促进我国经济快速、高效发 展。 1 2 本课题的国内外研究现状 随着日本制造业在国际竞争中的节节胜利以及世界各国对精益生产的研究的逐 步深入，精益主产方式在实践上也逐步被诸多企业所采用。首先在汽车行业内，几 乎所有的大型汽车制造厂商都开始吸收精益生产的思想，推行准时生产( j i t ) ，加 强企业间的协作。尤其在部分生产方法的改进方面，有些企业推行精益生产甚至超 过了日本国内的企业。随后，在越来越多的其他行业的企业中，精益生产的生产组 织方法、人员管理方法以及企业协作方法都被广泛地吸收与推广。近几年，世界范 围的对企业人事管理的改革及一些企业再造的活动，很多都受到了精益生产思想的 影响。在世界范围的精益生产的推行与实践中，有的获得了巨大成功，但有相当数 量的企业并未获得预想的成功，甚至带来了相当的负效应( 据有关资料统汁，约i 3 的企业效果不理想或有负效应) 。究其原因，则非常复杂，有推行过程中的问题，有 行业中生产特点问题，也有社会文化问题，不一而论。 国内外成功的突出实例协1 有： 1 丰田汽车公司实行精益生产历史悠久，1 9 9 9 年生产汽车4 7 0 万辆，销售额7 兆7 6 9 4 亿日元，经常利润6 2 5 6 亿日元( 1 9 9 8 年) 。日本市场占有率为4 0 左右，目 前为世界第二大汽车企业，利润总额比第一大汽车企业美国通用还要高。 2 早在7 0 年代末期，第一汽车制造厂就从日本引进了j i t 生产管理方式。现 在这种生产方式在该厂相当成熟的运用开来。据在一汽生产处了解的情况，全公司 在制品9 4 年较9 3 年下降4 0 ，9 5 年又较9 4 年下降2 0 ，变速箱厂全额流动资金周 转天数9 1 年为1 l 天，9 2 年为6 2 5 天，9 3 年为5 天，9 4 年为6 天：人均产值9 1 年 为1 2 9 万元，9 2 年为1 64 万元，9 3 年为2 1 2 万元，9 4 年为3 0 3 万元。精益的效 益有目共睹。 3 1 9 9 2 年，上海汽车齿轮总厂，通过实施l p 中的j i t 生产方式，从1 9 9 3 年起 到1 9 9 5 年初，产量增加1 0 0 ，而生产资金下降了4 0 0 多万元：在制品周转天数由1 9 8 7 2 江苏大学硕士学位论文 年的1 3 4 8 1 天到1 9 9 4 年底下降到了3 2 天左右。 虽然取得的成绩是明显的，我们也应该注意到国内大多数制造企业采用的都是 常规生产工艺和通用设备，采用的是传统的管理方法和设备布局，这样，不仅使产 品的质量难以保证，还使生产效率上不去，不利于商品经济时代市场的竞争。精益 生产理念作为一种全新的生产管理模式，在我国还有一个逐渐被大家认可的过程， 只能说是冈t n i 起步，目前主要应用于航空工业、汽车的一些关键零部件上，如发动 机、变速箱、汽车外壳等，其生产管理的优越性没有充分体现出来。 国内研究精益生产的文献不少“”，但真正用数学方法定量研究到达控制的 不太多。而且存在的问题不少。国外文献中，文献 7 等采用在业务到达点接受或者 拒绝的方法控制业务量，文献【8 等通过调整到达率的方法控制业务量，文献 9 等 通过给到达业务安排不同服务路线来控制。在采用在业务到达点接受或者拒绝的方 法控制业务量的文献中，文献 7 研究了假定生产线可靠时的最优策略，文献 1 2 研 究了生产线不可靠时的最优策略，它们的最优控制策略都是当生产线前排队业务量 低于临界值时接受该业务，否则，拒绝该业务。 精益生产研究和推广应用中存在的问题： 1 普及面过窄。 精益生产( l p ) 在我国得到了一定程度的应用，但是并不普及。其重要原因是对 于l p 的研究主要集中在有关大学、科学院所和一些大型企业，理论和实践相脱离的 现象十分严重。宣传和培训是最薄弱的环节，有关的教科书及相关的培训甚少。对 于已经引进l p 的企业，没有建立及时深入调查l p 运行情况、收集反馈信息并总结 经验，上升到理论再指导其实践的机制。致使不少企业的经验得不到宣传，失误得 不到及时纠正。 2 认识上有误区。 有些企业认为l p 就是丰田方式，只适合在汽车行业中应用，在其它行业中应用 不会有太大的作用，从而不重视应用l p 。有些企业认为实施了“看板管理”就是实 施了l p ，所以对现有的生产管理方法不做任何调整和改进，单纯实施“看板管理”， 结果没有起到应有的效果。还有些企业在应用”时，误认为“准时生产是在必要的 时刻生产必要数量的产品，那么计划就无足轻重了”。因此，不重视计划的制定，造 成生产无序的混乱场面。 江苏大学硕士学位论文 3 实践中生搬硬套。 l p 是以日本丰田公司的管理模式为基础逐渐发展完善起来的，其中某些技术与 方法是根据丰田公司的特定环境所创立的，具有一定的社会经济和文化背景。我国 有些企业在应用l p 时，没有深入了解l p 的背景及其特定环境，而是生搬硬套或是 孤立地应用其中的某一项技术，使l p 的推广应用只是流于形式，不仅不能起到预期 的效果，反而产生了负效应。 1 3 本文的主要工作及论文内容安排 1 3 1 本文的主要工作 作者在攻读硕士学位期间，曾经在管理咨询公司实习三个月时间，对生产现状 有了详细的了解。本论文将着重在我国精益生产现状与对策、通过合理控制进入生 产线的订单数来降低生产线的拥塞程度、最优n 一策略、合理生产线设计等方面进行 深入研究。 1 3 2 论文内容安排 第二章介绍了排队论的主要研究内容，研究排队论的几种主要方法，并对马尔 可夫决策规划做了介绍。 第三章介绍了精益生产产生的背景和概念，从其理论支柱和遵循的原则阐述了 精益生产的基本原理、主要内容，将精益生产方式与传统生产方式做了详细的比较， 并且研究了我国推行精益生产的现状、存在的问题及对策。 第四章应用马尔可夫决策规划( m a r k e rd e c i s i o np r o g r a m m i n g ，m d p ) 理论， 研究了精益生产环境下，生产线可能发生故障，拒绝订单面临处罚的一类m m 1 随 机服务模型的到达控制策略，给出了有限阶段折扣模型和无限阶段折扣模型的最优 策略：如果订单数小于某一临界值，则接收订单，否则如果大于此临界值，就拒绝 订单。证明了两个与实际情况相符合的定理：( 1 ) 生产线故障( k = o ) 时比生产线正 常( k - 1 ) 时拒绝的订单要多；( 2 ) 决策点离结束时间越远( n 越大) ，拒绝的订单越 多。 第五章研究了精益生产环境下，生产线可能发生故障的单服务台n 一策略m m t 随机服务服务系统，利用概率母函数给出了模型的各项稳态指标；设计了预期费用 函数，利用该函数求解出当预期费用最少时的最优n 一策略；并对该模型进行了数值 4 江苏大学硕士学位论文 模拟。 第六章研究了在工厂生产线的设计过程中，如何安排生产线上的机器设备，以 提高生产率水平，降低生产过程中的原料和半成品库存的问题，用排队论方法建立 了该问题的数学模型，并给出了设计方法。 江苏大学硕士学位论文 第二章排队相关理论及工具 2 1 排队论的研究内容 排队论起源于2 0 世纪初丹麦数学家、电气工程师爱尔兰用概率论方法研究通话 问题，从而开创了这门应用数学学科，并为这门新学科建立了基础。到了3 0 年代中 期，w f e l l e r 引进了生灭过程时，排队论才被数学界承认为一门重要的学科。到了二 战期间，经典排队理论逐渐成熟，这里所指的“经典排队理论”指的是排队系统的 描述性数学模型，对于这样的模型通常是建立在马尔可夫性的前提之下来获得排队 系统稳态时的队长和等待时间分布的精确解。在此期间，许多具有天赋的运筹学专 家、概率论学者和数学家对输入过程和服务过程相互独立的单服务台排队模型进行 过研究，并且获得了一系列著名的研究成果，而对多服务台排队系统的研究，主要 集中在服务时间满足负指数分布的排队情形。在当时，k e n d a l l 、l i n d l e y 、s m i t h 、 c o x 、l o y n e s s 等作出的贡献为排队理论的发展打下了扎实的基础。 排队理论不仅可以被用来描述现实生活中的排队现象，还可以对一些抽象的排 队问题进行描述，比如，在计算机科学和操作系统的设计等等。它通过对各种服务 系统进行概率描述，运用概率特性来对各类日常生活中的拥挤现象进行研究。因此， 排队论可以看作是运筹学和应用概率的重要分支，所研究的问题具有较强的实际背 景。经过几十年的发展，排队论已经成为一门相当成熟的理论，这方面的研究专著 和论文数以干计。特别是随着计算机技术的迅速发展，排队论的研究也日新月异， 已经由以前的纯理论研究逐步向理论和模拟相结合转换。目前，排队论已经广泛应 用于通信工程、交通运输、计算机系统设计、i n t e m e t 网络通信、柔性制造系统、生 产系统规划、国防科技和系统可靠性等众多领域，并且取得了丰硕的成果。排队理 论已经成为许多工程技术人员、系统管理人员进行系统开发和研究的重要手段。 排队论中最为基本的概念是：顾客、排队队列和服务员( 服务台) 。这三个基本 概念的含义显而易见。一般地，在排队系统中，顾客是由输入源来产生的，并且顾 客是依据一定的分布( 至少要按照模型目的来进行简化假设) 来产生的，该统计分 布描述了顾客的到达时间间隔。顾客在到达系统后排队等待接受服务，在各个时间 点上，服务员按照一定的规则对顾客进行特定的服务。这罩所指的规则就是我们通 6 江苏犬学硕士学位论文 常所说的排队规则。排队队伍中的排头指的是第一个到达的顾客，与之相对的是排 尾，指的是队伍中最后的一位顾客( f c f s 到达情况) 。下面我们对上述排队论中的 重要基本概念逐一考虑。 ( 1 ) 输入过程 排队输入过程也称为到达过程，是那些需要服务的人或物( 顾客) 到达服务台 前寻求服务的过程。顾客在那可以得到服务，在服务完后又相继离去。当一个顾客 到达服务台时，服务台正处于服务中，那么该顾客通常需要等待。到达过程中最为 简单的是p o i s s o n 到达过程，它假设顾客按照p o i s s o n 分布来到达，它等价于顾客的 到达间隔服从负指数分布形式。顾客的到达可以是单个到达也可以是批量到达，如 果系统允许所有到达的顾客在系统中排队等候，我们称此类系统具有无限等待系统， 反之称为有限等待系统。在有限等待系统中，当一个顾客到达后发现系统中顾客数 已经达到系统的容纳极限值k 时，该顾客就不再等待，并且立即离去。如果k = 0 时， 除非系统能够为到达的顾客立刻提供服务，否则到达顾客立即离开。丢失系统就是 这类有限容量系统中的一个特例。 ( 2 ) 排队规则 排队规则指的是确定排队队伍形式的规律和顾客接受服务的先后顺序。例如， 服务台对顾客进行随机服务或者按照顾客的到达顺序来进行服务。其中按照顾客到 达的顺序服务的规则是最简单的情形，也是日常生活中最常见的一种，我们通常称 之为先到先服务原则，记为f c f s ( f i r s tc o m e ，f i r s ts e r v e ) 。除了这两种规则外，还有 许多其它的服务规则，例如，后到先服务( l c f s l a s tc o m e ，f i r s ts e r v e ) ，有优先权 服务等。正如现实生活中，仓库里提取货物就是典型的后到先服务。服务过程和到 达过程一样，也可以是批量地进行服务，批量数可以是确定的或者随机变量。通常 情况下，我们考虑排队模型的时候都不考虑顾客进入服务台的时间，但在实际情况 下，这一点显然不成立。比如，服务台的操作要靠手工来完成，服务台工作断断续 续的，当一个顾客服务完后离开系统时，服务台并不能够立刻为下一位顾客提供服 务，必须经过一定的时间来处理上一位顾客离开后系统中剩余的工作才能进行下一 个服务。 ( 3 ) 服务机制 服务机制指的是顾客在排队队伍中被选择接受服务的过程。从该顾客开始接受 江苏大学硕士学位论文 服务起，到被服务结束的那- n 为止，整个过程所占用的时间称为服务时间。假设 顾客离去时刻点“，( k = 1 , 2 ，3 ，) ，如果在f = 0 的时候顾客离开，我们称这一时刻为 初始离去点，记为r 0 = 0 ，设& ，( j | = 1 , 2 ，3 ，) 为第k 个顾客的服务时间布函数通 常记为s ( x ) = p ( s x ) ，0 x o o ，k = 1 ，2 ，3 ，它的概率密度函数记为s ( 曲。服务 时间可以是各种各样的分布，例如，服务时间是服从k 阶爱尔兰分布，在服务过程 中，服务被分成k 个负指数相位来进行。服务台可以有一个或多个同时对顾客提供 服务，对单个服务台的排队服务系统，已经有了比较全面而深入的研究，它是经典 排队模型的重要部分，是研究多服务台排队系统和特殊排队系统的理论基础。当服 务台个数趋于无穷大时，所有的顾客直接接受服务而不必在系统等待，我们通常所 要关注的也往往是那些处于服务操作中的服务台。 通常，我们运用排队理论来对系统进行分析研究时，主要从系统一些指标的概 率特性着手。通常按照顾客和服务台各自的排队特性把这些指标分成两类： ( 1 ) 排队系统中顾客的概率特性 顾客的等待时间 在系统中的逗留时间 等待服务的顾客数 阻塞概率( 系统容量有限情形下) 顾客必须等待服务的概率 ( 2 ) 排队系统中服务台的概率特性 服务台的利用率( 占有率) 服务台的忙期与闲期 获得的总收益 失去的总收益 顾客的满意度( 服务等级) 对以上指标的分析，我们通常采取转移分析和均衡分析相结合的方法，考虑他 们的分布形式、瞬态性质和统计均衡下的性态。 2 2 马尔可夫链汹1 1 连续时间参数的马尔可夫链 江苏大学硕士学位论文 定义：设连续时间参数随机过程留( ，) ，0 ，状态空间e = o i2 ，如果对于 任意的非负整数”，以及任意0 ，i ，2 0 ，如果将状态 按字典顺序排序后，其生成元可写成下列分块三对角形： q = 氐c o 反4c 1 b 2a 2 c 2 b na hc ， ，则称协( ，) ，( ，) 是一个拟生灭过程( q u a s ib i r t h a n d d e a t h p r o c e s s ，简记q b d ) ，其中所有子块是m 阶方阵，以( 七o ) 有负的对角线 元素，并且行和非正，吼和g 都是非负阵，满足( 厶+ c o ) p = ( 以+ 毋+ g ) p ，k i 。 q b d 是经典生灭过程从一维状态空间至u - - - 维状态空间的推广。经典生灭过程的 状态x ( t ) = k 视为被分解成m 个子状态 ( ，1 ) ，( 七，小) 。这一结构顺应了刻画过程在 多层次、多相位及变动参数情况下演化的要求。e v a n s ( 1 9 6 7 ) 首先在排队论分析中使 用这类过程，w a l l c a e ( 1 9 6 9 ) 在计算机系统研究中也遇到这类过程，并由他引入了“拟 生灭过程”这一术语。迄今广泛使用的只是一类特殊的q b d ，即生成元q 中的子块 从菜一水平开始不再发生变化的情形。这时，过程生成元如： 江苏大学硕士学位论文 q = a oc o b ia lc i b f - ia f lc ，一1 bac bac 二十世纪7 0 年代以来，n e u t s ( 1 9 8 1 ) 等系统地发展了处理这种特殊q b d 的矩阵 分析方法，通过求率矩阵来求解。对于一般的q b d ，尚未建立起平行于经典生灭过 程的理论和处理方法【l ”。 2 5 马尔可夫决策规划口” 马尔可夫决策规划是建立在马尔可夫过程基础上的一种动态优化方法，适用于无 后效性结构的动态随机系统的序贯性决策。所谓的序贯性决策，就是需要在一系列时 间点上做出决策，而系统向下一个时刻的状态转移是随机的。在每个观测时刻，决策 者根据掌握的信息，对当前状态选取适用的决策行为，然后系统随机转移到下一个状 态，决策者收集新的信息，做出新的决策。当系统的状态转移具有无后效性( 或称马 尔可夫性) 结构时，决策行为只与当前状态有关，而与系统转移至此状态的过程无关， 这样，就可以根据系统的状态转移模型制定出控制系统运行的最优策略。 马尔可夫决策规划将系统的状态变化作为一个马尔可夫过程来处理，在马尔可 夫过程的每一个状态上，决策者可以采取不同的决策行为，根据状态和决策行为的 不同，决策者可以获得一定的收益，这种收益可以是负值，决策者将遭受一定的损 失。马尔可夫决策的目标是找到一种策略，该策略定义了不同状态上应该采取的决 策行为，使得最终的收益最大或是损失最小。用数学语言描述基于马尔可夫过程的 马尔可夫决策规划。一个马尔可夫决策过程包含以下4 个元素： s ，( a ( i ) ，i s ) ， p ，r ) ，其中：( 1 ) s 是可列非空状态集，是系统所有可能状态的集合； ( 2 ) a ( i ) 和i s 是系统处于状态时所有可能的决策行为的集合； ( 3 ) r = ( r ( i ，a ) ，a a ( i ) ，i s ) ，r ( i ，a ) 称为报酬函数，表示任意 时刻系统处于状态i 采取决策行为a 时，所获得的期望报酬。报酬函数与系统的历 史无关，即无论系统经过何种过程到达状态i ，只要采取的决策行为a 相同，那么获 得的报酬也相同； 1 1 江苏大学硕士学位论文 ( 4 ) p 是决策行为对系统状态影响的描述，p = p ( j l i ，口) 口a ( o ，i s ，_ ，s 。 p ( j l i ，口) 表示在任意时刻t ( t = o ，l ，2 ，) 系统处于状态i ，采取决策行为a a ( i ) 的条件下，系统在t + i 时刻转移到状态j 的概率，它与系统在t 以前所处的 状态无关，也与时刻t 无关。 一种策略是一组决策行为组成的向量，设系统由m 个状态组成，则d = ( d ，d ：， d ) ，d a ( i ) 。d 定义了处于状态i 时所采取的决策行为，当每一个状态上的决策 行为确定以后，系统的概率转移矩阵也就确定了，这样每一种策略实际上就确定了 系统的一个马尔可夫过程。假设no 是系统在策略d 下所确定的马尔可夫过程的平稳 分布，马尔可夫决策过程所要解决的就是选取一组决策行为，便利系统的部收益 石? 尺? 最大。一般来讲，被考察系统的状态是一个可数集，每一个状态所能采取 j e s 的决策行为也是有限的，因此，在理论上这种平稳策略是存在并可以求出的。但是， 所搜索的状态空间个数将是a ( i ) 所包含元素数目的乘积，计算量很大，所以通常 采用的方法是被称为“策略迭代法”的动态规划求解方法。 对于系统阶段无限的马尔可夫过程，考虑收益的时间价值，引入折扣率b 来表 示未来收益在当前时间点的“现值”，则系统的期望收益可以用迭代方式表示为 u ( f ，d ) = ，( f ，d ) + f l p ( j l i ，d ) u ( j ，d ) ，v i e s ( 1 ) e j 由式( 1 ) 得到马尔可夫决策的“策略迭代法”求解步骤如下： ( 1 ) 取初值任取一种初始策略d ，一般取分别使各个状态当前收益最大的决策 行为组成初始策略，以缩短迭代运算次数； ( 2 ) 策略的评估根据当前策略确定的马尔可夫过程参数，求解式( 1 ) 所示的 线性方程组，得到当前策略的期望收益值v ( i ，d ) ，i s ； ( 3 ) 策略的改进利用策略评估得到的期望收益值，对各个状态i 找出使估值函数 v ( i ，d ) = ，( f ，d ) + p ( j l i ，a ) u ( j ，d ) ，v i s ( 2 ) j e j 最大的决策行为d ，由这些决策行为组成一种新的策略d 。； ( 4 ) 若前后两种策略相同，则停止迭代，此种策略就是最优策略，否则转入步 骤( 2 ) 继续迭代过程。 分析证明，“策略迭代法”能够保证收敛到最优解。 1 2 江苏大学硕士学位论丈 第三章精益生产基本原理以及在我国实施基本情况 3 1精益生产起源与基本理念 3 1 i 精益生产方式出现的背景 2 0 世纪初，从美国福特汽车公司创立第一条汽车生产流水线以来，大规模的生 产流水线一直是现代工业生产的主要特征。大规模生产方式是以标准化、大批量生 产来降低生产成本，提高生产效率的。这种方式适应了美国当时的国情，汽车生产 流水线的产生，一举把汽车从少数富翁的奢侈品变成了大众化的交通工具，美国汽 车工业也由此迅速成长为美国的一大支柱产业，并带动和促进了包括钢铁、玻璃、 橡胶、机电以及交通服务业等在内的一大批产业的发展。大规模流水生产在生产技 术以及生产管理史上具有极为重要的意义。但是第二次世界大战以后，社会进入了 一个市场需求向多样化发展的新阶段，相应地要求工业生产向多品种、小批量的方 向发展，单品种、大批量的流水生产方式的弱点就日渐明显了。为了顺应这样的时 代要求，由日本丰田汽车公司首创的精益生产，作为多品种、小批量混合生产条件 下的高质量、低消耗迸行生产莳方式在实践中摸索、创造出来了。 5 0 年代初，日本丰田汽车工业公司的工程师丰田英二到美国底特律的福特公司 的轿车厂进行了三个月的参观学习。在参观福特的鲁奇厂时，他发现这座巨大的工 厂，完全按单一品种原则设计，所有必须的原材料从一个大门送进，而成品汽车从 另一个大门开出，整个工厂不靠与外界合作，工厂就像个城堡，那里的任何一个 地方都显示一个“大”字。当时这个厂每天能生产7 0 0 0 辆轿车，比日本丰田公司一 年的产量还要多，但丰田在他的考察报告中却写道：“那里的生产体制还有改进的可 能”。 回日本后，丰田英二与大野耐一认为大量生产方式不适合日本汽车工业的实际， 这是因为五十年代e l 本的国内汽车市场很小，而需要的汽车种类却很复杂，有政府 官员用的豪华轿车，各种运货的大型载货汽车和供小农使用的小型载货汽车，以及 适用于日本拥挤街道和昂贵的能源的小型经济型轿车；当时经历了战争摧残的日本经 济萧条，缺少资金和外汇；同时欧美等国的巨大汽车制造商也积极地强占日本市场， 并防止日本向他们己经占领的市场出口汽车。怎样建立日本的汽车工业? 照搬美国的 江苏大学硕士学位论文 大量生产方式，还是按照日本的国情另谋出路，丰田选择了后者。 丰田英二和他的伙伴大野耐一进行了一系列的探索和实验，根据日本的国情， 提出了解决问题的方法。他们针对大量生产方式过“胖”的弊端，进行减肥，其基 本思想是：彻底杜绝浪费，追求制造汽车的合理性。丰田公司在探索新的生产模式的 过程中发现，小批量生产比大批量生产成本更低，而造成这种现象的原因有两个：第 一，小批量生产不需要大批量生产那样大量的库存、设备和人员；第二，在装配前， 只有少量的零件被生产，发现错误可以立即更正。根据后一个原因丰田得出结论， 应该将产品的库存时间控制在两小时以内，这就是准时生产( j u s t i n - t i m e j i t ) 和零 库存的雏形。事实上后来j i t 生产还推广到与合作伙伴之间的合作，确定了这种模式 下制造企业与合作伙伴之间亲密的依赖关系。在大量生产方式的工厂里，组装线上 的工人只是重复一些简单的动作，而不对产品的质量负责，产品质量由专门的检验 部门在产品整体装配完毕后进行检查。但事实上组装线上的工人最了解第一线的情 况，如果在组装线上就将生产中出现的错误进行纠正，那就不会出现因错误积累而 导致大量拆卸返修的现象。为了能够随时发现生产过程中出现的错误并及时纠正， 必须要有由高度熟练和具有高度责任感的工人组成的工作小组。 所以丰田公司按生产将工人分组，每个小组随时纠正本组生产过程中出现的错 误，并且定期集体讨论，提出改进工艺流程的建议，这就是成组技术和质量控制的 早期形式。当然在刚刚实施随时纠正错误的做法时，组装线老是停下来，但当所有 的工作小组掌握了经常出现的差错，并对发现差错原因有了一定经验之后，差错的 数量大为减少。 因为每个工作小组的工人对他们的生产负责，所以他们有权决定如何提高生产 力水平，并自己实施改进措施，也就是说工人有进行决策的权力。而在授权给生产 小组方面，除了给予他们改进生产的权利，还赋予工作组长强大的行政权力，组长 可以根据小组成员的表现晋升工作出色的成员。这种管理方式改变了企业的生产文 化，经过近3 0 多年的不断努力，终于形成了完整的丰田生产方式，使日本的汽车工 业超过了美国，产量达到了1 3 0 0 万辆，占世界汽车总量的3 0 以上。 丰田生产方式的成功促进了这种新的生产方式的推广，从而丰田生产方式成为 日本工业竞争战略的重要组成部分。丰田生产方式的指导思想就是：通过生产过程的 整体优化，改进技术，理顺物流，杜绝超量生产，消除无效劳动与浪费，有效利用 1 4 江苏大学硕士学位论丈 资源，降低成本，改善质量，达到用最少的投入实现最大产出的目的。 日本企业界在推行丰田生产方式以后，日本生产的产品在国际市场上的竞争力 大大地提高了，这引起西方企业界、理论界的浓厚兴趣。八十年代美国麻省理工学 院国际汽车研究小组在花费了五、六年的时间对日本汽车工业的生产管理方式进行 调查研究之后，将丰田生产方式命名为“精益生产方式( l e a np r o d u c t i o n l ”。研究小组 在将日本的新技术与西方的大量生产方式相比较后认为，日本在生产中所采用的方 式是其在世界市场上竞争取得优势的关键，而且这种生产方式将取代2 0 世纪初开始 盛行的大量生产方式，对整个世界的生产方式产生重大的影响。 3 1 2 精益生产方式的主要内容 精益生产方式是一种以最大限度地减少企业所占用的资源和降低企业管理和营 运成本为主要目标的生产方式。精益生产方式的理论框架包含“一个目标”、“两大 支柱”和“一大基础”。 “一个目标”是低成本、高效率、高质量地进行生产，最大限度地使顾客满意。 “两大支柱”是准时化与人员自觉化。准时化生产是以市场为导向在合适的时 间、生产高质量和合适数量的产品，是以“平准化”为前提条件以市场来拉动生产。 所谓拉动生产是以看板管理为手段，采用“取料制”即后道工序根据“市场”需要 进行生产，根据本工序在制品所需要的用量从前道工序领取相同数量的在制品，一 个工序一个工序地向前推动，从而形成全过程的拉动控制系统，绝不多生产一件产 品。“平准化”是指工件被拉动到生产系统之前要进行人为的按照加工时间、数量、 品种进行合理的搭配和排序，这样拉动到生产系统中的工件流就具有加工工时上的 平稳性，保证均衡生产，同时在品种和数量上实现混流加式运动( a o 在同一个工作平 台上生产不同品种、不同数量产品) ，起到对市场多品种、小批量需要的快速反应和 满足功能。人员自主化是指人员与机械设备的有机配合行为。生产线一旦上产生质 量、数量、品种上的问题机械设备就自动停机，并有指示显示，而任何人发现故障 问题都有权立即停止生产线，主动排除故障，解决问题。同时将质量管理溶入生产 过程，将质量管理变为每一个员工的自主行为，将一切工作变为有效劳动。 “一大基础”是指改善( ( i m p r o v e m e n t ) 。改善是精益生产的基础，可以说没有改 善就没有精益生产。这里的改善是指这样的含义：从局部到整体永远存在着改进 与提高的余地。在工作、操作方法、质量、生产结构和管理方式上要不断地改进与 江苏大学硕士学位论文 提高。消除一切浪费。精益意味着不能提高附加价值的一切工作( 包括生产过剩、 库存、等待、搬运、加工中的某些活动，多余的动作，不良品的返工等) 都是浪费， 这些浪费必须经过全员努力不断消除。连续改善( c o m i n u o u si m p r o v e m e n t ) 是当今 国际上流行的管理思想。它是指以消除浪费和改进提高的思想为依托，对生产与管 理中的问题，采用由易到难的原则，不断地改善、巩固，改善、提高的方法，经过 不懈的努力，以求长期的积累，获得显著效果。 3 1 3 精益生产方式的精髓 麻省理工学院的汽车研究小组的沃麦克和琼斯在二十世纪九十年代细致地研究 了丰田生产方式，并用了大量的时间来做推广和实施精益的工作，通过实践，他们 总结出精益生产的这样五项原则： 1 准确确定特定产品的价值 精益生产的起点是价值i “价值只能由最终用户来确定：价值也只有由具有特定价 格、能在特定时闻内满足用户需求的特定产品( 或服务) 来表达时才有意义。”“在整个 产品从概念到投产的设计过程；从最初提出要求到产品送货的信息流动的订货过程： 从原材料到用户手上的物质产品的生产过程中，只有用户的需要才是决定产品价值 的因素。”精益生产所要求的是站在用户的角度来从根本上重新考虑价值。精益生产 要求生产者充分了解用户的需求，重新设计产品。由于产品从生产到最终送到用户 手中要经过许多不同的部门或公司，许多的生产商一般地只从自己的立场来认定用 户的需要，甚至错误地认为用户不满意他们生产的产品是用户的水平太低，那么以 这样的思维来组织生产势必造成生产出来的产品无人问津，没有为用户刨造出任何 的价值。因此，站在最终用户的立场，通过与用户的沟通，为具有特定功能以特定 价格提供的产品准确地定义价值，并从企业整体利益出发，重新考虑如何宦造价值。 2 识别价值流 价值流是“使一个特定产品通过任何一项活动的三项关键性管理任务时所必须 的一组特定活动。”即是对某一特定产品从原材料到成品的全部活动来说，以最终用 户的角度来寻求整体的最佳。这三项任务是从概念开始，通过细节设计，到投产的 全过程中解决问题；从订单到制订详细进度到送货的全过程中的信息管理：从原材料 到制成产品，送至0 用户手中的物质转化。在完成这三项任务的过程中可以发现沿着 价值流显示出三种活动方式：能够创造价值的步骤；虽然不创造价值，但在现 1 6 江苏大学硕士学位论文 有的技术与生产条件下不可避免的其他步骤；不创造价值并且可以立即去掉的步 骤( 即三种不同的作业形式) 。 3 价值不间断流动 在确定了价值之后，某一特定产品的价值流程图就比较清晰地呈现出来了，其 中明显的浪费步骤也己经消除，接下来的工作就是使保留下来的、能够创造价值的 各个步骤流动起来。精益生产要求把一天中生产某一种特定产品的生产活动，从按 “部门”和“批次”进行改为按连续流动重新安排。首先将注意力集中在具体的设 计、专门的订货和产品本身，关注从开始到完成的全过程；其次是要打破工种、职务、 职能和企业的传统界限，组成工作团队来共同消除影响产品连续流动的障碍；最后是 要重新思考具体的工作方法和工具来消除所有各式各样的倒流、废品和障碍，使具 体产品的设计、订货和生产能够连续进行。 从“部门”和“批量”转化到“团队”和“流动”，其中最明显的效果是：从概念 到投产、销售到送货以及原材料到用户所需要的时间大大地减少了。以前需要几年 时间完成的设计工作，现在几个月就能完成。还有在流动起来的精益系统中，正在 生产的所有产品可以任意组合，来满足变化了