（概率论与数理统计专业论文）备货型商品在rd策略下的利润函数.pdf

摘要 本文主要讨论备货型商品在( r ，d ) 策略下的利润函数，采用的手段就是马 氏决策过程，构造h j b 方程，然后利用差分方程的技术求解出利润函数。全文由 五部分组成，具体结构如下： 第一章，绪论部分。简要介绍研究背景、研究现状及本文的基本框架。 第二章，预备知识。介绍本文所涉及的理论知识，主要包括：备货型生产的 有关概念；马氏决策过程的概念；最优化理论等。 第三章，核心结果( i ) 。研究当d r ， r i 0 情形下的利润函数：我们根 据初始库存x ，分别写出x d 、r 2 x d 、r i x r i 、d 0 r z r t 、 0 d r ， r 情形下的利润函数。处理方法与第三章类似。 第五章，总结与展望。总结本文主要工作，探求其不足之处及可拓展空问。 关键词备货型商品系统，动态价格，需求过程管理，马氏决策过程，利润函 数 a bs t r a c t t h i sp a p e rm a i n l yd e v o t e st os t u d y i n gt h ep r o f i t f u n c t i o n sf o r m a k e t o s t o c kp r o d u c t i o nu n d e r ( r ，d ) p o l i c y b a s e do nt h em a r k o v d e c i s i o np r o c e s s e st h e o r y , f i r s tt h ea u t h o rc o n s t r u c t st h eh j be q u a t i o n s f o re a c hs i t u a t i o n ，a n dt h e ng e t st h er e s u l t sb yt h er e l a t e dk n o w l e d g eo f d i f f e r e n t i a le q u a t i o n s t h ef u l lt e x ti sc o m p o s e do ff i v ep a r t s ，a n dt h e c o n c r e t es t r u c t u r ei sa sf o l l o w s ： c h a p t e ro n ei n t r o d u c e st h eb a c k g r o u n da n de x i s t i n gw o r ko ft h e g r o w t hs y s t e ma sw e l la st h ef r a m e w o r k o ft h ep a p e r c h a p t e rt w oi n t r o d u c e st h ee l e m e n t a r yt h e o r i e sw h i c h a r en e e d e di n t h ep a p e r , m a i n l yi n c l u d i n g ：t h er e l a t e dc o n c e p t so fm a k e - t o s t o c k p r o d u c t i o n s ，t h ec o n c e p t so fm a r k o vd e c i s i o np r o c e s s e s ，t h et h e o r yo f o p t i m a l i t y , e t c c h a p t e rt h r e ec o n s i d e r so n eo f t h em a i nr e s u l t si nt h i sp a p e r i nt h i s c h a p t e rt h ea u t h o ri n v e s t i g a t e st h ep r o f i tf u n c t i o n si nd 心 墨0 t h e a u t h o rf i r s tr e w r i t e st h eh j be q u a t i o n sa c c o r d i n gt oi n i t i a li n v e n t o r y , t h e n g e t s t h e g e n e r a l s o l u t i o n so ft h e c o r r e s p o n d i n gc o n d i t i o n s p r o f i t f u n c t i o n sb yt h ee i g e n v a l u em e t h o do fd i f f e r e n t i a le q u a t i o n ，f i n a l l y d e t e r m i n e st h o s ec o e f f i e n t sb yt h e i rb o u n d a r yc o n d i t i o n st oo b t a i nt h e p r o f i tf u n c t i o n s i i c h a p t e rf o u rp r o m o t e st h eo t h e rm a i nr e s u l t so ft h i sp a p e r t h i s c h a p t e rf o c u s e so nt h ep r o f i tf u n c t i o n sf o rt h eo t h e rt h r e es i t u a t i o n s ： d 是o 墨，d 0 马 墨a n d o d 足2 墨t h em e t h o do fs o l u t i o ni s s i m i l a rt oc h a p t e rt h r e e c h a p t e rf i v es u m m a r i z e st h em a i n l yw o r ko f t h i sp a p e r , a n dc a r r yo i l t i l i sr e s u l tt of u r t h e rd i s c u s s e s k e yw o r d s p r e f e r e n t i a lg r o w t hs y s t e m ，s t e a d y - s t a t ed e g r e e d i s t r i b u t i o n ，s c a l e f r e ep r o p e r t y , m a r k o vc h a i n 1 1 1 硕+ 学位论文 第一章绪论 第一章绪论 1 1 问题提出的背景与研究现状 1 9 8 6 年，a k e l l 和k u m a r 发表了在易破坏生产系统下商品生产率的优化控 制 1 一文，在这篇文章中作者假设商品的需求率是一个常数，主要研究的是： 在易破坏生产系统下，为了使折现库存费用最小如何优化控制商品生产率。此文 通过两个步骤来解决这个问题：第一步是利用随机耦合、线性系统、稳定和不稳 定特征空间、更新理论和参数优化等相关知识猜测它的优化策略。第二步就是结 合右连续微分方程、优化控制问题的奇异性、动态规划方程的光滑性和有效性等 知识来严格证明第一步所忽视的数学问题。 之后也有很多学者对此作了研究，1 9 8 8 年，l l i 2 在类似的情形中得到了 平行的结论。在 2 中，不论是模型的建立，还是其解决方法对连续性的要求都 比较高。他要求商品的平均需求率是一个连续可微的价格函数，而且他的工作也 仅仅给出了优化策略的定性描述。 对于备货型商品队列的经典控制问题也有了大量的研究，已经有了大量的文 献关于生产率最优控制的外源性和结论。g a v i s h 和g r a v e s 3 以及s o b e l 4 第 一次证明了对于单个商品和单个机器的基本存货的最优策略。之后z h e n g 和 z i p k i n 5 ，w e i n 6 ，v e a c h 和w e i n 7 ，h a 8 以及b e r t s i m a s 和p a s c h a l i d i s 9 都试图对多个商品的基本存货的最优策略进行了研究。另外一个研究的方向就是 试图通过更多的关注生产设施的细节来构造模型。这方面也有很多专家作了大量 深入的工作，比如，k a p u s c i n s k i 和t a y u r 1 0 通过串联队列来构造生产过程， f e n g 和y a n 1 1 ，f e n g 和x i a o 1 2 对有不可靠的随机故障的生产设施进行了处 理。 在库存管理和其相关领域里，自从1 9 世纪5 0 年代就开始了对联合价格和库 存控制问题的研究。第一个研究的是w h i t i n ，他在1 9 9 5 年还发表了一篇库存 控制和价格理论 1 3 。这些研究也同样包含r i m 市场环境的存货最优策略等 问题。在这些研究的大量文献中，主要就是对于需求模型的确定性和随机性进行 讨论，他们的方法是不同的，一个最近最新的突破就是w e l m a g h r a b y 和 硕+ 学位论文第一章绪论 p k e s k i n o c a k 1 4 。 2 0 0 3 年，w e l m a g h r a b y 和p k e s k in o c a k 发表了一篇关于库存的动态价格 的文章( 参见 1 4 3 ) ，他们对不同企业不同商品的动态价格采取优化策略时主要 考虑三个要素：1 ) 提高需求数据的可利用性；2 ) 采用新技术新方法简化观察到 的动态价格；3 ) 采用新技术新方法来分析这些需求数据。一般地说动态的价格 策略就是根据商品销售与需求来确定商品的销售价格。 w e l m a g h r a b y 和p k e s k i n o c a k 发表这篇文章 1 4 是通过调查的数据来研 究何种情形下的动态价格是最优的策略。此文里研究的商品生产是属于备货型 的，生产过程是一个可控的随机过程，而销售过程也依靠商品在市场中的需求率 的高低而定的随机过程。商品利润最优就依赖于商品的库存与需求。 2 0 0 6 年，陈柳鑫，冯有翼和欧继红发表了制造系统中库存及产品需求的 优化管理及最优决策的有效计算 1 5 ，这篇文章考虑的是制造一存储系统中库 存与产品需求的联合管理问题。生产过程具有随机性且生产率有限，市场需求对 产品价格敏感。在这样的制造及市场背景下，如何调整生产率及销售价格使得制 造商的长期折扣利润达到最大化。此文通过分析研究发现最优的库存决策为基本 存储点决策：1 ) 如果库存量达到或超过这个存储点即停止生产；2 ) 否则以最快的 速度生产。而产品需求过程的优化管理则服从价格转换点决策：1 ) 当库存量超过 价格转换点时，系统采用低价格销售以便降低库存费用；2 ) 当库存量高于价格转 换点时则以高价格销售以便减少需求。文章在此基础上还提供了一个有效快速的 算法去计算这个最优多阶段马氏决策。这篇文章补充和发展了乙l i 2 的工作， 模型的构造对连续性的要求不高，此文不仅对优化策略给出了定性的描述，而且 还给出了一个有效快速的算法。笔者的这篇硕士论文就是在此文的基础上，给出 了具有两个需求转换点的显示表达式。 1 2 论文的主要内容与结构 本文主要讨论备货型商品在( r ，d ) 策略下的利润函数，采用的手段就是马 氏决策过程，构造h j b 方程，然后利用差分方程的技术求解出利润函数。全文由 六部分组成，具体结构如下： 第一章，绪论部分。简要介绍研究背景、研究现状及本文的基本框架。 2 硕十学位论文第一章绪论 第二章，预备知识。介绍本文所涉及的理论知识，主要包括：马氏过程的概 念；备货型商品的概念；马氏决策过程的概念；差分方程的特征值求法；泊松过 程以及指数分布等。 第三章，核心结果( i ) 。研究当d 风 r i o 情形下的利润函数：我们根 据初始库存x ，分别写出x d 、r 2 x d 、r x r i 、d 0 r 2 r i 、 0 d r 2 r i 情形下的利润函数：按照模型中初始库存x ，分别写出相应条件 下的h j b 方程，然后我们利用差分方程的特征值法求解出对应条件下的利润函数 的通解，最后再根据边界条件确定其系数，得出利润函数。 第五章，总结与展望。总结本文主要工作，探求其不足之处及可拓展空间。 硕十学位论文第二章预备知识 2 1 备货型生产 第二章预备知识 按照马克思主义的观点，生产是以一定生产关系联系起来的人们利用劳动资 料，改变劳动对象，以适合人们需要的过程这里所说的生产主要是指物质资 料的生产。通过物质资料的生产，使一定的原材料转化为特定的有形产品。 服务业的兴起，使生产的概念得到延伸和扩展。过去，西方学者把与工厂联 系在一起的有形产品的制造称作“p r o d u c t i o n ”，而把提供劳务的活动称作 “o p e r a t i o n s ”。现在，他们有时将两者均称为“o p e r a t i o n s ”。西方学者将有形 产品和劳务都称作“财富”，把生产定义为创造财富的过程，从而把生产的概念 扩大到非制造领域。这是有道理的。虽然，搬运工人和邮递员转送的都不是他们 自己制作的东西，但他们付出了劳动，我们不能说他们从事的不是生产活动。 从一般意义上讲，我们可以给生产下一个定义：生产时一切社会组织对它的 输入转化为输出的过程。转化是在生产运作系统中实现的。 2 1 1 生产运作系统( p r o d u c t i o na n do p e r a t i o ns y s t e m ) 生产运作系统是由人和机器构成的、能将一定输入转化为特定输出的有机整 体。生产运作系统本身是一个人造的系统，它也是由输出决定的。输出的“质 不同，则生成系统不同。显而易见，钢铁厂的生产系统不同于机床厂的生产系统， 餐馆的运作系统不同于银行的运作系统。不仅如此，生产运作系统还取决于输出 的“量”。同是生产汽车，大量大批生产和小批量生产所采用的设备以及设备布 置的形式是不相同的；同时提供食物，快餐店和大饭馆的运作组织方式也是不同 的。 生产运作系统的运行，主要是讲在现行的生产运作系统中，如何适应市场的 变化，按用户的需求，生产合格产品和提供满意服务。生产运作系统的运作主要 涉及生产计划、组织与控制三个方面。 计划方面解决生产什么、生产多少和何时出产的问题，包括预测对本企业产 品和服务的需求，确定产品和服务的品种与产量，设置产品交货期和服务提供方 式，编制生产运作计划，作好人员班次安排，统计生产进展情况等。 4 硕十学位论文 第二章预备知识 组织方面解决如何合理组织生产要素，使有限的资源得到充分而合理的利用 的问题。生产要素包括劳动者( 工人、技术人员、管理人员和服务人员) 、劳动 ： 资料( 设施、机器、装备、工具、能源) 、劳动对象( 原材料、毛坯、在制品、 零部件和产品) 和信息( 技术资料、图纸、技术文件、市场信息、计划、统计资 料、工作指令) 等。劳动者、劳动资料、劳动对象和信息的不同组合与配置，构 成了不同的组织生产的方式，或简称生产方式。例如，福特生产方式，丰硐生产 方式。一种生产方式不是一种具体方法的运用，而是在一种基本思想指导下的一 整套方法、规则构成的体系，它涉及到企业的每个部门和每一项活动。 控制方面解决如何保证按计划完成任务的问题，主要包括接受订货控制、投 料控制、生产进度控制、库存控制和成本控制等。对订货生产型企业，接受订货 控制是很重要的。接不接，接什么，接多少，是一项重要决策，它决定了企业生 产经营活动的效果。投料控制主要是决定投什么，投多少，何时投，它关系到产 品的出产期和在制品数量。生产进度控制的目的是保证零件按期完工，产品按期 装配和出产。库存控制包括对原材料昆虫、在制品库存和成品库存的控制。如何 以最低的库存保证供应，是库存控制的主要目标。 2 1 2 生产运作管理( p r o d u c t i o na n do p e r a t i o nm a n a g e m e m ) 生产运作管理是对生产运作系统的设计、运行与维护过程的管理，它包括对 生产运作活动进行计划、组织与控制。 生产运作系统的设计包括产品或服务的选择和设计、生产运作设施的顶点选 择、生产运作设施布置、服务交付系统设计和工作设计。生产运作系统的设计一 般在设施建造阶段进行。但是，在生产运作系统的生命周期内，不可避免地要对 生产运作系统进行更新，包括扩建新设施，增加新设备；或者由于产品和服务的 变化，需要对生产运作设施进行调整和重新布置。在这种情况下，都会遇到生产 运作系统设计问题。 生产运作系统的设计对其运行有先天性的影响。如果产品和服务选择不当， 将导致方向性错误，一切人力、物力和财力都将付之东流。厂址和服务设施的位 置选择不当，将铸成大错。在何处建造生产运作设施对生产经营活动的效果有很 多影响，尤其是对服务业。同时，位置和设施的布置往往决定了产品和服务的成 本，决定了产品和服务在价格上的竞争力，甚至决定了一个组织的兴衰。 硕士学位论文 第二二章预备知识 生产运作管理所追逐的目标可以用一句话来概括：高效、低耗、灵活、准时 地生产合格产品和提供满意服务。 高效是对时问而言，指能够迅速地满足用户的需要。在当前激烈的市场竞争 条件下，谁的订货提前期短，谁就能争取用户低耗是指生产同样数量和质量的 产品，入力、物力和财力的消耗最少。低耗才能低成本，低成本才有低价格，低 价格艿能争取用户。灵活是指能很快地适应市场的变化，生产不同的品种和开发 新品种或提供不同的服务和开发新的服务。准时是在用户需要的时问，按用户需 要的数量，提供所需的产品和服务。合格产品和满意服务，是指质量。当前，激 烈的市场竞争对企业的要求包括四个方面：时间( t i m e ) 、质量( q u a l i t y ) 、成本 ( c o s t ) 和服务( s e r v i c e ) 。时问指满足顾客对产品和服务在时间爱你方面的要 求，即交货期要短而准；质量指满足顾客对产品和服务在质量方面的要求；成本 指满足顾客对产品和服务在价格和使用成本方面的要求，即不仅产品形成过程中 的成本要低，而且在用户使用过程中的成本也低；服务为提供产品之外为满足顾 客需求而提供的相关服务，如产品售前服务及售后服务等。 要搞好生产运作管理，必须有一支高水平的生产运作管理人员。生产运作管 理人员运用了企业的绝大部分资金( 固定资产一设施、设备等，流动资金一原材 料、在制品、成品) 来组织生产运作，他们活动的效果决定了企业效益的好坏。 因此，生产运作管理人员在企业中的作用是十分重要的。 生产运作管理人员与其他管理人员一样，也是通过他人来完成工作任务。因 此，他们必须具备两方面的技能。 技术技能技术技能包括两方面：专业技术与管理技术。生产运作管理人员 面临的是转化物料或提供各种特定服务这样的活动，他们必须了解这个过程。因 此，必须具备有关的专业技术知识，特别是工艺知识。不懂专业技术的人是无法 从事生产运作管理的。但单有专业技术知识对生产运作管理人员是不够的，他们 还需懂生产运作过程的组织，懂计划与控制，懂现代生产运作管理技术。 行为技能生产运作管理者要组织工人和技术人员进行生产活动，他们必须 具备人际关系的能力，要善于与他人共事，调动他人的工作积极性，协调众人的 活动。 因此，对生产运作管理人员的要求是很高的。要获得这些技能，当一名有效 6 硕十学位论文 第二章预备知识 的生产运作管理者，一靠培训，二靠实践。生产运作管理人员是企业的宝贵财富， 企业主管应当充分发挥他们的作用。 2 1 3 备货型生产( m a k e - t o s t o c kp r o d u c t i o n ) 我们可以从不同的角度对生产运作进行分类。如果从管理的角度，可以将生 产运作分成两大类：制造性生产和服务性运作。 服务性生产又称作非制造性生产，它的基本特征是提供劳务，而不制造有形 产品。它有以下几个特点：服务性生产率难以测定；服务性生产的质量标准难以 建立；与顾客接触式服务性生产的一个重要内容：纯服务性生产不能通过库存来 调节。 制造性生产时通过物理和化学作用将有形输入转化为有形输出的过程。例 如，通过锯、切削加工、装配、焊接、弯曲、裂解、合成等物理或化学过程，将 有形原材料转化为有形产品的过程，属于制造性生产。通过制造性生产能够产生 自然界原来没有的物品。 按照企业组织生产的特点，可以把制造性生产分成备货型生产与订货型生产 ( m a k e t o o r d e r , m t o ) 两种。备货型生产( m a k e t o s t o c k ，m t s ) 是指在没有接 到用户订单时，按已有的标准产品或产品系列进行的生产。生产的直接目的是补 充成品库存，通过维持一定量成品库存来满足用户的需要。例如，轴承、紧固件、 小型电动机等产品的生产，属于备货型生产。订货型生产时指按用户订单进行的 生产。用户可能对产品提出各种各样的要求，经过协商和谈判，以协议或合同的 形式确认对产品性能、质量、数量和交货期的要求，然后组织设计和制造。例如， 锅炉、船舶等产品的生产，属于订货型生产。 表l 列出了订货型生产与备货型生产的主要区别： 7 硕十学位论文 第二章预备知识 项目备货型生产( m t s )订货型生产( m t o ) 产品标准产品按用户需要生产，无标准产品，大 量的变型产品与新产品 对产品的需求可以预测难以预测 价格事先确定订货时确定 交货期不重要，由成品库随时供很重要，订货时决定 货 设备多采用专用高效设备多采用通用设备 人员专业化人员需多种操作技能 2 2 最优控制理论 2 2 1 最优控制理论 ( 表2 - 1 ) 管理科学的许多应用问题往往要涉及到随时间变化的动态系统的控制问题。 这类系统又可按时间变量t 是连续的或离散的而分为连续时问系统或离散时间系 统。本节只介绍连续时间系统，离散时间系统就是状态方程用差分方程而不是微 分方程。 最优控制理论是一个数学分支。它探求控制动态系统的最优方法。对于一个 系统，必须要求它能够用状态变量来表征。设变量x ( r ) 是系统在，时的状态变量， 如x ( o 可表示t 时的库存量、，时的广告商誉、，时的未耗完的财产或自然资源的 数量等等。 假设有控制系统状态的方法，则可令变量“( ，) 为t 时系统的控制变量。例如， ”( ，) 可以是，时的生产率、，时的广告费、，时的消耗率等等。 已知状态变量x ( ，) 和u ( t ) ，则由状态方程 x = f ( x ，u ，) ，x ( o ) = x o ( 2 一1 ) 8 硕十学位论文第二章预备知识 可求出状态变量的瞬时变化率，式中厂是x ，甜，的已知函数，为x 的初始值。 如果知道初始值和控制轨道，即在整个0 t t 区间中u ( t ) 的值，则积分( 2 1 ) 式就得到状态轨迹，即在o o 与历史完全无关，则称万为随机马氏策略，其全体记为i l ，。在随机马氏策略下， 系统在行时所采取的决策仅仅依赖于所处的决策时刻抑和状态l - 。 2 4 2 报酬过程与准则函数 对刀0 ，我们用以，见分别表示在时n n 系统所处的状态和采取的决策，显 然，它们都是依赖于策略万的随机变量，从而( k ，d o ，x l ，q ，) 为一随机序列。 对给定的策略万，我们用( 石) 来表示策略万下的这一随机序列。为了表示随机序 列( 万) 中的概率转移规律与所采用策略万的关系，我们用e ( e ) 表示三( 万) 中事件 e 的概率。下面我们介绍一个已有的结论： 命题2 1 对策略万= ( 万0 ，巧，) ，若万兀。为随机马氏策略，则( 万) 是以非 时齐马氏链，其一时的转移概率为 只 k + 。= ，e + l = 6 l 以= f ，见= 口) = n ( 口) + ( h i s ) ，( f ，口) ，( ，6 ) f ( 2 2 7 ) 对于策略7 = ( f o ，石，) r ，( 万) 中的珥是以的一个函数： 见= z ( 一) ，刀0 因此当e 确定时，见也就确定了，即或的随机性完全由以引起。 在m d p 中对任一策略7 ，与随机序列上( 万) 相关的还有另一个随机序列 r u t ) = r ，墨，恐，) 其中乜= ，( k ，乜) 是系统在时刻刀时获得的报酬，故我们称之为报酬过程，但 露( 万) 并不是一个独立的随机序列，它是依赖于l o t ) 的。因此，也称( 万) 为带报 酬的随机序列，有时也称? 为报酬过程。 对于一般的随机序列，要确定它的转移概率，研究其稳态分布等性质，但对 于带报酬的随机序列( 万) ，我们要研究的主要是与r ( 万) 相关的某些数字特征( 如 数学期望，方差等) ，并用其来比较策略的优劣。 我们在下面假定所述的数学期望都是存在的，例如当报酬函数一致有界时。 在策略万下的数学期望用乓 ) 表示，简记 只 ) = 只 i k = f ) ，易， ) = e i 托= n 于是在万下，r l = 0 时从初始状态f 出发，在n 时刻获得的期望报酬为 1 6 硕十学位论文 第二章预备知识 乓。， ，( 以，见) ) = e ， 以= j ，见= 口) r ( j ，口) ( 2 2 8 ) 下面介绍两个马氏决策过程中常用的准则。 1 有限阶段总报酬准则 对n 0 ，策略万下的n 阶段期望总报酬定义为 n - i v n ( n ，f ) - z b ， r ( 以，见) ，i s ( 2 2 9 ) n = o 它表示使用策略7 1 ，在0 时从状态f 出发的条件下，系统直到一l 时所获得的期 望总报酬。用v n ( 万) 表示第f 个分量为协，f ) 的列向量，当s 可列时，协) 为 可列维向量。 2 折扣准则 有些问题，难于确定所考察系统的有效期有多长。有的问题，即使知道系统 的有效期，只要单位时间长度取得足够短，总的阶段仍很大，这促使我们要考虑 无限阶段问题。由于长期期望总报酬 e ，。 r ( 以，见) ) n = 0， 往往不收敛或为无穷大，如r ( i ，a 暑1 ) 时为无穷大，因此，用长期期望总报酬作为 准则就不一定有意义，需要附加一定的条件，如报酬函数非负或非正。为了克服 着一点，我们引进一个称之为折扣因子的常数( 0 ，1 ) ，其含义是：阶段胛时获 得的单位报酬仅值刀一l 时的，从而仅值0 时的。于是系统在周期刀所获得 的报酬，( l ，乜) 这算到时刻0 的值为”，( 以，或) ；在策略万下，从初始状态f 出 发的折算到时刻0 的第n 阶段的期望报酬为疋。 ，( 以，见) 。当= l 时即为无 折扣时的情形。 策略万下的无限阶段期望折扣总报酬定义为 ( 万，f ) = 岛， r ( k ，b ) ) ，f s ( 2 3 0 ) 记( 万) 为相应的列向量。 折扣准则具有一定的经济意义：基于经济上的利率( 设为p ) ，现在的一元 钱与将来的一元钱不能等同看待，现在的一元钱存入银行，经若干周期后就大于 一元钱，为了克服各周期收入的这种“不致性 ，应引入折扣因子= 1 ( 1 + p ) ， 硕+ 学位论文第二章预备知识 按复利计算。这就给出折扣准则函数。 从( 2 3 0 ) 式可以看出，折扣准则函数中，愈是周期小的收益看得愈重要。 ： 因此，折扣准则在本质上时一个前面有限阶段的准则函数，后面无限多个阶段不 起多大作用( 收敛级数的尾项趋于o ) 。同样的原因，在有限阶段期望总报酬准 则中也可考虑折扣。另外，当折扣因子= l 时，折扣准则就成了无限阶段上的 期望总报酬准贝| | 。因此，期望总报酬准则可以归到折扣准则中。 2 4 3 马氏决策过程的历史 追根溯源，m d p 可归根于文献 2 0 】中的序贯分析和统计决策函数。在上个世 纪4 0 年代末5 0 年代初关于序贯对策论的研究中已涉及到m d p 的一些本质概念， m d p 可看做只有一个对策者的对策问题。文献 2 l 】， 2 2 】，以及【2 3 】提出了随机动态 规划基本机制并使用了压缩映射方法的文献 4 5 1 等在与m d p 有关的方面做出了 特别的贡献。其中讨论最多的是有限阶段，对此，第二归纳法就可进行较为完美 的处理。但有限阶段与无限阶段是相当不同的。 h o w a r d 的书 2 4 奠定了m d p 作为一个独立研究学科的基础，书中研究了折 扣准则和平均准则，以及值迭代法和策略迭代法。h o w a r d 是第一个研究评价准 则的作者，他有提出的策略迭代法是在算法方面的第一个里程碑。另外，他证明 了对于有限状态集和决策集，其策略迭代法所得到的平稳策略在平稳策略范围内 事最优的。 b l a c k w e l l 在文献【2 5 】中对理论方面进行了开创性的研究，对有限折扣m d p 得到了许多重要的结果，同时还提出了研究平均准则的折扣因子消失法。文献 2 6 】 将b l a c k w e l l 的折扣因子消失法用于折扣最优方程获得a c o e 。1 9 8 4 年文献 2 7 】 更进一步提出了平均准则不等式的概念，其作用于a c o e 相同，而条件更弱。 目前，这方面的工作仍在不断进行。 最初提出报酬函数时，都假定为有界的，文献【2 8 】等研究了折扣准则的无界 报酬条件。文献【2 9 】将无界报酬条件推广到非时齐情形。 相应于马氏过程中的离散时间马氏链、连续时间马氏过程和半马氏过程，在 m d p 中也有离散时间马氏决策过程、连续时间马氏决策过程和半马氏决策过程 等。 硕十学位论文第三章备货型商晶在( r ，d ) 策略下的利润函数( i ) 第三章备货型商品在( r ，d ) 策略下的利润函数( i ) 3 1 模型背景 2 0 0 3 年，w e l m a g h r a b y 和p k e s k i n o c a k 发表了一篇关于库存的动态价格 的文章( 参见 1 4 ) ，他们对不同企业不同商品的动态价格采取优化策略时主要 考虑三个要素：1 ) 提高需求数据的可利用性；2 ) 采用新技术新方法简化观察到 的动态价格；3 ) 采用新技术新方法来分析这些需求数据。一般的说动态的价格 策略就是根据商品销售与需求来确定商品的销售价格。 之后掀起了研究商品动态价格优化的高潮。2 0 0 6 年，陈柳鑫，冯有翼和欧 继红发表了制造系统中库存及产品需求的优化管理及最优决策的有效计算 1 5 ，这篇文章考虑的是制造一存储系统中库存与产品需求的联合管理问题。生 产过程具有随机性且生产率有限，市场需求对产品价格敏感。在这样的制造及市 场背景下，如何调整生产率及销售价格使得制造商的长期折扣利润达到最大化。 此文通过分析研究发现最优的库存决策为基本存储点决策：1 ) 如果库存量达到或 超过这个存储点即停止生产；2 ) 否则以最快的速度生产。而产品需求过程的优化 管理则服从价格转换点决策：1 ) 当库存量超过价格转换点时，系统采用低价格销 售以便降低库存费用；2 ) 当库存量低于价格转换点时则以高价格销售以便减少需 求。文章在此基础上还提供了一个有效快速的算法去计算这个最优多阶段马尔科 夫决策。这篇文章补充和发展了l l i 2 的工作，模型的构造对连续性的要求不 高，此文不仅对优化策略给出了定性的描述，而且还给出了一个有效快速的算法。 本文研究的商品生产仍是属于备货型的，生产过程是一个可控的随机过程， 而销售过程也依靠商品在市场中的需求率的高低而定的随机过程，就是在 1 5 的基础加了一个需求价格转换点。商品利润最优就依赖于商品的库存与需求。 我们把研究的问题构造成马尔科夫决策过程并且来研究它的最优解。模型构 造如下： 1 ) 完成商品的库存的优化要遵循一个基本的存储策略：当库存超过这个基 本存储线时，生产过程停止；否则j 利用最大生产率来生产提高库存。 2 ) 需求过程的优化有两个阀值策略( 低价格线与高价格线) ：当库存超过高 1 9 硕+ 学何论文第三章备货型商品在( r ，d ) 策略下的利润函数( i ) 价格线时，商品采用低价格销售；当库存低于高价格线而高于低价格线时，商品 采用中等价位，当库存低于低价格线时，为降低需求商品采用高价格出售。 3 2 模型机制 我们考虑的商品生产管理系统中，商品的销售可以有不同的价格选择。在生 产过程中，一个单位商品的成本c ，并且生产过程是一个泊松过程，且参数为p ， 我们假设0 口，这里的口是最大生产率。商品的需求过程也是一个泊松过程， 根据不同的商品的市场价格p 。、p ：与见对应三个不同的参数 、如与乃，我们 假设p ， p ： p 3 c ，以及 如 乃，在我们研究的模型中考虑延期交货的情况，所 以必定有见， 0 。令“= 甜( f ) ，p ( ，) ：f o ) ，当对任意t 0 时，u ( t ) 与 p ( t ) 只与f 时前的信息有关，我们称“是不可料的。：设i j 是所有这些不可料的 控制策略的集合。任取“u ，令到达时刻t 时价格为p j 的商品需求量为 吖( f ) ，i _ 1 , 2 ，3 。商品的总输出为p “( ，) ，商品的库存过程为x h ( f ) 。起点初始库 存为x 。那么长期总的贴现利润为： 尸= e f e - r t 芝只卅 ，) - c d p ”( 沪砸”( ，眦】 ( 3 _ 2 ) 这县厂是贴现因子，而且有c ) = c c ：；二) ：二三：，另外假设c c 力。i x l 工 + 旦k 竺型岳( 1 一譬一，) = ，簪【譬一z ”( x + 1 ) + 二苎l _ 一j w ( 工一1 ) l y + 九l + 瑶九i + a九i 七o t + 旦l 竺二盟【l j ：毒l 】 ( 3 4 _ ) 最后一个方程等价于 一c ( x ) + a j ”( x + 1 ) 一，”( x ) 一c 】+ 乃【，“( x + 1 ) 一，”( x ) 一只卜r s “( x ) = 0 ( 3 5 ) 当，”( x ) 被值函数，”( 工) 取代时，我们能够通过点过程的强度控制来确定著 名的汉密尔顿一雅各比一贝尔曼( h j b ) 方程。 我们特别对一族控制策略的三个参数阀值感兴趣，这三个阀值是蜀，r 2 和d 且尾 r 2 d 。一个( r i ，d ) ( i = i ，2 ) 策略决定一个商品的库存和需求。操作 方式如下： 1 ) 当库存超过或等于d 时，生产停止，也就是u ( t ) = 0 。 2 ) 当库存小于d 时，商品生产率为最大生产率a ，因此蜀 岛) 3 3 相关定理 定义3 1 转移算子1 5 1 。 我们称t 为转移算子，则t 满足：巧( x ) = f ( x + 1 ) 硕十学1 奇：论文第三章备货型商品在( r ，d ) 策略下的利润函数( 1 ) 引理3 2差分方程设只为方程y l + 2 + 研+ l + 魄= o 的通解，订为方程 乃+ 2 + 明+ l + 魄= 厂( ，) 的一个特解，则乃= 只+ 茆为方程y l + 2 + 哦+ i + 帆= ( ，) 的通 解 3 4 ( r ，d ) 策略的利润函数 在给定的( 足，d ) 策略下，我们根据初始库存写出关于t ，( x ) 的递归方程， 也就是把( 3 4 ) 用另一种方式表达，这章研究的是第一种情形d r 2 足l 0 ： ( i ) 当x d 时， 0 = 一c + x + 五【j ( x - 1 ) - d ( x ) + p 3 - ( x ) ( 3 6 ) ( i i ) 当r 2 x d 时， 0 = 一c + x + 2 3 j ( x - 1 ) - j ( x ) + p 3 】+ a j ( x + 1 ) - j ( x ) 一c 卜( x ) ( 3 7 ) ( i i i ) 当墨 x 比较这个方程的两边的系数，得 f 。+ 五琏= 毛岛 l 一鹏= c + 由方程组中的第二个式子，我们得到 也：一! 二 7 h 2 ：一三二代入上面的第一个式子便有 厂 q ：纽+ 等 yy 。 最后我们得到( 3 - 6 ) 的一般解为： ，( x ) ：歹( x ) + h i + x ：p ( 丢) ，+ 纽+ 等一一c + x ( 3 1 1 ) 如+ yyy 。y ( i i ) 我们写出( 3 - 7 ) 的特征方程 0 = a 3 t 一五+ a t 一( 口+ 厂) 将( 3 1 2 ) 整理得 a t 2 一( 口+ 五+ ，) r + 磊z o 利用一元二次方程的求根公式，得 ( 3 - 1 2 ) = 丝兰兰生地生兰尘= ( a 3 + y + a ) + ( a 3 + y + a ) 2 - 4 a 2 3 1 2 口 2 口 其中0 , l 1 屹 所以我们有，( x ) = 4 砰+ 4 ，我们观察( 3 7 ) 有特解局+ 垦x ，代入( 3 7 ) 就有 。 。 硕十学何论文第二章备货型商品在( r ，d ) 策略- 卜的利润函数( ! ) 解( 3 1 3 ) 知， p 一芎当冀即幔 骂= 竽+ 学 岛：一! 二 y 因此，我们就得出了( 3 7 ) 的利润函数 j ( x ) = 4 “i + a 2 u ；+ 五p 3 一伽c + ( 口一乃) 7厂2 ( ii i ) ( 3 - 8 ) 的特征方程如下 如丁一五+ a t - a - y = 0 所以有 c ，a t 2 一( 口+ 五+ 7 ) r + 如= 0 ( 3 - 1 3 ) 一c + x( 3 1 4 ) y ( 3 - 1 5 ) z i ：坠型尊竽堕丝舻坠型警竽堕苎 一 2 口 。2 2 口 其中0 z l 1 z 2 所以就有j ( x ) = g z i + q z ； 我们设( 3 - 8 ) 的特解为s + s 2 x ，这样我们同样有 f 五n - - t l c = 如岛+ ，s a s 2 【 矿= 一y 解之，得 因此( 3 - 8 ) 的利润函数为 + 学 ( 3 一1 6 ) 硕十学位论文第二章各货型商品在( r ，d ) 策略下的利润函数( i ) 以嘲和喇+ 竽一学一了c + x ( 3 - 1 7 )y 1 。 ? ( i v ) 下面来求( 3 - 9 ) 的利润函数，( 3 - 9 ) 的特征方程为 五丁一五+ a t 一( 口+ ，) = 0 c ，a t 2 ( 口+ 五+ 7 ) r + 丑驾0 ( 3 1 8 ) 所以有 q ：缝型竺邀坐竺业，缟：坠兰型地垄兰生二兰堕 2 4 2 口 其中0 q l 哆 因此就有，( x ) = c 1 硝