风险型决策方法案例(连续型变量和马尔科夫风险决策方法)

1、连续性变量的风险型决策连续性变量的风险型决策方法方法马尔科夫决策方法马尔科夫决策方法1定义：连续性变量的风险型决策方法是解决连续定义：连续性变量的风险型决策方法是解决连续型变量，或者虽然是离散型变量，但可能出现的型变量，或者虽然是离散型变量，但可能出现的状态数量很大的决策问题的方法。连续性变量的状态数量很大的决策问题的方法。连续性变量的风险型决策方法可以应用边际分析法和标准正态风险型决策方法可以应用边际分析法和标准正态概率分布等进行决策。概率分布等进行决策。方法的思想：设法寻找期望值作为一个变量随备方法的思想：设法寻找期望值作为一个变量随备选方案依一定次序的变化而变化的规律性，只要选方案依一定

2、次序的变化而变化的规律性，只要这个期望值变量在该决策问题定义的区间内是单这个期望值变量在该决策问题定义的区间内是单峰的，则峰值处对应的那一个备选方案就是决策峰的，则峰值处对应的那一个备选方案就是决策问题的最优方案。这个方法类似于经济学中的边问题的最优方案。这个方法类似于经济学中的边际分析法。际分析法。2寻求最优解的核心寻求最优解的核心工具工具体现向前看的决策体现向前看的决策思想思想现实经济管理问题总是千丝万缕，现实经济管理问题总是千丝万缕，存在多个变量，要争取抓住主要变存在多个变量，要争取抓住主要变量，并在各个方向上满足边际量，并在各个方向上满足边际法则法则决策变量与相关结果之间关系复杂，决策

3、变量与相关结果之间关系复杂，所选取的变量是否得当，必须定量所选取的变量是否得当，必须定量分析与定性分析引结合分析与定性分析引结合 经济学中的应用举例边际分析法边际分析法3含义：含义：因变量关于自变量的变化率，或者说是自因变量关于自变量的变化率，或者说是自变量变化一个单位时因变量的改变量变量变化一个单位时因变量的改变量。在经济管理研究中，经常考虑的边际量有边际收在经济管理研究中，经常考虑的边际量有边际收入入MRMR、边际成本、边际成本MCMC、边际产量、边际产量MPMP、边际利润、边际利润MBMB等等。4企业生产理论的边际分析从生产函数入手，运用边际分析法作出要素投入的最佳决策。5在一定的技术条

4、件和时间下，各种生产要素投入在一定的技术条件和时间下，各种生产要素投入量的某一组合与其生产的最可能大产量之间的关量的某一组合与其生产的最可能大产量之间的关系，称生产函数，即投入和产出之间的关系。系，称生产函数，即投入和产出之间的关系。 生产要素：生产要素常泛指原始投入和中间投生产要素：生产要素常泛指原始投入和中间投入的生产要素，如自然资源入的生产要素，如自然资源 N N、资本投资、资本投资 K K、劳、劳动动 L L、企业家才能、企业家才能 E E 一定技术条件下投入数量和可能的最大产出一定技术条件下投入数量和可能的最大产出之间的关系称为生产函数：之间的关系称为生产函数： Q =f(L,K,T

5、)Q =f(L,K,T) 6可变投入生产函数可变投入生产函数：一种可变投入一种可变投入(variable input)(variable input)的生产函的生产函数数 对既定产品，技术条件不变化、固定投入对既定产品，技术条件不变化、固定投入( (通常是资本）一定、通常是资本）一定、 一种可变动投入（通常是劳动一种可变动投入（通常是劳动) ) 与可能生产的最大产量间的关与可能生产的最大产量间的关系。系。总产量（总产量（Total ProductTotal Product） 可能的最大产量和变动投入之间的关系可能的最大产量和变动投入之间的关系 TP = Q = f(L)平均产量平均产量 AP

6、AP （ Average ProductAverage Product） 随着变动投入的变动而变动随着变动投入的变动而变动 APL = Q / L边际产量边际产量MP (Marginal Product)MP (Marginal Product) 在一定技术条件下，其它诸投入要素保持不变、每增加一个在一定技术条件下，其它诸投入要素保持不变、每增加一个 单位变动投入所引起的总产量的变动：单位变动投入所引起的总产量的变动： MPL =TP/L = dTP/ dL7 1238LKQA PLM PL01 00-11 01 01 01 021 03 01 52 031 06 02 03 041 08 0

7、2 02 051 09 51 91 561 01 0 81 81 371 01 1 21 6481 01 1 21 4091 01 0 81 2- 41 01 01 0 01 0- 89 TPTP与与MPMP MP MP 0 TP 0 TP上升上升 MPMP 0 TP 0 TP下降下降 MP = 0 TPMP = 0 TP最大最大APAP与与MPMP MP MP AP APAP AP上升上升 MPMP AP AP AP AP下降下降 MP MP = AP = AP AP AP达到最大达到最大 10短期生产的三阶段：短期生产的三阶段： 第一生产阶段：第一生产阶段：dAP/dL 0dAP/dL 0

8、 第二生产阶段：第二生产阶段：dAP/dL0dAP/dL0MP0 第三生产阶段：第三生产阶段：MP0MPtotto时所处的状态只和时所处的状态只和toto时刻时刻有关，而与有关，而与toto以前的状态无关，则这种随机过程称为以前的状态无关，则这种随机过程称为马尔科夫过程。马尔科夫过程。转移概率矩阵转移概率矩阵：矩阵各元素都是非负的，并且各行元：矩阵各元素都是非负的，并且各行元素之和等于素之和等于1 1，各元素用概率表示，在一定条件下是，各元素用概率表示，在一定条件下是互相转移的，故称为转移概率矩阵。如用于市场决策互相转移的，故称为转移概率矩阵。如用于市场决策时，矩阵中的元素是市场或顾客的保留、

9、获得或失去时，矩阵中的元素是市场或顾客的保留、获得或失去的概率。的概率。P(k)P(k)表示步转移概率矩阵。给定当前状态为表示步转移概率矩阵。给定当前状态为 x x ，当前行为为，当前行为为a a ，则对于每一对，则对于每一对“状态行为状态行为”（x,a) , Pa(x,y)x,a) , Pa(x,y)表示下一个状态为表示下一个状态为y y 的概率。的概率。14 案例 排队网络模型、俄罗斯方块排队网络模型、俄罗斯方块15该网络模型包括该网络模型包括 3 3 台服务台服务器，器，2 2 个不同的外部任务入个不同的外部任务入口，口，2 2 条固定的工作流程条固定的工作流程1,2,3 1,2,3 和

10、和4,5,6,7,84,5,6,7,8，在不，在不同处理阶段的形成同处理阶段的形成 8 8 个排个排队任务。我们假设服务时间队任务。我们假设服务时间满足几何随机变量：当服务满足几何随机变量：当服务器器 i i 在一个时间步内服务在一个时间步内服务于队列于队列j j 中的某一单元时，中的某一单元时，在本时间步内结束服务的概在本时间步内结束服务的概率为率为 ij ij ，并独立于之前，并独立于之前对该单元的服务。本工作流对该单元的服务。本工作流程完成后，此单元将被移送程完成后，此单元将被移送到整个流程的下一队列（如到整个流程的下一队列（如所有流程已完成则直接退出所有流程已完成则直接退出系该统）。在

11、任一时间步内，系该统）。在任一时间步内，新的工作单元可以概率新的工作单元可以概率 j j从队列从队列 4, 1 =j 4, 1 =j 加入本系加入本系统，并独立于之前到达的工统，并独立于之前到达的工作单元。作单元。16一般采用包含队列长度的一般采用包含队列长度的8 8 维向量来描述本系统的状态。由于维向量来描述本系统的状态。由于每个服务器都服务于多个队列，则在单个时间步内，必须选择每个服务器都服务于多个队列，则在单个时间步内，必须选择确定服务器为哪个队列服务。这种选择可用八维向量代码确定服务器为哪个队列服务。这种选择可用八维向量代码a a 编编码，说明正接受服务的队列，并满足每个服务器只为单个

12、队列码，说明正接受服务的队列，并满足每个服务器只为单个队列服务的条件，即服务的条件，即ai ai 0, 1 ,0, 1 ,且且a1+a3+a8 1,a2+a6 a1+a3+a8 1,a2+a6 1,a4+a5+a7 1.1,a4+a5+a7 1.对于对于a a 的选择，我们可以根据需要增加限制的选择，我们可以根据需要增加限制条件，比如仅仅考虑无空闲策略。条件，比如仅仅考虑无空闲策略。 我们用对系统我们用对系统x x 的函数的函数u u 来表述这个策略，该策略返回服务器来表述这个策略，该策略返回服务器工作分配情况工作分配情况, ,我们可用转移概率来表示队列的长度的变化我们可用转移概率来表示队列的

13、长度的变化下一状态下一状态 X(t+1)X(t+1)的条件概率由当前系统状态的条件概率由当前系统状态 X(t)X(t)和行为和行为 a(t)a(t)确定。确定。 例如：例如： 17三式分别表示到达队列三式分别表示到达队列1 1，离开队列，离开队列 2 2 且到达队且到达队列列3 3，离开队列，离开队列3 3 的概率的概率 I(.) I(.) 为指示函数为指示函数. .我们我们再根据求出的概率与条件需要相结合作出决策。再根据求出的概率与条件需要相结合作出决策。18俄罗斯方块是一款计算机游戏，其基本策略是：把屏俄罗斯方块是一款计算机游戏，其基本策略是：把屏幕上方随机落下来的一组不同几何图形的物块，

14、垒放幕上方随机落下来的一组不同几何图形的物块，垒放成为整行。物块连续落下且其几何形状随机产生。在成为整行。物块连续落下且其几何形状随机产生。在坠落过程中，物块可以被旋转、水平移动到希望的位坠落过程中，物块可以被旋转、水平移动到希望的位置。要注意的是，必须在物块到达屏幕下方物块堆之置。要注意的是，必须在物块到达屏幕下方物块堆之前才能进行旋转和水平移动，一旦接触下方物块堆则前才能进行旋转和水平移动，一旦接触下方物块堆则其位置固定，不能再移动和旋转。其位置固定，不能再移动和旋转。 用马尔科夫决策过程框架解决俄罗斯方块问题，则可用马尔科夫决策过程框架解决俄罗斯方块问题，则可把当前物块堆的形状和下落中的物块定位为状态，每把当前物块堆的形状和下落中的物