建立动态规划数学模型的步骤

1、 运 筹 学动态规划动态规划 3 建立动态规划数学模型的步骤 “最优化原理”是动态规划的核心,所有动态规划问题的递推关系都是根据这个原理建立起来的,并且根据递推关系依次计算,最终可求得动态规划问题的解。 一般来说，利用动态规划求解实际问题需先建立问题的动态模型，具体步骤如下： 将问题按时间或空间次序划分成若干阶段。有些问题不具有时空次序，也可以人为地引进时空次序，划分阶段。 正确选择状态变量xk。这一步是形成动态模型的关键，状态变量是动态规划模型中最重要的参数。一般来说，状态变量应具有以下三个特性： 要能够用来描述决策过程的演变特征。 要满足无后效性。即如果某阶段状态已给定后，则以后过程的进展

2、不受以前各状态的影响，也就是说，过去的历史只通过当前的状态去影响未来的发展。 递推性。即由k阶段的状态变量xk及决策变量uk可以计算出k+1阶段的状态变量xk+1。 确定决策变量uk及允许决策变量集合Dk(uk)。 根据状态变量之间的递推关系，写出状态转移方程： xk+1=T(xk, uk(xk) 建立指标函数。一般用rk(xk, uk)描写阶段效应，fk（xk）表示kn阶段的最优子策略函数。 建立动态规划基本方程： fk（xk）= opt rk(xk, uk(xk)fk+1（xk+1） uk Dk(uk) fn+1（xn+1）=C k=n,n-1,1 以上是建立动态规划模型的过程，这个过程是

3、正确求解动态规划的基础。 在动态规划基本方程中， rk(xk, uk)， xk+1=T(xk, uk)都是已知函数，最优子策略fk（xk）与fk+1（xk+1）之间是递推关系，要求出fk（xk）及uk(xk)，需要先求出fk+1（xk+1），这就决定了应用动态规划基本方程求最优策略总是逆着阶段的顺序进行的。由后向前逐步计算，最终可以算出全过程的最优策略函数值及最优策略。 另一方面，由于k+1阶段的状态xk+1=T(xk, uk)是由前面的状态xk和决策uk所形成的，在计算fk+1（xk+1）时还不能具体确定xk+1的值，所以，这就要求必须就k+1阶段的各个可能状态计算fk+1（xk+1），因此

4、动态规划方法不但能求出整个问题的最优策略和最优目标值，而且还能求出决策过程中所有可能状态的最优策略及最优目标值。 下面就按上述步骤求解例2。 例2（带回收的资源分配问题）某厂新购某种机床125台。据估计，这种设备5年后将被其它设备所代替。此机床如在高负荷状态下工作，年损坏率为1/2，年利润为10万元；如在低负荷状态下工作，年损坏率为1/5，年利润为6万元。问应如何安排这些机床的生产负荷，才能使5年内获得的利润最大？ 解：以年为阶段，k=1，2，3，4，5 取k年初完好的机床数为状态变量xk 以k年初投入高负荷运行的机床数为决策变量uk，则低负荷运行机床数是xk-uk，于是状态转移方程为： xk

5、+1=1/2uk+4/5（xk-uk）=0.8xk-0.3uk 以利润为目标函数，则k年利润为： 10uk+6（xk-uk）=4uk+6xk 记fk（xk）为k年至5年末最大总利润，则动态规划基本方程为： fk（xk）= max 4uk+6xk+fk+1（0.8xk-0.3uk） 0ukxk f6（x6）=0 k=5,4,3,2,1以上是建立动态模型的过程，下面具体求解。注意动态规划基本方程为：fk（xk）= max 4uk+6xk+fk+1（0.8xk-0.3uk） 0ukxk所以，当k=5时，有f5（x5）= max 4u5+6x5+f6（x6）=10 x5 u5=x5 0u5x5当k=4

6、时f4（x4）= max 4u4+6x4+f5（0.8x4-0.3u4） 0u4x4 = max 4u4+6x4+10（0.8x4-0.3u4） 0u4x4 = max u4+14x4=15x4 u4=x4 0u4x4当k=3时f3（x3）= max 4u3+6x3+f4（0.8x3-0.3u3） 0u3x3 = max 4u3+6x3+15（0.8x3-0.3u3） 0u3x3 = max -0.5u3+18x3=18x3 u3=0 0u3x3 动态规划基本方程为： fk（xk）= max 4uk+6xk+fk+1（0.8xk-0.3uk） 0ukxk 当k=2时f2（x2）= max 4u2+6x2+f3（0.8x2-0.3u2） 0u2x2 = max 4u2+6x2+18（0.8x2-0.3u2） 0u2x2 = max-1.4u2+20.4x2=20.4x2 u2=0 0u2x2 当k=1时f1（x1）= max 4u1+6x1+f2（0.8x1-0.3u1） 0u1x1 = max 4u1+6x1+20.4（0.8x1-0.3u1） 0u1x1 = max -2.12u1+22.32x1=22.32x1 u1=0 0u1x1 =22.32125=2790（万元） 至此已算得最大总利润2790万元，再按与计算过程