贝叶斯决策.ppt

1、第14章贝叶斯决策，第1节先验分布，第2节贝叶斯定理和后验概率分布，第3节后验决策及其优点，第4节最佳决策方案，第5节最佳样本量，第1节先验分布，决策中首先确定的各种自然状态的概率通常称为先验概率分布，它是在任何实验或研究之前确定的。如果先前确定的先验概率分布根据从实验或研究中获得的信息被修改，并且获得关于自然状态的新的概率分布，则它被称为后验分布。客观先验分布，从经验中获得的一些客观信息或证据，对自然状态先验概率的估计或指定。例如，我们可以用某段时间内每批不合格品的数量来估计不合格品的概率分布、先验分布和主观先验分布。如果没有关于自然状态的客观信息，决策者会仔细分析自然状态的各种情况，评估各

2、种自然状态的可能性，然后主观地指定先验概率分布。例如，判断利率的变化，我们可以根据过去观察到的经济形势与利率之间的关系来推断利率上升、不变或下降的概率。在第二部分，贝叶斯定理和后验概率分布，贝叶斯定理：让K种自然状态分别用1，2，K表示，P(i)表示自然状态I出现的先验概率分布，X表示调查结果，P(x|i)表示在状态I条件下调查结果正好是X的概率。结果X是通过调查得到的，其中包含关于自然状态的信息。通过使用该信息，自然状态i(i=1，2，3，k)出现的概率可以被重新识别和校正。修正后的概率是：I=1，2，k。这是贝叶斯公式。一般来说，对各种自然状态1、2和k的出现概率的估计P(1|x)、P(2

3、|x)和P(k|x)比先验概率分布更精确。我们称P(i|x)为I出现的后验概率。自动化生产设备在生产过程中可能正常，也可能不正常。产品合格率正常时为80，异常时为30。选择某一时间生产的一种产品进行检验，要求我们根据这些产品的情况来判断设备是否正常。问题有两种自然状态，即正常设备和异常设备，分别用1和2表示。假设我们对设备以前的生产情况一无所知，判断设备是否正常的可能性是相等的，即先验概率为P(1)0.5 P(2)0.5。因为两者的概率相等，所以不可能判断设备是否正常。但是，如果我们在某个时间从产品中选择一个产品，如果发现是合格产品，即抽样结果为X“合格产品”，这将得到一个补充信息。很容易计算

4、：P(合格产品|1)0.8 P(合格产品|2)0.3，通过贝叶斯公式：P(1|合格产品)0.73 P(2|合格产品)0.27，即设备正常和异常的概率为0.73，所以此时应该判断设备正常，如果从某一时间生产的产品中抽取一个产品不合格，可以通过贝叶斯公式：P(1|不合格产品)0.22 P(2|不合格产品)来计算因此，此时应判断设备异常，即如果在某个时间生产的产品中连续抽取两个产品，检查它们是否合格，然后判断此时设备是否正常。 作为抽样的结果，我们使用x=“组合”来表示两种产品都合格；X=是或否表示第一件合格，第二件不合格；X=“不合格”指第一件不合格，第二件合格。X=“不，不”表示两者都不合格。结

5、果如下：P(1|组合)0.877 P(2|组合)0.123 P(1|组合)0.432 P(2|组合)0.568 P(1|否)0.075 P(2|否)0.925 P(1|不一致)如果第一件合格，第二件不合格，此时应判断设备异常；如果两种产品都不合格，则判断此时设备异常；如果第一件不合格，第二件合格，则判断此时设备异常。另外，总概率公式：第三节后验决策及其优越性，先验决策：基于先验概率分布的决策。后验决策：利用后验概率分布做出的决策。理论证明，任何后验补充情报信息都不会给决策者带来伤害。由于后验概率分布是在补充某些信息后由先验分布产生的，所以基于后验概率分布的后验决策总是优于先验决策。假设决策问题

6、的自然状态是1，2和n。它们的先验概率分布是：P(1)，P(2)，P(n)。可以采取的措施是1，2和m。损失函数是r(，)。假设补充情报值为x，如前一节所述的例子，我们通过提取一个产品来补充情报信息，如果提取的产品是合格产品，则x为“组合”；如果提取两个产品来补充情报信息，则x可能等于“接近”、“否”、“接近”或“不同意”。根据智力值x，(x)采取一定的行动(x)，这可能是1，2，或m，和(x)被称为决策方案。对于某个决策方案(x)，在任何状态I下，当智能值x被确定时，其对应的动作(x)也被确定，因此动作(x)的损失值R(i，(x)也被确定。对于一个好的决策方案，R(i，(x)应该更小。然而，

7、要评价一个决策方案的质量，我们不应该只看信息所取的价值一次，而应该用每个信息价值的平均效果来衡量它。因此，在状态一中，决策方案的质量应基于R(i，(x)对情报值x的数学期望，即P(i)，Ex(I，(x)在状态一中称为决策方案(x)的风险值。风险值表示当各种情报值出现在固定状态一中时，根据决策方案采取行动的平均损失。在不同条件下，同一决策方案的风险值是不同的。决策方案的质量应该综合反映其在不同条件下的风险值，即我们应该用它来衡量决策方案的质量。b()称为决策方案的贝叶斯风险(X)，它反映了该决策方案的平均损失。例如，在前面提到的例子中，如果设备正常，判断为异常，将损失1500元；判断为正常，损失

8、为0。设备异常，判断正常，损失2000元；如果判断为异常，将会丢失0。让我们找出各种决策方案的风险值和贝叶斯风险。1表示“判断设备正常”，2表示“判断设备异常”，决策问题的损失矩阵是：首先，研究选择产品进行检验的情况。此时，有四个决策方案可供选择：1 x= he 2 x= he 1(x)=2 x= no 1 x= he 2 x= he 3(x)=4(x)=1 x= no 2 x= no =1)=0.2 P(x= close |=2)=0.3 P(x= no |=2)=0.7，用于决策方案1 (x) r (1，1(close)(r)1(not)P(x= not |=2)=2000 * 0.3 0

9、 * 0.7=600(元)，因此决策方案1(x)的贝叶斯风险为：b (1) p (1，1) p (=1) p (2，1) p (1)。我们可以找到决策方案2(x): B(2)1300(元)的bayes风险，对于决策方案3(x): R (1，3(合并)R (1，1) 0 R (1，3(非)R (1，1) 0 R (2，3(3)ex |=1r(1，3 (x)=0 * 0.80 * 0.2=0(元)p (2，3) ex |=2r (2，3 (x)=2000 * 0.3 20因此，如果我们用贝叶斯风险度量，方案1(x)优于其他三个决策方案。如果提取两个产品来补充情报信息，则有八个决策方案，分别记录为1

10、、2、3、4、5、6、7和8。每个决策方案的风险值和贝叶斯风险如下表所示：由于x=“同意或不同意”和x=“不同意”是为了补充决策问题的情报信息，所以采取的行动应该是相同的。X=1合1非是表中两者的组合。以4为例说明了该表的计算过程。2 x=close 4 (x)=1 x=no，no 1 x=1 in 1 no ，所以：1500 x=close r (1，4 (x)=0 x=no，no 0 x=1 in 1 no 很容易证明P (close | 1)因此，p (2，4) 1820(元)的bayes风险可以用同样的方法得到：B(4 )960*0.5 1820*0.51390(元) 而决策方案5 (

11、x): 1 x=组合 5 (x)=2 x贝叶斯原理是贝叶斯风险中最小的决策方案是最佳决策方案。 完全智力和辅助智力的关系：定理1:任何辅助智力的价值都是非负的，并且不超过完全智力的价值。为了简单起见，我们假设只有K种智能值，分别表示为X1和X2定理2: B()是决策方案(X)下的贝叶斯风险。然后，在第四节中，有两种解决任何决策问题的基本方法：正序分析和逆序分析。逆序分析计算量小，易于掌握，从理论上可以证明逆序分析得到的最佳决策方案与正序分析得到的最佳决策方案是一致的。因此，通常使用逆序分析。逆序分析：过程：在抽样之前，对于所有可能的抽样结果(抽样方法和样本量是预先拟定的)，计算每个自然状态的后

12、验概率，用这些概率找出每个行动计划的后验损失值，然后比较这些后验损失的大小，在各种抽样结果下选择最佳行动计划，并综合成最佳决策计划。每1000件公司的产品被装进一个盒子里，然后交付给顾客。每箱的不合格品率可分为三种情况：5以下、5-15之间、15以上。为了简单计算，这三种状态分别表示为：10.05、20.10和30.15。根据以往的经验，公司决策者推测这三个值的概率分别为0.60、0.30和0.10，即先验概率分布为：P(0.05)0.60 P(0.10)0.30 P(0.15)0.10。公司的每一箱产品在交付给客户之前都面临这样一个决策问题：或者每一个产品都在检验箱中，记住这个检验方案为1。

13、如果整箱未检验，顾客在购买时必须允许更换不合格品，每次更换的总费用为1.25元。未检查整个案例的行动计划记录为2。为了对上述问题做出更好的决策，决策者决定从每个箱子中取出两个产品进行检验，并通过这两个产品提供的信息做出最佳决策方案。方法如下：将取出的两个产品设为z1和z2，并规定当第一个产品的检验结果为不合格时，记住zi=1，否则zi=0，总抽样结果为：x=z1和z2，X即为取出的两个产品中的不合格产品。在抽样测试之前，我们可以知道X可能有三个结果：0、1和2。x的概率分布是超几何分布，因此可以认为x近似服从二项式分布。在实际抽样检验之前，决策者进行如下分析：假设抽样后观察到的不合格品数量为0

14、，即x0，可以计算出每个状态1、2、3的后验概率和每个可能的行动计划1、2的后验损失。计算格式和结果如表145所示。表中数值显示，行动1的后验损失为100元，而行动2的后验损失为90.75元。因此，当抽样结果为x=0时，最佳行动计划为2。表145有0个不合格品时的后验损失表(即x=0)。假设抽样结果为x=1，最佳行动计划可在表146中获得。最后，假设抽样结果为x=2，表147中列出的最佳行动计划为1。根据这些结论，最佳决策方案如下：1 x=1，2 (x) 2 x=0，表146一个不合格品的后验损失表(即x=1)，表147两个不合格品的后验损失表(即x=2)。决策树用于以相反的顺序表示决策过程。以实例3为例，得到如下决策树：两个产品无一不合格的概率P可由总概率公式计算如下：PP(x=0)P(x=0 |=0.05)P(x=0 |