贝叶斯判别分析PPT课件.ppt

基本思想 1 多总体的Bayes判别 2 两个总体的Bayes判别 3 4 3Bayes判别分析 1 距离判别只要求知道总体数字特征 不涉及总体的分布函数 当参数和协方差未知时 就用样本均值和协方差矩阵来估计 距离判别方法简单实用 但没有考虑到每个总体出现的机会大小 即先验概率 没有考虑到错判的损失 贝叶斯判别法正是为了解决这两个问题提出的判别分析方法 4 3 1Bayes判别基本思想 2 4 3 1Bayes判别的基本思想 将待判样品x判属给后验概率最大的总体 先验概率 后验概率 3 贝叶斯判别准则 4 基本思想 1 多总体的Bayes判别 2 两个总体的Bayes判别 3 5 1 一般讨论 4 3 2两个总体的Bayes判别 两个总体的Bayes判别准则 6 2 两个正态总体Bayes判别 马氏平方距离 看大小 大小相反 7 1 两个总体协方差矩阵不相等的情形 Bayes判别准则化为广义距离准则 协方差阵 先验概率相等 即为距离判别准则 马氏平方距离 8 2 两个总体协方差矩阵相等情形 后验概率准则 9 协方差矩阵不相等的Bayes判别准则 样本Bayes判别准则 协方差矩阵相等的Bayes判别准则 广义平方距离准则 10 误判率 11 例4 3 16只Apf和9只Af蠓虫触角长度和翅膀长度数据 Apf 1 14 1 78 1 18 1 96 1 20 1 86 1 26 2 00 1 28 2 00 1 30 1 96 Af 1 24 1 72 1 36 1 74 1 38 1 64 1 38 1 82 1 38 1 90 1 40 1 70 1 48 1 82 1 54 1 82 1 56 2 08 若两类蠓虫协方差矩阵相等 假设总体Apf和Af均服从正态分布 用Bayes判别法判别三个蠓虫属于哪一类 1 24 1 8 1 28 1 84 1 4 2 04 12 假设 检验统计量 则认为Qi较小 接受H0 否则拒绝H0 1 检验两个总体协方差矩阵相等 判断 给定 若 13 检验两总体协方差矩阵是否相等 0 1 程序 apf 1 14 1 78 1 18 1 96 1 20 1 86 1 26 2 1 28 2 1 30 1 96 af 1 24 1 72 1 36 1 74 1 38 1 64 1 38 1 82 1 38 1 90 1 40 1 70 1 48 1 82 1 54 1 82 1 56 2 08 n1 6 n2 9 p 2 2个总体 2维变量 15个样本s1 cov apf s2 cov af 求样本协方差s n1 1 s1 n2 1 s2 n1 n2 2 求联合协方差矩阵 14 检验两总体协方差矩阵相等程序 Q10 n1 1 log det s log det s1 p trace inv s s1 统计量Q1观测值Q10Q20 n2 1 log det s log det s2 p trace inv s s2 Q2统计量值Q20lamda chi2inv 1 0 05 3 卡方上0 05分位数p10 1 chi2cdf Q10 p p 1 2 卡方分布概率p10p20 1 chi2cdf Q20 p p 1 2 卡方分布概率p20 输出结果 Q10 2 5784 Q20 0 7418均0 05 认为两个总体协方差矩阵相等 15 2 估计两个总体的先验概率按样本容量比例选取 由于Apf与Af分别为6个与9个 故估计Apf类 Af类蠓虫的先验概率 16 apf 1 14 1 78 1 18 1 96 1 20 1 86 1 26 2 1 28 2 1 30 1 96 af 1 24 1 72 1 36 1 74 1 38 1 64 1 38 1 82 1 38 1 90 1 40 1 70 1 48 1 82 1 54 1 82 1 56 2 08 x 1 24 1 8 1 28 1 84 1 4 2 04 待判样品m1 mean apf m2 mean af 总体均值向量s1 cov apf s2 cov af s 5 s1 8 s2 13 总体协方差矩阵 3 利用MATLAB软件计算贝叶斯线性判别函数 S 联合协方差矩阵0 00750 00660 00660 0134 结果 G1 G2总体均值向量m1 1 2267 1 9267 m2 1 4133 1 8044 17 fori 1 3 计算样品xi的判别函数W1 xi 和W2 xi w1 i m1 inv s x i 1 2 m1 inv s m1 log 0 4 w2 i m2 inv s x i 1 2 m2 inv s m2 log 0 6 ifw1 i w2 i disp 第 num2str i 个蠓虫属于Apf类 归1类elsedisp 第 num2str i 个蠓虫属于Af类 end end 输出结果 第1个蠓虫属于Apf类 第2个蠓虫属于Apf类 第3个蠓虫属于Apf类 3 利用MATLAB软件计算贝叶斯判别函数 18 例4 3 2对破产企业收集它们在破产前两年年度财务数据 对财务良好的企业也收集同一时间数据 数据涉及4个变量 X1 现金流量 总债务 X2 净收益 总资产 X3 流动资产 流动债务 X4 流动资产 净销售额 数据如表4 2所示 假定两总体G1 G2均服从4元正态分布 在误判损失相等且先验概率按比例分配条件下 对待判样本进行bayes判别 19 表4 2两类企业财务状况数据 20 解 1 检验两个总体的协方差矩阵相等 G1 0 45 0 411 090 45 0 56 0 311 510 16 0 060 021 010 40 0 07 0 091 450 26 0 10 0 091 560 67 0 14 0 070 710 28 0 040 011 500 71 0 06 0 061 370 40 0 13 0 141 420 44 G2 0 510 102 490 54 0 080 022 010 53 0 380 113 270 35 0 190 052 250 33 0 320 074 240 63 0 120 052 520 69 0 020 022 050 35 0 220 082 350 40 0 170 071 800 52 2类总体数据 每行为样品x 0 23 0 300 330 18 0 150 052 170 55 0 28 0 231 190 66 0 480 091 240 18 待判样品数据 21 m1 mean G1 m2 mean G2 n1 size G1 1 总体G1的样本数n2 size G2 1 总体G2的样本数n n1 n2 两个总体合并的样本数p 4 p为总体维数s1 cov G1 s2 cov G2 s n1 1 s1 n2 1 s2 n1 n2 2 联合协方差矩阵Q1 n1 1 log det s log det s1 p trace inv s s1 Q2 n2 1 log det s log det s2 p trace inv s s2 ifQ1 chi2inv 0 95 p p 1 2 输出结果 两组数据协方差不全相等 p p 1 2为卡方分布自由度 22 p1 n1 n p2 n2 n 计算先验概率 按比例分配fori 1 4 4个样品Bayes判别函数d1 i mahal x i G1 log det s1 2 log p1 d2 i mahal x i G2 log det s2 2 log p2 ifd1 i d2 i disp 第 num2str i 个属于破产企业 判给G1elsedisp 第 num2str i 个属于非破产企业 end end 2 根据第1步协方差矩阵不相等 构造判别函数判别 输出结果 第1个属于破产企业 第2个属于非破产企业第3个属于破产企业 第4个属于非破产企业 23 4 3 2多个总体的Bayes判别 设有k个总体G1 G2 Gk的概率密度为fj x 各总体出现的先验概率为 1 一般讨论 24 Bayes判别准则 若 则判样本 注 当达到最大后验概率的 不止一个时 可判 为达到最大后验概率的总体的任何一个 25 基本思想 1 多总体的Bayes判别 2 两个总体的Bayes判别 3 26 4 3 2多个正态总体Bayes判别 1 线性判别函数 Bayes判别准则 基于后验概率Bayes判别准则 27 28 基于后验概率的Bayes判别准则 4 3 2多个正态总体Bayes判别 29 4 3 3误判概率的频率估计 30 例4 3 3医院利用心电图检测对人群进行划分 数据见表4 3 g 1 健康人 g 2 主动脉硬化患者 g 3 冠心病患者 X1 X2 心电图中心脏功能两项不相关指标 某受试者心电图该两项指标数据为380 20 9 08 设先验概率按比例分配 进行bayes判别 判定其归属 表4 324人心电图数据 31 心电图图谱 心电图各种波形 P波 QRS波群Q波 T波 U波 各波形间等电位线 32 检验假设 检验统计量 解 1 检验3个总体协方差矩阵相等 33 A 261 017 36 189 595 46 x 380 209 08 G1 A 1 11 G2 A 12 18 G3 A 19 23 3类总体数据n 23 k 3 p 2 n1 11 n2 7 n3 5 f p p 1 k 1 2 d 2 p 2 3 p 1 1 n1 1 1 n2 1 1 n3 1 1 n k 6 p 1 k 1 p1 n1 n p2 n2 n p3 n3 n m1 mean G1 m2 mean G2 m3 mean G3 检验总体协方差矩阵相等程序 34 s1 cov G1 s2 cov G2 s3 cov G3 计算协方差阵s n1 1 s1 n2 1 s2 n3 1 s3 n k 联合协方差M n k log det s n1 1 log det s1 n2 1 log det s2 n3 1 log det s3 T 1 d M 计算统计量T观测值C chi2inv 0 95 f 卡方分布0 05上分位数CifT chi2inv 0 95 f disp 三组数据协方差相等 elsedisp 三组数据协方差不全相等 end 输出结果 由于T C 故认为3组数据协方差相等 35 w 1 m1 inv s x 1 2 m1 inv s m1 log p1 w 2 m2 inv s x 1 2 m2 inv s m2 log p2 w 3 m3 inv s x 1 2 m3 inv s m3 log p3 fori 1 3 按照判别函数w i 最大归属样品ifw i max w disp 属于第 num2str i 组 end end 输出结果 待判样品属于第2组 2 在协方差阵相等情形下 进行Bayes判别分析 线性判别函数 36 例4 3 42008年全国部分地区城镇居民人均年家收入情况见表4 4 按四种指标分为二类 用bayes判别判定青海 广东两省区属于哪一类 并用回代法和交叉法对误判率进行估计 假定误判损失相等 37 表4 42008年全国各省 区 市城镇居民人均年家庭收入 38 解 1 输入数据clearA1 18738 96778 36452 757707 87121791 111399 14369 126199 77112849 73863 52256 877203 93212319 861999 61307 315548 78215538 833161 871324 944955 14212668 822185 13952 913879 29212940 621194 40346 903067 05212314 69303 34138 08891 4228891 501078 67224 863946 3939019 35983 21202 313654 11310284 431555 31324 643031 0539494 591483 30248 044610 3237393 391241 37122 833506 4839302 38959 43293 923603 7239105 961106 31265 352985 9639043 521161 96156 463545 8639474 811114 68244 133340 6539070 971575 08316 483614 74310957 62788 26205 943265 92310321 201314 40441 153316 4439117 001040 14262 903265 0637811 16770 86110 903492 7038596 881165 96849 453505 7439794 82544 00151 463356 8538354 63638 7665 332610 6138595 48763 0750 173458 6339422 22938 15141 751976 493 39 检验假设 检验统计量 2 检验3个总体协方差矩阵相等 40 检验三个总体的协方差矩阵相等程序A A1 1 4 读取A1数据A2 A1 5 读取A1中类属性x 8595 48763 0750 173458 6315188 392405 92701 253382 95 待判样品G1 A 1 2 G2 A 3 8 G3 A 9 27 读取3类总体n1 size G1 1 总体G1的样本数n2 size G2 1 总体G2的样本数n3 size G3 1 总体G3的样本数n n1 n2 n3 三个总体合并的样本数k 3 p 4 f p p 1 k 1 2 d 2 p 2 3 p 1 1 n1 1 1 n2 1 1 n3 1 1 n k 6 p 1 k 1 p1 n1 n p2 n2 n p3 n3 n 41 m1 mean G1 m2 mean G2 m3 mean G3 s1 cov G1 s2 cov G2 s3 cov G3 计算协方差阵s n1 1 s1 n2 1 s2 n3 1 s3 n k 联合协方差矩阵M n k log det s n1 1 log det s1 n2 1 log det s2 n3 1 log det s3 T 1 d M 计算统计量T观测值C chi2inv 0 95 f 卡方分布0 05上分位数CifT chi2inv 0 95 f disp 三组数据协方差相等 elsedisp 三组数据协方差不全相等 end 输出结果 T 20 0037 C 31 4104 T C 3组数据协方差相等 42 2 基于协方差矩阵相等 构造Bayes线性判别函数 计算线性判别函数 按取值最大归属样品fori 1 2w 1 m1 inv s x i 1 2 m1 inv s m1 log p1 w 2 m2 inv s x i 1 2 m2 inv s m2 log p2 w 3 m3 inv s x i 1 2 m3 inv s m3 log p3 计算线性判别函数forj 1 3ifw j max w disp 待判样品属于第 num2str j 类城市 endendend输出结果 1号待判样品属于第3类城市2号待判样品属于第2类城市 43 n11 0 n22 0 n33 0 初始误判率fori 1 n1 计算G1总体样本线性判别函数结果w1 i 1 m1 inv s G1 i 1 2 m1 inv s m1 log p1 w1 i 2 m2 inv s G1 i 1 2 m2 inv s m2 log p2 w1 i 3 m3 inv s G1 i 1 2 m3 inv s m3 log p3 forj 1 3 计算G1总体中误判个数ifw1 i j max w1 i endendend 3 计算回代误判率 w1 i j 取最大且j不为1 xi判错误判个数 计算G1总体中误判个数 44 fori 1 n2w2 i 1 m1 inv s G2 i 1 2 m1 inv s m1 log p1 w2 i 2 m2 inv s G2 i 1 2 m2 inv s m2 log p2 w2 i 3 m3 inv s G2 i 1 2 m3 inv s m3 log p3 forj 1 3ifw2 i j max w2 i end 计算G2总体中误判个数endend 3 计算回代误判率 计算G2总体样本线性判别函数结果 45 fori 1 n3 计算G3总体样本线性判别函数结果w3 i 1 m1 inv s G3 i 1 2 m1 inv s m1 log p1 w3 i 2 m2 inv s G3 i 1 2 m2 inv s m2 log p2 w3 i 3 m3 inv s G3 i 1 2 m3 inv s m3 log p3 forj 1 3ifw3 i j max w3 i endendendp00 n11 n22 n33 n1 n2 n3 计算回代误判率 输出结果 p00 0误判率0 效果好 46 N11 0 N22 0 N33 0 初始误判率0fork 1 n1 总体G1误判率A G1 1 k 1 k 1 n1 N1 length A 1 M1 mean A 1 s11 cov A S1 N1 1 s11 n2 1 s2 n3 1 s3 N1 n2 n3 k P01 N1 n 1 P02 n2 n 1 P03 n3 n 1 先验概率按比例 4 计算交叉误判率 47 fori 1 n1 计算G1总体样本线性判别函数结果W1 i 1 M1 inv S1 G1 i 1 2 M1 inv S1 M1 log P01 W1 i 2 m2 inv S1 G1 i 1 2 m2 inv S1 m2 log P02 W1 i 3 m3 inv S1 G1 i 1 2 m3 inv S1 m3 log P03 forj 1 3 计算G1总体样本交叉误判率结果ifW1 i j max W1 i endendendend w1 i j 取最大且j不为1 G1总体中样本xi判错 误判个数加2 48 fork 1 n2B G2 1 k 1 k 1 n2 N2 length B 1 M2 mean B 1 s22 cov B S2 n1 1 s1 N2 1 s22 n3 1 s3 n1 N2 n3 k 计算混合样本协方差P01 n1 n 1 P02 N2 n 1 P03 n3 n 1 计算先验概