pr部分习题解答

第二章：贝叶斯决策理论 主要考点： 1. 最小错误率贝叶斯分类器； 2. 最小风险贝叶斯分类器； 3. 多元正态分布时的最小错误率贝叶斯分类器。 典型例题：，.，.。 例题 1：在一个一维模式两类分类问题中，设 ，两类的12()/3,()/p 类概率密度分别为 2 21 21(/)ex,/exp()pxx 1）求最小错误率贝叶斯分类器的阈值。 2）设损失为 ，求最小风险贝叶斯分类器的阈值。031L 解：由于 p(w1)=1/3, p(w2)=2/3，则最小错误率贝叶斯分类器的阈值 =p(w2)/p(w1)=2 其相应的决策规则为： 则 ,)1(2)/(wpxp21x 即 21/e()xp112ln4wx （2） 当 L= 时，0312213,0,0 从而最小风险贝叶斯决策规则的阈值为： 1221()()*/.03pw 判决规则为： ,则12(/)px2wx 即 =2/e()3/pxexp(4)3/212ln(/)43wx 例45,2.23 解：这里两类协方差矩阵相等。 负对数似然比判别规则为 111222(/)()lnln0xpxp 111/212 22/1 12112exp()()(/)|lnln|()()()()/,0Ti i iin TTTi xpxxxx =I.故02 例2.24 解： 11212 11/12 22/21/3434/exp()()()exp,/)|lnln|()( TTi i iinTi xpxpx xxx -=,=故12 12 12 2)()()/ 10 0020/34/348 ln3/4ln43Txxxx - 例：假设两类二维正态分布参数如下，试给出负对数似然比判别规则。 1212120.5(),(,)(0,)1TTp 解：负对数似然比判别规则为 111222(/)()lnlnxpxp11 2 221121 221 e()()(/)|llxp|()()()()/4xxpxx 所以，决策规则为： 12 120xx 实验一：贝叶斯分类器设计 实验 1）随机生成服从二维正态分布的三类样本 类别 均值 方差 训练样本个数 测试样本数 1 (,2)T406300 100 2 (5,3)T01200 100 3 (4,7)T29500 100 2）利用训练样本估计各类的均值与协方差矩阵，并以此作为各类的类概率密度的参数； 3）设计基于最小错误率的贝叶斯分类器； 4）计算测试样本的错误率 5）分析实验结果 上机步骤：第一步：生成各种随机数 d1=1+sqrt(4)*randn(1,300); % d2=2+sqrt(6)*randn(1,300); train_data1=d1;d2; %合成一个二维正态分布的训练样本，类别为; d3=5+sqrt(5)*randn(1,200); d4=3+sqrt(1)*randn(1,200); train_data2=d3;d4; 生成一个二维正态分布的训练样本，类别为； d5=4+sqrt(2)*randn(1,200); d6=7+sqrt(9)*randn(1,200); 生成一个二维正态分布的训练样本，类别为； c1=1+sqrt(4)*randn(1,100); % c2=2+sqrt(6)*randn(1,100); test_data1=c1;c2; %合成一个二维正态分布的训练样本，类别为; c3=5+sqrt(5)*randn(1,100); c4=3+sqrt(1)*randn(1,100); test_data2=c3;c4; %生成一个二维正态分布的训练样本，类别为； c5=4+sqrt(2)*randn(1,100); c6=7+sqrt(9)*randn(1,100);%生成一个二维正态分布的训练样本，类别为； test_data2=c5;c6; 第二步：计算各类的均值与协方差矩阵； miu1=mean(train_data1); miu2=mean(train_data2); miu3=mean(train_data3); cov1=cov(train_data1); cov2=cov(train_data1); cov3=cov(train_data1); 第三步：设计基于最小错误率的贝叶斯分类器，这属于三类问题，第三种情况：各类的协 方差均不相等。分类函数见书上 P33,公式； 第四步：将生成的测试样本依次用分类函数分类，计算所有样本的正确分类次数及正确分 类率； 第五步：与理论计算相比较，分析结果。 第四章 线性判别函数 要求掌握线性判别的一般步骤，fisher 分类器的设计步骤。 例p117,4.4 解: 11202102(),TTxgxwxw故 ， 广义齐次函数 12() TTgxayx 实验二： 线性分类器训练 1）随机生成服从二维正态分布的三类样本 类别 均值 方差 训练样本个数 测试样本数 1 (,)T201300 100 2 (5,)T302200 100 2）设计 Fisher 分类器； 3) 计算测试样本的错误率 4) 分析实验结果 实验步骤： 生成服从二维正态分布的二类样本，方法同实验一； 计算各类样本均值向量 ，样本类间散度矩阵 ，总散度矩阵 ；12,m12,s12ws 求使得 Fisher 准则函数 JF(w)取极大值时的解， ；*2()wm 分类器为： *Tywx 将测试样本输入分类器，一一测试其分类。具体方法见。 第五章 非线性判别函数、最领近法 要求：掌握最领近法的分类及图解、马氏距离的计算，主成分分析方法 典型例题：，。 例题：设两类模式的特征向量分别服从正态分布，均值向量及协方差矩阵分别 为： ，1212.03(0,)(,3)19TT 一未知类别样本的特征向量 (,)Tx 1）利用 Mahalanobis 距离判别 x 的类别； 2）计算 x 的主成分特征。 解：（1）由马氏距离的定义 ，则 12()()Txx , 121()()Tx1222()()Tx 而 ，则.03910.95. 从而 21102.5050T2.9.16.313T 属于第一类。21,x （2） 两类模式的协方差矩阵 12.0319 它所对应的特征值 1.0.3(1)209E 故特征值 。12, 而 所对应的特征向量 ，1 31,0 所对应的特征向量 。2,1 则 的贡献率为 ，121/3.%ip 的贡献率为 221/6.7i 故第一主成分为 ，将 代入得 =2.4033320yx(1,.2)Tx1y 第二主成分为 ，将 代入得 =-0.2531。31220y(,.)T 例 设有七个二维样本分属于两类： 123:(.5,)(,)(0,1)TTTxxx24 6700.5(2,)T 假定前三个为 1 类,后四个为 2 类. 1) 画出最近邻法的决策面; 2) 求各类样本均值,若按与各类样本均值的最小距离分类, 试给出决策函数,并 画出决策面. 解：（1）这是一个两类问题，第 1 类有 3 个样本，第 2 类有 4 个样本。我们规定 的判别函数为 ，其中 的下1(,2)wi2()min,1.ki ikgxxNkix 标 i 表示 wi 类，k 表示 wi 类的第 k 个样本。则决策规则 ，则决策 。2()mn(),1igxxiw 按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样 本的近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因此由三个 A 类与四个 B 类训练样本可能构成的分界面最大数量为 3412。实际分界面有条线组 成， （2） w1 类的样本均值： ，1/3(0.5,)(1,0)(,)(1/6,3)TTTT w2 类的样本均值： 。2/4(,.)(,2.)(,32,)(/4,9)TTTT 对未知样本 x，决策函数为 。2211()()()TTgx 若 g(x)0,则 ，若 g(x)0,则1w2w 决策面 g(x)=0 如图： 。 例 设在一个二维空间，A 类有三个训练样本，图中用红点表示，B 类四个样本， 图中用蓝点表示。 试问： （1）按近邻法分类，这两类最多有多少个分界面 （2）画出实际用到的分界面 B3 B4 B1 B2 A3 A1 A2 解：按近邻法，对