PR部分习题解答

1、第二章：贝叶斯决策理论主要考点：1. 最小错误率贝叶斯分类器；2. 最小风险贝叶斯分类器；3. 多元正态分布时的最小错误率贝叶斯分类器。典型例题：，.，.。例题1：在一个一维模式两类分类问题中，设，两类的类概率密度分别为 1）求最小错误率贝叶斯分类器的阈值。2）设损失为，求最小风险贝叶斯分类器的阈值。解：由于p(w1)=1/3, p(w2)=2/3，则最小错误率贝叶斯分类器的阈值=p(w2)/p(w1)=2 其相应的决策规则为： 则 即 （2） 当L= 时， 从而最小风险贝叶斯决策规则的阈值为： 判决规则为：,则 即=>例45,2.23解：这里两类协方差矩阵相等。负对数似然比判别规则为例

2、2.24解： 例：假设两类二维正态分布参数如下，试给出负对数似然比判别规则。解：负对数似然比判别规则为所以，决策规则为：实验一：贝叶斯分类器设计实验1）随机生成服从二维正态分布的三类样本类别均值方差训练样本个数测试样本数1300100220010035001002）利用训练样本估计各类的均值与协方差矩阵，并以此作为各类的类概率密度的参数；3）设计基于最小错误率的贝叶斯分类器；4）计算测试样本的错误率5）分析实验结果上机步骤：第一步：生成各种随机数d1=1+sqrt(4)*randn(1,300); %d2=2+sqrt(6)*randn(1,300);train_data1=d1;d2; %合

3、成一个二维正态分布的训练样本，类别为;d3=5+sqrt(5)*randn(1,200); d4=3+sqrt(1)*randn(1,200);train_data2=d3;d4; 生成一个二维正态分布的训练样本，类别为；d5=4+sqrt(2)*randn(1,200);d6=7+sqrt(9)*randn(1,200); 生成一个二维正态分布的训练样本，类别为；c1=1+sqrt(4)*randn(1,100); %c2=2+sqrt(6)*randn(1,100);test_data1=c1;c2; %合成一个二维正态分布的训练样本，类别为;c3=5+sqrt(5)*randn(1,10

4、0); c4=3+sqrt(1)*randn(1,100);test_data2=c3;c4; %生成一个二维正态分布的训练样本，类别为；c5=4+sqrt(2)*randn(1,100);c6=7+sqrt(9)*randn(1,100);%生成一个二维正态分布的训练样本，类别为；test_data2=c5;c6;第二步：计算各类的均值与协方差矩阵；miu1=mean(train_data1);miu2=mean(train_data2);miu3=mean(train_data3);cov1=cov(train_data1');cov2=cov(train_data1');

5、cov3=cov(train_data1');第三步：设计基于最小错误率的贝叶斯分类器，这属于三类问题，第三种情况：各类的协方差均不相等。分类函数见书上P33,公式；第四步：将生成的测试样本依次用分类函数分类，计算所有样本的正确分类次数及正确分类率；第五步：与理论计算相比较，分析结果。第四章 线性判别函数要求掌握线性判别的一般步骤，fisher分类器的设计步骤。例p117,4.4解:广义齐次函数实验二： 线性分类器训练1）随机生成服从二维正态分布的三类样本类别均值方差训练样本个数测试样本数130010022001002）设计Fisher分类器；3) 计算测试样本的错误率4)

6、分析实验结果实验步骤： 生成服从二维正态分布的二类样本，方法同实验一； 计算各类样本均值向量，样本类间散度矩阵，总散度矩阵； 求使得Fisher准则函数JF(w)取极大值时的解，； 分类器为： 将测试样本输入分类器，一一测试其分类。具体方法见。第五章 非线性判别函数、最领近法要求：掌握最领近法的分类及图解、马氏距离的计算，主成分分析方法典型例题：，。例题：设两类模式的特征向量分别服从正态分布，均值向量及协方差矩阵分别为：，一未知类别样本的特征向量1）利用Mahalanobis距离判别x 的类别；2）计算 x 的主成分特征。解：（1）由马氏距离的定义，则,而，则从而属于第一类。（2） 两类模式的

7、协方差矩阵它所对应的特征值故特征值 。而所对应的特征向量，所对应的特征向量。则的贡献率为， 的贡献率为 故第一主成分为，将代入得=2.4033 第二主成分为，将代入得=-0.2531。例设有七个二维样本分属于两类：假定前三个为1类,后四个为2类.1) 画出最近邻法的决策面;2) 求各类样本均值,若按与各类样本均值的最小距离分类, 试给出决策函数,并画出决策面.解：（1）这是一个两类问题，第1类有3个样本，第2类有4个样本。我们规定的判别函数为，其中的下标i表示wi类，k表示wi类的第k个样本。则决策规则，则决策。按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的

8、近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因此由三个A类与四个B类训练样本可能构成的分界面最大数量为3×412。实际分界面有条线组成，（2） w1类的样本均值：，w2类的样本均值：。对未知样本x，决策函数为。若g(x)>0,则，若g(x)<0,则决策面g(x)=0如图：。例设在一个二维空间，A类有三个训练样本，图中用红点表示，B类四个样本，图中用蓝点表示。试问：（1）按近邻法分类，这两类最多有多少个分界面（2）画出实际用到的分界面B3B4B1B2A3A1A2解：按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的近邻，则它们