模式识别rcise2009.doc

2.3 两类情况下：，则 2.4两类的最小错误率决策规则为：两类的最小错误率决策规则的似然比形式为： （1）当时，规则可写为（2）当时，规则可写为2.9 两类最小风险贝叶斯决策规则为：可得，判别函数为：决策面方程为：多类最小风险贝叶斯决策规则为可得，判别函数为：决策面方程为：2.20 （1） 时，分类面方程为 其中，即分类面为经过 x0点与垂直的超平面，是第i和j类的均值（中心点），则当 时，设第i的先验概率大于j类，即，则,可知表明x0与i的距离要大于与j之间的距离，即超平面更靠近先验概率小的类。（2） 从上式可以看出，当样本分布的方差相对于平方距离较小时，先验概率的变化对x0与均值间的距离影响不大，在均值连线中点附近，即对超平面的位置影响不大。2.24 负对数似然比决策规则为：由，不等式右边为0。将正态分布的概率密度函数代入可得其中 代入得决策规则为： 3.1总体分布为N(，1)，即均值未知，此时，总体分布形式为，（1）最大似然估计，由 ，可得 （2）贝叶斯估计似然函数 ，则，其中 由 ，式中与无关的项都全部吸收到和”中，这样与写成N(N，N)的正态密度函数比较，应用待定系数法，可求得，即根据定理3.1，即 3.15(1) 由，代入上式得上式积分中，可将两个正态函数看作 ，则这个积分为这两个函数的卷积，得到的是x的分布函数，服从分布。4.4 （1） x2x1H112(2) 齐次线性判别函数：4.15最小平方误差准则中建立的线性方程组为，对MSE准则函数计算梯度并令为0可得 可以写为分块矩阵形式 其中1i是Ni个1的列向量，Xi是一个Ni x d矩阵。引入样本均值上式可计算得到由第一式可得，这里，代入第二式得到 因是一个标量，因此括号中第二项都是在的方向上，记为可解得,考虑比例因子aN并不重要，因此此解和Fisher判别的解是等价3.，则可得伪逆矩阵可得5.1当ij时，贝叶斯判别函数一般为二次函数，决策面为超二次曲面。以图2.13（c）的情况为例，假设，1x1，1y2，2x1，2y1，则决策面为一抛物线。可以利用，求抛物线方程，看分段的逼近情况6.1 最近邻决策规则为基于距离的分段线性分类器判别函数为，若有当以每一个样本作为一个子类时，即时，最近邻决策即为一个分段线性分类器，其决策面是分段线性的。6.5 （1）作出每两个异类样本之间的决策面（线），构成分段的决策面（线）。（2）m1（1/3，0），m2（1/2，0）8.1 1=(1,1), (1,0), (2,0)，2=(-1,1), (-1,0), (0,1)，3=(-1,-1), (0,-1), (0,-2) ， 则 P1=P2=P3=1/3，m1=(4/3,1/3) m2=(-2/3,2/3) m3=(-1/3, -4/3) m= (-1/9, -1/9) ， ， 8.2只取1和2 ，m= (1/3, 1/2) 使J2最大的变换，应是由矩阵的特征向量组成的矩阵W。由于矩阵的秩为1，因此只有一个非零特征值，W是21矩阵。特征方程为由是标量，所以 ，即为所求变换。Ch9 取样本的二阶矩矩阵作为产生矩阵，其特征值和特征向量分别是降到2维时，取特征值（1，1/4）对应的特征向量组成变换矩阵，样本坐标为降到1维时，取特征值1 对应的特征向量作为变换矩阵，样本坐标为Ch 1010.5 证明：平方误差和准则为： 准则为：三种划分下各准则函数值为：（1） m1 =(5/2 9/2)T m2 =(5/2 1/2)T Je1=10/2+26/2=18 Jsw1=16（2） m1 =(9/2 5/2)T m2 =(1/2 5/2)T Je2=26/2+10/2=18 Jsw2=16（3） m1 =(5/3 10/3)T m2 =(5 0)T Je3=74/9+8/9+74/9=52/3 Jsw3=64/3所以对于平方误差和准则Je3最小，即第三种划分最好；对准则Jsw1= Jsw2最小，即前两种划分最好。10.b 设有样本集X=(0,0)T (0,1)T (1,0)T (4,4)T (4,5)T (5,4)T (5,5)T ，试用C-均值算法对样本集分类。解：将样本集分为两类，即取c=2(1) 选取x1(0,0)T，x4(4,4)T分别作为两类的代表点，按距离进行初始划分为：1=(0,0)T (0,1)T (1,0)T ，2= (4,4)T (4,5)T (5,4)T (5,5)T 则 m1(1/3, 1/3)T，m2(9/2, 9/2)T(2) 选取x1(0,0)T作为备选样本，计算： x1的类别不变，m1、m2和Je也均不改变。(3)依次选取x2 到x7作为备选样本