实验一贝叶斯分类实验

1、实验一：贝叶斯分类实验学时： 4 学时实验目的： 设计简单的线性分类器， 了解模式识别的基本方法。 掌握利用贝叶斯公式进行设计分类器的方法。实验内容：(1) 简单分类 ：有两类样本（如鲈鱼和鲑鱼） ，每个样本有两个特征（如长度和亮度） ，每类有若干个（比如 20 个）样本点，假设每类样本点服从二维正态分布，自己随机给出具体数据， 计算每类数据的均值点， 并且把两个均值点连成一线段， 用垂直平分该线段的直线作为分类边界。再根据该分类边界对一随机给出的样本判别类别。画出如下图形。提示：1可以入下产生第一类数据：% x1 是第一类数据，每一行代表一个样本（两个特征）x1(:,1) = normrnd

2、(10,4,20,1);x1(:,2) = normrnd(12,4,20,1);% 第 2类数据x2(:,1) = normrnd(15,4,20,1);x2(:,2) = normrnd(13,4,20,1);2可假设分类边界为kx-y+b=0 ，根据垂直平分的条件计算出k 和 b。3如果新的样本点代入分类边界方程的值的符号和第一类样本均值代入分类边界方程的符号相同，则是判断为第一类。201816141210864510152025(2) 贝叶斯分类： 根据贝叶斯公式，给出在类条件概率密度为正态分布时具体的判别函数表达式， 用此判别函数设计分类器。数据随机生成，比如生成两类样本（如鲈鱼和鲑

3、鱼），每个样本有两个特征（如长度和亮度） ，每类有若干个（比如 20 个）样本点，假设每类样本点服从二维正态分布， 随机生成具体数据， 然后估计每类的均值与协方差， 在下列各种情况下求出分类边界。先验概率自己给定，比如都为0.5。如果可能，画出在两类协方差不相同的情况下的分类边界。提示：x1 , x2 ,xn1n若第一类的样本为，则第一类均值的估计为?xk，协方差的估n k 1计为 ? 1 n( xk?)( xk?)T 。若若第一类的样本为：n k1x13x232x444x3668则均值的估计为：?133243448666协方差的估计为：?13302021110446000120?100001

4、0101/ 2040404000002分类边界 wt (xx0 )0可用专门 绘制隐函数的ezplot来绘制。 若求出了 w 和 x0 ，如： w = -0.4127, - 0.1641 ; x0=12.2197, 12.5141则;可用 :fh=(x,y)w*(x,y'-x0);% 判别函数表达式ezplot(fh,0,20)% 画出判别边界情况 1. 两类协方差相同且和单位阵成比例的情况下的分类边界为：wt (xx0 )012P(i )其中 w ij ， x0ij )(2( ij )lnj )2ijP(判别边界是一条直线，且垂直于均值的连线，但不一定通过连线的中点。如下图：2015

5、10500510152025情况 2. 两类协方差相同且和单位阵不成比例的情况下的判别函数为：wt(x x )00其中 w1 ( ij ) ， x01 (lnP(i ) / P(j )ij ) 。ij )j )t1 ( i.(2( ij )判别边界仍是一条直线，但不垂直于均值的连线。yyw' (xx,yy'-x) = 002220181614121086420510152025xx情况 3. 两类协方差不相同的情况下的判别函数为：gi ( x)xtWi xwit xwi 0111wi 01t11ln iWiiwiii2iii22判别边界为 g1(x)-g2(x)=0，是一条一般

6、二次曲线（可能是椭圆、等）。x,y (W1-W 2 ) x,y'+(w1 -w 2 )' x,y'+w10-w 2 0 = 02220181614y1210864205101520xln P( i )双曲线、抛物线可用 ezplot 来绘制隐函数：% 情况 3. 两类协方差 e1 和 e2 不相同的情况下：W1=-1/2*inv(e1);w1=inv(e1)*u1;w10=-1/2*u1'*inv(e1)*u1-1/2*log(det(inv(e1)+log(2/5);%假设 w1 的先验概率为 2/5W2=-1/2*inv(e2);w2=inv(e2)*u2;w20=-1/2*u2'*inv(e2)*u2-1/2*log(det(inv(e2)+log(3/5);%假设w2 的先