模式作业-Parzen窗估计及matlab源程序.doc

精品文档计算题3.6 已知三类训练样本为 ： -1，-1 ， ： 0，0 ， ： 1，1 试用多类感知器算法求解判别函数。解：采用多类情况3的方式分类，将训练样本写成增广向量形式，有 X= -1，-1，1 ， X= 0，0，1 ， X= 1，1，1 任取初始权向量为： W(1) = W(1) = W(1)= 0，0，0 取校正增量c = 1。 迭代过程如下：第一次迭代，k = 1，以X= -1，-1，1 作为训练样本，计算得 d(1) = W(1) X= 0 d(1) = W(1) X= 0 d(1) = W(1) X= 0 X，但d(1)d(1)且d(1)d(1)不成立，故修改3个劝向量，即 W(2) = W(1) + X= -1，-1，1 W(2) = W(1) X= 1，1，-1 W(2) = W(1) X= 1，1，-1 第二次迭代，k = 2，以X= 0，0，1 作为训练样本，计算得 d(2) = W(2)X= 1 d(2) = W(2)X= -1 d(2) = W(2)X= -1X，但d(2)d(2)且d(2)d(2)不成立，故修改3个权向量，即 W(3) = W(2) X= -1，-1，0 W(3) = W(2) + X= 1，1，0 W(3) = W(2) X= 1，1，-2 第三次迭代，k = 3，以X= 1，1，1 作为训练样本，计算得 d(3) = W(3)X= -2 d(3) = W(3)X= 2 d(3) = W(3)X= 0 X，d(3)d(3)成立，但d(3)d(3)不成立，故仍需修改部分权向量，即 W(4) = W(3) = -1，-1，0 W(4) = W(3) X= 0，0，-1 W(4) = W(3) + X= 2，2，-1 以上经过一轮迭代运算后，三个样本还未正确分类，故进行下一轮迭代。第四次迭代，k = 4，以X= -1，-1，1 作为训练样本，计算得 d(4) = W(4)X= 2 d(4) = W(4)X= -1 d(4) = W(4)X= -5X，但d(4)d(4)且d(4)d(4)成立，故3个权向量不变，即 W(5) = W(4) = -1，-1，0 W(5) = W(4) = 0，0，-1 W(5) = W(4) = 2，2，-1 第五次迭代，k = 5，以X= 0，0，1 作为训练样本，计算得 d(5) = W(5)X= 0 d(5) = W(5)X= -1 d(5) = W(5)X= -1X，且d(5)d(5)和d(5)d(5)不成立，故修改3个权向量，即有W(6) = W(5) X= -1，-1，-1 W(6) = W(5) +X= 0，0，0 W(6) = W(5) X= 2，2，-2第六次迭代，k = 6，以X= 1，1，1作为训练样本，计算得 d(6) = W(6)X= -3 d(6) = W(6)X= 0 d(6) = W(6)X= 2 X，且d(6)d(6)和d(6)d(6)成立，说明已正确分类，权向量不变，有 W(7) = W(6) ， W(7) = W(6) ， W(7) = W(6)第七次迭代，k = 7，以X= -1，-1，1 作为训练样本，计算得 d(7) = W(7)X= 1 d(7) = W(7)X= 0 d(7) = W(7)X= -6X，且d(7)d (7)和d(7)d(7)成立，说明已正确分类，权向量不变，有W(8) = W(7) ， W(8) = W(7) ， W(8) = W(7)第八次迭代，k = 8，以X= 0，0，1 作为训练样本，计算得d(8) = W(7) X= -1 d(8) = W(7) X= 0d(8) = W(7) X= -2X，且d(8)d(8)和d(8)d(8)成立，说明已正确分类，权向量不变在第六、七、八次迭代中，对所有三个样本都已经正确分类，故权向量的解为 W= W(6) = W(7) =W(8) = -1，-1，-1 W= W(6) = W(7)= W(8) = 0，0，0 W= W(6) = W(7)= W(8) = 2，2，-2由此得三个判别函数分别为 d(X) =-x-x-1 d(X) = 0 d(X) = 2x+2x-24.2 假设在某个地区的疾病普查中，正常系统（）和异常细胞（）的先验概率分别为P() =0.9，P（）=0.1。现有一待识别细胞，起观察值为X，从概率密度分布曲线上查得p(X|) =0.2，p(X|) =0.4，试对该细胞利用最小错误率贝叶斯决策规则进行分类。解：利用先验概率和类概率密度计算。 p(X|)P() = 0.2 * 0.9 = 0.18 p(X|)P() = 0.4 * 0.1 = 0.04因为p(X|)P()p(X|)P()，所以X是正常细胞。程序题4.12给出Parzen窗估计的程序框图，并编写程序。parzen窗设计一、 parzen窗设计原理（一）、基本原理Parzen窗估计法是一种具有坚实理论基础和优秀性能的非参数函数估计方法，它能够较好地描述多维数据的分布状态。其基本思想就是利用一定范围内各点密度的平均值对总体密度函数进行估计。一般而言，设x为d维空间中任意一点，N是所选择的样本总数，为了对x处的分布概率密度进行估计，以x为中心作一个边长为的超立方体,则其体积为，为计算落入中的样本数，构造一个函数使得(1)并使满足条件，且，则落入体积V中的样本数为，则此处概率密度的估计值是： (2)式(2)是Parzen窗估计法的基本公式，称为窗函数，或核函数、势函数。窗函数的作用是内插，每一样本对估计所起的作用取决于它到x的距离。在Parzen窗估计法的基本公式中，窗宽是一个非常重要的参数。当样本数N有限时，对估计的效果有着较大的影响。（二）、窗函数的选取一般可以选择的窗函数有方窗、正态窗等。基于下列原因，本文选择正态窗作为核函数：(1)正态函数的平滑性将使得估计函数变化平滑；(2)如果选择完全对称的正态函数，估计函数中只有一个参量变化；(3)便于利用书中例题4.5校核程序。因此，选择正态核函数的情形下，正态窗函数为 (3)即（4）概率密度的估计式为（5）二、 程序说明本程序根据课本P120例4.5编写（有改动）(一)、首先生成Parzen窗估计函数文件1、源程序function pNx=parzen(N,h1,x)%ParzenhN=h1/sqrt(N);pNx=zeros(1,30000);for u=1:30000 for i=1:N pNx(u)=pNx(u)+exp(x(u)-x(i)/hN).2/-2)/sqrt(2*pi)/hN; end pNx(u)=pNx(u)/N;end2、说明(1)，其中为可调节的参数(2)程序通过循环累加实现公式即(3)其中零序列的长度可以任意设置，但后面的循环次数和主程序里随机函数randn的参数必须保持一致。由于randn设置参数时不能出现无穷大inf，所以没有取无穷大值，而取了70000。(二)主程序1、源程序clc;clear;x=randn(1,70000);px=normpdf(x,0,1);%Parzen窗h1=0.25时，N不同的估计subplot(2,3,1);plot(x,px,.);title(原始一维正态分布)pNx=parzen(1,0.25,x);subplot(2,3,2);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=0.25,N=1)pNx=parzen(16,0.25,x);subplot(2,3,3);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=0.25,N=16)pNx=parzen(256,0.25,x);subplot(2,3,4);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=0.25,N=256)pNx=parzen(4096,0.25,x);subplot(2,3,5);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=0.25,N=2000)pNx=parzen(65536,0.25,x);subplot(2,3,6);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=0.25,N=65536)%Parzen窗h1=1时，N不同的估计figure(2);subplot(2,3,1);plot(x,px,.);title(原始一维正态分布)pNx=parzen(1,1,x);subplot(2,3,2);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=1,N=1)pNx=parzen(16,1,x);subplot(2,3,3);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=1,N=16)pNx=parzen(256,1,x);subplot(2,3,4);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=1,N=256)pNx=parzen(4096,1,x);subplot(2,3,5);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=1,N=4096)pNx=parzen(65536,1,x);subplot(2,3,6);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=1,N=65536)%Parzen窗h1=4时，N不同的估计figure(3);subplot(2,3,1);plot(x,px,.);title(原始一维正态分布)pNx=parzen(1,4,x);subplot(2,3,2);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=4,N=1)pNx=parzen(16,4,x);subplot(2,3,3);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=4,N=16)pNx=parzen(256,4,x);subplot(2,3,4);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=4,N=256)pNx=parzen(4096,4,x);subplot(2,3,5);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=4,N=4096)pNx=parzen(65536,4,x);subplot(2,3,6);plot(x,pNx,.);title(Parzen窗法估计单一正态分布)xlabel(h1=4,N=65536)2、说明为了使仿真结果更加清晰选取了三组不同的h1进行比较，分别赋值0.25,1,4，并且取了五组不同N，分别赋值1,16,256,4096,65536，都是16的幂次值。三、仿真截图和结论（一）、仿真结果（如图）图1选取的h1=0.25，N=1,16,256,4096,65536图2选取的h