图像识别实验报告.doc

图像识别实验报告学 院：信息工程学院专 业：信号与信息处理姓 名：唐雄辉学 号：2009124022 授课教师： 陈柘2010年 7 月5 日一 实验内容：采用基于二值数据的Bayes分类方法，基于最小错误率的Bayes分类方法和基于最小风险的Bayes分类方法三种算法，完成字符（0-9，A-Z）的识别：二 实验方法1、 Bayes公式若已知总共有M类物体，以及各类在这d维特征空间的统计分布，具体说来是已知各类别wi =1,2,M的先验概率P（wi ）及类条件概率密度函数P（X| wi ）。对于待测样品，Bayes公式可以计算出该样品分属各类别的概率，叫做后验概率，看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。Bayes公式如下：类别的状态是一个随机变量，而某种状态出现的概率是可以估计的Bayes公式体现了先验概率、类概率密度函数、后验概率三者之间的关系。（1）先验概率P（wi ）先验概率P（wi ）针对M个事件出现的可能性而言，不考虑其他任何条件。例如由统计资料表明总药品数为n，其中正常药品数为n1 异常药品数为n2 则 称P（wi ）及P(w2 )为先验概率。显然在一般情况下正常药品占比例大，即P(wi ) P(w2 ),仅按先验概率来决策，就会把所有药品都划归为正常药品，并没有达到将正常药品与异常药品区分开的目的。这表明由先验概率所提供的信息太少。（2）类条件概率密度函数P（X| wi ）类条件概率密度函数P（X| wi ）是指在已知某类别的特征空间中，出现特征值X的概率密度。即第wi 类样品它的属性X是如何分布的。假定只有其一个特征进行分类，即d=1，并已知这两类的类条件概率密度函数分布，如图1所示，概率密度函数P（X| wi ）是正常药品的属性分布，概率密度函数P（X| w2）是异常药品的属性分布。图1、类条件概率（3） 后验概率后验概率是指呈现状态X时，该样品分属各类别的概率，这个概率值可以作为识别对象归属的依据。由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样品的特征向量为X，而在M类中又有不止一类可能呈现这一X值，它属于各类的概率又是多少呢？这种可能性可用P（X| wi ）表示。可以利用Bayes公式来计算这种条件概率，称之为状态的后验概率P（wi |X）。P（wi |X）是表示在X出现条件下，样品为wi 类的概率。2、 基于最小错误率的Bayes决策假定得到一个待识别量的特征X后，每个样品X有N个特征，即X=（x1,x2,xN ）通过样品库，计算先验概率P（wi ）及类条件概率密度函数P（wi |X），得到呈现状态X时，该样品分属各类别的概率，显然这个概率值可以作为识别对象判属的依据。从后验概率分布图可见，在X值小时，药品被判为正常是比较合理的，判断错误的可能性小。基于最小错误概率的贝叶斯决策就是按后验概率的大小做判决的。这个规则又可以根据判别数目，写成不同的几种等价形式。两类问题若每个样品属于wi ，w2 类中的一类，已知两类的先验概率分别为 P（wi ）和P（w2 ）两类的类条件概率密度分别为P（X| wi ）和P（X| w2）。则任给一X，判断X的类别。由Bayes公式可知：由全概率公式可知：其中M为类别。对于两类问题所以用后验概率来判别为：判别函数还有另外两种形式，即似然比形式：其中L（x）在统计学中称为似然比，而 P（wi ）/ P（w2 ）称为似然比阈值，其对数形式：3、 基于最小风险的Bayes决策上面讨论了使错误率最小的Bayes决策规则。然而当接触到实际问题是，可以发现使错误率最小并不一定是一个普遍适用的最佳选择，如图2所示： 图2、 基于最小错误率和基于最小风险分类比较直线B的划分把正常药品误判为异常药品，这样会扩大总错误率，给企业带来一些损失：直线A的划分将异常药品误判为正常药品，虽然是错误分类最小，但会使病人因失去正确的治疗而遭受极大地损失。可见使错误率最小并不一定是最佳选择。实践中，从根据不同性质的错误会引起不同程度的损失考虑出发，宁肯扩大一些总的错误率，但也要使总的损失减少。这时直线B的划分为最实用。这会引进一个与损失有关联的概念风险，在做出决策时，要考虑所承担的风险。基于最小风险的Bayes决策规则正是为了体现这一点而产生的。基于最小错误率，在分类时取决于观测值X对各类的后验概率中之最大值，因而也就无法估计做出错误决策所带来的损失。为此不妨将做出判决的依据，从单纯考虑后验概率最大值，改为对该观测值X条件下各状态后验概率要求加权和的方式，表示成：其中ai 代表将X判为wi 类的决策； 观测样品X实属于wj ,由于采用ai 决策而被判为wi 时所造成的损失。Ri 则表示了观测值X被判为i类时损失的均值。4、 基于二值数据的Bayes分类方法所谓二值数据，即各样品的每一特征只取数值“1”或“0”。对于数字的分类问题，在每一个数字图像提取特征时，定义了N*N模板，在本程序中N=5，将每个样品的长度和宽度5等份，构成一个5*5模板，相当于将模板笼罩在对应的样品上，对于每一份内的像素个数进行累加统计，除以该模板每一份的面积总数。设置阈值T=0.1，模板所对应的元素黑像素占有率大于T，则特征值取数值“1”；负责取“0”。三 实验步骤1、基于二值数据的Bayes分类方法的实验步骤：（1）计算先验概率P（wi ），先验概率可由各类的样品数和样品总数近似计算，得P（wi ）=Ni /N, i=0,1,2,9其中P（wi ）为类别为数字i的先验概率，Ni 位数字i的样品数，N为样品总数（2）计算Pj (wi ),再计算类条件概率P（X|wi ）得i=0,1,2,9,j=0,1,2,24Pj (wi )表示样品X（x0,x1,x2,x24）属于wi 类条件下，X的第j个分量为1（xj =1）的概率估计值。由此可以计算 P（xj =1|Xwi ）= Pj (wi ) P（xj =0| Xwi ）=1- Pj (wi ) i=0,1,2,9,j=0,1,2,24样品X的类条件概率为：P（X| wi ）=P X=（x0,x1,x2,x24）| Xwi =j=024P(xj =a| Xwi )i=0,1,2,9其中a=0或1。（3）应用Bayes公式求后验概率，得i=0,1,2,9后验概率的最大值的类别（09）就是所要识别数字所属的类别。算法实现代码：/* 函数名称：BayesErzhishuju()* 函数类型：int * 函数功能：基于二值数据的Bayes分类器 ,返回所要识别的数字的类别*/int Classification:BayesErzhishuju()double Pw10;/先验概率P(wj)=Nj/Ndouble P1025;/Pj(wi)wi:wi类，j:第j个特征double PXw10;/类条件概率P(X|wj)double PwX10;/后验概率P(wj|X)int i,j;/求先验概率int n10;/各类样品数int N=0;/样品总数for(i=0;i10;i+)/各数字类别样品数ni=patterni.number;N+=ni;/样品总数for(i=0;i10;i+)Pwi=(double)ni/(double)N;/先验概率for(i=0;i10;i+)for(j=0;j25;j+)int numof1=0;/二值数据中1的个数for(int k=0;k0.1?1:0;Pij=(double)(numof1+1)/(double)(ni+2);for(i=0;i10;i+)double p=1;for(int j=0;j0.1)?Pij:1-Pij;PXwi=p; double PX=0.0,maxP=0.0;int number;for(i=0;i10;i+)PX+=Pwi*PXwi;for(i=0;imaxP)maxP=PwXi;number=i;return number;（4） 实验效果图基于二值数据的Bayes分类实现效果如图3所示：2、 基于最小错误率的Bayes分类实现的实验步骤数字识别属于多类情况，每类样品呈正态分布。（1） 求出每一类样品的均值Ni 代表wi 类的样品个数，n代表特征数目。（2） 求每一类的协方差矩阵L代表样品在wi 类的第l个样品，第j个特征值。Xl j 代表wi 类的第l个样品，第j个特征值。Xj 代表wi 类的Ni 个样品第j个特征的平均值。Xl k 代表wi 类的第l个样品，第k个特征值。XK 代表wi 类的Ni 个样品第k个特征的平均值。wi 类的协方差矩阵为：（3）计算出出每一类的协方差矩阵的逆矩阵Si -1 以及协方差矩阵的行列式Si 。（4）求出每一类的先验概率P（wi ）N1 /N ,i=0,1,2,9其中P（wi ）为类别为数字i的先验概率，N1 为数字i的样品数，N为样品总数。（5） 将各个数值代入判别函数 （6） 判别函数最大值所对应类别就是数字的类别。算法实现代码：/* 函数名称：BayesLeasterror()* 函数类型：int * 函数功能：最小错误概率的Bayes分类器 ,返回所要识别的数字的类别*/int Classification:BayesLeasterror()double X25;/待测样品double Xmeans25;/样品的均值double S2525;/协方差矩阵double S_2525;/S的逆矩阵double Pw;/先验概率double hx10;/判别函数int i,j,k,n;for(n=0;n10;n+)/循环类别09int num=patternn.number;/样品个数for(i=0;i25;i+) Xmeansi=0.0;for(k=0;knum;k+)for(i=0;i0.10?1.0:0.0;for(i=0;i25;i+)Xmeansi/=(double)num;double mode20025;for(i=0;inum;i+)for(j=0;j0.10?1.0:0.0;for(i=0;i25;i+)for(j=0;j25;j+)double s=0.0;for(k=0;knum;k+)s=s+(modeki-Xmeansi)*(modekj-Xmeansj);s=s/(double)(num-1);Sij=s;int total=0;for(i=0;i10;i+)total+=patterni.number;Pw=(double)num/(double)total;for(i=0;i25;i+)for(j=0;j25;j+)S_ij=Sij;double(*p)25=S_;brinv(*p,25);/S的逆矩阵double (*pp)25=S;double DetS;DetS=bsdet(*pp,25);/S的行列式for(i=0;i0.10?1.0:0.0;for(i=0;i25;i+)Xi-=Xmeansi;double t25;for(i=0;i25;i+)ti=0;brmul(X,S_,25,t);double t1=brmul(t,X,25);double t2=log(Pw);double t3=log(DetS+1);hxn=-t1/2+t2-t3/2;double maxval=hx0;int number=0;for(n=1;nmaxval)maxval=hxn;number=n;return number;（7）实验效果图基于最小错误概率的Bayes分类实现效果如图4所示3、 基于最小风险的Bayes分类器实现步骤（1） 求出每一类样品的均值。Ni 代表wi 类的样品个数，n代表特征数目。（2） 求每一类的协方差矩阵。L代表样品在wi 类的第l个样品，第j个特征值。Xl j 代表wi 类的第l个样品，第j个特征值。Xj 代表wi 类的Ni 个样品第j个特征的平均值。Xl k 代表wi 类的第l个样品，第k个特征值。XK 代表wi 类的Ni 个样品第k个特征的平均值。wi 类的协方差矩阵为：（3）计算出出每一类的协方差矩阵的逆矩阵Si -1 以及协方差矩阵的行列式Si 。（4）求出每一类的先验概率P（wi ）N1 /N ,i=0,1,2,9其中P（wi ）为类别为数字i的先验概率，N1 为数字i的样品数，N为样品总数。(5)计算后验概率Pi，i=0,1,9。 Pi=-(6)定义损失数组为loss1010,设初值为如图5所示，ai代表将要判别为wi 类的决策，wi代表自然类。这样的计算结果与基于最小错误率的Bayes分类器相同。图5、风险对话框（7） 计算每一类的损失riski; riski=lossijPj如图6所示可见第8个总风险值为最小。（8）找出最小损失所对应的类，该类即是待测样本所属的类别。图6、基于最小风险的Bayes结果显示算法实现代码/* 函数名称：BayesLeastRisk(double loss1010)* 函数类型：double* 参数说明：double loss1010：损失* 函数功能：最小风险的Bayes分类器 ，返回各类的风险值*/double* Classification:BayesLeastRisk(double loss1010)double X25;/待测样品double Xmeans25;/样品的均值double S2525;/协方差矩阵Sdouble S_2525;/S的逆矩阵double P10;/后验概率double Pw;/先验概率double hx10;/判别函数int i,j,k,n;for(n=0;n10;n+)/int num=patternn.number;/样品个数/求样品均值for(i=0;i25;i+)Xmeansi=0.0;for(k=0;knum;k+)for(i=0;i0.2?1.0:0.0;for(i=0;i25;i+)Xmeansi/=(double)num;/求协方差矩阵double mode20025;for(i=0;inum;i+)for(j=0;j0.2?1.0:0.0;for(i=0;i25;i+)for(j=0;j25;j+)double s=0.0;for(k=0;knum;k+)s=s+(modeki-Xmeansi)*(modekj-Xmeansj);s=s/(double)(num-1);Sij=s;/求先验概率int total=0;/样品总数for(i=0;i10;i+)total+=patterni.number;Pw=(double)num/(double)total;/求S的逆矩阵for(i=0;i25;i+)for(j=0;j25;j+)S_ij=Sij;double(*p)25=S_;brinv(*p,25);/S的逆矩阵/求S的行列式double (*pp)25=S;double DetS;DetS=bsdet(*pp,25);/S的行列式/求判别函数for(i=0;i0.2?1.0:0.0;for(i=0;i25;i+)Xi-=Xmeansi;double t25;for(