模式识别 课件 第2章 贝叶斯决策

第2章贝叶斯决策主要内容2.1贝叶斯决策的基本概念2.2最小错误率贝叶斯决策2.3最小风险贝叶斯决策2.4朴素贝叶斯分类器2.5Neyman-Pearson决策规则2.6判别函数和决策面2.7正态分布模式的贝叶斯决策2.8贝叶斯决策的实例2.1贝叶斯决策的基本概念各类别总体的概率分布是已知的；要决策的类别数是一定的。原理用概率统计的方法研究随机模式的决策问题。前提条件2.1贝叶斯决策的基本概念预先已知的、或者可以估计的模式识别系统位于某种类型的概率。先验概率

不能根据先验概率的取值判断某个样本属于哪一类。2.1贝叶斯决策的基本概念系统位于某种类型条件下模式样本x出现的概率。类条件概率

不同类别中有可能出现相同的数据，当获得某个样本x时，不能判断其属于哪一类。2.1贝叶斯决策的基本概念系统在某个具体的模式样本x条件下位于某种类型的概率。后验概率

若获得样本x属于不同类的后验概率，择其一，自然将其归为概率大的一类。2.1贝叶斯决策的基本概念贝叶斯公式贝叶斯决策

2.2最小错误率贝叶斯决策希望在决策中尽量减少分类错误的概率，因此根据贝叶斯公式建立的使错误率最小的分类规则，称之为最小错误率贝叶斯决策。（1）癌细胞识别实例分析有要进行识别的细胞，已经经过了预处理，抽取了n个表示细胞的特征，构成n维向量x，判断该细胞为正常或异常细胞。2.2最小错误率贝叶斯决策根据先验的统计知识做出估计，如某一个地区癌症的发病率为5‰，即：

只说明是正常细胞的可能性大，不能作为正常或异常的判据。

数学表示以往的统计数据

2.2最小错误率贝叶斯决策

根据统计资料判断两类中x出现的概率。

以往的统计数据贝叶斯决策2.2最小错误率贝叶斯决策

分析实际中仅这个结论不能确诊的，需要更有效的化验。

（2）最小错误率贝叶斯决策规则2.2最小错误率贝叶斯决策（3）例题2.2最小错误率贝叶斯决策

解：

信道分类器输入{0,1}噪声判别结果x一般认为x<0.5判为0，x>0.5判为1

2.2最小错误率贝叶斯决策2.2最小错误率贝叶斯决策

假设P(0)=P(1)，则决策变为：

2.2最小错误率贝叶斯决策解：先验概率相等，简化决策规则：

0-112341

2.2最小错误率贝叶斯决策（4）验证错分概率对于所有的x值所进行的判断，错误率为最小，从而保证平均错误率P(e)也达到最小。错误率：两类情况：多类情况：2.2最小错误率贝叶斯决策（5）仿真实现

按照最小错误率贝叶斯决策规则，获取训练数据，估算其先验概率，因服从正态分布，估算其类条件概率函数参数，计算后验概率并决策。设计思路2.2最小错误率贝叶斯决策clc,clear;%训练数据及其类别training=[00;20;22;02;44;64;66;46];[N,n]=size(training);species={'one';'one';'one';'one';'two';'two';'two';'two'};%估算先验概率sta=tabulate(species);[c,k]=size(sta);priorp=zeros(c,1);fori=1:cpriorp(i)=cell2mat(sta(i,k))/100;end程序%估算类条件概率参数cpmean=zeros(c,n);cpcov=zeros(n,n,c);fori=1:ccpmean(i,:)=mean(training(strmatch(char(sta(i,1)),species,'exact'),:));cpcov(:,:,i)=cov(training(strmatch(char(sta(i,1)),species,'exact'),:))*(N*priorp(i)-1)/(N*priorp(i));end%数据[31]的后验概率x=[31];postp=zeros(c,1);2.2最小错误率贝叶斯决策fori=1:cpostp(i)=priorp(i)*exp(-(x-cpmean(i,:))*inv(cpcov(:,:,i))*(x-cpmean(i,:))'/2)/((2*pi)^(n/2)*det(cpcov(:,:,i)));end[~,i]=max(postp(:));%找最大后验概率result=sta(i,1)2.2最小错误率贝叶斯决策将在命令窗口输出：result=1×1cell数组{'one'}

2.3最小风险贝叶斯决策作出任何决策都有风险，都会带来一定的后果，错误率最小不一定风险也最小，因此，考虑分类错误引起的损失而产生最小风险的贝叶斯决策方法。（1）问题表述样本x为n维向量：状态空间由c个可能状态（类别）组成：对x可能采取的决策：

2.3最小风险贝叶斯决策（2）风险定义决策表经过分析研究统计得出。…………贝叶斯决策2.3最小风险贝叶斯决策（2）风险定义

条件风险2.3最小风险贝叶斯决策（2）风险定义期望风险

全概率步骤

2.3最小风险贝叶斯决策（3）决策规则规则2.3最小风险贝叶斯决策（4）例题

0160解：后验概率

损失系数

2.3最小风险贝叶斯决策

条件风险2.3最小风险贝叶斯决策（5）最小错误率和最小风险两种决策的关系

正好为求最小条件错误概率最小错误率贝叶斯决策是在0-1损失函数条件下的最小风险贝叶斯决策，即前者是后者的特例。0-1损失函数

条件风险

2.3最小风险贝叶斯决策（6）验证错分风险

2.4朴素贝叶斯分类器（1）原理

贝叶斯决策中存在的问题对已知类别，假设所有属性相互独立。属性条件独立性假设基于属性条件独立性假设，按最大后验概率决策。朴素贝叶斯分类器2.4朴素贝叶斯分类器（2）决策规则

若则决策规则为：2.4朴素贝叶斯分类器（3）仿真实现

获取训练数据后，采用MATLAB提供的fitcnb函数训练朴素贝叶斯分类器，并predict函数进行分类决策2.4朴素贝叶斯分类器程序clc,clear,closeall;training=[00;20;22;02;44;64;66;46];[N,n]=size(training);species={'one';'one';'one';'one';'two';'two';'two';'two'};ObjBayes=fitcnb(training,species);X=[31];[label,posterior,cost]=predict(ObjBayes,X)figure,gscatter(training(:,1),training(:,2),species);holdonplot(X(:,1),X(:,2),'k*','MarkerSize',10);holdoff2.4朴素贝叶斯分类器仿真结果将在命令窗口输出：label=

1×1cell数组

{'one'}posterior=0.99750.0025cost=0.00250.99752.5Neyman-Pearson决策规则（1）原理固定一类错误率使另一类错误率最小的判别准则。

2.5Neyman-Pearson决策规则拉格朗日函数：概率密度函数的性质：拉格朗日函数：

2.5Neyman-Pearson决策规则拉格朗日函数：

同理，拉格朗日函数：2.5Neyman-Pearson决策规则决策规则

2.5Neyman-Pearson决策规则

解：由题意可知Neyman-Pearson决策规则为：

简化为：

2.5Neyman-Pearson决策规则

第一类的错误率为：

2.6判别函数和决策面用数学形式描述分类规则（1）判别函数和决策面的概念把特征空间分成若干个决策域（类别区域），划分这些区域的边界面称为决策面，用数学解析式表达称为决策面方程。决策面判别函数表达决策规则的某种函数。（2）两类情况下的判别函数和决策面方程最小错误率贝叶斯决策的判别函数2.6判别函数和决策面最小错误率贝叶斯决策的决策面方程最小风险贝叶斯决策的决策面方程最小风险贝叶斯决策的判别函数2.6判别函数和决策面（2）两类情况下的判别函数和决策面方程两类分类问题的推广，定义一组判别函数2.6判别函数和决策面

（3）多类情况下的判别函数和决策面方程最小错误率贝叶斯决策多类问题的判别函数最小风险贝叶斯决策的判别函数2.6判别函数和决策面（3）多类情况下的判别函数和决策面方程2.7正态分布模式的贝叶斯决策实际中的许多数据集可以用正态分布来近似，而且，正态分布有利于作数学分析，所以，单独对正态分布时贝叶斯决策作一讨论。（1）单变量正态分布的定义概率密度函数：参数：

2.7正态分布模式的贝叶斯决策（2）多元正态分布的定义概率密度函数参数

2.7正态分布模式的贝叶斯决策（3）例题

2.7正态分布模式的贝叶斯决策解：多类别问题，采用如下判别规则：2.7正态分布模式的贝叶斯决策2.7正态分布模式的贝叶斯决策（4）多元正态分布的性质参数μ、Σ对分布具有决定性等密度点的轨迹为一超椭球面不相关性等价于独立性线性变换的正态性线性组合的正态性Mahalanobis距离

2.7正态分布模式的贝叶斯决策（4）多元正态分布的性质2.7正态分布模式的贝叶斯决策（4）多元正态分布的性质马氏距离和欧氏距离的关系距离在模式识别中是一种很重要的概念，一般认为同一类模式间的距离小，不同类模式间的距离大。欧氏距离最常用。两个向量之间的欧氏距离的定义：当Σ为单位阵时，两种距离相同。2.7正态分布模式的贝叶斯决策（5）仿真实现例2-9：设定参数，生成服从单变量正态分布的样本集，并绘制概率密度函数图。设定先验概率、类条件概率密度函数参数后，采用MATLAB提供的normrnd函数生成样本，计算各点对应的概率密度函数取值并绘制概率密度函数图。同理，可以使用mvnrnd函数生成服从多元正态分布的样本集设计思路2.7正态分布模式的贝叶斯决策程序clc,clear,closeall;P=[0.40.20.4];N=500;

mu1=1;mu2=7;mu3=15;sigma1=0.5;sigma2=0.1;sigma3=2;num1=floor(N*P(1));num2=floor(N*P(2));num3=floor(N*P(3));

rng('default')R1=normrnd(mu1,sqrt(sigma1),1,num1);R2=normrnd(mu2,sqrt(sigma2),1,num2);R3=normrnd(mu3,sqrt(sigma3),1,num3);p1=exp(-0.5*(R1-mu1).^2/sigma1)/sqrt(2*pi*sigma1);p2=exp(-0.5*(R2-mu2).^2/sigma2)/sqrt(2*pi*sigma2);p3=exp(-0.5*(R3-mu3).^2/sigma3)/sqrt(2*pi*sigma3);

holdonplot(R1,p1,'bo');plot(R2,p2,'r.');plot(R3,p3,'g+');legend('1','2','3');boxon;xlabel('x'),ylabel('p(x)'),title('单变量正态分布');holdoff2.7正态分布模式的贝叶斯决策程序2.7正态分布模式的贝叶斯决策结果图（5）正态概率模型下的最小错误率贝叶斯决策2.7正态分布模式的贝叶斯决策判别函数决策面方程

每一类的协方差矩阵相等，类内各特征间相互独立（各协方差为0），具有相等的方差。2.7正态分布模式的贝叶斯决策2.7正态分布模式的贝叶斯决策最小欧氏距离分类器

关于x的线性函数2.7正态分布模式的贝叶斯决策例2-10：二维的两类分类问题，先验概率相等，求最小错误率的贝叶斯判别函数和决策面方程。解：模式呈正态分布，且判别函数为：决策面方程为：

2.7正态分布模式的贝叶斯决策

关于x的线性函数最小马氏距离分类器

2.7正态分布模式的贝叶斯决策解：参数计算2.7正态分布模式的贝叶斯决策2.7正态分布模式的贝叶斯决策2.7正态分布模式的贝叶斯决策

去掉与类别j无关的第一项可化简为x的二次型，决策面为超二次曲面2.7正态分布模式的贝叶斯决策

解：2.7正态分布模式的贝叶斯决策2.8贝叶斯决策的实例例2-16：不同字体数字的图像构成的图像集，实现基于朴素贝叶斯分类器的数字识别。2.8贝叶斯决策的实例设计思路反色：目标变为白色二值化：将图像变为前景和背景获取外接矩形：截取数字所在区域归一化：16×16的子图像预处理2.8贝叶斯决策的实例设计思路由于各个数字上中下宽度不一样，所以统计图像每一行数字所占宽度，生成1×16的向量作为训练样本。提取特征仅适用于不同字体的数字2.8贝叶斯决策的实例设计思路利用训练样本训练朴素贝叶斯分类器，并对测试样本进行分类决策。分类器设计和分类决策程序2.8贝叶斯决策的实例clc;clear;closeall;fmt={'*.jpg','JPEGimage(*.jpg)';'*.*','AllFiles(*.*)'};[FileName,FilePath]=uigetfile(fmt,'选择训练图片','*.jpg','MultiSelect','on');if~isequal([FileName,FilePath],[0,0])FileFullName=strcat(FilePath,FileName);else

returnendN=length(FileFullName);n=16;Image=zeros(50);training=zeros(1,n);labeltrain=[];准备工作初始化2.8贝叶斯决策的实例forj=1:NImage=rgb2gray(imread(FileFullName{j}));Image=255-Image;Image=imbinarize(Image,0.2);[