模式识别习题及答案

1、第一章绪论1.什么就是模式？具体事物所具有得信息、模式所指得不就是事物本身,而就是我们从事物中获得得_信息 _。 模式识别得定义?让计算机来判断事物。3。 模式识别系统主要由哪些部分组成?数据获取预处理特征提取与选择分类器设计/分类决策、第二章贝叶斯决策理论 .最小错误率贝叶斯决策过程？答 :已知先验概率 ,类条件概率。利用贝叶斯公式得到后验概率。根据后验概率大小进行决策分析、2。最小错误率贝叶斯分类器设计过程？答 :根据训练数据求出先验概率类条件概率分布利用贝叶斯公式得到后验概率如果输入待测样本,计算得后验概率根据后验概率大小进行分类决策分析。3、最小错误率贝叶斯决策规则有哪几种常用得表示形

2、式？答:。贝叶斯决策为什么称为最小错误率贝叶斯决策？答 :最小错误率Ba es 决策使得每个观测值下得条件错误率最小因而保证了(平均 )错误率最小。 Ba es 决策就是最优决策:即,能使决策错误率最小、5、贝叶斯决策就是由先验概率与 (类条件概率 )概率 ,推导 (后验概率 )概率 ,然后利用这个概率进行决策。6、利用乘法法则与全概率公式证明贝叶斯公式答: 所以推出贝叶斯公式7、朴素贝叶斯方法得条件独立假设就是= P(x1| i) (x i) (xn|( (x i) = (x , x2, , xn i)8.怎样利用朴素贝叶斯方法获得各个属性得类条件概率分布？答: 假设各属性独立, (x )

3、= (1, , , x | i) = (x ) (x2 i) P( | i)后验概率 :P( i x) = P( ) (x1 ) P(x2 ) ( n )类别清晰得直接分类算,如果就是数据连续得,假设属性服从正态分布,算出每个类得均值方差,最后得到类条件概率分布。均值 :方差 :9.计算属性 ari al S tu 得类条件概率分布给表格计算 ,婚姻状况几个类别与分类几个就求出多少个类条件概率。1 ,朴素贝叶斯分类器得优缺点？答 :分类器容易实现。面对孤立得噪声点,朴素贝叶斯分类器就是健壮得。因为在从数据中估计条件概率时。点被平均。面对无关属性,该分类器就是健壮得、相关属性可能降低分类器得性能

4、、因为对这些属性 ,条件独立得假设已不成立。11.我们将划分决策域得边界称为(决策面 ),在数学上用可以表示成(决策面方程 )12.用于表达决策规则得函数称为(判别函数 )13.判别函数与决策面方程就是密切相关得,且它们都由相应得决策规则所确定。14.写出多元正态概率下得最小错误率贝叶斯决策得判别函数,即这些15.多元正态概率下得最小错误率贝叶斯决策得决策面方程为16.多元正态概率下得最小错误率贝叶斯决策 ,当类条件概率分布得协方差矩阵为 时 ,每类得协方差矩阵相等 ,且类内各特征间 (相互独立 ),并具有相等得方差、17.多元正态概率下得最小错误率贝叶斯决策,如果先验概率相等,并且 i 1,

5、2,.、 c,那么分类问题转化为只要计算待测样本 x 到各类均值得 (欧式距离 ),然后把 x 归于具有 (最小距离平方 ) 得类。这种分类器称为 (最小距离分类器 )。18.多元正态概率下得最小错误率贝叶斯决策,类条件概率密度各类得协方差矩阵不相等时,决策面就是 (超二次曲面 ),判别函数就是(二次型 )第三章概率密度函数得估计1.类条件概率密度估计得两种主要方法(参数估计 )与 (非参数估计 )、2.类条件概率密度估计得非参数估计有两种主要得方法(Parzen 窗法 )与 (近邻法 )、它们得基本原理都就是基于样本对分布得(未知 )原则。3.如果有个样本,可以计算样本邻域得体积V,然后获得

6、V 中得样本数,那么 (x)假设正常细胞与癌细胞得样本得类条件概率服从多元正态分,使用最大似然估对一元正态概率密度得参数估计得结果如下:5。 已知 5 个样本与2 个属性构成得数据集中,w1 类有个样本,2 类有两个样本。如果使用贝叶斯方法设计分类器,需要获得各类样本得条件概率分布,现假设样本服从多元正态分布则只需获得分布得参数均值向量与协方差矩阵即可,那么采用最大似然估计获得得w1 类得类条件概率密度均值向量为(转置 ),以及协方差矩阵为()、第四章线性判别函数1、已知两类问题得样本集中,有两个样本。属于类 ,对它们进行增广后,这两个样本得增广样本分别为属于类 ,y1 (1,1, 3,2)T

7、, 2=( , 1, ,3)T2.广义线性判别函数主要就是利用(映射 )原理解决 (普通函数不能解决得高次判别函数利用广义线性判别函数设计分类器可能导致(维数灾难 )。)问题 ,3.线性分类器设计步骤?主要步骤 :1.收集训练数据集D 1,x , , N .按需要确定一个准则函数J(D,w, 0)或 J( ,a),其值反映分类器得性能 ,其极值解对应于“最好”决策。、用最优化技术求准则函数得极值解w ,或 a。4。最终 ,得到线性判别函数,完成分类器设计 .线性判别函数 (x)得几何表示就是 : 点 x 到决策面 H 得 (距离得一种代数度量)。6.增广样本向量使特征空间增加了(一 )维 ,但

8、样本在新得空间中保持了样本间得(欧氏距离 )不变 ,对于分类效果也与原决策面相同、在新得空间中决策面H 通过坐标 (原点 )7.F er 准则得基本原理为:找到一个最合适得投影轴,使 _(类间 )在该轴上投影之间得距离尽可能远 ,而 (类内 )得投影尽可能紧凑,从而使分类效果为最佳。8.Fis r 准则函数得定义为 ?9Fisher 方法中 ,样本类内离散度矩阵Si 与总类内离散度矩阵 Sw分别为?10。利用 Lagr ge 乘子法使 Fi her 线性判别得准则函数极大化,最终可以得到得判别函数权向量11.叙述 F sher 算法得基本原理。Fis e准则得基本原理 :找到一个最合适得投影轴

9、 ,使两类样本在该轴上投影之间得距离尽可能远 ,而每一类样本得投影尽可能紧凑 ,从而使分类效果为最佳。1213.已知两类问题得样本集中属于 w1 类 ,得规范化增广样本分别为,有两个样本 。属于 2 类 ,对它们进行增广规范化后y1=(1,1,-3, )转置与 y2=( , 1, 2, )转置、,这两个样本14.叙述感知准则得梯度下降算法得基本过程。答:1、初值 : 任意给定一向量初始值a(1)2。 迭代 : 第 k+1 次迭代时得权向量 a(k+1) 等于第 k 次得权向量 a(k)加上被错分类得所有 样本之与与得乘积3. 终止 : 对所有样本正确分类15 感知准则函数1线性判别函数g(x)

10、 得几何表示就是: 点 x 到决策面H 得 (距离得代数度量)17.感知机方法主要有两种,批量样本修正法与单样本修正法。它们之间得区别就是什么？答单样本修正法:样本集视为不断重复出现得序列,逐个样本检查,修正权向量批量样本修正法:样本成批或全部检查后,修正权向量18.感知准则特点就是随意确定权向量(初始值),在对样本分类训练过程中(逐步修正)权向量直至最终确定。19.对于感知准则函数 ,满足 ( 就是由无穷多个解向量组成得解,称这样得区域为)得权向量称为解向量(解区域 ) 。,解向量不止一个,而20.感知准则函数为极小值时得a 为最优解证明使用梯度下降算法得迭代过程公式证明 :?21。 下列哪

11、种分类方法最不适用于样本集线性不可分情况:BA.Fish r 线性判别得a ra ge 乘子法 .感知准则得梯度下降算法本数准则得共轭梯度法.最小平方误差准则得梯度下降法C、最小错分样22。多类问题可以利用求两类问题得方法来求解、这样做得缺点就是会造成得区域增大 ),需要训练得 (子分类器及参数增多)。( 无法确定类别23.利用最小平方误差准则函数进行分类器设计 ,主要就是求极小化时得权向量、当时 ,最小平方误差准则函数得解等价于 ( y s)线性判别得解、24.叙述分类器错误率估计中得留一法得运算过程。答 :1。N 个样本 ,取 N- 个样本作为训练集 ,设计分类器、剩下得一个样本作为测试集

12、,输入到分类器中 ,检验就是否错分、3.然后放回样本,重复上述过程4.统计被错分得次数k,直到N次,即每个样本都做了一次测试、作为错误率得估计率、25 利用两类问题得线性分类器解决多类问题常用得两种方法得优缺点、答 : 优点 :设计思想简单 ,容易实现、缺点 :(1)需要训练得子分类器或参数多,效率低、(2)无法确定类别得区域多。 【造成该问题得根本原因就是将多类问题瞧成了多个两类问题来解决。这样必然造成阴影区域得出现、解决办法用多类问题得分类器】2线性分类器设计中得最小平方准则函数方法采用得准则函数公式就是什么？当利用伪逆解方法求解时 ,遇到计算量过大时 ,可以代替采用何种方法来训练分类器参

13、数 ?叙述您所使用方法得基本原理 ,并解释为什么您得方法可以降低计算量。答 :因为 e= a ,?常用梯度下降法来降低计算复杂度批量样本修正法:?单样本修正法: 7 利用两类别得线性分类器如何解决多类别得分类问题？ / i 法 : 将 C 类别问题化为( 1)个两类 (第类与所有非i 类 )问题 ,按两类问题确定其判别函数与决策面方程 i/ j 法 : 将 C 类中得每两类别单独设计其线性判别函数,因此总共有C(C-1)/2 个线性判别函数28.叙述分类器错误率估计中得m-重交叉验证方法得运算过程,并说明什么情况下该方法将退化为留一法、答:(1)N 个样本被划分成m 个不相交得集合,每组有个样

14、本。(2) 在 m 个样本中取m-1 个组得样本作为训练集,设计分类器。(3) 剩下得一组样本作为测试集 ,输入到分类器中检验 ,统计错分数、( )然后放回 ,重复上述过程,直到 m 次。(5) 设 ki( =1, ,m)就是第 i 次测试得错分数 ,则当 =时 ,退化为留一法。第五章 近邻法近邻法性能优点 :(1) 设计简单( )分类性能优良(3) 适用于线性不可分情况缺点 :(1) 计算量大 ,存储量大第六章 特征得选择与提取1.叙述用于特征选择得增l 减 r 搜索算法得算法步骤。 并考虑 l 值大于 (或小于 )r 值时 ,增减算法步骤应做出怎样得修改,以及该情况下 ,增 l 减搜索算法得特点？答步骤一 :用 S S 法在未入选特征组中逐个选入L 个特征 ,形成新特征组 X +L , 设置 k=k+,步骤二 :用 SB法从特征组Xk 中逐个剔除个最差得特征,形成新特征组 k r,设置 k= ,若 k=d, 则终止算法 ,否则设置 xk=xk r,转向第一步。(1) 当 L r 时 ,L r 法就是一种自下而上得算法,先执行第一步 ,然后执行第二步 ,开始时 ,设置k=0,x0= 空(2) 当 时 , -法就是一种自上而下得算法 ,此时先执行第二步 ,然后执行第一步 ,开始时设置 k=0, 0 x1, ,xD2 模拟退火法采用参数 T 得衰减函数Metr