模式识别习题及答案

第一章 绪论 1 什么是模式 什么是模式 具体事物所具有的信息 模式所指的不是事物本身 而是我们从事物中获得的 信息 2 模式识别的定义 模式识别的定义 让计算机来判断事物 3 模式识别系统主要由哪些部分组成 模式识别系统主要由哪些部分组成 数据获取 预处理 特征提取与选择 分类器设计 分类决策 第二章 贝叶斯决策理论 1 最小错误率贝叶斯决策过程 最小错误率贝叶斯决策过程 答 已知先验概率 类条件概率 利用贝叶斯公式 得到后验概率 根据后验概率大小进行决策分析 2 最小错误率贝叶斯分类器设计过程 最小错误率贝叶斯分类器设计过程 答 根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本 X 计算 X 的后验概率根据后验概率大小进行分类决策分析 3 最小错误率贝叶斯决策规则有哪几种常用的表示形式 最小错误率贝叶斯决策规则有哪几种常用的表示形式 答 4 贝叶斯决策为什么称为最小错误率贝叶斯决策 贝叶斯决策为什么称为最小错误率贝叶斯决策 答 最小错误率 Bayes 决策使得每个观测值下的条件错误率最小因而保证了 平均 错误 率 最小 Bayes 决策是最优决策 即 能使决策错误率最小 5 贝叶斯决策是贝叶斯决策是由先验概率和 类条件概率 概率 推导 后验概率 概率 然后利用 这个概率进行决策 6 利用乘法法则和全概率公式证明贝叶斯公式利用乘法法则和全概率公式证明贝叶斯公式 答 所以推出贝叶斯公式 m j AjpAjBpBp ApABpBpBApABp 1 7 朴素贝叶斯方法的条件独立假设是 朴素贝叶斯方法的条件独立假设是 P x i P x1 x2 xn i 2 1 12 2 1 w w xwpwp wxp wxp xl则如果 2 1 j jj ii i wPwxP wPwxP xwP 2 1 iwP i 2 1 iwxp i 2 1 j jj ii i wPwxP wPwxP xwP M j jj ii ii i APABP APABP BP APABP BAP 1 2 P x1 i P x2 i P xn i 8 怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布 怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布 答 假设各属性独立 P x i P x1 x2 xn i P x1 i P x2 i P xn i 后验概率 P i x P i P x1 i P x2 i P xn i 类别清晰的直接分类算 如果是数据连续的 假设属性服从正态分布 算出每个类的均值 方差 最后得到类条件概率分布 均值 方差 m i xi m xmean 1 1 2 1 1 var 1 m i xxi m x 9 计算属性计算属性 Marital Status 的类条件概率分布的类条件概率分布 给表格计算 婚姻状况几个类别和分类几个就求出多少个类条件概率 10 朴素贝叶斯分类器的优缺点 朴素贝叶斯分类器的优缺点 答 分类器容易实现 面对孤立的噪声点 朴素贝叶斯分类器是健壮的 因为在从数据中估计条件概率时 这些 点被平均 面对无关属性 该分类器是健壮的 相关属性可能降低分类器的性能 因为对 这些属性 条件独立的假设已不成立 11 我们将划分决策域的边界称为我们将划分决策域的边界称为 决策面决策面 在数学上用可以表示成 在数学上用可以表示成 决策面方程决策面方程 12 用于表达决策规则的函数称为用于表达决策规则的函数称为 判别函数判别函数 13 判别函数与决策面方程是密切相关的 且它们都由相应的决策规则所确定判别函数与决策面方程是密切相关的 且它们都由相应的决策规则所确定 14 写出多元正态概率下的最小错误率贝叶斯决策的判别函数 即写出多元正态概率下的最小错误率贝叶斯决策的判别函数 即 15 多元正态概率下的最小错误率贝叶斯决策的决策面方程为多元正态概率下的最小错误率贝叶斯决策的决策面方程为 0 ij gg xx 16 多元正态概率下的最小错误率贝叶斯决策 当类条件概率分布的协方差矩阵为多元正态概率下的最小错误率贝叶斯决策 当类条件概率分布的协方差矩阵为 时 每类的协方差矩阵相等 且类内各特征间 相互独立 时 每类的协方差矩阵相等 且类内各特征间 相互独立 并具有相等的 并具有相等的 2 i 方差 方差 17 多元正态概率下的最小错误率贝叶斯决策 如果先验概率相等 并多元正态概率下的最小错误率贝叶斯决策 如果先验概率相等 并且且 2 i i 1 2 c 那么分类问题转化为只要计算待测样本 那么分类问题转化为只要计算待测样本 x 到各类均值的到各类均值的 欧式距离欧式距离 然后把 然后把 x 归归 于具有 最小距离平方 的类 这种分类器称为 最小距离分类器 于具有 最小距离平方 的类 这种分类器称为 最小距离分类器 18 19 多元正态概率下的最小错误率贝叶斯决策 类条件多元正态概率下的最小错误率贝叶斯决策 类条件 概率密度各类的协方差矩阵不相等时 决策面是 超二次曲面 概率密度各类的协方差矩阵不相等时 决策面是 超二次曲面 判别函数是 二次型 判别函数是 二次型 ln iii gpP xx 1 1 2 1 2 ln2lnln 2 T iii ii d P x x 3 第三章第三章 概率密度函数的估计概率密度函数的估计 1 类条件概率密度估计的两种主要方法类条件概率密度估计的两种主要方法 参数估计 和 非参数估计 4 2 类条件概率密度估计的非参数估计有两种主要的方法类条件概率密度估计的非参数估计有两种主要的方法 Parzen 窗法 和 KN 近邻法 它们的基本原理都是基于样本对分布的 未知 原则 3 如果有如果有 N 个样本 可以计算样本邻域的体积个样本 可以计算样本邻域的体积 V 然后获得 然后获得 V 中的样本数中的样本数 k 那么 那么 P x V N K 4 假设正常细胞和癌细胞的样本的类条件概率服从多元正态分布假设正常细胞和癌细胞的样本的类条件概率服从多元正态分布 使用最大似然估计方法 对概率密度的参数估计的结果为 使用最大似然估计方法 对概率密度的参数估计的结果为 证明 使用最大似然估计方法 对一元正态概率密度的参数估计的结果如下 5 已知 5 个样本和 2 个属性构成的数据集中 w1 类有 3 个样本 w2 类有两个样本 如果 使用贝叶斯方法设计分类器 需要获得各类样本的条件概率分布 现假设样本服从多元正 态分 布 则只需获得分布的参数均值向量和协方差矩阵即可 那么采用最大似然估计获得的 w1 类 的类条件概率密度均值向量为 转置 以及协方差矩阵为 3 2 422 220 202 第四章第四章 线性判别函数线性判别函数 1 已知两类问题的样本集中 有两个样本 已知两类问题的样本集中 有两个样本 属于类 属于类 属于类 对它们进行增广后 这两个样本的增广样本分别为属于类 对它们进行增广后 这两个样本的增广样本分别为 y1 1 1 3 2 T y2 1 1 2 3 T 2 广义线性判别函数主要是利用广义线性判别函数主要是利用 映射映射 原理解决 普通函数不能解决的高次判别函数 问题 原理解决 普通函数不能解决的高次判别函数 问题 利用广义线性判别函数设计分类器可能导致 维数灾难 利用广义线性判别函数设计分类器可能导致 维数灾难 3 线性分类器设计步骤 线性分类器设计步骤 主要步骤 主要步骤 1 收集训练数据集收集训练数据集 D x1 x2 xN 2 按需要确定一个准则函数按需要确定一个准则函数 J D w w0 或或 J D a 其值反映分类器的性能 其极值解对应于 其值反映分类器的性能 其极值解对应于 最好最好 决策 决策 3 用最优化技术求准则函数用最优化技术求准则函数 J 的极值解的极值解 w w 或或 a 4 最终 得到线性判别函数 完成分类器设计最终 得到线性判别函数 完成分类器设计 5 线性判别函数线性判别函数 g x 的几何表示是 点的几何表示是 点 x 到决策面到决策面 H 的 距离的一种代数度量 的 距离的一种代数度量 6 增广样本向量使特征空间增加了 一 维 但样本在新的空间中保持了样本间的 欧氏增广样本向量使特征空间增加了 一 维 但样本在新的空间中保持了样本间的 欧氏 距离 不变 对于分类效果也与原决策面相同 距离 不变 对于分类效果也与原决策面相同 在新的空间中决策面在新的空间中决策面 H 通过坐标 原点 通过坐标 原点 7 Fisher 准则的基本原理为 找到一个最合适的投影轴 使准则的基本原理为 找到一个最合适的投影轴 使 类间类间 在该轴上投影之间的距在该轴上投影之间的距 离尽可能远 而 类内 的投影尽可能紧凑 从而使分类效果为最佳 离尽可能远 而 类内 的投影尽可能紧凑 从而使分类效果为最佳 8 Fisher 准则函数的定义为准则函数的定义为 9Fisher 方法中 样本类内离散度矩阵方法中 样本类内离散度矩阵 Si 与总类内离散度矩阵与总类内离散度矩阵 Sw 分别为分别为 1 1 1 N k k x N 2 2 2 1 1 N k k x N 1 2 iii pNi x 1 1 3 2 Tx 2 1 2 3 Tx 0 TT g xxwg xay w 12 b F S Jw SS T b T w S S ww ww 1 2 i T iii D i x Sxmxm 12w SSS 5 10 利用利用 Lagrange 乘子法使乘子法使 Fisher 线性判别的准则函数极大化 最终可以得到的判别函数线性判别的准则函数极大化 最终可以得到的判别函数 权向量权向量 11 叙述叙述 Fisher 算法的基本原理 算法的基本原理 Fisher 准则的基本原理 找到一个最合适的投影轴 使两类样本在该轴上投影之间的距离准则的基本原理 找到一个最合适的投影轴 使两类样本在该轴上投影之间的距离 尽可能远 而每一类样本的投影尽可能紧凑 从而使分类效果为最佳 尽可能远 而每一类样本的投影尽可能紧凑 从而使分类效果为最佳 12 13 已知两类问题的样本集中 有两个样本已知两类问题的样本集中 有两个样本 属于 w1 类 属于 w2 类 对它们进行增广规范化后 这两个样本的 规范化增广样本分别为 y1 1 1 3 2 转置和 y2 1 1 2 3 转置 14 叙述感知准则的梯度下降算法的基本过程 叙述感知准则的梯度下降算法的基本过程 答 1 初值 任意给定一向量初始值 a 1 2 迭代 第 k 1 次迭代时的权向量 a k 1 等于第 k 次的权向量 a k 加上被错分类的所 有 样本之和与 pk 的乘积 3 终止 对所有样本正确分类 1 12 w S wmm 1 1 3 2 Tx 2 1 2 3 Tx k T P Y J y aa y 6 15 感知准则函数感知准则函数 16 线性判别函数线性判别函数 g x 的几何表示是 点的几何表示是 点 x 到决策面到决策面 H 的 距离的代数度量 的 距离的代数度量 17 感知机方法主要有两种 批量样本修正法与单样本修正法 它们之间的区别是什么 感知机方法主要有两种 批量样本修正法与单样本修正法 它们之间的区别是什么 答 单样本修正法 样本集视为不断重复出现的序列 逐个样本检查 修正权向量 批量样本修正法 样本成批或全部检查后 修正权向量 18 感知准则特点是随意确定权向量 初始值 感知准则特点是随意确定权向量 初始值 在对样本分类训练过程中 逐步修正 权 在对样本分类训练过程中 逐步修正 权 向量直至最终确定 向量直至最终确定 19 对于感知准则函数 满足 对于感知准则函数 满足 的权向量称为解向量 解向量不止一个 的权向量称为解向量 解向量不止一个 而是由无穷多个解向量组成的解 称这样的区域为 解区域 而是由无穷多个解向量组成的解 称这样的区域为 解区域 20 感知准则函数为感知准则函数为极小值时的极小值时的 a 为最优解为最优解 证明使用梯度下降算法的迭代过程公式证明使用梯度下降算法的迭代过程公式 证明 21 下列哪种分类方法最不适用于样本集线性不可分情况下列哪种分类方法最不适用于样本集线性不可分情况 B A Fisher 线性判别的 Lagrange 乘子法 B 感知准则的梯度下降算法 C 最小错分样 本数准则的共轭梯度法 D 最小平方误差准则的梯度下降法 22 多类问题可以利用求两类问题的方法来求解 这样做的缺点是会造成多类问题可以利用求两类问题的方法来求解 这样做的缺点是会造成 无法确定类别的无法确定类别的 区域增大区域增大 需要训练的 需要训练的 子分类器及参数增多子分类器及参数增多 23 利用最小平方误差准则函数进行分类器设计 主要是求极小化时的权向量 当利用最小平方误差准则函数进行分类器设计 主要是求极小化时的权向量 当 时 最小平方误差准则函数的解等价于时 最小平方误差准则函数的解等价于 Bayes 线性判别的解 线性判别的解 24 叙述分类器错误率估计中的留一法的运算过程 叙述分类器错误率估计中的留一法的运算过程 答 1 N 个样本 取 N 1 个样本作为训练集 设计分类器 2 剩下的一个样本作为测试集 输入到分类器中 检验是否错分 3 然后放回样本 重复上述过程 直到 N 次 即每个样本都做了一次测试 4 统计被错分的次数 k 作为错误率的估计率 25 利用两类问题的线性分类器解决多类问题常用的两种方法的优缺点 利用两类问题的线性分类器解决多类问题常用的两种方法的优缺点 答 答 优点 设计思想简单 容易实现 缺点 1 需要训练的子分类器或参数多 效率低 2 无法确定类别的区域多 造成该问题的根本原因是将多类问题看成了多个 两类问题来解决 这样必然造成阴影区域的出现 解决办法用多类问题的分类器 26 线性分类器设计中的最小平方准则函数方法采用的准则函数公式是什么 当利用伪线性分类器设计中的最小平方准则函数方法采用的准则函数公式是什么 当利用伪 逆解方法求解时 遇到计算量过大时 可以代替采用何种方法来训练分类器参数 叙述你逆解方法求解时 遇到计算量过大时 可以代替采用何种方法来训练分类器参数 叙述你 所使用方法的基本原理 并解释为什么你的方法可以降低计算量 所使用方法的基本原理 并解释为什么你的方法可以降低计算量 答 因为 e Ya b 常用梯度下降法来降低计算复杂度 0 T a y k T P Y J y aa y 1 1 k k y Y a kky aa 任意 p p J J a a a k Y y y 1 kp kkJ aaa k k Y k y ay 1 1 Tb k N 2 s J ae 2 Y ab 2 1 N T ii i b a y 1 2 2 N TT siii i JbYY aa yyab 7 批量样本修正法批量样本修正法 单样本修正法 单样本修正法 27 利用两类别的线性分类器如何解决多类别的分类问题 利用两类别的线性分类器如何解决多类别的分类问题 i i 法 将法 将 C 类别问题化为类别问题化为 C 1 个两类 第个两类 第 i 类与所有非类与所有非 i 类 问题 按两类问题确类 问题 按两类问题确 定其判别函数与决策面方程定其判别函数与决策面方程 i j 法 将法 将 C 类中的每两类别单独设计其线性判别函数 因此总共有类中的每两类别单独设计其线性判别函数 因此总共有 C C 1 2 个线性个线性 判别函数判别函数 28 叙述分类器错误率估计中的叙述分类器错误率估计中的 m 重交叉验证方法的运算过程 并说明什么情况下该方法重交叉验证方法的运算过程 并说明什么情况下该方法 将退化为留一法 将退化为留一法 答 1 N 个样本被划分成 m 个不相交的集合 每组有个样本 m N 2 在 m 个样本中取 m 1 个组的样本作为训练集 设计分类器 3 剩下的一组样本作为测试集 输入到分类器中检验 统计错分数 k 4 然后放回 重复上述过程 直到 m 次 5 设 ki i 1 m 是第 i 次测试的错分数 则 当 m N 时 退化为留一法 第五章第五章 近邻法近邻法 近邻法性能近邻法性能 优点 优点 1 设计简单 设计简单 2 分类性能优良 分类性能优良 3 适用于线性不可分情况 适用于线性不可分情况 缺点 缺点 1 计算量大 存储量大 计算量大 存储量大 第第 6 章章 特征的选择与提取特征的选择与提取 1 叙述用于特征选择的增叙述用于特征选择的增 l 减减 r 搜索算法的算法步骤 并考虑搜索算法的算法步骤 并考虑 l 值大于 或小于 值大于 或小于 r 值时 值时 增增 l 减减 r 算法步骤应做出怎样的修改 以及该情况下 增算法步骤应做出怎样的修改 以及该情况下 增 l 减减 r 搜索算法的特点 搜索算法的特点 答步骤一 用 SFS 法在未入选特征组中逐个选入