模式识别复习资料答案

1、一、感知器算法流程图：二、矩阵分解的方法：所谓矩阵分解，就是将一个矩阵写成结构比较简单的或性质比较熟悉的另一些矩阵的乘积。其分解的方法有很多种，常用的有三角分解、QR分解、奇异值分解。三角分解定义：如果方阵A可分解成一个下三角形矩阵L和上三角形矩阵U的的乘积，则称A可作三角分解或LU分解。QR分解（正交分解）定义：如果实（复）非奇异矩阵A能化成正交（酉）矩阵Q与实（复）非奇异上三角矩阵R的乘积，即A=QR，则称上式为A的QR分解。奇异值分解定理：设A是一个的矩阵， 且，则存在阶酉矩阵和阶酉矩阵，使得 (2)，其中，且。由（2）知 （3），该式称为A的奇异值分解，称为A的奇异值，U的第i列称为A

2、对应的左奇异向量，V的第i列称为A对应的右奇异向量。三、非负矩阵分解：在NMF中要求原始的矩阵V的所有元素的均是非负的，那么矩阵V可以分解为两个更小的非负矩阵的乘积，这个矩阵V有且仅有一个这样的分解，即满足存在性和唯一性。分解方法：已知数据举矩阵V和所能忍受的误差，求非负分解矩阵W，H。（1）随机初始化矩阵，要求非负；（2）应用迭代公式进行迭代。如果噪声服从高斯分布，则根据式和式进行，如果噪声服从Poisson分布，则根据式 和 进行； （3）当误差小于时，或者达到最大迭代次数时，停止迭代。非负矩阵分解3. NMF的应用NMF能用于发现数据库中图像的特征，便于快速识别应用，比如实现录入恐怖分子

3、的照片，然后在安检口对可疑人员进行盘查。在文档方面，NMF能够发现文档的语义相关度，用于信息的自动索引和提取。在生物学中，在DNA阵列分析中识别基因等。在语音识别系统中NMF也能发挥重要作用。四、分支定界 (branch and bound) 算法是一种在问题的解空间树上搜索问题的解的方法。但与回溯算法不同，分支定界算法采用广度优先或最小耗费优先的方法搜索解空间树，并且，在分支定界算法中，每一个活结点只有一次机会成为扩展结点。利用分支定界算法对问题的解空间树进行搜索,它的搜索策略是：1 产生当前扩展结点的所有子结点；2 在产生的子结点中,抛弃那些不可能产生可行解（或最优解）的结点；3 将其余的

4、子结点加入活结点表；4 从活结点表中选择下一个活结点作为新的扩展结点。如此循环,直到找到问题的可行解（最优解）或活结点表为空。分支定界法本质还是一种枚举法，但是是隐枚举法。它是整数规划领域中非常重要的一类算法思想，是很多重要算法的源头。它能解决的实际问题很多，最著名的一个应该就是求解背包问题。缺点就是它依然是一种枚举法，从算法上来讲不是一种最好的方法，如果有些问题是NPhard（非确定性多项式）的，分支定界就可能没有办法有效求解了。5、 贝叶斯决策理论贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：1、已知类条件概率密度参数表达式和先验概率。2、利用贝叶斯公式转换成后验概率。3

5、、根据后验概率大小进行决策分类。模式识别的应用：基本概念(1)模式（Pattern）：通过对具体个别事物进行观测所得到的具有时间和空间分布的信息称为模式。对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。(2)模式类（Pattern Class）：把模式所属的类别或同一类别中模式的总体称为模式类（或简称为类）。具有某些共同特性的模式的集合。(5)模式识别（Pattern Recognition）：根据输入原始数据并判断其类别的活动。确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。样本（Sample)：一个具体的

6、研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。模式识别系统的组成：1信息的获取：通过测量、采样、量化并用矩阵或向量表示。通常输入对象的信息有三个类型：二维图像（文字、指纹、地图、照片等）、一维波形（脑电图、心电图、机械震动波形等）、物理参量和逻辑值（体检中的温度、血化验结果等）2预处理：去除噪声，加强有用的信息，并对输入测量仪器或其它因素造成的干扰进行处理。3特征提取与选择：为了实现有效的识别分类，要对原始数据进行变换得到最能反映分类本质的特征，此过程为特征提取和选择。4分类决策：在特征空间中用统计方法把被识别对象归为某一类。基本作法是在样本训练集基础上确定某个判决规则，使按这种判决

7、规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。5后处理：针对决策采取相应的行动。识别系统设计过程：数据采集：在开发一个模式识别系统总的费用中，数据采集部分占令人吃惊的比重，当然采用较小的“典型”样本集对问题的可行性进行初步研究是可以的，但在实际应用中为了确保现场工作良好的性能，需要采集到大量的数据。选择特征：选择有明显区分意义的特征是设计过程关键的一步。选择模型：用数学形式表达的不同特征的描述。训练分类器：利用样本数据确定分类器的过程。评价分类器：避免过拟合。贝叶斯分类器设计贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率

8、，选择具有最大后验概率的类作为该对象所属的类。（1）判别函数：用于表达决策规则的某些函数称为判别函数；（2）决策面：对于c类分类问题，按照决策规则可以把d维特征空间分成c个决策域，将划分决策域的边界面称为决策面。贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：1、已知类条件概率密度参数表达式和先验概率。2、利用贝叶斯公式转换成后验概率。3、根据后验概率大小进行决策分类。贝叶斯决策理论分析：（1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布的参数。（2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本集合和判别式函数的形式，那我们就需要从训练样本集合中来估计判别式函数的参数。（3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本集合。那我们就需要从训练样本集合中来估计概率分布函数的参数。（4）只有没有标记类别的训练样本集合。这是经常发生的