模式识别复习笔记

1、精心整理欢迎下载第一章概论什么是模式识别？使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程。（老师的简略说法：用机器判断事物类别） 模式识别系统主要由四个部分组成 ：原始数据的获取和预处理，特征提取与选择，分类或类聚，后处理。紧致性： 做模式识别的前提条件是每个模式类满足紧致性。相似性度量满足的条件： 1234 点一些专业术语的中英文：PR（ pattern recognition ）模式识别BP（ back-propagation ）反向传播算法PCA（ principal component analysis ）主成分分析NN （ neural networks ）神

2、经网络欧式距离：马氏距离：Txuxux uT1 x u第二章贝叶斯决策（两大贝叶斯决策=最小错误率贝叶斯决策+最小风险贝叶斯决策） ：精心整理欢迎下载贝叶斯决策的三个前提条件：类别数确定，各类的先验概率p(w i)已知，各类的条件概率密度函数 p(x|wi)已知。最小错误率贝叶斯决策：使错误率最小的分类决策。对应于最大后验概率。贝叶斯公式：P17 白细胞例子最小风险贝叶斯决策：考虑各种错误造成损失不同时的一种最优决策。精心整理欢迎下载第三章最大似然估计（两大参数估计=最大似然估计 +贝叶斯估计） ：最可能出一题最大似然估计的计算题。判断估计好坏的标准：无偏性、有效性、一致性。最大似然估计的求解

3、流程： 1、构造似然函数2、对数化3、求偏导4、求解第四章线性分类器 Fisher 判别法Fisher 准则：找到一个最合适的投影轴，使两类样本在该轴上的投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。各类样本均值向量mi判定函数 J（ w）越大，说明分子类间距离越大，分母类内距离越小。符合fisher 准则。引入拉格朗日函数：精心整理欢迎下载求偏导最小二乘法y=ax+b第五章非线性分类器反向传播算法BP：精心整理欢迎下载1. 三层结构2. 简述 BP 过程、偏差回来调整权系数P953. 学习规则：a. 随机给定权系数；b. 计算输出；c. 得到偏差；d. 进行调整

4、4. 算法步骤：第七章特征选择遗传算法过程：a. 初始化： 设置进化代数计数器 t=0，设置最大进化代数 T，随机生成 M 个个体作为初始群体 P（0）.精心整理欢迎下载b. 个体评价： 计算群体 P（ t）中各个个体的适应度。c.选择 ：将选择算子作用于群体。选择的目的是把优化的个体 直接遗传到下一代或通过配对交叉产生新 的个体再遗传到下一代。 选择操作是建立在群体中个体的适应度评估基础上的。d. 交叉：将交叉算子作用于群体。 作为交叉是指把两个父代个体的部分结构加以替换重组而生成新个体的操作。遗传算法中起核心作用的就是交叉算子。e. 变异：将变异算子作用于群体。即是对群体中的个体串的某些基

5、因座上的基因值变动。群体 P(t) 经过选择、交叉、变异运算之后得到下一代群体P(t+1) 。f. 终止条件判断： 若 t=T ，则以进化过程中所得到的具有最大适应度个体作为最优解输出，终止计算。（终止条件：达到适应度函数或达到进化规定的代数）第八章特征提取 PCA（主成分分析）K-L 变换（最优正交线性） （完整掌握）精心整理欢迎下载结合KL变换叙述人脸识别的经典流程：1.对向量x 用确定的完备正交归一向量基uj展开，对应到的人脸识别问题上就是一个脸可以由无穷多个本征脸进行重构；2.用有限项估计X ，对应人脸识别时一个脸由有限个本征脸进行重构，假设有d 个，则；3. 下面是寻找 uj ，即对

6、应的本征脸；4. 由于是用 d 个本征脸来重构一张脸 x，所以存在一定的误差。求估计的均方误差：精心整理欢迎下载第九章非监督模式识别K 均值聚类 基本思想： k 均值聚类是最著名的划分聚类算法，由于简洁和效率使得他成为所有聚类算法中最广泛使用的。给定一个数据点集合和需要的聚类数目k， k 由用户指定，值算法根据某个距离函数反复把数据分入k 个聚类中。K 均值的迭代思想：k 均 K 均值算法：先随机选取 K 个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离， 把每个对象分配给距离它最近的聚类中心。 聚类中心以及分配给它们的对象就代表一个聚类。 一旦全部对象都被分配了， 每个聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是以下任何一个：1)没有