模式识别的总结.doc

第一种：有监督的分类情况1 参数估计的情况进行分类如果。最小平均风险则对错误率进行加权，然后进行分类。在数学上用单调的函数等价概率风险函数来使得问题变得简单，该单调的函数成为决策检验式，用g（x）表示则，决策面为gij(x)=gi(x)-gj(x);学习了高斯概率密度函数下的分类情况以及未知概率密度函数时的分类情况，包括最大似然估计法和最大后验概率估计，两者在样本容量趋于无穷大时相等。学习了最大熵估计。熵在这里指的是事件不确定度的度量方法。，未知概率密度函数的最大熵估计都服从均匀分布。正好与熵的本质（无序的度量）相吻合。混合模型的分类方法。对于数据集不完备的情况一般采用期望值最大方法（EM）EM通过观察训练样本量应用最大似然估计法进行迭代来确定未知参数。典型的方法是利用高斯混合分布和期望值最大算法获取未知概率密度函数的模型。2 非参数估计常用方法有Parzen窗法：把特征空间分成多个n维的超立方体。然后用在落在此超立方体内的样本的概率来近似表示超立方体中心x处的概率密度函数，当样本数量愈大时，方差愈小。也就越精确。K近邻密度估计，和Parzen窗法不同的是令落在超球体中点的数量固定，而超球体的体积不固定，所以在密度高的地方，体积相对小；在密度低的地方体积相对大。对某点的分类是这样的，计算它和所有训练向量的距离。然后根据包含的不同类但是相同点数的超球体的体积为依据进行分类。最近邻规则不考虑类的标签区别来选择k个近邻点。在k个近邻点钟分别确定属于各类的点数，选取点数最多的那个类作为样本的类。当k=1时即为最近邻规则，此规则在样本数量足够大的时候具有良好的性能。学习了线性分类器的基本知识。用多层神经网络进行分类的过程稍有了解。基于上下文的相关分类。以前的分类任务都是假设各类之间是不相关的，而基于上下文的分类方法则认为连续的特征向量并不是独立的，而是受他的上下文特征向量的约束。他们是相关的。若X：x1,x2,.xn 是n个观察值(特征向量），共有m个类分别为w1,w2,wm.则这n个观察值共有M的n次种分类组合。现在的分类任务就是需找最有可能的分类组合序列。来对观察值进行分类。可以利用贝叶斯规则。将后验概率最大的那个分类序列作为我们需要的最优序列。马尔科夫链模型假设相关性仅仅局限于相邻的两个连续的类。也成为一阶的马尔科夫模型。最基本的马尔科夫链模型分类法计算量很大。可以用Viterbi算法进行简化。隐式马尔科夫模型隐式马尔科夫模型。不同于马尔科夫链，马尔科夫链的状态是可以观察的。而隐式马尔科夫模型中的状态无法观察，而只知道发出的结果。比如在掷骰子游戏中只能知道最后结果而不知道投掷了多少个骰子，以及投掷的是哪些骰子。将各个不同的模型所有可能产生输出（观察值）的各种组合概率相加。然后求取概率最大的那个模型作为分类模型。方法包括最优路径方法和任何路径方法。离散的隐式马尔科夫模型可以类推。将隐式马尔科夫模型从一维推到二维就构成了马尔科夫随机场。第二类 无监督的分类聚类的基本概念。聚类过程包括 1 特征选择。包含所有关心的特征，但是要减少冗余。2 近邻测度用来测定两个特征向量是否“相似”。3 聚类准则，可以用代价函数或者其他准则。4聚类算法。5结果验证。6 结果判定。聚类倾向，指一个样本集是否拥有聚类结构。是否有意义进行聚类。相似度的定义没有固定形式与局类的类型也有关，比如致密聚类，细长聚类，椭圆聚类等。近邻测度；包括不相似度量和相似度量。有各种不同的测度。如混合值测度，模糊测度。动态相似性测度等。此外需要推广大点和集合之间的测度。，集合与集合之间的测度。聚类的算法主要包括：顺序算法，层次聚类算法，基于代价的将最优聚类算法。以及其他一些算法。基本顺序聚类算法（BSAS)，规定了最大聚类数q以及不相似（相似）阀值来进行循环对所有向量进行一次判断，如果在阀值内则聚类，不在阀值内，则自成一类。另外聚类数可以试探来选取最好的。改进的基本聚类算法（MBSAS），这样改进后精度得以提高，原理是每次在阀值外的都先不处理，而等待下一轮处理。这样每次分类时都是和所有的聚类相比较。此外还有其他改进。层次聚类：层次聚类法不产生单一聚类，而产生层次聚类。基本思想假设有两个不同聚类a b。如果a中的每一个聚类都是b中集合的子集，则包含k聚类的a嵌套在b聚类中，层次聚类算法就是产生一个多层的嵌套聚类，合并算法 初始化聚类集合十七中每一个聚类都只包含一个特征向量。接下来在所有可能的聚类对中找一组满足相似度的，然后将它俩聚类。再从聚类集合中减去两类的并。直到所有的特征向量全部加入到单一聚类中。合并算法主要有基于图论的和基于矩阵理论的，实际聚类问题是找到合并过程中最优的分类组合然后停止合并。基于函数优化的聚类方法该种方法应用最普遍， 是求解代价函数来进行聚类的。我们的目标是估计向量参数来使分类达到最佳，主要包括，混合分解算法。模糊算法以及可能性算法。混合分解算法实际上相当于数据集不完备分类，可以用EM算法进行分类。模糊聚类的方法是每个特征向量不只属于单一聚类（只属于一个聚类的成为硬聚类。）而是依照隶属度从属于