《模式识别原理、应用及实现》 课件 郭志强 第1-5章 绪论、贝叶斯决策理论- 聚类分析

第1章绪论第1章绪论1.1模式和模式识别的概念1.2模式识别系统1.3模式识别概况1.4模式识别的应用2.狭义定义1）模式：对某些感兴趣的客体的定量的或结构的描述。模式类是具有某些共同特性的模式的集合。2）模式识别：研究一种自动技术，依靠这种技术，计算机将自动地（或人尽量少地干涉）把待别识模式分配到各自的模式类中去。1.广义定义1）模式(pattern)：一个客观事物的描述，一个可用来仿效的完善的例子。2）模式识别(patternrecognition)：按哲学的定义是一个“外部信息到达感觉器官，并被转换成有意义的感觉经验”的过程。例：识别热水、字迹等。1.1模式和模式识别的概念

注意：狭义的“模式”概念——是对客体的描述，不论是待识别客体，还是已知的客体。广义的“模式”概念——是指“用于效仿的完善例子”1）目前的计算机建立在诺依曼体系基础之上。

1946年：美籍匈牙利数学家冯·诺依曼提出了关于计算机组成和工作方式的基本设想：数字计算机的数制采用二进制；计算机按照程序顺序执行，即“程序存储”的概念。

1949年：研制出第一台冯·诺依曼式计算机。

1956年：第一次人工智能(artificialintelligence)研讨会在美国召开。3.相关的计算机技术2）第五代人工智能型计算机

本质区别：主要功能将从信息处理上升为知识处理（学习、联想、推理、解释问题），使计算机具有人类的某些智能。研制工作从80年代开始，目前尚未形成一致结论。

几种可能的发展方向：神经网络计算机－－模拟人的大脑思维。生物计算机－－运用生物工程技术、蛋白分子作芯片。光计算机－－用光作为信息载体，通过对光的处理来完成对信息的处理。4.研究和发展模式识别的目的

提高计算机的感知能力，从而大大开拓计算机的应用。1.2模式识别系统1.2.1简例：建立感性认识

以癌细胞识别为例，了解机器识别的全过程。1.信息输入与数据获取

将显微细胞图像转换成数字化细胞图像，是计算机分析的原始数据基础。数字化显微细胞图像

灰度图象

经过染色处理过的彩色图象

核N浆C背景B

灰度数字图像的像素值反映光密度的大小。2.数字化细胞图像的预处理与区域划分

预处理的目的：（1）去除在数据获取时引入的噪声与干扰。（2）去除所有夹杂在背景上的次要图像，突出主要的待识别的细胞图像。例：平滑、图像增强等数字图像处理技术。

区域划分的目的：找出边界，划分出三个区域，为特征抽取做准备。

设灰度阈值为Tc和Tn，图像中某像素的灰度值为Ti，则：

Ti≥

Tn的点属于胞核区；

Ti

＜

Tc的点属于背景区；

Tc≤Ti＜

Tn的点属于胞浆区；

检测的边缘

TnTc疑似肿瘤细胞

TcTn核N浆C例：对一个细胞抽取33个特征，建立一个33维的空间X，每个细胞可通过一个33维随机向量表示，记为：

即把一个物理实体“细胞”变成了一个数学模型“33维随机向量”，也即33维空间中的一点。3.细胞特征的抽取、选择和提取目的：为了建立各种特征的数学模型，以用于分类。①抽取特征：原始采集数据，第一手资料，特征数据量大。是特征选择和提取的依据。②特征选择：在原始特征基础上选择一些主要特征作为判别用的特征。③特征提取：采用某种变换技术，得出数目上比原来少的综合特征作为分类用，称为特征维数压缩，习惯上亦称特征提取。例：有五个特征，以及变换f(·)、g(·),则可有：结果：

X空间中的向量

变成Y空间的向量即：特征向量由5维降为2维。4.判别分类（1）气管细胞97个，识别错误率为7.2%。（2）肺细胞166个，识别错误率为18%。判别的好坏通过错误率给出，不同错误的代价和风险不同。信息输入细胞涂片制备显微细胞图像数字化细胞图像数据获取图像预处理区域划分预处理决策分析信息输出特征抽取特征选择/提取细胞图像的计算机分类系统框图模式识别一般步骤：1.2.2模式识别系统组成学习过程判决过程分类规则训练分类决策数据获取预处理特征选择或提取注意：“处理”与“识别”两个概念的区别具体的羊、猴亩产量1000斤、地形特点图像、语音

动物卫星照片图像、语音处理识别处理：输入与输出是同样的对象，性质不变。识别：输入的是事物，输出的是对它的分类、理解和描述。模式识别系统框图1.3模式识别概况1929年G.Tauschek发明阅读机;30年代Fisher提出统计分类理论;50年代NoamChemsky提出形式语言理论;60年代L.A.Zadeh提出了模糊集理论，较广泛地应用;80年代Hopfield提出神经元网络模型理论;90年代以后小样本学习理论、支持向量机。1.3.1模试识别发展简介基本上：五十、六十年代开始迅速发展，七十年代初奠定理论基础。比较成熟的：四大分支1.从理论上分类①统计模式识别以模式集在特征空间中分布的类概率密度函数为基础，对总体特征进行研究。包括判决函数法和聚类分析法。1.3.2模式识别分类②句法模式识别（结构模式识别）根据识别对象的结构特征，以形式语言理论为基础的一种模式识别方法。

把复杂模式分化为较简单的子模式乃至基元，各层次之间的关系通过“结构法”来描述，相当于语言中的语法。用小而简单的基元与语法规则来描述大而复杂的模式。（b）墙壁f地板gEDBbadce（c）③模糊模式识别以隶属度为基础，运用模糊数学中的“关系”概念和运算进行分类。隶属度反映的是某一元素属于某集合的程度。例：元素a、b、c对正方形的隶属度：a比b更像正方形。说明：④神经网络模式识别法以人工神经元为基础，模拟人脑神经细胞的工作特点。对脑部工作的生理机制进行模拟，实现形象思维的模拟。

对比：基于知识的逻辑性推理：对逻辑思维的模拟。①监督（有人管理）分类：利用判别函数进行分类判别。需要有足够的先验知识。②非监督（无人管理）分类：用于没有先验知识的情况下，采用聚类分析的方法。2.从实现方法来分1.4模式识别的应用例1.1不停车收费系统。1）提取车辆外形几何参数进行处理分析，实现分类。如视频检测方法、红外检测方法。2）测量车辆的其他物理参数(噪声、振动、压重等)实现分类。如动态称重、电磁感应等。3）直接识别车辆身份的方法实现分类。如电子标签、视频牌照识别等。例如第一种方式：交通部的收费标准：按吨位划分收费站：按车型收费（间接按车辆设计载重量收费）关键：车型的自动分类。几种主要技术：顶长比：车高：最高居中最低顶高长最小最大居中例1.2生物识别技术。

根据每个人独有的可以采样和测量的生物学特征（生理特征）和行为学特征进行身份识别的技术。1）指纹识别：最早、最成熟的识别技术。2）掌纹识别：研究纹线上某几个点的幅值（灰度值）、线长与线所对应的角之比等特征。3）人脸识别：4）虹膜识别：5）签名识别6）击键分析2.1几个重要的概念

2.1几个重要的概念1．先验概率先验概率在分类方法中有着重要的作用，它的函数形式及主要参数或者是已知的，或者是可通过大量抽样实验估计出来。表示c个类别，各自的先验概率用表示，则满足在实际的模式识别系统中，有时可以用先验概率作为分类决策的依据。先验概率一般不作为判决的唯一依据，但当先验概率相当大时，它也能成为分类判决的主要考虑因素。2.1几个重要的概念2．类（条件）概率密度它是指在某种确定类别条件下，模式样本X出现的概率密度分布函数，常用来表示。2.1几个重要的概念3．后验概率它是在某个具体的模式样本条件下，某种类别出现的概率，常以表示。后验概率可以根据贝叶斯公式（2-1）计算出来并直接作为分类判决的依据。其中，2.2几种常用的决策规则武汉理工大学2.2几种常用的决策规则针对具体对象，设计者从不同角度考虑，会采用不同的决策规则，从而对决策结果会产生不同的影响。其中基于最小错误率的贝叶斯决策与基于最小风险的贝叶斯决策是最基本的两种方法，下面分别加以讨论。2.2.1基于最小错误率的贝叶斯决策2.2.2最小风险判别规则2.2.3最大似然比判别规则1.基于最小错误率的贝叶斯决策基本思想决策规则：

讨论模式集的分类，目的是确定X属于那一类，所以要看X来自哪类的概率大。在下列三种概率中：

先验概率P(ωi)

类(条件)概率密度p(X

|ωi)

后验概率P(ωi|X)采用哪种概率进行分类最合理？问题分析：后验概率P(ωi|X)设有M类模式，(4-6)——最小错误率贝叶斯决策规则2.几种等价形式

虽然后验概率P(ωi|X)可以提供有效的分类信息，但先验概率P(ωi)和类概率密度函数p(X

|ωi)从统计资料中容易获得，故用Bayes公式，将后验概率转化为类概率密度函数和先验概率的表示。由：可知，分母与i无关，即与分类无关，故分类规则又可表示为：(4-7)对两类问题，(4-7)式相当于若，则若，则可改写为：统计学中称

为似然比，为似然比阈值。对(4-8)式取自然对数，有：(4-7)，(4-8)，(4-9)都是最小错误率贝叶斯决策规则的等价形式。若，则

（4-8）若，则（4-9）2.几种等价形式3.举例例4.1假定在细胞识别中，病变细胞的先验概率和正常细胞的先验概率分别为。现有一待识别细胞，其观察值为X，从类条件概率密度发布曲线上查得：试对细胞X进行分类。解：[方法1]通过后验概率计算。[方法2]：利用先验概率和类概率密度计算。，是正常细胞。3.举例1.风险的概念最小风险贝叶斯决策基本思想：以各种错误分类所造成的平均风险最小为规则，进行分类决策。*自动灭火系统：*疾病诊断：不同的错判造成的损失不同，因此风险不同，两者紧密相连。

考虑到对某一类的错判要比对另一类的错判更为关键，把最小错误率的贝叶斯判决做一些修改，提出了“条件平均风险”的概念。2.决策规则

对M类问题，如果观察样本X被判定属于ωi类，则条件平均风险ri(X)指将X判为属于ωi类时造成的平均损失。式中，i

——分类判决后指定的判决号；j

——样本实际属于的类别号；——将自然属性是ωj类的样本决策为ωi类时的是非代价，

即损失函数。

每个X都按条件平均风险最小决策，则总的条件平均风险也最小。总的条件平均风险称为平均风险。条件平均风险与平均风险的区别平均风险：对模式总体而言。条件平均风险：对某个样本而言。1）多类情况设有M

类，对于任一X

对应

M个条件平均风险：

对每个X有M种可能的类别划分，

X被判决为每一类的条件平均风险分别为r1(X)，r2(X)，…，rM(X)。决策规则：2.决策规则用先验概率和条件概率的形式：∵

对所有类别一样，不提供分类信息。决策规则为：，则若2.决策规则2）两类情况：对样本X当X

被判为ω1类时：当X被判为ω2类时：（4-15）

（4-16）由（4-15）式：决策规则：2.决策规则令：，称似然比；，为阈值。②计算。③计算。①定义损失函数Lij。判别步骤：④类概率密度函数p(X

|ωi)也称ωi的似然函数2.决策规则解：计算

和

得：例4.2在细胞识别中，病变细胞和正常细胞的先验概率分别为现有一待识别细胞，观察值为X

，从类概率密度分布曲线上查得损失函数分别为L11=0，L21=10，L22=0，L12=1。按最小风险贝叶斯决策分类。为病变细胞。3.举例2.2.3最大似然比贝叶斯分类器

402.2.3最大似然比贝叶斯分类器似然比：与待识别的特征向量有关；判决门限：仅与两类的先验概率有关。在进行分类决策时，可通过计算某个特征向量的似然比，把它与两类之间的判决门限值进行比较，就可以完成分类决策。412.2.3最大似然比贝叶斯分类器对于多类问题，分类决策规则为：422.1最小错误率贝叶斯决策武汉理工大学1.基本思想决策规则：

讨论模式集的分类，目的是确定X属于那一类，所以要看X来自哪类的概率大。在下列三种概率中：

先验概率P(ωi)

类(条件)概率密度p(X

|ωi)

后验概率P(ωi|X)采用哪种概率进行分类最合理？问题分析：后验概率P(ωi|X)设有M类模式，(4-6)——最小错误率贝叶斯决策规则2.几种等价形式

虽然后验概率P(ωi|X)可以提供有效的分类信息，但先验概率P(ωi)和类概率密度函数p(X

|ωi)从统计资料中容易获得，故用Bayes公式，将后验概率转化为类概率密度函数和先验概率的表示。由：可知，分母与i无关，即与分类无关，故分类规则又可表示为：(4-7)对两类问题，(4-7)式相当于若，则若，则可改写为：统计学中称

为似然比，为似然比阈值。对(4-8)式取自然对数，有：(4-7)，(4-8)，(4-9)都是最小错误率贝叶斯决策规则的等价形式。若，则

（4-8）若，则（4-9）2.几种等价形式3.举例例4.1假定在细胞识别中，病变细胞的先验概率和正常细胞的先验概率分别为。现有一待识别细胞，其观察值为X，从类条件概率密度发布曲线上查得：试对细胞X进行分类。解：[方法1]通过后验概率计算。[方法2]：利用先验概率和类概率密度计算。，是正常细胞。3.举例2.2最小风险贝叶斯决策武汉理工大学1.风险的概念最小风险贝叶斯决策基本思想：以各种错误分类所造成的平均风险最小为规则，进行分类决策。*自动灭火系统：*疾病诊断：不同的错判造成的损失不同，因此风险不同，两者紧密相连。

考虑到对某一类的错判要比对另一类的错判更为关键，把最小错误率的贝叶斯判决做一些修改，提出了“条件平均风险”的概念。2.决策规则

对M类问题，如果观察样本X被判定属于ωi类，则条件平均风险ri(X)指将X判为属于ωi类时造成的平均损失。式中，i

——分类判决后指定的判决号；j

——样本实际属于的类别号；——将自然属性是ωj类的样本决策为ωi类时的是非代价，

即损失函数。

每个X都按条件平均风险最小决策，则总的条件平均风险也最小。总的条件平均风险称为平均风险。条件平均风险与平均风险的区别平均风险：对模式总体而言。条件平均风险：对某个样本而言。1）多类情况设有M

类，对于任一X

对应

M个条件平均风险：

对每个X有M种可能的类别划分，

X被判决为每一类的条件平均风险分别为r1(X)，r2(X)，…，rM(X)。决策规则：2.决策规则用先验概率和条件概率的形式：∵

对所有类别一样，不提供分类信息。决策规则为：，则若2.决策规则2）两类情况：对样本X当X

被判为ω1类时：当X被判为ω2类时：（4-15）

（4-16）由（4-15）式：决策规则：2.决策规则令：，称似然比；，为阈值。②计算。③计算。①定义损失函数Lij。判别步骤：④类概率密度函数p(X

|ωi)也称ωi的似然函数2.决策规则解：计算

和

得：例4.2在细胞识别中，病变细胞和正常细胞的先验概率分别为现有一待识别细胞，观察值为X

，从类概率密度分布曲线上查得损失函数分别为L11=0，L21=10，L22=0，L12=1。按最小风险贝叶斯决策分类。为病变细胞。3.举例2.3正态分布中的Bayes分类方法武汉理工大学背景我们介绍了Bayes分类的三种方法，其中Bayes最小错误率判别规则是最基本的方法，当决策风险取0-1损失函数时，最小风险判别规则和最大似然比判别规则与最小错误判别规则是统一的。以上几种方法，都涉及类条件概率密度函数，事实上，的获取是比较困难的，在实际应用中，为了计算上的方便，往往假设服从多元正态分布。下面以最小错误判别规则为例，研究服从多元正态分布时，Bayes分类的应用。协方差矩阵Ci：反映样本分布区域的形状；均值向量Mi：表明了区域中心的位置。2.正态分布的最小错误率贝叶斯决策规则1）多类情况具有M种模式类别的多变量正态密度函数为：

前面介绍的Bayes方法事先必须求出p(X|ωi),P(ωi)。而当

p(X|ωi)呈正态分布时，只需要知道M

和C

即可。

每一类模式的分布密度都完全被其均值向量Mi和协方差矩阵Ci所规定，其定义为：对正态密度函数，为了方便计算，取对数：对数是单调递增函数，取对数后仍有相对应的分类性能。最小错误率Bayes决策中，ωi类的判别函数为，去掉与i无关的项，得判别函数：——正态分布的最小错误率Bayes决策的判别函数。(4-25)di(X)为超二次曲面。可见对正态分布模式的Bayes分类器，两类模式之间用一个二次判别界面分开，就可以求得最优的分类效果。判决规则同前：2）两类问题(1)当C1≠C2时：～～对应判别函数判别界面是X的二次型方程决定的超曲面。二维判别界面如图4.3所示。若决策规则：图4.3C1≠C2时(2)当C1=C2=C时：由式(4-25)有由此导出判别界面为：为X的线性函数，是一超平面。当为二维时，判别界面为一直线，如图4.4所示。(4-28)两类相同，抵消展开相同，合并(3)当时：判别界面如图4.5所示。图4.4C1=C2=C，图4.5C1=C2=I且先验概率相等例4.3设在三维特征空间里，有两类正态分布模式，每类各有4

个样本，分别为其均值向量和协方差矩阵可用下式估计：(4-30)(4-31)式中，Ni为类别ωi中模式的数目，Xij代表在第i类中的第j个模式。两类的先验概率。试确定两类之间的判别界面。解：经计算有因协方差矩阵相等，故(4-28)为其判别式。由于将代入：(4-28)图中画出判别平面的一部分。模式识别73/justinruan/Learning-ML学以致用，知行合一（实践篇）朴素贝叶斯74分多类的朴素贝叶斯

75多维正态分布的特征向量在大多数情况下，类条件概率可以采用多维变量的正态密度函数来模拟76多维正态分布条件下的贝叶斯分析

77朴素贝叶斯与NumPy78基于最小错误率的Bayes分类器

79生成数据集80训练81预测82样本属于第[2]类，对数概率为：[[-14.98168285-5.23171548-43.93222521]]可视化

83朴素贝叶斯与sk-Learn84手写数字识别NaïveBayesclassifierFeatures integers0-1685高斯朴素贝叶斯Sklearn的GaussianNB

实现了运用于分类的高斯朴素贝叶斯算法。特征的可能性(即概率)假设为高斯分布。classsklearn.naive_bayes.GaussianNB(priors=None)Priorprobabilitiesoftheclasses.类的先验概率。如果指定，则不根据数据调整先验。相比于其他更复杂的方法，朴素贝叶斯学习器和分类器非常快。分类条件分布的解耦意味着可以独立单独地把每个特征视为一维分布来估计。这样反过来有助于缓解维度灾难带来的问题。86naive_bayes.BernoulliNB([alpha,

binarize,

…])NaiveBayesclassifierformultivariateBernoullimodels.伯努利分布naive_bayes.GaussianNB([priors])GaussianNaiveBayes(GaussianNB)高斯分布的朴素贝叶斯naive_bayes.MultinomialNB([alpha,

…])NaiveBayesclassifierformultinomialmodels多项式分布模型训练87Classificationreportforclassifier88学习曲线89多项式分布(MultinomialDistributions)伯努利分布(bernoulidistribution)一次随机试验，成功概率为p，失败概率为q=1-p。二项式分布(binomialdistrubution)扔硬币，硬币正面朝上概率为p,重复扔n次硬币，k次为正面的概率即为一个二项分布概率。多项式分布(multinomialdistribution)二项分布的推广。二项分布的试验结果只有两个(成功和失败)，而多项分布的试验结果则多于两个。网上资料：/Math-Probability-5-2-the-Bernoulli-and-Binomial-Distributions//Math-Probability-5-9-Multinomial-Distribution/90文档分类用MultinomialNB来实现文档自动分类。下载数据20news-18828.tar.gz，解压得到“379”目录，以及此目录下的3个子目录。用train目录下的文档进行模型训练（13180个）用test目录下的文档进行测试（5648个）91数据来源:20news-18828description:20newsgroupsdatasetfordocumentclassification(/jrennie/20Newsgroups)format:DocumentClassificationMultinomialNB假设特征的先验概率为多项式分布文档分类在train目录下包含20个子目录，每个子目录代表一种文档和类型，子目录下的所有文档都属于目录名称所标识和文档类型。92文档的数学表达TF-IDF(TermFrequency-InverseDocumentFrequency,词频-逆文件频率)是一种用于资讯检索与资讯分析的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。一个词语在一篇文章中出现次数越多,同时在所有文档中出现次数越少,越能够代表该文章.93词频(termfrequency,TF)词频(termfrequency,TF)指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数),以防止它偏向长的文件。需要注意,一些通用的词语对于主题并没有太大的作用,反倒是一些出现频率较少的词才能够表达文章的主题,所以单纯使用是TF不合适的。权重的设计必须满足：一个词预测主题的能力越强，权重越大，反之，权重越小。所有统计的文章中，一些词只是在其中很少几篇文章中出现，那么这样的词对文章的主题的作用很大，这些词的权重应该设计的较大。IDF就是在完成这样的工作.94逆向文件频率(IDF)逆向文件频率(inversedocumentfrequency,IDF)如果包含词条w的文档越少,IDF越大，则说明词条具有很好的类别区分能力。95TF-IDF=TF*IDF某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。词语的重要性随着它在文档中出现的次数呈正比例增加，但同时会随着它在语料库中出现的频率呈反向下降。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。96计算TF-IDF1.加载语料库，生成字典（所有出现过的词语）。2.计算每个文档中出现过的每个词语的TF-IDF。3.将文档表示为一个向量，包括词语和对应的TF-IDF.一个文档只会由词典的一小部分词语构成，意味着这个文档向量中的大部分元素都是0.使用sklearn的文本特征提取工具来实现。97feature_extraction.text.TfidfVectorizer([…])ConvertacollectionofrawdocumentstoamatrixofTF-IDFfeatures.1.加载训练语料库98自己本地目录的路径2.计算TF-IDF,得到训练集X_train99计算TF-IDF字典有130274个词语第一个文档非零元素为108个训练集X_train训练集X_train，该数据集矩阵的每一行表示一个数据样本（一篇文档）矩阵的每一列表示一个特征（语词）它是一个维度为13180（文档数）x130274（词语数）的稀疏矩阵100模型训练用MultinomialNB多项式分布的模型进行训练alpha:float,optional(default=1.0)Additive(Laplace/Lidstone)smoothingparameter(0fornosmoothing).101加载测试集102计算测试集的TF-IDF向量103用模型进行预测predict:E:/CloudSpace/Data/mlcomp/379/test\rec.autos\7429-103268isincategoryrec.autosactually:E:/CloudSpace/Data/mlcomp/379/test\rec.autos\7429-103268isincategoryrec.autos104模型评价用模型进行预测整个训练集105模型评价106模型评价confusionmatrix107可视化confusionmatrix1083.1概率密度函数估计概述3.1概率密度函数估计概述

基本概念

3.2最大似然估计武汉理工大学1.参数估计方法两类估计方法：

概率密度函数的形式未知，直接估计概率密度函数的方法。

已知概率密度函数的形式而函数的有关参数未知，通过估计参数来估计概率密度函数的方法。*参数估计法：*非参数估计法：两种主要参数估计法：最大似然估计、贝叶斯估计。2.似然函数设：ωi类的类概率密度函数具有某种确定的函数形式；θ

是该函数的一个未知参数或参数集。最大似然估计把θ

当作确定的未知量进行估计。从ωi类中独立地抽取N个样本：似然函数：称这N个样本的联合概率密度函数为相对于样本集的θ

的似然函数。——在参数θ

下观测到的样本集的概率(联合分布)密度3.原理也即：要找到一个θ，它能使似然函数

极大化。由

求得。θ

为一维时的最大似然估计示意图θ

的最大似然估计量就是使似然函数达到最大的估计量。为便于分析，定义似然函数的对数为θ的最大似然估计是下面微分方程的解：

设ωi类的概率密度函数有p个未知参数，记为p维向量此时3.原理解以上微分方程即可得到θ的最大似然估计值。3.正态分布情况举例设ωi类：正态分布、一维模式、概率密度函数为待估计参数为μ，σ2。（4-69）3.原理由以上方程组解得均值和方差的估计量为类似地，多维正态分布情况：均值向量的最大似然估计是样本的均值；最大似然估计结果：协方差矩阵的最大似然估计是N个矩阵的算术平均。3.原理3.3贝叶斯估计与贝叶斯学习武汉理工大学3.3贝叶斯估计与贝叶斯学习贝叶斯估计可描述为给定样本集，对样本的概率密度函数的真实参数进行估计，使其估计值带来的贝叶斯风险最小。3.3贝叶斯估计与贝叶斯学习贝叶斯估计和贝叶斯学习将未知参数看作随机参数进行考虑。1．贝叶斯估计和贝叶斯学习的概念1）贝叶斯估计步骤：

2）贝叶斯学习迭代计算式的推导：（4-72）（4-71）式中除样本XN以外其余样本的集合（4-72）（4-73）将（4-73）式代入（4-72）式得类似地，（4-74）（4-75）将（4-75）式代入（4-74）式得（4-76）参数估计的递推贝叶斯方法，迭代过程即是贝叶斯学习的过程迭代式的使用：*给出X2，对用X1估计的结果进行修改。2．正态分布密度函数的贝叶斯估计和贝叶斯学习1）贝叶斯估计*逐次给出X3，X4，…，XN，得到式中，（4-79）有由于有式中，——与最大似然估计形式类似式中，同前2）贝叶斯学习图4.14均值的贝叶斯学习过程示意图可见：多维正态分布：，C已知，M未知。则利用贝叶斯估计得到的M的后验概率密度函数为其中，根据贝叶斯学习得到的类概率密度函数为3.4非参数估计武汉理工大学3.4概率密度函数的非参数估计3.4.1基本方法根据样本直接估计类概率密度函数的方法。1.出发点：基于事实p(X)：类概率密度函数。随机向量X落入区域R的概率P为。

设从密度为p(X)的总体中独立抽取的样本X1,X2,…,XN。若N个样本中有k个落入区域R中的概率最大，则：希望是X落入区域R中概率P的一个很好的估计。类概率密度函数p(X)的估计：

设p(X)连续，区域R足够小且体积为V

，p(X)在R中没有变化，X是R中的点。有得——X点概率密度的估计2.存在的两个问题（4-91）1）固定V

，样本数增多，则k/N以概率1收敛。但只能得到在某一体积V中的平均估计。2）N固定，V趋于零，或发散到无穷大。没有意义。必须注意V、k、k/N

随N变化的趋势和极限，保持合理性。3.估计的步骤：*构造一串包含X的区域R1，R2，…，RN，…*对R1采用一个样本估计，对R2采用两个样本，……*假定VN是RN的体积，kN是落入RN内的样本数目，是

p(X)的第N次估计，有4.为保证估计合理性应满足的三个条件1）2）3）使式右边能以概率1收敛于p(X)（4-92）落入RN中的样本数始终是总数中的极小部分能代表X点的密度p(X)。5.两种非参数估计法：Parzen窗法、kN近邻估计法。3.4.2Parzen窗法1．Parzen窗估计的基本概念设区域RN：d维超立方体，棱长：hN，则以原点为中心的超立方体当Xi落入以X为中心，体积为VN的超立方体时：否则落入超立方体内的样本数为（4-95）代入得——Parzen窗法基本公式实质：窗函数的作用是内插，样本对估计所起的作用取决于它到X的距离。

为密度函数应满足的两个条件：2．窗函数的选择1）方窗函数2）正态窗函数3）指数窗函数一维形式

满足条件和的都可以作为窗函数。最终估计效果的好坏与样本情况、窗函数以及窗函数参数的选择有关。定义有如何选取根据经验折中考虑。限制条件：1）总体密度函数p(X)在X点连续；2）窗函数满足以下条件：3）窗函数受下列条件的约束：保证密度函数的性质有保证有界使较快趋于零随u的增加使体积随N的增大趋于零时，速度低于N增加的速度4.1线性判别函数4.1.1判别函数若分属于ω1，ω2的两类模式可用一方程d(X)=0来划分，那么称d(X)为判别函数，或称判决函数、决策函数。直接用来对模式进行分类的准则函数。例：一个二维的两类判别问题，模式分布如图示，这些分属于ω1，ω2两类的模式可用一直线方程d(X)=0来划分。为坐标变量，为方程参数。式中：1．判别函数的定义若，则若，则类；若，则类；

或拒绝将某一未知模式

X

代入：维数=3时：判别边界为一平面。维数>3时：判别边界为一超平面。4.1.1判别函数d(X)表示的是一种分类的标准，它可以是1、2、3维的，也可以是更高维的。2．判别函数正负值的确定图3.3判别函数正负的确定4.1.1判别函数1）判决函数d(X)的几何性质。它可以是线性的或非线性的函数，维数在特征提取时已经确定。如：已知三维线性分类——判决函数的性质就确定了判决函数的形式：3.确定判别函数的两个因素例：非线性判决函数2）判决函数d(X)的系数。用所给的模式样本确定。4.1.1判别函数1、线性判别函数的一般形式将二维模式推广到n维，线性判别函数的一般形式为：(3-2)式中：：权向量，即参数向量。式中：为增广权向量，为增广模式向量。4.1.2线性判别函数2、线性判别函数的性质（1）

两类情况d(X)=0：不可判别情况，可以

对M个线性可分模式类，ω1，ω2，…ωM，有三种划分方式：（2）

多类情况两分法两分法两分法特例4.1.2线性判别函数两分法多类情况1：

用线性判别函数将属于ωi类的模式与其余不属于ωi类的模式分开。将某个待分类模式X分别代入M个类的d

(X)中，若只有di(X)>0，其他d(X)均<0，则判为ωi类。识别分类时：4.1.2线性判别函数对某一模式区，di(X)>0的条件超过一个，或全部的di(X)<0，分类失效。相当于不确定区(indefiniteregion，IR)。

全部＜０不属任何类

IR，可能

属于1w或3w

1w2w3w0)(2=Xd0)(3=Xd++IR，可能

属于3w或2w

+---0)(1=Xd0,,0312<>ddd0,,0321<>ddd0,0,321<>dddIR，可能属于1w或2w

0,,0213<>ddd2x1x+4.1.2线性判别函数两分法多类情况2：

一个判别界面只能分开两个类别，不能把其余所有的类别都分开。判决函数为：。这里。在M类模式中，与i有关的M-1个判决函数全为正时，X∈ωi。其中若有一个为负，则为IR区。则类，而在判别类模式时不起作用。如：对一个三类问题，如果，识别分类时：4.1.2线性判别函数1w2w2x1x--003231>>dd001312>>dd002321>>dd3w+++-

d23(X)=0d12(X)=0d13(X)=0IR000231312ïþïýü<><ddd4.1.2线性判别函数当ωi

/ωj两分法中的判别函数dij(X)，可以分解为时，那么di(X)>dj(X)就相当于多类情况2中的dij(X)>0。两分法特例多类情况3：因此对具有判别函数的M类情况，判别函数性质为：或：

4.1.2线性判别函数2313dddd>>01w2w2x1x()0)(21=-XdXd+++---()0)(31=-XdXd()0)(32=-XdXd3212dddd>>3121dddd>>3w4.1.2线性判别函数4.2广义线性判别函数武汉理工大学目的：对非线性边界：通过某映射，把模式空间X变成X*，以便将X空间中非线性可分的模式集，变成在X*空间中线性可分的模式集。

设一训练用模式集，{X}在模式空间X中线性不可分，非线性判别函数形式如下：(3-9)fi(X)取什么形式及d(X)取多少项，取决于非线性边界的复杂程度。1．非线性多项式函数非线性判别函数的形式之一是非线性多项式函数。式中是模式X

的单值实函数，。(3-10)上式是线性的。讨论线性判别函数并不会失去一般性的意义。(3-11)

随着小样本学习理论和支持向量机的迅速发展，广义线性判别函数的“维数灾难”问题在一定程度上找到了解决的办法。非线性变换可能非常复杂。维数大大增加：维数灾难。广义形式的模式向量定义为：这里X*空间的维数k高于X空间的维数n，(3-9)式可写为问题：例

假设X为二维模式向量，fi(X)选用二次多项式函数，原判别函数为定义：d(X)线性化为：即：广义线性判别函数：4.3线性判别函数的几何性质武汉理工大学模式空间：以n维模式向量X的n个分量为坐标变量的欧氏空间。模式向量的表示：点、有向线段。2.讨论式中，，。设判别函数：超平面：线性分类：用d(X)进行分类，相当于用超平面d(X)=0把模式空间分成不同的决策区域。1.概念4.4.1模式空间与超平面(1)模式向量X1和X2在超平面上——W0是超平面的法向量，方向由超平面的负侧指向正侧。设超平面的单位法线向量为U：4.4.1模式空间与超平面(2)X不在超平面上

将X向超平面投影得向量Xp，构造向量R：r：X到超平面的垂直距离。有(r)——判别函数d(X)正比于点X到超平面的代数距离。4.4.1模式空间与超平面4.4.2权空间与权向量解1.概念权空间：以的权系数为坐标变量的（n+1）维欧氏空间增广权向量的表示：点、有向线段。2.线性分类判别函数形式已定，只需确定权向量。类：X11，X12，…，X1p

类：X21，X22，…，X2q

设增广样本向量：使d(X)将ω1和ω2分开，需满足给ω2的q个增广模式乘以（－1），统一为,其中——样本的规范化过程。对每个已知的X，d(X)=0在权空间确定一个超平面，共(p+q)个。

在权空间中寻找向量W使判别函数d(X)能把ω1类和ω2类分开，就是寻找一个权向量，其在（p+q）个超平面的正侧的交迭区域里(W的解区)。X：规范化增广样本向量。4.4.2权空间与权向量解例：二维权空间，超平面的方程为：超平面：过原点的直线；阴影部分：解区。4.4.2权空间与权向量解二分法（Dichotomies）：用判别函数d(X)将给定的N个模式分成两类的方法。是一种基本的分类方法。判别函数的不同分类能力可以通过二分法总数衡量。

若不限制判别函数的形式，N个n维模式用判别函数分成两类的二分法总数为2N。4.4.3二分法

若限定用线性判别函数，并且样本在模式空间是良好分布的，即在n维模式空间中没有(n+1)个模式位于(n－1)维子空间中，可以证明，N个n维模式用线性判别函数分成两类的方法总数，即线性二分法总数为或线性二分法概率：

只要模式的个数N小于或等于增广模式的维数（n+1），模式类总是线性可分的，4.4.3二分法例：4个良好分布的2维模式，若用线性判别函数分类线性二分法总数：线性二分法概率：图3.14线性二分法的概率4.4.3二分法将λ=2时的N值定义为阈值N0，称为二分法能力，即通过N0，可以对任意N个样本的线性可分性进行粗略估计。4.4.3二分法4.4感知器算法武汉理工大学基本思想只要求出权向量，分类器的设计即告完成。本节开始介绍如何通过各种算法，利用已知类别的模式样本训练出权向量W。

对线性判别函数，当模式维数已知时，判别函数的形式实际上已经确定，如：三维时感知器：对一种分类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。但“赏罚概念（reward-punishmentconcept）”得到广泛应用。感知器算法两类线性可分的模式类：，设其中，，应具有性质对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有：

感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。感知器算法步骤：（1）选择N个分属于ω1和

ω2类的模式样本构成训练样本集

{X1,…,XN}

构成增广向量形式，并进行规范化处理。任取权向量初始

值W(1)，开始迭代。迭代次数k=1。（2）用全部训练样本进行一轮迭代，计算WT(k)Xi的值，并修正权向量。分两种情况，更新权向量的值：c：正的校正增量。分类器对第i个模式做了错误分类，①感知器算法统一写为：分类正确，权向量不变：②（3）分析分类结果：只要有一个错误分类，回到（2），直至对所有样本正确分类。分类正确时，对权向量“赏”——这里用“不罚”，即权向量不变；分类错误时，对权向量“罚”——对其修改，向正确的方向转换。感知器算法是一种赏罚过程：感知器算法3.收敛性收敛性：经过算法的有限次迭代运算后，求出了一个使所有样本都能正确分类的W，则称算法是收敛的。可以证明感知器算法是收敛的。收敛条件：模式类别线性可分。例3.8已知两类训练样本解：所有样本写成增广向量形式；进行规范化处理，属于ω2的样本乘以(－1)。用感知器算法求出将模式分为两类的权向量解和判别函数。感知器算法任取W(1)=0，取c=1，迭代过程为：第一轮：

有两个WT(k)Xi≤0的情况（错判），进行第二轮迭代。感知器算法第二轮：第三轮：第四轮：感知器算法该轮迭代的分类结果全部正确，故解向量相应的判别函数为：

当c、W(1)取其他值时，结果可能不一样，所以感知器算法的解不是单值的。判别界面d(X)=0如图示。感知器算法4.5梯度法武汉理工大学

设函数f(Y)是向量

的函数，则f(Y)的梯度定义为：梯度的方向是函数f(Y)在Y点增长最快的方向，梯度的模是f(Y)在增长最快的方向上的增长率(增长率最大值)。1.梯度概念

梯度向量的最重要性质之一：指出函数f在其自变量增加时，增长最快的方向。显然：负梯度指出了最陡下降方向。——梯度算法的依据。即：2.梯度算法

设两个线性可分的模式类ω1和ω2的样本共N个，ω2类样本乘(-1)。将两类样本分开的判决函数d(X)应满足：

梯度算法的目的仍然是求一个满足上述条件的权向量，主导思想是将联立不等式求解W的问题，转换成求准则函数极小值的问题。——N个不等式

准则函数的选取原则：具有唯一的最小值，并且这个最小值发生在W

TXi>0时。

用负梯度向量的值对权向量W进行修正，实现使准则函数达到极小值的目的。基本思路：

定义一个对错误分类敏感的准则函数J(W,X)，在J的梯度方向上对权向量进行修改。一般关系表示成从W(k)导出W(k+1)：其中c是正的比例因子。

梯度法求解步骤：（1）将样本写成规范化增广向量形式，选择准则函数，设置初始权向量W(1)，括号内为迭代次数k=1。2.梯度算法2.梯度算法迭代次数k加1，输入下一个训练样本，计算新的权向量，直至对全部训练样本完成一轮迭代。（3）在一轮迭代中，如果有一个样本使，回到(2)进行下一轮迭代。否则，W不再变化，算法收敛。（2）依次输入训练样本X。设第k次迭代时输入样本为Xi，此时已有权向量W(k)，求：权向量修正为：例3.10

选择准则函数，，简单地考虑X为一维增广模式的情况X=1，此时W=w，两者均为标量，错误分类时：，对权向量校正。正确分类时：，对权向量不做修正。3.梯度算法举例

随着权向量W向理想值接近，准则函数关于W的导数()越来越趋近于零，这意味着准则函数J越来越接近最小值。当最终

时，J达到最小值，此时W不再改变，算法收敛。——将感知器算法中联立不等式求解W的问题，转换为求函数J极小值的问题。c)梯度算法是求解权向量的一般解法，算法的具体计算形式取决于准则函数J(W,X)的选择，J(W,X)的形式不同，得到的具体算法不同。a)b)c值的选择很重要，如c值太小，收敛太慢；但若太大，搜索又可能过头，甚至引起发散。4.梯度算法说明4.6最小平方误差算法武汉理工大学1.基本思想

上述的感知器算法、梯度算法、固定增量算法或其他类似方法，只有当模式类可分离时才收敛，在不可分的情况下，算法会来回摆动，始终不收敛。当一次次迭代而又不见收敛时，造成不收敛现象的原因分不清，有两种可能：a)迭代过程本身收敛缓慢b)模式本身不可分对可分模式收敛。对于类别不可分的情况也能指出来。LMSE算法特点：

两类分类问题的解相当于求一组线性不等式的解。如果给出分属于，两个模式类的训练样本集，应满足：其中，Xi是规范化增广样本向量，。上式分开写为：2.分类器的不等式方程写成矩阵形式为：令N×(n+1)的长方矩阵为X，则

变为：2.分类器的不等式方程式中：0为零向量感知器算法是通过解不等式组，求出W。2.分类器的不等式方程3.LMSE算法原理的求解。式中：∴

两式等价。为各分量均为正值的矢量。LMSE算法把对满足XW>0

的求解，改为满足①在方程组中当行数>>列数时，通常无解，称为矛盾方程组，一般求近似解。在模式识别中，通常训练样本数N总是大于模式的维数n，因此方程的个数(行数)>>模式向量的维数(列数)，是矛盾方程组，只能求近似解W*，即说明：②LMSE算法的出发点：选择一个准则函数，使得当J达到最小值时，XW=B

可得到近似解（最小二乘近似解）。③LMSE算法的思路：转化为转化为准则函数定义为：3.LMSE算法原理考察向量(XW－B)有：可以看出：①当函数J达到最小值，等式XW=B有最优解。即又将问题转化为求准则函数极小值的问题。②因为J有两个变量W和B，有更多的自由度供选择求解，故可望改善算法的收敛速率。XW=B

的近似解也称“最优近似解”：——使方程组两边所有误差之和最小（即最优）的解。准则函数：3.LMSE算法原理4.推导LMSE算法递推公式与问题相关的两个梯度：(3-46)(3-47)由(3-47)式可知：只要求出B，就可求出W。(1)求W的递推关系X为N×(n+1)长方阵，X#为(n+1)×N长方阵。称为X的伪逆，(3-45)(2)求B(k+1)的迭代式(3-46)代入，得

令，定义(3-49)(3-50)利用梯度算法公式有：4.推导LMSE算法递推公式(3)求W(k+1)的迭代式(3-49)(3-50)4.推导LMSE算法递推公式……W(k+1)、B(k+1)互相独立，先后次序无关。总结：设初值B(1)，各分量均为正值，括号中数字代表迭代次数。4.推导LMSE算法递推公式5.模式类别可分性判别③

如果e(k)<0（所有分量为负数或零，但不全为零），停止迭代，无解。此时若继续迭代，数据不再发生变化。

可以证明：当模式类线性可分，且校正系数c满足

时，该算法收敛，可求得解W。

理论上不能证明该算法到底需要迭代多少步才能达到收敛，通常在每次迭代计算后检查一下XW(k)和误差向量e(k)，从而可以判断是否收敛。①

如果e(k)=0

，表明XW(k)=B(k)>0，有解。②

如果e(k)>0

，表明XW(k)>B(k)>0，隐含有解。继续迭代，可使e(k)→0

。4.7支持向量机（SVM）SVM是一种基于统计学习理论的机器学习方法，它是由Boser,Guyon,Vapnik在COLT-92上首次提出，从此迅速发展起来VapnikVN.1995.TheNatureofStatisticalLearningTheory.Springer-Verlag,NewYorkVapnikVN.1998.StatisticalLearningTheory.Wiley-IntersciencePublication4.7.1

支持向量机的提出代表+1代表-1如何正确分开?

4.7.1

支持向量机的提出+1-1那一条直线是最好的？+1-1间隔（margin）：到超平面最近的样本与此超平面之间的距离。134.7.1

支持向量机的提出+1-1支持向量(SupportVectors)：是那些距离超平面最近的点。线性支持向量机具有最大间隔的线性分类器叫做最大间隔线性分类器。其就是称为线性支持向量机，（LSVM）4.7.1

支持向量机的提出“PredictClass=+1”“PredictClass=-1”wx+b=1wx+b=0wx+b=-1M=间隔的宽度x-x+由线性判别函数的几何性质：支持向量到决策面的距离：4.7.2

支持向量机的推导4.7.2

支持向量机的推导“PredictClass=+1”“PredictClass=-1”wx+b=1wx+b=0wx+b=-1M=间隔的宽度x-x+

4.7.2支持向量机的推导

argminsubjectto典型的有约束二次优化问题如何求解？4.7.2支持向量机的推导代回目标函数拉格朗日乘子法

4.7.2支持向量机的推导SVM的对偶形式

4.7.2支持向量机的推导4.7支持向量机（SVM）4.7.3

软间隔（松弛）4.7.3

软间隔（松弛）𝐶>0:正则化参数𝜉𝑖——代价，我们要最小化代价函数（总代价）——正则项，对分类器进行限制，使复杂度不至于太高引入惩罚项，目标函数改写为：4.7.3

软间隔（松弛）对偶形式仅依赖于内积SVM的对偶性4.7.4非线性SVMs4.7.4非线性SVMs最后得到决策函数可得在求得最优化问题的解4.7.4非线性SVMs4.7.4非线性SVMs目前研究最多的核函数主要有三类：多项式内核径向基函数内核RBFSigmoind内核4.7.4非线性SVMs4.7.5结构风险最小化结构风险最小化的思想认为，真实风险​应该由两部分内容刻画，一是经验风险，代表了分类器在给定样本上的误差；二是置信风险代表了在多大程度上可以信任分类器在未知文本上分类的结果。结构风险中包含的经验风险和置信风险，可以理解成训练误差和模型复杂度的问题。经验风险是模型在已有样本上的误差，置信风险中利用VC维对模型的复杂度进行度量，并希望能够尽量降低复杂度，增加模型的泛化能力。模式识别229/just