模式识别复习重点总结

1、1、什么就是模式及模式识别?模式识别得应用领域主要有哪些？模式：存在于时间,空间中可观察得事物,具有时间或空间分布得信息；模式识别：用计算机实现人对各种事物或现象得分析,描述 ,判断 ,识别 .模式识别得应用领域:（）字符识别；(2) 医疗诊断 ;（）遥感；（ 4)指纹识别脸形识别 ;（5 ）检测污染分析,大气 ,水源 ,环境监测 ;（ 6）自动检测； （ ）语声识别，机器翻译，电话号码自动查询，侦听,机器故障判断；（ 8)军事应用。、模式识别系统得基本组成就是什么？(1) 信息得获取：就是通过传感器 ,将光或声音等信息转化为电信息;（ 2） 预处理 :包括 AD ，二值化，图象得平滑 ,变换

2、，增强 ,恢复，滤波等， 主要指图象处理；（）特征抽取与选择：在测量空间得原始数据通过变换获得在特征空间最能反映分类本质得特征;（ 4） 分类器设计：分类器设计得主要功能就是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。把这些判决规则建成标准库;（ 5） 分类决策：在特征空间中对被识别对象进行分类。、模式识别得基本问题有哪些 ?（ 1）模式（样本 )表示方法：（ a）向量表示；（ b)矩阵表示； (c）几何表示； (）基元（链码）表示；()模式类得紧致性：模式识别得要求：满足紧致集 ,才能很好地分类；如果不满足紧致集，就要采取变换得方法 ,满足紧致集（ 3)相似与分类；（）两个样本

3、 x ,xj 之间得相似度量满足以下要求： 应为非负值 样本本身相似性度量应最大度量应满足对称性在满足紧致性得条件下，相似性应该就是点间距离得单调函数（ b）用各种距离表示相似性()特征得生成 :特征包括 :（ a）低层特征 ; （）中层特征； （ c)高层特征（ 5）数据得标准化 :(a)极差标准化；(b) 方差标准化4。线性判别方法(1）两类：二维及多维判别函数，判别边界,判别规则二维情况：(a）判别函数:（）(b）判别边界： g（x） =0；(c）判别规则 :维情况：（ a）判别函数 :也可表示为：（ b)判别边界 :g（ x) WT=0( )判别规则 :（ 2）多类 :3 种判别方法

4、(函数、边界、规则）（ A）第一种情况： （ a）判别函数 :M 类可有个判别函数(b ）判别边界 :（ i=1， 2， ， )类与其它类之间得边界由i（ )=0 确定(c）判别规则 :(B）第二种情况 :(a）判别函数：有 _1)个判别平面M (（ b）判别边界 :( )判别规则：（ C ）第三种情况： (a）判别函数：(） 判别边界：gi(x) gj（ x）或 gi（x)-gj（ x） =0（ c)判别规则：5什么就是模式空间及加权空间，解向量及解区？（1）模式空间 :由构成得 n 维欧氏空间；(2）加权空间：以为变量构成得欧氏空间;(）解向量 :分界面为H,与正交，称为解向量；（ )解区

5、 : 解向量得变动范围称为解区。6。超平面得四个基本性质就是什么?性质 :W 与 H 正交；性质：其中，为矢量到H 得正交投影；性质：性质：若表1示？0,则H在原点正侧，若Wn 1 0,则H在原点负侧。二分法能力如何WnTN 个样品线若性W可n分1数目0（,则条g件(：x)样本W分布x，良说好）明超平：面 H通过原点。线性可分概率：(a) :当 由时，曲线急剧下降，在处出现明显的门限效应 。n12(d ) : 在2范围，即 N 2(n1), 线性可分概率急剧下降,说明样品越(b) :对于任意 值，时，即N2(n时，线性可分概率为P(N , n)n21)8广义线性判别方法多线性可分能力越差。(1

6、）非线性线性即对 个样本的线性可分性（ 二分能力）的估计：(e()c): :在范围，即N 2(n1), P( N ,n)1,说明样本少时二分能力 强。N2N 02( n 1),一个非线性判别函数通过映射，变换成线性判别函数：2是最好情况 .k 1（2）线性判别wi fi ( x)x空间 变换 y空间W T Y g(Y)g( x)i1w1f1( x)其中： Ww2广义权向量 )。 Yf 2 ( x),(增广模式向量 ), (.wf( x)1 。29.分段线性判别方法1)基于距离 :（ 1)子类 ,类判别函数（ 2)判别规则（）子类：把 类可以分成 li 个子类：分成 l 个子类。子类判别函数 :

7、在同类得子类中找最近得均值（）判别规则 :这就是在 M 类中找最近均值 .则把 归于 j 类完成分类2)基于函数 :（ 1)子类 ,类判别函数（ 2）判别规则(1）子类类判别函数：对每个子类定义一个线性判别函数为：（ )判别规则：在各子类中找最大得判别函数作为此类得代表,则对于类，可定义 M个判别函数 i（ x）,i=,， 、 ,因此 ,决策规则）基于凹函数得并:（ 1）析取范式 ,合取范式 ,凹函数（ 2） 判别规则（ 1）析取范式： P=（ L1 L12 L m） （ Lq1 L 2 Lqm)合取范式 : = （ L1112 1mq 1 L L） (Lq)凹函数： Li1 Li im（ 2

8、）判别规则： 设第一类有 个峰，则有 q 个凹函数。即 =P1 P2 P0, x1,i子类。Lijwij x1,2,.,q0, x2 , j每个子类的判别函数数 。1,2,., m10。非线性判别方法（ 1）集中，分散定义 1判别函数:(2), 均集中2T1g(x)k( x1 )( x的大小，决定超平面的 大小。11 ), k其中：1为1均值，1为1协方差11分类器得设计（ 1)梯度下降法 (迭代法） :准则函数，学习规则kT（ W ） +(W- W ）k）T 2(a）准则函数： J(W） J(W） +JD（ WW其中为当 W = W 时 J（ W) 得二阶偏导数矩阵（ b）学习规则：从起始值

9、W1 开始，算出W1 处目标函数得梯度矢量J（ W1），则下一步得值为： W 1 1 (W1 )2其中 W为起始权向量 , 为迭代步长 ,J(W1)为目标函数，(W 1)为 W1处得目标函数得梯度矢量在第 K 步得时候 k 1 = Wk- k J(Wk）最佳步长为k=| | 2/ JT J这就就是梯度下降法得迭代公式。（ 2)感知器法 :准则、学习规则(批量 ,样本 )（ a)准则函数：其中 x 为错分样本（ b)学习规则：1、错误分类修正w k如 wk 0并且 x 1如 w T 0并且 x 2、正确分类， w k 不修正如 w Tx 0 并且 x 1T如 w k x 0 并且 x w +1

10、wkwk1 = wk+kxw k w k(3)最小平方误差准则法( SE法 )（非迭代法 ):准则、权向量解（ a）准则函数：(b)权向量解 :(4)韦霍氏法 (法） (迭代法） :准则，学习规则( )准则函数 :（ b）学习规则：Xk） kW1 任意 ， Wk+1=Wk+k（ k kk随迭代次数 k 而减少，以保证算法收敛于满意得W 值（ 5)何卡氏法（H K 法 )(迭代法） :准则 ,，得学习规则(a）准则：它得解为 :（ b） b,得学习规则：其中c 为矫正系数 , kk bk为误差矢量， e= W初始k1条件 K1=X1+b1 并且Kb1 b0 k X bKXbkWkcX K | e

11、k |WX bX be迭代时检测如果 ek0时， XW b,系统线性可分，迭代收敛如果 k 0 时， XW b ，系统线性不可分，迭代不收敛(6)Fisher 分类法：准则函数得建立，权值计算，得选择（ a）准则函数得建立 :投影样本之间得类间分离性越大越好 ,投影样本得总离散度越小越好 .即可表示为 :其中 S 为类内散布矩阵, Sb 为类间散布矩阵(b)W 权值计算 :（ c)W0 得选择: ki 表示第i 类中第 k 个样本得投影值 1 为 1 样本数N2 为 样本数（ 7)电位函数分类器 :电位函数，累积电位得计算（ a)电位函数 :电位分布函数有如下三种形式 : 为系数x 为某一特定

12、点k(）累计电位得计算: K(x)= K （ x） r+1K(,x）k+1k其中：x +1 并且 k(xk+1） 0 时rk1= 0xk 1 1并且 Kk（xk+1） 0时 k+=xk 并且 K （k） 0 时 = 0k+1xk+1 并且 K (x） 时r = 12 k+1k+1 2.1 ）二类问题得贝叶斯判别（ 1）判别函数得四种形式（ 2）决策规则（ 3)决策面方程（ 4）决策系统得结构(）判别函数得四种形式：(2）判别规则 :( A)g(x)P( 1x)P(后验概率)2 x), ( B)g(x)P( x1 ) P(1 )P(x2 ) P( 2 ),(类条件概率密度 )(C) g(x)P(

13、x1 )P( 2 ) ,(似然比形式 )P( x2 )P(1 )(3）决策面方程：g（x） =0x1P(x1 )P(2 )( A) P( 1x)P(2 x)( D)2g(x)(）决策系统得结构ln2 )ln,(取对数方法 )P(xP(1 )（）向量特征（ B)判别计算（ )阈值单元（1 D)决策( B) P( x1 ) P( 1 ) P( x2 )P( 2 )x22)(C ) P( x1 )P( 2 )x多 类1P( x2 )P( 1 )2问 题P(x1 )P(2 )1得 贝 ( D ) g ( x) ln2 )ln1 )x叶 斯P( xP(2判别(1)判别函数得四种形式( )决策规则（ 3）

14、决策面方程( )决策系统得结构（ 1）判别函数得四种形式：类有M 个判别函数 1(x)， 2（ )， ， （ x）、( A)g(x)P( 1x)P(2 x), (后验概率 )（ 2)决策规则 :P(x1 )P(1 )P(x2 )P( 2 ), (类条件概率密度 )( B)g(x)(C)g( x)P(x1 )P( 2 ) , (似然比形式 )P(x2 )P(1 )( D )g( x)ln P( x1 )ln P(2 ) , (取对数方法 )P( x2 )P(1 )另一种形式：（ 3）决策面方程 :(）决策系统得结构:（ a)特征向量； (）判别计算； （ c）最大选择器； （）决策。三种最小错误

15、率贝叶斯分类器（正态分布）：判别函数，判别规则，决策面方程(1)第一种情况：各个特征统计独立,且同方差情况.（最简单情况 )（ a）判别函数：（ b）判别规则 :( )决策面方程 :（ 2）第二种情况 :i 相等，即各类协方差相等。(a）判别函数 :（ b)判别规则：（ c)决策面方程：（3)第三种情况 (一般情况） : T? 与 有关。所?为任意，各类协方差矩阵不等，二次项x以判别函数为二次型函数 .（ )判别函数：TT其中11矩阵gi( x) x Wx Wix wi0 ,)Wii , (n n( )判别规则 :i2(c)决策面方Wi1维列向量 ，1 T11ln P( i )程:ii (n)

16、 wi 0iiiln i22 4。最小风险贝叶斯分类器 :判别函数，判别规则(1)判别函数 :条件风险：R i x EMij Pj x ,i 1,2,., a.(a M )ij：表示把模式x判决为 类得一次动作iji1期望风险：(2）判别规则：5聂曼皮尔逊判决:（二类） :准则，判别规则，阈值得确定(1）准则：(2）判别规则：（）阈值得确定：当 P( x1 )T时 ,T作 12的分界线 .1 .最小最大损失准则判决(二类） :准则，判别规则 ,得确定P( x2 )（1）准则 :讨论在（ iTP( x）变化时如何使最大可能风险最小；22) dx,T为的函数在取为常数时， T可确定，Ra bP2

17、12这时2一定最小221222P x2 dx1其中： a2b11222111P x1 dx1222P x 2 dx21（2)判别规则：风险通过最小风险与先验概率得关系曲线，确定最大风险，使最大风险最小。（ 3)得确定 :如果选择1 , 2使 b0, R与 P1 无关 .17什么就是序贯分类 ?22P x2 dx 0即序贯：随着时间得推移可以得到越来越多得信息。11222111Px1dx1221序贯分类决策规则， RaP x2 dx这时候最大风险为最小221222218。什么就是参数估计 ,非参数估计 ,监督学习，无监督学习？参数估计 :先假定研究得问题具有某种数学模型，如正态分布 ,二项分布

18、,再用已知类别得学习样本估计里面得参数;非参数估计：不假定数学模型,直接用已知类别得学习样本得先验知识直接估计数学模型;监督学习：在已知类别样本指导下得学习与训练，参数估计与非参数估计都属于监督学习。无监督学习 :不知道样本类别 ,只知道样本得某些信息去估计，如:聚类分析。19.(1) 最大似然估计算法思想:准则，求解过程(1）准则 :第 i 类样本得类条件概率密度：i iiiii/i）P（ X） P(X/ ) = P(原属于 i 类得学习样本为Xi12T =1， 2，M=(X ，X，X，）iiii求 得最大似然估计就就是把P（ X/ )瞧成得函数，求出使它最大时得值（ 2)求解过程：学习样本

19、独立从总体样本集中抽取得N 个学习样本出现概率得乘积取对数 :对 i求导，并令它为0：(2）正态分布情况下：,得计算 已知， 未知 ,估计 ， 均未知A 一维情况： n=1 对于每个学习样本只有一个特征得简单情况：即学习样本得算术平均样本方差B 多维情况：个特征估计值：0（ 1)贝叶斯估计算法思想：准则，求解过程（A)准则 :通过对第类学习样本Xi 得观察，使概率密度分布P( i ）转化为后验概率P（ Xi) ，再求贝叶斯估计;(）求解过程 : 确定 得先验分布 P（ ） ,待估参数为随机变量。求出样本得联合概率密度分 用第 i 类样本 x=（ x1 , x , 、 xN）布 P（ xi| ）

20、，它就是得函数。 利用贝叶斯公式，求得后验概率（ 2)正态分布情况下 :得计算对得估计为若令（ )=N( 0,2 ）=N（ 0,1)21.(1 ）贝叶斯学习概念求出得后验概率之后,直接去推导总体分布即当 N, 就反映了观察到个样本后对得最好推测,而 N2 反映了这种推测得不确定性,N ， 2 , 随观察样本增加而单调减小，且当N , 2 0NN当 ， P( |x i)越来越尖峰突起;N，P( |x i) 函数，这个过程成为贝叶斯学习。（）正态分布情况下得计算（A）一维正态 :已知 2,未知11x2112expexpNd222121xN2122 22N2NexpN NNxd2222exp2222

21、2NNNN（B）多维正态（已知，估计)：11N0( 1Nx k)1(01)01i0NP(x |N k 1iNN将 N代入 P( x | x ) P(| x)d就可以设计 Bayes分类器2.非参数估计得条件密度计算公式（1） Pa ze窗口估计得三种形式，条件密度得计算(A）窗口得选择:（ A）方窗函数；（ B）正态窗函数 ;(C)指数窗函数（ B）条件密度得计算 :(2 ）K-近邻估计得基本思想及用 K近邻法作后验概率估计得方法(A)基本思想：以x 为中心建立空胞 ,使 v,直到捕捉到 K 个样本为止。N（B）用 -近邻法作后验概率估计得方法：由KN 近邻估计知 N 个已知类别样本落入 VN

22、 内为 个样本得概率密度估计为N 个样本落入 V内有 K 个 ,N个样本内有i个样本属于 类，则联合概率密度：NN根据 Ba s 公式可求出后验概率:23 分类与聚类得区别就是什么?分类：用已知类别得样本训练集来设计分类器（监督学习);聚类（集群）：用事先不知样本得类别,而利用样本得先验知识来构造分类器（ 1）聚合聚类 (系统聚类）得算法思想：先把每个样本作为一类，然后根据它们间得相似性与相邻性聚合。若有 n 个样本： (A)设全部样本分为n 类；(无监督学习） 。（ B）作距离矩阵(C)求最小元素 ;(0） ;(D)将距离平方最小得元素归为一类；(E）以新类从新分类，作距离矩阵（）若合并得类

23、数没有达到要求(1）；,转（ C），否则停止。(2)分解聚类得算法思想：把全部样本作为一类，然后根据相似性、相邻性分解。目标函数：两类均值方差：总样本数，： 类样本数： 2类样本数,（ 3）动态聚类得算法（ K均值算法）先选定某种距离作为样 本 间得相似性得度量；确定评价聚类结果得准 则 函数；给出某种初始分类， 用迭 代 法找出使准则函数取极值 得 最好得聚类结果.25（ 1）什么就是模糊集，水平截集？( )模糊集 :假设论域E= x（讨论得区间） ，模糊集 A 就是由隶属函数A(x）描述 .其中 ,A(x)就是定义在E 上在闭区间0， 1中取值得一个函数，反映对模糊集得隶属程度。（B）水平截集:设为E（ ）中得模糊集，则= （ ）称为模糊集A得 水平集 , 为阈值在 (,1)间取值。（ 2)什么就是模糊集得并，交 ,补运算？设：， B 为 E (x）上得两个模糊集并集： A AB(x） =m （ （ x）， (x)）交集： AB（ x) ( A(x）, (x)补集：=1 AAB() ,(x） ,(x） 分别为 A、 B 得隶属函数(）什么就是模糊关系及其变换运算？(）模糊关系 : 设 U,V 为两个模糊集 ,则 u,v 得笛卡儿乘积集记为 :U V=（ u