正态分布中的Bayes决策PPT课件

1、 一、正态分布判别函数一、正态分布判别函数 1、为什么采用正态分布：、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，、正态分布数学上简单，N(, ) 只有均值和只有均值和方差两个参数。方差两个参数。v2-3.1 正态分布决策理论正态分布决策理论2021/3/932211()exp(,)22xP xN 2、单变量正态分布：、单变量正态分布： :( )( ),()E xxP x dx其中均值或数学期望222( )()ExxP x dx， 方差2021/3/94列关系：概率密度函数应满足下)( xPX2295.011)()(

2、 , 0)(dxxPxxP从从p(x)的图形上可以的图形上可以看出，看出，只要有两个只要有两个参数参数 和和 2 2 ,就可以完就可以完全确定其曲线。全确定其曲线。 若服从正态分布的总体中随若服从正态分布的总体中随机抽取样本机抽取样本x，约有，约有95的样的样本落在本落在(2,22,2)中。样本中。样本的分散程度可以用的分散程度可以用 来表示来表示 , 越大分散程度越大。越大分散程度越大。 2021/3/95 正态分布是指一个随机实数度量值在整个实数域上正态分布是指一个随机实数度量值在整个实数域上的分布规律。的分布规律。 因此它属于因此它属于概率密度函数类概率密度函数类，不是我们所讨论的先，不

3、是我们所讨论的先验概率验概率P(i)，也不是后验概率，也不是后验概率P(i|X)，而是，而是p(x|i)。2021/3/963、（多变量）多维正态分布、（多变量）多维正态分布 )()(21exp|)2(1)(1212xxxTd12, .,Td 为为d维均值向量也就是维均值向量也就是: （1）函数形式：）函数形式：x=(x1,x2,xd)T为为d维随机向量维随机向量 S S是是dd维协方差矩阵，维协方差矩阵，S S-1是是S S的逆矩阵，的逆矩阵，|S| S|为为S S的的行列式。行列式。 协方差矩阵协方差矩阵S S是对称的，是对称的，其中有其中有d(d+1)/2个独立个独立元素。元素。 202

4、1/3/97 由于由于x 可由可由 和和S S完全确定，所以实际上完全确定，所以实际上x 可由可由d d(d+1)/2+d(d+1)/2+d个独立元素来确定。个独立元素来确定。 、S S分别是向量分别是向量x和矩阵和矩阵(x- )(x- )T的期望。的期望。 多元正态分布与单态量正态分布在形式上尽多元正态分布与单态量正态分布在形式上尽管不同，但有很多相似之处，实际上单变量管不同，但有很多相似之处，实际上单变量正态分布正态分布只是维数为只是维数为1的多元分布。的多元分布。 2021/3/98 当当d=1时，时，只是一个只是一个11的矩阵，也就是只有的矩阵，也就是只有1个元素的矩阵，退化成一个数，

5、个元素的矩阵，退化成一个数，|1/2也就是标准差也就是标准差, ,11也就是也就是-2，而，而(X)T(X)也变成也变成(X-)2， 多元正态分布的概率密度函数中的多元正态分布的概率密度函数中的元元就是我们就是我们前面说得特征向量的分量数，也就是前面说得特征向量的分量数，也就是维数维数。 2021/3/99具体说：若具体说：若xi是是x的第的第i个分量，个分量， i是是 的第的第i个分量，个分量， ijij2 2是是S S的第的第i、j个元素。个元素。iiiiiidxxxdxxxxE)()(其中其中xi 为边缘分布，为边缘分布， 1211( )( )iiidxx dx dxdx dxdx202

6、1/3/910)(j2jiiijxxEj()()( ,)iijijijxxx x dx dx 协方差矩阵：协方差矩阵：222212222221221212211dddddd 是一个对称矩阵，只考虑是一个对称矩阵，只考虑S S为为正定矩阵的情况，也就是正定矩阵的情况，也就是: |S| S|所有的子式都大于所有的子式都大于02021/3/911 同单变量正态分布一样，同单变量正态分布一样，多元多元正态分布正态分布x 可以由可以由 和和S S完全确定，完全确定，常记为常记为N(,S,S)。2021/3/912(2) 多元正态分布的性质多元正态分布的性质l参数参数和和完全决定分布完全决定分布l等概率密

7、度轨迹为超椭球面等概率密度轨迹为超椭球面 l不相关性等价于独立性不相关性等价于独立性 l边缘分布和条件分布的正态性边缘分布和条件分布的正态性 l线性变换的正态性线性变换的正态性 l线性组合的正态性线性组合的正态性2021/3/913.参数参数 和和S S对分布的决定性对分布的决定性 对于对于d维随机向量维随机向量x，它的均值向量，它的均值向量 也是也是d维的，维的，协方差矩阵是协方差矩阵是对称对称的，其中有的，其中有d d(d+1)/2(d+1)/2个独立元素。个独立元素。 x 可由可由 和和S S完全确定，实际上完全确定，实际上x 可由可由d d(d+1)/2+d(d+1)/2+d个独立元素

8、决定。常记为：个独立元素决定。常记为： x N(,S,S)2021/3/914.等密度点的轨迹为一超椭球面等密度点的轨迹为一超椭球面 由由x 的定义公式可知，右边指数项为常数时，密的定义公式可知，右边指数项为常数时，密度度x 的值不变，所以等密度点满足：的值不变，所以等密度点满足：常数)()(1xxT 二维情况下，上式的解是一个二维情况下，上式的解是一个椭圆轨迹椭圆轨迹，其长短，其长短轴方向由轴方向由协方差矩阵的特征向量决定，协方差矩阵的特征向量决定， 三维时是一个三维时是一个椭球面椭球面，超过三维则是，超过三维则是超椭球面超椭球面，主轴方向由协方差矩阵主轴方向由协方差矩阵S S的特征向量决定

9、，各主轴的长的特征向量决定，各主轴的长度则与相应的特征值成正比。度则与相应的特征值成正比。2021/3/915 从下图可以看出，从正态分布总体中抽取的样从下图可以看出，从正态分布总体中抽取的样本大部分落在由本大部分落在由 和和S S所确定的一个区域里，这个区所确定的一个区域里，这个区域的域的中心中心由均值向量由均值向量 决定，区域的决定，区域的大小大小由由协方差矩协方差矩阵阵决定。决定。2021/3/916在数理统计中，令：在数理统计中，令： )()(12xxT式中式中 称为称为x到到 的马氏距离（的马氏距离（Mahalanobis）距离。）距离。 所以所以等密度点轨迹是等密度点轨迹是x到到

10、的马氏距离的马氏距离 为常为常数的超椭球面。数的超椭球面。 2021/3/917.不相关性等价于独立性不相关性等价于独立性 概率论中，一般来说，两个随机变量概率论中，一般来说，两个随机变量xi和和xj之间不之间不相关，并不意味着它们一定独立。相关，并不意味着它们一定独立。 如果如果xi和和xj之间不相关，则之间不相关，则xixj的数学期望有：的数学期望有：)()()(jijixExExxE如果如果xi和和xj相互独立，则有：相互独立，则有：)()(),(jijixPxPxxP2021/3/918 如果如果xi和和xj相互独立，则它们之间一定不相关，反相互独立，则它们之间一定不相关，反之则不成立

11、。之则不成立。 但是但是对服从正态分布的两个分量对服从正态分布的两个分量xi和和xj，若，若xi和和xj互互不相关，则它们之间一定独立。不相关，则它们之间一定独立。证明：见书证明：见书P27 根据独立性的定义：正态分布随机向量的根据独立性的定义：正态分布随机向量的各分量间各分量间互不相关性与相互独立等价互不相关性与相互独立等价。 独立性是比不相关更强的条件。独立性是比不相关更强的条件。 不相关反映了不相关反映了xi和和xj的总体性质。的总体性质。 2021/3/919.边缘分布与条件分布的正态性边缘分布与条件分布的正态性从从(3)证明得出的结论证明得出的结论x 表达式，如果表达式，如果x用用x

12、j表示，有：表示，有： 2111111111()exp() )22xx也就是说，边缘分布也就是说，边缘分布x1 服从均值为服从均值为 ，方差为，方差为 11112 2的的正态分布：正态分布：),()(21111Nx同理，同理， ),()(22222Nx2021/3/920二元正态分布协方差矩阵二元正态分布协方差矩阵及其逆矩阵及其逆矩阵-1为为221112221222，下面以二元正态分布为例进行证明下面以二元正态分布为例进行证明221221222121112021/3/921222221122121122112221/22211111 exp()()2()()22xxxxdx2222111111

13、12221121/21/221/211111111 exp() exp()()(2 )22(2 )xxxdx1122( )( ,) p xp x x dx222222211112212112221/211exp()()2()()22 xxxxdx根据边缘分布定义根据边缘分布定义2021/3/9222211211222222112/12/111)()(2exp)2(dxxx=1 2222211211()()yxx令另外，条件分布，给定另外，条件分布，给定x1的条件下的条件下x2的分布：的分布： )(),()|(12112xxxxx证明条件分布仍然是正态分布（作业题）证明条件分布仍然是正态分布（作

14、业题）2021/3/923.线性变换的正态性线性变换的正态性 对于多元随机向量的线性变换，仍为多元正态对于多元随机向量的线性变换，仍为多元正态分布的随机向量。分布的随机向量。 就是：就是：x服从正态分布服从正态分布x N(,S,S)，对，对x作线性作线性变换变换y=Ax，其中，其中A为线性变换矩阵，且为线性变换矩阵，且|A|0|0，则，则y服从正态分布：服从正态分布：x N(A,A AS SA AT T)证明：证明： x经过变换为经过变换为y，设变换矩阵，设变换矩阵A为非奇异矩阵，为非奇异矩阵，y=Ax即即x=A-1y2021/3/924即即 Ex= ,Ey=n n根据雅克比行列式的定义，有根

15、据雅克比行列式的定义，有|J|=|A|x的均值向量为的均值向量为 ，y的均值向量为的均值向量为n n所以所以y的概密函数与的概密函数与x的概密函数之间的关系为：的概密函数之间的关系为：JyApJxpyp)()()(1所以：所以： n n =A 即即 =A-1n n2021/3/925由于：由于：|A|=|AT|=|AA|1/2（对称正定对称正定）由上面的结论可以得到：由上面的结论可以得到：11/2/211( )exp()()2(2 )Tdp yxxA111111/211 exp()()22TA yA vA yA vA111 exp() () ()22TTTyvAAyvAA2021/3/926即

16、：即： ),()(TAAANy 性质性质5说明了用非奇异阵说明了用非奇异阵A对对x作线性变换后，原来作线性变换后，原来的正态分布正好变成另一个参数不同的正态分布。的正态分布正好变成另一个参数不同的正态分布。 由于由于是对称阵，根据高等代数知识总可以找到某是对称阵，根据高等代数知识总可以找到某个个A，使得变换后，使得变换后y的协方差矩阵的协方差矩阵AAT为对称阵，为对称阵， 这就意味着这就意味着y的各个分量之间是相互独立的，也就的各个分量之间是相互独立的，也就是总可以找到一组坐标系，使各随机变量在新的坐标是总可以找到一组坐标系，使各随机变量在新的坐标系下是系下是独立独立的。的。2021/3/92

17、7.线性组合的正态性线性组合的正态性 若若x为多元正态随机向量，则线性组合为多元正态随机向量，则线性组合y=a aTx是一维的是一维的正态随机变量：正态随机变量：),()(aaaNyTT其中，其中，a a与与x同维。同维。证明证明 利用性质利用性质(5) 做线性变换做线性变换y=A ATx, 得得),()(AAANypTT2021/3/928 由性质由性质(5)，y是服从均值向量是服从均值向量A AT ，协方差阵，协方差阵ATA的多元统计分布的多元统计分布, 由性质由性质(4) ， y的边缘分布的正态性，可以得出的边缘分布的正态性，可以得出y=a aTx服从正态分布，服从正态分布， 其概率密度

18、函数为：其概率密度函数为：),()(aaaNyTT其中其中A=a a,A1为非奇异阵，为非奇异阵，A1为为d(d-1)为矩阵，为矩阵，y=y,Y1 TxAxxAxAyTTTTT11aa2021/3/929 2.3.2正态分布中的正态分布中的Bayes分类方法分类方法 前面，我们已经把基于前面，我们已经把基于Bayes公式的几种分类判决公式的几种分类判决规则抽象为相应的判决函数和决策面方程。规则抽象为相应的判决函数和决策面方程。 这几种方法中这几种方法中Bayes最小错误率判决规则是一种最最小错误率判决规则是一种最基本的方法。基本的方法。 如果取如果取01损失函数，最小风险判决规则和最损失函数，

19、最小风险判决规则和最大似然比判决规则均与最小错误判决规则等价。大似然比判决规则均与最小错误判决规则等价。 2021/3/930 下面以下面以最小错误判决规则最小错误判决规则为例来研究为例来研究Bayes分分类方法在正态分布中的应用。类方法在正态分布中的应用。 由最小错误率判决规则抽象出来的判决函数如下：由最小错误率判决规则抽象出来的判决函数如下：( )( |)() 1,2,iiig xx wP wic 如果如果类概率密度类概率密度是是正态分布正态分布的，的， 2021/3/931则则x|w wi N( i,S,Si 。 )()(21exp|)2()()(1212iiTiidiixxwPxg取对

20、数，得判别函数为取对数，得判别函数为111( )()()ln2ln| ln ( )222Tiiiiiidg xxxPw 2021/3/932下面对几种特殊情况进行讨论。下面对几种特殊情况进行讨论。情况一：情况一： 2,1,2,iI ic 该情况下，每类的协方差矩阵相等，而且类的该情况下，每类的协方差矩阵相等，而且类的各特征间相互独立（由上节的性质各特征间相互独立（由上节的性质得知），具有得知），具有相等的方差相等的方差 2。2021/3/933222000000 因此：因此： di2|Ii211(1)先验概率先验概率P Pwwi i)与与P Pwwj j)不相等不相等2021/3/934其中：

21、其中： 21( )() ()ln()2Tiiiig xxxPw 22() ()1( )ln2lnln()222Tdiiiixxdg xPw 将上两式代入将上两式代入gi(x)：22() () |() ,1,2,Tiiiiijxxxxic为为x到类到类w wi的均值的均值向量向量 i的的“欧氏欧氏距离距离”的平方。的平方。与类别无关，可与类别无关，可以忽略，因此以忽略，因此gi(x)可简化为：可简化为：2021/3/935进一步简化得。进一步简化得。21( )() ()ln()2Tiiiig xxxPw 21(2)ln()2TTTiiiixxxPw xTx与与i无关，可以忽略：无关，可以忽略：2

22、021/3/936021( )( 2)ln()2TTTiiiiiiig xxPw xww iiw21021ln()2TiiiiPww 0( )Tiiig xw xw是一个线性函数。是一个线性函数。 因此可以进一步写成因此可以进一步写成 2021/3/937(2) P(w wi )=P，所有各类概率相等，所有各类概率相等 222|21)()(21)(iiTiixxxxg决策规则：对某个决策规则：对某个x计算计算 ( ),1,2, ,( )max( )ikikig x icgxg xxw若，则决策0( )Tiiig xw xw由于为线性函数，为线性函数， 其决策面由线性方程其决策面由线性方程 (

23、)( )0ijg xgx 构成决策面是一个超平面。决策面是一个超平面。2021/3/9380()0Twxx2iI 在的特殊情况下，决策面方程可改写成jiw202()1()ln()2()iijijjijPxPww满足满足 的的x的轨迹是的轨迹是w wi 与与w wj 类间的决策面类间的决策面0()0Twxx当当P(w wi )=P(w wj )时，超平面通过时，超平面通过 i 与与 j 连线中点并与连线中点并与连线正交连线正交2021/3/939两个同心圆是两类概率分布等密度点轨迹，两个同心圆是两类概率分布等密度点轨迹，两个圆心就是两类的均值点。两个圆心就是两类的均值点。两类的区分线两类的区分线

24、l与与 1- 2垂直，其交点为垂直，其交点为x0 若若P(w w1 )P(w w2 )时，时，x0向先验向先验概率较小的那个类型的均值概率较小的那个类型的均值点偏移。点偏移。 1w121x2xHW2w0 xx0一般不是一般不是11-22的中点，的中点，但当但当P(w w1 )=P(w w2 )时，时，x0为为 1- 2的中点。的中点。 2021/3/940情况二：情况二：i 相等，即各类协方差相等相等，即各类协方差相等12.Mi因为与 无关11( )()()ln()2Tiiiig xxxPw 123()()().()iPPPPwwww若先验概率相等 从几何上看，相当于各类样本集中于以该类均从几

25、何上看，相当于各类样本集中于以该类均值点为中心的同样大小和形状的超椭球面内。值点为中心的同样大小和形状的超椭球面内。2021/3/941121( )()()()2Tiiig xxxr ， 马氏距离 对于未知的对于未知的x，如果把，如果把x与各类均值相减，即与各类均值相减，即相当于相当于Mahalanobis距离的平方。这时把距离的平方。这时把x归于最归于最近一类。称为近一类。称为最小距离分类器最小距离分类器。1()()/2ln()TiiixxPw如果把-展开；与类别无关，与类别无关，可以忽略，可以忽略，2021/3/942这时判别函数可以写成下面的形式0( ),Tiiig xw xw（线性函数

26、）gi（x）为）为线性函数线性函数，故决策面是一个，故决策面是一个超平面超平面。1iiw101ln()2TiiiiPww 2021/3/943如果决策域如果决策域R1和和R2相邻，则决策面方程应满：相邻，则决策面方程应满：( )( )0ijg xgx0()0Twxx即：1()ijw01()ln()1()()2()()ijijijTijijPPxww如果各类的如果各类的先验概率相等先验概率相等，则，则01()2ijx2021/3/944下面针对下面针对1，2二类情况进行讨论二类情况进行讨论( ),iiaI所以等概率面是椭圆，长轴由本征值决定000( )()0,()bWxxWxxHx与点积为所以与

27、正交，通过 点。1( ):();();ijijcWWH所以 与不同向不垂直于 值联线。01( ):(),2;ijdxHH若各类先验概率相等，则通过均值联线中点否则 离开先验概率大的一类。2021/3/945情况三情况三： 为任意，各类协方差矩阵不等为任意，各类协方差矩阵不等0:( ),TTiiiig xx Wxxww判别函数)(lnln212ln22)()()(22idiTiiwPdxxxg这时判别函数为这时判别函数为 x 的的二次型二次型。112i111lnln()22TiiiiiPw1ii2021/3/94600()()TTijijijx WW xwwxww即： 2111111222111

28、222( )( )( )11()()()()22()1lnln2()TTg xgxg xxxxxPxPwwww 对于二类情况如果决策域，如果决策域，R1和和R2相邻，则决策面方程应满足相邻，则决策面方程应满足( )( )0ijg xgx2021/3/947圆)(a1x2x12椭圆)(b21各种图形：下面看一下决策界面的21ww二类情况为条件独立21xx2021/3/948双曲线)(d122直线)(e2211抛物线)(c1212先验概率相等2021/3/9492.4 关于分类器的错误率问题关于分类器的错误率问题 在分类过程中，任何一种决策规则都有其相应在分类过程中，任何一种决策规则都有其相应的错

29、误率，的错误率， 当采用指定的决策规则来对类条件概率密度及当采用指定的决策规则来对类条件概率密度及先验概率均为已知的问题进行分类时，它的错误率先验概率均为已知的问题进行分类时，它的错误率是固定的。是固定的。 错误率反映了分类问题固有的复杂性的程度。错误率反映了分类问题固有的复杂性的程度。 对同一种问题设计出的多种不同的分类方案，对同一种问题设计出的多种不同的分类方案，通常总是以错误率大小作为比较方案好坏的标准。通常总是以错误率大小作为比较方案好坏的标准。 因此，在本书中错误率是非常重要的参数。因此，在本书中错误率是非常重要的参数。2021/3/9502.4.0 两类决策的错误率为下式两类决策的

30、错误率为下式 21( )(x)xx(x)xxttP eP pdP pd2211() () P P 从上式可以看出当从上式可以看出当x为多维向量的时候，进为多维向量的时候，进行积分运算的工作量比较大。行积分运算的工作量比较大。 因此对于实际问题，对错误率的研究一般因此对于实际问题，对错误率的研究一般从下面三点出发：从下面三点出发：1、按理论公式研究。、按理论公式研究。2、计算错误率上界、计算错误率上界3、实验估计、实验估计2021/3/9512.4.1 在一些特殊情况下错误率的理论计算在一些特殊情况下错误率的理论计算第一种情况第一种情况-正态分布且等协方差矩阵正态分布且等协方差矩阵 S S1 1

31、=S S2 2=S S3 3212112xlnx()lnxlnxln()xhlPppPww 则下面回顾一下最小错误率贝叶斯决策的负对数似然比函数下面回顾一下最小错误率贝叶斯决策的负对数似然比函数很显然，很显然，h(x)为随机变量，记它的分布函数为为随机变量，记它的分布函数为P(h|w wi)2021/3/952这样贝叶斯决策的最小错误率形式这样贝叶斯决策的最小错误率形式 dhhpdpePdhhpdpePtRtR222111xxxx12 )(/ )(ln21wwPPt 其中 在实际情况下，我们只考虑正态分布，因此在实际情况下，我们只考虑正态分布，因此h(x)可可以写成如下形式：以写成如下形式：2

32、021/3/953)|(ln)|(ln)(ln)(21wwxpxpxlxh2212211111ln212ln2)()21ln212ln2)()21dxxdxxTT（2121221111ln21)()21)()21xxxxTT（2121)()(lnwwwwxpp2021/3/954 上式表明决策面是上式表明决策面是x的二次型，如果协方差的二次型，如果协方差相等，决策面就变成相等，决策面就变成 x 的线性函数。即的线性函数。即)(21)(212111112TTTxxh（2121)()(lnwwwwxpp x 是是 d 维等协方差正态分布的随机向量，而维等协方差正态分布的随机向量，而 h(x) 是一维的随