2-第二章 数学基础(统计模式识别).doc

第二章 数学基础（统计模式识别）1 多元正态分布1）一元正态分布【定义】密度函数为: 的随机变量称为正态随机变量。记：m数学期望 方差 通式： （1） 常数k使得：（2） d为 x 离中心 m 的距离，该距离与方差有关。2）多元正态分布【定义】密度函数为的随机矢量称为正态随机矢量。(1) 随机矢量：(2) 数学期望： 待定参数为n个(3)协方差：分量：其中：第i个分量的方差（对角线元素）：第i个分量与第j个分量的协方差（非对角线元素）C：对称阵且正定，待定参数为个。【正定】【非负定】 按协方差的定义，C只满足非负定，不一定是正定矩阵，即有可能为0。“0”，则C为奇异阵，不存在逆矩阵。两种情况：（1） 某个分量的方差为零；说明这个分量没有不确定性，是确定的，则分类可以按照这个分量来进行。（2） 两个分量相关。说明这两个分量不相互独立，通过降维，使降维后的分量相互独立。所以，不追求数学上的严格定义，可以认为C矩阵是正定的。(4)马氏距离(Mahanlanobis Distance)：与欧式距离：不同，马氏距离考虑数据的统计分布，在模式识别中有广泛的用处。(5)可以写为通式：常数k使得：(6)多元正态分布的等密度轨迹为超椭圆。即：对于二维情况可得： 即为椭圆。在二维空间里，说到一个正态分布，就画一个椭圆。3）多元正态分布的特征函数1.一元2.n元4）多元正态分布的性质性质1：正态分布的随机变量线性函数还是正态的。若那么，仍是正态的。若m独立由不相关可得：进一步有：则独立成立B.向量 独立：不相关：性质4：条件分布正态性若： 则给定y(2)时y(1)的条件分布为p维正态，其中数学期望和协方差分别为：【证】：对向量y作线性变换构成新的随机向量z，因为：y满足正态分布，由性质1，z满足正态分布：且z的协方差为：因为：所以：z(1)与z(2)不相关，由性质3，z(1)与z(2)独立。有： 且：另：由性质2，z(1)与z(2)满足正态分布又：Z=BY有：p(z)|J|=p(y) 其中：即：p(z)=p(y)而：p(y)=p(y(1)|y(2)p(y(2)则：p(z)=p(y(1)|y(2)p(y(2)因此有（视y(2)为常数）：得到结论。2 随机向量的线性变换1）习惯： nn 对角阵 尺度变换 mn mn 降维nn 坐标旋转A、 在线性代数中理解为向量变，坐标不变。在模式识别中，理解为向量不变，坐标变。B、实用的坐标系是标准正交基，而经变换后的新坐标系也是标准正交基。因此，常用的变换是标准正交变换，对应的变换阵为正交矩阵。C、正交阵特点：D、变换阵A的求法（习惯）：把新基在老坐标系下的坐标向量作为变换矩阵A的行向量。对统计特性的影响：(1)密度函数相差一个雅可比行列式的绝对值：p(y)|J|=p(x)(2)期望和协方差：(3)线性变换不改变马氏距离2)主轴变换(PCA-principal componenet analysis)要求：通过坐标系的平移和旋转，找到一个分布的主轴方向。(1) 先作平移，原点移动到中心Z=X-m则：(2) 旋转坐标系，把坐标轴转到主轴方向，即的长、短轴方向。相当于一个有条件极值问题：即：在满足条件前提下（保证在椭圆上），使得：极大极值表达式：求导：得： 取矩阵的：特征值矩阵： 特征向量矩阵：有：可以有两种理解：（1）矩阵分解 （2）线性变换变换矩阵为：主轴变换归结为：Y=A(X-m)结论：一个协方差矩阵C（实对称，正定阵）一定可以通过一个正交变换A（即协方差矩阵C 的特征向量矩阵的转置）变换为一个对角阵（协方差C 的特征值矩阵）。3)二个对称阵的同时对角化要求：找一个线性变换，将二个对称阵C1,C2同时对角化。即：(1) 作旋转变换，转到的主轴方向： 其中：为的特征向量阵，为的特征值阵。(2) 作坐标尺度变换（白化变换）：同时发生变换：(3) 作旋转变换，转到的主轴方向 其中：为的特征向量阵，为的特征值阵。同时：总变换为：【定理】：若是实对称阵，正定，则必存在变换A：使得：其中：A是特征向量阵的转置，是的特征值阵【证】： ，即：而：因为：所以：得：变