考研轻松理解线代协方差矩阵

也谈协方差矩阵方差呢就是描述样本稳定性的，比如你的成绩，一会儿全班第一，一会儿不及格，这就是方差很大。张三总是在班级前十，但也没当过第一，这方差就比较小。那么协方差到底是做什么用的呢？我们一直在讨论一个随机变量的情况，一个随机变量的均值，一个随机变量的方差，当涉及到两个随机变量的时候，有时候我们要判定他们两个的相关性，协方差的意义就在于此。我们再回头看方差的定义：这是描述的一个随机变量，然后我们看看两个随机变量X,Y，协方差的定义如下：明白了吧，协方差在描述两个随机变量之间的相关度。之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。

基于以上理论，我们明白了协方差的意义。那么协方差矩阵又是做什么的呢？想象一下，两个随机变量X,Y我们可以用协方差表示，那么10个，20个，n个呢。协方差矩阵就产生了。定义n维随机变量Xn=[X1，X2，X3，.....Xn-1，Xn]；（其实相当于n个随机变量的集合）我们用协方差矩阵表示他们互相之间的协方差：（式中Un表示Xn的均值）明显这是个对称矩阵，第i行j列，或者j行i列的值，表示Xi与Xj的协方差。

好了，最后，我觉得理解协方差矩阵的关键点在于理解多维随机变量，不同维度之间的协方差，对应起来就是协方差矩阵的元素。再谈协方差矩阵之主成分分析2月24日2011自从

上次谈了协方差矩阵

之后，感觉写这种科普性文章还不错，那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角——主成分分析(PrincipalComponentAnalysis，简称PCA)。结合PCA相信能对协方差矩阵有个更深入的认识~PCA的缘起PCA大概是198x年提出来的吧，简单的说，它是一种通用的降维工具。在我们处理高维数据的时候，为了能降低后续计算的复杂度，在“预处理”阶段通常要先对原始数据进行降维，而PCA就是干这个事的。本质上讲，PCA就是将高维的数据通过线性变换投影到低维空间上去，但这个投影可不是随便投投，要遵循一个指导思想，那就是：找出最能够代表原始数据的投影方法

。这里怎么理解这个思想呢？“最能代表原始数据”希望降维后的数据不能失真，也就是说，被PCA降掉的那些维度只能是那些

噪声

或是

冗余的数据。这里的噪声和冗余我认为可以这样认识：噪声

：我们常说“噪音污染”，意思就是“噪声”干扰我们想听到的真正声音。同样，假设样本中某个主要的维度A，它能代表原始数据，是“我们真正想听到的东西”，它本身含有的“能量”(即该维度的方差，为啥？别急，后文该解释的时候就有啦~)本来应该是很大的，但由于它与其他维度有那么一些千丝万缕的相关性，受到这些个相关维度的干扰，它的能量被削弱了，我们就希望通过PCA处理后，使维度A与其他维度的相关性尽可能减弱，进而恢复维度A应有的能量，让我们“听的更清楚”！冗余：冗余也就是多余的意思，就是有它没它都一样，放着就是占地方。同样，假如样本中有些个维度，在所有的样本上变化不明显(极端情况：在所有的样本中该维度都等于同一个数)，也就是说该维度上的方差接近于零，那么显然它对区分不同的样本丝毫起不到任何作用，这个维度即是冗余的，有它没它一个样，所以PCA应该去掉这些维度。这么一分析，那么PCA的最终目的就是“降噪”和消灭这些“冗余”的维度，以使降低维度的同时保存数据原有的特征不失真。后面我们将结合例子继续讨论。协方差矩阵——PCA实现的关键前面我们说了，PCA的目的就是“降噪”和“去冗余”。“降噪”的目的就是使保留下来的维度间的相关性尽可能小，而“去冗余”的目的就是使保留下来的维度含有的“能量”即方差尽可能大。那首先的首先，我们得需要知道各维度间的相关性以及个维度上的方差啊！那有什么数据结构能同时表现不同维度间的相关性以及各个维度上的方差呢？自然是非协方差矩阵莫属。回忆下

浅谈协方差矩阵

的内容，协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间。协方差矩阵的主对角线上的元素是各个维度上的方差(即能量)，其他元素是两两维度间的协方差(即相关性)。我们要的东西协方差矩阵都有了，先来看“降噪”，让保留下的不同维度间的相关性尽可能小，也就是说让协方差矩阵中非对角线元素都基本为零。达到这个目的的方式自然不用说，线代中讲的很明确——矩阵对角化。而对角化后得到的矩阵，其对角线上是协方差矩阵的特征值，它还有两个身份：首先，它还是各个维度上的新方差；其次，它是各个维度本身应该拥有的能量(能量的概念伴随特征值而来)。这也就是我们为何在前面称“方差”为“能量”的原因。也许第二点可能存在疑问，但我们应该注意到这个事实，通过对角化后，剩余维度间的相关性已经减到最弱，已经不会再受“噪声”的影响了，故此时拥有的能量应该比先前大了。看完了“降噪”，我们的“去冗余”还没完呢。对角化后的协方差矩阵，对角线上较小的新方差对应的就是那些该去掉的维度。所以我们只取那些含有较大能量(特征值)的维度，其余的就舍掉即可。PCA的本质其实就是对角化协方差矩阵。下面就让我们跟着上面的感觉来推推公式吧。假设我们有一个样本集X，里面有N个样本，每个样本的维度为d。即：X={X1,…,XN}Xi=(xi1,…,xid)∈Rd,i=1,…,N将这些样本组织成样本矩阵的形式，即每行为一个样本，每一列为一个维度，得到样本矩阵S：S∈RN×d。我们先将样本进行中心化，即保证每个维度的均值为零，只需让矩阵的每一列

减去对应的均值即可。很多算法都会先将样本中心化，以保证所有维度上的偏移都是以零为基点的。然后，对样本矩阵计算其协方差矩阵，按照《浅谈协方差矩阵》里末尾的update，我们知道，协方差矩阵可以简单的按下式计算得到：C=STSN−1C∈Rd×下面，根据我们上文的推理，将协方差矩阵C对角化。注意到，这里的矩阵C是是对称矩阵，对称矩阵对角化就是找到一个正交矩阵P，满足：PTCP=Λ。具体操作是：先对C进行特征值分解，得到特征值矩阵(对角阵)即为

Λ，得到特征向量矩阵并正交化即为

P。显然，P,Λ∈Rd×d。假如我们取最大的前p(p<d)个特征值对应的维度，那么这个p个特征值组成了新的对角阵

Λ1∈Rp×p，对应的p个特征向量组成了新的特征向量矩阵

P1∈Rd×p。实际上，这个新的特征向量矩阵

P1

就是投影矩阵，为什么这么说呢？假设PCA降维后的样本矩阵为

S1，显然，根据PCA的目的，S1

中的各个维度间的协方差基本为零，也就是说，S1

的协方差矩阵应该为

Λ1。即满足：ST1S1N−1=Λ1而我们又有公式：PTCP=Λ⇒PT1CP1=Λ1代入可得：ST1S1N−1=Λ1=PT1CP1=PT1(STSN−1)P1=(SP1)T(SP1)N−1⇒S1=SP1S1∈RN×p由于样本矩阵

SN×d

的每一行是一个样本，特征向量矩阵

P1(d×p)

的每一列是一个特征向量。右乘

P1

相当于每个样本以

P1

的特征向量为基进行线性变换，得到的新样本矩阵

S1∈RN×p

中每个样本的维数变为了p，完成了降维操作。实际上，P1

中的特征向量就是低维空间新的坐标系，称之为“主成分”。这就是“主成分分析”的