协方差cov计算公式

编号：时间：2021年x月x日天涯浪子页码：第页协方差cov计算公式

第一篇协方差cov计算公式:协方差与协方差矩阵标签：协方差协方差矩阵统计引言最近在看主成分分析（PCA），其中有一步是计算样本各维度的协方差矩阵。以前在看算法介绍时，也经常遇到，现找了些资料复习，总结如下。协方差通常，在提到协方差的时候，需要对其进一步区分。（1）随机变量的协方差。跟数学期望、方差一样，是分布的一个总体参数。（2）样本的协方差。是样本集的一个统计量，可作为联合分布总体参数的一个估计。在实际中计算的通常是样本的协方差。随机变量的协方差在概率论和统计中，协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关，协方差越大，完全线性无关，协方差为零。定义如下。cov⁡(X,Y)=E⁡[(X−E⁡[X])(Y−E⁡[Y])]当X，Y是同一个随机变量时，X与其自身的协方差就是X的方差，可以说方差是协方差的一个特例。cov⁡(X,X)=E⁡[(X−E⁡[X])(X−E⁡[X])]或var⁡(X)=cov⁡(X,X)=E⁡[(X−E⁡[X])2]由于随机变量的取值范围不同，两个协方差不具备可比性。如X，Y，Z分别是三个随机变量，想要比较X与Y的线性相关程度强，还是X与Z的线性相关程度强，通过cov⁡(X,Y)与cov⁡(X,Z)无法直接比较。定义相关系数η为η=cov⁡(X,Y)var⁡(X)⋅var⁡(Y)

通过X的方差var⁡(X)与Y的方差var⁡(Y)对协方差cov⁡(X,Y)归一化，得到相关系数η，η的取值范围是[−1,1]。1表示完全线性相关，−1表示完全线性负相关，0表示线性无关。线性无关并不代表完全无关，更不代表相互独立。样本的协方差在实际中，通常我们手头会有一些样本，样本有多个属性，每个样本可以看成一个多维随机变量的样本点，我们需要分析两个维度之间的线性关系。协方差及相关系数是度量随机变量间线性关系的参数，由于不知道具体的分布，只能通过样本来进行估计。设样本对应的多维随机变量为X=[X1,X2,X3,...,Xn]T，样本集合为{x⋅j=[x1j,x2j,...,xnj]T|1⩽j⩽m}，m为样本数量。与样本方差的计算相似，a和b两个维度样本的协方差公式为，其中1⩽a⩽n，1⩽b⩽n，n为样本维度qab=∑j=1m(xaj−x¯a)(xbj−x¯b)m−1这里分母为m−1是因为随机变量的数学期望未知，以样本均值代替，自由度减一。协方差矩阵多维随机变量的协方差矩阵对多维随机变量X=[X1,X2,X3,...,Xn]T，我们往往需要计算各维度两两之间的协方差，这样各协方差组成了一个n×n的矩阵，称为协方差矩阵。协方差矩阵是个对称矩阵，对角线上的元素是各维度上随机变量的方差。我们定义协方差矩阵为Σ，这个符号与求和∑相同，需要根据上下文区分。矩阵内的元素Σij为Σij=cov⁡(Xi,Xj)=E⁡[(Xi−E⁡[Xi])(Xj−E⁡[Xj])]这样这个矩阵为Σ=E⁡[(X−E⁡[X])(X−E⁡[X])T]=[cov⁡(X1,X1)cov⁡(X1,X2)⋯cov⁡(X1,Xn)cov⁡(X2,X1)cov⁡(X2,X2)⋯cov⁡(X2,Xn)⋮⋮⋱⋮cov⁡(Xn,X1)cov⁡(Xn,X2)⋯cov⁡(Xn,Xn)]=[E⁡[(X1−E⁡[X1])(X1−E⁡[X1])]E⁡[(X1−E⁡[X1])(X2−E⁡[X2])]⋯E⁡[(X1−E⁡[X1])(Xn−E⁡[Xn])]E⁡[(X2−E⁡[X2])(X1−E⁡[X1])]E⁡[(X2−E⁡[X2])(X2−E⁡[X2])]⋯E⁡[(X2−E⁡[X2])(Xn−E⁡[Xn])]⋮⋮⋱⋮E⁡[(Xn−E⁡[Xn])(X1−E⁡[X1])]E⁡[(Xn−E⁡[Xn])(X2−E⁡[X2])]⋯E⁡[(Xn−E⁡[Xn])(Xn−E⁡[Xn])]]样本的协方差矩阵与上面的协方差矩阵相同，只是矩阵内各元素以样本的协方差替换。样本集合为{x⋅j=[x1j,x2j,...,xnj]T|1⩽j⩽m}，m为样本数量，所有样本可以表示成一个n×m的矩阵。我们以Σ^表示样本的协方差矩阵，与Σ区分。Σ^=[q11q12⋯q1nq21q21⋯q2n⋮⋮⋱⋮qn1qn2⋯qnn]=1m−1[∑j=1m(x1j−x¯1)(x1j−x¯1)∑j=1m(x1j−x¯1)(x2j−x¯2)⋯∑j=1m(x1j−x¯1)(xnj−x¯n)∑j=1m(x2j−x¯2)(x1j−x¯1)∑j=1m(x2j−x¯2)(x2j−x¯2)⋯∑j=1m(x2j−x¯2)(xnj−x¯n)⋮⋮⋱⋮∑j=1m(xnj−x¯n)(x1j−x¯1)∑j=1m(xnj−x¯n)(x2j−x¯2)⋯∑j=1m(xnj−x¯n)(xnj−x¯n)]=1m−1∑j=1m(x⋅j−x¯)(x⋅j−x¯)T公式中m为样本数量，x¯为样本的均值，是一个列向量，x⋅j为第j个样本，也是一个列向量。在写程序计算样本的协方差矩阵时，我们通常用后一种向量形式计算。一个原因是代码更紧凑清晰，另一个原因是计算机对矩阵及向量运算有大量的优化，效率高于在代码中计算每个元素。需要注意的是，协方差矩阵是计算样本不同维度之间的协方差，而不是对不同样本计算，所以协方差矩阵的大小与维度相同。很多时候我们只关注不同维度间的线性关系，且要求这种线性关系可以互相比较。所以，在计算协方差矩阵之前，通常会对样本进行归一化，包括两部分：y⋅j=x⋅j−x¯。即对样本进行平移，使其重心在原点；zi⋅=yi⋅/σi。其中σi是维度i的标准差。这样消除了数值大小的影响。这样，协方差矩阵Σ^可以写成Σ^=1m−1∑j=1mz⋅jz⋅jT该矩阵内的元素具有可比性。

第二篇协方差cov计算公式:终于明白协方差的意义了协方差代表了两个变量之间的是否同时偏离均值。

如果正相关，这个计算公式，每个样本对（Xi,Yi）,每个求和项大部分都是正数，即两个同方向偏离各自均值，而不同时偏离的也有，但是少，这样当样本多时，总和结果为正。下面这个图就很直观。下面转载自：/wuhzossibility/article/details/8087863在概率论中，两个随机变量X与Y之间相互关系，大致有下列3种情况：当X,Y的联合分布像上图那样时，我们可以看出，大致上有：X越大

Y也越大，X越小

Y也越小，这种情况，我们称为“正相关”。当X,Y的联合分布像上图那样时，我们可以看出，大致上有：X越大Y反而越小，X越小Y反而越大，这种情况，我们称为“负相关”。当X,Y

的联合分布像上图那样时，我们可以看出：既不是X

越大Y也越大，也不是X越大Y反而越小，这种情况我们称为“不相关”。怎样将这3种相关情况，用一个简单的数字表达出来呢？在图中的区域（1）中，有XEX，Y-EY0，所以(X-EX)(Y-EY)0；在图中的区域（2）中，有

X0，所以(X-EX)(Y-EY)在图中的区域（3）中，有

X0所以(X-EX)(Y-EY)0；在图中的区域（4）中，有

XEX，Y-EY0所以(X-EX)(Y-EY)。当X

与Y

正相关时，它们的分布大部分在区域（1）和（3）中，小部分在区域（2）和（4）中，所以平均来说，有E(X-EX)(Y-EY)0

。当

X与

Y负相关时，它们的分布大部分在区域（2）和（4）中，小部分在区域（1）和（3）中，所以平均来说，有(X-EX)(Y-EY)

。当

X与

Y不相关时，它们在区域（1）和（3）中的分布，与在区域（2）和（4）中的分布几乎一样多，所以平均来说，有(X-EX)(Y-EY)=0

。所以，我们可以定义一个表示X,Y

相互关系的数字特征，也就是协方差cov(X,Y)=E(X-EX)(Y-EY)。当

cov(X,Y)0时，表明

X与Y

正相关；当

cov(X,Y)时，表明X与Y负相关；当

cov(X,Y)=0时，表明X与Y不相关。这就是协方差的意义。

第三篇协方差cov计算公式:Matlab求方差，均值，均方差，协方差的函数转自：/s/blog_4936c31d01011v8j.html1、均值数学定义：

Matlab函数：meanX=[1,2,3]mean(X)=2如果X是一个矩阵，则其均值是一个向量组。mean(X,1)为列向量的均值，mean(X,2)为行向量的均值。X=[123

456]mean(X,1)=[2.5,3.5,4.5]mean(X,2)=[2

5]若要求整个矩阵的均值，则为mean(mean(X))。mean(mean(X))=3.5也可使用mean2函数：mean2(X)=3.5median，求一组数据的中值，用法与mean相同。X=[1,2,9]mean(X)=4median(X)=22、方差数学定义：均方差：Matlab

函数：var要注意的是var函数所采用公式中，分母不是

，而是

。这是因为var函数实际上求的并不是方差，而是误差理论中“有限次测量数据的标准偏差的估计值”。X=[1,2,3,4]var(X)=1.6667sum((X(1,:)-mean(X)).^2)/length(X)=1.2500sum((X(1,:)-mean(X)).^2)/(length(X)-1)=1.6667var没有求矩阵的方差功能，可使用std先求均方差，再平方得到方差。std，均方差，std(X,0,1)求列向量方差，std(X,0,2)求行向量方差。X=[12

34]std(X,0,1)=1.4142

1.4142std(X,0,2)=0.7071

0.7071若要求整个矩阵所有元素的均方差，则要使用std2函数：std2(X)=1.29104、协方差矩阵A=[61.45,55.9,61.95,59,58.14,53.61,55.48,54.21,61.52,54.92];B=[40.36,39.8,49.2,48,51.5,49.39,51.13,58.06,61,62.35];C=[8.61,8.91,10.43,13.32,13.48,15.75,18.14,19.95,21.95,23.53];D=[14.31,14.72,15.28,15.91,14.67,15,15.86,15.16,13.72,12.94];E=[7.67,7.75,8.15,9.24,10.68,10.58,10.31,10,8.91,8.51];q=[A",B",C",D",E"];w=cov(q)w=

10.3710

-4.7446