高阶谱高阶统计量的定义与性质

1、第1章 高阶统计H的定义与性质1.1准备知识1. 随机变量的特征函数若随机变量x的分布函数为F (x),则称：.：,( ,)=Eej X' = Jej XdF (x) = j二ej x f(x)dx为x的特征函数。其中f(x)为概率密度函数。离散情况：中(切)=Ee 皿=£ e j"k pk, pk = p x = xk k特征函数。(仁)是概率密度f (x)的付里叶变换。例：设xN(a,<!2),则特征函数为，/ 、二 1-Lx _a )2/- b x .y( ) =e - e dx'=. 2 二二令 z = (x -a) / ®2。,贝U

2、1：.,，(，):根据公式：LK2 Bx _Cx , dxAC -B2：e,则16122=e 2。右a = o，贝U中(co)2. 多维随机变量的特征函数设随机变量x1 , x2 ,xn联合概率分布函数为F*,x2，xQ ,则联合特征函数为啊林。2,，斜)=Eej("切2"")= ej( 1x1 "2、2nxn)dF (x1,x2 / ,xn)令 X =x”x2，xnT , CO =3,切2,斜，则矩阵形式n:'，kxk或中(叫，002，切n)=匚" Je k-f(x1，xn)dx1,，dxn标量形式其中，f （x） = f （x1 ,

3、x2，Xn）为联合概率密度函数。例：设n维高斯随机变量为x =Xi, X2,，Xn T , a = a1 ,a?,，a” TC1 n |C nn JCllC12c =-Cn1Cn 2Cik = cov Xi ,Xk = E( Xi - ai )(Xk - ak)x的概率密度为P( x)(2 二)1 /2 c1 , 一、T , _、 eXp一(xa) c(xa)2x的特征函数为中(w) = eXp矩阵形式其中，3 =仁1,切2,，。nF ,n. n n,_1 _ _中（叫，O2,'",On）=eXpJj£ ai -一 ££ Gj。饥,2j兰3. 随

4、机变量的第二特征函数定义：特征函数的对数为第二特征函数为中 （，） =ln ：.：（，）（1）单变量高斯随机过程的第二特征函数标量形式22j a 二 I122，】'(，)= In e= j .，a - 2(2) 多变量情形 n. n n-1 -w,'" ,n) = a'i '.一 ：_ C.j1.2高阶矩与高阶累积量定义1. 单个随机变量情形（1）高阶矩定义随机变量x的k阶矩定义为mk =EXk=Xk p(X)dX皿(1.1)显然m° =1 , m =n = Ex。随机变量x的k阶中心矩定义为_k二k孔=E(x 一) = (x 一)p(x)d

5、x(1.2)J皿由式(1.2)可见，& =1, M =。，卜2 =b2。若mk(k =1,2，n)存在，则x的特征函数")可按泰勒级数展开，即n：.：，(，)=1 (j' .)k QC -n)(1.3)kk!并且mk与中(切)的k阶导数之间的关系为mk =(j)k=( j)kk(0), kn(1.4)d少炉(2) 高阶累积量定义x的第二特征函数 甲(切)按泰勒级数展开，有n§(,) = in *(,)=',史(j ，)k Q (，n)(1.5)k z1 k!并且Ck与甲(切)的k阶导数之间的关系为1 d k1dk“r(，).Ck =r I InC1

6、(切)= |k=( j)中 (0), k 苴n (1.6)j >-炬j!伯炉Ck称为随机变量x的k阶累积量，实际上由 中(0) =1及中® )的连续性，存在6 A。，使。Y&时，中()#0，故第二特征函数枣(向)= ln中(。)对。Y&有意义且单值(只考虑对数函数的主值)，In中)的前n阶导数在缶=0处存在，故Ck 也右在O(3) 二者关系下面推导Ck与mk之间的关系。形式地在式(2.3)与式(2.5)中令nT « ,并 利用,、二 mkkCkk“( ，)= 1(j ) = exp(j )COC kk二1(j )k ± k!k ±

7、k!ILk 土 k!+ 1底如成十十【E室(jH ' +2! ILk* k!n! |Lj k!(1.7)比较上式中各(g)k(k =1,2，)同籍项系数，得k阶累积量与k阶矩的关系如下:2 222C2=m2m =Ex(Ex)=E(xEx) 二23 3233.C3 =m3 _3mm2 - 2m1 = E x -3ExE(x ) - 2(Ex)= E( x -Ex) - 七C4 = m 4 3m 2 4 m m3 12 m；m 2 6 m；工 E ( x E x) 4 二七右' Ex=n=0,贝 UCi=m=032422C3 = m3 = Ex C4 = m4-3m2 = Ex -

8、3（Ex ）由上可见，当随机变量x的均值为零时，其前三阶累积量与前三阶矩相同, 而四阶累积量与相应的高阶矩不相同。2. 多个随机变量情形（1）高阶矩给定n维随机变量（xi,x2-',xn）,其联合特征函数为：'（.，1 ,，2,，n） = Eexp j（，ixi ，2乂2 . .、xn）（1.8）其第二联合特征函数为，1" W,，n） =ln n。、，2,，、）（1.9）可见，联合特征函数1,句2,，斜）就是随机变量（xi，x2，xn）的联合概率密度函数p（xi，x2，,xn）的n维付里叶变换。对式（1.8）与（1.9）分别按泰勒级数展开，则阶数=k1 +k2 +kn

9、的联合矩可用联合特征函数 中（知心2,，必）定义为 I k1 k2. knr "'（.、，. W，.，n）m、k2 kn 一 Ex1 x2xn 一（一 j）kk2k（1.10）12 ni,:1:":"?-12n E= : Q（2）高阶累积量同样地，阶数r +k2 +牌的联合累积量可用第二联合特征函数甲（切1，。2,顶n）定义为Ck1k/ 'k= (j)r.】（W，、）,.、r 八"。/，"，n) =(j) 3,2 =. = n=0(1.11)(3) 二者关系联合累积量ckik,.kn可用联合矩mkik/Jkn的多项式来表示，但其

10、一般表达式相 当复杂，这里不加详述，仅给出二阶、三阶和四阶联合累积量与其对应阶次的 联合矩之间的关系。Exix4Ex2x3设x1,x2,x3和x4均为零均值随机变量，贝Uc” 二 cum (为，乂2) = Exx2(1.12a)c111 cum (x1 , x2 , X3) = Ex1x2x3(1.12b)C1111=cum (x1, x2, x3, x4)= Exix2x3x4】 -Exix2】Ex3x4 -Exix3】Ex2x4(1.12c)对丁非零均值随机变量，则式(1.12)中用xj-Ex代替xj即可。与单个变 量情形类似，前三阶联合累积量与前三阶联合矩相同，而四阶及高丁四阶的联 合累

11、积量则与相应阶次的联合矩不同。注意，式 (1.12)中采用cum()表示联合 累积量的方法在以后将时常用到。3. 平稳随机过程的高阶累积量设x(n)为零均值k阶平稳随机过程，则该过程的k阶累积量ck,x(m1, m2,，mk)定义为随机变量 x(n), x(n +m),，x(n + mk)的k阶联合累积量，即。小(m，m2 ,，mk)=cum (x(n), x(n + m),，x(n + m)(1.13)而该过程的k阶矩m k,x (m1, m 2 ,m j)则定义为随机变量 x(n), x(n +mQ,x(n +mk)的 k 阶联合矩，即mk,x(m，m2,，mk)=mom (x(n), x

12、(n + m),，x(n + mj)(1.14)这里， mom ( ) 表小联合矩。由丁x(n)是k阶平稳的，故x(n)的k阶累积量和k阶矩仅 仅是时延mm2,，mk的函数，而与时刻n无关，其二阶、三阶和四阶累积量分别为C2,x(m) =Ex(n)x(n 十 m)(1.15a)c3,x(m1,m2) = Ex(n)x(n + m1)x(n + m2)(1.15b)C4,x (mi, m2,，m3) = Ex(n) x(n + mD x(n + m2) x(n + m3) C2,x (mi)C2,x(m2 m3)-C2,x(m2)C2,x(m3 m1)c2,x(m3)c2,x(m1 m2)(1.

13、15c)可以看出，(x(n)的二阶累积量正好就是其自相关函数，三阶累积量也正好等丁其三阶矩，而(x(n)的四阶累积量则与其四阶矩不一样，为了得到四阶累积量，必须同时知道四阶矩和自相关函数。1.3高阶累积量的性质高阶累积量具有下列重要特性：(1) 设九(i =1,2，k)为常数，xji =1,2，k)为随机变量，则kcum (，1 x1 " ,，k xk) ： j cum (x1，,xk)(2) 累积量关丁变量对称，即cum (x1，xk) = cum (x., xi2,xik)其中们，ik)为(1,，k)中的任意一种排列。(3) 累积量关丁变量具有可加性，即cum (x0 , y0,

14、 z1，zk) = cum (x0, z1，,zk ) cum (y 0, z1，zk)(4) 如果a为常数，则cum (：，' z1, z2,zk) = cum ( z1, z2 "，, zk)(5)如果随机变量xi =1,2，k)与随机变量yi(i=1,2，k)相互独立,则cum (x1 y1 ,xk y k) = cum (x1，,xk) cum (y 1,yk) 如果随机变量xi(i=1,2,-,k)中某个子集与补集相互独立，贝Ucum （x1,，xk） = 01.4高斯过程的高阶累积量1. 单个高斯随机变量情形设随机变量x服从高斯分布N(0,o2),即x的概率密度函

15、数为2xp(x)=二 e W .2:.22夕CO 故有、(.,)=£ 2x的第二特征函数为22'】（ ,）= In 方（,）=2(1.16)利用累积量Ck与枣()的关系式(1.6)，并比较(1.6)与(1.16)两式，可以 得到随机变量x的各阶累积量为2C1=0 , c2=。, ck=0, k 2由此，我们有下列结论：(1) 高斯随机变量x的一阶累积量C1和二阶累积量C2恰好就是x的均值和 方差。(2) 高斯随机变量x的高阶累积量Ck(k>2)等丁零。(3) 由丁高斯随机变量x的各阶矩为1，3 ，(k 1)crk, k为偶数mk = Exk = v0,k为奇数可见，高阶

16、累积量与高阶矩不一样。由丁高斯随机变量x的高阶矩并不比其 二阶矩多提供信息，它仍取决丁二阶矩的统计知识 。2,所以人们宁愿选择高阶 累积量这一统计量，直接把多余的信息用零来处理。2. 高斯随机过程情形先讨论n维高斯随机欠量X = x，x2，xnT ,设其均值欠量为a =a，a2,，协方差矩阵为其中C11C21Cn1C12C22Cn 2Cik = E(Xj ai)(XkC1 n |C2 nCnn-ak) i, k = 1,2，nn维高斯随机变量x的联合概率密度函数为p(x) = (2 二)1,、-、.eXp一一(xa) c (xa) s2x的联合特征函数为1 Tco co C co2其中，co

17、=切1 ,与2，nTx的第二联合特征函数为甲(3) =ln( 3) =j a1 T-co co C co2n=j! ai ii 41 n n'、'、Cij，i，j2 i 注 j T由丁阶数=k1 +k2 +kn的联合累积量C k1 k2 k可由第二特征函数定义为rk1kkn.二；""kn(1) r丁是，n维高斯随机变量（X1，X2，Xn）的各阶累积量为:即k1,k2,，kn中某个值取1（设ki=1）,而其余值为零，丁是(2) r、（iCQ-Cq.)")'i=ai = EXi 1 = 2.三=n =0这有两种情况:= 1,2，n）中某两个值取

18、1(设 ki = k j= 1，i # j ）,其余值为零，这：V)(-J)(:"i j=Cj =E(Xj-ai)(x j - a j) i = j上式利用了关系式G =cij 一 cji o2） kji =1,2，n中某个值取2（设ki = 2 ）,其余值为零,这时2,、2 ()f2】C0. 2 0=(-j) -2- cii = E( Xi - a i)-"run,(3) r >3 ,由丁蜜(w)是关丁自变量切i (i =1,2，n)的二次多项式，因而枣(o) 关丁自变量的三阶或三阶以上 (偏)导数等丁零，因而x的三阶或三阶以上联合 累积量等丁零，即Ckw = 0，

19、 ki k2 kn _ 3由上一节关丁随机过程的累积量的定义可知，对丁高斯随机过程 x(n),其阶次大丁 2的k阶累积量ck,x (m1 ,m2,，mk)也为零，即ck,x (m1 , m2，mk如=0, k 芝 3(1.17)由丁高斯过程的高阶累积量(当阶次大丁 2时)等丁零，而对丁非高斯过 程，至少存在着某个大丁2的阶次k,其k阶累积量不等丁零。因此，利用高阶 累积量可以自动地抑制高斯背景噪声(有色或白色)的影响，建立高斯噪声下 的非高斯信号模型，提取高斯噪声中的非高斯信号(包括谐波信号)。正因为这样，高阶累积量这一统计量已日益受到人们的重视并已成为信号处理中一种非 常有用的工具。因此，文

20、中在今后的算法研究中均代用高阶累积量而不采用高 阶矩。1.5双谱及其性质1.高阶谱的定义设 x(n)为零均值平稳随机过程，则其k阶累积量。小广m2,，m”)的(k -1)维付里叶变换定义为x(n)的k阶谱(kth-order spectrum),即Sk,x( 1, 2, k)='，二-L _Ck,x(m1,m2, ,mj)exp -广，皿m 一.：mk 工 一.：_ i T(1.18)通常，Sk,x(、,、："、)为复数，其存在的充分必要条件是Ck,x(m1, m2,m.绝对可和，即oO CO Z Z Ck,x (m1 ,m2 ,，m j) J m1 -mk二高阶谱乂称作多谱

21、(Polyspectrum)，通常k阶谱对应丁(k-1)谱。例如三阶 谱对应双谱(Bispectrum)，四阶谱对应丁三谱(Trispectrum),今后我们大多数 采用多谱这一概念。取k =2,3,4时，式(1.18)分别简化为功率谱、双谱和三谱公式，即k =2,为功率谱S2,x(。)= £ C2,x(m)exp jcom(1.19)k =3 ,为双谱QO QOS3,x(Oi2)=瓦 Z C3,x(m，m?) exp L (。河1 十缶2m?)】(1.20)k =4,为三谱QO oO OOS4,x(。，切2 ,切3) =， z Z C4,x (m. m2, m3) exp L j

22、(切1m + 与2m2 +3m3)(1.21)容易看出，式(1.19)就是维纳-辛钦定理。可见，功率谱也是高阶谱的一种 特殊形式。2.双谱的性质在高阶谱中，双谱处理方法最简单，且含有功率谱中所没有的相位信息， 是高阶谱研究中的“热点”。因此下面着重研究双谱及其性质。设x(n)为零均值、三阶实平稳随机过程，其自相关函数和功率谱分别为rx (m) =c2,x (m) = Ex(n)x(n +m)(1.22)QOSC ) = S2,xC ) -、' rx(m)exp - j，m而其三阶累积量和双谱分别为C3,x(m，m2) =Ex(n)x(n - m1 )x(n - m2)(1.23)QO

23、O0B ('，1 ,、；2 ) = S3,x ('，1 , '，2 ) = '' C3,x (m 1 , m 2) exp - j('，1m1 ，2m2)(1.24)由式(1.23)可知，三阶累积量C3,x(m1, m2)具有如下对称性：C3,x(m，m2) =C3,x(m2,mQ .八一m2,m 一 m2) =C3,x(m2 m. m)= C3,x（mi m2，m2）=C3,x（-mi，m2 5）(1.25)由式(1.24)双谱的定义及式(1.25)三阶累积量的对称性可知：(1) B 1 2)通常是复数，即包含幅度和相位。B(C0i，C0 2)

24、 = B(01，C0 2) exP jB怎1,2】(2) B(物心2)是以2兀为周期的双周期函数，即B(，1，,2) = B(，12 二，2 2)(3) b (切1，切2)具有如下对称性*B (.，1，.，2 ) = B(，2，1) = B ( _，2，-,，1 ) = B (一、，_，2)=B(.，1 一 ,，2， 2) = B(，1,，1 一 ,，2 )=B( -，1 -，2，1) = B(，2，- 1 -，2 )(1.26)此外，双谱在实际应用中还具有如下重要特性：(1) 高斯过程：如果x(n)为零均值、高斯平稳随机过程，则对丁所有m1，m2，都有 C3，x(m1，m2) = 0，因此

25、BQo)=。(2) 非高斯白噪声过程：如果w(n)是具有Ew(n) =0 ,Ew(n)w(n+m)=Q$(m) , Ew(n)w(n + m1)w(n + m2) = B5 (m1，m2)的非局斯白噪声过程，则其功率谱和双谱分别为一直线与一平面， 即S®) =Q , b(饥，2) = P c(3) 非高斯白噪声通过线性系统：设线性系统的传递函数为H(z),系统的输入为零均值非高斯白噪声w(n),且Ew(n) = 0 , Ew2(n),Ew3(n)=：二，则系统输出 y(n)的功率谱与双谱分别为22S(CO ) = CT w H (切)(1.27)*B( 1， 2) = %wH (、)

26、H ( 2)H (、"2)(1.28)设H (切)=H (句)exp j%切)(1.29)B( 1, ，2)=B(，1 '，2 ) eXP j B ( 1 r 2 )(1.30)则B(切1,与 2)=|?3w H 仙1) H (切 2)| H (切1 +(d2)(2.31)'、(，1, ，2)= (，1 )''(，2 ) - '(，1 ，2 )(2.32)由上可见，双谱的幅度谱和功率谱均由H (由)决定，因而双谱的幅度谱与功率谱的信息一样多。但功率谱不含相位信息，而双谱则包含相位信息，这就使 双谱在信号处理领域得到越来越多的应用，因为有些场合如

27、对图像处理来说， 相位信息比幅度信息还重要。(4) 非最小相位系统的辨识双谱含有相位信息，因此在非最小相位系统辨识中变得十分有用，现用一个简单的例子加以说明。设输入为非高斯平稳白噪声过程w(n)，它有 Ew(n) =0 , Ew2(n) =。：，Ew3(n) =Lw。线性系统为下列三种情形的二阶FIR系统。1) 最小相位系统H 1(z) = (1 az)(1 -bz)，0 a 1,0 b 1系统输出为y1 (n) = w(n) - (a，b) w(n -1)，abw (n - 2)2) 最大相位系统H 2(z) = (1 -az)(1 -bz)系统输出为y2(n) = w(n) (a b)w(

28、n 1) abw (n 2)3) 混合相位系统H 3(z) =(1 -az)(1 - bz a)系统输出为y3 (n) = -aw (n 1)(1 , ab )w( n) bw (n 1)输出 y1 (n) , y2 (n)及 y3(n)具有相同的自相关序歹U,即r (m ) = E y1 (n) y1 (n m) = E y2 (n) y2 (n m) = E y 3( n) y3 (n m )2222r(0) =1 a b (a b) Kw r(1) = (a - b)(1 - ab)；W,、,2r (2) = ab ；了 wr (m) = 0, m _ 3这就意味着它们具有相同的功率谱，

29、因此利用功率谱无法将三个系统区分 开来。然而利用双谱则可以区分，因为(y1(n) , y2(n)及y3(n)具有不同的三 阶累积量，见表1.1。这表明三阶累积量可以用来辨识非最小相位系统，这在地 震信号反褶积及数据通信中有重要的应用。表1.1具有相同自相关的三个系统的输出的三阶累积量累积量最小相位系统最大相位系统混合相位系统c(0,0)1 (a +b)3 +a3b3：,3w1 (a +b)3 +a3b3 %w(1 一ab )3 a3 b3：，3wc(1,1)(a +b)2 (a +b)a2b2 Lw(a +b) +ab(a +b)2：3wa(1 +ab)2 +(1 +ab)b2：3wc(2,2

30、)a%ab Y3wab 2：,3wc(1,0)-(a +b) +ab(a +b)2 %w(a +b)2 (a +b)a2b2?3wa2(1 +ab) -(1 +ab)2b%wc(2,0)ab %wa2b%w-a2%c(2,1)-(a +b) ab %w-(a + b)ab 丫3wab (1 + ab)?3w(5) 混合高斯和非高斯系统的辨识设一过程的功率谱为S®),双谱为B(叫，切2)。若与S仁)相匹配的线性系统的传递函数为H (z),即2S(CO) = H (切)(1.33)而与B (曲，加)相匹配的线性系统的传递函数为B(，1,般)=T ( .1 )T (，2 )T (、，：=)(1.34)当由式(1.33)求得的H (切)与由式(1.34)求得的T()不同时，可用来辨识高斯与 非高斯分量组合的系统。下面就来研究这个问题。考虑如图1-1所示的过程Zn ,它由两个过程组成：一为高斯白噪声 £(0 )通 过AR滤波器的输出x(n),另一为非高斯白噪声w(n)通过AR滤波器的输出y(n)。 设a(n)与w(n)相，独立,图1-1混合高斯和非高斯系统因此x(n)与y(n)相互独立。为方便起见，设 。：二了二1 , ；3w=1。于是z(n)的 双谱是x(n)和y(n)各自双谱的和，因为x(n)是高斯过程，其双谱为零，故z(n)的 双谱就是y(n)的双