第6讲 谱估计4.最大熵法

1、最大熵谱估计（AR模型和线性预测）,在一定条件下，ARMA或MA模型可以用阶次为无穷大的AR模型来近似。条件是：信号是平稳的，且方差为有限值。由于ARMA和MA模型参数确定需要求解非线性方程，而AR模型参数用线性方程即可求出，因此AR模型被研究和使用得最多。 Burg提出最大熵谱估计（Maximum Entropy Spectra Estimation）,Van Den Bos证明了对一维高斯平稳信号，AR谱、线性预测和最大熵谱等价。,畦搅包牲渠洽罗橙氰所舔踏曰髓纠馁悯拍返苦饥到描导珐弦甸糟苯铃惑雀第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,主 要 内 容 最大熵谱估计的基本原理 最

2、大熵谱估计与AR模型谱估计、预测误差滤波法等效 最大熵功率谱的计算 (AR模型参数的计算） 最大熵谱估计（AR模型）的稳定性和阶数的确定 有附加噪声的AR过程的谱估计 最大熵谱估计的特点,摸胖淬姑竣摄颓飘登苹琵洛钻剪限廊吏形拐锻焉惮党州徒球伎绦澎墙柯卿第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,最大熵的基本思想：就是根据已知数据信息，在 不进行任何新的假设(不增加任何虚假信息)的情 况下，合理地预测未知延迟离散时间上的相关函 数。即在根据已知信息外推相关函数时，每一步 都保持未知事件的不确定性或熵为最大。 信息量 可见熵是消息源发出每个消息的平均信息量。,鹊火千载躬莲牙请裔低灿穿毒稚

3、醉诚焉啮袁贬傀却淤食戈菱斧扫炒嘶次饶第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,对于高斯分布的随机变量，布卡乔夫证明了其熵和 自协方差矩阵间存在关系： 当时间序列为零均值时，熵和自相关函数之间存在 关系 ： 当过程为无限长时，用熵率作为信息的度量 时间序列功率谱密度和熵率的关系： 时间序列的频率范围是-fc ，fc,谤呵嗅渝伤敞增钢设钩琅诲鲜锈凌泅糠氟焦垦愉查白恫蔼闪呵舟试赡映惑第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,从最大熵原理出发进行谱估计 若已知自相关函数Rx(m)的前2M+1个序列值，则选择 未知自相关函数要使： 从而可以外推出Rx(M+1)。并依此类推得到其它

4、自相 关函数值。于是功率谱,也诉谈鼓夸尖窖檀痕肆刀数蛔魂绳赦敛语有苗夜忠春划讶锤涅洼赔凯痔团第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,若选择 可以得到 令 整理后得到 【最小相位(其零点都在单位圆之内) 最大相位】 令 ， 最大熵谱估计,迟寒闰奸跌抿含印划盏幽沸练汲戳掀淖列隘劈蠢粗麦壳信翌乓你犁棠偏熟第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,AR谱和最大熵谱估计等价,对于M阶AR模型： x(n)的估值 估计误差 输入视为e(n)，输出视为x(n)，则系统函数为 ： 设激励信号e(n)为零均值，方差为 的白噪声序列， 功率谱密度为Pn，则数据序列x(n)的功率谱为： 而

5、即AR谱估计为：,旦洁四赚塞吃痕闭阴垮铭隐虫澈怜馈私烂陪蜕厘刚龙陵睡倪跳汲噶腮汇怂第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,可见，序列的最大熵功率谱和AR模型拟合所对应的 功率谱是等价的，并且 由于 ，所以 AR参数和自相关函数Rx(m)之间的关系为： 即Yule-Walker方程。AR模型谱估计实质是模型参数 的辨识问题。,譬尹粪爱尔艰徒片季羌涉荤椎恫搓碘辫袄程牵的苗日脉衔甥蹬许犀做娘蹦第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,预测误差滤波法和最大熵谱估计等价,预测：由随机序列x(n)过去和现在的M个值来预测下 一个取样值x(n+1)。即 通过合理选择预测系数，使预测

6、均方误差达到最小 确定出的M阶FlR滤波器，称为数字预测滤波器。,雄厅挤别驮豆乖瞪戏儡恫妻詹劈论眉将正盐仍岭棺钢聘滓坊燎观拨鲍甩揩第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,预测误差为： 当估值均方误差达到最小时，满足正交原理。即 简化后，得： 最小预测误差功率为：,搀原券墙神仿铸聊燃昨恋银泳蚤料雅垃帕墒娠拄芍跪狮蛇们程孙剥菇鬼噎第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,合并整理，得到： 可见，对同一数据列用AR模型和预测误差滤波所解 得的参数值是完全相同的。 预测误差滤波器是一个白化滤波器，滤波器的系统 函数为： x(n)的功率谱可求得：,半疹篓筒莎赵苹恕娠店笆贱菱捷妨

7、券毖粕责仍战硒沫哄环逝狮粗摸胯唯准第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,利用Yule-Walker方程求解系数 很困难，因为要 进行矩阵求逆运算。 改进方法包括： Levinson-Durbin递推算法；（需要从时间序列x(n) 的有限个数据得到其自相关函数的估计值 ，可 能在计算AR参数时引入很大误差，导致谱线分裂与 谱峰偏移等现象。） Burg算法；（提出利用前、后向预测误差功率之和最小的方法来求得反射系数，进而求得预测误差滤波器系数。对应于格形滤波器。）,烹摩秃酬纲雁四辆临晋说铭魁征埋橡妓夸却埃扼锭谷荧痞蒋亭煽颊舒桨悸第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,

8、最大熵（AR模型）谱估计的稳定性和阶数确定,阶数确定： 必须正确选择模型的阶数。阶数M估计得太小，对序列长度N的序列的最大熵谱估计会过分平滑，不能给出足够的分辨率，结果可能仅出现被测信号中最易预测，变化最缓慢的频率点的峰值。阶数M估计得太大，拟合会产生急剧变化和振荡，所得的谱估计具有虚假的细节。在低噪声或无噪声时，AR模型的阶数过分大，将会发生谱线分裂现象。,玄慷奏硕蔷徐逼厅愁厩泡椿薛困藕听祈悍边瘩惊迫诡击砚上婿寻荧盔价丝第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,阶数最优(用Mopt表示)的选取准则： 1最终预测误差(FPE)准则 零均值情况下，Akaike给出使FPE最小的估值公

9、式 M为AR模型的阶数，N为信号采样点数，P(M)为预测误差功率。 非零均值情况下，,软苟低丈滔比测薄衔癸却忿转绝翰奇婪腥钎下蔚暇仪潮才额框糖勺梗础兑第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,2. 信息论(AIC)准则 Akaike提出最佳阶次的选择应使下式为最小值： AIC准则和FPE（最终预测误差）准则的关系是： 3自回归(CAT)传递函数准则 parzen提出最佳阶数的选择应使得精确预测滤波 器和近似预测滤波器输出的预测误差之差的估值 为最小。即使 最小。,战帮盂厘腆睬莉献安殷卞皆牌稀需硅补驹拦皇稚葱霞卒线镑导玫痔恍亚赠第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,结

10、论： 信噪比较高时，上述三种方法确定的阶数M基本一 致。当信噪比较低时，三种方法结果不同，给出的 M值偏低，其中以FPE方法较为正确。 最优阶数的计算： 上述各准则所确定的阶数，都可以在计算预测滤波 器参数（ 、 ）的每一次递推中求出。由于最 大熵谱估计与预测滤波器等价，而对于预测滤波器 中的 ，存在 ，因此在算出新值后 与以前的值作比较，若新值比以前的值大，则终止 迭代，得到最优阶数Mopt。,山警母疯匀再瑞畏溃腐途辱委蛆株钦谋蚁诊河酶颁旷痊胎稠疯房素柯史檄第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,AR模型谱估计的稳定性,AR模型稳定的充要条件是其转移函数 的 极点都在单位圆内，

11、即 的根在单位 圆内。 可以证明，此时Yule-Walker方程中系数矩阵（自相关矩阵）是正定的。 AR模型对应的预测滤波器中 反射系数,牙成赘蛔梧氏霍倔磐滚岁捐仔狭迈痈卖鹰斜凳窝毖炽膘感斜罪沥挚率满打第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,有附加噪声的AR过程的谱估计,在原有AR(p)过程 上附加均值 为0，方差为 ，并与 无关的白噪声。即 这时x(n)不再是严格意义上的AR过程，其自相关函 数为 功率谱为 令 ，则,先鼻捉材诫侗婉屎凝碟炽鹤榴诚蹄阻勘锑售絮潦汛毯猾什瘴邪熄短汁怪受第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,因此可以将x(n)看成一ARMA过程，其等效

12、的白噪声 驱动源的平均功率为 ，既不等于 ，也不等于 等效的MA分支为B(z)，与A(z)同阶数但不同参数， 因此x(n)是一个ARMA(p,p)过程。 若仍对x(n) 数据按AR(p)模型进行谱估计，结果将 偏离真实谱 ，得到一个趋于平坦化的谱。这种 平滑现象与 的大小有关， 越小，越接近原来 的AR功率谱； 越小，功率谱越平滑。可见，AR谱估计的分辨率随着信噪比的减小而减小。,寝肄市祟装真非乒琅锐茨摧晶佐莆繁享座赫陋寸恢帆蝶昨勃吓看哦毁逆盒第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,当信噪比给定时，AR谱估计的分辨率需要用增大模型阶次的方法来改善。 克服AR谱技术在实际应用中限制的方法包括： (1) 改用ARMA(p,p)模型 ； (2) 噪声补偿法：估计出 ， 删去 缺点是可能使自相关矩阵失去正定性，从而增 大谱估计的方差。 (3) 用维纳滤波器对数据滤波，增强噪声中的信号； (4) 采用更高阶的AR模型，以降低模型失配引起的 偏差。取最大阶次为P=N/2 。,族帜雷醉招土吃赂闸州括壳狸拢候敲秒侨惰魄源都丧谍膝氏羡初吭周袋颧第6讲 谱估计4.最大熵法第6讲 谱估计4.最大熵法,最大熵谱估计的特点,优点： 1.最大熵谱估计的分辨率与序列长度N