现代数字信号处理基础知识.ppt

现代数字信号处理 绪论 课程介绍信号处理时域频域信号分析 FTLT FIR IIR滤波器设计 利用DFT进行频谱分析 DTFTDFTZT 本科已学知识的简单回忆 1822年法国工程师傅立叶 理解信号的组成 产生方式 提取信号的特征 依照容许的性能指标改善信号的质量 抑制噪声 干扰 其他不需要的信号 现代数字信号处理 绪论 课程介绍信号分析 本科 频域分析 包括FT ZT DTFT本课程 信号建模 AR MA 现代谱估计 超分辨 时频分析 非平稳 小波分析 可变速率处理信号滤波 本科 频率选择性滤波 包括FIR IIR本课程 最佳滤波器 自适应滤波器 同态滤波 频率分辨力低 均衡 对信号先验知识利用不够 平稳信号 固定采样频率 描述性分析 对信号与噪声特性 例如 波形特征 统计特性 考虑不够 只考虑通带 止带 过度带等特性 加性 对低频成分 频率分辨力高 时间分辨力低 对高频成分则反之 现代数字信号处理 绪论 应用领域信号分析信号 随某个参数t 时间 变化而变化的物理量x t 雷达 声纳 语音识别 资源探测 信号检测与参数估计 基于信号特征的数据压缩 预测编码 信号滤波噪声与干扰消除 信号分离 数据平滑与预测 信道均衡 多径信道模型 自适应滤波 任何物理现象 电 磁 声 光 热 机械 生物等 在数学上都可以用信号表示 y t x t n t 或y t x t d t 或y t x t d t 现代数字信号处理 绪论 课程结构安排 现代数字信号处理 绪论 Ch6另外有一门课程Ch8 自学 本课程的考核方式作业完成情况课程实验 切忌抄袭雷同 开卷考试 现代数字信号处理 绪论 后果很严重 教材 皇甫堪著 现代数字信号处理 电子工业出版社 参考书 张贤达 现代信号处理 清华大学出版社 第一章基础知识 本章的教学内容离散随机信号 过程 基础知识最佳线性估计与相关抵消Gram Schmidt正交化 第一节离散随机信号基础知识 本节的教学内容离散随机过程的基本概念基本统计特征 均值 均方值 方差 自相关序列与自协方差序列的性质功率谱概念线性系统对随机信号的响应 1随机变量与随机过程的区别与联系若某个变量x的取值是随机的 则称x为随机变量 若随机变量x取值是连续的 称为连续型随机变量 若随机变量x取值是离散的 称为离散型随机变量 第一节离散随机信号基础知识 一 离散随机过程 DiscreteRandomProcess 连续时间随机信号或连续时间随机过程若随机变量x为随时间t变化而随机变化的物理量 则称其为连续时间随机信号 记为x t 概率密度分布函数 不同取值的概率 第一节离散随机信号基础知识 性质 设t0 t1 tn 为不同的采样时刻 按先后顺序 则连续时间随机信号x t 在任意时刻tn处的取值x tn 为随机变量 记x tn 为xn或x n 离散 时间 随机信号或离散 时间 随机过程由不同时刻的随机变量按顺序排列而成的序列 如何描述离散随机信号 1 每个离散时刻的随机变量的概率密度分布或概率分布 2 不同时刻随机变量的相关性 或 第一节离散随机信号基础知识 线性系统h t 输入连续信号s t 输出信号x t s t h t n t 内部噪声 连续型 离散型随机信号举例 对输出信号x t 进行采样 tn为采样时刻 则 xn x tn n 0 1 为离散随机信号 连续型随机信号 第一节离散随机信号基础知识 进行L次输入输出试验 以每次试验开始时刻作为时间起点 tn 采样时刻 对于固定的tn以及不同的试验l xl tn 为随机变量 对于同一试验l的样本序列的不同的tn xl tn 为随机变量 x1 t x2 t xL t 称为x t 的样本函数 或现实 Xl1 xl t1 Xl2 xl t2 XlN xl tN 称为离散随机过程x tn 的样本函数 不同的实验l 得到不同的样本函数 2 离散 随机过程的概率描述概率分布函数和概率密度分布函数 第一节离散随机信号基础知识 连续取值型离散随机过程 离散取值型离散随机过程 变量的取值小于等于的概率 冲激函数 有的书上以大写表示随机变量 小写表示随机变量取值 举例1 设xn为 a b 区间上均匀分布的连续型随机变量 第一节离散随机信号基础知识 举例2 设xn为取值为0 1 2的离散型随机变量 第一节离散随机信号基础知识 3离散随机过程的联合概率分布函数与联合概率密度函数二维 第一节离散随机信号基础知识 N维 4统计独立 第一节离散随机信号基础知识 对于任何N个随机变量 则称这些随机变量统计独立 同样可定义为 举例1 设x1 x2为相互独立的正态分布随机变量 第一节离散随机信号基础知识 则 举例2 设x1 x2为相关系数为0 8的正态分布随机变量 第一节离散随机信号基础知识 则 作业 上述在举例2中 利用概率密度分布函数的积分性质证明 第一节离散随机信号基础知识 附录 自学 二维联合正态分布 第一节离散随机信号基础知识 5严格平稳随机过程 第一节离散随机信号基础知识 物理描述 如果一个离散随机过程经过任意的时间平移后 其概率统计特性保持不变 即统计特性与时间起点无关 则该随机过程严格平稳 数学描述 对于任意的采样时刻数N 时间间隔l以及采样时刻ki i 1 2 N 满足 严格平稳随机过程必定是广义平稳的性质1 一阶平稳性 第一节离散随机信号基础知识 任意采样时刻的随机变量 具有相同的概率密度分布函数以及概率分布函数 在定义中令 N 1 k1 1 l 1 2 第一节离散随机信号基础知识 根据一阶平稳性 必有 性质2 二阶平稳性 不同采样时刻的随机变量的联合概率密度分布函数或联合概率分布函数与只与时刻差有关 与时刻起点无关 即 第一节离散随机信号基础知识 在定义中 令N 2 k1 n k2 m 对于二阶平稳随机过程 相关系数只与时刻差有关 k m l 对任意的l成立或对任意的k成立 即相关函数只与起点k无关 只与时刻差n m有关 记 为 6广义平稳随机过程 第一节离散随机信号基础知识 物理描述 如果一个离散随机过程的均值函数为常数 相关函数只与时刻差有关 则该随机过程广义平稳 数学描述 严格平稳随机过程必定是广义平稳的 但反过来不一定 显然 对于实随机过程有 平稳实随机过程的相关函数为偶函数 1均值 1 随机变量的期望均值 第一节离散随机信号基础知识 二 一般离散随机过程的数值特征 2 随机变量函数的均值 3 二维随机变量函数的均值 连续型随机变量情况 离散型随机变量情况 第一节离散随机信号基础知识 对于复数随机过程情况 连续型随机变量情况 离散型随机变量情况 根据全概率公式 作业 4 期望均值的性质 第一节离散随机信号基础知识 5 两个随机变量不相关 6 两个随机变量相互独立 复随机过程情况下依然成立 实随机过程情况 复随机过程情况 附录 自学 证明 第一节离散随机信号基础知识 证 令 则 第一节离散随机信号基础知识 考虑到r 的二维联合概率密度分布函数f r 的非负性以及 cos x 1的特性 得到 当且仅当随机变量xn为一个正实随机变量rn与一个复常数的乘积 即相角 为常数时 等式成立 2均方值 MeanSquare Value 1 随机变量的均方值 第一节离散随机信号基础知识 随机变量的函数 模 实随机变量情况 复随机过程情况 实部与虚部的联合概率密度函数 实函数 作业 根据上述定义证明 第一节离散随机信号基础知识 2 随机变量的方差 练习1 1 分别根据实 复数情况进行证明 复随机变量情况 实随机变量情况 总功率 交流功率 直流功率 3自相关 AutoCorrelation 自相关函数 自相关序列 是描述同一随机过程在不同时刻的取值之间的依赖性的一个量度 第一节离散随机信号基础知识 4自协方差 AutoCovariance 若 练习1 2 根据期望均值的性质证明 表示复共轭 实随机过程情况 性质 第一节离散随机信号基础知识 第一节离散随机信号基础知识 柯西 许瓦兹不等式 证明提要 对于实随机变量情况 构造实变量t的抛物线函数 对于一切的t q t 0 则二次方程q t 0的判别式非正 练习1 3 根据提示以及复数的性质证明 n m时 显然等式成立 xn跟自身的相关性最强 对于复随机变量情况 利用性质 第一节离散随机信号基础知识 相关系数或标准协方差 性质 当且仅当时等式成立 练习1 4 根据提示证明 证明提要 1 在柯西 许瓦兹不等式中用替代 2 等式成立的条件是方程 用替代 q t 0有二重根t0 对于实以及复随机过程 利用同样的性质推广到复随机过程情况 5互相关 CrossCorrelation 互相关函数是描述两个不同随机过程之间的相关性的一种量度 第一节离散随机信号基础知识 6互协方差 CrossCovariance 若 若对所有n和m 则称两个随机过程互不相关 实随机过程情况 练习 证明 第一节离散随机信号基础知识 对于互相关函数以及互相关系数 同样具有下述性质 当且仅当与线性相关时 等式成立 相关系数为正值 负值的物理含义 xn大于均值时 ym倾向于小于均值 则相关系数极性 思考 第一节离散随机信号基础知识 注意定义上的区别 后面的变量取共轭第1个随机变量与第1个时刻变量对应 7广义平稳随机过程的数值特征如果一个离散随机过程 xn 的均值与时刻n无关 相关函数只与时间差有关 则方差也与时刻n无关 则称其为广义平稳的 第一节离散随机信号基础知识 广义平稳随机过程不一定是严格平稳过程 即它们的概率分布不一定是时不变的 对任意的n 值不变 8各态历经离散平稳随机过程假设离散随机过程x的一个现实如果N 该现实中的取值能够遍历随机过程的各种可能的取值 则称其为各态经历的 1 随机过程的时间平均 第一节离散随机信号基础知识 时间均值 现实 对随机过程x t 进行1次观测实验所获取的观测序列 样本 x1 X1 x2 X2 时间自相关函数 对随机过程的观测有时只能获得一个现实 第一节离散随机信号基础知识 2 各态历经特性 埃尔哥德性 如果广义平稳随机过程满足 性质 各态经历随机过程必定是 时间 广义平稳的 反之不一定 对任意的时间起点m 有 则称该过程各态经历 依概率收敛 第一节离散随机信号基础知识 即 对任意的m成立 当采样点数N足够大时 各态经历离散随机过程的时间均值与时间起点m无关 第一节离散随机信号基础知识 对任意的k成立 同理可以得到 练习 各态经历随机过程的 时间 自相关函数与时间起点k无关 即各态经历过程的时间自相关函数满足 时间 广义平稳性 第一节离散随机信号基础知识 举例 通常所研究的平稳随机过程都是各态经历的 可以通过其中任意的一个样本函数研究其统计特性 任意l 第一节离散随机信号基础知识 性质 各态经历随机过程的 期望 均值与 期望 相关函数可以通过样本的 时间 均值与 时间 相关函数来计算 但要求样本点数为无穷大 问题 样本点数有限则如何 只能得到 期望 均值与 期望 相关函数的估计值 任意m l 3 有限样本集合统计平均 第一节离散随机信号基础知识 假设观测值X1 X2 XN为连续时间随机过程的一个样本函数x t 的采样样本 记 偏自相关序列 练习 证明 思考及说明 如果这样定义 第一节离散随机信号基础知识 则 无偏 为什么不这样定义 1 影响功率谱的非负性 2 使得相关图与周期图不等价 影响功率谱的快速计算 3 给信号处理过程的推导带来不便 有关概念将在后面介绍 第一节离散随机信号基础知识 说明 对于实平稳随机过程 有 考虑到实平稳随机过程的偶函数特性 参见前面有关证明 在有的教材中 定义 对于实平稳随机过程 两种定义是完全等价的 本PPT不区分两种定义 对于复随机过程 两种定义得到的自相关函数互为共轭 本PPT采用第1种定义 第一节离散随机信号基础知识 性质 练习 证明 对于有限点数据的实平稳随机过程采样以及时间相关函数 有 偶函数特性 两种定义等价 第一节离散随机信号基础知识 说明 对于双边的有限点数据的实平稳随机过程采样 x n n N N 1 1 0 1 N 1 N 偶函数特性 两种定义等价 例1 1随机初始相位正弦序列其中A f Ts均为常数 是一随机变量 对于不同的样本函数中的每个n 随机地取不同的值 对于同一样本函数的不同的n 为常数 在0 2 内服从均匀分布 求其均值和自相关函数 并判断其平稳性 第一节离散随机信号基础知识 解 第一节离散随机信号基础知识 由于及所以随机初始相位正弦波是广义平稳的 第一节离散随机信号基础知识 例1 2讨论例1 1随机相位正弦波的各态遍历性 解 对于 其单一的时间样本函数为 其中为一未知常数 对x n 作时间平均 有 第一节离散随机信号基础知识 所以随机初始相位正弦波既是平稳的 也是各态遍历的 不管正弦信号的初始相位取什么值 当L足够大时 该信号能经历所有的状态 同理可以证明m 0的情况 两个联合平稳随机过程和的自相关 自协方差 自相关系数 互相关 互协方差序列分别定义为 第一节离散随机信号基础知识 三 平稳随机过程的有关序列的性质 性质1 第一节离散随机信号基础知识 性质2 均方值 性质3 练习 证明 证明举例 第一节离散随机信号基础知识 根据定义 复数性质 数学期望的性质 根据定义 共轭的数学期望 数学期望的共轭 乘法交换律 性质4 对于平稳实随机过程 第一节离散随机信号基础知识 特别 证明 假设和为平稳随机过程 构造一随机变量 另外一种证明方法 柯西 许瓦兹不等式在联合平稳情况下的特例 第一节离散随机信号基础知识 性质5 若 第一节离散随机信号基础知识 性质6 如果离散随机过程xn在不同时刻统计独立 则 练习 平稳离散随机序列平移后 其相关统计特性不变 第一节离散随机信号基础知识 性质7 对于带宽不是无穷小 功率谱不是冲激函数 的相关 不同时刻不独立 随机过程 有 时间间隔足够大 大于带宽的倒数 时 不同采样时刻的随机变量相互独立 功率谱的概念将在后面介绍 第一节离散随机信号基础知识 说明 对于联合平稳的两个随机过程 xn yn 有的教科书将互相关函数定义为 两种定义得到的互相关函数满足m m的互换关系 练习 证明 除非特别说明 本PPT采用第1种定义 第一节离散随机信号基础知识 平稳随机过程的功率谱密度 Wiener Khintchine 则总功率 功率谱密度 反映信号功率随频率的分布情况 四 功率谱 PowerSpectrum 1定义 为什么称为功率谱密度 谱 者 列其事也 功率谱 按频率列出信号功率的分布情况 1930年 第一节离散随机信号基础知识 2功率谱性质性质1 无论实序列还是复序列的 功率谱是实函数 没有相位信息性质2 功率谱非负性质3 实序列功率谱是偶函数性质4 功率谱曲线在内的面积 积分 和 等于信号的均方值或总功率 交流功率 直流功率 练习1 7 对于平稳实序列 利用定义以及相关函数的偶函数特性证明 证明见后 第一节离散随机信号基础知识 功率谱为实函数的简单证明 第一节离散随机信号基础知识 功率谱非负性质的简单证明 维纳 辛钦定理 后面还有另外两种证明 第一节离散随机信号基础知识 正则分解 Fejer Riess定理 对于实随机过程x n 相关函数的Z变换 若存在z z0的零点或极点 则必存在零点或极点z 1 z0 根据有理分数的分子 分母的因式分解 必然存在G z 对于任何关于ej 的实系数有理分数函数 满足 练习 3离散白噪声 第一节离散随机信号基础知识 白噪声的自相关函数是单位取样序列 其功率谱等于常数 白噪声在任意两个不同时刻是不相关的 最随机的 无法预测 白噪声是一理想化噪声模型 在随机信号分析中有着重要作用 白噪声中的 白 的含义 白色光 4互功率谱 第一节离散随机信号基础知识 DTFT与DFT的区别 对实序列 练习1 8 第一节离散随机信号基础知识 五 线性系统对平稳随机信号的响应 x n 为平稳随机信号 假设从 时刻开始输入 1 输出信号的时域与频域统计特性 卷积的两种定义 h n 为实的 确定性函数 对因果系统 k 0时 h k 0 第一节离散随机信号基础知识 直流电压放大系数 令 平稳随机过程通过线性系统后 输出也是平稳随机过程 第一节离散随机信号基础知识 只与时间差m有关 与起点n无关 线性系统输出的功率谱是输入的功率谱乘以系统频率响应的平方函数 第一节离散随机信号基础知识 根据卷积以及因果实系统的传递函数性质可以得到 功率放大系数 练习1 9 第一节离散随机信号基础知识 上式对任意的滤波器频率响应都成立 设h n 为带宽可变的理想带通滤波器 时等式依然成立 要求 平稳随机过程功率谱的非负性第3种证明 第一节离散随机信号基础知识 2线性系统输入与输出的互相关 3输入输出关系 第一节离散随机信号基础知识 互谱不一定是正实的 第一节离散随机信号基础知识 例1 3正弦信号的相关积累检测H1 x n s n n0 u n 有信号 信号的延时n0在1到范围内未知 H0 x n u n 无信号 u n 为测量噪声 n 1 2 N N为观测样本点数 信号的长度为 信号幅度S未知 第一节离散随机信号基础知识 在有信号情况下 的值很小 在m n0处取得比较大的最大值 约为将最大值 rsxN m max与某个门限比较 可以判断观测数据中是否含有信号 根据相关函数最大值的位置可以测量出信号的延时n0 根据最大值的大小可以估计出信号的幅度S 对所有的m 假设信号与噪声互不相关 则在无信号情况下 信号左移m 上机实验 课程实验1 正弦信号的相关积累检测给定参数N 128 N 32 0 2 n0 64 S 1采用MATLAB或VB语言进行编程 1 运用正态分布随机数产生函数产生均值为零 根方差 0 2的噪声样本序列 可以参考实验3的正态分布产生方法 u n n 1 2 128 画出噪声u n 的波形图 2 产生信号 s n n0 n 1 2 128 画出信号波形图 3 画出含噪信号 x n s n n0 u n n 1 2 128 的波形图 4 计算无信号情况下 x n u n 的 rxsN m m 0 1 96 画出波形图 余弦脉冲的起点从1变为n0 1 宽度N 不变 5 计算有信号情况下 x n s n n0 u n 的 rxsN m m 0 1 96 画出波形图 6 比较无信号 有信号两种情况下 rxsN m 的最大值 观测有信号情况下 rxsN m 的最大值出现的位置 在同样的噪声强度下反复作多次实验 观测最大值位置的变化范围 7 逐渐加大噪声强度 重复上述过程 观测噪声强度达到什么程度时 有信号与无信号情况下 rxsN m 的最大值没有明显区别 即难以检测到信号 有信号情况下最大值的位置出现较大的随机性 即难以测量信号的位置参数 上机实验 第一节离散随机信号基础知识 例3 2离散时间线性系统的单位脉冲响应的估计为了测定一个未知参数的线性系统的单位脉冲响应 我们对它输入一个功率为1的实数白噪声序列u n 例如 白色正态分布随机数序列 记其输出为y n 估计输入与输出的互相关函数 互谱或互相关函数的作用举例 当N足够大时 第一节离散随机信号基础知识 六 有限观测样本情况下的周期图功率谱估计 假设观测数据为 x n n 1 2 N 则偏自相关序列 维纳 辛钦定理 信号的相关图 周期图 与相关图比较 为什么不计算 第一节离散随机信号基础知识 令n k m 则对于m 0的所有乘积项求和 和值 证 二维积分变量置换 第一节离散随机信号基础知识 令n k m 则对于m 0的所有乘积项求和 和值 则原式 总的和值 第一节离散随机信号基础知识 周期图功率谱估计举例x n 3 cos 0 6 n 1 0 01 2cos 0 628 n 1 0 02 u n n 1 2 64 N 64 问 1 数据 x n 由多少个正弦波生成 2 假设已知 x n 由两个正弦波生成 如何利用测量数据 x n 求得两个正弦成分的幅度 频率 测量误差 第一节离散随机信号基础知识 PxN 1 64 n 164x n e j n 2 A1 2 PxN 1 N 1 2 2 147 64 1 2 3 01 A2 2 PxN 2 N 1 2 2 81 64 1 2 2 25 数值计算时 的采样间隔为0 01 根据周期图谱峰位置估计得到 1 0 6 1 0 63 课程实验2 含噪谐波信号的周期图功率谱估计 采用MATLAB或VB语言进行编程 1 运用正态分布随机数产生函数生成均值为零 根方差 0 01的噪声样本序列 或采用实验3的随机数产生方法 u n n 1 2 128 2 1 0 2 2 0 5 A1 2 A2 3 产生含噪信号 x n n 1 2 128 画出波形图 3 采用有限样本的集合统计方法计算偏自相关序列 用循环及数组表示则为 对m 127至127 将相关函数计算值赋给数组元素rxn m 128 数组下标范围1至255 上机实验 4 设数字角频率 的采样间隔为0 001 采用相关图方法计算画出经过采样的相关图的波形图 5 设数字角频率 的采样间隔为0 001 采用周期图方法计算画出经过采样的相关图的波形图 比较相关图方法以及周期图方法 观察二者的等价性以及实信号功率谱的对称性 注意实数与复数的乘积 复数的和 复数的模方 实部平方 虚部平方 等运算 上机实验 6 观察周期图在k 1 2 1000范围内出现的两个谱峰 两个最大的极大值点 测量两个谱峰的峰值点位置k1 k2 估计两个谐波信号的频率观察估计值与实际设置的 1 2值是否一致以及误差大小 7 根据周期图的谱峰的值估计两个谐波信号的幅度观察估计值与实际设置的A1 A2值是否一致以及误差大小 8 设置 1 0 2 2 0 205 A1 2 A2 3 计算周期图的采样 画出波形图 观测周期图能否分辨两个频率分量 上机实验 第二节最佳线性估计与相关抵消 本节的教学内容最佳线性估计的概念相关抵消概念 一 最佳线性估计概念设观测数据y为M维的零均值观测矢量 假设x为N维的零均值未知矢量 与观测矢量y相关 互相关矩阵 已知Rxy 能否通过已知的观测数据y估计x呢 第二节最佳线性估计与相关抵消 结论 只要与具有相关性 就可以根据估计 线性估计 对作线性变换 作为对进行估计 即 第二节最佳线性估计与相关抵消 记 则 这里只考虑线性估计情况 必须理解每个矢量与矩阵的具体含义 后面不再进行分解解释 如何选择合适的H 准则 1 使误差矢量与 正交 即 第二节最佳线性估计与相关抵消 误差矢量 具体含义 0矩阵 两个随机矢量正交或不相关的定义 不同矢量的所有元素间不相关 即 第二节最佳线性估计与相关抵消 理解 设P为坐标所确定的子空间 当且仅当是在P内的投影时 误差矢量 的长度最短 此时 垂直于子空间P 则垂直于所有的坐标 则所有垂直于的每个坐标 为的线性变换 依然在P内 第二节最佳线性估计与相关抵消 准则 2 使得均方误差和最小 即 可以证明 后面 这两种准则是等价的 P为二维子空间情况 第二节最佳线性估计与相关抵消 性能分析 估计误差矢量的协方差矩阵 练习1 10 性质 定义 先考察第1种准则 第二节最佳线性估计与相关抵消 总的误差能量 标量 协方差矩阵的第i行第j列元素值 x的不同元素的估计误差的相关性 思考 估计性能的度量为什么不用Pe标量 而是用Re矩阵 Pe值越小 则估计性能越好 相同Pe情况下 ei ej i j 之间的相关性越弱 性能越好 再考察第2种准则 第二节最佳线性估计与相关抵消 第二节最佳线性估计与相关抵消 利用了实随机过程自相关序列性质 ry m ry m 交换求导与求期望的次序 取即得 结论 正交误差准则和最小均方误差和准则是一致的 第二节最佳线性估计与相关抵消 对称矩阵 练习 验证 准则2的简化推导 第二节最佳线性估计与相关抵消 标量对矩阵的求导 利用一次型 二次型矩阵函数的求导性质 相关抵消的基本原理 第二节最佳线性估计与相关抵消 假设x包含与y相关的成分x1以及与y不相关的成分x2 在已知x y情况下能否从x中分离出x2 即对消掉x1 举例 胎音的测量 事先通过大量数据的集合统计得到相关矩阵 定理 如果抵消量为根据得到的的最佳线性估计 则 与不相关 可作为的估计 第二节最佳线性估计与相关抵消 性质 如果与相关 则可以通过来估计但只能估计出中与相关的部分 中与不相关的部分为估计误差 将称为相关抵消 即从中抵消掉与相关的部分 得到与y不相关的部分 胎音 混合音 传感器1 母音 传感器2 第三节Gram Schmidt正交化 本节的教学内容内积定义正交分解定理正交投影定理Gram Schmidt正交化新息 Innovation 正交化后避免大矩阵的求逆运算 参见线性最优估计的公式 推导各种快速计算方法 第三节Gram Schmidt正交化 一 内积定义设和分别是N维和M维随机矢量 所要讨论的随机变量空间是下列随机变量集合生成的N M维线性矢量空间 设u和v两个随机矢量 是该线性空间H中的任意两个矢量 随机矢量u和v之间的内积定义为 线性矢量空间 的定义 空间中任意1个或多个矢量的线性变换依然在空间内 子空间 第三节Gram Schmidt正交化 内积 标量 矢量长度 模 矢量间夹角 若 u和v称为正交 记为 表示不相关 矢量各坐标值的平方和 非负 随机矢量情况下的余弦定理 第三节Gram Schmidt正交化 二 正交分解 设有M个随机变量 坐标方向矢量 构成一子空间Y 这M个两两正交的随机矢量称为正交基 正交分解 空间X上的任何随机矢量x 关于线性子空间Y Y X 可唯一分解为两个互相正交的部分 一部分位于子空间内 另一部分与子空间垂直 即 分量称为在上的正交投影 Y为二维平面情况下的举例说明 第三节Gram Schmidt正交化 对某个 矢量和 根据内积的定义 x在Y中的正交投影可以表示为 根据内积的定义和性质 第三节Gram Schmidt正交化 在最小均方误差意义下 表示Y中x的最佳逼近 e与Y中的所有矢量正交 包括 当且仅当 模方性质 第三节Gram Schmidt正交化 四 Gram Schmidt正交化 Gram Schmidt正交化 如何根据Y中任意的 非平行的M个非正交基矢量求出一组正交基底 构成空间的基底不一定要正交 例如 两条非垂直的相交直线同样可以构成一个平面 M 3情况的举例 第三节Gram Schmidt正交化 Step1 Step2 Step3 Stepn 可理解为由前一子空间增加一个正交基底以得到后一子空间 从而不断扩大子空间的过程 y2在 1方向的投影矢量 yn在空间 1 2 n 1 上的正交投影矢量 是yn在各个方向 i i 1 2 n 1 上