离散随机信号的特征描述及其估计.ppt

第章 离散随机信号的特征描述 及其估计,4.1 引言 4.2 离散随机信号的特征描述 4.3 线性系统对平稳随机信号的响应 4.4 均值、方差、自相关函数的估计,4.1 引言 随机信号是一种非确定性的信号，如热噪声信号发生器 输出的电信号，飞行器起飞时的结构振动，以及起伏海面的 波动高度等。它们的共同特点是无法预测其未来瞬间的精确 值。处理的目的是便于从中提取有用的信息，削弱信号中的 多余信息量，便于估计信号的特征参数，或变换成易于分析 和识别的形式等。 随机信号处理的主要理论基础是信号检测理论、估计理 论和随机过程理论。根据理论分析，随机信号的不同样本函 数在同一时刻的值往往是不确定的，因而只能用样本函数集 的统计平均来描述，如用均值、均方值、方差、概率密度函 数、相关函数和功率谱密度函数来描述随机过程的特性。随 机信号处理就是利用信号的这些统计特征或信号本身导出一 套最佳的估计算法，然后利用软件或者硬件予以实现。下一 章所讲的维纳滤波器和卡尔曼滤波器就是根据最佳原理实现 的。,离散随机信号或序列，是指由随机变量按一定顺序排列 而成的时间序列，随机序列中的任何一个时间点上的取值都 是不能先验确定的随机变量。即离散随机信号可表示为 （4-1） 式中 为随机变量，它可以是有限维的 也可以是无限维的。产生这些随机变量的过程称为随机过 程，简记为 。 例如抛硬币就是一个随机过程，抛硬币的结果就是一个离 散随机序列。这个结果有两种状态，一种是正面朝上， 用 表示，另一种是反面朝上，用 表示。,连续抛掷，可以得到一个由+1和-1组成的序列如图4-1所 示。这个序列就是离散随机信号或序列。要注意的是如果重 新将抛掷硬币的过程进行一次，我们得到序列可能看起来与 图4-1所示的序列完全不同，所以我们每次得到的序列是这 个离散随机信号的一个样本序列。,4.2 离散随机信号的特征描述 4.2.1平稳随机过程和各态历经性 实际中的很多随机过程是属于平稳随机过程。设 是一 个平稳随机过程，则其随机序列在各点上的概率特性不随时 间平移而变化，而且是无始无终的。即随机变量 的概率 特性对于任何时刻 都是相同的， 对于一个无始无终的平稳随机信号，它的傅立叶变换是 不存在的，也就是说它的频谱是不存在的，我们只能求它的 功率谱。一个平稳随机信号的功率谱就是这个信号的自相关 函数的傅立叶变换。因此，我们就可用信号的功率谱来表征 它的谱特性。在本课程中我们所要讨论的随机序列都为平稳 随机序列。,4.2.2 各态历经性 随机过程的各个样本序列在某一时刻的各种平均特性， 称为集合平均。当样本数趋于无穷时，集合平均就趋于统计 平均；随即过程的某个样本序列在不同时刻的各种平均特 性，称为时间平均。 已知 时刻随机变量 的 个取值的集合平均为 （4-2） 已知随机信号的一个样本序列 ，则其时间平均为 （4-3） 如果一个随机信号的时间平均等于过程的集合平均，则称随 机过程是各态历经的或各态遍历的。具体地说，如果有 则称 为均值各态历经随机过程。,可见，对各态历经随机过程，可以用一个样本 序列的时间平均计算随机过程的集合平均。实际 上，对一个样本过程进行长时间统计比对许多样本 进行统计要容易实现。实际处理信号时，对已获得 的一个物理信号，先假设它是平稳的，再假设它是 各态历经的。对信号按此假设处理后，再用处理结 果来检验假设的正确性。各态历经的随机过程一定 是平稳随机过程，实际中常用的高斯白噪声，就是 平稳各态历经的。,4.2.3 离散随机信号的数字特征 一个离散随机序列在任何时间点上的取值（随机变量） 是不能先验确定的，但它一定具有一定的统计规律，可用其 统计平均特性来描述。例如抛硬币的所得到的离散序列，每 个时间点上的取值虽然不能预知，但我们知道取值出现+1 和-1的概率都为1/2。实际中要得知一个随机变量的概率分布 函数是比较困难的，我们往往只要知道概率分布的某些数字 特征就足够了。这些数字特征就是随机过程的矩，包括各阶 原点矩和各阶中心矩。对于实随机过程，各阶原点矩是指原 点差值各次方的均值，各阶中心矩是指与均值差值各次方的 均值。,平稳随机过程的主要数字特征包括以下几个： 1.均值（数学期望） 随机变量 的均值可用 表示 均值就是一阶原点矩，它是全部样本在同一时刻取值的集合平均。 2.均方值 随机变量 的均方值 为 取值平方后的集合平均，是二阶原点矩。 3.方差 随机变量 的方差定义为 （4-4） 方差是二价中心矩，反映了与均值的偏离程度。方差可以用均值和均方值表示，根据上式有,即 （4-5） 4.自相关函数 设两个时间点 和 上的随即变量分别为 和 ，自相关函数用 表示 （4-6） 这里 是时间间隔，上式也可表示为 （4-7） 自相关函数是二价联合原点矩，它反映了同一随机信号在不同时刻取值的关联程度。,5.自协方差函数 自协方差函数 用表示 （4-8） 自协方差函数是二价联合中心矩。自相关函数和自协方差函数只相差一个常数 ，它们之间没有本质的差别，即,6.互相关函数和互协方差函数 和 是两个同时发生的随机过程，则它们之间的互相关函数和互协方差函数分别用 和 表示 （4-10） （4-11） 它们反映了两个随机信号在不同时刻取值的关联程度。 如果 ，则称 和 为正交过程；如果 ，则称 和 互不相关。 在以上这些数字特征里，自相关函数和自协方差函数是表征一个随机过程的最重要的统计特性。,4.2.4 自相关序列和自协方差序列的性质 设 和 是两个实的平稳随机序列，则自相关序列和自协方差序列具有以下性质： 性质1 （4-12） 当 时 （4-13） 性质2 （4-14） （4-15） 性质3 （4-16）,性质4 （4-17） 性质5 （4-18） 证明： 即 又因 为平稳随机序列，故有 同理可证明,性质6 （4-19） 当 越大时，相关性越小，当 趋于无穷大时，可认为不相关。也就是说 以上性质说明自相关函数 是随机过程 最重要的统计表征，它蕴含了 、 、 等主要物理量。,4.2.5 平稳随机序列的功率谱密度 我们知道，平稳随机序列是非周期函数，且是能量无限的，因此它的傅立叶变换是不存在的，但其功率谱是存在的。如果平稳随机序列的均值为零，则它的功率谱密度和自相关函数是一对傅立叶变换对。即 （4-20） 对于实平稳随机序列功率谱，有以下性质： （1）功率谱是 的偶函数，即 （2）功率谱是实的非负函数，即,4.3 线性系统对平稳随机信号的响应 设一个线性非时变系统 ，它的单位样本响应为 。如输入一个平稳随机序列 ，可以证明所得到的响应 也将是一个平稳随机序列，有 （4-21） 如果已知随机信号 的特征量 、 、 和 等，我们来求响应 的这些特征量。 的均值 按定义为 即 （4-22）,的自相关函数为 因为 是平稳的，所以 所以 令 ，代入上式 （4-23）,式中 （4-24） 的功率谱为 （4-25） 当输入 为白噪声时， ，有 （4-26）,4.4 均值、方差、自相关函数的估计 随机信号与确定性信号不同，它不能用数学表达式或图表来表示，只能用它的某些数字特征来表征。如 、 和 等，由于随机信号是无始无终的，所以这些数字特征是不能精确求出的，我们只能通过估计的方法来得到。 估计的方法很多，所以我们必须有一个标准来确定一个估计是“好”的估计。我们用 表示平稳随机序列的某个数字特征值，可以是均值、方差、自相关函数、功率谱等。实际上即使用相同的方法进行估计，由于每次所用样本不同，得到的估计也是不同的。所以 得估值也是随机变量，可以取很多值，用 表示估值的均值。,设 为样本数，如果当 时， 满足以下两个条件 （4-27） （4-28） 这里， 称为 的偏差，为零表示 是 的一个无偏估计； 称为估计方差。满足以上两式的估计称为一致估计，一个好正确的估计必须满足一致估计的条件。 实际上 （4-29） 下面用随机序列 的N个样本数据 、 、 来估计 的均值、方差和自相关函数。,4.4.1均值的估计 将 的N个样本数据的算术平均作为均值得估计 ，即 （4-30） 由上式可得 （4-31） 即偏差为 （4-32） 故这种估计为无偏估计。 现在求 ，按定义有 （4-33）,对 有 （4-34） 为便于分析，假定 与 是互不相关的，则 于是式（4-34）成为,上式代入（4-33），有 可见，当 时， 。 综合上面对偏差和方差的分析，可以得出结论：由（4-30）所得的对 的估计 是无偏的一致估计。 均值的估计在实际中应用很广，往往通过减去均值使随机信号的均值不为零的情况变为均值为零的情况。,4.4.2 方差的估计 对于有N个样本数据的随机序列，其方差可由下式来估计 （4-35） 此估计的数学期望为 （4-36） 即，当 时 所以，式（4-35）对方差的估计是无偏估计。,下面来讨论这种估计的方差，根据定义有 （4-37） 将（4-36）代入上式，得 可以证明，当 时，估计的方差趋于零。所以，式（4-35）对方差的估计是无偏的一致估计。 实际中，也可以用下式来估计方差 可以证明，用此式对方差进行估计得到的也是满足一致估计的条件。,4.4.3 自相关函数的估计 由于我们只能观察到 的N个样本数据，而 与 的数据是不知道的，因此，可用下式对自相关函数 进行估计 （4-38） 对于实序列，其自相关函数偶对称，即 于是，可将式（4-38）表示为 （4-39） 此估计的均值为 （4-40） 可见，这种估计属于无偏估计。,很多学者都主张用下式来估计自相关函数 （4-41） 此估计的均值为 （4-42） 偏差为 可以看出，当 时，偏 差，所以式（4-41）也是无偏估计。,下面来讨论这两种估计的方差。将式（4-40）写为 即 （4-44） 对 有 将式（4-40）代入上式 （4-45） 对 有,第章 功率谱估计,5.1 经典谱估计 5.2 自回归模型法 5.3 最大熵谱估计 5.4 AR模型参数的求解,第章 维纳滤波器和卡尔曼滤波器,6.1 离散维纳滤波器的时域解 6.2 离散维纳滤波器的域解 6.3 维纳预测器 6.4 卡尔曼（Kalman）滤波器,第章 自适应滤波器,7.1 LMS自