辨识课件-第二节

第二章相关分析辨识法第二章相关分析辨识法2.1随机过程基础2.1.3平稳随机过程2.2用白噪声辨识系统的脉冲响应函数2.3用伪随机信号辨识系统的脉冲响应函数2.4多变量的系统辨识2.1.1随机过程的基本概念2.1.2随机过程的统计描述2.1.4维纳-霍甫方程1第二章相关分析辨识法2.1.1随机过程的基本概念例1

测试和记录某实际系统的单位阶跃响应曲线。正如测量连点间距离一样，测试和记录需要进行多次后取平均。由于存在干扰和其他原因，每次记录的曲线不可能完全相同，其特点为：对某个特定的时刻，如t0，曲线族可能的取值是一个普通的随机变量，它有确定的概率分布、数学期望、方差等统计特性。虽然每条曲线固定，但是，“单位阶跃响应测试曲线”做为一个整体概念而言是随机的，只能认为是由多条曲线构成的曲线族。这其实是概率论中“随机实验”的一种推广。只不过概率论中的随机实验是一个离散事件，只需用一个数来描述其结果；而这里的随机实验是一个时间过程，其结果需用时间的函数来描述。2第二章相关分析辨识法例2

电视接收机所收到的干扰之一表现为屏幕上的雪花点。如果做实验来记录这种干扰信号，则它也具有与例1类似的随机性质，即（1）每次的干扰信号都随机性的各不相同；（2）对每次实验的某一特定时刻，干扰信号可能的取值是一个普通的随机变量，它具有确定的概率分布、数学期望、方差等统计性质。3第二章相关分析辨识法例3

连续一分钟测量管道中燃料的流量，得到若干记录(每个记录的时间都是一分钟)。当阀门开度不变时，由于流体流动的不均匀性，燃料流量在每分钟内的记录是一个具有上述两个特点的随机信号。即使将流量看做完全不变，由于燃烧值和其他燃烧条件的不均匀性，单位时间内燃料所产生的热量也是一个随机信号。严格地说，任何对某一实际信号的测量结果都只能是上述随机性信号。严格地说，实际系统中各处的信号都不可避免的混有各种随机性的干扰。4第二章相关分析辨识法随机性信号的数学描述就是随机过程。

对一个随机过程，可以在完全相同的条件下，进行多次测试，每次得到的测试结果对应着一个以时间t为参数的实值函数，测试可以进行有限次，也可以是无穷多次。这族时间函数称为随机过程。而每一个确定性的时间函数则称为这个随机过程的一个样本或实现。对于任一固定的时刻，随机过程是一个定义在样本空间上的随机变量，称为状态。状态的所有可能取值的集合称为随机过程的值域或状态空间。5第二章相关分析辨识法广义地，变量t所表示的也可以不是时间而是其他某种顺序，但在大部分场合表示时间。例1-例3所描述的信号都是随机过程，值得注意的是，如果测试或记录只进行一次，则也可以称这一记录曲线是随机信号或随机过程；但其含义并不是说得到的这条确定性曲线是随机信号，而是指这条曲线可以看做是某个随机过程的一个实现。例4

在战争中，为了破坏敌方的通信，经常施放无线电干扰，这也是上述的随机信号。6第二章相关分析辨识法随机过程离散型状态的值域类型连续型例5

某路口交通信号灯每天中午12:00后第一次变色到第二次变色的一段时间内，灯的颜色是一个随机过程。其状态是三种颜色的一种。取值是离散的，即状态是离散型随机变量。7第二章相关分析辨识法随机序列离散型状态的值域类型连续型例6

投掷一颗骰子的试验，设xn{n>=1}是第n次抛掷的点数，则{xn,n>=1}是一个随机过程。在这里，不但状态是离散型随机变量，而且时间t也变成了离散型的实验次序n。这种样本是离散序列的随机过程又称为随机序列。8第二章相关分析辨识法尽管被研究对象经常仅仅是随机过程的一个样本，而且这个样本还可能是该随机过程的惟一的一个实现样本，(例如历年降水量的数据、股市的行情曲线)，但如果以随机过程的观点来看待这个样本，就会得到该样本未来的发展规律，得到许多用其他方法得不到的有用结论，就会产生许多意想不到的现实效果和社会、经济效益。9第二章相关分析辨识法由于随机过程在每一个时刻都是随机变量，所以，对于随机变量的所有描述方法也适用于随机过程。分布函数族和概率密度函数族给定一个随机过程对于每一个固定时刻都是一个随机变量，都存在一维分布函数；对于每n(n=2,3,…)个固定时刻都是n个随机变量，都存在n维联合分布函数，即2.1.2随机过程的统计描述10第二章相关分析辨识法若上述分布函数是连续可微的，则可定义随机过程的一维概率密度函数和n维联合概率密度函数，即由于上述时间和是任意的，故与一般的随机变量不同的是，上述函数既是随机变量取值的函数，也是时间的函数。11对于任意有限个时刻，上述分布函数和概率密度函数的集合(n=1,2,...)分别称为有限维概率分布函数族和有限维概率密度函数族，简称为有限维分布和有限维密度函数，它们全面的描述了随机过程。第二章相关分析辨识法12第二章相关分析辨识法

从理论上来说，只有当n维分布函数族(或概率密度函数族)对所有的n都已知，随机过程才被完全确定。但与随机变量相类似，对于实际生活中的随机过程，除了较特殊的情况，往往很难求出所有的分布函数和概率密度函数，因此，人们往往更多地使用数学期望、方差等数字特征来描述随机过程。它们尽管不能像有限维分布那样全面描述随机过程，但也能分别描述随机过程各方面的重要特征，而且比较容易求出。以下我们考虑随机过程的数学期望、方差等统计性质。数学期望函数和方差函数13第二章相关分析辨识法

随机过程在每一时刻都是随机变量，该随机变量的数学期望是时间的函数，定义为该随机过程的数学期望函数(均值函数)，简称为期望函数，它表示随机过程的所有样本的某种概率平均。随机过程的数学期望函数14第二章相关分析辨识法

随机过程每一时刻的方差即定义为该随机过程的方差函数，它表示随机过程对于数学期望函数的偏离程度。随机过程的方差函数方差小方差大方差越来越小15第二章相关分析辨识法

随机过程在某两个固定时刻t1和t2的状态之间的关系可用这两个时刻状态的协方差来描述，即协方差函数16第二章相关分析辨识法例7

在图a中，对于大部分样本，都有图a相关性强图b相关性弱17第二章相关分析辨识法而在图b中则不存在上述关系，故由协方差定义式，对于图a和图b中相同的时间间隔t1~t2，有

通常，称图a的过程X(t)相关性强，意思是不同时刻的状态之间联系强；而图b的过程Y(t)相关性弱，意思是不同状态之间联系弱。相关性的强弱也可以理解为随机样本的变化是缓慢还是强烈。同理，通常t1和t2越接近，则协方差函数的值越大，t1和t2时刻状态的联系越密切；反之，当t1和t2远离时，通常协方差函数趋近于零或很小。18例8

随机过程的任意两个状态X(t1)和X(t2)相互独立，试求协方差函数。解两个独立随机变量的联合概率密度函数等于各自的概率密度函数之积，即故协方差函数为第二章相关分析辨识法19协方差函数第二章相关分析辨识法20第二章相关分析辨识法即同一时刻的协方差函数就是方差函数。综上所述，协方差函数CX(t1,t2)表示了随机过程两状态间的统计依赖程度。特别地，当t1=t2=t，则上式为21第二章相关分析辨识法相关函数协方差函数CX(t1,t2)可写为上式中的定义为随机过程的相关函数，则有即协方差函数与相关函数之差是一个与t1、t2有关的数，如果的期望函数为零即为零均值，则二者相等。22第二章相关分析辨识法相关函数与协方差函数的意义是类似的，但相关函数的定义更为简单，因而更为常用。！综上所述，数字特征中最重要的是数学期望函数和相关函数(或协方差函数)，其他的数字特征都可以由它们算出。23第二章相关分析辨识法解由概率论知，均匀分布的随机变量的概率密度为例9

随机相位正弦波为其中为常数，是在上均匀分布的随机变量。求随机过程X(t)的数学期望函数、相关函数和方差函数。所以数学期望函数为24第二章相关分析辨识法相关函数为协方差函数为方差函数为25第二章相关分析辨识法例10

设A、B是两个随机变量，求下面随机过程的期望函数和相关函数。解期望函数为相关函数为26第二章相关分析辨识法

互相关函数和互协方差函数设X(t)、Y(t)是定义在同一个样本空间S和同一个参数集T上的随机过程，则称为二维随机过程。对于二维随机过程，除了X(t)和Y(t)各自的数字特征外，最重要的表示X(t)和Y(t)

之间统计依存关系的数字特征是X(t)和Y(t)的互相关函数，即X(t)和Y(t)的互协方差函数27第二章相关分析辨识法上式变形为即互协方差函数和互相关函数之差是一个与t1、t2有关的数，如果X(t)和Y(t)之一为零均值，则互协方差函数与互相关函数相等。互协方差函数和互相关函数表示了随机过程X(t)在t1时刻和Y(t)在t2时刻的状态之间的统计依存关系。28第二章相关分析辨识法

如果对任意时刻t1,t2,…,tm和t1’,t2’,…,tn’(m,n为任意正整数)，由随机过程X(t)和Y(t)的状态所构成的概率密度函数满足即X(t)在t1,t2,…,tm,

Y(t)在t1’,t2’,…,tn’的联合密度函数等于各自密度函数之积，则称X(t)和Y(t)是相互独立的随机过程。相互独立的随机过程是互不影响的。如果m=n=1，则上式为即任两时刻的状态X(t1)和Y(t2)都是相互独立的随机变量。29第二章相关分析辨识法例11相互独立的随机过程X(t)和Y(t)的互协方差函数。解X(t)和Y(t)的二维联合密度函数等于各自概率密度函数的乘积，故它们的互协方差函数为如果对任意的，两个随机过程X(t)和Y(t)的互协方差函数均为零，则X(t)和Y(t)称为互不相关的。由例11可知，相互独立的两个随机过程必是互不相关的。30第二章相关分析辨识法为了与互相关函数和互协方差函数相区别，相关函数和协方差函数可以称为自相关函数和自协方差函数，可分别记作312.1.3平稳随机过程第二章相关分析辨识法平稳(严平稳)过程例12在1.1节中已经讲过，很多场合的量测误差信号和干扰信号都是随机过程。如果工况不变，通常二者都可以用图表示。图中的每一个样本都在某一个固定值附近波动，且波动的平均偏差和快慢都不变。可以理解为：这一类随机过程的统计特性不随时间的推移而变化。32第二章相关分析辨识法一般地，如果对于任意的和任意实数h，当时，n维随机向量与随机向量具有相同的分布函数，则称随机过程是平稳(严平稳)随机过程，简称平稳(严平稳)过程。33第二章相关分析辨识法例13第1节的阶跃响应的测试曲线，其暂态过程不是平稳过程，但趋于稳态后是平稳过程。例14股市行情曲线随各种因素而有较大起伏，不是平稳过程。对于非平稳过程，如果把时间区间限定在足够小的范围内，则在这个小范围内的过程通常可以认为是平稳过程。34第二章相关分析辨识法例15股市行情曲线，如果把整条曲线划分成很多小的时间区间，则在每一个时间区间内可以认为是平稳的。35第二章相关分析辨识法

分析平稳过程比分析非平稳过程容易得多，在信号处理与控制领域遇见的也基本是平稳过程，再加上不少实际非平稳过程也可以处理为平稳过程，所以我们主要讨论平稳过程。36第二章相关分析辨识法宽平稳(广义平稳)过程若随机过程的期望函数是常数，即且自相关函数为上式仅是时间差t2-t1的函数。满足上述两个条件，即期望函数为常数而自相关函数仅为时间差函数的随机过程称为宽平稳过程或广义平稳过程。37第二章相关分析辨识法例16

例9的随机相位正弦波，已求出其期望函数和自相关函数分别为

期望函数为常数，而自相关函数只与时间差有关，故是广义平稳随机过程。38第二章相关分析辨识法例17

设Y是一个随机变量，试分析随机过程X1(t)=Y和X2(t)=tY

的平稳性。不是常数，又因为自相关函数不是时间差t2-t1的函数，所以X2(t)=tY

不是宽平稳过程。解：X1(t)=Y的分布与时间t无关，是严平稳过程，当然是宽平稳过程。而39第二章相关分析辨识法对于两个平稳过程，如果它们的互相关函数仅是时间差的函数，则称它们是广义平稳相关的或广义联合平稳的。如不特殊指明，“平稳过程”均指广义平稳过程或广义联合平稳过程。40第二章相关分析辨识法

平稳过程的各态历经性

有些平稳过程具有如下性质：一个随机过程的统计平均(总体平均)几乎处处可以由一个样本函数的时间平均来描述。这种性质，称为平稳随机过程的各态历经性(便历性)。具有各态历经性的随机过程，称为各态历经随机过程，不具各态历经性的随机过程，则称为非各态历经的。所有非平稳过程都是非各态历经随机过程。41第二章相关分析辨识法

各态历经性具有非常重要的实际意义，它使人们只要利用一个足够长时间的样本记录，计算适当的时间平均，就可以求得随机过程的统计平均。这对实际中可供利用的不是整个样本函数族，而往往是一些样本函数的某个部分或一个样本函数的长时期观测记录的情况来说，带来很大方便。42第二章相关分析辨识法一般地，如果平稳随机过程X(t)的统计平均值即期望值与其任一样本的时间平均值相等，即或则称X(t)的期望值具有各态历经性(便历性)。43第二章相关分析辨识法

大量的现实过程都可以近似的看做是各态历经过程。比如某地的历年降水量、心电图、脑电图、电机的电枢电流、机械振动或振动噪声、电力系统的负荷、地震勘探的地震回波曲线等等，以后如不特殊指明，则所讨论的都是各态历经的平稳过程。

为使一个随机过程是各态历经的，它必须是相同意义下平稳的；但平稳过程不一定是各态历经的，即平稳性并不包含各态历经性，所以各态历经的平稳过程是平稳过程的一个子类。44第二章相关分析辨识法

如果宽(广义)平稳随机过程的均值和相关函数按总体平均得到的统计性质，几乎处处可以从单个样本的时间平均求得，则称该过程是弱各态历经的。如果平稳过程的所有按总体平均得到的性质，几乎处处可以从单个样本函数的相应时间平均求得，则称该随机过程是强各态历经的。

在很多文献中所说的各态历经性，常指弱各态历经性。弱各态历经性与强各态历经性45第二章相关分析辨识法谱密度函数

在随机过程中，谱密度函数与相关函数的概念同样具有重要的