《数据分析与EViews的应用》（第4版）课件第10章 状态空间模型

第十章状态空间模型StateSpaceModel目录01.状态空间模型基本问题02.状态空间模型估计03.EViews操作案例状态空间模型基本问题状态空间模型形式线性状态空间模型的两个基本方程线性增长模型示例解析AR(p)模型的状态空间表示方法中国城镇居民人均可支配收入分析通过实际经济数据，展示如何将理论模型应用于现实场景，验证模型在处理时间序列数据时的有效性。10.1状态空间模型基本问题BasicConceptsofStateSpaceModelCHAPTER10.1.1状态空间模型形式深入理解状态空间模型的基本数学表达与结构形式线性状态空间模型的两个基本方程状态方程(转移方程)α_t=Tα_{t-1}+c+Rε_t描述不可观测的状态变量如何随时间演变，反映了系统的动态转移过程。信号方程(量测方程)y_t=Zα_t+d+u_t描述隐藏的状态变量如何转化为可观测的信号，建立了状态与观测之间的联系。总结：线性状态空间模型主要由这两个方程构成，共同刻画了系统的动态结构与观测机制。状态方程详解与符号说明状态方程：αₜ=Tαₜ₋₁+c+Rεₜαₜ：状态向量(StateVector)m维向量，包含模型中不可直接观测的潜在变量，是卡尔曼滤波的核心估计对象。T：状态转移矩阵(TransitionMatrix)m×m维矩阵，描述了状态向量如何从前一期(t-1)演变到当前期(t)的动态过程。c：漂移项(DriftVector)m维向量，代表状态演变过程中的确定性趋势，仅影响状态向量的期望值。R&εₜ：扰动项(Disturbance)R是连接矩阵，εₜ是r维随机噪声向量，通常假设服从均值为0的高斯分布，驱动状态变化。信号方程详解与符号说明yₜ=Zαₜ+d+uₜyₜ：观测向量(Observation)n维观测向量，代表我们实际收集到的原始数据，是模型的输入基础。Z：载荷阵(LoadingMatrix)n×m维矩阵，描述不可观测的状态向量αₜ如何线性映射到观测空间。d：确定性偏移(DeterministicOffset)n维向量，代表观测变量的固定偏移或确定性趋势，不随时间随机变化。uₜ：观测噪声(ObservationNoise)n维随机向量，通常假设服从均值为0的高斯分布，代表测量过程中的随机误差。扰动项的假设条件1.零均值假设(ZeroMean)状态噪声ε_t和观测噪声u_t的数学期望均为0，即E[ε_t]=0，E[u_t]=0。2.高斯分布(GaussianDistribution)噪声序列ε_t和u_t都服从正态分布，这是卡尔曼滤波最优性的前提条件。3.相互独立(MutualIndependence)状态噪声与观测噪声之间相互独立，且各自序列内无自相关，互不干扰。4.初始状态独立(InitialIndependence)系统的初始状态向量X_0与所有时刻的扰动项（噪声）相互独立。线性增长模型介绍局部水平方程描述系统在时刻t的局部水平μ_t。该水平由前一时刻的水平和趋势共同决定，并受随机扰动项w1_t影响。趋势方程描述趋势项β_t的演变过程。趋势是随机游走的，受到扰动项w2_t的影响，体现了增长率的不确定性。信号方程描述观测值x_t的构成。观测值等于当前的局部水平μ_t加上观测误差v_t。参数说明：其中，μ_t为局部水平，β_t为趋势项；w1_t,w2_t,v_t均为均值为0的独立高斯扰动项，分别代表水平冲击、趋势冲击和观测噪声。线性增长模型的状态方程（矩阵形式）状态方程矩阵形式概念解析状态向量定义：通过定义状态向量为[μ_t,β_t]'，我们将局部水平和趋势项整合。方程合并：将原本的两个独立状态方程合并为一个简洁的矩阵形式，便于进行矩阵运算和系统分析。误差项：橙色部分代表随机误差项，体现了模型的动态不确定性。线性增长模型的信号方程（矩阵形式）公式10.1.7：信号方程矩阵形式模型解释该矩阵形式直观地表明，观测值y_t仅由局部水平μ_t决定（系数矩阵的第一列起作用），而局部趋势β_t并不直接出现在观测值中。此外，观测值还包含了随机的观测噪声v_t。状态向量选择的原则原则一：充分性(Sufficiency)状态向量必须包含描述系统动态变化所需的全部信息。这意味着所选变量必须能够完整刻画系统的过去、现在和未来的行为。原则二：简约性(Parsimony)在满足充分性的前提下，状态向量应包含尽可能少的元素。这有助于避免冗余信息，减少计算复杂度，并有效规避“维度灾难”。核心总结：状态向量的选择应遵循“刚刚好”的原则，即在能够完整描述系统动态的基础上，剔除所有不必要的冗余信息，达到最优平衡。AR(p)模型的状态空间表示-原模型AR(p)模型原始形式(公式10.1.8)yt=φ₁yt-1+φ₂yt-2+...+φpyt-p+εtyₜ：当前时刻的观测值φᵢ：自回归系数(i=1,2,...,p)yₜ₋ᵢ：滞后i期的观测值随机扰动项εₜ的统计特性均值为0扰动项不包含系统性趋势，E[εₜ]=0方差恒定(σ²)扰动项的波动性在时间序列中保持一致，服从同方差假设。严格外生性扰动项与所有滞后变量yₜ₋ᵢ不相关，确保模型估计的无偏性。AR(p)模型的状态空间表示-形式一状态方程(StateEquation)公式形式：αₜ=Tαₜ₋₁+Rεₜ其中，T为p×p伴随矩阵，R为p×1系数向量。信号方程(SignalEquation)公式形式：yₜ=Zαₜ其中，Z为观测矩阵，通常取[1,0,...,0]。关键定义说明状态向量定义为：αₜ=[yₜ,yₜ₋₁,...,yₜ₋ₚ₊₁]'。该形式将p阶自回归模型转化为一阶状态空间模型，体现了状态空间模型的灵活性。AR(p)模型的状态空间表示-形式二状态空间形式二（公式10.1.11）核心思想：这是另一种等价的状态空间表示形式，其核心思想与形式一类似，都是通过定义合适的状态向量来实现降阶，将高阶差分方程转化为一阶矩阵差分方程。[具体矩阵形式请参考教材公式10.1.11]模型启示与意义非唯一性：同一个时间序列模型（如AR(p)）可以有多种不同的状态空间表示形式。这意味着状态向量的定义不是唯一的，取决于研究者的视角和建模目的。关键点总结：选择不同的状态向量定义，虽然模型矩阵形式不同，但它们描述的是同一个动态系统，因此是等价的。案例引入：中国城镇居民人均可支配收入序列特征分析数据范围：2002年Q1至2022年Q4（共84个季度数据）。主要特征：呈现明显的增长趋势和显著的季节成分，且季节波动幅度随时间逐渐增大。处理难点：传统平稳化方法（如取对数）难以有效消除其非平稳性。建模思路假设序列由不可观测的趋势成分、季节成分和随机扰动项叠加而成，采用状态空间模型进行分解与预测。案例的建模思路建模假设（公式10.1.12）y_t=μ_t+γ_t+ε_ty_t:观测序列代表我们实际观测到的人均可支配收入数据，是模型的输入变量。μ_t:趋势成分不可观测的长期趋势，反映了经济增长的基本方向，是我们需要估计的核心参数之一。γ_t:季节成分不可观测的周期性波动，反映了季节性因素对收入的影响，同样需要通过模型估计。核心目标：将趋势(μ_t)和季节(γ_t)这两个不可观测的成分从观测序列(y_t)中分离出来。案例的趋势成分设定动态方程(公式10.1.13)μₜ=c(1)·μₜ₋₁+ηₜ该设定允许趋势项本身具有随机性，通过自回归过程捕捉动态变化。转移参数c(1)控制趋势的增长模式。当c(1)>1时，趋势呈现指数增长特征；当c(1)=1时，为随机游走。随机扰动项ηₜ代表趋势成分的状态噪声（StateNoise），引入了随机波动性，使趋势更加灵活和符合现实。案例的季节成分设定公式10.1.14：季节成分动态方程γ_t=-γ_{t-1}-γ_{t-2}-γ_{t-3}+ζ_t随机扰动项(ζ_t)代表季节成分的状态噪声，反映了季节模式在时间序列中的随机波动和不确定性。周期性保证(周期=4)该设定强制季节成分的年度总和为零，确保了季节波动具有稳定的年度周期性，适用于季度数据模型。案例的状态空间模型-信号方程公式10.1.15：信号方程yt=sv1+sv2观测值等于不可观测的趋势项与季节项之和，这与我们最初的建模假设完全一致。sv1：趋势成分(Trend)代表不可观测的趋势成分μ_t，反映了数据随时间变化的长期走向。sv2：季节成分(Seasonal)代表不可观测的季节成分γ_t，捕捉了数据中周期性的波动特征。案例的状态空间模型-状态方程状态方程定义(公式10.1.16)@statesv1=c(1)*sv1(-1)+[var=c(2)]@statesv2=-sv2(-1)-sv3(-1)-sv4(-1)+[var=c(3)]@statesv3=sv2(-1)@statesv4=sv3(-1)趋势成分(sv1)遵循一阶自回归过程(AR(1))，捕捉序列的长期增长或下降趋势。季节成分(sv2,sv3,sv4)共同构成周期性波动。sv3和sv4作为辅助状态变量，记录前两期的季节项，确保季节效应的动态传递。案例的方差设定趋势成分方差设定[var=c(2)]设定趋势成分扰动项的方差参数。该参数反映了时间序列长期趋势波动的剧烈程度。季节成分方差设定[var=c(3)]设定季节成分扰动项的方差参数。该参数反映了时间序列季节性波动的剧烈程度。模型需要估计这两个参数（c(2)和c(3)），它们共同决定了状态方程中扰动项的协方差结构。详细目录（二）10.2.1状态估计的几种情况滤波(Filtering)基于过去和现在的观测值估计当前状态平滑(Smoothing)基于所有观测值估计过去或当前状态预测(Prediction)基于已有信息估计未来的状态10.2.2初始条件设定模型初始化策略在进行状态估计之前，需要确定初始状态向量和协方差矩阵的设定方法，这是模型运行的起点。10.2状态空间模型估计EstimationofStateSpaceModel10.2.1状态估计的几种情况完全能观系统状态可通过观测数据完全确定，是最优估计的理想情况。部分能观仅部分状态变量可观测，需结合先验信息进行估计。完全不能观无法通过观测数据确定系统状态，通常需要重构观测矩阵。状态估计的三种情况概述滤波(Filtering)j=t利用到t时刻的所有信息，估计t时刻的状态。即对当前状态的推断。平滑(Smoothing)j<t利用截止到t时刻的所有信息（包括未来信息），估计j时刻的状态。即对过去状态的回顾。预测(Prediction)j>t利用到t时刻的信息，预测j时刻的状态。即对未来状态的展望。滤波(Filtering)的定义与目的核心定义在时刻t，利用到t时刻为止的所有观测信息{y₁,y₂,...,y_t}，来估计当前的状态向量α_t。核心目的实时跟踪系统的当前状态，旨在获取对系统当前状态的最优估计，消除噪声干扰。典型场景适用于需要实时监控和快速决策的场合，如导航系统定位、金融风险实时监控等。滤波的核心价值：对系统当前状态进行最优估计，实现从观测数据到真实状态的精准映射。卡尔曼滤波简介核心作用：最优递推算法卡尔曼滤波是实现线性状态空间模型滤波的核心算法。它基于递推原理，能够在实时获取观测数据的同时，不断更新对系统状态的最优估计，是处理动态系统数据的标准工具。核心功能：估计与计算估计状态向量利用新观测值连续修正状态估计，实现动态追踪。计算似然函数通过预测误差分解计算似然值，为估计模型未知参数（T,Z,Q,H）提供依据。核心定位：连接状态估计与参数估计的桥梁状态的条件分布在线性模型与正态扰动项的假设下，状态的条件分布仍为正态分布。其统计特征完全由均值和协方差决定，这正是卡尔曼滤波的核心计算目标。条件均值(ConditionalMean)定义：基于观测序列的期望估计α_t|t=E(α_t|y_1,...,y_t)条件协方差(ConditionalCovariance)定义：基于观测序列的方差估计P_t|t=Var(α_t|y_1,...,y_t)卡尔曼滤波的核心目标：递推计算上述两个统计量，以最优方式更新状态估计。卡尔曼滤波-一步预测方程一步预测(One-stepPrediction)在获得t时刻的观测值之前，基于t-1时刻的信息对t时刻的状态进行预测。

这是卡尔曼滤波的第一步，旨在利用系统的动态模型，从历史状态推断当前状态，并评估预测的不确定性。核心预测方程状态预测方程(StatePrediction)α_t|t-1=Tα_{t-1}|t-1+c方差预测方程(CovariancePrediction)P_t|t-1=TP_{t-1}|t-1T'+RQR'一步预测的性质高斯假设下的最优性当扰动项服从正态分布时，预测值α_t|t-1是状态变量α_t的最小均方误差(MSE)估计。非高斯假设下的稳健性即使扰动项不服从正态分布，预测值α_t|t-1依然是状态变量α_t的最小均方线性估计。核心结论：无论扰动项是否服从正态分布，卡尔曼滤波的预测步骤在线性估计范畴内都是最优的，具有极强的鲁棒性。观测变量的一步向前估计核心方程(公式10.2.5)yₜ|ₜ₋₁=Zαₜ|ₜ₋₁+d基于预测的状态，可以得到对观测变量的一步向前估计。这是我们期望在t时刻看到的观测值，连接了状态空间与观测空间。逻辑关系示意图状态预测αₜ|ₜ₋₁观测矩阵Z观测预测值yₜ|ₜ₋₁预测误差与方差预测误差(公式10.2.6)ν_t=y_t-y_t|t-1=y_t-Zα_t|t-1-d预测误差方差(公式10.2.7)F_t=Var(ν_t)=ZP_t|t-1Z'+H核心概念解读：预测误差是实际观测值与预测值之间的差异，它包含了修正状态估计所需的新信息。卡尔曼滤波-一次滤波更新方程一次更新(Updating)利用新的观测值和预测误差，修正对t时刻状态的估计，得到最优状态。状态更新方程(StateUpdate)αₜ|ₜ=αₜ|ₜ₋₁+Kₜνₜ其中νₜ为预测误差，Kₜ为卡尔曼增益矩阵方差更新方程(CovarianceUpdate)Pₜ|ₜ=(I-KₜZ)Pₜ|ₜ₋₁更新协方差矩阵，反映当前状态估计的不确定性核心参数：卡尔曼增益矩阵(KalmanGain)Kₜ=Pₜ|ₜ₋₁Z'Fₜ⁻¹——决定了预测误差对最终估计的影响程度卡尔曼滤波的迭代过程01.初始化设定初始状态估计值α₀|₀和协方差矩阵P₀|₀，作为迭代的起点。02.预测(Predict)基于t-1时刻的状态，推算t时刻的先验状态αₜ|ₜ₋₁和方差Pₜ|ₜ₋₁。03.更新(Update)结合观测值yₜ，计算预测误差νₜ，更新得到后验状态αₜ|ₜ和方差Pₜ|ₜ。循环迭代：将t时刻的后验状态作为t+1时刻的输入，重复“预测-更新”过程，直至所有数据处理完毕。固定区间平滑(Smoothing)的定义与目的核心定义在所有数据序列(y₁,...,y_T)观测完毕后，重新估计过去某个时刻j(j<T)的状态α_j。核心目的充分利用全部信息（包括未来的信息），对历史状态进行更精确的回溯估计。显著优势平滑估计的精度通常高于滤波估计，因为它利用了比滤波更多的信息集合。总结：平滑是一种事后的、更精确的状态分析方法，旨在利用全量数据还原历史真相。固定区间平滑方程平滑原理与计算逻辑递推方向：平滑估计基于滤波结果，从最后一期T开始，倒推至第一期1。核心思想：利用未来时刻的信息来修正对过去状态的估计，从而获得更优的结果。核心方程体系(10.2.10-11)状态平滑：αₜ|T=αₜ|t+Jₜ(αₜ₊₁|T-αₜ₊₁|t)方差平滑：Pₜ|T=Pₜ|t+Jₜ(Pₜ₊₁|T-Pₜ₊₁|t)Jₜ'平滑增益：Jₜ=Pₜ|tT'Pₜ₊₁|t⁻¹平滑的递推过程01.准备阶段完成所有T期的卡尔曼滤波，得到所有时刻的滤波状态α_t|t和协方差P_t|t。02.初始化设定递推起点，令最后一期的滤波结果α_T|T和P_T|T作为平滑的初始值。03.反向递推从t=T-1开始，利用平滑方程依次向前计算，直到t=1，修正历史状态。04.结果得到所有时刻的平滑状态估计α_t|T。核心逻辑：这个过程充分利用了未来的信息来“回顾”和修正历史状态，相比滤波，平滑能提供更精确的状态估计。预测(Prediction)的定义与目的核心定义在时刻t，利用到t时刻为止的所有观测信息{y₁,...,yₜ}，来预测未来某个时刻j（j>t）的状态向量αⱼ。核心目的对系统的未来状态进行科学的推断和预测，从而为决策提供依据。其本质是基于历史信息对未来的合理推断。应用场景广泛应用于多个领域：宏观经济预测气象与天气预报商业销量预测总结：预测是基于历史信息对未来的推断，是状态估计中连接过去与未来的关键环节。长期预测的方法核心原理：递推预测长期预测（n步预测）本质上是通过反复应用卡尔曼滤波的一步预测方程来实现的。

关键特征：每一步预测都严格基于t时刻及之前的信息，不涉及未来的观测值。执行步骤：从一步到n步一步预测：利用α_t|t计算α_{t+1}|t二步预测：利用α_{t+1}|t计算α_{t+2}|t以此类推，不断向前递推最终结果：得到n步预测值α_{t+n}|t状态的n步向前预测状态预测方程(StatePrediction)αt+n|t=Tnαt|t+(Tn-1+Tn-2+...+I)c

描述：状态随预测步数n的线性递推关系，包含转移矩阵的幂次项。协方差矩阵(CovarianceMatrix)Pt+n|t=TnPt|t(Tn)'+Σk=0TkRQR'(Tk)'

描述：不确定性随预测步数n的累积，包含初始不确定性和过程噪声的累积。核心洞察：随着预测期数n的增加，状态预测的不确定性（协方差矩阵）通常会单调递增，反映了未来的不可预测性。动态预测与平滑预测动态预测(DynamicPrediction)核心定义预测从t时刻到t+h时刻的所有状态值{α_{t+1}|t,...,α_{t+h}|t}。主要特点一系列连续的多步预测，展示了状态的未来路径。平滑预测(SmoothingPrediction)核心定义利用超过预测样本范围的所有信号数据来进行预测。主要特点需要先对预测起点的状态进行初始化，通常能提供更准确的预测。修正的卡尔曼滤波当状态噪声ε_t和观测噪声u_t存在同期相关时（即协方差矩阵不为0），标准卡尔曼滤波的更新方程需要修正。其中S=Cov(ε_t,u_t)。卡尔曼增益(K_t)修正后的增益公式：

K_t=(P_t|t-1Z'+S)F_t⁻¹

注：引入了协方差矩阵S，体现了噪声相关性的影响。状态更新(α_t|t)状态向量的更新方程：

α_t|t=α_t|t-1+K_tν_t

形式上与标准卡尔曼滤波一致，但增益K_t已包含相关性修正。方差更新(P_t|t)方差矩阵的更新方程：

P_t|t=P_t|t-1-K_tZP_t|t-1

通过修正后的增益K_t调整协方差矩阵，确保估计的最优性。10.2.2初始条件卡尔曼滤波模型的起点设定与参数初始化初始条件的重要性参数初始值指模型中所有待估参数的初始值。例如状态空间模型中的转移矩阵(T)、观测矩阵(Z)、状态协方差(Q)及观测协方差(H)中的未知元素。初始状态设定特指初始状态向量α₀的设定。需要提供其均值和协方差矩阵。这是卡尔曼滤波算法启动的基础，直接影响滤波的初始精度。核心结论：合适的初始条件是保证模型估计快速收敛和结果稳定的关键。不恰当的初始值可能导致算法发散或陷入局部最优解。参数初始值设定系统默认设定EViews自动分配初始值（通常为0或1）无需手动干预，操作简单局限性：可能并非最优解，影响收敛速度用户自定义设定(推荐)使用`@param`语句手动设定初始值可基于经验或理论预期设置合理值优势：显著提高估计效率与准确性代码示例：@param语句语句：@paramc(1)1.03c(2)0.01c(3)0.10//分别设定参数c(1),c(2),c(3)的初始值案例中的参数初始化代码实现(Example10-1)@paramc(1)1.03@paramc(2)0.01@paramc(3)0.10c(1)趋势项转移系数(1.03)初始值略大于1，符合业务增长趋势的预期设定。c(2)趋势项扰动方差(0.01)设定较小的初始方差，表明趋势变化相对平稳。c(3)季节项扰动方差(0.10)方差值大于趋势项，符合季节波动通常更为剧烈的特征。初始状态设定设定初始均值(Mean)@mprior向量名通过该命令，将用户预先定义好的包含初始值的向量对象，赋值给初始状态的均值。设定初始方差(Variance)@vprior矩阵名通过该命令，将用户预先定义好的包含初始协方差矩阵的对象，赋值给初始状态的方差。提示：“向量名”和“矩阵名”必须是用户预先在EViews中定义好的对象。扩散初始条件适用场景与定义当对初始状态几乎没有任何先验信息时，使用扩散初始条件。这表示我们对初始状态的位置非常不确定，将选择权完全交给数据。核心参数设定初始均值：设为0向量。初始方差：设为对角线元素极大的矩阵（如1e6），表示极大的不确定性。软件应用与实践EViews软件在默认情况下会使用扩散初始条件。这种设置在缺乏历史数据或初始状态难以确定的计量分析中非常有效，确保了模型不会被不合理的初始猜测所误导。案例模型的完整设定界面例10-1模型设定总结参数初始化使用@param设定了三个参数的初始值，确保算法收敛。状态方程定义定义了四个状态变量，分别描述时间序列的趋势和季节成分。信号方程构建明确了观测值与状态变量之间的线性关系，完成量测方程设定。初始条件设定采用系统默认的扩散初始条件，适用于非平稳序列的建模需求。至此，整个状态空间模型的设定就完成了，可以进行参数估计。详细目录（三）：EViews操作案例步骤1：创建SSpace对象建立状态空间模型的基础容器步骤2：状态方程定义语法学习EViews中状态方程的编写规则步骤3：信号方程定义语法设定观测变量与状态变量的关系步骤4：误差项定义方法处理模型中的随机扰动项步骤5：自动定义工具介绍利用EViews内置工具简化建模过程EViews状态空间模型操作指南EViews操作案例EViewsOperationCaseEViews操作步骤1：创建SSpace对象01.导入数据打开EViews软件，将需要分析的数据导入到工作区中。02.新建对象在工作区窗口菜单栏，点击`Object`->`NewObject`。03.选择类型在对话框中选择对象类型为`SSpace`（状态空间）。04.命名确认为对象命名（如：ss1），点击`OK`完成创建。05.进入界面进入状态空间模型的文本定义界面，准备进行模型设定。EViews操作步骤2：状态方程定义语法起始关键字@state每个状态方程必须以@state关键字开头，这是EViews识别状态方程的标志。因变量定义方程左边只能是一个状态变量名（如sv1,sv2），不能是表达式或函数形式。动态表达式构建方程右边可以包含状态变量的一期滞后项、外生变量、未知参数及其非线性组合。误差项方差定义误差项的方差通过[var=...]在方程末尾定义，通常使用参数表示。示例代码：@statesv1=c(1)*sv1(-1)+[var=c(2)]案例中的状态方程代码详解@statesv1=c(1)*sv1(-1)+[var=c(2)]@statesv2=