《半相依模型的协方差结构的选择》

PAGE10中文摘要摘要：半相依模型作为多元统计分析中的一种方法，旨在通过对观测数据之间部分相关性的建模来解释其复杂的协方差结构。它描述的是一种较弱的依赖关系，这类模型在许多实际应用中都具有广泛的应用价值，尤其在高维数据、时间序列分析、空间数据分析等领域。而在建模过程中，协方差结构的选择则至关重要，合适的协方差结构不仅能够提高模型的拟合度，还能够确保估计的稳定性和解释的有效性，但不合适的协方差结构则可能导致过拟合或欠拟合，使模型失去泛化能力。针对这一问题，本研究提出集成信息准则和逐步回归法的优化策略，构建简洁高效的协方差矩阵。同时引入交叉验证和弹性网络正则化技术，前者通过多轮数据划分评估结构鲁棒性，后者借助混合范数约束剔除冗余关联，以期在保持模型拟合效果的同时，降低计算复杂度，提升模型在真实数据分析中的应用效果。本研究结果能够为研究人员在实际应用中选择合适的模型选择准则来指导协方差结构的简化提供参考，推动协方差结构选择方法进一步发展。关键词：半相依模型、协方差结构、多元统计、弹性网络ABSTRACTABSTRACT:Semi-dependentmodeling,asamethodinmultivariatestatisticalanalysis,aimstoexplainthecomplexcovariancestructureofobserveddatabymodelingtheirpartialcorrelationswitheachother.Itdescribesaweakdependencerelationship,andthistypeofmodelingiswidelyusedinmanypracticalapplications,especiallyinthefieldsofhigh-dimensionaldata,timeseriesanalysis,andspatialdataanalysis.Whilethechoiceofcovariancestructureiscrucialinthemodelingprocess,anappropriatecovariancestructurenotonlyimprovesthefitofthemodel,butalsoensuresthestabilityoftheestimationandthevalidityoftheinterpretation,butaninappropriatecovariancestructuremayleadtooverfittingorunderfitting,whichmakesthemodellosethegeneralizationability.Toaddressthisproblem,thisstudyproposesanoptimizationstrategythatintegratestheinformationcriterionandstepwiseregressionmethodtoconstructaconciseandefficientcovariancematrix.Meanwhile,cross-validationandelasticnetworkregularizationtechniquesareintroduced,theformerevaluatesthestructuralrobustnessthroughmultipleroundsofdatapartitioning,andthelatterremovesredundantassociationswiththehelpofmixed-paradigmconstraints,withaviewtoreducingthecomputationalcomplexitywhilemaintainingthemodelfittingeffect,andenhancingthemodel'sapplicationeffectinrealdataanalysis.Theresultsofthisstudycanprovideareferenceforresearcherstoselectappropriatemodelselectioncriteriatoguidethesimplificationofcovariancestructureinpracticalapplications,andpromotethefurtherdevelopmentofcovariancestructureselectionmethods.KEYWORDS：Semi-DependentModels、CovarianceStructure、MultivariateStatistics、ElasticNetworks目录中文摘要 iABSTRACT ii目录 iii1引言 21.1半相依模型的协方差结构选择研究现状 21.2本文主要研究内容及结构安排 42理论基础与相关技术 52.1半相依回归模型概述 52.1.1模型定义与基本形式 52.1.2模型实际应用及意义 62.2协方差结构解析 72.2.1常见协方差结构介绍 72.2.2协方差结构在模型中的定义及作用 92.3弹性网络正则化 103协方差结构选择方法研究 133.1常见信息准则简介 133.2基于信息准则的协方差结构选择 143.2.1模拟实验设计 143.2.2实验结果分析与讨论 154最终模型构建与实际应用 164.1传统模型优化 164.1.1弹性网络正则化的引入 164.1.2参数调试与结果分析 174.2真实数据集应用 184.2.1数据来源及预处理 194.2.2模型效果展示 195结论 21参考文献 22致谢 24附录 25引言半相依模型的协方差结构选择研究现状如今，在现代科学研究和实际应用中，数据的复杂性与关联性日益凸显，而多变量间的联动效应分析又始终是跨学科研究的核心议题。传统独立同分布假设下的统计模型已难以满足需求，现有的传统统计建模中，常见的假设是独立同分布（i.i.d.），经典的完全依赖模型包括自回归（AR）模型、移动平均（MA）模型，以及它们的组合模型，如ARMA和ARIMA，而半相依模型则介于完全独立与完全依赖之间，描述了一种较弱的依赖关系，因此其作为一种能有效捕捉数据间部分相关性的工具，在众多领域得到广泛应用。随着信息技术的飞速发展，数据规模和维度呈爆炸式增长，高维数据、时间序列数据以及空间数据等复杂数据类型不断涌现，因而在经济学、生态学、气候科学等众多领域，研究者常面临多方程联立分析的实际需求。例如，在气候政策评估中，需同时考察“碳排放强度”与“海洋酸化程度”对“珊瑚礁退化”的影响，而这两个方程的误差可能因共享未观测的环境因子（如洋流异常）而相关REF_Ref8137\r\h[1]（Hoegh-Guldbergetal.,2007）。传统单方程模型（如独立OLS回归）忽略方程间的相关性，导致估计效率损失与推断偏差，而半相依回归模型（SeeminglyUnrelatedRegression,SUR）模型作为处理多方程系统的经典框架，则通过允许不同方程的误差项存在相关性，为刻画变量间隐性关联提供了有效工具REF_Ref9186\r\h[2]（Zellner,1962）。然而，在实际应用半相依模型时，协方差结构的选择面临诸多挑战。高维数据的广泛出现，使得协方差矩阵的估计难度和计算复杂度急剧上升。当变量数量大于样本数量时，传统的协方差估计方法往往变得不可靠，无法准确反映数据的真实特征。数据稀疏性问题也不容忽视，在许多实际场景中，变量之间的协方差可能未知或难以估计，这给协方差结构的准确选择带来了极大困难。此外，模型复杂性的权衡至关重要，过于复杂的协方差结构容易导致模型不稳定，出现过拟合现象，且难以解释；而过于简单的结构又无法充分捕捉数据的依赖关系，造成欠拟合，影响模型的预测能力。国内外学者在半相依模型协方差结构选择的研究方面取得了丰硕成果。在信息准则领域，Akaike于1974年提出的Akaike信息准则（AIC），为模型选择提供了重要的量化标准，通过平衡模型的拟合度和复杂度来选择较优模型REF_Ref9391\r\h[3]。随后，Schwarz在1978年提出贝叶斯信息准则（BIC），其对模型复杂度的惩罚更为严格，在大样本情况下表现出独特优势REF_Ref9467\r\h[4]。而Burnham和Anderson在2001年对AIC和BIC在协方差结构选择中的应用进行了深入比较，为研究者在不同场景下选择合适的准则提供了参考REF_Ref9558\r\h[5]。与此同时，贝叶斯方法也在协方差结构选择中得到了广泛应用。Kass和Raftery于1995年提出的贝叶斯因子，为模型比较开辟了新途径REF_Ref9640\r\h[6]。在混合效应模型方面，Laird和Ware在1982年提出线性混合效应模型REF_Ref9734\r\h[7]（LME）；Pinheiro和Bates在2000年对非线性混合效应模型（NLME）进行了扩展REF_Ref9793\r\h[8]。而Gelman等人在2014年探讨了贝叶斯统计在协方差结构选择中的应用，详细阐述了如何借助后验分布评估模型的适配性REF_Ref10267\r\h[9]。这些模型的发展都推动了协方差结构在复杂数据中的估计研究。此外，在稳健估计领域，Huber在1964年提出的HuberM估计量，有效解决了协方差估计中的异常值问题REF_Ref10358\r\h[10]；White在1980年提出的稳健异方差标准误差估计，为协方差矩阵的稳健估计奠定了理论基础REF_Ref10518\r\h[11]。在时间序列和空间数据研究中，Harrison和Stevens于1976年、Box和Jenkins于1976年分别为协方差结构的选择构建了框架，深入分析了空间和时间依赖性对协方差模型的影响REF_Ref11214\r\h[12]REF_Ref11223\r\h[13]。而机器学习的兴起为协方差结构的优化和选择带来了新的视角。Heckman在1976年将相关方法应用于经济学领域REF_Ref11305\r\h[14]；Little和Rubin在2002年提出的缺失数据多重插补法REF_Ref11374\r\h[15]；Breiman在2001年提出的随机森林算法以及Friedman在2001年的梯度提升树（GBDT）方法，在处理高维数据时展现出强大的能力，以及随后Goldstein在2011年对多层次模型中协方差结构选择的研究，都为协方差结构选择在不同领域的应用提供了重要参考REF_Ref11468\r\h[16]REF_Ref11478\r\h[17]REF_Ref11485\r\h[18]。国内学者在该领域也做出了重要贡献，围绕方法改进、理论扩展与实际应用形成了系统性成果。早期研究以经典估计方法的优化为核心，马铁丰与王松桂通过多篇论文系统探讨了协方差结构的改进策略，提出基于方差分量限定与非限定的两步协方差改进估计，利用信息逐次迭加法优化均方误差（MSE），并通过模拟实验验证其在小样本场景下的统计优势，随后又结合了Pitman准则，进一步构建了两类改进估计序列，为协方差结构选择提供了理论支撑REF_Ref11658\r\h[19]REF_Ref11668\r\h[20]REF_Ref11674\r\h[21]。与此同时，尹素菊在博士论文中创新性地提出谱分解估计方法，通过分层排序技术对协方差矩阵进行特征根分解，解决了传统方差分析估计（ANOVAE）中协方差矩阵正定性的难题，并在平方误差损失下证明了其与方差分析估计、最小范数二次无偏估计（MINQUE）的风险等价性，为高维协方差结构的稳健选择提供了新工具REF_Ref11749\r\h[22]。在理论基础与经典方法领域，高铁梅于2005年系统阐述了半相依模型的可行广义最小二乘法（FGLS）和三阶段最小二乘法（3SLS），强调协方差矩阵设定对模型有效性的关键作用REF_Ref11811\r\h[23]。李子奈于2008年进一步讨论了该模型在联立方程系统中的应用，指出协方差结构选择需紧密结合数据特征与经济理论，以规避模型误设导致的估计偏误。在方法论拓展方面，国内研究注重结合复杂数据结构。徐群芳与徐勤丰提出加权半参数最小二乘估计（WSLSE）与加权级数逼近估计（WSE），将级数逼近法与误差相关性分析结合，显著提升了半相依模型中参数与非参数分量的估计效率，并通过渐近正态性构建了动态协方差选择框架REF_Ref11906\r\h[24]。乔楠等则将半相依模型扩展至Poisson回归框架，基于卫生服务需求调查数据验证了协方差结构对模型预测精度的关键作用，推动了模型在医学领域的实际应用REF_Ref11965\r\h[25]。而赵俊康、梁洪川与王彤进一步将非线性半相依回归模型应用于生长曲线研究，通过分析生物医学领域的纵向数据，揭示了协方差结构对模型拟合效果的关键作用，其研究不仅拓展了半相依模型的非线性分析能力，还为复杂生长曲线的统计建模提供了实证支持REF_Ref12023\r\h[26]。在贝叶斯估计方面，王立春等在半相依回归系统的协方差改进估计研究中取得了重要理论突破，其针对两个不等阶回归方程组成的半相依系统，提出了协方差改进迭代估计方法，证明其在协方差矩阵已知时，在矩阵偏序意义下单调下降收敛至BLUE协方差矩阵；在协方差矩阵未知时，进一步验证了两步估计序列的无偏性与渐近正态性，并给出迭代次数趋于无穷时的相合性条件REF_Ref18114\r\h[27]。此外，王立春的另一研究结合贝叶斯框架，提出经验贝叶斯迭代估计方法，通过均方误差准则（MSE）验证了其相对于传统方法的优越性，为半相依模型的参数估计提供了基于概率理论的创新路径REF_Ref12086\r\h[28]。尽管国内研究在理论推导与实证验证上较为扎实，但在信息准则（如AIC、BIC）的深度整合以及机器学习驱动的协方差选择等领域尚未形成系统性突破，并且高维、稀疏数据下的稀疏协方差假设、非参数模型与协方差结构的联合优化等问题仍需进一步探索。因此本研究旨在提出一套简化半相依模型协方差结构选择的方法，在确保模型拟合效果的同时，降低计算复杂度，提升模型在大规模数据分析中的应用效果。本文主要研究内容及结构安排本文在研究过程中，从现实生活中选取实例，搭建背景，实现了基于交叉验证和信息准则的直接比较的传统协方差结构选择；随后基于此实验，通过结合信息准则（如AIC/BIC）和交叉验证来有效平衡模型的拟合优度与复杂度，并且为了稳定模型框架融合了Bootstrap重抽样与层次聚类，最终引入弹性网络正则化技术，优化协方差矩阵的选择方法，选择出最佳协方差结构。本研究的创新点主要体现在以下几个方面：一是提出多策略融合框架，结合信息准则、交叉验证与正则化技术，推动了解决传统方法在高维数据中计算复杂度高、泛化能力不足问题的方法发展。二是针对纵向与稀疏数据，通过可视化的层次聚类分析提升模型选择的透明度与可解释性。三是首次将弹性网络正则化引入半相依模型的协方差选择中，为复杂依赖关系的建模提供了新思路。综上所述，本研究围绕半相依模型协方差结构的选择展开，通过深入分析研究背景、现状，明确了研究目的和创新点，从对小样本的适用性入手，逐步完善模型，提高其普适性，旨在为半相依模型在复杂数据场景下的应用提供更有效的协方差结构选择方法，推动相关领域的发展。本文结构安排如下：第1节引言详述了半相依模型的协方差结构的选择的国内外研究现状以及本文研究内容；第2节介绍了相关理论与技术基础，包括半相依回归模型、协方差结构以及弹性网络正则化的定义与作用；第3节对基础的协方差结构选择方法进行了简单的模拟实验证明，其中的重点在于结合信息准则以及交叉验证来优化选择模型；第4节首先构建了融合Bootstrap重抽样与层次聚类后的模型，并通过多次调整参数验证可行性，随后引入弹性网络正则化，对模型进行最终优化；第5节总结本文核心内容，给出结论并进行反思。

理论基础与相关技术本节将系统阐述半相依回归模型的定义与基本形式，通过实例帮助理解该模型在现实生活中的应用及意义。同时，本节也将对题目中的协方差结构进行基本介绍，并详述其在半相依模型中的定义与作用。最后，本节会对将要进行的模型优化方法，即弹性网络正则化进行初步介绍。半相依回归模型概述1962年，Zellner在他的一篇学术论文中首次提出了“半相依回归模型”（简写为SURE）这个概念REF_Ref9186\r\h[2]。其中考虑的是这样一种情况：存在某个由M个一元线性回归模型组成的集合，从结构上看，这M个模型之间没有什么联系，但是它们的误差项协方差阵可能不是对角阵，这就表现为统计相关，体现了“半相依回归模型”中的“半相依”性，也就是说可以提供一些附加信息。半相依回归模型考虑的就是如何利用这些附加信息，得到比单个模型中更好的估计，即协方差阵更小。模型定义与基本形式包含M个回归方程的半相依模型最基本的表达式是： （2-1）（t=1,2,……,T；i=1,2,……,M)其中yti是第

i

个因变量(这个变量被第

i

个回归方程所“解释”)的第

t

个测值；xtij是在第

i

个回归方程中的第

j

个回归(解释)变量的第

t

个观测值；βij是每一次观测中相应的xtij的系数有可以理解的是，yi是分量为yti的T×1的向量；Xi是T×ki的矩阵，其中每一列均包括第i个回归方程中相应的回归自变量所对应的T个观测值；βi是分量为β结合上述内容，可以将M个回归方程表示成如下形式： （2-2）进一步可以改写为以下矩阵形式：那么最终能够得到的最简矩阵形式为： （2-3）其中y是TM×1的向量，X是TM×k∗的矩阵，β是k∗×1的向量，u是TM×1的向量，且有k∗模型实际应用及意义为了便于理解该模型的现实意义，我们以某健身中心减肥计划效果评估为例（数据见表2-1），在研究高强度间歇训练（HIIT）与匀速有氧训练（STEADY）对体重的影响时，为了比较两种计划的效果，招募了50名参与者，随机分为两组（每组25人），在8周内每周测量一次体重（单位：kg），便可构建M=2个回归方程。其中，因变量yti表示第i种训练计划中第t周的体重测量值；解释变量xtij包括周次和基准体重，进一步，令j=1对应周次变量t，j=2对应个体基准体重；误差项uti则表示第i种计划中第t周体重变化的未观测随机因素（如个体代谢差异、训练表2-1数据结构参与者ID训练计划周次体重P001HIIT175.2P002HIIT274.5……P025STEADY870.8具体展开后，两种计划的回归方程可写为：其中第一个方程令i=1，表示参与者使用的是HIIT计划，第二个方程令i=2，表示参与者使用的是STEADY计划，而β11和β21则分别表示HIIT组与STEADY组的体重周下降趋势，β12和β22则分别体现了基准体重对HIIT计划和STEADY计划下体重变化的影响，尽管两种训练计划的方程在结构上独立（分别描述HIIT和STEADY组的体重变化趋势），但其中的误差项ut1与ut2却可能存在相关性。例如，外部环境的变化（如季节气温）或者公共干预措施（如饮食建议）都有可能对两组参与者的体重变化产生共同影响，这就形成了所谓的统计依赖关系协方差结构解析已知的是，我们常用方差（Variance）来描述单个变量的波动大小（如学生成绩的离散程度），用协方差（Covariance）来描述两个变量的共同波动方向（如身高和体重是否同步增长）。而当研究人员在面对包含多组、多时间点或相关观测的数据时，上述二者都无法很好的对数据波动进行全面的描述，在这样的背景下，协方差结构（CovarianceStructure）应运而生。它是统计学中用于描述数据中不同观测值之间变异模式和相关关系的数学模型，是用来定义不同观测之间的协方差如何分布的规则，在混合效应模型（如线性混合模型、广义线性混合模型）和纵向或重复测量数据分析中尤为重要。简单来说，协方差结构决定了数据中的“波动模式”和“关联方式”。常见协方差结构介绍目前已知的协方差结构有UN、CS、CSH、TOEP、AR1、ARH1等，接下来将依次对其中最为常见的几种结构进行数学描述和介绍。非结构化（UN）：该协方差矩阵中所有元素自由估计，无约束条件，并且灵活性最高，允许不同时间点间的方差和协方差自由变化。但因参数数量较多（T(T+1)/2）这一特点导致其易过拟合，所以需要充足的数据支持。它适用于对无先验假设或者是小规模多时间点的数据进行探索性分析，例如早期临床试验中不同时间点的药物反应差异研究。复合对称（CS）：该协方差结构所有时间点的方差（σ2）相等，协方差（ρσ2）复合对称异方差（CSH）：这一协方差结构与复合对称（CS）类似，仍假设相关性恒定，但它允许不同时间点的方差（σt2）不同，且协方差（ρ√托普利茨（TOEP）：该结构的协方差仅依赖时间间隔（lag），相同间隔的协方差是相等的，且参数数量为T个，其中方差1个，协方差T-1个。它适用于周期性或平稳时间序列，即数据的时间间隔相等且相关性随间隔递减，例如心电图信号中相邻心跳间隔的相关性分析。一阶自回归（AR1）：该结构的协方差随间隔指数衰减，相邻时间点相关性为ρ，间隔k步为ρk，并假设相关性随间隔衰减。由于其参数较少（σ2，异方差一阶自回归（ARH1）：该协方差结构在一阶自回归（AR1）的基础上，允许方差（σt2）随时间变化，其协方差为。同时，它结合了一阶自回归的时间衰减和方差异质性，且参数数量为T+1个，其中方差T个，ρ在对以上六种协方差结构进行基本了解后，现将其各类特点总结如下（见表2-2），后续可参照该表格依据数据集特点做出更优选择。表2-2协方差结构总结结构类型参数数量灵活性适用场景计算复杂度UN(T(T+1))/2极高无先验假设，数据量大高CS2低重复测量，相关性稳定低CSHT+1高方差随时间变化，相关性稳定中TOEPT中高周期性或平稳时间序列中AR12中时间序列，短期记忆效应低ARH1T+1高时间序列，方差异质且相关性衰减中高协方差结构在模型中的定义及作用在半相依回归模型中，协方差结构是描述模型误差项之间相关关系的核心概念，对模型的性能和估计结果有着至关重要的影响。以2.1.1中的模型为基础，即存在某由M个回归方程构成的半相依回归模型，在每个方程中存在误差向量为ui（i=1,2,……,M），有，通常做出如下假设： （2-4）这意味着从期望的角度，误差项不会对模型产生系统性的偏差，即平均来说误差是围绕零值波动的 （2-5）其中σii表示第i个方程误差项的方差，IT是（T×T） （2-6）其中σij表示第i个方程和第j个方程误差项之间的协方差，IT是（T×T）的单位矩阵。这体现了不同方程误差之间的相关性，若σij将所有方程的误差向量组合起来，令，那么整体的协方差矩阵可以表示为： （2-7）这是一个（MT×MT）的矩阵，该矩阵就是协方差结构在半相依回归模型中非常重要且直观的数学呈现方式，能够全面描述半相依模型中所有方程误差项之间的协方差关系。基于上述定义，对协方差结构的选择会直接影响模型对数据变异性和相关性的刻画能力，进而影响参数估计的准确性、统计推断的可靠性以及模型的解释力。对协方差结构进行选择的本质就是对数据变异模式的假设，不同结构对应的是不同的数据生成机制，选择与数据真实协方差模式匹配的结构，能让我们更准确地捕捉个体差异和时间依赖性，避免模型偏差或效率损失，前文中的示例正是对该理论的应用。由于不同协方差结构的参数数量差异显著，对它们的选择也会直接影响模型的复杂度和泛化能力。当数据量较大时，应尝试复杂结构，如UN、ARH1，用以提高模型的灵活性；当数据量较小时，则应选择参数少的结构，如AR1、CS，以此来防止过拟合。同时，协方差结构作为多元统计学中不可分割的一部分，是描述多变量数据依赖关系的核心工具，其选择会直接影响参数（如回归系数、方差分量）估计的准确性，如低估或高估参数的不确定性；标准误差的估计偏差以及假设检验（p值、置信区间）的可靠性，如增加Ⅰ型错误或Ⅱ型错误。弹性网络正则化弹性网络回归（ElasticNetRegression）是一种用于处理回归问题的机器学习算法，它结合了岭回归（RidgeRegression）和Lasso回归（LeastAbsoluteShrinkageandSelectionOperatorRegression）的优点。在处理高维数据、特征相关性较强以及存在大量冗余特征的问题时，弹性网络展现出了卓越的优势，它可以有效地减少模型的过拟合，并在存在高度相关的特征时保持稳定性。因此，随着数据科学和机器学习的发展，在处理生物信息学、金融、营销等领域的大数据问题中，弹性网络算法因其优秀的特征选择和降维能力而备受青睐。为深入理解弹性网络正则化，首先对Lasso回归和岭回归的概念进行介绍。Lasso回归对模型参数施加绝对值惩罚，即L1正则化：R(θ)=θ1=iθi其中θi表示模型参数，iθiλ其中λ为正则化参数，用于控制惩罚的强度。当某些特征对模型贡献很小时，该惩罚会迫使这些特征的参数尽量接近零，相当于删掉这些特征，即某些参数（特征权重）被强行置为零，只保留关键的特征，体现出了模型的稀疏性。岭回归则对模型参数施加平方惩罚，即L2正则化：R(θ)=θ22=iθ其中θi表示模型参数，iθiλ其中λ为正则化参数，用于控制惩罚的强度。这种惩罚方式使得所有参数的值都减小，以此让模型变得更加平滑，但不会使参数变为零，从而保留了所有特征。而弹性网络正则化正是结合了L1和L2的特点，形成了更具优势的特征选择方法，其惩罚项为：λ（其中λ为正则化参数，用于控制惩罚项的整体权重；α为混合参数，用于调节L1和L2正则化的相对比例，即当α=1时，退化为L1正则化；当α=0时，退化为L2正则化。对三者进行对比总结（见表2-3）后可以得出，L1正则化适合特征选择，L2正则化适合需要所有特征的场景，而弹性网络正则化就会更适合特征选择和全面保留之间的平衡。表2-3三种正则化总结正则化方法目标通俗解释（以水果店为背景）结果L1删除不重要特征，鼓励稀疏性只摆放销量最高的水果，完全不提供销量低的水果参数中零较多，模型简洁L2平滑参数，防止过拟合每种水果都摆放一些，但同时避免过多摆放所有参数都变小，但不为零弹性网络兼顾稀疏性和全面性主要摆放销量最高的水果，少量摆放次要水果，不提供完全无市场的水果参数中既有零，也有变小的值

协方差结构选择方法研究本节中首先对将要作为判断依据的常见信息准则进行全面介绍，指出其在协方差结构选择中的作用以及不同准则的特点和相应的应用场景。随后通过第2节中的实例进行简单的模型复现，验证已知的协方差结构选择方法的可行性，并对实验结果进行分析与讨论，目的在于为后续更好的加入弹性网络正则化打下坚实基础。常见信息准则简介一个模型的拟合优度体现了该模型对数据的解释能力，拟合优度高意味着模型能很好地捕捉数据中的规律和信息。但如果一味的追求高拟合优度，又可能会导致模型过度适应训练数据中的噪声和细节，出现过拟合现象，使得模型在新数据上的表现不佳。而一个模型的复杂度则反映了该模型的复杂程度，通俗来讲，复杂模型通常包含更多的参数或更复杂的结构，简单模型与之相比虽可能无法完全捕捉数据特征，但它具有更好的泛化能力。因此信息准则是一种能够选择出合适的协方差结构的重要工具，它能用于在多个模型中找到最优模型，既保证模型能较好地拟合数据，又避免模型过于复杂而出现过拟合。一般来说，信息准则的值越小，代表模型在拟合优度和复杂度之间的平衡越好，该模型也就越优。目前常见的信息准则包括赤池信息准则（AIC）、贝叶斯信息准则（BIC）、一致性赤池信息准则（CAIC）、汉南-奎因信息准则（HQIC）以及修正赤池信息准则（AICC）等，现将其公式、特点和应用场景总结如下，其中k表示模型参数的数量，n为样本量，L是模型的极大似然估计值：表3-1常见信息准则介绍名称公式特点应用场景AIC对模型复杂度惩罚严厉，倾向选择简单模型，大样本下可有效避免过拟合数据量小或对拟合度要求高时，如短期波动大的时间序列分析BIC对模型复杂度惩罚严厉，倾向选择简单模型，大样本下可有效避免过拟合高维数据建模或样本量较大时，如基因数据分析CAIC对模型复杂度惩罚程度高，更偏向选择简单模型，可解释性强对模型可解释性要求高的领域，如经济学、医学研究HQIC对模型复杂度惩罚程度介于AIC和BIC之间，较为灵活难以确定模型复杂程度，对简约性和拟合度都有要求时，如经济预测模型选择表3-1（续）名称公式特点应用场景AICC在AIC基础上增加修正项，小样本下对复杂度惩罚更严厉，避免过拟合样本量有限的研究，如生物实验、社会调查研究基于信息准则的协方差结构选择延续2.1.2中的实例，通过对数据特征的分析可以得出该数据具有时间序列重复测量的特点，结合表2-2中对六种协方差结构适用场景的总结，我们可以给出初步判断，即应该优先选择CS、AR1以及UN这三种协方差结构进行比较。随后根据实际背景可知T=8，因此由表2-2可得该回归方程中回归系数的参数数量为每组3个（截距、周次、基准体重），两组共6个；协方差结构参数分别为2个（CS/AR1）和36个（UN），故总参数分别为k=6+2=8个（CS/AR1）和k=6+36=42个（UN）。基于已知数据，再结合表3-1中各信息准则值的计算公式，在得到参数数量和对数似然值后，我们就可以对五种信息准则的值进行模拟计算，找出在模拟数据下最优的协方差结构，详见附录A。模拟实验设计在开始实验前，需要先明确此次实验的目的：通过计算和对比模型的总参数数量（k）、对数似然值（logL）、AIC、BIC、CAIC、HQIC、AICC以及均方误差（MSE），比较CS、AR1和UN三种协方差结构在半相依模型中的表现，并对其进行选择。首先完成数据生成与参数设置。由实例背景我们可以确定的是共有25名受试者（n=25），每名受试者连续观测8周（T=8），共可生成200条观测记录。接着根据已有文献中的常见的假设分布来对因变量（响应变量）和解释变量（协变量）分别进行假定。这里我们假定因变量yti均服从均值为75、标准差为2的正态分布，而解释变量xt12服从均值为70、标准差为5的正态分布，随后将宽格式数据转换为长格式（data_long），并将yt1和yt2表3-2数据结构示例参与者IDresponseyxxP001y75.2170.3P002y74.5165.8紧接着采用R中nlme包的lme函数来构建混合效应模型，其中允许不同组别的残差方差异质，并通过correlation参数指定我们希望对其进行选择的协方差结构。接下来为了确保数据中的训练集与测试集能保留完整的个体时间序列，我们又按照参与者ID分组进行10折交叉验证，对每折数据拟合模型后计算训练集的参数数量（k）和对数似然值（logL），基于此计算所有信息准则的值，并在预测测试集后计算它的MSE。最终，我们汇总了各结构的平均MSE及它们各自的信息准则（见表3-3），根据3.1中的评估标准就能够对该实例进行协方差结构的选择。表3-3结果汇总StructureMSEAICBICCAICHQICAICCCS3.9111161527.2281558.3001566.3001539.5831527.640AR13.9125381530.4671561.5391569.5391542.8221530.879UN3.9133531563.3531726.4831768.4831628.2171574.809实验结果分析与讨论从代码运行的最终结果来看，CS结果在多个评估指标中均表现最优，具体原因主要有以下三点：CS结构的MSE最低，表明其预测误差最小，泛化能力最强。CS结构在所有信息准则中均取得最小值，，说明其在平衡模型拟合优度与复杂度方面最优。3.CS结构需要估计的参数数量少，且假设所有时间点间的协方差恒定。反之，UN结构由于参数过多导致其过拟合，因此尽管其拟合优度略高，但泛化能力不足；而AR1结构虽然参数数量与CS结构一样，但其假设协方差随着时间间隔呈指数衰减，与实际数据所具有的时间依赖性模式并不符合。因此CS结构凭借其最低的预测误差、最优的信息准则值、较低的复杂度以及与数据特性的高度匹配，成为本次实验中的最佳选择。这一结果表明，在纵向数据或者重复测量的现实场景中，简单的协方差结构（如CS）可能比复杂结构（如UN）更具实际优势，尤其在平衡拟合效果与复杂度时更为明显。在上述过程中，我们撰写的代码构建了一个广义的半相依模型，通过混合效应框架（MIXED）实现了多响应变量的联合建模，并针对纵向数据特性定义了跨响应组的协方差结构。其核心思想如误差相关性建模、多响应联合分析等完全符合半相依模型的本质，因此可以认为该代码有效构建了适用于纵向数据场景的半相依模型。值得需要注意的是，该代码的实现方式与传统半相依模型仍有不同，并且由于我们所选取的数据特征过于明显，局限性较大，数量又较少，最后虽然成功做出了协方差结构选择，但它不能被认为是一个普适的模型，因此我们仍需对其进行进一步的打磨与优化，具体操作见下节。

最终模型构建与实际应用本节通过结合过往文献中被证实可行的建模程序对上一节中所生成模型的缺点进行了优化，使其更符合传统半相依模型的形式，能够对大样本或高维数据进行协方差结构的选择。并且实现了在模型中加入弹性网络正则化以优化模型的目标，在现存的半相依模型的协方差结构选择方法的基础上进行了初步创新，希望能为未来该领域的学术研究提供新思路。传统模型优化在深入研究了学者AL-Marshadi分别在2014年和2022年发表的两篇有关为看似无关线性方程模型选择协方差结构的建议方法的论文后，我们从中了解到了传统半相依模型的构建方法REF_Ref12530\r\h[29]REF_Ref12536\r\h[30]。具体而言就是利用Bootstrap重抽样和层次聚类来评估不同协方差结构的优劣，目的是通过多次抽样增强结果的稳健性，对不同协方差结构的表现进行聚类分析，结果进行可视化分析。但考虑到可能面临的不同数据集的特征以及几种协方差结构的不同特点，我们就需要将弹性网络融入其中，即通过交叉验证选择最优正则化参数，模拟弹性网络模型，使得在处理复杂或高维数据时能够有效防止模型过拟合。弹性网络正则化的引入在尝试将传统模型与弹性网络进行结合后，我们得到的结果如下（见图1、表4-1），详见附录B。图1r=50、W=200时的聚类分析图谱表4-1r=50、W=200时信息准则结果StructureAICBICCAICHQICAICCCS1377.2281387.0251389.8071381.1711377.338AR11424.4451430.8491432.6671427.0221424.508TOEP1396.2961403.9401406.1111399.3731396.377CSH2003.8132011.4982013.6802006.9062003.893ARH12019.4132026.8442028.9542022.4042019.493UN1455.2621462.8811465.0441458.3281455.343其中r表示每次处理的参与者数量，W表示Bootstrap重抽样的次数。通过对图表中各结构信息准则的值的比较能够发现，在目前的参数设定情况下，CS结构为最优，TOEP结构次之，而AR1、UN、CSH和ARH1则依次排开。众所周知，不同参数对模型最终结果的影响也是不同的，实验需要尽可能涵盖多种参数情况，否则不能证明其普适性。因此接下来我们将对上述提到的两种参数进行修改，并把几次调试后的结果汇总展示。参数调试与结果分析首先保持参数r的值不变，将参数W由200调整至500；后保持参数W=500，将参数r由50调整至100，两次调整后生成的结果如下（见图2、3，表4-2、4-3），详见附录C。图2r=50、W=500时的聚类分析图谱表4-2r=50、W=500时信息准则结果StructureAICBICCAICHQICAICCCS1377.6781387.2471389.9651381.5291377.785表4-2（续）StructureAICBICCAICHQICAICCAR11377.1511385.0731387.3231380.3401377.236TOEP1406.0551412.3441414.1301408.5861406.118CSH1985.9181992.5971994.4941988.6061985.985ARH11970.9751979.3141981.6831974.3311971.063UN1431.7401437.9471439.7091434.2381431.802图3r=100、W=500时的聚类分析图谱表4-3r=100、W=500时信息准则结果StructureAICBICCAICHQICAICCCS2798.7742810.1532812.8532803.2392798.827AR12758.9722768.7072771.0172762.7922759.014TOEP2788.9152797.8522799.9732792.4222788.953CSH4017.5184025.2184027.0454020.5404017.550ARH13997.6034006.0644008.0724000.9233997.639UN2906.2792914.5492916.5112909.5242906.314可以发现，当参数r固定，增大参数W时，并没有对聚类分析产生较大影响，然而当参数W固定，增大参数r后，则使得聚类分析的图谱被细化，将CS结构与TOEP结构分为一簇，后又依次与AR1结构、UN结构合为第二、第三簇。但最为重要的是不论何种参数增大，模型都做出了不同于初始参数设定时的判断，即此时AR1为最优结构，而不是更适用于小样本的CS结构。真实数据集应用在证明模型可行后，我们选择了一个样本量适中的真实海洋气候数据集尝试应用该模型。数据来源及预处理该数据集来源于“Rdatasets”（Arelbundock,2023），原始数据来源于https://vincentarelbundock.github.io/Rdatasets/datasets.html，具体数据集名称为"realistic_ocean_climate_dataset"。在决定使用该数据集进行实验后，我们对其进行了一系列操作：首先根据数据集里包含的数据类别定义因变量y和解释变量x的列名，其中y包含海表温度、ph值、白化严重程度和物种观测数据，而x包括经纬度和海洋热浪指标；第二步对数据进行清洗与转换，包括对白化严重程度、海洋热浪指标的转换以及对缺失值的处理（删除），即将有序分类变量以及多种输入格式都转换为数值型数据，并将无法识别的值转为NA，以便后续模型的正常运行。最后将原始数据返回成包含因变量矩阵y和解释变量矩阵x的列表，使其符合数据输入要求。模型效果展示在经过上述处理后，即可开始模型的运行，最终生成的结果如下（见图4，表4-4），详见附录D。图4基于真实数据集所得聚类分析图谱表4-4W=500时真实数据集信息准则结果StructureAICBICCAICHQICAICCCS739.1644748.2958751.0643742.8598739.2740表4-4（续）StructureAICBICCAICHQICAICCAR1727.4169737.0596739.9831731.3191727.5347CSH826.8037836.1181838.9421830.5731826.9155TOEP729.0011738.5250741.4125732.8553729.1167ARH1678.5058687.8681690.7066682.2945678.6192UN819.6070828.6378831.3758823.2616819.7137REAL_DATA1433.89401442.39691444.41441437.23051433.9221可以发现，在海洋气候数据分析中，ARH1结构成为了最优选择，与模拟实验时面对较大样本量时所选择的AR1结构相比，它的灵活性更高，并兼容方差异质性与相关性衰减特性，其AIC值（678.51）相较于传统模型（如UN结构的819.61）降低了17.2%。与此同时，AR1结构与TOEP结构的准则值也相对较小，这说明在本次实验场景下，弹性网络模型对这些结构化数据的拟合较高效。但是有一点值得注意，真实数据协方差结构的各项信息准则值显著高于模拟的几种协方差结构，正表明了真实海洋气候数据更为复杂，模型拟合难度更高，可能存在未被模拟结构完全捕捉的特征（如非线性关系、特殊噪声等），这也是将来研究需要考虑并进一步优化的问题结论研究通过集成信息准则（AIC/BIC）与交叉验证，有效平衡了模型拟合优度与复杂度；随后通过Bootstrap重抽样与层次聚类分析，构建了协方差结构选择的稳健框架；最后针对高维与稀疏数据，引入弹性网络正则化技术，通过混合L1/L2惩罚项实现了特征选择与参数平滑的双重目标，显著降低了冗余协方差参数的估计偏差，验证了正则化技术在复杂数据中的优势。但研究仍存在局限性，如：模拟实验的数据生成假设较强，未能完全覆盖现实数据中的非线性与非平稳特征；参数（如Bootstrap次数W）的调试次数较少，其对结果的影响仍需进一步系统化分析；真实数据集稍为特殊，未来需在更大规模数据中验证方法的普适性。综上，本研究通过理论分析、模拟实验与真实数据验证，为半相依模型的协方差结构选择提供了理论支持与实践工具，推动了多元统计分析在复杂数据场景中的应用发展。参考文献Hoegh-GuldbergO,MumbyJP,HootenJA,etal.CoralReefsUnderRapidClimateChangeandOceanAcidification[J].Science,2007,318(5857):1737-1742.Zellner,A.(1962).AnEfficientMethodofEstimatingSeeminglyUnrelatedRegressionsandTestsforAggregationBias.JournaloftheAmericanStatisticalAssociation,57(298),348–368.H.Akaike,"Anewlookatthestatisticalmodelidentification,"inIEEETransactionsonAutomaticControl,vol.19,no.6,pp.716-723,December1974,doi:10.1109/TAC.1974.1100705.GideonSchwarz."EstimatingtheDimensionofaModel."Ann.Statist.6(2)461-464,March,1978.PaulB,P.KB,R.DA.ModelSelectionandInference:APracticalInformation-TheoreticApproach[J].TheJournalofWildlifeManagement,2001,65(3):606-606.Kass,R.E.,&Raft­ery,A.E.(1995).Bayesfactors.JournaloftheAmericanStatisticalAssociation,90(430),773–795.Laird,N.M.,&Ware,J.H.(1982).Random-EffectsModelsforLongitudinalData.Biometrics,38(4),963–974.PinheiroCJ,BatesMD.Mixed-EffectsModelsinSandS-PLUS[M].Springer,NewYork,NY:DOI:10.1007/B98882.GelmanA,HwangJ,VehtariA.UnderstandingpredictiveinformationcriteriaforBayesianmodels[J].StatisticsandComputing,2014