试验设计与分析 第2版 课件 第6章计算机试验设计

6.1空间填充设计2一、计算机试验简介二、基于抽样的空间填充设计三、基于准则的空间填充设计知识目标：能够描述计算机实验与实物实验的区别；理解拉丁超立方设计、最大最小距离设计等常见空间填充设计的思想。能力目标：能够利用Python构造拉丁超立方设计；能够利用Python实现最大最小距离拉丁超立方设计的求解。学习目标4一、计算机试验简介二、基于抽样的空间填充设计三、基于准则的空间填充设计一、计算机试验简介（一）系统的不同试验类型随着科学技术的发展,可控试验难度越来越高(1)被试系统日益复杂(2)定量化要求逐步提高试验层级试验方式试验场地部件级试验分系统级试验系统级试验体系级试验数字仿真半实物仿真实物仿真实物试验内场试验外场试验内外场联合试验试验的层级、场地和方式都得到了大大的拓展一、计算机试验简介（一）系统的不同试验类型计算机试验:在计算机上运行程序代码而进行的试验,也称为数字仿真试验.半实物仿真试验:

关键部位以及难以建立可信仿真模型的部位为实物,其它组分则为仿真模型,又称虚实结合试验.实物仿真试验:

利用实物模型进行的试验,如爆炸试验中的缩比试验、空气动力学中的风洞试验等.实物试验:以实物进行的等比例试验,包括田间试验、临床试验和工业试验等试验设计领域传统的研究对象.实物试验和实物仿真试验之间不存在严格的区分,也可把试验方式分为数字仿真、半实物仿真和实物试验三类.一、计算机试验简介（一）系统的不同试验类型导弹武器抗干扰试验是以考核其抗干扰指标为目的的试验.可以归纳出五种常用试验方式,数字仿真和半实物仿真两种内场仿真试验,地面静态模拟、挂飞试验和飞行试验三种外场试验.地面静态模拟和挂飞试验都是实物仿真试验,飞行试验是实物试验.例6.1（导弹武器抗干扰试验）一、计算机试验简介（一）系统的不同试验类型数字仿真:内场建立数学模型,形成虚拟对抗条件.优点是试验消耗低,可大量重复;缺点是建模难度大,置信度受到限制.半实物仿真:核心部件以飞行转台为平台,建立仿真运动环境,在暗室条件下模拟目标、干扰和环境信号.优点是提供了较好的导弹飞行环境,试验消耗低,重复性好;缺点是目标、干扰和环境建模难.地面静态模拟:核心部件以角转台为平台,模拟实装形成目标与干扰环境,在关键对抗点上试验.优点是为导引头提供较好的角运动环境,试验消耗低,重复性好;缺点是不能直接得到命中率.挂飞试验:弹头（或导引头）以其它飞行器为运动平台,模拟实装形成目标与干扰环境.优点是为弹头（或导引头）提供了较为真实的环境,消耗较低,重复性较好;缺点是不能直接得到命中率,逼真度依赖于平台特性.飞行试验:全系统参加,模拟实装形成目标与干扰环境.优点是能提供真实工作环境,可直接得到命中率;缺点是目标与干扰环境单一,消耗巨大,重复性最差.例6.1（导弹武器抗干扰试验）可信度增加可重复性降低消耗增大一、计算机试验简介（二）实验设计与分析在仿真中的地位实验设计与分析是仿真开发的重要环节

例6.2一、计算机试验简介（二）实验设计与分析在仿真中的地位实验设计与分析是仿真开发的重要环节实验设计与分析是仿真模型验证的有效手段

一、计算机试验简介（二）实验设计与分析在仿真中的地位实验设计与分析是仿真开发的重要环节实验设计与分析是仿真模型验证的有效手段实验设计与分析是统筹多种试验方式的科学方法采用试验设计的方法,统筹不同类型试验的占比和不同类型试验的试验方案,做到既互相验证又信息融合.实物试验实物仿真半实物仿真数字仿真可重复性降低,资源消耗增加,可信度增加一、计算机试验简介（二）实验设计与分析在仿真中的地位实验设计与分析是仿真开发的重要环节实验设计与分析是仿真模型验证的有效手段实验设计与分析是统筹多种试验方式的科学方法

例一、计算机试验简介（三）计算机试验与实物试验的区别试验单元（被试系统/过程）因子响应响应模型近似试验目的一、计算机试验简介（三）计算机试验与实物试验的区别(1)从试验因子来看计算机试验考察因子数量更多!因子分类方式不同!实物试验中的因子试验因子:研究者感兴趣的因子干扰因子:试验因子以外的其余因子计算机试验中的因子控制因子:用来控制系统或过程的变量环境因子:刻画系统所处的环境,有随机性模型因子:刻画数学模型的不确定性的参数一、计算机试验简介（三）计算机试验与实物试验的区别(2)从试验单元来看：实物试验中试验单元之间存在差异,采取区组、重复和随机化的方式来降低这种差异的影响；计算机试验中试验单元是不同开发人员开发的不同精度的程序,重复、区组和随机化重要性降低。(3)从响应变量来看：计算机试验的响应变量往往更多；响应变量的可测性不同。一、计算机试验简介（三）计算机试验与实物试验的区别16(4)从试验目的来看:处理比较、因子筛选、系统辨识、系统优化、问题发现；不确定性分析:研究环境因子的随机性如何传递到响应变量的随机性；

模型校正:

确认最佳模型参数,使仿真系统的输入输出行为与真实系统相似。

(5)从响应模型来看:实物试验常使用低阶模型;计算机试验中常使用代理模型(surrogatemodel)。一、计算机试验简介（三）计算机试验与实物试验的区别更多运行Fisher1919农业试验1950-1970s工业试验1970s-1990质量革命计算机试验

仿真模型实物试验或观测代理模型因子数量相对较多;一般不采用低阶线性模型;一般不考虑重复、区组和随机化的技术.计算机试验的新特点试验设计更多采用空间填充设计和序贯设计数据分析时一般采用代理模型（元模型）.计算机试验的新策略

18研究复杂系统,需要拓展试验方式实验设计与分析在仿真中的地位实验设计与分析是仿真开发的重要环节实验设计与分析是仿真模型验证的有效手段试验设计与分析是统筹多种试验方式的科学方法计算机试验有别于实物试验,导致:试验设计的原则有所不同数据分析的方法有所不同试验的流程大体一致,略有不同19一、计算机试验简介二、基于抽样的空间填充设计三、基于准则的空间填充设计空间填充设计的分类空间填充设计基于抽样的设计基于准则的最优设计简单随机抽样分层随机抽样基于点之间距离的准则基于分布距离的准则基于代理模型的准则极小极大设计极大极小设计最小势能设计超拉丁方抽样基于正交阵列的超拉丁方正交超拉丁方

最小化最大预测方差最小化积分预测方差

二、基于抽样的空间填充设计二、基于抽样的空间填充设计本质上是一种分层随机抽样方法

二、基于抽样的空间填充设计第一步:第二步:二、基于抽样的空间填充设计拉丁方

超拉丁方设计二、基于抽样的空间填充设计例

二、基于抽样的空间填充设计

定义二、基于抽样的空间填充设计

二、基于抽样的空间填充设计QIANPZG.SlicedLatinhypercubedesigns[J/OL].JournaloftheAmericanStatisticalAssociation,2012,107(497):393-399.DOI:10.1080/01621459.2011.644132二、基于抽样的空间填充设计一种可被划分为多个切片的LHD，每个切片本身也是一个较小的LHD。SLHD用于定量因子，而析因设计则用于定性因子，SLHD的每个切片对应于定性因子的一个水平组合。随着定性因子水平组合数的增加，SLHD所需的样本量迅速增长。HEY,LINCD,SUNF.Constructionofmarginallycoupleddesignsbysubspacetheory[J/OL].Bernoulli,2019,25(3):2163-2182.DOI:10.3150/18-BEJ1049.ZHOUW,YANGJ,LIUMQ.Constructionoforthogonalmarginallycoupleddesigns[J/OL].StatisticalPapers,2021,62(4):1795-1820.DOI:10.1007/s00362-019-01156-1.定量因子子设计相对于每个定性因子形成一个SLHD缺点：可能无法充分捕捉定性和定量因子间的交互效应YANGF,LIND,ZHOUY,etal..DoublyCoupledDesignsforComputerExperimentsWithBothQualitativeandQuantitativeFactors[J/OL].StatisticaSinica,2023,33(3):1923-1942.DOI:10.5705/ss.202020.0317.二、基于抽样的空间填充设计31一、计算机试验简介二、基于抽样的空间填充设计三、基于准则的空间填充设计

三、基于准则的空间填充设计

三、基于准则的空间填充设计

三、基于准则的空间填充设计

从所有设计中求解基于准则的最优设计解空间太大,可限制在某些特殊设计中找最优设计.如限制在超拉丁方设计中求解最大最小设计和最小最大设计.三、基于准则的空间填充设计三、基于准则的空间填充设计

三、基于准则的空间填充设计38基于准则的最优设计求解困难,但一般可制成表.基于抽样的设计容易实现,但一般不够稳定.两类试验设计方法:Modeloriented&Modelfree.选择试验设计时,要考虑效率与稳健之间的均衡.空间填充设计一般作为序贯设计中的初始设计.实践：空间填充设计的构造知识目标：深化理解空间填充设计的基本概念与应用场景；掌握拉丁超立方设计的生成方法及其空间填充性质；理解最大最小距离设计与序贯空间填充设计的优化目标。能力目标：能够使用Python（或R/Matlab）生成不同维度与样本量的拉丁超立方设计；能够实现模拟退火算法求解最大最小距离设计与最大最小距离拉丁超立方设计。实践目标任务说明：撰写不少于500字的空间填充设计简介，包括概念、应用场景以及主要方法。完成时间：10分钟。任务一：空间填充设计的概念与应用场景任务说明：使用Python生成随机拉丁超立方设计与中点拉丁超立方设计利用矩阵散点图观察不同维度与样本量下的分布情况。完成时间：10分钟。任务二：拉丁超立方设计的构造任务说明：借助大模型，了解模拟退火算法利用Python实现两个最优性准则：平方平均相关系数准则和最大最小距离准则；利用模拟退火算法，求解近正交拉丁超立方设计和最大最小距离拉丁超立方设计。完成时间：45分钟。任务三：最优拉丁超立方设计的构造

任务四：序贯空间填充设计的构造6.2高斯过程模型与序贯设计引言更多运行Fisher1919农业试验1950-1970s工业试验1970s-1990质量革命计算机试验

仿真模型实物试验或观测代理模型因子数量相对较多;一般不采用低阶线性模型;一般不考虑重复、区组和随机化的技术.计算机试验的新特点试验设计更多采用空间填充设计和序贯设计数据分析时一般采用代理模型（元模型）.计算机试验的新策略

47一、高斯过程模型简介二、以预测为目的的序贯设计三、以优化为目的的序贯设计四、以水平集估计为目的的序贯设计知识目标：理解随机过程与空间相关性的基本概念；理解高斯过程模型的预测机制及其插值特性；了解序贯设计的基本思想、核心要素及常用序贯准则。能力目标：能够运用高斯过程建模方法对计算机试验数据进行拟合与预测，初步具备根据实际问题选择合适相关函数并估计模型参数的能力；能针对不同试验目标选择合理的序贯采样策略，提升模型精度或优化效率，增强解决复杂系统建模与分析问题的实践能力。学习目标49一、高斯过程模型简介二、以预测为目的的序贯设计三、以优化为目的的序贯设计四、以水平集估计为目的的序贯设计Kriging方法最早由南非地理学家D.G.Krige在其硕士学位论文中建立,Matheron建立高斯Kriging方法,用来分析空间数据;Sacks首次将Kriging方法引入计算机试验.

高斯过程一、高斯过程模型简介一、高斯过程模型简介

一、高斯过程模型简介

一、高斯过程模型简介

一、高斯过程模型简介一、高斯过程模型简介

定理(高斯过程的预测方程)一、高斯过程模型简介

定理(高斯过程的预测方程)一、高斯过程模型简介初始空间填充设计拟合/更新代理模型序贯试验设计仿真试验停止准则输出结果满足不满足

响应预测

仿真优化

水平集估计一、高斯过程模型简介59一、高斯过程模型简介二、以预测为目的的序贯设计三、以优化为目的的序贯设计四、以水平集估计为目的的序贯设计二、以预测为目的的序贯设计

61一、高斯过程模型简介二、以预测为目的的序贯设计三、以优化为目的的序贯设计四、以水平集估计为目的的序贯设计三、以优化为目的的序贯设计

63一、高斯过程模型简介二、以预测为目的的序贯设计三、以优化为目的的序贯设计四、以水平集估计为目的的序贯设计四、以水平集为目的的序贯设计

四、以水平集为目的的序贯设计

五、三阶段批量序贯设计第一阶段：将试验空间离散化为有限点集。第二阶段：基于当前代理模型从离散点集中确定兴趣区域。第三阶段：以提高兴趣区域预测精度为目的，确定批量序贯设计点。试验空间离散化点集兴趣区域最终序贯点第一阶段：将试验空间离散化为有限点集。第二阶段：基于序贯准则从离散点集中挑选候选序贯点集。第三阶段：按照序贯空间填充设计的方式，确定最终的批量序贯点。试验空间离散化点集候选序贯点集最终序贯点五、三阶段批量序贯设计案例一：导引头抗角反干扰试验

40m

案例一：导引头抗角反干扰试验序号参数1：释放时机(s)参数2：径向距离(km)参数3：横向距离(m)参数4：角反组数参数5：组间距离(m)水平取值低0s中5s高10s低35.6km中35.8km高36km低500m中1000m高1500m低1中2高3低50m中125m高200m1035.850012002103650011253535.65001504535.81000212551035.6100032006536150032007035.6150012008036100015090361500250101035.61500150111035.8150035012103650035013035.65003501410361500120015036500320016035.615003125171035.65002200因子筛选阶段试验采用确定性筛选设计，每个因子各取高中低三个水平，共17条试验案例一：导引头抗角反干扰试验序号时机径向横向组数间隔结果1035.80.5120001035.80.5120001035.80.51200021036.00.51125021036.00.51125021036.00.5112503535.60.515013535.60.515013535.60.515014535.81212504535.81212504535.812125051035.613200151035.613200151035.61320016536.01.5320016536.01.5320016536.01.5320017035.61.5120007035.61.5120007035.61.5120007035.61.512000序号时机径向横向组数间隔结果8036.0115008036.0115008036.0115009036.01.525009036.01.525009036.01.52500101035.61.51501101035.61.51501101035.61.51501101035.61.51501111035.81.53500111035.81.53501111035.81.53500111035.81.53500111035.81.53501121036.00.53501121036.00.53500121036.00.53500121036.00.5350013035.60.5350013035.60.5350013035.60.53500序号时机径向横向组数间隔结果141036.01.512000141036.01.512000141036.01.512001141036.01.512001141036.01.512001141036.01.512000141036.01.512001141036.01.512001141036.01.512001141036.01.51200015036.00.53200115036.00.53200115036.00.53200115036.00.53200116035.61.53125116035.61.53125116035.61.531251171035.60.522001171035.60.522001171035.60.522001案例一：导引头抗角反干扰试验

低水平中水平高水平0次数1次数0次数1次数0次数1次数时机167371319径向716921614横向1211631418组数171336916间隔1510631119参数系数估计值标准差Z值P值截距9.305e+029.219e+040.0100.992时机1.077e+001.046e+020.0100.992径向-2.644e+012.614e+03-0.0100.992横向-4.281e+005.228e+02-0.0080.993组数2.996e+002.614e+020.0110.991间隔7.149e-026.971e+000.0100.992各因子不同水平下结果统计表Logistics回归因子显著性结果五个因子对结果都有影响，基于现有结果识别不出不重要的因子五个因子之间互相耦合，无法准确描述抗干扰机理抗干扰成功概率低水平中水平高水平时机30.4%70.0%59.4%径向69.6%18.2%46.7%横向47.8%33.3%56.3%组数43.3%66.7%64.0%间隔40.0%10.0%63.3%结论结论案例一：导引头抗角反干扰试验干扰机理：结果为0-1型由于单个散射点的功率比目标大很多，因此无需考虑干信比的影响；无需考虑整个动态过程，真正关键的是角反刚出现时刻角反与目标的位置关系；如果释放时刻晚于2s，则角反必须位于波束范围和距离波门内才能实现有效干扰；如果释放时刻早于2s，由于角反辐射强，除非几个散射点互相进入参考单元，否则干扰有效。原始因子：有效因子：因子约束：

40m

案例一：导引头抗角反干扰试验第一步：重新设置每个因子的取值，并将所有可能的组合转换到有效因子空间；第二步:基于现有数据，拟合关于有效因子的分类模型，并给出所有可能组合结果的预测概率；第三步：在预测不确定性大（结果预测概率在0.3到0.7之间）的所有组合中，按照空间填充性准则（有效因子空间中）挑选一批（5个，根据现场情况确定）序贯试验点；第四步：如果试验时间允许（根据总试验时间预算确定）则回到第一步。因子第二阶段试验各因子设置的水平0,2,4,6,7,9,11,1335.8,35.91.2,1.3,1.4,1.5,1.6,1.7,1.8,1.91,2,3100,110,120,130,140,150,160,170,180因子第二阶段试验实际取到的水平2.01,2.05,2.09,2.11,2.13,2.36,2.39,2.44,2.47,2.48,2.49,2.51,2.69,2.75,2.79,2.82,3.00,3.03,3.08,3.12,3.180,15,25,30,35,55,60,70,90,100,105,160,165,190,225,250,255,2550,100,110,120,130,150,160,1800,100,110,120,130,150,160,180,200,220,320,360序贯试验设计方法案例一：导引头抗角反干扰试验序号时机径向横向组数组间隔夹角(°)结果

18235.81.331602.0900.160.321第一轮补充18235.81.331602.0900.160.32118235.81.331602.0900.160.321191335.91.621502.820.1050.150.151191335.91.621502.820.1050.150.151191335.91.621502.820.1050.150.15120235.81.911303.080.1900120235.81.911303.080.1900120235.81.911303.080.1900020235.81.911303.080.1900020235.81.911303.080.1900020235.81.911303.080.1900020235.81.911303.080.1900020235.81.911303.080.1900020235.81.911303.080.1900020235.81.911303.080.19001211135.91.831003.120.0250.10.21211135.91.831003.120.0250.10.21211135.91.831003.120.0250.10.2122735.91.411902.360.16500022735.91.411902.360.16500022735.91.411902.360.16500122735.91.411902.360.16500122735.91.411902.360.16500022735.91.411902.360.16500122735.91.411902.360.16500122735.91.411902.360.16500022735.91.411902.360.16500123035.81.931803.0000.180.361第二轮补充23035.81.931803.0000.180.36123035.81.931803.0000.180.361241135.91.211702.090.225000241135.91.211702.090.225000241135.91.211702.090.22500025735.91.621102.690.0550.110.11125735.91.621102.690.0550.110.11125735.91.621102.690.0550.110.11126635.81.511002.510.2500126635.81.511002.510.2500126635.81.511002.510.2500127435.81.521202.470.10.120.12027435.81.521202.470.10.120.12027435.81.521202.470.10.120.12028635.81.911803.180.25001第三轮补充28635.81.911803.180.2500128635.81.911803.180.25001291335.91.231102.110.0350.110.221291335.91.231102.110.0350.110.221291335.91.231102.110.0350.110.221序号时机径向横向组数组间隔夹角(°)结果

30935.91.221802.050.0150.180.181第四轮补充30935.91.221802.050.0150.180.18130935.91.221802.050.0150.180.18131635.81.531602.4900.160.32131635.81.531602.4900.160.32131635.81.531602.4900.160.32132735.91.221502.010.0150.150.15132735.91.221502.010.0150.150.15132735.91.221502.010.0150.150.151331135.91.611202.790.225001331135.91.611202.790.225001331135.91.611202.790.225001341135.91.411502.440.225001341135.91.411502.440.225001341135.91.411502.440.22500135435.81.921503.120.070.150.15135435.81.921503.120.070.150.15135435.81.921503.120.070.150.151361335.91.211402.130.255000361335.91.211402.130.255000361335.91.211402.130.25500037235.81.721602.750.030.160.16137235.81.721602.750.030.160.16137235.81.721602.750.030.160.16138035.81.521002.390.060.10.1038035.81.521002.390.060.10.1038035.81.521002.390.060.10.1039235.81.311202.110.19000第五轮补充39235.81.311202.110.1900039235.81.311202.110.1900040035.81.911703.030.16000411335.91.411902.480.255000411335.91.411902.480.255000411335.91.411902.480.255001411335.91.411902.480.255001411335.91.411902.480.255001411335.91.411902.480.255001411335.91.411902.480.25500042435.81.321602.130.060.160.16142435.81.321602.130.060.160.16142435.81.321602.130.060.160.16143435.81.721302.790.090.130.13143435.81.721302.790.090.130.13043435.81.721302.790.090.130.13043435.81.721302.790.090.130.13143435.81.721302.790.090.130.13043435.81.721302.790.090.130.13043435.81.721302.790.090.130.131案例一：导引头抗角反干扰试验原始因子的每一个水平下，都即有可能成功也有可能失败！做因子变换后，当四个有效因子大到一定程度后，干扰失败！说明存在性能边界！案例一：导引头抗角反干扰试验Logistics回归判断转换后的有效因子的显著性

估计值标准差z值截距-3.98291.0012-3.9786.95e-05角度0.97940.31853.0750.002105.95402.10362.8300.00465-2.61158.1087-0.3220.7474017.41196.78852.5650.01032结论

分类模型预测所有组合下的结果结论释放时机越晚，干扰成功的概率越小；横向距离越大，干扰成功的概率越小；角反组数越多，效果不一定越好：一方面组数越多不同组角反组互相进入参考单元的概率越大，另一方面增大了距离波门内存在角反组的概率。案例一：导引头抗角反干扰试验利于SVM分类模型一维预测结果判断性能边界波束宽度的一半不超过3°；当角反组间隔大于150m后，可能互相进入参考单元结论案例一：导引头抗角反干扰试验利于SVM分类模型二维预测结果判断性能边界波束宽度的一半不超过3°；距离波门约为目标前后各400m；当角反组间隔大于170m后，可能互相进入参考单元。结论案例一：导引头抗角反干扰试验利于决策树判断性能边界波束宽度的一半约为2.4°；距离波门约为目标前后各400m；当角反组间隔大于140m后，可能互相进入参考单元。结论案例一：导引头抗角反干扰试验第一步：基于现有试验样本，训练得到响应模型。第二步:根据响应模型给出试验因子所有可能组合的结果预测，从从中挑选出预测概率为0.5（如0.4到0.6）附近的所有组合。本次试验挑选得到368个这样的样本点，详见报告。第三步：将挑选出来的组合映射到有效因子空间，在有效因子空间中采用层次聚类法聚类，类的数目需结合专业知识、预算以及聚类结果来确定。第四步：按照一定的准则（空间填充性、列正交性或根据专家经验），从聚类结果的每一类中，选择一个样本点构成最终的样本点集。样本筛选方法原始试验空间有效试验空间预测概率序号释放时机径向距离横向距离角反组数组间距离1335.81.31-2.3120.3550.0000.0000.56511135.81.41-2.4470.3250.0000.0000.5132435.81.51-2.4740.2200.0000.0000.5393735.81.51

-2.5350.2650.0000.0000.4754735.91.51

-2.5280.1650.0000.0000.5345435.81.61

-2.6380.2200.0000.0000.4146235.91.61

-2.5890.0900.0000.0000.5757635.91.61

-2.6740.1500.0000.0000.4538235.91.71

-2.7510.0900.0000.0000.4939035.91.81

-2.8670.0600.0000.0000.48510235.91.321202.0970.0000.1200.1200.40111235.91.521102.4200.0000.1100.1100.41012035.91.621002.5420.0000.1000.1000.467131335.81.621102.8350.2450.1100.1100.51414235.81.721002.7510.0900.1000.1000.53615935.81.821003.0830.1950.1000.1000.403161135.81.331002.2590.1250.1000.2000.49017035.81.221301.9110.0300.1300.1300.440181135.91.421302.4300.0950.1300.1300.44519635.81.221502.0030.1000.1