1.2 试验的基本流程

1.2试验的基本流程1.2试验的基本流程试验规划试验设计试验实施数据分析科学试验与分析技术实验设计与分析闭环

R.T.Johnson,etal.Designedexperimentsforthedefensecommunity.QualityEngineering,24(1):60–79,2012.E.Viles,etal.PlanningExperiments,theFirstRealTaskinReachingaGoal.QualityEngineering,21(1):44–51,2008.L.J.Freeman,etal.Atutorialontheplanningofexperiments.QualityEngineering,25(4):315–332,2013.规划设计实施分析理解需求定义设计空间需求项目决策识别是否需要STAT使命任务与系统分解确定试验目标定义响应变量选择因子/水平识别试验约束建立设计矩阵执行试验报告决策信息项目层试验过程STAT

Infusion置信区间与势信噪比覆盖性重复正交性基于模型的准则最优性准则随机化区组不允许的组合生成试验次序试验协议/训练记录偏差方差分析响应曲面法回归建模多元分析分布拟合假设检验蒙特卡洛模拟优化设计因子记录条件噪声1.2.1试验规划1.2.2试验设计1.2.3试验实施1.2.4数据分析理解需求

将需求转化为描述试验输出的性能指标整个作战空间X%的时间内作为平均满足在特定的区域内在一些特定的点必须满足需求可能使用的词汇与解释12345需求阈值（高于阈值更好）系统性能曲线作战区域/因子范围使命任务与系统分解分解使命、系统与功能，直到意义明确的响应与因子;顶层“杀伤目标”太广泛，影响因子很多.“探测”“交战”和“通信”定义更明确，影响因子更少.底层“功能”涉及的因子列表更少.早期性能试验应关注（由具有明确响应和因子确定的）底层，以确保刻画、量化、验证性能.杀伤目标探测交战通信雷达ESM光学火炮火箭无线电1无线电2(1)使命层需求(2)使命片段(5)作战试验设计关注(3)早期试验设计关注(4)基于早期信息的中间层设计,增加了作战因子识别是否需要采用STAT响应在不同条件下是否发生改变量化评估是否需要且可行是否有测量响应的行业标准该方法是否提供试验点行业标准检查重量、文档、程序、成本演示单个场景、过程演练分析建模仿真、有限元、计算流体力学科学试验与分析技术物理试验是否是首选或必须方法较低中等全面是是是是是否否否否否对试验设计的需求程度1.2.1试验规划确定试验目标选择响应变量确定试验空间试验规划试验设计试验实施数据分析处理比较:比较不同处理下响应的差异是否统计显著;因子筛选:不同试验因子对响应影响的重要程度排序;系统辨识:辨识试验因子与响应之间的行为关系;系统优化:找到使响应达到某特定值（且受干扰影响小）的处理;问题发现:哪些处理导致系统失效?建立响应模型讨论:试验目的分类本课程处理比较因子筛选系统辨识系统优化问题发现Montgomery目标动作案例Characterize测量整个试验空间的响应值表征焊接温度和传送带速度对电路板缺陷率的影响。Screen了解哪些因子对响应影响最大。

检查筛焊温度、焊料深度或传送带速度否会影响缺陷率。Optimize找到产生需要的响应的因子水平。

优化焊接温度和输送机速度，实现最低缺陷率。Confirm验证系统行为是否符合理论或经验。确认全速率生产期间的缺陷率与LRIP期间的缺陷率相同。Discover确定添加/删除因子或增加因子范围时发生的情况。了解新焊接材料（如果有）对缺陷率的影响。Robustness查找既提供所需响应又能减少响应方差的因子水平。找到焊接温度和传送带速度，从而在批次之间实现最低的缺陷率和最低的可变性。讨论:试验目的分类本课程处理比较因子筛选系统辨识系统优化问题发现美国空军飞行试验社区动词动作例子典型方法Observe仔细观察，特别是注意细节或行为，以便做出判断。观察自动驾驶汽车在具有代表性的城市街道和高速公路上的动作。Inspection比较详细检查被试对象的质量或性能的相似性和差异性。比较升级后的传感器与传统传感器的敏感性.Standard,Analysis,STATCandidate证明/展示单一试验揭示了一些定性或定量的东西，否则并不明显。(pass/fail,nooverallassessment)证明多功能卡车可以在平坦地形上承载2000磅的有效载荷。DemonstrationDetermine发现被试系统的某些可度量可观察的特征。通常涉及单个场景和被试系统。

确定多功能卡车在平坦地形上可以携带的最大有效载荷。Demonstration,Standard,Analysis,STATCandidate评估确定被试对象的整体价值（有效性、充分性、有用性、能力）。（需要制定评估标准，以便对系统进行评级。）评估雷达对小目标的最大探测距离.Standard,STATCandidate,Analysis验证确定可疑的假设.OftendiffersfromDeterminebyrangeofsettings.验证平均故障间隔时间(MTBF)是否超过10000小时.Standard,STATCandidate,Analysis

AnswerSpotDictationisonlysupportedonVersion3.0ornewer.Text\Image\Formulaareallowedandallthecontentshouldbeplacedinthisarea处理比较因子筛选系统辨识系统优化问题发现答案解析填空题6分1.2.1试验规划类型:定性（分类、有序）、定量（离散、连续）原则：可测性，试验中可测量；有效性，直接与试验目标有关；信息量，选择包含信息量最丰富的量确定试验目标选择响应变量确定试验空间试验规划试验设计试验实施数据分析建立响应模型案例:基于使命流程选择响应变量评估指标集搜索性能指标截获性能指标跟踪性能指标抗干扰指标最大搜索上报距离检测概率搜索角度精度搜索距离精度目标截获概率截获灵敏度截获时间

最小跟踪距离跟踪角度精度跟踪距离精度视线角速度精度最大跟踪距离

抗角反干扰能力抗箔条干扰能力抗有源干扰能力抗欺骗/压制干扰能力抗云雨雪干扰能力1.2.1试验规划把因子分为试验因子与干扰因子试验空间指试验因子及其水平划分（或取值范围）首先列出所有可能的因子，可采用鱼骨图选择重要的、可控的、适当数量的因子作为试验因子根据约束（资源、条件和随机化约束）确定因子取值范围或水平，确保试验空间中每一个处理都可实施确定试验目标选择响应变量确定试验空间试验规划试验设计试验实施数据分析建立响应模型鱼骨图——6M法对响应的效果MeasurementsManpowerMaterialsMotherNatureMethodsMachines确定试验因子的其它工具内部关系图输入输出图案例:激光目标定位考虑一个地面任务,利用激光定位目标,供另一个具有特定投送精度的武器运载系统使用.作战人员计划其使命、收集相关数据、移动到现场、指示目标并安全返回的过程构成了整个使命.虽然整个使命场景很重要,但“指示目标”是该需求需要测量响应（“时间”和“激光点误差”）的地方.案例:激光目标定位激光瞄准时间MeasurementsManpowerMaterialsMotherNatureMethodsMachines威胁大小自身速度时间精度蓝军位置训练水平经验蓝军经验温度能见度环境光使用的战术网络采用的路线目标警觉性通信方法使用的传感器目标速度使用的武器初始因子列表因子取值范围控制难易备注威胁尺寸(sqft)1-8容易(E)Primaryconcernforresponse自身速度(kts)80-150EMustvarywithtacticsused时间精度(min)1-30EMaybetiedtointel/otherfactors蓝军位置(yds)50-150EKeyfortimelinessanddecisions训练水平1,2,3难(H)Hardtoscopeandcontrol经验(yrs)1-10非常难(VH)Testteamisalreadydefined蓝军经验0-3HCriticalforaccuracyanddecisions使用的战术Overt,covertE影响时间与精度,notdefinedeasily提供的网络Specific,vagueE包含许多细节,这些细节可能差异很大使用的路线Direct,indirectHContributestotime,varieswithtacticsused目标警觉性Alert,passiveEMaybelinkedtotargetsizeandspeed通信方法

Active,passiveELinkedtotacticsandintel使用的传感器Visual,radar,EO,IREWeaponandtacticsspecific目标速度(kts)0-25EKeycontributortotime使用的武器A,B,CHImpactscrewworkload环境光(lux)0-120KVHConductdayandnightops能见度(sm)0.5-10VHKeyforcertainsensors温度(F)0-120VHKeyforcertainweapons,sensors因子分类因子高优先级低优先级控制协变量常量噪声改变记录保持忽略类型动作最终因子列表因子取值范围控制难易Vary,Hold,Record,Noise威胁尺寸(sqft)1-8容易(E)Vary(V)自身速度(kts)80-150EV时间精度(min)1-30ENoise(N)蓝军位置(yds)50-150EV训练水平1,2,3难(H)R(Record)经验(yrs)1-10非常难(VH)N蓝军经验0-3HHold(H)at2使用的战术Overt,covertEN(allowcrewtodecide)提供的网络Specific,vagueEN使用的路线Direct,indirectHHatindirect目标警觉性Alert,passiveEHatalert通信方法

Active,passiveEV使用的传感器Visual,radar,EO,IREV目标速度(kts)0-25EV使用的武器A,B,CHV环境光(lux)0-120KVHV能见度(sm)0.5-10VHR温度(F)0-120VHR1.2.1试验规划试验因子与响应之间的数学模型能够有效降低试验的难度固定效应模型、回归模型、代理模型确定试验目标选择响应变量确定试验空间试验规划试验设计试验实施数据分析建立响应模型1.2.1试验规划例

1.2.1试验规划1.2.2试验设计1.2.3试验实施1.2.4数据分析1.2.2试验设计确定试验次数给出试验方案试验规划试验设计试验实施数据分析控制试验误差不同因子的处理方式策略性地改变保持常量，可控干扰因子记录，不可控但可测干扰因子重复、随机化、区组1.2.2试验设计

试验设计作为名词:试验方案试验设计方法的分类试验目标动作样本设计案例筛选重要因子了解对响应影响最大的影子完全因子设计、部分因子设计、确定性筛选设计、最优设计

筛焊温度、焊料深度或传送带速度，以查看它们是否会影响缺陷率刻画系统在兴趣区域内的行为Tomeasuretheresponseacrossadesignspace. 完全因子设计、部分因子设计、确定性筛选设计、最优设计

表征焊接温度和传送带速度对电路板缺陷率的影响过程优化查找导致所需响应的因子水平响应曲面法,最优设计优化焊接温度和输送机速度，实现最低缺陷率Confirm验证系统行为是否符合理论或经验完全因子设计、部分因子设计、响应曲面法确认全速率生产期间的缺陷率与LRIP期间的缺陷率相同探测问题(错误,误差,软件bug,网络易损性)确定因子的何种组合将导致不期望的响应CombinatorialDesigns,OrthogonalArraysDetectsetsofinputparametersthatcreatesoftwareglitchesDiscover确定添加/删除因子或增加因子范围时发生的情况完全因子设计、部分因子设计、响应曲面法、确定性筛选设计了解新焊接材料（如果有）对缺陷率的影响分析确定性响应(如计算机试验)在试验空间的不同区域找到有趣的现象空间填充设计、最优设计预测喷气涡轮发动机排气羽流的温度AssessReliability评估试验结果的一致性和稳定性（或有效性？)SamplingPlans,SequentialProbabilityRatioTest,DOENumeroustestrunsresultinlowresponsevariances.AssessRobustness查找既提供所需响应又能减少响应方差的因子水平SamplingPlans,SequentialProbabilityRatioTest,DOE找到焊接温度和传送带速度，从而在批次之间实现最低的缺陷率和最低的可变性1.2.1试验规划1.2.2试验设计1.2.3试验实施1.2.4数据分析1.2.3试验实施试验规划试验设计试验实施数据分析实施之前应考虑实施过程中可能出现的突发和极端情况,并给出相应的应对预案.制定详细而清晰的试验章程,确保试验按设计的流程来实施.确保相关人员得到充分的培训,降低因业务不熟带来的不可预见风险.充分考虑相关人员对试验结果可能产生的影响,避免人员因素造成的效应混杂.科学地收集与管理试验数据,实施前明确数据需求有助于提高效率.记录实施过程中的一切偏离,以便后续数据分析采取针对性方法1.2.1试验规划1.2.2试验设计1.2.3试验实施1.2.4数据分析1.2.4数据分析推断性分析预测与应用数据准备探索性分析试验规划试验设计试验实施数据分析1.2.4数据分析推断性分析预测与应用数据准备探索性分析建立数据集数据清洗试验规划试验设计试验实施数据分析1.2.4数据分析单变量探索分析多元数据探索分析推断性分析预测与应用数据准备探索性分析试验规划试验设计试验实施数据分析1.2.4数据分析拟合一个统计模型，并检验模型的显著性点估计、区间估计和假设检验推断性分析预测与应用数据准备探索性分析试验规划试验设计试验实施数据分析1.2.4数据分析结果的可视化，与决策者交流评估系统，并给出建议推断性分析预测与应用数据准备探索性分析试验规划试验设计试验实施数据分析案例:弹丸射程验证试验需求:“发射一个弹丸,使得至少80%的情况下距离不低于32km.”在一组条件下重复试验将显示响应的变异性,且因子水平的变化也会影响响应.简单的统计量（如平均值和标准差）将无法充分告知决策者这些变化.报告最佳和最差性能条件以及局部可变性对于解释系统拥有的性能裕度（风险）量大有帮助.案例:弹丸射程验证试验描述性分析:探索潜在的规律

案例:弹丸射程验证试验方差分析:分析因子主效应与交互效应的显著性SourceDF平方和F值角度12513.1028339.2346高度112.13941.6387速度1222.983830.0998风速12.46900.3333温度117.07032.3043角度*速度1288.932439.0019角度*风速134.65504.6779角度*温度137.32705.0386高度*风速1260.782135.2020.案例:弹丸射程验证试验回归分析与预测

总结试验规划(pre-plan)需求确定试验目标选择响应变量确定试验空间建立响应模型第III类错误试验设计(design)确定试验次数给出试验方案排除试验干扰试验实施(execute)数据分析(analyze)数据准备探索性分析推断性分析达成试验目标试验充分性评价预测与应用结论与建议存在否(2)试验的流程Montgomery定律

下表中，属于试验规划的是1234ABCDSubmit5E6F7G多选题3分试验规划工具1.试验者的姓名与单位：试验的简称：2.试验的目标(shou