大物实验之实验数据的处理

.,2实验数据处理,.,在自然界中，有很多的现象是不能用我们以前所学的知识所能解决的研究动机比如我们在耐液锌蚀腐蚀合金研究过程中，它是由许多种元素配合，再通过高温熔炼而成。可以用多少种成份来配料，熔炼温度需要多高，后续如何处理？这些往往都是未知数。而且没有一定的规律可言。那就需要我们进行大量的试验来寻找它的配方及烧制温度。,.,在实验过程中将要利用各种方法对样品进行分析测试，产生许多测量数据。按测量值获得的方法分为：直接测量、间接测量和组合测量直接测量：如用米尺测量长度间接测量：利用直接测量结果，根据特定关系计算特定物理量，如晶面间距测量组合测量：测量长宽，计算面积,.,第二章实验数据处理,在自然科学领域，常用函数表达变量之间的数量关系例如扩散层厚度与时间的关系，利用公式便于分析规律如何利用有限的实验数据拟合出一个近似公式,这就是参数拟合问题。确定参数的方法主要有最小二乘法和最大似然法。如要判断一组数据是否在某个精度范围内与理论公式一致,就是假设检验问题。采用代数多项式来表示复杂的函数,可用插值法,.,2.1误差理论简介,误差的含义绝对误差相对误差置信区间贝叶斯理论区间估计不同分布样本的区间估计,.,一、误差的含义,可以通过一定的试验测试或运算用估计值表示理论值的近似值。试验值（估计值）与理论值（真值）之间的差值称绝对误差，简称误差。真值往往很难得到，因而误差的绝对值也是无法知道的。但是根据测量工具或计算情况可以估计误差值上限或估计值的精确程度。,.,相对误差,误差限的大小还不能完全表示近似值的好坏，如101与10005两个量，虽然前者绝对误差较小，但是显然后者更精确。所以除了考虑误差的大小以外，还应考虑准确值本身的大小，误差与准确值的比值称为近似值的相对误差。,.,系统误差与随机误差,系统误差由于某种原因所产生，并遵循一定的规律进行变化.例如，随样品或试剂用量的大小按比例进行变化.系统误差有一定的指向，例如称量一种吸湿性物质，其误差总是正值.它属于方法和技术问题，知道了产生的原因，便可消除或修正，所以此种误差也称可定误差.随机误差在相同条件下重复多次测定同一物理量时，误差大小或正负变化纯属偶然而毫无规律，这种误差称为随机误差，也叫偶然误差.,.,系统误差的特点,重现性单向性数值基本恒定系统误差可以校正。可用一定的方法消除。,.,随机误差分布,随机误差是不可预测、不可避免的根据统计理论，随机误差服从高斯分布（正态分布）随机误差具有单峰性：较小误差出现的几率较大对称性：绝对值相等的正负误差出现的几率相等有界性：大误差出现的几率较低因此，测量次数较多时，均值会趋于真值,.,随机误差的估算,算术平均误差用算术平均代替真值，可以计算绝对误差的平均值。标准误差（方差）反映数据偏离真值的分散程度，即均值与真值之间的接近程度。,.,几个精度概念,精密度：多次测量结果之间的符合程度，反映随机误差的大小，重现性正确度：系统误差的大小准确度：测量值与真值的一致程度，反映系统误差与随机误差的综合,.,在热工、电工仪表中，正确度等级一般都用引用误差来表示，通常分为0.1,0.2,0.5,1.0,1.5,2.5,5.0七级。例如，某仪表正确度等级为R级（引用误差R%），满量程的刻度为X，实际使用时的测量值为x（xX），则,.,通过上面的分析，可知为了减少仪表测量的误差，提高正确度，应该使仪表尽可能在靠近满量程刻度的2/3以上的区域内使用的原则。,.,提高实验数据准确度的方法,减少系统误差的途径对照实验空白实验校准仪器校正方法减少偶然误差的途径多次测量、取平均值防范过失！,.,粗大误差,粗大误差也称过失误差，是一种不应发生，而仅由于粗心、疏忽等引起的误差。往往是由于非正常实验条件或非正常操作所造成的.如测量时对错了标志,误读了数码,实验仪器未达到预想的指标，记录计算错误，加错了试剂等粗大误差的数值远大于系统误差和随机误差，实际上已超出了误差范围含有粗差的测量值常称为坏值或异常值,应予以剔除,否则会影响结果,.,坏值剔除,用统计法进行坏值剔除的基本思想是：给定一显著性水平，并确定一门限值，凡超过这个门限的误差就认为它不属于随机误差的范畴，而是粗差，并予以剔除.,.,拉依达()准则,拉依达准则又被简称为3准则。由于随机误差服从正态分布规律，因此P|3=99.7有限次测量误差超过3的几率很小，可以剔除由于实际上未知，如果可以剔除，弃真几率很小,.,例,.,24个测量值的均值为40.4124个测量值的标准差S0.03213S0.0963与平均值偏差最大的是21次测量结果40.30，偏差0.11，超过3S，坏值去掉该值后，均值40.41，S0.0225偏差最大（5，14）0.053S，有效,.,肖维勒准则,肖维勒认为，在n次测量中，某误差可能出现的次数小于半次时，则舍去这个误差值。误差等于或大于出现的相对频数可近似地取为1-P测量次数为n，误差等于或大于出现的次数为n(1-P)S，即可判断为粗差,.,Chauvenet系数的数值表,.,Grubbs准则,格拉布斯(FEGrubbs)准则同样适用于对同一参数进行重复测量得到的一列测量数据的处理。这个准则经蒙持卡罗法考验后，认为是最有效的判别方法。同上，当时则认为xi是含有粗值的坏值，应予剔除,.,Grubbs系数数值表,.,t检验法,该准则又可称为罗曼诺夫准则。当测量次数较小时，按t分布的实际误差分布范围来判断粗大误差较为合理。t检验准则的原则是：首先剔除一个与均值偏离最大的数据，然后对剩余的数据进行统计计算，以判定该次剔除是否合理，即判定已被剔除的那个数据是否含有粗大误差。,.,在剔除某一数据xi后，重新计算均值和方差，如果时，剔除坏值xi其中T为t分布，自由度f=n-2,.,Dixon准则,狄克松(Dixon)准则采用了极差比的方法，不必求方差。对于某一等精度重复测量，按测量值的大小排列为x1x2xn如果上述测量值中有含有粗大误差的测量数据，首先值得怀疑的是x1、xn。狄克松首先定义了一个与x1，xn和、n有关的极差比统计量f(f的计算公式见表)，如果f临界值f(a,n)则认为在显著性水平下，x1、xn含有粗大误差，应予以剔除。狄克松准则一次能判别两个数据x1，xn，如果这两个数据都不含粗大误差，判断结束。如果这两个数据中有含粗大误差的数据，则予以剔除。剔除后的数据列当做新的数据列，重新进行判断,.,.,有效数字,有效数字是指在实验中实际上能测量到的数字。记录数字和计算结果时究竟应该保留几位数字，必须根据测量方法和使用仪器的准确程度来决定。在记录数据和计算结果时，所保留的有效数字中，只有最后一位是可疑的数字。称量瓶质量：10.373g，10.3732g，10.37321g10.37320.0001g盐酸溶液体积：24.2mL，24.21mL，24.213mL24.210.01mL有效数字的位数直接与测定的相对误差有关！在测量准确度的范围内，有效数字位数越多，测量也越准确。但超过测量准确度的范围后，过多的数字是没有意义的。,.,有效数字的运算规则,记录测量数据时，只保留一位可疑数字；当有效数字位数确定后，(计算结果中的)其余数字应舍去修约方法：四舍六入五留双原有数据：3.14243.21565.62354.6245四位有效数据：3.1423.2165.6244.624当第一位有效数字大于或等于8，其有效数字可以多算一位。三位有效数据：3.14四位有效数据：9.37,.,实验结果的表示,测量结果最常用的表示方式是均值和标准偏差。前者表征测试量的大小，后者表征测试的精密度。与之有关的是有效位的取舍.所谓有效位是指某种测量所达到的精度.如下列测试值：10.09,10.11,10.09,10.10和10.12，其均值为10.102，标准偏差为0.0130.但测试值仅准确到小数点后面第一位，而第二位为可疑位，故结果的表示为：,.,有效数字及计算规则,当几个数据相加减时，其有效数字的保留应以小数点后位数最少的数据为依据。32.1416.93.23512335.33535.3293.9294,.,有效数字及计算规则,在大量数据的运算中，为使误差不迅速积累，对参加运算的数据可以多保留一位有效数字。待运算完成后在进行舍入。5.27270.0753.72.125.270.083.72.1211.1711.2,.,有效数字及计算规则,当几个数据相乘除时，其有效数字的保留应以有效数字位数最少的那个数为依据。0.012125.641.057820.012125.61.06=0.3280.012125.641.058=0.3282=0.328,.,二、置信度与置信区间,设一未知参数X(例如材料的硬度),虽然其精确值未知，但是可由若干试验值（样本）估计它在某个范围内。如果有区间x1,x2，对于给定值m（0mt(n-2)，则可以认为XY二者显著相关，相关系数有效。否则可认为XY二者无关。,.,F检验,.,复相关系数,对于多元线性回归，采用复相关系数。,.,复相关系数的意义,R反映了变量y与多个变量xi(i=1,2,3)之间的线性相关程度。R=0表示x,y之间无关，R=1表示x,y二者严格线性相关。R越大，线性回归效果越好。,.,回归方程变量个数,复相关系数是总回归效果的一个重要指标，但是R与回归方程中自变量个数K以及试验次数n有关。当n值相对于K不是很大时，常有较大的R。特别是当n=K+1时，即使K个自变量与y无关，也必然有R=1（Q=0），因此在实际计算当中必须注意K与n的相对比例。根据经验，n应该比K大4-5以上。,.,复相关系数的临界值,统计量W服从F分布F（k,n-k-1)可根据置信度大小在F表中查出相应的临界值。当计算的F值大于临界值则认为回归效果显著。,.,偏相关系数,偏相关系数表征单个因素对因变量的作用大小。偏相关系数也可以用普通相关系数公式计算，即ri越大，说明y对xi的依赖越显著，这时不可将该因素剔除。,.,偏相关系数的临界值,常用如下统计量来衡量该因素的显著性给定置信度，可以根据t分布表，查出临界值t,当计算值W的绝对值大于临界值t，则认为xj对y产生显著影响，不可忽视。,.,Matlab实现,相关系数r=corrcoef(x,y),式中X和Y列向量,等价于r=corrcoef(xy).,.,单个回归系数的显著性,利用统计量式中分子分别为对第k个变量回归系数的估计值和系数值，分母s是系数的标准差的估计,.,T检验法,.,单个回归系数的显著性,在k0时，|tk|不应过分偏大。反之，若则可以认为在置信度（1）条件下xk对结果有显著作用,.,单个回归系数的显著性,或选取统计量akk是(XX)1的主对角线上第k个元素Fk不应过分偏大。反之，若则可以认为在置信度（1）条件下xk对结果有显著作用,.,5方差分析,试验过程中经常需要分析各种方法、参数对实验结果的影响方差分析是鉴别各个因素效应的一种统计方法20年代英国统计学家RAFisher首先应用到农业试验中。,.,如果试验时只有一个因素在变化，其它可控制的因素都不变，称单因素试验若变化的因素多于一个，称为双因素或多因素试验,.,单因素分析模型,在同一水平Ai下独立观察ni次，因变量的观察值服从正态分布；不同水平的观察值来自于不同的正态总体；除A的水平变化外，尽量控制替他条件相同，即假定各正态总体具有相同的方差，因素的影响只局限在均值的差异,.,单因素方差分析,将试验的变异因素A分成r个水平，对每一个水平进行重复试验，列出试验结果,.,.,.,是i的良好估计值，SE反映了随机误差ij的影响；称为误差平方和；SA反映了i(I=1,2,r)之间的差异程度，反映了各水平效应对观测量的影响；称为因素的平方和,.,选取统计量如果统计量F临界值F,该因素没有显著作用，反之作用显著。,.,举例,某学期本课程三个班成绩情况,.,Se，Sa计算,.,总平均（74.37524+5324+5739）/(24+24+39)=60.690Sa=24*(74.375-60.690)2+24*(53-60.690)2+39*(57-60.690)2=6445Se=23*12.3702+23*17.8472+38*9.2932=14126.92F=(6445/2)/(14126.92/84)=19.16查表取0.05,F(2,60)=3.15查表取0.01,F(2,60)=4.98可见三个班的考试成绩有非常显著差别,.,.,例2,某学期4个班97人材料科学基础B成绩均值66.422681班：76.438，8.813,32人；2班：46.280，14.845,25人；3班：75.600，9.170,25人；4班：63.333，10.175,15人Sa=15601.42ST=26765.67Se=11164.25查表取0.01,F(3,60)=4.13F=(15601.42/3)/(11164.25/93)=43.32可见4个班的考试成绩有非常显著差别,.,.,例32011材料基础A成绩,.,双因素方差分析,进行双因素分析的目的是要检验两个因素对实验结果有无影响如果不考虑两因素的相互作用,对每一因素的每一水平可以只取一个数据,即没有重复;如果考虑两因素的相互作用,可以进行不等重复试验,.,无重复试验,.,选取统计量如果统计量FA，或FB临界值F,该因素没有显著作用，反之作用显著。,.,重复试验,如果要考虑A，B两因素是否存在交互作用，需要对两因素、各种的水平组合进行重复试验设每一个组合均重复m次，如果不等重复，用均值补齐以便于计算N=rsm记Xijk是Ai、Bj组合的第k次试验,.,.,显著性检验,选取统计量如果统计量FA，FB或FAXB临界值F,该因素没有显著(交互)作用，反之作用显著。,.,虽然两个因素、以及交互作用是同时讨论的，但是他们的地位不同具体应用中，应首先检验有无交互作用，若无交互作用，然后检验A、B的