化工数据分析与处理复习

1、复习前言前言 两部分内容 1 数据的分析 2 数据的处理（1）经验模型（2）半经验模型（3）理论模型 结合化工生产及科研中的数据分析和处理实际，从实用的角度，介绍数理统计方面的一些常用的方法和理论知识，把它应用到化工试验数据处理中去，掌握数据处理方法，解决实际问题，最直接的应用就是解决论文中的数据处理问题。第一章 误差原理及概率分布 观察值（测量值） 总体（母体）：用xi来表示，i=1，2，3n, n 样本：用xi，i=1，2，3n, n为有限数来表示，通常也称为子样 真值 误差：用i表示，i= xi-误差的表示方法 误差的表示方法 绝对误差= xi- 相对误差=绝对误差/真值绝对误差/测量值

2、。 引用误差=绝对误差/仪表的满刻度值（Xn）。 仪表一般分为7个等级，S=0.1, 0.2, 0.5, 1.0, 1.5, 2.0, 2.5, 引用误差S%，而绝对误差Xn*S%误差的来源误差的来源 测量装置的误差 环境误差 人员误差 方法误差：误差的分类误差的分类 系统误差 随机误差:偶然误差。 粗差：有效数字的舍取有效数字的舍取 有效数字的舍入原则 有效数字的运算研究误差的意义研究误差的意义 正确认识误差的性质，分析误差的原因以消除或减小误差； 正确处理测量和实验数据，合理计算所得结果，以便在一定条件下得到更接近于真值的数据； 正确组织实验过程，合理设计仪器或选用仪器和测量方法，得到理想

3、结果。随机变量的概率分布 正态分布 ZN(0，1) Z=(Xi-)/ t分布 c2分布 F分布222S=(n-1)cxTsn22122221SFS统计推断 参数估计 和 假设检测 点估计和区间估计 点估计： 无偏估计 有效估计 一致估计 区间估计: 总体均值的区间估计 两个正态总体均值差的区间估计（成组对比） 任意两个样本的均值差的估计（成对比较） 总体方差2的估计 两个正态总体方差比估计(F分布)假设检验：概率论中的小概率事件不可能发生的原理 基本思路是：要检验假设H0，先假定H0为正确的，由H0及一些已知条件，推断一些常用的统计量是否落在大概率范围内，是 则接受H0，否则拒绝H0，接受H1

4、。数据的预处理数据的预处理 粗差与异常数据的剔除u 每次剔除每次剔除1 1个残差最大的数据；个残差最大的数据；u 针对同一参数进行重复测量得到的一系列针对同一参数进行重复测量得到的一系列测量数据的处理。与回归分析中回归参数的剔测量数据的处理。与回归分析中回归参数的剔除不同，不要混淆除不同，不要混淆测量数据序列中干扰成分的滤除 对于大多数化工数据，一般频率较低，应采用低通滤法，去掉高频信号的方法称为平滑。 线性平滑法线性平滑法 非线性滑动平滑法非线性滑动平滑法一元线性回归分析一元线性回归分析 自变量与因变量的关系： 函数关系（确定的关系） xy 相关关系（不确定的关系） xy的置信区间 回归分析

5、的任务：给出回归经验公式；判明回归公式的有效性；预报与控制。 数学模型为：数学模型为： 回归方程 用最小二乘法：01(12.iiiyxin ，）01iiubb x22010111(,)()()minnniiiiQ b byuybb x相关系数及其显著性检验相关系数及其显著性检验 相关系数 临界相关系数 fn2 显著性水平 a 取0.10，0.05，0.01等xyxx yylrl l0(rfa， ）线性回归方程的误差及F检验 总变量平方和Q2222()()()()iiiiiRiRQyuuyQyuQuyQQQ余差平方和回归平方和 总变差平方和的分解式2222xyxyyyRyyxxxx yylllQ

6、r lr Qll l22(1)1RRQQQr QQQrQQ u由以上三种平方和以及相应的各自的自由度。由以上三种平方和以及相应的各自的自由度。 可以计算三种相应的标准差。可以计算三种相应的标准差。 总变异标准差 总变差平方和的自由度 回归标准差 剩余标准差： yylQSff1fn RRRQSf1Rf QSfRfff2fn对对于于一一元元线线性性回回归归方差比的F检验 显著性水平a，由F分布表查得 如果FAf，则回归方程有效22/RRRSQfFSQ f()fRAffa， ，一元线性回归方程的应用 一 预报问题 201()(2)*122txxxxA nSnlQSna，201()(12)* 1fxx

7、xxAnSnla，22000001()1()(2)* * 1(2)* * 122ttxxxxxxxxuA nSyuA nSnlnlaa，控制问题剔除异常数据一元非线性回归问题的线性化处理一元非线性回归问题的线性化处理 0201yyxxyyxx，要要求求：，要要求求：0uSyS00P(-2 )(u +2 )=95.5%0SyS00P(u -3 )(u +3 )=99.7%多元线性回归分析 二元线性回归方程 数学模型 二元线性回归方程01 12 2(1,2,3)iiiiyxxin01 12 2(12iiiubbxb x in，）多元线性回归分析 数学模型 多元线性回归方程 回归方程的另一种形式：

8、01 12 2(1,2,3)iiik kiiyxxxin01 122(12iiikkiubb xb xb xin，）121122()()()kiiikkiuyb xxb xxb xx多元线性回归方程的显著性检验 方差分析 总变差平方和 自由度：fn-1 回归平方和 自由度： fRk2221()()yyiiiQlyyyyn 2()iQuy 剩余平方和 自由度： 方差： 回归方差 剩余方差 所以，方差比F检验： 选定显著性水平，可查得：Af (fR，f，a) 如果，F Af，则回归方程有效。2RRRRQQSfk21QQSfnk22/RRRSQfFSQf1Rfffnk2()iiQyu 回归平方和的计

9、算 可以利用回归系数计算过程中间结果求得回归平方和，以及剩余平方和1kyyj jyjQlb lyyRQlQQRj jyQb l 复相关系数（回归平方和占总平方和的比例） 如果： 方程有效0(1)j jyRyyb lQRR nkQla ，偏回归平方和及自变量显著性检验 方差分析（对回归系数有效性检验） 如果： 则第i个变量是显著的 如果： 则剔除第i个变量 只剔除1个 最小的自变量2iii iyiibQblc2/1(1)/(1)iiiiQQQFnkQnkQS(11ifFAnka， ）(miniF）(11ifFAnka， ）利用回归方程进行预报和控制 已知： 预报y0的置信区间10200kxxx，

10、 ，000()1P uyua 200-(0)nyuNt当 较大时，分布近似正态分布000000(22 )0.955(33 )0.997P uSyuSP uSyuS逐步回归分析 最优回归方程 逐步回归分析 多元非线性问题的线性化处理多项式回归分析 我们把多项式回归转化为多元线性回归问题来解决。对于任意函数，在适当的范围内均可用多项式很好的逼近，因此，在比较复杂的实际问题处理时，可以不必去深究因变量与诸自变量间的函数关系形式，而直接采用多项式关系进行回归分析。正交正交多项式回归多项式回归 由正交多项式回归来求解回归系数，可以使系数矩阵成为对角矩阵，有几点好处： （1）线性系统的求解及回代非常方便

11、（2）方程组求解不会出现病态问题 （3）各个回归系数间的相关性将消失 正交多项式具有以下性质： 回归系数的计算公式：11()0,1,2(),()0, ,1,2,njiinsitiixjkxxs tk st20()*,1,2()1*jiijyijjjjiixylBjklxByyn 常用的一组正交多项式，当x为前几个自然数时：1222233222424242535211()1()()123*7()()*()203*133*(1)*(9)()()*()145605*(7)15230407()()*()*()181008*()()*()iiiiiiiiiiiiiijiijixxxnxxxnxxxxxn

12、nnxxxxxnnnxxxxxxxjxxx2212()*()4*(41)jinjxj 正交多项式表：1-3-5-13-12-201-743-1-311-540-406051-3-115620-1-7-47351312884615484111/67/127/20jjjli12345 回归方程： 回归系数的显著性检验，确定正交的多项式的次数01 12201 11222( )( )( )( )( )( )kkkkkyBBxBxBxBBxBxBx 221()yyiiiQlyyn1fnRj jyjQB l2RRRRQQSfkRfkRQQQ2- -1QQSfn k1fnk2jyjj jyjjlQB ll2

13、jjj jySQB l回归方差对剩余方差的比 服从 的F分布 偏回归方差对剩余方差的比 服从 的F分布 如果，逐次检验到k=m次多项式时，Bm不显著，则表示多项式只要取m-1次。 注意：x为标准化后的变量，x=1，2，3n，对于一般x取值时要先做变换，变换成标准化形式。22RSFS,1, )F k nka（22jjSFS1,1, )Fnka（非线性回归分析非线性回归分析 有些化工问题，因变量与各个自变量之间的关系比较复杂，不便于线性化的方法。而用多项式表达时仍不能很好的拟合，因此，就有非线性回归的问题。 非线性回归的数学模型： 非线性回归的方程为：,yx,ux b残差平方和为： 求极值方法 单

14、纯形法的目的：在m维参数空间内找出某一点 ，能使 的值最小。在m维空间上的单纯形就是由m1个点构成的在m维空间中的一个凸形。 两个参数时，就是在二维参数空间中的一个三角形，作为基本的单纯形是一个等边三角形。 三个参数时，是在三维空间中的正四面体2,iiiyux b 单单纯纯形形法法（直直接接法法）线线性性校校正正迭迭代代法法（导导数数法法）b( )b搜索结束判据 其中： 表示单纯形三个顶点的函数值 表示三个 的平均值 eps是给定的精度要求指标 23vepsvv线性校正迭代法线性校正迭代法 要用到一阶导数（ Taylor级数展开） 取一次项作为近似，它的前提是 离 不是很远，则 离 也不是很远。 把差商作为一阶导数的近似：(0)jbbi(0)i(0)(0)(0)(0)(0)(0)(0)(0)(0)(0)(0)1212(0),iijjjjmjmjbbx bbbbbx bbbbb 由线性方程组可以解得 、 、 、 利用 求出 的第一次校正值 重复以上的步骤，一直进行到第k次时 j=1，2，m 如果： 则 就是所要求的 。 其中eps为给定的精度要求。(0)1b(0)2b(0)mb(0)(0)jjjbbb(1)(0)(0)jjjbbb (0)b()(1)(1)kkkjjjbbb