测量数据处理理论和方法-2013年+-1-

测量数据处理理论和方法

(TheTheoryandMethodofDataProcessinginGeodesyandSurveying)

于湘伟Email：yuxw@Phone:88256482中国科学院大学地球科学学院课程属性:专业课学时/学分:40/2预修课程:

高等数学线性代数

概率与数理统计授课方式:课堂讲授为主，结合课堂讨论授课时间：周一：5－6

周五：1－2授课地点：教一4教室考试方式：闭卷考试

内容提要第一章：误差理论第二章：测量数据质量控制理论第三章：参数估计方法第四章：广义测量平差原理和方法第五章：测量结果分析和精度评定第六章：实用数据处理方法

第一章：误差理论

误差概念，误差分类，误差估计，误差与概率分布第二章：测量数据质量控制理论

粗差检测方法，最小二乘法（经典、矩阵），抗差估计（稳健估计）：M估计原理、等价权原理参数估计问题假设检验问题点估计区间估计统计推断

DE基本问题7-2参数估计与假设检验若对参数有所了解但有怀疑猜测需要证实之时用假设检验的方法来处理若对参数一无所知用参数估计的方法处理什么是参数估计？参数是刻画总体某方面概率特性的数量.当此数量未知时,从总体抽出一个样本，用某种方法对这个未知参数进行估计就是参数估计.例如，X~N(,2),

点估计区间估计若

,2未知,通过构造样本的函数,给出它们的估计值或取值范围就是参数估计的内容.参数估计的类型点估计——估计未知参数的值区间估计——

估计未知参数的取值范围，并使此范围包含未知参数真值的概率为给定的值.

假设检验是指施加于一个或多个总体的概率分布或参数的假设.所作假设可以是正确的,也可以是错误的.

为判断所作的假设是否正确,从总体中抽取样本,根据样本的取值,按一定原则进行检验,然后作出接受或拒绝所作假设的决定.何为假设检验?假设检验所以可行,其理论背景为实际推断原理,即“小概率原理”假设检验的内容参数检验非参数检验总体均值,均值差的检验总体方差,方差比的检验分布拟合检验符号检验秩和检验假设检验的理论依据第三章：参数估计方法

极大似然估计，最小二乘估计，极大验后估计，最小方差估计，线性最小方差估计，贝叶斯估计第四章：广义测量平差原理和方法

广义测量平差原理，拟合推估（最小二乘配置），秩亏自由网平差第五章：测量结果分析和精度评定方差-协方差分量估计及精度评定，测量结果评定：方差因子检验，解向量的置信区间和假设检验，两期观测解向量的差异显著性检验

第六章：实用数据处理方法

回归分析：概述、一元线性回归分析、多元线性回归分析、最优回归模型选择，拟合与插值：概述、多项式拟合与插值、样条函数拟合与插值，第六章：实用数据处理方法（续）时间序列分析：概述、时间序列模型、平稳序列的自相关分析、模型识别、检验与改进、时间序列预报谱波分析与FFT：概述、傅立叶级数和变换、离散傅立叶分析、快速傅立叶变换(FFT)，第六章：实用数据处理方法（续）卡尔曼滤波：预备知识、系统的状态方程和测量方程、离散系统卡尔曼滤波、连续系统卡尔曼滤波、算法分析，最优化方法。成绩评定平时成绩：10分期末考试：90分本课堂要求：教材与参考书教材：

无参考书：

崔希璋等编著，《广义测量平差》，武汉测绘科技大学出版社，武汉，2001。刘大杰，陶本藻主编，《实用测量数据处理方法》，测绘出版社，北京，2000。王宏禹，《随机数字信号处理》，科学出版社，北京，1998。肖明耀，《误差理论与应用》，计量出版社，北京，1985。

教学目的和要求

本课程为大地测量学与测量工程专业研究生的专业课，同时也可作为固体地球物理专业研究生的选修课。本课程为了适应现代大地测量技术迅速发展的形势，将数据处理方法作了较多拓展，系统阐述各种测量数据处理的基本理论和方法教学目的和要求(续）

本课程培养学生系统掌握测量数据处理的理论和方法，获得分析和解决数据处理方面的问题的能力。

§1.1误差分析第一章：误差理论误差公理：测量结果都具有误差，误差自始至终存在于一切科学实验和测量过程中误差：测定结果与真实值之间的差值L1.024cm1.024cm±0.011cm误差满足需要误差不满足需要误差带来的影响作出论证和评估分析原因，重新测量一个没有标明误差的测量结果，几乎是没有用处的数据误差的重要性NEWTON:

误差较大的地球半径值，导致测得的月球加速度值与理论计算值相差约10％，而推迟20年发表他的引力理论Rayleigh：

19世纪末期，英国物理学家瑞利勋爵发现利用空气除杂质得的氮气和从氨制得的氮气的密度有大约是千分之一的差别。经过误差分析证实，两者之所以不同，不是测量误差引起的，而是由于大气分离的氮气中还含有未知气体的原因－－－惰性气体1916年发表广义相对论时指出：当光线行进到太阳附近时会发生弯曲，弯曲的角度预计为α＝1.8″1911年用经典方法预计为α＝0.9″1919年，有人进行了成功的测量，最佳估计α＝2″，以95％置信水平落在1.7″和2.3″中。一、误差的来源仪器误差：精度低，没校准等环境误差：温度、气压、湿度、震动等人员误差：人的分辨率限制方法误差：测量方法或者计算方法不完善二、误差的定义1、绝对误差2、相对误差绝对误差＝给出值－真值相对误差＝绝对误差/真值测得值，实验值、标称值，示值、计算近似值等非真值理论真值、计量学约定真值、标准器相对真值三、测量误差的分类：系统误差(systemerror)该测量条件改变时，按某一确定的规律变化的误差。由于分析过程中某些固定的原因所造成的经分析发现应予以改正，确定性1.性质（1）单向性、重复性。（2）与测定次数无关。（3）可以校正，大小、正负可以测定。2.产生的原因（1）方法误差：实验方法不完善或这种方法所依据的理论本身具有近似性。例如用单摆测量重力加速度时，忽略空气对摆球的阻力的影响，用安培表测量电阻时，不考虑电表内阻的影响等所引入的误差

（2）仪器和试剂误差：由于仪器本身存在一定的缺陷或使用不当造成的。如仪器零点不准、仪器水平或铅直未调整、砝码未校准等（3）操作误差：（4）主观误差：实验者生理或心理特点或缺乏经验所引入的误差。例如有人读数时，头习惯性的偏向一方向，按动秒表时，习惯性的提前或滞后等随机误差(randomerror)：

实际测量条件下，多次测量同一值时，误差的绝对值和符号的变化时大时小，时正时负，以不可预定方式变化着的误差。产生原因：随机误差产生的原因很多，归纳起来大致可分为以下两个方面：（1）由于观测者在对准目标、确定平衡（如天平）、估读数据时所引入的误差。（2）实验中各种微小因素的变动。例如，实验装置和测量机构在各次调整操作上的变动性，实验中电源电压的波动、环境的温度、湿度、照度的变化所引起的误差。具有统计（或概率）规律的误差，不能修正，只能估计。随机性1、性质：（1）大小可变（2）方向不定，有时正、有时负。（3）只能减小，不能消除。2、规律：符合统计规律------正态分布规律（1）大小相近的正负误差出现的几率相等。（2）小误差出现的几率大，大误差出现的几率小，特大误差出现的几率极小。粗大误差(abnormalerror)：超出在规定条件下的误差。经分析发现后，必须剔除。错误性四、误差的表示方法:（一）精密度（precision)：表示测量结果中随机误差大小的程度。表示重复测量所得数据的相互接近程度（离散程度）。测量结果的精密度高，说明所得结果的重复性好，测量误差分布密集，也就是随机误差小通常用偏差（单次观测值与平均值之差）、算术平均值、极差、标准差或方差表示。1、偏差(deviation):

测定结果与平均值之间的差值精密度的高低用偏差表示.偏差小,表示数据集中,精密度高;

反之,数据分散,精密度低.随机误差影响分析结果的精密度2.表示方法:(1)绝对偏差和相对偏差:算术平均值绝对偏差：di=

相对偏差：dr=×100%(2)平均偏差和相对平均偏差:平均偏差：相对平均偏差：

（3）标准偏差和相对标准偏差：样本标准偏差：n-1：自由度

相对标准偏差(变异系数)RSD=()×100%（二）正确度(correctness)：表示测量数据的平均值与真值的接近程度。准确度高，说明测量值接近真值的程度好，即系统误差小表示测量结果中系统误差大小的程度4、极差5、方差（三）准确度(accuracy)：表示测量结果中系统误差与随机误差的综合，表示测量结果与真值的一致程度系统误差影响准确度的高低表示方法:绝对误差和相对误差绝对误差:E=X-XT

相对误差:Er=×100%我们以打靶为例来比较说明精密度、正确度、准确度三者之间的关系。图中靶心为射击目标，相当于真值，每次测量相当于一次射击。（a）正确度高、（b）精密度高、（c）精密度、正确精密度低正确度低度、准确度均高

大地测量中，观测量的精度通常是指观测量的标准差，相对精度是指相对标准差综述：1、精密度好正确度不一定好2、正确度好则精密度也不一定好3、准确度好则需要精密度和正确度都好1.定义若X的概率密度为分布函数为：F(x)x其中μ,σ(σ>0)为常数，则称x服从参数为μ,σ2的正态分布或高斯（Gauss）分布。记作x～N（μ,σ2）正态分布

（1）曲线关于x

=μ对称。即对于任意的h>0有

P{μ-h＜X≤μ}=P{μ＜X≤μ+h}

显然，

x离μ越远，f(x)的值越小。即对于同样长度的区间，X落在离μ越远的区间，概率越小。（2）当x=μ时，函数f(x)达到最大值正态分布的密度函数f(x)的图形的性质

μ：反映了测量值的集中趋势；

σ：反映了测量值的分散程度；(4)固定

，改变

值，曲线f(x)形状不变，仅沿x轴平移。可见

确定曲线f(x)的位置。(5)固定

,改变

值,则

愈小时,f(x)图形的形状愈陡峭,x

落在

附近的概率越大。μ1μ2f(x)xf(x)xσ=2σ=0.5σ=1(3)拐点：(μ±σ，f(μ±σ));

水平渐近线：ox轴。五、随机误差的正态分布2.2.1频数分布：（1）算出极差

R=1.565-1.265=0.28（2）确定组数和组距：组数视样品容量而定组距Δx=R/组数=0.28/10

≈0.03（3）统计频数和相对频数（4）绘制相对频数分布直方图。本例为矿石试样,测定铜的质量分数,共有100个测量值,分10组.(K/n)/d△00.40.60.8-0.8-0.6-0.4闭合差概率密度函数曲线用直方图表示:面积=[(K/n)/d△]*d△=K/n所有面积之和=k1/n+k2/n+…..=1

可以设想:测量数据非常多,组分得非常细,直方图的形状逐渐趋于一条平滑的曲线---正态分布曲线。即:当测量次数n→∞时:组距Δx→0→

=f(x)标准正态分布标准正态分布用N（0，1）表示，以u为横坐标单位。U=(x-μ)/σdu=dx/σY=f(x)=f(x)dx=du=ф(u)d(u)Y=ф(u)=随机误差的区间概率正态分布曲线下所包含的面积是所有测量数据出现概率的总和.P===1例1.已知试样中钴的标准值为1.75%，

σ=0.10%，无系统误差。

求:

①分析结果落在(1.75±0.15)%范围内

的概率。

②分析结果大于2.00%的概率。解:①u=x-μ/σ=0.15/0.10=1.5

查表7-2（P248)P=2×0.4332=86.6%

②u=x-μ/σ=(2.00-1.75)/0.10=2.5

故落在2.00%以内的概率为0.4938

结果大于

2.00%的概率为

P=0.5000-0.4938=0.62%六、不确定度与测量结果的评定

不确定度表征了测量结果的可疑程度，是描述尚未确定的误差特征的量，不确定度是有一定的概率的。

1993年，国际标准化组织等7个国际组织联合发布了《测量不确定度表示指南》，我国也制定了《测量不确定度评定与表示》的国家技术规范（JJF1059—1999），为我们评定不确定度提供了理论依据和计算规范。目前已经获得国际公认的主要原则有３点：①测量结果的不确定度一般包含若干分量，这些分量可按其数值的评定方法归并成Ａ、Ｂ两类，Ａ类是指对多次重复测量结果用统计方法计算的标准偏差，Ｂ类是指用其他方法估计的近似相当于标准偏差的值；②如果各分量是独立的，测量结果的合成标准不确定度是各分量平方和的正平方根；③根据需要可将合成标准不确定度乘以一个包含因子ｋ（取值范围２～３），作为展伸不确定度，使测量结果能以高概率（９５％以上）包含被测真值。多次测量的A类不确定度

多次独立重复观测服从正态分布，由此可知，测量值的算术平均值是测量值的最佳近似值，当测量次数趋近于无穷时，算术平均值即等于真值。设对x进行了n次独立重复观测，则以其算术平均值作为x的测量值，把平均值的标准偏差作为测量结果标准不确定度的Ａ类分量。

每次测量值与平均值之差，称为残差或偏差。当测量次数趋近于无穷时，=σ；平均值=μ，我们用平均值来表示测量值；用来表示A类不确定度。

n的取值应比较大(20次左右)。

B类不确定度

B类不确定度一般是由系统效应导致的。对于确知的已定系统误差，应对测量结果进行修正。而对未定系统误差导致的测量不确定度，虽然对某些因素采用适当的测量方法（复现性测量），亦可用A类方法进行评定，但在多数测量条件下，很多误差因素要用非统计的方法进行评定。要完整，准确的评定B类不确定度是一件复杂的需要经验的工作。概略的说，应对测量方法的理论依据及局限，测量仪器的可能误差范围，前人的相关测量及有关的数据等有充分的了解。

仪器误差一般给出的是允差或称极限误差，将其转为B类标准不确定度uB时应根据其误差分布除以一个因子K，K的值一般在1~3之间。2.3.5常见仪器允差表1某些常用实验仪器的允差仪器名称量程最小分度值允差木尺（竹尺）30~50cm60~100cm1mm1mm±1.0mm±1.5mm钢板尺150mm500mm1000mm1mm1mm1mm±0.10mm±0.15mm±0.20mm钢卷尺1m2m1mm1mm±0.8mm±1.2mm游标卡尺125mm0.02mm0.05mm±0.02mm±0.05mm螺旋测微器（千分尺）25mm0.01mm±0.004mm2.3.5常见仪器允差仪器名称量程最小分度值允差七级天平（物理天