怎样剔除异常数据

1、怎样剔除异常数据?件么是异常数据？这样的数据该不该剔除？粉质黏土中往往夹有薄层黏土,在整理数据时黏土的数据要不要剔除呢?有人认为不应该剔除，这样才能反映土层的真实情况，有人认为应该剔除，既然定了粉质黏土,就应该剔除黏土的数据。不知高癖有何看法？这个问题，估计很难说清。现在有以下这些情况：有人认为，如果划分为粉质黏土层，就不应该有黏土，否则就应该划分成夹层什么的。我不赞同。还有人认为，状态不同，都不能分为一层,比如粉土,孔隙比e二0.75-0.9是中密，那么如果是一层,就不能有孔隙比小于0.75或者大于0.9的。我不赞同。好像有句话说:如果统计后的变异系数较大,就要考虑分层是否合理了。曾经见过这

2、样的审查意见:压缩模量剔除后剩下40个进行统计,而压缩系数只有30个,这样就不合理。实际都是稀里糊涂地统计呢。有的甚至很随意的剔除，比如粉土的孔隙比对承载力影响比较大,就把孔隙比大的剔除掉，然后给个小的,甚至还有把不大不小的数据给剔除掉了。比如某一组数据是0.5、0.55、0.6、0.62、0.75和0.78,那么你肯定要么把0.5或者0.78剔除掉，是吧?结果剔除掉了0.62,你说什么道理？我发表几点看法：我也不赞成，几十个粉质黏土中有几个黏土样是正常的，我们不可能把每个黏土样所在的位置划分一层出来。我也不赞成，正如黏性土大部分是可塑的，有几个可能是软塑或者硬塑,在土工统计中就不能出现软塑或

3、者硬塑的土样。变异系数多大才算是大呢？剔除数据是剔除某个指标,还是整个土样剔除,现在好像还在争论。剔除0.62是没有道理的。答复：你们讨论的是工程勘察中一个非常重要的问题，涉及许多基本概念。例如，怎样认识和处理反映自然形成的土层所具有的物理力学性质？怎样看待土的分类指标、状态划分的指标?岩土工程师应该具备什么样的数据处理与运用数据处理结果的基本素养?变异系数究竟是一个什么样性质的指标?土层的定名和分类对工程究竟有什么样的影响？我赞成楼主和上面几位网友的见解，为什么不能将土的分类界限、状态划分的界限、密实度划分的界限绝对化了，正是需要讨论上面所说的这几个基本概念问题。怎样认识和处理反映自然形成的

4、土层所具有的物理力学性质？人家都明白，土层是在漫长的地质年代里自然形成的，土层物质的来源、搬运物质的自然营力的性质与规模、土体沉积以后的成土环境等都是变化的、基本上是无序的、随机的。因此，从根本上说，土层总是非均质的，其性质是随机变异的，但人们要利用土作为工程的地基、材料或坏境，需要进行设计和施工，就不得不对土体进行适当地划分，分为几个相对比较均匀些的土类或土层，采用一些代表性的指标来描述其物理力学性质，以便于设计与施工。但无论怎么划分，无论采用什么方法，总与人工材料不同，客观世界并不随我们在规范的规定而变化，于是就出现了在划分为粉质黏土的土层中，可能有几个指标的塑性指数人于17,划分为中密的

5、粉土中有几个比较人的孔隙比等。其实这是非常正常的事，不值得惊动审图，惊动了审图还是没有办法解决大自然的不均匀性质。那么，怎样看待土的分类指标、状态划分的指标?前面说过为了设计与施工的需要，不得不将本质上是非均质的土体人为地划分为几个相对均匀的土类或土层。于是人们就研究土质的分类的方法、状态划分的方法、密实度划分的方法，就产生了前苏联的规范、英国的规范、美国的规范、中国的规范、中国建筑系统的规范、公路系统的规范、桥梁系统的规范、铁路系统的规范，甚至还有城市桥梁的规范，提出了林林总总的一大批土类划分的标准、状态划分的标准、密实度划分的标准，划分的界限极其多元化。但自然界并不买账，它不会服从哪一本规

6、范，无论哪一种方法都可能存在照顾了这一头又拉下另一头、顾此失彼的现象。所以最要紧的是我们使用规范的工程师不要把规范看成绝对真理就可以了。举个例吧，黏性土按液性指数划分为硬塑、可塑和软塑三种状态，有的规范采用三分法，平均地各取三分之一。而建筑地基基础设计规范采用0.25-0.75是口I塑、小于0.25是硬塑、人于0.75是软塑这种三等分的方法。这个规定怎么来的，当年就是我提出了这个建议，理由是可塑的范围适当人一些，容易与野外描述结果取得一致，大家同意了这个办法就列入规范了。在这个可塑与硬塑之间其实并没有非常严格的界限。即使是液限指数等于零或等于1的界限，是由液限和塑限指标计算得到的，但由于这两个

7、试验方法的多元化，用不同的标准得到的结果相差非常人。由此可见，这种划分土类、状态和密度的指标，只是人们约定俗成的一种规则，为了交流、交接的一种语言符号而已，和人的姓名一样，和划分中年人和老年人的年龄界限一样,都是相对而言的，不能绝对化。岩土工程师应该具备什么样的数据处理与运用数据处理结果的基本素养呢？既然自然界那么复杂，试验的结果又是那样离散，岩土工程师如何处理和运用数据就非常重要。我们不能怨天尤人，既然我们所面临的天然材料，比人工材料复杂得多，那我们就应该采取积极的态度，学习和掌握随机数学的基本概念和实用的数据处理方法去处理岩土工程的数据，从中总结规律性的认识以指导工程实践。变异系数究竞是一

8、个什么样性质的指标?你们说“好像有句话说:如果统计后的变异系数较人，就要考虑分层是否合理了。”这反映了一个现实情况，即对变异系数存在曲解，这是岩土工程师的随机数学基本素养不足的表现。20世纪80年代初，同济人学俞调梅教授邀请美国吴天行教授和澳人利亚Ingles教授来华讲学，其中一个重要的内容就是概率方法在岩土工程中的应用。在岩土工程一书中，Ingles教授给出了国外各种土工指标的变异系数值范怜I，在Harr教授的散体介质力学一概率方法一书中也给出了各种指标的变异系数值。根据上述两本资料归纳的几种主要指标的变异系数变化的范围见表6-6。国外的变异系数资料(单位:)表6-6指标根据文献5根据文献6

9、指标根据文献5根据文献6内摩擦角(砂土)5155.3-14压缩指数25.5-52内摩撩角(黏性土)12-56孔隙比134213.3-31.6黏聚力20-50含水率6636.3228无侧限抗压遇度6-1003085从表6-6的数据可以归纳下列几点：变异系数变化的范围相当大，显示出影响变异系数的因素比较复杂。各种不同的物理力学指标的变异系数变化范|制并不相同，物理指标的变化范I制一般小于力学指标。变异系数的数值主要反映了土的成分与结构的不均匀性对土性指标的影响，即使划分为同一土层，成分与结构的不均匀性使土的物理力学指标呈现出比较人的变异系数。砂土内摩擦角的试验条件单一，影响因素比较少，变异系数变化

10、范围不人，说明虽然试验的误差在一定程度上加大了变异系数，但并不是主要因素。岩土工程勘察规范(2009版)(GB50021-2002)提出了一些最基本的概念和方法。例如，第14.2.2条关于岩土参数统计的要求复第14.2.3条关于相关型参数的统计分析方法，第14.2.4条关于岩土参数标准值的确定方法。但可惜很多工程师并没有充分地去理解规范的条文，也很少去考虑如何在工程实践中运用这些方法。在岩土工程勘察规范(GB50021-94)版中，曾经给出了对变异系数的评价，见表6-7。参数变异性表6.7变异系数550.101W50.20.2W5030.380.43M0.4变异性很低低中等高很高如何看待和使用

11、岩土工程勘察规范关于变异系数的评价标准?这种变异性的高低是一种客观存在，反映了各种不同指标所具有的离散性特征。例如，天然重度的变异系数非常小，在可靠度分析中可以作为确定性的变量，而凝聚力的变异系数可能比内摩擦角的变异系数人，渗透系数的变异系数肯定非常人。规范给出了变异系数的评价界限值并不是给出一种“判别是非”的标准，变异系数很高并不说明这个试验就存在问题或就不合格。变异系数不能简单地作为评价勘察试验质量的标准。不管作为试验是否合格，分层是否正确，数据是否需要剔除，按上述规范给的变异系数界限来判定都是不对的。鉴于上述种种误解，在修订规范时就将这个表删除了，没有再列入2002版的规范。但现在看来，

12、事情并没有完全解决，现在依然存在将变异系数的大小作为一种“判别是非”的标准。土层的定名和划分对工程究竟有什么样的影响?讲到最后，工程上怎么办或许是大家最关心的爭。先讲土层划分与定名，土层划分的基础应该是野外鉴别描述结合土工试验指标,希望岩土工程师多卞现场，到钻机上摸土，这是最重要的。划分土层以后，在一层土中出现塑性指数跨越分类界限怎么办?例如，野外描述是黏占土，试验结果是塑性指数人于17的是多数，有少数试验结果小于17怎么办?如呆有规律性的存在，可以定名黏土夹粉质黏土薄层或夹层;如果规律性不强，则定名黏土含粉质黏土，其实17的界限是人为的界限，而且不同分类标准的界限又是不同的，这样处理对工程没有太多的问题，因为重要的是力学性质指标的试验结果，是力学层的划分对不对。至于状态或密实度是在分层的基础上的描述，可以根据液性指数的数值分布描述为可塑-软塑，硕塑-可塑等都是很正常的，不应该按液性指数再划分亚层，完全没