（计算机应用技术专业论文）基于数据挖掘技术的管道腐蚀检测系统的研究与开发.pdf

11l 分类号：t p 3 1 5 udc ：6 2 1 3 工学硕士学位论文 密级： 编号： i l u f i iii ii i iii fi ii i ! i r i y 18 318 8 3 基于数据挖掘技术的管道腐蚀检测系统的 研究与开发 硕士研究生：刘燕燕 指导教师：魏长军 学位级别：工学硕士 学科、专业：计算机应用技术 所在单位：信息科学与工程学院 论文提交日期：2 0 0 9 年1 2 月 论文答辩日期：2 0 1 0 年0 3 月 学位授予单位：沈阳理工大学 c l a s s i f i c a t i o ni n d e x ：t p 315 u d c ：6 2 1 3 at h e s i sf o rt h em a s t e r d e g r e eo fe n g i n e e r i n g r e s e a r c ha n dd e v e l o p m e n to f p i p e l i n ec o r r o s i o n d e t e c t i o ns y s t e m ba s e do nd a t am i n i n g t e c h n o l o g y c a n d i d a t e ：l i u y a n y a n s u p e r v i s o r ：w e i c h a n g j u n a c a d e m i cd e g r e e a p p l i e df o r ：m a s t e ro fe n g i n e e r i n g s p e c i a l i t y ：c o m p u t e ra p p l i c a t i o nt e c h n o l o g y d a t eo fs u b m i s s i o n ：d e c e m b e r , 2 0 0 9 d a t eo f e x a m i n a t i o n ：m a r c h ，2 010 u n i v e r s i t y ：s h e n y a n gl i g o n gu n i v e r s i t y l 一 1，l- 学位论文的授权书 中国科学技术信息研究所是国家科技部直属的综合性科技 信息研究和服务机构，是国家法宝的学位论文收藏单位，肩负着 为国家技术创新体系提供文献保障的任务。 - 本人完全了解中国学位论文全文数据库开发建设目的和 使用的相关情况，本人学位论文为非保密论文，现授权中国科学 技术信息研究所将本人学位论文收录到中国学位论文全文数据 库，并进行信息服务( 包括但不限于汇编、复制、信息网络传 播等) ，同时本人保留在其他媒体发表论文的权利。 论文题目：箍主丛盏丝塑喧丝鱼簦盈避剑丝铆兹狮滋 毕业院校：洫a 礁幺碰 毕业时间： 磁皋蜩 论文类型：博士论文口硕士论文 睹 。 博士后研究报告口同等学力论文 口 。 ， 作者签字：亩l 如致 僻月j 7 日 导师签字：魂龙子 , o o 年弓月沙日 i ：j l 、峨淤_ - 矗。“，：? 、 ： j j ， + ： ，f 。 - ， ， ! 、j i ：；：、鼻。 。 t 1 一、 v 沈阳理工大学 硕士学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本 人独立完成的。有关观点、方法、数据和文献的引用已在文中指出， 并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任 何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要 贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本 声明的法律结果由本人承担。 作者( 签字) ：专研叛数 日期 ：叫砗弓月7 乎日 学位论文版权使用授权书 本学位论文作者完全了解沈阳理工大学有关保留、使用学位论文 的规定，即：沈阳理工大学有权保留并向国家有关部门或机构送交学 位论文的复印件和磁盘，允许论文被查阅和借阅。本人授权沈阳理工 大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 产文作者签蒙翳铲师签磊魏场争 日期： 口加，瓠矽严日期：。一 j ，j1j誓 少 6 沈阳理一i ：人学硕十学位论文 摘要 管道腐蚀检测系统是采集大量来自管道腐蚀数据，并对数据进行分析处理， 找出管道腐蚀原因。由于目前该领域在对腐蚀数据的处理方法上大多依靠传统的 。 方法，大量的腐蚀数据没有得到有效的利用，本文引入数据挖掘技术，利用这一 技术分析并处理腐蚀数据。 本文对数据挖掘技术中的i d 3 算法进行了详细的研究，分析其原理及应用， 得出i d 3 算法倾向于选择取值较多的属性，而这些属性与实际中的最优属性不一 致，有算法局限性。针对此情况，对i d 3 算法进行改进，改变取值较多属性的权 值，加强重要属性的信息熵，降低非重要属性的信息熵，减小了决策树对取值较 多属性的依赖。 本文将改进的i d 3 算法应用到管道腐蚀检测系统中，分析腐蚀数据，并生成 决策树，从中提取规则，判断管道腐蚀的程度，分析采集到的腐蚀数据的内在联 系，找出腐蚀的原因，提出防腐建议。并将准确的腐蚀诊断分析信息发布给防腐 决策者，帮助他们及时发现管道腐蚀情况，及早提出防腐措施。 关键词：腐蚀检测，数据挖掘，i d 3 算法 1 j 沈刚理f ：人学硕 ：学位论文 a b s t r a c t t h ep u r p o s eo fp i p e l i n ec o r r o s i o nd e t e c t i o ns y s t e mi s c o l l e c t i n g , a n a l y z i n g ，a n d p r o c e s s i n gav a r i e t yo fd a t af r o mp i p e l i n ec o r r o s i o n ，f i n d i n gt h er e a s o no fp i p e l i n e c o r r o s i o n a tp r e s e n t , t h ec o r r o s i o nd a t ai s p r o c e s s e dm a i n l yr e l i e so nt r a d i t i o n a l m e t h o d si nt h i sf i e l d al a r g en u m b e ro fc o r r o s i o nd a t aa l en o tb e i n gu s e de f f e c t i v e l y ； t h ed a t am i n i n gt e c h n i q u e sf i lei n t r o d u c e di nt h i sp a p e r , w i t ht h i st e c h n o l o g y , c o r r o s i o n d a t aa r ea n a l y z e da n d p r o c e s s e d i nt h i sp a p e r , t h ei d 3a l g o r i t h mi nd a t am i n i n gt e c h n o l o g yi ss t u d i e di nd e t a i l ，i t s t h e o r ya n da p p l i c a t i o na r ea n a l y z e d t h el a r g e rv a l u e so ft h ep r o p e r t i e sa r ee a s i e rt o c h o o s ew i t hi d 3a l g o r i t h m s ，a n dt h e r ea l ed i f f e r e n c e sb e t w e e nt h e s ep r o p e r t i e sa n dt h e o p t i m a lp r o p e r t i e s ，s ot h e r ei sac e r t a i nl i m i t a t i o ni nt h i sa l g o r i t h m f o rt h i ss i t u a t i o n , t h ei d 3a l g o r i t h mi si m p r o v e d ，t h ew e i g h t so ft h ea t t r i b u t ew i t hm o r ev a l u ei t l ec h a n g e , t h ei n f o r m a t i o n e n t r o p yo fi m p o r t a n tp r o p e r t i e si ss t r e n g t h e n e d ，t h ei n f o r m a t i o n e n t r o p yo fn o n e s s e n t i a lp r o p e r t i e si sr e d u c e d ，a n dd e p e n d e n c eo fa t t r i b u t ew i t hm o r o v a l u eo ft h ed e e i s i o nt r e ei sr e d u c e d t h ei m p r o v e di d 3a l g o r i t h mi sa p p l i e do np i p e l i n ec o r r o s i o nd e t e c t i o ns y s t e m ， c o r r o s i o nd a t ai sa n a l y z e d ，a n dt h ed e c i s i o nt r e ei sg e n e r a t e d ，t h er u l e sa l ee x t r a c t e dt h e e x t e n to fp i p e l i n ec o r r o s i o ni s d e t e r m i n e d ，t h ei n h e r e n tr e l a t i o no ft h ec o l l e c t e d c o r r o s i o nd a t ai sa n a l y z e d ，t h er e a s o no fc o r r o s i o ni sf o u n do u _ t t h ea d v i c ei sp r o p o s e d a c c u r a t ec o r r o s i o ni n f o r m a t i o no ft h ed i a g n o s i sa n d a n a l y s i si s r e l e a s e dt ot h e a n t i - c o r r o s i o nd e c i s i o n - m a k e r s ，h e l p i n gt h e mt od e t e c tp i p e l i n ec o r r o s i o na se a r l y 弱 p o s s i b l e ；s ot h em e a s u r e so fa n t i - c o r r o s i o na r ep r o p o s e d k e y w o r d s ：c o r r o s i o nd e t e c t i o n ，d a t am i n i n g ，i d 3a l g o r i t h m r 、 ，i5 1 |一 _ ； - 目录 目录 第1 章绪论1 1 1 课题研究背景及意义1 1 2 数据挖掘技术的研究背景和应用情况2 1 2 1 数据挖掘技术的研究背景2 1 2 2 数据挖掘技术的应用情况3 1 3 本文的主要研究内容5 1 4 论文的主要结构6 第2 章腐蚀检测技术7 2 1 腐蚀检测技术的分类7 2 2 腐蚀检测技术的原理8 2 3 本章小结9 第3 章数据挖掘技术。l o 3 1 数据挖掘技术的概念1 0 3 2 数据挖掘技术的步骤l l 3 3 数据挖掘技术的算法1 2 3 4 决策树算法研究1 3 3 4 1 分类算法。1 3 3 4 2 决策树算法15 3 4 3 几种决策树算的比较1 6 3 5 本章小结1 7 第4 章i d 3 算法与i d 3 改进算法。18 4 1i d 3 算法研究18 4 1 1 熵和信息论1 8 4 1 2i d 3 算法原理19 沈陬1 理1 ：人学硕士学位论文 4 1 3i d 3 算法描述2 0 4 2i d 3 算法存在的问题及改进方案2 2 4 2 1i d 3 算法存在问题2 2 4 2 2i d 3 算法改进方案2 2 4 3i d 3 算法举例2 3 4 4 改进i d 3 算法举例2 9 4 5 算法比较3 3 4 6 本章小结3 3 第5 章基于改进i d 3 算法的管道腐蚀检测系统的研究与开发3 4 5 1 需求分析3 4 5 2 总体构思3 4 5 3 系统开发环境3 4 5 4 系统流程图3 6 5 5 改进i d 3 算法在腐蚀检测系统中应用3 8 5 5 1 数据挖掘流程图。3 8 5 5 2 确定挖掘对象和目标3 9 5 5 3 数据采集3 9 5 5 4 数据预处理4 3 5 5 5 建立分类模型4 7 5 5 6 构造决策树4 9 5 5 7 诊断与防护5 2 5 6 分类规则测试5 3 5 7 系统应用实例5 3 5 8 本章小结5 6 结论j 5 7 参考文献5 8 攻读硕士学位期间发表的论文和取得的科研成果6 1 致谢6 2 0 第i 章绪论 第1 章绪论 1 1 课题研究背景及意义 随着我国经济的高速发展，对石油的需求量越来越大，许多炼油厂为了扩大 生产能力，提高自身在行业内的竞争力，纷纷从各油田大量引进石油，由于各油 田所产原油中含盐、酸、硫等其它成份的含量差别悬殊，而其中的硫、盐、酸等 成份在石油炼制时会对管道造成严重的腐蚀作用，给企业防腐带来许多困难，造 成企业成本增加，这使企业愈加感到棘手。研发腐蚀检测系统采集腐蚀数据，分 析腐蚀原因成为企业防腐的当务之急。 腐蚀检测系统是采集来自石油管道的腐蚀数据，并且对采集到的腐蚀数据进 行科学的分析，找出腐蚀数据内在的联系，确定造成管道腐蚀的原因，以往对采 集到的腐蚀数据的处理方法大多处在简单的录入、查询、统计等操作阶段，采集 到大量的腐蚀数据没有得到更有效的利用。从而造成了“丰富的数据，贫乏的知 识 这一尴尬现象。 数据挖掘技术是从大量的数据中挖掘出隐含的、未知的、用户可能感兴趣的 和对决策有潜在价值的信息和知识的技术。本文将数据挖掘技术应用到管道腐 蚀检测系统中，利用数据挖掘技术对采集到的腐蚀数据进行科学的分析处理，确 定腐蚀数据的内在联系，杜绝了对单一检测数据的依赖，将准确的腐蚀诊断信息发 布给防腐决策者，提出防腐方案，为科学地腐蚀防护提供决策依据。 基于数据挖掘技术的管道腐蚀检测系统，其基本思想是在石油管道的关键部 位安装大量的电阻探针和电化学探针等检测设备，利用腐蚀数据采集器采集与腐 蚀速度有关的检测信号并传送到监控室的工控机上，数据到达工控机后经过分析 处理保存到数据库中，再利用数据挖掘技术对数据库中的数据进行科学的分析和 处理，确定腐蚀数据的内在联系，找出管道腐蚀的原因，获得生产过程中各个流 程腐蚀状况的信息，提出防腐方案，从而适时采取“一脱三注 的方法来减缓腐 沈同i 理i ：人学硕十学位论文 蚀速度。 1 2 数据挖掘技术的研究背景和应用情况 1 2 1 数据挖掘技术的研究背景 在当今世界，计算机的硬件和软件高速发展，在商务贸易和政府事务电子化、 大规模工业生产过程中的智能监控和诊断、医疗领域的计算机诊断管理以及科学 计算等应用领域，产生了不断增长的海量数据。日益成熟的数据库技术和面向事 务处理的信息管理系统，为这些数据采集、存储和传输提供了稳定、可靠并且日 益廉价的技术支持。在这种情况下，依靠传统的方法对这些数据进行分析，已经 不能应对信息技术带来的“丰富的数据，贫乏的知识 这难题。在上述背景下， 一种新兴的自动信息提取技术，数据挖掘技术又称知识发现引起了学术界的广泛 重视乜，。 数据挖掘( d a t am i n i n g ) 又称数据库中的知识发现( k n o w l e d g ed i s c o v e r yi n d a t a b a s e ) ，是从大量的、模糊的、不完全的、随机的、有噪声的实际应用数据中， 提取隐含在其中的、人们事先不知道的、但又是潜在有用的知识和规则。这些规 则蕴含了数据库中一组对象之间的特定关系，提示出一些有用的信息，可以为经 营决策、市场策划和金融预测等方面提供依据。一些文献中数据挖掘也一度被翻 译为数据采掘、数据开采、知识挖掘、知识抽取和知识考察等口，。 自从1 9 8 9 年8 月在美国底特律召开第1 1 届国际人工智能联合会议的专题讨 论会上首次提出k d d ( k n o w l e d g ed i s c o v e r yi nd a t a b a s e s ) 这个述语以来，数据挖掘 在国外开始成为热门研究方向。在随后的1 9 9 1 年、1 9 9 3 年和1 9 9 4 年都举行k d d 专题讨论会，参加讨论会的研究人员和应用开发者来自各个领域，集中讨论海量 数据分析算法、数据统计、知识运用和知识表示等问题。1 9 9 5 年召开了数据挖掘 界的第一届知识发现与数据挖掘国际学术会议，数据挖掘国际会议发展成为年会。 到目前为止，已经成功召开了1 0 次数据挖掘国际研讨会，规模已经发展成为国际 学术大会，研究重点也逐步转向系统应用，重视多种发现策略和技术的集成，以 及多个学科之间的相互渗透。1 9 9 7 年数据挖掘与知识发现的国际性学术刊物d a t a m i n i n ga n dk n o w l e d g ed i s c o v e r y 创刊。1 9 9 8 年建立一个新的学术组织 第1 章绪论 a c m - s i g k d d ，即a c m 下的数据库中的知识发现专业组( s p e c i a li n t e r e s t e dg r o u p o nk n o w l e d g ed i s c o v e r yi nd a t a b a s e s ) ”。 数据挖掘的方法有许多种，如分类、聚类、预测、序列模式挖掘、关联规则 挖掘等，其中分类方法应用较为广泛。分类方法是按照分析对象的属性、特征， 建立不同的组类来描述事物，其目标是构建一个分类模型，在构建分类模型时需 要知道训练样本集中每个样本所属的类，因此分类方法是一种有指导意义的学习 方法啼，。 目前，在诸多分类方法中，决策树方法是一种常用的、直观的快速分类方法， 常用于预测模型，通过有目的的将大量数据进行分类，从中找到具有价值的、潜 在的信息。 1 2 2 数据挖掘技术的应用情况 鬣 喝 数据挖掘技术的应用领域十分广阔，可以说，有数据积累的地方，就有数据 挖掘技术的用武之地。目前，数据挖掘技术的应用领域主要集中在电信、农业、 网络日志、天体、银行、化工、制造业、医药等方面。现在，数据挖掘技术被认 为是数据库和人工智能领域中研究、开发和应用最为活跃的分支之一，查阅大量资 嚆 料发现数据挖掘技术在国内外都有许多成功应用的例子伯，。 。 在国外，从上世纪8 0 年代开始出现数据挖掘技术以来，数据挖掘技术发展速 度相对比较快，数据挖掘技术应用的比较多。 当顾客向贝尔大西洋公司( b e l la t l a n t i c ) 报告电话时，该公司必须决定派什么 样的技术员去解决该问题。从1 9 9 1 年开始，该公司使用专家系统做此决定。1 9 9 9 年该专家系统被数据挖掘创建的一组规则取代。这些学习得到的规则每年为贝尔 大西洋公司节省了1 0 0 0 多万美元，因为这些规则减少了他们做出的错误决定。此 外，专家系统也已经进入了难以有效维护阶段。由于学习得到的系统是通过在实 例上训练而得到的，因此容易维护，并且容易调整以适应不同的地区和开销的变 化打。 美国的a c n i e l s o n 和i n f o r m a t i o nr e s o u r c e s ，欧洲的g f k 和i n f i a c t sb u r k e 等纷纷开始使用数据挖掘工具来应付飞速增长的销售和市场信息数据。商家的激 烈竞争导致了市场快速饱和，产品的飞速更新，使得经营者对市场信息的需求非e 3 沈| ；i i 理i ：人学硕+ 学位论文 常强烈。利用数据挖掘技术对市场进行有效的预测，使得这些市场研究公司取得 了巨大的收益扭，。 数据图书馆( d i g i t a ll i b r a r y , d l ) 是与数据库技术密切相关的又一新兴领域，其 创始人w i l l i 锄ya r m s 起初将其非正式地定义为“有组织的信息馆藏及相关服务， 信息以数字化形式保存，并通过网络进行访问”。1 9 9 5 年召开的联邦信息基础结 构与应用项目数字图书馆专题讨论会对此给出了一个确切的定义：“向用户群体提 供对庞大的、经过组织的信息和知识存储库进行查找的手段的系统，这个信息组 织的特点是预先不知道用户如何使用信息的详情，用户进入这个存储库，必须对 其进行重新组织和利用”。在因特网日新月异的发展下，它成了一种全新的描述网 络环境下数字化信息资源，包括文本、图形、图像和声音等的运作模式，在统一 的标准和框架下，对用户在任何时间、任何地点提供全方位的信息服务和知识服 务。d l 将成为下一代因特网资源管理的一种核心技术，是2 l 世纪信息产业的主 要方向之一。全世界包括中国都在国家一级投入巨资，开展数字图书馆建设，各 大学和大型图书馆也都进行了卓有成效的规划、研究和开发，建立了实际可用的 和有各自特色的数字图书馆。美国早在1 9 9 5 年就开始研讨数字图书馆的相关建设； 法国的国家数字图书馆工程已经保存数据资源达3 0 0 0 g b 以上，书目数据8 3 0 万 条；日本小规模试验型数字图书馆项目包括国家联合目录8 8 0 万条数据的网络试 验工程。另外，在建中的日本国会图书馆光西馆工程耗资就达4 亿美元睛，。 在国内，数据挖掘技术的应用相对来说比较滞后，数据挖掘技术研究的多， 应用的少，近几年情况有所好转，一部分企业已经意识到数据挖掘的巨大作用， 开始将数据挖掘技术与其所属领域相结合，并取得了巨大的成绩。 我国宝钢在数据挖掘方面做了大量的研究，从基于数据挖掘技术的配矿系统 的研究，到数据挖掘及其在宝钢质量控制中的应用研究，无论在理论研究，还是 在生产应用上都取得了很大的发展。而今，宝钢已经成功地开发了基于s a s 系统 的数据挖掘软件“实用数据挖掘系统2 0 ( p r a c t i c a lm i n e r 2 0 ，简称p m 2 0 ) ”，该软件 现由美国s a s 软件研究所( 上海) 有限公司、上海宏能软件公司以及上海宝钢计算 机公司代理销售。p m 2 0 是结合实际工作经验和数据挖掘理论而开发的软件，它 包括了数据收集、数据筛选、数据采样、数据挖掘、知识优化一整套知识发现流 程，由预处理阶段、数据挖掘阶段以及辅助阶段等三大模块，数据收集、数据抽 第1 章绪论 样、数据预处理、可视化探索、聚类分析、模型建立、数据预测、优化设计、趋 势分析、规范管理等l o 个主要功能以及系统帮助和退出系统等两个辅助功能组成。 该系统是企业数据挖掘的一个有效工具，可以为企业进步提供有力的帮助。其主 要特点是提供了从数据预处理，到数据呈现的整个数据挖掘过程；具有强大的数 据预处理功能，模型建立功能以及目标优化功能；具有友好的界面，即使不熟悉 数据挖掘技术的人员，也可以十分轻松地掌握该系统幢1 。 以上所有这些都表明，通过使用数据挖掘技术发现数据信息的内在知识，已 经在各行各业中发挥巨大作用，带来巨大的直接经济效益。 1 3 本文的主要研究内容 随着经济的增长，各行业对石油的需求量也越来越多，许多炼油企业为了增 加石油的炼制量，提高自身在行业内的竞争力，纷纷从各油田大量引进石油，由 于石油中的硫、酸等成份在炼制时会对管道造成严重的腐蚀作用，且各油田所产 原油含硫、酸等其它成份的含量差别悬殊，给企业分析管道腐蚀原因，制定防腐 计划带来困难，因此研究开发腐蚀检测系统，采集管道腐蚀数据，分析管道腐蚀 原因成为企业防腐的重中之重。但依靠传统的数据分析方法对腐蚀数据进行简单 的录入、查询、统计等操作很难对腐蚀数据进行科学分析，造成了“丰富的数据， 贫乏的知识”这一尴尬的现象。 本文研究的主要问题是研究开发管道腐蚀检测系统，采用数据挖掘技术处理 并分析腐蚀数据，判断腐蚀管道腐蚀深度，分析腐蚀原因。其中主要内容包括： 详细研究了数据挖掘技术中的i d 3 算法，分析其原理及应用，得出i d 3 算法倾向 于选择取值较多的属性，而这些属性与实际中的最优属性不一致，有算法局限性。 针对此情况，对i d 3 算法进行改进，改变取值较多属性的权值，加强重要属性的 信息熵，降低非重要属性的信息熵，减小了决策树对取值较多属性的依赖：将改 进的i d 3 算法应用到管道腐蚀检测系统中，分析腐蚀数据，并生成决策树，从中 提取规则，判断管道腐蚀的程度，分析采集到的腐蚀数据的内在联系，找出腐蚀 的原因，提出防腐建议。并将准确的腐蚀诊断分析信息发布给防腐决策者，帮助 他们及时发现管道腐蚀情况，及早提出防腐措施。 沈阻i 理1 ：人学硕十学位论文 1 4 论文的主要结构 本文将按以下结构和内容对课题进行描述： 第1 章：绪论。阐述了课题的研究背景及意义；以及数据挖掘技术的研究背 景和应用情况；最后介绍了论文的主要研究内容和论文的主要结构。 第2 章：腐蚀检测技术。研究了腐蚀检测技术的分类，主要研究了腐蚀检测 技术的原理。 第3 章：数据挖掘技术。本章主要对数据挖掘技术的相关知识进行了概述， 研究了数据挖掘技术的概念、数据挖掘技术的步骤、数据挖掘技术的算法以及数 据挖掘技术中的决策树算法。 第4 章：i d 3 算法及i d 3 改进算法。本章对数据挖掘中的i d 3 算法进行了详 细的研究，分析其原理，得出i d 3 算法倾向于选择取值较多的属性，有算法局限 性。针对此情况，对i d 3 算法进行改进，改变取值较多属性的权值，减小了决策 树对取值较多属性的依赖。最后对传统i d 3 算法和改进i d 3 算法分别举例说明比 较。 第5 章：基于改进i d 3 算法的管道腐蚀检测系统的研究。本章作为论文的核 心部分，根据数据挖掘的流程，给出基于数据挖掘技术的管道腐蚀检测系统的开 发方案，将改进的i d 3 算法应用到系统中，对腐蚀数据进行科学分析，建立决策 树并提取规则，最后，得出诊断分析，提出防腐建议。 ， 第2 章腐蚀检测技术 第2 章腐蚀检测技术 近年来，电子信息技术和测量技术快速发展，各种腐蚀检测技术得到了长足 的发展，许多能够测量腐蚀速度和腐蚀深度的腐蚀检测技术也得到了广泛的应用。 越来越多的油气田、炼油厂开始从以前的依靠某种单一方法检测向多种检测技术 共同检测的方向发展。 2 1 腐蚀检测技术的分类 腐蚀检测技术是指对设备的腐蚀或破坏进行系统的测量，以便弄清腐蚀过程、 了解腐蚀控制的应用情况以及控制效果，并通过腐蚀检测来获得设备的腐蚀状况、 腐蚀类型，评价化学药剂和防腐工程的最终效果，指导生产，确保设备处于良好 的运行状态，以预防重大安全事故的发生。 目前国内外炼油厂、油气田常用的腐蚀检测技术有：挂片失重法、电阻探针 法、电化学法、极化阻力法( 线性极化法) 、氢气流量测定法、电感法等，分别介 绍如下： 挂片失重法：挂片失重法是试样失重分析法，是比较早的测量设备腐蚀的方 法，将一块重量一定，且与被检测设备材质相同的挂片放入被检测系统中，一段 时间后取出，清洗掉挂片上的腐蚀物并称重。计算质量损失的大小可以得出平均 腐蚀速度，挂片失重法测试的腐蚀速率是检测周期内的平均腐蚀速率，挂片失重法 不适合用于瞬时腐蚀速率的测量，也不能对腐蚀变化发生的具体时间给出任何指 示叫。 电阻探针法：电阻探针法是在被测介质中安装金属探头，通过测量金属探头 ，被腐蚀后的电阻值变化来计算腐蚀速率，电阻探针法是目前炼油厂和油气田采用 最常用检测技术，几乎可以用于炼油厂和油气田的所有介质环境中n “。 电化学法：出现于上世纪七十年代，反应灵敏，能够测量瞬时腐蚀速率，适 用于电解质环境n ”。 沈刚理1 ：人学硕十学位论文 极化电阻( 线性极化) 法：该技术能够测量腐蚀电位附近( 一般为正负1 0 3 0 m v ) 的极化曲线并由此得到极化电阻( 电压与电流的比值) 。该“电阻”与介质的平均腐 蚀速度成反比。所以极化电阻法可以半连续地测量平均腐蚀速度，因此在连续控 制系统中有很好的应用n “。 氢气流量测定法：在酸性条件下，如硫化氢系统，氢气是最主要的腐蚀产物 之一，测量扩散出系统壁的氢气流量可以反映系统内的平均腐蚀速度“3 1 。 电感法：电感法通过埋置在传感器中的线圈的感抗的变化来测定敏感元件厚 度的变化。感抗探针的灵敏度非常高，可用于多种环境中。 因为电阻探针法是一种良好的检测方法，可以在高温中检测，并且适用于各 种介质，特别适合石油管道这种介质；电化学探针法也是一种良好的检测方法， 可检测瞬时腐蚀速率，并且反应灵敏，适于电解质环境，也非常适合石油管道这 种介质，。为了全方面分析管道腐蚀情况，本系统选择了这两种检测设备。 2 2 腐蚀检测技术的原理 腐蚀检测技术的检测原理与检测设备特性有关，这些特性包括电子的、机械 的、物理的、化学的特性。检测设备有很多，电阻探针也是其中的一种，适用于 各种介质，在很多领域都有广泛的应用。下面以电阻探针为例，介绍它的腐蚀检 测原理u ”。 在腐蚀性介质中，作为测量元件的金属丝被腐蚀后，金属丝的长度不变，截 面积均匀减小，电阻阻值增大，利用测量金属丝电阻阻值的改变量，测量出金属 丝直径的变化，得出金属腐蚀速率。其方法是对金属丝加一恒定电流，测量出金 属丝两端电压值，计算出探针丝的电阻值，得出金属丝直径，算出金属腐蚀速率。 当所用金属丝的材质与所测量的设备的材质相同时，就可用金属丝的腐蚀率近似 地代表设备的腐蚀率。电阻探针技术就是基于此原理进行检测的。 金属材料在某一温度下电阻阻值的计算公式： 其中： 尺一一 p r 叫喜( 2 - 1 ) 电阻 金属材料的电阻率； 夕 。 第2 章腐蚀检测技术 三 金属材料的长度； s 一一 金属材料的截面积。 由上式( 2 - 1 ) 可以看出，长度一定的金属材料被腐蚀减薄后其截面积减少，电 阻值增大，只要测得它电阻阻值的变化量，即可算出其减薄量。由于金属材料电 阻率是随温度变化的，为了避免因介质温度变化引起的测量误差，在电阻探针的 引管内放入温度补偿元件，并与测量元件串连在电路中，用以消除温度的变化对 电阻探针阻值的影响，从而减小系统的误差。在测量时利用腐蚀前和腐蚀后被测 量元件与温度补偿元件电阻比值来推算腐蚀减薄量，也可把被腐蚀前和被腐蚀后 的电阻比值看成是第一次测量和第二次测量的电阻比值。不同形状的金属材料， 其腐蚀减薄量h 的计算公式也不同，丝状测量元件比片状测量元件在相同寿命条 件下灵敏度要高，所有电阻探针多采用丝状测量元件。下式为这类电阻探针的年 腐蚀率计算公式，： 衙( 1 一挣川“ ( 2 - 2 ) ，= 8 7 6 0 h 下1 0 3 ( 2 3 ) 式中：h 腐蚀深度，单位, u r n ； ，一 探针原始半径，单位m m ； ， 一腐蚀速率，单位r a m a ； r 腐蚀测量累积时间，单位h ； r一一腐蚀前被测探针与温度补偿元件的电阻比值； r 一 腐蚀后被测探针与温度补偿元件的电阻比值。 2 3 本章小结 本章研究了腐蚀检测技术，以及腐蚀检测技术的分类，包括挂片失重法、电 阻探针法、电化学法、极化电阻( 线性极化) 法等。主要研究了腐蚀检测技术的原 理，并以电阻探针为例对腐蚀检测技术的原理进行了详细研究。 沈冈l 理i ：人学硕十学位论文 第3 章数据挖掘技术 随着数据库和信息技术的不断发展和广泛应用，数据库中存储的数据量急剧 增涨，在大量数据的背后隐藏着许多重要的信息，如果能把这些信息从数据库中 抽取出来，将会为企业带来更多的利润，数据挖掘技术的概念就是从这样的背景 下提出来的幢，。 3 1 数据挖掘技术的概念 数据挖掘( d a t am i n i n g ) 又称数据库中的知识发现( k n o w l e d g ed i s c o v e r yi n d a t a b a s e ) ，是从大量的数据中挖掘出隐含的、未知的、用户可能感兴趣的和对决 策有潜在价值的知识和规则。这些规则蕴含了数据库中一组对象之间的特定关系， 提示出一些有用的信息，可以为经营决策、市场策划和金融预测等方面提供依据。 一些文献中数据挖掘也一度被翻译为数据采掘、数据开采、知识挖掘、知识抽取 和知识考察等瞪，。 与传统信息处理方法相比，数据挖掘技术有其自身的特点： ( 1 ) 以大规模的数据库为处理对象，否则单纯使用统计方法处理数据就足够 了。 ( 2 ) 信息查询一般是由决策制定者提出的即时随机查询，往往没有精确的查 询要求，依靠数据挖掘技术寻找其可能感兴趣的东西，即挖掘出来的知识不能预 知。 ( 3 ) 在一些应用中，某些行动并没有实际发生或很少发生，因而他们对输出 所造成的影响没有在数据库中体现出来，需要利用数据挖掘技术从数据库中提取 有用的规则，为这种情况提出预测。 ( 4 ) 数据挖掘要担负发现潜在规则的任务，还要管理和维护规则，在一些应 用中，由于数据变化迅速，规则只能反映当前数据库的特征，随着不断地加入新 数据，规则不断更新，要求在新数据的基础上修正原来的规则，从而快速做出反 一 l r 第3 章数据挖掘技术 应，把这种情况称之为“增量式”数据挖掘。 ( 5 ) 数据挖掘中规则的发现主要基于大样本的统计规律，发现的规则不必适 用于所有的数据，当达到某一闭值时便可认为有此规律“。 3 2 数据挖掘技术的步骤 数据挖掘的步骤一般分为业务对象的确定、了解数据、数据准备、数据相关 性前期检索、数据挖掘、结果分析、知识同化，详细介绍如下： 业务对象的确定：对要研究的问题给出清晰的定义，数据挖掘最重要的一步 是认清数据挖掘的目的。数据挖掘的结果是不可预测的，但要研究的问题是可预 见的，确定业务对象是整个数据挖掘过程的基础，也是检验最后结果和指引分析 人员完成数据挖掘的依据。 了解数据：对要挖掘的数据需要进行初步的了解。明确数据源从哪儿来，以 及数据表中哪些字段是重要的等。对数据的初步了解能够帮助分析数据的可用性 和实用性，减少返工造成的资源浪费。甚、 数据准备：在数据挖掘的整个过程中，数据准备的工作量占在6 0 以上，因 为数据挖掘对数据的要求非常严格。数据准备大致可以分为以下三个步骤： ( 1 ) 选择数据 选择数据是搜索所有与业务对象有关的内外部数据信息，并从中选择出适用 于数据挖掘应用的数据。 ( 2 ) 数据的预处理 数据的预处理是研究数据的质量，为进步分析数据做准备，并确定将要进 行的数据挖掘操作的类型。 ( 3 ) 数据转换 数据转换是将数据转换成一个分析模型，这个分析模型是针对数据挖掘算法 建立的，建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。 数据相关性前期检索：有些数据挖掘在定性和数据分类使用方面，可以进一 步预测和探索数据。 数据挖掘：对处理后的数据进行挖掘，除了选择合适的挖掘算法外，其余的 一切工作都能够自动完成。 1 1 沈理i ：人学硕十学位论文 结果分析：解释并评估挖掘后的结果，其使用的分析方法一般应根据数据挖 掘操作而定，通常会用到可视化技术。 知识的同化：将分析后所得到的知识集成到业务信息系统中去n ”。 3 3 数据挖掘技术的算法 数据挖掘技术融合了数据库、人工智能、机器学习、统计学等多个领域的理 论和技术。目前，比较典型的数据挖掘算法有聚类分析、分类分析、关联规则分 析等。分别介绍如下： 1 聚类分析 聚类分析方法是使数据自然聚集方法，是概念描述和偏差分析的先决条件。 它的重要性体现在两点：第一，由于数据库中的数据通常不含有类的标志，没有 训练数据使得分类无法进行，而聚类是一种处理大量的繁杂的、属性众多的且没 有类标志数据的有效方法。第二，在知识发现的过程中，聚类分析经常被作为其 它数据挖掘任务的前奏“”。 2 分类分析 在数据挖掘的各种应用中，分类分析是其中应用领域中较广泛的技术之一。 分类的目的是学会一个分类函数或分类模型( 也称分类器) ，该模型能把数据库中 的数据映射到给定的类别中的某一个类别。分类可用于提取描述重要数据类的模 型或预测未来数据趋势，已经在很多领域得到成功应用n ”。 3 关联规则分析 关联规则分析方法是发现大量数据项集之间有趣关联或相关联系的方法。它 在数据挖掘中是一个重要的课题。两个或两个以上数据项的取值之间存在某种关 联，可以建立起这些数据项的关联规则n ”。数据关联是数据库中存在的一类重要 的、可被发现的知识，它反映一个事件和其他事件之间的依赖或关联。如果两项 或多项属性之间存在关联，那么其中一项的属性值就可以依据其他属性值进行预 测啪1 。 上述算法中，大部分聚类算法的分类数目是需要预先设置。对同一个数据库， 用同样的聚类算法聚类多次，每次设置不同的类数目，可以得到一系列聚类结果。 在这些结果中有的类过于分散，有的过于紧凑；关联规则算法处理庞大数据时， 1 2 第3 章数据挖掘技术 算法的效率会降低，在获得候选集时的代价高；分类的任务是在已知训练数据的 特征和分类结果的前提下，为每一个分类找到一个合理的描述或模型。然后再用 这些分类的描述或模型对类别未知的新的数据进行分类。许多数据挖掘问题本质 上都可以等价或转化为分类问题。管道腐蚀检测系统也属于分类问题，因此本文 用分类分析的方法来分析腐蚀数据。 3 4 决策树算法研究 3 4 1 分类算法 分类在数据挖掘中是一项非常重要的任务，目前在很多领域都得到成功的应 用。分类可以描述为：给定一个训练数据集s ，s 中的元素记录由若干个属性描 述，在所有属性中有且仅有一个属性作为类别属性。若属性集合用矢量 t = ( 瓦，乙) 表示，其中霉( 1 f 托) 对应某个非类别属性，可以具有不同的值域， 即对于任一个属性t = ( 瓦，乙，) ，m i 随属性的不同而变化。当一个属性的值域 为连续域时，该属性称为连续属性，否则称为离散属性；用，表示类别属性， f = 弼，e ，疋) 即数据集有k 个不同的类别，那么s 就隐含地确定了一个从矢 量z 到类别属性，的映射函数：h ：厂( 乃专f ，分类的目的就是采用某种方法( 模 型) 将该隐含函数日表示出来幢“。 数据的分类( d a t ac l a s s i f i c a t i o n ) 过程一般可以分为三步进行。 第一步，建立一个数据模型。分析样本的类别和具备的一些特征之间的依赖 关系，