（计算机应用技术专业论文）基于主动数据库技术的质检管理信息系统研究开发.pdf

摘要 论文题目：基于主动数据库技术的质检管理信息系统研究开发 学科专业：计算机应用技术 研究生：张文超 指导教师；张璩教授 摘要 签名： 签名： 鸟故两超 ；晾 传统的数据库是被动的，由用户或程序驱动，仅当用户或应用程序提出明确要求时才 执行事务操作。 在某钢管企业质检管理信息系统研究开发过程中，作者探索了主动数据库模型、主动 数据库执行方式等理论与技术问题，并基于u m l 面向对象方法，完成了基于主动数据库技 术的质检管理信息系统分析、设计、编码实现与部署工作。把触发动作的分离执行嵌入到 主动数据库应用系统中，实现了质量检验结果判定、质量分析与生产统计分析结果的定期 主动生成、定时条件检测、定时动作执行，以及出错时主动报警处理等功能，取得良好效 果。系统一年多的实际运行表明，主动数据库主动功能的应用使得质检管理信息系统更加 完善，应变能力更强。 此外，作者还针对x m l 数据的相似重复检狈4 问题，提出了一种基于s n m 的变异算法 x s n m ，可有效地提高原始数据的质量，使得质量分析等报表能够更加真实地反映企业生产 的质量情况。 关键词：主动数据库；数据重复检测；x m l ；u m l ；质检管理信息系统 t i t l e ：r e s e a r c ha n dd e v e l o p m e n to n m a n a g e m e n t i n f o r m a t i o ns y s t e mf o rq u a l i t yi n s p e c t i o nb a s e d o na c t i v ed a t a b a s et e c h n o l o g y m a j o r ：c o m p u t e ra p p l i c a t i o nt e c h n o l o g y n a m e ：w e n c h a oz h a n g s i g n a t u r e ：型丝盈必如o s u p e r v i s o r ：p r o f j i n gz h a n g s i g n a t u r e ：塑趁嗖 a b s t r a c t t h ec o n w - n t i o n a ld a t a b a s ei su n a c t u a t e d i ti sd r i v e db yu s e 侣o rp r o g r a m s t h ec o n v e n t i o n a ld a t a b a s e e x e c u t e st h et r a n s a c t i o nw h e nau s e r so raa p p l i c a t i o np r o g r a mr e q u e s t ss o d u r i n gr e s e a r c ha n dd e v e l o p m e n to fq u a l i t yi n s p e c t i o nm a n a g e m e n ts y s t e mf o ras t e e lt u b ec o m p a n y , t h ea u t h o rd i s c u s s e dt h em o d e la n de x e c u t i n gm o d eo f t h ea c t i v ed a t a b a s e a c c o r d i n gt ot h em e t h o do f u m l o b j e c t - o r i e n t a t i o n , t h ea u t h o ra c c o m p l i s h e da n a l y s i s ，d e s i g n , i m p l e m e n t a t i o na n dd e p l o y m e n to ft h eq u a l i 锣 i n s p e c t i o nm i sb a s e do na c t i v ed a t a b a s et e c h n o l o g y w ep r o p o s e dt oi n c o r p o r a t ed e c o u p l e de x e c u t i o no f t r i g g e r e da c t i o n si na l la c t i v ed b m sa n di m p l e m e n t e dt h ef u n c t i o n so f j u d g i n gr e s u l t so f q u a l i t yi n s p e c t i o n ， q u a l i t ya n a l y s i sa n ds t a t i s t i c so fp r o d u c t i o n , m o n i t o r i n gc o n d i t i o n st i m e l y , a n de r r o ra l a r m i to b t a i n e d f a v o r a b l ee f f e c t t h er u no ft h es y s t e mf o rm o r eay e a rp r o v e st h a tt h eu s eo ft h ea c t i v ef u n c t i o no fa c t i v e d a t a b a s em a k e st h eq u a l i t yi n s p e c t i o nm i sr u nm o r ep e r f e c t l ya n ds t r o n g l y f u r t h e r m o r e ，f o rt h ep r o b l e mo f d u p l i c a t ed e t e c t i o nf o rx m l , a na l g o r i t h mn a m e dx s n m ，am u t a t i o n a l g o r i t h mo fs n m , i sp r e s e n t e d i tc a l li m p r o v ed a t aq u a l i t ye f f e c t i v e l ya n dm a k et h er e p o r t so fq u a l i t y a n a l y s i sr e f l e c tt h eq u a l n yo f p r o d u c t sm o r et r u l y k e y w o r d s ：a c t i v ed a t a b a s e ；d u p l i c a t ed e t e c t i o n ；x m l ；u m l ；q u a l i t yi n s p e c t i o nm i s i i 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明：本人所呈交的学位论文是我个 人在导师指导下进行的研究工作及取得的成果。尽我所知，除特别加以标注和致谢的地 方外，论文中不包含其他人的研究成果。与我一同工作的同志对本文所论述的工作和成 果的任何贡献均已在论文中作了明确的说明并已致谢。 本论文及其相关资料若有不实之处，由本人承担一切相关责任 论文作者签名：墨亟盘查圣* 口弓月加日 学位论文使用授权声明 本人；5 邀垒i 堡。在导师的指导下创作完成毕业论文。本人已通过论文的答辩，并 已经在西安理工大学申请博士硕士学位。本人作为学位论文著作权拥有者，同意授权 西安理工大学拥有学位论文的部分使用权，即：i ) 已获学位的研究生按学校规定提交 印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生上交的 学位论文，可以将学位论文的全部或部分内容编人有关数据库进行检索；2 ) 为教学和 科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、资料室 等场所或在校园网上供校内师生阅读、浏览。 本人学位论文全部或部分内容的公布( 包括刊登) 授权西安理工大学研究生部办 理。 ( 保密的学位论文在解密后，适用本授权说明) 论文作者签名：越导师签名 7 i 佯 加湃d 弓月z o h 绪论 1 绪论 1 1 质检管理信息系统介绍 管理信息系统( m a n a g e m e n ti n f o r m a t i o ns y s t e m ，m i s ) 是二十世纪7 0 年代开始发 展起来的。随着企业管理现代化要求的不断提高，管理信息系统博采诸多学科之长，逐渐 形成了一门新兴的学科。m i s 是一门综合了管理科学、系统理论、计算机科学的系统性科 学，它的形成依赖于管理科学和技术科学的发展。其三要素是：系统的观点、数学方法、 计算机技术，而这三点正是管理现代化的关键。完善的m i s 应具有以下四个标准：确定 的信息需求、信息的可采集与可加工、可通过程序为管理人员提供信息、可对信息进行管 理。 产品质量竞争是市场竞争的重要内容，企业要想在市场竞争中处于不败之地，必须提 高企业的产品质量。产品质量问题贯穿于产品生命周期的全过程，它与企业的经营管理、 工程设计和生产制造等各项活动均有密切的关系“1 。企业的质检部门不直接承担企业的经 营决策、生产管理、工程设计、加工制造和售后服务等具体业务，而是通过对各种反映产 品质量的数据的采集、存储和处理，以及在此基础之上进行的质量数据分析，来监督、控 制、规划和决策各部门的质量行为，以实现产品质量的全面管理，保证企业的产品质量。 为企业质检部门专门开发的质检管理信息系统，是一种小型m i s 系统，负责对质检中 心业务功能中所涉及的各种原燃材料、成品、半成品的质检信息进行采集、存储和管理， 并且需要对质量检验数据进行相应的统计分析处理，来指导工程设计和生产制造等各项活 动，以满足质检中心的各种业务需求。由于质检中心业务的复杂性和特殊性，设计并实现 能够充分满足质检中心业务需求的质检管理信息系统有着十分重要的现实意义。 1 2 主动数据库技术概念 随着计算机应用范围的不断扩大和深入，数据库在各种应用领域中起着越来越重要的 作用，其应用从常见的状态监控、安全监控、故障监控，到军事或民用部门的协同工作， 以及各种m i s 和决策支持系统( d s s ) 。传统数据库在数据存储与检索等方面，已经为各种 用户提供了很好的服务。当人们需要获得、更新、加入或删除数据库中的某些满足一定条 件的数据时，用户只需通过相应的命令或操作即可实现其目的“1 。但是，数据库( 更确切 的说是数据库管理系统) 本身都是被动的，它们只能根据用户命令被动的提供服务。用户 发出什么命令，系统就做什么动作。它们不会根据数据库外部环境或内部状态等情况主动 执行操作，如主动提出警告、主动实现某些动态修改等。 主动数据库( a c t i v ed a t a b a s e ) 是现代数据库技术一个崭新的发展分支，是数据库技 术与人工智能相结合的产物。它能主动地对事件做出反应，运用事件一条件一动作 西安理工大学硕士学位论文 ( e v e n t c o n d i t i o n a c t i o n ) 规则，通过事件监视器监视诸如数据库事务、时间事件、外部 信号的发生，执行规定动作，使得数据库能够提供“主动服务”的功能“1 。 目前人们的研究工作主要集中在主动数据库的实现模式和方法上。一些商品化的数据 库管理系统，如s o ls e r v e r 、o r a c l e 和s y b a s e 等，都陆续引进了“触发器( t r i g g e r ) ” 的概念，为支持主动处理的功能奠定了基础。主动数据库的主动性功能还被应用在许多领 域中，如管理信息系统、办公自动化系统、决策支持系统、过程控制、空中交通管制、野 战数字化系统等。另外，主动性概念正在被引入各种与数据库关系密切的领域中，因为人 们发现这种主动性机制可方便的用来实现实时数据库( r e a lt i m ed a t a b a s e ) 、合作数据 库( c o o p e r a t i v ed a t a b a s e ) 、动态数据库( d y n a m i cd a t a b a s e ) 和演绎数据库( d e d u c t i v e d a t a b a s e ) 等“1 。 1 3 课题意义及可行性 在企业的信息管理中，对企业生产部门的原材料、半成品、成品的质量检验数据的管 理是非常复杂的工作“。企业质检管理信息系统需要检验的物料品种可能很多，每种品种 又可能进行多个类型( 物理、化学、微生物等) 的检验，每个检验类型又往往需要根据多 种检验标准来进行判定，而且国内外的检验标准更是有所区别，所以，检验结果的判定复 杂性是企业质检管理信息系统中一个不可回避的难点。另外，对于质量检验数据的统计分 析处理，如：计算采样总数、合格数、平均数、最大值、最小值等，则要求企业质检管理 信息系统能够根据基础的检验信息以实时的方式实现。此外，由于质检业务经常发生变化， 如物料品种增加，检验指标变化，指标合格范围波动等因素，企业质检管理信息系统要求 当前数据库能够根据各种状态条件，实时地做出相应的反应。实现数据库的主动性已经成 为企业质检管理信息系统的一个核心问题。 传统的数据库是被动的，被动的d b m s 由用户或程序驱动，它们仅当用户或应用程序 提出明确要求时才执行事务操作。但许多应用如计算机集成制造、办公室流程控制、企业 质量检验等都要求对当前数据库状态条件进行监视，当条件满足时，能自动、实时地做出 反应( 执行特定的活动) 。实现数据库的主动性已经成为数据库技术发展的必然趋势。 在这种趋势下，把主动性引入到数据库之中，使数据库能够主动响应一定的事件并触 发相应的规则，对质检管理信息系统的开发与实现具有重要的意义。开发基于主动数据库 技术的质检管理信息系统，对于提高质检部门的工作效率与检验水平，更加有效地反映产 品质量信息，以实现企业产品质量的全面管理，具有重要的现实意义。此外，该系统关键 技术的研究对于其它类型的管理信息系统亦具有重要的参考价值，对推动企业信息化的发 展意义深远。 1 4 主要研究开发任务 2 在本课题实施过程中，作者主要完成的开发工作如下： 绪论 质检管理信息系统开发的相关理论及技术研究，包括：u m l 、d e l p h i2 0 0 5i d e 、 主动数据库技术、x m l 、相似重复数据检测、动态图形报表等。 提出了基于主动数据库技术的质检管理信息系统实施方案。 在w i n d o w ss e r v e r2 0 0 3 d e l p h i2 0 0 5 环境下，完成了基于主动数据库技术的质 检管理信息系统分析、设计、实现、测试与部署，并投入实际运行。 西安理工大学硕士学位论文 2 系统开发相关技术 2 1d e l p h i2 0 0 5 d e l p h i2 0 0 5 是一个强大的面向对象的可视化开发工具，所提供的i d e 使基于w i n d o w s 平台的应用开发更快速、更容易，同时提供了一个先进的编译器和调试器。 d e l p h i2 0 0 5 还提供了丰富的可视化组件库，其中的组件也是用o b j e c tp a s c a l 语言 编写的。这些组件充分体现了面向对象思想，封装了系统行为和许多底层的实现方法。 d e l p h i2 0 0 5 具有以下一些新特性“： 所支持的d e l p h if o rw i n 3 2 ，d e l p h if o r n e t 和c # 都同处于同一个开发环境 ( 调试环境) 中。 可以比较容易地在同一个开发环境中把w i n 3 2 应用程移植序到n e t 中。 新增一些d e l p h i 语言的新特性，如：多单元命名空间，f o r i n d o 循环，内联 函数以及其它代码优化技术。 支持w i n f o r m s ，a s p n e tw e bf o r m s 在可视化环境中的开发。 支持重构来重新组织源代码，以便提升代码的可维护性和重用性。 支持d u n i t 和n u n i t 的单元测试，可以在d e l p h if o rw i n 3 2 ，d e l p h if o r n e t 和 c # 项目中使用极限单元测试框架来提高代码质量。 支持版本控制和团队开发，通过额外的插件s t a r t e a m ，可对开发项目做特别的备 份并提供一个历史列表视图。 通过j a n e v af o rd e l p h if o r n e t 和c # 应用程序的解决方案，内置支持j 2 髓 企业级e j b ，或者c o r b a 服务器。 2 2 主动数据库相关技术 2 2 ，1 主动数据库起源 软件的主动性并非一个全新的概念。在上个世纪7 0 年代中期就开始设计的a d a 语言 中，异常处理设施就是一种能够根据程序执行中异常情况的发生而主动触发某些预先设定 动作的编程措施。此外，传统数据库系统中的完整性和一致性等约束的检查也可认为是主 动进行的。可见，已有的一些系统已能提供一些简单而原始的“主动性”，只不过是这些 主动功能都不够完善而已。这些设施虽简单，不甚完善，事件的种类都是系统实现时已经 制定好，不允许用户根据需要自己来设置各种特定事件，但是它已能解决不少实际问题”。 “主动数据库”术语直到8 0 年代初才出现。到8 0 年代中后期，关于主动数据库以 及将产生式( 或规则) 库融入数据库的大量论文出现，使主动数据库成了数据库领域研究 的一个热点。主动数据库系统是能根据各种事件的发生或环境的变化主动给用户提供相应 4 系统开发相关技术 信息服务的数据库系统，这种主动性要求数据库系统在某些事件发生时能主动地执行由用 户预先指定的动作或者动作序列，进而完成用户需要执行的各种操作。 主动数据库的提出是为了满足实际应用中的主动性需求，随着数据库的广泛应用，人 们的社会活动与数据库的联系越来越紧密，在人们享受数据库技术带来便利的同时，也感 受到了传统数据库只能“被动服务”的局限性，实际应用呼唤数据库的主动性，比如实时 监控功能、自动适应和学习功能等。随着主动数据库技术的逐渐成熟，数据库的主动性功 能正在各种实际应用中发挥着越来越大的作用。 2 2 2 主动数据库技术研究现状 主动数据库的一个重要思想就是要让数据库系统具有各种主动进行服务的功能，并以 一种统一而方便的机制来实现各种主动服务需求，除了“主动服务”之外，特别强调了用 “统一的机制”来实现。到目前为止，这种机制主要是通过将一些规则预先嵌入数据库系 统的办法来实现。主动数据库系统可有以下几种实现途径”： 1 改造的途径 最简单的实现方案是在原有数据库管理系统基础上进行改造。为此只需在原有数据库 管理系统之外增加一个能经常有机会( 例如具有较高的运行优先级) 运行的事件监视器。 此时，事件库是一个统一的库，由用户预先置好，在应用程序运行的同时，由事件监视器 来监视事件的发生，并根据事件库中提示自动执行相应的动作或动作序列。 2 嵌入主动程序设计语言的途径 把一般程序设计语言改造成一种主动程序设计语言，或设计实现一种主动程序设计语 言，然后按传统方法把数据库操作嵌入在其中执行。这种途径下主动程序设计语言将事件 库分成块，分布在各个过程或对象( 当采用面向对象范式时) 中，运行效率可望大大提高。 3 重新设计主动数据库程序设计语言的途径 重新设计主动数据库程序设计语言来将数据的定义、操作、维护和管理功能与应用程 序彻底融合在一起，这自然也是一条可取的途径。这就彻底的解决了所谓“阻抗不匹配” 问题。 在主动数据库研究中，代表性的系统有h i p a c 系统，p o s t g r e s 系统，s t a r b u r s t 系 统，a l e r t 系统，o d e 系统等。他们大多是在关系数据库系统( r d b m s ) 或面向对象数据 库系统( o o d b m s ) 的基础上进行扩充而增加主动性功能的。这些被开发的系统都具有不同 的特点0 1 ： 1 h i p a c ( h i g hp e r f o r m a n c ea c t i v es y s t e m ) 系统是威斯康辛大学开发的一个主动 面向对象数据库管理系统。h i p a c 最初在系统d a p l e x 上扩展了面向对象的特征而成为 o o d a p l e x ，之后又在此基础上扩充了e c a 规则。在h i p a c 系统中，规则作为第一类实体 被单独定义，每个规则是规则类中的一个实例，同其它对象类一样规则能够通过调用在规 则类上定义的函数来创建、修改和删除规则。事件可以是来自内部的时钟事件或硬件信号， 5 西安理工大学硕士学位论文 也可以是由用户自定义的事件。 2 p o s t g r e s 系统是由加州大学伯克莱分校在一个关系型数据库管理系统的基础上 扩充“条件一动作库”后形成的系统。其实现始于1 9 8 6 年，后来经历了几次主要的版本 更新。p o s t g r e s 引入了可自动触发的规则机制，支持三类规则a u 脯y s 、o n c e 、n e v e r ， 并且已经在许多研究或实际的应用中得到了应用。 3 s t a r b u r s t 系统由i b m 公司a l m a d e n 研究中心研制，在可扩充关系数据库管理 系统中结合了面向集合的产生式规则。采用集中式的规则体系，有一个内在的冲突协调器， 当多个规则被触发时，依据优先级和最近最少使用原则，选择一定的顺序依次执行这些规 则。 4 a l e r t 系统同样由i b m 公司设计，是一个由p d b m s 转化的a d b m s ，触发事件可以 是数据库的增加、删除和修改操作也可以是用户定义的操作。 5 e m t 是德国卡什鲁研究所( f z ik a r l s r u h e ) 在一个面向对象数据库c a do o d b m s 中 为了完整性控制而设计的一个“事件一动作”触发器。 6 c p l e x 是哈佛大学的一个带规则的具有持久性对象的面向对象程序设计语言。 7 r u b i s 是巴黎大学的一个带e c a 规则触发器的数据库管理系统。 8 o d e 是a t & t 公司贝尔实验室在具有持久性对象的c + + 语言中增加了约束和触发 器后形成的系统。 9 a t m 是d e c 公司的c r l 开发的一个采用规则来组织长期事务或活动的系统。 l o s a m o s 是苏黎士大学开发的把e c a 规则和面向对象的数据库管理系统集成在一 起而形成的一个系统。 国内对主动数据库技术的研究起步较晚，在主动数据库系统方面的研究还不够深入， 国内已经实现的主动数据库模型有华中科技大学的a r t s - 1 系统“1 。 2 2 3 主动数据库技术发展方向 主动数据库是目前数据库技术中一个活跃领域，近年的研究已经取得了很多成果，它 所涉及的学科领域更加广泛，其内容与含义也在不断地更新。随着理论和技术的不断完善， 主动数据库技术的应用将越来越广泛。今后，主动数据库的研究需要集中解决以下问题： 1 执行模型即e c a 规则的处理和执行方式。 2 条件检测这是主动数据库系统实现的关键技术之一，由于条件的复杂性，如何 高效的对条件求值，对提高系统效率有很大的影响。 3 事务调度与传统数据库系统中的数据调度不同，它不仅要满足开发环境下的可 串行化要求，而且满足对事物时间方面的要求，现在对执行事件估计的代价模型是有待解 决的难题。 4 体系结构在传统的数据库管理系统基础上，扩充事务管理部件和对象管理部件 以支持执行模型和知识模型并增加事件侦测部件，条件检测部件和规则管理部件。 6 系统开发相关技术 5 系统效率这是主动数据库研究中的一个主要问题，是设计各种算法和选择体系 结构时应主要考虑的设计目标。 2 2 4 主动数据库的模型描述 自m m o r g e n s t e r n 在第九届国际超大型数据库学术会议( v l d b ) 上提出了主动数据库 概念以来，多次国际会议中都对主动数据库系统进行过专题讨论，许多研究小组和包括 i b m 在内的多家机构都提交了有关主动数据库技术的论文，也相继构造了一些主动数据库 系统的模型和原型。 下面给出主动数据库的一般模型“”。在功能上，一个主动数据库系统( a d b s ) 由一个 传统数据库系统( d b s ) 和一个事件驱动的知识库( e v e n tb a s e ，简称事件库e b ) 及其相应的 事件监视器( e v e n tm o n i t o r ，简称蹦) 组成，可用公式表示为： a d b s = d b s + e b + e m 其中d b s 用来存储数据和对数据进行维护、管理与运用：e b 是一个由事件驱动的一组 知识组成的集合，称为“事件库”，其中每一项知识表示在相应的事件发生时，如何来主 动地执行其中包含的由用户预先设定的动作：e m 是一个随时监视朗中的事件是否己经发 生的监视模块，一旦监视到某事件己经发生时就主动地触发系统，按阴中指明的相应知 识执行其中预先设定的动作。 目前，在主动数据库主动规则领域里，e c a ( e v e n tc o n d i t i o na c t i o n ) 规则是广泛用 来表示主动规则的定义方法。所i 胃e c a 规则就是事件驱动的“事件一条件一动作”规则，即 每条规则指明“当什么事件发生时，在什么条件下执行什么动作”。e c a 规则预先嵌入数据 库系统，由事件探测器负责检查这些规则是否已经发生。一般形式可以表示为： r u l e 【( ，) w h e n i f t h e n ： i f t h e n ；( n = 1 ) e n d r u l e 上述事件驱动的“事件一条件一动作”规则的语义是：“一旦 所表示的事 件发生，计算机就主动触发执行其后的i f - t h e n 规则。即如果 为真，则执行其后 的 ，并且接着逐个检查下一个i f 叫h e n 规则，直至执行完为止。” 2 2 5 触发器 标志一个d b m s 具有主动性的关键特性是触发器( t r i g g e r ) 。虽然传统数据库不能提供 完善的主动功能，但是目前的关系数据库s o ls e r v e r 、o r a c l e 等产品提供的“触发器” 以及约束如：主键、外键、默认值等，都是主动数据库主动技术的体现。触发器是一种特 7 西安理工大学硕士学位论文 殊的存储过程，实质上是在进行插入、更新或者删除操作时自动唤醒的存储过程，它是与 一个表相关联的。当一个触发器语句发出时，数据库管理系统自动地激发或者执行触发器， 它可以用来进行完整性控制、自动生成导出列的值等。在s q l 2 0 0 n 中，触发器是与某一基 表相关联的对象，其语法定义如下所示“”： ：= c r e a t et r i g g e r o n r e f e r e n c i n g 1 ：= b e f o r ela f t e r ：= d e l e t eii n s e r tju p d a t e 【o f 】 ：= f o re a c h ( r o ws t a t e m e n t 】 【w h e n ( ) 1 ：p i a a g i na t o m i c f s q l 过程语句； e n d ：= o l d r o w a s j 口咂w 【r o w a s 】 i o l dt a b l e a s 口删t a b l e a s i 其中，d e l e t e 或i n s e r t 触发器的 为空，而u p d a t e 触发器在未具体指 定该列表时， 也为空。 是任意有效的s q l 条件，可以包含布 尔值表达式和复杂查询。通过使用r e f e r e n c i n g 子句，触发条件和动作可以访问触发事件 所影响的行的旧转换变量和新转换变量。 触发器具有以下优点“1 ： 1 ) 触发器是自动的：它们在对表的数据作了任何修改( 比如应用程序采取的操作) 之后立即被激活。 2 ) 触发器可以通过数据库中的相关表进行层叠更改。 3 ) 触发器可以强制限制，这些限制比用c h e c k 约束所定义的更复杂。与c h e c k 约 束不周的是，触发器可以引用其它表中的列。 2 3x m l 技术与数据重复检测 2 3 1x l i l l 技术介绍 x m l ( e x t e n s i b l em a r k u pl a n g u a g e ，可扩展的标记语言) 是w 3 c 组织于1 9 9 8 年2 月发布 的一种用来描述数据的新标准。x m l 的用途主要有两个： 系统开发相关技术 是作为元标记语言，定义各种实例标记语言标准； 二是作为标准交换语言，担负起描述交换数据的作用。 x m l 是一种数据描述语言，是标准通用标记语言s g m l ( s t a n d a r dg e n e r a l i z e dm a r k u p l a n g u a g e ) 的一个子集。它将s g m l 的丰富功能与h t m l 的易用性结合到w e b 应用中，以一种开 放的自我描述方式定义了数据结构，在描述数据内容的时候能突出对数据结构的描述，从 而体现出数据之间的关系。这样所组织的数据对于应用程序和用户都是友好的、可操作的。 x m l 具有简单、开放、高效、可扩充、国际化等诸多特点，正是这些特点决定了它卓越的 性能表现。当前x i l 己被广泛应用，尤其是在分布式对象设计环境和电子商务应用领域中。 x m l 以其强大的数据描述能力等优点被公认为是下一代网络语言。 x m l 语言是一个家族体系，主要包括以下三个要素1 ： ( 1 ) 模式( s c h e m e ) 规定了x m l 文件的逻辑结构，定义了x m l 文件中的元素、元素的属性 以及元素和元素属性之间的关系；模式可以帮助x m l 的分析程序校验x m l 文件标记的合法 性； ( 2 ) 可扩展样式语言( e x t e n s i b l es t y l e s h e e tl a n g u a g e ，x s l ) 用于规定瑚l 文档样式， 主要作用是在客户端从x l j l 文档中提取出信息并转换成浏览器可以显示或应用程序可以识 别的格式； ( 3 ) 可扩展链接语言( e x t e n s i b l el i n kl a n g u a g e ，x l l ) 进一步扩展了目前w e b 站点己 有的简单链接，有效地提供一套而不只是单个目标的链接选择供用户选择链接方向。 2 3 2x m l 技术的优势 良好的数据存储格式、可扩展性、高度结构化、便于网络传输是x m l 主要的四大特点， 决定了其卓越的性能表现。x m l 作为数据交换和网络计算的基础，无可争议的成为网络通 用的语言。j ( m l 具有以下的优势1 ： 1 ) x i l 允许各个组织、个人根据各种不同的规则来制定标记，建立适合他们自己需要 的标记库。这些标记不必局限于对于显示格式的描述。现在许多行业、机构都利用x m l 定 义了适合自己行业或领域的置标语言。 2 ) ) 【m l 遵循严格的语法要求，可以提供较好的可读性和可维护性。 3 ) 瑚l 便于不同系统之间信息的传输。x m l 不但简单易读，而且可以标注各种文字、图 像甚至二进制文件，只要有x m l 处理工具，就可以轻松地读取并利用这些数据，使得x m l 成为一种非常理想的网际语言。各种不同的操作系统、数据库之间都可以采用x m l 作为交 流媒介。 4 ) x m l 具有较好的保值性。x m l 的保值性来自它的先驱之s g m l 语言。s g m l 是一套有着 十几年历史的国际标准，它最初设计的目标就是要为文件提供5 0 年以上的寿命。) ( i l 不但 能够长期作为一个通用的标准，而且很容易向其它格式的文件转化。 5 ) x m l 并不仅仅包括x m l 标记语言，它同时还包括了很多相关的规范，比如文档格式化 9 西安理工大学硕士学位论文 标准、文档显示模式定义、文档查询标准、文档解析标准和文档链接标准等，而且基于x m l 这个低层的规范，还有很多高层的应用协议，比如开放贸易协议、s o a p 等等。正是由于有 这些相关的规范和协议，使得x m l 的应用范围相当广大。 2 3 3x m l 研究现状 由于x m l 能针对特定的应用定义自己的标记语言，这一特征使得x m l 可以在电子商务、 电子政务、司法、出版等领域中发挥重要的作用。目前，) a l l l 的研究和开发主要集中在以 下几个方面“”： 1 ) x m l 相关规范的制定。x m l 之所以重要，是由于它扮演了“国际语言”角色的缘故。 并为互联网提供了定义各行各业的“专业术语”的工具。 2 ) x m l 的存储技术。三种主要的存储x m l 文档的方法是利用文件、关系数据库和对象管 理器来存储。 3 ) x m l 查询技术。当前主要的五种查询语言：l o r e l ，x m l q l ，x m l - g l ，x s l 和x q l 。 4 ) x m l 数据集成。把x m l 作为中间数据格式对企业或部门已有的各种数据源进行集成， 包括各种关系数据、对象数据、文本和网页等。 5 ) 捌l 在行业数据标准指定和数据交换中的应用。l 用于定义各种行业的数据标准， 例如，m a t h m l 定义了数学公式的表示和交流。利用x m l 的数据表示能力，制定交换的数据 格式标准，使各个遵守共同的x m l 格式的应用程序能进行数据交换。 2 3 4 相似重复数据检测介绍 随着企业信息化的逐步深入，企业数据管理已成为一个重要问题。为了支持正确决策， 就要求所管理的数据可靠，没有错误，准确地反映企业的实际情况。因此，企业数据质量 的管理正在获得越来越多的关注。目前，关于数据质量管理的研究主要集中在如何解决数 据集成过程中的模式冲突问题上，而对于数据实例层次上的数据质量问题关注较少。其中， 相似重复记录的检测和消除就是一个重要的问题。 相似重复记录( d u p l i c a t er e c o r d ) 是指一个现实实体可能由多个不完全相同的记录 来表示，由于表述方式不同或拼写等问题，而使d b m s 不能识别其为重复的记录。这些重复 的记录可能导致建立错误的数据挖掘模型，给后期数据的决策分析产生很大的影响。 目前，已经有很多学者对于关系数据库中的相似重复记录检测和消除问题进行了大量 研究，提出了很多比较好的解决方法，例如s n m 、n - g r a m 和c o s i n e 等。其中，s n m ( s o r t e d n e i g h b o r h o o dm e t h o d ) 是一个经典的针对于关系数据的重复检测算法，其性能和效率已经 得到了广泛认可。此算法包括以下三个主要的步骤 i s i k e y 的生成：k e y 是按照一定的规则从关系数据中抽取信息而得到的一个字符串。 例如：假设存在关系p a p e r ( t i t l e ，y e a r ) ，则可定义以下的k e y 生成规则：取t i t l e 的前 四个辅音字符，后接y e a r 的后三个数字。于是对于关系( d u p l i c a t ed e t e c t i o n ，2 0 0 6 ) l o 系统开发相关技术 的k e y 值为d p l c 0 0 6 。 排序：对第一步生成的所有k e y 按照指定的顺序进行排序。 重复检测：在逻辑上，好象把一个固定大小的窗口w i n d o w 在排序后的k e y 上滑动， 检测同时出现在该窗口的那些k e y 是否重复。设置窗口w i n d o w 的大小是为了控制同一时 间进行重复比较的k e y 的数量。窗口w i n d o w 的大小对于该算法的效率很重要，如果窗口 很小，那么运算速度会很快，但检测的结果会不理想；如果窗口很大，结果则相反。 另外，对于海量或多次重复更新的数据，我们可以通过设置多个k e y ，并为每一个关 系做多次的s n m 重复检测，从而提高检测结果的质量。 随着) ( i l 在数据交换和发布等领域的广泛应用，煳l 数据中的相似重复记录检测与消除 问题变得越来越重要。但是，目前的研究主要集中在关系数据的重复检测方面，而对于x m l 数据的重复检测问题关注较少，x m l 数据的相似重复检测问题已经成为数据清理研究的一 个新领域和难点。 本文第五章将提出一种s n m 的变异算法x s n m ( ) ( i i i ls o r t e dn e i g h b o r h o o dm e t h o d ) ，该 算法通过让一个逻辑上固定大小的窗口w i n d o w 在排序后的k 上滑动，并比较同一窗口中k 。 的相似度s i m 与阂值t 之间的关系，以达到检测相似x m l 重复记录的目的。理论分析和实验 表明这种方法可以有效的解决x m l 数据中相似重复记录的检测和消除问题。 西安理工大学硕士学位论文 3 系统分析 3 1 需求描述 3 1 1 概述 某钢管企业的质检中心负责对钢管的原料和成品进行多种质量检验( 包括机械性能试 验、夏比冲击韧性试验、d 盯t 试验、化学分析、金相检验、导弯试验、聚乙烯检验等) ， 产生单项质量检验结果，并生成各种检验单项报表。每个月需要产生原料和成品的生产统 计月报表和数据分析月报表。部门领导需要执行查询质检单项分析结果、检验不合格情况 以及班组考核等一系列操作。另外，质检中心还要求对班组信息、检验项目信息以及项目 范围信息进行管理。 为了克服质检中心工作量大、检验结果判定复杂、逻辑业务灵活多变、数据分析时间 过长等缺点，使质量检验过程变得更加高效、准确和快捷，我们受委托进行了本课题的研 究开发，在w i n d o ss e r v e r2 0 0 3 环境下实现了一个能够充分满足质检中心业务需求的质 检管理信息系统。 3 1 2 功能性需求 通过认真的调查研究，我们获得了质检管理信息系统的功能性需求： 质量检验人员可以录入检验信息。 质量检验人员可以修改检验信息。 质量检验人员可以查询检验信息。 质量检验人员可以输出质量检验单项报表。 数据分析人员可以生成、查询、修改及删除生产统计月报表。 数据分析人员可以生成、查询、修改及删除数据分析月报表。 部门领导可以查询质检单项分析结果。 部门领导可以查询检验不合格情况。 部门领导可以查询班组计件考核情况。 系统信息管理人员可以对检验项目范围的上下限进行设置。 系统信息管理人员可以对班组信息进行新增、删除、更新等操作。 系统信息管理人员可以对检验项目信息进行新增、删除、更新等操作。 3 1 3 非功能性需求 1 2 质检管理信息系统还应满足以下非功能性需求： 系统应向用户提供形象直观、操作简便的图形化界面。 系统分析 不同角色拥有不同的操作权限，如：不同类型的检验人员不能对其它类型的检验 进行操作 部分输入项目信息的选项要根据检验类型的不同而有所区别。 根据设黄的检验项目范围，核对检验数据是否正常，不正常则提出警告。 数据入库之前提示操作人员核对输入信息，确认后正式提交。 质量检验信息和数据分析结果的查询要在操作人员可接受的时间范围内得以实 现，达到系统的高性能。 3 2 需求分析 3 2 1 角色识别与描述 角色识别的任务是找出所有可能与系统发生交互行为，直接或间接地驱动系统用例的 外部实体和系统。通过对需求描述的分析，可以确定质检管理信息系统由以下四个角色组 成： 吴天吴吴 质量检验人员数据分析人员系统信息管理部门领导 人员 角色描述如下： 质量检验人员 描述：质量检验人员可以执行检验结果录入、检验结果修改、检验结果查询以及检验 报表输出等操作。 示例：各部门( 包括机械性能、夏比冲击、d w t t 、化学分析、金相) 的检验人员。 数据分析人员 描述：可以生成、查询、修改及删除生产统计月报表和质量分析月报表。 示例：负责数据分析的工作人员。 系统信息管理人员 描述：可以对检验项目进行范围的设置，并且可以执行检验项目信息管理、班组信息 管理的操作。 示例：负责管理系统信息的工作人员。 部门领导 描述：部门领导可以执行对质量分析月报表、生产统计月报表、质检单项分析、检验 不合格情况以及班组计件考核情况的查询操作。 示例：质检中心的主任及副主任。 1 3 西安理工大学硕士学位论文 3 2 2 用例识别与情景描述 在角色识别的基础上，我们采用阅读需求描述和分析问题域结合的方法，识别出分别 与质量检验人员、数据分析人员、系统信息管理人员和部门领导相关联的用例，同时识别 出用例与角色之间的关联，这些用例构成系统的全部用例。 与质量检验人员相关的系统用例有： 检验结果录入 本用例提供了将质量检验结果信息( 包括机械性能、夏比试验、d w 订、化学分析、金相等 信息) 录入到数据库的功能。 检验结果修改 本用例提供了对质量检验结果信息的修改以及删除的功能。 检验结果查询 本用例提供了对质量检验结果信息的查询功能。 检验报表输出 本用例提供了根据输入条件输出质量检验报表的功能。 与数据分析人员相关的系统用例有： 生产统计月报表生成 本用例提供了生成生产统计月报表的功能。 生产统计月报表查询 本用例提供了查询生产统计月报表并输出的功能。 生产统计月报表修改及删除 本用例提供了修改以及删除生产统计月报表的功能。 质量检验分析月报表生成 本用例提供了生成质量检验分析月报表的功能。 质量检验分析月报表查询 本用例提供了查询质量检验分析月报表并输出的功能。 质量检验分析月报表修改及