（计算机应用技术专业论文）面向数据集成的农村饮水工程信息管理系统研究开发.pdf

摘要 论文题目：面向数据集成的农村饮水工程信息管理系统研究开发 学科专业：计算机应用技术 研究生：周海鹏签名：! 虱垡! 刍 指导教师：张璨教授签名：；丝趁 摘要 饮水对人类的生活至关重要。饮水工程得到世界各国的高度重视，成为水务管理工作 的重点。为了改变饮水工程项目管理的手工作业方式，为农村饮水工程项目管理提供方便 实用的软件工具，为饮水管理部门进行快速决策提供科学依据，开展了本课题的研究开发。 根据实际需求，作者基于m i c r o s o f t n e t2 0 0 5 平台，分析、设计、编码实现了某省农 村饮水工程信息管理系统( r d w i s ) ，包括现状管理、规划管理、计划管理、项目管理、 数据对比、系统管理、数据预处理等软件模块，并进行了软件部署与维护。 针对本系统中存在的异构数据源问题，作者设计并实现了以e x c e l 为中间数据源的异 构数据集成软件，其中数据转换模块主要实现将e x c e l 数据转换为关系型数据，e x c e l 处 理组件主要提供用户对e x c e l 文件的操作功能。针对各地基层供水管理部门上报的数据不 规范问题，作者提出并实现了程序扫描与手工检查相结合的数据预处理方法。该方法通过 数据获取与数据处理两个阶段来完成数据预处理，提高了导入数据的质量，加速了数据处 理过程。本系统已投入实际运行，获得用户好评。 关键词：农村饮水工程信息管理系统；数据转换；数据预处理；数据对比；异构数据集 成 t i t l e ：r e s e a r c ha n dd e v e l o p m e n tf o r r d w i sb a s e do nd a t a i n t e g r a t i o n m a j o r - c o m p u t e ra p p l i c a t i o nt e c h n o l o g y n a m e = h a i p e n gz h o u s u p e r v i s o r ；p r o f j i n gz h a n g a b s t r a c t s i g n a t ur e 旦生翌乡 s i g n a t u r e ：址2 丝竺尹 d r i n k i n gw a t e ri se s s e n t i a lt oh u m a nl i f e d r i n k i n gw a t e rp r o j e c t sh a v eb e e np a i dm o r e a t t e n t i o nb yc o u n t r i e sa l lo v e rt h ew o r l da n db e c o m et h ef o c u so fw a t e r m a n a g e m e n t i nt h i s p a p e r ，t h er e s e a r c ha n dd e v e l o p m e n ti sc a r r i e do u tt oc h a n g et h es i t u a t i o nt h a t “n k i n gw a t e r p r 0 j e c t sa r em a n a g e dm a n u a l l ya n dp r o v i d eac o n v e n i e n ta n dp r a c t i c a ls o f t w a r et o o lt og e n e r a t e r a p i ds c i e n t i f i cb a s i sf o rd e c i s i o n - m a k i n g a c c o r d i n gt oa c t u a ld e m a n d ，r u r a ld r i n k i n gw a t e ri n f o r m a t i o ns y s t e m ( r d w i s lf o ra p r o v l n c e ，w h i c hi n c l u d es e c u r i t ym a n a g e m e n t ，s i t u a t i o nm a n a g e m e n t ，p l a n n i n gm a n a g e m e n t p r o j e c tm a n a g e m e n t ，d a t ac o m p a r i s o n ，s y s t e mm a n a g e m e n t ，d a t a p r e p r o c e s s i n ge t c ，i sa n a l y z e d ， d e s i g n e da n dc o d e db a s e do nm i c r o s o f t n e t2 0 0 5p l a t f o r m a l s o ，t h er d w i si sd e p l o v e da n d m a i n t a i n e d i n e wo ft h eh e t e r o g e n e o u sd a t as o u f c ci nt h i ss y s t e m ，ah e t e r o g e n e o u sd a t a i n t e g r a t i o n s o f t w a r ei sp r o p o s e d i ti n c l u d e sd a t ac o n v e r s i o nm o d u l et h a tc o n v e r t se x c e ld a t at or e l a t i o n a l d a t aa n de x c e lc o m p o n e n tt h a t p r o v i d e s n o n s t a n d a r dd a t aa ler e p o r t e db yf i r s t - l i n e m e t h o di sd e s i g n e da n di m p l e m e n t e d ，w h i c h u s e r sw i t hf u n c t i o n so fe x c e l o p e r a t i o n f o r m a n a g e m e n td e p a r t m e n t ，ad a t ap r e p r o c e s s i n g i n t e g r a t e dm a n u a lp r o c e s s i n gw i t hp r o c e d u r e st o s t a n d a r d i z ed a t a t h i sm e t h o d a c c o m p l i s h e st h ed a t ap r e p r o c e s s i n gt h r o u g hd a t aa c q u i s i t i o na n d d a t ap r o c e s s i n g 觚os t a g e s ，e n h a n c e sd a t aq u a l i t ya n da c c e l e r a t e st h ed a t a p r o c e s s i n g t h i s s y s t e mh a sb e e np u ti n t oo p e r a t i o na n dw e l lr e c e i v e db yu s e r s k e yw o r d s ：r u r a ld r i n k i n gw a t e ri n f o r m a t i o ns y s t e m ；d a t ac o n v e r t i n g ；d a t ap r e p r o c e s s i n g ； d a t ac o m p a r i s o n ；h e t e r o g e n e o u sd a t ai n t e g r a t i o n 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明：本人所呈交的学位论文是我 个人在导师指导下进行的研究工作及取得的成果。尽我所知，除特别加以标注和致谢 的地方外，论文中不包含其他人的研究成果。与我一同工作的同志对本文所研究的工 作和成果的任何贡献均已在论文中作了明确的说明并已致谢。 本论文及其相关资料若有不实之处，由本人承担一切相关责任 论文作者签名：圈鸱衅月，护日 学位论文使用授权声明 本人2 到盈垄绉在导师的指导下创作完成毕业论文。本人已通过论文的答辩， 并已经在西安理工大学申请博士硕士学位。本人作为学位论文著作权拥有者，同意 授权西安理工大学拥有学位论文的部分使用权，即：1 ) 已获学位的研究生按学校规定 提交印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生 上交的学位论文，可以将学位论文的全部或部分内容编入有关数据库进行检索；2 ) 为 教学和科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、 资料室等场所或在校园网上供校内师生阅读、浏览。 本人学位论文全部或部分内容的公布( 包括刊登) 授权西安理工大学研究生部办 理。 ( 保密的学位论文在解密后，适用本授权说明) 论文作者签名：2 司鸥导师签名： ! 墨殛 2q 。g 年弓月谚日 绪论 1 绪论 1 1 课题背景及意义 水是生命之源，饮水工程对人类生活至关重要，得到世界各国的高度重视。我国也投 入了大量的人力、物力实施饮水工程，用以改善人民的饮水质量，保证饮水安全。 某省地处内陆腹地，水资源短缺，人均占有量只有全国平均水平的5 0 ，有一半的农 村人口存在饮水不安全问题。自1 9 8 0 年以来，全省已投入2 5 亿元用于农村改水工程，这 些饮水工程项目有效的解决了一半农村人口安全饮水问题，如何有效管理这些饮水工程项 目已成为一个急需解决的问题。本系统未实施之前，这些饮水工程项目管理工作主要通过 手工方式进行，大量的项目信息通过人工方式进行输入、统计、分析、对比，且项目数据 信息都以e x c e l 文件形式保存，数据信息丢失、漏报、错报情况不断发生；信息的收集、 整理速度慢，准确性差，且产生的很多报表文件不符合统一的标准，造成了项目审批困难、 资金分配不合理等问题。为了解决这些问题，贯彻全国农村饮水安全工程“十一五 规 划精神，我们受委托开展了本课题的研究开发。 通过课题的实施，我们在w i n d o w s 环境下开发实现了农村饮水工程信息管理系统 ( r d w i s ) ，为农村饮水工程项目信息管理提供了方便实用的软件工具；为有关领导进行 饮水工程项目的快速决策提供了科学依据；对于加速水利事业的现代化、信息化进程，改 善人民的饮水质量，保证饮水安全具有重要的现实意义。 1 2 国内外发展动态 1 2 1 国内外饮水工程信息管理系统发展动态 很多发达国家的管理机构和企业，在政府支持下开发了许多饮水工程信息管理系统。 2 0 0 4 年1 2 月，澳大利亚健康与医疗委员会( n h m r c ) 出台饮水管理指导方针，明 确了饮水工程管理的框架。2 0 0 6 年3 月该委员会还发布管理软件“c o m m u n i t yw a t e r p l a n n e r 来协助当地的饮水工程管理工作，有关机构可裁剪该系统来满足自身的饮水工 程管理需求。 美国为加强饮水管理，于1 9 9 6 年通过安全饮水修订法案建立了d r i n k i n gw a t e rs t a t e r e v o l v i n gf u n d ( d w s r f ) 。受d w s r f 基金支持的饮水信息管理系统t h en a t i o n a l i n f o r m a t i o nm a n a g e m e n ts y s t e m ( d w n i m s ) 已于19 9 7 年投入运行。该系统每年从各个州 收集饮水工程信息，并对这些数据信息进行整理和分类汇总，这样不仅能够将这些数据信 息以一种有效的格式保存，还可以为饮水需求分析提供依据。 西安理工大学硕士学位论文 美国各州也相继采用了适合当地的饮水信息管理系统来规范化水务信息工作。例如美 国的密歇根州信息技术部、环境质量部、自然资源部合作开发的m i c h i g a ns u r f a c ew a t e r i n f o r m a t i o nm a n a g e m e n t ( m i s w l m ) s y s t e m 就是一个基于地图的交互系统，该系统允许用 户以可视的方式查看密歇根州的地面水情况以及各地区的饮水信息情况。用户还可以下载 该地区的饮水信息数据。 德国水资源规划及系统研究院很早就开始了饮水工程管理系统的研究与开发工作，其 开发的a r c w f d 是以a r c g i s 为基础开发的信息系统，主要用于区域的饮水管理和规划、 可持续发展控制，以及地表水的生态环境控制，它能处理与流域管理相关的所有地表水和 地下水空间表象信息，即可用于客户服务系统( a r c s d e ) ，也可通过m sa c c e s s 数据库来 为工作组服务。a r c w f d 既为跨机构地理信息数据服务提供解决方案，也可以为基于m s a c c e s s 数据库：【作的单一用户或工作组提供解决方案。基于a r c w f d 目标模拟的特殊应 用软件( 如：信息收集、分析和编辑工具) 可使用户轻易获得必要信息，为用户有效地管 理所有与流域管理有关的重要任务提供支持。 近年来，我国开始重视饮水工程项目的管理工作，一些饮水工程管理系统随之诞生。 由于城市经济发展比较快，水利行业的信息化管理首先在城市发展起来。2 0 0 1 年张行 南教授【i i 等人为上海多个中心城区研制了水务信息管理系统，该水务信息管理系统可实现 对数据资料的直接查询和检索、条件查询和检索、统计分析、各种专题图制作等功能。 有很多的供水企业还开发了网络化的水费管理系统1 2 1 ，借助于强有力的信息处理工 具，实现了信息在企业、人和机器之间的流通，使得水费业务管理更加高效、快捷。已经 建设完成的福建省水政水资源信息管理系统1 3 i 主要涉及水资源管理和水政管理两项业务。 2 0 0 4 年，国家农业信息化工程技术研究中心和北京市水务局合作了北京市农村安全饮 水信息化管理平台的总体设计，并进行了开发工作【4 l 。北京市农村安全饮水信息管理系统 的开发为其他地区建立类似的信息管理系统提供了一个样板，对促进其他地区实现饮水工 程的信息化管理具有极其重要的意义。 2 0 0 5 年水利部办公厅发出了“关于做好农村供水管理信息系统建设与管理的通知 ， 推动了农村饮水工程信息化管理的快速发展。 2 0 0 6 年，由滨州市水利局与山东大学合作的课题农村饮水安全工程建设与管理模式 研究通过专家组鉴定，该课题针对滨州市饮水安全现状，饮水安全存在的问题进行了系 统的分析，提出了适合农村饮水安全的工程管理模式并应用v b 及m a p g i s 开发了农村 饮水工程信息管理系统，实现了农村饮水工程建设和实施管理的信息化、智能化和可视化， 为农村饮水工程建设和科学管理提供了现代化的平台。 2 0 0 7 年，晋中市农村饮水工程管理系统投入运行，系统建立了全市农村饮水工程建设 管理网络图，可准确掌握各村庄的供水现状( 水源类型、供水方式、管理模式等3 0 项内 容) ，同时具有强大的输入、查询、统计等功能，大大提高农村饮水工作效率，为农村饮 水工程的建设管理及领导决策、科学合理规划提供准确高效的信息服务。随着国家对农民 2 绪论 生活的关注和农民生活水平的提高，对农村饮水工程的信息化管理成为下一步水务工作的 重心。 1 2 2 国内外数据集成发展动态 随着计算机技术和网络技术的飞速发展，许多行业、单位或机构、部门内部实现了业 务、信息的计算机化处理。但是，由于其内部处理的业务规则、对象不同，往往根据自身 的需要构建很多相互隔离的应用，为这些不同应用服务的信息存储在许多不同的数据源 中。这些不同系统的数据源无法直接进行集成，造成数据大量冗余且系统间无法实现数据 共享。如何将这些有用的数据整合起来，为系统之间提供数据共享成为一个需要解决的问 题。为了解决这些问题，人们开始了异构数据集成系统的研究。研究的重点在于确立一个 具有普遍意义的，可操作性强的分布异构数据源的集成方法| 5 l 。 早在7 0 年代中期就已经提出了多数据库的集成问题。开始采用全局模式的数据集成方 法。对这种模式的研究主要集中在物理上分布，逻辑上集中的系统结构，系统中有个全局 的数据模式，这种模式的系统中各个节点缺少自治性，难以管理和集成。后来m c l e o d 等 人提出f d b s ( f e d r a t e dd a t a b a s es y s t e m ，联邦式数据库系统) 的概念【6 】，是由参与联邦 的半自治的数据库系统组成，目的是实现数据库系统间部分数据的共享。具有代表性的多 数据库系统有美国普度大学开发的i n t e r b a s e l l l 和h p 公司丌发的p e g a s u s 【8 1 。国内的有东北大 学开发的p o l y b a s e l 9 1 以及北京理工大学开发的u u h d b 系统等 19 9 6 年a l o nh a l e v y 、a n a n dr a j a r a m a n 、j o a n no r d i l l e - - - 人合著的论文( ( q u e r y i n g h e t e r o g e n e o u si n f o r m a t i o ns o u r c e su s i n gs o u r c ed e s c r i p t i o n s ) ) ll o l 发表在v l d b 国际会议上。 这篇论文详细描述了数据集成方案i n f o r m a t i o nm a n i f o l d ，该集成方案与其他同类的工程极 大地促进了数据集成的发展，并导致了一系列数据集成系统商业产品的诞生。 随着各种分布式应用系统的出现和网络的飞速发展，为了实现数据资源的有效利用以 及系统间信息的高度共享，同时降低系统的建设和维护代价，多数据库系统已经无法满足 人们从多个系统获取数据资源的需要，人们开始更多的关注与多数据源的集成l 。在异 构数据源的集成中，不仅要集成规则的数据，还需要集成半结构化”2 】和无结构化的数据； 不仅要将现有的数据集成起来，还要使得系统方便的加入最新的数据，从而进行系统数据 的更新。在这种数据集成方式中，如何将分布于不同应用中的数据集成起来，并向用户提 供一个统一的数据访问接口以方便使用成为一个需要解决的难题。而且，如何以一种统一 的数据模式描述各数据源中的数据，以此来屏蔽它们的平台、数据结构等差异性，实现数 据的无缝集成成为异构数据源集成系统的关键。 近年来，随着x m l 技术的成熟和发展，它已经成为i n t e r n e t 上数据表示与交换标准， 数据集成的重点也发生了转移，出现了很多以x m l 为中间数据源的数据转换模型。美国 政府在1 9 9 8 年通过o p a l 计划开始支持的y a t ( 基于中间件的信息集成系统) ，在2 0 0 0 年， 西安理工大学硕士学位论文 该系统的研究以基于x m l 中问件信息集成系统为主。其中v c h r i s t o p h i d e s ，s c l u e t 等人主要研究了以x m l 集成视图对异构数据的包装和查洵，并提出了相应的代数体系结 构。w i s c o n s i n 大学和毋ma l m a d e nr e s e a r c hc e n t e r 共同研究和实现了x p e r a n t o 中间件 系统l l 引。m a r y l a n d 大学研究了基于x m l 代码自动部署和数据交换m o c h a 中间件。在国内， 万常选等人开发了x r e s t o r e 中间件系统，支持x m l 文档在关系数据库中的存储和查 询，该中间件只针对无模式的x m l 文档进行存储和查询，且只支持细粒度的存储方法| l 引。 为了解决数据源之间的语义异构问题，近几年来，人们开始使用本体( o n t o l o g y ) i j 这 种表达较强概念语义的工具。比较著名的项目有：芝加哥大学提出的本体集成框架l m l 和 美国i l l i n o i s 大学c w 曲p r o j e c t 项目州。 1 3 主要研究开发内容 1 3 1 理论研究 作者在理论方面学习研究了以下内容： n e t 环境下的分布式w e b 应用系统架构，包括n e tf r a m e w o r k 框架，模块设计原则 等。 异构数据集成技术，主要包括数据转换技术，数据预处理技术。 1 3 2 软件开发 分析、设计、编码实现了陕西省农村饮水工程信息管理系统，包括现状管理、规划管 理、计划管理、项目管理、数据对比、系统管理等软件模块，并进行了软件部署与维护。 针对系统中存在的异构数据源问题，设计并实现了以e x c e l 为中间数据源的异构数据 集成软件，并应用于本系统中。 1 4 论文主要内容及结构 第一章是系统概述。 第二章详细介绍了数据集成的概念、数据集成的难点以及各种数据集成方案。 第三章对r d w i s 进行了详细的需求分析，包括角色分析、用例建模以及静态模型的 建立。 第四章从实现角度详细讨论了整个系统的开发运行环境、模块划分、系统体系结构、 支撑网络结构和典型子系统的实现。 第五章对系统中的数据预处理进行了详细的讨论分析并给出了部分实现代码。 4 绪论 第六章是系统运行情况分析。 5 西安理工大学硕士学位论文 2 数据集成技术 2 1 数据集成概念 数据集成是把不同数据来源、格式、特点、性质的数据在逻辑上或物理上有机地集中， 作为一个整体数据源为用户提供全面的、透明的数据访问l l 。图2 1 为一般数据集成系统 的模型。 匐 j h 户 数据源1数据灏2 数据源n 图2 - 1 数据集成系统模型 f i g 2 - 1 m o d e lo f d a t ai n t e g r a t i o n 数据集成是把焦点放在用户获取他们需要的数据上，而不注重用户知道以怎样的方式 获取他们想要的数据。数据集成为该系统的所有数据源提供一个统一的视图。由此可见， 数据集成不是数据或数据载体的简单堆积，而是为了在正确的时间，将正确的数据以正确 的方式传给正确的人或机器，以做出正确的决策或操作。 数据集成的难点在于各种异构性| 1 8 l ，主要有： 平台异构，主要包括1 1 9 】： 计算机体系结构异构：系统内各数据库可能运行于大型机、小型机、工作站、p c 机或嵌入式系统中。 操作系统异构：系统内各数据库所运行的操作系统可以是w i n d o w s 、u n i x 、l i n u x 世 寸o 数据库管理系统异构：系统内各成员数据库可以是关系型数据库系统，如s q l s e r v e r 、o r a c l e 、s y b a s e 等，也可以是其它数据模型的数据库，如模式、层次、网络 和面向对象等。 6 数据集成技术 语义异构：系统内的各个成员数据库是独立创建的，所以每个成员数据库都有自 己对信息的描述方式。同一个数据字段在不同的数据库中可能表示不同的意思，尤其 在实际应用中，经常出现同一字段描述不同意义的情况。 语法异构：系统内的各个成员数据库之问数据类型、数据格式方面的差异。例如， 不同数据库对日期型字段的表示方式不同，在一个成员数据库中用“m m d d y y y y ”格 式表示同期，而在另一个成员数据库中用“y y y y - m m d d ”表示r 期。又如，整数类型 数据在s q ls e r v e r 中用“n t ”表示，而在o r a c l e 中用“i n t e g e r 表示。 模式异构：数据源存储模式不同。一般的存储模式包括关系模式、对象模式、对 象关系模式和文档嵌套模式等。在处理这种异构时还需要考虑即便是同一类存储模 式，它们的模式结构可能也存在着差异。 在实际数据集成系统中，不仅需要解决上述异构方面的问题，还面临着数据的完整性 和语义冲突等问题。在实际应用中这些问题往往是互相制约、互相联系的，所以一般不能 孤立解决这些问题，通常需要对这几方面综合考虑。 2 2 数据集成方案 2 2 1 基于数据转换的数据集成方案 对于异构的数据库系统，要实现数据共享应当注意两点，一是实现数据转换，二是实 现数据的透明访问 2 0 l 。在数据的转换过程中，不能将原来的数据废弃，必须将其通过有 效方式转换到新系统中去，继续发挥其作用，以达到资源的有效再利用。然而，由于数据 的表示形式以及存储模式的多样性，造成了数据转换的复杂性。 目前数据的转换方法主要有以下几种1 8 殂t 3 j 1 ) 基于数据库管理系统的转换方法。数据库管理系统一般都提供将外部文件数据转 移到本身数据库表中的数据装入工具。例如s q ls e r v e r 提供的b c p ，b u l ki n s e r t 等实 用工具都可以将很多类型的数据转换成s q ls e r v e r 关系型数据库所能处理的数据。利用这 些软件工具可简单、快速地实现数据转换。但这种数据转换程序是特定的、专用的，要求 目的数据库必须是转换工具对应的数据库，且多用手工方式进行转换，数据更新时会带来 不同步的问题，即使人工定时运行转换程序也只能达到短期同步，对应转换的数据库类型 也不多。 2 ) 基于中间数据的转换方法。在两个具体的数据库之间实现数据转换时，需要依据 对关系的定义，首先从源数据库中提取出数据，并将其转换为中间数据格式，最后再将中 间数据写入目标数据库中。这种转换方法所需的转换模块少，且扩展性强。但是实现过程 复杂，所需要的转换空间很大。 3 ) 利用专门的数据转换工具。随着x m l 使用的日益广泛，它已成为一个数据交换的 7 西安理工大学硕士学位论文 标准，目前已经开发出许多通用的数据转换工具来进行此类转换。例如由d a t aj u n c t i o n 开发的x m l j u n c t i o n 允许映射、集成1 0 0 多种遗留的数据系统。支持文本文件、i s a m 、 c o r b o l ，e x c e l ，f o x b a s e ，w o r d ，e d i ，i n f o r m i x ，s q ls e r v e r ，r t f ，s g m l ，o r a c l e ， d b 2 、s y b a s e 等多种数据格式的转换。 2 2 2 基于中间件的数据集成方案 中间件系统的主要组件是中间件以及和每个数据源相对应的包装器。中间件位于异构 数据源和应用程序之间，向下协调各数据源系统，向上为访问集成数据的应用提供统一的 数据访问模式和数据访问的通用接口f 2 4 1 。中间件在系统中的主要功能是： 接收用户的全局查询请求。 依据查询语句中对数据源的描述，将查询分解为针对单个数据源的子查询语句。 依据对数据源的描述进行查询优化。 将子查询语句发送至每个数据源所对应的包装器，包装器再将所接收到的子查询 语句转化为本地数据库系统可以识别的查询语句，执行查询操作。最后，中间件系统 将每个包装器的查询结果合并为最终的结果集发送给用户。 s o u r c e 2 图2 - 2 中间件数据库系统1 2 4 1 f i g 2 - 2 t h ed a t a b a s es y s t e mb a s e do nm i d d l e w a r e 中间件系统屏蔽了异构数据源的物理位置、数据库管理系统方面的差异，为用户提供 了一个高层的抽象使得用户对数据的使用更加方便。在此系统中，各数据源仍然完成它们 的任务，中间件系统则主要集中为异构数据源提供一个高层次检索服务。 2 2 3 基于e x c e l 的数据集成方案 8 数据集成技术 目前大多数数据集成方案采用x m l 作为中间数据源的数据交换技术，以x m l 作为 索引和非索引数据的查询语言。这些方案需要预先定义数据大纲，然后把定义好的大纲映 射为数据库中的表或者字段，再将对应的以x m l 格式保存的数据映射到数据库中。这种 方法较好的解决了异构数据集成中的很多问题，但实现比较复杂，转换效率不高，对于小 型企业或者数据结构复杂易变的系统，数据结构的微小变动都会引起数据大纲定义的改 变，这样就增加了转换的代价。目前很多办公自动化中产生的数据文件大多采用m i c r o s o f t e x c e l 的形式保存，在很多情况下都需要将表格信息追加到其它标准数据库中以便于数据 的集中处理。许多的数据库管理系统大都支持数据以e x c e l 文件的形式导入导出。 根据用户的应用软件环境以及数据转换的需求，作者设计并实现了一种将e x c e l 作为 中间数据格式，专门针对小型企业、机构的综合数据集成方案，该方案采用三层体系结构， 如图2 3 所示。 图2 3 基于e x c e l 的异构数据集成方案 f i g 2 - 3 t h ed a t ai n t e g r a t i o na r c h i t e c t u r eb a s e de x c e l 此方案以用户熟悉的e x c e l 报表格式为中介，实现来自全省各地的异构数据集成，使 得客户端( 用户、网页、代理) 可以直接执行数据的操作，而不用关心其异构数据源的数 据格式和结构。在实现方面，由于采用了e x c e l 作为中间数据格式，将源数据转换为目标 数据时更加简单，转换代价小，转换效率高。 9 西安理工大学硕士学位论文 3 系统分析 3 1 需求描述 3 1 1 概述 本项目的实施主要是为了更加科学、规范、灵活、快捷的管理各种农村饮水工程项目 的建设信息。其管理业务流程如下：省水利厅根据国家计划制定出本省的五年规划后将其 分别下达至各地市，各地市相关部门接收到规划后制定项目的具体实施计划，其内容包括 该项目的建设类型、建设年度、投资金额、解决人数、建设地点，之后向上级职能部门申 报。水利厅管理人员依据以前该地市的项目建设情况记录来决定是否批准此次投资，或者 对项目建设内容进行部分修改后下发至地市，由地市监督项目的具体实施。在具体实施过 程中还需要水利厅工作人员进行项目跟踪，并将项目的最终信息保存，以备后期核查。 同时，本系统需提供文件的共享功能，以便于各部门问信息的交流。数据对比也是本 系统非常重要的一个功能，它为职能部门领导对项目是否批准提供决策性依据。 基于这个流程，我们进行了深入的调查分析，得到了农村饮水工程信息管理系统 ( r d w i s ) 的基本需求。 3 1 2 功能性需求 l o r d w i s 的功能性需求如下： 系统登录 现状文件上传 现状数据转换 现状项目数据信息的查询、修改、删除 规划文件上传 规划项目信息录入 规划数据转换 规划项目数据信息查询、修改、删除 生成全省统计汇总 地市上报文件上传 地市上报数据转换 地市上报项目信息录入 地市上报项目数据信息查询、修改、删除 上报计划处文件上传 系统分析 上报计划处数据转换 上报计划处项目信息录入 上报计划处项目数据信息查询、 发改委下达文件：传 发改委下达数据转换 发改委下达项目信息录入 发改委下达项目数据信息查询、 可研文件上传 可研数据转换 可研项目信息录入 修改、删除 修改、删除 可研项目数据信息查询、修改、删除 共享文件上传、查询、删除、下载 单个项目数据对比 成批项目数据对比 添加新用户、删除用户、修改用户以及用户更改密码 添加新角色、删除角色、修改角色 帮助文档和联系我们 根据上述r d w i s 的功能性需求，得到r d w i s 的功能模块结构图，如图3 1 所示。 图3 - 1r d w i s 功能模块图 f i g 3 - 1 t h ef u n c t i o nm o d u l e sd i a g r a mf o rr d w i s o 西安理工大学硕士学位论文 3 1 3 非功能性需求 根据与用户的交流，r d w i s 还应满足以下非功能性需求： 用户操作界面美观、操作方便。 为降低硬件投资，将应用服务器和数据库服务器部署于同一台机器上。 通过n e t 的异常处理机制来解决用户的例外操作问题。 解决系统运行中存在的黑客攻击、拒绝服务、非授权访问、窃取口令、假冒攻击 等一系列问题。 系统运行中需要进行远程数据转换，为了保证操作安全，提高操作性能。转换代码 采用存储过程实现。在与数据库交互的地方，尽量减少硬编码以使业务逻辑和数据操作相 分离。 在进行数据转换之前需要对数据有效性进行验证，对不合格的数据给用户以提示， 以此来保证本系统数据的证确性和可靠性。 3 2 需求分析 3 2 1 角色识别与描述 角色识别的任务是找出所有可能与系统发生交互行为、直接或问接地驱动系统用例的 外部实体和系统，即系统中的参与者。通过对需求描述的提炼，我们发现系统中的参与者 包括三大类：系统用户、与所建造的系统交互的其他系统和一些可以运行的进程。从参与 者以及需求描述中得知r d w i s 的角色共有三个：科员、地市工作人员和系统管理员。如 图3 2 所示。 qqq ，、，7 7 、 ，一 、 科员地市工作人员系统管理员 1 2 图3 2r d w i s 中的角色 f i g 3 - 2 t h er o l e so fr d w i s 下面描述这三种角色： 科员 描述：科员作为职能部门的工作人员，直接参与业务活动。包括项目数据信息的转 换、项目数据的维护、项目数据的对比分析以及共享文件的上传，下载等功能。 示例：科室( 综合科、财务科、乡村科、城镇科) 工作人员。 地市工作人员 系统分析 描述：地市工作人员作为项目的具体实施人员，需要将项目数据信息及时上报至上级 管理部门，同时需要保证上报数据的准确性。具体的上报方式可以采用成批上报或者 单个录入的方式。 示例：各地市的负责人。 系统管理员 描述：主要负责系统信息的维护工作，包括系统用户信息维护，角色的维护，系统共 享文件的整理，用户的授权等工作。 示例：负责信息系统的工作人员。 3 2 2 业务流程分析 在角色识别的基础上，需要采用阅读需求描述和分析问题域结合的方法，对系统的业 务流程进行分析设计。在经过深入的调查后，依据需求分析，作者抽象出整个系统的业务 流程如图3 3 所示。整个系统的业务流程分为四个阶段：身份验证阶段、数据导入阶段、 项目数据管理阶段和项目数据对比阶段。 身份验证阶段：由于本系统中的数据属于保密数据，安全性尤为重要。在进行系统 相关操作前首先需要确认身份。具体验证方式是在传统用户名和密码的模式下加入了加密 机制，使得系统的使用更加安全可靠。 数据导入阶段：本系统使用的数据主要来源于地市主管部门的上报数据，上报主 要采取两种方式：成批录入和单项录入方式，本阶段着重讨论成批录入方式。成批的数据 文件以e x c e l 形式保存，需要将其转换为关系型数据库可管理的有效数据。由于e x c e l 的灵活多样性，使得其数据也很不规范，所以在进行数据转换之前，需要对其格式进行校 验，通过校验的文件才允许导入数据库。对于不合格文件，系统需要给用户提供修改说明， 以便用户再次修改导入。 项目数据管理阶段：本阶段主要处理已保存至关系型数据库中的数据，主要包括 数据的查询、修改、删除操作。是通过人工的方式保证本系统中的数据准确、规范、无误。 项目数据对比阶段：通过需求分析得知，上级职能部门在每次项目批准之前需要 根据以前年度项目的投资建设情况来决定本次投资建设，项目数据对比就是为领导提供决 策依据。对比的方式可以采用两种方式进行：成批项目数据对比和单个项目数据对比。 1 3 西安理工大学硕士学位论文 3 2 3 用例模型 1 4 图3 - 3r d w i s 业务流程图 f i g 3 - 3 t h eb u s i n e s sf l o wc h a r tf o rr d w i s 用例模型描述了角色、用例、角色与用例之间的关联，以及用例之间的关系。在角色 系统分析 识别与描述、业务流程分析的基础上，得到了本系统的用例模型如图3 4 、图3 5 所示。 共享文件 ：传 共享文件下载 数据验证 图3 _ 4 信息管理用例模型 f i g 3 - 4t h eu s ec a s ed i a g r a mo fi n f o r m a t i o nm a n a g e m e n t 从图3 4 的信息管理用例模型中，可以得到信息管理的用例如下所示： ( 1 ) 登录 本用例为用户使用本系统的入口，提供身份认证的功能。 ( 2 ) 数据文件上传 本用例为系统用户提供上传项目数据文件的功能。 ( 3 ) 检索项目 本用例为系统用户提供检索关系型数据库中项目数据的功能。 ( 4 ) 修改项目 本用例为系统用户提供修改关系型数据库中项目数据的功能。 ( 5 ) 添加项目 本用例为系统用户提供单个项目数据的录入功能。 ( 6 ) 单个对比 本用例为系统用户提供将单个项目对比已有项目数据的功能。 ( 7 ) 成批对比 本用例为系统用户提供将成批项目对比已有项目数据的功能。 1 5 毒一 、) 、， 一毫小 未罗一。二鳗 、 小矧 未“一 西安理工大学硕士学位论文 1 6 ( 8 ) 结果导出 本用例为系统月j 户提供将对比结果导出至客户端的功能。 ( 9 ) 数掘导入 本用例为系统用户提供将数据文件以成批方式导入至关系型数据库的功能。 ( 1 0 ) 数据验证 本用例为系统用户提供将数据文件导入数据库前的有效性验证功能。 ( 1 1 ) 共享文件上传 本用例为系统用户提供将共享文件上传至服务器端的功能。 ( 1 2 ) 共享文件下载 本用例为系统用户提供将共享文件下载至客户端的功能。 () 、 ，一一、删除角色一一、t ：7 、7 添j j u 角色：i h d u d e q ? c | u d e 乏乏吵陆磊碓寥改角色添j j u 角色夕硒u d e 尹9 飞、 孙d 唑” o 泰r 、( 、p - - - ，) 添) j u m p ( 一、，、 用户授权 、 图3 - 5 系统管理用例模型 f i g 3 - 5t h eu s ec a s ed i a g r a mo fs y s t e mm a n a g e m e n t 从图3 5 的系统管理用例模型中，可以得到系统管理的用例如下所示： ( 1 ) 登录 本用例为系统管理员提供进入系统的身份认证功能。 ( 2 ) 添加角色 本用例为系统管理员提供动态添加角色的功能。 ( 3 ) 删除角色 本用例为系统管理员提供删除角色的功能。 ( 4 ) 修改角色 系统分析 本用例为系统管理员提供修改角色的功能。 ( 5 ) 用户授权 本用例为系统管理员对使用本系统人员分配权限的功能。 ( 6 ) 修改用户 本用例为系统管理员修改使用本系统人员基本信息的功能。 ( 7 ) 删除用户 本用例为系统管理员删除使用本系统人员的功能。 ( 8 ) 添加用户 本用例为系统管理员添加使用本系统人员的功能。 3 3 静态模型 通过进一步分析系统需求，发现类与类之间的关系，确定它们的静态结构和动态行为， 是面向对象分析的基本任务。本系统的静态结构模型主要用类图和对象图描述。 3 3 1 分析类的确立 类是面向对象系统中最基本的组成元素。它描述了一类对象的属性和行为。在识别类 时，要对问题域进行仔细深入地分析，抽象出问题域中的概念，定义其含义及相互关系从 而抽象出系统中的类。 a 确定实体类 实体类是模拟必须被存储的信息和关联行为的类，主要是数据管理和业务逻辑处理层 存在的类。实体对象是实体类的实例，主要职责是存储和管理系统内部的信息，也可以有 行为，但这些行为必需和它所代表的实体对象密切相关。它们通常是持久的。实体类通常 是独立于它们的环境【7 川。通过对r d w i s 的分析，得到了系统中的实体类。由于篇幅有限， 以下只列出部分实体类： 表3 - 1 系统实体类 t a b l e3 - 1 e n t i t yc l a s so fs y s t e m 篓纛篡嚣翼酒器嚣篡篡l 鬟荔墨薏薹耋塞篡荔辫藻麓鬻鬣薹菱篓懑 用户登录信息用户名、密码 文件名、文件保存路径、文件分类、文件上 文件信息 传时间、上传者等 用户授权信息用户i d 、角色值、所属分组 b 确定界面类 界面类处理系统环境与系统内部之间的通信，它们代表了系统和系统外的一些实体之 间的接口，并将系统与系统环境中的变化隔离起来【2 列。通过对r d w i s 的分析，得到了系 1 7 西安理工大学硕士学位论文 统中的界面类。由于篇幅有限， 以下列举出部分界面类： 表3 - 2 系统界面类 t a b 3 - 2i n t e r f a c ec l a s so fs y s t e m 瓣鼹i 象慧鬟嚣颡麓鼯磁- l ：r - - 慧篓纛篡纛i鬟曩纛：畿i 嚣i 泳连鞲氯i 藓鬟篡嚣毳誊嚣 系统登录界面用户身份认证 项目数据文件上传、数据校验、查看日志、数 现状管理成批录入界面 据导入等 单个项目录入界面输入项目信息、提交项目信息、放弃等 项目数据管理界面项目数据检索、项目数据删除 项