基于数据挖掘技术的施工材料成本管理系统的设计与实现---优秀毕业论文 参考文献 可复制黏贴.pdf

硕士学位论文 （工程硕士） 基于数据挖掘技术的施工材料成本管理系 统的设计与实现 the design and implementation of construction materials cost management system based on data mining technology 李东辉 2007 年 6 月 国内图书分类号：tp311 国际图书分类号：621.3 工程硕士学位论文 基于数据挖掘技术的施工材料成本管理系 统的设计与实现 硕 士 研 究 生： 李东辉 导师： 姜守旭副教授 副导师： 潘擎宇高级工程师 申 请 学 位： 工程硕士 学 科 、 专 业： 软件工程 所 在 单 位： 软件学院 答 辩 日 期： 2007 年 6 月 授予学位单位： 哈尔滨工业大学 classified index：tp311 u.d.c.: 621.3 dissertation for the masters degree in engineering the design and implementation of construction materials cost management system based on data mining technology candidate： li donghui supervisor： associateprof. jiang shouxu associate supervisor： sr. engineer pan qingyu academic degree applied for： master of engineering speciality： software engineering affiliation： school of software date of defence： june, 2007 degree-conferring-institution： harbin institute of technology 哈尔滨工业大学工程硕士学位论文 摘要 随着建筑企业信息化改革的深入进行，当前建筑施工企业所面临的一个 重要问题是如何有效地控制材料的成本。施工材料成本占用了整个施工成本 的 60-70%， 提高施工质量成为企业能否在激烈的市场竞争环境下获得生存和 发展的基础。然而在目前的建筑企业施工材料分析中，多数侧重于材料数据 的管理和汇总，或者是对数据进行简单的统计分析。这些分析方法在面对日 益庞大的材料成本管理数据库时，往往难以高效、深入地提取其中对决策有 意义的信息。 本文针对企业的材料管理做了以下几个方面的研究： 首先，分析了施工企业材料成本管理的现状。 接着，对原始的施工材料成本系统的功能、性能需求，业务流程，数据 库与数据结构关系设计进行了研究，在此基础上提出了基于数据挖掘技术的 施工材料成本管理系统的需求，功能结构设计，业务需求，以此设计出数据 仓库的六个主题分析。 根据已经设计好的数据仓库主题分析，以数据挖掘为基本的理论基础， 结合建筑施工企业行业的具体特点，将关联规则技术运用于对材料成本数据 的分析之中。最后运用关联规则技术研究对材料成本主题进行分析，考虑其 中影响因素（如材料使用量、单价、材料损耗率，材料可替代性等）之间的 关联关系，并且使用一定的度量指标（如支持度、可信度等）来具体量化这 种关联关系。为了实现更高效的挖掘分析，运用聚类技术对原始数据进行了 离散化的处理；最后运用关联规则算法对材料数据集进行频繁集搜索和强关 联规则生成，并且对结果进行相关性检验，消除结果中可能存在的误导性， 保证了挖掘结果的准确。通过上述实际操作，实现了关联规则挖掘技术与施 工材料成本分析的有效结合。本文以具体的实例展示了数据挖掘的过程。根 据最终所挖掘出来的关联关系，管理人员可以对材料成本的关联特征有准确 的判断和把握，从而进一步做出相应的施工策略。 最后，介绍了系统实现所用的软件技术的特点，重点介绍了系统实现的 几个关键的技术环节的实现细节、系统的典型运行界面，描述了施工材料管 理系统的实现情况以及软件系统实施后所产生的效果。 关键词关键词 建筑施工材料管理；数据仓库；数据挖掘；关联规则；聚类分析 - i - 哈尔滨工业大学工程硕士学位论文 abstract with in-depth reform of construction enterprise information ， the construction enterprises are facing a urgent problem， how to control the cost of materials effectively， and improve construction quality of the enterprises，it is the key for construction enterprise to survive and develop in market competition environment. however， the most analysis of the construction enterprises construction materials， focused on the material data management and matrix， or on the simple data analysis. when construction enterprises make decision base on some meaningful information from the increasing database of materials management， it is difficult for these analysis methods to finish it efficiently. aim at the management of material management, some researches is done in this paper: the first,some question includes the status of material costs and management. the second,the function and performance requirements of construction materials cost system are analyzed， and some research are carried out on business process、database and relation of data structure in this system for a construction enterprise. on this basis of the above analysis and research， some documents includes requirement、 functions and structural design are raised， and thereby the six thematic analysis on data warehouse were designed for this system. according to designed theme analysis of data warehouse， basing on basic data mining theory， combining with features of construction enterprises， data mining association rules technology is applied to the analysis of material cost data. in addition， considered the association relation in the middle of the cost factors (such as material usage 、 price 、 material loss rate ， materials substitutability， etc.)， and quantified concretely this association relation by using the certain metrics (such as support， reliability， etc.)， the theme of the material cost is analyzed by using data mining association rules technology. to integrate original data and various affecting factors in this paper， the data - ii - 哈尔滨工业大学工程硕士学位论文 warehouse which analysis construction of a material cost is built； to achieve more efficient excavation， the original data is disposed discretely by using clustering technology； is searched like frequent sets search by using association rules algorithm， it generates frequent strong association rules， and ensure the accurate mining results which is related test， and eliminated possible results misleading. through the above actual operation， it is implemented to integrate between association rules mining and construction materials cost analysis effectively. this paper related to specific examples demonstrates the process of data mining. depending on this association relation through data mining eventually， managers can make corresponding construction strategies by grasping and judging associated features of material costs accurately. finally， the features of software technology is described in this system， includes several implementation details of the key technical aspects， typical operating interface of system ， the realization of construction materials management system and the effect which the software system is running. keywords construction materials management， data warehouse， data mining， association rules，cluster analysis - iii - 哈尔滨工业大学工程硕士学位论文 目录目录 摘要. i abstractii 第 1 章 绪论.1 1.1 课题的来源和背景.1 1.1.1 课题背景 .1 1.1.2 课题目的及意义2 1.2 课题研究综述 3 1.2.1 数据仓库 .3 1.2.2 数据挖掘 .4 1.2.3 我国建筑施工材料成本管理方法和管理模式的发展.5 1.2.4 建筑施工材料成本管理信息化 6 1.2.5 数据仓库和数据挖掘技术在施工材料成本管理上的应用 .7 1.3 课题研究的难点及主要工作内容.8 1.3.1 课题的主要研究内容8 1.3.2 课题的主要难点9 第 2 章 数据仓库和数据挖掘技术的研究11 2.1 数据仓库概述 11 2.1.1 为什么需要数据仓库11 2.1.2 数据仓库的特点12 2.1.3 数据仓库的体系结构13 2.1.4 数据仓库的设计15 2.2 数据挖掘概述 16 2.2.1 数据挖掘的概念及功能16 2.2.2 数据挖掘方法17 2.2.3 数据挖掘体系结构18 2.2.4 数据挖掘的过程19 2.3 本章小结 20 第 3 章 基于数据挖掘成本管理系统设计21 3.1 gmm 原始系统介绍.21 - iv - 哈尔滨工业大学工程硕士学位论文 3.1.1 gmm 需求分析21 3.1.2 gmm 功能及业务流程设计 22 3.1.3 gmm 原始数据库与数据结构关系的设计25 3.2 基于数据挖掘系统的介绍.30 3.2.1 gmm 功能及业务流程设计 30 3.2.2 gmm 数据仓库主题分析31 3.3 本章小结 36 第 4 章 构建材料成本管理系统的数据仓库37 4.1 材料成本管理数据仓库的构建策略 .37 4.2 数据仓库的建模技术.38 4.2.1 实体关系模型39 4.2.2 维度建模 .39 4.2.3 实体关系建模与维度建模的比较 41 4.3 材料成本管理数据仓库主题分析.41 4.3.1 材料成本分析主题42 4.3.2 材料库存分析主题47 4.4 材料成本管理数据仓库的设计与实现 .48 4.4.1 etl 的设计 48 4.4.2 元数据的设计49 4.5 本章小结 51 第 5 章 关联规则的基本算法与相关改进52 5.1 关联规则理论 52 5.1.1 基本模型描述52 5.1.2 关联规则的分类53 5.1.3 关联规则挖掘的一般过程54 5.1.4 常用算法 .55 5.2 fp-growth 算法介绍.56 5.2.1 fp-growth 算法中的几个概念56 5.2.2 fp-growth 算法实现57 5.2.3 算法的优点 .59 5.3 基于聚类技术的数据概化.59 5.3.1 k-means 聚类原理.59 5.3.2 因素分析法应用61 - v - 哈尔滨工业大学工程硕士学位论文 5.3.3 数据概化说明62 5.4 数据挖掘例子分析.63 5.4.1 例子说明 .63 5.4.2 结果分析 .68 5.5 本章小结 71 第 6 章 材料成本系统实现及应用72 6.1 gmm 实现涉及的软件技术.72 6.1.1 j2ee 简介.72 6.1.2 weblogic 应用服务器简介75 6.1.3 model-view-controller（mvc）编程框架 75 6.2 gmm 的实现 77 6.2.1 gmm 实现的基本思路77 6.2.2 gmm 核心的程序流程图78 6.3 gmm 的典型运行界面.80 6.4 gmm 应用效果.85 6.5 本章小结 86 结论.87 参考文献.88 哈尔滨工业大学硕士学位论文原创性声明93 哈尔滨工业大学硕士学位论文使用授权书93 哈尔滨工业大学硕士学位涉密论文管理93 致谢.94 个人简历.95 - vi - 哈尔滨工业大学工程硕士学位论文 第1章 绪论 本章集中介绍建筑施工材料管理模式的发展历史及其各发展阶段的优缺 点，简要介绍课题的来源和背景以及本文研究的主要内容。 1.1 课题的来源和背景 1.1.1 课题背景 我国加入 wto 以后，建筑施工企业必然要面对国际市场的激烈竞争， 但是目前整个建筑行业的管理和决策水平仍然比较低下，企业决策很大程度 仍然依赖管理者的经验。如何开发利用企业的信息资源，为管理者和决策者 提供决策支持，是当前为推进我国建筑业全面信息化进程迫切需要解决的关 键问题。 施工企业的工程管理是涉及到招投标管理、施工预算管理、进度管理、 质量管理、合同管理、计划管理、材料管理、设备管理、资料管理的一系列 管理系统，而本系统是实现了其中的材料管理这一内容。 在项目生产过程中 材料成本占整个工程成本的 6070%左右，有较大的节 约潜力。往往在其他成本出现亏损时，要靠材料的节约来弥补。因此，建立 完善的采购和收发料制度十分必要，一般在不影响正常施工的前提下，减少 材料储存量，以加速资金周转。材料采购应通过市场调查，论质比价；对于 耗量大、价款总额较大的材料应采取招标方式，公开竞价，择优选定。这样 做，既有利于保证质量，又有利于杜绝暗箱操作和腐败现象。同时，要加强 现场管理，合理堆放材料，减少二次搬运损耗。并严格收发料制度，进场要 认真点验、保质保量，发料要严格按照计划发放，做到帐物相符，台帐清楚， 特别要注意各个环节之间的相互监督，相互制约。对周转材料如钢管、扣件、 方木、九夹板等应包死基数、实行限额领料。对余料坚持回收、废物再利用， 这也是控制材料成本不可忽视的最终环节。 本系统满足建筑施工企业项目部材料管理的要求，将施工项目部和公司 的材料管理职能部门管理联系起来，包括材料计划的制定、材料资金的申请 - 1 - 哈尔滨工业大学工程硕士学位论文 和批准、采购合同管理、材料的库存管理、材料成本结算、统计分析、供应 商管理、材料市场价与采购价管理等功能。完成项目成本控制中比重占 60%-70%左右的材料成本的控制。而且把数据仓库技术和数据挖掘技术，把 影响材料成本的主要因素进行分析，为成本控制提出依据，为领导的决策分 析提供了依据。 选用数据仓库技术是因为由于项目部的工程涉及的单据特别多，而且数 据量特别的大，有的项目 3 年到 5 年左右，这样大量的历史数据不进行归纳 分析，就不能给相同的项目提供基础资料，而且是一个项目一个数据库，这 样以文件存放，难于发挥历史数据的作用，很占用磁盘空间。我们可以通过 数据的清理、转换、导入、建立数据挖掘模型，为以后的项目供依据。 课题来源： gmm3.0 它是用于项目施工管理的计算机辅助管理工具， 是将 工程项施工管理各主要工作（进度、费用、质量、处理、资料档案、安全、 合同、材料，机械设备管理、成本核算等）建立在统一的计算机操作平台上， 实现全方位的计算机集成化管理。 该软件为 b/s 结构，能够处理项目管理中各个阶段各个职能部门的大部 分管理工作。通过局域网和广域网传输各种管理的数据，和广联达的预算软 件、微软的 project 建立数据传递关系。 项目名称：基于数据挖掘技术的施工材料成本管理系统的设计与实现。 1.1.2 课题目的及意义 本课题的目的是将数据仓库和数据挖掘技术 1应用到建筑施工材料成本 管理的信息化管理中，研究建立基于建筑施工材料成本管理管理数据库的数 据仓库模型及其体系结构，运用网络技术和数据挖掘技术，建立决策支持系 统所需数据和知识的组织、存储、分析、获取的集成环境，为企业管理者进 行企业经营管理、资源调配、投资效益以及市场运作提供趋势分析和预测， 为施工项目各个管理层次进行工程进度、资源消耗、质量、安全管理以及成 本控制提供分析比较和决策依据，为实现建筑施工管理过程中多层面的智能 决策支持提供数据平台。 基于数据仓库的数据挖掘技术是当前国际上信息处理领域的前沿研究方 向之一，其研究在国内尚处于起步阶段，在理论、方法以及开发技术等方面， 都存在大量待解决的问题。将数据挖掘和数据仓库技术应用于建筑施工企业 的信息化管理中的研究目前尚无论文发表。本课题研究的意义在于： - 2 - 哈尔滨工业大学工程硕士学位论文 (1)把新一代数据库、 数据挖掘、 数据仓库以及决策支持系统技术应用于 建筑施工企业材料管理信息化领域中，为解决信息资源的再利用问题提供新 的理论、途径、方法和技术。 (2)建立建筑施工企业数据仓库系统和基于数据挖掘的决策工具， 为进一 步建立基于数据仓库和数据挖掘的建筑施工企业材料系统提供决策数据平 台，可解决建筑施工企业决策管理的实际需求，为提高决策管理效率和水平 提供科学、有效的方法和工具。 (3)可作为广联达公司研究项目“基于数据挖掘技术的建设项目群体决策 支持系统研究”的研究基础和重要的组成部分。 1.2 课题研究综述 1.2.1 数据仓库 知识经济时代要求管理者和决策者们对企业内外发生的变化具有敏锐的 洞察力，此时的数据自身的价值和语义质量不再是一个纯技术问题，而成为 一个现实信息的价值，也就是充分利用己有的数据、挖掘数据中潜在的信息 价值，从而为企业决策者和管理者提供帮助。然而传统数据库应用中遗留的 数据不一致性和不连续性等问题给这一业务带来了极大的困难。于是产生了 这样的问题：虽拥有海量数据，但有用信息贫乏。为了克服上述困难，需要 建立一个虚拟的集成数据库，用来存放真实的历史数据，并尽可能降低物理 的不一致性和语义的不连续性，使现有的数据能够用于管理和决策目的。在 这样的背景下新的数据处理技术数据仓库（data warehouse）技术1便应 运而生了。 1991 年，ibm 公司正式宣布了它的“数据仓库构架”，在信息产业界引起 很大轰动。 1992 年 prism solution 公司副总裁 w. h. inmon 出版的具有开创性 的building the data warehouse一书，正式形成了数据仓库的概念。在该 书中对数据仓库是这样描述的：数据仓库是面向主题的、集成的、不易失的、 时变的、用于决策支持的数据集合，其中每个数据单元都与时间相关。 目前由于相关领域的技术发展及相互协同，已使数据仓库成为一项可能 的实用技术。 - 3 - 哈尔滨工业大学工程硕士学位论文 1.2.2 数据挖掘 人们在日常生活中经常会遇到这样的情况：超市的经营者希望将经常被 同时购买的商品放在一起以增加销售；保险公司想知道购买保险的客户一般 具有哪些特征；医学研究人员希望从已有的成千上万份病历中找出患某种疾 病的病人的共同特征，从而为治愈这种疾病提供一些帮助。 对于以上问题传统信息管理系统中的数据分析工具无法给出答案。因为 无论是查询、统计还是报表，其处理方式都是对指定的数据进行简单的数字 处理，而不能对这些数据所包含的内在信息进行提取。随着信息管理系统的 广泛应用和数据量激增，人们希望能够提供更高层次的数据分析功能，从而 更好地对决策或科研工作提供支持。 正是为了满足这种要求，从大量数据中提取出隐藏在其中的有用信息， 将机器学习应用于大型数据库的数据挖掘(data mining) 2技术得到了长足的 发展。 数据挖掘， 也可以称为数据库中的知识发现(knowledge discoverdatabase, kdd)，是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含 在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程3。 数据挖掘技术把人们对数据的应用，从低层次的联机查询操作，提高到 决策支持、分析预测等更高级应用上。它通过对这些数据进行微观、中观乃 至宏观的统计、分析、综合和推理，发现数据间的关联性、未来趋势以及一 般性的概括知识等，这些知识性的信息可以用来指导高级商务活动。 数据挖掘只是数据库中知识发现的一个步骤，但又是最重要的一步。这 里所说的知识发现，不是要求发现放之四海而皆准的真理，也不是要去发现 崭新的自然科学定理和纯数学公式，更不是什么机器定理证明。所有发现的 知识都是相对的，是有特定前提和约束条件、面向特定领域的，同时还要能 够易于被用户理解，最好能用自然语言表达发现结果。因此，我们可以称这 种技术为数据挖掘和知识发现。 目前国外数据挖掘的发展趋势主要是4： (1)理论研究方面： 对知识发现方法的研究进一步发展，如近年来注重 对 bayes(贝叶斯)方法以及 boosting 方法的研究和提高； 传统的统计学回归法 在 kdd 中的应用；kdd 与数据库的紧密结合。 (2)应用研究方面： kdd 商业软件工具不断产生和完善，注重建立解决 - 4 - 哈尔滨工业大学工程硕士学位论文 问题的整体系统，而不是孤立的过程。用户主要集中在大型银行、保险公司、 电信公司和销售业。 1.2.3 我国建筑施工材料成本管理方法和管理模式的发展 施工项目成本是指建筑施工企业以施工项目作为成本核算对象的施工过 程中所耗费的生产资料转移价值和劳动者的必要劳动所创造的价值的货币形 式。也即某施工项目在施工过程中发生的全部生产费用的总和。包括所消耗 的主、辅材料、构配件，周转材料的摊销费用或租赁费，施工机械的台班费 或租赁费，支付给生产工人的工资，奖金以及项目经理部（或分公司、工程 处）一级为组织和管理工程施工所发生的全部费用支出。施工项目成本不包 括劳动者为社会所创造的价值 （如税金和计划利润） ，也不应包括不构成施 工项目价值的一切非生产性支出。 施工项目成本是施工企业的主要产品成本， 一般以项目的单位工程作为成本核算对象，通过各单位工程成本核算的综合 反映施工项目成本。 20 世纪 50 年代和 60 年代施工企业的材料成本管理， 主要是参照了前苏 联模式， 并且在学习基础上经历了一个从实践中来， 又回到实践中去的过程， 比较系统地建立了一套计划经济模式下的成本管理框架。 70 年代国家提出并推出全面经济核算，施工企业按照定额考核的方法， 加强了施工对象的成本管理，通过内部核算和指标分解的形式，明确各单位 和单位各层次的经济责任，建立起相应的分级和分权的成本管理体系。 进入 80 年代后随着我国市场经济体系的逐步确立， 企业逐渐成为市场经 济的主体。也逐渐走上一条自主经营、自负盈亏、自我积累和自我发展的道 路，成本管理的重要性突现出来。施工企业的成本管理，尤其是项目施工成 本管理得到了较大的重视，企业的组织架构和要素配置方式发生了较大的改 变，给我们业己熟悉的传统生产模式下的成本管理产生了冲击，与此同时发 达工业国家成本管理思想和方法大量涌入我国。如平衡记分卡、模糊数学模 型，质量成本、安全成本，标准成本、责任成本等对我国成本管理工作的提 升起到了较大作用，在管理理论方面缩短了我国在成本管理方面与发达工业 国家的差距。因而市场经济条件下的施工企业成本管理，必须着眼于企业所 处的行业特点，用先进的成本管理理念和方法推进企业成本优化。不仅着眼 于施工阶段的成本耗费控制，也要对供应链的成本进行整合，更要从价值链 人手、重视战略成本的研究，从成本动因人手、提高企业成本的费效水平。 - 5 - 哈尔滨工业大学工程硕士学位论文 1.2.4 建筑施工材料成本管理信息化 项目部在使用材料管理软件之前， 器材部门材料记帐全部采用手工模式， 即手工完成填写入库单、登记材料台帐、填写出库单等工作。建筑材料品种 多数量大供应商复杂，器材部门的工作量非常大，往往不能及时准确的进行 库存材料统计，极易造成材料采购混乱；另外由于建筑市场竞争非常激烈， 大多数建筑施工企业或多或少的存在垫资行为，建筑企业往往迫不得已让自 己的材料供应商共同分担这部分经济风险，这部分材料外欠款的管理一直是 困扰建筑施工企业的一个老大难问题，在每次付款前，我项目部器材管理人 员不得不进行单据核验和付款历史查询以确保无误，直接造成工作效率低下 5。 国内的的大部分软件都是以计划管理，仓库管理，合同管理，帐务管理 为基础，只是各个侧重的重点不同，例如广运物料软件主要考虑和预算系统 紧密联系在一起的，而和财务的联系简单。它整个物资系统分为三个模块： 即计划管理、仓库管理、帐务管理。同望物资管理软件针对工程施工企业的 特点而设计开发，将现代物资管理理论与工程施工企业物资管理实际经验相 融合，适用于所有工程施工企业的物资管理工作。该软件是一个公司和项目 级综合的系统，也就是包括了公司材料管理部门、材料公司、项目部的业务 工作，它的基本模块是供应链信息管理、物料需求计划管理、采购计划管理、 合同管理、物资流理、资金流管理、统计分析。恒远材料软件构造以领导查 询为核心的物资管理信息系统，基本解决了施工过程中的材料业务数据及时 汇总统计、查询分析的需求。同时由于采用了严谨的流程控制，使得各个业 务部门之间的业务衔接更为紧密，在一定程度上减少了由于人为误差引起的 材料浪费现象。最为明显的是使得项目经理、成本经理、公司高层决策者及 时了解生产过程中各个环节实时发生的动态业务数据成为可能，为决策者提 供了有利的支持和保障。这些软件可以查询材料的收支情况、结算情况、支 付情况等，但不能对材料的使用量做出预测。而将数据仓库和数据挖掘技术 应用到材料管理系统中的话，就可以解决此类问题。 发达国家较早地在建筑行业中使用信息技术，近年来在项目管理中信息 技术地应用状况有: (1)日本以建设项目的全生命期为对象， 信息全部实现电子化； 实现利用 internet 进行信息的提交和接收； 所有信息都存放在数据库实现信息的共享和 - 6 - 哈尔滨工业大学工程硕士学位论文 再利用，以提高其建筑业的竞争力。 (2)在欧美地区， 设定通用的标准和发展通用的数据基础设施来有效传递 信息；采用 internet 和相关技术进行有效地使用信息；工程图纸资料实现信 息化管理；数码相机实时监控施工进程等。 与发达国家相比，我国材料管理中的信息网络应用水平不高，信息的共 享和传递效率较低，虽然实现了网上招标信息发布，但材料采购、开标、项 目协调等还是通过现场人员以专题会议的形式进行，电子商务没有真正开展 起来。 施工企业进行信息化改造是大势所趋5，是提升企业核心竞争力的有效 手段。近半年的使用经验说明，信息化改造的成功与否，取决于企业自身对 信息化改造的决心和认识程度，取决于信息化改造委托实施单位的行业经验 是否足够丰富，取决于企业内部员工的认识是否统一，取决于企业对内部员 工的不断培训。企业信息化改造是一个长期的系统工程，根据企业自身的基 础条件选择一条适合于自己的特色化的信息化道路，是企业信息化改造成败 的关键。 1.2.5 数据仓库和数据挖掘技术在施工材料成本管理上的应用 目前数据仓库和数据挖掘技术在发达国家应用的发展速度非常快，在国外， 数据仓库己成为仅次于 internet 之后的又一技术热点，很多大公司都建立或 着手建立自己的数据仓库系统。 数据库厂商也纷纷推出自己的数据仓库软件。 目前，已建立和使用的数据仓库应用系统都取得了明显的经济效益，在市场 竞争和决策领域中显示了强劲的活力。 国内这方面的应用刚刚起步，也取得了一定的成果，产生了一些成功的 案例。按照行业划分，各行业对这些技术的应用各有特点也很不均衡，其应 用主要集中在证券、银行、税务、保险等行业。在证券业：例如深圳国信证 券于 1999 年就建立了由sybase公司提供的数据仓库解决方案；在银行业：惠 普已经提供了开放数据仓库，用来在金融服务中增加决策支持：在保险业： 菲奈特与深圳华安保险公司联合开发了财产保险主业务系统(sps)和保险决 策支持系统(idss)等等。这些应用都结合了这些行业的特点，取得了良好的 效果，证明了数据仓库和数据挖掘技术的可行性3。 可以发现，在数据仓库和数据挖掘技术得到了很好的应用的行业都是哪 些信息化程度非常高的行业。相比之下，建筑施工行业是一个传统的劳动密 - 7 - 哈尔滨工业大学工程硕士学位论文 集型行业，建筑施工企业在管理过程中由于信息化水平相对较低，大量的数 据仍然以纸介质进行交流和存档，因此，数据的再利用非常困难。目前，数 据仓库和数据挖掘技术在建筑施工企业中应用的研究仅限于对个别目标明 确、数据来源充分的领域的应用，比如在招投标中利用数据挖掘的某些算法 进行的分析工作，但是针对建筑施工企业的数据仓库和数据挖掘技术的综合 应用的研究尚未见文章发表。 根据信息化水平比较高的行业的发展状况分析，建筑施工企业必然要走 信息化的道路，以提高企业的管理和决策水平。建筑施工企业在信息化建设 过程中可以充分利用其他行业的经验，结合自身的特点，充分应用最新的信 息化技术，在高起点上进行管理信息化改造6。 因此，在企业信息化建设过程中，应用数据仓库和数据挖掘等新的智能 处理技术，在业务信息化的同时实现管理和决策的信息化，是必需的、可行 的，不仅可以解决施工企业决策管理的实际需求，还可以提高企业信息化的 起点和水平。 1.3 课题研究的难点及主要工作内容 1.3.1 课题的主要研究内容 本课题的主要研究对象是建筑施工企业的管理信息化、基于数据仓库的 建筑施工企业材料管理的数据挖掘。在课题的研究过程中，主要涉及到了以 下内容： (1)由于建筑施工企业材料管理的复杂性和多样性、 数据仓库和数据挖掘 技术应用的难度，首要需要进行大量的理论学习、研究和探讨。主要包括： 建筑施工企业管理模式的发展和信息化需求分析，数据仓库技术及其应用研 究，数据挖掘技术及其应用研究数据仓库和数据挖掘技术应用于建筑施工企 业管理信息化的理论、方法以及软件开发技术。 (2)建筑施工企业数据仓库和数据挖掘系统的数据准备和需求分析。 如何 建立一个符合建筑施工企业要求的数据仓库系统，并在此基础上应用数据挖 掘技术，首先需要解决的问题就是如何获取数据，获取哪些数据，这些数据 如何组织和管理，利用这些数据进行数据挖掘能够给企业管理带来哪些帮助 等等7。为此，主要进行了以下几个方面研究： 建筑施工企业材料的业务流 - 8 - 哈尔滨工业大学工程硕士学位论文 程中所产生的数据及其形式；建筑施工企业材料管理数据仓库的主题领域。 (3)建筑施工企业材料数据仓库系统和数据挖掘系统的研究和开发。 由于 建筑施工企业材料管理具有复杂的业务流程，同时决策分析也非常复杂，必 须将这两者结合起来，并通过系统的开发工作，满足企业的需求，建立建筑 施工企业数据仓库和数据挖掘系统。通过系统提供的模型和工具，帮助用户 理解数据仓库和数据挖掘技术能够为建筑施工企业的管理带来什么，让用户 来进一步的帮助完善系统的需求，从而逐步实现一个完善的数据仓库和数据 挖掘系统。主要的研究工作如下：建筑施工企业数据仓库模型和数据仓库的 设计与实现；数据仓库系统的设计与实现；数据挖掘系统的设计与实现；系 统分析和测试。 1.3.2 课题的主要难点 本课题是立足建筑施工企业材料管理， 应用最新的数据仓库和数据技术， 因而在对传统的建筑产业的理解和分析，以及对信息技术的掌握和应用等两 方面都存在着不少的难点，主要体现在以下几个方面： (1)由于目前我国的建筑施工企业众多， 发展极不平衡， 在进行建筑施工 企业的信息化以及企业对数据仓库和数据挖掘的需求分析过程中，如何归纳 和提炼普遍的企业目标需求，需要系统的调研和周密的分析，工作量很大。 (2)基于数据仓库的数据挖掘和决策支持是当前国际上智能信息处理领 域的最前沿研究方向，其研究在国内外尚处于起步阶段。将数据挖掘和数据 仓库技术在建筑施工企业的信息化管理中应用的研究目前尚无文章发表。因 此，可参考的案例基本没有。 (3)建立数据仓库系统需要大量的数据， 通常以完善的信息管理系统提供 的数据源为基础。但是目前我国建筑施工企业的管理信息系统的应用还处在 刚刚起步的阶段，所使用的往往是独立的单机软件，种类很多，版本复杂， 而且在使用中也存在很多不规范的现象，导致数据的完整性和可靠性比较低 8。这种现状给历史数据的提取、清理以及加载工具的开发均带来了相当的 难度。 (4)基于数据仓库的数据挖掘是一种综合性的学科， 涉及到的知识和技术 非常多，包括数据仓库的性能调整技术、数据挖掘的算法研究、数据挖掘的 效率等9。对这些技术的应用和整合对于系统开发非常重要，但是其难度也 很高。 - 9 - 哈尔滨工业大学工程硕士学位论文 (5)在系统开发过程中， 一方面需要相当的系统设计能力， 另一方面也需 要很高的编程实现能力。 - 10 - 哈尔滨工业大学工程硕士学位论文 第2章 数据仓库和数据挖掘技术的研究 2.1 数据仓库概述 2.1.1 为什么需要数据仓库 随着计算机技术的飞速发展和企业界不断提出新的需求，数据仓库技术 应运而生。传统的数据库技术是单一的数据资源，即数据库为中心，进行从 事事务处理、批处理到决策分析等各种类型的数据处理工作。近年来，随着 计算机应用，网络计算开始向两个不同的方向拓展，一是广度计算，二是深 度计算。广度计算的含义是把计算机的应用范围尽量扩大，同时实现广泛的 数据交流，互联网就是广度计算的特征，另一方面就是人们对以往计算机的 简单数据操作，提出了更高的要求，希望计算机能够更多的参与数据分析与 决策的制定等领域。特别是数据库处理可以大致地划分为两大类：操作型处 理和分析型处理（或信息型处理）这种分离，划清了数据处理的分析型环境 与操作型环境之间的界限，从而由原来的以单一数据库为中心的数据环境发 展为一种新环境：体系化环境10。但是随着数据量越来越大和查询越来越复 杂，传统企业的运营环境逐渐暴露出了很多的问题。其中最严重的有以下几 个： (1)数据分析的结果缺乏可信性。 (2)数据处理的效率很低。 (3)难以将数据转化成信息。 上述环境中同时存在着操作型处理和分析型处理两种操作，相应地存在 着操作型数据和分析型数据两种数据。操作型数据与分析型数据之间存在着 许多不同11（见表 2-1）。 因此，操作型数据与分析型数据之间存在着本质区别，将这两种数据放 在同一个数据库中显然是不妥当的。此外传统数据库系统适用于企业的日常 事务处理工作，而难于实现对数据分析处理的要求。 - 11 - 哈尔滨工业大学工程硕士学位论文 表 2-1 操作型数据与分析型数据的区别 类别 操作型数据 分析型数据 更新性 可以更新 不可以更新 时间性 当前值数据 历史数据 操作需求性 操作需求事先预知 操作需求事先未知 集成性 细节的数据 综合的数据 支持性 支持日常工作 支持管理工作 操作性 操作频率高 处理时间短 操作频率低 处理时间长 冗余性 非冗余性 冗余是存在的事实 驱动方式 事件驱动 分析驱动 因此必须将操作型数据和分析型数据分离开。操作型处理以传统数据库 为中心进行企业的日常业务处理，分析型处理以数据仓库为中心分析数据背 后的规律和关联。此外 90 年代以来，数据库技术在高性能数据库服务器、并 行数据库技术、数据库互操作技术等方面的发展也为数据仓库提供了技术支 持。这样，企业的运营环境由原来以单一数据库为中心的数据环境，发展为 以数据库为中心的业务处理系统和以数据仓库为基础的分析系统。 2.1.2 数据仓库的特点 1992 年， w.h.inmon 在其 建立数据仓库 一书中提出了“数据仓库(data warehouse)”的概念。w.h.inmon认为数据仓库是面向主题的、集成的、非易 失的、是随时间变化的数据集合，用来支持管理决策。根据数据仓库概念的 定义，数据仓库具有以下四个特点12： (1)面向主题的：主题是指用户使用数据仓库进行决策所关心的重点方 面，是在较高层次上将企业信息系统中的数据进行综合归类的标准。数据仓 库中的数据是按一定的主题进行组织的， 为按主题进行决策的过程提供信息。 (2)集成的：数据仓库中的数据是在对原有分散的数据库数据抽取、清理的 基础上经过系统加工、汇总和整理得到的，以保证数据仓库内的信息是关于 整个企业的一致的全局信息。 (3)非易失的：数据仓库的数据主要供企业决策分析之用，某个数据一 旦进入数据仓库就不再变化了。数据仓库可以看成是一个虚拟的只读数据库 系统， 用户只能通过分析工具进行查询和分析， 而不能修改其中存储的数据。 - 12 - 哈尔滨工业大学工程硕士学位论文 (4)随时间变化的： 数据仓库中的数据包含着历史信息， 系统记录了企业 从过去某一时刻到目前的各个阶段的信息，通过这些信息，可以对企业的发 展历程和未来趋势做出定量分析和预测。数据仓库同数据库相比还有其它特 点：如数据仓库为了能够在尽量短的时间内将数据呈现给使用人员，使用了 “空间换时间”的技术，牺牲了数据的规范化、增加了数据的冗余度，从而减 小系统的响应时间。此外，在数据仓库环境下系统的硬件资源常常在高利用 率和低利用率之间切换。当系统进行数据应用分析时，硬件利用率很高，而 系统空闲时，系统利用率很低。 2.1.3 数据仓库的体系结构 数据仓库是在原有关系数据库基础上发展形成的，但不同于数据库系统 的组织结构形式，它从原有的业务数据库中获得的基本数据和综合数据被分 成一些不同的层次。一般数据仓库的结构组成包括当前基本数据、历史基本 数据、轻度综合数据、高度综合数据、元数据等。 当前基本数据是最近时期的业务数据，是数据仓库用户最感兴趣的部分， 数据量大。当前基本数据随时间的推移，由数据仓库的时间控制机制转为历 史基本数据，一般被转存于一些转换介质中，如磁带等。轻度综合数据是从 当前基本数据中提取出来的， 设计这层数据结构时会遇到“综合处理数据的时 间段选取”、“综合数据包含哪些数据属性”和“内容”等问题。最高一层的数据 十分精练，是一种准决策数据。 数据仓库系统是一个广义概念13。整个系统包括从操作数据库和外部其 他数据源的提取、转换工具、数据仓库数据部分（主要指构成数据仓库数据 存储的数据库和数据仓库管理系统）、基于数据仓库的数据分析工具以及与 以上各部分相关的管理综合部件，构成了整个数据仓库系统。 数据仓库系统所要完成的功能包括辅助用户设计建立数据仓库系统的数 据组织和存储、管理、维护数据仓库的正常工作，即完成数据仓库服务器的 管理，接受用户查询数据的请求，使数据仓库数据与操作数据库中的数据保 持有效同步等工作；综合集成多种分析工具（包括数学统计分析工具、olap 多维分析工具、数据开采工具），完成用户根据决策需求对数据仓库的有效 使用。 - 13 - 哈尔滨工业大学工程硕士学位论文 图 2-1 数据仓库系统的总体结构 从图 2-1 中可以看出数据仓库系统包括以下内容： (1)数据抽取和转换工具，它们可以完成对数据源的抽取、清洗、维护等 功能。 (2)数据建模工具，用于建立数据仓库与源数据库间的概念模型。 (3)模型、元数据。 (4)能够支持高速存取、有效地支持多维数据模型的前端工具。 这样，整个数据仓库的组织大致分为三个部分：第一部分是数据在进入 数据仓库的存储体之前，包括源数据库、外部数据文件的清洗、变换、装载 和刷新的工具。第二部分是数据仓库的具体数据、元数据的存储和数据仓库 服务器（包括数据库服务器和 olap 服务器）。第