（机械设计及理论专业论文）数据挖掘技术在传动机械erp系统中的应用研究.pdf

武汉理工大学硕士学位论文 摘要 随着计算机和网络的普及，e r p 在企业中已获得了广泛的应用，然而e r p 运行中积累的大量数据并没有得到充分的利用。越来越多的企业意识到这些数据 对一个企业的重要意义。然而顽对庞大的数据量，如何找到出对企业具有价值的 信息，最大程度的提高企业竞争力，却一直是困扰着企业的难题。挖掘e r p 大 量数据中蕴涵的知识是目前e r p 研究的热点，也是e r p 系统进一步深化应用的 必然趋势。数据挖掘是从大量数据中挖掘出有规律的、揭示其内在必然联系的技 术，是利用e r p 大量数据中蕴涵的知识进行企业运营辅助决策的重要手段。 在这样的背景下，本文详细介绍了数据挖掘的概念及其发展历史，并分析了 数据挖掘技术的特点。在分析数据挖掘国内外现状的基础上，探讨了在e r p 内 部构建数据仓库，并在其基础上进行数据挖掘的原理。具体研究内容如下： 1 ) 论文在探讨数据挖掘的一般理论的基础上，对数据挖掘中决策树算法进 行了详细地介绍。并简单介绍了几种常用的决策树的生成算法。重点介绍了c 4 5 算法流程及其结构，并分析了c 4 5 算法的优缺点。 2 1 论文将数据挖掘的一般过程应用于e r p 销售决策支持系统，分析了e r p 数据挖掘的体系结构，阐述了在e r p 内部建立数据仓库的原理，详细介绍了建 立数据仓库的过程；并结合企业现有的e r p 数据库，在e r p 内部建立了数据仓 库。 3 、重点讨论了运用c 4 5 算法建立挖掘模型，建立了销售决策系统。在s o l s e r v e r2 0 0 0 环境下，用s o l 语言和v i s u a lc + + 6 0 开发e r p 销售决策支持系统。 结合浙江某传动机械有限公司的的实际情况，将原型系统进行了实例应用，获得 了较好的效果，验证了本文理论研究和实现方法的可行性。 论文最后在总结全文的基础上对该项研究的发展进行了展望。 关键词：数据挖掘，数据仓库，决策树，c 4 5 ，e r p 武汉理工大学硕上学位论文 w i t hr a p i dp o p u l a r i t yo fc o m p u t e ra n dn e t w o r k ，e r ph a sb e e nw i d e l yu s e di n e n t e r p r i s e b u tm a s sd a t aa c c u m u l a t c dd u r i n gt h er u n n i n go fe r ph a sn o tb e e nt a k e n f u l lu s eo f m o r ea n dm o r ee n t e r p r i s e sa r er e c o g n i z i n gt h ei m p o r t a n c eo ft h em a s s d a t a i ti sh a r df o re n t e r p r i s e st ot a k ea d v a n t a g eo fi n f o r m a t i o nt o d e v e l o pt h e i r c o m p e t e n c ew h e nt h e yf a c eal a r g en u m b e ro fd a t a n o w a d a y s ，m i n i n gt h ek n o w l e d g e i m p l i e di nt h em a s sd a t ao fe r pi sar e s e a r c hh o t s p o ta n da l lj n e v i t a b l et r e n do ft h e a p p l i c a t i o no fe r p n ec o n c e p ta n dd e v e l o p m e n to fd a t am i n i n gw e r ei n t r o d u e e di nd e t a i l i n t h i s p a p e r 码ep r i n c i p l e so fs y n t h e t i ca p p l i c a t i o no fd a t am i n i n gt e c h n o l o g ya n dd a t a w a r e h o u s et e c h n o l o g yi ne r ps y s t e mw a sd i s c u s s e di n t h i sp a p e ro nt h eb a s i so f a n a l y z i n gt h ec u r r e n ts i t u a t i o no fd a t am i n i n g m a i nc o n t e n t so ft h ep a p e ra r e s u m m a r i z e da sf o l l o w i n g ： 1 1t h ee s s e n t i a lp r i n c i p l eo fd a t am i n i n gw a sr e s e a r c h e da n ds e v e r a lk i n d so f a l g o r i t h mo fd a t am i n i n gw e r eg i v e n i nt h i sp a p e la n dt h ea r c h i t e c t u r ea n d p r o c e s so f t h ea s s o c i a t i o nr u l e sa l g o r i t h mw a si n t r o d u c e , di nd e t a i l s ，n l ea p p l i c a t i o no fd a t am i n i n gt e c h n o l o g yi ns a l e s o r i e n t e dd e c i s i o ns u p p o r t s y s t e mw a sr e s e a r c h e d w i i ht h ea n a l y s i so fa r c h i t e c t u r eo fe r p - o r i e n t e dd a t am i n i n g t h ee s s e n t i a lp r i n c i p l eo fe s t a b l i s h m e n to f d a t aw a r e h o u s ei ne r ps y s t e mw a s e x p a t i a t e di nt h i sp a p e r 3 ) a n dt h ea l g o r i t h mm o d e lb a s e do nc 4 5w a sa l s oe s t a b l i s h e d t h e s a l e s - o r i e n t e dd e c i s i o ns u p p o r tp r o t o t y p es y s t e mw a sd e v e l o p e du s i n gs q l l a n g u a g e a n dv i s u a ic + + 6 0i nas q ls e r v e r 2 0 0 0e n v i r o n m e n t t h e p r o t o t y p es y s t e m w a s a p p l i e d i n t ot h es o m ee n t e r p r i s ei n z h e j i a n ga c t u a l l y a n do b t a i n e d p r e f e r a b l ee f f e c t t h e s ec o n f i r m e dt h ef e a s i b i l i t yo ft h e o r ys t u d ya n di m p l e m e n t m e t h o d t h ep r o s p e c to ft h er e s e a r c hw a sd e p i c t e di nt h ee n do ft h i sp a p e r k e y w o r d s ：d a t am i n e ，d a t aw a r e h o u s e ，d e c i s i o n t r e e ，c 4 5 ，e rp 武汉理工大学硕士学位论文 第一章绪论 一。r _ 一_ f - 1 1 研究课题的背景 网络技术正以惊人的速度影响着人类生活的各个层面。网络发展的结果必将 加速经济全球化、国际化的发展步伐。在经济全球化的趋势下，产品的质量和价 格不再是竞争的焦点，真正的竞争转移到以服务和管理为核心的软件竞争上来， 而知识发现、信息获取、数据挖掘( d a t am i n i n g ) 是这些竞争的焦点。 1 2 数据挖掘的发展历程及国内外现状 数据挖掘【“ ( d a t am i n i n g ) 就是从大量的、有噪声的、模糊的、随机的数据中， 提取隐含在其中的，但又是潜在有用的信息和知识的过程。还有很多和这一术语 相近似的术语，如从数据库中发现知识( k d d ) 、数据分析、数据融合( d a t af u s i o n ) 以及决策支持等。人们把原始数据看作是形成知识的源泉，就像从矿石中采矿一 样。原始数据可以是结构化的，如关系型数据库中的数据，也可以是半结构化的， 如文本、图形、图像数据，甚至是分布在网络上的异构型数据。发现知识的方法 可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的。发现了的 知识可以被用于信息管理、查询优化、决策支持、过程控制等，还可以用于数据 自身的维护。因此，数据挖掘是- - i 广义的交叉学科，它汇聚了不同领域的研究 者，尤其是数据库、人工智能、数理统计、可视化、并行计算等方面的学者和工 程技术人员。 k d d ( k n o w l e d g ed i s c o v e r yi nd a t a b a s e s ) - - 词首次出现在1 9 8 9 年8 月举行的第 1 】届国际联合人工智能学术会议上。在几次国际k d d 学术会议上讨论的问题有： ( 1 ) 数据汇总；( 2 ) 定性知识和定量知识的发现；( 3 ) 知识发现方法；( 4 ) 发现过程 中知识的应用；( 5 ) 数据依赖关系的发展和分析；( 6 ) 集成的交互式知识发现系统： ( 7 ) 知识发现的应用。迄今为止，由美国人工智能协会主办的k d d 国际研讨会已 经召开了7 次，规模由原来的专题讨论会发展到国际学术大会，人数由二三十人 到七八百人，研究重点也逐渐从发现方法转向系统应用，并且注重多种发现策略 和技术的集成，以及多种学科之间的相互渗透。其他内容的专题会议也把数据挖 掘和知识发现列为议题之一，成为当前计算机科学界的一大热点。随着k d d 在 学术界和工业界的影响越来越大，国际k d d 组委会于1 9 9 5 年把专题讨论会更 名为国际会议，在加拿大召开了第一届知识发现和数据挖掘( d a t am i n i n g ，d m ) 圈际学术会议。以后每年召开一次。由于数据库中的数据被形象地喻为矿床，因 此数据挖掘一词很快流传丌来。 1 9 9 7 年亚太地区在新加坡组织了第一次规模较大的p a k d d 学术研讨会，很 武汉理工大学硕士学位论文 有特色。此外，数据库、人工智能、信息处理、知识工程等领域的国际学术刊物 也纷纷开辟了k d d 专题或专刊。i e e e 的k n o w l e d g ea n dd a t ae n p o n e e r i n g 会刊 领先在1 9 9 3 年出版了k d d 技术专刊，所发表的5 篇论文代表了当时k d d 研究 的最新成果和动态，较全面地论述了k d d 系统方法论、发现结果的评价、k d d 系统设计的逻辑方法，集中讨论了鉴于数据库的动态性冗余、高噪声和不确定性、 空值等问题，k d d 系统与其它传统的机器学习、专家系统、人工神经网络、数 理统计分析系统的联系和区别，以及相应的基本对策。6 篇论文摘要展示了k d d 在从建立分子模型到设计制造业的具体应用。 因特网资料中心在1 9 9 6 年对2 0 世纪9 0 年代前期进行的6 2 个数据挖掘项目 的调查表明：进行数据挖掘项目开发的公司在平均2 7 3 年的时间内获得了平均 为3 2 1 的投资回报率。i b m 帮助新西兰国税实施了c r m ；1 9 9 8 年帮助加州税 务启动了基于璩md b 2 数据库软件的综合逃税人监察项目数据仓库解决方案 f i n c ) 项目，使加州税务能够在超过2 2 亿项的独立税务信息中利用商业智能技 术进行业务分析。n c r t e r a d a t a 已经成功地实施了包括美国国家税务局( i r s ) 、澳 洲国家税务局( a t o ) 等在内的数据仓库和数据挖掘项目。数据仓库的效益仅1 9 9 6 年就帮助美国国家税务局追回补交税款两亿笔、增收2 0 0 亿美元的税金和罚款， 并进行了1 2 0 万笔账目审计。c r i s 系统已成为美国国家税务局当前和未来实现 税务目标的重点。 在国外，数据挖掘已经有不少成功案例。目前国内k d d 己成为计算机科学 工作者所关注的热点问题，同时也涌现出一批优秀的研究成果，如中科院计算所 史忠植研究员、自动化所王钰研究员、总参六十一所的李德毅院士、复旦大学的 施伯乐教授等人的研究工作。尽管如此，目前我国在k d d 方面的理论研究和应 用研究还是十分薄弱的，至于相应的应用产品几乎是空白。如1 9 9 8 年在美国纽 约召丌的第四届知识发现与数据挖掘国际学术会议上，会议收到的2 5 0 篇论文中 我国的仅有3 篇，且只有一篇被收录。从事数据挖掘理论研究和改进挖掘算法的 不乏其人，但是如何将数据挖掘理论算法在实践中有效的运用还有待迸一步的研 究，国内目前也才刚刚起步。尽管数据挖掘的好处已经引起国内许多企业的重视， 但实施的并不多，更多的企业是在观望和考虑。据中国地质调查局信息中心数据 挖掘项目负责人张永波介绍，为了查找矿产资源，需要对海量地质信息进行综合 处理、分析和评价。传统方法是由许多专家根据自身经验进行人工评估。人工 评估不仅周期长，不利于及时发现开采矿产资源，也不可避免地带有主观色彩， 甚至导致判断失误，因此间接造成了大量经济损失。为此，早在上世纪8 0 年代， 地质行业就引入了计算机，并开始探索数据挖掘，通过数据挖掘对海量地质信息 进行自动处理、评价，从而帮助人们预测哪些地方最可能蕴藏着矿产资源。经 武汉理工人学硕士学位论文 过近二十年的研发、完善和应用，目前数据挖掘在地质行业开始广泛应用。重庆 港务局、湖南统计局和南宁地税都在近两年才开始建设数据仓库，并在此基础上 摸索着开展了数据挖掘应用，目前已经初步投入使用，辅助领导进行分析决策。 国内企业实现数据挖掘的困难在于缺少数据积累、难于构建业务模型、各类人员 之问的沟通存在障碍、缺少有经验的实旌者、初期资金投入较大。而这正是本课 题研究的意义所在。 目前提供数据挖掘产品的厂商非常多，如等名的产品有s a se n t e r p r i s e m i n e r 、n c r t e m d 砒aw a r e h o u s em i n e r 、s p s sc l e m e n t i n e7 0 、i b md b 2i n t e l l i g e n t m i n e 、s q ls e r v e r2 0 0 0 数据挖掘组件、o r a c l e 9 id a t am i n i n g 、c ac l e v e rp a t h p r e d i c t i v e a n a l y s i ss e r v e r 、德门软件d m i n e r 等。这些产品各有特色：n c r 、i b m 、 o r a c l e 等数据挖掘工具可以直接在数据库上进行挖掘；s a s 提供了数据获取、 取样、筛选、转换工具来构造要挖掘的数据集；s p s s 针对具体应用领域推出了 多个应用模版，以简化应用开发过程。 1 ，3 研究谭题的提出，研究意义及研究内容 1 3 1 课题的来源 本文“数据挖掘技术在传动机械e r p 系统中的应用研究”是在浙江迈特传 动机械有限公司的企业项目“减速器数字化制造技术及m t - e r p 现代企业资源管 理系统”的基础上提出来的。 1 3 2 课题研究意义 基于以上背景，在信息爆炸、e r p 不断完善普及的今天，数据仓库作为数据 挖掘的数据源，在e r p 中的应用对e r p 数据挖掘来说已成为必然趋势，因此在 本文中也讲解如何在e r p 环境中构建数据仓库，并且重点阐述如何利用数据挖 掘来利用数据仓库中积累的数据。目前浙江某传动机械有限公司已实施其根据自 身需求开发的e r p 系统。本文主要解决以上问题并充分利用数据挖掘技术来实 现e r p 决策支持所需的分析功能，以辅助决策，对e r p 环境下构建、集成数据 仓库和在此基础上开发数据挖掘工具的关键过程也将做出说明。 1 4 论文的主要工作 1 4 1 研究内容 本文创建一个简便的数据挖掘方法，并基于企业已有的e r p 系统，建立一 个适合企业实际的销售分析模块为例，探讨数据挖掘技术在传动机械e r p 系统 武汉理工大学硕士学位论文 中的应用问题。 本文数据挖掘研究现状进行了分析，并对在实际中开发数据仓库和数据挖掘 工具进行了研究，使在e r p 中建立完善的决策支持系统成为可能。同时对e r p 和数据仓库理论的进一步深入研究。本文通过在e r p 内部直接集成一个数据仓 库，实现了数据仓库构建的一种新形式。 另外，本文对本文用基于决策树的方法建立了企业销售预测模型。并利用该 模型进行了客户细分，发掘目标客户群。然后针对目标客户群发掘其消费习惯， 找出客户的消费趋势，指导企业的产品开发方向。为了进一步说明数据挖掘在 e r p 决策支持中的实用性，本文通过销售预测的实例充分展示了面向e r p 数据 挖掘的原型及应用，并详述了理论推导和设计过程。 1 4 2 主要创新点 创新点：结合企业实际，在充分利用企业现有的e r p 系统的基础上，实现 数据挖掘算法，并建立兼容于企业现有e r p 系统的模块。 武汉理工大学硕土学位论文 第二章数据挖掘概述 2 1 数据挖掘的概念 数据挖掘，现在一种公认的定义是w j f r a w l e y ，g p i a t e t s k y s h a p i r o 等人提 出的：数据挖掘就是从大量的、有噪声的、模糊的、随机的数据中提取人们感兴 趣的知识。这些知识是隐含的、事先未知的、潜在有用的信息，提取的知识可表 示为概念、规则、规律、模式等形式。此定义把数据挖掘的对象仅定义为数据库。 广义的讲：数据挖掘是在一些事实或观察的集合中寻找模式的决策支持过程。也 就是说，数据挖掘的对象不仅是数据库，也可以是文件系统，或其它任何数据集 合【1 】【2 】。 从数据挖掘的定义可以看出，数据挖掘和数据库知识发现( k d d ) 具有很大的 重合度。长期以来，在知识发现领域这两个术语的范畴和使用界限一直不很清晰。 直到k d d 9 6 国际会议上，知识发现研究领域的知名学者f a y y a d ，p i a t e t s k y s h a p i r o 和s m y t h 就这两个术语的关系作了如下阐述：知识发现是指从数据库中发现知 识的全部过程，即识别出存在于数据库中有效的、新颖的、具有潜在效用的乃至 最终可理解的模式的非平凡的过程。数据挖掘则是全部过程中的一个特定步骤。 这样，知识发现的过程可描述为l 删j ： 1 数据清理：消除噪声或不一致数据。 2 数据集成：把多种数据源组合在一起。 3 数据选择：从数据库检索与分析任务相关的数据。 4 数据变换：数据变换或统一成适合挖捆的形式。 5 数据挖掘：使用智能方法发现或提取数据模式。 6 模式评估：根据某种兴趣度度量，识别表示知识的真正有趣的模式。 7 知识表示：使用可视化等知识表示技术，向用户提供挖掘道德知识。 2 3 数据挖掘的特点 数据挖掘的目标是要从数据库中发现隐藏在大量数据中的未知知识或信息。 数据挖掘是从实际的海量数据源中发现知识。而数据的一致性、完整性和瓶确性 难阻保证。数据挖掘与传统的数据库查询区别在于：前者是主动的、不生成严格 的结果集合不同层次的挖掘，而后者是被动的、只对字段进行严格的查询。总而 言之，数据挖掘有以下特点1 7 j ： 1 处理的数据规模十分庞大，一般是海量级的。 2 由于客户不能形成精确的查询要求，因此需要靠数据挖掘技术来寻找其 可能感兴趣的信息。 武汉理工大学硕士学位论文 3 数据挖据要对数据的迅速变化做出快速响应，以提供决策支持信息。 4 数据挖掘既要发现潜在规则，还要管理和维护规则，随着新数据的不断 加入，规则需要随着新数据更新。 5 数据挖掘中规则的发现给予统计规律，发现的规则不必适合于所有数据， 而且当达到某一阈值时，便认为有此规则。 2 2 数据挖掘的内容 数据挖掘是从大量的数据中发现知识，数据挖掘是知识发现的核心技术。数 据挖掘的主要的目标是发展相关的方法论、理论和工具，以支持从大量的数据中 提取有用的、让人感兴趣的知识。知识最主要的表示形式是模式。模式是用语言 l 来表示的一个表达式e ，它可用来描述数据集f 中数据的特性，e 所描述的数 据是集合f 的一个子集f e 。e 作为一个模式要求它所有元素的描述方法简单。 模式有很多种，按功能可分为两大类：预测型模式和描述型模式。而数据挖掘的 功能用于数据挖掘任务中指定要找的模式型式，所以数据挖掘的内容从大的方面 也可以分为两类：描述和预测。描述性挖掘任务刻画数据库中数据的一般特性， 预测性挖掘任务在当前数据上进行推断，以进行预测例。数据挖掘的具体内容 主要有以下几种： 1 概念类描述，即用汇总的、简洁的、方式描述每个类和概念。 2 关联分析：相关性分析。 3 分类和预测，通过分类可以找出描述并区分数据类或概念的模型( 或函 数) ，以便能够使用模型预测。预测包括值预测和基于可用数据的分布趋识别。 4 聚类分析，对象根据最大化类内相似性、最小化类闻相似性的原则进行聚 类或分组，所形成的每个聚类可以看作一个对象类。 5 演变分析，描述行为随时间变化的规律或趋势。并对其建模。 2 3 数据挖掘算法分类 数据挖掘的方法有： 1 、信息论方法：i d 3 方法、i b l e 方法等。 2 、集合论方法：粗糙集方法、概念树方法、a q 系列方法、a e s 方法等 3 、人工神经网络方法：前馈网络( 感知机、反向传播等) 、反馈式网络 ( h o p f i e l d 等) 、自组织网络( a r t 、k o h o n c n 等) 。 4 、遗传方法：优化方法、分类学习算法等。 5 、统计分析方法：相关分析、回归分析、差异分析、因子分析、聚类分析、 判别分析等。 6 武汉理工大学硕士学位论文 2 3 1 信息论方法 1 、i d 3 方法 它是利用信息论中互信息( 信息增益) 寻找数据库中具有最高信息增益的字 段，建立决策树的一个节点，再根据字段的不同取值建立树的分枝，在每个分枝 子集中重复建树的下层节点和分枝的过程，叶节点为正例( p ) 或反例( n ) ，这样 就建立了决策树。决策树的每个节点对应一个非类别属性，每条边对应该属性的 每个可能值。以信息熵的下降速度作为选取测试属性的标准，即所选的测试属性 是从根到当前节点的路径上尚未被考虑的具有最高信息增益的属性。国际上最有 影响和最早的决策树方法是q u i n l a n 研制的i d 3 方法。这种方法对越大的数据库 效果越好。以后在i d 3 方法的基础上又发展了各种决策树方法。 2 、i b l e 方法 它是利用信息论中信道容量，寻找数据库中信息量从大到小的多个字段的取 值建立决策规则树的一个节点。字段的取值是由译码函数按正例标准而决定的 值，字段的信道容量作为该字段的权值，节点中包含两个阈值( w 。，w p ) 。节点 中的多个字段名、权值、正例标准值、阈值共同构成了一个决策规则。权值之和 与两个阐值比较，按照小于w 。，w 。和w p 之间，大于w 。，分别建立左、中、 右三个分枝，在备分枝子集中重复建树节点和分枝，叶节点为正例( p ) 或反例( n ) 。 这就建立了决策规则树。i b l e 方法比i d 3 方法在识别率上提高了十个百分点。 2 3 2 集合论方法 1 、粗糙榘方法 粗糙集理论是一种刻划不完整性和不确定性的数学工具，能有效地分析不精 确，不一致( i n c o n s i s t e n t ) ，不完整( i n c o m p l e t e ) 等各种不完备的信息，还可以对 数据进行分析和推理，从中发现隐含的知识，揭示潜在的规律。租糙集理论是建 立在分类机制的基础上的，它将分类理解为在特定空间上的等价关系，而等价关 系构成了对该空间的划分。粗糙集理论将知识理解为对数据的划分，每个被划 分的集合称为概念。粗糙集理论的主要思想是利用已知的知识库，将不精确或不 确定的知识用已知的知识库中的知识来( 近似) 刻划。该理论与其他处理不确定 和不精确问题理论的最显著的区别是它无需提供问题所需处理的数据集合之外 的任何先验信息，所以对问题的不确定性的描述或处理可以说是比较客观的，由 于这个理论未能包含处理不精确或不确定原始数据的机制，所以这个理论与概率 论，模糊数学和证据理论等其他处理不确定或不精确问题的理论有很强的互补 性。 2 、概念树方法1 5 1 】 武汉理t 大学硕士学位论文 数据库中记录的属性字段按归类方式进行抽象，建立起来的层次结构称为概 念树。如“城市”概念树的最下层是具体市名或县名( 如长沙、南京等) ，它的 直接上层是省名( 湖南、江苏等) ，省名的直接上层是国家行政区( 华南、华东 等) ，再上层是国名( 中国、德国等) 。 利用概念树提升的方法可以大大浓缩数据库中的记录。对多个属性字段的概 念树提升，将得到高度概括的知识基表，再将它转换成规则。 3 、覆盖正例排斥反例方法 它是利用覆盖所有正例，排斥所有反例的思想来寻找规则。比较典型的有 m i c h a l s k 的a q l l 方法，洪家荣改进的a q l 5 方法以及洪家荣的a e 5 方法。 2 3 3 仿生物技术 1 、神经网络方法【1 5 1 它是模拟人脑神经元结构，以m p 模型和h e b b 学习规则为基础的，建立了 三大类多种神经网络模型。 ( 1 ) 前馈式网络：它含感知机、反向传播模型、函数型网络、模糊神经网络 等。此类网络可用于预测、模式识别等方面。 ( 2 ) 反馈式网络；它以h o p f i e l d 的离散模型和连续模型为代表，分别用于联 想记忆和优化计算。 ( 3 ) 自组织网络：它以a r t 模型、k o l o h e n 模型为代表，用于聚类。 神经网络的知识体现在网络联结的权值上，是一个分布式矩阵结构。神经网 络的学习体现在神经网络权值的逐步计算上f 包括反复迭代或者是累加计算) 。 2 、遗传算法【5 3 】 这是模拟生物进化过程的算法。它由三个基本算予组成： ( 1 ) 繁殖( 选择) ：从一个旧种群( 父代) 选择出生命力强的个体产生新种群 ( 后代) 的过程。 ( 2 1 交叉( 重组) ：选择两个不同个体( 染色体) 的部分( 基因) 进行交换， 形成新个体。 ( 3 ) 变异( 突变) ；对某些个体的某些基因进行变异( 1 变0 ，0 变i ) 。 遗传算法能够产生一群优良后代，这些后代力求满足适应值，经过若干代的 遗传，将得到满足要求的后代( 闯题的解) 。遗传算法已在优化计算和分类机器 学习方面发挥了显著的效果。 2 3 4 统计分析方法 利用统计学原理对数据库中的数据进行分析。有如下方法： 1 、相关分析和回归分析 8 武汉理t 大学硕士学位论文 相关分析是用相关系数来度量变量间的相关程度。回归分析是用数学方程来 表示变量问的数量关系，方法有线性回归和非线性回归。 2 、差异分析 从样本统计量的值得出的差异来确定总体参数之间是否存在差异( 假设检 验) 。典型方法为方差分析，它是通过分析实验数据中不同来源的变异对总体变 异的贡献的大小，确定实验中的可控因素( 自变量) 是否对实验结果( 因变量) 有重要影响。 3 、因子分析 它是用较少的综合变量来表达多个观察变量。根据相关性大小把变量分组， 使得同组内的变量之间相关较高，不同组变量问的相关较低。 4 、聚类分析 直接比较样本中备事物之问的性质，将性质相近的归为类，而将性质差别 比较大的分在不同的类。对变量聚类( r 型) 计算变量之间的相关系数。对样本 聚类( q 型) 计算样本间的距离。 5 、判别分析 建立一个或多个判别函数，并确定一个判别标准，然后对未知属性的对象， 根据测定的观测值，将其划归已知类别中的一类。判别准则有错误率最小或错误 损失最小等。 2 4 数据挖掘的过程 所有的数据挖掘系统都要有数据准备、执行挖掘算法和表达结果等几个阶 段。数据挖掘过程细分为以下几个步骤却i ： 1 、问题定义。 2 、数据的搜集、抽取和净化。 3 、数据引擎。 4 、算法引擎。 5 、运行数据挖掘算法。 6 、评估结果。 7 、重新精化数据和问题。 8 、使用结果进行决策。 ：述的8 个步骤在数据挖掘过程中要反复多次。见图2 1 所示，其中，每一 个步骤都是必不可少的。 武汉理工大学硕士学位论文 图2 - 1 数据挖掘过程图 1 0 武汉理工人学硕士学位论文 第三章销售决策支持子系统原理及体系结构 3 1 e r p 数据挖掘原理 e r p 数据库在运行过程中积累了大量的历史数据。e r p 数据挖掘就是在通 过抽取数据生成e r p 数据仓库的基础上，并转化和加载原有的数据得至u 特定数 据集，使用数据挖掘算法提取隐含在其中的、事先不知道的、但又是潜在的有用 信息和知识的过程。 e r p 数据挖掘不仅仅是对e r p 数据库简单的查询检索，而且要对这些数据 进行微观或宏观的统计、分析、综合和推理，以指导实际闯题，试图发现事件间 的相互关联，甚至利用已有的数据对未来的活动进行预测。它是一个利用各种分 析工具在海量数据中发现模型和数据间关系的过程，这些模型和关系可以用来做 出预测瞄j 。e r p 数据挖掘的基本原理可用如下的处理过程加以说明。 e r p 数据挖掘的过程可粗略地分为：问题定义、数据收集和预处理、数据挖 掘算法执行，以及结果的解释和评估 则。 1 问题定义 问题定义主要是指利用数据挖掘可以分析哪些问题。e r p 数据挖掘是为了在 e r p 运行中产生的大量的历史数据中发现潜在、的有用的信息，因此发现知识就 是整个过程中最重要的一个阶段。在这一步中，通常为未知的相关性指定一组变 量。如果可能，还会指定此相关性设定一些初始假设。对当前问题可能会有几个 阐明的假设。它要求将应用领域的专门技术和数据挖掘模型相结合，一方面明确 实际工作对数据挖掘的需求；另一方面通过对各种学习算法的对比进而确定可用 的学习算法。而后续的学习算法选择和数据集准备都是在此基础上进行的。 2 数据收集和数据预处理 数据准备可分为两个子步骤：数据预处理和数据变换。 ( 1 ) 数据预处理一般包括数据集成、数据清洗、数据变换和数据简化四个功 能。它们的主要任务是消除数据中存在着错误或异常的数据、缺少感兴趣的属性 的数据、数据内涵不一致的数据、推导计算缺僮数据、消除重复记录、完成数据 类型转换等；将来自多个数据源的数据合并到起构成一个完整的数据集：将一 种格式的数据转换为另一种格式的数据：通过删除冗余特征或聚类消除多余数 据，缩减数据规模。 数据清洗处理过程通常包括：填补遗漏的数据值、平滑有噪声数据、识别或 除去异常值，以及解决不一致问题。有问题的数据将会误导数据挖掘的搜索过程。 尽管人多数数据挖掘过程均包含有对不完全或噪声数据的处理，但它们稳定性并 不健壮且常常将处理的重点放在如何避免所挖掘出的模式对数据过分准确的描 武汉理工大学硕士学位论文 述上。因此使用一些数据清洗例程对待挖掘的数据进行预处理是十分必要的。当 数据挖掘的对象是数据仓库时，一般来说，数据预处理已经在生成数据仓库时完 成了。 ( 2 ) 数据变换的主要目的是消减数据维数或降维，即从初始特征中找出真正 有用的特征，以减少数据挖掘时要考虑的特征或变量个数。 3 数据挖掘 e r p 数据挖掘算法执行阶段首先根据对问题的定义明确挖掘的任务和目的， 确定了挖掘任务后，就要决定使用什么样的算法。选择实现算法有两个考虑因素： 一是不同的数据有不同的特点，因此需要用与之相关豹算法来挖掘；二是用户或 e r p 系统的要求，有的用户可能希望获取描述型的容易理解的知识，而有的用户 只是希望获取预测准确度尽可能高的预测型知识，并不在意获取的知识是否易于 理解。而一般每个算法都包含有四个组件【5 1 l ： ( 1 1 模型或模式结构：决定要从数据中寻找的潜在结构或者函数形式。 f 2 ) 评分函数：鉴定一个已拟合模型的质量。 r 3 ) 优化和搜索策略：优化评分函数并对不同的模型和模式结构进行搜索。 ( 4 ) 数据管理策略：在搜索和优化期间高效地处理数据访问问题。 4 结果解释和评估 e r p 数据挖掘阶段发现出来的模式，经过评估，可能存在冗余或无关的模式。 这时就需要将其剔除；也有可能某些模式不满足用户的需求，这时则需要整个发 现过程返回到前一阶段，如重新选取数据、采用新的数据变换方法、设定新的参 数值，甚至换一种算法等。 本文基于传动机械e r p 系统建立一个销售决策支持子系统。为在e r p 系统 中实现数据挖掘技术进行了一次尝试和探索。 3 2 销售决策支持系统的体系结构 由于该企业的e r p 系统中销售部分从企业实际情况出发，兼顾了与生产管 理、库存管理和质量管理部分的衔接，充分解决了这些困扰企业的问题，其关系 图如图3 - 1 所示。 与某客户有关的销售合同的内容是什么? 客户在付款方面的表现如何? 某段时间内，产品的销售流向情况如何? 如何及时调整产品的报价? 能否直接为销售订单分配库存? 怎样知道某产品在某段时洲内的可签合同数量? 武汉理工大学硕士学位论文 怎样知道某一产品在一段时间内的预计出货情况? 怎样知道客户是否有足够的信用度来执行合同或提取货物? 如果缺货，最早什么时间可给客户付货? 能否随时掌握每张销售合同的执行情况( 交货量，收款额等) ? 怎样找到哪些订单已过交货期但仍未付货? 怎样使销售发票直接生成财务凭证? 哪种产品退货最多? 哪种产品被哪个客户订购了多少? 哪种产品销售收入最多? 哪种产品获利润最大? 哪种产品哪个地区购买的最多? 哪种产品哪类客户购买的最多? 哪个销售员签订的订单额最大? 每个销售员收回的货款情况如何? 能否知道仓库中的某一批产品销售给哪些客户? 控制分轿i| 市场歼发ll 镄嚣暇势 辩旧巫 警 = = = = = = 型销售臀褒 订举 尹一 衔爱赞 j 喳一仓障管理 台格晶 。情况 嚣户梢案 图3 - 销售关系结构图 基于前面所述的e r p 数据挖掘基本原理可知，完整的e r p 数据挖掘系统的 体系结构组成，如图3 2 所示。 圆一阡圆 武汉理工大学硕士学位论文 数据挖掘数据仓库 j g 黼 i f 德蔗 图3 - 2e r p 数据挖掘系统体系结构 其中主要包含以下主要部件： 1 数据挖掘数据仓库或其它信息库，它表示数据挖掘对象是由一个( 或一组) 数据库、数据仓库、数据表单或其它信息数据库组成。通常需要使用数据清洗和 数据集成操作，对这些数据对象进行初步的处理。数据仓库服务器，这类服务器 负责根据用户的数据挖掘请求，读取相关的数据。 2 数据挖掘引擎，这是数据挖掘系统的最基本部件，它通常包含一组挖掘功 能模块，以便完成定性归纳、关联分析、分类归纳、迸化计算和偏差分析等挖掘 功能。 3 模式评分模块，该模块可根据趣味标准，协助数据挖掘模块聚焦挖掘更有 意义的模式知识。当然该模块能否与数据挖掘模块有机结合，与数据挖掘模块所 使用的具体挖掘算法有关。显然若数据挖掘算法能够与知识评分函数有机结合将 有助提高其数据挖掘的效率。 4 可视化用户界面，该模块帮助用户与数据挖掘系统本身进行沟通交流。一 方面用户通过该模块将自己的挖掘要求或任务提交给挖掘系统，以及提供挖掘搜 1 4 武汉理工大学硕i ：学位论文 索所需要的相关知识：另一方面系统通过该模块向用户展示或解释数据挖掘的结 果或中间结果；此外该模块也可以帮助用户浏览数据对象内容与数据定义模式、 评估所挖掘出的模式知识，以及以多种形式展示挖掘出的模式知识。 3 3e r p 销售决策支持系统中构建数据仓库 e r p 软件涵盖了商业事务的各个部分。在处理事务方面，应用程序管理着客 户和企业间详细的交互过程。通过这种方式进行付费、订货、出货和产品制造。 e r p 应用是所有商业运行的中心环节，但对于e r p 来说，像非e r p 系统一样， 事务处理仅仅是信息处理的开始，所以数据仓库还是必要的。 因为已经有了e r p ，现在面临一个选择：是在e r p 系统内部建立数据仓库； 还是在e r p 系统外部重新建立数据仓库? 而且构建何种模式的数据仓库? 3 3 1 在e r p 内部构建数据仓库 e r p 数据仓库的构建方法很多，包括：数据仓库之外的e r p 应用系统、建 造在e r p 内部的数据仓库、通过e r p 和非e r p 系统为数据仓库提供数据、面向 e r p 的企业数据仓库，这些方法都有各自的优缺点。考虑到经济和技术问题，在 这里采用在e r p 中构建数据仓库，因为它们的基础架构有很多类似的地方： 1 都用于在分布式大量数据存储，并提供高度的集成。 2 都为大范围用户提供很好的可访问性。 3 都适用于高度分布和扩展的应用。 现在e r p 厂商开始同时提供e r p 和数据仓库，如果把数据仓库建立在e r p 内部，显然是一个很方便的方案，本文选择在e r p 内部构建数据仓库。 3 3 2 数据仓库的系统开发生命周期 e r p 销售中所需的决策需求在开发生命周期后期才能明确，是一个逐步清晰 的过程，数据仓库的需求也是如此，因此，应该采用逐步完善的原型法来构建数 据仓库，从构建简单的基本原型开始，先在大致的系统边界内开发最迫切需要的 部分，尽快让系统运行起来，在系统运行中，根据用户的反馈进一步完善整个系 统。显然数据仓库的开发是一个迭代过程，在一个循环中，其一般步骤为： 1 设计概念模型。 2 技术准备工作。 3 设计逻辑模型。 4 没计物理模型。 5 生成数据仓库。 6 运行与维护数据仓库。 武汉理工大学硕士学位论文 e r p 本身是一个集成的系统，它会给数据仓库的构建带来重大影响。下面以 这六个主要设计步骤为主线，结合浙江某传动机械有限公司的e r p 系统，介绍 在e r p 内部构建销售数据仓库的一般过程。 3 3 3 数据仓库的系统结构 数据仓库一般采用三层结构，如图3 3 所示。 图3 3 三层数据仓库结构 1 底层是仓库数据库服务器，它是一个关系数据库系统。使用称作网问连接 程序的应用程序。由操作数据库和外部数据源( 如由外部咨询者提供的顾客侧面 信息) 提取数据。网间连接程序由下面的d b m s 支持，允许客户程序产个s q l 代码，在服务器上执行。网间连接程序的例子包括o d b c ( 开放数据库连接) 和 微软的0 ie d b ( 数据库开放链接相嵌入) 。 2 中间层是o l a p 服务器。即关系型o l a p 僻o l g v ) 模型即扩充的关系 d b m s ，它将多维数据上的操作映射为标准的关系操作。 3 顶层是客户端，它包括咨询和报告工具、分析工具和数据挖掘工具( 例 如客j o 细分，趋势分析、预测) 。 武汉理工太学碗 _ 学位论文 4 1 分类 第四章决策树算法 分类1 7 l ( d a s s 访c a t j o n ) 的主要目的是分析输入数据，通过在训练集中的数据表 现出来的特性，为每个类别构造一个分类函数或分类模型( 分类器) ，该模型能 把训练集中的数据项映射到某一个给定类别。由此生成的类描述用来对未来的测 试数据进行分类。尽管这些未来的测试数据的类标签是未知的，我们仍然可以由 此预测这些新数据所属的类，但是不能肯定。我们可以由此对数据中的每个类有 更好的理解，或者说，我们获得关于这个类的知识。 分类是就是为了理解事物特征并做出预测，使用历史数据建立个分类模型 ( 即分类器) 的过程。首先从数据中选出已分好类的训练集，然后在该训练集上 运用数据挖掘类的技术，建立分类模型，最后对没有分类的数据进行分类。分类 的一般步骤分为： 1 模型创建t 对一个类别已经确定的模型创建模型。每条记录都属于一个确 定的类别，我们使用类标签，记录属性类别。用于创建模型的数据叫训练集 ( t r a i n i n gs e t ) 。训练集是由一条条的数据源记录( r e c o r d ) 组成的。一条记录包含了 若干个属性( a l 抽u t e ) 而组成一个特征向量。训练集的每条记录还有一个特定的类 标签( c l a s sl a b e l ) 与之对应。模型可以用分类规则、决策树，或者数学方程的形式 来表达。 2 模型使用：用创建的模型预测未来或者类型未知的记录，估计模型的准 确率，使用创建的模型在一个测试集上进行预测，并将结果和实际值进行比较。 用于测试模型的数据集叫测试集。在比较时要注意测试集和训练集是独立的。 4 2 决策树描述 决策树( d e c i s i o nt r e e ) 学习足以实例为基础的归纳学习算法。它着眼于从一 组无敬序、无规则的事例中推理出决策树表示形成的分类规则。它采用自项向下 的递归方式，在决策树