（计算机应用技术专业论文）基于数据挖掘的采购决策支持系统的研究.pdf

摘要 采购管理是企业管理的重要组成部分，管理的优劣直接关系到企业的运作 效率和竞争力。 不同的原材料在企业生产中占有不同的地位，直接影响到企业的库存状态 和采购计划的制定，所以，将原材料进行分类，对采购具有很重要的意义。本 文采用决策树的方法将原材料按a b c 分类的原理进行分类，来确定原材料的类 型。供应商的管理在采购管理中占有很重要的地位，直接影响到企业生产能否 顺利进行以及产品的最终成本，对供应商进行科学的管理，是采购管理的重要 内容。本文在基于供应商聚类的基础上进行供应商的管理。 本文先介绍了采购与数据挖掘的相关内容，采购主要包括物料采购计划的 制定与供应商的管理，供应商管理的内容主要包括供应库的建立、供应商关系 的管理、供应商的评估与选择。数据挖掘主要介绍了挖掘的算法与技术。 基于决策树的材料分类，主要介绍了原材料a b c 分类的原理，决策树的基 本原理，以及c a 5 算法的基本内容，采用通过信息增益比选择当前最佳划分属 性的方法来构建决策树，叙述了整个建树的过程，包括主属性的确定、数据的 预处理、属性相关性分析、属性信息增益比例的计算、决策树的剪枝和决策树 的测试，以及规则的提取。 基于聚类的供应商管理，主要介绍了k 平均算法的内容以及对l - 平均算法 的改进和性能分析，供应商评价体系的建立，以及数据集中明显孤立点的去除， 并应用改进的算法利用评价指标体系对供应商进行聚类，在聚类的基础上制定 与各个类型供应商的发展关系，根据企业给定的指标值选择供应商以及优化供 应库。 最后，利用某印刷企业的采购决策支持系统为案例，利用d e l p l l j 和s q l s e r v e r2 0 0 0 为开发工具，将决策树与聚类的方法应用到该决策支持系统中，进 一步论述了这两种数据挖掘方法设计、实现以及应用的全过程。 关键词：采购管理，决策树，聚类，数据挖掘，评价指标，决策支持系统 a b s t r a c t p u r c h a s i n gm a n a g e m e n ti s a l li m p o r t a n tp a r to fe n t e r p r i s em a n a g e m e n t t h e m a n a g e m e n tt h a t i se x c e l l e n to rb a di n d i r e c t l ya f f e c t st h ee n t e r p r i s e so p e r a t i o n e f f i c i e n c ya n dc o m p e t e n c e d i f f e r e n tm a t e r i a lh a sd i f f e r e n ti m p o r t a n c ei ne n t e r p r i s e sp r o d u c t i o n i t i n d i r e c t l ya f f e c t se n t e r p r i s e ss t o c ks t a t ea n dp u r c h a s i n gp l a n s o ，i th a si m p o r t a n t s i g n i f i c a n c ef o rp u r c h a s i n gt oc l a s s i f ym a t e r i a l i tu s e sd e c i s i o nt r e e t oc l a s s i f y m a t e r i a la c c o r d i n gt op r i n c i p l eo fa b c d a s s i l y i n gi nt h et h e s i st od e c i d et h et y p eo f m a t e r i a l m a n a g e m e n to fs u p p l i e rp l a y si m p o r t a n tr o l ei ne n t e r p r i s em a n a g e m e n t i t i n d i r e c t l ya f f e c t sp r o d u c t sf i n a lc o s ta n di ft h ee n t e r p r i s e sm a n u f a c t u r e 啪g oo n f a v o r a b l y i t i sa ni m p o r t a n tm a t t e rt o m a n a g es u p p l i e rs c i e n t i f i c a l l y t h e m a n a g e m e n to fs u p p l i e ri sb a s e do nc l u s t e r i n go fs u p p l i e ri nt h ep a p e r t h ep a p e rf i r s ti n t r o d u c e ss o m ec o r r e l a t i v ec o n t e n to fp u r c h a s i n ga n dd a t a m i n i n g p u r c h a s i n gm a i n l y i n c l u d e s m a k i n gp u r c h a s i n gp l a n a n d s u p p l i e r m a n a g e m e n t , a n ds u p p l i e rm a n a g e m e n tm a i ni n c l u d e ss e t t i n gu ps u p p l yb a s e ， s u p p l i e rr e l a t i o n s h i p sm a n a g e m e n t ，s u p p l i e r se v a l u a t i o na n ds u p p l i e r ss e l e c t i o n p a r to fd a t am i n i n gm a i n l yi n t r o d u c e sa r i t h m e t i ca n dt e c h n o l o g yo fm i n i n g c l a s s i f y i n go f m a t e r i a lb a s e so nd e c i s i o nt r e e ，i tm a i n l yi n t r o d u c e st h ep r i n c i p l e o fa b c c l a s s i f y i n gf o rm a t e r i a l ，b a s i cp r i n c i p l eo fd e c i s i o nt r e ea n db a s i cc o n t e n to f c 4 5a l g o r i t h m i tc h o o s e st h eb e s tp a r t i t i o na t t r i b u t ea c c o r d i n gt oi n f o r m a t i o np l u s r a t i o nt os e tu pad e c i s i o nt r e e i td e p i c t st h ea l lp r o c e s so fs e t t i n gu pt h et r e ew h i c h m a i n l yi n c l u d e sc o n f i r m i n gm a i na t t r i b u t e ，d a t a sp r e t r e a t m e n t ，a t t r i b u t er e l a t i v i t y s a n a l y s i s ，i n f o r m a t i o np l u sr a t i o n sc a l c u l a t i o n ，d e c i s i o nt r e e sp r u n ea n dt e s t ，a n d d i s t i l l i n gr o l e s m a n a g e m e n to fs u p p l i e rb a s e so nc l u s t e r i n g ，i tm a i n l yi n t r o d u c e sc o n t e n to f k - a v e r a g ea l g o r i t h m ，i m p r o v e m e n ta n dc a p a b i l i t ya n a l y s i so fk - a v e r a g ea l g o r i t h m ， f o u n d a t i o no fs u p p l i e re v a l u a t i o ns y s t e m ，a n dt a k i n go b v i o u si s o l a t e dp o i n to u to f d a t as e t i tu s e st h ei m p r o v e da l g o r i t h mt od u s t e rs u p p l i e rw i t he v a l u a t i o nc r i t e r i o n , t of r a m ed e v e l o p m e n tr e l a t i o n s h i pw i t hd i f f e r e n tk i n do fs u p p l i e r , s e l e c ts u p p l i e r a c c o r d i n gt o c r i t e r i o ng i v e nb ye n t e r p r i s ea n do p t i m i z e s u p p l yb a s eb a s e do n c l u s t e r i n g f i n a l l y , i tu t i l i z e sap u r c h a s i n gd e c i s i o ns u p p o r ts y s t e mo fap r i n t i n ge n t e r p r i s e a sac a s e ，a n du s e sd e l p h ia n ds q ls e r v e r2 0 0 0a ne x p l o i t a t i o nt o o l ，t om a k eu s eo f d e c i s i o nt r e ea n dc l u s t e r i n gm e t h o di nt h ed e c i s i o ns u p p o r ts y s t e m i tf a r t h e r d i s c u s s e st h et o t a lp r o c e s so fd e s i g n , i m p l e m e n t a t i o na n da p p l i c a t i o no ft h et w ok i n d s o fd a t am i n i n gm e t h o d k e yw o r d s ：p u r c h a s i n gm a n a g e m e n t ，d e c i s i o nt r e e ，c l u s t e r i n g ，d a t am i n i n g ， e v a l u a t i o nc r i t e r i o n ，d e c i s i o ns u p p o r ts y s t e m 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得石家庄铁道学院或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 签名：避日期： 关于论文使用授权的说明 丝盟：i ：步 本人完全了解石家庄铁道学院有关保留、使用学位论文的规定， 即：学院有权保留送交论文的复印件，允许论文被查阅和借阅；学校 可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手 段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：精师签名：篓鲨日期：幽：少 第一章绪论 1 1 研究背景 第一章绪论 采购管理是企业管理的重要组成部分。在世界范围内，对于一个典型的企 业，一般采购成本要占6 0 。而在中国的工业企业，各种物资的采购成本要占到 企业销售成本的7 叫“，所以，加强采购管理对于提高企业管理水平、降低产品 成本有着重要的作用。 2 0 世纪9 0 年代以来，经济全球化进程中的企业越来越深刻认识到采购职能 对提高企业运作效率和增强竞争力的巨大潜力。进入2 1 世纪以后，采购管理职 能迸一步与企业所有业务过程整合，采购也从以交易为基础的战术职能上升为 以流程为导向的战略职能。采购管理作为企业价值链中的重要一环，不论从成 本和质量的角度，还是从交货和敏捷性上考虑，都对企业竞争力的提升具有重 要的意义1 2 , 3 1 。 随着我国社会主义市场经济体制的确立，改革开放的不断深化和经济建设 的蓬勃发展，企业，尤其是工业企业正向经营型和外向型的现代企业转变，决 策已逐步成为我国企业管理工作的核心和重点。由于现代企业不再是一个封闭 性的生产型企业，而是一个与其外部经济体系有着广泛联系的开放性系统，涉 及到的因素很多，且具有很大的不确定性。显然，传统的、凭借个人经验和知 识的管理理论、方法均己不能满足形势发展的需要。只有现代企业决策理论、 决策方法和决策工具的有机结合，才是正确进行现代企业决策的重要保证【4 】。 现在，由于大型数据系统的广泛使用和把数据转换成有用知识的迫切需要， 数据挖掘吸引了越来越多的专家学者的研究兴趣和引起了商业厂家的广泛关 注。目前，由于各种新型技术与数据库技术的有机结合，使数据库领域中的新 内容、新应用、新技术层出不穷，形成了庞大的数据库家族。但是，这些数据 库的应用都是以实时查询处理技术为基础的【5 1 。从本质上说，查询是对数据库的 被动使用。由于简单查询只是数据库内容的选择性输出，因此，它和人们希望 的分析预测、决策支持等高级应用仍有很大距离。 第一章绪论 近年来，由于数据采集技术的更新，产生了大规模的数据。数以百万计的 数据库系统在运行，而且每天都在增加。决策所面对的数据量在不断增长，随 着数据的急剧增长，现有的信息管理系统中的数据分析工具已无法适应新的需 求，因为无论是查询、统计还是报表，其处理方式都是对指定的数据进行简单 的数字处理，丽不能对这些数据所包含的信息进行提取。人们希望能够提供更 高层次的数据分析功能，自动和智能地将待处理的数据转化成有用的信息1 6 胴。 1 2 选题意义 在企业的采购业务数据库中，随着企业采购业务的进行，会积累下来大量 有关原材料方面与供应商方面的数据。企业在原材料采购决策时，很难从单纯 积累的数据中，较容易的直接得到有助于决策的信息。所以，决策者希望通过 一定的方法，从大量的数据中得到有用的信息，来辅助采购决策的制定嘲。 原材料采购数量的确定、采购时间的确定，以及原材料供应商的确定，是 采购决策的主要任务。 不同的原材料在企业的生产过程中占有不同的地位，原材料采购数量、采 购时间的确定，与原材料在企业生产过程中的重要程度有关。所以，需要对原 材料进行分类，来确定原材料在企业生产中的重要程度，实现对原材料进行分 别控制与管理，并因此制定相应的采购决策。 利用数据挖掘中的决策树，对原材料进行a b c 分类，可以准确地将原材料 进行分类，并对新的原材料的类型进行预测，并能挖掘出决策者直接观察不出 的信息来。这样，可以通过原材料的类型，对不同类型的原材料制定不同的采 购决策，来提高采购决策的效率和准确性，降低原材料的采购成本。 供应商的选择也是采购决策的一个重要组成部分，供应商选择是否合理， 不仅影响到企业原材料的采购成本，生产是否能顺利进行，而且影响到企业在 供应链中的总体竞争能力。所以，企业需要对供应商进行科学的管理，建立合 理的评价指标，并定期对供应商进行评价。 利用数据挖掘中的聚类法将供应商进行聚类，企业可从聚类的结果中，明 确企业重要的并可长期合作的供应商，有潜力成为重要合作伙伴的供应商，可 作为候补的供应商，以及随时可以从供应库中删除的供应商，从而实现对供应 商的分别管理。在进行供应商选择时，可依据聚类结果进行选择，这样既可以 第一章绪论 全面的考虑供应商各个方面的因素，还可以灵活的选择评价指标，避免了决策 者直接通过计算或观察来选择供应商的繁重的工作量和较大的误差。提高了采 购决策的效率和准确性，降低了原材料的采购成本，保证了企业生产的顺利进 行。 1 3 国内外研究现状 物料采购管理是企业管理中很重要的部分，现国内外都有很多的研究，研 究成果主要如下。 1 3 1 物料采购优化决策和安全库存量 在满足生产需求、保证质量和及时交货的前提下，如何确定每次物料的最 佳采购批量、采购周期，以使物料的订货成本和存储成本最低，以及在发出订 单到订货入库的提前期内，物料的实际需求存在着一定的不确定性，所以，企 业应保存有一定的库存备用量川。常用的采购决策方法有： ( 1 ) 经济批量采购决策 经济批量法( e c o n o m i co r d e rq u a n t i t y ，e o q ) 是指定购某种物料过程中， 使各种相关费用之和最低的一种批量定购法，这里的费用主要包括订货费用和 储存费用【4 】。采购的总费用= 价格费用+ 订货费用+ 储存费用。设d 为需求量， 为单位物料的价格费用，为单位存货的储存费用，s 为每次的订货费用，p 为订购批量，则决策期的订购次数可以用决策期的需求量除以每次订购的批量 得到，即为：0 i 0 由此可以计算得每个决策期的储存成本为妣，每个决策期 的订货费用为以5 旭决策期的总费用以形表示，则 形。肋+ 旦s + 垒h ( 1 - 1 ) q 2 欲确定使总费用最小的订购批量，可对上市中的自变量驴求一阶导数，并 令该一阶导数为零，即由 生坠。o + 竺+ 旦0 0 s0( 1 2 一、2l + + 一l l a qq 2 2 可以解得 第一章绪论 ，、历西 1 f 百 ( 1 3 ) t 即为j 便思费用达剑最小的最佳刃购的批量，通常也称为经济批量。进而可 以算得最佳订货批次 。呈。、f 丝 ( 取近似整数)( 1 - 4 ) f 一戢近似翌鳅j i - 4j q 唧v2 5 最佳订货周期 r - 警等一决策周期属 c ，固 再y 盯 经济批量订馈模犁如图1 1 所示 现有库存量 订货点q 图1 - 1 经济批量订货模型 量q 2 由图可以看出，订购批量为锄。也就是库存量的最大值，订货点为q ，平 均库存量为q 2 ，订货提前期为个单位时间，d 为单位时间需求量，根据假设 条件提前期是固定的，则再订货点q - d l 。 ( 2 ) 缓冲量采购决策 缓冲量采购决策是为了避免订货到达之前供应不足的情况，采购时考虑一 定的安全缓冲量或安全库存量，有效地避免在订货提前期内出现缺货的风险， 减低因缺货而造成的损失，即短缺费用。 安全缓冲量的大小取决于企业设定的安全水平。安全水平是指存货可以满 足需求的概率。即安全水平= 卜缺货风险。 第一章绪论 考虑安全缓冲量的采购决策，应注意以下因素： 安全缓冲存货量越大，缺货风险越低，但储存费用越高；而且随着用于 缓冲存货的资金投入不断加大，其对安全水平的提高出现边际效应递减现象。 对于安全缓冲量的采购决策，取决于企业期待的安全水平和决策方法。 缓冲量采购决策模型如图1 - 2 所示 现有库存量 订货点q 图卜2 带有缓冲量的经济批量模型 量q 2 安全水平、安全缓冲量和采购批量是相互影响的。在一个相对稳定的区间， 需求量通常服从正态分布，设单位时间需求量的平均值为d 标准差为o r ，缺货 风险为a ，安全水平为卜a ，则提前期内的需求量，将服从期望值为，。l x d 标准差为盯，l 盯2 的正态分布，缺货风险概率可以定义为 p 溉之b + l x d t 吐 ( 1 - 6 ) 转化为服从( 0 ，1 ) 的标准化正态分布得 p f 生：丝乏旦 a ( 1 - 7 ) i 吼 o r lj 对于给定的口，可以通过正态分布表查得z 。的值，由 第一章绪论 生丝之旦芑z 。 o lo l ( 1 8 ) 计算可解得指定安全水平下的缓冲量b ；z 。x 盯，。所以再订货点为 q 4 一l x d + bt l x d4 - z 。d f ( 1 9 ) ( 3 ) 按需批量采购决策 按需批量法是指物料订购的批量等于净需求量，也称直接需求法。这种确 定批量的计算方法往往是用于订购数量和时间基本上能够给予保证的物料，或 者所需物料的价值较高，不允许过多地生产或保存的物料。它的特点是： 订购批量恰好与净需求量相匹配： - 产出量恰好就是单位时间需求量，而不会产生剩余转到未来时区； _ 由于订购批量等于净需求量，所以，储存费用最小； _ 订货费用和能力限制可忽略不计； ( 4 ) 最小总费用采购决策 最小总费用法是一种动态确定订货批量的方法，其原理是比较不同的订货 量所对应的储存费用和订货费用，当两个值越是接近时，其所对应的采购方案 总费用就越小，从中选择使二者尽可能接近的订货批量，就是所求的解。 ( 5 ) 最小单位费用采购决策 最小单位费用法和最小总费用法一样，也是一种动态确定订货批量的方法。 这种的算法是将不同订货量的单位费用( 订货费用和储存费用相加，再除以订 货量) 进行比较，选择单位费用最小的订货批量作为最优订货量，其结果和最 小总费用法得到的结果相同。 ( 6 ) 批量价格折扣采购决策 批量价格折扣模型和经济批量订货模型本质上原理是相同的，都是通过确 定采购批量来促使一定周期内采购的总费用最低，要求需求是连续分布的，不 同点在于批量价格折扣模型适用于周期内物料价格是随着批量大小不同而变动 的，而经济批量订货模型则假定周期内物料价格是固定不变的。因此，批量价 格折扣模型是一种价格随订货批量变动而变化的订货模型，其求解的基本思想 是根据供应商提供的批量价格折扣，再计算出不同价格水平下的经济订货量及 其对应的总费用，总费用最小的订货量就是最优的订货量。 第一章绪论 1 3 2 数据挖掘与采购决策支持 随着数据挖掘的广泛应用，以及采购决策支持对数据挖掘的需要，数据挖 掘在采购决策支持中，已有相关的应用。 ( 1 ) 基于支持向量机的采购决策 支持向量机( s u p p o r tv e c t o rm a c h i n e ，简称s v m ) 是数据挖掘的一种新方 法，它是c o r t e s 和v a p n i k 于1 9 9 5 年提出来的。已成为近年来机器学习研究的 一项重大成果，它的理论基础是统计学习理论和最优化理论。支持向量机是已 知训练一集构造优化模型一求解优化模型一构造决策函数，用决策函数对实际 问题进行决策1 9 j 。 该方法主要应用于商场商品采购决策支持中。设训练集 r 一，y 1 ) ，y ，) ，恹4 l ，y ，g a e x i 。仁f l ，哪2 ) e r 一是第f 次采购计 划，售出后盈利时e - 1 ，否则为一1 。由此构造并求解最优化问题： m m 詈喜妻y i y a t a g ，工，) 圭口， 二j - 1 ，- 1 。 i 一- 1 。 y y i a j 一0 a 羞0 ，f = 1 ，2 ，倚z 最仉胖i - 1 a 。仁j ，a 2 口f4 尸，计算 矿一) ，f a f 毛 ( 1 一a o ) ( 1 1 1 ) ( 1 - 1 2 ) 选择口的一个正分量a 。，并据此计算 ， b + - y ，一2 y i a i + ( x i x j ) ) ( 卜1 3 ) i - 1 由此求得决策函数 f ( x ) 一s 印( 省) + 6 ) ( 1 1 4 ) 对任何一个采购计划工一0 ，口2 口。) 代入厂o ) ，若，b ) ；1 表示盈利，该计 划可行，否则不可行。 ( 2 ) 基于加权支持向量机的采购决策 支持向量机的核心是最优化模型，是一个二次规划问题，加权支持向量机 是对最优化模型中不同的训练点赋之以不同的权重g ，然后给出二次新规划模 型，由此构造出一般加权支持向量机、加权中心支持向量机和加权推理型支持 向量机i 埘。 第一章绪论 在采购决策中，训练点的选取以及决策函数的构造和向量机相同，只是在 模型中对采购的商品赋予了一定的权重系数。一般支持向量机已有通用计算机 软件加权支持向量机作为新的数据挖掘方法目前还没有通用的软件使用 时只需把一般支持向量机通用软件中的优化模型引入权重系数加以改造即可 使用。 ( 3 ) 融合案例推理和规则推理的采购决策 基于案例的推理是通过回忆以前曾成功解决过的相似问题，比较新、旧问 题发生的背景和时间等差异，经过一系列的调整、修改后重新使用以前的知识 和信息以解决当前待处理问题【1 1 j 。它主要分为四个阶段： 获取相似的旧案例( r e t r i e v e ) ：推理系统通过一系列的搜索和相似度的计 算，将案例库中的案例过滤，取出与本次待解问题最相似的若干案例。 使用获取案例中的信息和知识提出解决方案( r e u s e ) ：推理系统比较新、旧 案例的差异，将被用户选取认可案例的解决方案略加修改后提交给用户。 对解决方案修改或重新设计( r e v i s e ) ：若用户对前阶段系统给出的方案不 满意，推理系统则将此方案进行修改或重新设计后提交给用户。如果用户仍不 满意或推理系统认为调整修改的代价太大，则停止此阶段工作。 回收新案例( r e t a i n ) ：保留这次工作中有价值的经验和知识，分析新案例， 若有必要则将其纳入案例库中。 通过以上四个步骤的推理，便可以根据以往的采购经验对现时采购提出有 效、及时的建议。 ( 4 ) 基于神经网络的采购决策 该方法主要是在采购决策中，用于供应商的选择。用到的数据挖掘算法是 b p 神经网络，通过建立供应商评价体系，得到一定量的训练数据，利用训练数 据构建网络，并对网络进行训练，使得输入值满足输出要求。在进行供应商选 择时，可利用b p 神经网络进行选择。 以上基于数据挖掘的采购决策支持，都是适用于一定范围的采购决策，不 能普遍适用于各行各业的采购决策中，而且有的挖掘方法现在只是有一定的理 论基础以及思想，从技术上还很难实现。根据实际的项目需要，以上数据挖掘 都不能解决采购中需要解决的问题，即材料的分类和供应商的灵活选择。 随着数据挖掘技术的提高，已有很多的挖掘算法应用到了各行各业的采购 决策支持中。 第一章绪论 1 4 论文主要工作 基于目前的研究现状和开发项目的实际情况，论文的主要工作有： ( 1 ) 查阅相关文献和书籍，理解采购决策支持的原理，数据挖掘在采购决策 支持中的应用现状。并结合实际的开发项目，找出决策需要解决的问题，并得 到解决问题的方案，即需要使用的数据挖掘算法。 ( 2 ) 根据解决方案，学习和研究需要使用的数据挖掘算法。同时结合现有项 目的数据，通过数据预处理为数据挖掘提供适合于挖掘的数据。 ( 3 ) 深入研究了c 4 5 决策树的基本原理，通过构建决策树，来确定原材料的 类型。主要研究了整个建树的过程，包括主属性的确定、数据的预处理、属性 相关性分析以及属性的信息增益比例的具体计算，最后介绍了决策树的剪枝和 决策树的测试。 ( 4 ) 深入研究了聚类法的基本原理，缸平均算法的基本思想，并结合实际开 发项目对“平均算法进行了改进，对改进的算法进行了性能分析，并对其在系 统中的可行性进行了分析与验证。研究了露平均算法用于聚类的过程，包括聚 类属性的确定、分类数目k 值的确定以及度量标准的确定。通过对实际项目数据 的分析，得出了明显孤立点的去除方法一中心点距离法。 ( 5 ) 研究如何将决策树算法与聚类算法应用到印刷企业决策支持系统中，如 何利用这两种数据挖掘算法，给决策者提供有助于制定采购决策的信息。包括 系统界面的设置，挖掘结果的显示形式，以及挖掘结果在系统中的应用。 最后是对论文的总结与以后发展方向的展望。 第二章物料采购决策与数据挖掘 第二章物料采购决策与数据挖掘 2 1 物料采购决策 在现代企业的生产经营活动过程中，物料是企业价值链中极其重要的一环， 物料采购决策占有十分重要的地位。 所谓物料：是指与企业生产经营有关的原材料、附件、半成品、包装材料、 产品说明书等有形的物品。按需求的来源不同，企业内部的物料可分为独立需 求和相关需求两种类型。独立需求是指需求量和需求时间由企业外部需求来决 定的物料，如；客户订购的产品、科研试制需要的样品、售后维修需要的备品 备件等；相关需求是指根据物料之间的结构组成关系，由独立需求物料所产生 的需求，例如：半成品、零部件、原材料等的需求【4 】。 为保证企业生产经营活动的连续性，企业必须根据生产经营的需要，计算 物料的需求数量和需求时间，制定物料的需求计划，采购足够数量的物料。如 果材料采购数量不足，就会由于物料库存短缺而造成停工待料。这样，就会可 能由于物料供应不足，产品生产不能满足市场需求而造成销售损失，或由于不 能按照合同如期交货，造成赔偿损失，损害企业信誉。同时，物料从采购开始 到进入企业仓库为止，要经过很多环节，支付各种费用，其中包括采购部门的 订货费、质检部门的质检费等，这些费用一般都与物料的采购次数成正相关关 系，与物料的采购批量成负相关关系。如果每次采购的批量较大，在一定时间 内的采购次数就可以减少，采购费用也就较少。另外，在很多场合下，对于较 大批量的采购还会有批量价格折扣问题，因此，物料采购决策需要考虑多个方 面的因素。 首先是每次物料采购的批量多少为宜就成了首选问题。由于物料的储存都 要占用一定的流动资金、储存场地，且需要人员保管，物料本身也有可能会因 为气候等原因而发生损坏、变质、散失等各种情况，这些都会发生一定的费用。 所以，物料采购决策的基本任务，就是要根据企业生产经营的实际物料需求， 确定合理的物料采购批量，以降低企业的生产经营成本【”】。 其次是除要确定物料的采购批量外，另一重要的问题是物料订货应在何时 一l o - 第二章物料采购决策与数据挖掘 进行，也就是说，当实际物料库存量处在怎样的水平时，订货应立即进行。由 于从订货到进货需要有一段时间，如果在订货时的实际物料库存量大大地超过 了这段时间的需要量，或者反过来，实际物料库存量小于需要量，显然都是不 经济的，而在实际情况中，任一时刻对于某种物料的需求量可能是确定的，也 可能是不确定的，所以，还必须备有一定的储备量。因而，物料采购决策的另 一基本任务就在于根据不同情况，找出在订货时物料应具有的最为合理的库存 水平1 1 4 1 。 第三个要考虑的问题是供应商的选择。在目前大部分物科供应都处于买方 市场的环境下，选择恰当的供应商有利于降低最终产品成本，有利于确保最终 产品及时供应市场，有利于保证产品质量。事实上，大多数企业现在都处于一 个或多个供应链中。任何单个企业都是供应链中的一环，市场竞争也由企业之 间的竞争，延伸到不同供应链之间的竞争，因此，能否合理的选择供应商也将 影响到企业所在供应链的总体竞争能力。 2 2 数据挖掘 2 2 1 数据挖掘的定义 数据挖掘是指从大型数据库或数据仓库中提取人们感兴趣的知识，这些知 识是隐含的、事先未知的、潜在的有用信息【1 1 1 。数据挖掘是一个高级的处理过 程，它从数据集中识别出以模式来表示的知识。高级的处理过程是指一个多步 骤的处理过程，多步骤之间相互影响、反复调整，形成一种螺旋式上升的过程。 挖掘的知识表示为概念( c o n c e p t s ) 、规则( r u l e s ) 、规律( r e g i i l a f i t i e s ) 等形式【1 8 】。 数据挖掘与传统的数据分析( 如查询、报表、联机应用分析) 的本质区别是数 据挖掘是在没有明确假设的前提下去挖掘信息、发现知识，数据挖掘所得到的 信息应具有未知，有效和实用三个特征。 先前未知的信息是指该信息是预先未曾预料到的，即数据挖掘是要发现那 些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信 息越是出乎意料，就可能越有价值。 第二章物料采购决策与数据挖掘 2 2 2 数据挖掘的数据来源 数据挖掘所依赖的数据来源多种多样，可以是常用的关系数据库、事务数 据库、文本数据库、多媒体数据库等，主要取决于用户的目的及所处的领域。 目前，数据挖掘的数据主要取决于关系数据库与数据仓库。 ( 1 ) 关系数据库：日常运行的业务系统拥有大量的数据库，但随着业务的变 化及时间的推移，这类数据库的数据格式会发生变化，需要对这些数据先进行 整理及清洗。 ( 2 ) 数据仓库：大部分情况下，数据挖掘都要先把数据从数据仓库中拿到数 据挖掘库或数据集市中，如图2 - 1 所示，从数据仓库中直接得到数据挖掘的数据 有许多好处。数据仓库的数据清理和数据挖掘的数据清理差不多，数据在导入 数据仓库时已经清理过。， 图2 - 1 数据挖掘库从数据仓库中得出 ( 3 ) 事务数据库：数据仓库不是必需的。建立一个巨大的数据仓库，把各个 不同源的数据统一在一起、解决所有数据冲突问题、把所有的数据导入一个数 据仓库内，是一项巨大的工程，可能要用几年的时间并花费数百万的资金才能 完成。若只是为了数据挖掘，可以是把一个或几个事务数据库集中到一个只读 的数据挖掘库中，就把它当作数据集市，然后在它上面进行数据挖掘，如图2 2 所示。 图2 - 2 数据挖掘库从事务数据库中得出 1 2 第二章物料采购决策与数据挖掘 2 2 3 数据挖掘的方法 数据挖掘涉及的学科领域和方法很多，主要的挖掘方法有以下几大类：关 联规则挖掘方法、分类方法、聚类方法、时间序列挖掘、序列模式挖掘和w e b 挖掘【1 9 刎。 ( 1 ) 关联规则挖掘是数据库挖掘中最活跃的研究方法之一。它主要是通过发 现频繁项目集来生成关联规则。典型的算法有：a p r i o r i 算法、c l o s e 算法、f p t r e e 算法1 2 ”。 ( 2 ) 分类在数据挖掘中是一项非常重要的任务。分类的目的是学会一个分类 函数或分类模型，该模型能把数据库中的数据项映射到给定类别中的某一个类 别。分类器的构造方法有统计方法、机器学习方法，神经网络方法。统计方法 包括贝叶斯法和非参数法，机器学习方法包括决策树法和规则归纳法，神经网 络方法主要是b p 算法。 ( 3 ) 聚类就是将数据对象分组成为多个类或簇，划分的原则是在同一个簇中 的对象之间具有较高的相似度，而不同簇中的对象差别较大，属于一种无指导 的学习方法。典型的算法有：b 平均( 七m c 锄s ) 和缸中心( b m e d o i d s ) ，层次聚类 方法a g n e s 和d i a n a ，密度聚类方法d e s n 。 ( 4 ) 时间序列挖掘是数据挖掘中的一个重要研究分支，它通过研究信息的时 间特性，深入洞悉事务进化的机制，成为获得知识的有效途径。序列挖掘或称 序列模式挖掘，是指从序列数据库中发现相对时间或者其他顺序所出现的高频 率子序列。典型算法有：a p r i o r i a l l 算法，a p r i o r i s o m e 算法，g s p ( g e n e r a l i z e d s e q u e n t i a lp a t t e r n s ) 算法。 ( 5 ) w e b 挖掘就是指利用数据挖掘的思想和方法，在w e b 上挖掘出有用的信 息。即针对包括w e b 页面内容、页面之间的结构、用户访问信息、电子商务信 息等在内的各种w e b 数据，应用数据挖掘以帮助人们从w w w 中提取知识，为 访问者、站点经营者以及包括电子商务在内的基于因特网的商务活动提供决策 支持。主要挖掘手段有：路径分析、关联规则和序列模式的发现、聚类和分类 等。 2 2 4 数据挖掘的逻辑结构 数据挖掘的核心技术是人工智能、机器学习、统计学等等，但一个数据挖掘 1 3 第二章物料采购决策与数据挖掘 系统不是一个多项技术的简单组合，而是一个完整的整体，它还需要其他技术的 支持，才能挖掘出令用户满意的结果。根据其功能，数据挖掘系统大致可划分为 三级逻辑结构，数据库中的数据挖掘是一个多步骤的处理过程，一般可分为如图 2 3 所示的几个步骤f 2 2 l 。 结果解释 圈2 - 3 数据挖掘逻辑结构图 知 识 ( 1 ) 问题的定义：通过与领域专家以及最终用户密切协作，明确实际工作中 对数据挖掘的要求，以及通过对各种学习算法的对比进而确定可用的学习算法。 ( 2 ) 数据选取就是确定发现任务的操作对象，即目标数据，是根据用户的需 要从原始数据库中抽取一组数据。 ( 3 ) 数据预处理一般可能包括消除噪声数据、推导计算缺值数据、消除重复 纪录、完成数据类型转换( 如把连续值转换为离散型的数据，以便于符号归类， 或是把离散型的转换为连续值型的，以便于神经网络) 等。当数据挖掘的对象 是数据仓库时，一数据预处理已经在生成数据仓库时完成了。 ( 4 ) 数据变换的主要目的是消减数据维数或降维，即从初始特征中找出真正 有用的特征，以减少数据挖掘时要考虑的特征或变量个数。 ( 5 ) 数据挖掘首先根据对问题的定义明确挖掘的任务或目的，然后根据数据 的不同特点以及用户或实际运行系统的要求，决定使用相应的算法，获取知识。 ( 6 ) 结果解释和评估就是对挖掘出来的知识转换成为用户易于理解的模 式，并对挖掘结果进行评估。数据挖掘阶段发现出来的模式，经过评估，可能 存在冗余或无关的模式，这时需要将其剔除，也有可能模式不能满足用户要求， 这时则需要整个发现过程退回到前一阶段，如重新选取数据、采用新的数据变 一1 4 - 第二章物料采购决策与数据挖掘 换方法、设定新的参数值，甚至换一种算法等。 2 3 基于数据挖掘的采购决策支持系统 2 3 1 基于数据挖掘的原材料分类 确定原材料类型属于“有指导的学习”，即模型的学习是在被告之每个训练 样本属于哪个类的“指导”下进行的，因此不能利用聚类等“无指导的学习” 的分类方法。 利用贝叶斯分类方法进行分类，则有一定的应用难度，因为目前尚无好的 软件工具来实现它。 人工神经网络对数据分类时对噪声数据的承受能力高，但其明显的缺点是 其结果的可解释性较差，即不能对分类结果做出较明显的解释，这对于明确原 材料的类型不太合适。 因此，本文采用决策树的方法，其优点如下： _ 自动对数据库或数据仓库中的数据按照分类目的进行分类； 一决策树的结果具有良好的可解释性； 在大量数据的前提下的分类效率和正确性较高。 2 3 2 基于数据挖掘的供应商管理 供应商的管理要求对企业的供应商群体建立供应库，通过对供应库中数据 的分析处理，来合理科学地管理供应商。在供应商管理中，企业要准确地确定 不同供应商对企业的重要程度，与不同供应商应保持不同的合作关系，要求企 业要不断的优化供应库，即要不断地确定不同类型的供应商。这样，就要求通 过一定的有关供应商的特性，来对供应库中的供应商进行分类。 供应库中的供应商在分类前是不知道其所属的类型的，所以不能用决策树 这样的“有指导的学习”的分类方法，而要用“无指导的学习”分类方法来进 行分类，本文用的是聚类的方法。它有如下优点： 不需要知道训练数据的分类类型，给定数据集和聚类数目就可以进行分 类； 具有可伸缩性，可处理高维的数据集； 一1 5 第二章物料采购决策与数据挖掘 可在聚类的结果上进行进一步的分析； 2 4 小结 本章主要介绍了物料采购决策方面的内容和数据挖掘方面的内容。在介绍 物料采购决策时，主要介绍了物料采购中，如何确定物料采购数目以及物料采 购的时间，以及供应商的选择。 在介绍数据挖掘的内容时，主要介绍了数据挖掘的定义，数据挖掘的数据 来源，当前流行的数据挖掘技术与挖掘算法，并介绍了数据挖掘的逻辑结构中 每个阶段的工作。 最后简单介绍了数据挖掘在系统中的具体应用，主要是数据挖掘在原材料 分类与供应商管理中的应用。 一1 6 第三章基于决策树的原料a b c 分类 第三章基于决策树的原材料a b c 分类 3 1 决策树原理 从数据中生成分类器的一个特别有效的方法是生成一棵决策树( d e c i s i o n t r e e ) ，决策树表示方法是应用最广泛的逻辑方法之一，它从一组无次序、无规 则的事例中推理出决策树表示形式的分类规则，决策树分类方法采用自顶向下 的递归方式，在决策树的内部结点进行属性值的比较并根据不同的属性值判断 从该结点向下的分枝，在决策树的叶结点得到结论。所以从决策树的根到叶结 点的一条路径就对应着一条合取规则，整棵决策树就对应着一组析取表达式规 则。 基于决策树的分类算法的一个最大的优点就是它在学习过程中不需要使用 者了解很多背景知识，只要训练例子能够用属性结论式表示出来，就能使用 该算法来学习。 决策树是一个类似流程图的树结构，其中每个内部结点表示在一个属性上 的测试，每个分支代表一个测试输出，而每个树叶结点代表类或类分布。树的 最顶层结点是根结点。一棵典型的决策树如图3 - 1 所示。 图3 - 1b u y s _ c o m p u t e r 的决策树示意 1 7 第三章基于决策树的原料a b c 分类 它表示概念b u y s _ c o m p u t e r ，它预测顾客是否可能购买计算机。内部结点用 矩形表示，而树叶结点用椭圆表示。为了对未知的样本分类，样本的属性值在 决策树上测试。决策树从根到叶结点的一条路径就对应着一条合取规则，因此