数据挖掘技术

1、数据挖掘技术【任务描述】随着条码技术、RFID技术、EDI技术、网络技术、数据库技术等物流信息技术的广泛应用，POS系统、EOS系统及各类物流信息系统的建立使用，电子商务和电子支付的快速发展，物流信息的商品化、物流信息收集的数据库化和代码化、物流信息处理的计算机化和网络化，产生了海量的物流数据。要把这些海量的从原材料采购、生产加工、分销配送到商品销售的各个环节的大量数据进行收集和分析，挖掘到规律和重要数据，为企业决策提供有价值的参考，提高企业的经营效益和竞争力。就需要利用到数据仓库和数据挖掘技术对其进行分析处理，并确定相应的经营策略。【任务解析】数据挖掘需要对大量数据进行准确、高效的收集和处理

2、。首先需要数据仓库对源于不同数据库和信息源的数据进行加工和集成处理后的再存储，把数据仓库做为数据挖掘的基础。然后进行数据准备和数据预处理，再进行数据挖掘过程，最后对挖掘结果进行表述和评价。数据挖掘的结果一定要为企业的经营提供有效的决策依据，如客户的爱好、影响销售的因素等挖掘结果。微知识尿布与啤酒的故事在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购

3、物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是："跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。按常规思维，尿布与啤酒风马牛不相及，若不是

4、借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。相关知识一、数据仓库（一）数据仓库的概念数据仓库（Data Warehouse，简称DW），是一种只读的、用于分析的数据库，它从大量的事务型数控库中抽取数据，并将其清理、转换为行的存储格式，形成一个面向主题的、集成的、不可更新的、随时间变化的、但信息本身相对稳定的数据集合，为企业管理决策制定过程提供所有类型数据支持。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。（2） 数据仓库的组成1.数据仓库数据库，是整个数据仓库环境的核心，是数据存放的地方和提供对数据检索的支持。相对于操纵

5、型数据库来说其突出的特点是对海量数据的支持和快速的检索技术。2.数据抽取工具，把数据从各种各样的存储方式中拿出来，进行必要的转化、整理，再存放到数据仓库内。对各种不同数据存储方式的访问能力是数据抽取工具的关键，应能生成COBOL程序、MVS作业控制语言（JCL）、UNIX脚本、和SQL语句等，以访问不同的数据。数据转换都包括，删除对决策应用没有意义的数据段；转换到统一的数据名称和定义；计算统计和衍生数据；给缺值数据赋给缺省值；把不同的数据定义方式统一。3.元数据，元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类，技术元数据和商业元数据。技术元数据是数据仓库的设计和管

6、理人员用于开发和日常管理数据仓库使用的数据。包括：数据源信息；数据转换的描述；数据仓库内对象和数据结构的定义；数据清理和数据更新时用的规则；源数据到目的数据的映射；用户访问权限，数据备份历史记录，数据导入历史记录，信息发布历史记录等。商业元数据从商业业务的角度描述了数据仓库中的数据。包括：业务主题的描述，包含的数据、查询、报表；元数据为访问数据仓库提供了一个信息目录，这个目录全面描述了数据仓库中都有什么数据、这些数据怎么得到的、和怎么访问这些数据。是数据仓库运行和维护的中心，数据仓库服务器利用他来存贮和更新数据，用户通过他来了解和访问数据。4.数据集市，为了特定的应用目的或应用范围，而从数据仓

7、库中独立出来的一部分数据，也可称为部门数据或主题数据。在数据仓库的实施过程中往往可以从一个部门的数据集市着手，以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是在实施不同的数据集市时，同一含义的字段定义一定要相容，这样在以后实施数据仓库时才不会造成大麻烦。5.数据仓库管理，安全和特权管理；跟踪数据的更新；数据质量检查；管理和更新元数据；审计和报告数据仓库的使用和状态；删除数据；复制、分割和分发数据；备份和恢复；存储管理。6.信息发布系统，把数据仓库中的数据或其他相关的数据发送给不同的地点或用户。基于Web的信息发布系统是对付多用户访问的最有效方法。7.访问工具，为用户访问数据仓库提供手

8、段。有数据查询和报表工具；应用开发工具；管理信息系统（EIS）工具；在线分析（OLAP）工具；数据挖掘工具。（3） 数据仓库的作用 数据仓库具有两个主要作用：一是从各信息源提取决策需要的数据，加工出来后，存储到数据仓库中；二是提供用户的查询和决策分析的依据。每一家公司都有自己的数据。并且，许多公司在计算机系统中储存有大量的数据，记录着企业购买、销售、生产过程中的大量信息和客户的信息。通常这些数据都储存在许多不同的地方。使用数据仓库之后，企业将所有收集来的信息存放在一个唯一的地方数据仓库。仓库中的数据按照一定的方式组织，从而使得信息容易存取并且有使用价值。已经开发出一些专门的软件工具，使数据仓库

9、的过程实现可以半自动化，帮助企业将数据导入数据仓库，并使用那些已经存入仓库的数据。数据仓库给组织带来了巨大的变化。数据仓库的建立给企业带来了一些新的工作流程，其他的流程也因此而改变。数据仓库为企业带来了一些“以数据为基础的知识”，它们主要应用于对市场战略的评价，和为企业发现新的市场商机，同时，也用来控制库存、检查生产方法和定义客户群。通过数据仓库，可以建立企业的数据模型，这对于企业的生产与销售、成本控制与收支分配有着重要的意义，极大的节约了企业的成本，提高了经济效益，同时，用数据仓库可以分析企业人力资源与基础数据之间的关系，可以用于返回分析，保障人力资源的最大化利用，亦可以进行人力资源绩效评估

10、，使得企业管理更加科学合理。数据仓库将企业的数据按照特定的方式组织，从而产生新的商业知识，并为企业的运作带来新的视角。二、数据挖掘技术（一）数据挖掘的概念数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。数据挖掘方法与传统型数据分析方法的主要区别在于数据挖掘是在没有明确假设的前提下去挖掘信息和发现知识，而传统型数据分析方法一般都是先给定一个假设然后通过数据验证。总的来说，数据挖掘方法通过大量的搜索工作从数据中自动提取并生成某种模式，所获取的信息具有未知性、有效性和实用性这三个特点。（二）数据挖掘技术数据

11、挖掘所采用的技术，可粗分为：统计分析、机器学习方法、模式识别、面向数据库或数据仓库的技术、可视化技术和神经网络等。统计分析中，可细分为:回归分析、判别分析、聚类分析(系统聚类、动态聚类等)、探索性分析等。机器学习中，可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。数据库方法主要是多维数据分析或联机分析处理方法，另外还有面向属性的归纳方法。当然，一个完善的数据挖掘系统通常采用多种技术，结合它们的优点设计出有效的、集成的技术。（3） 数据挖掘的使用和应用领域 1.数据挖掘的使用（1）分类：首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，

12、对于没有分类的数据进行分类。例如：a. 对信用卡申请者，分类为低、中、高风险； b对故障的诊断，中国宝钢集团与上海天律信息技术有限公司合作，采用数据挖掘技术对钢材生产的全流程进行质量监控和分析，构建故障地图，实时分析产品出现瑕疵的原因，有效提高了产品的优良率。（2）估计：估计与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类数据挖掘的类别是确定数目的，估值的量是不确定的。例如：a.根据购买模式，估计一个家庭的孩子个数；b.根据购买模式，估计一个家庭的收入。一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先

13、设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 01）。然后，根据阈值，将贷款级别分类。（3）预测：通常，预测是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。（4）相关性分组或关联规则：决定哪些事情将一起发生。例如：a.超市中客户在购买A的同时，经常会购买B，即A => B(关联规则)；b.客户在购买A后，隔一段时间，会购买B （序列分析）。（5）聚类：聚

14、类是对记录分组，把相似的记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。例如：a.一些特定症状的聚集可能预示了一个特定的疾病；b.租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群。聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一 类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。（6）描述和可视化：是对数据挖掘结果的表示方式。一般只是指数据可视化工具，包含报表工具和商业智能分析产品（BI）的统称。譬如通过各类可视化工具进行数据的展现，分析，钻取，将数

15、据挖掘的分析结果更形象，深刻的展现出来。2. 数据挖掘的应用随着数据挖掘技术应用的发展与推广，数据挖掘技术的应用范围已从最初的零售业逐渐扩展到其它行业，主要集中在：(1)金融业：数据挖掘技术被用于银行和保险行业的存/贷款趋势预测，从而优化存/贷款策略和投资组合。此外数据挖掘技术还被用来划分目标市场，协助市场经理和业务执行人员有针对性地开展市场活动等。(2)生物信息：数据挖掘技术被用于基因工程中的染色体、基因序列的识别分析、基因表达路径分析、基因表达相似性分析、以及制药、生物信息和科学研究等。(3)零售业：这是数据挖掘技术应用最早也是最重要的领域，数据挖掘技术被用来进行购物篮分析以协助货架布置，

16、设置促销商品组合和促销时间等商业活动。此外，通过数据挖掘技术分析某一商品在各连锁店的市场份额、消费者信息以及历史销售等数据，可以评估商品的销售及其广告业务的有效性。(4)客户关系管理：数据挖掘技术被用于分析客户行为，从而对客户细分，以此进一步针对客户流失、客户利润、客户响应等方面进行分析，最终改善客户关系管理。(5)电子商务:：数据挖掘技术被用于在线交互式营销系统的经营模式、市场策略、Web广告效果分析以及在线购物的消费者行为分析，从而优化网站结构，改善网页推荐和商品推荐内容等。(6)科学研究：数据挖掘技术被用于科研数据的分析，例如在化学研究领域利用数据挖掘技术从各种文献资料中自动抽取有关化学

17、反应的信息，以发现新的有用的化学成分;在遥感领域针对每天从卫星上获取的巨额数据，利用数据挖掘技术进行气象预报分析，臭氧层监测等研究。(7)军事方面：数据挖掘技术被用于进行军事信息系统中的目标特征提取、态势关联规则挖掘等。【任务实施】（一）数据仓库的建立数据仓库做为数据挖掘的基础。把物流各环节的各个联机事务处理系统做为数据仓库的原始数据源，以文件方式提供企业在日常活动中收集的包括订单、库存单、应收/付账、客户资料、交易情况等在内的大量数据资料和报表，同时还有大量的外部信息等数据。数据仓库通过ETL过程（抽象、转换和加载）处理这些接口文件，并且按不同的主题域组织、存储和管理这些客户数据。通过数据仓

18、库接口，对数据仓库中的数据进行联机分析和数据挖掘。在建立完成企业级的数据仓库后，就可以基于这个数据仓库平台进行数据挖掘工作。（二）建立基于数据挖掘的物流信息系统的体系结构用户查询请求信息发布、查询分类、解释查询协同管理业务系统及其他系统数据导入、转移与质量保障工具异构数据源数据仓库数据挖掘物流信息管理系统物流信息（采购单、库存单、交易、客户）收集与处理平台数 据 挖 掘知识库如下图2-21所示，将数据仓库、联机分析（OLAP）、数据挖掘融合在一起，构成物流企业的决策分析体系。图2-21 基于数据挖掘的物流信息系统的体系结构以下是所涉及的相关组件：1.用户：包括偶然用户（casual user）

19、,高级用户（power user）和专家（expert）.其中偶然用户只需要访问一些预定义的查询和生成报表等；高级用户通常需要自己定义一些简单的查询或把预定义好的查询组合一下；专家通常需要自己定义复杂的查询，直接分析数据仓库中存放的各种数据。2.物流数据收集与处理：记录物流管理活动中的各类信息，对物流活动的各种信息进行采集、处理、传输，并按照统一的格式存入数据库。3.查询协同管理：查询协同包括访问一些工具和系统管理工具，为用户访问数据仓库和其他系统提供手段。4.数据仓库：主要存储和管理涉及物流环节的各类数据。5.知识库：包括数据仓库的组成结构、隶属结构等知识。6。数据挖掘：根据决策者提出的问题

20、特点，确定挖掘的任务或目的，对数据仓库中的相关数据进行精简和预处理，再从处理后的数据中挖掘出新的、有效的新知识。提供给数据挖掘的物流管理信息系统，由它给决策者提供有效的信息。7.数据挖掘物流信息管理系统：把收集到的物流运行的数据汇总并存入数据仓库，在根据数据挖掘出来的数据，为企业物流管理决策提供最新的和最有价值的信息或知识，帮助他们快速、正确做出决策。8.信息发布系统：把数据仓库中的数据或其他相关的数据发送给不同的地点或用户。针对多用户的访问最有效的方法是基于Web的信息发布系统。（三）数据挖掘的体系在物流企业的应用一般来讲，数据挖掘在物流企业中可以应用在以下几方面：1.市场预测产品在进入市场

21、后，并不会永远保持最高销量。一般来讲，随着时间的推移，产品会遵守销量变化的模式，经历四个阶段，即导入期、增长期、成熟期和衰退期。在各个阶段，产品的生产要求和实物分拨策略是不同的。如在导入期，产品逐步得到市场的认可，销售量可能会快速的增长，这时需要提前的生产计划、生产作业安排以及适合的库存和运输策略，指导企业的生产，合理地控制库存和安排运输。数据挖掘可以作为市场预测的手段，通过聚类和预测工具，达到上述目的。2.物流中心的选择物流中心（流通中心、配送中心）选址问题即求解运输成本、变动处理成本和固定成本等之和为最小的最小化问题。物流中心选址，需要考虑到中心点数量和中心点如何分布等情况。针对这一问题，

22、可以用数据挖掘中的分类树方法来加以解决。分类树 （classification）的目标是连续的划分数据，使依赖变量的差别最大。分类树的真正的目的是将数据分类（classify）到不同组或分支中，在依赖变量的值上建立最强划分。用分类树的方法解决这个问题时，通常需要以下四个方面的数据：（1）中心点的位置；（2）每个中心点的业务需求量；（3）备选点的位置；（4）在中心点和备选点之间的距离。通过分类树的方法，不仅确定了中心点的位置，同时也确定每年各个地址问物品的运输量，使整个企业必要的销售量得到保证。企业的长期折现的总成本也会达到最小值。3.优化配送路径配送路径是个典型的非线性问题，它一直影响着物流企

23、业配送效率的提高。在许多配送体系中，管理人员需要采取有效的配送策略以提高服务水平、降低货运费用。其中要考虑车辆的路径问题，车辆路径问题是为一些车辆确定一些客户的路径，每一客户只能被访问一次，且每条路径上的客户需求量之和不能超过车辆的承载能力。其次还应考虑到车辆的利用能力，如果车辆在运输过程中的空载率过高或整车的承载力未完全利用，这些无疑会增加企业的运输成本；另外涉及到车辆的运输能力，就必须考虑到货品的规格大小和利润价值的大小。数据挖掘中的遗传算法为配送路径的优化提供了新的工具，它可以把在局部优化时的最优路线继承下来，应用于整体，而其他剩余的部分则结合区域周围的剩余部分 （即非遗传的部分）进行优

24、化。如此下去，逐渐把其他的区域并入优化的范畴，最后扩展到整体，模型得出的信息即可用来决策输出，即根据每次配送顾客数量的不同、顾客位置的不同，以及相应订货量的不同，输出本次送货线路车辆调度的动态优化方案。4.合理安排商品的仓储商品的合理储位对于仓容利用率、储存搬运分拣效率的提高具有重要的意义。对于商品量大、出货频率快的物流中心来讲，商品储位就意味着工作效率和效益，要真正解决好这个问题，数据挖掘是必不可少的。如何合理安排货品的存储、压缩货品的存储成本正成为现代物流管理者不断思考的问题，对于货品的存放问题，哪些货品放在一起可以提高拣货效率？哪些货品放在一起却达不到这样的效果呢？可以利用以往的商品流动

25、数据，采取数据挖掘中的关联模式来分析解决这个问题。关联模式分析的目的就是为了挖掘出隐藏在数据间的相互关系，即通过量化的数字，描述A类产品的出现对B类产品的出现有多大影响，可以用四个属性来描述关联规则：（1）可信度：在产品集A出现的前提下，B出现的概率（2）支持度：产品集A、B同时出现的概率（3）期望可信度：产品集B出现的概率（4）作用度可信度：对期望可信度的比值通过上述关联分析可以得出一个关于同时购买商品的简单规则，从而来决定这两种货品在货架上的配置，可以战略性的布置货品在仓库中的位置，以促进交叉销售和某类交易模式。5.顾客价值分析根据市场营销的原则，对待不同类型的顾客所提供的服务水平也应该有所不同的。通过分析客户对物流服务的应用频率、持续性等指标来判别客户的忠诚度，通过对交易数据的详细分析来鉴别哪些是物流企业希望保持的客户，通过挖掘找到流失客户的共同特征，就可以在那些具有相似特征的客户还未流失之前进行针对性的弥补。6.物流需求预测物流企业规划和控制物流活动需要准确估计供应链中所处理的产品和服务的数量，这些估计主要采用预测和推算的方式。数据挖掘可以对物流活动中的产品和服务类