4 数据挖掘原理.ppt

1、1.数据挖掘原理，吴全胜，山东财经大学，2。什么是数据挖掘？根据高德纳集团的说法，数据挖掘是通过使用模式、识别技术以及统计和数学技术筛选存储在存储库中的大量数据来发现有意义的新相关性、模式和趋势的过程。数据挖掘指的是通过一个不平凡的过程，使用一种合理的方法和多种数据处理和分析技术，从大型真实数据库中发现新的有用(业务)知识的工作。示例：检测税务欺诈：未申报所有税收收入；根据手机客户的情况，预测哪些客户将转向竞争对手。3。数据挖掘是一个多学科交叉的领域，受到许多学科的影响，包括数据库系统、统计学、机器学习、可视化和信息科学。4，数据挖掘的正式定义，主动自动发现方法的高层，被称为发现驱动的知识发现

2、。从数据中提取正确、有用、未知和全面的信息并用于决策的过程。数据挖掘的相关学科有统计理论、数据库技术和人工智能。前业务对象的涛特雷尔曾经说过：“从技术上讲，即使有完整的Excel数据，也可以使用商业智能。”5.过程数据挖掘不是一个装在软件盒子里的工具，它可以简单地在商业智能环境中购买和运行，并且不会自动开始产生明显的商业规则。6.正确，提取的信息应该是正确的，并且在统计上对支持一个有根据的决策很重要。正确意味着确证和完整。不仅需要从数据库中获得正确的客户，还希望获得所有正确的客户。这要求原始数据和数据挖掘过程都是正确的。有用，数据挖掘过程可能会提供正确和重要的结果，但知识必须对业务有用。如果结

3、果告诉你要在大量的渠道中使市场运作多样化，这可能吗？同样的结果必须让你在相互竞争之前有所行动。8、未知，数据挖掘会产生新的信息。如果这个过程只带来一些微不足道的结果，那么数据挖掘的商业动力就会消失。这是区分验证和探索的本质。，9，最小要求，以上显示了数据挖掘最小要求，可以用它来评价数据挖掘是否对业务环境增加了附加的价值其他要求，10，为什么是数据挖掘？深入了解业务数据，从数据中自动识别有用的模式、相关性和模型，以回答以下问题，例如，哪个客户可能在两个月内流失？哪个客户是我的交叉销售目标？我的高消费和低消费客户的特点是什么？数据挖掘是商业智能的核心技术，数据挖掘是数据仓库的核心应用，数据挖掘是分

4、析型客户关系管理的核心技术，数据挖掘是电子商务中在线推荐和个性化的核心技术，数据挖掘已经成为许多公司业务功能的一部分，11，数据挖掘经常用于，市场营销，客户关系管理，信用风险控制和管理，客户保留欺诈检测，购物篮分析和产品重新定位，电子商务，例如，个性化和产品推荐许多其他，12，典型的数据挖掘系统结构，13，验证驱动分析的问题，用户并不总是知道要寻找什么或假设什么，折扣驱动的销售不符合预期，问题显示周一和周三促销的Q1 95地区折扣商品的销售情况，问题我是否应该调查其他类型的促销表现如何？验证驱动的数据挖掘工具提取数据。期望用户基于他对返回数据的解释来生成信息14岁，数据挖掘的新流程，发现驱动，

5、计算机筛选了数百万个假设，仅提供了最有趣/有效的假设，示例：从一组已投奔竞争对手银行的客户样本中，确定密切相关的客户特征，并使用这些属性，对其余客户和潜在客户群体以及他们与样本群体的关系强度进行评分，15，数据挖掘能做什么？分类和评估，客户，信用，预测预测聚类和细分关联发现，基于市场的分析和追加销售/交叉销售制药业：按患者类型划分的药物有效性，分组和行为预测，信用卡欺诈，员工的信用风险确定，描述和可视化，制造中的缺陷分析，大学和员工招聘，离职预测，16，数据挖掘的问题，17，数据挖掘过程，数据挖掘不单单是一个工具，而是一个过程，应该被整合到它所支持的商业活动中18岁，系统演示占25%的，占70

6、%的工作量，是最重要的阶段，工作量，数据预处理（占7 0 %工作量)，数据建模（占2 5%工作量)，结果分析，部署评估数据挖掘结果数据挖掘预处理后数据预处理目标数据抽取原始数据库定义业务问题，19，CRISPDM是一个迭代的、自适应的过程20岁，数据挖掘过程是循环的过程，上图会容易造成一个线性过程的印象2007年。事实上，每一步的结果会导致这样一个结论：需要从前几步中得到更多的信息，并不断重复这一过程。这些循环保证了最后的结果是完全为业务量身定制的21岁，业务分析，理想化地，公司中的所有活动都在不同程度上通过策略和商业目标与公司的任务描述相关。数据挖掘使你能够比以前在更高的层次上控制你的目标2

7、007年。业务分析涉及到领域专家和挖掘专家2007年。前者专心于规定商业需求，而后者从数据挖掘的观点上保证这些要求的可行性，并且具体说明满足这些要求所需的挖掘操作22岁，数据分析，为了研究使用统计方法的数据，可能有必要清理数据，添入缺损的值，或者从几个系统中将数据整合起来。数据分析将提供对以下步骤中必要的数据转换的初步理解，例如数据清理和集成。还可能需要指出的是，有必要获取外部信息，例如日常业务运营中不需要的客户人口统计数据。这一步涉及的角色是执行大多数任务的挖掘专家和数据库管理员，他们将通过提供数据访问权限来支持这些活动。23、数据准备，当挖掘所需的数据可用时，往往需要在挖掘前做一些准备工作

8、。至于是否需要做这些准备，大多数都是在数据分析步骤中进行评估的。24，数据质量，数据显示一些特定的值，称为偏离点，这是远离预期的正常范围。这些值可以通过多种方式进行处理：如果它们在现实中仍然存在，对这些数据进行对数运算可以将它们转换到更小的范围内。否则，可以删除包含这些值的记录，或者删除所有记录中的相关属性。25，空位值，更常见的问题是空位值。此外，一些记录的值可能是空的，或者某个属可能有大量的空值。在第一种情况下，这些记录可能不会被使用；在第二种情况下，该属性可以被丢弃。26，猜测空缺值，处理空缺值的另一种方法是插补。可以使用几种技术来猜测空缺值。这里有一些相关的技术，复杂性逐渐增加：从其他

9、记录中随机选择一个值并添加它。取其他记录中对应属性的最频繁值、中间数或平均数。为该属性在其他记录中的值分布建立统计模型，然后根据分布情况随机选择一个值。尝试使用统计或挖掘技术从相似记录的值中估计空缺值。27，数据预处理，28，数据不一致性，数据挖掘可以有效地处理数据不一致性。即使源数据是干净的、集成的和经过验证的，它们仍然可能包含真实世界中不真实的数据。有效理解和解决数据质量相关问题的唯一方法是监控、分析和报告内部处理流程。美国硬盘制造商迈拓公司(Maxtor Company)首席信息官斯科特海卡尔(Scott heikal)表示：“商业智能的最大困难在于需要确保桌面板底部的数据始终保持干净、

10、一致和相关。”我们需要数据仓库具备自我处理能力，能够自动感知、检测、通知和修复任何不正确、缺失或未检查的数据因素。但这至少需要一到两年的时间。”29、噪音，这种噪音可能是由用户错误输入或客户填写问卷时的笔误造成的。如果这些错误不经常发生，数据挖掘工具仍然可以忽略它们，并找出数据中的整体模式。30，形成脏数据的原因，滥用缩写，数据输入错误，不同的习惯用法(如：尽快到“第一次机会”)，重复记录缺失值，拼写变化，不同计量单位的过期代码，31，数据清理(客户数据)输出记录，输入玛吉。克莱恩未来_玛格丽特史密斯-克莱恩博士未来电子5/23/03 101纽约曼哈顿第六大道10012 001124367，问候：女士名：玛格丽特姓：史密斯-克莱恩职位名：博士匹配标准3360玛吉、佩格、佩吉性别：强女公司名：未来电子地址1:美洲大道101